KR20100050759A - A vehicle block box apparatus using a plurality of camera - Google Patents

A vehicle block box apparatus using a plurality of camera Download PDF

Info

Publication number
KR20100050759A
KR20100050759A KR1020080109818A KR20080109818A KR20100050759A KR 20100050759 A KR20100050759 A KR 20100050759A KR 1020080109818 A KR1020080109818 A KR 1020080109818A KR 20080109818 A KR20080109818 A KR 20080109818A KR 20100050759 A KR20100050759 A KR 20100050759A
Authority
KR
South Korea
Prior art keywords
camera
data
video
box device
black box
Prior art date
Application number
KR1020080109818A
Other languages
Korean (ko)
Other versions
KR101035489B1 (en
Inventor
정년
Original Assignee
주식회사 셀픽
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 셀픽 filed Critical 주식회사 셀픽
Priority to KR1020080109818A priority Critical patent/KR101035489B1/en
Publication of KR20100050759A publication Critical patent/KR20100050759A/en
Application granted granted Critical
Publication of KR101035489B1 publication Critical patent/KR101035489B1/en

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • G07C5/0866Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D41/00Fittings for identifying vehicles in case of collision; Fittings for marking or recording collision areas
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D9/00Recording measured values
    • G01D9/005Solid-state data loggers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00Special features of vehicle units
    • B60Y2400/30Sensors
    • B60Y2400/301Sensors for position or displacement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00Special features of vehicle units
    • B60Y2400/30Sensors
    • B60Y2400/303Speed sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00Special features of vehicle units
    • B60Y2400/30Sensors
    • B60Y2400/304Acceleration sensors

Abstract

PURPOSE: A black box device for a vehicle is provided so that the reliability of images rises because a plurality of cameras take photographs around the vehicle and the taken images are changed to a moving picture. CONSTITUTION: A black box device for a vehicle comprises cameras, a controller(13), an image combining logic(12), an encoder(14) and a memory(18). The cameras comprise a first camera(10) and a second camera(11). The controller generates a control signal to select one of the first and second cameras. The image combining logic alternately selects the first and second cameras depending on the control signal. The image combining logic changes the image signal of the first camera and the image signal of the second camera to a moving picture signal comprising a number of frames. The encoder compresses the moving picture signal. The memory stores the compressed moving picture data.

Description

다중 카메라를 이용하는 차량용 블랙박스 장치{A VEHICLE BLOCK BOX APPARATUS USING A PLURALITY OF CAMERA}Vehicle black box device using multiple cameras {A VEHICLE BLOCK BOX APPARATUS USING A PLURALITY OF CAMERA}

본 문서는 차량용 블랙박스 장치에 관한 것으로 보다 구체적으로 다중 카메라를 이용하여 차량 주변을 촬영한 영상의 신뢰도를 높이는 차량용 블랙박스 장치에 관한 것이다.This document relates to a vehicle black box device, and more particularly, to a vehicle black box device for increasing reliability of an image taken around a vehicle using multiple cameras.

최근 자동차에는 사고 원인분석 등을 위해 전방상황을 지속적으로 촬영하고 이를 저장하는 차량주행 저장장치(일명, DVR 시스템 또는 차량용 블랙박스라고 함) 등이 적용되고 있다. 이 차량주행 저장장치에는 반드시 차량 전방상황을 촬영하기 위한 카메라가 필수적으로 요구되는데, 카메라는 촬영 각도를 충분하게 확보하기 위해 차량 전면창의 상부에 고정 배치하는 것이 바람직하다. 하지만, 이러한 차량용 블랙박스 장치에 있어서 영상 데이터 수집용으로 사용되는 카메라는 일반적으로 무 촛점의 렌즈를 사용하게 되는데, 이 경우 특히 야간에 촬영되는 영상은 식별하기가 매우 힘들어, 후에 이 영상을 기초로 사고의 원인 판별을 하고자 할때 정확한 근거자료로서 이용하기가 힘든 단점이 있다.Recently, a vehicle driving storage device (also called a DVR system or a black box for a vehicle) that continuously photographs and stores the front situation is applied to an automobile for analyzing the cause of an accident. This vehicle driving storage device necessarily requires a camera for photographing the vehicle front situation, the camera is preferably fixed to the top of the vehicle front window to secure a sufficient shooting angle. However, in such a vehicle black box device, a camera used for collecting image data generally uses an out of focus lens. In this case, an image photographed at night is very difficult to identify, based on the image later. When trying to determine the cause of an accident, it is difficult to use as accurate evidence.

본 문서는 상술한 배경기술에 있어서, 다중 카메라를 이용하여 차량 주변을 촬영하고 이를 하나의 동영상으로 처리하여 영상의 신뢰도를 높이는 차량용 블랙박스 장치의 제공을 해결 과제로 한다.In the background art described above, it is an object of the present invention to provide a black box device for a vehicle that photographs the surroundings of a vehicle using multiple cameras and processes the same as a single video to increase the reliability of the image.

상술한 과제를 해결하기 위한 일 수단으로서의 다중 카메라를 이용하는 차량용 블랙박스 장치는 제1 카메라 및 제2 카메라를 포함하는 카메라부, 상기 제1 카메라 및 상기 제2 카메라 중 하나를 선택하게 되는 제어 신호를 생성하는 제어부, 상기 제어 신호에 따라 상기 제1 카메라 및 상기 제2 카메라를 교차로 선택하고, 상기 제1 카메라의 영상신호와 상기 제2 카메라의 영상신호를 다수의 프레임으로 이루어지는 하나의 동영상 신호로 구성하는 영상합성 로직부, 상기 동영상 신호에 대해 데이터의 양을 줄이는 압축 처리하는 인코딩부 및 상기 압축 처리된 동영상 데이터를 저장하는 메모리부를 포함한다.A vehicle black box apparatus using multiple cameras as one means for solving the above-mentioned problems is a control unit for selecting one of a camera unit including a first camera and a second camera, the first camera and the second camera. A control unit to generate the first and second cameras according to the control signal, and the video signal of the first camera and the video signal of the second camera are composed of one video signal composed of a plurality of frames. The video synthesis logic unit comprises an encoding unit for reducing the amount of data with respect to the video signal, and a memory unit for storing the compressed video data.

상기 영상합성 로직부는, 상기 제1 카메라에 대한 프레임 수 및 상기 제2 카메라에 대한 프레임 수를 고려하여 상기 제1 카메라 및 상기 제2 카메라를 교차로 선택할 수 있다.The image synthesis logic unit may cross-select the first camera and the second camera in consideration of the number of frames for the first camera and the number of frames for the second camera.

상기 동영상 데이터는, 실시간으로 하나 이상의 센서에서 생성되는 센서 데이터를 소정 구간에 대한 데이터 단위로 포함하되, 상기 데이터 단위는 상기 다수의 프레임 각각과 독립된 프레임 형식으로 구성될 수 있다.The video data may include sensor data generated by at least one sensor in real time as a data unit for a predetermined section, and the data unit may be configured in a frame format independent of each of the plurality of frames.

상기 동영상 데이터는, 실시간으로 하나 이상의 센서에서 생성되는 센서 데이터를 포함하되, 상기 다수의 프레임 각각이 상응하는 타이밍에 생성된 센서 데이터를 포함할 수 있다.The video data may include sensor data generated by at least one sensor in real time, and each of the plurality of frames may include sensor data generated at a corresponding timing.

상기 센서 데이터는, 데이터 프레임의 ID, 데이터 프레임의 크기, 생성 일자, 시간, 속도, 가속도, 충격량, 경도 및 위도 정보 중 적어도 하나 이상을 포함할 수 있다.The sensor data may include at least one of an ID of a data frame, a size of a data frame, a creation date, time, speed, acceleration, impact amount, longitude, and latitude information.

상기 인코딩부는, 상기 제1 카메라의 영상신호와 상기 제2 카메라의 영상신호에 대한 압축률을 서로 다르게 적용할 수 있다. 특히 일부 영상신호에 대해서는 압축률을 줄이거나 무손실 압축 방식으로 처리할 수 있다.The encoding unit may apply different compression ratios for the image signal of the first camera and the image signal of the second camera. Particularly, some video signals can be processed with reduced compression or lossless compression.

상기 메모리부는, 둘 이상의 메모리로 구성되고 상기 동영상 데이터는 미러링(mirroring) 기법을 통해 상기 둘 이상의 메모리에 동시에 저장될 수 있다. 그리고 상기 제어부는, 외부 호스트 PC로부터의 접근이 인식되면 상기 외부 호스트 PC에서 READ-ONLY CD-ROM으로 인식하도록 할 수 있다.The memory unit may include two or more memories, and the video data may be simultaneously stored in the two or more memories through a mirroring technique. The controller may allow the external host PC to recognize the read-only CD-ROM when the access from the external host PC is recognized.

본 발명에 따르면, 차량용 블랙박스 장치에서 다중 카메라의 영상신호들을 합성하여 하나의 동영상으로 구성할 수 있는 효과가 있다. According to the present invention, there is an effect that can be composed of a video by synthesizing the video signals of multiple cameras in a vehicle black box device.

또한, 다양한 기능의 카메라로부터 영상을 획득하고 이를 하나의 동영상으로 구성할 수 있는 효과가 있다. In addition, there is an effect that can obtain an image from a camera of various functions and configure it as a single video.

또한, 이를 통해 광각 카메라, 야간 카메라 등의 적용뿐만 아니라 이들로부터의 영상신호 처리가 용이해져서 결과적으로 영상의 신뢰도를 높이는 효과가 있 다.In addition, this facilitates the application of wide-angle cameras, night cameras, and the like, as well as the processing of video signals therefrom, thereby increasing the reliability of the image.

또한, 차량과 관련된 다양한 센서로부터 획득되는 센서 데이터를 별도의 처리 과정을 거치지 않고, 동영상 처리와 함께 다룸으로써 메모리 관리 효율을 높이는 효과가 있다.In addition, by treating the sensor data obtained from various sensors related to the vehicle together with video processing, it is effective to increase memory management efficiency.

또한, 이를 통해 센서 데이터와 저장된 영상 데이터 사이의 연관성을 찾기가 용이해서 추후 사고 발생시 영상을 보다 유용하게 이용할 수 있는 효과가 있다.In addition, this makes it easy to find the association between the sensor data and the stored image data, so that the image can be used more usefully in case of an accident.

또한, 데이터 저장시 미러링 기법을 도입하여 영상 손실의 위험을 줄이고, 외부 호스트 PC에서 차량용 블랙박스 장치를 CD-ROM으로 인식하도록 하여 데이터 조작의 위험을 줄이는 효과가 있다.In addition, by using a mirroring technique when storing data, it reduces the risk of video loss and reduces the risk of data manipulation by allowing the external host PC to recognize the vehicle black box device as a CD-ROM.

이하 도면을 참조하여 다중 카메라를 이용하여 차량 주변을 촬영한 영상의 신뢰도를 높이는 차량용 블랙박스 장치에 관한 본 발명의 실시예들을 설명하도록 한다.Hereinafter, embodiments of the present invention related to a vehicle black box device for increasing the reliability of an image photographed around a vehicle using multiple cameras will be described with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 차량용 블랙박스 장치의 구성도이고, 도 2는 본 발명의 일 실시예에 따른 차량용 블랙박스 장치의 영상 처리 동작을 나타내는 흐름도이다. 그리고, 도 3은 본 발명의 일 실시예에 따른 차량용 블랙박스 장치의 영상 합성 결과를 나타내는 도면이다.1 is a block diagram of a vehicle black box device according to an embodiment of the present invention, Figure 2 is a flow chart showing an image processing operation of the vehicle black box device according to an embodiment of the present invention. 3 is a diagram illustrating an image synthesis result of a vehicle black box apparatus according to an embodiment of the present invention.

도 1을 참조하면, 본 실시예에 따른 차량용 블랙박스 장치는 제1 카메라(10) 및 제2 카메라(11)를 포함하는 카메라부, 제1 카메라(10) 및 제2 카메라(11) 중 하나를 선택하게 되는 제어 신호를 생성하는 제어부(13), 제어 신호에 따라 제1 카메 라(10) 및 제2 카메라(11)를 교차로 선택하고, 제1 카메라(10)의 영상신호와 제2 카메라(11)의 영상신호를 다수의 프레임으로 이루어지는 하나의 동영상 신호로 구성하는 영상합성 로직부(12), 동영상 신호에 대해 데이터의 양을 줄이는 압축 처리하는 인코딩부(14) 및 상기 압축 처리된 동영상 데이터를 저장하는 메모리부(18)를 포함한다.Referring to FIG. 1, a vehicle black box apparatus according to an exemplary embodiment may include one of a camera unit including a first camera 10 and a second camera 11, a first camera 10, and a second camera 11. The control unit 13 for generating a control signal to select a cross-selection of the first camera 10 and the second camera 11 according to the control signal, the image signal of the first camera 10 and the second camera An image synthesis logic section 12, which comprises the video signal of (11) as one video signal composed of a plurality of frames, an encoding section 14 for compressing the amount of data for the video signal, and the compressed video It includes a memory unit 18 for storing data.

여기서, 프레임이란 컴퓨터 그래픽스나 텔레비전 방송에서, 화면 표시 장치에 정보를 출력하기 위해 화면 전체를 한 번 주사하여 생성하는 화상, 즉 시간적으로 연속해서 변화하는 동화상의 개별적인 화상을 나타낸다. 예를 들어, 대부분의 컴퓨터 모니터나 텔레비전에서는 1초에 30 또는 60개의 프레임을 생성하여 화면에 표시한다.Here, the frame refers to an image generated by scanning the entire screen once in order to output information to the screen display device, that is, an individual image of a moving picture that continuously changes in time in computer graphics or television broadcasting. For example, most computer monitors and televisions generate 30 or 60 frames per second and display them on the screen.

본 실시예에 따른 영상합성 로직부(12)는, 제1 카메라(10)에 대한 프레임 수 및 제2 카메라(11)에 대한 프레임 수를 고려하여 제1 카메라(10) 및 제2 카메라(11)를 교차로 선택한다. The image synthesis logic unit 12 according to the present exemplary embodiment may consider the number of frames for the first camera 10 and the number of frames for the second camera 11 in consideration of the first camera 10 and the second camera 11. Select) at the intersection.

예를 들어, 도 2에 도시된 바와 같이 단계 S200에서 프레임 수(n)를 초기화 한다. 그리고, 단계 S210에서 제1 카메라(10) 및 제2 카메라(11) 중 하나로부터 영상신호를 수신하고, 단계 S220에서 제1 카메라(10) 또는 제2 카메라(11)에서 수신되는 영상신호에 대한 프레임 수(n)를 1씩 증가시켜 카운팅한다.For example, as illustrated in FIG. 2, the frame number n is initialized in step S200. In operation S210, an image signal is received from one of the first camera 10 and the second camera 11, and in operation S220, the image signal is received from the first camera 10 or the second camera 11. Count by increasing the number of frames (n) by one.

단계 S230과 단계 S240에서 제1 카메라(10)에 대해 기 설정된 프레임수(k1) 또는 제2 카메라(11)에 대해 기 설정된 프레임수(k2)를 만족하는지 확인한다. 이를 만족하지 않는다면 다시 단계 S210으로 진행하여 제1 카메라(10) 또는 제2 카메 라(11)로부터 영상신호를 수신한다. 이를 만족한다면 다른 카메라로 스위칭하고 단계 S200으로 진행하여 위 과정을 반복한다. 이 과정에서 단계 S210에서 수신되는 영상신호는 본 실시예에 따라 단계 S260으로 진행하여 다수의 프레임으로 이루어지는 하나의 동영상으로 출력된다.In operation S230 and S240, it is checked whether the frame number k1 preset for the first camera 10 or the frame number k2 preset for the second camera 11 is satisfied. If this is not satisfied, the process proceeds to step S210 again to receive an image signal from the first camera 10 or the second camera 11. If this is satisfied, the process is switched to another camera and the process proceeds to step S200 to repeat the above process. In this process, the video signal received in step S210 is output in step S260 according to the present embodiment and output as a single video composed of a plurality of frames.

도 3을 참조하면, 본 실시예에 따라 다중 카메라 영상신호 즉, 제1 카메라(10)의 영상신호에 대한 프레임(30)과 제2 카메라(11)의 영상신호에 대한 프레임(31)이 하나의 동영상으로 합성 처리된 결과를 도식적으로 확인해볼 수 있다. 도 3에서는 제1 카메라(10)의 영상신호에 대한 기 설정된 프레임수(k1)를 4로 설정하고, 제2 카메라(11)의 영상신호에 대한 기 설정된 프레임수(k2)를 1로 설정한 경우를 나타낸 것이다. 이러한 프레임수에 대한 결정은 미리 설정된 상태로 사용할 수도 있고 제어 신호를 통해 확인 후 이에 기초하여 설정할 수도 있다.Referring to FIG. 3, one frame 30 for a multi-camera video signal, that is, a frame 31 for the video signal of the first camera 10 and one frame 31 for the video signal of the second camera 11 are provided. You can see the result of the synthesis process as a video of. In FIG. 3, the preset frame number k1 for the video signal of the first camera 10 is set to 4, and the preset frame number k2 for the video signal of the second camera 11 is set to 1. The case is shown. The determination of the number of frames may be used in a preset state or may be set based on the control signal after confirmation.

기존의 다중 카메라에 대한 영상처리는 개별 구성 예를 들어, 개별적인 인코더를 통하여 영상을 처리하였으나 본 실시예에 따르면 다수의 카메라 영상신호를 하나의 동영상 신호로 구성함으로써 하나의 인코더만으로도 다중의 동영상을 처리하여 시스템을 경제적으로 구성할 수 있는 효과가 있다.Conventional image processing of multiple cameras processes images through individual components, for example, individual encoders, but according to the present embodiment, multiple video signals are processed by only one encoder by configuring multiple camera video signals into one video signal. It is effective to construct the system economically.

또한, 본 실시예에 따라 다중 카메라를 이용함에 있어서, 카메라의 종류를 서로 다른 것으로 사용하여 즉, 다양한 환경에 각각 장점이 있는 카메라를 함께 이용하여 영상의 신뢰도를 높일 수도 있다. 예를 들어, 제1 카메라(10)는 일반적 무촛점 형식의 카메라를 사용하고 제2 카메라(11)는 광각 및 야간용 카메라를 사용할 수 있다.In addition, when using multiple cameras according to the present embodiment, the reliability of an image may be increased by using different types of cameras, that is, using cameras having advantages in various environments. For example, the first camera 10 may use a general non-focus type camera, and the second camera 11 may use a wide angle and night camera.

이 경우, 제2 카메라(11)는 광각 카메라의 장점을 통해 사고시의 주변상황을 제1 카메라(10)보다 넓고 세밀하게 촬영하여 사고 원인을 규명하기가 보다 용이하다. 또한, 야간에는 제2 카메라(11)의 야간촬영 기능을 통해 제1 카메라(10)에서 촬영하지 못한 부분을 제2 카메라(11)를 통해 촬영하도록 구성하여 영상의 신뢰도를 높일 수 있다.In this case, the second camera 11 is easier to identify the cause of the accident by taking a wider and more detailed picture of the surrounding situation at the time of the accident through the advantage of the wide-angle camera. In addition, at night, the part of the first camera 10 may be photographed by the second camera 11 through the night photographing function of the second camera 11 to increase the reliability of the image.

또한, 본 실시예에 따라 다중 카메라를 이용함에 있어서, 차량의 다양한 시야각에 대해 촬영하는 카메라를 사용할 수도 있다. 예를 들어, 제1 카메라(10)는 후방 카메라로 제2 카메라(11)는 좌측 카메라 또는 우측 카메라로 설정하여 사용할 수 있다. 또한, 추가적으로 제3 카메라를 구비하여 좌측 카메라와 우측 카메라 모두에 대해 본 실시예의 적용할 수도 있을 것이다. 물론, 전방 카메라에 대한 제4 카메라 등도 추가될 수 있다.In addition, when using multiple cameras according to the present embodiment, a camera photographing for various viewing angles of a vehicle may be used. For example, the first camera 10 may be set as a rear camera and the second camera 11 may be set as a left camera or a right camera. In addition, a third camera may be additionally applied to both the left camera and the right camera. Of course, a fourth camera or the like for the front camera may also be added.

이 경우, 후방, 좌측 또는 우측 카메라는 전방 카메라와 비교하여 일반적으로 주변 상황을 인지하기 위한 경우에만 영상 데이터를 저장할 수 있다는 특징이 있다. 따라서 주행 중에는 좌측 및/또는 우측 카메라의 영상신호가 동영상에 더 많이 포함 되도록 동작하다가 차가 후진 중에는 후방 카메라의 영상신호가 동영상에 더 많이 포함 되도록 동작할 수 있다. 그리고, 동영상 데이터를 영상표시장치에 출력하여 후진 중의 상황을 사용자가 인지하기 쉽도록 할 수도 있다.In this case, the rear, left, or right cameras can store the image data only when the surrounding camera is generally recognized in comparison with the front camera. Accordingly, the video signal of the left and / or right camera may be included in the video while driving, and the video signal of the rear camera may be included in the video while the vehicle reverses. The video data may be output to the video display device so that the user may easily recognize the situation in reverse.

일반적으로 촬영된 데이터를 저장하기 위하여 압축율을 높혀서 사용하기 때문에 원본 데이터 손실로 사고발생시의 정확한 원인분석에 다소 어려운 기술적 취약성이 있다. 따라서, 본 실시예에서는 이를 보완하기 위하여 동영상 신호 처리 중 에 적어도 일부 영상에 대해서는 압축률을 줄인 즉, 영상신호의 손실율을 줄이거나 무손실 압축 방식에 의한 고화질 데이터를 생성하도록 하여 이를 별도로 저장하도록 구성한다. In general, since the compression ratio is increased to store the photographed data, there is a technical difficulty in accurate cause analysis when an accident occurs due to loss of original data. Therefore, in order to compensate for this, the present invention is configured to reduce the compression rate of at least some images during video signal processing, that is, reduce the loss rate of the video signal or generate high quality data by lossless compression.

예를 들어, 본 실시예에 따른 인코딩부(14)는, 제1 카메라(10)의 영상신호와 제2 카메라의 영상신호를 구분하여 제1 카메라(10)의 영상신호와 제2 카메라의 영상신호에 대한 압축률을 서로 다르게 적용할 수 있다. 즉, 제1 카메라(10)의 영상신호에 대해서는 일반 압축율로 인코딩하고 제2 카메라의 영상신호에 대해서는 손실율을 줄이거나 무손실 압축 방식에 의한 고화질 데이터로 처리할 수 있다. 다만, 본 실시예에 따른 고화질 데이터는 일반 압축 방식에 따른 동영상 데이터보다 상당히 크기 때문에 사고기준으로 메모리의 허용 범위 내에서 저장할 수 있는 구성을 가지는 것이 바람직하다.For example, the encoder 14 according to the present exemplary embodiment may distinguish between the video signal of the first camera 10 and the video signal of the second camera, and thus the video signal of the first camera 10 and the video of the second camera. Different compression rates can be applied to the signal. That is, the video signal of the first camera 10 may be encoded at a general compression rate, and the loss ratio may be reduced for the video signal of the second camera, or processed as high quality data using a lossless compression method. However, since the high quality data according to the present embodiment is considerably larger than the video data according to the general compression method, it is preferable to have a configuration that can be stored within the allowable range of the memory on an accident basis.

도 4는 본 발명의 다른 실시예에 따른 차량용 블랙박스 장치의 구성도이고, 도 5는 본 발명의 다른 실시예에 따른 차량용 블랙박스 장치의 영상 합성 결과를 나타내는 도면이다. 그리고, 도 6는 본 발명의 다른 실시예에 따른 차량용 블랙박스 장치에 저장되는 데이터 내용을 나타내는 도면이다.4 is a block diagram of a vehicle black box device according to another embodiment of the present invention, Figure 5 is a view showing the result of the image synthesis of the vehicle black box device according to another embodiment of the present invention. 6 is a view showing the data content stored in the vehicle black box device according to another embodiment of the present invention.

본 실시예에 따르면 실시간으로 하나 이상의 센서를 포함하는 센서부(15)에서 생성되는 센서 데이터를 실시간으로 동영상 저장 중에 처리하여 동영상 데이터가 센서 데이터를 포함하도록 한다. 즉, 일정시간동안 생성된 센서 데이터를 별도의 데이터로 처리하는 것이 아니라 동영상 프레임 중의 일부를 사용하여 동영상 저장과 동시에 저장 하도록 하는 방법이다.According to the present exemplary embodiment, the sensor data generated by the sensor unit 15 including one or more sensors in real time is processed in real time during video storage so that the video data includes sensor data. In other words, the sensor data generated for a certain time is not processed as separate data, but is stored in the video at the same time by using a part of the video frame.

여기서 센서 데이터는, 센서에 대한 정보뿐만 아니라 저장되는 동영상 내 프레임 정보도 함께 포함한다. 예를 들어, 도 6에 도시된 바와 같이 데이터 프레임의 ID(60), 데이터 프레임의 크기(61), 생성 일자(62), 시간(63), 속도(64), 가속도(65), 경도 및 위도(66) 정보 중 적어도 하나를 포함할 수 있다.Here, the sensor data includes not only information about the sensor but also frame information in the video to be stored. For example, as shown in FIG. 6, the ID 60 of the data frame, the size 61 of the data frame, the creation date 62, the time 63, the speed 64, the acceleration 65, the longitude and the like. It may include at least one of the latitude 66 information.

상술한 바와 같이 본 실시예에 따라 센서 데이터를 동영상 데이터와 같이 저장함에 있어서 도 5에 도시된 바와 같이 예를 들어, 적정량을 버퍼링하여 즉, 일정시간 수집하여 이를 데이터 프레임(50)으로 구성하여 저장하는 방법과 영상 데이터에 조금씩 데이터 부분(52)을 지속적으로 추가하여 저장하는 방법의 2가지의 방식을 적용할 수 있다. As described above, in storing the sensor data together with the video data according to the present embodiment, for example, as shown in FIG. 5, a proper amount is buffered, that is, a predetermined time is collected, and the data frame 50 is configured and stored. And two methods of continuously adding and storing the data portion 52 little by little to the image data.

첫 번째 방법에 따르면, 소정 구간에 대한 센서 데이터 단위로 프레임 형식으로 구성하여 포함시킬 수 있다. 즉, 자동차의 센서 데이터를 별개의 데이터 프레임(50)으로 구성하여 넣는 방법이다. 그리고 두 번째 방법에 따르면, 실시간으로 생성되는 센서 데이터를 상응하는 타이밍에 해당하는 프레임에 추가적으로 데이터 부분(52)으로 포함시킬 수 있다. 즉, 영상 프레임에 추가적으로 덧붙여 함께 기록하는 방법이다. 각 영상 프레임 끝에 센서 데이터가 추가된 경우는 디코딩 시에 별도로 분리하여 복원할 것이다.According to the first method, the sensor data unit for a predetermined section may be configured and included in a frame format. In other words, the sensor data of the vehicle is configured into a separate data frame 50. According to the second method, sensor data generated in real time may be additionally included as a data portion 52 in a frame corresponding to a corresponding timing. That is, it is a method of recording together with the video frame. If sensor data is added at the end of each image frame, it will be separately separated and restored when decoding.

일반적으로는 데이터를 기록하기 위한 저장 수단은 순차적으로 접근하도록 구성되어 있다. 따라서 동영상 데이터를 저장하면서 동시에 속도, 위치, 충격량 등의 센서 데이터를 저장할 수 없다. 동시에 저장하기 위해서는 예를 들어 플래시 메모리를 2개 사용하듯이 별도의 저장 수단을 마련해야 한다. 하지만, 이는 제품의 가격이 상승하는 문제가 발생하며 데이터를 저장하는 처리 과정도 복잡하여 지는 문제가 발생한다.Generally, the storage means for recording data is configured to access sequentially. Therefore, while saving video data, sensor data such as speed, position, and impact amount cannot be saved. To store at the same time, separate storage means must be prepared, for example, using two flash memories. However, this causes a problem that the price of the product rises and the process of storing data is complicated.

하지만, 본 실시예에 따라 동영상(음성 포함) 데이터를 처리할 때 속도, 위치, 충격량 등의 센서 데이터를 연속되는 영상 프레임의 일부로 추가하여 저장하면, 메모리 추가 없이도 데이터 처리 속도를 높일 수 있다. 뿐만 아니라 영상 프레임이 아닌 데이터 프레임은 동영상 재생시에 단순히 건너뛰기(skip)만 하면 정상적인 동영상으로 재생할 수 있어 그 구현이 용이한 장점이 있다. 또한, 동영상 내에 해당 타이밍에 대한 센서 데이터가 저장되어 있기 때문에 추후 영상에 따르는 사고 원인, 현상 등을 용이하게 판별할 수 있는 장점도 있다.However, when processing video data (including audio) according to the present exemplary embodiment, if sensor data such as speed, position, and impact amount are added as part of a continuous image frame and stored, the data processing speed can be increased without adding memory. In addition, data frames other than video frames can be reproduced as normal videos simply by skipping during video playback. In addition, since the sensor data for the timing is stored in the video, there is an advantage that it is possible to easily determine the cause, phenomenon, and the like according to the image later.

도 7은 본 발명의 또 다른 실시예에 따른 차량용 블랙박스 장치의 구성도이다.7 is a block diagram of a vehicle black box device according to another embodiment of the present invention.

본 실시예에 따르면, 도 1 또는 도 4의 메모리부(18)는, 제1 메모리(71)와 제2 메모리(72)를 포함하는 둘 이상의 메모리로 구성되고 병렬저장 로직부(70)를 통해서 동영상 데이터가 미러링(mirroring) 기법을 통해 둘 이상의 메모리(71, 72)에 동시에 저장되는 것을 특징으로 한다. 이를 통해, 시스템에 치명적인 문제를 야기할 수 있는 저장 실패 상황을 대비할 수 있도록 해서 데이터의 신뢰도를 높이는 효과가 있다.According to the present exemplary embodiment, the memory unit 18 of FIG. 1 or FIG. 4 includes two or more memories including the first memory 71 and the second memory 72, and through the parallel storage logic unit 70. The video data may be simultaneously stored in two or more memories 71 and 72 through a mirroring technique. This increases the reliability of the data by preparing for storage failures that can cause catastrophic problems in the system.

그리고, 기기의 사용 신뢰성을 확보하기 위하여 주기적으로 자체진단이 가능하도록 영상합성 로직부(12)나 센서부(15) 등의 전원 및 신호를 감시하는 자가 진단(SELF-DIAGNOSTIC) 기능이 부가된다. 자가 진단에 따라 검출된 데이터는 영상, 음성, 신호 등 다양한 형태로 사용자에게 알려질 수 있도록 구현됨이 바람직하다.In addition, a self-diagnosis (SELF-DIAGNOSTIC) function is provided to monitor power and signals of the image synthesis logic unit 12 and the sensor unit 15 to periodically perform self-diagnosis to ensure the reliability of use of the device. The data detected according to the self-diagnosis may be implemented to be known to the user in various forms such as an image, a voice, and a signal.

도 8은 본 발명의 또 다른 실시예에 따른 차량용 블랙박스 장치와 외부 호스트 PC와의 관계를 나타내는 도면이다.8 is a view showing a relationship between a vehicle black box device and an external host PC according to another embodiment of the present invention.

본 실시예에 따르면 데이터를 저장후 이를 외부 호스트 PC(Personal Computer, 81)에 연결하여 확인하는 방법에 있어서 제어부(13)는, 외부 호스트 PC(81)로부터의 접근이 인식되면 외부 호스트 PC(81)에서 차량용 블랙박스 장치(80)를 READ-ONLY CD-ROM(82)으로 인식하도록 하는 특징이 있다.According to the present embodiment, in the method of storing data and connecting it to an external host PC (Personal Computer) 81 to confirm, the control unit 13, when the access from the external host PC 81 is recognized, the external host PC 81 ) To recognize the vehicle black box device 80 as a READ-ONLY CD-ROM (82).

추가적으로 응용 프로그램을 차량용 블랙박스 장치(80)에 내장하여 PC(81)에 연결시 바로 실행가능 하도록하여 데이터 확인 검사를 할수 있도록 할 수 있다. 즉, 차량용 블랙박스 장치(80)에 상응하는 CD-ROM(82)을 자동실행되도록 하여 자동실행시 네트워크에 접속된 것이 확인이 되면 인증절차와 연동되도록 하여 서버에 인증 코드를 전송하거나 인가된 사용자만이 확인 검사하도록 하여 저장된 데이터의 부정 유출을 방지할 수 있는 구조를 가지도록 할 수도 있다. In addition, the application program may be embedded in the vehicle black box device 80 so that it can be immediately executed when connected to the PC 81 so that the data can be checked. That is, the CD-ROM 82 corresponding to the vehicle black box device 80 is automatically executed, and when it is confirmed that the connection is made to the network at the time of automatic execution, the authentication process is transmitted to the server by interworking with the authentication procedure or an authorized user. Only a check can be made to have a structure that can prevent unauthorized leakage of stored data.

본 실시예에 따르면, 정당한 권한이 없는자가 임의로 차량용 블랙박스 장치에 저장된 데이터를 쉽게 변조할 수 없어 데이터에 대한 신뢰도를 높이는 효과가 있다.According to the present embodiment, an unauthorized person cannot arbitrarily easily modulate the data stored in the vehicle black box device, thereby increasing the reliability of the data.

상기에서는 도면 및 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 청구범위에 기재된 본 발명의 기술적 사상으로부터 벗어나지 않는 범위 내에서 본 발명은 다양하게 수정 및 변경시킬 수 있음은 이해할 수 있을 것이다.Although described above with reference to the drawings and embodiments, those skilled in the art will understand that the present invention can be variously modified and changed without departing from the spirit of the invention described in the claims below. Could be.

도 1은 본 발명의 일 실시예에 따른 차량용 블랙박스 장치의 구성도이다.1 is a block diagram of a vehicle black box device according to an embodiment of the present invention.

도 2는 본 발명의 일 실시예에 따른 차량용 블랙박스 장치의 영상 처리 동작을 나타내는 흐름도이다.2 is a flowchart illustrating an image processing operation of a vehicle black box apparatus according to an embodiment of the present invention.

도 3은 본 발명의 일 실시예에 따른 차량용 블랙박스 장치의 영상 합성 결과를 나타내는 도면이다.3 is a view showing the result of image synthesis of the vehicle black box device according to an embodiment of the present invention.

도 4는 본 발명의 다른 실시예에 따른 차량용 블랙박스 장치의 구성도이다.4 is a block diagram of a vehicle black box device according to another embodiment of the present invention.

도 5는 본 발명의 다른 실시예에 따른 차량용 블랙박스 장치의 영상 합성 결과를 나타내는 도면이다.5 is a diagram illustrating an image synthesis result of a vehicle black box apparatus according to another embodiment of the present invention.

도 6는 본 발명의 다른 실시예에 따른 차량용 블랙박스 장치에 저장되는 데이터 내용을 나타내는 도면이다.6 is a view showing the data content stored in the vehicle black box device according to another embodiment of the present invention.

도 7은 본 발명의 또 다른 실시예에 따른 차량용 블랙박스 장치의 구성도이다.7 is a block diagram of a vehicle black box device according to another embodiment of the present invention.

도 8은 본 발명의 또 다른 실시예에 따른 차량용 블랙박스 장치와 외부 호스트 PC와의 관계를 나타내는 도면이다.8 is a view showing a relationship between a vehicle black box device and an external host PC according to another embodiment of the present invention.

<도면의 주요구성에 대한 부호의 설명><Description of the code for the main configuration of the drawings>

10: 제1 카메라 11: 제2 카메라10: first camera 11: second camera

12: 영상합성 로직부 13: 제어부12: image synthesis logic unit 13: control unit

14: 인코딩부 15: 센서부14: encoding section 15: sensor section

16: 데이터 선택부 17: 버퍼부 18: 메모리부16: data selector 17: buffer 18: memory

Claims (8)

제1 카메라 및 제2 카메라를 포함하는 카메라부;A camera unit including a first camera and a second camera; 상기 제1 카메라 및 상기 제2 카메라 중 하나를 선택하게 되는 제어 신호를 생성하는 제어부;A controller configured to generate a control signal for selecting one of the first camera and the second camera; 상기 제어 신호에 따라 상기 제1 카메라 및 상기 제2 카메라를 교차로 선택하고, 상기 제1 카메라의 영상신호와 상기 제2 카메라의 영상신호를 다수의 프레임으로 이루어지는 하나의 동영상 신호로 구성하는 영상합성 로직부;Image synthesis logic that selects the first camera and the second camera at the intersection according to the control signal, and configures the video signal of the first camera and the video signal of the second camera as one video signal composed of a plurality of frames. part; 상기 동영상 신호에 대해 압축 처리하는 인코딩부; 및An encoding unit compressing the video signal; And 상기 압축 처리된 동영상 데이터를 저장하는 메모리부Memory unit for storing the compressed video data 를 포함하는, 다중 카메라를 이용하는 차량용 블랙박스 장치.Including, a vehicle black box device using multiple cameras. 청구항 1에 있어서,The method according to claim 1, 상기 영상합성 로직부는, 상기 제1 카메라에 대한 프레임 수 및 상기 제2 카메라에 대한 프레임 수를 고려하여 상기 제1 카메라 및 상기 제2 카메라를 교차로 선택하는 것을 특징으로 하는, 다중 카메라를 이용하는 차량용 블랙박스 장치.The image synthesis logic unit may select the first camera and the second camera in consideration of the number of frames for the first camera and the number of frames for the second camera, the vehicle black using multiple cameras. Box device. 청구항 1에 있어서,The method according to claim 1, 상기 동영상 데이터는, 실시간으로 하나 이상의 센서에서 생성되는 센서 데이터를 소정 구간에 대한 데이터 단위로 포함하되, 상기 데이터 단위는 상기 다수 의 프레임 각각과 독립된 프레임 형식으로 구성되는 것을 특징으로 하는, 다중 카메라를 이용하는 차량용 블랙박스 장치.The video data may include sensor data generated by at least one sensor in real time as a data unit for a predetermined section, wherein the data unit is configured in a frame format independent of each of the plurality of frames. Vehicle black box device used. 청구항 1에 있어서,The method according to claim 1, 상기 동영상 데이터는, 실시간으로 하나 이상의 센서에서 생성되는 센서 데이터를 포함하되, 상기 다수의 프레임 각각이 상응하는 타이밍에 생성된 센서 데이터를 포함하는 것을 특징으로 하는, 다중 카메라를 이용하는 차량용 블랙박스 장치.The video data includes sensor data generated by at least one sensor in real time, wherein each of the plurality of frames includes sensor data generated at a corresponding timing. 청구항 3 또는 청구항 4에 있어서,The method according to claim 3 or 4, 상기 센서 데이터는, 데이터 프레임의 ID, 데이터 프레임의 크기, 생성 일자, 시간, 속도, 가속도, 경도 및 위도 정보 중 적어도 하나를 포함하는 것을 특징으로 하는, 다중 카메라를 이용하는 차량용 블랙박스 장치.The sensor data, at least one of the ID of the data frame, the size of the data frame, the date of creation, time, speed, acceleration, longitude and latitude information, characterized in that the vehicle black box device using a multiple camera. 청구항 1에 있어서,The method according to claim 1, 상기 인코딩부는, 상기 제1 카메라의 영상신호와 상기 제2 카메라의 영상신호에 대한 압축률을 서로 다르게 적용하는 것을 특징으로 하는, 다중 카메라를 이용하는 차량용 블랙박스 장치.The encoding unit, characterized in that the compression ratio for the video signal of the first camera and the video signal of the second camera differently, the vehicle black box device using a multiple camera. 청구항 1에 있어서,The method according to claim 1, 상기 메모리부는 둘 이상의 메모리로 구성되고, 상기 동영상 데이터는 미러링(mirroring) 기법을 통해 상기 둘 이상의 메모리에 동시에 저장되는 것을 특징으로 하는, 다중 카메라를 이용하는 차량용 블랙박스 장치.And the memory unit comprises two or more memories, and the video data is simultaneously stored in the two or more memories through a mirroring technique. 청구항 1에 있어서,The method according to claim 1, 상기 제어부는, 외부 호스트 PC로부터의 접근이 인식되면 상기 외부 호스트 PC에서 READ-ONLY CD-ROM으로 인식하도록 하는 것을 특징으로 하는, 다중 카메라를 이용하는 차량용 블랙박스 장치.The controller may allow the external host PC to recognize the read-only CD-ROM when the access from the external host PC is recognized.
KR1020080109818A 2008-11-06 2008-11-06 A vehicle block box apparatus using a plurality of camera KR101035489B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080109818A KR101035489B1 (en) 2008-11-06 2008-11-06 A vehicle block box apparatus using a plurality of camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080109818A KR101035489B1 (en) 2008-11-06 2008-11-06 A vehicle block box apparatus using a plurality of camera

Publications (2)

Publication Number Publication Date
KR20100050759A true KR20100050759A (en) 2010-05-14
KR101035489B1 KR101035489B1 (en) 2011-05-20

Family

ID=42276709

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080109818A KR101035489B1 (en) 2008-11-06 2008-11-06 A vehicle block box apparatus using a plurality of camera

Country Status (1)

Country Link
KR (1) KR101035489B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101241803B1 (en) * 2010-06-25 2013-03-14 엠텍비젼 주식회사 Multi-camera video recording device and method for vehicle using multi-camera system
KR101285588B1 (en) * 2011-04-27 2013-07-12 조부연 direct access device of black box memory.
WO2015060670A1 (en) * 2013-10-24 2015-04-30 (주) 픽셀플러스 Camera, dvr, and image monitoring system including same
US9749543B2 (en) 2015-07-21 2017-08-29 Lg Electronics Inc. Mobile terminal having two cameras and method for storing images taken by two cameras

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101717532B1 (en) * 2015-07-22 2017-03-17 엘지전자 주식회사 Mobile terminal and method for controlling the same

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100796265B1 (en) * 2006-08-16 2008-01-21 아이클루(주) Black box for vehicle

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101241803B1 (en) * 2010-06-25 2013-03-14 엠텍비젼 주식회사 Multi-camera video recording device and method for vehicle using multi-camera system
KR101285588B1 (en) * 2011-04-27 2013-07-12 조부연 direct access device of black box memory.
WO2015060670A1 (en) * 2013-10-24 2015-04-30 (주) 픽셀플러스 Camera, dvr, and image monitoring system including same
US9749543B2 (en) 2015-07-21 2017-08-29 Lg Electronics Inc. Mobile terminal having two cameras and method for storing images taken by two cameras
US10091429B2 (en) 2015-07-21 2018-10-02 Lg Electronics Inc. Mobile terminal having two cameras and method for storing images taken by two cameras
USRE49245E1 (en) 2015-07-21 2022-10-11 Lg Electronics Inc. Mobile terminal having two cameras and method for storing images taken by two cameras

Also Published As

Publication number Publication date
KR101035489B1 (en) 2011-05-20

Similar Documents

Publication Publication Date Title
JP4804378B2 (en) Video display device and video display method
EP2386898A1 (en) Stereoscopic imaging apparatus and method
US8514273B2 (en) 3D image display apparatus and 3D image display method
CN102547327A (en) Image processing apparatus, image processing method, and program
US20090169120A1 (en) Method and apparatus for encoding video data, method and apparatus for decoding video data, and program recording medium
JP4157887B2 (en) Security monitoring system that outputs both still images
KR101035489B1 (en) A vehicle block box apparatus using a plurality of camera
JP2008042695A (en) Monitor camera apparatus, monitor camera system, and method of recording monitor camera image
KR20070060612A (en) Method for outputting a video signal in digital video recorder
JP2007194928A (en) Remote monitoring device and method
US8787446B2 (en) Method of transmitting data
US9445085B2 (en) Imaging apparatus, method for controlling imaging apparatus, and system therefor
JP2007228099A (en) Imaging apparatus
JP6351212B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD AND SYSTEM
KR101280443B1 (en) apparatus of processing regional image and method thereof
JP5586420B2 (en) Video transmission system, transmission processing device, reception processing device, and video transmission method
JP2009100259A (en) Monitoring camera and image monitoring system
US20200128179A1 (en) Image device, information processing apparatus, information processing method, system, and storage medium
US20110221914A1 (en) Electronic camera
KR100649891B1 (en) Digital image signal processor, digital image signal processing method and digital video recorder using the method
KR101619791B1 (en) Method for distributing and storing video record data in blackbox
KR102126869B1 (en) Apparatus and method for processing image
JP6594485B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD AND SYSTEM
JP6602425B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD AND SYSTEM
KR100500152B1 (en) Method for transferring high resolution video signals and high resolution camera system executing the method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140512

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170510

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180503

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190507

Year of fee payment: 9