KR101234347B1 - Black box service providing method for vehicles enhanced security based on watermarking technique - Google Patents

Black box service providing method for vehicles enhanced security based on watermarking technique Download PDF

Info

Publication number
KR101234347B1
KR101234347B1 KR1020120060072A KR20120060072A KR101234347B1 KR 101234347 B1 KR101234347 B1 KR 101234347B1 KR 1020120060072 A KR1020120060072 A KR 1020120060072A KR 20120060072 A KR20120060072 A KR 20120060072A KR 101234347 B1 KR101234347 B1 KR 101234347B1
Authority
KR
South Korea
Prior art keywords
image
black box
watermark data
vehicle
user terminal
Prior art date
Application number
KR1020120060072A
Other languages
Korean (ko)
Inventor
김영후
Original Assignee
주식회사 아이서티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이서티 filed Critical 주식회사 아이서티
Priority to KR1020120060072A priority Critical patent/KR101234347B1/en
Application granted granted Critical
Publication of KR101234347B1 publication Critical patent/KR101234347B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D41/00—Fittings for identifying vehicles in case of collision; Fittings for marking or recording collision areas
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25816—Management of client data involving client authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)

Abstract

PURPOSE: A method of providing a service for a black box on vehicles with strengthened security is provided to save various high-quality videos regardless of the amount of memories of the block box. CONSTITUTION: A server for service receives a video with preset watermark date in a black box system for a vehicle(S100). The server receives an authenticode and a request of playing a video from a gadget of a user(S200). The server compares the authenticode with inserted watermark data(S300). If the code is right, the server chooses the watermark date from the video(S400). The sever delivers the original video recorded by the black box for the vehicle to the gadget of the user(S500). [Reference numerals] (S10) Step of receiving member information and registering a user as a member; (S100) Step of receiving and storing an image with the inserted watermark data from a black box system for a vehicle; (S200) Step of inputting the regeneration request of the image and an authentication code from a user terminal; (S300) Step of comparing the input authentication code and the authentication code of watermark data inserted into the image; (S400) Step of extracting the watermark data from the image if the comparison result is matched; (S500) Step of generating and transmitting an original video to the user terminal

Description

워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법{BLACK BOX SERVICE PROVIDING METHOD FOR VEHICLES ENHANCED SECURITY BASED ON WATERMARKING TECHNIQUE}BLACK BOX SERVICE PROVIDING METHOD FOR VEHICLES ENHANCED SECURITY BASED ON WATERMARKING TECHNIQUE}

본 발명은 차량용 블랙박스 서비스 제공 방법에 관한 것으로서, 보다 구체적으로는 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법에 관한 것이다.The present invention relates to a method for providing a vehicle black box service, and more particularly, to a method for providing a security service for a vehicle black box based on watermarking technology.

블랙박스(black box)는 본래 항공기용으로 개발된 것으로서, 해당 항공기의 고도, 항로, 속도, 엔진 상황 등의 상태 및 교신 내용 등을 기록하는 역할을 한다. 항공기 사고 발생 시, 블랙박스를 회수하여 분석하면 해당 항공기의 사고 경위를 정확하게 알아내는 데 큰 도움이 된다. 오늘날에는 항공기뿐만 아니라 차량에도 블랙박스가 설치되곤 한다. 차량용 블랙박스는 ‘EDR(Event Data Recorder)’이라고 부르기도 하는데, 주로 카메라 형식의 제품이 많다. 차량 내부의 룸미러 근처나 대시 보드 위에 주로 설치하며, 차량 전방의 영상을 촬영하여 동영상으로 기록하여 교통사고 발생 시 시시비비를 가리는 데 주로 사용한다.
The black box was originally developed for an aircraft, and serves to record the state and communication contents of the aircraft's altitude, route, speed, engine status, and the like. In the event of an aircraft accident, a black box can be collected and analyzed to help determine the exact situation of the aircraft. Today, black boxes are installed in vehicles as well as aircraft. Car black boxes are also called 'EDR (Event Data Recorder)', and many camera type products. It is mainly installed near the room mirror inside the vehicle or on the dashboard. It records the video in front of the vehicle and records it as a video, and is mainly used to cover sisbibi in the event of a traffic accident.

제품에 따라서는 2대 이상의 카메라를 설치하여 전면뿐 아니라 후면, 측면도 동시에 촬영하는 경우도 있으며, 불특정 다수가 이용하는 택시나 버스 같은 차량의 경우에는 음성을 녹음하면서 차량 내부까지 촬영하는 블랙박스를 설치하기도 한다. 그 외에도 충돌에 관계없이 주행 중에 상시 촬영을 하는 제품, 차량의 갑작스러운 움직임을 감지하여 충돌 순간만을 촬영하는 제품, 혹은 주차 시에만 작동하는 제품 등이 있으며 위와 같은 기능 중 여러 가지를 동시에 갖추고 있는 경우도 많다. 그 외에도 내비게이션이나 하이패스 기능을 함께 가진 일체형 블랙박스도 있다.
Depending on the product, two or more cameras may be installed to photograph not only the front, but also the rear and the side at the same time.In the case of a vehicle such as a taxi or a bus used by an unspecified number, a black box that records the inside of the vehicle while recording voice may be installed. do. In addition, there are products that always shoot during driving regardless of a collision, a product that detects a sudden movement of a vehicle and shoots only a moment of collision, or a product that works only when parking. There are many. There's also an all-in-one black box with navigation and high-pass features.

차량용 블랙박스는 운전자가 별도로 장착하는 경우 외에 자동차 제조사에서 최초부터 블랙박스를 장착하기도 한다. 이때는 페달(액셀러레이터, 브레이크)이나 스티어링 휠(핸들)의 조작 여부, 차량의 속도, 안전벨트의 상태 등이 기록되므로 보다 체계적이고 정확하게 사고 경위 조사가 가능하다. 차량용 블랙박스의 보급률이 높은 미국과 유럽에서는 이러한 형식의 블랙박스가 많이 쓰인다.
In addition to a separate black box for a vehicle, a car black box may be mounted from the beginning by a car manufacturer. At this time, whether the pedal (accelerator, brake) or steering wheel (handle) is operated, the speed of the vehicle, the state of the seat belt, etc. are recorded, so that the accident situation can be investigated more systematically and accurately. This type of black box is widely used in the United States and Europe where car black boxes are widely used.

여러 가지 교통사고가 빈번하게 발생하는 현실에서, 교통사고는 당사자 간의 원만한 합의에 의하여 해결되는 경우도 있으나, 합의가 이루어지지 않고 당사자가 첨예하게 대립하는 경우도 많으며, 이와 같은 경우에 시시비비를 가리기 위하여 차량용 블랙박스에서 녹화된 영상이 증거자료로 활용될 수 있다. 따라서 차량용 블랙박스에서 녹화된 영상은 그 보안이 매우 중요하며, 타인에 의하여 함부로 열람되거나 복제, 변조 등이 일어나서는 안 된다. 따라서 이중 저장장치를 구비하여 이중으로 영상 데이터를 저장하여 증거자료로 활용할 수 있도록 하고, 이중으로 암호화하여 개인 프라이버시를 보호하는, 이중 저장구조를 가지는 차량용 블랙박스에 대한 기술이 개시된 바가 있다(한국특허공개공보 제10-2009-0104300호 참조). 그러나 이와 같은 이중 저장구조를 사용하면, 메모리에 한계가 있어서 많은 영상을 녹화할 수 없고, 타인에 의하여 함부로 열람될 수 있고 복제, 변조 등에 노출되는 상황에는 여전히 취약한 문제가 있다.In a situation where various traffic accidents occur frequently, traffic accidents may be resolved by a smooth agreement between the parties, but in many cases, the parties are sharply opposed without agreement, and in this case, to cover the application Video recorded in a car black box can be used as evidence. Therefore, the security of the video recorded in the car black box is very important and should not be viewed, copied, or tampered with by others. Therefore, a technology has been disclosed for a vehicle black box having a dual storage structure, which has a dual storage device so that video data can be stored as a double data to be utilized as evidence data and double encryption to protect personal privacy. See Published Publication No. 10-2009-0104300). However, when using such a dual storage structure, there is a limitation in the memory, there is a problem that can not record many images, can be browsed by others, exposed to duplication, modulation, etc. still vulnerable.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 서비스 제공 서버가 차량용 블랙박스 시스템으로부터 워터마크 데이터가 삽입된 영상을 전송받아 저장하였다가 인증코드를 입력한 사용자에게 워터마크 데이터가 추출된 원 영상을 전송함으로써, 차량용 블랙박스 시스템의 메모리에 상관없이 고화질의 영상을 다량 저장할 수 있고, 인증코드를 알고 있는 사용자만 원 영상을 확인할 수 있으며, 워터마크를 이용하여 영상의 복제, 위변조 등을 확인할 수 있어 녹화된 영상의 증거자료로서의 신빙성을 향상시킬 수 있는, 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법을 제공하는 것을 그 목적으로 한다.
The present invention has been proposed to solve the above problems of the conventionally proposed methods, the service providing server receives and stores the image with the watermark data is inserted from the vehicle black box system to the user who input the authentication code By transmitting the original image from which the watermark data is extracted, a large amount of high-definition image can be stored regardless of the memory of the vehicle black box system, and only a user who knows the authentication code can check the original image. The purpose of the present invention is to provide a method of providing a security-enhanced vehicle black box service based on a watermarking technology that can confirm the duplication, forgery, and the like of the recorded video, thereby improving the reliability of the recorded video.

또한, 본 발명은, 영상의 식별이 불가능한 디지털 워터마크를 영상에 삽입함으로써, 인증코드를 모르는 타인은 영상을 입수하더라도 영상을 정확하게 판독할 수 없어 보안이 강화되며, 회원으로 가입하여 사용자 계정으로 영상을 관리하거나 사용자 단말기를 지정하여 관리함으로써, 인증코드를 알더라도 사용자 계정을 모르거나 지정된 사용자 단말기가 아닌 단말기로 접속하는 경우에는 영상을 확인할 수 없도록 하여 이중으로 보안을 강화할 수 있는, 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법을 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention, by inserting a digital watermark that can not identify the image to the image, even if someone who does not know the authentication code can not read the image correctly even if the image is secured, security is strengthened, by registering as a member to the user account image Management by designating a user terminal or by designating a user terminal, even if the user knows the authentication code or does not know the user's account when accessing a terminal other than the designated user terminal, so that the video can not be checked, which doubles security Another object of the present invention is to provide a method for providing a security-based vehicle black box service.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법은, 차량용 블랙박스 서비스를 제공하는 서비스 제공 서버가,In order to achieve the above object, a security black vehicle service providing method based on watermarking technology according to a feature of the present invention includes a service providing server providing a black box service for a vehicle.

(1) 차량용 블랙박스 시스템으로부터 미리 설정된 워터마크 데이터가 삽입된 영상을 전송받아 데이터베이스에 저장하는 단계;(1) receiving an image into which a predetermined watermark data is inserted from a vehicle black box system and storing the image into a database;

(2) 사용자 단말기로부터 상기 영상의 재생 요청 및 인증코드를 입력받는 단계;(2) receiving a playback request and an authentication code of the video from a user terminal;

(3) 상기 입력받은 인증코드와 상기 영상에 삽입된 워터마크 데이터의 인증코드를 비교하는 단계;(3) comparing the received authentication code with the authentication code of the watermark data inserted into the image;

(4) 상기 단계 (3)의 비교 결과 일치하면 상기 영상으로부터 상기 워터마크 데이터를 추출하는 단계; 및(4) extracting the watermark data from the image if the comparison result of step (3) matches; And

(5) 상기 차량용 블랙박스 시스템에서 촬영된 원 영상을 생성하여 상기 사용자 단말기에 전송하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
And (5) generating the original image photographed by the vehicle black box system and transmitting the generated original image to the user terminal.

바람직하게는, 상기 워터마크 데이터는,Preferably, the watermark data,

상기 영상의 식별이 불가능한 디지털 워터마크일 수 있다.
The image may be a digital watermark that cannot be identified.

바람직하게는, 상기 워터마크 데이터는,Preferably, the watermark data,

상기 차량용 블랙박스 시스템이 부착된 차량의 차량정보, 차량 소유주 정보, 상기 차량용 블랙박스 시스템에서 영상이 촬영되는 환경 정보 중 적어도 어느 하나를 변환하여 생성될 수 있다.
The vehicle black box system may be generated by converting at least one of vehicle information, vehicle owner information, and environment information in which an image is captured by the vehicle black box system.

바람직하게는, 상기 영상은,Preferably, the image is,

상기 영상 전체에 대하여 상기 워터마크 데이터가 삽입될 수 있다.
The watermark data may be inserted into the entire image.

바람직하게는, 상기 단계 (1) 이전에는,Preferably, prior to step (1)

(0) 상기 사용자 단말기로부터 회원 정보를 입력받아 사용자를 회원으로 등록하는 단계를 더 포함할 수 있다.
(0) The method may further include registering member information as a member by receiving member information from the user terminal.

더욱 바람직하게는,More preferably,

상기 단계 (0)에서는, 상기 사용자 단말기로부터 상기 차량용 블랙박스 시스템의 정보 및 상기 워터마크 데이터의 인증코드를 더 입력받으며,In the step (0), receiving the authentication code of the watermark data and the information of the vehicle black box system from the user terminal,

상기 단계 (1)에서는, 상기 단계 (0)에서 입력받은 차량용 블랙박스 시스템으로부터 상기 단계 (0)에서 입력받은 워터마크 데이터의 인증코드가 삽입된 영상을 전송받아 저장할 수 있다.
In the step (1), it is possible to receive and store the image inserted the authentication code of the watermark data received in the step (0) from the vehicle black box system received in the step (0).

더욱 바람직하게는, 상기 단계 (1)에서는,More preferably, in the step (1)

상기 차량용 블랙박스 시스템으로부터 전송받은 영상을 상기 회원으로 등록한 사용자의 계정에 저장할 수 있다.
The image received from the vehicle black box system may be stored in an account of a user registered as the member.

더욱 바람직하게는,More preferably,

상기 단계 (0)에서는, 상기 사용자 단말기로부터 식별번호를 입력받아 등록하며,In the step (0), the identification number is input from the user terminal and registered,

상기 단계 (2)에서는, 상기 영상의 재생 요청을 하는 상기 사용자 단말기의 식별번호를 입력받아, 상기 등록한 식별번호와 비교하여 불일치하면 상기 단계 (2)의 상기 영상의 재생 요청을 거부할 수 있다.
In step (2), if the identification number of the user terminal requesting the playback of the video is input, and if there is a mismatch compared to the registered identification number, it is possible to reject the playback request of the video of step (2).

바람직하게는, 상기 단계 (4) 이후에는,Preferably, after step (4)

(6) 상기 사용자 단말기로부터 상기 영상의 위변조 확인 요청 및 상기 미리 설정된 워터마크 데이터를 입력받는 단계;(6) receiving a forgery confirmation request of the image and the preset watermark data from the user terminal;

(7) 상기 단계 (4)에서 추출한 워터마크 데이터와 상기 단계 (6)에서 입력받은 미리 설정된 워터마크 데이터를 비교하는 단계; 및(7) comparing the watermark data extracted in step (4) with the preset watermark data received in step (6); And

(8) 상기 비교 결과 불일치하면 상기 사용자 단말기에 위변조 신호를 전송하는 단계를 더 포함할 수 있다.And (8) if the result of the comparison does not match, transmitting a forgery signal to the user terminal.

본 발명에서 제안하고 있는 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법에 따르면, 서비스 제공 서버가 차량용 블랙박스 시스템으로부터 워터마크 데이터가 삽입된 영상을 전송받아 저장하였다가 인증코드를 입력한 사용자에게 워터마크 데이터가 추출된 원 영상을 전송함으로써, 차량용 블랙박스 시스템의 메모리에 상관없이 고화질의 영상을 다량 저장할 수 있고, 인증코드를 알고 있는 사용자만 원 영상을 확인할 수 있으며, 워터마크를 이용하여 영상의 복제, 변조 등을 확인할 수 있어 녹화된 영상의 증거자료로서의 신빙성을 향상시킬 수 있다.
According to the method of providing security-enhanced vehicle black box service based on the watermarking technology proposed by the present invention, the service providing server receives and stores an image in which watermark data is inserted from the vehicle black box system and inputs an authentication code. By sending the original image from which the watermark data is extracted to one user, a large amount of high-definition image can be stored regardless of the memory of the vehicle black box system, and only a user who knows the authentication code can check the original image. By using this function, it is possible to confirm the duplication, modulation, etc. of the image, thereby improving the reliability as evidence of the recorded image.

또한, 본 발명에 따르면, 영상의 식별이 불가능한 디지털 워터마크를 영상에 삽입함으로써, 인증코드를 모르는 타인은 영상을 입수하더라도 영상을 정확하게 판독할 수 없어 보안이 강화되며, 회원으로 가입하여 사용자 계정으로 영상을 관리하거나 사용자 단말기를 지정하여 관리함으로써, 인증코드를 알더라도 사용자 계정을 모르거나 지정된 사용자 단말기가 아닌 단말기로 접속하는 경우에는 영상을 확인할 수 없도록 하여 이중으로 보안을 강화할 수 있다.In addition, according to the present invention, by inserting a digital watermark that can not identify the image to the image, even if someone who does not know the authentication code can not accurately read the image even if the image is obtained, the security is strengthened, join as a user account By managing the video or by designating a user terminal, even if the user knows the authentication code, if the user account is not known or the user is connected to a terminal other than the designated user terminal, the image can not be checked and the security can be doubled.

도 1은 본 발명의 일실시예에 따른 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법을 구현하기 위한 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법의 흐름을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법에서, 단계 S10이 수행되는 사용자 단말기를 예를 들어 도시한 도면.
도 4는 본 발명의 일실시예에 따른 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법에서, 영상의 리스트가 출력된 사용자 단말기를 예를 들어 도시한 도면.
도 5는 본 발명의 일실시예에 따른 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법에서, 단계 S200이 수행되는 사용자 단말기를 예를 들어 도시한 도면.
도 6은 본 발명의 일실시예에 따른 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법에서, 워터마크 데이터가 삽입된 영상이 출력되는 사용자 단말기를 예를 들어 도시한 도면.
도 7은 본 발명의 일실시예에 따른 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법에서, 원 영상이 출력되는 사용자 단말기를 예를 들어 도시한 도면.
도 8은 본 발명의 일실시예에 따른 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법에서, 영상에 삽입된 워터마크 데이터를 이용하여 영상의 위변조를 확인하는 세부적인 흐름을 도시한 도면.1 is a diagram showing the configuration of a system for implementing a method for providing a security-enhanced vehicle black box service based on a watermarking technology according to an embodiment of the present invention.
2 is a flow diagram illustrating a method of providing a security-enhanced vehicle black box service based on a watermarking technology according to an embodiment of the present invention.
3 is a diagram illustrating an example of a user terminal in which step S10 is performed in a method of providing security enhanced black box service for a vehicle based on watermarking technology according to an embodiment of the present invention.
FIG. 4 is a diagram illustrating an example of a user terminal on which a list of images is output in a method of providing security enhanced black box service for a vehicle based on watermarking technology according to an embodiment of the present invention.
FIG. 5 is a diagram illustrating an example of a user terminal in which step S200 is performed in a method for providing security-enhanced vehicle black box service based on a watermarking technology according to an embodiment of the present invention.
FIG. 6 is a diagram illustrating an example of a user terminal for outputting an image in which watermark data is inserted, in a method for providing security-enhanced vehicle black box service based on watermarking technology according to an embodiment of the present invention.
FIG. 7 is a diagram illustrating an example of a user terminal for outputting an original image in a method for providing a security-enhanced vehicle black box service based on a watermarking technology according to an embodiment of the present invention.
FIG. 8 illustrates a detailed flow of checking forgery of an image using watermark data embedded in an image in a method for providing a security-enhanced vehicle black box service based on a watermarking technique according to an embodiment of the present invention. drawing.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, in order that those skilled in the art can easily carry out the present invention. In the following detailed description of the preferred embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In the drawings, like reference numerals are used throughout the drawings.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, in the entire specification, when a part is referred to as being 'connected' to another part, it may be referred to as 'indirectly connected' not only with 'directly connected' . In addition, the term 'comprising' of an element means that the element may further include other elements, not to exclude other elements unless specifically stated otherwise.

도 1은 본 발명의 일실시예에 따른 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법을 구현하기 위한 시스템의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법을 구현하기 위한 시스템은, 서비스 제공 서버(100), 차량용 블랙박스 시스템(200) 및 사용자 단말기(300)를 포함하여 구성될 수 있다.
1 is a diagram showing the configuration of a system for implementing a method for providing a security-enhanced vehicle black box service based on a watermarking technology according to an embodiment of the present invention. As shown in FIG. 1, a system for implementing a method for providing security-enhanced vehicle black box service based on a watermarking technology according to an embodiment of the present invention includes a service providing server 100 and a vehicle black box system ( 200 and the user terminal 300 may be configured.

즉, 본 발명에서는, 서비스 제공 서버(100)가 차량용 블랙박스 시스템(200)으로부터 워터마크 데이터가 삽입된 영상을 전송받아 저장하였다가 인증코드를 입력한 사용자에게 워터마크 데이터가 추출된 원 영상을 전송함으로써, 차량용 블랙박스 시스템(200)의 메모리에 상관없이 고화질의 영상을 다량 저장할 수 있고, 인증코드를 알고 있는 사용자만 원 영상을 확인할 수 있으며, 워터마크를 이용하여 영상의 복제, 변조 등을 확인할 수 있어 녹화된 영상의 증거자료로서의 신빙성을 향상시킬 수 있다.
That is, in the present invention, the service providing server 100 receives and stores the image with the watermark data inserted from the vehicle black box system 200 and stores the original image from which the watermark data is extracted to the user who inputs the authentication code. By transmitting, it is possible to store a large amount of high-definition image regardless of the memory of the vehicle black box system 200, only the user who knows the authentication code can check the original image, copying, modulation, etc. using the watermark This can improve the reliability as evidence of recorded video.

또한, 영상의 식별이 불가능한 디지털 워터마크를 영상에 삽입함으로써, 인증코드를 모르는 타인은 영상을 입수하더라도 영상을 정확하게 판독할 수 없어 보안이 강화되며, 회원으로 가입하여 사용자 계정으로 영상을 관리하거나 사용자 단말기(300)를 지정하여 관리함으로써, 인증코드를 알더라도 사용자 계정을 모르거나 지정된 사용자 단말기(300)가 아닌 단말기로 접속하는 경우에는 영상을 확인할 수 없어 이중으로 보안을 강화할 수 있다.
In addition, by inserting a digital watermark that cannot be identified into the video, others who do not know the authentication code can not read the video correctly even if the video is obtained. This enhances security. By designating and managing the terminal 300, even if the user knows the authentication code, when not knowing the user account or accessing the terminal other than the designated user terminal 300, the image can not be confirmed and the security can be doubled.

이하에서는, 본 발명의 일실시예에 따른 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법을 구현하기 위한 시스템을 구성하는 각 구성요소에 대하여 상세히 설명하도록 한다.
Hereinafter, each component constituting a system for implementing a method for providing a security-enhanced vehicle black box service based on a watermarking technology according to an embodiment of the present invention will be described in detail.

서비스 제공 서버(100)는, 차량용 블랙박스 서비스를 제공하는 서버일 수 있다. 서비스 제공 서버(100)는 인터넷, 인트라넷, 유무선 통신망, 이동통신망 등을 포함하는 네트워크를 통한 차량용 블랙박스 시스템(200) 또는 사용자 단말기(300)의 접속을 허용하고, 각종 신호 및 데이터를 송수신할 수 있다. 또한, 서비스 제공 서버(100)는 데이터베이스(110)를 구비하여 차량용 블랙박스 시스템(200)으로부터 전송받은 영상을 저장할 수 있으며, 사용자를 회원으로 등록하여 사용자 계정에 따라 전송받은 영상을 관리할 수도 있다.
The service providing server 100 may be a server that provides a vehicle black box service. The service providing server 100 may allow the vehicle black box system 200 or the user terminal 300 to be connected through a network including the Internet, an intranet, a wired / wireless communication network, a mobile communication network, and transmit and receive various signals and data. have. In addition, the service providing server 100 may include a database 110 to store an image transmitted from the vehicle black box system 200, and may register a user as a member and manage the received image according to a user account. .

차량용 블랙박스 시스템(200)은, 차량에 설치된 블랙박스에서 촬영된 영상에 미리 설정된 워터마크 데이터를 삽입하고, 워터마크 데이터가 삽입된 영상을 네트워크를 통하여 서비스 제공 서버(100)에 전송할 수 있다. 차량용 블랙박스 시스템(200)은, 사용자의 설정에 따라 차량용 블랙박스 시스템(200)이 부착된 차량의 차량정보, 차량 소유주 정보, 차량용 블랙박스 시스템(200)에서 영상이 촬영되는 환경 정보 중 적어도 어느 하나를 워터마크 데이터로 변환하여 생성하고, 이를 영상 전체에 대하여 삽입할 수 있다.
The vehicle black box system 200 may insert preset watermark data into an image photographed by a black box installed in a vehicle, and transmit the image into which the watermark data is inserted to the service providing server 100 through a network. The vehicle black box system 200 may include at least one of vehicle information of a vehicle to which the vehicle black box system 200 is attached, vehicle owner information, and environmental information in which an image is captured by the vehicle black box system 200 according to a user's setting. One can be generated by converting it into watermark data and inserted into the entire image.

디지털 워터마크는, 일반적으로 디지털 형식으로 되어 있는 지적재산에 대한 저작권보호를 제공하기 위한 목적으로 삽입하는 것으로서, 프린트 워터마크와 같이 의도적으로 어느 정도까지는 볼 수 있도록 만든 비저블(visible) 워터마크도 있으나, 본 발명에서는 완전히 보이지 않도록 설계되는 인비저블(invisible) 워터마크를 사용함으로써, 영상의 보안을 강화할 수 있다. 특히, 차량용 블랙박스 시스템(200)에서 촬영된 영상이 음향을 포함하는 멀티미디어 영상인 경우에는, 음향이 들리지 않도록 워터마크 데이터를 삽입할 수도 있다.
Digital watermarks are inserted for the purpose of providing copyright protection for intellectual property, which is usually in digital form. Some digital watermarks, such as print watermarks, are intentionally visible to some extent. In the present invention, by using an invisible watermark designed to be completely invisible, it is possible to enhance the security of the image. In particular, when the image photographed by the vehicle black box system 200 is a multimedia image including sound, watermark data may be inserted so that sound is not heard.

사용자 단말기(300)는, 서비스 제공 서버(100)가 제공하는 차량용 블랙박스 서비스를 이용하여 블랙박스에서 촬영된 영상의 보안을 강화하고자 하는 사용자의 단말기일 수 있다. 사용자 단말기(300)는, 컴퓨터, 노트북, PDA, MP4 플레이어, 이동통신단말기 등 각종 통신단말기일 수 있으며, 스마트폰, 스마트 노트, 태블릿 PC, 스마트 TV 등 각종 스마트 기기일 수도 있다. 다만, 본 발명의 사용자 단말기(300)가 나열한 바와 같은 단말기의 형태에 한정되는 것은 아니며, 네트워크를 통하여 서비스 제공 서버(100)에 접속하여 인증 코드를 입력하고 워터마크 데이터가 추출된 원 영상을 전송받아 출력할 수 있다면, 구체적인 단말기의 형태에 관계없이 본 발명의 사용자 단말기(300)의 역할을 얼마든지 할 수 있다.
The user terminal 300 may be a terminal of a user who wants to enhance security of an image captured by the black box using a vehicle black box service provided by the service providing server 100. The user terminal 300 may be various communication terminals such as a computer, a notebook computer, a PDA, an MP4 player, a mobile communication terminal, and may be various smart devices such as a smart phone, a smart note, a tablet PC, a smart TV, and the like. However, the present invention is not limited to the form of the terminal as listed in the user terminal 300 of the present invention, and accesses the service providing server 100 through a network, inputs an authentication code, and transmits an original image from which watermark data is extracted. If it can be received and output, the user terminal 300 of the present invention can be any number of roles regardless of the form of the specific terminal.

도 2는 본 발명의 일실시예에 따른 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법의 흐름을 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법은, 차량용 블랙박스 시스템(200)으로부터 워터마크 데이터가 삽입된 영상을 전송받아 저장하는 단계(S100), 사용자 단말기(300)로부터 영상의 재생 요청 및 인증코드를 입력받는 단계(S200), 입력받은 인증코드와 영상에 삽입된 워터마크 데이터의 인증코드를 비교하는 단계(S300), 비교 결과 일치하면 영상으로부터 워터마크 데이터를 추출하는 단계(S400) 및 원 영상을 생성하여 사용자 단말기(300)에 전송하는 단계(S500)를 포함하여 구현될 수 있으며, 회원 정보를 입력받아 사용자를 회원으로 등록하는 단계(S10)를 더 포함하여 구현될 수 있다.
2 is a flowchart illustrating a method of providing a security-enhanced vehicle black box service based on a watermarking technology according to an embodiment of the present invention. As shown in FIG. 2, in a method of providing security-enhanced vehicle black box service based on watermarking technology according to an embodiment of the present invention, an image in which watermark data is inserted is transmitted from the vehicle black box system 200. Receiving and storing (S100), the step of receiving the image playback request and authentication code from the user terminal 300 (S200), Comparing the authentication code of the received authentication code and the watermark data inserted in the image (S300) ), If the comparison result is matched, extracting watermark data from the image (S400) and generating and transmitting the original image to the user terminal 300 (S500). It may be implemented further comprising the step of registering as a member (S10).

단계 S10에서는, 서비스 제공 서버(100)가 사용자 단말기(300)로부터 회원 정보를 입력받아 사용자를 회원으로 등록할 수 있다. 회원 정보는 사용자의 성명, 연락처 등을 포함할 수 있고, 차대번호, 차량번호, 소유주, 기종 등의 차량 정보를 입력받을 수도 있다. 또한, 단계 S10에서는, 사용자 단말기(300)로부터 사용자 단말기(300)의 고유 번호, 전화번호 등의 식별번호를 입력받아 등록할 수 있다. 즉, 보안 강화를 위하여 등록된 식별번호에 의하여 식별되는 사용자 단말기(300)에만 영상을 전송할 수 있다.
In operation S10, the service providing server 100 may receive member information from the user terminal 300 and register the user as a member. The member information may include a user's name, contact information, and the like, and may receive vehicle information such as a chassis number, a vehicle number, an owner, and a model. In operation S10, an identification number such as a unique number and a phone number of the user terminal 300 may be received from the user terminal 300 and registered. That is, the image may be transmitted only to the user terminal 300 identified by the registered identification number for enhanced security.

한편, 단계 S10에서는, 사용자 단말기(300)로부터 차량용 블랙박스 시스템(200)의 정보 및 워터마크 데이터의 인증코드를 더 입력받을 수 있다. 즉, 차량용 블랙박스 시스템(200)의 정보를 입력받아 사용자의 차량용 블랙박스 시스템(200)으로부터 전송받은 영상을 사용자 계정으로 관리할 수 있으며, 사용자로부터 입력받은 워터마크 데이터의 인증코드를 차량용 블랙박스 시스템(200)에 전송하여 해당 인증코드를 이용하여 워터마크 데이터를 삽입하도록 할 수 있다.
Meanwhile, in step S10, the user terminal 300 may further receive the authentication code of the watermark data and the information of the vehicle black box system 200. That is, by receiving the information of the vehicle black box system 200 can manage the image received from the user's vehicle black box system 200 with a user account, and the authentication code of the watermark data received from the user vehicle black box The watermark data may be inserted into the system 200 using the corresponding authentication code.

도 3은 본 발명의 일실시예에 따른 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법에서, 단계 S10이 수행되는 사용자 단말기(300)를 예를 들어 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법의 단계 S10에서는, 사용자 단말기(300)로부터 회원 정보, 차량 정보 및 차량용 블랙박스 시스템(200)의 정보 등을 입력받고, 사용자를 회원으로 등록할 수 있다. 서비스 제공 서버(100)는 회원으로 등록한 사용자에 대해서 데이터베이스(110)에 사용자 계정을 생성하고, 회원 정보, 차량 정보 및 차량용 블랙박스 시스템(200)의 정보 등을 저장하며, 영상을 저장 및 관리할 수도 있다.
3 is a diagram illustrating an example of a user terminal 300 in which step S10 is performed in a method for providing a security-enhanced vehicle black box service based on a watermarking technology according to an embodiment of the present invention. As shown in FIG. 3, in step S10 of the method for providing security-enhanced vehicle black box service based on watermarking technology according to an embodiment of the present invention, member information, vehicle information, and vehicle black from the user terminal 300 are provided. Information of the box system 200 may be input, and the user may be registered as a member. The service providing server 100 may create a user account in the database 110 for a user registered as a member, store member information, vehicle information, information of the vehicle black box system 200, and store and manage images. It may be.

단계 S100에서는, 서비스 제공 서버(100)가 차량용 블랙박스 시스템(200)으로부터 미리 설정된 워터마크 데이터가 삽입된 영상을 전송받아 데이터베이스(110)에 저장할 수 있다. 이때, 워터마크 데이터는, 차량용 블랙박스 시스템(200)이 부착된 차량의 차량정보, 차량 소유주 정보, 차량용 블랙박스 시스템(200)에서 영상이 촬영되는 환경 정보 중 적어도 어느 하나를 변환하여 생성된 것일 수 있다. 환경 정보에는 시각, 위치, 날씨 등이 포함될 수 있다. 이와 같이 차량정보, 차량 소유주 정보, 환경 정보 등을 워터마크 데이터로 활용함으로써, 부가 정보를 저장하고 영상의 신뢰도를 향상시킬 수 있다. 또한, 단계 S100에서 저장하는 영상은, 영상 전체에 대하여 워터마크 데이터가 삽입된 것일 수 있다. 이와 같이 영상 전체에 대하여 워터마크 데이터를 삽입함으로써 보안을 강화할 수 있다.
In operation S100, the service providing server 100 may receive an image in which watermark data, which is set in advance, is inserted from the vehicle black box system 200 and store the image in the database 110. In this case, the watermark data is generated by converting at least one of vehicle information of the vehicle to which the vehicle black box system 200 is attached, vehicle owner information, and environmental information in which an image is captured by the vehicle black box system 200. Can be. The environmental information may include time, location, weather, and the like. As such, by using the vehicle information, the vehicle owner information, and the environment information as watermark data, it is possible to store additional information and improve the reliability of the image. In addition, the image stored in step S100 may be watermark data is inserted into the entire image. In this way, security can be enhanced by inserting watermark data into the entire image.

한편, 단계 S10에서 사용자 단말기(300)로부터 차량용 블랙박스 시스템(200)의 정보 및 워터마크 데이터의 인증코드를 입력받은 경우, 단계 S100에서는 단계 S10에서 입력받은 차량용 블랙박스 시스템(200)으로부터 단계 S10에서 입력받은 워터마크 데이터의 인증코드가 삽입된 영상을 전송받아 저장할 수 있다. 이때, 인증코드는 워터마크의 형태로 영상에 삽입되거나, 인증코드에서 지정하는 규칙에 따라 워터마크 데이터를 삽입할 수 있으며, 비밀번호 형태로 영상에 인증코드를 삽입할 수도 있다. 또한, 단계 S10에서 사용자가 회원으로 가입한 경우, 단계 S100에서는 차량용 블랙박스 시스템(200)으로부터 전송받은 영상을 회원으로 등록한 사용자의 계정에 저장할 수 있다.
On the other hand, when receiving the authentication code of the information and watermark data of the vehicle black box system 200 from the user terminal 300 in step S10, in step S100 step S10 from the vehicle black box system 200 received in step S10 The image inserted with the authentication code of the watermark data received in the can be received and stored. In this case, the authentication code may be inserted into the image in the form of a watermark, or watermark data may be inserted according to a rule specified by the authentication code, or the authentication code may be inserted into the image in the form of a password. In addition, when the user is registered as a member in step S10, in step S100 may store the image received from the vehicle black box system 200 in the account of the user registered as a member.

도 4는 본 발명의 일실시예에 따른 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법에서, 영상의 리스트가 출력된 사용자 단말기(300)를 예를 들어 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법에서는, 단계 S100에서 사용자 계정에 따라 저장한 영상의 리스트를 사용자에게 제공할 수 있다. 즉, 단계 S10에서 회원으로 등록한 사용자가 아이디, 패스워드와 같은 접속 정보를 입력하고 서비스 제공 서버(100)에 접속하면, 서비스 제공 서버(100)는 단계 S100에서 사용자 계정으로 저장하여 관리하는 영상의 리스트를 사용자에게 제공할 수 있다.
4 is a diagram illustrating an example of a user terminal 300 on which a list of images is output in a method for providing a secure black box service for a vehicle based on watermarking technology according to an embodiment of the present invention. As shown in FIG. 4, in the method for providing security-enhanced vehicle black box service based on watermarking technology according to an embodiment of the present invention, a list of images stored according to the user account in step S100 may be provided to the user. Can be. That is, when a user registered as a member in step S10 enters access information such as an ID and a password and accesses the service providing server 100, the service providing server 100 stores a list of images stored and managed as a user account in step S100. Can be provided to the user.

단계 S200에서는, 서비스 제공 서버(100)가 사용자 단말기(300)로부터 영상의 재생 요청 및 인증코드를 입력받을 수 있다. 예를 들어, 도 4에 도시된 바와 같은 화면에서, 사용자가 영상의 리스트 중 어느 하나를 선택하면, 선택 신호를 서비스 제공 서버(100)가 수신함으로써 영상의 재생 요청을 입력받을 수 있다. 본 발명에서는, 사용자의 재생 요청을 즉시 수락하여 영상을 재생하는 것이 아니라, 인증코드를 더 입력받아 인증 절차를 수행함으로써, 아이디, 패스워드와 같은 접속 정보를 알게 된 타인에 의하여 영상이 열람 또는 복제되지 않도록 할 수 있다.
In operation S200, the service providing server 100 may receive a video reproduction request and an authentication code from the user terminal 300. For example, in the screen as shown in FIG. 4, when the user selects any one of the list of images, the service providing server 100 may receive a selection request of the image by receiving the selection signal. In the present invention, rather than immediately accepting the user's playback request to play back the video, by receiving more authentication code to perform the authentication process, the video is not viewed or copied by others who know the access information such as ID, password You can do that.

도 5는 본 발명의 일실시예에 따른 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법에서, 단계 S200이 수행되는 사용자 단말기(300)를 예를 들어 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법의 단계 S200에서는, 도 4에 도시된 바와 같은 화면에서 선택한 영상에 대하여, 인증코드의 입력을 사용자에게 요청할 수 있다.
FIG. 5 is a diagram illustrating an example of a user terminal 300 in which step S200 is performed in a method for providing a security enhanced black box service for a vehicle based on watermarking technology according to an embodiment of the present invention. As shown in FIG. 5, in step S200 of the method for providing a security-enhanced black box service for a vehicle based on watermarking technology according to an embodiment of the present invention, for an image selected on the screen as shown in FIG. 4, The user may be asked for an authentication code.

한편, 단계 S200에서는, 영상의 재생 요청을 하는 사용자 단말기(300)의 식별번호를 입력받아, 등록한 식별번호와 비교하여 불일치하면 단계 S200의 영상의 재생 요청을 거부할 수 있다. 즉, 단계 S10에서 영상을 열람할 수 있는 사용자 단말기(300)를 식별번호로 지정하여 등록한 경우, 단계 S200에서는 사용자 단말기(300)의 식별번호를 사용자 단말기(300)로부터 자동으로 수신하여 단계 S10에서 등록한 식별변호와 불일치하면, 단계 S300 이하를 처리하지 않고 영상의 재생 요청을 즉시 거부할 수 있다. 따라서 타인이 사용자의 접속 정보를 도용하더라도, 사용자가 등록한 사용자 단말기(300)를 이용하지 않으면, 영상을 열람 또는 복제할 수 없기 때문에 보안을 더욱 강화할 수 있다.
On the other hand, in step S200, if receiving the identification number of the user terminal 300 for requesting the playback of the video, compared with the registered identification number can be rejected to request the playback of the video of step S200. That is, when the user terminal 300 that can view the image in step S10 is designated as an identification number and registered, in step S200, an identification number of the user terminal 300 is automatically received from the user terminal 300 in step S10. If it is inconsistent with the registered identification number, it is possible to immediately reject the request to reproduce the video without processing step S300 or below. Therefore, even if another person steals the user's access information, unless the user uses the registered user terminal 300, the image cannot be viewed or copied, and thus security can be further enhanced.

단계 S300에서는, 서비스 제공 서버(100)가 입력받은 인증코드와 영상에 삽입된 워터마크 데이터의 인증코드를 비교할 수 있다. 즉, 단계 S300에서는, 차량용 블랙박스 시스템(200)에서 영상 촬영 및 녹화 시 삽입한 워터마크 데이터의 인증코드와 단계 S200에서 입력받은 인증코드를 상호 비교할 수 있다. 이때, 단계 S10에서 서비스 제공 서버(100)가 사용자 단말기(300)로부터 워터마크 데이터의 인증코드를 입력받았을 수도 있으나, 단계 S300에서는 단계 S10에서 입력받은 인증코드는 고려하지 않을 수 있다. 이와 같이, 서비스 제공 서버(100)에 저장된 정보와는 관계없이 차량용 블랙박스 시스템(200)에서 사용하는 인증코드와 사용자가 기억하고 입력한 인증코드를 비교함으로써, 서비스 제공 서버(100)에서 제공하는 블랙박스 서비스의 신뢰도를 향상시킬 수 있다.
In operation S300, the service providing server 100 may compare the input authentication code with the authentication code of the watermark data inserted into the image. That is, in step S300, the authentication code of the watermark data inserted during the image capturing and recording in the vehicle black box system 200 and the authentication code received in step S200 can be compared with each other. At this time, the service providing server 100 may have received the authentication code of the watermark data from the user terminal 300 in step S10, the authentication code input in step S10 may not be considered in step S300. As such, regardless of the information stored in the service providing server 100 by comparing the authentication code used in the vehicle black box system 200 with the authentication code stored and input by the user, the service providing server 100 provides It can improve the reliability of the black box service.

단계 S400에서는, 서비스 제공 서버(100)가 단계 S300의 비교 결과 일치하면 영상으로부터 워터마크 데이터를 추출할 수 있다. 단계 S400은 워터마크 검출 프로그램을 이용하여 처리될 수 있으며, 영상으로부터 워터마크 데이터를 추출하고, 워터마크 데이터가 삽입된 상태로 단계 S100에서 전송받은 영상으로부터 원 영상을 복원할 수 있다. 다만, 단계 S300의 비교 결과가 일치하지 않으면 단계 S400을 처리하지 않고 접근 권한이 없음을 사용자 단말기(300)에 전송할 수 있다.
In operation S400, if the service providing server 100 matches the comparison result of operation S300, the service providing server 100 may extract watermark data from the image. Step S400 may be processed using a watermark detection program, extract watermark data from the image, and restore the original image from the image received in step S100 with the watermark data inserted. However, if the comparison result of step S300 does not match, it may be transmitted to the user terminal 300 that there is no access authority without processing step S400.

단계 S500에서는, 서비스 제공 서버(100)가 차량용 블랙박스 시스템(200)에서 촬영된 원 영상을 생성하여 사용자 단말기(300)에 전송할 수 있다. 즉, 단계 S400에서 워터마크 데이터를 추출하고 복원하여 생성한 원 영상을 네트워크를 통하여 사용자 단말기(300)에 전송할 수 있다. 이때, 단계 S500에서는 원 영상을 파일 형태로 사용자 단말기(300)에 전송할 수 있으나, 스트리밍(streaming) 방식을 이용하여 원 영상의 저장 없이 즉시 재생되도록 할 수도 있다.
In operation S500, the service providing server 100 may generate an original image photographed by the vehicle black box system 200 and transmit the generated original image to the user terminal 300. That is, the original image generated by extracting and restoring the watermark data in step S400 may be transmitted to the user terminal 300 through a network. In this case, in operation S500, the original image may be transmitted to the user terminal 300 in a file form, but may be immediately reproduced without storing the original image by using a streaming method.

도 6은 본 발명의 일실시예에 따른 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법에서, 워터마크 데이터가 삽입된 영상이 출력되는 사용자 단말기(300)를 예를 들어 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법에서는, 단계 S300의 비교 결과가 일치하지 않거나 식별번호에 의해 지정된 사용자 단말기(300)가 아닌 경우 등 정당한 사용자에 의한 영상의 재생 요청이 아닌 경우에는, 재생 요청 자체를 거부할 수 있으나, 단계 S400을 처리하지 않은 상태로 도 6에 도시된 바와 같이 워터마크 데이터가 삽입된 영상을 전송할 수도 있다. 본 발명에서는 영상의 식별이 불가능한 디지털 워터마크를 삽입할 수 있으므로, 도 6에 도시된 바와 같이 워터마크 데이터가 삽입된 상태에서는 영상으로부터 얻을 수 있는 정보는 거의 없다.
FIG. 6 is a diagram illustrating an example of a user terminal 300 that outputs an image in which watermark data is inserted in a method for providing a security-enhanced vehicle black box service based on a watermarking technology according to an embodiment of the present invention. to be. As shown in FIG. 6, in the security-enhanced vehicle black box service providing method based on the watermarking technology according to an embodiment of the present invention, the comparison result of step S300 does not match or is designated by an identification number (eg, a user terminal). If it is not a request for playing the video by a legitimate user, such as 300), the playback request itself may be rejected, but the watermark data is inserted as shown in FIG. 6 without processing step S400. Can also be transmitted. In the present invention, since a digital watermark which cannot identify an image can be inserted, as shown in FIG. 6, little information can be obtained from the image when watermark data is inserted.

도 7은 본 발명의 일실시예에 따른 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법에서, 원 영상이 출력되는 사용자 단말기(300)를 예를 들어 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법의 단계 S500에서는, 원 영상을 사용자 단말기(300)에 전송하여 출력되도록 할 수 있다. 이와 같이, 워터마크 데이터가 추출되고 생성된 원 영상은 차량 운행 시 차량용 블랙박스 시스템(200)에서 촬영된 영상과 동일할 수 있으며, 원 영상으로부터 증거자료로 활용될 수 있는 정보를 수집하거나, 원 영상 자체를 증거자료로 활용할 수 있다.
FIG. 7 is a diagram illustrating an example of a user terminal 300 that outputs an original image in a method of providing security-improved vehicle black box service based on watermarking technology according to an embodiment of the present invention. As shown in FIG. 7, in step S500 of a method for providing a security-enhanced vehicle black box service based on a watermarking technology according to an embodiment of the present invention, the original image is transmitted to the user terminal 300 to be output. Can be. As such, the original image from which the watermark data is extracted and generated may be the same as the image photographed by the vehicle black box system 200 when the vehicle is driven, and collects information that may be utilized as evidence from the original image, or The video itself can be used as evidence.

도 8은 본 발명의 일실시예에 따른 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법에서, 영상에 삽입된 워터마크 데이터를 이용하여 영상의 위변조를 확인하는 세부적인 흐름을 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법은, 영상의 위변조 확인 요청 및 미리 설정된 워터마크 데이터를 입력받는 단계(S600), 추출한 워터마크 데이터와 입력받은 미리 설정된 워터마크 데이터를 비교하는 단계(S700) 및 비교 결과 불일치하면 사용자 단말기(300)에 위변조 신호를 전송하는 단계(S900)를 포함하여 영상의 위변조를 확인할 수 있다.
FIG. 8 illustrates a detailed flow of checking forgery of an image using watermark data embedded in an image in a method for providing a security-enhanced vehicle black box service based on a watermarking technique according to an embodiment of the present invention. Drawing. As shown in FIG. 8, the method for providing a security-enhanced vehicle black box service based on a watermarking technology according to an embodiment of the present invention may include receiving a forgery confirmation request of an image and preset watermark data (S600). ), Comparing the extracted watermark data with the input preset watermark data (S700), and transmitting a forgery signal to the user terminal 300 (S900) if the comparison result is inconsistent. have.

단계 S600에서는, 서비스 제공 서버(100)가 사용자 단말기(300)로부터 영상의 위변조 확인 요청 및 미리 설정된 워터마크 데이터를 입력받을 수 있다. 즉, 사용자는 영상의 위변조가 의심되는 경우, 서비스 제공 서버(100)에 영상의 위변조 확인 요청을 할 수 있다. 이때, 차량용 블랙박스 시스템(200)에서 영상 촬영 및 녹화 시 삽입한 미리 설정된 워터마크 데이터를 입력하여 비교가 가능하도록 할 수 있다.
In operation S600, the service providing server 100 may receive a forgery confirmation request and preset watermark data of an image from the user terminal 300. That is, the user may make a request for confirming the forgery of the image to the service providing server 100 when the forgery of the image is suspected. In this case, the vehicle black box system 200 may input the preset watermark data inserted during image capturing and recording to enable comparison.

단계 S700에서는, 서비스 제공 서버(100)가 단계 S400에서 추출한 워터마크 데이터와 단계 S600에서 입력받은 미리 설정된 워터마크 데이터를 비교할 수 있다. 이때, 서비스 제공 서버(100)에는 미리 설정된 워터마크 데이터에 대한 정보가 저장되어 있지 않으므로, 단계 S700의 처리와 관련된 신뢰도가 향상될 수 있다. 단계 S700의 비교 결과가 일치하면 영상의 위변조는 없는 것으로 판단할 수 있다.
In operation S700, the service providing server 100 may compare the watermark data extracted in operation S400 with the preset watermark data received in operation S600. In this case, since the information on the watermark data is not stored in the service providing server 100, the reliability related to the process of step S700 may be improved. If the comparison result of step S700 matches, it may be determined that there is no forgery of the image.

단계 S800에서는, 비교 결과 불일치하면 서비스 제공 서버(100)가 사용자 단말기(300)에 위변조 신호를 전송할 수 있다. 워터마크 데이터가 삽입된 영상을 복제, 위조, 변조 등을 하게 되면, 삽입된 워터마크가 삭제되거나 변형되게 된다. 따라서 단계 S700의 비교 결과가 불일치하는 경우, 미리 설정된 워터마크 데이터와 불일치하는 워터마크 데이터가 추출된 영상은, 위변조가 가해진 것으로 판단할 수 있다. 단계 S800에서는, 위변조된 영상이라는 위변조 신호를 사용자 단말기(300)에 전송함으로써, 사용자가 이에 대응하도록 할 수 있다. 한편, 단계 S700의 비교 결과가 일치하면 영상의 위변조가 없다는 신호를 사용자 단말기(300)에 전송할 수 있다.
In operation S800, if there is a mismatch, the service providing server 100 may transmit a forgery signal to the user terminal 300. When the image of which the watermark data is inserted is duplicated, forged, or modulated, the inserted watermark is deleted or deformed. Therefore, when the comparison result of step S700 is inconsistent, it may be determined that the image in which the watermark data inconsistent with the preset watermark data is extracted is subjected to forgery. In operation S800, the user may transmit a forgery signal called a forged image to the user terminal 300 so as to correspond to the user. On the other hand, if the comparison result of step S700 is matched, the signal that there is no forgery of the image may be transmitted to the user terminal 300.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention may be embodied in many other specific forms without departing from the spirit or essential characteristics of the invention.

100: 서비스 제공 서버 110: 데이터베이스
200: 차량용 블랙박스 시스템 300: 사용자 단말기
S10: 회원 정보를 입력받아 사용자를 회원으로 등록하는 단계
S100: 차량용 블랙박스 시스템으로부터 워터마크 데이터가 삽입된 영상을 전송받아 저장하는 단계
S200: 사용자 단말기로부터 영상의 재생 요청 및 인증코드를 입력받는 단계
S300: 입력받은 인증코드와 영상에 삽입된 워터마크 데이터의 인증코드를 비교하는 단계
S400: 비교 결과 일치하면 영상으로부터 워터마크 데이터를 추출하는 단계
S500: 원 영상을 생성하여 사용자 단말기에 전송하는 단계
S600: 영상의 위변조 확인 요청 및 미리 설정된 워터마크 데이터를 입력받는 단계
S700: 추출한 워터마크 데이터와 입력받은 미리 설정된 워터마크 데이터를 비교하는 단계
S800: 비교 결과 불일치하면 사용자 단말기에 위변조 신호를 전송하는 단계100: service providing server 110: database
200: vehicle black box system 300: user terminal
S10: step of registering a user as a member by receiving member information
S100: step of receiving and storing the image inserted with the watermark data from the vehicle black box system
S200: step of receiving a video playback request and authentication code from the user terminal
S300: comparing the authentication code received from the authentication code of the watermark data inserted into the image
S400: extracting watermark data from the image if the comparison result matches
S500: step of generating the original image and transmitting to the user terminal
S600: step for receiving a forgery confirmation request of the image and receiving preset watermark data
S700: comparing the extracted watermark data with the input preset watermark data
S800: step of transmitting a forgery signal to the user terminal if the comparison result is inconsistent

Claims (9)

차량용 블랙박스 서비스를 제공하는 서비스 제공 서버가,
(1) 차량용 블랙박스 시스템으로부터 미리 설정된 워터마크 데이터가 삽입된 영상을 전송받아 데이터베이스에 저장하는 단계;
(2) 사용자 단말기로부터 상기 영상의 재생 요청 및 인증코드를 입력받는 단계;
(3) 상기 입력받은 인증코드와 상기 영상에 삽입된 워터마크 데이터의 인증코드를 비교하는 단계;
(4) 상기 단계 (3)의 비교 결과 일치하면 상기 영상으로부터 상기 워터마크 데이터를 추출하는 단계; 및
(5) 상기 차량용 블랙박스 시스템에서 촬영된 원 영상을 생성하여 상기 사용자 단말기에 전송하는 단계를 포함하며,
상기 단계 (4) 이후에는,
(6) 상기 사용자 단말기로부터 상기 영상의 위변조 확인 요청 및 상기 미리 설정된 워터마크 데이터를 입력받는 단계;
(7) 상기 단계 (4)에서 추출한 워터마크 데이터와 상기 단계 (6)에서 입력받은 미리 설정된 워터마크 데이터를 비교하는 단계; 및
(8) 상기 비교 결과 불일치하면 상기 사용자 단말기에 위변조 신호를 전송하는 단계를 더 포함하는 것을 특징으로 하는, 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법.
A service providing server that provides a vehicle black box service,
(1) receiving an image into which a predetermined watermark data is inserted from a vehicle black box system and storing the image into a database;
(2) receiving a playback request and an authentication code of the video from a user terminal;
(3) comparing the received authentication code with the authentication code of the watermark data inserted into the image;
(4) extracting the watermark data from the image if the comparison result of step (3) matches; And
(5) generating the original image photographed by the vehicle black box system and transmitting the generated original image to the user terminal,
After step (4),
(6) receiving a forgery confirmation request of the image and the preset watermark data from the user terminal;
(7) comparing the watermark data extracted in step (4) with the preset watermark data received in step (6); And
And (8) if the result of the comparison is inconsistent, further comprising transmitting a forgery signal to the user terminal.
제1항에 있어서, 상기 워터마크 데이터는,
상기 영상의 식별이 불가능한 디지털 워터마크인 것을 특징으로 하는, 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법.
The method of claim 1, wherein the watermark data,
And a digital watermark that cannot identify the image. The method of claim 1, wherein the security of the vehicle black box is enhanced.
제1항에 있어서, 상기 워터마크 데이터는,
상기 차량용 블랙박스 시스템이 부착된 차량의 차량정보, 차량 소유주 정보, 상기 차량용 블랙박스 시스템에서 영상이 촬영되는 환경 정보 중 적어도 어느 하나를 변환하여 생성된 것을 특징으로 하는, 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법.
The method of claim 1, wherein the watermark data,
The security based on watermarking technology is generated by converting at least one of vehicle information, vehicle owner information of the vehicle with the vehicle black box system attached, and environment information in which the image is captured by the vehicle black box system. How to provide enhanced vehicle black box service.
제1항에 있어서, 상기 영상은,
상기 영상 전체에 대하여 상기 워터마크 데이터가 삽입된 것을 특징으로 하는, 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법.
The method of claim 1, wherein the image,
And the watermark data is inserted into the entire image.
제1항에 있어서, 상기 단계 (1) 이전에는,
(0) 상기 사용자 단말기로부터 회원 정보를 입력받아 사용자를 회원으로 등록하는 단계를 더 포함하는 것을 특징으로 하는, 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법.
The method of claim 1, wherein before step (1),
And (0) receiving the member information from the user terminal and registering the user as a member.
제5항에 있어서,
상기 단계 (0)에서는, 상기 사용자 단말기로부터 상기 차량용 블랙박스 시스템의 정보 및 상기 워터마크 데이터의 인증코드를 더 입력받으며,
상기 단계 (1)에서는, 상기 단계 (0)에서 입력받은 차량용 블랙박스 시스템의 정보와 대응되는 차량용 블랙박스 시스템으로부터, 상기 단계 (0)에서 입력받은 워터마크 데이터의 인증코드가 삽입된 영상을 전송받아 저장하는 것을 특징으로 하는, 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법.
The method of claim 5,
In the step (0), receiving the authentication code of the watermark data and the information of the vehicle black box system from the user terminal,
In the step (1), the image of the watermark data received in the step (0) is inserted from the vehicle black box system corresponding to the information of the vehicle black box system input in the step (0) is inserted Method for providing a security black vehicle service for enhanced security based on watermarking technology, characterized in that the receiving and storing.
제5항에 있어서, 상기 단계 (1)에서는,
상기 차량용 블랙박스 시스템으로부터 전송받은 영상을 상기 회원으로 등록한 사용자의 계정에 저장하는 것을 특징으로 하는, 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법.
The method of claim 5, wherein in step (1),
And storing the image received from the vehicle black box system in an account of a user registered as the member.
제5항에 있어서,
상기 단계 (0)에서는, 상기 사용자 단말기로부터 식별번호를 입력받아 등록하며,
상기 단계 (2)에서는, 상기 영상의 재생 요청을 하는 상기 사용자 단말기의 식별번호를 입력받아, 상기 등록한 식별번호와 비교하여 불일치하면 상기 단계 (2)의 상기 영상의 재생 요청을 거부하는 것을 특징으로 하는, 워터마킹 기술에 기초한 보안이 강화된 차량용 블랙박스 서비스 제공 방법.
The method of claim 5,
In the step (0), the identification number is input from the user terminal and registered,
In the step (2), receiving the identification number of the user terminal for requesting the reproduction of the video, if compared with the registered identification number, characterized in that rejecting the request to play the video of the step (2) How to provide a security-enhanced vehicle black box service based on watermarking technology.
삭제delete
KR1020120060072A 2012-06-04 2012-06-04 Black box service providing method for vehicles enhanced security based on watermarking technique KR101234347B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120060072A KR101234347B1 (en) 2012-06-04 2012-06-04 Black box service providing method for vehicles enhanced security based on watermarking technique

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120060072A KR101234347B1 (en) 2012-06-04 2012-06-04 Black box service providing method for vehicles enhanced security based on watermarking technique

Publications (1)

Publication Number Publication Date
KR101234347B1 true KR101234347B1 (en) 2013-02-15

Family

ID=47899710

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120060072A KR101234347B1 (en) 2012-06-04 2012-06-04 Black box service providing method for vehicles enhanced security based on watermarking technique

Country Status (1)

Country Link
KR (1) KR101234347B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101435627B1 (en) * 2013-11-08 2014-08-28 (주) 피디케이리미티드 System and method for recording video using cloud service
KR20200005800A (en) 2018-07-09 2020-01-17 유원솔루텍 주식회사 Power control device for vehicle black box with security function
KR20200005914A (en) 2018-07-09 2020-01-17 유원솔루텍 주식회사 Car black box with security function
KR102216874B1 (en) * 2019-10-15 2021-02-18 한국건설기술연구원 Data collet method using multi sensor data collect system
KR102216873B1 (en) * 2019-10-15 2021-02-18 한국건설기술연구원 System for collecting multi sensor data
US11127104B1 (en) 2020-11-24 2021-09-21 Ford Global Technologies, Llc Vision sensor dynamic watermarking via noise characterization

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020018988A (en) * 2000-12-09 2002-03-09 최종욱 Network camera apparatus, network camera server and digital video recorder for preventing forgery and alteration of an digital image, and apparatus for authenticating the digital image from said apparatus, and method thereof
KR20100073264A (en) * 2008-12-23 2010-07-01 노바펙스모바일(주) The method for service of real time transmitting of travel information of vehicle using wibro
KR20100076831A (en) * 2008-12-26 2010-07-06 동의대학교 산학협력단 Anti forgery system for vehicle black box
KR20110040556A (en) * 2009-10-14 2011-04-20 한국전자통신연구원 Apparatus and method for falsification protection of black box data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020018988A (en) * 2000-12-09 2002-03-09 최종욱 Network camera apparatus, network camera server and digital video recorder for preventing forgery and alteration of an digital image, and apparatus for authenticating the digital image from said apparatus, and method thereof
KR20100073264A (en) * 2008-12-23 2010-07-01 노바펙스모바일(주) The method for service of real time transmitting of travel information of vehicle using wibro
KR20100076831A (en) * 2008-12-26 2010-07-06 동의대학교 산학협력단 Anti forgery system for vehicle black box
KR20110040556A (en) * 2009-10-14 2011-04-20 한국전자통신연구원 Apparatus and method for falsification protection of black box data

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101435627B1 (en) * 2013-11-08 2014-08-28 (주) 피디케이리미티드 System and method for recording video using cloud service
KR20200005800A (en) 2018-07-09 2020-01-17 유원솔루텍 주식회사 Power control device for vehicle black box with security function
KR20200005914A (en) 2018-07-09 2020-01-17 유원솔루텍 주식회사 Car black box with security function
KR102216874B1 (en) * 2019-10-15 2021-02-18 한국건설기술연구원 Data collet method using multi sensor data collect system
KR102216873B1 (en) * 2019-10-15 2021-02-18 한국건설기술연구원 System for collecting multi sensor data
US11127104B1 (en) 2020-11-24 2021-09-21 Ford Global Technologies, Llc Vision sensor dynamic watermarking via noise characterization

Similar Documents

Publication Publication Date Title
US20230351054A1 (en) Systems and methods for authenticating photographic image data
KR101234347B1 (en) Black box service providing method for vehicles enhanced security based on watermarking technique
US9324201B2 (en) Vehicular image processing apparatus and method of sharing data using the same
US10943135B2 (en) Information processing apparatus, image delivery system, information processing method, and computer-readable recording medium
CN101350043B (en) Method and apparatus for detecting consistency of digital content
US20040039929A1 (en) System and method for authenticating digital content
US20110078802A1 (en) Display device, drive recorder, display method and computer-readable medium
US11848938B2 (en) Distributed content uploading and validation
EP2950251A1 (en) Method, apparatus and system for filling out an accident report form
KR20120037076A (en) Black box for vehicle
KR101897987B1 (en) Method, apparatus and system for managing electronic fingerprint of electronic file
KR101383534B1 (en) Method and apparatus for preventing forgery of multimedia data using timestamp
KR102231434B1 (en) Platform and implementing a method for p2p transaction/sharing service of black box images among drivers based on block chain technology
KR101512021B1 (en) Method and apparatus for verifying integrity of vehicle black box video using reversible data hiding
KR101468407B1 (en) Digital forensic photographing device and digital forensic photographing system installed in car for preventing abuse of personal image information using the device
KR20180137724A (en) Image Sharing System Based On Speech Recognition and Image Sharing System Using It
JPH10294726A (en) Copyright object management method and system therefor
JP2009539174A (en) Secure media storage device and method for protecting media storage device
TWI823734B (en) Driving recorder and its data backup method
KR101822910B1 (en) Method for protection of video in Car Blackbox
FR3013868A1 (en) METHOD FOR SECURELY TRANSMITTING AN IMAGE FROM AN ELECTRONIC IDENTITY DOCUMENT TO A TERMINAL
CN114301943A (en) Self-service case reporting method and self-service case reporting system based on bicycle accidents

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160211

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170207

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180122

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181211

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200129

Year of fee payment: 8