KR101338341B1 - Ｃｃｔｖ 카메라 촬영 영상의 친밀도 기반 보안 전송 시스템 및 그 방법 - Google Patents

Ｃｃｔｖ 카메라 촬영 영상의 친밀도 기반 보안 전송 시스템 및 그 방법 Download PDF

Info

Publication number
KR101338341B1
KR101338341B1 KR1020120091027A KR20120091027A KR101338341B1 KR 101338341 B1 KR101338341 B1 KR 101338341B1 KR 1020120091027 A KR1020120091027 A KR 1020120091027A KR 20120091027 A KR20120091027 A KR 20120091027A KR 101338341 B1 KR101338341 B1 KR 101338341B1
Authority
KR
South Korea
Prior art keywords
image
privacy
client
intimacy
management server
Prior art date
Application number
KR1020120091027A
Other languages
English (en)
Inventor
윤은준
유기영
박윤하
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020120091027A priority Critical patent/KR101338341B1/ko
Application granted granted Critical
Publication of KR101338341B1 publication Critical patent/KR101338341B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/14—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using a plurality of keys or algorithms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3236—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions
    • H04L9/3242—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions involving keyed hash functions, e.g. message authentication codes [MACs], CBC-MAC or HMAC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3297—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving time stamps, e.g. generation of time stamps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Power Engineering (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

CCTV 카메라 촬영 영상의 보안 전송 시스템 및 그 방법이 제공 된다. 본 발명에 따른 프라이버시 적용 영상에 대한 영상 제공 요청을 클라이언트로부터 수신하되, 상기 영상 제공 요청에는 상기 클라이언트의 뷰어 식별정보가 포함 되는 수신부; 상기 프라이버시 적용 영상을 기 저장하는 저장부; 상기 수신부에 의한 상기 영상 제공 요청의 수신에 응답하여, 상기 프라이버시 적용 영상에 프라이버시 제거 프로세스를 적용하여 원본 영상을 생성하는 영상 복원부; 상기 수신부에 의한 상기 영상 제공 요청의 수신에 응답하여, 상기 뷰어 식별정보에 대응하는 친밀도를 판정하며, 상기 영상 복원부에 의하여 복원 된 원본 영상에 상기 친밀도에 대응하는 프라이버시 부가 프로세스를 적용하여 친밀도 기반 프라이버시 적용 영상을 생성하는 친밀도 기반 프라이버시 부가부; 및 상기 친밀도 기반 프라이버시 적용 영상에 대한 데이터를 상기 클라이언트에 송신하는 송신부를 포함한다.

Description

ＣＣＴＶ 카메라 촬영 영상의 친밀도 기반 보안 전송 시스템 및 그 방법 {CCTV media secure transmission system and method thereof}
본 발명은 CCTV 카메라 촬영 영상의 친밀도 기반 보안 전송 시스템 및 그 방법에 관한 것이다. 보다 자세하게는, 클라이언트에 설치 된 뷰어와의 친밀도에 따라 CCTV 카메라 촬영 영상의 프라이버시 수준을 조절하여 영상을 변환한 후 제공하는 CCTV 카메라 촬영 영상의 친밀도 기반 보안 전송 시스템 및 그 방법에 관한 것이다.
CCTV 카메라에 의해 촬영된 영상은 서버에 의해 목적에 맞는 형태로 처리되며, 결과 영상들은 다양한 클라이언트들에게 유무선 통신망을 통해 전송된다. 해당 클라이언트들은 수신한 영상을 인증, ID 관리, 범죄 예방, 증거 수집, 테러 예방, 접근 관리 등 그들의 목적에 맞게 활용하게 된다. 하지만 국내에 설치된 CCTV로 촬영된 객체에 대한 검출 및 인식 속도의 느림과 조명 등의 빛의 영향 문제로 인한 인식률 저하 등으로 인해 클라이언트 측에서 요구하는 수준을 따라가기 어려울 뿐만 아니라 프라이버시 침해 등의 여러 가지 보안 취약점이 존재한다.
또한, 합법적/불법적 CCTV에 의한 무분별한 영상 감시로 인해 사생활 침해 및 인권 침해 등의 개인 프라이버시 침해가 또 다른 사회적 문제로 대두되고 있다. 조사된 결과에 따르면 서울 시민의 경우 하루 동안 CCTV에 의한 노출이 140번 이상 무분별하게 사생활에 노출되고 있다.
이처럼 CCTV 기반 객체 검출 및 인식 기술의 한계를 극복하기 위해 최근 조명에 강인한 적외선(IR) 기반 객체 인식 기술 등 다양한 객체 검출 및 인식 기술들이 새롭게 연구되고 있음에도 프라이버시 제공 기술 부재 및 알고리즘 성능 문제 등은 해결되지 못하고 있다.
도 1은 종래 기술에 따른 CCTV(Closed Circuit Television) 영상감시 시스템의 구조도이다. 종래 기술에 따른 CCTV 영상 감시 시스템은 다양한 용도로 활용 되고, 각각의 용도를 위하여 클라이언트가 다양하게 개발 되고 있다. 또한, 도 1에 도시 된 인증 및 접근 제어 서버의 동작으로 인하여 클라이언트 장치가 영상 감시 서버에 접속하여 영상 감시 서버에 저장 된 CCTV 촬영 영상을 유출하는 것은 어느 정도 방지 될 수 있다.
그러나, CCTV에 의하여 촬영 된 영상이 영상 감시 서버에 전송 되는 과정에서 발생할 수 있는 영상 유출 및 그에 따른 사생활 침해에 대한 대비책은 존재하지 않는다.
예를 들어, 종래 기술에 따른 CCTV 영상감시 시스템은, CCTV와 영상감시서버 간의 통신 채널에서 해커가 영상을 유출하거나, 영상감시서버의 관리자가 영상감시서버에 저장 된 영상을 유출하는 것을 방지할 수 없다.
또한, 접근 권한이 모두 동일하지는 않을 것이므로, CCTV 촬영 영상에 대한 접근 권한에 따라 영상의 프라이버시 수준이 달라지도록 영상을 변환하여 제공하는 기술의 제공이 요청 된다.
본 발명이 해결하고자 하는 기술적 과제는 클라이언트에 설치 된 뷰어와의 친밀도에 따라 CCTV 카메라 촬영 영상의 프라이버시 수준을 조절하여 영상을 변환한 후 제공하는 CCTV 카메라 촬영 영상의 친밀도 기반 보안 전송 시스템 및 그 방법을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해 될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 태양에 따른 영상 관리 서버는, 프라이버시 적용 영상에 대한 영상 제공 요청을 클라이언트로부터 수신하되, 상기 영상 제공 요청에는 상기 클라이언트의 뷰어 식별정보가 포함 되는 수신부; 상기 프라이버시 적용 영상을 기 저장하는 저장부; 상기 수신부에 의한 상기 영상 제공 요청의 수신에 응답하여, 상기 프라이버시 적용 영상에 프라이버시 제거 프로세스를 적용하여 원본 영상을 생성하는 영상 복원부; 상기 수신부에 의한 상기 영상 제공 요청의 수신에 응답하여, 상기 뷰어 식별정보에 대응하는 친밀도를 판정하며, 상기 영상 복원부에 의하여 복원 된 원본 영상에 상기 친밀도에 대응하는 프라이버시 부가 프로세스를 적용하여 친밀도 기반 프라이버시 적용 영상을 생성하는 친밀도 기반 프라이버시 부가부; 및 상기 친밀도 기반 프라이버시 적용 영상에 대한 데이터를 상기 클라이언트에 송신하는 송신부를 포함한다.
일 실시예에 따르면, 상기 친밀도 기반 프라이버시 부가부는, 제1 친밀도에 대응하는 제1 프라이버시 부가 프로세스 및 제2 프라이버시 부가 프로세스를 구비하고, 상기 제1 친밀도와 다른 제2 친밀도에 대응하는 제2 프라이버시 부가 프로세스를 구비하되, 상기 제2 프라이버시 부가 프로세스는 상기 제1 프라이버시 부가 프로세스와 상기 원본 영상 내의 신원 확인 가능 영역에 대한 원본 데이터 유지 비율이 다른 것일 수 있다.
일 실시예에 따르면, 상기 수신부는, 상기 클라이언트의 공개 키를 더 포함하는 영상 제공 요청을 수신하고, 상기 송신부는, 상기 영상 제공 요청의 수신에 응답하여 생성 된 타임스탬프, 영상 관리 서버 측 제2 메시지 인증 코드 및 상기 친밀도 기반 프라이버시 적용 영상과 제1 세션 키를 XOR 연산 한 결과 데이터인 제2 암호문을 송신하고, 상기 제1 세션키는 상기 공개 키, 상기 뷰어 식별정보 및 상기 타임스탬프를 이용하여 생성 되고, 영상 관리 서버 측 제2 메시지 인증 코드는 상기 제1 세션 키 및 상기 친밀도 기반 프라이버시 제공 영상의 데이터를 이용하여 생성 된 것일 수 있다.
일 실시예에 따르면, 상기 송신부는, 제1 암호문을 더 송신하되, 상기 제1 암호문은, gk mod p이고, g는 y1 /x 이고, y는 상기 공개 키, p는 소정의 소수일 수 있다.
일 실시예에 따르면, 상기 제1 암호문은, 상기 뷰어 식별정보 및 타임스탬프와 함께 상기 제2 암호문을 복호화하기 위한 제2 세션키의 생성에 사용 되고, 영상 관리 서버 측 제2 메시지 인증 코드는, 상기 클라이언트에 의한 수신 데이터 검증에 사용 되는 것일 수 있다.
일 실시예에 따르면, 상기 영상 관리 서버는 유헬스 서버이고, 상기 원본 영상은 HL7(Health Level 7) 규격에 부합하는 영상일 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 다른 태양에 따른 친밀도 기반 프라이버시 적용 영상 제공 시스템은 프라이버시 적용 영상을 기 저장하고, 상기 프라이버시 적용 영상에 대한 영상 제공 요청을 클라이언트로부터 수신하되, 상기 영상 제공 요청에는 상기 클라이언트의 뷰어 식별정보가 포함 되며, 상기 영상 제공 요청의 수신에 응답하여 상기 프라이버시 적용 영상에 프라이버시 제거 프로세스를 적용하여 원본 영상을 생성하고, 상기 뷰어 식별정보에 대응하는 친밀도를 판정하며, 상기 원본 영상에 상기 친밀도에 대응하는 프라이버시 부가 프로세스를 적용하여 생성한 친밀도 기반 프라이버시 적용 영상에 대한 데이터를 상기 클라이언트에 송신하는 영상 관리 서버; 및 상기 뷰어가 구비 되고, 상기 뷰어에 대한 사용자 조작에 따라 상기 뷰어의 식별정보가 포함 된 상기 영상 제공 요청을 상기 영상 관리 서버에 송신하여 그 응답으로 상기 친밀도 기반 프라이버시 적용 영상에 대한 데이터를 수신하는 클라이언트를 포함할 수 있다.
일 실시예에 따르면, 상기 영상 제공 요청에는 상기 클라이언트의 공개 키가 더 포함되고, 상기 영상 관리 서버는, 상기 영상 제공 요청의 수신에 응답하여 상기 공개 키를 이용하여 생성 된 제1 세션 키 및 상기 친밀도 기반 프라이버시 적용 영상의 데이터를 이용하여 영상 관리 서버 측 제2 메시지 인증 코드를 생성하고, 상기 영상 관리 서버 측 제2 메시지 인증 코드를 상기 클라이언트에 더 송신하고, 상기 클라이언트는, 상기 영상 관리 서버 측 제2 메시지 인증 코드를 이용하여 상기 영상 관리 서버로부터 수신한 데이터를 검증할 수 있다.
본 발명의 또 다른 태양에 따른 친밀도 기반 프라이버시 적용 영상 제공 방법은 영상 관리 서버가, 뷰어 식별정보가 포함 된 영상 제공 요청을 클라이언트로부터 수신하고, 상기 뷰어 식별정보에 대응하는 친밀도를 판정하는 단계; 상기 영상 관리 서버가, 기 저장 된 프라이버시 적용 영상에 프라이버시 제거 프로세스를 적용하여 원본 영상을 생성하는 단계; 상기 영상 관리 서버가, 상기 친밀도에 대응하는 프라이버시 부가 프로세스를 상기 원본 영상에 적용하여 친밀도 기반 프라이버시 적용 영상을 생성하는 단계; 및 상기 영상 관리 서버가, 상기 친밀도 기반 프라이버시 적용 영상에 대한 데이터를 상기 클라이언트에 송신하는 단계를 포함한다.
일 실시예에 따르면, 상기 친밀도를 판정하는 단계는, 상기 클라이언트의 공개 키 y가 더 포함 된 영상 제공 요청을 상기 클라이언트로부터 수신하는 단계를 포함하고, 상기 친밀도 기반 프라이버시 적용 영상을 생성하는 단계는, 난수 k를 생성하는 단계; 타임스탬프를 생성하는 단계; yk, 상기 뷰어 식별정보 및 상기 타임스탬프를 이용하여 제1 세션 키를 생성하는 단계; 및 상기 친밀도 기반 프라이버시 적용 영상 데이터와 상기 제1 세션 키를 XOR 연산 하여 그 결과 값인 제2 암호문을 생성하는 단계를 포함하고, 상기 친밀도 기반 프라이버시 적용 영상에 대한 데이터는 상기 제2 암호문일 수 있다.
일 실시예에 따르면, 상기 친밀도 기반 프라이버시 적용 영상을 생성하는 단계는, gk mod p를 연산하여, 그 결과 값인 제1 암호문을 생성하되, g는 기 지정 된 상수이고, p는 소정의 소수인 단계를 더 포함하고, 상기 클라이언트에 송신하는 단계는, 상기 제1 암호문 및 상기 타임스탬프를 더 송신하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 클라이언트에 송신하는 단계 이후에, 상기 클라이언트가 C1 x, 상기 뷰어 식별정보 및 상기 타임스탬프를 이용하여 제2 세션 키를 생성하되, C1은 상기 제1 암호문이고, x는 상기 클라이언트의 개인 키인 단계; 및 상기 클라이언트가, 상기 제2 암호문과 상기 제2 세션 키를 XOR 연산하는 것에 의하여 상기 친밀도 기반 프라이버시 적용 영상을 복호화하는 단계를 더 포함할 수 있다.
일 실시예에 따르면, 상기 친밀도 기반 프라이버시 적용 영상을 생성하는 단계는, 상기 영상 관리 서버가, 상기 제1 세션 키 및 상기 친밀도 기반 프라이버시 적용 영상 데이터를 이용하여 영상 관리 서버 측 제2 메시지 인증 코드를 생성하는 단계를 더 포함하고, 상기 클라이언트에 송신하는 단계는, 상기 영상 관리 서버 측 제2 메시지 인증 코드를 송신하는 단계를 더 포함하고, 상기 복호화하는 단계는, 상기 제2 세션 키와 상기 친밀도 기반 프라이버시 적용 영상 데이터를 제1 일방향 함수에 입력한 값과 상기 영상 관리 서버 측 제2 메시지 인증 코드의 일치 여부를 비교하여 메시지 인증 코드 검증을 실시하는 단계; 및 상기 메시지 인증 코드 검증에서 실패하는 경우, 에러 처리 후 종료 하는 단계를 더 포함할 수 있다.
일 실시예에 따르면, 상기 복호화하는 단계는, 상기 클라이언트가 상기 메시지 인증 코드 검증에서 성공하는 경우, 상기 제2 세션 키, 상기 친밀도 기반 프라이버시 적용 영상 데이터 및 상기 수신 된 타임스탬프를 이용하여 클라이언트 측 메시지 인증 코드를 생성하는 단계; 상기 클라이언트가 상기 영상 관리 서버에 상기 클라이언트 측 메시지 인증 코드를 송신하는 단계; 및 상기 영상 관리 서버가 상기 제1 세션 키, 상기 친밀도 기반 프라이버시 적용 영상 데이터 및 상기 타임스탬프를 이용하여 생성 된 검증 값과 상기 수신 된 클라이언트 측 메시지 인증 코드의 일치 여부를 판정 하여 상기 영상 관리 서버와 상기 클라이언트 사이에 상호 인증을 수행하는 단계를 더 포함할 수 있다.
상기와 같은 본 발명에 따르면, 영상 관리 서버에 저장 되어 있는 프라이버시 적용 영상에 대하여, 클라이언트에 설치 된 뷰어와의 친밀도에 따라 CCTV 카메라 촬영 영상의 프라이버시 수준을 조절하여 영상을 변환한 후 각각의 클라이언트에 안전한 환경에서 제공할 수 있는 효과가 있다.
도 1은 종래 기술에 따른 CCTV 영상 감시 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 CCTV 영상 보안 관리 시스템의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 CCTV 영상 보안 관리 시스템의 구성도이다.
도 4는 본 발명의 일 실시예에 따른 CCTV 영상 보안 관리 시스템의 구성도이다.
도 5는 본 발명의 일 실시예에 따른 CCTV 영상 보안 관리 시스템의 신호 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 CCTV 영상 보안 관리 시스템의 신호 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 CCTV 영상 보안 관리 시스템의 세부 신호 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 CCTV 영상 보안 관리 시스템의 세부 신호 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 CCTV 영상 보안 관리 시스템의 세부 신호 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 친밀도 기반 프라이버시 적용 영상 제공 시스템의 구성도이다.
도 11은 본 발명의 일 실시예에 따른 영상 관리 서버의 블록 구성도이다.
도 12는 본 발명의 일 실시예에 따른 친밀도 기반 프라이버시 적용 영상 제공 방법의 신호 흐름도이다.
도 13은 본 발명의 일 실시예에 친밀도 기반 프라이버시 적용 영상 제공 방법의 세부 신호 흐름도이다.
도 14는 본 발명의 일 실시예에 친밀도 기반 프라이버시 적용 영상 제공 방법의 세부 신호 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 도 2를 참조하여 본 발명의 일 실시예에 따른 CCTV 영상 보안 관리 시스템의 구성 및 동작에 대하여 설명한다.
도 2에 도시 된 바와 같이, 본 실시예에 따른 CCTV 영상 보안 관리 시스템은 카메라(100) 및 영상 관리 서버(200)를 포함할 수 있다. 도 2에 도시 된 바와 같이 본 실시예에 따른 CCTV 영상 보안 관리 시스템은 영상 관리 서버(200)가 카메라(100)에 영상의 제공을 요청하면, 카메라(100)가 부호화 된 영상을 영상 관리 서버(200)에 송신하고, 영상 관리 서버(200)는 상기 부호화 된 영상을 원상 복원 하고, 추가적으로 프라이버시 적용 영상으로 변환하여 저장한다.
상기 프라이버시 적용 영상은 신원 확인이 가능한 영상이 전체 혹은 부분적으로 스크램블링(scrambling) 되도록 변형 된 것을 의미한다. 예를 들어, 얼굴 부분에 해당하는 영역이 스크램블링 될 수 있다.
스크램블링은 전송되는 원부호열(原符號列)과 M계열 부호(의사 랜덤 신호)와의 배타적 논리합을 취함으로써 전송 부호열을 랜덤화하는 것이다. 스크램블링을 수행하는 모듈을 스크램블러라 칭한다. 디스크램블러(descramber)는 스크램블러에 의하여 변조된 신호에 같은 모양의 처리를 실시함으로써 역변환하는 것이다. 즉, 특정 영역에 해당하는 이미지의 데이터를 스크램블링함으로써, 이미지를 식별 불가능하도록 변환할 수 있고, 스크램블링 된 데이터를 디스크램블링함으로써, 이미지를 다시 원상 복원할 수 있다.
본 실시예에 따른 영상 관리 서버(200)는 카메라(100)가 촬영한 영상을 그대로 저장하는 것이 아니라, 프라이버시 적용 영상의 형태로 변환한 후 저장하여, 저장 된 영상이 유출 되더라도 프라이버시가 침해 되는 것을 방지할 수 있다.
이하, 영상 관리 서버(200)와 카메라(100)의 동작을 설명한다.
먼저, 영상 관리 서버(200)는 영상 관리 서버(200)에 연결 된 카메라(100) 전체의 식별 정보 및 패스워드를 저장하고, 카메라(100)는 카메라 자신의 식별 정보 및 패스워드를 저장할 수 있다. 상기 식별 정보는, 예를 들어 고유의 아이디(ID)일 수 있다.
영상 관리 서버(200)는 카메라(100)에 촬영 영상 제공 요청을 송신할 수 있다. 일 실시예에 따르면, 영상 관리 서버(200)가 상기 촬영 영상 제공 요청을 카메라(100)에 송신하지 않더라도, 카메라(100)가 촬영 영상을 제공할 수 있다.
카메라(100)는 타임스탬프를 생성하고, 상기 카메라의 패스워드와 상기 타임스탬프를 제1 일방향 함수에 입력하여 부호화 키를 생성하며, 상기 부호화 키를 이용하여 촬영 영상을 대칭형 부호화 하여 부호화 영상 데이터를 생성하고, 상기 부호화 영상 데이터, 상기 타임스탬프 및 상기 카메라의 식별정보를 영상 관리 서버에 송신 한다.
상기 일방향 함수는, 함수의 입력 값으로부터 출력 값을 알아내는 것은 가능하나, 출력 값으로부터 입력 값을 알아내는 것은 그 함수를 알더라도 불가능한 함수이다. 예를 들어, 상기 일방향 함수는 해쉬(hash) 함수 일 수 있다. 이하, 본 명세서에서 상기 일방향 함수로써, 예를 들어 해쉬 함수가 사용 될 수 있다. 특히, 제1 일방향 함수는 2개의 입력 파라미터를 갖는 해쉬 함수이고, 제2 일방향 함수는 3개의 입력 파라미터를 갖는 해쉬 함수이다.
상기 대칭형 부호화는 부호화에 사용 된 부호화 키와 원상 복구에 사용 되는 키가 동일한 것을 의미한다. 상기 대칭형 부호화는, 예를 들어 XOR 연산일 수 있다. 즉, 카메라(100)는 촬영 영상의 데이터와 상기 부호화 키를 XOR 연산하여 그 출력 값인 부호화 영상 데이터를 생성할 수 있다. 이하, 본 명세서에서, 상기 대칭형 부호화 방법으로써, 상기 XOR 연산하는 것이 사용 될 수 있다.
영상 관리 서버(200)는 상기 수신 된 카메라의 식별정보에 대응하는 패스워드를 기 저장 된 카메라 정보에서 조회하여 카메라 패스워드를 얻느다.
또한, 영상 관리 서버(200)는 상기 카메라 패스워드 및 상기 수신 된 타임스탬프를 상기 카메라와 공유 된 소정의 일방향 함수에 입력하여 부호화 키를 생성한다. 예를 들어, 상기 부호화 키는 상기 카메라 패스워드 및 상기 타임스탬프 값을 입력 파라미터로 하는 제1 해쉬 함수의 해쉬 값일 수 있다.
또한, 영상 관리 서버(200)는 상기 수신된 부호화 영상 데이터를 상기 부호화 키를 이용하여 원상복원 한다. 예를 들어, 영상 관리 서버(200)는 상기 수신 된 부호화 영상 데이터와 상기 생성 된 부호화 키를 XOR 연산하여, 그 출력 값인 촬영 영상 데이터를 얻을 수 있다.
본 실시예에 따른 CCTV 영상 보안 관리 시스템은 카메라(100)의 패스워드를 알지 못하면, 부호화 키를 얻을 수 없으므로 부호화 영상 데이터를 원상복원 할 수 없으므로, 카메라(100)가 영상 관리 서버(200)에 송신하는 데이터가 중간에 유출 되더라도 원본 영상이 유출 되는 것은 막을 수 있는 효과가 있다.
본 실시예에 따른 CCTV 영상 보안 관리 시스템은 유헬스 시스템에 활용 될 수 있다. 도 3에 도시 된 바와 같이, 본 실시예에 따른 CCTV 영상 보안 관리 시스템은 IEEE 11073 PHD 규격에 따라 동작하는 카메라(101) 및 유헬스 서버(201)를 포함할 수 있다. IEEE 11073 카메라(101) 및 유헬스 서버(201)의 동작은, 카메라(100) 및 영상 관리 서버(200)의 동작과 동일하므로, 추가 설명은 생략한다.
IEEE 11073 카메라(101)는 TTAK.KO-10.0463 유헬스 서비스 참조 모델에서 제시 된 개인용 건강단말부의 동작을 수행하는 것일 수 있다.
유헬스 서버(201)는 TTAK.KO-10.0463 유헬스 서비스 참조 모델에서 제시 된 유헬스 서버의 동작을 수행하는 것이다.
본 실시예에 따른 CCTV 영상 보안 관리 시스템은 병원 관리 시스템에 활용 될 수도 있다. 도 4에 도시 된 바와 같이, 본 실시예에 따른 CCTV 영상 보안 관리 시스템은 신체 촬영 장치(102) 및 병원 관리 서버(202)를 포함할 수 있다. 신체 촬영 장치(102) 및 병원 관리 서버(202)의 동작은, 카메라(100) 및 영상 관리 서버(200)의 동작과 동일하므로, 추가 설명은 생략한다.
신체 촬영 장치(102)는 예를 들어, 컴퓨터 단층 촬영 장치(CT), 자기 공명 영상(MRI) 장치, X선 촬영 장치일 수 있다.
본 발명의 일 실시예에 따른 CCTV 영상의 보안 관리 방법에 대하여 도 5 내지 7을 참조하여 설명한다.
도 5는 본 실시예에 따른 CCTV 영상의 보안 관리 방법의 신호 흐름도이다.
먼저, 영상 관리 서버(200)가 카메라(100)에 영상 제공 요청을 송신한다(S100).
카메라(100)는 촬영 된 영상을 캡처 한다(S102).
다음으로, 카메라(100)는 타임스탬프를 생성한다(S104). 타임스탬프 생성의 기준 시점은 상기 영상 제공 요청이 수신된 시점일 수 있다.
다음으로, 카메라(100)는 부호화 키를 생성한다(S106). 상기 부호화 키는 카메라(100)에 기 저장 된 카메라 패스워드와 상기 타임스탬프를 제1 해쉬 함수에 입력하여 생성 된 해쉬 값일 수 있다.
다음으로, 카메라(100)는 캡쳐(S102) 된 촬영 영상 데이터를 부호화 한다(S108). 예를 들어, 카메라(100)는 상기 촬영 영상 데이터와 상기 부호화 키를 XOR 연산한 후, 그 결과 값을 부호화 된 영상 데이터로 사용할 수 있다.
다음으로, 카메라(100)는 카메라(100)의 식별정보, 부호화 된 영상 데이터 및 생성 된 타임스탬프 데이터를 영상 관리 서버(200)에 송신한다(S110).
영상 관리 서버(200)는 부호화 키를 연산한다(S112). 예를 들어, 영상 관리 서버(200)는 수신 된 카메라 식별정보에 대응하는 카메라 패스워드를 기 저장 된 데이터베이스에서 검색한 후, 상기 카메라 패스워드 및 상기 수신 된 타임스탬프를 상기 제1 해쉬 함수에 입력하여 상기 부호화 키를 연산할 수 있다. 영상 관리 서버(200)와 카메라(100)는 상기 부호화 키를 연산하기 위하여 동일한 제1 해쉬 함수를 사용한다.
영상 관리 서버(200)는 상기 연산 된 부호화 키를 이용하여 촬영 영상을 원상 복원 한다(S114). 예를 들어, 영상 관리 서버(200)는 상기 연산 된 부호화 키와 상기 수신 된 부호화 영상 데이터를 XOR 연산하여 그 출력 값인 촬영 영상 데이터를 얻을 수 있다.
본 실시예에 따른 CCTV 영상의 보안 관리 방법은 카메라(100)의 패스워드를 알지 못하면, 부호화 키를 얻을 수 없으므로 부호화 영상 데이터를 원상복원 할 수 없으므로, 카메라(100)가 영상 관리 서버(200)에 송신하는 데이터가 중간에 유출 되더라도 원본 영상이 유출 되는 것은 막을 수 있는 효과가 있다.
일 실시예에 따르면, 상기 CCTV 영상의 보안 관리 방법이 촬영 영상 데이터를 프라이버시 적용 영상으로 변환하여 저장하는 것을 더 포함할 수 있다. 도 6을 참조하여, 촬영 영상 데이터를 프라이버시 적용 영상으로 변환하여 저장하는 것이 더 포함 된 CCTV 영상의 보안 관리 방법에 대하여 설명한다.
도 6에 도시 된 단계 S100 내지 S108은 도 5와 동일하다. 본 실시예에 따른 카메라(100)는 촬영 영상 부호화 이전 또는 이후에 카메라 측 메시지 인증 코드를 더 생성한다(S109). 예를 들어, 카메라(100)는 카메라(100)의 식별 정보, 상기 부호화 키 및 캡쳐 된(S102) 촬영 영상 데이터를 제2 해쉬 함수에 입력 하여 카메라 측 메시지 인증 코드를 생성한다(S109).
카메라(100)는 영상 관리 서버(200)에 부호화 된 영상 데이터를 송신하면서, 카메라 식별정보, 타임스탬프 및 카메라 측 메시지 인증 코드를 더 송신할 수 있다(S110).
영상 관리 서버(200)는 부호화 키를 연산한다(S112). 예를 들어, 영상 관리 서버(200)는 수신 된 카메라 식별정보에 대응하는 카메라 패스워드를 기 저장 된 데이터베이스에서 검색한 후, 상기 카메라 패스워드 및 상기 수신 된 타임스탬프를 상기 제1 해쉬 함수에 입력하여 상기 부호화 키를 연산할 수 있다. 영상 관리 서버(200)와 카메라(100)는 상기 부호화 키를 연산하기 위하여 동일한 제1 해쉬 함수를 사용한다.
영상 관리 서버(200)는 상기 연산 된 부호화 키를 이용하여 촬영 영상을 원상 복원 한다(S114). 예를 들어, 영상 관리 서버(200)는 상기 연산 된 부호화 키와 상기 수신 된 부호화 영상 데이터를 XOR 연산하여 그 출력 값인 촬영 영상 데이터를 얻을 수 있다.
영상 관리 서버(200)는 메시지 인증 코드를 검증한다(S116). 예를 들어, 영상 관리 서버(200)는 카메라(100)로부터 수신 된 카메라 식별 정보, 카메라(100)로부터 수신 된 부호화 영상 데이터 및 원상 복원 된(S114) 촬영 영상 데이터를 상기 제2 해쉬 함수에 입력하여 영상 관리 서버 측 제1 메시지 인증 코드를 생성하고, 상기 카메라 측 메시지 인증 코드와 상기 영상 관리 서버 측 제1 메시지 인증 코드를 비교 하여, 양자가 일치하는 경우에만 검증(S116)이 성공한 것으로 판정할 수 있다.
메시지 인증 코드의 검증(S116)이 실패하는 경우, 영상 관리 서버(200)는 에러 처리 절차를 수행하고, 프라이버시 적용 영상의 생성 없이, 원상 복원 된 촬영 영상 데이터를 삭제하고 종료 할 수 있다(S150).
메시지 인증 코드의 검증(S116)이 성공하는 경우, 영상 관리 서버(200)는 프라이버시 적용 영상을 생성하고(S118), 프라이버시 적용 영상을 저장한다(S120). 프라이버시 적용 영상을 생성하는 것은 도 8 내지 도 9를 참조하여 자세히 설명한다.
일 실시예에 따르면, 상기 CCTV 영상의 보안 관리 방법은 영상 관리 서버(200)가 카메라 ID 및 타임스탬프 값을 더 검증하는 것을 포함할 수 있다. 본 실시예에 대하여, 도 7을 참조하여 설명한다.
도 7에 도시 된 바와 같이, 카메라(100)로부터 데이터가 수신되면(S110), 영상 관리 서버(200)는 수신 된 카메라 식별정보가 저장 된 데이터베이스에 포함 된 카메라 식별정보인지 검증한다(S1110). 저장 된 카메라 정보 데이터베이스에 상기 카메라 식별정보가 포함 되어 있지 않은 경우, 유효한 카메라 식별정보가 아니므로, 영상 관리 서버는 에러 처리 프로세스를 수행하고, 종료(S150) 할 수 있다.
또한, 영상 관리 서버(200)는 수신 된 타임스탬프가 유효한 시간 간격 내에 수신 된 것인지 검증할 수 있다(S1111). 예를 들어, 영상 관리 서버(200)는 타임스탬프를 생성하여, 생성 된 타임스탬프와 수신 된 타임스탬프에 따른 시간 차이가 기 설정 된 한계치 이내에 있는지 검증할 수 있다. 상기 시간 차이가 상기 한계치를 초과한 경우, 영상 관리 서버(200)는 에러 처리 프로세스를 수행하고, 종료 할 수 있다.
도 8은 영상 관리 서버(200)가 프라이버시 적용 영상을 생성하는(S118) 것의 일 실시예의 순서도이다.
도 8에 도시 된 바와 같이, 영상 관리 서버(200)는 종래 기술에 따른 얼굴 영역 검출 방법을 적용한 후, 검출 된 얼굴 영역 내부를 스크램블링 하는 방식으로, 프라이버시 적용 영상을 생성할 수 있다. 본 실시예에 따르면, 얼굴 영역 내부가 스크램블링 되어 저장 되므로, 신원확인이 어려워지고, 결과적으로 프라이버시를 보장할 수 있는 효과가 있다.
도 9에 도시 된 바와 같이, 영상 관리 서버(200)는 카메라(100)로부터 제공 되는 일련의 촬영 데이터들로부터 움직임이 존재하는 동적 객체를 탐지하고, 탐지 된 동적 객체에 대응하는 영역을 스크램블링하여 저장할 수 있다. 동영상으로부터 움직임이 존재하는 동적 객체를 탐지하는 방법은 종래 기술을 활용할 수 있다. 본 실시예에 따르면, 동적 객체 내부가 스크램블링 되어 저장 되므로, 신원확인이 어려워지고, 결과적으로 프라이버시를 보장할 수 있는 효과가 있다.
다음으로, 본 발명의 일 실시예에 따른, 친밀도 기반 프라이버시 적용 영상 제공 시스템의 구성 및 동작에 대하여 도 10을 참조하여 설명하기로 한다. 본 실시예에 따른 친밀도 기반 프라이버시 적용 영상 제공 시스템은 영상 관리 서버(200) 및 클라이언트(300)를 포함할 수 있다.
클라이언트(300)는 뷰어 어플리케이션이 구비 된 것으로, 상기 뷰어 어플리케이션에는 뷰어 식별정보(CID)가 부여 되어 있으며, 상기 뷰어 어플리케이션은 상기 뷰어 식별정보가 포함 된 영상 제공 요청을 영상 관리 서버(200)에 송신할 수 있다.
영상 관리 서버(200)는 상기 영상 제공 요청의 수신에 응답하여, 요청 된 영상의 프라이버시를 제거하여 원본 영상으로 변환한 후, 상기 뷰어 식별정보에 대응하는 친밀도를 판정하고, 상기 친밀도에 대응하는 친밀도 기반 프라이버시 제공 프로세스를 상기 원본 영상에 적용 하여, 친밀도 기반 프라이버시 적용 영상 데이터를 생성한다.
영상 관리 서버(200)는 영상의 유출을 방지하기 위하여, 상기 친밀도 기반 프라이버시 적용 영상 데이터를 부호화 한 후 클라이언트(300)에 송신한다.
즉, 영상 관리 서버(200)는 프라이버시 적용 영상을 기 저장하고, 상기 프라이버시 적용 영상에 대한 영상 제공 요청을 클라이언트(300)로부터 수신하되, 상기 영상 제공 요청에는 클라이언트(300)의 뷰어 식별정보가 포함 되며, 상기 영상 제공 요청의 수신에 응답하여 상기 프라이버시 적용 영상에 프라이버시 제거 프로세스를 적용하여 원본 영상을 생성하고, 상기 뷰어 식별정보에 대응하는 친밀도를 판정하며, 상기 원본 영상에 상기 친밀도에 대응하는 프라이버시 부가 프로세스를 적용하여 생성한 친밀도 기반 프라이버시 적용 영상에 대한 데이터를 클라이언트(300)에 송신한다.
또한, 클라이언트(300)는 상기 뷰어를 구비 하고, 상기 뷰어에 대한 사용자 조작에 따라 상기 뷰어의 식별정보가 포함 된 상기 영상 제공 요청을 영상 관리 서버(200)에 송신하여 그 응답으로 상기 친밀도 기반 프라이버시 적용 영상에 대한 데이터를 수신한다.
일 실시예에 따르면, 상기 영상 제공 요청에는 클라이언트(300)의 공개 키가 더 포함될 수 있다. 이 때, 영상 관리 서버(200)는, 상기 영상 제공 요청의 수신에 응답하여 상기 공개 키를 이용하여 생성 된 제1 세션 키 및 상기 친밀도 기반 프라이버시 적용 영상의 데이터를 이용하여 영상 관리 서버 측 제2 메시지 인증 코드를 생성하고, 상기 영상 관리 서버 측 제2 메시지 인증 코드를 클라이언트(300)에 더 송신할 수 있다. 또한, 클라이언트(300)는, 상기 영상 관리 서버 측 제2 메시지 인증 코드를 이용하여 영상 관리 서버(200)로부터 수신한 데이터를 검증할 수 있다.
클라이언트(300)는 컴퓨터, UMPC (Ultra Mobile PC), 워크스테이션, 넷북(net-book), PDA (Personal Digital Assistants), 포터블(portable) 컴퓨터, 웹 타블렛(web tablet), 무선 전화기(wireless phone), 모바일 폰(mobile phone), 스마트폰(smart phone), e-북(e-book), PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 블랙박스(black box), 디지털 카메라(digital camera), 3차원 수상기(3-dimensional television), 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 영상 녹화기(digital picture recorder), 디지털 영상 재생기(digital picture player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), 정보를 무선 환경에서 송수신할 수 있는 장치, 홈 네트워크를 구성하는 다양한 전자 장치들 중 하나, 컴퓨터 네트워크를 구성하는 다양한 전자 장치들 중 하나, 텔레매틱스 네트워크를 구성하는 다양한 전자 장치들 중 하나, RFID 장치, 또는 컴퓨팅 시스템을 구성하는 다양한 구성 요소들 중 하나 등과 같은 전자 장치의 다양한 구성 요소들 중 하나로 제공된다.
이하, 본 발명의 일 실시예에 따른 영상 관리 서버의 구성 및 동작에 대하여 도 11을 참조하여 설명하기로 한다. 본 실시예에 따른 영상 관리 서버(200)는, 저장부(202), 영상 복원부(204), 수신부(206), 친밀도 기반 프라이버시 부가부(208) 및 송신부(210)를 포함할 수 있다.
수신부(206)는 프라이버시 적용 영상에 대한 영상 제공 요청을 클라이언트(300)로부터 수신한다. 상기 영상 제공 요청에는 적어도 클라이언트(300)의 뷰어 식별정보가 포함 된다.
저장부(202)는 상기 프라이버시 적용 영상을 기 저장한다. 이러한 저장부(202)는 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자, 램(Random Access Memory; RAM)과 같은 휘발성 메모리 소자, 및 하드디스크 드라이브(Hard disk drive)와 같은 저장매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다.
영상 복원부(204)는 상기 수신부에 의한 상기 영상 제공 요청의 수신에 응답하여, 상기 프라이버시 적용 영상에 프라이버시 제거 프로세스를 적용하여 원본 영상을 생성한다. 영상 복원부(204)는 도 13 내지 14에 도시 된 프로세스를 수행할 수 있다.
친밀도 기반 프라이버시 부가부(208)는 수신부(206)에 의한 상기 영상 제공 요청의 수신에 응답하여, 상기 뷰어 식별정보에 대응하는 친밀도를 판정하며, 상기 영상 복원부에 의하여 복원 된 원본 영상에 상기 친밀도에 대응하는 프라이버시 부가 프로세스를 적용하여 친밀도 기반 프라이버시 적용 영상을 생성한다.
친밀도 기반 프라이버시 부가부(208)는 친밀도가 달라지면 원본 영상의 신원 확인 영역에 대한 원본 데이터 유지 비율이 달라지도록 상기 원본 영상의 데이터를 변환할 수 있다.
예를 들어, 친밀도 기반 프라이버시 부가부(208)는 제1 친밀도에 대응하는 제1 프라이버시 부가 프로세스 및 제2 프라이버시 부가 프로세스를 구비하고, 상기 제1 친밀도와 다른 제2 친밀도에 대응하는 제2 프라이버시 부가 프로세스를 구비하되, 상기 제2 프라이버시 부가 프로세스는 상기 제1 프라이버시 부가 프로세스와 상기 원본 영상 내의 신원 확인 가능 영역에 대한 원본 데이터 유지 비율이 다른 것일 수 있다.
예를 들어, 친밀도 기반 프라이버시 부가부(208)는 암호화 방법, 스크램블링 방법, 마스킹 방법, 블러링 방법, 모자이킹 방법, 실루엣 방법, 엣지 방법, Border 방법, Dot 방법, 완전한 프라이버시 제거 원영상 복원 방법 등 알려진 이미지 프로세싱 기술을 사용하여 상기 원본 영상을 변환할 수 있다.
송신부(210)는 상기 친밀도 기반 프라이버시 적용 영상에 대한 데이터를 클라이언트(300)에 송신한다.
일 실시예에 따르면, 수신부(206)는, 상기 클라이언트의 공개 키를 더 포함하는 영상 제공 요청을 수신하고, 송신부(210)는, 상기 영상 제공 요청의 수신에 응답하여 생성 된 타임스탬프, 영상 관리 서버 측 제2 메시지 인증 코드 및 상기 친밀도 기반 프라이버시 적용 영상과 제1 세션 키를 XOR 연산 한 결과 데이터인 제2 암호문을 송신할 수 있다. 이 때, 상기 제1 세션키는 상기 공개 키, 상기 뷰어 식별정보 및 상기 타임스탬프를 이용하여 생성 되고, 영상 관리 서버 측 제2 메시지 인증 코드는 상기 제1 세션 키 및 상기 친밀도 기반 프라이버시 제공 영상의 데이터를 이용하여 생성 된 것일 수 있다.
일 실시예에 따르면, 송신부(210)는, 제1 암호문을 더 송신하되, 상기 제1 암호문은, gk mod p이고, g는 y1 /x 이고, y는 상기 공개 키, p는 소정의 소수일 수 있다. 상기 제1 암호문은, 상기 뷰어 식별정보 및 타임스탬프와 함께 상기 제2 암호문을 복호화하기 위한 제2 세션키의 생성에 사용 되고, 영상 관리 서버 측 제2 메시지 인증 코드는, 상기 클라이언트에 의한 수신 데이터 검증에 사용 될 수 있다.
일 실시예에 따르면, 상기 영상 관리 서버는 유헬스 서버이고, 상기 원본 영상은 HL7(Health Level 7) 규격에 부합하는 영상일 수 있다.
지금까지 도 10 내지 11의 각 구성요소는 소프트웨어(software) 또는, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)를 의미할 수 있다. 그렇지만 상기 구성요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성요소들 안에서 제공되는 기능은 더 세분화된 구성요소에 의하여 구현될 수 있으며, 복수의 구성요소들을 합하여 특정한 기능을 수행하는 하나의 구성요소로 구현할 수도 있다.
이하, 본 발명의 일 실시예에 따른 친밀도 기반 프라이버시 적용 영상 제공 방법에 대하여 도 12를 참조하여 설명한다.
클라이언트(300)의 영상 제공 요청(S200)을 수신한 영상 관리 서버(200)는 영상 제공 요청에 포함 된 뷰어 식별정보(CID)가 자신이 저장한 데이터베이스에 포함 된 것인지 확인하여 검증한다(S202). 검증 실패 시, 영상 관리 서버(200)는 영상 제공 요청(S200)을 오류 처리할 수 있다.
상기 뷰어 식별정보는, 예를 들어, 상기 뷰어를 통하여 로그인 한 사용자의 식별정보일 수 있다.
다음으로, 영상 관리 서버(200)는 기 저장 된 프라이버시 적용 영상에서 프라이버시 적용 제거 프로세스를 이용하여 프라이버시 적용 부분을 제거하여 원본 영상 데이터를 생성한다(S204). 프라이버시 적용 제거 프로세스는 도 13 내지 14에 도시 된 것이 활용 될 수 있으며, 도 13에 도시 된 것은 도 9에 도시 된 프라이버시 적용 프로세스의 역방향 프로세스로, 도 14에 도시 된 것은 도 8에 도시 된 프라이버시 적용 프로세스의 역방향 프로세스로 각각 이해 될 수 있다.
다음으로, 영상 관리 서버(200)는 뷰어 식별정보에 대응 되는 친밀도를 판정하고, 상기 친밀도에 대응하는 프라이버시 적용 프로세스를 상기 원본 영상 데이터에 적용한다. 상기 판정은 상기 뷰어 식별정보에 대응 되는 친밀도를 기 저장 된 데이터베이스에서 조회하는 방식으로 수행 될 수 있다.
영상 관리 서버(200)는, 예를 들어, 암호화 방법, 스크램블링 방법, 마스킹 방법, 블러링 방법, 모자이킹 방법, 실루엣 방법, 엣지 방법, Border 방법, Dot 방법, 완전한 프라이버시 제거 원영상 복원 방법 중 하나를 적용할 수 있다.
다음으로, 영상 관리 서버(200)는 난수 k(S208), 타임스탬프 tA(S210), 제1 세션 키 skA(S212), 제1 암호문C1(S214), 제2 암호문 C2(S216), 영상 관리 서버 측 제2 메시지 인증 코드 macA(S218)를 생성한다. 생성 공식은 도 12에 도시 되어 있으므로, 별도의 설명은 생략한다.
다만, 제1 세션 키 skA(S212) 생성 및 영상 관리 서버 측 제2 메시지 인증 코드 macA 생성(S218) 과정에서, 소정의 해쉬 함수 h() 대신, 소정의 일방향 함수가 사용 될 수 있다.
영상 관리 서버(200)는 타임스탬프 tA, 제1 암호문C1, 제2 암호문 C2, 영상 관리 서버 측 제2 메시지 인증 코드 macA 중 적어도 하나를 클라이언트(300)에 송신할 수 있다.
클라이언트(300)는 먼저 타임스탬프 검증을 수행할 수 있다(S222). 즉, 데이터를 영상 관리 서버(200)로부터 수신한 시점에 생성한 타임스탬프 tB의 시간 차이가 한계치를 초과하는 경우, 에러 처리하고 종료(S250)할 수 있다.
타임스탬프 검증 성공 시, 제2 세션 키 skA를 생성할 수 있다(S224). 또한, 제2 세션 키 skA를 제2 암호문에 XOR 연산하여 프라이버시 적용 영상 데이터로 복호화할 수 있다(S226).
그 후, 클라이언트(300)는 메시지 인증 코드를 검증할 수 있다(S228). 검증 수식은 도 12에 도시 되어 있다. 상기 검증 실패 시, 에러 처리하고 종료(S250)할 수 있다.
다음으로, 클라이언트(300)는 클라이언트 측 메시지 인증 코드 macB 를 생성할 수 있다(S230).
제2 세션 키 skB(S224) 생성 및 클라이언트 측 메시지 인증 코드 macB 생성(S230) 과정에서, 소정의 해쉬 함수 h() 대신, 소정의 일방향 함수가 사용 될 수 있다.
다음으로, 클라이언트(300)는 클라이언트에 설치 된 뷰어와의 친밀도에 대응하여 프라이버시가 적용 된 카메라 촬영 영상을 재생할 수 있다(S232).
마지막으로, 클라이언트(300)와 영상 관리 서버(200) 사이에 상호 인증이 수행 될 수 있다. 즉, 클라이언트가 클라이언트 측 메시지 인증 코드를 영상 관리 서버(200)에 송신(S234)하면, 영상 관리 서버(200)는 제1 세션 키, 프라이버시 적용 영상 데이터 및 타임스탬프 tA를 이용하여 생성한 값과, 클라이언트 측 메시지 인증 코드를 비교하여 메시지 인증 코드를 검증할 수 있다(S236). 영상 관리 서버(200)는 메시지 인증 코드의 검증(S236)을 실패하는 경우, 클라이언트(300)를 추후 접속 시도 시 차단할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
카메라 100
영상 관리 서버 200
클라이언트 300

Claims (14)

  1. 프라이버시 적용 영상에 대한 영상 제공 요청을 클라이언트로부터 수신하되, 상기 영상 제공 요청에는 상기 클라이언트의 뷰어 식별정보가 포함 되는 수신부;
    상기 프라이버시 적용 영상을 기 저장하는 저장부;
    상기 수신부에 의한 상기 영상 제공 요청의 수신에 응답하여, 상기 프라이버시 적용 영상에 프라이버시 제거 프로세스를 적용하여 원본 영상을 생성하는 영상 복원부;
    상기 수신부에 의한 상기 영상 제공 요청의 수신에 응답하여, 상기 뷰어 식별정보에 대응하는 친밀도를 판정하며, 상기 영상 복원부에 의하여 복원 된 원본 영상에 상기 친밀도에 대응하는 프라이버시 부가 프로세스를 적용하여 친밀도 기반 프라이버시 적용 영상을 생성하는 친밀도 기반 프라이버시 부가부; 및
    상기 친밀도 기반 프라이버시 적용 영상에 대한 데이터를 상기 클라이언트에 송신하는 송신부를 포함하는, 영상 관리 서버.
  2. 제1 항에 있어서,
    상기 친밀도 기반 프라이버시 부가부는,
    제1 친밀도에 대응하는 제1 프라이버시 부가 프로세스 및 제2 프라이버시 부가 프로세스를 구비하고, 상기 제1 친밀도와 다른 제2 친밀도에 대응하는 제2 프라이버시 부가 프로세스를 구비하되, 상기 제2 프라이버시 부가 프로세스는 상기 제1 프라이버시 부가 프로세스와 상기 원본 영상 내의 신원 확인 가능 영역에 대한 원본 데이터 유지 비율이 다른 것인, 영상 관리 서버.
  3. 제1 항에 있어서,
    상기 수신부는,
    상기 클라이언트의 공개 키를 더 포함하는 영상 제공 요청을 수신하고,
    상기 송신부는,
    상기 영상 제공 요청의 수신에 응답하여 생성 된 타임스탬프, 영상 관리 서버 측 제2 메시지 인증 코드 및 상기 친밀도 기반 프라이버시 적용 영상과 제1 세션 키를 XOR 연산 한 결과 데이터인 제2 암호문을 송신하고,
    상기 제1 세션키는 상기 공개 키, 상기 뷰어 식별정보 및 상기 타임스탬프를 이용하여 생성 되고,
    영상 관리 서버 측 제2 메시지 인증 코드는 상기 제1 세션 키 및 상기 친밀도 기반 프라이버시 제공 영상의 데이터를 이용하여 생성 된 것인, 영상 관리 서버.
  4. 제3 항에 있어서,
    상기 송신부는,
    제1 암호문을 더 송신하되,
    상기 제1 암호문은,
    gk mod p이고, g는 y1 /x 이고, y는 상기 공개 키, p는 소정의 소수인, 영상 관리 서버.
  5. 제4 항에 있어서,
    상기 제1 암호문은, 상기 뷰어 식별정보 및 타임스탬프와 함께 상기 제2 암호문을 복호화하기 위한 제2 세션키의 생성에 사용 되고,
    영상 관리 서버 측 제2 메시지 인증 코드는, 상기 클라이언트에 의한 수신 데이터 검증에 사용 되는, 영상 관리 서버.
  6. 제1 항에 있어서,
    상기 영상 관리 서버는 유헬스 서버이고, 상기 원본 영상은 HL7(Health Level 7) 규격에 부합하는 영상인, 영상 관리 서버.
  7. 프라이버시 적용 영상을 기 저장하고, 상기 프라이버시 적용 영상에 대한 영상 제공 요청을 클라이언트로부터 수신하되, 상기 영상 제공 요청에는 상기 클라이언트의 뷰어 식별정보가 포함 되며, 상기 영상 제공 요청의 수신에 응답하여 상기 프라이버시 적용 영상에 프라이버시 제거 프로세스를 적용하여 원본 영상을 생성하고, 상기 뷰어 식별정보에 대응하는 친밀도를 판정하며, 상기 원본 영상에 상기 친밀도에 대응하는 프라이버시 부가 프로세스를 적용하여 생성한 친밀도 기반 프라이버시 적용 영상에 대한 데이터를 상기 클라이언트에 송신하는 영상 관리 서버; 및
    상기 뷰어 식별정보를 가지는 뷰어가 구비 되고, 상기 뷰어에 대한 사용자 조작에 따라 상기 뷰어 식별정보가 포함 된 상기 영상 제공 요청을 상기 영상 관리 서버에 송신하여 그 응답으로 상기 친밀도 기반 프라이버시 적용 영상에 대한 데이터를 수신하는 클라이언트를 포함하는, 친밀도 기반 프라이버시 적용 영상 제공 시스템.
  8. 제7 항에 있어서,
    상기 영상 제공 요청에는 상기 클라이언트의 공개 키가 더 포함되고,
    상기 영상 관리 서버는,
    상기 영상 제공 요청의 수신에 응답하여 상기 공개 키를 이용하여 생성 된 제1 세션 키 및 상기 친밀도 기반 프라이버시 적용 영상의 데이터를 이용하여 영상 관리 서버 측 제2 메시지 인증 코드를 생성하고, 상기 영상 관리 서버 측 제2 메시지 인증 코드를 상기 클라이언트에 더 송신하고,
    상기 클라이언트는,
    상기 영상 관리 서버 측 제2 메시지 인증 코드를 이용하여 상기 영상 관리 서버로부터 수신한 데이터를 검증하는, 친밀도 기반 프라이버시 적용 영상 제공 시스템.
  9. 영상 관리 서버가, 뷰어 식별정보가 포함 된 영상 제공 요청을 클라이언트로부터 수신하고, 상기 뷰어 식별정보에 대응하는 친밀도를 판정하는 단계;
    상기 영상 관리 서버가, 기 저장 된 프라이버시 적용 영상에 프라이버시 제거 프로세스를 적용하여 원본 영상을 생성하는 단계;
    상기 영상 관리 서버가, 상기 친밀도에 대응하는 프라이버시 부가 프로세스를 상기 원본 영상에 적용하여 친밀도 기반 프라이버시 적용 영상을 생성하는 단계; 및
    상기 영상 관리 서버가, 상기 친밀도 기반 프라이버시 적용 영상에 대한 데이터를 상기 클라이언트에 송신하는 단계를 포함하는, 친밀도 기반 프라이버시 적용 영상 제공 방법.
  10. 제9 항에 있어서,
    상기 친밀도를 판정하는 단계는, 상기 클라이언트의 공개 키 y가 더 포함 된 영상 제공 요청을 상기 클라이언트로부터 수신하는 단계를 포함하고,
    상기 친밀도 기반 프라이버시 적용 영상을 생성하는 단계는, 난수 k를 생성하는 단계; 타임스탬프를 생성하는 단계; yk, 상기 뷰어 식별정보 및 상기 타임스탬프를 이용하여 제1 세션 키를 생성하는 단계; 및 상기 친밀도 기반 프라이버시 적용 영상 데이터와 상기 제1 세션 키를 XOR 연산 하여 그 결과 값인 제2 암호문을 생성하는 단계를 포함하고,
    상기 친밀도 기반 프라이버시 적용 영상에 대한 데이터는 상기 제2 암호문인, 친밀도 기반 프라이버시 적용 영상 제공 방법.
  11. 제10 항에 있어서,
    상기 친밀도 기반 프라이버시 적용 영상을 생성하는 단계는,
    gk mod p를 연산하여, 그 결과 값인 제1 암호문을 생성하되, g는 기 지정 된 상수이고, p는 소정의 소수인 단계를 더 포함하고,
    상기 클라이언트에 송신하는 단계는, 상기 제1 암호문 및 상기 타임스탬프를 더 송신하는 단계를 포함하는, 친밀도 기반 프라이버시 적용 영상 제공 방법.
  12. 제11 항에 있어서,
    상기 클라이언트에 송신하는 단계 이후에, 상기 클라이언트가 C1x, 상기 뷰어 식별정보 및 상기 타임스탬프를 이용하여 제2 세션 키를 생성하되, C1은 상기 제1 암호문이고, x는 상기 클라이언트의 개인 키인 단계; 및
    상기 클라이언트가, 상기 제2 암호문과 상기 제2 세션 키를 XOR 연산하는 것에 의하여 상기 친밀도 기반 프라이버시 적용 영상을 복호화하는 단계를 더 포함하는, 친밀도 기반 프라이버시 적용 영상 제공 방법.
  13. 제12 항에 있어서,
    상기 친밀도 기반 프라이버시 적용 영상을 생성하는 단계는, 상기 영상 관리 서버가, 상기 제1 세션 키 및 상기 친밀도 기반 프라이버시 적용 영상 데이터를 이용하여 영상 관리 서버 측 제2 메시지 인증 코드를 생성하는 단계를 더 포함하고,
    상기 클라이언트에 송신하는 단계는, 상기 영상 관리 서버 측 제2 메시지 인증 코드를 송신하는 단계를 더 포함하고,
    상기 복호화하는 단계는, 상기 제2 세션 키와 상기 친밀도 기반 프라이버시 적용 영상 데이터를 제1 일방향 함수에 입력한 값과 상기 영상 관리 서버 측 제2 메시지 인증 코드의 일치 여부를 비교하여 메시지 인증 코드 검증을 실시하는 단계; 및 상기 메시지 인증 코드 검증에서 실패하는 경우, 에러 처리 후 종료 하는 단계를 더 포함하는, 친밀도 기반 프라이버시 적용 영상 제공 방법.
  14. 제13 항에 있어서,
    상기 클라이언트에 송신하는 단계 이후에,
    상기 클라이언트가 상기 영상 관리 서버로부터 상기 타임스탬프를 수신하는 단계를 더 포함하고,
    상기 복호화하는 단계는, 상기 클라이언트가 상기 메시지 인증 코드 검증에서 성공하는 경우, 상기 제2 세션 키, 상기 친밀도 기반 프라이버시 적용 영상 데이터 및 상기 수신 된 타임스탬프를 이용하여 클라이언트 측 메시지 인증 코드를 생성하는 단계; 상기 클라이언트가 상기 영상 관리 서버에 상기 클라이언트 측 메시지 인증 코드를 송신하는 단계; 상기 영상 관리 서버가 상기 클라이언트로부터 상기 클라이언트 측 메시지 인증 코드를 수신하는 단계; 및 상기 영상 관리 서버가 상기 제1 세션 키, 상기 친밀도 기반 프라이버시 적용 영상 데이터 및 상기 타임스탬프를 이용하여 생성 된 검증 값과 상기 수신 된 클라이언트 측 메시지 인증 코드의 일치 여부를 판정 하여 상기 영상 관리 서버와 상기 클라이언트 사이에 상호 인증을 수행하는 단계를 더 포함하는, 친밀도 기반 프라이버시 적용 영상 제공 방법.
KR1020120091027A 2012-08-21 2012-08-21 Ｃｃｔｖ 카메라 촬영 영상의 친밀도 기반 보안 전송 시스템 및 그 방법 KR101338341B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120091027A KR101338341B1 (ko) 2012-08-21 2012-08-21 Ｃｃｔｖ 카메라 촬영 영상의 친밀도 기반 보안 전송 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120091027A KR101338341B1 (ko) 2012-08-21 2012-08-21 Ｃｃｔｖ 카메라 촬영 영상의 친밀도 기반 보안 전송 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR101338341B1 true KR101338341B1 (ko) 2013-12-06

Family

ID=49987592

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120091027A KR101338341B1 (ko) 2012-08-21 2012-08-21 Ｃｃｔｖ 카메라 촬영 영상의 친밀도 기반 보안 전송 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101338341B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101707663B1 (ko) 2016-08-24 2017-02-17 정재훈 Cctv 카메라를 이용한 영상 이미지 퍼즐 보안 전송 시스템 및 그 제어방법
WO2018088608A1 (ko) * 2016-11-08 2018-05-17 한화테크윈주식회사 영상처리장치 및 그의 영상제공방법
WO2018230914A1 (ko) * 2017-06-12 2018-12-20 이승진 보안카메라와 사용자 장치 간의 보안키 생성방법
KR20190081297A (ko) * 2017-12-29 2019-07-09 경일대학교산학협력단 사물 인터넷 기반의 영상 송신 장치 및 영상 수신 장치를 포함하는 영상 처리 시스템 및 이를 이용한 영상 처리 방법
KR20220107400A (ko) * 2021-01-25 2022-08-02 주식회사 노타 암호 키 기반 영상의 개인정보 비 식별화 및 복원 기술
US11863908B2 (en) 2021-08-10 2024-01-02 Hanwha Vision Co., Ltd. Surveillance camera system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020079044A (ko) * 2001-04-12 2002-10-19 (주)크립토텔레콤 네트워크 카메라, 홈 게이트웨이 및 홈 오토메이션장치에서의 데이터 보안 유지 방법 및 장치
JP2006238274A (ja) 2005-02-28 2006-09-07 Matsushita Electric Ind Co Ltd 証明書発行機器及び映像入出力システム
US20070130599A1 (en) 2002-07-10 2007-06-07 Monroe David A Comprehensive multi-media surveillance and response system for aircraft, operations centers, airports and other commercial transports, centers and terminals
US20090077601A1 (en) 2004-02-04 2009-03-19 Brailean James C Method and system for providing image, video and audio data to remote users

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020079044A (ko) * 2001-04-12 2002-10-19 (주)크립토텔레콤 네트워크 카메라, 홈 게이트웨이 및 홈 오토메이션장치에서의 데이터 보안 유지 방법 및 장치
US20070130599A1 (en) 2002-07-10 2007-06-07 Monroe David A Comprehensive multi-media surveillance and response system for aircraft, operations centers, airports and other commercial transports, centers and terminals
US20090077601A1 (en) 2004-02-04 2009-03-19 Brailean James C Method and system for providing image, video and audio data to remote users
JP2006238274A (ja) 2005-02-28 2006-09-07 Matsushita Electric Ind Co Ltd 証明書発行機器及び映像入出力システム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101707663B1 (ko) 2016-08-24 2017-02-17 정재훈 Cctv 카메라를 이용한 영상 이미지 퍼즐 보안 전송 시스템 및 그 제어방법
WO2018088608A1 (ko) * 2016-11-08 2018-05-17 한화테크윈주식회사 영상처리장치 및 그의 영상제공방법
US10819904B2 (en) 2016-11-08 2020-10-27 Hanwha Techwin Co., Ltd. Image processing device and image providing method therefor
WO2018230914A1 (ko) * 2017-06-12 2018-12-20 이승진 보안카메라와 사용자 장치 간의 보안키 생성방법
KR20190081297A (ko) * 2017-12-29 2019-07-09 경일대학교산학협력단 사물 인터넷 기반의 영상 송신 장치 및 영상 수신 장치를 포함하는 영상 처리 시스템 및 이를 이용한 영상 처리 방법
KR102066778B1 (ko) * 2017-12-29 2020-01-15 경일대학교산학협력단 사물 인터넷 기반의 영상 송신 장치 및 영상 수신 장치를 포함하는 영상 처리 시스템 및 이를 이용한 영상 처리 방법
KR20220107400A (ko) * 2021-01-25 2022-08-02 주식회사 노타 암호 키 기반 영상의 개인정보 비 식별화 및 복원 기술
KR102454677B1 (ko) * 2021-01-25 2022-10-17 주식회사 노타 암호 키 기반 영상의 개인정보 비 식별화 및 복원 기술
US11863908B2 (en) 2021-08-10 2024-01-02 Hanwha Vision Co., Ltd. Surveillance camera system

Similar Documents

Publication Publication Date Title
Zhang et al. A review of compressive sensing in information security field
Ghimire et al. Using blockchain for improved video integrity verification
US9639912B2 (en) Method for reversible image data hiding
KR101338341B1 (ko) Ｃｃｔｖ 카메라 촬영 영상의 친밀도 기반 보안 전송 시스템 및 그 방법
JP5937270B2 (ja) ビデオコンテンツを認証する方法および装置
Li et al. Distortion less secret image sharing scheme for Internet of Things system
CN110677411A (zh) 一种基于云存储的数据共享方法及系统
Manupriya et al. V⊕ SEE: Video secret sharing encryption technique
Rabieh et al. Privacy-preserving and efficient sharing of drone videos in public safety scenarios using proxy re-encryption
KR101331201B1 (ko) Ｃｃｔｖ 카메라 촬영 영상의 보안 전송 시스템 및 그 방법
Islam et al. Denoising and error correction in noisy AES-encrypted images using statistical measures
Kittawi et al. Reversible data hiding in encrypted images
CN113807534B (zh) 联邦学习模型的模型参数训练方法、装置和电子设备
Mostefaoui et al. An integrated multimedia data reduction and content confidentiality approach for limited networked devices
Wen et al. APCAS: Autonomous privacy control and authentication sharing in social networks
CN107947915B (zh) 基于压缩感知的匿名叛逆者追踪方法
EP3745641A1 (en) User apparatus and method for the protection of confidential data
Liu et al. A data-aware confidential tunnel for wireless sensor media networks
KR101608378B1 (ko) 광자계수 이중 랜덤 위상 암호화를 이용한 비대칭 기반 영상인증 방법
Singh et al. Recovering tampered regions in encrypted video using POB number system
CN114401514B (zh) 面向无线体域网的多因素身份认证方法以及相关设备
CN115134080A (zh) 基于安全加密芯片的数据传输方法及装置
Wei et al. Trustworthy authentication on scalable surveillance video with background model support
KR102236897B1 (ko) 영상 데이터 위변조 방지 방법 및 시스템
Luh et al. Distributed privacy for visual sensor networks via Markov shares

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161123

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171110

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181126

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191202

Year of fee payment: 7