KR20220116624A - 복수의 cctv 영상들에 대한 실시간 분석 시스템 - Google Patents

복수의 cctv 영상들에 대한 실시간 분석 시스템 Download PDF

Info

Publication number
KR20220116624A
KR20220116624A KR1020210019688A KR20210019688A KR20220116624A KR 20220116624 A KR20220116624 A KR 20220116624A KR 1020210019688 A KR1020210019688 A KR 1020210019688A KR 20210019688 A KR20210019688 A KR 20210019688A KR 20220116624 A KR20220116624 A KR 20220116624A
Authority
KR
South Korea
Prior art keywords
images
cctv
real
cctvs
risk occurrence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
KR1020210019688A
Other languages
English (en)
Inventor
낭종호
송진하
Original Assignee
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교산학협력단 filed Critical 서강대학교산학협력단
Priority to KR1020210019688A priority Critical patent/KR20220116624A/ko
Publication of KR20220116624A publication Critical patent/KR20220116624A/ko
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 복수 개의 CCTV 영상들에 대한 실시간 분석 시스템에 관한 것이다. 상기 실시간 분석 시스템은, 복수 개의 CCTV들; 상기 복수 개의 CCTV들이 연결되고 CCTV들로부터 실시간으로 영상들이 수신되며, 수신된 영상들을 1차적으로 분석하여 상기 영상들로부터 사전 설정된 위험 발생 이벤트에 따른 위험 발생 의심 구간을 검출하고, CCTV로부터 수신한 동영상 및 위험 발생 이벤트에 따른 위험 발생 의심 구간 정보를 포함하는 경량 분석 결과 정보를 관리 서버로 전송하는 복수 개의 에지 서버; 상기 복수 개의 에지 서버들과 연결되고 각 에지 서버들로부터 동영상 및 경량 분석 결과 정보를 수신하고, 수신된 동영상을 저장하고, 경량 분석 결과 정보에 따른 위험 발생 의심 구간 정보에 대하여 정밀 분석하여 보행자 위험 상황을 실시간으로 검출하여 제공하는 관리 서버;를 구비하여, CCTV 영상들로부터 보행자 위험 상황을 실시간으로 분석 및 검출하는 것을 특징으로 한다.

Description

복수의 CCTV 영상들에 대한 실시간 분석 시스템{CNN-based Real-time analysis system for multiple CCTV videos}
본 발명은 복수의 CCTV 영상에 대한 실시간 분석 시스템에 관한 것으로서, 더욱 구체적으로는 각 CCTV 영상에 대하여 에지단에서 1차적으로 보행자 위험 의심 구간을 검출하고, 서버에서 보행자 위험 의심 구간에 대하여 보행자 위험 구간을 2차적으로 분석하여 검출함으로써, 서버의 부하를 감소시켜 실시간 분석이 가능하도록 하는 실시간 분석 시스템에 관한 것이다.
최근 CCTV의 설치가 늘어남에 따라 다수의 CCTV 영상을 관제하기 위한 시스템에 대한 연구 및 개발이 진행되고 있다. 이러한 시스템은 관제 시스템으로서, 단순히 실시간 모니터링과 저장된 영상에 대한 검색 및 로그 관리 기능만은 제공한다.
기존의 대규모 CCTV 영상 관제 시스템들은 차량 번호 인식, 불법 주차 단속, 어린이 보호 등과 같은 영상 모니터링을 통해 단순한 분석을 제공하는 기능을 한다. 따라서, 다수의 CCTV로부터 영상들을 수신하여 서버의 데이터베이스에 저장하고, 저장된 영상에 대한 검색 및 로그 관리 등의 기능을 제공하며, 차량 번호 인식, 불법 주차 단속 등의 기능은 해당 CCTV 영상들을 데이터베이스에 저장한 후, 순차적으로 특정 알고리즘을 통해 분석하고 분석 결과를 데이터베이스에 저장하게 된다.
따라서, CCTV 영상 관제 시스템은 관제할 CCTV의 개수가 급격히 증가됨에 따라, 관제 시스템에 연결된 CCTV의 수에 따른 대역폭, 분석 알고리즘에 대한 분석 시간, CCTV 또는 에지(Edge)서버와 중앙 관리 서버간의 latency 등의 이슈로 인하여, CCTV 영상에 대한 모니터링이나 실시간 분석, 그리고 분석 내용을 실시간으로 저장하는 것은 더욱 어려워지는 문제점들이 발생한다.
한국등록특허공보 제 10-1888308호
전술한 문제점을 해결하기 위한 본 발명은 복수 개의 CCTV 영상을 입력받아 보행자 위험 상황 분석이 가능한 확장성있는 CNN 기반 실시간 분석 시스템을 제공하는 것을 목적으로 한다.
전술한 기술적 과제를 달성하기 위한 본 발명에 따른 복수 개의 CCTV 영상들에 대한 실시간 분석 시스템은, 복수 개의 CCTV들; 상기 복수 개의 CCTV들이 연결되고 CCTV들로부터 실시간으로 영상들이 수신되며, 수신된 영상들을 1차적으로 분석하여 상기 영상들로부터 사전 설정된 위험 발생 이벤트에 따른 위험 발생 의심 구간을 검출하고, CCTV로부터 수신한 동영상 및 위험 발생 이벤트에 따른 위험 발생 의심 구간 정보를 포함하는 경량 분석 결과 정보를 관리 서버로 전송하는 복수 개의 에지 서버; 상기 복수 개의 에지 서버들과 연결되고 각 에지 서버들로부터 동영상 및 경량 분석 결과 정보를 수신하고, 수신된 동영상을 저장하고, 경량 분석 결과 정보에 따른 위험 발생 의심 구간 정보에 대하여 정밀 분석하여 보행자 위험 상황을 실시간으로 검출하여 제공하는 관리 서버;를 구비하여, CCTV 영상들로부터 보행자 위험 상황을 실시간으로 분석 및 검출하는 것을 특징으로 한다.
전술한 구성을 갖는 본 발명에 따른 CCTV 실시간 분석 시스템은 복수개의 CCTV들이 연결된 에지 서버와 관리 서버의 구조로 이루어지고, 복수 개의 CCTV가 하나의 에지 서버에 연결되고, 복수 개의 에지 서버가 하나의 관리 서버에 연결되는 형태로 이루어진다. 그리고, 각 에지 서버는 연결된 복수개의 CCTV 영상들을 1차적으로 경량 분석하여 보행자 위험 의심 구간을 검출하고, 검출된 보행자 위험 의심 구간에 대한 정보를 동영상과 함께 관리 서버로 전송하며, 각 관리 서버는 에지 서버로부터 수신된 위험 의심 구간에 대해서만 2차적으로 정밀 분석하여 보행자 위험 상황을 최종 검출한다. 따라서, 전술한 구조에 의해 본 발명에 따른 시스템은 중앙 관리 서버의 부하가 여러 개의 에지 서버에 분산되어, 보다 많은 CCTV를 연결하여 실시간으로 모니터링할 수 있게 된다. 또한, 본 발명에 따른 시스템은 하나의 관리 서버에 더 많은 CCTV를 연결할 수 있기 때문에 확장성이 있으며, 관리 서버 증설도 GPU가 장착된 새로운 서버에 worker 프로그램만 설치하고 기존 서버에 worker로 등록하면 증설 가능하기 때문에 서버에서도 확장성을 제공하게 된다.
도 1은 본 발명의 바람직한 실시예에 따른 CCTV 실시간 분석 시스템을 도시한 구성도이다.
도 2는 본 발명의 바람직한 실시예에 따른 CCTV 실시간 분석 시스템에 있어서, 위험 상황 의심 구간을 예시적으로 표시한 영상들이다.
도 3은 본 발명의 바람직한 실시예에 따른 CCTV 실시간 분석 시스템에 있어서, 에지 서버의 보행자 위험 의심 구간 검출 엔진을 예시적으로 도시한 모식도이다.
도 4는 본 발명의 바람직한 실시예에 따른 CCTV 실시간 분석 시스템에 있어서, 관리 서버의 구성을 전체적으로 도시한 모식도이다.
도 5는 본 발명의 바람직한 실시예에 따른 CCTV 실시간 분석 시스템에 있어서, 관리 서버의 위험 상황 분석 서버의 동작을 설명하기 위하여 도시한 모식도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 CCTV 실시간 분석 시스템의 구조 및 동작에 대하여 구체적으로 설명한다.
도 1은 본 발명의 바람직한 실시예에 따른 CCTV 실시간 분석 시스템을 도시한 구성도이다. 도 1을 참조하면, 본 발명에 따른 시스템(1)은 관리 서버(10), 상기 관리 서버에 연결된 복수 개의 에지 서버들(20), 각 에지 서버들에 연결된 복수 개의 CCTV들(30)을 구비한다. 이하, 각 구성 요소들에 대하여 구체적으로 설명한다.
각 CCTV들은 촬상된 영상들을 에지 서버로 실시간으로 전송한다.
각 에지 서버(20)는 보행자 위험 의심 구간 검출을 위한 경량 분석 엔진을 구비한다. 따라서, 각 에지 서버는 복수 개의 CCTV들로부터 영상들을 실시간으로 수신하고, 상기 경량 분석 엔진을 통해 해당 영상들을 사전 설정된 여러 이벤트들의 발생 여부를 실시간으로 1차적으로 경량 분석하고, 경량 분석 결과로부터 사전 설정된 보행자 위험 이벤트에 따른 보행자 위험 의심 구간이 검출되면, 동영상과 상기 보행자 위험 이벤트 발생 정보를 포함하는 분석 결과 정보를 관리 서버(10)로 전송한다.
상기 관리 서버(10)는 보행자 위험 검출을 위한 정밀 분석 엔진을 구비한다. 상기 관리 서버는 각 에지 서버로부터 수신된 동영상들을 저장하고, 분석 결과 정보에 보행자 위험 이벤트 발생 정보가 있는 경우, 상기 정밀 분석 엔진을 통해 해당 보행자 위험 의심 구간만에 대하여 2차적으로 정밀 분석을 실행한다. 따라서, 전술한 구성을 갖는 본 발명에 따른 분석 시스템의 관리 서버는 에지 서버에서의 경량 분석 결과에 따른 이벤트 발생 구간에 대해서만 실시간 정밀 분석을 하게 되고, 그 결과 상기 관리 서버가 부담하는 workload가 각 에지 서버에 분산되는 장점을 가진다. 또한, 본 발명에 따른 시스템의 workload가 분배되기 때문에, 기존의 영상 관제 시스템보다 더 많은 CCTV들을 연결할 수 있기 때문에, 확장성을 제공하게 된다.
도 2는 본 발명의 바람직한 실시예에 따른 CCTV 실시간 분석 시스템에 있어서, 위험 상황 의심 구간을 예시적으로 표시한 영상들이다. 도 2를 참조하면, 에지 서버는 경량 분석 엔진을 이용하여 CCTV로부터 제공된 영상들에 대하여 위험 상황 의심 구간을 검출하고, 이에 대한 정보를 관리 서버로 전송하게 된다. 실제로, 보행자 위험 상황은 가끔 발생하므로, 본 발명에 따른 시스템에서와 같이 에지 서버단에서는 1차적으로 경량 분석하여 위험 의심 구간만을 검출함으로써 정확도는 감소되지만 속도는 증가된다. 한편, 관리 서버단에서는 에지 서버단에서 검출된 위험 의심 구간만에 대하여 2차적으로 정밀 분석함으로써 정확도가 증대될 수 있을 뿐만 아니라 대규모의 CCTV에 대한 분석도 가능해진다.
도 3은 본 발명의 바람직한 실시예에 따른 CCTV 실시간 분석 시스템에 있어서, 에지 서버의 보행자 위험 의심 구간 검출을 위한 경량 분석 엔진을 예시적으로 도시한 모식도이다. 도 3을 참조하면, 상기 에지 서버의 경량 분석 엔진은 동영상디코딩/객체검출 모듈 및 경량 분석 엔진을 구비하여, 영상들로부터 객체를 검출하고, 검출된 객체와 위치 정보를 이용하여 보행자 위험 상황에 해당하는 이벤트를 검출한다.
상기 경량 분석 엔진은 CNN을 이용한 학습을 통해 사전 설정된 이벤트들에 대한 의심 상황을 검출하도록 구성된 모델들을 구비한다. 상기 경량 분석 엔진은 폭력 검출 모델, 보행자 이상 행동 검출 모델, 배회자 검출 모델, 위험 요소 검출 모델 등과 같은 이벤트 검출 모델들, 및 상기 이벤트 검출 모델들로부터의 분석 결과 데이터들을 수집하여 관리 서버로 전송하는 결과 통합 모듈을 구비한다.
전술한 구성으로 이루어져 보행자 위험 의심 구간을 검출하기 위한 경량 분석 엔진은 이벤트 검출 모델들을 이용하여 보행자 미행 검출, 배회자 검출, 보행자 이상 행동 검출, 폭행 상황 검출 등을 수행하게 된다. 이와 같이 구성된 경량 분석 엔진은 정확성은 감소되지만 검출 속도는 증대되어, CCTV 영상들로부터 보행자 위험 의심 구간을 검출하게 된다. 따라서, 상기 에지 서버는 경량 분석 엔진에 의해 보행자 위험 의심 구간이 검출되면, 위험 의심 구간 정보와 이벤트 정보를 관리 서버로 송신하게 된다.
도 4는 본 발명의 바람직한 실시예에 따른 CCTV 실시간 분석 시스템에 있어서, 관리 서버의 구성을 전체적으로 도시한 모식도이며, 도 5는 본 발명의 바람직한 실시예에 따른 CCTV 실시간 분석 시스템에 있어서, 관리 서버의 위험 상황 분석 동작을 설명하기 위하여 도시한 모식도이다.
도 4 및 도 5를 참조하면, 본 발명에 따른 관리 서버(10)는 CCTV 영상들을 저장하는 데이터베이스, 각 에지 서버들로부터 이벤트 발생 정보를 수신하는 위험 의심 구간 수신 모듈, 작업 분배 모듈 및 복수 개의 위험 상황 정밀 분석 엔진들을 구비한다. 상기 위험 상황 정밀 분석 엔진들은 위험 의심 구간들에 대하여 사전 설정된 위험 상황들을 정밀 분석한다. 상기 작업 분배 모듈은 상기 위험 의심 구간 수신 모듈에 의해 수신된 위험 의심 구간들에 대한 정밀 분석 작업을 수행할 분석 엔진을 선택하여 작업을 분배한다.
상기 위험 상황 정밀 분석 엔진들은 다수의 독립적인 CNN 모델들로 이루어지며, 각 위험 의심 구간의 영상들로부터 보행 공간 위험 요소 검출, 미행 감지 검출, 이상 행동 검출, 폭력 상황 검출, 보행자 검출 등의 작업을 수행한다.
이상에서 본 발명에 대하여 그 바람직한 실시예를 중심으로 설명하였으나, 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 그리고, 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
10 : 관리 서버
20 : 에지 서버
30 : CCTV

Claims (1)

  1. 복수 개의 CCTV들;
    상기 복수 개의 CCTV들이 연결되고 CCTV들로부터 실시간으로 영상들이 수신되며, 수신된 영상들을 1차적으로 경량 분석하여 상기 영상들로부터 사전 설정된 위험 발생 이벤트에 따른 위험 발생 의심 구간을 검출하고, CCTV로부터 수신한 동영상 및 위험 발생 이벤트에 따른 위험 발생 의심 구간 정보를 포함하는 경량 분석 결과 정보를 관리 서버로 전송하는 복수 개의 에지 서버;
    상기 복수 개의 에지 서버들과 연결되고 각 에지 서버들로부터 동영상 및 경량 분석 결과 정보를 수신하고, 수신된 동영상을 저장하고, 경량 분석 결과 정보에 따른 위험 발생 의심 구간 정보에 대하여 정밀 분석하여 보행자 위험 상황을 실시간으로 검출하여 제공하는 관리 서버;
    를 구비하여, CCTV 영상들로부터 보행자 위험 상황을 실시간으로 분석 및 검출하는 것을 특징으로 하는 복수 개의 CCTV 영상들에 대한 실시간 분석 시스템.
KR1020210019688A 2021-02-15 2021-02-15 복수의 cctv 영상들에 대한 실시간 분석 시스템 Withdrawn KR20220116624A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210019688A KR20220116624A (ko) 2021-02-15 2021-02-15 복수의 cctv 영상들에 대한 실시간 분석 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210019688A KR20220116624A (ko) 2021-02-15 2021-02-15 복수의 cctv 영상들에 대한 실시간 분석 시스템

Publications (1)

Publication Number Publication Date
KR20220116624A true KR20220116624A (ko) 2022-08-23

Family

ID=83092822

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210019688A Withdrawn KR20220116624A (ko) 2021-02-15 2021-02-15 복수의 cctv 영상들에 대한 실시간 분석 시스템

Country Status (1)

Country Link
KR (1) KR20220116624A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7811368B1 (ja) * 2024-09-30 2026-02-05 ディープ ファーム カンパニー リミテッド 人工知能を用いた二重処理基盤の個体分析装置及び方法とこれを用いたスマートファームモニタリングシステム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101888308B1 (ko) 2017-08-02 2018-08-13 서애경 지능형 cctv 관제 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101888308B1 (ko) 2017-08-02 2018-08-13 서애경 지능형 cctv 관제 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7811368B1 (ja) * 2024-09-30 2026-02-05 ディープ ファーム カンパニー リミテッド 人工知能を用いた二重処理基盤の個体分析装置及び方法とこれを用いたスマートファームモニタリングシステム

Similar Documents

Publication Publication Date Title
US20080123967A1 (en) System and method for parallel image processing
US12235953B2 (en) Attack analyzer, attack analysis method and attack analysis program
CN120321267B (zh) 一种多协议传输的文本数据监控与告警方法及系统
CN101808126B (zh) 一种用于实时视频处理的分布式计算系统和方法
US20140279809A1 (en) Data Broker Reasoner
US20160050396A1 (en) Intelligent video analysis system and method
WO2022121196A1 (zh) 一种可伸缩视觉计算系统
CN102280011A (zh) 周界安防处警方法及系统
CN102684944A (zh) 入侵检测方法和装置
CN120091222A (zh) 基于随身WiFi的摄像头远程控制方法及系统
CN110633276A (zh) 一种基于大数据和图像识别的武装押运安全预警系统和方法
KR20220116624A (ko) 복수의 cctv 영상들에 대한 실시간 분석 시스템
US12283103B2 (en) Video camera for locally executing a plurality of video analytic algorithms on a video stream captured by the video camera
Tsariuk et al. The multilayer distributed intelligence system model for emergency area scanning
CN119071086B (zh) 基于内生安全的智能网联汽车威胁感知测试方法及系统
Taherizadeh et al. Real-time data-intensive telematics functionalities at the extreme edge of the network: Experience with the PrEstoCloud Project
KR100779509B1 (ko) 차량감식장치와 차량감식장치에 연결된 종합관리 서버
CN116363863B (zh) 交通数据异常检测方法、装置及交通运维系统
Albusac et al. Multi-analysis surveillance and dynamic distribution of computational resources: Towards extensible, robust, and efficient monitoring of environments
KR100961252B1 (ko) 소프트웨어 모듈의 동적 설치 및 실행이 가능한 영상 감시시스템 및 방법
KR20200136736A (ko) Cctv 영상 기반 딥 러닝을 이용한 다중객체 검출 시스템
KR20120047669A (ko) 선박 모니터링 시스템
KR101330776B1 (ko) 영상감시 시스템 및 그 제어방법
CN119941092B (zh) 一种智能箱锁一体款箱的安全监控管理方法及系统
US12556560B2 (en) Attack analysis device, attack analysis method, and storage medium

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PC1203 Withdrawal of no request for examination

St.27 status event code: N-1-6-B10-B12-nap-PC1203

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000