KR20130139622A - 융합보안 관제 시스템 및 방법 - Google Patents
융합보안 관제 시스템 및 방법 Download PDFInfo
- Publication number
- KR20130139622A KR20130139622A KR1020120063247A KR20120063247A KR20130139622A KR 20130139622 A KR20130139622 A KR 20130139622A KR 1020120063247 A KR1020120063247 A KR 1020120063247A KR 20120063247 A KR20120063247 A KR 20120063247A KR 20130139622 A KR20130139622 A KR 20130139622A
- Authority
- KR
- South Korea
- Prior art keywords
- security
- security control
- information
- convergence
- geographic information
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/08—Access security
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/2111—Location-sensitive, e.g. geographical location, GPS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Alarm Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 물리공간과 IT공간이 융합되는 환경에서의 융합보안 관제에 있어서, 융합보안관제 대상이 되는 물리공간 또는 IT 공간에 대한 대용량 지리정보 및 항공영상 등의 정보를 LoD(Level of Detail)단계별로 최적화하여 고속 렌더링(rendering)하여 IT공간과 물리 공간의 보안 이벤트들을 실감적으로 현실 공간화 하고, 3D 객체 모델, 2D 영상 정보, 3차원 객체 위치 정보, 각종 보안이벤트 및 침해사고 정보들을 실물 객체들에 매핑하여 표시시킴으로써 보안 침해가 발생한 발생 시점과 위치를 조기에 신속히 파악할 수 있고, 실시간으로 보안상황 정보를 사용자에게 보다 실감적으로 전달할 수 있도록 한다.
Description
본 발명은 3차원 객체(3D object)를 이용한 보안 관제에 관한 것으로, 특히 물리공간과 IT공간이 융합되는 환경에서 발생하는 보안침해 사고를 관제함에 있어서, 융합보안관제 대상이 되는 물리공간 또는 IT(information technology) 공간에 대한 대용량 지리정보 및 항공영상 등의 정보를 LoD(Level of Detail)단계별로 최적화하여 고속 렌더링(rendering)하여 IT공간과 물리 공간의 보안 이벤트(security events)들을 실감적으로 현실 공간화 하고, 3D 객체 모델, 2D 영상 정보, 3차원 객체 위치 정보, 각종 보안이벤트 및 침해사고 정보들을 실물 객체들에 매핑하여 표시시킴으로써 보안 침해가 발생한 발생 시점과 위치를 조기에 신속히 파악할 수 있고, 실시간으로 보안상황 정보를 사용자에게 보다 실감적으로 전달할 수 있도록 하는 융합보안 관제 시스템 및 방법에 관한 것이다.
근래에 들어, 사람, 정보, 인프라(infra), 시스템 등이 유기적으로 결합되어 있는 최근의 산업 시설의 경우 물리적 공간(physical space)과 사이버 공간(cyber space)이 상존하고 있으며, 산업시설의 정보자산에 대한 위협은 휴대용 저장매체, 외부인의 침입 등을 통한 물리적 공간에서의 내부 자산 유출과 해킹(hacking), 웜바이러스(warm virus), 악성 봇 등의 사이버 공간을 통한 정보 유출이 동시에 이루어지고 있기 때문에 기존의 물리보안과 IT보안 기술과 같이 단편적인 기술로는 달성될 수가 없다.
따라서, 산업 시설의 정보자산을 보호하기 위해서는 물리적 공간(산업시설현장)과 사이버 IT 공간을 유기적으로 통합하여 침해사고를 관리 제어하는 융합 보안관제 기술이 요구되고 있다.
이러한 요구에 따라 종래에는 IT보안과 물리보안의 출입을 통합인증카드(스마트카드)를 사용하여 물리적 공간과 사이버 공간에 대한 접근 제어 및 감시를 하는 형태, 또는 각각의 공간에서 발생하는 보안이벤트를 단순 통계화하여 보여주거나 또는 논리적으로 자산 및 시스템을 나열하여 이벤트를 표시하는 형태 등으로 개발되고 있다.
하지만, 위와 같은 종래 보안 방법에서는 기존의 인프라를 모두 변경해야 하는 문제와 각각의 공간에서 발생하는 보안이벤트를 외부의 IdM(Identity Management) 시스템과 연동하여 사이버 공간과 물리적 공간에서 행하여지는 사용자의 활동을 감시해야 하고, 또한 사용자 인터페이스의 직관성이 부족하여 사용자가 발생한 침해사고를 다시 해석해야 하는 문제점이 있다.
또한, 이러한 방법들은 가상 공간의 정보를 기반으로 보안상황을 감시하는 수준으로 실감적인 현실 공간 기반의 직관적인 보안 상황 인지가 불가능하기 때문에 침해사고의 조기 경보 및 정확하고 신속한 대응을 수행하기에는 부족하다.
따라서, 본 발명은 물리공간과 IT공간이 융합되는 환경에서 발생하는 보안침해 사고를 관제함에 있어서, 융합보안관제 대상이 되는 물리공간 또는 IT 공간에 대한 대용량 지리정보 및 항공영상 등의 정보를 LoD(Level of Detail)단계별로 최적화하여 고속 렌더링(rendering)하여 IT공간과 물리 공간의 보안 이벤트들을 실감적으로 현실 공간화 하고, 3D 객체 모델, 2D 영상 정보, 3차원 객체 위치 정보, 각종 보안이벤트 및 침해사고 정보들을 실물 객체들에 매핑하여 표시시킴으로써 보안 침해가 발생한 발생 시점과 위치를 조기에 신속히 파악할 수 있고, 실시간으로 보안상황 정보를 사용자에게 보다 실감적으로 전달할 수 있도록 하는 융합보안 관제 시스템 및 방법을 제공하고자 한다.
상술한 본 발명은 융합보안 관제 시스템으로서, 융합보안 관제를 위해 수집되는 지리정보를 고속 렌더링을 위한 데이터 형식으로 변환하는 지리정보 최적화 변환기와, 상기 융합보안 관제의 대상이 되는 보안 시설물을 실물 객체와 유사하게 3D 객체 모델로 생성하는 3D 객체 모델 생성기와, 상기 지리정보와 3D 객체 모델을 이용하여 상기 융합보안 관제의 대상이 되는 보안시설물을 3D 객체로 표시하고, 물리 또는 IT 보안센서로부터 보안이벤트를 수신하여 상기 3D 객체와 매핑하여 보안상황을 표시시키는 3D 실감형 사용자 인터페이스를 포함한다.
또한, 상기 지리정보 최적화 변환기는, 상기 융합보안 관제의 대상이 되는 지역을 기설정된 개수로 구분한 인덱스 그리드를 생성하고 상기 인덱스 그리드에 의해 구분되는 개별 인덱스에 해당하는 지리정보에 대한 데이터 파일을 생성하는 것을 특징으로 한다.
또한, 상기 지리정보는, 지형 정보, 항공영상 또는 벡터형 전자지도를 포함하는 것을 특징으로 한다.
또한, 상기 지리정보는, 사용자 눈의 위치에 따라 LoD(Level of Detail) 단계가 부여되어 시각적 손실없이 변환되는 것을 특징으로 한다.
또한, 상기 보안 시설물은, 상기 융합보안 관제의 대상이 되는 물리 시설물 또는 IT 시설물을 포함하는 것을 특징으로 한다.
또한, 상기 물리 시설물은, 산업 또는 업무 현장의 모든 물리적인 시설물을 포함하는 것을 특징으로 한다.
또한, 상기 IT 시설물은, 산업 또는 업무 현자의 인프라, 사람, 정보자산 또는 시스템을 포함하는 것을 특징으로 한다.
또한, 상기 3D 실감형 사용자 인터페이스는, 상기 보안 이벤트가 발생한 실물 객체의 3D 객체 위치로 포커스를 옮기고 위험상황을 표시하는 것을 특징으로 한다.
또한, 상기 3D 실감형 사용자 인터페이스는, 상기 융합보안 관제의 대상이 되는 보안 시설물을 촬영하는 보안 카메라의 상황을 순차적으로 이동하며 표시하고, 움직이는 물체의 검출 시 정지영상으로 기록하는 것을 특징으로 한다.
또한, 본 발명은 융합보안 관제 방법으로서, 융합보안 관제를 위해 수집되는 지리정보를 고속 렌더링을 위한 데이터 형식으로 변환하는 단계와, 상기 융합보안 관제의 대상이 되는 보안시설물을 실물 객체와 유사하게 3D 객체 모델로 생성하는 단계와, 상기 지리정보와 3D 객체 모델을 이용하여 상기 융합보안 관제의 대상이 되는 보안시설물을 3D 객체로 표시하는 단계와, 물리 또는 IT 보안센서로부터 보안이벤트를 수신하여 상기 3D 객체와 매핑하여 보안상황을 표시시키는 단계를 포함한다.
또한, 상기 지리정보를 고속 렌더링을 위한 데이터 형식으로 변환하는 단계는, 상기 융합보안 관제의 대상이 되는 보안 시설물에 대한 대용량 기초 데이터들을 수집하는 단계와, 상기 수집된 대용량 기초 데이터들을 LoD 단계별로 분할하여 패키징하는 단계와, 벡터형 전자지도 기반의 보안 시설물에 대한 데이터들을 삼각화하여 패키징하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 3D 객체 모델로 생성하는 단계는, 상기 변환된 지도정보 데이터들과 현실 공간의 3D 객체 모델 정보를 실감적 3D 공간에 고속 렌더링 하여 3D 객체 모델을 생성하는 단계인 것을 특징으로 한다.
또한, 상기 지리정보는, 지형 정보, 항공영상 또는 벡터형 전자지도를 포함하는 것을 특징으로 한다.
또한, 상기 지리정보는, 사용자 눈의 위치에 따라 LoD(Level of Detail) 단계가 부여되어 시각적 손실없이 변환되는 것을 특징으로 한다.
또한, 상기 보안 시설물은, 상기 융합보안 관제의 대상이 되는 물리 시설물 또는 IT 시설물을 포함하는 것을 특징으로 한다.
또한, 상기 물리 시설물은, 산업 또는 업무 현장의 모든 물리적인 시설물을 포함하는 것을 특징으로 한다.
또한, 상기 IT 시설물은, 산업 또는 업무 현자의 인프라, 사람, 정보자산 또는 시스템을 포함하는 것을 특징으로 한다.
또한, 상기 보안상황을 표시시키는 단계에서, 상기 보안 이벤트가 발생한 실물 객체의 매핑된 3D 객체 위치로 포커스를 옮기고 위험상황을 표시하는 것을 특징으로 한다.
본 발명은 물리공간과 IT공간이 융합되는 환경에서의 융합보안 관제에 있어서, 융합보안관제 대상이 되는 물리공간 또는 IT 공간에 대한 대용량 지리정보 및 항공영상 등의 정보를 LoD(Level of Detail)단계별로 최적화하여 고속 렌더링(rendering)하여 IT공간과 물리 공간의 보안 이벤트들을 실감적으로 현실 공간화 하고, 3D 객체 모델, 2D 영상 정보, 3차원 객체 위치 정보, 각종 보안이벤트 및 침해사고 정보들을 실물 객체들에 매핑하여 표시시킴으로써 보안 침해가 발생한 발생 시점과 위치를 조기에 신속히 파악할 수 있고, 실시간으로 보안상황 정보를 사용자에게 보다 실감적으로 전달할 수 있도록 하는 이점이 있다.
또한, 본 발명은 사람, 정보, 인프라, 시스템 등이 유기적으로 결합되어 있는 다양한 산업 현장(물리/IT 공간)의 보안 센서들에서 보고되는 보안이벤트의 속성과 발생 위치를 지리 정보를 활용한 현실 공간화된 인터페이스 화면 상에 실물 객체 또는 업무 영역 등과 매핑하여 표시함으로써 시공간과 연계된 보안상황 정보를 사용자가 빠르게 인지하고 그에 따른 대응을 자동으로 수행할 수 있도록 하는 이점이 있다.
또한, 사용자는 단일 공간의 보안 관제나 또는 단순한 물리/IT 통합 환경의 보안 관제에 비해 융합된 현실 환경의 보안 상황을 정확하고 인지할 수 있고, 보안 상황에 따른 실시간적 대응이 가능한 이점이 있다. 또한, 물리공간과 IT공간의 보안을 연동함에 있어서 보안이벤트의 발생위치와 속성을 이용하여 관리대상 공간의 현실공간 정보와 매핑하여 연관성을 표시함으로써 사용자의 직관적 인지를 극대화할 수 있고, 실공간 정보를 기반으로 보안이벤트에 대한 모니터링을 수행하기 때문에 산업시설 내의 정보자산들과 주변에서 발생하는 다양한 보안상황을 다수의 보안센서로 동시에 효과적으로 감시하고 보안상황을 추적 및 대응할 수 있는 이점이 있다.
또한, 본 발명은 물리보안과 IT보안을 현실공간 기반으로 융합 및 연동하여 복합적인 보안상황 정보를 생성하기 때문에 개별 공간의 보안만으로는 탐지할 수 없는 내부자 침해사고(불법 ID 도용 등), 불법 습득한 ID 카드를 이용한 출입문 이용, 다양한 업무 영역들의 보안상황, 방문자의 이동경로 이탈 등과 같은 침해사고를 용이하게 인지할 수 있다. 따라서, IT 보안의 허구성을 물리 공간과 연동을 통해 현실공간과의 일치성 및 실체성을 확보하고, 물리/IT 공간의 보안이벤트를 현장의 정보자산 실체와 매핑하여 감시 및 관리할 수 있어 보안 위협을 사전에 인지하고 대응할 수 있는 이점이 있다.
도 1은 본 발명의 실시예에 따른 융합보안 관제 시스템의 상세 블록 구성도,
도 2는 본 발명의 실시예에 따른 인덱스 그리드, 지형블록 크기 및 개수와 지역파일 구조 예시도,
도 3은 본 발명의 실시예에 따른 지형블록 매핑용 지형 고도 데이터 포맷 및 항공영상 데이터 포맷 예시도,
도 4는 본 발명의 실시예에 따른 지형블록에 건물 매칭, 폴리곤 삼각화, 건물 벽면 생성 예시도,
도 5는 본 발명의 실시예에 따른 벡터형 건물 객체 데이터 구조 예시도,
도 6은 본 발명의 실시예에 따른 지형정보, 항공영상, 벡터형 건물객체를 이용한 렌더링 예시도,
도 7은 본 발명의 실시예에 따른 항공영상, 벡터형 건물객체, 텍스쳐를 이용한 렌더링 예시도,
도 8은 본 발명의 실시예에 따른 3D 객체모델 생성기에서의 건물 내/외부 관리 예시도,
도 9는 본 발명의 실시예에 따른 3D 실감형 사용자 인터페이스 예시도.
도 2는 본 발명의 실시예에 따른 인덱스 그리드, 지형블록 크기 및 개수와 지역파일 구조 예시도,
도 3은 본 발명의 실시예에 따른 지형블록 매핑용 지형 고도 데이터 포맷 및 항공영상 데이터 포맷 예시도,
도 4는 본 발명의 실시예에 따른 지형블록에 건물 매칭, 폴리곤 삼각화, 건물 벽면 생성 예시도,
도 5는 본 발명의 실시예에 따른 벡터형 건물 객체 데이터 구조 예시도,
도 6은 본 발명의 실시예에 따른 지형정보, 항공영상, 벡터형 건물객체를 이용한 렌더링 예시도,
도 7은 본 발명의 실시예에 따른 항공영상, 벡터형 건물객체, 텍스쳐를 이용한 렌더링 예시도,
도 8은 본 발명의 실시예에 따른 3D 객체모델 생성기에서의 건물 내/외부 관리 예시도,
도 9는 본 발명의 실시예에 따른 3D 실감형 사용자 인터페이스 예시도.
이하, 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시 예에 따른 3차원 실감형 사용자 인터페이스를 이용한 융합보안 관제 시스템(100)의 상세 블록 구성을 도시한 것으로, 3D 실감형 사용자 인터페이스(110), 3D 객체모델 생성기(120), 지리정보 최적화 변환기(130), 보안이벤트 저장소(150), 3D 객체 모델 저장소(160), 지리정보 저장소(170) 등을 포함한다.
이하, 도 1을 참조하여 본 발명의 융합보안 관제 시스템의 각 구성요소에서의 동작을 상세히 설명하기로 한다.
먼저, 지리정보 최적화 변환기(130)는 3D 실감형 사용자 인터페이스(110)에서 사용하는 대용량 지리정보들을 고속 렌더링하기 위해 최적화된 데이터 형식으로 변환한다.
이때, 변환되는 지리정보에는 지형(고도값) 정보, 항공영상, 벡터형 전자지도(행정구역 경계, 건물, 도로, 하천) 정보 등이 있으며, 컴퓨터 화면을 바라보는 사용자 눈의 위치에 따라 LoD(Level of Detail) 단계를 부여하여 시각적 손실없이 변환하고 패키징한 뒤 지리정보 저장소에 저장한다. 일례로 우리나라의 제주도에 있는 산업시설들을 지리정보를 이용하여 실감적 인터페이스로 융합보안관제할 경우, 제주 전역의 5m급 지형(고도값) 파일 크기는 400MB, 51Cm 항공영상 파일 크기는 40GB, 전자지도 파일 크기는 100MB 로써 원본 지리정보 파일을 사용한다면 3D 사용자 인터페이스에서는 실시간 렌더링이 불가능하다.
도 2은 지리정보 최적화 변환기(130)에서 지리정보 최적화 변환을 수행하는 예를 도시한 것으로, 특히 일 예로 대전광역시의 산업시설들을 융합보안 관제하기 위한 지리정보 최적화 변환 개념을 도시한 것이다.
지리정보 최적화 변환기(130)는 대전광역시의 산업시설들을 융합보안관제하기 위해 도 2에서와 같이 지리정보 최적화 변환을 수행한다. 먼저 중부원점을 기준으로 하는 정규화 좌표계에서 전국을 총 35개 (5 X 7)로 나눈 인덱스 그리드(index grid)를 생성하고, 각각의 인덱스에 해당하는 지리정보 데이터 파일을 LoD를 적용하여 각 단계별로 생성한다. 인덱스 그리드에서 나누어진 개별 인덱스 영역을 "AREA"라고 정의하고 식별자를 좌하단부터 윗쪽과 우측 방향으로 0에서 34까지 순차적으로 부여한다. 따라서, 각 AREA의 면적은 131.072 Km2이고 대전지역은 10번 AREA이다. 동일한 방법으로 각각의 AREA들을 LoD 단계에 따른 지형블록들로 지리정보 데이터를 분할하고 패키징한다. 도 2에서는 LoD를 5단계로 구분할 경우 지형블록의 크기와 개수, 그리고 AREA 파일 구조를 나타낸 것이다.
지리정보 최적화 변환기(130)는 지형, 고도, 항공영상 변환부(132)와 전자지도 정보 변환부(134)를 포함하며, 지형, 고도, 항공영상 변환부(132)는 융합보안 관제를 수행하여야 하는 지역에 대한 지형, 고도, 항공영상 정보에 대해 변환을 수행한다. 전자지도 정보 변환부(134)는 융합보안 관제를 수행하여야 하는 지역에 대한 전자지도 정보에 대한 변환을 수행한다.
도 3은 지형블록 매핑용 지형 고도 데이터 포맷과 항공영상 데이터 포맷을 나타낸 것이다.
도 3을 참조하면, 각 LoD 단계별로 지형 고도 데이터와 항공영상 데이터를 클리핑하고 패키징하는데, 지형 고도 데이터는 수치표고모델(DEM: digital elevation model)을 이용하고 항공영상은 JPG, BMP, IMG, TIFF 등의 이미지 파일을 이용한다.
도 4는 벡터형 전자지도 파일에서 참조할 수 있는 2차원 건물 바닥면(폴리곤)을 지형블록에 매칭하고 폴리곤을 고속 렌더링할 수 있도록 삼각화하여 지붕을 생성하는 방법, 그리고 건물의 높이값을 이용한 벽면을 생성하여 3차원 건물객체로 변환하는 방법을 나타낸 것이다. 여기서, 건물 벽면은 성능을 고려하여 트라이앵글 스트립(Triangle Strip)으로 구성한다.
도 5는 지리정보 최적화 변환기(130)에서 변환 생성된 벡터형 3차원 건물객체 데이터 구조를 나타낸 것이다.
도 6은 지형정보, 항공영상, 벡터형 건물객체를 이용하여 여러 조합으로 렌더링한 모습을 비교한 것이다. 벡터형 건물객체는 텍스쳐를 사용하지 않고 건물의 프레임만 표시하였다.
도 7은 벡터형 건물객체의 지붕과 벽면에 항공영상으로부터 얻은 텍스쳐(texture), 또는 준비된 텍스쳐를 이용하여 렌더링한 모습을 비교한 것이다.
3D 객체모델 생성기(120)는 보안관리 및 관제 대상이 되는 산업/업무 현장의 시설물, 인프라(infra), 사람, 정보자산, 시스템 등을 실물 객체와 유사하게 3D 모델 형태로 생성한 뒤 3D 객체 모델 저장소(160)에 저장하여 3D 실감형 사용자 인터페이스(110)에서 활용하게 하는 역할과 외부 3D 객체 생성 도구에서 만들어진 3D 객체 관리(수정 및 편집) 역할을 수행한다. 건물 외부 객체 관리부(122)는 융합보안 관제의 대상이 되는 보안시설물의 외부에 존재하는 객체에 대한 관리를 수행하며, 건물 내부 객체 관리부(124)는 융합보안 관제의 대상이 되는 보안시설물의 외부에 존재하는 객체에 대한 관리를 수행한다.
도 8은 3D 객체모델 생성기에서 융합보안 관제의 대상이 되는 보안 시설물에 대해 3D 객체 모델을 수행한 일 예를 도시한 것으로, 건물 외부를 설계하여 생성하고 건물 내부를 각종 자산들로 편집 관리하는 것을 나타낸 것이다.
3D 실감형 사용자 인터페이스(110)는 지리정보 저장소(170)의 지리정보 및 벡터형 전자지도 정보와 3D 객체모델 저장소의 3D 객체 모델을 이용하여 산업/업무 현장을 실감적으로 표시하고, 외부의 물리/IT 보안센서(140)에서 보내오는 보안이벤트(security event) 또는 외부의 물리/IT 보안센서(140)에서 보안이벤트 저장소(150)에 저장하는 보안이벤트를 3D 객체와 매핑하여 보안상황을 표시한다.
보안이벤트 표시/처리부(112)는 물리/IT 보안센서(140)로부터 수신되는 보안이벤트를 처리하고 표시시킨다. 보안이벤트 수신/분석부(116)는 물리/IT 보안센서(140)로부터 수신되는 보안이벤트를 수신하여 보안이벤트 저장소(150)에 저장하고, 해당 보안이벤트의 내용을 분석한다. 보안상황별 사용자 표시부(114)는 분석된 보안이벤트에 대한 사용자 정보를 표시한다.
지리정보, 객체모델 표시부(118)는 지리정보 저장소(170)와 3D 객체모델 저장소(160)로부터 보안이벤트가 발생한 해당 지역의 지리정보와 3D 객체 모델을 매핑하여 보안이벤트를 표시시킨다.
도 9는 3D 실감형 사용자 인터페이스(110)에서 생성한 융합보안 관제의 일 예를 나타낸 것이다. 이상현상 또는 위험 보안이벤트가 발생할 경우, 해당 이벤트와 매핑되는 실물 객체 위치로 자동 줌 인/아웃(zoom in/out)하여 포커스(focus)를 옮기고 위험 상황을 표시하며, IP Camera와 같은 영상 정보는 항시적으로 건물 벽면 또는 실제 위치로 투사하여 실물 객체들 위에 텍스쳐링하여 현실 공간화 할 수 있다. 또한 야간이나 인적이 없는 곳에는 무인 자동화 방식으로 카메라가 있는 곳의 상황을 순차적으로 이동하며 표시하고 움직이는 물체가 포착될 경우에는 정지영상으로 기록을 남기고 사용자에게 보고하는 기능, 그리고 사용자가 정의한 보안이벤트 또는 침해사고 발생과 같은 보안상황별 유형에 따라 외부의 대응연계 시스템으로 보고하는 기능이 있다.
상기한 바와 같이, 본 발명은 사람, 정보, 인프라, 시스템 등이 유기적으로 결합되어 있는 다양한 산업 현장(물리/IT 공간)의 보안 센서들에서 보고되는 보안이벤트의 속성과 발생 위치를 지리 정보를 활용한 현실 공간화된 인터페이스 화면 상에 실물 객체 또는 업무 영역 등과 매핑하여 표시함으로써 시공간과 연계된 보안상황 정보를 사용자가 빠르게 인지하고 그에 따른 대응을 자동으로 수행할 수 있도록 한다.
또한, 사용자는 단일 공간의 보안 관제나 또는 단순한 물리/IT 통합 환경의 보안 관제에 비해 융합된 현실 환경의 보안 상황을 정확하고 인지할 수 있고, 보안 상황에 따른 실시간적 대응이 가능한 이점이 있다. 또한, 물리공간과 IT공간의 보안을 연동함에 있어서 보안이벤트의 발생위치와 속성을 이용하여 관리대상 공간의 현실공간 정보와 매핑하여 연관성을 표시함으로써 사용자의 직관적 인지를 극대화할 수 있고, 실공간 정보를 기반으로 보안이벤트에 대한 모니터링을 수행하기 때문에 산업시설 내의 정보자산들과 주변에서 발생하는 다양한 보안상황을 다수의 보안센서로 동시에 효과적으로 감시하고 보안상황을 추적 및 대응할 수 있다.
또한, 본 발명은 물리보안과 IT보안을 현실공간 기반으로 융합 및 연동하여 복합적인 보안상황 정보를 생성하기 때문에 개별 공간의 보안만으로는 탐지할 수 없는 내부자 침해사고(불법 ID 도용 등), 불법 습득한 ID 카드를 이용한 출입문 이용, 다양한 업무 영역들의 보안상황, 방문자의 이동경로 이탈 등과 같은 침해사고를 용이하게 인지할 수 있다. 따라서, IT 보안의 허구성을 물리 공간과 연동을 통해 현실공간과의 일치성 및 실체성을 확보하고, 물리/IT 공간의 보안이벤트를 현장의 정보자산 실체와 매핑하여 감시 및 관리할 수 있어 보안 위협을 사전에 인지하고 대응할 수 있다.
한편 상술한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있다. 따라서 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.
110 : 3D 실감형 사용자 인터페이스 120 : 3D 객체 모델 생성기
130 : 지리정보 최적화 변환기 140 : 물리/IT 보안센서
150 : 보안이벤트 저장소 160 : 3D 객체모델 저장소
170 : 지리정보 저장소
130 : 지리정보 최적화 변환기 140 : 물리/IT 보안센서
150 : 보안이벤트 저장소 160 : 3D 객체모델 저장소
170 : 지리정보 저장소
Claims (18)
- 융합보안 관제를 위해 수집되는 지리정보를 고속 렌더링을 위한 데이터 형식으로 변환하는 지리정보 최적화 변환기와,
상기 융합보안 관제의 대상이 되는 보안 시설물을 실물 객체와 유사하게 3D 객체 모델로 생성하는 3D 객체 모델 생성기와,
상기 지리정보와 3D 객체 모델을 이용하여 상기 융합보안 관제의 대상이 되는 보안시설물을 3D 객체로 표시하고, 물리 또는 IT 보안센서로부터 보안이벤트를 수신하여 상기 3D 객체와 매핑하여 보안상황을 표시시키는 3D 실감형 사용자 인터페이스
를 포함하는 융합보안 관제 시스템.
- 제 1 항에 있어서,
상기 지리정보 최적화 변환기는,
상기 융합보안 관제의 대상이 되는 지역을 기설정된 개수로 구분한 인덱스 그리드를 생성하고 상기 인덱스 그리드에 의해 구분되는 개별 인덱스에 해당하는 지리정보에 대한 데이터 파일을 생성하는 융합보안 관제 시스템.
- 제 1 항에 있어서,
상기 지리정보는,
지형 정보, 항공영상 또는 벡터형 전자지도를 포함하는 융합보안 관제 시스템.
- 제 3 항에 있어서,
상기 지리정보는,
사용자 눈의 위치에 따라 LoD(Level of Detail) 단계가 부여되어 시각적 손실없이 변환되는 융합보안 관제 시스템.
- 제 1 항에 있어서,
상기 보안 시설물은,
상기 융합보안 관제의 대상이 되는 물리 시설물 또는 IT 시설물을 포함하는 융합보안 관제 시스템.
- 제 5 항에 있어서,
상기 물리 시설물은,
산업 또는 업무 현장의 모든 물리적인 시설물을 포함하는 융합보안 관제 시스템.
- 제 5 항에 있어서,
상기 IT 시설물은,
산업 또는 업무 현자의 인프라, 사람, 정보자산 또는 시스템을 포함하는 융합보안 관제 시스템.
- 제 1 항에 있어서,
상기 3D 실감형 사용자 인터페이스는,
상기 보안 이벤트가 발생한 실물 객체의 3D 객체 위치로 포커스를 옮기고 위험상황을 표시하는 융합보안 관제 시스템.
- 제 1 항에 있어서,
상기 3D 실감형 사용자 인터페이스는,
상기 융합보안 관제의 대상이 되는 보안 시설물을 촬영하는 보안 카메라의 상황을 순차적으로 이동하며 표시하고, 움직이는 물체의 검출 시 정지영상으로 기록하는 융합보안 관제 시스템.
- 융합보안 관제를 위해 수집되는 지리정보를 고속 렌더링을 위한 데이터 형식으로 변환하는 단계와,
상기 융합보안 관제의 대상이 되는 보안시설물을 실물 객체와 유사하게 3D 객체 모델로 생성하는 단계와,
상기 지리정보와 3D 객체 모델을 이용하여 상기 융합보안 관제의 대상이 되는 보안시설물을 3D 객체로 표시하는 단계와,
물리 또는 IT 보안센서로부터 보안이벤트를 수신하여 상기 3D 객체와 매핑하여 보안상황을 표시시키는 단계
를 포함하는 융합보안 관제 방법.
- 제 10 항에 있어서,
상기 지리정보를 고속 렌더링을 위한 데이터 형식으로 변환하는 단계는,
상기 융합보안 관제의 대상이 되는 보안 시설물에 대한 대용량 기초 데이터들을 수집하는 단계와,
상기 수집된 대용량 기초 데이터들을 LoD 단계별로 분할하여 패키징하는 단계와,
벡터형 전자지도 기반의 보안 시설물에 대한 데이터들을 삼각화하여 패키징하는 단계
를 포함하는 융합보안 관제 방법.
- 제 10 항에 있어서,
상기 3D 객체 모델로 생성하는 단계는,
상기 변환된 지도정보 데이터들과 현실 공간의 3D 객체 모델 정보를 실감적 3D 공간에 고속 렌더링 하여 3D 객체 모델을 생성하는 단계인 융합보안 관제 방법.
- 제 10 항에 있어서,
상기 지리정보는,
지형 정보, 항공영상 또는 벡터형 전자지도를 포함하는 융합보안 관제 방법.
- 제 10 항에 있어서,
상기 지리정보는,
사용자 눈의 위치에 따라 LoD(Level of Detail) 단계가 부여되어 시각적 손실없이 변환되는 융합보안 관제 방법. - 제 10 항에 있어서,
상기 보안 시설물은,
상기 융합보안 관제의 대상이 되는 물리 시설물 또는 IT 시설물을 포함하는 융합보안 관제 방법.
- 제 15 항에 있어서,
상기 물리 시설물은,
산업 또는 업무 현장의 모든 물리적인 시설물을 포함하는 융합보안 관제 방법.
- 제 15 항에 있어서,
상기 IT 시설물은,
산업 또는 업무 현자의 인프라, 사람, 정보자산 또는 시스템을 포함하는 융합보안 관제 방법.
- 제 10 항에 있어서,
상기 보안상황을 표시시키는 단계에서,
상기 보안 이벤트가 발생한 실물 객체의 매핑된 3D 객체 위치로 포커스를 옮기고 위험상황을 표시하는 융합보안 관제 방법.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120063247A KR20130139622A (ko) | 2012-06-13 | 2012-06-13 | 융합보안 관제 시스템 및 방법 |
US13/727,446 US20130335415A1 (en) | 2012-06-13 | 2012-12-26 | Converged security management system and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120063247A KR20130139622A (ko) | 2012-06-13 | 2012-06-13 | 융합보안 관제 시스템 및 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20130139622A true KR20130139622A (ko) | 2013-12-23 |
Family
ID=49755458
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120063247A KR20130139622A (ko) | 2012-06-13 | 2012-06-13 | 융합보안 관제 시스템 및 방법 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20130335415A1 (ko) |
KR (1) | KR20130139622A (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101628750B1 (ko) * | 2015-07-29 | 2016-06-09 | 주식회사 에이베스트 | 3d 항공 촬영을 이용한 지형물의 안전 예측 방법 |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9575321B2 (en) * | 2014-06-09 | 2017-02-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
US10649220B2 (en) | 2014-06-09 | 2020-05-12 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US10663740B2 (en) * | 2014-06-09 | 2020-05-26 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US10216155B2 (en) * | 2014-07-31 | 2019-02-26 | Honeywell International Inc. | Building management system analysis |
US11416805B1 (en) | 2015-04-06 | 2022-08-16 | Position Imaging, Inc. | Light-based guidance for package tracking systems |
US10853757B1 (en) | 2015-04-06 | 2020-12-01 | Position Imaging, Inc. | Video for real-time confirmation in package tracking systems |
US10148918B1 (en) | 2015-04-06 | 2018-12-04 | Position Imaging, Inc. | Modular shelving systems for package tracking |
US11501244B1 (en) | 2015-04-06 | 2022-11-15 | Position Imaging, Inc. | Package tracking systems and methods |
US10318904B2 (en) | 2016-05-06 | 2019-06-11 | General Electric Company | Computing system to control the use of physical state attainment of assets to meet temporal performance criteria |
US11436553B2 (en) | 2016-09-08 | 2022-09-06 | Position Imaging, Inc. | System and method of object tracking using weight confirmation |
US10634503B2 (en) * | 2016-12-12 | 2020-04-28 | Position Imaging, Inc. | System and method of personalized navigation inside a business enterprise |
US10634506B2 (en) | 2016-12-12 | 2020-04-28 | Position Imaging, Inc. | System and method of personalized navigation inside a business enterprise |
US11120392B2 (en) | 2017-01-06 | 2021-09-14 | Position Imaging, Inc. | System and method of calibrating a directional light source relative to a camera's field of view |
SG10201705480UA (en) * | 2017-07-03 | 2019-02-27 | Nec Asia Pacific Pte Ltd | System and method for determining event |
CN108491530B (zh) * | 2018-03-28 | 2021-01-15 | 深圳智润新能源电力勘测设计院有限公司 | 一种空间地理信息系统 |
CN109191574A (zh) * | 2018-09-07 | 2019-01-11 | 江苏省工程勘测研究院有限责任公司 | 基于无人机倾斜摄影的征地拆迁实物调查信息管理系统 |
KR20210092720A (ko) | 2018-09-21 | 2021-07-26 | 포지션 이미징 인코포레이티드 | 기계 학습 보조된 자기 개선형 객체 식별 시스템 및 방법 |
WO2020146861A1 (en) | 2019-01-11 | 2020-07-16 | Position Imaging, Inc. | Computer-vision-based object tracking and guidance module |
CN109857825B (zh) * | 2019-01-16 | 2021-09-14 | 广州城投发展研究院有限公司 | 一种三维模型展示方法及系统 |
CN109902209B (zh) * | 2019-03-01 | 2021-11-09 | 广州特种承压设备检测研究院 | 一种基于空间智能的特种承压设备用户三维可视化方法 |
US11238459B2 (en) * | 2020-01-07 | 2022-02-01 | Bank Of America Corporation | Intelligent systems for identifying transactions associated with an institution impacted by an event |
CN113781655B (zh) * | 2020-06-09 | 2024-06-07 | 国网新疆电力有限公司建设分公司 | 虚拟现实模拟施工方法和装置、设备及存储介质 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7995096B1 (en) * | 1999-09-23 | 2011-08-09 | The Boeing Company | Visual security operations system |
JP4878083B2 (ja) * | 2001-03-13 | 2012-02-15 | キヤノン株式会社 | 画像合成装置及び方法、プログラム |
US6765584B1 (en) * | 2002-03-14 | 2004-07-20 | Nvidia Corporation | System and method for creating a vector map in a hardware graphics pipeline |
US8050521B2 (en) * | 2002-07-27 | 2011-11-01 | Archaio, Llc | System and method for simultaneously viewing, coordinating, manipulating and interpreting three-dimensional and two-dimensional digital images of structures for providing true scale measurements and permitting rapid emergency information distribution |
US7394459B2 (en) * | 2004-04-29 | 2008-07-01 | Microsoft Corporation | Interaction between objects and a virtual environment display |
US7551182B2 (en) * | 2005-01-18 | 2009-06-23 | Oculus Info Inc. | System and method for processing map data |
WO2006101451A2 (en) * | 2005-03-24 | 2006-09-28 | G Element Pte. Ltd. | System and apparatus for vicinity and in-building visualization, planning, monitoring, and exploring |
EP1922697A4 (en) * | 2005-07-20 | 2009-09-23 | Geosim Systems Ltd | THREE-DIMENSIONAL VISUALIZATION WITH WEB-ABILITIES |
JP4111231B2 (ja) * | 2006-07-14 | 2008-07-02 | 富士ゼロックス株式会社 | 立体表示システム |
US20080062167A1 (en) * | 2006-09-13 | 2008-03-13 | International Design And Construction Online, Inc. | Computer-based system and method for providing situational awareness for a structure using three-dimensional modeling |
US20080091681A1 (en) * | 2006-10-12 | 2008-04-17 | Saket Dwivedi | Architecture for unified threat management |
US20080198159A1 (en) * | 2007-02-16 | 2008-08-21 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for efficient and flexible surveillance visualization with context sensitive privacy preserving and power lens data mining |
WO2009104218A1 (ja) * | 2008-02-18 | 2009-08-27 | 三菱電機株式会社 | 地図表示装置 |
AU2009305105A1 (en) * | 2008-10-14 | 2010-04-22 | Cct International, Inc. | System and method for hybrid solid and surface modeling for computer-aided design environments |
US9569001B2 (en) * | 2009-02-03 | 2017-02-14 | Massachusetts Institute Of Technology | Wearable gestural interface |
US8073657B2 (en) * | 2009-03-03 | 2011-12-06 | Igt | 3-D casino gaming floor visualization utilizing real-time and batch data |
US20100253700A1 (en) * | 2009-04-02 | 2010-10-07 | Philippe Bergeron | Real-Time 3-D Interactions Between Real And Virtual Environments |
US8386930B2 (en) * | 2009-06-05 | 2013-02-26 | International Business Machines Corporation | Contextual data center management utilizing a virtual environment |
JP5037574B2 (ja) * | 2009-07-28 | 2012-09-26 | 株式会社ソニー・コンピュータエンタテインメント | 画像ファイル生成装置、画像処理装置、画像ファイル生成方法、および画像処理方法 |
US8493407B2 (en) * | 2009-09-03 | 2013-07-23 | Nokia Corporation | Method and apparatus for customizing map presentations based on user interests |
US8754884B2 (en) * | 2009-09-21 | 2014-06-17 | Xerox Corporation | 3D virtual environment for generating variable data images |
US10027711B2 (en) * | 2009-11-20 | 2018-07-17 | Alert Enterprise, Inc. | Situational intelligence |
US20110169927A1 (en) * | 2010-01-13 | 2011-07-14 | Coco Studios | Content Presentation in a Three Dimensional Environment |
US8878871B2 (en) * | 2010-08-09 | 2014-11-04 | Thermopylae Sciences and Technology | Methods and apparatus for geospatial management and visualization of events |
US8630454B1 (en) * | 2011-05-31 | 2014-01-14 | Google Inc. | Method and system for motion detection in an image |
US9153195B2 (en) * | 2011-08-17 | 2015-10-06 | Microsoft Technology Licensing, Llc | Providing contextual personal information by a mixed reality device |
-
2012
- 2012-06-13 KR KR1020120063247A patent/KR20130139622A/ko not_active Application Discontinuation
- 2012-12-26 US US13/727,446 patent/US20130335415A1/en not_active Abandoned
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101628750B1 (ko) * | 2015-07-29 | 2016-06-09 | 주식회사 에이베스트 | 3d 항공 촬영을 이용한 지형물의 안전 예측 방법 |
Also Published As
Publication number | Publication date |
---|---|
US20130335415A1 (en) | 2013-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20130139622A (ko) | 융합보안 관제 시스템 및 방법 | |
KR101937096B1 (ko) | 3차원 bim 객체 모델을 이용한 3차원 모니터링 서버 및 이를 포함하는 3차원 모니터링 시스템 | |
US9747502B2 (en) | Systems and methods for automated cloud-based analytics for surveillance systems with unmanned aerial devices | |
KR102160990B1 (ko) | 객체 기반의 3d 도시 모델링 방법 및 이를 구현하는 서버, 그리고 이를 이용하는 시스템 | |
CN108960566B (zh) | 一种交通可视化监控系统 | |
AU2021201574A1 (en) | Security system and method | |
Chi et al. | A methodology for object identification and tracking in construction based on spatial modeling and image matching techniques | |
KR20190058230A (ko) | 감시카메라 배치 모델링 시스템 및 방법 | |
US20170300758A1 (en) | Systems and methods for automated analytics for security surveillance in operation areas | |
US20210248817A1 (en) | Data processing method and apparatus | |
KR101965878B1 (ko) | 시각적 피처들을 이용한 이미지들의 자동 연결 | |
CN114399606A (zh) | 基于立体可视化的交互展示系统、方法、设备 | |
CN110067274B (zh) | 设备控制方法及挖掘机 | |
KR102499920B1 (ko) | 디지털트윈을 이용한 bim기반 건설현장 관제 시스템 | |
KR101992662B1 (ko) | Gis 정보를 이용한 3차원 지형과 cctv 영상의 정합을 통한 3차원 기반 cctv 관제 시스템 | |
CN115410354B (zh) | 工业厂区的安全预警方法、装置和安全预警系统 | |
KR101073432B1 (ko) | 3차원 공간정보를 통합한 도시 관리 시스템 구축장치 및 방법 | |
KR101758786B1 (ko) | 영상 내에서 특정 지점의 위치를 결정하기 위한 장치 및 그 방법 | |
CN111414503A (zh) | 基于区块链与cim的木材堆积检测系统 | |
KR101686797B1 (ko) | 3차원 지형 지물을 고려한 cctv 가시권 분석방법 | |
CN112862976B (zh) | 一种数据处理方法、装置及电子设备 | |
Hong et al. | The use of CCTV in the emergency response: A 3D GIS perspective | |
CN102385760A (zh) | 用于保护模型数据的方法及系统 | |
CN101009023A (zh) | 网上信息发布终端 | |
US20160085427A1 (en) | System and method of sharing spatial data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application |