KR101012281B1 - 거점적 최적 영상 관제 시스템 - Google Patents

거점적 최적 영상 관제 시스템 Download PDF

Info

Publication number
KR101012281B1
KR101012281B1 KR1020100093424A KR20100093424A KR101012281B1 KR 101012281 B1 KR101012281 B1 KR 101012281B1 KR 1020100093424 A KR1020100093424 A KR 1020100093424A KR 20100093424 A KR20100093424 A KR 20100093424A KR 101012281 B1 KR101012281 B1 KR 101012281B1
Authority
KR
South Korea
Prior art keywords
information
control
image
video equipment
video
Prior art date
Application number
KR1020100093424A
Other languages
English (en)
Inventor
이병걸
허재수
최성복
Original Assignee
(주)피앤씨네트워크
(주)에디넷
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)피앤씨네트워크, (주)에디넷 filed Critical (주)피앤씨네트워크
Priority to KR1020100093424A priority Critical patent/KR101012281B1/ko
Application granted granted Critical
Publication of KR101012281B1 publication Critical patent/KR101012281B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 지도좌표 값을 기준으로 전달된 특정 객체(특정 공간 또는 지정 개체)의 위치정보(위도, 경도)를 기준 값으로 국토 및 항만의 여러 곳에 설비된 CCTV의 팬, 틸트, 줌, 포커싱 등을 자동 제어하여 최적의 식별 및 영상정보를 얻음으로 안전한 영상 관제 및 보안 감시가 가능한 거점적 최적 영상 관제 시스템을 개시한다.
본 발명은 본 발명은 최적 영상 획득 기능이 구비된 영상 장비와, 상기 영상 장비와 네트워크로 연결되어 영상 장비의 제어가 가능하며, 관제의 대상이 되는 객체로부터 객체의 AIS 신호 또는 GPS 정보를 수신하여 객체의 위치를 저장하고, 상기 객체와 가장 인접된 영상 장비를 선별하며, 선별된 상기 영상 장비를 제어하여 상기 객체에 대한 최적의 거점 영상을 촬영할 수 있도록 영상 장비와 객체 사이 거리 및 방향을 고려하여 영상 장비의 팬, 틸트, 줌, 포커싱 등의 최적 영상 획득 기능을 제어하기 위한 제어값을 산출 및 동작시켜 관제를 위한 영상을 송출하도록 하는 서버와, 상기 서버의 관제 정보 및 영상을 표시하는 디스플레이로 구성되어 주요 자산, 육상 교통의 영상 관제와 전자 해도를 활용하여 선박의 선택 영상 촬영, 해상 탐색 및 정확한 정보의 관제에 용이하며, 기존에 관제에 사용하는 국토공간정보(지도좌표), AIS 및 전자 해도의 정보 값을 그대로 활용함으로 고가의 추가 장비 구축 사항이 없고, 자연환경, 휴양지역의 시설물, 어선 및 유선들의 AIS정보가 없는 선박들의 관제가 용의하여 보다 안전한 영상 관제가 가능하게 되는 유용한 효과가 있는 것이다.

Description

거점적 최적 영상 관제 시스템{OPTIMAL STRONGPOINT IMAGE CONTROL SYSTEM}
본 발명은 거점적 최적 영상 관제 시스템에 관한 것으로 특히 지도좌표 값을 기준으로 전달된 특정 객체(특정 공간 또는 지정 개체)의 위치정보(위도, 경도)를 기준 값으로 가장 근접된 국토 및 항만의 여러 곳에 설비된 CCTV나 카메라를 찾아 팬, 틸트, 줌, 포커싱 등을 자동 제어하여 최적의 식별 및 영상정보를 얻음으로 안전한 영상 관제 및 보안 감시가 가능한 거점적 최적 영상 관제 시스템에 관한 것이다.
주지하는 바와 같이, 일반적으로 영상 관제 및 보안 시스템은 해상 또는 육상의 교통 및 사회 안전에 관한 것의 기술 집약체로써 많은 발전을 하고 있다. 특히 내륙의 교통, 자연 환경 등의 보호와 유지, 해상의 교통관리를 효율적으로 관제하기 위함 등 다양한 이득을 취하는 기술로써, 특히 해상의 경우 AIS(선박자동식별장치)는 항구 및 연안에서의 충돌방지와 해상교통관리를 더욱 효과적으로 하기 위하여 선박명, 종류, 위치정보, 진행속도, 방향 및 항해와 관련된 정보를 국제적으로 규정된 초단파 주파수(VHF)회선을 통하여, 주기적 송수신하고, 육상 및 다른 선박과 정보 및 관련 데이터를 자동으로 교환할 수 있어서, 상기와 같은 국토공간정보 및 AIS, 전자 해도를 이용하여 사회전반, 교통, 선박 등을 관제해 오고 있으나, 주기적 신호를 받아 사용하는 관제시스템에서는 점차 늘어나는 육상교통, 인근항만 관제에 정확성과 신뢰성이 다소 떨어진다.
또한, 현 환경관제, 교통 및 항만 관제에 사용되고 있는 영상장비로는 수동적인 불편함과 선택객체의 오류, 시간의 오차가 발생하여, 국토공간정보 및 AIS시스템의 정보를 토대로 하는 최적의 자동 선택 영상송출 시스템이 결합된 안전한 영상 관제 시스템의 필요성이 대두되고 있다.
본 발명의 목적은 이러한 필요에 따라 국토공간정보 및 AIS, 전자 해도와 고화질 자동 선택 영상장비의 상호 연계시스템으로 사회전반의 안전시설, 자연환경, 인근항만의 해상충돌 및 안전사고를 미연에 방지 할 수 있는 보다 현실화된 거점적 최적 영상 관제 시스템을 제공함에 있다.
본 발명은 이러한 목적을 달성하기 위하여 팬, 틸트, 줌, 포커싱 등의 최적 영상 획득 기능이 구비되며, 거점 촬영이 가능한 지정 위치에 설치된 영상 장비와, 상기 영상 장비와 유, 무선 네트워크로 연결되어 영상 장비의 제어가 가능하며, 관제의 대상이 되는 객체로부터 객체 정보를 수신하여 관제하는 서버와, 상기 서버의 관제 정보 및 영상을 표시하는 디스플레이로 구성된 영상 관제 시스템에 있어서,
상기 서버는 관제하고자 하는 상기 객체의 종류, 크기, 위치, 진로 등과 같은 객체 정보가 수신되어 저장되는 객체정보DB와,
각 거점별로 상기 영상 장비의 설치 위치, 고유 ID, 감시 범위 등의 영상 장비 정보가 저장된 거점정보DB와,
상기 객체정보DB에서의 관제하고자 하는 객체의 위치정보와 가장 인접한 영상 장비를 거점정보DB에서 선별하고, 상기 객체에 대한 최적의 영상을 획득할 수 있도록 선별된 영상 장비의 제어값 및 시간 오차 등의 보정값을 산출하는 연산부와,
상기 연산부의 제어값 및 보정값에 의해 상기 영상 장비를 제어하여 상기 객체에 대한 최적의 거점 영상을 획득하여 상기 디스플레이를 통해 디스플레이 되도록 하는 제어부로 구성 된 것이다.
이와 같이 본 발명은 국토공간정보와 AIS를 이용한 위경도 좌표로 최적의 거점 영상을 획득할 수 있는 CCTV를 선택하고, 선택된 CCTV를 제어하여 최적의 거점 영상을 획득할 수 있으므로 주요 자산, 육상 교통의 영상 관제와 전자 해도를 활용하여 선박의 선택 영상 촬영, 해상 탐색 및 정확한 정보의 관제에 용이하며, 기존에 관제에 사용하는 국토공간정보(지도좌표), AIS 및 전자 해도의 정보 값을 그대로 활용함으로 고가의 추가 장비 구축 사항이 없고, 자연환경, 휴양지역의 시설물, 어선 및 유선들의 AIS정보가 없는 선박들의 관제가 용의하여 보다 안전한 영상 관제가 가능하게 되는 유용한 효과가 있다.
또한, 본 발명은 관제서버를 통한 유선 및 무선 접근이 가능한 네트워크망을 활용함으로 네트워크망 내에 접속 된 클라이언트의 필요 충족도를 만족할 수 있다.
도 1은 본 발명에 의한 거점적 최적 영상 관제 시스템의 구체적인 실시예의 전체적인 구성을 나타내는 구성도.
도 2는 본 발명에 의한 거점적 최적 영상 관제 방법을 예시하는 흐름도.
도 3은 본 발명에 따른 예시로 실제 항만에 사용 가능한 거리 및 활용 예시도.
도 4는 본 발명에 의한 영상 장비의 팬 각도 결정 방법을 설명하는 설명도.
도 5는 본 발명에 의한 영상 장비의 틸트 각도를 결정하는 방법을 설명하는 설명도.
도 6 내지 도 9는 본 발명에 따른 최적 영상 송출 화면의 예시도.
이러한 본 발명을 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명하면 다음과 같다.
본 발명에 의한 거점적 최적 영상 관제 시스템의 구체적인 실시예의 전체적인 구성을 도 1로 도시하였다.
이에서 볼 수 있는 바와 같이, 본 발명은 팬, 틸트, 줌, 포커싱 등의 최적 영상 획득 기능이 구비되며, 거점 촬영이 가능한 지정 위치의 위치정보와 고유 ID가 설정되어 설치된 영상 장비(20)와,
상기 영상 장비(20)와 유, 무선 네트워크로 연결되어 영상 장비(20)의 제어가 가능하며, 관제의 대상이 되는 객체(10)로부터 객체(10)의 AIS 신호 또는 GPS 정보를 수신하여 객체(10)의 위치를 저장하고, 상기 객체(10)와 가장 인접된 영상 장비(20)를 선별하며, 선별된 상기 영상 장비(20)를 제어하여 상기 객체(10)에 대한 최적의 거점 영상을 촬영할 수 있도록 영상 장비(20)와 객체(10) 사이 거리 및 방향을 고려하여 영상 장비(20)의 팬, 틸트, 줌, 포커싱 등의 최적 영상 획득 기능을 제어하기 위한 제어값을 산출 및 동작시켜 관제를 위한 영상을 송출하도록 하는 서버(30)와,
상기 서버(30)의 관제 정보 및 영상을 표시하는 디스플레이(40)로 구성될 수 있다.
이를 각 구성요소별로 더욱 상세하게 설명하면, 전술한 객체(10)는 관제하고자 하는 특정 공간(예를 들어 산림 보호 지역, 보호 건축물, 감시 지역 등의 공간), 해상 또는 내륙의 교통, 선박 등이며, 특히 선박의 경우 항구 및 연안에서의 충돌방지와 해상교통관리를 효과적으로 하기 위하여 선박명, 종류, 위치정보, 진행속도, 방향 및 항해와 관련된 정보를 국제적으로 규정된 초단파주파수(VHF)회선을 통하여, 주기적 송수신하고, 육상 및 다른 선박과 정보 및 관련 데이터를 자동으로 교환하는 AIS(선박자동식별장치)를 구비하여 전자 해도와 선박에서 발신하는 AIS 신호를 통해 관제하고 있으나 AIS 신호가 일정한 시간 간격으로 수신되며, 다수의 선박으로부터 불규칙적으로 AIS 신호를 각각 수신하게 되어 종합적인 관제가 어렵고, 관제의 정확성 및 신뢰성이 떨어지므로 영상 관제가 병행될 필요가 있다.
또한 전술한 영상 장비(20)는 IP 카메라, CCTV 등으로 구성될 수 있으며, 이러한 영상 장비(20)는 기존의 관제를 위해 이미 설치된 영상 장비(20), 특정 공간과 같은 부동 객체(10)를 감시하기 위해 객체(10) 주위에 일정 간격으로 설치된 영상 장비(20), 또는 도 3으로 예시한 바와 같이, 해상 또는 내륙의 교통, 선박 등의 이동 객체(10)를 지역적으로 관제하기 위해 거점적으로 담당 관제 영역이 할당 되도록 설치된 영상 장비(20) 등이며, 이와 같이 본 발명의 거점적 최적 영상 관제 시스템은 기존의 영상 장비(20) 및 관제 시스템(AIS, 전자해도, 네트워크 등)에 본 발명의 서버(30)를 구성할 수 있어서 기존 시스템에 부합되며, 추가 비용을 최소화 하여 적용시킬 수 있다.
이러한 전술한 서버(30)는 관제하고자 하는 상기 객체(10)의 AIS 또는 GPS 정보를 수신하여 객체(10)의 종류, 크기, 위치, 진로 등과 같은 객체(10) 정보를 저장하는 객체정보DB(31)와, 각 거점별로 상기 영상 장비(20)의 설치 위치, 고유 ID, 감시 범위 등의 영상 장비(20) 정보가 저장된 거점정보DB(32)와, 상기 객체정보DB(31)에서의 관제하고자 하는 객체(10)의 위치정보와 가장 인접한 영상 장비(20)를 거점정보DB(32)에서 선별하고, 상기 객체(10)에 대한 최적의 영상을 획득할 수 있도록 선별된 영상 장비(20)의 제어값 및 시간 오차 등의 보정값을 산출하는 연산부(33)와, 상기 연산부(33)의 제어값 및 보정값에 의해 상기 영상 장비(20)를 제어하여 상기 객체(10)에 대한 최적의 거점 영상을 획득하여 상기 디스플레이(40)를 통해 디스플레이(40) 되도록 하는 제어부(34)로 구성될 수 있다.
여기에서 전술한 연산부(33)는 본 발명에 의한 거점적 최적 영상 관제 시스템을 운영하여 관제하는 운영자에 의해 관제하고자 하는 객체(10)가 선택되기만 하면, 객체정보DB(31)로부터 선택된 객체(10)의 최근 위치정보를 읽어와 거점정보DB(32)에서 상기 객체(10)의 위치정보와 가장 인접된 영상 장비(20)의 영상 장비(20) 정보를 선별하여 찾고, 상기 객체(10)의 위치정보와 선별된 영상 장비(20)의 위치정보를 비교하여 상기 객체(10)의 최적 영상을 촬영할 수 있도록 상기 영상 장비(20)를 제어하기 위한 영상 장비(20)의 촬영 방향, 각도, 줌배율을 계산하는 제 1 알고리즘과, 최적의 포커싱를 구현하는 카메라의 오토 포커싱과 같은 제 2 알고리즘에 의해 제어값을 산출하여 상기 제어부(34)를 통해 상기 영상 장비(20)가 제어되도록 하며, 국토공간정보, 전자해도와 같은 지도 정보를 바탕으로 상기 객체(10)의 위치정보와 영상 장비(20) 정보를 검증하여 상기 객체(10)의 객체(10) 정보와 가장 인접된 영상 장비(20) 정보를 갱신하고, 상기 객체(10)의 이동 위치, 속도 및 방향을 고려하여 시간이 지남에 따라 변화되는 속도, 위치 등을 재적용하여 시간 오차를 보정하거나, 가장 인접된 1순위 영상 장비(20)의 상기 최적 포커싱이 급변함을 통해 촬영 시야가 장애물 등으로 가리게 되어 객체(10)를 촬영할 수 없는 경우로 판단될 때 그 다음 인접된 영상 장비(20)를 선택하거나 상기 1순위 영상 장비(20)에 근접한 복수의 다른 영상 장비(20)를 선택하여 객체(10)의 최적의 영상을 제공하도록 하는 보정 알고리즘을 통해 상기 영상 장비(20)의 제어를 위한 보정값을 산출하여 적용되도록 할 수 있어서 선박과 같이 이동중인 객체(10)에 대해서도 지속적인 상기 보정값이 실시간으로 적용되는 것이므로 실시간으로 직접 육안 확인하는 것과 같이 정확하고, 용이한 관제가 가능하게 되는 것이다.
이러한 연산부(33)의 각 알고리즘에 대해 구체적으로 예를 들어 설명하면, 우선 영상 장비(20)와 표적이 되는 객체(10)의 상대적인 위치 및 방향은 각각의 위도, 경도 및 고도 정보를 이용하며, 직각 좌표계를 사용하는 영상 장비(20)의 좌표계와 위도, 경도로 위치 정보가 입력되는 표적이 되는 객체(10)의 좌표계를 연동하기 위해 영상 장비(20)가 바라보는 표적이 되는 객체(10)의 위치는 북쪽 방향(N)을 y축, 동쪽 방향(E)을 x축, 그리고 이들의 수직 방향을 z축으로 하는 매핑된 좌표계를 이용한다.
또한 영상 장비(20)의 팬 각도(
Figure 112010062067455-pat00001
)는 (x, y) 평면에서 북쪽방향(N)을 기준으로 시계방향의 각도(degree 또는 radian)로 나타내며, 영상 장비(20)의 틸트 각도(
Figure 112010062067455-pat00002
)는 수평선과, 영상 장비(20)와 표적(객체(10))을 잇는 선이 이루는 각도로, 수평선 아래 방향이 양(+)의 틸트 방향이며, 수평선 위쪽 방향이 음(-)의 틸트 방향이다.
그리고 이러한 영상 장비(20)의 촬영 방향은 팬과 틸트로 결정되므로 영상 장비(20)와 표적이 되는 객체(10)의 위치 정보가 각각 위경도 좌표로 주어졌을 때 팬, 틸트 각도를 구하는 방법을 기술하기 위하여 다음과 같은 파라미터를 정의할 수 있다.
- 영상장비의 위도: Lat_Cam
- 영상장비의 경도: Lon_Cam
- 영상장비의 고도: Alt_Cam
- 표적의 위도: Lat_Target
- 표적의 경도: Lon_Target
- 표적의 고도: Alt_Target
또한 영상 장비(20)와 표적(객체(10)) 사이의 위도 및 경도의 차가 1도로 가정할 때 영상 장비(20)와 표적 사이의 거리는 각각 다음과 같다.
- 위도 1도 사이의 거리 (m) : MperLat 110821
- 경도 1도 사이의 거리 (m) : MperLon 91099(위도 35도)
이러한 영상장비와 표적의 좌표로부터 영상 장비(20)와 표적 사이의 수평 x축 거리(dist_x)와 수평 y축 거리(dist_y)는 다음의 식을 이용하여 구할 수 있다.
dist_x = (Lon_Cam- Lon_Target) * MperLon ------ 식 (A.1)
dist_y = (Lat_Cam- Lat_Target) * MperLat ------ 식 (A.2)
이 두 거리로부터 영상 장비(20)와 표적 사이의 수평거리(dist)는 다음의 식(A.3)을 이용하여 구할 수 있는 것이다.
dist = sqrt( dist_x2 +dist_y2 ) ---------- 식 (A.3)
또한 도 4를 참조하며 상기 x축 거리(dist_x)와 수평거리(dist)를 이용하여 팬의 각도를 결정하는 방법을 설명하면 팬 각도는 영상 장비(20)와 진북 방향(N)을 잇는 직선과 영상 장비(20)와 표적을 잇는 직선이 이루는 각도
Figure 112010062067455-pat00003
이며, 식(A.4)를 이용하여 산출할 수 있다.
θ = sin-1(dist_x/dist) (만약 dist_x > dist_y 경우) ---- 식 (A.4)
(참고적으로 1/4 분면에 표적이 위치할 경우
θ = sin-1(dist_x/dist) if (dist_x > dist_y)
θ = cos-1(dist_y/dist) if (dist_y > dist_x)
2/4 분면에 표적이 위치할 경우
θ = cos-1(dist_x/dist) if (dist_x > dist_y) + pi*3/2
θ = sin-1(dist_y/dist) if (dist_y > dist_x) + pi*3/2
3/4 분면에 표적이 위치할 경우
θ = cos-1(dist_y/dist) if (dist_x > dist_y) + pi
θ = sin-1(dist_x/dist) if (dist_y > dist_x) + pi
4/4 분면에 표적이 위치할 경우
θ = cos-1(dist_x/dist) if (dist_x > dist_y) + pi/2
θ = sin-1(dist_y/dist) if (dist_y > dist_x) + pi/2)
아울러 영상 장비(20)와 표적 사이의 틸트를 구하기 위해서는 도 5로 도시한 바와 같이, 영상 장비(20)와 표적 사이의 높이정보가 필요한데, 영상 장비(20)와 표적 사이의 높이(dist_z)는 식(A.5)를 이용하여 산출할 수 있다.
dist_z = Alt_Target(표적 높이) - Alt_Cam(영상 장비(20) 높이) 식(A.5)
따라서 영상 장비(20)와 표적사이의 틸트 각도
Figure 112010062067455-pat00004
는 식(A.6)과 같다.
Ω = tan-1( dist_z / dist ) ----------------- 식 (A.6)
이러한 계산식에 의해 영상 장비(20)의 팬 각도(
Figure 112010062067455-pat00005
)와 틸트 각도(
Figure 112010062067455-pat00006
)를 산출할 수 있게 되는 것이고, 이러한 각 각도값에 따라 팬, 틸트를 제어하기 위한 파라미터를 산출하기 위해서는 기준이 필요하게 되므로 영상 장비(20)의 촬영 방향이 수평일 때의 틸트 수치(TiltTick)를 기준으로 하는 틸트 수평 기준 수치(HorizonTick)와 영상 장비(20)의 촬영 방향이 북쪽을 향하고 있을 때의 팬 수치(PanTick)를 기준으로 하는 팬 북향 기준 수치(NorthTick)를 설정하여야 하며, 이를 설정하기 위해서는 여러번의 실측 데이터가 필요하게 된다.
영상 장비(20)의 설치 위치 정보(위경도)가 주어졌을 때 실측 데이터들은 기준 수치 설정을 위한 위치가 정해진 n개의 타겟(TargetLat[i], TargeLon[i], i=1,2,...,n)을 향한 영상 장비(20)의 각 팬 수치(TargetPan[i], i=1,2,...,n) 및 팬 각도(
Figure 112010062067455-pat00007
)를 실측하고, 다음 식에 의해 팬 북향 기준 수치(NorthTick)를 산출할 수 있다.
NorthTick[i] = PanTick[i] - PANTICKperRAD *
Figure 112010062067455-pat00008
[i] 식 (A.7)
여기에서 PanTick[i] = TargetPan[i] 이며,
PANTICKperRAD는 팬의 1 radian 이동에 해당하는 팬 수치로 영상 장비(20)가 한 바퀴 회전할 때 팬 수치를 (2*pi)로 나눈 값이다.
그리고 상기 타겟에 대한 위경도(TargetLat[i], TargeLon[i], i=1,2,...,n), 고도(TargetAlt[i], i=1,2,...,n), 틸트 각도(
Figure 112010062067455-pat00009
[i], i=1,2,...,n) 및 틸트 수치(TargetTilt[i], i=1,2,...,n)를 이용하여 틸트 수평 기준 수치(HorizonTick)를 산출하는 수식은 다음과 같다.
HorizonTick[i] = TiltTick[i] - TiltTickPerRad *
Figure 112010062067455-pat00010
[i] 식 (A.8)
여기에서 TiltTick[i] = TargetTilt[i] 이며,
TiltTickPerRad는 틸트의 1 radian 이동에 해당하는 틸트 수치로 틸팅되는 틸트 수치의 차이를 틸트 각도의 차이로 나눈 비율로 산출할 수 있다.
따라서 선택된 상기 객체(10)(표적)의 최적 영상을 촬영하기 위하여 영상 장비(20)의 촬영 방향을 제어하는 알고리즘은 식 (A.1) 내지 식 (A.6)을 이용하여 팬 각도(
Figure 112010062067455-pat00011
)와 틸트 각도(
Figure 112010062067455-pat00012
)를 산출하고, 식 (A.7)과 식 (A.8)로부터 산출하여 저장된 틸트 수평 기준 수치(HorizonTick)와 팬 북향 기준 수치(NorthTick)를 다음 식에 적용하여 팬, 틸트의 제어 파라미터(Pan_Tick, Tilt_Tick)를 산출하여 제어할 수 있게 되는 것이다.
Tilt_Tick = HorizonTick + Omega * TiltTickPerRad
Pan_Tick = NorthTick + Theta * PanTickPerRad 식 (A.9)
또한 줌 배율은 최대 줌배율과 최소 줌배율 사이의 값을 갖되, 이 범위 안에서 거리에 비례하는 줌 배율을 갖게 되는 것이며, 이러한 줌배율은 다음과 같이 나타낼 수 있다.
Zoom = LowZoom + (HiZoom -LowZoom )
/(HiDist-LowDist)*(Dist - LowDist ) ---------- 식 (B.1)
여기에서
LowZoom은 최소 줌 배율,
HiZoom 은 최대 줌 배율,
HiDist는 최대 줌 배율의 초점 거리,
LowDist는 최소 줌 배율의 초점 거리,
Dist는 영상 장치와 표적 사이의 거리이다.
또한 전술한 디스플레이(40)는 관제하고자 하는 객체(10)의 선택을 용이하게 하기 위하여 관제하는 지역에 존재하는 모든 객체(10)들을 지도상에 기호로 표시할 수 있고, 표시된 객체(10)들 중 상기 운영자가 관제하고자 하는 객체(10)를 선택하면, 상기 연산부(33) 및 제어부(34)를 통해 상기 영상 장비(20)로부터 상기 객체(10)의 최적 영상을 전송받아 표시하는 것이며, 국토공간정보, 전자해도와 같은 지도상에 상기 객체(10)와 선별된 영상 장비(20)의 위치를 표시하는 이미지와 함께 상기 객체(10)에 대한 최적의 거점 영상을 표시할 수도 있어서, AIS 신호와 지도 데이터에 의한 2차원적 관제 데이터에 추가적으로 육안으로 보는 것과 같은 영상 데이터를 더하여 3차원적 관제 데이터를 제공하게 되는 것이다. 이러한 디스플레이(40)는 상기 서버(30)의 제어부(34)와 연결된 모니터일 수 있고, 상기 서버(30)에 네트워크를 통해 접속된 권한 있는 클라이언트일 수 있다. 이를 도 6으로 예시하였으며, 상기 운영자는 관제하고자 하는 객체(10)를 선택할 때 연속적인 동영상 또는 단기적인 스틸 영상 중 어느 하나를 선택할 수 있도록 하는 기능 선택이 가능하여 상기 영상 장비(20)에서 연속촬영화면과 단기촬영화면 중 어느 하나를 송출하도록 하는 것이 가능하다.
이와 같은 본 발명에 의한 거점적 최적 영상 관제 시스템을 이용한 거점적 최적 영상 관제 방법은 도 2에서 보는 바와 같이, 거점 촬영이 가능한 영상 장비(20)의 설치 위치, 고유 ID, 감시 범위 등의 영상 장비(20) 정보와 관제의 대상이 되는 객체(10)의 종류, 크기, 위치, 진로 등과 같은 객체(10) 정보가 서버(30)의 거점정보DB(32)와 객체정보DB(31)에 각각 저장되는 정보 저장 단계(S10)와,
상기 서버(30)의 연산부(33)가 상기 정보 저장 단계(S10)에서 저장된 상기 객체(10) 정보 중 관제를 위한 객체(10)의 위치정보를 기준으로 설비된 상기 영상 장비(20) 중 최적의 화면 송출이 가능한 영상 장비(20)를 찾는 선별 단계(S20)와,
상기 선별 단계(S20)를 통해 선택된 영상 장비(20)를 제어하여 상기 객체(10)에 대한 최적의 영상 정보를 획득하기 위해 상기 연산부(33)가 상기 영상 장비(20)의 제어값을 산출하는 연산 단계(S30)와,
상기 연산 단계(S30)의 결과에 따라 상기 서버(30)의 제어부(34)가 상기 영상 장비(20)를 제어하여 상기 객체(10)에 대한 최적의 영상 정보를 획득하고, 디스플레이(40)를 통해 표시하는 제어 단계(S40)로 구성될 수 있다.
여기에서 전술한 선별 단계(S20)는 상기 객체(10)의 위치 정보를 기준으로 인접된 영상 장비(20) 중 시간에 따른 태양의 위치, 표적인 되는 객체(10)와 영상 장비(20) 사이의 장애물로 인하여 오토 포커싱이 불안정하거나 포커싱의 변화 폭이 클 때를 고려하여 최적의 화면 송출이 가능한 영상 장비(20)를 선별하는 단계이며, 이러한 선별 단계(S20)는 상기 서버(30)가 상기 객체정보DB(31)로부터 관제하고자 하는 객체(10)의 위치정보를 입력받아 상기 거점정보DB(32)를 통해 상기 객체(10)의 위치에 가장 인접한 1순위 영상 장비(20)를 선별하는 인접 선별 단계와,
상기 인접 선별 단계를 통해 선별된 영상 장비(20)로부터 입력받는 영상의 포커싱이 급변할 때 차순위 영상 장비(20)를 선별하는 차순위 선별 단계와,
상기 인접 선별 단계를 통해 선별된 영상 장비(20)로부터 입력받는 영상의 포커싱이 급변할 때 상기 1순위 영상 장비(20)에 근접한 둘 이상의 영상 장비(20)를 복수로 선별하는 복수 선별 단계로 구성될 수 있고,
상기 인접 선별 단계를 통해 최적의 화면 송출이 불가능할 경우 차순위 선별 단계를 반복하거나 복수 선별 단계를 반복하도록 구성할 수 있음은 물론이다.
또한 전술한 연산 단계(S30)는 상기 선별 단계(S20)의 결과에서 선택 된 영상 장비(20)가 객체(10)의 위치 정보에 매칭 되는 위치를 촬영할 수 있도록 상기 영상 장비(20)의 촬영 방향, 각도, 줌배율, 초점 등을 제어하기 위한 제어값을 산출하는 제어값 산출 단계와,
시간이 지나감에 따라 갱신되는 객체(10)의 위치, 진로 정보를 적용하여 상기 검색 단계와 제어값 산출 단계를 실시하여 시간 오차를 보정하는 보정 단계로 구성될 수 있다.
여기에서 전술한 제어값 산출 단계는 상기 서버(30)에서 상기 선별된 영상 장비(20)의 직각 좌표계와 상기 객체(10)의 위치를 나타내는 위경도 좌표계를 일치시키는 좌표계 매핑 단계와,
상기 선별된 영상 장비(20)의 제어를 위한 파라미터의 기준을 설정하기 위해 영상 장비(20)의 촬영 방향이 정북을 향하도록 하는 팬 수치 및 각도(
Figure 112010062067455-pat00013
)와, 수평일때의 틸트 수치 및 각도(
Figure 112010062067455-pat00014
)를 산출하는 기준 파라미터 산출 단계와,
상기 매핑 단계를 통해 일치시킨 직각 좌표계 상의 상기 객체(10) 위치를 상기 영상 장비(20)의 촬영 방향이 향하도록 영상 장비(20)의 팬과 틸트 수치 및 각도(
Figure 112010062067455-pat00015
,
Figure 112010062067455-pat00016
)를 산출하는 촬영 방향값 산출 단계와,
상기 기준 파라미터 산출 단계의 정북 팬 수치 및 각도(
Figure 112010062067455-pat00017
)와 수평일때의 틸트 수치 및 각도(
Figure 112010062067455-pat00018
)를 기준으로 상기 촬영 방향값 산출 단계에서 산출된 객체(10) 위치를 향하도록 하는 영상 장비(20)의 팬과 틸트 수치 및 각도(
Figure 112010062067455-pat00019
,
Figure 112010062067455-pat00020
)로부터 팬, 틸트의 제어 파라미터를 산출하는 제어 파라미터 산출 단계와,
시간이 지나감에 따라 갱신되는 상기 객체(10)의 위치 정보를 상기 촬영 방향값 산출 단계와 제어 파라미터 산출 단계에 적용하여 이동된 객체(10)의 최적 영상을 송출할 수 있도록 하는 제어 파라미터를 산출하는 보정 단계 및,
상기 보정된 제어 파라미터에 의해 변화된 송출영상의 객체가 영상 화면으로 실용 가능한 최적의 비율로 줌인되도록, 상기 영상 장비(20)의 최대 줌배율과 최소 줌배율 사이의 값에서 상기 영상 장비(20)와 객체(10)와의 거리를 상기 식(B.1)에 적용하여 객체(10)의 최적 영상을 송출할 수 있도록 하는 줌배율 값을 산출하는 자동 줌인 단계로 구성될 수 있다.
전술한 제어 단계(S40)는 상기 객체(10) 선택 과정 시 Key값의 입력으로 연속촬영화면 송출 및 단기촬영화면 중 어느 하나를 선택할 수 있도록 구성될 수 있다.
이러한 본 발명에 의한 거점적 최적 영상 관제 방법을 이용하여 영상 관제를 실시하는 예를 도 6 내지 도 9로 도시하였다. 이에서 보는 바와 같이, 상기 정보 저장 단계(S10)를 통해 관제하고자 하는 항만 내의 각 선박들(객체(10))의 AIS신호를 수신하여 상기 객체정보DB(31)에 저장하고, 도 6으로 도시한 바와 같이, 전자해도 상에 표시할 수 있으며, 이러한 전자해도 상에서 관제 하고자하는 선박(객체(10))이 선택되면, 상기 선별 단계(S20), 연산 단계(S30), 제어 단계(S40)를 통해 상기 선박과 가장 인접한 영상 장비(20)가 자동 선택, 연산, 제어되어 도 7과 같이 상기 선박의 영상이 표시되는 것이고, 여기에서 상기 보정단계를 통해 도 8에서 보는 바와 같이, 상기 선박이 표시되는 화면의 중심에 표시되도록 영상 장비(20)의 팬, 틸트 제어가 될 수 있는 것이다.
또한 도 9에서 보는 바와 같이 영상 화면 자체에 수신된 AIS신호를 표시할 수 있음은 물론이다.
이상과 같이, 본 발명은 전술한 실시예에 한정되지 않고, 본 발명이 의도하는 요지 및 개념 내에서 다양하게 변화시켜 실시하는 것이 가능하다.
10:객체 20:영상 장비
30:서버 31:객체정보DB
32:거점정보DB 33:연산부
34:제어부 40:디스플레이
S10:정보 저장 단계 S20:선별 단계
S30:연산 단계 S40:제어 단계

Claims (9)

  1. 팬, 틸트, 줌, 포커싱 등의 최적 영상 획득 기능이 구비되며, 거점 촬영이 가능한 지정 위치에 설치된 영상 장비와, 상기 영상 장비와 유, 무선 네트워크로 연결되어 영상 장비의 제어가 가능하며, 관제의 대상이 되는 객체로부터 객체 정보를 수신하고, 수신된 객체 정보에 의해 상기 객체에 가장 근접한 영상 장비를 찾아 제어하여 관제하는 서버와, 상기 서버의 관제 정보 및 영상을 표시하는 디스플레이로 구성되되,
    상기 서버는 관제하고자 하는 상기 객체의 종류, 크기, 위치, 진로 등과 같은 객체 정보가 수신되어 저장되는 객체정보DB와,
    각 거점별로 상기 영상 장비의 설치 위치, 고유 ID, 감시 범위 등의 영상 장비 정보가 저장된 거점정보DB와,
    상기 객체정보DB에서의 관제하고자 하는 객체의 위치정보와 가장 인접한 영상 장비를 거점정보DB에서 선별하고, 상기 객체에 대한 최적의 영상을 획득할 수 있도록 선별된 영상 장비의 제어값 및 시간 오차 등의 보정값을 산출하는 연산부와,
    상기 연산부의 제어값 및 보정값에 의해 상기 영상 장비를 제어하여 상기 객체에 대한 최적의 거점 영상을 획득하여 상기 디스플레이를 통해 디스플레이 되도록 하는 제어부로 구성됨을 특징으로 하는 거점적 최적 영상 관제 시스템.
  2. 제 1항에 있어서,
    전술한 연산부는 지도 정보를 바탕으로 상기 객체의 위치정보와 영상 장비 정보를 검증하여 상기 객체와 가장 인접된 영상 장비 정보를 갱신하고, 상기 객체의 이동 위치, 속도 및 방향을 고려하여 상기 영상 장비의 제어를 위한 보정값을 산출함을 특징으로 하는 거점적 최적 영상 관제 시스템.
  3. 제 1항에 있어서,
    전술한 디스플레이는 지도상에 상기 객체와 선별된 영상 장비의 위치를 표시하는 지도 이미지를 상기 객체에 대한 최적의 거점 영상 위에 함께 표시함을 특징으로 하는 거점적 최적 영상 관제 시스템.
  4. 거점 촬영이 가능한 영상 장비의 영상 장비 정보와 관제의 대상이 되는 객체의 객체 정보가 서버의 거점정보DB와 객체정보DB에 각각 저장되는 정보 저장 단계와,
    상기 서버의 연산부가 상기 정보 저장 단계에서 저장된 상기 객체 정보 중 관제를 위한 객체의 위치정보를 기준으로 설비된 상기 영상 장비 중 최적의 화면 송출이 가능한 영상 장비를 찾기 위하여 상기 객체의 위치에 가장 인접한 1순위 영상 장비를 선별하는 인접 선별 단계와, 상기 인접 선별 단계를 통해 선별된 영상 장비로부터 입력받는 영상으로 관제가 불가능할 때 차순위 영상 장비를 선별하는 차순위 선별 단계로 구성된 선별 단계와,
    상기 선별 단계를 통해 선택된 영상 장비를 제어하여 상기 객체에 대한 최적의 영상 정보를 획득하기 위해 상기 연산부가 상기 영상 장비의 제어값을 산출하는 연산 단계와,
    상기 연산 단계의 결과에 따라 상기 서버의 제어부가 상기 영상 장비를 제어하여 상기 객체에 대한 최적의 영상 정보를 획득하고, 디스플레이를 통해 표시하는 제어 단계로 구성됨을 특징으로 하는 청구범위 제 1항의 거점적 최적 영상 관제 시스템을 이용한 거점적 최적 영상 관제 방법.
  5. 제 4항에 있어서,
    전술한 선별 단계는 상기 서버가 상기 객체정보DB로부터 관제하고자 하는 객체의 위치정보를 입력받아 상기 거점정보DB를 통해 상기 객체의 위치에 가장 인접한 1순위 영상 장비를 선별하는 인접 선별 단계와,
    상기 인접 선별 단계를 통해 선별된 영상 장비로부터 입력받는 영상의 포커싱이 급변할 때 차순위 영상 장비를 선별하는 차순위 선별 단계와,
    상기 인접 선별 단계를 통해 선별된 영상 장비로부터 입력받는 영상의 포커싱이 급변할 때 상기 1순위 영상 장비에 근접한 둘 이상의 영상 장비를 복수로 선별하는 복수 선별 단계로 구성됨을 특징으로 하는 청구범위 제 1항의 거점적 최적 영상 관제 시스템을 이용한 거점적 최적 영상 관제 방법.
  6. 제 4항에 있어서,
    전술한 연산 단계는 상기 서버에서 상기 선별된 영상 장비의 직각 좌표계와 상기 객체의 위치를 나타내는 위경도 좌표계를 일치시키는 좌표계 매핑 단계와,
    상기 선별된 영상 장비의 제어를 위한 파라미터의 기준을 설정하기 위해 영상 장비의 촬영 방향이 정북을 향하도록 하는 팬 수치 및 각도(
    Figure 112010062067455-pat00021
    )와, 수평일때의 틸트 수치 및 각도(
    Figure 112010062067455-pat00022
    )를 산출하는 기준 파라미터 산출 단계와,
    상기 매핑 단계를 통해 일치시킨 직각 좌표계 상의 상기 객체 위치를 상기 영상 장비의 촬영 방향이 향하도록 영상 장비의 팬과 틸트 수치 및 각도(
    Figure 112010062067455-pat00023
    ,
    Figure 112010062067455-pat00024
    )를 산출하는 촬영 방향값 산출 단계와,
    상기 기준 파라미터 산출 단계의 정북 팬 수치 및 각도(
    Figure 112010062067455-pat00025
    )와 수평일때의 틸트 수치 및 각도(
    Figure 112010062067455-pat00026
    )를 기준으로 상기 촬영 방향값 산출 단계에서 산출된 객체 위치를 향하도록 하는 영상 장비의 팬과 틸트 수치 및 각도(
    Figure 112010062067455-pat00027
    ,
    Figure 112010062067455-pat00028
    )로부터 팬, 틸트의 제어 파라미터를 산출하는 제어 파라미터 산출 단계로 구성됨을 특징으로 하는 청구범위 제 1항의 거점적 최적 영상 관제 시스템을 이용한 거점적 최적 영상 관제 방법.
  7. 제 6항에 있어서,
    전술한 연산 단계는 시간이 지나감에 따라 갱신되는 상기 객체의 위치 정보를 상기 촬영 방향값 산출 단계와 제어 파라미터 산출 단계에 적용하여 이동된 객체의 최적 영상을 송출할 수 있도록 하는 제어 파라미터를 산출하는 보정 단계가 구성된 것임을 특징으로 하는 청구범위 제 1항의 거점적 최적 영상 관제 시스템을 이용한 거점적 최적 영상 관제 방법.
  8. 제 7항에 있어서,
    전술한 연산 단계는 상기 보정된 제어 파라미터에 의해 변화된 송출영상의 객체가 영상 화면으로 실용 가능한 최적의 비율로 줌인되도록, 상기 영상 장비의 최대 줌배율과 최소 줌배율 사이의 값을 상기 최대 줌배율과 최소 줌배율의 각 초점거리의 차이로 나누고,
    상기 영상 장비와 객체 사이의 거리에서 상기 최소 줌배율의 초점거리를 뺀 값으로 곱하며, 상기 최소 줌배율을 더하여 상기 객체의 최적 영상을 송출할 수 있도록 하는 줌배율 값을 산출하는 자동 줌인 단계가 구성된 것임을 특징으로 하는 청구범위 제 1항의 거점적 최적 영상 관제 시스템을 이용한 거점적 최적 영상 관제 방법.
  9. 제 4항에 있어서,
    전술한 제어 단계는 상기 객체 선택 시 입력된 Key값에 따라 연속촬영화면 송출과 단기촬영화면 송출 중 어느 하나가 선택적으로 표시되도록 함을 특징으로 하는 청구범위 제 1항의 거점적 최적 영상 관제 시스템을 이용한 거점적 최적 영상 관제 방법.
KR1020100093424A 2010-09-27 2010-09-27 거점적 최적 영상 관제 시스템 KR101012281B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100093424A KR101012281B1 (ko) 2010-09-27 2010-09-27 거점적 최적 영상 관제 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100093424A KR101012281B1 (ko) 2010-09-27 2010-09-27 거점적 최적 영상 관제 시스템

Publications (1)

Publication Number Publication Date
KR101012281B1 true KR101012281B1 (ko) 2011-02-08

Family

ID=43777062

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100093424A KR101012281B1 (ko) 2010-09-27 2010-09-27 거점적 최적 영상 관제 시스템

Country Status (1)

Country Link
KR (1) KR101012281B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101048508B1 (ko) 2011-04-11 2011-07-11 (주)에디넷 스마트디바이스를 이용한 실시간 항만 영상 관제 시스템 및 그 방법
KR101186952B1 (ko) * 2011-12-09 2012-09-28 (주)아이엔아이 Ｖｔｓ와 연계한 지능형 영상 객체 인식 선박 관제 정보시스템
KR101270145B1 (ko) * 2011-10-25 2013-05-31 경기대학교 산학협력단 위치정보를 이용한 감시카메라 영상 취득 장치 및 방법
KR20160087444A (ko) * 2015-01-13 2016-07-22 경기대학교 산학협력단 스마트 관제 시스템, 방법 및 컴퓨터 프로그램
KR20180009570A (ko) * 2016-07-19 2018-01-29 한화테크윈 주식회사 목표물의 위치가 지도상에 디스플레이되는 감시 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100567267B1 (ko) * 2003-10-02 2006-04-03 한국전자통신연구원 대상물 관리를 위한 실시간 영상정보 제공시스템 및 그방법
KR100954375B1 (ko) * 2008-05-06 2010-04-26 (주) 티앤엑스시스템즈 지능형 영상 감시 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100567267B1 (ko) * 2003-10-02 2006-04-03 한국전자통신연구원 대상물 관리를 위한 실시간 영상정보 제공시스템 및 그방법
KR100954375B1 (ko) * 2008-05-06 2010-04-26 (주) 티앤엑스시스템즈 지능형 영상 감시 시스템

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101048508B1 (ko) 2011-04-11 2011-07-11 (주)에디넷 스마트디바이스를 이용한 실시간 항만 영상 관제 시스템 및 그 방법
KR101270145B1 (ko) * 2011-10-25 2013-05-31 경기대학교 산학협력단 위치정보를 이용한 감시카메라 영상 취득 장치 및 방법
KR101186952B1 (ko) * 2011-12-09 2012-09-28 (주)아이엔아이 Ｖｔｓ와 연계한 지능형 영상 객체 인식 선박 관제 정보시스템
KR20160087444A (ko) * 2015-01-13 2016-07-22 경기대학교 산학협력단 스마트 관제 시스템, 방법 및 컴퓨터 프로그램
KR101678119B1 (ko) 2015-01-13 2016-11-22 경기대학교 산학협력단 스마트 관제 시스템, 방법 및 컴퓨터 프로그램
KR20180009570A (ko) * 2016-07-19 2018-01-29 한화테크윈 주식회사 목표물의 위치가 지도상에 디스플레이되는 감시 시스템
KR102470464B1 (ko) * 2016-07-19 2022-11-24 한화테크윈 주식회사 목표물의 위치가 지도상에 디스플레이되는 감시 시스템

Similar Documents

Publication Publication Date Title
US8508595B2 (en) Surveillance camera system for controlling cameras using position and orientation of the cameras and position information of a detected object
EP3021078B1 (en) Geodetic surveying system with virtual camera
US9253453B2 (en) Automatic video surveillance system and method
CN108574822B (zh) 一种实现目标跟踪的方法、云台摄像机和监控平台
KR101012281B1 (ko) 거점적 최적 영상 관제 시스템
US11555671B2 (en) Devices with network-connected scopes for allowing a target to be simultaneously tracked by multiple other devices
KR101842716B1 (ko) 항법 데이터 공유 시스템 및 항법 기기
US20020196248A1 (en) Method and system for improving situational awareness of command and control units
CN113424012B (zh) 具有网络连接瞄准镜以允许多个其他装置同时跟踪目标的车载装置
EP3911968B1 (en) Locating system
AU2009260182A1 (en) Spatial predictive approximation and radial convolution
KR100963680B1 (ko) 원격 표적의 좌표 측정 장치 및 방법
CN111163263B (zh) 一种采用位置投影方式实现相机目标联动跟踪的方法
JP2016118995A (ja) 監視システム
JP6639195B2 (ja) 船舶監視装置
JP3560040B2 (ja) 監視用ｉｔｖカメラの制御方法
KR101124267B1 (ko) 휴대용 디바이스를 이용한 현장 영상 관제 시스템 및 그 방법
KR102156338B1 (ko) 선박의 통합 모니터링 방법 및 그 장치
JPH0961725A (ja) 観察装置
CN114670981B (zh) 用于控制相机的方法和装置
KR101204082B1 (ko) 감시 카메라 시스템
KR101579193B1 (ko) 초 고배율 카메라 영상 감지장치
CN113053057B (zh) 火点定位系统及方法
CN117850439A (zh) 水下环境探测方法、装置、存储介质及电子设备
CN114650395A (zh) 飞鸟定位方法、装置、系统及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131107

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150108

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160120

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190107

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20200114

Year of fee payment: 10