KR101220884B1 - 스마트폰을 이용한 멀티 관제 시스템 - Google Patents

스마트폰을 이용한 멀티 관제 시스템 Download PDF

Info

Publication number
KR101220884B1
KR101220884B1 KR1020110041615A KR20110041615A KR101220884B1 KR 101220884 B1 KR101220884 B1 KR 101220884B1 KR 1020110041615 A KR1020110041615 A KR 1020110041615A KR 20110041615 A KR20110041615 A KR 20110041615A KR 101220884 B1 KR101220884 B1 KR 101220884B1
Authority
KR
South Korea
Prior art keywords
video
network
image
camera
smart phone
Prior art date
Application number
KR1020110041615A
Other languages
English (en)
Other versions
KR20120123954A (ko
Inventor
곽홍석
Original Assignee
(주)스마트모션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)스마트모션 filed Critical (주)스마트모션
Priority to KR1020110041615A priority Critical patent/KR101220884B1/ko
Publication of KR20120123954A publication Critical patent/KR20120123954A/ko
Application granted granted Critical
Publication of KR101220884B1 publication Critical patent/KR101220884B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

본 발명에 따른 스마트폰을 이용한 멀티 관제 시스템에 관한 것으로서, 특히카메라별 IP 주소가 지정되어 카메라에서 촬영된 원시 영상을 압축 영상으로 변환하여 네트워크 프로토콜로 전송하는 다수의 네트워크 카메라 장치와; 상기 네트워크 카메라 장치와 네트워크 접속하면, 스마트폰용 영상 모니터링 프로그램이 실행되고 사용자 인증 절차를 거쳐 상기 네트워크 카메라 장치에서 전송되는 압축 영상이 화면 출력되며, 영상 감시, 음성 전송, 영상 제어, 외부 센서 감지, 및 지정된 전자기기의 원격 제어 기능을 수행하는 스마트폰으로 이루어진 것을 특징으로 한다.
따라서, 본 발명은 스마트폰을 이용하여 별도의 PC 없이도 네트워크 카메라 장치의 IP 주소를 이용하여 원격지에서 촬영된 원격 감시용 영상을 볼 수 있도록 하여 감시자가 이동 및 현장 활동 중에도 언제, 어디서나 자류롭게 영상 모니터링 및 기타 감시 관련 제반 제어 기능을 수행할 수 있다.

Description

스마트폰을 이용한 멀티 관제 시스템{Multi-conrol system using smart phone}
본 발명은 스마트폰을 이용한 멀티 관제 시스템에 관한 것으로, 더욱 상세하게는 스마트폰을 이용하여 네트워크 카메라 장치의 IP 주소를 이용하여 원격지에서 네트워크 카메라 장치에서 촬영된 원격 감시용 영상을 볼 수 있도록 하여 감시자가 이동 및 현장 활동 중에도 언제, 어디서나 자유롭게 영상 모니터링 및 기타 감시 관련 제반 제어 기능을 수행할 수 있도록 하는 스마트폰을 이용한 멀티 관제 시스템에 관한 것이다.
오늘날 영상 감시 시스템은 복잡하고 빠르게 변화하는 현대 사회에서 인적 혹은 기술적 자원을 보호 또는 감시할 필요성이 증가함에 따라 그 중요성이 나날이 높아져가고 있다. 특히 기업, 관공서 그리고 은행 등의 출입자 감시 및 증거물 확보를 위해서 비약적으로 영상 감시 시스템의 활용이 증가되고 있다.
이러한 영상 감시 시스템의 보안 성능은 그 시스템의 자동화성과 시스템의 결과로 얻어지는 영상으로 나타난다. 자동화성은 점차 감시구역이 나날이 넓어져 가고 복잡해져 가는 것과 모든 감시영역을 감시자가 지켜봐야 하는 초기 보안 및 감시 시스템의 문제점에서 그 필요성이 대두 되었다.
일반적인 영상 감시 시스템은 해당 감시구역을 많은 수의 고정식 카메라들로 구성하여 침입자를 감시하고 있다. 이러한 영상 감시 시스템의 구조는 각 고정식 카메라 별 움직임 대상 감지가 제한된 개수의 고정식 카메라의 제한적인 시야 내에서 가능하므로 전체적인 감시 시스템의 움직임 감지 자동화를 이루기에 어려움이 많은 구조이다.
한편, 디지털 영상 신호 처리 장치는 디지털 비디오 압축 기술을 바탕으로 기존의 아날로그 방식의 VCR(Video Cassette Recorder)을 대체하여 보안 감시 분야에서 각광을 받고 있다. 이러한 디지털 영상 신호 처리 장치는 CCTV(Closed Caption Television) 카메라 영상을 디지털화하여 압축하고 저장매체에 저장하는 장치로 녹화된 영상을 관리하고 검색하기 쉽고, 원격지에서도 화면을 감시할 수 있으며, 복수개의 카메라들(10-1 ~ 10-16N)로부터 촬영된 영상 신호를 동시에 캡쳐 또는 녹화가 가능한 장점을 가지고 있다.
또한 여러 개의 카메라 영상을 1대의 모니터로 분할하여 감시할 수 있는 다중 채널 영상 모니터링 기능으로 여러 장소를 동시에 감시가 가능하다.
도 1을 참조하여 종래의 기술에 따른 디지털 비디오 레코더를 사용한 원격 영상 감시 시스템의 각 블록들의 기능을 설명하면 다음과 같다.
감시 장치(10)는 복수개의 원격 감시 카메라들(10-1 ~ 10-16N)을 통해 감시 구역 내의 영상을 촬영하여 복수 개의 영상 감시 데이터를 출력하고, 로컬 감시 단말기(20)는 감시 장치(10)로부터 출력된 영상 신호를 인가받아 복수 개의 디지털 비디오 레코더들(20-1 ~ 20-N)을 통해 각각 디지털 영상 신호로 변환한다.
그리고, 디스플레이부(60)는 통신망을 통해 로컬 감시 단말기(20)에 접속되어 선택된 소정의 디지털 비디오 레코더에 연결된 감시 장치(10) 내 카메라를 통해 촬영되고 로컬 감시 단말기(20)에 전달되어 저장된 디지털 영상 신호를 인가받아 아날로그 영상 신호로 변환하여 복수 개의 주 모니터들(31-1 ~ 3N-1)과 복수 개의 스팟 모니터들(31-2 ~ 3N-2)에서 출력한다.
한편, 원격 제어부(40)는 디스플레이부(30)에서의 영상 감시자가 필요로 하는 영상 데이터를 소정의 카메라로부터 얻기 위하여 입력하는 입력에 따라 소정의 카메라에 연결된 디지털 비디오 레코더를 선택하는 제어 신호(CON)를 출력한다.
여기서, 감시 장치(10) 내 모든 복수 개의 카메라들(10-1~ 10-16N)은 RS485 통신 규약으로 로컬 감시 단말기(20)에 연결되어 있는데, 이는 컴퓨터가 외부와의 통신을 할 때 직렬 통신을 하는 방식으로서 기존의 전화선과 같은 통신 선로를 활용하여 하나의 신호를 두 가닥의 신호선에 서로 역상으로 전송하는 방식이다.
또한, 디스플레이부(30) 내 복수 개의 주 모니터들(31-1 ~ 3N-1) 각각은 복수 개의 디지털 비디오 레코더들(20-1~ 20-N)에서 변환되어 저장된 디지털 영상 신호 데이터를 인가받아 한 개의 화면 또는 4개, 9개, 16개의 화면 등으로 분할한 후에 영상 감시자의 선택에 따라 복수 개의 화면을 동시에 볼 수 있다. 이때 각 화면 상에는 해당 영상 감시 신호를 전송한 감시 장치(10) 내 카메라의 번호, 녹화 시간 및 녹화 상태 등의 정보도 함께 디스플레이 된다.
복수개의 스팟 모니터들(31-2 ~ 3N-2)은 감시 장치(10) 내 복수개의 카메라들(10-1 ~ 10-16N)의 영상 감시 신호를 그대로 출력시켜 한 개의 화면 전체에 디스플레이 시켜준다.
이와 같이, 종래 기술에 의한 디지털 비디오 레코더를 사용한 원격 영상 감시 시스템은 감시자가 특정한 원격 감시 카메라(10-17)에서 취득한 영상 데이터를 주모니터를 통해 출력하고자 할 경우에, 감시 장치(10) 내 64개의 카메라들은 일단 모든 감시 구역 내의 영상 신호를 촬영하여 모든 감시 데이터를 출력한다.
그리고, 로컬 감시 단말기(20)는 감시 장치(10)로부터 출력된 감시 데이터를 인가받아 4개의 디지털 비디오 레코더들(20-1 ~ 20-4)을 통해 각각 디지털 데이터로 변환한 후에 출력한다.
만일, 영상 감시자가 소정의 감시 공간 내에 있는 디스플레이부(60)에서 주 모니터를 통하여 특정한 원격 감시 카메라(10-17)로부터 감시 데이터를 얻기 원한다면 원격 제어부(40)를 통해 원격 감시 카메라(10-17)에 연결된 디지털 비디오 레코더(DVR2)를 선택하기 위한 제어 신호(CON)를 로컬 감시 단말기(20)에 출력하도록 한다.
로컬 감시 단말기(20)는 제어 신호(CON)의 제어에 의해 선택된 디지털 비디오 레코더(DVR2)를 통해 변환된 디지털 감시 데이터 중에서 제17 카메라(10-17)에서 출력한 감시 데이터만을 디스플레이부(60) 내 주 모니터(32-1)에 자동으로 전달한다.
하지만, 종래 기술에 따른 디지털 비디오 레코더를 사용한 원격 영상 감시 시스템은 영상 감시자가 감시 영역 내 카메라를 제어하는데 있어서 간접적으로 디지털 비디오 레코더를 한 단계 더 거치기 때문에 카메라의 제어 속도가 느려지는 단점이 있다. 이는 복수개 카메라들의 계속적인 제어가 필요한 일반적인 CCTV 영상 관제 시스템에서는 부적합한 문제점이 있었다.
또한, 기존의 CCTV(closed circuit television)와 같은 영상 관제 시스템이나, 많은 경비용역회사들로부터 다양한 방식의 영상 감시 서비스가 제공되고는 있지만, 일반 개인이나 소규모 기업체에서 이용하기에는 비용부담이 크고 신뢰성이 낮으며 특히 사생활 침해 등의 거부감 때문에 큰 호응을 얻지 못하였다.
따라서, 기존에 설치 사용되고 있는 원격 감시카메라를 그대로 이용하면서, 대부분의 사람이 소지하고 있거나 손쉽게 취득할 수 있는 영상전화가 가능한 이동통신단말기를 이용함으로써, 상기 원격 감시카메라에서 획득한 영상을 적절히 신호 변환하여 적어도 하나의 이동통신 단말기 가입자에게 전달할 수 있는 기술에 대한 개발이 요구되고 있다.
그러나, 기존의 이동 통신 단말기나 개인용 단말기(PDA)를 이용한 영상 감시 서비스는 네트워크 통신의 한계와 디지털 CCTV의 동영상 표출에 한계를 가지고 있어, 현재 보급되고 있는 스마트폰을 이용하여 별도의 PC 없이도 네트워크 IP 주소를 이용하여 원격지에서도 영상 감시 서비스를 수행할 수 있도록 하는 기술이 절실히 요구되고 있는 실정이다.
따라서, 본 발명의 목적은 스마트폰을 이용하여 별도의 PC 없이도 네트워크 카메라 장치의 IP 주소를 이용하여 원격지에서 1대 이상의 네트워크 카메라 장치에서 촬영된 원격 감시용 영상을 카메라별, 일자별 등으로 선택하여 볼 수 있도록 하여 감시자가 이동 및 현장 활동 중에도 언제, 어디서나 자유롭게 영상 모니터링 및 기타 감시 관련 제반 제어 기능을 수행할 수 있도록 하는 스마트폰을 이용한 멀티 관제 시스템을 제공하는 것이다.
또한, 본 발명의 목적은 기존의 영상 감시 시스템 및 네트워크 자원을 활용하도록 하여, 설치비, 케이블 비용, 및 유지 비용이 저렴해져 대규모 기업체를 비롯해 일반 개인이나 소규모 기업체에서 이용할 수 있도록 하는 스마트폰을 이용한 멀티 관제 시스템을 제공하는 것이다.
상술한 본 발명의 목적을 달성하기 위한 본 발명에 따른 스마트폰을 이용한 멀티 관제 시스템은, 카메라별 IP 주소가 지정되어 카메라에서 촬영된 원시 영상을 압축 영상으로 변환하여 네트워크 프로토콜로 전송하는 다수의 네트워크 카메라 장치와; 상기 네트워크 카메라 장치와 네트워크 접속하면, 스마트폰용 영상 모니터링 프로그램이 실행되고 사용자 인증 절차를 거쳐 상기 네트워크 카메라 장치에서 전송되는 압축 영상이 화면 출력되며, 영상 감시, 음성 전송, 영상 제어, 외부 센서 감지, 및 지정된 전자기기의 원격 제어 기능을 수행하는 스마트폰으로 이루어진 것을 특징으로 한다.
이때, 본 발명은 상기 네트워크 카메라 장치와 네트워크에 접속하면, 단말기용 영상 모니터링 프로그램이 실행되면서 사용자 인증 절차를 거쳐 상기 네트워크 카메라 장치에서 전송되는 압축 영상이 화면 출력되며, 영상 감시, 음성 전송, 영상 제어, 외부 센서 감지, 및 지정된 전자기기의 원격 제어 기능을 수행하는 영상 통신 단말기를 더 포함하는 것을 특징으로 한다.
여기서, 상기 영상 통신 단말기 또는 스마트폰은 관제 프로그램을 설치하여 다수의 네트워크 카메라 장치를 동시에 관제하도록 하는 것을 특징으로 한다.
또한, 상기 네트워크 카메라 장치는, 이미지 센서에서 입력된 영상을 디지털 영상 신호로 변환 출력하는 카메라 모듈과, 상기 카메라 모듈에서 전송되는 디지털 영상 신호를 이미지 인코딩하여 압축 영상으로 저장한 후, 상기 압축 영상을 네트워크프로토콜로 원격지의 스마트폰이나 영상 통신 단말기에 전송하는 메인 보드를 포함하는 것을 특징으로 한다.
이때, 상기 카메라모듈은 피사체 정보를 감지하여 전기적인 영상 신호로 변환하는 이미지센서와, 적외선 조명을 위한 적외선 LED와, 피사체에서 발산되는 적외선을 검출하는 광검출기와, 카메라 드라이버 디바이스(Camera Driver Device)의 프로그래밍을 통한 커리뷰레이션 값을 통해 상기 디지털 영상 신호를 원래 영상과 동일하도록 화질 및 색상 표현, 자동 화이트 밸런스를 구현하는 디지털 신호 처리기를 포함하는 것을 특징으로 한다.
그리고, 상기 메인 보드는, 통신 프로그램을 실행하여 네트워크에 접속하여 압축 영상을 전송하고, 외부에서 전달되는 사용자 명령에 따라 카메라 모듈 및 제반 기기를 동작시키는 디지털 신호 처리기와, 상기 디지털 신호 처리기의 제어에 의해 선입선출 방식으로 압축 영상을 저장하는 메모리부와, 와이파이(WiFi)와 이더넷(Ethernet) 연결을 위한 네트워크 연결부와, 그래픽 보드, 메모리 모듈, 인터페이스 보드, 확장 보드 중 어느 하나 이상을 전기적으로 연결시키는 확장 소켓과, 외부 센서 및 팬틸트 신호 입출력 인터페이스를 위한 센서 인터페이스부를 포함하는 것을 특징으로 한다.
한편, 상기 디지털 신호 처리기는 상기 압축 영상이 끊김없이 전송될 수 있도록 하는 양방향 음성 및 영상 통신을 위한 코덱을 내부 또는 외부에 설치하는 것을 특징으로 한다.
그리고, 상기 메모리부는 플래시 메모리인 NAND와 SDRAM인 DDR2(Double Data Rate SDRAM)로 이루어진 것을 특징으로 한다.
또한, 상기 스마트폰용 영상 모니터링 프로그램은 배터리의 잔량을 체크하여 배터리의 잔량이 정해진 임계값 이하일 경우에, 비상 전원 모드를 실행하여 사용자에게 충전 지시용 팝업 메시지를 출력하고, 전원 오프(off) 되기 전에 비상 전원으로 일정 시간 동안 영상 모니터링을 실행할 수 있도록 하는 것을 특징으로 한다.
그리고, 상기 네트워크 카메라 장치는, 외부 음을 입력하는 마이크로폰과, 사용자 음성이나 경고음을 출력하는 스피커가 설치되는 것을 특징으로 한다.
상기와 같은 스마트폰을 이용한 멀티 관제 시스템에 따르면, 스마트폰을 이용하여 별도의 PC 없이도 네트워크 IP 주소를 이용하여 원격지에서 촬영된 원격 감시용 영상을 볼 수 있도록 하여 감시자가 이동 및 현장 활동 중에도 언제, 어디서나 자유롭게 영상 모니터링 및 기타 감시 관련 제반 제어 기능을 수행할 수 있고, 네트워크 에러시에도 화상이 완전히 끊어지는 것을 방지하여 신뢰성을 높일 수 있는 효과가 있다.
또한, 본 발명은 기존의 영상 감시 시스템 및 네트워크 자원을 활용하여 별도의 추가 설치공사가 필요 없고, 건물이나 가정 내의 네트워크 케이블을 이용하므로 별도의 케이블 작업이 필요 없을 뿐만 아니라 기존에 운영되는 각종 영상 감시 시스템과 연동 될 수 있어 설치비, 케이블 비용, 및 유지 비용이 저렴해져 대규모 기업체를 비롯하여 일반 개인이나 관공서, 점포 등의 소규모 기업체에서 이용할 수 있는 효과가 있다.
또한, 본 발명은 1대의 네트워크 카메라 장치에서부터 수천 대의 네트워크 카메라 장치까지도 증설할 수 있어 기존의 DVR처럼 채널 수에 구애받지 않아 확장성이 우수할 뿐만 아니라 컴팩트한 제품의 모듈화를 통하여 소형으로 제작될 수 있으며, 카메라 모듈과 메인 보드를 분리되도록 시제품을 개발하여 사용 목적에 따라 유용하게 확장할 수 있도록 하는 효과도 있다.
도 1은 종래의 기술에 따른 디지털 비디오 레코더를 사용한 원격 영상 감시 시스템의 구성이 도시된 블록도이고,
도 2는 본 발명의 실시예에 따른 스마트폰을 이용한 멀티 관제 시스템의 전체 구성도이며,
도 3은 본 발명의 실시예에 따른 네트워크 카메라 장치의 모듈 형상이 도시된 도면이고,
도 4는 본 발명의 실시예에 따른 네트워크 카메라 장치의 상세 구성도이며,
도 5는 본 발명의 실시예에 따른 스마트폰의 영상 모니터링 화면의 일례가 도시된 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한, 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다.
도 2 내지 도 4를 참조하면, 본 발명의 실시예에 따른 스마트폰을 이용한 멀티 관제 시스템은, 다수의 네트워크 카메라별 IP 주소가 지정되고, 각 카메라에서 촬영된 원시 영상을 압축 영상으로 변환하여 네트워크 프로토콜로 전송하는 네트워크 카메라 장치(100)와, 상기 네트워크 카메라 장치(100)와 네트워크 접속하면 스마트폰용 영상 모니터링 프로그램이 실행되고 사용자 인증 절차를 거쳐 상기 네트워크 카메라 장치(100)에서 전송되는 압축 영상이 화면 출력되며, 영상 감시, 음성 전송, 영상 제어, 외부 센서 감지, 및 지정된 전자기기의 원격 제어 기능을 수행하는 스마트폰(200)과, 상기 네트워크 카메라 장치(100)와 네트워크에 접속하면 단말기용 영상 모니터링 프로그램이 실행되면서 사용자 인증 절차를 거쳐 상기 압축 영상의 화면 출력, 영상 감시, 음성 전송, 영상 제어, 외부 센서 감지, 및 지정된 전자기기의 원격 제어 기능을 수행하는 영상 통신 단말기(300)로 이루어진다.
상기 네트워크 카메라 장치(100)는 네트워크 접속 기능이 있는 네트워크 임베디드 카메라로서, FTP(file transfer protocol)을 이용하여 파일을 전송하며, 각각 고유정보를 보유하여 개별적으로 스마트폰(200)이나 영상 통신 단말기(300)와 통신한다. 이때, 네트워크 카메라 장치(100)는 네트워크와 연결하기 위한 게이트웨이로서의 유/무선 IP(internet protocol) 공유기를 포함할 수 있다.
한편, 이동통신사의 기지국(250)은 상기 스마트폰(200)과 네트워크 카메라 장치(100)와의 사이의 통신을 중계하는 이동통신망을 제공한다. 따라서, 상기 스마트폰(200)이 3G 접속시, 이동통신사의 서버와 기지국(250)을 거쳐 스마트폰용 영상 모니터링 프로그램에서 사용자 인증 절차를 거쳐 압축 영상을 보여주게 된다.
상기 영상 통신 단말기(300)는 PC, 노트북, 태블릿 PC, PDA, eBook 단말기 등과 같이 디스플레이 기능, 키입력 기능, 및 통신 기능을 가지는 멀티미디어 통신 기기이다.
상기 영상 통신 단말기(300) 또는 스마트폰(200)에 관제 프로그램이 설치된 경우에, 상기 영상 통신 단말기(300) 또는 스마트폰(200)은 관제 서버 기능을 수행하여 다수의 네트워크 카메라 장치(100)를 동시에 제어 및 관제할 수 있다.
한편, 상기 네트워크 카메라 장치(100)는 이미지 센서(111)에서 입력된 영상을 디지털 영상 신호로 변환 출력하는 카메라 모듈(110)과, 상기 카메라 모듈(110)에서 전송되는 디지털 영상 신호를 이미지 인코딩하여 압축 영상으로 저장한 후, 상기 압축 영상을 네트워크 프로토콜로 원격지의 스마트폰(200)이나 영상 통신 단말기(300)에 전송하는 메인 보드(180)를 포함하지만 이에 한정되지 않는다.
상기 카메라 모듈(110)은 피사체 정보를 감지하여 전기적인 영상 신호로 변환하는 이미지센서(111)와, 적외선 조명을 위한 적외선 LED(113)와, 피사체에서 발산되는 적외선을 검출하는 광검출기(112)와, 카메라 드라이버 디바이스(Camera Driver Device)의 프로그래밍을 통한 커리뷰레이션 값을 통해 상기 디지털 영상 신호를 원래 영상과 가깝도록 화질 및 색상 표현, 자동 화이트 밸런스를 구현하는 디지털 신호 처리기(120)를 포함한다.
이때, 상기 카메라 모듈(110)은 CMOS 이미지 센서와 CCD 이미지 센서를 모두 적용할 수 있다.
또한, 상기 메인 보드(180)는 상기 스마트폰(200)이나 영상 통신 단말기(300)에서 웹브라우저와 같은 인터넷 통신 프로그램을 이용하여 접속하면 압축 영상을 전송하고, 외부에서 전달되는 사용자 명령에 따라 카메라 모듈(110) 및 제반 기기를 동작시키는 디지털 신호 처리기(120)와, 상기 디지털 신호 처리기(120)의 제어에 의해 선입선출 방식으로 압축 영상을 저장하는 메모리부(131, 132)와, 와이파이(WiFi)와 이더넷(Ethernet) 연결을 위한 네트워크 연결부(141, 142)와, 그래픽 보드, 메모리 모듈, 인터페이스 보드, 확장 보드 중 어느 하나 이상을 전기적으로 연결시키는 확장 소켓(150)과, 외부 센서 및 팬틸트 신호 입출력 인터페이스를 위한 센서 인터페이스부(160)를 포함한다.
이때, 상기 센서 인터페이스부(160)에서 인터페이스할 수 있는 외부 센서에는 즉 출입문이나 창문 등의 개폐 감지용 자석 센서나 마이크로 스위치, 인체를 감지하는 적외선 센서나 초음파 센서, 파손을 감지하는 충격 또는 진동 센서일 수 있으며, 또한 위험 요소 감지용으로서 가스, 누전, 화재 등을 감지할 수 있는 어떤 유형의 센서도 포함될 수 있다.
이러한 상기 메인 보드(180)는 네트워크 임베디드 서버 형태로 설계되고, 상기 디지털 신호 처리기(120)는 상기 카메라 모듈(110)과 메인 보드(180)가 별도로 설치하여 사용할 수 있지만, 보드의 소형화 및 회로의 집적화를 위해 1개의 디지털 신호 처리기(120)를 사용할 수도 있다.
또한, 상기 네트워크 카메라 장치(100)는 외부 음을 입력하는 마이크로폰(171)과, 사용자 음성이나 경고음을 출력하는 스피커(172), 및 기타 영상 모니터링 및 경고 등을 위한 추가 설비가 설치될 수 있고, 추가 설비가 설치될 경우에 확장 소켓(150)과 디지털 신호 처리기(120)에 추가 설비에 대한 인터페이스 및 신호 처리 부분을 셋팅하여 설정한다.
한편, 상기 디지털 신호 처리기(120)는 H.264/MJPEG 코덱을 적용하여 양방향 음성 및 영상 통신이 가능하도록 하고, 상기 압축 영상이 끊김없이 전송될 수 있도록 한다.
여기서, H.264 코덱은 ITU-T와 ISO/IEC가 함께 표준화 과정을 진행시켜 개발한 새로운 비디오 압축 표준으로 비디오 애플리케이션의 모든 영역(DVD, 디지털시네마, Low bit rate 무선 애플리케이션 등)에 적용이 가능하다. 특히 상기 디지털 신호 처리기(120)가 H.264 코덱을 적용하면 네트워크 에러 때문에 화상 데이터의 손실이 생길 경우에도 화상이 완전히 끊어지지 않고 화질의 약화만 가져와 네트워크 에러시 향상된 성능을 기대할 수 있다.
그리고, 상기 메모리부(131, 132)는 플래시 메모리인 NAND(131)와 SDRAM인 DDR2(Double Data Rate SDRAM)(131)로 이루어지지만, 확장 소켓(150)에 다른 메모리 모듈을 연결하여 추가할 수 있다.
한편, 상기 스마트폰용 영상 모니터링 프로그램은 영상 해상도 뷰어 알고리즘, 영상 검색 엔진, 사용자 친화적인 GUI(Graphical User Interface) 기능을 실행할 수 있다.
즉, 상기 영상 해상도 뷰어 알고리즘은 320×240, 640×480, 800×600 등의 다양한 모니터링 해상도에 따라 다양한 영상 사이즈를 지원할 수 있고, 영상 검색 엔진은 상기 네트워크 카메라 장치(100)에서 전송되는 압축 영상을 카메라별, 일자별 등으로 선택하여 이동 재생 및 모니터링 할 수 있도록 한다.
또한, 상기 스마트폰용 영상 모니터링 프로그램은 스마트폰(200)의 주제어부, 배터리 체크부, 비상전원부 등과 연동하여, 배터리의 잔량을 체크하여 배터리의 잔량이 정해진 임계값 이하일 경우에, 비상 전원 모드를 실행한다.
상기 비상 전원 모드 실행시, 사용자에게 '배터리를 충전 또는 교체하세요, 5분간 영상 모니터링 프로그램 실행 후 종료됩니다.' 등의 충전 지시용 팝업 메시지를 출력하고, 전원 오프(off) 되기 전에 스마트폰(200)에서 실행중인 다른 프로그램들은 모두 대기시킨 상태에서 상기 스마트폰용 영상 모니터링 프로그램만 실행되도록 하여 비상 전원으로 일정 시간 동안 영상 모니터링을 실행할 수 있도록 한다.
따라서, 사용자는 스마트폰의 배터리가 거의 소진된 상태에서도 현재 진행중인 영상 모니터링 작업을 무사히 끝낼 수 있고, 영상 모니터링 작업을 다른 PC나 영상 통신 단말기(300)로 대체하던지, 신속하게 스마트폰(200)의 배터리를 충전 또는 교체하여 영상 모니터링 작업을 계속 실행할 수 있다.
한편, 상기 카메라 모듈(110)과 메인 보드(180)는 도 3에 도시된 바와 같이 분리되도록 시제품을 개발하여, 사용 목적에 따라 유용하게 확장할 수 있도록 한다.
이하, 본 발명의 실시예에 따른 스마트폰을 이용한 멀티 관제 시스템의 동작에 대해 도면을 참조하여 보다 구체적으로 설명한다.
도 2 내지 도 5를 참조하면, 본 발명의 실시예에 따른 스마트폰을 이용한 멀티 관제 시스템은, 먼저 네트워크 카메라 장치(100)의 메인 보드(180)에 임베디드 서버 프로그램이 포워딩되어 있어 메인 보드(180)가 서버 역할을 수행하면서, 카메라 모듈(110)에서 촬영된 영상을 메인 보드(180)에서 이미지 인코딩으로 압축하여 메모리부(131, 132)에 선입선출 방식으로 저장해둔다.
그리고, 스마트폰(200)에서 상기 네트워크 카메라 장치(100)의 IP로 네트워크 접속을 요청하면, 네트워크 프로토콜을 통해 이더넷 네트워크 연결부(142) 또는 WiFi 네트워크 연결부(141)로 접속한다.
이때, 상기 스마트폰(200)에 설치된 영상 모니터링 프로그램에서 사용자 인증 절차를 수행하여, 사용자 인증이 정상적으로 완료된 사용자에게 상기 네트워크 카메라 장치(100)에서 전송되는 압축 영상을 보여주게 된다.
또한, 도 4 및 도 5에 도시된 바와 같이, 상기 스마트폰(200)의 화면에는 영상 감시, 영상 조작, 메뉴 선택을 위한 화면이 출력되고, 사용자는 영상 조작이나 메뉴 선택 화면에서 자신이 원하는 영상 및 음성 수신뿐만 아니라 영상 녹화, 감시 영상 모니터링 중에 움직임 감지시 문자 알림 기능, 경고음이나 경고방송 출력 기능, 음성 대화 기능, 영상의 상하좌우 이동 기능, 영상의 줌 기능, 마그네틱 센서, 열센서, 적외선 센서, 연기 센서 등의 외부 센서 감지 기능, 원격지에서의 조명 온/오프 기능, 전자 도어락의 오픈/폐쇄 기능을 수행할 수 있다.
한편, PC 등의 영상 통신 단말기(300)를 이용한 영상 모니터링 시에는, 상기 영상 통신 단말기(300)가 네트워크에 연결된 상태에서 상기 네트워크 카메라 장치(100)에 지정된 IP 주소를 입력한 후에 네트워크 카메라 장치(100)에서 단말기용 영상 모니터링 프로그램을 가져와 실행함으로써 영상 보기 기능, 영상 녹화 기능, 음성 대화 기능, 감시 영상 모니터링 중에 움직임 감지시 문자 알림 기능, 경고음이나 경고방송 출력 기능, 영상의 상하좌우 이동 기능, 영상의 줌 기능, 마그네틱 센서, 열센서, 적외선 센서, 연기 센서 등의 외부 센서 감지 기능, 원격지에서의 조명 온/오프 기능, 전자 도어락의 오픈/폐쇄 기능을 수행할 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
본 발명은 스마트폰을 이용한 멀티 관제 시스템에 관한 것으로, 더욱 상세하게는 스마트폰을 이용하여 네트워크 카메라 장치의 IP 주소를 이용하여 원격지에서 네트워크 카메라 장치에서 촬영된 원격 감시용 영상을 볼 수 있도록 하여 감시자가 이동 및 현장 활동 중에도 언제, 어디서나 자류롭게 영상 모니터링 및 기타 감시 관련 제반 제어 기능을 수행할 수 있도록 하는 스마트폰을 이용한 멀티 관제 시스템에 관한 것이다.
100 : 네트워크 카메라 장치 110 : 카메라 모듈
111 : 이미지 센서 112 : 광검출기
113 : IR LED 120 : 디지털 신호 처리기
131, 132 : 메모리부 141, 142 : 네트워크 연결부
150 : 확장 소켓 160 : 센서 인터페이스부
171 : 마이크로폰 172 : 스피커
180 : 메인 보드 200 : 스마트폰
300 : 영상 통신 단말기

Claims (10)

  1. 카메라별 IP 주소가 지정되어 카메라에서 촬영된 원시 영상을 압축 영상으로 변환하여 네트워크 프로토콜로 전송하는 다수의 네트워크 카메라 장치;와
    상기 네트워크 카메라 장치와 네트워크 접속하면, 스마트폰용 영상 모니터링 프로그램이 실행되고 사용자 인증 절차를 거쳐 상기 네트워크 카메라 장치에서 전송되는 압축 영상이 화면 출력되며, 영상 감시, 음성 전송, 영상 제어, 외부 센서 감지, 및 지정된 전자기기의 원격 제어 기능을 수행하는 스마트폰; 및
    상기 네트워크 카메라 장치와 네트워크에 접속하면, 단말기용 영상 모니터링 프로그램이 실행되면서 사용자 인증 절차를 거쳐 상기 네트워크 카메라 장치에서 전송되는 압축 영상이 화면 출력되며, 영상 감시, 음성 전송, 영상 제어, 외부 센서 감지, 및 지정된 전자기기의 원격 제어 기능을 수행하는 영상 통신 단말기;로 이루어진 것을 특징으로 하는 스마트폰을 이용한 멀티 관제 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 영상 통신 단말기 또는 스마트폰은 관제 프로그램을 설치하여 다수의 네트워크 카메라 장치를 동시에 관제하도록 하는 것을 특징으로 하는 스마트폰을 이용한 멀티 관제 시스템.
  4. 제1항에 있어서,
    상기 네트워크 카메라 장치는,
    이미지 센서에서 입력된 영상을 디지털 영상 신호로 변환 출력하는 카메라 모듈, 및
    상기 카메라 모듈에서 전송되는 디지털 영상 신호를 이미지인코딩하여 압축 영상으로 저장한 후, 상기 압축 영상을 네트워크프로토콜로 원격지의 스마트폰이나 영상 통신 단말기에 전송하는 메인 보드를 포함하는 것을 특징으로 하는 스마트폰을 이용한 멀티 관제 시스템.
  5. 제4항에 있어서,
    상기 카메라모듈은
    피사체 정보를 감지하여 전기적인 영상 신호로 변환하는 이미지센서와,
    적외선 조명을 위한 적외선 LED와,
    피사체에서 발산되는 적외선을 검출하는 광검출기와,
    카메라 드라이버 디바이스(Camera Driver Device)의 프로그래밍을 통한 커리뷰레이션 값을 통해 상기 디지털 영상 신호를 원래 영상과 동일하도록 화질 및 색상 표현, 자동 화이트 밸런스를 구현하는 디지털 신호 처리기를 포함하는 것을 특징으로 하는 스마트폰을 이용한 멀티 관제 시스템.
  6. 제4항에 있어서,
    상기 메인 보드는,
    통신 프로그램을 실행하여 네트워크에 접속하여 압축 영상을 전송하고, 외부에서 전달되는 사용자 명령에 따라 카메라 모듈 및 제반 기기를 동작시키는 디지털 신호 처리기와,
    상기 디지털 신호 처리기의 제어에 의해 선입선출 방식으로 압축 영상을 저장하는 메모리부와,
    와이파이(WiFi)와 이더넷(Ethernet) 연결을 위한 네트워크 연결부와,
    그래픽 보드, 메모리 모듈, 인터페이스 보드, 확장 보드 중 어느 하나 이상을 전기적으로 연결시키는 확장 소켓과,
    외부 센서 및 팬틸트 신호 입출력 인터페이스를 위한 센서 인터페이스부를 포함하는 것을 특징으로 하는 스마트폰을 이용한 멀티 관제 시스템.
  7. 제6항에 있어서,
    상기 디지털 신호 처리기는 상기 압축 영상이 끊김없이 전송될 수 있도록 하는 양방향 음성 및 영상 통신을 위한 코덱을 내부 또는 외부에 설치하는 것을 특징으로 하는 스마트폰을 이용한 멀티 관제 시스템.
  8. 제6항에 있어서,
    상기 메모리부는 플래시 메모리인 NAND와 SDRAM인 DDR2(Double Data Rate SDRAM)로 이루어진 것을 특징으로 하는 스마트폰을 이용한 멀티 관제 시스템.
  9. 제1항에 있어서,
    상기 스마트폰용 영상 모니터링 프로그램은 배터리의 잔량을 체크하여 배터리의 잔량이 정해진 임계값 이하일 경우에, 비상 전원 모드를 실행하여 사용자에게 충전 지시용 팝업 메시지를 출력하고, 전원 오프(off) 되기 전에 비상 전원으로 일정 시간 동안 영상 모니터링을 실행할 수 있도록 하는 것을 특징으로 하는 스마트폰을 이용한 멀티 관제 시스템.
  10. 제1항에 있어서,
    상기 네트워크 카메라 장치는, 외부 음을 입력하는 마이크로폰과, 사용자 음성이나 경고음을 출력하는 스피커가 설치되는 것을 특징으로 하는 스마트폰을 이용한 멀티 관제 시스템.
KR1020110041615A 2011-05-02 2011-05-02 스마트폰을 이용한 멀티 관제 시스템 KR101220884B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110041615A KR101220884B1 (ko) 2011-05-02 2011-05-02 스마트폰을 이용한 멀티 관제 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110041615A KR101220884B1 (ko) 2011-05-02 2011-05-02 스마트폰을 이용한 멀티 관제 시스템

Publications (2)

Publication Number Publication Date
KR20120123954A KR20120123954A (ko) 2012-11-12
KR101220884B1 true KR101220884B1 (ko) 2013-01-15

Family

ID=47509475

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110041615A KR101220884B1 (ko) 2011-05-02 2011-05-02 스마트폰을 이용한 멀티 관제 시스템

Country Status (1)

Country Link
KR (1) KR101220884B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101813885B1 (ko) * 2017-07-26 2018-01-03 주식회사 대명코퍼레이션 통신망을 이용한 디지털 영상기기의 원격 제어 시스템 및 그 방법
KR102027256B1 (ko) 2018-03-29 2019-10-01 황보연종 모바일 기반의 화재감시 및 화재경보신호 전송장치 및 그 방법

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101384730B1 (ko) * 2013-11-26 2014-04-14 (주)프로테크 테더링을 이용한 오지 영상감시시스템
KR102149271B1 (ko) * 2014-01-13 2020-08-28 한화테크윈 주식회사 카메라의 동작 방법, 카메라, 및 감시 시스템
KR101460112B1 (ko) * 2014-06-11 2014-11-11 김산 동영상 출력이 가능한 감시 카메라 및 이 감시 카메라를 포함하는 동영상 송수신 시스템
KR20160000292A (ko) 2014-06-24 2016-01-04 한화테크윈 주식회사 휴대용단말기를 이용한 원격제어방법 및 원격제어시스템
KR102188678B1 (ko) * 2014-06-30 2020-12-08 한화테크윈 주식회사 영상 감시 시스템의 제어 장치
KR101494448B1 (ko) * 2014-10-30 2015-02-23 주식회사오리온테크놀리지 보안감시관리자의 보안감시장치조작정보 저장 시스템
KR101638879B1 (ko) * 2014-11-06 2016-07-12 주식회사 아이디스 위젯을 통해 보안 매체와 연동 가능한 모바일 장치
CN106657867B (zh) * 2015-08-12 2019-08-06 杭州海康威视数字技术股份有限公司 基于视频监控系统的移动终端报警方法及其装置
WO2021049703A1 (ko) * 2019-09-11 2021-03-18 (주)씨프로 클라이언트 카메라가 서버 카메라를 통해서 다른 네트워크 서비스에 간접적으로 접속할 수 있게 해주는 감시 카메라 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004289670A (ja) 2003-03-24 2004-10-14 Nisca Corp 画像配信カメラシステム、画像配信カメラ、画像配信サーバ、及び画像配信方法
KR100842309B1 (ko) 2007-05-09 2008-06-30 주식회사 두성테크 휴대폰을 이용한 무인 감시 카메라 시스템
KR20090123636A (ko) * 2008-05-28 2009-12-02 (주)비씨엔이글로발 무선 카메라 시스템
KR20110017574A (ko) * 2009-08-14 2011-02-22 이재경 폰페이지를 이용한 원격 영상감시 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004289670A (ja) 2003-03-24 2004-10-14 Nisca Corp 画像配信カメラシステム、画像配信カメラ、画像配信サーバ、及び画像配信方法
KR100842309B1 (ko) 2007-05-09 2008-06-30 주식회사 두성테크 휴대폰을 이용한 무인 감시 카메라 시스템
KR20090123636A (ko) * 2008-05-28 2009-12-02 (주)비씨엔이글로발 무선 카메라 시스템
KR20110017574A (ko) * 2009-08-14 2011-02-22 이재경 폰페이지를 이용한 원격 영상감시 시스템 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101813885B1 (ko) * 2017-07-26 2018-01-03 주식회사 대명코퍼레이션 통신망을 이용한 디지털 영상기기의 원격 제어 시스템 및 그 방법
KR102027256B1 (ko) 2018-03-29 2019-10-01 황보연종 모바일 기반의 화재감시 및 화재경보신호 전송장치 및 그 방법

Also Published As

Publication number Publication date
KR20120123954A (ko) 2012-11-12

Similar Documents

Publication Publication Date Title
KR101220884B1 (ko) 스마트폰을 이용한 멀티 관제 시스템
US20220215748A1 (en) Automated camera response in a surveillance architecture
US9918046B2 (en) Peer to peer surveillance architecture
KR100511227B1 (ko) 휴대용 감시 카메라 및 이를 이용한 개인 방범 시스템
US20070268367A1 (en) Video Surveillance With Satellite Communication Access
KR20040106964A (ko) 실시간 동영상 원격 감시 시스템
KR20110053145A (ko) 영상카메라를 이용한 보안시스템 및 그 방법
KR100857073B1 (ko) 실시간 원격 감시 시스템
KR101190120B1 (ko) 공유기 특성과 3g 기능을 가진 원격 감시 시스템
US11272243B2 (en) Cloud recording system, cloud recording server and cloud recording method
KR101030064B1 (ko) 이동 단말기에 의해 제어되는 와이파이 모듈을 구비한 엔브이알과 홈시어터를 이용하여 구축된 홈 네트워킹 시스템.
US20050071883A1 (en) Remote monitoring system and method for controlling the same
KR20140146429A (ko) 스마트 디바이스를 이용한 cctv 영상 획득 및 관리 시스템 및 그 방법
KR200385302Y1 (ko) 화상메모리장치를 이용한 간이형 보안 시스템
KR101178889B1 (ko) 무선랜 통신기능을 구비한 감시장치, 셋업 시스템 및 그 방법
KR200336569Y1 (ko) 인터넷을 이용한 무인 경비 시스템
KR20140131694A (ko) 방범용 버티컬 프로젝션 시스템
KR20080082689A (ko) 인터넷을 이용한 실시간 감시 서버
CN216623451U (zh) 整合型警报设备
KR102245389B1 (ko) 다목적 경보 장치를 이용한 스마트 토탈 감시 시스템 및 스마트 토탈 감시 방법
KR20090100138A (ko) 디지털 보안 어댑터
KR20060085367A (ko) 화상메모리장치를 이용한 간이형 보안시스템의 운영 방법
KR20050102325A (ko) 다기능 비디오 폰 장치 및 그것의 방문자 영상 녹화방법
KR20230104480A (ko) 지식재산경영 odm 개발자 설치 조기화재감시 블라인드카메라를 통한 화재예방 보안통합배선반 모니터링 시스템
KR20040065399A (ko) 유에스비를 이용한 이동형 디지털 비디오 레코더

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160202

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180110

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee