KR101344062B1 - The system and method access ip camera using internet messenger and mobile messenger - Google Patents

The system and method access ip camera using internet messenger and mobile messenger Download PDF

Info

Publication number
KR101344062B1
KR101344062B1 KR1020130086194A KR20130086194A KR101344062B1 KR 101344062 B1 KR101344062 B1 KR 101344062B1 KR 1020130086194 A KR1020130086194 A KR 1020130086194A KR 20130086194 A KR20130086194 A KR 20130086194A KR 101344062 B1 KR101344062 B1 KR 101344062B1
Authority
KR
South Korea
Prior art keywords
camera
messenger
user
management server
information
Prior art date
Application number
KR1020130086194A
Other languages
Korean (ko)
Inventor
오세홍
Original Assignee
한국씨앤오테크 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국씨앤오테크 주식회사 filed Critical 한국씨앤오테크 주식회사
Priority to KR1020130086194A priority Critical patent/KR101344062B1/en
Application granted granted Critical
Publication of KR101344062B1 publication Critical patent/KR101344062B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/10Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/08Access security

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

The present invention relates to a system and a method for accessing an IP camera using the internet and a mobile messenger capable of providing an image of an IP camera through a messenger service and controlling the image of the IP camera, which connects a messenger user connected to the messenger service with a camera management server managing the IP camera, providing the messenger user with the image of the IP camera, managing a specific IP camera through the messenger service, and controls the IP camera, thereby providing various IP camera images and easily managing the IP camera images. [Reference numerals] (S10) IP cameras registered on the management server;(S20) Connects a messenger user and camera management server via the messenger server;(S30) Depending on a user messenger request, information of the IP camera is provided to the messenger user;(S40) Request for IP camera registration;(S50) Camera information made public?;(S60) Connect specific IP camera and messenger user;(S70) Enter ID/PW of specific IP camera and messenger user;(S80) Connect specific IP camera and messenger user

Description

인터넷 및 모바일 메신저를 이용한 IP 카메라 접속 시스템 및 방법{The system and method access IP camera using internet messenger and mobile messenger}System and method access IP camera using internet messenger and mobile messenger

본 발명은 인터넷 및 모바일 메신저를 이용한 IP 카메라 접속 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 IP 카메라의 영상을 메신저 서비스를 통해 제공하고, 제어할 수 있도록 하는 인터넷 및 모바일 메신저를 이용한 IP 카메라 접속 시스템 및 방법에 관한 것이다.
The present invention relates to an IP camera access system and method using the Internet and a mobile messenger, and more particularly, to an IP camera access system using an internet and a mobile messenger to provide and control an image of an IP camera through a messenger service. And to a method.

통상 폐쇄 회로 TV(CCTV : Closed Circuit TV) 시스템은 복수의 비디오 카메라를 이용하여 정해진 범위의 영역에 대한 동영상을 촬영하고, 촬영한 동영상 데이터를 메모리 장치에 녹화하여 특정 범위를 감시하기 위한 것이다. 따라서 관리자는 메모리 장치에 녹화된 파일을 재생하여 특정 시간 또는 특정 장소에서 일어난 사건, 사고들을 용이하게 파악할 수 있다. In general, a closed circuit TV (CCTV) system uses a plurality of video cameras to capture a moving picture of a predetermined range, and to record the captured moving picture data to a memory device to monitor a specific range. Therefore, administrators can easily play back files recorded on the memory device to identify events or accidents that occurred at a specific time or location.

이러한 CCTV 감시 시스템은 공공 기관이나 아파트, 대형 백화점 또는 은행 등과 같이 사람들의 출입이 빈번한 장소 또는 생산 라인의 상황 변화를 감시하기 위하여 사용된다.These CCTV surveillance systems are used to monitor changes in the places where people enter or leave production lines, such as public institutions, apartments, large department stores or banks.

허나, 통상의 폐쇄 회로 TV는 촬영한 동영상 데이터를 아날로그 방식으로 비디오테이프에 저장하기 때문에, 비디오테이프의 저장 용량에 따라 촬영 가능한 시간이 매우 한정적이었고, 아날로그 동영상 데이터의 처리에도 많은 제약이 있다. 더하여, 통상의 폐쇄 회로 TV는 고가의 장비, 즉 CCTV 카메라와 모니터, 그리고 다량의 케이블 및 설치, 유지보수를 위한 운영 요원을 필요로 하므로, 시스템을 구축하기가 매우 어려워 개인 설치가 거의 불가능하다.However, since the conventional closed circuit TV stores the captured moving image data on the video tape in an analog manner, the available capturing time is very limited according to the storage capacity of the video tape. In addition, conventional closed-circuit TVs require expensive equipment, such as CCTV cameras and monitors, and a large number of cables and operating personnel for installation and maintenance, making the system very difficult to build and nearly impossible for personal installation.

현재 고가의 장비를 사용해야만 가능한 보안감시 시스템 대신에, IP 카메라를 이용한 시스템의 보급이 점차 증가하고 있는 추세이다.
Instead of security surveillance systems that can only be used with expensive equipment, the spread of systems using IP cameras is gradually increasing.

IP 카메라 시스템은 유무선 인터넷에 연결하여 사용하는 카메라. 카메라 모듈, 디코더, 영상 압축 칩, CPU, 네트워크 전송 칩 등으로 구성된다. 카메라 모듈로부터 받은 아날로그 신호는 디코더를 통해 디지털로 바뀌고, 압축 칩에서 압축을 거쳐 전송되는 흐름이다. IP 카메라는 외부에서도 집 안 상황을 휴대폰으로 점검할 수 있으며, 사용자 제작 콘텐츠(UCC)와 홈 네트워크를 위한 도구로 사용된다.IP camera system is a camera used to connect to the wired and wireless Internet. It consists of a camera module, decoder, video compression chip, CPU, network transmission chip and so on. The analog signal received from the camera module is converted into digital through a decoder and is transmitted through compression in a compression chip. IP cameras can be used to check the home situation from the outside with a mobile phone and serve as a tool for user-generated content (UCC) and home networks.

그런데, 통상의 IP 카메라의 경우 사용자가 설치한 특정 카메라의 영상 정보만을 확인하기 위해서는 해당 IP 카메라의 종류에 따라 사용 프로그램을 모두 설치하여야 하므로, 사용상에 많은 문제점이 발생할 뿐만 아니라, 각기 다른 사용 프로그램을 이용하는 IP 카메라의 영상을 제공하는데 많은 어려움이 발생하게 된다.
However, in order to check only the video information of a specific camera installed by a user in the case of a normal IP camera, all the use programs must be installed according to the type of the corresponding IP camera. Many difficulties arise in providing an image of an IP camera to be used.

국내 공개특허 제10-2006-0019100호Korean Patent Publication No. 10-2006-0019100 국내 공개특허 제10-2004-0019634호Korean Patent Publication No. 10-2004-0019634

본 발명은 상기와 같은 문제점들을 개선하기 위하여 안출된 것으로서, 메신저 서비스에 접속하는 메신저 사용자와 IP 카메라를 관리하는 카메라 관리 서버를 연결하여 IP 카메라의 영상을 메신저 사용자에게 제공하며, 메신저 서비스를 통해 특정 IP 카메라를 관리하고 제어할 수 있도록 함으로써, 보다 다양하고 많은 수의 IP 카메라 영상을 제공하고, 그 관리를 용이하게 할 수 있도록 하는 인터넷 및 모바일 메신저를 이용한 IP 카메라 접속 시스템 및 방법을 제공하는데 그 목적이 있다.
The present invention has been made in order to improve the above problems, by connecting a messenger user accessing a messenger service and a camera management server managing an IP camera to provide an image of an IP camera to a messenger user, and a specific messenger service. The purpose of the present invention is to provide a system and method for accessing an IP camera using the Internet and a mobile messenger to provide a more diverse and larger number of IP camera images by facilitating the management and control of the IP camera. There is this.

상기와 같은 목적을 달성하기 위하여 본 발명은 IP 카메라의 정보를 저장하고 모니터링하며, 상기 IP 카메라의 정보를 메신저 서비스를 통해 접속하는 메신저 사용자에게 제공하는 카메라 관리서버; 상기 IP 카메라의 관리를 위하여 상기 IP 카메라의 정보를 상기 카메라 관리서버로 제공하여 등록하며, 상기 메신저 서비스에 접속하여 상기 카메라 관리서버에 등록된 상기 IP 카메라들 중 특정 IP 카메라를 선택하여 연결하고, 연결된 상기 IP 카메라의 영상을 확인하는 사용자 단말기; 및 상기 메신저 서비스에 접속하는 상기 사용자 단말기의 요청에 따라 상기 사용자 단말기와 상기 IP 카메라의 접속을 중계하는 메신저 서버를 포함하는 인터넷 및 모바일 메신저를 이용한 IP 카메라 접속 시스템을 제공한다.In order to achieve the above object, the present invention provides a camera management server that stores and monitors information of an IP camera and provides a messenger user to access the information of the IP camera through a messenger service; Providing and registering information of the IP camera to the camera management server to manage the IP camera, accessing the messenger service, selecting and connecting a specific IP camera among the IP cameras registered in the camera management server, A user terminal for checking an image of the connected IP camera; And a messenger server for relaying the connection between the user terminal and the IP camera in response to a request of the user terminal to access the messenger service.

또한, 본 발명은 공공기관이나 문화제에 설치되는 관제 IP 카메라를 관리하며, 상기 사용자 단말기가 상기 메신저 서비스를 통해 상기 카메라 관리서버에 접속하여 상기 관제 IP 카메라 영상을 확인하도록 상기 카메라 관리서버로 상기 관제 IP 카메라 정보를 제공하는 카메라 관제서버를 더 포함하는 인터넷 및 모바일 메신저를 이용한 IP 카메라 접속 시스템을 제공한다.In addition, the present invention manages a control IP camera installed in a public institution or a cultural festival, the user terminal is connected to the camera management server through the messenger service to check the control IP camera image to the camera management server to the control It provides an IP camera access system using the Internet and mobile messenger further comprising a camera control server for providing IP camera information.

또한, 본 발명은 상기 사용자 단말기 및 상기 카메라 관제서버에서 제공하는 상기 IP 카메라 및 상기 관제 IP 카메라 정보를 저장하는 카메라 정보 관리모듈; 상기 메신저 서버에 접속한 상기 메신저 사용자의 카메라 등록 요청에 따라 상기 사용자 단말기로 상기 IP 카메라의 정보 제공하도록 상기 카메라 관리서버와 상기 사용자 단말기를 연결하는 통신 관리모듈; 상기 사용자 단말기의 요청에 따라 상기 IP 카메라로부터 전송되는 동영상을 상기 사용자 단말기로 스트리밍하는 동영상 관리모듈; 및 상기 메신저 서비스 사용자가 등록한 상기 IP 카메라 정보를 상기 메신저 서비스 가입자 별로 저장하고 관리하는 가입자 정보 관리모듈로 이루어진 카메라 관리서버를 포함하는 인터넷 및 모바일 메신저를 이용한 IP 카메라 접속 시스템을 제공한다.The present invention also provides a camera information management module for storing the IP camera and the control IP camera information provided by the user terminal and the camera control server; A communication management module connecting the camera management server and the user terminal to provide information of the IP camera to the user terminal according to a camera registration request of the messenger user connected to the messenger server; A video management module for streaming a video transmitted from the IP camera to the user terminal in response to a request of the user terminal; And a camera management server comprising a subscriber information management module for storing and managing the IP camera information registered by the messenger service user for each messenger service subscriber.

또한, 본 발명은 상기 사용자 단말기를 통해 등록되는 상기 IP 카메라의 정보 공개 또는 비공개 설정에 따라 상기 메신저 사용자와 상기 IP 카메라의 접속을 선택적으로 차단하는 카메라 관리 서버를 포함하는 인터넷 및 모바일 메신저를 이용한 IP 카메라 접속 시스템을 제공한다.In addition, the present invention IP using the Internet and mobile messenger including a camera management server for selectively blocking the connection between the messenger user and the IP camera according to the information disclosure or private setting of the IP camera registered through the user terminal Provides a camera connection system.

또한, 본 발명은 정보 공개로 설정된 상기 IP 카메라에 대한 정보를 상기 메신저 사용자에게 제공하고, 상기 메신저 사용자가 접속을 요청하면 해당 IP 카메라와 상기 메신저 사용자를 연결하는 카메라 관리 서버를 포함하는 인터넷 및 모바일 메신저를 이용한 IP 카메라 접속 시스템을 제공한다.The present invention also provides information on the IP camera set to be disclosed to the messenger user, and the Internet and mobile including a camera management server for connecting the IP camera and the messenger user when the messenger user requests access; Provides an IP camera connection system using a messenger.

또한, 본 발명은 정보 비공개로 설정된 상기 IP 카메라에 대하여 상기 메신저 사용자가 접속을 요청하면 해당 IP 카메라에 설정된 ID와 패스워드의 입력여부에 따라 해당 IP 카메라와 상기 메신저 사용자를 연결하는 카메라 관리 서버를 포함하는 인터넷 및 모바일 메신저를 이용한 IP 카메라 접속 시스템을 제공한다.In addition, the present invention includes a camera management server for connecting the IP camera and the messenger user according to the input of the ID and password set to the IP camera when the messenger user requests access to the IP camera set to private information; To provide an IP camera access system using the Internet and mobile messenger.

본 발명은 IP 카메라 관리자가 IP 카메라 정보를 카메라 관리서버로 제공하여 상기 IP 카메라를 상기 카메라 관리서버에 등록하는 단계; 사용자가 메신저 서비스에 접속하여 상기 카메라 관리서버에 접속을 요청하면 상기 메신저 서비스 서버에서 상기 사용자 단말기와 상기 카메라 관리서버를 연결하는 단계; 상기 메신저 서비스 사용자의 요청에 따라 상기 카메라 관리서버에서 해당 IP 카메라 정보를 제공하는 단계; 상기 메신저 서비스 사용자가 선택한 해당 IP 카메라를 카메라 관리목록에 등록을 요청하는 단계; 및 해당 IP 카메라의 정보가 공개인지 비공개인지를 판단하여 해당 IP 카메라를 상기 카메라 관리목록에 등록하고 해당 IP 카메라와 상기 메신저 서비스 사용자를 연결하는 단계를 포함하는 인터넷 및 모바일 메신저를 이용한 IP 카메라 접속 방법을 제공한다.The present invention includes the steps of the IP camera manager to provide the IP camera information to the camera management server to register the IP camera to the camera management server; Connecting the user terminal to the camera management server at the messenger service server when a user accesses a messenger service and requests access to the camera management server; Providing corresponding IP camera information in the camera management server at the request of the messenger service user; Requesting to register a corresponding IP camera selected by the messenger service user in a camera management list; And determining whether the information of the IP camera is public or private, registering the IP camera in the camera management list, and connecting the IP camera with the messenger service user. To provide.

또한, 본 발명은 상기 IP 카메라의 정보가 비공개이면 상기 메신저 서비스 사용자가 해당 IP 카메라의 사용자 ID와 패스워드를 입력하여 상기 카메라 관리목록에 등록하고 해당 IP 카메라와 상기 메신저 서비스 사용자를 연결하는 단계를 더 포함하는 인터넷 및 모바일 메신저를 이용한 IP 카메라 접속 방법을 제공한다.The present invention may further include the step of registering the messenger service user in the camera management list by inputting the user ID and password of the IP camera and connecting the IP camera and the messenger service user if the IP camera information is private. It provides an IP camera access method using the Internet and a mobile messenger.

또한, 본 발명은 IP 카메라를 카메라 관리서버에 등록하는 단계에서 상기 IP 카메라의 정보를 공개 또는 비공개로 설정하는 인터넷 및 모바일 메신저를 이용한 IP 카메라 접속 방법을 제공한다.
In addition, the present invention provides an IP camera access method using the Internet and a mobile messenger to set the information of the IP camera to the public or private in the step of registering the IP camera to the camera management server.

상기와 같은 본 발명에 따른 인터넷 및 모바일 메신저를 이용한 IP 카메라 접속 시스템 및 방법에 의하면, 메신저 서비스에 접속하는 메신저 사용자와 IP 카메라를 관리하는 카메라 관리 서버를 연결하여 IP 카메라의 영상을 메신저 사용자에게 제공하며, 메신저 서비스를 통해 특정 IP 카메라를 관리하고 제어할 수 있도록 함으로써, 보다 다양하고 많은 수의 IP 카메라 영상을 제공하고, 그 관리를 용이하게 할 수 있는 이점이 있다.
According to the IP camera access system and method using the Internet and mobile messenger according to the present invention as described above, by connecting a messenger user accessing a messenger service and a camera management server managing the IP camera to provide an image of the IP camera to the messenger user In addition, by allowing a specific IP camera to be managed and controlled through a messenger service, there is an advantage of providing a greater number of IP camera images and facilitating management thereof.

도 1은 본 발명의 실시 예에 따른 인터넷 및 모바일 메신저를 이용한 IP 카메라 접속 시스템을 나타낸 블록도이다.
도 2는 본 발명의 실시 예에 따른 카메라 관리서버를 나타낸 블록도이다.
도 3은 본 발명의 실시 예에 따른 인터넷 및 모바일 메신저를 이용한 IP 카메라 접속 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시 예에 따른 인터넷 및 모바일 메신저를 이용한 IP 카메라 접속 방법의 응용 상태를 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 비공개 IP 카메라 접속 방법을 보인 도면이다.
1 is a block diagram illustrating an IP camera access system using the Internet and a mobile messenger according to an exemplary embodiment of the present invention.
2 is a block diagram illustrating a camera management server according to an exemplary embodiment of the present invention.
3 is a flowchart illustrating an IP camera access method using the Internet and a mobile messenger according to an embodiment of the present invention.
4 is a view showing an application state of the IP camera access method using the Internet and a mobile messenger according to an embodiment of the present invention.
5 is a view showing a private IP camera access method according to an embodiment of the present invention.

본 발명의 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.The features and advantages of the present invention will become more apparent from the following detailed description based on the accompanying drawings. Prior to this, terms and words used in the present specification and claims are to be interpreted in accordance with the technical idea of the present invention based on the principle that the inventor can properly define the concept of the term in order to explain his invention in the best way. It must be interpreted in terms of meaning and concept.

이하, 본 발명에 따른 인터넷 및 모바일 메신저를 이용한 IP 카메라 접속 시스템 및 방법을 첨부한 도면을 참조하여 상세하게 설명한다.Hereinafter, an IP camera connection system and method using the Internet and a mobile messenger according to the present invention will be described in detail with reference to the accompanying drawings.

먼저, 도 1 및 도 2를 참조하면, 본 실시 예에 따른 인터넷 및 모바일 메신저를 이용한 IP 카메라 접속 시스템을 설명한다.First, referring to FIGS. 1 and 2, an IP camera access system using the Internet and a mobile messenger according to the present embodiment will be described.

도 1 및 도 2에 도시된 바와 같이, 본 실시 예에 따른 인터넷 및 모바일 메신저를 이용한 IP 카메라 접속 시스템은 인터넷망을 통해 상호 접속이 가능한 IP 카메라(10), 카메라 관리서버(20), 사용자 단말기(30), 메신저 서비스 서버(40) 및 카메라 관제서버(50)로 구성된다. 여기서, 사용자 단말기(30)로는 유무선 통신이 가능한 휴대폰, 노트북, 데스크 탑 PC, 태블릿 PC 등을 사용할 수도 있다.1 and 2, the IP camera access system using the Internet and the mobile messenger according to the present embodiment, the IP camera 10, the camera management server 20, the user terminal which can be interconnected via the Internet network 30, a messenger service server 40, and a camera control server 50. Here, the user terminal 30 may be a mobile phone, laptop, desktop PC, tablet PC, etc. capable of wired and wireless communication.

카메라 관리서버(20)는 IP 카메라(10)라 사용자가 사용자 단말기(30)를 통해 특정 IP 카메라(10)에 대한 정보를 제공하면 해당 IP 카메라(10)의 정보를 저장하고 해당 IP 카메라(10)의 영상을 모니터링한다.The camera management server 20 stores the information of the IP camera 10 when the user provides information on a specific IP camera 10 through the user terminal 30 as the IP camera 10 and the corresponding IP camera 10 To monitor the video.

또한, 카메라 관리서버(20)는 메신저 서비스 서버(40)를 통해 저장된 특정 IP 카메라(10)에 대한 접속 요청이 있으면 접속을 요청한 사용자 단말기(30)로 IP 카메라(10)에 대한 정보를 제공한다.In addition, the camera management server 20 provides information about the IP camera 10 to the user terminal 30 requesting the connection if there is a connection request to the specific IP camera 10 stored through the messenger service server 40. .

사용자 단말기(30)는 IP 카메라(10)의 관리를 위하여 IP 카메라(10)의 정보를 카메라 관리서버(20)로 제공하여 등록하며, 메신저 서버(40)의 메신저 서비스에 접속하여 카메라 관리서버(20)와 선택적으로 접속하고, 특정 IP 카메라(10)를 선택하여 등록한다.The user terminal 30 provides and registers the information of the IP camera 10 to the camera management server 20 to manage the IP camera 10, and accesses the messenger service of the messenger server 40 to manage the camera management server ( 20) and selectively selects and registers a specific IP camera 10.

그리고 사용자 단말기(30)는 특정 IP 카메라(10)에 대한 등록이 완료되면 등록된 특정 IP 카메라(10)와 연결하고, 연결된 IP 카메라(10)의 영상을 제공 받는다.When the registration of the specific IP camera 10 is completed, the user terminal 30 connects to the registered specific IP camera 10 and receives an image of the connected IP camera 10.

메신저 서버(40)는 메신저 서비스에 접속하는 사용자 단말기(30)의 요청에 따라 사용자 단말기(30)와 IP 카메라(10)의 접속을 중계한다. 본 실시 예에 따른 메신저 서버(40)로는 인터넷 및 모바일 메신저 서비스를 제공하는 카카오톡, 마이피플, 라인, 틱톡, 버디버디, 세이클럽(타키), MSN, 야후메신저, 네이트온, 드림위즈지니, 다음메신저, KTiman메신저 등의 서버를 이용할 수도 있다. The messenger server 40 relays the connection between the user terminal 30 and the IP camera 10 at the request of the user terminal 30 to access the messenger service. As a messenger server 40 according to the present embodiment, KakaoTalk, My People, Line, TickTalk, Buddy Buddy, SayClub (Taki), MSN, Yahoo Messenger, Nate On, DreamWiz Genie, and the following provide Internet and mobile messenger services. A server such as a messenger or KTiman messenger can also be used.

카메라 관제서버(50)는 공공기관이나 문화제에 설치되는 별도의 관제 IP 카메라(10)를 관리하도록 인터넷망을 통해 해당 관리 IP 카메라(10)와 연결되며, 관리하는 IP 카메라(10)의 영상을 카메라 관리서버(20)를 통해 메신저 서비스 접속자에게 제공할 수 있도록 관리하는 IP 카메라(10) 정보를 카메라 관리서버(20)로 제공한다.Camera control server 50 is connected to the corresponding management IP camera 10 through the Internet to manage a separate control IP camera 10 installed in public institutions or cultural festivals, and manages the image of the IP camera 10 to manage The camera management server 20 provides the camera management server 20 with the information of the IP camera 10 that can be provided to the messenger service accessor.

한편, 카메라 관리서버(20)는 사용자 단말기(30) 및 카메라 관제서버(50)에서 제공되는 메신저 서비스 사용자가 IP 카메라(10)의 등록 및 삭제 관리를 보다 용이하게 진행할 수 있도록 구성된다.On the other hand, the camera management server 20 is configured to enable the messenger service user provided by the user terminal 30 and the camera control server 50 to more easily manage registration and deletion of the IP camera 10.

이를 위하여, 카메라 관리서버(20)는 카메라 정보 관리모듈(21), 통신 관리모듈(23), 동영상 관리모듈(25) 및 가입자 정보 관리모듈(27)로 구성된다.
To this end, the camera management server 20 is composed of a camera information management module 21, a communication management module 23, a video management module 25 and a subscriber information management module 27.

카메라 정보 관리모듈(21)은 사용자 단말기(30) 및 카메라 관제서버(50)로부터 관리하는 IP 카메라(10)의 정보를 전송하면 이를 수신하여 저장하고 이를 관리한다. 이때, 카메라 정보 관리모듈(21)은 IP 카메라 정보를 입력할 수 있는 UI를 제공하며, 상기 UI에는 IP 카메라(10) 정보로 IP 카메라 설치위치, 시니얼 번호(S/N), 제품번호, 관리자 정보(성명, 관리기관명, 설치일자 등) 등을 입력할 수 있도록 입력창을 제공한다.When the camera information management module 21 transmits the information of the IP camera 10 managed from the user terminal 30 and the camera control server 50, it receives and stores it and manages it. At this time, the camera information management module 21 provides a UI for inputting IP camera information, and the IP camera installation position, serial number (S / N), product number, Provides an input window for entering administrator information (name, administrative agency name, installation date, etc.).

통신 관리모듈(23)은 메신저 서버(40)에 접속한 메신저 사용자의 IP 카메라(10) 등록 요청에 따라 사용자 단말기(30)로 카메라 정보 관리모듈(21)에 저장된 IP 카메라(10)의 정보들이 표시될 수 있도록 카메라 관리서버(40)와 사용자 단말기(30)의 접속을 제어한다.The communication management module 23 stores information of the IP camera 10 stored in the camera information management module 21 on the user terminal 30 according to the IP camera 10 registration request of the messenger user connected to the messenger server 40. Controls the connection between the camera management server 40 and the user terminal 30 to be displayed.

동영상 관리모듈(25)은 카메라 관리서버(20)와 접속하는 사용자 단말기(30)의 요청에 따라 IP 카메라(10)로부터 전송되는 동영상을 사용자 단말기(30)로 스트리밍한다. 이때, 동영상 관리모듈(25)은 IP 카메라(10)로부터 전송되는 영상을 저장할 수도 있다.The video management module 25 streams a video transmitted from the IP camera 10 to the user terminal 30 in response to a request of the user terminal 30 to access the camera management server 20. In this case, the video management module 25 may store an image transmitted from the IP camera 10.

가입자 정보 관리모듈(27)은 메신저 서비스 사용자가 등록한 IP 카메라(10) 정보를 메신저 서비스 가입자 별로 저장하고 관리한다. 즉, 가입자 정보 관리모듈(27)은 메신저 서비스 가입자가 적어도 하나 이상의 IP 카메라(10)를 등록하여 관리할 수 있도록 카메라 관리 목록을 생성하여 제공하며, 메신저 서비스 가입자의 요청시 이에 대한 목록을 제공한다. 이때, 상기 메신저 서비스 가입자는 상기 카메라 관리목록을 통해 IP 카메라(10)의 등록 및 등록된 IP 카메라(10)의 삭제를 진행할 수 있다.The subscriber information management module 27 stores and manages the IP camera 10 information registered by the messenger service user for each messenger service subscriber. That is, the subscriber information management module 27 generates and provides a camera management list so that a messenger service subscriber can register and manage at least one IP camera 10, and provides a list thereof upon request of a messenger service subscriber. . At this time, the messenger service subscriber may proceed with the registration of the IP camera 10 and the deletion of the registered IP camera 10 through the camera management list.

한편, 카메라 관리 서버(20)는 사용자 단말기(30)에서 IP 카메라(10)를 등록할 때 등록할 IP 카메라(10)의 정보를 공개 비공개 설정하도록 제어한다.Meanwhile, the camera management server 20 controls to publicly set the information of the IP camera 10 to be registered when registering the IP camera 10 in the user terminal 30.

이때, 카메라 관리 서버(20)는 IP 카메라(10)가 공개로 설정되면 해당 IP 카메라(10)에 대한 정보를 모든 메신저 서비스 접속자에게 제공하고, 해당 IP 카메라(10)를 카메라 관리목록에 등록할 경우 영상을 제공한다. 또한, 카메라 관리 서버(20)는 IP 카메라(10)를 비공개로 설정할 경우 해당 IP 카메라(10)에 대한 조회는 허용하나 해당 IP 카메라(10)에 대한 영상의 제공은 제한한다. 여기서, 비공개 IP 카메라(10)와 접속하고자 하는 경우 해당 IP 카메라(10)의 사용자 ID 및 비밀번호를 입력하여야한 해당 IP 카메라(10)와의 접속을 허용한다.
At this time, when the IP camera 10 is set to public, the camera management server 20 provides information on the IP camera 10 to all messenger service accessors, and registers the IP camera 10 in the camera management list. If you provide video. In addition, when the camera management server 20 sets the IP camera 10 to be private, the inquiry of the IP camera 10 is allowed, but the provision of an image to the IP camera 10 is limited. Here, in order to access the private IP camera 10, the user ID and password of the corresponding IP camera 10 are allowed to be connected to the corresponding IP camera 10.

상기와 같이 구성되는 본 발명의 실시 예에 따른 인터넷 및 모바일 메신저를 이용한 IP 카메라 접속 방법을 도 1 내지 도 5를 참조하여 설명한다.An IP camera access method using the Internet and a mobile messenger according to an embodiment of the present invention configured as described above will be described with reference to FIGS. 1 to 5.

도 1 내지 도 5에 도시된 바와 같이, 본 실시 예에 따른 인터넷 및 모바일 메신저를 이용한 IP 카메라 접속 방법은 IP 카메라(10) 사용자가 사용자 단말기(10)를 통해 관리하고자 하는 IP 카메라(10)의 인터넷 연결을 확인하고, 카메라 관리서버(20)에 접속하여 IP 카메라(10)의 정보를 입력하여 등록한다(S10). S10에서는 IP 카메라(10) 등록자가 IP 카메라에 대한 영상을 공유 및 비공유할 수 있도록 IP 카메라(10)의 공개 및 비공개를 설정한다.As shown in FIGS. 1 to 5, the IP camera access method using the Internet and the mobile messenger according to the embodiment of the present invention may be performed by the user of the IP camera 10 to be managed by the user terminal 10. Check the Internet connection, access the camera management server 20 and inputs and registers the information of the IP camera 10 (S10). In S10, the IP camera 10 registrant sets the public and private of the IP camera 10 to share and non-share the image for the IP camera.

그리고, 카메라 관리서버(20)에서 메신저 서비스 서버(40)를 통해 접속하는 메신저 가입자가 등록된 IP 카메라(10)와 접속하여 영상을 제공받을 수 있도록 메신저 서버를 통해 카메라 관리서버와 메신저 사용자를 연결한다(S20).Then, the camera management server 20 connects the camera management server and the messenger user through the messenger server so that a messenger subscriber connected through the messenger service server 40 can access the registered IP camera 10 and receive an image. (S20).

이후, 메신저 서비스 사용자가 메신저 서비스에 접속하여 IP 카메라(10)의 검색을 진행하면 카메라 관리서버(20)가 메신저 접속자에게 등록된 IP 카메라(10)의 정보를 제공한다(S30).Thereafter, when the messenger service user accesses the messenger service and searches for the IP camera 10, the camera management server 20 provides the messenger visitor with information of the registered IP camera 10 (S30).

이후, 메신저 서비스 접속자가 특정 IP 카메라(10)를 검색하여 자신의 카메라 관리목록에 등록을 요청하면(S40), 카메라 관리서버(20)가 등록 요청한 해당 IP 카메라(10)의 정보가 공개인지 비공개인지 판단한다(S50).Then, when the messenger service accessor searches for a specific IP camera 10 and requests registration in his camera management list (S40), the camera management server 20 requests the registration of the information of the corresponding IP camera 10 is public or private. Determine whether (S50).

판단결과(S50) 해당 IP 카메라(10)가 공개 설정되어 있으면 카메라 관리서버(20)가 메신저 서비스를 통해 해당 IP 카메라(10)와 메신저 사용자 단말기(30)를 연결한다(S60). 이때, 카메라 관리서버(20)는 메신저 사용자가 선택한 IP 카메라(10)를 해다 메신저 사용자의 카메라 관리목록에 추가한다.Judgment result (S50) If the IP camera 10 is publicly set, the camera management server 20 connects the IP camera 10 and the messenger user terminal 30 through a messenger service (S60). At this time, the camera management server 20 adds the IP camera 10 selected by the messenger user to the messenger user's camera management list.

판단결과(S50) 해당 IP 카메라(10)가 비공개 설정되어 있으면 카메라 관리서버(20)가 해당 IP 카메라(10)와 메신저 사용자와의 접속을 위한 IP 카메라의 사용자 ID 및 비밀번호 입력을 위한 ID 및 비밀번호 입력창을 제공하여 메신저 사용자가 ID 및 비밀번호를 입력하도록 한다(S70).Judgment result (S50) If the IP camera 10 is set to private, the camera management server 20 ID and password for inputting the user ID and password of the IP camera for the connection between the IP camera 10 and the messenger user Providing an input window allows the messenger user to enter an ID and password (S70).

그리고, 입력한 IP 카메라의 사용자 ID 및 비밀번호가 카메라 관리서버(20)에 등록한 정보와 일치하면 해당 IP 카메라와 메신저 사용자를 연결한다(S80).If the user ID and password of the input IP camera match the information registered in the camera management server 20, the IP camera and the messenger user are connected (S80).

한편, 카메라 관리서버(20)는 입력한 IP 카메라의 사용자 ID 및 비밀번호가 저장된 정보와 일치하지 않을 경우 해당 IP 카메라(10)에 대한 등록 요청을 거절한다.On the other hand, the camera management server 20 rejects the registration request for the IP camera 10 if the user ID and password of the input IP camera does not match the stored information.

본 발명은 도면에 도시된 실시 예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.Although the present invention has been described with reference to the embodiments illustrated in the drawings, it is merely exemplary, and various modifications and equivalent other embodiments are possible to those skilled in the art. I will understand. Therefore, the true technical protection scope of the present invention will be defined by the claims below.

10 : IP 카메라 20 : 카메라 관리서버
30 : 사용자 단말기 40 : 메신저 서버
50 : 카메라 관제서버
10: IP camera 20: camera management server
30: user terminal 40: messenger server
50: camera control server

Claims (9)

IP 카메라의 정보를 저장하고 모니터링하며, 상기 IP 카메라의 정보를 인터넷 및 모바일 메신저 서비스를 통해 접속하는 메신저 사용자에게 제공하는 카메라 관리서버;
상기 IP 카메라의 관리를 위하여 상기 IP 카메라의 정보를 상기 카메라 관리서버로 제공하여 등록하며, 상기 메신저 서비스에 접속하여 상기 카메라 관리서버에 등록된 상기 IP 카메라들 중 특정 IP 카메라를 선택하여 연결하고, 연결된 상기 IP 카메라의 영상을 확인하는 사용자 단말기;
상기 인터넷 및 모바일 메신저에 접속하는 상기 사용자 단말기의 요청에 따라 상기 사용자 단말기와 상기 IP 카메라의 접속을 중계하는, 인터넷 및 모바일 메신저 서비스를 제공하는 카카오톡, 마이피플, 라인, 틱톡, 버디버디, 세이클럽, MSN, 야후메신저, 네이트온, 드림위즈지니, 다음메신저, KTiman 메신저 중 어느 하나를 사용하는 메신저 서버; 및
공공기관이나 문화제에 설치되는 관제 IP 카메라를 관리하며, 상기 사용자 단말기가 상기 메신저 서비스를 통해 상기 카메라 관리서버에 접속하여 상기 관제 IP 카메라 영상을 확인하도록 상기 카메라 관리서버로 상기 관제 IP 카메라 정보를 제공하는 카메라 관제서버를 포함하며,
상기 카메라 관리서버는,
상기 사용자 단말기 및 상기 카메라 관제서버에서 제공하는 상기 IP 카메라 및 상기 관제 IP 카메라 정보를 저장하는 카메라 정보 관리모듈;
상기 메신저 서버에 접속한 상기 메신저 사용자의 카메라 등록 요청에 따라 상기 사용자 단말기로 상기 IP 카메라의 정보를 제공하도록 상기 카메라 관리서버와 상기 사용자 단말기를 연결하는 통신 관리모듈;
상기 사용자 단말기의 요청에 따라 상기 IP 카메라로부터 전송되는 동영상을 상기 사용자 단말기로 스트리밍하는 동영상 관리모듈; 및
상기 메신저 서비스 사용자가 등록한 상기 IP 카메라 정보를 상기 메신저 서비스 가입자 별로 저장하고 관리하는 가입자 정보 관리모듈을 포함하는 것을 특징으로 하는 인터넷 및 모바일 메신저를 이용한 IP 카메라 접속 시스템.
A camera management server that stores and monitors information of an IP camera and provides messenger users accessing the information of the IP camera through the Internet and a mobile messenger service;
Providing and registering information of the IP camera to the camera management server to manage the IP camera, accessing the messenger service, selecting and connecting a specific IP camera among the IP cameras registered in the camera management server, A user terminal for checking an image of the connected IP camera;
KakaoTalk, My People, Line, TickTalk, Buddy Buddy, Say that relays the connection between the user terminal and the IP camera according to a request of the user terminal to access the Internet and mobile messenger. A messenger server using any one of a club, MSN, Yahoo Messenger, Nate On, Dreamwiz Genie, Daum Messenger, and KTiman Messenger; And
Provides the control IP camera information to the camera management server to manage the control IP camera installed in a public institution or a cultural festival, and the user terminal accesses the camera management server through the messenger service and checks the control IP camera image. Including a camera control server,
The camera management server,
A camera information management module for storing the IP camera and the control IP camera information provided by the user terminal and the camera control server;
A communication management module connecting the camera management server and the user terminal to provide information of the IP camera to the user terminal according to a camera registration request of the messenger user connected to the messenger server;
A video management module for streaming a video transmitted from the IP camera to the user terminal in response to a request of the user terminal; And
And a subscriber information management module for storing and managing the IP camera information registered by the messenger service user for each messenger service subscriber.
삭제delete 삭제delete 제 1 항에 있어서,
상기 카메라 관리 서버는 상기 사용자 단말기를 통해 등록되는 상기 IP 카메라의 정보 공개 또는 비공개 설정에 따라 상기 메신저 사용자와 상기 IP 카메라의 접속을 선택적으로 차단하는 것을 특징으로 하는 인터넷 및 모바일 메신저를 이용한 IP 카메라 접속 시스템.
The method of claim 1,
The camera management server selectively blocks the connection between the messenger user and the IP camera according to the information disclosure or private setting of the IP camera registered through the user terminal. system.
제 4 항에 있어서,
상기 카메라 관리 서버는 정보 공개로 설정된 상기 IP 카메라에 대한 정보를 상기 메신저 사용자에게 제공하고, 상기 메신저 사용자가 접속을 요청하면 해당 IP 카메라와 상기 메신저 사용자를 연결하는 것을 특징으로 하는 인터넷 및 모바일 메신저를 이용한 IP 카메라 접속 시스템.
5. The method of claim 4,
The camera management server provides the messenger user with information about the IP camera set to be disclosed and connects the IP camera and the messenger user when the messenger user requests access. IP camera connection system.
제 4 항에 있어서,
상기 카메라 관리 서버는 정보 비공개로 설정된 상기 IP 카메라에 대하여 상기 메신저 사용자가 접속을 요청하면 해당 IP 카메라에 설정된 ID와 패스워드의 입력여부에 따라 해당 IP 카메라와 상기 메신저 사용자를 연결하는 것을 특징으로 하는 인터넷 및 모바일 메신저를 이용한 IP 카메라 접속 시스템.
5. The method of claim 4,
When the messenger user requests access to the IP camera set to be private, the camera management server connects the IP camera to the messenger user according to whether the ID and password set in the IP camera are input. And IP camera access system using a mobile messenger.
IP 카메라 관리자가 IP 카메라 정보를 카메라 관리서버로 제공하여 상기 IP 카메라를 상기 카메라 관리서버에 등록하는 단계;
사용자가 메신저 서비스에 접속하여 상기 카메라 관리서버에 접속을 요청하면 상기 메신저 서비스 서버에서 상기 사용자 단말기와 상기 카메라 관리서버를 연결하는 단계;
상기 메신저 서비스 사용자의 요청에 따라 상기 카메라 관리서버에서 해당 IP 카메라 정보를 제공하는 단계;
상기 메신저 서비스 사용자가 선택한 해당 IP 카메라를 카메라 관리목록에 등록을 요청하는 단계; 및
해당 IP 카메라의 정보가 공개인지 비공개인지를 판단하여 해당 IP 카메라를 상기 카메라 관리목록에 등록하고 해당 IP 카메라와 상기 메신저 서비스 사용자를 연결하는 단계를 포함하며,
상기 IP 카메라를 상기 카메라 관리서버에 등록하는 단계에서 상기 IP 카메라의 정보를 공개 또는 비공개로 설정하는 것을 특징으로 하는 인터넷 및 모바일 메신저를 이용한 IP 카메라 접속 방법.
Registering an IP camera with the camera management server by providing an IP camera information to a camera management server by an IP camera manager;
Connecting the user terminal to the camera management server at the messenger service server when a user accesses a messenger service and requests access to the camera management server;
Providing corresponding IP camera information in the camera management server at the request of the messenger service user;
Requesting to register a corresponding IP camera selected by the messenger service user in a camera management list; And
Determining whether the information of the IP camera is public or private, registering the IP camera in the camera management list, and connecting the IP camera with the messenger service user;
Registering the IP camera to the camera management server, the IP camera access method using the Internet and mobile messenger, characterized in that the information of the IP camera set to public or private.
제 7 항에 있어서,
상기 IP 카메라의 정보가 비공개이면 상기 메신저 서비스 사용자가 해당 IP 카메라의 사용자 ID와 패스워드를 입력하여 상기 카메라 관리목록에 등록하고 해당 IP 카메라와 상기 메신저 서비스 사용자를 연결하는 단계를 더 포함하는 것을 특징으로 하는 인터넷 및 모바일 메신저를 이용한 IP 카메라 접속 방법.
The method of claim 7, wherein
If the information of the IP camera is private, the messenger service user may further input the user ID and password of the IP camera to register in the camera management list and connect the IP camera to the messenger service user. IP camera access method using the Internet and mobile messenger.
삭제delete
KR1020130086194A 2013-07-22 2013-07-22 The system and method access ip camera using internet messenger and mobile messenger KR101344062B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130086194A KR101344062B1 (en) 2013-07-22 2013-07-22 The system and method access ip camera using internet messenger and mobile messenger

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130086194A KR101344062B1 (en) 2013-07-22 2013-07-22 The system and method access ip camera using internet messenger and mobile messenger

Publications (1)

Publication Number Publication Date
KR101344062B1 true KR101344062B1 (en) 2013-12-24

Family

ID=49988911

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130086194A KR101344062B1 (en) 2013-07-22 2013-07-22 The system and method access ip camera using internet messenger and mobile messenger

Country Status (1)

Country Link
KR (1) KR101344062B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101843920B1 (en) * 2016-12-26 2018-03-30 주식회사 에듀템 Remote teaching video photographing and publishing system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100469957B1 (en) * 2001-03-15 2005-02-02 (주)로보옵틱스 A system for messenger and security using internet and the method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100469957B1 (en) * 2001-03-15 2005-02-02 (주)로보옵틱스 A system for messenger and security using internet and the method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101843920B1 (en) * 2016-12-26 2018-03-30 주식회사 에듀템 Remote teaching video photographing and publishing system

Similar Documents

Publication Publication Date Title
US8453228B2 (en) System and method for video recording, management and access
US20080122920A1 (en) Web server and method for monitoring system
KR101515977B1 (en) System for providing video information using IP camera in cloud configuration method thereof
KR102237086B1 (en) Apparatus and method for controlling a lobby phone that enables video surveillance through a communication terminal that can use a 5G mobile communication network based on facial recognition technology
KR101095951B1 (en) Cloud computing-based system of video surveillance as a service(vsaas) using image information stored in digital video recorder(dvr)
CN104159086A (en) A platform for monitoring a digital video of a provincial road network
US20130242107A1 (en) Cloud Technology Surveillance System
KR20130003886A (en) Security service server and smart security method
US20140267752A1 (en) Cloud technology surveillance
US9253521B2 (en) Image streaming system for minimizing resource usage of network video recorder (NVR)
Durga et al. SmartMobiCam: Towards a new paradigm for leveraging smartphone cameras and IaaS cloud for smart city video surveillance
KR20020061288A (en) Network Digital Video Control Server System
KR101051692B1 (en) CCT E-Map System
RU90230U1 (en) VIDEO SURVEILLANCE SYSTEM WITH A COMMON SERVER ON THE INTERNET NETWORK
US20170155970A1 (en) Plug and Play Method and System of Viewing Live and Recorded Contents
KR101344062B1 (en) The system and method access ip camera using internet messenger and mobile messenger
CN110599655A (en) Ultimo unified decision platform and security management method
JP2014192804A (en) Apparatus, method and program for managing network camera
KR20190088731A (en) Event video management system based on mobile
CN104639871A (en) Centralized monitoring management system
KR20140137084A (en) System and method for providing video by closed-circuit television
KR100747080B1 (en) Data transmission system of security device with web camera
JP2017126840A (en) Image data recording reproducing system
JP4978125B2 (en) COMMUNICATION CONTROL DEVICE AND COMMUNICATION CONTROL METHOD
CN104378588A (en) Centralized monitoring management system guaranteeing real-time communication

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161205

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171218

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181217

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191216

Year of fee payment: 7