KR20230159183A - 긴급전화 기반 영상통화 자동전환 서비스 제공 시스템 - Google Patents

긴급전화 기반 영상통화 자동전환 서비스 제공 시스템 Download PDF

Info

Publication number
KR20230159183A
KR20230159183A KR1020220059220A KR20220059220A KR20230159183A KR 20230159183 A KR20230159183 A KR 20230159183A KR 1020220059220 A KR1020220059220 A KR 1020220059220A KR 20220059220 A KR20220059220 A KR 20220059220A KR 20230159183 A KR20230159183 A KR 20230159183A
Authority
KR
South Korea
Prior art keywords
call
automatic switching
switching service
terminal
emergency
Prior art date
Application number
KR1020220059220A
Other languages
English (en)
Other versions
KR102637249B1 (ko
Inventor
한덕희
Original Assignee
한덕희
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한덕희 filed Critical 한덕희
Priority to KR1020220059220A priority Critical patent/KR102637249B1/ko
Publication of KR20230159183A publication Critical patent/KR20230159183A/ko
Application granted granted Critical
Publication of KR102637249B1 publication Critical patent/KR102637249B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72418User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting emergency services
    • H04M1/72421User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting emergency services with automatic activation of emergency service functions, e.g. upon sensing an alarm
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/10Alarms for ensuring the safety of persons responsive to calamitous events, e.g. tornados or earthquakes
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/10Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/90Services for handling of emergency or hazardous situations, e.g. earthquake and tsunami warning systems [ETWS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/10Details of telephonic subscriber devices including a GPS signal receiver

Landscapes

  • Engineering & Computer Science (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Environmental & Geological Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Alarm Systems (AREA)
  • Telephonic Communication Services (AREA)

Abstract

긴급전화 기반 영상통화 자동전환 서비스 제공 시스템이 제공되며, 긴급전화번호로의 호(Call) 발신이 되는 경우 자동으로 음성통화모드에서 영상통화모드로 전환되는 사용자 단말 및 사용자 단말에서 긴급전화번호로 호 발신이 되는 경우 음성통화모드에서 영상통화모드로 자동전환되도록 제어하는 제어부, 영상통화모드에서 스트리밍되는 영상 데이터 내 적어도 하나의 객체를 식별 및 분석하는 분석부, 적어도 하나의 객체에 대한 정보를 관할 기관 단말로 전송하는 전송부를 포함하는 자동전환 서비스 제공 서버를 포함한다.

Description

긴급전화 기반 영상통화 자동전환 서비스 제공 시스템{SYSTEM FOR PROVIDING EMERGENCY CALL BASED AUTOMATIC CALL SWITCHING SERVICE}
본 발명은 긴급전화 기반 영상통화 자동전환 서비스 제공 시스템에 관한 것으로, 긴급전화번호로 호 발신이 발생하면 음성통화를 자동으로 영상통화로 전환하는 시스템을 제공한다.
재난은 국민의 생명·신체 및 재산과 국가에 피해를 주거나 줄 수 있는 갑작스러운 사건으로 정의된다. 태풍, 홍수, 호우와 같은 자연현상으로 인하여 발생하는 자연재난과 화재, 붕괴, 교통사고, 환경오염사고와 같은 인적 재난으로 구분할수 있다. 최근 국가적으로 자연 재난과 인적 재난의 유형은 다양해지고 있으며, 복합재난 형태로 증가하고 있다. 재난 대응의 목표는 재난 상황을 빠르게 인지하고 정확한 행동 매뉴얼을 적용함으로써, 추가적인 인적 및 물적 피해를 최소화하는 것이다. 4차 산업혁명은 정보통신기술을 기반으로 한 산업구조의 변화와 이에 따른 생산성 향상을 특징으로 하며, 정보통신기술(ICT)의 발전은 전 산업 분야에서 기존의 체계를 혁신적으로 변화시키고 있고, 인프라 구축과 플랫폼의 형성으로 패러다임의 변화와 새로운 가치가 창출되고 있다.
이때, 긴급전화번호로 호 발신이 된 경우 CCTV와 연계하거나 발신자의 카메라를 원격에서 제어하여 상황을 수신하는 방법이 연구 및 개발되었는데, 이와 관련하여, 선행기술인 한국등록특허 제10-1872313호(2018년07월31일 공고) 및 한국공개특허 제2013-0063442호(2013년06월14일 공개)에는, CCTV를 통하여 이상행위를 하는 객체를 추적하도록 하고, 관제서버에서 성범죄자 또는 실종자가 등록되면 CCTV로 확인된 각 피사체를 비교하여 제공하는 구성과, 상대방 단말의 위급상황에서 전화를 받을 수 없을지라도 영상 및 음성통화로를 구성하여 상황을 파악하고 위급상황발생시 대신 관할 관청에 신고할 수 있도록 할 때, 제어 단말 및 피제어 단말 간 연결을 인증하고 중계하며, 카메라를 원격제어하여 긴급상황에 대응하도록 하는 구성이 각각 개시되어 있다.
다만, 전자의 경우 개인정보보호법의 시행으로 인하여 권한이 없다면 CCTV를 열람할 수 없어 접근성이 떨어지고, 후자의 경우에도 제어 단말과 피제어 단말 간 인증이 없으면 중계자체가 되지 않는데, 범죄자가 위협하는 상황이나 산불이 나서 다급한 상황에서 인증번호를 문자로 받고, 이를 복사하여 다시 인증번호를 붙이며, 봇(Bot)이 아니라는 증명을 하기 위해 잘 보이지도 않는 문자를 써 넣어야 겨우 인증을 받는 복잡한 과정을 거치는 구성만을 개시하고 있을 뿐이다. 이에, 긴급전화번호로 호 발신이 된 경우에는 어떠한 터치나 조작없이도 바로 영상통화로 자동전환되도록 함으로써 관계기관 담당자가 상황을 정확하게 파악할 수 있도록 하는 플랫폼의 연구 및 개발이 요구된다.
본 발명의 일 실시예는, 긴급전화번호로 호 발신이 된 경우, 음성통화에서 어떠한 터치나 조작 없이도 자동으로 영상통화로 강제전환시킴으로써, 관할 기관 단말에서 영상통화로 실시간 스트리밍되는 영상 데이터를 출력하고, 영상 데이터 내 적어도 하나의 객체에 대한 기술자(Descriptor)를 이용하여 영상 및 텍스트로 상황을 정확하게 판단하며, 관할 기관 단말에서 영상 데이터를 스트리밍받지 못하는 경우, 기술자로 기술된 텍스트를 음성통화를 유지하면서 실시간으로 관할 기관 단말로 전송함으로써 관할 기관 담당자가 상황을 정확히 파악할 수 있도록 도움을 주는, 긴급전화 기반 영상통화 자동전환 서비스 제공 시스템을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 긴급전화번호로의 호(Call) 발신이 되는 경우 자동으로 음성통화모드에서 영상통화모드로 전환되는 사용자 단말 및 사용자 단말에서 긴급전화번호로 호 발신이 되는 경우 음성통화모드에서 영상통화모드로 자동전환되도록 제어하는 제어부, 영상통화모드에서 스트리밍되는 영상 데이터 내 적어도 하나의 객체를 식별 및 분석하는 분석부, 적어도 하나의 객체에 대한 정보를 관할 기관 단말로 전송하는 전송부를 포함하는 자동전환 서비스 제공 서버를 포함한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 긴급전화번호로 호 발신이 된 경우, 음성통화에서 어떠한 터치나 조작 없이도 자동으로 영상통화로 강제전환시킴으로써, 관할 기관 단말에서 영상통화로 실시간 스트리밍되는 영상 데이터를 출력하고, 영상 데이터 내 적어도 하나의 객체에 대한 기술자(Descriptor)를 이용하여 영상 및 텍스트로 상황을 정확하게 판단하며, 관할 기관 단말에서 영상 데이터를 스트리밍받지 못하는 경우, 기술자로 기술된 텍스트를 음성통화를 유지하면서 실시간으로 관할 기관 단말로 전송함으로써 관할 기관 담당자가 상황을 정확히 파악할 수 있도록 도움을 줄 수 있다.
도 1은 본 발명의 일 실시예에 따른 긴급전화 기반 영상통화 자동전환 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 자동전환 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 긴급전화 기반 영상통화 자동전환 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 긴급전화 기반 영상통화 자동전환 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체 지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 긴급전화 기반 영상통화 자동전환 서비스 제공 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 긴급전화 기반 영상통화 자동전환 서비스 제공 시스템(1)은, 적어도 하나의 사용자 단말(100), 자동전환 서비스 제공 서버(300), 적어도 하나의 관할 기관 단말(400), 적어도 하나의 정보제공 서버(500) 및 관리자 단말(600)을 포함할 수 있다. 다만, 이러한 도 1의 긴급전화 기반 영상통화 자동전환 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.
이때, 도 1의 각 구성요소들은 일반적으로 네트워크(Network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 사용자 단말(100)은 네트워크(200)를 통하여 자동전환 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 자동전환 서비스 제공 서버(300)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 적어도 하나의 관할 기관 단말(400)과 연결될 수 있다. 또한, 적어도 하나의 관할 기관 단말(400)은, 네트워크(200)를 통하여 자동전환 서비스 제공 서버(300)와 연결될 수 있다.
여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.
적어도 하나의 사용자 단말(100)은, 긴급전화 기반 영상통화 자동전환 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 긴급전화번호로 호 발신을 하면 음성통화가 영상통화로 자동전환되는 단말일 수 있다.
여기서, 적어도 하나의 사용자 단말(100)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 사용자 단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 사용자 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
자동전환 서비스 제공 서버(300)는, 긴급전화 기반 영상통화 자동전환 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 자동전환 서비스 제공 서버(300)는, 사용자 단말(100)에서 긴급전화번호로 호 발신을 하는 경우 음성통화를 영상통화로 자동전환하여 관할 기관 단말(400)과 연결되도록 하는 서버일 수 있다.
여기서, 자동전환 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.
적어도 하나의 관할 기관 단말(400)은, 긴급전화 기반 영상통화 자동전환 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하는 관할 기관의 단말일 수 있다. 관할 기관 단말(400)은 사용자 단말(100)로부터 실시간으로 스트리밍되는 영상 데이터를 수신하여 출력하는 단말일 수 있다.
여기서, 적어도 하나의 관할 기관 단말(400)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 관할 기관 단말(400)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 관할 기관 단말(400)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
도 2는 도 1의 시스템에 포함된 자동전환 서비스 제공 서버를 설명하기 위한 블록 구성도이고, 도 3 및 도 4는 본 발명의 일 실시예에 따른 긴급전화 기반 영상통화 자동전환 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 2를 참조하면, 자동전환 서비스 제공 서버(300)는, 제어부(310), 분석부(320), 전송부(330), 증거확보부(340), 화면설명전달부(350), 위치알림부(360), 중계부(370) 및 CCTV연계부(380)를 포함할 수 있다.
본 발명의 일 실시예에 따른 자동전환 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 적어도 하나의 사용자 단말(100) 및 적어도 하나의 관할 기관 단말(400)로 긴급전화 기반 영상통화 자동전환 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 적어도 하나의 사용자 단말(100) 및 적어도 하나의 관할 기관 단말(400)은, 긴급전화 기반 영상통화 자동전환 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 적어도 하나의 사용자 단말(100) 및 적어도 하나의 관할 기관 단말(400)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: World Wide Web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(Hyper Text Mark-up Language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(Chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(Application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(App)을 포함한다.
도 2를 참조하면, 제어부(310)는, 사용자 단말(100)에서 긴급전화번호로 호 발신이 되는 경우 음성통화모드에서 영상통화모드로 자동전환되도록 제어할 수 있다. 사용자 단말(100)은, 긴급전화번호로의 호(Call) 발신이 되는 경우 자동으로 음성통화모드에서 영상통화모드로 전환될 수 있다.
분석부(320)는, 영상통화모드에서 스트리밍되는 영상 데이터 내 적어도 하나의 객체를 식별 및 분석할 수 있다. 이때, YOLO(You Look Only Once)를 이용할 수도 있는데, YOLO 모델은 학습한 객체에 대해 실시간으로 인식 및 추적하며, 매우 빠른 속도를 가지고, 정확성도 검증된 우수모델이다. 일반적인 객체 인식 모델들은 특정 영역에 대한 의심(Region Proposal) 과정을 거친 후, 분류를 하지만 YOLO는 경계 영역(Bounding Box)와 분류 확률맵(Class Probability Map)을 이용하므로 각 객체를 식별하는 모델로 가장 선행되는 과정이자 제일 중요한 역할을 할 수 있다. 또, Inception은 IRSVRC에서 VGG보다 우수한 성능을 보이며 우승한 Inception 전(Previous) 모델을 개선한 것으로, Google이 제작했다. 딥러닝 층이 깊어지고 넓어질수록 성능이 좋아지지만 오버피팅과 기울기 소실(Gradient Vanishing)을 일으킬 가능성이 높아지는 문제를 해결한 모델이다. 이는 합성곱 층(Convolutional Layer)을 띄엄띄엄 배치하면서, 행렬의 연산은 밀집되게 처리하여 정확도는 올리면서 컴퓨터의 연산량을 줄이는 것이다. Inception은 이미지 캡셔닝을 수행하는 과정에서 이미지의 인식을 담당한다. 상황을 파악하고 식별하는 모델에서도 캡셔닝 하고자 하는 이미지 주위의 환경에 대해 인식하는 과정에서 이용할 수 있다. 게이트 레이어(Forget Gate Layer), 정보를 입력받을지 여부를 결정하는 입력 게이트 레이어(Input Gate Layer), 그리고 신경망 전체를 관통하는 셀 스테이트(Cell State) 등으로 다양하게 구성되어 있다. LSTM은 이미지 캡셔닝을 수행하는 과정에서 인식된 이미지를 텍스트로 변환하는 역할을 담당한다. 상황 설명 모델에서도 캡셔닝 하고자 하는 이미지의 인식이 완료되었을때, 이를 토대로 캡션을 생성하는 과정에서 사용하여, 상황을 텍스트로 표현하는데 이용될 수 있다.
Pyttsx는 텍스트를 음성으로 변환하는 TTS(Text-To-Speech) 파이썬 라이브러리이다. Google이 제작한 gTTS 및 타 TTS 모델과 달리 오프라인으로 작동할 수 있으며, 타 모델은 결과 데이터인 음성을 파일로 저장하는 반면, Pyttsx3는 즉시 음성으로 출력되기 때문에 처리 속도와 데이터 용량 관점에서 장점을 가지고 있다. 또한, 언어와 목소리, 출력 속도와 볼륨의 설정이 자유로우며 직관적인 API를 지녀 접근성이 우수하다고 볼 수 있다. Pyttsx3는 텍스트를 음성으로 변환하는 역할을 담당한다. 설명을 하는 선행 과정인 객체 인식과 이미지 캡션을 완료하면, 캡션 텍스트를 음성으로 변환해주는 과정에서 사용되어, 사용자가 범죄자에게 쫓기는 상황이어서 서술을 하지 못할 때, 또는 산불이 나 경황이 없는 상황 등을 관할 기관 단말(400)로 전달해줄 수 있다. 또, 국가 기관 또는 지자체들은 USB도 확인되지 않으면 기관 단말에서 구동을 할 수가 없는데, 이러한 상황을 고려하면 본 발명의 플랫폼에서 영상 인식, 서술 및 음성변환하여 사용자 대신 관할 기관 단말(400)로 음성으로 전달해줄 수도 있다. 전송부(330)는, 적어도 하나의 객체에 대한 정보를 관할 기관 단말(400)로 전송할 수 있다. 증거확보부(340)는, 영상 데이터가 증거력을 가지도록 디지털팩 표준에 따라 저장되도록 할 수 있다. 이때, 디지털팩 표준은 이미 디지털증거팩(Digital Evidence Package)의 표준에 규정되어 있으므로 상세한 설명은 생략한다.
화면설명전달부(350)는, 관할 기관 단말(400)에서 영상 데이터를 수신하지 못하는 경우, 영상 데이터를 이루는 적어도 하나의 프레임(Frame) 중 키프레임을 자동으로 추출한 후, 키프레임을 서술하는 서술자(Descriptor, 기술자)로 생성된 텍스트와 매핑하여 관할 기관 단말(400)로 전송할 수 있다. 관할 기관 단말(400)에서 영상이 흐리거나 잘 보이지 않아서 또는 너무 확대되었거나 멀어서 파악하지 못하는 경우가 많은데, 이때 서술자로 각 객체를 텍스트로 제공해주거나 음성을 STT(Speech to Text)로 함께 전달함으로써 더욱 빠르고 정확한 상황파악이 가능하도록 할 수 있다. 최근 회전, 크기, 어파인 변환에 대해 강인하면서 동시에 고속 처리가 가능한 기술자에 대한 요구가 증가하고 있다. 본 발명의 일 실시예에서는 영상통화로 전달되는 2차원 영상에서 물체 인식 및 포즈 추정을 위한 영상 표현 기술인 계층적 구조 패턴에 기반한 새로운 이진 기술자(Binary Descriptor)를 이용할 수 있다. 본 발명의 일 실시예는, 객체 인식의 프레임워크를 기반으로 하는 계층적 구조 패턴 기반의 이진 기술자 생성 방법 및 변화에 강인한 주 방향을 추정하는 방법을 이용할 수 있다.
<계층적 구조의 이진 기술자>
본 발명의 일 실시예에서 이용하는 기술자의 패턴 구조는, 다양한 크기의 원들이 서로 겹치는 형태로서 누적되어 표현된다. 패턴 구조 내의 한 개의 원은 기술자 생성에서 사용되는 명암 비교 대상으로 노드라고 정의하고, 같은 원의 크기를 갖는 노드들을 동일 계층으로서 정의한다. 각 계층의 한 개의 노드는 부모노드들의 형태를 모방하는 자식노드들이 존재할 수 있으며, 여기서, 형태는 자식노드들이 부모노드로서 또 다른 자식노드들을 재귀적으로 포함할 수 있음을 의미한다. 자식노드의 크기는 부모노드의 반지름을 지름으로 하는 크기를 갖는다. 여기서, 영역에 포함하고, 포함되는 관계에 따라 노드들을 부모노드와 자식노드로 각각 정의 할 수 있다. 노드를 표현하는 색상에 따라 부모노드와 자식노드들을 외곽선 색상으로 구분하여 표현하는 경우, 포함하고, 포함되는 관계에 따라 노드들을 부모노드와 자식노드로 각 정의된다.
한 개의 부모노드는 해당 노드의 영역 내에서 다수의 자식노드들의 영역들을 포함한다. 예를 들어 자식노드들을 갖는 패턴 구조로 부모노드와 자식노드의 계층적 관계를 가정하면, 각 노드의 영역의 크기는 반지름을 표준편차로 하는 가우시안 스무딩된 중심 값으로 표현되거나 영역 내의 화소들의 평균값으로 표현될 수 있으며 본 발명에서는 속도 향상을 위해 적분영상을 사용한 평균 명암 값을 노드의 대표 값으로 사용한다.
<기술자 서술>
기술자 서술은 부모노드의 대표 값과 자식노드들의 대표 값의 비교를 통하여 기술자가 서술된다. 이에 대한 수학식은 이하 수학식 1과 같다.
Figure pat00001
여기서, N 은 기술자의 차원 수로 한 개의 기술자를 표현하기 위한 비트 수를 나타내고, xi 는 기술자의 i 비트의 부호를 결정하는 위치를 나타낸다. P(xi)는 자식노드 xi 를 포함하는 한 단계 위 계층의 부모노드의 위치를 나타낸다. 수학식 1에서의 I(·)는 입력된 노드의 대표 값을 출력한다. 최종 출력인 T(xi)는 i 번째 부모노드와 자식노드의 대표 값 비교로서 0과 1의 부호로 나타낸다.
기술자 생성 단계에서, 각 계층에서 내부가 색상으로 채워진 원들은 현재 계층에서의 명암 비교를 수행하기 위한 부모노드와 자식노드들로서 한 개의 Pair로 볼 수 있다. 기술자의 크기는 계층의 깊이에 따라 수학식 2와 같이 정리된다.
Figure pat00002
여기서, N 은 총 비트수로 기술자의 크기를 나타내고, L 과 S 는 각각 계층의 깊이와 한 개의 부모가 갖는 자식노드의 수를 나타낸다. 각 노드 간의 임의의 두 위치에 대한 대표 값 비교와는 달리 계층적 구조로서 부모와 자식노드의 명암 비교에 따른 계층적 기술 방법으로 영역 내의 지역적 특성을 서술할 수 있다. 상위 계층의 경우 비교적 적은 수로 패치 내의 영역들을 크게 분할하여 패치의 전체적 특성을 나타내고, 하위 계층 일수록 많은 수의 작은 영역들로 상세한 특성을 나타내는 Coarse-to-Fine 형태로 볼수 있다.
<피라미드 영상 기반 키포인트 추출>
크기 변화에 불변한 기술자를 생성하기 위하여 카메라 입력 영상으로부터 영상 크기에 대한 피라미드 영상을 생성하고, 각 단계의 피라미드 영상에 대하여 키포인트를 추출한다. 추출된 영역에 대해 일정 크기의 패치 영역에 대하여 본 발명의 일 실시예에 따른 계층적 구조 패턴에 대해 기술자를 서술한다. 본 발명에서는 키포인트 추출기로서 FAST Corner 검출기를 이용하여 Corner-like한 위치를 추정하고, Harris Cornerness Measure 방법을 사용하여 에지 성분을 제거하는 ORB(Oriented FAST and Rotated BRIEF)의 키포인트 추출 방법을 사용할 수 있다.
<계층적 구조 패턴 기반의 방향 추정>
키포인트 위치에서의 주 방향은 기술자 서술 단계에서의 서술 순서를 나타내기 때문에, 회전, 시점 변환, 조명 변화 등의 외부환경의 변화에 강인해야 한다. ORB에서는 주 방향을 추정하기 위하여 키포인트의 일정 크기의 영역에서 x, y 축에 대한 무게 중심의 위치로 부터 키포인트의 중심까지의 방향벡터를 주 방향으로 사용하는 Intensity Centroid 방법을 이용한다. BRISK의 경우 변화에 강인한 주 방향을 추정하기 위하여 BRISK 패턴에서 Long-Pair들을 정의하고 특정 Pair의 대표 값의 차이를 방향벡터의 스칼라 값으로 벡터 합을 구하여 주 방향으로 사용하는 방법을 이용한다. 다만, BRISK의 패턴의 Long-Pair내의 수 백 개의 Pair들의 벡터 합을 계산 하는 단점이 있다. FREAK은 이를 해결하기 위하여 FREAK 패턴내의 대칭되는 Pair들에 대해서 BRISK의 벡터 합 방법을 사용하고, 45개의 Pair들에 대한 계산만을 고려하기 때문에 속도와 메모리의 효율측면에서 효과적으로 계산하는 방법을 이용한다. 그럼에도 불구하고, 일반적인 기술자들의 주 방향 성능 측정에서는 FREAK의 성능이 가장 안정적이다.
이에 따라 본 발명의 일 실시예에서는, 계층적 구조의 패턴을 이용하여 일반 기술자들의 계산속도 보다 빠르고 유사한 성능을 갖는 주 방향을 추정 방법을 이용할 수 있다. 주 방향 추정을 위한 기본 형태는 부모노드와 자식노드들의 위치 벡터를 방향벡터로 하고, 대표 값의 차이를 스칼라 값으로 방향벡터들의 벡터 합을 주 방향으로서 사용한다. 수학식 3은 전체 계층에 대한 제안하는 주 방향 추정식을 나타낸다.
Figure pat00003
위 식에서 벡터 O는 주 방향에 대한 방향벡터를 나타내고, N 은 앞서 정의한 전체 비트 수로 자식노드들의 수를 의미한다. θ 는 최종 추출된 각도로 추정된 주 방향벡터에 대한 아크탄젠트 값으로 구할 수 있다. 그러나, 전 계층에 대해 주 방향을 추정하는 것은 계산시간을 증가시킴으로 기술자 서술 속도 보다 느리게 되는 문제가 있다. 이를 해결하기 위하여 각 계층별 주 방향 추정 실험을 통하여 가장 적은 수의 노드를 계산하면서 주 방향을 추정하는 계층을 선택할 수 있다.
예를 들어, 주 방향 추정 방법의 성능을 1계층과 2계층에 대해 각각 수행하여 주 방향을 추정한 결과와 기존 연구들에서의 주 방향 추정 결과와 비교할 수 있다. 실험은 영상에 대해 모든 기술자에 대해 동일한 키포인트의 위치를 정의하고, 각 키포인트 위치에 대해 각각의 기술자를 이용하여 주 방향을 추정하고, 영상을 조명 변화, 가우시안 블러, 회전, 크기, 시점 변화, 회전+시점 변화 후 위치 변환된 각각의 키포인트에 대해 주 방향을 추정할 수 있고, 변환 후 추정된 주 방향과 입력 영상에서 추정된 키포인트의 방향과의 차이를 성능의 지표로 사용할 수 있다.
만약, 주 방향 추정에 대한 실험결과에 대해 두 번째 계층까지의 누적된 벡터 합의 결과가 첫 번째 계층의 주 방향 추정의 성능 보다 낮았고, 1계층의 노드들을 이용하여 주 방향을 추정한 성능이 다른 기술자들의 주 방향 추정 결과와 유사한 성능을 보였다면, 이는 적당한 수의 대표 노드들에 대해 서 주 방향을 추정하는 것이 많은 수의 노드들에 대해서 주 방향을 추정하는 것 보다 더 효율적임을 의미한다. 따라서, 1계층에 대한 주 방향 추정에 대해 수학식 3을 다시 정리하면 수학식 4와 같아진다.
Figure pat00004
여기서, G1 은 1 계층의 자식노드들의 집합으로 부모노드와 위치가 겹치는 중앙 노드의 연산을 제외하고, 부모노드 포함한 노드의 대표 값 계산과 간단한 벡터 합 연산으로 일반적인 주 방향 추출 방법에 대해 빠른 속도로 기존 기술자의 성능과 유사하게 주 방향을 추정할 수 있다.
<기술자 매칭 및 객체 포즈 추정>
이진 부호로 구성된 고속 이진 기술자 매칭은 해밍 거리(Hamming Distance)로 고속 매칭이 가능하다. 각 비트의 위치에서 같은 부호를 갖는 비트의 경우 거리는 0이 되고, 다른 부호의 경우 거리는 1이 된다. 이는 비트 연산자 XOR 로 구현되어 고속으로 기술자 매칭이 가능하다. 사전에 등록된 DB 영상에서 추출된 기술자들과 입력 영상에서 추출된 각 기술자들의 전사적 관계에 대한 해밍 거리 매칭을 수행하고, 거리가 가장 작은 기술자를 매칭된 기술자로 사용한다. 매칭된 기술자들의 일대일 대응관계에 대해 통계적 파라미터 추정 방법인 란삭(Ransac) 알고리즘을 사용하여 물체의 포즈 관계인 호모그래피(Homography)를 추정하여 객체의 포즈를 추정한다. 이렇게 기술자를 이용하는 경우 화면을 설명해주는 것과 같은 텍스트를 출력해낼 수 있고 사용자가 긴급상황에서 또는 설명할 경황이 없을 때 관할기관 담당자에게 정보를 안내할 수 있으므로 담당자의 빠른 상황 파악이 가능해진다.
위치알림부(360)는, 사용자 단말(100)의 GPS가 오프(Off)된 후, 긴급전화번호로 호 발신이 발생하면 즉시 GPS를 강제 온(On)되도록 제어하고, 사용자 단말(100)의 GPS를 관할 기관 단말(500)로 전송할 수 있다. 실내인 경우 핑거프린팅을 이용할 수도 있으나, 핑거프린팅은 미리 그 내부에서 각 좌표의 수신세기가 확보되어야 하므로 WIFI와의 연결강도를 이용하여 위치를 추정하는 방법을 더 이용할 수도 있다.
중계부(370)는, 사용자 단말(100)에서 스트리밍되는 영상 데이터를 관할 기관 단말(500)로 실시간으로 전송할 수 있다. 덧붙여서, 영상 데이터를 실시간으로 홀로그램화하여 관할 기관 단말(400)에서 출력되도록 할 수도 있다. 예를 들어, 홀로그램 영상통화웹서버를 구축하고 WebRTC를 이용하여 웹 기반 영상통화 시스템을 구현할 수 있다. 구현에 필요한 인터페이스는 getUserMedia, PeerConnection, DataChannel로 세 가지로 나눌 수 있으며 GetUserMedia를 사용하여 사용자 단말(100)의 카메라나 마이크와 같은 미디어 장치를 엑세스할 수 있다. PeerConnection은 Peer간의 화상과 음성 등을 교환하고 Peer간의 연결을 위한 거의 모든 작업을 수행해주기에 영상통화 구현에 있어 필수적으로 사용해야 한다. DataChannel은 텍스트나 파일을 주고받을 수 있는 API로 여러 데이터를 주고받을 수 있게 된다. 이러한 인터페이스들로 영상통화를 구현하여 별도의 플러그인이나 소프트웨어 없이 데이터 공유를 가능하게 한다.
홀로그램 영상을 구현하기 위해서는 배경과 객체를 분리할 수 있어야 하며 전경 객체 추출 알고리즘으로는 워터쉐드와 그랩컷 알고리즘이 있다. 워터쉐드 알고리즘은 영상의 기울기 값으로 낮은 기울기에서 높은 기울기까지 점차 수면을 상승시키면서 객체의 윤곽선을 추출할 수 있게 된다. 그랩컷 알고리즘은 객체의 영역을 지정해주고 배경과 객체를 분리하여 객체를 추출하게 된다. 이렇게 두 가지의 알고리즘을 사용하여 객체를 추출하고 배경을 검정색으로 표현하여 홀로그램 영상을 만들 수 있게 된다. WebRTC를 이용하여 별도의 소프트웨어 없이 영상통화를 하도록 구현할 수 있다. 영상통화에서 보여주는 카메라 영상은 OpenCV의 워터쉐드 알고리즘을 이용하여 객체의 윤곽선을 표시하고, 이를 그랩컷 알고리즘을 사용하여 객체를 추출한다. 여기서 배경을 지워 검정색으로 표현하며, 플로팅홀로그램 기법을 사용하기 위해서 투명한 반사판을 이용해 홀로그램 영상을 구현할 수 있다.
CCTV연계부(380)는, 사용자 단말(100)의 GPS를 이용하여 GPS의 위치를 대향하여 촬영하는 적어도 하나의 CCTV를 검색하고, 적어도 하나의 CCTV로부터 수신된 영상 데이터와 사용자 단말(100)로부터 수신된 영상 데이터를 실시간으로 출력하도록 할 수 있다.
이하, 상술한 도 2의 자동전환 서비스 제공 서버의 구성에 따른 동작 과정을 도 3 및 도 4를 예로 들어 상세히 설명하기로 한다. 다만, 실시예는 본 발명의 다양한 실시예 중 어느 하나일 뿐, 이에 한정되지 않음은 자명하다 할 것이다.
도 3을 참조하면, (a) 자동전환 서비스 제공 서버(300)는 사용자 단말(100)의 성명, 주소, 전화번호, 성별, 직업 등을 등록하고, 위치 엑세스권 및 카메라 엑세스권을 부여받는다. 그리고, (b) 자동전환 서비스 제공 서버(300)는 사용자 단말(100)에서 긴급전화번호로 호 발신 이벤트가 발생하면, (c)와 같이 자동전환을 수행하여 관할 기관 단말(400)로 전달되도록 한다. 그리고 자동전환 서비스 제공 서버(300)는 도 4의 (a)와 같이 긴급상황을 분석하여 전달할 수도 있고, (b)와 같이 YOLO를 이용하거나 (c)와 같이 GPS를 강제구동시켜 위치를 획득할 수도 있다. (d)와 같이 범죄에 연루되거나 증거력있는 증거가 필요한 경우 자동전환 서비스 제공 서버(300)는 표준 디지털팩에 따라 영상을 저장한 후 영상을 관할 사법기관에 전달할 수도 있다.
이와 같은 도 2 내지 도 4의 긴급전화 기반 영상통화 자동전환 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 긴급전화 기반 영상통화 자동전환 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 5는 본 발명의 일 실시예에 따른 도 1의 긴급전화 기반 영상통화 자동전환 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 5를 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 5에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.
도 5를 참조하면, 자동전환 서비스 제공 서버는, 사용자 단말에서 긴급전화번호로 호 발신이 되는 경우 음성통화모드에서 영상통화모드로 자동전환되도록 제어하고(S5100), 영상통화모드에서 스트리밍되는 영상 데이터 내 적어도 하나의 객체를 식별 및 분석한다(S5200).
그리고, 자동전환 서비스 제공 서버는, 적어도 하나의 객체에 대한 정보를 관할 기관 단말로 전송한다(S5300).
상술한 단계들(S5100~S5300)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S5100~S5300)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.
이와 같은 도 5의 긴급전화 기반 영상통화 자동전환 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 4를 통해 긴급전화 기반 영상통화 자동전환 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 5를 통해 설명된 일 실시예에 따른 긴급전화 기반 영상통화 자동전환 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 일 실시예에 따른 긴급전화 기반 영상통화 자동전환 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 긴급전화 기반 영상통화 자동전환 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (6)

  1. 긴급전화번호로의 호(Call) 발신이 되는 경우 자동으로 음성통화모드에서 영상통화모드로 전환되는 사용자 단말; 및
    상기 사용자 단말에서 긴급전화번호로 호 발신이 되는 경우 음성통화모드에서 영상통화모드로 자동전환되도록 제어하는 제어부, 상기 영상통화모드에서 스트리밍되는 영상 데이터 내 적어도 하나의 객체를 식별 및 분석하는 분석부, 상기 적어도 하나의 객체에 대한 정보를 관할 기관 단말로 전송하는 전송부를 포함하는 자동전환 서비스 제공 서버;
    를 포함하는 긴급전화 기반 영상통화 자동전환 서비스 제공 시스템.
  2. 제 1 항에 있어서,
    상기 자동전환 서비스 제공 서버는,
    상기 영상 데이터가 증거력을 가지도록 디지털팩 표준에 따라 저장되도록 하는 증거확보부;
    를 더 포함하는 것을 특징으로 하는 긴급전화 기반 영상통화 자동전환 서비스 제공 시스템.
  3. 제 1 항에 있어서,
    상기 자동전환 서비스 제공 서버는,
    상기 관할 기관 단말에서 상기 영상 데이터를 수신하지 못하는 경우, 상기 영상 데이터를 이루는 적어도 하나의 프레임(Frame) 중 키프레임을 자동으로 추출한 후, 상기 키프레임을 서술하는 서술자(Descriptor)로 생성된 텍스트와 매핑하여 상기 관할 기관 단말로 전송하는 화면설명전달부;
    를 더 포함하는 것을 특징으로 하는 긴급전화 기반 영상통화 자동전환 서비스 제공 시스템.
  4. 제 1 항에 있어서,
    상기 자동전환 서비스 제공 서버는,
    상기 사용자 단말의 GPS가 오프(Off)된 후, 상기 긴급전화번호로 호 발신이 발생하면 즉시 상기 GPS를 강제 온(On)되도록 제어하고, 상기 사용자 단말의 GPS를 상기 관할 기관 단말로 전송하는 위치알림부;
    를 더 포함하는 것을 특징으로 하는 긴급전화 기반 영상통화 자동전환 서비스 제공 시스템.
  5. 제 1 항에 있어서,
    상기 자동전환 서비스 제공 서버는,
    상기 사용자 단말에서 스트리밍되는 영상 데이터를 상기 관할 기관 단말로 실시간으로 전송하는 중계부;
    를 더 포함하는 것을 특징으로 하는 긴급전화 기반 영상통화 자동전환 서비스 제공 시스템.
  6. 제 1 항에 있어서,
    상기 자동전환 서비스 제공 서버는,
    상기 사용자 단말의 GPS를 이용하여 상기 GPS의 위치를 대향하여 촬영하는 적어도 하나의 CCTV를 검색하고, 상기 적어도 하나의 CCTV로부터 수신된 영상 데이터와 상기 사용자 단말로부터 수신된 영상 데이터를 실시간으로 출력하도록 하는 CCTV연계부;
    를 더 포함하는 것을 특징으로 하는 긴급전화 기반 영상통화 자동전환 서비스 제공 시스템.
KR1020220059220A 2022-05-13 2022-05-13 긴급전화 기반 영상통화 자동전환 서비스 제공 시스템 KR102637249B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220059220A KR102637249B1 (ko) 2022-05-13 2022-05-13 긴급전화 기반 영상통화 자동전환 서비스 제공 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220059220A KR102637249B1 (ko) 2022-05-13 2022-05-13 긴급전화 기반 영상통화 자동전환 서비스 제공 시스템

Publications (2)

Publication Number Publication Date
KR20230159183A true KR20230159183A (ko) 2023-11-21
KR102637249B1 KR102637249B1 (ko) 2024-02-16

Family

ID=88982255

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220059220A KR102637249B1 (ko) 2022-05-13 2022-05-13 긴급전화 기반 영상통화 자동전환 서비스 제공 시스템

Country Status (1)

Country Link
KR (1) KR102637249B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140103046A (ko) * 2013-02-15 2014-08-25 삼성전자주식회사 객체 추적 방법 및 이를 지원하는 전자 장치
KR20170130715A (ko) * 2016-05-19 2017-11-29 주식회사 보라시스템즈 촬영된 영상에 대한 증거능력 확보를 위한 영상기록장치
KR102113419B1 (ko) * 2019-02-27 2020-05-20 서울특별시 영상통화 자동전환을 이용한 재난 신고 시스템 및 그 방법
KR20200102390A (ko) * 2019-11-04 2020-08-31 이도훈 모바일 긴급 재난 신고 및 처리 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140103046A (ko) * 2013-02-15 2014-08-25 삼성전자주식회사 객체 추적 방법 및 이를 지원하는 전자 장치
KR20170130715A (ko) * 2016-05-19 2017-11-29 주식회사 보라시스템즈 촬영된 영상에 대한 증거능력 확보를 위한 영상기록장치
KR102113419B1 (ko) * 2019-02-27 2020-05-20 서울특별시 영상통화 자동전환을 이용한 재난 신고 시스템 및 그 방법
KR20200102390A (ko) * 2019-11-04 2020-08-31 이도훈 모바일 긴급 재난 신고 및 처리 시스템

Also Published As

Publication number Publication date
KR102637249B1 (ko) 2024-02-16

Similar Documents

Publication Publication Date Title
CN112685565B (zh) 基于多模态信息融合的文本分类方法、及其相关设备
Nikouei et al. Smart surveillance as an edge network service: From harr-cascade, svm to a lightweight cnn
Ahmad et al. Social media and satellites: Disaster event detection, linking and summarization
CN111612009B (zh) 文本识别方法、装置、设备和存储介质
CN113095434B (zh) 目标检测方法及装置、电子设备、存储介质
CN103080951A (zh) 用于识别媒体内容中的对象的方法和装置
US20230030431A1 (en) Method and apparatus for extracting feature, device, and storage medium
KR102333143B1 (ko) 무인 계수 서비스 제공 시스템
CN112686243A (zh) 智能识别图片文字的方法、装置、计算机设备及存储介质
CN112906484A (zh) 一种视频帧处理方法及装置、电子设备和存储介质
KR102653485B1 (ko) 화재 감지를 위한 화재 감지 모델을 구축하는 전자 장치 및 그 방법
KR102637249B1 (ko) 긴급전화 기반 영상통화 자동전환 서비스 제공 시스템
CN113283343A (zh) 人群定位方法及装置、电子设备和存储介质
CN111310595B (zh) 用于生成信息的方法和装置
WO2023142554A1 (zh) 计数方法及装置、电子设备、存储介质和计算机程序产品
CN112750081A (zh) 图像处理方法、装置及存储介质
CN112396060A (zh) 基于身份证分割模型的身份证识别方法及其相关设备
CN116778415A (zh) 一种无人机用人群计数网络模型及计数方法
CN110864683B (zh) 基于增强现实的业务办理引导方法以及装置
CN112016503A (zh) 人行道检测方法、装置、计算机设备及存储介质
CN112488204A (zh) 训练样本生成方法、图像分割方法、装置、设备和介质
de Ipiña et al. Interacting with our environment through sentient mobile phones
CN113515971A (zh) 数据处理方法及系统、网络系统及其训练方法、设备
KR102566188B1 (ko) Ai 기반 실종자 관리 서비스 제공 시스템
CN114038067B (zh) 煤矿人员行为检测方法、设备及存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant