KR102608208B1 - 관심 이미지의 시인성을 개선한 스트리밍 서비스 방법, 장치 및 시스템 - Google Patents

관심 이미지의 시인성을 개선한 스트리밍 서비스 방법, 장치 및 시스템 Download PDF

Info

Publication number
KR102608208B1
KR102608208B1 KR1020230046898A KR20230046898A KR102608208B1 KR 102608208 B1 KR102608208 B1 KR 102608208B1 KR 1020230046898 A KR1020230046898 A KR 1020230046898A KR 20230046898 A KR20230046898 A KR 20230046898A KR 102608208 B1 KR102608208 B1 KR 102608208B1
Authority
KR
South Korea
Prior art keywords
image
interest
visibility
images
control system
Prior art date
Application number
KR1020230046898A
Other languages
English (en)
Inventor
한상유
Original Assignee
(주)클라모스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)클라모스 filed Critical (주)클라모스
Priority to KR1020230046898A priority Critical patent/KR102608208B1/ko
Application granted granted Critical
Publication of KR102608208B1 publication Critical patent/KR102608208B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 관심 이미지의 시인성을 개선한 스트리밍 서비스 방법, 장치 및 시스템에 관한 것으로, 복수개의 이미지 취득 장치들로부터 복수개의 이미지들을 각각 수신하는 단계; 상기 복수개의 이미지들을 관제시스템 클라이언트에 전송하는 단계; 상기 관제시스템 클라이언트로부터 상기 복수개의 이미지들 중 관심 이미지에 대한 시인성 개선 요청을 수신하는 단계; 상기 시인성 개선 요청을 기반으로 상기 복수개의 이미지 취득 장치들 중 상기 관심 이미지에 대응하는 제 1 이미지 취득 장치에 고화질 이미지를 요청하는 단계; 및 상기 고화질 이미지를 상기 관제시스템 클라이언트에 전송하는 단계를 포함한다.

Description

관심 이미지의 시인성을 개선한 스트리밍 서비스 방법, 장치 및 시스템 {METHOD, DEVICE AND SYSTEM FOR PROVIDING STREAMING SERVICE WITH IMPROVED VISIBILITY OF IMAGE OF INTEREST}
본 발명은 관심 이미지의 시인성을 개선한 스트리밍 서비스 방법, 장치 및 시스템에 관한 것으로서, 보다 상세하게는 관심 이미지 내 관심영역의 시인성을 개선하여 스트리밍 서비스를 제공하는 방법, 장치 및 시스템에 관한 것이다.
다수의 장소를 한번에 모니터링하기 위해서 관제시스템이 이용되고 있다. 일반적으로 다수의 장소에 각각 CCTV와 같은 영상장치를 구비한 후, 각 CCTV로부터 전송되는 영상을 관제시스템의 화면에 출력함으로써 관리자가 한번에 다수의 장소를 모니터링하도록 지원할 수 있다. 이러한 관제시스템은 생활안전, 사회안전, 시설관리 등의 분야에 널리 이용되고 있다.
이와 같이 다수의 영상을 기반으로 제공되는 관제 서비스에 있어서, 영상에 포함된 객체의 이미지의 시인성이 떨어지는 문제가 자주 발생한다. 예를 들어, 객체가 이동중일 때 모션블러가 발생하거나 객체에 포커스가 없을 때 블러 현상이 발생하거나 카메라 CCD(Charge Couple Device)의 오염으로 인해 객체에 노이즈가 발생할 수 있다. 이 경우 객체의 시인성을 개선하기 위해서 이미지 처리 알고리즘을 이용하여 영상 내 객체의 이미지를 좀 더 선명하게 처리하는 기법들이 이용되고 있다. 이를 기반으로, 사용자는 객체의 이미지를 보다 정확하게 모니터링할 수 있다.
한편, 대부분의 관제시스템은 영상을 실시간으로 전송하여 모니터링 서비스를 제공하는데, 이 때, 영상 전송을 위한 통신에 따른 부하가 증가하는 경우 모니터링 서비스를 실시간으로 제공하기 어려운 문제가 있었다.
한국 등록특허 제10-1951232호
본 발명은 상술한 문제점을 해결하기 위한 것으로서, 복수개의 이미지들 중 관심 이미지를 고화질로 제공하고, 관심 이미지 내 관심영역의 시인성을 개선하는 방법, 서버 및 시스템을 제공하는데 그 목적이 있다.
본 발명의 일 양태에 따르면, 관심 이미지의 시인성을 개선한 스트리밍 서비스 방법을 제공한다. 상기 관심 이미지의 시인성을 개선한 스트리밍 서비스 방법은, 복수개의 이미지 취득 장치들로부터 복수개의 이미지들을 각각 수신하는 단계, 상기 복수개의 이미지들을 관제시스템 클라이언트에 전송하는 단계, 상기 관제시스템 클라이언트로부터 상기 복수개의 이미지들 중 관심 이미지에 대한 시인성 개선 요청을 수신하는 단계, 상기 시인성 개선 요청을 기반으로 상기 복수개의 이미지 취득 장치들 중 상기 관심 이미지에 대응하는 제 1 이미지 취득 장치에 고화질 이미지를 요청하는 단계 및 상기 고화질 이미지를 상기 관제시스템 클라이언트에 전송하는 단계를 포함한다.
일 측면에서, 상기 복수개의 이미지들을 각각 수신하는 단계는, 서로 다른 위치에 구비된 상기 복수개의 이미지 취득 장치들로부터 서로 다른 위치를 촬영한 상기 복수개의 이미지들을 각각 수신하는 단계를 포함한다.
다른 측면에서, 상기 관제시스템 클라이언트에 전송하는 단계는, 상기 관제시스템 클라이언트의 화면의 미리 정해진 영역에 상기 복수개의 이미지들이 각각 출력되도록 분배하는 단계를 포함한다.
또 다른 측면에서, 상기 시인성 개선 요청을 수신하는 단계는, 상기 관제시스템 클라이언트의 화면에 출력된 상기 복수개의 이미지들 중 상기 관제시스템 클라이언트의 사용자의 입력을 기반으로 선택된 상기 관심 이미지에 대한 시인성 개선 요청을 수신하는 단계를 포함한다.
또 다른 측면에서, 상기 고화질 이미지를 요청하는 단계는, 상기 복수개의 이미지 취득 장치들 중 상기 제 1 이미지 취득 장치를 제외한 나머지 이미지 취득 장치들의 이미지 전송을 중단하는 단계 및 상기 제 1 이미지 취득 장치로부터 전송되는 상기 고화질 이미지를 수신하는 단계를 포함한다.
또 다른 측면에서, 상기 고화질 이미지를 저장하는 단계, 상기 관제시스템 클라이언트로부터 상기 고화질 이미지에 포함된 관심영역에 대한 정보를 수신하는 단계, 상기 저장된 고화질 이미지 및 상기 관심영역에 대한 정보를 화질개선 서버에 전송하는 단계, 상기 화질개선 서버로부터 관심영역의 화질이 개선된 고화질 이미지를 수신하는 단계 및 상기 관심영역의 화질이 개선된 고화질 이미지를 상기 관제시스템 클라이언트에 전송하는 단계를 더 포함한다.
또 다른 측면에서, 상기 관심영역에 대한 정보를 수신하는 단계는, 상기 고화질 이미지 내 상기 관심영역의 위치, 좌표, ID 중 적어도 하나를 상기 관심영역에 대한 정보로 수신한다.
또 다른 측면에서, 상기 화질개선 서버에 전송하는 단계는, 상기 관심영역에 대한 정보를 기반으로 상기 저장된 고화질 이미지에서 관심영역을 잘라내는 단계 및 잘라낸 관심영역의 이미지를 상기 화질개선 서버에 전송하는 단계를 포함한다.
또 다른 측면에서, 상기 관심영역의 화질이 개선된 고화질 이미지를 수신하는 단계는, 상기 화질개선 서버로부터 화질이 개선된 관심영역이 삽입된 고화질 이미지를 수신하는 단계 및 화질이 개선된 관심영역의 이미지를 수신하는 단계 중 적어도 하나를 포함한다.
본 발명의 다른 양태에 따르면, 관심 이미지의 시인성을 개선한 스트리밍 서비스 장치를 제공한다. 상기 관심 이미지의 시인성을 개선한 스트리밍 서비스 장치는, 복수개의 이미지 취득 장치들로부터 복수개의 이미지들을 각각 수신하여 관제시스템 클라이언트에 전송하는 통신모듈 및 상기 관제시스템 클라이언트로부터 상기 복수개의 이미지들 중 관심 이미지에 대한 시인성 개선 요청을 수신하면, 상기 시인성 개선 요청을 기반으로 상기 복수개의 이미지 취득 장치들 중 상기 관심 이미지에 대응하는 제 1 이미지 취득 장치에 고화질 이미지를 요청하고, 상기 고화질 이미지를 상기 관제시스템 클라이언트에 전송하는 프로세서를 포함한다.
일 측면에서, 상기 통신모듈은, 서로 다른 위치에 구비된 상기 복수개의 이미지 취득 장치들로부터 서로 다른 위치를 촬영한 상기 복수개의 이미지들을 각각 수신한다.
다른 측면에서, 상기 프로세서는, 상기 관제시스템 클라이언트의 화면의 미리 정해진 영역에 상기 복수개의 이미지들이 각각 출력되도록 분배하는 단계를 포함한다.
또 다른 측면에서, 상기 프로세서는, 상기 관제시스템 클라이언트의 화면에 출력된 상기 복수개의 이미지들 중 상기 관제시스템 클라이언트의 사용자의 입력을 기반으로 선택된 상기 관심 이미지에 대한 시인성 개선 요청을 수신한다.
또 다른 측면에서, 상기 프로세서는, 상기 복수개의 이미지 취득 장치들 중 상기 제 1 이미지 취득 장치를 제외한 나머지 이미지 취득 장치들의 이미지 전송을 중단하고, 상기 제 1 이미지 취득 장치로부터 전송되는 상기 고화질 이미지를 수신한다.
또 다른 측면에서, 상기 고화질 이미지를 저장하는 메모리를 더 포함하고,
상기 프로세서는, 상기 관제시스템 클라이언트로부터 상기 고화질 이미지에 포함된 관심영역에 대한 정보를 수신하면, 상기 저장된 고화질 이미지 및 상기 관심영역에 대한 정보를 화질개선 서버에 전송하고, 상기 화질개선 서버로부터 관심영역의 화질이 개선된 고화질 이미지를 수신하고, 상기 관심영역의 화질이 개선된 고화질 이미지를 상기 관제시스템 클라이언트에 전송한다.
또 다른 측면에서, 상기 프로세서는, 상기 고화질 이미지 내 상기 관심영역의 위치, 좌표, ID 중 적어도 하나를 상기 관심영역에 대한 정보로 수신한다.
또 다른 측면에서, 상기 프로세서는, 상기 관심영역에 대한 정보를 기반으로 상기 저장된 고화질 이미지에서 관심영역을 잘라내고, 잘라낸 관심영역의 이미지를 상기 화질개선 서버에 전송한다.
또 다른 측면에서, 상기 프로세서는, 상기 화질개선 서버로부터 화질이 개선된 관심영역이 삽입된 고화질 이미지 및 화질이 개선된 관심영역의 이미지 중 적어도 하나를 수신한다.
본 발명의 또 다른 양태에 따르면, 관심 이미지의 시인성을 개선한 스트리밍 서비스 시스템을 제공한다. 상기 관심 이미지의 시인성을 개선한 스트리밍 서비스 시스템은, 복수개의 이미지 취득 장치들, 복수개의 이미지들을 수신하는 관제시스템 클라이언트, 상기 복수개의 이미지 취득 장치들로부터 상기 복수개의 이미지들을 각각 수신하여 상기 관제시스템 클라이언트에 전송하고, 상기 관제시스템 클라이언트로부터 상기 복수개의 이미지들 중 관심 이미지에 대한 시인성 개선 요청을 수신하고, 상기 시인성 개선 요청을 기반으로 상기 복수개의 이미지 취득 장치들 중 상기 관심 이미지에 대응하는 제 1 이미지 취득 장치에 고화질 이미지를 요청하고, 상기 고화질 이미지를 상기 관제시스템 클라이언트에 전송하는 미디어 서버를 포함한다.
일 측면에서, 상기 미디어 서버에 저장된 고화질 이미지 및 상기 관제시스템 클라이언트로부터 상기 고화질 이미지에 포함된 관심영역에 대한 정보를 수신하여 관심영역의 화질이 개선된 고화질 이미지를 생성하는 화질개선 서버를 더 포함한다.
본 발명의 실시예들은 다음의 장점들을 포함하는 효과를 가질 수 있다. 다만, 본 발명의 실시 예들이 이를 전부 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 관심 이미지의 시인성을 개선한 스트리밍 서비스 방법, 장치 및 시스템은 특정 장소의 이미지를 끊김 없이 고화질 스트리밍으로 모니터링하는 효과가 있다.
또한, 관심영역에 포함된 객체의 블러, 노이즈를 제거하여 사용자에게 시인성이 향상된 이미지를 제공하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 복수개의 이미지를 기반으로 스트리밍 서비스를 제공하는 시스템을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 관심 이미지의 시인성을 개선한 스트리밍 서비스 시스템을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 관심 이미지 내 관심영역의 시인성을 개선한 스트리밍 서비스 시스템을 개략적으로 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 관심 이미지의 시인성을 개선한 스트리밍 서비스 방법에 대한 순서도이다.
도 5는 도 4의 단계(S450) 이후의 동작에 대한 구체적인 동작을 나타낸 상세순서도이다.
도 6은 본 발명의 일 실시예에 따른 관심 이미지의 시인성을 개선한 스트리밍 서비스 장치에 대한 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, '포함하다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다.
그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이다.
본 명세서에서 "A 또는 B(A or B)"는 "오직 A", "오직 B" 또는 "A와 B 모두"를 의미할 수 있다. 달리 표현하면, 본 명세서에서 "A 또는 B(A or B)"는 "A 및/또는 B(A and/or B)"으로 해석될 수 있다. 예를 들어, 본 명세서에서 "A, B 또는 C(A, B or C)"는 "오직 A", "오직 B", "오직 C", 또는 "A, B 및 C의 임의의 모든 조합(any combination of A, B and C)"를 의미할 수 있다.
본 명세서에서 사용되는 슬래쉬(/)나 쉼표(comma)는 "및/또는(and/or)"을 의미할 수 있다. 예를 들어, "A/B"는 "A 및/또는 B"를 의미할 수 있다. 이에 따라 "A/B"는 "오직 A", "오직 B", 또는 "A와 B 모두"를 의미할 수 있다. 예를 들어, "A, B, C"는 "A, B 또는 C"를 의미할 수 있다.
본 명세서에서 "A 및 B 중 적어도 하나(at least one of A and B)"는, "오직 A", "오직 B" 또는 "A와 B 모두"를 의미할 수 있다. 또한, 본 명세서에서 "적어도 하나의 A 또는 B(at least one of A or B)"나 "적어도 하나의 A 및/또는 B(at least one of A and/or B)"라는 표현은 "적어도 하나의 A 및 B(at least one of A and B)"와 동일하게 해석될 수 있다.
또한, 본 명세서에서 "적어도 하나의 A, B 및 C(at least one of A, B and C)"는, "오직 A", "오직 B", "오직 C", 또는 "A, B 및 C의 임의의 모든 조합(any combination of A, B and C)"를 의미할 수 있다. 또한, "적어도 하나의 A, B 또는 C(at least one of A, B or C)"나 "적어도 하나의 A, B 및/또는 C(at least one of A, B and/or C)"는 "적어도 하나의 A, B 및 C(at least one of A, B and C)"를 의미할 수 있다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 복수개의 이미지를 기반으로 스트리밍 서비스를 제공하는 시스템을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 본 실시예에 따른 복수개의 이미지를 기반으로 스트리밍 서비스를 제공하는 시스템(100)은 복수개의 이미지를 관제시스템에 전송하여 스트리밍 서비스를 제공하는 시스템으로서, 관제시스템 클라이언트(130)에서 특정 장소에 대한 영상을 선택할 시, 화질 저하 없이 스트리밍 서비스를 제공할 수 있다. 복수개의 이미지를 기반으로 스트리밍 서비스를 제공하는 시스템(100)은 복수개의 이미지 취득 장치(110), 미디어 서버(120) 및 관제시스템 클라이언트(130)를 포함할 수 있다. 도 1의 복수개의 이미지를 기반으로 스트리밍 서비스를 제공하는 시스템(100)을 기반으로 하여, 스트리밍 서비스를 제공하는 비즈니스 모델(Business Model, BM)이 구현될 수 있다.
복수개의 이미지 취득 장치(110)는 특정 장소에 대한 이미지를 취득하는 장치이다. 복수개의 이미지 취득 장치(110)는 각각 서로 다른 장소에 구비될 수 있다. 그리고 각 장소에 대한 이미지를 각각 취득할 수 있다. 즉, 복수개의 이미지 취득 장치(110)가 취득한 이미지는 각각 서로 다른 장소를 촬영함에 따라 취득한 이미지일 수 있다. 예를 들어, 도 1에 도시된 바와 같이 복수개의 이미지 취득 장치(110)는 장소 0번부터 장소 N번까지 각각 구비될 수 있으며, 장소 0번에 구비된 이미지 취득 장치는 장소 0번에 대한 이미지를 취득하고, 장소 N번에 구비된 이미지 취득 장치는 장소 N번에 대한 이미지를 취득할 수 있다. 복수개의 이미지 취득 장치(110)는 CCTV, 감시 카메라, IoT 카메라, 무인 카메라, IP 카메라, 네트워크 카메라, 열화상 카메라, 3D 카메라 등으로 구현될 수 있다. 또는, 이러한 카메라들이 구비된 PC, 스마트폰 등의 단말로 구현될 수도 있다. 이하에 설명되는 복수개의 이미지 취득 장치(110)는 CCTV인 경우를 예시로 설명하였으나, 상술한 다른 종류의 카메라들을 적용할 수도 있다.
미디어 서버(120)는 복수개의 이미지 취득 장치(110)로부터 복수개의 이미지를 수신하고, 수신된 이미지를 기반으로 스트리밍 서비스를 제공하는 장치이다. 미디어 서버(120)는 복수개의 이미지 취득 장치(110)로부터 복수개의 이미지들을 각각 수신할 수 있다. 실시간으로 스트리밍 서비스를 제공하기 위해서, 미디어 서버(120)는 각각의 이미지 취득 장치(110)로부터 실시간으로 이미지를 수신할 수 있다. 그리고, 수신된 복수개의 이미지들을 관제시스템 클라이언트(130)의 화면의 미리 정해진 영역에 각각 출력되도록 분배할 수 있다. 예를 들어, 도 1에 도시된 바와 같이 관제시스템 클라이언트(130)의 화면 좌측 상단부터 순차적으로 장소 0번에 대한 이미지부터 장소 n번에 대한 이미지까지 출력되도록 분배할 수 있다. 물론 각 이미지의 출력 위치는 사용자의 요청 또는 설정에 의해 변경될 수 있다. 미디어 서버(120)는 이미지 서버, 스트리밍 서버, IoT 서버, 클라우드 서버, 엣지 서버, 네트워크 서버, 중계 서버, 게이트웨이 등으로 구현될 수 있다. 이하에 설명되는 미디어 서버(120)는 스트리밍 서버인 경우를 예시로 설명하였으나, 상술한 다른 종류의 서버들을 적용할 수도 있다.
관제시스템 클라이언트(130)는 복수개의 이미지들을 수신하여 화면에 출력하는 장치이다. 관제시스템 클라이언트(130)는 관제시스템에 포함된 사용자 단말 내지는 관리자 단말일 수 있다. 관제시스템은 도 1을 통해 설명하는 스트리밍 서비스를 제공하는 시스템(100)일 수도 있고, 스트리밍 서비스를 제공하는 시스템(100)에 포함된 것일 수도 있다. 즉, 관제시스템과 스트리밍 서비스를 제공하는 시스템(100)은 하나의 통합된 시스템일 수도 있고, 관제시스템이 스트리밍 서비스 시스템(100)의 일부일 수도 있다. 관제시스템 클라이언트(130)는 PC, 노트북, PDA, 스마트 단말, 휴대 단말 등으로 구현될 수 있다. 이하에 설명되는 관제시스템 클라이언트(130)는 PC인 경우를 예시로 설명하였으나, 상술한 다른 종류의 단말들을 적용할 수도 있다.
도 2는 본 발명의 일 실시예에 따른 관심 이미지의 시인성을 개선한 스트리밍 서비스 시스템을 개략적으로 나타낸 도면이다.
도 2를 참조하면, 본 실시예에 따른 관심 이미지의 시인성을 개선한 스트리밍 서비스 시스템(200)은 관제시스템 클라이언트(130)로부터 시인성 개선 요청을 수신함에 기반하여 고화질 이미지를 제공하는 시스템으로서, 복수개의 이미지 취득 장치(110), 미디어 서버(120) 및 관제시스템 클라이언트(130)를 포함할 수 있다. 관심 이미지의 시인성을 개선한 스트리밍 서비스 시스템(200)은 도 1을 통해 설명한 복수개의 이미지를 기반으로 스트리밍 서비스를 제공하는 시스템(100)과 동일한 시스템일 수 있다. 그리고 복수개의 이미지 취득 장치(110), 미디어 서버(120) 및 관제시스템 클라이언트(130)는 도 1을 통해 설명한 복수개의 이미지 취득 장치(110), 미디어 서버(120) 및 관제시스템 클라이언트(130)와 동일한 장치일 수 있다.
앞서 도 1을 통해 설명한 복수개의 이미지를 기반으로 스트리밍 서비스를 제공하는 시스템(100)은 일반적인 관제 상황일 때 다수 장소에 대한 이미지를 동시에 모니터링하기 위한 스트리밍 서비스를 제공할 수 있다. 즉, 사용자(또는 관리자)가 화면을 육안으로 확인하면서 별다른 상황이 발생하지 않은 것으로 판단하면, 스트리밍 서비스를 제공하는 시스템(100)은 현재의 스트리밍 서비스를 유지할 수 있다. 그러나, 사용자가 화면을 통해 출력되는 복수개의 이미지들 중 좀 더 집중해서 봐야 할 이미지가 있다고 판단하면, 스트리밍 서비스를 제공하는 시스템(100)에 해당 이미지의 시인성을 개선하기 위한 요청을 입력할 수 있다. 이에 따라, 스트리밍 서비스를 제공하는 시스템(100)은 사용자가 선택한 이미지의 시인성을 개선하여 해당 이미지에 대한 고화질 스트리밍 서비스를 제공할 수 있다.
이러한 고화질 스트리밍 서비스를 제공하기 위해서, 미디어 서버(120)는 관제시스템 클라이언트(130)로부터 복수개의 이미지들 중 관심 이미지에 대한 시인성 개선 요청을 수신할 수 있다. 여기에서 관심 이미지는 기 제공된 복수개의 이미지들 중 관제시스템 클라이언트(130)의 사용자가 선택한 특정 이미지를 의미한다. 즉, 장소 0번에 대한 이미지 내지 장소 N번에 대한 이미지 중 사용자가 선택한 특정 장소의 이미지일 수 있다.
한편, 관제시스템 클라이언트(130)는 사용자가 관심 이미지를 선택할 수 있도록 UI를 제공할 수 있다. 그리고 UI를 통해 선택된 이미지에 대한 정보를 시인성 개선을 위한 요청으로 미디어 서버(120)에 전송할 수 있다. 이러한 UI는 윈도우 앱, 리눅스 앱, 모바일 앱, 웹사이트 등으로 구현될 수 있다. 예를 들어, 사용자가 화면의 특정 영역을 터치하면, 해당 영역에 출력중인 이미지를 관심 이미지로 판단하고, 관심 이미지에 대한 시인성 개선 요청을 미디어 서버(120)에 전송할 수 있다. 다른 예로, 관제시스템 클라이언트(130)에 구비된 입력장치(키보드, 마우스, 터치펜)를 통해 입력을 전달받으면, 해당 입력에 대응하는 이미지를 관심 이미지로 판단하고, 관심 이미지에 대한 시인성 개선 요청을 미디어 서버(120)에 전송할 수 있다. 사용자는 최소 하나에서 많게는 다수의 이미지를 관심 이미지로 선택할 수 있다. 관제시스템 클라이언트(130)는 사용자의 입력에 따른 시인성 개선 요청을 미디어 서버(120)에 전송할 수 있다.
미디어 서버(120)는 시인성 개선 요청을 기반으로 복수개의 이미지 취득 장치(110) 중 관심 이미지에 대응하는 특정 이미지 취득 장치에 고화질 이미지를 요청할 수 있다. 이하, 관심 이미지에 대응하는 특정 이미지 취득 장치를 제 1 이미지 취득 장치라고 한다. 미디어 서버(120)는 시인성 개선 요청을 수신하면, 복수개의 이미지들 중 어떤 이미지가 관심 이미지인지 확인한 후, 관심 이미지에 대응하는 제 1 이미지 취득 장치에 고화질 이미지를 요청할 수 있다. 예를 들어, 사용자가 관제시스템 클라이언트(130)를 통해 장소 0번의 이미지가 관심 이미지로 선택되면, 미디어 서버(120)는 장소 0번에 대응하는 제 1 이미지 취득 장치(장소 0번에 구비된 이미지 취득 장치)에 고화질 이미지를 요청할 수 있다.
이러한 요청을 기반으로 제 1 이미지 취득 장치는 장소 0번에 대한 고화질 이미지를 취득하여 미디어 서버(120)에 전송할 수 있다. 제 1 이미지 취득 장치는 평상시에는 일반 화질로 장소 0번에 대한 이미지를 취득하다가 미디어 서버(120)로부터 고화질 이미지에 대한 요청을 수신하면 장소 0번에 대한 이미지를 고화질로 취득할 수 있다. 이는, 동시에 다수의 이미지들을 기반으로 스트리밍 서비스를 제공하는 상황에서 이미지가 고화질인 경우, 고화질 이미지의 송수신으로 인한 통신 레이턴시(Latency) 내지는 딜레이(Delay)가 발생될 수 있기 때문이다. 즉, 제 1 이미지 취득 장치는 일반 화질 이미지 및 고화질 이미지를 모두 취득할 수 있으며 통신 상황에 따라 선택적으로 이미지를 전송할 수 있다. 나머지 이미지 취득 장치들 또한 마찬가지로 평상시에는 일반 화질로 각각 이미지를 취득할 수 있으며, 미디어 서버(120)를 통해 고화질 이미지에 대한 요청이 수신되면, 고화질 이미지를 취득할 수 있다. 일 예로, 복수개의 이미지 취득 장치(110)는 고화질 이미지를 취득하도록 기본 설정값이 설정된 상태일 수 있으며, 평상시에는 취득된 고화질 이미지를 일반 화질로 변경하여 미디어 서버(120)에 전송하고, 고화질 이미지에 대한 요청이 수신되면, 기 취득된 원본 이미지(고화질 이미지)를 미디어 서버(120)에 전송하는 것일 수 있다. 다른 예로, 복수개의 이미지 취득 장치(110)는 평상시에는 일반 화질 모드로 구동하여 일반 화질의 이미지를 취득하고, 고화질 이미지에 대한 요청이 수신되면, 고화질 모드로 구동하여 고화질 이미지를 취득할 수 있다.
한편, 미디어 서버(120)는 제 1 이미지 취득 장치로부터 고화질 이미지를 수신한다. 이때, 고화질 이미지 수신에 따른 부하를 줄여서 실시간 스트리밍 서비스가 유지되게 할 수 있다. 다수의 이미지 취득 장치들(110)로부터 다수의 이미지를 수신할 때에는, 통신 레이턴시(Latency)가 발생할 수 있으며, 이 경우 실시간 스트리밍을 유지하기 위해서 이미지를 리사이즈(Resize)하여 통신 속도를 유지해야 한다. 즉, 이 과정에서 이미지 리사이즈로 인한 화질 저하 현상이 발생될 수 있다. 이러한 문제점을 개선하기 위해서 미디어 서버(120)는 제 1 이미지 취득 장치로부터 고화질 이미지를 수신할 때, 통신 레이턴시가 발생하지 않도록 나머지 이미지 취득 장치들의 이미지 전송을 중단할 수 있다. 일 예로, 미디어 서버(120)는 나머지 이미지 취득 장치들에 제어 신호를 전송하여 이미지 전송을 중단하게 한 뒤, 제 1 이미지 취득 장치로부터 고화질 이미지를 수신할 수 있다. 다른 예로, 미디어 서버(120)는 나머지 이미지 취득 장치들로부터 전송되는 이미지들을 드랍하고, 제 1 이미지 취득 장치로부터 고화질 이미지를 수신할 수 있다. 이러한 동작에 기반하여 미디어 서버(120)는 통신 레이턴시에 의한 화질 저하가 발생되지 않는 스트리밍 서비스 내지는 이미지가 끊기지 않게 스트리밍 서비스를 제공할 수 있다.
도 3은 본 발명의 일 실시예에 따른 관심 이미지 내 관심영역의 시인성을 개선한 스트리밍 서비스 시스템을 개략적으로 나타낸 도면이다.
도 3을 참조하면, 본 실시예에 따른 관심 이미지 내 관심영역의 시인성을 개선한 스트리밍 서비스 시스템(300)은 관제시스템 클라이언트(130)로부터 관심 이미지 내 관심영역에 대한 정보를 수신함에 기반하여 관심영역의 화질을 개선한 고화질 이미지를 제공하는 시스템으로서, 복수개의 이미지 취득 장치(110), 미디어 서버(120) 및 관제시스템 클라이언트(130)를 포함할 수 있다. 관심 이미지 내 관심영역의 시인성을 개선한 스트리밍 서비스 시스템(300)은 도 1을 통해 설명한 복수개의 이미지를 기반으로 스트리밍 서비스를 제공하는 시스템(100)과 동일한 시스템일 수 있다. 그리고 복수개의 이미지 취득 장치(110), 미디어 서버(120) 및 관제시스템 클라이언트(130)는 도 1을 통해 설명한 복수개의 이미지 취득 장치(110), 미디어 서버(120) 및 관제시스템 클라이언트(130)와 동일한 장치일 수 있다.
미디어 서버(120)는 제 1 이미지 취득 장치로부터 수신한 고화질 이미지를 관제시스템 클라이언트(130)에 전송한 후, 전송한 고화질 이미지를 저장할 수 있다. 이후, 미디어 서버(120)는 관제시스템 클라이언트(130)로부터 고화질 이미지에 포함된 관심영역에 대한 정보를 수신할 수 있다. 관심영역에 대한 정보는 고화질 이미지에 포함된 객체의 위치를 나타내는 정보를 의미한다. 즉, 관심영역에 대한 정보는 이미지 내 관심영역의 위치, 좌표, ID 중 적어도 하나를 포함할 수 있다. 예를 들어, 미디어 서버(120)는 관제시스템 클라이언트(130)의 사용자로부터 입력된 관심영역의 위치(객체의 위치)를 관심영역에 대한 정보로 수신할 수 있다. 사용자는 관제시스템 클라이언트(130)에 구비된 입력수단을 이용하여 관심영역의 위치를 입력할 수 있다. 즉, 관심 이미지에 포함된 특정 객체의 위치에 대한 영역(예컨대, 바운딩박스)을 관심영역에 대한 정보로 입력할 수 있다. 이때, 미디어 서버(120)는 통신 레이턴시가 발생하는 것을 고려하여, 관제시스템 클라이언트로부터 고화질 이미지 및 관심영역에 대한 정보를 모두 수신하는 대신, 사용자가 입력한 관심영역에 대한 정보만 수신하고, 고화질 이미지는 미리 저장된 것을 이용할 수 있다.
한편, 미디어 서버(120)는 기 저장된 고화질 이미지 및 관제시스템 클라이언트(130)로부터 수신한 관심영역에 대한 정보를 화질개선 서버(140)에 전송할 수 있다. 미디어 서버(120)는 통신 레이턴시가 발생하는 것을 고려하여, 관심영역에 대한 정보를 기반으로 저장된 고화질 이미지에서 관심영역의 이미지를 잘라내고, 잘라낸 관심영역의 이미지를 화질개선 서버(140)에 전송할 수 있다. 즉, 전송하려는 이미지의 화질은 그대로 유지한 상태에서, 화질 개선이 필요한 관심영역만 크롭(Crop)하여 전송할 수 있다. 이때, 크롭된 관심영역의 이미지는 그대로 화질개선 서버(140)에 전송될 수도 있고, 관심 이미지의 크기만큼 확대되어 전송될 수도 있다.
화질개선 서버(140)는 관심 이미지 내 관심영역의 시인성을 개선한 스트리밍 서비스 시스템(300)에 포함된 장치로, 화질 개선 알고리즘을 이용하여 수신된 관심 이미지에 포함된 관심영역의 화질을 개선할 수 있다. 화질개선 서버(140)는 이미지처리 서버, 스트리밍 서버, IoT 서버, 클라우드 서버, 엣지 서버, 네트워크 서버, 중계 서버, 게이트웨이 등으로 구현될 수 있다. 이하에 설명되는 화질개선 서버(140)는 이미지처리 서버인 경우를 예시로 설명하였으나, 상술한 다른 종류의 서버들을 적용할 수도 있다.
화질개선 서버(140)는 수신된 관심영역의 이미지의 화질을 개선시킬 수도 있고, 관심영역의 이미지에 포함된 객체의 이미지만 추출하여 화질을 개선시킬 수도 있다. 전자의 경우, 미디어 서버(120)로부터 수신되는 이미지를 그대로 이용하여 화질 개선 동작을 수행할 수 있다. 후자의 경우, 미디어 서버(120)로부터 수신되는 이미지에서 관심영역에 대한 정보를 기반으로 객체의 이미지만 따로 추출한 후 추출된 객체의 이미지에만 화질 개선 동작을 수행할 수 있다.
화질개선 서버(140)는 다양한 화질 개선 알고리즘을 기반으로 관심영역의 화질을 개선시킬 수 있다. 예를 들어, 초해상도(Super Resolution) 알고리즘, 디노이징(Denoising) 알고리즘 및 디블러링 작업(Deblurring Task) 알고리즘 중 적어도 하나를 기반으로 관심영역의 화질을 개선시킬 수 있다. 화질개선 서버(140)는 전통적인 룰 기반 접근(Rule Based Approach) 방식의 알고리즘을 이용하거나 데이터 기반 접근(Data Driven Approach) 방식의 알고리즘을 이용하여 관심영역에 포함된 객체의 이미지를 보다 선명하게 처리할 수 있다.
한편, 화질개선 서버(140)에서 관심영역의 화질을 개선한 고화질 이미지를 전송하기 위한 데이터 통신 방식은 RTP(Real Time Transport Protocol), RTSP(Real Time Streaming Protocol), HLS(HTTP Live Streaming)과 같이 실시간 스트리밍에 적합한 방식일 수 있다. 마찬가지로 미디어 서버(120)의 이미지 전송 방식 또한 RTP, RTSP, HLS 중 하나일 수 있다.
미디어 서버(120)는 화질개선 서버(140)로부터 처리된 관심영역의 화질이 개선된 고화질 이미지를 관제시스템 클라이언트(130)에 전송할 수 있다. 일 예로, 미디어 서버(120)는 고화질 이미지(관심 이미지) 및 관심영역에 대한 정보를 화질개선 서버(140)에 전송한 경우, 화질개선 서버로부터 관심영역의 화질이 개선된 고화질 이미지를 수신한 후, 수신된 고화질 이미지를 그대로 관제시스템 클라이언트(130)에 전송할 수 있다. 다른 예로, 미디어 서버(120)는 관심영역의 이미지를 잘라서 화질개선 서버(140)에 전송한 경우, 화질개선 서버(140)로부터 화질이 개선된 관심영역의 이미지를 수신한 후, 수신된 관심영역의 이미지를 저장중인 고화질 이미지의 원래 위치에 합성하여 관제시스템 클라이언트(130)에 전송할 수 있다. 다만 바람직하게는, 이미지 합성 과정에서 통신 레이턴시가 발생하는 것을 고려하여 수신된 관심영역의 이미지를 그대로 관제시스템 클라이언트(130)에 전송할 수 있다.
이상 도 1 내지 도 3을 통해 설명한 시스템을 기반으로 사용자는 일반적인 상황에서 다수의 이미지를 동시에 모니터링할 수 있고, 필요 시 특정 이미지를 고화질로 모니터링할 수 있으며, 보다 정밀하게 검토를 필요로 하는 경우에는 관심영역의 이미지를 보다 선명한 화질로 모니터링할 수 있다.
도 4는 본 발명의 일 실시예에 따른 관심 이미지의 시인성을 개선한 스트리밍 서비스 방법에 대한 순서도이다.
도 4를 참조하면 관심 이미지의 시인성을 개선한 스트리밍 서비스 방법(400)은 S410 내지 S450 단계를 포함한다. 본 실시예에 따른 관심 이미지의 시인성을 개선한 스트리밍 서비스 방법(400)은 도 1 내지 도 3을 통해 설명한 미디어 서버(120)에 의한 동작으로 설명된다.
S410 단계에서 미디어 서버(120)는 복수개의 이미지 취득 장치들로부터 복수개의 이미지들을 각각 수신한다. 미디어 서버(120)는 서로 다른 위치에 구비된 복수개의 이미지 취득 장치들(110)로부터 서로 다른 위치를 촬영한 복수개의 이미지들을 각각 수신한다.
S420 단계에서 미디어 서버(120)는 복수개의 이미지들을 관제시스템 클라이언트(130)에 전송한다. 미디어 서버(120)는 관제시스템 클라이언트(130)의 화면에 복수개의 이미지들이 정해진 영역에 출력되도록 분배할 수 있다. 예를 들어, 첫번째 이미지(장소 0번에 대한 이미지) 내지 마지막 이미지(장소 N번에 대한 이미지)를 미리 정해진 영역 별로 정렬한 후 하나의 스트리밍 데이터로 병합하여 전송할 수 있다. 또는 각각의 이미지를 촬영된 장소에 대한 정보(이미지 취득 장치의 번호, ID, 설치 장소)와 함께 관제시스템 클라이언트(130)로 전송할 수 있다.
S430 단계에서 미디어 서버(120)는 관제시스템 클라이언트(130)로부터 복수개의 이미지들 중 관심 이미지에 대한 시인성 개선 요청을 수신한다. 미디어 서버(120)는 사용자로부터 입력되는 시인성 개선 요청을 관제시스템 클라이언트(130)를 통해 수신할 수 있다. 시인성 개선 요청은 복수개의 이미지들 중 선택된 관심 이미지를 식별할 수 있는 정보(이미지의 번호, ID)일 수 있다.
S440 단계에서 미디어 서버(120)는 시인성 개선 요청을 기반으로 복수개의 이미지 취득 장치들(110) 중 관심 이미지에 대응하는 제 1 이미지 취득 장치에 고화질 이미지를 요청한다. 미디어 서버(120)는 시인성 개선 요청에 따라 사용자가 선택한 관심 이미지가 복수개의 이미지들 중 어떤 이미지인지 확인한 후, 해당 이미지를 촬영한 제 1 이미지 취득 장치에 고화질 이미지를 요청할 수 있다. 미디어 서버(120)는 사용자가 선택한 관심 이미지가 1개인 경우, 해당 이미지를 취득하는 이미지 획득 장치와 1:1로 통신하여 고화질 이미지를 수신할 수 있다. 만약 사용자가 선택한 관심 이미지가 복수개인 경우, 해당 이미지를 각각 취득하는 복수개의 이미지 획득 장치와 1:N로 통신하여 고화질 이미지를 수신할 수 있다.
다만 바람직하게는 통신 레이턴시가 발생하는 것을 고려하여 미디어 서버(120) 단에서 또는 관제시스템 클라이언트(130) 단에서 한번에 하나의 관심 이미지만 선택할 수 있도록 제한할 수 있다. 예를 들어, 복수개의 관심 이미지를 선택함에 기반하여 시인성 개선 요청이 수신될 경우, 미디어 서버(120) 또는 관제시스템 클라이언트(130)에서 한번에 하나의 이미지만 선택하도록 알림을 제공할 수 있다. 미디어 서버(120)는 시인성 개선 요청을 기반으로 사용자가 선택된 관심 이미지를 취득하는 이미지 획득 장치와 1:1로 통신하여 고화질 이미지를 수신할 수 있다. 이때, 고화질 이미지를 전송하는 제 1 이미지 획득 장치를 제외한 나머지 이미지 획득 장치들의 이미지 전송을 중단하도록 할 수 있다.
S450 단계에서 미디어 서버(120)는 고화질 이미지를 관제시스템 클라이언트(130)에 전송한다. 미디어 서버(120)는 고화질 이미지를 그대로 관제시스템 클라이언트(130)에 전송할 수도 있고, 고화질 이미지가 관제시스템 클라이언트(130)의 화면 전체에 출력되도록 확대하여 전송할 수도 있다. 물론, 앞서 일반 화질로 전송된 이미지와 동일한 크기의 고화질 이미지를 전송하면, 관제시스템 클라이언트(130)에서 화면 크기에 맞게 확대하여 출력하는 것도 가능하다.
도 5는 도 4의 단계(S450) 이후의 동작에 대한 구체적인 동작을 나타낸 상세순서도이다.
도 5를 참조하면 S510 단계 내지 S550 단계는 미디어 서버(120)에 의한 동작으로 설명된다. 미디어 서버(120)는 앞서 도 4를 통해 설명한 S450 단계를 수행한 후, S510 내지 S550 단계를 수행할 수 있다.
S510 단계에서 미디어 서버(120)는 관제시스템 클라이언트(130)에 전송한 고화질 이미지를 저장한다. 미디어 서버(120)는 관제시스템 클라이언트(130)에 전송한 고화질 이미지에 대하여 추가적인 화질 개선 요청이 수신될 경우, 고화질 이미지가 다시 송수신되는 것을 방지하기 위하여 관제시스템 클라이언트(130)에 전송한 고화질 이미지를 저장할 수 있다.
S520 단계에서 미디어 서버(120)는 관제시스템 클라이언트(130)로부터 고화질 이미지에 포함된 관심영역에 대한 정보를 수신한다. 미디어 서버(120)는 관심영역의 위치, 좌표, ID 중 적어도 하나를 상기 관심영역에 대한 정보로 수신한다. 관제시스템 클라이언트(130)의 사용자는 고화질 이미지에 포함된 사람이나 차량 또는 다른 객체에 대한 영역을 관심영역으로 선택할 수 있다. 사용자가 해당 객체에 대한 영역을 선택하면 관심영역에 대한 정보(위치, 좌표, ID)가 미디어 서버(120)로 전송될 수 있다.
S530 단계에서 미디어 서버(120)는 저장된 고화질 이미지 및 관심영역에 대한 정보를 화질개선 서버(140)에 전송한다. 미디어 서버(120)는 수신된 관심영역에 대한 정보를 기반으로 사용자가 고화질 이미지에서 어떤 객체의 영역을 선택하였는지 확인할 수 있다. 미디어 서버(120)는 통신 레이턴시를 줄이기 위해서 고화질 이미지 및 관심영역에 대한 정보를 모두 화질개선 서버(140)에 전송하는 대신, 관심영역에 대한 정보를 기반으로 고화질 이미지에서 관심영역을 잘라낸 후, 잘라낸 관심영역의 이미지(객체의 이미지)를 화질개선 서버(140)에 전송할 수 있다.
S540 단계에서 미디어 서버(120)는 관심영역의 화질이 개선된 고화질 이미지를 화질개선 서버(140)로부터 수신한다. 화질개선 서버(140)로부터 전송되는 관심영역의 화질이 개선된 고화질 이미지는 관심영역의 이미지일 수도 있고, 화질이 개선된 관심영역의 이미지가 고화질 이미지 상에 합성된 이미지일 수도 있다. 일 예로, 미디어 서버(120)가 고화질 이미지 및 관심영역에 대한 정보를 모두 전송한 경우에는, 화질이 개선된 관심영역의 이미지가 고화질 이미지 상에 합성된 것을 수신할 수 있다. 다른 예로, 미디어 서버(120)가 관심영역에 대한 정보를 기반으로 관심영역의 이미지만 전송한 경우에는, 화질이 개선된 관심영역의 이미지만 수신할 수 있다.
S550 단계에서 미디어 서버(120)는 관심영역의 화질이 개선된 고화질 이미지를 관제시스템 클라이언트(130)에 전송한다. 관제시스템 클라이언트(130)는 수신된 이미지를 화면 전체에 출력할 수 있다. 사용자는 화질이 개선된 관심영역의 이미지를 육안으로 확인하여 객체를 모니터링할 수 있다.
도 6은 본 발명의 일 실시예에 따른 관심 이미지의 시인성을 개선한 스트리밍 서비스 장치에 대한 블록도이다.
도 6을 참조하면 관심 이미지의 시인성을 개선한 스트리밍 서비스 장치(600)는 통신모듈(610), 프로세서(620) 및 메모리(630)를 포함한다. 관심 이미지의 시인성을 개선한 스트리밍 서비스 장치(600)는 앞서 도 1을 통해 설명한 미디어 서버(120)로 구현될 수 있다.
통신모듈(610)은 복수개의 이미지 취득 장치들로부터 복수개의 이미지들을 각각 수신하여 관제시스템 클라이언트에 전송한다. 통신모듈(610)은 관제시스템 클라이언트와 인터넷으로 연결되는 모듈 또는 모뎀으로 구현될 수 있다. 또한, 통신모듈(610)은 화질개선 서버와 네트워크로 연결되는 모듈 또는 모뎀으로 구현될 수도 있다.
프로세서(620)는 관제시스템 클라이언트로부터 복수개의 이미지들 중 관심 이미지에 대한 시인성 개선 요청을 수신한다. 프로세서(620)는 통신모듈(610)을 통해 시인성 개선 요청을 수신할 수 있다. 프로세서(620)는 시인성 개선 요청을 기반으로 복수개의 이미지 취득 장치들 중 관심 이미지에 대응하는 제 1 이미지 취득 장치에 고화질 이미지를 요청한다. 프로세서(620)는 고화질 이미지를 통신모듈(610)을 통해 관제시스템 클라이언트로 전송한다. 프로세서(620)는 스트리밍 서비스 장치(600)의 CPU 내지는 AP로 구현될 수 있다.
메모리(630)는 고화질 이미지를 저장한다. 메모리(630)는 고화질 이미지와 함께 시인성 개선 요청에 대한 정보를 더 저장할 수 있다. 메모리(630)는 스트리밍 서비스 장치(600)의 HDD 내지는 SSD와 같은 스토리지로 구현될 수 있다.
한편, 상술한 관심 이미지의 시인성을 개선한 스트리밍 서비스 장치(600)는 컴퓨터에서 실행될 수 있는 실행 가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수도 있다. 상기 프로그램은 일시적 또는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
본 발명의 일 실시예에 따른 관심 이미지의 시인성을 개선한 스트리밍 서비스 방법, 장치 및 시스템은 이해를 돕기 위하여 도면에 도시된 실시예를 참고하여 설명되었지만 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.

Claims (20)

  1. 관심 이미지의 시인성을 개선한 스트리밍 서비스 방법에 있어서,
    복수개의 이미지 취득 장치들로부터 복수개의 이미지들을 각각 수신하는 단계;
    상기 복수개의 이미지들을 관제시스템 클라이언트에 전송하는 단계;
    상기 관제시스템 클라이언트로부터 상기 복수개의 이미지들 중 관심 이미지에 대한 시인성 개선 요청을 수신하는 단계;
    상기 시인성 개선 요청을 기반으로 상기 복수개의 이미지 취득 장치들 중 나머지 이미지 취득 장치들의 이미지 전송을 중단시키고, 상기 관심 이미지에 대응하는 제 1 이미지 취득 장치에 고화질 이미지를 요청하는 단계; 및
    상기 고화질 이미지를 상기 관제시스템 클라이언트에 전송하는 단계를 포함하되,
    상기 고화질 이미지를 저장하는 단계;
    상기 관제시스템 클라이언트로부터 상기 고화질 이미지에 포함된 관심영역에 대한 정보를 수신하는 단계;
    상기 저장된 고화질 이미지 및 상기 관심영역에 대한 정보를 화질개선 서버에 전송하는 단계;
    상기 화질개선 서버로부터 관심영역의 화질이 개선된 고화질 이미지를 수신하는 단계; 및
    상기 관심영역의 화질이 개선된 고화질 이미지를 실시간 스트리밍으로 상기 관제시스템 클라이언트에 전송하는 단계를 더 포함하는, 관심 이미지의 시인성을 개선한 스트리밍 서비스 방법.
  2. 제 1 항에 있어서, 상기 복수개의 이미지들을 각각 수신하는 단계는,
    서로 다른 위치에 구비된 상기 복수개의 이미지 취득 장치들로부터 서로 다른 위치를 촬영한 상기 복수개의 이미지들을 각각 수신하는 단계를 포함하는, 관심 이미지의 시인성을 개선한 스트리밍 서비스 방법.
  3. 제 1 항에 있어서, 상기 관제시스템 클라이언트에 전송하는 단계는,
    상기 관제시스템 클라이언트의 화면의 미리 정해진 영역에 상기 복수개의 이미지들이 각각 출력되도록 분배하는 단계를 포함하는, 관심 이미지의 시인성을 개선한 스트리밍 서비스 방법.
  4. 제 1 항에 있어서, 상기 시인성 개선 요청을 수신하는 단계는,
    상기 관제시스템 클라이언트의 화면에 출력된 상기 복수개의 이미지들 중 상기 관제시스템 클라이언트의 사용자의 입력을 기반으로 선택된 상기 관심 이미지에 대한 시인성 개선 요청을 수신하는 단계를 포함하는, 관심 이미지의 시인성을 개선한 스트리밍 서비스 방법.
  5. 제 1 항에 있어서, 상기 고화질 이미지를 요청하는 단계는,
    상기 복수개의 이미지 취득 장치들 중 상기 제 1 이미지 취득 장치를 제외한 나머지 이미지 취득 장치들의 이미지 전송을 중단하는 단계; 및
    상기 제 1 이미지 취득 장치로부터 전송되는 상기 고화질 이미지를 수신하는 단계를 포함하는, 관심 이미지의 시인성을 개선한 스트리밍 서비스 방법.
  6. 삭제
  7. 제 1 항에 있어서, 상기 관심영역에 대한 정보를 수신하는 단계는,
    상기 고화질 이미지 내 상기 관심영역의 위치, 좌표, ID 중 적어도 하나를 상기 관심영역에 대한 정보로 수신하는, 관심 이미지의 시인성을 개선한 스트리밍 서비스 방법.
  8. 제 1 항에 있어서, 상기 화질개선 서버에 전송하는 단계는,
    상기 관심영역에 대한 정보를 기반으로 상기 저장된 고화질 이미지에서 관심영역을 잘라내는 단계; 및
    잘라낸 관심영역의 이미지를 상기 화질개선 서버에 전송하는 단계를 포함하는, 관심 이미지의 시인성을 개선한 스트리밍 서비스 방법.
  9. 제 1 항에 있어서, 상기 관심영역의 화질이 개선된 고화질 이미지를 수신하는 단계는,
    상기 화질개선 서버로부터 화질이 개선된 관심영역이 삽입된 고화질 이미지를 수신하는 단계; 및
    화질이 개선된 관심영역의 이미지를 수신하는 단계 중 적어도 하나를 포함하는, 관심 이미지의 시인성을 개선한 스트리밍 서비스 방법.
  10. 관심 이미지의 시인성을 개선한 스트리밍 서비스 장치에 있어서,
    복수개의 이미지 취득 장치들로부터 복수개의 이미지들을 각각 수신하여 관제시스템 클라이언트에 전송하는 통신모듈; 및
    상기 관제시스템 클라이언트로부터 상기 복수개의 이미지들 중 관심 이미지에 대한 시인성 개선 요청을 수신하면, 상기 시인성 개선 요청을 기반으로 상기 복수개의 이미지 취득 장치들 중 나머지 이미지 취득 장치들의 이미지 전송을 중단시키고, 상기 관심 이미지에 대응하는 제 1 이미지 취득 장치에 고화질 이미지를 요청하고, 상기 고화질 이미지를 상기 관제시스템 클라이언트에 전송하는 프로세서를 포함하되,
    상기 고화질 이미지를 저장하는 메모리를 더 포함하고,
    상기 프로세서는, 상기 관제시스템 클라이언트로부터 상기 고화질 이미지에 포함된 관심영역에 대한 정보를 수신하면, 상기 메모리에 저장된 고화질 이미지 및 상기 관심영역에 대한 정보를 화질개선 서버에 전송하고, 상기 화질개선 서버로부터 관심영역의 화질이 개선된 고화질 이미지를 수신하고, 상기 관심영역의 화질이 개선된 고화질 이미지를 실시간 스트리밍으로 상기 관제시스템 클라이언트에 전송하는, 관심 이미지의 시인성을 개선한 스트리밍 서비스 장치.
  11. 제 10 항에 있어서,
    상기 통신모듈은, 서로 다른 위치에 구비된 상기 복수개의 이미지 취득 장치들로부터 서로 다른 위치를 촬영한 상기 복수개의 이미지들을 각각 수신하는, 관심 이미지의 시인성을 개선한 스트리밍 서비스 장치.
  12. 제 10 항에 있어서,
    상기 프로세서는, 상기 관제시스템 클라이언트의 화면의 미리 정해진 영역에 상기 복수개의 이미지들이 각각 출력되도록 분배하는 단계를 포함하는, 관심 이미지의 시인성을 개선한 스트리밍 서비스 장치.
  13. 제 10 항에 있어서,
    상기 프로세서는, 상기 관제시스템 클라이언트의 화면에 출력된 상기 복수개의 이미지들 중 상기 관제시스템 클라이언트의 사용자의 입력을 기반으로 선택된 상기 관심 이미지에 대한 시인성 개선 요청을 수신하는, 관심 이미지의 시인성을 개선한 스트리밍 서비스 장치.
  14. 제 10 항에 있어서,
    상기 프로세서는, 상기 복수개의 이미지 취득 장치들 중 상기 제 1 이미지 취득 장치를 제외한 나머지 이미지 취득 장치들의 이미지 전송을 중단하고, 상기 제 1 이미지 취득 장치로부터 전송되는 상기 고화질 이미지를 수신하는, 관심 이미지의 시인성을 개선한 스트리밍 서비스 장치.
  15. 삭제
  16. 제 10 항에 있어서,
    상기 프로세서는, 상기 고화질 이미지 내 상기 관심영역의 위치, 좌표, ID 중 적어도 하나를 상기 관심영역에 대한 정보로 수신하는, 관심 이미지의 시인성을 개선한 스트리밍 서비스 장치.
  17. 제 10 항에 있어서,
    상기 프로세서는, 상기 관심영역에 대한 정보를 기반으로 상기 저장된 고화질 이미지에서 관심영역을 잘라내고, 잘라낸 관심영역의 이미지를 상기 화질개선 서버에 전송하는, 관심 이미지의 시인성을 개선한 스트리밍 서비스 장치.
  18. 제 10 항에 있어서,
    상기 프로세서는, 상기 화질개선 서버로부터 화질이 개선된 관심영역이 삽입된 고화질 이미지 및 화질이 개선된 관심영역의 이미지 중 적어도 하나를 수신하는, 관심 이미지의 시인성을 개선한 스트리밍 서비스 장치.
  19. 관심 이미지의 시인성을 개선한 스트리밍 서비스 시스템에 있어서,
    복수개의 이미지 취득 장치들;
    복수개의 이미지들을 수신하는 관제시스템 클라이언트; 및
    상기 복수개의 이미지 취득 장치들로부터 상기 복수개의 이미지들을 각각 수신하여 상기 관제시스템 클라이언트에 전송하고, 상기 관제시스템 클라이언트로부터 상기 복수개의 이미지들 중 관심 이미지에 대한 시인성 개선 요청을 수신하고, 상기 시인성 개선 요청을 기반으로 상기 복수개의 이미지 취득 장치들 중 나머지 이미지 취득 장치들의 이미지 전송을 중단시키고, 상기 관심 이미지에 대응하는 제 1 이미지 취득 장치에 고화질 이미지를 요청하고, 상기 고화질 이미지를 상기 관제시스템 클라이언트에 전송하는 미디어 서버를 포함하되,
    상기 미디어 서버는, 상기 상기 고화질 이미지를 저장하고, 상기 관제시스템 클라이언트로부터 상기 고화질 이미지에 포함된 관심영역에 대한 정보를 수신하면, 상기 저장된 고화질 이미지 및 상기 관심영역에 대한 정보를 화질개선 서버에 전송하고, 상기 화질개선 서버로부터 관심영역의 화질이 개선된 고화질 이미지를 수신하고, 상기 관심영역의 화질이 개선된 고화질 이미지를 상기 관제시스템 클라이언트에 실시간 스트리밍으로 전송하는, 관심 이미지의 시인성을 개선한 스트리밍 서비스 시스템.
  20. 제 19 항에 있어서,
    상기 미디어 서버에 저장된 고화질 이미지 및 상기 관제시스템 클라이언트로부터 상기 고화질 이미지에 포함된 관심영역에 대한 정보를 수신하여 관심영역의 화질이 개선된 고화질 이미지를 생성하는 상기 화질개선 서버를 더 포함하는, 관심 이미지의 시인성을 개선한 스트리밍 서비스 시스템.
KR1020230046898A 2023-04-10 2023-04-10 관심 이미지의 시인성을 개선한 스트리밍 서비스 방법, 장치 및 시스템 KR102608208B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230046898A KR102608208B1 (ko) 2023-04-10 2023-04-10 관심 이미지의 시인성을 개선한 스트리밍 서비스 방법, 장치 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230046898A KR102608208B1 (ko) 2023-04-10 2023-04-10 관심 이미지의 시인성을 개선한 스트리밍 서비스 방법, 장치 및 시스템

Publications (1)

Publication Number Publication Date
KR102608208B1 true KR102608208B1 (ko) 2023-12-01

Family

ID=89124362

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230046898A KR102608208B1 (ko) 2023-04-10 2023-04-10 관심 이미지의 시인성을 개선한 스트리밍 서비스 방법, 장치 및 시스템

Country Status (1)

Country Link
KR (1) KR102608208B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120131649A (ko) * 2011-05-26 2012-12-05 주식회사 엘지씨엔에스 네트워크 카메라를 이용한 지능형 감시 방법 및 시스템
KR20150002226A (ko) * 2013-06-28 2015-01-07 주식회사 셈앤텍 무선 카메라 시스템 및 그 동작방법
JP2016058994A (ja) * 2014-09-12 2016-04-21 株式会社 日立産業制御ソリューションズ 監視カメラ装置および監視カメラシステム
KR101951232B1 (ko) 2018-09-12 2019-02-22 (주)휴진시스템 객체영역의 분리저장 및 적응형 배경영상을 이용한 고화질 cctv 영상시스템
KR20200061703A (ko) * 2018-11-26 2020-06-03 전자부품연구원 영상 화질 개선 시스템 및 그 방법
KR20230009806A (ko) * 2021-07-09 2023-01-17 삼성전자주식회사 영상 처리 장치 및 그 동작 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120131649A (ko) * 2011-05-26 2012-12-05 주식회사 엘지씨엔에스 네트워크 카메라를 이용한 지능형 감시 방법 및 시스템
KR20150002226A (ko) * 2013-06-28 2015-01-07 주식회사 셈앤텍 무선 카메라 시스템 및 그 동작방법
JP2016058994A (ja) * 2014-09-12 2016-04-21 株式会社 日立産業制御ソリューションズ 監視カメラ装置および監視カメラシステム
KR101951232B1 (ko) 2018-09-12 2019-02-22 (주)휴진시스템 객체영역의 분리저장 및 적응형 배경영상을 이용한 고화질 cctv 영상시스템
KR20200061703A (ko) * 2018-11-26 2020-06-03 전자부품연구원 영상 화질 개선 시스템 및 그 방법
KR20230009806A (ko) * 2021-07-09 2023-01-17 삼성전자주식회사 영상 처리 장치 및 그 동작 방법

Similar Documents

Publication Publication Date Title
JP4926601B2 (ja) 映像配信システム、クライアント端末及びその制御方法
US11263697B2 (en) Remote claims adjuster
US9277165B2 (en) Video surveillance system and method using IP-based networks
US20220076084A1 (en) Responding to machine learning requests from multiple clients
US11670147B2 (en) Method and apparatus for conducting surveillance
JP6442751B2 (ja) 情報処理装置、情報処理システム、制御方法、及びプログラム
US9582902B2 (en) Managing raw and processed image file pairs
JP6415061B2 (ja) 表示制御装置、制御方法及びプログラム
US20160247257A1 (en) Method of transmitting moving image and surveillance system using the method
US20110255590A1 (en) Data transmission apparatus and method, network data transmission system and method using the same
KR20140052355A (ko) Ｉｐ 카메라를 이용하는 클라우드 환경의 영상 감시 시스템 및 영상 감시 방법
US20190303685A1 (en) Monitoring system, monitoring method, and non-transitory computer-readable storage medium
JP2017204838A (ja) 情報処理装置および情報処理方法
US20180213185A1 (en) Method and system for monitoring a scene based on a panoramic view
CN108600675B (zh) 通道路数扩展方法、设备、网络录像机及存储介质
US20190387153A1 (en) Imaging resolution and transmission system
US20180018398A1 (en) Positioning content in computer-generated displays based on available display space
US9065983B2 (en) Method and systems for providing video data streams to multiple users
US9076207B1 (en) Image processing method, system and electronic device
KR102608208B1 (ko) 관심 이미지의 시인성을 개선한 스트리밍 서비스 방법, 장치 및 시스템
JP5769468B2 (ja) 物体検出システム及び物体検出方法
KR102599525B1 (ko) 관심 이미지의 시인성을 개선한 화면 표출 방법, 장치 및 시스템
JP2007124354A (ja) サーバ及びその制御方法並びに映像配信システム
CN112911299A (zh) 一种视频码率控制方法、装置、电子设备和存储介质
JP2009239804A (ja) 監視システム及び画像検索サーバ

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant