KR102599525B1 - Method, device and system for displaying screen by improving visibility of image of interest - Google Patents

Method, device and system for displaying screen by improving visibility of image of interest Download PDF

Info

Publication number
KR102599525B1
KR102599525B1 KR1020230046900A KR20230046900A KR102599525B1 KR 102599525 B1 KR102599525 B1 KR 102599525B1 KR 1020230046900 A KR1020230046900 A KR 1020230046900A KR 20230046900 A KR20230046900 A KR 20230046900A KR 102599525 B1 KR102599525 B1 KR 102599525B1
Authority
KR
South Korea
Prior art keywords
image
interest
region
screen display
visibility
Prior art date
Application number
KR1020230046900A
Other languages
Korean (ko)
Inventor
한상유
안상후
Original Assignee
(주)클라모스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)클라모스 filed Critical (주)클라모스
Priority to KR1020230046900A priority Critical patent/KR102599525B1/en
Application granted granted Critical
Publication of KR102599525B1 publication Critical patent/KR102599525B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

본 발명은 관심 이미지의 시인성을 개선한 화면 표출 방법, 장치 및 시스템에 관한 것으로, 관제시스템 클라이언트로부터 관심 이미지 내 관심영역에 대한 정보를 수신하는 단계; 상기 관심 이미지에 대응되는 제 1 이미지 및 상기 관심영역에 대한 정보를 화질개선 서버에 전송하는 단계; 상기 화질개선 서버로부터 관심영역의 화질이 개선된 제 2 이미지를 수신하는 단계; 및 상기 제 2 이미지를 상기 관제시스템 클라이언트에 전송하는 단계를 포함한다.The present invention relates to a screen display method, device, and system that improves the visibility of an image of interest, comprising: receiving information about a region of interest in an image of interest from a control system client; transmitting a first image corresponding to the image of interest and information about the region of interest to an image quality improvement server; Receiving a second image with improved image quality of the region of interest from the image quality improvement server; and transmitting the second image to the control system client.

Description

관심 이미지의 시인성을 개선한 화면 표출 방법, 장치 및 시스템 {METHOD, DEVICE AND SYSTEM FOR DISPLAYING SCREEN BY IMPROVING VISIBILITY OF IMAGE OF INTEREST}Screen display method, device and system that improves the visibility of images of interest {METHOD, DEVICE AND SYSTEM FOR DISPLAYING SCREEN BY IMPROVING VISIBILITY OF IMAGE OF INTEREST}

본 발명은 관심 이미지의 시인성을 개선한 화면 표출 방법, 장치 및 시스템에 관한 것으로서, 보다 상세하게는 관심 이미지 내 관심영역의 시인성을 개선한 화면 표출 방법, 장치 및 시스템에 관한 것이다.The present invention relates to a screen display method, device, and system that improves the visibility of an image of interest, and more specifically, to a screen display method, device, and system that improves the visibility of a region of interest in an image of interest.

다수의 장소를 한번에 모니터링하기 위해서 관제시스템이 이용되고 있다. 일반적으로 다수의 장소에 각각 CCTV와 같은 영상장치를 구비한 후, 각 CCTV로부터 전송되는 영상을 관제시스템의 화면에 출력함으로써 관리자가 한번에 다수의 장소를 모니터링하도록 지원할 수 있다. 이러한 관제시스템은 생활안전, 사회안전, 시설관리 등의 분야에 널리 이용되고 있다.A control system is used to monitor multiple locations at once. In general, after equipping multiple locations with imaging devices such as CCTVs, the images transmitted from each CCTV are output on the screen of the control system, enabling managers to monitor multiple locations at once. This control system is widely used in fields such as living safety, social safety, and facility management.

이와 같이 다수의 영상을 기반으로 제공되는 관제 서비스에 있어서, 영상에 포함된 객체의 이미지의 시인성이 떨어지는 문제가 자주 발생한다. 예를 들어, 객체가 이동중일 때 모션블러가 발생하거나 객체에 포커스가 없을 때 블러 현상이 발생하거나 카메라 CCD(Charge Couple Device)의 오염으로 인해 객체에 노이즈가 발생할 수 있다. 이 경우 객체의 시인성을 개선하기 위해서 이미지 처리 알고리즘을 이용하여 영상 내 객체의 이미지를 좀 더 선명하게 처리하는 기법들이 이용되고 있다. 이를 기반으로, 사용자는 객체의 이미지를 보다 정확하게 모니터링할 수 있다.In such control services provided based on multiple videos, a problem often occurs in which the visibility of images of objects included in the videos is low. For example, motion blur may occur when an object is moving, blur may occur when the object is not in focus, or noise may occur in the object due to contamination of the camera CCD (Charge Couple Device). In this case, in order to improve the visibility of the object, techniques are used to process the image of the object in the video more clearly using an image processing algorithm. Based on this, users can monitor the image of the object more accurately.

한편, 대부분의 관제시스템은 영상을 실시간으로 처리하여 모니터링 서비스를 제공하는데, 이 때, 영상 처리에 따른 부하가 증가하는 경우 모니터링 서비스를 실시간으로 제공하기 어려운 문제가 있었다.Meanwhile, most control systems provide monitoring services by processing video in real time, but when the load due to video processing increases, it is difficult to provide monitoring services in real time.

한국 등록특허 제10-1951232호Korean Patent No. 10-1951232

본 발명은 상술한 문제점을 해결하기 위한 것으로서, 사용자의 입력을 기반으로 관심 이미지 내 관심영역의 시인성을 개선한 화면 표출 방법, 서버 및 시스템을 제공하는데 그 목적이 있다.The present invention is intended to solve the above-mentioned problems, and its purpose is to provide a screen display method, server, and system that improves the visibility of a region of interest in an image of interest based on user input.

본 발명의 일 양태에 따르면, 관심 이미지의 시인성을 개선한 화면 표출 방법을 제공한다. 상기 관심 이미지의 시인성을 개선한 화면 표출 방법은, 관제시스템 클라이언트로부터 관심 이미지 내 관심영역에 대한 정보를 수신하는 단계, 상기 관심 이미지에 대응되는 제 1 이미지 및 상기 관심영역에 대한 정보를 화질개선 서버에 전송하는 단계, 상기 화질개선 서버로부터 관심영역의 화질이 개선된 제 2 이미지를 수신하는 단계 및 상기 제 2 이미지를 상기 관제시스템 클라이언트에 전송하는 단계를 포함한다.According to one aspect of the present invention, a screen display method with improved visibility of an image of interest is provided. The screen display method with improved visibility of the image of interest includes receiving information about a region of interest in the image of interest from a control system client, sending a first image corresponding to the image of interest and information about the region of interest to a picture quality improvement server. Transmitting to, receiving a second image with improved image quality of the region of interest from the image quality improvement server, and transmitting the second image to the control system client.

일 측면에서, 상기 관심영역에 대한 정보를 수신하는 단계는, 상기 관제시스템 클라이언트의 사용자의 입력을 기반으로 선택된 관심영역의 위치, 좌표, ID, 및 화면 표출 옵션 중 적어도 하나를 상기 관심영역에 대한 정보로 수신한다.In one aspect, the step of receiving information about the area of interest includes at least one of the location, coordinates, ID, and screen display options of the area of interest selected based on the input of the user of the control system client. Receive as information.

다른 측면에서, 상기 관제시스템 클라이언트는, 상기 관심영역의 위치, 좌표, ID, 및 화면 표출 옵션 중 적어도 하나를 선택 가능한 UI를 제공한다.In another aspect, the control system client provides a UI that allows selection of at least one of the location, coordinates, ID, and screen display options of the area of interest.

또 다른 측면에서, 상기 화질개선 서버에 전송하는 단계는, 상기 관심영역에 대한 정보를 기반으로 미리 저장된 상기 제 1 이미지에서 관심영역을 잘라내는 단계 및 잘라낸 관심영역의 이미지를 상기 화질개선 서버에 전송하는 단계를 포함한다.In another aspect, the step of transmitting to the image quality improvement server includes cropping a region of interest from the first image previously stored based on information about the region of interest and transmitting the cropped image of the region of interest to the image quality improvement server. It includes steps to:

또 다른 측면에서, 상기 제 2 이미지를 수신하는 단계는, 상기 화질개선 서버로부터 화면 표출 옵션을 기반으로 처리된 이미지를 상기 제 2 이미지로 수신하는 단계를 포함한다.In another aspect, receiving the second image includes receiving an image processed based on a screen display option from the picture quality improvement server as the second image.

또 다른 측면에서, 상기 제 2 이미지로 수신하는 단계는, 화질이 개선된 관심영역의 이미지가 상기 제 1 이미지 상의 관심영역과 동일한 위치에 삽입된 이미지를 수신하는 단계, 화질이 개선된 관심영역의 이미지가 상기 제 1 이미지 상의 관심영역과 동일한 위치에 삽입되되, 나머지 영역을 블러로 처리한 이미지를 수신하는 단계 및 화질이 개선된 관심영역을 추출한 이미지를 수신하는 단계 중 적어도 하나를 포함한다.In another aspect, the step of receiving the second image includes receiving an image in which an image of the region of interest with improved image quality is inserted at the same position as the region of interest on the first image, It includes at least one of receiving an image in which an image is inserted at the same position as the region of interest on the first image, but the remaining region is blurred, and receiving an image in which the region of interest with improved image quality is extracted.

본 발명의 다른 양태에 따르면, 관심 이미지의 시인성을 개선한 화면 표출 장치를 제공한다. 상기 관심 이미지의 시인성을 개선한 화면 표출 장치는, 관제시스템 클라이언트로부터 관심 이미지 내 관심영역에 대한 정보를 수신하는 통신모듈 및 상기 관심 이미지에 대응되는 제 1 이미지 및 상기 관심영역에 대한 정보를 화질개선 서버에 전송하여, 관심영역의 화질이 개선된 제 2 이미지를 수신하고, 상기 제 2 이미지를 상기 관제시스템 클라이언트에 전송하는 프로세서를 포함한다.According to another aspect of the present invention, a screen display device with improved visibility of an image of interest is provided. The screen display device that improves the visibility of the image of interest includes a communication module that receives information about the area of interest in the image of interest from a control system client, and a first image corresponding to the image of interest and information about the area of interest to improve picture quality. It includes a processor that transmits to a server, receives a second image with improved image quality of the region of interest, and transmits the second image to the control system client.

일 측면에서, 상기 통신모듈은, 상기 관제시스템 클라이언트의 사용자의 입력을 기반으로 선택된 관심영역의 위치, 좌표, ID, 및 화면 표출 옵션 중 적어도 하나를 상기 관심영역에 대한 정보로 수신한다.In one aspect, the communication module receives at least one of the location, coordinates, ID, and screen display options of the area of interest selected based on the input of the user of the control system client as information about the area of interest.

다른 측면에서, 상기 관제시스템 클라이언트는, 상기 관심영역의 위치, 좌표, ID, 및 화면 표출 옵션 중 적어도 하나를 선택 가능한 UI를 제공한다.In another aspect, the control system client provides a UI that allows selection of at least one of the location, coordinates, ID, and screen display options of the area of interest.

또 다른 측면에서, 상기 프로세서는, 상기 관심영역에 대한 정보를 기반으로 미리 저장된 상기 제 1 이미지에서 관심영역을 잘라내고, 잘라낸 관심영역의 이미지를 상기 화질개선 서버에 전송한다.In another aspect, the processor crops a region of interest from the pre-stored first image based on information about the region of interest and transmits the cropped image of the region of interest to the image quality improvement server.

또 다른 측면에서, 상기 프로세서는, 상기 화질개선 서버로부터 화면 표출 옵션을 기반으로 처리된 이미지를 상기 제 2 이미지로 수신한다.In another aspect, the processor receives an image processed based on screen display options from the image quality improvement server as the second image.

또 다른 측면에서, 상기 프로세서는, 화질이 개선된 관심영역의 이미지가 상기 제 1 이미지 상의 관심영역과 동일한 위치에 삽입된 이미지, 화질이 개선된 관심영역의 이미지가 상기 제 1 이미지 상의 관심영역과 동일한 위치에 삽입되되, 나머지 영역을 블러로 처리한 이미지 및 화질이 개선된 관심영역을 추출한 이미지 중 적어도 하나를 상기 제 2 이미지로 수신한다.In another aspect, the processor is configured to insert an image of a region of interest with improved image quality at the same position as the region of interest on the first image, and an image of the region of interest with improved image quality inserted into the region of interest on the first image. At least one of an image inserted at the same location but with the remaining area blurred and an image from which a region of interest with improved image quality is extracted is received as the second image.

본 발명의 또 다른 양태에 따르면, 관심 이미지의 시인성을 개선한 화면 표출 시스템을 제공한다. 상기 관심 이미지의 시인성을 개선한 화면 표출 시스템은, 관심 이미지 내 관심영역에 대한 정보를 입력받는 관제시스템 클라이언트, 상기 관제시스템 클라이언트로부터 상기 관심영역에 대한 정보를 수신하고, 상기 관심 이미지에 대응되는 제 1 이미지 및 상기 관심영역에 대한 정보를 화질개선 서버에 전송하는 미디어 서버 및 상기 제 1 이미지 및 상기 관심영역에 대한 정보를 기반으로 관심영역의 화질이 개선된 제 2 이미지를 생성하는 상기 화질개선 서버를 포함한다.According to another aspect of the present invention, a screen display system with improved visibility of an image of interest is provided. A screen display system that improves the visibility of the image of interest includes a control system client that receives information about the area of interest in the image of interest, a control system client that receives information about the area of interest from the control system client, and a device corresponding to the image of interest. 1 A media server that transmits an image and information about the region of interest to an image quality improvement server, and the image quality improvement server that generates a second image with improved image quality of the region of interest based on the first image and information about the region of interest. Includes.

일 측면에서, 상기 미디어 서버는, 상기 관제시스템 클라이언트의 사용자의 입력을 기반으로 선택된 관심영역의 위치, 좌표, ID, 및 화면 표출 옵션 중 적어도 하나를 상기 관심영역에 대한 정보로 수신한다.In one aspect, the media server receives at least one of the location, coordinates, ID, and screen display options of the region of interest selected based on the input of the user of the control system client as information about the region of interest.

다른 측면에서, 상기 관제시스템 클라이언트는, 상기 관심영역의 위치, 좌표, ID, 및 화면 표출 옵션 중 적어도 하나를 선택 가능한 UI를 제공한다.In another aspect, the control system client provides a UI that allows selection of at least one of the location, coordinates, ID, and screen display options of the area of interest.

또 다른 측면에서, 상기 미디어 서버는, 상기 관심영역에 대한 정보를 기반으로 미리 저장된 상기 제 1 이미지에서 관심영역을 잘라내고, 잘라낸 관심영역의 이미지를 상기 화질개선 서버에 전송한다.In another aspect, the media server crops a region of interest from the first image previously stored based on information about the region of interest and transmits the cropped image of the region of interest to the image quality improvement server.

또 다른 측면에서, 상기 미디어 서버는, 상기 화질개선 서버로부터 화면 표출 옵션을 기반으로 처리된 이미지를 상기 제 2 이미지로 수신한다.In another aspect, the media server receives an image processed based on screen display options from the picture quality improvement server as the second image.

또 다른 측면에서, 상기 미디어 서버는, 화질이 개선된 관심영역의 이미지가 상기 제 1 이미지 상의 관심영역과 동일한 위치에 삽입된 이미지, 화질이 개선된 관심영역의 이미지가 상기 제 1 이미지 상의 관심영역과 동일한 위치에 삽입되되, 나머지 영역을 블러로 처리한 이미지 및 화질이 개선된 관심영역을 추출한 이미지 중 적어도 하나를 상기 제 2 이미지로 수신한다.In another aspect, the media server is configured to insert an image of a region of interest with improved picture quality at the same position as the region of interest on the first image, and an image of the region of interest with improved picture quality inserted into the region of interest on the first image. At least one of an image inserted at the same position as the image with the remaining area blurred and an image from which a region of interest with improved image quality is extracted is received as the second image.

본 발명의 실시예들은 다음의 장점들을 포함하는 효과를 가질 수 있다. 다만, 본 발명의 실시 예들이 이를 전부 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.Embodiments of the present invention can have effects including the following advantages. However, since this does not mean that the embodiments of the present invention must include all of them, the scope of the rights of the present invention should not be understood as limited thereby.

본 발명의 일 실시예에 따른 관심 이미지의 시인성을 개선한 화면 표출 방법, 장치 및 시스템은 관심 이미지 내 객체의 화질을 개선하여 모니터링 효율을 높이는 효과가 있다.A screen display method, device, and system that improves the visibility of an image of interest according to an embodiment of the present invention has the effect of increasing monitoring efficiency by improving the image quality of objects in the image of interest.

또한, 객체의 주변을 블러 처리하여 관제시스템 사용자의 모니터링 집중도가 분산되는 것을 방지하는 효과가 있다.In addition, the surroundings of the object are blurred, which has the effect of preventing the control system user's monitoring concentration from being dispersed.

또한, UI를 제공하여 사용자 편의에 따른 화면 표출 옵션을 선택하도록 하는 효과가 있다.Additionally, providing a UI has the effect of allowing users to select screen display options according to their convenience.

도 1은 본 발명의 일 실시예에 따른 관심 이미지의 시인성을 개선한 화면 표출 시스템을 개략적으로 나타낸 도면이다.
도 2는 관제시스템 클라이언트의 UI를 나타낸 도면이다.
도 3은 화면 표출 옵션에 따라 출력되는 이미지를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 관심 이미지의 시인성을 개선한 화면 표출 방법에 대한 순서도이다.
도 5는 화질개선 서버의 동작을 나타낸 순서도이다.
도 6은 본 발명의 일 실시예에 따른 관심 이미지의 시인성을 개선한 화면 표출 장치에 대한 블록도이다.
Figure 1 is a diagram schematically showing a screen display system that improves the visibility of an image of interest according to an embodiment of the present invention.
Figure 2 is a diagram showing the UI of the control system client.
Figure 3 is a diagram showing images output according to screen display options.
Figure 4 is a flowchart of a screen display method with improved visibility of an image of interest according to an embodiment of the present invention.
Figure 5 is a flowchart showing the operation of the picture quality improvement server.
Figure 6 is a block diagram of a screen display device with improved visibility of an image of interest according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all changes, equivalents, and substitutes included in the spirit and technical scope of the present invention.

제 1, 제 2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, B, etc. may be used to describe various components, but the components should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, a first component may be referred to as a second component, and similarly, the second component may be referred to as a first component without departing from the scope of the present invention. The term and/or includes any of a plurality of related stated items or a combination of a plurality of related stated items.

어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is said to be 'connected' or 'connected' to another component, it is understood that it may be directly connected or connected to the other component, but that other components may exist in between. It should be. On the other hand, when a component is mentioned as being 'directly connected' or 'directly connected' to another component, it should be understood that there are no other components in between.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, '포함하다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used herein are only used to describe specific embodiments and are not intended to limit the invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, terms such as 'include' or 'have' are intended to designate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification, but are not intended to indicate the presence of one or more other features. It should be understood that this does not exclude in advance the possibility of the existence or addition of elements, numbers, steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person of ordinary skill in the technical field to which the present invention pertains. Terms defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted in an ideal or excessively formal sense unless explicitly defined in the present application. No.

도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다.Before providing a detailed description of the drawings, it would be clarified that the division of components in this specification is merely a division according to the main function each component is responsible for. That is, two or more components, which will be described below, may be combined into one component, or one component may be divided into two or more components for more detailed functions.

그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이다.In addition to the main functions it is responsible for, each of the components described below may additionally perform some or all of the functions handled by other components, and some of the main functions handled by each component may be performed by other components. It may also be carried out in full charge by . Therefore, the presence or absence of each component described throughout this specification should be interpreted functionally.

본 명세서에서 "A 또는 B(A or B)"는 "오직 A", "오직 B" 또는 "A와 B 모두"를 의미할 수 있다. 달리 표현하면, 본 명세서에서 "A 또는 B(A or B)"는 "A 및/또는 B(A and/or B)"으로 해석될 수 있다. 예를 들어, 본 명세서에서 "A, B 또는 C(A, B or C)"는 "오직 A", "오직 B", "오직 C", 또는 "A, B 및 C의 임의의 모든 조합(any combination of A, B and C)"를 의미할 수 있다.As used herein, “A or B” may mean “only A,” “only B,” or “both A and B.” In other words, as used herein, “A or B” may be interpreted as “A and/or B.” For example, as used herein, “A, B or C” refers to “only A,” “only B,” “only C,” or “any and all combinations of A, B, and C ( It can mean “any combination of A, B and C)”.

본 명세서에서 사용되는 슬래쉬(/)나 쉼표(comma)는 "및/또는(and/or)"을 의미할 수 있다. 예를 들어, "A/B"는 "A 및/또는 B"를 의미할 수 있다. 이에 따라 "A/B"는 "오직 A", "오직 B", 또는 "A와 B 모두"를 의미할 수 있다. 예를 들어, "A, B, C"는 "A, B 또는 C"를 의미할 수 있다.The slash (/) or comma used in this specification may mean “and/or.” For example, “A/B” can mean “A and/or B.” Accordingly, “A/B” can mean “only A,” “only B,” or “both A and B.” For example, “A, B, C” can mean “A, B, or C.”

본 명세서에서 "A 및 B 중 적어도 하나(at least one of A and B)"는, "오직 A", "오직 B" 또는 "A와 B 모두"를 의미할 수 있다. 또한, 본 명세서에서 "적어도 하나의 A 또는 B(at least one of A or B)"나 "적어도 하나의 A 및/또는 B(at least one of A and/or B)"라는 표현은 "적어도 하나의 A 및 B(at least one of A and B)"와 동일하게 해석될 수 있다. As used herein, “at least one of A and B” may mean “only A,” “only B,” or “both A and B.” In addition, in this specification, the expression "at least one of A or B" or "at least one of A and/or B" means "at least one It can be interpreted the same as "at least one of A and B".

또한, 본 명세서에서 "적어도 하나의 A, B 및 C(at least one of A, B and C)"는, "오직 A", "오직 B", "오직 C", 또는 "A, B 및 C의 임의의 모든 조합(any combination of A, B and C)"를 의미할 수 있다. 또한, "적어도 하나의 A, B 또는 C(at least one of A, B or C)"나 "적어도 하나의 A, B 및/또는 C(at least one of A, B and/or C)"는 "적어도 하나의 A, B 및 C(at least one of A, B and C)"를 의미할 수 있다.Additionally, as used herein, “at least one of A, B and C” means “only A”, “only B”, “only C”, or “A, B and C”. It can mean “any combination of A, B and C.” Also, “at least one of A, B or C” or “at least one of A, B and/or C” means It may mean “at least one of A, B and C.”

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the attached drawings. In order to facilitate overall understanding when describing the present invention, the same reference numerals are used for the same components in the drawings, and duplicate descriptions for the same components are omitted.

도 1은 본 발명의 일 실시예에 따른 관심 이미지의 시인성을 개선한 화면 표출 시스템을 개략적으로 나타낸 도면이다.Figure 1 is a diagram schematically showing a screen display system that improves the visibility of an image of interest according to an embodiment of the present invention.

도 1을 참조하면, 본 실시예에 따른 관심 이미지의 시인성을 개선한 화면 표출 시스템(100)은 관제시스템에 전송한 이미지 내 관심영역에 포함된 객체(관심 객체)의 화질을 개선하여 화면을 표출하는 시스템으로서, 관제시스템 클라이언트의 사용자가 이미지 내 관심영역에 대한 정보를 입력할 시, 해당 관심영역의 화질을 개선하여 관제시스템 클라이언트의 화면에 표출할 수 있다. 관심 이미지의 시인성을 개선한 화면 표출 시스템(100)은 미디어 서버(110), 관제시스템 클라이언트(120) 및 화질개선 서버(130)를 포함할 수 있다. 도 1의 관심 이미지의 시인성을 개선한 화면 표출 시스템(100)을 기반으로 하여, 관심 이미지의 시인성을 개선한 화면 표출 비즈니스 모델(Business Model, BM)이 구현될 수 있다.Referring to FIG. 1, the screen display system 100 that improves the visibility of the image of interest according to this embodiment displays the screen by improving the image quality of the object (object of interest) included in the area of interest in the image transmitted to the control system. As a system, when the user of the control system client inputs information about the area of interest in the image, the image quality of the area of interest can be improved and displayed on the screen of the control system client. The screen display system 100 that improves the visibility of images of interest may include a media server 110, a control system client 120, and an image quality improvement server 130. Based on the screen display system 100 with improved visibility of the image of interest shown in FIG. 1, a business model (BM) for displaying the screen with improved visibility of the image of interest can be implemented.

미디어 서버(110)는 외부로부터 수신한 이미지를 관제시스템 클라이언트(120)의 화면에 표출하는 장치이다. 미디어 서버(110)는 CCTV와 같은 적어도 하나의 이미지 취득 장치로부터 이미지를 수신하고, 수신된 적어도 하나의 이미지를 관제시스템 클라이언트(120)에 전송할 수 있다. 이때, 복수개의 이미지들을 전송할 경우, 각각의 이미지들이 관제시스템 클라이언트(120)의 화면의 정해진 위치에 출력되도록 분배할 수 있다. 미디어 서버(110)는 사용자가 실시간으로 이미지를 모니터링할 수 있도록, 적어도 하나의 이미지 취득 장치로부터 전송되는 적어도 하나의 이미지를 실시간으로 관제시스템 클라이언트(120)에 전송할 수 있다. 미디어 서버(110)는 이미지 서버, 스트리밍 서버, IoT 서버, 클라우드 서버, 엣지 서버, 네트워크 서버, 중계 서버, 게이트웨이 등으로 구현될 수 있다. 이하에 설명되는 미디어 서버(110)는 스트리밍 서버인 경우를 예시로 설명하였으나, 상술한 다른 종류의 서버들을 적용할 수도 있다.The media server 110 is a device that displays images received from the outside on the screen of the control system client 120. The media server 110 may receive an image from at least one image acquisition device, such as a CCTV, and transmit the at least one received image to the control system client 120. At this time, when transmitting a plurality of images, each image can be distributed so that it is output at a designated location on the screen of the control system client 120. The media server 110 may transmit at least one image transmitted from at least one image acquisition device to the control system client 120 in real time so that the user can monitor the image in real time. The media server 110 may be implemented as an image server, streaming server, IoT server, cloud server, edge server, network server, relay server, gateway, etc. The media server 110 described below is described as a streaming server as an example, but other types of servers described above may also be applied.

관제시스템 클라이언트(120)는 미디어 서버(110)로부터 이미지를 수신하여 화면에 출력하는 장치이다. 관제시스템 클라이언트(120)는 관제시스템에 포함된 사용자 단말 내지는 관리자 단말일 수 있다. 관제시스템은 도 1을 통해 설명하는 시인성을 개선한 화면 표출 시스템(100)일 수도 있고, 시인성을 개선한 화면 표출 시스템(100)에 포함된 것일 수도 있다. 즉, 관제시스템과 시인성을 개선한 화면 표출 시스템(100)은 하나의 통합된 시스템일 수도 있고, 관제시스템이 시인성을 개선한 화면 표출 시스템(100)의 일부일 수도 있다. 관제시스템 클라이언트(120)는 PC, 노트북, PDA, 스마트 단말, 휴대 단말 등으로 구현될 수 있다. 이하에 설명되는 관제시스템 클라이언트(120)는 PC 인 경우를 예시로 설명하였으나, 상술한 다른 종류의 단말들을 적용할 수도 있다.The control system client 120 is a device that receives images from the media server 110 and outputs them on the screen. The control system client 120 may be a user terminal or an administrator terminal included in the control system. The control system may be the screen display system 100 with improved visibility described with reference to FIG. 1, or it may be included in the screen display system 100 with improved visibility. That is, the control system and the screen display system 100 with improved visibility may be one integrated system, or the control system may be a part of the screen display system 100 with improved visibility. The control system client 120 may be implemented as a PC, laptop, PDA, smart terminal, mobile terminal, etc. Although the control system client 120 described below is a PC as an example, other types of terminals described above can also be applied.

화질개선 서버(130)는 관심영역의 시인성을 개선하는 장치로, 화질 개선 알고리즘을 이용하여 수신된 이미지에 포함된 관심영역의 화질을 개선할 수 있다. 화질개선 서버(130)는 이미지처리 서버, 스트리밍 서버, IoT 서버, 클라우드 서버, 엣지 서버, 네트워크 서버, 중계 서버, 게이트웨이 등으로 구현될 수 있다. 이하에 설명되는 화질개선 서버(130)는 이미지처리 서버인 경우를 예시로 설명하였으나, 상술한 다른 종류의 서버들을 적용할 수도 있다.The image quality improvement server 130 is a device that improves the visibility of the region of interest and can improve the image quality of the region of interest included in the received image using an image quality improvement algorithm. The image quality improvement server 130 may be implemented as an image processing server, streaming server, IoT server, cloud server, edge server, network server, relay server, gateway, etc. The picture quality improvement server 130 described below is an image processing server as an example, but other types of servers described above may also be applied.

미디어 서버(110)는 관제시스템 클라이언트(120)로부터 관심 이미지 내 관심영역에 대한 정보를 수신할 수 있다. 여기에서 관심 이미지는 관제시스템 클라이언트(120)의 화면에 출력중인 이미지일 수 있다. 미디어 서버(110)는 외부로부터 수신한 이미지들 중 하나를 관심 이미지로서 관제시스템 클라이언트(120)에 제공할 수 있다. 이러한 관심 이미지는 관제시스템 클라이언트(120)의 사용자의 요청에 따라 제공되는 것일 수 있다. The media server 110 may receive information about the area of interest in the image of interest from the control system client 120. Here, the image of interest may be an image being displayed on the screen of the control system client 120. The media server 110 may provide one of the images received from the outside as an image of interest to the control system client 120. These images of interest may be provided at the request of the user of the control system client 120.

미디어 서버(110)는 기 제공된 관심 이미지 내 관심영역에 대한 정보를 관제시스템 클라이언트(120)로부터 수신할 수 있다. 여기에서 관심영역은 사용자가 보다 높은 화질로 확인하려는 객체에 대한 영역일 수 있다. 예를 들어, 차량에 대한 이미지가 관제시스템 클라이언트(120)에 출력중인 상태에서, 사용자는 차량이라는 객체에 대한 영역을 관심영역으로 선택할 수 있다.The media server 110 may receive information about the area of interest in the previously provided image of interest from the control system client 120. Here, the area of interest may be an area for an object that the user wants to check with higher image quality. For example, while an image of a vehicle is being output to the control system client 120, the user can select the area of the object called the vehicle as the area of interest.

이러한 선택을 기반으로 미디어 서버(110)는 관제시스템 클라이언트(120)로부터 사용자가 선택한 관심영역에 대한 정보를 수신할 수 있다. 미디어 서버(110)는 관제시스템 클라이언트(120)의 사용자의 입력을 기반으로 선택된 관심영역의 위치, 좌표, ID, 및 화면 표출 옵션 중 적어도 하나를 관심영역에 대한 정보로 수신할 수 있다. 즉, 사용자가 선택한 객체가 관심 이미지 내 어디에 위치하는지를 식별할 수 있는 정보를 관심영역에 대한 정보로 수신할 수 있다.Based on this selection, the media server 110 can receive information about the area of interest selected by the user from the control system client 120. The media server 110 may receive at least one of the location, coordinates, ID, and screen display options of the area of interest selected based on the input of the user of the control system client 120 as information about the area of interest. In other words, information that can identify where the object selected by the user is located in the image of interest can be received as information about the area of interest.

한편, 관제시스템 클라이언트(120)는 사용자가 관심영역에 대한 정보를 입력할 수 있도록 지원하는 UI를 제공할 수 있다. UI는 관심영역의 위치, 좌표, ID, 및 화면 표출 옵션 중 적어도 하나를 선택할 수 있는 기능을 지원할 수 있다. 예를 들어, 사용자가 화면 내 특정 객체를 터치하면, 해당 터치한 지점을 중심으로 일정 영역을 관심영역으로 지정하고, 지정된 관심영역에 대한 위치, 좌표, ID, 및 화면 표출 옵션 중 적어도 하나를 미디어 서버(110)에 전송할 수 있다. 다른 예로, 관제시스템 클라이언트(120)에 구비된 입력장치(키보드, 마우스, 터치펜)를 통해 특정 객체가 선택되면, 해당 객체에 대응하는 영역을 관심영역으로 지정하고, 지정된 관심영역에 대한 위치, 좌표, ID, 및 화면 표출 옵션 중 적어도 하나를 미디어 서버(110)에 전송할 수 있다. 사용자는 UI를 이용하여 관심영역의 위치뿐만 아니라 크기도 자유롭게 입력할 수 있다. 예를 들어, 기본값으로 크기 조절이 가능한 바운딩박스가 UI로 출력되고, 사용자가 관제시스템 클라이언트(120)의 화면을 터치상태에서 바운딩박스의 위치를 조절하고, 손가락으로 바운딩박스의 크기를 크게 또는 작게 조절할 수 있다.Meanwhile, the control system client 120 may provide a UI that allows the user to input information about the area of interest. The UI may support the function of selecting at least one of the location, coordinates, ID, and screen display options of the area of interest. For example, when a user touches a specific object on the screen, a certain area centered on the touched point is designated as an area of interest, and at least one of the location, coordinates, ID, and screen display options for the designated area of interest is sent to the media. It can be transmitted to the server 110. As another example, when a specific object is selected through an input device (keyboard, mouse, touch pen) provided in the control system client 120, the area corresponding to the object is designated as an area of interest, the location of the designated area of interest, At least one of coordinates, ID, and screen display options may be transmitted to the media server 110. Using the UI, the user can freely input not only the location but also the size of the area of interest. For example, by default, a bounding box whose size can be adjusted is output to the UI, and the user adjusts the position of the bounding box while touching the screen of the control system client 120 and increases or decreases the size of the bounding box with his or her finger. It can be adjusted.

한편, 미디어 서버(110)는 관심 이미지에 대응되는 제 1 이미지 및 관제시스템 클라이언트(120)로부터 수신한 관심영역에 대한 정보를 화질개선 서버(130)에 전송할 수 있다. 미디어 서버(110)는 외부로부터 전송된 복수개의 이미지들을 저장하고 있으며, 관제시스템 클라이언트(120)에 어떤 이미지를 전송하였는지 알고 있는 상태이다. 미디어 서버(110)는 관제시스템 클라이언트(120)로부터 관심영역에 대한 정보가 수신되면, 기 저장된 복수개의 이미지들 중 어떤 이미지가 관심 이미지에 대응되는 것인지 식별할 수 있다. 이러한 과정을 기반으로 식별된 이미지를 제 1 이미지라 한다. 즉, 관제시스템 클라이언트(120)에 출력중인 관심 이미지와 미디어 서버(110)에 저장된 제 1 이미지는 동일한 이미지일 수 있다. 미디어 서버(110)는 제 1 이미지 및 관심영역에 대한 정보를 화질개선 서버에 전송할 수 있다. Meanwhile, the media server 110 may transmit the first image corresponding to the image of interest and information on the area of interest received from the control system client 120 to the image quality improvement server 130. The media server 110 stores a plurality of images transmitted from the outside and knows which image was transmitted to the control system client 120. When information about the area of interest is received from the control system client 120, the media server 110 can identify which of the plurality of pre-stored images corresponds to the image of interest. The image identified based on this process is called the first image. That is, the image of interest being output to the control system client 120 and the first image stored in the media server 110 may be the same image. The media server 110 may transmit information about the first image and the region of interest to the image quality improvement server.

한편, 종래 실시간 모니터링을 위한 서비스를 제공하는 관제시스템의 경우, 실시간 서비스를 유지하기 위해서 장치들 간에 이미지를 송수신할 때, 통신 레이턴시(Latency)가 발생되지 않도록 이미지를 리사이즈(Resize)하여 통신 속도를 유지해야 한다. 이와 같이 이미지를 리사이즈하는 과정에서 화질 저하 현상이 발생될 수 있다. 이러한 문제점을 개선하기 위해서 미디어 서버(110)는 직접 화질 개선 동작을 수행하는 대신, 제 1 이미지의 크기(용량)를 화질 저하가 발생되지 않도록 줄여서 관심영역에 대한 정보와 함께 화질개선 서버(130)에 전송할 수 있다. 예를 들어, 미디어 서버(110)는 관심영역에 대한 정보를 기반으로 저장된 제 1 이미지에서 관심영역을 잘라내고, 잘라낸 관심영역의 이미지를 화질개선 서버(130)에 전송할 수 있다. 즉, 전송하려는 이미지의 화질은 그대로 유지한 상태에서, 화질 개선이 필요한 관심영역만 크롭(Crop)하여 전송할 수 있다. 이때, 크롭된 제 1 이미지는 그대로 화질개선 서버(130)에 전송될 수도 있고, 관심 이미지의 크기만큼 확대되어 전송될 수도 있다.Meanwhile, in the case of a control system that provides a service for conventional real-time monitoring, when images are transmitted and received between devices to maintain real-time service, the image is resized to prevent communication latency from occurring to increase communication speed. must be maintained In this way, image quality may deteriorate during the process of resizing the image. In order to improve this problem, instead of directly performing an image quality improvement operation, the media server 110 reduces the size (capacity) of the first image to prevent image quality deterioration and provides the image quality improvement server 130 with information about the region of interest. can be transmitted to. For example, the media server 110 may crop the region of interest from the stored first image based on information about the region of interest and transmit the cropped image of the region of interest to the image quality improvement server 130. In other words, while maintaining the image quality of the image to be transmitted, only the area of interest that requires image quality improvement can be cropped and transmitted. At this time, the cropped first image may be transmitted to the image quality improvement server 130 as is, or may be enlarged to the size of the image of interest and transmitted.

화질개선 서버(130)는 제 1 이미지에 대한 화질 개선 동작을 수행할 수 있다. 화질개선 서버(130)는 제 1 이미지 및 관심영역에 대한 정보가 함께 수신되면, 제 1 이미지 내 관심영역을 식별한 후, 관심영역에 대한 화질 개선 동작을 수행할 수 있다. 물론, 수신된 제 1 이미지가 크롭된 이미지라면, 관심영역을 식별하는 과정 없이 화질 개선 동작을 수행할 수도 있다.The image quality improvement server 130 may perform an image quality improvement operation on the first image. When the image quality improvement server 130 receives information about the first image and the region of interest together, the image quality improvement server 130 may identify the region of interest within the first image and then perform an image quality improvement operation on the region of interest. Of course, if the received first image is a cropped image, the image quality improvement operation may be performed without identifying the region of interest.

화질개선 서버(130)는 다양한 화질 개선 알고리즘을 기반으로 제 1 이미지 내 관심영역의 화질을 개선시킬 수 있다. 예를 들어, 초해상도(Super Resolution) 알고리즘, 디노이징(Denoising) 알고리즘 및 디블러링 작업(Deblurring Task) 알고리즘 중 적어도 하나를 기반으로 관심영역의 화질을 개선시킬 수 있다. 화질개선 서버(130)는 전통적인 룰 기반 접근(Rule Based Approach) 방식의 알고리즘을 이용하거나 데이터 기반 접근(Data Driven Approach) 방식의 알고리즘을 이용하여 관심영역(객체의 이미지)을 보다 선명한 화질로 개선하는 동작을 수행할 수 있다. The image quality improvement server 130 may improve the image quality of the region of interest in the first image based on various image quality improvement algorithms. For example, the image quality of the region of interest can be improved based on at least one of a super resolution algorithm, a denoising algorithm, and a deblurring task algorithm. The image quality improvement server 130 improves the area of interest (image of the object) to clearer image quality using a traditional rule-based approach algorithm or a data-driven approach algorithm. The action can be performed.

화질개선 서버(130)는 이러한 화질 개선 동작을 수행함에 기반하여 관심영역의 화질을 개선한 제 2 이미지를 생성할 수 있다. 화질개선 서버(130)는 관심영역에 대한 정보에 포함된 화면 표출 옵션을 기반으로 제 2 이미지를 생성할 수 있다. 일 예로, 화질이 개선된 관심영역의 이미지가 제 1 이미지 상의 관심영역과 동일한 위치에 삽입된 이미지를 제 2 이미지로 생성할 수 있다. 다른 예로, 화질이 개선된 관심영역의 이미지가 제 1 이미지 상의 관심영역과 동일한 위치에 삽입되되, 나머지 영역을 블러로 처리한 이미지를 제 2 이미지로 생성할 수 있다. 또 다른 예로, 화질이 개선된 관심영역을 추출한 이미지를 제 2 이미지로 생성할 수 있다. 즉, 화질개선 서버(130)는 사용자가 입력한 화면 표출 옵션에 부합하는 형태로 화질이 개선된 관심영역의 이미지에 대한 후처리를 수행할 수 있다.The image quality improvement server 130 may generate a second image with improved image quality of the region of interest based on performing this image quality improvement operation. The image quality improvement server 130 may generate a second image based on the screen display option included in the information about the region of interest. For example, an image of a region of interest with improved image quality may be inserted into the same location as the region of interest in the first image to create a second image. As another example, an image of a region of interest with improved image quality may be inserted at the same location as the region of interest in the first image, but an image with the remaining region blurred may be created as a second image. As another example, an image from which a region of interest with improved image quality is extracted can be generated as a second image. That is, the image quality improvement server 130 may perform post-processing on the image of the region of interest with improved image quality in a form that matches the screen display options entered by the user.

한편, 화질개선 서버(130)에서 화질 개선 동작을 수행한 결과(제 2 이미지)를 전송하기 위한 데이터 통신 방식은 RTP(Real Time Transport Protocol), RTSP(Real Time Streaming Protocol), HLS(HTTP Live Streaming)과 같이 실시간 스트리밍에 적합한 방식일 수 있다. 마찬가지로 미디어 서버(110)의 이미지 전송 방식 또한 RTP, RTSP, HLS 중 하나일 수 있다.Meanwhile, data communication methods for transmitting the result (second image) of performing an image quality improvement operation in the image quality improvement server 130 include RTP (Real Time Transport Protocol), RTSP (Real Time Streaming Protocol), and HLS (HTTP Live Streaming). ), it may be a method suitable for real-time streaming. Likewise, the image transmission method of the media server 110 may also be one of RTP, RTSP, and HLS.

도 2는 관제시스템 클라이언트의 UI를 나타낸 도면이다.Figure 2 is a diagram showing the UI of the control system client.

도 2를 참조하면 관제시스템 클라이언트는 도 1을 통해 설명한 관제시스템 클라이언트(120)와 동일한 장치일 수 있다. 관제시스템 클라이언트(120)의 화면에는 사용자의 입력을 위한 UI가 표시될 수 있다. 이러한 UI는 윈도우 앱, 리눅스 앱, 모바일 앱, 웹사이트 등으로 구현될 수 있다.Referring to FIG. 2, the control system client may be the same device as the control system client 120 described with reference to FIG. 1. A UI for user input may be displayed on the screen of the control system client 120. This UI can be implemented as a Windows app, Linux app, mobile app, website, etc.

관제시스템 클라이언트(120)의 화면에는 미디어 서버(110)로부터 수신한 관심 이미지가 출력될 수 있다. 이와 함께, 관제 상황에서 사용자가 필요로 하는 기능에 대한 목록도 함께 출력될 수 있다. 예를 들어, 도 2의 1번 영역에는 관심 이미지가 출력되고 2번 영역에는 스크린샷, 관심객체 지정 기능에 대한 목록이 출력될 수 있다. 사용자는 2번 영역에 출력되는 기능을 이용하여 화면에 출력중인 관심 이미지 상에서 화질 개선을 원하는 특정 객체의 영역을 관심영역으로 선택할 수 있다. 즉, 3번 영역과 같이 차량을 관심 객체로 하는 관심영역이 선택될 수 있다. 사용자는 관심영역을 선택한 후 확인(4번 영역)을 터치하거나 누름으로써 관심영역에 대한 선택을 완료할 수 있다.Images of interest received from the media server 110 may be displayed on the screen of the control system client 120. In addition, a list of functions needed by the user in a control situation can also be output. For example, in area 1 of FIG. 2, an image of interest may be displayed, and in area 2, a screenshot and a list of functions for specifying an object of interest may be displayed. The user can use the function displayed in area 2 to select the area of a specific object for which image quality is desired to be improved on the image of interest being displayed on the screen as the area of interest. That is, an area of interest with a vehicle as an object of interest, such as area 3, may be selected. The user can complete the selection of the area of interest by selecting the area of interest and then touching or pressing OK (area 4).

한편, 사용자는 자신이 원하는 형태로 화면 표출 옵션을 설정할 수 있다. 예를 들어, 4번 영역을 선택하여 관심영역의 선택을 마치면, 5번 영역이 팝업 형태로 출력되거나, 화면 상의 별도의 영역에 출력되어 사용자가 5번 영역에 표시된 목록 중 원하는 화면 표출 옵션을 선택하도록 할 수 있다. 사용자가 특정 화면 표출 옵션을 선택한 후 시작 영역을 선택하면, 관제시스템 클라이언트(120)가 미디어 서버(110)에 관심영역에 대한 정보를 전송할 수 있다.Meanwhile, users can set screen display options in the form they want. For example, when area 4 is selected and the area of interest is selected, area 5 is displayed in a pop-up form or in a separate area on the screen, allowing the user to select the desired screen display option from the list displayed in area 5. You can do it. When a user selects a specific screen display option and then selects a starting area, the control system client 120 can transmit information about the area of interest to the media server 110.

도 3은 화면 표출 옵션에 따라 출력되는 이미지를 나타낸 도면이다.Figure 3 is a diagram showing images output according to screen display options.

도 3을 참조하면 화질개선 서버(130)는 사용자가 선택한 화면 표출 옵션을 기반으로 제 2 이미지를 생성할 수 있다. 일 예로, 사용자가 표출 방법 1을 선택하였다면, 화질개선 서버(130)는 화질을 개선한 관심영역의 이미지를 제 1 이미지 상의 관심영역과 동일한 위치에 삽입하되, 나머지 영역을 블러 처리하여 제 2 이미지로 생성할 수 있다. 다른 예로, 사용자가 표출 방법 2를 선택하였다면, 화질개선 서버(130)는 화질을 개선한 관심영역의 이미지를 제 1 이미지 상의 관심영역과 동일한 위치에 삽입하여 제 2 이미지로 생성할 수 있다. 또 다른 예로, 사용자가 표출 방법 3을 선택하였다면, 화질개선 서버(130)는 화질을 개선한 관심영역을 추출하여 제 2 이미지로 생성할 수 있다. 추출한 이미지는 도 3과 같이 다른 표출 방법보다 확대된 크기로 관심영역을 추출한 것일 수도 있고, 나머지 배경을 제거한 후 관심영역만 추출한 것일 수도 있다.Referring to FIG. 3, the image quality improvement server 130 may generate a second image based on the screen display option selected by the user. For example, if the user selects display method 1, the image quality improvement server 130 inserts the image of the region of interest with improved image quality at the same location as the region of interest in the first image, but blurs the remaining region to create the second image. It can be created with As another example, if the user selects display method 2, the image quality improvement server 130 may insert the image of the region of interest with improved image quality into the same position as the region of interest on the first image to create a second image. As another example, if the user selects display method 3, the image quality improvement server 130 may extract the region of interest with improved image quality and create a second image. The extracted image may have the region of interest extracted at a larger size than other display methods, as shown in Figure 3, or only the region of interest may be extracted after removing the remaining background.

도 4는 본 발명의 일 실시예에 따른 관심 이미지의 시인성을 개선한 화면 표출 방법에 대한 순서도이다.Figure 4 is a flowchart of a screen display method with improved visibility of an image of interest according to an embodiment of the present invention.

도 4를 참조하면 관심 이미지의 시인성을 개선한 화면 표출 방법(400)은 S410 내지 S440 단계를 포함한다. 본 실시예에 따른 관심 이미지의 시인성을 개선한 화면 표출 방법(400)은 도 1을 통해 설명한 미디어 서버(110)에 의한 동작으로 설명된다.Referring to FIG. 4, the screen display method 400 with improved visibility of the image of interest includes steps S410 to S440. The screen display method 400 that improves the visibility of the image of interest according to this embodiment is explained through the operation of the media server 110 described with reference to FIG. 1 .

S410 단계에서 미디어 서버(110)는 관제시스템 클라이언트(120)로부터 관심 이미지 내 관심영역에 대한 정보를 수신한다. 미디어 서버(110)는 S410 단계를 수행하기 전에 관제시스템 클라이언트(120)에 관심 이미지를 전송한 상태이다. 미디어 서버(110)는 관제시스템 클라이언트(120)의 사용자로부터 입력된 관심영역에 대한 정보를 수신할 수 있다.In step S410, the media server 110 receives information about the region of interest in the image of interest from the control system client 120. The media server 110 has transmitted the image of interest to the control system client 120 before performing step S410. The media server 110 may receive information about the area of interest input from the user of the control system client 120.

S420 단계에서 미디어 서버(110)는 관심 이미지에 대응되는 제 1 이미지 및 관심영역에 대한 정보를 화질개선 서버(130)에 전송한다. 미디어 서버(110)는 관제시스템 클라이언트(120)에 전송한 관심 이미지가 어떤 이미지인지 알고 있으므로, 기 저장된 복수개의 이미지들 중에서 어떤 이미지가 관심 이미지에 대응되는 제 1 이미지인지 식별할 수 있다. 미디어 서버(110)는 식별된 제 1 이미지와 관제시스템 클라이언트(120)로부터 수신된 관심영역에 대한 정보를 화질개선 서버(130)에 전송할 수 있다.In step S420, the media server 110 transmits the first image corresponding to the image of interest and information about the region of interest to the image quality improvement server 130. Since the media server 110 knows which image of interest is transmitted to the control system client 120, it can identify which image among the plurality of pre-stored images is the first image corresponding to the image of interest. The media server 110 may transmit the identified first image and information about the region of interest received from the control system client 120 to the image quality improvement server 130.

S430 단계에서 미디어 서버(110)는 화질개선 서버(130)로부터 관심영역의 화질이 개선된 제 2 이미지를 수신한다. 제 2 이미지는 화질개선 서버(130)가 화질 개선 알고리즘을 기반으로 생성한 이미지를 의미한다. 제 2 이미지는 화질이 개선된 관심영역의 이미지가 제 1 이미지 상의 관심영역과 동일한 위치에 삽입된 것일 수도 있고, 화질이 개선된 관심영역의 이미지가 제 1 이미지 상의 관심영역과 동일한 위치에 삽입되되, 나머지 영역을 블러로 처리한 것일 수도 있고, 화질이 개선된 관심영역을 추출한 이미지일 수도 있다. 화질개선 서버(130)는 관심영역에 대한 정보에 포함된 화면 표출 옵션을 기반으로 이러한 제 2 이미지를 생성할 수 있다. In step S430, the media server 110 receives a second image with improved image quality of the region of interest from the image quality improvement server 130. The second image refers to an image generated by the picture quality improvement server 130 based on the picture quality improvement algorithm. The second image may be an image of a region of interest with improved image quality inserted at the same location as the region of interest on the first image, or an image of a region of interest with improved image quality may be inserted at the same location as the region of interest on the first image. , The remaining area may be blurred, or it may be an image from which a region of interest with improved image quality has been extracted. The image quality improvement server 130 may generate this second image based on the screen display option included in the information about the region of interest.

S430 단계에서 미디어 서버(110)는 수신된 제 2 이미지를 관제시스템 클라이언트(120)에 전송한다. 미디어 서버(110)는 화질개선 서버(130)를 통해 제 2 이미지를 처리한 상태이므로, 별도의 통신 레이턴시 발생 없이 제 2 이미지를 관제시스템 클라이언트로 전송할 수 있다.In step S430, the media server 110 transmits the received second image to the control system client 120. Since the media server 110 has processed the second image through the picture quality improvement server 130, the second image can be transmitted to the control system client without additional communication latency.

도 5는 화질개선 서버의 동작을 나타낸 순서도이다.Figure 5 is a flowchart showing the operation of the picture quality improvement server.

도 5를 참조하면 S510 단계 내지 S550 단계는 도 1을 통해 설명한 화질개선 서버(130)에 의한 동작으로 설명된다. 화질개선 서버(130)는 앞서 도 4를 통해 설명한 S420 단계가 미디어 서버(110)를 통해 수행되면, S510 내지 S540 단계를 수행할 수 있다.Referring to FIG. 5, steps S510 to S550 are explained as operations by the image quality improvement server 130 described with reference to FIG. 1. If step S420 described above with reference to FIG. 4 is performed through the media server 110, the picture quality improvement server 130 may perform steps S510 to S540.

S510 단계에서 화질개선 서버(130)는 제 1 이미지 및 관심영역에 대한 정보를 수신한다. 화질개선 서버(130)가 수신하는 제 1 이미지는 원본 상태의 이미지일 수도 있고, 미디어 서버로부터 크롭된 이미지일 수도 있다. 화질개선 서버(130)는 제 1 이미지와 함께 관심영역에 대한 정보를 수신한다.In step S510, the image quality improvement server 130 receives information about the first image and the region of interest. The first image that the picture quality improvement server 130 receives may be an original image or an image cropped from a media server. The image quality improvement server 130 receives information about the region of interest along with the first image.

S520 단계에서 화질개선 서버(130)는 관심영역 내 관심객체의 이미지를 추출한다. 화질개선 서버(130)는 관심영역에 대한 정보를 기반으로 제 1 이미지에서 화질을 개선할 객체가 어느 위치에 있는지 식별할 수 있다. 예를 들어, 관심영역의 좌표를 기반으로 제 1 이미지에 포함된 객체의 좌표를 식별할 수 있다. 화질개선 서버(130)는 객체(관심객체)의 이미지를 추출할 수 있다. 만약, 미디어 서버(110)로부터 크롭된 이미지를 수신한 경우, 이미 객체의 이미지에 해당하는 것이므로, S520 단계를 생략할 수 있다.In step S520, the image quality improvement server 130 extracts an image of an object of interest within the area of interest. The image quality improvement server 130 may identify where an object for image quality improvement is located in the first image based on information about the region of interest. For example, the coordinates of an object included in the first image may be identified based on the coordinates of the region of interest. The image quality improvement server 130 can extract an image of an object (object of interest). If a cropped image is received from the media server 110, since it already corresponds to an image of an object, step S520 can be omitted.

S530 단계에서 화질개선 서버(130)는 관심객체 이미지의 화질을 개선하는 동작을 수행한다. 화질개선 서버(130)는 초해상도(Super Resolution) 알고리즘, 디노이징(Denoising) 알고리즘 및 디블러링 작업(Deblurring Task) 알고리즘과 같은 화질 개선 알고리즘을 이용하여 관심객체 이미지의 화질을 개선시킬 수 있다.In step S530, the image quality improvement server 130 performs an operation to improve the image quality of the object of interest image. The image quality improvement server 130 can improve the image quality of the object of interest image using image quality improvement algorithms such as a super resolution algorithm, denoising algorithm, and deblurring task algorithm.

S540 단계에서 화질개선 서버(130)는 화면 표출 옵션을 기반으로 관심객체 이미지를 후처리한다. 관심영역에 대한 정보에는 사용자가 입력한 화면 표출 옵션이 포함될 수 있다. 화질개선 서버(130)는 이러한 화면 표출 옵션을 기반으로 사용자가 원하는 형태로 화질을 개선한 관심객체 이미지를 후처리할 수 있다. 일 예로, 화질을 개선한 관심영역의 이미지를 제 1 이미지 상의 관심영역과 동일한 위치에 삽입할 수 있다. 다른 예로, 화질을 개선한 관심영역의 이미지를 제 1 이미지 상의 관심영역과 동일한 위치에 삽입하되, 나머지 영역을 블러로 처리할 수 있다. 또 다른 예로, 화질을 개선한 관심영역을 추출할 수 있다.In step S540, the image quality improvement server 130 post-processes the image of the object of interest based on the screen display options. Information about the area of interest may include screen display options entered by the user. The image quality improvement server 130 can post-process the image of the object of interest with improved image quality in a format desired by the user based on these screen display options. For example, an image of a region of interest with improved image quality may be inserted at the same location as the region of interest on the first image. As another example, an image of a region of interest with improved image quality may be inserted at the same location as the region of interest in the first image, but the remaining region may be treated as a blur. As another example, a region of interest with improved image quality can be extracted.

도 6은 본 발명의 일 실시예에 따른 관심 이미지의 시인성을 개선한 화면 표출 장치에 대한 블록도이다.Figure 6 is a block diagram of a screen display device with improved visibility of an image of interest according to an embodiment of the present invention.

도 6을 참조하면 관심 이미지의 시인성을 개선한 화면 표출 장치(600)는 통신모듈(610), 프로세서(620) 및 메모리(630)를 포함한다. 관심 이미지의 시인성을 개선한 화면 표출 장치(600)는 앞서 도 1을 통해 설명한 미디어 서버(110)로 구현될 수 있다.Referring to FIG. 6 , a screen display device 600 with improved visibility of an image of interest includes a communication module 610, a processor 620, and a memory 630. The screen display device 600, which improves the visibility of the image of interest, may be implemented as the media server 110 previously described with reference to FIG. 1.

통신모듈(610)은 관제시스템 클라이언트로부터 관심 이미지 내 관심영역에 대한 정보를 수신한다. 통신모듈(610)은 관제시스템 클라이언트와 인터넷으로 연결되는 모듈 또는 모뎀으로 구현될 수 있다. 또한, 통신모듈(610)은 화질개선 서버와 네트워크로 연결되는 모듈 또는 모뎀으로 구현될 수도 있다.The communication module 610 receives information about the area of interest in the image of interest from the control system client. The communication module 610 may be implemented as a module or modem that connects the control system client to the Internet. Additionally, the communication module 610 may be implemented as a module or modem connected to a picture quality improvement server and a network.

프로세서(620)는 관심 이미지에 대응되는 제 1 이미지 및 관심영역에 대한 정보를 화질개선 서버에 전송한다. 프로세서(620)는 화질개선 서버로부터 관심영역의 화질이 개선된 제 2 이미지를 수신한다. 그리고, 제 2 이미지를 관제시스템 클라이언트에 전송한다. 프로세서(620)는 관심 이미지의 시인성을 개선한 화면 표출 장치(600)의 CPU 내지는 AP로 구현될 수 있다.The processor 620 transmits the first image corresponding to the image of interest and information about the region of interest to the image quality improvement server. The processor 620 receives a second image with improved image quality of the region of interest from the image quality improvement server. Then, the second image is transmitted to the control system client. The processor 620 may be implemented as a CPU or AP of the screen display device 600 that improves the visibility of the image of interest.

메모리(630)는 외부로부터 전송된 복수개의 이미지를 저장한다. 메모리(630)는 복수개의 이미지와 함께 관심영역에 대한 정보를 더 저장할 수 있다. 메모리(630)는 관심 이미지의 시인성을 개선한 화면 표출 장치(600)의 HDD 내지는 SSD와 같은 스토리지로 구현될 수 있다.The memory 630 stores a plurality of images transmitted from the outside. The memory 630 may further store information about the region of interest along with a plurality of images. The memory 630 may be implemented as storage such as an HDD or SSD of the screen display device 600 that improves the visibility of the image of interest.

한편, 상술한 관심 이미지의 시인성을 개선한 화면 표출 장치(600)는 컴퓨터에서 실행될 수 있는 실행 가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수도 있다. 상기 프로그램은 일시적 또는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.Meanwhile, the screen display device 600 with improved visibility of the image of interest described above may be implemented as a program (or application) including an executable algorithm that can be executed on a computer. The program may be stored and provided in a temporary or non-transitory computer readable medium.

본 발명의 일 실시예에 따른 관심 이미지의 시인성을 개선한 화면 표출 방법, 장치 및 시스템은 이해를 돕기 위하여 도면에 도시된 실시예를 참고하여 설명되었지만 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.A screen display method, device, and system that improves the visibility of an image of interest according to an embodiment of the present invention has been described with reference to the embodiment shown in the drawings to aid understanding, but this is merely illustrative and is generally known in the art. Those with knowledge will understand that various modifications and other equivalent embodiments are possible. Therefore, the true technical protection scope of the present invention should be determined by the attached patent claims.

Claims (18)

관심 이미지의 시인성을 개선한 화면 표출 방법에 있어서,
관제시스템 클라이언트로부터 관심 이미지 내 관심영역에 대한 정보를 수신하는 단계;
상기 관심 이미지에 대응되는 제 1 이미지 및 상기 관심영역에 대한 정보를 화질개선 서버에 전송하는 단계;
상기 화질개선 서버로부터 관심영역의 화질이 개선된 제 2 이미지를 수신하는 단계; 및
상기 제 2 이미지를 상기 관제시스템 클라이언트에 전송하는 단계를 포함하되,
상기 제 2 이미지는 RTP(Real Time Transport Protocol), RTSP(Real Time Streaming Protocol) 및 HLS(HTTP Live Streaming) 중 하나를 기반으로 전송되는, 관심 이미지의 시인성을 개선한 화면 표출 방법.
In a screen display method that improves the visibility of an image of interest,
Receiving information about a region of interest in an image of interest from a control system client;
transmitting a first image corresponding to the image of interest and information about the region of interest to an image quality improvement server;
Receiving a second image with improved image quality of the region of interest from the image quality improvement server; and
Including transmitting the second image to the control system client,
The second image is transmitted based on one of RTP (Real Time Transport Protocol), RTSP (Real Time Streaming Protocol), and HLS (HTTP Live Streaming). A screen display method that improves the visibility of the image of interest.
제 1 항에 있어서, 상기 관심영역에 대한 정보를 수신하는 단계는,
상기 관제시스템 클라이언트의 사용자의 입력을 기반으로 선택된 관심영역의 위치, 좌표, ID, 및 화면 표출 옵션 중 적어도 하나를 상기 관심영역에 대한 정보로 수신하는, 관심 이미지의 시인성을 개선한 화면 표출 방법.
The method of claim 1, wherein receiving information about the region of interest comprises:
A screen display method that improves the visibility of an image of interest, receiving at least one of the location, coordinates, ID, and screen display options of the area of interest selected based on the input of the user of the control system client as information about the area of interest.
제 2 항에 있어서,
상기 관제시스템 클라이언트는, 상기 관심영역의 위치, 좌표, ID, 및 화면 표출 옵션 중 적어도 하나를 선택 가능한 UI를 제공하는, 관심 이미지의 시인성을 개선한 화면 표출 방법.
According to claim 2,
A screen display method that improves visibility of an image of interest, wherein the control system client provides a UI that allows selection of at least one of the location, coordinates, ID, and screen display options of the area of interest.
제 1 항에 있어서, 상기 화질개선 서버에 전송하는 단계는,
상기 관심영역에 대한 정보를 기반으로 미리 저장된 상기 제 1 이미지에서 관심영역을 잘라내는 단계; 및
잘라낸 관심영역의 이미지를 상기 화질개선 서버에 전송하는 단계를 포함하는, 관심 이미지의 시인성을 개선한 화면 표출 방법.
The method of claim 1, wherein the step of transmitting to the picture quality improvement server includes:
Cropping a region of interest from the first image stored in advance based on information about the region of interest; and
A screen display method with improved visibility of an image of interest, comprising transmitting the cropped image of the area of interest to the image quality improvement server.
제 1 항에 있어서, 상기 제 2 이미지를 수신하는 단계는,
상기 화질개선 서버로부터 화면 표출 옵션을 기반으로 처리된 이미지를 상기 제 2 이미지로 수신하는 단계를 포함하는, 관심 이미지의 시인성을 개선한 화면 표출 방법.
The method of claim 1, wherein receiving the second image comprises:
A screen display method that improves the visibility of an image of interest, comprising receiving an image processed based on a screen display option from the picture quality improvement server as the second image.
제 5 항에 있어서, 상기 제 2 이미지로 수신하는 단계는,
화질이 개선된 관심영역의 이미지가 상기 제 1 이미지 상의 관심영역과 동일한 위치에 삽입된 이미지를 수신하는 단계;
화질이 개선된 관심영역의 이미지가 상기 제 1 이미지 상의 관심영역과 동일한 위치에 삽입되되, 나머지 영역을 블러로 처리한 이미지를 수신하는 단계; 및
화질이 개선된 관심영역을 추출한 이미지를 수신하는 단계 중 적어도 하나를 포함하는, 관심 이미지의 시인성을 개선한 화면 표출 방법.
The method of claim 5, wherein receiving the second image comprises:
Receiving an image of a region of interest with improved image quality inserted at the same location as the region of interest on the first image;
Inserting an image of a region of interest with improved image quality into the same position as the region of interest in the first image, but receiving an image with the remaining region blurred; and
A screen display method with improved visibility of an image of interest, comprising at least one of the steps of receiving an image from which a region of interest with improved image quality is extracted.
관심 이미지의 시인성을 개선한 화면 표출 장치에 있어서,
관제시스템 클라이언트로부터 관심 이미지 내 관심영역에 대한 정보를 수신하는 통신모듈; 및
상기 관심 이미지에 대응되는 제 1 이미지 및 상기 관심영역에 대한 정보를 화질개선 서버에 전송하여, 관심영역의 화질이 개선된 제 2 이미지를 수신하고, 상기 제 2 이미지를 상기 관제시스템 클라이언트에 전송하는 프로세서를 포함하되,
상기 제 2 이미지는 RTP(Real Time Transport Protocol), RTSP(Real Time Streaming Protocol) 및 HLS(HTTP Live Streaming) 중 하나를 기반으로 전송되는, 관심 이미지의 시인성을 개선한 화면 표출 장치.
In a screen display device that improves the visibility of an image of interest,
A communication module that receives information about the area of interest in the image of interest from the control system client; and
Transmitting a first image corresponding to the image of interest and information about the area of interest to an image quality improvement server, receiving a second image with improved image quality of the area of interest, and transmitting the second image to the control system client Including a processor,
The second image is transmitted based on one of RTP (Real Time Transport Protocol), RTSP (Real Time Streaming Protocol), and HLS (HTTP Live Streaming). A screen display device that improves the visibility of the image of interest.
제 7 항에 있어서,
상기 통신모듈은, 상기 관제시스템 클라이언트의 사용자의 입력을 기반으로 선택된 관심영역의 위치, 좌표, ID, 및 화면 표출 옵션 중 적어도 하나를 상기 관심영역에 대한 정보로 수신하는, 관심 이미지의 시인성을 개선한 화면 표출 장치.
According to claim 7,
The communication module improves the visibility of the image of interest by receiving at least one of the location, coordinates, ID, and screen display options of the area of interest selected based on the input of the user of the control system client as information about the area of interest. One screen display device.
제 8 항에 있어서,
상기 관제시스템 클라이언트는, 상기 관심영역의 위치, 좌표, ID, 및 화면 표출 옵션 중 적어도 하나를 선택 가능한 UI를 제공하는, 관심 이미지의 시인성을 개선한 화면 표출 장치.
According to claim 8,
The control system client is a screen display device that improves the visibility of the image of interest, providing a UI that allows selection of at least one of the location, coordinates, ID, and screen display options of the area of interest.
제 7 항에 있어서,
상기 프로세서는, 상기 관심영역에 대한 정보를 기반으로 미리 저장된 상기 제 1 이미지에서 관심영역을 잘라내고, 잘라낸 관심영역의 이미지를 상기 화질개선 서버에 전송하는, 관심 이미지의 시인성을 개선한 화면 표출 장치.
According to claim 7,
The processor is a screen display device that improves the visibility of the image of interest, wherein the processor crops a region of interest from the first image pre-stored based on information about the region of interest and transmits the cropped image of the region of interest to the image quality improvement server. .
제 7 항에 있어서,
상기 프로세서는, 상기 화질개선 서버로부터 화면 표출 옵션을 기반으로 처리된 이미지를 상기 제 2 이미지로 수신하는, 관심 이미지의 시인성을 개선한 화면 표출 장치.
According to claim 7,
The processor is a screen display device that improves the visibility of an image of interest, wherein the processor receives an image processed based on screen display options from the image quality improvement server as the second image.
제 11 항에 있어서,
상기 프로세서는, 화질이 개선된 관심영역의 이미지가 상기 제 1 이미지 상의 관심영역과 동일한 위치에 삽입된 이미지, 화질이 개선된 관심영역의 이미지가 상기 제 1 이미지 상의 관심영역과 동일한 위치에 삽입되되, 나머지 영역을 블러로 처리한 이미지 및 화질이 개선된 관심영역을 추출한 이미지 중 적어도 하나를 상기 제 2 이미지로 수신하는, 관심 이미지의 시인성을 개선한 화면 표출 장치.
According to claim 11,
The processor is configured to insert an image of a region of interest with improved image quality at the same location as the region of interest on the first image, and an image of the region of interest with improved image quality inserted into the same location as the region of interest on the first image. , A screen display device that improves the visibility of an image of interest, receiving as the second image at least one of an image in which the remaining area is blurred and an image in which a region of interest with improved image quality is extracted.
관심 이미지의 시인성을 개선한 화면 표출 시스템에 있어서,
관심 이미지 내 관심영역에 대한 정보를 입력받는 관제시스템 클라이언트;
상기 관제시스템 클라이언트로부터 상기 관심영역에 대한 정보를 수신하고, 상기 관심 이미지에 대응되는 제 1 이미지 및 상기 관심영역에 대한 정보를 화질개선 서버에 전송하는 미디어 서버; 및
상기 제 1 이미지 및 상기 관심영역에 대한 정보를 기반으로 관심영역의 화질이 개선된 제 2 이미지를 생성하는 상기 화질개선 서버를 포함하되,
상기 제 2 이미지는 RTP(Real Time Transport Protocol), RTSP(Real Time Streaming Protocol) 및 HLS(HTTP Live Streaming) 중 하나를 기반으로 전송되는, 관심 이미지의 시인성을 개선한 화면 표출 시스템.
In a screen display system that improves the visibility of images of interest,
A control system client that receives information about the area of interest within the image of interest;
a media server that receives information about the area of interest from the control system client and transmits a first image corresponding to the image of interest and information about the area of interest to an image quality improvement server; and
It includes the image quality improvement server that generates a second image with improved image quality of the region of interest based on the first image and information about the region of interest,
The second image is transmitted based on one of RTP (Real Time Transport Protocol), RTSP (Real Time Streaming Protocol), and HLS (HTTP Live Streaming). A screen display system that improves the visibility of the image of interest.
제 13 항에 있어서,
상기 미디어 서버는, 상기 관제시스템 클라이언트의 사용자의 입력을 기반으로 선택된 관심영역의 위치, 좌표, ID, 및 화면 표출 옵션 중 적어도 하나를 상기 관심영역에 대한 정보로 수신하는, 관심 이미지의 시인성을 개선한 화면 표출 시스템.
According to claim 13,
The media server improves the visibility of the image of interest by receiving at least one of the location, coordinates, ID, and screen display options of the area of interest selected based on the input of the user of the control system client as information about the area of interest. One screen display system.
제 14 항에 있어서,
상기 관제시스템 클라이언트는, 상기 관심영역의 위치, 좌표, ID, 및 화면 표출 옵션 중 적어도 하나를 선택 가능한 UI를 제공하는, 관심 이미지의 시인성을 개선한 화면 표출 시스템.
According to claim 14,
A screen display system that improves the visibility of an image of interest, wherein the control system client provides a UI that allows selection of at least one of the location, coordinates, ID, and screen display options of the area of interest.
제 13 항에 있어서,
상기 미디어 서버는, 상기 관심영역에 대한 정보를 기반으로 미리 저장된 상기 제 1 이미지에서 관심영역을 잘라내고, 잘라낸 관심영역의 이미지를 상기 화질개선 서버에 전송하는, 관심 이미지의 시인성을 개선한 화면 표출 시스템.
According to claim 13,
The media server crops a region of interest from the first image pre-stored based on information about the region of interest, and transmits the cropped image of the region of interest to the image quality improvement server to display a screen with improved visibility of the image of interest. system.
제 13 항에 있어서,
상기 미디어 서버는, 상기 화질개선 서버로부터 화면 표출 옵션을 기반으로 처리된 이미지를 상기 제 2 이미지로 수신하는, 관심 이미지의 시인성을 개선한 화면 표출 시스템.
According to claim 13,
A screen display system that improves the visibility of an image of interest, wherein the media server receives an image processed based on screen display options from the picture quality improvement server as the second image.
제 17 항에 있어서,
상기 미디어 서버는, 화질이 개선된 관심영역의 이미지가 상기 제 1 이미지 상의 관심영역과 동일한 위치에 삽입된 이미지, 화질이 개선된 관심영역의 이미지가 상기 제 1 이미지 상의 관심영역과 동일한 위치에 삽입되되, 나머지 영역을 블러로 처리한 이미지 및 화질이 개선된 관심영역을 추출한 이미지 중 적어도 하나를 상기 제 2 이미지로 수신하는, 관심 이미지의 시인성을 개선한 화면 표출 시스템.
According to claim 17,
The media server inserts an image of a region of interest with improved picture quality at the same position as the region of interest on the first image, and inserts an image of the region of interest with improved picture quality at the same position as the region of interest on the first image. A screen display system that improves the visibility of an image of interest, receiving as the second image at least one of an image in which the remaining area is blurred and an image in which a region of interest with improved image quality is extracted.
KR1020230046900A 2023-04-10 2023-04-10 Method, device and system for displaying screen by improving visibility of image of interest KR102599525B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230046900A KR102599525B1 (en) 2023-04-10 2023-04-10 Method, device and system for displaying screen by improving visibility of image of interest

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230046900A KR102599525B1 (en) 2023-04-10 2023-04-10 Method, device and system for displaying screen by improving visibility of image of interest

Publications (1)

Publication Number Publication Date
KR102599525B1 true KR102599525B1 (en) 2023-11-08

Family

ID=88746015

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230046900A KR102599525B1 (en) 2023-04-10 2023-04-10 Method, device and system for displaying screen by improving visibility of image of interest

Country Status (1)

Country Link
KR (1) KR102599525B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150002226A (en) * 2013-06-28 2015-01-07 주식회사 셈앤텍 Wireless camera system and operation method therof
KR101951232B1 (en) 2018-09-12 2019-02-22 (주)휴진시스템 A High Quality CCTV Image System Using Separated Storage of Object Area and Adaptive Background Image
KR20190021108A (en) * 2017-08-22 2019-03-05 삼성전자주식회사 The Electronic Device Controlling the Effect for Displaying of the Image and Method for Displaying the Image
KR20200061703A (en) * 2018-11-26 2020-06-03 전자부품연구원 System and method for improving image quality
KR20230009806A (en) * 2021-07-09 2023-01-17 삼성전자주식회사 An image processing apparatus and a method thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150002226A (en) * 2013-06-28 2015-01-07 주식회사 셈앤텍 Wireless camera system and operation method therof
KR20190021108A (en) * 2017-08-22 2019-03-05 삼성전자주식회사 The Electronic Device Controlling the Effect for Displaying of the Image and Method for Displaying the Image
KR101951232B1 (en) 2018-09-12 2019-02-22 (주)휴진시스템 A High Quality CCTV Image System Using Separated Storage of Object Area and Adaptive Background Image
KR20200061703A (en) * 2018-11-26 2020-06-03 전자부품연구원 System and method for improving image quality
KR20230009806A (en) * 2021-07-09 2023-01-17 삼성전자주식회사 An image processing apparatus and a method thereof

Similar Documents

Publication Publication Date Title
US11190624B2 (en) User interface for just-in-time image processing
US9934201B2 (en) Image preview
US10127246B2 (en) Automatic grouping based handling of similar photos
US10496696B2 (en) Search method and apparatus
WO2015010569A1 (en) Enhanced network data sharing and acquisition
US20180089202A1 (en) Apparatus that provides generation service of document file incloud system, method, and storage medium
US20150189384A1 (en) Presenting information based on a video
WO2017097270A1 (en) Data transmission method and data transmission apparatus
WO2019020061A1 (en) Video dialogue processing method, video client, video server, and computer readable storage medium
US20190238490A1 (en) Content selection
US10025482B2 (en) Image effect extraction
US11190653B2 (en) Techniques for capturing an image within the context of a document
US20230336690A1 (en) Masking video feedback loop during screen sharing
US20190227634A1 (en) Contextual gesture-based image searching
CN107862035B (en) Network reading method and device for conference record, intelligent tablet and storage medium
KR102599525B1 (en) Method, device and system for displaying screen by improving visibility of image of interest
CN112445394A (en) Screenshot method and device
JP2017162179A (en) Information processing apparatus, information processing method, and program
CN115756461A (en) Annotation template generation method, image identification method and device and electronic equipment
US20150295959A1 (en) Augmented reality tag clipper
KR102608208B1 (en) Method, device and system for providing streaming service with improved visibility of image of interest
CN110083321B (en) Content display method and device, intelligent screen projection terminal and readable storage medium
US11481507B2 (en) Augmented reality document redaction
US10218812B2 (en) Manner of display in a mobile application
US10453179B1 (en) Scaled image generation

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant