KR20220014669A - 화질 향상을 위한 적응적 영상 송신 방법 및 시스템 - Google Patents

화질 향상을 위한 적응적 영상 송신 방법 및 시스템 Download PDF

Info

Publication number
KR20220014669A
KR20220014669A KR1020200094579A KR20200094579A KR20220014669A KR 20220014669 A KR20220014669 A KR 20220014669A KR 1020200094579 A KR1020200094579 A KR 1020200094579A KR 20200094579 A KR20200094579 A KR 20200094579A KR 20220014669 A KR20220014669 A KR 20220014669A
Authority
KR
South Korea
Prior art keywords
image
transmission system
quality
reduced
video
Prior art date
Application number
KR1020200094579A
Other languages
English (en)
Other versions
KR102374241B1 (ko
Inventor
위영철
이무재
Original Assignee
주식회사 핀그램
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 핀그램 filed Critical 주식회사 핀그램
Priority to KR1020200094579A priority Critical patent/KR102374241B1/ko
Priority to US16/993,206 priority patent/US11509912B2/en
Publication of KR20220014669A publication Critical patent/KR20220014669A/ko
Application granted granted Critical
Publication of KR102374241B1 publication Critical patent/KR102374241B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401—Monitoring of the client buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

화질 향상을 위한 적응적 영상 송신방법 및 그 시스템이 개시된다.
상기 화질 향상을 위한 적응적 영상 송신방법은 영상 송신 시스템이 전송할 원본 영상의 화질의 측정을 위해 영상을 축소하여 축소영상을 생성하는 단계, 상기 영상 송신 시스템이 상기 축소영상의 사전 인코딩을 수행 후, 디코딩하여 복원된 상기 축소영상의 복원영상 화질을 측정하는 단계, 상기 영상 송신 시스템이 측정한 화질에 기초하여 상기 원본 영상을 선택적으로 리사이징하는 단계, 및 상기 영상 송신 시스템이 선택적으로 리사이징된 원본 영상의 인코딩을 수행하여 영상 수신 시스템으로 전송하는 단계를 포함한다.

Description

화질 향상을 위한 적응적 영상 송신 방법 및 시스템{Method and system for adaptive image transferring for enhancing image quality}
본 발명은 적응적 영상 송신 방법 및 그 시스템에 관한 것으로, 보다 상세하게는 저대역 네트워크에서 실제 측정된 화질에 기초하여 적응적으로 영상의 해상도(사이즈)를 조절하여 송신할 수 있도록 하는 방법 및 시스템에 관한 것이다.
본 발명은 중소벤처기업부의 기술개발사업[S2744548]과 경기도 기술개발사업(D191986)의 지원에 의해 개발된 발명이다.
인터넷과 같은 네트워크를 통해 비디오 스트리밍 등의 요구가 증대됨에 따라, 클라이언트 단에서의 높은 화질을 보장할 수 있도록 하는 영상 전송 기술에 대해 연구가 이루어지고 있다.
일반적으로 충분한 대역폭 및 비트레이트의 전송환경이 보장되는 경우에는, 고화질의 원본 동영상을 그대로 인코딩하여 전송하고 영상을 수신하는 측에서 디코딩하여 플레이함으로써 서비스 품질이 보장될 수 있다.
하지만 상대적으로 저대역폭 환경 등의 열악한 네트워크 환경에서는 영상의 원본 해상도를 유지한채 인코딩을 수행하여 영상을 전송하는 것이 비해, 영상의 해상도를 축소하는 리사이징을 수행한 후 수신 측에서 다시 영상을 확대하여 플레이하는 경우가 오히려 더 높은 화질로 영상의 플레이가 가능한 경우가 있다.
이러한 일 예는 한국등록특허 10-0954303 "영상의 공간 해상도 제어 시스템 및 이를 이용한 영상 전송제어 방법"에도 개시된 바 있다.
이처럼 수신단 측 즉 클라이언트에서의 영상 품질을 보장하기 위해 전송측에서 영상을 축소하여 전송하는 경우가 존재하는데, 이러한 경우는 상대적으로 대역폭이 충분하지 못한 환경에서 주로 발생하며, 영상을 축소할지 여부를 결정하기 위해 전송 대역폭, 영상 해상도, 왜곡량, 에너지 사용량 등의 다양한 예측모델을 통해 영상을 축소하여 전송할지 여부를 결정할 수 있다.
하지만 이러한 종래의 방식을 이용하는 경우라도 영상의 종류 즉, 서로 다른 복잡도나 움직임의 크고 작음에 따라 동일 환경이라도 영상의 전송결과는 매우 달라질 수 있는 문제점이 있다.
예컨대, 영상이 단순하거나 움직임이 매우 적은 경우에는 상대적 저대역폭이라도 수신측에서 충분히 높은 화질을 획득할 수 있다. 이 경우 영상의 해상도를 축소하면 오히려 화질이 저하될 수 있다. 반면에 같은 네트워크 환경이라도 영상이 복잡하거나 움직임이 매우 많은 영상의 경우는 원본 해상도를 그대로 전송하는 경우 수신측에서 획득하는 화질은 상당히 저하될 수 있다. 따라서 이러한 경우에는 영상의 해상도를 축소하여 전송하는 경우 오히려 높은 화질의 영상을 획득할 수 있다.
결국 영상 전송에서 종래의 방식과 같이 스트리밍되는 영상의 화질을 고려하지 않고 네트워크 환경만 고려하는 경우에는 높은 수준의 서비스 품질을 유지하기 어려운 문제가 있다.
이를 해결하기 위해 스트리밍할 영상의 전송 전에 사전적으로 인코딩 및 디코딩을 수행하여 서비스 품질에 직접적 영향을 미치는 스트리밍 영상의 화질을 확인하고 그에 따라 스트리밍할 영상의 해상도를 유지한 채 전송을 할지 또는 원본 영상을 축소하여 전송을 할지를 결정할 수 있는 것으로 고려할 수 있다.
하지만 이러한 경우에는 스트리밍할 영상의 화질을 확인하기 위한 프로세스 즉, 원본 영상의 인코딩 및 디코딩 타임과 리소스 저하가 심각하여 이를 실행하기 어려운 문제점이 있다.
한국등록특허 등록번호 10-0954303 "영상의 공간 해상도 제어 시스템 및 이를 이용한 영상 전송제어 방법"
본 발명이 이루고자 하는 기술적인 과제는 효과적으로 영상의 화질 수준을 측정한 후에 이를 바탕으로 적응적으로 영상을 전송함으로써 서비스 품질을 유지할 수 있는 적응적 영상 송신 방법 및 이를 위한 시스템에 관한 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 실시 예에 따른 화질 향상을 위한 적응적 영상 송신방법은 영상 송신 시스템이 전송할 원본 영상의 화질의 측정을 위해 영상을 축소하여 축소영상을 생성하는 단계, 상기 영상 송신 시스템이 상기 축소영상의 사전 인코딩을 수행 후, 디코딩하여 복원된 상기 축소영상의 복원영상 화질을 측정하는 단계, 상기 영상 송신 시스템이 측정한 화질에 기초하여 상기 원본 영상을 선택적으로 리사이징하는 단계, 및 상기 영상 송신 시스템이 선택적으로 리사이징된 원본 영상의 인코딩을 수행하여 영상 수신 시스템으로 전송하는 단계를 포함한다.
상기 화질 향상을 위한 적응적 영상 송수신방법은, 상기 영상 송신 시스템이 네트워크 지연팩터를 확인하는 단계 및 확인한 네트워크 지연팩터에 기초하여 상기 축소영상의 축소수준을 결정하는 단계를 더 포함할 수 있다.
상기 영상 송신 시스템이 네트워크 지연팩터를 확인하는 단계는 상기 영상 송신 시스템이 영상 수신 시스템으로부터 수신하는 피드백 정보에 기초하여 예측되는 네트워크 지연시간을 상기 네트워크 지연팩터로 확인하는 단계 또는 상기 영상 송신 시스템의 전송 버퍼의 상태를 상기 네트워크 지연팩터로 확인하는 단계를 포함할 수 있다.
상기 확인한 네트워크 지연팩터에 기초하여 상기 축소영상의 축소수준을 결정하는 단계는 상기 영상 송신 시스템이 상기 네트워크 지연팩터의 정도를 소정의 기준에 따라 분류하고, 상기 네트워크 지연팩터 정도가 큰 분류의 경우를 작은 분류의 경우에 비해 상기 축소수준을 작게 결정하는 단계를 포함할 수 있다.
상기 영상 송신 시스템이 측정한 화질에 기초하여 상기 원본 영상을 선택적으로 리사이징하는 단계는 상기 영상 송신 시스템이 상기 화질의 정도를 소정의 기준에 따라 분류하고, 상기 화질이 작은 분류의 경우를 큰 분류의 경우에 비해 상기 원본 영상이 더 많이 축소되도록 리사이징하는 단계를 포함할 수 있다.
상기의 화질 향상을 위한 적응적 영상 송신방법은 컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램에 의해 구현될 수 있다.
다른 일 측면에 따르면 본 발명의 기술적 사상을 구현하기 위한 영상 송신 시스템은 프로세서 및 상기 프로세서에 의해 실행되는 프로그램이 기록된 저장매체를 포함하며, 상기 프로세서는 상기 프로그램을 구동하여 전송할 원본 영상의 화질측정을 위해 영상을 축소하여 축소영상을 생성하고, 상기 축소영상의 사전 인코딩을 수행 후, 디코딩하여 복원된 상기 축소영상의 복원영상 화질을 측정하며, 측정한 화질에 기초하여 상기 원본 영상의 출력 해상도를 결정하고, 결정한 출력 해상도에 기초하여 선택적으로 상기 원본 영상을 리사이징하며, 리사이징된 원본 영상의 인코딩을 수행하여 영상 수신 시스템으로 전송한다.
상기 프로세서는 상기 프로그램을 구동하여 네트워크 지연팩터를 확인하고, 확인한 네트워크 지연팩터에 기초하여 상기 축소영상의 축소수준을 결정할 수 있다.
본 발명의 기술적 수준에 의하면 스트리밍할 영상의 화질 수준을 측정한 후에 이를 바탕으로 적응적으로 영상을 전송함으로써 서비스 품질을 유지할 수 있으면서도, 스트리밍할 영상의 화질 수준을 원본 영상의 축소 영상을 통해 확인함으로써 프로세싱 타임과 리소스를 줄일 수 있는 효과가 있다.
또한 네트워크 지연팩터를 고려한 원본 영상의 축소영상을 이용함으로써, 서비스 속도면에서 큰 저하가 없이도 화질과 관련된 서비스 품질을 향상시킬 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시 예에 따른 화질 향상을 위한 적응적 영상 송신방법을 구현하기 위한 개략적인 시스템 구성을 나타낸다.
도 2 및 도 3은 본 발명의 일 실시 예에 따른 화질 향상을 위한 적응적 영상 송신 시스템의 개략적인 구성을 나타낸다.
도 4는 본 발명의 일 실시 예에 따른 화질 향상을 위한 적응적 영상 송신방법 설명하기 위한 플로우 차트를 나타낸다.
도 5는 본 발명의 기술적 사상에 따른 화질 향상을 위한 적응적 영상 송신방법에 따른 축소영상 및 전송영상의 일 예를 설명하기 위한 도면이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일 실시 예에 따른 화질 향상을 위한 적응적 영상 송신방법을 구현하기 위한 개략적인 시스템 구성을 나타낸다.
우선 도 1을 참조하면, 본 발명의 실시 예에 따른 화질 향상을 위한 적응적 영상 송신방법을 구현하기 위해서 영상 송신 시스템(100)이 구비될 수 있다. 상기 영상 송신 시스템(100)은 영상 수신 시스템(200)으로 영상을 전송할 수 있다. 상기 영상은 정지이미지 및/또는 동영상을 포함할 수 있다.
상기 영상이 동영상인 경우 상기 영상 송신 시스템(100)은 본 발명의 기술적 사상을 프레임별로 적용하여 화질에 따라 적응적으로 해상도를 줄여서 리사이징(resizing)된 영상을 인코딩하고, 인코딩된 정보를 상기 영상 수신 시스템(200)으로 전송할 수 있음은 물론이다.
상기 영상 송신 시스템(100)은 영상 저장장치(300)로부터 영상 수신 시스템(200)으로 전송할 원본 영상을 수신할 수 있다. 상기 영상 저장장치(300)는 원본 영상을 상시적으로 또는 임시로 저장하는 장치일 수 있으며, 구현 예에 따라 영상을 대량으로 저장하고 있는 서버나 데이터베이스뿐만 아니라 카메라 등과 같이 실시간으로 영상을 생성하여 임시로 저장한 후 전송하는 장치일 수도 있다. 또한 영상 저장장치(300)는 네트워크를 통해 상기 영상 송신 시스템(100)으로 원본 영상을 전송하는 장치일 수 도 있다.
그러면 상기 영상 송신 시스템(100)은 본 발명의 기술적 사상에 따라 원본 영상 자체를 인코딩하여 상기 영상 수신 시스템(200)으로 전송하거나 또는 원본 영상을 미리 정해진 수준만큼 축소하고 축소된 원본 영상을 인코딩하여 상기 영상 수신 시스템(200)으로 전송할 수 있다.
상기 영상 송신 시스템(100)은 원본 영상의 화질을 본 발명의 기술적 사상에 따라 영상의 전송시간(속도)에 영향을 미치지 않는 범위 내에서 판단하고, 화질에 기초하여 원본 영상을 그대로 인코딩하여 전송할지 또는 원본 영상을 축소하여 축소된 원본 영상을 인코딩할 지를 결정할 수 있다.
본 명세서에서 원본영상 또는 축소영상의 화질이라 함은 해당 영상을 인코딩한 후 다시 디코딩하여 복원된 영상의 화질을 의미할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
이러한 기술적 사상은 상기 영상 송신 시스템(100)과 상기 영상 수신 시스템(200)과의 네트워크 환경은 상대적으로 저대역폭을 갖는 열악한 네트워크 환경에 효율적일 수 있다.
왜냐하면 전술한 바와 같이 열악한 네트워크 환경에서는 축소된 영상을 인코딩하여 전송하고 수신측에서 원래 사이즈로 복원하여 플레이하는 것이 더 화질이 좋을 수 있기 때문이다. 이때 본 발명의 기술적 사상은 단순히 네트워크 대역폭 등의 네트워크 환경에 따라 축소된 영상을 전송할지 여부를 결정하는 것이 아니라, 실제 스트리밍할 영상의 화질을 판단하고 판단결과에 따라 축소영상을 전송할 수 있다. 예컨대, 화질이 상대적으로 양호한 경우에는 원본 영상을 그대로 인코딩하여 전송할 수 있고, 상대적으로 열악한 경우에는 원본 영상의 해상도를 축소한 축소영상을 인코딩하여 전송한 후 수신측에서 원래 사이즈로 복원하여 플레이하는 것이 서비스 품질(수신측 영상 화질)에 더 유리할 수 있다.
이러한 영상의 화질을 판단하기 위한 화질판단 프로세스는 원본 영상을 인코딩 후 다시 디코딩하여 영상을 복원한 후, 복원된 영상의 화질을 소정의 방식(예컨대, PSNR(Peak Signal-to-noise ratio), SSIM(Structural Similarity Index) 등)으로 판단하는 과정이 필요할 수 있다. 이때 화질판단 프로세스를 위해 원본 영상 자체를 인코딩하고 다시 디코딩하여 영상을 복원하는 과정을 거칠 경우, 상당한 시간과 리소스가 이용될 수 있고, 이러한 이유로 실질적으로 화질판단을 수행하기 어려워서 종래의 방식은 네트워크 환경에 따른 예측모델로 간접적인 판단을 하는 수 밖에 없었다.
하지만 본 발명의 기술적 사상에 의하면, 영상의 화질을 판단하기 위해 상세히 후술할 바와 같이 원본영상 자체가 아니라 원본영상의 축소영상(공간적 해상도를 줄인 영상)의 화질을 판단할 수 있다. 이처럼 원본영상 자체가 아니라 축소영상에 대해 화질판단 프로세스를 수행하더라도, 영상 수신 시스템(200)으로 원본영상을 인코딩하여 전송할지 축소된 즉 리사이징된 영상을 인코딩하여 전송할지 판단하기 위해 화질의 절대 수준을 측정할 필요는 없고, 상대적인 화질의 정도만을 알아도 충분할 수 있기 때문이다.
즉, 축소영상의 화질이 좋은 경우에는 상대적으로 원본영상 또는 스트리밍할 영상의 화질도 좋을 수 있고, 축소영상의 화질이 나쁜 경우에는 상대적으로 원본영상 또는 스트리밍할 영상의 화질도 나쁠 수 있으므로, 축소영상의 화질을 이용해 원본영상(또는 스트리밍할 영상)의 화질의 수준을 판단하는 것은 합리적일 수 있다.
그리고 축소영상의 화질판단 프로세스는 원본영상 자체를 인코딩한 영상의 화질판단 프로세스에 비해 상대적으로 매우 큰 차이로 시간의 단축 및 리소스의 절약이 이루어질 수 있으므로, 실시간으로 영상을 전송하여야 하는 스트리밍 환경 등에서도 모든 영상(프레임)별로 영상화질 판단 프로세스를 수행할 수 있는 효과가 있다.
화질판단 프로세스를 수행하기 위해 얼마나 원본영상을 축소할지 여부는 네트워크 지연팩터 즉, 현재 영상 송신 시스템(100)과 영상 수신 시스템(200)간의 네트워크 환경에 따라 지연정도가 얼마인지에 따라 적응적으로 선택될 수 있다. 즉, 상기 영상 송신 시스템(100)은 지연시간이 허용되는 범위 내에서 축소영상의 화질판단 프로세스가 수행될 수 있으면서, 가급적 축소의 수준을 크지 않도록 축소영상을 생성할 수 있다. 이는 상대적으로 축소의 정도(예컨대, 가로세로 1/2, 1/4, 1/8 등)가 작을수록 즉 덜 줄일수록 화질판단 프로세스를 통해 판단된 축소영상의 화질과 원본영상의 화질의 차이가 상대적으로 작을 수 있기 때문이다.
상기 네트워크 지연팩터는 네트워크 지연시간을 활용할 수도 있고, 영상 송신 시스템(100)의 전송버퍼의 상태(예컨대, 미전송 영상의 양 등)에 따라 활용될 수도 있다.
결국 현재의 네트워크 환경에서의 지연정도를 나타내는 네트워크 지연팩터가 클수록 상대적으로 화질판단 프로세스에 사용할 수 있는 시간이 많음을 의미할 수 있으므로 이때에는 상대적으로 축소수준을 작게 할 수 있다. 반면 네트워크 지연팩터가 작을수록 빠른 시간 내에 영상의 전송이 이루어져야 화질판단 프로세스로 인한 추가적인 지연이 없을 수 있고, 이러한 경우에는 빠른 시간내에 화질판단 프로세스가 수행될 수 있도록 축소영상의 축소수준을 크게 할 수 있다.
결국 본 발명의 기술적 사상에 의하면, 네트워크에서 발생하는 지연정도가 허용되는 범위내에서 가급적 원본영상(또는 스트리밍할 영상)의 화질과 차이가 상대적으로 적을 수 있을 정도로만 원본영상을 축소하고, 축소된 축소영상의 화질을 판단하여 상기 원본영상을 그대로 인코딩하여 전송할지 또는 소정의 수준만큼 축소 즉 리사이징한 영상을 인코딩하여 전송할지를 결정할 수 있다.
여기서 축소영상의 화질이라 함은 축소영상을 인코딩 후 다시 디코딩하여 복원된 영상의 화질을 포함하는 의미일 수 있다.
이러한 기술적 사상을 구현하기 위한 영상 송신 시스템(100)의 구체적인 구성은 도 2 및 도 3을 참조하여 설명하도록 한다.
도 2 및 도 3은 본 발명의 일 실시 예에 따른 화질 향상을 위한 적응적 영상 송신 시스템의 개략적인 구성을 나타낸다.
우선 도 2를 참조하면, 상기 영상 송신 시스템(100)은 소정의 데이터 처리장치로 구현될 수 있다.
상기 영상 송신 시스템(100)은 도 2에 도시된 바와 같이 본 명세서에서 정의되는 기능을 구현하기 위한 프로세서(110) 및 저장매체(120)를 포함한다. 상기 프로세서(110)는 소정의 프로그램(소프트웨어 코드)을 실행할 수 있는 연산장치를 의미할 수 있으며 상기 데이터 처리장치의 구현 예 또는 벤더(Vendor) 모바일 프로세서, 마이크로 프로세서, CPU, 싱글 프로세서, 멀티 프로세서 등 다양한 명칭으로 명명될 수 있다.
상기 프로세서(110)는 상기 프로그램을 구동하여 본 발명의 기술적 사상에 필요한 데이터 처리를 수행할 수 있음을 본 발명의 기술분야의 평균적 전문가는 요이하게 추론할 수 있을 것이다.
상기 저장매체(120)는 본 발명의 기술적 사상을 구현하기 위한 프로그램이 저장/설치되는 장치를 의미할 수 있다. 구현 예에 따라 상기 저장매체(120)는 복수의 서로 다른 물리적 장치로 분할되어 있을 수 있으며, 구현 예에 따라 상기 저장매체(120)의 일부는 상기 프로세서(110)의 내부에 존재할 수도 있다. 상기 저장매체(120)는 구현 예에 따라 하드 디스크, SSD(Solid State Disk), 광 디스크, RAM(Random Access Memory), 및/또는 기타 다양한 종류의 기억매체로 구현될 수 있으며, 필요에 따라서는 상기 영상 송신 시스템(100)에 착탈식으로 구현될 수도 있다.
상기 영상 송신 시스템(100)은 영상 스트리밍을 위한 서버로 구현될 수 있지만, 이에 국한되지는 않으며 상기 프로그램을 실행할 데이터 처리능력이 있는 어떠한 데이터 처리장치(예컨대, 컴퓨터, 모바일 단말 등)로도 구현될 수 있다.
또한, 상기 영상 송신 시스템(100)은 상기 프로세서(110), 상기 저장매체(120), 및 상기 영상 송신 시스템(100)에 구비되는 다양한 주변장치들(예컨대, 입출력장치, 디스플레이 장치, 오디오 장치 등, 140, 141)과 이러한 장치들을 연결하기 위한 통신 인터페이스(예컨대, 통신 버스, 130 등)가 구비될 수도 있음은 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
한편, 본 발명의 기술적 사상은 상기 저장매체(120)에 저장된 상기 프로그램과 상기 프로세서(110)가 유기적으로 결합되어 구현될 수 있으며, 이러한 상기 영상 송신 시스템(100)이 실행하는 기능적인 구성단위는 도 3에 도시된 바와 같을 수 있다.
즉, 상기 영상 송신 시스템(100))은 제어모듈(110-1), 리사이저(120-1), 인코더(130-1), 및 디코더(140-1)를 포함할 수 있다.
본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어(예컨대, 상기 프로세서(110) 및/또는 저장매체(120)) 및 상기 하드웨어를 구동하기 위한 소프트웨어(예컨대, 본 발명의 기술적 사상을 구현하기 위한 상기 프로그램)의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 각각의 구성들은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스(resource)의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류나 특정 개수의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다. 따라서 상기 각각의 구성들은 본 명세서에서 정의되는 기능을 수행하는 하드웨어 및 소프트웨어의 결합을 의미하며 특정 물리적 구성을 의미하는 것은 아니다.
상기 제어모듈(210)은 상기 영상 송신 시스템(100)에 포함되는 다른 구성(예컨대, 상기 리사이저(120-1), 인코더(130-1), 및/또는 디코더(140-1) 등)의 기능 및/또는 리소스(resource)를 제어할 수 있다.
상기 리사이저(120-1)는 원본 영상의 사이즈를 조절할 수 있다. 예컨대, 원본 영상의 가로 세로 픽셀을 일정 배율로 축소하여 축소영상을 생성할 수 있다.
상기 인코더(130-1)는 축소영상을 인코딩할 수 있다.
상기 디코더(140-1)는 인코딩된 축소영상을 디코딩하여 영상을 복원할 수 있다.
그러면 상기 제어모듈(110-1)은 상기 축소영상의 복원영상 화질을 측정할 수 있다. 화질은 PSNR, SSIM 등의 공지된 화질측정 알고리즘이 이용될 수 있지만, 이에 국한되지 않으며 영상의 화질을 측정하기 위한 다양한 실시 예가 존재할 수 있다.
예컨대, 측정된 축소영상의 화질(즉, 축소영상의 복원영상의 화질)은 PSNR, SSIM 등의 값을 일정 구간으로 구분하고, 축소영상의 PSNR, SSIM 값이 어떤 구간에 속하는지에 따라 결정될 수 있다. 그리고 각 구간별로 영상 수신 시스템(200)으로 전송할 때 얼마만큼 원본 영상을 리사이징할지가 미리 결정되어 있을 수 있다.
일 예에 의하면, 화질이 상대적으로 좋다고 설정된 소정의 제1구간에 축소영상의 PSNR, SSIM 값이 속하는 경우에는 상기 제어모듈(110-1)은 원본 영상을 리사이징하지 않고, 원본 영상 자체를 인코딩하여 영상 수신 시스템(200)으로 전송할 수 있다.
제1구간보다는 화질이 저하된 것으로 판단되는 소정의 제2구간에 축소영상의 화질이 속하는 경우에는 상기 제어모듈(110-1)은 원본 영상을 미리 정해진 제1축소수준(예컨대, 영상의 가로세로 해상도를 1/2씩 축소)으로 리사이징하도록 상기 리사이저(120-1)를 제어하고, 리사이징된 영상을 상기 인코더(130-1)를 통해 인코딩하여 상기 영상 수신 시스템(200)으로 전송할 수 있다.
또한, 제2구간보다 화질이 저하된 것으로 판단되는 소정의 제3구간에 축소영상의 화질이 속하는 경우에는 상기 제어모듈(110-1)은 원본 영상을 미리 정해진 제2축소수준(예컨대, 영상의 가로세로 해상도를 1/4씩 축소)으로 리사이징하도록 상기 리사이저(120-1)를 제어하고, 리사이징된 영상을 상기 인코더(130-1)를 통해 인코딩하여 상기 영상 수신 시스템(200)으로 전송할 수 있다.
이와 같은 방식으로 상기 제어모듈(110-1)은 축소영상의 화질을 통해 영상 수신 시스템(200)으로 전송할 때 원본영상의 리사이징 여부 및/또는 축소수준을 적응적으로 결정할 수 있다. 리사이징 여부 및/또는 축소수준을 결정하기 위한 화질 판단의 구간은 반복적인 실험을 통해 결정될 수 있다.
한편, 상기 제어모듈(110-1)은 상기 영상 송신 시스템(100)과 영상 수신 시스템(200)간의 네트워크 지연팩터를 확인할 수 있다. 그리고 확인한 네트워크 지연팩터에 기초하여 화질판단을 위한 상기 축소영상의 축소수준을 결정할 수 있다.
이를 통해 네트워크에 추가적인 지연이 최대한 발생하지 않도록 하는 범위 내에서 축소영상에 대한 화질판단 프로세스가 수행될 수 있도록 하는 효과가 있다.
상기 제어모듈(110-1)은 영상 수신 시스템(200)으로부터 수신하는 피드백 정보에 기초하여 예측되는 네트워크 지연시간을 산출할 수 있고, 이러한 네트워크 지연시간을 상기 네트워크 지연팩터로 활용할 수도 있다.
상기 피드백 정보는 예컨대, 영상 수신 시스템(200) 측의 영상 수신 레이트, 특정 패킷의 영상 수신 시간 등 네트워크의 지연시간을 확인할 수 있는 정보이면 족하다.
또 다른 실시 예에 의하면, 상기 제어모듈(110-1)은 영상 송신 시스템(100)의 전송 버퍼의 상태(예컨대, 미전송 영상의 양 등)를 상기 네트워크 지연팩터로 확인할 수 있다.
어떠한 경우든 상기 제어모듈(110-1)은 상기 네트워크 지연팩터의 정도를 소정의 기준에 따라 등급별로 분류하고, 현재 상기 네트워크 지연팩터 정도가 큰 분류에 해당하는 경우, 즉 네트워크 지연이 상대적으로 큰 경우에는 축소영상의 축소수준을 작게 결정할 수 있다. 즉, 상대적으로 축소를 덜 수행하도록 리사이저(120-1)를 제어하여 가급적 화질판단 프로세스를 통해 판단되는 화질이 원본 영상과 큰 차이가 없도록 할 수 있다.
반면 현재 상기 네트워크 지연팩터 정도가 작은 분류에 해당하는 경우, 즉 네트워크 지연이 상대적으로 작은 경우에는 축소영상의 축소수준을 크게 결정할 수 있다. 즉, 상대적으로 축소를 많이 수행하도록 리사이저(120-1)를 제어하여 가급적 화질판단 프로세스를 통해 판단되는 화질이 원본 영상과는 상대적으로 큰 차이가 있더라도 화질판단 프로세스의 시간을 줄일 수 있도록 할 수 있다.
어느 정도의 네트워크 지연팩터에 얼마만큼의 축소수준을 적용할지 여부 역시 반복적인 실험을 통해 결정할 수 있다.
이러한 본원발명의 기술적 사상에 따른 화질 향상을 위한 적응적 영상 송신방법은 시계열적으로 정리하면 도 4와 같을 수 있다. 또한 도 5는 본 발명의 기술적 사상에 따른 화질 향상을 위한 적응적 영상 송신방법에 따른 축소영상 및 전송영상의 일 예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 화질 향상을 위한 적응적 영상 송신방법 설명하기 위한 플로우 차트를 나타낸다.
도 4를 참조하면, 상기 영상 송신 시스템(100)은 영상 저장장치(300)로부터 원본 영상을 입력받을 수 있다(S300). 물론 구현 예에 따라 영상 저장장치(300)가 상기 영상 송신 시스템(100)에 포함되어 구현될 수도 있다.
그러면 상기 영상 송신 시스템(100)은 상기 원본 영상의 화질(원본영상의 인코딩 후 디코딩하여 복원한 영상의 화질)을 판단하기 위해 축소영상을 생성할 수 있다(S110).
이때 축소영상을 얼마 만큼의 축소수준을 갖도록 생성할 지는 전술한 바와 같이 네트워크 지연팩터에 기초하여 적응적으로 선택할 수 있다.
예컨대, 네트워크 지연팩터의 정도에 따라 도 5에 도시된 바와 같이 원본 영상의 가로세로의 비율을 각각 1/2, 1/4, 또는 1/8 등과 같이 미리 정해진 비율 중 어느 하나로 축소할 수 있다.
그러면 상기 영상 송신 시스템(100)은 축소영상을 사전적으로 인코딩한 후 다시 디코딩하여 복원할 수 있다(S120, S130).
그러면 복원된 영상에 대해 상기 영상 송신 시스템(100)은 화질을 판단하고 화질 판단 결과를 도출할 수 있다(S140).
그리고 화질 판단 결과에 따라 선택적으로 리사이징을 수행할 수 있고, 리사이징에 수행되는 경우에는 얼마만큼의 축소수준으로 리사이징을 수행할지를 화질 판단 결과에 기초하여 적응적으로 판단할 수 있다(S150).
예컨대, 도 5에 도시된 바와 같이 상기 영상 송신 시스템(100)은 화질 판단 결과에 따라 리사이징을 수행하지 않고, 원본 영상 자체를 인코딩하여 영상 수신 시스템(200)으로 전송할 수도 있고, 미리 정해진 비율 예컨대, 원본 영상의 가로세로의 비율을 각각 1/2 또는 1/4 등과 같이 미리 정해진 비율 중 어느 하나로 축소하는 리사이징을 수행할 수 있다.
그러면 상기 영상 송신 시스템(100)은 리사이징된 영상을 인코딩하여 상기 영상 수신 시스템(200)으로 전송할 수 있다(S170).
상기 영상 송신 시스템(100)은 리사이징이 수행된 경우 리사이징 비율에 대한 정보를 상기 영상 수신 시스템(200)으로 전송할 수 있고, 상기 영상 수신 시스템(200)은 수신된 리사이징 비율에 기초하여 원본 영상 사이즈로 복원하여 플레이를 할 수 있다.
상기 영상 수신 시스템(200)의 리사이저(120-1)는 원본 영상을 축소하기 위해 bilinear, bicubic, lanczos 등의 리사이즈 알고리즘을 활용할 수 있다. 또한 다시 원본 영상 사이즈로 확대하기 위해 bilinear, bicubic, lanczos, 딥러닝 기반의 슈퍼 레졸루션(super resolution) 알고리즘을 이용할 수도 있다. 하지만 영상의 스케일 다운(축소) 또는 스케일 업(확대)을 위한 알고리즘이 이에 국한되지는 않으며 다양한 방식이 이용될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
본 발명의 실시 예에 따른 화질 향상을 위한 적응적 영상 송신방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드 디스크, 플로피 디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (8)

  1. 영상 송신 시스템이 전송할 원본 영상의 화질의 측정을 위해 영상을 축소하여 축소영상을 생성하는 단계;
    상기 영상 송신 시스템이 상기 축소영상의 사전 인코딩을 수행 후, 디코딩하여 복원된 상기 축소영상의 복원영상 화질을 측정하는 단계;
    상기 영상 송신 시스템이 측정한 화질에 기초하여 상기 원본 영상을 선택적으로 리사이징하는 단계; 및
    상기 영상 송신 시스템이 선택적으로 리사이징된 원본 영상의 인코딩을 수행하여 영상 수신 시스템으로 전송하는 단계를 포함하는 화질 향상을 위한 적응적 영상 송신방법.
  2. 제1항에 있어서, 상기 화질 향상을 위한 적응적 영상 송수신방법은,
    상기 영상 송신 시스템이 네트워크 지연팩터를 확인하는 단계; 및
    확인한 네트워크 지연팩터에 기초하여 상기 축소영상의 축소수준을 결정하는 단계를 더 포함하는 화질 향상을 위한 적응적 영상 송신방법.
  3. 제2항에 있어서, 상기 영상 송신 시스템이 네트워크 지연팩터를 확인하는 단계는,
    상기 영상 송신 시스템이 영상 수신 시스템으로부터 수신하는 피드백 정보에 기초하여 예측되는 네트워크 지연시간을 상기 네트워크 지연팩터로 확인하는 단계; 또는
    상기 영상 송신 시스템의 전송 버퍼의 상태를 상기 네트워크 지연팩터로 확인하는 단계를 포함하는 화질 향상을 위한 적응적 영상 송신방법.
  4. 제2항에 있어서, 상기 확인한 네트워크 지연팩터에 기초하여 상기 축소영상의 축소수준을 결정하는 단계는,
    상기 영상 송신 시스템이 상기 네트워크 지연팩터의 정도를 소정의 기준에 따라 분류하고, 상기 네트워크 지연팩터 정도가 큰 분류의 경우를 작은 분류의 경우에 비해 상기 축소수준을 작게 결정하는 단계를 포함하는 화질 향상을 위한 적응적 영상 송신방법.
  5. 제1항에 있어서, 상기 영상 송신 시스템이 측정한 화질에 기초하여 상기 원본 영상을 선택적으로 리사이징하는 단계는,
    상기 영상 송신 시스템이 상기 화질의 정도를 소정의 기준에 따라 분류하고, 상기 화질이 작은 분류의 경우를 큰 분류의 경우에 비해 상기 원본 영상이 더 많이 축소되도록 리사이징하는 단계를 포함하는 화질 향상을 위한 적응적 영상 송신방법.
  6. 데이터 처리장치에 설치되며 제1항 내지 제5항 중 어느 한 항에 기재된 방법을 수행하기 위한 컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램.
  7. 프로세서; 및
    상기 프로세서에 의해 실행되는 프로그램이 기록된 저장매체를 포함하며,
    상기 프로세서는 상기 프로그램을 구동하여,
    전송할 원본 영상의 화질의 측정을 위해 영상을 축소하여 축소영상을 생성하고, 상기 축소영상의 사전 인코딩을 수행 후, 디코딩하여 복원된 상기 축소영상의 복원영상 화질을 측정하며, 측정한 화질에 기초하여 상기 원본 영상의 출력 해상도를 결정하고, 결정한 출력 해상도에 기초하여 선택적으로 상기 원본 영상을 리사이징하며, 리사이징된 원본 영상의 인코딩을 수행하여 영상 수신 시스템으로 전송하는 적응적 영상 송신 시스템.
  8. 제7항에 있어서, 상기 프로세서는 상기 프로그램을 구동하여,
    네트워크 지연팩터를 확인하고, 확인한 네트워크 지연팩터에 기초하여 상기 축소영상의 축소수준을 결정하는 적응적 영상 송신 시스템.




KR1020200094579A 2020-07-29 2020-07-29 화질 향상을 위한 적응적 영상 송신 방법 및 시스템 KR102374241B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200094579A KR102374241B1 (ko) 2020-07-29 2020-07-29 화질 향상을 위한 적응적 영상 송신 방법 및 시스템
US16/993,206 US11509912B2 (en) 2020-07-29 2020-08-13 Method and system for adaptive image transferring for enhancing image quality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200094579A KR102374241B1 (ko) 2020-07-29 2020-07-29 화질 향상을 위한 적응적 영상 송신 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20220014669A true KR20220014669A (ko) 2022-02-07
KR102374241B1 KR102374241B1 (ko) 2022-03-15

Family

ID=80003694

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200094579A KR102374241B1 (ko) 2020-07-29 2020-07-29 화질 향상을 위한 적응적 영상 송신 방법 및 시스템

Country Status (2)

Country Link
US (1) US11509912B2 (ko)
KR (1) KR102374241B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090080830A (ko) * 2008-01-22 2009-07-27 바로비젼(주) 영상의 공간 해상도 제어 시스템 및 이를 이용한 영상 전송제어 방법
KR101716082B1 (ko) * 2016-04-12 2017-03-14 연세대학교 산학협력단 영상의 화질을 평가하는 방법 및 장치
KR20190081413A (ko) * 2017-12-29 2019-07-09 이에이트 주식회사 영상을 송수신하는 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6931159B2 (en) * 2002-02-28 2005-08-16 Nokia Corporation Size reduction method and device for compressed images
WO2011042898A1 (en) * 2009-10-05 2011-04-14 I.C.V.T Ltd. Apparatus and methods for recompression of digital images
US10440361B2 (en) * 2016-11-22 2019-10-08 Pixvana, Inc. Variable image data reduction system and method
KR102460538B1 (ko) * 2018-05-28 2022-10-28 삼성에스디에스 주식회사 영상 품질 조정 방법과 이를 수행하기 위한 단말 및 중계 서버

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090080830A (ko) * 2008-01-22 2009-07-27 바로비젼(주) 영상의 공간 해상도 제어 시스템 및 이를 이용한 영상 전송제어 방법
KR100954303B1 (ko) 2008-01-22 2010-04-21 갤럭시아커뮤니케이션즈 주식회사 영상의 공간 해상도 제어 시스템 및 이를 이용한 영상 전송제어 방법
KR101716082B1 (ko) * 2016-04-12 2017-03-14 연세대학교 산학협력단 영상의 화질을 평가하는 방법 및 장치
KR20190081413A (ko) * 2017-12-29 2019-07-09 이에이트 주식회사 영상을 송수신하는 장치 및 방법

Also Published As

Publication number Publication date
US20220038715A1 (en) 2022-02-03
US11509912B2 (en) 2022-11-22
KR102374241B1 (ko) 2022-03-15

Similar Documents

Publication Publication Date Title
US20220239925A1 (en) Method and apparatus for applying deep learning techniques in video coding, restoration and video quality analysis (vqa)
JP5319875B2 (ja) アプリケーション・メタデータを用いるグラフィカル・ユーザ・インターフェースの適応ビデオ圧縮法
US9917877B2 (en) Streaming the visible parts of a spherical video
WO2021068598A1 (zh) 共享屏幕的编码方法、装置、存储介质及电子设备
JP2020512772A (ja) Ｖｒビデオ用に画像解像度を最適化してビデオストリーミングの帯域幅を最適化する画像処理のための方法及び装置
CN101401434B (zh) 用于改变视频图像序列的时间频率的方法和装置
US20090234919A1 (en) Method of Transmitting Data in a Communication System
CN112868229A (zh) 用于流传输数据的方法和设备
WO2022111631A1 (zh) 视频传输方法、服务器、终端和视频传输系统
CA3057894C (en) Video compression using down-sampling patterns in two phases
WO2021092821A1 (en) Adaptively encoding video frames using content and network analysis
CN111836092A (zh) 一种虚拟桌面的数据处理方法、装置及相关组件
US20190215520A1 (en) Systems and methods for deferred post-processes in video encoding
CN116912385B (zh) 视频帧自适应渲染处理方法、计算机装置及存储介质
KR102374241B1 (ko) 화질 향상을 위한 적응적 영상 송신 방법 및 시스템
CN114900717A (zh) 视频数据传输方法、装置、介质和计算设备
CN113996056A (zh) 云游戏的数据发送和接收方法以及相关设备
He et al. Real-Time Neural Video Recovery and Enhancement on Mobile Devices
US20200084449A1 (en) Adaptively encoding video frames based on complexity
KR102604657B1 (ko) 영상 압축 성능 개선 방법 및 장치
CN114466109B (zh) 一种基于高拍仪的图像处理方法、终端设备和介质
US11582462B1 (en) Constraint-modified selection of video encoding configurations
KR102528175B1 (ko) 적응적인 fov 렌더링 방법
KR102265419B1 (ko) 클라우드 스트리밍 서비스 시스템, 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
He et al. NERVE: Real-Time Neural Video Recovery and Enhancement on Mobile Devices

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant