KR20210033143A - 영상 전송 장치 및 방법 - Google Patents

영상 전송 장치 및 방법 Download PDF

Info

Publication number
KR20210033143A
KR20210033143A KR1020190114485A KR20190114485A KR20210033143A KR 20210033143 A KR20210033143 A KR 20210033143A KR 1020190114485 A KR1020190114485 A KR 1020190114485A KR 20190114485 A KR20190114485 A KR 20190114485A KR 20210033143 A KR20210033143 A KR 20210033143A
Authority
KR
South Korea
Prior art keywords
image
blur
transmitted
image frame
transmission amount
Prior art date
Application number
KR1020190114485A
Other languages
English (en)
Inventor
김영광
김영진
조상범
정지원
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020190114485A priority Critical patent/KR20210033143A/ko
Publication of KR20210033143A publication Critical patent/KR20210033143A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Abstract

영상 전송 장치 및 방법이 개시된다. 일 실시예에 따른 영상 전송 장치는, 영상 데이터에 포함된 복수의 이미지 프레임 중 현재 전송할 이미지 프레임 내에서 적어도 하나의 관심 영역을 결정하는 관심 영역 결정부, 상기 적어도 하나의 관심 영역 및 기 결정된 상기 영상 데이터에 대한 목표 전송량에 기초하여 상기 현재 전송할 이미지 프레임 내에서 블러(blur) 대상 영역을 결정하는 블러 대상 영역 결정부, 상기 블러 대상 영역을 블러 처리하는 영상 처리부, 상기 블러 처리된 블러 대상 영역을 포함하는 현재 전송할 이미지 프레임을 인코딩하는 인코딩부 및 상기 인코딩된 이미지 프레임을 전송하는 전송부를 포함한다.

Description

영상 전송 장치 및 방법{APPARATUS AND METHOD FOR TRANSMITTING IMAGE}
개시되는 실시예들은 영상 전송 기술과 관련된다.
일반적으로 원본 영상은 데이터 용량이 크기 때문에 원본 영상을 전송하기 위해 인코딩 과정을 거친다. 인코딩 과정을 통해 원본 영상의 첫 프레임에 해당하는 I-프레임(Intra-Coded Frame)이 발생되고, 이후부터는 이미지의 변화 정보인 P-프레임(Predictive-Coded Frame)이 발생된다. 이때, 영상의 시간당 변화량, 패턴, 품질, 양자화(quantization) 수준에 따라 다르지만, 보통 I-프레임의 크기가 P-프레임보다 크다. 따라서, I-프레임의 크기보다 대역폭이 좁은 구간을 통해 원격지에 영상을 전송해야 하는 시스템의 경우, 전송할 수 있는 데이터의 크기가 최대 대역폭에 의해 제한되기 때문에 전송단계에서 네트워크 데이터 누락(Loss)을 방지하기 위한 추가적인 지연이 발생한다.
종래 기술에서도 I-프레임 전송 시 발생하는 초기 지연을 개선하기 위한 기술들이 있다. 예를 들어, 양자화를 통해 영상의 품질 자체를 낮추거나, 영상의 첫 화면을 여러 부분으로 나누어 부호화한 후 처음 부분만 I-프레임에 보내고 나머지 부분들은 P-프레임에 데이터 양을 전가하는 방식들이 있다. 하지만, 종래의 기술은 영상의 품질이 전체적으로 낮아지거나, 영상의 첫 화면에서 일부 영역만 보이는 등 사용자의 불편을 야기한다.
한국등록특허 제10-1315040호 (2013.10.14. 공고)
개시되는 실시예들은 영상 전송 장치 및 방법을 제공하기 위한 것이다.
일 실시예에 따른 영상 전송 장치는, 영상 데이터에 포함된 복수의 이미지 프레임 중 현재 전송할 이미지 프레임 내에서 적어도 하나의 관심 영역을 결정하는 관심 영역 결정부, 상기 적어도 하나의 관심 영역 및 기 결정된 상기 영상 데이터에 대한 목표 전송량에 기초하여 상기 현재 전송할 이미지 프레임 내에서 블러(blur) 대상 영역을 결정하는 블러 대상 영역 결정부, 상기 블러 대상 영역을 블러 처리하는 영상 처리부, 상기 블러 처리된 블러 대상 영역을 포함하는 현재 전송할 이미지 프레임을 인코딩하는 인코딩부 및 상기 인코딩된 이미지 프레임을 전송하는 전송부를 포함한다.
상기 블러 대상 영역 결정부는, 상기 복수의 이미지 프레임 중 이전에 전송된 이미지 프레임 및 현재 전송할 이미지 프레임에 기초하여 상기 영상 데이터에 대한 예상 전송량을 산출하고, 상기 예상 전송량 및 상기 목표 전송량에 기초하여 현재 전송할 이미지 프레임에 대한 블러 처리 여부를 결정할 수 있다.
상기 블러 대상 영역 결정부는, 상기 예상 전송량이 상기 목표 전송량을 초과하는 경우, 상기 목표 전송량에 기초하여 상기 블러 대상 영역 및 상기 블러 대상 영역에서의 블러 처리 정도를 결정하고, 상기 영상 처리부는, 상기 결정된 블러 처리 정도에 기초하여 상기 결정된 블러 대상 영역을 블러 처리할 수 있다.
상기 인코딩부는, 상기 예상 전송량이 상기 목표 전송량 이하인 경우, 상기 블러 대상 영역을 포함하지 않은 현재 전송할 이미지 프레임을 인코딩할 수 있다.
상기 블러 대상 영역 결정부는, 현재 전송할 이미지 프레임 중 상기 적어도 하나의 관심 영역을 제외한 영역에서 상기 블러 대상 영역을 결정할 수 있다.
일 실시예에 따른 영상 전송 방법은, 영상 데이터에 포함된 복수의 이미지 프레임 중 현재 전송할 이미지 프레임 내에서 적어도 하나의 관심 영역을 결정하는 단계, 상기 적어도 하나의 관심 영역 및 기 결정된 상기 영상 데이터에 대한 목표 전송량에 기초하여 상기 현재 전송할 이미지 프레임 내에서 블러(blur) 대상 영역을 결정하는 단계, 상기 블러 대상 영역을 블러 처리하는 단계, 상기 블러 처리된 블러 대상 영역을 포함하는 현재 전송할 이미지 프레임을 인코딩하는 단계 및 상기 인코딩된 이미지 프레임을 전송하는 단계를 포함한다.
상기 블러 대상 영역을 결정하는 단계는, 상기 복수의 이미지 프레임 중 이전에 전송된 이미지 프레임 및 상기 현재 전송할 이미지 프레임에 기초하여 상기 영상 데이터에 대한 예상 전송량을 산출하는 단계 및 상기 예상 전송량 및 상기 목표 전송량에 기초하여 현재 전송할 이미지 프레임에 대한 블러 처리 여부를 결정하는 단계를 더 포함할 수 있다.
상기 블러 대상 영역을 결정하는 단계는, 상기 예상 전송량이 상기 목표 전송량을 초과하는 경우, 상기 목표 전송량에 기초하여 상기 블러 대상 영역 및 상기 블러 대상 영역에서의 블러 처리 정도를 결정하고, 상기 블러 처리하는 단계는, 상기 결정된 블러 처리 정도에 기초하여 상기 결정된 블러 대상 영역을 블러 처리할 수 있다.
상기 인코딩하는 단계는, 상기 예상 전송량이 상기 목표 전송량 이하인 경우, 상기 블러 대상 영역을 포함하지 않은 현재 전송할 이미지 프레임을 인코딩할 수 있다.
상기 블러 대상 영역을 결정하는 단계는, 현재 전송할 이미지 프레임 중 상기 적어도 하나의 관심 영역을 제외한 영역에서 상기 블러 대상 영역을 결정할 수 있다.
개시되는 실시예들에 따르면, 영상 데이터에 포함된 복수의 이미지 프레임 중 현재 전송할 이미지 프레임 내에서 블러(blur) 대상 영역을 결정하고, 결정된 블러 대상 영역을 블러 처리함으로써, 영상 데이터에 포함된 I-프레임(Intra-Coded Frame)의 크기를 줄일 수 있다.
또한, 개시되는 실시예들에 따르면, 영상 데이터에 대한 목표 전송량에 기초하여 블러 대상 영역을 결정함으로써, 가용 대역폭에 따라 블러 대상 영역을 줄여 나머지 영역에 대한 화질 개선 데이터 양을 P-프레임(Predictive-Coded Frame)에 전가할 수 있다.
또한, 개시되는 실시예들에 따르면, 영상 데이터에 포함된 복수의 이미지 프레임 중 현재 전송할 이미지 프레임 내에서 적어도 하나의 관심 영역을 결정함으로써, 관심 영역의 화질은 고화질로 유지하고, 네트워크의 상태에 따라 블러 대상 영역의 화질을 저화질에서 점차 고화질로 변경하여, 관심 영역에 따른 선택적 화질 개선을 제공할 수 있다.
도 1은 일 실시예에 따른 영상 제공 시스템의 구성도
도 2는 일 실시예에 따른 영상 전송 장치의 구성도
도 3은 일 실시예에 따른 관심 영역 및 블러 대상 영역의 예시도
도 4는 일 실시예에 따른 블러 처리의 예시도
도 5는 일 실시예에 따른 영상 전송 방법의 순서도
도 6은 일 실시예에 따른 블러 처리 여부를 결정하는 방법의 순서도
도 7은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 이에 제한되지 않는다.
실시예들을 설명함에 있어서, 관련된 공지기술에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 또한, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 일 실시예에 따른 영상 제공 시스템(100)의 구성도이다.
도 1을 참조하면, 영상 제공 시스템(100)은 영상 전송 장치(110), 전송량 결정 장치(120) 및 영상 수신 장치(130)를 포함한다.
일 실시예에서, 영상 전송 장치(110)는 목표 전송량에 기초하여 블러(blur) 처리된 블러 대상 영역을 포함하는 영상 데이터에 대한 이미지 프레임을 인코딩하여 영상 수신 장치(130)로 전송함으로써, 영상 데이터를 전송하는 과정에 있어서 I-프레임(Intra-Coded Frame) 크기에 따라 발생되는 초기 전송 지연을 줄이기 위한 장치이다.
전송량 결정 장치(120)는 네트워크 병목 구간의 대역폭(bandwidth)을 측정하여 전송할 영상 데이터에 대한 목표 전송량을 결정하기 위한 장치이다. 일 실시예에서, 전송량 결정 장치(120)는 다양한 대역폭 측정 기술을 이용하여 측정된 네트워크 병목 구간의 대역폭에 기초하여 영상 데이터에 대한 목표 전송량을 결정할 수 있다. 전송량 결정 장치(120)는 결정된 목표 전송량을 영상 전송 장치(110)로 전송할 수 있다.
영상 수신 장치(130)는 영상 수신 장치(110)로부터 영상 데이터를 전송받아 사용자에게 제공하는 장치이다. 일 실시예에서, 영상 수신 장치(130)는 영상 수신 장치(110)로부터 전송받은 인코딩된 영상 데이터를 디코딩하여 영상을 획득하고, 획득된 영상을 디스플레이와 같은 출력 수단을 통해 사용자에게 제공할 수 있다.
한편, 도 1에 도시된 예에서는 영상 전송 장치(110) 및 전송량 결정 장치(120)가 서로 분리된 별도의 구성으로 예시하고 있으나, 실시예에 따라, 영상 전송 장치(110) 및 전송량 결정 장치(120)는 도 1에 도시된 예와 달리 하나의 장치에 포함된 일 구성들로 구현될 수 있다.
도 2는 일 실시예에 따른 영상 전송 장치(110)의 구성도이다.
도 2를 참조하면, 영상 전송 장치(110)는 관심 영역 결정부(111), 블러 대상 영역 결정부(112), 영상 처리부(113), 인코딩부(114) 및 전송부(115)를 포함한다.
관심 영역 결정부(111)는 영상 데이터에 포함된 복수의 이미지 프레임 중 현재 전송할 이미지 프레임 내에서 적어도 하나의 관심 영역을 결정한다.
이때, 관심 영역은 현재 전송할 이미지 프레임 내에서 화질을 고화질로 유지시키기 위한 영역을 의미할 수 있다. 예를 들어, 영상 제공 시스템(100)을 이용하여 사용자에게 영상 통화 서비스를 제공하는 경우, 관심 영역은 영상 통화를 수행하는 사용자의 눈, 코, 입, 얼굴 등을 포함할 수 있다.
일 실시예에서, 관심 영역 결정부(111)는 다양한 관심 영역 추출 기법을 이용하여 관심 영역을 결정할 수 있다. 예를 들어, 관심 영역 결정부(111)는 얼굴 검출(face detection) 기법을 이용하여 현재 전송할 이미지 프레임 내에서 사용자의 얼굴이 위치한 영역을 추출하고, 추출된 영역을 관심 영역으로 결정할 수 있다.
한편, 상술한 예에서는 얼굴 검출 기법을 이용하여 관심 영역을 결정한 것으로 예시하였으나, 이는 일 예시에 불과하며, 상술한 바와 같이 다양한 관심 영역 추출 기법을 이용하여 관심 영역을 결정할 수 있다.
블러 대상 영역 결정부(112)는 적어도 하나의 관심 영역 및 기 결정된 영상 데이터에 대한 목표 전송량에 기초하여 현재 전송할 이미지 프레임 내에서 블러 대상 영역을 결정한다.
이때, 블러 대상 영역은 현재 전송할 이미지 프레임 중 블러 처리를 수행하기 위한 영역을 의미할 수 있다.
또한, 블러 대상 영역 결정부(112)는 영상 데이터에 대한 예상 전송량 및 목표 전송량에 기초하여 현재 전송할 이미지 프레임에 대한 블러 처리 여부를 결정할 수 있다.
일 실시예에서, 블러 대상 영역 결정부(112)는 복수의 이미지 프레임 중 이전에 전송된 이미지 프레임 및 현재 전송할 이미지 프레임에 기초하여 예상 전송량을 산출할 수 있다. 이후, 블러 대상 영역 결정부(112)는 영상 데이터에 대한 예상 전송량 및 목표 전송량을 비교하여 네트워크의 상태를 판단하고, 판단 결과에 기초하여 블러 처리 여부를 결정할 수 있다. 예를 들어, 블러 대상 영역 결정부(112)는 판단 결과 네트워크의 상태가 나쁜 것으로 판단된 경우, 목표 전송량을 고려하여 블러 처리하기 위한 블러 대상 영역을 결정할 수 있다. 이와 달리, 블러 대상 영역 결정부(112)는 판단 결과 네트워크 상태가 좋은 것으로 판단된 경우, 블러 대상 영역을 결정하지 않거나 기 결정된 블러 대상 영역을 제거할 수 있다.
일 실시예에서, 블러 대상 영역 결정부(112)는 예상 전송량이 목표 전송량을 초과하는 경우, 목표 전송량에 기초하여 블러 대상 영역 및 블러 대상 영역에서의 블러 처리 정도를 결정할 수 있다. 이때, 블러 처리 정도는 블러 대상 영역에 적용될 블러의 농도를 의미할 수 있다. 예를 들어, 블러 처리 정도가 높을수록 블러 대상 영역에 블러 처리 효과가 강하게 적용되고, 블러 처리 정도가 낮을수록 블러 대상 영역에 블러 처리 효과가 약하게 적용될 수 있다.
구체적으로, 블러 대상 영역 결정부(112)는 예상 전송량이 목표 전송량을 초과하는 경우, 목표 전송량에 맞게 블러 대상 영역 및 블러 처리 정도를 조절할 수 있다. 다시 말하면, 블러 대상 영역 결정부(112)는 네트워크의 상태의 변화에 따라 블러 대상 영역 및 블러 처리 정도를 줄이거나 늘릴 수 있다. 이 경우, 블러 대상 영역 결정부(112)는 블러 대상 영역 및 블러 처리 정도 중 하나를 조절하거나, 블러 대상 영역 및 블러 처리 정도 모두를 조절할 수 있다.
또한, 일 실시예에서, 블러 대상 영역 결정부(112)는 예상 전송량이 목표 전송량 이하인 경우, 네트워크의 전송 지연이 발생하지 않을 것으로 판단하여 현재 전송할 이미지에 대한 블러 처리 과정을 수행하지 않을 수 있다. 구체적으로, 블러 대상 영역 결정부(112)는 현재 전송할 이미지에 대한 블러 대상 영역을 결정하지 않거나, 기 결정된 블러 대상 영역이 존재하는 경우, 결정된 블러 대상 영역을 제거할 수 있다. 따라서, 영상 데이터 전송의 초기 시점부터 네트워크의 상태가 좋은 것으로 판단된 경우, 블러 대상 영역 결정부(112)는 영상 데이터에 대한 첫 프레임 이미지에 대한 블러 대상 영역을 결정하지 않을 수 있다. 이 경우, 영상 전송 장치(110)는 블러 처리되지 않은 영상 데이터에 대한 원본 이미지 프레임을 전송할 수 있다.
이에 따라, 영상 전송 장치(110)는 네트워크의 상태에 기초하여 블러 처리 여부를 결정함으로써, 이미지 프레임에 대한 인코딩을 수행하기 전에 네트워크의 상태에 기초하여 현재 전송할 이미지 프레임의 화질을 조절하여 현재 전송할 이미지 프레임 데이터의 크기를 조절할 수 있다.
한편, 일 실시예에서, 블러 대상 영역 결정부(112)는 현재 전송할 이미지 프레임 중 적어도 하나의 관심 영역을 제외한 영역에서 블러 대상 영역을 결정할 수 있다.
예를 들어, 도 3에 도시된 바와 같이 관심 영역 결정부(111)가 현재 전송할 이미지 프레임(300) 내에서 사용자의 얼굴이 위치한 영역을 관심 영역(301)으로 결정한 것으로 가정한다. 이때, 블러 대상 영역 결정부(112)는 현재 전송할 이미지 프레임 내에서 결정된 관심 영역(301)을 제외한 영역에서 블러 대상 영역(302)을 결정할 수 있다.
이에 따라, 영상 전송 장치(110)는 관심 영역을 제외한 영역에서 블러 대상 영역을 결정함으로써, 현재 전송할 이미지 프레임 내에서 관심 영역의 화질을 고화질로 유지시킬 수 있다.
영상 처리부(113)는 블러 대상 영역을 블러 처리한다.
구체적으로, 영상 처리부(113)는 블러 대상 영역 결정부(112)에 의해 결정된 블러 처리 정도에 기초하여 결정된 블러 대상 영역을 블러 처리할 수 있다.
예를 들어, 도 4에 도시된 바와 같이 영상 처리부(113)는 블러 처리 정도에 기초하여 현재 전송할 이미지 프레임(300) 내에서 관심 영역(301)을 제외한 블러 대상 영역(302)을 블러 처리할 수 있다. 이에 따라, 블러 처리된 블러 대상 영역(302)의 선명도(sharpness)가 낮아지는 것을 확인할 수 있다.
일 실시예에서, 영상 처리부(113)는 가우시안 블러(Gaussian blur) 기법을 이용하여 블러 대상 영역을 블러 처리할 수 있으나, 반드시 이에 한정되는 것은 아니고, 다양한 방식의 블러 처리 기법을 이용하여 블러 대상 영역을 블러 처리할 수 있다.
인코딩부(114)는 블러 처리된 블러 대상 영역을 포함하는 현재 전송할 이미지 프레임을 인코딩한다.
구체적으로, 인코딩부(114)는 현재 전송할 이미지 프레임을 영상 수신 장치(130)로 전송하기 적합한 형식과 크기로 인코딩할 수 있다.
예를 들어, 영상 처리부(113)에서 블러 처리를 수행한 경우, 인코딩부(114)는 블러 처리된 블러 대상 영역을 포함하는 현재 전송할 이미지 프레임을 인코딩할 수 있다.
상술한 예와 달리, 블러 대상 영역 결정부(112)에서 블러 대상 영역을 결정하지 않거나 영상 처리부(113)에서 블러 처리를 수행하지 않은 경우, 인코딩부(114)는 블러 대상 영역을 포함하지 않은 현재 전송할 이미지 프레임을 인코딩할 수 있다. 구체적으로, 인코딩부(114)는 예상 전송량이 목표 전송량 이하인 경우, 블러 대상 영역을 포함하지 않은 현재 전송할 이미지 프레임을 인코딩할 수 있다. 즉, 인코딩부(114)는 블러 처리되지 않은 영상 데이터에 대한 원본 이미지 프레임을 인코딩할 수 있다.
한편, 인코딩부(114)에서 이미지 프레임을 인코딩하는 방식은 특정 방식에 한정되는 것은 아니며, 실시예에 따라 다양한 방식으로 이미지 프레임을 인코딩할 수 있다.
전송부(115)는 인코딩된 이미지 프레임을 전송한다.
구체적으로, 예상 전송량이 목표 전송량을 초과한 경우, 블러 처리된 이미지 프레임이 인코딩되어 전송되고, 예상 전송량이 목표 전송량 이하인 경우, 블러 처리되지 않은 이미지 프레임이 인코딩되어 전송될 수 있다.
이때, 전송되는 인코딩된 이미지 프레임 데이터의 크기는 상술한 블러 처리 여부에 따라 달라지게 될 수 있다. 예를 들어, 블러 처리된 이미지 프레임 데이터의 크기는 블러 처리되지 않은 원본 이미지 프레임 데이터의 크기보다 작을 수 있다.
한편, 전송부(115)는 목표 전송량에 기초하여 인코딩된 이미지 프레임을 균일하게 전송할 수 있다.
도 5는 일 실시에에 따른 영상 전송 방법의 순서도이다.
도 5에 도시된 영상 전송 방법은 예를 들어, 도 2에 도시된 영상 전송 장치(110)에 의해 실행될 수 있다.
도 5를 참조하면, 영상 전송 장치(110)는 영상 데이터에 포함된 복수의 이미지 프레임 중 현재 전송할 이미지 프레임 내에서 적어도 하나의 관심 영역을 결정한다(510).
이후, 영상 전송 장치(110)는 적어도 하나의 관심 영역 및 기 결정된 영상 데이터에 대한 목표 전송량에 기초하여 현재 전송할 이미지 프레임 내에서 블러 대상 영역을 결정한다(520).
이때, 영상 전송 장치(110)는 현재 전송할 이미지 프레임 중 적어도 하나의 관심 영역을 제외한 영역에서 블러 대상 영역을 결정할 수 있다.
이후, 영상 전송 장치(110)는 블러 대상 영역을 블러 처리한다(530).
이후, 영상 전송 장치(110)는 블러 처리된 블러 대상 영역을 포함하는 현재 전송할 이미지 프레임을 인코딩한다(540).
이후, 영상 전송 장치(110)는 인코딩된 이미지 프레임을 전송한다(550).
도 6은 일 실시예에 따른 블러 처리 여부를 결정하는 방법의 순서도이다.
도 6에 도시된 방법은 예를 들어, 도 2에 도시된 영상 전송 장치(110)에 의해 수행될 수 있다.
도 6을 참조하면, 영상 전송 장치(110)는 복수의 이미지 프레임 중 이전에 전송된 이미지 프레임 및 현재 전송할 이미지 프레임에 기초하여 영상 데이터에 대한 예상 전송량을 산출할 수 있다(610).
이후, 영상 전송 장치(110)는 예상 전송량 및 목표 전송량에 기초하여 현재 전송할 이미지 프레임에 대한 블러 처리 여부를 결정할 수 있다.
예를 들어, 예상 전송량이 목표 전송량을 초과하는 것으로 판단되는 경우(620), 영상 전송 장치(110)는 목표 전송량에 기초하여 블러 대상 영역 및 블러 대상 영역에서의 블러 처리 정도를 결정할 수 있다(630). 이때, 영상 전송 장치(110)는 블러 처리된 블러 대상 영역을 포함하는 현재 전송할 이미지를 인코딩하여 전송할 수 있다.
이와 달리, 예상 전송량이 목표 전송량 이하인 경우(620), 영상 전송 장치(110)는 블러 대상 영역을 결정하지 않거나 기 결정된 블러 대상 영역을 제거할 수 있다(640). 이때, 영상 전송 장치(110)는 블러 대상 영역을 포함하지 않은 현재 전송할 이미지를 인코딩하여 전송할 수 있다.
한편, 도 5 및 6에 도시된 순서도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
도 6은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 예를 들어, 도 2에 도시된 영상 전송 장치(110)에 포함되는 하나 이상의 컴포넌트일 수 있다. 또한, 일 실시예에서, 컴퓨팅 장치(12)는 예를 들어, 도 1에 도시된 전송량 결정 장치(120)에 포함되는 하나 이상의 컴포넌트일 수 있다. 또한, 일 실시예에서, 컴퓨팅 장치(12)는 예를 들어, 도 1에 도시된 영상 수신 장치(130)에 포함되는 하나 이상의 컴포넌트일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서는 실시예들을 중심으로 기술적 특징들을 설명하였다. 하지만, 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한고, 권리 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 권리범위에 포함된 것으로 해석되어야 할 것이다.
10: 컴퓨팅 환경
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스
100: 영상 제공 시스템
110: 영상 전송 장치
111: 관심 영역 결정부
112: 블러 대상 영역 결정부
113: 영상 처리부
114: 인코딩부
115: 전송부
120: 전송량 결정 장치
130: 영상 수신 장치

Claims (10)

  1. 영상 데이터에 포함된 복수의 이미지 프레임 중 현재 전송할 이미지 프레임 내에서 적어도 하나의 관심 영역을 결정하는 관심 영역 결정부;
    상기 적어도 하나의 관심 영역 및 기 결정된 상기 영상 데이터에 대한 목표 전송량에 기초하여 상기 현재 전송할 이미지 프레임 내에서 블러(blur) 대상 영역을 결정하는 블러 대상 영역 결정부;
    상기 블러 대상 영역을 블러 처리하는 영상 처리부;
    상기 블러 처리된 블러 대상 영역을 포함하는 현재 전송할 이미지 프레임을 인코딩하는 인코딩부; 및
    상기 인코딩된 이미지 프레임을 전송하는 전송부를 포함하는 영상 전송 장치.
  2. 청구항 1에 있어서,
    상기 블러 대상 영역 결정부는,
    상기 복수의 이미지 프레임 중 이전에 전송된 이미지 프레임 및 현재 전송할 이미지 프레임에 기초하여 상기 영상 데이터에 대한 예상 전송량을 산출하고,
    상기 예상 전송량 및 상기 목표 전송량에 기초하여 현재 전송할 이미지 프레임에 대한 블러 처리 여부를 결정하는 영상 전송 장치.
  3. 청구항 2에 있어서,
    상기 블러 대상 영역 결정부는, 상기 예상 전송량이 상기 목표 전송량을 초과하는 경우, 상기 목표 전송량에 기초하여 상기 블러 대상 영역 및 상기 블러 대상 영역에서의 블러 처리 정도를 결정하고,
    상기 영상 처리부는, 상기 결정된 블러 처리 정도에 기초하여 상기 결정된 블러 대상 영역을 블러 처리하는 영상 전송 장치.
  4. 청구항 2에 있어서,
    상기 인코딩부는, 상기 예상 전송량이 상기 목표 전송량 이하인 경우, 상기 블러 대상 영역을 포함하지 않은 현재 전송할 이미지 프레임을 인코딩하는 영상 전송 장치.
  5. 청구항 1에 있어서,
    상기 블러 대상 영역 결정부는, 현재 전송할 이미지 프레임 중 상기 적어도 하나의 관심 영역을 제외한 영역에서 상기 블러 대상 영역을 결정하는 영상 전송 장치.
  6. 영상 데이터에 포함된 복수의 이미지 프레임 중 현재 전송할 이미지 프레임 내에서 적어도 하나의 관심 영역을 결정하는 단계;
    상기 적어도 하나의 관심 영역 및 기 결정된 상기 영상 데이터에 대한 목표 전송량에 기초하여 상기 현재 전송할 이미지 프레임 내에서 블러(blur) 대상 영역을 결정하는 단계;
    상기 블러 대상 영역을 블러 처리하는 단계;
    상기 블러 처리된 블러 대상 영역을 포함하는 현재 전송할 이미지 프레임을 인코딩하는 단계; 및
    상기 인코딩된 이미지 프레임을 전송하는 단계를 포함하는 영상 전송 방법.
  7. 청구항 6에 있어서,
    상기 블러 대상 영역을 결정하는 단계는,
    상기 복수의 이미지 프레임 중 이전에 전송된 이미지 프레임 및 현재 전송할 이미지 프레임에 기초하여 상기 영상 데이터에 대한 예상 전송량을 산출하는 단계; 및
    상기 예상 전송량 및 상기 목표 전송량에 기초하여 현재 전송할 이미지 프레임에 대한 블러 처리 여부를 결정하는 단계를 더 포함하는 영상 전송 방법.
  8. 청구항 7에 있어서,
    상기 블러 대상 영역을 결정하는 단계는, 상기 예상 전송량이 상기 목표 전송량을 초과하는 경우, 상기 목표 전송량에 기초하여 상기 블러 대상 영역 및 상기 블러 대상 영역에서의 블러 처리 정도를 결정하고,
    상기 블러 처리하는 단계는, 상기 결정된 블러 처리 정도에 기초하여 상기 결정된 블러 대상 영역을 블러 처리하는 영상 전송 방법.
  9. 청구항 7에 있어서,
    상기 인코딩하는 단계는, 상기 예상 전송량이 상기 목표 전송량 이하인 경우, 상기 블러 대상 영역을 포함하지 않은 현재 전송할 이미지 프레임을 인코딩하는 영상 전송 방법.
  10. 청구항 6에 있어서,
    상기 블러 대상 영역을 결정하는 단계는, 현재 전송할 이미지 프레임 중 상기 적어도 하나의 관심 영역을 제외한 영역에서 상기 블러 대상 영역을 결정하는 영상 전송 방법.
KR1020190114485A 2019-09-18 2019-09-18 영상 전송 장치 및 방법 KR20210033143A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190114485A KR20210033143A (ko) 2019-09-18 2019-09-18 영상 전송 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190114485A KR20210033143A (ko) 2019-09-18 2019-09-18 영상 전송 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20210033143A true KR20210033143A (ko) 2021-03-26

Family

ID=75259252

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190114485A KR20210033143A (ko) 2019-09-18 2019-09-18 영상 전송 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20210033143A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101315040B1 (ko) 2008-08-08 2013-10-14 삼성테크윈 주식회사 영상제공장치, 영상출력장치, 영상전송 시스템 및 이를 이용한 영상전송방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101315040B1 (ko) 2008-08-08 2013-10-14 삼성테크윈 주식회사 영상제공장치, 영상출력장치, 영상전송 시스템 및 이를 이용한 영상전송방법

Similar Documents

Publication Publication Date Title
US20180063549A1 (en) System and method for dynamically changing resolution based on content
KR100669837B1 (ko) 입체 비디오 코딩을 위한 포어그라운드 정보 추출 방법
US11456013B2 (en) Video decoding control method, electronic device, and storage medium
US11490157B2 (en) Method for controlling video enhancement, device, electronic device and storage medium
CN109698957B (zh) 图像编码方法、装置、计算设备及存储介质
US11627369B2 (en) Video enhancement control method, device, electronic device, and storage medium
CN110149515B (zh) 数据传输方法及装置
WO2017140230A1 (zh) 目标码率调整方法及装置
WO2017096824A1 (zh) 用于运动视频的码率控制方法及装置
US20200259880A1 (en) Data processing method and apparatus
JP2024026066A (ja) 通信端末、及びプログラム
KR20210033143A (ko) 영상 전송 장치 및 방법
CN109120979B (zh) 视频增强控制方法、装置以及电子设备
US9973562B2 (en) Split processing of encoded video in streaming segments
WO2020107970A1 (zh) 视频解码方法、装置、电子设备及存储介质
CN112911299B (zh) 一种视频码率控制方法、装置、电子设备和存储介质
WO2023053186A1 (ja) ネットワーク管理装置、ネットワーク管理方法、及び映像配信システム
US11601650B2 (en) Dynamic allocation of virtual and/or physical resources vis-a-vis virtual machines in video stream processing
KR20100016803A (ko) 내용 적응적 해상도 비디오 압축을 위한 영상 분석 장치 및방법
CN117528141A (zh) 视频编码方法、装置、电子设备、存储介质及程序产品
CN117692680A (zh) 一种会议视频流控方法、装置及电子设备
CN116418987A (zh) 图像编码方法、装置、设备及介质
KR20170033605A (ko) 스트리밍 성능 향상 방법, 스트리밍 서버, 셋톱박스 및 스트리밍 서비스 제공 시스템
CN110889857A (zh) 一种移动Web实时视频帧分割方法及系统
CN112752057A (zh) 一种视频会议辅流处理方法及装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application