KR20120019662A - 전송될 동영상의 전처리 방법 및 이를 이용한 동영상 전송시스템. - Google Patents

전송될 동영상의 전처리 방법 및 이를 이용한 동영상 전송시스템. Download PDF

Info

Publication number
KR20120019662A
KR20120019662A KR1020100082998A KR20100082998A KR20120019662A KR 20120019662 A KR20120019662 A KR 20120019662A KR 1020100082998 A KR1020100082998 A KR 1020100082998A KR 20100082998 A KR20100082998 A KR 20100082998A KR 20120019662 A KR20120019662 A KR 20120019662A
Authority
KR
South Korea
Prior art keywords
image
region
video
roi
map
Prior art date
Application number
KR1020100082998A
Other languages
English (en)
Inventor
권호민
Original Assignee
지씨엠코리아(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지씨엠코리아(주) filed Critical 지씨엠코리아(주)
Priority to KR1020100082998A priority Critical patent/KR20120019662A/ko
Publication of KR20120019662A publication Critical patent/KR20120019662A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Abstract

본 발명은 동영상 전송시스템에 관한 것으로, 더욱 상세하게는 저전송율 동영상 전송시스템에서 화질의 열화를 최소화하여 동영상 데이터를 효율적으로 전송할 수 있는 전송될 동영상의 전처리 방법 및 이를 이용한 동영상 전송시스템에 관한 것이다.
본 발명은 사람의 시각 인지에 따라 영상 영역을 구분하고, 그 영역들을 선택적으로 필터링함으로써 출력영상의 화질을 개선시킬 수 있다. 특히 화상 회의와 같이 사람의 모습이 시작적인 관심영역으로 집중될 때 저전송율 비디오 통신 여건에서 화질을 개선시키는 장점이 있다.

Description

전송될 동영상의 전처리 방법 및 이를 이용한 동영상 전송시스템.{ Pre-processing method of a moving picture to be transmitted and System transmitting a moving picture using thereof}
본 발명은 동영상 전송시스템에 관한 것으로, 더욱 상세하게는 저전송율 동영상 전송시스템에서 화질의 열화를 최소화하여 동영상 데이터를 효율적으로 전송할 수 있는 전송될 동영상의 전처리 방법 및 이를 이용한 동영상 전송시스템에 관한 것이다.
MPEG-2, MPEG-4, 및 H.264와 같은 동영상 데이터의 압축 표준(codec standard)에 있어서, 입력되는 영상은 소정의 픽셀(pixel) 구조, 예를 들면, 8×8 또는 16×16 픽셀들로 이루어지는 블록(block)으로 분할(division)된다. 그리고 상기 블록단위로 분할된 영상 데이터에 이산 여현 변환(discrete cosine transform) 및 양자화(quantization)를 수행하여 압축한다. 이후 상기 양자화된 영상 데이터는 부호화 코딩(entropy coding)을 통하여 추가적으로 압축된다.
일반적으로, 동영상 데이터는 인트라 압축(intra compression) 방법 또는 인터 압축(inter compression)으로 압축 처리된다. 상기 인트라 압축은 하나의 비디오 영상프레임 내의 정보만을 이용하여 압축하는 방법이다. 즉, 영상 데이터의 경우 인접한 픽셀들이 유사한 값을 갖는 경향이 있고 상기 인트라 압축은 이러한 점을 활용하여 데이터량을 감소시킨다.
또한, 인터 압축은 연속되는 영상프레임들 사이의 해당하는 화소 값들의 차분들에 근거하여 영상을 압축하는 방법이다. 시간적으로 연속되는 이미지들은 배경의 변화 없이 주로 화면의 중앙부분에서만 사람이나 물체의 움직임이 있기 때문에, 이러한 성질을 이용하여 시간적인 중복성을 제거할 수 있다.
즉, 이전이나 이후 영상프레임에 비해 현 영상프레임의 화면상 변화가 없거나 또는 거의 유사한 부분은 부호화하지 않음으로써 데이터량을 큰 폭으로 줄일 수 있다.
도 1은 종래의 동영상 전송시스템을 나타내는 블록도이다.
도 1을 참고하면, 종래의 동영상 전송시스템(100)은, 인코딩부(110), 송신부(120), 수신부(130) 및 디코딩부(140)를 포함한다.
인코딩부(110)는 입력영상을 압축(부호화)하고, 송신부(120)는 압축된 영상의 비트 스트림을 전송한다. 수신부(130)는 전송된 비트 스트림을 수신하고, 디코딩부(140)는 수신된 비트 스트림을 복원(복호화)해서 출력 형상을 만들어낸다.
그러나 종래의 동영상 전송시스템(100)은, 동영상 내에 움직임과 복잡한 영상이 많을수록 블록단위별 할당되는 비트 소모는 높아진다. 따라서 저전송율 여건상에서는 영상에 따라 할당되는 블록단위별 비트수의 부족함이 나타나고 그 결과로써 화질 열화가 발생한다. 이와 같이 저전송율 여건상에서 동영상 화질을 개선시키는 건 어려운 문제이다.
본 발명이 해결하고자 하는 기술적 과제는, 저전송율 동영상 전송시스템에서 화질의 열화를 최소화하여 동영상 데이터를 효율적으로 전송할 수 있는 전송될 동영상의 전처리 방법을 제공하는데 있다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 상기 전송될 동영상의 전처리 방법을 이용한 동영상 전송시스템을 제공하는데 있다.
상기 기술적 과제를 이루기 위한 본 발명에 따른 전송될 동영상의 전처리 방법은, (a) 전송될 동영상의 각 영상프레임을 관심영역과 비관심영역으로 분리하는 단계, (b) 상기 관심영역은 원영상보다 선명하게 필터링하고, 상기 비관심영역은 상기 원영상보다 흐릿하게 필터링하는 단계, (c) 상기 필터링된 관심영역과 상기 필터링된 비관심영역을 결합하는 단계 및 (d) 결합된 관심영역과 비관심영역의 경계를 보정하는 단계를 포함하는 것을 특징으로 한다.
상기 다른 기술적 과제를 이루기 위한 본 발명에 따른 전처리 수단을 이용한 동영상 전송시스템은 동영상을 인코딩하여 송ㆍ수신한 후 디코딩하는 동영상 전송시스템에 있어서, 동영상을 인코딩하기 전에 화질개선을 위한 전처리 수단을 포함하는 것을 특징으로 한다.
본 발명은 사람의 시각 인지에 따라 영상 영역을 구분하고, 그 영역들을 선택적으로 필터링함으로써 출력영상의 화질을 개선시킬 수 있다. 특히 화상 회의와 같이 움직이는 사람의 모습이 시각적인 관심영역으로 집중될 때 저전송율 비디오 통신 여건에서 화질을 개선시키는 장점이 있다.
도 1은 종래의 동영상 전송시스템을 나타내는 블록도이다.
도 2는 본 발명에 따른 전처리 수단을 이용한 동영상 전송시스템을 나타내는 블록도이다.
도 3은 본 발명에 따른 전송될 동영상의 전처리 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명에 따른 전송될 동영상의 전처리 방법에서 영상프레임을 관심영역과 비관심영역으로 분리하는 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명에 따른 전처리 수단을 이용한 동영상 전송시스템에서 전처리 수단을 나타내는 세부블록도이다.
이하에서는 본 발명의 구체적인 실시 예를 도면을 참조하여 상세히 설명하도록 한다.
도 2는 본 발명에 따른 전처리 수단을 이용한 동영상 전송시스템을 나타내는 블록도이다.
도 2를 참고하면, 본 발명에 따른 전처리 수단을 이용한 동영상 전송시스템(200)은, 인코딩부(210), 송신부(220), 수신부(230), 디코딩부(240) 및 화질개선 전처리부(250)를 포함한다.
상기에서 인코딩부(210), 송신부(220), 수신부(230) 및 디코딩부(240)에 관한 기술은 통신 및 영상처리분야에서 이 출원 전에 공지되어 다양하게 실시되고 있으므로 자세한 설명은 생략하고자 한다.
화질개선 전처리부(250)는 입력영상을 사람의 시각 인지에 따라 관심영역 또는 비관심영역으로 구분하고, 각 영역들을 선택적으로 필터링함으로써 시각적 관심영역은 선명하게 하고, 비관심영역은 흐릿하게 한다. 그 결과, 비관심영역에 할당될 비트가 관심영역으로 할당됨으로써 관심영역의 비트 예산(budget)이 증가된다.
도 3은 본 발명에 따른 전송될 동영상의 전처리 방법을 설명하기 위한 흐름도 이다.
도 3을 참고하면, 본 발명에 따른 전송될 동영상의 전처리 방법(300)은, 전송될 동영상의 각 영상프레임을 관심영역과 비관심영역으로 분리하는 단계(S310), 상기 관심영역 영상은 원영상보다 선명하게 필터링하고, 상기 비관심영역 영상은 원영상보다 흐릿하게 필터링하는 단계(S320), 상기 필터링된 관심영역 영상과 상기 필터링된 비관심영역 영상을 결합하는 단계(S330) 및 상기 결합된 관심영역과 비관심영역의 경계를 보정하는 단계(S340)를 포함한다.
영상프레임을 관심영역과 비관심영역으로 분리하는 단계(S310)는 사람의 시각 인지에 따라 영상 영역을 구분하는 단계이다. 여기서, 관심영역은 전송될 동영상 내에서 상대적으로 움직임이 많은 영역이며, 특히, 화상 회의 등에서는 움직이며 말하는 사람의 모습이 관심영역으로 될 수 있다.
분리된 관심영역 영상과 비관심영역 영상을 필터링하는 단계(S320)는 사람의 시각적 관심영역 영상은 원영상보다 선명하게 만들고, 비관심영역 영상은 원영상보다 흐릿하게 만드는 단계이다. 이는 사람의 시각적 관심영역은 선명하게 유지함으로써 화질을 개선시켜 사용자에게 개선된 동영상을 제공하기 위함이다.
또한, 카메라 노이즈나 빛의 산란으로 발생하는 동영상의 변화는 코덱에서 추가적인 비트소모를 발생시키나, 이를 비관심영역으로 처리하여 흐릿하게 함으로써 동영상의 변화가 없어진다.
일반적으로. 관심영역 영상은 이차원 고주파 필터링을 함으로써 원영상보다 선명하게 만들 수 있고, 비관심영역 영상은 이차원 저주파 필터링을 함으로써 원영상보다 흐릿해지게 만들 수 있다.
필터링된 관심영역 영상과 필터링된 비관심영역 영상을 결합하는 단계(S330)는 상술한 것과 같이 원영상보다 선명하게 한 관심영역 영상과 원영상보다 흐릿하게 한 비관심영역 영상을 합치는 단계이다. 즉, 원래 있던 화소의 위치에 각각 필터링된 화소 값을 되돌려 놓는다.
결합된 관심영역과 비관심영역의 경계를 보정하는 단계(S340)는 각각 영역별로 필터링된 영상을 합쳤을 때 그 경계가 뚜렷해지데 이는 시각적인 방해가 되므로 경계를 부드럽게 보정하여 이질감을 줄이는 단계이다.
본 발명의 일실시 예는 두 영역의 경계를 복수의 경계부분으로 나누고, 상기 복수의 경계부분에는 각 경계부분별로 가중치가 적용된 화소 값을 할당한다. 즉, 관심영역에 가까운 경계부분은 관심영역의 화소 값에 가까도록 가중치를 적용하고, 상기 비관심영역에 가까운 경계부분은 상기 비관심영역의 화소 값에 가까도록 가중치를 적용하여 보정한다.
예를 들면, 결합된 관심영역과 비관심영역의 경계를 홀수로(1, 3, 5, 7, 9, 13, 15 등) 나누게 되면, 결과적으로 총 경계부분 Z는 짝수(2, 4, 6, 8, 10, 12, 14, 16)개가 된다. 이 때, 각 경계부분의 화소 값은 아래의 수학식 1에 의하여 채워진다.
Figure pat00001
여기서,
Figure pat00002
는 경계부분의 인덱스이고,
Figure pat00003
는 필터링된 비관심영역의 화소 값,
Figure pat00004
는 원영상의 화소 값,
Figure pat00005
는 필터링된 관심영역의 화소 값을 나타내며,
Figure pat00006
는 가중치로써,
Figure pat00007
이고,
Figure pat00008
이 된다.
즉, 관심영역과 비관심영역의 경계를 3개로 나눈다면, 결과적으로 총 경계부분은 4개로써
Figure pat00009
가 된다. 이 때, 관심영역에 가까운 경계부분은 가중치
Figure pat00010
는 크게 하고,
Figure pat00011
는 상대적으로 작게 함으로써 상기 관심영역의 화소 값에 가깝도록 한다. 반면에 비관심영역에 가까운 경계부분은 가중치
Figure pat00012
는 크게 하고,
Figure pat00013
는 상대적으로 작게 함으로써 상기 비관심영역의 화소 값에 가깝도록 한다.
이와 같이 각각의 경계부분에 가중치가 적용된 화소 값을 할당함으로써 결합된 관심영역과 비관심영역의 경계가 부드럽게 보정되고 각 영역사이에 이질감을 줄일 수 있다.
도 4는 본 발명에 따른 전송될 동영상의 전처리 방법에서 영상프레임을 관심영역과 비관심영역으로 분리하는 단계를 설명하기 위한 세부흐름도이다.
도 4를 참고하면, 영상프레임을 관심영역과 비관심영역으로 분리하는 방법(S310)은, 배경영상 누적 맵을 생성하는 단계(S311), 움직임 벡터를 계산하는 단계(S312), 움직임 벡터 누적 맵을 생성하는 단계(S313), 제1 문턱값(threshold)을 이용한 사람의 움직임을 결정하는 단계(S314), 차분영상을 생성하는 단계(S315), 히스토그램 및 누적분포함수를 생성하는 단계(S316), 적응형 움직임영역을 결정하는 단계(S317), 홀(Hole)을 채우는(Filling) 단계(S318) 및 각 영역의 영상을 평균 필터링하는 단계(S319)를 포함한다.
상기 적응형 움직임 영역은 사람의 움직임이 일정시간동안 강하게 나타나는 영상 영역을 반영하고, 배경영상 누적 맵은 영상의 이전 패턴(chronological average from the pixel's history)을 반영한다.
그러므로 현재 입력되는 영상프레임과 배경영상 누적 맵을 비교하여 차분영상을 계산할 때 빛의 산란이나 영상 노이즈는 제거되고 사람의 움직임 패턴 등만이 고려하여 적응적으로 사람의 움직임 영역을 결정할 수 있다. 본 발명의 일실시 예는 상기 적응형 움직임영역을 관심영역으로 하고, 그 외 영역을 비관심영역으로 한다.
계속하여 도 4를 참고하면, 배경영상 누적 맵을 생성하는 단계(S311)는 영상의 이전 패턴을 반영하는 배경영상 누적 맵을 생성하는 단계로써 하기 수학식 2를 이용하여 계산된다.
Figure pat00014
여기서,
Figure pat00015
는 N번째(단, N은 자연수) 영상프레임까지 업데이트된 배경영상 누적 맵,
Figure pat00016
는 N번째 영상프레임,
Figure pat00017
는 배경영상의 업데이트율,
Figure pat00018
은 (N-1)번째 영상프레임까지 업데이트된 배경영상 누적 맵을 각각 나타낸다.
이 때, N번째 영상프레임(
Figure pat00019
)은 (N-1)번째 영상프레임(
Figure pat00020
)과 비교하여 사람의 움직임이 있는 경우에 상기 배경영상 누적 맵에 업데이트되며, 상기 움직임을 결정하는 방법은 움직임 벡터를 계산하는 단계(S312), 움직임 벡터 누적 맵을 생성하는 단계(S313) 및 문턱값(threshold)을 이용한 사람의 움직임을 결정하는 단계(S313)에 의한다.
움직임 벡터를 계산하는 단계(S312)는 (N-1)번째 영상프레임과 N번째 영상프레임간의 움직임 벡터를 구한다. 전ㆍ후 영상간의 움직임 벡터를 구하는 기술은 다양하며 통신 및 영상처리분야에서 이 출원 전에 공지되어 실시되고 있으므로 자세한 설명은 생략하고자 한다.
움직임 벡터 누적 맵을 생성하는 단계(S313)는 영상프레임이 입력될 때마다 이전 영상프레임과 사이에서 움직임 벡터를 계산하고 누적시킨다. 이와 같이 움직임 벡터를 누적시켜 만든 움직임 벡터 누적 맵은 사람 등의 누적된 움직임을 반영한다.
제1 문턱값(threshold)을 이용한 사람의 움직임을 결정하는 단계(S314)는 상기 움직임 벡터 누적 맵에서 소정의 제1 문턱값(threshold)을 이용하여 당해 영상프레임에서 사람의 움직임 여부를 결정한다.
본 발명의 일실시 예는 움직임 벡터 누적 맵을 소정의 제1 문턱값과 비교하여 큰 경우가 있다면 사람의 움직임이 있다고 예측하고 상기 배경영상 누적 맵에 당해 영상프레임을 업데이트시킨다.
차분영상을 생성하는 단계(S315)는 (N-1)번째 영상프레임까지 업데이트된 배경영상 누적 맵(
Figure pat00021
)과 N번째 영상프레임(
Figure pat00022
)을 비교하여 차분영상을 생성하는 단계로써 하기의 수학식 3에 의하여 계산된다.
Figure pat00023
여기에서,
Figure pat00024
는 차분영상,
Figure pat00025
는 N번째 영상프레임,
Figure pat00026
는 (N-1)번째 영상프레임까지 업데이트된 배경영상 누적 맵을 나타낸다.
히스토그램 및 누적분포함수를 생성하는 단계(S316)는 상기 차분영상의 히스토그램을 구하고, 상기 히스토그램을 이용하여 누적함수분포를 생성한다. 히스토그램 및 누적분포함수 생성 방법은 통신 및 영상처리분야에서 이 출원 전에 공지되어 다양하게 실시되고 있으므로 자세한 설명은 생략하고자 한다.
적응형 움직임영역을 결정하는 단계(S317)는 상기 누적함수분포에서 소정의 제2 문턱값(threshold)을 설정해서 적응형 움직임영역을 결정한다. 일반적으로 제2 문턱값은 상기 움직임영역을 잘 반영할 수 있도록 설정하며, 동영상 환경 등에 따라 최적의 문턱값을 설정한다.
또한, 상술한 움직임 벡터 누적 맵에는 사람의 움직임에 대한 정보가 있으므로 상기 움직임영역을 결정하는데 이 정보를 이용한다.
결론적으로, 관심영역이 되는 상기 움직임영역은 차분영상의 누적함수분포를 이용한 움직임 정보와 움직임 벡터 누적 맵을 이용한 움직임 정보를 포함한다.
홀(Hole)을 채우는(Filling) 단계(S318) 및 각 영역의 영상을 평균 필터링하는 단계(S319)는 영상의 X축, Y축으로 탐색하여 관심영역(움직임영역) 또는 비관심영역에서 일정이상 크기의 홀(Hole)이 있다면 이를 채워(Filling)준다. 그리고 각 영역의 영상을 평균 필터링함으로써 소정의 잡음을 제거한다.
도 5는 본 발명에 따른 전처리 수단을 이용한 동영상 전송시스템에서 전처리 수단을 나타내는 세부블록도이다.
본 발명에 따른 전처리 수단을 이용한 동영상 전송시스템은 상술한 바와 같이 동영상을 인코딩하여 송ㆍ수신한 후, 디코딩하는 동영상 전송시스템에 있어서 인코딩부(210) 앞단에서 입력영상의 화질이 개선될 수 있도록 전처리 수단(250)을 포함하는 것을 특징으로 한다.
도 5를 참고하면, 본 발명에 따른 전처리 수단(250)은 전송될 동영상의 각 영상프레임을 관심영역과 비관심영역으로 분리하는 영역분리부(251), 상기 관심영역 영상은 원영상보다 선명하게 필터링하고 상기 비관심영역 영상은 원영상보다 흐릿하게 필터링하는 필터링부(252), 상기 필터링된 관심영역과 상기 필터링된 비관심영역을 결합하는 결합부(253) 및 결합된 관심영역과 비관심영역의 경계를 보정하는 보정부(254)를 포함한다.
영역분리부(251)는, 배경영상 누적 맵을 생성하는 배경영상 생성기(251-1), 움직임 벡터 누적 맥을 생성하는 움직임 벡터 생성기(252-2), 상기 배경영상 누적 맵과 현재 입력되는 영상프레임을 비교하여 차분영상을 생성하는 차분영상 생성기(251-3) 및 상기 차분영상의 히스토그램 및 움직임 벡터 누적 맵을 이용하여 움직임영역을 결정하는 움직임영역 결정기(251-4)를 포함한다.
여기에, 상기 움직임영역에 존재하는 홀(Hole)을 채우고(Filling), 상기 움직임영역과 그렇지 않은 영역 각각을 평균 필터링하는 후처리기(251-5)를 더 포함할 수 있다.
상기 배경영상 생성기, 움직임 벡터 생성기, 차분영상 생성기, 움직임영역 결정기 및 후처리기는 도 4를 참고하여 상술한 관심영역과 비관심영역과 분리하는 방법에 의해 동작하므로 여기서는 상세한 설명은 생략한다.
필터링부(252)는, 관심영역 영상은 이차원 고주파 필터링을 함으로써 원영상보다 선명하게 만들고, 비관심영역 영상은 이차원 저주파 필터링을 함으로써 원영상보다 흐릿해지게 만든다.
결합부(253)는, 상기와 같이 관심영역을 원영상보다 선명하게 한 영상과 비관심영역을 원영상보다 흐릿하게 한 영상을 합친다.
보정부(254)는 합쳐진 관심영역과 비관심영역의 경계를 부드럽게 보정하여 이질감을 줄인다. 결합부(253)와 보정부(254)의 세부동작은 도 4를 참고하여 상술한 관심영역과 비관심영역과 분리하는 방법과 일맥상통함으로 여기서는 생략한다.
이상에서는 본 발명에 대한 기술사상을 첨부 도면과 함께 서술하였지만 이는 본 발명의 바람직한 실시 예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 이라면 누구나 본 발명의 기술적 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.

Claims (20)

  1. 전송될 동영상의 전처리 방법에 있어서,
    (a) 전송될 동영상의 각 영상프레임을 관심영역과 비관심영역으로 분리하는 단계;
    (b) 상기 관심영역은 원영상보다 선명하게 필터링하고, 상기 비관심영역은 상기 원영상보다 흐릿하게 필터링하는 단계;
    (c) 상기 필터링된 관심영역과 상기 필터링된 비관심영역을 결합하는 단계; 및
    (d) 결합된 관심영역과 비관심영역의 경계를 보정하는 단계를 포함하는 것을 특징으로 하는 전송될 동영상의 전처리 방법.
  2. 제 1 항에 있어서, 상기 (a) 단계는,
    (a-1) 움직임 벡터 누적 맵을 생성하는 단계;
    (a-2) 배경영상 누적 맵을 생성하는 단계;
    (a-3) 상기 배경영상 누적 맵과 현재 입력되는 영상프레임을 비교하여 차분영상을 생성하는 단계; 및
    (a-4) 상기 차분영상의 히스토그램과 상기 움직임 벡터 누적 맵을 이용하여 움직임영역을 결정하는 단계를 포함하되,
    상기 움직임영역을 상기 관심영역으로 하는 것을 특징으로 하는 전송될 동영상의 전처리 방법.
  3. 제 2 항에 있어서, 상기 (a-4) 단계 이후에,
    (a-5) 상기 움직임영역에 존재하는 홀(hole)을 채우는(filling) 단계; 및
    (a-6) 상기 움직임영역과 그렇지 않은 영역 각각을 평균 필터링하는 단계를 더 포함하는 것을 특징으로 하는 전송될 동영상의 전처리 방법.
  4. 제 2 항에 있어서, 상기 (a-1) 단계는
    (a-1-1) N번째(단, N은 자연수) 영상프레임과 (N+1)번째 영상프레임간의 움직임 벡터를 구하는 단계; 및
    (a-1-2) 상기 움직임 벡터를 누적하여 움직임 벡터 누적 맵을 생성하는 단계를 포함하는 것을 특징으로 하는 전송될 동영상의 전처리 방법.
  5. 제 2 항에 있어서, 상기 (a-2) 단계에서,
    상기 배경영상 누적 맵은 하기 수학식에 의하여 정의되는 것을 특징으로 하는 전송될 동영상의 전처리 방법.
    Figure pat00027

    (여기에서, N은 자연수,
    Figure pat00028
    는 N번째 영상프레임까지 업데이트된 배경영상 누적 맵,
    Figure pat00029
    는 N번째 영상프레임,
    Figure pat00030
    는 업데이트율)
  6. 제 5 항에 있어서,
    상기 움직임 벡터 누적 맵을 소정의 제1 문턱값과 비교하여 큰 부분이 있는 경우에 상기 N번째 영상프레임(
    Figure pat00031
    )이 상기 배경영상 누적 맵에 업데이트되는 것을 특징으로 하는 전송될 동영상의 전처리 방법.
  7. 제 2 항에 있어서, 상기 (a-3) 단계에서,
    상기 차분영상은 하기 수학식에 의하여 정의되는 것을 특징으로 하는 전송될 동영상의 전처리 방법.
    Figure pat00032

    (여기에서, N은 자연수,
    Figure pat00033
    는 차분영상,
    Figure pat00034
    는 N번째 영상프레임,
    Figure pat00035
    는 (N-1)번째 영상프레임까지 업데이트된 배경영상 누적 맵)
  8. 제 2 항에 있어서, 상기 (a-4) 단계는,
    (a-4)' 상기 차분영상의 히스토그램을 이용하여 누적분포함수를 생성한 후 상기 누적분포함수에서 소정의 제2 문턱값보다 큰 영역과, 상기 움직임 벡터 누적 맵에 대응되는 영역을 상기 움직임영역으로 결정하는 단계인 것을 특징으로 하는 전송될 동영상의 전처리 방법.
  9. 제 1 항에 있어서, 상기 (b) 단계는,
    (b') 상기 관심영역은 이차원 고주파 필터링을 통해 원영상보다 선명히 하고, 상기 비관심영역은 이차원 저주파 필터링을 통해 상기 원영상보다 흐릿하게 하는 단계인 것을 특징으로 하는 전송될 동영상의 전처리 방법.
  10. 제 1 항에 있어서, 상기 (d) 단계는,
    (d-1) 상기 결합된 관심영역과 비관심영역의 경계를 복수의 경계부분으로 나누는 단계; 및
    (d-2) 상기 복수의 경계부분에 가중치를 적용하여 각 경계부분내의 화소 값을 보정하는 단계를 포함하되,
    상기 관심영역에 가까운 경계부분은 상기 관심영역의 화소 값에 가깝도록 가중치를 적용하고, 상기 비관심영역에 가까운 경계부분은 상기 비관심영역의 화소 값에 가깝도록 가중치를 적용하여 보정하는 것을 특징으로 하는 전송될 동영상의 전처리 방법.
  11. 동영상을 인코딩하여 송ㆍ수신한 후, 디코딩하는 동영상 전송시스템에 있어서,
    동영상을 인코딩하기 전에 화질개선을 위한 전처리 수단(250)을 포함하는 것을 특징으로 하는 전처리 수단을 이용한 동영상 전송시스템.
  12. 제 11 항에 있어서, 상기 전처리 수단(250)은,
    전송될 동영상의 각 영상프레임을 관심영역과 비관심영역으로 분리하는 영역분리부(251);
    상기 관심영역은 원영상보다 선명하게 필터링하고 상기 비관심영역은 상기 원영상보다 흐릿하게 필터링하는 필터링부(252);
    상기 필터링된 관심영역과 상기 필터링된 비관심영역을 결합하는 결합부(253); 및
    결합된 관심영역과 비관심영역의 경계를 보정하는 보정부(254)를 포함하는 것을 특징으로 하는 전처리 수단을 이용한 동영상 전송시스템.
  13. 제 12 항에 있어서, 상기 영역분리부(251)는,
    배경영상 누적 맵을 생성하는 배경영상 생성기;
    움직임 벡터 누적 맵을 생성하는 움직임 벡터 생성기;
    상기 배경영상 누적 맵과 현재 입력되는 영상프레임을 비교하여 차분영상을 생성하는 차분영상 생성기; 및
    상기 차분영상의 히스토그램 및 상기 움직임 벡터 누적 맵을 이용하여 움직임영역을 결정하는 움직임영역 결정기를 포함하되,
    상기 움직임영역을 상기 관심영역으로 하는 것을 특징으로 하는 전처리 수단을 이용한 동영상 전송시스템.
  14. 제 13 항에 있어서,
    상기 움직임영역에 존재하는 홀(hole)을 채우고(filling), 상기 움직임영역과 그렇지 않은 영역 각각을 평균 필터링하는 후처리기를 더 포함하는 것을 특징으로 하는 전처리 수단을 이용한 동영상 전송시스템.
  15. 제 13 항에 있어서, 상기 배경영상 생성기에서,
    상기 배경영상 누적 맵은 하기 수학식에 의하여 정의되는 것을 특징으로 하는 전처리 수단을 이용한 동영상 전송시스템.
    Figure pat00036

    (여기에서, N은 자연수,
    Figure pat00037
    는 N번째 영상프레임까지 업데이트된 배경영상 누적 맵,
    Figure pat00038
    는 N번째 영상프레임,
    Figure pat00039
    는 업데이트율)
  16. 제 15 항에 있어서,
    상기 움직임 벡터 누적 맵을 제1 문턱값과 비교하여 큰 부분이 있는 경우에 상기 N번째 영상프레임(
    Figure pat00040
    )이 상기 배경영상 누적 맵에 업데이트되는 것을 특징으로 하는 전처리 수단을 이용한 동영상 전송시스템.
  17. 제 13 항에 있어서, 상기 차분영상 생성기에서,
    상기 차분영상은 하기 수학식에 의하여 생성되는 것을 특징으로 하는 전처리 수단을 이용한 동영상 전송시스템.
    Figure pat00041

    (여기에서, N은 자연수,
    Figure pat00042
    는 차분영상,
    Figure pat00043
    는 N번째 영상프레임,
    Figure pat00044
    는 (N-1)번째 영상프레임까지 업데이트된 배경영상 누적 맵)
  18. 제 13 항에 있어서, 상기 움직임영역 결정기는,
    상기 차분영상의 히스토그램을 이용하여 누적분포함수를 생성한 후 상기 누적분포함수에서 소정의 제2 문턱값보다 큰 영역과, 상기 움직임 벡터 누적 맵에 대응되는 영역을 상기 움직임영역으로 결정하는 것을 특징으로 하는 전처리 수단을 이용한 동영상 전송시스템.
  19. 제 12 항에 있어서, 상기 필터링부는,
    상기 관심영역은 이차원 고주파 필터링을 통해 원영상보다 선명히 하고, 상기 비관심영역은 이차원 저주파 필터링을 통해 상기 원영상보다 흐릿하게 하는 단계인 것을 특징으로 하는 전처리 수단을 이용한 동영상 전송시스템.
  20. 제 12 항에 있어서, 상기 보정부는,
    상기 결합된 관심영역과 비관심영역의 경계를 복수의 경계부분으로 나누고, 상기 복수의 경계부분에 가중치를 적용하여 각 경계부분내의 화소 값을 보정하되,
    상기 관심영역에 가까운 경계부분은 상기 관심영역의 화소 값에 가깝도록 가중치를 적용하고, 상기 비관심영역에 가까운 경계부분은 상기 비관심영역의 화소 값에 가깝도록 가중치를 적용하여 보정하는 것을 특징으로 하는 전처리 수단을 이용한 동영상 전송시스템.
KR1020100082998A 2010-08-26 2010-08-26 전송될 동영상의 전처리 방법 및 이를 이용한 동영상 전송시스템. KR20120019662A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100082998A KR20120019662A (ko) 2010-08-26 2010-08-26 전송될 동영상의 전처리 방법 및 이를 이용한 동영상 전송시스템.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100082998A KR20120019662A (ko) 2010-08-26 2010-08-26 전송될 동영상의 전처리 방법 및 이를 이용한 동영상 전송시스템.

Publications (1)

Publication Number Publication Date
KR20120019662A true KR20120019662A (ko) 2012-03-07

Family

ID=46128497

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100082998A KR20120019662A (ko) 2010-08-26 2010-08-26 전송될 동영상의 전처리 방법 및 이를 이용한 동영상 전송시스템.

Country Status (1)

Country Link
KR (1) KR20120019662A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101673879B1 (ko) * 2015-06-30 2016-11-08 주식회사 아이디스 영상 분석 기반의 인코딩 장치 및 방법
US10250888B2 (en) 2015-10-08 2019-04-02 Samsung Electronics Co., Ltd. Electronic device configured to non-uniformly encode/decode image data according to display shape
KR102297262B1 (ko) * 2020-07-16 2021-09-03 한국과학기술연구원 하이브리드 해상도를 가진 영상 데이터 전송 방법 및 이를 이용한 하이브리드 해상도 영상 생성 방법
WO2022241758A1 (en) * 2021-05-21 2022-11-24 Qualcomm Incorporated Face detection based filtering for image processing

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101673879B1 (ko) * 2015-06-30 2016-11-08 주식회사 아이디스 영상 분석 기반의 인코딩 장치 및 방법
US10250888B2 (en) 2015-10-08 2019-04-02 Samsung Electronics Co., Ltd. Electronic device configured to non-uniformly encode/decode image data according to display shape
KR102297262B1 (ko) * 2020-07-16 2021-09-03 한국과학기술연구원 하이브리드 해상도를 가진 영상 데이터 전송 방법 및 이를 이용한 하이브리드 해상도 영상 생성 방법
WO2022241758A1 (en) * 2021-05-21 2022-11-24 Qualcomm Incorporated Face detection based filtering for image processing

Similar Documents

Publication Publication Date Title
Zhai et al. A low complexity motion compensated frame interpolation method
US8351513B2 (en) Intelligent video signal encoding utilizing regions of interest information
JP5969389B2 (ja) オブジェクト認識ビデオ符号化ストラテジ
US8983175B2 (en) Video processing method and device for depth extraction
US20140321561A1 (en) System and method for depth based adaptive streaming of video information
JPH07203435A (ja) 歪んだ図形情報の強調方法及び装置
EP2727344B1 (en) Frame encoding selection based on frame similarities and visual quality and interests
WO2004049243A1 (en) Method and apparatus for measuring quality of compressed video sequences without references
WO2012090181A1 (en) Depth map coding
KR20070026515A (ko) 동영상 부호화 방법 및 동영상 복호 방법
Sanchez et al. Rate control for lossless region of interest coding in HEVC intra-coding with applications to digital pathology images
KR20120019662A (ko) 전송될 동영상의 전처리 방법 및 이를 이용한 동영상 전송시스템.
JP2004023288A (ja) 動画像符号化のための前処理方式
CN102098516B (zh) 多视点视频解码端去块滤波方法
JP4528255B2 (ja) 映像復号装置および映像復号プログラム
Naccari et al. Perceptually optimized video compression
WO2019167546A1 (ja) 映像符号化装置及び映像符号化方法
Lim et al. Region-based adaptive bilateral filter in depth map coding
Qin et al. Quality Enhancement of Compressed 360-Degree Videos Using Viewport-based Deep Neural Networks
KR20100116520A (ko) 3차원 영상 시스템에서 3차원 영상 데이터 제공 시스템 및 방법
Lin et al. Recent developments in perceptual video coding
JP2014110509A (ja) 画像符号化装置及び画像符号化方法
Pham et al. Efficient region-of-interest based adaptive bit allocation for 3D-TV video transmission over networks
JP4891938B2 (ja) 圧縮符号化前置処理装置及び圧縮符号化前置処理プログラム
Aflaki et al. Depth-aware 3D video filtering targetting multiview video plus depth compression

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E601 Decision to refuse application