KR20120059214A

KR20120059214A - 적응적 관심 영역을 적용한 비디오 스트리밍을 제공하는 비디오 코덱 장치 및 그 방법

Info

Publication number: KR20120059214A
Application number: KR1020100120868A
Authority: KR
Inventors: 유혁; 이정환
Original assignee: 고려대학교 산학협력단
Priority date: 2010-11-30
Filing date: 2010-11-30
Publication date: 2012-06-08

Abstract

본 발명은 비디오 코덱 장치 및 그 방법에 관한 것이다. 비디오 코덱 장치는 H.264/SVC(Scalable Video Coding) 기반의 비디오 인코더와, 대역폭, 지연 시간 등의 네트워크 환경과 사용자의 관심 영역을 고려하여 계층화 정보를 추출하는 스케일러블 관심 영역(Scalable Region of Interest : SROI) 알고리즘을 구비하는 스케일러블 관심 영역 추출기(Scalable ROI Extractor)를 포함한다. SROI 추출기는 단일 채널에 대한 동일한 전송율에서 추출 계층과, 관심 영역의 범위를 차별화하여 설정한다. 또 스케일러블 관심 영역을 적용하기 위해서 계층적 확장성에서 공간적 영역을 추출하는 기능이 필요하다. 이를 위하여, 인코딩 과정에서의 품질적 확장성 레벨과, 관심 영역에 대응하는 블록들에 대한 정보를 저장한다. 이렇게 저장된 정보를 주기적으로 전송하여 관심 영역의 범위를 재조정한다. 그 후 SROI 추출기에서 대역폭과 품질적 확장성 레벨을 이용하여 SROI 알고리즘에 의해 추출할 관심 영역의 범위와 품질적 레벨을 선택한다. 본 발명에 의하면, 하나의 영상을 사용자 관심도에 따라 영역별로 분류 및 추출하여 전송함으로써, 계산 복잡도가 높지 않으며, 관심도에 따라서 주관적인 화질을 제공하는 효과를 얻을 수 있다.

Description

적응적 관심 영역을 적용한 비디오 스트리밍을 제공하는 비디오 코덱 장치 및 그 방법{VIDEO CODEC APPARATUS FOR PROVIDING VIDEO STREAMING WITH ADAPTIVE REGIONS OF INTEREST AND METHOD OF THE SAME}

본 발명은 비디오 코덱 장치에 관한 것으로, 좀 더 구체적으로 다중 채널을 이용하기 위하여, 네트워크 환경에 따른 적응적 관심 영역을 적용한 비디오 스트리밍을 제공하기 위한 계층적 비디오 코덱 장치 및 그 방법에 관한 것이다.

비디오 소스와 다양한 수신 기기들 사이에는 다양한 형태의 네트워크 인터페이스가 제공된다. 다양한 네트워크 인터페이스에서의 비디오 스트리밍은 네트워크 환경 예를 들어, 대역폭(bandwidth), 지연(delay) 등에 따라 비디오 스트리밍이 끊기거나 화면 왜곡 현상 등이 발생된다. 이러한 현상을 줄이기 위해, 네트워크 환경에 적응적으로 동작하기 위한 네트워크에 관한 연구와, 패킷 손실과 지연(delay)에 따른 영향을 최소화하기 위한 비디오 코덱 연구가 진행되고 있다.

이 두 가지 파트에 관한 연구를 반영한 비디오 코덱이 네트워크 친화적인 H.264/SVC(Scalable Video Coding)이다. 이는 가변적인 네트워크 환경(bandwidth, delay)에 적용하기 위한 가변적인 비디오 코덱에 대한 요구 사항이 커짐에 따라, ITU-T Video Coding Experts Group(VCEG)의 Joint Video Team(JVT)와 ISO/IEC Moving Picture Experts Group(MPEG)에서 향상된 네트워크 친화력과 압축 효율성을 위하여 MPEG-4와 H.263에서 특정 프로파일에서 적용하였던 스케일러블 비디오 코딩(Scalable Video Coding) 기법을 H.264/AVC를 기반으로 하여 표준화를 진행하였고, 2007년 7월 H.264/SVC 표준안을 완성하였다.

이러한 스케일러블 비디오 코딩(SVC)은 H.264/AVC를 기반으로 하는 비디오 전송 방식으로, 다양한 전송 네트워크와 다양한 수신 기기에 적응적 서비스가 가능하도록 하는 비디오 부호화 방법이다.

스케일러블 비디오 코딩(H.264/SVC)은 계층적 비디오 코딩(Layered Video Coding) 기법을 사용하여 H.264/AVC 또는 향상된 비디오 코딩(AVC) 기법에 비해 약 10 ~ 15 %의 낮은 압축 효율을 나타내면서도 화면의 크기, 프레임 레이트(frame rate) 그리고 화질에 대한 세 가지 부분 즉, 공간적(spatial), 시간적(temporal) 및 품질적(quality)의 확장성(scalability)을 지원한다. 이렇게 인코딩된 H.264/SVC는 대역폭과 비디오 콘텐츠의 특성에 따라 선택적으로 전송이 가능하다.

또 스케일러블 비디오 코딩은 계층적 비디오 코딩 방식으로 기본 계층(base layer)과 향상 계층(enhancement layer)을 합하여 사용자에게 전송되는 방식이다. 이러한 방식은 한번의 인코딩만으로도 사용자 네트워크 환경에 따라 계층을 달리하여 비디오 스트리밍이 이루어짐으로써, 네트워크 상황에 따라 유연하게 대처할 수 있다는 장점이 있다. 또한 스케일러블 비디오 코딩은 계층별로 다른 우선 순위를 두고 전송함으로써 네트워크 환경에 따른 패킷 손실과 지연에 대처할 수 있다.

그러나 스케일러블 비디오 코딩은 사용자의 객관적인 화질에만 초점을 맞추어 인코딩 프로세스가 진행되며, 네트워크에 적응적으로 동작하기 위해 존재하는 계층 추출 프로세스 또한 객관적 화질을 기반으로 설계되어 있다.

관심 영역(Region Of Interest : ROI) 코딩에 관한 기술은 다양하지만 그 목적은 높은 화질의 관심 영역과, 관심 영역에 비해 낮은 화질의 비관심 영역을 배경 부분으로 지정하는데 있다. 이는 동일한 화면에서 사용자의 주관적인 관점 때문에 중요 영역과 그렇지 않은 영역으로 구분되는데, 관심 영역이란 사용자의 주관적인 관점에 따른 중요 영역을 의미한다. 예를 들어 고속 도로 감시 카메라 시스템에서는 자동차들이 관심 영역이지만, 주변의 나무들과 도로는 관심 영역이 아니다. 따라서 ROI 기법을 이용하기 위해서는 영역을 관심 영역과 비관심 영역으로 구분, 설정하고, 설정한 관심 영역의 영상 품질을 높이며, 관심 영역과 비 관심영역의 매크로 블럭에 대한 경계부분을 처리해야 하는 등의 과제가 발생된다.

관심 영역(ROI)를 적용하는 방법에는 크게 두 가지 방법이 존재한다. 첫 번째로 수동적인 방법은 인코딩 시에 미리 정의 되어 있는 영역을 환경에 변화에 상관없이 관심 영역으로 설정하는 것이다. 이 방법의 예로는 화면 전체가 고정되어 있는 CCTV의 경우와 같이, 사용자가 화면의 특정 부분을 원할 때 이용된다. 이 방법은 인코딩 전 단계에서 미리 정의해 둔 특정 위치만을 인코딩한다.

두 번째로 능동적인 방법은 관심 영역(ROI)이 지정되어 있는 것이 아니라, 환경이나 콘텐트에 따라 변할 수 있다. 이런 방법으로는 움직임 벡터(Motion Vector : MV)을 이용하여 벡터값이 큰 부분을 관심 영역으로 지정하는 방법과, 움직임 예측 단계에서 전, 후 프레임들 간 움직임의 차이값에 따라서 설정하는 방법, FMO(Flexible Macroblock Ordering)을 통해 영역을 분할하는 방법 등이 있다. 또한 관심 영역의 화질 개선을 위해 인코딩 단계에서 양자화 계수(Quantization Parameter : QP)의 수치를 조절하는 방법, 웨이블릿(Wavelet) 변환 단계에서 HH(High-High) 필터를 통과하게 하여 화질을 개선시키는 방법 등이 있다. 이러한 관심 영역(ROI) 기법을 이용하여 네트워크 환경과 사용자 기기 간의 네트워크 인터페이스별로 능동적인 전송이 가능하다. 그러나 이 방법은 관심 영역을 지정하는 단계와, 관심 영역과 비관심 영역을 인코딩하는 과정에서 계산 복잡도가 증가한다는 단점이 있다.

본 발명의 목적은 네트워크 환경에 가변적인 비디오 스트리밍을 제공하기 위한 비디오 코덱 장치 및 그 방법을 제공하는 것이다.

본 발명의 다른 목적은 적응적 관심 영역을 적용한 비디오 스트리밍을 제공하는 비디오 코덱 장치 및 그 방법을 제공하는 것이다.

본 발명의 또 다른 목적은 주관적인 화질을 개선하기 위한 비디오 코덱 장치 및 그 방법을 제공하는 것이다.

본 발명의 또 다른 목적은 관심 영역을 설정하여 비디오 코딩 시의 계산을 단순화하는 비디오 코덱 장치 및 그 방법을 제공하는 것이다.

상기 목적들을 달성하기 위한, 본 발명의 비디오 코덱 장치는 적응적 관심 영역을 적용하기 위한 스케일러블 관심 영역 알고리즘을 구비하는데 그 한 특징이 있다. 이와 같은 비디오 코덱 장치는 주관적인 화질의 개선 효과를 얻을 수 있다.

이 특징에 따른 본 발명의 비디오 코덱 장치는, 다중 채널을 이용하여 비디오 데이터를 전송한다. 이를 위해 비디오 코덱 장치는, 비디오 데이터의 전체 화면에서 관심 영역을 설정하여 인코딩하는 인코더 및; 상기 인코더로부터 인코딩된 상기 비디오 데이터를 받아서 상기 다중 채널의 네트워크 환경에 대응하여 적어도 하나의 계층을 추출하고, 추출된 상기 계층에 대해 상기 관심 영역의 범위와 상기 관심 영역의 확장성 레벨을 선택하여 상기 다중 채널중 하나의 단일 채널로 전송하는 스케일러블 관심 영역 추출기를 포함한다.

한 실시예에 있어서, 상기 스케일러블 관심 영역 추출기는 비트스트림 추출기로 제공된다. 상기 스케일러블 관심 영역 추출기는 내부에 상기 네트워크 환경에 대응하여 상기 계층을 추출하는 스케일러블 관심 영역 알고리즘을 구비한다.

다른 실시예에 있어서, 상기 스케일러블 관심 영역 추출기는 상기 스케일러블 관심 영역 알고리즘을 이용하여 상기 네트워크 환경 중 상기 단일 채널에 대한 대역폭을 판별하여 상기 계층을 재추출한다.

또 다른 실시예에 있어서, 상기 스케일러블 관심 영역 추출기는; 상기 스케일러블 관심 영역 알고리즘을 이용하여 상기 대역폭에 따른 동일한 전송율에서도 상기 계층을 다르게 추출한다. 따라서 상기 스케일러블 관심 영역 추출기는 상기 다르게 추출된 계층에 대응하여 상기 관심 영역의 범위와 상기 확장성 레벨을 선택한다.

또 다른 실시예에 있어서, 상기 인코더는 H.264/SVC 규격 기반의 인코더로 구비된다.

본 발명의 다른 특징에 따르면, 다중 네트워크 인터페이스를 지원하는 비디오 코덱 장치에서 하나의 비디오 데이터에 적응적 관심 영역을 적용하여 비디오 스트리밍을 제공하는 방법이 제공된다. 이 방법에 의하면, 하나의 영상을 사용자 관심도에 따라 영역별로 분류 및 추출하여 전송함으로써, 계산 복잡도가 높지 않으며, 이렇게 추출된 영상은 관심도에 따라서 주관적인 화질의 향상을 얻을 수 있다.

이 특징에 따른 상기 방법은, 상기 비디오 데이터의 전체 화면에서 관심 영역과 비관심 영역을 설정한다. 상기 관심 영역 및 상기 비관심 영역에 대한 매크로 블럭들을 단계별로 나누어 정렬한다. 확장성 레벨을 선택하여 상기 비디오 데이터를 인코딩한다. 상기 인코딩된 비디오 데이터로부터 네트워크 환경에 따라 상기 확장성 레벨과 상기 관심 영역의 범위에 대응하는 적어도 하나의 계층을 추출한다. 상기 추출된 계층의 상기 확장성 레벨 및 상기 관심 영역에 따른 매크로 블럭들에 대한 정보를 저장한다. 이어서 상기 다중 네트워크 인터페이스의 하나의 단일 채널로 상기 추출된 계층에 따른 비디오 데이터를 전송한다.

한 실시예에 있어서, 상기 방법은; 상기 비디오 데이터를 전송하는 중 상기 단일 채널의 네트워크 환경을 주기적으로 판별하는 것을 더 포함한다.

다른 실시예에 있어서, 상기 방법은; 상기 판별 결과, 상기 네트워크 환경이 변경되면, 상기 계층을 재추출하고, 상기 재추출된 계층의 상기 확장성 레벨 및 상기 관심 영역에 따른 매크로 블럭들에 대한 정보를 저장하는 것을 더 포함한다.

또 다른 실시예에 있어서, 상기 방법은 H.264/SVC의 규격을 기반으로 처리된다.

또 다른 실시예에 있어서, 상기 확장성 레벨을 선택하는 것은; 상기 표준안에 의한 공간적, 시간적 및 품질적 확장성 중 어느 하나에 대한 레벨을 선택한다.

상술한 바와 같이, 본 발명의 비디오 코덱 장치는 사용자의 관심도에 따른 적응적 관심 영역을 적용하여 인코딩함으로써, 한번의 인코딩을 통한 다양한 네트워크 환경의 다양한 수신 기기들로 전송이 가능하다. 또한 세 가지 확장성을 이용하여 적응적으로 전송이 가능하다.

또 본 발명의 비디오 코덱 장치는 하나의 영상을 사용자 관심도에 따라 영역별로 분류 및 추출하여 전송함으로써, 계산 복잡도가 높지 않으며, 이렇게 추출된 영상은 관심도에 따라서 다른 품질적 단계를 갖으므로 주관적인 화질의 향상을 얻을 수 있다. 이러한 영상은 상대적으로 화면의 크기가 작은 휴대용 장치로 비디오 데이터 전송 시 제한된 대역폭에서도 주관적 화질 개선을 할 수 있다.

또한 본 발명의 비디오 코덱 장치는 움직임이 적은 감시 카메라에 적용하는 경우, 움직임 벡터(Motion Vector)를 이용한 관심 영역 추출 기법과 스케일러블 관심 영역(Scalable ROI) 기법을 이용하면, 영역별 다른 품질로 인해 저장 용량 및 전송량을 줄일 수 있다.

결과적으로 본 발명의 비디오 코덱 장치는 한 화면 안에서도 다른 품질 서비스를 제공함으로써, 기존의 H.264/SVC가 가지는 장점과 사용자가 느끼는 주관적 화질을 높이는 효과를 얻을 수 있다.

도 1은 본 발명에 따른 다중 채널을 이용한 비디오 스트리밍 전송 시스템의 개략적인 구성을 도시한 블럭도;
도 2는 도 1에 도시된비디오 코덱 장치의 구성을 도시한 블럭도;
도 3은 도 2에 도시된 비디오 코덱 장치의 일 실시예에 따른 관심 영역 지정을 설명하기 위한 도면;
도 4는 도 3에 도시된 관심 영역의 다중 채널별 전송 구조를 나타내는 도면; 그리고
도 5는 본 발명에 따른 적응적 관심 영역을 적용하여 비디오 스트리밍을 제공하는 수순을 도시한 흐름도이다.

본 발명의 실시예는 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 서술하는 실시예로 인해 한정되어지는 것으로 해석되어서는 안된다. 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서 도면에서의 구성 요소의 형상 등은 보다 명확한 설명을 강조하기 위해서 과장되어진 것이다.

이하 첨부된 도 1 내지 도 5를 참조하여 본 발명의 실시예를 상세히 설명한다.

도 1은 본 발명에 따른 다중 채널을 이용한 비디오 스트리밍 전송 시스템의 개략적인 구성을 도시한 블럭도이다.

도 1을 참조하면, 비디오 스트리밍 전송 시스템(2)은 다중 네트워크 인터페이스 즉, 다중 채널을 이용하여 비디오 코덱 장치(100)로부터 각각의 수신 기기(10 ~ 30)로 더 높은 화질의 비디오 데이터를 제공한다. 이를 위해 비디오 코덱 장치(100)는 스케일러블 확장성(scalable extention) 기법에 적응적 관심 영역(adaptive region of interest)을 적용한다.

수신 기기(10 ~ 30)들은 각각이 다양한 네트워크 인터페이스와 연결되고, 서로 다른 디스플레이 화면 크기를 갖는 장치들 예를 들어, 핸드폰, 스마트폰 등과 같은 휴대폰(10), 개인정보 단말기(PDA), 휴대용 멀티미디어 재생 장치(PMP) 등과 같은 휴대용 단말기(20) 및 노트북, 퍼스널 컴퓨터 등과 같은 컴퓨터(30) 등을 포함한다.

비디오 코덱 장치(100)는 각각의 수신 기기(10 ~ 30)에 대한 네트워크 환경을 검출하여 비디오 데이터의 우선 순위를 선정한 후, 해당 수신 기기(10 ~ 30)에 적합한 비디오 스트리밍을 전송한다. 즉, 비디오 코덱 장치(100)는 한번의 비디오 데이터를 인코딩하고, 각각의 수신 기기(10 ~ 30)에 대한 네트워크 환경에 적합한 비디오 데이터를 추출하여 해당 수신 기기(10 ~ 30)로 전송한다. 여기서 네트워크 환경은 단일 채널들 각각에 대한 대역폭(bandwidth), 지연 시간(delay) 등을 포함한다. 비디오 코덱 장치(100)에 대한 구체적인 내용은 도 2 내지 도 4에서 상세히 설명한다.

따라서 본 발명의 비디오 스트리밍 전송 시스템(2)은 일부 네트워크 채널에 혼잡이 발생한 상황에서도 최소한의 대역폭만 보장되면, 비디오 데이터의 중요 영역을 끊김없이 재생할 수 있다.

구체적으로, 비디오 코덱 장치(100)는 도 2에 도시된 바와 같이, H.264/SVC 기반의 인코더(이하 SVC 인코더라 한다)와(110), SVC 인코더(110)로부터 인코딩된 비디오 데이터를 받아서 네트워크 환경과 수신 기기(10 ~ 30)들에 대응하여 적절한 계층을 추출하는 스케일러블 관심 영역 추출기(Scalable ROI extractor : SROI 추출기)(120)를 포함한다. 또 비디오 코덱 장치(100)는 다중 채널들 중 하나의 단일 채널으로 비디오 데이터를 전송하도록 선택하는 채널 선택기(130)를 더 포함할 수 있다.

SVC 인코더(110)는 다양한 네트워크 채널과 다양한 수신 기기(10 ~ 30)에 적응적 서비스가 가능하도록 비디오 데이터를 부호화한다. SVC 인코더(110)는 비디오 데이터 인코딩 시, 공간적(spatial), 시간적(temporal) 및 품질적(quility) 확장성(scalability)을 지원하고, 비디오 데이터를 기본 계층(base layer)와 향상 계층(enhancement layer)으로 구분하여 인코딩한다. 따라서 SVC 인코더(110)는 계층(layer)들 중 네트워크 채널과 수신 기기(10 ~ 30)에 적합한 계층을 선택적으로 전송함으로써, 한 번의 인코딩 만으로도 적응적 비디오 데이터 전송이 가능하다. 또 SVC 인코더(110)는 전체 화면의 영역에서 특정한 영역을 관심 영역으로 설정하고, 관심 영역과 비관심 영역에 따라 서로 다른 확장성 레벨을 선택하여 비디오 데이터를 인코딩한다. 이를 위해 SVC 인코더(110)는 인터(inter) 및 인트라(intra) 프레임들 간을 참조하여 영상을 복원하기 때문에, 관심 영역(ROI)의 독립적인 계층을 설정하고, 화면의 움직임 영역별 우선 순위를 고려하여 화면에 적응적 관심 영역 기법을 적용한다.

스캐일러블 관심 영역(SROI) 추출기(120)는 각 단일 채널에 대응하여 서로 다른 비트스트림을 추출하는 비트스트림 추출기(bitstream extractor)로서, 적응적 관심 영역을 적용하여 비디오 데이터를 전송하기 위한 스케일러블 관심 영역(Scalable ROI : SROI) 알고리즘(122)을 구비한다. SROI 알고리즘(122)은 H.264/SVC의 계층적 비디오 코딩(layered video coding)을 이용하여 네트워크 환경에 따른 계층별 품질적 확장성을 관심 영역에 적용한다. 따라서 스케일러블 관심 영역 추출기(120)는 SVC 인코더(110)로부터 복수 개의 계층들로 구분하여 인코딩된 비디오 데이터를 받아들여서 SROI 알고리즘(122)을 통해 각 단일 채널의 특성(예를 들어, 대역폭, 지연 시간 등)을 판별하고, 판별된 단일 채널에 따라 계층들을 다르게 추출하여 전송한다.

그리고 채널 선택기(130)는 SVC 인코더(110)의 인코딩 과정에서 얻은 정보와 SROI 추출기(120)에서 얻은 정보를 이용하여 채널 특성을 판별하고, 판별된 하나의 단일 채널을 선택하여 비디오 데이터를 전송한다.

구체적으로, SROI 추출기(120)는 네트워크 환경에 따른 계층별 품질적 확장성을 관심 영역에 적용하기 위하여, 사용자의 네트워크 환경에 적합한 대역폭(bw)(예를 들어, 비트율)으로 비디오 데이터의 계층과, 관심 영역의 범위를 추출하여 전송한다. 이 때, SROI 알고리즘(122)은 동일한 대역폭으로 전송되는 비디오 데이터의 관심 영역과 비관심 영역 간의 계층 차이를 발생시켜며, 이에 따라 두 영역들 간에는 주관적 화질 차이가 나타난다.

따라서 SROI 알고리즘(122)을 구현하기 위해서는, SCV 인코더(110)는 도 3에 도시된 바와 같이, 우선, 전체 화면(200)에서 관심 영역(210)을 지정한다. 예를 들어, 우선 순위가 가장 높은 관심 영역(210)을 화면의 중앙 부분으로 설정하고, 화면의 중앙 부분으로부터 가장자리 부분으로 가면서 비관심영역(220, 230)으로 설정한다. 이는 수신 기기(10 ~ 30)들 중 비교적 화면의 크기가 작은 스마트 장치(smart device)에 적합하다. 이 때, 중앙 부분의 관심 영역(210)은 고품질을 가지며, 가장자리 부분으로 갈수록 비관심 영역(220, 230)은 저품질을 가진다.

그 다음 단계로 관심 영역(210) 및 비관심 영역(220, 230)에 대한 각 매크로 블럭(Macro Block : MB)들의 정렬을 위해, FMO(Flexible Macro Ordering)의 박스아웃(Box-Out) 기법을 이용하고, 관심 영역(210)은 단계별로 나누어 계산된다.

SVC 인코더(110)에서는 같은 비트율로 전송 하더라도 확장성 종류에 따라 상호 교환 관계에 있다. 이에 따라 사용자는 세 가지 확장성 중에서 선택적으로 우선 순위를 두어 비디오 데이터를 전송 받을 수 있고, 이를 위해서 인코딩 다음 과정으로 계층별 추출기인 SROI 추출기(120)가 필요하다. SROI 추출기(120)는 SROI 알고리듬(122)을 적용하여 같은 비트율에서도 추출 계층과 관심 영역의 범위를 차별화하여 설정한다. 또한 스케일러블 관심 영역(Scalable ROI)를 적용하기 위해서는 계층적 확장성 안에서의 공간적 영역을 추출하는 기능이 필요하다. 이를 위하여 인코딩 과정에서의 품질적 확장성 레벨과, 관심 영역에 해당하는 블록에 대한 정보를 패킷의 PPS(PictureParameter Set)에 저장한다. 이렇게 저장된 블록 정보를 주기적으로 PPS 전송을 통하여 관심 영역의 범위를 재조정한다. 이 때, 에러 발생에 대처하기 위해 FEC(Forward Error Correction) 기법을 영역별로 적용한다. 그 후 SROI 추출기(120)에서 대역폭(bw)과 품질적 확장성 레벨을 이용하여 SROI 알고리즘(122)에 따라 추출할 관심 영역의 범위와 품질적 레벨을 선택한다.

여기서 SROI 알고리즘(122)에 의한 대역폭을 계산하는 방법은 다음의 알고리즘으로 처리된다.

이 알고리즘은 N 개의 계층 대역폭을 계산하는 방법으로, 각 심볼들은 표 1과 같이 정의된다.

Symbol	의 미
BW	대역폭 (Bandwidth)
RC	신뢰성이 높은 채널 (Reliable Channel)
EC	신뢰성이 낮은 채널 (Error-pron Channel)
SizeD	포기 할 수 있는 데이터의 크기 (Size of Discardable Data)
SizeUD	포기 할 수 없는 데이터의 크기 (Size of Undiscardable Data)
NeededBwD	포기 할 수 있는 데이터가 신뢰성이 낮은 채널로 전송 될 때 필요한 대역폭(Needed Bandwidth for Discardable data to Transmit over Error-prone Channel)
NeededBwUD	포기 할 수 없는 데이터가 신뢰성이 낮은 채널로 전송 될 때 필요한 대역폭(Needed Bandwidth for Undiscardable data to Transmit over Error-prone Channel)
N	신뢰성이 높은 채널의 수 (Number of Reliable Channels)
M	신뢰성이 낮은 채널의 수 (Number of Error-prone Channels)

여기서, 스케일러블 ROI 추출기(120)는 단일 채널들 각각으로 테스트 패킷(더미 패킷)을 전송하고, 이에 응답해서 수신 기기(10 ~ 30)들 각각으로부터 전송되는 신호를 받아서, 각 단일 채널의 대역폭(bw)을 계산한다. 이러한 대역폭의 계산은 네트워크 환경에 따라 다른 품질의 비디오 데이터를 전송하기 위하여, 스케일러블 ROI 추출기(120)에서 주기적으로 측정한다.

또 SROI 알고리즘(122)은 관심 영역을 적용하기 위하여, 다음의 수학식 1 내지 수학식 4을 이용한다. 이 SROI 알고리즘(112)에서 각 심볼들은 다음의 표 2와 같이 정의된다.

symbol	의 미
Bw()	대역폭(Bandwidth)
Sr()	Scalable ROI 함수
F()	Quality Flag의 수
Total()	Encoding data 전체의 Quality Scalability
Extractor()	Sr()에 의해 추출된 Quality Scalability
n ~ m	Sr_Base Layer
l ~ j	Sr_Enhancement Layer

먼저, 전체 대역폭 Bw()은 기본 계층과, 스케일러블 ROI 함수 Sr()이 적용되지 않는 하위 계층과, 함수 Sr()이 적용되는 상위 계층의 전체 데이터의 합을 넘지 않는다. 즉, 수학식 1에서 우변의 첫 번째 항은 기본 계층에 대한 대역폭을 의미하고, 두 번째 항은 향상 계층에 대한 대역폭을 의미한다.

또 수학식 1 내지 수학식 4에서의 n ~ m는 기존 기본 계층과 낮은 수준의 향상 계층에서 함수 Sr()의 적용하지 않은 계층까지의 품질적 레벨의 범위를 의미한다. 변수 l ~ j는 함수 Sr()이 적용된 상위 계층의 범위를 의미한다. 따라서 j + 1의 계층은 최상위 계층을 의미한다. C는 선택된 계층의 품질적 구분 계수로써, 기본 계층과 함수 Sr()이 적용되지 않은 계층에 대해서는 계층별 MGS(Medium Gain Scalable) 품질 구분 정도의 최대값을 가지며, c는 함수 Sr()이 적용된 영역에 MGS 품질 구분에 따라 다른 값을 가지며, 그에 대한 계산은 아래의 수식식 1 내지 수학식 4에 의해 계산된다.

여기서 Sr_id()는 하나의 계층에 대한 함수로, 확장성 계층과 전체 화면에서 관심 영역의 화면의 크기에 따라 다르게 계산된다. f()는 품질적 확장성을 위한 것으로, MGS 품질(quality)에 의해 구별된 품질 플래그(quality flag)의 값을 의미한다. 따라서 f()는 관심 영역 추출시, 전체 화면에서 관심 영역의 위치와는 무관하며, 영역의 크기에 따라 값을 달리한다.

Sr0_id()는 도 4의 (a)와 같은 관심 영역을 적용하지 않은 계층에 대한 함수로, 대역폭에 대응하여 전체 화면에서 관심 영역을 추출하려 하지만, 품질 플래그 값이 추출 후 영상이 개선되는 최소값에 미치지 못하기 때문에, 스케일러블 관심 영역(Scalable ROI) 방법을 적용하지 못한다. 여기서 최소값은 품질 플래그 값이 관심 영역을 설정할 필요가 없는 크기를 의미한다.

그리고 Sr1_id()와, Sr2_id() 각각은 도 4의 (b) 및 (c)의 경우와 같이, 관심 영역을 적용한 계층(Q1 ~ Q4)에 대한 함수로, Sr1_id()은 전체 화면의 최상위 계층(Q4)까지 품질 플래그 값이 최대로 적용된 경우이다. 이 때, j는 스케일러블 관심 영역(Scalable ROI)을 적용한 상위 계층이다. 따라서 j = m - (n - 1)의 값을 갖는다. 또한 전체 화면에서 품질 플래그 값을 최대로 가졌던 계층은 j 값에 따라 적층된 계층의 수와, 계층별로 그 품질 플래그 값이 달라지기 때문에 화면의 크기가 달라진다. Sr2_id()는 전체 화면에서는 품질 플래그 값이 최대값의 절반 이상의 경우를 대상으로 하고 있다. 스케일러블 관심 영역(Scalable ROI)은 대역폭의 크기와, 전체 화면의 품질 플래그 값에 따라 화면의 크기가 다르게 적용된다. 따라서 Sr_id()가 적용되는 계층과, 최상위 계층은 품질 플래그 값과 j 값에 따라서 관심 영역의 크기가 달라진다. 그러나 스케일러블 관심 영역(Scalable ROI)이 적용된 계층들(Q1 ~ Q4) 간에는 상위 계층이 하위 계층보다 그 크기가 클 수 없다.

본 발명에서는 동일한 비트율에서도 추출 계층과 관심 영역의 범위가 차별화된다. 또한 스케일러블 관심 영역을 적용하기 위해서는 계층적 확장성 안에서의 공간적 영역을 추출하는 기능이 필요하다. 이를 위해 인코딩 과정에서의 품질적 확장성 레벨과 관심 영역에 해당하는 블럭에 대한 정보를 비디오 스트림의 헤더 예를 들어, PPS(Picture Parameter Set)에 저장한다.

그 후, SROI 추출기(120)에서는 각 채널의 대역폭에 대응하여 스케일러블 ROI 알고리즘(122)에 따라 추출한 관심 영역의 범위와 품질적 확장성 레벨을 선택한다.

따라서 본 발명의 비디오 코덱 장치(100)는 스케일러블 ROI 알고리즘(122)을 구비하는 스케일러블 관심 영역(SROI) 추출기(120)를 이용하여 네트워크 환경에 맞는 비트율(bit rate)로 계층과 관심 영역의 범위를 추출하여 전송한다. 이 때, 스케일러블 ROI 알고리즘(122)에 의해 관심 영역과 비관심 영역 간의 계층 차이가 발생하므로, 주관적 화질 차이가 나타난다.

계속해서 도 5는 본 발명에 따른 적응적 관심 영역을 적용하여 비디오 스트리밍을 제공하는 수순을 도시한 흐름도이다.

도 5를 참조하면, 단계 S300에서 SVC 인코더(110)는 전체 화면에서 관심 영역을 설정한다. 예를 들어, CCTV와 같은 경우, 관심 영역은 우선 순위에 따라 전체 화면의 중앙 부분에서 가장자리 부분으로 갈수록 비관심영역으로 설정한다. 이 때, 중앙 부분의 관심 영역은 가장자리 부분의 비관심 영역 보다 고품질을 가진다.

단계 S310에서 관심 영역과 비관심 영역에 대한 매크로 블럭(MB)을 정렬한다. 매크로 블럭(MB)들의 정렬을 위해, FMO(Flexible Macro Ordering)의 박스아웃(Box-Out) 기법을 이용하고, 관심 영역은 단계별로 나누어 계산된다.

단계 S320에서 확장성 레벨을 선택한다. 여기서는 품질적 확장성을 이용하여 적응적 관심 영역을 적용하고 있으나, 공간적 또는 시간적 확장성을 이용하여 적응적 관심 영역을 적용할 수 있음은 자명하다 하겠다. 단계 S330에서 선택된 품질적 확장성 레벨과 관심 영역의 범위에 대응하여 비디오 데이터를 인코딩한다.

단계 S340에서 SROI 추출기(120)는 SROI 알고리즘(122)을 이용하여 인코딩된 비디오 데이터로부터 네트워크 환경(예를 들어, 대역폭, 지연 시간 등)에 따라 품질적 확장성 레벨과 관심 영역의 범위에 대응하는 계층을 추출하고, 단계 S350에서 추출된 계층의 확장성 레벨 및 관심 영역에 따른 매크로 블럭들에 대한 정보를 패킷의 PPS(Picture Parameter Set)에 저장한다.

단계 S360에서 채널을 선택하고, 단계 S370에서 선택된 채널에 적합한 비디오 데이터를 전송한다. 이어서 단계 S380에서 비디오 스트리밍 중 해당 채널의 네트워크 환경에 대해 주기적으로 판별한다. 이 때, 네트워크 환경이 변경되면, 이 수순은 단계 S340으로 진행하여 계층을 재추출하고, 이에 따른 매크로 블럭(MB)들에 대한 정보를 PPS에 저장한다. 그 후, 단계 S350 내지 단계 S380의 수순들을 반복한다.

이상에서, 본 발명에 따른 비디오 코덱 장치의 구성 및 작용을 상세한 설명과 도면에 따라 도시하였지만, 이는 실시예를 들어 설명한 것에 불과하며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변화 및 변경이 가능하다.

2 : 비디오 스트림 전송 시스템 10 ~ 30 : 수신 기기
100 : 비디오 코덱 장치 110 : H.264/SVC 인코더
120 : 스케일러블 관심 영역 추출기 122 : 스케일러블 관심 영역 알고리즘
130 : 채널 선택기 200, W : 전체 화면
210 : 관심 영역 220, 230 : 비관심 영역
Q0 : 기본 계층 Q1 ~ Q4 : 향상 계층

Claims

다중 채널을 이용하여 비디오 데이터를 전송하는 비디오 코덱 장치에 있어서:
비디오 데이터의 전체 화면에서 관심 영역을 설정하고, 상기 관심 영역에 대응하여 서로 다른 확장성 레벨을 갖는 복수 개의 계층들로 구분하여 인코딩하는 인코더 및;
상기 인코더로부터 인코딩된 상기 비디오 데이터를 받아서 상기 다중 채널의 네트워크 환경에 대응하여 상기 관심 영역의 범위와 상기 관심 영역의 확장성 레벨을 선택하여 복수 개의 계층들을 추출하고, 추출된 상기 계층들을 상기 다중 채널 중 하나의 단일 채널로 전송하는 스케일러블 관심 영역(Scalable Region Of Interest : SROI) 추출기를 포함하는 것을 특징으로 하는 비디오 코덱 장치.
제 1 항에 있어서,
상기 스케일러블 관심 영역 추출기는;
상기 네트워크 환경에 대응하여 상기 계층들을 서로 다르게 추출하는 스케일러블 관심 영역 알고리즘을 구비하는 비트스트림 추출기로 제공되는 것을 특징으로 하는 비디오 코덱 장치.
제 2 항에 있어서,
상기 스케일러블 관심 영역 추출기는 상기 스케일러블 관심 영역 알고리즘을 이용하여 상기 네트워크 환경이 변경되면, 상기 단일 채널에 대한 채널 특성을 판별하여 상기 계층들을 재추출하는 것을 특징으로 하는 비디오 코덱 장치.
제 3 항에 있어서,
상기 채널 특성은 상기 단일 채널의 대역폭, 지연 시간 중 적어도 하나가 포함되는 것을 특징으로 하는 비디오 코덱 장치.
제 4 항에 있어서,
상기 스케일러블 관심 영역 추출기는;
상기 스케일러블 관심 영역 알고리즘을 이용하여 상기 대역폭이 동일한 전송율인 경우에도 서로 다른 상기 관심 영역의 범위와 상기 확장성 레벨에 대응하여 상기 계층을 다르게 추출하는 것을 특징으로 하는 비디오 코덱 장치.
제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 인코더는 H.264/SVC(Scalabe Video Coding) 규격 기반의 인코더로 구비되는 것을 특징으로 하는 비디오 코덱 장치.
다중 네트워크 인터페이스를 지원하는 비디오 코덱 장치에서 하나의 비디오 데이터에 적응적 관심 영역을 적용하여 비디오 스트리밍을 제공하는 방법에 있어서:
상기 비디오 데이터의 전체 화면에서 관심 영역과 비관심 영역을 설정하고;
상기 관심 영역 및 상기 비관심 영역에 대한 매크로 블럭들을 단계별로 나누어 정렬하고;
상기 관심 영역에 대응하여 서로 다른 확장성 레벨들을 갖는 복수 개의 계층들로 구분하여 상기 비디오 데이터를 인코딩하고;
상기 인코딩된 비디오 데이터로부터 네트워크 환경에 따라 상기 확장성 레벨들 중 하나의 확장성 레벨을 선택하여 상기 관심 영역의 범위에 대응하는 복수 개의 계층들을 추출하고;
상기 추출된 계층의 상기 확장성 레벨 및 상기 관심 영역에 따른 매크로 블럭들에 대한 정보를 저장하고; 이어서
상기 다중 네트워크 인터페이스의 하나의 단일 채널로 상기 추출된 계층에 따른 비디오 데이터를 전송하는 것을 특징으로 하는 적응적 관심 영역을 적용한 비디오 스트리밍 제공 방법.
제 7 항에 있어서,
상기 방법은;
상기 비디오 데이터를 전송하는 중 상기 단일 채널의 네트워크 환경을 주기적으로 판별하는 것을 더 포함하는 적응적 관심 영역을 적용한 비디오 스트리밍 제공 방법.
제 8 항에 있어서,
상기 방법은;
상기 판별 결과, 상기 네트워크 환경이 변경되면, 상기 계층을 재추출하고, 상기 재추출된 계층의 상기 확장성 레벨 및 상기 관심 영역에 따른 매크로 블럭들에 대한 정보를 저장하는 것을 더 포함하는 적응적 관심 영역을 적용한 비디오 스트리밍 제공 방법.
제 7 항 내지 제 9 항 중 어느 한 항에 있어서,
상기 방법은 H.264/SVC(Scalabe Video Coding)의 규격을 기반으로 처리되는 것을 특징으로 하는 적응적 관심 영역을 적용한 비디오 스트리밍 제공 방법.
제 10 항에 있어서,
상기 확장성 레벨을 선택하는 것은;
상기 H.264/SVC(Scalabe Video Coding)의 규격에 의한 공간적, 시간적 및 품질적 확장성 중 어느 하나에 대한 레벨을 선택하는 것을 특징으로 하는 적응적 관심 영역을 적용한 비디오 스트리밍 제공 방법.