KR20060050349A - 환형 영상의 참조 화소 보간 방법, 그 장치, 환형 영상부호화 방법, 그 장치 및 환형 영상 복호화 방법 및 그장치 - Google Patents

Abstract

본 발명에 따라 환형 영상의 참조 화소 보간 방법, 그 장치, 환형 영상 부호화 방법, 그 장치 및 환형 영상 복호화 방법 및 그 장치가 개시된다.

본 발명에 따른 환형 영상의 참조 화소를 보간하는 방법은, 상기 환형 영상의 왜곡 방향에 배열된 복수의 참조 화소를 선택하는 단계와, 상기 선택된 복수의 참조 화소의 값을 기초로 상기 보간하려는 대상 참조 화소의 값을 보간하는 단계를 포함한다. 이와 같은 본 발명에 의하면, 환형 영상의 왜곡 특성을 고려하여 환형 영상의 공간적 상관관계를 이용하여 보간을 수행함으로써 환형 영상의 화면간 예측을 효과적으로 수행할 수 있게 된다.

Description

환형 영상의 참조 화소 보간 방법, 그 장치, 환형 영상 부호화 방법, 그 장치 및 환형 영상 복호화 방법 및 그 장치{Method for interpolating a reference pixel in annular picture, apparatus therefore, annular picture encoding method, apparatus therefore, annular picture decoding method and apparatus therefore}

도 1은 환형 영상의 일 예,

도 2A 및 도 2B는 객체의 상하 운동에 따른 왜곡현상을 설명하기 위한 참고도,

도 3A 내지 도 3C는 정수 화소 및 부화소 예측을 설명하기 위한 참고도,

도 4는 종래기술에 따라 1/2 pel 참조 픽셀의 방향을 설명하기 위한 참고도,

도 5는 종래기술에 따라 1/4 pel 위치의 보간을 설명하기 위한 참고도,

도 6은 종래기술에 따라 환형 영상의 화면간 예측시 블로킹 현상을 설명하기 위한 참고도,

도 7은 본 발명에 따른 부호화/복호화 시스템의 개략도,

도 8은 본 발명에 따른 부호화 장치의 구체적인 블록도,

도 9는 도 8에 도시된 부호화 장치의 동작 흐름도,

도 10은 본 발명에 따른 복호화 장치의 구체적인 블록도,

도 11은 도 10에 도시된 복호화 장치의 동작 흐름도,

도 12A는 2차원 극좌표계,

도 12B는 점 P의 움직임에 따른 방향성을 나타내는 도면,

도 12C 및 도 12D는 2차원 평면의 수평 및 3차원 환형 영상에서의 원주율 곡선 개념도,

도 12E 및 도 12F는 2차원 평면의 수직 및 3차원 환형 영상에서의 각의 개념도,

도 13A는 환형 영상에서의 1사분면 방향성의 예,

도 13B는 도 13A에 도시된 왜곡에 따른 1/2 pel 보간시 참조화소의 위치를 나타내는 도면,

도 14A는 환형 영상에서의 2사분면 방향성의 예,

도 14B는 도 14A에 도시된 왜곡에 따른 1/2 pel 보간시 참조화소의 위치를 나타내는 도면,

도 15A는 환형 영상에서의 수평 방향의 방향성의 예,

도 15B는 도 15A에 도시된 왜곡에 따른 1/2 pel 보간시 참조화소의 위치를 나타내는 도면,

도 16A는 종래기술에 따른 H.264의 예측 결과, 도 16B는 본 발명을 적용한 H.264의 예측 결과.

본 발명은 환형 영상의 참조 화소 보간 방법, 그 장치, 환형 영상 부호화 방법, 그 장치, 환형 영상 복호화 방법 및 그 장치에 관한 것이다.

21세기에 접어들면서 하드웨어와 소프트웨어에 걸친 디지털 기술의 총체적인 발달로 각 통신매체가 독립적으로 영역을 지켜오던 시대를 지나 언제 어디서나 온라인 상이라면 서비스를 받을 수 있는 유비쿼터스(Ubiquitous)의 시대를 맞이하려 하고 있다. 유비쿼터스의 시대의 사용자들은 정보 취득 및 사용에 대하여 신체의 일부처럼 자연스럽게 사용하려 하고 있다. 그 시작으로 대화형 방송과 3차원 실감 방송에 대한 연구 개발이 어느 때 보다도 활발하게 이루어지고 있음을 알 수 있다. 대화형 방송 및 3차원 실감 방송을 구성하기 위해서는 스테레오 스코픽 (stereoscopic) 카메라 시스템이나 전방향 (Omnidirectional) 비디오 시스템, 다시점(Multiview) 카메라 시스템과 같은 3차원 비디오 카메라 시스템이 요구되어진다.

또한, 3차원 비디오 카메라 시스템으로부터 얻어진 3차원 실감 영상의 압축을 표준화하기 위하여 MPEG에서는 3DAV EE(Exploration Experiments)-1 에서부터 EE-4까지를 신설하여 연구중에 있다. 이 중 EE-1에서는 전방향 비디오의 압축에 관한 연구를 진행하고 있는데 아직까지 영상 자체의 변환에 관한 주제만 다루어지고 있는 실정이다.

종래의 MPEG-1, MPEG-2, MPEG-4, H.263, H.264 등의 비디오 압축 방법은 2차원 영상에 적합하게 설계되어 3차원 특히 전방향 비디오 압축에는 적합하지 않다. 특히 쌍곡면 거울을 이용하여 생성한 환형 영상의 경우에는 일반 영상과 다른 360 도 전방향에 대한 정보가 담겨 있으며 원 모양의 독특한 왜곡을 갖고 있다. 이러한 환형 영상의 특징으로 인해 기존의 2차원 영상에 적합한 비디오 코딩 알고리즘을 그대로 사용한다면, 예측 및 압축 효율이 당연히 떨어지게 된다.

환형 영상(Annular Image)은 전방향 카메라중 거울 기반 카메라 시스템에서 거울에 반사되어 카메라에 찍힌 영상을 말하는 것으로, 360 전경 정보를 함축하여 가지고 있다. 도 1에 이러한 환형 영상의 일 예를 나타낸다. 이러한 환형 영상은 가시영역(FOV: field of view)이 제한되어 있는 전형적인 예전의 이미지 센서들과 달리 투사의 중심(center of projection)으로부터 360도 전방위의 상황을 입력받을 수 있는 전방향 이미지 센서(Omnidirectional image sensor)에 의해 촬영될 수 있다.

환형 영상에 일반적 2차원 평면 영상 코덱을 적용하게 되면 영상의 특성상 공간적 왜곡에 의하여 공간 및 시간적 상관관계를 가지고 예측을 하는 화면내 및 화면간 예측과 같은 예측 알고리즘의 효율이 떨어지게 된다. 그 이유는 2차원 평면 영상과 비교하여 환형 영상의 왜곡의 정도가 크기 때문이다. 예를 들면, 도 2A 및 2B에 도시된 바와 같이 상하운동을 하는 객체가 있을 때, 2차원 평면 영상에서는 카메라와 객체와의 거리가 일정하면 어느 정도의 객체 이동이 일어나더라도 왜곡되지 않지만 전방향성 카메라에서는 쌍곡면 거울의 특성으로 인하여 객체의 모양이 쉽게 왜곡됨을 나타낸다.

여기서, 공간적 상관관계가 떨어지는 이유는 환형 영상이 공간적으로 원주율과 비슷한 왜곡률을 갖기 때문이다. 이것을 화면간 예측을 할 때 효율을 크게 떨 어뜨리는 원인이 된다. 그리고, 시간적 상관관계가 떨어지는 이유는 도 2A 및 도 2B에 도시된 바와 같이 시간적 이동에 따라 객체의 모양이 어느 정도 일정하게 유지되는 것이 아니라 왜곡이 심하게 나타나기 때문이다. 이러한 이유로 인하여, 움직임 벡터의 정확한 매칭을 어렵게 하고, 1/2 pel 및 1/4 pel 보간시에 공간적 상관관계가 적은 참조 화소를 참조하게 되므로 코딩 효율의 저하를 야기하게 된다.

이제, 2차원 동영상 코딩기법 중의 하나인 H.264를 중심으로 현재의 예측 방법을 소개한다.

화면간 예측(Inter Prediction)은 블록 기반 움직임 보상(block-based motion compensation)을 사용하여 하나 또는 그 이상의 이전에 부호화된(Encode) 비디오 프레임 또는 필드들로부터 예측 모델을 생성한다.

화면간 코딩된 매크로블록(inter-coded macroblock)에서의 각 파티션 및 서브-파티션은 참조 영상의 같은 크기의 위치로부터 예측된다. 위치에 관하여, 휘도 성분에 대해서는 1/4 pel 해상도를 갖고 색도 성분에 대해서는 1/8 pel 해상도를 갖는다. 서브 샘플 위치에서의 명도 및 색도 성분 샘플은 참조 영상에서 대응되는 샘플이 존재하지 않으므로 코딩된 주위 샘플로부터 보간(interpolation)하는 방법을 사용하게 된다.

도 3A는 현재 프레임의 4x4 블록은 참조 영상에서 대응되는 블록의 이웃 영역으로부터 예측된다. 움직임 벡터의 수평과 수직 성분 모두가 정수 (1,-1)라면 도 3B에 도시된 바와 같이 참조 블록의 적절한 샘플은 실제로 참조 영상에서 회색 점으로 존재한다. 만약 움직임 벡터의 하나 또는 두 벡터 성분이 도 3C에 도시된 바와 같이 소수값 (0.75,-0.5)이라면, 회색 점으로 표시된 예측 샘플들은 참조 프레임에서의 이웃한 샘플 즉 흰색 점들에 의해서 보간을 수행하게 된다.

1/4 pel 단위의 휘도 성분 보간은 (1,-5,20,20,-5,1)의 계수를 갖는 6 탭 필터(6-tap-filter)를 정수 위치의 휘도 화소의 수평, 수직 방향으로 적용하여 1/2 pel 위치의 휘도성분값을 구한 후, 정수 위치와 1/2 pel 위치의 샘플 값들을 평균하여 1/4 pel 단위의 휘도 샘플을 구하게 된다. 또한 색도 성분은 휘도 성분의 해상도의 1/2 해상도를 갖고 있기 때문에 1/4 pel 단위의 휘도 성분 움직임 벡터가 색도 성분의 움직임 보상을 위해 사용될 경우에는 1/8 pel 단위의 움직임 벡터로 해석 되어진다. 따라서 색도성분 1/8 pel 단위의 보간을 필요로 한다.

보간은 다음의 수식을 이용하여 화소값을 구하는데 도 4에서 b의 화소값을 구하려면 수식 1을 이용한다.

수식 1

b= round((E-5F+20G+20H-5I+J)/32)

6 탭 필터를 이용한 1/2 pel 수행 후에 도 5A 내지 5C에 도시된 바와 같은 방법으로 아래 식을 사용하여 수행한다. 수식 2는 1/4 pel의 a라는 화소값을 구하는 수식이다.

수식 2

a= round((G+b+1)/2)

즉, 도 5A를 참조하면, 예를 들어, 화소 a는 화소 G와 화소 b를 이용하여 구하고, 도 5B를 참조하면, 화소 d 는 화소 G와 화소 h를 이용하여 구하고, 도 5C를 참조하면, 화소 e는 화소 b와 화소 h를 이용하여 구한다.

이와 같이 종래 기술에 따른 보간 방법은 영상의 왜곡 특성을 고려함 없이 수평 방향 또는 수직 방향의 참조 화소를 이용하여 보간을 수행한다. 그러나, 환형 영상의 경우에도 이와 같은 종래의 수평 방향 또는 수직 방향의 참조 화소를 이용하여 보간을 수행하는 경우에는 공간적 상관관계가 떨어져서 화소값 예측이 제대로 되지 않는다. 예를 들어 도 6A 및 도 6B에 도시된 바와 같이 블로킹 현상이 발생한다.

도 6A 및 도 6B는 종래기술에 따라 환형 영상의 화면간 예측시 블로킹 현상을 설명하기 위한 참고도이다.

모든 동영상 코덱의 기본 처리 단위의 모양이 2차원 평면 사각형 모양의 블록 또는 매크로블록이기 때문에 원 모양의 왜곡을 갖는 환형 영상을 처리하기에는 도 6A 및 6B에 도시된 바와 같은 에러가 발생한다. 도 6A 및 도 6B는 환형 영상을 H.264 베이스라인 프로파일에서 뽑은 화면간 예측(Inter Prediction) 데이터이다. 도 6B를 참조하면, 사람 얼굴 형태의 일부가 비어있는 상태로 있다. 도 6A 및 도 6B에 도시된 바와 같은 블로킹이 현상이 나타나는 이유는 화면간 예측 수행시 이용되는 1/2 pel 및 1/4 pel 의 6 탭 필터의 참조 화소를 참조해오는 좌표의 공간적 상관관계가 상대적으로 낮기 때문이다.

본 발명은 상기와 같은 문제점을 해결하여 환형 영상의 왜곡 특성을 고려하여 환형 영상의 공간적 상관관계를 이용하여 보간을 수행함으로써 환형 영상의 화 면간 예측을 효과적으로 수행할 수 있도록 하는 환형 영상의 참조 화소 보간 방법, 그 장치, 환형 영상 부호화 방법, 그 장치 및 환형 영상 복호화 방법 및 그 장치를 제공하는 것을 목적으로 한다.

상기와 같은 과제를 해결하기 위한 본 발명의 하나의 특징은, 환형 영상의 참조 화소를 보간하는 방법에 있어서, 상기 환형 영상의 왜곡 방향에 배열된 복수의 참조 화소를 선택하는 단계와, 상기 선택된 복수의 참조 화소의 값을 기초로 상기 보간하려는 대상 참조 화소의 값을 보간하는 단계를 포함하는 것이다.

상기 배열된 복수의 참조 화소는, 상기 환형 영상의 중심으로부터 보간하려는 대상 참조 화소의 위치까지를 반지름으로 하는 원의 원주 방향에 배열되어 있으며, 상기 대상 참조 화소로부터 상기 원주상의 소정 거리 이내에 위치하는 참조 화소를 포함하는 것이 바람직하다.

상기 복수의 참조 화소 선택 단계는, 소정의 수식에 의해 결정된 상기 복수의 참조 화소에 대한 위치를 이용하여 상기 복수의 참조 화소를 선택하는 단계 또는 상기 원의 원주 방향으로 배열된 복수의 참조 화소의 위치를 저장하고 있는 테이블을 이용하여 상기 복수의 참조 화소를 선택하는 단계를 포함하는 것이 바람직하다.

상기 보간 단계는, 상기 복수의 참조 화소의 각 화소값에 각각 소정의 가중치를 곱하는 단계와, 상기 소정의 가중치가 각각 곱해진 참조 화소의 값을 모두 더하여 대상 참조 화소의 값을 획득하는 단계를 포함하는 것이 바람직하다.

본 발명의 다른 특징은, 환형 영상의 참조 화소를 보간하는 장치에 있어서, 상기 환형 영상의 왜곡 방향에 배열된 복수의 참조 화소를 선택하는 참조 화소 선택부와, 상기 선택된 복수의 참조 화소의 값을 기초로 상기 보간하려는 대상 참조 화소의 값을 보간하는 보간부를 포함하는 것이다.

본 발명의 또 다른 특징은, 환형 영상을 부호화하는 방법에 있어서, 상기 환형 영상의 중심으로부터 보간하려는 대상 참조 화소의 위치까지를 반지름으로 하는 원의 원주 방향으로 배열된 복수의 참조 화소의 값을 기초로 상기 보간하려는 대상 참조 화소의 값을 보간하여, 상기 환형 영상의 움직임을 추정함으로써 현재 매크로블록의 예측된 예측 매크로블록을 결정하는 단계와, 상기 예측된 매크로블록과 원 매크로블록과의 차를 DCT 변환하고, 상기 변환된 DCT 계수들을 양자화하고, 상기 양자화된 DCT 변환 계수들을 재배치하고, 상기 재배치된 DCT 변환 계수들을 엔트로피 부호화하는 단계를 포함하는 것이다.

본 발명의 또 다른 특징은, 환형 영상을 부호화하는 장치에 있어서, 상기 환형 영상의 중심으로부터 보간하려는 대상 참조 화소의 위치까지를 반지름으로 하는 원의 원주 방향으로 배열된 복수의 참조 화소의 값을 기초로 상기 보간하려는 대상 참조 화소의 값을 보간하여, 상기 환형 영상의 움직임을 추정함으로써 현재 매크로블록의 예측된 예측 매크로블록을 결정하는 움직임 추정 및 보상부와, 상기 예측된 매크로블록과 원 매크로블록과의 차를 DCT 변환하는 DCT 변환부와, 상기 변환된 DCT 계수들을 양자화하는 양자화부와, 상기 양자화된 DCT 변환 계수들을 재배치하는 재배치부와, 상기 재배치된 DCT 변환 계수들을 엔트로피 부호화하는 엔트로피 부호화부를 포함하는 것이다.

본 발명의 또 다른 특징은, 환형 영상 복호화 방법에 있어서, 수신된 부호화된 비트스트림을 엔트로피 복호화하고, 엔트로피 복호화된 데이터 샘플을 재배치하고, 상기 재배치된 데이터 샘플들을 역양자화하고, 상기 역양자화된 데이터 샘플들을 역DCT 변환하여 역 DCT 계수들을 생성하는 단계와, 상기 환형 영상의 중심으로부터 보간하려는 대상 참조 화소의 위치까지를 반지름으로 하는 원의 원주 방향으로 배열된 복수의 참조 화소의 값을 기초로 상기 보간하려는 대상 참조 화소의 값을 보간하여, 현재 매크로블록의 예측된 예측 매크로블록을 결정하는 단계와, 상기 역 DCT 계수들로 이루어진 매크로블록과 상기 예측 매크로블록을 가산하는 단계를 포함하는 것이다.

본 발명의 또 다른 특징은, 환형 영상 복호화 장치에 있어서, 부호화 장치로부터 수신된 비트스트림을 엔트로피 복호화하는 엔트로피 복호화부와, 엔트로피 복호화된 데이터 샘플을 재배치하는 재배치부와, 상기 재배치된 데이터 샘플들을 역양자화하는 역양자화부와, 상기 역양자화된 데이터 샘플들을 역DCT 변환하여 역 DCT 계수들을 생성하는 역DCT 변환부와, 상기 환형 영상의 중심으로부터 보간하려는 대상 참조 화소의 위치까지를 반지름으로 하는 원의 원주 방향으로 배열된 복수의 참조 화소의 값을 기초로 상기 보간하려는 대상 참조 화소의 값을 보간하여, 현재 매크로블록의 예측된 예측 매크로블록을 결정하는 움직임 보상부와, 상기 역 DCT 계수들로 이루어진 매크로블록과 상기 예측 매크로블록을 가산하는 가산부를 포함하는 것이다.

이제, 첨부된 도면들을 참조하여 본 발명을 상세히 설명한다.

도 7은 본 발명에 따른 부호화/복호화 시스템의 개략도이다.

본 발명에 따른 부호화 장치(100)는 환형 영상을 수신하여 환형 영상의 왜곡 방향을 고려하여 화면간 예측시 보간을 수행하여, 환형 영상을 부호화한다. 부호화된 환형 영상은 네트워크 등을 통해서 복호화 장치(200)로 수신되며, 복호화 장치(200)에서는 마찬가지로 환형 영상의 왜곡 방향을 고려하여 화면간 예측시 보간을 수행하여 부호화된 환형 영상을 복호화한다. 이렇게 복호화된 환형 영상은 평면 영상 변환 장치(300)에 의해 평면 영상으로 변환되어 사용자에게 출력될 수 있다.

이와 같이 본 발명에 따른 부호화/복호화 시스템에서는 환형 영상의 부호화 및 복호화 과정에 포함되는 화소 보간 방법을 종래의 수직, 수평 방향에 있는 참조화소를 이용하는 것이 아니라 환형 영상의 왜곡 형태에 따른 참조 화소를 이용하여 보간을 수행하므로써 환형 영상의 특징을 최대한 반영하여 예측을 효과적으로 수행할 수 있게 된다.

도 8은 본 발명에 따른 부호화 장치의 구체적인 블록도이다.

도 8을 참조하면, 부호화 장치는 움직임 추정부(1)와, 움직임 보상부(2)와, 가산부(3)와, DCT 변환부(4)와, 양자화부(5)와, 재배치부(6)와, 엔트로피 부호화부(7)와, 역양자화부(9)와, 역DCT 변환부(8)와, 가산부(12)를 포함한다.

부호화 장치는 두 개의 데이터흐름 경로를 포함한다. 하나는 왼쪽에서 오른쪽으로 진행하는 포워드 경로이고, 다른 하나는 오른쪽에서 왼쪽으로 진행하는 재 구성 경로이다.

먼저 포워드 경로를 설명한다.

부호화를 위한 입력 영상 프레임 Fn은 (16x16의 휘도 영역과 이와 관련된 색차 샘플에 해당하는) 매크로블록 단위로 처리된다.

움직임 추정부(1)는 현재 입력 프레임 Fn과 이전에 부호화된 참조 프레임 F'n-1을 비교하여, 움직임 추정 부분이 F'n-1내에서 Fn 내의 현재의 매크로블록과 일치하는 또는 유사하다고 판단되는 16x16 영역을 찾는다. 현재 매크로블록의 위치와 선택된 참조 영역 사이의 차이가 움직임 벡터가 된다.

움직임 추정부(1)는 참조화소 보간부(10)와 움직임 벡터 예측부(11)를 포함한다. 현재 프레임의 매크로블록은 참조 프레임에서 현재 매크로블록의 위치와 인접해있는 영역으로부터 예측된다. 이때 수평과 수직의 움직임 벡터가 정수이면 관련된 샘플이 참조 매크로블록에 실제로 존재하지만, 하나 또는 두개의 벡터가 소수이면 참조 화소 보간부(10)는 예측 샘플을 참조 프레임내의 인접한 샘플 사이를 보간하여 생성한다. 특히, 참조 화소 보간부(10)는 본 발명에 따라, 입력 영상이 환형 영상임을 감안하여 환형 영상의 왜곡을 고려하여 참조 화소를 보간한다. 즉, 참조 화소 보간부(10)는 참조 화소를 보간할 때 종래와 같이 수평 방향이나 수직 방향의 참조 화소를 이용하여 보간하는 것이 아니라, 환형 영상의 왜곡 방향에 배열된 참조 화소를 이용하여 보간을 수행한다. 여기서, "환형 영상의 왜곡 방향에 배열된 참조화소"라 함은 상기 환형 영상의 중심으로부터 보간하려는 대상 참조 화소의 위치까지를 반지름으로 하는 원의 원주 방향에 배열되며 상기 대상 참조 화소 에 인접한 복수개의 화소를 말한다. 이에 대해서는 상세히 후술한다.

움직임 벡터 예측부(11)는 참조 화소 보간부(10)에 의해 보간된 화소를 포함하여 참조 프레임 F'n-1내에서 현재의 매크로블록과 가장 유사하다고 판단되는 영역을 선택하여, 현재 매크로블록의 위치와 선택된 참조 영역 사이의 차이를 움직임 벡터로 예측한다.

움직임 보상부(2)는 선택된 움직임 벡터에 따라 움직임 보상된 예측 매크로블록 P(즉, 움직임 추정에 의해 선택된 16x16 영역)를 생성한다.

가산부(3)는 현재 매크로블록에서 예측 매크로블록 P를 빼서 차이 매크로블록 Dn을 생성한다.

이러한 차이 매크로블록 Dn은 DCT 변환부(4)에 의해 DCT 변환되고 양자화부(5)에 의해 양자화되어 양자화된 변환 계수 X를 생성한다. 이러한 계수들은 재배치부(6)에 의해 재배치되고 런레벨 코딩되고, 엔트로피 부호화부(7)에 의해 엔트로피 부호화된다. 엔트로피 부호화된 계수들은 매크로블록을 디코드하는데 요구되는 부가 정보와 함께 압축된 비트스트림을 생성한다. 이러한 부가 정보로는, 움직임 벡터 정보와 헤더 정보 등을 포함한다. 이렇게 압축된 비트스트림은 전송 또는 저장을 위해 NAL(Network Abstraction Layer)로 전달된다.

재구성 경로는 다음과 같다.

부호화된 매크로블록 계수 X는 또 다른 매크로블록의 부호화를 위한 프레임을 재구성하기 위해 디코드된다. 즉, 계수 X는 역양자화부(9)에 의해 역양자화되고, 역 DCT 변환부(8)에 의해 역 DCT 변환되어 차 매크로블록 Dn'을 생성한다. 이 것은 신호 손실 등에 의한 영향으로 원래의 차 매크로블록 Dn과 동일하지는 않다.

예측 매크로블록 P는 가산부(12)에 의해 Dn'에 합쳐져서 재구성된 매크로블록을 생성한다. 이렇게 재구성된 매크로블록은 원래의 매크로블록의 왜곡된 버전이다. 이러한 왜곡의 영향을 줄이기 위해 필터(도시되지 않음)가 부가되어, 재구성된 참조 프레임은 일련의 매크로블록 F'n으로부터 생성될 수 있다.

도 9는 도 8에 도시된 부호화 장치의 동작 흐름도이다.

도 9를 참조하면, 움직임 추정부(1)에 의해 입력 영상인 환형 영상의 중심을 원의 중심으로 하는 원의 원주 방향으로 배열된 복수의 참조 화소를 기초로 보간을 수행하여 환형 영상의 움직임이 추정된다(910).

다음, 움직임 보상부(2)에 의해 움직임 추정 결과인 움직임 벡터를 이용하여 움직임 보상이 수행되어(920) 예측 매크로블록이 생성되고, 예측 매크로블록과 현재 매크로블록의 차이 매크로블록이 DCT 변환부(4)에 의해 DCT 변환되고(930), DCT 변환된 샘플들은 양자화부(5)에 의해 양자화된다(940). 다음, 양자화된 샘플들은 재배치부(6)에 의해 재배치되고 런레벨 코딩되고(950), 엔트로피 부호화부(7)에 의해 엔트로피 부호화된다(960).

도 10은 본 발명에 따른 복호화 장치의 구체적인 블록도이다.

도 10을 참조하면, 복호화 장치는 엔트로피 복호화부(21)와, 재배치부(22)와, 역양자화부(23)와, 역 DCT 변환부(24)와, 가산부(25)와, 움직임 보상부(26)를 포함한다.

복호화 장치의 엔트로피 복호화부(21)는 NAL로부터 압축된 비트스트림을 수 신하여, 비트스트림을 엔트로피 복호화하여 각 매크로블록의 계수, 움직임 벡터 그리고 헤더를 추출한다.

재배치부(22)는 부호화 장치에서 행해졌던 런레벨 부호화와 재배치 과정의 역과정을 수행하여 변환된 매크로블록 X를 생성한다. 역양자화부(23)는 매크로블록 X를 역양자화하고, 역 DCT 변환부(24)는 역양자화된 X를 역DCT 변환하여 차이 매크로블록 D'n을 생성한다.

움직임 보상부(26)는 복호화장치가 가지고 있는 이전 참조 프레임 내에서 참조 영역의 위치를 찾기 위해 움직임 벡터를 사용하여 움직임 보상된 예측 매크로블록 P를 결정한다.

움직임 보상부(26)는 참조 화소 보간부(27)와 예측 매크로블록 결정부(28)를 포함한다. 참조 화소 보간부(27)는 부호화 장치의 참조 화소 보간부(10)와 같은 기능을 수행한다. 즉, 참조 화소 보간부(27)는 본 발명에 따라, 입력 영상이 환형 영상임을 감안하여 환형 영상의 왜곡을 고려하여 참조 화소를 보간한다. 즉, 참조 화소 보간부(27)는 참조 화소를 보간할 때 종래와 같이 수평 방향이나 수직 방향의 참조 화소를 이용하여 보간하는 것이 아니라, 환형 영상의 왜곡 방향에 배열된 참조 화소를 이용하여 보간을 수행한다. 여기서, "환형 영상의 왜곡 방향에 배열된 참조화소"라 함은 상기 환형 영상의 중심으로부터 보간하려는 대상 참조 화소의 위치까지를 반지름으로 하는 원의 원주 방향에 배열되며 상기 대상 참조 화소에 인접한 복수개의 화소를 말한다. 이에 대해서는 상세히 후술한다. 예측 매크로블록 결정부(28)는 보간된 참조 화소에 대해 움직임 벡터를 이용하여 예측 매크로블록 P 를 결정한다.

가산부(25)는 예측 매크로블록 P에 차이 매크로블록 D'n을 더하여 복원된 매크로블록을 생성하고, 복원된 매크로블록은 복호화된 프레임 F'n을 생성하기 위해 저장된다.

도 11은 도 10에 도시된 복호화 장치의 동작 흐름도이다.

도 11을 참조하면, 복호화 장치에 의해 수신된 압축 비트스트림은 엔트로피 복호화부(21)에 의해 엔트로피 복호화되고(1110), 엔트로피 복호화된 데이터 샘플은 재배치부(22)에 의해 런레벨 코딩과 재배치의 역과정이 수행되고(1120), 재배치된 데이터 샘플은 역양자화부(23)에 의해 역양자화되고(1130) 역양자화된 데이터 샘플은 역 DCT 변환부(24)에 의해 역 DCT 변환되어(1140) 차이 매크로블록 D'n으로 생성된다.

움직임 보상부(26)에 의해 환형 영상의 중심을 원의 중심으로 하는 원의 원주 방향으로 배열된 복수의 참조 화소를 기초로 보간을 수행하여 현재 매크로블록의 예측 매크로블록이 결정되고(1150), 이러한 예측 매크로블록과 차이 매크로블록이 가산부(25)에 의해 더해져서 복원된 매크로블록이 생성된다(1160).

이하에서는 본 발명에 따라 환형 영상의 왜곡 특성을 고려한 보간 방법을 구체적으로 설명한다. 본 발명에 따라 참조 화소를 보간하는 방법은 단순히 수평 및 수직 방향에 있는 참조 화소를 이용하는 것이 아니라 환형 영상의 왜곡 방향에 있는 참조 화소를 이용하는 것이기 때문에 소정의 곡면을 따라 배열된 참조화소의 위치를 찾아내야 하므로, 참조화소의 위치에 관하여 2차원 극좌표계를 이용하는 것이 바람직하다.

도 12A는 2차원 극좌표계를 나타낸다.

도 12A에 도시된 바와 같이 2차원 극좌표계(평면극좌표계, plane polar coordinate system)는 원점으로부터의 거리와 방위각(azimuth angle)에 의해 정의된다. 도 12A에서 r은 원점에서 점 P까지의 거리를, θ는 수평축으로부터 반시계 방향으로 측정한 방위각을 나타낸다. 따라서 점 P의 위치는 (r,θ)로 표시할 수 있는데, r 및 θ를 2차원 극좌표라 부른다.

극좌표계는 인체 분절의 운동을 표현하는데 유용하게 사용될 수 있는데, 이는 인체 운동의 근원이 관절운동이기 때문이다. 관절운동 중 각 인체 분절은 관절을 중심으로 회전하기 때문에 방위각을 사용하는 것이 직각좌표를 사용하는 것보다 유리하다. 그러나 여기서 한 가지 주의해야 할 점은 r(거리)과 θ(각도)가 서로 동일한 종류의 좌표가 아니라는 점이다.

2차원 극좌표와 2차원 직각좌표 사이의 관계는 다음과 같이 정리될 수 있다.

경우에 따라서는 직각좌표를 극좌표와 유사하게 사용할 수 있다. 도 12B에 표시된 Xr축은 반경축, Xθ 축은 이에 직교하는 축이다. 두 축은 서로 직교하므로 일종의 직각 좌표계를 구성한다. 경우에 따라서는 이와 같이 직각좌표계를 사용하는 것보다 편리한데, 이는 양 좌표계의 장점을 모두 취할 수 있기 때문이다. Xr축 방향의 운동은 반경 방향의 운동을 Xθ 축 방향의 운동은 회전운동을 의미한다.

본 발명에 따라 환형 영상의 보간 방법은 환형 영상의 왜곡 특성을 이용하여 2차원 평면 영상과 같은 수직과 수평 방향이 아닌 동일 각도 및 동일 반지름을 이용하여 수직과 수평 개념을 대체하는 것이다.

도 12C에 도시된 바와 같은 2차원 평면 영상의 수평 개념은 도 12D에 도시된 바와 같은 원주율을 적용한 곡선의 개념으로 바뀐다.

여기서의 조건은 2차원 극좌표계의 수식의 반지름 (r)이 같다라는 조건을 만족시켜야 한다.

또한 도 12D에 도시된 바와 같은 2차원 평면 영상의 수직 개념은 도 12E에 도시된 바와 같은 동일 각을 가지며 반지름 값의 (r) 증감으로 직선을 그릴 수 있어야 한다.

이러한 개념을 적용한 각 사분면의 1/2pel 보간의 예를 들어 설명한다.

도 13A에 도시된 바와 같은 환형 영상의 1사분면에서는 왜곡된 모양을 따라 큰 화살표와 같은 모양으로 움직임이 발생하게 된다.

도 13B는 도 13A에 도시된 환형 영상의 1사분면내에 존재하는 영역(1300)의 일부를 나타낸다. 예를 들어, 화소 j값을 가져오려 한다면 종래에는 수평 방향의 cc, dd, h, m, ee, ff 를 가중치 값에 적용하여 보간하였으나, 본 발명에 따르면, 도 13B에 도시된 화살표 방향에 배열된 화소값들을 이용하여 보간을 수행한다. 즉 , 본 발명에 따르면 화소 j값은 화소(1301), 화소(1302), 화소(1303), 화소(1304), 화소(1305), 화소(1306)의 값에 가중치를 적용하여 보간한다. 화소 j값 뿐만 아니라 화소 b, h, m, s도 마찬가지로 환형 영상의 왜곡 방향으로 배열된 화소값들을 참조하여 보간을 수행한다. 종래에 수직이나 수평방향으로부터 참조해야 할 화소값을 도 13B의 검은색 사각형처럼 참조 화소의 위치를 변화 시켜 화소값을 참조하여 온다. 또한 매크로블록의 위치에 따른 2차원 극좌표 변환으로 θ을 찾아주어 수직방향으로 기울기를 변화시켜 도 13B에 도시한 참조 화소의 값을 취한다.

도 14A에 도시된 바와 같은 환형 영상의 2사분면에서는 왜곡된 모양을 따라 큰 화살표와 같은 모양으로 움직임이 발생하게 된다.

도 14B는 도 14A에 도시된 환형 영상의 2사분면내에 존재하는 영역(1400)의 일부를 나타낸다. 예를 들어, 화소 j값을 가져오려 한다면 종래에는 수평 방향의 cc, dd, h, m, ee, ff 를 가중치 값에 적용하여 보간하였으나, 본 발명에 따르면, 도 14B에 도시된 화살표 방향에 배열된 화소값들을 이용하여 보간을 수행한다. 즉, 본 발명에 따르면 화소 j값은 화소(1401), 화소(1402), 화소(1403), 화소(1404), 화소(1405), 화소(1406)의 값에 가중치를 적용하여 보간한다. 화소 j값 뿐만 아니라 화소 b, h, m, s도 마찬가지로 환형 영상의 왜곡 방향으로 배열된 화소값들을 참조하여 보간을 수행한다.

도면에는 환형 영상의 1사분면과 2사분면만을 예로 들었지만, 본 발명이 속하는 기술의 당업자라면 본 발명에 따라 환형 영상의 왜곡 방향에 배열된 화소들을 이용하여 부화소를 보간하는 방법이 3사분면과 4사분면에도 동일하게 적용될 수 있 음을 충분히 이해할 것이다.

도 15A에 도시된 바와 같은 환형 영상의 1사분면과 4사분면의 경계에 있는 영역(1500)에서는 도 15B에 도시된 화살표와 같은 방향의 화소를 참조하여 보간을 수행한다.

도 15B는 도 15A에 도시된 환형 영상의 1사분면과 4사분면의 경계에 있는 영역(1500)을 나타낸다. 예를 들어, 화소 b값을 가져오려 한다면 종래에는 수평 방향의 E, F, G, H, I, J 를 가중치 값에 적용하여 보간하였으나, 본 발명에 따르면, 도 15B에 도시된 화살표 방향에 배열된 화소값들을 이용하여 보간을 수행한다. 즉, 본 발명에 따르면 화소 b값은 화소 A(1501), 화소 bb(1502), 화소 S(1503), 화소 gg(5404), 화소 T(1505)의 값에 가중치를 적용하여 보간한다. 화소 b값 뿐만 아니라 화소 h, h, m, s도 마찬가지로 환형 영상의 왜곡 방향으로 배열된 화소값들을 참조하여 보간을 수행한다.

본 발명에 따른 반화소 보간법은 환형 영상의 왜곡 방향에 배열된 소정 개수의 화소값을 이용하여 다음과 같이 표현될 수 있다.

1/2 pel 값=round((aA+bB+cC+dD+eE+fF)/K)

6탭 필터를 사용하는 경우에 A,B,C,D,E,F는 환형 영상의 왜곡 방향으로 배열되어 있으며 보간하려는 대상 화소에 인접한 6개의 화소를 나타낸다.

a,b,c,d,e,f는 각각 6개의 화소에 각각 곱해지는 가중치를 나타낸다.

여기서, 보간에 이용되는 주변 화소 A 내지 F의 위치는 미리 시스템에서 적절한 위치를 결정하여 계산한 다음 테이블 형태를 기억하고 있어서 보간을 수행할 때 이러한 테이블로부터 대상 화소의 주변 화소를 검색하여 이용할 수도 있거나, 또는 매번 보간시 소정의 수식을 이용하여 대상 화소의 보간에 이용되는 주변 화소의 위치를 계산할 수도 있을 것이다.

1/4 pel 의 경우에도 1/2 pel에 적용된 보간 방법을 동일하게 적용할 수 있다.

도 16A는 종래기술에 따른 H.264의 예측 결과를 나타내고, 도 16B는 본 발명을 적용한 H.264의 예측 결과를 나타낸다.

종래 기술에 따른 H.264의 경우에는 환형 영상의 왜곡된 부분을 제대로 참조하지 못하여 영상 일부분에 블로킹 현상이 나타난 것을 관찰할 수 있는 반면에, 본 발명에 따라 환형 영상의 왜곡 방향을 고려하여 보간을 수행한 H.264의 경우에는 영상의 블로킹 현상이 없이 영상 예측된 것을 알 수 있다.

이상 설명한 바와 같은 부호화, 복호화 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 부호화 방법, 복호화 방법을 구현하기 위한 기능적인(function) 프로 그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

이상 설명한 바와 같이 본 발명에 따른 부호화/복호화 시스템에서는 환형 영상의 부호화 및 복호화 과정에 포함되는 화소 보간 방법을 종래의 수직, 수평 개념이 아니라 환형 영상의 왜곡 형태에 따른 참조 화소를 이용하여 보간을 수행하므로써 환형 영상의 특징을 최대한 반영하여 예측을 효과적으로 수행할 수 있게 된다.

Claims (16)

1. 환형 영상의 참조 화소를 보간하는 방법에 있어서,

   상기 환형 영상의 왜곡 방향에 배열된 복수의 참조 화소를 선택하는 단계와,

   상기 선택된 복수의 참조 화소의 값을 기초로 상기 보간하려는 대상 참조 화소의 값을 보간하는 단계를 포함하는 것을 특징으로 하는 보간 방법.
2. 제1항에 있어서,

   상기 배열된 복수의 참조 화소는, 상기 환형 영상의 중심으로부터 보간하려는 대상 참조 화소의 위치까지를 반지름으로 하는 원의 원주 방향에 배열되어 있으며, 상기 대상 참조 화소로부터 상기 원주상의 소정 거리 이내에 위치하는 참조 화소를 포함하는 것을 특징으로 하는 보간 방법.
3. 제1항에 있어서,

   상기 복수의 참조 화소 선택 단계는,

   소정의 수식에 의해 결정된 상기 복수의 참조 화소에 대한 위치를 이용하여 상기 복수의 참조 화소를 선택하는 단계를 포함하는 것을 특징으로 하는 보간 방법.
4. 제1항에 있어서,

   상기 복수의 참조 화소 선택 단계는,

   상기 원의 원주 방향으로 배열된 복수의 참조 화소의 위치를 저장하고 있는 테이블을 이용하여 상기 복수의 참조 화소를 선택하는 단계를 포함하는 것을 특징으로 하는 보간 방법.
5. 제1항에 있어서,

   상기 대상 참조 화소는 1/2 pel 또는 1/4 pel 임을 특징으로 하는 보간 방법.
6. 제1항에 있어서,

   상기 보간 단계는,

   상기 복수의 참조 화소의 각 화소값에 각각 소정의 가중치를 곱하는 단계와,

   상기 소정의 가중치가 각각 곱해진 참조 화소의 값을 모두 더하여 대상 참조 화소의 값을 획득하는 단계를 포함하는 것을 특징으로 하는 보간 방법.
7. 환형 영상의 참조 화소를 보간하는 장치에 있어서,

   상기 환형 영상의 왜곡 방향에 배열된 복수의 참조 화소를 선택하는 참조 화소 선택부와,

   상기 선택된 복수의 참조 화소의 값을 기초로 상기 보간하려는 대상 참조 화소의 값을 보간하는 보간부를 포함하는 것을 특징으로 하는 보간 장치.
8. 제7항에 있어서,

   상기 배열된 복수의 참조 화소는, 상기 환형 영상의 중심으로부터 보간하려는 대상 참조 화소의 위치까지를 반지름으로 하는 원의 원주 방향에 배열되어 있으며, 상기 대상 참조 화소로부터 상기 원주상의 소정 거리 이내에 위치하는 참조 화소를 포함하는 것을 특징으로 하는 보간 장치.
9. 제7항에 있어서,

   상기 참조 화소 선택부는,

   소정의 수식에 의해 결정된 상기 복수의 참조 화소에 대한 위치를 이용하여 상기 복수의 참조 화소를 선택하는 것을 특징으로 하는 보간 장치.
10. 제7항에 있어서,

    상기 참조 화소 선택부는,

    상기 원의 원주 방향으로 배열된 복수의 참조 화소의 위치를 저장하고 있는 테이블을 이용하여 상기 복수의 참조 화소를 선택하는 것을 특징으로 하는 보간 장치.
11. 제7항에 있어서,

    상기 대상 참조 화소는 1/2 pel 또는 1/4 pel 임을 특징으로 하는 보간 장 치.
12. 제7항에 있어서,

    상기 보간부는,

    상기 복수의 참조 화소의 각 화소값에 각각 소정의 가중치를 곱하고, 상기 소정의 가중치가 각각 곱해진 참조 화소의 값을 모두 더하여 대상 참조 화소의 값을 획득하는 것을 특징으로 하는 보간 장치.
13. 환형 영상을 부호화하는 방법에 있어서,

    상기 환형 영상의 중심으로부터 보간하려는 대상 참조 화소의 위치까지를 반지름으로 하는 원의 원주 방향으로 배열된 복수의 참조 화소의 값을 기초로 상기 보간하려는 대상 참조 화소의 값을 보간하여, 상기 환형 영상의 움직임을 추정함으로써 현재 매크로블록의 예측된 예측 매크로블록을 결정하는 단계와,

    상기 예측된 매크로블록과 원 매크로블록과의 차를 DCT 변환하고, 상기 변환된 DCT 계수들을 양자화하고, 상기 양자화된 DCT 변환 계수들을 재배치하고, 상기 재배치된 DCT 변환 계수들을 엔트로피 부호화하는 단계를 포함하는 것을 특징으로 하는 환형 영상 부호화 방법.
14. 환형 영상을 부호화하는 장치에 있어서,

    상기 환형 영상의 중심으로부터 보간하려는 대상 참조 화소의 위치까지를 반 지름으로 하는 원의 원주 방향으로 배열된 복수의 참조 화소의 값을 기초로 상기 보간하려는 대상 참조 화소의 값을 보간하여, 상기 환형 영상의 움직임을 추정함으로써 현재 매크로블록의 예측된 예측 매크로블록을 결정하는 움직임 추정 및 보상부와,

    상기 예측된 매크로블록과 원 매크로블록과의 차를 DCT 변환하는 DCT 변환부와,

    상기 변환된 DCT 계수들을 양자화하는 양자화부와,

    상기 양자화된 DCT 변환 계수들을 재배치하는 재배치부와,

    상기 재배치된 DCT 변환 계수들을 엔트로피 부호화하는 엔트로피 부호화부를 포함하는 것을 특징으로 하는 환형 영상 부호화 장치.
15. 환형 영상 복호화 방법에 있어서,

    수신된 부호화된 비트스트림을 엔트로피 복호화하고, 엔트로피 복호화된 데이터 샘플을 재배치하고, 상기 재배치된 데이터 샘플들을 역양자화하고, 상기 역양자화된 데이터 샘플들을 역DCT 변환하여 역 DCT 계수들을 생성하는 단계와,

    상기 환형 영상의 중심으로부터 보간하려는 대상 참조 화소의 위치까지를 반지름으로 하는 원의 원주 방향으로 배열된 복수의 참조 화소의 값을 기초로 상기 보간하려는 대상 참조 화소의 값을 보간하여, 현재 매크로블록의 예측된 예측 매크로블록을 결정하는 단계와,

    상기 역 DCT 계수들로 이루어진 매크로블록과 상기 예측 매크로블록을 가산 하는 단계를 포함하는 것을 특징으로 하는 환형 영상 복호화 방법.
16. 환형 영상 복호화 장치에 있어서,

    부호화 장치로부터 수신된 비트스트림을 엔트로피 복호화하는 엔트로피 복호화부와,

    엔트로피 복호화된 데이터 샘플을 재배치하는 재배치부와,

    상기 재배치된 데이터 샘플들을 역양자화하는 역양자화부와,

    상기 역양자화된 데이터 샘플들을 역DCT 변환하여 역 DCT 계수들을 생성하는 역DCT 변환부와,

    상기 환형 영상의 중심으로부터 보간하려는 대상 참조 화소의 위치까지를 반지름으로 하는 원의 원주 방향으로 배열된 복수의 참조 화소의 값을 기초로 상기 보간하려는 대상 참조 화소의 값을 보간하여, 현재 매크로블록의 예측된 예측 매크로블록을 결정하는 움직임 보상부와,

    상기 역 DCT 계수들로 이루어진 매크로블록과 상기 예측 매크로블록을 가산하는 가산부를 포함하는 것을 특징으로 하는 환형 영상 복호화 장치.

Images