KR100580876B1

KR100580876B1 - 비트스트림 지도를 이용한 영상 부호화 및 복호화 장치 및 방법과, 그 기록매체

Info

Publication number: KR100580876B1
Application number: KR1020040024923A
Authority: KR
Inventors: 김욱중; 기명석; 김규헌; 김진웅; 장의선; 이선영; 오현종; 박성원; 원종우
Original assignee: 한국전자통신연구원; 학교법인 한양학원
Priority date: 2003-12-08
Filing date: 2004-04-12
Publication date: 2006-05-16
Also published as: KR20050055579A

Abstract

본 발명은 영상 부호화 및 복호화 장치 및 방법에 관한 것이다. 본 발명에 따른 영상 부호화 장치는 제1 영상을 복수개의 서브 영상으로 분리하여 출력하는 영상 분리부, 영상 분리부에서 출력된 서브 영상을 부호화하여 비트스트림으로 출력하는 제1 부호화부, 서브 영상의 비트스트림 정보량을 계산하고, 정보량과 서브 영상의 구성 정보를 이용하여 BMAP 정보를 생성하는 BMAP 구성부, 및 서브 영상의 비트스트림과 BMAP 정보를 결합하여 출력하는 비트스트림 결합부를 포함한다.

파노라믹 영상, 임의 영역 복호, 영상 압축, 비트스트림, BMP 정보

Description

비트스트림 지도를 이용한 영상 부호화 및 복호화 장치 및 방법과, 그 기록매체{Method and Apparatus for Image Compression and Decoding using Bitstream Map, and Recording Medium thereof}

도 1은 3차원 비디오 처리 과정에서 영상 획득 방법을 예시적으로 도시한 것이다.

도 2는 파노라믹 비디오의 처리 단계를 도시한 것이다.

도 3은 파노라믹 비디오를 복원하여 표시한 것을 예시적으로 도시한 것이다.

도 4는 랜덤 액세스 중 부분 복호화를 통한 로컬 영역의 복원의 예를 도시한 것이다.

도 5는 본 발명의 일실시예에 따른 영상 부호화 장치를 도시한 블록도이다.

도 6은 본 발명의 일실시예에 따른 영상 분리부가 입력되는 파노라믹 영상을 8개의 타일 영상으로 분리한 경우를 도시한 것이다.

도 7은 본 발명의 일실시예에 따른 영상 복호화 장치를 도시한 블록도이다.

도 8은 본 발명의 일실시예에 따른 JPEG 표준을 이용한 영상 압축 부호화 방법을 도시한 순서도이다.

도 9는 본 발명의 일실시예에 따른 BMAP 정보의 이진화 과정을 도시한 것이다.

도 10은 복수의 프레임을 갖는 영상의 비트스트림을 예시적으로 도시한 것이다.

도 11은 본 발명의 다른 실시예에 따른 영상 압축 부호화 장치를 도시한 블록도이다.

도 12는 본 발명의 다른 실시예에 따른 영상 복호화 장치를 도시한 블록도이다.

본 발명은 영상 부호화 및 복호화 장치 및 방법에 관한 것으로서, 특히 파노라믹 영상을 비트스트림 지도를 이용하여 부호화하고 복호화하는 장치 및 방법에 관한 것이다.

최근 10여 년간 멀티미디어 분야는 아날로그에서 디지털로 변환되는 중요한 패러다임의 변화를 경험하고 있다. 디지털 TV, DVD, MP3 등의 디지털 미디어 압축 기술은 사용자와 콘텐츠 제작자 간의 거리를 그만큼 단축시키고 있다. 이들 디지털 미디어 압축 기술은 국제 표준으로 자리 잡은 MPEG1, MPEG2, 그리고 MPEG4의 등장에 힘입은 바 크다. 특히, 1993년부터 표준화가 시작된 MPEG4의 경우, 그래픽 객체 등의 압축 개념을 도입하는 등 신개념의 범용 미디어로 도약하고 있다.

비디오 콘텐츠와 관련하여 3차원 비디오 분야가 존재하는데, 3차원 비디오 분야란 크게 파노라믹(panoramic) 비디오, 다시점(Multi-view) 비디오, 스테레오 비디오의 세 가지 영역으로 구분된다.

스테레오 비디오의 경우는 좌우측 눈에 다른 영상을 제공하여 사용자들이 입체감을 느낄 수 있도록 하는 것을 목적으로 하는 분야이고, 다시점 비디오 방식은 많은 수의 카메라를 적당한 거리를 두고 배치하여 영상을 획득하여 사용자에게 제공하는 방법으로 사용자들에게 다양한 시점의 비디오 정보를 제공할 수 있는 특징을 지닌다. 그리고 파노라믹 비디오 분야는 다시점 비디오와 유사한 형태로 복수개의 카메라 또는 1개의 카메라의 위치를 변화시켜 사용자에게 다양한 시점의 영상 정보가 포함된 하나의 큰 영상을 제공하는 것을 특징으로 지닌다.

도 1은 파노라믹 비디오의 영상을 획득하는 방법을 도시한 것이다.

도 1에 도시된 바와 같이, 파노라믹 비디오의 경우 크게 패럴렐(parallel) 뷰, 컨버전트(convergent) 뷰, 그리고 다이버전트(divergent) 뷰 등의 방법을 이용하여 영상을 획득하고, 여러 개의 카메라로부터 획득한 영상을 하나의 큰 영상으로 합성하여 파노라믹 비디오가 생성된다.

도 2는 피노라믹 비디오의 처리 과정을 도시한 것이다.

도 2에 도시된 바와 같이, 파노라믹 비디오의 처리는 크게 획득 과정, 처리 과정, 표시 과정의 3단계로 나눌 수 있다.

획득 과정은 한 대 또는 여러 대의 카메라를 이용하여 영상을 획득하는 과정이다. 획득된 여러 개의 영상은 하나의 영상으로 합성되는데 이를 레지스트레이션(Registration) 과정이라 하며, 이 때 카메라의 특성치 역시 중요한 고려사항 중에 하나이다.

처리 과정은 합성된 영상에 대한 압축, 전송과 저장을 위한 과정이다. 복원된 파노라믹 비디오는 평면형(Planar) 또는 비평면형(Nonplanar) 표시 장치에 표시된다.

파노라믹 비디오의 획득 과정에서 무엇보다도 중요한 것은 몇 대의 카메라를 사용하여 영상을 획득할 것인가와, 각각의 카메라의 3차원 지오메트리(Geometry)와 오리엔테이션(Orientation) 정보이다. 이러한 정보는 최종 비디오 합성을 위하여 필수적인 정보이기 때문이다. 파노라믹 비디오를 만드는 형태는 여러 가지가 있을 수 있다. 파노라믹 정지 영상의 경우는 한대의 카메라를 360도 회전시켜 만들 수 있고, 전 방향성 카메라(Omni-directional camera) 또는 여러 대의 비디오를 구모양(Spherical)으로 배치하여 다이버전트 뷰를 촬영하는 구형(Spherical) 카메라 등으로 영상을 획득할 수 있다.

획득 시스템에서 획득된 영상은 레지스트레이션 절차를 거쳐 도 3과 같이 복원될 수 있다. 도 3은 원통(Cylinder)형 디스플레이에 복원된 그림의 예로, 디스플레이는 원통(Cyliner), 구(Sphere) 등의 단순한 모델부터 다각형 메쉬(Polygonal Mesh) 등의 복잡한 형태의 면을 가질 수 있다. 원기둥 또는 구면으로 표현되는 화소를 처리하는 단위는 여전히 2차원 맵이 된다. 따라서, 원기둥 또는 구면이라 하더라도 도 3의 패치(Patch)처럼, 여러 개의 평면들이 조합되는 형태를 가지는 것이 계산량 측면에서 효과적이다.

어떤 모델을 사용하여 디스플레이하는 경우에도, 파노라믹 영상은 1개의 시점만을 보여주는 영상들에 비해 대용량을 지니게 된다. 따라서, 효율적인 압축과 영상 데이터의 스트리밍이 여전히 중요한 해결 과제로 남는다.

또한, 파노라믹 영상에 대한 획득 및 합성이 완료되면, 이 데이터에 대한 저장과 전송을 위한 압축이 필요하다. 파노라믹 비디오가 디스플레이되는 다각형 모델의 정보를 제외하면 파노라믹 비디오의 압축 문제는 전통적인 비디오 압축과 크게 다르지 않다. 다만, 파노라믹 비디오가 본질적으로 일반적인 비디오에 비해 대용량, 고화질을 요구한다는 것이 근본적인 차이가 된다.

한편, 파노라믹 영상의 경우 높은 압축 효율과 함께 고려되는 중요한 기능이 '영역별 랜덤 액세스' 기능이다. 랜덤 액세스 기능은 전체 이미지 시퀀스 중 원하는 프레임 또는 영역으로 즉시 접근할 수 있도록 하는 기능을 의미한다.

일반적으로 비디오 압축 방법으로서 시간적인 중복을 제거하기 위해 이전 프레임으로부터 예측된 데이터를 사용하여 현재 프레임을 압축하는 인터프레임 부호화(Interframe Coding) 방법이 있다. 인터프레임 방법이 압축효율의 비중있는 상승효과를 가져온 것은 분명하나, 랜덤 액세스 측면에서는 매우 불리한 해결책이 된다.

부득이 랜덤 액세스가 필요한 비디오 시스템의 경우, 인터프레임 부호화된 영상에 접근하기 위해서는 최소 몇 프레임의 지연시간을 받아들여야 한다. 특히, 파노라믹 비디오의 경우는 고해상도를 지닌다는 특성상 이러한 지연시간은 방대한 계산량과 메모리 양을 의미하기도 한다. 즉, 파노라믹 비디오의 경우 압축효율과 시스템 복잡도가 충돌하는 문제가 존재한다.

설령, 몇 프레임의 지연시간을 피하기 위하여 인터프레임 방법을 포기하고 인트라프레임(Intraframe) 방법의 압축을 사용한다 하더라도, 경우에 따라서는 지연 시간의 문제가 계속 남아 있을 수 있다. 한 프레임을 복호화하기 위해 걸리는 계산 시간도 문제가 될 수 있기 때문이다. 4K x 4K 정도 크기의 파노라믹 비디오의 한 프레임을 복호하는 시간은 SIF(352x240) 포맷의 프레임을 복호하는 시간의 대략 120배로 추산할 수 있다. 따라서, 동시에 여러 대의 복호기를 설치하여 돌린다고 가정해도, 이러한 계산 시간은 실시간 복호가 어려울 수 도 있다는 가능성을 제기하기에 충분한 근거가 될 수 있다.

도 4는 랜덤 액세스 중에서도 부분 복호화(Partial Decoding)를 통한 로컬 영역(Local Area)의 복원의 예를 도시한 것이다.

도 4와 같이 전체 파노라믹 영상의 일부만 표시하는 응용 시스템의 경우에는 전체 영상을 모두 디스플레이할 필요가 없음에도 불구하고 전체 영상을 모두 복호해야 함으로써 시스템 낭비 요소 측면까지 발생하게 된다.

예를 들어, 1400x1400 정도 크기의 파노라믹 영상을 기존의 다양한 압축 방식(JPEG, JPEG1200, MPEG4 Video SP Intra, MPEG4 Video SP Inter, MPEG4 AVC Intra, MPEG4 AVC Inter)을 통하여 부호화하는 경우를 설명한다.

이 중 압축효율과 랜덤 액세스 기능을 모두 만족하는 코덱은 존재하지 않는다. 따라서, 파노라믹 비디오의 효과적인 압축을 위해서는 두 가지 기능 모두를 만족할 수 있는 새로운 방식이 필수적이다.

즉, 기존의 영상 프레임들간의 중복성 제거 기법을 이용한 인터(Inter) 부호화 방법들(MPEG4 Video SP Inter, MPEG4 AVC Inter)은 고 압축률을 얻을 수 있는 장점을 지니지만 랜덤 액세스를 위한 복잡도가 증가하여야 하는 단점이 있고, 이와 달리 매 프레임을 개별적으로 부호화하는 인트라(Intra) 부호화 방법(JPEG, JPEG1200, MPEG4 Video SP Intra, MPEG4 AVC Intra)은 랜덤 액세스에 있어서 비교적 용이하지만 압축률이 저하되는 문제가 있었다.

본 발명이 이루고자 하는 기술적 과제는 상기한 종래 기술의 문제점을 극복하기 위한 것으로서, 파노라믹 영상의 압축 부호화에서 압축 부호화 효율의 감소를 최소화하면서도 랜덤 액세스 기능이 빠른 처리 속도로 제공되는 파노라믹 영상을 부호화하고 복호화하기 위한 방법 및 장치를 제공하기 위한 것이다.

상기 과제를 달성하기 위하여 본 발명의 하나의 특징에 따른 영상 부호화 장치는 제1 영상을 복수개의 서브 영상으로 분리하여 출력하는 영상 분리부; 상기 영상 분리부에서 출력된 상기 서브 영상을 부호화하여 비트스트림으로 출력하는 제1 부호화부; 상기 서브 영상의 비트스트림 정보량을 계산하고, 상기 정보량과 상기 서브 영상의 구성 정보를 이용하여 BMAP(Bitstream Map) 정보를 생성하는 BMAP 구성부; 및 상기 서브 영상의 비트스트림과 상기 BMAP 정보를 결합하여 출력하는 비트스트림 결합부를 포함한다.

본 발명의 하나의 특징에 따른 영상 복호화 장치는 복수개의 서브 영상을 포함하는 제1 영상의 비트스트림을 수신하는 비트스트림 수신부; 상기 비트스트림에 포함된 BMAP 정보를 판독하고, 상기 복수개의 서브 영상 중 복호화할 서브 영상의 정보를 출력하는 BMAP 판독부; 상기 복호화할 서브 영상의 정보를 이용하여 상기 비트스트림 중 상기 복호화할 서브 영상에 대응되는 비트스트림을 추출하는 서브 영상 추출부; 및 상기 서브 영상 추출부로부터 추출된 비트스트림을 복호화하는 서브 영상 복호화부를 포함한다.

본 발명의 하나의 특징에 따른 영상 부호화 방법은 제1 영상을 입력하는 제1 단계; 상기 제1 영상을 복수개의 서브 영상으로 분리하는 제2 단계; 상기 서브 영상을 부호화하여 상기 서브 영상의 비트스트림을 생성하는 제3 단계; 상기 서브 영상의 비트스트림의 정보량을 산출하고, 상기 정보량과 상기 서브 영상의 구성 정보를 이용하여 BMAP 정보를 생성하는 제4 단계; 상기 서브 영상의 비트스트림과 상기 BMAP 정보를 결합하여 상기 프레임 비트스트림을 생성하는 제5 단계; 및 상기 프레임 비트스트림을 결합하여 상기 제1 영상의 비트스트림을 형성하는 제6 단계를 포함한다.

본 발명의 하나의 특징에 따른 영상 복호화 방법은 복수개의 서브 영상을 포함하는 제1 영상의 비트스트림을 수신하는 제1 단계; 상기 비트스트림에 포함된 BMAP 정보를 이용하여 상기 복수개의 서브 영상 중 복호화할 영역에 대응되는 서브 영상의 정보를 판독하는 제2 단계; 및 상기 비트스트림에서 복호화할 상기 서브 영상의 정보에 대응되는 비트스트림을 추출하여 복호화하는 제3 단계를 포함한다.

본 발명의 하나의 특징에 따른 영상 부호화 프로그램을 기록한 기록매체는 적어도 하나의 프레임을 포함하는 영상을 입력하는 기능; 상기 프레임 영상을 복수개의 서브 영상으로 분리하는 기능; 상기 서브 영상을 부호화하여 상기 서브 영상 의 비트스트림을 생성하는 기능; 상기 서브 영상의 비트스트림의 정보량을 산출하고, 상기 정보량과 상기 서브 영상의 구성 정보를 이용하여 BMAP 정보를 생성하는 기능; 및 상기 서브 영상의 비트스트림과 상기 BMAP 정보를 결합하여 상기 프레임 비트스트림을 생성하는 기능을 수행한다.

본 발명의 하나의 특징에 따른 영상 복호화 프로그램을 기록한 기록매체는 복수개의 서브 영상을 포함하는 비트스트림을 수신하는 기능; 상기 비트스트림에 포함된 BMAP 정보를 이용하여 상기 복수개의 서브 영상 중 복호화할 영역이 포함된 서브 영상의 정보를 판독하는 기능; 및 상기 비트스트림에서 복호화할 상기 서브 영상의 정보에 대응되는 비트스트림을 추출하여 복호화하는 기능을 포함한다.

이하, 본 발명의 실시예를 도면을 참조하여 상세히 설명한다.

도 5는 본 발명의 일실시예에 따른 영상 부호화 장치를 도시한 것이다.

도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 영상 부호화 장치는 영상 분리부(110), 압축 부호화부(120), BMAP 구성부(130), 이진화부(140), 및 비트스트림 결합부(150)를 포함한다.

영상 분리부(110)는 입력되는 파노라믹 영상을 타일 구성 정보를 이용하여 복수개의 타일 영상으로 분리한다. 여기서, 타일 영상이란 전체 영상에 포함되는 서브 영상을 의미하며, 타일 구성 정보는 전체 영상이 각 타일 영상으로 분리된 형태에 대한 정보이다. 예컨대, 각 타일 영상의 크기를 동일하게 설정하는 경우에는 타일 영상의 가로 및 세로 픽셀 값이 타일 구성 정보가 된다. 도 6은 영상 분리부(110)가 입력 영상을 8개의 타일 영상으로 분리한 경우를 예시적으로 도시한 것이다.

압축 부호화부(120)는 이미지 분리부(110)에 의하여 분리된 각 타일 영상을 압축하여 부호화한다. 본 발명의 일실시예에 따르면, 압축 부호화부(120)는 JPEG 부호화를 적용하여 영상을 부호화할 수 있으며, 이 경우 압축 부호화부(120)는 타일 영상에 대하여 이산여현직교변환을 수행하는 DCT(discrete cosine transform) 수행부(121), DCT 수행부(121)의 출력 신호를 양자화하는 양자화부(Quantization, 122), 및 엔트로피 인코더(Entropy Encoder, 123)를 포함한다. 이러한 압축 부호화부(120)의 내부 구성 및 동작은 이미 당업계에 널리 알려진 것이므로 이에 대한 상세한 설명은 생략하기로 한다.

BMAP 구성부(130)는 영상 부호화부(120)로부터 출력된 타일 영상의 비트스트림을 입력하여 각 타일 영상마다의 발생 정보량을 계산하고, 상기 발생 정보량과 타일 구성 정보를 결합하여 비트스트림 맵(bitstream map, BMAP) 정보를 생성한다. 다음은 본 발명의 일실시예에 따른 BMAP 정보를 도시한 것으로서, BMAP 정보는 헤더 정보, 타일 구성 정보, 각 타일 영상의 발생 비트량을 포함한다.

Header 정보

타일 구성 정보

타일1 발생 비트량

...

타일 N 발생 비트량

BMAP 정보의 헤더에는 동기 신호(synchronize bit), 시작 신호(start signal), 버전 넘버 등이 포함될 수 있으며, 실시예에 따라서 다양한 정보가 포함될 수 있다.

이진화부(140)는 BMAP 구성부(130)로부터 출력된 BMAP 정보를 이진화하여 출력한다.

비트스트림 결합부(150)는 압축 부호화부(120)로부터 출력된 타일 영상의 비트스트림과 이진화부(140)에서 출력된 BMAP 정보의 비트스트림을 결합하여, 다음과 같은 최종적인 비트스트림을 형성한다.

Header 정보

BMAP

타일1 압축 비트스트림

...

타일 N 압축 비트스트림

최종적인 비트스트림의 헤더에는 영상의 이름, 영상의 컬러 정보 등 실시예에 따라서 다양한 정보가 포함될 수 있다. 또한, 상기에서는 BMAP 정보의 비트스트림이 타일 영상 비트스트림의 앞부분에 결합되는 것으로 도시하였으나, 실시예에 따라서 BMAP 정보의 결합 위치가 다르게 설정될 수 있음은 물론이다.

이로써, 복호화 장치에서는 수신된 비트스트림에서 BMAP 정보를 판독함으로써 사용자가 원하는 영역을 포함하고 있는 타일 영상의 위치를 손쉽게 파악할 수 있게 된다.

따라서, 사용자가 원하는 영역의 영상만을 복호화하여 사용자에게 제공할 수 있으며, 전체 파노라믹 영상을 복호화하여 메모리에 저장 후 사용자가 원하는 영상 영역을 제공하는 종래의 방법에 비하여 적은 계산량으로 원하는 영상을 빠르게 제공할 수 있게 된다.

한편, 이하의 설명에서는 타일 영상을 압축 부호화하여 출력된 비트스트림을 "타일 영상 비트스트림"이라 하고, 타일 영상 비트스트림에 BMAP 정보가 결합되어 실제로 전송되는 비트스트림을 "전체 영상 비트스트림"이라 한다.

도 7은 본 발명의 일실시예에 따른 전체 영상 비트스트림을 복호화하여 영상을 제공하는 복호화 장치를 도시한 블록도이다.

도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 복호화 장치는 비트스트림 수신부(210), 인터페이스부(220), BMAP 판독부(230), 타일 추출부(240), 및 타일 복호화부(250)를 포함한다.

비트스트림 수신부(210)는 영상 부호화 장치로부터 전송된 전체 영상 비트스트림을 수신하여 BMAP 판독부(230)로 전송한다. 인터페이스부(220)는 키 신호 입력을 위한 키패드, 외부 기기와의 통신을 위한 인터페이스 등을 포함하며, 사용자는 인터페이스부(220)를 통하여 복호화할 영역의 영상을 선택할 수 있다.

BMAP 판독부(230)는 입력된 비트스트림에서 BMAP 정보를 판독하고, 복호화할 영역에 대응되는 타일 영상의 정보를 추출한다. 여기서, 타일 영상의 정보는 입력된 전체 스트림 내에서 복호화할 타일에 대응하는 비트스트림의 위치에 관한 정보(예컨대, 각 타일의 정보량(Byte수))를 포함한다. 또한, 필요에 따라, 상기 타일 영상의 정보는 각 타일의 사이즈, 타일의 스캔 방향/순서, 또는 각 타일 영상의 위치정보(표시 영상 내에서의 위치정보를 말함) 등에 관한 정보를 포함할 수도 있다. 즉, BMAP 정보를 판독하여 복호화할 영역의 영상이 어느 타일 영상에 포함되어 있는지 또는 대응되는지를 판독하고 (만약, 타일의 구성 정보를 이미 복호화 장치에서 보유하고 있어서, 인터페이스부(220)에서 복호화할 타일 영상이 어떤 것인지 알고 있다면, 이 과정은 생략이 가능함), 상기 타일 영상에 대응하는 비트스트림이 상기 입력된 비트스트림 중 어디에 위치하는 지를 판독하여 출력한다.

타일 추출부(240)는 BMAP 판독부(230)로부터 출력된 타일 영상에 대한 정보를 이용하여 타일 영상에 대응하는 비트스트림을 추출한다.

타일 복호화부(250)는 추출된 타일 비트스트림을 복호화하여 비트스트림에 대응되는 영상을 사용자에게 제공한다.

이로써, 본 발명의 일실시예에 따른 복호화 장치는 BMAP 정보를 이용하여 사용자가 원하는 영역의 타일 영상 비트스트림을 추출할 수 있고, 추출된 타일 영상의 비트스트림만을 복호화함으로써 사용자가 원하는 영상을 적은 계산량으로 빠르게 제공할 수 있다.

본 발명의 실시예에 따르면, 입력되는 타일 영상의 압축 부호화 방법으로서 여러 방법이 이용될 수 있으며, 이하에서는 JPEG 표준을 이용한 영상의 압축 부호화 방법을 중심으로 설명한다.

도 8은 본 발명의 일실시예에 따른 JPEG 표준을 이용한 영상 압축 부호화 방법을 도시한 것이다.

도 8에 도시된 바와 같이, 영상이 입력되면(S301) 영상 분리부(110)는 영상을 복수의 타일로 분리한다(S302). 이하의 설명에서는, 입력되는 영상의 크기가 1024x1024이고, 영상 분리부(110)는 영상을 16x16 크기를 갖는 타일로 분리하는 것으로 가정한다. 이로써, 영상은 영상 분리부(110)에 의하여 16x16 개의 타일로 분리된다.

이 후, 압축 부호화부(120)는 16x16 개의 각 타일에 대하여 JPEG 압축 부호화를 수행한다(S303). JPEG 표준 규격은 임의의 크기를 지니는 영상에 대하여 압축 부호화가 가능하며, 8x8 크기의 블록을 최소 단위로 하여 부호화를 수행하기 때문에, 16x16 크기의 타일의 경우에는 4개의 8x8 블록이 존재하게 된다.

BMAP 구성부(130)는 압축 부호화부(120)가 JPEG 규격으로 부호화한 경우의 발생 정보량을 계산한다(S304). JPEG 표준 규격으로 영상을 압축 부호화한 경우 발생하는 비트량은 8의 배수로 나타날 수 있다. 따라서, 본 실시예의 경우 발생 비트량의 단위를 byte로 할 수 있으므로, 실제적인 수치 값은 각 타일별 발생하는 byte 값이 될 수 있다. 예컨대, 임의의 타일을 압축 부호화하여 발생한 bit 량이 256 bit라고 하면, 32 byte이므로 발생 정보량은 32가 된다.

이 후, BMAP 구성부(130)는 타일의 발생 정보량을 이용하여 BMAP 정보를 구성한다(S305). 이 때, 모든 타일의 크기를 16x16으로 정의하였으므로, 타일의 헤더 정보에 포함되어야 할 정보는 가로 세로 픽셀 수(16)이면 충분하다. 만일 타일별 그리고 각 타일의 순서를 우선 가로 방향, 그리고 세로 방향으로 순차적으로 스캔한다고 정의하고, 이러한 순서가 영상 부호화 장치와 복호화 장치에서 정의되어 있는 경우에는, 타일 구성 정보에 다른 추가적인 정보는 입력하지 않아도 좋다.

다음은 모든 타일의 크기가 16x16인 경우 BMAP 정보의 구성예를 도시한 것이다.

실시예에 따라서, 영상 분리부(110)는 입력되는 영상을 임의의 크기를 갖는 타일 영상으로 분리할 수 있으며, 이 때에는 모든 타일 영상에 대한 가로, 세로 크기와 해당 타일 영상의 위치 정보가 포함되어야 한다.

BMAP에 각 타일별 발생 Byte수를 포함하고 있는 구성에 있어서, BMAP 정보를 이용하여 복호화 대상 타일에 대응하는 비트스트림을 전체 입력스트림에서 찾는 방법은 다음과 같다. 예컨대, 1번 타일의 정보량이 100바이트, 2번 타일은 90바이트, 3번 타일은 130바이트, 4번 타일은 80바이트, …., N번 타일은 150바이트라고 가정하자. 만약, 4번 타일부터 10번 타일까지 만을 표시하고자 하는 경우라면, BMAP 정보를 통해 3번 타일에 대응하는 비트스트림이 전체 비트스트림 중 320번째 바이트에서 종료되고(320 = 100 + 90 + 130), 4번 타일에 대응하는 비트스트림은 321번째 바이트부터 시작된다는 것을 알 수 있으며, 동일한 방법으로 10번 타일의 종료 위치도 쉽게 알 수 있으므로, 이를 통해 랜덤 액세스가 가능하게 된다.

BMAP 구성부(130)에서 생성된 BMAP 정보는 정수의 형태로 표현된 정보이므로, 이진화부(140)는 BMAP 정보가 실제적으로 저장 및 전송될 수 있도록 이진화 과정을 수행한다(S306). 일반적으로 정수 값들의 이진화는 최대 값의 범위를 규정하여, 각 정보별로 특정 bit를 할당하는 방식이 대표적이다.

예를 들어, 타일 영상별 발생 byte 양을 위하여 10 bit를 할당해 놓으면, 최대 1024 값까지 표현이 가능해진다. 그러나, 이러한 방식은 실제 필요한 할당 bit 양에 비하여 추가하여 bit를 할당하게 되는 경우가 발생할 수 있고, 또한 그 반대의 경우인 최대 허용 값 이상의 값이 발생하는 경우, 그 처리를 위하여 추가적인 부가 정보가 전달되어야 하는 문제점이 있다. 이러한 문제를 해결하기 위하여 해당 값들을 단항 연산(unary arithmetic) 부호화를 하는 방법이 이용될 수 있다. 단항 연산 부호화 방법을 예를 들어 설명하면, 부호화해야 할 값이 3, 4, 2라고 할 때, 각 값만큼의 0을 나열하고 마지막에 1일 나열하여 임의의 자연수를 이진화시키는 방법이다 (예: 2->001, 3->0001, 4->00001, 10->00000000001).
또한, 본 발명의 다른 실시예에 따르면, 이진화부(140)는 BMAP 정보 중 인접하는 값간의 차이를 구하고, 그 차이값에 대하여 이진화를 수행하는 차이값 부호화(DPCM, differential pulse code modulation) 방법을 이용할 수 있다. 예컨대, 3개의 타일에 대한 발생 비트량 또는 바이트량이 10, 12, 11인 경우, 실제적으로 (10, 2, -1)을 이진화하여 전송한다. 그런데, 차이값 부호화 방법을 적용하여 차이값을 전송하는 경우, 차이값으로 음수가 발생할 수 있다. 따라서 이 경우에는 차이값의 절대값만을 단한 연산 부호화하고, 이 값의 뒤 또는 앞에 1 비트의 사인(sign) 정보를 추가하여 표현한다. 예를 들어, 양수인 경우 1을, 음수인 경우 0을 사인 정보로 단항 연산 부호화 값의 앞에 추가하는 경우 2는 1001로 표현되고, -2는 0001로 표현된다.

삭제

이 후, 이진화부(140)는 BMAP 정보의 이진화 과정을 통하여 발생한 이진수를 이진 산술(binary arithmetic) 압축 부호화를 적용하여 출력한다.

도 9는 BMAP 정보의 이진화 과정을 도시한 것으로서, 헤더 정보와 타일 영상별 발생 정보량을 이진 형태로 표현한 후 이진 산술 압축 부호화 과정을 수행함으로써 BMAP 정보를 압축 부호화할 수 있다.

이 때, 이진 산술 압축 부호화 과정은 전송해야 할 데이터의 정보량을 감소시키기 위한 것으로, 실시예에 따라서는 산술 압축 부호화 과정을 수행하지 않고 이진 형태로 표현된 것을 그대로 전송할 수 있다.

BMAP 정보의 이진화 과정이 완료되면, BMAP 정보의 비트스트림과 타일 영상의 비트스트림을 결합하여 전체 영상 비트스트림을 형성한다(S307).

이러한 과정을 통하여, 하나의 파노라믹 영상에 대하여 BMAP을 이용한 압축 부호화가 가능하고, 동일한 과정이 여러 장의 프레임으로 확장되면, 비디오 정보에 대하여 부호화가 가능하게 된다.

도 10은 복수의 프레임을 갖는 영상의 비트스트림을 예시적으로 도시한 것이다. 도 10에 도시된 바와 같이, 복수개의 프레임을 갖는 영상의 경우 JPEG 압축을 기반으로 BMAP 정보를 프레임마다 포함시켜 전송할 수 있다.

이하에서는 본 발명의 다른 실시예에 따른 영상 압축 부호화 방법이 공간 영역 스케일러블 부호화 방식에 적용된 경우를 설명한다.

동영상을 압축 부호화하기 위한 방법 중에는 공간 영역 스케일러블 부호화(spatial scalable video coding) 방법이 있다. 본 방법은 채널 용량이 가변되는 인터넷 등의 환경에서 비디오 정보를 전달하기 위한 방법으로서, 네트워크 채널 용량의 변화에 적응하면서 최대한의 비디오 정보를 전달하기 위한 방법이다. 대표적인 표준으로는 MPEG-4 Visual FGS(fine granular scalability)가 있다.

도 11은 본 발명의 다른 실시예에 따른 영상 압축 부호화 단말기를 도시한 것이다.

도 11에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 영상 압축 부호화 단말기는 다운 샘플링부(410), 제2 부호화부(420), 업 샘플링부(430), 합산부(440), 및 제1 부호화부(450)를 포함한다.

다운 샘플링부(410)는 입력 비디오에 대하여 다운 샘플링을 수행한다. 다운 샘플링은 영상의 가로 및 세로 크기를 줄이는 것으로 일반적으로 1/2, 또는 1/4 등의 2의 배수에 따라 영상의 크기를 감소시킨다.

제2 부호화부(420)는 다운 샘플링된 영상에 대하여 인터프레임(interframe) 부호화를 수행한다. MPEG-4 Visual FGS 표준의 경우에는 기존의 MPEG-4 Part2 Visual 규격에 따라 압축 부호화를 수행한다. 그리고 이러한 과정을 통하여 발생하는 비트스트림을 '기저층(baselayer) 비트스트림'이라고 한다. 인터프레임 부호화 방법에 대해서는 이미 당업계에 널리 알려져 있는 것이므로, 여기서 상세한 설명은 생략하기로 한다.

업샘플링부(430)는 제2 부호화부(420)에서 출력된 기저층 비트스트림을 업샘플링하여 출력한다. 업샘플링 과정은 영상의 크기를 크게 하는 처리 과정이다.

합산부(440)는 입력 영상과 업샘플링부(430)를 통하여 출력된 영상의 차이를 구하여 상위층(enhancement layer) 영상으로 출력한다.

제1 부호화부(450)는 합산부(440)를 통하여 출력된 상위층 영상을 부호화하여 상위층 영상의 비트스트림을 생성한다. 제1 부호화부(450)의 부호화 방법에 있어서도 상위층의 프레임간의 중복도를 이용하지 않고, 프레임별로 압축부호화를 수행하는 방법을 사용할 수 있다. 즉, 제1 부호화부(450)에서는 프레임 별로만 부호화를 수행하므로, 결국 제1 부호화부(450)의 부호화는 Intra 부호화로 고려될 수 있다.

이 때, 제1 부호화부(450)는 상위층의 영상의 부호화에 상술한 BMAP 정보가 포함될 수 있도록 한다. 즉, 상위층의 영상을 복수의 타일 영상으로 분리하고, 각 타일 구성 정보와 타일 영상의 정보 발생량을 포함하는 BMAP 정보를 타일 영상의 비트스트림과 결합하여 상위층 비트스트림을 출력한다.

이로써, 비트스트림을 복호화하여 사용자에게 영상을 제공하는 사용자 단말기는 상위층의 영상에 대하여 BMAP 정보를 판독함으로써 최소한의 타일 영상만을 복호화하여 사용자에게 제공할 수 있게 된다. 따라서, 고해상도의 비디오 동영상을 복호화하는 과정에서 수행되는 계산량을 효과적으로 줄일 수 있다.

또한, 도 11에서는 다운 샘플링된 영상을 인터프레임 부호화를 수행하는 것으로 도시하였으나, 실시예에 따라서 다른 비디오 압축 부호화 방법을 사용할 수 있다.

도 12는 본 발명의 다른 실시예에 따른 영상의 비트스트림을 수신하여 영상을 제공하는 수신 단말기를 도시한 것이다.

도 12에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 수신 단말기는 기저층 비트스트림을 수신하여 복호화하는 제1 처리부(510), 상위층 비트스트림을 수신하여 복호화하는 제2 처리부(520), 및 합산부(530)를 포함한다.

제1 처리부(510)는 기저층 비트스트림을 수신하는 비트스트림 수신부(511), 수신된 기저층 비트스트림을 복호화하는 복호화부(512), 및 복호화된 데이터를 업샘플링하는 업샘플링부(513)를 포함한다.

제2 처리부(520)는 상위층 비트스트림을 수신하는 비트스트림 수신부(521), 사용자 인터페이스를 제공하는 인터페이스부(522), 상위층 비트스트림으로부터 BMAP 정보를 판독하여 사용자가 원하는 영역을 복호화하는데 필요한 타일 영상에 대한 정보를 추출하는 BMAP 판독부(523), BMAP 판독부(523)로부터 출력된 타일 영상에 대한 정보를 입력하여 수신된 전체 상위층 비트스트림에서 타일 영상 비트스 트림을 추출하는 타일 추출부(524), 및 타일 추출부(524)로부터 추출된 타일 영상 비트스트림을 복호화하여 출력하는 복호화부(525)를 포함한다.

합산부(530)는 제1 처리부(510)에서 출력된 영상 신호와 제2 처리부(520)에서 출력된 영상 신호를 합산하여 출력한다.

이로써, 작은 크기의 기저층 비트스트림에 대해서는 복호화를 필수적으로 수행하고, 고화질의 영상 제공을 위하여 복호화가 이루어져야 하는 상위층에 대해서는 BMAP 정보를 해석하여 최소한의 타일 영상만을 복호화하여 사용자가 원하는 영역의 영상을 제공할 수 있다.

이상으로 본 발명의 실시예에 따른 영상 부호화 장치 및 방법과 부호화된 영상의 복호화 장치 및 방법에 대하여 설명하였다. 상기 설명된 실시예는 본 발명의 개념이 적용된 일실시예로서, 본 발명의 범위가 상기 실시예에 한정되는 것은 아니며 본 발명의 개념을 그대로 이용하여 여러 가지 변형된 실시예를 형성할 수 있음은 당업자에게 자명하다.

또한, 본 발명에 따른 상기의 각 단계는 일반적인 프로그래밍 기법을 이용하여 소프트웨어적으로 또는 하드웨어적으로 다양하게 구현할 수 있다. 그리고, 본 발명의 일부 단계들은, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다.

컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 잇는 데이터가 저장되어 있는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, CD-RW, 자기 테이프, 플로피디스크, HDD, 광 디스크, 광자기 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.

본 발명에 따르면, 파노라믹 영상을 복수의 타일 영상으로 분리하여 부호화하고, 타일 구성 정보와 비트스트림의 정보량을 이용하여 BMAP 정보를 생성함으로써 압축 부호화 효율이 높은 파노라믹 영상의 압축 부호화 방법 및 장치를 제공할 수 있다.

또한, 영상의 비트스트림에서 복호화하고자 하는 영상의 영역에 대응되는 비트스트림을 BMAP 정보를 이용하여 추출함으로써, 랜덤 액세스 기능이 빠른 속도로 제공되는 파노라믹 영상의 복호화 방법 및 장치를 제공할 수 있다.

Claims

제1 영상을 복수 개의 서브 영상으로 분리하여 출력하는 영상 분리부;

상기 영상 분리부에서 출력된 상기 복수 개의 서브 영상을 부호화하여 비트스트림으로 출력하는 제1 부호화부;

상기 복수 개의 서브 영상의 비트스트림 정보량을 계산하고, 상기 정보량과 상기 서브 영상의 구성 정보를 이용하여 BMAP(Bitstream Map) 정보를 생성하는 BMAP 구성부; 및

상기 제1 부호화부에서 생성된 비트스트림과 상기 BMAP 정보를 결합하여 출력하는 비트스트림 결합부

를 포함하는 영상 부호화 장치.
제1항에 있어서,

상기 BMAP 구성부에서 생성된 BMAP 정보를 이진화하여 상기 비트스트림 결합부로 출력하는 이진화부를 더 포함하고, 상기 비트스트림 결합부는 상기 서브 영상의 비트스트림과 상기 이진화된 BMAP 정보를 결합하는 영상 부호화 장치.
제2항에 있어서,

상기 BMAP 구성부는,

상기 제1 부호화부에서 생성된 비트스트림에서 상기 서브 영상 각각의 발생 정보량을 계산하는 영상 부호화 장치.
제3항에 있어서,

상기 이진화부는,

상기 BMAP 구성부에서 계산된 각 서브 영상의 발생 정보량에 기초하여 각 서브 영상에 대하여 일정한 비트량을 할당하여 상기 BMAP 정보에 대응되는 이진수를 출력하는 영상 부호화 장치.
제2항 내지 제4항 중 어느 하나의 항에 있어서,

상기 이진화부는,

상기 각각의 서브 영상에 할당된 비트량 정보에 대하여 단항 연산(unary arithmetic)을 수행하는 영상 부호화 장치.
제2항 내지 제4항 중 어느 하나의 항에 있어서,

상기 이진화부는 상기 BMAP 정보를 차이값 부호화(DPCM, differential pulse code modulation)하고, 상기 차이값 부호화된 결과를 이진화하는 영상 부호화 장치.
제6항에 있어서,

상기 비트스트림 결합부는 상기 BMAP 정보를 상기 서브 영상의 비트스트림의 앞부분에 결합하는 영상 부호화 장치.
제1항에 있어서,

상기 제1 부호화부는 상기 복수 개의 서브 영상을 JPEG 부호화 방법을 이용하여 부호화하는 영상 부호화 장치.
제1항에 있어서,

상기 제1 영상을 다운샘플링하여 제2 영상을 생성하는 다운샘플링부;

상기 제2 영상을 부호화하여 출력하는 제2 부호화부;

상기 제2 부호화부에서 출력된 부호화된 영상을 업샘플링하는 업샘플링부; 및

상기 업샘플링된 영상과 상기 제1 영상의 차이를 추출하여 상위층 영상을 생성하는 합산부

를 더 포함하는 영상 부호화 장치.
복수개의 서브 영상을 포함하는 제1 영상의 비트스트림을 수신하는 비트스트림 수신부;

상기 비트스트림에 포함된 BMAP 정보를 판독하고, 상기 복수개의 서브 영상 중 복호화할 서브 영상의 정보를 추출하는 BMAP 판독부;

상기 복호화할 서브 영상의 정보를 이용하여 상기 비트스트림 중 상기 복호화할 서브 영상에 대응되는 비트스트림을 추출하는 서브 영상 추출부; 및

상기 서브 영상 추출부로부터 추출된 비트스트림을 복호화하여 영상 신호를 생성하는 제1 복호화부

를 포함하는 영상 복호화 장치.
제10항에 있어서,

상기 BMAP 정보는 상기 서브 영상의 구성 정보와 상기 서브 영상의 비트스트림의 정보량을 포함하는 영상 복호화 장치.
제10항에 있어서,

사용자가 상기 제1 영상 중 복호화할 영역을 선택하도록 인터페이스를 제공하는 인터페이스부를 더 포함하는 영상 복호화 장치.
제10항에 있어서,

상기 서브 영상의 정보는 상기 전체 영상의 비트스트림 중 상기 복호화할 서브 영상의 비트스트림이 포함된 위치를 나타내는 정보인 영상 복호화 장치.
제10항에 있어서,

기저층 영상의 비트스트림을 복호화하여 출력하는 제2 복호화부

를 더 포함하는 영상 복호화 장치.
제14항에 있어서,

상기 제2 복호화부의 출력 영상을 업샘플링하는 업샘플링부; 및

상기 업샘플링부에서 출력된 영상과 상기 제1 복호화부에서 출력된 영상을 합산하는 합산부

를 더 포함하는 영상 복호화 장치.
제14항에 있어서,

상기 제2 복호화부는 인트라프레임 복호화를 수행하는 영상 복호화 장치.
제1 영상을 입력하는 단계;

상기 제1 영상을 복수개의 서브 영상으로 분리하는 단계;

상기 서브 영상을 부호화하여 상기 서브 영상의 비트스트림을 생성하는 단계;

상기 서브 영상의 비트스트림의 정보량을 산출하고, 상기 정보량과 상기 서브 영상의 구성 정보를 이용하여 BMAP 정보를 생성하는 단계;

상기 서브 영상의 비트스트림과 상기 BMAP 정보를 결합하여 상기 제1 영상의 비트스트림을 형성하는 단계

를 포함하는 영상 부호화 방법.
제17항에 있어서,

상기 서브 영상의 비트스트림 생성 단계는,

상기 서브 영상에 대하여 이산여현직교변환을 수행하는 단계,

상기 이산여현직교변환된 데이터를 양자화하는 단계, 및

상기 양자화된 데이터를 엔트로피 부호화하는 단계를 포함하는 영상 부호화 방법.
제17항에 있어서,

상기 BMAP 정보를 결합하는 단계는,

상기 BMAP 정보를 이진화하여 상기 서브 영상의 비트스트림과 결합하는 영상 부호화 방법.
제17항에 있어서,

상기 제1 영상을 다운샘플링한 후 부호화하여 제2 영상의 비트스트림을 생성하는 단계; 및

상기 생성된 제2 영상 비트스트림을 업샘플링한 후 상기 제1 영상과의 차이를 추출하여 상위층 영상을 생성하는 단계

를 더 포함하는 영상 부호화 방법.
복수개의 서브 영상의 BMAP 정보를 포함하는 제1 영상의 비트스트림을 수신하는 단계;

상기 비트스트림에 포함된 BMAP 정보를 이용하여 상기 복수개의 서브 영상 중 복호화할 영역에 대응되는 서브 영상의 정보를 판독하는 단계; 및

상기 비트스트림에서 복호화할 상기 서브 영상의 정보에 대응되는 비트스트림을 추출하여 복호화하는 단계

를 포함하는 영상 복호화 방법.
제21항에 있어서,

상기 BMAP 정보는 상기 서브 영상의 구성 정보와 상기 서브 영상의 비트스트림 정보량을 포함하는 영상 복호화 방법.
제21항에 있어서,

기저층 영상의 비트스트림을 수신하여 복호화하여 기저층 영상 신호를 생성하는 단계;

상기 복호화된 기저층 영상 신호를 업샘플링하는 단계; 및

상기 서브 영상의 정보에 대응되는 비트스트림이 추출되어 복호화된 영상과 상기 업샘플링된 기저층 영상 신호를 합산하여 출력하는 단계

를 더 포함하는 영상 복호화 방법.
적어도 하나의 프레임을 포함하는 영상을 입력하는 기능;

상기 프레임 영상을 복수개의 서브 영상으로 분리하는 기능;

상기 서브 영상을 부호화하여 상기 서브 영상의 비트스트림을 생성하는 기능;

상기 서브 영상의 비트스트림의 정보량을 산출하고, 상기 정보량과 상기 서브 영상의 구성 정보를 이용하여 BMAP 정보를 생성하는 기능; 및

상기 서브 영상의 비트스트림과 상기 BMAP 정보를 결합하여 상기 프레임 비트스트림을 생성하는 기능

을 포함하는 영상 부호화 프로그램을 기록한 기록매체.
제24항에 있어서,

상기 영상이 복수개의 프레임을 포함하는 경우, 상기 복수개의 프레임 비트스트림을 결합하여 상기 영상의 비트스트림을 형성하는 기능을 더 포함하는 영상 부호화 프로그램을 기록한 기록매체.
복수개의 서브 영상을 포함하는 비트스트림을 수신하는 기능;

상기 비트스트림에 포함된 BMAP 정보를 이용하여 상기 복수개의 서브 영상 중 복호화할 영역이 포함된 서브 영상의 정보를 판독하는 기능; 및

상기 비트스트림에서 복호화할 상기 서브 영상의 정보에 대응되는 비트스트림을 추출하여 복호화하는 기능

을 포함하는 영상 복호화 프로그램을 기록한 기록매체.
제26항에 있어서,

상기 BMAP 정보는 상기 서브 영상의 구성 정보와 상기 서브 영상의 비트스트림 정보량을 포함하는 영상 복호화 프로그램을 기록한 기록매체.