KR101549018B1 - 공간임의접근을 지원하는 영상 코덱 시스템, 영상 부호화 방법 및 복호화 방법 - Google Patents

Abstract

본 발명은 공간임의접근을 지원하는 영상 코덱 시스템, 영상 부호화 방법, 및 영상 복호화 방법을 제안한다. 본 발명의 일 실시예에 따른 영상 코덱 시스템은 다수의 조각 영상 각각을 시작 위치가 다른 2개 이상의 스캔 방향으로 그 블록들을 순차적으로 부호화함으로써 조각 영상 각각에 대하여 2개 이상의 비트스트림을 생성하고, 대상 영상의 위치 정보에 기초하여 대상 영상과 겹치는 영역을 갖는 조각 영상 각각의 상기 2개 이상의 비트스트림 중에서 하나의 비트스트림을 추출하여 전송하기 위한 제1 부호화 서버 및 제1 부호화 서버로부터 전송되는 비트스트림을 그 스캔 방향으로 복호화하여 대상 영상을 재구성하는 영상 복호화 장치를 포함한다. 본 발명에 의하면, 각 조각 영상을 여러 가지 스캔 방향으로 부호화를 수행한 후에, 각 조각 영상에 대한 대상 영상의 상대적인 위치를 고려하여, 전송 데이터의 양을 최소로 할 수 있도록 선택된 스캔 방향에 따라 부호화된 각 조각 영상의 전부 또는 일부에 대한 비트스트림만을 추출하여 전송함으로써, 전송 및 복호화 효율을 향상시킬 수 있다.

Description

공간임의접근을 지원하는 영상 코덱 시스템, 영상 부호화 방법 및 복호화 방법{Image codec system, image encoding method, and image decoding method for supporting spatial random access}

본 발명은 영상 코덱 시스템에 관한 것으로, 보다 구체적으로 공간임의접근(spatial random access)을 지원하는 영상 코덱 시스템, 영상 부호화 방법, 및 영상 복호화 방법에 관한 것이다.

최근 방송의 디지털화와 더불어 방송과 통신의 융합이 활발히 진행되고 있다. 이에 따라서, 방송 환경도 기존의 단방향 수신에서 양방향 통신이 가능해짐과 아울러 이종망의 연동과 다양한 단말기를 수용하는 복잡한 형태로 변화하고 있다. 이러한 흐름을 반영하는 대표적인 예로 유비쿼터스 텔레비젼(TV)을 들 수 있다. 유비쿼터스 TV란 디지털 기기가 인터넷에 연결되어 있으면 언제 어디서나 볼 수 있는 TV를 말한다. 유비쿼터스 TV를 시청하기 위해서는 유비쿼터스 TV용 튜너를 케이블 또는 지상파 TV의 안테나에 연결하고 또한 이를 초고속 인터넷선에 연결하면 된다. 이러한 유비쿼터스 TV를 이용하면, 노트북, 개인 휴대용 정보 단말기(PDA), 와이브로 단말기 등의 휴대용 단말기를 이용해 원격으로 유비쿼터스 TV용 튜너를 조정해 TV 프로그램만이 아니라, 영화, 사진, 애니메이션 등의 다양한 미디어를 볼 수 있다. 이러한 유비쿼터스 TV를 이용하는 서비스는 사용자가 원하는 형태의 단말기를 이용하여 언제, 어디서나 원하는 정보를 받아 볼 수 있다는 점에서 차세대 서비스로 급부상하고 있다.

그런데 다양한 단말기에서 정보를 공유할 수 있는 유비쿼터스 환경은 단말기간의 해상도 불일치라는 새로운 문제를 만들어 내고 있다. 일례로, 최근의 고화질 텔레비젼(HDTV)의 경우에는 1920×1080의 해상도까지 지원하고 있고, 미국 중심의 영화 업계에서 새롭게 기획하고 있는 영화 전용 디지털 포맷은 4K×2K 크기의 디지털 시네마의 영상을 기본으로 하고 있다. 반면에 PDA, 휴대용 멀티미디어 플레이어(PMP), 와이브로 단말기 등은 휴대용으로 만들기 때문에 CIF(Common Intermediate Format) 또는 QCIF(Quater Common Intermediate Format) 크기까지의 해상도만을 지원한다.

전술한 해상도 불일치라는 문제를 해결하는 한 가지 방법은 TV 등으로 수신된 고해상도의 영상을 다운샘플링(down-sampling)한 후에 저해상도의 영상을 휴대용 단말기로 전송하는 것이다. 그러나 다운샘플링된 저해상도 영상은 TV를 직접 시청하는 것과 비교하여 사용자에게 저화질의 화면을 제공하기 때문에, 휴대용 단말기를 통해서도 고화질의 화면을 시청하고자 하는 사용자의 욕구를 만족시킬 수가 없다. 그리고 뮤직 비디오, 축구와 같은 스포츠 경기, 홈쇼핑, 네비게이션 등과 같은 기기를 이용하는 사용자는 자신이 관심이 있는 영상의 특정 부분을 자세하게 보기를 원할 경우도 있는데, 전술한 다운샘플링 방법으로는 이러한 사용자의 욕구도 만족시키기가 어렵다.

이러한 문제점을 해결하기 위하여 제시된 방법 중의 하나가 공간임의접근(Spatial Random Access)이다. 공간임의접근은 영상 중의 임의의 위치에 있는 일부 영상만을 전송, 복원, 및 검색이 가능하도록 하기 위한 것으로서, 이를 이용하면 전체 영상에 관한 데이터가 아니라 사용자의 의도 및 디스플레이 윈도우의 크기를 고려한 특정 부분에 관한 데이터만을 전송하여 복호화하는 지역 복호화(partial decoding)가 가능하다. 따라서 공간임의접근을 지원하는 영상 코덱 시스템을 이용하면 휴대용 단말기로도 HDTV와 같은 고화질의 영상을 보는 것이 가능해질 수 있다.

휴대용 단말기의 다양화 및 대중화로 인하여 이러한 공간임의접근을 지원하는 영상 코덱 시스템은 그 필요성이 점점 증가하고 있다. 현재 엠펙(MPEG)의 하부 그룹(Subgroup) 중의 한 곳에서는 다시점 비디오 코딩(Multi-view Video Coding, MVC)과 관련하여 F-TV(Free- view-point TV)와 3차원 TV를 타깃 어플리케이션(Target Application)으로 표준화가 진행되고 있는데, 2006년 4월에 개최된 76차 엠펙 스위스 회의(76th MPEG Swiss Meeting)의 결과로 영상의 일부분만을 접근 가능하도록 하는 프리 뷰 스케일러빌러티(Free View Scalabillity)를 요구안으로 내놓았다. 프리 뷰 스케일러빌러티란 다시점 비디오 코딩에서 각각의 카메라 내의 일정 부분만을 복호화 가능하게 할 수 있는 기술이다.

또한, 사용자에게 더 넓은 시야를 제공하기 위해 만든 파노라마 영상(panoramic image)인 경우에도 이러한 공간임의접근은 필수적으로 적용이 되어야 할 것으로 여겨진다. 파노라마 영상은 다양한 시점에서 촬영된 영상들을 단일 영상으로 재구성한 영상이기 때문에 영상의 크기가 일반 영상의 수십 배 이상으로 증가한다. 이러한 파노라마 영상의 전체를 전송하고 복호화하는 대신 공간임의접근을 지원하는 영상 코덱 시스템을 이용하여 그 일부분만을 전송하고 복호화할 수 있다면, 고화질 영상을 시청하고자 하는 사용자의 욕구를 충족시킬 뿐만 아니라 전송의 측면에서 상당히 효율적임을 알 수 있다.

그런데 현재까지 개발되거나 제안된 영상 코덱 시스템과 영상 부호화/복호화 방법으로는 이러한 공간임의접근을 효율적으로 실현하기가 어렵다. 그리고 현재까지는 여러 가지 단말기가 공존하는 방송이나 통신 서비스의 필요성이 높지 않았기 때문에 이러한 공간임의접근을 실현할 수 있는 구체적인 방법에 대한 폭 넓은 연구도 이루어지지 않았다. 다만, 최근에 이에 대한 연구가 서서히 진행되고 있는데, 대표적인 것으로 Carsten Grnheit 등에 의하여 제안된 논문 "Efficient Representation and Interactive Streaming"(Proc. ICIP 2002, IEEE Internation Conference on Image Processing, Rochester, NY, USA, September 22-25, 2002)이 있다.

상기 논문에서는 전체 영상을 여러 개의 조각 영상으로 나누어서 각 조각 영상 단위로 부호화하는 방법을 제안하고 있으며, 이렇게 부호화된 조각 영상은 각각 조각 영상 단위로 전송 및 복호화가 가능하다. 따라서 사용자가 가진 디스플레이의 크기와 전체 영상에서 사용자가 원하는 영역(대상 영상)을 고려하여, 대상 영상을 디스플레이하기 위하여 필요한 부분의 조각 영상만을 전송하여 복호화 할 수 있게 한다.

도 1a 내지 도 1c에는 상기 논문에서 제시한 방법에 의할 경우에, 조각 영상의 크기와 부호화해서 전송해야 하는 영역의 관계를 보여주는 도면이 도시되어 있다. 도 1a 내지 도 1c를 참조하면, 대상 영상의 크기가 일정한 경우에 조각 영상의 단위 크기가 작아질수록 부호화해서 전송해야 하는 전송 영역이 상대적으로 작아진다는 것을 알 수 있다. 이것은 상기 논문에서 제시한 방법은 대상 영상이 조각 영상의 일부와 겹치는 경우에도 그 조각 영상의 전부를 부호화하여 전송하기 때문이다. 그리고 도 1c에 도시된 바와 같이, 조각 영상의 크기를 아주 작게 하면 대상 영상의 크기와 전송 영역의 크기가 거의 비슷하게 된다.

그런데 일반적인 영상 부호화 기술들은 압축율을 높이기 위하여 부호화하려는 현재 블록의 주위에 위치하는 주변 블록의 복호화된 데이터를 이용한다. 통상적으로 이용되는 래스터 스캔(raster scan) 순서에 따라서 블록들을 순차적으로 부호화를 할 경우에는, 부호화하려는 현재 블록의 좌측 및 상부에 위치한 블록의 부호화되어 다시 복호화된 재구성 데이터가 일반적으로 이용된다. 따라서 조각 영상의 단위 크기가 작아지면 작아질수록 그 만큼 주변 블록의 재구성 데이터들을 이용할 수 없는 문제가 발생하며, 그 만큼 부호화 효율이 낮아지게 된다. 결국, 조각 영상의 단위 크기를 일정 크기 이하(예컨대, 도 1c와 같은 크기)로 줄이는 것은 부호화 효율을 고려할 때 바람직하지 못하다.

따라서 부호화 효율을 높이기 위해서는 도 1a 또는 도 1b의 경우와 같이 조각 영상의 크기를 일정 크기 이상으로 하는 것이 바람직하다. 그런데, 상기 논문에 개시된 방법에 따라서 부호화를 할 경우에는 조각 영상의 크기가 증가하면 다른 문제가 발생한다. 보다 구체적으로, 대상 영상이 여러 개의 조각 영상에 걸쳐 있는 등의 이유로 특정 조각 영상의 일부와 겹치는 경우에도 그 조각 영상 전체에 대한 부호화, 전송 및 복호화를 해야만 하는 문제가 생긴다. 이러한 문제는 조각 영상의 크기가 클수록 및/또는 대상 영상이 조각 영상의 작은 부분과 겹칠수록 더 심각해진다.

이러한 문제가 발생하는 원인은, 상기 논문에 개시된 방법을 포함하여 현재의 일반적인 영상 부호화 기술들이 래스터 스캔 방향에 따라서 각 조각 영상의 왼쪽 상단에 위치한 블록에서부터 순차적으로 부호화를 실시하기 때문이다. 래스터 스캔 방향은 도 2에 도시되어 있는데, 이에 의하면 가장 왼쪽에 위치한 블록에서부터 오른쪽으로 한 행의 블록들을 부호화한 후에, 다시 그 하부 행의 가장 왼쪽에 위치한 블록에서부터 오른쪽으로 부호화를 한다. 그리고 래스터 스캔 방향으로 부호화된 매크로블록들은 복호화 역시 래스터 스캔 방향으로 해야 된다. 결국, 대상 영상이 조각 영상의 오른쪽의 아래쪽에 걸쳐 있게 되면, 대상 영상에 포함되지 않는 불필요한 부분에 대한 부호화, 전송 및 복호화가 증가하게 된다. 최악의 경우, 대상 영상이 조각 영상의 오른쪽 맨 아래 한 개의 매크로블록에만 걸쳐 있는 경우라도 그 조각 영상 전체를 부호화, 전송 및 복호화해야 하는 문제가 있다.

전술한 바와 같이, 전체 영상을 조각 영상으로 나누고 모든 조각 영상에 대하여 일률적으로 래스터 스캔 방향에 따라서 부호화하는 기존의 영상 부호화 방법은 조각 영상의 크기를 작게 줄여야만 공간임의접근의 효율을 높일 수 있다. 하지만 조각 영상의 크기를 줄이는 것은 부호화, 전송 및 복호화 효율을 크게 떨어뜨린다는 점에서 문제가 있다. 또한, 조각 영상의 크기를 크게 하고 모든 조각 영상을 하나의 스캔 방향에 따라서 부호화를 수행하면 특정 조각 영상의 경우에 불필요한 영역에 대한 전송 및 복호화라는 문제를 발생시킨다.

이러한 문제들을 해결하기 위해 본 발명에서는 공간임의접근 방법에 관한 전술한 종래 기술의 문제점을 해결하여 부호화 및 전송 효율을 향상시키고 한정된 전송 채널을 효율적으로 이용할 수 있으며, 휴대용 단말기와 같은 기존의 저해상도 디스플레이 기기에서도 고해상도의 영상을 시청할 수 있는 공간임의접근 방법을 지원하는 영상 코덱 시스템, 영상 부호화 방법 및 영상 복호화 방법을 제안한다.

상기한 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 영상 코덱 시스템은 다수의 조각 영상으로 구획된 전체 영상의 일부인 대상 영상에 대한 공간임의접근을 지원하는 시스템으로서, 상기 다수의 조각 영상 각각을 시작 위치가 다른 2개 또는 그 이상의 스캔 방향에 따라 그 블록들을 순차적으로 부호화함으로써 상기 조각 영상 각각에 대하여 2개 또는 그 이상의 비트스트림을 생성하고, 상기 대상 영상의 위치 정보에 기초하여 상기 대상 영상과 겹치는 영역을 갖는 상기 조각 영상 각각의 상기 2개 또는 그 이상의 비트스트림 중에서 하나의 비트스트림을 추출하기 위한 제1 부호화 서버, 및 상기 제1 부호화 서버로부터 전송되는 상기 비트스트림을 그 스캔 방향에 따라 복호화하여 상기 대상 영상을 재구성하는 영상 복호화 장치를 포함한다.

상기 실시예의 일 측면에 의하면, 상기 제1 부호화 서버는 상기 조각 영상 각각에 대하여 상기 2개 이상의 비트스트림을 생성하기 위한 인코더 유닛, 상기 영상 부호화 장치에서 생성된 비트스트림을 저장하기 위한 메모리 유닛, 및 상기 메모리 유닛에 저장된 상기 조각 영상 각각의 상기 2개 이상의 비트스트림 중에서 하나의 비트스트림을 추출하기 위한 비트스트림 추출 유닛을 포함할 수 있다. 상기 실시예의 다른 측면에 의하면, 상기 영상 코덱 시스템은 상기 대상 영상의 위치 정보에 기초하여 상기 대상 영상과 겹치는 영역을 갖는 상기 조각 영상 각각을 래스터 스캔 방향에 따라 부호화하여 비트스트림을 생성하고, 생성된 상기 비트스트림을 전송하기 위한 제2 부호화 서버를 더 포함하고, 상기 복호화 장치는 상기 제2 부호화 서버로부터 전송되는 상기 비트스트림도 래스터 스캔 방향에 따라 복호화하여 상기 대상 영상을 재구성할 수 있다. 이 경우, 상기 대상 영상의 위치 정보는 상기 복호화 장치로부터 상기 제1 부호화 서버 또는 상기 제2 부호화 서버로 전송될 수 있다.

상기한 기술적 과제를 달성하기 위한 본 발명의 다른 측면에 따른 영상 코덱 시스템은 다수의 직사각형 조각 영상으로 구획된 전체 영상의 일부인 대상 영상에 대한 공간임의접근을 지원하는 시스템으로서, 상기 다수의 조각 영상 각각을 상기 직사각형의 4개의 꼭지점에 인접한 블록들 각각을 시작 위치로 하고 그 시작 위치에 인접한 블록을 순차적으로 부호화하는 스캔 방향에 따라 부호화함으로써 상기 조각 영상 각각에 대하여 4개의 비트스트림을 생성하고, 상기 대상 영상의 위치 정보에 기초하여 상기 대상 영상과 겹치는 영역을 갖는 상기 조각 영상 각각의 상기 4개의 비트스트림 중에서 하나의 비트스트림을 추출하기 위한 제1 부호화 서버, 및 상기 제1 부호화 서버로부터 전송되는 상기 비트스트림을 그 스캔 방향에 따라 복호화하여 상기 대상 영상을 재구성하는 영상 복호화 장치를 포함한다.

상기 실시예의 일 측면에 의하면, 상기 제1 부호화 서버는 상기 조각 영상 각각에 대하여 상기 4개의 비트스트림을 생성하기 위한 인코더 유닛, 상기 영상 부호화 장치에서 생성된 비트스트림을 저장하기 위한 메모리 유닛, 및 상기 메모리 유닛에 저장된 상기 조각 영상 각각의 상기 4개의 비트스트림 중에서 하나의 비트스트림을 선택하여 추출하기 위한 비트스트림 추출기를 포함할 수 있다.

상기 실시예의 다른 측면에 의하면, 상기 영상 코덱 시스템은 상기 대상 영상의 위치 정보에 기초하여 상기 대상 영상과 겹치는 영역을 갖는 상기 조각 영상 각각을 래스터 스캔 방향에 따라 부호화하여 비트스트림을 생성하고, 생성된 상기 비트스트림을 전송하기 위한 제2 부호화 서버를 더 포함하고, 상기 복호화 장치는 상기 제2 부호화 서버로부터 전송되는 상기 비트스트림도 래스터 스캔 방향에 따라 복호화하여 상기 대상 영상을 재구성할 수 있다.

상기 실시예의 또 다른 측면에 의하면, 상기 4개의 비트스트림은 상기 직사각형의 왼쪽 위 꼭지점에 인접한 블록을 시작 위치로 하고, ① 왼쪽에서 오른쪽으로 어느 한 행(row)의 블록을 순차적으로 부호화하고 다시 그 아래쪽 행의 왼쪽에서 오른쪽으로 블록들을 순차적으로 부호화하는 방법 및 ② 위에서 아래로 어느 한 열(column)의 블록을 순차적으로 부호화하고 다시 그 오른쪽 열의 위에서 아래로 블록들을 순차적으로 부호화하는 방법 중의 어느 하나의 방법으로 부호화된 제1 비트스트림, 상기 사각형의 오른쪽 위 꼭지점에 인접한 블록을 시작 위치로 하고, ① 오른쪽에서 왼쪽으로 어느 한 행의 블록을 순차적으로 부호화하고 다시 그 아래쪽 행의 오른쪽에서 왼쪽으로 블록들을 순차적으로 부호화하는 방법 및 ② 위에서 아래쪽으로 어느 한 열의 블록을 순차적으로 부호화하고 다시 그 왼쪽 열의 위에서 아래쪽으로 블록들을 순차적으로 부호화하는 방법 중의 어느 하나의 방법으로 부호화된 제2 비트스트림, 상기 사각형의 왼쪽 아래 꼭지점에 인접한 블록을 시작 위치로 하고, ① 왼쪽에서 오른쪽으로 어느 한 행의 블록을 순차적으로 부호화하고 다시 그 위쪽 행의 왼쪽에서 오른쪽으로 블록들을 순차적으로 부호화하는 방법 및 ② 아래에서 위쪽으로 어느 한 열의 블록을 순차적으로 부호화하고 다시 그 오른쪽 열의 아래에서 위쪽으로 블록들을 순차적으로 부호화하는 방법 중의 어느 하나의 방법으로 부호화된 제3 비트스트림, 및 상기 사각형의 오른쪽 아래 꼭지점에 인접한 블록을 시작 위치로 하고, ① 오른쪽에서 왼쪽으로 어느 한 행의 블록을 순차적으로 부호화하고 다시 그 위쪽 행의 오른쪽에서 왼쪽으로 블록들을 순차적으로 부호화하는 방법 및 ② 아래에서 위쪽으로 어느 한 열의 블록을 순차적으로 부호화하고 다시 그 왼쪽 열의 아래에서 위쪽으로 블록들을 순차적으로 부호화하는 방법 중의 어느 하나의 방법으로 부호화된 제4 비트스트림으로 구성될 수 있다. 이 경우에, 상기 제1 부호화 서버는, 상기 조각 영상 각각의 상기 4개의 비트스트림 중에서, 상기 대상 영상이 조각 영상의 오른쪽 위 꼭지점을 포함하는 경우에는 상기 제1 비트스트림, 상기 대상 영상이 조각 영상의 왼쪽 위 꼭지점을 포함하는 경우에는 상기 제2 비트스트림, 상기 대상 영상이 조각 영상의 왼쪽 아래 꼭지점을 포함하는 경우에는 상기 제3 비트스트림, 또는 상기 대상 영상이 조각 영상의 오른쪽 아래 꼭지점을 포함하는 경우에는 상기 제4 비트스트림을 추출할 수 있다.

상기한 기술적 과제를 달성하기 위한 본 발명의 또 다른 측면에 의한 영상 코덱 시스템은 1개 이상의 수직 경계선에 의하여 2개 이상의 직사각형 조각 영상으로 구획된 전체 영상의 일부인 대상 영상에 대한 공간임의접근을 지원하는 시스템으로서, 상기 2개 이상의 조각 영상 각각을 상기 직사각형의 위쪽 2개의 꼭지점에 인접한 블록들 각각을 시작 위치로 하고 그 시작 위치에 인접한 블록을 순차적으로 부호화하는 스캔 방향에 따라 부호화함으로써 상기 조각 영상 각각에 대하여 2개의 비트스트림을 생성하고, 상기 대상 영상의 위치 정보에 기초하여 상기 대상 영상과 겹치는 영역을 갖는 상기 조각 영상 각각의 상기 2개의 비트스트림 중에서 하나의 비트스트림을 추출하기 위한 제1 부호화 서버, 및 상기 제1 부호화 서버로부터 전송되는 상기 비트스트림을 그 스캔 방향에 따라 복호화하여 상기 대상 영상을 재구성하는 영상 복호화 장치를 포함할 수 있다.

상기한 기술적 과제를 달성하기 위한 본 발명의 일 측면에 의한 영상 부호화 방법은 다수의 조각 영상으로 구획된 전체 영상의 일부인 대상 영상에 대한 공간임의접근을 지원하는 방법으로서, 상기 다수의 조각 영상 각각을 시작 위치가 다른 2개 이상의 스캔 방향에 따라 그 블록들을 순차적으로 부호화함으로써 상기 조각 영상 각각에 대하여 2개 이상의 비트스트림을 생성하는 단계, 및 상기 대상 영상의 위치 정보에 기초하여 상기 대상 영상과 겹치는 영역을 갖는 상기 조각 영상 각각의 상기 2개 이상의 비트스트림 중에서 하나의 비트스트림을 추출하는 단계를 포함한다.

상기한 기술적 과제를 달성하기 위한 본 발명의 다른 측면에 의한 영상 부호화 방법은 다수의 직사각형 조각 영상으로 구획된 전체 영상의 일부인 대상 영상에 대한 공간임의접근을 지원하는 방법으로서, 상기 다수의 조각 영상 각각을 상기 직사각형의 4개의 꼭지점에 인접한 블록들 각각을 시작 위치로 하고 그 시작 위치에 인접한 블록을 순차적으로 부호화하는 스캔 방향에 따라 부호화함으로써 상기 조각 영상 각각에 대하여 4개의 비트스트림을 생성하는 단계, 및 상기 대상 영상의 위치 정보에 기초하여 상기 대상 영상과 겹치는 영역을 갖는 상기 조각 영상 각각의 상기 4개의 비트스트림 중에서 하나의 비트스트림을 추출하는 단계를 포함한다.

상기한 기술적 과제를 달성하기 위한 본 발명의 또 다른 측면에 의한 영상 부호화 방법은 1개 이상의 수직 경계선에 의하여 2개 이상의 직사각형 조각 영상으로 구획된 전체 영상의 일부인 대상 영상에 대한 공간임의접근을 지원하는 영상 부호화 방법으로서, 상기 2개 이상의 조각 영상 각각을 상기 직사각형의 위쪽 2개의 꼭지점에 인접한 블록들 각각을 시작 위치로 하고 그 시작 위치에 인접한 블록을 순차적으로 부호화하는 스캔 방향에 따라 부호화함으로써 상기 조각 영상 각각에 대하여 2개의 비트스트림을 생성하는 단계, 및 상기 대상 영상의 위치 정보에 기초하여 상기 대상 영상과 겹치는 영역을 갖는 상기 조각 영상 각각의 상기 2개의 비트스트림 중에서 하나의 비트스트림을 추출하는 단계를 포함한다.

상기한 기술적 과제를 달성하기 위한 본 발명의 일 측면에 따르는 비트스트림의 구조를 표현하는 신택스는 다수의 조각 영상으로 구획된 전체 영상의 일부인 대상 영상에 대한 공간임의접근을 지원하는 영상 부호화 방법을 지시하는 1비트 부호를 포함하는 신택스로서, 상기 부호는 상기 다수의 조각 영상 각각을 시작 위치가 다른 2개 이상의 스캔 방향에 따라 그 블록들을 순차적으로 부호화함으로써 상기 조각 영상 각각에 대하여 2개 이상의 비트스트림을 생성하고, 상기 대상 영상의 위치 정보에 기초하여 상기 대상 영상과 겹치는 영역을 갖는 상기 조각 영상 각각의 상기 2개 이상의 비트스트림 중에서 선택된 비트스트림이라는 것을 지시하거나 또는 상기 대상 영상의 위치 정보에 기초하여 상기 대상 영상과 겹치는 영역을 갖는 상기 조각 영상 각각을 래스터 스캔 방향에 따라 부호화하여 생성된 비트스트림이라는 것을 지시한다.

상기한 기술적 과제를 달성하기 위한 본 발명의 다른 측면에 따르는 비트스트림의 구조를 표현하는 신택스는 다수의 조각 영상으로 구획된 전체 영상의 일부인 대상 영상에 대한 공간임의접근을 지원하는 영상 부호화 방법을 지시하는 1비트 부호를 포함하는 신택스로서, 상기 부호는 상기 다수의 조각 영상 각각을 상기 직사각형의 4개의 꼭지점에 인접한 블록들 각각을 시작 위치로 하고 그 시작 위치에 인접한 블록을 순차적으로 부호화하는 스캔 방향에 따라 부호화함으로써 상기 조각 영상 각각에 대하여 4개의 비트스트림을 생성하고, 상기 대상 영상의 위치 정보에 기초하여 상기 대상 영상과 겹치는 영역을 갖는 상기 조각 영상 각각의 상기 4개의 비트스트림 중에서 선택된 비트스트림이라는 것을 지시하거나 또는 상기 대상 영상의 위치 정보에 기초하여 상기 대상 영상과 겹치는 영역을 갖는 상기 조각 영상 각각을 래스터 스캔 방향에 따라 부호화하여 생성된 비트스트림이라는 것을 지시한다.

상기한 기술적 과제를 달성하기 위한 본 발명의 일 측면에 따르는 영상 복호화 방법은 다수의 경계선에 의하여 다수의 조각 영상으로 구획된 전체 영상의 일부인 대상 영상의 복호화 방법으로서, 상기 다수의 경계선 중에서 적어도 2개의 경계선이 만나는 교차점에 인접한 상기 조각 영상의 블록을 시작 위치로 하여 그 인접한 블록들에 대한 순차적인 복호화를 수행함으로써 상기 조각 영상의 전부 또는 일부를 복원하여 상기 대상 영상을 재구성한다.

상기 실시예의 일 측면에 의하면, 상기 조각 영상의 블록들에 대한 스캔 방향을 나타내는 정보에 기초하여 상기 시작 위치의 블록으로부터 그 인접한 블록들에 대한 순차적인 복호화를 수행할 수 있다.

상기한 기술적 과제를 달성하기 위한 본 발명의 다른 측면에 따르는 영상 복호화 방법은 수평 경계선과 수직 경계선에 의하여 다수의 직사각형 조각 영상으로 구획된 전체 영상의 일부인 대상 영상의 복호화 방법으로서, 상기 수평 경계선과 상기 수직 경계선이 만나는 교차점에 인접한 상기 직사각형 조각 영상의 블록을 시작 위치로 하여 그 인접한 블록들에 대한 순차적인 복호화를 수행함으로써 상기 직사각형 조각 영상의 전부 또는 일부를 복원하여 상기 대상 영상을 재구성한다.

상기 실시예의 일 측면에 의하면, 상기 대상 영상이 상기 직사각형 조각 영상의 오른쪽 위 꼭지점을 포함하는 경우에는 오른쪽에서 왼쪽으로 어느 한 행(row)의 블록을 순차적으로 부호화하고 다시 그 아래쪽 행의 오른쪽에서 왼쪽으로 블록들을 순차적으로 부호화하는 방법 또는 위에서 아래로 어느 한 열(column)의 블록을 순차적으로 부호화하고 다시 그 왼쪽 열의 위에서 아래로 블록들을 순차적으로 부호화하고, 상기 대상 영상이 상기 직사각형 조각 영상의 왼쪽 위 꼭지점을 포함하는 경우에는 왼쪽에서 오른쪽으로 어느 한 행(row)의 블록을 순차적으로 부호화하고 다시 그 아래쪽 행의 왼쪽에서 오른쪽으로 블록들을 순차적으로 부호화하는 방법 또는 위에서 아래로 어느 한 열(column)의 블록을 순차적으로 부호화하고 다시 그 오른쪽 열의 위에서 아래로 블록들을 순차적으로 부호화하고, 상기 대상 영상이 상기 직사각형 조각 영상의 오른쪽 아래 꼭지점을 포함하는 경우에는 오른쪽에서 왼쪽으로 어느 한 행(row)의 블록을 순차적으로 부호화하고 다시 그 위쪽 행의 오른쪽에서 왼쪽으로 블록들을 순차적으로 부호화하는 방법 또는 아래에서 위로 어느 한 열(column)의 블록을 순차적으로 부호화하고 다시 그 왼쪽 열의 아래에서 위로 블록들을 순차적으로 부호화하고, 또는 상기 대상 영상이 상기 직사각형 조각 영상의 왼쪽 아래 꼭지점을 포함하는 경우에는 왼쪽에서 오른쪽으로 어느 한 행(row)의 블록을 순차적으로 부호화하고 다시 그 위쪽 행의 왼쪽에서 오른쪽으로 블록들을 순차적으로 부호화하는 방법 또는 아래에서 위로 어느 한 열(column)의 블록을 순차적으로 부호화하고 다시 그 오른쪽 열의 아래에서 위로 블록들을 순차적으로 부호화할 수 있다.

상기한 기술적 과제를 달성하기 위한 본 발명의 또 다른 측면에 따른 영상 복호화 방법은 수평 경계선 및/또는 수직 경계선에 의하여 다수의 직사각형 조각 영상으로 구획된 전체 영상의 일부인 대상 영상의 복호화 방법으로서, 입력 비트스트림으로부터 상기 대상 영상과 전부 또는 일부가 겹치는 상기 직사각형 조각 영상의 블록들에 대한 스캔 방향을 판별하는 단계, 및 판별된 상기 스캔 방향에 따라 상기 직사각형 조각 영상의 블록들에 대한 순차적인 복호화를 수행하는 단계를 포함한다.

상기 실시예의 일 측면에 의하면, 상기 순차적인 복호화를 수행하는 단계에서는 상기 수평 경계선과 상기 수직 경계선이 만나는 교차점에 인접한 상기 조각 영상의 블록을 시작 위치로 하여 복호화를 수행한다.

이상에서 설명한 바와 같이, 본 발명에 따른 공간임의접근을 지원하는 영상 코덱 시스템, 영상 부호화 방법 및 영상 복호화 방법에 의하면, 조각 영상을 작게 나누지 않고서도 사용자는 자신이 소유한 디스플레이 윈도우의 크기와 원하는 영역에 따라서 전체 영상 중에서 필요한 부분만을 수신하여 복호화할 수 있다. 따라서 한정된 전송 채널의 환경 하에서도 사용자는 자신이 소유한 단말기를 이용하여 전체 영상 중에서 원하는 영역만을 고화질로 시청하는 효과를 기대할 수 있다.

도 1a 내지 도 1c에는 조각 영상의 크기와 부호화해서 전송해야 하는 영역의 관계를 보여주는 도면이다.
도 2는 래스터 스캔 방향을 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상 코덱 시스템의 구성을 보여주는 블록도이다.
도 4는 전체 영상, 조각 영상, 및 대상 영상의 관계 및 도 3의 부호화 장치에서의 부호화 방법의 일례를 설명하기 위한 도면이다.
도 5a 내지 도 5d는 본 발명의 일 실시예에 따른 부호화 장치에서의 네 가지 그룹의 스캔 방향을 보여주기 위한 도면이다.
도 6a, 도 6b, 및 도 6c는 도 3의 부호화 장치에서의 부호화 방법의 다른 예를 설명하기 위한 도면이다.
도 7a, 도 7b, 도 7c, 및 도 7d는 도 3의 부호화 장치에서의 부호화 방법의 또 다른 예를 설명하기 위한 도면이다.
도 8은 본 발명의 다른 실시예에 따른 영상 코덱 시스템의 구성을 보여주는 블록도이다.
도 9는 도 3 및 도 8의 복호화 장치에서의 복호화 방법의 일례를 설명하기 위한 도면이다.

이하에서는, 첨부 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다. 후술하는 실시예는 본 발명의 기술적 사상을 설명하기 위한 목적이므로, 본 발명의 기술적 사상은 이 실시예에 의하여 한정되는 것으로 해석되어서는 안된다. 그리고 이하의 실시예의 설명에서 각각의 구성요소의 명칭은 당업계에서 다른 명칭으로 호칭될 수 있는데, 이들이 기능적 유사성과 동일성이 있다면 비록 다른 명칭을 사용하더라도 본 발명의 실시예와 균등한 구성이라고 볼 수 있다. 마찬가지로 도면상의 구성을 일부 변형한 실시예가 채용되더라도 기능적 유사성과 동일성이 있다면 양자는 균등한 구성으로 볼 수 있다. 본 실시예에 대한 설명 및 도면에서 각각의 구성요소에 부가된 참조 부호는 단지 설명의 편의를 위하여 기재된 것일 뿐이다.

도 3은 본 발명의 일 실시예에 따른 영상 코덱 시스템의 구조를 보여주는 블록도이다. 도 3을 참조하면, 영상 코덱 시스템(100)은 부호화 서버(110) 및 복호화 장치(120)를 포함한다. 그리고 부호화 서버(110)는 인코더 유닛(112), 메모리 유닛(114), 및 비트스트림 추출기(116)를 포함한다. 이하에서는 도 3을 참조하여 영상 코덱 시스템(100)의 구성 및 기능에 대하여 보다 구체적으로 설명한다.

전체 영상이 인코더 유닛(112)으로 입력되면, 인코더 유닛(112)은 먼저 상기 전체 영상을 소정의 크기를 갖는 다수의 조각 영상으로 구획한다. 구획되어 분할된 각 조각 영상의 크기 및 개수는 전체 영상의 크기 및 부호화 효율을 고려하여 적절하게 선택될 수 있다. 그리고 상기 크기 및 개수는 미리 고정되어 있거나 전체 영상의 특성에 따라서 가변적일 수도 있다. 예컨대, 인코더 유닛(112)은, 도 4에 도시되어 있는 바와 같이, 입력되는 전체 영상(10)을 수평 경계선과 수직 경계선에 의해 분할되는 8개의 직사각형 모양의 조각 영상(11 내지 18)으로 구획할 수 있다.

그리고 인코더 유닛(112)은 조각 영상(11 내지 18) 각각을 구성하는 블록들에 대한 부호화를 수행하는데, 본 실시예에 따른 인코더 유닛(112)은 각 조각 영상(11 내지 18)의 블록들에 대하여 그 시작 위치를 달리하여 서로 다른 스캔 방향으로 인접한 블록들을 순차적으로 부호화한다. 예컨대, 조각 영상(11 내지 18)이 직사각형 모양인 경우에 인코더 유닛(112)은 각각의 조각 영상(11 내지 18)에 대하여 블록 단위, 예컨대 매크로블록 단위로 부호화를 수행한다. 상기 네 종류의 스캔 방향이란 각 조각 영상(11 내지 18)에 대하여 각기 다른 4개의 시작 위치에 해당하는 블록을 기점으로 하여 순차적으로 조각 영상내의 블록 단위로 부호화를 수행하는 것을 말한다. 그 결과, 인코더 유닛(112)은 각 조각 영상에 대하여 시작 위치가 서로 다른 네 종류의 스캔 방향으로 부호화된 네 종류의 비트스트림을 생성한다.

상기 네 종류의 스캔 방향 각각은 직사각형 모양의 각 조각 영상(11 내지 18)의 꼭지점에 인접한 블록에서 스캔을 시작할 수 있다. 즉, 각 조각 영상(11 내지 18)의 가장 왼쪽 위, 가장 오른쪽 위, 가장 왼쪽 아래, 및 가장 오른쪽 아래에 위치한 블록을 시작 위치로 하여 그 각각에 인접한 블록을 순차적으로 부호화한다. 도 4의 조각 영상(11)을 참조하여 보다 구체적으로 살펴보면, 상기 네 종류의 스캔 방향에 따른 부호화는 직사각형 모양을 갖는 조각 영상(11)의 꼭지점에 인접한 블록인 블록 11a, 블록 11b, 블록 11c, 및 블록 11d를 시작 위치로 하고 이에 인접한 블록의 순서로 부호화를 진행하는 것을 말한다.

본 실시예의 일 측면에 의하면, 상기 네 종류의 스캔 방향은 다음의 4개의 그룹으로 이루어진 스캔 방향의 집합 중에서 각 그룹별로 1개씩 선택된 스캔 방향일 수 있다. 스캔 방향과 관련된 상기 4개의 그룹은 다음과 같으며, 각 그룹에서의 스캔 방향은 도 5a 내지 도 5d에 도시되어 있다.

(1) 첫 번째 그룹은, 도 5a에 도시된 바와 같이, 조각 영상 내의 왼쪽 위에 위치한 블록을 시작 위치로 하여 오른쪽 아래에 위치한 블록의 방향으로 부호화하는 스캔 방향으로서,

① 왼쪽에서 오른쪽으로 어느 한 행(row)의 블록을 순차적으로 부호화하고 다시 그 아래쪽 행의 왼쪽에서 오른쪽으로 블록들을 순차적으로 부호화하는 방법(도 5a의 왼쪽 그림); 및

② 위에서 아래로 어느 한 열(column)의 블록을 순차적으로 부호화하고 다시 그 오른쪽 열의 위에서 아래로 블록들을 순차적으로 부호화하는 방법(도 5a의 오른쪽 그림)을 포함한다.

(2) 두 번째 그룹은, 도 5b에 도시된 바와 같이, 조각 영상 내의 오른쪽 위에 위치한 블록을 시작 위치로 하여 왼쪽 아래에 위치한 블록의 방향으로 부호화 하는 스캔 방향으로서,

① 오른쪽에서 왼쪽으로 어느 한 행의 블록을 순차적으로 부호화하고 다시 그 아래쪽 행의 오른쪽에서 왼쪽으로 블록들을 순차적으로 부호화하는 방법(도 5b의 왼쪽 그림); 및

② 위에서 아래쪽으로 어느 한 열의 블록을 순차적으로 부호화하고 다시 그 왼쪽 열의 위에서 아래쪽으로 블록들을 순차적으로 부호화하는 방법(도 5b의 오른쪽 그림)을 포함한다.

(3) 세 번째 그룹은, 도 5c에 도시된 바와 같이, 조각 영상 내의 왼쪽 아래에 위치한 블록을 시작 위치로 하여 오른쪽 위에 위치한 블록의 방향으로 부호화하는 스캔 방향으로서,

① 왼쪽에서 오른쪽으로 어느 한 행의 블록을 순차적으로 부호화하고 다시 그 위쪽 행의 왼쪽에서 오른쪽으로 블록들을 순차적으로 부호화하는 방법(도 5c의 왼쪽 그림); 및

② 아래에서 위쪽으로 어느 한 열의 블록을 순차적으로 부호화하고 다시 그 오른쪽 열의 아래에서 위쪽으로 블록들을 순차적으로 부호화하는 방법(도 5c의 오른쪽 그림)을 포함한다.

(4) 네 번째 그룹은, 도 5d에 도시된 바와 같이, 조각 영상 내의 오른쪽 아래에 위치한 블록을 시작 위치로 하여 왼쪽 위에 위치한 블록의 방향으로 부호화 하는 스캔 방향으로서,

① 오른쪽에서 왼쪽으로 어느 한 행의 블록을 순차적으로 부호화하고 다시 그 위쪽 행의 오른쪽에서 왼쪽으로 블록들을 순차적으로 부호화하는 방법(도 5d의 왼쪽 그림); 및

② 아래에서 위쪽으로 어느 한 열의 블록을 순차적으로 부호화하고 다시 그 왼쪽 열의 아래에서 위쪽으로 블록들을 순차적으로 부호화하는 방법(도 5d의 오른쪽 그림)을 포함한다.

본 실시예의 다른 일 측면에 의하면, 상기 첫 번째 그룹 내지 네 번째 그룹의 각 그룹에는 상기 각 그룹의 시작 위치로부터 지그재그 형식으로 스캔하여 블록들을 순차적으로 부호화하는 방법이 더 포함될 수도 있다.

이상에서 설명한 바와 같이 인코더 유닛(112)에서 각 조각 영상(11 내지 18)에 대하여 네 종류의 스캔 방향에 따라 부호화를 수행하여 생성된 4개의 비트스트림은 메모리 유닛(114)으로 보내지며, 메모리 유닛(114)은 각 조각 영상(11 내지 18)에 대한 상기 4개의 비트스트림을 받아서 저장한다.

그리고 사용자, 보다 구체적으로는 사용자가 소지하고 있는 복호화 장치(120)를 구비한 휴대용 단말기 등으로부터 디스플레이하기 원하는 대상 영상의 위치 정보가 영상 부호화 장치(110)로 수신되면, 비트스트림 추출기(116)는 각 조각 영상마다 상기 4개의 비트스트림 중에서 하나의 비트스트림을 추출하여 복호화 장치(120)로 전송한다. 이와 같이, 각 조각 영상마다 상기 4개의 비트스트림 중에서 하나의 비트스트림을 선택하여 메모리 유닛(114)으로부터 추출하는 과정은 비트스트림 추출기(116)에서 수행된다. 비트스트림 추출기(116)는 대상 영상의 위치 정보에 기초하여 조각 영상 내에서 필요한 영역(대상 영상과 겹치는 영역)에 해당되는 비트스트림만을 선택하거나 또는 전송되는 데이터의 양을 최소화할 수 있는 비트스트림을 선택한다. 즉, 비트스트림 추출기(116)는 각 조각 영상이 대상 영상과 겹치는 상대적인 영역을 고려하여, 복호화 장치(120)로 전송되는 비트스트림의 크기(또는 데이터의 양)를 최소화할 수 있는 스캔 방향에 따라 부호화된 비트스트림만을 선택하여 추출하며, 추출된 비트스트림은 영상 부호화 장치(110)에서 복호화 장치(120)로 전송된다.

비트스트림 추출기(116)에서 각 조각 영상에 대한 4개의 비트스트림 중에서 복호화 장치(120)로 전송될 하나의 비트스트림을 선택하여 추출하는 방법의 일례는 다음과 같다. 그리고 이 경우에 비트스트림 추출기(116)에서 추출된 스캔 방향을 나타내는 정보는 비트스트림에 포함되어 복호화 장치(120)로 전송될 수 있다.

① 도 4의 조각 영상 17과 같이, 대상 영상이 조각 영상의 왼쪽 위의 영역과 겹치는 경우에는, 비트스트림 추출기(16)는 상기 4개의 비트스트림 중에서 전술한 첫 번째 그룹에 속하는 스캔 방향에 따라 부호화된 비트스트림을 추출한다. 예컨대, 도 4에는 조각 영상 17과 겹치는 대상 영상(20)의 영역에 대해서는 도 5a의 왼쪽 그림에 따른 스캔 방향에 따라 부호화된 비트스트림을 추출하는 것으로 도시되어 있다. 물론, 도 5a의 오른쪽 그림에 따른 스캔 방향에 따라 부호화된 비트스트림을 추출하여 전송할 수도 있다.

② 도 4의 조각 영상 16과 같이, 대상 영상이 조각 영상의 오른쪽 위의 영역과 겹치는 경우에는, 상기 4개의 비트스트림 중에서 전술한 두 번째 그룹에 속하는 스캔 방향에 따라 부호화된 비트스트림을 추출한다. 예컨대, 도 4에는 조각 영상 16과 겹치는 대상 영상(20)의 영역에 대해서는 도 5b의 왼쪽 그림에 따른 스캔 방향에 따라 부호화된 비트스트림을 추출하는 것으로 도시되어 있다. 물론, 도 5b의 오른쪽 그림에 따른 스캔 방향에 따라 부호화된 비트스트림을 추출하여 전송할 수도 있다.

③ 도 4의 조각 영상 13과 같이, 대상 영상이 조각 영상의 왼쪽 아래의 영역과 겹치는 경우에는 상기 4개의 비트스트림 중에서 전술한 세 번째 그룹에 속하는 스캔 방향에 따라 부호화된 비트스트림을 추출한다. 예컨대, 도 4에는 조각 영상 13과 겹치는 대상 영상(20)의 영역에 대해서는 도 5c의 왼쪽 그림에 따른 스캔 방향에 따라 부호화된 비트스트림을 추출하는 것으로 도시되어 있다. 물론, 도 5c의 오른쪽 그림에 따른 스캔 방향에 따라 부호화된 비트스트림을 추출하여 전송할 수도 있다.

④ 도 4의 조각 영상 12와 같이, 대상 영상이 조각 영상의 오른쪽 아래의 영역과 겹치는 경우에는 상기 4개의 비트스트림 중에서 전술한 네 번째 그룹에 속하는 스캔 방향에 따라 부호화된 비트스트림을 추출한다. 예컨대, 도 4에는 조각 영상 12와 겹치는 대상 영상(20)의 영역에 대해서는 도 5d의 오른쪽 그림에 따른 스캔 방향에 따라 부호화된 비트스트림을 추출하는 것으로 도시되어 있다. 물론, 도 5d의 왼쪽 그림에 따른 스캔 방향에 따라 부호화된 비트스트림을 추출하여 전송할 수도 있다.

도 6a, 도 6b, 및 도 6c는 영상 부호화 장치(110)에서 대상 영상을 부호화하는 전술한 실시예의 다른 예를 보여주기 위한 도면들이다.

도 6a, 도 6b, 및 도 6c를 참조하면, 인코더 유닛(112)은 입력되는 전체 영상(30)을 수평 경계선 및 수직 경계선에 의하여 크기가 같은 직사각형 모양의 4개의 조각 영상(31, 32, 33, 34)으로 분할하여, 각 조각 영상(31, 32, 33, 34)에 대하여 부호화를 수행한다. 예컨대, 인코더 유닛(112)은 각 조각 영상(31, 32, 33, 34)에 대해서는 전술한 4개의 그룹 각각에서 하나의 스캔 방향을 선택하고, 선택된 스캔 방향에 따라 조각 영상의 블록들에 대한 부호화를 수행하여 4개의 비트스트림을 생성할 수 있다. 또는, 인코더 유닛(112)은 각 조각 영상(31, 32, 33, 34)에 대해서, 전술한 4개의 그룹 중에서, 상기 수평 경계선과 수직 경계선의 교차점에 인접한 블록을 시작 위치로 하는 스캔 방향을 선택하고, 선택된 스캔 방향에 따라 조각 영상의 블록들에 대한 부호화를 수행하여 1개의 비트스트림을 생성할 수도 있다.

그리고 도 6b를 참조하면, 인코더 유닛(112)에서 생성된 각 조각 영상 당 4개의 비트스트림은 메모리 유닛(1114)에 저장된다. 본 실시예에 의하면, 메모리 유닛(114)에 저장되도록 선택된 4개의 스캔 방향은 첫 번째 그룹과 세 번째 그룹은 각각 도 5a 및 도 5c의 왼쪽에 도시되어 있는 것에 해당되고, 두 번째 그룹과 네 번째 그룹은 각각 도 5b 및 도 5d의 오른쪽에 도시되어 있는 것에 해당된다.

그리고 사용자로부터 영상 부호화 장치(110)로 대상 영상(40, 도 6a 참조)의 위치 정보가 입력되면, 영상 부호화 장치(110)의 비트스트림 추출기(116)는 대상 영상(40)과 겹치는 각 조각 영상(31, 32, 33, 34)에 대한 상기 4개의 비트스트림으로부터 하나의 비트스트림을 선택한다. 비트스트림 추출기(116)는 대상 영상(40)과 겹치는 각 조각 영상(31, 32, 33, 34)의 위치를 고려하여, 각 조각 영상 당 4개의 비트스트림 중에서 전송 데이터의 양을 최소화할 수 있는 스캔 방향으로 부호화된 비트스트림을 추출하여 영상 복호화 장치(120)로 전송한다.

도 6b에서 비트스트림 추출기(116)의 오른쪽에는 각 조각 영상(31, 32, 33, 34)에 대하여 비트스트림 추출기(116)에 의하여 추출된 스캔 방향에 따른 비트스트림이 도시되어 있다. 그리고 이와 같이 추출된 각 조각 영상(31, 32, 33, 34)의 비트스트림은 영상 복호화 장치(120)로 전송된다.

이 경우에 각 조각 영상(31, 32, 33, 34)의 전체 비트스트림이 아니라 도 6a의 각 조각 영상(31, 32, 33, 34)에 화살표로 도시된 바와 같은 양의 비트스트림만 전송하거나 또는 도 6c에 화살표로 도시되어 있는 것과 같은, 대상 영상(40)과 겹치는 각 조각 영상(31, 32, 33, 34)의 영역에 해당하는 비트스트림만을 전송할 수도 있다.

이상에서 설명한 바와 같이, 본 발명에 의하면 인코더 유닛(112)에서 조각 영상을 4개의 스캔 방향으로 부호화하여 비트스트림을 생성하고 상기 4개의 비트스트림이 메모리 유닛(114)에 저장되기 때문에, 비트스트림 추출기(116)에서는 사용자가 원하는 대상 영상이 조각 영상의 일부와 겹치는 경우에는 조각 영상 전체에 대한 비트스트림이 아니라 조각 영상 내의 필요한 부분에 해당되는 비트스트림만을 추출하여 전송하는 것이 가능하다. 따라서 본 발명에 의하면, 영상 부호화 장치(110)에서 영상 복호화 장치(120)로 전송되는 데이터의 양을 줄일 수 있다.

도 7a, 도 7b, 도 7c, 및 도 7d는 영상 부호화 장치(110)에서 대상 영상을 부호화하는 전술한 실시예의 또 다른 예를 보여주기 위한 도면들이다.

도 7a, 도 7b, 도 7c, 및 도 7d를 참조하면, 인코더 유닛(112)은 입력되는 전체 영상(50)을 하나 이상 예컨대 3개의 수직 경계선에 의하여 크기가 같은 직사각형 모양의 4개의 조각 영상(51, 52, 53, 54)으로 분할하여, 각 조각 영상(51, 52, 53, 54)에 대하여 부호화를 수행한다. 본 실시예는, 도 7a에 도시된 바와 같이 전체 영상(50)이 세로 방향에 비하여 가로 방향으로의 길이가 훨씬 큰 영상, 예컨대 와이드 영상이나 파노라마 영상에 적합한 경우로서, 수평 경계선은 없고 수직 경계선에 의해서만 전체 영상(50)이 다수의 조각 영상(51, 52, 53, 54)으로 구획된다는 점에 특징이 있다. 그리고 대상 영상(60)의 높이는 전체 영상(50) 또는 조각 영상(51, 52, 53, 54)의 높이보다 작거나 같다.

그리고 본 실시예에 의하면, 인코더 유닛(112)은, 전술한 실시예와 마찬가지로, 각 조각 영상(51, 52, 53, 54)에 대해서는 전술한 실시예의 4개의 그룹 각각에서 하나의 스캔 방향을 선택하고, 선택된 스캔 방향에 따라 조각 영상의 블록들에 대한 부호화를 수행하여 4개의 비트스트림을 생성할 수 있다. 또는, 도 7a의 조각 영상(51)에 도시되어 있는 왼쪽 위 꼭지점에 인접한 블록(51a)과 오른쪽 위 꼭지점에 인접한 블록(51a)을 시작 위치로 하여 그 인접한 블록들에 대한 순차적인 부호화를 수행하여 2개의 비트스트림만을 생성할 수도 있다. 예컨대, 각 조각 영상(51, 52, 53, 54)에 대하여 도 7a의 블록(51a, 52b)을 시작 위치로 하여, 도 7b에 도시되어 있는 바와 같이 2개의 서로 다른 스캔 방향으로 부호화한 2개의 비트스트림을 생성할 수 있다.

그리고 인코더 유닛에서 생성된 각 조각 영상 당 2개의 비트스트림은 메모리 유닛(114)에 저장된다. 그리고 사용자로부터 영상 부호화 장치(110)로 대상 영상(60, 도 7a 참조)의 위치 정보가 입력되면, 영상 부호화 장치(110)의 비트스트림 추출기(116)는 대상 영상(60)과 겹치는 각 조각 영상(52, 53)에 대한 상기 2개의 비트스트림으로부터 하나의 비트스트림을 선택한다. 비트스트림 추출기(116)는 대상 영상(60)과 겹치는 각 조각 영상(52, 53)의 위치를 고려하여, 각 조각 영상 당 2개의 비트스트림 중에서 전송 데이터의 양을 최소화할 수 있는 스캔 방향으로 부호화된 비트스트림을 추출하여 복호화 장치(120)로 전송한다.

도 7c에서 비트스트림 추출기(116)의 오른쪽에는 각 조각 영상(52, 53)에 대하여 비트스트림 추출기(116)에 의하여 추출된 스캔 방향에 따른 비트스트림이 도시되어 있다. 그리고 이와 같이 추출된 각 조각 영상(52, 53)의 비트스트림은 복호화 장치(120)로 전송된다. 이 경우에 각 조각 영상(52, 53)의 전체 비트스트림이 아니라 도 7a 또는 도 7d의 각 조각 영상(52, 53)에 화살표로 도시된 바와 같은 양의 비트스트림만 전송할 수도 있다.

이상에서 설명한 바와 같이, 본 발명에 의하면 인코더 유닛(112)에서 조각 영상을 2개 또는 4개의 스캔 방향으로 부호화하여 비트스트림을 생성하고 상기 2개 또는 4개의 비트스트림이 메모리 유닛(114)에 저장되기 때문에, 비트스트림 추출기(116)에서는 사용자가 원하는 대상 영상이 조각 영상의 일부와 겹치는 경우에는 조각 영상 전체에 대한 비트스트림이 아니라 조각 영상 내의 필요한 부분에 해당되는 비트스트림만을 추출하여 전송하는 것이 가능하다. 따라서 본 발명에 의하면, 영상 부호화 장치(110)에서 영상 복호화 장치(120)로 전송되는 데이터의 양을 줄일 수 있다.

도 8에는 본 발명의 다른 실시예에 따른 영상 코덱 시스템의 구조가 도시되어 있다. 도 8을 참조하면, 영상 코덱 시스템(200)은 제1 부호화 서버(210), 제2 부호화 서버(230), 및 복호화 장치(220)를 포함한다. 그리고 제1 부호화 서버(210)는 제1 인코더 유닛(212) 및 제1 메모리 유닛(214)을 포함하고, 제2 부호화 서버(230)는 제2 인코더 유닛(232), 제2 메모리 유닛(234), 및 비트스트림 추출기(236)를 포함한다.

제1 부호화 서버(210)는 종래 기술에 따른 부호화 서버와 동일한 동작 및 기능을 수행하는 것으로서, 예컨대 사용자가 원하는 대상 영상을 실시간으로 부호화하기 위한 장치일 수 있다. 보다 구체적으로, 사용자의 복호화 장치(220)로부터 대상 영상의 위치 정보가 수신되면, 제1 인코더 유닛(212)은 전체 영상 중에서 입력되는 대상 영상을 실시간으로 부호화하여 부호화된 데이터를 제1 메모리 유닛(214)으로 보내는 것과 동시에 입력된 대상 영상에 대한 비트스트림을 복호화 장치(220)로 전송한다.

제2 부호화 서버(230)는 전술한 본 발명의 실시예에 따른 부호화 서버이다. 즉, 제2 인코더 유닛(232)은 전체 영상을 소정의 크기를 갖는 다수의 조각 영상으로 분할한 다음, 각 조각 영상에 대하여 4개의 스캔 방향으로 부호화된 4개의 비트스트림을 생성하여 제2 메모리 유닛(234)으로 출력하여 저장한다. 그리고 비트스트림 추출기(236)는 복호화 장치(220)로부터 수신되는 대상 영상의 위치 정보에 기초하여 각 조각 영상에 대한 4개의 비트스트림으로부터 하나의 비트스트림을 선택하여 추출한다. 그리고 이와 같이 선택된 각 조각 영상의 비트스트림은 제2 부호화 서버(230)로부터 복호화 장치(220)로 전송된다.

따라서 본 실시예에 따른 영상 코덱 시스템(200)의 부호화 서버(210, 230)는 사용자의 요구에 따라 어느 한 가지 부호화 서버(210 또는 230)에서 부호화를 수행하고, 그 부호화 서버에서 생성된 비트스트림을 복호화 장치(220)로 전송한다. 복호화 장치(220)의 입장에서 보면, 부호화 서버(210 또는 230)로부터 전송되는 비트스트림이 어떤 부호화 서버를 이용하여 부호화된 비트스트림인지 먼저 인식할 수 있어야 대상 영상을 정확하게 복원하는 것이 가능하다.

결국, 본 실시예에 의하면 상기 제1 부호화 서버(210)에서 종래 기술에 따라 실시간으로 대상 영상에 대한 부호화가 수행되었는지 또는 제2 부호화 서버(230)에서 전술한 본 발명의 실시예 중의 한 가지 방법에 따라서 부호화가 수행되었는지를 식별할 수 있는 정보를 생성하여, 이를 복호화 장치(220)로 전송되는 비트스트림에 포함시킬 필요가 있다. 이러한 정보는 상기 2개의 부호화 서버(210, 230) 중에서 어느 한 가지 부호화 서버에서 부호화되었다는 것을 나타내기 위한 것이므로, 1비트 정보를 사용하여 표현할 수가 있다. 즉, 복호화 장치(220)로 전송되는 비트스트림에 어느 하나의 부호화 서버에 대한 온/오프(ON/OFF) 모드를 나타내는 1비트를 추가할 수 있다. 이와 같이, 제1 부호화 서버(210)와 제2 부호화 서버(230)와의 호환을 위하여 비트스트림에 추가되는 상기 1비트의 정보는, 예컨대 제1 부호화 서버(210)에서 부호화된 비트스트림인 경우에는 "0"을 할당하고 제2 부호화 서버(230)에서 부호화된 비트스트림인 경우에는 "1"을 할당할 수 있으며, 반대의 경우도 가능하다.

다음으로, 도 9를 참조하여 본 발명의 실시예에 따른 영상 코덱 시스템(100, 200)의 복호화 장치(120, 220)의 복호화 방법에 대하여 설명한다. 여기서, 도 9의 도면은 도 6a의 도면에 대응되는 것이다. 그리고 후술하는 복호화 방법은, 영상 코덱 시스템(200)의 복호화 장치(220)의 경우에는 제2 부호화 서버(230)에서 부호화된 입력 비트스트림을 복호화하는 경우, 즉 제2 부호화 서버(230)에서 부호화된 입력 비트스트림이라는 것을 나타내는 1비트 정보가 포함된 경우에 대해서만 적용된다. 따라서 영상 코덱 시스템(200)의 제1 부호화 서버(210)에서 부호화된 입력 비트스트림을 복호화하는 경우에는 후술하는 복호화 방법이 적용되지 않으며, 종래와 동일한 복호화 방법이 적용된다.

또한 후술하는 복호화 방법은 전술한 영상 코덱 시스템(100, 200)에서의 복호화 장치(120, 220)의 경우에만 적용되는 것으로 한정되지 않으며, 본 실시예에서 도시되지 않은 다른 영상 코덱 시스템에서 부호화된 비트스트림을 복호화하는 경우에도 적용될 수 있다. 즉, 전체 영상이 다수의 조각 영상으로 구획될 수 있고 또한 각 조각 영상에 대하여 서로 다른 스캔 방향에 따라서 부호화된 비트스트림을 복호화하는 경우라는 후술하는 복호화 방법이 적용될 수 있다.

도 9를 참조하면, 본 실시예에 따른 복호화 장치(120, 220)에서의 복호화 방법은, 대상 영상(40)의 일 지점에 인접한 블록을 시작 위치로 하여 대상 영상(40)이 조각 영상(31, 32, 33, 34) 중의 어떤 조각 영상과 겹치는 지에 따라서 각기 다른 스캔 방향으로 복호화를 수행한다.

여기서 상기 일 지점에 인접한 블록이란, 전체 영상이 하나 또는 다수의 수평 경계선과 하나 또는 다수의 수직 경계선에 의하여 다수의 조각 영상으로 분할되는 경우에는, 상기 수평 경계선과 수직 경계선이 만나는 모든 교차점에 인접한 블록이다. 예컨대, 도 9에 도시된 예와 같이 전체 영상(30)이 하나의 수평 경계선(52)과 하나의 수직 경계선(54)에 의하여 4개의 조각 영상(31, 32, 33, 34)으로 분할되는 경우에는, 상기 일 지점에 인접한 블록은 상기 수평 경계선(52)과 수직 경계선(54)의 교차점(56)에 인접한 블록(31a, 32a, 33a, 34a)이다. 또한, 상기 일 지점에 인접한 블록은 전체 영상이 다수의 경계선에 의하여 직사각형이 아닌 삼각형이나 마름모 등과 같은 다수의 조각 영상으로 분할되는 경우에는, 상기 다수의 경계선이 만나는 모든 교차점에 인접한 블록일 수 있다.

그리고 본 발명의 일 실시예에 따른 복호화 방법에 의하면, 조각 영상 31(상기 교차점에 대하여 왼쪽 위에 위치하는 조각 영상)과 겹치는 대상 영상(40)의 영역은 상기 블록 31a를 시작 위치로 하여 왼쪽 위 방향으로 순차적으로 복호화를 수행하며, 조각 영상 32(상기 교차점에 대하여 오른쪽 위에 위치하는 조각 영상)와 겹치는 대상 영상(40)의 영역은 상기 블록 32a를 시작 위치로 하여 오른쪽 위 방향으로 순차적으로 복호화를 수행하며, 조각 영상 33(상기 교차점에 대하여 왼쪽 아래에 위치하는 조각 영상)과 겹치는 대상 영상(40)의 영역은 상기 블록 33a를 시작 위치로 하여 왼쪽 아래 방향으로 순차적으로 복호화를 수행하며, 조각 영상 34(상기 교차점에 대하여 오른쪽 아래에 위치하는 조각 영상)와 겹치는 대상 영상(40)의 영역은 상기 블록 34a를 시작 위치로 하여 오른쪽 아래 방향으로 순차적으로 복호화를 수행한다.

이와 같은 방법으로 복호화를 수행하는 이유는, 복호화 장치(120, 220)는 입력 비트스트림이 부호화 서버(110, 210)에서 부호화된 스캔 방향으로 복호화를 해야 하기 때문이다. 따라서 조각 영상 31과 겹치는 대상 영상(40)의 영역의 경우에는 상기 시작 위치의 블록(31a)으로부터 왼쪽 방향으로 복호화를 수행한 다음 그 위쪽 행도 왼쪽 방향으로 복호화를 수행하거나 또는 상기 시작 위치의 블록(31a)으로부터 위쪽 방향으로 복호화를 수행한 다음 그 왼쪽 열도 위쪽 방향으로 복호화를 수행할 수 있다(즉, 상기 네 번째 그룹에 속하는 스캔 방향 중의 한 가지 스캔 방향에 따른 복호화). 이와 같이, 조각 영상(31)과 겹치는 대상 영상(40)의 영역의 경우에 어떠한 스캔 방향에 따라 복호화를 수행하는지를 지시하는 정보는 입력 비트스트림에 포함되어 있을 수 있다.

이러한 원리는 다른 조각 영상(32, 33, 34)과 겹치는 대상 영상(40)의 영역의 경우에도 동일하게 적용될 수 있다. 예컨대, 조각 영상 32와 겹치는 대상 영상(40)의 영역의 경우에는 상기 세 번째 그룹에 속하는 스캔 방향 중의 한 가지 스캔 방향에 따라서 복호화를 수행하며, 조각 영상 33과 겹치는 대상 영상(40)의 영역의 경우에는 상기 두 번째 그룹에 속하는 스캔 방향 중의 한 가지 스캔 방향에 따라서 복호화를 수행하며, 그리고 조각 영상 34와 겹치는 대상 영상(40)의 영역의 경우에는 상기 첫 번째 그룹에 속하는 스캔 방향 중의 한 가지 스캔 방향에 따라서 복호화를 수행할 수 있다.

이상에서 설명한 바와 같이, 전체 영상을 각 조각 영상으로 구획하기 위한 수평 경계선과 수직 경계선의 교차점에 인접한 블록을 기점으로 하여, 외각 방향(가로 우선 방향, 세로 우선 방향, 또는 지그재그 방향)으로 각 조각 영상과 겹치는 대상 영상의 영역들에 해당하는 영상을 복원하고 이들을 조합하면, 사용자가 디스플레이하기를 원하는 대상 영상 전체에 대한 복원이 가능하다.

Claims (8)

1. 영상 부호화 장치에 입력된 입력 영상을 부호화하는 방법에 있어서,
   상기 입력 영상을 구성하는 조각 영상의 개수 및 크기를 결정하는 단계;
   상기 결정된 개수 및 크기에 따라 상기 입력 영상을 복수의 조각 영상으로 구획하는 단계;
   상기 복수의 조각 영상 각각에 대하여 병렬적으로 부호화를 수행하는 부호화 단계; 및
   상기 입력 영상이 복수의 조각 영상으로 구획되었는지 여부를 표시하는 정보인 구획 정보를 생성하는 단계를 포함하되,
   상기 구획 정보는 상기 입력 영상 마다 1비트 플래그로 표현되며,
   상기 입력 영상은 수직 경계선을 따라 사각형 모양의 상기 복수의 조각 영상으로 구획되고,
   상기 복수의 조각 영상 각각은 복수의 블록으로 구성되고,
   상기 복수의 블록 각각은 하나의 조각 영상에만 포함되는 영상 부호화 방법.
2. 제1항에 있어서,
   상기 부호화 단계는, 제1 스캔 방향, 제2 스캔 방향, 제3 스캔 방향 또는 제4 스캔 방향 중 하나를 이용하여 상기 조각 영상 내의 블록들을 순차적으로 부호화하되,
   상기 제1 스캔 방향은 상기 조각 영상 내의 좌-상단 코너 블록을 시작 위치로 하여 수평 또는 수직 방향으로 순차적으로 부호화하는 스캔 방향이고,
   상기 제2 스캔 방향은 상기 조각 영상 내의 우-상단 코너 블록을 시작 위치로 하여 수평 또는 수직 방향으로 순차적으로 부호화하는 스캔 방향이며,
   상기 제3 스캔 방향은 상기 조각 영상 내의 좌-하단 코너 블록을 시작 위치로 하여 수평 또는 수직 방향으로 순차적으로 부호화하는 스캔 방향이며,
   상기 제4 스캔 방향은 상기 조각 영상 내의 우-하단 모서리 블록을 시작 위치로 하여 수평 또는 수직 방향으로 순차적으로 부호화하는 스캔 방향인 영상 부호화 방법.
3. 제1항에 있어서,
   상기 각각의 조각 영상은 직사각형 모양인 것을 특징으로 하는 영상 부호화 방법.
4. 삭제
5. 입력 영상을 부호화하여 생성한 부호화된 입력 영상을 복호화하는 방법에 있어서,
   상기 입력 영상을 부호화하는 과정에서 상기 입력 영상이 복수의 조각 영상으로 구획되었는지 여부를 표시하는 정보인 구획 정보를 수신하는 단계;
   상기 구획 정보가 상기 입력 영상이 복수의 조각 영상으로 구획되었음을 표시하는 경우, 상기 입력 영상을 구성하는 조각 영상의 개수 및 크기에 관한 정보를 획득하는 단계;
   상기 획득된 개수 및 크기에 관한 정보에 기반하여 상기 부호화된 입력 영상을 상기 복수의 조각 영상으로 구획하는 단계; 및
   상기 복수의 조각 영상 각각에 대하여 병렬적으로 복호화를 수행하는 단계를 포함하되,
   상기 구획 정보는 상기 입력 영상 마다 1비트 플래그로 표현되며,
   상기 부호화된 입력 영상은 수직 경계선을 따라 사각형 모양의 상기 복수의 조각 영상으로 구획되고, 상기 복수의 조각 영상 각각은 복수의 블록으로 구성되고, 상기 복수의 블록 각각은 하나의 조각 영상에만 포함되는 영상 복호화 방법.
6. 제5항에 있어서,
   상기 복호화를 수행하는 단계는, 제1 스캔 방향, 제2 스캔 방향, 제3 스캔 방향 또는 제4 스캔 방향 중 하나를 이용하여 상기 조각 영상 내의 블록들을 순차적으로 복호화하되,
   상기 제1 스캔 방향은 상기 조각 영상 내의 좌-상단 코너 블록을 시작 위치로 하여 수평 또는 수직 방향으로 순차적으로 복호화하는 스캔 방향이고,
   상기 제2 스캔 방향은 상기 조각 영상 내의 우-상단 코너 블록을 시작 위치로 하여 수평 또는 수직 방향으로 순차적으로 복호화하는 스캔 방향이며,
   상기 제3 스캔 방향은 상기 조각 영상 내의 좌-하단 코너 블록을 시작 위치로 하여 수평 또는 수직 방향으로 순차적으로 복호화하는 스캔 방향이며,
   상기 제4 스캔 방향은 상기 조각 영상 내의 우-하단 모서리 블록을 시작 위치로 하여 수평 또는 수직 방향으로 순차적으로 복호화하는 스캔 방향인 영상 복호화 방법.
7. 제5항에 있어서,
   상기 각각의 조각 영상은 직사각형 모양인 것을 특징으로 하는 영상 복호화 방법.
8. 삭제

Images