상기 기술적 과제를 달성하기 위한 영상부호화 방법은 (a) 화면 단위로 입력되는 입력영상에서 관심영역과 배경영역을 각각 설정하고 상기 관심영역의 화질이 상기 배경영역의 화질보다 좋도록 설정된 각 영역의 양자화 계수를 설정하는 단계; (b) 상기(a)단계에서 설정된 각 영역을 각각 독립적인 슬라이스 구조로 분리하고 각 슬라이스 헤더에 상기 관심영역과 상기 배경영역의 상기 양자화 계수를 모두 포함하여 부호화하는 단계; (c) 상기(a)단계에서 설정된 각 영역에 해당하는 매크로블록들 각각의 양자화 계수를 결정하는 단계; (d) 매크로블록별로 상기 입력영상을 예측부호화 및 변환 부호화 후 상기(c)단계에서 결정된 양자화 계수에 따라 양자화하는 단계; 및 (e) 매크로블록 단위로 양자화된 영상데이터의 엔트로피를 부호화하는 단계를 포함한다.
상기 관심영역에 해당하는 상기 슬라이스의 헤더에 상기 배경영역의 양자화 계수를 포함하여 부호화하며, 상기 배경영역에 해당하는 상기 슬라이스의 헤더에 상기 관심영역의 양자화 계수를 포함하여 부호화한다.
상기 양자화 계수를 설정하는 방법은 상기 관심영역의 화질이 상기 배경영역 의 화질보다 좋게되도록 상기 양자화 계수를 설정하고, 상기 관심영역과 상기 배경영역의 경계부분에서는 상기 슬라이스 헤더에 부호화된 인접한 영역의 양자화 계수에 근접하도록 양자화 계수를 변화시키며, 상기 양자화 계수가 변화시키는 구간은 각 영역의 크기에 비례하도록 설정된다. 상기 관심영역 부호화 방법은 컴퓨터에 실행 가능한 프로그램 코드로 기록한 기록매체에서 수행될 수 있다.
상기 기술적 과제를 달성하기 위한 영상 부호화장치는 화면 단위로 입력되는 입력영상에서 관심영역과 배경영역을 각각 설정하고 상기 관심영역의 화질이 상기 배경영역의 화질보다 좋도록 각 영역에 양자화 계수를 설정하고 상기 관심영역과 상기 배경영역간의 경계가 드러나지 않도록 각 영역에 해당하는 매크로블록들 각각의 양자화 계수를 결정하는 관심 영역 부호화 모델링부; 상기 관심영역 부호화 모델링부에서 결정된 각 영역을 각각 독립적인 슬라이스 구조로 분리하고 각 슬라이스 헤더에 관심 영역과 배경 영역의 양자화 계수를 모두 포함하여 부호화하는 슬라이스 헤더 부호화부; 매크로블록별로 상기 입력영상을 예측부호화 및 변환 부호화 후 상기 관심 영역 부호화 모델링부에서 결정된 양자화 계수에 따라 양자화하고 엔트로피를 부호화하는 엔트로피 부호화부를 포함한다.
상기 관심영역에 해당하는 상기 슬라이스의 헤더에 상기 배경 영역의 양자화 계수를 포함하여 부호화되며, 상기 배경영역에 해당하는 상기 슬라이스의 헤더에 상기 관심영역의 양자화 계수를 포함하여 부호화된다.
상기 영상 부호화 장치는 상기 관심영역의 화질이 상기 배경영역의 화질보다 좋게 되도록 양자화 계수를 설정하고, 상기 관심영역과 상기 배경영역의 경계부분에서는 상기 슬라이스 헤더에 부호화된 인접한 영역의 양자화 계수에 근접하도록 양자화 계수를 변화시키고, 상기 양자화 계수가 변화되는 구간은 각 영역의 크기에 비례하도록 설정된다.
상기 기술적 과제를 달성하기 위한 영상 복호화방법은 (a) 비트열을 엔트로피 복호화하는 단계; (b) 상기 (a) 단계에서 복호화된 정보 중에서 하나의 헤더에 포함된 자기영역의 양자화정보 및 부가 양자화정보를 이용하여 상기 자기영역의 경계부분의 양자화계수를 결정하는 단계; (c) 상기 자기영역의 양자화정보를 이용하여, 상기 경계부분 이외의 부분의 양자화계수를 결정하는 단계; (d) 상기 (b) 단계 및 상기 (c) 단계에서 결정된 양자화계수를 이용하여 역양자화/역변환을 통해 영상을 복호화하는 단계; 및 (e) 상기 (d) 단계에서 복호화된 각 영역의 영상을 상기 헤더에 포함된 각 영역의 위치정보를 참조하여 하나의 화면으로 구성하는 단계를 포함한다.
상기 각 매크로블록의 양자화 계수를 설정하는 단계는 상기 관심영역과 상기 배경영역의 경계부분에서 복호화된 슬라이스 헤더에 포함된 인접한 영역의 양자화 계수에 근접하도록 양자화 계수를 변화시키고 그 외의 영역에서는 자기 영역의 양자화 계수를 사용한다.
상기 양자화 계수를 변화시키는 구간은 영역의 크기에 비례하도록 설정되며, 상기 관심영역 복호화 방법은 컴퓨터에 실행 가능한 프로그램 코드로 기록한 기록 매체에 의하여 수행될 수 있다.
상기 기술적 과제를 달성하기 위한 영상 복호화장치는 각 슬라이스별로 전송받은 비트열을 엔트로피 복호화하는 엔트로피 복호화부; 상기 엔트로피 복호화부에서 복호화된 정보 중에서 슬라이스 헤더에 포함된 자기 영역과 인접 영역의 양자화 계수를 사용하여 각 매크로블록의 양자화 계수를 결정하는 관심 영역 복호화 모델링부; 상기 관심 영역 복호화 모델링부에서 결정된 양자화 계수를 사용하여 역양자화하는 역양자화부; 상기 역양자화부에서 역양자화된 신호를 역변환하고 예측된 신호를 보상하여 영상을 복원하는 영상 복원부; 및 상기 영상 복원부에서 복원된 각 영역의 영상을 슬라이스 헤더에 포함된 각 영역의 위치 정보를 참조하여 하나의 화면으로 구성하는 영상 구성부를 포함한다.
상기 관심 영역 복호화 모델링부는 상기 관심영역과 상기 배경영역의 경계 부분에서 복호화된 슬라이스 헤더에 포함된 인접한 영역의 양자화 계수에 근접하도록 양자화 계수를 변화시키고 그 외의 영역에서는 자기 영역의 양자화 계수를 사용한다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1a는 본 발명에 따른 사람의 시각적 특성을 고려한 관심 영역 영상 부호화 장치의 일실시예를 개략적으로 나타내는 블록도이다. 도1a를 참조하면, 관심 영역 영상 부호화 장치는 관심 영역 부호화 모델링부(100), 슬라이스 헤더 부호화부(101), 공간/시간상 예측 부호화부(102), 변환 부호화부(103), 양자화부 (104) 및 엔트로피 부호화부(105)를 구비한다.
도 1b는 본 발명에 따른 사람의 시각적 특성을 고려한 관심 영역 영상 복호화 장치의 일실시예를 개략적으로 나타내는 블록도이다. 도 1b를 참조하면, 관심 영역 영상 복호화 장치는 엔트로피 복호화부(106), 관심 영역 복호화 모델링부(107), 역양자화부(108), 영상 복원부(109) 및 영상 구성부(110)를 구비한다.
도 2a는 도 1a의 장치에서 수행되는 관심 영역 영상 부호화 방법의 일실시예를 나타내는 흐름도이고, 도 2b는 도1b의 장치에서 수행되는 관심 영역 영상 복호화 방법의 일실시예를 나타내는 흐름도이다.
도 1a 및 도 2a를 참조하면, 관심 영역 부호화 모델링부(100)는 화면 단위로 입력되는 영상(동영상)에서 관심 영역과 배경 영역을 각각설정하고 관심 영역의 화질이 배경 영역의 화질보다 좋도록, 각 영역에 양자화 계수를 설정하고 두 영역간의 경계가 드러나지 않도록 각 영역에 해당하는 매크로블록들 각각의 양자화 계수를 결정한다.
관심 영역 부호화 모델링부(100)는 화면 단위로 입력되는 영상(동영상)에서 관심 영역과 배경 영역을 설정하고(제200단계), 관심영역의 화질은 좋게 하고 배경 영역의 화질은 떨어뜨려 압축이 많이 되도록 각 영역의 양자화 계수를 설정하고 (제201단계), 각 영역의 경계가 드러나지 않도록 경계에 근접한 매크로블록의 양자화 계수 값을 인접 영역의 양자화 계수의 값에 근접하도록 변화시킨 후(제203단계) 이 값을 양자화부(104)에 제공한다.
관심 영역 부호화 모델링부(100)는 관심 영역의 화질은 좋게 하고 배경 영역 의 화질은 떨어지도록 모델링하므로, 관심영역의 양자화 계수가 작고, 배경 영역의 양자화계수는 크다. 이러한 양자화 계수의 결정은 목표 비트량에 따라서 결정된다. 그리고, 관심 영역 부호화 모델링부(100)는 영역간의 경계가 드러나지 않도록 경계 부근의 매크로블록의 양자화 계수 값을 변화시키는데, 이에 대한 상세한 설명은 도 4a 내지 도 5b를 참조하여 상세히 설명될 것이다.
슬라이스 헤더 부호화부(101)는 각 슬라이스를 복호화할 때 필요한 정보들을 부호화하는데(제202단계) 상기 필요한 정보들은 도 3a 및 도 3b에 도시된 바와 같이 슬라이스 헤더에 포함된다. 도 3a를 참조하면, 슬라이스 헤더에는 자기 영역에 사용될 양자화 계수뿐만 아니라 인접 영역의 양자화 계수를 함께 부호화하여 인접 영역과의 경계 부근에 위치한 매크로블록들의 양자화 계수를 인접 영역의 양자화 계수에 근접하도록 변화시킬 수 있도록 하여 영역간에 블록화 현상을 방지한다.
그리고, 배경 영역의 경우 도 3b와 같이 자기 영역의 양자화 계수만 갖고 다른 영역의 양자화 계수를 갖지 않을 수도 있다. 이러한 경우 인접 영역의 양자화 계수를 고려하여 경계 부근의 매크로블록의 양자화 계수를 변화시키는 과정은 수행하지 않는다.
예측 부호화부(102)는 입력되는 영상을 예측 부호화하고, 변환 부호화부(103)는 예측 부호화된 입력 영상을 이산 여현 변환(Discrete Cosine Transform)한다 (제204단계). 한편, 부호화 계산을 간단히 하기 위해 예측 부호화부(102) 및 변환 부호화부(103)에서는 매크로블록 단위로 부호화를 한다.
양자화부(104)는 공간/시간상 예측부호화부(102)를 통하여 매크로블록별로 예측 부호화되고 변환부호화부(103)를 통하여 변환 부호화된 영상 데이터를 수신하여, 관심 영역 부호화 모델링부(100)에서 결정된 양자화 계수에 따라 매크로블록별 영상 데이터를 양자화한다(제205단계).
한편, 관심 영역 부호화 모델링부(100)로부터 제공되는 양자화 계수는 화면의 관심 영역에서 배경 영역으로 갈수록 양자화 계수가 점점 커지므로 양자화에 따른 손실의 정도가 다르게 된다. 즉, 사람의 시선을 집중적으로 받는 관심 영역에서의 손실이 적고 시선을 덜 받는 배경영역에서의 손실은 커지게 된다.
엔트로피 부호화부(105)는 양자화부(104)에서 양자화된 영상 데이터의 엔트로피를 부호화화여 비트열로 출력한다(제206단계).
도 1b 및 도 2b를 참조하여, 엔트로피 복호화부(106)는 전송 받아서 버퍼에 저장된(제 207단계) 비트열을 복호화하고(제 208단계), 그 중에서 슬라이스 헤더의 정보를 복호화하여(제 209단계), 관심 영역 복호화 모델링부(107)에 넘겨준다. 관심 영역 복호화 모델링부(107)는 영역의 크기에 따라 양자화 계수를 변화시킬 구간을 설정하고, 자기 영역과 인접 영역의 양자화 계수를 사용하여 각 매크로블록별 양자화 계수를 결정하여 역양자화부(108)에 전달한다(제 210단계).
영상 복원부(109)에서는 각 매크로블록별로 역변환을 하고 예측된 정보를 보상하여 영상을 복원하고 (제 212단계), 영상 구성부(110)에서는 각 영역별 복원된 영상을 관심 영역과 배경 영역의 위치에 따라 합쳐서 한 화면으로 구성한다 (제 213단계).
복호화시에 양자화 계수가 변화될 구간을 설정하는 방법이나 양자화 계수를 변화시키는 방법은 부호화시와 동일한 방법을 사용한다.
이상에서와 같이, 사람의 시각적 특성을 고려하여 구분한 관심 영역과 배경 영역을 각각의 슬라이스로 나누어 부호화 또는 복호화를 하고 각 슬라이스 헤더에 두 영역의 양자화 계수를 모두 부호화함으로써 관심영역에서 배경영역으로 갈수록 양자화 계수가 점차적으로 높아지도록 제어하여 부호화 효율을 높이면서 영역간 블록화 현상을 효과적으로 제거할 수 있다.
도 4는 한 장의 영상에서 관심 영역과 배경 영역을 구분한 한 예이다. 도 4a는 한 장의 영상이 각각 하나씩의 관심 영역과 배경 영역으로 이루어져 있고, 도 4b는 한 장의 영상이 하나의 배경 영역과 두 개의 관심 영역으로 이루어져 있다. 여기서 관심 영역은 굵은 선으로 표시된 사각형 내부(300, 302, 303)를 말하며, 한 장의 영상 내에 한 개 이상의 관심 영역이 존재한다. 배경 영역은 관심 영역을 제외한 모든 부분(301, 304)을 말한다.
도 5는 도 4와 같이 설정된 관심 영역과 배경 영역에 각각의 양자화 계수가 주어졌을 때 서로 인접한 영역간에 경계가 드러나지 않도록 하기 위하여 양자화 계수를 변화시킬 구간(400, 401, 402)을 설정한 한 예이다.
이러한 구간의 크기는 각 영역의 크기에 비례하여 결정할 수 있다. 도 4a의 경우는 한 장의 영상 내에 관심 영역이 하나로 되어 있기 때문에 배경 영역에서 관심 영역에 인접한 구간의 양자화 계수를 변화시킬 때 관심 영역의 양자화 계수를 고려하여 변화시킬 수 있다.
도 5a는 이러한 경우에 설정된 양자화 계수를 변화시킬 구간을 보여 준다. 그러나, 도 4b와 같이 한 장의 영상 내에 다수의 관심 영역이 있을 경우 배경 영역에서 양자화 계수를 변화시킬 구간은 설정하지 않을 수 있다. 도 5b는 이와 같은 경우를 나타내는데 양자화 계수가 변화하는 구간이 오직 관심 영역 내에만 설정되어 있는 것을 볼 수 있다. 이러한 경우에도 도 5b와 같이 구간을 설정하지 않고 배경 영역에서 더 인접한 관심 영역을 판단하여 배경 영역의 양자화 계수를 변화시킬 수도 있다.
도 4와 같이 설정된 구간 내에서 관심 영역에 사용할 양자화 계수와 배경 영역에 사용할 양자화 계수를 도 3a 및 도 3b와 같이 모두 각 슬라이스 헤더에 포함하여 전송을 한 후, 도 5와 같이 설정된 구간 외의 영역에서는 각 영역에 해당되는 양자화 계수를 사용하고, 도 5에서 설정된 구간 내에서는 두 영역간 경계가 드러나지 않도록 양자화 계수를 인접한 영역의 양자화 계수에 근접하게 변화시킨다.
양자화 계수를 변화시킬 구간을 설정하는 방법이나, 이 구간 안에서 양자화 계수를 변화시키는 방법은 부호화기와 복호화기에서 동일한 방법을 사용하여 부가적으로 이 방법에 대한 정보를 부호화하지 않을 수 있다.
본 발명에 따른 슬라이스 구조를 갖는 관심 영역 부호화 및 복호화 방법은 관심 영역의 화질을 높이되 배경과의 경계 부분이 드러나지 않도록 함으로써 주관적 화질을 향상시킨다. 관심 영역과 배경 영역이 서로 다른 슬라이스로 분리되어 부호화되었기 때문에 각 슬라이스를 서로 다른 방법을 사용하여 전송함으로써 전송 시에 오류가 발생할 경우 관심 영역의 화질을 우선적으로 보호할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브 (예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상 도면과 명세서에서 최적 실시예들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.