KR0152034B1

KR0152034B1 - 인트라부호화방법

Info

Publication number: KR0152034B1
Application number: KR1019940015192A
Authority: KR
Inventors: 권주한; 조재문
Original assignee: 김광호; 삼성전자주식회사
Priority date: 1994-06-29
Filing date: 1994-06-29
Publication date: 1998-10-15
Also published as: EP0690629A3; US6069919A; KR960003408A; US5745180A; JP2801560B2; JPH08102953A; EP0690629A2

Abstract

본 발명은 인트라슬라이스방식과 인트라컬럼방식을 결합하여 복호화지연시간을 줄이고 인조화상을 효과적으로 제거하도록 한 인트라부호화 방법에 관한 것이다. 이러한 본 발명의 인트라슬라이스(컬럼) 부호화방법은 설정된 부호화영역을 화면의 상화(좌우)측면에 서로 끼워맞추듯이 설정하는 단계와, 매프레임이 진행됨에 따라 상기 부호화영역들을 상하(좌우)측면에서부터 동시에 수직(수평)방향으로 이동시키는 단계로 이루어진다. 이때 부호화영역은 화면전체를 주기적으로 리프레쉬할 수 있도록 매크로블럭의 정수배인 슬라이스조각(컬럼조각) 단위로 설정한다. 아울러 상기 인트라슬라이스 부호화방법과 인트라컬럼 부호화방법을 결합하여 화면의 움직임이 수평방향과 수직방향의 어느쪽으로 집중되더라도 대부분의 움직임에 대응하여 인조화상을 현저히 줄일 수 있다.

Description

인트라부호화방법

제1도는 종래의 인트라슬라이스 부호화방법을 설명한 화면상태도.

제2도는 종래의 인트라컬럼 부호화방법을 설명한 화면상태도.

제3도는 본 발명의 영상데이타 부호화장치의 일예를 보인 블럭구성도.

제4도는 본 발명의 인트라슬라이스 부호화방법을 설명하기 위한 화면상태도로서, (a)는 i번째 프레임이고, (b)는 i+1번째 프레임이다.

제5도는 본 발명의 인트라컬럼 부호화방법을 설명하기 위한 화면상태도로서, (a)는 i번째 프레임이고, (b)는 i+1번째 프레임이다.

제6도는 본 발명의 복합인트라 부호화방법을 설명하기 위한 화면상태도로서, (a)는 i번째 프레임이고, (b)는 i+1번째 프레임이다.

* 도면의 주요부분에 대한 부호의 설명

3 : 양자화부 4 : 가변장부호화부

5 : 버퍼 9 : 프레임메모리

10 : 동추정부 12 : 리프레쉬부

본 발명은 로우딜레이(low delay) 부호화에 관한 것으로, 특히 인트라슬라이스(Intra Slice) 방식과 인트라컬럼(Intra Column) 방식의 문제점을 개선하고 상기 두 부호화방식을 결합하여 인조화상(artifact)을 효과적으로 제거할 수 있도록 한 인트라 부호화방법에 관한 것이다.

최근 HD-TV, HD-VTR, 디지탈 VTR, 디지탈캠코더, 멀티미디어(multimedia) 비디오폰, 비디오컨퍼런스(conference) 등과 같은 시스템에서는 영상과 음향을 디지탈신호로 부호화하여 전송하거나 저장하고, 이를 다시 복호화하여 재생하는 방식이 주로 사용되고 있다. 이러한 디지탈동영상 처리시스템에 있어서, 부호화측인 MPEG에서 제안하는 것처럼 IBBPBBPI-형태인 GOP(Group of Picture) 구조를 갖는다면 복호화측에서는 이 GOP 구조에 의해 랜덤액세스(random access) 처리가 가능하다. 하지만 기본처리단위가 GOP 기준이므로 정상적인 GOP 단위를 받아들이기까지 정상적으로 복호화가 되지 않는 복호화지연(decoding delay) 현상이 발생하게 된다. 그러므로 복호화측에서 채널이 전환되거나 파워온동작, 혹은 리세트등으로 새로운 영상비트열(Bitstream)을 복호화하기 시작할 경우에는 다소의 지연이 발생하는 문제점이 있었다.

따라서 이러한 지연현상을 극복하고자 IBBPBBPI-구조의 GOP 개념을 없애고 복호화지연시간을 줄이려는 IPPP-구조의 로우딜레이 부호화기법이 연구되고 있다. IPPP-구조는 GOP개념을 사용하지 않기때문에 랜더액세스는 불가능하지만, 복호화지연 시간이 짧고 B화상이 없는 관계로 하드웨어복잡도가 GOP 구조의 MPEG에서와 같이 강제인트라프레임을 사용하는 대신에, 한 화면내에서 강제인트라 부호화되는 영역을 설정한 후 이를 매프레임(i,i+1,i+2)마다 적절히 이동(shift)시켜서 효과적인 부호화를 유도하고 있다. 이때 설정하는 영역을 제1도에서와 같이 가로줄모양의 슬라이스단위로 하느냐, 혹은 제2도에서와 같이 세로줄모양의 컬럼단위로 하느냐에 따라 인트라슬라이스방식 또는 인트라컬럼방식이라고 한다.

다시 설명하면, 인트라슬라이스 방식은 한 화면내의 인트라 영역이 프레임단위마다 위에서 아래로, 즉 수직방향으로 한 슬라이스씩 이동하는 것이다. 또한 인트라컬럼방식은 한 화면내의 인트라영역이 좌에서 우로, 즉 수평방향으로 한 컬럼씩 이동하는 것으로, 통상 15프레임정도면 한화면전체를 인트라영역이 다 훑고 지나갈 수 있다. 그러나 인트라슬라이스방식이나 인트라컬럼 방식은 모두 특정방향의 움직임(수평 또는 수직)이 많은 경우에 단점을 가지므로 어느 한 방식만을 사용하게 되면 완벽한 화면 복구에 문제가 생긴다.

예를들어, 방송국에서 인트라컬럼방식으로 영상신호를 부호화하여 송신할 때 수신측에서 채널을 전환하여 다른방송을 수신한다던가, 혹은 수신기의 파워온동작으로 새로운 복호화를 시작한다고 가정한다. 이때 수신기는 화면중 인트라부호화된 영역의 영상데이타만을 에러없이 정상적으로 복호화할 수 있을 뿐, 화면에서 인터부호화되어 전송되어 있던 데이타들은 정상적으로 복구가 불가능하다. 따라서 인트라영역이 화면에서 완전히 이동하여 전체화면을 모두 훑고 나서야 완전한 복호화가 가능해진다. 그러가 복호화를 새롭게 시작한 시점이 마침 수평방향의 움직임이 많은 매크로블럭들이면, 수신기는 동보상을 위해 아직 인트라 영역이 훑고 지나가지 않은 인터영역에서 현재의 프레임을 예측(Predict) 한다. 그러므로 엉터리영역이 카피(Copy)되어 인트라영역이 전화면을 완전히 훑었다 하더라도 화면의 찌꺼기와 같은 인조화상이 발생하고, 이 부분이 완전히 복원되지 않게 된다. 마찬가지로, 인트라슬라이스방식을 사용할 경우에도 움직임이 수직방향으로 많이 있다면, 화면의 찌꺼기가 발생하여 완전한 복원이 어렵다는 문제점이 있었다.

본 발명은 상기와 같은 종래의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 복호화지연시간을 효과적으로 줄이고 화면을 완전하게 복원할 수 있는 새로운 형태의 인트라슬라이스 부호화방법과 인트라컬럼 부호화방법을 제공하는데 있다.

본 발명의 다른 목적은 상기 두 부호화방법을 결합하여 화면의 움직임이 수평방향과 수직방향의 어느쪽으로 집중되더라도 대부분의 움직임에 대응하여 인조화상을 현저히 줄일 수 있도록 한 인트라부호화방법을 제공하는 데 있다.

상기와 같은 목적들을 달성하기 위한 본 발명의 인트라슬라이스 부호화방법은 부호화하려는 화면전체를 주기적으로 리프레쉬할 수 있도록 매크로블럭의 정수배로 설정된 부호화영역을 화면의 상하측면에 서로 끼워맞추듯이 배치하는 단계와, 매프레임이 진행됨에 따라 상기 부호화영역들을 상하측면에서부터 동시에 수직방향으로 이동시키는 단계로 이루어진다.

또한, 상기와 같은 목적들을 달성하기 위한 본 발명의 인트라컬럼 부호화방법은 소정크기로 설정된 부호화영역을 화면의 좌우측면에 서로 끼워맞추듯이 설정하는 단계와, 매프레임이 진행됨에 따라 상기 부호화영역들을 화면의 좌우측면에서부터 동시에 수평방향으로 이동시키는 단계로 이루어진다.

상기와 같은 목적들을 달성하기 위한 본 발명의 복합인트라 부호화방법은 소정크기로 설정된 부호화영역을 화면의 상하 및 좌우측면에 서로 끼워맞추듯이 배치하는 단계와, 매프레임이 진행됨에 따라 상기 부호화영역들을 상하 및 좌우측면에서부터 동시에 수직 또는 수평방향으로 이동시키는 단계로 이루어진다.

이하, 첨부된 제3도 내지 제6도를 참조하여 본 발명의 실시예를 상세히 설명하면 다음과 같다.

제3도는 본 발명이 적용되는 영상데이타 부호화장치의 일예를 보인 블럭 구성도이다. 이 부호화장치에 입력된 소정크기의 블럭단위의 영상데이타는 감산기(1)로 인가되고, 감산기(1)는 입력데이타에서 궤환데이타를 감산하여 오차데이타를 출력한다. 감산기(1)의 출력단에 연결된 N×N 변환부(2)는 오차데이타를 주파수영역의 데이타로 변환하고, N×N 변환부(2)의 변환계수들은 양자화부(3)로 인가되어 버퍼(5) 에서 궤환된 양자화레벨신호(Q)에 따라 양자화된다. 가변장부호화부(4)는 양자화된 데이타를 통계적특성에 따라 가변장부호화하여 압축한다. 가변장부호화된 데이타는 버퍼(5)에 저장되었다가 일정속도로 전송되고, 버퍼(5)는 오버플로우(overflow)나 언더플로우(underflow)가 발생되지 않도록 양자화레벨신호(Q)를 출력한다.

양자화부(3)의 출력데이타는 역양자화부(6)를 통해 N×N 역변환부(7)로 인가되어 역양자화 및 역변환처리된다. N×N 역변환부(7)의 영상데이타는 가산기(8)로 인가되어 궤환데이타와 가산되고, 프레임메모리(9)는 가산기(8)의 출력데이타를 프레임단위로 저장하여 화면을 재구성한다. 본 발명의 부호화장치에 입력되는 블럭영상데이타는 동추정부(10)에도 인가되고, 동추정부(10)는 이 입력데이타와 가장 유사한 패턴의 데이타를 프레임메모리(9)로부터 찾아 움직임벡터를 산출한다. 동보상부(11)는 프레임 메모리(9)로부터 동추정부(10)의 움직임벡터에 상응하는 블럭데이타를 독출하여 감산기(1)와 가산기(8)로 출력한다. 또한, 본발명의 부호화장치는 오차데이타의 누적으로 인해 부호화되는 화상이 실제화상과 달라지는 것을 방지하기 위해 영상데이타를 설정된 슬라이스단위 및 컬럼단위로 리프레쉬(Refresh)시키는 리프레쉬부(12)를 구비한다.

제4도는 본 발명의 인트라슬라이스 부호화방법을 설명하기 위한 화면상태도로서, a는 i번째 프레임에서의 부호화영역을 나타내고, (b)는 i+1번째 프레임에서의 부호화영역을 나타낸다. i번째 프레임에서는 빗금으로 표시한 인트라 부호화영역을 윗부분과 아랫부분에 서로 끼워맞추듯이 배치한다. 이렇게 설정된 부호화영역을 i+1번째 프레임에서는 수직방향, 즉 상하로 1 프레임단위마다 1슬라이스분씩 이동시킨다. 예를들어, 화면의 크기가 720×480인 CCIR 영상신호의 경우 슬라이스의 각 조각크기를 48×32라고 하면 수평측으로 15개의 슬라이스조각이 생기고, 각 슬라이스 족가은 크기가 16×16인 6개의 매크로블럭(MB)으로 이루어진다. 이와같은 실시예에서는 15프레임만 지나면 인트라슬라이스 조각들이 화면의 반대위치(상부에서 시작한 인트라슬라이스 조각들은 하부로, 하부에서 시작한 인트라슬라이스 조각들은 상부로)로 훑고 지나가므로, 결국 1초에 2번씩 화면 전체를 인트라부호화로 리프레쉬하게 된다.

제5도는 본 발명의 인트라컬럼 부호화방법을 설명하기 위한 화면상태도로서, (a)는 i번째 프레임에서의 부호화영역을 나타내고, (b)는 i+1번째 프레임에서의 부호화영역을 나타낸다. i번째 프레임에서는 인트라 부호화영역을 좌측과 우측에 서로 끼워맞추듯이 배치한다.

이렇게 설정된 부호화영역을 i+1번째 프레임에서는 수평방향, 즉 좌우측으로 1프레임단위마다 1컬럼분씩 이동시킨다. 전술한 바와 같이, 화면의 크기가 720×480인 CCIR 영상신호의 경우 48×32크기의 15개 컬럼조각이 수직측에 생겨나고, 각 칼럼조각은 크기가 16×16인 6개의 매크로블럭으로 이루어진다. 여기서도 15프레임만 지나면 인트라커럼 조각들이 화면의 반대위치(좌측에서 시작한 인트라컬럼조각들은 우측으로, 우측에서 시작한 인트라컬럼 조각들은 좌측으로)로 훑고 지나가므로, 이 역시 1초에 2번씩 화면전체를 인트라부호화로 리프레쉬하게 된다.

전술된 인트라슬라이스방식이나 인트라컬럼방식에서 모두 슬라이스조각이나 컬럼조각들의 크기는 임의로 하는 것이 가능하며, 1초에 수회 전체화면을 리프레쉬할 수 있도록 설정하는 것이 바람직하다.

제6도는 본 발명의 복합인트라 부호화방법을 설명하기 위한 화면상태도로서, (a)는 i번째 프레임에서의 부호화영역을 나타내고, (b)는 i+1번째 프레임에서의 부호화영역을 나타낸다. i번째 프레임에서는 인트라 부호화영역을 상측과 하측에 서로 끼워맞추듯이 배치하고, 아울러 좌측과 우측에도 서로 끼워맞추듯이 조각들을 배치한다. 이렇게 설정된 부호화영역을 i+1번째 프레임에서는 수직방향(상/하), 수평방향(좌/우)으로 각각 이동시키는데, 1프레임단위마다 1슬라이스분 혹은 1컬럼분만큼 이동시킨다. 예를들어, 화면의 크기가 720×480 인 CCIR영상신호의 경우 슬라이스 혹은 컬럼의 각 조각크기를 48×32라고 하면 수평측으로 15개의 슬라이스 조각이 생겨나고, 수직측으로는 15개의 컬럼조각이 생겨난다. 이때 슬라이스 혹은 컬럼의 각 조각은 매크로블럭(MB)의 크기가 16×16이므로 6개의 매크로블럭으로 이루어진다.

제6도의 실시예에서는 15프레임이 경과되면, 화면좌우의 컬럼조각 및 화면상하의 슬라이스조각은 각각 우/좌측 및 하/상측으로 이동하여 한화면을 완전히 훑고 지나간 것과 같다. 따라서, 1초에 30프레임을 전송하는 TV방송이라면 1초에 2번 리프레쉬된다. 그리고 각 조각들의 크기는 매크로블럭(MB)의 정수배이기만 하면 되므로 일정한 주기로 화면전체를 리프레쉬할 수 있도록 가변적으로 조정하는 것이 가능하다. 또한 i+n번째 특정프레임에서 나타나는 중복된 영역은, 결합(논리합) 개념에 의해 인트라슬라이스조각과 인트라컬럼조각 중 한가지가 있는 것으로 생각하면 된다.

이상에서와 같이 본 발명에 따른 인트라슬라이스 또는 인트라컬럼의 각 부호화방법은 일정한 방향, 즉 가로 또는 세로방향으로의 연결된 움직임의 동보상에 있어서 발생하는 화면찌꺼기 등의 문제점을 해결하기 위해 '끼워맞추는 배치'를 새로운 부호화방식을 도입하므로써, 복호화지연시간을 효과적으로 줄이고 화면을 완전하게 복원하는 효과를 제공한다. 또한, 화상을 부호화할때 인트라슬라이스방식과 인트라컬럼방식을 결합한 복한인트라부호화방법을 적용하므로, 동화면의 움직임이 수평방향과 수직방향의 어느쪽으로 집중되더라도 대부분의 움직임에 대응하여 인조화상을 현저히 줄이는 효과도 있다.

Claims

소정크기의 블럭단위로 영상데이타를 부호화하는 방법에 있어서, 부호화하려는 화면전체를 주기적으로 리프레쉬할 수 있도록 매크로블럭의 정수배로 설정된 인트라부호화영역을 화면의 상하측면에 서로 끼워맞추듯이 배치하는 단계와; 매프레임이 진행됨에 따라 상기 부호화영역들을 상하측면에서부터 동시에 수직방향으로 이동시키는 단계로 이루어짐을 특징으로 하는 인트라부호화방법.
제1항에 있어서, 상기 인트라부호화영역은 CCIR 영상신호의 경우 정수개의 매크로블럭으로 이루어진 슬라이스 조각단위로 설정되고, 각 슬라이스조각이 수평측으로 소정갯수만큼 배치되도록 한 것을 특징으로 하는 인트라부호화방법.
제1항에 있어서, 소정크기로 설정된 인트라부호화영역을 화면의 좌우측면에 서로 끼워맞추듯이 설정하는 단계와; 매프레임이 진행됨에 따라 상기 부호화영역을 화면의 좌우측면에서부터 동시에 수평방향으로 이동시키는 단계를 더 포함하는 것을 특징으로 하는 인트라부호화방법.
제3항에 있어서, 상기 인트라부호화영역은 CCIR 영상신호의 경우 정수개의 매크로블럭으로 이루어진 슬라이스조각 또는 컬럼단위로 설정되고, 각 슬라이스조각 또는 컬럼조각이 각각 수평 도는 수직측으로 소정갯수만큼씩 배치되도록 한 것을 특징으로 하는 인트라부호화방법.
소정크기의 블럭단위로 영상데이타를 부호화하는 방법에 있어서, 부호화하려는 화면전체를 주기적으로 리프레쉬할 수 있도록 매크로블럭의 정수배로 설정된 인트라부호화영역을 화면의 좌우측면에 서로 끼워맞추듯이 설정하는 단계와; 매프레임이 진행됨에 따라 상기 부호화영역들을 화면의 좌우측면에서부터 동시에 수평방향으로 이동시키는 단계로 이루어짐을 특징으로 하는 인트라부호화방법.
제5항에 있어서, 상기 인트라부호화영역은 CCIR 영상신호의 경우 정수개의 매크로 블럭으로 이루어진 컬럼 조각단위로 설정되고, 각 컬럼조각이 수직측으로 소정갯수만큼 배치되도록 한 것을 특징으로 하는 인트라부호화방법.