KR100770453B1 - 픽쳐-인-픽쳐 구현방법 - Google Patents

Abstract

디지털 화상처리장치의 픽쳐-인-픽쳐(이하, PIP) 처리시 PIP 신호처리기의 내부 메모리 및 외부 메모리의 사이즈를 줄이고, 요구되는 메모리 B/W 를 개선하기 위하여, 비디오 디코더로부터 출력되는 비디오 프레임 데이터를 매크로블록 데이터 단위로 PIP 신호처리기의 내부 메모리로 읽어 와 연산처리한다. 또한, 비디오 디코더로부터 출력되는 비디오 프레임 데이터중 B 픽쳐의 매크로블록 데이터는 외부 메모리에 저장함이 없이 바로 PIP 신호처리기의 내부 메모리로 가져와 연산처리한다. 해당 슬라이스에서 데이터가 부족하더라도 연산처리하여 중간 데이터로 저장한 후에, 다음 슬라이스의 처리시 이를 반영한다.

Description

픽쳐-인-픽쳐 구현방법{METHOD FOR PROCESSING PICTURE-IN-PICTURE IMAGES}

도 1 은 종래 기술의 PIP 구현방법을 나타낸 개략 블록도.

도 2 는 도 1 의 종래 기술의 PIP 구현방법을 나타낸 순서도.

도 3 은 본 발명의 PIP 구현방법을 나타낸 개략 블록도.

도 4 는 비디오 디코더로부터 전달되는 매크로블록 데이터의 경계영역이 필터링 할 수 없음을 나타낸 개략도.

도 5 는 도 4 의 본 발명의 PIP 구현방법을 나타낸 순서도.

도 6 은 도 5 의 S160 단계를 더 자세하게 나타낸 순서도.

본 발명은 디지털 TV 와 같은 디지털 화상처리장치의 픽쳐-인-픽쳐(Picture-In-Picture, 이하, PIP) 구현방법에 관한 것으로서, 특히 PIP 처리시 PIP 신호처리기(또는 VDP(Video Data Processor))의 내부 및 외부 메모리의 사용량을 줄여 메모리 사이즈를 줄이고, 이에 따라 요구되는 메모리 대역폭(B/W)을 개선한 DTV의 PIP 구현방법에 관한 것이다.

최근의 DTV 는 통상 1920 ×1080 의 해상도를 가지며, MPEG 알고리즘을 사용 하여 화상을 구현한다.

이하, 종래의 DTV 의 PIP 구현방법을 메모리 사용을 중심으로하여 살펴본다. 도 1 은 종래의 DTV 의 PIP 구현방법을 나타낸 개략 블록도이며, 도 2 는 1 프레임의 PIP 구현방법을 나타낸 도 1 에 대한 순서도이다. 도 1 및 도 2 에 도시된 바와 같이, 비디오 디코더(10)로부터 출력되는 데이터를 외부 메모리(20)의 비디오 프레임 영역(22)에 저장시킨다(a1). 다음, 비디오 프레임 영역(22)에 저장된 데이터을 한 라인 단위(1920 bytes)로 PIP 신호처리기(30)의 라인 메모리(32)로 저장시킨 뒤(a2), 라인 메모리(32)에 저장된 데이터들을 PIP 사이즈로 PIP 신호처리기(30)에서 연산처리하여 PIP 영역(24)에 저장시킨다(a3)

원래의 한 화면 사이즈를 PIP 사이즈로 줄이는 영역축소 처리에서는 통상 에일리어싱(aliasing)을 줄이기 위해 로우 패스 필터링(Low Pass Filtering) 후 서브샘플링(subsampling)을 수행한다.

×5 의 버티컬 필터링 마스크를 가정할 경우, PIP 신호처리기 (30) 내부에는 5 라인을 수용할 수 있는 FIFO (First-In-First-Out) 구조의 라인 메모리(32, line memory)를 구비하여, 이 라인 메모리(32)로 한 라인씩 읽어 와(a2), 연산처리를 수행하여, 연산처리된 결과를 한 라인씩 외부 메모리(20)의 PIP 영역(24)에 저장하고(a3), PIP 영역에 저장된 데이터를 한 PIP 화면 단위로 출력함으로써, PIP 처리된 화상을 디스플레이하였다(a4).

종래의 DTV 의 PIP 구현방법에 있어서, 한 라인씩 라인 메모리(32)로 불러와 5 라인이 되면 연산처리를 하였으므로. 라인메모리(32)의 총 크기는 5 ×1920 bytes 의 큰 값이 되었다.

따라서, 라인 메모리(32)의 사이즈가 크므로, 전체 PIP 신호처리기(30)의 칩 사이즈를 증가시키는 요인이 되었으며, 데이터 액세스 측면에서 요구되는 대역폭도 커야 했다.

상기한 문제점을 해결하기 위한 본 발명의 목적은, 메모리 사용량을 줄여 요구되는 칩 사이즈를 저감시키고, 요구되는 메모리 대역폭을 개선시키며, 화질의 저하도 없는 PIP 구현방법을 제공하는 것이다.

본 발명에 따른 PIP 구현방법은, 비디오 디코더, 외부 메모리, 및 내부 메모리를 갖는 PIP 신호처리기를 포함하며, 상기 비디오 디코더로부터 출력되는 비디오 프레임 데이터를 연산처리하여 PIP 화상을 구현하는 화상처리장치의 PIP 구현방법에 있어서, 상기 비디오 디코더로부터 출력되는 비디오 프레임 데이터를 상기 외부 메모리의 제 1 메모리 영역 및 상기 내부 메모리에 저장하는 단계; 상기 외부 메모리의 제 1 메모리 영역에 저장된 상기 비디오 프레임 데이터를 매크로블록 단위로 상기 내부 메모리에 저장하는 단계; 상기 내부 메모리에 저장된 상기 매크로블록 단위의 데이터를 PIP 사이즈로 연산처리하는 단계; 상기 연산처리된 결과의 데이터를 상기 외부 메모리의 제 2 메모리 영역에 저장하는 단계; 및 상기 외부 메모리의 제 2 메모리 영역에 저장된 데이터를 출력하는 단계를 포함한다.

또한, 상기 비디오 디코더로부터 출력되는 비디오 프레임 데이터를 상기 외 부 메모리의 제 1 메모리 영역 및 상기 내부 메모리에 저장하는 단계는, 상기 비디오 디코더로부터 출력되는 상기 비디오 프레임 데이터 가운데 I 및 P 픽쳐의 데이터를 상기 외부 메모리의 제 1 메모리 영역에 저장하는 단계; 및 상기 비디오 디코더로부터 출력되는 상기 비디오 프레임 데이터 가운데 B 픽쳐의 데이터를 매크로블록 단위로 상기 내부 메모리에 저장하는 단계를 포함할 수 있다.

또한, 상기 매크로블록을 연산처리하는 단계는, 상기 연산처리를 하기에 데이터가 부족하더라도 연산처리하고, 연산결과를 상기 외부 메모리의 제 3 메모리 영역에 저장하는 단계; 및 상기 외부 메모리의 제 3 메모리 영역에 저장된 상기 연산결과를 다음 슬라이스의 처리시 반영하는 단계를 포함할 수 있다.

이하, 본 발명의 실시예를 도 3 내지 도 6 을 참조하여 설명한다.

도 3 은 본 발명의 일실시예를 나타낸 개략 블록도이고, 도 5 는 본 발명의 일실시예를 나타낸 순서도이다.

먼저, 비디오 디코더(10)로부터 디코딩되어 출력되는 비디오 프레임 데이터중 I 및 P 픽쳐는 외부 메모리(20)의 비디오 프레임 영역(22)에 저장되고(b1), B 픽쳐는 외부 메모리(20)에 저장됨이 없이 PIP 신호처리기(30) 내부의 매크로블록 메모리(35)에 매크로블록 단위로 저장된다(b2). 이는 I 픽쳐 또는 P 픽쳐는 차기 화상처리에 재사용할 가능성이 있어 보존이 요구되나, B 픽쳐는 일회 사용후 재사용할 필요가 없어 보존이 요구되지 않기 때문에, 외부 메모리(20)에 저장함이 없이 바로 PIP 신호처리기(30)로 불러와 처리하기 위함이다.

매크로블록 메모리(35)는 PIP 신호처리기 내부의 DRAM 또는 SRAM 등의 쓰기 와 읽기가 가능한 메모리를 사용하는 것이 보편적이며, 16 ×16 bytes 의 사이즈를 갖는다.

다음, 매크로블록 메모리(35)에 저장되는 B 픽쳐 데이터에 대하여, 필터링(filtering) 또는 보간(interpolation) 등의 PIP 화면을 만들기 위한 연산처리가 수행된 후, 연산처리된 결과의 데이터들이 외부 메모리(20)의 PIP 영역(24)에 저장된다(b6).

다음, I 및 P 픽쳐 데이터가 PIP 신호처리기(30)의 매크로블록 메모리(35)로 저장되어, 연산처리된 후, 외부 메모리(20)의 PIP 영역(24)에 저장된다(b6).

이 단계를 자세하게 나타낸 것이 도 6 의 순서도이다.

도 4 에 도시된 바와 같이, 필터링 마스크의 크기에 모두 채워지지 못하는 슬라이스의 데이터들은 데이터가 없는 그대로 연산한 후, 외부 메모리(20)의 별도의 데이터 영역인 중간 데이터 영역(26)에 저장된다(b4).

채워지지 못하는 데이터의 가중치를 매우 적게 하도록 필터링 마스크의 가중치는 가우시안 프로파일(Guassian Profile)을 가지는 것이 바람직하다.

중간 데이터 영역(26)에 저장된 부족한 데이터를 처리한 경계영역의 처리값은 다음 슬라이스의 이어지는 경계영역에 대하여 적용됨(b5)으로써, 화질의 저하를 최소로 할 수 있다.

다음, 한 화면을 출력하기 위한 데이터들이 모두 PIP 영역(24)에 저장되면, 출력되어, PIP 처리된 화상이 디스플레이 된다(b7).

따라서, PIP 신호처리기(30) 내부의 라인메모리(32)에 1 라인 단위로 데이터 를 저장하지 않고, PIP 처리에 필요한 매크로블록 단위로 저장함으로써, 종래에 비하여 내부 메모리에 요구되는 사이즈가 16 ×16 bytes 로 줄어들 수 있으며, 외부 메모리(20)의 비디오 프레임 영역(22)에 B 픽쳐가 저장되지 않고 바로 처리됨으로써, 외부 메모리(20)에 필요한 메모리 사이즈가 줄어 들 수 있다. 연산을 수행하기에 해당 슬라이스의 데이터가 부족한 경우에는, 남아 있는 데이터들 끼리의 연산처리가 수행된 후, 중간결과가 외부 메모리에 중간 데이터 영역(26)으로 저장되고, 다음 슬라이스의 처리시 이를 읽어 와 이를 반영하여 연산을 수행함으로써 화질의 저하를 최소로 줄일 수 있다.

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

본 발명에 따르면, 매크로블록 단위로 PIP 처리기의 내부 메모리로 가져와 처리함으로써 PIP 신호처리기 내부의 메모리 사이즈를 줄이고, B 픽쳐 데이터를 비디오 프레임 영역에 저장하지 않고, 바로 PIP 처리기의 내부 메모리로 가져와 처리함으로써 외부 메모리의 사이즈를 줄이고, 데이터가 부족하더라도 연산을 수행한 후, 다음의 슬라이스 처리시 반영함으로써 화질의 저하를 최소화하여, PIP 처리된 화상을 구현할 수 있다.

Claims (3)

1. 비디오 디코더, 외부 메모리, 및 내부 메모리를 갖는 PIP 신호처리기를 포함하며, 상기 비디오 디코더로부터 출력되는 비디오 프레임 데이터를 연산처리하여 PIP 화상을 구현하는 화상처리장치의 PIP 구현방법에 있어서,

   상기 비디오 디코더로부터 출력되는 비디오 프레임 데이터를 상기 외부 메모리의 제 1 메모리 영역 및 상기 내부 메모리에 저장하는 단계;

   상기 외부 메모리의 제 1 메모리 영역에 저장된 상기 비디오 프레임 데이터를 매크로블록 단위로 상기 내부 메모리에 저장하는 단계;

   상기 내부 메모리에 저장된 상기 매크로블록 단위의 데이터를 PIP 사이즈로 연산처리하는 단계;

   상기 연산처리된 결과의 데이터를 상기 외부 메모리의 제 2 메모리 영역에 저장하는 단계; 및

   상기 외부 메모리의 제 2 메모리 영역에 저장된 데이터를 출력하는 단계를 포함하는 PIP 구현방법.
2. 제 1 항에 있어서,

   상기 비디오 디코더로부터 출력되는 비디오 프레임 데이터를 상기 외부 메모리의 제 1 메모리 영역 및 상기 내부 메모리에 저장하는 단계는,

   상기 비디오 디코더로부터 출력되는 상기 비디오 프레임 데이터 가운데 I 및 P 픽쳐의 데이터를 상기 외부 메모리의 제 1 메모리 영역에 저장하는 단계; 및

   상기 비디오 디코더로부터 출력되는 상기 비디오 프레임 데이터 가운데 B 픽쳐의 데이터를 매크로블록 단위로 상기 내부 메모리에 저장하는 단계를 포함하는 것을 특징으로 하는 PIP 구현방법.
3. 제 1 항 또는 제 2 항에 있어서,

   상기 매크로블록을 연산처리하는 단계는,

   상기 연산처리를 하기에 데이터가 부족하더라도 연산처리하고, 연산결과를 상기 외부 메모리의 제 3 메모리 영역에 저장하는 단계; 및

   상기 외부 메모리의 제 3 메모리 영역에 저장된 상기 연산결과를 다음 슬라이스의 처리시 반영하는 단계를 포함하는 것을 특징으로 하는 PIP 구현방법.

Images