KR100661895B1

KR100661895B1 - 영상 데이터 처리 장치 및 처리 방법

Info

Publication number: KR100661895B1
Application number: KR1020050031560A
Authority: KR
Inventors: 다케로 고바야시
Original assignee: 가부시끼가이샤 도시바
Priority date: 2004-05-26
Filing date: 2005-04-15
Publication date: 2006-12-28
Also published as: KR20060045777A; TWI258309B; TW200539704A; US7453522B2; EP1601192A2; JP2005341132A; CN100382566C; EP1601192A3; US20050265688A1; CN1703075A

Abstract

본 발명은 한 쪽 영상(예컨대 주영상)에 다른 쪽 영상(예컨대 부영상)을 블렌딩 또는 합성하는 경우, 쌍방 영상 데이터 사이에 시간 축을 맞추어 넣는다. 임의의 프레임 속도를 갖는 제1 영상 데이터를 생성하는 제1 영상 생성 수단과(27, 28, 29, 31), 제1 영상 데이터와는 다른 임의의 프레임 속도를 갖는 제2 영상 데이터를 생성하는 제2 영상 생성 수단(21, 22, 23, 24, 26)과, 상기 제1 영상 생성 수단이 관리하는 영상 재생 시간을 기준 시간으로 하고, 이 기준 시간에 대하여 어긋난 상기 제2 영상 생성 수단의 영상 재생 시간을 제2 영상 데이터의 반복 이용에 의해 보정하여 프레임 동기를 얻는 동기화 제어부(24a)를 구비한다.

Description

영상 데이터 처리 장치 및 처리 방법{VIDEO DATA PROCESSING APPARATUS}

도 1은 본 발명에서 취급하는 화상 플레인의 블렌딩 처리의 예를 도시하는 설명도.

도 2는 본 발명에 따른 장치(하드웨어)의 구성예를 도시하는 블록도.

도 3은 본 발명에 따른 장치의 동작을 설명하기 위해서 그래픽 프레임과 비디오 프레임을 블렌딩 처리한 예를 도시하는 도면.

도 4는 픽셀 데이터 포맷의 일례를 도시하는 도면.

도 5는 픽셀 속도에서의 블렌딩 처리 원리를 설명하는 도면.

도 6은 본 발명에 따른 장치의 동작, 즉 그래픽 프레임과 비디오 프레임의 블렌딩 처리의 예를 설명하고, 스킵이 행하여 졌을 때의 동작을 설명하는 도면.

도 7은 본 발명을 실현하기 위한 소프트웨어의 구성예를 도시하는 블록도.

도 8은 실행 프로그램의 태스크 우선도의 일례를 도시하는 도면.

도 9는 그래픽 재생 처리의 흐름을 설명하는 흐름도.

도 10은 본 발명에 따른 시간 보정 시스템의 모델을 도시하는 도면.

도 11은 본 발명이 적용된 정보 기록 재생 장치를 설명하는 도면.

<도면의 주요부분에 대한 부호의 설명>

21 : 중앙 연산 처리 장치(CPU)

22 : 시스템 메모리

23 : 버스 브리지

24 : 그래픽 컨트롤러

26 : 그래픽 메모리

27 : 비디오 믹서

28 : MPEG 디코더

29 : IDE 컨트롤러

30 : 하드디스크 장치

31 : 광학 드라이브

32 : PCM 디코더

33 : IR 수신기

본 발명은 복수의 영상 데이터를 합성 또는 블렌딩시키는 기술에 관한 것이다. 특히, 본 발명은 복수의 영상 데이터 사이의 시간 축 조정 방법을 개선한 영상 데이터 처리 장치 및 처리 방법에 관한 것이다.

복수의 영상 데이터를 합성하는 기술은 종래부터 알려져 있다. 대부분의 경우에 있어서, 이와 같이 합성하는 제1 영상 데이터와 제2 영상 데이터는 원래 동일한 주파수의 동기 신호를 갖는 영상 데이터이다. 또한, 동화상으로서의 제1 영상 데이터에 정지 화상인 제2 영상 데이터를 다중화하는 기술로서는 다음의 방식이 있다. 이 방식에 따르면, 제2 영상 데이터(예컨대 OSD 신호)를 메모리로부터 판독한 후에 다중화된다(일본 특허 공개 2002-165018호 공보 참조). 그러나 이 경우도, 제2 영상 데이터의 판독 타이밍이 미리 제1 영상 데이터의 소정의 타이밍으로 설정되어 있다. 그리고, 제1 영상 데이터와 제2 영상 데이터는 하드웨어 회로에 의해 재생 처리되는 것이 상정되고 있다.

동화상인 주영상의 표시 영역에서 표현의 다양성과 풍부성을 얻기 위해서는 다음의 표시가 요망된다. 보다 구체적으로, 주영상은 어느 시간대의 이벤트로서 부영상을 중합한 상태에서 표시된다. 예컨대, 동화상인 주영상과 부영상을 중합시켜 주영상과 부영상의 각각의 투과율을 변화시키는 것과 같은 화면 효과를 원하는 경우도 있다. 또한, 주영상이 활동사진(영화)인 경우에는, 등장 인물의 대사에 맞추어 번역문을 표시하는 것이 요망된다.

이 경우에는 다음의 문제를 고려하여야 한다. 보다 구체적으로, 부영상은 종래와 같이 하드웨어를 이용하여 처리하는 영상 소스가 아니라, 소프트웨어를 이용하여 재생하는 영상 소스를 갖는다. 부영상의 영상 소스가 소프트웨어를 이용하여 재생되면 그 재생 시간은 컴퓨터의 기준 클록에 의존한다. 따라서, 부영상의 프레임 속도가 다른 쪽 하드웨어를 이용하여 재생 처리되고 있는 주영상의 프레임 속도에 반드시 일치하는 것은 아니다. 단순히 동화상인 주영상의 일부 직사각형 영역에 소프트웨어에 의해 재생한 부영상을 주영상의 변화와는 관계없이 끼워 넣어 표시하 는 것이면 문제는 없다.

그러나 주영상과 부영상의 표시 콘텐츠를 밀접히 관계시켜, 양자의 프레임 속도를 동기시킨다고 하는 기술은 공개된 것이 없다.

본 발명의 목적은 한 쪽 영상(예컨대 주영상)에 다른 쪽 영상(예컨대 부영상)을 블렌딩 또는 합성하는 경우, 쌍방의 영상 데이터의 시간 축을 보정할 수 있는 영상 데이터 처리 장치 및 처리 방법을 제공하는 데 있다.

상기한 문제를 해결하기 위해서, 본 발명의 한 형태에 의하면, 임의의 프레임 속도를 갖는 제1 영상 데이터를 생성하는 제1 영상 생성 수단과, 상기 제1 영상 데이터와는 다른 임의의 프레임 속도를 갖는 제2 영상 데이터를 생성하는 제2 영상 생성 수단과, 상기 제1 영상 생성 수단이 관리하는 영상 재생 시간을 기준 시간으로 하고, 이 기준 시간에 대하여 어긋난 상기 제2 영상 생성 수단의 영상 재생 시간을 상기 제2 영상 데이터의 반복 이용에 의해 보정하여 프레임 동기를 얻는 수단을 구비한다.

본 발명의 추가 목적 및 이점은 후술하는 설명될 것이며, 부분적으로는 상세한 설명으로부터 명확해지거나, 또는 본 발명의 실시에 의해서 배우게 될 수도 있다. 본 발명의 목적 및 이점은 이하에서 특히 지정한 도구 및 조 W에 의해서 실현되고 얻어질 수 있다.

명세서에 합체되어 있고 명세서의 일부를 구성하는 첨부 도면은 본 발명의 실시예를 나타내고 있고, 전술한 일반적인 설명 및 후술하는 실시예의 상세한 설명 과 함께 본 발명의 원리를 설명하는 역할을 한다.

이하 본 발명의 실시예를 도면을 참조하여 설명한다.

도 1은 본 발명에서 취급하는 화상 플레인의 블렌딩 처리의 기본 원리를 설명하는 도면이다. 그래픽 플레인(11)은 중앙 연산 처리 장치(CPU)에 의해서 계산되어 생성되는 화상이다. 비디오 플레인(12)은 MPEG2 디코더에 의해서 디코드된 동화상의 한 장 한 장의 화상이다. 이들 그래픽 플레인(11)과 비디오 플레인(12)은 서로 독립적으로 생성된다. 예컨대, 그래픽 플레인(11)과 비디오 플레인(12)은 MPEG2 디코더의 출력 프레임 속도에 맞추어(동기하여) 정기적으로 블렌딩된다. 선행 블렌딩은 합성부(14)에서 행해진다. 다시 말해서, 픽셀 레벨에서의 알파 블렌딩 처리가 행해진다.

도 2는 본 발명에 따른 하드웨어의 구성예를 도시하는 블록도이다. CPU(21)는 시스템 메모리(22) 상에 로드된 실행 프로그램에 따라 시스템에 접속된 각종 디바이스의 제어를 하고, 또한 그래픽 출력 화상을 생성한다.

버스 브리지(23)는 CPU(21), 시스템 메모리(22), 그래픽 컨트롤러(24), PCI 버스(25)에 접속되어 있고, 각각의 디바이스와 버스 사이의 데이터 교환을 제어하고 중계한다.

시스템 메모리(22)는 IDE 컨트롤러(29)에 접속된 하드디스크 드라이브(HDD)(30)에 저장된 실행 프로그램의 복사를 저장한다. 또한, 시스템 메모리(22)는 계산과 데이터 전송에 필요한 변수를 일시적으로 저장하는 버퍼 영역으로서 이용된다.

그래픽 컨트롤러(24)는 CPU(21)에 의해서 계산된 화상을 시스템 메모리(22)로부터 그래픽 메모리(26)에 전송하는 것을 제어한다. 또한, 그래픽 컨트롤러(24)는 복잡한 화상 처리 계산을 CPU(21)의 지시에 따라 실행한다. 추가로, 그래픽 컨트롤러(24)는 MPEG 디코더(28)의 출력 타이밍에 맞추어(동기하여) 화상 정보를 비디오 믹서(27)에 출력한다. 따라서, 그래픽 컨트롤러(24)는 동기화 제어부(24a)를 포함한다. 그래픽 컨트롤러(24)는 후술하는 프레임 생성 생략부(24b), 우선도 설정부(24c), 프레임 속도 제어부(24d)를 더 포함한다.

비디오 믹서(27)는 MPEG 디코더(28)로부터의 NTSC 신호 정보와, 그래픽 컨트롤러(24)로부터의 화상 정보를 블렌딩(믹싱) 처리한다. 이 때, 비디오 믹서(27)는 그래픽 컨트롤러(24)로부터 출력된 화상 정보 내의 α(알파) 값을 이용하여 상기 믹싱을 실시한다. 이어서, 비디오 믹서(27)는 NTSC에 맞춘(동기한) 화상 신호를 재생한 후에 출력한다. 비디오 믹서(27)는 알파 블렌딩 처리부(27a)를 포함한다. 비디오 믹서(27)는 후술하는 픽셀 레벨에서 브렌딩(합성) 처리를 하는 픽셀 처리부(27b)를 더 포함한다.

MPEG 디코더(28)는 광학 드라이브(3l)로부터 판독한 데이터로부터 추출된 MPEG2 데이터를 CPU(21)의 제어에 기초하여 취득하고, 화상 데이터로 변환한다. 그 후, MPEG 디코더(28)는 이 변환된 화상 데이터를 비디오 믹서(27)에 출력한다.

PCM 디코더(32)는 광학 드라이브(31)로부터 판독한 데이터로부터 추출된 오디오 데이터로부터 CPU(21)의 계산에 의해 변환된 PCM 데이터를 정기적으로 취득한다. PCM 디코더(32)는 이 취득된 PCM 데이터를 아날로그 음성 신호로 변환하여 출 력한다.

IDE 컨트롤러(29)는 광학 드라이브(3l) 및 HDD(30)와 접속되어 각각의 드라이브 내의 데이터를 CPU(21)의 제어에 기초하여 메모리로 읽어 내기 위한 제어를 한다.

광학 드라이브(31)는 예를 들면 DVD 드라이브이다. 광학 드라이브(31)는 비디오 플레인(12)과 그래픽 플레인(11)을 생성하기 위한 데이터를 저장한 DVD 디스크로부터 데이터의 판독을 실시한다.

HDD(30)는 본 장치를 동작시키기 위한 실행 프로그램 등을 저장한다. IR 수신기(33)는 본 장치를 제어하기 위한 리모콘 장치로부터의 신호의 수신 제어를 실시한다. 네트워크 인터페이스 컨트롤러(NIC)(24)는 다양한 네트워크 접속하기 위한 통신 데이터의 제어를 실시한다.

도 3은 그래픽 프레임과 비디오 프레임과의 블렌딩 작업의 예를 설명하는 도면이다. 본 발명에서는 비디오 프레임(V1, V2, V3, …, V13)과 그래픽 프레임(GA, GB, GC, …, GI)의 프레임 속도는 다르더라도 대응할 수 있다. 도 3의 예에서는 비디오 프레임이 4 프레임 진행하는 동안에 그래픽 프레임이 3 프레임 진행하는 예를 도시하고 있다. 출력 프레임은 비디오 프레임의 프레임 속도에 동기한다. 비디오 프레임과 그래픽 프레임의 출력 타이밍이 어긋나 있는 경우에는, 비디오 프레임과 직전에 생성된 그래픽 프레임을 블렌딩시킨다. 보다 구체적으로, 비디오 프레임(V1)과 그래픽 프레임(GA)과의 관계에서는 양자의 프레임을 블렌딩시킨 출력 프레임(V1+ GA)을 얻을 수 있다. 그리고, 다음 출력 프레임은 비디오 프레임(V2)과 그 래픽 프레임(GA)을 블렌딩시킨 출력 프레임(V2+GA)을 얻을 수 있다. 또한 다음 출력 프레임에서는 비디오 프레임(V3)과 그래픽 프레임(GB)을 블렌딩시킨 출력 프레임(V3+GB)을 얻을 수 있다. 그리고 다음 출력 프레임에서는 비디오 프레임(V4)과 그래픽 프레임 (GC)이 시간 축에서 동기하고 있어, 양자의 프레임을 블렌딩시킨 출력 프레임(V4+GC)을 얻을 수 있다. 전술한 프레임 블렌딩(합성)은 반복 실행된다. 이 경우, 그래픽 컨트롤러(24)는 비디오 프레임과 그래픽 프레임간의 프레임 속도를 비교하여 이들 프레임 중 어느 프레임이 앞서 있는 지를 판정한다. 동일한 그래픽 프레임을 반복 이용하는 횟수는 비디오 프레임과 그래픽 프레임의 프레임 속도값에 따라서 변경될 수 있다.

상기한 바와 같이 동일한 그래픽 프레임은 제1 영상 데이터의 연속하는 영상 프레임에 복수회 블렌딩(합성)되어, 프레임 속도들간의 차이를 보정한다. 또한, 그래픽 프레임의 생성이 지연되는 경우에는 동일한 그래픽 프레임을 연속하는 영상 프레임에 합성시키는 횟수를 증가시킬 수 있다.

상기한 바와 같이 본 발명의 장치는 임의의 프레임 속도를 갖는 제1 영상 데이터(비디오 프레임)를 생성하는 제1 영상 생성 수단을 갖는다. 제1 영상 생성 수단은 광학 드라이브(31), IDE 컨트롤러(29), MPEG 디코더(28), 비디오 믹서(27)를 포함한다. 또한, 본 발명의 장치는 제1 영상 데이터와는 다른 임의의 프레임 속도를 갖는 제2 영상 데이터(그래픽 프레임)를 생성하는 제2 영상 생성 수단을 갖는다. 제2 영상 생성 수단은 CPU(21), 시스템 메모리(22), 버스 브리지(23), 그래픽 메모리(26), 그래픽 컨트롤러(24)를 포함한다. 제1 영상 생성 수단이 관리하는 영 상 생성 시간이 기준 시간으로 판정된다. 이 기준 시간에 대하여 제2 영상 생성 수단의 영상 생성 시간이 어긋나면, 이 어긋남이 생긴 부분은 제2 영상 데이터의 반복 이용에 의해 보정되어 프레임 동기를 얻는다. 여기서는, 상기한 "어긋남"은 프레임 단위이다. 그러나, "어긋남"은 후술하지만 프레임 블렌딩(합성)을 얻는 데, 제2 영상 데이터의 생성이 제시간에 맞게 이루어지 않는 경우도 포함한다.

도 4는 픽셀 데이터 포맷의 일 예를 도시하는 도면이다.

픽셀 데이터 포맷은 그래픽 프레임의 픽셀마다의 데이터 구조를 나타낸다. 도 4에서, R, G, B, α는 각각 적, 녹, 청, 블렌딩 알파 값을 나타낸다. 이들 R, G, B, α는 각각 1바이트이고, 따라서 데이터는 합계 4 바이트로 구성된다.

도 5는 픽셀 레벨에서의 픽셀 블렌딩 계산의 예를 도시하는 도면이다. 도 5에서, G00,0∼G33,100은 그래픽 프레임의 픽셀 값을 나타내고, 코머 앞은 픽셀 위치에서의 RGB 값, 코머 뒤는 α 값을 나타낸다. V00∼V33은 비디오 프레임의 픽셀마다의 RGB 값을 나타낸다.

이 때, 출력되는 프레임마다의 픽셀 값은 그래픽의 픽셀 값과 비디오의 픽셀 값을 그래픽 알파 값의 비율로 계산하여 블렌딩시켜 얻는다.

도 5의 좌측 위의 그래픽의 픽셀 G00,0와 비디오의 픽셀 V00와의 블렌딩에서는 (G00×0)+(V00×(1-0))의 계산이 행하여진다. 이 때, 그래픽의 비율은 0이며, 비디오의 비율은 1이다. 또한 그래픽의 픽셀 G10,33과 비디오의 픽셀 V10과의 블렌딩에서는 (G10×0.33)+(V10×(1-0.33))의 계산이 행하여진다.

비디오 프레임으로부터의 출력은 휘도(Y), 색차(Cb), 색차(Cr)의 신호로 되 어 있다. 따라서, 도 2에서 비디오 믹서(27)는 그래픽 프레임으로부터 출력된 픽셀 값을 Y, Cb, Cr로 변환하고 나서 이들을 블렌딩시킨다.

도 6은 그래픽 프레임의 계산이 제시간에 행해지지 않은 경우의 프레임의 블렌딩 예를 설명하는 도면이다. 도 6에서는 그래픽 프레임(GD)의 생성이 지연된 경우의 예를 도시하고 있다. 다시 말하면 본 발명에서는, 그래픽 프레임은 소프트웨어에 기초하여 재생 처리된다. 이 재생 처리된 프레임 중에는 복잡한 블렌딩(합성) 및 연산 처리의 결과에 기초하여 재생되어야만 하는 프레임도 포함하게 된다. 이러한 프레임은 완성될 때까지 많은 시간이 걸린다. 또한, CPU를 포함하는 시스템 전체의 성능이 충분하지 않았거나 특정한 그래픽 프레임의 계산이 매우 복잡하다는 등의 이유에 의해 그래픽 프레임의 생성이 제시간에 이루어지지 않는 경우도 있다.

상기 이유로부터, 그래픽 프레임(GD)과 본래의 대응 관계에 있는 비디오 프레임(V6) 사이에 시간이 일치하지 않게 된다.

이러한 경우는, 본 발명에서는 비디오 프레임의 생성 처리를 우선적으로 실시한다. 도 6에서는 그래픽 프레임인 "GD" 프레임의 계산이 제시간에 행해지지 않은 경우를 도시하고 있다. 이 때, 원래라면 비디오 프레임인 "V6"을 그래픽 프레임인 "GD"와 블렌딩시켜 출력 프레임을 생성한다. 그러나, 비디오 프레임인 "V6"을 이미 생성되어 있는 그래픽 프레임인 "GC"와 블렌딩시켜 출력 프레임을 생성한다.

따라서, 본 발명의 장치는 제1 영상 생성 수단과 제1 영상 생성 수단 중 어느 영상 생성 수단이 영상 프레임 생성 처리를 우선적으로 실시하는 구조를 갖는다. 그리고 우선적으로 실시되는 영상 생성 처리의 재생 시간에 대하여, 다른 한 쪽 영상 생성 수단의 영상 생성 처리가 제시간에 행해지지 않는 경우에는, 본 발명의 장치는 제시간에 생성되지 않은 영상 프레임의 생성 처리를 생략하는 기능을 갖는다. 이에 따라, 우선적으로 실시되는 영상 생성 처리의 재생 시간에 대하여, 재생 시간의 진행에 따라서 다른 한 쪽의 영상 데이터의 재생 시간의 지연이 발생하지 않도록 할 수 있다. 우선적으로 실시되는 영상 생성 처리는 하드웨어에 의해 실행된다. 여기서 하드웨어란 미리 MPEG 처리, PCM 처리 등의 기능 단위가 소정의 신호 처리용 반도체 칩과 전자 부품과의 조합으로 구성되어 있는 것과 같은 것을 말한다.

도 7은 본 발명을 실현하는 소프트웨어의 구성을 도시하는 기능 블록도이다. 영상 재생 제어부(111)는 본 발명의 소프트웨어의 동작을 제어하는 모듈이다. 영상 재생 제어부(111)는 파일 시스템(112)으로부터의 데이터의 판독, 리모콘 수신부(l13)로부터의 사용자 오퍼레이션의 수신, 비디오 재생을 제어하는 DVD 재생 제어부(l14), 그래픽 프레임의 생성을 제어하는 내비게이션 제어부(115) 등의 동작을 제어한다. DVD 재생 제어부(l14)는 영상 재생을 제어하고, 내비게이션 제어부(115)는 그래픽 프레임 재생을 제어한다.

내비게이션 제어부(l15)는 파일 시스템(112)으로부터 판독한 내비게이션 제어용 데이터를 이용하여 그래픽 프레임에 대한 내비게이션용 화상을 생성한다. 또한 이 내비게이션 제어부(115)는 그 화상의 출력 타이밍의 제어를 DVD 재생 제어부(114)의 시간 정보에 기초하여 디스플레이 드라이버(121)를 통해서 실시한다. 또한 DVD 재생 제어부(114)는 사용자 이벤트 등에 따라서 효과음을 출력하기 위해서 오 디오 디코더(122)를 제어한다.

디스플레이 드라이버(l21)는 내비게이션 제어부(115)가 생성한 그래픽 프레임 데이터를 취득하고, 그래픽 컨트롤러(123)를 제어하여 그래픽 프레임 데이터를 출력한다. 오디오 디코더(122, 124)는 내비게이션 제어부(115)와 DVD 재생 제어부(l14)로부터 공급되는 오디오 데이터를 디코드한다. 이어서, 오디오 디코더(122, 124)는 오디오 데이터를 PCM 데이터로 변환한 후에 오디오 믹서(125)에 출력한다.

오디오 믹서(125)는 오디오 디코더로부터 입력된 PCM 데이터를 블렌딩(믹싱, 중합)시켜 하나의 PCM 출력 데이터로 변환하여 PCM 디코더 드라이버(126)에 출력한다. PCM 디코더 드라이버(126)는 오디오 믹서(125)로부터 입력된 PCM 데이터를 PCM 디코더(127)에 공급하여 음성 재생을 제어한다.

DVD 재생 제어부(l14)는 파일 시스템(112)을 통해서 판독한 DVD 데이터를 취득하여, 영상 데이터, 음성 데이터, 그 밖의 데이터로 분리하여 각각의 재생 제어를 실시한다. MPEG 디코더 드라이버(130)는 DVD 재생 제어부(114)로부터 입력된 MPEG 데이터를 MPEG 디코더(131)에 공급한다. MPEG 디코더 드라이버(130)는 적절한 타이밍에 MPEG 데이터를 출력하기 위한 제어를 한다. 리모콘 수신부(113)는 IR 드라이버(141)에 의해서 얻은 리모콘 스위치의 이벤트를 해석한다. 이어서, 리모콘 수신부(113)는 이벤트 정보를 영상 재생 제어부(111)에 메시지로서 통지하는 처리를 한다. IR 드라이버(141)는 IR 컨트롤러(142)의 인터럽트를 제어하여 리모콘의 어느 스위치가 눌러 졌는가를 검출한다. 이어서, IR 드라이버(141)는 이 정보를 리모콘 드라이버에 통지한다. 파일 시스템(112)은 HDD(30)와 광학 드라이버(31)의 파 일 시스템을 관리한다.

파일 시스템(112)은 ATAPI 드라이버(151)를 제어한다. ATAPI 드라이버(151)는 IDE 컨트롤러(142)를 제어하여, 전술한 HDD(30)와 광학 드라이버(31)로부터의 데이터 판독을 실시한다.

도 8은 실행 프로그램의 태스크 우선도를 설명하는 도면이다. 본 발명에서는, 멀티태스크 OS 상에서 비디오 재생 처리를 우선적으로 실시하기 위해서 태스크의 우선도를 도 8에 도시한 바와 같이 설정한다. 즉, 커널 서비스(211)에 따라서, OS의 기본 처리가 실행되고, 태스크 스위치와, 파일 시스템에의 액세스 등이 제어된다. 비디오 처리(212)는 비디오 데이터의 해석과 추출, 비디오 제어부, 오디오 제어부의 제어를 한다. 오디오 처리(213)는 오디오 데이터의 중첩과 그 출력 제어를 행한다. 그래픽 처리(214)는 내비게이션용 화상 데이터의 생성을 행한다.

도 8의 태스크 우선도를 설정하여 우선 순위가 높은 처리가 남아 있는 경우에는 반드시 그 처리를 우선적으로 실행하도록 태스크 스위치를 설정한다. 이 때, 태스크 스위치는 커널 서비스와 비디오 처리의 태스크가 아이들로 될 때까지 우선적으로 처리를 할당한다. 이어서, 태스크 스위치는 상기 커널 서비스와 비디오 처리가 어떠한 이벤트를 대기하는 상태가 되었을 때만 오디오 및 그래픽의 처리에 태스크를 할당하게 된다.

도 9는 그래픽 재생 처리의 흐름을 설명하는 흐름도이다. 단계 S01은 흐름도의 기점이며, 그래픽 재생의 개시 상태를 나타낸다. 단계 S02에서는 재생하는 그래픽의 프레임 번호를 저장하는 변수 "n"의 값을 "0"으로 초기화한다. 단계 S03에서 는 자동 증분하는 그래픽 재생용 타이머 카운터의 값을 오버레이 대상인 비디오의 현재 재생 시간으로 초기화/보정한다.

단계 S04에서는 그래픽의 n 번째 프레임을 재생하는 시간 정보 "PTn"을 취득한다. 단계 S05에서는 현재의 타이머 카운터의 값 "Ct"를 취득한다. 단계 S06에서는 n 번째 그래픽 프레임의 재생 시간 "PTn"과 취득한 타이머 카운터값 "Ct"를 비교한다.

단계 S07에서는 n 번째 그래픽 프레임의 재생 시간 "PTn"이 상기 취득한 타이머 카운터값 "Ct"보다 작은 경우, 즉 비디오 재생 시각이 이미 재생 시간을 경과한 경우, 후술하는 처리가 행해진다. 즉, 단계 S13에서 n 번째 프레임 데이터가 디코드되어 표시된 후에, 참조 프레임 번호 n의 값을 하나("1") 증분한다.

단계 S08에서는 n 번째 그래픽 프레임의 재생 시간 "PTn"이 상기 취득한 타이머 카운터값 "Ct"보다 큰 경우, 즉, 현재의 비디오 재생 시각이 n 번째 프레임의 재생 시간을 이미 경과하지 않는 경우에, n 번째 그래픽 프레임을 생성하는데 필요한 데이터를 취득한다.

단계 S09에서는 단계 S08에서 취득한 그래픽 프레임 데이터로부터 화면 표시를 위한 화상 프레임에 디코드한다. 단계 S10은 현재의 타이머 카운터 값 "Ct"을 취득한다. 단계 S11은 n 번째 그래픽 프레임의 재생 시간"PTn"과 직전에 취득한 타이머 카운터값 "Ct"를 비교한다.

단계 S12에서는 n 번째 그래픽 프레임의 재생 시간 "PTn" 보다도 타이머 카운터값 "Ct"가 큰 경우, 즉 현재의 시각이 n 번째 그래픽 프레임의 재생 시간에 달 하지 않은 경우에 미소 기간 대기 시간이 주어진다.

단계 S13에서는 n 번째 그래픽 프레임의 재생 시간 "PTn"이 타이머 카운터값 "Ct"와 동등하거나 작은 경우, 즉 현재의 시각이 n 번째 그래픽 프레임의 재생 시간에 도달하거나 초과한 경우에, n 번째 프레임을 화면 표시한다. 단계 S14는 모든 그래픽 프레임의 처리를 끝냈는지 아닌지를 판정한다. 단계 S15는 모든 그래픽 프레임의 처리를 끝낸 경우, 그래픽의 재생 처리를 종료한다.

도 10은 본 발명의 시간 보정 시스템의 모델을 도시하는 블록도이다. 역다중화기(Demux)(301)는 복수의 데이터 스트림이 다중화된 하나의 데이터 스트림으로부터 각각의 데이터 스트림을 추출하여 각각의 버퍼에 투입한다.

비디오 버퍼(302)는 분리된 데이터 스트림 중 주영상 데이터를 일시 보관한다. 오디오 버퍼(303)는 분리된 데이터 스트림 중 주영상과 동기하여 재생되는 음성 데이터를 일시 보관한다. 다른 스트림용 버퍼(다른 스트림1 버퍼∼다른 스트림n 버퍼)(304, 305, 306)는 그 밖의 데이터 스트림을 일시 보관한다. 그 밖의 데이터 스트림으로서는 별도의 음성 데이터와 주영상의 대사에 맞추어(동기하여) 표시되는 텍스트 데이터 등이 있다.

비디오 디코더(312)는 비디오 버퍼(302)로부터 주영상의 데이터 스트림을 판독하고, 디코드하여 화상 프레임을 생성한다. 화상 프레임마다 정의되어 있는 출력 시간에 클록(CLOCKl)(321)의 시간이 도달하면, 디코드된 영상 데이터가 출력된다. 오디오 디코더(3l3)는 오디오 버퍼(303)로부터의 음성 데이터 스트림을 판독하고 디코드하여 PCM 데이터를 생성한다. PCM 데이터는 각각의 음성 프레임마다 정의되 어 있는 출력 시간에 클록(CLOCKl)(321)의 시간이 도달하면 아날로그 음성 출력으로 변환되어 출력된다.

다른 스트림 디코더(314-316)는 이들에 대응하는 버퍼(304-306)로부터 데이터 스트림을 판독하고, 임의의 방식으로 정의되어 있는 출력 형식에 따라 디코드 처리를 행한다. 임의의 방식으로 정의되어 있는 출력 시간에 CLOCKl(321)의 시간이 도달하면 이들 스트림 디코더는 디코드된 데이터를 출력 처리한다.

그래픽 버퍼(341)는 부영상과 컴퓨터 그래픽 등의 데이터 스트림을 일시 보관한다. 그래픽 디코더(342)는 부영상과 컴퓨터 그래픽 등의 데이터 스트림을 데이터 스트림 내에 저장한 출력 타이밍에 CLOCK2(322) 시간이 도달하면 영상 프레임을 출력하여, 새로운 화면에 재기록한다.

CLOCKl(321)은 주영상에 수반하는 음성과 그 밖의 데이터를 출력하기 위해서 사용되는 참조 타이머이다. 반면에, CLOCK2(322)은 부영상과 컴퓨터 그래픽 등의 데이터 스트림을 출력하는데 사용되는 것으로서, CLOCK1(321)과는 다른 참조 타이머이다.

클록 동기화부(323)는 CLOCKl(321)과 CLOCK2(322)간의 시간 진행을 맞추는(동기화시키는) 기능을 갖는다. 알파 블렌딩(343)은 비디오 디코더(312)의 출력과 그래픽 디코더(342)의 출력을 그래픽 디코더 출력에 포함되는 α 값에 기초하여 블렌딩하여 출력한다. 또 다른 스트림에는 DVD에 부합할 수 있는 부영상 스트림도 포함된다.

본 발명에 따른 그래픽 버퍼(341)에 저장되는 부영상 데이터(그래픽 데이터) 는 컴퓨터에 의해 소프트웨어를 이용하여 재생된 데이터가 주된 대상이다.

도 11에는 본 발명이 적용된 정보 기록 재생 장치를 설명하는 도면이다. 도 11의 정보 기록 재생 장치(400)는 광 디스크(401)에 대하여 정보를 기록 재생한다. 이 정보 기록 재생 장치(400)는 하드디스크 장치를 내장하고 있어 하드디스크(402)에 대하여도 정보 기록 재생할 수 있다.

그래픽 정보는 수신기 또는 네트워크 인터페이스(500)를 통해 취득되어, 일광 디스크(401) 또는 하드디스크(402)에 일시 기록된다. 여기서, 그래픽 정보는 암호화 및 또는 부호화되어 있다. 이제, 광 디스크(401)의 정보를 재생 중에 그래픽 정보를 재생하여 주영상에 합성하라는 플래그가 검출된다. 이 때, 플래그는 광 디스크(401)의 관리 정보(재생 제어 정보)로부터 검출된다. 그래픽 정보는 광 디스크(401) 또는 하드디스크(402)로부터 판독되고, 이어서 CPU는 특정한 소프트웨어를 기초로 동작되어, 암호 해독(복원: 도 10의 342에 상당)이 실행된다. 이 때, 그래픽 데이터는 CPU의 시스템 클록에 의해 재생되기 때문에 주영상의 프레임에 대하여 비동기 상태가 되는 경우가 있다.

이러한 경우에 본 발명의 시스템이 동작하여 알파 블렌딩이 실행된다. 예컨대, 상기한 시스템(장치)에 따르면, 이미 판매된 외국어 음성의 디스크(DVD)에 대하여 일본어 자막의 부영상을 취득하는 것이 가능해진다. 일본어 자막의 부영상 정보는 하드디스크에 일시적으로 기록되어 보존된다. 다음에 특정한 DVD가 재생된다. 이 때 DVD의 재생 제어 정보에 하드디스크에 기록되어 있는 부영상 정보의 재생을 지령하는 명령이 기술되어 있으면 일본어 자막의 부영상이 재생되고 주영상에 대하 여 알파 블렌딩 처리가 행하여진다.

또, 본 발명은 상기 실시예에 한정되지 않는다. 구성요소는 본 발명의 주제 범위를 일탈하지 않는 범위에서 실시하도록 변형되고 축소될 수 있다. 또한, 상기 실시예에 개시되어 있는 복수의 구성 요소가 적절한 조합에 의하여 여러 가지의 발명을 형성할 수 있다. 예컨대, 실시예에 나타나는 모든 구성 요소로부터 몇 개의 구성 요소를 삭제해도 된다. 상이한 실시예에 관련된 구성 요소를 적절하게 조합해도 된다.

당업자에게는 추가의 이점 및 변형이 쉽게 행해질 수 있을 것이다. 따라서, 보다 넓은 형태의 본 발명은 여기에서 나타내고 설명한 상세한 설명 및 대표적인 실시예에 한정되지 않는다. 따라서, 특허청구범위 및 그의 등가물에 의해서 정의되는 바와 같은 일반적인 발명 개념의 정신 또는 범위를 일탈하지 않고서도 다양ㅎ나 변형이 이루어질 수 있다.

전술한 수단에 의해서, 제1 영상 데이터와 제2 영상 데이터의 프레임 속도가 다른 경우라도 양자의 시간 축을 일치시키는 보정을 할 수 있도록 블렌딩 대상인 영상 데이터를 다양하게 확장할 수 있다. 이 때문에, 주영상에 대하여 어느 시간대의 이벤트로서 여러 가지의 부영상을 블렌딩한 상태로 표시할 수 있다. 따라서, 주영상의 표시 영역에서 표현상의 다양성 및 풍부성을 얻을 수 있다. 또한, 상기 여러 가지의 부영상은 미리 다운 로드한 것, 추가로 방송 데이터로부터 취득된 엿ㅇ상 등을 이용할 수 있다.

Claims

임의의 프레임 속도를 갖는 제1 영상 데이터를 생성하는 제1 영상 생성 수단과,

상기 제1 영상 데이터와는 다른 임의의 프레임 속도를 갖는 제2 영상 데이터를 생성하는 제2 영상 생성 수단과,

상기 제1 영상 생성 수단이 관리하는 영상 재생 시간을 기준 시간으로 하고, 이 기준 시간에 대하여 어긋난 상기 제2 영상 생성 수단의 영상 재생 시간을 상기 제2 영상 데이터의 반복 이용에 의해 보정하여 프레임 동기를 얻는 동기화 제어 수단

을 구비하는 영상 데이터 처리 장치.
제1항에 있어서, 상기 제2 영상 생성 수단이 출력하는 상기 제2 영상 데이터 - 이 제2 영상 데이터는 상기 제1 영상 데이터와 알파 블렌딩을 실시하기 위한 알파 값을 포함함 - 를 이용하고, 상기 제1 영상 데이터와 상기 제2 영상 데이터를 상기 알파 값에 기초하여 블렌딩하는 알파 블렌딩 처리부를 더 구비하는 것인 영상 데이터 처리 장치.
제1항에 있어서, 상기 제1 영상 데이터와 상기 제2 영상 데이터의 블렌딩을 픽셀 레벨로 행하는 픽셀 처리부를 더 구비하는 것인 영상 데이터 처리 장치.
제1항에 있어서, 상기 제1 영상 생성 수단은 하드웨어 처리에 의해 생성한 상기 제1 영상 데이터를 출력하고,

상기 제2 영상 생성 수단은 소프트웨어 처리에 의해 생성한 상기 제2 영상 데이터를 출력하는 것인 영상 데이터 처리 장치.
제4항에 있어서, 상기 제2 영상 생성 수단은 상기 소프트웨어 처리에 의해 부호화된 파일 콘텐츠를 복호화하여 상기 제2 영상 데이터를 생성하여 출력하는 것인 영상 데이터 처리 장치.
제1항에 있어서, 상기 제1 영상 생성 수단에 의한 영상 생성 처리를 우선적으로 실시하게 하는 우선도 설정부와,

상기 제1 영상 생성 수단의 영상 생성 시간에 대하여 상기 제2 영상 생성 수단의 영상 생성 시간이 지연되는 경우에는, 영상 프레임의 생성 처리를 생략하는 프레임 생성 생략 수단을 더 구비하며,

상기 우선적으로 실시되는 영상 생성 처리의 영상 생성 시간에 대하여 다른 영상 데이터의 영상 생성 시간은 생성 시간이 진행함에 따라서 지연되지 않도록 제어를 수행하는 것인 영상 데이터 처리 장치.
제1항에 있어서, 상기 제1 영상 생성 수단은 광학 디스크의 영상 데이터를 처리하는 장치인 것인 영상 데이터 처리 장치.
제1항에 있어서, 상기 제1 영상 생성 수단은 수신기의 영상 데이터를 처리하는 장치인 것인 영상 데이터 처리 장치.
하드웨어의 처리에 의해 생성되어 임의의 프레임 속도를 갖는 제1 영상 데이터와, 소프트웨어의 처리에 의해 생성되어 상기 제1 영상 데이터와는 다른 임의의 프레임 속도를 갖는 제2 영상 데이터를 블렌딩하는 영상 데이터의 처리 방법으로서,

상기 제1 영상 데이터의 프레임 속도와 상기 제2 영상 데이터의 프레임 속도를 비교하는 단계와,

상기 제2 영상 데이터의 동일한 프레임을 복수회 상기 제1 영상 데이터의 연속하는 각 프레임에 블렌딩하여 프레임 속도들간의 차이를 보정하는 단계

를 포함하는 영상 데이터 처리 방법.
제9항에 있어서, 상기 제2 영상 데이터의 프레임 생성이 지연되었을 때는 상기 제2 영상 데이터의 동일한 프레임을 상기 제1 영상 데이터의 연속하는 각 프레임에 블렌딩하는 횟수를 증가시켜 상기 프레임 속도들간의 차이를 보정하는 것인 영상 데이터 처리 방법.
제9항에 있어서, 상기 제1 영상 데이터와 제2 영상 데이터의 블렌딩은 픽셀 레벨로 실행되는 것인 영상 데이터 처리 방법.
임의의 프레임 속도를 갖는 제1 영상 데이터를 하드웨어 처리에 의해 생성하는 제1 영상 생성 수단과,

상기 제1 영상 데이터와는 다른 임의의 프레임 속도를 갖는 제2 영상 데이터를 소프트웨어 처리에 의해 생성하는 제2 영상 생성 수단과,

상기 제1 영상 생성 수단이 관리하는 영상 재생 시간을 기준 시간으로 하고, 이 기준 시간에 대하여 어긋난 상기 제2 영상 생성 수단의 영상 재생 시간을 제2 영상 데이터의 반복 이용에 의해 보정하여 프레임 동기를 얻는 수단과,

상기 제2 영상 생성 수단의 영상 생성이 상기 제1 영상 생성 수단의 영상 생성에 대하여 지연되는 경우, 영상 프레임의 생성 처리를 생략하는 수단

을 구비하는 영상 데이터 처리 장치.