KR20120074939A - 컴포넌트 기반의 멀티미디어 데이터 처리 방법 - Google Patents

Abstract

본 발명은 컴포넌트 기반으로 멀티미디어 데이터를 처리하는 구조에 있어서 프레임워크가 각 컴포넌트의 쓰레드의 자원과 처리 시간을 관리함으로써 효율적인 데이터 처리가 가능하도록 한 컴포넌트 기반의 멀티미디어 데이터 처리 방법에 관한 것이다.
본 발명의 컴포넌트 기반의 멀티미디어 데이터 처리 방법은 컴포넌트 기반으로 멀티미디어 데이터를 처리하되 상기 컴포넌트의 조합으로 이루어진 미디어 그래프의 상위 단에 컴포넌트에서 처리될 쓰레드를 생성하고 관리하는 기능을 구비한 프레임워크가 위치하는 멀티미디어 데이터 처리 장치에서 상기 프레임워크에 의해 수행되되, 상기 미디어 그래프가 구성된 상태에서 상기 미디어 그래프를 구성하는 컴포넌트로부터 쓰레드 할당 요청을 받으면 쓰레드를 생성하여 해당 컴포넌트에게 할당하는 (a) 단계; 상기 (a) 단계에서 해당 컴포넌트의 데이터 입력 시점부터 출력 시점까지의 데이터 처리 시간을 체크하는 (b) 단계 및 상기 (b) 단계에서의 체크 결과, 상기 데이터 처리 시간이 기준 시간을 경과하는 경우에 해당 컴포넌트에 할당된 쓰레드의 우선순위를 상향시키는 (c) 단계를 포함하여 이루어진다.

Description

컴포넌트 기반의 멀티미디어 데이터 처리 방법{Component Based Multimedia Data Processing Method}

본 발명은 컴포넌트 기반의 멀티미디어 데이터 처리 방법에 관한 것으로, 특히 컴포넌트 기반으로 멀티미디어 데이터를 처리하는 구조에 있어서 프레임워크가 각 컴포넌트의 쓰레드의 자원과 처리 시간을 관리함으로써 효율적인 데이터 처리가 가능하도록 한 컴포넌트 기반의 멀티미디어 데이터 처리 방법에 관한 것이다.

최근 급속도로 발전하고 있는 PC나 모바일 환경에서 다양한 운영체제(Windows, WindowMobile, Linux, Android 또는 Embedded Linux)를 지원하는 멀티미디어 프레임워크가 큰 이슈로 대두되고 있다.

잘 알려진 바와 같이, PC나 모바일 환경에서 오디오나 비디오(이미지) 단독 또는 이들이 복합되어 이루어진 멀티미디어(이하 간단히 '미디어'라고도 한다)를 처리, 예를 들어 미디어 파일의 재생, 저장 또는 전송, 실시간 DMB(Digital Multimedia Broadcasting) 수신이나 화상회의 지원 등(이하 이러한 미디어 처리 작업을 총칭하여 '렌더링'(rendering)이라 한다)하기 위해서는 사전에 미디어 그래프가 구성되어야 한다. 여기에서, '미디어 그래프'(Media Graph)라 함은 미디어 데이터 스트림을 처리하기 위해 추가되거나 연결된 한 개 이상의 컴포넌트의 집합을 말하고, '컴포넌트'(Component)라 함은 미디어 데이터 스트림을 처리하는 컴퓨터 프로그램으로서 독립적으로 기능할 수 있는 것을 말하는데, 각각의 컴포넌트는 입력 포트와 출력 포트를 선택적으로 한 개 이상씩 가질 수 있다.

한편, 'OpenMax'(정확히는 OpenMax IL(Integration Layer); 이하 OpenMax)는 Khronos Group에 의해 제안되어 산업 표준으로 자리잡아 가고 있는 컴포넌트 기반의 멀티미디어 데이터 처리 규격으로서, 임의의 컴포넌트가 해야 하는 작업과 인터페이스 등을 규정, 예를 들어 미디어 그래프 구성할 때 포맷 설정, 데이터 송수신 인터페이스 설정. 속성 설정과 연결 컴포넌트 설정 및 기타 잡다한 컴포넌트만의 고유 특성의 설정 등을 규정하고 있다.

도 1은 OpenMax 표준에 따른 멀티미디어 데이터 처리 구조를 설명하기 위한 도이다. 도 1에 도시한 바와 같이, OpenMax 표준에 따른 멀티미디어 데이터 처리 구조는 예를 들어, 상층에 응용 프로그램(Application Program; APP)(100)이 위치하고, 하층에는 한 개 이상의 컴포넌트(120)로 이루어진 미디어 그래프가 위치하며, 이들 사이에 미디어 그래프의 구성과 렌더링을 지원하는 기반 환경인 프레임워크(110)가 위치한다.

전술한 구성에서, 프레임워크(110)는 미디어의 재생을 위해 컴포넌트(120)로부터 이벤트를 수신하여 필요한 경우 이를 응응 프로그램(100)으로 전달하는 기능을 수행하고, 또한 응용 프로그램(100)도 미디어 데이터 스트림의 재생이나 탐색 등의 명령이 필요한 경우 이러한 명령을 프레임워크(110)로 전달할 수도 있는데, 이러한 명령을 전달받은 프레임워크(110)는 이러한 명령을 다시 컴포넌트(120)에 전달하여 사용자의 요구를 반영하도록 구성되어 있다.

도 2는 OpenMax 표준에 따른 MPG 파일 재생용 미디어 그래프를 예시적으로 보인 도이다. 도 2에 도시한 바와 같이, MPG(MPEG; Motion Picture Expert Group) 파일을 재생하기 위한 미디어 그래프(120)는, 예를 들어 MPG 파일로부터 데이터를 읽어서 분석하기 위한 MPG 파일을 분석하기 위한 파서(Parser) 컴포넌트(122), 분석된 MPG 비디오 파일과 오디오 파일을 각각 디코딩하는 비디오 디코더 컴포넌트(123)와 오디오 디코더 컴포넌트(126), 비디오 디코더 컴포넌트(123)에 의해 디코딩된 비디오 신호의 색상을 변환하는 컬러 변환기 컴포넌트(124), 컬러 변환기 컴포넌트(124)에 의해 컬러가 변환된 비디오 신호를 재생하는 비디오 렌더러 컴포넌트(125) 및 오디오 디코더 컴포넌트(126)에 의해 디코딩된 오디오 신호를 재생하는 오디오 렌더러 컴포넌트(127)를 포함하여 이루어질 수 있다.

도면에서 미설명 부호 121은 클록 컴포넌트로서 미디어 그래프(120)에서 동기를 맞추는 역할을 담당하는데, 여기에 연결된 컴포넌트, 예를 들어 비디오 렌더러 컴포넌트(125)와 오디오 렌더러 컴포넌트(127)는 클록 컴포넌트(121)에서 제공하는 시간을 근거로 자기의 동작을 결정하거나 예약 작업 등을 수행할 수 있다.

한편, 근래의 프레임워크는 각각의 컴포넌트가 자기의 쓰레드를 동시에 처리하는 멀티 쓰레드 환경을 지원하는데, 종래의 OpenMax 표준에 따르면 각 컴포넌트가 자체적으로 쓰레드를 생성할 수 있도록 되어 있을 뿐 각 쓰레드의 연산량과는 무관하게 자원(resource)이 균등하게 배분되기 때문에 데이터 처리의 효율성이 떨어지는 문제점이 있었다. 즉 미디어 그래프에서 어떤 컴포넌트는 연산량이 많은 쓰레드를 처리하고 있고 다른 컴포넌트는 연산량이 상대적으로 적은 쓰레드를 처리하고 있음에도 불구하고, 자원이 균등하게 배분되기 때문에 연산량이 많은 컴포넌트가 미디어 그래프의 전단이나 중단에 위치하면 후단에 위치한 컴포넌트는 전단이나 중단에 위치한 컴포넌트가 쓰레드를 다 처리할 때까지 무작정 기다려야 하고 이에 따라 데이터 흐름이 원활하지 못하여 영상 재생 시 등에 끊김 현상이 반복적으로 발생하는 등의 문제점이 있었다.

이외에도 자원의 관리가 용이하지 않기 때문에 부하 발생 지점을 찾기가 매우 어렵다고 하는 문제점이 있었다.

본 발명은 전술한 문제점을 해결하기 위해 안출된 것으로서, 컴포넌트 기반으로 멀티미디어 데이터를 처리하는 구조에 있어서 프레임워크가 각 컴포넌트의 쓰레드의 자원과 처리 시간을 관리함으로써 효율적인 데이터 처리가 가능하도록 한 컴포넌트 기반의 멀티미디어 데이터 처리 방법을 제공함을 목적으로 한다.

전술한 목적을 달성하기 위한 본 발명의 컴포넌트 기반의 멀티미디어 데이터 처리 방법은 컴포넌트 기반으로 멀티미디어 데이터를 처리하되 상기 컴포넌트의 조합으로 이루어진 미디어 그래프의 상위 단에 컴포넌트에서 처리될 쓰레드를 생성하고 관리하는 기능을 구비한 프레임워크가 위치하는 멀티미디어 데이터 처리 장치에서 상기 프레임워크에 의해 수행되되, 상기 미디어 그래프가 구성된 상태에서 상기 미디어 그래프를 구성하는 컴포넌트로부터 쓰레드 할당 요청을 받으면 쓰레드를 생성하여 해당 컴포넌트에게 할당하는 (a) 단계; 상기 (a) 단계에서 해당 컴포넌트의 데이터 입력 시점부터 출력 시점까지의 데이터 처리 시간을 체크하는 (b) 단계 및 상기 (b) 단계에서의 체크 결과, 상기 데이터 처리 시간이 기준 시간을 경과하는 경우에 해당 컴포넌트에 할당된 쓰레드의 우선순위를 상향시키는 (c) 단계를 포함하여 이루어진다.

전술한 구성에서, 상기 (b) 단계에서의 체크 결과 상기 데이터 처리 시간이 타임아웃 시간(>상기 기준 시간)을 경과하는 경우에 타임아웃 이벤트를 발생하는 (d) 단계를 더 포함할 수 있다.

상기 (b) 단계는 해당 컴포넌트의 입력 포트에 구비된 입력 버퍼에 입력된 데이터에 마킹을 수행한 후에 상기 마킹된 데이터가 출력되기까지의 시간을 체크하는 것을 특징으로 한다.

상기 기준 시간과 상기 타임아웃 시간은 해당 컴포넌트로부터 쓰레드 할당 요청을 받을 때 함께 함께 전달받는 것을 특징으로 한다.

본 발명의 컴포넌트 기반의 멀티미디어 데이터 처리 방법에 따르면, 컴포넌트 기반으로 멀티미디어 데이터를 처리하는 구조에 있어서 프레임워크가 각 컴포넌트의 쓰레드의 자원과 처리 시간을 관리함으로써 특정 컴포넌트에서 과부하가 걸리는 경우에 우선순위를 높여주어 과부하를 줄일 수 있고, 나아가 데드록이 걸리는 경우에는 타임아웃 이벤트를 발생시킴으로써 데이터를 신속하고 원활하게 처리할 수 있다.

도 1은 OpenMax 표준에 따른 멀티미디어 데이터 처리 구조를 설명하기 위한 도.
도 2는 OpenMax 표준에 따른 MPG 파일 재생용 미디어 그래프를 예시적으로 보인 도.
도 3은 본 발명의 컴포넌트 기반의 멀티미디어 데이터 처리 방법의 동작 원리를 설명하기 위한 도.
도 4는 본 발명의 컴포넌트 기반의 멀티미디어 데이터 처리 방법을 설명하기 위한 흐름도.

이하에는 첨부한 도면을 참조하여 본 발명의 컴포넌트 기반의 멀티미디어 데이터 처리 방법의 바람직한 실시예에 대해 상세하게 설명한다.

도 3은 본 발명의 컴포넌트 기반의 멀티미디어 데이터 처리 방법의 동작 원리를 설명하기 위한 도인바, 참조번호 110은 프레임워크, 120은 미디어 그래프, 120-1, 120-2 및 120-3은 미디어 그래프(120)를 구성하는 각각의 컴포넌트, 120-1a와 120-1b, 120-2a와 120-2b 및 120-3a와 120-3b는 각각 입력 포트와 출력 포트를 나타낸다.

도 3에 도시한 바와 같이 본 발명에 따른 프레임워크(110)는 미디어 그래프(120)를 구성하는 각 컴포넌트(120-1, 120-2 및 120-3)의 입력 포트(120-1a, 120-2a 및 120-3a)와 출력 포트(120-1b, 120-2b 및 120-3b)에서 특정 데이터의 흐름을 모니터링하여 처리 시간을 체크하고, 이에 의거하여 각 컴포넌트(120-1, 120-2 및 120-3)에서 수행되는 쓰레드를 효율적으로 관리하게 된다.

도 4는 본 발명의 컴포넌트 기반의 멀티미디어 데이터 처리 방법을 설명하기 위한 흐름도인바 프레임워크(110)가 주체가 되어 수행한다. 도 4에 도시한 바와 같이, 본 발명의 컴포넌트 기반의 멀티미디어 데이터 처리 방법에 따르면, 프레임워크(110)가 멀디미디어 파일을 입력받으면 해당 멀티미디어 파일을 재생할 수 있는 컴포넌트((120-1, 120-2 및 120-3)를 순서대로 파이프라인에 추가하고 각 컴포넌트의 입력 포트(120-1a, 120-2a 및 120-3a)와 출력 포트(120-1b, 120-2b 및 120-3b)를 연결한다.

이 상태에서 단계 S10에서는 임의의 컴포넌트로부터 쓰레드 할당 요청이 존재하는지를 판단하는데, 존재하지 않는 경우에는 단계 S10로 복귀하는 반면에 존재하는 경우에는 단계 S12에서 쓰레드를 생성하여 해당 컴포넌트에 할당하면서 해당 쓰레드에 대해 인덱스와 우선순위를 부여하고 또한 해당 쓰레드의 평균처리 시간과 타임아웃 시간을 지정한다.

이를 위해 프레임워크에는 쓰레드를 생성하고 관리하는 기능(함수)이 사전에 구비되어 있는데, 컴포넌트는 쓰레드 할당 요청시 프레임워크에 구비된 쓰레드 생성 기능을 호출하여 쓰레드를 할당받게 된다. 한편, 해당 쓰레드의 우선순위는 프레임워크(110)가 자체적으로 부여, 예를 들어 모든 컴포넌트에 대해 균등하게 부여하거나 사전에 실험적으로 구한 처리 시간에 의해 차등적으로 부여하는 방식 등으로 부여할 수 있고, 해당 쓰레드의 평균처리 시간과 타임아웃 시간은 쓰레드 할당 요청시 컴포넌트로부터 이를 전달받아 지정할 수 있는데, 이러한 평균처리 시간과 타임아웃 시간은 사전에 실험을 통해 정해질 수 있을 것이다. 이외에도 프레임워크가 실제 재생 동작 과정에서 얻은 평균처리 시간과 타임아웃 시간을 누적 평균하여 구할 수도 있을 것이다.

아래의 표 1은 프레임워크(110)에 저장되어 있는 컴포넌트별 쓰레드 관리 테이블을 예시적으로 보인 표이다.

인덱스	해당 컴포넌트	우선순위	평균처리 시간	타임아웃 시간	입력시간	출력시간
0	컴포넌트 0	1	5초	10초	hh.mm.ss	aa.bb.cc
1	컴포넌트 1	1	3초	6초	…	…
2	컴포넌트 2	2	10초	20초	…	…
…	…	…	…	…	…	…
n	컴포넌트 n	3	10초	25초	…	…

이 상태에서 재생 명령이 입력되면 프레임워크(110)는 미디어 그래프(120)에 명령을 하달하고, 이에 따라 각 컴포넌트의 쓰레드가 동작하여 데이터 처리를 수행하게 된다. 이와 같이 데이터 처리가 수행됨과 함께 프레임워크(110)는 단계 S16을 수행하여 쓰레드 할당을 요청한 각 컴포넌트에 대해 데이터 처리 시간을 체크하게 되는데, 예를 들어 해당 컴포넌트의 입력 포트에 구비된 입력 버퍼에 마킹을 행함과 동시에 이렇게 마킹된 데이터가 이동 또는 처리되는 시간을 체크하게 된다. 여기에서 입력 버퍼에 마킹하는 기술은 OpenMax에서 표준으로 정의되어 있다.

다음으로, 단계 S18에서는 마킹 버퍼가 출력, 즉 입력 버퍼에 마킹된 데이터가 출력 버퍼에 도달하였는지를 판단하는데, 도달하지 않은 경우에는 다시 단계 S20으로 진행하여 상기 평균처리 시간이 경과하였는지를 판단한다. 단계 S20에서의 판단 결과, 평균처리 시간이 경과하지 않은 경우에는 아직은 별 문제가 없는 상태이기 때문에 단계 S16으로 복귀하는 반면에 평균처리 시간이 경과한 경우에는 부하가 많은 상태, 즉 많은 량의 연산을 수행하는 상태이기 때문에 단계 S22로 진행하여 해당 쓰레드의 우선순위를 상향 변경, 즉 해당 쓰레드에 더 많은 자원을 배분하게 된다.

다음으로 단계 S24에서는 다시 처리 시간을 체크하고, 단계 S26에서는 다시 마킹 버퍼가 출력, 즉 입력 버퍼에 마킹된 데이터가 출력 버퍼에 도달하였는지를 판단하는데, 도달하지 않은 경우에는 단계 S28로 진행하여 상기 타임아웃 시간이 경과하였는지를 판단한다. 단계 S28에서의 판단 결과, 타임아웃 시간이 경과하지 않은 경우에는 단계 S24로 복귀하는 반면에 경과한 경우에는 데드록(dead lock)이 걸려서 회생될 가능성이 없다고 간주하여 단계 S28에서 타임아웃 이벤트를 발생시키는데, 이에 따라 해당 컴포넌트는 해당 쓰레드를 리셋시킨 후에 처음부터 다시 수행하게 된다.

반면에 단계 S18 및 단계 S26에서 마킹 버퍼가 출력된 경우에는 쓰레드가 정상적으로 수행된 경우에 해당하므로 프로그램(시퀀스)을 종료하게 된다.

이와 같이 본 발명에 따르면, 프레임워크는 미디어 그래프가 구성된 상태에서 각 컴포넌트를 모니터링하여 데이터가 컴포넌트에 입력된 시점부터 출력이 발생되는 시점까지의 데이터 처리 시간을 체크한다. 이 과정에서 특정 컴포넌트에서 데이터를 처리하는 시간이 지연될 경우에는 해당 컴포넌트의 데이터를 처리하는 쓰레드의 우선순위를 높여주어 우선 처리를 할 수 있도록 유도하고, 타임아웃 시간이 경과하도록 출력 데이터가 나오지 않는 경우에는 타임아웃 이벤트 알림 또는 리셋 처리 등을 수행함으로써 데드록 문제를 해결할 수 있다.

본 발명은 전술한 실시예에 국한되지 않고 본 발명의 기술사상이 허용하는 범위 내에서 다양하게 변형하여 실시할 수가 있다.

100: 응용 프로그램, 110: 프레임워크,
120: 미디어 그래프,
120-1, 120-2, 120-3, 121~127: 컴포넌트,
120-1a, 120-2a, 120-3a: 입력 포트,
120-1b, 120-2b, 120-3b: 출력 포트

Claims (5)

1. 컴포넌트 기반으로 멀티미디어 데이터를 처리하되 상기 컴포넌트의 조합으로 이루어진 미디어 그래프의 상위 단에 컴포넌트에서 처리될 쓰레드를 생성하고 관리하는 기능을 구비한 프레임워크가 위치하는 멀티미디어 데이터 처리 장치에서 상기 프레임워크에 의해 수행되되,
   상기 미디어 그래프가 구성된 상태에서 상기 미디어 그래프를 구성하는 컴포넌트로부터 쓰레드 할당 요청을 받으면 쓰레드를 생성하여 해당 컴포넌트에게 할당하는 (a) 단계;
   상기 (a) 단계에서 해당 컴포넌트의 데이터 입력 시점부터 출력 시점까지의 데이터 처리 시간을 체크하는 (b) 단계 및
   상기 (b) 단계에서의 체크 결과, 상기 데이터 처리 시간이 기준 시간을 경과하는 경우에 해당 컴포넌트에 할당된 쓰레드의 우선순위를 상향시키는 (c) 단계를 포함하여 이루어진 컴포넌트 기반의 멀티미디어 데이터 처리 방법.
2. 제 1 항에 있어서,
   상기 (b) 단계에서의 체크 결과, 상기 데이터 처리 시간이 타임아웃 시간(>상기 기준 시간)을 경과하는 경우에 타임아웃 이벤트를 발생하는 (d) 단계를 더 포함하는 것을 특징으로 하는 컴포넌트 기반의 멀티미디어 데이터 처리 방법.
3. 제 2 항에 있어서,
   상기 (b) 단계는 해당 컴포넌트의 입력 포트에 구비된 입력 버퍼에 입력된 데이터에 마킹을 수행한 후에 상기 마킹된 데이터가 출력되기까지의 시간을 체크하는 것을 특징으로 하는 컴포넌트 기반의 멀티미디어 데이터 처리 방법.
4. 제 3 항에 있어서,
   상기 기준 시간과 상기 타임아웃 시간은 해당 컴포넌트로부터 쓰레드 할당 요청을 받을 때 함께 함께 전달받는 것을 특징으로 하는 컴포넌트 기반의 멀티미디어 데이터 처리 방법.
5. 제 1 항 내지 제 4 항 중 어느 한 항의 방법을 실행하는 프로그램이 수록되어 컴퓨터로 읽을 수 있는 기록매체.

Images