상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 다중 스크린 제공 장치는 PiP 서비스 동작에 관한 모드를 입력받는 사용자/어플리케이션 인터페이스 모듈 및 상기 입력된 모드가 제1 모드인 경우에 메인 스크린 내에서 서비스의 비디오 컴포넌트가 표현되고, 상기 입력된 모드가 제2 모드인 경우에 PiP 스크린 내에서 서비스의 백그라운드 비디오 또는 비디오 컴포넌트가 표현되는 출력 모듈을 포함한다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 다중 스크린 제공 방법은 PiP 서비스 동작에 관한 모드를 입력받는 (a) 단계와, 상기 입력된 모드가 제1 모드인 경우에 메인 스크린 내에서 서비스의 비디오 컴포넌트가 표현되는 (b) 단계 및 상기 입력된 모드가 제2 모드인 경우에 PiP 스크린 내에서 서비스의 백그라운드 비디오 또는 비디오 컴포넌트가 표현되는 (c) 단계를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
이하, 본 발명의 실시예들에 의한 다중 스크린 제공 장치 및 방법을 설명하기 위한 블록도 또는 처리 흐름도에 대한 도면들을 참고하여 본 발명에 대해 설명하도록 한다. 이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데 이터 프로세싱 장비 상에 탑제되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
한편, 본 발명에 대한 설명을 용이하게 하기 위하여 본 발명과 관련된 기본적인 개념을 정의하도록 한다.
'서비스(service)'는 하나의 묶음으로 표현되는 멀티미디어 컨텐츠로서, 다수의 서비스 컴포넌트(service component)들이 하나의 서비스를 이루게 된다.
'서비스 컴포넌트(service component)'는 서비스(service)를 구성하는 일 부분으로서, 비디오 컴포넌트(video component), 오디오 컴포넌트(audio component), 데이터 컴포넌트(data component) 등을 포함한다. 이 때, 데이터 컴포넌트(data component)는 서비스(service) 내에 존재하는 어플리케이션 프로그램을 가리킨다.
'서비스 컨텍스트(service context)'는 서비스(service)를 실행하는데 관계 되는 각종 리소스(resource), 디바이스(device), 실행 상태 정보 등을 포함하고 있으며, 서비스(service) 실행을 제어할 수 있는 객체를 나타낸다.
'디스플레이 화면(physical display device)'은 서비스(service)의 내용이 실제로 표현되는 물리적인 장치(device), 서비스의 내용이 출력되는 외부 출력 포트(output port) 또는 서비스가 저장되는 저장장치를 의미한다.
'출력 스크린(display screen)'은 디스플레이 화면에 실제로 출력되는 스크린으로서, 임의의 서비스가 출력 스크린에 직접 설정되어 디스플레이 화면을 통하여 표현되거나, 출력 스크린의 일정한 영역으로 매핑된 적어도 하나 이상의 논리 스크린이 디스플레이 화면을 통하여 출력된다.
'논리 스크린(logical screen)'은 임의의 서비스가 표현되는 공간으로서, 출력 스크린에 매핑되기 전에는 메모리상에 가상적으로만 존재하며 실제 디스플레이 화면에는 표현되지 않는다.
또한, 논리 스크린과 출력 스크린은 백그라운드 스틸 이미지(background still image), 비디오 래스터(video ratser) 그리고 그래픽 래스터(graphic raster)의 조합으로 구성될 수 있는데, 여기에서 그래픽 래스터(graphic raster)는 텍스트(text), 선(line), 컬러(color) 그리고 이미지(image)가 합성되거나, 비디오 프레임들이 혼합되어 제공될 수 있다.
'메인 서비스(main service)'는 사용자가 디스플레이 화면에 나타나는 메뉴 또는 리모컨을 통하거나 어플리케이션이 API를 통해 주 서비스로서 선택한 서비스 를 의미하며, 메인 서비스가 표현되는 스크린을 '메인 스크린(main screen)'이라고 한다.
'PiP 서비스(Picture-in-Picture service)'는 사용자가 디스플레이 화면에 나타나는 메뉴 또는 리모컨을 통하거나 어플리케이션이 API를 통해 메인 스크린 내에서 부 서비스로서 선택한 서비스를 의미하며, PiP 서비스는 'PiP 스크린(Picture-in-Picture screen)' 또는 메인 스크린을 통해 표현될 수 있다.
'PiP 스크린(Picture-in-Picture screen)'은 도 1의 (a) 내지 (d)에서 도시하고 있는 것과 같이 다른 스크린 내의 일부 영역을 차지하는 스크린과, 도 1의 (e) 및 (f)에서 도시하고 있는 것과 같이 다른 스크린과 겹치지 않는 영역에 동시에 보여지는 스크린을 포함하고, 또한 도 1의 (g) 및 (h)에서 도시하고 있는 것과 같이 디스플레이 화면 상의 임의의 위치와 영역에서 다른 스크린과 겹쳐서 표현되는 스크린을 포함하는 개념으로 이해될 수 있다.
도 2는 본 발명의 일 실시예에 따른 논리 스크린과 출력 스크린과의 관계를 나타내는 예시도이다.
도 2를 참조하면, 서비스는 논리 스크린(210, 212, 214)을 통하여 표현될 수 있고, 이러한 논리 스크린들은 소정의 매핑 블록(230)에 의해 출력 스크린(220, 222, 224)으로 매핑되어 표현될 수 있다.
이 때, 220으로 참조되는 출력 스크린은 210과 212로 참조되는 논리 스크린이 매핑되어 표현되고 있고, 222로 참조되는 출력 스크린은 212와 214로 참조되는 논리 스크린이 매핑되어 표현되고 있으며, 224로 참조되는 출력 스크린은 210, 212 및 214로 참조되는 논리 스크린이 매핑되어 표현되고 있다.
이와 같이, 서비스가 표현되는 적어도 1이상의 논리 스크린은 매핑 블록(230)에 의해 출력 스크린의 임의의 영역으로 매핑될 수 있다.
한편, 매핑 블록(230)은 논리 스크린과 출력 스크린을 매핑하도록 하는 다양한 정보의 집합체로서 이해될 수 있다. 이러한 정보의 예로서, 논리 스크린이 출력 스크린으로 매핑되는 영역의 좌표 정보, 논리 스크린 및 출력 스크린을 구별하는 식별 정보, 출력 스크린에 다수의 논리 스크린이 표현되는 순서에 대한 정보 등을 포함할 수 있다.
매핑 블록(230)은 논리 스크린의 크기를 변경하여 출력 스크린의 일정한 영역으로 할당할 수 있다. 즉, 매핑 블록(230)은 논리 스크린에 대한 스케일링(scaling) 기능 및 위치 할당 기능을 수행할 수 있으며 도 3a 내지 도 3e에서는 이러한 매핑 블록, 즉 매퍼(mapper)를 포함하는 스크린의 구성을 나타내고 있다.
도 3a를 참조하면, 백그라운드 스틸 이미지(background still image)(B), 비디오 래스터(video ratser)(V) 그리고 그래픽 래스터(graphic raster)(G)의 조합으로 이루어진 메인 스크린은 매퍼(mapper)에 의해 크기는 그대로 유지하면서 출력 스크린의 전체에 매핑된다. 그리고 비디오 성분만을 갖는 PiP 스크린은 매퍼(mapper)에 의해 그 크기가 작아지면서 출력 스크린의 일정 영역에 매핑된다. 이 때, 매핑된 PiP 스크린은 메인 스크린 위에 놓여지게 되며 이는 Z 값에 의해 결정된다. Z는 z-order 값을 나타내는 것으로서, z-order 에 대해서는 후술하기로 한다. 또한, 오버레이 스크린(overlay screen)이 상기 출력 스크린과 합성될 수 있는 데, 오버레이 스크린은 가장 바깥 쪽에 놓여지는 특별한 스크린으로서, 예를 들어 자막(caption)을 제공할 필요가 있는 경우에 이용될 수 있다. PiP 스크린은 도 3a에서와 같이 비디오 성분만을 갖을 수도 있으나, 도 3b에 도시된 바와 같이 백그라운드 스틸 이미지(background still image)(B), 비디오 래스터(video ratser)(V) 그리고 그래픽 래스터(graphic raster)(G)의 조합으로 이루어질 수도 있다.
도 3c를 참조하면, 백그라운드 스틸 이미지(B), 비디오 래스터(V) 그리고 그래픽 래스터(G)의 조합으로 이루어진 메인 스크린은 매퍼(mapper)에 의해 크기는 그대로 유지하면서 출력 스크린의 전체에 매핑된다. 그리고 비디오 성분만을 갖는 2개의 PiP 스크린들(#1, #2)이 각각 매퍼(mapper)에 의해 그 크기가 작아지면서 출력 스크린의 일정 영역으로 매핑된다. 이 때, 매핑된 PiP 스크린들은 메인 스크린 위에 놓여지게 되며 이 때 Z 값은 동일하게 유지될 수 있다. 또한, 오버레이 스크린(overlay screen)이 상기 출력 스크린과 합성될 수 있다. 스크린 구성은 도 3c에서와 같이 비디오 성분만을 갖는 복수의 PiP 스크린들을 포함할 수도 있으나, 도 3d에 도시된 바와 같이 백그라운드 스틸 이미지(B), 비디오 래스터(V) 그리고 그래픽 래스터(G)의 조합으로 이루어진 복수의 PiP 스크린들로 구성될 수도 있다.
도 3e에서는 POP 스크린이 도시되고 있는데, 종래의 PiP 스크린이 메인 스크린의 내부에서 표현되는 스크린이라고 한다면, POP 스크린은 메인 스크린의 외부에서 표현되는 스크린이라고 이해될 수 있다. 도 3e를 참조하면 백그라운드 스틸 이미지(B), 비디오 래스터(V) 그리고 그래픽 래스터(G)의 조합으로 이루어진 복수의 POP 스크린들(#1, #2)이 각각 매퍼(mapper)에 의해 그 크기가 작아지면서 출력 스 크린의 일정 영역으로 매핑된다. 이 때, 매핑된 POP 스크린들(#1, #2)의 Z 값은 동일하게 유지될 수 있다. 그리고, 오버레이 스크린(overlay screen)이 상기 출력 스크린과 합성되어 표현될 수 있다.
또한, 매핑 블록(230)은 각종 컴퓨터 프로그램 언어로 작성되어 실행되는 인터페이스, 함수 등으로 구현될 수 있으며, 위와 같은 정보들을 파라미터로 하여 논리 스크린과 출력 스크린과의 관계를 생성하거나 변경할 수도 있다.
또한, 매핑 블록(230)은 논리 스크린과 출력 스크린 간에 매핑 기능을 수행하도록 하드웨어로 구현될 수도 있다.
출력 스크린에는 다양한 소스(source)들로부터 제공되는 서비스들이 표현되어 디스플레이 화면을 통하여 출력될 수 있는데, 도 4에서 이를 나타내고 있다.
일반적으로 서비스를 제공하는 소스로서, 지상파 방송(320), 케이블 방송(330)과 같은 방송 서비스를 제공하는 소스가 있고, PVR(Personal Video Recorder)(340)과 같이 소정의 저장 매체에 저장된 서비스를 제공하는 소스도 있다. 또한, 도 4에서는 도시되고 있지 않으나, 유선 또는 무선 네트워크를 통하여 서비스를 제공하는 소스도 여기에 포함될 수 있다.
이 때, 방송 수신 장치(310)는 이러한 소스들로부터 서비스를 수신하고, 각각의 서비스를 표현하는 논리 스크린을 생성한다.
그리고 나서, 기설정된 방식, 사용자 또는 어플리케이션에 의해 설정된 방식에 따라 임의의 서비스가 출력 스크린에 직접 설정되어 디스플레이 화면을 통하여 표현되거나, 출력 스크린의 일정한 영역으로 매핑된 적어도 하나 이상의 논리 스크 린이 디스플레이 화면(350)을 통하여 출력된다.
도 4에서는 지상파 방송(320), 케이블 방송(330) 그리고 PVR(340)에 의해 제공되는 서비스가 디스플레이 화면(350)을 통해 표현되는 것을 나타내고 있다.
도 4에서는 서비스를 제공하는 소스의 예로서, 지상파 방송(320), 케이블 방송(330), PVR(Personal Video Recorder)(340)을 도시하고 있지만, 서비스를 제공하는 소스는 이에 한정되지 않고, 하나의 묶음으로 표현되는 멀티미디어 컨텐츠를 제공한다면 본 발명에서의 소스에 포함될 수 있다.
한편, 본 발명에서의 서비스에는 추상 서비스(abstract service)와 비추상 서비스(non-abstract service)가 있는데 이를 도 5a와 도 5b에서 각각 도시하고 있다.
추상 서비스(abstract service)는 방송 신호로부터 실시간 전달되는 서비스가 아닌 방송 채널에 대하여 독립된 서비스로서, 서비스 컴포넌트(service component) 중에서 비디오 컴포넌트, 오디오 컴포넌트가 없이, 데이터 컴포넌트, 즉 어플리케이션 프로그램만으로 이루어진 서비스가 추상 서비스에 해당될 수 있다. 예를 들어, OCAP(Open Cable Application Platform) 규격에서 언바운드 어플리케이션들로 이루어진 서비스가 여기에 속한다.
비추상 서비스(non-abstract service)는 추상 서비스를 제외한 나머지 서비스로 이해될 수 있다.
본 발명에서는 추상 서비스와 비추상 서비스 각각에 대하여 독립성을 부여할 수 있다. 예를 들어, 추상 서비스는 논리 스크린을 거치지 않고 직접 출력 스크린 에 설정되고, 비추상 서비스는 논리 스크린에 표현되어 추상 서비스가 설정된 출력 스크린으로 매핑될 수 있다. 그리고 나서, 상기 출력 스크린이 디스플레이 화면을 통하여 출력될 수 있는데, 이렇게 함으로써 하나의 출력 스크린에서 추상 서비스와 비추상 서비스가 독립적으로 표현될 수 있다. 또한, 추상 서비스와 비추상 서비스 모두 각각 별도의 논리 스크린에 매핑된 후 각각의 논리 스크린이 하나의 출력 스크린으로 매핑될 수도 있다. 즉, 추상 서비스와 비추상 서비스는 각각 독립된 형태로서 출력 스크린에 표현될 수 있다.
한편, 본 발명에서의 논리 스크린과 출력 스크린은 각각 별도의 객체로서 정의될 수도 있으나, '스크린'이라는 하나의 객체가 갖는 속성 정보에 따라 '스크린'이 논리 스크린으로서 기능하거나 출력 스크린으로서 기능할 수도 있다.
즉, 스크린 객체에 관한 속성 정보들 중에서 타입(type) 정보를 통해서 스크린이 논리 스크린인지 출력 스크린인지를 알 수 있다.
이러한 스크린 객체의 속성 정보로서, 'Type', 'z-Order', 'Display_Area', 'Visibility', 'Associated_Display_Screen', 'Associated_Service_Contexts', 'OutputPort' 등과 같은 속성 정보들이 있다.
도 6은 스크린 객체의 속성 정보와 이러한 속성 정보들을 처리하는 인터페이스의 종류를 나타내고 있다.
'Type' 속성(510)은 스크린이 논리 스크린인지 출력 스크린인지를 나타내는 속성 정보이다.
'z-Order' 속성(520)은 논리 스크린들이 출력 스크린 상에서 표현될 때 z축 상에서의 순서를 결정하기 위한 것으로서, 도 7에서는 논리 스크린이 출력 스크린 상에서 z-order 속성에 따라 어떻게 보여지는지를 예시하고 있다.
도 7에서 출력 스크린(610) 상에는 제1 논리 스크린(620)과 제2 논리 스크린(630)이 일정한 영역에 매핑되어 표현되고 있다. 이 때, 제1 논리 스크린(620)이 출력 스크린 상에서 표현되고, 그 위로 제2 논리 스크린(630)이 표현되고 있다. 즉, z축 방향으로 출력 스크린(610), 제1 논리 스크린(620) 그리고 제2 논리 스크린(630)의 순서로 표현되고 있는데, 이러한 경우에 제1 논리 스크린(620)의 z-order 속성값이 1로, 제2 논리 스크린(620)의 z-order 속성값이 2로 설정될 수 있는 것이다. 이 때, z-order 속성값은 출력 스크린의 z축 상에서 논리 스크린이 표현되는 순서를 가리키는 정보라면 어떠한 숫자 또는 문자 형태도 가능하다.
'Display_Area' 속성(530)은 논리 스크린이 출력 스크린에 매핑되어 출력될 출력 스크린의 영역에 대한 정보를 의미하는데, 도 8a 및 도 8b에서 이를 예시하고 있다.
도 8a은 논리 스크린(710)이 출력 스크린(720)의 전체 영역에 매핑되어 출력되는 것을 나타내고 있으며, 도 8b는 논리 스크린(730)이 출력 스크린(740)의 일부 영역에 매핑되어 출력되는 것을 나타내고 있다.
이 때, 'Display_Area' 속성을 나타내는 정보는 출력 스크린 상의 2차원 좌표 정보이거나, 출력 스크린 상에서의 특정 위치 및 상기 특정 위치로부터의 오프셋(offset) 값으로 표현될 수 있다.
'Visibility' 속성(540)은 논리 스크린이 출력 스크린 상에 보여질 지의 여 부를 결정하는 속성으로서, 이 속성 값을 변경함으로써, 논리 스크린을 물리적인 디스플레이 화면에 보이게 하거나 사라지게 할 수 있다.
'Associated_Display_Screen' 속성(550)은 해당 논리 스크린과 연결을 맺은 출력 스크린들의 식별 정보를 나타낸다. 출력 스크린에 연결되어 있지 않은 논리 스크린은 디스플레이 화면에 보여지지 않거나, 다른 외부 출력으로 보내지지 않는다.
'Associated_Service_Contexts' 속성(560)은 논리 스크린 또는 출력 스크린 자신에게 연결된 서비스 컨텍스트들에 대한 정보를 나타내는데, 서비스 컨텍스트에 설정된 서비스가 논리 스크린 또는 출력 스크린에 표현된다.
'OutputPort' 속성(570)은 출력 스크린이 출력되는 대상에 대한 정보를 나타내는데, 출력 스크린이 출력되는 대상으로서 디스플레이 화면, 유/무선 통신 매체, 각종 저장 매체등을 포함할 수 있다.
한편, 도 6에 도시된 속성 정보에 대한 값을 알아 오거나 변경하기 위한 인터페이스들이 제공될 수 있는데, 여기에는 도 6에서 도시한 바와 같이, 속성 정보의 값을 설정하거나, 논리 스크린을 출력 스크린과 연결하기 위한 'set' 인터페이스, 속성 정보의 값을 추가하거나 또는 논리 스크린을 서비스와 연결하기 위한 'add' 인터페이스, 속성 정보의 값을 알아 오기 위한 'get' 인터페이스, 속성 정보의 값을 삭제하기 위한 'remove' 인터페이스 등이 있다. 이러한 인터페이스는 각각의 기능을 수행하는 프로세스(process), 함수(function), 프로시저(procedure), 메소드(method) 등으로 이해될 수 있다.
예컨대, 'getDisplayScreen(void)' 메소드는 현재 스크린과 연관된 출력 스크린을 반환하는 기능을 한다. 예를 들어 현재 스크린이 논리 스크린인 경우에는 연관된 출력 스크린이 반환되고, 현재 스크린이 출력 스크린인 경우에는 현재 스크린에 대한 참조 정보가 반환되며, 현재 스크린이 논리 스크린이지만 연관된 출력 스크린이 존재하지 않는 경우에는 'NULL'이 반환된다.
또다른 예로, 'public void setDisplayArea(HScreenRectangle rect) throws SecurityException, IllegalStateException' 메소드는 현재의 논리 스크린을 연관된 출력 스크린의 소정의 영역으로 맵핑시키는 기능을 제공한다. 파라미터로 제공되는 인스턴스는 'org.havi.ui' 패키지의 'HScreenRectangle' 클래스 타입으로서, 2차원 위치 정보를 갖는다. 그리고, 상기 'setDisplayArea(HScreenRectangle rect)' 메소드에 대한 예외 처리로서, 'SecurityException' 예외와 'IllegalStateException' 예외가 수행될 수 있다. 'IllegalStateException' 예외는 현재의 스크린이 논리 스크린이 아니거나, 하드웨어 또는 소프트웨어 플랫폼의 특성상 현재의 논리 스크린과 연관된 출력 스크린의 영역이 변경될 수 없는 경우에 수행될 수 있다.
또다른 예로, 'getOutputArea(void)' 메소드는 현재 스크린의 영역에 대한 정보를 'HScreenRectangle' 클래스의 형태로 반환한다. 만일, 현재의 스크린이 출력 스크린인 경우에는 'HScreenRectangle(0,0,1,1)'과 동일한 값을 갖는 'HScreenRectangle' 정보를 반환하고, 현재의 스크린이 논리 스크린인 경우에는 연관된 출력 스크린에서 상기 논리 스크린이 차지하는 영역에 대한 정보가 반환된다. 그리고, 현재의 스크린이 논리 스크린이지만, 연관된 출력 스크린이 존재하지 않는 경우에는 'NULL' 값이 반환된다.
위에서 언급된 각각의 인터페이스 이름은 각각의 기능을 나타내기 위한 명칭에 불과하므로, 그 명칭에 한정되는 것이 아니라 그 기능으로서 이해되어야 한다.
도 9는 두 개의 서비스가 두 개의 논리 스크린에 각각 설정되고 하나의 출력 스크린에 매핑되어 출력되는 과정을 나타내는 예시도이다.
도 9를 참조하면, 제1 서비스는 비디오/오디오/데이터의 3가지 서비스 컴포넌트가 모두 존재하는 서비스이며, 제2 서비스는 비디오 컴포넌트와 오디오 컴포넌트만 존재하는 경우를 예로 든 것이다. 물론 본 발명에서는 서비스 컴포넌트에 대한 제약 사항을 두지 않으며, 도 9의 경우는 하나의 가능한 예를 나타낸 것이다.
도 9에서 볼 수 있듯이, 제1 서비스와 제2 서비스가 종래의 방식과 유사한 형태로 디스플레이 화면에 나타나지만, 본 발명을 따를 경우 매핑(mapping)을 통하여 디스플레이 화면 상에 개수의 제한 없이 복수 개의 서비스를 다양한 위치에 독립적으로 표현할 수 있다.
도 10은 본 발명의 일 실시예에 따른 다중 스크린 제공 장치의 구성을 나타내는 블록도이다.
도 10을 참조하면, 본 발명에 따른 다중 스크린 제공 장치(900)는 디지털 신호 처리 모듈(940), 서비스 처리 모듈(950), 출력 모듈(960) 그리고 사용자/어플리케이션 인터페이스 모듈(965)을 포함한다.
이 때, 서비스를 공급하는 소스(source)로서, 방송 신호 수신 모듈(910), 저 장 매체(920) 또는 외부 입력 모듈(930)을 포함할 수 있고, 서비스가 출력되는 매체로서 디스플레이 화면(970), 저장 매체(980) 또는 외부 출력 모듈(990)을 포함할 수 있다.
이 때, 본 실시예에서 사용되는 '모듈'이라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 역할들을 수행한다. 그렇지만 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 모듈은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 모듈들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 모듈들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
디지털 신호 처리 모듈(940)은 방송 신호 수신 모듈(910), 저장 매체(920) 또는 외부 입력 모듈(930)로부터 멀티미디어 컨텐츠와 같은 서비스를 구성하는 다양한 구성 정보들, 예를 들어 비디오 정보, 오디오 정보 또는 데이터 정보 등을 수신한다.
이 때, 방송 신호 수신 모듈(910)은 위성, 지상파 또는 케이블 방송 신호를 수신하여 전달하는 모듈이고, 저장 매체(920)는 서비스를 구성하는 비디오 정보, 오디오 정보 또는 데이터 정보 등이 저장된 기기를 나타내고, 외부 입력 모듈(930)은 네트워크 인터페이스 모듈과 같이 네트워크로 연결된 다른 기기로부터 서비스를 구성하는 비디오 정보, 오디오 정보 또는 데이터 정보 등을 수신하여 전달하는 모듈로서 이해될 수 있다.
디지털 신호 처리 모듈(940)은 수신된 서비스 컴포넌트들을 이용하여 서비스를 복원하는데, 이 때 복수의 서비스를 복원할 수 있다. 이 때, 상기 복원된 서비스는 추상 서비스 또는 비추상 서비스를 포함한다.
또한, 여기에서, '복수의 서비스'란 예를 들어 방송 신호 수신 모듈(910)에서 전달되는 2개 이상의 서비스를 의미할 수도 있고, 방송 신호 수신 모듈(910)과 저장 매체(920) 각각으로부터 전달되는 2개의 이상의 서비스를 의미할 수도 있다.
디지털 신호 처리 모듈(940)에서 복원되는 서비스는 사용자/어플리케이션 인터페이스 모듈(965)을 통한 사용자 또는 어플리케이션의 선택에 따라 복원될 수도 있다. 이 때, 사용자 또는 어플리케이션은 어느 서비스를 어떤 스크린에 연결할 지 선택할 수 있다.
서비스 처리 모듈(950)은 디지털 신호 처리 모듈(940)에 의해 복원된 서비스를 표현하기 위한 논리 스크린 및 출력 스크린을 생성한다.
출력 모듈(960)은 출력 스크린 상의 소정의 영역으로 서비스 처리 모듈(950)에 의해 생성된 논리 스크린들을 매핑하고 출력한다. 이 때, 출력 스크린 상으로의 매핑은 이미 설정되거나 또는 사용자/어플리케이션 인터페이스 모듈(965)을 통하여 사용자 또는 어플리케이션에 의해 설정될 수 있다.
또한, 디지털 신호 처리 모듈(940)에 의해 복원된 서비스는 서비스 처리 모듈(950) 에서 논리 스크린과 연결되지 않고 출력스크린과 직접 연결되어 출력 모듈(960)에 의해 출력될 수 있다.
출력 모듈(960)에 의해 출력 스크린은 물리적인 디스플레이 화면(970)을 통하여 출력되거나, 저장 매체(980)에 저장될 수 있다. 여기에서 저장 매체(980)는 컴퓨터에 의해 판독이 가능하고 플로피 디스크, 하드 디스크, CD-ROM, DVD, DVD-ROM, BD(Blu-ray Disc) 및 반도체 메모리를 포함한다.
또한, 외부 출력 모듈(990)을 통하여 네트워크로 연결된 다른 기기로 전달될 수도 있다.
이를 위하여, 출력 모듈(960)은 출력 스크린이 제공되는 다수의 출력 포트(output port)를 포함할 수 있는데, 이러한 경우에 이미 설정된 기본 출력 포트 또는 사용자/어플리케이션 인터페이스 모듈(965)을 통하여 지정된 출력 포트를 통하여 출력 스크린이 제공될 수 있다.
사용자 또는 어플리케이션은 사용자/어플리케이션 인터페이스 모듈(965)을 통하여 원하는 서비스를 선택하거나 복원하게 할 수 있다. 또한, 사용자 또는 어플리케이션은 사용자/어플리케이션 인터페이스 모듈(965)을 통하여 다수의 출력 스크린 중 임의의 출력 스크린을 선택할 수도 있다.
도 10에 도시된 각 모듈들은 각각의 기능에 따라 분리되어 도시되고 있으므 로, 실제 구현에 있어서는 각각 다른 모듈들과의 결합도 가능하다.
도 11은 본 발명의 일 실시예에 따라 동적으로 구성되는 다중 스크린을 통하여 서비스를 제공하는 방법을 나타내는 플로우 차트이다.
일반적으로 멀티미디어 컨텐츠를 구성하는 비디오 정보, 오디오 정보, 데이터 정보 등은 예를 들어 MPEG 스트림과 같은 소정의 포맷에 따라 전달된다. 따라서, 멀티미디어 컨텐츠와 같은 서비스를 실행하는 장치는 상기와 같은 정보들을 수신하여 해당하는 서비스를 복원하게 된다(S1010). 이 때, 복원되는 서비스는 사용자 또는 어플리케이션에 의해 선택되거나 미리 설정될 수 있다. 사용자가 디스플레이 화면에서 나타나는 메뉴나 리모컨을 이용하거나 어플리케이션이 API를 이용하여 어느 서비스를 어떤 스크린에 연결할 지 선택할 수 있다.
한편, 데이터 정보는 서비스 내에 존재하는 어플리케이션 프로그램에 관한 어플리케이션 정보를 포함하며, 이러한 어플리케이션 정보는 어플리케이션 프로그램이 PiP 스크린에서 실행될 수 있는지 여부를 나타내는 시그널 정보(signal information)를 포함한다. 어플리케이션 정보의 예로서, MHP 규격에 따른 AIT(Application Information Table)과 OCAP 규격에 따른 XAIT(eXtended Application Information Table) 등이 있으며, 이러한 어플레이션 정보에 상기 시그널 정보를 추가할 수 있다.
그리고 나서, 상기 복원된 서비스를 본 발명에 따른 논리 스크린에서 표현되도록 설정하고(S1020), 상기 논리 스크린을 본 발명에 따른 출력 스크린으로 매핑한 후(S1030), 디스플레이 화면, 저장 매체 또는 네트워크를 통하여 상기 출력 스 크린이 제공된다(S1040).
한편, 도 11에서는 복원된 서비스가 논리 스크린을 거쳐 출력 스크린을 통해 제공되는 것으로 표현되고 있으나, 논리 스크린을 거치지 않고 직접 출력 스크린을 통해 제공될 수도 있다.
도 11에서는 설명의 편의상 하나의 서비스가 출력 스크린으로 매핑되는 과정을 설명하고 있으나, 스크린 속성 정보를 이용하여 다수의 서비스가 다수의 논리 스크린을 통하여 또는 직접적으로 하나의 출력 스크린 내의 임의의 영역으로 매핑될 수 있다. 따라서, 출력 스크린이 디스플레이 화면을 통하여 제공되는 경우에는 사용자 또는 어플리케이션은 다수의 서비스를 실행할 수 있게 된다.
한편, 사용자 또는 어플리케이션이 PiP 서비스를 선택하는 경우에 다중 스크린 제공 장치(900)는 2가지 모드로서 PiP 서비스를 표현할 수 있는데, 도 12a에서는 제1 모드를 도 12b에서는 제 2모드를 나타내고 있다.
도 12a를 참조하면, 제1 모드에서는 PiP 서비스를 위한 별도의 논리 스크린 예컨대 PiP 스크린이 생성되지 않고, 메인 스크린에서 선택된 PiP 서비스의 비디오 컴포넌트만 표현된다. 이 때, 제1 모드에서는 PiP 서비스와 연관된 어플리케이션은 실행되지 않거나 그 동작이 비활성된다.
도 12b를 참조하면, 제2 모드에서는 PiP 서비스를 위한 별도의 논리 스크린이 생성되어 생성된 PiP 스크린 내에서 선택된 PiP 서비스가 표현된다. 제2 모드에서 제공되는 PiP 스크린에는 바탕 화면과 같은 역할을 하는 백그라운드 비디오(background video)를 포함하거나 비디오 컴포넌트를 포함할 수 있다. 또한, 제2 모드에서는 제1 모드에서와는 달리 PiP 서비스와 연관된 어플리케이션은 실행될 수 있다. 이 때, 어플리케이션의 실행 가능 여부는 앞서 설명한 시그널 정보(signal information)에 의한 결정될 수 있다.
상기 제1 모드와 상기 제2 모드는 동시에 수행되지 않는 것이 바람직하다.
또한, 위와 같은 모드는 사용자/어플리케이션 인터페이스 모듈(965)을 통한 사용자의 입력 또는 어플리케이션에 의해 선택될 수 있는데, 만일 사용자 또는 어플리케이션이 제1 모드를 선택한 경우 디지털 신호 처리 모듈(940)은 선택된 PiP 서비스의 비디오 컴포넌트만을 복원하고, 복원된 비디오 컴포넌트는 서비스 처리 모듈(950)에 의해 생성된 메인 스크린에 매핑된다. 그리고 나서, 출력 모듈(960)에 의해 생성된 출력 스크린을 통하여 디스플레이된다. 만일 사용자 또는 어플리케이션이 제2 모드를 선택한 경우 디지털 신호 처리 모듈(940)은 선택된 PiP 서비스를 복원하고, 복원된 서비스는 서비스 처리 모듈(950)에 의해 생성된 PiP 스크린에 매핑된다. 그리고 나서, 출력 모듈(960)에 의해 생성된 출력 스크린을 통하여 디스플레이된다.
도 13은 본 발명의 실시에 따라 다중 스크린을 제공하기 위한 소프트웨어 아키텍처를 나타내는 예시도이다.
도 13을 참조하면, 본 발명에 따른 소프트웨어 아키텍처(1100)는 디바이스 드라이버 레이어(Device Driver Layer)(1110), API 레이어(Application Program Interface Layer)(1120) 그리고 어플리케이션 레이어(Application Layer)(1130)를 포함한다.
디바이스 드라이버 레이어(1110)는 멀티미디어 컨텐츠를 제공하는 다양한 소스들로부터 서비스를 구성하는 서비스 컴포넌트들을 수신하여 디코딩한다. 이 때, 서비스 컴포넌트의 예로서 비디오 정보, 오디오 정보 또는 데이터 정보 등을 포함한다.
API 레이어(1120)는 논리 스크린 및 출력 스크린을 생성하고, 서비스, 논리 스크린, 출력 스크린 간의 매핑을 수행한다.
어플리케이션 레이어(1130)는 서비스가 표현되는 논리 스크린을 사용자가 동적으로 구성할 수 있도록 하는 사용자 인터페이스를 제공하거나, 사용자의 명령을 API 레이어(1120)로 전달하여 해당 명령에 따른 동작을 수행하게 할 수 있다.
한편, 사용자는 어플리케이션 레이어(1130)를 통하여 디바이스 드라이버 레이어(1110)로 하여금 출력 스크린을 물리적인 디스플레이 화면을 통하여 출력하도록 하거나 저장 매체에 저장하도록 할 수 있다. 또한, 디바이스 드라이버 레이어(1110)에 의해 출력 스크린을 네트워크를 통하여 다른 기기로 전송할 수도 있다.
이를 위하여, 디바이스 드라이버 레이어(1110)는 상기 출력 스크린을 제공하는 다수의 출력 포트를 포함할 수도 있으나, 다수의 출력 포트는 API 레이어(1120)에 존재할 수도 있다.
한편, 다수의 논리 스크린을 출력 스크린 상에 동적으로 구성하기 위하여 API 레이어(1120)는 다수의 소프트웨어 모듈을 포함할 수 있는데, 여기에서는 'MultiScreenManager' 모듈, 'MultiScreenContext' 모듈, 'MultiMultiScreencontextListener' 모듈 그리고 'MultiMultiScreencontextEvent' 모듈을 예로 하여 설명하며, 이러한 모듈들의 관계를 도 14에서 도시하고 있다.
'MultiScreenManager' 모듈(1210)은 'MultiScreenContext' 모듈을 관리하면서, 원하는 스크린을 찾거나 스크린들간의 디바이스 공유 정보를 알려 주거나, 'MultiMultiScreencontextListener' 모듈(1250)의 등록 또는 해제를 담당하는 역할을 한다.
'MultiScreenContext' 모듈(1230)은 스크린 객체(1220)와 연관되어 스크린 객체에 대한 인터페이스 객체로서, 'MultiScreenContext' 모듈(1230)의 인터페이스 동작에 따라 스크린 객체가 논리 스크린과 출력 스크린으로 스크린의 유형이 결정될 수 있고, 도 6에서 도시되고 있는 다양한 속성 정보들이 설정될 수 있다. 앞서, 언급한 'set', 'add', 'get', 'remove' 인터페이스들은 'MultiScreenContext' 모듈(1230)에 의해 제공될 수 있다.
'MultiMultiScreencontextEvent' 모듈(1240)은 'MultiScreenContext' 인터페이스 객체(1230)에 의하여 스크린 객체(1220)의 속성 정보들이 바뀐 경우, 이를 알려주기 위한 이벤트 클래스(event class)이고, 'MultiMultiScreencontextListener' 모듈(1250)은 'MultiMultiScreencontextEvent' 모듈(1240)에 의한 이벤트를 수신하고자 하는 소정의 어플리케이션 클래스에 구현될 수 있는 리스너 인터페이스(listener interface) 객체이다.
한편, 어플리케이션(1260)은 어플리케이션 레이어(1130)에서 동작하는 모듈로서, 사용자로 하여금 원하는 서비스를 선택하게 하고, 출력 스크린에 다수의 논리 스크린을 원하는 형태에 따라 자유롭게 배치하도록 한다.
따라서, 어플리케이션(1260)은 사용자가 논리 스크린을 동적으로 배치하고 이를 관리하는 것에 관한 명령들을 MultiScreenManager 모듈(1210)로 전달하면, MultiScreenManager 모듈(1210)은 MultiScreenContext 모듈(1230)을 통하여 상기 명령에 대응하는 동작을 수행하도록 한다.
한편, MultiScreenContext 모듈(1230)은 스크린 객체(1220)와 연관되어 도 6에서 도시된 스크린 객체(1220)의 속성 정보들을 관리할 수 있으며 이러한 관리를 위하여 다양한 함수 또는 메소드(method)를 포함할 수 있다.
한편, 미도시되었으나, MultiScreenManager 모듈(1210)은 디바이스 드라이버 레이어(1110)로부터 다양한 소스들로부터 제공된 서비스 컴포넌트들을 수신하여 논리 스크린 또는 출력 스크린에서 표현될 수 있도록 동작할 수도 있다. 물론, 이러한 기능은 도시되지 않은 별도의 모듈을 통해서 수행될 수도 있다.
도 15는 도 14에서 도시된 각 모듈들에 의하여 복수 개의 서비스를 논리 스크린을 통하여 출력 스크린에 나타내는 과정을 도시한 플로우 차트이다.
우선, MultiScreenManager 모듈(1210)은 하나의 출력 스크린과 실행될 서비스 개수만큼의 논리 스크린을 생성한다(S1310).
그리고 나서, MultiScreenManager 모듈(1210)은 각각의 논리 스크린을 디바이스 드라이버 레이어(1110)로부터 수신한 서비스와 연결시킨다(S1320). 이 때, 각각의 논리 스크린에 대하여, 연결할 서비스에 대한 서비스 컨텍스트 객체를 파라미터로 하여 논리 스크린 객체의 'addServiceContext' 메소드를 호출할 수 있다. 여기에서 'addServiceContext' 메소드는 논리 스크린과 서비스를 연결하는 기능을 수 행하는 메소드로서 이해될 수 있으며, MultiScreenContext 모듈(1230)에 의해 제공될 수 있다.
논리 스크린과 서비스가 연결되면, MultiScreenManager 모듈(1210)은 각각의 논리 스크린을 출력 스크린과 연결한다(S1330). 이 때, 각각의 논리 스크린에 대하여, 연결할 출력 스크린 객체를 파라미터로 하여 논리 스크린 객체의 'setDisplayScreen' 메소드를 호출할 수 있다. 여기에서 'setDisplayScreen' 메소드는 논리 스크린과 출력 스크린을 연결하는 기능을 수행하는 메소드로서 이해될 수 있으며, MultiScreenContext 모듈(1230)에 의해 제공될 수 있다.
예를 들어, 'setDisplayScreen' 메소드는 'public void setDisplayScreen(HScreen screen) throws SecurityException, IllegalStateException'의 형태로 표현될 수 있으며, 이 메소드는 파라미터로 제공되는 'HScreen' 인스턴스를 현재의 논리 스크린과 연관시키는 기능을 제공한다. 이 때, 상기 'HScreen' 인스턴스는 출력 스크린인 것이 바람직하다.
그리고, 상기 'setDisplayScreen(HScreen screen)' 메소드의 파라미터는 'NULL'을 포함할 수 있는데, 이 경우 예외 처리(exception handling) 없이 'setDisplayScreen(HScreen screen)' 메소드가 실행되면 현재의 논리 스크린은 더 이상 출력 스크린과 연관되지 않는다.
그리고, 'setDisplayScreen(HScreen screen)' 메소드에 대한 예외 처리로서, 'SecurityException' 예외와 'IllegalStateException' 예외가 수행될 수 있다.
'IllegalStateException' 예외는 현재의 스크린이 논리 스크린이 아니거나, 하드웨어 또는 소프트웨어 플랫폼의 특성상 파라미터로 제공되는 출력 스크린이 특정한 논리 스크린과 연관되어 현재의 논리 스크린을 상기 파라미터에 해당하는 출력 스크린과 연관시킬 수 없는 경우에 수행될 수 있다.
서비스와 논리 스크린, 그리고 다수의 논리 스크린과 하나의 출력 스크린이 연결되면, 각각의 논리 스크린이 표현될 출력 스크린의 영역이 설정된다(S1340). 이 때, 각각의 논리 스크린에 대하여, 출력 스크린에 보여질 영역을 설정하기 위해 MultiScreenContext 모듈(1230)에 의해 제공되는 메소드를 호출할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.