KR100722704B1

KR100722704B1 - 방송 이벤트의 3차원 그래픽 모델을 이용하는 그룹 화상회의 방법 및 시스템

Info

Publication number: KR100722704B1
Application number: KR1019997011598A
Authority: KR
Inventors: 말라트라울; 신하아툴
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 1998-04-10
Filing date: 1999-04-01
Publication date: 2007-06-04
Also published as: WO1999053691A3; US20020122112A1; WO1999053691A2; CN1273002A; CN1213566C; EP0988753A2; KR20010013590A; JP2002510457A; JP4350806B2

Abstract

지리적으로 분산되어 있는 다수의 최종 사용자들로의 TV 방송 서비스는 회의 모드로 통합된다. 방송 중 소정의 이벤트에서, 최종 사용자들의 특정한 그룹들은 소프트웨어 제어하에서 회의 모드로 전환되어, 그룹은 상기 이벤트를 논의하도록 인에이블된다. 회의 모드는, 그룹들에 다운로드되는 이벤트의 비디오 화상 표현의 3차원-그래픽 모델에 의해 강화된다. 최종 사용자들은 이벤트에 대한 대안들을 논의하기 위해 모델과 대화할 수 있다.

3차원 그래픽 모델, 그룹 화상 회의, 가상 환경

Description

방송 이벤트의 3차원 그래픽 모델을 이용하는 그룹 화상 회의 방법 및 시스템{Group-wise video conferencing uses 3D-graphics model of broadcast event}

본 발명은 지리적으로 분산되어 있는 다수의 최종 사용자들간의 대화(interaction)를 가능케하는 서비스로 방송을 강화하기 위한 방법 및 시스템에 관한 것이다.

다수의 사용자들을 포함하는 통신의 예들은 방송 및 회의이다. 방송은 통상적으로, 방송 프로세스와 수신 상대방과의 대화 없이 미리 기록된 또는 실시간 정보의 일-대-다 교환(one-to-many exchange)이다. 회의는 통상적으로, 수신자와 전송자가 대화하고 그들의 역할을 빈번히 바꾸며 그 교환된 정보를 판별한다는 점에서 실시간이고 동적인 대화 형식이다.

다수의 사용자들이 대화형 가상 환경에서 회의를 가능하게 하는 멀티미디어 방법들 및 시스템들이 공지되어 있다. 본 명세서에서 참조문헌으로 포함된, 예컨대, 필립스 일렉트로닉스의 미국특허출원(일련번호 제08/373,737호(PHN 14,719); 제08/597,439호(PHN 15,187) 및 제08/828,468호(PHN 15,768))을 참조하자. 공지된 시스템들의 구현에 있어서, 유선-TV 네트워크는 다수의 사용자들을 애플리케이션 서버에 접속시킨다. 서버는 텔레텍스트 페이지(teletext pages)를 경유하여 가상 환경을 위한 그래픽을 제공하며, 서버 각각은 그 그래픽 데이터를 각각의 사용자에게 제공한다. 전화 네트워크는 가상 환경내 사람의 그래픽 아바타(graphics avatar)를 제어하기 위해 자신의 전화 키들을 제어하는 사용자로부터의 서버 명령들에 따라 통신하는데 사용된다. 텔레텍스트 그래픽 페이지들은 사용자에 의해 입력된 명령들의 제어하에서 갱신된다. 전화 네트워크는 또한 서버상에서 운용되는 채트 박스 애플리케이션(chat box application)의 제어하에서 사용자들간에 통신을 가능케하는데 사용된다.

현재, 통신 시스템의 방송 및 회의 모드들은 개별 어플리케이션과는 독립적인 방식으로 구현되는데, 예컨대 스포츠 프로그램의 텔레비전 방송 및 스포츠 전문가들간의 전화 또는 화상 회의는 스포츠 이벤트의 생방송 중에, 상기 회의가 방송되면서, 오디오 또는 비디오(화상) 링크를 통해 중계된다.

본 발명의 목적은 새로운 대화형 환경을 제공하며, TV 방송 서비스들의 범위를 넓히는데 있다. 본 발명의 다른 목적은 방송과 회의를 통합하는데 있다.

삭제

이러한 목적을 위해, 본 발명은 지리적으로 상이한 위치들에 거주하는 서로 다른 사용자들, 즉 다수의 최종 사용자들과의 통신을 제어하는 방법을 제공한다. 그 방법은 방송 모드에서, 최종 사용자들에 의한 수신을 위한 콘텐트 정보를 방송하는 단계와, 회의 모드에서, 최종 사용자들의 적어도 한 서브세트(subset)를 네트워크를 통하여 상호접속시키는 단계와, 서브세트의 최종 사용자들 사이에 대화를 가능케 하는 단계를 포함한다. 상기 방법은 상기 방송 모드 및 상기 회의 모드 사이에 전환을 가능케 한다.

그러므로, 본 발명의 방법은 방송 예컨대, TV 방송을 회의와 함께 통합하며, 이들 모드들간에 전환을 제어한다. 본 발명은 사용자들이 방송중에 발생하는 소정의 이벤트들을 논의할 수 있게 한다. 바람직하게는, 방송 모드에서의 소정의 이벤트들은 회의 모드로의 전환을 트리거링(triggering)한다. 바람직하게는, 회의 모드는 이들 트리거링 이벤트들의 3차원 그래픽 모델들로 개선된다. 이들 모델들은 방송을 시청하고 있는 전체 시청자보다 작은 그룹들에서의 논의를 위한 기초로서 기능할 수 있다. 3차원 그래픽으로의 비디오의 실시간 변환을 위한 소프트웨어는 상업적으로 이용가능하다.

본 발명은 수반되는 도면들을 참조하여 실시예들을 통하여 설명된다.

도면들 전체를 통하여, 동일한 참조 부호들은 유사하거나 또는 대응하는 특징들을 가리킨다.

도 1은 공지의 방송 시스템도.

도 2는 본 발명의 시스템도.

도 3 내지 도 5는 본 발명의 방법을 도시하는 도면.

공지의 방송 시스템

도 1은 최종 사용자들에게 정보를 다운로딩하기 위한 종래의 방송 시스템의 주요 구성요소들을 갖는 블록도이다. 시스템(100)은 카메라(101), 서버(102) 및 다수의 클라이언트들(clients)을 가지며, 그들 중에서, 하나의 클라이언트(104)만이 도시되며, 다른 클라이언트들은 도면을 명료하게 하기 위해 도시되지 않는다. 서버(102)는 통상적으로 전문가 스튜디오 장비의 일부이다. 클라이언트(104)는 서버(102)에 의해 방송된 정보를 최종 사용자가 액세스하기 쉽게 만든다. 통상적으로, 클라이언트(104)는 컨슈머(consumer) 전자 장비를 구비한다.

서버(102)는 실시간 인코더(108), 기억장치(110), 믹서(mixer, 112), 전송 인코더(114), 및 송신기(116)를 포함한다. 믹서(112)는 인코더(108) 및 기억장치(114)에 의해 제공된 데이터를 믹싱한다. 기억장치(110)는 사전-기록된 비디오 또는 그래픽 데이터를 저장한다. 실시간 인코더(108)는 카메라(101)에 의해 캡처된 비디오를, 기억장치(110)에 의해 공급된 데이터와 믹싱하는데 적합한 포맷(format)으로 인코드한다. 인코더(114)는 스트림(stream)을 MPEG-2 TS 포맷으로 인코드한다. 바람직하게는, 믹싱(mixing)은 스튜디오 인원 예컨대, 로컬 편집자의 제어하에 수행된다. 클라이언트(104)는 세트-탑 박스(set-top box) 및 텔레비전 장치(120)를 포함한다. 세트-탑 박스(118)는 수신기(122) 및 디코더(124)를 포함한다. 서버(102) 내의 송신기(116)는 MPEG-2 전송 스트림(TS) 포맷을 이용하여 클라이언트(104)의 수신기(112)와 통신한다.

방송 및 회의 시스템

도 2는 본 발명의 시스템(200)의 주된 구성요소들의 블록도이다. 시스템(200)은 방송과 회의를 통합한다. 그 시스템 구조는 도 2를 참조하여 논의되며, 그 동작은 도 3-5를 참조하여 설명된다.

시스템(200)은 소프트웨어 애플리케이션 제어하에서 방송 및 회의 모드들에 통합된 접근을 제공한다. 이러한 접근은 사용자들이 방송 및 회의 모드들 사이에서의 전환을 허용한다. 그 전환은 서버에 의해, 최종 사용자에 의해, 또는 둘 모두에 의해 제어될 수 있다. 회의는 방송 모드에 의해 세팅된 내용(context)에 의해 트리거된다. 회의 모드에서, 방송을 수신하는 클라이언트들은 다중-사용자 통신 예컨대, 스포츠 이벤트가 방송되는 동안 쟁점을 갖는 행위에 대한 논의를 위해 더욱 작은 그룹들로 쪼개진다. 회의의 말단에서, 그룹 내 사용자들은 적합한 방식으로 방송 프로그램에 참여한다. 회의를 위한 내용을 세팅하기 위하여, 오디오, 비디오 및 3차원 그래픽 모델들이 방송 프로그램들의 콘텐트에 기초하여 생성되어, 사용자들에게 전달된다. 그룹 회의의 경우, 사용자들의 클라이언트들은 담화(speech), 오디오, 비디오, 및 그래픽 데이터를 사용하고, 스트리밍 프로토콜들을 사용하며, 공유 객체 지원(shared object support)을 분산시킨다.

서비스 제공자는 진보적인 방식으로 상기의 기능을 소개할 수 있다. 이러한 발전은 다양한 방식에서 진행될 수 있다. 예컨대, 하나는 방송 및 회의 모드들 사이의 이러한 전환 기능성을 모든 사용자에게 계단식으로 소개하는 것이며, 또는 작은 사용자 세트(the small set of users) 예컨대, 전문적인 애플리케이션에 대해 소개할 수 있다.

작은 사용자 세트는 다중-사용자 협동/통신을 확립하는 것을 필요로 하는 전문가들의 세트, 즉, 지리적으로 다른 위치들에 위치하고, 방송 축구 경기에 발생하는 특정 이벤트에 대해 자신의 의견을 제공하기 위해 방송 중에 호출(call)되는 축구 전문가들의 세트이다. 이 협력/통신은 모든 다른 사용자들에게 방송된다. 이러한 접근은 오디오 또는 비디오 링크로 멀리 떨어져서 위치한 전문가들의 컨설팅의 현재 실행되는 것을 넘어서는 것이다.

시스템(200)은 서버(202)와 다수의 클라이언트들을 포함하고, 도면을 명료히 하기 위해 단일 클라이언트(204)만이 도시된다. 클라이언트들은 상이한 위치들에 거주한다. 상술한 구성요소들(101, 108 내지 116, 122 및 124)에 부가하여, 서버(202)는 다른 구성요소들을 포함한다. 유사하게, 수신기(122)와 디코더(124)에 부가하여, 클라이언트(204)는 다른 구성요소들을 포함한다. 부가 구성요소들은 아래에 설명되는 바와 같은 방송 모드와 회의 모드를 관리한다.

서버(202)는 모델 발생기(206), 이벤트-트리거된 제어기(event-triggered controller:208), 세션 설명 프로토콜들(Session Description Protocols:SDP)과 세션 발표 프로토콜들(Session Announcement Protocols:SAP)을 관리하는 유닛(210)을 포함한다. 이러한 프로토콜들은 멀티캐스팅을 지원하는 공지된 인터넷 프로토콜들이다. 더 많은 정보를 위해, 웹 http://www.ipmulticast.com/ community/whitepapers/howipmcworks.html에서 사용 가능한 Stardust Technologies Inc.의 작가 Vicki Johnson 및 Marjory Johnson에 의해 저술된 "How IP Multicast Works, An IP Multicast Initiative White Paper" 논문과 그것의 문헌 참조를 예를 들어보자. SDP는 초대와 발표들과 같은 세션 시작을 위해서 멀티미디어 세션들을 설명한다. 또한, SAP는 인증과 프라이버시를 보장하도록 할 작정이다.

따라서, 서버(202)는 설명 프로토콜(SDP)을 사용하여 형성되는 그룹들을 설명하고, 발표 프로토콜(SAP)을 사용하여 형성되는 그룹들을 클라이언트들에 알린다. 클라이언트들은 특정 그룹에 참가하거나 또는 참가를 포기함으로써 응답한다. 그룹에 참가하는 것은 아래에 설명된 바와 같이 사용자가 그룹 활동에 참가하게 하는데 필요한 회의 소프트웨어 애플리케이션을 자동적으로 활성화한다.

시스템(200)은 클라이언트(204)와 같은 클라이언트들의 신원확인을 하는 데이터 베이스(212), 회의 모드에 대한 그룹들을 형성하기 위해서 클라이언트의 선호도(preferences), 인증 등에 관한 정보를 더 포함한다. 이 정보는 즉 미리 실행되는 사용자들 사이의 질문을 기초로 한다. 모델 발생기(206)는 서버 입력(203)을 통해 카메라(101)에 그리고 저장(110)와 사건-트리거된 제어기(208))에 결합된다. 발생기(206)는 카메라(101)에 의해 공급되는 비디오 데이터의 VRML 포맷으로 3D 그래픽 모델들을 생성하거나 또는, 저장(110)에 저장된 3D 그래픽 모델들을 변경한다. 3D 그래픽으로의 비디오의 실시간 변환을 위한 소프트웨어는 예를 들어 Orad Hi-Tech Systems, Ltd.의 상품과 같은 것들이 잘 알려져 있다. 발생기(206)는 제어기(208)에 의해 제어된다. 제어기(208)는 소정의 이벤트 발생에 응답하여 3차원 그래픽 모델을 생성하도록 발생기(206)를 트리거한다. 이벤트는 방송 동안에 사전-프로그램된 상태에 대응하거나 또는 예컨대 스포츠 해설자 또는 스튜디오 인원에 의해 입력된 매뉴얼이다. 또한 제어기(208)는 회의 모드로 진입할 수 있거나 또는 다른 클라이언트들의 사용자들 사이에 회의를 시청할 수 있는 클라이언트 그룹들의 형성을 트리거한다. 이를 위해, 제어기(208)는 SDP＆SAP 유닛(210)에 접속된다.

삭제

클라이언트(204)는 이러한 특정한 클라이언트(204)의 회의 모드를 제어하기 위한 소프트웨어 애플리케이션(216)을 포함하는 세트-탑 박스(214)를 갖는다. 회의 모드들은 도 3-5를 참조하여 아래에서 추가로 설명된다. 애플리케이션(216)은 무엇보다도, 클라이언트(204) 및 할당된 그룹내의 다른 클라이언트들간의 통신 및 대화의 타입을 판단한다. 이를 위해서, 애플리케이션(216)은 데이터 베이스(212)와 통신한다. 클라이언트(204)는 서버 출력(207) 및 클라이언트 입력(217) 예컨대, 인터넷 프로토콜(IP)을 갖는 인터넷을 통해서, 또는 MPEG-2 TS 상의 IP를 갖는 방송 채널을 통해서 서버(202)내의 모델 발생기(206)로부터 3차원 그래픽 데이터를 수신한다. 애플리케이션(216)은 데이터 베이스(212)내의 권한 및/또는 선호도 정보에 기초하여, 사용자가 상이한 관점에서 3차원 화면을 시청하는 것만을 허용하는 지 또는 화면을 변경하는 것 예컨대, 모델링된 화면의 구성을 변화시킴으로써 방송 이벤트에 대한 대안들을 보여주는 것인지를 판단한다. 이러한 배경에서, 발생기(206)는 바람직하게는, 상이한 그룹들에 대해 상이한 모델들을 발생시키는 것이 가능하다. 애플리케이션(216)은 예컨대, VRML 브라우저를 구비하는 3차원 랜더러(renderer)(218)를 제어한다. 디코더(124) 및 랜더러(218)는 디스플레이(120)에서 사용자에게 디스플레이하고 종료(play-out)를 준비하도록 입력을 처리하는 혼성기(226)에 접속된다. 또한 혼성기(226)는 A/V/Speech 코더들(228)의 출력에 접속된다. A/V 스트리밍 프로토콜들(226)은 회의 모드에서 실시간 통신 채널들(225)을 통해, 여기서는 인터넷을 통해, 클라이언트들 사이에 유효한 오디오/비디오 데이터 전달을 가능케 한다. A/V/Speech 코더들(228)은 마이크로폰(230)을 통해 클라이언트(204)의 A/V/Speech 입력의 인코딩을 처리하고, 다른 클라이언트들로부터 수신된 스트림의 디코딩을 처리한다.

클라이언트(204) 및 이 클라이언트(204)와 동일 그룹내의 다른 클라이언트들은 인터넷/멀티캐스트 라우터들(220)을 통해 대화한다. 이 대화는 인증된 사용자에 의해 처리될 때 3차원 모델 내에서 전반적인 일관성을 유지하기 위해 월드 모들(world model)과 분산형 공유 객체 지원 프로토콜(S.O.S)(222)에 의해 클라이언트(204)에서 국부적으로 지원된다. 이를 위해, 사용자 입력 장치(232), 예컨대 조이스틱이 애플리케이션(216)을 통해 3차원 모델을 다른 방식으로 수정하거나 처리하기 위해 인증된 클라이언트(204)에서 제공된다. 그룹 관리 유닛(234)은 그룹 관리, 인증 액세스 제어, 및 지불(payment)과 같은 가입 문제들을 처리한다. 유닛(234)은 예컨대 애플리케이션(216)의 일부이거나 개별 애플리케이션이거나, 스마트 카드 판독기로 구현된다. 유닛(234)은 입력(233)을 통해 서버(202)로부터 관련 제어 정보를 수신한다.

구성요소들(124,216,218,222,224,226,228,234)은 모두 소프트웨어로 구현될 수도 있음을 주의하자.

동작은 다음과 같다. 방송 모드로부터 회의 통신 모드로의 천이(transition)는 이벤트에 의해 트리거된다. 이 트리거는 생방송의 스포츠 해설자에 의해 또는 사전에 기록된 프로그램의 스튜디오 직원에 의해 자동 또는 수동으로 결정될 수 있다. 제어기(208)로부터의 트리거의 이벤트 상에서, 모델 발생기(206)는 상이한 그룹들의 사용자들에 대해 가능한 상이한 모델들인 3차원 그래픽 모델들을 생성한다.

도 3에는 방송을 시청하는 큰 그룹(302)과, 보다 큰 그룹으로부터 형성된 보다 작은 그룹(304,306,...)간의 천이가 예시되어 있다.

도 4에는 보다 상세한 시나리오가 예시되어 있고, 대그룹(402)은 그룹(404), 그룹(406) 및 그룹(408)을 포함한다. 그룹(404) 내의 사용자들은 방송 모드 수신과 회의 모드 사이에서 전환하며, 단순히 정보를 수신하고 능동적으로 대화하지 않는다는 점에서 수동적이다. 그룹(408) 내의 사용자들은 복수의 소그룹(410,412,...,414)으로 나뉘며, 세션 동안에 각각의 그룹은 회의에 참여하기 위해 동일 사용자일 필요는 없다. 그룹(406) 내의 사용자들은 패널을 형성하고, 이들의 회의는 수신하기를 원하는 모든 사용자들에게 방송하도록 병합된다.

도 5에는 도 4의 시나리오에 대한 개선예가 도시되어 있다. 모든 사용자들이 소그룹 내의 회의에 참석하거나, 또는 다른 그룹, 예컨대 축구 전문가 그룹의 회의를 시청하기 위한 회의 모드로 진입할 수 없거나 진입하기를 원하지 않을 가능성도 있다. 예컨대, 방송된 정보를 수신할 수 있는 모든 사용자들이 방송 모드와 회의 모드간의 전환을 지지하는 장치를 가지고 있는 것이 아니다. 이 시나리오 하에서, 그룹(502)은 전환 시나리오에서 제외되어 전환 시나리오에 의해 구속되지 않는다.

Claims

방송(broadcasting)과 회의(conferencing)를 통합하는 방법에 있어서,

지리적으로 서로 다른 위치들에서 다수의 최종 사용자들에 의한 수신을 위해 콘텐트 정보를 방송하는 단계;

방송 동안, 상기 최종 사용자들의 적어도 한 서브세트를 위한 회의 모드로 들어하도록 인에이블하는 단계;

상기 회의 모드에서,

네트워크를 통해 상기 서브세트의 최종 사용자들을 상호접속시키도록 인에이블하는 단계;

상기 네트워크를 통해 상기 서브세트의 최종 사용자들 사이의 대화(interactoin)를 인에이블하는 단계; 및

상기 회의 모드를 떠나도록 인에이블하는 단계를 포함하는, 통합 방법.
제 1 항에 있어서,

상기 회의 모드에 있는 동안, 상기 최종 사용자들의 또 다른 서브세트에 대화를 방송하는 단계를 포함하는, 통합 방법.
제 1 항에 있어서,

상기 회의 모드로 들어가거나 상기 회의 모드를 떠나는 단계는 방송된 상기 콘텐트 정보 내의 특정 이벤트에 의해 인에블되는, 통합 방법.
제 1 항에 있어서,

상기 콘텐트 정보는 비디오 정보를 포함하며,

상기 비디오 정보의 그래픽 표현을 생성하는 단계; 및

상기 회의 모드에서, 상기 그래픽 표현을 최종 사용자들의 상기 서브세트에 공급하는 단계를 포함하는, 통합 방법.
제 4 항에 있어서,

상기 서브세트의 상기 최종 사용자들 중 하나 이상의 특정 사용자들이 상기 그래픽 표현을 대화식으로 변경하도록 인에이블되는, 통합 방법.
제 4 항에 있어서,

상기 회의 모드에 있는 동안, 상기 대화는 최종 사용자들의 또 다른 서브세트에 방송되며,

상기 서브세트의 상기 최종 사용자들 중 하나 이상의 특정 사용자들은 상기 그래픽 표현을 대화식으로 변경하도록 인에이블되는, 통합 방법.
방송과 회의를 통합하는 시스템으로서, 다수의 클라이언트 장치와 함께 사용하기 위한 서버(202)를 포함하는 상기 시스템(200)에 있어서,

상기 서버(202)는:

최종 사용자들 중의 각각의 사용자를 위한 클라이언트 장치들(204) 중의 각각의 클라이언트 장치를 통해 지리적으로 서로 다른 위치들에서 상기 다수의 최종 사용자들에 의한 수신을 위해, 콘텐트 정보를 방송하는 송신 유닛(116); 및

상기 다수의 장치들보다는 적은 클라이언트 장치 그룹의 형성을 트리거하고(trigger), 상기 방송 동안 임의의 이벤트에 응답하여 회의 모드로 들어가도록 하는 제어기(208)를 포함하는, 통합 시스템.
제 7 항에 있어서,

상기 서버(202)는:

비디오 데이터를 수신하기 위한 서버 입력(203);

상기 제어기(208)에 접속되고, 상기 비디오 데이터에 기초하여 그래픽 모델을 발생하기 위해 상기 서버 입력(203)에 접속된 모델 발생기(206); 및

상기 각각의 클라이언트 장치(204)에 상기 모델을 제공하기 위해 상기 모델 발생기에 접속된 서버 출력(207)을 포함하는, 통합 시스템.
청구항 7의 시스템(200)과 함께 사용하기 위한 클라이언트 장치(204)에 있어서,

방송을 수신하는 수신기(122);

상기 방송을 수신하는 동안, 회의 모드에 들어가거나 상기 회의 모드를 떠나도록 하는 수단(226);

상기 회의 모드에서, 네트워크(220)를 통해 최종 사용자들 중 적어도 한 서브세트와 상기 클라이언트 장치(204)를 상호접속시키는 수단(224,225); 및

상기 네트워크(220)를 통해 상기 서브세트의 상기 최종 사용자들 사이의 대화를 인에이블하는 수단(228,230)을 포함하는, 클라이언트 장치.
제 9 항에 있어서,

상기 서버(202)로부터 제어 신호를 수신하기 위한 입력(233)을 더 포함하고,

회의 모드에 들어가거나 상기 회의 모드를 떠나도록 하는 상기 수단(226)은 상기 제어 신호의 수신에 응답하여 상기 회의 모드로 들어가거나 상기 회의 모드를 떠나도록 선택적으로 제어하는, 클라이언트 장치.
제 9 항에 있어서,

상기 서버(202)로부터 수신된 3D 그래픽 모델을 렌더링(rendering)하는 3D 렌더러(218); 및

상기 회의 모드에서, 상기 3D 그래픽 모델을 상기 최종 사용자로 액세스가능하게 하는 수단(226)을 포함하는, 클라이언트 장치.