KR20110050595A - 컴퓨터 판독 가능한 메모리를 구비하는 가상 모임을 위한 컴퓨터, 가상 모임 공통 레이아웃 서비스 제공 방법 및 호스팅 서버 - Google Patents

컴퓨터 판독 가능한 메모리를 구비하는 가상 모임을 위한 컴퓨터, 가상 모임 공통 레이아웃 서비스 제공 방법 및 호스팅 서버 Download PDF

Info

Publication number
KR20110050595A
KR20110050595A KR1020107029840A KR20107029840A KR20110050595A KR 20110050595 A KR20110050595 A KR 20110050595A KR 1020107029840 A KR1020107029840 A KR 1020107029840A KR 20107029840 A KR20107029840 A KR 20107029840A KR 20110050595 A KR20110050595 A KR 20110050595A
Authority
KR
South Korea
Prior art keywords
common layout
meeting
endpoint
background
picture
Prior art date
Application number
KR1020107029840A
Other languages
English (en)
Inventor
마크 이 고진스키
마이클 디 디로쳐
브래들리 엘 알렌
Original Assignee
휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. filed Critical 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피.
Publication of KR20110050595A publication Critical patent/KR20110050595A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

공통 레이아웃의 규칙에 근거하여, 다수 화상 스트림의 객체에 대한 적절한 원근, 순서 및 실질적 배열 중 적어도 하나를 유지하면서, 적어도 하나의 객체를 갖는 배경 이미지 상에 다수의 화상 스트림을 합성하는 방법 및 장치가 제공된다. 배경은 배경은 다수의 화상 스트림 간의 갭을 상기 객체의 적절한 구조로 채우는 모임 공간으로 정의된다. 배경은 상기 모임 공간의 컨텍스트(context)를 생성한다.

Description

컴퓨터 판독 가능한 메모리를 구비하는 가상 모임을 위한 컴퓨터, 가상 모임 공통 레이아웃 서비스 제공 방법 및 호스팅 서버{COMPOSITING VIDEO STREAMS}
본 출원은 2008년 6월 30일 출원된 미국 가출원 번호 제 61/076941호의 이익을 주장한다. 또한, 본 출원은 2008년 3월 17일 출원된 미국 가출원 번호 61/037321호의 이익을 주장하는, 2008년 3월 24일 출원된 국제 출원 번호 PCT/US2008/058006호에 관련되며, 이들 두 출원은 본 명세서에서 참조로서 포함된다.
화상 회의(Video conferencing)는 원격에 위치하는 참가자들 간의 가상의 대면 공동 작업(simulated face-to-face collaboration)의 확립된 방법이다. 원격 환경의 화상 이미지(video image)는 로컬(local) 디스플레이 상으로 브로드캐스팅되어, 로컬 사용자가 한 명 이상의 원격에 위치하는 참가자를 보면서 이야기할 수 있게 한다.
대면 공동 작업 중의 사회적 상호 작용(social interaction)은 사람들의 작업 방식에서 중요한 부분이다. 거리가 떨어져 있는 가상의 대면 모임에서 효과적인 사회적 상호 작용을 사람들이 할 수 있게 할 필요가 있다. 이것의 핵심 측면은, 몇몇 참가자가 원격에 위치하고 단지 비디오를 통해서 보여도, 이 그룹의 멤버들 간의 비대화적인 통신(nonverbal communication) 및, 동일 위치에 같이 존재하고 있는 느낌이다. 이러한 것을 가능하게 하고자 하는 많은 시스템이 개발되어 왔다. 그러나, 핵심적 문제가 이들 시스템이 성공하거나 또는 널리 사용되지 못하게 방해하여 왔다.
예컨대, 사회적 비 대화적 통신은, 다른 사람이 생각하고, 느끼는 것과 몸짓 언어(body language), 얼굴 표정(facial expressions), 그룹 내 위치(position in a group) 및 수행된 활동(activities performed)을 사용하여 통신하는 것이 무엇인지에 대해 인간이 정보를 모으는 다양한 방식을 의미한다. 인지 과학자로부터 지각 과학자에 이르는(from cognitive to perceptual scientists) 많은 연구자들은, 인간이 한 그룹의 사람들을 보고, 이들의 활동 및 표현을 관찰하며, 이것들로부터 그룹 내의 사람들이 무엇을 생각하고 느끼는 지에 대한 강력한 느낌을 개발할 수 있게 하는 수단을 연구하여 왔다. 환경은 사람이 다른 사람을 "읽게"할 수 있게 하는 것의 주된 요소이다. 많은 화상 회의 시스템은 이러한 환경 요소를 그들의 수행에 고려하지 못하고 있다. 따라서, 화상 회의 기간 중에 이러한 인지 및 지각적인 단서를 보전할 필요가 있다.
상술한 이유를 위해서 및, 본 명세서를 읽고 이해한 당업자에게 자명하게 될 다른 이유를 위해, 다른 화상 회의 방법이 필요하다.
본 실시예의 이하의 설명에서는, 본 명세서의 일부를 이루는 첨부 도면이 참조되었으며, 이것은 실시될 수 있는 개시의 특정 실시예를 설명하기 위한 방법으로 도시되었다. 이러한 실시예는 당업자가 개시의 주제를 실행할 수 있도록 충분히 상세히 설명되었으며, 다른 실시예들이 사용될 수 있으며, 본 개시의 범위를 벗어남이 없이 프로세스(process) 또는 기계적 변경이 행해질 수 있음이 이해될 것이다. 따라서, 다음의 상세한 설명은 제한적 의미로 여겨지지 않으며, 본 개시의 범위는 첨부된 청구범위 및 그 등가물로 정의된다.
본 명세서에 개시된 다양한 실시예는 사회적 공동 작업을 개선하기 위한 단일화된 모임 공간 뷰(a unified meeting space view)를 용이하게 한다. 이 실시예는, 로컬 엔드포인트가, 사회적 통신을 위한 환경(context)을 제공하는 모임 공간 내에 다수의 원격 엔드포인트의 화상 스트림을 혼합하여 다수의 원격 엔드 포인트의 뷰를 형성할 수 있게 한다. 모임 공간은 정확한 사회적 통신을 장려하기 위해서 참가자들 사이에 조정된다.
도 1a 내지 1c는 다양한 실시예에 사용하는 공통 모임 토폴로지(topology)의 맵이다.
도 2a는 다양한 실시예에 사용하는 예시적 배경 이미지를 도시한다.
도 2b는 도 2a의 배경 이미지 내에 합성하기 위한 하나 이상의 엔드포인트(endpoints)로부터 수신되는 화상 스트림을 도시한다.
도 2c는 일 실시예 따라 도 2a의 배경 이미지 상에서의 화상 스트림의 합성을 도시한다.
도 2d는 또 다른 실시예에 따라 도 2a의 배경 이미지 상에서의 화상 스트림의 합성을 도시한다.
도 3a는 다양한 실시예에 사용하는 또 다른 배경 이미지를 도시한다.
도 3b는 일 실시예에 따른 도 3a의 배경 이미지 상에서의 화상 스트림의 합성을 도시한다.
도 4a-4c는 일 실시예에 따른 화상 스트림의 교정과 배경 상에서의 교정된 화상 스트림의 합성을 도시한다.
도 5a-5d는 또 다른 실시예에 따른 화상 스트림의 교정과 배경 상에서의 교정된 화상 스트림의 합성을 도시한다.
도 6a-6c는 다양한 실시예에 따른 배경 이미지 상에 합성된 부가적 화상 스트림의 예를 도시한다.
도 7은 일 실시예에 따른 화상 회의 방법의 흐름도이다.
도 8은 일 실시예에 따른 화상 회의 시스템의 블록도이다.
본 발명의 다양한 실시예를 설명하기 위해 본 설명 내에 다양한 용어가 사용된다. 이 용어의 의미를 명확히 하기 위해서, 다음의 정의가 제공되었으며, 본 명세서 내에 사용될 때에 다음의 정의는 확장된다.
"엔드포인트"는 임의의 화상 회의 장소(videoconferencing location)로 정의되며, 본 명세서에서는 이벤트의 참가자일 수 있다.
"이벤트(event)"는 시스템에 정보를 교환하기 위한 기본 틀(framework)을 제공하는 임의의 할당된 시간 및 가상 모임 장소를 포함하는 것으로 넓게 이해되는 것을 의미한다. 이벤트는 적어도 하나의 노드가 매체 정보를 송신하고 수신할 수 있게 한다. 예시적 일 실시예에 따르면, 이벤트는 공동 작업에 참여하는 모든 노드로부터 독립해서 별개로 존재한다. 또한 이벤트는 노드가 정보를 교환하는 중에 존재할 수 있으며, 또한 어떤 노드도 참여하지 않는 중에도 존재할 수 있다.
"모임 토폴로지(meeting topology)"는 논리적, 단일화된 가상 공간 내에 서비스를 통해 결합된 모임 참석자/위치의 특정 배열이다. 참가자의 상대적 위치 및 공간적 관계(방/테이블 형태 및 그 내의 위치), 공통 모임 배경 요소(테이블, 벽 등), 명목상의 뷰 거리(nominal view distances) 및 뷰 각도는 모두 이러한 배열에 의존적이다. 예컨대, 원형의 테이블 배열의 결합 가상 공간(도 1 참조)을 형성하기 위해 제 1 위치는 제 2 위치의 우측에, "제 3 위치의 좌측에, 제 4 위치로부터 직접 가로질러(directly across)"놓일 수 있다. 위치는 모임 엔드포인트 또는 모임 엔드포인트의 서브-셋일 수 있다.
"가상 모임 레이아웃 서비스(virtual meeting layout service)"는 모임 및 모임으로의 변경을 형성하고 실행하는 컴퓨터 실행 프로세스의 상술한 토폴로지 형성을 실행하는 네트워크 상에 제공되는 중앙 소프트웨어 서비스이다.
"다중포인트 화상 모임(multipoint video meeting)"은 3개 이상의 위치가 하나의 모임에 연결된 화상 회의 모임이다.
"소스-측 합성(Source-side compositing)"은 모임 토폴로지에 대한 규칙을 통해서 결정된 엔드포인트 위치의 적절한 뷰를 제공하도록 출력 화상 스트림을 갖는 엔드포인트로부터 형성되어 제공되는, 카메라-측으로부터의 화상 이미지 조합 및 조작을 의미한다.
"수신-측 합성(Receive-side compositing)"은 모임 토폴로지에 대한 규직을 통해서 결정된 입력 스트림의 특정 뷰를 제공하도록 수신 엔드포인트에서 생성되는 화상 이미지 조합 및 조작을 의미한다.
"모임 배경(meeting background)"은 함축된(implied) 모임 토폴로지에 화상 참가자를 지각적으로(to perceptually) 고정하는데 사용되는, 객체 또는 공간 참조에 근거한 요소 또는 시각적 요소의 조합이다.
"가상 공동 작업(Virtual Collaboration)"은 모임의 적어도 몇몇의 참가자가 원격지에 있고, 네트워크를 통해 화상 및 음성 매체 스트림을 통해 상호 연결된 모임으로 정의된다.
"혼합 공간(Blended Space)"은 눈 맞춤(eye contact) 및 지향 시선 인지(directional gaze awareness)와 같은 자연적 공동 작업 큐(natural collaboration cues)를 유지하는 공동 작업 이벤트에 대한 기하학적으로 일치된 공유 공간(geometrically consistent shared space)을 형성하기 위해 하나의 세트의 출석자의 로컬 물리적 환경을 둘 이상의 원격 환경으로부터 전송되는 다른 세트의 출석자의 각각의 외견상(apparent) 공간과 결합하는 것으로 정의된다. 즉, 다른 출석자의 원격 환경은 로컬 물리적 환경에 기하학적으로 일치하는 방식으로 로컬 출석자의 로컬 물리적 환경 내에 표시된다. 기하학적 일치를 유지함으로써, 결과의 혼합 공간은 자연적으로 그리고 원격 환경이 그들 자신의 혼합 환경과 유사하게 확장되는 방식과 일치되도록 로컬 물리적 환경을 확장한다. 이러한 방식으로, 각각의 세트의 출석자에 대한 각각의 혼합 공간은 충분한 눈 맞춤 및 다른 이벤트 출석자가 보는 곳의 충분한 지향 인식(예컨대, 시선 인식(gaze awareness))과 같은 자연적 공동 작업 큐를 경험한다. 따라서, 각각의 혼합 공간은 로컬 또는 원격에 위치하는 모든 세트의 출석자에 대해 충분히 유사한 분명한 공유 공간 및 모든 세트의 출석자에게, 차원의 일치를 제공한다.
"중앙 관리 시스템(central management system)"은 임의 개수의 하드웨어, 소프트웨어, 펌웨어 구성 요소(components), 또는 이들의 임의 조합을 포함하는 호스트 컴퓨터로 정의된다. 본 명세서에서 사용되는 바와 같이, 중앙 관리 시스템은, 이에 한정되지 않으나, 서버, 퍼스널 컴퓨터, 개인 휴대 정보 단말기(personal digital assistants), 또는 예를 들면, 코드, 스위치 및 라우터와 같은 장치를 포함하는 임의의 다른 프로세서를 포함하는 하나 이상의 컴퓨팅 장치의 일부이거나 이들에 의해 호스팅(hosted)될 수 있다. 중앙 관리 시스템의 다양한 서브시스템 및 모듈은 상이한 기능 또는 역할을 수행하며 서로 단일 유닛, 프로그램 장치 또는 시스템으로 남아있을 수 있다.
"로컬 관리 시스템(local management system)"은 임의 개수의 하드웨어, 소프트웨어, 펌웨어 구성 요소 또는 이들의 임의의 조합을 포함하는 클라이언트 컴퓨터로서 정의된 바와 같이 정의된다. 본 명세서에서 사용된 바와 같이, 로컬 관리 시스템은 이에 한정되지 않으나, 서버, 퍼스널 컴퓨터, 개인 휴대 정보 단말기(personal digital assistants), 또는 예를 들면, 코드, 스위치 및 라우터와 같은 장치를 포함하는 임의의 다른 프로세서를 포함하는 하나 이상의 컴퓨팅 장치의 일부이거나 이들에 의해 호스팅(hosted)될 수 있다. 로컬 관리 시스템의 다양한 서브시스템 및 모듈은 상이한 기능 또는 역할을 수행하며 서로 단일 유닛, 프로그램 장치 또는 시스템으로 남아있을 수 있다.
"공통 레이아웃(common layout)"은 연결된 화상 회의 엔드포인트간에 공유되는, 그 토폴로지에 의해 정의되는, 모임 참가자의 공간 배열이다. 이 공통 배열은 모임 방(meeting room), 강당(auditorium), 회의 공간 등과 유사한 모임 공간 "주제(themes)"로 생각될 수 있다.
"로컬 레이아웃(local layout)"은 공통 레이아웃 및 모임 토폴로지 내의 그들 위치에 대해 적절한 그들의 원근에서의, 임의 위치가 화상 회의실을 구비할 특정 뷰이다.
"이벤트 관리 클라이언트(event management client)"는 이벤트 관리 요청의 발생기이다. 이것은 사용자 인터페이스를 갖는 것과 같은 인간 구동형 이벤트(human driven event)이거나 사용자 인터페이스 또는 이벤트 관리 어플리케이션을 구동하는 안내 시스템(concierge system)과 같은, 다른 호스트 또는 클라이언트로부터의 기계 요청일 수 있다. 다양한 엔드포인트에서의 호스트 또는 클라이언트는 이벤트에서의 그들의 참여 방식을 변경할 수 있다. 따라서, 인간 또는 기계 구동의 "이벤트 관리 클라이언트"는 가상 공동 작업 이벤트에서의 이벤트의 개시 및/또는 업데이트의 요청을 고려한다.
직접적인 공동 작업 모임(in-person collaborative meetings)은 전형적으로 모임의 타입에 대해 적절한 몇몇 종류의 환경 내에서 발생한다. 환경은 가상 모임 공간을 형성하는 다양한 엔드포인트에 의해 수행되는 공통 레이아웃 주제를 정의하는 모임 토폴로지에 의해 설명된다. 소규모 모임은 소형 테이블 주위의 간단한 방 내에서 가상될 수 있으며, 보다 큰 정식의 모임은 회의실 내에서 가상될 수 있다. 청중에 대한 프리젠테이션은 강당 내에서 가상화 될 수 있다. 이 환경은 참가자가 가상 모임 공간 내에서 참가자인 다른 사람을 볼 수 있게 하는 연속적인 기하하적인 일치 공간(consistent space)을 제공함으로 중요하다. 이러한 모임 토폴로지에서, 참가자가 모임 토폴로지의 기하학적 일치를 보존하는 서로에 대한 및 그들에 대한 다른 사람의 위치를 볼 수 있다. 또한, 이들은 또한 이 환경 내에서 객체를 볼 수 있다. 이러한 간단한 활동은 사회적 비 대화적 통신 및 서로를 모이게 하는 주된 이유인 다른 사람과의 근사성의 감지를 가능하게 한다. 이러한 관계는 예를 들면, 충분한 회의실(full conference room), 모듈 시스템(modular system) 또는 퍼스널 터미널인 각각의 로컬 이벤트 환경에 관계없이 유지되는 것이 바람직하다.
예컨대, 한 사람은 다른 사람이 어디에 있으며, 이들이 누구를 보고 있는지를 알 필요가 있다. 한 사람은 정확한 크기 및 형태의 다른 사람을 인식(see)하고, 환경 내에서 이들이 관련되어 질 수 있는 객체가 무엇인지를 검색할 필요가 있다. 모임의 참가자가 원격에 위치하는 종래의 가상 공동 작업에서는, 몇몇 사람이 다른 사람을 이해하는 방법인 중요한 비 대화적 요소가 일반적으로 사용가능하지 않다. 종래의 멀티포인트(multipoint) 화상 회의에 의해, 한 그룹의 화상 윈도우가 데이터 형태(data-like)의 디스플레이 상에 위치한다. 즉, 참가자는 디스플레이 상의 별개의 화상 윈도우에 거주하는 것으로 보이며, 하나의 기하학적 일치 환경으로 통합되지 않는다. 이 개별의 화상 윈도우 디스플레이는, 한 사람이 모임 그룹 내 상이한 참가자에게 다른 참가자의 얼굴 표정이 향해진 경우에 다른 참가자의 얼굴 표정을 정확히 해석할 수 없다는 것을 의미한다. 한 사람은 이들을 볼 수 있지만 다른 참가자가 누구를 보고 있는지를 확신할 수 없다. 모임 내의 다른 참가자는 전형적으로 특정 화상 윈도우가 데이터-형태 디스플레이 상의 어디에 위치하는냐에 따라 각각, 상이한 크기 및 배율로 그리고 상이한 높이 및 위치로 디스플레이된다. 이러한 인위적으로 분할된(segmented) 화상 윈도우는 모임 참가자들 간에 분리감(feeling of separateness)을 강화시키며, 이에 따라 참가자들이 모이는 기하학적으로 일치된 공유 또는 "혼합(blended)" 공간의 감정을 생성하지 않는다.
다양한 실시예에 대해, 모임 공간은 배경 이미지의 수단에 의해 부분적으로 정의된다. 이 배경은 모임 환경에 대해 공통인 테이블 또는 스테이지와 같은 객체를 포함할 수 있다. 배경 이미지는 또한 조명, 의자, 벽, 및 (이름, 공동 작업 데이터 및 장소, 현재 시각과 같은) 정보에 대한 장소와 같은 디스플레이되는 아이템 및 정보를 더 구비한다. 이 배경 이미지는 예컨대, 고정 세트의 이미지 데이터와 같이 화소에 의해 정의되거나, 예컨대, 크기, 장소, 컬러, 명암 등에 의해 요소를 정의하는 것과 같이 논리적으로 정의될 수 있다. 네트워크로부터의 화상 스트림은 로컬 사이트로 배송되며, 이 모임 토폴로지 환경 내에 적절히 합성된다. 또한, 화상 스트림은 호스트 사이트에서 전부 또는 부분적으로 합성되고, 이후 더 합성되거나 뷰잉을 위해(for viewing) 직접적으로 디스플레이된다. 본 명세서에서 설명된 방법은 이 가상 모임 공간 내의 정보 및 다양한 화상 스트림 내의 정보 간의 조정(coordination)을 포함한다. 예컨대, 모임이 테이블 주위에 있다면, 모임 공간은 배경 이미지 내 테이블을 보일 수 있으며, 화상 스트림은 또한 배경 테이블을 정렬하기 위해서 적절한 크기의 테이블 섹션(section)을 가질 것이다. 몇몇 경우에, 원격 화상 스트림은 모임 토폴로지 요구 조건을 충족하는 유효 스트림을 생성하는데 어려움을 가질 수 있다. 본 명세서에 설명된 방법은 필요한 적절한 구조가 부족한 이러한 화상 스트림에 "정보 부가(adding information)" 또는 "정보 소거(removing information)"를 더 제공할 수 있다.
다양한 실시예에서, 화상 스트림 내의 정보는 사회적 "비-대화적 통신"을 유지하는 강한 멀티포인트 화상 모임 환경(compelling multipoint video meeting environment)을 생성하도록 "가상 모임 레이아웃 서비스(virtual meeting layout service)"를 통해 조정된다. 모임 공간을 조정하는 방법은 소스-측 엔드포인트 및/또는 수신-측 엔드포인트에서의 적절한 정보를 합성하는 규직을 통해 확립(established)될 수 있다.
대부분의 종래의 멀티포인트 화상 회의 어플리케이션은 참가자의 디스플레이 화상을 디스플레이 상의 다른 것들 중의 데스크탑 윈도우로서 분리한다. 이러한 참가자 윈도우는 몇몇의 비조정의 또는 기설정된 방식으로 배열되나, 이 화상을 기하학적 일치 환경 데이크탑 이미지 주제(theme)로 혼합하고자 하는 노력이 행해지지 않고 있었다.
예컨대, 종래의 화상 회의 어플리케이션은 다양한 타입의 정보에 대한 데스크탑 상의 윈도우의 배열을 생성할 수 있다. 예컨대, 단일 참가자의 화상 스트림은 화상 디스플레이의 상부 좌측의 단일 윈도우 내에 디스플레이될 수 있다. 하나의 방으로부터의 파노라마 이미지가 화상 디스플레이의 하단 등의 다른 윈도우에서 디스플레이될 수 있다. 따라서, 상이한 장소로부터의 화상 스트림은 별개로 디스플레이된다.
다른 실시예에서, 다른 종래의 화상 회의 어플리케이션은 멀티포인트 화상 스트림을 배열하는 원근 방법을 생성할 수 있다. 데스크탑은 화상이 곡선(curved) 또는 면체(faceted) 공간의 일부라는 환영(illusion)을 형성하도록 화상 스트림이 원근법(in perspective)에 따라 도시된 윈도우 내에 위치하는 흑 배경 내에 형성된다. 그러나, 이러한 원근 방법은 몇몇 문제를 해결할 수 없다. 이 방법은 화상의 크기 및 데스크탑의 상대적 차원 간에 관련이 없다. 화상 윈도우는 스트림의 컨텐츠에 대한 적절한 크기 보다는 일반적인 크기로 디스플레이된다. 이러한 원근 방법은 하나의 배경을 가져 모임 타입에 따른 배경을 변경할 수 없다. 배경 및 배열이 모든 모임에서 동일하며, 참가자의 위치의 조정(coodination)이 없어, 그룹 내의 개인의 상대적 위치는 모든 참가자에 전체에 걸쳐 유지되지 않는다. 따라서, 이들은 기하학적으로 일치하지 않으며 이들은 공통 혼합 공간을 공유하지 않는다.
본 명세서에 설명된 장치 및 방법은, 테이블과 같은 다른 엔드포인트 및 모임 요소로부터의 다른 화상 스트림에 대한 비율(sclale), 모양, 위치를 보존하는 방식으로 이들 배경 상의 참가자 화상 스트림의 혼합을 통해 참가자의 특정 모임 타입 그리고 기하학적 및 상대적 위치에 대해 조정된 적절한 모임 배경을 형성함으로서 이들 기존 시스템으로 문제를 해결한다.
모임 토폴로지는 가상 모임 내 다양한 엔드포인트 중에 계속적으로 공유되는 환경에 대한 공통 레이아웃을 갖는 기하학적으로 일치하는 참가자 위치에 의해 정의된다. 이 공통 레이아웃은 레이아웃 내의 좌석 위치 및 엔트포인트의 상대적 방위(orientation)를 포함한다. 이 공통 레이아웃은 도 1a-1c 내에 도시된 바와 같이 명시적 맵(explicit map)으로서 설명될 수 있다. 또한, 공통 레이아웃은 본 명세서에서 참조로서 포함된 "Blended Space for Aligning Video Streams" 이란 명칭의 2006년 11월 13일 출원된, 미국 특허출원 11/559348에 공통적으로 기재(assigned)된 것과 같은 수학적 관계에 의해 정의될 수 있다. 도 1a는 테이블(100) 주위의 상대적 위치를 할당하는, 엔드포인트의 원형의 레이아웃을 도시한다. 이러한 공통 레이아웃에서, 엔드포인트(101)는 그 좌측 상에 엔드포인트(102)를, 바로 관통하여 엔드포인트(103)를 그리고 그 우측 상에 엔드포인트(104)를 가질 수 있다. 공통 레이아웃과 일치하여, 엔드포인트(101)는 이후 좌측에서 우측으로 엔드포인트(102),(103) 및 (104)로부터의 이미지를 디스플레이할 수 있다. 레이아웃은 다양한 엔드포인트의 실질적 물리적 위치에 의해 제한되지 않지만, 가상 모임 공간 내의 이들의 상대적 위치에 관련된다는 것을 알아야 한다. 유사하게, 엔드포인트(102)는 좌측에서 우측으로 엔드포인트(103),(104) 및 (101)로부터의 이미지를 디스플레이할 수 있으며, 나머지 엔드포인트에 대해서도 동일하게 한다. 이러한 모임 타입에 대해 각 엔드포인트가 본 명세서에서 보다 상세히 설명되는 바와 같이, 테이블을 도시하는 배경 상에 합성된 다른 엔드포인트로부터의 이미지를 디스플레이할 수 있다.
도 1b는 강당 내의 좌석이 위치된 바와 같은, 상대적 위치를 할당하는, 엔드포인트의 강당 공통 레이아웃을 도시한다. 이러한 공통 레이아웃에서, "교사(instructor)" 엔드포인트(101)는 강당의 스타디움 좌석(stadium seating)을 도시하는 배경 상에 합성되는 모든 잔여 엔드포인트(102-113)로부터의 이미지를 디스플레이할 수 있으나, 각각의 "학생" 엔드포인트(102-113)는 무대를 도시하는 배경 상에 합성된 엔드포인트(101)로부터의 이미지만을 디스플레이할 수 있다. 강당을 도시하는 배경은 기하학적인 일치를 갖는 깊이의 상태(appearance of depth)를 제공하도록 도시될 수 있으며, 이에 따라 강당의 뒤를 향한 엔드 포인트 예컨대, (109-113)는 강당의 앞을 향한 엔드포인트 예컨대, (102-104)보다 작은 비율을 사용한다.
도 1c는 두 개의 테이블(100)을 포함하는 교실 세팅(setting)에 좌석이 위치하는 바와 같이, 상대적 위치를 할당하는, 엔드포인트의 교실 공통 레이아웃을 도시한다. 이 예시의 공통 레이아웃에서, "교사" 엔드포인트(101)는 참가자 좌석을 위한 두 개의 테이블을 도시하는 배경 상에 합성된 모든 잔여 엔드포인트(102-109)로부터의 이미지를 디스플레이할 수 있다. 이 배경은 또한 기하학적 일치를 갖고 원근법으로 도시될 수 있으며, 이에 따라 후측의 테이블은 보다 적게 보일 수 있다. 참가자 위치의 물리적 방위를 가장하는 다른 공통의 레이아웃이 사용될 수 있으며, 본 개시는 임의의 특정 레이아웃에 의해 한정되지 않는다. 공통 레이아웃은 예컨대, 호스트 서버 상의 호스팅 서비스에 의해 유지되는 단일의 정의(single definition)일 수 있으며, 예컨대, 피어 투 피어(peer-to-peer) 네트워크 내에 접속된 상이한 엔드포인트에서 클라이언트 멤버에 의해 유지되는 동일한 전체 공동 모임 토폴로지 정의를 갖는 둘 이상의 관련 레이아웃일 수 있음이 알려져 있다.
엔드포인트의 개수 및 선택된 모임 타입에 관계없이, 다양한 실시예는 각각의 엔드포인트에 대해 공통인 모임 토폴로지의 공통 레이아웃을 사용한다. 이 공통 레이아웃은 각각의 엔드포인트 및 전체 가상 모임 공간을 구축하기 위해서 모임 토폴로지에 따른 각각의 엔드 포인트에 사용되는 각각의 배경 이미지에 대한 합성 이미지 내 참가자의 상대적 위치 및 화상 스트림 각각의 기하학적 배열을 정의할 것이다. 그러나, 상술한 바와 같이 예컨대, 강당 모임 타입에 관하여, 배경 이미지는 각각의 엔드포인트에 대해 동일할 필요가 없지만, 모임 토폴로지 내 공통 레이아웃에 따라 각각의 엔드포인트에 대해 단지 정의될 뿐이다.
일시예에 대해, 공통 레이이웃은 엔드포인트 중에서 화상 회의를 조정하는 중앙 관리 시스템 예컨대, 호스팅 서비스에서 정의된다. 각각의 엔드포인트의 로컬 관리 시스템은 적어도 a) 어떤 타입의 모임이 열리고 있고, b) 이 로컬 엔드포인트에 어떤 화상 스트림이 필요하며, c) 원격 엔드포인트에 어떤 화상 스트림이 수신될 것이며, d) 어떤 배경이 사용될지를 판정하도록 중앙 관리 시스템과 조정한다. 이 배경 이미지는 조명, 테이블, 의자, 벽 및, 이름, 공동 작업 데이터 및 장소, 현재 시간(and time-of- day)과 같은 정보를 위한 장소와 같이 디스플레이되는 아이템 및 정보를 구비할 수 있다. 이와 같이, 각각의 배경 이미지는 각각의 엔드포인트에 대해 상이할 수 있으나, 모임 토폴리지 내 공통 레이아웃에 대해 일치되게 유지된다. 다른 실시예에서, 엔드포인트 중의 하나는 화상 소스 및 엔드포인트 클라이언트 외에 중앙 관리 시스템의 기능을 포함한다.
일시예에에 대해, 로컬 클라이어트 엔드포인트는 모임 토폴로지의 공통 레이아웃에 의해 구축되는 기하하적 및 컨텐츠 규칙에 일치하는 화상 스트림(소스측 합성)을 제공한다. 예컨대, 기하학적 규칙은 이에 한정되지 않지만 캡쳐(capture), 줌 확대, 카메라 각도 및 화상 비율(aspect ratio)의 분야를 포함한다. 컨텐츠 규칙은 공통 레이아웃에 의해 구축되는 모임 토폴로지에 대해 적당한 컬러의 배경, 테이블 및 의자와 같은 아이템을 처리하는 규칙을 포함할 수 있다. 또한, 수신-측 합성에서, 화상 스트림은 공통 레이아웃의 규칙에 부합하도록 원격 수신 엔드포인트 또는 중앙 관리 시스템에 의해 편집될 수 있다.
로컬 클라이언트 엔드포인트가, 그의 카메라에 캡쳐된 이미지에서 모임 토폴로지 규칙에 대한 유효 스트림을 직접적으로 생성할 수 없는 경우에, 로컬 클라이언트 엔드포인트는 또한 화상 스트림을 편집하는 기회를 가질 수 있다. 이 화상 스트림 편집은 배경의 부가 가능성을 포함하여, 필요한 이미지 치수(dimensions)에 대한 크기 조종(scaling), 불필요한 요소를 제거하는 크로핑(cropping), 또는 필요한 치수(dimensions)로 이미지를 채우기 위한 패딩(padding)을 포함할 수 있다.
참가 엔드포인트로부터의 모임 토폴로지 규칙에 대한 필요한 화상 스트림의 생성 후에, 각각의 로컬 엔드포인트의 화상 스트림은 모임 토폴로지 규칙에 맞는 필요 화상 스트림에 대한 각각의 모임 공간 배경 상에서 합성된다. 모임 공간 배경은 이미지 사이의 갭을 적절한 구조로 채우며, 모임 공간에 대한 환경(context)을 형성한다.
몇몇 실시예에 대해, 로컬 엔드포인트에 대한 캡쳐의 필드 즉, 캡쳐된 이미지의 지오메트리(geometry)는 모임 토폴로지 규칙 내의 공통 레이아웃에 의해 정의된다. 예컨대, 공통 레이아웃은 각각의 로컬 엔드포인트가 이미지 내에 4개의 좌석 위치를 배치하도록 캡쳐의 필드를 구비함을 정의할 수 있다. 캡쳐의 표준 필드에서의 화상 스트림의 형성은 카메라 상의 팬-틸트-줌 포커스 제어(Pan-Tilt-Zoom-Focus controls)를 통해 물리적으로 또는 디지털 크로핑을 통하여 디지털적으로 또는 보다 큰 이미지로부터의 다른 조작을 통하여 수행될 수 있다. 다수의 필드가 단일 로컬 공간 엔드포인트에서 캡쳐될 수 있으며, 공통 레이아웃 내의 별개의 모듈로서 사용될 수 있다. 공통 레이아웃은 다수 필드를 갖는 로컬 엔드포인트를, 예컨대, 모임 토폴로지 내 별개의 로컬 엔드포인트로서 이들을 처리함으로써 설명할 수 있다.
가상 화상 회의에 참여하는 각각의 로컬 엔드 포인트는 그 자신의 이벤트 뷰를 가질 수 있다. 몇몇 실시예에 대해, 각각의 로컬 엔드포인트는 모임 토폴로지 내의 공통 레이아웃 내에 정의되는 로컬 엔드포인트의 위치에 대응하는 상이한 뷰 예컨대, 로컬 레이아웃을 갖게될 것이다.
로컬 레이아웃은 이러한 규칙에 따르는 화상 스트림을 디스플레이하는 위치를 구축하는 시스템이다. 다음의 다양한 실시예는 원형 테이블 주위의 모임 공간의 예를 사용하여 설명될 것이다. 강당 또는 교실과 같은 다른 모임 공간 지오메트리리(geometries)로의 확장은 이 예로부터 분명할 것이다.
도 2a는 원형 테이블 모임 토폴로지의 다양한 실시예에 사용하는 예시적 배경 이미지(204)를 도시한다. 배경 이미지(204)는 백드롭(backdrop)(203)의 배경 내에 테이블 이미지(202)를 포함한다. 배경 이미지(204)는 예컨대, 도 1a의 공통 레이아웃에 대응하는 가상 모임 공간을 도시하는데 사용될 수 있다. 도 2a에 도시된 바와 같이 테이블 이미지(202)는 원근법에 의해 테이블 상부의 추상적 표현이다. 그러나, 테이블 이미지(202)는 예컨대, 다리, 질감(texture), 컬러 등을 구현하는 보다 사실적인 모양을 취할 수 있다. 유사하게 백드롭(203)은 또한 창문, 문, 의자, 벽 솔기(wall seams) 등과 같은, 다른 건축 요소를 구현함으로써, 보다 사실적인 모양을 또한 취할 수 있다.
도 2b는 도 2a의 배경 이미지 내에 합성하는 하나 이상의 엔드포인트로부터 수신되는 화상 스트림(206a-206c)을 도시한다. 예컨대, 화상 스트림(206a-206c)은 도 1a의 엔드포인트(102),(103) 및 (104)와 같은, 3개의 엔드포인트로부터 수신될 수 있다. 또한, 화상 스트림(206a-206c)은 동일 엔드포인트의 3개의 상이한 뷰를 캡쳐하도록 3개의 카메라를 갖는 단일 엔드포인트로부터 수신될 수 있다. 각각의 화상 스트림(206)은 공통 레이아웃의 기하학적 규칙 예컨대, 본 예에서의 도 1a의 공통 레이아웃 원형 테이블 모임 토폴로지에 부합하도록 캡쳐되거나 편집된다. 공통 레이아웃의 규칙에 부합하도록 화상 스트림의 포스트 캡쳐 편집(post- capture editing)을 사용하는 다양한 실시예에 대해, 화상 스트림(206)은 중앙 관리 시스템 또는 수신 엔드포인트에 의해, 소스 엔드포인트에서 편집될 수 있다. 예시적 실시예에 대해, 공통 레이아웃은 몇몇 예로서, 각 스트림 내의 테이블(200)의 에지의 위치, 공통 레이아웃의 화상 비, 원근, 회전, 화상 스트림(206)의 확대와 같은 기하학적 규칙을 정의할 수 있다. 공통 레이아웃은 예컨대, 테이블 이미지(202)의 컬러에 대응하는 테이블(200)의 컬러 및 배경 이미지(204)의 백드롭(203)의 컬러에 대응하는 백드롭(201)의 컬러와 같은, 미학적 컨텐츠 규칙(aesthetic content rules)을 더 정의할 수 있다.
도 2c는 배경 이미지(204) 상의 화상 스트림(206a-206c)의 합성을 도시한다. 도 2c에 도시된 바와 같이, 각 화상 스트림(206) 내의 위치가 공통 레이아웃 의해 정의되는 테이블(200)의 에지는, 화상 스트림(206)의 참가자가 단일 테이블에 좌석이 위치하는 인상을 제공하기 위하여, 즉, 합성 배경 이미지를 뷰잉하는 로컬 엔드포인트의 참가자는, 원격 참가자가 로컬 참가자로부터의 테이블 건너의 좌석에 위치한 것으로 인식하도록 테이블 이미지(202)의 에지에 맞추어 정렬하도록 위치된다. 배경 이미지(204)의 지오메트리를 정의함으로써, 수신 화상 스트림(206)의 필요 지오메트리는 배경 이미지(204) 내의 그들의 위치에 의해 정의된다. 예컨대, 테이블 이미지(202)의 지오메트리를 인지함으로써, 그 참석자가 테이블 이미지(202)의 뒤에 좌석이 위치하는 것으로 나타내도록 합성되는 임의의 화상 스트림(206)의 지오메트리는, 테이블(200)의 에지가 테이블 이미지(202)의 에지에 적절히 맞추어 정렬되도록 정의될 수 있다.
도 2b의 화상 스트림은 도 2c의 합성 배경 이미지 내 이들의 배치에 따른 상이한 지오메트리를 갖는 것으로 도시되었으나, 각각의 수신 엔드포인트에 대한 엔드포인트의 상대적 위치를 유지하기 위하여 각각의 엔드포인트로부터의 다수 화상 스트림의 형성을 포함할 수 있다. 예컨대, 도 1a의 공통 레이아웃을 참조하면, 엔드포인트(102)로부터의 화상 스트림은 엔드포인트(101)로부터 뷰잉된 경우 화상 스트림(206a)의 지오메트리를 가질 수 있으며, 엔드포인트(104)로부터 뷰잉된 경우에 화상 스트림(206b)의 지오메트리를 가질 수 있으며, 엔드포인트(103)으로부터 뷰잉된 경우에 화상 스트림(206c)의 지오메트리를 가질 수 있다. 이 합성 이미지는 적절한 화상 스트림 지오메트리를 캡쳐하도록 구성된 다수의 카메라를 사용하여 또는 단일 화상 스트림의 비-직사각형 크로핑(non-rectangular cropping)을 통해 이루어질 수 있으나, 화상 스트림의 테이블(200)의 에지를 테이블 이미지(202)의 에지에 맞추어 정렬하도록 원근법적으로 화상 스트림(206)을 디스플레이하는 다른 방법이 있을 수 있다. 도 2d는 화상 스트림(206a-206c) 각각이 단일 지오메트리 예컨대, 화상 스트림(206b)의 지오메트리에 일치하나, 화상 스트림(206a)(206c)은 이들 테이블(200)의 에지를 테이블 이미지(202)의 에지에 맞추어 정렬하도록 원근법적으로 디스플레이되는 합성 배경 이미지를 도시한다.
테이블(200)의 에지는 도 2c 또는 2d의 테이블 이미지(202)의 에지에 실질적으로 맞추어 정렬되나, 절대적 정렬 조건(requirement of absolute alignment)은 없음을 알아야 한다. 의도는 단지 단일 모임 공간의 인지를 용이하게 하는 것이다. 절대 정렬로부터의 임의의 이탈(distraction)을 감소하기 위해, 테이블 이미지(202)의 에지는 규칙으로서 부드럽게(softened) 될 수 있다. 도 3a는 부드럽게 된 에지를 갖는 테이블 이미지(202)를 나타내는 배경 이미지(204)를 도시한다. 배경 이미지(204)는 배경 이미지(204)의 상부 및 하부 부분 각각에 요소(208),(210)를 더 포함한다. 규칙으로서 보다 어두운 것에서 보다 밝은 것으로 페이딩(fade)하도록 도시된 요소(208) 및 (210)은 엔드포인트의 화상 스트림에 대한 주의점에 집중할 수 있다. 도 3b는 도 3a의 배경 이미지(204) 상에 합성된 화상 스트림(206a-206c)를 도시한다.
도 2c, 2d 및 3b는 동일 이미지 치수를 갖는 화상 스트림(206)을 도시하나, 몇몇 엔드포인트로부터 캡쳐된 화상 스트림은 정확한 치수를 제공할 수 없거나, 화상 스트림의 컨텐츠 내에 비바람직한 요소가 포함될 수 있다. 도 4a는 일 실시예에 따라 배경 이미지 내에 합성하는 하나 이상의 엔드포인트로부터 수신되는 화상 스트림(206a-206c)을 도시한다. 도 4a에 도시된 화상 스트림(206b)은 단지 두 명의 참가자만 갖는 것으로 도시되었으며, 이미지 내의 빈 의자를 비바람직한 상태로 한다. 화상 스트림(206a-206c)은 그들 이미지 내에 벽 솔기(wall seams)(212)를 포함하도록 또한 도시되었다. 화상 스트림(206b)로부터 빈의자를 제거하기 위해, 이미지는 점선(214)으로 도시된 바와 같이 크로핑될 수 있다. 화상 스트림(206b)의 크로핑은 도 4b에 도시된 바와 같이 화상 스트림(206b1)을 생성할 수 있다. 본 예에서 화상 스트림(206b)의 크로핑은 빈의자를 제거할 뿐 아니라 벽 솔기(212)도 제거함을 알아야 한다. 화상 스트림(206b1)은 필요한 치수의 이미지를 생성할 수 없는 엔드포인트의 화상 스트림을 또한 나타낼 수 있음을 알 것이다. 예컨대, 네 명의 참가자 대신에 두 명의 참가자를 위해 구성된 엔드포인트에 대해, 그 캡쳐의 필드는 네 명의 참가자에 대해 구성된 엔드포인트의 캡쳐의 필드와 동일한 크기로, 그 두 명의 참가자를 캡쳐하는데 충분하도록 확장되지 않을 수 있다.
도 4b의 화상 스트림(206a)(206b) 및 (206c)은 도 4c에 도시된 바와 같이, 있는 그대로(as-is) 배경 이미지(204) 상에 합성될 수 있다. 도 4c에 도시된 바와 같이, 배경 요소(208)는 화상 스트림(206a) 및 (206c)의 벽 솔기(212)에 맞추어 정렬된 에지(216)를 갖는다. 이러한 정렬은 합성된 이미지를 통하여 이 건축학적 구조물(architectural artifact) 즉, 벽 솔기(212)의 느낌을 전한다. 그러나 화상 스트림(206b1)은 그 엔드포인트로부터의 벽 솔기(212)의 캡쳐가 필요(lack)하다. 이 벽 솔기가 필요하다면, 크로핑된 화상 스트림으로부터 필요한 요소를 가산하거나, 필요한 것보다 기하학적으로 적은 화상 스트림으로 필요한 요소를 간단히 교체하는데 매팅(matting) 또는 다른 조작이 채용될 수 있다.
도 5a는 공통 레이아웃 예컨대, 본 예에서 도 1a의 공통 레이아웃에 의하여 정의되는 필요한 지오메트리를 갖는 매트(mat)(218)를 도시한다. 매트(218)는 또한 벽 솔기 이미지(220) 및 테이블 이미지(222)를 구현한다. 매트(218)는 정정될 화상 스트림보다 시각적으로 보다 더 중요하게 하고 시청자의 주의를 딴 데로 돌리지 않도록 어둡게 되거나 흐릿하게 될 수 있다(도 5에는 도시되어 있지 않지만, 도 3b의 관련한 설명을 참조하라). 도 5b는, 화상스트림(206b1)이, 화상 스트림을 생성하는 엔드포인트에서의 매트(218) 상에서 합성되는 소스-측 합성 화상 스트림(206b)을 도시한다. 이러한 방식으로, 도 5c의 화상 스트림(206a),(206b) 및 (206c)는 연속적인 기하학적 공간의 인식(perception)을 제공한다. 도 5d는 배경 이미지(204) 상에 합성된 도 5c의 화상 스트림(206a),(206b) 및 (206c)를 나타내는 합성 이미지를 도시한다. 도 4c의 합성 이미지와는 달리, 각각의 화상 스트림(206)은 이제 배경 요소(208)의 에지(216)에 맞추어 정렬하면서, 화상 스트림(206a), (206c)의 벽 솔기(212) 및 화상 스트림(206b2)의 벽 솔기 이미지와 일치된 모양을 유지한다.
참가 엔드포인트로부터의 화상 스트림에 부가하여, 합성 이미지는 정보 요소 또는 정보를 식별하는 컨텐츠의 부가를 더 포함할 수 있다. 도 6a는, 하나의 테이블 이미지(202), 3 개의 화상 스트림(206a-206c) 및 하나의 화이트 보오드(white board)(224)(이 모두가 하나의 합성 이미지 내에 합성됨)를 포함하는 배경 이미지(204)의 일예를 도시한다. 도 6b는 화이트 보오드(224)가 원격 참가자를 도시하는 화상 스트림(206)과 동일 공간 내에 위치하는 또 다른 실시예를 도시한다. 도 6c는 각각의 화상 스트림(206a-206c)에 각각 대응하는 시작 위치(originating location)를 식별하도록 합성 이미지 내에 포함되는 식별 정보(226a-226c)의 일예를 도시한다. 선택적으로, 식별 정보(226a-226c)는 화상 회의에 참가하는 부서(departments), 팀 및 회사를 식별하는데 사용될 수 있다. 정보 요소 또는 식별 정보의 다른 예는 화상 회의에 포함되는 자에게 명백할 것이다.
도 7은 일 실시예에 따른 화상 회의 방법의 흐름도이다.
(770)에서, 모임 토포롤지에 대한 공통 레이아웃은 선택된 모임 타임에 대응하는 화상 회의의 사용자에 대하여 정의된다. 공통 레이아웃은 모임 토롤로지 내의 그 위치에 대한 각각의 참가 엔드포인트 전체에 걸쳐 일치되며, 가상 모임 공간의 지오메트리를 정의한다. 그러나, 상술한 바와 같이, 예컨대, 도 1b 및 1c의 공통 레이아웃에 대해, 상이한 엔드포인트는 모임 공간 내에서 상이한 역할(role)을 갖는다.
(772)에서, 공통 레이아웃에 따르는 하나 이상의 배경 이미지가 정의된다. 각각의 참가 엔드포인트에 대한 배경 이미지는 이 참가 엔드포인트의 관점(a point of view)으로부터 선택적 모임 타입의 모임 공간의 뷰를 도시한다. 공통 레이아웃은, 일반적으로 공통 레이아웃의 지오메트리에 부합하는, 각각의 참가 엔트포인트에 대해 사용되는 배경 이미지의 타입을 정의한다. 다수의 배경 이미지는 상술한 바와 같이 각각의 공통 레이아웃에 대해 사용될 수 있다. 유사하게 배경 이미지는 각각의 엔트포인트에 대해 일치할 필요는 없으나, 전체적인(global) 모임 타입에서 각각의 엔드포인트가 행하는 규칙에 근거한 전체적 모임 타입에 대한 모임 토포롤지에 의해 결정된다. 예컨대, 교실 모임 타입에서, 교사로서 작동하는 하나의 엔드포인트는 학생으로서 작동하는 잔여 엔드포인트와 상이한 배경 이미지를 사용할 수 있으나, 각각은 이 모임 내 참가자의 역할의 관점으로부터의 공통 레이아웃의 지오메트리에 일치한다.
(774)에서, 화상 회의 내에 참여하는 엔드포인트로부터 수신될 화상 스트림에 대해 지오메트릭 규칙이 정의된다. 이 규칙들은 공통 레이아웃에 의해 정의된 모임의 타입에 대한 가상 모임 공간의 인식이 용이하도록 화상 스트림과 배경 이미지를 합성하기 위해 공통 레이아웃 및 선택된 배경 이미지에 따른다. 화상 스트림에 대한 기하학적 규칙의 수행, 예컨대, 이 화상 스트림의 전송 전에, 필요한 지오메트리를 갖는 이미지의 캡쳐링 또는 필요한 지오메트리를 얻도록 이미지를 캡쳐링하고 이 이미지를 편집하는 것은 소스 엔드포인트에 의해 수행될 수 있다. 상술한 바와 같이, 정정은 필요한 지오메트리를 얻도록 이미지의 크로핑, 매팅 또는 다른 조작을 포함할 수 있다. 선택적으로, 중앙 관리 시스템 또는 수신 엔드포인트까지도, 필요한 지오메트리를 얻기 위해 공통 레이아웃에 따르지 않는 수신 화상 스트림을 정정할 수 있다. 예컨대, 중앙 관리 시스템은 필요한 지오메트리를 제공할 수 없는 엔드포인트 중 하나로부터 화상 스트림을 얻을 수 있다. 중앙 관리 시스템은 이후 필요한 지오메트리를 얻기 위해서 비 일치 화상 스트림(non-conforming video stream)을 정정할 수 있다. 이 정정된 화상 스트림은 이후 하나 이상의 다른 엔드포인트로 제공된다. 다른 실시예에서, 수신 엔드포인트는 비 일치 화상 스트림을 배경 이미지에 합성하기 전에 이 비 일치 화상 스트림을 정정할 수 있다.
(776)에서, 각각의 참가 엔드포인트에 대해, 다른 참가 엔드포인트로부터의 화상 스트림의 배치를 위해 참가 엔드포인트의 배경 이미지 내에서, 위치가 정의된다. 이러한 위치는 공통 레이아웃과 화상 스트림 및 배경 이미지의 지오메트릭 내 엔드포인트의 상대적 위치에 의해 판정된다.
(778)에서, 하나 이상의 원격 엔드포인트로부터의 화상 스트림은 로컬 엔드포인트의 배경 이미지 상에서 합성된다. 각각의 화상 스트림의 하나 이상의 요소의 에지가 각각의 엔드 포인트의 참가자에 의해 공유되는 단일의 가상 모임 공간의 인식을 용이하게 배경 이미지의 대응하는 하나 이상의 요소의 에지에 맞추어 정렬하도록 필요한 지오메트리를 갖는 화상 스트림은 배경 이미지 상에서 합성된다. 또한, 부가적인 이미지 또는 컨텐츠는 정보 요소 또는 식별 정보와 같은 배경 이미지 상에서 합성될 수 있다.
도 8은 일 실시예에 따른 화상 회의 시스템(880)의 블록도이다. 화상 회의 시스템(880)은 화상 회의에 참가하는 하나 이상의 엔드포인트(101-104)를 포함한다. 엔드포인트(101-104)는 전화 네트워크(telephonic network)), 근거리 통신망(local area network(LAN)), 광역 통신망(wide area network (WAN)) 또는 인테넷과 같은 네트워크(884)와 통신한다. 통신은 각각의 엔드포인트(101-104)에 대해 유선 및/또는 유선이다. 화상 회의 시스템(880)은 본 명세서에 설명된 방법을 수행하도록 구성된다. 화상 회의 시스템(880)은 호스팅 서비스라 종종 칭해지는 중앙 관리 시스템(882) 및 로컬 관리 시스템(883)을 포함한다. 각각의 엔드포인트(101-104)는 그들 자신의 로컬 관리 시스템(883)을 포함한다. 중앙 관리 시스템(882)은 어느 엔드포인트가 화상 회의에 참가하고 있는지를 정의한다. 이것은 중앙 스케쥴을 통해 또는 로컬 엔드포인트로부터의 요청을 처리하여, 또는 임의의 이벤트 관리 클라이언트에 의해 수행될 수 있다. 중앙 관리 시스템(882)은 이벤트 모임 토폴로지에 대한 공통 레이아웃 및 이벤트에 참여하는 각각의 로컬 엔드포인트(101-104)에 대한 대응 배경 이미지를 정의한다. 중앙 관리 시스템(882)는 이벤트에 참가하는 원격 엔드포인트의 화상 스트림 발생기에 배경 이미지 위치를 링크하는 스트림 연결 정보를 더 제공한다. 소스-측 합성에 대해, 로컬 관리 시스템(883)은 배경 이미지 상에 다양한 수신 화상 스트림을 합성하여 그의 합성 이미지를 생성한다. 선택적으로, 중앙 관리 시스템(882)은 배경 이미지 상에 수신 화상 스트림을 합성할 수 있으며, 공통 레이아웃 내 그 뷰에 대응하는 합성 이미지를 각각의 참가 엔드포인트에 제공할 수 있다.
로컬 관리 시스템(883)은 각각의 엔드포인트에 관련된 클라이언트 컴퓨터와 같은, 엔드포인트의 일부일 수 있으며, 서버 컴퓨터와 같은 별개의 구성 요소일 수 있다. 중앙 관리 시스템(882)은 호스트 컴퓨터로서 작동하며, 엔드포인트의 일부이거나 모든 엔드포인트와 별개일 수 있다. 예컨대, 중앙 관리 시스템(882)은 네트워크(884) 상의 서버 컴퓨터의 기능일 수 있다. 로컬 관리 시스템(883)은 클라이언트 및 서버 능력을 제공하도록 하나 이상의 프로세서를 갖는 단일 컴퓨터를 포함할 수 있다.
예컨대, 클라이언트 엔드포인트는 가상 모임 내 컴퓨터 시스템 상에서 동작하는 로컬 관리 시스템(883)을 포함할 수 있다. 선택적으로, 클라이언트 엔드포인트는 가상 공동 작업 이벤트에서 다른 클라이언트 엔드포인트에 대해 호스트 서비스를 제공할 수 있다. 컴퓨터는 가상 공동 작업 이벤트의 로컬 레이아웃에 대한 합성 기능을 컴퓨터가 수행하도록 하는 컴퓨터 판독 가능한 메모리를 포함한다. 컴퓨터는 컴퓨터에 수신되는 다수의 화상 스트림의 공통 레이아웃에 대한 규칙을 셋업하기 위해 호스트 중앙 관리 시스템(882)로부터 정보를 수신한다. 합성 이미지는 공통 레이아웃 규칙에 근거하여 다수 화상 스트림의 객체에 대한 적당한 원근, 순서 및 실질적 정렬 중 적어도 하나를 보유(keeping)하면서 객체를 포함하는 배경 상에 다수의 화상 스트림을 합성함으로써 생성된다. 배경은 다수의 화상 스트림 사이의 갭을 적절한 구조의 객체로 채우는 모임 공간이다. 배경은 가상 공동 작업 이벤트의 참가자에 대한 모임 공간의 환경(context)을 생성하는데 도움을 준다. 합성 이미지는 클라이언트 엔드포인트 내의 디스플레이 상에 디스플레이되거나 클라이언트 엔드포인트가 호스트 서비스로서 작동하는 경우에 원격 클라이언트로 송부된다.
클라이언트 컴퓨터는 임의의 모임 타입 및 임의의 참가자 수에 대해 호스트로부터 공통 레이아웃에 대한 규칙을 또한 요청할 수 있다. 클라이언트 컴퓨터가 요청을 수행하지 않으면, 이벤트 중의 다른 클라이언트 컴퓨터 또는 다른 이벤트 관리 클라이언트에 의해 수행된다.
클라이언트 컴퓨터는 또한 화상 스트림이 공통 레이아웃에 대한 규칙에 부합하도록 필요한 요소를 교체하거나 부가하기 위해 수신 화상 스트림을 메팅(mat)할 수 있다. 클라이언트 컴퓨터는 또한 카메라 배치(camera positioning), 줌, 각도, 원근, 캡쳐의 필드 또는 화상 비 중 적어도 하나를 이용하여 공통 레이아웃의 규칙에 근거해 적어도 하나의 화상 스트림을 생성할 수 있다. 클라이언트 컴퓨터는 또한 수신되거나 생성된 화상 스트림이 공통 레이아웃에 일치하게 하도록 필요한 요소를 교체하거나 부가하게 매팅(mating)하면서 수신되거나 생성된 화상 스트림의 포스트 캡처 편집(post-capture editing)을 수행할 수 있다. 또한 공통 레이아웃의 배경은 맞추어 정렬할 화상 스트림에 대한 다수의 객체를 포함할 수 있다. 객체는 부드럽게 되는 적어도 하나의 에지를 구비하거나 보다 어두운 것에서 보다 밝은 것으로 페이딩하는 객체의 요소가 존재할 수 있다.
중앙 관리 시스템은 가상 공동 작업 이벤트에 대한 가상 모임 공통 레이아웃을 제공하는 호스트로서 작동한다. 이렇게 작동하는 경우, 클라이언트로부터의 요청은 단일 모임 공간 이벤트 예컨대, 이벤트 타입, 이벤트 엔드포인트의 리스트 및 엔드포인트 능력 중 적어도 하나에 근거하여, 단일 모임 공간 내 발생하는 엔드포인트를 조직하도록 수신된다. 호스트는 실질적으로 화상 스트림을 맞추어 정렬하는 하나 이상의 이벤트 엔드포인트 각각에 대한 정렬 객체를 포함하는 배경에 대한 배경 규칙을 결정한다. 결정된 배경 규칙은 단일 모임 공간 이벤트의 공통 레이아웃에 대한 규칙으로서 각각의 이벤트 엔드포인트에 전송된다.
호스트는 조직화된 단일 모임 공간에 근거하여 이벤트 엔드포인트 사이의 또는 호스트와 엔드포인트 사이의 화상 스트림 관리에 대한 규칙을 판정한다. 호스트는 공통 레이아웃에 대한 규칙의 일부로서 화상 스트림 배열에 대한 결정된 규칙을 전송한다. 호스트는 또한 공통 레이아웃에 대한 규칙에 근거해 적어도 하나의 합성 스트림을 생성하도록 하나 이상의 이벤트 엔드포인트로부터의 화상 스트림을 수신할 수 있다. 호스트가 클라이언트 엔드포인트로서 작동하면, 호스트는 그 로컬 디스플레상에 합성 스트림을 디스플레이할 수 있다. 호스트가 다른 이벤트 엔드포인트에 합성 서비스를 제공 중이면, 호스트는 그 위치에서 호스트의 디스플레이를 위해 그 이벤트 엔드포인트에 합성 스트림을 전송할 수 있다.
호스트는 또한 적어도 하나의 엔드포인트로부터 화상 스트림을 수신할 수 있으며, 공통 레이아웃에 대한 규칙과 일치하는 필요한 요소를 교체하거나 부가하도록 수신 화상 스트림을 메팅할 수 있다. 호스트는 이후 메팅된 화상 스트림을 디스플레이를 위해 다른 이벤트 엔드포인트에 전송할 수 있다.
배경은 화상 스트림을 맞추어 정렬하도록 다수의 객체를 포함할 수 있다. 정렬 객체는 부드럽게 되는 하나 이상의 에지 및/또는 보다 어두운 것에서 보다 밝은 것으로 페이딩하는 다른 요소를 포함할 수 있다.
중앙 관리 시스템은 네트워크 상에서 클라이언트 엔드포인트 및 가능하면 다른 이벤트 관리 클라이언트와 통신하여 이벤트에 대한 단일 모임 공간을 셋업하고 구성하는데 필요한 다양한 기능을 제공하도록 어플리케이션 프로그래밍 인터페이스(application programming interface(API))를 갖는 호스트로 작동하도록 구성될 수 있다. API는 클라이언트로부터 요청을 수신하고 이 요청에 대한 응답을 각각의 클라이언트에 다시 제공하도록 구성될 수 있다. 클라이언트로부터의 요청은 호스트가 하나 이상의 다음의 동작을 수행하게 한다.
a. 네트워크와 통신 중이며, 화상 회의에 참여하는 둘 이상의 엔드포인트를 정의하되, 공통 레이아웃은 일치하는 지오메트리 및 둘 이상의 엔드포인트의 상대적 위치로 모임 토폴로지를 정의하는 선택된 모임 타임에 대응한다.
b. 공통 레이아웃에 부합하는 하나 이상의 배경 이미지를 정의하되, 각각의 참여 엔드포인트에 대한 배경 이미지는 참가 엔트포인트의 관점으로부터 선택된 모임 타입의 모임 공간의 뷰를 도시한다.
c. 둘 이상의 엔드포인트로부터 수신되는 화상 스트림에 대한 기하학적 규칙을 정의하되 기하학적 규칙은 공통 레이아웃에 부합한다.
d. 하나 이상의 다른 참가 엔드포인트로부터 화상 스트림의 배치에 대한 각각의 배경 이미지 내 각각의 참가 엔드포인트의 상대적 위치를 정의하되, 화상 스트림의 배치에 대한 배경 이미지 내의 상대적 위치는 각각의 화상 스트림의 적어도 하나의 요소의 에지가 그 배경 이미지의 적어도 하나의 대응 요소의 에지에 맞추어 배열되게 위치하도록 위치를 정의하는 것을 포함한다.
또한, 호스트 API는 기하학적 규칙에 부합하지 않는 참가 엔드포인트에 대한 화상 스트림을 편집하도록 구성될 수 있다. 또한, API는 공통 레이아웃에 부합하는 배경 이미지 상의 하나 이상의 엔드포인트로부터 화상 스트림을 합성하도록 구성될 수 있다. API는 하나 이상의 요소의 부드럽게 된 에지를 구비하도록 또는 보다 보다 어두운 것에서 보다 밝은 것으로 페이딩하는 하나 이상의 요소를 구비하도록 하나 이상의 배경 이미지를 정의하도록 구성될 수 있다.
설명된 다양한 실시예는 다른 기존의 해결 방법 이상의 이점을 갖는다. 소스-측 합성은 화상 스트림을 전송하기 전에 이미지 크기 및 컨텐츠를 정정하도록 사용될 수 있다. 이것은 수신 엔드포인트가 적절한 배경 이미지 상의 마지막 합성된 파노라마 멀티포인트 이미지(a final composited panoramic multipoint image) 내에 소스-측 합성 화상 스트림을 용이하게 배열하도록 한다.
엔드포인트에서의 수신-측 합성은 많은 크기의 스트림이 배경에 대하여 배열되도록 하여 환경 및 결합 관계(connectedness)의 감지를 향상하도록 한다. 중앙 관리를 통한 이러한 합성 동작의 조종은 모임 내 모든 참가자가 공통 모임 환경을 보다 잘 가장하는 일치된 뷰 및 배열을 갖도록 한다.
이러한 것으로, 적어도 두 개의 혼합 레벨이 다음과 같이 존재할 수 있다.
1. 각각의 엔드포인트를 나타내는 화상 스트림의 생성, 화상 스트림에 대한 정보는 그 장소(site)에서만 생성된다.
2. 이벤트 배경 상의 다수의 장소로부터의 스트림의 조합
일 실시예에서, 다수의 화상 이미지를 로컬 배경 이미지와 조합하는 소스측에서, 상기의 1을 행할 수 있다. 이 타입 1 합성은 이벤트에 의해 요청되는 사이즈 미스매치(size mismatch)에 대한 이미지를 "정정"하는데 사용된다. 호스트에서 또는 호스트에 의해 제공되는 서비스에서의 타입 1 합성의 수행의 이점은 공통 레이아웃에 부합하도록 화상 스트림 그 자체를 처리할 수 없는 수신 클라이언트 엔드포인트에 적합하게 화상 스트림이 조정될 수 있다는 것이다. 예컨대, 몇몇 종래의 화상 회의 터미널 또는 방은 현재 이미지를 크로핑하거나 리사이즈(crop or resize)할 수 없다. 따라서, 일 엔드포인트는 비적합한(non-compliant) 공통 레이아웃 엔드포인트의 디스플레이에 직접적으로 디스플레이하기 위해 유효한 화상 스트림을 생성할 필요가 있다.
일 실시예에서, 타입 (2) 합성은 클라이언트 엔드포인트 측에서 수행된다. 다수의 엔드포인트로부터의 스트림은 각각의 클라이언트 엔드포인트에 의해 수신된다. 각각의 클라이언트 엔드포인트는 이후 이 스트림을 이벤트에 대해 정의된 공통 레이아웃 내에 합성한다. 공통 레이아웃의 정렬 및 화면의 타입은 네트워크상에 이미 존재하는 모임 중앙 관리 시스템에 의해 조정된다.
공통 레이아웃 이벤트에 관한 정보(공통 레이아웃 규칙)를 모두 필요로 하는 화상 스트림에 대해 정의될 수 있는 제공할 호스트 서비스를 수행하거나 요청하는 이벤트 엔드포인트에 대한 상이한 레벨의 동작이 존재한다.
개개의 화상 스트림 동작에 대해, 이벤트 엔드포인트 또는 호스트는 다음에 의해 공통 레이아웃에 부합하도록 화상 스트림 상에서 작동할 수 있다.
a) 카메라 구성(Camera configuration) : 로컬 호스트로부터 원래의 라이브 화상 스트림(original live video stream)을 캡쳐한다. 카메라에 대한 정확한 스트림 생성 구성(확대(줌), 밴드폭, 뷰 등)은 호스트에 의해 제공되는 규칙 내 구성 정보에 부합하는 공통 레이아웃에 근거하여 선택된다.
b) 비 카메라 구성(Non-Camera configuration) : 라이브 이미지 상의 동작: 확대 및 해상도(magnification and resolution) 정정을 위한 화상 스트림 정정
a. 캔(Can)은 서브-영역 또는 스캐일링(scaling)의 선택과 같은 화상 이미지에 대한 임의의 조정을 포함한다. 본 명세서에서의 키는 이러한 동작이 호스트/중앙 구성 공통 레이아웃 규칙에 근거하여 특정 스트림 지오메트리를 달성하도록 수행된다는 것이다.
c) 비-카메라 구성 : 공통 레이아웃 규칙에 부합하도록 적당한 크기, 해상도, 확대 및 배경 타입을 생성하기 위한 배경 또는 서브-배경(배경의 일부)를 갖는 스트림의 합성.
다수 스트림 동작에 대해, 이벤트 엔드포인트 또는 호스트는 다음에 의해 공통 레이아웃에 부합하도록 화상 스트림 상에서 동작할 수 있다.
d) 네트워크 상의 다양한 엔드포인트로부터의 정확한 원래의 스트림의 수집. 공통 레이아웃 규칙에 근거한 다수의 사용가능한 화상 스트림으로부터의 선택.
e) 공통 레이아웃 규칙에 근거한 적당한 모임 배열 및 배경의 선택
f) 공통 레이아웃에 따른 공통 레이아웃 모임 배경 및 합성 상의 윈도우 내 화상 스트림의 레이아웃 및 배열
이러한 동작은 소스(호스트) 또는 수신(클라이언트) 엔드포인트 또는 호스트 서비스로서 동작하는 컴퓨터 상의 몇몇 프로세스에서 일어날 수 있다. 일반적으로 상술한 바와 같이 일반적으로 a)로부터 f)로 진행하는 동작에 대한 순서가 존재한다.
일 실시예에서, 호스트 및 클라이언트는 상기의 동작 a) - f)를 할당하도록 조정된다. 예컨대, 일 실시예에서, 화상 회의 엔드포인트는 호스트에서 a-c를 주로 수행하고, 클라이언트에서 d-f를 수행한다. 다른 실시예에서, 모든 스텝은 하나의 호스트 또는 클라이언트에서 수행된다. 다른 실시예에서, 동작 a) - d)는 엔드포인트 클라이언트 상에서 수행되고, 동작 e) - f)는 중앙 관리 서버로부터의 공통 레이아웃 규칙에 근거하여 수행된다. 동작 b) - c)는 호스트 서비스 또는 엔드포인트 클라이언트에서 수행될 수 있다. 예컨대, 보다 오래된 화상 원격 현장감 회의 엔드포인트(older video telepresence conferencing endpoint)는 단지 공통 레이아웃 규칙에 따른 비적합한(non-compliant) 화상 스트림을 공급할 수 있다. 호스트 서비스 또는 클라이언트는 동작 d) - f) 전의 동작 b) 및 c) 중의 스트림을 정정할 수 있다.

Claims (20)

  1. 컴퓨터에서 수신된 다수의 화상 스트림의 공통 레이아웃에 대한 규칙을 셋업하기 위해 호스트로부터 정보를 수신하는 단계와,
    상기 공통 레이아웃의 상기 규칙에 근거하여, 상기 다수 화상 스트림의 객체에 대한 적절한 원근, 순서 및 실질적 배열 중 적어도 하나를 유지하면서, 상기 객체를 갖는 배경 상에서 상기 다수의 화상 스트림을 합성함으로써 합성 이미지를 생성하는 단계 - 상기 배경은 다수의 화상 스트림 간의 갭을 상기 객체의 적절한 구조로 채우는 모임 공간(meeting place)이며, 상기 배경은 상기 모임 공간의 컨텍스트(context)을 생성함 - 와,
    디스플레이 상에 상기 합성 이미지를 디스플레이하는 단계
    를 상기 컴퓨터가 수행하게 하도록 구성된
    컴퓨터 판독 가능한 메모리를 구비하는 가상 모임(virtual meeting)을 위한 컴퓨터.
  2. 제 1 항에 있어서,
    상기 컴퓨터 판독 가능한 메모리는 임의의 모임 타입 및 임의의 수의 참가자에 대해 호스트로부터 공통 레이아웃에 대한 규칙을 요청하는 단계를 상기 컴퓨터가 수행하게 하도록 더 구성된
    컴퓨터 판독 가능한 메모리를 구비하는 가상 모임을 위한 컴퓨터.
  3. 제 2 항에 있어서,
    상기 컴퓨터 판독 가능한 메모리는 필요한 요소를 교체하도록 매팅(matting)하는 단계와, 상기 공통 레이아웃에 대한 상기 규칙에 부합하지 않는 화상 스트림 상에 필요한 요소를 부가하도록 매팅하는 단계 중 적어도 하나의 단계를 상기 컴퓨터가 수행하게 하도록 더 구성된
    컴퓨터 판독 가능한 메모리를 구비하는 가상 모임을 위한 컴퓨터.
  4. 제 1 항에 있어서,
    상기 컴퓨터 판독가능한 메모리는 카메라 위치(positioning), 줌, 각도, 원근, 캡쳐의 필드(field of capture) 및/또는 화상 비(aspect ratio) 중 적어도 하나를 이용하여 상기 공통 레이아웃에 대한 상기 규칙에 근거해 적어도 하나의 화상 스트림을 생성하는 단계를 상기 컴퓨터가 수행하게 하도록 더 구성된
    컴퓨터 판독 가능한 메모리를 구비하는 가상 모임을 위한 컴퓨터.
  5. 제 1 항에 있어서,
    상기 컴퓨터 판독가능한 메모리는 포스트 캡쳐 편집(post-capture editing) 단계, 필요한 요소를 교체하도록 매팅하는 단계와, 상기 공통 레이아웃에 대한 규칙에 부합하도록 상기 수신된 다수의 화상 스트림 중 적어도 하나 및 적어도 하나의 생성된 화상 스트림에 필요한 요소를 부가하도록 매팅하는 단계 중 적어도 하나의 단계를 상기 컴퓨터가 수행하게 하도록 더 구성된
    컴퓨터 판독 가능한 메모리를 구비하는 가상 모임을 위한 컴퓨터.
  6. 제 1 항에 있어서,
    상기 배경은 맞추어 배열할 다수의 화상 스트림에 대한 다수의 객체를 포함하는
    컴퓨터 판독 가능한 메모리를 구비하는 가상 모임을 위한 컴퓨터.
  7. 제 6 항에 있어서,
    상기 객체는 부드럽게 되는 적어도 하나의 에지와 보다 어두운 것에서 보다 밝은 것으로 패이딩하는 요소를 구비하는
    컴퓨터 판독 가능한 메모리를 구비하는 가상 모임을 위한 컴퓨터.

  8. 가상 모임 공통 레이아웃 서비스를 제공하는 방법으로서,
    이벤트 타입, 이벤트 엔드포인트의 리스트 및 엔드포인트 용량 중 적어도 하나에 근거하여 단일 모임 공간 이벤트를 조직하기 위해 클라이언트로부터의 요청을 수신하는 단계와,
    실질적으로 화상 스트림을 맞추어 배열하기 위해 하나 이상의 이벤트 엔드포인트 각각에 대한 배열 객체를 포함하는 배경에 대한 배경 규칙을 결정하는 단계와,
    상기 단일 모임 공간 이벤트의 공통 레이아웃에 대한 규칙으로서 각각의 이벤트 엔드포인트에 상기 결정된 배경 규칙을 전송하는 단계를 포함하는
    가상 모임 공통 레이아웃 서비스 제공 방법.
  9. 제 8 항에 있어서,
    상기 조직된 단일 모임 공간에 근거하여 상기 이벤트 엔드포인트 사이 및/ 또는 호스트 사이의 화상 스트림 관리에 대한 규칙을 결정하는 단계와, 상기 공통 레이아웃에 대한 규칙의 일부로서 화상 스트림 배열에 대한 상기 결정된 규칙을 전송하는 단계를 더 포함하는
    가상 모임 공통 레이아웃 서비스 제공 방법.
  10. 제 8 항에 있어서,
    하나 이상의 이벤트 엔드포인트로부터 화상 스트림을 수신하는 단계와, 상기 공통 레이아웃에 대한 상기 규칙에 근거하여 적어도 하나의 합성 스트림을 형성하는 단계를 더 포함하는
    가상 모임 공통 레이아웃 서비스 제공 방법.
  11. 제 10 항에 있어서,
    디스플레이를 위해 다른 이벤트 엔드포인트에 상기 합성 스트림을 전송하는 단계를 더 포함하는
    가상 모임 공통 레이아웃 서비스 제공 방법.
  12. 제 8 항에 있어서,
    적어도 하나의 이벤트 엔트포인트로부터 화상 스트림을 수신하는 단계와 상기 화상 스트림을 상기 공통 레이아웃에 대한 상기 규칙에 부합하는 교체 필요 요소 및 부가 필요 요소 중 적어도 하나에 대해 매팅(matting)하는 단계를 더 포함하는
    가상 모임 공통 레이아웃 서비스 제공 방법.
  13. 제 12 항에 있어서,
    디스플레이를 위해 다른 이벤트 엔드포인트에 상기 매팅된 화상 스트림을 전송하는 단계를 더 포함하는
    가상 모임 공통 레이아웃 서비스 제공 방법.
  14. 제 8 항에 있어서,
    상기 배경은 상기 화상 스트림을 맞추어 정렬하기 위한 다수의 객체를 포함하는
    가상 모임 공통 레이아웃 서비스 제공 방법.
  15. 제 9 항에 있어서,
    상기 정렬을 위한 객체는 부드러워지는 에지 및 보다 어두운 것에서 보다 밝은 것으로 패이딩하는 요소 중 적어도 하나를 구비하는
    가상 모임 공통 레이아웃 서비스 제공 방법.
  16. 화상 회의용 호스팅 서버로서,
    상기 호스팅 서버는 클라이언트로부터 요청을 수신하여 상기 클라이언트에 응답을 제공하도록 구성된 네트워크와 통신하는 서버 컴퓨터를 포함하되, 상기 요청은 상기 서버가,
    상기 네트워크와 통신 중이며, 화상 회의에 참가 중인 두 개 이상의 엔트 포인트에 대한 공통 레이아웃을 정의하는 단계로, 상기 공통 레이아웃은 일치되는 지오메트리와 두 개 이상의 엔드포인트의 상대적 위치를 갖는 모임 토폴로지를 정의하는 선택된 모임 타입에 대응하는 단계와,
    상기 공통 레이아웃에 부합하는 하나 이상의 배경 이미지를 정의하는 단계로, 각각의 참가 엔드포인트에 대한 배경 이미지는 이 참가 엔드포인트의 관점(a point of view)으로부터 상기 선택된 모임 타입의 모임 공간의 뷰를 그리는 단계와,
    둘 이상의 엔드포인트로부터 수신되는 화상 스트림에 대한 기하학적 규칙을 정의하는 단계로, 상기 기하학적 규칙은 상기 공통 레이아웃에 부합하는 단계와,
    하나 이상의 다른 참가하는 엔드포인트로부터의 화상 스트림의 배치(placement)에 대한 각각의 배경 이미지 내에 각각의 참가 엔드포인트의 상대적 위치를 정의하는 단계로, 화상 스트림의 배치에 대한 배경 이미지 내의 상기 상대적 위치는 각각의 상기 화상 스트림의 적어도 하나의 요소의 에지가 그 배경 이미지의 적어도 하나의 대응 요소의 에지에 맞추어 정렬하도록 위치하게 위치를 정의하는 것을 포함하는 단계 중 하나 이상의 단계를 수행하게 하며,
    상기 서버 컴퓨터는 상기 요청의 상기 정의된 결과를 상기 각각의 클라이언트에 되돌려주는
    호스팅 서버.
  17. 제 16 항에 있어서,
    상기 서버는 상기 기하학적 규칙에 따르지 않는 참가 엔드포인트에 대해 화상 스트림의 편집을 가능하게 하도록 구성된
    호스팅 서버.
  18. 제 16 항에 있어서,
    상기 요청은 상기 서버가, 상기 공통 레이아웃에 부합하는 배경 이미지 상에 하나 이상의 엔드포인트로부터의 화상 스트림을 합성하는 단계를 더 수행하게 하는
    호스팅 서버.
  19. 제 16 항에 있어서,
    하나 이상의 배경 이미지를 정의하는 단계는, 상기 배경 이미지의 하나 이상의 요소의 부드럽게된 에지를 갖는 하나 이상의 배경 이미지를 정의하는 단계를 포함하는
    호스팅 서버.
  20. 제 16 항에 있어서,
    하나 이상의 배경 이미지를 정의하는 단계는, 보다 어두운 것에서 보다 밝은 것으로 페이딩하는 상기 배경 이미지의 하나 이상의 요소를 갖는 하나 이상의 배경 이미지를 정의하는 단계를 포함하는
    호스팅 서버.
KR1020107029840A 2008-06-30 2009-06-30 컴퓨터 판독 가능한 메모리를 구비하는 가상 모임을 위한 컴퓨터, 가상 모임 공통 레이아웃 서비스 제공 방법 및 호스팅 서버 KR20110050595A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US7694108P 2008-06-30 2008-06-30
US61/076,941 2008-06-30

Publications (1)

Publication Number Publication Date
KR20110050595A true KR20110050595A (ko) 2011-05-16

Family

ID=41466580

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107029840A KR20110050595A (ko) 2008-06-30 2009-06-30 컴퓨터 판독 가능한 메모리를 구비하는 가상 모임을 위한 컴퓨터, 가상 모임 공통 레이아웃 서비스 제공 방법 및 호스팅 서버

Country Status (6)

Country Link
US (1) US8432431B2 (ko)
EP (1) EP2292009A2 (ko)
KR (1) KR20110050595A (ko)
CN (1) CN102077587A (ko)
BR (1) BRPI0910213A2 (ko)
WO (1) WO2010002925A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9432625B2 (en) 2012-09-28 2016-08-30 Alcatel Lucent Immersive videoconference method and system
US20220319150A1 (en) * 2020-07-06 2022-10-06 Ningbo Juzhong Machinery Co., Ltd. Regularity measurement system and method for seat arrangement
KR102636269B1 (ko) * 2022-08-10 2024-02-14 (주)해든브릿지 그룹통신 시스템 및 방법

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8074581B2 (en) 2007-10-12 2011-12-13 Steelcase Inc. Conference table assembly
US20140361954A1 (en) 2013-06-07 2014-12-11 Lewis Epstein Personal control apparatus and method for sharing information in a collaboration workspace
US10631632B2 (en) 2008-10-13 2020-04-28 Steelcase Inc. Egalitarian control apparatus and method for sharing information in a collaborative workspace
US20110119597A1 (en) 2009-05-09 2011-05-19 Vivu, Inc. Method and apparatus for capability-based multimedia interactions
US10884607B1 (en) 2009-05-29 2021-01-05 Steelcase Inc. Personal control apparatus and method for sharing information in a collaborative workspace
US8665309B2 (en) * 2009-11-03 2014-03-04 Northrop Grumman Systems Corporation Video teleconference systems and methods for providing virtual round table meetings
US8350891B2 (en) * 2009-11-16 2013-01-08 Lifesize Communications, Inc. Determining a videoconference layout based on numbers of participants
SE535205C2 (sv) * 2010-06-03 2012-05-22 Erik Eskilsson Studio och konferenssystem för videokonferens
US8308632B2 (en) * 2010-06-15 2012-11-13 Siemens Aktiengesellschaft Method and apparatus for displaying information in magnetically guided capsule endoscopy
WO2012054772A2 (en) * 2010-10-20 2012-04-26 Visa International Service Association Dynamically generated targeted subscription package
US9055189B2 (en) * 2010-12-16 2015-06-09 Microsoft Technology Licensing, Llc Virtual circular conferencing experience using unified communication technology
CN102790872B (zh) * 2011-05-20 2016-11-16 南京中兴软件有限责任公司 一种视频会议的实现方法及系统
US8698874B2 (en) * 2011-06-10 2014-04-15 Microsoft Corporation Techniques for multiple video source stitching in a conference room
US8767586B2 (en) 2011-06-20 2014-07-01 At&T Intellectual Property I, L.P. Methods, systems, and products for network topology
US8526609B1 (en) 2011-06-23 2013-09-03 Bby Solutions, Inc. Method for real-time compositing of encrypted video streams without decryption
US9445052B2 (en) * 2011-08-31 2016-09-13 Hewlett-Packard Development Company, L.P. Defining a layout for displaying images
WO2013032461A1 (en) * 2011-08-31 2013-03-07 Hewlett-Packard Development Company, L.P. Arranging video streams
US9538133B2 (en) 2011-09-23 2017-01-03 Jie Diao Conveying gaze information in virtual conference
US8823765B2 (en) * 2011-09-30 2014-09-02 Verizon Patent And Licensing Inc. Method and apparatus for device peer resource pooling
WO2013055369A1 (en) * 2011-10-14 2013-04-18 Hewlett-Packard Development Company, L.P. Electronic collaboration
WO2013062581A1 (en) * 2011-10-28 2013-05-02 Hewlett-Packard Development Company, L.P. Layout for groups of participants
WO2013062582A1 (en) * 2011-10-28 2013-05-02 Hewlett-Packard Development Company, L.P. Grouping a participant and a resource
CN102420968A (zh) * 2011-12-15 2012-04-18 广东威创视讯科技股份有限公司 视频会议中显示视频窗口的方法及系统
US9154732B2 (en) * 2012-04-09 2015-10-06 Futurewei Technologies, Inc. Visual conditioning for augmented-reality-assisted video conferencing
US9544538B2 (en) 2012-05-15 2017-01-10 Airtime Media, Inc. System and method for providing a shared canvas for chat participant
CN103491496B (zh) * 2012-06-11 2016-02-24 腾讯科技（深圳）有限公司 一种获取地点描述信息的方法、终端、地点服务器及系统
US9876988B2 (en) 2012-07-13 2018-01-23 Microsoft Technology Licensing, Llc Video display modification for video conferencing environments
US20170039867A1 (en) 2013-03-15 2017-02-09 Study Social, Inc. Mobile video presentation, digital compositing, and streaming techniques implemented via a computer network
US10075656B2 (en) 2013-10-30 2018-09-11 At&T Intellectual Property I, L.P. Methods, systems, and products for telepresence visualizations
US9210377B2 (en) 2013-10-30 2015-12-08 At&T Intellectual Property I, L.P. Methods, systems, and products for telepresence visualizations
CN103581571B (zh) * 2013-11-22 2017-02-22 北京中科大洋科技发展股份有限公司 一种基于色彩三要素的视频抠像方法
CN103997616B (zh) * 2013-12-20 2019-02-05 三亚中兴软件有限责任公司 一种处理视频会议画面的方法、装置及会议终端
WO2016077180A1 (en) * 2014-11-14 2016-05-19 Pcms Holdings, Inc. System and method for 3d telepresence
JP2016099732A (ja) * 2014-11-19 2016-05-30 セイコーエプソン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
US9576607B2 (en) * 2015-01-21 2017-02-21 Google Inc. Techniques for creating a composite image
CN104780296A (zh) * 2015-04-02 2015-07-15 上海东方传媒技术有限公司 虚拟远程采访的视频合成系统及方法
EP3335418A1 (en) 2015-08-14 2018-06-20 PCMS Holdings, Inc. System and method for augmented reality multi-view telepresence
US9843770B2 (en) * 2015-10-05 2017-12-12 Polycom, Inc. Panoramic image placement to minimize full image interference
EP3188478B1 (en) * 2015-12-28 2021-01-13 Facebook, Inc. Systems and methods to create composite videos
US10645137B2 (en) 2015-12-28 2020-05-05 Facebook, Inc. Systems and methods to create composite videos
US9807341B2 (en) 2016-02-19 2017-10-31 Microsoft Technology Licensing, Llc Communication event
US10762712B2 (en) 2016-04-01 2020-09-01 Pcms Holdings, Inc. Apparatus and method for supporting interactive augmented reality functionalities
EP3513379A4 (en) * 2016-12-05 2020-05-06 Hewlett-Packard Development Company, L.P. AUDIO-VISUAL TRANSMISSION ADJUSTMENTS VIA OMNIDIRECTIONAL CAMERAS
US10264213B1 (en) 2016-12-15 2019-04-16 Steelcase Inc. Content amplification system and method
US10158828B2 (en) 2017-04-05 2018-12-18 Facebook, Inc. Customized graphics for video conversations
JP7073634B2 (ja) * 2017-06-09 2022-05-24 富士フイルムビジネスイノベーション株式会社 電子装置及びプログラム
CN109413352B (zh) * 2018-11-08 2020-06-23 北京微播视界科技有限公司 视频数据的处理方法、装置、设备和存储介质
US10785421B2 (en) 2018-12-08 2020-09-22 Fuji Xerox Co., Ltd. Systems and methods for implementing personal camera that adapts to its surroundings, both co-located and remote
CN110060203A (zh) * 2019-04-22 2019-07-26 京东方科技集团股份有限公司 图片显示方法、图片显示装置、电子设备及存储介质
DE102019208316A1 (de) * 2019-06-07 2020-12-10 Audi Ag Verfahren zum Betreiben eines Videokonferenzsystems sowie Videokonferenzsystem und Kraftfahrzeug
CN111432142B (zh) * 2020-04-03 2022-11-22 腾讯云计算（北京）有限责任公司 视频合成方法、装置、设备及存储介质
US11502861B2 (en) 2020-08-17 2022-11-15 T-Mobile Usa, Inc. Simulated auditory space for online meetings
GB2599437A (en) * 2020-10-02 2022-04-06 Sony Europe Bv Client devices, server, and methods
CN112887635A (zh) * 2021-01-11 2021-06-01 深圳市捷视飞通科技股份有限公司 多画面拼接方法、装置、计算机设备和存储介质
US11418760B1 (en) * 2021-01-29 2022-08-16 Microsoft Technology Licensing, Llc Visual indicators for providing user awareness of independent activity of participants of a communication session
US11374988B1 (en) * 2021-01-29 2022-06-28 Microsoft Technology Licensing, Llc Controlled user interface transitions for private breakout communication sessions
US20240155012A1 (en) * 2021-03-11 2024-05-09 Ati Studios A.P.P.S. S.R.L. Web-based video conferencing system and method
US11558563B2 (en) * 2021-04-16 2023-01-17 Zoom Video Communications, Inc. Systems and methods for immersive scenes
US12081899B2 (en) 2021-04-16 2024-09-03 Zoom Video Communications, Inc. Immersive scenes
US20210286507A1 (en) * 2021-05-27 2021-09-16 Kishore Daggubati System enabling magnification of a video stream during an online event
US11394925B1 (en) 2021-06-30 2022-07-19 Microsoft Technology Licensing, Llc Automated UI and permission transitions between presenters of a communication session
US11656747B2 (en) * 2021-09-21 2023-05-23 Microsoft Technology Licensing, Llc Established perspective user interface and user experience for video meetings
US20230289740A1 (en) * 2022-03-11 2023-09-14 Microsoft Technology Licensing, Llc Management of in room meeting participant
CN114584737B (zh) * 2022-05-06 2022-08-12 全时云商务服务股份有限公司 一种云会议中实时多人同场景自定义的方法与系统
US11979442B2 (en) * 2022-09-20 2024-05-07 Snap Inc. Dynamically assigning participant video feeds within virtual conferencing system
WO2024096867A1 (en) * 2022-10-31 2024-05-10 Hewlett-Packard Development Company, L.P. Devices to perform video stream transformations

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07236128A (ja) 1994-02-25 1995-09-05 Sharp Corp 多地点会議制御装置
KR100238072B1 (ko) * 1996-11-30 2000-01-15 윤종용 화상회의시스템을 위한 가상공간 구현장치
JPH10271477A (ja) 1997-03-21 1998-10-09 Xing:Kk テレビ会議システム
WO1998047291A2 (en) 1997-04-16 1998-10-22 Isight Ltd. Video teleconferencing
KR100316639B1 (ko) * 1998-05-22 2002-01-16 윤종용 다지점 영상회의 시스템 및 그에 따른 구현방법
JP2000165831A (ja) 1998-11-30 2000-06-16 Nec Corp 多地点テレビ会議システム
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
JP2003333572A (ja) 2002-05-08 2003-11-21 Nippon Hoso Kyokai <Nhk> 仮想観客形成装置およびその方法、仮想観客形成受信装置およびその方法ならびに仮想観客形成プログラム
US6853398B2 (en) * 2002-06-21 2005-02-08 Hewlett-Packard Development Company, L.P. Method and system for real-time video communication within a virtual environment
US7034860B2 (en) * 2003-06-20 2006-04-25 Tandberg Telecom As Method and apparatus for video conferencing having dynamic picture layout
NO318911B1 (no) * 2003-11-14 2005-05-23 Tandberg Telecom As Distribuert sammensetting av sanntids-media
JP2005333552A (ja) 2004-05-21 2005-12-02 Viewplus Inc パノラマ映像配信システム
US8456506B2 (en) * 2004-08-03 2013-06-04 Applied Minds, Llc Systems and methods for enhancing teleconferencing collaboration
US7499075B2 (en) * 2004-09-28 2009-03-03 Seiko Epson Corporation Video conference choreographer
US7576766B2 (en) 2005-06-30 2009-08-18 Microsoft Corporation Normalized images for cameras
US7612793B2 (en) * 2005-09-07 2009-11-03 Polycom, Inc. Spatially correlated audio in multipoint videoconferencing
JP4990520B2 (ja) 2005-11-29 2012-08-01 京セラ株式会社 通信端末およびその表示方法
US20070279483A1 (en) * 2006-05-31 2007-12-06 Beers Ted W Blended Space For Aligning Video Streams
US7542668B2 (en) * 2006-06-30 2009-06-02 Opt Corporation Photographic device
US8294823B2 (en) * 2006-08-04 2012-10-23 Apple Inc. Video communication systems and methods
US8248455B2 (en) * 2006-12-12 2012-08-21 Polycom, Inc. Method for creating a videoconferencing displayed image
US8477177B2 (en) * 2007-08-10 2013-07-02 Hewlett-Packard Development Company, L.P. Video conference system and method
CN101141613B (zh) * 2007-10-10 2010-12-15 中国联合网络通信集团有限公司 一种视频会议切换控制系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9432625B2 (en) 2012-09-28 2016-08-30 Alcatel Lucent Immersive videoconference method and system
US20220319150A1 (en) * 2020-07-06 2022-10-06 Ningbo Juzhong Machinery Co., Ltd. Regularity measurement system and method for seat arrangement
KR102636269B1 (ko) * 2022-08-10 2024-02-14 (주)해든브릿지 그룹통신 시스템 및 방법

Also Published As

Publication number Publication date
BRPI0910213A2 (pt) 2015-09-22
WO2010002925A3 (en) 2010-03-11
CN102077587A (zh) 2011-05-25
WO2010002925A2 (en) 2010-01-07
EP2292009A2 (en) 2011-03-09
US20110025819A1 (en) 2011-02-03
US8432431B2 (en) 2013-04-30

Similar Documents

Publication Publication Date Title
US8432431B2 (en) Compositing video streams
US20130242036A1 (en) Displaying panoramic video image streams
US11488363B2 (en) Augmented reality conferencing system and method
JP5199249B2 (ja) ビデオストリームをアラインするための融合空間
Gibbs et al. Teleport–towards immersive copresence
US8319819B2 (en) Virtual round-table videoconference
US8830293B2 (en) Video superposition for continuous presence
US9756287B2 (en) System and method for providing a two-way interactive 3D experience
US7532230B2 (en) Method and system for communicating gaze in an immersive virtual environment
US20060244817A1 (en) Method and system for videoconferencing between parties at N sites
WO2010033036A1 (en) A control system for a local telepresence videoconferencing system and a method for establishing a video conference call
US20090040288A1 (en) Video conference system and method
CN102665026A (zh) 一种利用视频会议实现远程合影的方法、设备及系统
US11831454B2 (en) Full dome conference
JP2009239459A (ja) 映像合成システム、映像合成装置およびプログラム
Nescher et al. An interactive whiteboard for immersive telecollaboration
Jouppi et al. Bireality: mutually-immersive telepresence
Gorzynski et al. The halo B2B studio
KR102619761B1 (ko) 텔레프리젠테이션 화상 회의 시스템을 위한 서버
US11647064B1 (en) Computer systems for managing interactive enhanced communications
CN117041474B (zh) 一种基于虚拟现实和人工智能技术的远程会议系统及方法
Abler et al. High Definition video support for natural interaction through distance learning
Doyle Beyond the screen [immersive audio-visual environments]
Dwivedi et al. Immersive Virtual Conference Room: Bridging the Gap Between Remote Collaboration and Physical Presence
Steinberg 2018 Honors and Awards Recipients

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid