KR101262734B1 - 참가자 사이의 인터랙션에 따라 ｃｐ 레이아웃을 적용하기 위한 방법 및 시스템 - Google Patents

참가자 사이의 인터랙션에 따라 ｃｐ 레이아웃을 적용하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR101262734B1
KR101262734B1 KR1020110028177A KR20110028177A KR101262734B1 KR 101262734 B1 KR101262734 B1 KR 101262734B1 KR 1020110028177 A KR1020110028177 A KR 1020110028177A KR 20110028177 A KR20110028177 A KR 20110028177A KR 101262734 B1 KR101262734 B1 KR 101262734B1
Authority
KR
South Korea
Prior art keywords
video image
participant
interaction
endpoint
split
Prior art date
Application number
KR1020110028177A
Other languages
English (en)
Other versions
KR20110109977A (ko
Inventor
에이알 레비아브
니브 와그너
에프랏 베에리
Original Assignee
폴리콤 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 폴리콤 인코포레이티드 filed Critical 폴리콤 인코포레이티드
Publication of KR20110109977A publication Critical patent/KR20110109977A/ko
Application granted granted Critical
Publication of KR101262734B1 publication Critical patent/KR101262734B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

참가자 사이의 인터랙션에 따른 화면 분할 비디오컨퍼런싱 레이아웃을 적용하기 위한 시스템 및 방법이 개시되어 있다. 비디오 이미지에서 발견된 관심 영역을 사용하여, 참가자의 이미지의 배열은 엔드포인트에 의해 표시되는 바와 같이 동적으로 배열될 수 있다. 배열은 실내의 참가자의 위치 및 비디오컨퍼런스의 도미넌트 참가자를 포함하는 다양한 측정값에 응답할 수 있다. 비디오 이미지는 비디오 이미지의 크롭핑 및 미러링을 포함하는 배열의 일부로서 조작될 수 있다. 참가자 사이의 인터랙션이 변함에 따라, 레이아웃은 변화된 인터랙션에 응답하여 자동으로 재배열될 수 있다.

Description

참가자 사이의 인터랙션에 따라 ＣＰ 레이아웃을 적용하기 위한 방법 및 시스템{METHOD AND SYSTEM FOR ADAPTING A CP LAYOUT ACCORDING TO INTERACTION BETWEEN CONFEREES}
본 발명은 통신에 관한 것이고, 특히, 비디오 컨퍼런싱에 대한 방법 및 시스템에 관한 것이다.
비디오컨퍼런싱에 의해 서로 멀리 떨어져 있는 개인은 시청각 통신을 사용하여 신속한 대면 미팅을 가질 수 있다. 비디오컨퍼런스는 (포인트간) 2개의 사이트 또는 (멀티 포인트) 다수의 사이트와 같은 적은 수의 사이트를 포함할 수 있다. 단일 참여자(participant)는 컨퍼런싱 사이트에 위치될 수 있거나 회의실과 같은 사이트에 다수의 참여자가 존재할 수 있다. 비디오컨퍼런싱은 또한 문서, 정보등을 공유하기 위해 사용될 수 있다.
비디오컨퍼런스내의 참여자는 비디오컨퍼런싱 엔드포인트를 통해 다른 사이트에서의 참여자와 상호작용한다. 엔드포인트는 다른 터미널과 또는 멀티포인트 컨트롤 유닛(MCU, 보다 상세하게 아래에 설명된다)과의 실시간, 쌍방 오디오/비주얼/데이터 통신을 할 수 있는, 네트워크상의 터미널이다. 엔드포인트는 음성만의 통신, 음성과 비디오 통신, 또는 음성, 데이터 및 비디오 통신등을 제공할 수 있다. 비디오컨퍼런싱 엔드포인트는 보통 하나 이상의 리모트 사이트로부터의 비디오 이미지가 표시될 수 있는 디스플레이 유닛을 포함한다. 예는 폴리콤 인코퍼레이티드로부터 각각 입수가능한 POLYCOM? VSX? 및 HDX? 시리즈를 포함한다. POLYCOM, VSX, 및 HDX는 폴리콤 인코퍼레이티드의 등록된 상표이다. 비디오컨퍼런싱 엔드포인트는 로컬 사이트로부터 리모트 사이트로 오디오, 비디오 및/또는 데이터를 전송하고 리모트 사이트로부터 수신된 비디오 및/또는 데이터를 스크린에 표시한다.
비디오컨퍼런싱 엔드포인트에서 스크린상에 표시된 비디오 이미지는 레이아웃에 배열될 수 있다. 이러한 레이아웃은 비디오 이미지를 표시하기 위한 하나 이상의 세그먼트를 포함할 수 있다. 세그먼트는 세션에 참여하는 사이트중 하나로부터 수신된 비디오 이미지에 할당된 수용 엔드포인트의 스크린의 일부이다. 예를 들어, 2개의 참여자 사이의 비디오컨퍼런스에서, 세그먼트는 로컬 엔드포인트의 스크린의 전체 디스플레이 에어리어를 커버할 수 있다. 또 다른 예는 비디오컨퍼런스가 스위칭 모드에 행해져 오직 하나의 다른 리모트 사이트로부터의 비디오가 한번에 로컬 사이트에 표시되고 이러한 표시된 리모트 사이트가 컨퍼런스의 다이나믹에 따라 전환될 수 있는, 로컬 사이트와 다수의 다른 리모트 사이트간의 비디오 컨퍼런스이다. 이와 반대로, 화면 분할(Continuous Presence; CP) 컨퍼런스에서, 터미널에서의 참가자(conferee)는 컨퍼런스내의 다수의 참여자의 사이트를 동시에 관찰할 수 있다. 각 사이트는 레이아웃의 상이한 세그먼트에 표시될 수 있고, 각 세그먼트는 동일한 사이즈 또는 상이한 사이즈를 가질 수 있다. 레이아웃의 세그먼트와 연관되고 표시된 사이트의 선택은 동일한 세션에 참가하는 상이한 참가자 사이에 다양할 수 있다. 화면 분할(CP) 레이아웃에서, 사이트로부터의 수신된 비디오 이미지는 세그먼트 사이즈를 맞추기 위해 스케일링 다운되거나 크롭핑될 수 있다.
MCU는 비디오컨퍼런스를 관리하도록 사용될 수 있다. MCU는 네트워크의 노드에서, 터미널에서 또는 그 밖의 다른 것에 위치될 수 있는 컨퍼런스 제어 엔티티이다. MCU는 특정 기준에 따라, 액세스 포트로부터, 다수의 미디어 채널을 수신하고 처리할 수 있고 이들을 다른 포트를 통해, 접속된 채널에 분배한다. MCU의 예는 폴리콤 인코퍼레이티드로부터 입수가능한 MGC-100 및 RMX?2000을 포함한다. (RMX2000은 폴리콤 인코퍼레이티드의 등록된 상표이다.) 일부 MCU는 미디어 컨트롤러(MC) 및 미디어 프로세서(MP)의 2개의 로지컬 유닛으로 구성되어 있다. 엔드포인트 및 MCU의 보다 온전한 정의는 H.320, H.324, H.323 규격와 같은 국제 통신 유니온("ITU") 규격에서 발견될 수 있지만 이에 제한되는 것은 아니다. ITU 규격에 대한 추가 정보는 ITU 웹사이트 www.itu.int에서 발견될 수 있다.
수신 엔드포인트(사이트)의 스크린 레이아웃의 세그먼트에 비디오 이미지를 나타내기 위해, 전체 수신된 비디오 이미지는 조작되거나, 스케일링 다운되고 표시될 수 있거나, 비디오 이미지의 일부는 MCU에 의해 크롭핑되고 표시될 수 있다. MCU는 수신된 참가자 비디오 이미지의 하나 이상의 에지로부터 라인 또는 컬럼을 크롭핑하여 이것을 비디오컨퍼런싱 이미지의 레이아웃내의 세그먼트의 에어리어에 맞춘다. 또 다른 크롭핑 기술은 여기에 내용 전체가 언급되어 통합된 미국 특허 출원 11/751,558에 개시된 바와같이 이미지내의 관심 영역에 따라, 수신된 이미지의 에지를 크롭핑할 수 있다.
비디오컨퍼런싱 세션에서, 레이아웃내의 세그먼트의 사이즈는 세션을 선택된 레이아웃에 따라 지정될 수 있다. 예를 들어, 2X2 레이아웃에서, 각 세그먼트는 도 1에 도시된 바와 같이, 실질상 디스플레이의 1/4일 수 있다. 레이아웃(100)은 세그먼트(112, 114, 116, 118)를 포함한다. 2X2 레이아웃에서, 5개의 사이트가 세션에 참여하고 있다면, 각 사이트에서의 참가자는 보통 다른 4개의 사이트를 볼 수 있다.
CP 비디오컨퍼런싱 세션에서, 사이트와 세그먼트 사이의 연관은 컨퍼런스에 참여하는 액티비티에 따라 동적으로 변할 수 있다. 일부 레이아웃에서, 세그먼트중 하나는 현 화자에 할당될 수 있고, 다른 세그먼트는 프리젠팅된 참가자로서 선택된 다른 사이트에 할당될 수 있다. 현 화자는 보통, 특정 퍼센트의 모니터링 기간 동안 가장 큰 화자와 같은, 특정 기준에 따라 선택될 수 있다. (다른 세그먼트내의) 다른 사이트는 이전의 화자, 다른 사이트 위의 오디오 에너지를 갖는 사이트, 관리 결정에 의해 보이도록 요구된 특정 참가자등을 포함할 수 있다.
도 1에 도시된 예에서, 디스플레이의 에어리어의 오직 3/4만, 즉, 세그먼트(112, 114, 116)만이 사용되고 4번째 쿼터(118)는 백그라운드 컬러에 의해 채워져 있다. 이러한 상황은 오직 4개의 사이트가 액티브하고 각 사이트가 또 다른 3개를 볼 때 발생할 수 있다. 또한, 세그먼트(116)는 빈 방을 표시하고, 이에 대해 세그먼트(112, 114)에 나타난 사이트는 각각 단일 참가자(참가자(120, 130))를 포함한다. 결과적으로, 이러한 세션의 기간동안, 오직 스크린 면적의 절반만이 효과적으로 사용되고 또 다른 절반은 비효율적으로 사용된다. 세그먼트(116) 및 세그먼트(118)의 면적은 참가자의 경험에 기여하지 않고 따라서 스마트하고 효율적인 방식으로 활용되지 않는다.
또한, 세그먼트(112, 114) 모두에서 볼 수 있는 바와 같이, 이미지의 대부분 면적은 중복된다. 비디오 이미지는 방의 대부분을 포착하지만 참가자의 이미지(120, 130)는 작고 적은 면적에 위치되어 있다. 따라서, 디스플레이 에어리어의 상당부분은 비관심으로 영역에 낭비된다. 결과적으로, 참가자의 이미지에 의해 포착된 면적은 영향을 받고, 비디오 컨퍼런스의 레이아웃을 보는 참가자의 경험은 최적이 아니다.
더욱이, 일부 컨퍼런스 세션에서, 하나 이상의 사이트는 단일 참여자를 갖고 있지만, 다른 사이트에서는, 2개 이상의 참가자가 존재한다. 현 유용한 레이아웃에서, 각 사이트는 유사한 세그먼트 사이즈를 수용하고 결과적으로, 복수의 참가자를 갖는 사이트에서의 각 참여자는 보다 적은 참여자를 갖는 사이트내의 참가자보다 적은 면적에서 표시되어, 뷰어의 경험을 열화시킨다.
일부 비디오컨퍼런싱 세션에서, 복수의 참가자중 오직 하나만이 액티브하고 다른 사이트와 대화하지 않는 복수의 참가자를 갖는 사이트가 존재할 수 있다. 보통 이러한 방내의 비디오 카메라는 복수의 참가자와 함께 전체 방을 포착하여, 작은 스크린 면적을 액티브 참가자를 포함하는 참가자의 각각에게 할당한다. 이러한 세션에서, 컨텐트(데이터)는 보통 다른 세그먼트에 나타난 비디오 이미지로부터 독립적으로 세그먼트중 하나에서, 레이아웃의 일부로서 표시될 수 있다.
컨퍼런스 콜 동안 참가자중 하나가 카메라로부터 멀리 물러선다면, 그 참가자의 이미지는 보다 작게 보일 것이고 다시 비디오 컨퍼런스의 레이아웃을 보는 참가자의 경험은 열화된다. 이와 마찬가지로, 표시된 사이트에서의 참가자가 특정 시간 동안 방을 떠나 나중에 돌아온다면, 빈 방은 참가자가 없는 동안 레이아웃에 표시된다.
일부 공지된 기술에서, 다른 사이트에서의 보는 참가자는 컨퍼런스의 다이나믹스로 조정하기 위해 이들의 엔드포인트에서 보여지는 레이아웃을 수동으로 변경할 수 있지만, 이것은 참가자가 이들이 하고 있는 것을 중단하고 이러한 조정을 하기 위해 레이아웃 메뉴를 처리하도록 요구한다.
CP 비디오컨퍼런싱의 레이아웃에 세그먼트를 배열하기 위한 본 방법은 상이한 사이트에 위치된 참가자와 레이아웃을 보는 참가자 사이의 인터랙션을 무시한다. 도 1의 예시된 종래기술 CP 레이아웃(100)을 보는 참가자는 두 참가자(120, 130)가 뒤로 앉아 있는 참가자의 비자연스런 뷰를 본다. 이러한 효과는 두 참가자가 세션에서 도미넌트 참가자이고 대화의 대부분이 이들간에 이루어질 때 훨씬 더 악화될 수 있다. 이러한 레이아웃은 피어 사이의 컨퍼런스를 반영하지 않는다.
상이한 사이트에 나타낸 참가자간의 인터랙션에 따른 레이아웃의 적용 및 배열은 레이아웃에 기초한 CP 비디오 이미지의 뷰어의 경험을 향상시킬 수 있다. 상이한 사이트에서의 상이한 참가자간의 인터랙션에 따른 레이아웃의 적용 및 배열은 참가자가 서로 보는 리얼 컨퍼런스와 유사한 겅험을 제공할 수 있다. 또한, 동일한 사이트에 참가자간의 인터랙션에 이러한 레이아웃을 적용함으로써 이러한 레이아웃에 기초한 CP 비디오 이미지를 관찰하는 다른 사이트내의 참가자의 겅험을 향상시킬 수 있다. 예를 들어, 오직 하나가 액티브한 복수의 참가자를 갖는 사이트는 하나가 참가자의 전체 그룹을 나타내고, 또 다른 하나가 보다 큰 사이즈로 액티브 참가자를 나타내는 2개의 세그먼트로 표시될 수 있다.
도 2는 도 1과 동일한 비디오컨퍼런싱 세션의 레이아웃(200) 예를 설명하고, 사이트(B, A)로부터 나오는 비디오 이미지의 위치는 컨퍼런스의 보다 생생한 느낌을 주기 위해 레이아웃(200)에서 변경되었다. 참가자(130)를 갖는 사이트(B)는 세그먼트(114)에 표시되는 대신에 세그먼트(112)에 표시되고, 사이트 A로부터의 이미지(120)는 세그먼트(112)에 표시되는 대신에 세그먼트(114)에 표시된다. 새로운 위치는 방안에 앉아 있는 2명의 참가자(120, 130)간의 인터랙션을 보다 더 잘 반영한다. 새로운 배열은 뒤로 참가자가 앉아 있는 것과 비교할 때 보다 편안한 느낌을 전달한다. 또한, 레이아웃의 배열은 뷰어가 참가자의 하나인 뷰어의 경험을 강화시킬 것이다. 그 이유는 레이아웃내의 새로운 배치에서의 표시된 참가자는 이들이 뷰어를 마주하는 것처럼 레이아웃의 중심을 마주하고 있기 때문이다. 일부 실시예에서, 사이트 C로부터의 비디오 이미지를 갖는 세그먼트(116)가 또한 중심으로 이동될 수 있다.
표시된 사이트간의 인터랙션은 컨퍼런스에서 대표적인 2개 이상의 사이트를 포함할 수 있는데, 사이트내의 사람의 배치/상대적 위치; 사람이 마주하고 있는 방향등이 있을 수 있다. 상이한 기술이 방의 중심과 비교한 참가자의 위치를 발견하도록 도울 수 있다. 한 기술예는 참가자의 눈의 방향에 관한 정보를 사용할 수 있다. 복수의 비디오컨퍼런싱 세션을 관찰하는 것으로부터, 이미지의 좌측에 위치된 참가자가 우측을 보고 우측에 있는 참가자가 좌측을 보고 양측이 방의 중심쪽으로 보고 있는 것을 발견하였다. (좌우 방향은 이미지를 보는 사람의 뷰로부터 나온다.) 상이한 사이트에 앉아 있는 참가자 간의 인터랙션을 결정하기 위해, 하나의 실시예는 세션에 참가하는 상이한 사이트로부터 디코딩된 수신 비디오 이미지를 처리할 수 있다.
주기적으로(각 결정주기마다), 각 비디오 이미지내의 관심 영역(ROI)이 발견되고 각 수신된 비디오 이미지의 상대 위치에 대하여 결정이 만들어질 수 있다. 결과에 기초하여, 하나의 실시예에서의 MCU는 레이아웃내의 좌측 세그먼트를 방의 좌측에 참가자가 앉아 있는 사이트에 할당하고 우측 세그먼트를 방의 우측에 참가자가 앉아 있는 사이트에 할당할 수 있다. 도 2에 설명된 바와 같이, 세그먼트(112)는 참가자(130)를 갖는 사이트 B에 할당되고, 세그먼트(114)는 사이트 A에 할당된다.
상이한 사이트의 참가자는 동일한 상대 위치(방의 중심의 좌우측)에 앉아 있는 일부 실시예에서, 이미지의 하나 이상은 미러링될 수 있다. 이미지의 미러링은 예를 들어, 각 열의 우측 에지로부터 좌측 에지로 비디오 데이터를 판독하고, CP 레이아웃내의 관련 세그먼트내의 적합한 열의 좌측 에지로부터 좌로부터 우로 비디오 데이터를 기록함으로써, 일부 실시예에서, CP 레이아웃을 구축하면서 이루어질 수 있다. 이러한 레이아웃내의 위치는 또 다른 사이트가 이전의 도미넌트 사이트중 하나 대신에 도미넌트 될 때와 같이, 동적으로 변화될 수 있다. 도미넌트 사이트는 컨퍼런스의 특정 기간동안, 예를 들어, 프리젠팅된 참가자의 나머지가 조용하는 동안 대화와 같은 토크를 행하고 있는 임의의 2개의 사이트일 수 있다.
상이한 알고리즘이 각 사이트의 비디오 이미지내의 ROI를 결정하기 위해 사용될 수 있다. 수시로 실시예는 상이한 사이트로부터 수신된 비디오 이미지 각각으로부터 단일 프레임을 저장할 수 있다. 각 저장된 프레임은 ROI를 정의하기 위해 분석될 수 있다. 알고리즘의 실시예는 비디오 이미지의 에어리어의 색조를 분석할 수 있어서 참가자가 표시되는 영역을 정의하기 위해 플레쉬 톤 컬러를 찾을 수 있다. 이러한 실시예는 참가자를 검출하는데 사용하기 위해 플레쉬 톤 컬러의 뱅크를 포함할 수 있다.
다른 실시예는 ROI 로케이션을 결정하기 위해 모션 검출을 사용할 수 있다. 하나의 실시에에서, 모션 검출기는 압축된 비디오 파일과 연관된 모션 벡터에 기초할 수 있다. 모션 검출기의 다른 실시예는 실행성 디코딩된 프레임 사이의 변화 에어리어의 에어리어를 탐색할 수 있다.
다른 실시예는 참가자의 얼굴의 위치를 결정하기 위해 페이스 검출 소프트웨어를 사용할 수 있다. 페이스 검출 소프트웨어의 하나의 예는 Fraunhofer IIS로부터의 SHORE 소프트웨어이다. SHORE는 페이스 및 객체 검출 및 정밀 분석을 위해 크게 최적화된 소프트웨어 라이브러리이다. (SHORE는 Fraunhofer IIS의 상표이다.) 또 다른 소프트웨어는 뉴러 테크놀로지의 VeriLook SDK이다. 그러나, 또 다른 페이스 검출 소프트웨어는 인텔 코포페이션에 의해 최초 개발된 OpenCV이다.
독자는 www.consortium.ri.cmu.edu/projOmega.php 및 www.consortium.ri.cmu.edu/projFace.php에서 페이스 검출 소프트웨어에 대한 추가 정보를 발견할 수 있다. 검출된 얼굴의 크기 및 위치에 기초하여, 실시예는 비디오 이미지의 중심에 대한 ROI의 상대적인 위치를 추정할 수 있다.
또 다른 실시예는 실내의 화자의 상대적 위치를 결정하기 위해, 복수의 마이크로폰으로부터 수신된 오디오 에너지를 처리함으로써 화자의 위치 및 실내의 이러한 이미지의 ROI를 결정할 수 있도록 2개 이상의 마이크로폰을 사용한다.
사이트가 복수의 마이크로폰을 갖고 있는 일부 실시예에서, 각 마이크로폰으로부터 수신된 오디오 신호의 에너지의 차이는 참가자중 하나가 액티브 참가자이고 실내 참가자의 나머지가 패시브 또는 조용한지를 결정하기 위해 사용될 수 있다. 액티브 참가자는 특정 기간(예를 들어, 수초로부터 수분) 동안 실내에서 대화하는 특정 퍼센트(예를 들어, 70-90%)보다 많이 한 참가자로서 정의될 수 있다. 액티브 참가자가 정의되면, 액티브 참가자 주위에 크로핑되는, 해당 사이트로부터의 비디오 이미지의 일부가 표시되는 추가 비디오 세그먼트가 할당될 수 있다. 이러한 세그먼트는 전체 사이트를 표시하는 세그먼트에 추가하여 레이아웃에 추가될 수 있다.
일부 실시예에서, 액티브 참가자 주변의 크롭핑 에어리어의 경계에 대한 결정은 복수의 마이크로폰으로부터 수신된 오디오 에너지를 분석하는 단계와 상관하여 얼굴 검출기를 사용함으로써 실행될 수 있다. 다른 실시예에서, 이러한 사이트에 2개의 세그먼트, 즉, 전체 그룹의 참가자의 비디오 이미지를 위한 하나의 세그먼트와 액티브 참가자 주변에 크롭핑된 에어리어를 위한 하나의 세그먼트를 할당하는 대신에, 단일 세그먼트가 액티브 참가자에 할당될 수 있다. 또한, 그 별개의 세그먼트내의 액티브 참가자는 처리될 수 있고 레이아웃의 중심을 향하는 레이아웃에 배치될 수 있다.
일부 실시예에서, ROI 검출기는 엔드포인트에 존재할 수 있고 ROI의 상대적 위치는 소유주 메시지 또는 헤더내의 비디오 이미지와 함께 전송될 수 있다.
또 다른 예에서, RF 트래커는 실내의 가입자의 위치를 정의하기 위해 사용될 수 있다. 이러한 신호는 엔드포인트와 연관된 실내에 위치된 2개 이상의 안테나에 의해 수신될 수 있다. 수신된 RF 신호는 엔드포인트에 의해 처리될 수 있고 위치는 소유주의 메시지 또는 헤더내의 비디오 이미지와 함께 전송될 수 있다.
일부 실시예에서, 다른 기술은 상이한 사이트 사이의 인터랙션을 정의하기 위해 사용될 수 있다. 예를 들어, 각 사이트로부터 수신된 오디오 에너지 인디케이션이 처리될 수 있다. 이러한 처리는 일정 기간 동안 화자 사이의 인터랙션을 따를 수 있다. 이러한 인터랙션이 2개의 사이트 사이에 있다면, 2개의 사이트로부터의 이미지는 레이아웃(200) 이미지(112, 114)로서 서로 마주하고 있는 상위 열에 배치될 수 있다. 이러한 사이트는 도미넌트 사이트 또는 도미넌트 참가자로 불릴 수 있다. 일부 실시에에서, 도미넌트 사이트는 보다 큰 세그먼트에 표시될 수 있다.
일부 실시예에서, 다른 기술이 상이한 사이트로부터 비디오 이미지에 할당되는 세그먼트에 더하여 세그먼트중 하나에 컨텐트가 표시되는 예를 들어, 비디오컨퍼런싱 세션의 상이한 사이트 사이의 인터랙션을 정의하기 위해 사용될 수 있다. 이러한 컨텐트는 레이아웃의 중심의 세그먼트에 표시될 수 있고 상이한 사이트로부터의 비디오 이미지는 이러한 컨텐트의 세그먼트 주위에 표시될 수 있다. 할당된 세그먼트내의 각 비디오 이미지는 조작되어 참가자가 컨텐트쪽으로 볼 수 있다. 또한, 컨텐트를 생성하는 엔드포인트는 컨텐트의 일측에 표시될 수 있고 다른 사이트는 이러한 컨텐트의 타측에 표시될 수 있다.
다른 실시예에서, ROI의 상대 이치는 수동으로 정의될 수 있다. 이러한 실시예에서, 클릭 앤드 뷰 기능이 각 사이트의 비디오 이미지내의 ROI를 가리키기 위해 사용될 수 있다. 클릭 앤드 뷰 기능에 대해 배우기 원하는 독자는 모든 목적을 위해 여기에 그 전체가 언급되어 통합된 미국 특허 제7,542,068을 참조할 수 있다. 대안으로, 일부 실시예에서, 사이트 사이의 인터랙션은 클릭 앤드 뷰 기능을 사용함으로써 참가자중 하나에 의해 수동으로 정의될 수 있다.
본 명세서의 여러 특징은 첨부된 도면 및 상세한 설명으로 명백해질 것이다. 상술된 요약은 본 발명의 각 잠재적 실시예 또는 모든 특징을 요약하도록 의도된 것이 아니며 본 발명의 다른 특징 및 장점은 첨부된 도면 및 첨부된 청구범위와 함께 본 실시예의 아래의 상세한 설명을 읽을 때 명백해질 것이다. 또한, 종래의 비디오컨퍼런싱에서의 상술된 결점은 본 발명의 범위를 임의의 방식으로 제한하려고 의도된 것이 아니고 단지 설명을 위해 제시되었다.
또한, 본 실시예가 당업자에게 본 발명의 개념을 설명하기 위해 상세하게 기술되었지만, 이러한 실시예는 다양한 수정 및 대안의 형태를 포함한다. 따라서, 본 도면 및 명세서는 본 발명의 범위를 임의의 방식으로 제한하려고 의도된 것은 아니다.
본 발명의 장치 및 방법의 구현을 설명하는 다음의 도면은 본 발명의 장점 및 원리를 설명한다.
도 1은 디스플레이된 종래기술의 2X2 레이아웃을 설명하고,
도 2는 하나의 실시예에 따른, 상이한 사이트내의 참가자의 상호작용에 따른 채택된 레이아웃을 설명하고,
도 3은 하나의 실시예에 따른 멀티미디어 멀티포인트 컨퍼런싱 시스템의 관련 엘리먼트를 갖는 블록도를 설명하고,
도 4는 하나의 실시예에 따른 상이한 사이트내의 참가자의 상호작용에 따른 CP 레이아웃을 동적으로 그리고 자동적으로 채택할 수 있는 MCU의 관련 엘리먼트를 설명하고,
도 5는 하나의 실시예에 따른, 인터랙션 디텍터 컴포넌트(IDC)의 관련 엘리먼트를 갖는 블록도를 설명하고,
도 6은 하나의 실시예에 따른, 비디오컨퍼런싱 시스템내의 상이한 사이트내의 사이트간 상호작용을 정의하는 기술에 대한 순서도를 설명하고,
도 7a 및 7b는 하나의 실시예에 다른, 하나 이상의 CP 레이아웃을 자동적으로 그리고 동적으로 채택하는 기술에 대한 순서도를 설명한다.
다음의 설명에서, 설명을 위해, 다수의 특정 디테일이 본 발명의 온전한 이해를 위해 제공된다. 하지만, 이러한 구체적인 디테일 없이 본 발명이 구현될 수 있다는 것을 당업자는 잘 알 것이다. 다른 예에서, 구조 및 디바이스는 본 발명의 불명확함을 피하기 위해 블록도의 형태로 도시되어 있다. 스크립트 없는 넘버의 언급은 언급된 넘버에 상응하는 스크립트의 모든 인스턴스를 언급하는 것으로 이해된다. 또한, 이러한 명세서에 사용된 언어는 설명을 위해 주로 선택되었고, 본원을 제한하고자 선택된 것은 아니다. 본 명세서에서 "하나의 실시예"는 이러한 실시예와 연결되어 기술된 특정 특징, 구조, 또는 특성이 본 발명의 적어도 하나의 실시예에 포함되는 것을 의미하고 "하나의 실시예"에 대한 다수의 언급이 동일한 실시예를 반드시 언급하는 모든 것으로서 이해되어서는 안된다.
다음의 설명의 일부가 소프트웨어 또는 펌웨어와 관련되는 것으로 기록되었지만, 실시예는 소프트웨어, 펌웨어, 및 하드웨어의 임의의 조합을 포함하는, 필요에 따라, 소프트웨어, 펌웨어, 또는 하드웨어로 여기에 기술된 특징 및 기능을 구현할 수 있다. 대몬, 드라이버, 엔진, 모듈 또는 루틴에 대한 언급은 임의의 타입의 구현으로 본 실시예를 제한하는 것으로 여겨서는 안된다.
동일한 번호가 다수의 도면을 통해 동일한 요소를 반족하는 도면에서, 본 시스템 및 방법의 실시예 및 특징이 기술되어 있다. 편의를 위해, 동일한 그룹의 일부 요소만이 번호로 라벨링될 수 있다. 도면의 목적은 실시예를 설명하기 위한 것이고 생산 또는 제한을 위한 것이 아니다.
도 1 및 2는 상술되었고 더 설명되지 않을 것이다. 도 3은 하나의 실시예에 따른 멀티미디어 멀티포인트 컨퍼런싱 시스템(300)의 일부의 관련 엘리먼트를 갖는 블록도이다. 시스템(300)은 하나 이상의 MCU(320) 및 복수의 엔드포인트(사이트; 330A-N)을 연결하는 네트워크(310)을 포함할 수 있다. 네트워크(310)가 복수의 MCU(320)를 포함하는 일부 실시예에서, 가상의 MCU는 복수의 MCU를 제어하기 위해 사용될 수 있다. 가상 MCU에 대한 보다 많은 정보는 전체가 여기에 언급되어 통합된 미국 특허 제7,174,365호에서 발견될 수 있다. (터미널로 불릴 수 있는) 엔드포인트(330)는 다른 엔드포인트(330) 또는 MCU(320)과의 실시간, 쌍방향 청각 및/또는 시각 통신을 제공할 수 있는, 네트워크상의 엔티티이다. 엔드포인트(330)는 컴퓨터; PDA(퍼스널 디지털 어시스턴트); 휴대폰; 마이크로폰 및 카메라등을 갖고 있는 TV 세트로서 구현될 수 있다.
MCU는 비디오컨퍼런스를 관리하도록 사용될 수 있다. MCU는 네트워크의 노드에서, 터미널에서 또는 그 외에 위치될 수 있는 컨퍼런스 컨트롤링 엔티티이다. MCU는 특정 기준에 따라 액세스 포트로부터 다수의 미디어 채널을 수신하고 처리할 수 있고 이들을 다른 포트를 통해, 접속된 채널로 분배할 수 있다. MCU의 예는 폴리콤 인코퍼레이티드로부터 입수가능한 MGC-100 및 RMX?2000을 포함한다. (RMX 2000은 폴리콤 인코퍼레이티드의 상표로 등록되어 있다.). 일부 MCU는 2개의 로직 유닛: 미디어 컨트롤러(MC) 및 미디어 프로세서(MP)로 구성되어 있다. 엔드포인트 및 MCU의 보다 온전한 정의는 H.230, H.324 및 H.323 표준과 같은 국제 통신 유니온("ITU")에서 발견될 수 있지만, 이에 제한되는 것은 아니다. ITU 표준에 대한 추가 정보는 ITU 웹사이트 www.itu.int에서 발견될 수 있다.
네트워크(310)는 하나의 네트워크 또는 2개 이상의 네트워크의 조합을 나타낼 수 있다. 네트워크(310)는 패킷 교환망, 회로 교환망, 인티그레이티드 디지털 네트워크(ISDN), 공중 교환통신망(PSTN), 비동기 전송모드(ATN) 네트워크, 인터넷 또는 인트라넷을 포함하는, 임의의 타입의 네트워크일 수 있다. 이러한 네트워크 상의 멀티미디어 통신은 H.230, H.324, H.323, SIP 등을 포함하는 임의의 통신 프로토콜에 기초할 수 있다.
엔드포인트(EP; 330A-N)와 MCU(320) 사이에 통신되는 정보는 시그널링 및 컨트롤, 오디오 정보, 비디오 정보 및/또는 데이터를 포함할 수 있다. 엔드포인트(330A-N)의 상이한 조합은 컨퍼런스에 참여할 수 있다. 엔드포인트(330A-N)는 스피치, 데이터, 비디오, 시그널링, 컨트롤 또는 그 조합을 제공할 수 있다.
엔드포인트(330A-N)는 EP(330)와 MCU(320) 사이의 인터페이스로서 동작할 수 있는 리모트 컨트롤(도면에 도시되지 않음)을 포함할 수 있다. 이러한 리모트 컨트롤은 DTMF(듀얼 톤 멀티 프리퀀시) 시그널, 파엔드 카메라 컨트롤, 컨트롤 패킷등을 사용할 수 있는 다이얼링 키보드(예를 들어, 전화의 키패드)를 포함할 수 있다.
엔드포인트(330A-N)는 또한 엔드포인트에서의 사용자가 컨퍼런스에서 말하거나 다른 사용자에 의해 청취되는 사운드 및 노이즈에 기여하할 수 있도록 하나 이상의 마이크로폰(도면에 도시되지 않음); 엔드포인트(330A-N)가 라이브 비디오 데이터를 컨퍼런스에 입력할 수 있도록 하는 카메라; 하나 이상의 라우드스피커 및 디스플레이(스크린)을 포함할 수 있다.
시스템(300)의 기술된 부분은 단지 대부분의 관련 엘리먼트만을 포함하고 설명한다. 시스템(300)의 다른 섹션은 기술되지 않았다. 시스템의 구성 및 필요에 따라, 각 시스템(300)이 다른 수의 엔드포인트(330), 네트워크(310), 및 MCU(320)를 가질 수 있다는 것을 당업자는 이해할 것이다. 그러나, 설명을 위해, 복수의 MCU(320)를 가진 하나의 네트워크(310)가 도시되어 있다.
MCU(320) 및 엔드포인트(330A-N)는 멀티포인트 비디오 컨퍼런싱의 CP 비디오 이미지를 보는 회의 참가자의 경험을 향상시키기 위해 본 발명의 다양한 실시예에 따라 동작하도록 구성될 수 있다. 중앙화된 구조를 구현하는 실시예에서, MCU(320)는 여기에 기술된 자동 디스플레이 어댑테이션 기술을 실행하도록 구성될 수 있다. 대안으로, 분배된 구조에서 MCU(320)는 물론 엔드포인트(330A-N)는 자동 디스플레이 어댑테이션 기술을 실시하도록 구성될 수 있다.
상이한 실시예에 따른 MCU(320) 및 엔드포인트(330A-N)의 동작에 대한 보다 많은 정보가 아래에 개시되어 있다.
도 4는 하나의 실시예에 따른 MCU(400)를 설명하고 있다. MCU(400)는 네트워크 인퍼페이스 모듈(NI; 420), 오디오 모듈(430), 컨트롤 모듈(440) 및 비디오 모듈(450)을 포함할 수 있다. MCU(400)의 대안의 실시예는 도 4에 도시된 컴포넌트 모두를 포함할 수 없고 및/또는 다른 컴포넌트를 가질 수 있다. 네트워크 인터페이스 모듈(420)은 네트워크(310)를 통해 복수의 엔드포인트(330A-N)로부터 통신을 수신할 수 있다. NI(420)는 H.320, H.321, H.323, H.324, 세션 초기화 프로토콜(SIP)등을 포함하는 하나 이상의 통신 표준에 따라 통신을 처리할 수 있다. 네트워크 인터페이스(420)는 또한 H.261, H.263, H.264, G.711, G.722, MPEG등을 포함하는 하나 이상의 압축 표준에 따라 통신을 처리할 수 있다. 네트워크 인터페이스(420)는 다른 MCU 및 엔드포인트로/로부터 컨트롤 및 데이터 정보를 송수신할 수 있다. 엔드포인트와 MCU 사이의 통신에 관한 보다 많은 정보 및 시그널링, 컨트롤, 압축 및 비디오 콜의 세팅을 기술하는 정보는 국제 통신 연합(ITU) 표준 H.320, H.321, H.323, H.261, H.263, H.264, G.711, G.722 및 MPEG등 또는 IETF 네트워크 워킹 그룹 웹사이트(SIP에 대한 정보)로부터 발견될 수 있다.
MCU(400)는 제시된 사이트 사이의 검출된 상호작용에 따라 CP 레이아웃을 동적으로 그리고 자동으로 채택한다. 제시된 사이트 사이의 상호작용은 컨퍼런스에서 지배적인 2개 이상의 사이트; 사이트내의 사람의 배치; 사람이 마주하는 방향등을 포함할 수 있다.
네트워크 인터페이스 모듈(420)은 엔드포인트(330A-N)와 MCU(320) 사이에 통신되는 상이한 신호, 미디어 및/또는 "시그널링 및 컨트롤"을 멀티플렉싱하고 디멀티플렉싱할 수 있다. 압축된 오디오 신호는 오디오 모듈(430)로/로부터 전송될 수 있다. 압축된 비디오 신호는 비디오 모듈(450)로/로부터 전송될 수 있다. "컨트롤 및 시그널링" 신호는 컨트롤 모듈(440)로/로부터 전송될 수 있다. 또한, 분배된 구조가 사용된다면, 네트워크 인터페이스 모듈(420)은 컨트롤 모듈(440)과 엔드포인트(330A-N) 사이에 전송되는 자동 그리고 동적 CP 레이아웃 어댑테이션 관련 정보를 처리할 수 있다.
동적 CP 레이아웃 어댑테이션 정보가 RTP(실시간 트랜스포트 프로토콜) 패킷의 페이로드의 사전정의된 헤더의 일부로서 전송되는 실시예에서, NI(420)는 사전정의된 헤더를 처리하여 자동 그리고 동적 CP 레이아웃 어댑테이션 정보를 RTP 패킷에 더하고 RTP 패킷을 엔드포인트(330A-N)등에 전송하도록 구성될 수 있다. 실시예에서, 동적 CP 레이아웃 어댑테이션 정보는 파엔드 카메라 컨트롤(FECC) 채널(도 4에 도시되지 않음)을 통해 전송될 수 있거나, 독점 프로토콜과 합치하는 전용 패킷의 페이로드로서 전송될 수 있다. 또 다른 실시예에서, 동적 CP 레이아웃 어댑테이션 정보는 MCU 내부 모듈에 의해 검출되고 전송될 수 있다. 이러한 동적 CP 레이아웃 어댑테이션 정보는 ROI(관심 영역), 이러한 ROI가 대면하는 방향, 비디오 이미지의 중심에 비교되는 ROI의 상대 위치, 및/또는 사이트 사이의 인터랙션을 포함할 수 있다.
오디오 모듈(430)은 NI(420)에 의해 그리고 오디오 라인(422)을 통해, 복수의 엔드포인트(330A-N)로부터, 압축된 오디오 스트림을 수신할 수 있다. 오디오 모듈(430)은 이러한 수신된 압축된 오디오 스트림을 처리할 수 있다. 오디오 모듈(430)은 수신된 오디오 스트림으로부터 관련 오디오 스트림을 압축해제, 디코딩 및 혼합할 수 있다. 오디오 모듈(430)은 이러한 압축된 인코딩된 혼합된 신호를 인코딩, 압축하고 오디오 라인(422) 및 NI(420)를 통해 하나 이상의 엔드포인트(330A-N)에 전송할 수 있다.
오디오 모듈(430)은 복수의 엔드포인트(330A-N)로부터 네트워크 인터페이스(420)를 통해, 압축된 오디오 스트림을 수신할 수 있다. 이러한 오디오 모듈(430)은 압축된 오디오 스트림을 디코딩하고, 이러한 디코딩된 스트림을 분석하고, 특정 선택하고 이러한 선택된 스트림을 혼합할 수 있다. 이렇게 혼합된 스트림은 압축될 수 있고, 이렇게 압축된 오디오 스트림은 이렇게 압축된 오디오 스트림을 상이한 엔드포인트(330A-N)에 전송하는 네트워크 인터페이스(420)에 전송될 수 있다. 상이한 엔드포인트에 전송되는 오디오 스트림은 상이할 수 있다. 예를 들어, 오디오 스트림은 상이한 통신 표준에 따라 그리고 개별적인 엔드포인트의 필요에 따라 포맷팅될 수 있다. 이러한 오디오 스트림은 오디오 스트림이 전송되는 엔드포인트와 연관된 참가자의 음성을 포함할 수 있다. 그러나, 이러한 참가자의 음성은 모든 다른 오디오 스트림에 포함될 수 있다.
실시예에서, 오디오 모듈(430)은 적어도 하나의 DTMF 모듈(435)을 포함할 수 있다. DTMF 모듈(435)은 수신된 오디오 스트림으로부터 DTMF(듀얼 톤 멀티 프리퀀시) 신호를 검출하고 및/또는 잡을 수 있다. DTMF 모듈(435)은 DTMF 신호를 DTMF 컨트롤 데이터로 전환할 수 있다. DTMF 모듈(435)은 DTMF 컨트롤 데이터를 컨트롤 라인(444)을 통해 컨트롤 모듈(440)에 전송할 수 있다. DTMF 컨트롤 데이터는 인터랙티브 보이스 리스판스(IVR)과 같은 인터랙티브 인터페이스를 사용하여 컨퍼런스를 제어하도록 사용될 수 있지만 이에 제한되는 것은 아니다. 다른 실시예에서, DTMF 컨트롤 데이터는 클릭 및 뷰 펑션을 사용하여 사용될 수 있다. 본 발명의 다른 실시예는 DTMF 모듈(435)에 더하여 또는 그 대신에 스피치 인식 모듈(도시되지 않음)을 사용할 수 있다. 이러한 실시예에서, 스피치 인식 모듈은 화상회의의 파라미터를 제어하기 위해 참가자의 음성 명령을 사용할 수 있다.
오디오 모듈(430)은 엔드포인트로부터 수신된 오디오 신호를 분석하고 각 오디오 신호의 에너지를 결정하도록 구성될 수 있다. 신호 에너지상의 정보는 컨트롤 라인(444)을 통해 컨트롤 모듈(440)에 전달될 수 있다. 일부 실시예에서, 2개 이상의 마이크로폰이 특정 사이트에 사용될 수 있다. 이러한 실시예에서, 오디오 모듈(430)은 오디오 인터랙션 검출기 컨포넌트(AIDC; 437)를 포함할 수 있다. 각 마이크로폰으로부터의 에너지는 AIDC(437)로 전달될 수 있고 관심 영역(ROI) 배치 및/또는 특정 사이트내의 ROI의 상대적 위치를 결정하기 위해 사용될 수 있다. 일부 실시예에서, 에너지 레벨은 화상회의에 혼합되는 오디오 신호로서 적합한 하나 이상의 엔드포인트를 선택하기 위한 선택 파라미터로서 사용될 수 있다. 이러한 엔드포인트는 선택된 엔드포인트 또는 표시된 엔드포인트로서 불린다. 분배 구조의 다른 실시예에서, 엔드포인트(330A-N)는 오디오 모듈(430)의 기능의 일부를 가질 수 있다.
전형적인 MCU의 공통 동작에 더하여, MCU(400)는 컨트롤 모듈(440)을 갖는 결과로서 추가 동작을 할 수 있다. 이러한 컨트롤 모듈(440)은 MCU(400)의 동작 및 그 내부 모듈의 동작을 제어할 수 있다. 모듈에는 오디오 모듈, 비디오 모듈(450)등이 있으나 이에 제한되는 것은 아니다. 컨트롤 모듈(440)은 MCU(400)의 상이한 내부 모듈로부터 수신된 명령을 처리할 있는 로직 모듈을 포함할 수 있다. 컨트롤 모듈(440)의 실시예는 컨트롤 라인(444)을 통해 DTMF 모듈(435)로부터 수신된 명령을 처리할 수 있다. 이러한 컨트롤 신호는 컨트롤 라인(444, 446 및/또는 448)을 통해 전송되고 수신될 수 있다. 컨트롤 신호에는 클릭 및 뷰 펑션을 통해 참가자로부터 수신된 명령어; 비디오 모듈(450)로부터 검출된 상태 정보등이 있으나 이에 제한되는 것은 아니다.
컨트롤 모듈(440)은 MCU(400)의 동작을 제어하는 로지컬 유닛일 수 있다. 전형적인 MCU의 공통 동작에 더하여, MCU(400)는 컨트롤 모듈(440)을 갖는 결과로서 추가 기능을 행할 수 있다. 컨트롤 모듈(440)은 각 사이트에 표시될 레이아웃을 채택하는 인터랙션 레이아웃 컨트롤러(ILC; 442)를 포함할 수 있다. ILC(442)는 컨퍼런스 콜에 참가할 사이트, 그만둔 사이트, 컨퍼런스를 떠난 사이트, 컨퍼런스에 조인한 사이트등의 수를 포함하는 정보 및 업데이트를 NI(420)로부터 수신할 수 있다. 다른 타입의 정보는 하나 이상의 참가자가 요청하는 레이아웃에 관한 명령어등을 포함할 수 있다.
하나의 실시예에서, ILC(422)는 하나 이상의 엔드포인트(330A-N)에 표시되는 레이아웃을 결정 및/또는 제어할 수 있다. ILC(442)는 NI(429) 및/또는 DTMF(435)를 통해 엔드포인트(330A-N)로부터 컨트롤 정보를 수신할 수 있다. ILC(442)는 또한, 오디오 모듈(430), 비디오 모듈(450), 상이한 비디오 이미지내의 ROI의 상대적 위치를 포함하는, MCU(400) 내부 유닛으로부터의 검출된 정보를 수신할 수 있다. 상이한 정보 및 컨트롤 정보에 따라, ILC(442)는 각각의 레이아웃을 배열하고 컨트롤 라인(448)을 통해 비디오 모듈(450)의 내부 유닛으로 컨트롤 명령어를 전송하는 방법을 결정할 수 있다. 예시의 명령어는 어느 비디오 이미지를 표시할지 여부, 레이아웃내의 각 비디오 이미지의 배치, 이미지 미러 요구, 특정 사이트로부터의 이미지 스케일 다운 또는 스케일 업, 특정 수의 세그먼트에 의한 레이아웃의 빌드 또는 업데이트등을 포함할수 있다. ILC(442)상의 보다 많은 정보는 도 7과 관련하여 개시되어 있다.
비디오 모듈(450)은 네트워크(310)를 통해 MCU(400)쪽으로 전송되고 NI(420)에 의해 처리되는 복수의 엔드포인트(330A-N)로부터 압축된 비디오 스트림을 수신할 수 있다. 비디오 모듈(450)은 MCU(400)에 의해 현재 시행되는 하나 이상의 컨퍼런스와 연관된 하나 이상의 레이아웃에 따라 하나 이상의 압축된 CP 비디오 이미지를 생성할 수 있다.
비디오 모듈(450)의 실시예는 하나 이상의 입력 모듈(451A-X), 하나 이상의 출력 모듈(455A-X), 및 비디오 공통 인터페이스(454)를 포함할 수 있다. 입력 모듈(451A-X)는 하나 이상의 참가 엔드포인트(330A-N)로부터, 압축된 입력 비디오 스트림을 처리할 수 있다. 출력 모듈(455A-X)은 하나 이상의 엔드포인트(330A-N)에 CP 비디오 이미지의 비디오 스트림의 구성된 압축된 출력을 생성할 수 있다.
이러한 압축된 출력 비디오 스트림은 지정된 엔드포인트에 대한 컨퍼런스를 나타내는 비디오 스트림을 형성하기 위해 다수의 입력 스트림으로부터 구성될 수 있다. 비압축된 비디오 데이터는 시분할 멀티플렉싱(TDM) 인터페이스, 비동기 전송 모드(ATM) 인터페이스, 패킷 기반 인터페이스, 및/또는 공유 메모리를 포함하는 임의의 적합한 타입의 인터페이스를 포함할 수 있는 공통 인터페이스(454)상의 입력 모듈(451A-X) 및 출력 모듈(455A-X)에 의해 공유될 수 있다. 공통 인터페이스(454)상의 데이터는 온전히 비압축되거나 부분적으로 비압축될 수 있다. 예시된 비디오 모듈(450)의 동작은 미국 특허 제6,300,973에 기술되어 있다.
각 입력 모듈(451A-X)은 압축된 입력 비디오 스트림을 디코딩하기 위한 디코더(452)를 포함할 수 있다. 하나의 실시예에서, 각 입력 모듈(451A-X)은 또한 인터랙션 검출기 컴포넌트(IDC; 453)를 포함할 수 있다. 대안의 실시예에서, 모든 입력 모듈(451)에 대해 하나의 IDC(453)이 존재할 수 있다. IDC(453)의 실시예는 ROI 및/또는 비디오 이미지내의 ROI의 상대적 위치를 검출할 수 있다. IDC(453)는 상이한 사이트(330A-N) 사이의 인터랙션을 검출할 수 있다. IDC(453)는 상이한 입력 비디오 스트림으로부터, 검출된 정보를 ILC(442)에 알릴 수 있다. 이러한 정보는 컨트롤 라인(448)을 통해 전송될 수 있다.
가끔, 주기적으로 및/또는 ILC(442)로부터 명령어를 수신시에, IDC(453)의 실시예는 디코더(452)에 의해 출력된 데이터를 포착, 샘플링 및 분석할 수 있다. IDC(453)의 실시예는 연관된 엔드포인트(330)로부터 수신된 디코딩된 비디오 이미지를 분석하고 하나 이상의 ROI 및/또는 이들의 비디오 이미지내의 상대적인 위치의 좌표를 정의하도록 구성될 수 있다. IDC(453)의 분석은 또한 상이한 엔드포인트간의 인터랙션을 결정하기 위해 사용될 수 있다.
검출은 하나 이상의 상이한 검출 기술, 모션 검출, 플레쉬 톤 검출기, 동일한 룸에 위치된 복수의 마이크로폰으로부터 수신된 오디오 신호의 오디오 에너지 지시, 페이스 검출기 또는 상이한 검출기의 상이한 조합에 따라 이루어질 수 있다. 오디오 신호의 지시는 오디오 모듈(430)으로부터 수신될 수 있다. IDC(435)는 컨트롤 라인(448)을 통해 ILC(442)에 검출된 정보를 출력할 수 있다. IDC(453) 동작에 대한 보다 많은 정보는 도 5에 관련하여 개시되어 있다.
하나의 실시에에서, 엔드포인트(330A-N)의 각각에 대한 하나의 비디오 입력 모듈(451)이 존재한다. 이와 마찬가지로, 비디오 모듈(450)은 엔드포인트(330A-N)의 각각에 대한 하나의 비디오 출력 모듈을 포함할 수 있다. 각 출력 모듈(455)은 에디터 모듈(456)을 포함할 수 있다. 에디터 모듈(456)은 ILC(442)로부터 정보 및/또는 명령어를 수신할 수 있다. 각 비디오 출력 모듈(455)은 복수의 엔드포인트(330A-N)의 특정 엔드포인트로 개별화된 스크린 레이아웃을 산출할 수 있다. 각 비디오 출력 모듈(455)은 출력 비디오 스트림을 인코딩할 수 있는 인코더(458)을 더 포함할 수 있다. 또 다른 실시예에서, 하나의 출력 비디오(455)는 복수의 엔드포인트(330A-N) 또는 심지어 컨퍼런스에 참가하는 모든 엔드포인트(330A-N)를 도울 수 있다.
입력 모듈(451A-X)로부터의 비디오 데이터는 ILC(442)로부터 수신된 명령어에 따라, 공통 인터페이스(454)로부터 적합한 출력 모듈(455A-X)에 의해 수신될 수 있다.
에디터(456)는 CP 이미지의 압축된 비디오와 연관된 레이아웃내의 이미지의 위치 및 크기에 따라, 에디터 프레임 메모리에 각 선택된 참가자의 비디오 데이터를 수정, 스케일링, 크로핑, 및 배치할 수 있다. 이러한 수정은 ILC(442)로부터 수신된 명령어에 따라 이루어질 수 있다. 이러한 명령어는 이미지내의 식별된 ROI 위치와 엔드포인트 사이의 식별된 인터랙션을 고려할 수 있다. 스크린 레이아웃상의 각 직방형(세그먼트, 윈도우)는 상이한 엔드포인트(330)로부터 수정된 이미지를 포함할 수 있다.
에디터 프레임 메모리가 모든 선택된 수정된 참가자의 이미지에 의해 준비될 때, 프레임 메모리내의 데이터는 인코더(458)에 의해 인코딩될 준비가 된다. 이렇게 인코딩된 데이터 비디오 스트림은 그 연관된 엔드포인트(330)쪽으로 전송될 수 있다. 구성된 인코딩되고 압축된 CP 출력 비디오 스트림은 비디오 라인(424)을 통해 NI(420)에 전송될 수 있다. NI(420)는 하나 이상의 CP 압축된 비디오 스트림을 관련 하나 이상의 엔드포인트(330A-N)에 전송할 수 있다.
대안의 실시예에서, 릴레이 MCU(320)가 구현되고 엔드포인트(330)는 그 안에 표시되는 CP 비디오 이미지를 구축할 수 있다. 이러한 실시에에서, ILC(442)는 엔드포인트(330A-N) 자체에 명령어를 제공할 수 있다. 릴레이 MCU의 하나의 실시예가 미국 특허 출원 번호 제12/542,450호에 개시되어 있고, 그 내용은 모든 목적을 위해 그 전체가 여기에 언급되어 통합되어 있다. 이러한 실시예에서, 레이아웃내의 세그먼트간의 인터랙션 및 각 이미지의 ROI의 화소내의 크기는 레이아웃을 나타내는 엔드포인트(330)로의 요청과 함께 엔드포인트(330)에 전송되어서 특정 세그먼트 크기를 갖는 특정 수의 세그먼트, 각 세그먼트의 배치, 이미지에 대한 임의이 수정등이 표시될 것이다. 이러한 엔드포인트와의 통신은 예를 들어, 인터넷 프로토콜(IP) 커넥션상에서 대역을 벗어날 수 있다. 다른 실시예에서, 이러한 통신은 예를 들어, FECC 또는 RTP 패킷의 페이로드의 사전정의된 헤더의 일부로서 대역내에 있을 수 있다.
릴레이 MCU(400)의 또 다른 실시예에서, IDC(453) 및/또는 AIDC(437)는 엔드포인트(330)의 인코더 전방의 엔드포인트(330)내에 내장될 수 있다. 상대 위치 정보는 검출된 패킷의 페이로드로서 네트워크(310) 및 NI(420)를 통해 MCU(400)에서 ILC(442)에 전송될 수 있다. 이러한 실시예에서, ILC(442)는 레이아웃 명령을 엔드포인트(330)내의 에디터에 전송할 수 있다. 엔드포인트(330)내의 에디터는 CP 레이아웃을 구성할 수 있고 이것을 엔드포인트 디스플레이 유닛을 통해 나타낼 수 있다.
릴레이 MCU(400)의 또 다른 실시예에서, 각 엔드포인트(330A-N)는 그 디코더 뒤에 IDC(453)를 그리고 엔드포인트 컨트롤 유닛내에 ILC(442)를 가질 수 있다. 엔드포인트의 IDC(453)는 각 디코딩된 이미지내의 ROI의 상대적 위치에 대한 정보를 엔드포인트내의 ILC 모듈(442)에 전송할 수 있다. ILC(442)는 레이아웃을 결정할 수 있고 이에 따라 엔드포인트 에디터가 레이아웃을 구성하도록 지시할 수 있다. 이러한 릴레이 MCU(400)에서, 각 엔드포인트(330A-N)는 단독 유닛으로서 그 레이아웃을 제어할 수 있다. IDC(453), AIDC(437), 및 ILC(442)의 위치는 실시예마다 다양할 수 있다.
당업계에 공지된 비디오 모듈(450)의 다양한 엘리먼트의 공통 기능은 여기에 상세하게 기술하지 않는다. 상이한 비디오 모듈은 모든 목적을 위해 그 전체가 여기에 언급되어 통합된, 미국 특허 출원 번호 10/144,561; 11/684,271; 11/751,558; 및 12/683,806; 미국 특허 번호 6,300,973; 및 국제 특허 출원 번호 PCT/IL01/00757에 기술되어 있다. 컨트롤 버스(444, 448, 446), 압축된 비디오 버스(424), 및 압축된 오디오 버스(422)는 시분할 멀티플렉싱(TDM) 인터페이스, 비동기 전송 모드(ATM) 인터페이스, 패킷 기반 인터페이스, 및/또는 공유 메모리를 포함하는 임의의 요구되는 타입의 인터페이스일 수 있다.
도 5는 하나의 실시에에 따른 인터랙션 검출기 컴포넌트(IDC; 453)의 일부 엘리먼트를 포함된 블록도이다. IDC(453)는 컨퍼런스내의 주가 되는 2개 이상의 사이트 사이의 인터랙션을 포함하는 제시된 사이트 사이의 인터랙션; 비디오 이미지내의 사람의 배치/상대적인 위치; 사람이 대면하고 있는 방향등을 검출하도록 사용될 수 있다. IDC(453)눈 스케일러 및 하나 이상의 프레임 메모리(SCFM) 모듈(510), 페이스 검출기 프로세서(EDP; 520), 및 ROI 상대 위치 디파이너(RRLD; 530)를 포함할 수 있다. 페이스 검출기 프로세서(FDP; 520)는 SHORE, 베리룩 SDK, 또는 OpenCV에 의해 제공되는 바와 같은 공지된 페이스 검출기 기술을 실행하도록 구성된 DSP에서 구현될 수 있다. 대안의 실시예에서, FDP(520)는 텍사스 인스투르먼트로부터의 DM365를포함하는 페이스 검출 능력을 갖는 하드웨어에서 구현될 수 있다. 중앙 구조를 사용하는 하나의 실시에에서, IDC(453)는 MCU(400)에 내장될 수 있다. 이러한 실시에에서, IDC(453)는 상술된 바와 같이, 비디오 유닛(450)의 일부일 수 있고, 관련 입력 모듈(451A-X)로부터 디코딩된 비디오 데이터를 얻을 수 있다. 대안의 실시에에서, IDC(453)는 입력 모듈(451A-X)의 각각의 일부일 수 있고 그 연관된 디코더(452)로부터 디코딩된 비디오를 수집할 수 있다.
또 다른 실시예에서, IDC(453)는 엔드포인트(330A-N)내에 내장될 수 있다. 이러한 엔드포인트에서, IDC(453)는 ROI 및, 엔드포인트(330)에 의해 생성된 비디오 이미지내의 ROI의 상대적 위치를 결정하는데 사용될 수 있다. IDC(453)는 엔드포인트(330)의 인코더(도면에 도시되지 않음)의 입력부와 연관될 수 있다. IDC(453)는 엔드포인트의 인코더의 입력부에서 사용되는 프레임 메모리로부터의 비디오 이미지의 프레임을 샘플링할 수 있다. ROI에 대한 지시 및/또는 이러한 ROI의 상대적 위치에 대한 지시는 NI(420)를 통해 ILC(442)에 전송될 수 있다. 이러한 지시는 독점 프로토콜과 합치하는 전용 패킷으로 또는 스탠더드 헤더에 정보를 더함으로써 전송될 수 있다. 대안의 실시예에서, 이러한 정보는 사전정의된 키의 스트링등을 사용하여 DTMF 신호로서 전송될 수 있다. ILC(442)는 그 다음의 CP 레이아웃을 어떻게 채택할지를 결정하기 위해 ROI(관심 영역)에 대한 정보를 사용할 수 있다.
도 5의 실시에에서, ROI 상대 위치 디파이너(RRLD; 530)는 ILC(442)로부터 명령어를 수신할 수 있다. 예시된 명령어가 ROI를 검출하고 정의할 수 있고, 사이트에서의 ROI의 상대적 위치등을 검출하고 정의할 수 있다. ILC(442)는 오디오 신호 강도, 레이아웃 변경 수동 명령어, 조인된 새로운 사이트에 대한 정보등을 포함하는 상이한 파라미터에 따라 어느 사이트에서 ROI 및/또는 ROI의 상대적 위치를 검색할지를 결정할 수 있다. RRLD(530)는 ROI의 위치에 기초하여 ROI를 찾고 결정하기 위해 페이스 검출기 프로세서(FDP; 520)에 명령어를 전송할 수 있다. RRLD(530)는 특정 사이트로부터 수신된 비디오 이미지의 프레임에서 ROI의 상대적 위치(이미지의 좌우 또는 중심)를 계산할 수 있다.
FDP(520)는 관련 사이트로부터 디코딩된 비디오 이미지의 프레임을 샘플링하도록 SCFM(510)을 명할 수 있다. 디코딩된 비디오 이미지는 관련 사이트와 연관된 입력 모듈(451A-X)의 디코더(452)로부터 또는 공통 인터페이스(454)로부터 SCFM(510)에 의해 페칭될 수 있다. 그다음, SCFM(510)은 FDP(520)의 요구조건에 따라 비디오 이미지를 스케일링 다운할 수 있고, 이러한 결과를 프레임 메모리에 저장할 수 있다.
FDP(520)와 SCFM(510) 사이의 루프가 하나의 실시에에서 나타날 수 있다. FDP(520)는 SCFM(510)이 이미지를 다시 스케일링 다운하고, 이미지를 스케일링 업하고 및/또는 또 다른 샘플을 페칭하는 것등을 하도록 요구할 수 있다. 이러한 루프는 사전정의된 수의 사이클에 제한될 수 있다. 사이클의 끝에서, FDP(520)는 ROI에 대한 정보를 RRLD(530)에 전달할 수 있다. 아무런 ROI가 발견되지 않은 경우에, (예를 들어, 노우 ROI와 같은) 메시지가 RRLD(530)에 전송될 수 있다. RRLD(530)는 컨트롤 라인(448)을 통해 ILC(442)에 상대 위치에 대한 검출된 정보를 출력할 수 있다. 또 다른 실시에에서, IDC(453)는 좌상부로부터 화소내의 ROI 좌표의 위치를 예를 들어, ILC(442)에 전달할 수 있고 ILC(442)는 상대적인 위치를 계산할 수 있다(좌우 또는 중심).
IDC(453)의 또 다른 실시예는 모션 검출기, 플레쉬 톤 검출기, 및/또는 상이한 검출기의 상이한 조합을 포함하는 기술을 사용하여 비디오 이미지내의 ROI의 위치를 결정하기 위한 다른 모듈을 포함할 수 있다. 모션 검출기에 기초한 일부 실시예(도면에 도시되지 않음)는 클록, 팬, 모니터등과 같은 간섭 모션을 제거하기 위해 대역통과 필터, 저역통과 필터 또는 노치 필터와 같은 하나 이상의 필터를 포함할 수 있다. 다른 실시예는 복수의 마이크로폰으로부터 수신된 오디오 에너지 지시를 처리할 수 있다. 상이한 ROI 검출기에 대해 보다 많은 것을 배우기를 원하는 경우에는 미국 특허 출원 제11,751,558호; 미국 특허 출원 번호 제12/683,806호를 읽을 수 있거나 www.consortium.ri.cmu.edu/projOmega.php 또는 www.consortium.ri.cmu.edu/projFace.php를 방문할 수 있다.
일부 실시예에서, 모션 검출기는 ROI를 결정하기 위해 사용될 수 있다. 하나의 실시예에서, 모션 검출기는 변화가 있는 영역을 정의하기 위해 2개의 실행 프레임을 뺄 수 있다. 화상회의에서, 변화는 보통 머리, 손등의 이동으로 인한 것이다. ROI는 2개의 실행 프레임 사이에서 상이한 에어리어를 둘러싸는 보다 큰 직방형으로서 정의될 수 있다. 이러한 실행 프레임은 하나 이상의 SCFM(510)에 저장될 수 있다.
IDC(453)의 일부 실시에에서, 다른 기술이 상이한 사이트 사이의 인터랙션을 정의하기 위해 사용될 수 있다. 예를 들어, 각 사이트로부터 수신된 오디오 에너지 지시는 오디오 모듈(430) 및 IDC(435)에 전송된 정보에 의해 처리될 수 있다. 이러한 처리는 일정 시간 주기에 따른 화자 사이의 인터랙션을 따를 수 있다. 이러한 인터랙션이 주된 사이트 사이의 음성 인터랙션이라면, 이러한 2개의 사이트는 주된 사이트로서 생각될 수 있다. 이러한 주된 사이트로부터의 이미지는 레이아웃(200) 이미지(120,130)에서와 같이 서로 대면하는 상부 행에 배치될 수 있다. 이러한 실시예에서, IDC(453)는 오디오 모듈(430) 및/또는 컨트롤 모듈(440)로부터 오디오 에너지에 대한 정보를 수신할 수 있다.
하나의 실시예에서, 사이트는 복수의 마이크로폰을 갖고 있고, 실내 화자의 위치 및 이러한 이미지의 ROI는 실내의 화자의 상대 위치를 결정하기 위해 복수의 마이크로폰으로부터 수신된 오디오 에너지를 처리함으로써 결정될 수 있다. 일부 실시예에서, ROI 및/또는 ROI 상대 위치 검출기는 엔드포인트(330)에 존재할 수 있고, ROI의 상대 위치는 독점 메시지 또는 헤더내의 비디오 이미지와 함께 전송될 수 있다.
RRLD(530)와 컨트롤 모듈(440) 사이의 통신은 사용된 구조에 종속될 수 있다. 예를 들어, IDC(453)가 MCU(400)의 비디오 유닛(450)내에 내장되어 있다면, RRLD(530)와 컨트롤 모듈(440) 사이의 통신은 컨트롤 모듈(440)과 비디오 모듈(450)을 연결하는 컨트롤 라인(448)에서 구현될 수 있다.
대안으로, IDC(453)가 엔드포인트(330A-N)에서 위치되고 컨트롤 모듈(440)이 MCU(400)에 위치되어 있는 실시예에서, 통신은 대역외 또는 대역내에서 구현될 수 있다. 대역외 통신은 인터넷 프로토콜(IP) 네트워크상에서 엔드포인트(330A-N)와 MCU(400) 사이의 통신을 통해 처리될 수 있다. 엔드포인트(330)와의 멀티미디어 통신이 패킷 교환망을 통해 이루어진다면, (엔드포인트(330)에서의) IDC(453)와 컨트롤 모듈(440) 사이의 통신은 실시간 트랜스포트 프로토콜(RTP) 비디오 패킷의 페이로드의 사전정의된 헤더를 사용하여 구현될 수 있다. 이러한 실시에에서, 샘플링 명령어는 물론 ROI의 좌표 및/또는 ROI의 상대적 위치는 RTP 비디오 패킷의 페이로드의 사전정의된 헤더내에서 구현될 수 있다. 다른 실시예는 DTMF 및/또는 FECC 채널을 사용할 수 있다.
엔드포인트(330) 볼드페이스에서의 IDC(453)와 컨트롤 모듈(440) 사이의 통신이 멀티미디어 통신을 통해 이루어진다면, 상술된 바와 같이, 네트워크 인터페이스(310)는 수신된 정보를 파싱하고 IDC(453)로부터 수신된 ROI의 좌표 및/또는 ROI의 상대적 위치를 검색하도록 구성될 수 있다. NI(310)는 NI(420)와 컨트롤 모듈(440)을 연결하는 컨트롤 버스(446)를 통해 정보를 컨트롤 모듈(440)에 전달할 수 있다. NI(420)는 샘플링 명령어를 수신하고, 이들을 사용된 통신 기술에 따라 처리하고, 이들을 네트워크(310)를 통해 IDC(453)에 전송하도록 구성될 수 있다.
이러한 결과에 기초하여, 검출된 ROI 및/또는 그 상대적 인터랙션 및 상대적 위치를 고려하는 갱신된 레이아웃을 설계할 수 있다. 갱신된 레이아웃의 구축 방법에 대한 명령은 관련 에디터(456)에 전송될 수 있다. 에디터(4560는 갱신된 레이아웃에 따라, 참가자가 방의 좌측부에 앉아 있는 사이트를 좌측 세그먼트에 배치하고, 반대로, 도 2에 도시된 바와 같이, 세그먼트(112)가 참가자(13)가 있는 사이트 B에 할당된다. 그리고, 세그먼트(114)는 이미지의 우측부에 앉아 있는 참가자(120)를 갖고 있는 사이트 C에 할당된다.
상이한 사이트내의 참가자가 (방의 중심에서 좌측 또는 우측의) 동일한 상대 위치에 앉아 있는 경우에, ILC(442)는 이미지의 하나 이상을 미러링하기 위해 관련 에디터(456)에 명령을 전송할 수 있다. 하나의 실시예에서, 이미지의 미러링은 각 행의 우측 에지로부터 좌측 에지로 비디오 데이터를 판독함으로써, 그리고 CP 레이이웃내의 관련 세그먼트내의 적합한 행의 좌측 에지로부터 좌측으로부터 우측으로 비디오 데이터를 기록함으로써 CP 레이아웃을 구축하는 동안 실행될 수 있다. 이러한 레이아웃내의 위치는 이전의 도미넌트 사이트중 하나 대신에 또 다른 사이트가 도미넌트될 때 동적으로 변경될 수 있다.
또 다른 실시예에서, 하나의 RF 트래커는 실내의 가입자의 상대적 위치를 정의하기 위해 RRLD(530)에 의해 사용될 수 있다. 이러한 신호는 엔드포인트(330)와 연관된 방내에 위치된 2개 이상의 안테나에 의해 수신될 수 있다. 이렇게 수신된 RF 신호는 엔드포인트(330)에 의해 처리될 수 있고 정보는 소유자의 메시지 또는 헤더내의 비디오 이미지와 함게 전송될 수 있다.
도 6은 IDC(453)에 실행될 수 있는 하나의 실시예에 따라 테크닉(600)에 대한 순서도를 설명하고 있다. 테크닉(600)은 비디오 이미지내의 관심 영역(ROI) 및 그 상대 위치를 정의하기 위해 사용될 수 있다. 테크닉(600)은 컨퍼런스의 시작시에 블록(602)에서 개시될 수 있다. 개시 후에, 테크닉(600)은 프레임 카운터(Fcnt) 및 체인지-레이아웃 플래그(CLF)를 블록(604)에서 리셋팅할 수 있다. 하나의 실시예에서, 프레임 카운터(Fcnt)는 입력 모듈(451A-X)의 출력부에서 프레임을 계수할 수 있다. 하나의 실시예에서, 프레임 카운터(Fcnt)는 입력 모듈(451A-X)의 출력부에서 프레임을 계수할 수 있다. 체인지-레이아웃 플래그(CLF) 값은 0 또는 1일 수 있다. CLF 값은 레이아웃 지시에서의 변화가 ILC(442)로부터 수신되었다면 1이다. 이러한 체인지 지시가 나타난 참가자 및 이들의 연관된 입출력 모듈(각각, 451A-X, 455A-X)에 대한, 새로운 레이아웃에 대한 정보를 포함할 수 있다. ILC(442)는 RRLD(530)에게 사이트의 이미지내의 ROI 및 상대 위치에 대한 검색을 요청할 수 있다. 이러한 레이아웃내의 변화는 오디오 신호 강도, 관리 요청, 새로운 참가자등의 결과로서 나타날 수 있다. CLF 값은 레이아웃에 아무런 변화도 표시되지 않았다면 0이다. 일부 실시예에서, CLF는 CM(440)으로부터 또는 클릭-뷰 펑션을 사용함으로써 참가자중 하나로부터 임의로 설정될 수 있다.
다음으로, 테크닉(600)은 새로운 프레임을 수신하기 위해 블록(610)에서 대기할 수 있다. 블록(610)에서 새로운 프레임이 대기 기간중 수신되지 않는다면 테크닉(600)은 블록(610)으로 리턴한다. 블록(610)에서 새로운 프레임이 수신된다면, 테크닉(600)은 블록(612)으로 진행할 수 있고 Fcnt를 하나씩 증분시킬 수 있다. 다음으로, 블록(620)은 Fcnt 값이 사전결정된 값 N1 보다 큰 지 여부 또는 CLF 값이 1인지 여부를 결정한다. 하나의 실시에에서, N1은 범위 1-1000의 구성된 수일 수 있다. 블록(620)에서 Fcnt 값이 N1 보다 크지 않고, CLF 값이 0이라면, 테크닉(600)은 블록(620)으로 리턴한다. 블록(620)에서 Fcnt 값이 N1 보다 크고 및/또는 CLF 값이 1이라면, 테크닉(600)은 블록(622)으로 진행할 수 있다. 하나의 실시예에서, 타이머는 Fcnt 대신에 또는 Fcnt에 더하여 사용될 수 있다. 타이머는 임의의 바람직한 시간, 예를 들어, 수초 또는 수분으로 설정될 수 있다.
블록(622)에서, 테크닉(600)은 FDP(520)가 ROI를 검색하고 정의하도록 명령할 수 있다. 테크닉(600)은 FDP(520)가 ROI를 정의하거나 IDC(453)에게 아무런 ROI가 발견되지 않았다고 통지할 때까지 블록(624)에서 대기한다. 일단 FDP가 ROI 메시지를 출력한다면, 테크닉(600)은 블록(626)으로 진행하여 FDP(626)로부터, 분석된 데이터를 수집하고 처리할 수 있다. 블록(626)은 ROI의 존재, 그 사이즈, 위치(예를 들어, 좌상부로부터의 픽셀), 및 이미지내의 상대 위치(예를 들어, 좌우측 또는 중심)를 결정할 수 있다. 대안의 실시예에서, ROI가 발견되지 않는다면, N1의 값은 다음의 ROI 서치를 가속화하기 위해 감소될 수 있다.
테크닉(600)은 FDP(520)와 ILC(442) 사이의 애플리케이션 프로그램 인터페이스(API)로서 동작할 수 있다. 이러한 결과는 블록(626)에서 ILC(442)로 전송될 수 있고, 테크닉(600)은 블록(604)로 리턴할 수 있다. 일부 실시예에서, 테크닉(600)은 상술된 결과가 유사한지를 체크하고 그러하다면, 평균 ROI 및 ILC(442)에 대한 ROI 상대 위치를 전송하는 블록(622~626)을 반복할 수 있다.
도 7a는 비디오 컨퍼런스에 사용되는 레이아웃중 하나를 자동으로 그리고 동적으로 적용시키기 위한 테크닉(700)의 하나의 실시예에 대한 순서도를 설명하고 있다. 하나의 실시예에서, 하나 보다 레이아웃이 포함되어 있다면, 병렬 태스크가 CP 이미지의 각 레이아웃에 대해 하나씩 시작될 수 있다. 또 다른 실시예에서, 테크닉(700)은 세션에서 사용되는 각 레이아웃에 대해 하나의 사이클씩 반복적으로 실시될 수 있다. 테크닉(700)은 ILC(442)에 의해 및/또는 RRLD(530)에 의해 블록(702)에서 시작될 수 있다(도 5). 시작에서, 테크닉(700)은 블록(704)에서 프리버스-릴레이티브-로케이션 메모리(PRLM)를 재설정할 수 있다. 이러한 PRLM은 ROI의 현 상대적 위치와의 차이를 결정하기 위해 ROI의 이전에 발견된 상대적 위치에 대한 정보를 저장하기 위해 사용될 수 있다. 다음으로, 테크닉(700)은 블록(706)에서 타이머(T)를 재설정할 수 있고 블록(710)에서 T1의 타이머 T 값 동안 대기할 수 있다. 하나의 실시예에서, T1은 수백 밀리초에서 수초의 범위에 있을 수 있다. 또 다른 실시예에서, 구성된 CP 이미지의 프레임이 계수될 수 있고 시간 대신에 사용될 수 있다. 일단 타이머 T 값이 T1이라면 및/또는 레이아웃내의 변화가 있다면, 테크닉(700)은 블록(712)로 진행할 수 있다. 레이아웃내의 변화는 추가 참가자가 컨퍼런스에 조인하였고, 제시된 사이트가 상이한 참가자의 오디오 에너지등에서의 변화로 인해 대체될 필요가 있을 때 일어날 수 있다.
블록(712)에서, 테크닉(700)은 관련 참가자의 비디오 이미지내의 ROI 상대 위치(ROIRL)에 대한 정보를 수집할 수 있다. 관련 참가자의 비디오 이미지는 레이아웃내의 표시를 위해 선택된 비디오 이미지이다. 다음으로, 오디오 에너지 정보는 블록(714)에서 각 표시된 사이트에 대해 취득될 수 있다. 오디오 정보를 사용하여, 2개의 도미넌트 사이트가 검출되고, 및/또는 상이한 엔드포인트간의 인터랙션에 대한 보다 많은 정보등이 검출될 수 있다. 관리 및 제어 정보는 블록(715)에서 취득될 수 있다. 이러한 관리 및 제어 정보는 수신 참가자(구성된 CP 이미지를 관찰할 사람)의 우선순위, 및 (오디오 에너지에 관계없이 CP 이미지에 표시되어야 하는 참가자) 포싱된 참가자와 같은 정보를 포함할 수 있다. 각 표시된 참가자 이미지에 대해, 테크닉(700)은 현 수신된 ROIRL와 (PRLM 메모리에 저장된) 이전의 ROIRL 사이의 차이를 블록(716)에서 계산할 수 있다. 테크닉(700)은 또한 도미넌트 사이트에 차이가 있는지 여부를 블록(716)에서 결정할 수 있다.
이전의 ROIRL에 대한 현 ROIRL에 상당한 변화가 있는지에 대한 결정 및/또는 도미넌트 사이트에서 상당한 변화가 있는지에 대한 결정이 블록(720)에서 이루어진다. 상당한 변화는 화소, 퍼센티지, 오디오 강도에서의 사전정의된 델타일 수 있다. 일부 실시예에서, 상당한 변화가 5-10%의 범위에 있을 수 있다. 블록(720)에서 상당한 변화가 있다면, 테크닉(700)은 블록(722)에서 PRLM에 현 ROIRL 및 도미넌트 사이트를 저장할 수 있다. 테크닉(700)은 그다음, 도 7b에서 블록(750)으로 진행할 수 있다. 블록(720)에서 아무런 상당한 변화가 없다면, 테크닉(700)은 블록(706)으로 리턴할 수 있다.
이제 도 7b의 블록(750)에서, 테크닉(700)에 의해 지정된 동일한 레이아웃을 실행하는 각 출력 모듈(455A-X)에 대한 루프가 블록(760-790)에서 시작될 수 있다. 블록(760)에서 시작하여, 각 출력 모듈(455A-X)에 대해, 테크닉(700)은 현 출력 모듈과 연관된 CP 레이아웃에 관련된 파라미터에 대한 정보를 블록(762)에서 페칭할 수 있다. 하나의 실시예의 파라미터는 사이트가 관리 결정 및/또는 오디오 에너지등에 기초하여 표시되도록 선택된 레이아웃 포맷(2X2, 3X3등), 화소 폭 및 높이(WxH)의 수의 레이아웃 크기를 포함할 수 있다. 테크닉(700)은 또한 트라이얼의 수를 계수할 카운터(Cnt)를 블록(762)에서 재설정할 수 있다.
다음으로 테크닉(700)은 관련 출력 모듈(455A-X)의 적응성 레이아웃에 표시되도록 선택된 사이트의 각각에 대한 파라미터 및 ROIRL(ROI 상대 위치)정보를 블록(764)에 취할 수 있다. 이러한 정보는 하나의 실시에에서 PRLM으로부터 페칭될 수 있다. 하나의 실시예에서, 파라미터는 ROI의 화소의 수(ROI의 높이 및 폭), ROI의 상대 위치, 도미넌트 사이트, 사이트 사이의 인터랙션등을 포함할 수 있다. 페칭된 정보를 사용하여 테크닉(700)은 블록(770)에서 도미넌트 사이트의 쌍이 존재하는지 여부를 결정할 수 있다. 아무런 도미넌 사이트의 쌍이 존재하지 않는다면, 테크닉(700)은 블록(774)으로 진행할 수 있다. 한 쌍의 도미넌트 사이트가 존재한다면, 테크닉(700)은 블록(772)으로 진행할 수 있다.
블록(772)에서, 도미넌트 사이트는 하나의 실시예에서 표시될 레이아웃내의 세그먼트의 상위 행에 배치될 수 있다. 대안의 실시예에서, 이들은 하위 행에 또는 요구되는 다른 곳에 배치될 수 있다. 좌측상의 ROIRL를 갖는 도미넌트 비디오 이미지는 블록(772)에서 레이아웃의 좌측 세그먼트에 배치될 수 있다. 비디오 이미지의 우측상의 ROIRL을 갖는 도미넌트 비디오 이미지는 블록(772)에서 레이아웃의 우측 세그먼트에 배치될 수 있다. 양측 도미넌트 사이트가 동일한 ROIRL을 갖고 있다면(양측이 좌측이거나 양측이 우측이다), 도미넌트 사이트중 하나는 블록(772)에서 미러링될 수 있다. 양측 도미넌트 사이트가 중심에 이미지를 갖고 있다면, 이들은 나란히 배치될 수 있다.
표시되기로 선택된 다른 사이트는 블록(774)에 배치되어 우측상의 ROIRL을 가진 비디오 이미지는 우측에 배치될 수 있고, 좌측상의 ROIRL을 가진 비디오 이미지는 좌측에 배치될 수 있고, 중심의 ROITL을 가진 비디오 이미지는 중심 또는 남아 있는 플레이스등에 배치될 수 있다. 남아 있는 세그먼트에 배치될 수 없는 하나 이상의 선택된 사이트가 존재한다면, 테크닉(700)은 이들을 블록(774)에서 미러링할 수 있고 이들을 이에 따라 배치할 수 있다. 다음으로, 카운터(Cnt)는 블록(776)에서 하나씩 증분될 수 있다.
블록(780)에서, Cnt 값이 2인지에 대한 결정 또는 블록(774)의 프로시져가 성공적으로 완료되었는지에 대한 결정이 이루어질 수 있어서, 모든 선택된 참가자는 레이아웃의 적합한 상대 위치에 표시될 수 있다. 이러한 상태가 충족되지 않는다면, 테크닉(700)은 블록(772)에서 결정된 도미넌트 사이트 배치 필요조건을 블록(782)에서 모시할 수 있고, 블록(774)에서 모든 선택된 사이트의 배치를 다시 시도할 수 있다. 블록(780)에서 Cnt 값이 2이라면 또는 블록(774)의 프로시져가 성공적으로 완료되었다면, 테크닉(700)은 블록(784)로 진행할 수 있다.
블록(784)에서, 블록(774)의 프로시져가 성공적으로 완료되었는지에 대한 결정이 이루어질 수 있다. 하나의 실시에에서, "성공적으로"란 말은 보기 위해 선택된 모든 사이트가 배치되어 이들이 모두 레이아웃의 중심에 대면하고 있다는 것을 의미할 수 있다. 블록(784)의 조건이 충족되지 않는다면, 테크닉(700)은 식별된 인터랙션을 블록(786)에서 무시할 수 있고, 표시될 사이트의 수에 맞는 공통 레이아웃을 선택하고, ROIRL을 무시하는 레이아웃을 배열할 수 있다. 블록(784)이 블록(774)의 프로시져가 성공적으로 완료되었다고 결정하면, 테크닉(700)은 레이아웃 배열에 대한 명령어를 블록(788)에서 생성할 수 있어서, 제공된 사이트는 레이아웃의 중심으로 보고 있다. 레이아웃 명령어는 적합한 출력 모듈(455A-X)내의 에디터(456)으로 블록(788)에서 전송될 수 있다. 또 다른 실시예에서, 블록(786)에서 테크닉(700)은 참가자 사이의 일부 인터랙션을 제공할 수 있는, 계산된 레이아웃의 하나를 선택할 수 있다.
다음으로, 테크닉(700)은 레이아웃 배열에 대해 명령될 필요가 있는 추가 비디오 출력 모듈(455A-X)이 존재하는지 여부를 블록(790)에서 체크할 수 있다. 만약 존재한다면, 테크닉(700)은 블록(760)으로 리턴할 수 있다. 만약 존재하지 않는다면 테크닉(700)은 도 7a에서 블록(706)으로 리턴할 수 있다.
본원에서, 단어 "유닛", "디바이스", "컴포넌트", "모듈" 및 "로지컬 모듈"은 상호교환하여 사용될 수 있다. 유닛 또는 모듈로서 지정된 것은 스탠드얼론 모듈 또는 특별화되거나 집약된 모듈일 수 있다. 모듈은 용이하게 제거될 수 있고 또 다른 유사한 유닛 도는 모듈로 대체될 수 있도록 모듈화되거나 모듈화 특징을 갖고 있다. 각 모듈은 소프트웨어, 하드웨어 및/또는 펌웨어중 어느 하나 또는 임의의 조합일 수 있다. 로지컬 모듈의 소프트웨어는 판독/기록 하드 디스크, CDROM, 플래시 메모리, ROM등과 같은 컴퓨터 판독가능 매체에 구현될 수 있다. 특정 태스크를 실행하기 위해, 소프트웨어 프로그램은 필요한 대로 적합한 프로세서로 로딩될 수 있다.
본원의 설명 및 청구범위에서, "포함한다", "갖다" 및 그 연관어는 그 동사의 대상이 그 동사의 주체의 멤버, 구성요소, 파트를 반드시 모두 나열한 것은 아니다.
단계의 순서의 변경, 사용된 정확한 구현을 포함하는 상술된 장치, 시스템 및 방법이 다양할 수 있음을 이해할 것이다. 기술된 실시예는 상이한 특징을 포함하지만, 모든 특징이 본원의 모든 실시에에서 필요한 것은 아니다. 또한, 본원의 일부 실시예는 이러한 특징의 일부만을 사용하거나 이러한 특징의 가능한 조합을 사용한다. 기술된 실시예에 언급된 특징의 상이한 조합은 당업자에게 가능하다. 또한, 본원의 일부 실시예는 상이한 실시에와 연관하여 기술된 특징 및 요소의 조합에 의해 구현될 수 있다. 본 발명의 범위는 다음의 청구범위 및 그 동등물에 의해서만 제한된다.
특정 실시예가 첨부된 도면에서 상세하게 설명되고 도시되었지만, 이러한 실시예는 단지 설명을 위한 것이고, 다음의 청구범위에 의해 결정되는 기본 범위로부터 벗어남 없이 변형될 수 있음을 이해할 것이다.

Claims (42)

  1. 참가자 사이의 인터랙션에 따라 화면 분할(continuous presence) 레이아웃을 적용하기 위한 방법에 있어서,
    제1 엔드 포인트에 대응하는 제1 참가자와 제2 참가자 사이의 인터랙션에 응답하여 화면 분할 비디오컨퍼런스의 상기 제1 엔드포인트에 대해 화면 분할 비디오 이미지를 설계하는 단계; 및
    상기 화면 분할 비디오컨퍼런스의 제1 엔드포인트에서 상기 화면 분할 비디오 이미지를 표시하는 단계를 포함하고,
    상기 화면 분할 비디오 이미지를 설계하는 단계는:
    상기 제1 참가자와 상기 제2 참가지 사이의 인터랙션을 결정하는 단계;
    상기 화면 분할 비디오 이미지에 상기 제1 참가자에 상응하는 제1 비디오 이미지를 위치지정하는 단계; 및
    상기 제1 참가자와 상기 제2 참가자 사이의 인터랙션에 응답하여, 상기 화면 분할 비디오 이미지에 상기 제1 비디오 이미지와 관련된 상기 제2 참가자에 상응하는 제2 비디오 이미지를 위치지정하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 삭제
  3. 제 1 항에 있어서, 상기 화면 분할 비디오 이미지를 설계하는 단계는,
    상기 제1 참가자에 상응하는 엔드포인트로부터 컨텐트를 수신하는 단계; 및
    상기 컨텐트를 상기 화면 분할 비디오 이미지에 나타내는 단계를 더 포함하고,
    상기 제1 비디오 이미지를 위치지정하는 단계는 상기 컨텐트의 제1 사이드에 상기 제1 비디오 이미지를 위치지정하는 단계를 포함하고,
    상기 제2 비디오 이미지를 위치지정하는 단계는 상기 컨텐트의 제2 사이드에 상기 제2 비디오 이미지를 위치지정하는 단계를 포함하는 것을 특징으로 하는 방법.
  4. 제3항에 있어서, 상기 제1 참가자 및 상기 제2 참가자가 상기 컨텐트쪽으로 보는 것으로 나타나도록 상기 제1 비디오 이미지와 상기 제2 비디오 이미지를 처리하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서, 상기 화면 분할 비디오 이미지를 설계하는 단계는,
    상기 제1 참가자와 상기 제2 참가자 사이의 인터랙션을 결정하는 단계;
    상기 제1 참자가와 상기 제2 참가자 사이의 인터랙션에 응답하여 상기 제1 엔드포인트에서 상기 화면 분할 비디오 이미지를 생성하기 위한 상기 화면 분할 비디오컨퍼런스의 제1 엔드포인트에 대한 명령어를 발생하는 단계;
    상기 명령어를 상기 화면 분할 비디오컨퍼런스의 제1 엔드포인트로 전송하는 단계; 및
    상기 명령어에 응답하여 상기 제1 엔드포인트에서 상기 화면 분할 비디오 이미지를 생성하는 단계;를 포함하는 것을 특징으로 하는 방법.
  6. 제1항에 있어서, 상기 화면 분할 비디오 이미지를 설계하는 단계는,
    상기 제1 참가자와 상기 제2 참가자 사이의 인터랙션을 결정하는 단계;
    상기 제1 참가자와 상기 제2 참가자 사이의 인터랙션에 응답하여 상기 제1 엔드포인트에 대한 상기 화면 분할 비디오 이미지를 생성하는 단계; 및
    상기 화면 분할 비디오 이미지를 상기 제1 엔드포인트로 전송하는 단계;를 포함하는 것을 특징으로 하는 방법.
  7. 제1항에 있어서, 복수의 참가자 사이의 인터랙션에 응답하여 상기 화면 분할 비디오컨퍼런스의 제2 엔드포인트에 대한 화면 분할 비디오 이미지를 설계하는 단계; 및
    상기 화면 분할 비디오컨퍼런스의 제2 엔드포인트에서 상기 화면 분할 비디오 이미지를 표시하는 단계;를 더 포함하고,
    상기 제2 엔드포인트에 대한 화면 분할 비디오 이미지는 상기 제1 엔드포인트에 대한 화면 분할 비디오 이미지와 상이한 것을 특징으로 하는 방법.
  8. 제1항에 있어서, 상기 화면 분할 비디오 이미지를 설계하는 단계는,
    상기 제1 참가자에 상응하는 제1 비디오 이미지를 분석하는 단계;
    상기 제2 참가자에 상응하는 제2 비디오 이미지를 분석하는 단계;
    상기 1 비디오 이미지를 분석하는 단계 및 상기 제2 비디오 이미지를 분석하는 단계에 응답하여 상기 제1 참가자와 상기 제2 참가자 사이의 인터랙션을 결정하는 단계; 및
    상기 제1 비디오 이미지 및, 상기 제1 참가자와 상기 제2 참가자 사이의 인터랙션에 응답하여 상기 제1 엔드포인트에 대한 상기 화면 분할 비디오 이미지에 상기 제1 비디오 이미지와 관련된 상기 제2 비디오 이미지를 위치지정하는 단계;를 포함하는 것을 특징으로 하는 방법.
  9. 제8항에 있어서, 상기 제1 엔드포인트에 대한 화면 분할 비디오 이미지를 상기 제1 엔드포인트로 전송하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  10. 제8항에 있어서,
    상기 제1 엔드포인트에 대한 화면 분할 비디오 이미지를 생성하는 명령어를 발생시키는 단계; 및
    상기 제1 엔드포인트에 대한 화면 분할 비디오 이미지를 생성하기 위한 명령어를 상기 제1 엔드포인트로 전송하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
  11. 제8항에 있어서, 상기 화면 분할 비디오 이미지를 설계하는 단계는 상기 제1 참가자와 상기 제2 참가자 사이의 인터랙션에 응답하여 상기 제1 비디오 이미지를 수정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  12. 제11항에 있어서, 상기 제1 비디오 이미지를 수정하는 단계는 상기 제1 비디오 이미지를 미러링하는 단계를 포함하는 것을 특징으로 하는 방법.
  13. 제1항에 있어서, 상기 화면 분할 비디오 이미지를 설계하는 단계는,
    복수의 참가자중 도미넌트 참가자를 결정하는 단계;
    상기 복수의 참가자중 논-도미넌트 참가자를 결정하는 단계; 및
    상기 화면 분할 비디오 이미지에 상기 도미넌트 참가자에 상응하는 제1 비디오 이미지를 위치지정하고 상기 화면 분할 비디오 이미지에 상기 제1 비디오 이미지와 관련된 상기 논-도미넌트 참가자에 상응하는 제2 비디오 이미지를 위치지정하는 단계;를 포함하는 것을 특징으로 하는 방법.
  14. 제1항에 있어서, 상기 화면 분할 비디오 이미지를 설계하는 단계는,
    상기 제1 참가자와 상기 제2 참가자 사이의 제1 인터랙션에 응답하여 제1 화면 분할 비디오 이미지를 설계하는 단계; 및
    상기 제1 인터랙션에 이은, 제3 참가자와 제4 참가자 사이의 제2 인터랙션에 응답하여 제2 화면 분할 비디오 이미지를 설계하는 단계;를 포함하고,
    상기 화면 분할 비디오 이미지를 표시하는 단계는,
    상기 제1 화면 분할 비디오 이미지를 표시하는 단계; 및
    상기 제1 화면 분할 비디오 이미지에 이어 상기 제2 화면 분할 비디오 이미지를 표시하는 단계;를 포함하는 것을 특징으로 하는 방법.
  15. 제1항에 있어서, 상기 화면 분할 비디오 이미지를 설계하는 단계는,
    상기 제1 참가자에 상응하는 제1 오디오 에너지를 분석하는 단계;
    상기 제2 참가자에 상응하는 제2 오디오 에너지를 분석하는 단계;
    상기 제1 오디오 에너지를 분석하는 단계 및 상기 제2 오디오 에너지를 분석하는 단계에 응답하여 상기 제1 참가자와 제2 참가자 사이의 인터랙션을 결정하는 단계; 및
    상기 제1 참가자와 제2 참가자 사이의 인터랙션에 응답하여 상기 제1 엔드포인트에 대한 상기 화면 분할 비디오 이미지에 상기 제1 참가자에 상응하는 제1 비디오 이미지 및, 상기 제1 비디오 이미지와 관련된 상기 제2 참가자에 상응하는 제2 비디오 이미지를 위치지정하는 단계;를 포함하는 것을 특징으로 하는 방법.
  16. 제1항에 있어서, 상기 화면 분할 비디오 이미지를 설계하는 단계는,
    상기 제1 참가자에 상응하는 제1 비디오 이미지내의 제1 관심 영역의 제1 상대 위치를 식별하는 단계;
    상기 제2 참가자에 상응하는 제2 비디오 이미지내의 제2 관심 영역의 제2 상대 위치를 식별하는 단계;
    상기 제1 비디오 이미지내의 제1 관심 영역의 제1 상대 위치 및 상기 제2 비디오 이미지내의 제2 관심 영역의 제2 상대 위치에 응답하여 상기 제1 참가자와 제2 참가자 사이의 인터랙션을 결정하는 단계; 및
    상기 화면 분할 비디오 이미지에 상기 제1 비디오 이미지를 위치지정하고 상기 제1 참가자와 제2 참가자 사이의 인터랙션에 응답하여 상기 제1 비디오 이미지와 관련된 상기 제2 비디오 이미지를 상기 화면 분할 비디오 이미지에 위치지정하는 단계;를 포함하는 것을 특징으로 하는 방법.
  17. 제1항에 있어서, 상기 화면 분할 비디오 이미지를 설계하는 단계는, 상기 제1 참가자와 상기 제2 참가자가 서로 대면하는 것으로 나타나도록 상기 제2 참가자에 상응하는 제2 비디오 이미지와 관련하여 상기 제1 참가자에 상응하는 제1 비디오 이미지를 위치지정하는 단계를 포함하는 것을 특징으로 하는 방법.
  18. 제17항에 있어서, 상기 화면 분할 비디오 이미지를 설계하는 단계는 상기 제1 비디오 이미지를 모니터링하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  19. 제17항에 있어서,
    제1 사이트에서 복수의 참가자중 한 참가자를 액티브 참가자로서 지정하는 단계;
    상기 제1 사이트로부터 수신된 비디오 이미지로부터 상기 액티브 참가자의 이미지를 복사하는 단계; 및
    상기 화면 분할 비디오 이미지에 제1 사이트로부터 수신된 비디오 이미지와 상기 액티브 참가자의 이미지를 나타내는 단계;를 더 포함하는 것을 특징으로 하는 방법.
  20. 제17항에 있어서,
    제1 사이트에서 복수의 참가자중 하나의 참가자를 액티브 참가자로서 지정하는 단계;
    상기 제1 사이트로부터 수신된 비디오 이미지로부터 상기 액티브 참가자의 이미지를 복사하는 단계; 및
    상기 제1 사이트로부터 수신된 비디오 이미지 대신에 상기 화면 분할 비디오 이미지에 상기 액티브 참가자의 이미지를 나타내는 단계;를 더 포함하는 것을 특징으로 하는 방법.
  21. 제1 참가자에 상응하는 제1 엔드포인트 및 제2 참가자에 상응하는 제2 엔드포인트를 포함하는 복수의 엔드포인트;
    상기 제1 참가자와 상기 제2 참가자 사이의 인터랙션에 응답하여 화면 분할 비디오 이미지를 설계하도록 구성된 레이아웃 컨트롤러; 및
    상기 레이아웃 컨트롤러에 응답하여, 상기 제1 참가자에 상응하는 제1 비디오 이미지 및 상기 제1 비디오 이미지와 관련된 제2 참가자에 상응하는 제2 비디오 이미지를 상기 화면 분할 비디오 이미지에 위치지정하도록 구성된 비디오 레이아웃 에디터 모듈을 더 포함하는 것을 특징으로 하는 비디오컨퍼런싱 시스템.
  22. 제21항에 있어서, 상기 레이아웃 컨트롤러는 멀티포인트 컨트롤 유닛(MCU)의 모듈인 것을 특징으로 하는 비디오컨퍼런싱 시스템.
  23. 제21항에 있어서, 상기 레이아웃 컨트롤러에 응답하여 상기 제1 엔드포인트로부터 수신된 제1 비디오 이미지 및 제2 비디오 이미지를 조작하도록 구성된 에디터 모듈을 더 포함하는 것을 특징으로 하는 비디오컨퍼런싱 시스템.
  24. 제21항에 있어서, 상기 레이아웃 컨트롤러는 상기 레이아웃 컨트롤러에 의해 설계된 화면 분할 비디오 이미지를 표시하기 위한 명령어를 상기 복수의 엔드포인트로 전송하도록 구성된 것을 특징으로 하는 비디오컨퍼런싱 시스템.
  25. 제21항에 있어서, 상기 레이아웃 컨트롤러에 응답하여 상기 화면 분할 비디오 이미지를 인코딩하도록 구성된 비디오 모듈을 더 포함하는 것을 특징으로 하는 비디오컨퍼런싱 시스템.
  26. 삭제
  27. 제21항에 있어서, 상기 비디오 레이아웃 에디터 모듈은 상기 제1 비디오 이미지를 조작하도록 구성된 것을 특징으로 하는 비디오컨퍼런싱 시스템.
  28. 제21항에 있어서, 상기 비디오 레이아웃 에디터 모듈은 상기 제1 비디오 이미지를 미러링하도록 구성된 것을 특징으로 하는 비디오컨퍼런싱 시스템.
  29. 제21항에 있어서, 상기 제1 참가자와 제2 참가자 사이의 인터랙션을 검출하고 상기 인터랙션을 상기 레이아웃 컨트롤러에 알리도록 구성된 인터랙션 디코더를 더 포함하는 것을 특징으로 하는 비디오컨퍼런싱 시스템.
  30. 제29항에 있어서, 상기 인터랙션 디코더는 상기 제1 참가자에 상응하는 제1 비디오 이미지에서 관심 영역의 상대 위치를 식별하도록 구성된 비디오 인터랙션 디코더를 포함하는 것을 특징으로 하는 비디오컨퍼런싱 시스템.
  31. 제29항에 있어서, 상기 인터랙션 디코더는 상기 제1 참가자가 도미넌트 참가자인지를 검출하도록 구성된 것을 특징으로 하는 비디오컨퍼런싱 시스템.
  32. 제29항에 있어서, 상기 인터랙션 디코더는 오디오 에너지를 분석하고 상기 오디오 에너지에 응답하여 상기 인터랙션을 상기 레이아웃 컨트롤러에 알리도록 구성된 오디오 인터랙션 디코더를 포함하는 것을 특징으로 하는 비디오컨퍼런싱 시스템.
  33. 제21항에 있어서, 상기 레이아웃 컨트롤러는 상기 제1 참가자와 상기 제2 참가자가 서로 대면하는 것으로 나타나도록 상기 화면 분할 비디오 이미지를 설계하도록 구성된 것을 특징으로 하는 비디오컨퍼런싱 시스템.
  34. 화면 분할 비디오 컨퍼런스에서의 제1 참가자에 상응하는 제1 엔드포인트로부터의 제1 비디오 이미지 및 상기 화면 분할 비디오 컨퍼런스에서의 제2 참가자에 상응하는 제2 엔드포인트로부터의 제2 비디오 이미지를 처리하기 위한 장치로서,
    상기 제1 참가자와 상기 제2 참가자 사이의 인터랙션에 응답하여 화면 분할 비디오 컨퍼런스 비디오 이미지를 설계하도록 구성된 컨트롤 모듈;
    상기 제1 참가자와 상기 제2 참가자 사이의 인터랙션을 검출하고 상기 인터랙션을 상기 컨트롤 모듈에 알리도록 구성된 인터랙션 디코더; 및
    상기 컨트롤 모듈에 의해 설계된 화면 분할 비디오 컨퍼런스 비디오 이미지를 생성하도록 구성된 제1 비디오 모듈을 포함하는 것을 특징으로 하는 처리장치.
  35. 삭제
  36. 제34항에 있어서, 상기 인터랙션 디코더는 상기 제1 비디오 이미지에서 관심 영역의 상대 위치를 식별하도록 구성된 비디오 인터랙션 디코더인 것을 특징으로 하는 처리장치.
  37. 제34항에 있어서, 상기 인터랙션 디코더는 상기 제1 참가자에 상응하는 제1 오디오 에너지 및 상기 제2 참가자에 상응하는 제2 오디오 에너지를 분석하도록 구성된 오디오 인터랙션 디코더인 것을 특징으로 하는 처리장치.
  38. 제34항에 있어서, 상기 인터랙션 디코더는 상기 제1 참가자가 도미넌트 참가자인 것을 검출하도록 구성된 것을 특징으로 하는 처리장치.
  39. 제34항에 있어서, 상기 처리장치는 멀티포인트 컨트롤 유닛인 것을 특징으로 하는 처리장치.
  40. 제34항에 있어서, 상기 제1 비디오 모듈은 상기 제1 엔드포인트와 연관된 것을 특징으로 하는 처리장치.
  41. 제34항에 있어서, 상기 컨트롤 모듈에 응답하여 상기 제1 비디오 이미지를 조작하도록 구성된 에디터 모듈을 더 포함하는 것을 특징으로 하는 처리장치.
  42. 제41항에 있어서, 상기 에디터 모듈은 상기 컨트롤 모듈에 응답하여 상기 제1 비디오 이미지를 미러링하도록 구성된 것을 특징으로 하는 처리장치.
KR1020110028177A 2010-03-31 2011-03-29 참가자 사이의 인터랙션에 따라 ｃｐ 레이아웃을 적용하기 위한 방법 및 시스템 KR101262734B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/750,851 2010-03-31
US12/750,851 US8542266B2 (en) 2007-05-21 2010-03-31 Method and system for adapting a CP layout according to interaction between conferees

Publications (2)

Publication Number Publication Date
KR20110109977A KR20110109977A (ko) 2011-10-06
KR101262734B1 true KR101262734B1 (ko) 2013-05-10

Family

ID=44310258

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110028177A KR101262734B1 (ko) 2010-03-31 2011-03-29 참가자 사이의 인터랙션에 따라 ｃｐ 레이아웃을 적용하기 위한 방법 및 시스템

Country Status (5)

Country Link
US (2) US8542266B2 (ko)
EP (1) EP2373015A3 (ko)
JP (2) JP5638997B2 (ko)
KR (1) KR101262734B1 (ko)
CN (1) CN102209228A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11558209B1 (en) 2021-07-30 2023-01-17 Zoom Video Communications, Inc. Automatic spotlight in video conferencing

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8446454B2 (en) 2007-05-21 2013-05-21 Polycom, Inc. Dynamic adaption of a continuous presence videoconferencing layout based on video content
US8542266B2 (en) * 2007-05-21 2013-09-24 Polycom, Inc. Method and system for adapting a CP layout according to interaction between conferees
US9516272B2 (en) 2010-03-31 2016-12-06 Polycom, Inc. Adapting a continuous presence layout to a discussion situation
US8941706B2 (en) 2010-04-07 2015-01-27 Apple Inc. Image processing for a dual camera mobile device
CN102300043B (zh) * 2010-06-23 2014-06-11 中兴通讯股份有限公司 调整远程呈现会议系统的会场摄像头的方法及会议终端
KR101764372B1 (ko) 2011-04-19 2017-08-03 삼성전자주식회사 휴대용 단말기에서 영상 합성 방법 및 장치
US9160965B2 (en) 2011-08-01 2015-10-13 Thomson Licensing Telepresence communications system and method
JP5327917B2 (ja) * 2012-02-27 2013-10-30 Ｎｅｃインフロンティア株式会社 電子会議システム、帯域管理方法および帯域管理プログラム
WO2013133863A1 (en) 2012-03-09 2013-09-12 Thomson Licensing Distributed control of synchronized content
US8804321B2 (en) 2012-05-25 2014-08-12 Steelcase, Inc. Work and videoconference assembly
CN102857732B (zh) * 2012-05-25 2015-12-09 华为技术有限公司 一种多画面视讯会议中的画面控制方法、设备及系统
US20140028788A1 (en) * 2012-07-30 2014-01-30 Polycom, Inc. Method and system for conducting video conferences of diverse participating devices
US8890923B2 (en) * 2012-09-04 2014-11-18 Cisco Technology, Inc. Generating and rendering synthesized views with multiple video streams in telepresence video conference sessions
CN103873813B (zh) * 2012-12-10 2018-06-01 中兴通讯股份有限公司 一种会议电视多画面切换的方法及系统
CN105009571A (zh) * 2013-02-04 2015-10-28 汤姆逊许可公司 双遥现机顶盒
KR101744121B1 (ko) * 2013-03-15 2017-06-07 인텔 코포레이션 회의 컴퓨팅 디바이스들에서의 오디오 입/출력(i/o) 설정 디바이스들의 동적 조정을 가능하게 하는 메카니즘
US9756288B2 (en) 2013-04-10 2017-09-05 Thomson Licensing Tiering and manipulation of peer's heads in a telepresence system
WO2014175919A1 (en) * 2013-04-26 2014-10-30 Intel IP Corporation Shared spectrum reassignment in a spectrum sharing context
US9729822B2 (en) * 2013-05-24 2017-08-08 Polycom, Inc. Method and system for sharing content in videoconferencing
KR102078132B1 (ko) * 2013-05-30 2020-02-17 삼성전자주식회사 영상 통화 시 관심 대상을 표시하기 위한 장치 및 그 방법
US9603457B2 (en) 2013-05-31 2017-03-28 Steelcase Inc. Lounge assemblies for supporting portable electronics devices
WO2014204459A1 (en) 2013-06-20 2014-12-24 Thomson Licensing System and method to assist synchronization of distributed play out of control
JP6260809B2 (ja) * 2013-07-10 2018-01-17 ソニー株式会社 ディスプレイ装置、情報処理方法、及び、プログラム
US9088694B2 (en) * 2013-10-03 2015-07-21 Avaya, Inc. Adjusting video layout
CN104902217B (zh) * 2014-03-05 2019-07-16 中兴通讯股份有限公司 一种在网真会议系统中显示布局的方法及装置
CN104010158A (zh) * 2014-03-11 2014-08-27 宇龙计算机通信科技(深圳)有限公司 移动终端及多方视频通话的实现方法
CN103905780A (zh) * 2014-03-18 2014-07-02 华为技术有限公司 一种数据处理方法、设备和视频会议系统
US9369272B2 (en) 2014-03-27 2016-06-14 Qualcomm Incorporated Serial time-division-multiplexed bus with bidirectional synchronization/control word line
KR102170896B1 (ko) * 2014-04-11 2020-10-29 삼성전자주식회사 영상 표시 방법 및 전자 장치
CN105100677A (zh) * 2014-05-21 2015-11-25 华为技术有限公司 用于视频会议呈现的方法、装置和系统
US9843770B2 (en) 2015-10-05 2017-12-12 Polycom, Inc. Panoramic image placement to minimize full image interference
KR20170042431A (ko) * 2015-10-08 2017-04-19 삼성전자주식회사 디스플레이 모양에 따라 영상 데이터를 불균일하게 인코딩/디코딩하도록 구성되는 전자 장치
GB201520509D0 (en) 2015-11-20 2016-01-06 Microsoft Technology Licensing Llc Communication system
CN105407394A (zh) * 2015-11-24 2016-03-16 天脉聚源（北京）科技有限公司 一种互动电视系统生成互动信息的方法及装置
CN105635636B (zh) * 2015-12-30 2019-05-03 随锐科技股份有限公司 一种视频会议系统及其实现视频图像传输控制的方法
US10771508B2 (en) 2016-01-19 2020-09-08 Nadejda Sarmova Systems and methods for establishing a virtual shared experience for media playback
US9699410B1 (en) * 2016-10-28 2017-07-04 Wipro Limited Method and system for dynamic layout generation in video conferencing system
CN106454280B (zh) * 2016-12-03 2023-05-30 河池学院 一种基于h.264网络视频传输系统进行视频传输的方法
US10645035B2 (en) * 2017-11-02 2020-05-05 Google Llc Automated assistants with conference capabilities
US20190230310A1 (en) * 2018-01-24 2019-07-25 Microsoft Technology Licensing, Llc Intelligent content population in a communication system
EP3550823A1 (en) 2018-04-05 2019-10-09 EVS Broadcast Equipment SA Automatic control of robotic camera for capturing a portion of a playing field
NO344903B1 (en) 2019-06-28 2020-06-22 Pexip AS Intelligent adaptive and corrective layout composition
US11665284B2 (en) 2020-06-20 2023-05-30 Science House LLC Systems, methods, and apparatus for virtual meetings
KR20220061763A (ko) * 2020-11-06 2022-05-13 삼성전자주식회사 화상 회의를 제공하는 전자 장치 및 화상 회의를 제공하는 방법
US11758083B1 (en) 2022-03-31 2023-09-12 Motorola Mobility Llc Methods, systems, and devices for presenting demonstration objects without mirroring in a videoconference

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030149724A1 (en) * 2002-02-01 2003-08-07 Chang Luke L. Multi-point video conferencing scheme
JP2003339037A (ja) 2002-05-17 2003-11-28 Pioneer Electronic Corp ネットワーク会議システム、ネットワーク会議方法およびネットワーク会議プログラム
US20050195275A1 (en) 2004-02-13 2005-09-08 Lia Tom E. Arrangement and method for generating CP images

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6972786B1 (en) * 1994-12-30 2005-12-06 Collaboration Properties, Inc. Multimedia services using central office
US5751338A (en) * 1994-12-30 1998-05-12 Visionary Corporate Technologies Methods and systems for multimedia communications via public telephone networks
US5657096A (en) * 1995-05-03 1997-08-12 Lukacs; Michael Edward Real time video conferencing system and method with multilayer keying of multiple video images
US5886734A (en) * 1997-01-28 1999-03-23 Videoserver, Inc. Apparatus and method for storage and playback of video images and audio messages in multipoint videoconferencing
US6646673B2 (en) * 1997-12-05 2003-11-11 Koninklijke Philips Electronics N.V. Communication method and terminal
US6744460B1 (en) * 1999-10-04 2004-06-01 Polycom, Inc. Video display mode automatic switching system and method
US7174365B1 (en) * 2000-11-08 2007-02-06 Polycom Israel Ltd. System and method for controlling one or more multipoint control units as one multipoint control unit
US7542068B2 (en) * 2000-01-13 2009-06-02 Polycom, Inc. Method and system for controlling multimedia video communication
US6300973B1 (en) * 2000-01-13 2001-10-09 Meir Feder Method and system for multimedia communication control
US7535485B2 (en) 2000-08-15 2009-05-19 Polycom, Inc. Delay reduction for transmission and processing of video data
US7538772B1 (en) * 2000-08-23 2009-05-26 Nintendo Co., Ltd. Graphics processing system with enhanced memory controller
CA2446707C (en) * 2001-05-10 2013-07-30 Polycom Israel Ltd. Control unit for multipoint multimedia/audio system
US6956600B1 (en) * 2001-09-19 2005-10-18 Bellsouth Intellectual Property Corporation Minimal decoding method for spatially multiplexing digital video pictures
JP2003323387A (ja) * 2002-05-02 2003-11-14 Megafusion Corp 情報交換システムおよび情報交換プログラム
US7492387B2 (en) * 2002-08-05 2009-02-17 Chih-Lung Yang Implementation of MPCP MCU technology for the H.264 video standard
US20050008240A1 (en) * 2003-05-02 2005-01-13 Ashish Banerji Stitching of video for continuous presence multipoint video conferencing
US7321384B1 (en) * 2003-06-03 2008-01-22 Cisco Technology, Inc. Method and apparatus for using far end camera control (FECC) messages to implement participant and layout selection in a multipoint videoconference
US7034860B2 (en) * 2003-06-20 2006-04-25 Tandberg Telecom As Method and apparatus for video conferencing having dynamic picture layout
JP2005110045A (ja) * 2003-09-30 2005-04-21 Toshiba Corp 情報処理装置及びその方法
CN100359942C (zh) * 2003-11-05 2008-01-02 华为技术有限公司 视讯会议系统及其管理方法
JP4188224B2 (ja) * 2003-12-25 2008-11-26 株式会社東芝 画像処理方法
US7139015B2 (en) * 2004-01-20 2006-11-21 Polycom, Inc. Method and apparatus for mixing compressed video
US20050254440A1 (en) * 2004-05-05 2005-11-17 Sorrell John D Private multimedia network
NZ534100A (en) * 2004-07-14 2008-11-28 Tandberg Nz Ltd Method and system for correlating content with linear media
US7526725B2 (en) * 2005-04-08 2009-04-28 Mitsubishi Electric Research Laboratories, Inc. Context aware video conversion method and playback system
US20070165106A1 (en) * 2005-05-02 2007-07-19 Groves Randall D Distributed Videoconferencing Processing
US20060248210A1 (en) * 2005-05-02 2006-11-02 Lifesize Communications, Inc. Controlling video display mode in a video conferencing system
US7612793B2 (en) * 2005-09-07 2009-11-03 Polycom, Inc. Spatially correlated audio in multipoint videoconferencing
CN101507267B (zh) * 2005-09-07 2011-09-14 维德约股份有限公司 用于使用可缩放视频编码进行可缩放和低延迟视频会议的系统和方法
US8436889B2 (en) * 2005-12-22 2013-05-07 Vidyo, Inc. System and method for videoconferencing using scalable video coding and compositing scalable video conferencing servers
US8120638B2 (en) * 2006-01-24 2012-02-21 Lifesize Communications, Inc. Speech to text conversion in a videoconference
US8125509B2 (en) * 2006-01-24 2012-02-28 Lifesize Communications, Inc. Facial recognition for a videoconference
US8125508B2 (en) * 2006-01-24 2012-02-28 Lifesize Communications, Inc. Sharing participant information in a videoconference
US7800642B2 (en) * 2006-03-01 2010-09-21 Polycom, Inc. Method and system for providing continuous presence video in a cascading conference
US7768543B2 (en) * 2006-03-09 2010-08-03 Citrix Online, Llc System and method for dynamically altering videoconference bit rates and layout based on participant activity
US20080043090A1 (en) * 2006-08-07 2008-02-21 Yair Wiener Systems and methods for optimizing video processing
US7924305B2 (en) * 2006-09-15 2011-04-12 Hewlett-Packard Development Company, L.P. Consistent quality for multipoint videoconferencing systems
US8085290B2 (en) * 2006-12-06 2011-12-27 Cisco Technology, Inc. System and method for displaying a videoconference
US8035679B2 (en) * 2006-12-12 2011-10-11 Polycom, Inc. Method for creating a videoconferencing displayed image
US8144186B2 (en) * 2007-03-09 2012-03-27 Polycom, Inc. Appearance matching for videoconferencing
NO20071401L (no) * 2007-03-16 2008-09-17 Tandberg Telecom As System og arrangement for naturtro videokommunikasjon
US8203591B2 (en) * 2007-04-30 2012-06-19 Cisco Technology, Inc. Method and system for optimal balance and spatial consistency
US8289371B2 (en) * 2007-05-21 2012-10-16 Polycom, Inc. Smart cropping of video images in a videoconferencing session
US8542266B2 (en) * 2007-05-21 2013-09-24 Polycom, Inc. Method and system for adapting a CP layout according to interaction between conferees
CN100571368C (zh) * 2008-08-21 2009-12-16 华为技术有限公司 一种多画面控制显示的方法和装置
CN101478642A (zh) 2009-01-14 2009-07-08 镇江畅联通信科技有限公司 视频会议系统的多画面混图方法及装置
US9516272B2 (en) * 2010-03-31 2016-12-06 Polycom, Inc. Adapting a continuous presence layout to a discussion situation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030149724A1 (en) * 2002-02-01 2003-08-07 Chang Luke L. Multi-point video conferencing scheme
JP2003339037A (ja) 2002-05-17 2003-11-28 Pioneer Electronic Corp ネットワーク会議システム、ネットワーク会議方法およびネットワーク会議プログラム
US20050195275A1 (en) 2004-02-13 2005-09-08 Lia Tom E. Arrangement and method for generating CP images

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11558209B1 (en) 2021-07-30 2023-01-17 Zoom Video Communications, Inc. Automatic spotlight in video conferencing
US11863306B2 (en) 2021-07-30 2024-01-02 Zoom Video Communications, Inc. Conference participant spotlight management

Also Published As

Publication number Publication date
EP2373015A3 (en) 2015-09-23
US8542266B2 (en) 2013-09-24
EP2373015A2 (en) 2011-10-05
JP5638997B2 (ja) 2014-12-10
KR20110109977A (ko) 2011-10-06
US20140002585A1 (en) 2014-01-02
JP2015029274A (ja) 2015-02-12
US9041767B2 (en) 2015-05-26
JP2011217374A (ja) 2011-10-27
CN102209228A (zh) 2011-10-05
US20110090302A1 (en) 2011-04-21

Similar Documents

Publication Publication Date Title
KR101262734B1 (ko) 참가자 사이의 인터랙션에 따라 ｃｐ 레이아웃을 적용하기 위한 방법 및 시스템
US9467657B2 (en) Dynamic adaption of a continuous presence videoconferencing layout based on video content
US10750124B2 (en) Methods and system for simulated 3D videoconferencing
US8289371B2 (en) Smart cropping of video images in a videoconferencing session
US10015446B2 (en) Optimizing panoramic image composition
CN1929593B (zh) 多点视频会议中的空间相关音频
US8289369B2 (en) Distributed real-time media composer
US7707247B2 (en) System and method for displaying users in a visual conference between locations
US9065974B2 (en) System and method for combining a plurality of video streams generated in a videoconference
US9516272B2 (en) Adapting a continuous presence layout to a discussion situation
US8427520B2 (en) Removing a self image from a continuous presence video image
US8704871B2 (en) Method and system for creating a continuous presence video-conference
US20050021620A1 (en) Web data conferencing system and method with full motion interactive video
KR101918676B1 (ko) 복수 개의 영상회의용 단말을 이용하여 영상회의를 제공할 수 있는 영상회의 서버 및 그 카메라 추적방법
JP2010028299A (ja) 会議撮影画像処理方法及び会議装置等
JPH04137686U (ja) テレビ会議システムの自動送信画像選択装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160330

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170330

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180416

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190402

Year of fee payment: 7