KR100859679B1

KR100859679B1 - 카메라 기반의 시스템에서 모드 스위칭을 위한 방법 및 장치

Info

Publication number: KR100859679B1
Application number: KR1020027003662A
Authority: KR
Inventors: 코헨소럴에릭; 트라제코빅미로슬라브
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2000-07-21
Filing date: 2001-07-06
Publication date: 2008-09-23
Also published as: CN1203673C; CN1386370A; WO2002009426A1; JP2004505514A; US6674458B1; KR20020033466A; EP1312213A1

Abstract

카메라 기반의 시스템은 복수의 사이트들을 포함하고, 각각은 그와 관련된 카메라를 갖는다. 처리 시스템은 상기 사이트들 중 주어진 사이트에서 카메라로부터 수신된 비디오 신호를 처리하고, 주어진 사이트로부터 원격의 하나 이상의 사이트들에서, 주어진 사이트와 관련된 대응하는 출력 비디오의 대표 프리젠스 모드와 표시를 위한 적어도 하나의 다른 모든 사이에 제어된 스위칭을 제공한다. 처리 시스템은 카메라에 의해 발생된 비디오 신호로부터 얻어진 정보를 이용하여, 대표 프리젠스 모드와 예컨대 라이브 비디오 모드가 될 수 있는 다른 모드 사이의 스위칭을 제어한다. 예를 들어, 처리 시스템은 시스템의 사용자를 확인하고, 대응하는 사용자 프로파일을 검색하여, 상기 검색된 사용자 프로파일내의 정보에 따라 상기 모드들 사이의 스위칭을 제어하도록 처리될 수 있다.

비디오 신호, 대표 프리젠스 모드, 디폴트 모드, 처리 시스템

Description

카메라 기반의 시스템에서 모드 스위칭을 위한 방법 및 장치{Method and apparatus for mode switching in a camera-based system}

본 발명은 통상적으로 비디오 신호 처리 분야에 관한 것으로, 특히 카메라 기반의 시스템에서 이용하는 비디오 신호 처리 기술들에 관한 것이다.

널리 알려진 바와 같이, 현재의 비디오 회의 시스템들은 복수의 사이트들 사이에 양방향 비디오 및 음성 통신을 제공하도록 형성될 수 있다. 이러한 시스템들은 사이트들 사이에 연속 비디오 통신을 허용하며, 이 배치를 "비디오 프리젠스(video presence)" 또는 "라이브 비디오(live video)" 모드라 부른다. 이런 종류의 배치가 갖는 문제로는, 사이트들 중 주어진 사이트로부터 하나 이상의 다른 사이트들로의 라이브 비디오의 중단되지 않는 표시(presentation)가 주어진 사이트에서 표시되는 그들에 대하여 침해로 생각될 수 있다는 점이다. 이 문제는 주어진 사이트가 회의실이나 비디오 회의를 위해 특별히 설계된 다른 시설과는 반대되는 특정 개인의 가정이나 사무실에 해당하는 응용들에서 특히 명확하다. 이런 가정이나 사무실의 응용들에서, 프라이버시의 걱정으로 인해 비디오 프리젠스의 이용을 막을 수 있다.

상기 프라이버시의 걱정은 "대표 프리젠스(representative presence)"로 불리는 접근법을 이용하도록 구성될 수 있는 종래의 비디오 회의 시스템들내에 어느 정도 들어있다. 대표 프리젠스는 일반적으로, 사용자들이 비디오 회의에 또는 원격 참가자에게 표시되는 비디오 신호에서 특정 방법으로 제시될 다른 유사한 배치에 참가하는 것을 허용한다. 각 사용자들은 디스플레이되는 신호내에 표시되는 방법을 통해 어떤 제어량을 제공받을 수 있다.

비디오 회의 응용에서 대표 프리젠스의 종래의 이용의 예로는 Tohei Nitta의 1994년 9월 13일에 출간된 "Animated Electronic Meeting Place" 제목의 미국 특허 제 5,347,306호에 기술되어 있다. 이 예에서, 네트워크 기반의 애니메이트화된 전자 회의실(animated electronic meeting place)은 네트워크 상의 각 참가자에 대한 단말기 및 국부의 사전 저장된 애니메이션 그래픽을 포함하는 것으로, 모의 실험의 참가자들은 애니메이트화된 캐릭터들 또는 인형들의 형태로 그들의 위치, 자세, 제스처(gestures), 음성 내용(audio content) 및 각 개인이 애니메이트화된 전자 회의실에서 디스플레이되길 바라는 임의의 등장 인물(persona)을 포함하는 그들의 각 워크 스테이션에서 각 참가자들의 감각을 통하여 구동된다. 그리하여, 주어진 사용자는 그 또는 그녀가 등장 인물의 이용이나 캐릭터 제어를 통하여 스크린 상에 그 자신 또는 그녀 자신을 나타내는 방법을 선택할 수 있다.

비록 상술한 종래의 시스템들은 대표 프리젠스 모드들 및 라이브 비디오 모드들을 독립적으로 실행하였지만, 이 시스템들은 주어진 시스템 내의 대표 프리젠스 모드 및 라이브 비디오 모드 사이의 스위칭을 위한 적절한 기술들을 제공하는데는 실패하였다.

본 발명은, 비디오 회의 시스템 또는 다른 카메라 기반의 시스템에서, 대표 프리젠스 모드 및 라이브 비디오 모드와 같은 하나 이상의 다른 모드들 사이의 자동적인 또는 반자동적인 스위칭을 위한 방법 및 장치를 제공한다. 본 발명의 일 측면에 따라, 카메라 기반의 시스템은, 각각이 관련된 카메라를 갖는 복수의 사이트들을 포함한다. 처리 시스템은 상기 사이트들 중 주어진 사이트에서 카메라로부터 수신된 비디오 신호를 처리하고, 상기 주어진 사이트로부터 원격의 하나 이상의 사이트들에서, 상기 주어진 사이트와 관련된 대응하는 출력 비디오의 대표 프리젠스 모드와 표시를 위한 적어도 하나의 다른 모드 사이에 제어된 스위칭을 제공한다. 처리 시스템은 카메라에 의해 발생된 비디오 신호로부터 얻어진 정보를 이용하여 대표 프리젠스 모드와 하나 이상의 다른 모드들 사이의 스위칭을 제어한다. 대표 프리젠스 모드는, 하나 이상의 원격 사이트들에서 주어진 사이트와 관련된 출력 비디오의 표시를 위한 디폴트 모드로서 확립될 수 있다.

본 발명의 다른 측면에 따라, 처리 시스템은 시스템의 사용자를 식별하도록 카메라에 의해 발생된 비디오 신호를 처리할 수 있다. 이어서, 처리 시스템은 대응하는 사용자 프로파일을 검색하고, 상기 검색된 사용자 프로파일내의 정보에 따라 모드들 사이의 스위칭을 제어한다. 다른 실시예들에서, 처리 시스템은 음성 인식 기술들(speech recognition techniques)을 이용하여 적어도 부분적으로 사용자를 식별할 수 있다.

본 발명의 또 다른 측면에 따라, 주어진 사이트에서 처리 시스템은 검색된 사용자 프로파일내의 정보에 기초하여 적어도 부분적으로 대표 프리젠스 모드에서, 하나 이상의 원격 사이트들에 제시되는 출력 비디오의 적어도 하나의 특징을 결정할 수 있다.

본 발명의 또 다른 측면에 따라, 주어진 사이트에서 처리 시스템은, 하나 이상의 원격 사이트들에서의 주어진 사이트와 관련된 비디오의 표시가 대표 프리젠스 모드 또는 다른 모드들 중 한 모드를 따르는지에 관하여, 상기 주어진 사이트에서 사용자에게 지시를 제공하도록 형성될 수 있다.

유익하게, 본 발명은 비디오 회의 시스템 또는 서로 다른 카메라 기반의 시스템 응용에서 대표 프리젠스 모드와 라이브 비디오 모드 사이의 효율적이고 정확한 스위칭을 허용한다. 본 발명의 상기 및 기타 다른 특징들은 첨부된 도면 및 하기의 상세한 설명으로부터 더 명백해질 것이다.

도 1은 본 발명에 따라 대표 프리젠스 모드와 라이브 비디오 모드 사이의 스위칭을 합체시킨 카메라 기반의 시스템의 실시예를 도시하는 블록도.

도 2는 본 발명에 따라 도 1의 카메라 기반의 시스템에서 실행될 수 있는 스위칭 동작을 도시하는 흐름도.

도 3은 본 발명과 함께 이용하기에 적당한 디스플레이의 예를 도시하는 도면.

예시적인 실시예에서 본 발명은, 카메라 기반의 시스템에서 대표 프리젠스 모드와 라이브 비디오 모드 사이의 스위칭을 위한 기술들을 제공한다. 유익하게, 상기 모드들 사이의 스위칭은 자동적인 또는 반자동적인 방법으로 실행될 수 있다. 예를 들어, 하기에 설명될 예시적인 실시예에서, 대표 프리젠스 모드는 디폴트 모드(default mode)로서 형성되고, 시스템은 대응하는 사이트에서 어떤 타입들의 활동(activity)의 검출에 기초하여, 디폴트 모드에서 라이브 비디오 모드로 스위칭하고 자동적으로 반대로 스위칭한다. 검출된 활동은, 예컨대 특정한 위치 선정에서 특정 사람의 프리젠스 및 주어진 방안의 위치를 포함할 수 있다. 이러한 경우, 사이트에서 카메라에 의해 발생된 비디오 신호는 사람을 식별하고, 대응하는 사용자 프로파일(profile)을 검색하여, 적당한 모드 및 하나 이상의 원격 사이트들을 위한 디스플레이를 생성할 때에 이용될 디스플레이 특징들을 결정하도록 처리될 수 있다. 또한, 스위칭이 실행되거나 대안적으로 반자동적인 방법으로 실행될 수 있는데, 이러한 경우 예를 들면, 시스템이 검출된 활동에 기초하여 스위칭 동작을 실행하기 전에 어떤 사용자 입력을 필요로 할 수도 있다.

도 1은 본 발명의 예시적인 실시예에 따라 카메라 기반의 시스템(100)을 도시한다. 상기 시스템(100)은 복수의 사이트들(102-1, 102-2, 102-3,..102-N)을 포함하고, 각각은 네트워크(103) 상에서 통신하도록 접속된다. 각 사이트는 카메라(104-i), 마이크로폰(105-i), 디스플레이(106-i), 처리 시스템(108-i)(i=1,2,3,..N)을 포함하도록 형성된다. 주어진 처리 시스템(108)은 이에 대응하는 카메라(104), 마이크로폰(105), 및 디스플레이(106)에 결합되고 이들의 동작을 제어한다.

하나 이상의 사용자들은 각 사이트들(102-i)과 관련될 수 있다. 예를 들어, 도면에 도시된 바와 같이, 사용자(110)는 사이트(102-1)와 관련되고, 사용자(112)는 사이트(102-N)와 관련된다.

동작중, 상기 시스템(100)은 사이트들(102-i) 중 주어진 사이트와 관련된 처리 시스템(108)으로부터 하나 이상의 다른 사이트들의 처리 시스템들로 비디오 신호를 공급한다. 또한, 본원에서는 이 다른 사이트들을 주어진 사이트에 대한 원격 사이트들이라고 부른다. 이후 이용되는 용어 "원격(remote)"는 주어진 사이트로부터 지리학적으로 원격의 사이트들뿐만 아니라 예컨대, 빌딩(building)의 서로 다른 방들, 시설(facility)의 서로 다른 빌딩들 등에서 주어진 사이트와 같이 배치될 수 있는 사이트들을 포함하도록 되어 있음을 이해하여야 한다.

본 발명에 따라, 하나 이상의 다른 사이트들에서의 표시를 위한 주어진 사이트의 처리 시스템(108)에 의해 공급된 비디오 신호는 비디오의 자동적인 또는 반자동적인 처리 또는 주어진 사이트에서 발생하는 다른 정보에 기초하여, 라이브 비디오 신호 또는 대표 프리젠스 비디오 신호로서 선택될 수 있다.

도 1의 시스템(100)에서 카메라들(104)은 예컨대, 고정 뷰(fixed-view) 카메라들, 기계적 줌(mechanical zoom) 카메라들, 전자적 줌 카메라들, 팬 틸트 줌(PTZ; pan-tilt-zoom) 카메라들 등을 포함할 수 있다. 시스템(100)의 카메라들 모두는 예컨대, 시스템(100)의 주어진 실행이 다양한 종류의 다른 타입의 카메라들을 포함할 수 있는 것과 같은 방법으로 형성될 필요는 없다. 본원에서 이용되는 용어 "카메라"는 본 발명의 모드 스위칭 기술들과 함께 이용될 수 있는 어떤 타입의 이미지 캡처 장치(image capture device)를 포함하도록 한다. 카메라들(104)은 대응하는 처리 시스템들(108)에 공급되는 비디오 신호들을 발생할 수 있다. 비디오 신호들은 카메라들(104)에 의해 아날로그형으로 발생되고, 이어서 처리 시스템(108)과 관련된 아날로그 대 디지털 변환기들과 같이 처리 시스템들(108)의 소자들을 이용하여 디지털형으로 변환될 수 있다. 대안적으로, 상기 카메라들은 디지털 네트워크 카메라들, 인터넷 프로토콜(IP) 카메라들 또는 디지털형에서 비디오 신호들을 발생하도록 형성된 다른 타입의 디지털 카메라들일 수 있다.

비록 도 1 실시예의 각 사이트들에서 단일 카메라를 도시하였지만, 다른 실시예들은 각 사이트에 복수의 카메라들을 포함할 수 있다. 즉, 시스템에 심연한 정보(depth information)를 계산하는 능력을 제공하기 위하여 각 사이트에 배치된 한 쌍의 카메라들을 포함할 수 있다. 유사하게, 도 1의 각 사이트들(102)은 복수의 마이크로폰들을 포함할 수 있다. 더욱이, 도 1에 도시되지 않은 다른 타입의 장치들은 모션 검출기들, 음성 탐지기들(audio locator devices) 등과 같은 카메라들 및 마이크로폰들과 함께 이용될 수 있다. 또한, 주어진 사이트에서 카메라, 마이크로폰 및 처리 시스템의 적어도 일부는 단일 장치에 결합될 수도 있다.

각 디스플레이들(106)은 대응하는 처리 시스템들(108)에 의해 발생된 하나 이상의 출력 비디오 신호들의 표시를 제공하도록 형성될 수 있다. 예를 들어, 각 디스플레이들(106)은, 본 발명의 모드 스위칭에 따라, 라이브 비디오 신호 및 대표 프리젠스 비디오 신호들 모두를 포함하는, 사이트들(102) 중 특정 사이트에 의해 발생된 비디오 신호들의 여러 조합들을 디스플레이할 수 있다. 이러한 디스플레이의 예는 도 3과 함께 하기에 보다 상세히 설명될 것이다.

처리 시스템들(108)중 주어진 처리 시스템은 카메라들(104)에 의해 발생된 입력 비디오 신호들을 수신하고, 하기에 보다 상세히 설명될 방법으로 상기 수신된 신호들을 처리하여, 디스플레이들(106) 중 대응하는 디스플레이 상에 표시를 위한 적절한 출력 비디오 신호들을 발생시킨다. 상술된 바와 같이, 하나 이상의 출력 비디오 신호들은 본 발명이 기술들에 따라 형성될 대표 프리젠스 타입의 배치들을 포함할 수 있다.

도 1의 카메라 기반의 시스템(100)의 어떤 소자들 또는 소자들의 그룹들이 상기 및 그 밖의 다른 처리 장치들 또는 시스템들의 부분들이나 조합들뿐만 아니라 다른 종래의 컴퓨터, 컴퓨터들의 세트, 또는 비디오 회의 시스템의 대응하는 소자들을 대표할 수 있음에 주목해야 한다. 더구나, 처리 시스템들(108)의 일부 또는 모든 기능들은 컴퓨터, 텔레비전, 셋탑 박스 또는 다른 타입의 처리 장치로 합체된 주문형 집적 회로(ASIC; application specific integrated circuit), 프로그래밍된 마이크로프로세서, 마이크로컨트롤러 또는 디지털 신호 처리기(DSP; digital signal processor), 회로 카드 등을 이용하여 실행될 수 있다.

처리 시스템들(108)은 도 2 및 도 3과 함께 본원에서 설명되는 모드 스위칭 기술들을 이행하기 위해 시스템 소프트웨어를 실행하도록 형성된다. 따라서, 각 처리 시스템들(108)은 하나 이상의 마이크로프로세서들, 중앙 처리 장치들, 마이크로컨트롤러들, DSP들 또는 본원에서 설명되는 모드 스위칭 기능들을 실행하기에 적당한 임의의 다른 데이터 처리 소자를 포함할 수 있다. 또한, 처리 시스템들(108)은 각각이 상기 시스템 소프트웨어의 적어도 일부를 저장하는 메모리를 포함하도록 형성될 수 있다. 이 메모리들은 상기 및 그 밖의 다른 저장 장치들의 부분들이나 조합들뿐만 아니라, 하나 이상의 전자 메모리들, 디스크 기반의 메모리들, 또는 그 밖의 다른 타입의 메모리들을 포함할 수 있다.

도 2는 도 1의 시스템(100)에서 실행될 수 있는 본 발명의 모드 스위칭 처리를 도시하는 흐름도이다. 단계(120)에서, 주어진 사이트(102-i)는 본 실시예에서 대표 프리젠스 모드에 대응하는 디폴트 모드에 배치된다. 상기 디폴트 모드에서, 주어진 사이트로부터 원격의 각 사이트들(102)은 주어진 사이트로부터의 라이브 비디오 신호 대신에 주어진 사이트로부터의 비디오 신호의 대표 프리젠스 타입을 디스플레이할 것이다. 원격 사이트들에 디스플레이될 대표 프리젠스 비디오 신호의 특정한 특징들로는 예컨대, 사용자 프로파일의 부분이 처리 시스템들(108) 중 대응하는 처리 시스템에서 그 사용자를 위해 저장되므로 주어진 사이트에서 사용자에 의해 제어될 수 있다는 것이다.

본 발명의 측면에 따라, 주어진 사이트로부터의 대표 프리젠스 비디오 신호가 하나 이상의 원격 사이트들에서 디스플레이될 때, 실제의 대표 프리젠스 비디오 신호 그 자체가 주어진 사이트로부터 각 원격 사이트들에 전달되진 않는다. 그 대신, 적당히 식별된 정보가 주어진 사이트로부터 각 원격 사이트들에 전달될 수 있어, 식별된 정보의 수취에 응답하여 원격 사이트들은 주어진 사이트에서 소망하는 적절한 대표 프리젠스 신호를 각각 디스플레이한다. 예를 들어, 복수의 서로 다른 타입의 대표 프리젠스 비디오 신호들이 각 사이트들에 사전 저장되거나, 변경가능한 대표 프리젠스 신호가 각 사이트들에 저장될 수 있어, 주어진 사이트가 필요한 것은 원격 사이트들에 주어진 사이트를 위한 소망의 대표 프리젠스 신호를 디스플레이하도록, 사전 저장된 신호들 중 특정 신호의 선택 또는 변경가능한 신호의 특정한 특징들을 식별할 뿐이다. 이러한 접근법은 전송 대역폭과 같은 유용한 시스템 자원들을 보호하는 동안 주어진 사이트에서 사용자들의 프라이버시를 보호한다. 그리하여, 대표 프리젠스 비디오 신호의 전송에 대한 참조들은 비디오 신호 자체를 대신해 상기 신호에 대한 정보를 식별하는 전송을 포함하도록 한다. 물론, 실제의 대표 프리젠스 비디오 신호 자체가 본 발명의 주어진 실시예에서 전송될 수 있었다.

또한, 대표 프리젠스 신호와 라이브 비디오 신호 사이의 스위칭에 대한 참조들이 상기 신호들의 대응하는 음성 부분들 사이의 스위칭을 포함하도록 하는 것에 주목해야 한다.

다시 도 2에 대하여, 단계(122)에서 주어진 사이트에서 카메라에 의해 발생된 비디오 신호는 사용자가 있는지를 결정하는데 처리되는 것을 나타낸다. 상기 단계는 주어진 사이트에서 카메라에 의해 발생된 비디오 신호의 처리에 기초가 될 수 있다. 다른 기술들은 마이크로폰으로부터의 신호의 검출, 모션 검출 장치, 음성 탐지기 등과 같은 비디오 신호 처리와 함께 또는 그 대신에 이용될 수 있다. 단계(124)에서 어떤 사용자도 없다는 것을 나타내면, 처리는 단계(122)로 되돌아가서, 사용자 프리젠스의 표시들을 위해 비디오 신호를 계속 모니터링한다.

단계(124)에서 사용자가 있다고 나타내면, 사용자(단계 126)를 식별하는 시도를 한다. 예를 들어, 널리 알려진 종래의 비디오 처리 기술들은 주어진 이미지내에서 사용자의 얼굴을 프레임하고, 결과로서 생긴 이미지의 특징들을 알려진 시스템 사용자들에 대한 저장된 정보와 비교하는데 이용될 수 있다. 이 기술들은 특정 사용자와 같은 명확한 식별 또는 명확히 식별되진 않았지만 이전의 사용자와 같은 "태깅(tagging)"을 포함하며, 신장, 얼굴, 컬러 히스토그램 서명 등과 같은 특징들에 기초가 될 수 있다. 본 발명의 주어진 실시예에서 이용되는 특정한 식별 레벨은 일반적으로 주어진 응용의 특정 요구들에 따라 변화할 것이다.

다른 예로서, 시스템은 음성 발생기로부터의 적절한 음성 프롬프트 출력 신호(voice prompt output signal)를 이용하여 정보를 식별하기 위해 사용자를 프롬프트할 수 있다. 이러한 경우, 사용자는 그 또는 그녀의 이름을 말함으로써 음성 프롬프트에 응답할 수 있고, 시스템은 사전 저장된 사용자 식별자들의 데이터베이스에 대하여 비교될 수 있는 말하여진 이름을 식별자로 변환하도록 음성 인식을 프럼프트한다.

또한, 시스템은 특정 사용자의 특징들을 습득하도록 형성될 수 있다. 예를 들어, 사용자는 음성 명령 또는 임의의 다른 기계 장치를 이용하여 발생되는 명령을 이용하여 시스템을 습득 모드로 놓을 수 있어, 상기 시스템은 사용자에 대응하는 비디오 또는 음성 정보를 처리하고, 상기 처리된 것을 시스템으로의 이후의 접근에 그 사용자를 식별할 때의 이용을 위해 저장한다. 이러한 기술들은 사용자를 명확히 식별할 필요는 없지만, 그 대신 예컨대, 특정 비디오 또는 음성 서명이 현재의 사용자와 관련될 수 있어, 그 사용자가 누구인지 명확히 식별하지 않는 상술된 "태깅" 접근법을 포함할 수 있다. 이러한 방법으로, 사용자가 이후 시스템에 접근할 때, 시스템은 이름 등의 특정 사용자 정보를 모르고도 사용자를 식별할 수 있다. 상기 및 다른 기술들의 다양한 조합들이 시스템으로의 특정 사용자를 식별하는데 이용될 수 있음은 본 기술 분야의 숙련된 자들에게 있어 명백하다.

도 2의 단계(128)에서 사용자가 성공적으로 식별되었다고 나타내면, 단계(130)는 사용자 식별 결과를 이용하여 상기 식별된 사용자와 관련된 사용자 프로파일을 검색한다. 사용자가 식별되지 않았다면, 시스템은 단계(122)로 되돌아간다. 시스템은, 상기 시스템이 그들을 승인하는 것이 불가능했던 것과 그들이 어떤 식별 정보로 들어왔어야 하는지를 상기 미확인된 사용자들에게 통신하고, 방안의 어떤 위치로 가거나, 그렇지 않으면 비디오 프럼프트들, 음성 프럼프트들, 제스처 등을 통하여 지정된 방법으로 시스템과 상호 작용하도록 형성될 수 있다. 이로 인해 시스템이 상기 미식별된 사용자들을 위한 적절한 식별 정보 및 대응하는 사용자 프로파일들을 개발할 것을 허용한다.

단계(130)에서 검색된 사용자 프로파일은 대응하는 사용자의 대표 프리젠스 우선권들에 대한 정보를 포함한다. 예를 들어, 사용자 프로파일은 하나 이상의 원격 사이트들에 디스플레이하도록 대표 프리젠스 신호 타입을 지정하는 정보를 포함할 수 있다. 상기 정보는 각 원격 사이트들을 위한 서로 다른 대표 프리젠스 신호의 지정을 포함할 수 있다. 또한, 대표 프리젠스나 라이브 비디오중 어느 하나가 자동적으로 활동적이 되어야 하는 날의 시간 또는 검출가능한 활동 상황의 시간, 특정 타입의 대표 프리젠스 신호들이 원격 사이트들 등에서 디스플레이되어야 하는 날의 시간 또는 검출가능한 활동 상황의 시간과 같은 라이브 비디오 모드와 대표 프리젠스 모드 사이의 바람직한 스위칭에 대한 정보를 포함할 수 있다.

상기 사이트들 중 주어진 사이트에 대한 사용자 프로파일들은 그 사이트의 대응하는 처리 시스템과 관련된 메모리에 저장될 수 있다.

단계(132)는 상기 검색된 사용자 프로파일을 기초로 하나 이상의 원격 사이트들을 위한 표시를 형성한다. 상기 형성은 모든 원격 사이트들 또는 지정된 서브셋들을 위해 적절한 라이브 비디오 모드 또는 대표 프리젠스 모드를 결정하는 것을 포함할 수 있다. 이러한 처리의 일부로서, 시스템은 상기 검색된 사용자 프로파일에서 지정된 우선권들에 따라, 하나 이상의 원격 사이트들의 표시에서 대표 프리젠스 모드 및 라이브 비디오 모드 사이에 스위칭할 수 있다.

단계(134)에서 시스템은 사용자가 여전히 있는지를 결정하도록 검사한다. 사용자가 여전히 있다면, 처리는 단계(132)로 되돌아가서, 주어진 사이트에서 사용자 프로파일 및 지정된 활동들의 임의의 검출에 따라 제어되도록 대표 프리젠스 모드와 라이브 비디오 모드 사이의 스위칭을 계속한다. 시스템이 단계(134)에서 사용자가 더 이상 있지 않다고 결정하면, 처리는 단계(122)로 되돌아가서 주어진 사이트에서 카메라에 의해 발생된 비디오 신호에서 다른 사용자의 검출을 시도한다.

상술된 바와 같이, 단계(132)에서 대표 프리젠스 모드와 라이브 비디오 모드 사이의 스위칭은 주어진 사이트에서 어떤 타입들의 활동의 검출에 기초될 수 있다. 예를 들어, 시스템은 사용자가 시스템의 지정된 부근 내에 왔었는지와 어떤 시간 주기 동안 거기에 있었는지를 결정할 수 있어, 라이브 비디오 모드를 이용하는 하나 이상의 원격 사이트들과 상호 작용하도록 되어 있음을 나타낸다. 다른 예에서, 시스템은 주어진 방안의 칸막이 벽(podium) 또는 침상(couch)에서, 의자(chair)와 같은 특정한 위치 선정들에서의 사용자들의 프리젠스를 검출할 수 있다. 이러한 경우, 사용자 프로파일은, 사용자가 방안의 특정 위치 선정 또는 위치에서 검출된다면, 디폴트 대표 모드에서 라이브 비디오 모드로의 스위칭이 자동적으로 트리거(trigger)되어야 한다고 명기한다. 또 다른 예로서, 어떤 사용자들이 방에 홀로 있을 때 라이브 비디오 모드로 동작되는 것이 바람직할 수 있다. 이러한 경우, 시스템은, 사용자가 식별되고 상기 대응하는 사용자 프로파일이 검색 및 처리되기만 하다면 디폴트 대표 프리젠스 모드에서 라이브 비디오 모드로 자동적으로 스위칭한다. 물론, 복수의 다른 시나리오들이 있을 수 있다.

또한, 시스템은 특정한 방법으로 손이나 팔의 움직임과 같은 사용자 제스처들에 응답하여, 모드들 사이의 스위칭을 제어하도록 형성될 수 있다. 이 제스처들은 상술된 사용자 프로파일들의 부분으로서 개개의 사용자들 또는 사용자들의 그룹들에 정의될 수 있다. 예를 들어, 특정 제스처는 모드들 사이의 부가의 스위칭이 일시적으로 무능해지도록, 특정한 모드에서 시스템에 "록(lock)" 자체의 명령으로 지정될 수 있다. 다른 제스처가 상기 록 모드에서 시스템을 언록킹(unlocking)하기 위해 지정될 수 있다. 음성 명령들 또는 다른 타입의 제스처가 아닌 명령들이 이 기능들을 실행하는데 이용될 수 있다.

도 3은 도 1의 카메라 기반의 시스템(100)에서 사이트들 중 주어진 사이트에서 사용될 수 있는 디스플레이의 일예를 도시한다. 상기 예에서, 시스템의 각각의 다른 사이트들에서 디스플레이가 유사한 방법으로 형성될 수 있지만, 도면에 도시된 디스플레이가 사이트(102-1)에 관련된 디스플레이(106-1)라고 추측된다. 상기 예에서 디스플레이(106-1)는 관련된 스크린(152)을 갖는 모니터(150)를 포함한다. 상기 스크린은 4개의 개별적인 디스플레이 영역들(154-1, 154-2, 154-3, 154-4)을 포함하도록 자동적, 구조적 또는 그 밖의 다른 방법으로 형성되고, 각각은 사이트(102-1)로부터 원격의 특정 사이트에 대응한다. 특히, 디스플레이 영역들(154-1, 154-4)은 원격 사이트2(102-2) 및 원격 사이트5(102-5) 각각으로부터 라이브 비디오 신호들을 디스플레이하는 반면에, 디스플레이 영역들(154-2, 154-3)은 원격 사이트3(102-3) 및 원격 사이트4(102-4) 각각에 의해 공급되거나 지정되는 대표 프리젠스 비디오 신호들을 디스플레이한다.

또한, 디스플레이(106-1)와 관련된 것은 제 1 라이트(162) 및 제 2 라이트(164)를 포함하는 한 세트의 표시기 라이트들(160)이다. 상기 한 세트의 표시기 라이트들(160)은 사이트(102-1)에서, 원격 사이트들이 사이트(102-1)를 조망(view)하는 특정 방법을 사용자에게 통신하도록 의도된다. 예를 들어, 라이트(162)는 사이트(102-1)에서, 사이트(102-1)가 대표 프리젠스 모드로 각 원격 사이트들에 디스플레이되는 사용자를 표시하는 그린 라이트가 될 수 있는 반면에, 라이트(164)는 사이트(102-1)에서, 사이트(102-1)가 라이브 비디오 모드에서 원격 사이트들 중 적어도 하나의 사이트에 디스플레이되는 사용자를 표시하는 레드 라이트가 될 수 있다.

도 3의 디스플레이(106-1)는 부가적인 세트의 디스플레이 영역들(170-2, 170-3,...,170-N)을 더 포함하는 것으로, 각각은 사이트(102-1)에 대한 원격 사이트들 즉, 사이트들(102-2, 102-3,...,102-N)중 한 사이트에 대응한다. 디스플레이 영역들(170)중 주어진 디스플레이 영역은 대응하는 원격 사이트에서 일반적으로 디스플레이되는 특정한 대표 프리젠스 또는 라이브 비디오 신호를 사이트(102-1)에서 사용자에게 디스플레이한다. 이로 인해 원격 사이트들에 프리젠트될 실제 신호들에 대한 자세한 관찰을 사이트(102-1)에서 사용자에게 제공한다.

유사한 세트의 라이트들(160) 및 디스플레이 영역들(170)은 각 사이트들(102)에서 디스플레이들(106)에서 실행될 수 있어, 각 그의 사이트들에서 사용자들이 그들의 국부 사이트들을 위해 라이브 비디오 또는 대표 프리젠스 비디오를 디스플레이하는지를 결정하고, 또한 디스플레이될 특정 타입의 신호들을 결정할 수 있다.

따라서, 상기 세트의 라이트들(160) 및 디스플레이 영역들(170)은, 그들이 현재 동작중인 모드를 나타내는 사이트(102-1)에서 사용자들에게 일정한 피드백을 제공한다. 다른 타입의 피드백 기계장치들이 이용될 수 있다.

본 발명의 다른 실시예들은 몇몇의 서로 다른 타입의 라이브 비디오 모드들과 같은 대표 프리젠스 모드와 복수의 다른 모드들 사이의 스위칭, 또는 복수의 대표 프리젠스 모드들과 복수의 라이브 비디오 모드들 사이의 스위칭을 제공할 수 있다.

비디오 회의 시스템 응용들에서 이용하기에 특히 적합하더라도, 본 발명은 비디오 모니터링, 감시 또는 보호 시스템과 같은 다른 응용들에서 이용될 수 있다. 더구나, 도 1 및 도 3에 도시된 시스템 요소들의 특정 타입 및 배치는 오직 예로서, 여러 대안의 시스템 형성들은 본 발명의 모드 스위칭 기술들을 실행하도록 이용될 수 있다. 예를 들어, 도 1의 실시예가 분포된 방법으로 시스템의 대응하는 사이트와 각각 관련된 다중 처리 시스템들을 포함하더라도, 본 발명은 집중화된 처리, 또는 집중화의 다양한 하이브리드 조합들 및 분표된 처리를 이용하여 실행될 수 있다. 본 원에서 이용되는 용어 "처리 시스템"은 예컨대, 하나 이상의 요소들의 한 세트의 분배된 처리 시스템들, 완전한 세트의 분배된 처리 시스템들, 또는 집중화된 처리 시스템들인 상기 대안의 배치들을 포함하도록 의도된다. 후술하는 청구항의 범위내의 상기 및 여러 다른 실시예들은 본 발명의 기술분야의 숙련된 자에게 명백하다.

Claims

카메라 기반의 시스템(100)으로서:

비디오 신호를 발생하는 적어도 하나의 카메라(104); 및

상기 카메라에 접속되어 그로부터 상기 비디오 신호를 수신하는 처리 시스템(108)을 포함하며,

상기 카메라는 상기 시스템의 복수의 사이트들(102) 중 주어진 사이트와 관련되고, 상기 주어진 사이트 이외의 사이트들은 상기 주어진 사이트에 대하여 원격 사이트들을 나타내고, 상기 처리 시스템은 상기 카메라로부터 수신된 상기 비디오 신호를 처리하고, 하나 이상의 원격 사이트들에서 상기 주어진 사이트와 관련된 대응하는 출력 비디오를 표시하기 위한 대표 프리젠스 모드(representative presence mode)와 표시(presentation)를 위한 적어도 하나의 다른 모드 사이에 제어된 스위칭을 제공하도록 동작하는, 카메라 기반의 시스템.
제 1 항에 있어서, 상기 대표 프리젠스 모드는 상기 하나 이상의 원격 사이트들에서 상기 주어진 사이트와 관련된 출력 비디오의 표시를 위한 디폴트 모드(default mode)로서 확립되는, 카메라 기반의 시스템.
제 1 항에 있어서, 상기 적어도 하나의 다른 모드는, 상기 카메라에 의해 발생된 상기 비디오 신호의 적어도 일부가 상기 하나 이상의 원격 사이트들에서 제시되는 라이브 비디오 모드(live video mode)를 포함하는, 카메라 기반의 시스템.
제 1 항에 있어서, 상기 처리 시스템은 상기 카메라에 의해 발생된 상기 비디오 신호로부터 얻어진 정보를 이용하여 상기 대표 프리젠스 모드와 상기 적어도 하나의 다른 모드 사이의 상기 스위칭을 제어하는, 카메라 기반의 시스템.
제 1 항에 있어서, 상기 처리 시스템은 상기 시스템의 특정 사용자를 식별하도록 더 동작하는, 카메라 기반의 시스템.
제 5 항에 있어서, 상기 처리 시스템은 상기 카메라에 의해 발생된 상기 비디오 신호를 처리함으로써 상기 시스템의 사용자를 식별하는, 카메라 기반의 시스템.
제 5 항에 있어서, 상기 처리 시스템은 음성 인식 기술들(speech recognition techniques)의 이용을 통하여 적어도 부분적으로 상기 사용자를 식별하는, 카메라 기반의 시스템.
제 5 항에 있어서, 상기 처리 시스템은 상기 식별된 사용자와 관련된 사전 저장된 사용자 프로파일을 검색하는, 카메라 기반의 시스템.
제 8 항에 있어서, 상기 처리 시스템은 상기 검색된 사용자 프로파일내의 정보에 기초하여 적어도 부분적으로 상기 대표 프리젠스 모드와 상기 적어도 하나의 다른 모드 사이의 상기 스위칭을 제어하는, 카메라 기반의 시스템.
제 8 항에 있어서, 상기 처리 시스템은 상기 검색된 사용자 프로파일내의 정보에 기초하여 적어도 부분적으로 상기 대표 프리젠스 모드에서 하나 이상의 다른 사이트들에 제시되는 상기 출력 비디오의 적어도 하나의 특징을 결정하는, 카메라 기반의 시스템.
제 1 항에 있어서, 상기 처리 시스템은, 상기 주어진 사이트에서, 상기 하나 이상의 원격 사이트들에서의 상기 주어진 사이트와 관련된 비디오의 표시가 상기 대표 프리젠스 모드 또는 상기 적어도 하나의 다른 모드를 따르는지를 사용자에 통신하는 지시자(indicator)를 포함하는, 카메라 기반의 시스템.
복수의 사이트들(102)을 포함하고, 상기 사이트들 중 주어진 사이트는 그와 관련된 카메라(104)를 갖고, 상기 주어진 사이트 이외의 사이트들은 상기 주어진 사이트에 대하여 원격 사이트들을 나타내는, 카메라 기반의 시스템(100)에서 이용하는 방법에 있어서:

상기 카메라로부터 비디오 신호를 수신하는 단계; 및

하나 이상의 원격 사이트들에서 상기 주어진 사이트와 관련된 대응하는 출력 비디오를 표시하기 위한 대표 프리젠스 모드와 표시를 위한 적어도 하나의 다른 모드 사이에 제어된 스위칭을 제공하도록 상기 카메라로부터 수신된 상기 비디오 신호를 처리하는 단계를 포함하는, 카메라 기반의 시스템에서 이용하는 방법.
제 12 항에 있어서, 상기 수신 및 처리하는 단계들은 상기 카메라에 접속된 처리 시스템(108)에서 구현되는, 카메라 기반의 시스템에서 이용하는 방법.
제 12 항에 있어서, 상기 대표 프리젠스 모드는, 상기 하나 이상의 원격 사이트들에서 상기 주어진 사이트와 관련된 출력 비디오의 표시를 위한 디폴트 모드로서 확립되는, 카메라 기반의 시스템에서 이용하는 방법.
제 12 항에 있어서, 상기 적어도 하나의 다른 모드는, 상기 카메라에 의해 발생된 상기 비디오 신호의 적어도 일부가 상기 하나 이상의 원격 사이트들에서 제시되는 라이브 비디오 모드를 포함하는, 카메라 기반의 시스템에서 이용하는 방법.
제 13 항에 있어서, 상기 처리 시스템은 상기 대표 프리젠스 모드와 상기 적어도 하나의 다른 모드 사이의 상기 스위칭을 제어하도록 상기 카메라에 의해 발생된 상기 비디오 신호로부터 얻은 정보를 이용하는, 카메라 기반의 시스템에서 이용하는 방법.
재 13 항에 있어서, 상기 처리 시스템은 상기 시스템의 특정 사용자를 식별하도록 더 동작하는, 카메라 기반의 시스템에서 이용하는 방법.
제 17 항에 있어서, 상기 처리 시스템은 상기 카메라에 의해 발생된 상기 비디오 신호를 처리함으로써 상기 시스템의 상기 사용자를 식별하는, 카메라 기반의 시스템에서 이용하는 방법.
제 17 항에 있어서, 상기 처리 시스템은 음성 인식 기술들의 이용을 통해 적어도 부분적으로 상기 사용자를 식별하는, 카메라 기반의 시스템에서 이용하는 방법.
제 17 항에 있어서, 상기 처리 시스템은 상기 식별된 사용자와 관련된 사전 저장된 사용자 프로파일을 검색하는, 카메라 기반의 시스템에서 이용하는 방법.
제 20 항에 있어서, 상기 처리 시스템은 상기 검색된 사용자 프로파일내의 정보에 기초하여 적어도 부분적으로 상기 대표 프리젠스 모드와 상기 적어도 하나의 다른 모드 사이의 상기 스위칭을 제어하는, 카메라 기반의 시스템에서 이용하는 방법.
제 20 항에 있어서, 상기 처리 시스템은 상기 검색된 사용자 프로파일내의 정보에 기초하여 적어도 부분적으로 상기 대표 프리젠스 모드에서 상기 하나 이상의 다른 사이트들에 제시되는 상기 출력 비디오의 적어도 하나의 특징을 결정하는, 카메라 기반의 시스템에서 이용하는 방법.
제 13 항에 있어서, 상기 주어진 사이트에서, 상기 하나 이상의 원격 사이트들에서의 상기 주어진 사이트와 관련된 비디오의 표시가 상기 대표 프리젠스 모드 또는 상기 적어도 하나의 다른 모드를 따르는지를 사용자에게 통신하는 단계를 더 포함하는, 카메라 기반의 시스템에서 이용하는 방법.
컴퓨터 프로그램이 기록된 컴퓨터 판독가능한 기록 매체로서, 상기 컴퓨터 프로그램은 청구항 12에 청구된 방법을 실행하는, 컴퓨터 판독가능한 기록 매체.