KR20080021715A - 카메라를 위한 표준화된 이미지를 위한 컴퓨터 시스템의방법, 컴퓨터 판독가능 매체 및 디지털 신호 - Google Patents

Abstract

회의 참석자들의 표준화된 이미지를 생성하여 그 이미지가 표시될 때에 참석자들이 거의 동일한 크기로 보이게 하기 위한 방법 및 시스템이 제공된다. 표준화 시스템은 카메라의 위치에서부터 참석자들까지의 거리에 관한 제약조건에 기초하여 이미지의 크기를 표준화한다. 참석자들의 이미지를 표준화하기 위해, 본 시스템은 카메라에서부터 참석자들까지의 거리를 고려하여 카메라를 줌잉한다.

표준화 시스템, 방위각, 앙각, 레인지, 화상 회의,

Description

카메라를 위한 표준화된 이미지를 위한 컴퓨터 시스템의 방법, 컴퓨터 판독가능 매체 및 디지털 신호{NORMALIZED IMAGES FOR CAMERAS}

분산된 지역에 있는 사람들은 일반적으로 화상회의(videoconferencing)를 통해 회의를 개최한다. 일반적인 시나리오에서는, 비디오 및 오디오를 다른 장소에 전송하기 위해 각각의 장소의 실내에서 카메라와 마이크가 설치된다. 카메라와 마이크는 일반적으로 전화선, 인터넷, 또는 기타 네트워크를 통해 멀리 떨어진 장소에 데이터를 전송하기 위한 화상 회의 소프트웨어를 실행하는 컴퓨팅 시스템에 연결된다. 그러면 상기 멀리 떨어진 장소에 있는 컴퓨팅 시스템은 영상 및 음성 데이터를 수신하고 이를 디스플레이 스크린과 스피커를 이용하여 이를 회의 참석자에게 전달한다.

카메라의 방향은 방위각(azimuth) 및 앙각(elevation)으로 나타내고, 카메라에서 대상까지의 거리는 레인지(range)로 나타낸다. 방위각은 카메라가 마주하고 있는 테이블 둘레의 회전 각(rotational angle)을 말한다. 카메라가 자북(magnetic north)을 향하고 있는 경우에는, 방위각은 0도로 되도록 자북이 0도로 설정된다. 카메라의 방위각을 변화시키는 동작을 패닝(panning)이라고 한다. 앙각은 카메라가 향하고 있는 수평면을 기준으로 하는 위 또는 아래의 각을 말한다. 수평면을 향하고 있는 카메라는 0도의 앙각을 갖는다. 수평면 위의 각은 양의 값 으로 표현되고, 수평면 아래의 각은 음의 값으로 표현된다. 카메라의 앙각을 변화시키는 동작을 틸팅(tilting)이라고 한다. 레인지(range)는 카메라에서부터 이미지가 캡처되는 대상까지의 거리를 말한다. 이미지상에서 대상이 보다 크게 또는 작게 보이도록 하는 동작을 줌잉(zooming)이라고 한다.

초기의 화상 회의 시스템에서는, 카메라는 고정되어 있었고 떨어진 장소에서는 카메라의 바로 앞에 앉아 있는 회의 참석자만을 볼 수 있었다. 일부 화상 회의 시스템은 카메라를 수동으로 패닝, 틸팅 및 줌잉하는 기능을 추가하였다. 그보다 나중의 화상 회의 시스템은 카메라를 자동으로 패닝 및 틸팅하여 발언중인 참석자가 방안 어디에 있던지(예를 들면, 음향 및/또는 시각 기술을 이용함) 떨어진 장소의 참석자가 그를 볼 수 있도록 허용했다. 일부 현대식 화상 회의 시스템은 마이크로부터의 음성을 사용하여 카메라의 위치를 지정하고 음량(volume)에 기초하여 카메라로부터 발언중인 참석자까지의 거리를 추정하지만, 이는 그러나, 예를 들면, 일부 참석자들이 다른 사람들보다 더 크게 이야기하고 방안에 대상의 반향과 같은 다른 소음이 시스템을 교란할 수 있어서, 종종 옳지 않은 발언인 또는 불균형한 이미지 크기를 선택하는 결과를 낳을 수 있다.

이동가능한 카메라를 사용한다 해도, 회의 참석자 모두를 보는 것은 종종 어렵다. 회의 참석자들은 종종 사각 테이블 주변에 착석한다. 카메라로부터 멀리 떨어진 테이블 끝에 있는 참석자들은 테이블의 측면 및 카메라에 보다 가까운 곳에 있는 참석자에 비하여 더 작아보이고 덜 상세하게 보인다. 이로 인해, 카메라에 가까운 일부 사람들이 화면 전체를 채우게 되고, 카메라에서 멀리 떨어져 있는 그 외 사람들은 화면의 작은 부분만을 채우게 되어서 회의 참석자들을 혼란스럽게 만든다.

회의 참석자들의 표준화된 이미지를 생성하여 그 이미지가 디스플레이될 때에 참석자들이 거의 동일한 크기로 보이게 하기 위한 방법 및 시스템이 제공된다. 표준화 시스템은 카메라의 위치로부터 참석자들까지의 거리에 관련된 제약조건에 기초하여 이미지의 크기를 표준화한다. 본 시스템은 카메라에서부터 카메라가 향하고 있는 참석자까지의 거리를 추정하기 위해 카메라의 방위각 및 상기 제약조건을 사용한다. 참석자들의 이미지를 표준화하기 위해, 본 시스템은 카메라에서부터 참석자들까지의 거리를 고려하여 카메라를 줌잉한다.

이 섹션은 아래의 실시예에서 더 설명되는 컨셉의 선택을 단순한 형식으로 소개하기 위해 제공된다. 이 섹션은 청구된 대상의 주요 특징 또는 근본적인 특징들을 확인하기 위함이 아니며, 청구된 대상의 범위를 결정하는 목적으로 사용하기 위한 것도 아니다.

도 1은 비디오회의를 지원하기 위해 두 위치에서 표준화 시스템 셋업을 갖는 일반적인 시나리오를 도시하는 도면.

도 2는 일 실시예에서의 표준화 시스템을 이용하는 회의실 셋업을 도시하는 도면.

도 3은 표준화 시스템의 일반적인 셋업의 상면도 및 측면도 사용하는 통상적 인 카메라 위치지정 전문 용어를 설명하는 도면.

도 4는 일 실시예에서의 파노라마식 카메라 이미지로부터 CIF 이미지를 추출하는 것을 도시하는 도면.

도 5는 일 실시예에서의 표준화 시스템의 컴포넌트들을 도시하는 블록도.

도 6은 일 실시예에서의 표준화 시스템의 자동팬틸트줌(AutoPanTiltZoom) 컴포넌트의 처리를 도시하는 흐름도.

도 7은 일 실시예에서의 표준화 시스템의 방위각 검출 컴포넌트의 처리를 도시하는 흐름도.

도 8은 일 실시예에서의 SSL 컴포넌트에 의해 발언 위치의 위치를 검출하기 위한 마이크 배열의 사용을 도시하는 도면.

도 9a 및 9b는 표준화 시스템의 MPD 컴포넌트에 의해 생성되는 출력을 도시하는 도면.

도 10은 방위각 검출 컴포넌트의 일반적인 호출에서 검출되는 확률 그래프를 도시하는 도면.

도 11은 일 실시예에서의 앙각 검출 컴포넌트의 처리를 도시하는 흐름도.

도 12는 일 실시예에서의 레인지 검출 컴포넌트의 처리를 도시하는 흐름도.

도 13a 및 13b는 표준화 시스템이 있는 이미지 및 없는 이미지를 도시하는 도면.

도 14는 일 실시예에서의 표준화 시스템의 처리를 도시하는 흐름도.

회의 참석자들의 표준화된 이미지를 생성하여 그 이미지가 디스플레이될 때에 참석자들이 거의 동일한 크기로 보이게 하기 위한 방법 및 시스템이 제공된다. 일 실시예에서는, 표준화 시스템은 카메라의 위치로부터 참석자들까지의 거리에 관련된 제약조건에 기초하여 이미지의 크기를 표준화한다. 예를 들면, 이러한 제약조건은 카메라가 중앙에 위치된 회의 테이블의 테이블 레이아웃(예를 들면, 길이 및 너비)을 포함할 수 있다. 본 시스템은 카메라에서부터 카메라가 향하고 있는 참석자까지의 거리를 추정하기 위해 카메라의 방위각 및 상기 제약조건을 사용한다. 예를 들면, 테이블 레이아웃이 그 길이는 북에서 남으로 향해 있고 카메라가 중앙에 위치된 5×10피트의 직사각형이라고 가정하자. 따라서, 카메라가 서쪽을 향하는 경우에는, 본 시스템은 테이블의 레이아웃에 기초하여 카메라로부터 참석자까지의 거리가 적어도 2.5피트일 것이라고 추정할 수 있다. 카메라가 북쪽을 향하는 경우에는, 본 시스템은 카메라에서 참석자까지의 거리가 적어도 5피트일 것이라고 추정할 수 있다. 참석자들의 이미지를 표준화하기 위해, 본 시스템은 카메라에서부터 참석자들까지의 거리를 고려하여 카메라를 줌잉한다. 예를 들면, 본 시스템은 카메라에서 2.5피트 떨어진 참석자에 대해 1배의 줌 팩터(zoom factor)를 사용하고 카메라에서 5피트 떨어진 참석자에 대해 2배의 줌 팩터를 사용한다. 이러한 방법으로, 회의 참석자들은 카메라가 향하고 있는 회의 참석자의 표준화된 이미지를 볼 수 있다.

일부 실시예에서는, 표준화 시스템은 하나의 이미지를 캡처하기 위해 테이블 주위의 모든 방위각을 동시에 묘사하는 파노라마식 카메라를 사용한다. 파노라마 식 카메라는 일반적으로 인터넷 또는 기타 네트워크를 통해 직접 전송하기에는 너무 큰 이미지를 생성한다. 일반적인 파노라마식 카메라는 3700×600 픽셀의 고 해상도 이미지를 생성할 수 있다. 이 이미지를 잘라내고 크기 조절하여 파노라마식 이미지의 일부분으로부터 인터넷을 통한 전송에 적합한 이미지를 생성할 수 있다. 화상 회의 데이터의 전송을 위한 일반적인 포맷인 CIF(Common Intermediate Format) 이미지는, 352×288 픽셀의 해상도를 갖고 ICU H.261 화상 회의 규격에 의해 묘사된다. 컴퓨팅 장치가 파노라마식 카메라로부터 파노라마식 이미지를 수신하고 파노라마식 이미지의 특정 부분을 향하는 가상 카메라처럼 동작한다. 본 명세서 전체에서, 비 파노라마식 카메라를 패닝, 틸팅, 및 줌잉하는 것에 대한 언급이 파노라마식 카메라로부터 수신된 이미지의 잘라내기 및 크기 조절을 통하여 가상의 카메라에도 똑같이 잘 적용됨이 본 기술 분야의 당업자에게 이해될 것이다. 이 설명에서는, "카메라"에 대한 언급은, 그 문맥에서 실제 카메라, 가상의 카메라, 파노라마식 카메라, 또는 비 파노라마식 카메라 중 하나 또는 그 밖의 다른 하나만을 지시하지 않는 한, 위에 언급된 어떤 것도 가리킬 수 있다.

일부 실시예에서는, 표준화 시스템은 카메라를 자동으로 발언중인 참석자에게 향하게 할 수 있다. 발언중인 참석자는 다수의 마이크를 사용함으로써 그의 목소리에 기초하여 식별될 수 있다. 표준화 시스템에 의해 사용되는 화상 회의 엔드포인트(endpoint)는 카메라와 함께 베이스(base) 주변에 분산된 다수의 마이크를 포함할 수 있다. 마이크들은 각각의 마이크에서 수신중인 특정한 소리의 지연을 검출함으로써 발언중인 참석자의 방위각을 판정하는데 사용될 수 있다. 특정한 소 리를 먼저 수신한 마이크가 그 소리에 가장 가까우며, 다른 마이크에 도달한 소리의 지연은 본원에 참조로써 포함되어 있는, 2003년 3월 31일에 출원된 미국 특허 제10/404,219호, "A System and Process for Time Delay Estimation in the Presence of Correlated Noise and Reverberation"에서 설명된 바와 같이 해당 기술에 공지된 기술을 사용하여 소리의 방위각을 판정할 수 있게 한다. 일단 방위각을 알고나면, 카메라는 자동으로 그 방향을 향하게 된다.

일부 실시예에서는, 표준화 시스템은 회의에 앞서 초기 셋업의 일부로서 테이블 레이아웃과 카메라에 대한 테이블의 방향을 묘사하는 제약조건의 집합을 수신한다. 테이블 레이아웃은 테이블에 관한 크기, 모양, 및 기타 정보를 묘사한다. 테이블 레이아웃은 카메라 또는 기타 장치를 사용하여 자동으로 결정되었거나 참석자에 의해 수동으로 입력될 수 있다. 예를 들면, 표준화 시스템은 테이블의 모서리를 식별하고 카메라에서 모서리까지의 거리를 추정하기 위해 파노라마식 이미지를 분석할 수 있다. 비 파노라마식 카메라가 사용되는 경우에는, 카메라는 각 방위각을 포함하도록 캡처 이미지를 360도 회전시킴으로써 파노라마식 이미지를 생성할 수 있다. 카메라가 테이블의 중앙에 위치되지 않는 경우에는, 시스템은 테이블의 중앙에서 카메라까지의 오프셋을 결정할 수 있어서 표준화 시스템은 회의 참석자까지의 거리를 판정할 때에 오프셋을 고려할 수 있다.

일부 실시예에서는, 표준화 시스템은 제약조건이 관련되는 카메라의 초기의 위치를 판정한다. 초기 위치는 테이블에 대하여 고정된 지점에 파노라마식 또는 비 파노라마식 카메라의 베이스의 방향을 정함으로써 확정될 수 있다. 비 파노라 마식 카메라가 어느 한 쪽으로 패닝되는 경우에는, 초기 위치로부터의 방위각의 변화가 센서, 스테핑 모터(stepping motor) 등을 사용하여 검출될 수 있다. 예를 들면, 초기 위치로부터 지나가는 정해진 크기의 융기부(ridge)의 개수를 검출하기 위해 광센서가 사용될 수 있다. 그러면 카메라의 방위각은 초기 위치로부터의 방위각의 변화를 고려함으로써 제약조건과 관련될 수 있다. 파노라마식 카메라의 초기 위치를 판정하기 위하여, 참석자들에게 카메라의 베이스를 향하도록 요청할 수 있어서 베이스 상의 지시기(indicator)가 테이블의 특정한 끝 부분(end)을 향하게 할 수 있다. 파노라마식 카메라는 또한 예를 들면, 파노라마식 이미지를 디스플레이하고 참석자에게 이미지에서 테이블의 특정한 끝 부분을 선택하도록 요청함으로써 소프트웨어의 초기 위치를 선택하도록 허용할 수 있다. 이러한 위치를 판정된 초기 위치와 비교함으로써 파노라마식 이미지의 여러 위치가 제약조건과 관련될 수 있다.

일부 실시예에서는, 표준화 시스템은 초기 셋업 후에 테이블에 대한 카메라의 방향의 변화를 고려한다. 예를 들면, 회의 참석자들이 카메라에 부딪히거나 카메라를 옮겨 놓아서 저장된 제약조건이 카메라에 대한 테이블의 위치를 올바르게 반영하지 않을 수 있다. 이를 해결하기 위해, 카메라는 자북에 대하여 카메라의 방위각을 출력하는 자기력계를 포함하거나 이미지 기반 테이블 검출을 사용할 수 있다. 초기 셋업 동안에는, 시스템은 자기력계로부터 판독하는 등으로 얻어낸 초기 방향을 저장한다. 카메라가 초기 설정 동안에 테이블에 대해 고정된 장소에 위치하고 있으므로, 자기력계로부터의 초기 판독은 카메라에 대한 테이블의 방향을 규정한다. 회의 동안에, 표준화 시스템은 자기력계의 출력을 저장된 값과 비교하여 카메라가 이동했는지의 여부와 어느 정도의 방위각만큼 이동했는지를 판정한다. 방위각의 변화는 저장된 제약조건으로부터 결정된, 회의 참석자까지의 거리를 수정하는 데에 사용된다.

도 1은 화상 회의을 지원하기 위해 두 방향에서 설정된 표준화 시스템을 갖는 일반적인 시나리오를 도시한다. 한 장소(105)에서의 화상 회의 엔드포인트(endpoint)(107)가 퍼스널 컴퓨터 또는 기타 클라이언트 장치(115)에 부착된 카메라(110)를 포함한다. 모니터(140)는 또한 퍼스널 컴퓨터(115)에 부착되어 있다. 화상 회의 엔드포인트(107)는 인터넷(120) 또는 기타 네트워크에 접속되어 비디오를 제2 장소(125)에 전송한다. 제2 장소(125)의 화상 회의 엔드포인트(127)는 부착된 카메라(130) 및 모니터(145)를 갖는 퍼스널 컴퓨터 또는 기타 클라이언트 장치(135)를 포함한다. 제1 장소의 카메라(110)는 그 장소의 회의 참석자의 비디오를 캡처한다. 퍼스널 컴퓨터(115)는 카메라(110)로부터 비디오를 수신하여 이를 네트워크(120)를 통해 제2 장소(125)에 전송한다. 제2 장소(125)의 퍼스널 컴퓨터(135)는 비디오를 수신하여 제2 장소(125)의 참석자들에게 부착된 모니터(145) 상에서 이를 디스플레이한다. 유사하게는, 제2 장소(125)로부터의 비디오가 제1 장소(105)에 디스플레이된다. 일부 실시예에서는, 화상 회의 엔드포인트의 컴포넌트는 별도의 퍼스널 컴퓨터에 연결될 필요가 없는 통합된 화상 회의 장치에 포함될 수 있다.

본 시스템이 구현되는 컴퓨팅 장치는 중앙 처리 장치, 메모리, 입력 장치(예 를 들면, 키보드 및 포인팅 장치), 출력 장치(예를 들면, 디스플레이 장치), 및 저장 장치(예를 들면, 디스크 드라이브)를 포함할 수 있다. 메모리 및 저장 장치는 본 시스템을 구현하는 명령어를 포함할 수 있다. 또한, 데이터 구조 및 메시지 구조가 저장되거나 통신 링크 상의 신호와 같은 데이터 전송 매체를 통해 전송될 수 있다. 인터넷, LAN(local area network), WAN(wide area network), 포인트 간 다이얼업(point-to-point dial-up) 접속, 전화 네트워크 등과 같은 여러 통신 링크가 사용될 수 있다.

본 시스템의 실시예는 퍼스널 컴퓨터, 서버 컴퓨터, 핸드-헬드 또는 랩톱 장치, 멀티프로세서 시스템, 마이크로프로세서 기반 시스템, 프로그램가능한 가전제품, 디지털 카메라, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 상기 시스템들이나 장치들 중 임의의 것을 포함하는 분산 컴퓨팅 환경, 기타 등등을 비롯한 여러 운영 환경에 구현될 수 있다. 컴퓨터 시스템은 전화기, PDA, 스마트 폰, 퍼스널 컴퓨터, 프로그램 가능한 가전제품, 디지털 카메라 기타 등등일 수 있다.

본 시스템은 일반적으로 하나 이상의 컴퓨터 또는 기타 장치에 의해 실행되는 프로그램 모듈과 같은 컴퓨터 실행가능 명령어와 관련하여 기술될 수 있다. 일반적으로, 프로그램 모듈은 특정 태스크를 수행하거나 특정 추상 데이터 유형을 구현하는 루틴, 프로그램, 개체, 컴포넌트, 데이터 구조 등을 포함한다. 일반적으로, 프로그램 모듈의 기능성은 다양한 실시예에서 원하는 대로 결합되거나 분산될 수 있다.

도 2는 일 실시예에서 표준화 시스템을 사용하는 회의실 셋업을 도시한다. 화상 회의 엔드포인트(210)가 사각 테이블(205)의 중앙에 위치한다. 화상 회의 엔드포인트(210)는 마이크(215) 및 LCD 디스플레이 스크린(220)의 배열을 포함한다. 마이크 배열(215)은 화상 회의 엔드포인트(210)의 베이스 주변에 균일하게 분포된 6개의 마이크를 포함한다. 테이블의 모서리에서는, 테이블 주변의 여러 위치에 있는 참석자에 대한 상대적 크기가 표시된다. 예를 들면, 테이블(205)의 끝 부분(230)에서, 상대적 크기 50％는 그 위치의 참석자가 테이블(205)의 측면(225)에 착석한 참석자의 50％ 만하게 보일 것임을 가리킨다. 표준화된 사이즈를 갖는 각각의 참석자의 이미지를 생성하기 위한 줌 팩터(zoom factor)가 상대적 크기의 역수로서 계산되므로, 2배의 줌 팩터는 도시된 테이블의 끝부분에 착석한 사람에게 적합할 것이다. 적합한 줌 팩터는 화상 회의 엔드포인트의 위치와 마찬가지로 테이블의 크기 및 레이아웃에도 의존한다. 중앙에 위치한 화상 회의 엔드포인트를 포함하는 사각 테이블이 도면에 도시되고 있지만, 표준화 시스템은 다양한 테이블 크기, 모양, 및 레이아웃을 지원한다. 예를 들면, 한쪽 끝에 화상 회의 엔드포인트를 갖는 원형 테이블이 사용되어, 표준화 시스템이 엔드포인트에 가장 가까이 착석한 참석자보다 엔드포인트에서 더 먼곳에 착석한 참석자들에 대해 더 큰 줌 팩터를 사용할 수 있다.

도 3은 표준화 시스템의 일반적인 셋업의 상면도와 측면도를 사용하여 일반적인 카메라 위치 지정 전문용어를 예시하는 도면이다. 카메라(305)가 테이블(310) 위에 놓여 있다. 카메라(305)는 앙각(320)이라고 불리는, 참석자에게 수직인 각에 위치되어 있다. 카메라(305)는 방위각(325)이라고 불리는, 테이블 주위 의 회전각에 위치되어 있다. 카메라(305)는 레인지(330)라고 불리는, 참석자(315)로부터의 거리를 갖는다.

도 4는 일 실시예에서 파노라마식 카메라 이미지로부터 CIF 이미지의 추출하는 것을 도시한다. 파노라마식 카메라는 예를 들면, 3700×600 픽셀의 높은 해상도를 갖는 큰 이미지(405)를 생성한다. 표준화 시스템은, 예를 들면, 352×288 픽셀의 해상도를 갖는 보다 작은 이미지(410)를 생성하기 위해 큰 이미지(405)의 일부분을 선택하는 가상 카메라로서 동작한다. 큰 이미지(405)에서 좌에서 우로 이동하는 프로세스는 패닝과 유사하고, 위아래로 이동하는 프로세스는 틸팅과 유사하다. 아직은 352×288이 아닌 큰 이미지의 부분집합을 시작으로 보다 작은 이미지가 추출되는 경우에는, 352×288로 이미지 크기를 바꾸는 프로세스는 줌과 유사하다.

도 5는 일 실시예의 표준화 시스템의 컴포넌트를 도시하는 블록도이다. 클라이언트(505)가 테이블 구성 저장소(510), 사운드 저장소(515), 이미지 저장소(520), 음원 위치추정(SSL) 컴포넌트(525), 여러명 검출(MPD) 컴포넌트(530), 및 자동팬틸트줌(AutoPanTiltZoom) 컴포넌트(535)를 포함한다. 테이블 구성 저장소(510)는 회의 테이블의 레이아웃 및 테이블 상의 카메라의 위치를 묘사하는 제약조건을 포함한다. 음향 저장소(515)는 화상 회의 엔드포인트의 마이크 배열을 사용하여 캡처된 음성 데이터를 포함한다. 이미지 저장소(520)는 화상 회의 엔드포인트의 카메라를 사용하여 캡처된 이미지를 포함한다. 카메라가 파노라마식 카메라인 경우에는, 이미지 저장소는 테이블 둘레의 모든 방향을 보여주는 파노라마식 카메라의 출력을 대표하는 하나의 이미지를 포함한다. SSL 컴포넌트(525)는 음향 저장소(515)로부터의 음성 정보를 분석하고 발언중인 참석자가 테이블 주변의 임의의 특정 방위각에 위치할 확률을 판정한다. MPD 컴포넌트(530)는 이미지 저장소(520)로부터의 영상 정보를 분석하고 발언중인 참석자가 테이블 주변의 임의의 특정 방위각에 착석해 있을 확률을 판정한다. 참석자가 검출되는 곳의 방위각 값에 대하여, 참석자의 머리를 둘러싸는 경계 상자(bounding box)가 계산된다. MPD 컴포넌트(530)는 또한 경계 상자의 하부 모서리의 위치를 어디에 두어야 할지를 판정하기 위해 테이블의 모서리의 위치를 찾아낸다. 비 파노라마식 카메라가 사용되는 경우에는, 방을 둘러싸는 카메라의 초기 패닝이 MPD 컴포넌트를 위한 데이터를 수집하기 위해 수행될 수 있다. 자동팬틸트줌 컴포넌트(535)는 테이블 구성 저장소(510), SSL 컴포넌트(525), 및 MPD 컴포넌트(530)로부터의 정보를 사용하여 다른 회의 참석자에게 전송하기 위한 최종 이미지를 생성한다. 자동팬틸트줌 컴포넌트는 각각 아래에서 더욱 자세히 설명될 레인지 검출 컴포넌트(550), 방위각 검출 컴포넌트(555), 및 앙각 검출 컴포넌트(560)를 포함한다.

도 6은 일 실시예에서의 표준화 시스템의 자동팬틸트줌 컴포넌트의 처리를 도시하는 흐름도이다. 컴포넌트는 언제 발언중인 참석자가 바뀌는지를 검출하고 카메라를 조정하여 참석자의 표준화된 이미지를 생성하기 위해 회의 내내 주기적으로 호출된다. 블록(605)에서는, 컴포넌트는 방위각 검출 컴포넌트를 호출하여 발언중인 참석자의 방위각을 검출한다. 블록(610)에서는, 컴포넌트는 앙각 검출 컴포넌트를 호출하여 발언중인 참석자의 앙각을 검출한다. 블록(615)에서는, 컴포넌 트는 레인지 검출 컴포넌트를 호출하여 화상 회의 엔드포인트에서 발언중인 참석자까지의 거리를 검출한다. 블록(620)에서는, 컴포넌트는 비 파노라마식 카메라를 패닝, 틸팅, 및 줌잉하거나 가상 카메라에 제공된 파노라마식 이미지를 잘라내고 크키조절함으로써 카메라가 발언중인 참석자를 향하게 위치시킨다.

도 7은 일 실시예의 표준화 시스템의 방위각 검출 컴포넌트의 처리를 도시하는 흐름도이다. 컴포넌트는 발언중인 참석자의 방위각을 검출하기 위해 호출된다. 블록(705)에서는, 컴포넌트는 음향 데이터를 사용하여 판정된, 테이블 주변의 임의의 방위각에 발언중인 참석자가 위치하고 있을 확률을 가리키는 SSL 컴포넌트로부터 정보를 수신한다. 블록(710)에서는, 컴포넌트는 영상 데이터를 사용하여 판정된, 테이블 주변의 임의의 방위각에 발언중인 참석자가 위치하고 있을 확률을 가리키는 SSL 컴포넌트로부터 정보를 수신한다. 블록(715)에서는, SSL 컴포넌트로부터 수신된 확률이 MPD 컴포넌트로부터 수신된 확률에 더해져서 발언중인 참석자가 테이블 주변의 임의의 방위각에 위치하고 있을 결합된 확률을 생성한다. SSL 및 MPD 데이터를 결합하는 것은 또한 가중치를 둔 평균(weighted average), 뉴럴(neural) 네트워크, 또는 베이지안(Bayesian) 네트워크를 이용하여 결합된 확률을 생성할 때에 SSL 컴포넌트 또는 MPD 컴포넌트로부터 수신된 정보에 더 많은 가중치가 주어지게 할 수 있다. 블록(720)에서는, 발언중인 참석자의 위치로서 가장 높은 확률의 방위각이 선택된다. 그러면 컴포넌트는 완료한다.

도 8은 일 실시예의 SSL 컴포넌트로 인해 발언중인 참석자의 위치를 검출하기 위한 마이크 배열의 사용을 도시한다. 회의 참석자(805)가 화상 회의 엔드포인 트(810) 주변에 앉아 있다. 화상 회의 엔드포인트(810)는 그 둘레에 마이크(815)의 배열을 포함한다. 음파(audio waves)(820)가 서로 다른 시간에 각각의 마이크에 도달한다. 예를 들면, 마이크(825)가 참석자(805)에게 더 가깝기 때문에 도면의 참석자로부터의 음파는 마이크(830)보다 먼저 마이크(825)에 도달할 것이다. 참석자의 위치는 당해 기술분야에 일반적으로 공지된 기술을 이용하여 참석자를 삼각법으로 측량하기 위해 각각의 마이크로부터의 지연 정보를 이용함으로써 판정될 수 있다.

도 9a 및 9b는 표준화 시스템의 MPD 및 SSL 컴포넌트에 의해 생성되는 출력을 도시한다. 도 9a는 파노라마식 카메라에 의해 생성되는 이미지를 도시하고, 도 9b는 동일한 이미지를, MPD 및 SSL 컴포넌트에 의해 판정된 정보를 가리키는 선들과 함께 도시한다. 경계 상자(905)는 테이블의 한쪽 끝의 참석자 주변에 그어져 도시되고 있는데, 이는 검출된 테이블 모서리(910)를 그 하부 모서리로 사용한다. 각각의 참석자의 크기를 표준화하기 위해 적용되어야 할 줌에서의 차이를 가리키는, 더 멀리 떨어진 참석자(915)에 대한 경계 상자는 보다 가까운 참석자(920)에 대한 것보다 작다.

도 10은 방위각 검출 컴포넌트의 일반적인 호출에서 검출되는 확률의 그래프를 도시한다. 회의실 전체를 나타내는 하나의 이미지를 만들기 위해 파노라마식 카메라로부터 생성되거나 또는 비 파노라마식 카메라로부터의 몇 개의 이미지를 함께 붙임으로써 생성될 수 있는 이미지(1005)가 도시된다. 이미지(1005)는 두 명의 참석자(1010 및 1015)를 포함한다. 그래프(1025)는 음성 데이터를 사용하여 SSL 컴포넌트에 의해 생성된 발언중인 참석자가 특정 위치에 있을 확률을 도시한다. 세 피크점(peaks)(1030, 1035, 및 1040)이 도시된다. 처음의 두 피크점(1030 및 1035)이 회의 참석자에 의해 만들어진 음향일 가능성이 큰 반면에, 세 번째 피크점(1040)은 회의실의 화이트보드(1020)가 울리는 소음에 의해 만들어졌을 수 있다. SSL 컴포넌트에 의해 수집된 데이터를 개선하기 위하여, 제2 그래프(1050)에 도시되는 MPD 컴포넌트로부터의 데이터를 SSL 데이터와 더하여 제3 그래프(1075)에 도시되는 총 확률을 생성한다. 제3 그래프(1075)는 중앙의 참석자(1015)의 위치에 피크를 도시하여 그가 발언중인 참석자일 확률이 가장 높다고 가리킨다.

도 11은 일 실시예의 앙각 검출 컴포넌트의 처리를 도시하는 흐름도이다. 컴포넌트는 발언중인 참석자의 앙각을 검출하기 위해 호출된다. 블록(1105)에서는, 컴포넌트는 방위각 검출 컴포넌트에 의해 판정되는 대로 발언중인 참석자의 방위각을 수신한다. 블록(1110)에서는, 컴포넌트는 각각의 경계 상자의 수평 중앙의 방위각을 발언중인 참석자의 방위각과 비교함으로써 가장 가까운 경계 상자를 찾기 위해 방위각을 사용한다. 블록(1115)에서는, 컴포넌트는 선택된 경계 상자의 수직 중앙을 판정하고, 그 위치에 대한 앙각 값을 반환한다. 그러면 컴포넌트는 완료한다. 일부 실시예에서는, SSL 컴포넌트는 발언중인 참석자의 앙각을 검출하기 위해 또는 상기 설명된 방위각을 검출하기 위한 방법과 유사한 MPD 컴포넌트로부터의 경계 상자 정보를 보충하기 위해 호출한다.

도 12는 일 실시예에서의 레인지 검출 컴포넌트의 처리를 도시하는 흐름도이다. 컴포넌트는 카메라에서 발언중인 참석자까지의 거리를 검출하기 위해 호출된 다. 블록(1205)에서, 컴포넌트는 방위각 검출 컴포넌트에 의해 판정되는 발언중인 참석자의 방위각을 수신한다. 블록(1210)에서는, 컴포넌트는 표준화 시스템의 초기 셋업 동안에 제공된 테이블 제약조건에 의해 판정되는 대로 수신된 방위각에서의 레인지를 참조한다. 일부 실시예에서는, 표준화 시스템은 또한 셋업된 이후의 화상 회의 엔드포인트의 위치의 변화를 검출하고 위치상의 임의의 변화에 기초하여 레인지를 조정한다. 일부 실시예에서는, 레인지 검출 컴포넌트는 또한 검출된 참석자의 위치 및 테이블의 모서리에 기초하여 레인지를 보정하기 위해 MPD 컴포넌트에 의해 제공되는 정보를 사용한다. 그러면 컴포넌트는 완료한다.

도 13a 및 13b는 표준화 시스템이 있는 이미지 및 표준화 시스템이 없는 이미지를 도시한다. 도 13a는 표준화 시스템을 사용하지 않는 회의 참석자를 도시한다. 회의 참석자는 이미지의 작은 부분만을 차지하고 있다. 도 13b는 표준화가 적용된 동일한 회의 참석자를 도시한다. 참석자는 이 이미지에서 훨씬 크게 보이며, 보는 사람의 관심을 분산시키는 관계없는 시각적 정보가 더 적다.

도 14는 일 실시예에서의 표준화 시스템의 처리를 도시하는 흐름도이다. 블록(1405)에서는, 시스템은 테이블 레이아웃 및 방향을 묘사하는 제약조건을 수신한다. 블록(1410)에서는, 시스템은 현재 발언중인 참석자를 검출한다. 블록(1415)에서는, 시스템은 카메라를 발언중인 참석자에게 향하도록 위치하고 참석자의 이미지를 생성하여 참석자의 크기가 표준화된다. 그러면 컴포넌트는 완료한다.

상기로부터, 표준화 시스템의 특정한 실시예들이 본원에서 예시를 목적으로 설명되었으나, 본 발명의 사상 및 범위로부터 일탈함이 없이 다양한 변화가 만들어 질 수 있음이 이해될 것이다. 예를 들면, 카메라 유형 및 화상 회의 엔드포인트의 다양성이 본 시스템에 의해 사용될 수 있다. 상세하게는, 파노라마식 및 비 파노라마식 카메라 양쪽을 사용하는 기술이 설명될 수 있으나, 스틸 카메라, 비디오 카메라, 적외선 카메라 등과 같이 다른 유형의 카메라도 사용될 수 있다. 표준화 시스템을 갖는 직사각형, 정사각형, 원형, 타원형 등을 비롯하여 테이블의 다양한 형태 및 레이아웃이 사용될 수 있다. 본 시스템은 화상 회의에 대하여 설명되었지만, 설명된 기술은 다른 상황에서도 동일하게 적용될 수 있다. 예를 들면, 본 시스템은 상점의 손님들, 동물원의 동물들, 교실의 사람들, 또는 기타 설정을 관찰하기 위해 사용될 수 있다. 본 명세서에서 논의된 참석자들은 카메라에 의해 생성되는 이미지에 도시된 개체를 말하는데, 이는 사람, 동물 기타 등등일 수 있다. 회의 참석자의 크기를 표준화하는 프로세스는 특정한 회의 참석자의 크기를 늘리기 위해 줌잉하는 식으로 논의되었으나, 카메라는 또한 보다 큰 이미지를 생성하기 위해 참석자에게 가깝게 실제로 이동할 수 있다. 따라서, 본 발명은 첨부된 청구항에 의해 제한되는 것 이외에는 어떤 제한도 두지 않는다.

Claims (20)

1. 비디오 내에서 참석자의 이미지 크기를 표준화하기 위한 컴퓨터 시스템에서의 방법으로서,

   참석자의 위치에 관련된 제약조건의 집합을 제공하는 단계; 및

   상기 제공된 제약조건에 의해 지시된 바와 같은, 상기 참석자의 위치를 고려하도록 조정된 크기를 갖는 참석자 이미지를 생성하는 단계

   를 포함하는 이미지 크기를 표준화하기 위한 컴퓨터 시스템에서의 방법.
2. 제1항에 있어서, 상기 제약조건은 주변에 상기 참석자가 위치하고 있는 테이블을 묘사하는 방법.
3. 제1항에 있어서, 상기 이미지를 생성하는 단계는 상기 제약조건이 제공된 후에 상기 카메라의 방향의 변화를 고려하는 단계를 포함하는 방법.
4. 제1항에 있어서, 상기 카메라는 가상의 카메라인 방법.
5. 제4항에 있어서, 상기 가상의 카메라는 파노라마식 카메라로부터 수신된 상기 참석자의 파노라마식 이미지에 대해 동작하는 방법.
6. 제5항에 있어서, 상기 생성된 이미지는, 상기 파노라마식 이미지를 잘라내거나 크기 조절하는 것 중 적어도 하나에 인해 생성된 상기 파노라마식 이미지의 부분집합인 방법.
7. 제1항에 있어서, 상기 카메라는 비 파노라마식(non-panoramic) 카메라인 방법.
8. 제7항에 있어서, 상기 이미지를 생성하는 단계는 상기 카메라를 패닝, 틸팅, 또는 줌잉하는 것 중 적어도 하나를 포함하는 방법.
9. 제1항에 있어서, 현재 발언중인 참석자를 향하도록 상기 카메라를 자동으로 위치시키는 단계를 포함하는 방법.
10. 제9항에 있어서, 상기 발언중인 참석자는 마이크를 사용함으로써 검출되는 방법.
11. 제1항에 있어서, 상기 카메라를 위치시키는 것은 상기 테이블의 모서리를 검출하는 것 및 상기 생성된 이미지의 하부 위치로서 상기 모서리를 이용하는 것을 포함하는 방법.
12. 제1항에 있어서, 상기 제약조건의 집합을 수신하는 것은 상기 제약조건을 자동으로 검출하는 것을 포함하는 방법.
13. 비디오 회의의 참석자의 이미지의 크기를 표준화하기 위한 방법을 수행하도록 컴퓨터 시스템을 제어하기 위한 명령어를 포함하는 컴퓨터 판독가능 매체로서, 상기 방법은,

    파노라마식 카메라로부터 제1 이미지를 캡처하는 단계; 및

    참석자의 상기 제1 이미지로부터 상기 파노라마식 카메라가 위치된 테이블의 레이아웃에 기초하는 크기를 갖는 제2 이미지를 생성하는 단계

    를 포함하는 컴퓨터 판독가능 매체.
14. 제13항에 있어서, 상기 테이블의 상기 레이아웃은 상기 카메라로부터 상기 테이블의 모서리까지의 거리를 묘사하는 컴퓨터 판독가능 매체.
15. 제13항에 있어서, 상기 방법은 현재 발언중인 참석자를 향하도록 상기 카메라를 자동으로 위치시키는 단계를 포함하는 컴퓨터 판독가능 매체.
16. 제15항에 있어서, 상기 발언중인 참석자는 마이크를 사용함으로써 검출되는 컴퓨터 판독가능 매체.
17. 제15항에 있어서, 상기 카메라를 위치시키는 단계는, 상기 테이블의 모서리를 검출하는 단계와 상기 모서리를 제외하여 상기 제2 이미지의 크기를 조절하는 단계를 포함하는 컴퓨터 판독가능 매체.
18. 제13항에 있어서, 상기 제2 이미지를 생성하는 단계는 상기 테이블 레이아웃이 판정된 후에 상기 카메라의 방향의 변화를 고려하는 단계를 포함하는 컴퓨터 판독가능 매체.
19. 참석자에 대해 카메라를 위치시킴으로써 생성되는 이미지를 전달하고 상기 참석자의 위치에 대한 제약조건에 의해 지시되는 바와 같은, 상기 참석자의 추정되는 위치를 고려하도록 조정된 크기를 갖는 상기 참석자 이미지를 생성하는 데이터 신호.
20. 제19항에 있어서, 상기 참석자는 현재 발언중인 참석자인 데이터 신호.

Images