KR20110052678A - 주변 뷰잉 수단을 구비한 통신 디바이스 - Google Patents

Abstract

본 발명은: - 디스플레이 범위를 가지는 이미지 시퀀스를 캡처하기 위한 카메라; - 디스플레이 범위 내에서 지각할 수 없는 주변환경의 이벤트들을 캡처하기 위한 센서; - 주변환경의 이벤트들로부터의 제어 신호를 계산하기 위한 프로세서; 및 - 캡처된 이미지 시퀀스 및 제어 신호를 수신 통신 디바이스로 송신하기 위한 송신 유닛을 포함하는 송신 통신 디바이스에 관한 것이다.

Description

주변 뷰잉 수단을 구비한 통신 디바이스{COMMUNICATION DEVICE WITH PERIPHERAL VIEWING MEANS}

본 발명은 디스플레이 범위(display range)를 가지는 이미지 시퀀스를 캡처(capture)하기 위한 카메라를 포함하는 송신 통신 디바이스 및 캡처된 시퀀스를 수신 통신 디바이스로 송신하기 위한 송신 유닛에 관한 것이다.

본 발명은 또한 송신 통신 디바이스로부터 통신 네트워크를 통해 디스플레이 범위를 가지고 디스플레이되는 이미지 시퀀스에 대응하는 비디오 데이터를 수신하기 위한 수신 유닛, 및 비디오 데이터를 디스플레이하기 위한 디스플레이를 포함하는 수신 통신 디바이스에 관한 것이다.

본 발명은 예를 들어, 비디오 전화(video telephony) 및 화상 회의 시스템(video conferencing systme)들에 관한 것이다.

광대역 인터넷에 액세스하는 사람들의 수가 증가함으로써, VoIP(Voice Over Internet Protocol) 애플리케이션들이 점점 더 많이 이용되고 있다. 또한 인터넷 비디오 전화는 현재 대역폭 제한들이 감소하고 있으므로, 실현되고 있는 중이다.

세계에서의 많은 연구들은 신호 프로세싱 수단에 의해 비디오 전화의 시청각 품질을 개선하는데 집중하고 있다.

본 발명의 목적은 이용자 경험을 증가시키는 통신 디바이스를 제안하는 것이다.

실제로, 본 발명은 다음의 관찰들을 토대로 한다. 종래의 비디오 전화 및 화상 회의 시스템들에 있어서, 이미지 재생은 이용된 디스플레이 그 차체로 제한된다. 당연히, 디스플레이는 통신의 근단(near-end) 위치에 있는 사람들이 원단(far-end) 위치에서 무엇이 진행하고 있는 지를 보고자할 때 상기 사람들이 볼 위치에 있다. 인간의 시각 시스템의 중심부(공간 내의)가 자극되는 이 상황에서, 눈은 공간 세부사항들에 대해 고 민감도를 갖는다. 일반적인 대면(face-to-face) 통신에서, 사람들이 "실제로 거기 있을" 때, 사람의 시각 시스템의 중심부뿐만 아니라 시각 시스템의 주변부가 자극된다. 주변 영역들에서 인간의 시각 시스템은 공간 세부사항에 매우 민감하지 않지만 일시적 세부사항(움직이는 물체들)에 대해 높은 민감도를 갖는다. 이는 누군가가 움직이면 사람들이 자신의 눈들의 코너(corner)로부터 이를 신속하게 발견할 수 있음을 의미한다. 사람들의 주변 뷰잉을 자극하는 시각 정보는 현재 상태의 화상 회의 및 비디오 시스템들에서 전혀 이용되지 않고, 반면에 이는 "거기 있음"의 감각에 추가될 수 있다. 적절한 주변 뷰잉의 경우, 심지어 누군가가 디스플레이의 제한된 시야 범위 외부에 위치될지라도, 원단 위치에 있는 방에 들어오는 상기 사람을 좌측 또는 우측에서 발견할 수 있다. 인간의 주변 뷰잉 감각이 비디오 전화 또는 화상 회의에서 이용되고 있지 않다는 사실은 본 발명의 권위자의 지식으로도 아직 처리되지 않은 문제이다. 본 발명의 목적인 이 문제를 해결하는 것은 거기 있음(being there)의 감각에 대한 개선을 의미한다.

이를 위해, 디스플레이 범위를 가지는 이미지 시퀀스를 캡처하기 위한 카메라; 디스플레이 범위 내에서 지각할 수 없는 주변환경의 이벤트(environmental event)들을 캡처하기 위한 센서; 주변환경의 이벤트들로부터의 제어 신호를 계산하기 위한 프로세서; 및 캡처된 이미지 시퀀스 및 제어 신호를 수신 통신 디바이스로 송신하기 위한 송신 유닛을 포함하는 송신 통신 디바이스가 제공된다.

또한 대응하는 수신 통신 디바이스가 제공되고, 상기 수신 통신 디바이스는 디스플레이 범위를 가지고 디스플레이되는 이미지 시퀀스에 대응하는 비디오 데이터 및 디스플레이 범위 내에서 지각할 수 없는 주변환경의 이벤트들을 나타내는 제어 신호를 송신 통신 디바이스로부터 통신 네트워크를 통해 개별적으로 수신하기 위한 수신 유닛; 비디오 데이터를 디스플레이하기 위한 디스플레이; 디스플레이 옆에 있는 광원들; 및 주변환경 이벤트들을 도출하도록 제어 신호를 해석하고 제어 신호에 따라 광원들을 제어하기 위한 제어기를 포함한다.

본 발명은 디스플레이되는 시각 정보를 디스플레이 외부의 영역으로 확장함으로써 비디오 전화 및 화상 회의 시스템들에서 사람들의 주변 시야 감각들을 자극하는 것을 가능하게 한다. 본 발명에 있어서 스크린상에 도시되는 가시 이미지(visible image) 외부에서 발생하는 원단 위치에서의 이벤트들을 발견하는 것이 가능하다. 이는 "거기에 있음"의 향상된 감각을 제공한다.

본 발명의 제 1 양태에 따르면, 센서는 광-각(wide-angle) 카메라이고 제어 신호는 디스플레이 범위 외부에 있는 광-각 카메라에 의해 캡처되는 이미지 시퀀스로부터 계산된다. 유용하게도, 프로세서는 카메라의 시야 범위 내에 있는 사람들의 얼굴 또는 얼굴들을 검출하기 위한 수단, 및 수신 통신 디바이스로 송신될 디스플레이 범위를 가지는 이미지 시퀀스를 획득하기 위해 이 얼굴 또는 이 얼굴들 주위를 주밍(zooming)하기 위한 수단을 포함한다. 상기 프로세서는 모션 벡터(motion vector) 크기를 도출하기 위해 광-각 카메라의 시야 범위 내로 진입하는 물체의 움직임을 추정하기 위한 수단을 포함할 수 있고, 상기 모션 벡터 크기는 제어 신호에 포함된다. 상기 프로세서는 또한 시야 범위 내에 그리고 디스플레이 범위 외에 있는 픽셀들의 컬러 정보를 계산하기 위한 수단을 포함할 수 있고, 상기 컬러 정보는 제어 신호에 포함된다.

수신 통신 디바이스 측에서, 제어기는 송신 통신 디바이스 측에서 디스플레이 범위 외의 물체의 움직임 및 디스플레이에 대한 물체의 위치를 나타내는 모션 정보를 도출하여 대응하는 광원을 스위치-온(switch-on)하도록 적응될 수 있다. 제어기는 송신 통신 디바이스 측에서 디스플레이 범위 외부의 물체의 움직임의 양을 나타내는 모션 벡터 크기를 도출하도록 적응될 수 있고, 광원의 세기는 모션 벡터 크기에 비례하여 제어된다. 제어기는 또한 송신 통신 디바이스 측에서 디스플레이 범위 외부의 물체의 위치 및/또는 움직임을 나타내는 컬러 정보를 도출하도록 적응될 수 있고, 광원의 컬러는 컬러 정보에 따라 제어된다.

본 발명의 제 2 실시예에 따르면, 센서는 디스플레이 범위 외부의 사운드를 검출하도록 배열되는 마이크로폰 어레이(microphone array)이고, 제어 신호는 마이크로폰 신호들로부터 계산된다. 이 경우, 프로세서는 사운드 이벤트의 방향을 검출하기 위하여 음원(acoustic source) 위치 측정(localization)을 실행하기 위한 수단을 포함하고, 사운드 이벤트의 방향은 제어 신호에 포함된다.

수신 통신 디바이스 측에서, 제어기는 송신 통신 디바이스 측에서 디스플레이 범위 외부에서 방출되는 사운드의 크기를 도출하도록 적응될 수 있고, 광원의 세기는 사운드 크기에 비례하여 제어된다. 제어기는 또한 사운드가 기원하는 방향에 대응하는 광원을 스위치-온하기 위해 송신 통신 디바이스 측에서 디스플레이 범위 외부에서 방출되는 사운드의 방향을 도출하도록 적응될 수 있다.

본 발명의 상기 및 다른 양태들은 이후에 후술되는 실시예들을 참조하여 명확해지고 명료해질 것이다.

도 1은 본 발명에 따른 통신 시스템의 블록도.
도 2는 원단 위치에 있는 거실 장면을 광-각 렌트들을 구비한 카메라에 의해 보이는 바대로 도시한 도면.
도 3a는 카메라에 의해 근단 위치에서 캡처된 영상의 관련 부분이 제한된 통신 대역이 제공되는 고 비디오 품질로 송신되는 것을 도시한 도면이고, 도 3b는 캡처된 영상을 원단 위치에서 수신되고 디스플레이되는 바대로 도시하는 도면.
도 4는 광-각 카메라의 시야 범위 내에, 그러나 주 카메라의 디스플레이 범위 외부에 있는, 원단 위치에서의 거실에서 걸어가는 사람을 도시하는 도면.
도 5a 및 도 5b는 본 발명의 제 1 실시예에 따른 통신 시스템을 도시한 도면으로서, 도 5a는 원단 위치에서의 광-각 카메라의 시야 범위 내에 있는 사람으로부터 검출되는 움직임의 양에 따라 도출되고 송신되는 제어 신호를 도시한 도면이고, 도 5b는 상기 사람의 움직임이 지속하는 시간 지속기간 동안 수신된 제어 신호에 따라 원단 위치에서 스위치-온되는 광원을 도시한 도면.
도 6은 광-각 카메라 시야 범위, 줌 또는 디스플레이 영역, 및 움직임이 분석되는 좌 및 우의 줌-외(out-of-zoom) 영역들을 도시한 도면.
도 7a 및 도 7b는 본 발명의 제 2 실시예에 따른 통신 시스템을 도시한 도면으로, 도 7a는 마이크로폰 어레이를 이용하여 근단 위치에서 검출되는 소리가 큰 사운드(loud sound) 이벤트 및 이의 방향을 도시한 도면이고, 도 7b는 원단 위치에서 사운드 이벤트의 지속기간 동안 턴-온되는 소리가 큰 사운드의 방향에 대응하는 광원을 도시한 도면.

본 발명은 이제 첨부 도면들을 참조하여, 예를 통해 더욱 상세하게 기술될 것이다.

도 1을 참조하면, 본 발명에 따른 통신 시스템이 도시된다. 통신 시스템은 통신 네트워크를 통해 원단(또한 송신단으로 칭해진다) 위치에 있는 원격 통신 디바이스와 통신하고자 하는 근단(또한 다음의 설명에서 수신단으로 칭해진다) 위치에 있는 로컬 통신 디바이스를 포함한다. 원격 디바이스는 비디오 신호를 캡처하기 위한 카메라, 비디오 신호의 디지털 비디오 프로세싱을 실행하고 비디오 이벤트들을 분석하고 검출하기 위한 프로세서를 포함한다. 디지털 비디오 프로세싱은 예를 들어, 얼굴 추적(face tracking) 및 디지털 줌을 포함한다. 프로세싱된 비디오 신호 및 검출된 데이터 이벤트들은 비디오 인코더(encoder)를 통해 인코딩되고 통신 네트워크를 통해 로컬 디바이스로 송신된다. 로컬 디바이스는 인코딩된 비디오 신호 및 데이터 이벤트들을 수신하고 비디오 디코더를 통해 디코딩한다. 디코딩된 비디오 신호는 원격 디바이스의 스크린상에 디스플레이된다. 로컬 디바이스는 또한 데이터 이벤트들을 해석하기 위한 제어기 및 데이터 이벤트들의 해석에 따라 제어기에 의해 제어되는 스크린 디바이스 옆에 있는 적어도 하나의 광원을 포함한다.

카메라의 시야 내에서 카메라를 응시하는 얼굴들이 검출되는 얼굴 추적 및 카메라를 응시하는 모든 얼굴들을 선택하도록(그리고 더 많이 선택되지는 않는다) 제어되는 디지털 줌은 이미 당업자로부터 공지되어 있고, 예를 들어 Philips Webcam SPC1300NC에 의해 실행되어, 얼굴 검출을 피처링(featuring)하고 디지털 줌으로 추적하는 것이 주목된다.

비디오 인코더 및 디코더에 대한 표준 해법들이 이미 존재하고, 이 해법들(예를 들어 비디오 압축을 위한 H.264)이 다소 낮은 비트-레이트(bit rate) 개인용 데이터(즉, 낮은 비트 레이트 데이터인 이벤트 데이터)를 반송(carry)하기 위한 수단을 제공하는 것 또한 당업자에게 명백할 것이다.

본 발명은 디스플레이 옆에 외부 광원들이 존재할 때 비디오 전화 및 화상 회의 시스템들에 응용될 수 있다. 본 발명은 송신단에서 일부의 인텔리전스(intelligence)가 얼마간의 낮은 비트 레이트 이벤트 데이터를 (오디오 및 비디오 다음의 개인 데이터로써) 캡처하고 송신할 필요가 있다. 본 발명은 이제 두 상이하고 비제한적인 예들을 통해 설명될 것이다.

도 2를 참조하면, 비디오 전화 디바이스의 카메라에 의해 캡처되는 바와 같은 전형적인 거실 비디오 전화 장면이 도시된다. 이 통신 라인의단은 원단 위치이다. 명확하게, 카메라 이미지는 비디오 통신에 정밀하게 필요한 것보다 더 많은 정보를 포함한다(예를 들어, 카메라 이미지는 대부분의 벽이 없을 수 있고, 나무들이 없을 수 있다).

통신 대역폭의 한계로 인해, 카메라를 응시하고 있는 사람들의 얼굴들은 손대지 않은 채로 남기고 주변 환경들이 절취되는 방식으로, 비디오 신호 프로세싱 수단에 의해 고해상도 카메라 이미지를 저해상도 카메라 이미지로 감소하는 것이 타당하다(예를 들어 도 3b를 참조하라). 비디오 얼굴 찾기 및 디지털 줌에 의한 추적이 결합된 이 특성은 이미 상술한 바와 같이 시장에 있는 많은 웹캠들에서 구현되고 있다. 근단의 방에 있는 이용자(들)에 대한 이점은 이용자들이 자신의 대화 파트너들의 얼굴 이목구비들(예를 들어 대화 파트너들의 입술들, 얼굴 표정들, 또는 눈들)을 더 양호하게 볼 수 있다는 점이다. 이는 사람들 사이의 고품질 통신에 매우 중요하다. 비디오 얼굴 찾기의 경우 Viola 및 Jones에 의해 개발된 알고리즘이 이용될 수 있다. 이 알고리즘은 2001년 7월 13일, 캐나다, 벤쿠버에서의 "Statistical and Computational Theories of Vision - Modeling, Learning, Computing, and Sampling"에 대한 제 2 차 국제 워크샵의 회의록에서의, "Robust Real-time Object Detection"에 기술되어 있다. 이는 2001년, Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR)에서의, "Rapid Object Detection using a Boosted Cascade of Simple Features", vol.I, pp.511-518에 기재되어 있다. Viola 및 Jones 검출기는 상기 얼굴이 거의 카메라의 방향에서 보일 때 단지 이미지 내의 얼굴을 찾도록 트레이닝(training)된다. 결과적으로, 디지털 줌은 단지 호출에 참여한 사람들의 얼굴 표정들 전체에 걸쳐 최대로 잘 가져오도록 상기 사람들을 주밍한다(누군가가 자신의 얼굴이 카메라로 향할 때 호출에 참여하는 것이 가정된다). 디지털 줌의 경우, 직사각형 줌 에어리어는 발견된 얼굴 위치들을 중심으로 하여 중앙에 위치되고, 줌 에어리어 외부의 픽셀들을 무시하고, 필요하면, 그 결과에 따른 이미지를 예를 들어 두-선(bi-linear) 보간과 같은 픽셀 보간 방법을 이용하여 송신 해상도로 스케일링(scaling)한다.

도 3a는 본 발명에 따른 송신 통신 디바이스를 도시한다. 상기 디바이스는 광-각 렌즈를 포함하는 카메라 및 카메라 입력을 수신하고 송신될 비디오를 전송하기 위한 비디오 프로세싱 유닛을 포함한다. 원단 위치에서 광-각 렌즈는 시야각(viewing angle) φ1(카메라의 시야에 대응하는)을 커버한다. 비디오 얼굴 및 사람 검출 및 추적 기술을 이용할 때, 중요한 이미지 영역(사람들이 있는)만이 제한된 통신 대역폭에 대한 가장 높은 비디오 품질로 송신되도록, 송신 이전에, 비디오 프로세싱 유닛에 의해 디지털 줌이 실행된다. 디지털 비디오 줌은 디스플레이 각도 φ2에 대응한다. 상기 예에서, 비디오 프로세싱 목적 및 송신 목적으로 이미지들을 캡처하기 위해 동일한 카메라가 이용되었음을 주목하라. 이 경우, 카메라는 충분히 큰 시야각을 갖는다. 대안으로, 비디오 프로세싱 목적을 위해 이용되는 제 1 카메라는 송신 이미지들을 위해 이용되는 제 2 카메라와 구별되고, 상기 제 1 카메라는 이 제 2 경우에서 제 2 카메라보다 훨씬 큰 시야각을 갖는다.

도 3b에서, 원단 측에서 실행되었던 디지털 줌과 결합된 얼굴 찾기의 결과가 근단 측에 있는 수신 통신 디바이스의 스크린상에 도시된다. 사람들의 얼굴들은 스크린 상에 충분히 시각화되고, 이는 비-언어적(non-verbal) 통신 큐(cue)들(얼굴 표정들, 눈들, 입술 움직임들)에 중요하다.

본 발명은 다음의 문제를 다룬다. 새로운 사람이 원단 위치에 있는 방으로 들어가는 상황이 도 4에 도시된다. 이 이벤트는 상기 룸에 있는 사람에 의해 즉각 인지된다. 그러나, 의자에 앉아 있는 두 사람만이 디스플레이 상에서 보여지는 근단 위치에서, 이 이벤트는 인지되지 않는데 왜냐하면 이것은 스크린상의 이미지 외부에서 발생하기 때문이다. 카메라 줌은 새로운 사람이 카메라를 응시하지 않고 따라서 그/그녀의 얼굴이 얼굴 검출기에 의해 검출되지 않으므로 새로운 사람에 대해서 조정되지 않는다. 예를 들어, 새로운 사람이 비디오 호출에 참여하려는 의도 없이 단지 지나가고 있을 수 있고, 따라서 새로운 사람까지 포함하기 위한 주밍 아웃은 중요한 얼굴들의 품질을 저하시킬 것이다. 통신 상태의 하나의 당사자(즉 원단 위치에 있는 사람들)는 상기 장면 내의 이벤트를 인지하지만 통신 상태에 있는 다른 당사자(즉, 근단 위치에 있는 사람들)는 이 이벤트를 인지하지 않는다는 사실은, 근단 위치에 있는 사람들은 "마치 자신들이 거기에 있는 것처럼" 느끼지 못하게 한다.

도 5a를 참조하면, 원단 위치에서 방에 들어가는 새로운 사람이 도시된다. 새로운 사람이 카메라의 시야 범위 내에 들어오면, 새로운 사람은 원단 위치에 있는 카메라에 의해 검출된다. 새로운 사람의 움직임의 양에 따라, 비디오 이벤트 데이터를 나타내는 제어 신호가 비디오 프로세싱 유닛에 의해 도출되고, 그 후에 제어 신호는 송신 통신 디바이스의 송신 유닛(도시되지 않음)에 의해 근단 위치로 송신된다.

도 5b에 도시되는 바와 같이, 수신 통신 디바이스는 근단 위치에서의 이벤트 데이터 아이템을 나타내는 제어 신호를 수신한다. 본 발명의 제 1 실시예에 따르면, 수신 통신 디바이스는 근단 위치에 있는 사람들이 "마치 자신들이 거기에 있는 것처럼" 느끼도록 하기 위해 이벤트 데이터 아이템을 재생하는 디스플레이 옆에 광원들을 포함한다. 광원들은 낮거나 매우 낮은 공간 해상도를 특징으로 한다. 광원은 원단 위치에 있는 새로운 사람의 움직임의 양에 대응하는 세기(움직임이 더 클수록 더 밝다)로 스위치-온된다. 광원은 새로운 사람의 움직임이 지속되는 시간 지속기간 동안 스위치-온 상태를 유지한다. 새로운 사람에 대한 공간 정보가 또한 고려된다. 새로운 사람이 원단 카메라에 의해 뷰잉되는 바와 같이 좌측에 있으면, 광원은 근단에 있는 디스플레이의 좌측에서 스위치-온되고 역도 마찬가지이다.

송신 통신 디바이스의 프로세서는 광-각 카메라 시계로부터의 이미지 시퀀스에 대한 움직임 추정(motion estimation)을 실행한다. 이를 위해서, 프로세스는 예를 들어 움직임 추정을 위한 3D 반복 탐색(3D recursive search: 3D-RS) 알고리즘을 이용한다. 그와 같은 알고리즘은 당업자에게 공지되어 있고 예를 들어 미국 특허 6,996,175에 기술되어 있다. 3D-RS 알고리즘에 기초하여, 프로세스는 각각의 카메라 이미지에 대해 새로운 모션 벡터 필드(motion vector field)를 획득하고, 상기 모션 벡터 필드는 RxC 픽셀들의 각각의 직사각형 이미지 블록(종종 RxC=8x8 픽셀들을 갖는 정사각형 블록들이 이용된다)에 대한 모션 벡터 v=(v_x, v_y)를 제공한다. 하나의 중요한 이미지 영역은 R_L로 표시되고, 카메라 이미지에서의 줌 영역의 좌측에 있고, 도 6을 참조하라. 다른 중요한 이미지 영역은 R_R로 표시되고, 줌 영역의 우측에 있다. 그리고나서, 프로세서는 영역 R_L 및 R_R 이 둘 모두에서의 평균 움직임의 측정치를 계산한다. 이 측정치는 예를 들어 영역들 R_L 및 R_R에서의 평균 모션 벡터 크기:

또는 계산하기 더 쉬운 평균 모션 벡터 크기의 근사치이다(프로세서상에서의 동작이 더 적다):

여기서 N_L 및 N_R은 각각 R_L 및 R_R에서 영이 아닌 모션 벡터들의 수이다. 이 식들 (1) 및 (2)에 있어서, v_{av ,L} 또는 v_{av ,R}은 영역 R_L 또는 R_R 중 어느 하나에서 움직이는 물체가 큰 크기를 가질 때 큰 값을 갖는다. 움직이는 물체가 작으면, v_{av ,L} 또는 v_{av ,R}은 상기 물체가 빠르게 움직이는 경우 역시 큰 값을 가질 수 있다. 이 평균 벡터 크기들은 수신 통신 디바이스로 송신되는 제어 신호의 일부이다.

본 발명에 대한 확장으로서, 이벤트 데이터는 영역(R_R 또는 R_L) 내에 있는 픽셀들의 평균화된 컬러 정보를 지니도록 확장된다. 이 평균화에서, 단지 상기 픽셀들만이 고려되는데 왜냐하면 연관된 모션 벡터 크기가 작은 고정된 문턱값(threshold)을 초과하는 것이 유지되어 상기 픽셀들만이 충분한 정도로 이동하여 평균 컬러에 기여하기 때문이다.

그리고나서 이벤트 데이터를 나타내는 제어 신호는 수신하는 통신 디바이스에 의해 수신된다. 상기 디바이스는 제어 신호를 해석하고 근단 위치에서 광을 제어하기 위한 제어기를 포함한다.

도 5a에서, 광원들은 디스플레이의 좌측 및 우측에 있다. 본 발명이 두 광원들의 세트로 제한되지 않음은 당업자에게 명백할 것이다. 더 많은 광원이 있을 수 있고 외부 광원들이 또한 있을 수 있다. 디스플레이의 좌측에서의 광의 세기는 큰 값의 v_{av ,L}에 대해 광이 더 많아지는 방식으로 v_{av ,L}에 의해 제어된다. 더욱 자세하게, I_L이 좌측 광원의 세기이면,

여기서 f()는 자체의 인수의 단조 증가 함수(monotonically increasing function)이다. 유사한 원리가 디스플레이의 우측에 적용된다. 광원의 세기는 새로운 이벤트 데이터가 도달할 때까지 식 (3)에 따라 고정된 채로 유지된다. 대안으로, 광원의 더 원활한 작동을 위해, 필터 동작(선형 보간과 같은)은 시간 방향에서 이벤트 데이터에 적용된다. 급작스런 움직임이 계속해서 급작스런 광 변화를 발생시키는 것을 보장하기 위해, 이 시간 필터는 움직임이 갑자기 큰 변화를 행할 때 데이터를 평활화(smoothing)하지 않아야 하고, 상기 시간 필터는 다만 후속 평균 모션 크기들의 절대 차가 작을 때(고정된 문턱값 아래의) 데이터를 평활화해야 한다.

본 발명으로 인해, 근단 측에 있는 사람들은, 원단 측에 있는 사람들이 비디오 이벤트를 신속하게 발견하는 것처럼, 디스플레이 범위 외부에서의 자신들의 눈들의 코너로부터 상기 이벤트를 신속하게 발견할 수 있다. 이 방법에 의해 근단 사람들에게는 거기에 있다는 느낌이 증가한다.

더 시간적 정확성을 위해(인간의 눈의 코너는 인간의 눈의 중심보다 더 높은 시간 해상도를 보는 것을 고려하는), 이벤트 데이터의 발생 및 그에 따른 근단 광원들의 제어는 송신되는 프레임 레이트보다 더 높은 레이트에서 발생한다. 왜냐하면 이벤트 데이터가 원단 위치에서 도출되는 이 카메라는 송신 프레임 레이트보다 더 높은 프레임 레이트에서 작동해야만 하기 때문이다.

본 발명에 대한 확장으로서, 이벤트 데이터는 움직이는 물체로부터의 평균 컬러 정보를 포함하고, 광원은 상기 컬러로 활성화된다.

본 발명의 제 2 실시예에 따르면, 이벤트 데이터는 송신단 위치에서의 비디오 입력보다 오디오로부터 생성된다. 소리가 큰 사운드 이벤트가 송신단에서 검출되고, 수신단에서 광원들에 의해 급작스런 광 플래시가 발생한다. 유용하게도, 근단 위치에 있는 사람은 급작스런 사운드는 다른 측으로부터 기원하고 자기 자신의 집에서 기원하지 않음을 즉시 인지한다. 또한 유용하게도, 급작스런 사운드 이벤트의 검출은 송신단에서 발생할 필요가 없고, 이는 또한 광원이 존재하는 수신단에서 인입하는 오디오 상에서 실행될 수 있다.

더 세분화된 방법에서, 소리가 큰 사운드 이벤트의 방향이 또한 검출되고 송신단에서 이벤트 데이터에 추가된다. 그리고나서, 수신단에서, 대응하는 광원들은 소리가 큰 사운드 이벤트의 지속기간 동안 턴온되고, 도 7b를 참조하라. 이 경우 음원 위치측정 알고리즘으로 제어되는 마이크로폰 어레이가 필요하다. 음원 위치측정을 위한 그와 같은 알고리즘은 당업자로부터 공지되고 예를 들어 미국 특허 6,774,934에 기술되어 있다.

도 7a에서, 소리가 큰 사운드 이벤트, 예를 들어 쿵 문닫는 소리가 송신단 위치에서 검출된다. 송신 통신 디바이스의 오디오 프로세서는 이 이벤트를 수신단에서의 디스플레이 범위에 대응하는 디지털 줌 범위의 φ2 외부에서 검출한다. 그리고나서 검출된 오디오 이벤트 데이터는 송신 통신 디바이스의 송신 유닛(도시되지 않음)에 의해 송신된다. 또한 사운드의 방향은 마이크로폰 어레이를 이용하여 측정된다. 도 7b에서, 수신단 위치에서, 소리가 큰 사운드 이벤트의 방향에 대응하는 광원이 사운드 이벤트의 지속기간 동안 턴온된다.

본 발명은 하드웨어 및/또는 전용 소프트웨어에 의해 구현될 수 있다. 이 소프트웨어에 대응하고 프로그램 메모리에 로딩되는 명령들의 세트는 통신 디바이스의 집적 회로로 하여금 본 발명에 따른 방법을 실행하도록 한다. 명령들의 세트는 예를 들어, 디스크와 같은 데이터 캐리어(data carrier) 상에 저장될 수 있다. 명령들의 세트는 데이터 캐리어로부터 판독되어 집적 회로의 프로그램 메모리에 로딩될 수 있고, 이후에 자신의 역할을 이행할 것이다. 예를 들어, 소프트웨어는 CD-ROM 상에 카피되고, 상기 CD ROM은 통신 디바이스와 함께 판매된다. 대안으로, 소프트웨어는 인터넷을 통해 입수 가능할 수 있다. 더욱이, 전용 소프트웨어는 또한 통신 디바이스의 플래시 메모리 또는 판독 전용 메모리(ROM) 내의 디폴트(default)에 의해 통합될 수 있다.

상술한 실시예들은 본 발명을 제한하기보다는 설명하고, 당업자들이 첨부된 청구항들에 의해 규정된 바와 같은 본 발명의 범위를 벗어나지 않고 많은 대체 실시예들을 설계할 수 있음이 주목되어야 한다. 청구항들에서, 괄호들 내에 배치되는 참조 부호들은 청구항들을 제한하는 것으로 해석되어서는 안 된다. 단어 "포함하는" 등은 전체적으로 임의의 청구항 또는 명세서 내에 기재되어 있는 것과는 다른 요소들 또는 단계들의 존재를 배제하지 않는다. 요소들의 단수의 참조대상을 언급하는 것이 그와 같은 요소들의 복수의 참조대상을 배제하지 않고, 그 역도 마찬가지이다.

Claims (14)

1. 송신 통신 디바이스에 있어서:
   - 디스플레이 범위를 가지는 이미지 시퀀스를 캡처하기 위한 카메라;
   - 상기 디스플레이 범위 내에서 지각할 수 없는 주변환경의 이벤트(environmental event)들을 캡처하기 위한 센서;
   상기 주변환경의 이벤트들로부터의 제어 신호를 계산하기 위한 프로세서; 및
   상기 캡처된 이미지 시퀀스 및 상기 제어 신호를 수신 통신 디바이스로 송신하기 위한 송신 유닛을 포함하는, 송신 통신 디바이스.
2. 제 1 항에 있어서, 상기 센서는 광-각(wide-angle) 카메라이고, 상기 제어 신호는 디스플레이 범위 외부에 있는 상기 광-각 카메라에 의해 캡처되는 이미지 시퀀스로부터 계산되는, 송신 통신 디바이스.
3. 제 2 항에 있어서, 상기 프로세서는 상기 카메라의 시야 범위 내에 있는 사람들의 얼굴 또는 얼굴들을 검출하기 위한 수단, 및 상기 수신 통신 디바이스로 송신될 디스플레이 범위를 가지는 이미지 시퀀스를 획득하기 위해 이 얼굴 또는 이 얼굴들 주위를 주밍(zooming)하기 위한 수단을 포함하는, 송신 통신 디바이스.
4. 제 2 항에 있어서, 상기 프로세서는 모션 벡터(motion vector) 크기를 도출하기 위해 상기 광-각 카메라의 시야 범위 내로 진입하는 물체의 움직임을 추정하기 위한 수단을 포함하고, 상기 모션 벡터 크기는 상기 제어 신호에 포함되는, 송신 통신 디바이스.
5. 제 4 항에 있어서, 상기 프로세서는 상기 시야 범위 내에 그리고 상기 디스플레이 범위 외에 있는 픽셀들의 컬러 정보를 계산하기 위한 수단을 포함하고, 상기 컬러 정보는 상기 제어 신호에 포함되는, 송신 통신 디바이스.
6. 제 1 항에 있어서, 상기 센서는 상기 디스플레이 범위 외부의 사운드를 검출하도록 배열되는 마이크로폰 어레이(microphone array)이고, 상기 제어 신호는 상기 마이크로폰 신호들로부터 계산되는, 송신 통신 디바이스.
7. 제 6 항에 있어서, 상기 프로세서는 사운드 이벤트의 방향을 검출하기 위하여 음원(acoustic source) 위치 측정(localization)을 실행하기 위한 수단을 포함하고, 상기 사운드 이벤트의 방향은 상기 제어 신호에 포함되는, 송신 통신 디바이스.
8. 제 1 항에 있어서, 상기 프로세서는 상기 캡처된 이미지 시퀀스의 공간 또는 임시 해상도를 감소시키기 위한 수단을 포함하는, 송신 통신 디바이스.
9. 수신 통신 디바이스에 있어서:
   - 디스플레이 범위를 가지고 디스플레이되는 이미지 시퀀스에 대응하는 비디오 데이터 및 상기 디스플레이 범위 내에서 지각할 수 없는 주변환경의 이벤트들을 나타내는 제어 신호를 송신 통신 디바이스로부터 통신 네트워크를 통해 개별적으로 수신하기 위한 수신 유닛;
   - 상기 비디오 데이터를 디스플레이하기 위한 디스플레이;
   - 상기 디스플레이 옆에 있는 광원들; 및
   - 상기 주변환경 이벤트들을 도출하도록 상기 제어 신호를 해석하고 상기 제어 신호에 따라 광원들을 제어하기 위한 제어기를 포함하는 수신 통신 디바이스.
10. 제 9 항에 있어서, 상기 제어기는 상기 송신 디바이스 측에서 상기 디스플레이 범위 외부의 물체의 움직임 및 상기 디스플레이에 대한 상기 물체의 위치를 나타내는 모션 정보를 도출하여 대응하는 광원을 스위치-온하도록 적응되는, 수신 통신 디바이스.
11. 제 9 항에 있어서, 상기 제어기는 상기 송신 통신 디바이스 측에서 상기 디스플레이 범위 외부의 물체의 움직임의 양을 나타내는 모션 벡터 크기를 도출하도록 적응될 수 있고, 상기 광원의 세기는 모션 벡터 크기에 비례하여 제어되는, 수신 통신 디바이스.
12. 제 9 항에 있어서, 상기 제어기는 상기 송신 통신 디바이스 측에서 디스플레이 범위 외부의 물체의 위치 및/또는 움직임을 나타내는 컬러 정보를 도출하도록 적응될 수 있고, 상기 광원의 컬러는 상기 컬러 정보에 따라 제어되는, 수신 통신 디바이스.
13. 제 9 항에 있어서, 상기 제어기는 상기 송신 통신 디바이스 측에서 디스플레이 범위 외부에서 방출되는 사운드의 크기를 도출하도록 적응되고, 상기 광원의 세기는 상기 사운드 크기에 비례하여 제어되는, 수신 통신 디바이스.
14. 제 9 항에 있어서, 상기 제어기는 상기 사운드가 기원하는 방향에 대응하는 광원을 스위치-온하기 위해 상기 송신 통신 디바이스 측에서 디스플레이 범위 외부에서 방출되는 사운드의 방향을 도출하도록 적응되는, 수신 통신 디바이스.

Images