KR20050044410A

KR20050044410A - 지역 씬 및 원격지 씬을 함께 수반하는 모듈라 시청각시스템

Info

Publication number: KR20050044410A
Application number: KR1020047007162A
Authority: KR
Inventors: 뷔슈네르조르쥬; 에므리마르끄; 또마장-필립쁘; 레이르루알랭
Original assignee: 프랑스 텔레콤
Priority date: 2001-11-12
Filing date: 2002-11-12
Publication date: 2005-05-12
Also published as: US7391439B2; US20050018040A1; KR100729657B1; FR2832282A1; FR2832282B1; EP1444827A1; CN1633807A; JP2005510142A; WO2003043324A1; WO2003043324B1

Abstract

본 발명은 지역 씬과 원격지 씬을 함께 수반하는 모듈라 시청각 시스템에 관한 것이다. 본 발명은 복수의 연접된 시청각 모듈(M1, M2, M3)을 포함하고, 각 모듈은 지역 씬을 위한 이미지 감지 장치 및 사운드 픽업 장치 그리고 이미지 평면(I)에서 원격지 씬의 이미지 및 사운드를 복원하는 장치를 포함하며, 각 모듈은 전송 네트웍에 연결된다. 모듈들 사이에는 자동 제어 및 모니터링 수단(P)을 구비하여 촬영되거나 기록되고있는 사람들이 씬과 관련된 이미지 및 사운드 픽업 장치들 앞을 지날 때, 이미지 평면에서 이미지 및 사운드의 품질의 연속성을 보장한다.

Description

지역 씬 및 원격지 씬을 함께 수반하는 모듈라 시청각 시스템{Modular audio-visual system to bring together a local scene and a remote scene}

본 발명은 지역 씬(local scene)에 대한 이미지 감지 장치 및 사운드 픽업 장치, 그리고 전송된 원격지 씬(remote scene)의 이미지 및 사운드를 지역 씬에서 복구하는 장치를 포함하는 모듈을 다수 개 구비하는, 지역 씬 및 원격지 씬을 함께 수반하는 모듈라 시청각 시스템(modular audio-visual system)에 관한 것이다.

본 발명의 분야는 지역 씬과 원격지 씬을 함께 가져올 수 있는 가상체험(telepresence) 분야이다. 가상체험은 내부적으로 통신하는(intercommunicating) 그룹 사람들간의 상호 존재감(reciprocal presence), 현실감(realism)을 느끼도록 시청각 품질을 이룬 결과를 말한다.

한 명 이상의 사람들이 지역 및 원격지 씬의 일부로 참여할 때, 화상 회의(videoconferencing)라 하고, 이를 통해 이들 사람들이 멀리 떨어져서도 만날 수 있다.

가상체험은 화상회의의 확장이다.

화상회의로서 가상체험은 텍스트, 그래픽, 도표(diagram) 등을 나타내는 데이터 뿐 만 아니라 이미지, 사운드의 전송에 의해 구현된다.

씬은 실외에서 포착될 수도 있지만, 보통은 건물안에서 포착된다. 지역 씬이 포착되는 장소로서 지역의 룸(room)이 지정되고, 원격지 씬이 포착되는 장소로서 원격 룸이 지정되는 이유이다.

복원(recovery) 또는 복구(restoring) 장치를 구비한 원격 룸(SD)으로 이미지 감지 장치(1)를 구비한 지역 룸(SL)에서의 이미지 전송은 도 1에 도시적으로 나타난 경로를 따른다. 도 1에 나타난 경로에는 카메라와 같은 이미지 감지 장치(1), 아날로그-디지털 변환기(CAN), 부호화 시스템(C), 전송 네트웍(R), 복호화 시스템(D), 디지털-아날로그 변환기(CNA) 및 플라즈마, LCD, CRT 등과 같은 스크린에 연결된 프로젝터(P)와 같은 이미지 복원 장치(2)가 구비되어 있다.

유사하게, 지역 룸에는 사운드 픽업 시스템이, 원격 룸에는 사운드 복원 시스템이 있을 수 있다. 따라서 이 시스템은 도 1에 도시된 바와 같이 마이크로폰(Mi)과 스피커(Hp)를 포함한다.

상호 통신을 하기위해서 이미지 및 사운드가 원격 룸(SD)에서 캡쳐되고 지역 룸(SL)에서 복원되는 것을 보장하도록 도 1에 나타난 사운드 및 이미지 시스템은 반대 방향으로 재생된다.

마지막으로 각 룸은 이미지 및 사운드 복원 장치 뿐 만 아니라 이미지 감지 장치 및 사운드 픽업 장치를 구비한다.

지역 씬 및 원격지 씬을 함께 수반하는 시청각 시스템을 사용하여, 룸, 공공지역(public area) 또는 실외에 위치하고, 통신 네트웍(내부 회사 네트웍(지역 네트웍) 또는 공공 네트웍)에 연결된 이미지 및 사운드 복원 장치 뿐 만 아니라 이미지 감지 장치 및 사운드 픽업 장치를 구비하는 모듈을 적어도 하나 포함하는 시스템이 지정된다. 이를 연동(interative) 시청각 시스템이라 한다.

화상회의 시스템은 이러한 시청각 연동 시스템으로 구성된다. 이러한 화상회의 시스템은 다른 포맷(format)으로 사용가능하다: 화상회의 룸, 비디오 폰, 멀티미디어 통신을 통한 상호연동을 기반으로하는 개인용 컴퓨터(PC), 등.

그럼에도 불구하고, 여기서의 관심대상은 다른 구성, 예를 들어, 다른 음성인식 안내 시스템(키오스크, kiosk) 또는 가상체험 벽(telepresence wall)에 반 영구적으로(quasi-permanantly) 연결되는 홀(hall) 또는 거리에 있는 키오스크 또는 가상체험 벽에 있다.

예를 들어 파리에 위치한 가상체험 벽 앞을 지나가는 사람은 "방백으로(sotto voce)" 통신하거나 다른 위치, 예를 들어, 런던에 있는 다른 가상체험 벽 앞을 지나가고 파리에 있는 시스템에 연결된 원격지 사람과 마치 그들이 거리에서 또는 복도(hall way)에서 만난 것처럼 통신할 수 있다. 이들 원격지에 있는 사람들은, 예를 들어, "나란히" 걸을 수 있다.

공존(co-presence)을 보장하기위하여, 다음과 같은 조절이 수행되어야한다.

시선 교차(eye contact),

사람의 키(스케일 1),

오디오 및 비디오 품질,

스크린 거리,

구현가능한 이미지 및 사운드 벽을 갖는 모듈방식(modularity).

본 발명을 설명하기 전에, 다음과 같은 시청각 시스템에 대한 사용제한, 특히 환경적인 제한, 시선 교차가 이루어지지 못한 영향 및 몇몇 장치들의 연접과 관련된 모든 현상이 주지되어야한다.

일반적인 용어로, 가상체험 시청각 시스템은 캡쳐 및 복원 관점에서 주어진 이미지 크기 및 서비스에 따라 씬(scene)으로부터 특정 거리에서 사용되도록 만들어졌다.

그럼에도 불구하고, 화상회의 또는 가상체험 참가자들이 편안하게 시스템을 관찰하고 원격 사용할 수 있도록 보장하는 주요 요인은 가까운 거리에서 보는 것이다. 이로써 가상체험 효과가 보장된다. 가까운 거리에서는 보는 것은 시선 교차에 의해 원격 참가자들사이에 가깝다는 느낌을 뚜렷하게 증가시킬 수 있다.

그럼에도 불구하고, 촬영될 씬이 카메라에 가까울 수록 카메라의 시야각(field angle)은 커져야한다. 가까운 거리에서 이미지 감지 각이 증가하면 도 2a 및 2b에 도시된 문제를 보인다.

도 2a는 지역 룸(SL)에 위치하여, 예를 들어, 넓은 α각을 갖는 카메라로부터 1미터 정도 떨어져있는 테이블 주위에 자리잡은 지역 참자가들(PL)과 지역 씬을 촬영하는 이미지 감지 장치(1)를 아래에서 바라본 장면을 도식적으로 나타낸 도면이다. 참가자들의 시선 방향은 참가자들의 코를 나타내는 작은 점선으로 표시되어있다. 스크린(E)상에는 원격 참가자들(PD), 특히 원격 참가자(d)의 이미지가 나타나있다.

지역 룸(SL)에 b1의 선으로 표시된 카메라 축에 위치하지않은 지역 참가자 a 가 원격 참가자에게 말을 하는 경우, 그/그녀는 스크린(E)상의 원격 참가자의 이미지 d'를 본다. ad'선을 따라 a가 d'을 마주하고 있더라도, 카메라는 a1선을 수신하고 궁극적으로 참가자 a의 옆모습(profile)을 촬영한다.

이 프로파일 이미지는 원격 룸(SD)에 위치한 복원 장치로 전송되고, 도 2b에 도시된 바와 같이 d에게 재전송된다. a의 이미지 a'은 마치 a가 d를 보지않는 것처럼 나타난다. 시선 교차는 복원되지않는다. 이러한 효과를 시차(parallax)(시선 교차 또는 응시) 효과라 하며 "시선 교차 결여 효과(lack of eye contact effect)"라고도 한다.

이미지 평면이 d'이미지가 위치한 평면인 것을 상기해보자. 이 예에서는 스크린에 의해 혼동이 일어났지만, 이미지가 거울에 의해 반사되는 경우와 항상 같지는 않다.

ad'선은 목표 평면(target plane)이라고 하는 평면에 위치하여 촬영되는 지역 씬으로부터 오는 빔이고, 이미지 평면에 수직이다.

카메라가 ad'에 평행한 모든 선들을 캡쳐하도록, 이미지 캡쳐가 도 2a에 나타난 것처럼 α각에 따라 콘형 투영 모드(conical projection mode)가 아니고, 도 2c에 도시된 바와 같이 몽주(monge) 기하라고도 하는 화법 기하(descriptive geometry)에서 또는 산업 디자인 분야에서 통용되는 원통형 투영 모드(cylindrical projection mode)로 수행된다면, 시선 교차 효과는 제거된다.

좀 딱딱하게 표현해서(prosaically) "위선자" 효과라고 불리는 비주얼 시차 또는 시선 교차 효과의 결여는 화상회의의 틀(framwork)내에서 나타나지만, 서있는 사람들이 있는 지역 씬을 고려함으로써 또는 사람들이 아닌 물체(objects)가 있는 지역 씬을 고려함으로써 일반화될 수 있다. 예를 들어, 각 측면이 적색 또는 청색인 육면체가 기울어진 형태로 위치한다고 하면, 이 육면체는 청색 면 또는 적색 면을 보인다. 그러나 a1선이 청색 면으로부터만 온다고 한다면, 육면체의 이미지 a'은 기울어진 형태로 위치한 육면체의 적색 면 및 청색 면 둘 다를 보이는 대신 청색 면만을 보일 것이다.

더욱이, 복원하는 동안 참가자 또는 물체의 크기는 이들이 위치하는 시야의 일부 및 카메라의 α각에 따라서 변한다. 다수의 참가자들 또는 물체들이 촬영된다면 시야는 넓어지겠지만, 복원되는 이미지는 원근 효과가 이미지의 에지(edge)에서 왜곡되기때문에 다소 만곡(curve)될 것이다; 복원된 이미지는 도 3a 및 3b에 도시된 바와 같이 와이드 렌즈(wide lens)를 사용하는 사진가들에게는 잘 알려진 다양한 확대효과(enlarged effect)를 보인다.

이들 각 도면에는 두 명의 지역 참가자(PL) a 및 b가 도시되어있고, 한 사람은 다른 사람에 비해 뒤쪽에 위치해있으며, 이들은 도 3b의 α2의 각보다 작은 시야각 α1을 갖는 이미지 감지 장치에 의해 도 3a의 경우처럼 촬영된다. a에 대해 복원된 이미지 a'1과 a'2는 두 경우 모두 거의 동일하지만 b에 대한 b'1의 확대 (도 3a 참조)는 b에 대한 b'2의 확대보다 더 크다(도 3b 참조).

와이드 각으로 캡쳐한 이미지에 의해 영향받는 교란(disturbing)(시선 교차 효과의 결여 및 원근감의 왜곡)을 감소시키는 해결책은 도 2a에 도시된 ad'과 al' 선들을 갖는 씬의 한 점 a에서 형성된 각 β를 제한하는 것이다. 유럽 통신 표준 기구(European Telecommunications Standards Institute, ETSI) 규격(specification)은 이 각 β가 5도를 초과하지않도록 규정하고 있다. 이 각은 뷰잉 축(viewing axis)을 중심으로 카메라를 설치하거나 줄임으로써 촬영된 씬을 제한하여 얻어지며, 이로써 뷰잉이 교란된다.

이러한 불편함을 보상하기위해, 도 4a 및 4b에 된 것과 같은 몇가지 이미지 감지 장치(1)를 사용할 수 있다. 이미지 캡쳐의 연속성을 보장하기위해, 광축이 방사형이고 동일 평면내에 있는 이 장치들은 서로 인접해있다: 몇몇 장치들(1)은 서로 "연접(concatenation)"되어있다. 그러나, 이미지 감지 시야는 보통의 경우와 같거나 중첩 영역(ZR)이 있다. 하나 또는 몇개의 인접 복원 장치들(각각은 하나의 이미지 감지장치에 대응)에서 복원된 이미지들은 중복된 부분 또는 중첩 영역들로부터 이러한 불연속성을 보인다. 이미지 중첩은 시야가 다소 부분적으로 중첩되는 서로 다른 카메라에 의해 캡쳐된 동일한 씬의 어떤 부분들이 여러 번 재생된 것임을 상기하여야한다.

도 4a에 도시된 바와 같이 두 개의 이미지 감지 장치(1)가 있는 경우, 두 개의 중첩 영역 ZR이 있을 것이고, 도 4b에 도시된 바와 같이 세 개의 이미지 감지 장치(1)가 있는 경우 물체가 이미지 감지 장치에 가까이 있을 때는 두 개의 중첩 영역이, 물체가 좀 더 멀리 있을 때는 세 개의 중첩 영역이 있을 것이다.

이러한 이미지 중첩 현상은 이미지 감지 장치의 시야각이 커질 때 증가한다.

이미지 처리 소프트웨어는 이러한 문제를 해결하기위해 개발되었지만, 여전히 만족스러운 결과는 주지 못한다.

도 1은 지역 룸과 원격 룸사이에 이미지 및 사운드의 전체 경로를 따라 위치하는 구성요소들의 체인을 도식적으로 나타낸 것이다.

도 2a, 2b 및 2c는 시각 교차의 결여에 대한 영향을 도시한 것이다.

도 3a 및 3b는 이미지 감지 장치의 시야각에 따라 복원되는 이미지를 확대하는 효과를 도시한 것이다.

도 4a 및 4b는 이미지 감지 장치가 둘 및 셋인 경우의 중첩 지역을 각각 도시한 것이다.

도 5a 및 5b는 세개의 연접된 장치가 도시된 제1 및 제2실시예에 따라 본 발명의 원리를 설명하는 도면이다.

도 6a는 모듈 카메라의 피드백 제어를 아주 상세하게 도시한 것이다.

도 6b는 이미지의 연속성을 보장하는 피드백 제어의 예를 설명하는 도면이다.

도 7은 모듈 프로젝터의 피드백 제어를 아주 상세하게 도시한 것이다.

도 8은 이미지 및 사운드 픽업 장치 및 복원 장치의 피드백 제어를 설명하는 도면이다.

도 9a 및 9b는 연접된 모듈과 관련된 이미지 감지 장치의 구현에 대한 두 예를 설명하는 것이다.

도 10은 모듈의 이미지 감지 장치 및 복원 장치의 상세한 예를 도시한 것이다.

도 11은 연동하는 시청각 시스템의 다각형 키오스크(kiosk)의 실시예를 보인 것이다.

본 발명의 목적은 그러한 시스템이 어떠한 환경에도 적응하도록 하는 것이다. 본 발명의 목적은 특히, 사용가능한 공간과 관련하여 제한없이 설치(installation)가 가능하게하는 것에 있다.

이를 이루기위해, 본 발명은 독립적인 모듈을 구비한 모듈라 시스템을 제안한다. 이 모듈들은 설치자(installer)가 사용할 수 있는 공간에 의해 규정되는 수만큼 조합될 수 있다. 다음으로 연접 또는 연접된 모듈들이 물리적으로 및 동작상으로 연속적인 체인을 형성하는 것에 대해 설명될 것이다. 본 발명에 따르면, 이러한 모듈들은 사용자들이 지역 씬의 다른 모듈들 앞을 지나갈 때 원격지 씬의 관찰자에게 이미지 및 사운드의 연속성의 부족으로부터 일어나는 문제를 드러내지않으면서 동작상으로 서로 종속한다.

본 발명은 모듈방식임에도 불구하고 종래 기술에서 언급하였던 불편함을 야기하지않고 완전하게 설치될 환경에 적응할 수 있는 모듈러 연동 시스템을 제안한다.

따라서, 본 발명의 목적은 지역 씬과 원격 씬을 함께 수반하는 시청각 시스템을 얻는 것으로, 상기 시청각 시스템은 지역 씬에 대한 가변 시야(variable field) 이미지 감지 장치 및 사운드 픽업 장치, 그리고 이미지 평면(I)에서의 원격지 씬에 대한 이미지 및 사운드 복원 장치를 각각 포함하고, 전송 네트웍으로 연결되는, 복수의 연접된 시청각 모듈; 및 촬영되거나 기록되고 있는 사람들이 상기 씬이 관련된 다양한 이미지 및 사운드 픽업 장치들 앞을 지나갈 때 상기 모듈들 사이에 이미지를 캡쳐하여 상기 이미지 평면에서 이미지 및 사운드 품질의 연속성을 보장하고 촬영된 지역의 중첩을 제거하는 피드백 제어 및 제어 수단을 포함한다.

상기 모듈들은 상기 피드백 제어 및 제어 수단에 연결된, 인접 모듈에 대한 프레젠스(presence) 감지수단들을 포함한다.

상기 인접 모듈에 대한 감지수단들은 프레젠스 센서들을 포함한다.

상기 인접 모듈에 대한 감지수단들은 사운드 수신 수단들로 이루어져있으며, 수신된 사운드의 변경을 감지한다.

상기 피드백 제어 및 제어 수단은 기준신호들에 대해 상기 이미지 감지 장치들을 피드백 제어하도록 상기 기준신호들을 수신하는 상기 이미지 감지 장치의 피드백 제어 수단을 포함한다.

상기 피드백 제어 수단은 기준신호들에 대해 상기 이미지 복원 장치들을 피드백 제어하도록 상기 기준신호들을 수신하는 상기 이미지 복원 장치의 피드백 제어 수단들을 포함한다.

상기 기준 신호들은 외부 장치에 의해서 또는 상기 모듈들중 어느 하나에 의해 제공된다.

상기 기준신호들이 외부에서 제공된다면, 상기 기준신호들은 상기 사운드 픽업 장치에 의해 획득될 수 있다.

상기 피드백 제어 및 제어 수단은 기준신호들에 대해 상기 사운드 픽업 및 사운드 복원 장치들을 피드백 제어하기위해 상기 기준신호들을 수신하는 상기 사운드 픽업 및 사운드 복원 장치들에 대한 피드백 제어 수단을 포함한다.

상기 피드백 제어 수단은 필요한 피드백 제어 수단을 구현하는 프로그램된 프로그램 메모리를 포함하는 제어 장치에 의해 생성된다.

상기 피드백 제어 및 제어 수단은 각 모듈별로 분리된 데이터 플로우를 통해 (IP 또는 어떤 다른 프로토콜을 통한)상기 네트웍으로의 전송을 제어한다.

상기 피드백 제어 및 제어 수단은 모든 모듈에 대해 단일 네트웍 채널을 통한 다중화된 전송을 제어한다.

본 발명의 다른 특징 및 강점은 제한되지않은 실시예들과 첨부된 도면을 참조하여 설명함으로써 자명해질 것이다.

시청각 모듈(M1)은 지역 씬에 대한 이미지 감지 장치 및 사운드 픽업 장치를 포함한다. 또한 시청각 모듈은 이미지 평면 I에서 원격지 씬에 대한 이미지 복원 장치도 포함한다.

특별한 방식으로 이미지 감지 장치는 카메라(C1)를 포함하고 사운드 픽업 장치는 하나 또는 몇 개의 마이크로 폰(Mi)을 포함한다.

이미지 복원 장치는 이미지 프로젝터(P1) 및 스크린(E), 즉, 비디오 프로젝터 또는 어떤 다른 타입의 뷰잉 장치, 예를 들어 플라즈마 시스템을 포함한다. 사운드 복원 장치는 하나 또는 그 이상의 스피커(Hp)를 포함한다.

이미지 감지 장치는 지역 씬을 촬영하고 장비가 연결된 통신 네트웍을 통해 지역 씬을 전송하며 지역 장비에 연결된 원격 장비를 사용하여 지역 씬을 복원한다.

본 발명의 다른 실시예에 따르면, 카메라에 의해 캡쳐된 이미지는 접힌 이미지(folded image)가 될 수 있음을 예견할 수 있다. 이러한 구성은 사용자가 기록된 씬과 이미지 감지 장치 사이의 거리를 줄이기를 원할 때 사용될 수 있다. 실용적인 방법으로는 카메라 앞에 거울을 병렬로(juxtaposed) 위치시킨다.

룸의 공간이 허용된다면, 모듈의 특별한 실시예가 어느 것이든지, 몇 개의 독립적인 모듈들이 연결될 수 있고, 모듈들은 이미지 및 사운드의 연속성을 보장하면서 서로 종속하여 동작할 수 있다.

본 발명은, 특히, 복원하는 동안 이미지 중첩 또는 사운드 갭을 방지할 수 있다. 사운드 갭은, 예를 들어, 음성의 피치(pitch) 또는 사운드 레벨에서의 변동(variation), 또는 사운드 픽업 지역으로 지정되지않은 지역에 대응함을 상기해야한다.

더하여, 본 발명은 사람이 키오스크, 스크린 또는 이미지 벽 앞을 지나갈 때이미지 및 사운드 품질의 연속성을 보장한다.

본 발명에 따르면, 이러한 목표를 위하여, 시스템의 다양한 장비들에 대한 피드백 제어 및 제어 수단들이 있을 수 있다. 이 원리에 대한 도표가 도 5a 및 5b에 도시되어있다.

예로서, 세 모듈이 연접되어있다. 각 모듈은 두 동작 블럭들로 나누어진 하나의 블록으로 도시되어있고, 동작 블럭중 하나는 비디오(1)로 다른 하나는 오디오(2)로 도시되었다. 이웃 모듈에 대한 프레젠스(presence) 감지기(D)는 피드백 제어 및 제어 장치(P)로 프레젠스 신호(presence signal)을 재전송한다. 프레젠스 감지기(D)는 본 기술의 당업자에게 알려진 어떤 형태의 감지기, 예를 들어 광전기 전지(photoelectric cell), 초음파 감지기(ultrasound detector), 가정용 프레젠스 감지기(household presence detector) 등을 사용하여 구현될 수 있다.

전체 시스템은 각 모듈이 그 이웃들과 연동하는 것처럼 동작하고, (전송 장비 및 네트웍 다중화(multiplexing) 뿐 만 아니라)비주얼 및 오디오 특성을 변형할 수 있다. 예를 들어, 각 모듈은 다른 모듈들과 분리되는 데이터 플로우(data flow)를 전송하거나 n개의 모듈의 n개의 플로우들이 하나의 채널로 다중화된다; 제어 장치는 모듈들이 동일 채널(ADSL, VLAN, IP, 가상 채널, ATM)을 보유하도록 한다. 물론, 모듈들은 여기에 도시되지않은 전송 네트웍으로 연결된다. 데이터 플로우는, 예를 들어, IP 프로토콜 또는 어떤 다른 국내의(native) ATM 프로토콜, 컴퓨터 개발자의 스트리밍 표준(streaming standards)을 기반으로 할 수 있다.

이들 모듈들중 하나는 마스터 모듈로서 도 5a에 도시된 바와 같이 다른 모듈들을 피드백 제어하기 위한 기준으로 사용될 수 있다. 피드백 제어 동작 블록 A는 마스터 모듈 또는 도 5a에 도시된 외부 제어와 통합된 처리 장치(processing unit)를 사용하여 구현될 수 있다.

또한 예상된 바와 같이, 피드백 제어의 기준 모듈은 도 5b에 도시된 바와 같이 시스템의 외부에 있을 수 있다.

또한 예상된 바와 같이, 각 모듈은, 예를 들어, 차례차례로 기준 모듈로 변환될 수도 있다.

설명을 간단히하기위해, 각 위치에 세 모듈만 포함하고 그들중 하나를 기준으로 택해서 피드백 제어하는 시스템을 설명하기로한다. 위에서 지적된 바와 같이, 연접된 모듈들의 수에 따라 피드백 제어되도록 다양한 파라미터에 대한 디폴트 값(default value)이 프로그램되어 있는 외부 장치에 의해 기준이 제공될 수 있다.

도 6은 이미지 캡쳐에 대한 피드백 제어를 도시한 것이다. 세 모듈의 세 카메라는 칼러 및 흑백 레벨을 등화하도록(equalize) 특히 색도 신호(colorimetric signal) 및 휘도(luminance)에 대한 이미지 분석을 위해 피드백 제어된다.

따라서, 제1피드백 제어 장치는 촬영된 지역의 중첩을 제거하기위해서 카메라의 배치를 다른 카메라들의 배치에 대하여 피드백 제어한다. 예를 들어, C1 카메라의 프레이밍(framing)에 따른 C2 및 C3 카메라의 프레이밍을 수정하도록 카메라의 개별적인 프레이밍에 대한 기준을 제공하기위해 전송 다이오드(D)를 사용하거나, 테스트 패턴을 이미지 벽(I)에 위치시킬 수도 있다.

본 구현 예에서, 촬영될 이미지는 도 10에 대한 설명에서 개시된 예에서와 같이 접힌 거울을 사용하여 카메라로 재전송될 것이다.

피드백 제어 장치(U1)는 다이오드(D)에 의해 전송된 신호를 감지한 후에 얻어진 프레이밍 결과에 의한 위치 신호(P1)을 수신한다. U1 장치는 제1카메라 C1의 배치 명령에 의해 전송된 신호를 수신하고 제2 및 제3 카메라(C2, C3)의 배치 명령 신호 PS2 및 PS3를 출력한다.

더우기, 피드백 제어 장치는 제2 및 제3카메라를 설정하거나, 제1카메라의 신호에 대해 제2 및 제3카메라를 피드백 제어하기위해 이들 카메라들의 색도 및 휘도 신호에 대해 동작한다. 색도 신호 파라미터는 신호 S1에 의해 얻어지며, 도 6a에 나타난 바와 같이 다른 두 카메라의 명령 신호 S2 및 S3를 발생하도록 한다.

도 6b는 카메라의 시야의 자동 조절(automatic calibration)를 통해 이미지의 연속성을 보장하는 피드백 제어의 예를 설명한 것이다.

모듈이 다른 모듈에 의해 가려지는(eclipse) 경우, 이미지 벽은 일정해야한다. 즉, 이미지의 연속성을 가져야한다. 자동 동작은 손으로 또는 자동 조절에 의해 이루어질 수 있다. 이를 위해, 사용가능한 기준점들, 예를 들어, (무대 장치(decor)에 있는 물체 또는 밝은 점(bright spot)일 수도 있는) 종이 테스트 패턴일 수 있다. 따라서 이미지 연속성을 보장하기위해서 인접 카메라(본 실시예에서는 두 대의 카메라)의 광축 방향이 피드백 제어되거나, 원격 제어 줌(zoom)이 사용될 수도 있다. 또는 카메라의 x,y 및 z 축 위치도 설정될 수 있다.

상기 예에서, 무대장치에 배치된 세 개의 광 다이오드 (D1-D3)는 카메라를 위한 기준점들로 사용된다. 컴퓨터에 로딩된 피드백 제어 프로그램은 수신된 두 이미지를 분석하고 다이오드의 위치를 이들 두 이미지에서 찾는다. 그에 따라 프로그램은 카메라 또는 빔이 뒤섞이도록 접힌 거울에 대한 명령 파라미터들에 동작하도록 설계된다.

본 도면에 도시된 제어 카메라(CC)는 복원된 이미지를 분석하는데 사용될 수 있다. 이 카메라는, 예를 들어, 병치된(juxtaposed) 이미지들을 분석함으로써 비디오 프로젝터를 잠그는데(lock) 사용될 수 있다. 또한 인접 이미지들이 동일한 색도를 갖는지의 여부를 확인하는데 사용될 수도 있다.

비디오 품질을 보증하기위해서, 예를 들어 (선형 또는 로그함수적인 그레이 칼러 기준으로) 동일한 물체가 각 카메라 앞에 배치될 수 있고, 비디오 프로젝터를 제어하는 그래픽 카드 인터페이스가 콘트라스트(contrast), 감마 신호(gamma signal), 밝기(brightness) 등을 등화하도록 색도의 경우와 동일한 방식으로 동작할 수 있다.

처리 장치는 도면에 도시된 바와 같이 컴퓨터를 사용하여 만들어질 수도 있다. 이러한 목적으로 프로그램된 컴퓨터 및 원하는 모든 제어 구성요소들은 이미지 캡쳐, 처리 및 복원을 제어할 수 있다. 처리는 전자 제어 장치(electronic control unit), 예를 들어, 제조업자에 의해 제공된 API(프로그램 인터페이스)를 사용하여 PC 그래픽 카드를 프로그래밍함으로써 본 기술이 속한 분야의 당업자에 의해 쉽게 수행될 수 있다.

세 프로젝터(P1, P2 및 P3)는 또한 개별적으로 또는 외부 기준에 의해 피드백 제어될 수 있다.

도 7에 도시된 예에서, 세 프로젝터들중 하나는 피드백 제어 장치(U3)가 다른 프로젝터들의 비디오 신호 V2 및 V3를 주어진 기준 값으로 조절하도록 하기위해서 기준 비디오 신호(V1), 특히 색도 및 휘도 신호를 피드백 제어 장치에 제공한다. 제어 카메라는 인접 이미지들이 동일한 색도를 갖고있는지의 여부를 확인하는데 사용될 수 있다.

더우기, 피드백 제어 장치(U2)는 기준 비디오 프로젝터로부터 수신한 명령 신호 F1을 사용하여 비디오 프로젝터들의 초점 명령(F2, F3)을 피드백 제어한다. 또한 피드백 제어는 초점과는 완전히 다른 크기 또는 파라미터, 예를 들어, 키스톤 변형(keystone deformation) 또는 휘도, 색도 또는 감마 신호를 포함한다. 기준 비디오 프로젝터는 스크린(E)의 주위에 분포된 광 센서들(Cp)로부터 전송된 캡쳐 신호(Scp)를 사용하여 초점을 자동으로 조절한다.

또한 각 모듈의 라이팅(lighting, R)은 전체 이미지 벽을 따라 상기 라이팅의 균일성(homogeneity)를 보장하기위하여 피드백 제어에 의해 제어될 수 있다. 이를 위하여 이들 모듈중 하나인 라이팅 장치(L1)는 피드백 제어 시스템에 기준 포인트를 제공하여 이 시스템이, 예를 들어 휘도(룩스(lux), 즉, 평방 미터당 칸델라(candela)로 측정됨), 색온도(colour temperature, colorimetry) 또는 어떤 다른 "시각심리적인(psychovisual)" 양을 측정하는 장치로 만들어진 기준에 따라 다른 라이팅 장치(L2, L3)를 제어할 수 있도록 할 수 있다.

도 8을 참조하여 설명하면 다음과 같다.

동일한 방법으로, 각 모듈의 사운드 픽업 및 복원 장치들(AU1, AU2 및 AU3)은 모듈의 사운드 픽업 및 복원 장치들에 의해 주어진 예별로(per example) 공급되는 기준 신호들에 대해 피드백 제어된다.

비디오 데이터는 또한, 사운드를 제어 또는 피드백 제어하는데 사용될 수도 있다. 정말로, 사운드 파라미터들은 이미지가 변경될 때 변경될 수 있다; 이미지는 예를 들어, 사람이 도착하면 변경될 수 있다.

피드백 제어는, 예를 들어, 에코 제어(echo control), 사운드를 위한 네트웍 관리, 사운드 픽업 시스템 제어, 사운드 복원 제어 시스템 또는 두 룸간의 사운드 통신을 개설하는데 필요한 어떤 다른 구성요소에 대해 수행될 수 있다.

모듈은, 예를 들어, 이미지에 정합하는 사운드의 공간화(spatialization)를 이루기위해 몇가지 사운드 픽업 장치들 및 그에 대응하는 사운드 복원 장치들을 포함할 수 있다. 각 모듈의 모든 마이크로폰(Mi)에 의해 획득된 신호는, 예를 들어, 양면으로 스피커가 연결된 마이크로폰의 루프 안정(loop stability)을 증가시키기위한 에코 상쇄(echo cnacellation) 및 픽업율(pickup rate, 라센 효과(Larsen effect) 또는 에코)의 감소를 보장하도록 프로그램된 각 처리장치(U3, U4 및 U5)를 사용하여 각 모듈마다 처리된다. 결과적으로, 라센 효과를 방지하고, 동일한 처리 장치(U3, U4 및 U5)를 사용하여 기준에 대해 모듈들을 피드백 제어하도록하는 처리과정이 각 모듈마다 수행될 것이다. 이 기준은 모듈들중의 하나에 제공되어 전체 시스템이 "글로벌" 또는 커버될 지역에서 완전한 사운드 픽업 시스템을 구성하게 할 수 있다.

물론, 사운드 픽업 장치가 이미지 감지 지역에 대한 커버리지(coverage)를 보장하고 씬의 맨 마지막 모듈의 범위를 넘어서도록 보장할 수 있다.

피드백 제어 장치는 마이크로프로세서, 마이크로컨트롤러, 자동 연산기(automatic operator) 또는 컴퓨터 중앙 장치(computer central unit)와 같은 처리장치에 의해 수행되는 것이 바람직할 것이다. 이러한 목적을 위해, 처리 장치는 필요한 피드백 제어 수단들이 구현된, 프로그램된 프로그램 메모리를 포함한다. 이러한 장치들은 도 5a 및 5b에 도시된 마스터 모듈 또는 외부 모듈들로 통합될 수 있다.

모듈은 또한 사운드 또는 이미지 픽업 구성요소들에 대한 연접 데이터(concatenation data)를 수신하여 다른 모듈들을 피드백 제어할 수 있다.

예를 들어, 각 모듈상에 하나 또는 두 모듈이 연결되어있는 것을 감지하는 커넥터들(CT)일 수 있다; 감지 신호는 다양한 모듈들로의 명령의 통합 및 전송을 제어하는 마스터 모듈로 전송된다. 또는, 감지신호는 커넥터 신호를 수신했을 때 각 모듈로의 명령의 통합 및 전송을 보장하는 외부 기준 장치로 전송될 수도 있다. 이들 두 예는 도 5c 및 5d에 도시되어있다.

인접 모듈의 프레젠스가 감지되고, 감지결과는 각 모듈의 시청각 특성을 변경하여 각 모듈을 제어할 수 있는 제어 장치(P)로 전송된다.

연접(concatenation)은 기계적인 또는 전기적인 이클립싱(eclipsing)으로 이루어진다.

또는 비디오를 사운드로 제어하는 방법도 있다. 예를 들어, 모듈의 카메라의 시야는 이 모듈의 장치들의 사운드 픽업 로브(lobe)에 따라 제어될 수 있고, 그 반대로도 동작한다.

사운드 픽업 장치는 몇몇 모듈들의 연접을 감지할 수 있다. 정말로, 예를 들어 사운드를 수신함으로써 사람이 장치 앞을 통과하는 것에 의한 것 뿐 만 아니라 사운드 픽업 체인의 응답 필터에서 감지된 것에 의해 변경이 이루어진 것을 알게되면, 연접이 감지되고 각 모듈의 피드백 제어 수단들이 활성화된다.

다음으로, 모듈 구성에 있어서 장치들의 실제 실시예들에 대한 몇가지 예를 설명하기로 한다.

도 9a 및 9b는 연접된 이미지 감자 장치의 구현 예를 각각 도시한 것이다. 인접 거울(10a, 10b 및 10c)가 빔 경로(Fa, Fb 및 Fc)에 각각 위치한다. 시야각(αa, αb 및 αc)는 동일한 것이 바람직하다.

도 9a의 경우, 거울은 키오스크에, 즉, 다각형 또는 만곡된 부분을 따라서 위치한다. 시야각이 더 벌어질수록, 다각형의 면들을 더 길어지고, 이미지 장치(1a, 1b 및 1c)는 서로 더 멀어진다. 이러한 형태의 구성에서, 이미지 감지 장치(1a, 1b 및 1c)는 참조번호 100의 위치에 중첩되는 것처럼 보인다.

거울은 평평할 수 있다.

도 9b의 경우, 이미지 감지 시스템은 텔레센트릭(telecentric)하다: 거울(10a, 10b 및 10c)은 오목하고 각각 초점을 갖고 있어서, 각 거울 초점에 위치한 장치(1a, 1b 및 1c)로 전송이 일어나면 빔이 원통형 모양이 된다. 이미지 캡쳐는 단일 이미지 감지 시스템의 경우 더이상 콘형이 아니고 원통형이 된다. 따라서 이러한 텔레센트릭 시스템은 "시각 교차 결여"의 효과 및 이미지 중첩을 감소하거나 제거한다.

이하에서 도 10에 도시된 모듈의 이미지 감지 장치 및 복원 장치의 특별한 실시예를 보다 상세하게 설명하기로한다.

복원 모듈은 원격지 씬의 이미지를 스크린(E)에 투사하고, 지역 참자가(PL)를 마주하고있는 비디오 프로젝터(P1)를 포함한다. 스크린(E)는 플라즈마, LCD, CRT, 등의 디스플레이일 수 있다. 이미지는 영화 표준(cinema standard)이나 사진과 같은 임의의 포맷(16/9, 4/3, 3/4)을 가질 수 있다. 지역 참가자(PL)은 스크린(E)에 형성되는 원격 씬의 이미지를 전송 용량(transmission capacity)을 위해 사용된 반반사(semi-reflective) 부(21)를 통해 볼 수 있다. 반반사부의 반사 및 전송 계수는, 예를 들어 각각 30% 및 70% 일 수 있다.

이미지 감지 장치, 예를 들어, 카메라(C1)에는 빔을 휘게하는 두 개의 거울, 예를 들어, 두 거울(11, 12)과 빔 F를 구비히는 반반사부(21)가 부착되어있다. 또한 이미지 감지 장치는 카메라 빔의 광 경로를 감소시키는 렌즈(O), 예를 들어 프레스넬 렌즈(Fresnel lens)를 구비할 수 있다.

반반사부는, 이 경우, 반사 용량을 위해 사용되고, 따라서 거울(10)의 가능한 기능을 보장한다. 참조번호 100은 가상 카메라에 해당하고, 빔이 휘어지지않는 것처럼 보이게 한다.

이러한 독립 이미지 감지 장치는 가상체험(telepresence) 효과(시각 교차 결여 효과의 감소, 이미지의 비중첩(non-overlapping), 파노라마 효과(panoramic effect))를 만들 수 있고, 가능한 한 평평한 스크린에 투사된 이미지와 병치되도록 보다 가깝게하는 키오스크 효과(kiosk effect)(키오스크는 아주 오픈되어있다)를 갖는 복원 시스템에 연결된다. 스크린 또한 만곡될 수 있다.

도 11은 본 발명에 따른 시청각 연동 시스템에 대한 개략적인 투시도이다. 상기 시청각 연동 시스템은 도 10에 도시된 것과 유사하고 다각형 키오스크에 위치한 모듈들을 포함한다. 스크린이 만곡되어있으면 시청각 연동 시스템은 원의 아치(circle arch) 형태일 수 있다.

이 시스템은 몇몇 반반사부(21a, 21b(가려짐), 21c(가려짐))와 몇 개의 거울(11a(가려짐), 11b 및 11c)을 포함한다.

사운드의 경우, 실시예로서 모듈 앞에 위치한 사람의 음성을 캡쳐하기위해 반반사부(21)의 위 또는 아래에 하나 또는 그 이상의 마이크로폰이 위치하고, 그 사운드를 복원하기위해 반반사부(21)의 위 또는 아래에 하나 또는 그 이상의 스피커가 위치해있다.

오디오 주변기기(audio peripherals)들이 카메라, 비디오 프로젝터, 시스템을 사용하는 사람들의 눈 등의 광 경로를 중단시키지않아야함이 이해되어야한다. 더우기, 이들 오디오 주변기기들은 정확한 사운드 캡쳐 및 복원을 위해 가능한 한 사용자에게 가까이 위치해야할 필요가 있다.

본 발명에 따르면, 독립적인 모듈을 구비한 모듈라 시스템으로서 사용가능한 공간과 관련하여 제한없이 모듈 설치가 가능하다. 또한 연접 또는 연접된 모듈들이 물리적으로 및 동작상으로 연속적인 체인을 형성함으로써 이미지 및 사운드의 연속성의 부족으로인한 문제를 감소시킬 수 있다.

Claims

지역 씬과 원격지 씬을 함께 수반하는 시청각 시스템에 있어서,

지역 씬에 대한 가변 시야(variable field) 이미지 감지 장치 및 사운드 픽업 장치, 그리고 이미지 평면(I)에서의 원격지 씬에 대한 이미지 및 사운드 복원 장치를 각각 포함하고, 전송 네트웍으로 연결되는, 복수의 연접된 시청각 모듈들; 및

촬영되거나 기록되고 있는 사람들이 상기 씬과 관련된 다양한 이미지 및 사운드 픽업 장치들 앞을 지나갈 때 상기 모듈들 사이에 이미지를 캡쳐하여 상기 이미지 평면에서 이미지 및 사운드 품질의 연속성을 보장하고 촬영된 지역의 중첩을 제거하는 피드백 제어 및 제어 수단들을 포함하는 것을 특징으로하는 시청각 시스템.
제1항에 있어서, 상기 모듈들은

상기 피드백 제어 및 제어 수단에 연결된, 인접 모듈에 대한 프레젠스(presence) 감지수단들을 포함하는 시청각 시스템.
제2항에 있어서, 상기 인접 모듈에 대한 감지수단들은

프레젠스 센서들로 이루어져있는 시청각 시스템.
제2항에 있어서, 상기 인접 모듈에 대한 감지수단들은

사운드 수신 수단들로 이루어져있으며, 수신된 사운드의 변경을 감지하는 시청각 시스템.
선행하는 어느 한 항에 있어서, 상기 피드백 제어 및 제어 수단은

기준신호들에 대해 상기 이미지 감지 장치들을 피드백 제어하도록 상기 기준신호들을 수신하는 상기 이미지 감지 장치의 피드백 제어 수단을 포함하는 시청각 시스템.
선행하는 어느 한 항에 있어서, 상기 피드백 제어 수단은

기준신호들에 대해 상기 이미지 복원 장치들을 피드백 제어하기위해 상기 기준신호들을 수신하는 상기 이미지 복원 장치의 피드백 제어 수단들을 포함하는 시청각 시스템.
제5항 및 제6항중 어느 한 항에 있어서, 상기 기준 신호들은

외부 장치에 의해서 또는 상기 모듈들중 어느 하나에 의해 제공되는 시청각 시스템.
제6항에 있어서,

상기 기준신호들이 외부에서 제공되는 경우, 상기 기준신호들은 상기 사운드 픽업 장치에 의해 획득되는 시청각 시스템.
선행하는 어느 한 항에 있어서, 상기 피드백 제어 및 제어 수단은

기준신호들에 대해 상기 사운드 픽업 및 사운드 복원 장치들을 피드백 제어하기위해 상기 기준신호들을 수신하는 상기 사운드 픽업 및 사운드 복원 장치들의 피드백 제어 수단을 포함하는 시청각 시스템.
제9항에 있어서,

상기 기준신호들이 외부에서 제공되는 경우, 상기 기준신호들은 상기 이미지 감지 장치에 의해 획득되는 시청각 시스템.
제9항에 있어서,

상기 기준신호들은 각 모듈 또는 이웃 모듈(들)에 의해 제공되는 시청각 시스템.
선행하는 어느 한 항에 있어서, 상기 피드백 제어 수단은

필요한 피드백 제어 수단을 활성화시키는, 프로그램된 프로그램 메모리를 포함하는 제어 장치에 의해 동작되는 시청각 시스템.
선행하는 어느 한 항에 있어서, 상기 피드백 제어 및 제어 수단은

각 모듈별로 분리된 데이터 플로우를 통해 상기 네트웍으로의 전송을 제어하는 시청각 시스템.
선행하는 어느 한 항에 있어서, 상기 피드백 제어 및 제어 수단은

모든 모듈에 대해 단일 네트웍 채널을 통한 다중화된 전송을 제어하는 시청각 시스템.
선행하는 어느 한 항에 있어서, 상기 복원 장치(2)는

원격지 씬 이미지가 형성되는 적어도 하나의 스크린(E); 및

상기 이미지 평면(I)에 상기 스크린(E) 이미지를 형성할 수 있는 반투명 거울을 포함하고,

상기 반투명 거울(21)은 선(ray)이 상기 반투명 거울(21)을 통과하여 상기 이미지 감지 장치의 거울(11)에 도달하도록 상기 모듈에 연결된 상기 이미지 감지 장치의 거울(11)과 상기 지역 씬 사이에 위치하는 시청각 시스템.
선행하는 어느 한 항에 있어서,

상기 반투명 거울(21)은 평평하거나 오목한 시청각 시스템.
선행하는 어느 한 항에 있어서,

상기 오목한 반투명 거울(21)은 초점을 제공하고,

상기 시스템은 상기 거울(21)의 초점 가까이에 위치한 프로젝터(P)를 더 포함하는 시청각 시스템.
선행하는 어느 한 항에 있어서,

상기 반투명 거울(21)은 원통형, 원환체(toric) 및 레볼루션 거울(revolution mirror)중 어느 하나인 시청각 시스템.
제15항에 있어서,

상기 이미지 감지 장치 및/또는 상기 복원 장치는 정렬되는 시청각 시스템.
제15항에 있어서, 상기 이미지 감지 장치 및/또는 상기 복원 장치는

볼록 곡선(convex curve)를 따라 위치하는 시청각 시스템.
제15항에 있어서, 상기 이미지 감지 장치 및/또는 상기 복원 장치는

카메라 빔의 광경로를 줄이는 렌즈, 예를 들어 프레스넬 렌즈인 시청각 시스템.