KR20040002639A - 전방향성 카메라 및 마이크로폰 어레이에 관한 집적 설계 - Google Patents

전방향성 카메라 및 마이크로폰 어레이에 관한 집적 설계 Download PDF

Info

Publication number
KR20040002639A
KR20040002639A KR1020030040457A KR20030040457A KR20040002639A KR 20040002639 A KR20040002639 A KR 20040002639A KR 1020030040457 A KR1020030040457 A KR 1020030040457A KR 20030040457 A KR20030040457 A KR 20030040457A KR 20040002639 A KR20040002639 A KR 20040002639A
Authority
KR
South Korea
Prior art keywords
camera
microphone array
microphone
omni
video
Prior art date
Application number
KR1020030040457A
Other languages
English (en)
Other versions
KR100960781B1 (ko
Inventor
커틀러로즈
굽타아누프
타쉐브이반
루이용
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20040002639A publication Critical patent/KR20040002639A/ko
Application granted granted Critical
Publication of KR100960781B1 publication Critical patent/KR100960781B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers

Abstract

집적 마이크로폰 어레이를 구비한 전방향성 카메라(360도 카메라)가 개시된다. 그러한 카메라에 대한 주요 응용 예는 화상 회의 및 회의 기록이고, 그 장치는 회의 실 탁자 상에 놓여지도록 설계된다. 마이크로폰 어레이는 평면으로 구성되고, 마이크로폰은 탁자로부터의 음향 반사를 제거하기 위하여 가능한 한 탁자에 근접하게 위치한다. 카메라는 얇은 실린더형 막대로 마이크로폰 어레이 베이스에 연결되고, 그 얇은 실린더형 막대는 주파수 영역 [50-4000]Hz에서 마이크로폰 어레이에 음향학적으로 투명하다. 이것은 화자로부터 어레이의 모든 마이크로폰으로 직접 경로를 제공하고, 그리하여 음원 위치 측정(화자의 위치를 결정) 및 빔-형성(특정 방향으로부터의 음향만 필터링함으로써 화자의 음질을 향상)을 위하여 이용될 수 있다. 카메라 어레이는 회의 참가자의 거의 정면 모습을 제공하기 위하여 탁자로부터 높여져 있다.

Description

전방향성 카메라 및 마이크로폰 어레이에 관한 집적 설계{INTEGRATED DESIGN FOR OMNI-DIRECTIONAL CAMERA AND MICROPHONE ARRAY}
본 발명은 집적 전방향성 카메라 및 마이크로폰 어레이에 관한 것으로, 특히 전자 회의(teleconferencing) 및 회의 기록을 위하여 사용될 수 있는 집적 전방향성 카메라 및 마이크로폰 어레이에 관한 것이다.
화상 회의 시스템(video conferencing system)은 제한적인 상업적 성공을 거두었다. 이것은 여러 이유에 기인한다. 특히, 일반적으로 이러한 시스템에는 다수의 기술적 결함이 존재한다. 성능이 낮은 카메라 시야 및 불충분한 이미지 해상도로 인하여 회의 참가자가 다른 사람이 이야기하는 것을 보기가 어렵다. 이러한 점은 부정확한 화자 검출(특히 팬-틸트-줌 카메라(pan-tilt-zoom cameras)의 경우에)로 인하여 카메라가 화자의 방향으로 향하지 못하기 때문에 더 심화된다. 또한, 성능이 낮은 화상 압축 기술은 흔히 낮은 화상 이미지 품질 및 "자주 끊어지는" 이미지 디스플레이를 일으킨다.
전자 회의를 위하여 이용되는 시스템의 포착 장치(capturing device)는 화상 회의 및 회의를 시청하는데 있어 중요한 몇몇 주요 데이터원에만 초점을 맞추는 성향이 있다. 이것은 비디오 데이터, 오디오 데이터 및 컴퓨터 모니터 상에 보여지는 전자 문서 또는 발표 자료를 포함한다. 다수의 소프트웨어 솔루션이 문서 및 발표 자료를 공유하기 위하여 존재하지만, 개선된 방법으로 오디오 및 비디오 데이터를 포착하는 것이 주요 관심사이다.
비디오 데이터를 포착하기 위한 세 가지 방법이 존재하는데, 팬/틸트/줌(PTZ) 카메라, 거울 기반 전방향성 카메라 및 카메라 어레이이다. 현재 PTZ 카메라가 널리 사용되고 있지만, 그것은 두 가지 주요한 한계점을 가지고 있다. 첫째, PTZ 카메라는 단지 제한된 범위만 관찰할 수 있다. PTZ 카메라가 너무 가깝게 확대하면 회의실의 배경을 놓치게 되고, 너무 멀리 축소하면 사람들의 모습을 볼 수 없게 된다. 둘째, 제어 모터가 카메라를 이동시키기 위하여는 시간이 소요되기 때문에, 카메라가 회의(예를 들어, 화자 교체)에 느리게 반응한다. 사실, PTZ 카메라는 매우 많이 또는 매우 빨리 이동할 수 없기 때문에, 회의를 시청하는 것이 산만해질 수 있다.
거울/프리즘 기반 전방향성 관측 센서에서의 이러한 문제점 및 최근의 기술 발전으로 인하여, 연구자들은 비디오를 포착하고 분석하는 방법을 재고하기 시작하였다. 예를 들어, "BeHere"사는 연예, 뉴스 및 스포츠 인터넷 방송에서 360° 인터넷 비디오 기술을 제공한다. 원격 사용자들은 그것의 인터페이스를 이용하여, 다른 시청자들과 상관없는 개인화된 360° 카메라 각도를 제어함으로써 "여기에 있다"라는 경험을 얻을 수 있다. 이러한 접근법은 PTZ 카메라의 두 가지 문제점인 제한된 관찰 영역 및 느린 카메라 반응을 극복하지만, 이러한 종류의 장치는 현재의 기술 및 시장 수요를 감안하면 구현하기에 너무 고가이다. 또한, 이 거울 프리즘 기반 전방향성 카메라는 낮은 해상도(심지어 1MP 센서를 갖추고도 그러함) 및 초점이 흐려지는 문제점을 가지고 있어서, 열등한 화질을 생기게 한다.
또 다른 접근법으로는, 전방향성 카메라 어레이를 형성하기 위하여 다수의 저가 카메라 또는 비디오 센서를 조립한다. 예를 들어, 기존의 시스템 중 하나는 회의실의 파노라마식의 관찰을 구축하기 위하여 4개의 미국 텔레비전 체계 위원회(National Television System Committee; NTSC) 카메라를 이용한다. 그러나, 이 설계에는 단점이 있다. 첫째, NTSC 카메라는 상대적으로 낮은 품질의 비디오 신호를 제공한다. 또한, 4개의 카메라는 4개의 비디오 포착 보드가 신호를 분석, 전송 또는 기록하기 전에 신호를 디지털화할 것을 요구한다. 4개의 포착 보드에 대한 요구 조건은 그러한 시스템의 비용 및 복잡성을 증가시키며, 그 시스템을 제조하고 유지하는 것을 어렵게 한다.
비디오 포착에 대하여 상기한 문제점 이외에도, 회의실에서 고화질의 오디오를 포착하는 것은 어렵다. 오디오 포착 시스템은 다양한 잡음 및 반향(reverberation)을 제거할 필요가 있다. 또한 그것은 다른 수준의 입력 신호에 대한 이득(gain)을 조절해야 한다. 일반적으로, 이러한 요구 조건을 만족하는 세 가지 접근법이 있다. 가장 간단한 접근법은 클로우즈업(close-up) 마이크로폰(예를 들어, 헤드셋을 통해서)을 이용하는 것인데, 이것은 사용자/화자에게 성가시고 방해적이다. 두 번째 접근법은 회의실 탁자 상에 마이크로폰을 놓아두는 것이다. 이것은 다수의 음향 경로(acoustic path)를 억제하며, 현재, 회의의 음성을기록하기 위한 가장 일반적인 접근법이다. 이 시스템은 전방향성 특성을 제공하기 위하여 여러 개(보통 3개)의 초지향성(hypercardioid) 마이크로폰을 이용한다. 세 번째 접근법은 탁상용 전자 회의 시스템에서 제공된다. 이 접근법에서는, 단방향성(unidirectional) 마이크로폰이 PTZ 카메라의 상부에 탑재되고, PTZ 카메라는 화자쪽을 향한다. 카메라/마이크로폰 군은 음원 위치 측정(sound source localization)을 수행하기 위하여 별개의 마이크로폰을 사용하는 컴퓨터에 의하여 제어된다. 그러나, 이 접근법은 두 개의 별개 마이크로폰 세트를 요구한다.
도 1은 본 발명을 구현하기 위한 예시적인 시스템을 구성하는 범용 컴퓨팅 장치의 설명도.
도 2는 회의실 탁자에 집적 카메라 및 마이크로폰 어레이를 바람직하게 위치시키는 것에 대한 설명도.
도 3a는 집적 카메라 및 마이크로폰 어레이의 일 실시예의 측면도.
도 3b는 도 3a에 도시된 집적 카메라 및 마이크로폰 어레이의 일 실시예의 평면도.
도 4는 집적 카메라 및 마이크로폰 어레이의 다른 실시예의 원근도.
도 5는 포착된 비디오 및 오디오 데이터를 강화하기 위하여 컴퓨터를 이용하는 본 발명의 일 실시예에 대한 설명도.
< 도면의 주요 부분에 대한 부호 설명 >
202 마이크로폰 어레이
204 회의실 탁자
302 전방향성 카메라
304 실린더
306 마이크로폰 베이스
308 마이크로폰
310 프리앰프
본 발명은 화상 회의 및 회의 기록 시스템의 상기한 제한점들을 극복하기 위한 시스템 및 방법에 관한 것이다. 특히, 본 시스템 및 방법은 이러한 목적을 달성하기 위하여 집적 전방향성 카메라 및 마이크로폰 어레이를 이용한다.
가장 일반적으로, 본 발명은 사람의 음성의 주파수 영역(50-4000Hz)에 대해서 음향학적으로 투명할 정도로 충분히 얇고, 카메라 어레이를 마이크로폰 어레이로 연결하는 실린더형 막대로 이루어진다. 그 결과, 음향 회절 및 셰도잉(shadowing)이 제거된다.
집적 카메라 및 마이크로폰 어레이는 화상 회의에 대하여 상기한 각각의 문제점을 해결하기 위하여 설계된 360도 카메라를 이용한다. 360도 카메라는 회의실 탁자의 중심에 위치할 수 있어서, 그것은 (카메라가 방의 한 쪽 끝에 있는) 일반적인 화상 회의 시스템과 비교하여 참가자에게 우수한 카메라 시야를 제공한다. 카메라는 회의 참가자의 거의 정면의 모습을 제공하기 위하여 탁자로부터 올려진다.또한, 집적 카메라 및 마이크로폰 어레이는 원격 시청자가 회의 참가자들의 얼굴 표정을 볼 수 있을 정도로 충분한 해상도(예를 들어, 일 실시예에서는 해상도가 3000x480이다)를 제공한다. 카메라는 쌍곡선 거울(hyperbolic mirror)을 구비한 단일 비디오 센서 또는 카메라 어레이를 이용하는 임의의 전방향성 형태인 것이 좋다.
마이크로폰은 평면적인 구성이다. 바람직하게는 마이크로폰은 탁자로부터의 음향 반사를 제거하기 위하여 가능하면 탁상 가까이에 위치하도록 마이크로폰 어레이 베이스에 탑재된다. 상술한 바와 같이, 카메라는 얇은 실린더형 막대로 마이크로폰 어레이에 연결되고, 그 막대는 사람의 음성의 주파수 영역(즉, 약 50-4000Hz)에서 마이크로폰 어레이에 대해 음향학적으로 투명하다. 이것은 화자로부터 어레이의 모든 마이크로폰으로 직접 경로를 제공하여, (화자의 위치를 결정하는) 음원 위치 측정 및 (화자의 방향으로부터 오지 않는 음향을 필터링함으로써 화자의 음질을 향상시키는) 빔-형성(beam-forming)을 우수하게 만든다. 실시간 음원 위치 측정을 수행하기 위하여 집적 마이크로폰 어레이가 이용되고, 화자가 이미지 내의 어디에 위치하는지를 정확하게 검출하기 위하여 컴퓨터 시각 기반 사람 검출 및 추적기와 카메라 어레이가 이용된다. 오디오 및 비디오 기반 화자 검출은 매우 개선된 비디오 압축(예를 들어, 배경보다 얼굴 영역에 더 많은 비트를 사용함) 뿐만 아니라 자동 카메라 관리를 위하여 이용될 수 있다.
바람직하게는 집적 카메라 및 마이크로폰 어레이의 출력은 PC로 연결되고, PC에서 이미지 스티칭(stitching) 및 압축, 음원 위치 측정, 빔-형성 및 카메라 관리와 같은 작업이 수행될 수 있다.
집적 카메라 및 마이크로폰 어레이의 한 실시예는 비디오를 PC로 전송하는 1394 버스 및 오디오를 퍼스널 컴퓨터(PC)로 전송하는 아날로그 케이블을 이용한다. 이 실시예에서는 우수한 화질을 제공하고 단지 하나의 1394 카드를 필요로 하는 Five IEEE 1394 카메라를 이용한다. 다른 실시예에서는 모든 카메라 및 마이크로폰을 위하여 단일 인쇄 회로 기판(Printed Circuit Board; PCB)을 이용하기 때문에, 모든 오디오 및 비디오는 단일 1394 케이블을 통하여 전송된다. 또한 1394 케이블은 전원을 공급하기 때문에, 카메라와 PC 간에는 단지 하나의 케이블이 필요하다.
이용되는 마이크로폰은 전방향성 또는 단방향성일 수 있지만, 전방향성 마이크로폰이 모든 음성 각도에 대하여 균일한 응답을 주기 때문에 바람직하다. 필요한 마이크로폰의 최소 개수는 3이지만, 본 발명의 바람직한 실시예는 음원 위치 측정, 빔-형성 및 전체적인 오디오 시스템의 견고성을 향상시키기 위하여 8개의 마이크로폰을 이용한다. 바람직하게는 마이크로폰을 둥글고 평면적 마이크로폰 베이스 주변의 원에 등간격으로 배치하지만, 다른 구성도 가능하다. 더 많은 마이크로폰을 이용할수록, 전방향성 오디오 커버리지(coverage) 및 신호 대 잡음 비가 향상된다. 그러나, 더 많은 수의 마이크로폰을 이용하는 것은 비용과 복잡도 면에서 효용성이 반감된다. 또한, 더 많은 마이크로폰을 이용할수록, 오디오 신호를 처리하는 것은 더 복잡해진다. 탁자의 잡음을 감소시키기 위하여, 고무 케이싱에 마이크로폰을 탑재할 수 있고, 방음제를 마이크로폰 아래에 위치시켜도 좋다.
카메라는 렌즈 보호막을 이용할 수 있는데, 렌즈 보호막은 정상적인 작동 모드에서는 위로 올려져 있으며, 프라이버시 모드에서는 아래로 내려져 있다. 이와 달리, 카메라 센서용 셔터(shutter)는 꺼질 수 있으며 또는 카메라는 프라이버시 모드 동안 카메라를 끄기 위하여 전자적으로 고립될 수 있다. 또한 바람직하게는 마이크로폰은 프라이버시 모드로 들어갈 때 꺼질 수 있다. 기록 동안, 카메라의 표시등은 사용자로 하여금 카메라가 작동 중이라는 것을 알게 하기 위하여 켜져 있다. 카메라가 프라이버시 모드에 있으면, 표시등은 꺼진다.
집적 전방향성 카메라 및 마이크로폰 설계의 다양한 다른 실시예들도 가능하다. 이것은 부분적으로 시스템의 모듈식 특성(modular nature)에 기인한다. 예를 들어, 일 실시예에서는 360도 카메라 커버리지(coverage)를 달성하기 위하여 다수의 비디오 센서를 이용하는 전방향성 카메라를 이용한다. 이와 달리, 본 발명의 다른 실시예에서는, 파노라마식 커버리지를 달성하기 위하여 빛을 360도에 걸쳐 포착하는 하나의 쌍곡선 렌즈 및 비디오 센서를 이용하는 전방향성 카메라를 이용한다. 또한, 회의 참가자의 정면 모습을 제공하기 위하여, 카메라 구성 중 하나는 음향학적으로 투명한 실린더형 막대 위에 올려진 채, 단독으로 이용될 수 있다. 또는 이들은 상기한 마이크로폰 어레이와 집적될 수 있다. 이와 달리, 다른 카메라 설계도 실린더형 막대와 함께 이용할 수 있다. 또한 막대가 (50-4000) Hz 영역에서 음성을 회절 시키지 않을 정도로 충분히 얇은 한은, 카메라와 마이크로폰 어레이를 연결하는 막대는 실린더형일 필요는 없다.
상기한 바와 같이 유사하게, 일 실시예에서 마이크로폰 어레이는 원 주위에등간격으로, 탁자로부터 음향의 반사를 최소로 하고 방에서 임의의 화자로 명확한 경로를 달성할 수 있을 정도로 탁자 표면에 가깝게 배치한다. 그러나, 음향학적으로 투명한 막대를 이용하여 전방향성 카메라 구성과 집적될 수 있는 다른 마이크로폰 구성도 가능하다. 또한, 최적의 360도 음향 커버리지를 달성하는 카메라를 제외하고 상기한 전방향성 마이크로폰 어레이만을 이용할 수 있다. 다중 경로 문제점이 최소화되거나 제거되기 때문에 이 커버리지는 음원 위치 측정 및 빔-형성에서 매우 유용하다.
본 발명의 카메라 및 마이크로폰 어레이를 이용하는 일 실시예는 이미지 데이터 및 오디오 신호를 최적화하기 위하여 컴퓨터를 이용한다. 카메라의 디지털 이미지 출력 및 마이크로폰 어레이의 오디오 출력은 (아날로그-디지털 변화기를 통하여) 컴퓨터로 라우팅된다. 컴퓨터는 이미지 및 오디오 입력을 강화하고 이용하기 위하여 다양한 기능을 수행한다. 예를 들어, 파노라마식 이미지 필터는 전방향성 카메라의 다양한 센서에 의하여 감지되는 이미지들을 스티칭한다. 또한, 바람직하게는 전송 및/또는 기록되는 비디오 및 오디오 출력을 분배하는 분배기를 통하여 이미지 데이터를 (인터넷과 같은) 네트워크 상으로의 방송에 있어서 더 호환 가능하도록 압축하거나, 컴퓨터 판독 가능 매체에 저장할 수 있다. 선택적에 따라서, 카메라 관리를 개선하기 위하여 이미지 데이터를 사람 검출기/추적기에 입력할 수도 있다. 예를 들어, 화상 회의에서 보여지는 카메라 시야가 화자들이 이야기할 때 화자 방향으로 향할 수 있도록, 화자를 포함하는 이미지/비디오 부분이 확인되어 오디오 신호와 결합될 수 있다. 또한, 배경 보다 얼굴 영역에 대하여 더 큰 해상도를 허용함으로써 화자 위치를 이용하여 비디오 압축을 향상시킬 수 있다.
또한 오디오 입력은 다양한 목적으로 이용될 수 있다. 예를 들어, 오디오는 음원 위치 측정을 위하여 이용될 수 있어서, 오디오는 임의의 주어진 시간에서 화자의 방향에 대해 최적화될 수 있다. 또한, 컴퓨터에서 빔 형성 모듈을 이용하여 오디오의 빔 형상을 향상시킴으로써 주어진 방향으로부터의 오디오의 필터링을 더 개선시킬 수 있다. 또한 방의 배경 잡음와는 반대로 화자로부터의 오디오 신호를 더 잘 포착하기 위하여 잡음을 감소시키고 이득을 조절함으로써, 잡음 감소 및 자동 이득 제어 모듈을 이용하여 신호 대 잡음 비를 향상시킬 수 있다. 이 이미지 및 오디오 처리 모듈 각각은 단독으로 또는 조합하여 이용되거나 또는 전혀 이용되지 않을 수도 있다.
비디오 및 오디오 신호는 신호의 개선 여부와 관계 없이 다른 화상 회의 장소 또는 인터넷으로 방송될 수 있다. 또한 그들은 나중에 시청하기 위하여 컴퓨터 판독 가능 매체에 저장될 수 있다.
상기의 집적 카메라 및 마이크로폰 어레이에 대한 주요 응용 예는 화상 회의 및 회의 기록이다. 마이크로폰 어레이를 전방향성 카메라와 집적함으로써, 필요한 비디오와 오디오 간의 교정(calibration)을 매우 단순화될 수 있고(정밀하게 제조된 카메라 및 마이크로폰 어레이는 교정을 필요로 하지 않는다), 단일 장치로 회의실로부터의 오디오 및 비디오 정보를 수집할 수 있다.
< 실시예 >
1.0 예시적인 운영 환경
본 발명의 바람직한 실시예에 대한 아래의 설명에서, 첨부된 도면을 참조하며, 도면은 본 발명이 실시될 수 있는 특정 실시예를 설명하기 위하여 도시된다. 다른 실시예를 이용할 수 있고 본 발명의 범위를 벗어나지 않고서 구조적인 변형을 가할 수 있음을 유의하여야 한다.
도 1은 본 발명이 구현될 수 있는 적당한 컴퓨팅 시스템 환경(100)의 예를 도시한다. 컴퓨팅 시스템 환경(100)은 적당한 컴퓨팅 환경의 단지 하나의 예이고 본 발명의 이용 또는 기능의 범위를 제한하기 위한 목적은 아니다. 컴퓨팅 환경(100)은 예시적인 운영 환경(100)에 도시된 구성 요소의 임의의 하나 또는 조합과 관련하여 어떤 의존성을 갖거나 요구 조건을 갖는다고 해석되어서는 안된다.
본 발명은 다수의 다른 범용 또는 특정 목적의 컴퓨팅 시스템 환경 또는 구성으로 실시될 수 있다. 본 발명과 함께 이용하기에 적당할 수 있는 종래의 컴퓨팅 시스템, 환경 및/또는 구성의 예는 퍼스널 컴퓨터, 서버 컴퓨터, 핸드-헬드(hand-held) 또는 랩탑 장치, 멀티프로세서 시스템, 마이크로프로세서 기반 시스템, 셋톱 박스, 프로그래머블 가전 제품(programmable consumer electronics), 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 상기 시스템 또는 장치 등을 포함하는 분산 컴퓨팅 환경을 포함하지만 이들에 한정되지는 않는다.
본 발명은 컴퓨터에 의하여 실행되는 프로그램 모듈과 같은 컴퓨터 실행 가능 명령어의 일반적인 환경에서 설명될 수 있다. 일반적으로, 프로그램 모듈은 특정 작업을 수행하거나 특정 추상 데이터 형식을 구현하는 루틴, 프로그램, 객체, 구성 요소, 데이터 구조 등을 포함한다. 또한 본 발명은 분산 컴퓨팅 환경에서 실시될 수 있는데, 그 분산 컴퓨팅 환경에서의 작업은 통신 네트워크를 통하여 연결된 원격 프로세싱 장치에 의하여 수행된다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 메모리 저장 장치를 포함하는 로컬 및 원격 컴퓨터 저장 매체 모두에 위치할 수 있다.
도 1을 참조하면, 본 발명을 구현하기 위한 예시적인 시스템은 컴퓨터(110) 형태의 범용 컴퓨팅 장치를 포함한다. 컴퓨터(110)의 구성 요소는 처리 장치(120), 시스템 메모리(130) 및 시스템 메모리를 포함하는 다양한 시스템 구성 요소를 처리 장치(120)에 연결하는 시스템 버스(121)를 포함하지만, 이들에 한정되지는 않는다. 시스템 버스(121)는 메모리 버스 또는 메모리 제어기, 주변 장치 버스 및 다양한 종류의 버스 아키텍처를 이용하는 로컬 버스를 포함하는 여러 종류의 버스 중 임의의 것일 수 있다. 예로서, 그러한 구조는 산업계 표준 구조(Industry Standard Architecture; ISA) 버스, 마이크로 채널 구조(Micro Channel Architecture; MCA) 버스, 강화된 ISA(EISA) 버스, 비디오 전자 공학 협회(Video Electronics Standards Association; VESA) 로컬 버스 및 "Mezzanine" 버스라고도 알려진 주변 장치 구성 요소 상호 연결(Peripheral Component Interconnect; PCI) 버스를 포함하나, 이에 제한되지는 않는다.
일반적으로 컴퓨터(110)는 다양한 종류의 컴퓨터 판독 가능 매체를 포함한다. 컴퓨터 판독 가능 매체는 컴퓨터(110)에 의해 액세스될 수 있는 임의의 이용 가능한 매체일 수 있고, 휘발성 및 비휘발성 매체, 착탈식 및 비착탈식 매체를 포함한다. 예로서, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있으며, 이에 제한되지는 않는다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 다른 데이터 등의 정보를 저장하기 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 착탈식 및 비착탈식 매체를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 비디오 디스크(DVD) 또는 다른 광 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 다른 자기 저장 장치, 또는 컴퓨터(110)에 의하여 액세스될 수 있는 소망의 정보를 저장하기 위하여 이용될 수 있는 임의의 다른 매체를 포함하지만, 이들에 한정되지는 않는다. 일반적으로 통신 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 반송파(carrier wave) 또는 다른 전송 메커니즘 등의 변조된 데이터 신호로 된 다른 데이터를 포함하고 임의의 정보 전달 매체를 포함한다. "변조된 데이터 신호"란 신호 내의 정보를 인코딩하기 위한 방법으로 설정되거나 변경된 특성을 하나 이상 포함하는 신호를 의미한다. 예로서, 통신 매체는 유선 네트워크 또는 직접 유선 접속(direct-wired connection) 등의 유선 매체 및 청각, RF, 적외선 및 다른 무선 매체 등의 무선 매체를 포함한다. 상기 매체 중 임의의 조합도 컴퓨터 판독 가능 매체의 범위 내에서 포함될 수 있다.
시스템 메모리(130)는 ROM(read only memory)(131) 및 RAM(random access memory)(132)과 같은 휘발성 및/또는 비휘발성 메모리 형태의 컴퓨터 저장 매체를 포함한다. 기동 시 동안과 같이 컴퓨터(110) 내에서 소자간의 정보 전송을 돕는 기본적인 루틴을 포함하는 기본 입력/출력 시스템(133)(BIOS)은 일반적으로ROM(131)에 저장된다. 일반적으로 RAM(132)은 처리 장치(120)에 의하여 즉시 액세스될 수 있거나 그리고/또는 현재 처리되고 있는 데이터 및/또는 프로그램 모듈을 포함한다. 예로서, 도 1은 운영 체제(134), 응용 프로그램(135), 다른 프로그램 모듈(136) 및 프로그램 데이터(137)를 도시한다.
또한 컴퓨터(110)는 다른 착탈식/비착탈식, 휘발성/비휘발성 컴퓨터 저장 매체를 포함할 수 있다. 예로서, 도 1은 비착탈식, 비휘발성 자기 매체로 판독 및 기록하는 하드디스크 드라이브(141), 착탈식, 비휘발성 자기 디스크(152)로 판독 및 기록하는 자기 디스크 드라이브(151) 및 CD ROM 또는 다른 광 매체 등의 착탈식, 비휘발성 광 디스크(156)로 판독 및 기록하는 광 디스크 드라이브(155)를 도시한다. 예시적인 운영 환경에서 이용될 수 있는 다른 착탈식/비착탈식, 휘발성/비휘발성 컴퓨터 저장 매체는 자기 테이프 카세트, 플래시 메모리 카드, DVD, 디지털 비디오 테이프, 고체 RAM(solid state RAM), 고체 ROM(solid state ROM) 등을 포함하지만, 이들에 한정되지는 않는다. 일반적으로 하드디스크 드라이브(141)는 인터페이스(140)와 같은 비착탈식 메모리 인터페이스를 통하여 시스템 버스(121)에 연결되고 자기 디스크 드라이브(151) 및 광 디스크 드라이브(155)는 일반적으로 인터페이스(150)와 같은 착탈식 메모리 인터페이스에 의하여 시스템 버스(121)에 연결된다.
상술하고 도 1에서 도시된 드라이브 및 그것의 관련 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 및 컴퓨터(110)용 다른 데이터의 저장 공간을 제공한다. 도 1에서, 예를 들어, 하드디스크 드라이브(141)는운영 체제(144), 응용 프로그램(145), 다른 프로그램 모듈(146) 및 프로그램 데이터(147)를 저장하는 것으로 도시된다. 이 구성 요소들은 운영 체제(134), 응용 프로그램(135), 다른 프로그램 모듈(136) 및 프로그램 데이터(137)와 동일하여도 좋고 달라도 좋다는 것을 유의하여야 한다. 운영 체제(144), 응용 프로그램(145), 다른 프로그램 모듈(146) 및 프로그램 데이터(147)는 최소한 그들이 다른 복사본이라는 것을 나타내기 위하여 다른 번호가 붙여져 있다. 사용자는 키보드(162) 및 흔히 마우스, 트랙볼(trackball) 또는 터치 패드라고 하는 포인팅 디바이스(161)와 같은 입력 장치를 통하여 컴퓨터(110)에 명령어 및 정보를 입력할 것이다. 다른 입력 장치(도시되지 않음)는 마이크로폰, 조이스틱, 게임 패드, 위성 접시, 스캐너 등을 포함할 수 있다. 이들 및 다른 입력 장치는 흔히 시스템 버스(121)에 연결되는 사용자 입력 인터페이스(160)를 통하여 처리 장치(120)에 연결되지만, 병렬 포트, 게임 포트 또는 범용 시리얼 버스(USB)와 같은 다른 인터페이스 및 버스 구조에 의하여 연결될 수도 있다. 또한 모니터(191) 또는 다른 종류의 디스플레이 장치는 비디오 인터페이스(190)와 같은 인터페이스를 통하여 시스템 버스(121)에 연결된다. 모니터에 추가해서, 컴퓨터는 또한 스피커(197) 및 프린터(196)와 같은 다른 주변 장치 출력 장치를 포함할 수 있고, 그들은 출력 주변 장치 인터페이스(195)를 통하여 연결될 수 있다. 본 발명에서 특히 중요하고, 연속적인 이미지(193)를 포착할 수 있는 (디지털/전자 스틸(electronic still) 또는 비디오 카메라, 또는 필름/사진 스캐너(film/photographic scanner)와 같은) 카메라(192)는 또한 퍼스널 컴퓨터(110)에 입력 장치로서 포함될 수도 있다. 또한, 단지 하나의 카메라가 도시되어 있지만, 다수의 카메라가 퍼스널 컴퓨터(110)에 대한 입력 장치로서 포함될 수 있다. 하나 이상의 카메라로부터의 이미지(193)는 적당한 카메라 인터페이스(165)를 통하여 컴퓨터(110)에 입력된다. 이 인터페이스(194)는 시스템 버스(121)에 연결되어서, 이미지가 RAM(132) 또는 컴퓨터(110)와 관련된 다른 데이터 저장 장치 중의 하나로 라우팅되어 저장되도록 한다. 그러나, 이미지는 카메라(192)를 사용하지 않고도 임의의 상기한 컴퓨터 판독 가능 매체로부터 컴퓨터(110)로 입력될 수 있다.
컴퓨터(110)는 원격 컴퓨터(180)와 같은 하나 이상의 원격 컴퓨터에 대한 논리적 접속을 이용하여 네트워킹된 환경에서 동작할 수 있다. 원격 컴퓨터(180)는 퍼스널 컴퓨터, 서버, 라우터, 네트워크 PC, 피어 디바이스(peer device) 또는 다른 일반적인 네트워크 노드일 수 있고, 일반적으로 컴퓨터(110)에 대해서 상기한 요소 중 다수 또는 모두를 포함할 수 있지만, 단지 메모리 저장 장치(181)만이 도 1에 도시되어 있다. 도 1에 도시된 논리적 접속은 근거리 통신망(LAN)(171) 및 원거리 통신망(WAN)(173)을 포함하지만, 다른 네트워크를 포함할 수도 있다. 그러한 네트워킹 환경은 사무실, 기업형 컴퓨터 네트워크, 인트라넷 및 인터넷에서 흔하다.
LAN 네트워킹 환경에서 이용될 때, 컴퓨터(110)는 네트워크 인터페이스 또는 어댑터(170)를 통하여 LAN(171)에 연결된다. WAN 네트워킹 환경에서 이용될 때, 컴퓨터(110)는 일반적으로 모뎀(172) 또는 인터넷과 같은 WAN(173) 상으로 통신을 확립하기 위한 다른 수단을 포함한다. 내장형 또는 외장형일 수 있는 모뎀(172)은사용자 입력 인터페이스(160) 또는 다른 적당한 메커니즘을 통하여 시스템 버스(121)에 연결될 수 있다. 네트워킹된 환경에서, 컴퓨터(110)에 대해서 도시된 프로그램 모듈 또는 그것의 일부는 원격 메모리 저장 장치에 저장될 수 있다. 예로서, 도 1은 원격 응용 프로그램(185)이 메모리 장치(181) 상에 상주하는 것으로 도시한다. 도시된 네트워크 접속은 예시적이고 컴퓨터들 간에 통신 링크를 확립하기 다른 수단이 이용될 수 있음을 유의하여야 한다.
이제까지 예시적인 운영 환경에 대하여 설명을 하였고, 본 상세한 설명의 나머지 부분에서는 본 발명을 구현하는 프로그램 모듈에 대하여 설명할 것이다.
3.0 집적 전방향성 카메라 및 마이크로폰 어레이
이 구역에서는 음향학적으로 투명한 막대를 통하여 연결된 집적 전방향성 카메라 및 마이크로폰 어레이에 대하여 설명한다.
3.1 개관
본 발명은 전방향성 카메라를 마이크로폰 어레이와 어떻게 최적으로 집적하는지에 관하여 개시한다. 본 설계의 목적은 아래와 같다.
1. 마이크로폰 어레이의 설계는 화자로부터 어레이의 모든 마이크로폰으로 명확한 경로를 제공하여야 한다. 명확한 경로가 가능하지 않다면, 사용된 임의의 음원 위치 측정 및 빔-형성 알고리즘은 매우 어렵게 되고 저하된 결과를 제공한다.
2. 마이크로폰 어레이 설계는 표면으로부터의 음향 반사를 막기 위하여 가능하면 탁상 또는 다른 표면에 근접하게 마이크로폰을 위치시켜야 하는데, 표면으로부터의 음향 반사는 임의의 음원 위치 측정 및 빔-형성 결과의 성능을 저하시킨다.
3. 카메라 어레이는 회의 참가자의 거의 정면 모습을 제공하기 위하여 높여져 있어야 한다. 카메라 어레이는 눈에 거슬리지 않을 정도로 충분히 작아야 한다.
4. 마이크로폰 어레이 구조(마이크로폰들 간의 거리 및 위치)는 오디오 처리 알고리즘이 작동 주파수 대역에서 화자로 향한 우수한 빔 형상을 획득하도록 하여, 우수한 품질의 음성을 제공하여야 한다.
3.2 집적 설계
집적 카메라 및 마이크로폰 어레이는 마이크로폰 베이스를 카메라 어레이로 연결하는 실린더형 폴(pole)을 이용한다. 이 폴은 사람의 음성 주파수 영역(50-4000Hz)에 대하여 음향학적으로 투명하다.
도 2에 도시된 바와 같이, 집적 카메라 및 마이크로폰 어레이(202)는 회의실 탁자(204)의 중앙에 위치하도록 한다.
그 설계는 임의의 주어진 화자 또는 음원로부터 모든 마이크로폰으로 명확한 경로를 제공하고 탁자로부터의 음향 반사에 의하여 유발된 다중 경로 문제점을 회피하기 위하여 마이크로폰 어레이를 탁자의 상부에 가깝게 위치시킨다.
또한, 그 설계는 탁상으로부터 카메라를 올려서, 모든 회의 참가자의 정면 또는 거의 정면 모습을 제공한다.
집적 카메라 및 마이크로폰 어레이는 단지 한 방향으로부터의 음성을 필터링함으로써 화자의 음질을 향상시키기 의하여 이용될 수 있는 우수한 빔 형상을 보장한다. 또한, 카메라 및 마이크로폰의 집적 성질은 반복적으로 교정(calibration)을 할 필요성을 제거하기 때문에 유용하다. 카메라 및 마이크로폰은 단일 장치로서 집적되기 때문에, 단지 하나의 초기 교정만이 필요하다. 또한, 집적 카메라 및 마이크로폰은 작고 고정되게 설계될 수 있기 때문에, 그것은 별개의 케이블 및 회의실 탁자에 추가적인 공간을 요구하는 두 개의 별개의 카메라 및 마이크로폰 구성 요소보다 훨씬 덜 방해적이다.
3.3 시스템 구성 요소
집적 전방향성 카메라 및 마이크로폰 어레이의 일 실시예가 도 3a 및 도 3b에 도시되어 있다. 이 설계에서의 구성 요소는 전방향성 카메라(302), 실린더(304), 마이크로폰 베이스(306), 마이크로폰(308), 마이크로폰 프리앰프(preamplifier)(310) 및 아날로그-디지털(A/D) 변환기(도시되지 않음)를 포함한다.
3.3.1 전방향성 카메라
다양한 종류의 전방향성 카메라 기술이 존재한다. 이들은 다수의 비디오 센서가 연속 방식(back-to-back fashion)으로 단단하게 채워진 하나의 카메라 형태를 포함한다. 다른 전방향성 카메라 형태는 360도로 광선(light ray)을 포착하는 쌍곡선 렌즈를 구비한 단일 비디오 센서를 이용한다. 본 발명의 집적 카메라 및 마이크로폰 어레이 설계는 임의의 그러한 전방향성 카메라를 이용할 수 있다. 카메라 헤드(302)는 회의실의 탁자 또는 다른 표면 위에 놓여질 때 방해가 되지 않도록 충분히 작은 것이 바람직하다.
다중 센서 카메라 구성을 이용하면, 복수의 카메라 또는 비디오 센서를 이용할 수 있다. 바람직한 개수는 8이다. 바람직하게는 이들 센서는 각 센서의 투영 중심이 동일한 각거리(angular distance)로 떨어지도록 연속 방식으로 배치되어야 한다. 예를 들어, 8개의 센서를 이용하면, 각 센서는 근접한 다른 센서와 45도의 각을 이루어야 한다. 그러나, 다른 거리에서 이미지를 포착하는 것이 필요하다면 다른 렌즈 및 다른 카메라 위치를 이용하는 것도 가능하다. 예를 들어, 사각형 또는 타원형 모양의 탁자인 경우에는 그러할 것이다. 더 길고 더 좁은 관찰 영역을 갖는 렌즈는 더 장거리 이미지를 위하여 이용될 수 있고, 더 넓고 더 짧은 관찰 영역을 갖는 렌즈는 더 단거리 이미지를 포착하기 위하여 이용될 수 있다. 이러한 경우에는 카메라 센서는 카메라 헤드 주위에 등간격으로 배치되지 않을 것이다. 더 넓은 관찰 영역을 갖는 카메라 센서는 더 좁은 관찰 영역을 갖는 카메라 센서로부터 더 멀리 위치될 수 있다. 이와 달리, (주어진 상황에 따라 회전하고 확대 및 축소하는) 가변적인 관찰 영역을 갖는 카메라도 이용될 수 있다.
도 4에 도시된 본 발명의 일 실시예는 작은 다중 센서 설계를 이용하는데, 여기서 다수의 소형 카메라 센서(402)가 둥근 카메라 헤드(404) 주위에 연속 방식으로 구성된다. 바람직하게는 카메라(404)의 밑면은 소리 흡수 물질을 포함하고 있어서 카메라가 있는 책상으로부터 마이크로폰으로 소리가 반사되는 것을 막는다. 이 실시예에서는 8개의 카메라 센서를 사용한다. 카메라 센서가 연속 방식으로 단단하게 채워진 이 작은 설계는 이미지 스티칭을 향상시킨다. 이 실시예에서, 카메라 헤드(404)는 직경이 약 50mm이고, 카메라 헤드를 베이스에 연결하는 실린더(406)는 높이가 약 10인치이다. 모든 회의 참가자의 정면 모습을 얻기 위하여 카메라(404)를 이 높이에 위치시킨다. 이와 달리, 카메라 헤드(404)는 이것보다 더 낮을 수 있고 카메라 센서(402)는 약간 위로 향할 수 있다. 또한 이것은 카메라를 약간 눈에 거슬리게 한다.
3.3.2 실린더
도 3a 및 3b에 도시된 실시예를 참조하면, 전방향성 카메라(302)는 바람직하게는 속이 빈 실린더(304)에 부착되어 있고, 그 실린더(304)는 마이크로폰 베이스(306)에 부착되어 있다. 실린더의 직경(D1)은 실린더(304)를 의도된 용도에 대응하는 주파수에 대하여 음향학적으로 투명하게 만들 정도로 충분히 얇아야 한다. 카메라 케이블을 실린더(304)를 통해서 라우팅하여, 어떤 추가적인 음향학적인 장애물을 부가하지 않는 것이 바람직하다. 실린더의 높이 H1은 회의실 탁자 주변에 착석하고 있는 모든 사람들의 정면 모습을 제공할 수 있을 정도로 충분히 높아야하지만, 카메라가 눈에 거슬릴 정도로 높지는 않아야 한다. 또한 실린더 높이는 최적으로 조절될 수 있다. 예를 들어, 화상 회의 시 실린더의 높이는 가변적인 책상 및 참가자 키에 따라 조절될 수 있다.
도 3a 및 3b에 도시된 실시예를 다시 참조하면, 실린더(304)는 2cm 이하의 직경 D1을 가지고 있어서, 사람의 음성의 주파수에 대응하는 약 50-4000Hz 범위의 오디오 주파수가 임의의 화자로부터 본질적으로 방해받지 않고서 실린더를 통하여 베이스의 모든 마이크로폰으로 전달되도록 한다. 이 실시예에서 실린더의 높이 H1은 14cm이다.
3.3.3 마이크로폰 베이스
일반적으로, 마이크로폰 베이스는 마이크로폰, 마이크로폰 프리앰프 및 A/D 변환기를 지지한다. 마이크로폰 베이스는 실린더에 연결되고, 카메라 케이블에 대한 접속 출구를 제공한다. 마이크로폰 베이스는 탁상과 마이크로폰 간의 거리를 최소화하기 위하여 낮은 형태이다. 베이스는 각 마이크로폰으로부터 참가자로의 직접 경로를 허용한다.
집적 카메라 및 마이크로폰 어레이의 실시예가 도 3a 및 3b에 도시되어 있다. 마이크로폰 베이스(306)의 직경 D3는 카메라 헤드(302)의 직경 D2보다 넓다. 이것은 쉽게 쓰러지지 않는 안정성을 지닌 집적 카메라 및 마이크로폰 어레이를 제공한다. 베이스의 높이 H3는 상대적으로 작다. 바람직하게는 이 치수는 다중 경로 문제를 피하기 위하여 내재된 마이크로폰(308)을 탁자 표면에 충분히 근접하게 유지시키길 정도로 충분히 낮지만, 마이크로폰(308)이 베이스에 포함될 수 있을 정도로 충분히 높은 것이 좋다. 이 실시예에 대해서, D3는 16cm이고, H3는 1.5cm, H2는 6cm, D2는 10cm이다.
3.3.4 마이크로폰
사용된 마이크로폰은 전방향성 또는 단방향성일 수 있지만, 전방향성 마이크로폰이 모든 음성 각도에 대하여 균일한 응답을 주기 때문에 바람직하다. 필요한 마이크로폰의 최소 개수는 3이지만, 본 발명의 실시예는 전체적인 오디오 시스템의 향상된 음원 위치 측정 정확도, 더 우수한 빔-형성 및 견고성을 위하여 8개를 이용한다.
탁자의 잡음을 감소시키기 위하여, 마이크로폰은 고무 케이싱에 탑재될 수있으며, 방음재가 동일한 목적을 위하여 마이크로폰 아래에 위치될 수 있다.
도 3a 및 3b에 도시된 실시예를 다시 참조하면, 마이크로폰(308)은 평면의 마이크로폰 베이스(306) 상의 원 주위에 등간격으로 배된다. 이 실시예에서는 8개의 마이크로폰(308)을 사용한다. 일반적으로, 마이크로폰을 더 많이 사용할수록 전방향성 오디오 커버리지 및 신호 대 잡음 비는 향상된다. 그러나, 더 많은 수의 마이크로폰을 사용하면 비용과 복잡도가 증가하여 그 효용성이 반감된다. 또한, 마이크로폰이 많아질수록 오디오 신호의 처리는 더 복잡해진다. 도 3a 및 3b의 실시예에서, 실린더(306)의 중심으로부터 각 마이크로폰(308)의 중심까지의 거리 D5는 7cm이다.
3.3.5 마이크로폰 프리앰프, A/D 변환기
바람직하게는 마이크로폰 프리앰프(310) 및 아날로그-디지털(A/D) 변환기(도시되지 않음)는 도 3b에 도시된 바와 같이 마이크로폰 베이스(306)로 집적된다. 이 실시예에서, 프리앰프(310)의 폭 D4는 5.901cm이다. 마이크로폰 프리앰프는 후속하는 A/D 변환기용 신호 진폭을 정규화하기 위하여 마이크로폰으로부터의 신호를 증폭한다. A/D 변환기는 카메라로부터의 아날로그 신호를 디지털 신호로 변환한다.
이 실시예에서, 마이크로폰으로부터의 신호의 샘플링은 서로 1마이크로 초 내에서 동기화되는데, 이는 음원 위치 측정 및 빔-형성을 용이하게 하기 위함이다.
3.4 프라이버시 모드
카메라는 렌즈 보호막을 이용할 수 있고, 그것은 정상 작동 모드에서는 열려있고 프라이버시 모드에서는 닫혀있다. 이와 달리, 카메라 센서용 셔터가 꺼질 수 있고 또는 카메라가 프라이버시 모드에서 카메라를 끄기 위하여 전자적으로 고립될 수 있다. 바람직하게는 마이크로폰도 또한 프라이버시 모드에 들어갈 때 꺼진다. 기록 동안, 카메라의 상부에 있는 표시등은 사용자에게 카메라가 작동 상태임을 알게 한다. 프라이버시 모드가 작동하면 표시등은 꺼진다.
4.0 모듈식 특성으로 인한 대안적인 실시예
집적 전방향성 카메라 및 마이크로폰 설계의 다양한 다른 실시예가 가능한다. 이것은 부분적으로 본 시스템의 모듈식 특성에 기인한다.
예를 들어, 다양한 카메라 제품을 이용할 수 있다. 일 실시예에서, 360도 카메라 커버리지를 달성하기 위하여 다수의 비디오 센서를 이용하는 전방향성 카메라를 이용한다. 이와 달리, 본 발명의 다른 실시예에서는, 파노라마식 커버리지를 달성하기 위하여 360도로 빛을 포착하는 쌍곡선 렌즈 및 하나의 비디오 센서를 사용하는 전방향성 카메라를 이용한다. 또한, 이들 카메라 중 하나는 단독으로 사용될 수 있고, 회의 참가자의 정면 모습을 제공하기 위하여 음향학적으로 투명한 실린더형 막대 위에 올려질 수 있다. 또는 카메라 중 하나는 마이크로폰 어레이와 집적될 수 있다. 이와 달리, 다른 전방향성 카메라 설계를 실린더형 막대 및/또는 마이크로폰 어레이와 함께 이용할 수도 있다.
마찬가지로, 다양한 마이크로폰 구성을 이용할 수 있다. 일 실시예에서 마이크로폰 어레이는 방안의 임의의 화자에 대한 명확한 경로를 달성하기 위하여 가능한한 탁자에 근접하고 원 주의에 등 간격으로 배치된 마이크로폰으로 이루어진다. 그러나, 음향학적으로 투명한 막대를 이용하여 카메라와 통합될 수 있는 다른 마이크로폰 구성도 가능하다. 이와 달리, 최적의 360도 음향 커버리지를 달성하기 위하여 어떠한 카메라도 없이 상기한 마이크로폰 어레이를 이용할 수 있다. 특히 이 커버리지는 다중 경로 문제가 최소화되거나 제거되기 때문에 음원 위치 측정 및 빔-형성에서 유용하다.
집적 카메라 및 마이크로폰 어레이의 일 실시예에서, 이미지 스티칭 및 압축은 PC에서 수행된다. 다른 실시예는 필드 프로그래머블 게이트 어레이(FPGA) 또는 다른 게이트 어레이를 구비한 카메라에서 이미지 스티칭 및 압축을 수행한다. 이 설계는 카메라 및 PC와 인터페이스하기 위하여 USB 인터페이스를 이용하고, 이미지 압축 및 회의를 기록/방송하는 것과 같은 다른 작업을 수행하도록 PC에 더 많은 CPU 사이클을 허용한다.
5.0 예시적인 실시예
본 발명의 카메라(502) 및 마이크로폰 어레이(504)를 이용하는 일 실시예가 도 5에 도시되어 있다. 카메라(502)의 이미지 출력 및 마이크로폰 어레이(504)의 오디오 출력은 아날로그-디지털 변환기(504)를 통하여 컴퓨터(504)로 라우팅된다. 컴퓨터(508)는 이미지 및 오디오 입력을 강화하고 이용하기 위하여 다양한 기능을 수행한다. 예를 들어, 파노라마식 필터 모듈(510)은 전방향성 카메라(502)의 다양한 센서에 의하여 감지된 이미지를 스티칭한다. 또한, 이미지 데이터를 (인터넷과 같은) 네트워크 상으로의 방송(514)에 있어서 더 호환 가능하게 만들기 위하여 이미지 데이터를 압축 모듈(512)에 의하여 압축을 하거나 컴퓨터 판독 가능매체(516)에 (바람직하게는 분배기(520)를 통하여) 저장할 수 있다. 선택에 따라, 카메라 관리(524)를 향상시키기 위하여 사람 검출기/추적기 모듈(522)에 이미지 데이터를 입력할 수 있다. 예를 들어, 화자를 포함하는 이미지/비디오의 일부분이 확인되어 오디오 신호와 관련될 수 있으며, 화자 쪽으로 향한 카메라/센서에 의하여 포착된 이미지를 방송하거나 디스크에 저장할 것이다.
오디오 입력은 다양한 목적을 위하여 이용될 수 있다. 예를 들어, 화자로부터의 오디오를 고립시키기 위하여 오디오를 음원 위치 측정 모듈(526)에 입력할 수 있다. 또한, 오디오의 빔 형상을 향상시키기 위하여 컴퓨터(508)에서 빔-형성 모듈(528)을 사용할 수 있다. 또한 방의 배경 잡음과는 반대로 화자로부터의 오디오 신호를 더 잘 포착하도록 이득을 조절하고 잡음을 저감함으로써 신호 대 잡음 비를 향상시키기 위하여 잡음 감소 및 자동 이득 제어 모듈(530)을 사용할 수 있다.
상기한 바와 같이, 비디오 및 오디오 신호는 다른 화상 회의 장소 또는 인터넷으로 방송될 수 있다. 또한 그들은 나중에 시청하기 위하여 컴퓨터 판독 가능 매체에 저장될 수 있다.
본 발명의 상기 상세한 설명은 설명의 목적으로 제시되었다. 이것은 본 발명을 개시된 정확한 형태로 제한하기 위한 의도는 아니다. 예를 들어, 상기한 바와 같은 집적 카메라 및 마이크로폰 어레이의 실시예는 감시 시스템에 적용될 수 있다. 상기의 교시에 근거하여 다양한 수정 및 변형이 가능하다. 본 발명의 범위는 이 상세한 설명에 의해서는 제한되지 않지만, 첨부된 청구항에 의하여는 제한될 수 있다.
본 발명은 사람의 음성의 주파수 영역(50-4000Hz)에 대해서 음향학적으로 투명할 정도로 충분히 얇고 카메라 어레이를 마이크로폰 어레이로 연결하는 실린더형 막대로 이루어지기 때문에, 음성 회절 및 셰도잉이 제거된다.
또한 본 발명의 집적 카메라 및 마이크로폰 어레이는 화상 회의에 대하여 360도 카메라를 이용하고 360도 카메라는 회의실 탁자의 중심에 위치할 수 있어서, 일반적인 화상 회의 시스템과 비교하여 참가자의 우수한 카메라 시야를 제공할 수 있다.

Claims (54)

  1. 비디오 이미지 데이터를 포착하는 하나 이상의 카메라;
    오디오 신호를 포착하는 마이크로폰 어레이; 및
    상기 하나 이상의 카메라를 상기 마이크로폰 어레이로 연결하는 실린더 - 상기 실린더는 사람의 음성의 주파수 영역에서 음향학적으로 투명함 -
    를 포함하는 것을 특징으로 하는 오디오 및 비디오 데이터 포착 시스템.
  2. 제1항에 있어서, 상기 하나 이상의 카메라는 360도에 걸쳐 이미지를 포착하는 것을 특징으로 하는 오디오 및 비디오 데이터 포착 시스템.
  3. 제1항에 있어서, 마이크로폰 어레이 베이스를 더 포함하고, 상기 마이크로폰은 상기 마이크로폰 어레이 베이스에 탑재되는 것을 특징으로 하는 오디오 및 비디오 데이터 포착 시스템.
  4. 제3항에 있어서, 상기 마이크로폰 어레이 베이스의 높이는 임의의 표면으로부터 상기 마이크로폰 어레이에 의하여 수신되는 음향 반사를 최소화하도록 상기 마이크로폰을 위치시킬 정도로 충분히 낮은 것을 특징으로 하는 오디오 및 비디오 데이터 포착 시스템.
  5. 제1항에 있어서, 상기 실린더가 음향학적으로 투명한 주파수 영역은 50-4000헤르츠인 것을 특징으로 하는 오디오 및 비디오 데이터 포착 시스템.
  6. 제1항에 있어서, 상기 오디오 신호는 컴퓨터로 입력되고, 상기 컴퓨터는 음원 위치 측정을 위하여 상기 오디오 신호를 이용하며, 상기 음원 위치 측정은 상기 오디오 신호를 발생하는 음향의 방향을 결정하는 것을 특징으로 하는 오디오 및 비디오 데이터 포착 시스템.
  7. 제1항에 있어서, 상기 오디오 신호는 컴퓨터로 입력되고, 상기 컴퓨터는 빔-형성을 위하여 상기 오디오 신호를 이용하며, 상기 빔-형성은 다른 모든 방향으로부터의 음향을 필터링함으로써 한 방향으로부터의 음향의 음질을 개선하는 것을 특징으로 하는 오디오 및 비디오 데이터 포착 시스템.
  8. 제1항에 있어서, 상기 오디오 신호는 컴퓨터로 입력되고, 상기 컴퓨터는 사람 검출 및 추적 알고리즘을 이용하여 상기 비디오 이미지에서 포착된 사람을 정확하게 검출하고 상기 사람의 상기 비디오 이미지 데이터를 상기 사람이 말함으로써 생성되는 상기 오디오 신호와 관련시키는 것을 특징으로 하는 오디오 및 비디오 데이터 포착 시스템.
  9. 제1항에 있어서, 상기 비디오 이미지 데이터는 컴퓨터로 입력되고, 상기 컴퓨터는 비디오 이미지 데이터를 이용하여 이미지들을 스티칭하는 것을 특징으로 하는 오디오 및 비디오 데이터 포착 시스템.
  10. 제1항에 있어서, 상기 마이크로폰 어레이의 마이크로폰은 전방향성인 것을 특징으로 하는 오디오 및 비디오 데이터 포착 시스템.
  11. 제1항에 있어서, 상기 마이크로폰 어레이의 마이크로폰은 단방향성인 것을 특징으로 하는 오디오 및 비디오 데이터 포착 시스템.
  12. 제1항에 있어서, 상기 마이크로폰 어레이는 3개의 마이크로폰을 포함하는 것을 특징으로 하는 오디오 및 비디오 데이터 포착 시스템.
  13. 제1항에 있어서, 상기 마이크로폰 어레이는 8개의 마이크로폰을 포함하는 것을 특징으로 하는 오디오 및 비디오 데이터 포착 시스템.
  14. 제1항에 있어서, 상기 마이크로폰 어레이는 평면적인 마이크로폰 베이스의 주변의 원에 등 간격으로 배치된 복수의 마이크로폰을 포함하는 것을 특징으로 하는 오디오 및 비디오 데이터 포착 시스템.
  15. 제14항에 있어서, 적어도 하나의 마이크로폰은 외부 음향 반사로부터 보호하기 위하여 고무 케이싱에 탑재되는 것을 특징으로 하는 오디오 및 비디오 데이터 포착 시스템.
  16. 제14항에 있어서, 적어도 하나의 마이크로폰 아래에 방음재를 설치함으로써 외부 음향 반사로부터 보호하는 것을 특징으로 하는 오디오 및 비디오 데이터 포착 시스템.
  17. 제1항에 있어서, 상기 카메라는 렌즈 덮개를 더 포함하고, 상기 렌즈 덮개는 정상 작동 모드에서는 올려져 있고, 프라이버시 모드에서는 내려져 있는 것을 특징으로 하는 오디오 및 비디오 데이터 포착 시스템.
  18. 제17항에 있어서, 상기 마이크로폰은 상기 카메라가 상기 프라이버시 모드로 들어갈 때 꺼지는 것을 특징으로 하는 오디오 및 비디오 데이터 포착 시스템.
  19. 제1항에 있어서, 카메라의 표시등은 상기 카메라가 작동중일 때 켜지는 것을 특징으로 하는 오디오 및 비디오 데이터 포착 시스템.
  20. 제1항에 있어서, 상기 오디오 신호는 네트워크 상으로 전송되는 것을 특징으로 하는 오디오 및 비디오 데이터 포착 시스템.
  21. 제1항에 있어서, 상기 오디오 신호는 컴퓨터 판독 가능 매체에 저장되는 것을 특징으로 하는 오디오 및 비디오 데이터 포착 시스템.
  22. 제1항에 있어서, 상기 비디오 이미지 데이터는 네트워크 상으로 전송되는 것을 특징으로 하는 오디오 및 비디오 데이터 포착 시스템.
  23. 제1항에 있어서, 상기 비디오 이미지 데이터는 컴퓨터 판독 가능 매체에 저장되는 것을 특징으로 하는 오디오 및 비디오 데이터 포착 시스템.
  24. 제1항에 있어서, 상기 비디오 신호는 1394 버스를 사용하여 컴퓨터로 전송되는 것을 특징으로 하는 오디오 및 비디오 데이터 포착 시스템.
  25. 제1항에 있어서, 상기 오디오 신호는 아날로그 케이블을 이용하여 컴퓨터로 전송되는 것을 특징으로 하는 오디오 및 비디오 데이터 포착 시스템.
  26. 제1항에 있어서, 상기 카메라는 IEEE 1394 카메라인 것을 특징으로 하는 오디오 및 비디오 데이터 포착 시스템.
  27. 전자 회의 및 회의 기록용 비디오 및 오디오를 포착하는 방법에 있어서,
    전방향성 카메라로 회의에 참석한 사람들의 이미지를 포착하는 단계;
    마이크로폰 어레이로 상기 회의에서 발생하는 음성의 오디오 신호를 포착하는 단계 - 상기 마이크로폰 어레이는 음향학적으로 투명한 막대에 의하여 상기 전방향성 카메라로 연결되는 베이스에 수용됨 -
    를 포함하는 것을 특징으로 하는 비디오 및 오디오 포착 방법.
  28. 제27항에 있어서, 상기 마이크로폰 어레이는 탁자 상에 배치되고, 상기 회의의 상기 사람들은 상기 탁자 주위에 착석하는 것을 특징으로 하는 비디오 및 오디오 포착 방법.
  29. 제28항에 있어서, 상기 마이크로폰 어레이는 상기 마이크로폰 어레이에 의하여 수신되는 상기 탁자로부터의 음향 반사를 최소화하기 위하여 가능한 한 상기 탁자에 근접하는 것을 특징으로 하는 비디오 및 오디오 포착 방법.
  30. 제27항에 있어서, 상기 마이크로폰 어레이는 3개 이상의 마이크로폰을 포함하는 것을 특징으로 하는 비디오 및 오디오 포착 방법.
  31. 제30항에 있어서, 상기 마이크로폰 어레이는 상기 마이크로폰 베이스의 주변의 원에 등 간격으로 배치되는 마이크로폰을 포함하는 것을 특징으로 하는 비디오 및 오디오 포착 방법.
  32. 제27항에 있어서, 상기 전방향성 카메라는 다수의 비디오 센서를 포함하는 것을 특징으로 하는 비디오 및 오디오 포착 방법.
  33. 제32항에 있어서, 상기 비디오 센서는 상기 원의 주위에 등 간격으로 배치되는 것을 특징으로 하는 비디오 및 오디오 포착 방법.
  34. 제27항에 있어서, 상기 전방향성 카메라는 360도에 걸쳐 광선을 포착하는 쌍곡선 렌지를 구비한 단일 비디오 센서를 포함하는 것을 특징으로 하는 비디오 및 오디오 포착 방법.
  35. 제27항에 있어서, 상기 음향학적으로 투명한 막대는 속이 빈 것을 특징으로 하는 비디오 및 오디오 포착 방법.
  36. 제27항에 있어서, 상기 음향학적으로 투명한 막대는 마이크로폰 베이스에 부착되고 카메라 케이블은 음향학적으로 투명한 막대를 통과하기 때문에 상기 케이블은 음향학적 장벽을 일으키지 않는 것을 특징으로 하는 비디오 및 오디오 포착 방법.
  37. 제27항에 있어서, 상기 음향학적으로 투명한 막대의 외경은 2cm 이하인 것을 특징으로 하는 비디오 및 오디오 포착 방법.
  38. 제27항에 있어서, 상기 음향학적으로 투명한 막대는 50 내지 4000Hz의 오디오 주파수가 화자로부터 마이크로폰 어레이의 모든 마이크로폰으로 실질적으로 방해받지 않은 채 상기 음향학적으로 투명한 막대를 통과하는 것을 허용할 수 있는 직경을 갖는 것을 특징으로 하는 비디오 및 오디오 포착 방법.
  39. 제27항에 있어서, 상기 막대 높이는 조절 가능한 것을 특징으로 하는 비디오 및 오디오 포착 방법.
  40. 전방향성 카메라;
    최적의 카메라 커버리지를 제공하기 위하여 상기 카메라를 높이는 음향학적으로 투명한 막대; 및
    마이크로폰 어레이
    를 포함하는 것을 특징으로 하는 집적 전방향성 카메라 및 마이크로폰 어레이.
  41. 제40항에 있어서, 상기 전방향성 카메라는 360도 카메라 커버리지를 달성하기 위하여 다수의 비디오 센서를 사용하는 것을 특징으로 하는 집적 전방향성 카메라 및 마이크로폰 어레이.
  42. 제40항에 있어서, 상기 전방향성 카메라는 파노라마식 커버리지를 달성하기 위하여 360도로 빛을 포착하는 쌍곡선 렌즈 및 하나의 비디오 센서를 사용하는 것을 특징으로 하는 집적 전방향성 카메라 및 마이크로폰 어레이.
  43. 제40항에 있어서, 상기 음향학적으로 투명한 실린더형 막대는 탁자 주변에 착석한 사람들의 정면 모습을 제공하기 위하여 상기 카메라를 높이는 것을 특징으로 하는 집적 전방향성 카메라 및 마이크로폰 어레이.
  44. 제40항에 있어서, 상기 마이크로폰 어레이는 원의 주위에 등 간격으로 배치된 복수의 마이크로폰을 포함하는 것을 특징으로 하는 집적 전방향성 카메라 및 마이크로폰 어레이.
  45. 제40항에 있어서, 상기 마이크로폰 어레이는 표면으로부터의 음향 반사를 최소화하기 위하여 상기 표면에 가능한 한 근접하도록 상기 표면 상에 배치되는 것을 특징으로 하는 집적 전방향성 카메라 및 마이크로폰 어레이.
  46. 제41항에 있어서, 더 길고 더 좁은 관찰 영역을 갖는 비디오 센서는 더 장거리의 이미지를 포착하기 위하여 사용되고, 더 넓고 더 짧은 관찰 영역을 갖는 비디오 센서는 더 단거리의 이미지를 포착하기 위하여 사용되는 것을 특징으로 하는 집적 전방향성 카메라 및 마이크로폰 어레이.
  47. 평면적인 마이크로폰 베이스의 주변의 원에 등간격으로 배치된 복수의 마이크로폰 어레이를 포함하고,
    상기 마이크로폰 베이스는 상기 마이크로폰 베이스가 놓여있는 임의의 표면으로부터 상기 마이크로폰 어레이에 의하여 수신되는 음향 반사를 최소화하도록 상기 마이크로폰 어레이를 배치할 수 있을 정도록 충분히 낮은 것을 특징으로 하는 전방향성 마이크로폰 어레이.
  48. 제47항에 있어서, 상기 복수의 마이크로폰 어레이에 의하여 포착된 오디오 신호는 컴퓨터로 입력되고, 상기 컴퓨터는 음원 위치 측정을 위하여 상기 오디오 신호를 이용하며, 상기 음원 위치 측정은 상기 오디오 신호를 발생하는 음향의 방향을 결정하는 것을 특징으로 하는 전방향성 마이크로폰 어레이.
  49. 제47항에 있어서, 상기 복수의 마이크로폰에 의하여 포착된 오디오 신호는 컴퓨터로 입력되고, 상기 컴퓨터는 빔-형성을 위하여 상기 오디오 신호를 이용하며, 상기 빔-형성은 다른 모든 방향으로부터의 음향을 필터링함으로써 한 방향으로부터의 음향의 음질을 개선하는 것을 특징으로 하는 전방향성 마이크로폰 어레이.
  50. 제47항에 있어서, 상기 마이크로폰 어레이의 마이크로폰은 전방향성인 것을 특징으로 하는 전방향성 마이크로폰 어레이.
  51. 제47항에 있어서, 상기 마이크로폰 어레이의 마이크로폰은 단방향성인 것을 특징으로 하는 전방향성 마이크로폰 어레이.
  52. 제47항에 있어서, 상기 마이크로폰 어레이는 8개의 마이크로폰을 포함하는 것을 특징으로 하는 전방향성 마이크로폰 어레이.
  53. 제47항에 있어서, 적어도 하나의 마이크로폰은 외부 음향 반사로부터 보호하기 위하여 고무 케이싱에 탑재되는 것을 특징으로 하는 전방향성 마이크로폰 어레이.
  54. 제47항에 있어서, 적어도 하나의 마이크로폰 아래에 방음재를 설치함으로써 외부 음향 반사로부터 보호하는 것을 특징으로 하는 전방향성 마이크로폰 어레이.
KR1020030040457A 2002-06-27 2003-06-21 전방향성 카메라 및 마이크로폰 어레이에 관한 집적 설계 KR100960781B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/184,499 US7852369B2 (en) 2002-06-27 2002-06-27 Integrated design for omni-directional camera and microphone array
US10/184,499 2002-06-27

Publications (2)

Publication Number Publication Date
KR20040002639A true KR20040002639A (ko) 2004-01-07
KR100960781B1 KR100960781B1 (ko) 2010-06-01

Family

ID=29717965

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030040457A KR100960781B1 (ko) 2002-06-27 2003-06-21 전방향성 카메라 및 마이크로폰 어레이에 관한 집적 설계

Country Status (8)

Country Link
US (1) US7852369B2 (ko)
EP (1) EP1377041B1 (ko)
JP (1) JP4252377B2 (ko)
KR (1) KR100960781B1 (ko)
CN (1) CN1479525B (ko)
AT (1) ATE377326T1 (ko)
DE (1) DE60317139T2 (ko)
TW (1) TW200401943A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160133224A (ko) * 2015-05-12 2016-11-22 주식회사 우현디지털 화자 추적이 가능한 다자간 회의 영상 제공 시스템
CN106708041A (zh) * 2016-12-12 2017-05-24 西安Tcl软件开发有限公司 智能音箱、智能音箱定向移动方法及装置
KR102641869B1 (ko) * 2023-07-14 2024-03-04 캠플러스(주) 스마트홈 구축용 카메라 및 그 카메라의 동작 제어 방법

Families Citing this family (150)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050140785A1 (en) * 1999-03-16 2005-06-30 Mazzilli Joseph J. 360 degree video camera system
US7598975B2 (en) * 2002-06-21 2009-10-06 Microsoft Corporation Automatic face extraction for use in recorded meetings timelines
US7084904B2 (en) * 2002-09-30 2006-08-01 Microsoft Corporation Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time
DE10304215A1 (de) * 2003-01-30 2004-08-19 Gesellschaft zur Förderung angewandter Informatik eV Verfahren und Vorrichtung zur bildgebenden Darstellung von akustischen Objekten sowie ein entsprechendes Computerprogramm-Erzeugnis und ein entsprechendes computerlesbares Speichermedium
CN100420298C (zh) * 2004-06-25 2008-09-17 北京中星微电子有限公司 摄像机拍摄方位数字声控定向方法
NO328311B1 (no) * 2004-10-01 2010-01-25 Tandberg Telecom As Skrivebordterminalfot og skrivebordsystem
US7473040B2 (en) * 2004-10-15 2009-01-06 Lifesize Communications, Inc. High definition camera pan tilt mechanism
US7720236B2 (en) * 2004-10-15 2010-05-18 Lifesize Communications, Inc. Updating modeling information based on offline calibration experiments
US7717629B2 (en) * 2004-10-15 2010-05-18 Lifesize Communications, Inc. Coordinated camera pan tilt mechanism
US7720232B2 (en) * 2004-10-15 2010-05-18 Lifesize Communications, Inc. Speakerphone
US7903137B2 (en) * 2004-10-15 2011-03-08 Lifesize Communications, Inc. Videoconferencing echo cancellers
US7760887B2 (en) * 2004-10-15 2010-07-20 Lifesize Communications, Inc. Updating modeling information based on online data gathering
US8116500B2 (en) * 2004-10-15 2012-02-14 Lifesize Communications, Inc. Microphone orientation and size in a speakerphone
US20060132595A1 (en) * 2004-10-15 2006-06-22 Kenoyer Michael L Speakerphone supporting video and audio features
US8054336B2 (en) * 2004-10-15 2011-11-08 Lifesize Communications, Inc. High definition pan tilt zoom camera with embedded microphones and thin cable for data and power
US7826624B2 (en) * 2004-10-15 2010-11-02 Lifesize Communications, Inc. Speakerphone self calibration and beam forming
US7572073B2 (en) * 2004-10-15 2009-08-11 Lifesize Communications, Inc. Camera support mechanism
US7667728B2 (en) * 2004-10-15 2010-02-23 Lifesize Communications, Inc. Video and audio conferencing system with spatial audio
US7970151B2 (en) * 2004-10-15 2011-06-28 Lifesize Communications, Inc. Hybrid beamforming
US7812882B2 (en) * 2004-12-30 2010-10-12 Microsoft Corporation Camera lens shuttering mechanism
JP2006314078A (ja) * 2005-04-06 2006-11-16 Sony Corp 撮像装置、音声記録装置および音声記録方法
US8457614B2 (en) 2005-04-07 2013-06-04 Clearone Communications, Inc. Wireless multi-unit conference phone
US7991167B2 (en) * 2005-04-29 2011-08-02 Lifesize Communications, Inc. Forming beams with nulls directed at noise sources
US7593539B2 (en) * 2005-04-29 2009-09-22 Lifesize Communications, Inc. Microphone and speaker arrangement in speakerphone
US7970150B2 (en) * 2005-04-29 2011-06-28 Lifesize Communications, Inc. Tracking talkers using virtual broadside scan and directed beams
US20060277254A1 (en) * 2005-05-02 2006-12-07 Kenoyer Michael L Multi-component videoconferencing system
TW200715830A (en) * 2005-10-07 2007-04-16 Sony Taiwan Ltd Image pick-up device of multiple lens camera system to create panoramic image
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
JP4997783B2 (ja) * 2006-02-15 2012-08-08 富士ゼロックス株式会社 電子会議システム、電子会議支援プログラム、電子会議制御装置、情報端末機器、電子会議支援方法
WO2007138617A1 (en) * 2006-05-25 2007-12-06 Asdsp S.R.L. Video camera for desktop videocommunication
US7542671B2 (en) * 2006-06-30 2009-06-02 Opt Corporation Omni directional photographing device
US7542668B2 (en) * 2006-06-30 2009-06-02 Opt Corporation Photographic device
US7667762B2 (en) * 2006-08-01 2010-02-23 Lifesize Communications, Inc. Dual sensor video camera
AU2007221976B2 (en) * 2006-10-19 2009-12-24 Polycom, Inc. Ultrasonic camera tracking system and associated methods
JP5055987B2 (ja) * 2006-12-07 2012-10-24 ヤマハ株式会社 音声会議装置および音声会議システム
US7924655B2 (en) 2007-01-16 2011-04-12 Microsoft Corp. Energy-based sound source localization and gain normalization
US8615408B2 (en) 2007-02-02 2013-12-24 Koninklijke Philips N.V. Interactive patient forums
US20080255840A1 (en) * 2007-04-16 2008-10-16 Microsoft Corporation Video Nametags
US8526632B2 (en) * 2007-06-28 2013-09-03 Microsoft Corporation Microphone array for a camera speakerphone
US8165416B2 (en) * 2007-06-29 2012-04-24 Microsoft Corporation Automatic gain and exposure control using region of interest detection
US8330787B2 (en) * 2007-06-29 2012-12-11 Microsoft Corporation Capture device movement compensation for speaker indexing
ITVI20070213A1 (it) * 2007-08-02 2009-02-03 Tekno System Spa Custodia di protezione per telecamere atte alla trasmissione del segnale video in formato digitale.
US8433061B2 (en) * 2007-12-10 2013-04-30 Microsoft Corporation Reducing echo
US8219387B2 (en) * 2007-12-10 2012-07-10 Microsoft Corporation Identifying far-end sound
US8744069B2 (en) * 2007-12-10 2014-06-03 Microsoft Corporation Removing near-end frequencies from far-end sound
CN101533090B (zh) * 2008-03-14 2013-03-13 华为终端有限公司 一种阵列麦克的声音定位方法和装置
US8314829B2 (en) * 2008-08-12 2012-11-20 Microsoft Corporation Satellite microphones for improved speaker detection and zoom
EP2670165B1 (en) 2008-08-29 2016-10-05 Biamp Systems Corporation A microphone array system and method for sound acquistion
US8537196B2 (en) * 2008-10-06 2013-09-17 Microsoft Corporation Multi-device capture and spatial browsing of conferences
US9124769B2 (en) * 2008-10-31 2015-09-01 The Nielsen Company (Us), Llc Methods and apparatus to verify presentation of media content
US20100118112A1 (en) * 2008-11-13 2010-05-13 Polycom, Inc. Group table top videoconferencing device
CN101442654B (zh) * 2008-12-26 2012-05-23 华为终端有限公司 视频通信中视频对象切换的方法、装置及系统
US8072536B1 (en) * 2009-03-03 2011-12-06 Sean Campbell Web cam apparatus
JP5316248B2 (ja) * 2009-06-16 2013-10-16 株式会社リコー テレビ会議装置、テレビ会議方法、そのプログラム
US8441790B2 (en) * 2009-08-17 2013-05-14 Apple Inc. Electronic device housing as acoustic input device
US8654524B2 (en) 2009-08-17 2014-02-18 Apple Inc. Housing as an I/O device
US8624878B2 (en) * 2010-01-20 2014-01-07 Apple Inc. Piezo-based acoustic and capacitive detection
US8553906B2 (en) * 2010-02-02 2013-10-08 Creative Technology Ltd Apparatus for enabling karaoke
US8675038B2 (en) 2010-09-28 2014-03-18 Microsoft Corporation Two-way video conferencing system
US8638354B2 (en) * 2010-10-01 2014-01-28 Creative Technology Ltd Immersive video conference system
WO2012056437A1 (en) 2010-10-29 2012-05-03 École Polytechnique Fédérale De Lausanne (Epfl) Omnidirectional sensor array system
US8660847B2 (en) 2011-09-02 2014-02-25 Microsoft Corporation Integrated local and cloud based speech recognition
TWI429938B (zh) 2011-09-16 2014-03-11 Vatics Inc 聲源監視系統及其方法
US9756927B2 (en) 2011-11-30 2017-09-12 Apple Inc. Mounting system for portable electronic device
US8904052B2 (en) 2011-12-23 2014-12-02 Apple Inc. Combined input port
EP2837211B1 (en) 2012-04-13 2017-08-30 Nokia Technologies Oy Method, apparatus and computer program for generating an spatial audio output based on an spatial audio input
US9131295B2 (en) 2012-08-07 2015-09-08 Microsoft Technology Licensing, Llc Multi-microphone audio source separation based on combined statistical angle distributions
US9269146B2 (en) 2012-08-23 2016-02-23 Microsoft Technology Licensing, Llc Target object angle determination using multiple cameras
CN103680549B (zh) * 2012-09-10 2016-06-01 联想(北京)有限公司 一种音频处理方法及电子设备
US9563239B2 (en) 2012-09-10 2017-02-07 Apple Inc. Internal computer assembly features and methods
US9055216B1 (en) * 2012-11-19 2015-06-09 A9.Com, Inc. Using sensor data to enhance image data
CN102968991B (zh) * 2012-11-29 2015-01-21 华为技术有限公司 一种语音会议纪要的分类方法、设备和系统
CN103856740B (zh) * 2012-12-05 2017-05-24 联想(北京)有限公司 一种信息处理的方法及视频会议系统
US9124762B2 (en) 2012-12-20 2015-09-01 Microsoft Technology Licensing, Llc Privacy camera
US9516417B2 (en) * 2013-01-02 2016-12-06 Microsoft Technology Licensing, Llc Boundary binaural microphone array
EP2958339B1 (en) * 2013-02-15 2019-09-18 Panasonic Intellectual Property Management Co., Ltd. Directionality control system and directionality control method
CN105229737B (zh) * 2013-03-13 2019-05-17 寇平公司 噪声消除麦克风装置
TWI494548B (zh) * 2013-04-26 2015-08-01 Solid State System Co Ltd 聲音微元件測試裝置與測試方法
CN103516969A (zh) * 2013-08-23 2014-01-15 Sm器械株式会社 移动式声学照相机及制造方法
CN103475852A (zh) * 2013-09-09 2013-12-25 镇江市新创计算机系统集成有限公司 复合部门办公楼宇电子会议系统
EP2927885A1 (en) 2014-03-31 2015-10-07 Panasonic Corporation Sound processing apparatus, sound processing system and sound processing method
US10182280B2 (en) 2014-04-23 2019-01-15 Panasonic Intellectual Property Management Co., Ltd. Sound processing apparatus, sound processing system and sound processing method
EP2938097B1 (en) 2014-04-24 2017-12-27 Panasonic Corporation Sound processing apparatus, sound processing system and sound processing method
EP3161828A4 (en) * 2014-05-27 2017-08-09 Chase, Stephen Video headphones, systems, helmets, methods and video content files
US10154339B2 (en) * 2014-08-18 2018-12-11 Apple Inc. Rotationally symmetric speaker array
GB2533373B (en) * 2014-12-18 2018-07-04 Canon Kk Video-based sound source separation
CN107980221B (zh) * 2015-04-01 2021-10-29 猫头鹰实验室股份有限公司 合成并缩放角度分离的子场景
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
GB2540175A (en) * 2015-07-08 2017-01-11 Nokia Technologies Oy Spatial audio processing apparatus
USD788725S1 (en) * 2015-09-11 2017-06-06 Polycom, Inc. Videoconferencing unit
US20170099426A1 (en) * 2015-10-01 2017-04-06 Polycom, Inc. Led speaker identifier system
US9531996B1 (en) 2015-10-01 2016-12-27 Polycom, Inc. Method and design for optimum camera and display alignment of center of the room video conferencing systems
US9598076B1 (en) * 2015-10-22 2017-03-21 Ford Global Technologies, Llc Detection of lane-splitting motorcycles
US10424314B2 (en) * 2015-12-23 2019-09-24 Intel Corporation Techniques for spatial filtering of speech
US9686510B1 (en) 2016-03-15 2017-06-20 Microsoft Technology Licensing, Llc Selectable interaction elements in a 360-degree video stream
US10204397B2 (en) 2016-03-15 2019-02-12 Microsoft Technology Licensing, Llc Bowtie view representing a 360-degree image
US9866400B2 (en) 2016-03-15 2018-01-09 Microsoft Technology Licensing, Llc Action(s) based on automatic participant identification
CN107290711A (zh) * 2016-03-30 2017-10-24 芋头科技（杭州）有限公司 一种语音寻向系统及方法
CN105764011B (zh) * 2016-04-08 2017-08-29 甄钊 用于3d沉浸式环绕声音乐与影视拾音的传声器阵列装置
US10492000B2 (en) 2016-04-08 2019-11-26 Google Llc Cylindrical microphone array for efficient recording of 3D sound fields
WO2018043235A1 (ja) 2016-08-29 2018-03-08 Ｇｒｏｏｖｅ Ｘ株式会社 音源の方向を認識する自律行動型ロボット
US9992532B1 (en) 2017-01-11 2018-06-05 Htc Corporation Hand-held electronic apparatus, audio video broadcasting apparatus and broadcasting method thereof
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
US10764474B2 (en) * 2017-03-02 2020-09-01 Amazon Technologies, Inc. Assembly for electronic devices
JP6878974B2 (ja) 2017-03-16 2021-06-02 株式会社リコー 撮像装置、撮像システム
CN106842131B (zh) * 2017-03-17 2019-10-18 浙江宇视科技有限公司 麦克风阵列声源定位方法及装置
WO2019089727A1 (en) 2017-10-31 2019-05-09 The Regents Of The University Of California Instrinscally tunable and ultra-linear multi-fin mis hemt devices
WO2019113869A1 (zh) * 2017-12-14 2019-06-20 中国电子科技集团公司电子科学研究院 基于相机阵列的全景光场采集装置、处理方法和计算设备
US10356362B1 (en) * 2018-01-16 2019-07-16 Google Llc Controlling focus of audio signals on speaker during videoconference
US10791268B2 (en) 2018-02-07 2020-09-29 Structionsite Inc. Construction photograph integration with 3D model images
US10339384B2 (en) 2018-02-07 2019-07-02 Structionsite Inc. Construction photograph integration with 3D model images
US10522167B1 (en) * 2018-02-13 2019-12-31 Amazon Techonlogies, Inc. Multichannel noise cancellation using deep neural network masking
KR20200122323A (ko) 2018-02-17 2020-10-27 드림뷰, 인크. 멀티 센서를 사용하여 옴니 스테레오 비디오를 캡처하는 시스템 및 방법
USD931355S1 (en) 2018-02-27 2021-09-21 Dreamvu, Inc. 360 degree stereo single sensor camera
USD943017S1 (en) 2018-02-27 2022-02-08 Dreamvu, Inc. 360 degree stereo optics mount for a camera
US20190324117A1 (en) * 2018-04-24 2019-10-24 Mediatek Inc. Content aware audio source localization
CN108683874B (zh) * 2018-05-16 2020-09-11 瑞芯微电子股份有限公司 一种视频会议注意力聚焦的方法及一种存储设备
US10951859B2 (en) 2018-05-30 2021-03-16 Microsoft Technology Licensing, Llc Videoconferencing device and method
US11523212B2 (en) 2018-06-01 2022-12-06 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
US10467758B1 (en) * 2018-07-13 2019-11-05 Structionsite Inc. Imagery-based construction progress tracking
CN109118636B (zh) * 2018-07-18 2021-12-24 平安科技（深圳）有限公司 一种业务处理方法及设备
CN112889296A (zh) 2018-09-20 2021-06-01 舒尔获得控股公司 用于阵列麦克风的可调整的波瓣形状
TWI687753B (zh) * 2018-12-06 2020-03-11 宏碁股份有限公司 全景攝影機與全景攝影系統
CN109743526A (zh) * 2018-12-13 2019-05-10 视联动力信息技术股份有限公司 一种基于视联网的通信连接建立方法及系统
US10785563B1 (en) * 2019-03-15 2020-09-22 Hitachi, Ltd. Omni-directional audible noise source localization apparatus
EP3942842A1 (en) 2019-03-21 2022-01-26 Shure Acquisition Holdings, Inc. Housings and associated design features for ceiling array microphones
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
CN113841421A (zh) 2019-03-21 2021-12-24 舒尔获得控股公司 具有抑制功能的波束形成麦克风瓣的自动对焦、区域内自动对焦、及自动配置
CN109873973B (zh) * 2019-04-02 2021-08-27 京东方科技集团股份有限公司 会议终端和会议系统
KR102154432B1 (ko) * 2019-04-09 2020-09-09 주식회사 엘지유플러스 영상 촬영 기기 및 이의 동작 방법
US11190732B2 (en) * 2019-05-15 2021-11-30 Gama LLC Workstation for neurobiological disorder health professionals
TW202101422A (zh) 2019-05-23 2021-01-01 美商舒爾獲得控股公司 可操縱揚聲器陣列、系統及其方法
TW202105369A (zh) 2019-05-31 2021-02-01 美商舒爾獲得控股公司 整合語音及雜訊活動偵測之低延時自動混波器
US11297426B2 (en) 2019-08-23 2022-04-05 Shure Acquisition Holdings, Inc. One-dimensional array microphone with improved directivity
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
USD944776S1 (en) 2020-05-05 2022-03-01 Shure Acquisition Holdings, Inc. Audio device
US11706562B2 (en) 2020-05-29 2023-07-18 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
US11729342B2 (en) 2020-08-04 2023-08-15 Owl Labs Inc. Designated view within a multi-view composited webcam signal
TWI755037B (zh) * 2020-08-21 2022-02-11 陳筱涵 影音錄製裝置與影音編輯播放系統
CA3190886A1 (en) 2020-08-24 2022-03-03 Tom BUSHMAN Merging webcam signals from multiple cameras
US11367220B1 (en) * 2020-08-27 2022-06-21 Edge 3 Technologies Localization of lens focus parameter estimation and subsequent camera calibration
CN114520888A (zh) * 2020-11-19 2022-05-20 信泰光学(深圳)有限公司 影像撷取系统
CN112565598B (zh) * 2020-11-26 2022-05-17 Oppo广东移动通信有限公司 聚焦方法与装置、终端、计算机可读存储介质和电子设备
WO2022165007A1 (en) 2021-01-28 2022-08-04 Shure Acquisition Holdings, Inc. Hybrid audio beamforming system
US11636842B2 (en) * 2021-01-29 2023-04-25 Iyo Inc. Ear-mountable listening device having a microphone array disposed around a circuit board
EP4047939A1 (en) 2021-02-19 2022-08-24 Nokia Technologies Oy Audio capture in presence of noise
US11778407B2 (en) * 2021-08-10 2023-10-03 Plantronics, Inc. Camera-view acoustic fence
US20230086632A1 (en) * 2021-09-21 2023-03-23 Vistage Innovation LLC Article of furniture featuring collaborative roundtable audio-video conferencing

Family Cites Families (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4658425A (en) 1985-04-19 1987-04-14 Shure Brothers, Inc. Microphone actuation control system suitable for teleconference systems
JPS63144698A (ja) * 1986-12-08 1988-06-16 Nippon Telegr & Teleph Corp <Ntt> マイクロホン切替収音装置
JPH04210194A (ja) * 1990-11-30 1992-07-31 Kensaku Hori カメラの撮影に使用するカメラ台
US5426510A (en) * 1992-06-05 1995-06-20 Dolman Associates, Inc. Audio-video system
JP2939087B2 (ja) * 1993-04-07 1999-08-25 シャープ株式会社 全方位視覚系
US5625410A (en) * 1993-04-21 1997-04-29 Kinywa Washino Video monitoring and conferencing system
JPH06351015A (ja) * 1993-06-10 1994-12-22 Olympus Optical Co Ltd テレビジョン会議システム用の撮像システム
JPH0774998A (ja) * 1993-06-25 1995-03-17 Sony Corp 画像・音声記録装置
JPH0743015U (ja) * 1993-12-29 1995-08-11 株式会社オーディオテクニカ 面上収音マイクロホン
JPH07264569A (ja) * 1994-03-16 1995-10-13 Sumitomo Electric Ind Ltd 遠隔会議装置
US5796426A (en) 1994-05-27 1998-08-18 Warp, Ltd. Wide-angle image dewarping method and apparatus
JPH0832945A (ja) * 1994-07-19 1996-02-02 Hitachi Ltd テレビ電話装置
JP3458486B2 (ja) * 1994-10-25 2003-10-20 松下電器産業株式会社 全方位撮影装置及び全方位画像合成装置
JP3310485B2 (ja) * 1994-12-27 2002-08-05 シャープ株式会社 画像入力装置
US5990934A (en) 1995-04-28 1999-11-23 Lucent Technologies, Inc. Method and system for panoramic viewing
US5745305A (en) * 1995-04-28 1998-04-28 Lucent Technologies Inc. Panoramic viewing apparatus
JPH08340466A (ja) * 1995-06-09 1996-12-24 Sony Corp 卓上式カメラ
US5539483A (en) 1995-06-30 1996-07-23 At&T Corp. Panoramic projection apparatus
US5793527A (en) 1995-06-30 1998-08-11 Lucent Technologies Inc. High resolution viewing system
WO1997008896A1 (en) * 1995-08-23 1997-03-06 Scientific-Atlanta, Inc. Open area security system
US6115176A (en) 1995-11-30 2000-09-05 Lucent Technologies Inc. Spherical viewing/projection apparatus
US6111702A (en) 1995-11-30 2000-08-29 Lucent Technologies Inc. Panoramic viewing system with offset virtual optical centers
EP0808470B1 (en) * 1995-12-12 2000-09-27 Eugeni Jordana Pareto Lens structure without spherical aberration and stereoscopic camera including such lens structure
US6118474A (en) * 1996-05-10 2000-09-12 The Trustees Of Columbia University In The City Of New York Omnidirectional imaging apparatus
US6493032B1 (en) 1996-06-24 2002-12-10 Be Here Corporation Imaging arrangement which allows for capturing an image of a view at different resolutions
US6331869B1 (en) 1998-08-07 2001-12-18 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US6459451B2 (en) 1996-06-24 2002-10-01 Be Here Corporation Method and apparatus for a panoramic camera to capture a 360 degree image
US6341044B1 (en) 1996-06-24 2002-01-22 Be Here Corporation Panoramic imaging arrangement
US6373642B1 (en) 1996-06-24 2002-04-16 Be Here Corporation Panoramic imaging arrangement
JP3784474B2 (ja) * 1996-11-20 2006-06-14 日本電気株式会社 ジェスチャー認識方法および装置
JP3797751B2 (ja) * 1996-11-27 2006-07-19 富士通株式会社 マイクロホンシステム
WO1998047291A2 (en) * 1997-04-16 1998-10-22 Isight Ltd. Video teleconferencing
JPH10304329A (ja) * 1997-04-30 1998-11-13 Matsushita Electric Works Ltd 会議撮像装置
US6356296B1 (en) 1997-05-08 2002-03-12 Behere Corporation Method and apparatus for implementing a panoptic camera system
US6043837A (en) 1997-05-08 2000-03-28 Be Here Corporation Method and apparatus for electronically distributing images from a panoptic camera system
US6466254B1 (en) 1997-05-08 2002-10-15 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US6072522A (en) * 1997-06-04 2000-06-06 Cgc Designs Video conferencing apparatus for group video conferencing
JPH1141577A (ja) * 1997-07-18 1999-02-12 Fujitsu Ltd 話者位置検出装置
JPH11164389A (ja) * 1997-11-26 1999-06-18 Matsushita Electric Ind Co Ltd 適応ノイズキャンセラ装置
JPH11331827A (ja) 1998-05-12 1999-11-30 Fujitsu Ltd テレビカメラ装置
US6924832B1 (en) 1998-08-07 2005-08-02 Be Here Corporation Method, apparatus & computer program product for tracking objects in a warped video image
US6128143A (en) 1998-08-28 2000-10-03 Lucent Technologies Inc. Panoramic viewing system with support stand
US6141145A (en) 1998-08-28 2000-10-31 Lucent Technologies Stereo panoramic viewing system
US6285365B1 (en) 1998-08-28 2001-09-04 Fullview, Inc. Icon referenced panoramic image display
US6144501A (en) 1998-08-28 2000-11-07 Lucent Technologies Inc. Split mirrored panoramic image display
US6195204B1 (en) 1998-08-28 2001-02-27 Lucent Technologies Inc. Compact high resolution panoramic viewing system
JP2000092368A (ja) * 1998-09-09 2000-03-31 Canon Inc カメラ制御装置及びコンピュータ読み取り可能な記憶媒体
JP2000106566A (ja) * 1998-09-29 2000-04-11 Hitachi Ltd 通信制御装置
JP2000106556A (ja) * 1998-09-29 2000-04-11 Brother Ind Ltd データ記憶装置、データ通信システム、及び記憶媒体
JP3863306B2 (ja) * 1998-10-28 2006-12-27 富士通株式会社 マイクロホンアレイ装置
US6369818B1 (en) 1998-11-25 2002-04-09 Be Here Corporation Method, apparatus and computer program product for generating perspective corrected data from warped information
JP2000181498A (ja) * 1998-12-15 2000-06-30 Toshiba Corp ビームフォーマを用いた信号入力装置及び信号入力用プログラムを記録した記録媒体
US6714249B2 (en) * 1998-12-31 2004-03-30 Eastman Kodak Company Producing panoramic digital images by digital camera systems
US6175454B1 (en) 1999-01-13 2001-01-16 Behere Corporation Panoramic imaging arrangement
US6597520B2 (en) 1999-01-13 2003-07-22 Be Here Corporation Panoramic imaging arrangement
US6278478B1 (en) * 1999-03-18 2001-08-21 Microsoft Corporation End-to-end network encoding architecture
JP2000308040A (ja) * 1999-04-22 2000-11-02 Sony Corp 双方向高速データ配信装置
US6244759B1 (en) * 1999-05-10 2001-06-12 Rob Russo Adjustable camera support
US6781606B2 (en) * 1999-05-20 2004-08-24 Hewlett-Packard Development Company, L.P. System and method for displaying images using foveal video
US6375370B1 (en) * 2000-02-10 2002-04-23 Cam Guard Systems, Inc. Temporary surveillance system
JP4416290B2 (ja) * 2000-07-31 2010-02-17 富士フイルム株式会社 デジタルカメラ
US6439515B1 (en) * 2000-10-10 2002-08-27 Adam Daniel Powers Video camera support device
US6741250B1 (en) 2001-02-09 2004-05-25 Be Here Corporation Method and system for generation of multiple viewpoints into a scene viewed by motionless cameras and for presentation of a view path
US7184559B2 (en) 2001-02-23 2007-02-27 Hewlett-Packard Development Company, L.P. System and method for audio telepresence
US6756990B2 (en) 2001-04-03 2004-06-29 Be Here Corporation Image filtering on 3D objects using 2D manifolds
US6937266B2 (en) * 2001-06-14 2005-08-30 Microsoft Corporation Automated online broadcasting system and method using an omni-directional camera system for viewing meetings over a computer network
US6628897B2 (en) * 2001-06-20 2003-09-30 Sony Corporation Camera system
US20040021764A1 (en) 2002-01-28 2004-02-05 Be Here Corporation Visual teleconferencing apparatus
US20040008423A1 (en) 2002-01-28 2004-01-15 Driscoll Edward C. Visual teleconferencing apparatus
US20030142402A1 (en) 2002-01-30 2003-07-31 Be Here Corporation Method and apparatus for triggering a remote flash on a camera with a panoramic lens
US7012757B2 (en) 2002-05-08 2006-03-14 Be Here Corporation Method for designing a lens system and resulting apparatus
US7019918B2 (en) 2003-06-12 2006-03-28 Be Here Corporation Panoramic imaging system
US20040254982A1 (en) 2003-06-12 2004-12-16 Hoffman Robert G. Receiving system for video conferencing system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160133224A (ko) * 2015-05-12 2016-11-22 주식회사 우현디지털 화자 추적이 가능한 다자간 회의 영상 제공 시스템
CN106708041A (zh) * 2016-12-12 2017-05-24 西安Tcl软件开发有限公司 智能音箱、智能音箱定向移动方法及装置
KR102641869B1 (ko) * 2023-07-14 2024-03-04 캠플러스(주) 스마트홈 구축용 카메라 및 그 카메라의 동작 제어 방법

Also Published As

Publication number Publication date
JP4252377B2 (ja) 2009-04-08
US7852369B2 (en) 2010-12-14
DE60317139T2 (de) 2008-02-07
EP1377041B1 (en) 2007-10-31
DE60317139D1 (de) 2007-12-13
JP2004032782A (ja) 2004-01-29
CN1479525B (zh) 2010-05-12
CN1479525A (zh) 2004-03-03
US20040001137A1 (en) 2004-01-01
ATE377326T1 (de) 2007-11-15
KR100960781B1 (ko) 2010-06-01
EP1377041A2 (en) 2004-01-02
TW200401943A (en) 2004-02-01
EP1377041A3 (en) 2004-08-25

Similar Documents

Publication Publication Date Title
KR100960781B1 (ko) 전방향성 카메라 및 마이크로폰 어레이에 관한 집적 설계
Cutler et al. Distributed meetings: A meeting capture and broadcasting system
US5940118A (en) System and method for steering directional microphones
US8754925B2 (en) Audio source locator and tracker, a method of directing a camera to view an audio source and a video conferencing terminal
US7298392B2 (en) Omni-directional camera design for video conferencing
KR101474605B1 (ko) 오디오 향상을 위한 디바이스, 시스템 및 방법
EP2172054B1 (en) Microphone array for a camera speakerphone
US20030160862A1 (en) Apparatus having cooperating wide-angle digital camera system and microphone array
US20040254982A1 (en) Receiving system for video conferencing system
US20110193935A1 (en) Controlling a video window position relative to a video camera position
CN101189872A (zh) 照相机的规格化图像
JP4411959B2 (ja) 音声集音・映像撮像装置
US7397504B2 (en) Whiteboard view camera
US11856387B2 (en) Video conferencing system and method thereof
WO2015198964A1 (ja) 音声入出力機能付き撮像装置およびテレビ会議システム
CN111343413A (zh) 一种视频会议系统及其显示方法
KR20100006029A (ko) 원격 화상회의시스템
US20230086490A1 (en) Conferencing systems and methods for room intelligence
CN213213667U (zh) 一种基于视觉与声音融合的可交互的会议装置
CN214544579U (zh) 音视频监控装置及监控系统
JP6860178B1 (ja) 映像処理装置及び映像処理方法
Liles CONFERENCE MICS AND SYSTEMS.
WO2011087356A2 (en) Video conferencing using single panoramic camera
JPH08289275A (ja) Ｔｖ会議システム
Sewunetie et al. Design and Architecture of Desktop LCD Monitor Having Built in Webcam and Microphone with Multi Angled Flexibility

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130416

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140417

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160419

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170420

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180427

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190429

Year of fee payment: 10