KR20060049992A - 포비에이티드 파노라믹 카메라 시스템 - Google Patents

포비에이티드 파노라믹 카메라 시스템 Download PDF

Info

Publication number
KR20060049992A
KR20060049992A KR1020050061726A KR20050061726A KR20060049992A KR 20060049992 A KR20060049992 A KR 20060049992A KR 1020050061726 A KR1020050061726 A KR 1020050061726A KR 20050061726 A KR20050061726 A KR 20050061726A KR 20060049992 A KR20060049992 A KR 20060049992A
Authority
KR
South Korea
Prior art keywords
camera
viewing angle
image
cameras
panoramic
Prior art date
Application number
KR1020050061726A
Other languages
English (en)
Inventor
로스 지. 쿠틀러
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US10/902,675 external-priority patent/US7495694B2/en
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20060049992A publication Critical patent/KR20060049992A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

본 발명의 포비에이티드 파노라믹 카메라 시스템은 카메라들에 의해 캡처된 개별 이미지들이 파노라믹 이미지를 형성하도록 결합될 수 있는 배향을 갖는 복수의 카메라를 포함한다. 각각의 카메라는 그 카메라의 시야각에 대응하는 초점거리를 갖는 렌즈를 포함한다. 카메라의 시야각은 각각의 인접한 카메라의 시야각과 중첩된다. 적어도 하나의 카메라는 다른 카메라에 의해 캡처되는 이미지보다 카메라 시스템으로부터 원거리에 위치하는 이미지를 캡처하기 위한 다른 카메라의 시야각과는 다른 시야각을 갖는다. 그 결과, 복수의 카메라에 의해 캡처되는 모든 이미지에 걸쳐서 보다 균일한 분해능이 실현된다. 물체 이미지를 복수의 카메라에 반사시킴으로써 카메라 시스템의 투사 중심의 근접화가 실현된다.
포비에이티드, 파노라믹, 미러, 시야각, 화상 회의

Description

포비에이티드 파노라믹 카메라 시스템{FOVEATED PANORAMIC CAMERA SYSTEM}
도 1은 본 발명에 따른 예시적 포비에이티드(foveated) 파노라믹 카메라 시스템을 도시한 도면.
도 2는 직사각형 테이블 상에 360도(°) 파노라믹 카메라 구성을 갖는 예시적 렌즈 구성을 도시한 도면.
도 3은 본 발명에 따른 예시적 포비에이티드 파노라믹 카메라 구성을 도시한 도면.
도 4는 본 발명에 따른 예시적 시스템을 도시한 블록도.
<도면의 주요 부분에 대한 부호의 설명>
400: 파노라믹 카메라
402: 프로세서
404: 메모리
406: 장초점 카메라
407: 단초점 카메라
408: 마이크
412: I/O
414: UI
416: 파워 모듈
418: 기타 각종 HW
420: 스피커
420: OS
422: 이미지
424: 리매핑 테이블
426: 이미지 수신 유닛
428: 이미지 스티칭 모듈
430: 파노라믹 이미지
<관련 출원>
본 출원은 본 출원과 동일한 발명자 및 출원인의 미국 특허출원 제10/608,363호(발명의 명칭: "Omni-Directional Camera Design For Video Conferencing", 2003년 6월 26일 출원)의 일부계속출원인 미국 특허출원 제10/902,675호(발명의 명칭: "Omni-Directional Camera With Calibration And Up Look Angle Improvements", 2004년 7월 28일 출원) 및 이 출원의 일부계속출원인 미국 특허출원 제11/027,068호(발명의 명칭: "Foveated Panoramic Camera System", 2004년 12월 30일 출원)에 대한 우선권을 향유한다.
본 발명은 전반적으로 이미지 프로세싱에 관한 것이며, 보다 구체적으로는 파노라믹 카메라 시스템 및 포비에이티드(foveated) 카메라 기술에 관한 것이다.
파노라믹 이미지는 360도까지 스팬(span)하는 광각 카메라 이미지이다. 특수 렌즈를 구비한 카메라들을 가지고 한 카메라로 한 장면을 스위핑하거나 복수의 카메라로부터의 이미지들을 하나의 파노라믹 이미지로 결합(combine)함으로써 파노라믹 이미지를 레코드할 수 있다. 특수 광각 렌즈는 매우 고가이며 그로 인해 많은 애플리케이션에 이용되고 있지 않다. 한 카메라로 한 장면을 스위핑해서는 동시에 전체 장면을 캡처하지 못한다. 복수의 카메라로부터의 이미지들을 결합하면 복수의 카메라들 간의 공통의 투사 중심(common center of projection)이 결여되므로 왜곡이 발생된다.
파노라믹 비디오 카메라 장치는 회의실 환경에서 특히 유용하다. 하나의 파노라믹 비디오 카메라는 뷰어가 회의 참석자들 대부분 또는 전부를 동시에 볼 수 있도록 회의실의 넓은 범위에 걸쳐서 회의 참석자들을 캡처할 수 있다. 회의실의 360도 뷰(view)를 캡처할 수 있는 파노라믹 비디오 카메라 장치는 모든 회의 참석자들을 이미징할 수 있다. 그러나, 이러한 장치로부터 회의실 참석자들이 서로 다른 거리에 자리하고 있는 경우에 문제가 생길 수 있다.
본 발명의 전술한 특징 및 이에 따른 이점들은 첨부된 도면과 연계한 상세한 설명을 참조함으로써 보다 명확해질 것이다.
<실시예>
본 발명의 파노라믹 카메라 장치는 복수의 카메라를 이용하여 360도에 달하는 파노라믹 이미지를 캡처한다. 파노라믹 카메라 장치는 포비에이티드 파노라믹 이미지를 제공한다. 여기서, '포비에이티드'라 함은 적어도 복수의 카메라들 중 하나가 파노라믹 카메라 장치 내의 다른 복수의 카메라들 중 하나 이상의 카메라에 의해 캡처된 이미지들보다 높은 픽셀 밀도로 이미지를 캡처하도록 구성됨을 의미한다.
회의실 테이블 둘레에 앉아 있는 각 인물의 얼굴에서 적어도 40 픽셀을 실현하는 것이 바람직하다. 다중 카메라식 파노라믹 장치 내의 모든 카메라들이 동일한 초점거리를 갖는다면, 직사각형 테이블의 먼 가장자리(즉, 끝)에 자리한 인물의 이미지에 대해 바람직한 분해능을 실현하기 위해서, 테이블의 변(또는 근방의 에지)에 자리한 인물들에 대해서는 필요 이상의 분해능이 실현된다. 이것은 다중 카메라식 파노라믹 장치를 구성하는데 불필요한 추가 비용을 발생시킨다.
본 명세서에 제시된 하나 이상의 예에서는, 파노라믹 카메라 장치가 회의실에 배치됨에 있어서 그 회의실 테이블 중 하나 이상의 변이 하나 이상의 다른 변보다 파노라믹 카메라 장치로부터 위치하도록 구성된다. 테이블의 변들 중 파노라믹 카메라 장치로부터 보다 원거리에 위치한 변들을 향하도록 배향된 카메라들은, 파노라믹 카메라 장치에 보다 근거리에 있는 테이블의 변들을 향하도록 배향된 카메라들의 렌즈에 비해 보다 긴 초점거리를 갖는 렌즈를 구비한다.
임의의 하나의 카메라의 시야각(field of view)은 그 카메라에 인접한 각 카 메라의 시야각과 조금 중첩된다. 이것은 각각의 이미지들을 함께 "스티칭(stitch)"하여 파노라믹 이미지를 형성하는 경우에 보다 높은 정확성을 제공한다.
이러한 스티칭 프로세스에 대해서는 발명자가 'Zicheng Liu' 및 'Michael Cohen'이며 본 출원과 동일 출원인의 미국 특허출원 제10/262,292호(발명의 명칭: "Foveated Wide-Angle Imaging System And Method For Capturing And Viewing Wide-Angle Images In Real Time", 2002년 9월 30일 출원)에 개시되어 있다.
상기 출원에 개시된 스티칭 시스템 외에도, 상기 출원에는 임시의(preliminary) 포비에이티드 광각 이미지에 존재하는 왜곡 및 지각(perception) 문제를 보정하기 위하여 와핑(warping) 기능을 이용하여 스티치 테이블을 프로세스하는 실시간 광각 이미지 보정 시스템이 개시되어 있다. 이러한 이미지 보정 시스템도 본 명세서에 개시된 개념에 이용될 수 있다.
<예시적 촬영 장치>
도 1은 본 발명에 따른 예시적 포비에이티드 파노라믹 카메라 시스템(100)을 도시한 것이다. 예시적 포비에이티드 파노라믹 카메라 시스템(100)은 본 발명에 이용될 수 있는 카메라 구성의 일례일 뿐이며, l80도보다 큰 파노라믹 이미지를 캡처하도록 구성된 임의의 멀티 카메라 시스템이 본 명세서에 개시된 포비에이티드 디자인의 개념에 이용될 수 있다.
예시적 포비에이티드 파노라믹 카메라(100)는 복수의 미러면(mirror facets)(104)을 구비하는 미러 어셈블리(102)를 포함한다. 다른 구성을 채용하는 것도 가능하지만, 도 1에 도시된 미러 어셈블리(102)는 반전된 피라미드 모양의 구 성을 갖는다. 또한, 도시된 미러 어셈블리(102)는 6개의 미러면(104)을 갖고 있지만, 다른 구현예에서는 미러면의 수가 더 많거나 더 적을 수도 있다.
미러 어셈블리(102)는 복수의 개별 카메라들(108)을 구비하는 렌즈 어셈블리(106) 상에 배치된다. 각각의 미러면(104)에 대해 하나의 개별 카메라(108)가 대응하여 구성된다. 미러면(104)은 물체로부터의 광파(light wave)를 대응하는 개별 카메라(108)에 반사시키고, 카메라(108)는 광파를 하나 이상의 이미지 센서(미도시)에 포커싱한다. 미러 어셈블리(102)는 지지대(support column)(110)에 의해 렌즈 어셈블리(106) 상에 지지된다.
특정한 구성을 갖는 예시적 포비에이티드 파노라믹 카메라 시스템(100)은 투사 중심의 근접화(near center of projection)를 실현하며, 이것은 카메라 시스템(100)에 의해 생성된 이미지 내의 시차 에러(parallax errors)를 감소시킨다.
아래에서 보다 상세히 설명하겠지만, 각각의 개별 카메라(108)는 카메라 렌즈(미도시)를 포함한다. 카메라 렌즈는 그와 관련된 초점거리를 갖는다. 카메라 렌즈의 어떤 특성(예컨대 크기 및 두께)은 초점거리에 영향을 준다. 특정한 초점거리는 그 렌즈에 의해 실현되는 각도 분해능(angular resolution) 및 렌즈에 의해 캡처되는 시야각과 관련된다. 초점거리가 길면 각도 분해능이 높아지지만, 보다 좁은 시야각을 캡처하게 된다. 초점거리가 짧으면 각도 분해능이 낮아지지만, 보다 넓은 시야각을 캡처하게 된다.
<예시적 렌즈 구성>
도 2는 직사각형 테이블(202)에 대해 배향된 360도 파노라믹 카메라 구성의 예시적 렌즈 구성(200)을 도시한 도면이다. 예시적 렌즈 구성(200)은 수개의 렌즈(204 내지 208)를 포함한다.
2개의 롱 렌즈(long lens)(204)는 서로 대향하여 위치하고 있다 - 즉 렌즈(204)가 반대 방향으로 향한다. 2개의 롱 렌즈(204)는 각 렌즈가 테이블(202)의 원단부(distant end)(212)를 향하도록 직사각형 테이블(202)의 장축(210)과 평행하다. 2개의 롱 렌즈(204)는 테이블의 원단부(212)에 자리한 인물의 얼굴에 대해 충분한 분해능 - 예컨대 얼굴에서 대략 40 픽셀 - 을 제공하는 초점거리를 갖는다.
제1 와이드 렌즈 페어(206)는 직사각형 테이블(202)의 2개의 근방의 변들(216) 사이에서 직각을 이루지 않고 연장되는 제1 와이드 축(214)을 따라 서로 대향하고 반대 방향을 향하도록 위치하고 있다. 제2 와이드 렌즈 페어(208)는 직사각형 테이블(202)의 2개의 근방의 변들(216) 사이에서 직각을 이루지 않고 연장되는 제2 와이드 축(218)을 따라 서로 대향하고 반대 방향을 향하도록 위치하고 있다.
제1 와이드 렌즈 페어(206) 및 제2 와이드 렌즈 페어(208)는 테이블(202)의 하나의 근방의 변(216)의 중심으로부터 테이블(202)의 중심(미도시)을 통과하여 연장되는, 직사각형 테이블(202)의 단축(220)을 중심으로 대칭적이다.
2개의 롱 렌즈(204)는 직사각형 테이블(202)의 원단부(212)에 자리한 인물(미도시)의 얼굴에서 대략 40 픽셀의 분해능을 실현하기에 충분한 초점거리를 갖는다. 반드시 필요하지는 않지만, 각각의 롱 렌즈들(204)은 직사각형 테이블(202) 각 원단부(212)로부터 동일한 거리에 위치하고 있기 때문에, 본 예에서 이들 초점 거리들은 동일할 것이다.
제1 와이드 렌즈 페어(206) 내의 각각의 와이드 렌즈(206)는 직사각형 테이블(202)의 근방의 변(216)에 자리한 인물(미도시)의 얼굴에서 대략 40 픽셀의 분해능을 실현하기에 충분한 초점거리를 갖는다. 반드시 필요하지는 않지만, 제1 와이드 렌즈 페어(206) 내의 각각의 와이드 렌즈(206)는 직사각형 테이블(202) 각 원단부(212)로부터 동일한 거리에 위치하고 있기 때문에, 본 예에서 이들 초점거리들은 동일할 것이다.
본 예에서는 4개의 와이드 렌즈(206, 208)를 도시하였지만, 본 명세서에 개시된 개념에 따라 단지 하나의 와이드 렌즈 페어가 사용될 수 있다. 이러한 구성에서, 각각의 와이드 렌즈들은 직사각형 테이블(202)의 서로 다른 근방의 변(216)을 향할 것이다. 그러나, 카메라 렌즈의 시야각이 대략 75도를 넘게 되면 카메라 렌즈의 비용이 크게 증가한다. 단지 2개의 와이드 렌즈를 이용하더라도 이들 렌즈의 시야각은 75도를 넘게 될 것이므로, 전술한 바와 같이 적어도 4개의 와이드 렌즈를 포함하는 구성을 채용하는 것이 보다 비용 면에서 효과적일 것이다.
물론, 특별한 구성에서는 롱 렌즈(204)를 단지 하나 또는 2개 이상 채용할 수도 있다. 또한, 4개 이상의 와이드 렌즈(206)를 이용할 수도 있다. 본 명세서에 개시된 개념에 따라 초점거리가 서로 다르고 총 시야각이 180도보다 큰 3개 이상의 카메라/렌즈의 임의의 조합이 이용될 수 있다.
하나의 장치에 다수의 일의적인 초점거리를 갖도록 할 수 있다. 본 명세서에서는 2개의 일의적인 초점거리를 갖는 것으로 도시 및 설명하였지만, 임의의 실 시가능한 수의 일의적인 초점거리를 갖도록 할 수도 있다. 장치가 3개, 4개 또는 그 이상의 일의적인 초점거리를 갖는 렌즈를 갖도록 할 수도 있다.
일반적으로, 카메라가 사용될 테이블 또는 회의실의 형태에 따라 어떤 초점거리 및 렌즈들의 조합으로 구현될 것인지가 결정된다.
<예시적 포비에이티드 파노라믹 카메라 구성>
도 3은 본 발명에 따른 예시적 포비에이티드 파노라믹 카메라 구성(300)을 도시한 것이다. 예시적 구성(300)은 단지 예시를 위한 것이며, 예시적 구성(300)과 관련하여 도시 및/또는 기재된 임의의 수치는 예시를 위한 것일 뿐이며, 이것에 어떠한 제한이나 특히 바람직한 실시예를 제안하기 위한 것은 아니다.
예시적 구성(300)은 2개의 단부(304) 및 2개의 변(306)을 갖는 직사각형 테이블(302)을 포함한다. 각각의 단부의 길이는 5피트(foot)이며 각각의 변(304)의 길이는 16피트이다. 예시적 구성(300)은 또한 도 1 및 도 2에 도시 및 설명된 바와 같은 구성을 갖는 6개의 렌즈(미도시)를 포함하는 포비에이티드 파노라믹 카메라 시스템(308)을 포함한다.
포비에이티드 파노라믹 카메라 시스템(308)에는 6개의 시야각이 존재하는데, 각각의 렌즈에 하나의 시야각이 대응한다. 도 3에 도시된 바와 같이, 시스템(308)은 2개의 시야각(각각 56도) 및 4개의 시야각(각각 70도)을 갖는다.
56도인 2개의 시야각은 직사각형 테이블(302)의 각 단부(304)를 향하여 배향된다. 전술한 바와 같이, 56도의 시야각은 테이블(302)의 단부(304)에 자리한 인물의 얼굴에서 대략 40 픽셀의 분해능을 제공하는 초점거리에 해당한다.
70도인 4개의 시야각은 직사각형 테이블(302)의 각 변(306)을 향하여 배향된다. 70도의 시야각은 테이블(302)의 변(304)에 자리한 인물의 얼굴에서 대략 40 픽셀의 분해능을 제공하는 초점거리에 해당한다.
따라서, 직사각형 테이블(302)의 주변에서 대략적으로 균일한 분해능이 실현된다. 비원통형의 파노라마(non-cylindrical panoramas)와 같은 다른 기술을 본 발명에 채용하여 테이블 주변에서의 분해능을 훨씬 균일하게 제공할 수도 있다. 그 결과, 테이블(302)의 단부(304)에 자리한 인물의 얼굴 이미지의 크기는 테이블(302)의 변(306)에 자리한 인물의 얼굴 이미지와 대략 동일한 크기가 될 것이다.
여기서, 각 시야각은 인접하는 임의의 시야각과 중첩된다. 아래에서 상세히 설명하겠지만, 개별 이미지들이 조금씩 중첩되도록 제공하면 개별 카메라들로부터의 파노라믹 이미지를 어셈블하는 스티칭 프로세스에서의 유연성을 증대시킬 수 있다. 이러한 중첩은 변동될 수 있지만, 통상 적어도 0.5도의 중첩을 말한다. 도 3에 도시된 예에서 총 시야각은 392도인데, 이것은 360도의 이미지에 필요한 것보다 32도를 초과하는 것이다. 따라서, 인접한 시야각 페어 사이의 평균 중첩은 5.33도이다.
반드시 필요하지는 않지만, 일의적인 초점거리의 수는 카메라 장치가 놓인 테이블의 대칭 축의 수에 대응할 수도 있다. 예를 들어, 본 예에서 직사각형 테이블은 2개의 대칭축으로서 장축 및 단축을 갖는다. 본 예에서 도시된 초점거리의 수는 2개이다. 테이블 축의 수와 일의적인 초점거리의 수 사이의 일대일 대응관계는 최적의 구현을 제공할 수 있다.
<예시적 시스템>
도 4는 본 발명에 따른 예시적 시스템(400)의 블록도이다. 아래의 설명에서도, 도 1 내지 도 3에서 도시 및 설명된 엘리먼트 및 참조번호를 참조한다.
예시적 시스템(400)은 프로세서(402) 및 메모리(404)를 포함한다. 예시적 시스템(400)에는 적어도 하나의 롱 카메라(406) 및 적어도 하나의 쇼트 카메라(407)가 구비된다. 여기서, "롱 카메라"는 "쇼트 카메라"에 비해 초점거리가 길고 분해능이 높고 시야각이 작은 카메라를 지칭한다. 이러한 점에서, 도 3에 도시된 예를 참조하면, 56도의 시야각은 "롱" 카메라에 관련된 것이며, 70도의 시야각은 "쇼트" 카메라에 관련된 것이라고 말할 수 있다.
예시적 시스템(400)은 하나 이상의 마이크(408), 하나 이상의 스피커(410), 입/출력(I/O) 모듈(412), 및 사용자의 조작이 가능한 컨트롤 및 디스플레이를 구비하는 사용자 인터페이스(414)를 포함하는 것으로 도시되어 있다. 파워 모듈(416)은 시스템(400) 및 그 구성요소뿐만 아니라, 본 명세서에 개시된 일부의 기능을 수행하도록 구성된 기타의 각종 하드웨어(418)에 전력을 제공한다.
메모리(404)는 시스템(400) 및 그 구성요소의 동작 기능을 실현하기 위한 프로세서 실행가능 명령문을 포함하고 있는 오퍼레이팅 시스템(420)을 저장하고 있다. 카메라(406, 407)에 의해 검출된 복수의 이미지(422)가 메모리(404)에 저장된다.
메모리(404)에는 하나 이상의 리매핑 테이블(424)이 저장되며, 이것은 이미지 수신 유닛(426) 및 이미지 스티칭 모듈(428)이 개별 이미지들(422)에 대한 이미 지 공간으로부터 파노라마 공간으로의 올바른 매핑을 결정하여 파노라믹 이미지(430)를 생성하는데 이용된다. 이러한 리매핑 기술에 대한 상세는 전술한 미국 특허출원 제10/262,292호에 개시되어 있다.
<결론>
하나 이상의 예시적 구현예에 대해 도시 및 설명하였지만, 첨부된 청구항의 사상 및 범주를 일탈하지 않는 범위 내에서 각종의 변형이 가해질 수 있다.
전술한 바와 같이, 본 발명의 포비에이티드 파노라믹 카메라 시스템에 따르면, 복수의 카메라에 의해 캡처되는 모든 이미지에 걸쳐서 보다 균일한 분해능이 실현되며, 물체 이미지를 복수의 카메라에 반사시킴으로써 카메라 시스템의 투사 중심의 근접화가 실현된다.

Claims (20)

  1. 제1 시야각에 대응하는 제1 초점거리를 갖는 적어도 하나의 제1 카메라 렌즈;
    상기 제1 시야각보다 큰 제2 시야각에 대응하는 제2 초점 거리를 갖는 복수의 제2 카메라 렌즈
    를 포함하며,
    상기 적어도 하나의 제1 카메라 렌즈 및 상기 복수의 제2 카메라 렌즈의 총 시야각은 180도보다 큰 카메라 시스템.
  2. 제1항에 있어서,
    상기 복수의 제2 카메라 렌즈는 복수의 제2 카메라 렌즈 페어들을 구비하는 카메라 시스템.
  3. 제2항에 있어서,
    상기 복수의 제2 카메라 렌즈는 2개의 제2 카메라 렌즈 페어를 구비하는 카메라 시스템.
  4. 제3항에 있어서,
    상기 2개의 제2 카메라 렌즈 페어는 서로 반대 방향으로 배향된 2개의 카메 라 렌즈를 구비하는 카메라 시스템.
  5. 제1항에 있어서,
    상기 적어도 하나의 제1 카메라 렌즈 및 상기 복수의 제2 카메라 렌즈로부터의 이미지 입력을 수신하도록 구성된 이미지 수신 유닛; 및
    상기 이미지 수신 유닛에 의해 수신된 이미지를 파노라믹(panoramic) 이미지로 어셈블하도록 구성된 이미지 스티칭(stitching) 모듈
    을 더 구비하는 카메라 시스템.
  6. 제5항에 있어서,
    상기 파노라믹 이미지는 360도의 시야 범위를 가지며,
    상기 총 시야각은 360도 보다 큰 카메라 시스템.
  7. 제5항에 있어서,
    상기 파노라믹 이미지는 180도보다 큰 시야 범위를 가지며,
    상기 총 시야각은 상기 파노라믹 이미지의 시야 범위보다 큰 카메라 시스템.
  8. 제1항에 있어서,
    상기 적어도 하나의 제1 카메라 렌즈는 서로 반대 방향으로 배향된 2개의 제1 카메라 렌즈를 구비하는 카메라 시스템.
  9. 제8항에 있어서,
    상기 복수의 제2 카메라 렌즈는 2개의 제2 카메라 렌즈 페어를 구비하는 카메라 시스템.
  10. 제1항에 있어서,
    각각의 카메라 렌즈에 대응하는 미러면(mirror facet)을 갖는 미러 어셈블리 - 상기 각각의 미러면은 물체 이미지를 대응하는 카메라 렌즈에 반사시키도록 구성됨 - 를 더 구비하는 카메라 시스템.
  11. 180도 보다 큰 광각의 이미지를 캡처하기 위한 파노라믹 카메라 시스템으로서,
    제1 시야각을 각각 갖는 하나 이상의 제1 카메라; 및
    제2 시야각을 각각 갖는 적어도 2개의 제2 카메라
    를 포함하며,
    상기 각각의 시야각은 적어도 하나의 다른 시야각과 중첩되며,
    상기 제1 시야각 및 상기 제2 시야각을 결합하여 얻어진 총 시야각은 상기 광각의 이미지에 상기 시야각의 중첩량을 더한 것과 동등한 파노라믹 카메라 시스템.
  12. 제11항에 있어서,
    상기 하나 이상의 제1 카메라는 서로 반대 방향으로 배향되는 2개의 제1 카메라를 구비하며,
    상기 적어도 2개의 제2 카메라는 서로 반대 방향으로 각각 배향되는 하나 이상의 제2 카메라 페어를 구비하는 파노라믹 카메라 시스템.
  13. 제12항에 있어서,
    상기 하나 이상의 제2 카메라 페어는 2개의 제2 카메라 페어를 구비하는 파노라믹 카메라 시스템.
  14. 제11항에 있어서,
    상기 제1 카메라 및 상기 제2 카메라에 의해 레코드된 개별 이미지를 어셈블하여 상기 광각의 이미지를 생성하도록 구성된 이미지 스티칭 모듈을 더 구비하는 파노라믹 카메라 시스템.
  15. 제11항에 있어서,
    상기 제1 카메라 및 상기 제2 카메라 각각에 대응하는 미러면을 갖는 미러 어셈블리 - 상기 제1 카메라 및 상기 제2 카메라는 대응하는 각각의 미러면에 의해 반사된 이미지를 레코드하도록 구성됨 - 를 더 구비하는 파노라믹 카메라 시스템.
  16. 제11항에 있어서,
    상기 제1 시야각 및 상기 제2 시야각은 각각 72도보다 작은 시야각을 갖는 파노라믹 카메라 시스템.
  17. 제1 시야각을 각각 갖는 적어도 하나의 제1 카메라 페어;
    상기 제1 시야각보다 큰 제2 시야각을 각각 갖는 적어도 하나의 제2 카메라 페어; 및
    상기 제1 카메라 및 상기 제2 카메라 각각으로부터의 이미지를 결합하여 360도의 파노라믹 이미지를 형성하도록 구성된 스티칭 모듈
    을 포함하며,
    상기 시야각은 각각 적어도 하나의 다른 시야각과 중첩되는 카메라 시스템.
  18. 제17항에 있어서,
    상기 각각의 제1 카메라 페어 및 상기 각각의 제2 카메라 페어는 서로 반대 방향으로 배향된 2개의 카메라를 포함하는 카메라 시스템.
  19. 제17항에 있어서,
    상기 제1 시야각 및 상기 제2 시야각은 각각 75도보다 작은 시야각을 갖는 파노라믹 카메라 시스템.
  20. 제17항에 있어서,
    상기 제1 카메라 및 상기 제2 카메라에 의해 이미징되는 물체 이미지를 반사시키도록, 상기 제1 카메라 및 상기 제2 카메라와 관련하여 배치된 복수의 미러면을 더 구비하는 카메라 시스템.
KR1020050061726A 2004-07-28 2005-07-08 포비에이티드 파노라믹 카메라 시스템 KR20060049992A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US10/902,675 US7495694B2 (en) 2004-07-28 2004-07-28 Omni-directional camera with calibration and up look angle improvements
US10/902,675 2004-07-28
US11/027,068 US20050117015A1 (en) 2003-06-26 2004-12-30 Foveated panoramic camera system
US11/027,068 2004-12-30

Publications (1)

Publication Number Publication Date
KR20060049992A true KR20060049992A (ko) 2006-05-19

Family

ID=35169239

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050061726A KR20060049992A (ko) 2004-07-28 2005-07-08 포비에이티드 파노라믹 카메라 시스템

Country Status (9)

Country Link
US (1) US20050117015A1 (ko)
EP (1) EP1624687A2 (ko)
JP (1) JP2006039564A (ko)
KR (1) KR20060049992A (ko)
AU (1) AU2005203094A1 (ko)
BR (1) BRPI0503143A (ko)
CA (1) CA2513760A1 (ko)
MX (1) MXPA05008090A (ko)
RU (1) RU2005123981A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100898824B1 (ko) * 2007-07-29 2009-05-22 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상 및 직선수차보정 영상을 얻는 방법 및 그 영상 시스템
KR20170020797A (ko) * 2014-06-20 2017-02-24 퀄컴 인코포레이티드 완전한 구형 이미지들을 캡처할 수 있는 시차 없는 다중 카메라 시스템
US10084958B2 (en) 2014-06-20 2018-09-25 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US10165183B2 (en) 2012-10-19 2018-12-25 Qualcomm Incorporated Multi-camera system using folded optics
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
KR102339825B1 (ko) * 2021-08-11 2021-12-16 한화시스템(주) 상황인식 장치 및 이의 영상 스티칭 방법

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8024189B2 (en) 2006-06-22 2011-09-20 Microsoft Corporation Identification of people using multiple types of input
US8300083B2 (en) * 2007-07-20 2012-10-30 Hewlett-Packard Development Company, L.P. Position relationships associated with image capturing devices
TW200907557A (en) * 2007-08-08 2009-02-16 Behavior Tech Computer Corp Camera array apparatus and the method for capturing wide-angle video over a network
US20090118600A1 (en) * 2007-11-02 2009-05-07 Ortiz Joseph L Method and apparatus for skin documentation and analysis
TWI419551B (zh) * 2008-08-22 2013-12-11 固態全景影像擷取裝置
JP5247356B2 (ja) * 2008-10-29 2013-07-24 キヤノン株式会社 情報処理装置およびその制御方法
JP5483863B2 (ja) * 2008-11-12 2014-05-07 キヤノン株式会社 情報処理装置およびその制御方法
US20100265313A1 (en) * 2009-04-17 2010-10-21 Sony Corporation In-camera generation of high quality composite panoramic images
US8310523B2 (en) * 2009-08-27 2012-11-13 Sony Corporation Plug-in to enable CAD software not having greater than 180 degree capability to present image from camera of more than 180 degrees
CN102143305B (zh) * 2010-02-02 2013-11-06 华为终端有限公司 摄像方法及系统
CN101852972B (zh) * 2010-04-27 2011-08-31 上海虚拟谷数码科技有限公司 一种小直径配置摄像机的云台结构
US8988508B2 (en) * 2010-09-24 2015-03-24 Microsoft Technology Licensing, Llc. Wide angle field of view active illumination imaging system
US8878909B1 (en) * 2010-11-26 2014-11-04 John H. Prince Synthesis of narrow fields of view to create artifact-free 3D images
WO2012136388A1 (en) * 2011-04-08 2012-10-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Capturing panoramic or semi-panoramic 3d scenes
US9030583B2 (en) 2011-09-21 2015-05-12 Semiconductor Components Industries, Llc Imaging system with foveated imaging capabilites
TWI488503B (zh) * 2012-01-03 2015-06-11 國際洋行股份有限公司 會議攝錄裝置及其方法
KR102306729B1 (ko) 2012-04-05 2021-09-28 매직 립, 인코포레이티드 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
US9706264B2 (en) 2013-02-06 2017-07-11 Robert Bosch Gmbh Multiple field-of-view video streaming
CN105393170B (zh) * 2013-04-16 2019-06-04 弗劳恩霍夫应用研究促进协会 多相机系统的校准、多相机系统以及校准辅助物
KR102483838B1 (ko) * 2015-04-19 2023-01-02 포토내이션 리미티드 Vr/ar 응용에서 심도 증강을 위한 다중-기선 카메라 어레이 시스템 아키텍처
WO2017149875A1 (ja) 2016-02-29 2017-09-08 ソニー株式会社 撮像制御装置、撮像装置及び撮像制御方法
US10330935B2 (en) 2016-09-22 2019-06-25 Apple Inc. Predictive, foveated virtual reality system
CN107343191A (zh) * 2017-06-11 2017-11-10 成都吱吖科技有限公司 一种基于虚拟现实的交互式全景视频播放方法及装置
US10867368B1 (en) 2017-09-29 2020-12-15 Apple Inc. Foveated image capture for power efficient video see-through
US10951859B2 (en) 2018-05-30 2021-03-16 Microsoft Technology Licensing, Llc Videoconferencing device and method
KR102646521B1 (ko) 2019-09-17 2024-03-21 인트린식 이노베이션 엘엘씨 편광 큐를 이용한 표면 모델링 시스템 및 방법
EP4042101A4 (en) 2019-10-07 2023-11-22 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR DETECTING SURFACE NORMALS USING POLARIZATION
EP4066001A4 (en) 2019-11-30 2024-01-24 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR TRANSPARENT OBJECT SEGMENTATION USING POLARIZATION GUIDES
JP7462769B2 (ja) 2020-01-29 2024-04-05 イントリンジック イノベーション エルエルシー 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法
WO2021154459A1 (en) 2020-01-30 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11563873B2 (en) * 2020-04-14 2023-01-24 Qualcomm Incorporated Wide-angle 3D sensing
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3118340A (en) * 1964-01-21 Panoramic motion picture camera arrangement
US5796426A (en) * 1994-05-27 1998-08-18 Warp, Ltd. Wide-angle image dewarping method and apparatus
US5990934A (en) * 1995-04-28 1999-11-23 Lucent Technologies, Inc. Method and system for panoramic viewing
US5745305A (en) * 1995-04-28 1998-04-28 Lucent Technologies Inc. Panoramic viewing apparatus
US5657073A (en) * 1995-06-01 1997-08-12 Panoramic Viewing Systems, Inc. Seamless multi-camera panoramic imaging with distortion correction and selectable field of view
US5539483A (en) * 1995-06-30 1996-07-23 At&T Corp. Panoramic projection apparatus
US5793527A (en) * 1995-06-30 1998-08-11 Lucent Technologies Inc. High resolution viewing system
US6115176A (en) * 1995-11-30 2000-09-05 Lucent Technologies Inc. Spherical viewing/projection apparatus
US6111702A (en) * 1995-11-30 2000-08-29 Lucent Technologies Inc. Panoramic viewing system with offset virtual optical centers
US6023061A (en) * 1995-12-04 2000-02-08 Microcam Corporation Miniature infrared camera
US6341044B1 (en) * 1996-06-24 2002-01-22 Be Here Corporation Panoramic imaging arrangement
US6459451B2 (en) * 1996-06-24 2002-10-01 Be Here Corporation Method and apparatus for a panoramic camera to capture a 360 degree image
US6493032B1 (en) * 1996-06-24 2002-12-10 Be Here Corporation Imaging arrangement which allows for capturing an image of a view at different resolutions
US6373642B1 (en) * 1996-06-24 2002-04-16 Be Here Corporation Panoramic imaging arrangement
US6356296B1 (en) * 1997-05-08 2002-03-12 Behere Corporation Method and apparatus for implementing a panoptic camera system
US6924832B1 (en) * 1998-08-07 2005-08-02 Be Here Corporation Method, apparatus & computer program product for tracking objects in a warped video image
US6141145A (en) * 1998-08-28 2000-10-31 Lucent Technologies Stereo panoramic viewing system
US6285365B1 (en) * 1998-08-28 2001-09-04 Fullview, Inc. Icon referenced panoramic image display
US6195204B1 (en) * 1998-08-28 2001-02-27 Lucent Technologies Inc. Compact high resolution panoramic viewing system
US6144501A (en) * 1998-08-28 2000-11-07 Lucent Technologies Inc. Split mirrored panoramic image display
US6128143A (en) * 1998-08-28 2000-10-03 Lucent Technologies Inc. Panoramic viewing system with support stand
US6369818B1 (en) * 1998-11-25 2002-04-09 Be Here Corporation Method, apparatus and computer program product for generating perspective corrected data from warped information
US7057636B1 (en) * 1998-12-22 2006-06-06 Koninklijke Philips Electronics N.V. Conferencing system and method for the automatic determination of preset positions corresponding to participants in video-mediated communications
US6597520B2 (en) * 1999-01-13 2003-07-22 Be Here Corporation Panoramic imaging arrangement
US6741250B1 (en) * 2001-02-09 2004-05-25 Be Here Corporation Method and system for generation of multiple viewpoints into a scene viewed by motionless cameras and for presentation of a view path
US6756990B2 (en) * 2001-04-03 2004-06-29 Be Here Corporation Image filtering on 3D objects using 2D manifolds
JP3714200B2 (ja) * 2001-06-20 2005-11-09 ソニー株式会社 撮像装置
US6947059B2 (en) * 2001-08-10 2005-09-20 Micoy Corporation Stereoscopic panoramic image capture device
US20040021764A1 (en) * 2002-01-28 2004-02-05 Be Here Corporation Visual teleconferencing apparatus
US7012757B2 (en) * 2002-05-08 2006-03-14 Be Here Corporation Method for designing a lens system and resulting apparatus
US6809887B1 (en) * 2003-06-13 2004-10-26 Vision Technologies, Inc Apparatus and method for acquiring uniform-resolution panoramic images
US7212651B2 (en) * 2003-06-17 2007-05-01 Mitsubishi Electric Research Laboratories, Inc. Detecting pedestrians using patterns of motion and appearance in videos

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100898824B1 (ko) * 2007-07-29 2009-05-22 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상 및 직선수차보정 영상을 얻는 방법 및 그 영상 시스템
US10165183B2 (en) 2012-10-19 2018-12-25 Qualcomm Incorporated Multi-camera system using folded optics
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
KR20170020797A (ko) * 2014-06-20 2017-02-24 퀄컴 인코포레이티드 완전한 구형 이미지들을 캡처할 수 있는 시차 없는 다중 카메라 시스템
US10084958B2 (en) 2014-06-20 2018-09-25 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
KR102339825B1 (ko) * 2021-08-11 2021-12-16 한화시스템(주) 상황인식 장치 및 이의 영상 스티칭 방법

Also Published As

Publication number Publication date
JP2006039564A (ja) 2006-02-09
CA2513760A1 (en) 2006-01-28
AU2005203094A1 (en) 2006-02-16
EP1624687A2 (en) 2006-02-08
MXPA05008090A (es) 2006-02-01
BRPI0503143A (pt) 2006-03-14
US20050117015A1 (en) 2005-06-02
RU2005123981A (ru) 2007-02-10

Similar Documents

Publication Publication Date Title
KR20060049992A (ko) 포비에이티드 파노라믹 카메라 시스템
CN100524017C (zh) 凹形全景照相机系统
US10565734B2 (en) Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US7224382B2 (en) Immersive imaging system
US7298392B2 (en) Omni-directional camera design for video conferencing
CN107219710B (zh) 多镜头系统及具有该多镜头系统的便携式电子装置
US7171088B2 (en) Image input device
US7667730B2 (en) Composite surveillance camera system
KR101685418B1 (ko) 3차원 영상을 생성하는 감시 시스템
JPH08125835A (ja) 全方位撮影装置及び全方位画像合成装置
JP2007108744A (ja) パノラマ映像発生用マルチレンズ・カメラ方式の撮像装置
KR20020070494A (ko) 영상 처리 시스템을 위한 결합된 디스플레이-카메라
US9503638B1 (en) High-resolution single-viewpoint panoramic camera and method of obtaining high-resolution panoramic images with a single viewpoint
US10057487B1 (en) Panoramic imaging systems based on normal-lens cameras
US11924395B2 (en) Device comprising a multi-aperture imaging device for generating a depth map
US11330161B2 (en) Device comprising a multi-aperture imaging device for accumulating image information
GB2354390A (en) Wide-angle image capture apparatus
KR102031485B1 (ko) 360도 카메라와 평면 거울을 이용한 다시점 영상 획득 장치 및 방법
JP2006025340A (ja) 広角撮像装置、撮像システムおよびその制御方法
JP2001258050A (ja) 立体映像撮像装置
JP4199940B2 (ja) 撮像装置及び撮像システム
JP2015061125A (ja) 画像撮影装置及び画像撮影方法
JP2003512783A (ja) 周辺視覚を伴うカメラ
US20220308355A1 (en) Striped mirror image splitter
JP2002244235A (ja) 全方位撮像器

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application