KR20050046822A - 다수의 카메라들을 사용하여 파노라마식 시각화를 가능하게하는 방법 및 시스템 - Google Patents
다수의 카메라들을 사용하여 파노라마식 시각화를 가능하게하는 방법 및 시스템 Download PDFInfo
- Publication number
- KR20050046822A KR20050046822A KR1020057006420A KR20057006420A KR20050046822A KR 20050046822 A KR20050046822 A KR 20050046822A KR 1020057006420 A KR1020057006420 A KR 1020057006420A KR 20057006420 A KR20057006420 A KR 20057006420A KR 20050046822 A KR20050046822 A KR 20050046822A
- Authority
- KR
- South Korea
- Prior art keywords
- view
- panoramic
- data
- view port
- cameras
- Prior art date
Links
- 238000012800 visualization Methods 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 title claims description 10
- 238000012545 processing Methods 0.000 claims abstract description 49
- 239000000203 mixture Substances 0.000 claims abstract description 7
- 238000003384 imaging method Methods 0.000 claims description 18
- 238000007794 visualization technique Methods 0.000 claims 1
- 238000012937 correction Methods 0.000 description 6
- 230000000712 assembly Effects 0.000 description 4
- 238000000429 assembly Methods 0.000 description 4
- 239000011295 pitch Substances 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 238000009125 cardiac resynchronization therapy Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- NIOPZPCMRQGZCE-WEVVVXLNSA-N 2,4-dinitro-6-(octan-2-yl)phenyl (E)-but-2-enoate Chemical compound CCCCCCC(C)C1=CC([N+]([O-])=O)=CC([N+]([O-])=O)=C1OC(=O)\C=C\C NIOPZPCMRQGZCE-WEVVVXLNSA-N 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F41—WEAPONS
- F41H—ARMOUR; ARMOURED TURRETS; ARMOURED OR ARMED VEHICLES; MEANS OF ATTACK OR DEFENCE, e.g. CAMOUFLAGE, IN GENERAL
- F41H5/00—Armour; Armour plates
- F41H5/26—Peepholes; Windows; Loopholes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
Abstract
파노라마식 시각화 시스템(20)은 중첩하는 시야들(14)을 갖는 다수의 카메라들을 구비한다. 포인팅 장치(22)는 프로세싱 시스템(21)으로 뷰 포트 방향 정보를 공급하고, 프로세싱 시스템(21)은 카메라들(12)에 의해 이미징된 파노라마식 뷰를 나타내는 파노라마식 뷰 데이터를 생성하기 위하여 시야들(14)를 블렌딩하며, 프로세싱 시스템(21)은 또한 뷰 포트 방향을 따라 뷰 포트 데이터를 생성한다. 프로세싱 시스템(21)은 영상 프로세싱 보드를 사용한다. 디스플레이 장치(26)는 이미지 영역을 보여주기 위하여 뷰 포트(113) 데이터를 이미징한다. 프로세싱 시스템(21)은 유용하게 카메라들의 상대 위치들, 개개의 카메라들의 렌즈 왜곡, 및 롤, 피치, 및 요를 수정한다. 상기 시스템은 이동하는 물체를 추적하기 위하여 뷰 포트(113)를 자동으로 이동시키는 자동-추적 어셈블리를 포함할 수 있는 한편, 프로세싱 시스템(21)은 다수의 사용자들이 다수의 뷰 포트들을 관찰할 수 있게 한다. 카메라들(12)은 유용하게 차량(700) 상에 설치된다.
Description
본 발명은 일 영역의 파노라마식 시각화를 달성하기 위하여 다수의 카메라들을 사용하는 것에 관한 것이다.
장갑차, 예를 들어, 군용 차량 또는 치안 차량의 탑승자들은 종종 자신을 적에게 노출시키지 않으면서 차량 주변에서 벌어지는 일들을 관찰하는 것이 필요하다. 과거에, 방탄 글래스 프리즘 블록들이 이러한 목적을 위하여 사용되어 왔다.
보다 최근에는, 짐벌 설치 카메라(gimbaled-mounted camera)들이 평판 디스플레이(FPD)들 상에 또는 헬멧 설치 디스플레이(helmet-mountd display;HMD)들 상에 나타나는 파노라마식 뷰(view)를 제공하기 위하여 사용되어 오고 있다. 상기 시스템들에서, 관찰 방향(viewing direction)은 보통 짐벌 설치 카메라의 관찰 방향을 변화시킴으로써 조절될 수 있다. 종종, 조이스틱 또는 헤드 트래커(head tracker)와 같은 포인팅 장치가 관찰 방향을 제어한다. 만약 헤드 트래커가 사용된다면, 관찰 방향은 관찰자에 의해 관찰되는 것에 대응하도록 구성될 수 있고, 그에 의해 일 영역을 관찰하는 고도로 직관적인 방법을 제공한다.
군용 장갑차 주변에서 벌어지는 일을 관찰하는 또다른 접근법은 모든 방향들로부터 이미지들을 얻기 위하여 차량 외부에 카메라들의 세트를 배치하는 것이다. 그러한 이미지들은 수집되어 목적하는 관찰 방향을 따른 이미지들을 제공하기 위하여 전자적으로 프로세싱될 수 있다. 상기 제공된 이미지들은 본 명세서에서 뷰 포트(view port)로서 언급된다. 그러한 접근법의 예시는 Belt 등에 의한 "전투 차량 시각화 시스템(Combat Vehicle Visualization System)", SPIE 회보, v.4021, p.252 (2000)에서 발견될 수 있다.
전술한 접근법들은 군용 장갑차의 탑승자들을 위험에 노출시키지 않으면서 파노라마식 시각화를 가능하게 하여 적의 환경에 매우 유리하다는 점에 이점이 있으나 최적은 아니다. 프리즘 블록들은 이점이 있으나, 수평으로 그리고 수직으로 모두 제한되는 뷰를 제공한다. 짐벌 설치 카메라들은 고유의 기계적 운동 지연들이 목적하는 뷰 포트가 변화될 수 있는 속도를 제한한다는 점에서 결점을 갖는다. 부가하여, 멀티플 카메라 시스템들은 이미지 캡쳐 및 프로세싱을 위하여 크고 다루기 어려우며 매우 복잡하고 값비싼 특수 목적의 컴퓨터들을 요구해왔다는 심각한 결점을 가졌다.
따라서, 특수 목적의 컴퓨터를 요구하지 않는 멀티플 카메라 파노라마식 시각화 시스템이 유용할 것이다. 이웃하는 시야(field of view)들을 함께 매끄럽게 블렌딩하는 상기 멀티플 카메라 파노라마식 시각화 시스템이 특히 유용할 것이다. 또한 다수의 사용자들이 자신의 관찰 방향을 선택할 수 있게 하는 멀티플 카메라 파노라마식 시각화 시스템이 유용할 것이다. 렌즈 왜곡과, 롤(roll), 피치(pitch), 및 요(yaw)와 같은 여러 이미징 문제점들을 수정하는 멀티플 카메라 파노라마식 시각화 시스템 또한 유용할 것이다. 소정의 응용예들에서, 파노라마식 관찰 영역 내에서 이동하는 물체들을 수동 및/또는 자동으로 추적할 수 있는 멀티플 카메라 파노라마식 시각화 시스템이 매우 유용할 것이다.
도 1은 일 영역의 파노라마식 뷰를 제공하도록 구성된 복수 개의 이미징 카메라들의 탑-다운 뷰이다.
도 2는 도 1에 도시된 복수 개의 이미징 카메라들의 중첩하는 시야들을 예시한다.
도 3은 본 발명의 원리들에 따른 파노라마식 관찰 시스템의 블록도이다.
도 4는 도 3의 파노라마식 관찰 시스템에 사용된 이미지 프로세싱 시스템의 실시예들을 예시한다.
도 5는 도 3의 파노라마식 관찰 시스템 내 다수의 비디오 카드들 사용을 예시한다.
도 6은 자동-추적 모듈을 포함하는 파노라마식 관찰 시스템을 예시한다.
도 7은 군용 장갑차 상에 설치된 파노라마식 관찰 시스템을 예시한다.
본 발명의 원리들은 특수 목적의 컴퓨터를 요구하지 않으면서 이웃하는 시야들을 함께 매끄럽게 블렌딩할 수 있는 신규한 멀티플 카메라 파노라마식 시각화 시스템을 제공한다. 그러한 멀티플 카메라 파노라마식 시각화 시스템은 다수의 사용자들이 자신의 관찰 방향을 선택할 수 있게 하도록, 이동하는 물체들의 수동 및/또는 자동 추적을 가능하게 하도록, 그리고 렌즈 왜곡과 롤, 피치, 및 요 수정과 같은 여러 이미징 문제점들을 수정하도록 구현될 수 있다.
본 발명에 따른 파노라마식 시각화 시스템은 다수의 카메라들을 포함하고, 각각의 카메라는 카메라의 시야로부터 이미지 데이터를 생성한다. 부가하여, 각각의 카메라 시야는 이웃하는 시야를 중첩한다. 포인팅 장치는 프로세싱 시스템에 뷰 포트 방향 정보를 공급하고, 상기 프로세싱 시스템은 또한 카메라들로부터 이미지 데이터를 수신한다. 프로세싱 시스템은 카메라들에 의해 이미징된 파노라마식 뷰를 나타내는 파노라마식 뷰 데이터를 생성하기 위하여 중첩하는 시야들로부터 이미지 데이터를 유용하게 블렌딩한다. 그 다음, 프로세싱 시스템은 파노라마식 뷰 데이터에 기초하여 뷰 포트 방향을 따라 뷰 포트 데이터를 생성한다. 프로세싱 시스템 그 자체는 영상 프로세싱 보드(vision processing board)를 포함한다.
헬멧 설치 디스플레이, CRT, 또는 평판 디스플레이와 같은 디스플레이 장치는 뷰 포트 데이터를 이미징하기 위하여 사용될 수 있다. 실제적으로, 적절한 포인팅 장치는 마우스, 헤드 트래커, 터치 스크린, 또는 조이스틱일 수 있다.
부가하여, 프로세싱 시스템은 유용하게 개별적인 카메라들의 상대 위치, 개별적인 카메라들의 렌즈 왜곡, 및 롤, 피치, 및 요를 수정한다. 그러나, 상기 렌즈 왜곡들이 카메라들에 의해 해결되거나 허용가능한 한계 내에 있다면, 렌즈 왜곡을 해결하는 수정 방법들은 생략될 수 있다.
파노라마식 시각화 시스템은 뷰 포트 데이터를 제어하는 제어 정보를 생성하는 제어 어셈블리를 포함할 수 있다. 부가적으로, 파노라마식 시각화 시스템은 이동하는 물체를 추적하기 위하여 뷰 포트를 자동으로 이동시키는 자동-추적 어셈블리를 포함할 수 있다. 부가하여, 파노라마식 시각화 시스템은 다수의 포인팅 장치들을 포함할 수 있고, 프로세싱 시스템은 다수의 사용자들이 개개의 사용자들에 의해 선택된 영역들을 시각화할 수 있게 하기 위하여 다수의 뷰 포트들을 생성할 수 있다. 그러한 시스템들에서, 다수의 디스플레이 장치가 사용될 수 있다. 유용하게, 파노라마식 시각화 시스템은 이동하는 차량(예를 들어, 탱크) 상에 설치된 카메라들로 구현될 수 있다.
앞서 요약된 본 발명의 보다 특정한 설명이 전술된 본 발명의 특징들이 달성되고 상세히 이해될 수 있는 방식으로 첨부된 도면에 예시된 실시예들을 참조하여 이루어질 수 있다.
그러나, 첨부된 도면들은 단지 본 발명의 전형적인 실시예들을 예시할 뿐이므로 본 발명의 범위를 제한하는 것으로 간주될 수 없고, 본 발명에 대하여 똑같이 유효한 다른 실시예들을 인정할 수 있다.
본 발명의 원리들은 특수 목적의 컴퓨터를 요구하지 않는 멀티플 카메라 파노라마식 시각화 시스템을 제공한다. 본 발명의 원리들에 따른 파노라마식 시각화 시스템은 이웃하는 시야들을 함께 매끄럽게 블렌딩할 수 있다. 부가하여, 소정의 실시예들은 다수의 사용자들이 그들 자신의 관찰 방향을 선택할 수 있게 한다. 부가하여, 다른 실시예들이 파노라마식 관찰 영역 내에서 이동하는 물체들을 수동 및/또는 자동으로 추적하도록 구성될 수 있다.
이제 도 1을 참조하면, 파노라마식 시각화 시스템은 복수 개의 이미징 카메라들(12)을 포함한다. 바람직하게 이미징 카메라들은 카메라 위치들에 관한 변환 매개변수들이 교정 절차(calibration procedure) 동안 결정될 수 있도록 고정된 상대 위치들에 위치한다. 이어서 그러한 변환 매개변수들이 모든 카메라들 및 모든 뷰에 대하여 공통의 좌표 프레임을 제공하기 위하여 사용된다. 도 1은 복수 개의 카메라들에 대한 탑-다운 뷰인데, 외향-이미징 미러들을 향하는 수직 지향 카메라들과 같은 다른 방향들 또한 가능하다. 부가적으로, 여러 렌즈 속성들에 관한 렌즈 왜곡 수정 매개변수들 또한 교정 절차 동안 결정될 수 있다. 렌즈 왜곡 수정 매개변수들은 개선된 광학 성능을 가능케 하고, 특히 이웃하는 시야들을 블렌딩할 때 그러하다.
도 2는 이미징 카메라들(12)의 시야들(14)을 예시한다. 그러한 시야들은 시스템의 전체적인 파노라마식 뷰를 정의한다. 유용하게, 시야들(14)은 이웃하는 시야들(14)의 매끄러운 블렌딩을 가능하게 하기 위하여 중첩된다(16). 도 1 및 도 2는 원형으로 구성된 이미징 카메라들(12) 및 시야들(14)을 보여주나, 이것은 필수사항이 아니다. 본 발명의 원리들은 다른 커버리지 범위(예를 들어, 45도)를 갖고 상이한 카메라 위치 구성들을 갖는 다수의 카메라들에 적용가능하다. 그리하여, 2 이상의 시야들(14)이 중첩될 수 있는 구성에 카메라들을 배치하는 것이 가능하다.
도 3은 이미징 카메라들(12)로부터 이미지 데이터를 전자적으로 프로세싱하는 프로세싱 시스템(21)을 포함하는 파노라마식 관찰 시스템(20)을 예시한다. 파노라마식 관찰 시스템(20)은 또한 하나 이상의 포인팅 장치(22), 하나 이상의 제어 어셈블리(24), 및 하나 이상의 디스플레이 장치(26)를 포함한다. 포인팅 장치들 및 제어 어셈블리들은 목적하는 뷰 포트(이하 참조)와 시야에 관련된 정보, 및 조작자 제어 정보를 프로세싱 시스템(21)에 제공한다. 디스플레이 장치는 사용자 또는 사용자들에게 뷰 포트의 이미지를 제공한다.
프로세싱 시스템(21)은, 윈도우즈 운영 시스템을 사용하고 특화된 프로세싱 보드들을 허용하는 PCI 버스를 구비하는 PC와 같은 개인용 컴퓨터(PC)를 포함한다. 그러한 특화된 프로세싱 보드들은 Pyramid Vision Technologies, Inc.에 의해 제조된 Acadia 영상 가속기(vision accelerator)와 같은 영상 프로세싱 보드들을 포함한다. 전형적인 포인팅 장치(22)는 키보드, 마우스, 조이스틱, 트랙볼, 터치 스크린, 또는 헤드 트래커일 수 있다. 전형적인 제어 어셈블리(24)는 전방 및 후방 관찰 사이를 스위칭하는 전기 스위치들, 및 줌 제어를 포함할 수 있다. 전형적인 디스플레이 장치는 평판 디스플레이, CRT 또는 헬멧 설치 디스플레이일 수 있다. 또한 디스플레이 장치는 카메라 또는 메모리와 같은 레코더일 수 있다.
파노라마식 관찰 시스템(20)은 상당한 양의 이미지 프로세싱을 요구한다. 도 4는 적절한 이미지 프로세싱 시스템(100)의 일 실시예를 도시한다. 도 4는 프로세싱 단계들을 보여주는 흐름도 및 복수 개의 모듈을 구비하는 프로세싱 시스템의 블록도를 예시한다.
이미지 프로세싱 시스템(100)은 이미징 카메라들(12)로부터 중첩하는 시야(16) 이미지 정보를 수신한다. 수신된 이미지 정보는 멀티플렉서(110)에 제공되고, 상기 멀티플렉서(110)는 이미징 카메라들로부터 나온 여러 스트림(stream)들 중에서 선택한다. 선택된 비디오 스트림들은 포인팅 장치들(22) 및 제어 어셈블리들(24)로부터 나온 정보에 기초한다(도 3 참조). 예를 들어, 이제 도 2를 참조하면, 이미지 프로세싱 시스템(100)은 조준수(gunner)의 헤드 트래커에 기초하여 물체, 즉, 이미지 영역(113) 내 적을 추적하고 있다.
다시 도 4를 참조하면, 교정 동안 결정된 렌즈 왜곡 수정 매개변수들에 기초하여, 휘어진 카메라 이미지들은 투영 유동장(projective flowfield), 또는 불연속(타일식) 2차 변환(quadratic transformation)에 의해 투영 유동장에 근사한 비투영 유동장(non-projective flowfield)을 사용하는 모듈(120)에 의해 렌즈 왜곡에 대해 수정된다. 그 다음, 렌즈 왜곡 수정 비디오 스트림(lens distortion corrected video stream)들은 모듈(130)을 통해 가상의 롤, 피치 및/또는 요에 대해 투영적으로 수정된다. 그 다음, 조정된 비디오 스트림들은 모듈(140)에 의해 경계선 없는 파노라마를 제공하기 위하여 함께 블렌딩된다. 그 다음, 경계선 없는 파노라마는 모듈(150)을 통해 뷰 포트로서 디스플레이에 제공된다.
목적하는 이미지 영역(113)을 디스플레이하는 뷰 포트는 가상 카메라 회전, 렌즈 왜곡 및 다른 산물들을 고려하기 위하여 전자적으로 조정되어 왔다. 뷰 포트는 실제로 이미지 영역(113)의 방향으로 지시되는 카메라로부터 얻는 뷰와 동일하거나 매우 근사하다. 대부분의 이미지 프로세싱 시스템(100)은 Acadia 영상 가속기 보드와 같은 단일의 비디오 프로세싱 보드를 사용하여 구현된다. 그리하여, 영상 가속기는 주 컴퓨터의 계산 요구사항들을 감소시킨다.
파노라마식 관찰 시스템(20)은 동일한 카메라들의 세트가 상이한 관찰자들에게 상이한 방향들의 뷰를 동시에 제공할 수 있다는 점에서 짐벌 시스템(gimbaled system)들에 비해 이점이 있다. 더욱이, 파노라마식 관찰 시스템(20)은 더 빠르고 가상 카메라 팬(pan), 틸트(tilt), 및 롤을 해결한다. 전통적인 짐벌 시스템들은 전형적으로 롤을 해결할 수 없다. 부가하여, 파노라마식 관찰 시스템(20)은 이동하는 부분들을 전혀 갖지 않고, 사이에 끼어든 지점들을 통해 패닝(pan)할 필요없이 뷰 포트로부터 뷰 포트로 "점프"할 능력을 갖는다.
도 3에 도시된 파노라마식 관찰 시스템(20)은 유용한 반면, 소정의 응용예들에서는 최적이 아닐 수 있다. 예를 들어, 도 5는 프로세싱 시스템(170)이 다수의 비디오 프로세싱 카드들을 포함하는 본 발명의 실시예를 도시하는데, 다수의 비디오 프로세싱 카드 중 단지 2개, 카드 A 및 카드 B만이 도시되어 있다. 부가하여, 도 5는 선택적인 프리프로세서(preprocessor)(175)를 예시한다. 동작시, 이미징 카메라들(12)로부터 나온 이미징 데이터는 카드 A 및 카드 B 양자 모두에 병렬적으로 인가된다. 만약 프리프로세서(175)가 사용된다면, 프리프로세서(175)는 공통 작업, 즉, 렌즈 왜곡 수정을 달성하기 위하여 들어오는 이미징 데이터를 디지털식으로 프로세싱한다. 부가하여, 카드 A 및 카드 B는 제어 어셈블리들(24)로부터 병렬 정보를 수신한다. 그러나, 각각의 카드는 상이한 포인팅 장치(22)로부터 포인팅 정보를 수신한다. 이것은 2명의 사용자가 상이한 뷰 포트들을 관찰할 수 있게 한다. 부가하여, 선택적인 프리프로세서(175)는 하나의 프리프로세서가 모든 카드들에 공통인 작업들을 다룰 수 있게 한다.
본 발명의 또다른 실시예는 도 6에 도시된다. 도 6은 자동-추적 모듈(205)을 구비하는 프로세싱 시스템(202)을 포함하는 파노라마식 시각화 시스템(200)을 예시한다. 자동-추적 모듈(205)은 이미징 카메라들(12)로부터 이미지 데이터를 수신한다. 자동-추적 모듈은 또한 이동하는 물체를 가질 수 있는 이미지 영역(113)(도 2 참조)을 식별하는 포인팅 장치(22)로부터 정보를 수신한다. 이미징 카메라들로부터 나온 이미지 데이터의 편차들 및 제어 어셈블리(24)로부터 나온 제어 정보에 기초하여, 자동-추적 모듈은 이동하는 물체를 추적하기 위하여 뷰 포트를 자동으로 이동시킬 수 있다. 이동하는 물체 검출은 당업자들에게 공지되어 있다. 예를 들어, 2000년 6월 27일자로 Hansen 등에게 발행된 미국 특허 제 6,081,606호 및 2002년 8월 13일자로 Wixson에게 발행된 미국 특허 제 6,434,254호를 참조하라.
여전히 도 6을 참조하면, 대안적으로 제어 어셈블리(24)로부터 나온 제어 정보 및 포인팅 장치(22)로부터 나온 정보는 뷰 포트가 이동하는 목표물을 발견하기 위해 수동으로 조정되도록 사용될 수 있다. 그 다음, 이동하는 목표물의 자동-추적은 사용자에 의해 또는 소프트웨어 루틴에 의해 초기화될 수 있다.
본 발명의 원리들은 군용 또는 치안용 장갑 차량과 같은 이동하는 차량의 탑승자들을 보호하기 위하여 사용될 수 있다. 그 다음, 상기 탑승자들은 자신들을 적에게 노출시키지 않으면서 차량 주변에서 벌어지는 일들을 관찰할 수 있다. 예를 들어, 도 7은 탱크(700)에 부착된 파노라마식 관찰 시스템을 도시하는데, 여기서, 카메라들(12)은 탱크 몸체 외부에 설치된다. 탱크(700) 내부의 조작자 또는 조작자들은 뷰 포트 방향 정보를 프로세싱 시스템에 공급하는 포인팅 장치들을 사용할 수 있다.
전술한 설명은 본 발명의 바람직한 실시예를 가리키는 반면, 본 발명의 다른 부가적인 실시예들이 본 발명의 기본 범위를 벗어나지 않으면서 고안될 수 있고, 본 발명의 범위는 이하의 청구범위에 의해 결정된다.
Claims (10)
- 파노라마식 시각화 시스템(20)으로서,복수 개의 카메라들(12) - 각각의 카메라는 그것의 시야(14)로부터 이미지 데이터를 생성하고, 각 카메라의 시야(14)는 이웃하는 시야(14)와 중첩함 -;뷰 포트(113) 방향 정보를 공급하기 위한 포인팅 장치(22); 및상기 뷰 포트(113) 방향 정보 및 상기 복수 개의 카메라들로부터 나온 상기 이미지 데이터를 수신하고, 상기 수신된 뷰 포트(113) 방향 정보에 응답하여 상기 수신된 이미지 데이터로부터 뷰 포트(113) 데이터를 생성하기 위한 프로세싱 시스템(21);을 포함하고,여기서, 상기 프로세싱 시스템(21)은 파노라마식 뷰를 나타내는 파노라마식 뷰 데이터를 생성하기 위하여 중첩된 시야들로부터 상기 이미지 데이터를 블렌딩하고, 상기 뷰 포트(113) 데이터는 상기 뷰 포트(113) 방향 정보에 의해 선택된 상기 파노라마식 뷰의 일 부분을 나타내며, 상기 프로세싱 시스템(21)은 상기 복수 개의 카메라들(12)의 상대 위치들에 대한 뷰 포트(113) 데이터를 수정하는 파노라마식 시각화 시스템(20).
- 제 1항에 있어서,상기 프로세싱 시스템(21)은 이동하는 물체를 자동으로 추적하는 파노라마식 시각화 시스템(20).
- 제 1항에 있어서,상기 프로세싱 시스템(21)은 롤(roll), 피치(pitch), 또는 요(yaw)에 대한 상기 뷰 포트(113) 데이터를 수정하는 파노라마식 시각화 시스템(20).
- 제 1항에 있어서,상기 복수 개의 카메라들(12)은 이동하는 차량(700) 상에 설치되는 파노라마식 시각화 시스템(20).
- 파노라마식 시각화 시스템(20)으로서,복수 개의 카메라들(12) - 각각의 카메라는 그것의 시야(14)로부터 이미지 데이터를 생성하고, 각 시야(14)는 이웃하는 시야(14)와 중첩함 -;제 1 뷰 포트(113) 방향 정보를 공급하기 위한 제 1 포인팅 장치(22);제 2 뷰 포트(113) 방향 정보를 공급하기 위한 제 2 포인팅 장치(22);및상기 제 1 뷰 포트(113) 방향 정보, 상기 제 2 뷰 포트(113) 방향 정보 및 상기 복수 개의 카메라들(12)로부터 나온 상기 이미지 데이터를 수신하고, 상기 수신된 제 1 뷰 포트(113) 방향 정보에 응답하여 상기 수신된 이미지 데이터로부터 제 1 뷰 포트(113) 데이터를 생성하며, 부가하여 상기 수신된 제 2 뷰 포트(113) 방향 정보에 응답하여 상기 수신된 이미지 데이터로부터 제 2 뷰 포트(113) 데이터를 생성하기 위한 프로세싱 시스템(21);을 포함하고,여기서, 상기 프로세싱 시스템(21)은 파노라마식 뷰를 나타내는 파노라마식 뷰 데이터를 생성하기 위하여 중첩된 시야들로부터 상기 이미지 데이터를 블렌딩하고, 상기 제 1 뷰 포트(113) 데이터는 상기 제 1 뷰 포트(113) 방향 정보에 의해 선택된 상기 파노라마식 뷰의 일 부분을 나타내며, 상기 제 2 뷰 포트(113) 데이터는 상기 제 2 뷰 포트(113) 방향 정보에 의해 선택된 상기 파노라마식 뷰의 일 부분을 나타내며, 상기 뷰 포트들 중 적어도 하나는 이동하는 물체를 자동으로 추적하는 파노라마식 시각화 시스템(20).
- 제 5항에 있어서,상기 제 1 뷰 포트(113) 데이터를 디스플레이하기 위한 제 1 디스플레이 장치(26) 및 상기 제 2 뷰 포트(113) 데이터를 디스플레이하기 위한 제 2 디스플레이 장치를 더 포함하는 파노라마식 시각화 시스템(20).
- 제 5항에 있어서,상기 파노라마식 시각화 시스템(20)은 제어 정보를 생성하는 제어 어셈블리를 더 포함하고,상기 프로세싱 시스템(21)은 상기 제어 정보에 기초하여 상기 제 1 뷰 포트(113) 데이터를 생성하는 파노라마식 시각화 시스템(20).
- 파노라마식 뷰를 시각화하는 방법으로서,카메라들이 중첩하는 시야들을 갖는 이미지들을 생성하도록 렌즈들을 구비한 복수 개의 카메라들을 배치하는 단계;뷰 포트 방향 정보를 얻는 단계; 및상기 카메라 렌즈들에 의해 생성된 왜곡이 수정되도록 상기 뷰 포트 방향 정보에 의해 선택된 상기 파노라마식 뷰의 일 부분을 나타내는 파노라마식 뷰 데이터를 생성하기 위하여 상기 이미지들을 프로세싱하는 단계;를 포함하는 파노라마식 뷰 시각화 방법.
- 제 8항에 따른 파노라마식 시각화 시스템(20)으로서,상기 프로세싱 단계는 이동하는 물체를 자동으로 추적하는 파노라마식 시각화 시스템(20).
- 차량 영상 시스템(200)으로서,차량 몸체(700);상기 몸체에 설치된 복수 개의 카메라들(12) - 각각의 카메라는 그것의 시야(14)로부터 이미지 데이터를 생성하고, 각 카메라의 시야(14)는 이웃하는 시야(14)와 중첩함 -;뷰 포트(113) 방향 정보를 공급하기 위한 포인팅 장치(22); 및상기 뷰 포트(113) 방향 정보 및 상기 복수 개의 카메라들(12)로부터 나온 상기 이미지 데이터를 수신하고, 상기 수신된 뷰 포트(113) 방향 정보에 응답하여 상기 수신된 이미지 데이터로부터 뷰 포트(113) 데이터를 생성하기 위한 프로세싱 시스템(202);을 포함하고,여기서, 상기 프로세싱 시스템(202)은 파노라마식 뷰를 나타내는 파노라마식 뷰 데이터를 생성하기 위하여 중첩된 시야들로부터 상기 이미지 데이터를 블렌딩하고, 상기 뷰 포트(113) 데이터는 상기 뷰 포트(113) 방향 정보에 의해 선택된 상기 파노라마식 뷰의 일 부분을 나타내며, 상기 프로세싱 시스템(202)은 이동하는 물체를 자동으로 추적하는 차량 영상 시스템(200).
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US41946202P | 2002-10-18 | 2002-10-18 | |
| US60/419,462 | 2002-10-18 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20050046822A true KR20050046822A (ko) | 2005-05-18 |
Family
ID=32108089
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020057006420A KR20050046822A (ko) | 2002-10-18 | 2003-10-17 | 다수의 카메라들을 사용하여 파노라마식 시각화를 가능하게하는 방법 및 시스템 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20040100443A1 (ko) |
| EP (1) | EP1552682A4 (ko) |
| JP (1) | JP2006503375A (ko) |
| KR (1) | KR20050046822A (ko) |
| CN (1) | CN1706195A (ko) |
| WO (1) | WO2004036894A2 (ko) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100923233B1 (ko) * | 2009-02-23 | 2009-10-27 | 이희태 | 가시범위가 향상된 전방위 수퍼파노라마 감시장치 |
| KR100957590B1 (ko) * | 2009-09-16 | 2010-05-13 | 딕스비전 주식회사 | 객체 영상 표출형 전방향 영상레이다 장치 |
| KR101132976B1 (ko) * | 2010-12-14 | 2012-04-09 | 한국과학기술원 | 복수 개의 카메라를 구비한 모바일 기기, 이를 이용한 디스플레이 표시방법 |
| KR20160094655A (ko) | 2015-02-02 | 2016-08-10 | 주식회사 일리시스 | 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법 |
| KR102127276B1 (ko) | 2018-12-11 | 2020-06-26 | 주식회사 인텔리빅스 | 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법 |
| KR20220010235A (ko) | 2020-07-17 | 2022-01-25 | 삼성중공업 주식회사 | 선박의 회전 촬영장치 |
Families Citing this family (53)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4288939B2 (ja) * | 2002-12-05 | 2009-07-01 | ソニー株式会社 | 撮像装置 |
| SE527257C2 (sv) * | 2004-06-21 | 2006-01-31 | Totalfoersvarets Forskningsins | Anordning och metod för att presentera en omvärldsbild |
| US7782374B2 (en) * | 2005-03-03 | 2010-08-24 | Nissan Motor Co., Ltd. | Processor and processing method for generating a panoramic image for a vehicle |
| US7634152B2 (en) * | 2005-03-07 | 2009-12-15 | Hewlett-Packard Development Company, L.P. | System and method for correcting image vignetting |
| JP4244040B2 (ja) * | 2005-03-10 | 2009-03-25 | 任天堂株式会社 | 入力処理プログラムおよび入力処理装置 |
| JP4715334B2 (ja) * | 2005-06-24 | 2011-07-06 | 日産自動車株式会社 | 車両用画像生成装置および方法 |
| JP5091143B2 (ja) | 2005-10-07 | 2012-12-05 | 韓國電子通信研究院 | 多重カメラシステムにおける自由な基本設定ビューの符号化／復号化方法及びその装置 |
| CA2675974C (en) * | 2006-04-04 | 2012-10-02 | Bae Systems Information And Electronic Systems Integration Inc. | Method and apparatus for protecting troops |
| TW200740212A (en) * | 2006-04-10 | 2007-10-16 | Sony Taiwan Ltd | A stitching accuracy improvement method with lens distortion correction |
| US7697839B2 (en) * | 2006-06-30 | 2010-04-13 | Microsoft Corporation | Parametric calibration for panoramic camera systems |
| DE202007003476U1 (de) * | 2007-03-08 | 2008-07-17 | Krauss-Maffei Wegmann Gmbh & Co. Kg | Gepanzertes, insbesondere militärisches Fahrzeug |
| EP2130084A4 (en) * | 2007-03-16 | 2010-06-30 | Kollmorgen Corp | SYSTEM FOR PANORAMIC IMAGE PROCESSING |
| KR100882011B1 (ko) * | 2007-07-29 | 2009-02-04 | 주식회사 나노포토닉스 | 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치 |
| TWI383666B (zh) * | 2007-08-21 | 2013-01-21 | Sony Taiwan Ltd | 多重鏡頭相機系統之先進式動態接圖方法 |
| US8923648B2 (en) * | 2008-01-21 | 2014-12-30 | Denso International America, Inc. | Weighted average image blending based on relative pixel position |
| IL189251A0 (en) * | 2008-02-05 | 2008-11-03 | Ehud Gal | A manned mobile platforms interactive virtual window vision system |
| CN102037720B (zh) * | 2008-02-08 | 2013-11-06 | 谷歌公司 | 带有使用定时快门的多个图像传感器的全景照相机 |
| CN101568018B (zh) * | 2008-04-22 | 2011-01-19 | 中兴通讯股份有限公司 | 一种无旋转全景摄像装置及其构成的监控系统 |
| CN101587544B (zh) * | 2009-06-24 | 2016-01-13 | 钟德胜 | 基于计算机视觉的机动车车载反跟踪装置 |
| CN101844517B (zh) * | 2010-04-15 | 2013-10-30 | 大连微龙软件有限公司 | 全绘画汽车仪表系统及实现方法 |
| CN101951487B (zh) * | 2010-08-19 | 2012-06-27 | 深圳大学 | 一种全景图像融合方法、系统及图像处理设备 |
| CN101980080B (zh) * | 2010-09-19 | 2012-05-23 | 华为终端有限公司 | 共光心摄像机、图像处理方法及装置 |
| US9876953B2 (en) | 2010-10-29 | 2018-01-23 | Ecole Polytechnique Federale De Lausanne (Epfl) | Omnidirectional sensor array system |
| US9147260B2 (en) | 2010-12-20 | 2015-09-29 | International Business Machines Corporation | Detection and tracking of moving objects |
| JP2012232713A (ja) * | 2011-05-09 | 2012-11-29 | Ntn Corp | 小型車両 |
| US20130222590A1 (en) * | 2012-02-27 | 2013-08-29 | Honeywell International Inc. | Methods and apparatus for dynamically simulating a remote audiovisual environment |
| CA2890174A1 (en) | 2012-11-05 | 2014-05-08 | 360 Heros, Inc. | 360 degree camera mount and related photographic and video system |
| DE102013100569A1 (de) * | 2013-01-21 | 2014-07-24 | Krauss-Maffei Wegmann Gmbh & Co. Kg | Verfahren und Vorrichtung zur Anzeige einer Fahrzeugumgebung |
| CN103118230B (zh) * | 2013-02-28 | 2016-06-22 | 腾讯科技（深圳）有限公司 | 一种全景图像采集方法、装置以及系统 |
| WO2014160819A1 (en) * | 2013-03-27 | 2014-10-02 | Bae Systems Information And Electronic Systems Integration Inc. | Multi field-of-view multi sensor electro-optical fusion-zoom camera |
| US9646571B1 (en) | 2013-06-04 | 2017-05-09 | Bentley Systems, Incorporated | Panoramic video augmented reality |
| JP3204115U (ja) * | 2013-06-18 | 2016-05-19 | アレクサンドル アレクサンドロヴィチ コロトフＡｌｅｘａｎｄｒ Ａｌｅｘａｎｄｒｏｖｉｃｈ Ｋｏｌｏｔｏｖ | オートバイ運転者及び極めて危険な活動に従事する人々のためのヘルメット |
| WO2015071526A1 (en) * | 2013-11-18 | 2015-05-21 | Nokia Technologies Oy | Method and apparatus for enhanced digital imaging |
| WO2015088230A1 (en) * | 2013-12-09 | 2015-06-18 | Cj Cgv Co., Ltd. | Method and system for generating multi-projection images |
| KR20150068297A (ko) | 2013-12-09 | 2015-06-19 | 씨제이씨지브이 주식회사 | 다면 영상 생성 방법 및 시스템 |
| RU2557344C1 (ru) * | 2014-03-11 | 2015-07-20 | Российская Федерация, от имени которой выступает Министерство обороны Российской Федерации | Способ наблюдения за местностью механиком-водителем военной гусеничной машины |
| CN103970901B (zh) * | 2014-05-27 | 2017-10-03 | 重庆大学 | 一种地理信息图形数据整合方法 |
| DK3183687T3 (da) * | 2014-08-21 | 2020-09-14 | Identiflight Int Llc | System og fremgangsmåde til fugledetektering |
| US9521830B2 (en) | 2014-08-21 | 2016-12-20 | Identiflight, Llc | Bird or bat detection and identification for wind turbine risk mitigation |
| CN104219496B (zh) * | 2014-08-22 | 2017-09-22 | 广州杰赛科技股份有限公司 | 可识别方位的监视方法与系统 |
| SE538494C2 (sv) * | 2014-11-07 | 2016-08-02 | BAE Systems Hägglunds AB | Omvärldsuppfattningssystem och förfarande för omvärldsuppfattning i stridsfordon |
| WO2016173599A1 (en) * | 2015-04-28 | 2016-11-03 | Cb Svendsen A/S | Object image arrangement |
| US10040394B2 (en) | 2015-06-17 | 2018-08-07 | Geo Semiconductor Inc. | Vehicle vision system |
| JP6742444B2 (ja) * | 2016-06-07 | 2020-08-19 | ヴィズビット インコーポレイテッド | ライブストリーミング用のバーチャルリアリティ３６０度ビデオカメラシステム |
| US10958834B2 (en) * | 2016-07-22 | 2021-03-23 | Immervision, Inc. | Method to capture, store, distribute, share, stream and display panoramic image or video |
| CN106385587B (zh) * | 2016-09-14 | 2019-08-02 | 三星电子（中国）研发中心 | 分享虚拟现实视角的方法、装置及系统 |
| US10306289B1 (en) | 2016-09-22 | 2019-05-28 | Apple Inc. | Vehicle video viewing systems |
| WO2018057839A1 (en) | 2016-09-22 | 2018-03-29 | Apple Inc. | Vehicle Video System |
| CN106572315A (zh) * | 2016-10-28 | 2017-04-19 | 山东林之硕智能科技有限公司 | 一种便携式录播车 |
| JP6952456B2 (ja) * | 2016-11-28 | 2021-10-20 | キヤノン株式会社 | 情報処理装置、制御方法、及びプログラム |
| CN108566511A (zh) * | 2018-03-14 | 2018-09-21 | 斑马网络技术有限公司 | 车辆全景拍摄方法及其全景拍摄系统 |
| CN109600556B (zh) * | 2019-02-18 | 2020-11-06 | 武汉大学 | 一种基于单反相机的高质量精密全景成像系统及方法 |
| GB2591278A (en) * | 2020-01-24 | 2021-07-28 | Bombardier Transp Gmbh | A monitoring system of a rail vehicle, a method for monitoring and a rail vehicle |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4518990A (en) * | 1983-07-11 | 1985-05-21 | The United States Of America As Represented By The Secretary Of The Army | Observation system for military vehicles |
| GB2185360B (en) * | 1986-01-11 | 1989-10-25 | Pilkington Perkin Elmer Ltd | Display system |
| US5864360A (en) * | 1993-08-26 | 1999-01-26 | Canon Kabushiki Kaisha | Multi-eye image pick-up apparatus with immediate image pick-up |
| WO1997016807A1 (en) * | 1995-10-31 | 1997-05-09 | Sarnoff Corporation | Method and apparatus for image-based object detection and tracking |
| US6081606A (en) * | 1996-06-17 | 2000-06-27 | Sarnoff Corporation | Apparatus and a method for detecting motion within an image sequence |
| US20020046218A1 (en) * | 1999-06-23 | 2002-04-18 | Scott Gilbert | System for digitally capturing and recording panoramic movies |
| US7015954B1 (en) * | 1999-08-09 | 2006-03-21 | Fuji Xerox Co., Ltd. | Automatic video system using multiple cameras |
| KR20020025301A (ko) * | 2000-09-28 | 2002-04-04 | 오길록 | 다중 사용자를 지원하는 파노라믹 이미지를 이용한증강현실 영상의 제공 장치 및 그 방법 |
-
2003
- 2003-10-17 KR KR1020057006420A patent/KR20050046822A/ko not_active Application Discontinuation
- 2003-10-17 WO PCT/US2003/033025 patent/WO2004036894A2/en not_active Application Discontinuation
- 2003-10-17 CN CNA2003801014618A patent/CN1706195A/zh active Pending
- 2003-10-17 EP EP03809139A patent/EP1552682A4/en not_active Withdrawn
- 2003-10-17 JP JP2004545479A patent/JP2006503375A/ja active Pending
- 2003-10-17 US US10/688,435 patent/US20040100443A1/en not_active Abandoned
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100923233B1 (ko) * | 2009-02-23 | 2009-10-27 | 이희태 | 가시범위가 향상된 전방위 수퍼파노라마 감시장치 |
| KR100957590B1 (ko) * | 2009-09-16 | 2010-05-13 | 딕스비전 주식회사 | 객체 영상 표출형 전방향 영상레이다 장치 |
| KR101132976B1 (ko) * | 2010-12-14 | 2012-04-09 | 한국과학기술원 | 복수 개의 카메라를 구비한 모바일 기기, 이를 이용한 디스플레이 표시방법 |
| KR20160094655A (ko) | 2015-02-02 | 2016-08-10 | 주식회사 일리시스 | 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법 |
| KR102127276B1 (ko) | 2018-12-11 | 2020-06-26 | 주식회사 인텔리빅스 | 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법 |
| KR20220010235A (ko) | 2020-07-17 | 2022-01-25 | 삼성중공업 주식회사 | 선박의 회전 촬영장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1552682A4 (en) | 2006-02-08 |
| EP1552682A2 (en) | 2005-07-13 |
| WO2004036894A3 (en) | 2004-07-08 |
| JP2006503375A (ja) | 2006-01-26 |
| US20040100443A1 (en) | 2004-05-27 |
| WO2004036894A2 (en) | 2004-04-29 |
| CN1706195A (zh) | 2005-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20050046822A (ko) | 다수의 카메라들을 사용하여 파노라마식 시각화를 가능하게하는 방법 및 시스템 | |
| US9270976B2 (en) | Multi-user stereoscopic 3-D panoramic vision system and method | |
| US4991020A (en) | Imaging system for providing separate simultaneous real time images from a singel image sensor | |
| US8035680B2 (en) | Panoramic viewing system especially in combat vehicles | |
| US4479784A (en) | Eye line-of-sight responsive wide angle visual system | |
| US6594448B2 (en) | Radially-oriented planar surfaces for flare reduction in panoramic cameras | |
| US7429997B2 (en) | System and method for spherical stereoscopic photographing | |
| JP5233926B2 (ja) | 魚眼監視システム | |
| US20190126826A1 (en) | Optronic viewing device for a land vehicle | |
| US20030076413A1 (en) | System and method for obtaining video of multiple moving fixation points within a dynamic scene | |
| GB2411310A (en) | Image stabilisation using field of view and image analysis. | |
| JP2010028820A (ja) | 広角センサーアレイモジュール、並びにそのイメージキャリブレーション方法、動作方法、及びアプリケーション | |
| US4742390A (en) | Elevatable observation and target system for combat vehicles | |
| WO2016072927A1 (en) | Situation awareness system and method for situation awareness in a combat vehicle | |
| US5023719A (en) | Imaging system for providing multiple simultaneous real time images | |
| US20070064143A1 (en) | Method and system for capturing a wide-field image and a region of interest thereof | |
| KR102485302B1 (ko) | 영상 표시장치 및 영상 표시방법 | |
| WO2006106371A1 (en) | Display method and apparatus | |
| US6963355B2 (en) | Method and apparatus for eliminating unwanted mirror support images from photographic images | |
| GB2249897A (en) | Multiple simultaneous real-time imaging with selected magnified portions | |
| JP7006912B2 (ja) | 画像処理装置、画像表示装置及び画像処理プログラム | |
| JP6959376B2 (ja) | 撮影装置 | |
| EP4124014A1 (en) | Devices and methods for wide field of view image capture | |
| Belt et al. | Combat vehicle visualization system | |
| KR102316196B1 (ko) | 360도 하이브리드형 상황 인식 및 원격 통제 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |