KR101068329B1 - 개선된 비전 이미징을 제공하기 위한 시스템 및 방법 - Google Patents

개선된 비전 이미징을 제공하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR101068329B1
KR101068329B1 KR1020040013513A KR20040013513A KR101068329B1 KR 101068329 B1 KR101068329 B1 KR 101068329B1 KR 1020040013513 A KR1020040013513 A KR 1020040013513A KR 20040013513 A KR20040013513 A KR 20040013513A KR 101068329 B1 KR101068329 B1 KR 101068329B1
Authority
KR
South Korea
Prior art keywords
image
display
image source
source
mapping surface
Prior art date
Application number
KR1020040013513A
Other languages
English (en)
Other versions
KR20040078061A (ko
Inventor
케니스엘.베르니에
Original Assignee
더 보잉 컴파니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 더 보잉 컴파니 filed Critical 더 보잉 컴파니
Publication of KR20040078061A publication Critical patent/KR20040078061A/ko
Application granted granted Critical
Publication of KR101068329B1 publication Critical patent/KR101068329B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F1/00—Refuse receptacles; Accessories therefor
    • B65F1/0006—Flexible refuse receptables, e.g. bags, sacks
    • B65F1/002—Flexible refuse receptables, e.g. bags, sacks with means for opening or closing of the receptacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65D—CONTAINERS FOR STORAGE OR TRANSPORT OF ARTICLES OR MATERIALS, e.g. BAGS, BARRELS, BOTTLES, BOXES, CANS, CARTONS, CRATES, DRUMS, JARS, TANKS, HOPPERS, FORWARDING CONTAINERS; ACCESSORIES, CLOSURES, OR FITTINGS THEREFOR; PACKAGING ELEMENTS; PACKAGES
    • B65D33/00—Details of, or accessories for, sacks or bags
    • B65D33/06—Handles
    • B65D33/08—Hand holes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F1/00—Refuse receptacles; Accessories therefor
    • B65F1/12—Refuse receptacles; Accessories therefor with devices facilitating emptying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F2210/00—Equipment of refuse receptacles
    • B65F2210/126—Cutting means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F2210/00—Equipment of refuse receptacles
    • B65F2210/167—Sealing means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

본 발명은, 주변 환경의 이미지를 디스플레이의 시점에 제공하는 시스템 및 방법을 제공한다. 이 시스템 및 방법은 이미지 소스 및 디스플레이로부터 선택된 거리에 이미지 소스의 감지영역 내의 주변 환경에 근사하는 맵핑면을 정의한다. 시스템 및 방법은 이미지 소스, 디스플레이, 및 맵핑면의 각기 다른 기하학적 형태가 상호 관련된 모델을 정의한다. 모델 및 맵핑면을 사용하여, 상기 시스템 및 방법은 이미지 소스로부터의 이미지를 타일링하고, 그 이미지와 디스플레이를 상호 관련시키며, 그 이미지를 디스플레이한다. 2개의 이미지 소스가 맵핑면상에 부분적으로 오버랩되는 감지영역를 가지는 경우에, 시스템 및 방법은 모자이크 이미지를 형성하기 위해 그 이미지를 오버랩하여 스티칭한다. 2개의 오버랩되는 이미지 소스가 각각 고유의 특성의 이미지를 가지는 경우, 시스템 및 방법은 그 이미지를 퓨징하여 합성 이미지로 한다.

Description

개선된 비전 이미징을 제공하기 위한 시스템 및 방법{SYSTEMS AND METHODS FOR PROVIDING ENHANCED VISION IMAGING}
도 1a 및 1b는, 본 발명의 시스템 및 방법이 실시될 수 있는 항공기의 상면도 및 측면도,
도 2a는, 본 발명의 1실시예에 따른 개선된 비전 시스템을 제공하기 위한 시스템의 블록도,
도 2b는, 본 발명에 사용하기 위한 헬멧-추적 시스템을 갖춘 헤드 탑재 디스플레이를 나타낸 도면,
도 3은, 본 발명의 1실시예에 따른 개선된 비전 시스템을 제공하기 위해 사용되는 이미지 프로세서의 블록도,
도 4는, 본 발명의 1실시예에 따른 개선된 비전 시스템을 제공하기 위해 수행되는 동작의 블록도,
도 5는, 버텍스 메쉬상의 텍스처 이미지의 맵핑을 기술하는 도면,
도 6a~도 6d는, 맵핑면의 각기 다른 배치와 그와 관련된 문제를 기술하는 도면,
도 7은, 소스, 디스플레이, 및 맵핑면에 대한 각각의 좌표계를 기술하는 도면,
도 8은, 각각의 좌표계간에서의 소스 및 디스플레이의 변환을 기술하는 도면,
도 9는, 각각의 좌표계간에서의 맵핑면의 변환을 기술하는 도면,
도 10은, 맵핑면상으로의 이미지의 타일링을 기술하는 도면,
도 11은, 맵핑면으로부터 디스플레이로의 이미지의 변환 및 렌더링을 기술하는 도면,
도 12는, 합성 이미지를 형성하기 위한 인접한 타일의 스티칭을 기술하는 도면,
도 13은, 합성 이미지를 형성하기 위한 인접한 타일의 스티칭 및 블렌딩존의 사용을 더 기술하는 도면,
도 14는, 인접한 이미지간의 접합에서의 근점거리의 정정을 기술하는 도면,
도 15는, 합성 이미지를 형성하기 위해 2개의 이미지를 함께 퓨징하는 것을 기술하는 도면,
도 16은, 합성 이미지를 형성하기 위해 2개의 이미지를 퍼센테이지에 기초하여 퓨징한 결과를 나타낸 도면,
도 17은, 합성 이미지를 형성하기 위해 2개의 이미지를 콘텐트에 기초하여 퓨징한 결과를 나타낸 도면,
도 18은, 디스플레이 내에서의 각 이미지의 타일링을 기술하는 도면,
도 19는, 합성 데이터베이스 이미지와 적외선 이미지의 퓨전을 기술하는 도면이다.
본 발명은, 사용자에게 관심있는 영역의 시각적 디스플레이를 제공하기 위해 사용되는 비전 디스플레이 시스템에 관한 것으로, 특히 관심있는 영역의 코히어런트 시야를 제공하기 위해 다수의 소스로부터의 이미지를 조합하는 시스템 및 방법에 관한 것이다.
많은 비행항법 지원기기의 출현에도 불구하고, 항공기 항행을 위한 가장 중요한 도구의 하나는 여전히 시각에 의한 항행이다. 오늘날의 많은 항공기는, 조종사에게 항공기 주변 상공에 대한 추가정보를 제공하는 기내 탑재 레이다, 지상 근접 경고시스템 등과 같은 다양한 안전장치를 갖추고 있다. 이들 시스템은 비행하는 동안 조종사들이 시각적으로 관찰하고 있는 것을 좀더 잘 해석할 수 있게 함으로써 조종사가 보다 좋은 상황 인식을 얻을 수 있도록 돕기 위한 중대한 수단이다. 그러나, 조종사의 시야가 방해되기 때문에 이들 여러 가지 기구가 조종사의 유일한 정보원으로 되는 경우가 있다.
시각적인 방해물은 안개, 눈, 또는 비 등과 같은 좋지 않은 날씨에 기인하거나, 밤, 새벽 또는 황혼 등과 같은 하루중 어느 특정 시간에 기인할 수 있다. 더욱이, 몇몇 시각적 방해물은 항공기 자체의 시각의 한계에 기인한다. 많은 항공기 조종실은 조종사에게 항공기의 측면 및 후면에 대한 충분한 시각화를 제공하지 못함과 더불어 항공기의 상면 및 하면에 대한 충분한 수직적인 시각화를 제공하지 못하면서 통상 전방에 면하는 영역으로만 한정되는 감지영역(field of sight; '시계'라고도 칭함)를 갖고 있다.
시각이 방해되는 것은, 항공기 항행에 있어서 중요한 안전성과 관계가 있기 때문에, 조종실로부터의 조종사의 시야를 넓히거나 향상시키는 시스템을 제공하는데 막대한 노력을 기울이고 있다. 그래서, 항공기에 설치된 하나 이상의 센서의 사용을 포함하는 시스템이 개발되어 있다. 센서는 선택된 감지영역 쪽으로 향하여 조종실의 디스플레이 시스템에 이미지를 제공하며, 이 이미지는 조종사에게 차례로 디스플레이된다. 센서는 비디오 카메라, 적외선 카메라, 레이다 등이어도 좋다. 이들 시스템은 조종사가 보기 위한 이미지의 타입을 선택할 수 있게 한다. 예컨대, 야간비행 또는 안개조건에서는, 조종사가 적외선 및 레이다 센서에 의해 이미지를 보는 것을 선택하고, 청명한 조건에서는, 조종사가 비디오 카메라가 보내는 이미지를 사용하는 경우가 있다.
그와 같은 시스템중 하나가 여기에 참조에 의해 원용된 Hale 등에 의한 미국특허 제5,317,394호에 기술되어 있다. 이 시스템에 있어서, 센서는 인접한 센서가 오버랩되는 감지영역을 갖도록 항공기의 외부에 위치된다. 이들 갖가지 센서로부터의 이미지는 항공기 내의 디스플레이 시스템에 제공되고, 여기서 조종사에게 디스플레이된다. 이미지는 합성 또는 모자이크 이미지를 제공하기 위해 오버랩된 형상으로 디스플레이된다.
좀더 개선된 시스템이 여기에 참조에 의해 원용된 "Exterior Aircraft Vision System Using a Helmet-Mounted Display"라는 명칭의 미국특허출원 S/N 제09/608,234호에 기술되어 있다. 미국특허출원 제09/608,234호에는 항공기 상에 위치된 갖가지 센서로부터의 이미지를 디스플레이하기 위한 헬멧 탑재 디스플레이를 포함한 시스템을 기술하고 있다. 중요한 것은, 이 시스템이 조종사의 현재의 시계라인(LOV: line of sight)('시선'이라고도 칭함) 및 감지영역(FOV: field of view)('시계'라고도 칭함)을 결정하기 위해 조종사 머리의 움직임을 추적하는 헬멧-추적장치를 포함하고 있다는 점이다. 이러한 방향성 정보를 사용하여, 이 시스템은 조종사가 응시하고 있는 감지영역를 나타내는 센서로부터의 이미지 데이터를 검색하고, 이 이미지를 헬멧의 디스플레이상에 디스플레이한다. 이 이미지는 조종사 자신의 머리를 다른 시계라인으로 돌릴 때마다 갱신된다.
일반적으로, 이들 및 다른 종래의 시스템은 꽤 정확한 시각적인 이미지를 조종사에게 제공함으로써, 비행 안전성을 높이고 있다. 그러나, 이들 시스템에는 조종사에게 제공되는 이미지의 정확도가 낮다거나 또는 조종사에게 제공되는 이미지에 근점거리(anomaly; 기준치에 대한 편차를 의미하는 것으로, '이상'이라고도 칭함)가 포함되어 조종사의 시야를 혼란하게 하는 등의 문제를 야기할 수 있는 몇가지 한계가 있다. 예컨대, 하나의 문제는, 서로에 관한 센서의 간격(spacing) 및 조종사의 위치에 관한 센서의 간격에 관한 것이고, 또 저장되는 합성 데이터의 경우에는 합성 데이터와 그 밖의 센서와 조종사의 위치간의 원근감의 차에 관한 것이다. 서로에 관한 및 조종실에 관한 소스 사이의 물리적인 거리는 조종사에게 제공되는 이미지의 비뚤어짐(왜곡)을 야기한다. 특히, 이 거리는 시차(parallax)라 일컬어지는 이미지의 시각적인 비뚤어짐을 야기한다. 시차는 새로운 시계라인을 제공하는 관찰위치의 변화에 의해 야기되는 물체의 방향으로의 명백한 변화이다. 이들 종래의 시스템에 있어서, 센서 또는 센서들 및/또는 합성 데이터 소스는 각각 조종사의 시야로부터 보는 장면에 관해 다른 시계라인을 갖는다. 그 때문에, 센서의 시점으로부터의 이미지를 보면, 조종사에게는 그들의 오버랩되는 감지영역 중에서 항공기 내의 조종사의 위치와 관련된 물체의 위치는 정확히 표시되지 않는다.
또 다른 문제는, 합성 이미지를 생성하기 위해 몇개의 이미지를 함께 타일링(tiling)하는 것에 관한 것이다. 많은 종래 시스템에 있어서, 인접한 카메라로부터의 이미지는 상호 인접하여 디스플레이된다. 2개의 이미지의 엣지는 디스플레이 내에서 시각적 이음부(visual seam: 시각적으로 이어지는 부분)로서 나타난다. 이들 이음부는 합성 이미지를 보는 것을 혼란스럽게 하여 조종사가 이미지를 전체로서 보는 것을 어렵게 할 수 있다. 이러한 문제를 해결하기 위해, 몇몇 기존의 시스템은 이미지를 함께 블렌딩(blending: 혼합)하기 위해 인접한 이미지의 엣지를 오버랩한다. 이러한 기술은 인접한 이미지를 접하게 하는 종래기술을 개량한 것이지만, 여전히 이미지간에 불연속성이 보이는 경우가 있다.
또 다른 문제는, 주어진 상황에 대해 최선의 이미지화를 제공하기 위한 특정 타입의 센서의 한계에 관한 것이다. 예컨대, 황혼의 조건에서는, 비디오 카메라는 여전히 식별 가능한 시각적 이미지를 제공하지만, 그 이미지는 낮은 밝기 또는 방해조건으로 인해 세밀화가 저하된다. 더욱이, 적외선 센서는 열감지에 기초한 이미지화를 제공하지만, 적외선 센서로부터의 이미지는 여전히 황혼에는 이용가능하나 주위의 광을 이용하지 않는다. 많은 기존의 시스템에 있어서는, 양쪽 센서의 장점을 통합한 이미지를 이용가능한 대신에, 조종사가 이들 이미지 중에서 선택해야만 한다. 이 때문에, 조종사는 이용가능한 최선의 이미지를 볼 수 없다.
본 발명은 상기한 점을 감안하여 이루어진 것으로, 개선된 비전 디스플레이 에 사용하기 위한 시스템 및 방법을 제공하는 것에 그 목적이 있다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 시스템 및 방법은 차량 또는 관심 구역 내의 각기 다른 위치에 위치된 다수의 센서로부터의 이미지 데이터를 수신한다. 또한, 이 시스템은 지형 데이터베이스와 같은 데이터베이스 소스로부터 합성 이미지 데이터를 수신해도 좋다. 시스템 및 방법은 각 센서/소스로부터의 이미지를 합성 또는 모자이크 이미지로 동화시킨다. 본 발명의 시스템 및 방법은 시스템의 사용자의 현재의 시계라인(LOS: line of sight)을 검출한다. 이러한 시계라인에 기초하여, 시스템 및 방법은 사용자의 현재의 감지영역(FOV: field of view)을 나타내는 이미지를 사용자에게 디스플레이한다.
본 발명의 시스템 및 방법은 디스플레이되는 이미지 내의 시차에 관한 문제를 감소시킨다. 특히, 본 발명의 시스템 및 방법은 차량의 전방 또는 관심지점에서 선택된 거리에 하나 이상의 인위적인 맵핑면을 생성한다. 인위적인 맵핑면은 각기 다른 소스로부터의 여러 가지 이미지가 원하는 면영역 적용가능 범위를 나타내는 타일 형태로 맵핑면상에 투영되는 각 소스로부터의 모든 이미지와 공통의 기준 프레임에 의해 상관되도록 한다. 맵핑면은 관찰자와 소스간의 거리 분리로 인한 관찰자와 소스간의 관심대상에 대한 시계라인의 차이를 상관시키기 위한 기준 프레임을 생성한다.
더욱이, 소스, 디스플레이 및 맵핑면은 모두 각기 다른 좌표계를 갖는다. 본 발명의 시스템 및 방법은 공통 또는 기본(1차) 좌표계를 생성하여 이들 성분의 각각으로부터의 이미지를 공통 또는 기본 좌표계로 변환한다. 이에 따라, 본 발명의 시스템 및 방법은 갖가지 소스로부터의 이미지를 상관시켜 뷰어(viewer)의 기준 프레임의 사용자에게 제공함으로써 시차를 저감 및 제거할 수 있다.
시차에 대한 정정에 더하여, 본 발명의 시스템 및 방법은 분포된 애퍼처 이미지(aperture image)를 이음부가 없는 모자이크로 스티칭(stitching)하기 위한 개선된 방법도 제공한다. 본 발명의 시스템 및 방법은 인접하거나 또는 오버랩되는 감지영역을 취하며 동일한 타입의 소스로부터 수신한 타일 이미지의 엣지를 오버랩한다. 2개의 타일 이미지간의 오버랩된 영역에 있어서, 본 발명의 시스템 및 방법은 내부 및 외부 엣지로 이루어진 블렌드존(blend zone)을 정의한다. 블렌드존에 있어서, 본 발명의 시스템 및 방법은 2개의 타일 이미지를 블렌드존에서 함께 블렌드하기 위해 각 타일 이미지의 각각의 픽셀의 강도를 변경한다. 블렌드존에서의 좌측 이미지의 픽셀은 블렌드존의 좌측 엣지에 인접한 픽셀의 1(one)의 강도값으로부터 블렌드존에서의 우측 엣지에 인접한 픽셀의 제로(zero)의 강도값으로 테이퍼(taper)된다. 반대의 방식에 있어서는, 블렌드존에서의 우측 이미지의 픽셀은 블렌드존의 좌측 엣지에 인접한 픽셀의 제로의 강도값으로부터 블렌드존에서의 우측 엣지에 인접한 픽셀의 1의 강도값으로 테이퍼된다. 이러한 블렌드존에서의 픽셀 강도값의 변경은 2개의 이미지간의 강화된 스티치를 제공한다. 상면 및 하면 스티칭은 동일한 방식으로 수행된다.
또한, 본 발명의 시스템 및 방법은 각기 다른 타입의 소스로부터의 이미지를 오버레잉(overlaying)시키거나 또는 퓨징(fusing: 융합)시키기 위한 방법을 제공한다. 특히, 본 발명의 시스템은 동일하거나 오버랩된 감지영역를 갖는 2가지의 다른 타입의 소스를 포함해도 좋다. 소스는 동일한 감지영역의 다른 이미지를 제공하고, 각 소스는 연관된 장점 및 단점을 갖는다. 예컨대, 하나의 소스는 빛의 양에 영향을 받는 이미지를 제공하는 비디오 카메라이고, 또 다른 소스는 열감지에 기초하여 이미지를 제공하는 적외선 센서이다. 본 발명의 시스템 및 방법은 강화된 이미지를 제공하기 위해 이들 소스로부터의 이미지를 함께 오버레잉하거나 또는 퓨징하기 위한 방법을 제공한다.
시스템 및 방법은 이미지를 퓨징하기 위한 2가지의 다른 방법을 포함한다. 첫번째 방법에 있어서, 본 발명의 시스템 및 방법은 강도에 관한 퍼센테이지(percentage: 비율)의 값을 각 타일 이미지에 할당한다. 예컨대, 하나의 타일 이미지는 30%의 강도로 정의되고, 다른 타일 이미지는 70%의 강도로 정의된다. 다음에, 이들 이미지는 이러한 강도 퍼센테이지 비율로 합산되고, 이에 따라 양쪽 이미지의 이점을 사용자에게 제공한다. 두번째 방법에 있어서, 각 타일 이미지는 그 콘텐트(content)에 기초하여 디스플레이된다. 예컨대, 유사한 감지영역를 커버하는 가시 및 적외선 이미지가 주어지면, 그 이미지는 픽셀 레벨로 조합시킬 수 있으며, 우선순위는 그 픽셀 강도에 기초하여 적외선 이미지에 주어질 수 있다. 이 경우, 적외선 픽셀이 최대 75%이면, 결과로서 생기는 픽셀은 75%의 IR 픽셀 강도와 25%의 가시 픽셀 강도로 이루어질 수 있다.
더욱이, 본 발명의 시스템 및 방법은 어떤 특정한 디스플레이되는 이미지의 근점거리의 수를 감소시키기 위한 방법을 포함한다. 본 발명의 시스템 및 방법은 타일 이미지의 각 픽셀과 관련된 강도값을 평가한다. 하나의 픽셀 또는 일련의 픽셀의 강도값이 이웃하는 픽셀과 비교하여 과잉의 강도값을 가지면, 본 발명의 시스템 및 방법은 이웃하는 픽셀로부터의 평균 강도값에 기초하여 그들의 강도를 감소시킬 수 있다.
(실시예)
이하, 본 발명의 실시예를 도면을 참조하면서 보다 상세히 설명한다. 한편, 본 발명은 이하의 실시예로 한정되는 것이 아니라, 본 발명의 목적 및 배경을 벗어나지 않는 범위 내에서 다양하게 변형하여 실시할 수 있다. 동일한 구성요소에는 동일한 참조부호를 붙인다.
본 발명은 개선된 비전 디스플레이에 사용하기 위한 시스템 및 방법을 제공한다. 본 발명의 시스템 및 방법은 차량 또는 관심 구역 내의 각기 다른 위치에 위치된 다수의 소스로부터의 이미지 데이터를 수신한다. 시스템 및 방법은 각 소스로부터의 이미지를 합성 이미지로 동화시킨다. 또한, 시스템에는 데이터 소스로부터의 합성 데이터를 제공해도 좋다. 여기서는, 센서 및 합성 데이터 소스의 양쪽은 소스라 일컬어진다. 본 발명의 시스템 및 방법은 시스템 사용자의 현재의 시계라인을 검출한다. 이러한 시계라인(LOS)에 기초하여, 시스템 및 방법은 사용자의 현재의 감지영역(FOV)을 나타내는 이미지를 사용자에게 디스플레이한다.
본 발명의 시스템 및 방법은 디스플레이되는 이미지 내의 시차에 관한 문제를 감소시킨다. 특히, 본 발명의 시스템 및 방법은 차량의 전방 또는 관심지점에서 선택된 거리에 하나 이상의 인위적인 맵핑면을 생성한다. 이러한 인위적인 맵핑면은 각기 다른 소스로부터의 여러 가지 이미지가 맵핑면상에 투영되는 각 소스로부터의 모든 이미지와 공통의 기준 프레임에 의해 상관되도록 한다. 맵핑면은 관찰자와 소스간의 거리 분리 및 소스 자신간의 거리로 인한 관찰자와 소스간의 관심대상에 대한 시계라인의 차이를 상관시키기 위한 기준 프레임을 생성한다.
더욱이, 소스, 디스플레이 및 맵핑면은 모두 각기 다른 좌표계를 갖는다. 본 발명의 시스템 및 방법은 공통 좌표계를 생성하여 이들 성분의 각각으로부터의 이미지를 공통 좌표계로 변환한다. 이이 따라, 본 발명의 시스템 및 방법은 갖가지 소스로부터의 이미지를 상관시켜 뷰어의 기준 프레임의 사용자에게 제공함으로써 시차를 저감 및 제거할 수 있다.
시차에 대한 정정에 더하여, 본 발명의 시스템 및 방법은 여러 가지 타일 이미지를 합성 또는 모자이크 이미지로 스티칭하기 위한 개선된 방법도 제공한다. 본 발명의 시스템 및 방법은 인접하거나 또는 오버랩(overlap: 중첩)되는 감지영역을 취하며 동일한 타입의 소스로부터 수신한 타일 이미지의 엣지를 오버랩한다. 2개의 타일 이미지간의 오버랩된 영역에 있어서는, 본 발명의 시스템 및 방법은 2개의 수직 엣지를 갖는 블렌드존을 정의한다. 블렌드존에 있어서, 본 발명의 시스템 및 방법은 2개의 타일 이미지를 함께 블렌드하기 위해 각 타일 이미지의 각각의 픽셀의 강도를 변경한다. 블렌드존에서의 좌측 이미지의 픽셀은 블렌드존의 좌측 엣지에 인접한 픽셀의 1(one)의 강도값으로부터 블렌드존에서의 우측 엣지에 인접한 픽셀의 제로(zero)의 강도값으로 테이퍼된다. 반대의 방식에 있어서는, 블렌드존에서의 우측 이미지의 픽셀은 블렌드존의 좌측 엣지에 인접한 픽셀의 제로의 강도값으로부터 블렌드존에서의 우측 엣지에 인접한 픽셀의 1의 강도값으로 테이퍼된다. 이러한 블렌드존에서의 픽셀 강도값의 변경은 2개의 이미지간의 강화된 스티치를 제공한다. 상면 및 하면 스티칭은 동일한 방식으로 수행된다.
또한, 본 발명의 시스템 및 방법은 각기 다른 타입의 소스로부터의 이미지를 오버레잉시키거나 또는 퓨징시키기 위한 방법을 제공한다. 특히, 본 발명의 시스템은 동일하거나 오버랩된 감지영역를 갖는 2가지의 다른 타입의 소스를 포함해도 좋다. 소스는 동일한 감지영역의 다른 이미지를 제공하고, 각 소스는 연관된 장점 및 단점을 갖는다. 예컨대, 하나의 소스는 빛의 양에 영향을 받는 이미지를 제공하는 비디오 카메라이고, 또 다른 소스는 열감지에 기초하여 이미지를 제공하는 적외선 센서이다. 본 발명의 시스템 및 방법은 강화된 이미지를 제공하기 위해 이들 소스로부터의 이미지를 함께 오버레잉하거나 또는 퓨징하기 위한 방법을 제공한다.
시스템 및 방법은 이미지를 퓨징하기 위한 2가지의 다른 방법을 포함한다. 첫번째 방법에 있어서, 본 발명의 시스템 및 방법은 강도에 관한 퍼센테이지의 값을 각 타일 이미지에 할당한다. 예컨대, 하나의 타일 이미지는 30%의 강도로 정의되고, 다른 타일 이미지는 70%의 강도로 정의된다. 다음에, 이들 이미지는 이러한 강도 퍼센테이지 비율로 합산되고, 이에 따라 양쪽 이미지의 이점을 사용자에게 제공한다. 두번째 방법에 있어서, 각 타일 이미지는 그 콘텐트에 기초하여 디스플레이된다. 예컨대, 유사한 감지영역를 커버하는 가시 및 적외선 이미지가 주어지면, 그 이미지는 픽셀 레벨로 조합시킬 수 있으며, 우선순위는 그 픽셀 강도에 기초하여 적외선 이미지에 주어질 수 있다. 이 경우, 적외선 픽셀이 최대 75%이면, 결과로서 생기는 픽셀은 75%의 IR 픽셀 강도와 25%의 가시 픽셀 강도로 이루어질 수 있다.
더욱이, 본 발명의 시스템 및 방법은 어떤 특정한 디스플레이되는 이미지의 근점거리의 수를 감소시키기 위한 방법을 포함한다. 본 발명의 시스템 및 방법은 인접할 뿐만 아니라 유사한 감지영역의 이미지에 대한 국부적인 밝기의 불연속성의 정정을 위한 수단을 제공한다.
상기를 요약하면, 본 발명의 시스템 및 방법은 개선된 비전 시스템을 제공한다. 본 발명의 여러 가지 특징을 이하에 보다 상세히 설명한다.
제일 중요한 것은, 본 발명의 시스템 및 방법은 시각적인 상황인식이 관심사인 항공기, 자동차, 또는 다른 타입의 차량이나, 보안 또는 감시영역과 같은 특정 위치나 환경에 이용될 수 있다는 점이다. 이하의 실시예에 있어서는, 시스템 및 방법은 항공기와 관련되어 기술된다. 비행환경은 다이나믹한 환경이고 이 시스템의 강함을 설명하는데 도움을 준다. 그러나, 이것은 본 발명의 시스템 및 방법의 사용의 일예일 뿐이고, 본 발명의 사용에 대해서는 다양한 또 다른 적용이 있을 수 있다.
도 1a 및 도 1b는 본 발명의 시스템 및 방법이 실시될 수 있는 항공기(10)를 기술한다. 본 실시예에 있어서, 본 발명의 시스템은 항공기 상의 다양한 위치에 위치된 다수의 센서(12)를 포함해도 좋다. 센서는 전방시야(14), 측방시야(16), 상방시야(18) 및 하방시야(20)를 제공하기 위해 각기 다른 방향으로 항공기의 전면에 위치된다. 더욱이, 몇몇 실시예에 있어서, 센서는 후방시야(21)를 위해 항공기의 후면에 위치되어도 좋다. 도시하지는 않았지만, 갖가지 센서가 항공기의 날개, 상면, 및 하면에 위치될 수도 있다. 이 시스템에서 사용되는 전형적인 센서는 낮은 밝기 레벨의 비디오 카메라, 장파장의 적외선 센서, 및 밀리미터파 레이다 등이다.
도 2a에 도시된 바와 같이, 갖가지 센서(12)가 항공기 상에 위치된 이미지 프로세서(22)에 전기적으로 연결된다. 본 발명의 이미지 프로세서는 디스플레이를 위해 센서로부터의 여러 가지 이미지를 동화시키는 역할을 한다. 또한, 이미지 프로세서에는 항공기와 관련된 위치적인 정보(즉, 경도, 위도, 피치, 롤(roll), 요(yaw) 등)를 제공하기 위한 네비게이션 시스템(24)도 연결된다. 또한, 네비게이션 데이터베이스(26)는 시스템에 합성 네비게이션 데이터를 제공하기 위해 이용될 수 있다. 통상, 합성 네비게이션 데이터는 지리적 위치에서 또 다른 관심지역의 지형을 시뮬레이트하는 3D 그래픽 데이터이다.
중요하게도, 이미지 프로세서에는 디스플레이(28)도 연결된다. 이러한 특정 실시에 있어서, 디스플레이는 조종사 또는 다른 관찰자의 헬멧에 위치된 헬멧-탑재 디스플레이이다. 헬멧과 관련된 것은 헬멧-추적장치(30)이다. 헬멧-추적장치는 사용자의 현재의 시계라인에 관한 정보를 이미지 프로세서에 제공한다. 도 2b에 도시된 바와 같이, 일련의 센서 또는 반사기는 사용자가 쓰고 있는 헬멧(32) 상의 다양한 위치에 위치된다. 추적장치(30)는 헬멧에 관해 어떤 위치에 위치되고 차량에 관한 사용자의 시계라인을 결정하기 위해 센서의 움직임 및 방향을 추적한다. 그와 같은 추적장치는 미국 캘리포니아 산타 모니카의 BAE Systems와 같은 군수 부품업자나, 또는 미국 버몬트 밀턴에 위치한 Ascension Technology Corporation과 같은 상업 부품업자 뿐만 아니라, 여기에 언급하지 않은 그 외의 다른 부품업자로부터 입수가능하다. 헬멧-추적장치는 본 발명에 필요하지 않음을 이해해야 한다. 그와 같은 장치를 사용하는 대신, 조이스틱 콘트롤이나 차량 자체의 방향 등이 사용자의 시계라인을 결정하기 위해 이용될 수 있다. 마찬가지로, 보안 또는 감시 위치 환경에서는, 시계라인은 관심 있는 시야에 조준된 고정값일 수 있다.
도 3은, 이미지 프로세서(22)의 상세한 동작도를 나타낸다. 이미지 프로세서는 중앙 프로세서(36)와 그래픽 액세레이터(38)를 포함한다. 갖가지 센서(12; 도시하지 않았음)에는 하나 또는 일련의 프레임 그레이버(40; frame grabber)가 연결된다. 프레임 그레이버는 센서로부터의 이미지 데이터를 캡쳐하여 이들 이미지를 PCI버스를 통해 프로세서 메모리(42)에 저장한다. 중앙 프로세서에는 입/출력 인터페이스(44)가 연결되어, 다양한 조종사의 입력 명령뿐만 아니라 헬멧-추적장치(30), 네비게이션 시스템(24), 네비게이션 데이터베이스(26)로부터의 입력을 수신한다. 그래픽 액세레이터(38)는 별개의 메모리장치(46), 그래픽 프로세서(48), 및 도시하지 않은 헬멧의 디스플레이에 연결된 프레임 버퍼(50)를 포함한다.
도 4는, 이미지 프로세서의 동작을 나타낸다. 도 4에 나타낸 모든 동작이 연속적으로 행해지지는 않지만, 대신 중앙 프로세서 및 그래픽 프로세서는 몇몇 단계를 동시에 수행한다. 전반적인 개요로서, 프레임 그레이버(40)는 갖가지 센서(12)로부터의 이미지 데이터를 수신하여 이 데이터를 프로세서 메모리(42)에 저장한다(단계 200 참조). 중앙 프로세서(36)는, 최초의 단계로서 항공기로부터 선택된 거리에 위치하는 기하학적 맵핑면을 생성한다(단계 210 참조). 기하학적 맵핑면은 각 센서로부터의 갖가지 이미지를 공통의 기준 프레임 상에 타일링하기 위해 이용된다. 기하학적 맵핑면은 3D 공간에서 이미지 타일을 묘사하는 버텍스 메쉬(vertex mesh)를 정의하기 위해 이용된다.
중앙 프로세서는 갖가지 이미지 소스, 맵핑면, 디스플레이 공간과의 사이에 벡터변환을 포함하는 광선추적 모델을 확립한다(단계 220 참조). 각각의 이미지 타일 버텍스는 텍스처 좌표를 정의하는 연관된 소스 이미지에 맵핑된다. 이들 버텍스 및 텍스처 좌표는 앞으로 설명될 다른 성분과 더불어 3D 비디오-텍스처 트라이앵글로서 이들 설명을 렌더링하는 그래픽 프로세서로 보낸다(단계 260).
특히, 본 발명의 1실시예의 중앙 프로세서는 OpenGL 애플리케이션 프로그래밍 인터페이스를 이용하여 그래픽 액세레이터와 통신한다. 맵핑면의 각 버텍스에 대해서는, 중앙 프로세서는 OpenGL 명령구조를 이용하여 그래픽 프로세서(38)에 3개의 벡터값 데이터 세트를 제공한다. 중앙 프로세서는, 1) 기하학적 맵핑공간의 3D 좌표를 나타내는 버텍스 벡터와, 2) 버텍스에 대응하는 연관된 텍스처 이미지 위치를 나타내는 텍스처 좌표벡터, 및 3) 연관된 픽셀이 어떻게 디스플레이되는지를 결정하기 위해 모두 이용되는 특정의 칼라(적, 녹, 청) 및 알파 블렌딩(alpha-blending) 값을 나타내는 칼라벡터를 제공한다.
이러한 버텍스, 텍스처, 및 칼라 정보는 트라이앵글 메쉬를 묘사하는 컬렉션(collection: 집합)으로서 그래픽 프로세서로 보내진다. 그래픽 프로세서는, 합성 이미지를 형성하기 위해 그들 각각의 엣지에서 개개의 타일링된 이미지를 함께 스티칭하는, 트라이앵글 메쉬를 렌더링하기 위해 이들 구성을 이용한다(단계 240 참조). 특히, 각 이미지의 엣지는 인접한 타일과 오버랩된다. 이들 오버랩된 영역에서의 텍스처 좌표와 연관된 버텍스는 인접한 이미지의 코히어런트 블렌딩을 확실하게 하도록 처리된다. 이러한 절차를 달성하기 위해, 중앙 프로세서는 버텍스 정보가 그래픽 프로세서에 제공될 때 버텍스의 칼라와 연관된 강도 α값을 변경한다. 이미지를 함께 스티칭하기 위한 절차는 이하에 보다 상세히 기술된다.
기술된 실시예의 시스템 및 방법은 그래픽 프로세서와 통신하기 위해 OpenGL 명령구조를 이용했지만, 또 다른 명령구조를 이용할 수도 있다.
또한, 본 발명의 시스템 및 방법은 유사한 감지영역의 이미지를 함께 퓨징할 수 있는 능력을 제공한다(단계 250 참조). 특히, 시스템은 오버랩되는 감지영역를 갖는 하나 이상의 다른 타입의 소스를 포함할 수 있다. 이들 소스는 소스의 특성에 기초하여 동일한 시야의 다른 이미지를 생성한다. 그래픽 프로세서는, 양쪽 이미지의 이점이 디스플레이된 이미지에 실시되도록 이들 이미지를 함께 블렌딩한다. 이미지를 함께 퓨징하기 위한 절차는 이하에 보다 상세히 기술된다.
각 이미지의 텍스처 좌표를 기하학적 맵핑면의 버텍스와 상관시키는 것에 더하여, 중앙 프로세서는 또한 사용자의 시계라인을 헤드-추적장치(30)로부터 결정한다(단계 270 참조). 중앙 프로세서는 프로세서 메모리(42)에 저장되고 현재의 시계라인에 대한 감지영역 내에 있는 그들 타일 이미지를 그래픽 액세레이터(38)의 메모리(46)에 기억시킨다(단계 280 참조). 버텍스 값의 각 컬렉션이 중앙 프로세서로부터 수신되면, 그래픽 프로세서는 메모리(46)에 저장된 텍스처 이미지로부터의 데이터를 사용자의 감지영역에 있는 기하학적 공간의 각 버텍스와 연관시키고 그 이미지 데이터를 디스플레이 공간에 렌더링한다(단계 290 참조). 다음에, 렌더링된 데이터는 그래픽 프로세서 비디오 출력 전자장치를 통해 디스플레이에 제공된다(단계 300 참조). 이러한 프로세스는 이용가능한 최초의 입력 이미지를 이용하여 디스플레이 비디오 수직 프레임율로 연속해서 루핑된다.
상술한 바와 같이, 시각 시스템이 갖는 주요한 문제는 소스 자신간의 분리뿐만 아니라 관찰자와 소스의 물리적인 분리로 인해 야기되는 시차의 현상이다. 이러한 분리는, 소스가 사용자의 위치의 원근감과 다른 물체에 대한 원근감을 갖게 한다. 이들 문제에 대처하기 위해, 본 발명의 시스템 및 방법은, 시차에 의한 문제를 제거할 수 없다고 해도, 이를 감소시키는 2가지의 절차를 제공한다. 구체적으로는, 본 발명의 시스템 및 방법은, 먼저 갖가지 소스로부터의 이미지를 공통 공간에 맵핑시키는 기하학적 맵핑면을 정의한다. 다음으로, 본 발명의 시스템 및 방법은 공통의 기준 좌표계를 생성하여 소스, 맵핑면, 및 디스플레이를 공통 또는 기본 좌표계로 변환한다.
기하학적 맵핑면에 관해, 본 발명의 시스템 및 방법은 연속하는 맵핑면을 갖는 소스에 의해 이미지화되어 있는 실제 환경의 기하학 형태를 근사시킨다. 소스로부터의 이미지는 맵핑면에 맵핑되고, 이어서 디스플레이에 맵핑된다. 이와 같이 해서, 시스템의 모든 이미지는 보기 위해 공통 또는 기본 좌표계와 상관된다.
도 5를 참조하면, 기하학적 맵핑면은 3D 공간에 있어서 일련의 메쉬 트라이앵글로서 정의된다. 각 트라이앵글은 3개의 버텍스로 정의된다. 도 5에 도시된 바와 같이, 기하학적 공간의 각 버텍스에 대해, 중앙 프로세서는 버텍스를 연관되는 입력 이미지 내의 위치에 대한 좌표와 관련된 텍스처 좌표를 제공한다(도 4의 단계 230 참조). 이와 같이 해서, 버텍스가 맵핑면으로부터 소스 이미지로 광선추적되어, 렌더링하기 위해 연관된 텍스처 좌표를 결정한다(단계 290 참조). 다음에, 이미지가 렌더링되어 디스플레이된다.
도 6a~도 6d를 참조하면, 기하학적 맵핑면이 각 소스에 대한 벡터영역을 결정하기 위해 선택된다. 즉, 공통의 외부 경계가 모든 소스에 대해 선택된다. 다음에, 각 소스로부터의 이미지는 기하학적 면에 맵핑된 후 항공기를 둘러싸는 영역의 코히어런트 이미지를 위해 디스플레이에 맵핑된다. 소스의 위치와 관련된 기하학적 면의 위치의 선택은 시차의 문제를 감소시키는데 중요하다. 도 6a는, 2개의 센서, 즉 센서 A 및 센서 B로부터의 다른 거리의 공간에서의 2개의 물체(정사각형 물체 52 및 삼각형 물체 54)를 나타낸다. 이들 센서는 센서의 감지영역에 더 많은 오버랩을 만들기 위해 서로에 대해 약간 "견인"되어 있다(통상, 이것은 이러한 이유 때문에 시스템의 센서(12)에서 행해진다). 2개의 물체의 정확한 맵핑을 위해, 맵핑면(60)은 2개의 물체가 관찰자에게 적절하게 보이도록 선택된다. 도 6b~도 6d는, 맵핑면의 위치 선택에 수반된 문제를 기술한다.
구체적으로는, 도 6b 및 도 6d는 정사각형 물체(52)의 위치에 맵핑면(60)을 위치시키는 것과 관련된 문제를 기술한다. 이 경우, 면이 선택된 후, 정사각형 물체(52)는 각 센서에 대해 맵핑면(60)과 동일한 위치로 투영된다. 센서 A의 경우는, 삼각형 물체가 위치 56a에 맵핑되고, 센서 B의 경우는, 삼각형 물체가 위치 56b의 면에 맵핑된다. 도 6d에 도시된 바와 같이, 2개의 센서로부터의 이미지가 조합되면, 관찰자에게는 감지영역에 2개의 삼각형이 있는 것처럼 보인다.
도 6b 및 도 6c를 참조하면, 유사한 방식으로, 맵핑면(60)이 삼각형 물체(54)의 위치에 선택되면, 삼각형 물체(54)는 맵핑면(60)의 동일한 위치에 맵핑될 것이다. 센서 A의 경우는, 정사각형 물체는 위치 58a에 맵핑되고, 센서 B의 경우는, 정사각형 물체는 위치 58b의 면에 맵핑된다. 도 6c에 도시된 바와 같이, 2개의 시야로부터의 타일 이미지가 조합되면, 감지영역에 2개의 정사각형이 있는 것처럼 보인다.
도 6a~도 6d에 도시된 바와 같이, 기하학적 맵핑면의 위치의 선택은 시차 근점거리를 감소시키는데 중요한 이슈이다. 예컨대, 도 6a~도 6d에 도시된 경우에 있어서는, 적절한 맵핑면 위치는 동일한 광선에 따른 다른 범위에 있는 물체에 대해 이론적으로는 중간이다. 다시 말해서, 맵핑면의 위치는 최선의 경우 불연속적이고, 최악의 경우 불확정적인 시점의 원근감으로부터 표현되는 상대적인 3D 기하학적 형태의 함수이다. 이것은, 시차 근점거리를 최소화시키는 해결책을 얻기 위해 이미지화되어 있는 기하학적 형태를 근사시키도록 면이 선택되기 때문이다.
항공기의 경우, 구면을 기하학적 맵핑면으로 이용해도 좋다. 상당한 높이(고도)에서는, 시차 근점거리는 제로쪽으로 향하는 경향이 있고, 기하학적 맵핑면은 몇몇 이론상의 최대거리로 선택할 수 있다. 그러나, 항공기가 하강하여 지상에 근접하게 되면, 항공기와 지형 등과 같은 주변 물체간의 거리를 아주 가깝게 근사시키기 위해 항공기의 위치와 기하학적 맵핑면간의 거리는 감소되어야만 한다. 따라서, 낮은 높이의 비행과, 착륙, 천천히 이동하는 경우 또는 지상의 차량의 경우나 지상의 애플리케이션의 경우, 구면과 더불어 구면에 대해 평평한 기하학적 면을 이용하여 지상의 표면에 근사시켜도 좋다. 근사는 계산 복잡성의 비용을 지불하고 이미지화되어 있는 기하학적 형태의 연역적 지식에 기초하여 더 특정될 수도 있다.
예컨대, 몇몇 합성 네비게이션 데이터는 다양한 지형의 특징을 나타내기 위해 다각형을 사용함으로써 3D로 표현되는 지형 데이터를 포함한다. 다각형이 맵핑면을 위해 사용될 수 있다. 이 경우, 시스템은 다양한 기하학적 면을 포함하고, 디스플레이에 가장 가까운 면이 맵핑면으로 사용된다. 항공기가 이동함에 따라, 기하학적 맵핑면은 합성 데이터로부터 그때 가장 가까운 기하학적 면으로 변화된다.
또 다른 예에 있어서, 시스템은 지형 및 그 밖의 특징의 범위(range)를 나타내는 레인징장치(ranging device)로부터 데이터를 수신한다. 이 범위 데이터는 기하학적 맵핑면을 구성하는데 사용될 수 있다.
일단 기하학적 맵핑면이 선택되면, 소스, 맵핑면, 및 디스플레이의 좌표계 사이에서 변환하기 위한 공통 또는 기본 좌표계를 생성하는 것이 중요하다. 도 7은 62'에서 면으로 투영되는 물체와 함께 소스(61) 및 물체(62)에 대해 선택된 구형의 기하학적 맵핑면(60)을 기술한다. 이 도면에서 볼 수 있는 바와 같이, 소스(61)는 좌표계 64를 갖고, 디스플레이는 좌표계 66을 가지며, 맵핑면은 좌표계 68을 갖고, 이들은 모두 서로 다르다. 그 목적은 소스(61), 기하학적 맵핑면, 및 그 디스플레이의 벡터공간 사이에서의 맵핑을 허용하는 기준 좌표계 70을 생성하기 위한 것이다. 이러한 면, 좌표계, 및 벡터공간을 통한 기하학적 맵핑의 컬렉션은 광선추적 모델이라 일컬어진다.
광선추적 모델은, 통상 차량의 좌표에 관련되는 데카르트 기준공간을 이용한다. 정확한 변환이 수행되는 것을 확실하게 하기 위해 가능한 한 많은 요인을 고려에 넣는 것이 중요하다. 특히, 각 소스 및 디스플레이는 외부 광축의 피치, 롤(roll), 및 요(yaw) 뿐만 아니라, 광 출사 또는 입사 퍼필(pupil)의 x, y, z위치를 설명하기 위한 완전한 6개의 자유도 성분으로 모델링된다. 더욱이, 각 소스와 관련된 옵틱(optic: 광학기기)은 소스에 의해 수신되는 이미지의 원근감에 영향을 주고, 옵틱 자체에 의해, 또는 소스나 디스플레이의 픽셀 분포(래스터)에 의해 야기되는 왜곡도 존재할 수 있다. 이것을 고려하여, 변환은 광학적 왜곡 및 래스터 왜곡에 대한 비선형 변환에 의한, 완전한 6개의 자유도 성분으로서의 시스템에서의 각 소스 및 디스플레이의 모델링을 포함한다.
소스 및 디스플레이에 대한 이 변환절차는 도 8에 보다 상세히 도시되어 있다. 특히, 각 소스 또는 디스플레이의 기준좌표는 6개의 자유도의 6DOF 기준에 의해 정의된다. 또한, 각 성분은 퍼필 공간에 있어서 사다리꼴 형상의 시야 체적(74)을 갖는다. 사다리꼴은 성분에 관련되는 시계라인(78)으로부터는 1/2 각도의 가까운 면(76a) 및 먼 면(76b)과, 좌측부, 우측부, 상측부 및 하측부(76c~76f)에 의해 정의된다. 시계라인은 성분의 좌표기준의 x축을 따라 선택된다.
센서 성분에 대해서는, 이미지가 센서에 의해 수신되면, 그 이미지는 이미지(80)를 왜곡시키는 센서의 옵틱을 통과한다. 따라서, 이미지는 최초로 옵틱으로 인한 이들의 비선형 변환을 설명하기 위해 퍼필 공간으로부터 이미지 공간으로 변환된다(foptic). 이러한 변환에 이어서, 이미지는 래스터(82) 상에 있어서 디스플레이를 위해 스케일링과 래스터 공간의 원점을 확립하는 래스터 공간으로 변환된다(fraster). 디스플레이에 대한 변환은 역순이다. 특히, 래스터 공간은 최초로 이미지 공간으로 변환되고(f-1 raster), 차례로 퍼필 공간으로 변환된다(f-1 optic). 이들 비선형 변환은 모두 광선추적 모델 내에서 정방향 및 역방향 양쪽에 이용될 수 있다.
또한, 기하학적 맵핑면 교차점은 도 7의 기준 좌표공간(70)으로 변환될 수 있다. 이것은, 면의 특정의 기하학적 형상에 관련된 기하학적 형태에 기초를 둔 변환을 이용하여 달성된다. 특히, 도 9에 도시된 바와 같이, 주어진 위치 P로부터, 시계라인(UP)이 정의된다. 면 교차점(S)은 시계라인이 맵핑면(60)과 교차하는 곳에 정의된다. 이 지점은 국소적인 유클리드 공간으로 변환되어 면 fsurface(Up, Vop)에 맵핑된다. 다음에, 면 교차점이 면 f-1 surface(Vos, Vop)로부터 맵핑되어 기준 좌표계로 변환된다.
상술한 소스, 맵핑면, 및 디스플레이에 대한 변환을 이용하여, 각 소스에 의해 갭쳐되는 이미지를 적절하게 상관시키고, 이에 따라 이미지를 적절하게 정합 및 디스플레이시킬 수 있다.
상술한 바와 같이, 본 발명의 중앙 프로세서는 각 소스로부터의 각 이미지를 맵핑면에 연관시킨다. 이러한 절차는 타일링이라 일컬어진다. 각 이미지에 대해서는, 영역 또는 타일은 통상 일정한 방위각 및 일정한 고도경계에 의해 맵핑면 상에서 정의된다. 타일링은 이미지의 경계를 심미적인 형태로 만들 뿐만 아니라, 그래픽 프로세서에 의해 일정하게 렌더링된 맵핑면의 각 버텍스에 대한 정확한 스티칭 및 퓨전 블렌드 계수의 정의를 가능하게 한다.
도 10은 이러한 타일링 절차를 기술한다. 상술한 바와 같이, 맵핑면(60)은 버텍스(84)의 컬렉션으로서 정의된다. 중앙 프로세서는 이들 버텍스를 특정의 이미지에 대한 텍스처 좌표와 연관시킨다. 특히, 소스(12)로부터의 이미지(82)는 맵핑면(60) 상에 효과적으로 투영된다. 버텍스는 맵핑면 좌표계(68)에 대해 위치결정된다. 버텍스는 투영된 이미지에 의해 커버되는 영역의 일부분(subset)인 타일(90)을 정의한다. 다음에 렌더링되어 디스플레이되는 것이 이러한 타일부분(90)이다. 전체 이미지의 크기보다 작은 타일을 선택함으로써, 센서 옵틱이나 다른 왜곡으로 인해 통상 이미지의 주변에도 야기되는 페이딩(fading)이나 다른 열화가 타일 이미지로부터 제거된다. 상기 프로세스는 합성 이미지를 디스플레이하는데 이용하기 위한 일련의 타일이 생성되도록 모든 이미지에 대해 수행된다.
도 11은 이미지를 렌더링하고 디스플레이하기 위한 그래픽 프로세서에 버텍스 및 연관된 텍스처 좌표를 제공하기 위해 중앙 프로세서에 의해 사용되는 변환을 기술한다. 도 11은 이미지에 대응하는 버텍스(84)를 갖는 맵핑면(60)에 맵핑된 이미지(86)가 포함되는 그 자신의 좌표계(64)를 갖는 소스(12)를 기술한다. 그 연관된 좌표계(66)를 갖는 디스플레이(28)는 맵핑면의 정면에 배치된다. 또한, 소스(12)의 래스터 공간(94) 및 디스플레이의 래스터 공간(96)이 기술되어 있다. 타일 버텍스는 2D 텍스처 좌표를 확립하는 소스 래스터 공간(94)에 맵핑된다.
디스플레이(28)가 선형 디스플레이 옵틱을 갖는 경우, 타일을 정의하는 버텍스(84)는 3D 텍스처된 다각형으로 렌더링되어 디스플레이 퍼필 공간으로부터의 원근 투영을 디스플레이 래스터 공간(96)에 제공한다. 디스플레이가 비선형 옵틱을 갖는 경우, 타일 버텍스는 2D 버텍스 좌표를 확립하기 위해 디스플레이 래스터 공간에 맵핑된다. 다음에, 타일 버텍스는 2D 텍스처된 다각형으로 렌더링된다. 이것은, 디스플레이 이미지 공간으로부터 디스플레이 래스터 공간으로의 직각 투영이다.
각 이미지를 공통의 맵핑면으로 정확하게 맵핑하는 것과, 이미지, 맵핑면, 및 디스플레이를 공통의 좌표계에 관련시키기 위한 변환을 제공하는 것에 더하여, 본 발명의 시스템 및 방법은 디스플레이되는 이미지를 향상시키기 위한 기술도 제공한다. 앞에 설명한 바와 같이, 본 발명의 시스템 및 방법은 합성 이미지를 형성하기 위해 인접한 이미지 타일을 함께 스티칭하기 위한 방법을 제공한다(단계 240 참조, 도 4). 도 12 및 도 13은 이러한 스티칭 프로세스를 기술한다.
특히, 도 12는 수평 모자이크 이미지 배열(100)을 집합적으로 정의하는 일련의 이미지 타일 98a~98i를 기술한다. 이들 타일의 각각은 각 타일의 인접한 엣지가 동일한 이미지를 포함하도록 서로 약간 오버랩되는 소스로 취해진다. 예컨대, 타일(98f)의 엣지부(102)는 타일(98e)의 엣지부(104)에 디스플레이되는 것과 같은 시야를 디스플레이하는 것이다. 각 타일의 다른 인접한 부분 모두에 대해서도 마찬가지이다. 또한, 이것은 2차원 모자이크 배열에도 적용되고, 이 경우 수직으로 인접한 타일의 상면 및 하면 엣지가 블렌딩된다.
이미지가 각 타일의 엣지에서 동일하다고 가정하면, 타일은 그 인접한 엣지에서 오버랩되어 이미지의 공통부분이 서로 오버레잉된다. 이러한 관계는 중앙 프로세서에 의해 수학적으로 확립된다. 특히, 각 타일에 대해, 중앙 프로세서는 동일한 맵핑면 버텍스를 갖도록 각 타일의 엣지부를 정의한다. 예컨대, 엣지부(102)에서의 픽셀(102a)은 엣지부(104)에서의 픽셀(104a)로서, 지정된 동일한 맵핑면 버텍스를 갖는다. 특히, 중앙 프로세서가 제1타일(98e)을 렌더링하기 위해 그래픽 프로세서에 정보를 보내면, 그것은 엣지부(104)를 표현하는 트라이앵글 스트립을 위한 버텍스, 텍스처, 및 칼라 정보를 보낸다. 중앙 프로세서가 제2타일(98f)을 렌더링하기 위해 정보를 보내면, 그것은 엣지부(102)를 표현하는 트라이앵글 스트립을 위한 버텍스, 텍스처, 및 칼라 정보를 보낸다. 각기 다른 타일에 대한 2개의 픽셀 102a 및 104a가 독립하고 있지만 동일한 버텍스 스트립으로부터 결정되고 있기 때문에, 그래픽 프로세서는 디스플레이상의 동일한 위치에 2개의 픽셀을 렌더링하여 디스플레이한다. 이것은, 인접한 타일간에 오버랩을 야기시키기 위해 이미지가 동일한 각 인접한 타일에서의 각 대응하는 픽셀에 대해 행해진다. 이것은 도 12에 도시된 바와 같이 인접한 엣지 모두에 대해 행해진다. 타일(98a~98i)을 오버랩함으로써, 합성 모자이크 이미지(100)가 디스플레이될 수 있다.
타일의 인접한 엣지의 오버랩핑이 몇몇 레벨의 스티칭을 제공하더라도, 단지 오버랩핑을 제공하는 것만으로는 이음부가 없는 이미지를 제공하지 못한다. 이 때문에, 본 발명의 시스템 및 방법은 숨겨진 이음부를 생성하기 위해 이미지를 더 처리한다. 도 13을 참조하면, 본 발명의 시스템 및 방법은 이음부를 숨기기 위해 OpenGL의 텍스처 조절 및 픽셀 블렌딩 능력을 활용한다. 특히, 도 13에 나타낸 바와 같이, 일련의 이미지(106a~106d)는 합성 이미지(108)를 형성하기 위해 맵핑면(60) 상에서 렌더링된다. 본 발명의 시스템 및 방법은 맵핑면(60) 상에 있어서 이미지가 오버랩되는 위치에 블렌딩존(110)을 정의한다. 각 블렌딩존은 맵핑면 상에 있어서 다수의 버텍스를 정의한다.
2개의 이미지를 블렌딩하기 위해, 본 발명의 중앙 프로세서는 블렌드존에서의 버텍스 칼라의 강도값을 변경한다. 특히, 상술한 바와 같이, 각 버텍스에 대해서는, 중앙 프로세서는 버텍스 좌표, 텍스처 좌표, 및 칼라를 정의한다. 칼라와 관련된 것은, 현재 렌더링되는 픽셀이 어떻게 프레임 버퍼의 콘텐트에 기여하는지를 결정하기 위해 그래픽 프로세서에 의해 이용되는 알파 블렌딩 값이다. 본 발명의 하나의 바람직한 실시예에 있어서, 중앙 프로세서는 그래픽 프로세서의 텍스처 조절 및 블렌딩 능력이 2개의 타일 이미지를 함께 블렌딩시키기 위해 블렌드존에 있어서 테이퍼링 효과(tapering effect)를 야기하도록 버텍스 칼라를 정의한다. 텍스처 조절에 있어서, 결과로서 생기는 픽셀 칼라는 연관된 버텍스로부터 보간되는 솔리드 칼라로서 시작하지만, 이 칼라를 연관된 텍스처 이미지 콘텐트로 조절함으로써 더 변경된다. 예컨대, 모든 적색 버텍스의 트라이앵글은 보통 솔리드 적색 트라이앵글로서 렌더링되지만, 연관된 단색 텍스처 이미지에 의해 조절되는 경우, 결과로서 적색 트라이앵글 이미지가 나타나게 된다. 이러한 조절은, 적색, 녹색 및 청색 픽셀값에 대해 독립적으로 수행되고, 따라서 녹색 텍스처를 갖는 청색 트라이앵글은 흑색 픽셀로 된다.
블렌딩 함수는 적색, 녹색, 및 청색 성분에 대해 독립적으로 수행되는 프레임 버퍼에서의 기존의 픽셀과 렌더링된 픽셀의 가중 합계를 포함한다. 제1블렌딩 함수(f1blend())는 이하와 같은 가중치를 결정하기 위해 픽셀에 대해 보간된 버텍스 알파값을 이용한다.
Display=f1blend()=α*ImageA+(1-α)*ImageB.
제2블렌딩 함수(f2blend())는 소스 픽셀 ImageA에 대해서만 보간된 알파를 이용하고, 이하와 같이 ImageB 가중에 대해 1을 이용한다.
Display=f2blend()=α*ImageA+(1)*ImageB
특정의 모자이크 엣지 블렌드존의 2개의 트라이앵글 스트립을 렌더링하는 경우, 제1스트립은 flblend()를 이용하여 렌더링되고, 다음에 제2스트립은 f2blend()를 이용하여 렌더링된다. 몇몇 기본 계산에 있어서, 프레임 버퍼가 최초에 픽셀값 Display0를 포함한다고 가정하면, 결과로서 생기는 픽셀값은 이하와 같이 나타낼 수 있다.
Display2=α*ColorB*ImageB+α*ColorA*ImageA+(1-α)*Display0
ColorA 및 ColorB는 합계가 1로 되도록 블렌드존의 칼라 테이퍼에 의해 정의된다.
ColorB=1-ColorA
Display2=α*(ImageB-ColorA*ImageB+ColorA*ImageA)+(1-α)*Display0
더욱이, 이미지 표시가 완전하거나, ImageB=ImageA이라고 가정하면, 그 결과는 이하와 같이 된다.
Display2=α*ImageB+(1-α)*Display0
비표시로 인한 픽셀값 에러가 이하와 같이 표시될 수 있음을 나타낼 수도 있다.
DisplayError=α*ColorA*(ImageA-ImageB)
이것은, 각각 구성되는 소스 이미지로부터의 트라이앵글 스트립이 동일한 버텍스 위치와 합계가 1인 칼라의 구배로 정의되기 때문에, 블렌드존 영역에서의 모든 디스플레이 픽셀에 대해서도 마찬가지이다.
블렌드존 정의는 합계가 1로 되도록 지정되지만, 인접한 소스 이미지간의 밝기의 불일치가 여전히 합성 이미지에 불연속성을 야기시킬 수 있다. 이러한 불연속성은 보다 밝은 이미지의 내부의 블렌드존 버텍스의 칼라 등급을 감소시킴으로써 최소화된다. 등급 척도 계수는 문제로 되고 있는 점에서의 인접한 이미지의 상대적 밝기의 비율로서 계산된다. 로컬영역의 단순한 평균값이 각 소스 이미지에 대한 각 블렌드존 텍스처 좌표에서 계산된다. 예컨대, 도 14에 도시된 바와 같이, 2개의 이미지가 이음부(112)에서 함께 스티칭되는 경우, 이미지간에 밝기(114)의 차이가 발생한다. 이를 교정하기 위해, 보다 밝은 이미지에 대한 강도등급을 상대적 강도비율로 떨어뜨릴 수 있고, 결과로서 보다 바람직한 밝기 정합(116)을 야기시킬 수 있다.
인접한 타일 엣지의 블렌딩을 위한 방법을 제공하는 것에 더하여, 본 발명은 다른 타입의 소스로부터의 이미지를 퓨징하기 위한 방법도 제공한다. 이미지 퓨전(fusion: 융합)은 사용자가 각각 기여하는 소스에 의해 제공되는 고유의 장점을 포함하는 합성 이미지를 볼 수 있도록 한다. 일예가 비디오 카메라 및 적외선 소스로부터의 이미지의 퓨전이고, 여기서 퓨징된 이미지는 적외선 소스의 열적 시각화 및 카메라의 시각적 특성으로부터의 이익을 얻는다.
도 15는 퓨전의 그래픽 설명이다. 도시된 바와 같이, 중앙 프로세서(36)는 동일하거나 또는 유사한 감지영역를 갖는 2개의 별개의 소스로부터 별개의 이미지 118a 및 118b를 수신한다. 동작에 있어서, 중앙 프로세서는 모자이크 이미지 타일과 유사한 각각 기여하는 이미지에 대한 이미지 메쉬를 정의하지만, 이 경우 각각 기여하는 타일은 작은 블렌드존이 아니라 큰 영역에서 오버랩되는 경향이 있다. 한쪽의 이미지 또는 다른쪽의 이미지를 강조하기 위해, 중앙 프로세서는 타일 버텍스의 알파 블렌딩 칼라값을 이용한다. 예컨대, 퍼센테이지에 기초한 방법에 있어서, 중앙 프로세서는 동일한 알파값을 특정의 메쉬에서의 모든 버텍스에 할당한다. f1blend() 함수를 이용함으로써, 메쉬는 앞서 정의된 가중 합을 이용하여 소스 픽셀을 현재의 디스플레이 픽셀값과 조합시키도록 렌더링된다.
Display1=f1blend()=α*ImageA+(1-α)*Display0
퍼센테이지에 기초한 퓨전의 대체예로서, 콘텐트에 기초한 퓨전을 이용할 수 있다. 이 방법은, 유사한 퍼센테이지 비율의 블렌딩을 포함하지만, 타일 버텍스에 할당된 알파(α)값을 사용하는 것이 아니라, 소스 픽셀강도로부터 블렌딩 계수가 결정된다. 이것은, 이하와 같은 형태의 식으로 기재되는 픽셀구동의 알파라 일컬어진다.
Display1=(ImageA/2N)*ImageA+(1-ImageA/2N)*Display0
N=pixel bit depth(화소 비트 깊이)
일예로서, 도 17은 함께 퓨징된 적외선 이미지(126a)와 CCD 카메라 이미지(126b)를 나타내고, 여기서 적외선 타일 버텍스에는 적색값이 할당되고, CCD 타일 버텍스에는 녹색값이 할당된다. 이것은, 적-녹 보색 대비의 장점을 이용함으로써, 각 소스 이미지의 스펙트럼의 내용을 강조한다. 예컨대, 자동차 후드 상의 반사광(128)은 가시 이미지로부터 생기고, 전신주 상의 전력변압기(130)는 적외선 이미지에 의해 강조된다.
다른 퓨전기술이 본 발명에 이용하기 위해 고려된다. 이들은, 예컨대 계산동작, 주파수 범위 처리, 및 물체 식별과 추출을 포함한다.
모자이크 이미지 스티칭 및 이미지 퓨전에 더하여, 이미지 타일링 능력도 시인가능한 공간 전체에 걸쳐 분산되는 픽처-인-픽처 가상 디스플레이를 표현하는 능력을 제공한다. 예컨대, 무릎 위에 페이퍼 맵(paper map: 종이 지도)을 갖는 것과 마찬가지로 하부 디스플레이 영역에 제공되는 이동하는 맵을 갖는 것이 바람직하다. 또 다른 바램은, 후면 거울(rear-view mirror: 백미러)과 마찬가지로 상부 디스플레이 영역에 있어서 타일에 맵핑된 후면에 면하는 카메라를 갖추는 것이다. 이들 개념은, 차량의 전방시야, 상부의 후면 거울 타일(134), 하부의 이동 맵 타일(136)에 스티칭된 수평 적외선 이미지 배열(132)을 나타내는 도 18에 도시되어 있다. 더욱이, 이러한 이미지는 차량 위치와 상관되는 열추적 3D 지형 렌더링 등과 같은 합성 이미지 소스에서 향상될 수 있다.
이 경우, 중앙 프로세서는 네비게이선 데이터베이스로부터의 3D지형 및 그래픽을 생성하는 합성 비전 시스템의 출력을 수신한다. 합성 비전 이미지는 맵핑면으로 변환되어 이미지 퓨전 기능을 포함하는 다른 소스 이미지와 마찬가지로 렌더링된다. 예컨대, 도 19는 도 18의 합성 시야의 중심영역과 퓨징된 합성 이미지를 기술한다.
이동 맵 데이터에 더하여, 다른 타입의 디스플레이 데이터도 각각의 타일에 디스플레이되거나 또는 이미지와 퓨징된다. 예컨대, 항공기 HSI 및 ADI 디스플레이, 고도계, 풍속 등은 타일로서 디스플레이 상에 디스플레이되거나, 또는 이미지와 퓨징되어 조종사가 항공기 주변 환경을 보면서 기기 측정치를 볼 수 있도록 하는 통합된 시야를 제공할 수 있다.
기술되지는 않았지만, 시스템 및 방법은 또한 픽처-인-픽처 타일링, 줌잉(zooming), 패닝(panning) 등을 제공하는 능력을 포함한다.
"SYSTEMS AND METHODS FOR PROVIDING ENHANCED VISION IMAGING WITH DECREASED LATENCY"라는 명칭으로, 본 명세서와 동시에 출원된 미국특허출원 S/N 제10/377,412호는 필드 프로그램가능 게이트 어레이 또는 유사한 병렬 처리장치를 이용하는 이미지 디스플레이 시스템을 기재하고 있으며, 그 내용이 참조로 여기에 원용된다.
한편, 본 발명은 상술한 실시예에 한정되는 것은 아니고, 본 발명의 목적 및 배경을 이탈하지 않는 범위 내에서 다양하게 변형하여 실시할 수 있는 것은 물론이다.
이상 기술한 바와 같이, 본 발명은 개선된 비전 디스플레이에 사용하기 위한 시스템 및 방법을 제공할 수 있다.

Claims (35)

  1. 주변 환경의 이미지를 디스플레이의 시점에 제공하기 위한 시스템에 있어서,
    감지영역을 가짐과 더불어 상기 주변 환경의 이미지를 제공하는 적어도 하나의 이미지 소스와,
    상기 이미지 소스 및 디스플레이와 통신되는 프로세서를 구비하여 구성되고,
    상기 프로세서는 상기 이미지 소스 및 디스플레이로부터 선택된 거리에 상기 이미지 소스의 감지영역 내에서의 환경에 근사하는 맵핑면을 정의하며, 상기 프로세서는 상기 이미지 소스의 기하학적 형태, 상기 디스플레이의 기하학적 형태, 및 상기 맵핑면의 기하학적 형태와 상호 관련된 모델을 정의하는 것을 특징으로 하는 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서, 상기 이미지 소스의 감지영역 내의 맵핑면의 선택된 좌표를 위해, 상기 모델을 이용하는 상기 프로세서는 상기 맵핑면상의 선택된 좌표에 대응하는 상기 이미지 소스의 좌표를 결정하고, 상기 프로세서는 상기 선택된 맵핑면 좌표를 상기 디스플레이의 대응하는 좌표와 관련시키고 상기 디스플레이상에 있어서 대응하는 좌표에서의 이미지 소스의 상기 결정된 좌표와 관련된 이미지 데이터를 디스플레이하는 것을 특징으로 하는 시스템.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 주변 환경의 이미지를 디스플레이의 시점에 제공하기 위한 방법에 있어서,
    감지영역을 가짐과 더불어 상기 주변 환경의 이미지를 제공하는 적어도 하나의 이미지 소스를 제공하는 단계와,
    상기 이미지 소스 및 디스플레이로부터 선택된 거리에 상기 이미지 소스의 감지영역 내에서의 환경에 근사하는 맵핑면을 정의하는 단계,
    상기 이미지 소스의 기하학적 형태, 상기 디스플레이의 기하학적 형태, 및 상기 맵핑면의 기하학적 형태와 상호 관련된 모델을 정의하는 단계를 구비하여 이루어진 것을 특징으로 하는 방법.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 제13항에 있어서, 상기 이미지 소스의 감지영역 내의 맵핑면의 선택된 좌표를 위해,
    상기 맵핑면상의 선택된 좌표에 대응하는 이미지 소스의 좌표를 결정하기 위해 모델을 이용하는 단계와,
    상기 선택된 맵핑면 좌표를 상기 디스플레이의 대응하는 좌표와 관련시키는 단계 및,
    상기 디스플레이상에 있어서 대응하는 좌표에서의 이미지 소스의 결정된 좌표와 관련된 이미지 데이터를 디스플레이하는 단계를 더 구비하여 이루어진 것을 특징으로 하는 방법.
  18. 주변 환경의 이미지를 디스플레이의 시점에 제공하기 위한 시스템에 있어서,
    감지영역을 가짐과 더불어 상기 주변 환경의 이미지를 제공하는 적어도 하나의 이미지 소스와,
    상기 이미지 소스 및 디스플레이와 통신되는 프로세서를 구비하여 구성되고,
    상기 프로세서는 상기 이미지 소스로부터 선택된 거리에 맵핑면을 정의하며,
    상기 이미지 소스의 감지영역은 맵핑면상에 투영되는 이미지를 정의하고, 상기 프로세서는 상기 이미지 소스에 의해 맵핑면상에 투영된 이미지에 의해 커버되는 영역의 일부분을 정의하는 타일을 정의하는 것을 특징으로 하는 시스템.
  19. 삭제
  20. 삭제
  21. 삭제
  22. 주변 환경의 이미지를 디스플레이의 시점에 제공하기 위한 방법에 있어서,
    맵핑면상에 투영되는 이미지를 정의하는 감지영역을 가짐과 더불어 상기 주변 환경의 이미지를 제공하는 적어도 하나의 이미지 소스를 제공하는 단계와,
    상기 이미지 소스로부터 선택된 거리에 맵핑면을 정의하는 단계 및,
    상기 이미지 소스에 의해 상기 맵핑면상에 투영된 이미지에 의해 커버되는 영역의 일부분을 정의하는 타일을 정의하는 단계를 구비하여 이루어진 것을 특징으로 하는 방법.
  23. 삭제
  24. 삭제
  25. 삭제
  26. 주변 환경의 이미지를 디스플레이의 시점에 제공하기 위한 시스템에 있어서,
    각각의 감지영역을 가짐과 더불어 상기 주변 환경의 이미지를 제공하는 적어도 2개의 이미지 소스와,
    상기 이미지 소스 및 디스플레이와 통신되는 프로세서를 구비하여 구성되되,
    상기 프로세서는 상기 이미지 소스로부터 선택된 거리에 맵핑면을 정의하고,
    상기 이미지 소스의 각각의 감지영역은 맵핑면상에 투영되고 오버랩되는 이웃 영역을 갖는 각각의 이미지를 정의하고, 상기 프로세서는 상기 오버랩되는 이웃 영역 내의 맵핑면상에 블렌드존을 정의하고 이미지 사이의 이음부를 감추기 위해 블렌드존의 이미지의 강도를 조절하는 것을 특징으로 하는 시스템.
  27. 삭제
  28. 주변 환경의 이미지를 디스플레이의 시점에 제공하기 위한 방법에 있어서,
    맵핑면상에 투영되고 오버랩되는 이웃 영역을 갖는 각각의 이미지를 정의하는 감지영역을 각각 가짐과 더불어 상기 주변 환경의 이미지를 제공하는 적어도 2개의 이미지 소스를 제공하는 단계와,
    상기 이미지 소스로부터 선택된 거리에 맵핑면을 정의하는 단계,
    상기 오버랩되는 이웃 영역 내의 맵핑면상에 블렌드존을 정의하는 단계 및,
    이미지 사이의 이음부를 감추기 위해 블렌드존의 이미지의 강도를 조절하는 단계를 구비하여 이루어진 것을 특징으로 하는 방법.
  29. 삭제
  30. 주변 환경의 이미지를 디스플레이의 시점에 제공하기 위한 시스템에 있어서,
    적어도 부분적으로 오버랩되는 감지영역을 각각 갖는 적어도 2개의 이미지 소스와,
    상기 이미지 소스 및 디스플레이와 통신되는 프로세서를 구비하여 구성되되,
    상기 이미지 소스는 적어도 하나의 고유의 특성을 각각 갖는 각각의 이미지를 제공하고,
    상기 프로세서는 상기 이미지 소스로부터 선택된 거리에 맵핑면을 정의하며,
    상기 이미지 소스의 각각의 감지영역은 상기 맵핑면상에 투영되고 오버랩되는 영역을 갖는 각각의 이미지를 정의하고, 상기 프로세서는 그 이미지를 각 이미지의 고유의 특성을 포함하는 합성 이미지에 조합하는 것을 특징으로 하는 시스템.
  31. 삭제
  32. 삭제
  33. 주변 환경의 이미지를 디스플레이의 시점에 제공하기 위한 방법에 있어서,
    적어도 부분적으로 오버랩되는 감지영역을 각각 갖는 적어도 2개의 이미지 소스를 제공하는 단계와,
    상기 이미지 소스로부터 선택된 거리에 맵핑면을 정의하는 단계 및,
    그 이미지를 각 이미지의 고유의 특성을 포함하는 합성 이미지에 조합하는 단계를 구비하여 이루어지되,
    상기 이미지 소스는 적어도 하나의 고유의 특성을 각각 갖는 각각의 이미지를 제공하며,
    상기 이미지 소스의 각각의 감지영역은, 상기 맵핑면상에 투영되고 오버랩되는 영역을 갖는 각각의 이미지를 정의하는 것을 특징으로 하는 방법.
  34. 삭제
  35. 삭제
KR1020040013513A 2003-03-01 2004-02-27 개선된 비전 이미징을 제공하기 위한 시스템 및 방법 KR101068329B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/379,409 2003-03-01
US10/379,409 US7619626B2 (en) 2003-03-01 2003-03-01 Mapping images from one or more sources into an image for display

Publications (2)

Publication Number Publication Date
KR20040078061A KR20040078061A (ko) 2004-09-08
KR101068329B1 true KR101068329B1 (ko) 2011-09-28

Family

ID=32771546

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040013513A KR101068329B1 (ko) 2003-03-01 2004-02-27 개선된 비전 이미징을 제공하기 위한 시스템 및 방법

Country Status (4)

Country Link
US (1) US7619626B2 (ko)
EP (1) EP1453009A3 (ko)
JP (1) JP4520180B2 (ko)
KR (1) KR101068329B1 (ko)

Families Citing this family (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030081849A1 (en) * 2001-07-16 2003-05-01 Smith Joshua Edward Method and system for creating seamless textured three dimensional models of objects
JP3670274B2 (ja) 2002-11-05 2005-07-13 アジア航測株式会社 視覚化処理システム、視覚化処理方法、及び視覚化処理プログラム
US7486291B2 (en) * 2003-07-08 2009-02-03 Berson Barry L Systems and methods using enhanced vision to provide out-the-window displays for a device
US20050140696A1 (en) * 2003-12-31 2005-06-30 Buxton William A.S. Split user interface
US7020434B2 (en) * 2004-01-02 2006-03-28 The United States Of America As Represented By The Secretary Of The Navy Animated radar signal display with fade
US7324137B2 (en) * 2004-01-29 2008-01-29 Naomichi Akizuki System for automatically generating continuous developed still image from video image of inner wall of tubular object
US7617022B1 (en) * 2004-07-01 2009-11-10 Rockwell Collins, Inc. Dual wavelength enhanced vision system optimized for visual landing light alignment
US7929800B2 (en) 2007-02-06 2011-04-19 Meadow William D Methods and apparatus for generating a continuum of image data
US8207964B1 (en) 2008-02-22 2012-06-26 Meadow William D Methods and apparatus for generating three-dimensional image data models
US7619658B2 (en) 2004-11-15 2009-11-17 Hewlett-Packard Development Company, L.P. Methods and systems for producing seamless composite images without requiring overlap of source images
US7425952B2 (en) * 2004-11-23 2008-09-16 Metavr, Inc. Three-dimensional visualization architecture
US7538326B2 (en) * 2004-12-03 2009-05-26 Fluke Corporation Visible light and IR combined image camera with a laser pointer
US7450137B2 (en) * 2005-02-18 2008-11-11 Hewlett-Packard Development Company, L.P. System and method for blending images
WO2006096352A2 (en) * 2005-03-03 2006-09-14 General Dynamics Advanced Information Systems, Inc. An apparatus and method for simulated sensor imagery using fast geometric transformations
US20060210169A1 (en) * 2005-03-03 2006-09-21 General Dynamics Advanced Information Systems, Inc. Apparatus and method for simulated sensor imagery using fast geometric transformations
US7925391B2 (en) * 2005-06-02 2011-04-12 The Boeing Company Systems and methods for remote display of an enhanced image
US7587079B2 (en) 2005-07-21 2009-09-08 Xerox Corporation Check printing auditing systems and methods
US7355179B1 (en) 2005-07-30 2008-04-08 Rockwell Collins, Inc. Scene imaging system integrity monitor and method thereof
US20070035553A1 (en) * 2005-08-12 2007-02-15 Microsoft Corporation General framework for aligning textures
US20070059669A1 (en) * 2005-08-23 2007-03-15 Lockheed Martin Corporation Systems and methods for processing video images
US8098256B2 (en) * 2005-09-29 2012-01-17 Apple Inc. Video acquisition with integrated GPU processing
US8340837B2 (en) * 2005-12-22 2012-12-25 The Boeing Company Methods and systems for generating en-route visible terrain displays
US20070146364A1 (en) * 2005-12-22 2007-06-28 Aspen Sven D Methods and systems for displaying shaded terrain maps
US8200416B2 (en) * 2005-12-22 2012-06-12 The Boeing Company Methods and systems for controlling display of en-route maps
US20080208468A1 (en) * 2006-03-09 2008-08-28 Martin Jose V Forward looking virtual imaging
US7456779B2 (en) * 2006-08-31 2008-11-25 Sierra Nevada Corporation System and method for 3D radar image rendering
WO2008065594A1 (en) * 2006-11-30 2008-06-05 Koninklijke Philips Electronics N.V. Variable alpha blending of anatomical images with functional images
US7839422B2 (en) * 2006-12-13 2010-11-23 Adobe Systems Incorporated Gradient-domain compositing
US8072469B2 (en) * 2007-04-03 2011-12-06 L-3 Communications Insight Technology Incorporated Fusion night vision system with parallax correction
US8049658B1 (en) * 2007-05-25 2011-11-01 Lockheed Martin Corporation Determination of the three-dimensional location of a target viewed by a camera
DE102007030226A1 (de) * 2007-06-29 2009-01-08 Robert Bosch Gmbh Kameragestütztes Navigationssystem und Verfahren zu seinem Betrieb
US8629871B2 (en) * 2007-12-06 2014-01-14 Zynga Inc. Systems and methods for rendering three-dimensional objects
DE102007061273A1 (de) * 2007-12-19 2009-06-25 Technische Universität Darmstadt Verfahren zur Darstellung von Fluginformationen und Anzeigeinstrument
US20090167786A1 (en) * 2007-12-24 2009-07-02 Ronald Stanions Methods and apparatus for associating image data
US8194193B2 (en) * 2008-02-08 2012-06-05 The Boeing Company Method and apparatus for a wide field of view display
US20100080489A1 (en) * 2008-09-30 2010-04-01 Microsoft Corporation Hybrid Interface for Interactively Registering Images to Digital Models
WO2010116367A1 (en) * 2009-04-07 2010-10-14 Nextvision Stabilized Systems Ltd Continuous electronic zoom for an imaging system with multiple imaging devices having different fixed fov
US8564663B2 (en) * 2009-04-14 2013-10-22 Bae Systems Information And Electronic Systems Integration Inc. Vehicle-mountable imaging systems and methods
US7921591B1 (en) * 2009-04-30 2011-04-12 Terry Adcock Flip-up aiming sight
WO2010127351A1 (en) * 2009-05-01 2010-11-04 Aai Corporation Method, apparatus, system and computer program product for automated collection and correlation for tactical information
WO2011058584A1 (en) * 2009-11-10 2011-05-19 Selex Sistemi Integrati S.P.A. Avatar-based virtual collaborative assistance
US8717360B2 (en) 2010-01-29 2014-05-06 Zspace, Inc. Presenting a view within a three dimensional scene
US9182596B2 (en) * 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US20120235887A1 (en) * 2010-02-28 2012-09-20 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element and an optically flat film
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US9134534B2 (en) * 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9097890B2 (en) * 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
EP2539759A1 (en) 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9097891B2 (en) * 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9223134B2 (en) * 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US9105115B2 (en) * 2010-03-16 2015-08-11 Honeywell International Inc. Display systems and methods for displaying enhanced vision and synthetic images
US9150310B1 (en) * 2010-09-10 2015-10-06 The Boeing Company Methods and systems for directing remote aerial refueling operations
US8487787B2 (en) 2010-09-30 2013-07-16 Honeywell International Inc. Near-to-eye head tracking ground obstruction system and method
US9092975B2 (en) * 2011-02-23 2015-07-28 Honeywell International Inc. Aircraft systems and methods for displaying visual segment information
DE112011104959T5 (de) * 2011-02-25 2013-11-14 Mitsubishi Electric Corporation Kartenwiedergabevorrichtung
JP5620871B2 (ja) * 2011-04-11 2014-11-05 大成建設株式会社 パノラマ画像データ生成装置
EP2581268B2 (en) * 2011-10-13 2019-09-11 Harman Becker Automotive Systems GmbH Method of controlling an optical output device for displaying a vehicle surround view and vehicle surround view system
US8831796B2 (en) 2012-01-06 2014-09-09 Honeywell International Inc. System and method for indicating a perspective cockpit field-of-view on a vertical situation display
CA2861391A1 (en) * 2012-01-18 2013-07-25 Logos Technologies Llc Method, device, and system for computing a spherical projection image based on two-dimensional images
JP2013254233A (ja) * 2012-06-05 2013-12-19 Dainippon Printing Co Ltd テクスチャマッピング装置、テクスチャマッピング方法、プログラム
US20140093131A1 (en) * 2012-10-01 2014-04-03 Xerox Corporation Visibility improvement in bad weather using enchanced reality
FR3000026B1 (fr) * 2012-12-21 2016-12-09 Airbus Aeronef comprenant un poste de pilotage dote d'une surface de vision pour le pilotage au moins partiellement virtuelle
FR3000027B1 (fr) 2012-12-21 2016-07-01 Airbus Poste de pilotage d'aeronef a tableau de bord ergonomique reglable
FR3000025B1 (fr) 2012-12-21 2016-12-09 Airbus Aeronef comprenant un poste de pilotage delocalise en dehors d'une partie superieure de la pointe avant
US20140347736A1 (en) * 2013-05-23 2014-11-27 Omnivision Technologies, Inc. Systems And Methods For Aligning A Near-Eye Display Device
US9470967B1 (en) 2013-06-04 2016-10-18 The Boeing Company Motion-based system using a constant vertical resolution toroidal display
US9110358B1 (en) 2013-06-04 2015-08-18 The Boeing Company Method for creating and a system for using a constant vertical resolution toroidal display
US9139307B2 (en) 2013-06-28 2015-09-22 Honeywell International Inc. Aircraft systems and methods for displaying runway lighting information
US9970766B2 (en) * 2013-09-30 2018-05-15 Northrop Grumman Systems Corporation Platform-mounted artificial vision system
US10284819B2 (en) 2013-12-02 2019-05-07 Goodrich Corporation Long-range image reconstruction using measured atmospheric characterization
US9639968B2 (en) * 2014-02-18 2017-05-02 Harman International Industries, Inc. Generating an augmented view of a location of interest
US20150281596A1 (en) * 2014-04-01 2015-10-01 Dynon Avionics, Inc. Synthetic vision and video image blending system and method
US9865074B2 (en) 2014-04-05 2018-01-09 Sony Interactive Entertainment America Llc Method for efficient construction of high resolution display buffers
US10438312B2 (en) * 2014-04-05 2019-10-08 Sony Interactive Entertainment LLC Method for efficient re-rendering objects to vary viewports and under varying rendering and rasterization parameters
US9652882B2 (en) 2014-04-05 2017-05-16 Sony Interactive Entertainment America Llc Gradient adjustment for texture mapping for multiple render targets with resolution that varies by screen location
US9495790B2 (en) 2014-04-05 2016-11-15 Sony Interactive Entertainment America Llc Gradient adjustment for texture mapping to non-orthonormal grid
US9836816B2 (en) * 2014-04-05 2017-12-05 Sony Interactive Entertainment America Llc Varying effective resolution by screen location in graphics processing by approximating projection of vertices onto curved viewport
US9710957B2 (en) 2014-04-05 2017-07-18 Sony Interactive Entertainment America Llc Graphics processing enhancement by tracking object and/or primitive identifiers
US10068311B2 (en) 2014-04-05 2018-09-04 Sony Interacive Entertainment LLC Varying effective resolution by screen location by changing active color sample count within multiple render targets
US11302054B2 (en) 2014-04-05 2022-04-12 Sony Interactive Entertainment Europe Limited Varying effective resolution by screen location by changing active color sample count within multiple render targets
US9710881B2 (en) 2014-04-05 2017-07-18 Sony Interactive Entertainment America Llc Varying effective resolution by screen location by altering rasterization parameters
US10783696B2 (en) 2014-04-05 2020-09-22 Sony Interactive Entertainment LLC Gradient adjustment for texture mapping to non-orthonormal grid
US9851575B2 (en) 2014-05-15 2017-12-26 Omnivision Technologies, Inc. Wafer-level liquid-crystal-on-silicon projection assembly, systems and methods
US10257494B2 (en) 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video
US10336462B2 (en) 2015-03-12 2019-07-02 Vu Systems, LLC Vehicle navigation methods, systems and computer program products
US9992413B2 (en) * 2015-09-18 2018-06-05 Raytheon Company Method and system for creating a display with a distributed aperture system
US9927619B2 (en) 2015-11-06 2018-03-27 Omnivision Technologies, Inc. Pupillary adjustable head mounted device
US10186082B2 (en) * 2016-04-13 2019-01-22 Magic Leap, Inc. Robust merge of 3D textured meshes
EP3267220A1 (en) * 2016-07-08 2018-01-10 Autoliv Development AB A vehicle radar system
CN106384375A (zh) * 2016-08-31 2017-02-08 北京像素软件科技股份有限公司 电子游戏场景中的植被底部着色融合的方法及装置
US11049218B2 (en) * 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching
US11487988B2 (en) * 2017-08-31 2022-11-01 Ford Global Technologies, Llc Augmenting real sensor recordings with simulated sensor data
CN109584295B (zh) 2017-09-29 2022-08-26 阿里巴巴集团控股有限公司 对图像内目标物体进行自动标注的方法、装置及系统
CN108492247A (zh) * 2018-03-23 2018-09-04 成都品果科技有限公司 一种基于网格变形的眼妆贴图方法
CN108965849B (zh) * 2018-07-27 2021-05-04 北京小米移动软件有限公司 图像处理方法、装置及系统
FR3085668B1 (fr) * 2018-09-10 2020-09-25 Safran Electronics & Defense Equipement optronique d'aide au pilotage d'un aéronef
CN111354082B (zh) * 2018-12-21 2023-06-13 网易（杭州）网络有限公司 一种地表贴图的生成方法、装置、电子设备和存储介质
US10679530B1 (en) 2019-02-11 2020-06-09 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for mobile projection in foggy conditions
IL272450B (en) 2020-02-03 2021-10-31 Elbit Systems Ltd A system and method for creating 3D maps based on mapping information
TWI756771B (zh) * 2020-08-05 2022-03-01 偉詮電子股份有限公司 影像轉換方法
CN112130589B (zh) * 2020-09-22 2022-09-09 河南金数网科信息技术有限公司 基于地图构建和精确寻址的智能门锁钥匙获取方法和系统
CN116829927A (zh) * 2021-02-04 2023-09-29 美国西门子医学诊断股份有限公司 检测机器视觉系统中的缺陷的装置和方法
US11750930B1 (en) * 2022-03-17 2023-09-05 Honeywell International Inc. Panoramic vision system with parallax mitigation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5296854A (en) 1991-04-22 1994-03-22 United Technologies Corporation Helicopter virtual image display system incorporating structural outlines
JPH10105734A (ja) 1996-08-30 1998-04-24 Internatl Business Mach Corp <Ibm> 鏡面レンダリング方法及び装置
JPH11102440A (ja) 1997-09-29 1999-04-13 Toshiba Corp 画像監視装置及び画像監視方法
JP2000076488A (ja) 1998-08-26 2000-03-14 Mitsubishi Electric Corp ３次元仮想空間表示装置及びテクスチャオブジェクト設定情報作成装置

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62140174A (ja) * 1985-12-13 1987-06-23 Canon Inc 画像合成方法
US4805015A (en) * 1986-09-04 1989-02-14 Copeland J William Airborne stereoscopic imaging system
CA2040273C (en) * 1990-04-13 1995-07-18 Kazu Horiuchi Image displaying system
US5317394A (en) * 1992-04-30 1994-05-31 Westinghouse Electric Corp. Distributed aperture imaging and tracking system
WO1993023835A1 (en) * 1992-05-08 1993-11-25 Apple Computer, Inc. Textured sphere and spherical environment map rendering using texture map double indirection
JP3075851B2 (ja) * 1992-08-13 2000-08-14 富士通株式会社 マップ設定方式
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US6411266B1 (en) * 1993-08-23 2002-06-25 Francis J. Maguire, Jr. Apparatus and method for providing images of real and virtual objects in a head mounted display
US6690338B1 (en) * 1993-08-23 2004-02-10 Francis J. Maguire, Jr. Apparatus and method for providing images of real and virtual objects in a head mounted display
KR960003444A (ko) * 1994-06-01 1996-01-26 제임스 디. 튜턴 차량 감시 시스템
JPH08161520A (ja) * 1994-12-06 1996-06-21 Hitachi Medical Corp 三次元画像の対象部分抽出方法
JPH09146038A (ja) * 1995-09-20 1997-06-06 Olympus Optical Co Ltd 映像表示装置
DE19546506A1 (de) * 1995-12-13 1997-06-19 Daimler Benz Ag Fahrzeug-Navigationssystem und Signalverarbeitungsverfahren für ein solches Navigationssystem
US5988862A (en) * 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
US5904729A (en) * 1997-03-04 1999-05-18 The Boeing Company Automated director light system for aerial refueling operations
JP3514945B2 (ja) * 1997-05-26 2004-04-05 株式会社ソニー・コンピュータエンタテインメント 画像作成方法および画像作成装置
JPH10334275A (ja) * 1997-05-29 1998-12-18 Canon Inc 仮想現実方法及び装置並びに記憶媒体
US6157747A (en) * 1997-08-01 2000-12-05 Microsoft Corporation 3-dimensional image rotation method and apparatus for producing image mosaics
US6009190A (en) * 1997-08-01 1999-12-28 Microsoft Corporation Texture map construction method and apparatus for displaying panoramic image mosaics
DE19806590A1 (de) * 1998-02-17 1999-09-02 Deutsch Zentr Luft & Raumfahrt Verfahren zum Überwachen eines angesteuerten Zielbereichs in der Annäherungsphase
US20020010019A1 (en) * 1998-03-16 2002-01-24 Kazukuni Hiraoka Game machine, and image processing method for use with the game machine
US6195455B1 (en) * 1998-07-01 2001-02-27 Intel Corporation Imaging device orientation information through analysis of test images
JP2002524930A (ja) * 1998-08-28 2002-08-06 サーノフ コーポレイション 画像を電子的に拡張する方法および装置
US6496594B1 (en) * 1998-10-22 2002-12-17 Francine J. Prokoski Method and apparatus for aligning and comparing images of the face and body from different imagers
EP2410741A1 (en) * 1999-04-16 2012-01-25 Panasonic Corporation Image processing apparatus and monitoring system
JP2000339499A (ja) * 1999-05-27 2000-12-08 Mitsubishi Electric Corp テクスチャマッピング・テクスチャモザイク処理装置
GB9913687D0 (en) * 1999-06-11 1999-08-11 Canon Kk Image processing apparatus
US7098914B1 (en) * 1999-07-30 2006-08-29 Canon Kabushiki Kaisha Image synthesis method, image synthesis apparatus, and storage medium
US6525731B1 (en) * 1999-11-09 2003-02-25 Ibm Corporation Dynamic view-dependent texture mapping
US6980690B1 (en) * 2000-01-20 2005-12-27 Canon Kabushiki Kaisha Image processing apparatus
US6897858B1 (en) * 2000-02-16 2005-05-24 Enroute, Inc. Partial image decompression of a tiled image
JP3656012B2 (ja) * 2000-02-17 2005-06-02 株式会社ナムコ ゲームシステム及び情報記憶媒体
WO2001063561A1 (en) * 2000-02-25 2001-08-30 The Research Foundation Of State University Of New York Apparatus and method for volume processing and rendering
US6567086B1 (en) * 2000-07-25 2003-05-20 Enroute, Inc. Immersive video system using multiple video streams
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
JP2002133443A (ja) * 2000-10-30 2002-05-10 Namco Ltd ゲーム装置および情報記憶媒体
US20020080143A1 (en) * 2000-11-08 2002-06-27 Morgan David L. Rendering non-interactive three-dimensional content
US20020122117A1 (en) * 2000-12-26 2002-09-05 Masamichi Nakagawa Camera device, camera system and image processing method
FI109633B (fi) * 2001-01-24 2002-09-13 Gamecluster Ltd Oy Menetelmä videokuvan pakkauksen nopeuttamiseksi ja/tai sen laadun parantamiseksi
US7126630B1 (en) * 2001-02-09 2006-10-24 Kujin Lee Method and apparatus for omni-directional image and 3-dimensional data acquisition with data annotation and dynamic range extension method
JP4861574B2 (ja) * 2001-03-28 2012-01-25 パナソニック株式会社 運転支援装置
US7127090B2 (en) * 2001-07-30 2006-10-24 Accuimage Diagnostics Corp Methods and systems for combining a plurality of radiographic images
AUPR678401A0 (en) * 2001-08-02 2001-08-23 Singfield, Christian Network image server
US6611200B2 (en) * 2001-10-03 2003-08-26 The United States Of America As Represented By The Secretary Of The Air Force Method for viewing through tinted windows
US6978040B2 (en) * 2001-12-19 2005-12-20 Canon Kabushiki Kaisha Optical recovery of radiographic geometry
US7049597B2 (en) * 2001-12-21 2006-05-23 Andrew Bodkin Multi-mode optical imager
US6587752B1 (en) * 2001-12-25 2003-07-01 National Institute Of Advanced Industrial Science And Technology Robot operation teaching method and apparatus
US6975756B1 (en) * 2002-03-12 2005-12-13 Hewlett-Packard Development Company, L.P. Image-based photo hulls
AU2003248900A1 (en) * 2002-07-12 2004-02-02 Beth Israel Deaconess Medical Center Conjugated infrared fluorescent substances for detection of cell death
US6927886B2 (en) * 2002-08-02 2005-08-09 Massachusetts Institute Of Technology Reconfigurable image surface holograms
JP4185052B2 (ja) * 2002-10-15 2008-11-19 ユニバーシティ オブ サザン カリフォルニア 拡張仮想環境
AU2002952371A0 (en) * 2002-10-31 2002-11-14 Robert Van Der Zijpp Mutli Image to Merged Image Software Process

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5296854A (en) 1991-04-22 1994-03-22 United Technologies Corporation Helicopter virtual image display system incorporating structural outlines
JPH10105734A (ja) 1996-08-30 1998-04-24 Internatl Business Mach Corp <Ibm> 鏡面レンダリング方法及び装置
JPH11102440A (ja) 1997-09-29 1999-04-13 Toshiba Corp 画像監視装置及び画像監視方法
JP2000076488A (ja) 1998-08-26 2000-03-14 Mitsubishi Electric Corp ３次元仮想空間表示装置及びテクスチャオブジェクト設定情報作成装置

Also Published As

Publication number Publication date
KR20040078061A (ko) 2004-09-08
EP1453009A2 (en) 2004-09-01
EP1453009A3 (en) 2017-03-01
JP4520180B2 (ja) 2010-08-04
US7619626B2 (en) 2009-11-17
JP2004265413A (ja) 2004-09-24
US20040169663A1 (en) 2004-09-02

Similar Documents

Publication Publication Date Title
KR101068329B1 (ko) 개선된 비전 이미징을 제공하기 위한 시스템 및 방법
KR101023567B1 (ko) 감소된 래턴시로 개선된 시각 이미지를 제공하기 위한시스템 및 방법
US10126554B2 (en) Visual perception enhancement of displayed color symbology
US10495884B2 (en) Visual perception enhancement of displayed color symbology
US7301497B2 (en) Stereo display for position sensing systems
US11398078B2 (en) Gradual transitioning between two-dimensional and three-dimensional augmented reality images
WO2018032457A1 (en) Systems and methods for augmented stereoscopic display
JP5715778B2 (ja) 車両用画像表示装置
US20030210832A1 (en) Interacting augmented reality and virtual reality
CN105823475B (zh) 场景的三维表示方法
CN108024070A (zh) 在合成图像上覆盖传感器图像的方法及相关显示系统
US9001186B2 (en) Method and device for combining at least two images to form a panoramic image
US20090019382A1 (en) Systems and methods for side angle radar training and simulation
JP2004178589A (ja) ３次元相互視認画像の合成方法
JP3128549B2 (ja) 三次元画像表示方法
US20040174275A1 (en) Method for the display of cartographic information on an aeroplane screen
Cheng et al. A prototype of Enhanced Synthetic Vision System using short-wave infrared
Efimov et al. Algorithm of geometrical transformation and merging of radar and video images for technical vision systems
CN115914815A (zh) 一种机载全景环视装置及方法
Hebel et al. Imaging sensor fusion and enhanced vision for helicopter landing operations

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140905

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150904

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160908

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170911

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180905

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190910

Year of fee payment: 9