KR20040078061A - 개선된 시각 이미징을 제공하기 위한 시스템 및 방법 - Google Patents

개선된 시각 이미징을 제공하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20040078061A
KR20040078061A KR1020040013513A KR20040013513A KR20040078061A KR 20040078061 A KR20040078061 A KR 20040078061A KR 1020040013513 A KR1020040013513 A KR 1020040013513A KR 20040013513 A KR20040013513 A KR 20040013513A KR 20040078061 A KR20040078061 A KR 20040078061A
Authority
KR
South Korea
Prior art keywords
image
display
mapping
source
processor
Prior art date
Application number
KR1020040013513A
Other languages
English (en)
Other versions
KR101068329B1 (ko
Inventor
케니스엘.베르니에
Original Assignee
더 보잉 컴파니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 더 보잉 컴파니 filed Critical 더 보잉 컴파니
Publication of KR20040078061A publication Critical patent/KR20040078061A/ko
Application granted granted Critical
Publication of KR101068329B1 publication Critical patent/KR101068329B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F1/00—Refuse receptacles; Accessories therefor
    • B65F1/0006—Flexible refuse receptables, e.g. bags, sacks
    • B65F1/002—Flexible refuse receptables, e.g. bags, sacks with means for opening or closing of the receptacle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65D—CONTAINERS FOR STORAGE OR TRANSPORT OF ARTICLES OR MATERIALS, e.g. BAGS, BARRELS, BOTTLES, BOXES, CANS, CARTONS, CRATES, DRUMS, JARS, TANKS, HOPPERS, FORWARDING CONTAINERS; ACCESSORIES, CLOSURES, OR FITTINGS THEREFOR; PACKAGING ELEMENTS; PACKAGES
    • B65D33/00—Details of, or accessories for, sacks or bags
    • B65D33/06—Handles
    • B65D33/08—Hand holes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F1/00—Refuse receptacles; Accessories therefor
    • B65F1/12—Refuse receptacles; Accessories therefor with devices facilitating emptying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F2210/00—Equipment of refuse receptacles
    • B65F2210/126—Cutting means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F2210/00—Equipment of refuse receptacles
    • B65F2210/167—Sealing means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

본 발명은, 디스플레이의 시점에 주변의 이미지를 제공하는 시스템 및 방법을 제공한다. 이 시스템 및 방법은 이미지 소스의 시야범위 내의 주위에 근접하는 이미지 소스 및 디스플레이와 소정 거리를 두고 맵핑면을 정의한다. 시스템 및 방법은 이미지 소스, 디스플레이, 및 맵핑면의 각기 다른 기하학적 형태가 상호 관련된 모델을 정의한다. 모델 및 맵핑면을 사용하면, 상기 시스템 및 방법은 이미지 소스로부터의 이미지를 타일하고, 그 이미지와 디스플레이를 상호 관련시키고, 그 이미지를 디스플레이 한다. 2개의 이미지 소스가 맵핑면상에 시야범위를 오버랩핑 하는 순간, 그 시스템 및 방법은 모자이크 이미지를 형성하기 위해 그 이미지를 오버랩핑 하여 스티칭 한다. 2개의 오버랩핑 이미지 소스가 각각 단일특성의 이미지를 가지면, 시스템 및 방법은 그 이미지를 합성 이미지로 퓨징한다.

Description

개선된 시각 이미징을 제공하기 위한 시스템 및 방법{SYSTEMS AND METHODS FOR PROVIDING ENHANCED VISION IMAGING}
본 발명은, 사용자에게 관심있는 영역의 시각적 디스플레이를 제공하기 위해 사용된 비전 디스플레이 시스템에 관한 것으로, 특히 관심있는 영역의 코히어런트 시야를 제공하기 위해 다수의 소스로부터의 이미지를 조합하는 시스템 및 방법에 관한 것이다.
많은 비행항법 교구의 출현에도 불구하고, 항공기 항행을 위한 가장 중요한 도구는 여전히 시각에 의한 항행이다. 오늘날의 많은 항공기는, 조종사에게 항공기 주변 상공에 대한 추가정보를 제공하는 기내 탑재 레이다, 지상 근접 경고시스템 등과 같은 다양한 안전장치를 갖추고 있다. 이들 시스템은 비행하는 동안 조종사들이 시각적으로 관찰되는 것들을 좀더 잘 해석할 수 있게 함으로써 조종사가 보다 좋은 상황적인 인식을 얻을 수 있도록 돕기 위한 중대한 수단이다. 그러나, 이들의 여러가지 기구는 조종사의 시야가 방해되기 때문에 단지 조종사의 정보원일 뿐이다.
시각적인 방해물은 안개, 눈, 또는 비 등과 같은 좋지 않은 날씨에 기인하거나, 밤, 새벽 또는 황혼 등과 같은 하루중 어느 특정 시간에 기인할 수 있다. 더욱이, 몇몇 시각적 방해물은 항공기 자체의 시야범위의 한계에 기인한다. 많은 항공기 조종실은 조종사에게 항공기의 측면 및 후면에 대한 충분한 시각화를 제공하지 못함과 더불어 항공기의 상면 및 하면에 대한 충분한 수직적인 시각화를 제공하지 못하면서 통상 전방에 보이는 영역에만 한정되는 시야범위를 갖고 있다.
관찰된 시야는 항공기 항행에 있어서의 중요한 안전성과 관계가 있기 때문에, 여기에 조종실로부터의 조종사의 시야를 넓히거나 향상시키는 시스템을 제공하는데 중요한 노력을 기울이고 있다. 그래서, 항공기에 설치된 다수의 센서의 사용을 포함하는 시스템이 개발되고 있다. 센서는 선택된 시야범위 쪽으로 향하고 조종사에게 차례로 디스플레이 되는 조종실의 디스플레이 시스템에 이미지를 제공한다. 이들 센서는 비디오 카메라, 적외선 카메라, 레이다 등이 있다. 시스템은 조종사가 시야에 대한 이미지의 타입을 선택할 수 있게 한다. 예컨대, 야간비행 또는 안개조건 하에서는, 조종사가 적외선 및 레이다 센서에 의해 이미지를 관찰하기를 선택하고, 반면 청명한 조건 하에서는, 조종사가 비디오 카메라의 사용을 선택할 것이다.
그와 같은 시스템중 하나가 여기에 참조로 구체화된 Hale 등에 의한 미국특허 제5,317,394호에 기술되어 있다. 이 시스템에 있어서, 센서는 인접한 센서가 시야범위를 오버랩하도록 항공기의 외부상에 위치된다. 이들 다방면의 센서로부터의 이미지는 항공기 내의 디스플레이 시스템에 제공되고, 여기서 조종사에게 그들이 디스플레이 된다. 이미지는 합성 또는 모자이크 이미지를 제공하기 위해 오버랩된 형상으로 디스플레이 된다.
좀더 개선된 시스템이 여기에 참조로 구체화된 "Exterior Aircraft Vision System Using a Helmet-Mounted Display"로 명칭된 미국특허출원 S/N 09/608,234호에 기술되어 있다. 미국특허출원 제09/608,234호에는 항공기에 위치된 다방면의 센서로부터의 이미지를 디스플레이 하기 위한 헬멧 탑재 디스플레이를 포함한 시스템을 기술하고 있다. 중요하게, 이 시스템은 조종사의 현재 시계라인 (LOV) 및시야범위(FOV)를 결정하기 위해 조종사 머리의 움직임을 추적하는 헬멧-추적장치를 포함한다. 이러한 방향성 정보를 사용하면, 시스템은 조종사가 응시하는 시야범위를 나타내는 센서로부터의 이미지 데이터를 복원하여 헬멧 디스플레이상에 이 이미지를 디스플레이 한다. 그 이미지는 조종사 자신의 머리를 다른 시계라인으로 돌릴 때마다 갱신된다.
일반적으로, 이러한 또 다른 종래의 시스템은 꽤 정확한 시각적인 이미지를 조종사에게 제공하여, 비행 안전성을 높였다. 그러나, 여기에도 조종사에게 제공된 이미지가 낮은 정확도를 갖거나 또는 조종사의 시야를 혼란하게 하는 근점거리를 포함하는 등의 문제를 야기할 수 있는 이들 시스템에 대한 몇가지 한계가 있다. 예컨대, 하나의 문제는, 상호 관련된 그리고 조종사의 위치와 관련된 센서의 간격화(spacing)와 관련이 있고, 또 저장된 합성 데이터의 경우에는 합성 데이터와 또 다른 센서와 조종사의 위치간 원근에 따른 차와 관련이 있다. 상호 관련된 소스와 조종실간 이러한 물리적인 거리는 조종사에게 제공된 이미지의 비뚤어짐을 야기한다. 특히, 그 거리는 시차(parallax)에 따른 이미지의 시각적인 비뚤어짐을 야기한다. 시차는 새로운 시계라인을 제공하는 관찰위치의 변경에 의해 야기된 물체 방향으로의 외견상 변경이다. 이들 종래의 시스템에 있어서, 센서 또는 이들 센서 및/또는 합성 데이터 소스 각각은 그 조종사로부터의 시야의 장면에 대한 각기 다른 시계라인을 갖는다. 그와 같이, 시야의 센서지점으로부터 이미지를 보면, 조종사에게 그들 오버랩핑 되는 시야의 범위에서 항공기의 위치와 관련된 물체의 위치의 정확한 표시가 제공되지 못한다.
또 다른 문제는 합성 이미지를 생성하기 위해 몇개의 이미지를 함께 타일링(tiling) 하는 것과 관련 있다. 많은 종래 시스템에 있어서, 인접한 카메라로부터의 이미지는 상호 인접하여 디스플레이 된다. 2개 이미지의 엣지는 디스플레이에서 시각적 이은자리로 나타난다. 이들 이은자리는 합성 이미지의 보이는 상태를 혼란스럽게 하여 조종사가 전체적인 이미지를 파악하는 것을 어렵게 할 수 있다. 이러한 문제를 해결하기 위해, 몇몇 기존의 시스템은 이미지를 함께 블렌딩(blending)하기 위해 인접한 이미지의 엣지를 오버랩 한다. 이러한 기술은 인접한 이미지를 접하게 하는 종래기술을 향상시키지만, 여전히 이미지간 불연속점을 지각할 수 있다.
또 다른 문제는 주어진 상황에서 최선의 이미지화를 제공하기 위한 특정 타입의 센서의 제한에 있다. 예컨대, 황혼의 조건에서, 비디오 카메라는 여전히 식별 가능한 시각적 이미지를 제공하지만, 그 이미지는 낮은 밝기 또는 방해조건으로 인해 세밀화가 저하된다. 더욱이, 적외선 센서는 열감지에 기초하여 이미지화를 제공하지만, 적외선 센서에 의한 이미지는 여전히 황혼에는 이용가능 하나 주변 밝기의 이점은 갖지 못한다. 많은 기존의 시스템에 있어서는, 양쪽 센서의 장점을 통합한 이용가능한 이미지를 취하는 대신에, 조종사가 이들 이미지중에서 선택해야만 한다. 그와 같이, 조종사는 보기 위한 이용가능한 최선의 이미지를 취하지 못한다.
본 발명은 상기한 점을 감안하여 이루어진 것으로, 개선된 비전 디스플레이에 사용하기 위한 시스템 및 방법을 제공하는 것에 그 목적이 있다.
도 1a 및 1b는, 본 발명의 시스템 및 방법이 실시된 항공기의 상면도 및 측면도,
도 2a는, 본 발명의 1실시예에 따른 개선된 비전 시스템을 제공하기 위한 시스템의 블록도,
도 2b는, 본 발명에 사용하기 위한 헬멧-추적 시스템을 갖춘 헤드 탑재 디스플레이를 나타낸 도면,
도 3은, 본 발명의 1실시예에 따른 개선된 비전 시스템을 제공하기 위해 사용된 이미지 프로세서의 블록도,
도 4는, 본 발명의 1실시예에 따른 개선된 비전 시스템을 제공하기 위해 수행된 동작의 블록도,
도 5는, 버텍스 메쉬상의 텍스처 이미지의 맵핑을 기술하는 도면,
도 6a~6d는, 맵핑면의 각기 다른 배치와 그와 관련된 문제를 기술하는 도면,
도 7은, 소스, 디스플레이, 및 맵핑면에 대한 각각의 좌표계를 기술하는 도면,
도 8은, 각각의 좌표계간 소스 및 디스플레이의 변환을 기술하는 도면,
도 9는, 각각의 좌표계간 맵핑면의 변환을 기술하는 도면,
도 10은, 맵핑면상에 이미지의 타일링을 기술하는 도면,
도 11은, 맵핑면에서 디스플레이로 이미지의 변환 및 렌더링을 기술하는 도면,
도 12는, 합성 이미지를 형성하기 위해 인접한 타일의 스티칭을 기술하는 도면,
도 13은, 합성 이미지를 형성하기 위해 인접한 타일의 스티칭 및 블렌딩존의 사용을 더 기술하는 도면,
도 14는, 인접한 이미지간 접합에서 근점거리의 정정을 기술하는 도면,
도 15는, 합성 이미지를 형성하기 위해 2개의 이미지를 함께 퓨징하는 것을 기술하는 도면,
도 16은, 합성 이미지를 형성하기 위해 2개의 이미지를 퍼센테이지에 기초하여 퓨징한 결과를 나타낸 도면,
도 17은, 합성 이미지를 형성하기 위해 2개의 이미지를 콘텐트에 기초하여 퓨징한 결과를 나타낸 도면,
도 18은, 디스플레이 내에서의 각 이미지의 타일링을 기술하는 도면,
도 19는, 합성 데이터베이스 이미지와 적외선 이미지의 퓨전을 기술하는 도면이다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 시스템 및 방법은 차량의 각기 다른 위치에 또는 관심지역에 위치된 다수의 센서로부터 이미지 데이터를 수신한다. 또한, 시스템은 지형 데이터베이스와 같은 데이터베이스 소스로부터 합성 이미지 데이터를 수신한다. 시스템 및 방법은 합성 또는 모자이크 이미지로 각 센서/소스로부터의 이미지를 융화시킨다. 본 발명의 시스템 및 방법은 시스템의 사용자의 현재 시계라인을 검출한다. 이러한 시계라인(LOS; line of sight)에 기초하여, 시스템 및 방법은 사용자의 현재 시야범위(FOV; field of view)를 표시하는 사용자에게 디스플레이 하여 이미지화 한다.
본 발명의 시스템 및 방법은 디스플레이된 이미지의 시차에 따른 문제를 감소시킨다. 특히, 본 발명의 시스템 및 방법은 차량 전방에서 선택된 거리에 또는 관심지점에 다수의 인위적인 맵핑면을 생성한다. 인위적인 맵핑면은 각기 다른 소스로부터의 여러가지 이미지가 원하는 면영역 적용범위를 나타내는 타일 형태로 맵핑면상에 투영되는 각 소스로부터의 모든 이미지로 기준의 공통 프레임에 의해 정정될 수 있게 한다. 맵핑면은 관찰자와 소스간 거리간격으로 인한 관찰자와 소스간 관심대상의 시계라인의 차이를 정정하기 위한 기준 프레임을 생성한다.
더욱이, 소스, 디스플레이 및 맵핑면 모두는 각기 다른 좌표계를 갖는다. 본 발명의 시스템 및 방법은 공통 또는 1차 좌표계를 생성하여 각각의 이들 성분으로부터의 이미지를 공통 또는 1차 좌표계로 변환한다. 이것은 본 발명의 시스템및 방법이 다방면의 소스로부터의 이미지를 상관시켜 기준 뷰어(viewer)의 프레임의 사용자에게 제공함으로써 시차를 감소시켜 가능한한 제거한다.
시차의 정정 외에, 본 발명의 시스템 및 방법은 또한 분포된 틈 이미지를 이은 데가 없는 모자이크로 스티칭(stitching) 하기 위한 개선된 방법을 제공한다. 본 발명의 시스템 및 방법은 인접한 또는 오버랩핑의 시야범위가 취해진 동일한 타입의 소스로부터 수신된 타일 이미지의 엣지를 오버랩 한다. 2개의 타일 이미지간 오버랩 된 영역에 있어서, 본 발명의 시스템 및 방법은 내부 및 외부 엣지로 이루어진 블렌드존(blend zone)을 정의한다. 블렌드존에 있어서, 본 발명의 시스템 및 방법은 2개의 타일 이미지를 블렌드존에 함께 블렌드하기 위해 각 타일 이미지의 개별 픽셀의 강도를 변경한다. 블렌드존에서의 좌측 이미지의 픽셀은 블렌드존의 좌측 엣지에 인접한 픽셀의 1(one)의 강도값에서 블렌드존의 우측 엣지에 인접한 픽셀의 제로(zero)의 강도값으로 테이퍼 된다. 반대의 방식에 있어서, 블렌드존에서의 우측 이미지의 픽셀은 블렌드존의 좌측 엣지에 인접한 픽셀의 제로의 강도값에서 블렌드존의 우측 엣지에 인접한 픽셀의 1의 강도값으로 테이퍼 된다. 이러한 블렌드존에서의 픽셀 강도값의 변경은 2개의 이미지간 강화된 스티치를 제공한다. 상면 및 하면 스티칭은 동일한 방식으로 수행된다.
또한, 본 발명의 시스템 및 방법은 각기 다른 타입의 소스로부터의 이미지를 오버레잉(overlaying) 또는 퓨징(fusing)하기 위한 방법을 제공한다. 특히, 본 발명의 시스템은 동일하거나 오버랩 된 시야범위를 갖는 2가지의 다른 타입의 소스를 포함한다. 그 소스는 동일한 시야범위의 다른 이미지를 제공하고, 각 소스는연관된 장점 및 단점을 갖는다. 예컨대, 하나의 소스는 빛의 양에 영향을 받는 이미지를 제공하는 비디오 카메라이고 또 다른 소스는 열감지에 기초하여 이미지를 제공하는 적외선 센서이다. 본 발명의 시스템 및 방법은 강화된 이미지를 제공하기 위해 이들 소스로부터의 이미지를 함께 오버레잉 또는 퓨징하기 위한 방법을 제공한다.
시스템 및 방법은 이미지를 퓨징하기 위한 2개의 다른 방법을 포함한다. 첫번째 방법에 있어서, 본 발명의 시스템 및 방법은 강도에 따라 각 타일 이미지에 퍼센테이지의 값을 할당한다. 예컨대, 하나의 타일 이미지는 30%강도로 정의되고 그 외는 70%강도로 정의된다. 다음에, 이미지는 이러한 강도 퍼센테이지 비율로 합산되어, 양쪽 이미지의 이점을 사용자에게 제공한다. 두번째 방법에 있어서, 각 타일 이미지는 그 콘텐트(content)에 기초하여 디스플레이 된다. 예컨대, 유사한 시야범위를 커버하는 가시가능한 적외선 이미지가 주어지면, 그 이미지는 픽셀 레벨로 조합될 수 있으며, 우선권은 그 픽셀 강도에 기초하여 적외선 이미지에 주어질 수 있다. 이 경우, 적외선 픽셀이 최대 75%이면, 그 결과의 픽셀은 75%의 IR픽셀 강도와 25%의 가시가능 픽셀 강도로 이루어질 수 있다.
더욱이, 본 발명의 시스템 및 방법은 주어진 디스플레이된 이미지의 다수의 근점거리를 감소시키기 위한 방법을 포함한다. 본 발명의 시스템 및 방법은 타일 이미지의 각 픽셀과 관련된 강도값을 구한다. 하나의 픽셀 또는 일련의 픽셀이 이웃하는 픽셀과 비교하여 초과된 강도값을 가지면, 본 발명의 시스템 및 방법은 이웃하는 픽셀로부터의 평균 강도값에 기초하여 그들의 강도를 감소시킬 것이다.
(실시예)
이하, 본 발명의 실시예를 도면을 참조하면서 보다 상세히 설명한다. 한편, 본 발명은 이하의 실시예로 한정하는 것이 아니라, 본 발명의 목적 및 배경을 벗어나지 않는 범위 내에서 다양하게 변형하여 실시할 수 있다. 동일한 구성요소에는 동일한 참조부호를 붙인다.
본 발명은 개선된 비전 디스플레이에 사용하기 위한 시스템 및 방법을 제공한다. 본 발명의 시스템 및 방법은 차량의 각기 다른 위치에 또는 관심지역에 위치된 다수의 소스로부터의 이미지 데이터를 수신한다. 시스템 및 방법은 각 소스로부터의 이미지를 합성 이미지로 융화시킨다. 또한, 시스템에는 데이터 소스로부터의 합성 데이터가 제공된다. 여기서, 양쪽 센서 및 합성 데이터 소스는 소스와 관련된다. 본 발명의 시스템 및 방법은 시스템 사용자의 현재의 시계라인을 검출한다. 이러한 시계라인(LOS)에 기초하여, 시스템 및 방법은 사용자의 현재의 시야범위(FOV)를 나타내는 사용자에게 디스플레이 하여 이미지화 한다.
본 발명의 시스템 및 방법은 디스플레이된 이미지의 시차에 따른 문제를 감소시킨다. 특히, 본 발명의 시스템 및 방법은 차량 전방에서 선택된 거리에 또는 관심지점에 다수의 인위적인 맵핑면을 생성한다. 이러한 인위적인 맵핑면은 각기 다른 소스로부터의 여러가지 이미지가 맵핑면상에 투영되는 각 소스로부터의 모든 이미지와 기준의 공통 프레임에 의해 상관될 수 있게 한다. 맵핑면은 관찰자와 소스간 거리간격 및 소스 그들 자신간의 거리로 인한 관찰자와 소스간 관심대상의 시계라인의 차이를 상관시키기 위한 기준 프레임을 생성한다.
더욱이, 소스, 디스플레이 및 맵핑면 모두는 각기 다른 좌표계를 갖는다. 본 발명의 시스템 및 방법은 공통 좌표계를 생성하여 각각의 이들 성분으로부터의 이미지를 공통 좌표계로 변환한다. 이것은 본 발명의 시스템 및 방법이 다방면의 소스로부터의 이미지를 상관시켜 기준의 뷰어의 프레임으로 사용자에게 제공하게 함으로써 시차를 감소시켜 가능한한 제거한다.
시차의 정정 외에, 본 발명의 시스템 및 방법은 또한 여러가지 타일 이미지를 합성 또는 모자이크 이미지로 함께 스티칭 하기 위한 개선된 방법을 제공한다. 본 발명의 시스템 및 방법은 인접한 또는 오버랩핑의 시야범위가 취해진 동일한 타입의 소스로부터 수신된 타일 이미지의 엣지를 오버랩 한다. 2개의 타일 이미지간 오버랩된 영역에 있어서, 본 발명의 시스템 및 방법은 2개의 수직 엣지를 갖는 블렌드존을 정의한다. 블렌드존에 있어서, 본 발명의 시스템 및 방법은 2개의 타일 이미지를 함께 블렌드하기 위해 각 타일 이미지의 개별 픽셀의 강도를 변경한다. 블렌드존에서의 좌측 이미지의 픽셀은 블렌드존의 좌측 엣지에 인접한 픽셀의 1(one)의 강도값에서 블렌드존의 우측 엣지에 인접한 픽셀의 제로(zero)의 강도값으로 테이퍼 된다. 반대의 방식에 있어서, 블렌드존에서의 우측 이미지의 픽셀은 블렌드존의 좌측 엣지에 인접한 픽셀의 제로의 강도값에서 블렌드존의 우측 엣지에 인접한 픽셀의 1의 강도값으로 테이퍼 된다. 이러한 블렌드존에서의 픽셀 강도값의 변경은 2개의 이미지간 강화된 스티치를 제공한다. 상면 및 하면 스티칭은 동일한 방식으로 수행된다.
또한, 본 발명의 시스템 및 방법은 각기 다른 타입의 소스로부터의 이미지를오버레잉 또는 퓨징하기 위한 방법을 제공한다. 특히, 본 발명의 시스템은 동일하거나 오버랩 된 시야범위를 갖는 2가지의 다른 타입의 소스를 포함한다. 그 소스는 동일한 시야범위의 다른 이미지를 제공하고, 각 소스는 연관된 장점 및 단점을 갖는다. 예컨대, 하나의 소스는 빛의 양에 영향을 받는 이미지를 제공하는 비디오 카메라이고 또 다른 소스는 열감지에 기초하여 이미지를 제공하는 적외선 센서이다. 본 발명의 시스템 및 방법은 강화된 이미지를 제공하기 위해 이들 소스로부터의 이미지를 함께 오버레잉 또는 퓨징하기 위한 방법을 제공한다.
시스템 및 방법은 이미지를 퓨징하기 위한 2개의 다른 방법을 포함한다. 첫번째 방법에 있어서, 본 발명의 시스템 및 방법은 강도에 따라 각 타일 이미지에 퍼센테이지의 값을 할당한다. 예컨대, 하나의 타일 이미지는 30%강도로 정의되고 그 외는 70%강도로 정의된다. 다음에, 이미지는 이러한 강도 퍼센테이지 비율로 합산되어, 양쪽 이미지의 이점을 사용자에게 제공한다. 두번째 방법에 있어서, 각 타일 이미지는 그 콘텐트에 기초하여 디스플레이 된다. 예컨대, 유사한 시야범위를 커버하는 가시가능한 적외선 이미지가 주어지면, 그 이미지는 픽셀 레벨로 조합될 수 있으며, 우선권은 그 픽셀 강도에 기초하여 적외선 이미지에 주어질 수 있다. 이 경우, 적외선 픽셀이 최대 75%이면, 그 결과의 픽셀은 75%의 IR픽셀 강도와 25%의 가시가능 픽셀 강도로 이루어질 수 있다.
더욱이, 본 발명의 시스템 및 방법은 주어진 디스플레이된 이미지의 다수의 근점거리를 감소시키기 위한 방법을 포함한다. 본 발명의 시스템 및 방법은 인접할 뿐만 아니라 유사한 시야범위의 이미지에 대한 국부 밝기 불연속성 정정을 위한수단을 제공한다.
상기를 요약하면, 본 발명의 시스템 및 방법은 개선된 비전 시스템을 제공한다. 본 발명의 여러가지 특징이 이하 보다 상세히 설명된다.
제일 중요한 것은, 본 발명의 시스템 및 방법은 시각적인 상황인식이 관련된 항공기, 자동차, 또는 또 다른 타입의 차량이나, 보안 또는 감시영역과 같은 특정 위치나 환경에 이용될 수 있다는 것이다. 이하의 실시예에 있어서의 시스템 및 방법은 항공기와 관련되어 기술된다. 비행환경은 다이나믹한 환경이고 시스템의 강함을 설명하는데 도움을 준다. 그러나, 본 발명의 시스템 및 방법에 사용된 예는 일예일 뿐 다양한 또 다른 적용이 본 발명에 이용될 수 있다.
도 1a 및 1b는 본 발명의 시스템 및 방법이 구체화 되는 항공기(10)를 기술한다. 본 실시예에 있어서, 본 발명의 시스템은 항공기의 다방면의 위치에 위치된 다수의 센서(12)를 포함한다. 센서는 전방시야(14), 측방시야(16), 상방시야(18), 및 하방시야(20)를 제공하기 위해 각기 다른 방향으로 항공기의 전면에 위치된다. 더욱이, 몇몇 실시예에 있어서, 센서는 후방시야(21)를 위해 항공기의 후면에 위치된다. 도시하지는 않았지만, 다방면의 센서가 항공기의 날개, 상면, 및 하면에 위치될 수도 있다. 통상 시스템에 사용된 센서는 낮은 밝기 레벨의 비디오 카메라, 장파장의 적외선 센서, 및 밀리미터파 레이다로 불리운다.
도 2a에 도시된 바와 같이, 다방면의 센서(12)가 항공기에 위치된 이미지 프로세서(22)에 전기적으로 연결된다. 본 발명의 이미지 프로세서는 디스플레이를 위해 센서로부터의 여러가지 이미지를 융화시키는 역할을 한다. 또한, 이미지 프로세서에는 항공기와 관련된 위치적인 정보(즉, 경도, 위도, 피치, 롤(roll), 요(yaw) 등)를 제공하기 위한 네비게이션 시스템(24)도 연결된다. 또한, 네비게이션 데이터베이스(26)는 시스템에 합성 네비게이션 데이터를 제공하기 위해 이용될 수 있다. 통상, 합성 네비게이션 데이터는 지리적 위치에서 또 다른 관심지역의 지형을 시뮬레이트 하는 3D 그래픽 데이터이다.
중요하게도, 이미지 프로세서에는 디스플레이(28)도 연결된다. 이러한 특정 실시에 있어서, 디스플레이는 조종사나 또는 다른 관찰자의 헬멧에 위치된 헬멧-탑재 디스플레이이다. 헬멧과 연결된 것은 헬멧-추적장치(30)이다. 헬멧-추적장치는 이미지 프로세서에 사용자의 현재의 시계라인과 관련된 정보를 제공한다. 도 2b에 도시된 바와 같이, 일련의 센서 또는 반사기는 사용자가 쓰고 있는 헬멧(32)상의 다양한 위치에 위치된다. 추적장치(30)는 헬멧의 관련 위치에 위치되고 차량과 관련된 사용자의 시계라인을 결정하기 위해 센서의 방향으로 움직임을 추적한다. 그와 같은 추적장치는 미국 캘리포니아 산타 모니카의 BAE Systems과 같은 군수 부품업자나, 또는 미국 버몬트 밀턴에 위치한 Ascension Technology Corporation과 같은 상업 부품업자 뿐만 아니라, 언급되지 않은 그 외의 다른 부품업자에 의해 이용될 수 있다. 헬멧-추적장치가 본 발명에 요구될 필요는 없다. 그와 같은 장치를 사용하는 대신, 조이스틱 콘트롤이나 차량 자체의 방향 등이 사용자의 시계라인을 결정하기 위해 이용될 수 있다. 유사하게, 보안 또는 감시 위치 상황에서, 시계라인은 관심 있는 시야에 조준된 고정값이 될 것이다.
도 3은, 이미지 프로세서(22)의 상세한 동작도를 나타낸다. 이미지 프로세서는 중앙 프로세서(36)와 그래픽 액세레이터(38)를 포함한다. 다방면의 센서(12; 도시하지 않았음)에는 하나 또는 일련의 프레임 그레이버(40; frame grabber)가 연결된다. 프레임 그레이버는 센서로부터의 이미지 데이터를 캡쳐하여 이들 이미지를 PCI버스를 통해 프로세서 메모리(42)에 저장한다. 중앙 프로세서에는, 헬멧-추적장치(30), 네비게이션 시스템(24), 네비게이션 데이터베이스(26)로부터의 입력 뿐만 아니라, 다양한 조종사의 입력명령을 수신하기 위한 입/출력 인터페이스(44)가 연결된다. 그래픽 액세레이터(38)는 독립 메모리장치(46), 그래픽 프로세서(48), 및 도시하지 않은 헬멧의 디스플레이에 연결된 프레임 버퍼(50)를 포함한다.
도 4는, 이미지 프로세서의 동작을 나타낸다. 도 4에 나타낸 모든 동작이 연속적으로 행해지지는 않지만, 대신 중앙 프로세서 및 그래픽 프로세서는 몇몇 단계를 동시에 수행한다. 일반적인 동작의 개요로서, 프레임 그레이버(40)는 다방면의 센서(12)로부터의 이미지 데이터를 수신하여 이 데이터를 프로세서 메모리(42)에 저장한다(단계200 참조). 초기단계에서 중앙 프로세서(36)는 항공기로부터 선택된 거리에 위치된 기하학적 맵핑면을 생성한다(단계210 참조). 기하학적 맵핑면은 각 센서로부터의 다양한 이미지를 공통 기준 프레임에 타일하기 위해 이용된다. 기하학적 맵핑면은 3D 공간에서 이미지 타일을 묘사하는 버텍스 메쉬(vertex mesh)를 정의하기 위해 이용된다.
중앙 프로세서는 다방면의 이미지 소스, 맵핑면, 디스플레이 공간간 벡터변환을 포함하는 광선추적 모델을 확립한다(단계220 참조). 각각의 이미지 타일 버텍스는 텍스처 좌표를 정의하는 연관된 소스 이미지로 맵핑된다. 아직 설명하지 않은 또 다른 성분을 수반하는 이들 버텍스 및 텍스처 좌표는 3D 비디오-텍스처 트라이앵글로서 이들을 설명하게 되는 그래픽 프로세서로 보낸다(단계260).
특히, 본 발명의 1실시예의 중앙 프로세서는 OpenGL 애플리케이션 프로그래밍 인터페이스를 이용하여 그래픽 액세레이터와 통신한다. 각 맵핑면의 버텍스에 대해, 중앙 프로세서는 OpenGL 명령구조를 이용하여 그래픽 프로세서(38)에 3개의 벡터값 데이터 세트를 제공한다. 중앙 프로세서는, 1) 기하학적 맵핑공간에 3D 좌표를 나타내는 버텍스 벡터와, 2) 버텍스에 대응하는 연관된 텍스처 이미지 위치를 나타내는 텍스처 좌표벡터, 및 3) 연관된 픽셀이 어떻게 디스플레이 되는지를 결정하기 위해 모두 이용된 특정 칼라(적, 녹, 청) 및 알파 블렌딩(alpha-blending) 값을 나타내는 칼라벡터를 제공한다.
이러한, 버텍스, 텍스처, 및 칼라 정보는 트라이앵글 메쉬를 묘사하는 컬렉션(collection)으로서 그래픽 프로세서에 보내진다. 그래픽 프로세서는 합성 이미지를 형성하기 위해 그들 각각의 엣지에 개별 타일된 이미지를 함께 스티칭 하여, 트라이앵글 메쉬를 렌더링하기 위해 이들 구성을 이용한다(단계240 참조). 특히, 각 이미지의 엣지는 인접한 타일과 오버랩 된다. 이들 오버랩된 영역의 텍스처 좌표와 연관된 버텍스는 인접한 이미지의 코히어런트 블렌딩을 보장하도록 처리된다. 이러한 과정을 수행하기 위해, 중앙 프로세서는 버텍스 정보가 그래픽 프로세서에 제공될 때 버텍스의 칼라와 연관된 강도 α값을 변경한다. 이미지를 함께 스티칭 하기 위한 과정은 이하 보다 상세히 기술한다.
기술된 실시예의 시스템 및 방법이 그래픽 프로세서와 통신하기 위해 OpenGL 명령구조를 이용했지만, 또 다른 명령구조가 이용될 수도 있다.
또한, 본 발명의 시스템 및 방법은 유사한 시야범위의 이미지를 함께 퓨징할 수 있는 능력을 제공한다(단계250 참조). 특히, 시스템은 오버랩핑의 시야범위를 갖는 다수의 다른 타입의 소스를 포함한다. 이들은 소스의 특성에 기초하여 동일한 시야의 다른 이미지를 생성한다. 그래픽 프로세서는 양쪽 이미지의 이점이 디스플레이된 이미지에 구체화되도록 이들 이미지를 함께 블렌드시킨다. 이미지를 함께 퓨징하기 위한 과정은 이하 보다 상세히 기술한다.
각 이미지의 텍스처 좌표를 기하학적 맵핑면의 버텍스와 상관시키는 것 외에, 중앙 프로세서는 또한 사용자의 시계라인을 헤드-추적장치(30)로부터 결정한다(단계270 참조). 중앙 프로세서는 그래픽 액세레이터(38)의 메모리(46)에 현재의 시계라인에 대한 시야범위 내에 있는 프로세서 메모리(42)에 저장된 이들 타일 이미지를 기억시킨다(단계280 참조). 버텍스 값의 각 컬렉션이 중앙 프로세서로부터 수신됨에 따라, 그래픽 프로세서는 메모리(46)에 저장된 텍스처 이미지로부터의 데이터를 사용자의 시야범위에 있는 기하학적 공간의 각 버텍스와 연관시키고 디스플레이 공간에 그 이미지 데이터를 렌더한다(단계290 참조). 다음에, 렌더된 데이터는 그래픽 프로세서 비디오 출력 전자장치를 통해 디스플레이에 제공된다(단계300 참조). 이러한 프로세스는 이용가능한 새롭게 입력된 이미지를 이용하여 디스플레이 비디오 수직 프레임율로 계속해서 루프된다.
상술한 바와 같이, 시각 시스템이 갖는 주요 문제는 소스 그들 자신간의 분리 뿐만 아니라 관찰자와 소스의 물리적 거리로 인해 야기된 시차의 현상이다. 이러한 분리는 소스가 사용자의 위치로부터의 물체에 대한 각기 다른 시각을 갖게 한다. 이들 문제를 개선하기 위해, 본 발명의 시스템 및 방법은, 만약 시차에 의한 문제가 제거되지 않는다면, 이를 감소시키는 2개의 과정을 제공한다. 특히, 본 발명의 시스템 및 방법은, 첫번째로, 다방면의 소스로부터의 이미지를 공통 공간에 맵핑시키는 기하학적 맵핑면을 정의한다. 두번째로, 본 발명의 시스템 및 방법은 공통 기준 좌표계를 생성하여 소스, 맵핑면, 및 디스플레이를 공통 또는 1차 좌표계로 변환시킨다.
기하학적 맵핑면과 관련하여, 본 발명의 시스템 및 방법은 연속 맵핑면을 갖는 소스에 의해 이미지되는 실제 환경의 기하학 형태에 근접한다. 소스로부터의 이미지는 맵핑면에 맵핑되고 그들은 그 디스플레이에 맵핑된다. 이러한 방식에 있어서, 시스템의 모든 이미지는 보기 위한 공통 또는 1차 좌표계와 상관된다.
도 5와 관련하여, 기하학적 맵핑면이 3D 공간에 일련의 메쉬 트라이앵글로 정의된다. 각 트라이앵글은 3개의 버텍스로 정의된다. 도 5에 도시된 바와 같이, 기하학적 공간의 각 버텍스에 대해, 중앙 프로세서는 버텍스가 연관된 입력 이미지 내의 위치에 대한 좌표와 관련된 텍스처 좌표를 제공한다(도 4의 단계230 참조). 이러한 방식에 있어서, 렌더링하기 위한 연관된 텍스처를 결정하기 위해 소스 이미지에 맵핑면으로부터 버텍스가 광선추적된다(단계290 참조). 다음에, 그 이미지가 렌더되어 디스플레이 된다.
도 6a~6d와 관련하여, 기하학적 맵핑면이 각 소스에 대한 벡터범위를 결정하기 위해 선택된다. 즉, 공통 외부경계가 모든 소스에 대해 선택된다. 다음에, 각 소스로부터의 이미지는 기하학적 면에 맵핑된 후 항공기 주변 영역의 코히어런트 이미지에 대한 디스플레이에 맵핑된다. 소스의 위치와 관련된 기하학적 면의 위치의 선택은 시차의 문제를 감소시키는데 결정적이다. 도 6a는, 2개의 센서, 즉 센서 A 및 센서 B로부터의 다른 거리의 공간에 2개의 물체(정사각형 물체 52 및 삼각형 물체 54)를 나타낸다. 이들 센서는 센서의 시야범위의 증가된 오버랩을 생성하기 위해 서로 약간 "견인"되어 있다(통상, 이것은 이러한 이유 때문에 시스템의 센서(12)에 행해진다). 2개 물체의 정확한 맵핑을 위해, 2개의 물체가 관찰자에게 적절하게 나타나도록 맵핑면(60)이 선택된다. 도 6b~6d는, 맵핑면의 위치 선택이 포함된 문제를 기술한다.
특히, 도 6b 및 6d는 정사각형 물체(52)의 위치에 맵핑면(60)을 위치시키는 것과 관련된 문제를 기술한다. 이 예에 있어서, 면이 선택된 후, 정사각형 물체(52)는 각 센서에 대한 맵핑면(60)의 동일한 위치에 투영된다. 센서 A의 경우, 삼각형 물체가 위치 56a에 맵핑되고, 반면 센서 B의 경우, 삼각형 물체가 위치 56b의 면에 맵핑된다. 도 6d에 도시된 바와 같이, 2개의 센서로부터의 이미지가 조합되면, 시야범위에 2개의 삼각형이 있는 것이 관찰자에게 나타난다.
도 6b 및 도 6c와 관련하여, 유사한 방식으로, 맵핑면(60)이 삼각형 물체(54)의 위치에서 선택되면, 삼각형 물체(54)는 맵핑면(60)의 동일한 위치에 맵핑될 것이다. 센서 A의 경우, 정사각형 물체는 위치 58a에 맵핑되고, 반면 센서 B의 경우, 정사각형 물체는 위치 58b의 면에 맵핑된다. 도 6c에 도시된 바와 같이, 2개의 시야로부터의 타일 이미지가 조합되면, 시야범위에 2개의 정사각형이 있는 것이 나타날 것이다.
도 6a~6d에 도시된 바와 같이, 기하학적 맵핑면의 위치의 선택은 시차 근점거리를 감소시키는데 중요한 이슈이다. 예컨대, 도 6a~6d에 도시된 경우에 있어서, 적절한 맵핑면 위치는 동일한 광선에 따른 각기 다른 범위의 물체에 대해 이론적으로 불확정적이다. 다시 말해서, 맵핑면의 위치는 최선의 경우 불연속적이고, 최악의 경우 불확정적인 시점 조망으로 표현된 상관적 3D 기하학적 형태의 함수이다. 이것이 시차 근점거리를 최소화 시키는 해결책을 얻기 위해 이미지되는 기하학적 형태에 근접하도록 그 면이 왜 선택되는 가이다.
항공기의 경우, 구면이 기하학적 맵핑면으로 이용된다. 상당한 높이에서, 시차 근점거리는 기하학적 맵핑면이 몇몇 이론상의 최대거리에서 선택되게 하는 제로쪽으로 향하는 경향이 있다. 그러나, 항공기가 하강하여 지상에 근접하게 되면, 항공기와 지형 등과 같은 주변 물체간의 거리를 아주 가깝게 근접시키도록 항공기 위치와 기하학적 맵핑면간 거리가 감소되어야만 한다. 그래서, 낮은 높이의 비행과, 택시로 가는 경우 또는 지상의 차량의 경우나 지상의 애플리케이션의 경우, 평평한 기하학적 면이 지상의 표면에 근접하도록 구면에 대향되어 이용된다. 또한, 근사치는 복잡한 계산비용으로 이미지되는 기하학적 형태의 선천적 지식에 기초하여 지정된다.
예컨대, 몇몇 합성 네비게이션 데이터는 다양한 지형특징을 나타내기 위해 다각형을 이용함으로써 3D로 표현된 지형 데이터를 포함한다. 다각형은 면을 맵핑하기 위해 이용될 수 있다. 이 예에 있어서, 시스템은 다양한 기하학적 면을 포함하고, 디스플레이에 가장 가까운 면은 맵핑면으로 이용된다. 항공기가 이동함에 따라, 기하학적 맵핑면은 합성 데이터에서 가장 가까운 기하학적 면으로 변경될 것이다.
또 다른 예에 있어서, 시스템은 지형 및 또 다른 특징의 레인지(range)를 나타내는 레인징장치(ranging device)로부터 데이터를 수신한다. 이 레인지 데이터는 기하학적 맵핑면을 구성하는데 이용될 수 있다.
일단 기하학적 맵핑면이 선택되면, 소스, 맵핑면, 및 디스플레이의 좌표계간 변환하기 위한 공통 또는 1차 좌표계를 생성하는 것이 중요하다. 도 7은 62'의 면 상에 투영된 물체와 함께 소스(61) 및 물체(62)와 관련되어 선택된 구형의 기하학적 맵핑면(60)을 기술한다. 이 도면에서 볼 수 있는 바와 같이, 소스(61)는 좌표계 64를 갖고, 디스플레이는 좌표계 66을 가지며, 맵핑면은 서로 각각 모두 다른 좌표계 68을 갖는다. 그 목적은 소스(61), 기하학적 맵핑면, 및 그 디스플레이의 벡터공간간 맵핑을 허용하는 기준 좌표계 70을 생성하기 위한 것이다. 이러한 면, 좌표계, 및 벡터공간을 통한 기하학적 맵핑의 컬렉션은 광선추적 모델과 관련된다.
광선추적 모델은 통상 차량의 좌표를 묶는 데카르트 기준공간을 이용한다. 이것은 정확한 변환이 수행되는 것을 보장할 수 있게 하는 많은 요인을 설명하는데 중요하다. 특히, 각 소스 및 디스플레이는 외부 광축의 피치, 롤(roll), 및 요(yaw) 뿐만 아니라, 광 출구 또는 입구 퍼필(pupil)의 x, y, z위치를 설명하기위해 최대 6개의 자유도 성분으로 모델된다. 더욱이, 각 소스와 관련된 옵틱(optic)은 소스에 의해 수신된 이미지의 조망에 영향을 주고, 또한 옵틱 자체에 의해, 또는 소스나 디스플레이의 픽셀 분포(래스터)에 의해 야기된 왜곡이 존재한다. 이러한 견지에서, 변환은 광 및 래스터 왜곡에 대한 비선형 변환의 최대 6개의 자유도 성분으로 시스템의 각 소스 및 디스플레이를 모델링 하는 것을 포함한다.
이러한 소스 및 디스플레이의 변환과정은 특히 도 8에 보다 상세히 도시되어 있다. 특히, 각 소스 또는 디스플레이의 기준좌표는 6개의 자유도 6DOF 기준에 의해 정의된다. 또한, 각 성분은 사다리꼴 형태인 퍼필 공간에 시야화 체적(74)을 갖는다. 사다리꼴은 성분과 관련된 시계라인(78)으로부터 1/2각도의 근원 평면 76a 및 76b와, 좌측면, 우측면, 상측면 및 하측면 76c~76f에 의해 정의된다. 시계라인은 성분의 좌표기준의 x축을 따라 선택된다.
센서 성분에 있어서, 이미지가 센서에 의해 수신되면, 그 이미지는 이미지(80)를 왜곡시키는 센서의 옵틱을 통과한다. 그와 같이, 제일 먼저 옵틱으로 인한 이들 비선형 변환을 설명하기 위해 퍼필 공간에서 이미지 공간으로 변환된다(foptic). 이러한 변환 후에, 이미지는 래스터(82) 상에 디스플레이를 위한 스케일링과 래스터 공간 원점을 확립하는 래스터 공간으로 변환된다(fraster). 디스플레이의 변환은 역순이다. 특히, 제일 먼저 래스터 공간이 이미지 공간으로 변환되고(f-1 raster), 차례로 퍼필 공간으로 변환된다(f-1 optic). 이들 비선형 변환은 광선추적 모델 내에서 정방향 및 역방향 모두에 이용될 수 있다.
또한, 기하학적 맵핑면 교차점은 도 7의 기준 좌표공간(70)으로 변환될 수 있다. 이것은 면의 특정 기하학적 형태와 관련된 기하학에 기초한 변환을 이용하여 달성된다. 특히, 도 9에 도시된 바와 같이, 주어진 위치 P로부터, 시계라인(UP)이 정의된다. 면 교차점(S)은 시계라인이 맵핑면(60)을 교차하는 곳에 정의된다. 그 지점은 로컬 유클리드 공간으로 변환되어 공간 fsurface(Up, Vop)에 맵핑된다. 다음에, 면 교차점이 면 f-1 surface(Vos, Vop)로부터 맵핑되어 기준 좌표계로 변환된다.
상술한 소스, 맵핑면, 및 디스플레이에 대한 변환은 각 소스에 의해 갭쳐된 이미지를 적절하게 상관시키는데 이용함으로써, 이미지를 적절하게 정렬 및 디스플레이 시킬 수 있다.
상술한 바와 같이, 본 발명의 중앙 프로세서는 맵핑면을 갖는 각 소스로부터의 각 이미지와 연관된다. 이러한 과정은 타일링과 관련된다. 각 이미지에 있어서, 영역 또는 타일은 통상 일정한 방위각 및 일정한 고도경계에 의해 맵핑면 상에 정의된다. 타일링은 이미지 경계를 미적 감각의 형태로 만들 뿐만 아니라, 그래픽 프로세서에 의해 일정하게 렌더된 맵핑면의 각 버텍스에 대한 정확한 스티칭 및 퓨전 블렌드 계수 정의를 가능하게 한다.
도 10은 이러한 타일링 과정을 기술한다. 기술한 바와 같이, 맵핑면(60)은 버텍스(84)의 컬렉션으로 정의된다. 중앙 프로세서는 이들 버텍스를 특정 이미지에 대한 텍스처 좌표와 연관시킨다. 특히, 소스(12)로부터의 이미지(82)는 맵핑면(60) 상에 효과적으로 투영된다. 버텍스는 맵핑면 좌표계(68)와 관련되어 위치된다. 버텍스는 투영된 이미지에 의해 커버된 영역의 일부분인 타일(90)을 정의한다. 그것은 그때 렌더되어 디스플레이되는 이러한 타일부(90)이다. 전체 이미지의 크기보다 작은 타일을 선택함으로써, 센서 옵틱이나 또 다른 왜곡으로 인한 이미지의 주변에 통상 야기되는 페이딩(fading)이나 저하가 타일 이미지로부터 제거된다. 상기 프로세스는 일련의 타일이 합성 이미지를 디스플레이 하는데 이용하기 위해 생성되도록 모든 이미지에 수행된다.
도 11은 이미지를 렌더하고 디스플레이 하기 위한 그래픽 프로세서에 버텍스 및 연관된 텍스처 좌표를 제공하기 위해 중앙 프로세서에 의해 사용된 변환을 기술한다. 도 11은 이미지에 대응하는 버텍스(84)를 갖는 맵핑면(60)에 맵핑된 이미지(86)의 자신의 좌표계(64)를 갖는 소스(12)를 기술한다. 그 연관된 좌표계(66)를 갖는 디스플레이(28)는 맵핑면의 정면에 위치된다. 또한, 소스(12)의 래스터 공간(94) 및 디스플레이의 래스터 공간(96)이 기술되어 있다. 타일 버텍스는 2D 텍스처 좌표를 확립하는 소스 래스터 공간(94)에 맵핑된다.
디스플레이(28)가 선형 디스플레이 옵틱을 가지면, 타일을 정의하는 버텍스(84)는 3D 텍스처된 다각형으로 렌더되어 디스플레이 퍼필 공간에서 디스플레이 래스터 공간(96)으로 원근 투영된다. 디스플레이가 비선형 옵틱을 가지면, 타일 버텍스는 2D 버텍스 좌표를 확립하기 위해 디스플레이 래스터 공간에 맵핑된다. 다음에, 타일 버텍스는 2D 텍스처된 다각형으로 렌더된다. 이것은 디스플레이 이미지 공간에서 디스플레이 래스터 공간으로의 직각 투영이다.
공통 맵핑면에 각 이미지를 정확하게 맵핑하는 것과, 공통 좌표계에 이미지, 맵핑면, 및 디스플레이를 관련시키기 위한 변환을 제공하는 것 외에, 본 발명의 시스템 및 방법은 디스플레이 됨에 따라 이미지를 향상시키기 위한 기술을 제공한다. 초기 상태로서, 본 발명의 시스템 및 방법은 합성 이미지를 형성하기 위해 인접한 이미지 타일을 함께 스티칭하기 위한 방법을 제공한다(단계240 참조, 도 4). 도 12 및 13은 이러한 스티칭 프로세스를 기술한다.
특히, 도 12는 수평 모자이크 이미지 배열(100)을 집합적으로 정의하는 일련의 이미지 타일 98a~98i를 기술한다. 각각의 이들 타일은 각 타일의 인접한 엣지가 동일한 이미지를 포함하도록 또 다른 것과 가볍게 오버랩하는 소스로 취해진다. 예컨대, 타일(98f)의 엣지부(102)는 타일(98e)의 엣지부(104)에 디스플레이 되는 것과 같은 동일한 시야의 디스플레이이다. 각 타일의 모든 다른 인접한 부분에 대해 동일한 사실이다. 또한, 이것은 2차원 모자이크 배열에 적용되고, 여기서 수직으로 인접한 타일의 상면 및 하면 엣지가 블렌드된다.
이미지가 각 타일의 엣지에서 그 동일함이 주어지면, 타일은 그들 인접한 엣지에서 오버랩 되어 이미지의 공통부분이 서로 오버레이 된다. 이러한 관계는 중앙 프로세서에 의해 수학적으로 확립된다. 특히, 각 타일에 대해, 중앙 프로세서는 동일한 맵핑면 버텍스를 갖도록 각 타일의 엣지부를 정의한다. 예컨대, 엣지부(102)의 픽셀(102a)은 엣지부(104)의 픽셀(104a)로서 동일한 표현의 맵핑면 버텍스를 갖는다. 특히, 중앙 프로세서가 제1타일(98e)을 렌더링하기 위해 그래픽 프로세서에 정보를 보내면, 엣지부(104)를 표현하는 트라이앵글 스트립에 대한 버텍스, 텍스처, 및 칼라 정보를 보낸다. 중앙 프로세서가 제2타일(98f)을 렌더링하기 위해 정보를 보내면, 엣지부(102)를 표현하는 트라이앵글 스트립에 대한 버텍스, 텍스처, 및 칼라 정보를 보낸다. 2개의 픽셀 102a 및 104a 때문에, 각기 다른 타일이 동일한 버텍스 스트립이지만 독립적으로 결정될 경우, 그래픽 프로세서는 디스플레이상의 동일한 위치에 2개의 픽셀을 렌더하여 디스플레이 한다. 이것은 인접한 타일간 오버랩을 야기하기 위해 이미지가 동일한 각 인접한 타일의 각 대응하는 픽셀에 행해진다. 이것은 도 12에 도시된 바와 같이 모든 인접한 엣지에 행해진다. 타일 98a~98i를 오버랩핑 함으로써, 합성 모자이크 이미지(100)가 디스플레이 될 수 있다.
타일의 인접한 엣지의 오버랩핑이 몇몇 레벨의 스티칭을 제공할 지라도, 거의 단독의 오버랩핑은 이은 곳이 없는 이미지를 제공하지 못한다. 이러한 이유 때문에, 본 발명의 시스템 및 방법은 숨겨진 이은자리를 생성하기 위해 이미지를 더 처리한다. 도 13과 관련하여, 본 발명의 시스템 및 방법은 이은자리를 숨기기 위해 OpenGL의 텍스처 조절 및 픽셀 블렌딩 성능을 이용한다. 특히, 도 13에 나타낸 바와 같이, 일련의 이미지(106a~106d)가 합성 이미지(108)를 형성하기 위해 맵핑면(60)상에 렌더된다. 본 발명의 시스템 및 방법은 이미지가 오버랩하는 위치의 맵핑면(60)상에 블렌딩존(110)을 정의한다. 각 블렌딩존은 맵핑면 상에 다수의 버텍스를 정의한다.
2개의 이미지를 블렌드하기 위해, 본 발명의 중앙 프로세서는 블렌드존의 버텍스 칼라의 강도값을 변경한다. 특히, 상술한 바와 같이, 각 버텍스에 대해, 중앙 프로세서는 버텍스 좌표, 텍스처 좌표, 및 칼라를 정의한다. 칼라와 관련된 것은, 현재 렌더된 픽셀이 프레임 버퍼의 콘텐트에 어떻게 기여하는지를 결정하기 위해 그래픽 프로세서에 의해 이용되는 알파 블렌딩 값이다. 본 발명의 하나의 바람직한 실시예에 있어서, 중앙 프로세서는 그래픽 프로세서의 텍스처 조절 및 블렌딩 성능이 2개의 타일 이미지를 함께 블렌드시키기 위해 블렌드존의 테이퍼링 효과(tapering effect)를 야기하도록 버텍스 칼라를 정의한다. 텍스처 조절에 있어서, 합성의 픽셀 칼라는 연관된 버텍스로부터 삽입된 솔리드 칼라로 시작하지만, 이 칼라를 연관된 텍스처 이미지 콘텐트로 조절함으로써 더 변경된다. 예컨대, 모든 적색 버텍스의 트라이앵글은 보통 솔리드 적색 트라이앵글로 렌더되지만, 연관된 단색 텍스처 이미지로 조절되면 그 결과는 적색 트라이앵글 이미지의 모습이다. 이러한 조절은 적색, 녹색 및 청색 픽셀값에 대해 독립적으로 수행되고, 따라서 녹색 텍스처를 갖는 청색 트라이앵글은 흑색 픽셀을 야기한다.
블렌딩 함수는 적색, 녹색, 및 청색성분에 독립적으로 수행된 프레임 버퍼의 기존의 픽셀과 렌더된 픽셀의 가중된 합계를 포함한다. 제1블렌딩 함수(f1blend())는 이하와 같은 가중치를 결정하기 위해 픽셀에 대한 삽입된 버텍스 알파값을 이용한다;
Display=f1blend()=α*ImageA+(1-α)*ImageB.
제2블렌딩 함수(f2blend())는 소스 픽셀 ImageA에만 삽입된 알파를 이용하고, 이하와같은 ImageB 가중에 대한 단일성을 이용한다;
Display=f2blend()=α*ImageA+(1)*ImageB
특정 모자이크 엣지 블렌드존의 2개의 트라이앵글 스트립을 렌더링할 경우, 제1스트립이 flblend()를 이용하여 렌더되고, 다음에 제2스트립이 f2blend()를 이용하여 렌더된다. 몇몇 기본 계산에 있어서, 프레임 버퍼가 초기에 픽셀값 Display0를 포함한다고 가정하면, 그 결과의 픽셀값은 이하와 같이 나타낼 수 있다;
Display2=α*ColorB*ImageB+α*ColorA*ImageA+(1-α)*Display0
ColorA 및 ColorB가 단일성 합계로 블렌드존에 의해 정의되기 때문에,
ColorB=1-ColorA
Display2=α*(ImageB-ColorA*ImageB+ColorA*ImageA)+(1-α)*Display0
더욱이, 이미지 표시를 완성하거나, ImageB=ImageA이고, 그 결과가 이하와 같다고 하면,
Display2=α*ImageB+(1-α)*Display0
비표시로 인한 픽셀값 에러가 이하와 같이 표시될 수 있다는 것을 나타낼 수도 있다:
DisplayError=α*ColorA*(ImageA-ImageB)
이것은 각 구성되는 소스 이미지로부터의 트라이앵글 스트립이 동일한 버텍스 위치와 단일성-합계 칼라 증감으로 정의되기 때문에 블렌드존 영역의 모든 디스플레이 픽셀에 대해 사실이다.
비록, 블렌드존 정의가 단일성 합계를 갖도록 디자인될 지라도, 인접한 소스 이미지간 밝기의 불일치는 합성 이미지의 불연속성을 여전히 야기할 수 있다. 이러한 불연속성은 보다 밝은 이미지의 내부 블렌드존 버텍스의 칼라 크기를 감소시킴으로써 최소화 된다. 크기 척도요인은 질문의 요점에서 인접한 이미지의 상대적 밝기의 비율로 계산된다. 간단한 로컬영역 평균은 각 소스 이미지에 대한 각 블렌드존 텍스처 좌표에서 계산된다. 예컨대, 도 14에 도시한 바와 같이, 2개의 이미지가 이은자리(112)에서 함께 스티칭 되면, 이미지간 밝기(114)의 차가 발생한다. 이를 교정하기 위해, 좀더 만족시키는 밝기 매치(116)를 야기하는 보다 밝은 이미지를 위한 강도크기가 상대적 강도비로 떨어져 스케일 된다.
인접한 타일 엣지의 블렌딩을 위한 방법을 제공하는 것 외에, 본 발명은 또한 각기 다른 타입의 소스로부터의 이미지를 퓨징하기 위한 방법을 제공한다. 이미지 퓨전(fusion)은 사용자가 각각 기여되는 소스에 의해 제공된 유일한 장점을 포함하는 합성 이미지를 볼 수 있게 한다. 일예가 비디오 카메라 및 적외선 소스로부터의 이미지의 퓨전이고, 여기서 퓨징된 이미지는 적외선 소스의 열적 시각화 및 카메라의 시각적 특성으로부터의 이익을 얻는다.
도 15는 퓨전의 그래픽 설명이다. 도시한 바와 같이, 중앙 프로세서(36)는 동일한 또는 유사한 시야범위를 갖는 2개의 독립 소스로부터의 독립된 이미지 118a 및 118b를 수신한다. 동작에 있어서, 중앙 프로세서는 모자이크 이미지 타일과 유사한 각 기여되는 이미지의 이미지 메쉬를 정의하지만, 이 경우 각 기여되는 타일은 작은 블렌드존이 아니라 큰 영역에서 오버랩 되는 경향이 있다. 한 이미지또는 또 다른 이미지를 강조하기 위해, 중앙 프로세서는 타일 버텍스의 알파 블렌딩 칼라값을 이용한다. 예컨대, 퍼센테이지에 기초한 방법에 있어서, 중앙 프로세서는 동일한 알파값을 특정 메쉬의 모든 버텍스에 할당한다. f1blend() 함수를 이용함으로써, 소스 픽셀이 앞서 정의된 가중된 합을 이용하여 현재 디스플레이 픽셀값과 조합되도록 메쉬가 렌더된다.
Display1=f1blend()=α*ImageA+(1-α)*Display0
퍼센테이지에 기초한 퓨전에 대안으로서, 콘텐트에 기초한 퓨전이 사용된다. 그러나, 이 방법은 타일 버텍스에 할당된 알파(α)값을 사용하는 것이 아니라, 유사한 퍼센테이지 비율 블렌딩을 포함하며, 블렌딩 계수는 소스 픽셀강도로부터 결정된다. 이것은 이하와 같은 형태의 식으로 기재된 픽셀구동 알파와 관련된다:
Display1=(ImageA/2N)*ImageA+(1-ImageA/2N)*Display0
N=pixel bit depth
일예로서, 도 17은 함께 퓨징된 적외선 이미지(126a)와 CCD 카메라 이미지(126b)를 나타내고, 여기서 적외선 타일 버텍스는 적색값이 할당되고, CCD 타일 버텍스는 녹색값이 할당된다. 이것은, 적-녹 보색 대비의 장점을 취함으로써 각 소스 이미지의 분광량을 강조한다. 예컨대, 자동차 후드상의 반짝임(128)은 가시가능 이미지로부터 오고, 전신주상의 전력변압기(130)는 적외선 이미지에 의해 강조된다.
또 다른 퓨전기술이 본 발명에 이용하기 위해 고려된다. 이들은, 예컨대 계산동작, 주파수 범위 조절, 및 물체 식별과 추출을 포함한다.
모자이크 이미지 스티칭 및 이미지 퓨전 외에, 이미지 타일링 성능도 시야가능 공간을 통해 분배된 픽처-인-픽처 가상 디스플레이를 제공하는 능력을 제공한다. 예컨대, 당신의 무릎에 페이퍼 맵을 갖는 것과 마찬가지로 하부 디스플레이 영역에 제공된 이동 맵을 갖는 것이 바람직하다. 또 다른 바램은 후면시야 거울과 유사한 상부 디스플레이 영역에 타일로 맵된 후면에 면하는 카메라를 갖추어야만 한다. 이들 개념은 차량의 전방시야, 상부의 후면시야 거울 타일(134), 하부의 이동 맵 타일(136)에 스티칭된 수평 적외선 이미지 배열(132)을 나타내는 도 18에 도시되어 있다. 더욱이, 이러한 이미지는 차량 위치와 상관된 열추적 3D 지형표시 등과 같은 합성 이미지 소스로 증대될 수 있다.
이 예에 있어서, 중앙 프로세서는 네비게이선 데이터베이스로부터의 3D지형 및 그래픽을 생성하는 합성 비전 시스템의 출력을 수신한다. 합성 비전 이미지는 맵핑면으로 변환되어 이미지 퓨전 함수를 포함하여 또 다른 소스 이미지와 유사하게 렌더된다. 예컨대, 도 19는 도 18의 합성 시야의 중심영역과 퓨징된 합성 이미지를 기술한다.
이동 맵 데이터 외에, 또 다른 타입의 디스플레이 데이터도 각각의 타일에 디스플레이되거나 이미지와 퓨징된다. 예컨대, 항공기 HSI 및 ADI 디스플레이, 고도계, 풍속 등은 타일로서 디스플레이상에 디스플레이 되어 조종사가 항공기 주변 상황을 보면서 계기 기록을 볼 수 있게 하는 통합된 시야를 제공하도록 이미지와 퓨징된다.
기술되지는 않았지만, 시스템 및 방법은 또한 픽처-인-픽처 타일링,줌잉(zooming), 패닝(panning) 등을 제공하는 능력을 포함한다.
"SYSTEMS AND METHODS FOR PROVIDING ENHANCED VISION IMAGING WITH DECREASED LATENCY"로 명칭되고, 본 건과 동시 출원된 미국특허출원 S/N TBD는 필드 프로그램가능 게이트 어레이 또는 유사 병렬 처리장치를 이용하는 이미지 디스플레이 시스템을 기술하고 있으며, 그 내용은 참조로 여기에 구체화 된다.
한편, 본 발명은 상술한 실시예로 한정되는 것은 아니고, 본 발명의 목적 및 배경을 이탈하지 않는 범위 내에서 다양하게 변형하여 실시할 수 있는 것은 물론이다.
이상 기술한 바와 같이, 본발명은 개선된 비전 디스플레이에 사용하기 위한 시스템 및 방법을 제공할 수 있다.

Claims (35)

  1. 디스플레이의 시점에 주변의 이미지를 제공하기 위한 시스템에 있어서,
    시야범위를 가짐과 더불어 상기 주변의 이미지를 제공하는 적어도 하나의 이미지 소스와,
    상기 이미지 소스 및 디스플레이와 통신되는 프로세서를 구비하여 구성되고,
    상기 프로세서는 상기 이미지 소스의 시야범위 내의 주변에 근접하는 상기 이미지 소스 및 디스플레이와 소정 거리를 두고 맵핑면을 정의하며, 상기 프로세서는 상기 이미지 소스의 기하학적 형태, 상기 디스플레이의 기하학적 형태, 및 상기 맵핑면의 기하학적 형태와 상호 관련된 모델을 정의하는 것을 특징으로 하는 시스템.
  2. 제1항에 있어서, 상기 디스플레의 시점에 주변은 기하학적 형태로 이루어지고, 상기 디스플레이는 기하학적 형태에 근접하며, 상기 프로세서는 상기 기하학적 형태에 좀더 가깝게 근접하는 맵핑면을 정의하는 것을 특징으로 하는 시스템.
  3. 제1항에 있어서, 상기 이미지 소스 및 디스플레이중 적어도 어느 하나는 그와 연관된 광학왜곡을 가지며, 상기 프로세서에 의해 정의된 모델은 상기 광학왜곡을 설명하는 것을 특징으로 하는 시스템.
  4. 제1항에 있어서, 상기 이미지 소스, 디스플레이 및 맵핑면은 모두 각기 다른 좌표계를 가지며, 상기 프로세서에 의해 정의된 모델은 상기 이미지 소스, 디스플레이, 및 맵핑면을 각기 다른 좌표계로 변환시키기 위한 변환을 포함하는 것을 특징으로 하는 시스템.
  5. 제1항에 있어서, 상기 이미지 소스의 시야범위 내의 맵핑면의 선택된 좌표에 대해, 상기 모델을 이용하는 상기 프로세서는 상기 맵핑면상의 선택된 좌표에 대응하는 상기 이미지 소스의 좌표를 결정하고, 상기 프로세서는 상기 선택된 맵핑면 좌표를 상기 디스플레이의 대응하는 좌표와 관련시키고 상기 디스플레이상의 대응하는 좌표에 이미지 소스의 상기 결정된 좌표와 관련된 이미지 데이터를 디스플레이 하는 것을 특징으로 하는 시스템.
  6. 제1항에 있어서, 상기 프로세서는;
    중앙 프로세서와,
    그래픽 프로세서로 이루어지고,
    상기 중앙 프로세서는 상기 이미지 소스의 디스플레이 범위 내의 맵핑공간의 선택된 버텍스에 대한 그리고 맵핑공간의 3차원 좌표를 각각 나타내는 다수의 버텍스 벡터로 이루어진 3차원 공간인 맵핑면을 정의하고, 상기 중앙 프로세서는 상기 맵핑면의 선택된 버텍스에 대응하는 상기 이미지 소스에 의해 제공된 이미지의 텍스처 벡터를 결정하고, 상기 그래픽 프로세서에 벡터의 컬렉션을 제공하며, 상기컬렉션은 상기 맵핑면의 선택된 버텍스와, 이미지의 대응하는 벡터, 및 칼라 벡터로 이루어지고,
    상기 그래픽 프로세서는 3D 비디오-텍스처된 트라이앵글로 벡터의 컬렉션을 표현하는 것을 특징으로 하는 시스템.
  7. 제6항에 있어서, 상기 소스, 디스플레이, 및 맵핑공간중 적어도 2개는 각기 다른 좌표계를 가지며, 상기 프로세서는 벡터가 상관될 수 있도록 상기 소스, 디스플레이, 및 맵핑공간중 2개의 벡터를 1차 좌표계로 변환시키기 위한 변환을 계산하는 것을 특징으로 하는 시스템.
  8. 제6항에 있어서, 상기 이미지 소스의 시야범위는 상기 맵핑공간상에 투영된 이미지를 정의하고, 상기 프로세서는 상기 맵핑면상에 투영된 이미지보다 작은 타일을 정의하고, 상기 타일 내의 이미지의 모든 텍스처 벡터는 상기 맵핑면의 각 버텍스와 연관되고 상기 타일의 바깥쪽 위치에 맵핑면상에 투영되는 모든 텍스처 벡터는 상기 맵핑공간의 버텍스와 연관되지 않는 것을 특징으로 하는 시스템.
  9. 제6항에 있어서, 상기 맵핑공간상에 서로 오버랩되는 각각의 시야범위를 갖는 적어도 2개의 이미지 소스를 더 구비하여 이루어지고,
    상기 이미지 소스는 상기 맵핑공간의 동일한 버텍스에 대응하는 텍스처 벡터를 갖는 각각의 이미지를 제공하며, 각 이미지 소스에 대해, 상기 프로세서는 디스플레이를 위한 그래픽 프로세서에 각각의 이미지 소스의 텍서처 벡터 및 맵핑공간의 버텍스를 제공하고, 상기 소스로부터의 이미지는 상기 디스플레이상에 오버랩되는 것을 특징으로 하는 시스템.
  10. 제9항에 있어서, 상기 프로세스는 상기 2개의 이미지 소스의 시야범위가 오버랩하는 위치의 맵핑면상에 다수의 버텍스를 나타내는 블렌딩존을 정의하고, 상기 블렌딩존의 각 버텍스에 대해, 상기 프로세스는 버텍스 칼라의 강도값을 변경하여 오버랩핑 타일간 이은자리를 제거하는 것을 특징으로 하는 시스템.
  11. 제9항에 있어서, 상기 소스로부터의 이미지가 각기 다른 밝기값을 가지면, 상기 프로세서는 버텍스에 인접한 이미지의 상대적 밝기의 비율에 기초한 스케일 요인에 의해 블렌드존에 위치된 보다 밝은 이미지의 버텍스의 칼라 크기를 감소시키는 것을 특징으로 하는 시스템.
  12. 제6항에 있어서, 상기 이미지 소스가 상기 맵핑공간의 동일한 버텍스에 대응하는 텍스처 벡터를 갖는 각각의 이미지를 제공하도록 맵핑공간상에 서로 오버랩하는 각각의 시야범위를 갖는 적어도 2개의 이미지 소스를 더 구비하여 이루어지고,
    상기 각각의 이미지 소스에 의해 제공된 각각의 이미지는 단일특성을 갖고, 각각의 이미지 소스에 대해, 상기 프로세서는 디스플레이를 위한 그래픽 프로세서에 각각의 이미지 소스의 텍스처 벡터와 맵핑면의 버텍스를 제공하고, 그와 같은상기 소스로부터의 이미지는 상기 디스플레이상에 오버랩되며, 상기 프로세서는 상기 이미지를 각 이미지의 단일특성을 포함하는 합성 이미지로 조합하는 것을 특징으로 하는 시스템.
  13. 디스플레이의 시점에 주변의 이미지를 제공하기 위한 방법에 있어서,
    시야범위를 가짐과 더불어 상기 주변의 이미지를 제공하는 적어도 하나의 이미지 소스를 제공하는 단계와,
    상기 이미지 소스의 시야범위 내의 주변에 근접하는 상기 이미지 소스 및 디스플레이와 소정 거리를 두고 맵핑면을 정의하는 단계,
    상기 이미지 소스의 기하학적 형태, 상기 디스플레이의 기하학적 형태, 및 상기 맵핑면의 기하학적 형태와 상호 관련된 모델을 정의하는 단계를 구비하여 이루어진 것을 특징으로 하는 방법.
  14. 제13항에 있어서, 상기 디스플레의 시점에 주변은 기하학적 형태로 이루어지고, 상기 디스플레이는 기하학적 형태에 근접하며, 상기 맵핑면 정의는 상기 기하학적 형태에 좀더 가깝게 근접하는 맵핑면을 정의하는 것을 특징으로 하는 방법.
  15. 제13항에 있어서, 상기 이미지 소스 및 디스플레이중 적어도 어느 하나는 그와 연관된 광학왜곡을 가지며, 상기 정의단계에서 정의된 모델은 상기 광학왜곡을 설명하는 것을 특징으로 하는 방법.
  16. 제13항에 있어서, 상기 이미지 소스, 디스플레이 및 맵핑면은 모두 각기 다른 좌표계를 가지며, 상기 정의단계에 의해 정의된 모델은 상기 이미지 소스, 디스플레이, 및 맵핑면을 각기 다른 좌표계로 변환시키기 위한 변환을 포함하는 것을 특징으로 하는 방법.
  17. 제13항에 있어서, 상기 이미지 소스의 시야범위 내의 맵핑면의 선택된 좌표에 대해,
    상기 맵핑면상에 선택된 좌표에 대응하는 이미지 소스의 좌표를 결정하기 위해 모델을 이용하는 단계와,
    상기 선택된 맵핑면 좌표를 상기 디스플레이의 대응하는 좌표와 관련시키는 단계 및,
    상기 디스플레이상에 대응하는 좌표에 이미지 소스의 결정된 좌표와 연관된 이미지 데이터를 디스플레이 하는 단계를 더 구비하여 이루어진 것을 특징으로 하는 방법.
  18. 디스플레이의 시점에 주변의 이미지를 제공하기 위한 시스템에 있어서,
    시야범위를 가짐과 더불어 상기 주변의 이미지를 제공하는 적어도 하나의 이미지 소스와,
    상기 이미지 소스 및 디스플레이와 통신되는 프로세서를 구비하여 구성되고,
    상기 프로세서는 상기 이미지 소스와 소정 거리를 두고 맵핑면을 정의하며,
    상기 이미지 소스의 시야범위는 맵핑면상에 투영된 이미지를 정의하고, 상기 프로세서는 상기 이미지 소스에 의해 맵핑면상에 투영된 이미지에 의해 커버된 영역의 일부분을 정의하는 타일을 정의하는 것을 특징으로 하는 시스템.
  19. 제18항에 있어서, 상기 맵핑공간상에 서로 오버랩되는 각각의 시야범위를 갖는 적어도 2개의 이미지 소스를 구비하여 이루어지고,
    상기 프로세서는 각 이미지에 대한 각각의 타일을 정의하고, 그와 같은 타일은 오버랩핑 영역을 갖는 것을 특징으로 하는 시스템.
  20. 제19항에 있어서, 상기 프로세서는 오버랩 영역 내에 맵핑면상에 블렌드존을 정의하고 이미지간 이은자리를 감추기 위해 블렌드존의 이미지의 강도를 조절하는 것을 특징으로 하는 시스템.
  21. 제19항에 있어서, 상기 이미지 소스는 적어도 하나의 단일특성을 각각 갖는 각각의 이미지를 제공하고, 상기 프로세서는 그 이미지를 각 이미지의 단일특성을 포함하는 합성 이미지에 조합하는 것을 특징으로 하는 시스템.
  22. 디스플레이의 시점에 주변의 이미지를 제공하기 위한 방법에 있어서,
    시야범위를 가짐과 더불어 상기 주변의 이미지를 제공하는 적어도 하나의 이미지 소스를 제공하는 단계와,
    상기 이미지 소스와 소정 거리를 두고 맵핑면을 정의하는 단계 및,
    상기 이미지 소스에 의해 상기 맵핑면상에 투영된 이미지에 의해 커버된 영역의 일부분을 정의하는 타일을 정의하는 단계를 구비하여 이루어지고,
    상기 이미지 소스의 시야범위는 상기 맵핑면상에 투영된 이미지를 정의하는 것을 특징으로 하는 방법.
  23. 제22항에 있어서, 상기 제공하는 단계는 상기 맵핑공간상에 서로 오버랩되는 각각의 시야범위를 갖는 적어도 2개의 이미지 소스를 제공하고, 상기 타일 정의단계는 각 이미지에 대한 각각의 타일을 정의하며, 그와 같은 타일은 오버랩핑 영역을 갖는 것을 특징으로 하는 방법.
  24. 제23항에 있어서, 상기 오버랩 영역 내의 맵핑면상에 블렌딩존을 정의하고 이미지간 이은자리를 감추기 위해 블렌드존의 이미지의 강도를 조절하는 단계를 더 구비하여 이루어진 것을 특징으로 하는 방법.
  25. 제23항에 있어서, 상기 이미지 소스는 적어도 하나의 단일특성을 각각 갖는 각각의 이미지를 제공하고, 상기 그 이미지를 각 이미지의 단일특성을 포함하는 합성 이미지에 조합하는 단계를 구비하여 이루어진 것을 특징으로 하는 방법.
  26. 디스플레이의 시점에 주변의 이미지를 제공하기 위한 시스템에 있어서,
    각각의 시야범위를 가짐과 더불어 상기 주변의 이미지를 제공하는 적어도 2개의 이미지 소스와,
    상기 이미지 소스 및 디스플레이와 통신되는 프로세서를 구비하여 구성되고,
    상기 프로세서는 상기 이미지 소스와 소정 거리를 두고 맵핑면을 정의하며,
    상기 이미지 소스의 각각의 시야범위는 맵핑면상에 투영되고 오버랩되는 인접한 영역을 갖는 각각의 이미지를 정의하고, 상기 프로세서는 상기 오버랩 영역 내의 맵핑면상에 블렌드존을 정의하고 이미지간 이은자리를 감추기 위해 블렌드존의 이미지의 강도를 조절하는 것을 특징으로 하는 시스템.
  27. 제26항에 있어서, 상기 블렌드존에 위치된 각각의 이미지의 영역에 대해, 상기 프로세서는 이미지의 외부 엣지에 대한 블렌드존을 엣지에서 이미지의 한지점에서 이미지의 강도를 테이퍼하는 것을 특징으로 하는 시스템.
  28. 디스플레이의 시점에 주변의 이미지를 제공하기 위한 방법에 있어서,
    각각의 시야범위를 가짐과 더불어 상기 주변의 이미지를 제공하는 적어도 2개의 이미지 소스를 제공하는 단계와,
    상기 이미지 소스와 소정 거리를 두고 맵핑면을 정의하는 단계,
    상기 오버랩 영역 내의 맵핑면상에 블렌드존을 정의하는 단계 및,
    상기 이미지간 이은자리를 감추기 위해 블렌드존의 이미지의 강도를 조정하는 단계를 구비하여 이루어지며,
    상기 이미지 소스의 각각의 시야범위는 상기 맵핑면상에 투영되고 오버랩되는 인접한 영역을 갖는 각각의 이미지를 정의하는 것을 특징으로 하는 방법.
  29. 제28항에 있어서, 상기 블렌드존에 위치된 각 이미지의 영역에 대해, 상기 조절단계는 이미지의 외부 엣지에 대한 블렌드존을 엣지에서 이미지의 한지점에서 이미지의 강도를 테이퍼하는 것을 특징으로 하는 방법.
  30. 디스플레이의 시점에 주변의 이미지를 제공하기 위한 시스템에 있어서,
    적어도 부분적으로 오버랩되는 각각의 시야범위를 갖는 적어도 2개의 이미지 소스와,
    상기 이미지 소스 및 디스플레이와 통신되는 프로세서를 구비하여 구성되고,
    상기 이미지 소스는 적어도 하나의 단일특성을 각각 갖는 각각의 이미지를 제공하고,
    상기 프로세서는 상기 이미지 소스와 소정 거리를 두고 맵핑면을 정의하며,
    상기 이미지 소스의 각각의 시야범위는 맵핑면상에 투영되고 오버랩되는 영역을 갖는 각각의 이미지를 정의하고, 상기 프로세서는 그 이미지를 각 이미지의 단일특성을 포함하는 합성 이미지에 조합하는 것을 특징으로 하는 시스템.
  31. 제30항에 있어서, 상기 프로세서는 또 다른 이미지와 관련된 증가된 강도를갖는 이미지중 어느 하나를 디스플레이 하여 합성 이미지를 강화시키는 것을 특징으로 하는 시스템.
  32. 제30항에 있어서, 상기 프로세서는 보다 큰 강도를 갖는 픽셀이 조합된 이미지로 강화되도록 그들 연관된 강도에 기초하여 각 이미지의 픽셀을 구하여 픽셀을 가중하는 것을 특징으로 하는 시스템.
  33. 디스플레이의 시점에 주변의 이미지를 제공하기 위한 방법에 있어서,
    적어도 부분적으로 오버랩되는 각각의 시야범위를 갖는 적어도 2개의 이미지 소스를 제공하는 단계와,
    상기 이미지 소스와 소정 거리를 두고 맵핑면을 정의하는 단계 및,
    그 이미지를 각 이미지의 단일특성을 포함하는 합성 이미지에 조합하는 단계를 구비하여 이루어지고,
    상기 이미지 소스는 적어도 하나의 단일특성을 각각 갖는 각각의 이미지를 제공하며,
    상기 이미지 소스의 각각의 시야범위는 맵핑면상에 투영되고 오버랩되는 영역을 갖는 각각의 이미지를 정의하는 것을 특징으로 하는 방법.
  34. 제33항에 있어서, 상기 조합단계는 또 다른 이미지와 관련된 증가된 강도를 갖는 이미지중 어느 하나를 디스플레이 하여 합성 이미지를 강화하는 것을 특징으로 하는 방법.
  35. 제33항에 있어서, 보다 큰 강도를 갖는 픽셀이 조합된 이미지에서 강화되도록 그들 연관된 강도에 기초하여 각 이미지의 픽셀을 구하여 픽셀을 가중하는 단계를 더 구비하여 이루어진 것을 특징으로 하는 방법.
KR1020040013513A 2003-03-01 2004-02-27 개선된 비전 이미징을 제공하기 위한 시스템 및 방법 KR101068329B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/379,409 US7619626B2 (en) 2003-03-01 2003-03-01 Mapping images from one or more sources into an image for display
US10/379,409 2003-03-01

Publications (2)

Publication Number Publication Date
KR20040078061A true KR20040078061A (ko) 2004-09-08
KR101068329B1 KR101068329B1 (ko) 2011-09-28

Family

ID=32771546

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040013513A KR101068329B1 (ko) 2003-03-01 2004-02-27 개선된 비전 이미징을 제공하기 위한 시스템 및 방법

Country Status (4)

Country Link
US (1) US7619626B2 (ko)
EP (1) EP1453009A3 (ko)
JP (1) JP4520180B2 (ko)
KR (1) KR101068329B1 (ko)

Families Citing this family (114)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030081849A1 (en) * 2001-07-16 2003-05-01 Smith Joshua Edward Method and system for creating seamless textured three dimensional models of objects
CN102214410B (zh) 2002-11-05 2014-01-01 亚洲航测株式会社 倾斜红色化立体图像制作装置
US7486291B2 (en) * 2003-07-08 2009-02-03 Berson Barry L Systems and methods using enhanced vision to provide out-the-window displays for a device
US20050140696A1 (en) * 2003-12-31 2005-06-30 Buxton William A.S. Split user interface
US7020434B2 (en) * 2004-01-02 2006-03-28 The United States Of America As Represented By The Secretary Of The Navy Animated radar signal display with fade
US7324137B2 (en) * 2004-01-29 2008-01-29 Naomichi Akizuki System for automatically generating continuous developed still image from video image of inner wall of tubular object
US7617022B1 (en) * 2004-07-01 2009-11-10 Rockwell Collins, Inc. Dual wavelength enhanced vision system optimized for visual landing light alignment
US7929800B2 (en) 2007-02-06 2011-04-19 Meadow William D Methods and apparatus for generating a continuum of image data
US8207964B1 (en) 2008-02-22 2012-06-26 Meadow William D Methods and apparatus for generating three-dimensional image data models
US7619658B2 (en) * 2004-11-15 2009-11-17 Hewlett-Packard Development Company, L.P. Methods and systems for producing seamless composite images without requiring overlap of source images
US7425952B2 (en) * 2004-11-23 2008-09-16 Metavr, Inc. Three-dimensional visualization architecture
US7538326B2 (en) * 2004-12-03 2009-05-26 Fluke Corporation Visible light and IR combined image camera with a laser pointer
US7450137B2 (en) * 2005-02-18 2008-11-11 Hewlett-Packard Development Company, L.P. System and method for blending images
WO2006096352A2 (en) * 2005-03-03 2006-09-14 General Dynamics Advanced Information Systems, Inc. An apparatus and method for simulated sensor imagery using fast geometric transformations
US20060210169A1 (en) * 2005-03-03 2006-09-21 General Dynamics Advanced Information Systems, Inc. Apparatus and method for simulated sensor imagery using fast geometric transformations
US7925391B2 (en) * 2005-06-02 2011-04-12 The Boeing Company Systems and methods for remote display of an enhanced image
US7587079B2 (en) 2005-07-21 2009-09-08 Xerox Corporation Check printing auditing systems and methods
US7355179B1 (en) 2005-07-30 2008-04-08 Rockwell Collins, Inc. Scene imaging system integrity monitor and method thereof
US20070035553A1 (en) * 2005-08-12 2007-02-15 Microsoft Corporation General framework for aligning textures
US20070059669A1 (en) * 2005-08-23 2007-03-15 Lockheed Martin Corporation Systems and methods for processing video images
US8098256B2 (en) 2005-09-29 2012-01-17 Apple Inc. Video acquisition with integrated GPU processing
US20070146364A1 (en) * 2005-12-22 2007-06-28 Aspen Sven D Methods and systems for displaying shaded terrain maps
US8340837B2 (en) * 2005-12-22 2012-12-25 The Boeing Company Methods and systems for generating en-route visible terrain displays
US8200416B2 (en) * 2005-12-22 2012-06-12 The Boeing Company Methods and systems for controlling display of en-route maps
WO2008048358A2 (en) * 2006-03-09 2008-04-24 Jose Martin Forward looking virtual imaging
US7456779B2 (en) * 2006-08-31 2008-11-25 Sierra Nevada Corporation System and method for 3D radar image rendering
WO2008065594A1 (en) * 2006-11-30 2008-06-05 Koninklijke Philips Electronics N.V. Variable alpha blending of anatomical images with functional images
US7839422B2 (en) * 2006-12-13 2010-11-23 Adobe Systems Incorporated Gradient-domain compositing
US8072469B2 (en) * 2007-04-03 2011-12-06 L-3 Communications Insight Technology Incorporated Fusion night vision system with parallax correction
US8049658B1 (en) * 2007-05-25 2011-11-01 Lockheed Martin Corporation Determination of the three-dimensional location of a target viewed by a camera
DE102007030226A1 (de) * 2007-06-29 2009-01-08 Robert Bosch Gmbh Kameragestütztes Navigationssystem und Verfahren zu seinem Betrieb
US8629871B2 (en) * 2007-12-06 2014-01-14 Zynga Inc. Systems and methods for rendering three-dimensional objects
DE102007061273A1 (de) * 2007-12-19 2009-06-25 Technische Universität Darmstadt Verfahren zur Darstellung von Fluginformationen und Anzeigeinstrument
US20090167786A1 (en) * 2007-12-24 2009-07-02 Ronald Stanions Methods and apparatus for associating image data
US8194193B2 (en) * 2008-02-08 2012-06-05 The Boeing Company Method and apparatus for a wide field of view display
US20100080489A1 (en) * 2008-09-30 2010-04-01 Microsoft Corporation Hybrid Interface for Interactively Registering Images to Digital Models
US20120113266A1 (en) * 2009-04-07 2012-05-10 Nextvision Stabilized Systems Ltd Methods of manufacturing a camera system having multiple image sensors
US8564663B2 (en) * 2009-04-14 2013-10-22 Bae Systems Information And Electronic Systems Integration Inc. Vehicle-mountable imaging systems and methods
US7921591B1 (en) * 2009-04-30 2011-04-12 Terry Adcock Flip-up aiming sight
US8896696B2 (en) * 2009-05-01 2014-11-25 Aai Corporation Method apparatus system and computer program product for automated collection and correlation for tactical information
EP2499550A1 (en) * 2009-11-10 2012-09-19 Selex Sistemi Integrati S.p.A. Avatar-based virtual collaborative assistance
US8717360B2 (en) * 2010-01-29 2014-05-06 Zspace, Inc. Presenting a view within a three dimensional scene
US9097891B2 (en) * 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
KR20130000401A (ko) 2010-02-28 2013-01-02 오스터하우트 그룹 인코포레이티드 대화형 머리­장착식 아이피스 상의 지역 광고 컨텐츠
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9097890B2 (en) * 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9223134B2 (en) * 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9182596B2 (en) * 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US20120235887A1 (en) * 2010-02-28 2012-09-20 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element and an optically flat film
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9134534B2 (en) * 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US9105115B2 (en) * 2010-03-16 2015-08-11 Honeywell International Inc. Display systems and methods for displaying enhanced vision and synthetic images
US9150310B1 (en) * 2010-09-10 2015-10-06 The Boeing Company Methods and systems for directing remote aerial refueling operations
US8487787B2 (en) 2010-09-30 2013-07-16 Honeywell International Inc. Near-to-eye head tracking ground obstruction system and method
US9092975B2 (en) * 2011-02-23 2015-07-28 Honeywell International Inc. Aircraft systems and methods for displaying visual segment information
CN103384897A (zh) * 2011-02-25 2013-11-06 三菱电机株式会社 地图描绘装置
JP5620871B2 (ja) * 2011-04-11 2014-11-05 大成建設株式会社 パノラマ画像データ生成装置
EP2581268B2 (en) * 2011-10-13 2019-09-11 Harman Becker Automotive Systems GmbH Method of controlling an optical output device for displaying a vehicle surround view and vehicle surround view system
US8831796B2 (en) 2012-01-06 2014-09-09 Honeywell International Inc. System and method for indicating a perspective cockpit field-of-view on a vertical situation display
CA2861391A1 (en) * 2012-01-18 2013-07-25 Logos Technologies Llc Method, device, and system for computing a spherical projection image based on two-dimensional images
JP2013254233A (ja) * 2012-06-05 2013-12-19 Dainippon Printing Co Ltd テクスチャマッピング装置、テクスチャマッピング方法、プログラム
US20140093131A1 (en) * 2012-10-01 2014-04-03 Xerox Corporation Visibility improvement in bad weather using enchanced reality
FR3000027B1 (fr) 2012-12-21 2016-07-01 Airbus Poste de pilotage d'aeronef a tableau de bord ergonomique reglable
FR3000026B1 (fr) * 2012-12-21 2016-12-09 Airbus Aeronef comprenant un poste de pilotage dote d'une surface de vision pour le pilotage au moins partiellement virtuelle
FR3000025B1 (fr) * 2012-12-21 2016-12-09 Airbus Aeronef comprenant un poste de pilotage delocalise en dehors d'une partie superieure de la pointe avant
US9740030B2 (en) 2013-05-23 2017-08-22 Omnivision Technologies, Inc. Near-eye display systems, devices and methods
US9470967B1 (en) 2013-06-04 2016-10-18 The Boeing Company Motion-based system using a constant vertical resolution toroidal display
US9110358B1 (en) 2013-06-04 2015-08-18 The Boeing Company Method for creating and a system for using a constant vertical resolution toroidal display
US9139307B2 (en) 2013-06-28 2015-09-22 Honeywell International Inc. Aircraft systems and methods for displaying runway lighting information
US9970766B2 (en) * 2013-09-30 2018-05-15 Northrop Grumman Systems Corporation Platform-mounted artificial vision system
US10284819B2 (en) 2013-12-02 2019-05-07 Goodrich Corporation Long-range image reconstruction using measured atmospheric characterization
US9639968B2 (en) * 2014-02-18 2017-05-02 Harman International Industries, Inc. Generating an augmented view of a location of interest
US20150281596A1 (en) * 2014-04-01 2015-10-01 Dynon Avionics, Inc. Synthetic vision and video image blending system and method
US9710881B2 (en) 2014-04-05 2017-07-18 Sony Interactive Entertainment America Llc Varying effective resolution by screen location by altering rasterization parameters
US9836816B2 (en) 2014-04-05 2017-12-05 Sony Interactive Entertainment America Llc Varying effective resolution by screen location in graphics processing by approximating projection of vertices onto curved viewport
US11302054B2 (en) 2014-04-05 2022-04-12 Sony Interactive Entertainment Europe Limited Varying effective resolution by screen location by changing active color sample count within multiple render targets
US9495790B2 (en) 2014-04-05 2016-11-15 Sony Interactive Entertainment America Llc Gradient adjustment for texture mapping to non-orthonormal grid
US9652882B2 (en) 2014-04-05 2017-05-16 Sony Interactive Entertainment America Llc Gradient adjustment for texture mapping for multiple render targets with resolution that varies by screen location
EP3872767A1 (en) * 2014-04-05 2021-09-01 Sony Interactive Entertainment LLC Method for efficient re-rendering objects to vary viewports and under varying rendering and rasterization parameters
US10783696B2 (en) 2014-04-05 2020-09-22 Sony Interactive Entertainment LLC Gradient adjustment for texture mapping to non-orthonormal grid
US10068311B2 (en) 2014-04-05 2018-09-04 Sony Interacive Entertainment LLC Varying effective resolution by screen location by changing active color sample count within multiple render targets
US9710957B2 (en) 2014-04-05 2017-07-18 Sony Interactive Entertainment America Llc Graphics processing enhancement by tracking object and/or primitive identifiers
US9865074B2 (en) 2014-04-05 2018-01-09 Sony Interactive Entertainment America Llc Method for efficient construction of high resolution display buffers
US9851575B2 (en) 2014-05-15 2017-12-26 Omnivision Technologies, Inc. Wafer-level liquid-crystal-on-silicon projection assembly, systems and methods
US10750153B2 (en) 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video
US10336462B2 (en) 2015-03-12 2019-07-02 Vu Systems, LLC Vehicle navigation methods, systems and computer program products
US9992413B2 (en) * 2015-09-18 2018-06-05 Raytheon Company Method and system for creating a display with a distributed aperture system
US9927619B2 (en) 2015-11-06 2018-03-27 Omnivision Technologies, Inc. Pupillary adjustable head mounted device
US10186082B2 (en) * 2016-04-13 2019-01-22 Magic Leap, Inc. Robust merge of 3D textured meshes
EP3267220A1 (en) * 2016-07-08 2018-01-10 Autoliv Development AB A vehicle radar system
CN106384375A (zh) * 2016-08-31 2017-02-08 北京像素软件科技股份有限公司 电子游戏场景中的植被底部着色融合的方法及装置
US11049218B2 (en) * 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching
US11487988B2 (en) * 2017-08-31 2022-11-01 Ford Global Technologies, Llc Augmenting real sensor recordings with simulated sensor data
CN109584295B (zh) 2017-09-29 2022-08-26 阿里巴巴集团控股有限公司 对图像内目标物体进行自动标注的方法、装置及系统
CN108492247A (zh) * 2018-03-23 2018-09-04 成都品果科技有限公司 一种基于网格变形的眼妆贴图方法
CN108965849B (zh) * 2018-07-27 2021-05-04 北京小米移动软件有限公司 图像处理方法、装置及系统
FR3085668B1 (fr) * 2018-09-10 2020-09-25 Safran Electronics & Defense Equipement optronique d'aide au pilotage d'un aéronef
CN111354082B (zh) * 2018-12-21 2023-06-13 网易（杭州）网络有限公司 一种地表贴图的生成方法、装置、电子设备和存储介质
US10679530B1 (en) 2019-02-11 2020-06-09 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for mobile projection in foggy conditions
IL265818A (en) * 2019-04-02 2020-10-28 Ception Tech Ltd System and method for determining the position and orientation of an object in space
IL272450B (en) * 2020-02-03 2021-10-31 Elbit Systems Ltd A system and method for creating 3D maps based on mapping information
TWI756771B (zh) * 2020-08-05 2022-03-01 偉詮電子股份有限公司 影像轉換方法
CN112130589B (zh) * 2020-09-22 2022-09-09 河南金数网科信息技术有限公司 基于地图构建和精确寻址的智能门锁钥匙获取方法和系统
CN116829927A (zh) * 2021-02-04 2023-09-29 美国西门子医学诊断股份有限公司 检测机器视觉系统中的缺陷的装置和方法
US11750930B1 (en) * 2022-03-17 2023-09-05 Honeywell International Inc. Panoramic vision system with parallax mitigation

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62140174A (ja) * 1985-12-13 1987-06-23 Canon Inc 画像合成方法
US4805015A (en) * 1986-09-04 1989-02-14 Copeland J William Airborne stereoscopic imaging system
CA2040273C (en) * 1990-04-13 1995-07-18 Kazu Horiuchi Image displaying system
CA2060406C (en) 1991-04-22 1998-12-01 Bruce Edward Hamilton Helicopter virtual image display system incorporating structural outlines
US5317394A (en) * 1992-04-30 1994-05-31 Westinghouse Electric Corp. Distributed aperture imaging and tracking system
CA2135180A1 (en) * 1992-05-08 1993-11-25 Gavin S. P. Miller Textured sphere and sperical environment map rendering using texture map double indirection
JP3075851B2 (ja) * 1992-08-13 2000-08-14 富士通株式会社 マップ設定方式
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US6411266B1 (en) * 1993-08-23 2002-06-25 Francis J. Maguire, Jr. Apparatus and method for providing images of real and virtual objects in a head mounted display
US6690338B1 (en) * 1993-08-23 2004-02-10 Francis J. Maguire, Jr. Apparatus and method for providing images of real and virtual objects in a head mounted display
KR960003444A (ko) * 1994-06-01 1996-01-26 제임스 디. 튜턴 차량 감시 시스템
JPH08161520A (ja) * 1994-12-06 1996-06-21 Hitachi Medical Corp 三次元画像の対象部分抽出方法
JPH09146038A (ja) * 1995-09-20 1997-06-06 Olympus Optical Co Ltd 映像表示装置
DE19546506A1 (de) * 1995-12-13 1997-06-19 Daimler Benz Ag Fahrzeug-Navigationssystem und Signalverarbeitungsverfahren für ein solches Navigationssystem
US5988862A (en) * 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
JP3358169B2 (ja) * 1996-08-30 2002-12-16 インターナショナル・ビジネス・マシーンズ・コーポレーション 鏡面レンダリング方法及び装置
US5904729A (en) * 1997-03-04 1999-05-18 The Boeing Company Automated director light system for aerial refueling operations
JP3514945B2 (ja) * 1997-05-26 2004-04-05 株式会社ソニー・コンピュータエンタテインメント 画像作成方法および画像作成装置
JPH10334275A (ja) * 1997-05-29 1998-12-18 Canon Inc 仮想現実方法及び装置並びに記憶媒体
US6009190A (en) * 1997-08-01 1999-12-28 Microsoft Corporation Texture map construction method and apparatus for displaying panoramic image mosaics
US6157747A (en) * 1997-08-01 2000-12-05 Microsoft Corporation 3-dimensional image rotation method and apparatus for producing image mosaics
JP3480894B2 (ja) 1997-09-29 2003-12-22 株式会社東芝 画像監視装置及び画像監視方法
DE19806590A1 (de) * 1998-02-17 1999-09-02 Deutsch Zentr Luft & Raumfahrt Verfahren zum Überwachen eines angesteuerten Zielbereichs in der Annäherungsphase
US20020010019A1 (en) * 1998-03-16 2002-01-24 Kazukuni Hiraoka Game machine, and image processing method for use with the game machine
US6195455B1 (en) * 1998-07-01 2001-02-27 Intel Corporation Imaging device orientation information through analysis of test images
JP2000076488A (ja) 1998-08-26 2000-03-14 Mitsubishi Electric Corp ３次元仮想空間表示装置及びテクスチャオブジェクト設定情報作成装置
EP1110381B1 (en) * 1998-08-28 2003-07-16 Sarnoff Corporation Method and apparatus for electronically enhancing images
US6496594B1 (en) * 1998-10-22 2002-12-17 Francine J. Prokoski Method and apparatus for aligning and comparing images of the face and body from different imagers
EP1179958B1 (en) * 1999-04-16 2012-08-08 Panasonic Corporation Image processing device and monitoring system
JP2000339499A (ja) * 1999-05-27 2000-12-08 Mitsubishi Electric Corp テクスチャマッピング・テクスチャモザイク処理装置
GB9913687D0 (en) * 1999-06-11 1999-08-11 Canon Kk Image processing apparatus
US7098914B1 (en) * 1999-07-30 2006-08-29 Canon Kabushiki Kaisha Image synthesis method, image synthesis apparatus, and storage medium
US6525731B1 (en) * 1999-11-09 2003-02-25 Ibm Corporation Dynamic view-dependent texture mapping
US6980690B1 (en) * 2000-01-20 2005-12-27 Canon Kabushiki Kaisha Image processing apparatus
US6897858B1 (en) * 2000-02-16 2005-05-24 Enroute, Inc. Partial image decompression of a tiled image
JP3656012B2 (ja) * 2000-02-17 2005-06-02 株式会社ナムコ ゲームシステム及び情報記憶媒体
EP1264281A4 (en) * 2000-02-25 2007-07-11 Univ New York State Res Found ARRANGEMENT AND METHOD FOR PROCESSING AND PLAYING A VOLUME
US6567086B1 (en) * 2000-07-25 2003-05-20 Enroute, Inc. Immersive video system using multiple video streams
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
JP2002133443A (ja) * 2000-10-30 2002-05-10 Namco Ltd ゲーム装置および情報記憶媒体
US20020080143A1 (en) * 2000-11-08 2002-06-27 Morgan David L. Rendering non-interactive three-dimensional content
US20020122117A1 (en) * 2000-12-26 2002-09-05 Masamichi Nakagawa Camera device, camera system and image processing method
FI109633B (fi) * 2001-01-24 2002-09-13 Gamecluster Ltd Oy Menetelmä videokuvan pakkauksen nopeuttamiseksi ja/tai sen laadun parantamiseksi
US7126630B1 (en) * 2001-02-09 2006-10-24 Kujin Lee Method and apparatus for omni-directional image and 3-dimensional data acquisition with data annotation and dynamic range extension method
JP4861574B2 (ja) * 2001-03-28 2012-01-25 パナソニック株式会社 運転支援装置
US7127090B2 (en) * 2001-07-30 2006-10-24 Accuimage Diagnostics Corp Methods and systems for combining a plurality of radiographic images
AUPR678401A0 (en) * 2001-08-02 2001-08-23 Singfield, Christian Network image server
US6611200B2 (en) * 2001-10-03 2003-08-26 The United States Of America As Represented By The Secretary Of The Air Force Method for viewing through tinted windows
US6978040B2 (en) * 2001-12-19 2005-12-20 Canon Kabushiki Kaisha Optical recovery of radiographic geometry
US7049597B2 (en) * 2001-12-21 2006-05-23 Andrew Bodkin Multi-mode optical imager
US6587752B1 (en) * 2001-12-25 2003-07-01 National Institute Of Advanced Industrial Science And Technology Robot operation teaching method and apparatus
US6975756B1 (en) * 2002-03-12 2005-12-13 Hewlett-Packard Development Company, L.P. Image-based photo hulls
WO2004006963A1 (en) * 2002-07-12 2004-01-22 Beth Israel Deaconess Medical Center Conjugated infrared fluorescent substances for detection of cell death
US6927886B2 (en) * 2002-08-02 2005-08-09 Massachusetts Institute Of Technology Reconfigurable image surface holograms
WO2004042662A1 (en) * 2002-10-15 2004-05-21 University Of Southern California Augmented virtual environments
AU2002952371A0 (en) * 2002-10-31 2002-11-14 Robert Van Der Zijpp Mutli Image to Merged Image Software Process

Also Published As

Publication number Publication date
US7619626B2 (en) 2009-11-17
US20040169663A1 (en) 2004-09-02
KR101068329B1 (ko) 2011-09-28
JP2004265413A (ja) 2004-09-24
EP1453009A3 (en) 2017-03-01
JP4520180B2 (ja) 2010-08-04
EP1453009A2 (en) 2004-09-01

Similar Documents

Publication Publication Date Title
KR101068329B1 (ko) 개선된 비전 이미징을 제공하기 위한 시스템 및 방법
KR101023567B1 (ko) 감소된 래턴시로 개선된 시각 이미지를 제공하기 위한시스템 및 방법
JP6751401B2 (ja) 表示されるカラーシンボロジーの視知覚の向上
EP3596588B1 (en) Gradual transitioning between two-dimensional and three-dimensional augmented reality images
US6917370B2 (en) Interacting augmented reality and virtual reality
US7301497B2 (en) Stereo display for position sensing systems
WO2018032457A1 (en) Systems and methods for augmented stereoscopic display
US20100110069A1 (en) System for rendering virtual see-through scenes
US20100287500A1 (en) Method and system for displaying conformal symbology on a see-through display
CN105823475B (zh) 场景的三维表示方法
Schachter Computer image generation for flight simulation
CN108024070A (zh) 在合成图像上覆盖传感器图像的方法及相关显示系统
EP2015277A2 (en) Systems and methods for side angle radar training and simulation
US12033528B2 (en) Display systems and methods
JP2004178589A (ja) ３次元相互視認画像の合成方法
CN115457220B (zh) 基于动态视点的模拟器多屏幕视景模拟方法
JP3128549B2 (ja) 三次元画像表示方法
Cheng et al. A prototype of Enhanced Synthetic Vision System using short-wave infrared
Efimov et al. Algorithm of geometrical transformation and merging of radar and video images for technical vision systems
Hebel et al. Imaging sensor fusion and enhanced vision for helicopter landing operations
CN114758053A (zh) 一种用于机载合成视景的地形提示实现方法
US20180128642A1 (en) Method for managing and displaying georeferenced graphic symbols and associated display device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140905

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150904

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160908

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170911

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180905

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190910

Year of fee payment: 9