KR20100007726A - 이미징 센서 및 디지털화된 맵을 이용한 관성 측정 - Google Patents

이미징 센서 및 디지털화된 맵을 이용한 관성 측정 Download PDF

Info

Publication number
KR20100007726A
KR20100007726A KR1020090059967A KR20090059967A KR20100007726A KR 20100007726 A KR20100007726 A KR 20100007726A KR 1020090059967 A KR1020090059967 A KR 1020090059967A KR 20090059967 A KR20090059967 A KR 20090059967A KR 20100007726 A KR20100007726 A KR 20100007726A
Authority
KR
South Korea
Prior art keywords
features
moving object
map
scene
relative
Prior art date
Application number
KR1020090059967A
Other languages
English (en)
Other versions
KR101193638B1 (ko
Inventor
쥔 디. 테너
앤드류 에이치. 호킨스
마크 에이. 보반코비치
루이스 엔. 글레로스
Original Assignee
록히드 마틴 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 록히드 마틴 코포레이션 filed Critical 록히드 마틴 코포레이션
Publication of KR20100007726A publication Critical patent/KR20100007726A/ko
Application granted granted Critical
Publication of KR101193638B1 publication Critical patent/KR101193638B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41WEAPONS
    • F41GWEAPON SIGHTS; AIMING
    • F41G7/00Direction control systems for self-propelled missiles
    • F41G7/34Direction control systems for self-propelled missiles based on predetermined target position data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87Combinations of systems using electromagnetic waves other than radio waves
    • G01S17/875Combinations of systems using electromagnetic waves other than radio waves for determining attitude
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G01S5/163Determination of attitude
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87Combinations of radar systems, e.g. primary radar and secondary radar
    • G01S13/876Combination of several spaced transponders or reflectors of known location for determining the position of a receiver
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Navigation (AREA)

Abstract

본 발명은 비히클(vehicle) 내의 센서들에 의해 검출되는 이미지 데이터로부터 비히클의 자세 및 위치를 결정하는 시스템 및 방법에 관한 것이다. 본 발명은 이미지 평면 내의 선택된 피쳐들의 위치들과 지형 맵(terrain map) 내의 해당하는 피쳐들의 위치 간에 계산되는 차이들을 이용하여, 그라운드 기준 프레임에 대하여 센서들을 보유하는 비히클의 자세를 결정한다.
Figure P1020090059967
비히클, 자세 결정, 위치 결정, 지형 맵, 이미지 데이터, 네비게이션

Description

이미징 센서 및 디지털화된 맵을 이용한 관성 측정{INERTIAL MEASUREMENT WITH AN IMAGING SENSOR AND A DIGITIZED MAP}
본 발명은 일반적으로 이미지 데이터의 분석에 관한 것으로서, 특히 비히클(vehicle) 내의 센서들에 의해 검출되는 이미지 데이터로부터 비히클의 자세(attitude) 및 위치를 결정하는 시스템 및 방법에 관한 것이다.
일반적으로, 관성 측정 장치들(inertial measurement units, IMU)은 이러한 장치들을 구비한 비히클 비용의 많은 부분을 차지한다. 이러한 관성 측정 장치들은 한 벌의 네비게이션 유지 알고리즘(navigation maintenance algorithm)들에게 관성 기준(inertial referenced)의 속도 및 자세 변경들을 제공하며, 상기 알고리즘들은 1) 상기 속도 및 자세 변경들을 통합(integrate)하여 비히클 안내를 위한 위치 및 속도 추정치(estimate)들을 이끌어내며, 그리고 2) 자율적인 비행 제어(autonomous flight control)를 위해 피치(pitch), 편요각(yaw) 및 회전(roll) 자세 및 속도(rate) 추정치들을 계산한다.
전형적인 IMU는 3개의 직각의 가속도계(accelerometer)들 및 자이로(gyro)들을 기계화한다. 이러한 IMU의 장점은 내부 기준 프레임(internal frame of reference)으로부터만 데이터를 제공하여, 그 내부 수단으로부터의 측정들 만을 요구하며, 이에 따라 그 자체가 재밍(jamming) 및 디셉션(deception)에 영향을 받지 않게 한다. IMU들의 단점은, 1) 이들의 비용 및 2) 이들의 고유한 기기적 드리프트(instrument drift)인데, 이러한 기기적 드리프트 자체는 위치, 속도 및 자세에 있어서 누적 에러(accumulating error)로서 나타난다.
이러한 비용과 네비게이션 드리프트의 결합은 높은 정확도가 중요한 미사일(missile)들과 같은 응용들에서 특히 문제가 된다. GPS가 가능한 대안이기는 하지만, 이는 비행 제어에 요구되는 자세 및 자세 레이트 정보를 제공하지 않는다.
본 발명은 전형적인 IMU 시스템들에 대해 일반적인 비용 및 기구적 드리프트 문제들을 해소하면서, 네비게이션 요건들을 만족시키고, 강건한 비히클 비행 제어에 필수적인 자세 데이터를 제공하기 위한 것이다. 본 발명은, 1) 자이로들 및 가속도계들, 및 2) 이들의 출력들을 의미있는 네비게이션 솔루션(solution)으로 통합하는 후속하는 알고리즘들을 요구하지 않는, 위치, 속도 및 자세 측정을 위한 장치 및 방법을 제시한다. 대신에, 본 발명은 맵핑된 지형(mapped terrain)의 비히클 횡단 다이버스 패치(vehicle traverses diverse patch)들로서 수집되는 장면 흐름 정보(scene flow information)에 기초하여 네비게이션 및 자세 추정을 가능하게 한다.
본 발명의 일 실시예는 이미징 센서, 지형 맵, 및 이미지 처리와 분석을 위한 유닛으로 구성되는 네비게이션 및 자세 유지 시스템이다. 하기 설명되는 바와 같이, 적외선, 밀리미터파(millimeter-wave), 능동 또는 수동 무선 주파수, 또는 가시 스펙트럼 이미징을 포함하는 다양한 센서들이 이용될 수 있다. 본 발명의 임의의 실시예에서 이용되는 임의의 센서의 요건은 그 자체에 대한 각도 좌표(angle coordinate)들을 측정하는 것이다. 이러한 각도 좌표들은 추출되어, 공간 도메인(spatial domain) 또는 주파수 도메인(frequency domain)에서 분석될 수 있다.
센서는 이동 물체(moving object)가 지나가는 영역을 이미징하며, 상기 이동 물체는 항공기, 육지 차량 또는 수상 차량이 될 수 있다. 그런 다음, 유닛은 포획 된 이미지로부터 적어도 3개의 기준 포인트(point of reference)들을 선택하여, 이들을 지형 맵 상의 포인트들과 매치(match)시킴으로써, 이들을 기존의 지상 위치(terrestria location)에 대해 확인(validate)한다. 일단 기준 포인트들이 매치되고 확인되면, 시스템은 이미지 평면에서의 이들의 위치에 기초하여, 시스템이 설치되는 이동 물체의 위치 및 방위를 결정한다. 자세는, 상대적인 기준 데이터 및 빌트인 지형 맵 만을 이용하여 완전히 독립형(self-contained basis)으로 이루어질 수 있다. 자세 데이터는 이미지 평면에 대한 물체들의 절대적 위치(absolute location)로부터 얻어진다. 이러한 절대적 위치는, 이미지 평면 내의 물체 위치들과 기준 맵 내의 이들의 위치들 간의 차이들에 기초하여 땅에 상대적(earth-relative)인 조준선(line of sight, LOS) 각도를 추출함으로써 얻어진다.
시스템이 계속해서 이미지들을 포획함에 따라, 이러한 시스템은 이미징 평면 내의 매치되는 기준 포인트들의 이동을 추적(track)하고, 선택된 기준 포인트들의 상대적인 위치 변경들에 기초하여 새로운 위치 또는 방위를 결정한다. 또한, 시스템은 새로운 기준 포인트들을 계속해서 획득하고, 네비게이션에 대해 이용될 때에, 이들을 지형 맵의 관련 섹션들에 대해 매치시키거나, 또는 이동 물체가 자신의 경로 또는 궤도 상에 계속해서 머무를 때에는 이들을 업데이트된 GPS 위치 데이터에 대해 확인한다.
상기 시스템에는 필요에 따라 적거나 많은 수의 지형 맵들이 적재(load)될 수 있으며, 그 위치를 보다 잘 확인할 수 있도록 장면 내의 어떠한 특정의 피쳐(feature)들을 식별하도록 지시될 수 있다. 시스템은 엄밀히 "데드 레커닝(dead reckoning)" 자세 제어에 대해 또는 1차 또는 2차 네비게이션 시스템으로서 이용될 수 있으며, 그리고 영역 내의 어떠한 피쳐들 및 풍경 요소(landscape element)들이 알려져있기는 하지만, 그 영역에 대한 보다 상세한 조사가 요구되는 상세한 답사(reconnaissance)를 포함하는 광범위한 응용들에 대해 이용될 수 있다.
상기 시스템은 능동 또는 수동 센서들을 이용할 수 있으며, 다수의 센서들을 이용할 수 있다. 이 시스템은 또한 사용자로 하여금 지형 맵에 대해 매치하기 위한 특정의 피쳐들을 식별하거나, 선택된 피쳐들을 추가의 고려를 위해 자동으로 폐기(discard)하게 할 수 있다.
본 발명이 적용가능한 추가의 범위가 하기 제공되는 상세한 설명으로부터 명확해질 것이다. 하지만, 하기의 상세한 설명 및 특정의 예들은 본 발명의 바람직한 실시예들을 나타내기는 하지만, 이들은 단지 예시로서 제공되는 것임을 이해해야 하는데, 왜냐하면 본 발명의 정신 및 범위 내에서 다양한 변경들 및 수정들이 이루어질 수 있다는 것이 하기의 상세한 설명으로부터 당업자에게 자명하기 때문이다.
본 발명은 하기 제공되는 상세한 설명 및 첨부 도면들로부터 보다 충분히 설명되는데, 이러한 상세한 설명 및 첨부 도면들은 단지 예시로서 제공된 것으로서, 본 발명을 한정하고자 하는 것이 아니다.
도면들은 본 발명의 상세한 설명 내에서 보다 상세히 설명될 것이다.
본 발명은 전형적인 IMU 시스템들에 대해 일반적인 비용 및 기구적 드리프트 문제들을 해소하면서, 네비게이션 요건들을 만족시키고, 강건한 비히클 비행 제어에 필수적인 자세 데이터를 제공하는 효과를 갖는다.
본 발명은, 1) 센서(이는 검출되는 엔티티(entity)의 각도를 자신의 보어사이트 기준(boresight refrence)에 대해 측정할 수 있다), 및 2) 센서의 데이터를 처리하는 컴퓨테이션 시스템(computation system)을 이용하는 네비게이션 및 자세 유지에 기반하는 지형 맵을 위한 방법 및 장치를 포함한다. 도 1은 자세 계산 및 지형 맵 기반의 네비게이션에 대해 의도되는 본 발명의 일 실시예를 도시한다. 이미징 요소(101)는, 가시 스펙트럼 이미징 장치, 장파(longwave) 또는 중파(mid-wave) 적외선 검출기, 밀리미터파 검출기, 수동 RF 검출기, 또는 검출되는 엔티티의 각도를 센서의 보어사이트 기준에 대해 검출할 수 있는 임의의 다른 수동 센서와 같은 수동 센서로 이루어질 수 있다. 이미징 요소(101)는 또한 RADAR 또는 SONAR과 같은 능동 센서로 이루어질 수 있다. 이미징 요소(101)에 의해 획득되는 각도 데이터는 추출되어, 공간 도메인 또는 주파수 도메인중 어느 하나에서 분석된다.
본 발명의 이러한 실시예에서, 이미지 데이터는 획득된 후 이미지 처리부(111)에 전달되며, 이미지 처리부는 이미징 요소(101)에 의해 제공되는 이미지 데이터로부터 적어도 3개의 피쳐들을 선택한다. 이미지 처리 센터(111)는 또한 이미지 데이터의 이전 프레임들에서 식별 및 선택되는 피쳐들을 식별하고 추적한다. 이미지 데이터의 현재 프레임 내에 적어도 3개의 이전에 식별된 존속 가능(viable) 피쳐들이 여전히 존재한다면, 비록 에러를 줄이기 위해서는 더욱 많은 피쳐들이 이용될 수 있기는 하지만, 이미지 처리 센터(111)는 그 이미지로부터 새로운 피쳐들을 식별하고 선택할 것이 요구되지 않을 수도 있다.
존속 가능 피쳐는 소정의 검출 및 선택 기준들을 충족시키는 것이다. 위치 및 이동 속도 계산을 위해, 존속 가능 피쳐는 이미지 데이터의 에지로부터 일정 거리(certain distance) 이상 떨어져있는 것일 수 있는데, 이는 그것이 후속하는 이미지 프레임에서 다시 검출될 것임을 나타낸다. 이미지 데이터의 에지로부터의 일정 거리는 구성가능한(configurable) 파라미터로서, 외부 입력에 의해 정의되거나, 물체의 현재 속도에 기초하여 동적(dynamic)으로 조정될 수 있다. 예를 들어, 유도탄(guided missile)에서 이용되는 시스템의 일 실시예는, 그 시야(field of view, FOV)의 중심으로부터 움직이는 피쳐들을, 이들이 FOV의 중심과 이미지의 에지 사이의 중간쯤에 있게 되자 마자, 존속 불가능(non-viable)한 것으로서 폐기할 수 있다. 한편, UAV에서 이용되도록 의도되는 시스템의 일 실시예는, 어떠한 패킷을 존속 불가능한 것으로서 폐기하고, 추적하기 위한 새로운 피쳐를 선택하기 전에, 그 피쳐가 FOV의 중심과 이미지의 에지 사이의 경로(way)의 75%에 있을 때 까지 기다릴 수 있다.
자차(own-vehicle)의 방위를 알 수 있게 하고 다양한 피쳐들을 갖는 지형 맵을 갖는, 본 발명의 자차 자세 검출 실시예들에서, 존속 가능 피쳐들은 FOV 내의 어떤 것이라도 될 수 있다. 어떠한 실시예들에서는, FOV의 에지에 의해 분할(split)되는, 빌딩의 코너 또는 커다란 옥석(boulder)의 절반(half) 조차도 이미 지와 맵 간의 상관을 위한 피쳐로서 이용될 수 있다.
본 발명의 일 실시예에서, 이미지 처리 센터(111)는 또한 지형 맵들(141)의 뱅크로부터 적절한 지형 맵(141)을 선택한 다음, 이미지 데이터로부터 식별된 피쳐들을 지형 맵(141) 내의 피쳐들에 대해 매치시킨다. 만일 시스템이 어떠한 절대적인 위치 또는 방위 데이터에 대해 이용되는 것이 아니라, 상대적인 자세 제어 및 상대적인 위치 정보에 대해서만 이용되고 있는 경우, 본 발명의 다른 실시예들은 내부적으로 적재된 지형 맵들 만을 이용할 수 있다.
다음으로, 본 발명의 이러한 실시예에서, 식별되는 피쳐들은 관련된 어떠한 지형 맵과 함께 위치 및 네비게이션 센터(11)에 전송된다. 위치 및 네비게이션 센터(121)는 획득된 이미지 데이터 및 임의의 관련된 위치 데이터로부터 자세, 헤딩(heading), 속도 및 위치를 계산하는 데에 요구되는 실제 계산들을 수행한다. 이전의 위치 계산들로부터의 위치 데이터(151)가 저장되어, 자세 및 위치에 있어서의 상대적인 변화의 계산 및 추적을 용이하게 하는 데에 이용된다.
본 발명의 대안적인 실시예들은, 특히 시스템이 자세 측정 및 제어에 대해서만 이용되고 있는 경우들에서는, 저장된 위치 데이터(151)를 요구하지 않을 수도 있다. 그 예로는, 시스템이 GPS 데이터를 수신하여 소유자의 위치를 확립하는 실시예가 있다.
위치 및 네비게이션 센터(121)는 위치 및 자세 계산들을 안내 시스템(131)에 전달하는 바, 이러한 안내 시스템은 비히클의 결정된 위치 및 자세에 기초하여 코스(course) 및 자세 교정에 관한 적절한 결정들을 행한다.
도 2는 추정되는 자세 및 위치 데이터를 제공하기 위해 이미지 데이터를 처리하는 응용 프로그램을 실행하는 컴퓨터 시스템을 보여준다. 본 발명의 이러한 실시예에서, 이미징 요소(101)는 이미지 처리 및 네비게이션 계산 응용 프로그램들(2050) 및 이들의 관련 프로그램 데이터(2040)에 대한 인터페이스(2120)를 구비한 입력 장치(2130)이며, 상기 응용 프로그램들(2050) 및 프로그램 데이터(2040)는 시스템 메모리(2020) 내에 저장되어, 마이크로프로세서(2070)에 의해 동작한다. 지형 맵들(141) 및 위치 데이터(151)와 같은 응용 프로그램들(2160) 및 임의의 관련 프로그램 데이터(2170)는 이용되지 않을 때에는 하드 드라이브(2150)에 저장될 수 있다. 일단 적절한 계산들 및 요구되는 처리가 수행되고 나면, 시스템(2010)은 (실시예에 의존하는) 관련된 자세 및 위치 데이터를 출력 인터페이스(2080)를 통해 안내 시스템(131)과 같은 출력 장치(2090)에 제공한다.
본 시스템의 대안적인 실시예들은 완전히 하드웨어로만 실시될 수 있는 바, 이러한 하드웨어는 시스템의 각 기능에 대해 특화된(specialized) 응용 프로그램들(2050)을 실행하는 개별적인 마이크로프로세서들(2070)을 구비한다. 본 시스템의 또 다른 실시예들은 다양한 타입의 네비게이션, 자세 제어 및 위치 검출에 대해 동작하는 하드웨어 구성을 구비함과 아울러, 이용될 특정의 알고리즘들을 구비하는 바, 이러한 알고리즘들은 착탈가능한 매체(2110) 또는 다른 외부 데이터 소스들 상에 상주하고, 이용 전에만 시스템 내에 적재된다. 이러한 하드웨어 구성은 또한 FPGA들, ASIC들, 또는 다양한 알고리즘들을 구현하기 위한 다른 방법들을 이용할 수 있다.
도 1의 이미지 처리 센터(111)와 위치 및 네비게이션 센터(121)는, 도 3a에 도시한 바와 같은 이미지 네비게이션 알고리즘의 일 실시예를 실행하기 위해 함께 작동한다. 알고리즘은 이미징 요소(101)에 의해 수집된 유입 이미지 데이터(incoming image data)를 입력(301)으로서 받는다. 시스템이 적응(tailor)되는 특정의 용도들에 따라, 부가적인 입력은 기준 위치 및 속도 정보를 포함할 수 있다.
이러한 알고리즘의 실시예는 먼저 이미지 데이터(311)의 유입 프레임 내의 피쳐들을 선택하고 식별한다. 적어도 3개의 존속 가능 피쳐들이 식별되고 맵과 상관된 후, 이미지 네비게이션 알고리즘(301)의 이러한 실시예에서의 다음 단계들은, 식별된 피쳐들에 대해 비히클 위치(321) 및 자세(341)를 계산하는 것이다. 이러한 작업들은 모두, 비히클 몸체(body)와 식별되는 피쳐들 간의 조준선 각도들 및 다양한 피쳐들 간의 서로에 대한 조준선 각도들을 계산함으로써 이루어진다.
이미지 네비게이션 알고리즘(301)의 대안적인 실시예들은 기준 자세의 부가적인 입력들을 갖거나, 또는 기준 위치 및 기준 속도 입력 데이터를 갖지 않을 수도 있다. 위치(321)의 계산은 상대적 위치 또는 절대적 위치가 될 수 있다. 상대적 위치의 경우, 알고리즘은 비교 단계(331)를 실행하여, 현재 위치와 이전 위치를 비교할 수 있다. 절대적 위치 데이터를 위해 GPS와 같은 기술을 이용하는 실시예들에서, 절대적 위치는 이러한 단계를 생략할 수 있다. 또한, 새로운 위치 및 헤딩(351)은 계산된 자세에만 기초할 수 있는 바, 위치 데이터는 개별적인 시스템에 의해 제공된다. 이러한 대안적인 실시예들의 출력은 계산된 자세 및 그에 기초하는 가능한 코스 교정들이 될 수 있다.
도 3b는 본 발명의 피쳐 식별 부분의 일 실시예를 도시한다. 피쳐들은 비히클 내의 이미징 센서에 의해 포획되는 이미지 데이터의 프레임으로부터 선택된다. 피쳐들은 이전에 프로그램된 또는 동적으로 결정된 기준들의 세트에 기초하여 소정의 이미지 프레임(3111-1)의 픽셀 공간(pixel space)으로부터 선택된다. 본 발명의 다른 실시예들은, 본 발명에 따른 시스템을 포함하는 비히클의 의도된 기능에 기초하여, 그리고 이러한 비히클이 통과(traverse)할 것으로 기대되는 루트(route) 및 지형에 또한 기초하여, 서로 다른 피쳐 선택 기준들을 이용할 수 있다. 예를 들어, 도시 지역들 상에서의 고속의 공중 이동에 대해 의도되는 실시예들은 비히클에 대해 이미지 평면의 앞 쪽에 위치하는 빌딩들 및 거리 교차점들에 대해 피쳐를 선택하는 성향(bias)이 있다.
일단 적어도 3개의 피쳐들이 선택되면, 본 발명에 따른 시스템의 일 실시예는 이미지 평면 내의 선택된 피쳐 위치들을 물체 공간 각도 좌표들(311-2)로 변환하는 바, 이러한 좌표들은 비히클에 상대적(vehicle-relative)인 조준선 각도 정보를 제공한다. 본 발명의 대안적인 실시예들은 부가적인 피쳐들을 이용하거나, 또는 다수의 비히클들로부터의 입력으로 구성되는 복합 이미지 평면을 이용하여, 본 시스템의 네트워크화된(networked) 또는 분배된(distributed) 실시예를 갖추고 있는 다수의 비히클들에 대해 땅에 상대적인 그리고 비히클에 상대적인 자세 정보를 동시에 제공할 수 있다.
본 시스템의 일 실시예는 또한 이미지 평면으로부터 선택된 피쳐들을 지형 맵의 이미지 또는 이미지 칩 내의 피쳐들에 대해 상관시킨다(311-3). 본 발명의 대안적인 실시예들은 이 단계를 생략할 수 있으며, 그 대신에 이미지 프레임들에 걸쳐 이루어지는 선택된 피쳐들의 시간에 따른 이동에 기초하여 완전히 상대적인 자세 계산들을 발생시킨다. 본 발명의 또 다른 대안적인 실시예들은 다수의 각도들에서의 지형 맵들을 가질 수 있으며, 이에 의해 본 시스템은 이미징 각도가 이미지 데이터 내의 선택된 피쳐들과 가장 밀접하게 매치하는 맵을 선택할 수 있게 된다. 이러한 실시예는 다운스트림 자세(downstream attitude) 및 위치 계산 동작들을 줄일 수 있다.
도 3c는 본 발명의 자세 계산 부분의 일 실시예를 도시한다. 비히클에 의해 수집되는 전기 광학적인 이미징 데이터로부터 내부 지형 맵으로 상관된 피쳐들은, 지형 맵에 대한 물체 공간 각도 좌표들로 변환된다(341-1). 이러한 좌표들은 상관된 피쳐들에 대한 땅에 상대적인 조준선 각도 정보를 제공한다. 이후, 지형 맵 각도 좌표들은 피쳐 식별 프로세스(311-2) 동안 발생된 이미지 데이터 각도 좌표들에 대해 비교되어, 2개의 좌표 세트들 간의 수평, 수직 및 호 길이(arc-length) 차이들을 계산한다. 이러한 차이들은 땅에 상대적인 좌표 세트와 비히클에 상대적인 좌표 세트에 있어서의 시야각(viewing angle)의 편차들을 결정하고, 그에 따라 땅에 대한 비히클의 자세를 결정할 수 있게 한다. 수직 차이들은 피치와 관련되고, 수평 차이들은 회전과 관련되며, 그리고 호 길이는 편요각과 관련된다. 각각의 선택된 피쳐들에 대한 이러한 차이 값들에 기초하여, 땅에 상대적인 비히클 자세가 계산될 수 있다(341-3).
상대적인 자세 만을 계산하는 본 발명의 대안적인 실시예들은 이전에 포획된 이미지 프레임을 지형 맵 대신에 이용할 수 있으며, 그리고 많은 수의 피쳐들을 이용하는 실시예들은 피쳐들의 서브 세트(sub-set)에 대해 변환, 상관 및 계산 동작들 만을 수행할 수 있다. 본 발명의 실시예들은 지형 맵들을 비히클 내에 위치하는 다른 하드웨어에 내부적으로 저장할 수 있거나, 또는 원격국(remote station)과 통신하여, 맵 데이터를 요청하거나, 처리 및 자세 계산을 위해 이미지 데이터를 전송할 수 있다.
위치 및 자세를 추적하는 본 발명의 일 실시예에서, 속도 및 가속도는 시간에 따른 위치 차이들에 기초하여 계산된다(331). 절대적 또는 상대적 위치가 계산된 후(321), 이러한 정보는 저장되고, 알려진 시간 기간들 동안 후속하는 위치 결정들에 대해 비교되어, 속도 및 가속도 벡터들을 확립한다(331). 그런 다음, 결합된 위치, 속도, 가속도 및 자세 데이터가 안내 시스템(351) 또는 유사한 장치에 제공된다. 본 발명의 대안적인 실시예들은 속도 및 가속도 계산들을 생략하거나, 또는 대안적인 방법들 또는 수단에 의해 이러한 값들을 계산할 수 있다. 본 발명의 대안적인 실시예들은 안내 시스템을 타겟팅, 추적, 이미징 또는 레인지 파인딩 시스템(targeting, trackign, imaging, or range-finding system)에 의해 대체할 수 있다.
본 발명의 또 다른 대안적인 실시예들은 피쳐 검출, 선택 및 지형 맵 비교 양상(aspect)들을 그라운드 비컨들(ground beacons)로 대체할 수 있는 바, 이러한 그라운드 비컨들은 자세, 위치 그리고/또는 속도 결정들에 대해 비히클에 상대적 또는 절대적 위치 정보를 방송(broadcast)한다. 이러한 실시예에서, 전기 광학적인 이미징 시스템은 능동 또는 수동의 비컨 서치 및 검출 시스템들에 의해 대체될 수 있다.
도 4는 비히클 (b)에 대하여 식별되는 피쳐들(여기에서는 조사 포인트(survey point)들로 나타냄)에 대한 비히클 중심 및 그라운드 중심 각도(vehicle-centric and ground-centric angle)와 조준선의 다이어그램을 도시한다. 각각의 조사 포인트는 이미지 평면 내의 식별되는 피쳐로부터 도출되는 물체 공간 각도 좌표 세트에 해당한다. 조사 포인트 1 (1001)과 같은 식별되는 피쳐는 비히클(b)에 대해 3개의 상대적인 공간 좌표들을 갖는다. 비히클은 공간 내에 3개의 방위 벡터들,
Figure 112009040349249-PAT00001
(1002),
Figure 112009040349249-PAT00002
(1003) 및
Figure 112009040349249-PAT00003
(1004)를 갖는 것으로 가정한다. 비히클의 x-방향 방위 벡터(1004)와 관련하여, 조사 포인트(1005)에 대한 조준선(LOS) (1006) 각도들(
Figure 112009040349249-PAT00004
Figure 112009040349249-PAT00005
)은 편요각(
Figure 112009040349249-PAT00006
), 피치(θ) 및 회전(
Figure 112009040349249-PAT00007
) 오일러 각도(Euler angel)들을 이용하여 비히클의 몸체 자세를 통해 그라운드 기준 프레임(ground reference frame)(R) 내의 각도들(α및 β)로 변환될 수 있으며, 상기 오일러 각도 값들은 계산 이전에 알려지지 않는다.
그라운드 기준 프레임(R)으로부터 다른 조사 포인트들에 대한 어떠한 조사 포인트의 상대적인 조준선 좌표들은, 이미지 프레임 내의 이들의 위치들(이미지 프레임의 중심이 계산 목적을 위한 중심 포인트로 선택된다)과 다른 조사 포인트들 간의 각도들을 비교함으로써 결정된다. 예를 들어, 조사 포인트 2 (1004)에 대한 조사 포인트 1 (1001)의 그 상대적인 그라운드 기준 LOS 좌표들은, 이미지 프레임 내에서의 이들의 상대적인 위치들을 비교하고, 조사 포인트 2 (1104)와 조사 포인트 (1105)에 대한 비히클 조준선 간의 각도(α)와 조사 포인트 2 (1104)와 그라운드(1101) 상의 x 벡터 간의 각도(β)를 비교함으로써 결정된다. 각도들(α 및 β)에 의해 결정되는 그라운드 기준(R) 조준선(LOS)(1105)은, 알려진 상대적인 조사 포인트 위치(1104) 및 3개의 좌표들(x 좌표, y 좌표 및 z 좌표)로 이루어지는 알려지지 않은 비히클 위치를 이용하여, 그라운드 기준 프레임(R) 내의 임의의 조사 포인트에 대해 재구성될 수 있다.
적어도 3개의 조사 포인트들을 선택하게 되면, 6개의 변수들을 갖는 6개의 방정식들이 생기게 됨으로써, 계산적으로 풀어지는 "정보 완비(information complete)"의 수학적 관계(mathematical situation)를 생성하게 된다. 일단 방정식들이 풀어지면, 여기에서는 기준(R)의 그라운드 프레임에 대해 계산되는 편요각(
Figure 112009040349249-PAT00008
), 피치(θ) 및 회전(
Figure 112009040349249-PAT00009
) 오일러 각도들의 값들로부터 크래프트(craft)의 자세를 확인할 수 있게 된다.
절대적 위치 및 이동 속도를 또한 추적 및 측정하는 본 발명의 일 실시예에서, 자세 정보는 피쳐-추적 정보와 결합되며, 이에 의해 자세 결정을 위해 선택되는 조사 포인트들은 또한 지형 맵 내의 피쳐들에 대해서도 매치 및 추적됨으로써, 비히클의 위치 및 이동 속도를 확인한다. 이후, 자세 및 위치 정보의 이러한 결합은 네비게이션 유닛에 전송되는데, 이 네비게이션 유닛은 비히클의 위치 및 자세를 기대 위치 및 자세에 대해, 그리고 임의의 타겟 또는 목적지 또는 비행 경로 정보에 대해 비교하여, 필요한 코드 교정들을 행한다. 본 발명은 피쳐 추출 및 매칭에 대해 일반적으로 행해지고 있는 이미지 처리 기술을 적용하며, 이에 따라 이러한 기술이 이미지 기반의 네비게이션 분야에서 널리 알려져있고 이용되고 있다는 조건하에서, 본 발명의 이러한 양상에 대한 논의는 생략한다.
본 발명의 실시예들은 또한 위치 결정에 대해 고정 비컨들(fixed beacons)에 의존할 수 있다. RADAR, 적외선, 또는 시각적으로 식별할 수 없는 비컨들이 비히클의 이동 경로를 따라 위치될 수 있으며, 비히클은 어떠한 형태의 레인지 파인딩 성능, 또는 알려진 비컨 위치들 및 포지션(position)을 포함하는 맵을 구비할 수 있다. 이러한 정보에 기초하여, 시스템은 추가의 이미지 분석을 요구하지 않으면서 위치 데이터를 식별할 수 있다.
도 5는 상기 설명된 프로세스에 따라 자세 및 위치 추정을 수행하는 시스템을 도시한다. 이러한 타입의 시스템 패키지는 3개의 수동 센서들(5030, 5040, 5050)로 이루어질 수 있는데, 이러한 수동 센서들은 센서 마운트(sensor mount)에 관하여 그라운드 스팟(ground spot)에 대한 조준선(LOS) 각도를 측정한다. 이러한 센서들은 이들의 개별적인 포인팅 방향들(102, 1003, 1004)이 동일 평면 상에 있지 않도록 배열된다. 이러한 시스템의 일 실시예에 적절한 수동 센서들은 능동 에미터로부터 레인지 및 방향을 결정하는 수동 RADAR 시스템들과, '핫스팟(hotspot)' 비컨들을 찾는 수동 IR 시스템들과, 그리고 그 출력이 이전에 포획된 이미지 데이터 또는 저장된 맵 이미지 칩 중 어느 하나에 상관되어 영역의 중심에 대한 방향을 확 립하는 (광학적 타입을 포함하는 임의의 타입의) 이미징 시스템들을 포함한다.
도 5에 나타낸 실시예는 자세 만을 계산하거나, 또는 자세와 위치를 모두 계산할 수 있다. 수동의 가시 스펙트럼 이미징 센서들을 이용하는 본 발명의 일 실시예에서 절대적 자세 계산을 설명하면, 각 이미징 시간에서, 알려진 위치의 그라운드 포인트(5100)가 데이터베이스(5060)로부터 각각의 수동 장치에 대해 선택되는데, 이는 센서에 의해 포획되는 비디오 이미지를 데이터베이스에 저장된 맵 또는 맵의 일부에 대해 매치시킴으로써 이루어진다. 본 시스템의 실시예들은 이러한 매칭을 달성하기 위해 같은 종류의 한 벌의 매칭 및 서칭 기술들을 이용할 수 있으며, 이러한 매칭을 어떻게 달성하느냐에 대한 제한들은 단지 이용가능한 메모리 및 처리 파워에 의해서만 부과된다. 일단 맵 또는 맵의 일부가 각각의 그라운드 포인트(5100)에 대해 선택되면, 결합된 조사되는 좌표들(5080) 및 3개의 모든 그라운드 포인트들을 포함하는 사이트의 이미지 칩(5070)이 데이터베이스로부터 추출된다.
그런 다음, 이러한 이미지 칩(5070)은 각 센서의 출력 비디오(5090)에 대해 상관되어, 센서로부터 그라운드 포인트(5100)에 대한 LOS 각도들을 추출한다. LOS 각도 추출 프로세스의 일 실시예는 에러를 최소화하기 위해 밀접하게 결합된 변환들(affine transforms)(시프트, 줌(zoom), 회전, 플립(flip) 및 시어(shear))을 이용하여 지형 맵에 대하여 맵에 대해 이미지를 상관시키는 것을 포함한다. 이러한 프로세스의 대안적인 실시예는, 시프트, 줌, 회전, 플립 및 시어가 이미지 또는 맵 중 어느 하나 내에서 달라질 때 피크를 모니터하면서, 이미지의 퓨리에 변환(Fourier transform)과 맵의 퓨리에 변환을 곱함으로써 주파수 도메인에서 상관 을 실시할 수 있다. 또 다른 대안은 원근 투영(perspective projection) 이후의 상관을 포함할 수 있다. 또 다른 대안적인 실시예들은 홀로그램들(holograms) 및 각도 LOS 추출을 달성하기 위한 다른 방법들을 이용할 수 있다.
LOS 각도들이 추출된 후, 각 센서의 LOS 각도들은, 비히클 자세의 최상의 추정치(5010)를 이용하여, 위치/자세 추출 함수(5110)에 의해 땅에 상대적인 각도들로 변환된다. 일단 각도들이 변환되면, 이들은 적절한 사이트 조사 좌표들 및 비히클 위치의 최상의 추정치(5020)를 이용하여 계산되는 땅에 상대적인 각도들과 비교된다. 각 사이트에 대한 측정 나머지(measurement residual)는 칼만 필터(Kalman filter)를 통해 처리되는데, 이러한 칼만 필터는 현재의 비히클 위치 및 자세 추정치들 및 이들의 속도에 대한 교정들을 계산한다. 조사 포인트들의 추출된 땅에 상대적인 각도들과 계산된 맵 지향(map-oriented)의 각도들 간의 수평, 수직 및 호 길이 차이들은 땅에 상대적인 센서들의 회전, 피치 및 편요각 방위들에 해당한다.
비히클 자세를 추정하는 본 발명의 일 실시예에서, 센서의 땅에 상대적인 LOS를 결정하는 자세 추출 함수는 다음의 방정식들에 의해 정의된다. 먼저, 특정의 조사 포인트(i)에 대한 (검출기 좌표 프레임 내에 표현되는) LOS 단위 벡터가 검출기에 대하여 측정되는 LOS 각도들(
Figure 112009040349249-PAT00010
Figure 112009040349249-PAT00011
)의 함수로서 계산된다:
Figure 112009040349249-PAT00012
그런 다음, 이것은 네비게이션 기준 프레임 내에서 조정(coordinatize)되는 바, 이는 다음의 방정식을 이용하여 센서 1에 대한 검출기 바디간(detector to body direction) 방향 코사인 행렬(
Figure 112009040349249-PAT00013
) 및 비히클 방위 방향의 코사인 행렬(
Figure 112009040349249-PAT00014
)의 현재의 최상의 추정치들을 가정하여 이루어진다.
Figure 112009040349249-PAT00015
다음으로, 이러한 동일한 단위의 LOS 단위 벡터(네비게이션 기준 프레임 내에 표현됨)가 조사 지점의 지올로케이션(geolocation)의 지식 및 소유자 위치의 최상의 추정치를 이용하여 계산된다. 이는 다음의 방정식들에 의해 정의된다.
Figure 112009040349249-PAT00016
Figure 112009040349249-PAT00017
여기서,
Figure 112009040349249-PAT00018
는 i번째 센서에 의해 추적되는 조사되는 사이트의 지올로케이션이고,
Figure 112009040349249-PAT00019
는 배(ship)의 위치의 현재의 추정치이다.
이때, (네비게이션 기준 프레임에 대한) 방위각(
Figure 112009040349249-PAT00020
Figure 112009040349249-PAT00021
) 및 양각(
Figure 112009040349249-PAT00022
Figure 112009040349249-PAT00023
) 오일러 각도들이 상기 LOS 단위 벡터 기계화(mechanization)들 각각에 대해 계산된다. 이들은 다음의 식들에 의해 계산된다.
Figure 112009040349249-PAT00024
Figure 112009040349249-PAT00025
계산된 오일러 각도들(
Figure 112009040349249-PAT00026
Figure 112009040349249-PAT00027
)의 두 세트 간의 나머지 차이들에 기초하여, 현재 비히클 위치(
Figure 112009040349249-PAT00028
) 및 자세(
Figure 112009040349249-PAT00029
) 추정치들에 있어서의 교정들을 계산하는 칼만 필터의 일 실시예는, 다음의 방정식들의 세트를 이용하여 달성될 수 있다. 먼저, 위치 및 자세 추정치들에 있어서의 불확도(uncertainty)와 나머지 간의 선형 관계가 측정 맵핑 행렬에 의해 정의된다.
Figure 112009040349249-PAT00030
여기서,
Figure 112009040349249-PAT00031
이고,
Figure 112009040349249-PAT00032
이다.
주목할 사항으로서, 이러한 방정식들에서,
Figure 112009040349249-PAT00033
는 벡터적(cross product)의 의미에서 벡터(
Figure 112009040349249-PAT00034
)와 등가인 교대 행렬(skew symmetric matrix)이다.
이때, 칼만 필터의 이득은 다음의 방정식을 이용하여 계산된다.
Figure 112009040349249-PAT00035
여기서, P는 (6×6) 에러 공변량 행렬(covariance matrix)로서, 이는 필터가 상태들을 추정하였다고 얼마나 만족스럽게 여기고 있는지, 그리고 다양한 상태 에러들이 서로에 대해 어떻게 상관된다고 여기고 있는 지를 통계적으로 나타낸다. 또한, R은 (3×3) 측정 노이즈 공변량 행렬로서, 이는 3개의 각도 측정들의 충실도(fidelity) 및 이들 간의 상호 관계를 정의한다. 그런 다음, 상태들에 대한 교정들이 다음의 방정식에 의해 계산된다.
Figure 112009040349249-PAT00036
이때, 상기 교정들이 다음의 관계에 의해 위치 추정치에 적용된다.
Figure 112009040349249-PAT00037
그리고, 하기의 방정식들에 의해 상기 방향 코사인 행렬 추정치에도 적용된다.
Figure 112009040349249-PAT00038
마지막으로, 필터 추정 에러 공변량 행렬이 업데이트되어, 위치 및 자세 추정치들의 품질을 강화함에 있어서의 측정들의 충실도 및 이들의 적용 가능성을 나타낸다.
Figure 112009040349249-PAT00039
그런 다음 적절한 시기에(in time) 전방으로 전파되어, 다음의 동력학 모델(dynamics model)과 관련된 불확도에 있어서의 랜덤한 증대(random growth)를 고려한다.
Figure 112009040349249-PAT00040
센서들이 RADAR 또는 적외선 또는 다른 방법으로 찾는 능동 신호 에미터(otherwise seeking active signal emitter)들인 경우들에 있어서, LOS 계산들은 신호 에미터들에 대해 이루어짐으로써, 이미지 칩들 및 이미지 교정의 필요성을 없앤다.
이와 같이 설명된 본 발명은 다양한 방식으로 달라질 수 있다는 것이 명백할 것이다. 이러한 변형들은 본 발명의 정신 및 범위를 벗어나는 것으로서 간주되지 않으며, 당업자에게 명백한 이러한 모든 변형들은 하기의 청구항의 범위 내에 포함되는 것으로 의도된다.
도 1은 본 발명의 시스템의 일 실시예의 블록도이다.
도 2는 본 발명의 시스템의 일 실시예의 컴퓨테이션 요소들(computation elements) 및 이들 간의 상호 관계를 보여준다.
도 3a는 본 발명에 따른 네비게이션 시스템의 일 실시예의 알고리즘을 나타낸다.
도 3b는 본 발명의 피쳐 선택 부분의 일 실시예의 알고리즘을 나타낸다.
도 3c는 본 발명의 자세 컴퓨테이션 부분의 일 실시예의 알고리즘을 나타낸다.
도 4는 본 발명의 일 실시예에서 상대적인 비히클 위치 및 자세를 결정하는 데에 이용될 수 있는 비히클 및 그라운드 조준선 컴퓨테이션들을 보여준다.
도 5는 본 발명에 따라 비히클의 위치 및 자세 모두를 컴퓨팅하기 위한 IMU 대체 시스템의 완전한 논리 데이터 흐름도이다.

Claims (28)

  1. 이동 물체의 자차 자세(own-vehicle attitude)를 전기 광학적으로 결정하는 방법으로서,
    검출기 또는 센서에 의해 상기 이동 물체로부터의 제 1 장면(scene)의 이미지 데이터를 포획하는 단계와;
    상기 제 1 장면의 상기 이미지 데이터로부터 적어도 3개의 피쳐(feature)들을 식별하는 단계와;
    상기 적어도 3개의 피쳐들을 맵 내의 피쳐들에 대해 상관시켜, 상기 피쳐들의 해당하는 맵 위치들 및 상기 맵 내의 상기 비히클의 위치를 결정하는 단계와; 그리고
    상기 이미지 데이터 내의 상기 적어도 3개의 피쳐들의 위치들과 상기 맵 내의 상기 상관된 피쳐들의 위치들 간의 차이에 기초하여, 상기 이동 물체의 자세를 계산하는 단계를 포함하는 것을 특징으로 하는 이동 물체의 자차 자세를 전기 광학적으로 결정하는 방법.
  2. 제 1 항에 있어서,
    상기 검출기 또는 센서는 검출되는 엔티티의 각도를 자신의 보어사이트 기준(boresight refrence)에 대해 측정하는 검출기 또는 센서를 더 포함하며; 그리고
    상기 이미지 데이터로부터 적어도 3개의 피쳐들을 식별하는 단계는,
    상기 이미지 데이터의 픽셀 공간 내의 피쳐들을 선택하는 단계와; 그리고
    상기 검출기 또는 센서의 상기 보어사이트 기준에 대한 상기 검출된 피쳐들의 각도에 기초하여, 상기 선택된 피쳐들을 제 1 세트의 물체 공간 각도 좌표들로 변환하는 단계를 더 포함하는 것을 특징으로 하는 이동 물체의 자차 자세를 전기 광학적으로 결정하는 방법.
  3. 제 2 항에 있어서,
    상기 자세를 계산하는 단계는,
    상기 맵 내의 상기 비히클의 위치에 기초하여, 상기 맵으로부터의 상기 상관된 피쳐들을 제 2 세트의 물체 공간 각도 좌표들로 변환하는 단계와; 그리고
    상기 제 1 세트로부터의 좌표와 상기 제 2 세트로부터의 그 상관되는 좌표 간의 수평, 수직 및 호(arc) 좌표 차이들을 컴퓨팅(computing)하는 단계를 포함하는 것을 특징으로 하는 이동 물체의 자차 자세를 전기 광학적으로 결정하는 방법.
  4. 제 3 항에 있어서,
    이미징 평면에 대한 상기 좌표 차이들의 수직 값들에 기초하여 피치를 계산하는 단계를 더 포함하는 것을 특징으로 하는 이동 물체의 자차 자세를 전기 광학적으로 결정하는 방법.
  5. 제 3 항에 있어서,
    상기 좌표 차이들의 수평 값들에 기초하여 회전(roll)을 계산하는 단계를 더 포함하는 것을 특징으로 하는 이동 물체의 자차 자세를 전기 광학적으로 결정하는 방법.
  6. 제 3 항에 있어서,
    상기 제 1 세트로부터의 좌표 및 상기 제 2 세트로부터의 그 상관 좌표로부터의 아크 호 거리에 기초하여, 양 좌표들로부터 등거리에 있는 상기 이미징 평면 내의 기준점에 대하여 편요각(yaw)을 계산하는 단계를 더 포함하는 것을 특징으로 하는 이동 물체의 자차 자세를 전기 광학적으로 결정하는 방법.
  7. 제 1 항에 있어서,
    상기 이미지 데이터는 수동적으로 검출되는 전송기 비컨(beacon)들의 비히클에 상대적인 위치(vehicle-relative location)들을 포함하며, 상기 적어도 3개의 피쳐들중 적어도 1개의 피쳐는 전송기 비컨 위치를 포함하는 것을 특징으로 하는 이동 물체의 자차 자세를 전기 광학적으로 결정하는 방법.
  8. 제 1 항에 있어서,
    상기 이미지 데이터는 가시 스펙트럼 이미징 데이터를 포함하는 것을 특징으로 하는 이동 물체의 자차 자세를 전기 광학적으로 결정하는 방법.
  9. 제 1 항에 있어서,
    상기 맵은 지형 맵(terrain map)을 포함하는 것을 특징으로 하는 이동 물체의 자차 자세를 전기 광학적으로 결정하는 방법.
  10. 제 4 항에 있어서,
    상기 맵은 알려진 비컨 위치들의 목록(listing)을 포함하는 것을 특징으로 하는 이동 물체의 자차 자세를 전기 광학적으로 결정하는 방법.
  11. 제 1 항에 있어서,
    상기 제 1 장면 이후 포획되는 제 2 장면의 이미지 데이터 내의 적어도 3개의 피쳐들을 추적하는 단계와;
    상기 적어도 3개의 피쳐들의 상대적인 위치 변경에 기초하여, 상기 적어도 3개의 피쳐들에 대한 상기 이동 물체의 위치 변경을 결정하는 단계와; 그리고
    상기 이동 물체의 이전에 알려진 위치와 상기 이동 물체의 상기 결정된 위치 변경을 비교하는 것에 기초하여, 상기 이동 물체에 대한 새로운 위치, 이동 속도(movement rate) 및 방향을 계산하는 단계를 더 포함하는 것을 특징으로 하는 이동 물체의 자차 자세를 전기 광학적으로 결정하는 방법.
  12. 제 11 항에 있어서,
    상기 이동 물체의 상기 이전에 알려진 위치는, 비교에 기초하여, 상기 계산 단계에 의해 이전에 결정된 상기 이동 물체의 위치, 방위, 이동 속도 및 방향을 포함하는 것을 특징으로 하는 이동 물체의 자차 자세를 전기 광학적으로 결정하는 방법.
  13. 제 11 항에 있어서,
    상기 이동 물체의 상기 이전에 알려진 위치는, 사용자 입력, GPS 시스템 또는 외부 추적 시스템을 포함하는 외부 수단을 통해 제공되는 알려진 위치를 포함하는 것을 특징으로 하는 이동 물체의 자차 자세를 전기 광학적으로 결정하는 방법.
  14. 제 11 항에 있어서,
    상기 제 2 장면 이후 포획되는 제 3 장면의 이미지 데이터 내의 적어도 3개의 피쳐들을 추적하는 단계와;
    상기 적어도 3개의 피쳐들의 상대적인 위치 변경에 기초하여, 상기 적어도 3개의 피쳐들에 대한 상기 제 2 장면으로부터 상기 제 3 장면으로의 상기 이동 물체의 위치 변경을 결정하는 단계와; 그리고
    상기 제 1 장면으로부터 상기 제 2 장면으로의 상기 이동 물체의 상기 결정된 위치 변경과 상기 제 2 장면으로부터 상기 제 3 장면으로의 상기 이동 물체의 위치 변경을 비교하는 것에 기초하여, 상기 이동 물체에 대한 가속도 및 가속 방향을 계산하는 단계를 더 포함하는 것을 특징으로 하는 이동 물체의 자차 자세를 전기 광학적으로 결정하는 방법.
  15. 제 1 항에 있어서,
    상기 검출기로부터 식별되는 피쳐로의 조준선(line-of-sight, LOS) 단위 벡터가 상기 검출기에 대해 측정되는 LOS 각도들(
    Figure 112009040349249-PAT00041
    Figure 112009040349249-PAT00042
    )의 함수로서 계산됨으로써, 상기 단위 벡터(u)는 다음의 식,
    Figure 112009040349249-PAT00043
    에 의해 주어지는 것을 특징으로 하는 이동 물체의 자차 자세를 전기 광학적으로 결정하는 방법.
  16. 이동 물체의 자차 자세를 전기 광학적으로 결정하는 장치로서,
    상기 이동 물체로부터의 장면들의 이미지 데이터를 포획하는 이미징 센서와;
    캡쳐된 이미지 데이터 내의 피쳐들을 식별하는 피쳐 식별 유닛과;
    상기 식별된 피쳐들을 맵에 대해 상관시키는 피쳐 상관 유닛과;
    상관되는 피쳐들의 해당하는 맵 위치들 및 상기 맵 내의 상기 비히클의 위치를 결정하는 피쳐 로우케이터(feature locator)와; 그리고
    상기 이미지 데이터 내의 상기 적어도 3개의 피쳐들의 위치들과 상기 맵 내의 상기 상관된 피쳐들의 위치들 간의 차이에 기초하여, 상기 이동 물체의 자세를 계산하는 자세 계산기를 포함하는 것을 특징으로 하는 이동 물체의 자차 자세를 전 기 광학적으로 결정하는 장치.
  17. 제 16 항에 있어서,
    상기 이미징 센서는 검출되는 엔티티의 각도를 자신의 보어사이트 기준에 대해 측정하는 이미징 센서를 포함하며;
    상기 피쳐 식별 수단은,
    상기 이미지 데이터의 픽셀 공간 내의 피쳐들을 선택하는 피쳐 선택 유닛과; 그리고
    상기 센서의 상기 보어사이트 기준에 대한 상기 검출된 피쳐들의 각도에 기초하여, 상기 선택된 피쳐들을 제 1 세트의 물체 공간 각도 좌표들로 변환하는 공간 변환 모듈을 포함하는 것을 특징으로 하는 이동 물체의 자차 자세를 전기 광학적으로 결정하는 장치.
  18. 제 17 항에 있어서,
    상기 자세 계산기는,
    상기 맵 내의 상기 비히클의 위치에 기초하여, 상기 맵으로부터의 상기 상관된 피쳐들을 제 2 세트의 물체 공간 각도 좌표들로 변환하는 맵 변환 모듈과; 그리고
    상기 제 1 세트로부터의 좌표와 상기 제 2 세트로부터의 그 상관되는 좌표 간의 수평, 수직 및 호 좌표 차이들을 컴퓨팅하는 차이 컴퓨테이션 유 닛(difference computation unit)을 포함하는 것을 특징으로 하는 이동 물체의 자차 자세를 전기 광학적으로 결정하는 장치.
  19. 제 18 항에 있어서,
    상기 자세 계산기는,
    이미징 평면에 대한 상기 좌표 차이들의 수직 값들에 기초하여 피치를 계산하는 피치 계산기를 더 포함하는 것을 특징으로 하는 이동 물체의 자차 자세를 전기 광학적으로 결정하는 장치.
  20. 제 18 항에 있어서,
    상기 자세 계산기는,
    상기 좌표 차이들의 수평 값들에 기초하여 회전을 계산하는 회전 계산기를 더 포함하는 것을 특징으로 하는 이동 물체의 자차 자세를 전기 광학적으로 결정하는 장치.
  21. 제 18 항에 있어서,
    상기 자세 계산기는,
    상기 제 1 세트로부터의 좌표 및 상기 제 2 세트로부터의 그 상관 좌표로부터의 아크 호 거리에 기초하여, 양 좌표들로부터 등거리에 있는 상기 이미징 평면 내의 기준점에 대하여 편요각을 계산하는 편요각 계산기를 더 포함하는 것을 특징 으로 하는 이동 물체의 자차 자세를 전기 광학적으로 결정하는 장치.
  22. 제 16 항에 있어서,
    상기 이미지 데이터는 수동적으로 검출되는 전송기 비컨들의 비히클에 상대적인 위치들을 포함하며, 상기 적어도 3개의 피쳐들중 적어도 1개의 피쳐는 전송기 비컨 위치를 포함하는 것을 특징으로 하는 이동 물체의 자차 자세를 전기 광학적으로 결정하는 장치.
  23. 제 16 항에 있어서,
    상기 이미징 센서는 가시 스펙트럼 이미징 센서를 포함하는 것을 특징으로 하는 이동 물체의 자차 자세를 전기 광학적으로 결정하는 장치.
  24. 제 16 항에 있어서,
    상기 맵을 저장하는 메모리 유닛을 더 포함하고, 상기 맵은 지형 맵인 것을 특징으로 하는 이동 물체의 자차 자세를 전기 광학적으로 결정하는 장치.
  25. 제 16 항에 있어서,
    상기 제 1 장면 이후 포획되는 제 2 장면의 이미지 데이터 내의 적어도 3개의 피쳐들을 추적하는 피쳐 추적기와;
    상기 적어도 3개의 피쳐들의 상대적인 위치 변경에 기초하여, 상기 적어도 3 개의 피쳐들에 대한 상기 이동 물체의 위치 변경을 결정하는 상대적 위치 컴퓨터(relative position computer)와;
    상기 이동 물체의 이전에 알려진 위치와 상기 이동 물체의 상기 결정된 위치 변경을 비교하는 것에 기초하여, 상기 이동 물체에 대한 새로운 위치, 이동 속도 및 방향을 계산하는 이동 및 위치 계산기를 더 포함하는 것을 특징으로 하는 이동 물체의 자차 자세를 전기 광학적으로 결정하는 장치.
  26. 제 25 항에 있어서,
    상기 이동 물체의 상기 이전에 알려진 위치는, 비교에 기초하여, 상기 계산에 의해 이전에 결정된 상기 이동 물체의 위치, 방위, 이동 속도 및 방향을 포함하는 것을 특징으로 하는 이동 물체의 자차 자세를 전기 광학적으로 결정하는 장치.
  27. 제 25 항에 있어서,
    상기 이동 물체의 상기 이전에 알려진 위치는, 사용자 입력, GPS 시스템 또는 외부 추적 시스템을 포함하는 외부 수단을 통해 제공되는 알려진 위치를 포함하는 것을 특징으로 하는 이동 물체의 자차 자세를 전기 광학적으로 결정하는 장치.
  28. 제 25 항에 있어서,
    상기 제 2 장면 이후 포획되는 제 3 장면의 이미지 데이터 내의 적어도 3개의 피쳐들을 추적하는 가속도 피쳐 추적기와;
    상기 적어도 3개의 피쳐들의 상대적인 위치 변경에 기초하여, 상기 적어도 3개의 피쳐들에 대한 상기 제 2 장면으로부터 상기 제 3 장면으로의 상기 이동 물체의 위치 변경을 결정하는 가속 위치 컴퓨터(acceleration position computer)와;
    상기 제 1 장면으로부터 상기 제 2 장면으로의 상기 이동 물체의 상기 결정된 위치 변경과 상기 제 2 장면으로부터 상기 제 3 장면으로의 상기 이동 물체의 위치 변경을 비교하는 것에 기초하여, 상기 이동 물체에 대한 가속도 및 가속 방향을 계산하는 가속도 계산기(acceleration calculator)를 더 포함하는 것을 특징으로 하는 이동 물체의 자차 자세를 전기 광학적으로 결정하는 장치.
KR1020090059967A 2008-07-10 2009-07-01 이미징 센서 및 디지털화된 맵을 이용한 관성 측정 KR101193638B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/216,758 US8265817B2 (en) 2008-07-10 2008-07-10 Inertial measurement with an imaging sensor and a digitized map
US12/216,758 2008-07-10

Publications (2)

Publication Number Publication Date
KR20100007726A true KR20100007726A (ko) 2010-01-22
KR101193638B1 KR101193638B1 (ko) 2012-10-24

Family

ID=41202537

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090059967A KR101193638B1 (ko) 2008-07-10 2009-07-01 이미징 센서 및 디지털화된 맵을 이용한 관성 측정

Country Status (5)

Country Link
US (2) US8265817B2 (ko)
EP (1) EP2144038A3 (ko)
KR (1) KR101193638B1 (ko)
CA (1) CA2670310C (ko)
SG (1) SG158793A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200104436A (ko) * 2019-02-26 2020-09-04 경기과학기술대학교 산학협력단 자율방식의 해양 쓰레기 수거 시스템

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8265817B2 (en) * 2008-07-10 2012-09-11 Lockheed Martin Corporation Inertial measurement with an imaging sensor and a digitized map
WO2011120141A1 (en) * 2010-03-31 2011-10-06 Ambercore Software Inc. Dynamic network adjustment for rigorous integration of passive and active imaging observations into trajectory determination
US8979021B2 (en) * 2011-10-17 2015-03-17 Easton Corporation Hydraulic air bleed valve system
US8833695B2 (en) * 2011-10-17 2014-09-16 Eaton Corporation Aircraft hydraulic air bleed valve system
KR101913332B1 (ko) 2011-12-23 2018-10-31 삼성전자주식회사 이동 장치 및 이동 장치의 위치 인식 방법
CN102706330B (zh) * 2012-05-29 2013-11-27 中国科学院长春光学精密机械与物理研究所 空间相机对地面异形条带目标拍摄的方法
KR20140044964A (ko) * 2012-09-07 2014-04-16 주식회사 만도 차량간 거리 연산 장치 및 그 거리 연산 방법
GB201218963D0 (en) * 2012-10-22 2012-12-05 Bcb Int Ltd Micro unmanned aerial vehicle and method of control therefor
FR2998363B1 (fr) * 2012-11-19 2015-01-02 Inria Inst Nat Rech Informatique & Automatique Procede de determination, dans un referentiel fixe 3d, de la localisation d'un engin en mouvement, dispositif et programme d'ordinateur associes
US9082008B2 (en) * 2012-12-03 2015-07-14 Honeywell International Inc. System and methods for feature selection and matching
JP6367522B2 (ja) 2013-02-28 2018-08-01 株式会社トプコン 航空写真システム
US11039108B2 (en) * 2013-03-15 2021-06-15 James Carey Video identification and analytical recognition system
JP5882951B2 (ja) * 2013-06-14 2016-03-09 株式会社トプコン 飛行体誘導システム及び飛行体誘導方法
US9903719B2 (en) * 2013-09-03 2018-02-27 Litel Instruments System and method for advanced navigation
US9383209B2 (en) * 2013-09-23 2016-07-05 Texas Instruments Incorporated Undocking and re-docking mobile device inertial measurement unit from vehicle
JP6316568B2 (ja) 2013-10-31 2018-04-25 株式会社トプコン 測量システム
CN107533801A (zh) 2013-11-01 2018-01-02 国际智能技术公司 使用测绘车辆的地图测绘技术
US10250821B2 (en) * 2013-11-27 2019-04-02 Honeywell International Inc. Generating a three-dimensional model of an industrial plant using an unmanned aerial vehicle
JP6326237B2 (ja) 2014-01-31 2018-05-16 株式会社トプコン 測定システム
US9175973B2 (en) * 2014-03-26 2015-11-03 Trip Routing Technologies, Llc Selected driver notification of transitory roadtrip events
US9483842B2 (en) 2014-04-14 2016-11-01 Vricon Systems Aktiebolag Navigation based on at least one sensor and a three dimensional map
US9360321B2 (en) 2014-04-14 2016-06-07 Vricon Systems Aktiebolag Navigation based on at least one sensor and a three dimensional map
JP6490401B2 (ja) 2014-11-12 2019-03-27 株式会社トプコン 傾斜検出システム及び傾斜検出方法
JP6320542B2 (ja) * 2015-05-23 2018-05-09 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 初期構成を有する複数のセンサを有する可動物体に対する1または複数の外部パラメータを推定する方法、システム、及びプログラム
JP6321202B2 (ja) * 2015-07-14 2018-05-09 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd モバイルプラットフォームの運動を決定する方法、装置、及びシステム
US9862488B2 (en) 2015-08-28 2018-01-09 Mcafee, Llc Location verification and secure no-fly logic for unmanned aerial vehicles
US10401235B2 (en) * 2015-09-11 2019-09-03 Qualcomm Incorporated Thermal sensor placement for hotspot interpolation
CN105676865B (zh) * 2016-04-12 2018-11-16 北京博瑞云飞科技发展有限公司 目标跟踪方法、装置和系统
US20180089539A1 (en) * 2016-09-23 2018-03-29 DunAn Precision, Inc. Eye-in-hand Visual Inertial Measurement Unit
DE102017210050B3 (de) 2017-06-14 2018-12-06 Elektrobit Automotive Gmbh Verfahren zum Ermitteln einer Position
CN110020394B (zh) * 2017-08-01 2023-07-18 广州极飞科技股份有限公司 数据处理的方法及装置
US10685229B2 (en) 2017-12-21 2020-06-16 Wing Aviation Llc Image based localization for unmanned aerial vehicles, and associated systems and methods
US10757358B1 (en) * 2019-06-05 2020-08-25 Primesensor Technology Inc. Photographing device having two output interfaces
CN110360999B (zh) * 2018-03-26 2021-08-27 京东方科技集团股份有限公司 室内定位方法、室内定位系统和计算机可读介质
CN108731672B (zh) * 2018-05-30 2022-03-11 中国矿业大学 基于双目视觉及惯性导航的采煤机姿态检测系统及方法
CN112050806B (zh) * 2019-06-06 2022-08-30 北京魔门塔科技有限公司 一种移动车辆的定位方法及装置
WO2021046699A1 (en) 2019-09-10 2021-03-18 Beijing Voyager Technology Co., Ltd. Systems and methods for positioning
KR20210057393A (ko) 2019-11-12 2021-05-21 삼성전자주식회사 정밀 항법 장치 및 그 장치의 동작 방법
EP3851870A1 (en) * 2020-01-14 2021-07-21 Aptiv Technologies Limited Method for determining position data and/or motion data of a vehicle
CN111402254B (zh) * 2020-04-03 2023-05-16 杭州华卓信息科技有限公司 一种ct图像肺结节高性能自动检测方法及装置
US20220075378A1 (en) * 2020-06-23 2022-03-10 California Institute Of Technology Aircraft-based visual-inertial odometry with range measurement for drift reduction
ES2886582A1 (es) * 2021-06-03 2021-12-20 Ostirion S L U Procedimiento y equipo de deteccion de posicion y velocidad de un vehiculo ferroviario

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4988189A (en) * 1981-10-08 1991-01-29 Westinghouse Electric Corp. Passive ranging system especially for use with an electro-optical imaging system
US4802757A (en) * 1986-03-17 1989-02-07 Geospectra Corporation System for determining the attitude of a moving imaging sensor platform or the like
US5257209A (en) * 1990-06-26 1993-10-26 Texas Instruments Incorporated Optical flow computation for moving sensors
US5815411A (en) * 1993-09-10 1998-09-29 Criticom Corporation Electro-optic vision system which exploits position and attitude
US7085637B2 (en) * 1997-10-22 2006-08-01 Intelligent Technologies International, Inc. Method and system for controlling a vehicle
DE19532104C1 (de) * 1995-08-30 1997-01-16 Daimler Benz Ag Verfahren und Vorrichtung zur Bestimmung der Position wenigstens einer Stelle eines spurgeführten Fahrzeugs
EP1065519B1 (en) * 1996-05-14 2003-04-16 Honeywell International Inc. Autonomous landing guidance system
US5783825A (en) * 1996-08-22 1998-07-21 Lockheed Martin Corporation Method and apparatus for correcting infrared search and track system error
US5852792A (en) * 1996-10-03 1998-12-22 Lockheed Martin Corporation Spacecraft boresight calibration filter
US5912643A (en) * 1997-05-29 1999-06-15 Lockheed Corporation Passive navigation system
US6768465B2 (en) * 2001-09-06 2004-07-27 Lockheed Martin Corporation Low probability of intercept (LPI) millimeter wave beacon
US20080195304A1 (en) * 2007-02-12 2008-08-14 Honeywell International Inc. Sensor fusion for navigation
US20080195316A1 (en) * 2007-02-12 2008-08-14 Honeywell International Inc. System and method for motion estimation using vision sensors
US8213706B2 (en) 2008-04-22 2012-07-03 Honeywell International Inc. Method and system for real-time visual odometry
US8265817B2 (en) * 2008-07-10 2012-09-11 Lockheed Martin Corporation Inertial measurement with an imaging sensor and a digitized map

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200104436A (ko) * 2019-02-26 2020-09-04 경기과학기술대학교 산학협력단 자율방식의 해양 쓰레기 수거 시스템

Also Published As

Publication number Publication date
US8265817B2 (en) 2012-09-11
US20120320195A1 (en) 2012-12-20
CA2670310C (en) 2014-06-17
CA2670310A1 (en) 2010-01-10
EP2144038A2 (en) 2010-01-13
SG158793A1 (en) 2010-02-26
US8515611B2 (en) 2013-08-20
US20100010741A1 (en) 2010-01-14
EP2144038A3 (en) 2014-11-26
KR101193638B1 (ko) 2012-10-24

Similar Documents

Publication Publication Date Title
KR101193638B1 (ko) 이미징 센서 및 디지털화된 맵을 이용한 관성 측정
US10274958B2 (en) Method for vision-aided navigation for unmanned vehicles
JP6694395B2 (ja) デジタル地図に対する位置を決定する方法およびシステム
US6489922B1 (en) Passive/ranging/tracking processing method for collision avoidance guidance and control
US8260036B2 (en) Object detection using cooperative sensors and video triangulation
Wei et al. Camera/laser/GPS fusion method for vehicle positioning under extended NIS-based sensor validation
EP2133662B1 (en) Methods and system of navigation using terrain features
Maier et al. Improved GPS sensor model for mobile robots in urban terrain
US8682504B2 (en) System and method for developing dynamic positional database for air vehicles and terrain features
KR102226846B1 (ko) Imu 센서와 카메라를 이용한 하이브리드 실내 측위 시스템
US11237005B2 (en) Method and arrangement for sourcing of location information, generating and updating maps representing the location
US10962625B2 (en) Celestial positioning system and method
US7792330B1 (en) System and method for determining range in response to image data
US20220113139A1 (en) Object recognition device, object recognition method and program
Stich Geo-pointing and threat location techniques for airborne border surveillance
JP6698430B2 (ja) 測定装置、測定方法およびプログラム
Aggarwal GPS-based localization of autonomous vehicles
Dawood et al. Virtual 3D city model as a priori information source for vehicle localization system
WO2020033068A2 (en) Celestial positioning system and method
Kim et al. Vision-based map-referenced navigation using terrain classification of aerial images
Mares et al. Vehicle self-localization in GPS-denied zones by multi-band imaging and analysis of prominent scene features
RU2706250C1 (ru) Способ навигации наземного транспортного средства
Li et al. A spatial orientation and information system for indoor spatial awareness
US11644527B2 (en) Lost-in-forest GPS-denied positioning system
Sapkota et al. Landmark Stereo Dataset for Landmark Recognition and Moving Node Localization in a Non-GPS Battlefield Environment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee