KR101916467B1 - Ａｖｍ 시스템의 장애물 검출 장치 및 방법 - Google Patents

Ａｖｍ 시스템의 장애물 검출 장치 및 방법 Download PDF

Info

Publication number
KR101916467B1
KR101916467B1 KR1020120121566A KR20120121566A KR101916467B1 KR 101916467 B1 KR101916467 B1 KR 101916467B1 KR 1020120121566 A KR1020120121566 A KR 1020120121566A KR 20120121566 A KR20120121566 A KR 20120121566A KR 101916467 B1 KR101916467 B1 KR 101916467B1
Authority
KR
South Korea
Prior art keywords
image
view
obstacle
area
images
Prior art date
Application number
KR1020120121566A
Other languages
English (en)
Other versions
KR20140055159A (ko
Inventor
윤성원
권구도
권형근
최진혁
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020120121566A priority Critical patent/KR101916467B1/ko
Priority to US13/693,814 priority patent/US9104920B2/en
Priority to DE201210223360 priority patent/DE102012223360A1/de
Priority to CN201210590495.9A priority patent/CN103793684B/zh
Priority to JP2012288598A priority patent/JP2014089687A/ja
Publication of KR20140055159A publication Critical patent/KR20140055159A/ko
Application granted granted Critical
Publication of KR101916467B1 publication Critical patent/KR101916467B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/25—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the sides of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/16—Special procedures for taking photographs; Apparatus therefor for photographing the track of moving objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Abstract

본 발명은 AVM 시스템의 장애물 검출 장치 및 방법에 관한 것으로, 장애물 검출 장치는 카메라를 통해 촬영되는 영상들을 저장하는 영상저장부, 영상저장부에 저장된 영상들의 뷰를 변환하여 각 영상에 대응하는 뷰 변환 영상을 생성하는 영상 변환부, 시간 차를 두고 촬영된 두 영상에 대한 뷰 변환 영상을 각각 비교하여, 뷰 변환 영상 간 교차 영역을 추출하는 교차 영역 추출부, 뷰 변환 영상 간 교차 영역의 불일치 정도를 계산하여 교차 영역 내의 불일치 영역을 검출하는 불일치 영역 검출부, 및 불일치 영역을 장애물 영역으로 인지하여 해당 차량의 디스플레이를 통해 장애물의 위치를 표시하는 장애물 알림부를 포함한다.

Description

ＡＶＭ 시스템의 장애물 검출 장치 및 방법{Apparatus and method for detecting obstacle for Around View Monitoring system}
본 발명은 AVM 시스템의 장애물 검출 장치 및 방법에 관한 것으로, AVM(Around View Monitoring) 시스템을 통해 취득된 서로 다른 두 시점의 뷰 변환 영상을 비교하여 교차 영역으로부터 장애물을 검출하여 그 위치를 표시하는 장치 및 방법에 관한 것이다.
차량 주변의 장애물을 인식하는 방법은 움직임 추정 방식, 사물 인식 방식, 이종센서 융합 방식 및 카메라의 교차 영역 기반 방식 등 다양하게 적용되고 있다.
움직임 추정 방식의 경우, 기존의 영상처리, 감시 카메라 및 물체 추적 기술을 이용하여 옵티컬 플로우 등의 복잡한 움직임 추정 기술을 적용한다. 사물 인식 방식의 경우 패턴 인식 등의 고급 학습 기술을 이용하여 사물을 인식한다. 이종센서 융합 방식의 경우, 움직이는 물체의 검출은 카메라가 담당하고, 고정적으로 세워져 있는 장애물의 검출은 라이다, 레이저스캐너 및 초음파 등을 이용하여. 각각의 검출 결과를 융합하여 사물을 인식한다. 카메라의 교차 영역 기반 방식의 경우 복수의 카메라를 통해 동일 시점에 촬영된 영상의 교차 영역을 조합하여 획득한 영상으로부터 사물을 인식한다.
일 예로서, 특허출원 제2004-0114083호에는, 차량에 장착된 카메라를 통해 주행 중에 입력되는 영상데이터로부터 옵티컬 플로우(Optical Flow)를 구하고, 차량 주행으로 발생하는 배경 옵티컬 플로우를 구하여 옵티컬 플로우와 배경 옵티컬 플로우와의 차이를 비교하며, 비교 결과 구해지는 차량 주위에 있는 물체의 움직임에 대한 옵티컬 플로우를 통해 차량 후보 영역을 검출하고, 그 차량 후보 영역을 탬플릿 매칭(template matching)하여 차량을 검출하는 기술이 개시되어 있다.
물론, 이 외에도 장애물을 인식하는데 여러 가지 방법이 이용되고 있으나, 대부분 연상과정이 복잡하거나 인식 종류 및 영역이 제한적이고, 시스템 구축 비용이 많이 드는 문제가 있다.
본 발명의 목적은, 기존의 AVM(Around View Monitoring) 시스템을 통해 취득된 서로 다른 두 시점의 뷰 변환 영상으로부터 추출된 교차 영역의 차이로부터 장애물을 검출함으로써, 연산 과정이 단순하고 고가 시스템 도입으로 인한 비용 증가가 없는 AVM 시스템의 장애물 검출 장치 및 방법을 제공함에 있다.
또한, 본 발명의 다른 목적은, 서로 다른 두 시점의 뷰 변환 영상을 이용하기 때문에, 카메라의 교차 영역 기반 방식과 비교하여 보다 확대된 인식 영역을 갖는 장애물 검출 장치 및 방법을 제공함에 있다.
또한, 본 발명의 다른 목적은, 학습에 의해 장애물을 인식하지 않으므로 인식 종류에 제한이 없도록 한 장애물 검출 장치 및 방법을 제공함에 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 AVM 시스템의 장애물 검출 장치는, 카메라를 통해 촬영되는 영상들을 저장하는 영상 저장부, 상기 영상저장부에 저장된 영상들의 뷰를 변환하여 각 영상에 대응하는 뷰 변환 영상을 생성하는 영상 변환부, 시간 차를 두고 촬영된 두 영상에 대한 뷰 변환 영상을 각각 비교하여, 상기 뷰 변환 영상 간 교차 영역을 추출하는 교차 영역 추출부, 상기 뷰 변환 영상 간 교차 영역의 불일치 정도를 계산하여 상기 교차 영역 내의 불일치 영역을 검출하는 불일치 영역 검출부, 및 상기 불일치 영역을 장애물 영역으로 인지하여 해당 차량의 디스플레이를 통해 상기 장애물의 위치를 표시하는 장애물 알림부를 포함하는 것을 특징으로 한다.
상기 교차 영역 추출부는, 이전 시점에 촬영된 영상의 뷰 변환 영상과 현재 시점에 촬영된 뷰 변환 영상 간 이동변위를 계산하여 상기 뷰 변환 영상 간 교차 영역을 추출하는 것을 특징으로 한다.
상기 불일치 영역 검출부는, 상기 뷰 변환 영상 간 교차 영역에 대하여 수평 방향 및 수직 방향의 불일치 정도를 각각 계산하여 상기 교차 영역 내의 불일치 영역을 검출하는 것을 특징으로 한다.
상기 장애물 알림부는, 상기 불일치 영역에 대해 색상, 명암, 패턴 및 뷰 중 적어도 하나를 달리하여 표시하는 것을 특징으로 한다.
상기 장애물 알림부는, 현재 시점에 촬영된 영상 또는 그의 뷰 변환 영상에 상기 장애물의 위치를 표시하는 것을 특징으로 한다.
한편, 상기의 목적을 달성하기 위한 본 발명에 따른 AVM 시스템의 장애물 검출 방법은, 카메라를 통해 촬영되는 영상들을 저장하는 단계, 상기 저장된 영상들의 뷰를 변환하여 각 영상에 대응하는 뷰 변환 영상을 생성하는 단계, 시간 차를 두고 촬영된 두 영상에 대한 뷰 변환 영상을 각각 비교하여, 상기 뷰 변환 영상 간 교차 영역을 추출하는 단계, 상기 뷰 변환 영상 간 교차 영역의 불일치 정도를 계산하여 상기 교차 영역 내의 불일치 영역을 검출하는 단계, 및 상기 불일치 영역을 장애물 영역으로 인지하여 해당 차량의 디스플레이를 통해 상기 장애물의 위치를 표시하는 단계를 포함하는 것을 특징으로 한다.
상기 교차 영역을 추출하는 단계는, 이전 시점에 촬영된 영상의 뷰 변환 영상과 현재 시점에 촬영된 뷰 변환 영상 간 이동변위를 계산하여 상기 뷰 변환 영상 간 교차 영역을 추출하는 것을 특징으로 한다.
상기 불일치 영역을 검출하는 단계는, 상기 뷰 변환 영상 간 교차 영역에 대하여 수평 방향 및 수직 방향의 불일치 정도를 각각 계산하여 상기 교차 영역 내의 불일치 영역을 검출하는 것을 특징으로 한다.
상기 장애물의 위치를 표시하는 단계는, 상기 불일치 영역에 대해 색상, 명암, 패턴 및 뷰 중 적어도 하나를 달리하여 표시하는 것을 특징으로 한다.
상기 장애물의 위치를 표시하는 단계는, 현재 시점에 촬영된 영상 또는 그의 뷰 변환 영상에 상기 장애물의 위치를 표시하는 것을 특징으로 한다.
본 발명에 따르면, 기존의 AVM(Around View Monitoring) 시스템을 통해 취득된 서로 다른 두 시점의 뷰 변환 영상으로부터 추출된 교차 영역의 차이로부터 장애물을 검출함으로써, 연산 과정이 단순하고 고가 시스템 도입으로 인한 비용 증가가 없는 이점이 있다.
또한, 본 발명은, 서로 다른 두 시점의 뷰 변환 영상을 이용하기 때문에, 보다 확대된 인식 영역을 가지며, 학습에 의해 장애물을 인식하지 않으므로 인식 종류에 제한이 없는 이점이 있다.
도 1은 본 발명에 따른 AVM 시스템의 장애물 검출 장치를 설명하기 위해 참조되는 도이다.
도 2는 본 발명에 따른 AVM 시스템의 장애물 검출 장치의 구성을 설명하는데 참조되는 블록도이다.
도 3 내지 도 6은 본 발명에 따른 AVM 시스템의 장애물 검출 장치에서 촬영 영상 간 교차 영역을 검출하는 동작을 설명하는데 참조되는 예시도이다.
도 7 및 도 8은 본 발명에 따른 AVM 시스템의 장애물 검출 장치에서 교차 영역 간 불일치 영역을 검출하는 동작을 설명하는데 참조되는 예시도이다.
도 9는 본 발명에 따른 AVM 시스템의 장애물 검출 장치에서 장애물 영역을 표시하는 동작을 설명하는데 참조되는 예시도이다.
도 10 및 도 11은 본 발명에 따른 AVM 시스템의 장애물 검출 방법에 대한 동작 흐름을 도시한 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하도록 한다.
도 1은 본 발명에 따른 AVM 시스템의 장애물 검출 장치를 설명하기 위해 참조되는 도이다.
본 발명에 따른 AVM 시스템의 장애물 검출 장치(이하, '장애물 검출 장치'라 칭함)는 서로 다른 두 시점에 동일 방향을 촬영한 영상의 교차 영역을 비교하여 장애물의 위치를 인지하고, 이를 표시하도록 하는 것이다. 다만, 본 발명은 차량이 저속으로 주행하거나 정지 및 주행을 반복하는 때 수행되는 것이 바람직하다.
도 1을 참조하면, 차량(1)은 이동 중 차량 측면에 구비된 카메라(도 1의 실시예에서는 오른쪽 측면에 구비된 카메라)(5)를 통해 측면 영역(P1)을 촬영한다. 이후, 소정 시간(Δt)이 경과하면, 차량(1)은 마찬가지로 차량 측면에 구비된 카메라(5)를 통해 동일 방향의 측면 영역(P2)을 촬영한다.
한편, 장애물 검출 장치는 카메라(5)를 통해 촬영되는 영상을 실시간으로 취득하여 저장한다. 이때, 장애물 검출 장치는 이전 시점, 예를 들어, t0 시점에 촬영된 P1 영역의 촬영 영상과 t0+Δt 시점에 촬영된 P2 영역의 촬영 영상을 비교하여, 각 촬영 영상의 교차 영역(P3)을 검출하고, 두 촬영 영상의 교차 영역을 비교함으로써 장애물을 검출하게 된다.
장애물 검출 장치에서 장애물을 검출하는 구체적인 동작은, 도 2의 실시예를 참조하도록 한다.
도 2는 본 발명에 따른 AVM 시스템의 장애물 검출 장치의 구성을 설명하는데 참조되는 블록도이다.
도 2를 참조하면, 본 발명에 따른 장애물 검출 장치(10)는 제어부(11), 영상 입력부(12), 표시부(13), 영상 저장부(14), 영상 변환부(15), 교차 영역 추출부(16), 불일치 영역 검출부(17) 및 장애물 알림부(18)를 포함한다. 여기서, 제어부(11)는 장애물 검출 장치(10)의 각 부의 동작을 제어한다.
영상 입력부(12)는 카메라와 연결되어, 카메라를 통해 촬영되는 영상을 입력받는다. 카메라는 실시간 또는 시간 차를 두고 차량 주변의 영상을 촬영하며, 카메라를 통해 촬영된 영상들은 영상 입력부(12)를 통해 입력되어 영상 저장부(14)에 저장된다.
영상 변환부(15)는 영상 입력부(12)를 통해 입력되는 영상의 뷰를 변환하여 해당 영상에 대응하는 뷰 변환 영상을 생성한다. 영상 변환부(15)에 의해 생성된 뷰 변환 영상은 영상 저장부(14)에 저장된다. 이때, 영상 저장부(14)는 영상 입력부(12)를 통해 입력된 영상과 뷰 변환 영상이 서로 대응되도록 저장될 수 있다.
일 예로서, 영상 저장부(14)에는 제1 시점에 촬영된 영상 및 그에 대응하는 뷰 변환 영상이 저장되며, 제2 시점에 촬영된 영상 및 그에 대응하는 뷰 변환 영상이 저장된다.
교차 영역 추출부(16)는 현재 시점에 영상 입력부(12)를 통해 입력된 영상의 뷰 변환 영상과, 이전 시점에 촬영된 영상의 뷰 변환 영상을 비교한다. 이때, 교차 영역 추출부(16)는 현재 시점에 촬영된 영상의 뷰 변환 영상과 이전 시점에 촬영된 영상의 이동 변위를 계산하여, 서로 다른 두 시점의 뷰 변환 영상 간 교차 영역을 추출한다. 서로 다른 두 시점의 뷰 변환 영상 간 교차 영역을 추출하는 동작에 대한 구체적인 실시예는 도 3 내지 도 6을 참조하도록 한다.
불일치 영역 검출부(17)는 서로 다른 두 시점의 뷰 변환 영상으로부터 추출된 각 교차 영역을 비교하여, 두 교차 영역에 대한 불일치 정도를 계산한다. 이때, 불일치 영역 검출부(17)는 두 교차 영역에 대한 수평 방향 및 수직 방향의 불일치 정도를 각각 계산함으로써, 두 교차 영역 내의 불일치 영역을 검출한다.
일 예로서, 두 교차 영역을 열(column) 별로 비교하여, 수평 방향에 대한 불일치 영역을 검출하고, 두 교차 영역을 행(raw) 별로 비교하여 수직 방향에 대한 불일치 영역을 검출한다.
이때, 불일치 영역 검출부(17)는 두 교차 영역에서 수평 방향 또는 수직 방향에 대한 불일치 정도가 일정치 이상이면 불일치 영역인 것으로 판단한다. 일 예로서, 불일치 영역 검출부(17)는 두 교차 영역에서 수평 방향 또는 수직 방향에 대한 불일치 정도가 50% 이상이면 불일치 영역인 것으로 판단한다. 여기서, 불일치 영역 검출부(17)는 불일치 정도가 일정치 이상인 지점이 일정 이상 연속되는 구간에 대해 불일치 영역인 것으로 판단할 수 있다. 불일치 영역을 검출하는 동작에 대한 구체적인 실시예는 도 7 및 도 8를 참조하도록 한다.
장애물 알림부(18)는 불일치 영역 검출부(17)에 의해 검출된 불일치 영역을 장애물 영역으로 인지하여 해당 차량의 디스플레이를 통해 장애물의 위치를 표시하도록 한다.
여기서, 장애물 알림부(18)는 표시부(10)에 표시된 현재 시점에 촬영된 영상 또는 그의 뷰 변환 영상에 장애물의 위치를 표시하도록 한다. 이때, 장애물 알림부(18)는 불일치 영역 검출부(17)를 통해 검출된 불일치 영역에 대해 색상, 명암, 패턴 및 뷰 중 적어도 하나를 달리하여 표시하도록 한다.
일 예로서, 장애물 알림부(18)는 현재 시점에 촬영된 영상 내에서 장애물 영역으로 인지된 불일치 영역의 색상, 명암, 패턴 및 뷰 중 적어도 하나를 달리하여 표시하도록 한다. 다른 예로서, 장애물 알림부(18)는 현재 시점에 촬영된 영상의 뷰 변환 영상 내에서 장애물 영역으로 인지된 불일치 영역의 색상, 명암, 패턴 및 뷰 중 적어도 하나를 달리하여 표시하도록 한다. 이로써, 사용자는 주변 영상과는 다른 색상, 명암, 패턴 및 뷰 등을 통해 장애물의 위치를 쉽게 인지할 수 있게 된다. 장애물의 위치를 표시하는 구체적인 실시예는 도 9를 참조하도록 한다.
도 3 내지 도 6은 본 발명에 따른 AVM 시스템의 장애물 검출 장치에서 촬영 영상 간 교차 영역을 검출하는 동작을 설명하는데 참조되는 예시도이다.
먼저, 도 3은 t0 시점에 좌측으로 진행하고 있는 차량의 측면 영역(P1)을 촬영하는 동작을 나타낸 것이다. 이때, 촬영된 영상은 도 4와 같다.
도 4를 참조하면, 장애물 검출 장치는 도 3과 같이 t0 시점에 P1 영역을 촬영한 영상(I1)이 n 번째 프레임이라고 하면, 해당 영상(I1)에 대해 'frame(n)[t0]'와 같이 표시할 수 있다. 장애물 검출 장치는 카메라를 통해 P1 영역의 영상(I1)이 촬영되면, 촬영된 영상(I1)을 뷰 변환한 뷰 변환 영상(I3)을 생성하여 저장한다.
한편, 도 5는 도 3에서 일정 시간이 경과한 후에 차량의 측면 영역을 촬영하는 동작을 나타낸 것이다. 다시 말해, 차량은 도 3에서 좌측으로 진행하다가 일정 시간이 경과하면 차량의 측면 영역(P2)을 촬영한다. 이때, 촬영된 영상은 도 6과 같다.
도 6을 참조하면, 장애물 검출 장치는 도 5와 같이 t0 시점에서 일정 시간(Δt)이 결과한 시점에 P2 영역을 촬영한 영상(I2)으로, 해당 영상(I2)은 도 4의 I1을 기준으로 n+Δt 번째 프레임이라 가정한다. 이때, 해당 영상(I2)에 대해 'frame(n+Δt)[t0+Δt]'와 같이 표시할 수 있다. 장애물 검출 장치는 카메라를 통해 P2 영역의 영상(I2)이 촬영되면, 촬영된 영상(I1)을 뷰 변환한 뷰 변환 영상(I4)을 생성하여 저장한다.
이후, 장애물 검출 장치는 도 4의 뷰 변환 영상(I3)과 도 6의 뷰 변환 영상(I4) 간 이동 변위를 계산하여, 두 개의 뷰 변환 영상(I3, I4) 간 교차 영역(R1, R2)을 추출한다. 추후, 장애물 검출 장치는 두 교차 영역(R1, R2)의 불일치 정도를 비교하여 일정치 이상 불일치하는 영역으로부터 장애물 영역을 인지하도록 한다.
도 7 및 도 8은 본 발명에 따른 AVM 시스템의 장애물 검출 장치에서 교차 영역 간 불일치 영역을 검출하는 동작을 설명하는데 참조되는 예시도이다.
먼저, 도 7은 도 4 및 도 6에서 추출된 두 교차 영역(R1, R2)에 대해 수평 방향의 불일치 정도를 산출하는 동작을 나타낸 것이다.
도 7을 참조하면, 장애물 검출 장치는 두 교차 영역(R1, R2)의 대응되는 각 열(column)을 비교하여 해당 열의 불일치 정도를 계산한다. 도 7에 도시된 두 교차 영역(R1, R2)은 수평 방향으로 총 여섯 개의 블록이 각 열을 이루고 있으므로, 여섯 개의 열 각각에 대해 두 교차 영역(R1, R2)을 각각 비교하여 수평 방향의 불일치 정도를 계산한다.
이와 같이 산출된 불일치 정도는 도 7에 도시된 그래프와 같으며, 그래프를 통해 두 번째와 세 번째 사이 및 네 번째와 다섯 번째 사이에서 불일치 정도가 가장 높으므로, 세 번째 열 및 네 번째 열이 포함된 영역을 불일치 영역으로 판단한다. 여기서, 세 번째 열과 네 번째 열 사이는 장애물의 중심 위치이기 때문에 장애물이 서로 겹쳐져 불일치 정도는 상대적으로 낮아지게 된다.
한편, 도 8은 도 4 및 도 6에서 추출된 두 교차 영역(R1, R2)의 대응되는 각 행(raw)을 비교하여 해당 행의 불일치 정도를 계산한다. 도 8에 도시된 두 교차 영역(R1, R2)는 수직 방향으로 총 다섯 개의 블록이 각 열을 이루고 있으므로, 다섯 개의 행 각각에 대해 두 교차 영역(R1, R2)을 각각 비교하여 수직 방향의 불일치 정도를 계산한다.
이와 같이 산출된 불일치 정도는 도 8에 도시된 그래프와 같으며, 그래프를 통해 첫 번째 행부터 네 번째 행까지 불일치 정도가 높고, 그 이후에는 불일치 정도가 낮음을 확인할 수 있다. 따라서, 장애물 검출 장치는 첫 번째 행부터 네 번째 행까지의 영역을 불일치 영역으로 판단한다.
이때, 장애물 검출 장치는 도 7에서 검출된 수평 방향의 불일치 영역과, 도 8에서 검출된 수직 방향의 불일치 영역을 조합하여 장애물 영역을 판단한다.
도 9는 본 발명에 따른 AVM 시스템의 장애물 검출 장치에서 장애물 영역을 표시하는 동작을 설명하는데 참조되는 예시도이다.
도 9를 참조하면, 장애물 검출 장치는 도 7 및 도 8에서 검출된 장애물 영역을 현재 시점에 취득된 영상 또는 해당 영상의 뷰 변환 영상을 통해 표시할 수 있다.
도 9의 (a)는 현재 시점에 취득된 영상 상에 장애물 영역을 나타낸 것이다. 장애물 영역은 주변 영역과 구분되도록 색상, 명암, 패턴 및 뷰 중 적어도 하나를 달리하여 표시하도록 한다.
한편, 도 9의 (b)는 취득된 영상의 뷰 변환 영상 상에 장애물 영역을 나타낸 것이다. 이 경우에도 마찬가지로, 장애물 영역은 주변 영역과 구분되도록 색상, 명암, 패턴 및 뷰 중 적어도 하나를 달리하여 표시하도록 한다.
따라서, 사용자는 취득된 영상 또는 그의 뷰 변환 영상에서 장애물이 위치한 영역을 빠르고 쉽게 인지할 수 있다.
상기와 같이 구성되는 본 발명에 따른 AVM 시스템의 장애물 검출 장치에 대한 동작 흐름을 보다 상세히 설명하면 다음과 같다.
도 10 및 도 11은 본 발명에 따른 AVM 시스템의 장애물 검출 방법에 대한 동작 흐름을 도시한 순서도이다.
도 10은 취득 영상을 뷰 변환하는 동작 흐름을 나타낸 것이다.
도 10을 참조하면, 장애물 검출 장치는 카메라를 통해 촬영된 현재 시점의 촬영 영상을 취득하고(S100), 취득된 촬영 영상을 저장한다(S110). 이때, 장애믈 검출 장치는 'S100' 과정에서 취득된 촬영 영상을 뷰 변환하여(S120), 'S120' 과정의 뷰 변환 영상을 촬영 영상과 함께 저장한다(S130).
이후, 소정 시간이 경과하면, 경과된 시점에서 해당 시점에 촬영된 영상을 다시 취득하고(S100), 취득된 촬영 영상과 촬영 영상을 뷰 변환한 뷰 변환 영상을 저장한다(S110 내지 S130).
이와 같은 방법으로, 장애물 검출 장치는 영상 촬영 종료 명령이 있기 전까지 'S100' 내지 'S150' 과정을 반복하여 수행하며 소정 시간 경과시마다 계속해서 해당 시점의 촬영 영상 및 그에 대응하는 뷰 변환 영상을 저장하게 된다. 물론, 영상 촬영 종료 명령이 입력되면(S140), 해당 동작은 종료한다.
도 11은 도 10에서 생성된 뷰 변환 영상을 통해 장애물을 검출하는 동작 흐름을 나타낸 것이다.
도 11을 참조하면, 장애물 검출 장치는 도 10의 'S130' 과정에서 저장된 이전시점의 뷰 변환 영상(이하, '제1영상'이라 칭함)과, 현재시점의 뷰 변환 영상(이하, '제2영상'이라 칭함)을 추출하여(S200), 'S200' 과정에서 추출된 제1영상 및 제2영상을 비교한다(S210).
이때, 장애물 검출 장치는 제1영상 및 제2영상 간 이동변위를 계산하여(S220), 제1영상 및 제2영상 간 교차 영역을 추출하고(S230), 'S230' 과정에서 추출된 교차 영역을 각각 비교하여 불일치 정도를 계산한다(S240). 장애물 검출 장치는 'S240' 과정에서 계산된 불일치 정도에 근거하여 교차 영역 내의 불일치 영역을 검출한다. 일 예로서, 장애물 검출 장치는 제1영상과 제2영상을 수평 방향 및 수직 방향으로 각각 비교하여 수평 방향 및 수직 방향에 대한 불일치 정도를 각각 계산하고, 수평 방향 및 수직 방향 각각에 대한 불일치 영역을 검출한다.
따라서, 장애물 검출 장치는 'S250' 과정에서 검출된 불일치 영역으로부터 장애물을 인지한다(S250). 이때, 장애물 검출 장치는 수평 방향의 불일치 영역과 수직 방향의 불일치 영역을 조합하여, 교차되는 영역을 장애물 영역으로 인지할 수 있다.
이후, 장애물 검출 장치는 사용자가 장애물의 위치를 인지할 수 있도록, 현재 시점의 촬영 영상 또는 그에 대응하는 뷰 변환 영상 상에 장애물이 인지된 영역을 표시하도록 한다(S270). 물론, 장애물 검출 장치는 장애물이 인지된 영역을 표시함에 있어서, 주변 영역과 구분되도록 도 9와 같이 색상, 명암, 패턴 및 뷰 중 적어도 하나를 달리하여 표시하도록 한다.
이상과 같이 본 발명에 의한 AVM 시스템의 장애물 검출 장치 및 방법은 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다.
1: 차량 5: 카메라
10: 장애물 검출 장치 11: 제어부
12: 영상 입력부 13: 표시부
14: 영상 저장부 15: 영상 변환부
16: 교차 영역 추출부 17: 불일치 영역 검출부
18: 장애물 알림부 P1, P2: 촬영 영역
P3: 교차 영역 I1, I2: 촬영 영상
I3, I4: 뷰 변환 영상 R1, R2: 교차 영역

Claims (10)

  1. 카메라를 통해 촬영되는 영상들을 저장하는 영상저장부;
    상기 영상저장부에 저장된 영상들 중 시간 차를 두고 촬영된 두 영상의 뷰를 변환하여 상기 두 영상에 대응하는 제1 뷰 변환 영상 및 제2 뷰 변환 영상을 생성하는 영상 변환부;
    상기 두 영상의 촬영 시점 사이에 차량이 진행된 이동 변위를 계산하고, 상기 계산된 이동 변위를 이용하여 상기 제1 뷰 변환 영상 및 제2 뷰 변환 영상 간 교차 영역을 추출하는 교차 영역 추출부;
    상기 제1 뷰 변환 영상 및 제2 뷰 변환 영상 간 교차 영역의 불일치 정도를 계산하여 상기 교차 영역 내의 불일치 영역을 검출하는 불일치 영역 검출부; 및
    상기 불일치 영역을 장애물 영역으로 인지하여 해당 차량의 디스플레이를 통해 상기 장애물의 위치를 표시하는 장애물 알림부를 포함하고,
    상기 불일치 영역 검출부는,
    상기 제1 뷰 변환 영상 및 제2 뷰 변환 영상 간 교차 영역을 열 별로 비교하여 수평 방향에 대한 불일치 정도를 계산하고, 상기 교차 영역을 행 별로 비교하여 수직 방향에 대한 불일치 정도를 계산하고, 상기 계산된 각각의 불일치 정도를 조합하여 상기 교차 영역 내의 불일치 영역을 검출하는 것을 특징으로 하는 AVM 시스템의 장애물 검출 장치.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    상기 장애물 알림부는,
    상기 불일치 영역에 대해 색상, 명암, 패턴 및 뷰 중 적어도 하나를 달리하여 표시하는 것을 특징으로 하는 AVM 시스템의 장애물 검출 장치.
  5. 청구항 1에 있어서,
    상기 장애물 알림부는,
    현재 시점에 촬영된 영상 또는 그의 뷰 변환 영상에 상기 장애물의 위치를 표시하는 것을 특징으로 하는 AVM 시스템의 장애물 검출 장치.
  6. 카메라를 통해 촬영되는 영상들을 저장하는 단계;
    상기 저장된 영상들 중 시간 차를 두고 촬영된 두 영상의 뷰를 변환하여 상기 두 영상에 대응하는 제1 뷰 변환 영상 및 제2 뷰 변환 영상을 생성하는 단계;
    상기 두 영상의 촬영 시점 사이에 차량이 진행된 이동 변위를 계산하고, 상기 계산된 이동 변위를 이용하여 상기 제1 뷰 변환 영상 및 제2 뷰 변환 영상 간 교차 영역을 추출하는 단계;
    상기 제1 뷰 변환 영상 및 제2 뷰 변환 영상 간 교차 영역의 불일치 정도를 계산하여 상기 교차 영역 내의 불일치 영역을 검출하는 단계; 및
    상기 불일치 영역을 장애물 영역으로 인지하여 해당 차량의 디스플레이를 통해 상기 장애물의 위치를 표시하는 단계를 포함하고,
    상기 불일치 영역을 검출하는 단계는,
    상기 제1 뷰 변환 영상 및 제2 뷰 변환 영상 간 교차 영역을 열 별로 비교하여 수평 방향에 대한 불일치 정도를 계산하고, 상기 교차 영역을 행 별로 비교하여 수직 방향에 대한 불일치 정도를 계산하고, 상기 계산된 각각의 불일치 정도를 조합하여 상기 교차 영역 내의 불일치 영역을 검출하는 것을 특징으로 하는 AVM 시스템의 장애물 검출 방법.
  7. 삭제
  8. 삭제
  9. 청구항 6에 있어서,
    상기 장애물의 위치를 표시하는 단계는,
    상기 불일치 영역에 대해 색상, 명암, 패턴 및 뷰 중 적어도 하나를 달리하여 표시하는 것을 특징으로 하는 AVM 시스템의 장애물 검출 방법.
  10. 청구항 6에 있어서,
    상기 장애물의 위치를 표시하는 단계는,
    현재 시점에 촬영된 영상 또는 그의 뷰 변환 영상에 상기 장애물의 위치를 표시하는 것을 특징으로 하는 AVM 시스템의 장애물 검출 방법.
KR1020120121566A 2012-10-30 2012-10-30 Ａｖｍ 시스템의 장애물 검출 장치 및 방법 KR101916467B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020120121566A KR101916467B1 (ko) 2012-10-30 2012-10-30 Ａｖｍ 시스템의 장애물 검출 장치 및 방법
US13/693,814 US9104920B2 (en) 2012-10-30 2012-12-04 Apparatus and method for detecting obstacle for around view monitoring system
DE201210223360 DE102012223360A1 (de) 2012-10-30 2012-12-17 Vorrichtung und Verfahren zum Erfassen eines Hindernisses für ein Rundumsicht-Überwachungssystem
CN201210590495.9A CN103793684B (zh) 2012-10-30 2012-12-28 用于全景式监控系统的检测障碍物的设备和方法
JP2012288598A JP2014089687A (ja) 2012-10-30 2012-12-28 Ａｖｍシステムの障害物検出装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120121566A KR101916467B1 (ko) 2012-10-30 2012-10-30 Ａｖｍ 시스템의 장애물 검출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140055159A KR20140055159A (ko) 2014-05-09
KR101916467B1 true KR101916467B1 (ko) 2018-11-07

Family

ID=50479741

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120121566A KR101916467B1 (ko) 2012-10-30 2012-10-30 Ａｖｍ 시스템의 장애물 검출 장치 및 방법

Country Status (5)

Country Link
US (1) US9104920B2 (ko)
JP (1) JP2014089687A (ko)
KR (1) KR101916467B1 (ko)
CN (1) CN103793684B (ko)
DE (1) DE102012223360A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102106452B1 (ko) 2019-11-04 2020-05-06 한국건설기술연구원 Avm 카메라 기반 터널 내부 고속 측정 시스템 및 그의 터널 내부 고속 측정 방법
KR102153486B1 (ko) 2019-09-09 2020-09-08 한국건설기술연구원 건설 기계 및 작업자 위치 측정을 위한 다중 avm 카메라 시스템 및 그의 건설 기계 및 작업자 위치 측정 방법
KR102249769B1 (ko) * 2019-12-06 2021-05-12 주식회사 모빌테크 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
KR102255978B1 (ko) 2019-12-02 2021-05-25 한국건설기술연구원 3d 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 장치 및 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2527510B (en) * 2014-06-23 2016-12-14 Jaguar Land Rover Ltd Launch speed ratio selection in an automatic transmission
JP6303975B2 (ja) * 2014-10-22 2018-04-04 株式会社デンソー 障害物警報装置
CN106778548B (zh) * 2016-11-30 2021-04-09 百度在线网络技术（北京）有限公司 用于检测障碍物的方法和装置
KR102275310B1 (ko) * 2017-04-20 2021-07-12 현대자동차주식회사 자동차 주변의 장애물 검출 방법
JP2019202680A (ja) * 2018-05-24 2019-11-28 株式会社日立ハイテクファインシステムズ 線路の周囲物の異常検出装置及び異常検出方法
CN110371140B (zh) * 2019-08-02 2021-08-06 云度新能源汽车有限公司 一种基于全景环视图像处理的车门开启预警系统及方法
KR102195146B1 (ko) * 2019-08-22 2020-12-28 장현민 전방위 어라운드 뷰 모니터링 기반 자동차의 안전사고 방지 시스템 및 그 방법
CN112434554B (zh) * 2020-10-16 2023-08-04 中科院成都信息技术股份有限公司 一种基于异质化缩减的云状图像识别方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008219063A (ja) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
JP2009129001A (ja) * 2007-11-20 2009-06-11 Sanyo Electric Co Ltd 運転支援システム、車両、立体物領域推定方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2865442B2 (ja) * 1991-04-10 1999-03-08 株式会社東芝 監視画像の変化領域抽出方法
KR0143632B1 (ko) 1995-11-23 1998-08-01 김태구 자동차의 이동 물체 검지 장치
KR19990026799U (ko) 1997-12-20 1999-07-15 양재신 차량의 화상비교에 의한 장애물 접근경고장치
KR100630088B1 (ko) 2004-12-28 2006-09-27 삼성전자주식회사 옵티컬 플로우를 이용한 차량 감시 장치 및 방법
JP4687411B2 (ja) * 2005-11-15 2011-05-25 株式会社デンソー 車両周辺画像処理装置及びプログラム
JP5347257B2 (ja) * 2007-09-26 2013-11-20 日産自動車株式会社 車両用周辺監視装置および映像表示方法
JP5253017B2 (ja) * 2008-07-03 2013-07-31 アルパイン株式会社 周辺監視装置、障害物検出方法及びコンピュータプログラム
TWI334393B (en) 2008-10-07 2010-12-11 Ind Tech Res Inst Image-based vehicle maneuvering assistant method and system
JP2010128795A (ja) 2008-11-27 2010-06-10 Aisin Seiki Co Ltd 障害物検出装置
JP5198346B2 (ja) * 2009-04-23 2013-05-15 本田技研工業株式会社 車両周辺監視装置
CN101995239B (zh) * 2009-08-11 2012-05-23 财团法人车辆研究测试中心 利用鸟瞰影像判断障碍物的系统及方法
JP5226641B2 (ja) * 2009-10-14 2013-07-03 東芝アルパイン・オートモティブテクノロジー株式会社 車両用障害物検出装置
DE102010042026B4 (de) * 2010-10-06 2020-11-26 Robert Bosch Gmbh Verfahren zum Erzeugen eines Abbildes mindestens eines Objekts in einer Umgebung eines Fahrzeugs

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008219063A (ja) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
JP2009129001A (ja) * 2007-11-20 2009-06-11 Sanyo Electric Co Ltd 運転支援システム、車両、立体物領域推定方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102153486B1 (ko) 2019-09-09 2020-09-08 한국건설기술연구원 건설 기계 및 작업자 위치 측정을 위한 다중 avm 카메라 시스템 및 그의 건설 기계 및 작업자 위치 측정 방법
KR102106452B1 (ko) 2019-11-04 2020-05-06 한국건설기술연구원 Avm 카메라 기반 터널 내부 고속 측정 시스템 및 그의 터널 내부 고속 측정 방법
KR102255978B1 (ko) 2019-12-02 2021-05-25 한국건설기술연구원 3d 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 장치 및 방법
KR102249769B1 (ko) * 2019-12-06 2021-05-12 주식회사 모빌테크 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법

Also Published As

Publication number Publication date
KR20140055159A (ko) 2014-05-09
CN103793684B (zh) 2018-11-16
DE102012223360A1 (de) 2014-04-30
US20140118550A1 (en) 2014-05-01
CN103793684A (zh) 2014-05-14
JP2014089687A (ja) 2014-05-15
US9104920B2 (en) 2015-08-11

Similar Documents

Publication Publication Date Title
KR101916467B1 (ko) Ａｖｍ 시스템의 장애물 검출 장치 및 방법
KR101725060B1 (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
JP6398347B2 (ja) 画像処理装置、認識対象物検出方法、認識対象物検出プログラム、および、移動体制御システム
JP5663352B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN103171552A (zh) 基于avm俯视图的停车辅助系统
KR101964861B1 (ko) 카메라 장치 및 상기 카메라 장치에서의 물체 추적 방법
JP6014440B2 (ja) 移動物体認識装置
KR100879623B1 (ko) Ｐｔｚ 카메라를 이용한 자동화된 광역 감시 시스템 및 그방법
KR101896715B1 (ko) 주변차량 위치 추적 장치 및 방법
CN106467105A (zh) 车道线识别装置
JP6524529B2 (ja) 建築限界判定装置
KR20200132468A (ko) 첨단 운전자 지원 장치 및 이의 객체를 검출하는 방법
JP4687506B2 (ja) オブジェクトサイズ算出装置、それを用いたオブジェクト検索装置およびオブジェクト分類装置ならびにオブジェクトサイズ算出方法
EP3803790B1 (en) Motion segmentation in video from non-stationary cameras
JP2015194487A (ja) 視差値導出装置、移動体、ロボット、視差値導出方法、視差値生産方法及びプログラム
JP2016152027A (ja) 画像処理装置、画像処理方法およびプログラム
JP6617150B2 (ja) 物体検出方法及び物体検出装置
JP2010079582A (ja) 物体を検出する装置、方法及びプログラム
KR102128319B1 (ko) 팬틸트줌 카메라 기반의 영상 재생방법 및 장치
JP2000293693A (ja) 障害物検出方法および装置
JP2004013400A (ja) 対象物認識装置および対象物認識方法
KR101620580B1 (ko) 달리기 감지 방법 및 시스템
JP2017215743A (ja) 画像処理装置、外界認識装置
JP4788399B2 (ja) 歩行者検出方法、装置、およびプログラム
JP5120627B2 (ja) 画像処理装置および画像処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant