KR20210128532A - 시퀀스 영상 분석에 기반한 안전 벨트 단속 장치 및 이를 이용한 안전 벨트 단속 방법 - Google Patents
시퀀스 영상 분석에 기반한 안전 벨트 단속 장치 및 이를 이용한 안전 벨트 단속 방법 Download PDFInfo
- Publication number
- KR20210128532A KR20210128532A KR1020200045916A KR20200045916A KR20210128532A KR 20210128532 A KR20210128532 A KR 20210128532A KR 1020200045916 A KR1020200045916 A KR 1020200045916A KR 20200045916 A KR20200045916 A KR 20200045916A KR 20210128532 A KR20210128532 A KR 20210128532A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- seat belt
- region
- interest
- enforcement
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000010191 image analysis Methods 0.000 title claims abstract description 17
- 239000000284 extract Substances 0.000 claims abstract description 21
- 230000005540 biological transmission Effects 0.000 claims abstract description 6
- 239000011521 glass Substances 0.000 claims description 27
- 238000007781 pre-processing Methods 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 9
- OWZREIFADZCYQD-NSHGMRRFSA-N deltamethrin Chemical compound CC1(C)[C@@H](C=C(Br)Br)[C@H]1C(=O)O[C@H](C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 OWZREIFADZCYQD-NSHGMRRFSA-N 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G06T5/009—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
시퀀스 이미지 분석에 기반한 안전 벨트 단속 장치 및 이를 이용한 안전 벨트 단속 방법을 개시한다. 본 발명의 시퀀스 이미지 분석에 기반한 안전 벨트 단속 장치는 단속 대상 차량에 대해서 시계열적으로 연속 촬상된 복수의 시퀀스 이미지를 수신하고, 수신된 복수의 시퀀스 이미지 중 적어도 하나 이상에 대해서 후보 영역을 추출하며, 추출된 후보 영역을 이미지 전처리하여 후보 영역 이미지를 추출하고, 후보 영역 이미지로부터 탑승자 이미지를 포함하는 관심 영역 이미지를 추출하는 관심 영역 추출부, 관심 영역 이미지에 안전벨트 이미지가 포함되어 있지 않으면 안전벨트 미착용으로 판단하고, 관심 영역 이미지에 안전벨트 이미지가 포함되어 있으면 안전벨트 착용으로 판단하며, 관심 영역 이미지에 안전벨트 이미지가 포함되었는지 판단이 어려운 경우에는 판단 불가로 판단하는 안전벨트 착용 판단부 및 안전벨트 착용 판단부에 의해서 안전벨트 미착용으로 판단되면 해당 단속 대상 차량에 대한 정보를 추가로 확보하고, 해당 차량에 안전벨트 미착용에 대한 정보를 전달하는 단속 결과 전달부를 포함한다.
Description
본 발명은 안전 벨트 단속 장치 및 방법에 관한 것으로써, 보다 상세하게는 영상을 이용하여 탑승자의 안전 벨트 착용 여부를 확인할 수 있는 시퀀스 영상 분석에 기반하여 안전 벨트 단속 장치 및 이를 이용한 안전 벨트 단속 방법에 관한 것이다.
국내에서는 차량 운행시 탑승자는 안전벨트를 착용하는 것이 법적 의무이다. 경찰은 이러한 의무를 위반할 경우에 단속을 통해서 범칙금을 부과하는 경우가 있다. 문제는 단속 시 통행 차량에 탑승한 모든 탑승자가 안전벨트를 착용하였는지 여부를 육안으로 파악하기 쉽지 않다는 점이다.
또한, 단속자는 CCTV, 무인카메라 등을 통해서 얻어진 카메라 이미지를 보면서 안전벨트 착용 여부를 파악할 경우에, 선팅된 차량 유리로 인하여 차량 안쪽 상황을 쉽게 육안으로 확인할 수 없다는 문제점이 있다.
이러한 문제점을 해결하기 위하여 특허문헌 1에는 차량 내부에 복합 감지 수단을 구비하고 이러한 복합 감지 수단에서 얻어진 감지 정보를 토대로 안전벨트 미착용 여부를 판단하는 기술을 개시하고 있다.
또한 특허문헌 2에는 차량 이미지를 촬상하고, 촬상된 차량 이미지에 포함된 운전석 또는 조수석에 탑승한 탑승자의 안전벨트 착용 여부를 판별하여 무인화된 단속 시스템을 개시하고 있다.
하지만, 복합 감지 수단을 구비하여 안전벨트 미착용 여부를 단속하는 방식은 종래 차량에는 적용되지 않으므로 운전자들의 반발이 있을 수 있고, 차량 이미지를 이용한 단속 시스템은 썬팅된 차량에 대한 촬영 이미지로부터 운전자, 탑승자를 구분하고 안전벨트의 착용 여부를 구분함에 있어서 단속 정확도가 낮다는 문제점이 지적되고 있다.
상술한 문제점을 해결하기 위해서 안출된 본 발명은 대상 차량에 대해 다각도에서 촬상된 시퀀스 영상을 이용하여 탑승자 이미지를 분리하고 안전벨트를 검출하여 탑승자의 안전벨트 착용 여부를 자동으로 단속할 수 있는 시퀀스 영상 분석에 기반한 안전 벨트 단속 장치 및 이를 이용한 안전 벨트 단속 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위하여 본 발명의 일 실시 예에 따라 시퀀스 이미지 분석에 기반한 안전 벨트 단속 장치는 단속 대상 차량에 대해서 시계열적으로 연속 촬상된 복수의 시퀀스 이미지를 수신하고, 수신된 복수의 시퀀스 이미지에 대해서 후보 영역을 추출하며, 추출된 후보 영역을 이미지 전처리하여 후보 영역 이미지를 추출하고, 상기 후보 영역 이미지로부터 탑승자 이미지를 포함하는 관심 영역 이미지를 추출하는 관심 영역 추출부; 상기 관심 영역 이미지에 안전벨트 이미지가 포함되어 있지 않으면 안전벨트 미착용으로 판단하고, 상기 관심 영역 이미지에 안전벨트 이미지가 포함되어 있으면 안전벨트 착용으로 판단하며, 상기 관심 영역 이미지에 안전벨트 이미지가 포함되었는지 판단이 어려운 경우에는 판단 불가로 판단하는 안전벨트 착용 판단부; 및 상기 안전벨트 착용 판단부에 의해서 안전벨트 미착용으로 판단되면 해당 단속 대상 차량에 대한 정보를 추가로 확보하고, 해당 차량에 안전벨트 미착용에 대한 정보를 전달하는 단속 결과 전달부;를 포함한다.
이 경우에, 상기 관심 영역 추출부는, 상기 복수의 시퀀스 이미지 중에서 상기 단속 대상 차량의 프론트 글라스, 사이드 글라스 및 리어 글라스를 적어도 일부를 포함하는 복수의 시퀀스 이미지 중 적어도 하나 이상의 이미지를 선별하고, 선별된 시퀀스 이미지에 대해서 상기 후보 영역 이미지를 추출한다.
이 경우에, 상기 관심 영역 추출부는, 상기 선별된 시퀀스 이미지 중에서 글라스 영역을 추출하고, 해당 글라스 영역에 대한 밝기 및 콘트라스트를 조절하는 이미지 전처리를 실행한다.
이 경우에, 상기 관심 영역 추출부는, 상기 전처리된 글라스 영역 중 탑승자 이미지를 포함하는 상기 관심 영역 이미지를 추출하고, 추출된 관심 영역 이미지에서 운전 핸들 영역을 식별하고, 상기 운전 핸들 영역에 색 구별 알고리즘을 적용하여 탑승자 이미지와 안전벨트 이미지를 구분한다.
이 경우에, 상기 관심 영역 추출부는, 상기 색 구별 알고리즘에 의해서 상기 관심 영역 이미지에서 탑승자 이미지와 안전벨트 이미지를 구분하지 못하면, 상기 관심 영역 이미지에 대한 색 분포 정보를 획득하고, 상기 획득된 색 분포 정보를 기 저장된 복수의 안전벨트의 색 분포 정보와 비교하여 해당 관심 영역 이미지에 안전벨트 이미지가 포함되어 있는지 여부를 판단한다.
한편, 상기 안전벨트 착용 판단부는, 상기 관심 영역 이미지에 포함된 상기 안전벨트 이미지의 비율이 기 결정된 비율을 초과할 경우에 안전 벨트 착용으로 판단하고, 상기 관심 영역 이미지에 포함된 상기 안전벨트 이미지의 비율이 기 결정된 비율 이하일 경우에 안전 벨트 미착용으로 판단한다.
이 경우에, 상기 안전벨트 착용 판단부는, 상기 관심 영역 이미지에 포함된 상기 안전벨트 이미지의 비율이 기 결정된 비율 이하일 경우에, 사용자로부터 입력된 육안 판단 정보에 기초하여 안전벨트 착용 여부를 판단한다.
본 발명의 다른 실시 예에 따른 관심 영역 추출부, 안전벨트 착용 판단부 및 단속 결과 전달부를 포함하는 다중 영상 분석에 기반한 안전 벨트 단속 장치를 이용한 안전 벨트 단속 방법은 단속 대상 차량에 대해서 다양한 각도에서 촬상된 복수의 이미지를 수신하는 단계; 수신된 복수의 이미지에 대해서 후보 영역을 추출하며, 추출된 후보 영역을 이미지 전처리하여 후보 영역 이미지를 추출하는 단계; 상기 후보 영역 이미지로부터 탑승자를 포함하는 관심 영역 이미지를 추출하는 단계; 및 상기 관심 영역 이미지에서 운전 핸들 영역을 식별하고, 상기 운전 핸들 영역에 기초하여 상기 탑승자 이미지에 안전벨트 이미지가 포함되어 있지 않으면 안전벨트 미착용으로 판단하고, 상기 탑승자 이미지에 안전벨트 이미지가 포함되어 있으면 안전벨트 착용으로 판단하는 안전벨트 착용 여부를 판단하는 단계;를 포함한다.
이 경우에, 상기 후보 영역 이미지를 추출하는 단계는, 상기 복수의 시퀀스 이미지에서 상기 단속 대상 차량의 프론트 글라스, 사이드 글라스 및 리어 글라스를 적어도 일부를 포함하는 적어도 하나 이상의 시퀀스 이미지를 선별하는 단계와 상기 선별된 시퀀스 이미지 중에서 글라스 영역을 추출하는 단계와 상기 추출된 글라스 영역에 대한 밝기 및 콘트라스트를 조절하여 이미지 전처리를 실행하는 단계를 더 포함한다.
이 경우에, 상기 관심 영역 이미지를 추출하는 단계는, 상기 전처리된 글라스 영역 중 탑승자를 포함하는 상기 관심 영역을 추출하는 단계와 상기 관심 영역에 대해서 색 구별 알고리즘을 적용하여 탑승자 영역과 안전벨트 영역을 구분하여 관심 영역 이미지를 추출하는 단계를 포함한다.
이 경우에, 상기 관심 영역 이미지를 추출하는 단계는, 상기 관심 영역 이미지에서 운전 핸들 영역을 식별하고, 상기 운전 핸들 영역에 상기 색 구별 알고리즘을 적용해서 상기 관심 영역에서 탑승자 영역과 안전벨트 영역을 구분하지 못하면, 상기 관심 영역에 대한 색 분포 정보를 획득하는 단계와 상기 획득된 색 분포 정보를 기 저장된 안전벨트의 색 분포 정보와 비교하여 안전벨트의 유무를 판단하는 단계를 더 포함한다.
한편, 상기 안전벨트 착용 여부를 판단하는 단계는, 상기 관심 영역 이미지에 포함된 상기 안전벨트 이미지의 비율이 기 결정된 비율을 초과할 경우에 안전벨트 착용으로 판단하고, 상기 관심 영역 이미지에 포함된 상기 안전벨트 이미지의 비율이 기 결정된 비율 이하일 경우에 안전벨트 미착용 또는 판정 불가로 판단한다.
본 발명의 다양한 실시 예에 따르면 단속 대상 차량을 시계열적으로 촬상하여 얻어진 시퀀스 영상을 이용하여 탑승자와 안전벨트 등의 후보 영역을 확보하고, 후보 영역에 대한 이미지 전처리를 통해서 탑승자와 안전벨트의 식별 정확도를 높여주는 효과를 발휘하고,
시퀀스 영상을 이용함으로써 차량의 전좌석에 대한 탑승자의 안전벨트 착용 여부를 단속할 수 있는 효과를 발휘하며,
실제 촬영 영상을 토대로 안전벨트 단속 결과에 대한 훈련 데이터를 확보함으로써 기계학습을 통하여 안전벨트 단속 모델을 개선하여 새로운 상황에서 단속 정밀도를 높여주는 효과를 발휘한다.
도 1은 본 발명의 일 실시 예에 따른 시퀀스 영상 분석에 기반한 안전 벨트 단속 장치를 예시적으로 설명하는 도면,
도 2는 본 발명의 일 실시 예에 따라 시퀀스 영상을 획득하는 일 예를 도시한 도면,
도 3은 본 발명의 일 실시 예에 따라 시퀀스 영상 중 일 영상을 이용하여 이미지 전처리를 적용한 일 예를 도시한 도면,
도 4는 본 발명의 일 실시 예에 따라 차량 이미지에서 후보 영역과 관심 영역을 추출하는 일 예를 도시한 도면,
도 5는 본 발명의 일 실시 예에 따라 관심 영역 이미지에서 탑승자 이미지를 추출하고 안전벨트 유무를 검출하는 일 예를 도시한 도면,
도 6은 도 5(a)에 도시된 안전벨트를 착용하지 않은 일 예를 예시적으로 설명하는 도면,
도 7은 도 5(b)에 도시된 안전벨트를 착용하지 않은 다른 예를 예시적으로 설명하는 도면, 그리고,
도 8은 본 발명의 다른 실시 예에 따라 안전벨트 단속 방법의 구체적인 절차를 예시적으로 설명하는 도면.
도 2는 본 발명의 일 실시 예에 따라 시퀀스 영상을 획득하는 일 예를 도시한 도면,
도 3은 본 발명의 일 실시 예에 따라 시퀀스 영상 중 일 영상을 이용하여 이미지 전처리를 적용한 일 예를 도시한 도면,
도 4는 본 발명의 일 실시 예에 따라 차량 이미지에서 후보 영역과 관심 영역을 추출하는 일 예를 도시한 도면,
도 5는 본 발명의 일 실시 예에 따라 관심 영역 이미지에서 탑승자 이미지를 추출하고 안전벨트 유무를 검출하는 일 예를 도시한 도면,
도 6은 도 5(a)에 도시된 안전벨트를 착용하지 않은 일 예를 예시적으로 설명하는 도면,
도 7은 도 5(b)에 도시된 안전벨트를 착용하지 않은 다른 예를 예시적으로 설명하는 도면, 그리고,
도 8은 본 발명의 다른 실시 예에 따라 안전벨트 단속 방법의 구체적인 절차를 예시적으로 설명하는 도면.
이하에서 도면을 참고하여 본 발명의 바람직한 실시 예에 대해서 설명한다. 이하에서 설명하는 내용은 본 발명의 기술적 사상의 범위에서 다양하게 변형될 수있다.
도 1은 본 발명의 일 실시 예에 따른 시퀀스 영상 분석에 기반한 안전 벨트 단속 장치를 예시적으로 설명하는 도면이다. 도 1을 참고하면, 시퀀스 영상 분석에 기반한 안전 벨트 단속 장치(100)는 관심 영역 추출부(110), 안전벨트 착용 판단부(130) 및 단속 결과 전달부(150)를 포함한다.
관심 영역 추출부(110)는 단속 대상 차량에 대해서 시계열적으로 연속 촬상된 복수의 시퀀스 이미지를 수신한다. 관심 영역 추출부(110)는 수신된 복수의 시퀀스 이미지에 대해서 후보 영역을 추출한다. 관심 영역 추출부(110)는 추출된 후보 영역을 이미지 전처리하여 후보 영역 이미지를 추출한다. 관심 영역 추출부(110)는 단속 대상 차량에 대한 시계열적으로 연속 촬상된 복수의 시퀀스 이미지 중에서 단속 대상 차량의 프론트 글라스, 사이드 글라스 및 리어 글라스를 적어도 일부를 포함하는 복수의 시퀀스 이미지 중 적어도 하나 이상을 선별한다. 관심 영역 추출부(110)는 선별된 시퀀스 이미지에 대해서 후보 영역 이미지를 추출한다. 관심 영역 추출부(110)는 선별된 시퀀스 이미지 중에서 글라스 영역을 추출하고, 해당 글라스 영역에 대한 밝기 및 콘트라스트를 조절하는 이미지 전처리를 실행함으로써, 후보 영역 이미지를 획득할 수 있다. 관심 영역 추출부(110)는 후보 영역 이미지로부터 탑승자 이미지를 포함하는 관심 영역 이미지를 추출한다. 관심 영역 추출부(110)는 전처리된 글라스 영역 중 탑승자 이미지를 포함하는 관심 영역 이미지를 추출한다. 관심 영역 추출부(110)는 관심 영역 이미지에 대해서 색 구별 알고리즘을 적용하여 탑승자 이미지와 안전벨트 이미지를 구분할 수 있다. 여기서, 색 구별 알고리즘은 다양한 탑승자에 대한 고유한 색 분포 정보를 확보하고, 안전벨트에 대한 고유한 색 분포 정보를 확보하며, 탑승자 이미지에 포함된 색 분포 정보와 안전벨트에 대한 고유한 색 분포 정보를 비교하여 탑승자 이미지와 안전벨트 이미지를 구별하는 방식이다.
관심 영역 추출부(110)는 관심 영역 이미지에 색 구별 알고리즘을 적용하여 관심 영역 이미지에서 탑승자 이미지와 안전벨트 이미지를 구분하지 못하면, 관심 영역 이미지에 대한 색 분포 정보를 획득한다. 관심 영역 추출부(110)는 관심 영역 이미지로부터 획득된 색 분포 정보를 기 저장된 복수의 안전벨트의 색 분포 정보와 비교하여 해당 관심 영역 이미지에 안전벨트 이미지가 포함되어 있는지 여부를 판단할 수 있다.
안전벨트 착용 판단부(130)는 관심 영역 이미지에 포함된 안전벨트 이미지의 비율이 기 결정된 비율을 초과할 경우에 해당 관심 영역 이미지에 포함된 사용자는 안전 벨트를 착용한 것으로 판단한다. 안전벨트 착용 판단부(130)는 관심 영역 이미지에 포함된 안전벨트 이미지의 비율이 기 결정된 비율 이하일 경우에 해당 관심 영역 이미지에 포함된 사용자는 안전 벨트 미착용으로 판단한다.
단속 결과 전달부(150)는 안전벨트 착용 판단부(130)에 의해서 안전벨트 미착용으로 판단되면 해당 단속 대상 차량에 대한 정보를 추가로 확보한다. 단속 결과 전달부(150)는 추가 정보가 확보된 차량에 대해서 안전벨트의 미착용에 따른 단속 결과 메시지를 전달한다. 단속 결과 전달부(150)는 단속 대상 차량(10)에 근거리 통신, 비콘, 저전력 근거리 통신 등의 방식으로 상호 연결되어 있으므로, 단속된 차량(10)에 단속 결과 메세지를 전달한다.
도 2는 본 발명의 일 실시 예에 따라 시퀀스 영상을 획득하는 일 예를 도시한 도면이다. 도 2를 참고하면, 단속 대상 차량(10)에 대해서 시계열적으로 연속된 복수의 시퀀스 이미지를 촬상한다. 예를 들어 시계열적으로 연속 촬상된 이미지는 단속 대상 차량(10)의 정면에서 촬영한 제N 번째 프레임인 제1 이미지(IMG_1)와 단속 대상 차량(10)의 정면에서 촬영한 제N+1 번째 프레임인 제2 이미지(IMG_2)로 이뤄지는 복수의 시퀀스 이미지로 구성될 수 있다. 본 발명의 다양한 실시 예에 따르면 안전 벨트 단속 장치(100)는 단속 대상 차량(10)의 정면에서 촬영한 제N 번째 프레임인 프론트 글라스를 포함하는 제1 이미지(IMG_1)를 획득하고, 단속 대상 차량(10)의 정면에서 촬용한 제N+1 번째 프레임인 프론트 글라스를 포함하는 제2 이미지(IMG_2)를 획득한다. 안전 벨트 단속 장치(100)는 단속 대상 차량(10)의 정면 또는 측면 영역에 대한 시계열적으로 연속 촬영된 이미지를 복수의 시퀀스 이미지로써 수신함으로써, 차량 내부에 탑승자와 관련된 이미지 정보를 보다 정밀하게 확보할 수 있다.
도 3은 본 발명의 일 실시 예에 따라 시퀀스 영상 중 일 영상을 이용하여 이미지 전처리를 적용한 일 예를 도시한 도면이다. 도 3(a)를 참고하면, 단속 대상 차량(10)의 정면에서 촬상한 정면 이미지는 차량의 프론트 글라스를 포함하는 이미지이다. 프론트 글라스가 썬팅되어 있으면, 썬팅으로 인하여 단송 대상 차량(10)의 내부를 검출하기 어렵기 때문에, 프론트 글라스를 포함하는 이미지의 밝기를 증가시키는 이미지 전처리를 실행할 수 있다(도 3(b)) 또는 프론트 글라스를 포함하는 이미지의 콘트라스트(contrast)를 변화시키는 이미지 전처리를 실행함으로써, 후보영역 이미지를 획득할 수 있다(도 3(c))
도 4는 본 발명의 일 실시 예에 따라 차량 이미지에서 후보 영역과 관심 영역을 추출하는 일 예를 도시한 도면이다. 도 4를 참고하면, 단속 대상 차량(10)을 포함하는 이미지에서 배경을 제거하고 후보 영역을 추출한다. 후보 영역을 추출하는 방식은 차량 이미지를 소정의 크기(복수의 픽셀로 구성됨)의 복수의 윈도우로 분할하고(도 4(a) 참고), 복수의 윈도우의 색 분포 정보를 산출하고 유사한 색 분포를 나타내는 복수의 윈도우를 서로 그룹화함으로써, 그룹화된 영역과 비그룹화 영역의 경계영역을 산출하고(도 4(b) 참고), 경계영역 안쪽에 포함되는 복수의 윈도우를 병합하여 후보 영역 이미지로 추출할 수 있다(도 4(c) 참고)
도 5는 본 발명의 일 실시 예에 따라 관심 영역 이미지에서 탑승자 이미지를 추출하고 안전벨트 유무를 검출하는 일 예를 도시한 도면이다. 도 5(a)를 참고하면, 상술한 알고리즘에 의해서 단속 대상 차량 이미지(복수의 탑승자를 포함한 이미지)에서 제1 후보 영역 이미지를 추출한다. 제1 후보 영역 이미지에는 복수의 사람이 포함되어 있으므로, 제1 관심 영역 이미지(사람 영역)와 제2 탑승자를 포함하는 제2 관심 영역 이미지(사람 영역)로 구분할 수 있다. 또한, 도 5(b)를 참고하면, 상술한 알고리즘에 의해서 단속 대상 차량 이미지(단수의 탑승자를 포함한 이미지)에서 제2 후보 영역 이미지를 추출한다. 제2 후보 영역 이미지는 단수의 제3 탑승자를 포함하고 있으므로, 제3 탑승자를 포함하는 제3 관심 영역 이미지(사람 영역)를 포함한다.
도 6은 도 5(a)에 도시된 안전벨트를 착용하지 않은 일 예를 예시적으로 설명하는 도면이다. 도 6(a)을 참고하면, 안전 벨트 단속 장치(100)는 단속 대상 차량 이미지를 포함하는 제1 후보 영역 이미지에서 제2 관심 영역 이미지를 추출하고, 제2 관심 영역 이미지에 포함된 탑승자 이미지를 구분한다. 구체적으로 살펴보면 안전 벨트 단속 장치(100)는 차량의 프론트 글라스를 포함하는 후보 영역을 우선 추출한다. 안전 벨트 단속 장치(100)는 추출된 후보 영역에 대해서 전처리를 실행함으로써, 후보 영역 이미지를 획득한다. 안전 벨트 단속 장치(100)는 후보 영역 이미지에 제1 탑승자와 제2 탑승자를 구분하고, 제2 탑승자의 이미지가 포함된 제2 관심 영역 이미지를 추출한다(도 6(b) 참고). 여기서 제2 관심 영역 이미지에는 제2 탑승자의 이미지를 포함하고 있다. 안전 벨트 단속 장치(100)는 제2 관심 영역 이미지 중 핸들 영역을 우선 감지하고, 핸들 영역을 기준으로 하여 제2 탑승자의 이미지에 안전벨트 이미지가 포함되어 있는지 여부를 분석한다. 실시 예에 따라서 안전 벨트 단속 장치(100)는 제2 관심 영역 이미지 중 제2 탑승자의 이미지을 식별하고, 식별된 제2 탑승자의 이미지에 안전벨트 이미지가 포함되어 있는지 여부를 분석한다. 안전 벨트 단속 장치(100)는 제2 탑승자의 이미지와 안전벨트의 이미지가 중첩되는 비율을 연산한다.
안전 벨트 단속 장치(100)는 중첩되는 비율이 기 결정된 값보다 낮은 경우에는 해당 탑승자는 안전벨트를 착용하지 않은 것으로 판단한다. 중첩되는 비율이 기 결정된 값을 초과하는 경우에는 해당 탑승자는 안전벨트를 착용하고 있는 것으로 판단한다.
도 7은 도 5(b)에 도시된 안전벨트를 착용하지 않은 다른 예를 예시적으로 설명하는 도면이다. 도 7(a)를 참고하면, 안전 벨트 단속 장치(100)는 단속 대상 차량의 일부 이미지를 포함하는 부분 이미지에서 제3 관심 영역 이미지를 추출한다. 안전 벨트 단속 장치(100)는 차량의 프론트 글라스를 포함하는 후보 영역을 추출한다. 안전 벨트 단속 장치(100)는 추출된 후보 영역에 대해서 전처리를 실행함으로써, 후보 영역 이미지를 획득한다. 안전 벨트 단속 장치(100)는 후보 영역 이미지에 제3 탑승자 이미지가 포함되어 있는지를 여부를 판단하고, 제3 탑승자 이미지가 포함된 제3 관심 영역 이미지를 추출한다(도 7(b) 참고). 여기서 제3 관심 영역 이미지는 제3 탑승자의 이미지를 포함하고, 안전 벨트 단속 장치(100)는 운전 핸들 영역을 식별하고, 핸들 영역을 기준으로 제3 탑승자 이미지와 안전벨트 이미지를 구별하여, 이들이 얼마나 중첩되어 있는지 여부를 분석한다. 실시 예에 따라서 안전 벨트 단속 장치(100)는 제3 관심 영역 이미지 중 제3 탑승자의 이미지를 식별하고, 식별된 제3 탑승자의 이미지에 안전벨트 이미지가 포함되어 있는지 여부를 분석한다. 안전 벨트 단속 장치(100)는 제3 탑승자 이미지와 안전벨트의 이미지가 중첩되는 비율을 연산한다. 안전 벨트 단속 장치(100)는 중첩되는 비율이 기 결정된 값보다 낮은 경우에는 해당 탑승자는 안전벨트를 착용하지 않은 것으로 판단한다. 중첩되는 비율이 기 결정된 값을 초과하는 경우에는 해당 탑승자는 안전벨트를 착용하고 있는 것으로 판단한다.
도 8은 본 발명의 다른 실시 예에 따라 안전벨트 단속 방법의 구체적인 절차를 예시적으로 설명하는 도면이다. 안전벨트 단속 장치(100)는 관심 영역 추출부(110), 안전벨트 착용 판단부(130) 및 단속 결과 전달부(150)를 포함한다. 도 8을 참고하면, 복수의 이미지를 수신하는 단계(S810), 후보 영역 이미지를 추출하는 단계(S820), 관심 영역 이미지를 추출하는 단계(S830) 및 안전벨트 착용 여부를 판단하는 단계(S840)를 포함한다.
복수의 이미지를 수신하는 단계(S810)에서 단속 대상 차량에 대해서 시계열적으로 연속 촬상된 복수의 시퀀스 이미지를 수신한다. 후보 영역 이미지를 추출하는 단계에서(S820)에서 수신된 복수의 시퀀스 이미지에 대해서 후보 영역을 추출하며, 추출된 후보 영역을 이미지 전처리하여 후보 영역 이미지를 추출한다.
관심 영역 이미지를 추출하는 단계에서(S830)에서 후보 영역 이미지로부터 운전 핸들을 인식하고, 운전 핸들을 기준으로 하여 탑승자를 포함하는 관심 영역 이미지를 추출할 수 있다. 실시 예에 따라서는 후보 영역 이미지로부터 탑승자 이미지를 관심 영역 이미지로 추출할 수 있다. 안전벨트 착용 여부를 판단하는 단계(S840)에서 관심 영역 이미지에 안전벨트 이미지가 포함되어 있지 않으면 안전벨트 미착용으로 판단하고, 상기 관심 영역 이미지에 안전벨트 이미지가 포함되어 있으면 안전벨트 착용으로 판단한다. 만약, 상기 관심 영역 이미지에 안전벨트 이미지가 포함되어 있는지 여부를 판정할 수 없을 경우에는 판정 불가로 판단한다.
본 발명의 다양한 실시 예에 따르면 안전벨트 착용 여부를 판단하는 단계(S840) 이후에 탑승자 이미지와 안전벨트 이미지의 중첩율을 설정 정확도의 판단 기준이 될 수 있다(S850). 설정 정확도 이상이면(S850-Y), 자동 단속 결과를 확정하고 고지서를 발급하는 처리를 실행한다(S860). 설정 정확도 이하이면(S850-N), 단속 작업자에 의해서 수동으로 단속하는 단계를 실행한다(S870). 수동으로 단속한 결과 데이터를 축적하여 훈련 데이터로 업데이트하는 단계를 실행한다(S880)
한편, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.
여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
10 : 단속 대상 차량
100 : 안전 벨트 단속 장치
110 : 관심 영역 추출부
130 : 안전벨트 착용 판단부
150 : 단속 결과 전달부
100 : 안전 벨트 단속 장치
110 : 관심 영역 추출부
130 : 안전벨트 착용 판단부
150 : 단속 결과 전달부
Claims (12)
- 시퀀스 이미지 분석에 기반한 안전 벨트 단속 장치에 있어서,
단속 대상 차량에 대해서 시계열적으로 연속 촬상된 복수의 시퀀스 이미지를 수신하고, 수신된 복수의 시퀀스 이미지에 대해서 후보 영역을 추출하며, 추출된 후보 영역을 이미지 전처리하여 후보 영역 이미지를 추출하고, 상기 후보 영역 이미지로부터 탑승자 이미지를 포함하는 관심 영역 이미지를 추출하는 관심 영역 추출부;
상기 관심 영역 이미지에 안전벨트 이미지가 포함되어 있지 않으면 안전벨트 미착용으로 판단하고, 상기 관심 영역 이미지에 안전벨트 이미지가 포함되어 있으면 안전벨트 착용으로 판단하며, 상기 관심 영역 이미지에 안전벨트 이미지가 포함되었는지 판단이 어려운 경우에는 판단 불가로 판단하는 안전벨트 착용 판단부; 및
상기 안전벨트 착용 판단부에 의해서 안전벨트 미착용으로 판단되면 해당 단속 대상 차량에 대한 정보를 추가로 확보하고, 해당 차량에 안전벨트 미착용에 대한 정보를 전달하는 단속 결과 전달부;를 포함하는 다중 영상 분석에 기반한 안전벨트 단속 장치.
- 제1 항에 있어서,
상기 관심 영역 추출부는, 상기 복수의 시퀀스 이미지 중에서 상기 단속 대상 차량의 프론트 글라스, 사이드 글라스 및 리어 글라스를 적어도 일부를 포함하는 복수의 시퀀스 이미지 중 적어도 하나 이상의 이미지를 선별하고, 상기 선별된 시퀀스 이미지에 대해서 상기 후보 영역 이미지를 추출하는 것을 특징으로 하는 다중 영상 분석에 기반한 안전 벨트 단속 장치.
- 제2 항에 있어서,
상기 관심 영역 추출부는, 상기 선별된 시퀀스 이미지 중에서 글라스 영역을 추출하고, 해당 글라스 영역에 대한 밝기 및 콘트라스트를 조절하는 이미지 전처리를 실행하는 것을 특징으로 하는 다중 영상 분석에 기반한 안전 벨트 단속 장치.
- 제3 항에 있어서,
상기 관심 영역 추출부는, 상기 전처리된 글라스 영역 중 탑승자 이미지를 포함하는 상기 관심 영역 이미지를 추출하고, 추출된 상기 관심 영역 이미지에 색 구별 알고리즘을 적용하여 탑승자 이미지와 안전벨트 이미지를 구분하는 것을 특징으로 하는 다중 영상 분석에 기반한 안전 벨트 단속 장치.
- 제4 항에 있어서,
상기 관심 영역 추출부는, 상기 색 구별 알고리즘에 의해서 상기 관심 영역 이미지에서 탑승자 이미지와 안전벨트 이미지를 구분하지 못하면, 상기 관심 영역 이미지에 대한 색 분포 정보를 획득하고, 상기 획득된 색 분포 정보를 기 저장된 복수의 안전벨트의 색 분포 정보와 비교하여 해당 관심 영역 이미지에 안전벨트 이미지가 포함되어 있는지 여부를 판단하는 것을 특징으로 하는 다중 영상 분석에 기반한 안전 벨트 단속 장치.
- 제1 항에 있어서,
상기 안전벨트 착용 판단부는, 상기 관심 영역 이미지에 포함된 상기 안전벨트 이미지의 비율이 기 결정된 비율을 초과할 경우에 안전 벨트 착용으로 판단하고, 상기 관심 영역 이미지에 포함된 상기 안전벨트 이미지의 비율이 기 결정된 비율 이하일 경우에 안전 벨트 미착용으로 판단하는 것을 특징으로 하는 다중 영상 분석에 기반한 안전 벨트 단속 장치.
- 제6 항에 있어서,
상기 안전벨트 착용 판단부는, 상기 관심 영역 이미지에 포함된 상기 안전벨트 이미지의 비율이 기 결정된 비율 이하일 경우에, 사용자로부터 입력된 육안 판단 정보에 기초하여 안전벨트 착용 여부를 판단하는 것을 특징으로 하는 다중 영상 분석에 기반한 안전 벨트 단속 장치.
- 관심 영역 추출부, 안전벨트 착용 판단부 및 단속 결과 전달부를 포함하는 다중 영상 분석에 기반한 안전 벨트 단속 장치를 이용한 안전 벨트 단속 방법에 있어서, 단속 대상 차량에 대해서 다양한 각도에서 촬상된 복수의 이미지를 수신하는 단계;
수신된 복수의 이미지에 대해서 후보 영역을 추출하며, 추출된 후보 영역을 이미지 전처리하여 후보 영역 이미지를 추출하는 단계;
상기 후보 영역 이미지로부터 탑승자를 포함하는 관심 영역 이미지를 추출하는 단계; 및
상기 관심 영역 이미지 중 상기 탑승자 이미지에 안전벨트 이미지가 포함되어 있지 않으면 안전벨트 미착용으로 판단하고, 상기 탑승자 이미지에 안전벨트 이미지가 포함되어 있으면 안전벨트 착용으로 판단하는 안전벨트 착용 여부를 판단하는 단계;를 포함하는 안전 벨트 단속 방법.
- 제8 항에 있어서,
상기 후보 영역 이미지를 추출하는 단계는, 상기 복수의 시퀀스 이미지에서 상기 단속 대상 차량의 프론트 글라스, 사이드 글라스 및 리어 글라스를 적어도 일부를 포함하는 적어도 하나 이상의 시퀀스 이미지를 선별하는 단계와 상기 선별된 시퀀스 이미지 중에서 글라스 영역을 추출하는 단계와 상기 추출된 글라스 영역에 대한 밝기 및 콘트라스트를 조절하여 이미지 전처리를 실행하는 단계를 더 포함하는 것을 특징으로 하는 안전 벨트 단속 방법.
- 제9 항에 있어서,
상기 관심 영역 이미지를 추출하는 단계는, 상기 전처리된 글라스 영역 중 탑승자를 포함하는 상기 관심 영역을 추출하는 단계와 상기 관심 영역에서 대해서 색 구별 알고리즘을 적용하여 탑승자 영역과 안전벨트 영역을 구분하여 관심 영역 이미지를 추출하는 단계를 포함하는 것을 특징으로 하는 안전 벨트 단속 방법.
- 제10 항에 있어서,
상기 관심 영역 이미지를 추출하는 단계는, 상기 관심 영역 이미지에 상기 색 구별 알고리즘을 적용해서 상기 관심 영역 이미지에서 탑승자 영역과 안전벨트 영역을 구분하지 못하면, 상기 관심 영역 이미지에 대한 색 분포 정보를 획득하는 단계와 상기 획득된 색 분포 정보를 기 저장된 안전벨트의 색 분포 정보와 비교하여 안전벨트의 유무를 판단하는 단계를 더 포함하는 것을 특징으로 하는 안전 벨트 단속 방법.
- 제8 항에 있어서,
상기 안전벨트 착용 여부를 판단하는 단계는, 상기 관심 영역 이미지에 포함된 상기 안전벨트 이미지의 비율이 기 결정된 비율을 초과할 경우에 안전벨트 착용으로 판단하고, 상기 관심 영역 이미지에 포함된 상기 안전벨트 이미지의 비율이 기 결정된 비율 이하일 경우에 안전벨트 미착용 또는 판정 불가로 판단하는 것을 특징으로 하는 안전 벨트 단속 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200045916A KR20210128532A (ko) | 2020-04-16 | 2020-04-16 | 시퀀스 영상 분석에 기반한 안전 벨트 단속 장치 및 이를 이용한 안전 벨트 단속 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200045916A KR20210128532A (ko) | 2020-04-16 | 2020-04-16 | 시퀀스 영상 분석에 기반한 안전 벨트 단속 장치 및 이를 이용한 안전 벨트 단속 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210128532A true KR20210128532A (ko) | 2021-10-27 |
Family
ID=78287126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200045916A KR20210128532A (ko) | 2020-04-16 | 2020-04-16 | 시퀀스 영상 분석에 기반한 안전 벨트 단속 장치 및 이를 이용한 안전 벨트 단속 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20210128532A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102443514B1 (ko) * | 2022-03-17 | 2022-09-15 | (주)지앤티솔루션 | 안전벨트 착용 검출을 위한 서비스 제공 시스템 및 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101579570B1 (ko) | 2014-03-28 | 2015-12-22 | 동서대학교산학협력단 | 차량 안전벨트 단속시스템 |
| KR101655858B1 (ko) | 2015-02-03 | 2016-09-08 | (주) 미래테크원 | 안전벨트 미착용 단속 시스템 및 그의 운용 방법 |
-
2020
- 2020-04-16 KR KR1020200045916A patent/KR20210128532A/ko not_active IP Right Cessation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101579570B1 (ko) | 2014-03-28 | 2015-12-22 | 동서대학교산학협력단 | 차량 안전벨트 단속시스템 |
| KR101655858B1 (ko) | 2015-02-03 | 2016-09-08 | (주) 미래테크원 | 안전벨트 미착용 단속 시스템 및 그의 운용 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102443514B1 (ko) * | 2022-03-17 | 2022-09-15 | (주)지앤티솔루션 | 안전벨트 착용 검출을 위한 서비스 제공 시스템 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11003931B2 (en) | Vehicle monitoring method and apparatus, processor, and image acquisition device | |
| US9842266B2 (en) | Method for detecting driver cell phone usage from side-view images | |
| US9646215B2 (en) | Eye part detection apparatus | |
| CN110084184B (zh) | 一种基于图像处理技术的安全带未系探测系统和方法 | |
| US9721173B2 (en) | Machine learning approach for detecting mobile phone usage by a driver | |
| US8824742B2 (en) | Occupancy detection for managed lane enforcement based on localization and classification of windshield images | |
| US8811664B2 (en) | Vehicle occupancy detection via single band infrared imaging | |
| US20160357186A1 (en) | Autonomous driving system and method for same | |
| US7650034B2 (en) | Method of locating a human eye in a video image | |
| WO2012160251A2 (en) | A system, a detection unit, a method and a computer program for detecting passengers' seat belt use in a vehicle | |
| US7620216B2 (en) | Method of tracking a human eye in a video image | |
| GB2551001A (en) | Vision-Based Rain Detection Using Deep Learning | |
| US20200249764A1 (en) | Vehicle control with facial and gesture recognition using a convolutional neural network | |
| CN109740595A (zh) | 一种基于机器视觉的斜向车辆检测与跟踪系统及方法 | |
| US10474930B1 (en) | Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same | |
| EP2246806A1 (en) | Vision method and system for automatically detecting objects in front of a motor vehicle | |
| KR101957759B1 (ko) | 안전 벨트 검출 시스템 및 그 방법 | |
| KR101727487B1 (ko) | 내용기반 차량분석기 및 이를 이용한 내용기반 차량분석방법 | |
| US20130051625A1 (en) | Front seat vehicle occupancy detection via seat pattern recognition | |
| US20190180132A1 (en) | Method and Apparatus For License Plate Recognition Using Multiple Fields of View | |
| EP3213257B1 (en) | Image processing system | |
| KR20100113371A (ko) | 원적외선 스테레오 카메라를 이용한 보행자 보호 방법 및 장치 | |
| Sharma et al. | A hybrid technique for license plate recognition based on feature selection of wavelet transform and artificial neural network | |
| CN104798084A (zh) | 用于过滤对象信息的方法和信息系统 | |
| KR20210128532A (ko) | 시퀀스 영상 분석에 기반한 안전 벨트 단속 장치 및 이를 이용한 안전 벨트 단속 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X601 | Decision of rejection after re-examination |