KR102518152B1 - 대교 위 다채널 카메라 영상에서 차량 추적 기반의 불법 차선침입 검출 시스템 - Google Patents

대교 위 다채널 카메라 영상에서 차량 추적 기반의 불법 차선침입 검출 시스템 Download PDF

Info

Publication number
KR102518152B1
KR102518152B1 KR1020220105792A KR20220105792A KR102518152B1 KR 102518152 B1 KR102518152 B1 KR 102518152B1 KR 1020220105792 A KR1020220105792 A KR 1020220105792A KR 20220105792 A KR20220105792 A KR 20220105792A KR 102518152 B1 KR102518152 B1 KR 102518152B1
Authority
KR
South Korea
Prior art keywords
vehicle
information
image
lane
video
Prior art date
Application number
KR1020220105792A
Other languages
English (en)
Other versions
KR102518152B9 (ko
Inventor
백성현
이재홍
임형택
김지윤
서상현
박성원
김보순
황동현
최인석
Original Assignee
주식회사 아이지오
부산시설공단
부산광역시
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이지오, 부산시설공단, 부산광역시 filed Critical 주식회사 아이지오
Priority to KR1020220105792A priority Critical patent/KR102518152B1/ko
Application granted granted Critical
Publication of KR102518152B1 publication Critical patent/KR102518152B1/ko
Publication of KR102518152B9 publication Critical patent/KR102518152B9/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

실시예는 대교 위 다채널 카메라 영상에서 차량 추적 기반의 불법 차선침입 검출 시스템에 관한 것이다.
구체적으로, 이러한 시스템은 대교 위 "끼어들기"로 인해 발생하는 교통정체 및 관련 민원 해소를 위해 상시 카메라 단속이 가능하도록 "끼어들기"에 대한 패턴을 정의한다. 그리고 또한, 다채널 영상에서 객체 재식별 기술, 도로 정체 상황인지 기술, 이동경로 추적기술(가시거리 300m이내), 불법 차선침입 검출 AI 서비스 기술, 실시간 불법 차선변경 차량 팝업 및 동시저장 기능 SW UI을 구현한다. 아울러, 대교(광안대교) 위 상/하판 실증을 통해 상용 수준의 제품을 확보하는 것을 특징으로 한다.
따라서, 이를 통해 실시예는 기존 드론 운영과 210화소 미만 카메라 단속 장비의 한계로 상시 단속이 불가능한 끼어들기 상황에 대응한다.
그리고, 이러한 경우, 이러한 시스템에서 추가적으로 위반차량 영상 단속을 위한 객체&다채널 영상 추적을 한다.
또한, 이러한 시스템에서 원거리 카메라(차량 감지용), 근거리 카메라(차량번호 감지용) 등 카메라 간 영상 공유 및 식별 대상 객체(차량)의 분석 결과 공유를 통한 영상 간 객체 추적을 제공한다.

Description

대교 위 다채널 카메라 영상에서 차량 추적 기반의 불법 차선침입 검출 시스템{Development of illegal lane intrusion detection system based on vehicle re-identification (tracking) from multi-channel camera images on the bridge}
본 명세서에 개시된 내용은 끼어들기 차량을 탐색 추적하는 분야에 관한 것으로, 보다 상세하게는 끼어들기를 확인할 경우, 도로 정체 상황 등에서 실질적으로 도움을 주는 끼어들기 상황을 확인하여 추적 감시하는 것이다.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.
일반적으로, 끼어들기란 정차 또는 서행하고 있는 차들 사이로 차선을 변경하여 다른 운전자에게 피해를 주는 행위를 의미한다. 이러한 끼어들기 위반은 도로교통법 제 23조에 "끼어들기 금지"라는 조항으로 정의되어 있으며, 이 법에 의하면 차량이 정지/서행하고 있는 상황에서 끼어들지 못한다고 명시하고 있다.
하지만 끼어들기 행위에 대한 경찰의 인력단속이 매우 취약하여 현장 단속이 어렵고, 단속하더라도 위반 증거 확보가 곤란하여 실질적인 단속이 쉽지 않을 수도 있다.
끼어들기는 출/퇴근 시간마다 반복되어 발생하고 있으며, 경찰의 단속에도 불구하고 지속적으로 발생하며, 2013년 6월 끼어들기 금지 조항이 발의되면서 무인 단속 카메라를 통한 단속이 시행되었지만 설치 위치가 램프 진출 구간 등에 설치되어 사고위험 증가, 혼잡지체 가중 등이 있기도 하다.
무인 단속 장비를 도입 운영하고 있으나 녹화 영상을 바탕으로 직접 관리하며, 이로인해 여전히 끼어들기 관련 민원은 지속적으로 발생하고, 경찰에서는 고정식/수동식 카메라, 시민신고제도(안전신문고) 등을 운영하는 상황이기도 하다.
한편, 일반적으로 끼어들기는 도로 내 상습 정체 구간에서 빈번히 발생한다. 이로 인해 단속요청 민원이 많이 있으며, 이에 따른 접촉사고도 발생하고 있어 출근길/퇴근길 정체는 빈번히 발생한다. 그런데, 이러한 경우, 경찰이 이동식 카메라로 촬영하여 단속하거나 직접 단속을 통해 교통통제를 할 수 있으나, 지속성이 없고 사람의 교통 인식 개선 및 내재화에는 한계가 있기도 하다.
참고적으로, 이러한 배경의 선행기술문헌은 아래의 문헌 등이 나온다.
(특허문헌 0001) KR101418533 B1
참고적으로, 이러한 문헌 1은 끼어들기 객체를 확인할 경우, 간단하게 진출하는 차량들에 진입부의 차량이 포함되어 있는지 여부를 확인하여 끼어들기 여부를 파악하는 정도이다.
개시된 내용은, 기존 드론 운영과 210화소 미만 카메라 단속 장비의 한계로 상시 단속이 불가능한 끼어들기 상황에 대응할 수 있도록 하는 대교 위 다채널 카메라 영상에서 차량 추적 기반의 불법 차선침입 검출 시스템을 제공하고자 한다.
그리고, 이러한 경우, 이러한 시스템에서 추가적으로 위반차량 영상 단속을 위한 객체&다채널 영상 추적을 할 수 있도록 한다.
또한, 이러한 시스템에서 원거리 카메라(차량 감지용), 근거리 카메라(차량번호 감지용) 등 카메라 간 영상 공유 및 식별 대상 객체(차량)의 분석 결과 공유를 통한 영상 간 객체 추적을 할 수 있도록 한다.
그래서, 이를 통해 대교 위 발생하는 끼어들기(차선변경)으로 발생하는 정체현상를 해소하는데 기여하도록 한다.
실시예에 따른 대교 위 다채널 카메라 영상에서 차량 추적 기반의 불법 차선침입 검출 시스템은,
먼저, 교통 정체 구간에서 불법 차선 침입을 검출한다.
조금 더 상세하게는, 교통 정체 구간에서 발생하는 끼어들기(차선변경) 위반 차량을 인공지능 기술을 통해 검출하고, 예를 들어, 광안대교 상습 정체구간(출구~1km) 내 광범위하게 발생하는 위반차량을 검출한다.
그리고, 이에 더하여 위반차량 영상 단속을 위한 객체&다채널 영상 추적을 제공하며, 구체적으로는 원거리 카메라, 근거리 카메라 등 카메라 간 영상 공유 및 식별 대상 객체(차량)의 분석 결과 공유를 통한 영상 간 객체 추적을 제공한다.
한편 추가적으로, 교통 정체구간 판단 및 불법 차선침입 검출 AI 서비스를 수행하고, 실선 구간 내 발생하는 위반차량 영상저장 & 영상 이벤트를 제공한다.
예를 들어, 점선 구간 내 발생하는 위반차량 단속을 위해 AI 교통 정체 구간을 판단하고 끼어들기 차량에 대한 차량속도와 끼어들기 위치 등 종합적 분석 결과를 영상저장 & 영상 이벤트를 제공하는 것을 특징으로 한다.
실시예들에 의하면, 대교 위 "끼어들기"로 인해 발생하는 교통정체 및 관련 민원 해소를 위해 상시 카메라 단속이 가능하도록 "끼어들기"에 대한 패턴을 정의한다. 그리고 또한, 다채널 영상에서 객체 재식별 기술, 도로 정체 상황인지 기술, 이동경로 추적기술(가시거리 300m이내), 불법 차선침입 검출 AI 서비스 기술, 실시간 불법 차선변경 차량 팝업 및 동시저장 기능 SW UI을 구현한다. 아울러, 대교(광안대교) 위 상/하판 실증을 통해 상용 수준의 제품을 확보를 제공한다.
그리고, 이에 더하여 교통 정체 구간을 판단하고, 이러한 구간에서 실과, 점선 구분없이 불법 차선 침입을 검출하며, 예를 들어, 광안대교 상습 정체구간(출구~1km) 내 광범위하게 발생하는 위반차량을 검출한다.
도 1은 일실시예에 따른 대교 위 다채널 카메라 영상에서 차량 추적 기반의 불법 차선침입 검출 시스템을 개념적으로 설명하기 위한 도면
도 2는 일실시예에 따른 대교 위 다채널 카메라 영상에서 차량 추적 기반의 불법 차선침입 검출 시스템을 전체적으로 도시한 도면
도 3은 일실시예에 따른 대교 위 다채널 카메라 영상에서 차량 추적 기반의 불법 차선침입 검출 시스템이 적용된 관리 정보처리장치의 구성을 도시한 블록도
도 4는 일실시예에 따른 대교 위 다채널 카메라 영상에서 차량 추적 기반의 불법 차선침입 검출 시스템의 동작을 순서대로 도시한 플로우 차트
도 1은 일실시예에 따른 대교 위 다채널 카메라 영상에서 차량 추적 기반의 불법 차선침입 검출 시스템을 개념적으로 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 일실시예의 대교 위 다채널 카메라 영상에서 차량 추적 기반의 불법 차선침입 검출 시스템은 먼저 관리자 설정 통행장소에 설치된 원거리 객체 인식용 제 1 영상감시장치를 포함한다. 그리고, 이에 더하여 상기 통행장소에서 상기 제 1 영상감시장치와 이격되어 주변에 설치된 근거리 객체 인식용 제 2 영상감시장치를 포함한다. 그래서, 이러한 제 1 영상감시장치에 의해 원거리 영상정보를 수집할 경우, 설정 포맷으로부터 끼어들기 차량을 추출하여, 상기 제 2 영상감시장치의 근거리 영상정보에 매핑하여 해당 객체를 탐색함으로써, 차선침입 여부를 추적 감시하는 관리 정보처리장치를 제공한다.
보다 상세하게, 일실시예에 따른 시스템은 먼저, 기존 드론 운영과 210화소 미만 카메라 단속 장비의 한계로 상시 단속이 불가능한 끼어들기 상황에 대응할 수 있도록 한다.
그리고, 이러한 경우, 이러한 시스템에서 추가적으로 위반차량 영상 단속을 위한 객체&다채널 영상 추적을 할 수 있도록 한다.
또한, 이러한 시스템에서 원거리 카메라(차량 감지용), 근거리 카메라(차량번호 감지용) 등 카메라 간 영상 공유 및 식별 대상 객체(차량)의 분석 결과 공유를 통한 영상 간 객체 추적을 할 수 있도록 한다.
즉, 대교 위 "끼어들기"로 인해 발생하는 교통정체 및 관련 민원 해소를 위해 상시 카메라 단속이 가능하도록 "끼어들기"에 대한 패턴을 정의한다. 그리고 또한, 다채널 영상에서 객체 재식별 기술, 도로 정체 상황인지 기술, 이동경로 추적기술(가시거리 300m이내), 불법 차선침입 검출 AI 서비스 기술, 실시간 불법 차선변경 차량 팝업 및 동시저장 기능 SW UI을 구현한다. 아울러, 대교(광안대교) 위 상/하판 실증을 통해 상용 수준의 제품을 확보하도록 한다.
구체적으로는 아래와 같다.
먼저, 이러한 시스템은 교통 정체 구간에서 불법 차선 침입을 검출한다.
조금 더 상세하게는, 교통 정체 구간에서 발생하는 끼어들기(차선변경) 위반 차량을 인공지능 기술을 통해 검출하고, 예를 들어, 광안대교 상습 정체구간(출구~1km) 내 광범위하게 발생하는 위반차량을 검출한다.
그리고, 이에 더하여 이러한 시스템은 위반차량 영상 단속을 위한 객체&다채널 영상 추적을 제공하며, 구체적으로는 원거리 카메라, 근거리 카메라 등 카메라 간 영상 공유 및 식별 대상 객체(차량)의 분석 결과 공유를 통한 영상 간 객체 추적을 제공한다.
부가적으로, 이러한 경우, 원거리 객체 인식용 카메라는 원거리(최대 300m)의 차량을 인식하기 위한 목적으로 사용하고, 근거리 카메라는 근거리(최대 150m)의 차량의 번호판을 인식하기 위한 목적으로 사용한다. 그리고, 이러한 카메라 2대를 사용하는 이유는 카메라의 설치 각도와 인식가능범위, 초점 등을 고려한 것이다.
한편 추가적으로, 이러한 시스템에서는 또한 교통 정체구간 판단 및 불법 차선침입 검출 AI 서비스를 수행하고, 실선 구간 내 발생하는 위반차량 영상저장 & 영상 이벤트를 제공한다.
예를 들어, 점선 구간 내 발생하는 위반차량 단속을 위해 AI 교통 정체 구간을 판단하고 끼어들기 차량에 대한 차량속도와 끼어들기 위치 등 종합적 분석 결과를 영상저장 & 영상 이벤트를 제공한다.
도 2는 일실시예에 따른 대교 위 다채널 카메라 영상에서 차량 추적 기반의 불법 차선침입 검출 시스템에 적용한 카메라 운영 방안을 설명하기 위한 도면이다.
도 2에 도시된 바와 같이, 일실시예에 따른 카메라 운영 방안은 4K 급 카메라를 선정 및 대교 내 설치하며, 예를 들어, 대상 공간은 광안대교 내 끼어들기가 발생하는 정체 구간(출구램프0m ~ 300m)에 사용한다. 그리고, 카메라 선정에 있어서, 과거 차량인식용 4K카메라의 비용이 매우 높아 210만 화소의 카메라를 사용하였으나 최근에는 200만~400만 사이로 매우 저렴하다.
그리고, 아울러 원거리 객체 인식용 카메라는 원거리(최대 300m)의 차량을 인식하기 위한 목적으로 사용하고, 근거리 카메라는 근거리(최대 150m)의 차량의 번호판을 인식하기 위한 목적으로 사용한다. 그리고, 이러한 카메라 2대를 사용하는 이유는 전술한 바대로 카메라의 설치 각도와 인식가능범위, 초점 등을 고려한 것이다.
도 3은 일실시예에 따른 대교 위 다채널 카메라 영상에서 차량 추적 기반의 불법 차선침입 검출 시스템에 적용한 도로 정체 상황에 대한 인지를 설명하기 위한 도면이다.
도 3에 도시된 바와 같이, 일실시예에 따른 도로 정체 상황의 인지는 수집영상에서 차량을 인식할 수 있도록 하고 이동속도를 추측한다(이동속도는 정확할 필요가 없음).
그리고, 객체의 밀집도와 이동속도를 연계 분석하여 정체(원할, 보통, 정체)의 정도를 확인한다.
또한 차량 인식은 딥러닝 시스템과 연계하고, 정체차로는 차선을 중심으로 구분될 수 있으며 향후 끼어들기 영역 값으로 활용한다.
도 4는 일실시예에 따른 대교 위 다채널 카메라 영상에서 차량 추적 기반의 불법 차선침입 검출 시스템에 적용한 차량 이동경로(속도) 추정을 설명하기 위한 도면이다.
도 4에 도시된 바와 같이, 일실시예에 따른 차량 이동경로 추정은 300m 내 모든 객체 식별 및 끊김없이 추적할 수 있도록 보유 학습기 고도화를 하도록 한다.
그리고 또한, 대교에 설치된 카메라에서 수집되는 영상을 바탕으로 300m 용 학습 데이터 셋을 구현한다.
아울러 보유하고 있는 YOLO/CNN 학습기에 학습을 진행한다(※현재의 학습기는 원거리에 대한 차량 데이터 부재로 정확한 식별이 가능한지 장담할 수 없는 상황임).
부가하면, 이러한 학습기는 300m에서 광범위하게 발생하는 끼어들기 위반차량 단속의 이동경로 분석에 활용한다.
그래서, 이에 따라 이러한 수집 영상을 프레임단위로 분할하고 객 프레임을 딥러닝 시스템으로 차량을 식별 후 분석한다.
구체적으로는, 프레임 단위 영상에서 객체 라벨링 영역을 분리한다(영상영역 내 위치 확인, 중심 값 생성).
그리고, 이러한 각 프레임 전후의 객체 라벨링 영역 분리 값의 위치 이동을 계산함으로써, 이를 통해 차량의 이동경로와 속도를 확인한다.
도 5는 일실시예에 따른 대교 위 다채널 카메라 영상에서 차량 추적 기반의 불법 차선침입 검출 시스템에 적용한 객체 재탐색을 설명하기 위한 도면이다.
도 5에 도시된 바와 같이, 일실시예에 따른 객체 재탐색은 다채널 카메라의 객체의 재식별에는 객체의 ID 부여 문제와 객체 특징 미공유, 인식객체의 형태 변화로 인한 동일 객체 이중 ID 부여 문제 등으로 인해 정확도가 떨어지는 문제점이 발생한다.
그래서, 이에 따라 1차에는 탐지결과 값을 비교분석하여 다채널 카메라의 재식별을 제공하고 2차에는 객체의 특징 중심 비교분석 기능을 추가하여 재식별의 고도를 할 수 있도록 한다.
도 6은 일실시예에 따른 객체 재탐색에 적용한 수단을 설명하기 위한 도면이다.
도 6에 도시된 바와 같이, 일실시예에 따른 객체 재탐색 수단은 A 카메라 영상 분석 네트워크에서 히트 맵(Heat Map), 객체 중심(Object Center), 바운딩 박스 값(Bounding Box Value)을 중심으로 ID를 부여하고 B 카메라 영상 분석 네트워크로 공유를 진행한다.
구체적으로는, 수집영상에서 영역을 (N * M 개)분할하고 식별 차량이 포함된 영역 값을 저장(Heat Map)한다. 그리고, 이렇게 식별된 차량에서 객체 중심 값을 생성하고(Object Center), 식별 차량의 영역 사이즈와 칼라, 종류 등을 산출한다(Bounding Box Value).
다음, B 카메라 영상 분석 네트워크에서 A 카메라 영상 분석 네트워크에서 전달 받은 Heat Map, Object Center, Bounding Box Size를 중심으로 대상 차량을 탐색한다.
그래서, 이를 위해, A 카메라(최대 300m)에서 판단된 끼어들기 차량의 정보를 B 카메라(최대 150m)로 전달하여 차량번호를 촬영할 있도록 정보 전달을 수행한다.
도 7은 일실시예에 따른 대교 위 다채널 카메라 영상에서 차량 추적 기반의 불법 차선침입 검출 시스템에 적용한 즉, 객체 재탐색에 적용한 객체 특징 분석을 위한 객체 분할 학습을 설명하기 위한 도면이다.
도 7에 도시된 바와 같이, 일실시예에 따른 객체 분할 학습은 먼저, Transformer-based Object Re-Identification 기반으로 수행한다. 그리고 또한, 이에 더하여 객체 이미지 분할 및 YOLO/CNN 기반 탐색 모듈을 구현한다.
구체적으로는, 분할된 이미지는 객체의 세부 특징을 포함하고 있으며, A 카메라 수집 영상 분석 네트워크에서 수집된 대상객체의 분할이미지를 바탕으로 B 카메라 수집 영상 분석 네트워크에서 객체를 탐색하고 유사도가 높은 차량을 탐색한다.
이를 통해 단일 카메라의 공간분석 범위에서 다채널 카메라 멀티공간분석 범위로 확장하여 기존 객체 추적 기술에서 확장모델을 제공한다.
한편, 이러한 차량 재식별 용 TransReID는 수집 차량 이미지를 퍼즐모양으로 영역 분할을 시도하고 세부 영역별 특징을 추출하여, 컴볼루션 레이어를 통해 학습을 진행한다(영역별 특징은 이미지의 위치와 조명, 해상도 등의 분석을 수행).
그리고, 학습결과는 공유 변환 레이어에서 통합하고 유사식별 객체를 탐색한다.
부가하면, 학습 중 발생하는 손실계수는 퍼즐 patch 모듈을 통해 보정하고 서로 다른 부분을 재그룹화하여 강력한 TransReID를 제공한다.
도 8은 이러한 객체 재탐색(즉, 재식별)을 위한 영상 매핑을 설명하기 위한 도면이다.
도 8에 도시된 바와 같이, 일실시예에 따른 영상 매핑은 객체 분석 결과를 네트워크를 통해 공유하여 영상 분석 네트워크 간 지속적인 탐색이 가능하도록 한다. 그리고, 또한 영상역역의 크기와 중심 값, 분할영역 중 객체 영역, 객체의 특징(위치, 조명, 해상도 등)으로 객체 탐색을 수행한다.
도 9는 일실시예에 따른 대교 위 다채널 카메라 영상에서 차량 추적 기반의 불법 차선침입 검출 시스템에 적용한 불법 차선침입 검출을 설명하기 위한 도면이다.
도 9에 도시된 바와 같이, 일실시예에 따른 불법 차선침입 검출은 먼저, 실선 차선에서 차량 끼어들기 감지를 수행한다.
구체적으로는, 실선 차선은 예외 없이 법적으로 차량이 끼어들 수가 없다.
또한 가변적인 상황이 없기 때문에 학습을 통해 선을 자동으로 추출하기 보다는 대상 도로의 수집영상에서 Overlay를 통해 도로를 구분하여 불법 차선변경 차량에 대한 영상 저장&영상 이벤트 팝업 기능 방식으로 수행한다.
다음, 도로 정체 상황에서 차량 끼어들기 감지를 수행한다.
구체적으로는, 도로 정체 상황은 점선 구역이라 하더라도 차선변경 시 위반으로 간주된다(도로교통법 제 23조에 "끼어들기 금지"라는 조항으로 정의되어 있으며, 이 법에 의하면 차량이 정지/서행하고 있는 상황에서 끼어들지 못한다고 명시).
따라서 도로 정체 상황을 판단하고 끼어들기 금지 차선을 생성하도록 하며, "카메라 영상 기반 도로 정체 상황인지"와 연계하여 위반 차량 발생시 영상 저장&영상 이벤트 팝업을 수행한다.
도 10은 도 9의 불법 차선침입 검출에 적용한 화면을 보여주는 도면이다.
도 10에 도시된 바와 같이, 일실시예에 따른 화면은 불법 차선 침입 검출 UI 및 세부 기능을 제공한다. 예를 들어, 실선과 점선 규칙 정의 기능을 가지며, 불법 차선침입 차량 리스트 출력 및 다채널 영상 맵핑 기능을 가진다. 그리고 또한, 불법 차선침입 차량 영상 출력 및 동시저장 기능과 단속&이벤트 팝업 단속을 제공한다.
도 11은 일실시예에 따른 대교 위 다채널 카메라 영상에서 차량 추적 기반의 불법 차선침입 검출 시스템을 전체적으로 도시한 도면이다.
도 11에 도시된 바와 같이, 일실시예의 시스템은 관리자 설정 통행장소에 설치된 원거리 객체 인식용 제 1 영상감시장치(101)를 포함한다. 그리고, 이에 더하여 상기 통행장소에서 상기 제 1 영상감시장치(101)와 이격되어 주변에 설치된 근거리 객체 인식용 제 2 영상감시장치(102)를 포함한다. 그래서, 이러한 제 1 영상감시장치(102)에 의해 원거리 영상정보를 수집할 경우, 설정 포맷으로부터 끼어들기 차량을 추출하여, 상기 제 2 영상감시장치(102)의 근거리 영상정보에 매핑하여 해당 객체를 탐색함으로써, 차선침입 여부를 추적 감시하는 관리 정보처리장치(200)를 포함한다.
추가적으로, 일실시예에 따른 시스템은 상기 관리 정보처리장치(200)에 연결된 외부연계하는 곳으로, 경찰서 정보처리장치(300) 등을 포함한다.
부가해서, 이때 상기 각각의 장치는 자가망을 통해 연결한다. 이러한 경우, 무선통신 방식으로 와이파이 또는 LTE를 사용하기도 한다.
상기 제 1 영상감시장치(101)는 관리자 설정 통행장소에 각기 예를 들어, a영역과 b영역 등에 설치되어 원거리 객체를 인식한다.
상기 제 2 영상감시장치(102)는 각각의 장소에서 제 1 영상감시장치(101)와 일정 거리를 두고 이격 설치되어 근거리 객체를 탐색하여 차량번호를 인식한다.
상기 관리 정보처리장치(200)는 제 1 영상감시장치(101)에 의해 원거리 영상정보를 수집할 경우, 설정 포맷으로부터 끼어들기 차량을 추출하여, 상기 제 2 영상감시장치(102)의 근거리 영상정보에 매핑하여 해당 객체를 탐색함으로써, 차선침입 여부를 추적 감시한다. 참고로, 설정 포맷은 아래와 같다.
즉, 상기 설정 포맷은 먼저, 상기 제 1 영상감시장치(101)의 원거리 영상정보를 수집할 경우, 해당 영상을 프레임 단위로 분할하여, 각각의 프레임 단위 영상에서 객체 라벨링 영역을 분리하여 차량을 식별한다(영상영역 내 위치 확인, 중심 값 생성)한다.
그리고, 각 프레임 전후의 객체 라벨링 영역 분리 값의 위치 이동을 산출하여, 차량의 이동경로와 속도를 추정한다.
그래서, 이러한 각각의 객체 밀집도와 이동속도를 차선을 중심으로 구분하여 연계 분석하여 정체의 정도를 확인(원활, 보통, 정체 포함)함으로써, 도로 정체 상황인지 여부를 확인한다.
상기 확인 결과, 정체인 경우는 해당 차선을 끼어들기 영역 값으로 설정하고, 원활과 보통인 경우는 해당 차선을 끼어들기 영역 값으로 설정하지 않는다.
한편, 상기 정체의 해당 차선을 끼어들기 영역 값으로 설정한 경우, 정체 상황에서 끼어들기 차량을 감지한다. 아울러, 대상 도로의 수집영상에서 오버레이를 통해 도로를 구분하여 설정 끼어들기 금지 차선(실선 차선)에서 불법 차선변경 차량을 감지한다.
그래서, 상기 감지한 각각의 차량에서 객체 중심 값을 생성하고, 차량의 영역 사이즈와 색상, 종류를 산출하여 끼어들기 차량 정보와 불법 차선변경 차량 정보를 추출한다.
이를 통해, 상기 추출한 각각의 정보를 기반으로, 상기 제 2 영상감시장치(102)의 수집영상에서 영역을 퍼즐 모양으로 분할하고, 이미지의 위치와 조명, 해상도를 포함한 세부 영역별 특징을 추출하여 컨벌루션 레이어를 통해 유사식별 객체를 탐색한다.
그리고, 상기 탐색에 의한 유사식별 객체에서 차량번호를 인식하여 차선침입 여부를 추적 감시한다.
도 12는 일실시예에 따른 대교 위 다채널 카메라 영상에서 차량 추적 기반의 불법 차선침입 검출 시스템에 적용한 관리 정보처리장치의 구성을 도시한 블록도이다.
도 12에 도시된 바와 같이, 일실시예의 관리 정보처리장치(200)는 인터페이스부(201)와 제어부(202), 데이터베이스(203), 키신호 입력부(204) 및 표시부(205)를 포함한다.
상기 인터페이스부(201)는 상기 제 1, 2 영상감시장치(100)와 외부연계처 등에 연결하여, 영상정보를 제공받거나 또는, 영상분석 정보를 외부에 제공한다.
상기 제어부(202)는 제 1 영상감시장치(101)에 의해 원거리 영상정보를 수집할 경우, 설정 포맷으로부터 끼어들기 차량을 추출하여, 상기 제 2 영상감시장치(102)의 근거리 영상정보에 매핑하여 해당 객체를 탐색함으로써, 차선침입 여부를 추적 감시한다.
상기 데이터베이스(203)는 상기 제어부(202)의 제어에 의해 감시를 위한 각종 등록 정보 예를 들어, 영상감시 장소와 장치 정보 등과 설정 정보, 끼어들기 객체 등의 정보를 저장한다.
상기 키신호 입력부(204)는 관리자 키 조작에 따라 감시를 위한 각종 관리용 설정 정보 등을 입력받는다.
상기 표시부(205)는 아울러, 감시와 관리를 위한 각종 사용자 인터페이스 정보를 표시한다.
도 13은 일실시예에 따른 대교 위 다채널 카메라 영상에서 차량 추적 기반의 불법 차선침입 검출 시스템의 동작을 순서대로 도시한 플로우 차트이다.
도 13에 도시된 바와 같이, 일실시예에 따른 시스템은 먼저 상기 제 1 영상감시장치의 원거리 영상정보를 수집할 경우(S1301), 해당 영상을 프레임 단위로 분할하여, 각각의 프레임 단위 영상에서 객체 라벨링 영역을 분리하여 차량을 식별한다. 참고로, 차량의 식별은 영상영역 내 위치 확인, 중심 값 생성을 통해 수행한다.
그리고, 이러한 시스템은 이러한 각 프레임 전후의 객체 라벨링 영역 분리 값의 위치 이동을 산출하여, 차량의 이동경로와 속도를 추정한다.
그래서, 각각의 객체 밀집도와 이동속도를 차선을 중심으로 구분하여 연계 분석하여 정체의 정도를 확인(원활, 보통, 정체 포함)함으로써, 도로 정체 상황인지 여부를 확인한다.
상기 확인 결과, 정체인 경우는 해당 차선을 끼어들기 영역 값으로 설정하고, 원활과 보통인 경우는 해당 차선을 끼어들기 영역 값으로 설정하지 않는다.
이를 통해, 상기 정체의 해당 차선을 끼어들기 영역 값으로 설정한 경우, 정체 상황에서 끼어들기 차량을 감지한다(S1302). 그리고 아울러, 대상 도로의 수집영상에서 오버레이를 통해 도로를 구분하여 설정 끼어들기 금지 차선(실선 차선)에서 불법 차선변경 차량을 감지하는 것이다.
다음, 상기 감지한 각각의 차량에서 객체 중심 값을 생성하고, 차량의 영역 사이즈와 색상, 종류를 산출하여 끼어들기 차량 정보와 불법 차선변경 차량 정보를 추출한다.
그래서, 이에 따라 상기 추출한 각각의 정보를 기반으로, 상기 제 2 영상감시장치의 수집영상에서 영역을 퍼즐 모양으로 분할한다. 그리고 나서, 이러한 이미지의 위치와 조명, 해상도를 포함한 세부 영역별 특징을 추출하여 컨벌루션 레이어를 통해 유사식별 객체를 탐색한다(S1303).
이를 통해, 상기 탐색에 의한 유사식별 객체에서 차량번호를 인식하여 차선침입 여부를 추적 감시한다(S1304).
이상과 같이, 일실시예는 대교 위 "끼어들기"로 인해 발생하는 교통정체 및 관련 민원 해소를 위해 상시 카메라 단속이 가능하도록 "끼어들기"에 대한 패턴을 정의한다. 그리고 또한, 다채널 영상에서 객체 재식별 기술, 도로 정체 상황인지 기술, 이동경로 추적기술(가시거리 300m이내), 불법 차선침입 검출 AI 서비스 기술, 실시간 불법 차선변경 차량 팝업 및 동시저장 기능 SW UI을 구현한다. 아울러, 대교(광안대교) 위 상/하판 실증을 통해 상용 수준의 제품을 확보한다.
따라서, 이를 통해 일실시예는 기존 드론 운영과 210화소 미만 카메라 단속 장비의 한계로 상시 단속이 불가능한 끼어들기 상황에 대응한다.
그리고, 이러한 경우, 이러한 시스템에서 추가적으로 위반차량 영상 단속을 위한 객체&다채널 영상 추적을 한다.
또한, 이러한 시스템에서 원거리 카메라(차량 감지용), 근거리 카메라(차량번호 감지용) 등 카메라 간 영상 공유 및 식별 대상 객체(차량)의 분석 결과 공유를 통한 영상 간 객체 추적을 제공한다.
한편, 추가적으로 이러한 시스템은 전술한 바대로 객체를 추출할 경우, 아래의 방식으로부터 다양한 객체와 감시장소, 감시목적별로 맞게 우선순위를 두고 객체를 추출함으로써, 관리자가 원하는 바를 원활하게 제공할 수 있도록 한다.
구체적으로는, 전술한 끼어들기 차량과 상기 불법 차선변경 차량 정보를 감지할 경우, 객체 정보, 목적별 정보, 개소별 정보, 시간대별 정보 중에서 미리 설정된 어느 하나 이상의 정보별 우선순위로부터 영상감시에 대한 우선순위를 상이하게 부여한다.
그래서, 이러한 관제할 우선순위별로 각기 해당 정보를 추출하고 알림한다.
추가적으로, 이러한 방법은 예를 들어, 이렇게 객체를 추출할 경우, 여러 장소별로 감시 목적 등에 따라서 감시 객체를 상이하게 정함으로써, 객체 추출과 관리 등을 보다 원활하게 하기도 한다.
이를 위해, 이러한 구성은 다수의 상이한 장소별로 각기 감시 목적과 감시 장소의 유형, 감시 대상을 상이하게 대응하여 설정한 등록정보로부터 장소에 맞는 객체를 감시 목적과 감시 장소의 유형, 감시 대상에 따라 처리함으로써, 객체 추출 등을 쉽게 한다.
예를 들어, 감시 목적은 일반 감시와 보호, 우범영역의 감시, 집중 감시 등이고, 감시 장소는 일반 감시 장소와 우범 감시 장소, 통행/구조물 등의 감시 장소 등이기도 하다. 부가적으로, 이러한 경우, 감시 대상에 대해서는 이러한 감시 목적과 감시 장소의 유형에 맞추어서 객체를 상이하게 정하여 객체 추출 등을 원활하게 하도록 한다.
다른 한편으로, 이에 더하여 다른 실시예에 따른 방법은 이렇게 객체를 추출할 경우, 전술한 각각의 장치 즉, 영상감시장치와 관리 정보처리장치에서 등록정보와 감시정보를 동일하게 가지도록 하여, 신속하게 처리한다.
a) 이를 위해, 먼저 영상감시장치와 관리 정보처리장치의 장치등록정보를 포함한 다수의 상이한 등록정보와 감시 정보를 저장한 테이블을 동일하게 구비하고, 상기 테이블에 대한 정합관계를 각기 추가적으로 미리 설정 등록한다.
b) 그리고 나서, 상기 영상감시장치와 관리 정보처리장치에서 해당 정보를 변경할 경우, 상기 정합관계에 따라서 테이블 내의 정보를 변경할 경우에 맞추어 동일하게 변경함으로써, 장치 간에 정보를 일치 유지한다.
c) 추가적으로, 이러한 장치 간에 정보를 일치 유지할 경우에, 설정 I/O포트 포맷으로부터 다수의 상이한 장치 또는 유형별로 각기 I/O포트 구성을 매트릭스 처리하여 다원적으로 만든다.
아울러, 이러한 끼어들기 차량과 상기 불법 차선변경 차량 정보를 감지할 경우, 영상감시장치의 수집영상은 아래의 방식으로부터 정보를 일괄 만들어서 제공받도록 함으로써, 댜앙한 상황에서 신속하고 편리하게 정보를 수집할 수 있도록 한다.
구체적으로는, 이러한 수집영상은 아래와 같다.
1) 먼저, 1차 수집영상에 대하여 설정 단일 이미지 형식으로 단일 이미지를 생성한다.
2) 그리고 나서, 설정 단일 매트(Mat) 형식 이미지로 변환한 후, 설정 딥러닝 기반 영상확대 포맷에 의해 SI(super image)로 변경한다.
3) 그래서, 다수의 상이한 영상감시 파일 형식별로 대응하는 전체의 단일 이미지 또는 전체 동영상 형태로 업 스케일링을 하여 고화질영상으로 변환함으로써, 해당 정보를 신속하고 편리하게 일괄 수집하도록 한다.
101 : 제 1 영상감시장치
102 : 제 2 영상감시장치
200 : 관리 정보처리장치

Claims (3)

  1. 관리자 설정 통행장소에 설치된 원거리 객체 인식용 제 1 영상감시장치;
    상기 통행장소에서 상기 제 1 영상감시장치와 이격되어 주변에 설치된 근거리 객체 인식용 제 2 영상감시장치; 및
    상기 제 1 영상감시장치에 의해 원거리 영상정보를 수집할 경우, 설정 포맷으로부터 끼어들기 차량을 추출하여, 상기 제 2 영상감시장치의 근거리 영상정보에 매핑하여 해당 객체를 탐색함으로써, 차선침입 여부를 추적 감시하는 관리 정보처리장치;를 포함하고,

    여기에서, 상기 포맷은,
    상기 제 1 영상감시장치의 원거리 영상정보를 수집할 경우, 해당 영상을 프레임 단위로 분할하여, 각각의 프레임 단위 영상에서 객체의 위치확인과 중심 값 생성을 통해 차량을 식별하고,
    각 프레임 전후의 객체의 위치확인과 중심 값에 따른 위치 이동을 산출하여, 차량의 이동경로와 속도를 추정하고,
    각각의 객체 밀집도와 이동속도를 차선을 중심으로 구분하여 연계 분석하여 정체의 정도를 확인(원활, 보통, 정체 포함)함으로써, 도로 정체 상황인지 여부를 확인하며,
    상기 확인 결과, 정체인 경우는 해당 차선을 끼어들기 영역으로 설정하고, 원활과 보통인 경우는 해당 차선을 끼어들기 영역으로 설정하지 않으며,
    상기 정체의 해당 차선을 끼어들기 영역으로 설정한 경우, 정체 상황에서 끼어들기 차량을 감지하고, 대상 도로의 수집영상에서 감지한 끼어들기 차량과 대상 도로를 오버레이하여 도로를 구분해서 설정 끼어들기 금지 차선(실선 차선)에서 불법 차선변경 차량을 감지하고,
    상기 감지한 각각의 차량에서 객체 중심 값을 생성하고, 차량의 영역 사이즈와 색상, 종류를 산출하여 끼어들기 차량 정보와 불법 차선변경 차량 정보를 추출하고,
    상기 추출한 각각의 정보를 기반으로, 상기 제 2 영상감시장치의 수집영상에서 영역을 퍼즐 모양으로 분할하고, 이미지의 위치와 조명, 해상도를 포함한 세부 영역별 특징을 추출하여 컨벌루션 레이어를 통해 유사식별 객체를 탐색하며,
    상기 탐색에 의한 유사식별 객체에서 차량번호를 인식하여 차선침입 여부를 추적 감시하는 것; 을 특징으로 하는 대교 위 다채널 카메라 영상에서 차량 추적 기반의 불법 차선침입 검출 시스템.
  2. 청구항 1에 있어서,
    상기 차량을 감지하는 것은,
    상기 끼어들기 차량과 상기 불법 차선변경 차량 정보를 감지할 경우, 객체 정보, 목적별 정보, 개소별 정보, 시간대별 정보 중에서 미리 설정된 어느 하나 이상의 정보별 우선순위로부터 영상감시에 대한 우선순위를 상이하게 부여해서,
    관제할 우선순위별로 각기 해당 정보를 추출하고 알림하는 것; 을 특징으로 하는 대교 위 다채널 카메라 영상에서 차량 추적 기반의 불법 차선침입 검출 시스템.
  3. 청구항 2에 있어서,
    상기 차량을 감지하는 것은,
    상기 끼어들기 차량과 상기 불법 차선변경 차량 정보를 감지할 경우, 영상감시장치의 수집영상은,
    1) 1차 수집영상에 대하여 설정 단일 이미지 형식으로 단일 이미지를 생성하고,
    2) 설정 단일 매트(Mat) 형식 이미지로 변환한 후, 설정 딥러닝 기반 영상확대 포맷에 의해 SI(super image)로 변경해서
    3) 다수의 상이한 영상감시 파일 형식별로 대응하는 전체의 단일 이미지 또는 전체 동영상 형태로 업 스케일링을 하여 고화질영상으로 변환함으로써, 수집되는 것; 을 특징으로 하는 대교 위 다채널 카메라 영상에서 차량 추적 기반의 불법 차선침입 검출 시스템.



KR1020220105792A 2022-08-23 2022-08-23 대교 위 다채널 카메라 영상에서 차량 추적 기반의 불법 차선침입 검출 시스템 KR102518152B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220105792A KR102518152B1 (ko) 2022-08-23 2022-08-23 대교 위 다채널 카메라 영상에서 차량 추적 기반의 불법 차선침입 검출 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220105792A KR102518152B1 (ko) 2022-08-23 2022-08-23 대교 위 다채널 카메라 영상에서 차량 추적 기반의 불법 차선침입 검출 시스템

Publications (2)

Publication Number Publication Date
KR102518152B1 true KR102518152B1 (ko) 2023-04-24
KR102518152B9 KR102518152B9 (ko) 2023-09-19

Family

ID=86142024

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220105792A KR102518152B1 (ko) 2022-08-23 2022-08-23 대교 위 다채널 카메라 영상에서 차량 추적 기반의 불법 차선침입 검출 시스템

Country Status (1)

Country Link
KR (1) KR102518152B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101153980B1 (ko) * 2011-10-28 2012-06-08 주식회사 디아이랩 차량 감시 장치
KR101168029B1 (ko) * 2011-05-26 2012-07-27 삼성중공업 주식회사 교통 통제 시스템 및 교통 통제 방법
KR102144531B1 (ko) * 2019-07-10 2020-08-14 (주)아이지오 딥 러닝 영상분석을 활용한 객체 메타데이터 기반의 자동 선별관제 방법
KR102245501B1 (ko) * 2020-11-25 2021-04-29 주식회사 아이지오 딥러닝을 활용한 저화질 cctv 영상 기반의 객체 복원 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101168029B1 (ko) * 2011-05-26 2012-07-27 삼성중공업 주식회사 교통 통제 시스템 및 교통 통제 방법
KR101153980B1 (ko) * 2011-10-28 2012-06-08 주식회사 디아이랩 차량 감시 장치
KR102144531B1 (ko) * 2019-07-10 2020-08-14 (주)아이지오 딥 러닝 영상분석을 활용한 객체 메타데이터 기반의 자동 선별관제 방법
KR102245501B1 (ko) * 2020-11-25 2021-04-29 주식회사 아이지오 딥러닝을 활용한 저화질 cctv 영상 기반의 객체 복원 시스템

Also Published As

Publication number Publication date
KR102518152B9 (ko) 2023-09-19

Similar Documents

Publication Publication Date Title
US10713490B2 (en) Traffic monitoring and reporting system and method
US10599929B2 (en) Event monitoring with object detection systems
US11080995B2 (en) Roadway sensing systems
CN110738857B (zh) 一种车辆违章取证方法、装置及设备
US20180240336A1 (en) Multi-stream based traffic enforcement for complex scenarios
WO2014160027A1 (en) Roadway sensing systems
KR101964683B1 (ko) 스마트 영상처리장치 및 그 장치의 구동방법
KR102272279B1 (ko) 인공지능 알고리즘을 이용한 차량번호판 인식 방법
KR102282800B1 (ko) 라이다와 영상카메라를 이용한 멀티 표적 추적 방법
KR102122850B1 (ko) 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션
Gulati et al. Image processing in intelligent traffic management
Haghighat et al. A computer vision‐based deep learning model to detect wrong‐way driving using pan–tilt–zoom traffic cameras
CN112351190A (zh) 数字孪生监测系统和方法
CN114078319A (zh) 一种检测交通事故隐患地点的方法及装置
KR101672780B1 (ko) 어린이 보호 구역 내의 지능형 영상감시 시스템
Kadim et al. Real-time deep-learning based traffic volume count for high-traffic urban arterial roads
Reddy et al. Alternative approach to traffic state analysis on Indian roads using image processing
KR102518152B1 (ko) 대교 위 다채널 카메라 영상에서 차량 추적 기반의 불법 차선침입 검출 시스템
Ke et al. Edge computing for real-time near-crash detection for smart transportation applications
KR101939096B1 (ko) 궤적서비스제공장치 및 그 장치의 구동방법
KR102484789B1 (ko) 무인단속 및 교통정보 수집 기능을 구비한 지능형 교차로 통합관리시스템
de La Rocha et al. Image-processing algorithms for detecting and counting vehicles waiting at a traffic light
KR101956008B1 (ko) 궤적서비스제공장치 및 그 장치의 데이터구축방법
KR102483250B1 (ko) 해양도시 인프라의 효율적 관제를 위한 영상 ai 기반 안전관리 통합장치
KR102436142B1 (ko) 단속 카메라로 촬영된 위반 사실을 이용한 확률적 예측 서비스 제공 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
GRNT Written decision to grant
N231 Notification of change of applicant
G170 Re-publication after modification of scope of protection [patent]