KR102612353B1 - 영상 분석 시스템 및 그에 관한 방법 - Google Patents

영상 분석 시스템 및 그에 관한 방법 Download PDF

Info

Publication number
KR102612353B1
KR102612353B1 KR1020210117002A KR20210117002A KR102612353B1 KR 102612353 B1 KR102612353 B1 KR 102612353B1 KR 1020210117002 A KR1020210117002 A KR 1020210117002A KR 20210117002 A KR20210117002 A KR 20210117002A KR 102612353 B1 KR102612353 B1 KR 102612353B1
Authority
KR
South Korea
Prior art keywords
image
feature points
analysis system
angle
segment
Prior art date
Application number
KR1020210117002A
Other languages
English (en)
Other versions
KR20230033973A (ko
Inventor
김승택
이강일
Original Assignee
렉스젠(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 렉스젠(주) filed Critical 렉스젠(주)
Priority to KR1020210117002A priority Critical patent/KR102612353B1/ko
Publication of KR20230033973A publication Critical patent/KR20230033973A/ko
Application granted granted Critical
Publication of KR102612353B1 publication Critical patent/KR102612353B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

일 실시예에 따른 영상 분석 시스템은, 촬영부를 통해 획득되고 기준 영상으로 설정된 제1 영상에서 딥러닝 모델을 통해 결정된 세그먼트의 특징점을 추출하고, 특정 시점에서 상기 촬영부를 통해 획득된 제2 영상에서 상기 딥러닝 모델을 통해 결정된 세그먼트의 특징점을 추출하고, 및 상기 제1 영상 및 상기 제2 영상 각각의 특징점들의 개수 또는 상기 특징점들 간 거리 중 적어도 하나에 기반하여 상기 촬영부의 화각 변화를 검출하도록 설정된 데이터 처리부를 포함할 수 있다.

Description

영상 분석 시스템 및 그에 관한 방법{IMAGE ANALYSIS SYSTEM AND METHOD THERETO}
본 문서에서 개시되는 실시예들은 영상 분석 시스템에 관한 기술과 관련된다.
영상 분석 시스템은 카메라와 같은 촬영부를 이용하여 획득된 영상을 분석할 수 있다. 예를 들어, 영상 분석 시스템에서 교통 영상을 분석하는 경우, 영상 분석 시스템은 차량을 식별하거나, 주행과 관련된 정보(예: 속도, 주행 방향)를 획득하거나, 위반 정보(예: 과속, 신호 위반)를 획득할 수 있다. 뿐만 아니라, 영상 분석 시스템은 영상 분석을 통해 차량 사고, 차량 급정지, 역주행, 보행자의 출현, 낙하물, 포트홀 등 운전 중 발생할 수 있는 위험 상황을 감지할 수 있다. 영상 분석 시스템은 교통 영상에서 특정 영역(예: 도로)을 관심 영역으로 설정하고 관심 영역 내의 이벤트를 검출할 수 있다.
도로에 설치된 촬영부는 강풍, 노후화, 또는 외부 충격과 같은 원인에 의하여 틀어질 수 있으며, 촬영부가 틀어지면 화각 또한 변경될 수 있다. 이 경우 영상 내의 관심 영역은 기존에 설정된 관심 영역과 일치하지 않게 되어 객체 검출 성능이 떨어질 수 있다.
본 문서에 개시되는 다양한 실시예들은 상술한 문제점을 해결하기 위한 장치 및 그에 관한 방법을 제공하고자 한다.
본 문서에 개시되는 일 실시예에 따른 영상 분석 시스템은, 촬영부를 통해 획득되고 기준 영상으로 설정된 제1 영상에서 딥러닝 모델을 통해 결정된 세그먼트의 특징점을 추출하고, 특정 시점에서 상기 촬영부를 통해 획득된 제2 영상에서 상기 딥러닝 모델을 통해 결정된 세그먼트의 특징점을 추출하고, 및 상기 제1 영상 및 상기 제2 영상 각각의 특징점들의 개수 또는 상기 특징점들 간 거리 중 적어도 하나에 기반하여 상기 촬영부의 화각 변화를 검출하도록 설정된 데이터 처리부를 포함할 수 있다.
본 문서에 개시되는 일 실시예에 따른 영상 분석 시스템의 동작 방법은, 촬영부를 통해 획득되고 기준 영상으로 설정된 제1 영상에서 딥러닝 모델을 통해 결정된 세그먼트의 특징점을 추출하는 동작, 특정 시점에서 상기 촬영부를 통해 획득된 제2 영상에서 상기 딥러닝 모델을 통해 결정된 세그먼트의 특징점을 추출하는 동작, 및 상기 제1 영상 및 상기 제2 영상 각각의 특징점들의 개수 또는 상기 특징점들 간 거리 중 적어도 하나에 기반하여 상기 촬영부의 화각 변화를 검출하는 동작을 포함할 수 있다.
본 문서에 개시되는 실시예들에 따르면, 영상 분석 시스템은 사용자의 개입 없이 촬영부의 화각 변경을 검출할 수 있다.
또한, 본 문서에 개시되는 실시예들에 따르면, 영상 분석 시스템은 촬영부의 화각이 변경되더라도 영상 내 관심 영역을 변환함으로써 객체 검출 성능 열화를 방지할 수 있다.
또한, 본 문서에 개시되는 실시예들에 따르면, 영상 분석 시스템은 차량 및 보행자의 통행 정보, 교통 법규 위반 정보, 및 방범 정보 등을 수집함으로써 다양한 교통 관련 서비스를 제공할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 다양한 실시예들에 따른 영상 분석 시스템의 환경을 도시한다.
도 2는 다양한 실시예들에 따라 촬영부에 의하여 획득된 영상을 도시한다.
도 3은 다양한 실시예들에 따라 화각 변화를 검출하기 위한 동작 흐름도를 도시한다.
도 4는 다양한 실시예들에 따라 특징점을 추출하는 동작을 설명한다.
도 5는 다양한 실시예들에 따라 화각 변화를 검출하기 위한 다른 동작 흐름도를 도시한다.
도 6은 다양한 실시예들에 따라 특징점이 중첩되는 상황을 설명한다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다.
본 문서에서 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나",“A 또는 B 중 적어도 하나”, "A, B 또는 C", "A, B 및 C 중 적어도 하나” 및 “A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, “기능적으로” 또는 “통신적으로”라는 용어와 함께 또는 이런 용어 없이, “커플드” 또는 “커넥티드”라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 설명되는 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시 예들에 따르면, 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
본 문서에서 사용되는 용어 "모듈", 또는 “...부”는 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시 예들은 기기(machine) 의해 읽을 수 있는 저장 매체(storage medium)(예: 메모리)에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램 또는 애플리케이션)로서 구현될 수 있다. 예를 들면, 기기의 프로세서는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
도 1은 다양한 실시예들에 따른 영상 분석 시스템(1)의 환경을 도시하고, 도 2는 다양한 실시예들에 따라 촬영부에 의하여 획득된 영상(201, 202, 203)을 도시한다.
도 1을 참조하면, 영상 분석 시스템(1)은 통행 정보 획득부(10)를 포함할 수 있다. 통행 정보 획득부(10)는 특정 지역(예: 교차로, 골목, 터널, 또는 고속도로) 단위로 설치되어 영상을 촬영 및 분석할 수 있다. 통행 정보 획득부(10)는 촬영부(121), 센서부(122), 및 데이터 처리부(130)를 포함할 수 있다.
촬영부(121)는 영상을 촬영할 수 있는 카메라를 포함할 수 있다. 센서부(122)는 예를 들어, 차량(예: 51) 또는 사람과 같은 객체를 검출하고, 객체의 이동을 추적함으로써 객체의 위치 또는 이동 거리를 측정할 수 있는 센서(예: 레이더(radio detection and ranging, RADAR), 라이다(light detection and ranging, LIDAR), 레이다(laser detection and ranging, LADAR), 및 영상 센서 중 적어도 하나)를 포함할 수 있다. 실시예들에 따라, 통행 정보 획득부(10)는 촬영부(121) 및 센서부(122)를 상호 협력적으로 사용할 수 있다. 예를 들어, 통행 정보 획득부(10)는 객체의 이동 위치, 거리, 방향, 또는 속도를 보다 정확하게 검출하기 위하여 센서부(122)를 우선적으로 사용할 수 있으며, 객체의 형태를 식별할 필요가 있는 경우에는 촬영부(121)를 이용할 수 있다. 실시예에 따르면, 촬영부(121) 및 센서부(122)는 하나의 통합된 모듈로 구현될 수 있다.
데이터 처리부(130)는 촬영부(121) 또는 센서부(122) 중 적어도 하나를 통해 통행 정보를 획득할 수 있다. '통행 정보'는 예를 들어 도로 영상(예: 50)을 포함할 수 있다. 또한, 통행 정보는 차량 영상, 차량의 수, 차량의 주행 속도, 차량의 주행 방향, 차량의 주행 차로, 차량의 이동 거리, 차량의 통행량, 차량의 대기 길이, 차량의 점유율, 보행자 영상, 보행자의 수, 보행 속도, 또는 보행 방향 중 적어도 하나를 더 포함할 수 있다. 또한, 통행 정보는 차량의 종류, 색상, 크기, 주행 차로, 차량번호, 또는 보행자의 외형 중 적어도 하나를 포함하는 식별 정보를 포함할 수 있다.
통행 정보 외에도, 데이터 처리부(130)는 촬영부(121)를 통해 행위 정보 또는 방범 정보 중 적어도 하나를 획득할 수 있다. '행위 정보'는 속도 위반, 신호 위반, 역주행, 주행 차로 위반, 끼어들기, 차선 위반, 정지선 위반, 노후 경유차 운행제한 위반, 중량통행제한, 안전벨트 미착용, 불법주정차, 보행자의 신호 위반, 또는 무단 횡단과 같은 교통 법규 위반 행위나, 적재불량 또는 화물차 휴식시간 위반과 같이 운전자의 계도가 요구되는 행위를 의미할 수 있다. '방범 정보'는 생활 방범 정보 또는 교통 방범 정보 중 적어도 하나를 포함할 수 있다. 이외에도, 데이터 처리부(130)는 통행 정보를 이용하여 차량의 정지, 차량 사고, 보행자/야생동물의 출현, 낙하물, 로드킬, 산사태, 안개, 또는 포트홀과 같은 이벤트를 검출할 수 있다.
도 1에는 도시되지 않았지만, 데이터 처리부(130)는 촬영부(121) 및 센서부(122) 외에도 적어도 하나의 센서로부터 획득된 데이터를 통해서 이벤트를 검출할 수 있다. 예를 들어, 데이터 처리부(130)는 도로 위의 충격을 감지하기 위한 가속도 센서, 도로 인접 비탈면에서 산사태를 감지하기 위한 측위 센서, 온/습도와 같은 기상 변화를 감지하기 위한 온/습도 센서, 로드킬을 감지하기 위한 동작 감지 센서, 또는 음향 센서 중 적어도 하나로부터 수신된 데이터에 기반하여 이벤트를 검출할 수 있다.
데이터 처리부(130)는 딥 러닝(deep learning) 또는 머신 러닝(machine learning)과 같은 인공지능(artificial intelligence, AI) 기반 영상 분석/처리 알고리즘을 적용함으로써 통행 정보, 행위 정보, 방범 정보, 또는 이벤트 정보 중 적어도 하나를 획득할 수 있다.
도 2를 참조하면, 촬영부(121)의 화각이 변경되기 이전에 획득된 영상(201)은 '기준 영상'으로 참조될 수 있다. 데이터 처리부(130)는 객체(예: 차량) 검출을 위하여 영상(201)의 특정 영역(예: 차로)에 관심 영역(250)을 설정할 수 있다. 강풍, 노후화, 또는 외부 충격과 같은 원인에 의하여 촬영부(121)의 화각이 상하 또는 좌우로 변경되거나 줌(zoom)이 변경될 수 있으며, 그로 인하여 화각이 변경된 촬영부(121)의 현재 영상(202)에서 관심 영역(250)이 틀어질 수 있다. 관심 영역(250)이 틀어지면 데이터 처리부(130)의 객체 검출 성능이 떨어질 수 있다. 실시예에 따른 데이터 처리부(130)는 영상(201, 202)에서의 특징점들을 이용하여 화각 변화를 검출하고 검출된 화각 변화에 기반하여 틀어진 관심 영역(250)을 변경함으로써(예: 영상(203)), 촬영부(121)의 화각이 변화되더라도 객체 검출 성능 열화를 방지할 수 있다.
다시 도 1을 참조하면, 영상 분석 시스템(1)은 운영 장치(20)를 더 포함할 수 있다. 운영 장치(20)(예: 관제 센터)는 지방자치단체, 도로공사, 시설공단, 또는 경찰청과 같은 공공기관에 의하여 운영될 수 있다. 운영 장치(20)는 통행 정보 획득부(10)를 통해 획득된 정보를 데이터 베이스에 저장 및 관리하고, 저장된 정보를 이용하여 운영 장치(20)의 사용자(예: 관제 요원)가 실시간으로 도로 상황을 관제할 수 있는 인터페이스를 출력할 수 있다. 또한, 운영 장치(20)는 데이터 처리부(130)의 부족한 하드웨어 성능을 보완할 수 있다. 예를 들어, 운영 장치(20)의 데이터 처리부는 데이터 처리부(130) 보다 고성능의 영상 처리를 구현할 수 있는 하드웨어(예: GPU)를 포함할 수 있다. 운영 장치(20)의 데이터 처리부는 도로 상황(예: 통행 정보, 방범 정보, 또는 이벤트 정보) 분석을 포함하여 데이터 처리부(130)의 기능과 동일한 기능을 수행할 수 있다. 이 경우, 통행 정보 획득부(10)에 포함된 데이터 처리부(130)는 제거 또는 비활성화되는 것이 가능하다. 운영 장치(20)는 분석된 도로 상황에 기반하여 신호를 제어하거나 차량에게 다른 경로를 제공하도록 데이터 처리부(130)에게 명령을 전달할 수 있다.
도 3은 다양한 실시예들에 따라 화각 변화를 검출하기 위한 동작 흐름도를 도시하고, 도 4는 다양한 실시예들에 따라 특징점을 추출하는 동작을 설명한다. 이하의 동작 흐름도에 포함된 동작들은 영상 분석 시스템(1)에 의하여 구현되거나, 또는 영상 분석 시스템(1)의 구성요소(예: 데이터 처리부(130) 또는 운영장치(20)의 데이터 처리부)에 의하여 구현될 수 있다.
도 3을 참조하면, 동작 310에서, 영상 분석 시스템(1)은 기준 영상으로 설정된 제1 영상(예: 201)에서 딥러닝 모델을 통해 결정된 세그먼트의 특징점을 추출할 수 있다. 동작 320에서, 영상 분석 시스템(1)은 특정 시점에서 획득된 제2 영상(예: 202)에서 딥러닝 모델을 통해 결정된 세그먼트의 특징점을 추출할 수 있다. 세그먼트는 영상에서 고정된 객체를 다른 고정된 객체들과 구분하기 위하여 이용될 수 있다. 세그먼트를 결정하는 동작 및 세그먼트의 특징점을 추출하는 동작은 도 4에 의하여 설명된다.
도 4를 참조하면, 촬영부(121)에 의하여 획득된 영상(400)은 적어도 하나의 고정된 객체(411a 내지 418b)를 포함할 수 있다. 고정된 객체는 예를 들어, 건물(411a, 413a), 가드레일(412a), 표지판(414a, 417a, 418a), 차로(415a), 및 중앙분리대(416a)일 수 있다. 도시된 예 이외에도, 고정된 객체는 가로등, 차선, 나무, 산 등 다양할 수 있다. 데이터 처리부(130)는 참조번호 402와 같이 딥러닝 모델을 통해 영상(400)에서 고정된 객체를 분할(세그먼테이션)함으로써 각 객체에 대한 세그먼트(411b 내지 418b)를 결정할 수 있다. 예를 들어, 건물(411a)에 대한 세그먼트는 세그먼트(411b)일 수 있다. 세그먼트는 마스크로도 참조될 수 있다. 세그먼테이션에 이용되는 딥러닝은 하나 이상일 수 있다.
데이터 처리부(130)는 결정된 세그먼트 각각의 특징점(421 내지 428)을 추출할 수 있다. 촬영부(121)는 주로 야외에 설치되는 반면에 특징점을 추출하기 위하여 이용되는 SIFT　(Scale-Invariant Feature Transform), SURF　(Speeded Up Robust Features), 또는 ORB(Oriented FAST and Rotated BRIEF) 알고리즘은 환경 변화(예: 날씨, 광량, 바람)에 민감하므로, 데이터 처리부(130)는 환경 변화에 대한 영향을 최소화하기 위하여 세그먼트의 무게중심을 특징점으로 추출할 수 있다.
실시 예에서, 데이터 처리부(130)는 참조번호 403과 같이 영상을 둘 이상(예: 상(top), 중(middle), 하(bottom))의 영역으로 나누고, 영역에 따라서 각 세그먼트의 특징점을 추출할 수 있다. 예를 들어, 영상의 영역이 나누어지기 이전(예: 402)에 데이터 처리부(130)는 차로 세그먼트(415b)의 무게중심(425)을 추출하는 반면에, 영상의 영역이 상, 중, 하로 나누어진 후(예: 403) 데이터 처리부(130)는 영역이 나누어진 차로 세그먼트(415b) 각각의 무게중심(432, 434, 436)을 추출할 수 있다. 촬영부(121)로부터의 거리가 멀수록(즉, 상 영역) 촬영부(121)의 틀어짐에 따른 화각 변화가 크기 때문에, 데이터 처리부(130)는 특징점에 원근에 따라 설정된 영역 가중치를 적용함으로써 거리에 따른 화각 변화 차이를 최소화할 수 있다. 예를 들어, 상 영역이 하 영역 보다 촬영부(121)로부터 멀리 위치하는 것이라면, 데이터 처리부는 상 영역의 특징점(432)에 하 영역의 특징점(436) 보다 높은 가중치를 적용할 수 있다.
다시 도 3을 참조하면, 동작 330에서, 영상 분석 시스템(1)은 특징점들 간 비교를 통해 촬영부(121)의 화각 변화를 검출할 수 있다. 실시예에서, 데이터 처리부(130)는 특징점(예: 무게중심)들의 개수 차이 및/또는 특징점들 간 거리에 기반하여 화각 변화를 검출할 수 있다. 특징점에 기반하여 화각 변화를 검출하는 동작은 도 5 내지 도 6에서 보다 자세히 설명된다.
추가적으로, 영상 분석 시스템(1)은 동작 340에서 변환 벡터를 이용하여 영상 내 관심 영역(250)을 변경할 수 있다. 예를 들어, 데이터 처리부(130)는 제1 영상의 특징점과 제2 영상의 특징점을 이용하여 아핀 변환(Affine transformation)을 변환 벡터로써 획득하고, 획득된 변환 벡터를 이용하여 관심 영역(250)을 변경할 수 있다. 데이터 처리부(130)는 관심 영역(250)이 변경된 영상(예: 203)을 기준 영상으로 재설정할 수 있다. 데이터 처리부(130)는 동작 310 내지 340을 지정된 주기 마다 수행할 수 있다.
도 5는 다양한 실시예들에 따라 화각 변화를 검출하기 위한 다른 동작 흐름도를 도시하고, 도 6은 다양한 실시예들에 따라 특징점이 중첩되는 상황을 설명한다. 도 5에 도시된 동작들은 예를 들어 도 3의 동작 330의 일 예일 수 있다.
도 5를 참조하면, 동작 510에서 영상 분석 시스템(1)은 제2 영상의 특징점의 개수가 지정된 임계 개수 미만인지를 확인할 수 있다.
특징점의 개수가 임계 개수 이상이면, 영상 분석 시스템(1)은 동작 520에서 제1 영상 및 제2 영상의 특징점의 개수 차이에 기반하여 화각 변화를 검출할 수 있다. 특징점의 개수 차이를 이용하는 동작은 다른 동작(예: 530 및 540) 대비 구현이 간단하므로 영상 분석 시스템(1)은 빠르게 화각 변화를 검출할 수 있다. 예를 들어, 데이터 처리부(130)는 제1 영상과 제2 영상의 세그먼트 별 특징점의 개수 차이의 합 또는 평균이 지정된 제1 임계값 미만이면 화각이 변화하지 않은 것으로, 세그먼트 별 특징점의 개수 차이의 합 또는 평균이 제1 임계값 이상이면 화각이 변화한 것으로 결정할 수 있다.
실시예에서 세그먼트 마다 클래스가 존재하는 경우, 데이터 처리부(130)는 특징점의 개수 차이에 세그먼트 별 클래스에 따른 가중치(클래스 가중치)를 적용한 후(예를 들어, 곱셈) 합 또는 평균을 산출할 수 있다. 클래스는 영상에서 추출된 세그먼트의 속성(또는 종류)를 의미할 수 있다. 또는, 클래스는 세그먼트가 나타내는 물체(예: 차로, 표지판, 중앙분리대, 건물 등)의 크기에 기반하여 설정될 수 있다. 예를 들어, 기준 영상 및 현재 영상에서 세그먼트의 클래스 별 특징점의 개수 차이의 평균을 산출하는 예시는 하기의 [표 1]과 같이 나타날 수 있다. [표 1]에서 현재 영상은 촬영부(121)의 화각이 틀어진 후 획득된 영상을 의미할 수 있다.
기준 영상의 세그먼트 별 특징점 개수 현재 영상의 세그먼트 별 특징점 개수 클래스 가중치 개수 차이
차로 10개
표지판 3개
중앙분리대 5개
건물 3개		 차로 8개
표지판 2개
중앙분리대 3개
건물 1개		 3
1
3
2		 2개
1개
2개
2개
개수 차이의 평균
(가중치 적용)		 (2 x 3 + 1 x 1 + 2 x 3 + 2 x 2) / 4 = 4.25
크기가 큰 세그먼트일수록 화각 변화에도 불구하고 무게중심이 변경되지 않을 수 있으므로, 실시예에 따른 데이터 처리부(130)는 세그먼트의 크기가 클수록 더 많은 가중치를 적용할 수 있다.
실시예에서, 영상 분석 시스템(10)은 [표 2]에서 설명되는 영역 가중치를 적용하여 개수 차이의 합 또는 평균을 산출할 수 있다. 예를 들어, 영상 분석 시스템(10)은 특징점의 개수 차이에 원근에 따라 설정된 영역 가중치가 곱해진 값들의 합 또는 평균을 산출할 수 있다. 또한, 실시예에 따른 영상 분석 시스템(10)은 영역 가중치 및 클래스 가중치가 모두 적용된 개수 차이의 평균을 산출할 수 있다. 예를 들어, 영상 분석 시스템(10)은 특징점의 개수 차이에 영역 가중치와 클래스 가중치가 곱해진 값들의 합 또는 평균을 산출할 수 있다.
특징점의 개수가 임계 개수 미만이면, 동작 530에서 영상 분석 시스템(1)은 제1 영상 및 제2 영상의 특징점들 간 거리에 기반하여 화각 변화를 검출할 수 있다. 특징점의 개수 차이에 따른 화각 변화 검출 동작은 특징점의 개수가 적은 경우 정확도가 떨어질 수 있으므로 영상 분석 시스템(1)은 특징점들 간 거리를 이용하여 보다 미세한 화각 변화를 검출할 수 있다. 데이터 처리부(130)는 세그먼트 별 특징점들 간 거리의 합 또는 평균이 제2 임계값 미만이면 화각이 변화하지 않은 것으로, 세그먼트 별 특징점들 간 거리의 합 또는 평균이 제2 임계값 이상이면 화각이 변화한 것으로 결정할 수 있다. 특징점들 간 거리는 영상의 특징점들을 매칭하는 알고리즘(예: ANN(Approximate Nearest Neighbors) 또는 Euclidean Distance와 같은 유사도 측정 알고리즘)을 통해 산출될 수 있다.
실시예에 따라 각 영상에서 원근에 따른 영역이 설정된 경우, 데이터 처리부(130)는 세그먼트 별 특징점들 간 거리에 특징점의 위치에 따른 영역 가중치를 적용한 후 합 또는 평균을 산출할 수 있다. 예를 들어, 영상 분석 시스템(10)은 특징점들 간 거리에 영역 가중치가 곱해진 값들의 합 또는 평균을 산출할 수 있다. 특징점들 간 거리의 평균을 산출하는 예시는 하기의 [표 2]와 같이 나타날 수 있다.
특징점들 간 거리 특징점 위치(가중치) 가중치 x 거리
20
10
30
5
10		 상(3)
상(3)
중(2)
상(3)
하(1)		 60
30
60
15
10
특징점들 간 거리 평균 35
촬영부(121)로부터 먼 거리에 있는(상) 특징점일수록 화각 변화에 따른 이동의 거리가 크므로, 데이터 처리부(130)는 더 큰 가중치를 적용할 수 있다.
실시예에서, 영상 분석 시스템(10)은 [표 1]에서 설명되는 클래스 가중치를 적용하여 거리의 합 또는 평균을 산출할 수 있다. 또한, 실시예에 따른 영상 분석 시스템(10)은 영역 가중치 및 클래스 가중치가 모두 적용된 거리의 합 또는 평균을 산출할 수 있다. 예를 들어, 영상 분석 시스템(10)은 특징점들 간 거리에 영역 가중치 및 클래스 가중치가 곱해진 값들의 합 또는 평균을 산출할 수 있다.
영상의 특징점의 수가 적은 경우, 촬영부(121)가 외부 요인으로 인하여 줌 인(zoom in) 또는 줌 아웃(zoom out)되는 경우에는 관심 영역(250)이 변경됨에도 불구하고 무게중심의 위치가 변경되지 않을 수 있다. 또한 도 6에 도시된 바와 같이 화각이 변경됨에도 불구하고 우연하게 제2 영상에서 세그먼트(620)의 영역 별 특징점이 제1 영상(기준 영상)에서 세그먼트(610)의 영역 별 특징점과 중첩될 수 있다. 이 경우, 특징점의 거리에 따른 화각 변화 검출 성능이 떨어질 수 있으므로, 영상 분석 시스템(1)은 동작 540에서 제1 영상 및 제2 영상의 IoU (Intersection over Union)에 기반하여 화각 변화를 검출할 수 있다. 제1 영상 및 제2 영상의 IoU는 예를 들어 제1 영상 및 제2 영상의 세그먼트 별 IoU의 합 또는 평균을 통해 산출될 수 있다. 예를 들어, 데이터 처리부(130)는 제1 영상 및 제2 영상의 세그먼트 별 특징점들 간 거리 평균(예: A)과 세그먼트 별 IoU의 합 또는 평균(예: B)을 각각 산출하고, A, B를 합산한 후 합산한 값이 제3 임계값 보다 크면 화각이 변화한 것으로, 합산한 값이 제3 임계값 보다 작으면 화각이 변화하지 않은 것으로 결정할 수 있다. 실시예에서, 데이터 처리부(130)는 동작 530 대신 동작 540을 수행할 수 있다. 다시 말해, 데이터 처리부(130)는 특징점들 간 거리 대신 영상의 IoU를 통해 화각 변화를 검출할 수 있다.
실시예에서 데이터 처리부(130)는 특징점들 간 거리 평균 또는 합과 IoU 평균 또는 합에 서로 다른 클래스 가중치 및 영역 가중치 중 적어도 하나를 적용할 수 있다.

Claims (17)

  1. 촬영부를 통해 획득되고 기준 영상으로 설정된 제1 영상에서 딥러닝 모델을 통해 결정된 세그먼트의 특징점을 추출하고,
    특정 시점에서 상기 촬영부를 통해 획득된 제2 영상에서 상기 딥러닝 모델을 통해 결정된 세그먼트의 특징점을 추출하고,
    상기 제1 영상 및 상기 제2 영상 각각의 특징점들의 개수 또는 상기 특징점들 간 거리 중 적어도 하나에 기반하여 상기 촬영부의 화각 변화를 검출하도록 설정된 데이터 처리부;를 포함하고,
    상기 데이터 처리부는,
    상기 제2 영상의 특징점 개수가 지정된 임계 개수 이상이면, 상기 제1 영상 및 상기 제2 영상의 특징점 개수의 차이에 기반하여 상기 화각 변화를 검출하고,
    상기 제2 영상의 특징점 개수가 상기 임계 개수 미만이면, 상기 제1 영상 및 상기 제2 영상의 특징점들 간 거리에 기반하여 상기 화각 변화를 검출하도록 설정된, 영상 분석 시스템.
  2. 청구항 1에 있어서, 상기 데이터 처리부는,
    상기 제1 영상 및 상기 제2 영상에서 각각 고정된 객체를 분할함으로써 세그먼트를 결정하도록 설정된, 영상 분석 시스템.
  3. 청구항 1에 있어서, 상기 데이터 처리부는,
    상기 제1 영상의 특징점 및 상기 제2 영상의 특징점 간 변환 벡터를 이용하여 영상 내 관심 영역을 변경하도록 설정된, 영상 분석 시스템.
  4. 청구항 3에 있어서, 상기 데이터 처리부는,
    상기 관심 영역이 변경된 영상을 기준 영상으로 재설정하도록 설정된, 영상 분석 시스템.
  5. 청구항 1에 있어서, 상기 데이터 처리부는,
    상기 제1 영상 및 상기 제2 영상 각각의 세그먼트의 무게중심을 특징점으로 추출하도록 설정된, 영상 분석 시스템.
  6. 삭제
  7. 청구항 1에 있어서, 상기 데이터 처리부는,
    상기 제2 영상의 특징점 개수가 상기 임계 개수 미만이면, 상기 제1 영상 및 상기 제2 영상의 IoU (Intersection over Union)에 기반하여 상기 화각 변화를 검출하도록 설정된, 영상 분석 시스템.
  8. 청구항 1에 있어서, 상기 데이터 처리부는,
    세그먼트 별 특징점 개수 차이의 합 또는 평균이 제1 임계값 미만이면 상기 화각이 변화하지 않은 것으로 결정하고,
    상기 세그먼트 별 특징점 개수 차이의 합 또는 평균이 상기 제1 임계값 이상이면 상기 화각이 변화한 것으로 결정하도록 설정된, 영상 분석 시스템.
  9. 청구항 1에 있어서, 상기 데이터 처리부는,
    세그먼트 별 특징점들 간 거리의 합 또는 평균이 제2 임계값 미만이면 상기 화각이 변화하지 않은 것으로 결정하고,
    상기 세그먼트 별 특징점들 간 거리의 합 또는 평균이 상기 제2 임계값 이상이면 상기 화각이 변화한 것으로 결정하도록 설정된, 영상 분석 시스템.
  10. 청구항 7에 있어서, 상기 데이터 처리부는,
    세그먼트 별 IoU의 합 또는 평균이 제3 임계값 미만이면 상기 화각이 변화하지 않은 것으로 결정하고,
    상기 세그먼트 별 IoU의 합 또는 평균이 상기 제3 임계값 이상이면 상기 화각이 변화한 것으로 결정하도록 설정된, 영상 분석 시스템.
  11. 청구항 8, 9, 또는 10에 있어서, 상기 데이터 처리부는,
    상기 세그먼트 별 특징점 개수 차이, 특징점들 간 거리, 또는 IoU에 상기 세그먼트 별 속성, 크기, 또는 종류에 따라 설정된 클래스 가중치를 적용하고, 및 상기 가중치가 적용된 값들의 합 또는 평균에 기반하여 상기 화각 변화를 검출하도록 설정된, 영상 분석 시스템.
  12. 청구항 8, 9, 또는 10에 있어서, 상기 데이터 처리부는,
    상기 세그먼트 별 특징점 개수 차이, 특징점들 간 거리, 또는 IoU에 상기 제1 영상 및 상기 제2 영상 각각의 원근에 따라 설정된 영역 가중치를 적용하고,
    상기 영역 가중치가 적용된 값들의 합 또는 평균에 기반하여 상기 화각 변화를 검출하도록 설정된, 영상 분석 시스템.
  13. 청구항 1에 있어서,
    상기 촬영부;를 더 포함하는, 영상 분석 시스템.
  14. 청구항 1 또는 13에 있어서,
    객체의 이동을 추적함으로써 상기 객체의 위치 또는 이동 거리를 측정하도록 설정된 센서부;를 포함하는, 영상 분석 시스템.
  15. 청구항 13에 있어서, 상기 데이터 처리부는,
    상기 촬영부를 통해 통행 정보, 행위 정보, 또는 방범 정보 중 적어도 하나를 획득하도록 설정된, 영상 분석 시스템.
  16. 청구항 15에 있어서,
    상기 촬영부 및 상기 데이터 처리부를 통해 획득된 정보를 통해 도로 상황을 관제하도록 설정된 운영 장치;를 더 포함하는, 영상 분석 시스템.
  17. 영상 분석 시스템의 동작 방법에 있어서,
    촬영부를 통해 획득되고 기준 영상으로 설정된 제1 영상에서 딥러닝 모델을 통해 결정된 세그먼트의 특징점을 추출하는 동작;
    특정 시점에서 상기 촬영부를 통해 획득된 제2 영상에서 상기 딥러닝 모델을 통해 결정된 세그먼트의 특징점을 추출하는 동작; 및
    상기 제1 영상 및 상기 제2 영상 각각의 특징점들의 개수 또는 상기 특징점들 간 거리 중 적어도 하나에 기반하여 상기 촬영부의 화각 변화를 검출하는 동작;을 포함하고,
    상기 제1 영상 및 상기 제2 영상 각각의 특징점들의 개수 또는 상기 특징점들 간 거리 중 적어도 하나에 기반하여 상기 촬영부의 화각 변화를 검출하는 동작은,
    상기 제2 영상의 특징점 개수가 지정된 임계 개수 이상이면, 상기 제1 영상 및 상기 제2 영상의 특징점 개수의 차이에 기반하여 상기 화각 변화를 검출하고, 상기 제2 영상의 특징점 개수가 상기 임계 개수 미만이면, 상기 제1 영상 및 상기 제2 영상의 특징점들 간 거리에 기반하여 상기 화각 변화를 검출하도록 설정된, 영상 분석 시스템의 동작 방법.
KR1020210117002A 2021-09-02 2021-09-02 영상 분석 시스템 및 그에 관한 방법 KR102612353B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210117002A KR102612353B1 (ko) 2021-09-02 2021-09-02 영상 분석 시스템 및 그에 관한 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210117002A KR102612353B1 (ko) 2021-09-02 2021-09-02 영상 분석 시스템 및 그에 관한 방법

Publications (2)

Publication Number Publication Date
KR20230033973A KR20230033973A (ko) 2023-03-09
KR102612353B1 true KR102612353B1 (ko) 2023-12-12

Family

ID=85511468

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210117002A KR102612353B1 (ko) 2021-09-02 2021-09-02 영상 분석 시스템 및 그에 관한 방법

Country Status (1)

Country Link
KR (1) KR102612353B1 (ko)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101195942B1 (ko) * 2006-03-20 2012-10-29 삼성전자주식회사 카메라 보정 방법 및 이를 이용한 3차원 물체 재구성 방법
US10728461B1 (en) * 2019-01-31 2020-07-28 StradVision, Inc. Method for correcting misalignment of camera by selectively using information generated by itself and information generated by other entities and device using the same

Also Published As

Publication number Publication date
KR20230033973A (ko) 2023-03-09

Similar Documents

Publication Publication Date Title
JP7052663B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
CN108345822B (zh) 一种点云数据处理方法及装置
US11380105B2 (en) Identification and classification of traffic conflicts
Zheng et al. A novel vehicle detection method with high resolution highway aerial image
US7804980B2 (en) Environment recognition device
Berriel et al. Ego-lane analysis system (elas): Dataset and algorithms
Reisman et al. Crowd detection in video sequences
US20050232463A1 (en) Method and apparatus for detecting a presence prior to collision
Lam et al. A real-time traffic congestion detection system using on-line images
KR102001002B1 (ko) 딥러닝 기반 번호 인식 시스템
US11914041B2 (en) Detection device and detection system
WO2013186662A1 (en) Multi-cue object detection and analysis
CN102997900A (zh) 外界识别方法、装置以及车辆系统
KR102200204B1 (ko) Cctv 영상을 활용한 3차원 영상분석 시스템
KR101809088B1 (ko) 전방 차량 추돌 알림 장치 및 방법
Nguyen et al. Real-time validation of vision-based over-height vehicle detection system
JP6678552B2 (ja) 車種判別装置および車種判別方法
Janda et al. Road boundary detection for run-off road prevention based on the fusion of video and radar
KR102485997B1 (ko) 위반 정보를 제공하기 위한 교통 제어 시스템 및 그에 관한 방법
KR20190134303A (ko) 영상 인식 장치 및 그 방법
KR102612353B1 (ko) 영상 분석 시스템 및 그에 관한 방법
KR102317311B1 (ko) 영상을 이용한 정보 분석 시스템 및 그에 관한 방법
Špaňhel et al. Detection of traffic violations of road users based on convolutional neural networks
KR102401262B1 (ko) 영상을 이용한 정보 분석 시스템 및 그에 관한 방법
KR102510896B1 (ko) 영상 분석 기반의 신호 제어 시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant