KR101987184B1 - Vms 및 cctv를 이용하여 위험상황을 관리하는 지능형 교통 시스템 - Google Patents
Vms 및 cctv를 이용하여 위험상황을 관리하는 지능형 교통 시스템 Download PDFInfo
- Publication number
- KR101987184B1 KR101987184B1 KR1020180137503A KR20180137503A KR101987184B1 KR 101987184 B1 KR101987184 B1 KR 101987184B1 KR 1020180137503 A KR1020180137503 A KR 1020180137503A KR 20180137503 A KR20180137503 A KR 20180137503A KR 101987184 B1 KR101987184 B1 KR 101987184B1
- Authority
- KR
- South Korea
- Prior art keywords
- vms
- image
- cctv
- monitoring
- unit
- Prior art date
Links
- 238000012544 monitoring process Methods 0.000 claims abstract description 62
- 206010039203 Road traffic accident Diseases 0.000 claims abstract description 27
- 238000000034 method Methods 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 26
- 238000010191 image analysis Methods 0.000 claims description 22
- 238000004891 communication Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000013473 artificial intelligence Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 238000010835 comparative analysis Methods 0.000 claims description 5
- 230000002950 deficient Effects 0.000 claims description 4
- 238000009434 installation Methods 0.000 claims description 4
- 230000007257 malfunction Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 description 27
- 238000004364 calculation method Methods 0.000 description 23
- 238000007726 management method Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 19
- 238000001514 detection method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000001186 cumulative effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000002716 delivery method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
-
- G06T3/0093—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/097—Supervising of traffic control systems, e.g. by giving an alarm if two crossing streets have green light simultaneously
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
VMS 및 CCTV를 이용하여 위험상황을 관리하는 지능형 교통 시스템이 개시된다. 일 실시 예에 따른 VMS 및 CCTV를 이용한 지능형 교통 시스템은, VMS와, VMS의 표시정보를 촬영하여 감시하는 VMS 감시용 CCTV와, 도로변을 촬영하여 도로상황을 감시하는 사고 감시용 CCTV와, 관제센터로부터 VMS에 표출될 입력 표출 데이터를 수신하여 이를 VMS에 전달하는 VMS 제어장치와, VMS 감시용 CCTV로 획득된 VMS 촬영 영상 및 VMS 제어장치로부터 획득된 입력 표출 데이터를 이용하여 VMS의 고장 여부를 판단하고 사고 감시용 CCTV로부터 획득된 도로 촬영 영상으로부터 차량의 교통사고 여부를 판단하는 위험상황 관리장치를 포함한다.
Description
본 발명은 영상 인식 및 처리기술에 관한 것이다.
차량을 운행하게 되면 주위의 상황, 예를 들어, 도로나 주변차량 또는 보행자들의 흐름을 파악하는 것도 중요하지만, 무엇보다 도로변에 설치된 교통장치를 통해 교통정보를 파악하는 것이 중요하다. 도로변에 설치되는 교통장치 중 하나로 VMS(Variable Message Sign)가 있다. VMS는 도로 이용자에게 교통량, 교통사고, 정체구간, 기상상황 및 공사로 인한 통제 등에 대한 실시간 정보를 제공한다. 기존의 VMS는 고유기술인 효율적인 표출기술에 중점적인 기술개발이 이루어지고 있다.
일 실시 예에 따라, C-ITS(Cooperative Intelligent Transport System) 기술을 VMS에 도입하고 CCTV를 활용하여 VMS를 중심으로 전후방의 교통사고를 효율적으로 감지하면서 VMS 고장까지 자동 감지할 수 있는 지능형 교통 시스템을 제안한다.
일 실시 예에 따른 VMS 및 CCTV를 이용한 지능형 교통 시스템은, VMS와, VMS의 표시정보를 촬영하여 감시하는 VMS 감시용 CCTV와, 도로변을 촬영하여 도로상황을 감시하는 사고 감시용 CCTV와, 관제센터로부터 VMS에 표출될 입력 표출 데이터를 수신하여 이를 VMS에 전달하는 VMS 제어장치와, VMS 감시용 CCTV로 획득된 VMS 촬영 영상 및 VMS 제어장치로부터 획득된 입력 표출 데이터를 이용하여 VMS의 고장 여부를 판단하고 사고 감시용 CCTV로부터 획득된 도로 촬영 영상으로부터 차량의 교통사고 여부를 판단하는 위험상황 관리장치를 포함한다.
위험상황 관리장치는, VMS 감시용 CCTV로부터 VMS 촬영 영상을 수신하고 사고 감시용 CCTV로부터 도로 촬영 영상을 수신하고 VMS 제어장치로부터 입력 표출 데이터를 수신하며 위험 경고신호를 VMS 제어장치에 전송하는 통신부와, VMS 촬영 영상 및 입력 표출 데이터로부터 VMS의 고장 여부를 판단하고 도로 촬영 영상으로부터 차량의 교통사고 여부를 판단하며 VMS 고장 또는 교통사고 발생 시에 위험 경고신호를 생성하는 프로세서를 포함할 수 있다.
프로세서는, VMS 감시용 CCTV 및 사고 감시용 CCTV로부터 획득된 영상을 처리하는 영상 처리부와, 영상 처리된 영상을 분석하는 영상 분석부와, 영상 분석결과를 기반으로 VMS 고장 여부를 판단하는 VMS 고장 판단부와, 영상 분석결과를 기반으로 사고 여부를 판단하는 교통사고 판단부와, VMS 고장 판단 결과 또는 교통사고 판단 결과에 대응하여 위험 경고신호를 생성하는 경고 처리부를 포함할 수 있다.
영상 처리부는, 프레임 단위로 순차적으로 입력되는 영상 데이터의 노이즈를 제거하고 관심영역을 추출하는 전 처리부와, 전 처리된 입력 영상 프레임 데이터의 픽셀 별로 위치의 이동을 다르게 하여 이동시키는 영상 워핑을 수행함에 따라 프레임 내 픽셀 간을 보간하여 오류가 제거된 복원 영상 데이터를 생성하는 영상 워핑부를 포함할 수 있다.
영상 워핑부는, 입력 영상의 각 픽셀 V(x,y)을 대상으로 각 제어선 Li에 대하여 입력 영상 픽셀 V(x,y)과 제어선 Li의 수직 교차점의 위치 u를 계산하는 수직 교차점 위치 계산부와, 입력 영상 픽셀 V(x,y)과 제어선 Li의 수직 변위 h를 계산하는 수직 변위 계산부와, 수직 교차점의 위치 u와 수직 변위 h를 이용하여 복원 영상에서의 대응 위치 V'(x',y')를 구하는 대응 픽셀 위치 계산부와, 입력 영상 픽셀 V(x,y)과 제어선 Li 사이의 거리 d를 계산하는 거리 계산부와, 입력 영상 픽셀 V(x, y)와 제어선 Li 사이의 거리 d를 이용하여 제어선의 가중치(weight)를 계산하는 가중치 계산부와, 입력 영상 픽셀 V(x, y)와 복원 영상 픽셀 V' 사이의 변위 값을 구하고 이들의 변위 누적(tx, ty)을 계산하는 누적 계산부와, 계산된 변위 누적(tx, ty)과 제어선의 가중치를 이용하여 입력 영상 픽셀 V(x, y)에 대응되는 복원 영상 픽셀 V(X, Y)의 위치를 계산하고 복원 영상 픽셀 V(X, Y)을 입력 영상 V(x, y) 픽셀에 복사하는 입력 영상 픽셀 위치 계산부를 포함할 수 있다.
영상 분석부는, 인공지능을 이용하여 영상에서 객체를 검출하는 객체 검출부와, 고밀도 광학 흐름을 이용하여 객체의 변화를 추적하는 객체 추적부를 포함할 수 있다. 영상 분석부는, VMS에 표출될 입력 표출 데이터와 VMS 감시용 CCTV로부터 수신된 VMS 촬영 영상 데이터를 비교 분석하는 비교 분석부를 포함하고, VMS 고장 판단부는 기준이 되는 고장 판단 데이터를 획득하고 획득된 고장 판단 데이터를 참조하여 영상 비교 분석 데이터로부터 VMS 고장 여부를 판단할 수 있다. VMS 고장 판단부는, 입력 표출 데이터에서 표출될 LED 개수 또는 글자 개수와 VMS 촬영 영상에서 실제 표출되는 LED 개수 또는 글자 개수가 상이한 경우 LED 픽셀 불량으로 판단할 수 있다.
교통사고 판단부는, 영상 분석부의 분석 결과에 따라 차량 간의 거리가 미리 설정된 거리 미만인 경우, 주행 중 차량이 정지되어 있는 경우, 주행 중 차량이 주행선을 넘은 경우 중 적어도 하나의 상황을 감지하면 교통사고 발생으로 판단할 수 있다.
일 실시 예에 따르면, VMS에 장착된 CCTV의 도로 촬영 영상으로부터 차량의 교통사고 여부를 판단할 수 있고 CCTV의 VMS 촬영 영상 및 VMS 제어장치로부터 획득된 입력 표출 데이터를 이용하여 VMS의 고장 여부를 판단할 수 있다. 교통사고 발생 또는 VMS 고장 시에 위험상황을 알리는 위험 경고신호를 생성하여 전달함에 따라 위험상황에 사전에 대비할 수 있다.
또한, 영상 워핑 방법을 통해 입력되는 영상의 캡처 속도만큼 영상 처리 속도를 빠르게 구현할 수 있다. 차량은 매우 빠른 속도로 달리기 때문에 달리는 차량을 촬영한 영상은 화질이 좋지 못하여 왜곡되는 오류가 발생할 수 있다. 일 실시 예에 따르면 촬영 영상을 대상으로 영상 워핑 기법으로 보정하여 오류를 제거함에 따라 영상을 복원할 수 있다. 복원된 영상을 대상으로 영상 분석이 이루어지면 입력 영상의 캡쳐 속도에 맞추어 빠른 속도로 영상 분석이 가능하다. 또한, 인공지능을 이용한 객체 검출 및 고밀도 광학 흐름을 이용한 객체의 변화 추적을 통해 영상 분석 성능을 높일 수 있다.
도 1은 본 발명의 일 실시 예에 따른 지능형 교통 시스템(Intelligent Transport System: ITS)의 구성도,
도 2는 본 발명의 일 실시 예에 따른 CCTV의 설치 예를 도시한 도면,
도 3은 본 발명의 일 실시 예에 따른 VMS의 고장 감시를 위한 데이터 획득 실시 예를 도시한 도면,
도 4는 본 발명의 일 실시 예에 따른 차량 고장 감시를 위한 데이터 획득 실시 예를 도시한 도면,
도 5는 본 발명의 일 실시 예에 따른 위험상황 관리장치의 구성을 도시한 도면,
도 6은 본 발명의 일 실시 예에 따른 도 5의 프로세서의 세부 구성을 도시한 도면,
도 7은 본 발명의 일 실시 예에 따른 도 6의 영상 워핑부의 세부 구성을 도시한 도면,
도 8a 내지 도 8e는 본 발명의 일 실시 예에 영상 워핑 방법을 설명하기 위한 참조도,
도 9는 본 발명의 일 실시 예에 따른 위험상황 관리장치를 이용한 VMS 고장 판단 프로세스를 도시한 도면,
도 10은 본 발명의 일 실시 예에 따른 위험상황 관리장치를 이용한 차량 사고 판단 프로세스를 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 CCTV의 설치 예를 도시한 도면,
도 3은 본 발명의 일 실시 예에 따른 VMS의 고장 감시를 위한 데이터 획득 실시 예를 도시한 도면,
도 4는 본 발명의 일 실시 예에 따른 차량 고장 감시를 위한 데이터 획득 실시 예를 도시한 도면,
도 5는 본 발명의 일 실시 예에 따른 위험상황 관리장치의 구성을 도시한 도면,
도 6은 본 발명의 일 실시 예에 따른 도 5의 프로세서의 세부 구성을 도시한 도면,
도 7은 본 발명의 일 실시 예에 따른 도 6의 영상 워핑부의 세부 구성을 도시한 도면,
도 8a 내지 도 8e는 본 발명의 일 실시 예에 영상 워핑 방법을 설명하기 위한 참조도,
도 9는 본 발명의 일 실시 예에 따른 위험상황 관리장치를 이용한 VMS 고장 판단 프로세스를 도시한 도면,
도 10은 본 발명의 일 실시 예에 따른 위험상황 관리장치를 이용한 차량 사고 판단 프로세스를 도시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.
이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.
그리고 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.
이하, 첨부 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다. 그러나 다음에 예시하는 본 발명의 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시 예에 한정되는 것은 아니다. 본 발명의 실시 예는 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공된다.
도 1은 본 발명의 일 실시 예에 따른 지능형 교통 시스템(Intelligent Transport System: ITS)의 구성도이다.
도 1을 참조하면, 지능형 교통 시스템(1)은 VMS(2), VMS 감시용 CCTV(3), 사고 감시용 CCTV(4), VMS 제어장치(5), 관제센터(6) 및 위험상황 관리장치(7)를 포함한다.
VMS(2)는 도로변에 설치되어 교통상황을 알리는 장치이다. 예를 들어, VMS(2)는 도로의 교통 혼잡 교차로 등에서 교통정보를 문자와 그래픽 형태로 제공한다. 교통정보는 도로 소통 상황, 도착 소요 시간, 교통 예보, 위험 상황, 기상 상황 등에 대한 정보를 포함한다. 도로 소통 상황은 교통량, 교통사고, 정체현황, 공사 등을 포함한다.
VMS 감시용 CCTV(3)는 VMS(2)의 표시정보를 촬영하여 VMS(2)를 감시한다. 사고 감시용 CCTV(4)는 도로변을 촬영하여 도로상황을 감시한다. 일 실시 예에 따른 사고 감시용 CCTV(4)는 전방을 촬영하거나 후방을 촬영하거나 또는 전후방을 모두 촬영한다. VMS 감시용 CCTV(3) 및 사고 감시용 CCTV(4)는 각각 VMS(2)에 장착될 수 있다.
VMS 제어장치(5)는 관제센터(6)로부터 VMS(2)에 표출될 입력 표출 데이터를 수신하고 이를 VMS(2)에 전달하여 VMS(2)를 통해 입력 표출 데이터를 화면에 출력하도록 한다.
위험상황 관리장치(7)는 VMS 감시용 CCTV(3)로 획득된 VMS 촬영 영상 및 VMS 제어장치(5)로부터 획득된 입력 표출 데이터를 이용하여 VMS(2)의 고장 여부를 판단한다. 그리고 사고 감시용 CCTV(4)로부터 획득된 도로 촬영 영상으로부터 차량의 교통사고 여부를 판단한다.
일 실시 예에 따른 위험상황 관리장치(7)는 VMS 감시용 CCTV(3)로 획득된 VMS 촬영 영상으로부터 VMS(2) 표시정보를 인식하고 인식한 표시정보를 교통정보로 변환한다. 표시정보는 VMS(2)를 통해 보이는 문자나 신호 등을 포함한다. 교통정보로부터 위험상황임을 인식하면 위험 경고신호를 생성할 수 있다.
위험상황 관리장치(7)가 VMS 감시용 CCTV(3) 및 사고 감시용 CCTV(4)로부터 지속적으로 입력받게 되고, 단일 프레임 단위로 입력받을 수 있다. 프레임이란 동영상을 이루는 짧은 시간에 찍히는 사진으로, 영상처리에서 영상은 통상 프레임 단위로 처리된다.
위험상황 관리장치(7)는 위험 경고신호를 전달하여 각종 사고를 줄이고, 소통을 원활하게 하는 지능형 교통 서비스를 제공한다. 위험상황 관리장치(7)는 위험 경고신호를 다양한 방법으로 전달한다. 예를 들어, 전달방법은 네트워크를 통해 관제센터(6)에 전달하는 방법, 도로 내 차량에 직접 전달하는 방법 등이 있다.
관제센터(6)는 위험상황 관리장치(7)와 연결되어, 위험상황 관리장치(7)를 모니터링 및 제어한다. 관제센터(6)가 위험상황 관리장치(7)로부터 위험 경고신호를 수신하면 위험상황에 맞는 대처를 할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 CCTV의 설치 예를 도시한 도면이다.
도 2를 참조하면, 일 실시 예에 따른 CCTV는 VMS 감시용 CCTV(3), 전방사고 감시용 CCTV(4-1) 및 후방사고 감시용 CCTV(4-2)를 포함한다. VMS 감시용 CCTV(3)는 VMS(2)의 표시정보를 촬영하고, 전방사고 감시용 CCTV(4-1)는 VMS(2) 설치 위치를 기준으로 전방의 도로변을 촬영하며, 후방사고 감시용 CCTV(4-2)는 후방의 도로변을 촬영한다.
도 3은 본 발명의 일 실시 예에 따른 VMS의 고장 감시를 위한 데이터 획득 실시 예를 도시한 도면이다.
도 3을 참조하면, VMS 제어장치(5)는 관제센터(6)로부터 VMS(2)에 표출될 입력 표출 데이터를 수신하여 이를 VMS(2)에 전달한다. 입력 표출 데이터는 R,G,B 및 DVI 표출 데이터일 수 있다. VMS 감시용 CCTV(3)는 VMS(2)의 표시정보를 촬영하여 감시한다. VMS(2)는 입력 표출 데이터를 화면에 출력하게 되는데, VMS(2)가 고장이 난 경우 전달받은 입력 표출 데이터 그대로를 화면에 출력할 수 없다. VMS 감시용 CCTV(3)는 VMS(2)에 실제로 출력되는 화면을 촬영하게 되는데, VMS(2)를 통해 출력되어야 할 화면과 VMS(2)를 통해 실제로 출력된 화면을 비교 분석하면 VMS(2)의 고장 여부를 판단할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 차량 고장 감시를 위한 데이터 획득 실시 예를 도시한 도면이다.
도 4를 참조하면, 사고 감시용 CCTV(4)가 도로변을 촬영하여 도로상황을 감시한다. 이때, 사고 감시용 CCTV(4)로부터 획득된 도로 촬영 영상으로부터 차량의 교통사고 여부를 판단할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 위험상황 관리장치의 구성을 도시한 도면이다.
도 1 및 도 5를 참조하면, 위험상황 관리장치(7)는 입력부(70), 출력부(72), 프로세서(74), 통신부(76) 및 메모리(78)를 포함한다.
통신부(76)는 VMS 감시용 CCTV(3)로부터 VMS 촬영 영상을 수신하고 사고 감시용 CCTV(4)로부터 도로 촬영 영상을 수신하며 VMS 제어장치(5)로부터 입력 표출 데이터를 수신한다. 그리고 프로세서(74)를 통해 생성된 위험 경고신호를 VMS 제어장치(5)를 거쳐 관제센터(6)에 전송한다.
일 실시 예에 따른 통신부(76)는 VMS(2)와 통신한다. 일반적으로 VMS(2)는 관제센터(6)의 제어에 의해 관제센터(6)로부터 정보를 받아 이를 출력하는데, 위험상황 관리장치(7)가 VMS(2)와의 통신을 통해 VMS(2)에 직접 정보를 제공할 수 있다. 예를 들어, 도로변에 차량사고가 발생하여 긴박한 상황임을 인식하면, 이를 관제센터(6)를 거치지 않고 직접 VMS(2)에 전송할 수 있다. 이 경우, VMS(2)는 수신된 위험경고 정보를 화면에 표출할 수 있다.
프로세서(74)는 통신부(76)를 통해 수신된 VMS 촬영 영상 및 입력 표출 데이터로부터 VMS의 고장 여부를 판단한다. 그리고 통신부(76)를 통해 수신된 도로 촬영 영상으로부터 차량의 교통사고 여부를 판단한다. VMS 고장 또는 교통사고 발생으로 판단되면 위험 경고신호를 생성한다.
입력부(70)는 사용자 조작명령을 입력받는다. 출력부(72)는 프로세서(74)에 의해 처리된 정보, 통신부(76)를 통해 수신된 정보를 출력한다. 정보는 교통정보 또는 위험 경고신호일 수 있다. 출력 형태는 음성신호, 영상신호, 진동 형태일 수 있다. 음성신호는 경고 음을 포함할 수 있으며, 스피커를 통해 출력된다. 영상신호는 디스플레이 장치를 통해 화면에 표시된다. 위험상황 관리장치(7)가 차량 내부에 위치하는 경우, 차량 운전대 또는 차량 의자에서 진동을 발생하여 사용자에 전달할 수 있다. 위험 상황은 차량 또는 주변차량에 위험 경고신호를 즉각적으로 전달하여 위험한 상황에 사전 대응하도록 하기 위함이다.
메모리(78)는 위험상황 관리장치(7)에서 동작 수행을 위해 필요한 정보와 동작 수행에 따라 생성되는 정보가 저장된다. 메모리(78)에는 통신부(76)를 통해 수신된 영상에서 VMS(2)의 표시정보를 인식하기 위해 VMS(2)의 형상 패턴, 색 패턴, 신호 패턴 등의 패턴 정보가 저장될 수 있다. 이때, 프로세서(74)는 입력받은 영상 데이터와 메모리(78)에 저장된 패턴 정보를 비교하여 교통정보를 인식할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 도 5의 프로세서의 세부 구성을 도시한 도면이다.
도 1, 도 5 및 도 6을 참조하면, 프로세서(74)는 영상 처리부(740), 영상 분석부(742), VMS 고장 판단부(744), 사고 판단부(746) 및 경고 처리부(748)를 포함한다.
일 실시 예에 따른 영상 처리부(740)는 전 처리부(7400) 및 영상 워핑부(7410)를 포함한다.
전 처리부(7400)는 입력받은 영상 데이터를 전 처리하여 노이즈를 제거한다. 예를 들어, 휘도가 너무 밝거나 어두운 경우 이를 보정하고, 노이즈 제거작업 등을 수행한다. 또한, 이미지 데이터 중에서 불필요한 상하, 좌우, 마진(margin) 측 영역을 제거하여 관심영역(Region Of Interest: ROI)만을 추출할 수 있다.
영상 워핑부(7410)는 입력 영상 프레임 데이터의 픽셀 별로 위치의 이동을 다르게 하여 이동시키는 영상 워핑(Image warping)을 수행함에 따라 프레임 내 픽셀 간을 보간하여 복원 영상 데이터를 생성한다. 영상 워핑은 픽셀의 위치를 이동하는 기하학적 처리 중의 한 기법이다. 영상의 확대나 축소와 같은 기하학적 처리는 모든 픽셀에 대하여 일정한 규칙을 적용함으로써 균일한 반환 결과를 얻는다. 이에 비해, 영상 워핑은 픽셀별로 이동 정도를 달리할 수 있어서, 고무판 위에 그려진 영상을 임의대로 구부리는 것과 같은 효과를 나타낼 수 있다. 이미지 분석 처리가 실시간으로 이루어지지 위해서는, 입력되는 영상의 캡처 속도만큼 처리 속도도 빨라야 하는 기술적인 시간 제약이 있는데, 영상 워핑부(7410)의 영상 워핑을 통해 이러한 문제를 해결하고자 한다. 즉, 차량은 매우 빠른 속도로 달리기 때문에 달리는 차량을 촬영한 영상은 화질이 좋지 못하여 왜곡되는 오류가 발생할 수 있다. 일 실시 예에 따른 영상 워핑부(7410)는 입력 영상을 대상으로 영상 워핑을 적용하여 보정하여 오류를 제거함에 따라 복원할 수 있다. 복원된 영상을 대상으로 영상 분석이 이루어지면 입력 영상의 캡쳐 속도에 맞추어 빠른 속도로 영상 분석이 가능하다.
영상 워핑부(7410)는 전 처리부(7400)를 통해 전 처리된 영상을 입력받아 영상 워핑을 수행하여 오류를 제거하고 오류가 제거된 복원 영상을 영상 분석부(742)에 제공한다. 영상 워핑부(7410)의 세부 구성은 도 7을 참조로 하여 후술한다.
영상 분석부(742)는 영상 처리부(740)를 통해 영상 처리된 영상을 분석한다. 일 실시 예에 따른 영상 분석부(742)는 객체 검출부(7420), 객체 추적부(7422) 및 비교 분석부(7424)를 포함한다.
객체 검출부(7420)는 영상에서 객체를 검출한다(object detection). 이때, 객체 검출부(7420)는 인공지능(AI)을 이용하여 객체를 검출할 수 있다. 예를 들어, 사고 감시용 CCTV(4)를 통해 획득된 영상으로부터 움직이는 차량을 감지하고 차량 충돌을 판단할 때 인공지능 기술을 이용할 수 있다. 인공지능의 예로는 기계학습이 있는데, 기계학습을 통해 다양한 영상 데이터베이스를 통해 학습된 결과값을 이용하여 객체(예를 들어, 차량)를 정확하게 인식할 수 있다. 기계학습의 예로는 CNN(Convolution Neural Network) 방식이 있다. 객체 검출부(7420)는 광학적 문자 인식을 통해 VMS(2)의 표시정보를 인식할 수 있다. 예를 들어, VMS 감시용 CCTV를 통해 촬영한 영상에서 VMS 표시정보를 광학적 문자 인식을 통해 식별한다.
객체 추적부(7422)는 객체 검출부(7420)를 통해 검출된 객체의 변화를 추적한다(object tracking). 이때, 객체 추적부(7422)는 고밀도 광학 흐름(Dense Optical Flow) 기법을 이용하여 모션을 캡쳐할 수 있다. 광학 흐름은 두 개의 연속된 영상 프레임 사이에 객체의 가시적인 동작 패턴을 의미한다. 객체의 가시적인 동작 패턴은 객체의 움직으로 인해 발생한다. 광학 흐름을 통해 차량의 움직임을 감지할 수 있다.
비교 분석부(7424)는 입력 표출 데이터와 VMS 촬영 영상 데이터를 비교 분석한다. 비교 분석 결과는 VMS 고장 판단부(744)의 VMS 고장 판별을 위해 사용된다.
VMS 고장 판단부(744)는 영상 분석부(742)의 영상 분석결과를 기반으로 VMS 고장 여부를 판단한다. 예를 들어, 비교 분석부(7424)의 입력 표출 데이터와 VMS 촬영 영상 데이터를 비교 분석결과에 따라 서로 상이한지에 따라 고장 여부를 판단한다. 일 실시 예에 따른 VMS 고장 판단부(744)는 기준이 되는 고장 판단 데이터를 획득하고 획득된 고장 판단 데이터를 참조하여 영상 비교 분석 데이터로부터 VMS 고장 여부를 판단한다. 일 실시 예에 따른 VMS 고장 판단부(744)는 VMS(2)의 LED 픽셀들의 불량 여부를 검출한다. 예를 들어, 입력 표출 데이터의 표출될 LED 개수 또는 글자 개수와 VMS 촬영 영상에서 실제 표출되는 LED 개수 또는 글자 개수가 상이한 경우 LED 픽셀 불량으로 판별한다.
교통사고 판단부(746)는 영상 분석부(742)의 영상 분석결과를 기반으로 사고 여부를 판단한다. 교통사고 판단부(746)는 영상 분석부(742)의 분석 결과에 따라 차량 간의 거리가 미리 설정된 거리, 예를 들어 10cm 미만으로 가까운 경우, 주행 중 차량이 정지되어 있는 경우, 주행 중 차량이 주행선을 넘은 경우 중 적어도 하나의 상황을 감지하면 교통사고 발생으로 판단한다.
경고 처리부(748)는 VMS 고장 판단 결과 또는 교통사고 판단 결과에 대응하여 위험 경고신호를 생성한다. 일 실시 예에 따른 경고 처리부(748)는 표시정보를 교통상황 또는 위험상황을 알리는 텍스트 정보로 변환하고 변환된 텍스트 정보를 음성신호, 경고음 또는 진동신호 중 적어도 하나로 변환하여 출력부(72)에 제공한다. 텍스트를 음성으로 변환하는 기술은 문자 음성 변환(Text To Speech: TTS) 기술을 이용하여 문자를 음성으로 바꿔 스피커를 통해 출력할 수 있다. 경고음 또는 진동신호를 활성화할 수 있다.
위험상황 경고의 예를 들면, 사고 감시용 CCTV(4)를 통해 충돌사고를 감지하면, 즉각 위험 경고신호를 생성하고 이를 관제센터에 즉각적으로 전달하여 위험한 상황에 사전 대응할 수 있게 한다.
도 7은 본 발명의 일 실시 예에 따른 도 6의 영상 워핑부의 세부 구성을 도시한 도면이다.
도 7을 참조하면, 영상 워핑부(7410)는 수직 교차점 위치 계산부(7411), 수직 변위 계산부(7412), 대응 픽셀 위치 계산부(7413), 거리 계산부(7414), 가중치 계산부(7415), 누적 계산부(7416) 및 입력 영상 픽셀 위치 계산부(7417)를 포함한다.
수직 교차점 위치 계산부(7411)는 입력 영상의 각 픽셀 V(x,y)을 대상으로 각 제어선 Li에 대하여 입력 영상 픽셀 V(x,y)과 제어선 Li의 수직 교차점의 위치 u를 계산한다. 수직 변위 계산부(7412)는 입력 영상 픽셀 V(x,y)과 제어선 Li의 수직 변위 h를 계산한다. 대응 픽셀 위치 계산부(7413)는 수직 교차점의 위치 u와 수직 변위 h를 이용하여 복원 영상에서의 대응 위치 V'(x',y')를 구한다. 거리 계산부(7414)는 입력 영상 픽셀 V(x,y)과 제어선 Li 사이의 거리 d를 계산한다. 가중치 계산부(7415)는 입력 영상 픽셀 V(x, y)와 제어선 Li 사이의 거리 d를 이용하여 제어선의 가중치(weight)를 계산한다. 누적 계산부(7416)는 입력 영상 픽셀 V(x, y)와 복원 영상 픽셀 V' 사이의 변위 값을 구하고 이들의 변위 누적(tx, ty)을 계산한다. 입력 영상 픽셀 위치 계산부(7417)는 누적 계산부(7416)에서 계산된 변위 누적(tx, ty)과 제어선의 가중치를 이용하여 입력 영상 픽셀 V(x, y)에 대응되는 복원 영상 픽셀 V(X, Y)의 위치를 계산하고 복원 영상 픽셀 V(X, Y)을 입력 영상 V(x, y) 픽셀에 복사한다.
도 8a 내지 도 8e는 본 발명의 일 실시 예에 영상 워핑 방법을 설명하기 위한 참조도이다.
세부적으로, 도 8a는 제어선 내부에 존재하는 수직 교차점을 구하는 방법을 설명하기 위한 복원영상 및 입력영상을 도시한 참조도, 도 8b는 제어선 외부에 존재하는 수직 교차점을 구하는 방법을 설명하기 위한 복원영상 및 입력영상을 도시한 참조도, 도 8c는 픽셀과 제어선의 거리를 구하는 방법을 설명하기 위한 참조도, 도 8d는 점과 제어선 사이의 수직 교차점의 위치 계산을 설명하기 위한 참조도, 도 8e는 픽셀의 수직 변위 계산 프로세스를 설명하기 위한 참조도이다.
1. 복원 영상과 입력 영상의 대응 관계 기술
영상 워핑을 위해서는 먼저 복원 영상을 어떻게 변형할 것인지 기술해야 한다. 영상 워핑 방법 중 하나로 제어선이나 제어점을 사용할 수 있는데, 워핑 결과를 얻기 위해서 복원 영상과 입력 영상 사이에 서로 대응되어야 할 위치를 제어선 또는 제어점으로 기술한다. 제어선과 제어점 이외에도 그물망, 다각형 등 여러 가지 방법을 사용하여 복원 영상과 입력 영상의 대응 관계를 나타낼 수 있다.
2. 제어선을 이용한 워핑 기법
제어선을 이용하여 복원 영상과 입력 영상의 대응 관계를 기술한 경우에 워핑을 수행하는 방법에 대하여 후술한다.
우선, 도 8a에 도시된 바와 같이 픽셀과 제어선 사이의 수직 교차점을 구한다. 그리고 픽셀과 수직 교차점 사이의 변위 정보와 제어선 내에서 수직 교차점의 위치 정보 두 가지를 활용하고 역방향 사상을 이용하여 워핑을 수행한다. 도 a에서 보면, 입력 영상에서 제어선 PQ가 복원 영상에서 제어선 P'Q'에 대응되고, 입력 영상의 픽셀 V가 복원 영상의 픽셀 V'로부터 복사된다. 도 a에서 PQ, P'Q'는 제어선, V,V'는 픽셀에 해당한다.
역방향 사상에 의하여 픽셀 V에 대응되는 픽셀 V'의 위치를 계산하기 위해서는 먼저 제어선 PQ 내에서의 C의 상대적 위치와 동일하게 P'Q' 내에서 C'의 위치를 찾는다. 그 다음에는 C와 V 사이의 변위만큼 C'로부터 떨어진 점 V'를 찾는다.
픽셀과 제어선의 수직 교차점이 도 8b에 도시된 바와 같이 제어선 내부에 존재하지 않을 수 있다. 이 경우에도 수직 교차점이 제어선 내부에 있는 경우와 동일한 방법에 의하여 복원 영상의 픽셀 위치를 찾는다.
하나의 제어선에 대해서는 단순하게 픽셀의 이동 위치를 계산할 수 있지만, 실제의 워핑에서는 여러 개의 제어선이 사용된다. 제어선이 여러 개일 때 각 제어선은 영상의 모든 픽셀에 영향을 미치게 된다.
한 픽셀이 여러 개의 제어선으로부터 영향받는 것을 반영하기 위한 방법으로 수학식 1과 같은 가중치를 사용할 수 있다. 수학식 1에 나타나 있는 바와 같이, 제어선의 길이가 길수록 가중치가 커지고 픽셀과 제어선 사이의 거리가 가까울수록 가중치가 커진다.
수학식 1에서 p 값은 제어선의 길이가 가중치에 영향을 주는 정도를 결정하는 값으로, 0~1 사이의 값을 가진다. a는 0으로 나누는 것을 방지하기 위해 사용되는 값으로, 매우 작은 값을 가진다. b는 제어선의 길이와 거리의 변화에 따라 가중치의 변화 정도를 조절하는 값인데, 보통 0.5 ~ 2.0 사이의 값을 사용한다. 이 값이 커지면 픽셀들은 먼 거리에 있는 제어선들로부터 영향을 적게 받게 된다.
픽셀과 제어선의 거리는 도 8c에 도시된 바와 같이 수직 교차점의 위치에 따라 다르게 정의된다. 수직 교차점이 제어선 내부에 있는 경우에는 픽셀과 수직 교차점 사이의 거리가 사용되고, 제어선 외부에 있는 경우에는 제어선의 양 끝점 중에서 픽셀과 가까운 점과 픽셀 사이의 거리가 사용된다.
제어선이 여러 개인 경우, 입력 영상의 각 픽셀에 대하여 복원 영상의 대응 픽셀을 구하는 알고리즘은 다음과 같다.
1) 수직 교차점의 위치 계산
첫 번째 작업으로, 입력 영상의 각 픽셀 V(x,y)에 대하여 각각의 제어선 Li와의 수직 교차점의 위치를 구한다. 픽셀 V(x,y)가 도 8d에 도시된 바와 같이 제어선 Li에 내린 수선이 점 C(xc, yc)에서 만난다고 가정한다. 그리고 제어선 Li의 끝점 P(xi, yi)에서 수직 교차점 C(xc, yc)까지의 거리를 u로 나타내기로 한다.
u의 값은 수학식 2와 같이 제어선의 양 끝점 P, Q와 픽셀의 위치 V로부터 구할 수 있다. 수학식 2에서 x = xi 이고 y = yi인 경우 (V = P)에 분자가 0이 되어 u의 값이 0이 되고 x = xi+1이고 y = yi +1인 경우 (V = Q)에 분모와 분자가 같게 되어 u의 값이 1이 된다.
u의 값은 수직 교차점의 위치에 따라 다음과 같은 범위의 값을 가지게 된다.
u < 0 : P 바깥에 수직 교차점이 위치
u = 0 : 수직 교차점 = P
0 < u < 1 : 제어선 내부에 수직 교차점이 위치
u = 1 : 수직 교차점 = Q
u > 1 : Q 바깥에 수직 교차점이 위치
2) 제어선으로부터의 수직 변위 계산
두 번째 작업으로, 입력 영상의 픽셀 V(x, y)에 대하여 각각의 제어선 Li로부터의 수직 변위 h를 구한다. 제어선으로부터 픽셀의 수직 변위 h는 도 8e에 도시된 바와 같다. 수직 변위 h는 픽셀을 지나면서 제어선과 수직 교차하는 직선상에서의 픽셀의 위치를 나타내는 값으로, 다음과 같은 범위를 갖는다.
수직 변위 h =
1) < 0 : 픽셀이 제어선 아래쪽에 있는 경우
2) 0 : 픽셀이 제어선에 있는 경우
3) > 0 : 픽셀이 제어선 위쪽에 있는 경우
도 8e의 (a)에서는 픽셀 V가 제어선 위쪽에 있으므로 h의 값이 0보다 크다. 도 8e의 (b)에서는 픽셀 V가 제어선 아래쪽에 있으므로 h의 값이 0보다 작다.
수직 변위 h의 절대값이 수직 교차점과 픽셀 사이의 거리가 된다. 여기서, 수직 변위 h에 절대값을 사용하지 않는 이유는 제어선과 픽셀의 위치를 알기 위해서이다(부호로 구분).
수직 변위 h를 구하는 식은 다음 수학식 3과 같다.
3) 복원 영상에서의 대응 픽셀 위치 계산
입력 영상의 각 픽셀 V(x, y)에 대하여 각각의 제어선 Li와의 수직 교차점의 위치 u와 수직 변위 h를 구한 다음, u와 h 값을 이용하여 입력 영상의 V(x,y)에 대응되는 복원 영상의 픽셀 V'(x', y')를 찾는다. 입력 영상의 제어선 Li에 대응되는 복원 영상에서의 제어선 Li'의 양 끝점 좌표를 (xi', yi')과 (xi+1' , yi +1')이라고 하면 V'(x', y')을 수학식 4와 같이 찾을 수 있다.
4) 픽셀과 제어선 사이의 거리
픽셀과 제어선 사이의 거리 d는 앞에서 설명한 방법에 의하여 다음 수학식 5와 같이 구하면 된다. 즉, u 값이 0보다 작을 때에는 픽셀 V(x, y)와 P(xi, yi) 사이의 거리, u 값이 1보다 큰 경우에는 픽셀 V(x, y)와 Q(xi+1, yi +1) 사이의 거리, u값이 0에서 1 사이인 경우에는 수직 변위 h의 절대값이 된다.
5) 제어선의 가중치 계산
픽셀과 제어선 사이의 거리 d를 구한 다음에는 제어선의 가중치(weight)를 수학식 6을 이용하여 구한다. 수학식 6에서 a, b, p 상수 값으로는 일반적으로 많이 사용되는 값을 사용할 수 있는데, 예를 들어a = 0.001, b = 2.0, p = 0.75이다.
6) 복원 영상의 대응 픽셀과의 변위 누적
각 제어선 Li에 대하여 입력 영상의 픽셀 V(x, y)에 대응되는 복원 영상의 픽셀 V'(x', y')을 구하고, 가중치(weight)를 구한 다음에는, 수학식 7과 같이 V와 V' 사이의 변위와 가중치의 곱을 계산하여 tx, ty 변수에 누적한다.
7) 복원 영상의 대응 픽셀 위치 계산
각 제어선에 대해 입력 영상의 픽셀 V(x, y)에 대응되는 복원 영상의 픽셀의 변위값을 구하여 이들의 합(tx, ty)를 계산한 다음에는, 수학식 8에 의하여 V(x, y)에 대응되는 복원 영상의 픽셀 V(X, Y)의 위치를 계산한다.
이와 같이 최종적으로 V(x, y)에 대응되는 픽셀 V(X, Y)를 구한 다음에는 복원 영상의 V(X, Y) 픽셀의 값을 입력 영상의 V(x, y) 픽셀에 복사한다.
도 9는 본 발명의 일 실시 예에 따른 위험상황 관리장치를 이용한 VMS 고장 판단 프로세스를 도시한 도면이다.
도 1 및 도 9를 참조하면, 위험상황 관리장치(7)는 VMS 감시용 CCTV(3)로부터 VMS 촬영 영상 데이터를 획득(900)하고, 관제센터(6)에서 VMS(2)로 전달되어 VMS(2)에 표출될 입력 표출 데이터를 획득(910)한 후, 획득된 데이터를 비교 분석한다(920). 그리고 기준이 되는 고장 판단 데이터를 획득(930)하고 획득된 고장 판단 데이터를 참조하여 영상 비교 분석 데이터로부터 VMS 고장 여부를 판단한다(940). 이때, 사용자 설정에 따라 VMS 고장 여부를 판단할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 위험상황 관리장치를 이용한 차량 사고 판단 프로세스를 도시한 도면이다.
도 1 및 도 10을 참조하면, 위험상황 관리장치(7)는 사고 감시용 CCTV(4)로부터 촬영된 도로 촬영 영상 데이터를 획득(1000)하고, 획득된 도로 촬영 영상 데이터를 대상으로 영상 워핑 기법을 포함한 영상처리 및 고밀도 광학 흐름 기법을 포함한 영상 분석을 적용하여 영상에서 차량을 검출 및 추적한다(1010). 영상 처리 및 영상 분석을 거친 도로 촬영 영상 데이터로부터 차량의 교통사고 여부를 판단(1020) 하고, 차량 사고로 판단 시 위험 경보신호를 생성한다(1030). 관제센터(6), 경찰서, 의료기관 등에서 위험 경보신호에 의해 사고에 따른 조치를 수행할 수 있다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
Claims (9)
- 도로의 실시간 교통정보를 제공하는 VMS;
VMS의 표시정보를 촬영하여 감시하는 VMS 감시용 CCTV;
VMS에 설치되어, VMS 설치 위치를 기준으로 전방의 도로변을 촬영하는 전방사고 감시용 CCTV 및 후방의 도로변을 촬영하는 후방사고 감시용 CCTV를 포함하여 전후방의 도로상황을 감시하는 사고 감시용 CCTV;
관제센터로부터 VMS에 표출될 입력 표출 데이터를 수신하여 이를 VMS에 전달하는 VMS 제어장치; 및
VMS 감시용 CCTV로 획득된 VMS 촬영 영상 및 VMS 제어장치로부터 획득된 입력 표출 데이터를 이용하여 VMS의 고장 여부를 판단하고,
사고 감시용 CCTV로부터 획득된 전후방의 도로 촬영 영상으로부터 고밀도 광학 흐름(Dense Optical Flow)을 이용한 모션 캡쳐를 통해 객체 변화를 인식하고 인식한 객체 변화로부터 차량의 교통사고 여부를 판단하고 VMS 감시용 CCTV로부터 획득된 VMS 촬영 영상으로부터 위험상황을 판단하며,
VMS 고장 및 교통사고 발생 중 적어도 하나를 포함한 위험상황 시에 위험경고 정보를 생성하여 전송하되, 긴급상황 시 위험경고 정보를 관제센터를 거치지 않고 VMS에 즉각 전송하여 VMS에 표시하는 위험상황 관리장치;
를 포함하는 것을 특징으로 하는 VMS 및 CCTV를 이용한 지능형 교통 시스템. - 제 1 항에 있어서, 상기 위험상황 관리장치는
VMS 감시용 CCTV로부터 VMS 촬영 영상을 수신하고 사고 감시용 CCTV로부터 도로 촬영 영상을 수신하고 VMS 제어장치로부터 입력 표출 데이터를 수신하며 위험 경고신호를 VMS 제어장치에 전송하는 통신부; 및
VMS 촬영 영상 및 입력 표출 데이터로부터 VMS의 고장 여부를 판단하고 도로 촬영 영상으로부터 차량의 교통사고 여부를 판단하며 VMS 고장 또는 교통사고 발생 시에 위험 경고신호를 생성하는 프로세서;
를 포함하는 것을 특징으로 하는 VMS 및 CCTV를 이용한 지능형 교통 시스템. - 제 2 항에 있어서, 상기 프로세서는
VMS 감시용 CCTV 및 사고 감시용 CCTV로부터 획득된 영상을 처리하는 영상 처리부;
영상 처리된 영상을 분석하는 영상 분석부;
영상 분석결과를 기반으로 VMS 고장 여부를 판단하는 VMS 고장 판단부;
영상 분석결과를 기반으로 사고 여부를 판단하는 교통사고 판단부; 및
VMS 고장 판단 결과 또는 교통사고 판단 결과에 대응하여 위험 경고신호를 생성하는 경고 처리부;
를 포함하는 것을 특징으로 하는 VMS 및 CCTV를 이용한 지능형 교통 시스템. - 삭제
- 삭제
- 제 3 항에 있어서, 상기 영상 분석부는
인공지능을 이용하여 영상에서 객체를 검출하는 객체 검출부; 및
고밀도 광학 흐름을 이용하여 객체의 변화를 추적하는 객체 추적부;
를 포함하는 것을 특징으로 하는 VMS 및 CCTV를 이용한 지능형 교통 시스템. - 제 3 항에 있어서, 상기 영상 분석부는
VMS에 표출될 입력 표출 데이터와 VMS 감시용 CCTV로부터 수신된 VMS 촬영 영상 데이터를 비교 분석하는 비교 분석부; 를 포함하고,
상기 VMS 고장 판단부는
기준이 되는 고장 판단 데이터를 획득하고 획득된 고장 판단 데이터를 참조하여 영상 비교 분석 데이터로부터 VMS 고장 여부를 판단하는 것을 특징으로 하는 VMS 및 CCTV를 이용한 지능형 교통 시스템. - 제 7 항에 있어서, 상기 VMS 고장 판단부는
입력 표출 데이터에서 표출될 LED 개수 또는 글자 개수와 VMS 촬영 영상에서 실제 표출되는 LED 개수 또는 글자 개수가 상이한 경우 LED 픽셀 불량으로 판단하는 것을 특징으로 하는 VMS 및 CCTV를 이용한 지능형 교통 시스템. - 제 3 항에 있어서, 상기 교통사고 판단부는
영상 분석부의 분석 결과에 따라 차량 간의 거리가 미리 설정된 거리 미만인 경우, 주행 중 차량이 정지되어 있는 경우, 주행 중 차량이 주행선을 넘은 경우 중 적어도 하나의 상황을 감지하면 교통사고 발생으로 판단하는 것을 특징으로 하는 VMS 및 CCTV를 이용한 지능형 교통 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180137503A KR101987184B1 (ko) | 2018-11-09 | 2018-11-09 | Vms 및 cctv를 이용하여 위험상황을 관리하는 지능형 교통 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180137503A KR101987184B1 (ko) | 2018-11-09 | 2018-11-09 | Vms 및 cctv를 이용하여 위험상황을 관리하는 지능형 교통 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101987184B1 true KR101987184B1 (ko) | 2019-06-11 |
Family
ID=66846979
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180137503A KR101987184B1 (ko) | 2018-11-09 | 2018-11-09 | Vms 및 cctv를 이용하여 위험상황을 관리하는 지능형 교통 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101987184B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111179608A (zh) * | 2019-12-25 | 2020-05-19 | 广州方纬智慧大脑研究开发有限公司 | 一种路口溢出检测方法、系统及存储介质 |
| CN111599171A (zh) * | 2020-04-24 | 2020-08-28 | 重庆科技学院 | 大数据应用于交通的智能化控制系统、方法、存储介质 |
| KR102307937B1 (ko) * | 2021-08-10 | 2021-10-05 | 건아정보기술 주식회사 | 측주식 감지카메라 차량속도 추출 시스템 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002260149A (ja) * | 2001-02-28 | 2002-09-13 | Gen Tec:Kk | 交通事故検出システム |
| KR100923586B1 (ko) * | 2009-01-30 | 2009-10-27 | 케이에스아이 주식회사 | 어린이보호구역 내 신호등 판별 방법 및 시스템 그리고 정보 표시 방법 |
| KR20110000238A (ko) * | 2009-06-26 | 2011-01-03 | 한양대학교 산학협력단 | 지능형 교통정보시스템 및 이에 있어서 경고 정보 제공 방법 |
| KR20130022209A (ko) * | 2011-08-25 | 2013-03-06 | 주식회사 전자넷 | 지주용 전광판 |
| JP2015205035A (ja) * | 2014-04-21 | 2015-11-19 | 株式会社三洋物産 | 遊技機 |
| KR101874352B1 (ko) * | 2017-12-14 | 2018-07-06 | 최현수 | 효율적인 교통정보 전달을 위한 교통 전광판과 차내 단말 및 이를 포함하는 지능형 교통 시스템 |
-
2018
- 2018-11-09 KR KR1020180137503A patent/KR101987184B1/ko active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002260149A (ja) * | 2001-02-28 | 2002-09-13 | Gen Tec:Kk | 交通事故検出システム |
| KR100923586B1 (ko) * | 2009-01-30 | 2009-10-27 | 케이에스아이 주식회사 | 어린이보호구역 내 신호등 판별 방법 및 시스템 그리고 정보 표시 방법 |
| KR20110000238A (ko) * | 2009-06-26 | 2011-01-03 | 한양대학교 산학협력단 | 지능형 교통정보시스템 및 이에 있어서 경고 정보 제공 방법 |
| KR20130022209A (ko) * | 2011-08-25 | 2013-03-06 | 주식회사 전자넷 | 지주용 전광판 |
| JP2015205035A (ja) * | 2014-04-21 | 2015-11-19 | 株式会社三洋物産 | 遊技機 |
| KR101874352B1 (ko) * | 2017-12-14 | 2018-07-06 | 최현수 | 효율적인 교통정보 전달을 위한 교통 전광판과 차내 단말 및 이를 포함하는 지능형 교통 시스템 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111179608A (zh) * | 2019-12-25 | 2020-05-19 | 广州方纬智慧大脑研究开发有限公司 | 一种路口溢出检测方法、系统及存储介质 |
| CN111599171A (zh) * | 2020-04-24 | 2020-08-28 | 重庆科技学院 | 大数据应用于交通的智能化控制系统、方法、存储介质 |
| KR102307937B1 (ko) * | 2021-08-10 | 2021-10-05 | 건아정보기술 주식회사 | 측주식 감지카메라 차량속도 추출 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102618662B1 (ko) | 자율 주행을 위한 3차원 특징 예측 | |
| KR102605807B1 (ko) | 시계열 요소들로부터 머신 러닝을 위한 그라운드 트루스 생성 | |
| KR101987184B1 (ko) | Vms 및 cctv를 이용하여 위험상황을 관리하는 지능형 교통 시스템 | |
| EP1030188B1 (en) | Situation awareness system | |
| JP6569385B2 (ja) | 車両検出装置、車両検出システム、車両検出方法、及び車両検出プログラム | |
| JP2004145852A (ja) | レーンマーカー位置検出方法及びレーンマーカー位置検出装置並びに車線逸脱警報装置 | |
| KR20100121020A (ko) | 객체의 이동궤적을 이용한 철도건널목 위험지역의 지장물 영상검지장치 및 그 제어방법 | |
| JP2001216519A (ja) | 交通監視装置 | |
| JP2005309797A (ja) | 歩行者警報装置 | |
| KR101874352B1 (ko) | 효율적인 교통정보 전달을 위한 교통 전광판과 차내 단말 및 이를 포함하는 지능형 교통 시스템 | |
| US20220189210A1 (en) | Occlusion-Aware Prediction of Human Behavior | |
| KR101519261B1 (ko) | 차량의 모니터링 방법 및 자동 제동 장치 | |
| JP2002197445A (ja) | オプティカルフローを利用した列車前方異常検出装置 | |
| JP2018148345A (ja) | 車載カメラシステム、付着物検出装置、付着物除去方法、及び付着物検出プログラム | |
| JP2017167608A (ja) | 物体認識装置、物体認識方法及び物体認識プログラム | |
| JP6461025B2 (ja) | 撮像装置、鉄道監視システム | |
| JPH1040490A (ja) | 道路監視装置 | |
| JP3394662B2 (ja) | 交通流計測方法および装置 | |
| KR20130031713A (ko) | 차량용 안전 거리를 안내하는 장치 및 그 방법 | |
| KR20220012607A (ko) | 교통 사고 알림 방법 | |
| JP2021077061A (ja) | 障害物検知装置及び障害物検知方法 | |
| US20230122293A1 (en) | Occluded oncoming vehicles detection systems and methods | |
| JP2004251886A (ja) | 周囲物体検出装置 | |
| US20220262122A1 (en) | Image collection apparatus and image collection method | |
| CN118155382A (zh) | 车辆安全预警方法、装置、设备、介质及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| N231 | Notification of change of applicant | ||
| GRNT | Written decision to grant |