KR20230040747A - 교량에서의 자살 방지 및 구조 활동을 위한 지원 시스템 및 방법 - Google Patents
교량에서의 자살 방지 및 구조 활동을 위한 지원 시스템 및 방법 Download PDFInfo
- Publication number
- KR20230040747A KR20230040747A KR1020210124243A KR20210124243A KR20230040747A KR 20230040747 A KR20230040747 A KR 20230040747A KR 1020210124243 A KR1020210124243 A KR 1020210124243A KR 20210124243 A KR20210124243 A KR 20210124243A KR 20230040747 A KR20230040747 A KR 20230040747A
- Authority
- KR
- South Korea
- Prior art keywords
- pedestrian
- bridge
- area
- image
- support system
- Prior art date
Links
- 206010010144 Completed suicide Diseases 0.000 title claims abstract description 44
- 230000002265 prevention Effects 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 title claims description 27
- 238000004458 analytical method Methods 0.000 claims abstract description 33
- 230000000694 effects Effects 0.000 claims abstract description 21
- 238000012544 monitoring process Methods 0.000 claims abstract description 21
- 238000010191 image analysis Methods 0.000 claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 8
- 230000006399 behavior Effects 0.000 claims description 25
- 230000033001 locomotion Effects 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 14
- 230000009471 action Effects 0.000 claims description 12
- 230000006835 compression Effects 0.000 claims description 11
- 238000007906 compression Methods 0.000 claims description 11
- 230000003542 behavioural effect Effects 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 9
- 206010065604 Suicidal behaviour Diseases 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 7
- 238000003702 image correction Methods 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 6
- 230000004884 risky behavior Effects 0.000 claims description 6
- 206010000117 Abnormal behaviour Diseases 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 9
- 206010042464 Suicide attempt Diseases 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000009191 jumping Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 206010042458 Suicidal ideation Diseases 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000009365 direct transmission Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 208000024335 physical disease Diseases 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Signal Processing (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Educational Administration (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Alarm Systems (AREA)
Abstract
본 발명의 일 실시예에 따른 교량에서의 자살 방지 및 구조 활동을 위한 지원 시스템은 CCTV 영상을 분석하여 교량 내 위험 지역을 인식하고 보행자 위치를 확인 및 추적하는 영상 분석부; 상기 CCTV 영상의 분석 결과에 기초하여 상기 교량 내 위험 지역에서 상기 보행자의 위험 행동을 감지하는 모니터링부; 및 상기 모니터링부의 감지 결과를 토대로 상기 보행자의 자살 의심 행위를 경고하기 위한 알람을 발생하는 알람 발생부를 포함한다.
Description
본 발명의 실시예들은 교량에서의 자살 방지 및 구조 활동을 위한 지원 시스템 및 방법에 관한 것이다.
최근 들어, 대도시의 경우 정신적인 문제, 육체적인 질병 문제, 경제적 문제, 가정문제, 직장이나 남녀문제 등으로 인하여 자살자가 증가하고 있는 실정이며, 이와 같은 자살 사고의 추이를 살펴보면 매년 같은 장소 같은 시간대에 사고가 반복되고 있는 실정이다.
특히, 한강 교량과 같은 교량에서의 자살 소동은 일종의 해프닝에서 벗어나 사회적인 문제로 크게 대두되고 있는 실정이며, 이와 같은 한강교량에서의 투신자살 시도는 이틀에 한 명 꼴로 발생하고 있으며, 마포대교의 경우 가장 많은 투신자살 시도가 발생되고 있다.
그리하여, 마포대교의 경우 투신자살 시도를 미연에 방지하기 위하여 교량 난간에 보행자를 인식하여 조명이 조사됨으로써 보행자에게 자살방지 문구 등의 내용을 전달할 수 있는 조명장치를 설치하여 사용하고 있는 실정이다.
그러나, 이와 같은 조명장치의 경우 투신자살을 하기 위해 교량을 서성이는 보행자의 마음을 어느 정도 회유하는 효과는 있으나, 투신자살을 목적으로 교량을 지나는 보행자를 선별하여 적극적으로 투신자살을 예방할 수 없을 뿐만 아니라, 이벤트 발생 시 투신 자살자를 추적하여 구명할 수 없다는 문제점이 있다.
관련 선행기술로는 대한민국 공개특허공보 제10-2018-0068436호(발명의 명칭: 자살 방지용 영상감시 시스템, 공개일자: 2018.06.22.)가 있다.
본 발명의 일 실시예는 교량을 지나는 보행자의 행동 패턴을 분석하여 투신자살을 위해 교량을 지나는 보행자를 선별하여 추적 관찰함으로써 교량에서의 투신자살을 미연에 방지할 수 있는 교량에서의 자살 방지 및 구조 활동을 위한 지원 시스템 및 방법을 제공한다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 교량에서의 자살 방지 및 구조 활동을 위한 지원 시스템은 CCTV 영상을 분석하여 교량 내 위험 지역을 인식하고 보행자 위치를 확인 및 추적하는 영상 분석부; 상기 CCTV 영상의 분석 결과에 기초하여 상기 교량 내 위험 지역에서 상기 보행자의 위험 행동을 감지하는 모니터링부; 및 상기 모니터링부의 감지 결과를 토대로 상기 보행자의 자살 의심 행위를 경고하기 위한 알람을 발생하는 알람 발생부를 포함한다.
상기 영상 분석부는 상기 CCTV 영상 내 복수의 프레임에 대하여 채널 압축, 시간 압축 및 픽셀 압축을 순차적으로 진행한 후 동작 특징을 추출하고 동작을 분류함으로써, 상기 보행자의 이상 행동 인식을 위한 실시간 동작 분석을 처리할 수 있다.
상기 영상 분석부는 미리 설정된 시간 동안에 N(3 이상의 자연수)개의 1채널 이미지를 RGB 채널에 1개씩 순서대로 넣어서 상기 각각의 압축(채널, 시간, 픽셀)을 진행할 수 있다.
본 발명의 일 실시예에 따른 교량에서의 자살 방지 및 구조 활동을 위한 지원 시스템은 상기 CCTV 영상에 대하여 밝기 및 흔들림 보정을 수행하는 영상 보정부를 더 포함할 수 있다.
상기 영상 보정부는 야간 영상의 경우 보행자 영역에 대해서만 명암 대비를 다른 영역에 비해 상대적으로 높게 적용하는 보정을 진행할 수 있다.
상기 영상 분석부는 이미지 세그멘테이션(Image Segmentation) 알고리즘을 통해 상기 CCTV 영상으로부터 교량 내 영역과 교량 외 영역을 구분하여 인식하고, 상기 각 영역의 경계 부분을 상기 위험 지역으로 인식할 수 있다.
상기 교량 내 영역은 도로(차도 및 인도)를 포함하고, 상기 교량 외 영역은 강을 포함하며, 상기 영상 분석부는 상기 도로의 영역을 구한 후, 상기 도로의 영역과 상기 각의 영역의 좌표 값을 확인하여 상기 강의 영역이 상기 도로의 영역의 좌측에 존재하는지, 우측에 존재하는지를 확인하고, 상기 도로의 영역에서 상기 강의 영역이 존재하는 방향으로의 경계 부분을 구해서 상기 위험 지역으로 인식할 수 있다.
상기 영상 분석부는 YOLOv4 딥러닝 알고리즘을 이용한 학습을 통해 상기 보행자를 탐지하여 보행자 데이터를 생성하고, 상기 생성된 보행자 데이터에 Deep SORT 딥러닝 알고리즘을 적용하여 상기 보행자를 인식하고 상기 보행자의 이동 경로를 추적할 수 있다.
상기 모니터링부는 상기 보행자가 상기 위험 지역에 근접한 정도에 따라 부여되는 위치 점수, 상기 보행자가 CCTV 범위 내에 머무르는 시간에 따라 부여되는 시간 점수, 상기 보행자의 행동 패턴과 자살 의도와의 관계 정도에 따라 부여되는 행동 관계 점수, 및 상기 보행자의 동작 분류에 따른 각 행동에 기반하여 부여되는 행동 점수를 곱셈 연산하여 위험 지수를 계산하고, 상기 계산된 위험 지수에 기초하여 상기 교량 내 위험 지역에서 상기 보행자의 위험 행동을 감지할 수 있다.
상기 알람 발생부는 상기 위험 지수가 일정 범위를 초과하는 경우, 상기 보행자의 자살 의심 행위를 경고하기 위한 알람을 발생할 수 있다.
본 발명의 일 실시예에 따른 교량에서의 자살 방지 및 구조 활동을 위한 지원 방법은 AI 영상 분석 서버가 CCTV 영상을 분석하여 교량 내 위험 지역을 인식하고 보행자 위치를 확인 및 추적하는 단계; 상기 AI 영상 분석 서버가 상기 CCTV 영상의 분석 결과에 기초하여 상기 교량 내 위험 지역에서 상기 보행자의 위험 행동을 감지하는 단계; 및 상기 AI 영상 분석 서버가 상기 위험 행동의 감지 결과를 토대로 상기 보행자의 자살 의심 행위를 경고하기 위한 알람을 발생하는 단계를 포함할 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 첨부 도면들에 포함되어 있다.
본 발명의 일 실시예에 따르면, 교량을 지나는 보행자의 행동 패턴을 분석하여 투신자살을 위해 교량을 지나는 보행자를 선별하여 추적 관찰함으로써 교량에서의 투신자살을 미연에 방지할 수 있다.
도 1은 본 발명의 일 실시예에 따른 교량에서의 자살 방지 및 구조 활동을 위한 지원 시스템의 네트워크 구성도이다.
도 2는 도 1의 AI 영상 분석 서버의 상세 구성을 설명하기 위해 도시한 블록도이다.
도 3은 YOLOv4와 Deep SORT를 이용하여 보행자를 인식하는 일례를 도시한 도면이다.
도 4는 이미지 세그멘테이션 알고리즘을 이용하여 차도, 인도, 한강 영역을 구분하는 일례를 도시한 도면이다.
도 5는 다리 난간 매달리기 동작에 대한 2D Temporal CNN 방식 처리의 일례를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 교량에서의 자살 방지 및 구조 활동을 위한 지원 방법을 설명하기 위해 도시한 흐름도이다.
도 2는 도 1의 AI 영상 분석 서버의 상세 구성을 설명하기 위해 도시한 블록도이다.
도 3은 YOLOv4와 Deep SORT를 이용하여 보행자를 인식하는 일례를 도시한 도면이다.
도 4는 이미지 세그멘테이션 알고리즘을 이용하여 차도, 인도, 한강 영역을 구분하는 일례를 도시한 도면이다.
도 5는 다리 난간 매달리기 동작에 대한 2D Temporal CNN 방식 처리의 일례를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 교량에서의 자살 방지 및 구조 활동을 위한 지원 방법을 설명하기 위해 도시한 흐름도이다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
또한, 이하 실시되는 본 발명의 바람직한 실시예는 본 발명을 이루는 기술적 구성요소를 효율적으로 설명하기 위해 각각의 시스템 기능구성에 기 구비되어 있거나, 또는 본 발명이 속하는 기술분야에서 통상적으로 구비되는 시스템 기능 구성은 가능한 생략하고, 본 발명을 위해 추가적으로 구비되어야 하는 기능 구성을 위주로 설명한다. 만약 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면, 하기에 도시하지 않고 생략된 기능 구성 중에서 종래에 기 사용되고 있는 구성요소의 기능을 용이하게 이해할 수 있을 것이며, 또한 상기와 같이 생략된 구성 요소와 본 발명을 위해 추가된 구성 요소 사이의 관계도 명백하게 이해할 수 있을 것이다.
또한, 이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 교량에서의 자살 방지 및 구조 활동을 위한 지원 시스템의 네트워크 구성도이고, 도 2는 도 1의 AI 영상 분석 서버의 상세 구성을 설명하기 위해 도시한 블록도이다.
도 1 및 도 2를 참조하면, 상기 AI 영상 분석 서버(110)는 영상 보정부(210), 영상 분석부(220), 모니터링부(230), 알람 발생부(240), 및 제어부(250)를 포함하여 구성될 수 있다.
상기 영상 보정부(210)는 교량에 설치된 CCTV 카메라(101)를 통해 촬영된 CCTV 영상에 대하여 밝기 및 흔들림 보정을 수행할 수 있다.
구체적으로, 한강교량 위에 설치된 CCTV 카메라(101)의 경우 설치 구조의 한계상 바람이나 진동에 취약하여 영상의 흔들림이 자주 발생하므로 이에 대한 실시간 보정이 필요하다. 흔들림 보정 방법은 영상에서 특징적인 지점을 지정하여 프레임 상에서의 변위가 심하게 변할 때 부드럽게 변할 수 있도록 위치를 조절하는 알고리즘으로 x축, y축 각각의 보정된 변위(smoothed x, smoothed y)의 그래프로 표현할 수 있다.
이때, 상기 영상 보정부(210)는 야간 영상의 경우 보행자 영역에 대해서만 명암 대비를 다른 영역에 비해 상대적으로 높게 적용하는 보정을 진행할 수 있다. 밝기와 대비가 부족한 야간 영상의 경우 정확도는 낮 영상에 비해 상대적으로 약간 떨어지나 학습 데이터가 추가되면 충분한 정확성을 보유할 수 있다.
상기 영상 분석부(220)는 상기 CCTV 영상을 분석하여 교량 내 위험 지역을 인식하고 보행자 위치를 확인 및 추적할 수 있다.
이를 위해, 상기 영상 분석부(220)는 YOLOv4 딥러닝 알고리즘을 이용한 학습을 통해 상기 보행자를 탐지하여 보행자 데이터를 생성하고, 상기 생성된 보행자 데이터에 Deep SORT 딥러닝 알고리즘을 적용하여 상기 보행자를 인식하고 상기 보행자의 이동 경로를 추적할 수 있다.
즉, 교량 인도 위에 있는 보행자를 탐지하고 이동 경로를 추적하기 위해 최신(state of the art) 딥러닝 알고리즘인 YOLOv4와 Deep SORT를 이용할 수 있는데, 다양한 시간대와 날씨 환경에서도 인식 정확도를 높이기 위해서 그러한 환경에서 촬영한 학습 데이터를 이용해서 충분한 추가 학습을 위한 최적화가 필요하다. 참고로, 도 3은 YOLOv4와 Deep SORT를 이용하여 보행자를 인식하는 일례를 도시한 도면이다.
상기 영상 분석부(220)는 이미지 세그멘테이션(Image Segmentation) 알고리즘을 통해 상기 CCTV 영상으로부터 교량 내 영역과 교량 외 영역을 구분하여 인식하고, 상기 각 영역의 경계 부분을 상기 위험 지역으로 인식할 수 있다. 여기서, 상기 교량 내 영역은 도로(차도 및 인도)를 포함하고, 상기 교량 외 영역은 강을 포함할 수 있다.
구체적으로, 상기 영상 분석부(220)는 상기 도로의 영역을 구한 후, 상기 도로의 영역과 상기 각의 영역의 좌표 값을 확인하여 상기 강의 영역이 상기 도로의 영역의 좌측에 존재하는지, 우측에 존재하는지를 확인하고, 상기 도로의 영역에서 상기 강의 영역이 존재하는 방향으로의 경계 부분을 구해서 상기 위험 지역으로 인식할 수 있다.
다시 말해서, 궤적 특징 방식의 알고리즘에서는 위험 위치 및 영역이 먼저 지정이 되어야 하는데 운영해야 할 카메라의 대수와 비고정 카메라를 고려할 때 이것을 자동으로 인식하는 것이 필요하다. 특히, 다리 난관의 영역을 인식하는 것이 중요한데, 이것을 위해 본 발명의 일 실시예에서는 도 4에 도시된 바와 같이 이미지 세그멘테이션으로 도로, 인도, 강(예: 한강) 영역을 정확히 인식하여 그것을 구분하는 영역을 난간으로 자동으로 인식하는 알고리즘을 적용한다. 참고로, 도 4는 이미지 세그멘테이션 알고리즘을 이용하여 차도, 인도, 한강 영역을 구분하는 일례를 도시한 도면이다.
한편, 상기 영상 분석부(220)는 도 5에 도시된 바와 같이, 상기 CCTV 영상 내 복수의 프레임에 대하여 채널 압축, 시간 압축 및 픽셀 압축을 순차적으로 진행한 후 동작 특징을 추출하고 동작을 분류함으로써, 상기 보행자의 이상 행동 인식을 위한 실시간 동작 분석을 처리할 수 있다.
이때, 상기 영상 분석부(220)는 미리 설정된 시간(예: 0.5~1초) 동안에 N(3 이상의 자연수, 예: 3개)개의 1채널 이미지를 RGB 채널에 1개씩 순서대로 넣어서 상기 각각의 압축(채널, 시간, 픽셀)을 진행할 수 있다. 참고로, 도 5에서 t는 특정 프레임의 시간을 나타내고, a는 예컨대 0.5초일 수 있다.
구체적으로, 이상행동 탐지에 대해 오탐지를 방지하고 정확도를 높이기 위해서는 '난간 매달리기'와 같은 동작 분석이 추가되어야 한다. 일반적으로 동작 분석을 위해 사용되는 3D CNN 방식은 인식 정확도를 포함해 여러 가지 장점이 있는 반면, 학습 및 예측 과정에서 너무 많은 CPU/GPU 자원을 요구하므로 실시간 처리하기에는 적합하지 않다.
그래서 본 발명의 일 실시예에서는 기존 2D CNN 방식을 그대로 이용하면서도 시간별 움직임 정보를 포함할 수 있는 2D Temporal CNN 방식을 이용하는 것이 바람직하다. 2D Temporal CNN 방식은 도 5에 도시된 바와 같이 약 1초 동안에 3장의 1채널(Gray) 이미지를 RGB 채널에 1개씩 순서대로 넣음으로써 짧은 순간의 움직임을 포착할 수 있도록 하는 방식이다. 이 방식은 기존의 2D CNN 네트워크와 최적화 기법을 그대로 이용 가능하기 때문에 실시간 처리 환경에 적합하다.
참고로, 본 발명의 일 실시예에 따른 동작 분석은 '서있음', '걸음', '뜀', '쭈그려/맨바닥에 앉거나 앉았다가 일어남'(위험 신도 동작), '드러누움'(위험 신호 동작), '자전거 등 타기', '옷을 입거나 벗음', 뭔가를 집거나 놓음', '난간을 오르거나 넘음'(위험 인지 동작), '난간에 매달려 있거나 떨어짐'(위험 인지 동작), '사진 촬영/포즈', '의자에 앉음' 등으로 분류될 수 있다.
상기 모니터링부(230)는 상기 CCTV 영상의 분석 결과에 기초하여 상기 교량 내 위험 지역에서 상기 보행자의 위험 행동을 감지할 수 있다. 이때, 상기 모니터링부(230)는 상기 CCTV 영상의 분석 결과에 기초하여 위치 점수, 시간 점수, 행동 관계 점수, 및 위험 지수를 계산하고, 상기 계산된 위험 지수에 기초하여 상기 교량 내 위험 지역에서 상기 보행자의 위험 행동을 감지할 수 있다.
여기서, 상기 위치 점수는 상기 보행자가 상기 위험 지역에 근접한 정도에 따라 부여될 수 있다. 즉, 상기 위치 점수는 Segmentation 작업과 DeepSORT의 보행자 특정화 작업으로 CCTV 카메라(101)에 포착되는 보행자가 위험 지역(예: 한강쪽)에 근접한지를 수치화한 것이다.
상기 시간 점수는 상기 보행자가 CCTV 범위 내에 머무르는 시간에 따라 부여될 수 있다. 상기 시간 점수는 DeepSORT의 보행자 특정화를 통해, 특정 보행자가 얼마나 오래동안 CCTV 범위 내에 머무르는지를 계산할 수 있다. 해당 작업을 통해 일반적인 보행자와 주의 대상자들을 차별화 할 수 있다.
상기 행동 관계 점수는 상기 보행자의 행동 패턴과 자살 의도와의 관계 정도에 따라 부여될 수 있다. 상기 행동 관계 점수는 각 행동을 개별적으로 판단하였을 때 한계점이 존재할 수 있다(예: 한강쪽에 근접한 벤치에 오래 앉아있는 일반 보행자 등).
위와 같은 경우, 전혀 자살 의도가 없는 보행자를 위 3가지 점수(위치/시간/행동 점수)로만 계산을 할 시, 높은 점수가 부여되는 문제가 있다. 따라서 본 발명의 일 실시예에서는 이러한 문제점을 해결하기 위하여, 특정 행동에서 다른 행동으로 이어질 때, 해당 행동 패턴이 자살 의도와 관계가 높을수록 더욱 높은 행동 관계 점수를 부여함으로써 자살 의도가 없는 보행자와 위험 인물들 간에 차별을 둘 수 있다.
상기 위험 지수는 상기 보행자의 동작 분류에 따른 각 행동에 기반하여 부여되는 행동 점수를 곱셈 연산하여 계산할 수 있다(위험 지수 = 위치 점수 * 시간 점수 * 행동 관계 점수 * 행동 점수). 여기서, 상기 행동 점수는 EfficientNET을 통해 위험 행동으로 분류된 동작을 하는 보행자들을 특정화하고, 각 행동에 상대적인 점수를 부여하여 위험 행동과 일반적인 행동을 구분할 수 있다.
상기 위치 점수, 상기 시간 점수, 상기 행동 관계 점수를 포함한 3가지 점수는 일종의 가중치로, 0.1에서 2.0 사이에 계수로 정해질 수 있다. 그리고, 상기 행동 점수는 0 ~ 20 범위 내에서 각 행동에 부여될 수 있다. 예컨대, 자살시도 및 자살 의심 영상들을 기반으로, 자살 직전 많이 보이는 행동들(예: 주저앉기, 눕기, 난간에 오랜시간 근접 등)에게 많은 점수를 부여할 수 있다.
상기 알람 발생부(240)는 상기 모니터링부(230)의 감지 결과를 토대로 상기 보행자의 자살 의심 행위를 경고하기 위한 알람을 발생할 수 있다. 특히, 상기 알람 발생부(240)는 상기 위험 지수가 일정 범위를 초과하는 경우, 상기 보행자의 자살 의심 행위를 경고하기 위한 알람을 발생할 수 있다.
경고 발동 조건부 행동은 다음과 같다.
- 자살행위(Suicide)
- 난간오르기(Climb)
- 난간잡기(Fence)
- 눕기(LieDown)
- 쭈그려앉기(SitDown)
따라서, 상기 위험 지수가 일정 범위를 초과하여도, 위에 명시된 경고 발동 조건부 행동이 감지되지 않으면 경고를 보내지 않는다. 예를 들면, 오래 강가에 있는 벤치에 앉아 있던 보행자가 추가적인 위험 행동을 하지 않고, 그대로 걸어서 가던 길을 가면 경고가 발생하지 않는다. 경고 발동 조건부 행동이 감지될 시, 상기 위험 지수와 상관없이 1단계(관심단계)가 발동하고, 상기 위험 지수에 따라 2단계(주의 단계) 및 3단계(상황발생 단계)로 격상할 수 있다.
한편, 교량에 설치된 다수의 CCTV 카메라(101)에 대해 멀티뷰 모니터링 시스템을 통해서 기본적인 육안 검사로 카메라 조작이 가능하다. 이때 상기 AI 영상 분석 서버(110)에서 인식한 보행자 정보를 모니터링 PC(120)에 전송해줌으로써 실시간 모니터링 영상에 인식된 정보가 같이 표시될 수 있다.
상기 AI 영상 분석 서버(110)가 전송하는 방식에 대해서 설명하면 다음과 같다. 즉, 실시간 CCTV 영상을 모니터링 하기 위한 모니터링 PC(120)와 AI 영상 분석 서버(110)가 RTSP 스트리밍 방식으로 영상을 받아오는데, 이때 각각 별도의 스트리밍으로 가져오게 함으로써 모니터링과 AI 인식 작업을 독립적이고 안정적으로 수행할 수 있다.
상기 제어부(250)는 상기 AI 영상 분석 서버(110), 즉 상기 영상 보정부(210), 상기 영상 분석부(220), 상기 모니터링부(230), 상기 알람 발생부(240) 등의 동작을 전반적으로 제어할 수 있다.
이상에서 설명된 장치는 하드웨어 구성 요소, 소프트웨어 구성 요소, 및/또는 하드웨어 구성 요소 및 소프트웨어 구성 요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성 요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
도 6은 본 발명의 일 실시예에 따른 교량에서의 자살 방지 및 구조 활동을 위한 지원 방법을 설명하기 위해 도시한 흐름도이다.
여기서 설명하는 방법은 본 발명의 하나의 실시예에 불과하며, 그 이외에 필요에 따라 다양한 단계들이 아래와 같이 부가될 수 있고, 하기의 단계들도 순서를 변경하여 실시될 수 있으므로, 본 발명이 하기에 설명하는 각 단계 및 그 순서에 한정되는 것은 아니다.
도 2 및 도 6을 참조하면, 단계(610)에서 상기 AI 영상 분석 서버(110)는 CCTV 영상을 분석하여 교량 내 위험 지역을 인식할 수 있다.
다음으로, 단계(620)에서 상기 AI 영상 분석 서버(110)는 CCTV 영상을 분석하여 교량 내 보행자 위치를 확인 및 추적할 수 있다.
다음으로, 단계(630)에서 상기 AI 영상 분석 서버(110)는 상기 CCTV 영상의 분석 결과에 기초하여 상기 교량 내 위험 지역에서 상기 보행자의 위험 행동을 감지할 수 있다.
다음으로, 단계(640)에서 상기 AI 영상 분석 서버(110)는 상기 위험 행동의 감지 결과를 토대로 상기 보행자의 자살 의심 행위를 경고하기 위한 알람을 발생할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
101: CCTV 카메라
110: AI 영상 분석 서버
120: 모니터링 PC
210: 영상 보정부
220: 영상 분석부
230: 모니터링부
240: 알람 발생부
250: 제어부
110: AI 영상 분석 서버
120: 모니터링 PC
210: 영상 보정부
220: 영상 분석부
230: 모니터링부
240: 알람 발생부
250: 제어부
Claims (11)
- CCTV 영상을 분석하여 교량 내 위험 지역을 인식하고 보행자 위치를 확인 및 추적하는 영상 분석부;
상기 CCTV 영상의 분석 결과에 기초하여 상기 교량 내 위험 지역에서 상기 보행자의 위험 행동을 감지하는 모니터링부; 및
상기 모니터링부의 감지 결과를 토대로 상기 보행자의 자살 의심 행위를 경고하기 위한 알람을 발생하는 알람 발생부
를 포함하는 것을 특징으로 하는 교량에서의 자살 방지 및 구조 활동을 위한 지원 시스템.
- 제1항에 있어서,
상기 영상 분석부는
상기 CCTV 영상 내 복수의 프레임에 대하여 채널 압축, 시간 압축 및 픽셀 압축을 순차적으로 진행한 후 동작 특징을 추출하고 동작을 분류함으로써, 상기 보행자의 이상 행동 인식을 위한 실시간 동작 분석을 처리하는 것을 특징으로 하는 교량에서의 자살 방지 및 구조 활동을 위한 지원 시스템.
- 제2항에 있어서,
상기 영상 분석부는
미리 설정된 시간 동안에 N(3 이상의 자연수)개의 1채널 이미지를 RGB 채널에 1개씩 순서대로 넣어서 상기 각각의 압축(채널, 시간, 픽셀)을 진행하는 것을 특징으로 하는 교량에서의 자살 방지 및 구조 활동을 위한 지원 시스템.
- 제1항에 있어서,
상기 CCTV 영상에 대하여 밝기 및 흔들림 보정을 수행하는 영상 보정부
를 더 포함하는 것을 특징으로 하는 교량에서의 자살 방지 및 구조 활동을 위한 지원 시스템.
- 제4항에 있어서,
상기 영상 보정부는
야간 영상의 경우 보행자 영역에 대해서만 명암 대비를 다른 영역에 비해 상대적으로 높게 적용하는 보정을 진행하는 것을 특징으로 하는 교량에서의 자살 방지 및 구조 활동을 위한 지원 시스템.
- 제1항에 있어서,
상기 영상 분석부는
이미지 세그멘테이션(Image Segmentation) 알고리즘을 통해 상기 CCTV 영상으로부터 교량 내 영역과 교량 외 영역을 구분하여 인식하고, 상기 각 영역의 경계 부분을 상기 위험 지역으로 인식하는 것을 특징으로 하는 교량에서의 자살 방지 및 구조 활동을 위한 지원 시스템.
- 제1항에 있어서,
상기 교량 내 영역은 도로(차도 및 인도)를 포함하고, 상기 교량 외 영역은 강을 포함하며,
상기 영상 분석부는
상기 도로의 영역을 구한 후, 상기 도로의 영역과 상기 각의 영역의 좌표 값을 확인하여 상기 강의 영역이 상기 도로의 영역의 좌측에 존재하는지, 우측에 존재하는지를 확인하고, 상기 도로의 영역에서 상기 강의 영역이 존재하는 방향으로의 경계 부분을 구해서 상기 위험 지역으로 인식하는 것을 특징으로 하는 교량에서의 자살 방지 및 구조 활동을 위한 지원 시스템.
- 제1항에 있어서,
상기 영상 분석부는
YOLOv4 딥러닝 알고리즘을 이용한 학습을 통해 상기 보행자를 탐지하여 보행자 데이터를 생성하고, 상기 생성된 보행자 데이터에 Deep SORT 딥러닝 알고리즘을 적용하여 상기 보행자를 인식하고 상기 보행자의 이동 경로를 추적하는 것을 특징으로 하는 교량에서의 자살 방지 및 구조 활동을 위한 지원 시스템.
- 제1항에 있어서,
상기 모니터링부는
상기 보행자가 상기 위험 지역에 근접한 정도에 따라 부여되는 위치 점수, 상기 보행자가 CCTV 범위 내에 머무르는 시간에 따라 부여되는 시간 점수, 상기 보행자의 행동 패턴과 자살 의도와의 관계 정도에 따라 부여되는 행동 관계 점수, 및 상기 보행자의 동작 분류에 따른 각 행동에 기반하여 부여되는 행동 점수를 곱셈 연산하여 위험 지수를 계산하고, 상기 계산된 위험 지수에 기초하여 상기 교량 내 위험 지역에서 상기 보행자의 위험 행동을 감지하는 것을 특징으로 하는 교량에서의 자살 방지 및 구조 활동을 위한 지원 시스템.
- 제9항에 있어서,
상기 알람 발생부는
상기 위험 지수가 일정 범위를 초과하는 경우, 상기 보행자의 자살 의심 행위를 경고하기 위한 알람을 발생하는 것을 특징으로 하는 교량에서의 자살 방지 및 구조 활동을 위한 지원 시스템.
- AI 영상 분석 서버가 CCTV 영상을 분석하여 교량 내 위험 지역을 인식하고 보행자 위치를 확인 및 추적하는 단계;
상기 AI 영상 분석 서버가 상기 CCTV 영상의 분석 결과에 기초하여 상기 교량 내 위험 지역에서 상기 보행자의 위험 행동을 감지하는 단계; 및
상기 AI 영상 분석 서버가 상기 위험 행동의 감지 결과를 토대로 상기 보행자의 자살 의심 행위를 경고하기 위한 알람을 발생하는 단계
를 포함하는 것을 특징으로 하는 교량에서의 자살 방지 및 구조 활동을 위한 지원 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210124243A KR20230040747A (ko) | 2021-09-16 | 2021-09-16 | 교량에서의 자살 방지 및 구조 활동을 위한 지원 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210124243A KR20230040747A (ko) | 2021-09-16 | 2021-09-16 | 교량에서의 자살 방지 및 구조 활동을 위한 지원 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230040747A true KR20230040747A (ko) | 2023-03-23 |
Family
ID=85799363
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210124243A KR20230040747A (ko) | 2021-09-16 | 2021-09-16 | 교량에서의 자살 방지 및 구조 활동을 위한 지원 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20230040747A (ko) |
-
2021
- 2021-09-16 KR KR1020210124243A patent/KR20230040747A/ko unknown
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101995107B1 (ko) | 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템 | |
| JP5121258B2 (ja) | 不審行動検知システム及び方法 | |
| KR101375583B1 (ko) | 비디오에서의 물체 조밀도 판단 | |
| JP6532106B2 (ja) | 監視装置、監視方法および監視用プログラム | |
| KR102195706B1 (ko) | 침입 탐지방법 및 그 장치 | |
| JP6233624B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
| Kumar et al. | Study of robust and intelligent surveillance in visible and multi-modal framework | |
| KR102144531B1 (ko) | 딥 러닝 영상분석을 활용한 객체 메타데이터 기반의 자동 선별관제 방법 | |
| Zabłocki et al. | Intelligent video surveillance systems for public spaces–a survey | |
| KR102172239B1 (ko) | 영상 기반 비정상 상황 모니터링 방법 및 시스템 | |
| JP5992681B2 (ja) | 混雑の非通常状態検知システム | |
| JPWO2010084902A1 (ja) | 侵入警報ビデオ処理装置 | |
| KR101040049B1 (ko) | 영상 기반 감시 시스템에서 신속하고 강인한 다수 이동 물체 추적 방법 | |
| CN104981818A (zh) | 将机场中的移动的飞机分类的系统和方法 | |
| KR102282800B1 (ko) | 라이다와 영상카메라를 이용한 멀티 표적 추적 방법 | |
| KR20190051128A (ko) | 머신러닝 기법을 이용한 행동인지 기반 보행취약자 검출 방법 및 시스템 | |
| CN109492548B (zh) | 基于视频分析的区域mask图片的获得方法 | |
| Veni et al. | Road accident detection and severity determination from CCTV surveillance | |
| EP4181083A1 (en) | Stopped vehicle detection and validation systems and methods | |
| KR101454644B1 (ko) | 보행자 추적기를 이용한 서성거림을 탐지하는 방법 | |
| JP2012128877A (ja) | 不審行動検知システム及び方法 | |
| KR101572366B1 (ko) | 지능형 영상 감시 시스템을 위한 납치 상황 인식 방법 | |
| KR102113489B1 (ko) | 카메라 입력 영상을 딥러닝 활용한 행동 감지 시스템 및 방법 | |
| US11727580B2 (en) | Method and system for gathering information of an object moving in an area of interest | |
| CN114764895A (zh) | 异常行为检测装置和方法 |