KR101891887B1 - 실시간 영상을 이용하여 위험 상황을 예측하기 위한 영상 처리 방법, 장치 및 그를 이용하여 위험 상황을 예측하는 방법, 서버 - Google Patents
실시간 영상을 이용하여 위험 상황을 예측하기 위한 영상 처리 방법, 장치 및 그를 이용하여 위험 상황을 예측하는 방법, 서버 Download PDFInfo
- Publication number
- KR101891887B1 KR101891887B1 KR1020160115584A KR20160115584A KR101891887B1 KR 101891887 B1 KR101891887 B1 KR 101891887B1 KR 1020160115584 A KR1020160115584 A KR 1020160115584A KR 20160115584 A KR20160115584 A KR 20160115584A KR 101891887 B1 KR101891887 B1 KR 101891887B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- entity
- person
- similarity
- behavior
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000003672 processing method Methods 0.000 title abstract 2
- 230000002123 temporal effect Effects 0.000 claims abstract description 13
- 230000033001 locomotion Effects 0.000 claims abstract description 7
- 230000006399 behavior Effects 0.000 claims description 75
- 238000012545 processing Methods 0.000 claims description 37
- 239000000284 extract Substances 0.000 claims description 30
- 239000013598 vector Substances 0.000 claims description 29
- 238000013135 deep learning Methods 0.000 claims description 21
- 238000004458 analytical method Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 description 16
- 238000007781 pre-processing Methods 0.000 description 11
- 238000000605 extraction Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
-
- G06K9/00624—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
실시간 영상을 이용하여 위험 상황을 예측하기 위한 영상 처리 방법, 장치 및 그를 이용하여 위험 상황을 예측하는 방법, 서버가 제공된다. 본 발명의 일 실시예에 따른 실시간 영상을 이용하여 위험 상황을 예측하는 서버는 영상 처리 장치로부터, 영상에 등장하는 인물의 3차원 자세 정보, 상기 인물이 소지하고 있는 개체의 특징 정보 및 상기 영상의 상황 정보 - 촬영 시각 및 장소 중 하나 이상을 포함함 - 가 수신되면, 상기 수신되는 3차원 자세 정보의 시간적 흐름에 따른 움직임을 DB에 기 저장된 행동 유형들과 비교하여 유사도가 가장 높은 행동 유형을 추출하는 행동 유사도 분석부, 상기 수신되는 개체의 특징 정보와 DB에 기 저장된 개체 유형들의 특징 정보간 유사도를 비교하여 유사도가 미리 정해진 임계치 이상인 개체 유형을 추출하는 개체 유사도 분석부 및 상기 추출된 행동 유형, 개체 유형 및 상기 상황 정보간의 위험 상황에 대한 상호 연관 관계를 분석하여 위험 상황 예측 정보를 추출하는 위험 상황 예측부를 포함하는 것을 특징으로 한다.
Description
본 발명은 CCTV에서 촬영되는 실시간 영상을 이용하여 위험 상황을 예측하는 기술에 관한 것이다.
사회적 문제가 되고 있는 다양한 범죄를 사전에 예방하고 대응하기 위해서 다양한 장소에 CCTV가 설치되고 있으며, CCTV가 설치되는 장소는 앞으로도 계속 증가할 전망이다.
현재, 범죄의 사전 예방과 대응에 있어서 CCTV의 활용은 위험 상황이 발생한 이후에 해당 현장을 촬영한 CCTV 영상(서버나 특정 저장 공간에 저장됨)을 검색하고 위험 상황이 발생한 구간을 확인하고 있는 것이 일반적이다.
따라서, 현재의 방식으로는 CCTV 영상을 이용하여 위험 상황의 발생을 실시간으로 파악할 수 없는 한계가 있다.
뿐만 아니라 CCTV 영상을 일정 기간 보관하기 위해 CCTV 영상 자체를 서버로 전송하기 때문에 상대적으로 높은 대역폭(Bandwidth)을 차지하며 서버 또한 높은 연산량을 필요로 한다.
또한, CCTV 영상이 서버에 그대로 저장되므로 CCTV 영상을 확인 시 개인의 신상 정보(얼굴 등) 등이 그대로 노출되어, 프라이버시가 침해되는 문제가 발생 할 수 있다.
이에, CCTV의 실시간 영상을 이용하여 위험 상황의 발생을 실시간으로 파악하되, 개인 정보의 보호뿐만 아니라 데이터 전송과 저장에 있어서도 부담이 적은 새로운 방안이 요구되고 있다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로, CCTV의 실시간 영상을 이용하여 위험 상황의 발생을 실시간으로 파악하는 방안을 제공하고자 한다.
또한, 위험 상황을 실시간으로 파악 시 개인 정보가 노출되지 않으며, 데이터의 전송과 저장을 효율적으로 관리할 수 있는 방안을 제공하고자 한다.
상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 실시간 영상을 이용하여 위험 상황을 예측하는 서버는 영상 처리 장치로부터, 영상에 등장하는 인물의 3차원 자세 정보, 상기 인물이 소지하고 있는 개체의 특징 정보 및 상기 영상의 상황 정보 - 촬영 시각 및 장소 중 하나 이상을 포함함 - 가 수신되면, 상기 수신되는 3차원 자세 정보의 시간적 흐름에 따른 움직임을 DB에 기 저장된 행동 유형들과 비교하여 유사도가 가장 높은 행동 유형을 추출하는 행동 유사도 분석부, 상기 수신되는 개체의 특징 정보와 DB에 기 저장된 개체 유형들의 특징 정보간 유사도를 비교하여 유사도가 미리 정해진 임계치 이상인 개체 유형을 추출하는 개체 유사도 분석부 및 상기 추출된 행동 유형, 개체 유형 및 상기 상황 정보간의 위험 상황에 대한 상호 연관 관계를 분석하여 위험 상황 예측 정보를 추출하는 위험 상황 예측부를 포함하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 영상 처리 장치는 실시간 촬영되는 영상으로부터 인물의 영역 및 상기 인물이 소지하고 있는 개체의 영역을 구분하는 전처리부, 상기 구분된 인물의 영역에서 상기 인물의 3차원 자세 정보를 추출하고, 상기 구분된 개체의 영역에서 상기 개체의 특징 정보를 추출하는 특징 정보 추출부 및 상기 추출된 3차원 자세 정보 및 개체의 특징 정보를 서버로 전송하는 전송부를 포함하되, 상기 3차원 자세 정보는 상기 인물이 취하는 자세의 뼈대(skeleton)를 구성하는 접합 부위(joint)들의 3차원 좌표 형태로 표현되어 상기 인물의 개인 정보가 제외되고, 상기 개체의 특징 정보는 상기 개체의 특징이 반영된 형태인 디스크립터(discriptor)로 추출되어 상기 개체를 직관적으로 표현하는 정보가 제외되며, 상기 3차원 자세 정보와 개체의 특징 정보는 상기 서버에서 상기 인물의 행동 유형과 상기 인물이 소지하고 있는 개체 유형으로 각각 추출되어 위험 상황 예측을 위한 정보로 이용되는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 서버가 실시간 영상을 이용하여 위험 상황을 예측하는 방법은 (a) 영상 처리 장치로부터, 영상에 등장하는 인물의 3차원 자세 정보, 상기 인물이 소지하고 있는 개체의 특징 정보 및 상기 영상의 상황 정보 - 촬영 시각 및 장소 중 하나 이상을 포함함 - 를 수신하는 단계, (b) 상기 수신되는 3차원 자세 정보의 시간적 흐름에 따른 움직임을 DB에 기 저장된 행동 유형들과 비교하여 유사도가 가장 높은 행동 유형을 추출하고, 상기 수신되는 개체의 특징 정보와 DB에 기 저장된 개체 유형들의 특징 정보간 유사도를 비교하여 유사도가 미리 정해진 임계치 이상인 개체 유형을 추출하는 단계 및 (c) 상기 추출된 행동 유형, 개체 유형 및 상기 상황 정보간의 위험 상황에 대한 상호 연관 관계를 분석하여 위험 상황 예측 정보를 추출하는 단계를 포함하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 영상 처리 장치가 위험 상황을 예측하기 위하여 영상을 처리하는 방법은 (a) 실시간 촬영되는 영상으로부터 인물의 영역 및 상기 인물이 소지하고 있는 개체의 영역을 구분하는 단계, (b) 상기 구분된 인물의 영역에서 상기 인물의 3차원 자세 정보를 추출하고, 상기 구분된 개체의 영역에서 상기 개체의 특징 정보를 추출하는 단계 및 (c) 상기 추출된 3차원 자세 정보 및 개체의 특징 정보를 서버로 전송하는 단계를 포함하되 상기 3차원 자세 정보는 상기 인물이 취하는 자세의 뼈대(skeleton)를 구성하는 접합 부위(joint)들의 3차원 좌표 형태로 표현되어 상기 인물의 개인 정보가 제외되고, 상기 개체의 특징 정보는 상기 개체의 특징이 반영된 형태인 디스크립터(discriptor)로 추출되어 상기 개체를 직관적으로 표현하는 정보가 제외되며, 상기 3차원 자세 정보와 개체의 특징 정보는 상기 서버에서 상기 인물의 행동 유형과 상기 인물이 소지하고 있는 개체 유형으로 각각 추출되어 위험 상황 예측을 위한 정보로 이용되는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, CCTV의 실시간 영상을 이용하여 위험 상황의 발생을 실시간으로 파악할 수 있다.
또한, CCTV 영상에 등장하는 인물의 3차원 자세 정보와 해당 인물이 소지하고 있는 개체에 대한 특징 정보 등이 서버로 전송되어 저장되므로, 위험 상황을 실시간으로 파악 시 개인 정보가 노출되지 않아 프라이버시 침해 문제로부터 자유로울 수 있다.
또한, 서버로 전송되는 인물의 3차원 자세 정보와 개체에 대한 특징 정보의 데이터 크기가 작으므로 데이터의 전송과 저장에 대한 부담을 감소시킬 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 실시간 영상을 이용하여 위험 상황을 예측하는 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 장치의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 클라우드 서버의 구성을 도시한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 영상 처리 과정을 도시한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 위험 상황 예측 과정을 도시한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 전처리 과정을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 3차원 자세 정보의 추출과 유사도 매칭을 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 개체 특징 정보의 추출을 도시한 도면이다.
도 9는 본 발명이 일 실시예에 따른 위험 상황 예측 결과를 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 위험 상황 예측 과정을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 장치의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 클라우드 서버의 구성을 도시한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 영상 처리 과정을 도시한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 위험 상황 예측 과정을 도시한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 전처리 과정을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 3차원 자세 정보의 추출과 유사도 매칭을 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 개체 특징 정보의 추출을 도시한 도면이다.
도 9는 본 발명이 일 실시예에 따른 위험 상황 예측 결과를 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 위험 상황 예측 과정을 도시한 도면이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다.
그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다.
또한 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 구비할 수 있다는 것을 의미한다.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 실시간 영상을 이용하여 위험 상황을 예측하는 시스템의 구성을 도시한 도면이다.
본 발명의 일 실시예에 따른 실시간 영상을 이용하여 위험 상황을 예측하는 시스템(이하 ‘실시간 위험 상황 예측 시스템’이라 칭함)(100)은 영상 처리 장치(110), 클라우드 서버(120) 및 사용자 단말기(130)를 포함할 수 있다.
참고로, 본 발명은 CCTV의 실시간 영상을 이용하여 위험 상황의 발생을 실시간으로 파악하되, 개인 정보의 보호뿐만 아니라 데이터 전송과 저장에 있어서도 부담이 적은 실시간 위험 상황 예측 기술에 관한 것이다.
이를 위해 본 발명은 실시간 획득되는 영상에서 인물의 행동에 대한 특징 정보와 인물이 소지하고 있는 개체의 특징 정보를 이용하여 인물의 행동 유형과 개체 유형을 추출하고, 추출된 행동 유형과 개체 유형 및 상황 정보(영상 촬영 시각 및 장소)간 위험 상황의 연관성을 분석하여 위험 상황을 예측할 수 있다.
이를 위한 실시간 위험 상황 예측 시스템(100)의 각 구성 요소를 간략히 설명하면, 영상 처리 장치(110)는 CCTV에 연결되거나 CCTV에 포함될 수 있으며, CCTV가 촬영한 실시간 영상에서 인물의 3D 자세 정보를 추출하고, 해당 인물이 소지하고 있는 개체을 검출할 수 있다.
여기서, CCTV가 촬영한 실시간 영상(이하, ‘촬영 영상’이라 칭함)은 가공되지 않은 2D-RGB 형태의 이미지이다.
영상 처리 장치(110)는 촬영 영상에서 의미가 같은 부분들로 영역을 분할하고 분할된 영역에 대해 특징점을 추출할 수 있다.
예를 들어 칼을 들고 있는 인물의 촬영 영상이 입력되면, 관심 영역인 칼과 인물을 분리해 낸 후 칼과 인물에 대해서 각각 특징점을 추출하는 것이다.
이때, 촬영 영상에 등장하는 인물은 얼굴과 착용하고 있는 옷과 같은 개인 신상 정보가 제외된 자세(pose)의 형태로 추출되며, 해당 인물이 소지하고 있는 개체(칼)의 정보는 개체의 특징을 반영할 수 있는 특징 정보의 형태(Descriptor)로 추출될 수 있다.
여기서 상기 ‘자세 형태’는 3차원 자세 정보로서 해당 인물이 취하는 자세의 뼈대(skeleton)를 구성하는 접합 부위(joint)들의 3차원 좌표 형태로 표현될 수 있다.
즉, 3차원 자세 정보는 인물의 신체를 단순하게 표현한 정보로서, 인물이 어떠한 행동 또는 동작을 취하고 있는지에 대한 정보가 담겨 있는 것이다.
그리고 인물이 소지하고 있는 개체(물건)는 해당 인물의 행동 의도를 반영하고 있는 대상으로서, 특히 범죄와 같은 상황이 발생할 시, 인물이 들고 있는 흉기 등을 통해 잠재적 범죄 의도를 파악할 수 있다.
영상 처리 장치(110)는 촬영 영상에 등장하는 인물의 3차원 자세 정보와 해당 인물이 소지하고 있는 개체의 특징 정보를 클라우드 서버(120)로 전송할 수 있다. 참고로, 상기 특징 정보들이 전송될 때 촬영 영상이 촬영된 장소와 촬영 시간 중 하나 이상을 포함하는 상황 정보도 함께 전송될 수 있다.
따라서, 원 촬영 영상이 아닌, 촬영 영상으로부터 추출된 특징 정보만이 클라우드 서버(120)로 전송되므로, 전송되는 데이터의 양을 줄이고 개인의 신상 정보가 포함되지 않으며, 결국 클라우드 서버(120)에서 상기 특징 정보를 이용하여 위험 여부를 실시간으로 판단 시, 촬영 영상에 등장하는 인물의 개인 신상 정보는 사용하지 않게 되어 프라이버시 침해 문제로부터 자유로울 수 있다.
한편, 클라우드 서버(120)는 영상 처리 장치(110)로부터 수신되는 촬영 영상의 특징 정보들(인물의 3차원 자세 정보와 해당 인물이 소지하고 있는 개체의 특징 정보)을 활용하여 실시간 위험 예측 정보를 추출할 수 있다.
상기 3차원 자세 정보와 개체의 특징 정보를 위험 상황 예측에 활용하기 위해서는 일련의 정제 과정을 필요로 한다.
먼저 인물의 3차원 자세 정보는 자세의 뼈대(skeleton)를 구성하는 접합 부위 (joint)들의 3차원 좌표 형태로 수신되며, 클라우드 서버(120)는 3차원 자세 정보에서 접합 부위의 중간점, 특정 뼈대가 이루는 각도 등 인물의 자세를 효율적으로 나타낼 수 있는 정보의 정의를 통해 각 자세를 수치화(Parameterization)할 수 있다.
또한 이러한 정보로 이루어진 자세 특징 벡터(Vector)를 시간에 흐름에 따라 나열하여 인물의 행동 유형을 집합(Matrix) 또는 텐서(Tensor) 형태로 수치화하여 DB 에 저장할 수 있다.
클라우드 서버(120)는 이후 질의되는 3차원 자세 정보를 이용하여 DB에 저장된 다양한 행동 유형들과 유사도를 비교하여 가장 유사한 행동 유형을 추출할 수 있다.
이때 추출된 행동 유형은 수치화된 형태로 나타낼 수 있다. 예를 들어 위험 정도 30(최저 1부터 최고 100인 경우) 또는 위험 상황 레벨 3(최저 1부터 최고 10인 경우)과 같이 나타낼 수 있다.
또한, 클라우드 서버(120)는 인물이 소지하고 있는 개체에 대한 특징 정보를 DB에 저장된 유사도 비교를 통해 수치화할 수 있다.
여기서 개체에 대한 특징 정보는 개체를 구성하는 특징 부위들에 대한 정보(descriptor) 형태일 수 있다.
즉, DB를 기반으로 인물이 소지하고 있는 개체가 무엇인지에 대해서 직접적으로 인지하지 않고 개체를 단순히 수치화 한다.
이와 같이 촬영 영상에서 인물이 소자하고 있는 개체의 정보를 직접적으로 인지하지 않는 것은 촬영 영상에서 개인 정보를 보호하기 위한 장치이기도 하며, 어떠한 개체의 정보라도 단순히 수치화 됨으로써 개체의 종류(Class)를 미리 정해놓지 않음으로써 촬영 영상에 등장할 수 있는 다양한 개체에도 적용할 수 있는 장점이 있다.
또한, 클라우드 서버(120)는 수치화된 인물의 행동 유형과 해당 인물이 소지하고 있는 개체 유형, 그리고 상황 정보간의 상호 연관 관계에 대한 분석에 기초하여 위험 상황 예측 정보를 제공할 수 있다.
즉, 인물의 자세와 해당 인물이 소지하고 있는 개체 그리고 그 상황이 발생한 장소와 시간 등이 위험 상황과 어떤 연관이 있는지를 분석하는 것이다.
이를 위해 클라우드 서버(120)는 기존의 촬영 영상과 위험 상황 발생 기록을 이용해 딥 러닝(deep learning)을 이용한 연관 관계를 학습할 수 있으며, 추후 학습된 플랫폼에 임의의 행동 유형에 대한 정보와 개체 유형에 대한 정보 그리고 그에 대한 상황 정보가 입력됐을 때, 입력된 정보들이 위험 상황과 연관이 있는지를 판단하고, 위험 상황이라고 판단되는 경우 위험 상황에 대한 예측 정보를 생성하여 사용자 단말기(130)로 제공할 수 있다.
이때, 클라우드 서버(120)는DB 상에서 유사도가 가장 큰 행동 유형에 대한 정보(예를 들어 해당 행동 유형을 나타내는 자세를 취하고 있는 사람 이미지 등)를 더 제공할 수 있다.
따라서, CCTV의 실시간 촬영 영상에서 개인의 개인 정보 보호와 동시에 해당 지역에 대한 위험 상황을 알고 싶어하는 사용자의 요구를 합리적으로 충족시킬 수 있다.
한편, 사용자 단말기(130)는 스마트 폰, 휴대폰, PDA, PMP, 태블릿 컴퓨터 등의 이동 통신 단말기와, 노트북 컴퓨터, 데스크 탑 컴퓨터, 셋탑 박스와 연결된 디지털 TV 등 네트워크를 통해 클라우드 서버(120)와 연결될 수 있는 모든 단말기를 포함할 수 있으며, 클라우드 서버(120)가 제공하는 상기 위험 상황 예측 정보를 수신하여 화면에 표시할 수 있다.
결과적으로 본 발명의 실시예에 따른 위험 상황 예측 방식은 끊임없이 획득되는 CCTV 데이터(촬영 영상)와 위험 상황과의 연관성 데이터를 통해 지속적으로 학습이 되므로 점점 더 우수한 예측 성능을 가지게 된다.
또한 인물의 3차원 자세 정보 및 해당 인물이 소지하고 있는 객체의 특징 정보, 그리고 장소나 시간 등의 상황 정보에 대한 연관성 분석을 통해 인물의 행동 유형과 소지하고 있는 개체 그리고 시간이나 장소에 따른 가중치 부여하고 이를 통해 위험 상황 예측의 정확성을 높일 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 장치의 구성을 도시한 블록도이다.
본 발명의 일 실시예에 따른 영상 처리 장치(110)는 영상 획득부(111), 전처리부(112), 특징 정보 추출부(113), 전송부(114), 제어부(115) 및 메모리(116)를 포함할 수 있으며, 이 중 특징 정보 추출부(113)는 3차원 자세 정보 추출부(113a) 및 개체 특징 정보 추출부(113b)를 포함할 수 있다.
각 구성 요소를 설명하면, 영상 획득부(111)는 실시간 촬영 영상을 획득할 수 있다. 여기서 실시간으로 획득되는 촬영 영상은 2차원의 RGB 영상이다.
전처리부(112)는 영상 획득부(111)를 통해 실시간으로 획득되는 촬영 영상에서 인물의 영역과 해당 인물이 소지하고 있는 개체의 영역을 분리하는 전처리를 수행할 수 있다.
이는 특징 정보 추출부(113)에서 인물과 개체에 대한 특징 정보를 추출 시, 추출되는 특징 정보의 정확도가 높아지도록 인물과 개체를 좀 더 명확히 구분해주는 처리 과정이다.
이를 위해 전처리부(112)는 딥 러닝(예를 들어 Convolutional Neural Networks; CNN)을 이용하여 2차원의 RGB 영상에서 인물 영역 및 개체 영역을 각각 분할할 수 있으며, 분할된 인물 영역은 후술하는 3차원 자세 정보 추출부(113a)가 학습하는 딥 러닝의 입력 값으로 사용될 수 있다.
여기서 전처리부(112)는 딥 러닝을 이용한 학습 시 의미론적 영역 분할(semantic segmentation) 및 의미론적 관심 영역 분할(semantic segmentation for Region of Interest)을 이용하여 인물 영역 및 개체 영역을 각각 분할할 수 있다.
이하, 딥 러닝을 이용하여 2차원의 RGB 영상에서 인물 영역 및 개체 영역을 분할하는 학습을 ‘공간적 딥 러닝’이라 칭하도록 한다.
한편, 특징 정보 추출부(113)는 전처리부(112)에서 분할된 인물 영역에서 인물의 3차원 자세 정보를 추출하고, 분할된 개체 영역에서 개체의 특징 정보를 추출할 수 있다.
이를 위해 특징 정보 추출부(113)는 3차원 자세 정보 추출부(113a) 및 개체 특징 정보 추출부(113b)를 포함할 수 있다.
먼저, 3차원 자세 정보 추출부(113a)는 2차원의 RGB 영상에서 분할된 인물 영역에서, 인물이 취하는 자세의 뼈대(skeleton)를 구성하는 접합 부위(joint)들의 3차원 좌표 형태로 표현되는 3차원 자세 정보를 추출할 수 있다.
이를 위해, 3차원 자세 정보 추출부(113a)는 딥 러닝을 이용하여 인물 영역에서 3차원 자세 정보를 추출하는 학습을 수행할 수 있다.
학습 과정은 입력되는 인물 영역과 해당 인물 영역의 시간적 흐름에 따른 자세 정보(뼈대를 구성하는 접합 부위들의 3차원 좌표 형태)의 변화를 이용하여 학습되며, 추후 학습된 플랫폼에 임의의 인물 영역에 대한 정보가 입력되면, 입력된 인물 영역에 해당하는 3차원 자세 정보가 추출될 수 있다.
이하, 딥 러닝을 이용하여 인물 영역에서 3차원 자세 정보를 추출하는 학습을 ‘시간적 딥 러닝’이라 칭하도록 한다.
또한, 개체 특징 정보 추출부(113b)는 전처리부(112)에서 분할된 개체의 영역에서 개체의 특징 정보를 추출할 수 있다.
여기서 개체의 특징 정보는 개체의 특징을 반영할 수 있는 형태로서 예를 들어 디스크립터(descriptor)로 추출될 수 있다.
한편, 전송부(114)는 촬영 영상에서 추출된 인물의 특징 정보(3차원 자세 정보)와 인물이 소지하고 있는 개체의 특징 정보(디스크립터)를 클라우드 서버(120)로 전송할 수 있다.
이때, 상기 특징 정보뿐만 아니라 촬영 시각 및 촬영 장소에 대한 정보를 포함하는 상황 정보가 더 전송될 수 있다.
한편, 제어부(115)는 프로세서를 포함할 수 있으며, 영상 처리 장치(110)의 구성 요소들, 즉, 영상 획득부(111), 전처리부(112), 특징 정보 추출부(113) 및 전송부(114)가 전술한 동작을 수행하도록 제어할 수 있다. 그리고 메모리(116) 또한 제어할 수 있다.
한편, 메모리(116)는 제어부(115)가 영상 처리 장치(110)의 각 구성 요소들이 전술한 동작을 수행하도록 제어하는 알고리즘과 그 과정에서 파생되는 다양한 데이터들을 저장할 수 있다.
도 3은 본 발명의 일 실시예에 따른 클라우드 서버의 구성을 도시한 블록도이다.
본 발명의 일 실시예에 따른 클라우드 서버(120)는 행동 유사도 분석부(121), 개체 유사도 분석부(122), 위험 상황 예측부(123), 제어부(124) 및 저장부(125)를 포함할 수 있다.
클라우드 서버(120)는 영상 처리 장치(110)로부터 영상에 등장하는 인물의 3차원 자세 정보, 인물이 소지하고 있는 개체의 특징 정보 및 영상의 상황 정보 - 촬영 시각 및 장소 중 하나 이상을 포함함 - 를 수신할 수 있다.
행동 유사도 분석부(121)는 수신되는 인물의 3차원 자세 정보의 시간적 흐름에 따른 움직임을 DB에 기 저장된 행동 유형들과 비교하여 유사도가 가장 높은 행동 유형을 추출할 수 있다.
이때, 행동 유사도 분석부(121)는 영상 단위의 시퀀스 매칭을 통해 질의 영상(영상 처리 장치(110)로부터 수신되는 3차원 자세 정보)과 유사한 부분 시퀀스들을 DB로부터 검출할 수 있다.
이를 위해 행동 유사도 분석부(121)는 다음과 같이 DB를 구축할 수 있다.
먼저, 행동 유사도 분석부(121)는 기 획득된 CCTV 영상에서 인물의 3차원 자세 정보가 추출되면, 해당 3차원 자세 정보로부터 자세 특징 벡터를 추출할 수 있다.
여기서 ‘자세 특징 벡터’는 3차원 자세 정보에서 중심 좌표와 신체 부위와의 거리, 3차원 관절의 각도, 각 신체 부위의 이동 거리 및 가속도 등 인물의 자세 및 상황을 표현하기 위한 유용한 특징들을 포함할 수 있다.
상기 자세 특징 벡터를 이용하는 이유는 뼈대를 구성하는 접합 부위들의 3차원 좌표 정보인 3차원 자세 정보만으로는 고수준의 동작을 구분하기 어렵기 때문이다.
행동 유사도 분석부(121)는 3차원 자세 정보 및 그에 해당하는 자세 특징 벡터를 연계하여 DB에 저장할 수 있다.
그리고, 추출된 자세 특징 벡터를 시간적 흐름에 따라 나열하여 시퀀스 기반의 모델링을 수행하고, 그 결과를 자세 특징 벡터의 집합(matrix) 또는 텐서(tensor) 형태로 수치화하여 DB에 저장할 수 있다.
이와 같은 과정을 통해 다양한 행동 유형들이 3차원 자세 정보와 자세 특징 벡터 그리고 그를 이용한 시퀀스 기반의 모델링을 통해 DB에 저장될 수 있다.
참고로 각 행동 유형이 DB에 저장될 때는 걷기, 뛰기, 휘두름, 낙상, 발차기 등과 같은 행동 유형을 직관적으로 표현하는 정보(예를 들어 ‘단어’)로 저장되지 않고, 자세 특징 벡터의 집합 또는 텐서 형태로 수치화되어 저장된다.
따라서, 영상 처리 장치(110)로부터 수신되는 3차원 자세 정보가 시간적 흐름에 따라 순차적으로 입력(질의)되면, 행동 유사도 분석부(121)는 입력되는 3차원 자세 정보와 DB에 저장된 3차원 자세 정보의 유사도를 시퀀스 매칭을 통해 비교하여 유사도가 가장 큰 3차원 자세 정보를 DB로부터 추출할 수 있다.
여기서, 상기 추출된 3차원 자세 정보들은 각각의 자세 특징 벡터와 연계되어 있고, 각각의 자세 특징 벡터는 시퀀스 기반으로 모델링된 특정 행동 유형의 부분 시퀀스들이다.
결국, 행동 유사도 분석부(121)는 질의된 3차원 자세 정보와 유사한 부분 시퀀스들을 가장 많이 포함하는 행동 유형을 질의된 3차원 자세 정보의 행동 유형으로 추출할 수 있다.
이때 상기 추출되는 행동 유형은 해당 행동 유형을 나타내는 단어가 아닌 수치화된 형태이다.
한편, 개체 유사도 분석부(122)는 수신되는 개체의 특징 정보를 개체 특징 벡터로 변환하고, DB에 기 저장된 개체 유형들의 개체 특징 벡터와 유사도를 비교함으로써 개체 유형을 추출할 수 있다.
이를 위해 개체 유사도 분석부(122)는 다양한 개체의 특징 정보와 그에 대한 개체 특징 벡터를 저장하는 DB를 이용하여 개체 특징 벡터의 유사도를 비교하되, 유사도가 가장 큰 특정 개체 유형을 추출하거나 유사도가 미리 정해진 임계치 이상인 복수의 개체 유형을 추출할 수 있다.
이때, 유사도의 비교 결과에 이미지 매칭 및 토픽 모델링(topic modeling)이 더 적용될 수 있다.
여기서 추출되는 개체 유형은 전술한 행동 유형과 동일하게 개체를 나타내는 단어가 아닌 수치화된 형태일 수 있다.
인물의 행동 유형과 인물이 소지하고 있는 개체 유형을 모두 단어가 아닌 수치화된 형태로 추출하는 이유는, 사전에 DB화하여 관리되지 못한 행동 유형이나 개체에 대해서도 판별 정확도를 높이기 위함이다.
한편, 위험 상황 예측부(123)는 행동 유사도 분석부(121)에서 추출된 ‘행동 유형’과 개체 유사도 분석부(122)에서 추출된 ‘개체 유형’ 그리고 촬영 영상의 촬영 시각 및 촬영 장소 중 하나 이상을 포함하는 ‘상황 정보’간의 상호 연관 관계에 대한 분석에 기초하여 위험 상황 예측 정보를 제공할 수 있다.
이를 위해, 위험 상황 예측부(123)는 기존의 촬영 영상과 위험 상황 발생 기록을 이용해 딥 러닝을 이용한 연관 관계를 학습할 수 있으며, 상기 추출된 행동 유형 및 개체 유형 그리고 상황 정보가 입력(질의)되면, 입력된 정보들에 대한 위험 상황 연관성을 판단하여 위험 상황에 대한 예측 정보를 생성하고 이를 사용자 단말기(130)로 제공할 수 있다.
참고로, 상기 딥 러닝을 이용한 학습 시 입력되는 개체 유형은 추출된 개체 유형 중 유사도가 가장 높은 특정 개체 유형이거나 유사도가 미리 정해진 임계치 이상인 개체 유형일 수 있다.
그리고, 섀플리 밸류(Shapley’s value)를 이용하여 행동 유형, 개체 유형 및 상황 정보에 가중치를 부여한 후 상기 딥 러닝을 이용한 학습을 수행할 수도 있다.
한편, 제어부(124)는 복수의 프로세서를 포함할 수 있으며, 클라우드 서버(120)의 구성 요소들, 즉, 행동 유사도 분석부(121), 개체 유사도 분석부(122) 및 위험 상황 예측부(123)가 전술한 동작을 수행하도록 제어할 수 있으며, 저장부(125) 또한 제어할 수 있다.
한편, 저장부(125)는 제어부(124)가 클라우드 서버(120)의 각 구성 요소들이 전술한 동작을 수행하도록 제어하기 위한 알고리즘 및 그 과정에서 파생되는 다양한 데이터들을 저장할 수 있다.
도 4는 본 발명의 일 실시예에 따른 영상 처리 과정을 도시한 흐름도이다.
도 4에 도시된 흐름도는 영상 처리 장치(110)에 의해 수행될 수 있다.
영상 처리 장치(110)는 공간적 딥 러닝을 통해 학습된 결과로서, 실시간으로 획득되는 촬영 영상에서 전처리를 통해 인물의 영역과 해당 인물이 소지하고 있는 개체의 영역을 구분한다(S401).
이는 인물과 개체에 대한 특징 정보를 추출 시, 추출되는 특징 정보의 정확도가 높아지는데 도움이 될 수 있다.
S401 후, 영상 처리 장치(110)는 시간적 딥 러닝을 통해 학습된 결과로서, 인물 영역에서 3차원 자세 정보를 추출한다(S402).
여기서 3차원 자세 정보는 인물이 취하는 자세의 뼈대를 구성하는 접합 부위들의 3차원 좌표 형태로 표현되는 것이며, 영상 처리 장치(110)는 딥 러닝을 이용한 학습 결과로 인물 영역에서 3차원 자세 정보를 추출할 수 있다.
S402 후, 영상 처리 장치(110)는 개체 영역에서 개체의 특징 정보를 추출한다(S403).
여기서 개체의 특징 정보는 개체의 특징을 반영할 수 있는 형태(descriptor)로 추출될 수 있다.
S403 후, 영상 처리 장치(110)는 상기 추출된 3차원 자세 정보와 개체 특징 정보를 클라우드 서버(120)로 전송한다(S404).
이때, 영상 처리 장치(110)는 촬영 영상의 촬영 시각 및 촬영 장소에 대한 정보 중 하나 이상을 포함하는 영상의 상황 정보를 더 전송할 수 있다.
참고로, 도 4의 실시예에서는 3차원 자세 정보를 먼저 추출하고 그 이후에 개체의 특징 정보를 추출하는 것으로 설명하였지만, 실시예에 따라서는 개체의 특징 정보를 먼저 추출할 수도 있고, 3차원 자세 정보와 개체의 특징 정보가 동시에 추출될 수도 있다.
도 5는 본 발명의 일 실시예에 따른 위험 상황 예측 과정을 도시한 흐름도이다.
도 5에 도시된 흐름도는 클라우드 서버(120)에 의해 수행될 수 있으며, 행동 유형과 개체 유형을 추출하기 위한 DB는 미리 생성된 상태이다.
상기 DB의 구축에 대한 상세한 설명은 도 3을 참조하여 설명한바 있으므로, DB의 구축 과정에 대한 설명은 생략하도록 한다.
클라우드 서버(120)는 영상 처리 장치(110)로부터 영상에 등장하는 인물의 3차원 자세 정보, 인물이 소지하고 있는 개체의 특징 정보 및 영상의 상황 정보 - 촬영 시각 및 장소 중 하나 이상을 포함함 - 를 수신한다(S501).
S501 후, 클라우드 서버(120)는 수신되는 인물의 3차원 자세 정보의 시간적 흐름에 따른 움직임을 DB에 기 저장된 행동 유형들과 비교하여 유사도가 가장 높은 행동 유형을 추출한다(S502).
S502 후, 클라우드 서버(120)는 수신되는 개체의 특징 정보를 개체 특징 벡터로 변환하고, DB에 기 저장된 개체 유형들의 개체 특징 벡터와 유사도를 비교함으로써 개체 유형을 추출한다(S503).
S503 후, 클라우드 서버(120)는 상기 추출된 행동 유형과 개체 유사도 개체 유형 및 상황 정보간의 상호 연관 관계에 대한 분석에 기초하여 위험 상황 예측 정보를 생성하고, 위험 상황 예측 정보를 사용자 단말기(130)로 제공한다(S504).
참고로, 클라우드 서버(120)는 기존의 촬영 영상과 위험 상황 발생 기록을 이용해 딥 러닝(deep learning)을 이용한 연관 관계를 학습할 수 있다.
도 6은 본 발명의 일 실시예에 따른 전처리 과정을 도시한 도면이다.
도 6은 영상 처리 장치(110)에서 획득되는 촬영 영상에서 인물 및 인물과 관련된 개체를 분리하는 과정을 보여주고 있다.
촬영 영상은 2차원의 RGB 영상이며, 영상 처리 장치(110)는 촬영 영상의 픽셀 단위 의미 분석을 통해 인물 및 인물과 관련된 개체 영역을 분리할 수 있다.
이와 같은 전처리를 통해, 전술한 인물 영역에서의 3차원 자세 정보에 대한 인지 정확도가 높아질 수 있다.
도 7a 및 도 7b는 본 발명의 일 실시예에 따른 3차원 자세 정보의 추출과 유사도 매칭을 도시한 도면이다.
실시간으로 획득되는 촬영 영상에서 인물 영역이 분리되면, 영상 처리 장치(110)는 인물 영역에서 3차원 자세 정보를 추출할 수 있다.
여기서 3차원 자세 정보는 도 7a에 도시된 바와 같이, 인물이 취하는 자세의 뼈대(skeleton)를 구성하는 접합 부위(joint)들의 3차원 좌표 형태로 표현될 수 있으며, 3차원 자세 정보의 추출은 딥 러닝(deep learning)을 이용한 학습 결과로 수행될 수 있다.
도 7b는 3차원 자세 정보를 이용하여 행동 유형을 추출하는 과정에서, 질의된 3차원 자세 정보와 DB에 기 저장된 행동 유형의 3차원 자세 정보간 유사도 매칭을 보여주고 있다.
DB에 저장된 3차원 자세 정보들은 각각의 자세 특징 벡터와 연계되어 있고, 각각의 자세 특징 벡터는 시퀀스 기반으로 모델링된 특정 행동 유형의 부분 시퀀스들이므로, 질의된 3차원 자세 정보와 유사한 부분 시퀀스들을 가장 많이 포함하는 행동 유형이 질의된 3차원 자세 정보의 행동 유형으로 추출할 수 있다.
도 8은 본 발명의 일 실시예에 따른 개체 특징 정보의 추출을 도시한 도면이다.
실시간으로 획득되는 촬영 영상에서 인물이 소지하고 있는 개체의 영역이 분리되면, 영상 처리 장치(110)는 개체의 영역에서 개체의 특징 정보를 추출할 수 있으며, 추출된 개체의 특징 정보는 개체의 특징을 반영할 수 있는 형태(descriptor)로 추출될 수 있다.
도 9는 본 발명이 일 실시예에 따른 위험 상황 예측 결과를 도시한 도면이다.
클라우드 서버(120)는 기존의 촬영 영상과 위험 상황 발생 기록을 이용해 딥 러닝(deep learning)을 이용한 연관 관계를 학습할 수 있다.
클라우드 서버(120)는 인물의 행동 유형에 대한 정보와 인물이 소지하고 있는 개체 유형에 대한 정보 그리고 그에 대한 상황 정보가 입력됐을 때, 딥 러닝을 이용한 연관 학습의 결과를 통해, 입력된 정보들이 위험 상황과 연관이 있는지를 판단할 수 있으며, 위험 상황이라고 판단되는 경우 위험 상황에 대한 예측 정보를 생성하여 사용자 단말기(130)로 제공할 수 있다.
도 9의 [상황 1]은 인물의 행동 유형과 인물이 소지하고 있는 개체 유형 그리고 상황 정보가 표시되어 있으며, 섀플리 밸류를 통해 부여된 가중치가 각각 부여되어 있다. 여기서, 가중치는 합이 100인 경우를 가정하였다.
참고로, 인물의 행동 유형로 기재된 ‘휘두름’, 개체 유형으로 기재된 ‘야구 배트’는 이해를 돕기 위한 것이며 실제 결과는 앞서 설명한 바와 같이 행동 유형이나 개체 유형을 나타내는 단어가 아닌 수치화된 형태로 표현될 수 있다.
도 9의 [상황 1]은 클라우드 서버(120)는 인물의 행동 유형(휘두름)과 인물이 소지하고 있는 개체 유형(야구 배트) 그리고 상황 정보(밤)의 위험 상황 연관성을 고려했을 때 야구 배트를 휘두르는 폭력 상황으로서 위험 레벨 3에 해당한다고 판단하여 이에 대한 정보를 사용자 단말기(130)로 제공할 수 있다.
반면, 도 9의 [상황 2]는 인물의 행동 유형(운반)과 인물이 소지하고 있는 개체 유형(야구 배트) 그리고 상황 정보(낮)의 위험 상황 연관성을 고려했을 때 야구 배트를 운반하는 이동 상황으로서 안전하다고 판단할 수 있으며, 이에 대한 정보를 사용자 단말기(130)로 제공할 수 있다.
도 10은 본 발명의 일 실시예에 따른 위험 상황 예측 과정을 도시한 도면이다.
영상 처리 장치(110)는 실시간으로 획득되는 촬영 영상에서 인물의 3차원 자세 정보와 인물이 소지하고 있는 개체의 특징 정보를 추출하여 클라우드 서버(120)로 전송한다.
이때, 영상이 촬영된 시각과 장소에 대한 상황 정보가 함께 전송될 수 있다.
이후, 클라우드 서버(120)는 3차원 자세 정보를 이용하여 해당 인물의 행동 유형을 추출하고, 개체의 특징 정보를 이용하여 개체 유형을 추출할 수 있다.
이후, 클라우드 서버(120)는 추출된 행동 유형과 개체 유형 그리고 상황 정보(주차장 및 새벽 1시 30분)간 위함 상황의 연관성을 분석하여 폭력 상황임을 판단하고 이에 대한 위험 상황 예측 정보(폭력 상황 위험 레벨 5)를 생성하여 사용자 단말기(130)로 제공할 수 있다.
참고로, 사용자 단말기(130)에 표시되는 위험 상황 예측 정보는 위험 상황을 나타내는 문구(폭력 상황)와 위험 상황의 레벨(레벨 5) 등을 포함할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 실시간 위험 상황 예측 시스템
110 : 영상 처리 장치
111 : 영상 획득부
112 : 전처리부
113 : 특징 정보 추출부
113a : 3차원 자세 정보 추출부, 113b : 개체 정보 추출부
114 : 전송부
120 : 클라우드 서버
121 : 행동 유사도 분석부
122 : 개체 유사도 분석부
123 : 위험 상황 예측부
130 : 사용자 단말기
110 : 영상 처리 장치
111 : 영상 획득부
112 : 전처리부
113 : 특징 정보 추출부
113a : 3차원 자세 정보 추출부, 113b : 개체 정보 추출부
114 : 전송부
120 : 클라우드 서버
121 : 행동 유사도 분석부
122 : 개체 유사도 분석부
123 : 위험 상황 예측부
130 : 사용자 단말기
Claims (18)
- 실시간 영상을 이용하여 위험 상황을 예측하는 서버에 있어서,
영상 처리 장치로부터, 영상에 등장하는 인물의 3차원 자세 정보, 상기 인물이 소지하고 있는 개체의 특징 정보 및 상기 영상의 상황 정보 - 촬영 시각 및 장소 중 하나 이상을 포함함 - 가 수신되면,
상기 수신되는 3차원 자세 정보의 시간적 흐름에 따른 움직임을 DB에 기 저장된 행동 유형들과 비교하여 유사도가 가장 높은 행동 유형을 추출하는 행동 유사도 분석부;
상기 수신되는 개체의 특징 정보와 DB에 기 저장된 개체 유형들의 특징 정보간 유사도를 비교하여 유사도가 미리 정해진 임계치 이상인 개체 유형을 추출하는 개체 유사도 분석부; 및
상기 추출된 행동 유형, 개체 유형 및 상기 상황 정보간의 위험 상황에 대한 상호 연관 관계를 분석하여 위험 상황 예측 정보를 추출하는 위험 상황 예측부
를 포함하되,
상기 영상 처리 장치는 획득한 영상으로부터 인물 영역과 개체 영역을 분리하고, 상기 인물 영역으로부터 인물이 취하는 자세의 뼈대를 구성하는 접합 부위들을 3차원 좌표 형태로 표현하는 상기 3차원 자세 정보를 추출하며, 상기 개체 영역으로부터 디스크립터 형태의 상기 개체의 특징 정보를 추출하고
상기 개체 유사도 분석부는 상기 수신되는 개체의 특징 정보를 개체 특징 벡터로 변환하고 상기 기 저장된 개체 유형들의 개체 특징 벡터와 비교하여 상기 유사도를 계산하며,
상기 위험 상황 예측부는
상기 추출된 행동 유형과 개체 유형에 대한 정보 및 상기 상황 정보가 질의 정보로서 입력되면, 상기 상호 연관 관계에 대한 분석에 기초하여 상기 위험 상황 예측 정보를 추출하도록 딥 러닝(deep learning)을 이용하여 학습하는 것을 특징으로 하는 서버.
- 제1 항에 있어서,
상기 기 저장된 행동 유형 및 개체 유형은 수치화(parameterization)되어 저장되는 것을 특징으로 하는 서버.
- 제1 항에 있어서,
상기 행동 유사도 분석부는
상기 수신되는 3차원 자세 정보와 상기 DB에 기 저장된 개체 유형들의 3차원 자세 정보의 시퀀스 매칭을 통해 유사도를 비교하되,
상기 DB에 기 저장된 개체 유형들의 3차원 자세 정보는 해당 3차원 자세 정보로부터 추출된 자세 특징 벡터와 연계되고,
상기 행동 유형들은 상기 추출된 자세 특징 벡터를 시간적 흐름에 따라 나열하여 시퀀스 기반의 모델링을 수행하고, 그 결과를 상기 자세 특징 벡터의 집합(matrix) 또는 텐서(tensor) 형태로 수치화된 것을 특징으로 하는 서버.
- 삭제
- 제1 항에 있어서,
상기 개체 유사도 분석부는
상기 유사도가 계산된 결과에 이미지 매칭 및 토픽 모델링(topic modeling)을 더 적용하여 상기 개체 유형을 추출하는 것을 특징으로 하는 서버.
- 삭제
- 제1 항에 있어서,
상기 딥 러닝을 이용한 학습 시 입력되는 개체 유형은
상기 추출된 개체 유형 중 유사도가 가장 높은 특정 개체 유형 또는 유사도가 미리 정해진 임계치 이상인 복수의 개체 유형인 것을 특징으로 하는 서버.
- 제1 항에 있어서,
상기 위험 상황 예측부는
섀플리 밸류(Shapley’s value)를 이용하여 상기 추출된 행동 유형과 개체 유형 및 상기 상황 정보에 각각 가중치를 부여한 후 상기 딥 러닝을 이용한 학습을 수행하는 것을 특징으로 하는 서버.
- 삭제
- 삭제
- 삭제
- 서버가 실시간 영상을 이용하여 위험 상황을 예측하는 방법에 있어서,
(a) 영상 처리 장치로부터, 영상에 등장하는 인물의 3차원 자세 정보, 상기 인물이 소지하고 있는 개체의 특징 정보 및 상기 영상의 상황 정보 - 촬영 시각 및 장소 중 하나 이상을 포함함 - 를 수신하는 단계;
(b) 상기 수신되는 3차원 자세 정보의 시간적 흐름에 따른 움직임을 DB에 기 저장된 행동 유형들과 비교하여 유사도가 가장 높은 행동 유형을 추출하고, 상기 수신되는 개체의 특징 정보와 DB에 기 저장된 개체 유형들의 특징 정보간 유사도를 비교하여 유사도가 미리 정해진 임계치 이상인 개체 유형을 추출하는 단계; 및
(c) 상기 추출된 행동 유형, 개체 유형 및 상기 상황 정보간의 위험 상황에 대한 상호 연관 관계를 분석하여 위험 상황 예측 정보를 추출하는 단계
를 포함하되,
상기 영상 처리 장치는 획득한 영상으로부터 인물 영역과 개체 영역을 분리하고, 상기 인물 영역으로부터 인물이 취하는 자세의 뼈대를 구성하는 접합 부위들을 3차원 좌표 형태로 표현하는 상기 3차원 자세 정보를 추출하며, 상기 개체 영역으로부터 디스크립터 형태의 상기 개체의 특징 정보를 추출하고,
상기 (b) 단계는 상기 수신되는 개체의 특징 정보를 개체 특징 벡터로 변환하고 상기 기 저장된 개체 유형들의 개체 특징 벡터와 비교하여 상기 유사도를 계산하며,
상기 (c) 단계는 상기 추출된 행동 유형과 개체 유형에 대한 정보 및 상기 상황 정보가 질의 정보로서 입력되면, 상기 상호 연관 관계에 대한 분석에 기초하여 상기 위험 상황 예측 정보를 추출하도록 딥 러닝(deep learning)을 이용하여 학습하는 것을 특징으로 하는 위험 상황 예측 방법.
- 제12 항에 있어서,
상기 (b) 단계는
상기 수신되는 3차원 자세 정보와 상기 DB에 기 저장된 개체 유형들의 3차원 자세 정보의 시퀀스 매칭을 통해 유사도를 비교하되,
상기 DB에 기 저장된 개체 유형들의 3차원 자세 정보는 해당 3차원 자세 정보로부터 추출된 자세 특징 벡터와 연계되고,
상기 행동 유형들은 상기 추출된 자세 특징 벡터를 시간적 흐름에 따라 나열하여 시퀀스 기반의 모델링을 수행하고, 그 결과를 상기 자세 특징 벡터의 집합(matrix) 또는 텐서(tensor) 형태로 수치화된 것을 특징으로 하는 위험 상황 예측 방법.
- 삭제
- 제12 항에 있어서,
상기 기 저장된 행동 유형 및 개체 유형은 수치화(parameterization)되어 저장되는 것을 특징으로 하는 위험 상황 예측 방법.
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160115584A KR101891887B1 (ko) | 2016-09-08 | 2016-09-08 | 실시간 영상을 이용하여 위험 상황을 예측하기 위한 영상 처리 방법, 장치 및 그를 이용하여 위험 상황을 예측하는 방법, 서버 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160115584A KR101891887B1 (ko) | 2016-09-08 | 2016-09-08 | 실시간 영상을 이용하여 위험 상황을 예측하기 위한 영상 처리 방법, 장치 및 그를 이용하여 위험 상황을 예측하는 방법, 서버 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180028198A KR20180028198A (ko) | 2018-03-16 |
| KR101891887B1 true KR101891887B1 (ko) | 2018-08-24 |
Family
ID=61910188
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160115584A KR101891887B1 (ko) | 2016-09-08 | 2016-09-08 | 실시간 영상을 이용하여 위험 상황을 예측하기 위한 영상 처리 방법, 장치 및 그를 이용하여 위험 상황을 예측하는 방법, 서버 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101891887B1 (ko) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10896496B2 (en) | 2018-08-01 | 2021-01-19 | International Business Machines Corporation | Determination of high risk images using peer-based review and machine learning |
| KR20200055812A (ko) * | 2018-11-08 | 2020-05-22 | 전자부품연구원 | 딥러닝 기반 이상 행위 인지 장치 및 방법 |
| KR102188981B1 (ko) * | 2018-11-12 | 2020-12-09 | 주식회사 다누시스 | 스마트 고독사 방지 시스템 및 그 방법 |
| KR102172239B1 (ko) * | 2019-02-18 | 2020-10-30 | 세종대학교산학협력단 | 영상 기반 비정상 상황 모니터링 방법 및 시스템 |
| KR20210007672A (ko) * | 2019-07-12 | 2021-01-20 | 숙명여자대학교산학협력단 | 위험 감지 시스템 및 방법 |
| WO2021010503A1 (ko) * | 2019-07-12 | 2021-01-21 | 엘지전자 주식회사 | 인공지능 공기청정장치, 그의 제어 방법, 및 그와 연결되는 인공지능 장치 |
| KR102213494B1 (ko) * | 2019-07-30 | 2021-02-09 | 동국대학교 산학협력단 | 행동 인식 장치 및 방법 |
| KR102410244B1 (ko) * | 2019-12-13 | 2022-06-17 | 숙명여자대학교산학협력단 | 획득한 이미지의 분석을 통한 위험 감지 방법 및 이를 위한 전자 장치 |
| KR102261928B1 (ko) * | 2019-12-20 | 2021-06-04 | 조문옥 | 기계학습이 완료된 사물 인식 모델을 통해 동영상에 대한 상황 정보 판단이 가능한 동영상 정보 판단장치 |
| CN116386016B (zh) * | 2023-05-22 | 2023-10-10 | 杭州睿影科技有限公司 | 一种异物处理方法、装置、电子设备及存储介质 |
| CN116645732B (zh) * | 2023-07-19 | 2023-10-10 | 厦门工学院 | 一种基于计算机视觉的场地危险活动预警方法及系统 |
-
2016
- 2016-09-08 KR KR1020160115584A patent/KR101891887B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180028198A (ko) | 2018-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101891887B1 (ko) | 실시간 영상을 이용하여 위험 상황을 예측하기 위한 영상 처리 방법, 장치 및 그를 이용하여 위험 상황을 예측하는 방법, 서버 | |
| JP7317919B2 (ja) | 外観検索のシステムおよび方法 | |
| US10068135B2 (en) | Face detection, identification, and tracking system for robotic devices | |
| US10691950B2 (en) | Activity recognition method and system | |
| CN108229297B (zh) | 人脸识别方法和装置、电子设备、计算机存储介质 | |
| KR102465532B1 (ko) | 객체 인식 방법 및 장치 | |
| JP6814673B2 (ja) | 移動経路予測装置、及び移動経路予測方法 | |
| CN108256404B (zh) | 行人检测方法和装置 | |
| CN109657533A (zh) | 行人重识别方法及相关产品 | |
| CN111259751A (zh) | 基于视频的人体行为识别方法、装置、设备及存储介质 | |
| KR20140040582A (ko) | 몽타주 추론 방법 및 장치 | |
| EP3765995B1 (en) | Systems and methods for inter-camera recognition of individuals and their properties | |
| CN111062263A (zh) | 手部姿态估计的方法、设备、计算机设备和存储介质 | |
| KR20220076398A (ko) | Ar장치를 위한 객체 인식 처리 장치 및 방법 | |
| CN113569598A (zh) | 图像处理方法和图像处理装置 | |
| WO2019033567A1 (zh) | 眼球动作捕捉方法、装置及存储介质 | |
| AU2021203821A1 (en) | Methods, devices, apparatuses and storage media of detecting correlated objects involved in images | |
| CN111159476B (zh) | 目标对象的搜索方法、装置、计算机设备及存储介质 | |
| CN114218992A (zh) | 异常对象的检测方法及相关装置 | |
| CN109086725A (zh) | 手部跟踪方法及机器可读存储介质 | |
| KR102177453B1 (ko) | 얼굴 인식 방법 및 얼굴 인식 장치 | |
| CN115035158A (zh) | 目标跟踪的方法及装置、电子设备和存储介质 | |
| US20220300774A1 (en) | Methods, apparatuses, devices and storage media for detecting correlated objects involved in image | |
| CN114641795A (zh) | 物体检索装置及物体检索方法 | |
| CN111814653A (zh) | 一种视频中异常行为的检测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |