KR102093477B1 - 이종 카메라 기반의 위험지역 안전관리 방법 및 장치 - Google Patents
이종 카메라 기반의 위험지역 안전관리 방법 및 장치 Download PDFInfo
- Publication number
- KR102093477B1 KR102093477B1 KR1020180128756A KR20180128756A KR102093477B1 KR 102093477 B1 KR102093477 B1 KR 102093477B1 KR 1020180128756 A KR1020180128756 A KR 1020180128756A KR 20180128756 A KR20180128756 A KR 20180128756A KR 102093477 B1 KR102093477 B1 KR 102093477B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- image
- real image
- region
- distance
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/1961—Movement detection not involving frame subtraction, e.g. motion detection on the basis of luminance changes in the image
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19639—Details of the system layout
- G08B13/19641—Multiple cameras having overlapping views on a single scene
- G08B13/19643—Multiple cameras having overlapping views on a single scene wherein the cameras play different roles, e.g. different resolution, different camera type, master-slave camera
Abstract
본 발명은, 실영상을 통해 검출된 대상체의 움직임과 열화상을 통해 검출된 대상체의 온도 분포에 기반하여 관심영역의 존재를 확인하는 단계; 상기 실영상과 열화상을 이용하여 대상체 간의 거리를 측정하는 단계; 및 상기 거리에 기반하여 인공 지능을 이용한 상기 관심영역의 분석을 통해 위험상황의 존재를 확인하는 단계를 포함하는, 위험지역 안전관리 장치를 개시한다. 본 발명에 따르면, 움직임 및 온도분포에 기반하여 대상체를 검출함으로써 연산량과 오차율을 줄일 수 있고, 거리에 기반하여 위험상황을 감지할 수 있다.
Description
본 발명은 안전관리 방법 및 장치에 관한 것으로, 더욱 상세하게는 이종 카메라에 기반하여 인체추적을 통해 안전사고 발생을 미리 예측해서 방지함으로써 위험지역에서 안전을 관리하는 방법 및 장치에 관한 것이다.
컴퓨팅 자원의 발달로 다양한 분야에서 인공지능 연구가 활발히 진행되고 있다. 과거에는 상상하지 못한 많은 양의 데이터를 미리 학습시키고, 학습된 결과를 이용하여 빠르고 정확한 예측/판단이 가능한 시스템이 산업 현장뿐만 아니라 일상 생활에서도 쉽게 접할 수 있게 되었다.
그러나 이렇게 만능인 것처럼 보이는 인공지능 시스템의 경우 실제로는 시스템 내부에서 엄청난 양의 데이터 연산 및 처리가 이루어져야만 가능하고, 이는 시스템을 구성하는 장비의 고도화 다시 말해 많은 비용 투자가 있어야 함을 의미한다.
카메라 영상을 이용한 영상처리는 다양한 분야에서 사용되고 있다.
특히 산업현장에서의 사용은 대상 영상처리 알고리즘의 변경만으로도 인체검출, 작업자 카운팅, 위험지역 감시, 검사 장비 등 그 분야가 매우 다양하다.
그러나 고전방식의 영상처리 방식을 이용하여서는 작업장 환경 즉 빛, 각종 기계의 움직임 등의 외부 요인으로 다양한 예외상황이 발생하기에 주요 검사, 감시 분야의 적용 시 주의가 필요하다.
본 발명은 인공지능이라는 고도화된 기술을 최소한의 비용으로 구성하여 기존 대비 양질의 서비스를 제공함에 그 목표로 한다.
안전관리에 관한 종래의 기술에 의하는 경우, 주로 센서를 이용하여 사용자의 움직임을 파악하고, 기계와의 관계에서 위험한 상황에 놓일 수 있는 사용자에 대해서 미리 기계의 동작을 차단함으로써 안전을 관리하였다. 그러나 종래 기술의 경우 기계를 포함하여 산업 설비의 형태 또는 구조가 변경되는 경우 센서를 이용하는 안전관리 시스템이 다시 설계되어야 하고, 센서의 작동을 임의로 해제하는 경우 센서를 이용하는 안전관리 시스템이 무용지물에 그치는 경우가 많았다.
본 발명의 일 실시 예에 따른 위험지역 안전관리 방법 및 장치에 의하면, 실영상과 열화상을 이용하여 사용자의 동작을 추적하고 사용자가 조작하는 기계, 예를 들면 공작기계 또는 PLC의 제어 대상 장치에 대해 연출할 수 있는 위험한 상황을 미리 감지하고 이를 예방하되, 전체 영역에서 관심 영역이라는 한정된 영역에 대해 인공지능을 이용하여 위험상황을 추론하는 것이 특징이다. 이러한 점에서 본 발명의 일 실시 예에 따른 위험지역 안전관리 방법 및 장치는, 상기 살펴본 종래기술과 구별되고 상기 종래기술이 갖는 문제점을 해결하기 위해 개시된다.
본 발명이 해결하고자 하는 과제는, 기계를 조작하는 사용자가 처할 수 있는 위험한 상황을 거리에 기반하여 영상을 통해 정확히 감시하고 이를 예방할 수 있는 위험지역 안전관리 방법 및 장치를 제공하는 것이다.
본 발명이 추가적으로 해결하려는 과제는, 위험상황을 실영상 및 열화상을 이용하고, 움직임과 온도분포에 기반하여 대상체를 검출함으로써 오차율을 줄일 수 있는 위험지역 안전관리 방법 및 장치를 제공하는 것이다.
본 발명이 추가적으로 해결하려는 과제는, 인공지능 알고리즘을 이용하는 학습을 통해 훈련된 인공지능 모델을 통해 위험상황을 추론할 수 있는 위험지역 안전관리 방법 및 장치를 제공하는 것이다.
본 발명의 일 실시 예에 따른 위험지역 안전관리 방법은, 실영상을 통해 검출된 대상체의 움직임과 열화상을 통해 검출된 대상체의 온도 분포에 기반하여 관심영역의 존재를 확인하는 단계; 상기 실영상과 열화상을 이용하여 대상체 간의 거리를 측정하는 단계; 및 상기 거리에 기반하여 인공 지능을 이용한 상기 관심영역의 분석을 통해 위험상황의 존재를 확인하는 단계를 포함하는 것을 특징으로 한다.
여기서, 상기 위험지역 안전관리 방법은, 상기 실영상 및 열화상에서 추출된 특징점 좌표의 오프셋(offset) 값을 이용하여 실영상 데이터 및 열화상 데이터 중에서 적어도 하나의 데이터를 보정함으로써 실영상 및 열화상의 픽셀을 서로 매칭시키는 전처리 단계를 더 포함하는 것을 특징으로 한다.
여기서, 상기 관심영역의 존재를 확인하는 단계는, 움직임 검출의 결과 데이터와 온도 분포 검출의 결과 데이터를 이용하여 서로 매칭하는 실영상과 열화상에서 대상체가 차지하는 관심영역을 검출하는 것을 특징으로 한다.
여기서, 상기 대상체 간의 거리를 측정하는 단계는, 열화상 및 실영상을 이용하여 확인된 대상체의 위치 정보를 획득하는 단계; 및 상기 위치 정보를 이용하여 대상체인 기계와 인간 사이의 거리를 측정하는 단계를 포함하는 것을 특징으로 한다.
여기서, 상기 위험상황의 존재를 확인하는 단계는, 기계와 이를 조작하는 인간이 연출할 수 있는 대상체 간의 위험한 상황에 대한 인공지능 알고리즘을 이용한 학습에 따라 대상체 간의 위험상황을 상기 거리에 기반하여 추론하는 것을 특징으로 한다.
본 발명의 일 실시 예에 따른 위험지역 안전관리 장치는, 실영상을 통해 검출된 대상체의 움직임과 열화상을 통해 검출된 대상체의 온도 분포에 기반하여 관심영역의 존재를 확인하는 관심영역 검출부; 상기 실영상과 열화상을 이용하여 대상체 간의 거리를 측정하는 거리 측정부; 및 상기 거리에 기반하여 인공 지능을 이용한 상기 관심영역의 분석을 통해 위험상황의 존재를 확인하는 인공 지능 상황판단부를 포함하는 것을 특징으로 한다.
여기서, 상기 위험지역 안전관리 장치는, 상기 실영상 및 열화상에서 추출된 특징점 좌표의 오프셋(offset) 값을 이용하여 실영상 데이터 및 열화상 데이터 중에서 적어도 하나의 데이터를 보정함으로써 실영상 및 열화상의 픽셀을 서로 매칭시키는 데이터 전처리부를 더 포함하는 것을 특징으로 한다.
여기서, 상기 관심영역 검출부는, 움직임 검출의 결과 데이터와 온도 검출의 결과 데이터를 이용하여 서로 매칭하는 실영상과 열화상에서 대상체가 차지하는 관심영역을 검출하는 것을 특징으로 한다.
여기서, 상기 거리 측정 모듈은, 열화상 및 실영상을 이용하여 확인된 대상체의 위치 정보를 획득하고, 상기 위치 정보를 이용하여 대상체인 기계와 인간 사이의 거리를 측정하는 것을 특징으로 한다.
여기서, 상기 인공지능 상황판단부는, 기계와 이를 조작하는 인간이 연출할 수 있는 대상체 간의 위험한 상황에 대한 인공지능 일고리즘을 이용한 학습에 따라 대상체 간의 위험상황을 상기 거리에 기반하여 추론하는 것을 특징으로 한다.
본 발명에 의하면, 기계를 조작하는 사용자가 처할 수 있는 위험한 상황을 거리에 기반하여 영상을 통해 감시하고 이를 예방함으로써, 산업 설비 변화에 유연하고 위험 상황의 감시를 임의 해제시키는 것을 방지할 수 있다.
또한, 위험상황을 실영상 및 열화상을 이용하고, 움직임과 온도분포에 기반하여 대상체를 검출함으로써 연산량과 오차율을 줄일 수 있다.
또한, 인공지능 알고리즘을 이용하는 학습을 통해 훈련된 인공지능 모델을 통해 위험상황을 추론할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 위험지역 안전관리 시스템의 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 위험지역 안전관리 장치의 블록도이다.
도 3은 컴퓨팅 장치에 해당하는 위험지역 안전관리 장치의 일 실시예에 따른 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 위험지역 안전관리 방법의 흐름도이다.
도 5는 본 발명의 일 실시 예에 따른 거리 측정 예시도이다.
도 2는 본 발명의 일 실시 예에 따른 위험지역 안전관리 장치의 블록도이다.
도 3은 컴퓨팅 장치에 해당하는 위험지역 안전관리 장치의 일 실시예에 따른 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 위험지역 안전관리 방법의 흐름도이다.
도 5는 본 발명의 일 실시 예에 따른 거리 측정 예시도이다.
이하, 첨부한 도면을 참조하여 위험지역 안전관리 방법 및 장치에 대한 바람직한 실시 예를 상세히 설명하기로 한다.
각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 일 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.
이하 본 발명의 일 실시 예에 따른 위험지역 안전관리 시스템(1000)에 대해 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 위험지역 안전관리 시스템의 구성도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 위험지역 안전관리 시스템(1000)은, 위험지역 안전관리 장치(100), 서버(200), 카메라(300) 및 제어 대상장치(400) 및 네트워크(500)를 포함한다.
위험지역 안전관리 장치(100)는 카메라(300)를 통해 획득된 실영상 및 열화상을 이용하여 사용자의 위험상황을 추론하는 역할을 한다. 단계적으로 위험지역 안전관리 장치(100)는 실영상을 이용하여 대상체의 움직임을 검출하고, 열화상을 이용하여 대상체의 온도분포를 검출한다. 그리고 위험지역 안전관리 장치(100)는 검출 결과를 이용하여 관심영역의 존재를 확인하고, 관심영역을 분석해서 대상체 간의 거리에 기반하여 위험상황의 존재를 확인하는 역할을 한다.
서버(200)는 그 종류로서 위험지역 안전관리 장치(100)에 의해 수집된 데이터를 저장하는 데이터 서버, 인공지능 활용을 위한 API, 인공지능 모델의 생성 및 학습을 위한 서버 및 위험지역 안전관리를 위한 관제 서버를 포함한다.
데이터 서버(200)는 카메라(300)를 통해 획득한 로우 데이터 및 위험지역 안전관리 장치(100)에 의해 가공된 데이터를 저장한다. 저장된 데이터는 위험지역 안전관리 장치(100)에 의해 수행되는 관심영역 검출에 사용될 수 있다. 즉 위험지역 안전관리 장치(100)는 각 해당 구역, 예를 들어 각종 제어 대상장치(400)가 구비된 작업 현장에서 촬영되어서 저장된 누적 데이터를 이용하여 대상체의 움직임을 검출하거나 온도분포를 검출할 수 있다.
인공지능을 위한 서버(200)는 인공지능 알고리즘에 관한 API를 제공한다. 또한 인공지능을 위한 서버(200)는 위험상황을 판단하는 인공지능 모델을 생성할 수 있다. 생성된 모델은 위험상황 학습모듈(151)에 의해 저장된 데이터를 이용하여 학습된다.
관제 서버(200)는 각종 설비에 설치된 위험지역 안전관리 장치(100)를 통합하여 관리하고 위험상황을 감시하는 역할을 한다. 그리고 위험지역 안전관리 장치(100)를 통해 수신한 정보를 이용하여 위험상황 발생을 인식하고, 네트워크에 연결된 다른 단말 특히 사용자 단말에 위험상황을 알리는 역할을 한다.
카메라(300)는 그 종류로서 실화상 카메라(310)와 열화상 카메라(320)를 포함한다. 실화상 카메라(310)는 가시광선 파장 영역의 빛을 이용하여 실영상을 획득한다. 그리고 열화상 카메라(320)는 적외선 파장 영역의 빛을 이용하여 열화상을 획득한다. 여기서, 카메라(300)를 통해 획득된 실영상 및 열화상은 네트워크를 통해서 위험지역 안전관리 장치(100)로 전송되거나, 직접 연결된 영상 데이터 전송 케이블을 통해 위험지역 안전관리 장치(1000)로 전송될 수 있다.
카메라(300)는 대상체의 움직임을 포착할 수 있는 위치에 다수 개로 설치될 수 있다. 예를 들어 대상체 중에서 모터 동력에 의해 일정 직선 궤적을 왕복 운동하는 절단 수단이 구비된 기계가 포함되어 있는 경우를 생각해 보자. 이 경우에 카메라(300)는 상기 직선 궤적과 직각을 이루는 방향에서 상기 왕복 운동을 영상 내에서 수평 방향 운동으로 표시할 수 있다. 또한 상기 직선 궤적이 점으로 표시되는 방향에서 상기 절단 수단과 인간의 모습이 서로 중첩되는 모습을 감지하기 위해, 카메라(300)는 상기 직선 궤적이 점으로 표시되는 방향에서 상기 점에 대향하여 추가적으로 설치될 수도 있다.
위험상황 추론 결과의 통계에 기반하여 카메라(300)가 설치되는 위치 및 장소는 변경될 수 있다. 즉, 움직임 검출과 온도 분포 검출에 기반하여 관심영역이 검출되고 관심영역이 위험상황으로 판단되는 과정에서 실제의 위험이 감지되지 못하는 경우에, 기존에 설치된 카메라(300)의 위치는 새로운 위치 및 방향으로 변경될 수 있다.
제어 대상장치(400)는 사용자와의 관계에서 위험상황을 연출할 수 있는 전자 및 기계장치를 의미한다. 예를 들어, 제어 대상장치(400)는 그 종류로서, PLC 시스템, 각종 공작기계 및 PLC에 연결된 부속장치를 포함한다. 그리고 제어 대상장치(400)는 모터 또는 엔진 등의 동력원을 포함하고 이러한 동력원에 따라 왕복운동, 회전운동, 관절운동을 하면서 정형적인 궤적의 움직임을 보이는 것이 특징이다.
제어 대상장치(400)는 위험지역 관리장치(100)와 제어명령을 전송하는 전용의 케이블을 통해 연결되거나 네트워크를 통해 연결될 수 있다. 네트워크를 통해 위험지역 관리장치(100)와 연결되는 제어 대상장치(400)는 임베디드 시스템으로서 연산장치 및 통신장치와 이들을 구동하는 소프트웨어로서의 OS를 포함한다.
네트워크(500)는 유선 및 무선 네트워크, 예를 들어 인터넷(internet), 인트라넷(intranet) 및 엑스트라넷(extranet), 셀룰러, 예를 들어 무선 전화 네트워크, LAN(local area network), WAN(wide area network), WiFi 네트워크, 애드혹 네트워크 및 이들의 조합을 비롯한 임의의 적절한 통신 네트워크 일 수 있다.
네트워크(500)는 허브, 브리지, 라우터, 스위치 및 게이트웨이와 같은 네트워크 요소들의 연결을 포함할 수 있다. 네트워크(500)는 인터넷과 같은 공용 네트워크 및 안전한 기업 사설 네트워크와 같은 사설 네트워크를 비롯한 하나 이상의 연결된 네트워크들, 예컨대 다중 네트워크 환경을 포함할 수 있다. 네트워크(500)에의 액세스는 하나 이상의 유선 또는 무선 액세스 네트워크들을 통해 제공될 수 있다.
도 2는 본 발명의 일 실시 예에 따른 위험지역 안전관리 장치의 블록도이다.
도 2를 참조하면, 위험지역 안전관리 장치(100)는 카메라 제어부(110), 데이터 검출부(120), 데이터 전처리부(130), 관심영역 검출부(140), 거리 측정부(150), 인공지능 상황판단부(160), 및 위험상황 처리부(170)를 포함한다.
카메라 제어부(110)는 서로 동일한 영역이 촬영되도록 카메라의 동작 제어를 통해 실영상 카메라와 열화상 카메라가 촬영하는 영역을 조정하는 역할을 한다. 구체적으로 카메라 제어부(110)는 카메라의 줌인 및 줌아웃 동작을 제어하거나 카메라의 회전 정도를 제어하여 촬영각 및 촛점을 제어할 수 있다. 궁극적으로 카메라 제어부(110)는 실영상을 획득하는 카메라(110)와 열화상을 획득하는 카메라(120)를 동기화하여 제어하는 것을 특징으로 한다. 따라서, 동기화된 실영상 카메라(110)와 열화상 카메라(120)는 동일한 영역 및 동일한 피사체가 촬영된 영상을 획득한다.
데이터 검출부(120)는 움직임 검출모듈(121) 및 온도 검출모듈(122)을 포함한다.
움직임 검출모듈(121)은 카메라를 통해 획득된 실영상을 이용하여 대상체의 움직임을 검출하는 역할을 한다.
특히 움직임 검출모듈(121)은, 획득된 영상의 인접한 프레임 간의 밝기 데이터의 차이 값을 이용하여 대상체의 움직임을 검출하는 것을 특징으로 한다.
구체적으로 움직임 검출모듈(121)은, 실영상에 분포되어 있는 픽셀의 밝기 값을 이용하여 움직이는 대상체의 윤곽을 이루는 특징점을 추출하고, 인접한 프레임 마다 이러한 특징점의 변화를 감지하여 대상체의 움직임을 검출한다. 그리고 움직임 검출모듈(121)은 픽셀의 밝기 값의 차이를 이용하여 상태 변화를 인식하고, 누적 데이터를 이용하여 상태 변화에 따라 동작하는 대상체와 배경의 분리를 통해 검출 에러율을 낮추는 것을 특징으로 한다.
여기서, 대상체는 인간과 기계를 포함하는 개념이다. 그리고 위험상황이란 대상체를 구성하는 인간과 기계의 관계에서 인간이 기계에 의해 침해를 받을 수 있는 상황을 말한다. 예를 들어 기계의 동작 범위와 인간의 동작 범위가 미리 설정되어 있고, 각각의 범위에서 기계와 인간의 위치가 동일 시각에 서로 중첩하거나 서로의 위치가 한계 범위를 넘어 근접하는 상황은 위험상황에 속한다.
위험상환 판단의 기초를 위해 움직임 검출모듈(121)은 대상체 중에서 기계와 인간의 움직임을 검출하는 역할을 한다. 대상체 중에서 기계는 일정 시각을 주기로 일정 범위를 반복적으로 움직이는 것을 특징으로 한다. 따라서 움직임 검출모듈(121)은 주기 및 이동 범위에 기초하여 상대적으로 높은 인식률에 따라 기계의 움직임을 검출할 수 있다. 반면에 인간의 움직임은 일정 범위를 벗어나는 경우가 있을 수 있다.
움직임 검출모듈(121)은 획득한 영상을 구성하는 인접한 프레임을 서로 비교하여 움직이는 인간을 감지하는 역할을 한다. 예를 들어 인접한 프레임 간의 밝기를 비교하여 밝기 값의 차이를 보이는 픽셀을 인간의 형상으로 파악하여 인간의 움직임을 감지한다. 그리고 프레임 간의 비교에서 변하지 않는 밝기 값을 갖는 픽셀을 배경으로 취급할 수 있다.
온도 검출모듈(122)은 열화상을 이용하여 대상체의 온도분포를 검출하는 역할을 한다. 대상체는 기계와 인간을 포함하므로 대상체의 온도분포는 기계와 인간의 온도분포 특성을 잘 나타낸다. 예를 들어, 인간의 온도분포는 체온의 변화 범위와 일치하는 것이 특징이다. 그리고 기계의 온도분포는 가동 시간 및 실내 공기의 온도에 따라 시간에 따라 상향 변화하는 것이 특징이다. 특히, 기계 내에서는 엔진 및 모터와 같이 연료 또는 전력의 소비에 따라 온도가 올라가는 파트가 있을 수 있으며, 온도 검출모듈은 기계의 특성 및 운전 시간을 고려하여 대상체 기계의 온도분포를 검출할 수 있다.
온도 검출모듈(122)은, 대상체의 온도 프로파일에 따른 온도 분포에 기반하여, 열화상 내에서 대상체의 온도 분포를 만족하는 영역을 검출하는 것을 특징으로 한다.
그 밖에 데이터 검출부(120)는 영상으로부터 오디오 정보를 검출할 수 있다. 예를 들어, 위험상황에서 발생하는 기계의 동작음, 작업자의 놀람에 따른 감탄사 또는 "stop"과 같은 기계 정지를 위한 명령에 관한 음성 데이터를 영상 데이터로부터 추출할 수도 있다. 그리고 추출된 소리 또는 음성에 따라 위험상황 처리부(170)를 구동시켜 제어 대상장치(400)의 운전을 정지시킬 수도 있다.
데이터 전처리부(130)는 상기 실영상과 열화상에서 추출된 특징점의 좌표를 선택하고, 각 좌표에서 두 좌표의 오프셋(offset) 값을 비교하여 실영상 데이터와 열화상 데이터를 매칭하는 역할을 한다. 데이터 전처리부(130)는 관심영역 검출부(140)가 관심영역을 검출하는데 도움을 주기 위해 실영상 데이터와 열화상 데이터를 가공하는 역할을 한다. 하나의 실시 예로서 데이터 전처리부(130)는 서로 다른 파라미터 값, 예를 들어 해상도, 영상의 크기, 영상의 밝기를 갖는 실영상과 열화상의 파라미터를 서로 일치시켜 보정하고 실영상과 열화상의 픽셀을 서로 매칭할 수 있다. 관심영역 검출부(140)는 매칭된 새로운 영상에 기초하거나, 매칭되지 않은 실영상과 열화상에 기초하여 관심영역을 검출하는 것을 특징으로 한다.
관심영역 검출부(140)는 실영상에 의한 움직임 정보와 상기 열화상에 의한 온도분포를 이용하여 관심영역을 검출하는 역할을 한다. 즉, 관심영역이란 획득한 전체 영상에서 실영상에 의한 움직임 정보에 기초하여 대상체의 움직임이 나타나는 영역 및 열화상에 의한 대상체의 온도분포가 나타나는 영역을 말한다. 여기서, 관심영역 검출부는 대상체의 움직임 정보와 온도분포를 이용하여 대상체 중에서 인간과 기계의 영역을 서로 구별하여 검출할 수 있다.
구체적으로 관심영역 검출부(140)는 움직임 검출 결과를 이용하여 전체 영상에서 대상체로 예상되는 영역을 필터링하여 추출하고, 추출된 영역에 움직임 검출 결과를 적용하여 AND 조건에 해당하는 영역을 관심영역으로 검출한다. 또는 관심영역 검출부(140)는 움직임 검출 결과를 이용하여 움직이는 대상체를 추적 및 추출하고, 온도분포 결과를 이용하여 추출한 영역이 대상체 영역이 맞는지 검증을 통해 관심영역을 검출한다. 위 방법 중에서 어느 경우이든 실영상 전체 영역에 대해서 인접한 프레임 간의 비교를 할 필요가 없고, 전체 영역에서 대상체로 예상되는 영역에 대해서만 프레임 간의 비교를 하므로 연산량을 현격히 줄일 수 있는 것이 특징이다.
거리 측정부(150)는 실영상 및 열화상을 이용하여 대상체 간의 거리를 측정하는 역할을 수행한다. 일반적인 스테레오 비전 시스템에서 수행되는 객체 거리 측정을 위한 복잡한 시차(disparity) 계산 대신에 실영상 및 열화상을 이용하여 삼각측량에 따라 대상체 간의 거리가 측정될 수 있다. 거리 측정부(150)에 의해 수행되는 거리 측정 방법에 대해서는 방법 발명에 대한 설명에서 구체적으로 묘사하기로 한다.
인공지능 상황판단부(160)는 인공 지능을 이용한 상기 관심영역의 분석을 통해 위험상황의 존재를 확인하는 역할을 한다. 전술하였듯이 위험상황 여부는 대상체의 상호 위치에 의해 감지될 수 있다.
인공지능 상황판단부(160)는 그 구성요소로서 위험상황 학습모듈(161) 및 위험상황 판단모듈(162)를 포함할 수 있다. 구체적으로 위험상황 학습모듈(161)은 서버(200)에 의해 수행되는 학습 모델 생성 및 학습화 과정을 제어할 수 있다. 위험상황 판단모듈(162)은 학습된 모델을 이용하여 관심영역에서 감지될 수 있는 위험상황을 추론하는 역할을 한다.
먼저, 위험상황을 나타내는 영상 데이터가 준비된다. 영상 데이터는 서로 다른 구성의 설비마다 설비의 특징을 반영하여 구비된다. 그리고 위험상황을 나타내는 영상 데이터는 위험의 정도에 따라 등급을 나누어 구비될 수 있다.
학습용 데이터에는 위험상황에서의 대상체의 위치가 묘사되어 있는데, 특히 대상체 중에서 기계의 전형적인 움직임과 인간의 일탈적인 움직임이 묘사될 수 있다. 위험상황 학습모듈(161)은 시간 개념을 고려하여 미래에 발생할 수 있는 대상체 간의 충돌을 예고하는 학습용 영상 데이터를 이용하여 위험상황임을 학습할 수 있고, 위험상황의 정도에 따라 미리 설정된 위험의 등급에 관해 학습할 수 있다.
위험상황 판단모듈(162)은 위험상황 학습모듈을 통해 학습된 모델을 이용하여 실전용 데이터에 대해 위험상황을 추론하는 역할을 한다. 여기서, 위험상황 추론에는 위험의 정도를 등급에 따라 분류하는 것이 포함된다.
그 밖에, 위험상황에는 대상체의 상호 충돌뿐만 아니라 대상체 중에서 기계의 발열 파트의 온도 변화에 따른 열적 위험상황이 포함될 수 있다. 예를 들어, 기계 과열에 의한 화재 위험이 위험상황 판단모듈(162)에 의해 추론될 수 있다.
인공지능 상황판단부(160)는, 인공지능 알고리즘을 이용하여 기계와 이를 조작하는 인간이 연출할 수 있는 대상체에 관한 위험한 상황에 대해 학습하고, 상기 학습에 따라 관심영역 내의 대상체가 처한 위험상황을 추론하는 것을 특징으로 한다.
위험상황 처리부(170)는 대상체 중에서 인간과 기계와의 관계에서 인간이 위험상황을 벗어나도록 하기 위해 기계의 동작 중단을 위해 기계를 제어하는 역할을 한다. 위험상황 처리부(170)는 제어 대상장치(400)와 위험지역 관리장치(100)의 연결되는 방식에 따라 직접 연결된 케이블을 통해 제어명령을 전송하거나 네트워크를 통해 제어명령에 관한 패킷을 임베디드 시스템에 해당하는 제어 대상장치(400)에 전송할 수 있다.
도 2에 도시된 위험지역 안전관리 장치(100)의 구성은 설명의 편의를 위해 기능적으로 구분한 구성으로, 하드웨어적으로는 하나의 프로세서에 의해 처리되는 논리적인 기능으로 구성될 수 있는 것으로, 제시된 구분에 의해 본 발명을 한정하는 것은 아니다.
또한, 각 구성간의 연결 관계가 연결선으로 도시되어 있거나, 상호 간의 연결 관계가 일일이 표현되어 있지 않지만, 연결선이 도시되지 않은 구성 간에도 제어 또는 데이터 교환을 위한 통신, 전달이 발생될 수 있으며, 제시된 바에 의해서만 본 발명을 한정하는 것은 아니다.
본 발명의 일 실시 예에 따른 위험지역 안전관리 장치(100)는 컴퓨팅 장치(600)에 해당될 수 있다. 이하 컴퓨팅 장치(600)에 해당하는 본 발명의 일 실시 예에 따른 위험지역 안전관리 장치(100)는 다른 실시 예를 통해 보다 구체적으로 설명될 수 있다.
위험지역 안전관리 장치(100)는 하나 이상의 CPU(central processing unit)들, 메모리, 대용량 저장소, 입력 인터페이스 장치, 출력 인터페이스 장치로 구성된 컴퓨팅 시스템을 포함할 수 있다. 컴퓨팅 시스템의 요소들은 버스를 통해 서로 통신할 수 있다.
컴퓨팅 장치의 하드웨어 플랫폼은 개인용 컴퓨터, 핸드헬드 또는 랩톱 디바이스, 다중 프로세서 시스템, 마이크로프로세서 기반 시스템, 프로그램 가전제품, 및 이상의 시스템들 또는 디바이스들 중 임의의 것을 포함하는 분산 컴퓨팅 환경, 예컨대 클라우드 기반 컴퓨팅 시스템을 비롯한 많은 형태들로 구현될 수 있다.
도 3은 컴퓨팅 장치에 해당하는 위험지역 안전관리 장치의 일 실시예에 따른 블록도이다.
도 3을 참조하면, 컴퓨팅 장치(600)는 입력 인터페이스 장치(610), 출력 인터페이스 장치(620), 메모리(631), 저장장치(632), 전원 장치(640), 프로세서(650), 네트워크 인터페이스 장치(660), 무선통신 장치(670) 및 버스(680)를 포함한다.
입력 인터페이스 장치(610)는 사용자의 입력에 따라 문자 또는 개체를 입력한다. 입력 인터페이스 장치(610)는 키보드(keyboard), 터치스크린(touch screen), 마우스(mouse), 전자펜(stylus pen) 및 펜 태블릿(pen tablet)을 포함하되, 이에 한정되는 것은 아니다.
출력 인터페이스 장치(620)는 위험지역 안전관리를 위한 애플리케이션 모듈 관련 사용자 인터페이스 등을 표시하는 디스플레이(display) 및 프린트 출력하는 프린터(printer)를 포함한다. 또한, 출력 인터페이스 장치(620)는 문자를 음성합성(text to speech, TTS) 엔진을 이용하여 음성으로 출력하는 스피커(speaker), 헤드폰(head-phone) 및 헤드셋(head-set)을 포함한다.
프로세서(650)는 메모리(631) 및/또는 저장 장치(632)에 저장된 본 발명의 일 실시 예에 따른 위험지역 안전관리를 위한 애플리케이션이 포함하고 있는 컴퓨터 명령어 셋을 실행할 수 있다. 프로세서(650)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU) 또는 본 발명에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(631)와 저장 장치(632)는 휘발성 저장 매체 및/또는 비휘발성 저장 매체로 구성될 수 있다. 예를 들어, 메모리(631)는 읽기 전용 메모리(read only memory, ROM) 및/또는 랜덤 액세스 메모리(random access memory, RAM)로 구성될 수 있다.
무선통신 장치(670)는 근거리 무선통신, 무선 데이터 통신 및 무선 음성 통신을 위한 장치를 포함한다.
컴퓨팅 장치(600)에 포함된 각각의 구성 요소들은 버스(680)에 의해 연결되어 서로 통신을 수행한다.
이하 상기 설명한 위험지역 안전관리 장치(100)가 위험지역 안전관리를 위한 하드웨어 또는 애플리케이션 모듈에 포함된 컴퓨터 명령어 셋의 연산을 통해 실행하는 본 발명의 일 실시 예에 따른 위험지역 안전관리 방법에 대해 도 1, 도 2, 도 4 및 도 5를 참조하여 설명하기로 한다.
본 발명의 일 실시 예에 따른 위험지역 안전관리 방법은 위험지역 안전관리 장치(100)에 의해 수행되는 것이 특징이며, 방법의 각 단계에서 위험지역 안전관리 장치(100)를 구성하는 각각의 구성요소가 역할을 수행하는 것을 특징으로 한다.
도 4는 본 발명의 일 실시 예에 따른 위험지역 안전관리 방법의 흐름도이다.
도 4를 참조하면, 본 발명의 일 실시 예에 따른 위험지역 안전관리 방법(S100)은 S111 내지 S170 단계를 포함한다.
선택적으로, 서로 동일한 영역이 촬영되도록 카메라의 동작 제어를 통해 실영상 카메라와 열화상 카메라가 촬영하는 영역을 조정하는 카메라 제어 단계가 선행될 수 있다.
먼저, 카메라를 통해 쵤영된 실영상 및 열화상 각각이 획득된다(S111, S112).
다음으로, 실영상을 이용하여 대상체의 움직임이 검출되고, 열화상을 이용하여 대상체의 온도분포가 검출된다(S121, S122).
여기서, 상기 움직임을 검출하는 단계는, 획득된 영상의 인접한 프레임 간의 밝기 데이터의 차이 값을 이용하여 대상체의 움직임을 검출하는 것을 특징으로 한다.
또한, 상기 움직임을 검출하는 단계는, 상기 밝기 데이터의 차이 값을 이용하여 상태 변화를 인식하고, 누적 데이터를 이용하여 상태 변화에 따라 동작하는 대상체와 배경의 분리를 통해 검출 에러율을 낮추는 것을 특징으로 한다.
또한, 상기 온도분포 검출 단계는, 대상체의 온도 프로파일에 따른 온도 분포에 기반하여, 열화상 내에서 대상체의 온도 분포를 만족하는 영역을 검출하는 것을 특징으로 한다.
선택적으로, 상기 실영상과 열화상에서 추출된 특징점의 좌표를 선택하고, 각 좌표에서 두 좌표의 오프셋(offset) 값을 비교하여 실영상 데이터와 열화상 데이터를 정합하는 전처리 단계가 수행될 수 있다(S130).
다음으로, 상기 실영상에 의한 움직임 정보와 상기 열화상에 의한 온도분포를 이용하여 관심영역의 존재가 확인된다(S140).
여기서, 상기 관심영역의 존재를 확인하는 단계는, 움직임 검출의 결과 데이터와 온도 검출의 결과 데이터를 이용하여 대상체가 포함된 관심영역을 검출하는 것을 특징으로 한다.
다음으로 실영상과 열화상을 이용하여 대상체 간의 거리가 측정된다(S160). 대상체는 기계 및 사람을 포함하므로, 대상체 간의 거리는 기계와 사람 간의 거리를 말한다. 작업자 등의 신체에 대한 위험상황을 확인하기 위해서 작업자가 움직이는 기계에 얼마나 접근하고 인는지를 판단하는 것이 필요하다.
하나의 카메라를 이용하여 대상체를 촬영하는 경우 수평 거리는 쉽게 파악될 수 있으나 수직거리 즉 깊이는 쉽게 파악되지 않는다. 이를 해결하기 위해 스테레오 타입의 카메라가 사용되는 경우, 거리 측정을 위해 복잡한 시차 계산이 불가피하고, 연산량이 늘어남에 따라 시스템에 과부하가 걸릴 수 있다는 단점이 존재한다.
본 발명의 일 실시 예에 따르면, 실영상을 촬영하는 일반 카메라와 열화상을 촬영하는 열화상 카메라를 이용하여 대상체 간의 거리 측정이 가능하다. 여기서, 열화상 카메라 대신에 복수의 일반 카메라를 이용하여 거리 측정도 가능하다.
도 5는 본 발명의 일 실시 예에 따른 거리 측정 예시도이다.
도 5를 참조하면, 실영상 카메라와 열화상 카메라를 이용하여 카메라 렌즈에서 대상체 P(x, y)까지의 거리를 측정하는 방법에 대해 설명하기로 한다.
실영상 카메라 1대와 열화상 카메라 1대는 수직으로 광축이 일치하도록 설치될 수 있다. 그리고 실영상 카메라와 열화상 카메라는 동일한 FOV(Field of View) 및 초점거리(Focal Length)를 갖는다. 또한, 광축 교차방식으로 두 카메라의 감시 영역이 동일한 영역을 촬영할 수 있도록 카메라를 위치 및 방향을 제어하거나 획득한 영상을 전처리할 수 있다. W는 실영상 카메라의 이미지 센서와 열화상 카메라의 이미지 센서 간의 거리이다. f는 초점 거리이다. vl 및 vr은 이미지 센서 중심에서 대상체 P(x, y)에 관한 정보가 기록되는 곳까지의 거리이다. 삼각 측량법에 따라 거리(D) 카메라에서 대상체 P(x, y)까지의 거리는 D=W*f/(vl +vr)이다.
다음으로, 인공 지능을 이용한 상기 관심영역의 분석을 통해 대상체 간의 거리에 기반하여 위험상황의 존재가 확인된다(S160).
여기서, 상기 위험상황의 존재를 확인하는 단계는, 인공지능 알고리즘을 이용하여 기계와 이를 조작하는 인간이 연출할 수 있는 대상체에 관한 위험한 상황에 대해 학습하고, 상기 학습에 따라 관심영역 내의 대상체가 처한 위험상황을 추론하는 것을 특징으로 한다.
작업자에 해당하는 인간과 기계 간의 위험한 상황은, 작업자의 기계로의 접근을 일정 거리로 제한하는 경우에 이를 위반한 경우와 기계에 대한 작업자의 특정 동작을 제한하는 경우에 이를 위반한 경우가 있을 수 있다. 전자의 경우 측정된 인간과 기계 사이 거리에 기반하여 위험상황인지 여부를 판단할 수 있다. 이 경우 카메라는 기계에 부착되어 작업자를 촬영할 수 있다. 또는 카메라가 기계를 촬영하는 상황에서 작업자가 깊이 방향으로 기계와 근접하거나 멀어지는 것을 감지할 수도 있다.
최종적으로, 위험상황의 판단 결과에 기초하여 위험상황이 처리된다(S170).
상기 도면을 통해 설명된 일 실시 예에 따른 위험지역 안전관리 방법(S100)은, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행이 가능한 명령어 셋을 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
이와 같이 본 발명의 일 실시 예에 따르면, 기계를 조작하는 사용자가 처할 수 있는 위험한 상황을 거리에 기반하여 영상을 통해 감시하고 이를 예방함으로써, 산업 설비 변화에 유연하고 위험 상황의 감시를 임의 해제시키는 것을 방지할 수 있다.
또한, 위험상황을 실영상 및 열화상을 이용하고, 움직임과 온도분포에 기반하여 대상체를 검출함으로써 연산량과 오차율을 줄일 수 있다.
또한, 인공지능 알고리즘을 이용하는 학습을 통해 훈련된 인공지능 모델을 통해 위험상황을 추론할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 위험지역 안전관리 장치
110: 카메라 제어부
120: 데이터 검출부
121: 움직임 검출모듈
122: 온도 검출모듈
130: 데이터 전처리부
140: 관심영역 검출부
150: 거리 측정부
160: 인공지능 상황판단부
161: 위험상황 학습모듈
162: 위험상황 판단모듈
170: 위험상황 처리부
110: 카메라 제어부
120: 데이터 검출부
121: 움직임 검출모듈
122: 온도 검출모듈
130: 데이터 전처리부
140: 관심영역 검출부
150: 거리 측정부
160: 인공지능 상황판단부
161: 위험상황 학습모듈
162: 위험상황 판단모듈
170: 위험상황 처리부
Claims (10)
- 실영상을 통해 검출된 대상체의 움직임과 열화상을 통해 검출된 대상체의 온도 분포에 기반하여 관심영역의 존재를 확인하는 단계;
상기 실영상과 열화상을 이용하여 대상체 간의 거리를 측정하는 단계; 및
상기 거리에 기반하여 인공 지능을 이용한 상기 관심영역의 분석을 통해 위험상황의 존재를 확인하는 단계를 포함하며,
상기 관심영역의 존재를 확인하는 단계 이전에 상기 실영상 및 열화상에서 추출된 특징점 좌표의 오프셋(offset) 값을 이용하여 실영상 데이터 및 열화상 데이터 중에서 적어도 하나의 데이터를 보정함으로써 실영상 및 열화상의 픽셀을 서로 매칭시키는 전처리 단계를 더 포함하며,
상기 대상체의 움직임은 획득된 영상의 인접한 프레임 간의 밝기 데이터의 차이 값을 이용하여 검출되며, 상기 밝기 데이터의 차이 값을 이용하여 상태 변화를 인식하고, 누적 데이터를 이용하여 상태 변화에 따라 동작하는 대상체와 배경의 분리를 통해 검출 에러율을 낮추는 것을 특징으로 하는, 위험지역 안전관리 방법. - 삭제
- 청구항 1에 있어서,
상기 관심영역의 존재를 확인하는 단계는,
움직임 검출의 결과 데이터와 온도 분포 검출의 결과 데이터를 이용하여 서로 매칭하는 실영상과 열화상에서 대상체가 차지하는 관심영역을 검출하는 것을 특징으로 하는, 위험지역 안전관리 방법. - 청구항 1에 있어서,
상기 대상체 간의 거리를 측정하는 단계는,
열화상 및 실영상을 이용하여 확인된 대상체의 위치 정보를 획득하는 단계; 및
상기 위치 정보를 이용하여 대상체인 기계와 인간 사이의 거리를 측정하는 단계를 포함하는 것을 특징으로 하는, 위험지역 안전관리 방법. - 청구항 1에 있어서,
상기 위험상황의 존재를 확인하는 단계는,
기계와 이를 조작하는 인간이 연출할 수 있는 대상체 간의 위험한 상황에 대한 인공지능 알고리즘을 이용한 학습에 따라 대상체 간의 위험상황을 상기 거리에 기반하여 추론하는 것을 특징으로 하는, 위험지역 안전관리 방법. - 데이터 검출부;
실영상을 통해 검출된 대상체의 움직임과 열화상을 통해 검출된 대상체의 온도 분포에 기반하여 관심영역의 존재를 확인하는 관심영역 검출부; 및
상기 실영상과 열화상을 이용하여 대상체 간의 거리를 측정하는 거리 측정부; 및
상기 거리에 기반하여 인공 지능을 이용한 상기 관심영역의 분석을 통해 위험상황의 존재를 확인하는 인공 지능 상황판단부를 포함하며,
상기 실영상 및 열화상에서 추출된 특징점 좌표의 오프셋(offset) 값을 이용하여 실영상 데이터 및 열화상 데이터 중에서 적어도 하나의 데이터를 보정함으로써 실영상 및 열화상의 픽셀을 서로 매칭시키는 데이터 전처리부를 더 포함하며,
상기 데이터 검출부는, 카메라를 통해 획득된 실영상을 이용하여 대상체의 움직임을 검출하는 움직임 검출모듈과, 열화상을 이용하여 대상체의 온도분포를 검출하는 온도 검출모듈을 포함하며,
상기 움직임 검출모듈은,
획득된 실영상의 인접한 프레임 사이에서 밝기 값의 변화가 일어나는 픽셀들의 움직임을 이용하되,
동일한 대상체에 관해 과거의 저장된 다수의 데이터의 평균 값을 이용하여 상태 변화에 따라 동작하는 대상체와 배경의 분리를 통해 검출 에러율을 낮추는 것을 특징으로 하는, 위험지역 안전관리 장치. - 삭제
- 청구항 6에 있어서,
상기 관심영역 검출부는,
움직임 검출의 결과 데이터와 온도 검출의 결과 데이터를 이용하여 서로 매칭하는 실영상과 열화상에서 대상체가 차지하는 관심영역을 검출하는 것을 특징으로 하는, 위험지역 안전관리 장치.
- 청구항 6에 있어서,
상기 거리 측정부는,
열화상 및 실영상을 이용하여 확인된 대상체의 위치 정보를 획득하고, 상기 위치 정보를 이용하여 대상체인 기계와 인간 사이의 거리를 측정하는 것을 특징으로 하는, 위험지역 안전관리 장치. - 청구항 6에 있어서,
상기 인공지능 상황판단부는,
기계와 이를 조작하는 인간이 연출할 수 있는 대상체 간의 위험한 상황에 대한 인공지능 일고리즘을 이용한 학습에 따라 대상체 간의 위험상황을 상기 거리에 기반하여 추론하는 것을 특징으로 하는 위험지역 안전관리 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180128756A KR102093477B1 (ko) | 2018-10-26 | 2018-10-26 | 이종 카메라 기반의 위험지역 안전관리 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180128756A KR102093477B1 (ko) | 2018-10-26 | 2018-10-26 | 이종 카메라 기반의 위험지역 안전관리 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102093477B1 true KR102093477B1 (ko) | 2020-03-25 |
Family
ID=70001710
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180128756A KR102093477B1 (ko) | 2018-10-26 | 2018-10-26 | 이종 카메라 기반의 위험지역 안전관리 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102093477B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113052070A (zh) * | 2021-03-23 | 2021-06-29 | 河南鑫安利安全科技股份有限公司 | 一种基于人工智能和物联网的危化企业五位一体安全管理方法 |
| KR20210132380A (ko) * | 2020-04-27 | 2021-11-04 | 주식회사 비젼인 | 열영상 및 실영상 기반의 화재 감지 시스템 및 방법 |
| KR102456566B1 (ko) * | 2021-08-20 | 2022-10-20 | 주식회사 나무기술 | 실시간 위험 처리 장치 및 방법 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100138202A (ko) * | 2009-06-24 | 2010-12-31 | 전자부품연구원 | 이종 카메라를 이용한 객체 추적 시스템 및 방법 |
| KR20160073490A (ko) * | 2014-12-16 | 2016-06-27 | 연세대학교 산학협력단 | 영상 기반의 건설 현장 안전 수준 평가 시스템 |
| KR20160081735A (ko) * | 2014-12-31 | 2016-07-08 | 주식회사 포스코아이씨티 | 작업자 행동기반 안전 관리 시스템 및 방법 |
| KR101852284B1 (ko) | 2015-10-28 | 2018-04-25 | 시아오미 아이엔씨. | 경보 방법 및 장치 |
| KR101879444B1 (ko) * | 2018-03-05 | 2018-07-17 | (주)아성정보 | Cctv 구동 방법 및 시스템 |
| KR20180107930A (ko) * | 2017-03-23 | 2018-10-04 | 한국과학기술원 | 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템 |
-
2018
- 2018-10-26 KR KR1020180128756A patent/KR102093477B1/ko active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100138202A (ko) * | 2009-06-24 | 2010-12-31 | 전자부품연구원 | 이종 카메라를 이용한 객체 추적 시스템 및 방법 |
| KR20160073490A (ko) * | 2014-12-16 | 2016-06-27 | 연세대학교 산학협력단 | 영상 기반의 건설 현장 안전 수준 평가 시스템 |
| KR20160081735A (ko) * | 2014-12-31 | 2016-07-08 | 주식회사 포스코아이씨티 | 작업자 행동기반 안전 관리 시스템 및 방법 |
| KR101852284B1 (ko) | 2015-10-28 | 2018-04-25 | 시아오미 아이엔씨. | 경보 방법 및 장치 |
| KR20180107930A (ko) * | 2017-03-23 | 2018-10-04 | 한국과학기술원 | 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템 |
| KR101879444B1 (ko) * | 2018-03-05 | 2018-07-17 | (주)아성정보 | Cctv 구동 방법 및 시스템 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210132380A (ko) * | 2020-04-27 | 2021-11-04 | 주식회사 비젼인 | 열영상 및 실영상 기반의 화재 감지 시스템 및 방법 |
| KR102442552B1 (ko) * | 2020-04-27 | 2022-09-13 | 주식회사 비젼인 | 열영상 및 실영상 기반의 화재 감지 시스템 및 방법 |
| CN113052070A (zh) * | 2021-03-23 | 2021-06-29 | 河南鑫安利安全科技股份有限公司 | 一种基于人工智能和物联网的危化企业五位一体安全管理方法 |
| CN113052070B (zh) * | 2021-03-23 | 2024-02-13 | 河南鑫安利安全科技股份有限公司 | 一种基于人工智能和物联网的危化企业五位一体安全管理方法 |
| KR102456566B1 (ko) * | 2021-08-20 | 2022-10-20 | 주식회사 나무기술 | 실시간 위험 처리 장치 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102065975B1 (ko) | 라이다를 이용한 중장비 안전관리 시스템 | |
| Yan et al. | Computer vision‐based recognition of 3D relationship between construction entities for monitoring struck‐by accidents | |
| KR102093477B1 (ko) | 이종 카메라 기반의 위험지역 안전관리 방법 및 장치 | |
| CN109571468B (zh) | 安防巡检机器人及安防巡检方法 | |
| CN113168541A (zh) | 用于成像系统的深度学习推理系统和方法 | |
| KR101496390B1 (ko) | 차량번호인식 시스템 | |
| JP2003515811A (ja) | 映像危機管理カーテン | |
| KR102315525B1 (ko) | 감시 시스템 및 그 동작 방법 | |
| CN103929592A (zh) | 全方位智能监控设备及方法 | |
| US11676291B1 (en) | Adaptive multimodal safety systems and methods | |
| CN111160220A (zh) | 一种基于深度学习的包裹检测方法、装置、存储介质 | |
| KR102085168B1 (ko) | 인체추적 기반 위험지역 안전관리 방법 및 장치 | |
| KR20170100892A (ko) | 위치 추적 장치 | |
| JP6125102B2 (ja) | 情報表示システム | |
| JP6799325B2 (ja) | 画像補正装置、画像補正方法、注目点認識装置、注目点認識方法及び異常検知システム | |
| JP7282186B2 (ja) | 状況認識監視 | |
| JP7280852B2 (ja) | 人物検知システム、人物検知プログラム、学習済みモデル生成プログラム及び学習済みモデル | |
| KR101814040B1 (ko) | 3차원 깊이 정보 초점 조절을 이용한 통합 관제 장치 | |
| EP4354853A1 (en) | Thermal-image-monitoring system using plurality of cameras | |
| CN113108919B (zh) | 人体温度检测方法、装置和存储介质 | |
| TWI471825B (zh) | 天台安全監控系統及方法 | |
| RU2685996C1 (ru) | Способ и система предиктивного избегания столкновения манипулятора с человеком | |
| JP2018149670A (ja) | 学習対象装置及び動作方法 | |
| KR20220098677A (ko) | 교통사고 예측 방법 및 시스템 | |
| JP6978986B2 (ja) | 警報システム、警報制御装置及び警報方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |