KR20070096409A - 재해 방지 시스템 및 방법 - Google Patents

재해 방지 시스템 및 방법 Download PDF

Info

Publication number
KR20070096409A
KR20070096409A KR1020060026760A KR20060026760A KR20070096409A KR 20070096409 A KR20070096409 A KR 20070096409A KR 1020060026760 A KR1020060026760 A KR 1020060026760A KR 20060026760 A KR20060026760 A KR 20060026760A KR 20070096409 A KR20070096409 A KR 20070096409A
Authority
KR
South Korea
Prior art keywords
image
camera
information
situation
disaster prevention
Prior art date
Application number
KR1020060026760A
Other languages
English (en)
Other versions
KR100789721B1 (ko
Inventor
우경욱
Original Assignee
주식회사 네이블텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 네이블텍 filed Critical 주식회사 네이블텍
Priority to KR1020060026760A priority Critical patent/KR100789721B1/ko
Publication of KR20070096409A publication Critical patent/KR20070096409A/ko
Application granted granted Critical
Publication of KR100789721B1 publication Critical patent/KR100789721B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/10Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00Audible signalling systems; Audible personal calling systems
    • G08B3/10Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • G08B3/1008Personal calling arrangements or devices, i.e. paging systems
    • G08B3/1016Personal calling arrangements or devices, i.e. paging systems using wireless transmission
    • G08B3/1025Paging receivers with audible signalling details
    • G08B3/1033Paging receivers with audible signalling details with voice message alert

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 카메라에 의해서 촬영된 건설현장의 영상과 사전에 저장된 영상데이터를 비교하여 보호구 미 착용으로 인한 안전사고 및 각종 장비에 의한 안전사고를 예방함과 동시에 건설현장에 발생된 재난사고(화재, 붕괴 등)를 신속하게 확인할 수 있는 재해 방지 시스템에 관한 것으로서, 그 특징적인 구성은 안전상황을 감시하기 위한 감시대상지역(100)을 촬영하는 카메라(200); 상기 카메라(200)에 의해서 촬영된 영상을 이용하여 감시대상지역(100)의 현재 상황을 분석하고 해당 분석내용에 따라 위험 수준을 판독하고 위험 수준이 높을시 해당 내용을 무선으로 송신하고 현재 사항을 수시로 전달하는 상황인식장치(300); 및 상기 상황인식장치(300)와 무선으로 송수신하도록 서버용 안테나(410)가 마련되어 상기 감시대상지역(100)의 재해상태를 관리하는 중앙서버(400)를 포함하여서 된 것이다.
재해, 방지, 건설현장, 작업자, 카메라

Description

재해 방지 시스템 및 방법{A disaster prevention system and method}
도1은 종래의 토목 건설 현장의 일예를 나타낸 참고도.
도2는 본 발명에 따른 재해 방지 시스템을 나타낸 개략도.
도3은 본 발명에 따른 재해 방지 시스템을 나타낸 블록구성도.
도4는 본 발명에 따른 재해 방지 방법을 설명하기 위한 흐름도.
도5는 얼굴 인식 시스템의 작동 상태를 나타낸 흐름도.
도6은 얼굴 인식 시스템을 이용한 동영상 검색 예시도.
도7은 SVM을 이용한 얼굴 검출 과정을 나타낸 예시도.
도8은 얼굴 영역 검출과 특징점 추출을 통한 정규화 과정도.
도9는 얼굴의 부부 영역 예시도.
도10은 얼굴 인식 시스템의 결과를 나타낸 예시도.
도11은 색기반 영상 검색 시스템을 나타낸 개략도.
도12는 영상의 특징 값 종류를 나타낸 예시도.
도13은 같은 섹터 이미지의 분포 형태를 나타낸 그래프.
도14는 NMFM의 기본 정합을 나타낸 예시도.
도15a 내지 도 15c는 이미지 측정 방법에 따른 결과 그래프.
도16은 이미지 측정 방법에 따른 평가표.
※도면의 주요부분에 대한 부호의 설명※
100 : 감시대상지역 200 : 카메라
300 : 상황인식장치 310 : 제어부
320 : 영상 분할부 330 : 영상비교부
340 : 영상 DB 350 : 현장용 송수신부
360 : 스피커 400 : 중앙서버
410 : 서버용 안테나
본 발명은 재해 방지 시스템에 관한 것으로서, 더욱 상세하게는 카메라에 의해서 촬영된 건설현장의 영상과 사전에 저장된 영상을 비교하여 보호구 미 착용으로 인한 안전사고 및 각종 장비에 의한 안전사고를 예방함과 동시에 건설현장에 발생된 재난사고(화재, 붕괴 등)를 신속하게 확인할 수 있는 재해 방지 시스템에 관한 것이다.
최근 각종 재해로 인한 사고에 대한 예방 및 관리에 대한 관심이 급증 하고 있다. 해마다 약 100명 이상이 재해로 사망하고 있으며 그중 50%가 건설. 토목 공사에서 산업 재해로 인한 사망이 발생하고, 화재 및 자연재해로 인한 사망이 10%가 차지하고 있다. 사망 이외에도 산업재해와 자연재해로 인하여 년간 이만명 정도가 부상 및 중상을 당하고 있다. 인명 피해 이외에도 재해로 인한 년간 손실액은 1조 원이 넘고 있는 게 우리의 현실이다.
한편, 해마다 재해로 인산 사고율은 5%정도 씩 증가 되는데 반해 이런 재해에 대한 예방 및 안전장치는 과거(약 20년 전)에 사용하였던 구시대적 방법을 그대로 사용하고 있다.
즉, 전자 및 측정기술의 발달로 수많은 분야에서는 첨단장치 및 방법을 이용하는 자동화 측정 관리 시스템을 사용하고 있으나, 자연재해, 사업재해에 대한 분야는 아직도 관리자(인간)가 직접 관리 감독하는 시스템을 그대로 유지하고 있다.
이와 같이 관리자에 의한 직접 관리 감독은 그 자체가 항시적이지 않고 또한 인력이 많이 지원되지 않는 이유로 인해 완벽한 관리가 되지 못하므로 인력에 의존하지 않고 24시간 재해를 감시 할 수 있는 시스템이 절실하게 요구되고 있는 실정이다.
따라서, 많은 분야에서 이런 시스템 개발을 연구해 왔다. 센서를 이용하여 화재를 알려주는 기법부터 다리에 센서를 부착하여 다리가 무너지기 전에 알려주는 장치 등 다양한 방법이 제공 되어 졌다. 그러나 이런 재해 방지 시스템은 특정한 분야와 특정 환경에 맞게 고안되어 개발 되었기에 다양한 환경과 다양한 형태의 재해를 방지하는데 한계가 있었다.
한편, 재해를 예방할 수 있는 가장 좋은 방법은 인간이 눈으로 직접 환경을 파악하고 해당 내용을 보고 위험 사태를 감지하는 것이다. 그러나 인간이 직접 항시 위험 사항을 관리한다는 것은 환경적으로 매우 어려움이 있다.
최근에는 도1에 나타낸 바와 같이 카메라를 통해서 현재 상황을 촬영하고 그 촬영된 영상을 관리자가 원거리에서 파악하고 해당 사항에 대한 위험을 감지한 후에 현재 상황이 위험 상태일 때 해당 내용을 현장의 작업자 또는 관리자에게 보고 하는 시스템이 개발되어 사용되고 있다.
도1은 토목 건설 현장의 일예를 나타낸 것으로서, 여기에서 참조되는 바와 같이 크레인(1)이 언덕(2)에서 공사를 하고 있는데 2명의 작업자(3)가 안전화 및 안전모를 착용하지 않고 위험지역에 있는 형태이다.
만일 위쪽에 있는 크레인(1)에서 어떤 위험 상황이 발생되어 돌이나 위험물이 작업자(3)에게 덮쳤을 경우 안전 장비를 착용하지 않은 상태에서 매우 큰 산업 재해 사고를 당하게 된다.
한편, 카메라(4)를 통해 현재의 상황 정보를 영상으로 확인하는 관리자가 스피커(5)를 통하여 현장의 작업자(3) 또는 크레인(1) 운전자에게 위험상황을 알려주는 것으로서, 재해를 예방할 수 있는 것이다.
그러나 이때에도 재해를 예방하기 위해서는 영상을 통하여 현장 상황을 확인 및 조치할 수 있는 관리자에게 의존하게 되는 문제점이 있었다.
또한 건설, 토목 공사 중에 여러 환경적 위험 요소가 있다. 이런 위험 요소로부터 안전한 작업을 하기 위해 여러 안전 기구 및 기계 장치들이 되어 있으나, 해당 기구 및 장치를 활용하지 않아 인명 피해가 크게 발생한다.
그리고 작업자들은 작업 공간에서 헬멧과 안전화를 필히 착용해야 하는데 불구하고 헬멧과 안전화를 착용하지 않아서 사고 발생시에 큰 부상을 유발 시킬 수 있으며, 터널 공사와 같은 폭발 위험지역에 무허가 차량 및 작업자가 있게 되에 인 사 사고가 발생 할 수 있고, 공사지역에 산사태 및 여러 재해가 발생 할 수 있다.
한편, 해마다 산불로 인하여 재산상의 피해가 매우 커지고 있다. 산불 발생을 미리 알 수 있다면 미연에 방지 할 수 있으나, 현재 사용하는 산불 감시시스템은 상술한 바와 같이 카메라에 의해서 촬영된 영상을 관리자가 확인하는 것으로서, 산불 발생시 신속하고 정확한 판단을 하는데 한계가 있는 문제점이 있었다.
본 발명은 상기한 문제점을 해결하기 위하여 발명한 것으로서, 그 목적은 카메라에 의해서 촬영된 동영상의 상태를 인식하여 설정된 위험 요소들을 인식하고 해당 내용을 중앙서버에 알려주기 위한 것이다.
즉, 본 발명은 카메라에 의해서 촬영된 영상을 소정의 크기로 분할하고 그 분할된 영상과 영상 DB에 저장된 영상데이터를 비교하여 안전사고의 원인 또는 재해 발생시 작업자 및 관리자에게 고지할 수 있는 건설현장용 재해 방지 시스템을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 특징적인 구성을 설명하면 다음과 같다.
본 발명 재해 방지 시스템의 특징적인 구성은 안전상황을 감시하고자 하는 감시대상지역을 촬영하기 위한 카메라; 상기 카메라에 의해서 촬영된 영상을 이용하여 감시대상지역의 현재 상황을 분석하고 해당 분석내용에 따라 위험 수준을 판독하고 위험 수준이 높을시 해당 내용을 무선으로 송신하고 현재 사항을 수시로 전 달하는 상황인식장치; 및 상기 상황인식장치와 무선으로 송수신하도록 서버용 안테나가 마련되어 상기 감시대상지역의 재해상태를 관리하는 중앙서버를 포함하여서 된 것이다.
또한 본 발명의 재해 방지 방법의 특징적인 구성은 안전상황을 감시하고자 하는 감시대상지역을 카메라로 촬영하는 단계; 상기 단계에서 촬영된 영상을 소정의 크기로 각각 분할하는 단계; 상기 단계에서 분할된 각 영상을 영상 DB에 저장된 영상 데이터와 비교하여 감시대상지역의 재해 상황을 판단하는 단계 및 상기 단계에서 재해 상황 발생시 현장의 작업자 또는 관리자에게 스피커를 통하여 음성으로 고지하는 단계를 포함하여서 된 것이다.
이와 같은 특징을 갖는 본 발명을 상세하게 설명하면 다음과 같다.
본 발명은 영상 인식 기술을 이용하여 재해가 발생되었을 때 위험을 감지하는 영상 패턴 인식 기술을 포함하고 있는 재해 방지 시스템이다.
도2는 본 발명에 따른 재해 방지 시스템을 나타낸 개략도이고, 도3은 본 발명에 따른 재해 방지 시스템을 나타낸 블록구성도이다.
여기에서 참조되는 바와 같이 안전상황을 감시하고자 하는 감시대상지역(100)을 촬영할 수 있는 카메라(200)가 마련되어 있고, 그 카메라(200)는 촬영된 영상을 이용하여 감시대상지역(100)의 현재 상황을 분석하고 해당 분석내용에 따라 위험 수준을 판독하고 위험 수준이 높을시 해당 내용을 모바일 통신을 통해서 센터에 알려주고 현재 사항을 수시로 전달하는 상황인식장치(300)에 연결되어 있다.
상기 상황인식장치(300)는 카메라(200)에서 촬영된 영상을 소정의 크기로 분 할하는 영상 분할부(320)가 마련되어 있고, 상기 영상 분할부(320)에서 분할된 영상과 비교하기 위한 영상 데이터가 저장되는 영상 DB(340)가 마련되어 있으며, 상기 영상 DB(340)에는 감시대상지역(100)에 존재할 수 있는 작업자. 사물 및 현상(화재, 붕괴 등)에 해당하는 영상 데이터가 저장되는 것이다.
그리고 상기 영상 DB(340)로부터 전송되는 영상데이터와 영상 분할부(320)에서 분할된 영상을 비교하는 영상비교부(330)가 마련되어 있고, 상기 각 부분의 동작을 제어하는 제어부(310)가 마련되어 있으며, 상기 제어부(310)에서 발생되는 신호를 송신하고 외부에서 전송되는 신호를 수신하기 위한 현장용 송수신부(350)가 마련되어 있다.
한편, 중앙 서버(400)는 복수개의 상황인식장치(300)의 동작상태를 확인 및 제어하기 위한 것으로서, 그 중앙 서버(400)에는 상황인식장치(300)와 데이터를 송수신하기 위한 서버용 안테나(410)가 연결되어 있다.
도4는 본 발명에 따른 재해 방지 방법을 설명하기 위한 흐름도이다.
여기에서 참조되는 바와 같이 안전상황을 감시하고자 하는 감시대상지역(100)을 카메라(200)로 촬영하는 단계를 수행하고, 상기 단계에서 촬영된 영상을 소정의 크기로 각각 분할한다.
상기와 같이 분할된 영상은 영상 DB(340)에 저장된 영상 데이터와 비교하여 감시대상지역(100)에서 작업중인 작업자의 보호구 착용상태를 확인함과 동시에 장비의 동작 및 재해발생 상황을 판단하는 단계를 수행한다.
상기 단계에서 보호구를 착용하지 않은 작업자가 존재할 경우에는 현장에 설 치된 스피커(360)를 통하여 작업자에게 보호구 미 착용상태를 음성으로 고지하게 되는 것이다.
한편, 상기 단계에서 장비의 이상상태 또는 재해(화재, 붕괴 등)가 발생될 경우에는 스피커(360)를 통하여 작업자에게 고지함과 동시에 현장용 송수신부(350)를 통하여 비상상황을 송신하게 된다.
이와 같이 송신된 신호는 서버용 안테나(410)에서 수신하여 중앙서버(400)로 전송되므로 상기 중앙서버(400)는 관리자에게 비상상황을 고지함과 동시에 사전에 입력된 비상조치부(안전조치요원, 소방서 등)에 비상상황을 고지하여 안전사고 및 재해를 신속하게 처리할 수 있게 되는 것이다.
본 발명은 다음과 같은 기술을 가지고 있다.
1. 사람의 얼굴을 인식하고, 사람의 행위 및 사람이 현재 착용하고 있는 헬멧이나 장화 의복 등을 인식하는 인간 상태 인식 기술.
2. 산속이나 작업장등 특정 공간에 화재가 발생하였을 경우 화재 발생을 인식하고 해당 내용을 모바일을 통해서 알려주는 기술.
3. 굴착 기계 등의 작업 반경을 인식하고 해당 반경 안에 사람이나 또는 다른 기자재가 있을 경우 위험을 알려 주고 해당 내용을 기록하고 필요시 서버에 모바일을 통해 전송하는 기술.
4. 자동차 번호판을 인식하고 해당차량이 출입 가능한 차량인가를 확인하고 관리하는 기술.
5. 기타 카메라를 통해서 어떤 위험 사항에 대한 패턴을 정의하면 해당 패턴 이 발생되었을 때 내용을 센터에 전송하는 기술.
한편, 컴퓨터의 성능, 네트워크, 데이터 압축기술등의 발달로 현재 멀티미디어 데이터의 양은 엄청나게 증가하고 있어서, 내용기반 비디오 검색, 비디오 인덱싱 등 멀티미디어 데이터를 관리/사용하기 위한 기술이 필요하다. 자동화된 컷 검출(cut detection)은 이러한 다양한 요구를 충족시키기 위한 출발점이 된다.
카메라로 입력 받은 영상들은 하나의 비디오물로 저장되고 해당 비디오물을 처리 관리 하는 기술이 필요하다. 비디오를 구성하는 최소 단위는 한 장의 영상을 나타내는 프레임(frame)이다. 하나의 카메라에 의해서 연속적으로 얻어진 프레임의 시퀀스를 샷(shot) 이라고 하며, 내용상으로 연관이 있는 샷들의 집합을 씬(scene)이라고 한다. 컷(cut)은 장면과 장면 사이의 경계에 해당하는 장면 전환점을 의미한다. 현재 상황을 정확하게 분석하기 위해서는 현재 동영상 흐름에서 내용상 연관 있는 컷과 씬들을 분리하여 처리하는 기술이 필요하다.
지금까지 컷 검출을 위한 다양한 방법들이 제안되었다. 이러한 방법들은 압축되지 않은 비디오 시퀀스를 위한 방법과 압축된 비디오 시퀀스 위한 방법의 두 종류로 분류될 수 있다. 압축되지 않은 비디오 시퀀스에 적용되는 방법으로는 연속된 두 프레임 간에 픽셀의 차이 비교, 히스토그램의 차이 비교, 움직임 벡터의 비교 등이 있다. 압축된 비디오 시퀀스에 사용될 수 있는 방법은 압축 계수를 비교하는 방법, I,P,B 프레임을 이용한 방법 등이 있다.
컷을 자동으로 찾아낸다고 하더라도 검출해낸 컷을 비디오 인덱싱 등의 응용에 그대로 이용하기에는 무리가 따른다. 같은 샷 안에서도 여러 컷이 존재할 수 있 는데, 인간이 보기에 의미를 갖는 비디오의 단위는 컷이 아닌 샷이기 때문이다. 따라서 검출된 컷을 각 샷에 따라서 계층적, 구조적으로 저장할 필요가 생기게 된다.
그리고 컷 검출 방법을 설명하면 다음과 같다.
본 발명에서는 컬러 히스토그램과 edge 정보를 이용한다. 연속된 두 프레임 사이에 히스토그램 및 edge 정보의 변화를 관찰하여 변화 값이 주어진 임계값을 초과하는 경우 컷으로 판단한다.
컬러 히스토그램의 계산에는 HSV 컬러 모델이 사용된다. HSV 컬러 모델은 RGB 컬러모델에 비해 색상을 표현하는 방법이 인간이 인식하는 방법과 비슷하며, 따라서 색상사이의 거리도 인간이 느끼는 것과 좀 더 비슷하다는 장점이 있다.
컬러 히스토그램에는 H, S, V 성분이 모두 사용되었으며 각 히스토그램 구간을 적절히 양자화 한다. 이는 계산 량을 줄이기 위한 것이기도 하지만, 히스토그램을 양자화 할 경우 작은 변화에 덜 민감해지는 장점이 있기 때문이기도 하다. H, S, V 성분의 양자화 레벨은 인간이 중요하게 느끼는 정도에 따라 각각 다르게 정해주었는데, 각각 18, 12, 16 레벨이 사용된다.
연속한 두 프레임 M 와 M-1 사이의 각 컬러 히스토그램의 변화량의 총 합을 DC(x,y) 라고 정의했고, 수학식1과 같다.
[수학식1]
Figure 112006020592323-PAT00001
( for each H, S, V )
Figure 112006020592323-PAT00002
: M번째 프레임의 i 번째 히스토그램 값
프레임 내에서 edge 성분을 추출하기 위해서는 소벨 연산자를 사용한다. 소벨 연산자를 그레이 영상에 적용한 후 임계치 이상의 그레이 값을 갖는 픽셀의 숫자를 구하여 연속된 두 프레임에서 그 차이를 컷 검출을 위한 특징 값으로 사용한다.
[수학식2]
Figure 112006020592323-PAT00003
S(x,y) : Sobel 경계선 영상
연속된 두 프레임 사이의 차이는 수학식2에서 얻은 Dist. Color 와 Dist. Edge 의 조합으로 구해졌으며, 이 값이 임계치 이상이 되면 장면전환이 발생한 것으로 판단한다.
한편, 전역 정보의 사용에 대하여 설명하면 다음과 같다.
검출된 각 컷을 씬 별로 구분하기 위해서 우선 전역 정보를 이용하는 방법이 검토된다. 두 컷간의 차이를 계산하는데 사용된 방법은 컷 검출에 사용된 방법과 같은 방법을 사용한다. 즉 이미 검출된 연속된 두 컷의 컬러 히스토그램 및 edge 정보를 이용하여 두 컷의 차이를 계산하고, 이 값이 임계치 이상이면 두 컷이 서로 다른 씬에 포함된다고 결정한다.
또한 국부 정보를 사용할 때에는 컷 간의 비교에 국부 정보를 사용하기 위하 여 우선 비교 대상인 두 컷을 3x3 의 구획으로 나누었고, 각 블록에 대하여 컷 검출에 사용되었던 것과 같은 특징 값을 추출한다. 이 특징 값의 비교를 위해서는 Bipartite matching을 사용한다. Bipartite matching은 Bipartite 그래프에서 각 노드들을 최적으로 매칭하는 조합을 찾아준다.
비교 대상인 이전 컷과 현재 컷의 각 블록별 히스토그램과 엣지 성분을 추출한 후, 블록마다 그 차이를 계산하여 그 차이를 weight로 갖는 Bipartite 그래프를 구성한다. 이 그래프에 Bipartite matching을 이용하면 두 컷 사이의 차이가 최소가 되는 조합을 얻을 수 있으며, 이 조합을 통한 두 컷 사이의 차이를 씬 검출에 사용하였다.
그리고, 얼굴인식 기술을 이용한 작업자 인증 및 상황 분석 기술은 안전관리 시스템에 얼굴인식 기술을 도입함으로 해서 카메라로 입력 받은 상에서 얼굴을 검출하고 해당 얼굴을 인식하여 작업자가 누구인지 아는 기술이 필요하다.
도5의 얼굴 인식 흐름도에 나타낸 바와 같이 영상에서 사람의 얼굴을 검출하고, 그 얼굴이 누구인가를 인식하고 색인하여, 나중에 입력된 영상에서 얼굴을 빠르게 인식 할 수 있다. 도6은 이러한 기능의 일예를 나타낸 것으로서, 이 기술을 이용하여 얼굴과 함께 작업자의 안전 기구 착용상태를 확인할 수 있는 것이다.
또한, 본 발명에서는 얼굴 검출을 위해서 도7에 나타낸 바와 같이 SVM (support vector machine)을 이용한다. SVM을 이용하여 회전과 크기에 무관하게 얼굴을 검출하기 위해서 영상을 스캔하는 마스크의 크기와 회전각을 달리 하여야 한다. 이렇게 이미지의 전체 영역을 스캔하며 얼굴을 검출하면 계산 시간이 급격히 늘어난다. 이런 문제점을 해결하기 위해서 전체 이미지에서 얼굴이 있을 만한 후보 영역을 검출한 다음, 그 후보 영역 안에서 정확한 얼굴 영역을 검출하는 방법을 쓴다. 보통 얼굴 후보 영역을 검출하기 위해서 살색 정보를 이용하는데, 살색으로 후보 영역을 검출할 경우 조명이 심하게 바뀌는 영상이나 흑백 영상에서는 제대로 후보 영역을 검출하지 못하는 문제점이 있다. 본 시스템 개발에서는 이에 대한 심도 있는 연구를 수행하여 완벽한 얼굴인식 시스템을 개발할 것이다.
그리고, 얼굴인식은 매우 어려운 문제인데 이것은 한 사람의 얼굴 변화가 다른 사람과의 얼굴 차이보다 크다는데 기한다. 사람이 하품을 한다던가, 눈을 감는다든가, 머리 스타일, 수염, 안경 착용, 노화, 카메라 촬영 위치, 잡음, 조명등에 의해서 한 사람의 얼굴 형태의 변화가 매우 심하게 나타나서, 컴퓨터의 입장에서 처리하는 데이터로서 한 사람 내의 얼굴 변화가 다른 사람과의 얼굴 차이보다 훨씬 클 수가 있다. 이러한 문제를 해결하기 위해 얼굴 영상의 촬영 위치에 따른 보정이나, 전처리 과정을 통한 잡음제거 등의 연산이 필요하다. 이러한 문제를 해결하기 위해 본 연구에서는 얼굴 영상을 미리 정해진 규칙에 의한 정확한 localization을 수행한다. 현재 얼굴의 레지스트레이션을 위한 주된 방법은 도8에 나타낸 바와 같이 두 눈의 위치를 검출한 다음 검출된 눈의 위치를 정해진 좌표에 대응시킴으로써 행해진다. 이를 위해서는 두 눈의 정확한 검출이 필요하다.
눈을 검출하는 방법으로 low level의 영상처리 방식과 통계학적인 방법으로 나눌 수가 있다. Low level의 영상처리를 이용할 경우 edge를 이용한 눈이나 동공의 모양을 이용하거나, intensity 자체의 정보를 이용할 수 있는데, 이런 방법은 비교적 해상도가 높은 영상에 적용된다는 단점이 있다. 본 연구에서는 해상도가 낮은 영상에서도 눈을 검출할 수 있도록 SVM을 이용한 통계학적인 방법으로 접근할 수 있다.
또한 얼굴 인식은 컴퓨터 비젼 학문에서 오랫동안 연구외어 왔으며, 보안이나 경찰 수사, 인사관리와 같은 얼굴 데이터베이스 응용으로 활용되어 왔다. 얼굴 인식은 먼저 입력 영상으로부터 얼굴이 있는지, 어떤 위치에 있는 지를 검출하고, 눈과 같은 특징 점을 통한 정규화 과정을 거친다. 정규 화된 얼굴 영상으로부터 얼굴을 특징짓는 특징 벡터(Feature vector)정보를 추출하고, 이 특징 벡터를 같은 과정을 거쳐서 만들어진 얼굴 영상들의 특징 벡터들과 비교하여 누구의 얼굴인지를 인식한다. 얼굴 특징 벡터는 얼굴 영상 전체로부터 추출하는 방법과 얼굴 영상을 눈, 코, 입 등의 부분 영역으로 분할하여, 부분 영역 단위로 특징 벡터를 추출하는 방법이 있다. 부분영역으로 추출하는 경우의 얼굴 영역의 분할 예를 도9에 나타낸 바와 같다.
여기에서 참조되는 바와 같이 전체 얼굴 영역을 눈, 코, 입을 중심으로 한 3개의 부분영역으로 분할하고 있다. 본 발명에서는 두 가지 방법을 모두 사용하거나 어느 하나를 사용할 수도 있다.
얼굴 인식 시스템을 개발하기 위해서는 얼굴의 특징을 잘 표현할 수 있는 feature space 정의가 중요한 핵심이 된다. 현재 PCA(Principle Component Analysis)를 이용한 얼굴 인식 기술을 많은 연구가 채택하고 있다. PCA는 데이터베이스에 있는 얼굴 이미지에 대하여 가장 주요하게 나타나는 공통적인 특성을 분석 하여 이를 각 얼굴을 나타내는 특징 값으로 정의하는 방식으로 도10에 나타낸 바와 같이 국내외의 많은 업체에서 실제 시스템을 개발하여 사용하고 있다. 그러나 PCA는 그 특성상 각 이미지에 비슷한 형태의 특징 값을 갖게 하므로 인식하려는 대상의 얼굴이 많은 경우 그 인식률이 현저하게 감소하는 단점을 가지고 있다. 본 발명은 최근에 얼굴 인식 분야에 적용되고 있는 새로운 기술들 - LDA(Linear Discriminant Analysis), ICA(Independent Component Analysis), Non-parametric Methods, 신경망(Neural network), Baysian 분류기, HMM(Hidden Markov Model) - 을 이용하여 강인한 얼굴 인식이 가능하게 되는 것이다.
그리고 본 발명은 크게 영상 패턴 인식 기술과 무선 네트워크 연동 기술 멀티미디어 데이터 입력 전송 인식 할 수 있는 하드웨어 제작 기술 3가지로 나눌 수 있다.
또한 영상 패턴 인식 기술에서는 얼굴인식, 상황인식, 형태 인식등 각각의 내용 하나 하나가 첨단 기술에 속하는 기술이다.
그리고 본 발명은 다음과 같은 4가지 특징이 있다.
첫째 상황을 인식할 수 있는 영상 패턴 인식 방법을 대략적 최대 흐름을 이용하여 영상 매칭 기법(Near Maximum Flow Matching)를 이용한다. 이 방법을 이용하면 실시간으로 영상 패턴을 인식하고 해당 내용을 판독 할 수 있다.
둘째 얼굴을 인식하는 부분에서는 현재 PCA방식을 이용하고 매칭 기법은 WBM방법을 이용하여 얼굴을 정확하게 인식 하도록 한다.
셋째 모바일 네트워크 기술은 CDMA 기술을 연동하여 영상 정보를 최적화 압 축하여 빠른 속도로 전송할 수 있도록 한다.
네째 하드웨어 구성은 기술은 최첨단에 비애 가장 저렴한 비용을 사용하여 최저가의 하드웨어를 구성하는 데 있다. 저가의 시스템을 만들어 최적의 기능을 유지 할 수 있는 것도 기술의 우수성과 독창성에 포함 된다고 할 수 있다.
이하에서 영상패턴 인식에 대하여 설명한다.
본 발명의 영상패턴 인식 기술은 영상 패턴 인식의 종류와 기존의 연구와 비교하여 우리가 가지고 있는 개술의 우수성을 도표로 평가한다.
영상 패턴 인식 시스템의 종류
기존의 영상 인식 시스템은 크게 색인기반 영상 인식 시스템과 내용기반 영상 인식 시스템으로 나눌 수 있다. 색인기반은 영상 검색 관련 연구 초기에 많은 연구가 이루어졌으며 현재까지 상용화된 대부분의 시스템에 사용되고 있는 방법이며 최근 들어 MPEG-7 표준 기반의 내용기반 영상검색 시스템에 대한 연구와 개발이 활발히 이루어지고 있다.
색인기반 영상 인식 시스템은 영상과 함께 영상의 정보를 색인한 텍스트 문자열을 사용하는 방법이다. 도11은 색인기반 영상 인식 시스템의 예를 보여준다.
색인기반 영상 인식 시스템은 영상의 특징과 정보를 문자열로 정확하게 입력하여 검색하는 방법이기 때문에 원하는 검색을 정확하게 찾을 수 있다는 장점이 있다. 그러나 다양한 검색에 맞게 하기 위해서는 영상에 대한 정보를 다양하게 색인 해야 한다.
예를 들어서 "곰", "달린다", "아기곰" 이라는 3개의 정보가 부합되는 영상 을 찾기 위해서는 해당 영상에 여러 가지의 색인을 해야 한다. 따라서 데이터베이스를 구축하기 위한 많은 시간과 노력이 들게 된다. 이러한 기술은 실시간으로 사물의 패턴을 인식하여 판별 사는 시스템에서 사용하기에는 적합하지 않다.
내용기반 영상 인식 시스템은 영상의 내용을 이용하여 자동적으로 특징 값을 추출 하고 데이터베이스화하여 검색하는 시스템이다. MPEG-7 표준안 ISO/IEC 15938의 "Multimedia Content Description Interface" 에서는 영상 데이터의 특징 값을 대표하는 여러 가지 서술자(Descriptor)를 정하고 있다. 이 서술자는 정지 영상 외에 동영상에도 포함되는 여러 정보들을 표준화하기 위한 것이며, 표준화의 목적은 콘텐츠의 검색에 있어서 효과적인 데이터 정보 공유에 있다
MPEG-7 표준에서 시각적으로 표현 되는 부분을 Visual Part라고 하며 본 발명에서는 비주얼부분'으로 표기한다. MPEG-7의 비주얼부분에는 여러 가지 형태의 영상특징을 분석할 수 있는 서술자들이 정의되어 있다. MPEG-7의 비주얼부분의 모든 서술자들이 실제 검색에 사용되는 서술자는 아니며 몇 개의 서술자는 표시 매체로부터 속성 정보만 일련 적으로 나열한 것도 있다. 또한 서술자 중 몇 개는 서술자들의 집합이거나 일부분이기도 하다. 기본적인 서술자로는 컬러 레이아웃(Color Layout), 컬러 구조(Color Structure), 지배적 색상(Dominant Color), 계층적 컬러(ScalableColor), 에지 히스토그램(Edge Histogram), 균등 질감(Homogeneous Texture), 텍스처 브라우징(Texture Browsing), 영역기반 모양 (Region Shape), 윤곽 기반 형태(Contour Shape), 카메라 움직임 (Camera Motion), 움직임 분포(Activity) 등이 있다.
서술자를 이용하는 시스템은 해당 시스템을 지원하는 저수준 서술자(low level descriptor)에 기반을 두어 이루어진다.
GOF/GOP (Group-of-Frame/Group-of-Picture)은 계층적 컬러 서술자를 이용하고, 3D 형태 정보 구축은 3D 메쉬 정보(mesh-information)를 이용하고, 움직임 경로(Motion Trajectory)는 객체 세그멘테이션(segmentation) 정보를 이용하며, 얼굴 인식(Face Recognition)은 얼굴 추출(Face Extraction) 정보를 이용한다. 공간적 결합을 위한 서술자와 지역화 되는 것들은 특정 2D 좌표, 그리드 레이아웃(Grid Layout) 영역 할당, 시간 급수 등의 정보를 이용하여 구축한다.
MPEG-7 비주얼 서술자의 특징은 영상검색에서 사용되는 비주얼 서술자 중 색상을 이용하는 서술자로는 컬러 레이아웃 서술자(CLD), 컬러 구조 서술자(CSD), 지배적 색상 서술자(DCD), 계층적 컬러 서술자(SCD)가 있다.
텍스처 검색용 서술자는 에지 히스토그램(EHD), 균등 질감 서술자(HTD), 텍스쳐 브라우징 서술자(TBD) 가 있고 형태로는 영역/윤곽 기반 모양 서술자(RSD/CSS) 가 있다. 서술자 정보는 MPEG-7의 표준에 의해서 정의되어 있다. 정보추출 과정에서 각각의 서술자들은 전체 영상 내에서 정의된 파라미터를 추출한다. 예를 들어 색상 구조의 색상은 양자 화된 32빈(bin)이 사용되며, 유효색상은 YCrCb 색공간에서 특징 값을 추출하고, 균등 질감 서술자는 32개의 요소로 양자화 되고, 계층적 컬러 서술자의 특징 값은 시스템의 정수형 값에서 3비트 값을 태그정보로 그리고 64빈의 양자화 특징 값을 이용한다.
영상 패턴인식 시스템의 응용과 장단에 대하여 설명하면 다음과 같다.
기존의 영상 인식 시스템은 다양한 분야에서 이용된다. 현재까지는 색인기반 검색 시스템이 주를 이루고 있으며, 내용기반 영상 인식 시스템이 점차로 늘어가는 추세이다. 색인기반 검색 시스템은 검색 구간이 한정 되어 있는 단점이 있으나 한정된 검색 구간에서는 정확하게 검색을 할 수 있는 장점이 있다.
예를 들어서 영상의 정보를 동물명으로 분류하였다면 동물명으로는 정확하게 검색할 수 있으나 동물의 움직임이나 속성 등으로 검색 할 때는 검색이 어려운 단점을 가지고 있다.
또한 실시간으로 안전유무를 판독하는 부분에서는 색인 기반 기술을 이용할 수가 없다. 내용기반 영상 인식 시스템은 색과 형태 패턴을 기반으로 하기 때문에 분류 방법이 아닌 유사 검색에 많이 이용된다.
단점으로는 색인 분류가 없기 때문에 분류에 따른 정확한 검색이 이루어지지 않는다. 예를 들어서 호랑이와 같은 형태의 정보를 찾고자 할 때 호랑이의 색과 패턴을 가진 모든 영상을 검색할 수 있으나, 그 영상이 호랑이에 국한 되지 않을 수도 있다.
색인기반 영상 인식은 정보를 색인하기 위해서 많은 시간과 노력이 필요하며, 또한 영상의 정보를 다양하게 구성하기에 어려움이 있다. 내용기반 영상 인식에서 영상을 인식할 때 단일 정보를 이용하는 시스템을 주로 하고 있다. 단일 정보만으로 영상을 검색할 때 단일 정보가 변화되거나 단일정보의 안정적인 제공이 없게 되면 정확한 검색을 할 수 없게 된다. 또한 MPEG-7에 제안된 서술자를 사용하는 검색은 표준화에 기인하기 때문에 표준화에 맞는 형태의 정보에는 성능이 우수하 나, 표준화된 정보를 이용할 수 없는 특수한 시스템에 있어 검색에 어려움이 있다. 따라서 특수 형태의 검색에 있어서 그에 합당한 방법이 제시되어야 하는 문제점이 있었다.
내용기반 영상 인식 시스템의 필요성은 다음과 같다.
색인기반 영상 검색 시스템의 문제점과 내용기반 영상 검색 시스템은 상술한 바와 같다.
즉, 색인기반 영상 인식 시스템의 최대 문제점은 영상 데이터에 따른 색인 작업이 필요하고 기하급수적으로 늘어나는 영상을 데이터 베이스화 하기 위한 시간과 노력이 많이 든다는 것이다. 실제로 현재 많은 시스템들이 색인기반에서 내용기반으로 변화가 이루어지는 것은 이런 한계를 극복하기 위함이다.
내용기반 영상 인식에서 단일 정보를 이용하는 시스템과 다중 정보를 이용하는 시스템으로 나눌 수 있다. 단일 정보에는 색, 형태, 패턴 각각의 정보를 이용하여 검색하는 시스템을 말하며, 다중 정보는 색과 형태, 색과 패턴 등을 결합한 시스템을 의미한다. 단일 정보는 정보량이 최소화 되는 반면 영상의 특징을 한 가지 정보에 의존하기 때문에 해당 정보의 변화가 크면 정확한 검색을 할 수가 없다. 이 문제점을 해결하기 위한 다중 정보를 사용하는 내용기반 영상 검색 시스템이 개발이 많은 분야에서 진행되고 있다.
단일 특징을 이용한 인식 시스템은 도12에 나타낸 바와 같이 영상의 특징을 대표하는 특징 값으로는 색상과 형태 그리고 패턴으로 볼 수 있다. 일반적으로 캐릭터와 같은 영상을 검색할 때 가장 많이 사용하는 것이 색상이다. 캐릭터 영상 외 에 상표 검색이나 형태의 변화가 적은 객체 검색에는 형태가 이용된다.
모양 정보를 이용할 경우 두 개의 대표적인 정보를 이용한다. 영역 기반 모양 정보(Region shape information)와 윤곽 기반 모양 정보(Contour shape information)이다.
영역 기반 모양 서술자는 일반적으로 moment등과 같은 기저함수(basis function)를 이용하여 특징 값을 추출한다. 대표적인 영역 기반 모양 서술자로는 Zernike Moments나 ART을 이용한 Descriptor가 있다. 형태 정보를 이용하는 검색 시스템은 주로 정적인 영상의 검색 - 상표 검색 시스템이나 문자형 검색 및 로고 검색 등 형태의 변화가 없는 시스템 - 에서 주로 사용한다.
색상 정보를 이용한 영상 검색은 최근 들어 활발하게 진행되어 왔다. 색상 정보를 이용할 경우 일반적으로 색상 히스토그램을 이용한다. 색상 히스토그램을 이용하여 색인 하는 방법은 Swain이 제안하였다. 이 방법은 객체의 색상 히스토그램을 만들고 해당 히스토그램을 양자화 하여 특징 값을 추출한다. Swain방법은 조명에 민감한 단점을 가지고 있는데 Brain은 조명에 관계되지 않는 색상 히스토그램을 상용하여 양자화 하는 방법을 제안하였다. 이 방법을 이용하여 색상 히스토그램 양자화 값을 이용한 검색 시스템들이 많이 제안되어 왔으며, 그 중 Gevers가 제안한 방법이 가장 최근에 많이 사용하는 방법이다.
색상 히스토그램을 이용할 때 RGB 3개의 영역의 히스토그램을 이용하는 것이 일반적이다. Swain은 RGB 3개의 특징 값을 흑-백, 적색-초록색, 청색-노랑색의 상관관계로 가진 영역으로 색상 히스토그램을 전환시켰다. 전환되는 영역의 채널 당 8 비트를 할당하여 정보 값을 2,048 빈으로 압축하였다. 이 방법을 이용하면 영상의 정보를 매우 빠르게 검색할 수가 있다. 데이터베이스에 있는 영상들은 배경을 제외시킨 객체 영상만의 색상 히스토그램을 가지고 있으며 이 색상 히스토그램의 2,048 빈의 정보를 저장하고 있다. 즉, 검색하고자 하는 질의 영상에서 색상 히스토그램의 특징 값을 추출하고 데이터베이스의 영상과 비교할 때 빈의 수가 작기 때문에 매우 빠르게 비교 할 수가 있다.
그리고 다중 특징을 이용한 검색 시스템은 색상과 형태의 정보를 동시에 이용하여 영상을 인식하는 것으로서, Gevers는 변화되지 않는 색상과 칼라 정보를 이용하여 영상을 인식하는 시스템을 제안하였다. Gevers가 제안한 방법은 객체의 형태 정보를 기하학 정보로 가지고 있고 해당 영역의 색상의 정보를 저장하여 검색하는 방법을 이용하였다. 색상과 형태를 이용할 경우 단일 데이터를 검색하는 것 보다 정보량이 커지게 된다.
따라서 여러 정보를 이용할 경우 정보량의 최적화가 필수적이다. Gevers가 제안한 방법은 정보량의 최적화보다 정보 검색의 정확도에 우선하였다. 색상 정보와 형태 정보를 함께 이용하여 영상을 검색하면 색상 또는 형태의 정보 단일로 검색하는 방법보다는 정확도가 더 높아지거나 떨어질 수도 있다. 정확도가 떨어지는 이유는 색상이나 또는 형태 둘 중에 하나의 정보의 오차 값이 클 경우 같은 영상이라도 같은 영상으로 처리 되지 않기 때문이다. 두 개의 정보를 동시에 보게 되면 오차 또한 한 개의 정보에서 나오는 것 보다 클 수 있기 때문이다. 색상 정보와 형태 정보를 동시에 보면서도 정보 값이 불변(invariant)하는 방법으로는 Gevers가 제안한 방법을 들 수 있다.
상술한 바와 같이 다양한 방법의 영상 인식기술이 개발되었다. 영상인식의 가장 중요한 점은 다중 정보를 이용하는 방법을 사용하는가 그렇지 않은가 이다.
예를 들어서 사람이 안전모를 착용하였는가를 인식하고자 한때 안전모의 형태, 안전모의 색상 등을 함께 고려하여 인식하는 방법이 안전모의 색상 정보 또는 형태 정보 한 개만으로 인식하는 방법 보다 월등하게 된다. 본 발명의 영상 인식 기술은 다중 정보를 이용하여 유사도 분포를 측정하여 인식하는 방법이다. 이 방법을 사용하게 되면 기존의 영상 인식 방법보다 정확하게 상황을 인식할 수 있다.
본 발명의 인식방법은 인식 자료가 고정적인 것이 아닌 유동적인 형태의 인식 방법이다. 따라서, 인식 요소를 변경시키면 해당 부분을 빠르게 인식 할 수 있다. 예를 들어서 안전모에 대한 인식정보를 제공 하면 안전모 인식을 하고, 화재가 나는 상황의 정보를 요소로 설정하면 화재를 인식 할 수 있게 동적 인식을 할 수 있다.
본 발명은 영상 객체에서 다중 특징을 추출하고 비교할 때 통계적인 방법을 이용하여 문턱 값을 추출하고 이 값을 이용하여 유사도 측정을 한다. 통계 적인 방법을 이용할 때는 많은 영상 데이터의 비교 실험을 통하여 도13에 나타낸 바와 같이 영상간의 거리차 분포를 구한 다음, 대부분 같은 영상으로 구성되어 있는 경우의 특정 거리차
Figure 112006020592323-PAT00005
를 구하고, 질의 영상과의 비교 값이
Figure 112006020592323-PAT00006
이하 일 때 같은 영상으로 처리한다. 대부분의 영상 비교가 통계적인 방법을 이용하고 있으며, 판별을 요구할 때 통계의 의해 결정지어진 특정 문턱치값
Figure 112006020592323-PAT00007
를 이용한다.
WBM을 이용하여 영상을 비교할 때도 같은 영상으로 판별하기 위해서 실험을 통해서
Figure 112006020592323-PAT00008
값을 구해야 한다.
Figure 112006020592323-PAT00009
값이 없을 경우 WBM은 단순히 유사도가 큰 순서로 영상들을 정렬 할 수밖에 없다. 영상 검색의 목적은 영상의 유사도 정렬이 아니고 같은 영상, 또는 유사도가 특정값 미만인 영상을 검색하는 것이다. 따라서 WBM을 이용하여 영상을 비교하는 경우에도 실험을 통해
Figure 112006020592323-PAT00010
값을 구해야 한다.
지금까지의 방법은 영상의 비교 결과 후에 값을 같는 영상인가 아닌가를 결정하는데 이용하였으나, 제안되는 NMFM은 값을 예측 지수로 활용을 하는 것이 특징이다. 일반적으로 통계적 방법을 이용하여 특정 문턱치를 추출하고자 할 때 영상의 유사도 분포를 이용한다. 수학식3은 일반적인 유사도 분포 식이다.
[수학식3]
Figure 112006020592323-PAT00011
Figure 112006020592323-PAT00012
는 질의 영상인 와 데이터베이스 영상인
Figure 112006020592323-PAT00013
와의 거리차를 의미한다. 총 n개의 영상을 모두 비교하였을 때
Figure 112006020592323-PAT00014
값의 거리차가 있는 수를
Figure 112006020592323-PAT00015
로 표시하고, 전체적인 분포는 값의 총합을 의미하며 이 값이
Figure 112006020592323-PAT00016
이다.
도14는 수학식3을 사용하여 구한 분포 곡선이다. 실제 실험 후 표준 편차를 결정할 때는 시스템에 따라서 다르다.
예를 들어 95%의 정확도를 요구하는 시스템일 경우 같은 영상의 95%가 있는 영역의 끝점을
Figure 112006020592323-PAT00017
로 정한다. NMFM에서는
Figure 112006020592323-PAT00018
를 Bipartite Graph에서 더 이상 자라지 않는 노드 설정에 이용한다.
최소 흐름 행렬에서 최적의 쌍을 설정할 때에는 N개의 에지를 설정하고 각 에지의 최소 비용을 행렬로 설정한 후 최소의 비용을 가지는 쌍을 구한다. 가장 최소 흐름을 찾아내는 방법은 수학식4와 같다.
Figure 112006020592323-PAT00019
는 최소 흐름을 가지는 쌍이며 특정 섹터에 연결된 가중치 값들이다.
[수학식4]
Figure 112006020592323-PAT00020
최소 흐름 쌍을 정하면 해당 쌍을 제거 한 후 다음 쌍은 수학식4를 반복 이용하여 구해 나간다. 쌍을 구한 다음 총 흐름을 얻어 내고 이 흐름을 대략적 최대 흐름으로 보는 것이다.
본 발명에서 만일 전체 쌍의 가중치가 모두
Figure 112006020592323-PAT00021
값 보다 클 경우, NMFM에서 WBM을 이용하여 최적화 흐름을 유도한다. 실험을 하는 동안 같은 영상이면서
Figure 112006020592323-PAT00022
값보다 큰 경우가 발생하지 않는다. 같은 영상일 경우 2500개의 영상에서 모두 한 개 이상은 존재 하는 것이다.
상술한 NMFM에 의한 재해 예방 방법을 설명하면 다음과 같다.
먼저, 소정의 크기로 분할된 영상에서 영상 데이터와 연결 가능한 모든 연결을 설정하고, 이때 최소 비용을 얻는 쌍을 추출한다. 이때 최소 비용을 얻는 쌍의 가중치가
Figure 112006020592323-PAT00023
의 차이 값을 구한다.
상기 단계에서 구하여진
Figure 112006020592323-PAT00024
의 차이가 소정의 범위(영상 데이터의 유사범위)보다 클 경우 NMFM에서 WBM 알고리즘을 이용하여 최적화 되는 흐름을 구한다.
한편, 상기 단계에서 구하여진 σ의 차이가 소정의 범위(영상 데이터의 유사 범위)보다 작을 경우 또 다른 영상 데이터와 비교하여 연결 쌍을 구한다.(촬영된 영상과 유사한 영상데이터를 추출)
이와 같이 계속적으로 연결 쌍을 구할 때 오차의 범위를 넘지 않아서 무시할 수 있는 에지의 계수를 설정하고 순서적으로 해당 계수를 넘는 쌍은 무시한다.
그리고 해당 흐름 값을 연결된 에지의 값으로 나누어서 평균 흐름 값을 얻어낸다.
도15a 내지 도15c는 본 발명에 따른 NMFM의 기본 방법을 설명하기 위한 측정 그래프로서,
Figure 112006020592323-PAT00025
값과 비교하였을 때 해당 구간 안에 있을 경우는 도15a 내지 도15c에 나타낸 방법을 수행하고,
Figure 112006020592323-PAT00026
의 범위를 벗어났을 경우 또는 완전한 정합 시
Figure 112006020592323-PAT00027
구간에 있는 영상이 하나도 없을 경우 대략적 흐름에서 매우 큰 흐름을 유지하기 때문에 같지 않은 영상으로 처리할 수 있다.
이와 같이 NMFM은 두 가지 방법에서 시간을 줄일 수 있다. 첫 번째는
Figure 112006020592323-PAT00028
값의 영역 내에 있는 영상이 없을 경우, 더 이상 계산을 하지 않고 전혀 다른 영상으로 처리함으로써 계산을 하지 않고 비교하면서 빠르게 연산할 수 있다. 두 번째로 모든 영상에서 거리차를 계산하여 정렬 하고자 할 경우
Figure 112006020592323-PAT00029
안에 있는 영상들은 NMFM을 이용하여 연산함으로써 시간을 절약하고 나머지 부분은 WBM을 이용하여 연산하여 유사한 영상의 정렬을 할 수 있다.
상기한 NMFM의 기본 정합은 섹터영상을 에지로 두었을 때 변화가 큰 영상에서는 특정 빈에서 매우 큰 거리차가 나타난다. 이런 거리 차의 값은 영상의 유사 도에 큰 오차 값으로 나타난다. NMFM에서는 거리차가 매우 크게 나타나는 섹터 영 상을 무시하고 나머지 섹터만 가지고 최대 흐름을 유지 한다. 수학식5는 최대 흐름을 구하는 식이다.
[수학식5]
Figure 112006020592323-PAT00030
위 식 에서
Figure 112006020592323-PAT00031
는 무시하고자 하는 섹터의 개수를 의미한다.
이와 같은 NMFM의 특성은 다음과 같다.
NMFM과 WBM의 큰 차이는 정합쌍을 추출하는가와 그렇지 않은가에 있다. WBM은 최대 흐름도와 함께 최대 흐름도가 이루어 질 때의 정합쌍도 동시에 구한다. 그러나 NMFM은 최대 흐름 도를 추출하지만 정합 쌍을 구하지는 않는다. 영상 정합의 목적은 정합 쌍을 찾는 것이 아니고, 최대 흐름도를 구하는 데 있다. 정합 쌍을 찾는 불필요한 연산을 제거하고 WBM과 같은 흐름도를 예측하기 때문에 WBM 보다 연산 복잡도가 매우 작다. N개의 정점을 WBM 알고리즘을 이용하면 가장 빠른 방법이 n-1개의 순회를 하는 것이다. NMFM의 n-1개의 순회 중 값보다 작거나 같은 흐름도가 나오면 더 이상 순회를 할 필요가 없기 때문에 NMFM은 언제나 WBM의 연산과 같거나 작게 된다. 따라서 NMFM의 연산은 WBM보다 빠르다. 도16은 본 발명을 이용한 연상 패턴 인식 결과이다.
내용기반 검색 시스템에서 평가 척도는 시스템의 정확성을 알려주는 중요한 지표가 된다. 본 발명에서는 캐릭터 검색에 있어서 평가 척도를 BEP(Bull's Eye Performance), NMRR(Normalized Modified Retrieval Rank), 그리고 NDS(Normalized Distance Sum)를 이용하였다. BEP는 MPEG-7의 모양 및 움직임 서술자의 평가 척도이며, NMRR은 MPEG-7의 색상 및 질감 서술자의 평가 척도이다. NDS는 0으로 근접할수록 좋은 성능을 나타내며 평가 조건을 모두 고려하고 세밀한 측정이 가능하다는 장점이 있다.
NMRR 과 NDS는 수치가 작을수록 성능이 좋은 것이며, BEP는 1에 가까울수록 성능이 좋다. WBM과 NMFM은 지금까지 일반적으로 사용되는 GHM과 PicToSeek의 방법보다 월등히 좋은 것으로 결과가 나왔다.
이와 같이 본 발명은 카메라에 의해서 촬영된 현장 정보와 영상 DB에 저장된 영상 데이터를 실시간으로 비교하여 현장 작업자의 부주의로 인한 안전사고 방지는 물론, 재해 발생시 신속하게 정보를 획득하여 재해로 인한 피해를 최소화 할 수 있는 특유의 효과가 있다.

Claims (5)

  1. 안전상황을 감시하고자 하는 감시대상지역(100)을 촬영하기 위한 카메라(200);
    상기 카메라(200)에 의해서 촬영된 영상을 이용하여 감시대상지역(100)의 현재 상황을 분석하고 해당 분석내용에 따라 위험 수준을 판독하고 위험 수준이 높을시 해당 내용을 무선으로 송신하고 현재 사항을 수시로 전달하는 상황인식장치(300); 및
    상기 상황인식장치(300)와 무선으로 송수신하도록 서버용 안테나(410)가 마련되어 상기 감시대상지역(100)의 재해상태를 관리하는 중앙서버(400)를 포함함을 특징으로 하는 재해 방지 시스템.
  2. 제1항에 있어서, 상기 카메라(200)와 상황인식장치(300)는 복수개의 감시대상지역(100)에 각각 설치됨을 특징으로 하는 재해 방지 시스템.
  3. 제1항 또는 제2항에 있어서, 상기 상황인식장치(300)는 카메라(200)에서 촬영된 영상을 소정의 크기로 분할하는 영상 분할부(320)와, 상기 영상 분할부(320)에서 분할된 영상과 비교하기 위한 영상 데이터가 저장되는 영상 DB(340)와, 상기 영상 DB(340)로부터 전송되는 영상데이터와 영상 분할부(320)에서 분할된 영상을 비교하는 영상비교부(330)와, 상기 각 부분의 동작을 제어하는 제어부(310)와, 상 기 제어부(310)에서 발생되는 음성신호를 작업자에게 전달하는 스피커(360)와, 상기 제어부(310)에서 발생되는 신호를 송신하고 외부에서 전송되는 신호를 수신하기 위한 현장용 송수신부(350)를 포함함을 특징으로 하는 재해 방지 시스템.
  4. 안전상황을 감시하고자 하는 감시대상지역(100)을 카메라(200)로 촬영하는 단계;
    상기 단계에서 촬영된 영상을 소정의 크기로 각각 분할하는 단계;
    상기 단계에서 분할된 각 영상을 영상 DB(340)에 저장된 영상 데이터와 비교하여 감시대상지역(100)의 재해 상황을 판단하는 단계 및
    상기 단계에서 재해 상황 발생시 현장의 작업자 또는 관리자에게 스피커(360)를 통하여 음성으로 고지하는 단계를 포함함을 특징으로 하는 재해 방지 방법.
  5. 제4항에 있어서, 촬영된 영상과 영상 DB(340)에 저장된 영상을 비교하는 단계에서 판단시간이 최소화되도록 정밀도는 감소시키고 정확도를 향상시킴을 특징으로 하는 재해 방지 방법.
KR1020060026760A 2006-03-24 2006-03-24 재해 방지 시스템 및 방법 KR100789721B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060026760A KR100789721B1 (ko) 2006-03-24 2006-03-24 재해 방지 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060026760A KR100789721B1 (ko) 2006-03-24 2006-03-24 재해 방지 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20070096409A true KR20070096409A (ko) 2007-10-02
KR100789721B1 KR100789721B1 (ko) 2008-01-02

Family

ID=38803250

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060026760A KR100789721B1 (ko) 2006-03-24 2006-03-24 재해 방지 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR100789721B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2232440A2 (en) * 2007-12-20 2010-09-29 Kimberly-Clark Worldwide, Inc. Image analysis system for detecting personal protective equipment compliance
KR102210614B1 (ko) * 2020-02-12 2021-02-03 주식회사 씨엠엑스 머신러닝에 기반하여 건축물의 공간 상태 정보를 판별하는 방법 및 이를 이용한 공간 상태 정보 판별 서버
CN113190537A (zh) * 2021-03-22 2021-07-30 广东电网有限责任公司东莞供电局 一种用于监控区域内应急抢修现场的数据表征方法
KR102411316B1 (ko) * 2021-07-28 2022-06-22 박덕근 건설 현장의 작업자 안전도 분석 서비스 제공 방법 및 이를 수행하는 서버 및 시스템
KR102455862B1 (ko) * 2022-04-19 2022-10-20 (주)채움종합건설 중대재해 방지를 위한 건설현장 모니터링시스템

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9406212B2 (en) 2010-04-01 2016-08-02 Sealed Air Corporation (Us) Automated monitoring and control of contamination activity in a production area
US9143843B2 (en) 2010-12-09 2015-09-22 Sealed Air Corporation Automated monitoring and control of safety in a production area
US9189949B2 (en) 2010-12-09 2015-11-17 Sealed Air Corporation (Us) Automated monitoring and control of contamination in a production area
WO2011123741A2 (en) * 2010-04-01 2011-10-06 Sealed Air Corporation (Us) Automated monitoring and control of safety in a production area
US9011607B2 (en) 2010-10-07 2015-04-21 Sealed Air Corporation (Us) Automated monitoring and control of cleaning in a production area

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09205640A (ja) * 1996-01-25 1997-08-05 Matsushita Electric Ind Co Ltd 遠隔監視システム
KR19990066063A (ko) * 1998-01-21 1999-08-16 유무성 영상 감시 시스템 및 그 제어 방법
KR100748341B1 (ko) * 2000-12-04 2007-08-09 주식회사 케이티 다중채널/다중레벨 동작감지기를 이용한 감시 시스템 및그 방법
JP4088060B2 (ja) 2001-10-31 2008-05-21 株式会社東芝 人物監視システム
JP2003333590A (ja) 2002-05-16 2003-11-21 Komatsu Ltd 現場の画像生成システム
JP2005285080A (ja) 2004-03-30 2005-10-13 Choji Saito 分散電源システムを活用し、業務メンテナンスを含めた災害情報と電力情報とを一元管理する電力自給型防災管理システム。

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2232440A2 (en) * 2007-12-20 2010-09-29 Kimberly-Clark Worldwide, Inc. Image analysis system for detecting personal protective equipment compliance
EP2232440A4 (en) * 2007-12-20 2012-01-25 Kimberly Clark Co PICTURE ANALYSIS SYSTEM FOR DETERMINING THE CONFORMITY OF PERSONAL PROTECTIVE EQUIPMENT
KR102210614B1 (ko) * 2020-02-12 2021-02-03 주식회사 씨엠엑스 머신러닝에 기반하여 건축물의 공간 상태 정보를 판별하는 방법 및 이를 이용한 공간 상태 정보 판별 서버
KR102260056B1 (ko) * 2020-02-12 2021-06-03 주식회사 씨엠엑스 머신러닝에 기반하여 건축물의 공간 상태 정보를 판별하는 방법 및 이를 이용한 공간 상태 정보 판별 서버
CN113190537A (zh) * 2021-03-22 2021-07-30 广东电网有限责任公司东莞供电局 一种用于监控区域内应急抢修现场的数据表征方法
KR102411316B1 (ko) * 2021-07-28 2022-06-22 박덕근 건설 현장의 작업자 안전도 분석 서비스 제공 방법 및 이를 수행하는 서버 및 시스템
KR102455862B1 (ko) * 2022-04-19 2022-10-20 (주)채움종합건설 중대재해 방지를 위한 건설현장 모니터링시스템
KR102474829B1 (ko) * 2022-04-19 2022-12-07 (주)채움종합건설 재해방지 모니터링시스템

Also Published As

Publication number Publication date
KR100789721B1 (ko) 2008-01-02

Similar Documents

Publication Publication Date Title
KR100789721B1 (ko) 재해 방지 시스템 및 방법
Rubaiyat et al. Automatic detection of helmet uses for construction safety
CN109670441B (zh) 一种实现安全帽穿戴识别的方法、系统、终端以及计算机可读存储介质
KR101716646B1 (ko) 국부이진패턴을 이용한 객체 검출 인식 방법 및 장치
KR101546137B1 (ko) 인물 인식 장치 및 방법
CN110136172B (zh) 一种矿工下井前防护设备佩戴的检测方法
CN101715111B (zh) 视频监控中滞留物主自动搜寻方法
Mneymneh et al. Evaluation of computer vision techniques for automated hardhat detection in indoor construction safety applications
CN111062303A (zh) 图像处理方法、系统及计算机存储介质
US20220391796A1 (en) System and Method for Mapping Risks in a Warehouse Environment
CN107688830B (zh) 一种用于案件串并的现勘视觉信息关联图层生成方法
CN111401301B (zh) 人员着装监控方法、装置、设备及存储介质
KR100968024B1 (ko) 감시 시스템 네트워크를 이용한 객체의 이동 경로 추적방법 및 시스템
Vipparthi et al. Directional local ternary patterns for multimedia image indexing and retrieval
KR101372860B1 (ko) 영상 검색 시스템 및 영상 분석 서버
KR102263512B1 (ko) 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템
RU2315352C2 (ru) Способ и система для автоматического обнаружения трехмерных образов
CN111898541A (zh) 一种航吊安全作业智能视觉监警系统
CN113269127A (zh) 实时自动建库的人脸识别和行人重识别监控方法及系统
Wu et al. Automated visual helmet identification based on deep convolutional neural networks
CN113569682A (zh) 一种智能捕捉矿井识别要素的视频监测方法及装置
Di Benedetto et al. An embedded toolset for human activity monitoring in critical environments
CN116310933A (zh) 轨道交通侵界场景人员跨镜跟踪预警方法及系统
CN115311735A (zh) 一种异常行为智能识别预警方法
US20220075821A1 (en) Information processing apparatus, information processing method, and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Publication of correction
FPAY Annual fee payment

Payment date: 20111222

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee