KR102151002B1 - 영상번역 카메라 시스템 - Google Patents

Abstract

영상번역 카메라 시스템은 미리 설정된 촬영영역의 가시광선 영상, 열화상 영상 및 움직임 정보를 검출하는 영상정보 입력부와, 미리 설정된 각각의 방향의 소리를 수집하는 소리 인식부와, 대기의 성분을 감지하는 대기성분 감지부와, 시각 및 청각방법을 이용하여 경보를 송출하는 경보 모듈부와, 상기 영상정보 입력부로부터 전송된 정보를 바탕으로 검출된 객체의 종류를 영상에 표시하되, 상기 소리 인식부에서 전송된 소리정보 및 상기 대기성분 감지부로부터 전송된 대기성분을 토대로 각 객체의 위험상황을 검출한 후 상기 경보 모듈부를 통해 경고하도록 처리하는 제어부를 포함하는 것을 특징으로 한다.

Description

영상번역 카메라 시스템{Intelligent Camera System capable of Video Translation}

본 발명은 카메라 시스템에 관한 것으로서, 더 상세하게는 영상, 소리, 냄새를 복합적으로 감지하여 특정상황을 자동인지 할 수 있는 영상번역 카메라 시스템에 관한 것이다.

일반적으로 cctv 카메라는 특정 건축물 또는 특정 시설 등에서 유선 텔레비전을 이용하여 영상을 전달하는 장치로써 다양한 분야에서 폭넓게 사용된다.

예를 들어, 사용자는 생산공장, 금융기관, 기차역 및 지하철, 제철소 선박 및 건축현장, 유통업체, 레저시설, 고속도로 및 시내교통망 등의 시설에 cctv 카메라를 설치하여 자체중앙통제실(또는 경비실)에서 소수 인원으로 광범위한 지역을 한 눈에 감시할 수 있다.

또한 공정감독, 입출고, 통제, 가정자동사무화 등에서도 다양하게 운용할 수 있으며, 녹화가 가능하여 사후의 자료로도 활용될 수 있다.

그리고 최소의 인원으로 최대의 감시효과를 볼 수 있으며, 범죄 행위 발견 시 즉시 퇴치가 가능하고 불필요한 지역에는 순찰이 필요 없으므로 근무자의 사기 향상은 물론 완전한 감시로 인해 신변을 안전하게 보호할 수 있다.

이러한 cctv 카메라의 일반적인 구성은 카메라의 몸체가 팬 헤드에 의해 회전가능하게 설치되고, 카메라에서 출력되는 비디오신호가 조정실의 팬 헤드 콘트롤러로 입력되도록 연결되고, 이러한 이 팬 헤드 콘트롤러에서는 팬헤드를 제어하도록 연결된다.

그러나 이와 같은 구성은 카메라의 렌즈를 통해 촬영되는 영상신호가 팬 헤드 컨트롤러로 입력되면 조정실의 사용자는 모니터를 통해 영상을 확인하게 된다. 따라서 사용자는 조정실에서는 수동으로 상기 팬 헤드를 조정하여 사프트를 통해 연결된 카메라가 상,하,좌,우로 움직이게 하여 물체를 추적하면서 촬영을 하게 되었다. 그러나 종래에 이와같은 경우 사람의 통행이 빈번하지 않은 장소에서는 사용자의 모니터 감시에 헛점이 많게 되므로 감시의 사각화가 발생되는 문제점이었다.

상기 문제점을 해결하기 위하여 한국공개특허 제10-2010-0061890호는 5개의 마이크로폰으로 들어오는 소리의 레벨 강도를 각각 비교하여 최고 레벨의 해당방위각을 찾아낸 후 음성신호가 발생되어진 방향으로 카메라를 구동시키는 소리감지를 통한 카메라 위치 제어장치를 제안하였다.

하지만, 제안된 장치는 단순히 소리가 발생하는 방향으로 촬영방향만을 이동하는 것에 불과하다는 문제점이 있다.

KR 10-2010-0061890 A

본 발명은 상기와 같은 기술적 과제를 해결하기 위해 제안된 것으로, 영상, 음성, 주변환경정보를 바탕으로 위험상황을 자동검출하여 표시할 수 있는 영상번역 카메라 시스템을 제공한다.

상기 문제점을 해결하기 위한 본 발명의 일 실시예에 따르면, 미리 설정된 촬영영역의 가시광선 영상, 열화상 영상 및 움직임 정보를 검출하는 영상정보 입력부와, 미리 설정된 각각의 방향의 소리를 수집하는 소리 인식부와, 대기의 성분을 감지하는 대기성분 감지부와, 시각 및 청각방법을 이용하여 경보를 송출하는 경보 모듈부와, 상기 영상정보 입력부로부터 전송된 정보를 바탕으로 검출된 객체의 종류를 영상에 표시하되, 상기 소리 인식부에서 전송된 소리정보 및 상기 대기성분 감지부로부터 전송된 대기성분을 토대로 각 객체의 위험상황을 검출한 후 상기 경보 모듈부를 통해 경고하도록 처리하는 제어부를 포함하는 영상번역 카메라 시스템이 제공된다.

또한, 본 발명에서는 제어부에서 송신하는 정보를 수신하여 미리 등록된 적어도 하나 이상의 단말기로 영상정보를 제공하는 관리서버를 더 포함하는 것을 특징으로 한다.

또한, 본 발명에 포함되는 상기 대기성분 감지부는, 탄화수소, 질소산화물, 황산화물, 일산화탄소, 이산화탄소, 시안화수소, 할로겐화수소, 아황산가스, 포름알데히드, 아크롤레인, LPG, LNG, 미세먼지, 온도, 습도 중 어느 하나 이상의 물질의 농도를 감지하는 것을 특징으로 한다.

또한, 본 발명에 포함되는 제어부는, 촬영영역에서 객체가 검출되는 영역을 시선집중구역으로 설정하되, 검출된 객체의 속도변화에 비례하여 시선집중구역의 면적을 자동조절하는 것을 특징으로 한다.

또한, 본 발명에 포함되는 경보 모듈부는, 배열된 복수의 발광 다이오드를 점멸하여 대피방향을 표시하는 방향 표시부와, 경보음을 방송하는 스피커와, 바닥 또는 벽면에 대피방향을 조사하는 레이저부를 포함하는 것을 특징으로 한다.

또한, 본 발명에 포함되는 제어부는, 소리 인식부에서 수집된 소리에서 긴급 음성패턴이 검출될 때 소리가 수집된 방향을 촬영하면서 경고하고,

대기성분 감지부에서 미리 설정된 조건이 검출될 때 경고하며,

영상정보 입력부에서 미리 설정된 객체 또는 미리 설정된 객체움직임이 발생할 때 경고하도록 제어하는 것을 특징으로 한다.

본 발명의 실시예에 따른 영상번역 카메라 시스템은 영상, 음성, 주변환경정보를 바탕으로 위험상황을 자동 검출할 수 있어 활용도가 매우 높다. 즉, 영상정보를 바탕으로 음성, 냄새정보를 고려하여 위험상황을 예측하고, 예측된 상황을 영상에 동시에 표시할 수 있다.

또한, 영상번역 카메라 시스템은 감지된 열정보, 소리정보, 대기정보, 움직임 정보가 미리 설정된 패턴에 해당할 경우 경고를 발생시키고, 해당 영역의 영상정보를 집중적으로 모니터링 할 수 있는 정보를 자동으로 표시할 수 있다.

도 1은 본 발명의 실시예에 따른 영상번역 카메라 시스템(1)의 구성도
도 2는 영상번역 카메라 시스템(1)의 예시도
도 3은 영상번역 카메라 시스템(1)의 동작 예시도
도 4는 영상번역 카메라 시스템(1)에서 생성된 영상을 나타낸 제1 예시도
도 5는 영상번역 카메라 시스템(1)에서 생성된 영상을 나타낸 제2 예시도

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부한 도면을 참조하여 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 영상번역 카메라 시스템(1)의 구성도이고, 도 2는 영상번역 카메라 시스템(1)의 예시도이고, 도 3은 영상번역 카메라 시스템(1)의 동작 예시도이다.

본 실시예에 따른 영상번역 카메라 시스템(1)은 제안하고자 하는 기술적인 사상을 명확하게 설명하기 위한 간략한 구성만을 포함하고 있다.

도 1 내지 도 3을 동시에 참조하면, 영상번역 카메라 시스템(1)은 영상정보 입력부(100)와, 소리 인식부(200)와, 대기성분 감지부(300)와, 제어부(400)와, 관리서버(500)와, 단말기(600)와, 경보 모듈부(700)를 포함하여 구성된다.

여기에서 영상정보 입력부(100)는 가시영상 촬영부(110)와, 열화상 촬영부(120)와, 라이더(LiDAR) 센서부(130)를 포함한다. 라이더(LiDAR) 센서부(130) 대신 깊이 카메라(depth camera)가 사용될 수도 있다.

상기와 같이 구성되는 영상번역 카메라 시스템(1)의 주요동작은 다음과 같이 이루어진다.

영상정보 입력부(100)는 미리 설정된 촬영영역의 가시광선 영상, 열화상 영상 및 움직임 정보를 검출하도록 동작한다.

영상정보 입력부(100)는 가시영상 촬영부(110)와, 열화상 촬영부(120)와, 라이더(LiDAR) 센서부(130)를 구비하고 있으므로, 야간 및 악천 후 환경에서도 촬영영역을 효과적으로 감시할 수 있다.

가시영상 촬영부(110)는 미리 설정된 촬영영역의 가시광선 영상을 촬영한다.

또한, 열화상 촬영부(120) 촬영영역의 열화상 영상을 촬영한다. 열화상 촬영부(120)는 비접촉 온도 측정 장비이다. 열화상 촬영부(120)는 절대0도(0°Kelvin) 이상의 온도에서 모든 물질에 의하여 방사, 전송 또는 반사되는 적외선 에너지를 감지하고 이러한 에너지 요인을 온도측정치 또는 온도기록으로 전환한다. 온도기록은 열화상 촬영부(120)가 표시하는 적외선 에너지를 방사, 전송 또는 반사하는 물체의 열 이미지로 출력한다.

열화상 촬영부(120)는 초광대역/저전력의 매우 좁은 펄스를 송신하고 정밀한 해상도로 수신 펄스 신호를 복원하기 위한 임펄스 레이더용 RF 송수신 칩셋과 수신된 레이더 신호로부터 클러터 제거, 움직이는 물체에 대한 특징 수집(속도), 자세 추정(걸음걸이) 그리고 정지한 물체의 특성(호흡) 등을 추정할 수 있는 레이더 신호처리 알고리즘을 적용하여 활용할 수도 있다.

또한, 라이더(LiDAR, Laser Detection And Ranging) 센서부(130)는 레이저를 목표물에 비춤으로써 사물까지의 거리, 방향, 속도, 온도, 물질 분포 및 농도 특성 등을 감지할 수 있는 장치이다.

라이다 센서의 구성은 레이저 송신부, 레이저 검출부, 신호 수집 및 처리와 데이터를 송수신하기 위한 부분으로 구분될 수 있다. 아울러 라이다 센서는 레이저 신호의 변조 방법에 따라 time-of-flight(TOF) 방식과 phase-shift 방식으로 구분될 수 있다.

TOF 방식은 레이저가 펄스 신호를 방출하여 측정 범위 내에 있는 물체들로부터의 반사 펄스 신호들이 수신기에 도착하는 시간을 측정함으로써 거리를 측정하는 것이 가능하다. Phase-shift 방식은 특정 주파수를 가지고 연속적으로 변조되는 레이저 빔을 방출하고 측정 범위 내에 있는 물체로부터 반사되어 되돌아오는 신호의 위상 변화량을 측정하여 시간 및 거리를 계산하는 방식이다.

레이저 광원은 250nm부터 11μm까지의 파장 영역에서 특정 파장을 가지거나 파장 가변이 가능한 레이저 광원들이 사용되며, 최근에는 소형, 저전력이 가능한 반도체 레이저 다이오드가 많이 사용된다. 특히, 레이저의 파장은 대기, 구름, 비 등에 대한 투과성과 eye-safety 에 직접적인 영향을 준다. 기본적으로 레이저 출력, 파장, 스펙트럼 특성, 펄스 폭 및 모양 등과 함께 수신기의 수신감도 및 다이내믹 레인지, 그리고 광학필터 및 렌즈의 특성이 라이다의 성능을 결정하는 주요 요인이다. 이와 함께 수신기의 측정 각도를 나타내는 Field Of View(FOV), 측정 범위를 선택하기 위한 field stop, 레이저빔과 수신기의 FOV overlap 특성 등도 중요한 항목이다. 광속에 대하여 단위 데이터 수집을 위한 최소 시간은 거리 분해능(range resolution)을 결정하는 요인이며, 따라서 1m 이하의 거리 분해능을 위해서는 수 ns 이내의 데이터 수집 및 처리가 요구된다.

본 발명에서는 이와 같은 라이더(LiDAR) 센서부(130)가 사용됨으로서 미리 설정된 촬영영역의 3차원 영상을 실시간으로 확보할 수 있다. 이때 사용되는 파장은 가변될 수 있다.

가시영상 촬영부(110), 열화상 촬영부(120), 라이더(LiDAR) 센서부(130)는 각각 내부의 모터를 이용하여 회전(PAN), 방향기울기(TILT), 줌(ZOOM) 조정이 가능하도록 구성되는 것이 바람직하며, 가시영상 촬영부(110), 열화상 촬영부(120), 라이더(LiDAR) 센서부(130)는 모두 동일한 촬영영역을 감지하도록 설정되는 것이 가장 바람직하다.

만약 가시영상 촬영부(110), 열화상 촬영부(120), 라이더(LiDAR) 센서부(130)가 서로 다른 촬영영역을 감지할 경우, 제어부(400)는 가시영상 촬영부(110), 열화상 촬영부(120), 라이더(LiDAR) 센서부(130)가 각각 감지하는 영역 중에서 공통영역만을 자동으로 촬영영역으로 설정하여 영상을 처리하는 동작을 진행한다.

소리 인식부(200)는 미리 설정된 각각의 방향의 소리를 수집한다.

본 실시예에서 소리 인식부(200)는 복수의 지향성 마이크로 구성되어 각 방향에서 감지되는 소리를 인식한다. 예를 들어 4개의 마이크가 동일한 위치에 배치될 경은 각 마이크 사이에는 격벽이 설치되어 소리의 진원지를 파악하는데 보조적인 도움을 줄 수 있다. 따라서 제어부(400)는 소리 인식부(200)에서 수집된 소리에서 긴급 음성패턴이 검출될 때, 영상정보 입력부(100)가 소리가 수집된 방향을 촬영하도록 제어할 수 있다.

또한, 제어부는 공장에서 가스가 누출되는 소리를 감지하여, 영상정보 입력부(100)가 소리가 수집된 방향을 촬영하도록 제어하면서 문자 및 안내소리를 출력하도록 제어할 수 있다.

대기성분 감지부(300)는 대기의 성분을 감지한다. 대기성분 감지부(300)는 대기 성분 중 유해물질의 농도를 감지한다. 대기성분 감지부(300)는 탄화수소, 질소산화물, 황산화물, 일산화탄소, 이산화탄소, 시안화수소, 할로겐화수소, 아황산가스, 포름알데히드, 아크롤레인, LPG, LNG, 미세먼지, 온도, 습도 중 어느 하나 이상의 물질의 농도를 감지할 수 있는 멀티 센서유닛으로 구성되는 것이 바람직하다.

참고적으로, 대기성분 감지부 또는 제어부는 화재로 인한 탄 냄새를 식별하기 위해 탄 냄새 조성물 정보가 저장되어 있다. 즉, 탄 냄새 조성물 정보는 탄 냄새를 구성하는 화합물의 구체적인 성분 및 해당 농도가 저장되어 있으므로 이를 토대로 화재여부를 예측하여 경고할 수 있다.

경보 모듈부(700)는 시각 및 청각방법을 이용하여 경보를 송출한다.

즉, 경보 모듈부(700)는, 표시부와, 스피커와, 레이저부를 구비할 수 있다.

표시부는 복수의 발광 다이오드를 점멸하여 대피방향을 표시하거나 문자를 표시한다. 표시부는 2차원 형태로 배열된 복수의 발광 다이오드로 구성되는데, 턴온(TURN ON)된 발광 다이오드를 화살표 형태로 표시되도록 하여 대피방향을 표시해 줄 수 있다. 이때 발광 다이오드를 통해 표시되는 화살표 형태는 빠르게 점멸하거나 화살표 방향으로 움직이는 애니메이션 형태로 표시될 수 있으며, 붉은 색 등과 같은 시인성이 좋은 색으로 표시될 수 있다.

스피커는 설정된 경보음을 방송한다. 예를 들면, 화재가 발생하거나, 가스가 누출되는 등의 상황이 발생했을 때, 해당 상황을 사람의 음성으로 방송할 수 있고, 특정 경고음을 방송할 수도 있다. 또한 표시부와 연동되어 표시부에서 지시하는 방향 및 정보를 음성으로 방송할 수 있다. 해당 음성은 적어도 하나 이상의 언어로 반복해서 방송되는 것이 바람직하다.

레이저부는 바닥 또는 벽면에 대피방향 또는 문자정보를 조사한다. 즉, 레이저부는 방향 표시부 및 스피커와 연동되어 바닥 또는 벽면에 대피방향 및 정보를 표시할 수 있다. 레이저부는 기본적으로 화살표 모양의 표식을 통해서 방향을 표시하며, 필요에 따라 방향을 지시하는 다양한 모양을 표시하도록 설정될 수 있다.

기본적으로 제어부(400)는 영상정보 입력부(100)로부터 전송된 정보를 바탕으로 검출된 객체의 종류를 영상에 표시하고, 검출된 정보를 로그기록으로 저장한다. 특히, 제어부(400)는 소리 인식부(200)에서 전송된 소리정보 및 대기성분 감지부(300)로부터 전송된 대기성분을 토대로 각 객체의 위험상황을 검출한 후 경보 모듈부(700)를 통해 경고하도록 처리한다.

예를 들어, 영상처리를 통해 특정 행동을 하는 사람이나 특정 차종을 구분하고 차량의 번호판을 인식하여, 사용자가 지정한 행동이나 차량이 나타나면 영상의 상황을 안내할 수 있다.

또한, 공장의 가스 검출과 특정 물질의 타는 냄새를 검출하여 탐지가 확인되면 알람 발생하도록 제어할 수 있다.

또한, 사용자가 설정한 온도 수치와 습도 수치를 넘어서면 알람을 발생하도록 제어할 수 있다.

한편, 제어부는 센서의 로그 데이터를 수집하여 특수 상황에서의 유의미한 데이터로 변환하여 저장 후 일반 사용자에게 그날 그날의 유의사항을 전달할 수 있다. 예를 들면, 건조한 날씨에서 고온의 환경을 미리 학습 후 사용자에게 사전 조치사항을 안내하는 문자를 전송하도록 제어할 수 있다.

관리서버(500)는 제어부(400)에서 송신하는 정보를 수신하여 미리 등록된 적어도 하나 이상의 단말기(600)로 영상을 제공한다. 관리서버(500)는 미리 등록된 이벤트가 발생할 때마다 해당 영상 및 정보를 미리 등록된 단말기(600)로 자동전송한다.

여기에서 단말기(600)는 휴대폰, 스마트폰, 스마트 패드 등과 같이 사용자가 휴대하면서 사용할 수 있는 기기와, 관제센터에 있는 모니터장치, 모니터 단말을 총칭하는 것이다.

도 4는 영상번역 카메라 시스템(1)에서 생성된 영상을 나타낸 제1 예시도이다.

도 4를 참조하면, 제어부(400)는 검출된 객체의 종류 및 이동속도와, 소리 인식부(200)에서 감지된 소리정보 및 대기성분 감지부(300)에서 감지된 대기성분을 토대로 각 객체의 위험상황을 검출하고, 해당 상황을 문자로 영상에 표시하고 경보 모듈부(700)를 통해 경고하도록 제어한다.

예를 들어, 제어부(400)는 특정영역의 화염과, 폭발소리와, 대기성분을 동시에 고려하여 가스폭발이 발생한 상황과 해당 가스가 어떤 성분인지를 감지하여 외부로 전파할 수 있다. 또한, 제어부(400)는 출입금지구역에 사람, 자동차, 애완동물 등이 침입한 상황을 영상정보 뿐만 아니라 소리 및 대기성분을 감지하여 판별할 수 있다.

제어부(400)는 기본적으로 라이더(LiDAR) 센서부(130)의 영상정보를 토대로 각 객체의 종류와 속도를 산출한다.

영상번역 카메라 시스템(1)이 주차장 등에 설치될 경우 차량화재를 자동추정할 수 있다. 이때, 제어부(400)는 자동차의 엔진룸의 온도 뿐만 아니라 배기가스의 방출량, 방출누적시간, 배기가스 성분을 토대로 화재위험을 경고할 수 있다.

또한, 제어부(400)는 차량의 속도를 추정할 때, 라이더(LiDAR) 센서부(130)의 측정값 뿐만 아니라 열화상 촬영부(120)에서 감지된 배기가스 방출량, 배기가스 온도변화량, 차량의 소음, 배기가스 방출소음, 배기가스 성분을 추가로 고려하여 차량의 속도 변화량을 추정할 수도 있다.

또한, 제어부(400)는 차량의 영상, 차량의 소리, 대기성분을 토대로 디젤 및 가솔린 차량의 시동여부를 파악한 후, 일정 공회전 시간이 초과될 경우 경고하도록 처리할 수 있다.

한편, 관리서버(500)는 주차장에 주차된 차량 내부에 설치된 차량녹화장치(블랙박스)와 무선으로 데이터를 상호 교환하도록 구성될 수 있다.

즉, 관리서버(500)가 차량녹화장치로부터 영상을 수신하고, 자동차 내부에 어린이라는 객체인식할 경우, 어린이 보호모드가 자동실행된다.

어린이 보호모드에서 영상번역 카메라 시스템(1)은 시동유지 여부, 운전자 및 보호자의 하차여부를 객체인식 한 후, 어린이가 방치되는 것을 방지할 수 있는 기능을 실행한다.

즉, 운전자 및 보호자 없이 소정의 시간이상 어린이만이 감지될 경우, 단말기(600)로 경고를 전송한다. 이때, 관리서버(500)는 차량녹화장치의 영상을 토대로 어린이의 심장 박동수 및 호흡수가 파악될 경우, 지속적으로 심장 박동수 및 호흡수를 전송할 수 있으며, 체온, 심장 박동수 및 호흡수가 기준범위를 초과할 경우 제어부(400)를 통해 경고할 수 있다.

만약, 어린이가 카시트 뒤보기 상태로 앉아 있고, 어린이의 얼굴 정면에 대면되는 위치에 어린이 얼굴보기용 거울이 부착 - 일반적으로 뒷좌석 시트 머리 지지대에 장착됨 - 된 경우,

차량녹화장치는 어린이 얼굴보기용 거울에 비춰지는 얼굴을 영상감지할 수 있다. 따라서 관리서버(500)는 차량녹화장치로 부터 전송된 거울에 비춰지는 얼굴을 객체인식한 후, 어린이의 심장 박동수 및 호흡수를 파악할 수도 있다.

참고적으로, 어린이가 영상으로 객체인식 되어 어린이 보호모드가 실행될 경우, 영상번역 카메라 시스템(1)은 라이더(LiDAR) 센서부(130)를 이용하여 어린이 객체가 인식된 방향으로 주기적으로 소정의 감지파장의 전파를 송신 및 수신하여 어린이 객체의 움직임을 추가적으로 파악할 수 있다.

도 5는 영상번역 카메라 시스템(1)에서 생성된 영상을 나타낸 제2 예시도이다.

도 5를 참조하면, 제어부(400)는 촬영영역에서 객체가 검출되는 영역을 시선집중구역으로 설정(붉은색 점선)하는데, 검출된 객체의 속도변화에 비례하여 시선집중구역의 면적을 자동조절한다.

예를 들어, 제어부(400)는 미리 설정된 객체(오토바이)가 검출되는 시점부터 소정의 크기로 시선집중구역을 설정하여 표시- 객체의 이름, 속도도 동시에 표시함- 하는데, 오토바이의 속도가 설정속도 이상 증가할 경우, 시선집중구역을 축소하면서 과속주의라는 문구를 추가로 표시하고, 속도표시를 붉은색으로 강조한다. 이때, 오토바이와 무관한 문구는 시선집중구역 밖으로 자동이동시킨다.

또한, 제어부(400)는 감지된 소리(바퀴 마찰음)의 크기를 영상에 표시하고, 대기성분을 토대로 배기가스 기준의 초과여부를 영상에 표시할 수 있다.

또한, 제어부(400)는 촬영영역에서 소정의 온도변화가 있는 영역을 시선집중구역으로 설정(붉은색 점선)할 수 있다. 이때, 제어부(400)는 온도변화에 비례하여 시선집중구역의 면적을 자동조절할 수 있다. 예를 들어, 소정의 온도이상이 감지되면 시선집중구역이 설정되고 화재가 발생할 정도의 온도에 도달하면 해당 구역에 시선집중구역을 집중시키고 “화재주의“라는 문구를 추가로 표시하고 온도를 붉은색으로 강조하여 표시할 수 있다.

한편, 복수의 가시영상 촬영부(110)가 설치될 경우, 예를 들어 제1 가시영상 촬영부가 (기본) 촬영영역을 촬영하고 있고, 제2 가시영상 촬영부가 추가로 배치되어 (기본) 촬영영역의 일부를 중복하여 촬영 - 구조물에 의해 제1 가시영상 촬영부가 촬영할 수 없는 영역을 촬영함 - 할 경우, 제어부(400)는 사각지역을 촬영한 영상을 제2 가시영상 촬영부로부터 수신하여 좌표를 정합하여 표시할 수 있다.

관리서버(500)는 수신받은 영상 중에서 영상의 변화가 없는 부분을 피드백하고, 제어부(400)는 영상의 변화가 없는 부분은 자동 제거함으로써 저장 용량을 감소시킬 수 있다. 또한, 관리서버(500)는 영상을 복수의 영역으로 구분한 후, 객체의 움직임 또는 차량 속도를 고려하여 각 영역별 저장 영상 프레임을 가변시킬 수는 정보를 피드백할 수 있다.

참고적으로, 영상번역 카메라 시스템(1)은 가시영상 촬영부(110)에서 촬영된 가시영상을 토대로 인식된 객체(사람)의 안면 이미지까지 촬영할 수 있다.

제어부(400)는 촬영된 안면 이미지의 색상변화를 통해 안면동맥의 박동성 혈액의 흐름을 측정하여 심장 박동수를 산출한다. 즉, 촬영한 안면 이미지 중 관심영역을 선택한 후 RGB(Red Green Blue) 채널로 분리하고, RGB 채널 중 각 채널에 비선형 스케일 팩터(Scale Factor)를 부여하여 신호대 잡음비(SNR)를 조절하고, 비선형 스케일 팩터(Scale Factor)가 부여된 신호를 토대로 심장 박동수를 산출한다.

즉, 제어부(400)는 전방위 평면 이미지에서 운전자의 안면 이미지를 추출하고 안면 이미지 중 관심영역을 선택한 후 RGB(Red Green Blue) 채널로 분리하고, RGB 채널 중 각 채널에 비선형 스케일 팩터(Scale Factor)를 부여하여 신호대 잡음비(SNR)를 조절하고, 비선형 스케일 팩터(Scale Factor)가 부여된 신호를 토대로 심장 박동수를 산출할 수 있다.

또한, 제어부(400)는 비선형 스케일 팩터(Scale Factor)가 부여된 신호를 주파수 영역으로 변환한 후, 심장 박동수에 해당하는 주파수 도메인 중 가장 큰 파워 스펙트럼 주파수 값을 토대로 호흡수를 산출할 수 있다.

즉, 제어부(400)는 산출된 심장 박동수 및 호흡수를 토대로 객체(사람)의 졸음 가능성을 판단할 수 있고, 산출된 심장 박동수 및 호흡수를 토대로 호흡곤란 또는 심장마비까지도 판단할 수 있다.

또한, 제어부(400)는 복수의 객체의 감지된 속도 및 형태를 바탕으로 각 객체와의 상관관계를 파악한 후 경고할 수 있다. 예를 들어, 어린이(객체1)와 오토바이(객체2)가 동시에 감지될 경우, 제어부(400)는 오토바이가 소정의 속도 이상으로 어린이가 있는 방향으로 이동할 때 경고할 수 있다.

한편, 열화상 촬영부(120)는 사람의 체온을 측정할 때, 라이더(LiDAR) 센서부(130)의 거리값을 참고하여 사람의 체온을 보정한 후 최종 체온을 산출할 수도 있다.

또한, 열화상 촬영부(120)는 칩 내부에서 발생하는 랜덤 노이즈(random noise)를 억제하여 수신하기 위해, 동일 레인지(송신 클록과 수신 샘플링 클록 간 동일한 시간 간격)에서 반복 수신 후 다음 레인지 수신으로 변경하도록 동작할 수 있다.

또한, 제어부(400)는 미리 설정된 촬영영역을 복수의 영역으로 분할한 후, 각 영역별 감지시간, 감지객체, 감지 이벤트를 독립적으로 미리 설정할 수 있다.

또한, 제어부(400)에서 송신된 영상을 수신한 관리서버(500)는 자체적으로 객체인식동작을 진행할 수 있다. 즉, 관리서버(500)는 인식된 객체정보를 제어부(400)로 피드백 하는데, 각각의 객체정보는 객체 종류별로 미리 할당된 식별코드 및 각 객체의 중심영역에 대한 시간별 위치정보를 포함한다.

예를 들면, 자동차 번호판이라는 객체가 인식될 경우, 자동차 번호판에 미리 할당된 식별코드와, 자동차 번호판의 중심영역의 위치(좌표)에 대한 시간별 위치정보가 전송된다.

참고적으로, 식별코드는 객체코드 및 부가코드를 포함하는데, 객체코드는 자동차 번호판이라는 형상에 부여된 코드이고, 부가코드는 자동차 번호판의 번호 등과 같은 부가 데이터 정보를 코드화한 것으로 정의된다.

따라서 제어부(400) 입장에서는 이미지 프로세싱작업을 직접 처리하지 않고도 관리서버(500)로부터 전송되는 객체정보를 수신하여, 자동차 번호판이라는 객체의 인식된 번호와, 그 이동위치를 파악할 수 있다. 관리서버(500)는 제어부(400)의 요청에 의해 복수의 객체를 동시에 인식하고, 각각의 위치를 실시간 추적 가능하다.

또한, 관리서버(500)는 제어부(400)로부터 사고발생영상이 전송될 경우 과실비율을 지능적으로 분석해서 피드백할 수 있다. 또한, 관리서버(500)는 법규를 위반하는 차량영상을 지능적으로 분석하여 법규위반신고에 필요한 영상만을 추출할 수 있다. 관리서버(500)가 영상에서 법규위반 차량을 판단할 때, 지도정보(주정차정보, 도로정보, 지자체 고시사항)를 함께 고려하여 지능적으로 위반상황을 판단할 수도 있다.

본 발명의 실시예에 따른 영상번역 카메라 시스템은 영상, 음성, 냄새정보를 바탕으로 위험상황을 자동 검출할 수 있어 활용도가 매우 높다. 즉, 영상정보를 바탕으로 음성, 냄새정보를 고려하여 위험상황을 예측하고, 예측된 상황을 영상에 동시에 표시할 수 있다.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100 : 영상정보 입력부
110 : 가시영상 촬영부
120 : 열화상 촬영부
130 : 라이더(LiDAR) 센서부
200 : 소리 인식부
300 : 대기성분 감지부
400 : 제어부
500 : 관리서버
600 : 단말기
700 : 경보 모듈부

Claims (6)

1. 미리 설정된 촬영영역의 가시광선 영상, 열화상 영상 및 움직임 정보를 검출하는 영상정보 입력부;
   미리 설정된 각각의 방향의 소리를 수집하는 소리 인식부;
   대기의 성분을 감지하는 대기성분 감지부;
   시각 및 청각방법을 이용하여 경보를 송출하는 경보 모듈부; 및
   상기 영상정보 입력부로부터 전송된 정보를 바탕으로 검출된 객체의 종류를 영상에 표시하되, 상기 소리 인식부에서 전송된 소리정보 및 상기 대기성분 감지부로부터 전송된 대기성분을 토대로 각 객체의 위험상황을 검출한 후 상기 경보 모듈부를 통해 경고하도록 처리하는 제어부;를 포함하고,
   상기 제어부는 특정영역의 화염과, 폭발소리와, 대기성분을 동시에 고려하여 가스폭발이 발생한 상황과 해당 가스가 어떤 성분인지를 감지하여 외부로 전파하고, 출입금지구역에 사람, 자동차, 애완동물이 침입한 상황을 영상정보 뿐만 아니라 소리 및 대기성분을 추가로 고려하여 판별하고,
   상기 제어부는 객체로써 인식된 차량의 속도를 산출할 때, 라이더 센서부의 측정값과, 열화상 영상에서 감지된 배기가스 방출량 및 배기가스 온도변화량과, 차량의 소음과, 배기가스 방출소음과, 배기가스 성분을 모두 고려하여 상기 차량의 속도 변화량을 추정하고,
   상기 제어부는 열화상 영상에서 감지된 상기 차량의 엔진룸의 온도와, 배기가스 방출량, 방출누적시간, 배기가스 성분을 토대로 화재위험을 경고하며,
   상기 제어부는 상기 차량의 영상, 상기 차량의 소리, 대기성분을 토대로 디젤 및 가솔린 차량의 시동여부를 파악한 후, 일정 공회전 시간이 초과될 경우 경고하도록 처리하는 것을 특징으로 하는 영상번역 카메라 시스템.
   
2. 제1항에 있어서,
   상기 제어부에서 송신하는 정보를 수신하여 미리 등록된 적어도 하나 이상의 단말기로 영상정보를 제공하는 관리서버;를 더 포함하는 것을 특징으로 하는 영상번역 카메라 시스템.
   
3. 제1항에 있어서,
   상기 대기성분 감지부는,
   탄화수소, 질소산화물, 황산화물, 일산화탄소, 이산화탄소, 시안화수소, 할로겐화수소, 아황산가스, 포름알데히드, 아크롤레인, LPG, LNG, 미세먼지, 온도, 습도 중 어느 하나 이상의 물질의 농도를 감지하는 것을 특징으로 하는 영상번역 카메라 시스템.
   
4. 제1항에 있어서,
   상기 제어부는,
   상기 촬영영역에서 객체가 검출되는 영역을 시선집중구역으로 설정하되, 검출된 객체의 속도변화에 비례하여 상기 시선집중구역의 면적을 자동조절하는 것을 특징으로 하는 영상번역 카메라 시스템.
   
5. 제1항에 있어서,
   상기 경보 모듈부는,
   배열된 복수의 발광 다이오드를 점멸하여 대피방향을 표시하는 방향 표시부;
   경보음을 방송하는 스피커; 및
   바닥 또는 벽면에 대피방향을 조사하는 레이저부;를 포함하는 것을 특징으로 하는 영상번역 카메라 시스템.
   
6. 제1항에 있어서,
   상기 제어부는,
   상기 소리 인식부에서 수집된 소리에서 긴급 음성패턴이 검출될 때 소리가 수집된 방향을 촬영하면서 경고하고,
   상기 대기성분 감지부에서 미리 설정된 조건이 검출될 때 경고하며,
   상기 영상정보 입력부에서 미리 설정된 객체 또는 미리 설정된 객체움직임이 발생할 때 경고하도록 제어하는 것을 특징으로 하는 영상번역 카메라 시스템.
   

Images