KR20240009771A - 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치 - Google Patents
감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치 Download PDFInfo
- Publication number
- KR20240009771A KR20240009771A KR1020220087088A KR20220087088A KR20240009771A KR 20240009771 A KR20240009771 A KR 20240009771A KR 1020220087088 A KR1020220087088 A KR 1020220087088A KR 20220087088 A KR20220087088 A KR 20220087088A KR 20240009771 A KR20240009771 A KR 20240009771A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- luminance
- color
- histogram
- image
- Prior art date
Links
- 230000002708 enhancing effect Effects 0.000 title 1
- 238000003702 image correction Methods 0.000 claims abstract description 46
- 230000008859 change Effects 0.000 claims abstract description 24
- 238000009499 grossing Methods 0.000 claims abstract description 10
- 238000013473 artificial intelligence Methods 0.000 claims description 66
- 238000000034 method Methods 0.000 claims description 46
- 238000012549 training Methods 0.000 claims description 9
- 239000000428 dust Substances 0.000 claims description 7
- 239000003595 mist Substances 0.000 claims description 5
- 238000010586 diagram Methods 0.000 abstract description 29
- 230000006872 improvement Effects 0.000 description 36
- 238000012806 monitoring device Methods 0.000 description 33
- 238000013528 artificial neural network Methods 0.000 description 15
- 238000012937 correction Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 210000002569 neuron Anatomy 0.000 description 6
- 230000003247 decreasing effect Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000000225 synapse Anatomy 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 238000009413 insulation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000001556 precipitation Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
본 발명은 관제 영역을 촬영하여 생성된 촬영 영상을 입력받는 입력부; 및 미리 설정된 주기 동안에 생성된 상기 촬영 영상의 영상 데이터의 단위 영역별 데이터 평균값을 산출하고, 미리 설정된 기간 동안의 상기 단위 영역별 데이터 평균값 간의 변화량 정보를 산출하고, 상기 변화량 정보가 기준 변화량 정보를 초과하면 해당 단위 영역을 비고정 영역으로 설정하고, 상기 변화량 정보가 상기 기준 변화량 정보 이하이면 해당 단위 영역을 고정 영역으로 설정하고, 상기 영상 데이터에 기초하여 히스토그램을 생성하고, 상기 히스토그램의 색상 데이터 분포도, 색상 데이터 밀집도, 휘도 데이터 분포도 및 휘도 데이터 밀집도 중 하나 이상에 기초하여 상기 히스토그램에 스트레칭 및 평활화 중 하나 이상을 수행하는 영상 보정을 수행하는 프로세서;를 포함할 수 있다.
Description
본 발명은 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치에 관한 것으로서, 더욱 상세하게는 인공지능 또는 비고정 영역의 휘도 데이터를 이용하여 영상 보정의 수행 여부를 판단하고, 영상 보정을 수행하는 것으로 판단되면 경우, 안개, 연무 및 눈과 같은 가상 환경을 고려하여 촬영 영상을 개선 후 기록하는 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치에 관한 것이다.
일반적으로 CCTV(CCTV: closed-circuit television, 폐쇄 회로 텔레비전, 이하 'CCTV'라 함) 감시 시스템은 최근 군사분야, 선박(예를 들어, 요트)분야, 범죄수사분야나 보안 분야, 교통사고 처리 분야 등에서 영상정보를 통해 감시구역의 이상 유무를 판단하는 영상정보 기술의 하나로써, 초기에는 공공장소나 위험장소에 설치되어 범죄를 예방하는 목적으로 주로 사용되어 왔으나, 최근에는 보안관리가 필요한 군사시설 및 선박(예를 들어, 요트) 등 다양한 장소에 설치되어 사용되고 있다.
실내 시스템에 있어서, 환경은 효과적으로 제어될 수 있고, 따라서 비디오 기록의 품질은 보장될 수 있다. 하지만, 실외 비디오 감시 시스템에 있어서, 날씨 조건은 비디오의 품질을 열화시키는 주요 요소 중의 하나이고, 이는 시스템의 성능의 열화를 가져온다. 종래의 비디오 처리 알고리즘은 주로 입력 비디오의 충분한 품질을 가정한다. 따라서, 시스템 성능을 향상시키기 위하여 실외 비디오의 품질을 향상시키는 전처리 단계가 필요하다.
종래의 많은 비디오 감시 시스템의 개발자들은 안개가 있는 실외 환경에서 촬영된 비디오의 품질을 향상시키기 안개를 제거하기 위한 시도를 해왔다.
구체적으로, 안개를 제거하기 위해서는 위치마다 피사체의 거리정보 또는 안개가 얼만큼 짙게 형성되어 있는지에 대한 정보가 필요하다. 이를 위해 두개의 서로 다른 편광렌즈를 사용하거나, 두 개 이상의 카메라를 이용하거나 또는 맑은 날의 영상을 이용하는 방법이 있다. 하지만 이 경우 두 개 이상의 카메라가 필요하거나 모든 장소에 대한 영상 데이터가 필요하게 되는 문제가 생긴다.
따라서, 이러한 문제점 때문에 최근의 안개제거 알고리즘은 한 개의 영상이 있을 때 안개를 제거하는 방향으로 연구가 진행되고 있다.
즉, 카메라에 의하여 기록되는 영상은 동일한 영상이라도 날씨, 즉 기상상태에 따라 그리고 조명의 밝기에 따라 기록되는 영상의 선명도가 달라진다. 조명이 어두운 야간에 촬영된 영상은 그 선명도가 떨어지기 때문에 선명도를 향상시키고 잡음을 제거하기 위한 영상처리기술이 개발되어 왔으나, 한편, 기상이 좋지 않은 상황, 예를 들어, 안개, 황사, 스모그와 같은 기상현상이 있거나, 눈 또는 우박, 비와 같은 기상현상이 있는 경우에는 조명적 요인 이외에도 그러한 기상현상에 의한 빛의 산란 등으로 인하여 촬영된 영상의 선명도가 나빠진다. 이러한 영상에 대하여 선명도를 향상시키기 위한 영상처리방법이 개발되어 왔으나, 그러한 기상현상이 없는 때의 영상과 비교하여 지금까지의 영상처리방법의 결과에는 근본적인 한계가 있다.
본 발명의 목적은, 영상 보정의 수행 여부를 인공지능 모델과 휘도 데이터를 이용하여 신속하게 판단하고, 영상 보정을 수행하는 것으로 판단되면 안개, 연무 및 눈과 같은 가상 환경에 대응하여 촬영 영상의 색상과 휘도를 보정하고, 보정된 영상을 개선하고, 개선된 영상을 기록할 수 있는 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치를 제공함에 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상술된 목적을 달성하기 위한 본 발명은 관제 영역을 촬영하여 생성된 촬영 영상을 입력받는 입력부; 및 미리 설정된 주기 동안에 생성된 상기 촬영 영상의 영상 데이터의 단위 영역별 데이터 평균값을 산출하고, 미리 설정된 기간 동안의 상기 단위 영역별 데이터 평균값 간의 변화량 정보를 산출하고, 상기 변화량 정보가 기준 변화량 정보를 초과하면 해당 단위 영역을 비고정 영역으로 설정하고, 상기 변화량 정보가 상기 기준 변화량 정보 이하이면 해당 단위 영역을 고정 영역으로 설정하고, 상기 영상 데이터에 기초하여 히스토그램을 생성하고, 상기 히스토그램의 색상 데이터 분포도, 색상 데이터 밀집도, 휘도 데이터 분포도 및 휘도 데이터 밀집도 중 하나 이상에 기초하여 상기 히스토그램에 스트레칭 및 평활화 중 하나 이상을 수행하는 영상 보정을 수행하는 프로세서;를 포함할 수 있다.
바람직하게, 상기 프로세서는 상기 비고정 영역의 비고정 영역 넓이가 기준 넓이를 초과하면 상기 영상 보정의 수행 여부를 판단하는 방법을 인공지능 모델을 이용한 제1 방법으로 결정하고, 상기 비고정 영역의 비고정 영역 넓이가 기준 넓이 이하이면 휘도 데이터를 이용한 제2 방법으로 결정할 수 있다.
바람직하게, 상기 프로세서는 상기 영상 보정의 수행 여부를 판단하는 방법이 상기 제1 방법으로 결정된 경우, 학습용 영상 데이터 및 상기 학습용 영상 데이터에 대한 영상 보정의 수행 여부가 미리 정해진 학습용 판단 데이터로 구성된 학습 데이터를 이용하여 학습된 상기 인공지능 모델에 상기 촬영 영상의 영상 데이터를 입력 데이터로 입력하고, 상기 인공지능 모델로부터 상기 촬영 영상의 영상 데이터에 대한 영상 보정의 수행 여부를 나타내는 판단 데이터를 출력 데이터로 출력받고, 상기 판단 데이터에 따라 상기 촬영 영상의 영상 데이터에 대한 영상 보정의 수행 여부를 판단할 수 있다.
바람직하게, 상기 프로세서는 상기 영상 보정의 수행 여부를 판단하는 방법이 상기 제2 방법으로 결정된 경우, 상기 비고정 영역에 대응되는 영상 데이터의 휘도 데이터가 기준 휘도 데이터 범위에 포함되지 않으면 상기 촬영 영상의 영상 데이터에 대한 영상 보정의 수행 여부를 판단할 수 있다.
바람직하게, 상기 프로세서는 복수의 후보 기준 휘도 데이터 범위 중에서 상기 촬영 영상의 촬영 환경 정보에 대응되는 후보 기준 휘도 데이터 범위를 상기 기준 휘도 데이터 범위로 설정할 수 있다.
바람직하게, 상기 촬영 환경 정보는 촬영 일시 정보, 촬영 고도 정보 및 촬영 위치 정보를 포함할 수 있다.
바람직하게, 상기 복수의 후보 기준 휘도 데이터 범위는 상기 촬영 환경 정보가 매칭되고, 해당 촬영 환경 정보가 나타내는 촬영 환경에서 안개, 박무, 연무, 비, 눈 및 먼지가 없는 기상 상태일 때, 촬영된 촬영 영상의 휘도 데이터에 기초하여 정의될 수 있다.
바람직하게, 상기 프로세서는 상기 영상 데이터 중 색상 데이터에 기초하여 색상 히스토그램을 생성하고, 상기 색상 히스토그램의 상기 색상 데이터 분포도가 기준 색상 데이터 분포도 미만이면, 상기 색상 히스토그램의 상기 색상 데이터 분포도가 보정 색상 데이터 분포도 이상이 되도록 상기 색상 히스토그램을 스트레칭하여 스트레칭 색상 히스토그램을 생성하고, 스트레칭 색상 히스토그램의 색상 데이터값 구간별로 상기 색상 데이터 밀집도가 기준 색상 데이터 밀집도 범위에 포함되는지 확인하고, 상기 기준 색상 데이터 밀집도 범위에 포함되지 않는 상기 색상 데이터값 구간의 상기 색상 데이터 밀집도가 상기 기준 색상 데이터 밀집도 범위에 포함되도록 상기 스트레칭 색상 히스토그램을 평활화하여 보정 색상 히스토그램을 생성할 수 있다.
바람직하게, 상기 프로세서는 상기 영상 데이터 중 휘도 데이터에 기초하여 휘도 히스토그램을 생성하고, 상기 휘도 히스토그램의 상기 휘도 데이터 분포도가 기준 휘도 데이터 분포도 미만이면, 상기 휘도 히스토그램의 상기 휘도 데이터 분포도가 보정 휘도 데이터 분포도 이상이 되도록 상기 휘도 히스토그램을 스트레칭하여 스트레칭 휘도 히스토그램을 생성하고,스트레칭 휘도 히스토그램의 휘도 데이터값 구간별로 상기 휘도 데이터 밀집도가 기준 휘도 데이터 밀집도 범위에 포함되는지 확인하고, 상기 기준 휘도 데이터 밀집도 범위에 포함되지 않는 상기 휘도 데이터값 구간의 상기 휘도 데이터 밀집도가 상기 기준 휘도 데이터 밀집도 범위에 포함되도록 상기 스트레칭 휘도 히스토그램을 평활화하여 보정 휘도 히스토그램을 생성할 수 있다.
본 발명에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치는, 영상 보정의 수행 여부를 인공지능 모델과 휘도 데이터를 이용하여 신속하게 판단하고, 영상 보정을 수행하는 것으로 판단되면 안개, 연무 및 눈과 같은 가상 환경에 대응하여 촬영 영상의 색상과 휘도를 보정하고, 보정된 영상을 개선하고, 개선된 영상을 기록함으로써, 악천후의 기상 환경에서 촬영된 영상의 선명도 및 사물 구분 용이도를 향상시킬 수 있다.
도 1은 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치와 연결되는 감시 장치가 설치된 요트의 정면을 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치와 연결되는 감시 장치가 설치된 요트의 상부를 도시한 도면이다.
도 3는 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치와 감시 장치의 연결 상태를 도시한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치의 블록도이다.
도 5는 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치에서 이용되는 인공지능 모델의 학습 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치에서 이용되는 인공지능 모델을 통해 판단 데이터를 획득하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치에 의해 생성된 색상 히스토그램을 도시한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치에 의해 생성된 스트레칭 색상 히스토그램을 도시한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치에 의해 생성된 보정 색상 히스토그램을 도시한 도면이다.
도 10은 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치에 의해 생성된 휘도 히스토그램을 도시한 도면이다.
도 11은 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치에 의해 생성된 스트레칭 휘도 히스토그램을 도시한 도면이다.
도 12는 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치에 의해 생성된 보정 휘도 히스토그램을 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치와 연결되는 감시 장치가 설치된 요트의 상부를 도시한 도면이다.
도 3는 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치와 감시 장치의 연결 상태를 도시한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치의 블록도이다.
도 5는 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치에서 이용되는 인공지능 모델의 학습 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치에서 이용되는 인공지능 모델을 통해 판단 데이터를 획득하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치에 의해 생성된 색상 히스토그램을 도시한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치에 의해 생성된 스트레칭 색상 히스토그램을 도시한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치에 의해 생성된 보정 색상 히스토그램을 도시한 도면이다.
도 10은 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치에 의해 생성된 휘도 히스토그램을 도시한 도면이다.
도 11은 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치에 의해 생성된 스트레칭 휘도 히스토그램을 도시한 도면이다.
도 12는 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치에 의해 생성된 보정 휘도 히스토그램을 도시한 도면이다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형 태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대 해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 작동, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현 은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는 (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중 요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성 요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합 한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성(또는 설정)된"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것 만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성 (또는 설정)된 제어부"는 해당 작동을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 작동들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
특히, 본 명세서에서, “~장치”는 중앙처리장치(Central Processing Unit (CPU)), 애플리케이션 프로세서(Application Processor (AP)) 및 커뮤니케이션 프로세서(Communication Processor (CP)) 중 하나 이상을 포함할 수 있다.
본 명세서에서, “~장치”는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 작동하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, “~장치”는 기계 구동 장치, 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한 정하려는 의도가 아닐 수 있다. 단수의 표현은 컨텍스트 상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은 관련 기술의 컨텍스트 상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
도 1은 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치와 연결되는 감시 장치가 설치된 요트의 정면을 도시한 도면이고, 도 2는 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치와 연결되는 감시 장치가 설치된 요트의 상부를 도시한 도면이고, 도 3는 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치와 감시 장치의 연결 상태를 도시한 도면이고, 도 4는 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치의 블록도이다.
도 1 내지 도 4를 참조하면, 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치(100)는 감시 장치(CC)로부터 생성된 촬영 영상을 입력받아, 휘도 및 색상을 개선하여 기록할 수 있다.
여기서, 감시 장치(CC)는 관제 영역을 촬영하는 장치일 수 있다. 구체적으로, 감시 장치(CC)는 요트, 군부대, 경찰 시설, 관공서, 국가 보안 시설, 공항, 항만, 발전소, 국가 기간 시설, 보안이 요구되는 민간 시설에 배치되어 관제 영역을 촬영할 수 있다.
본 발명의 일 실시 예에 따른 감시 장치(CC)는 도 1 및 도 2에 도시된 바와 같이, 요트의 일측에 설치되어 요트와 요트의 전방을 촬영할 수 있다.
이에 따라, 감시 장치(CC)는 요트의 일부 모습, 항구, 바다 등이 촬영된 촬영 영상을 생성할 수 있다.
이때, 감시 장치(CC)는 컬러 영상 카메라 또는 열 영상 카메라일 수 있다. 바람직하게, 감시 장치(CC)는 관제 영역을 촬영할 수 있는 한, 촬영 방식의 종류 및 촬영 영상의 포맷 종류가 제한되지 않음을 유의한다.
바람직하게, 감시 장치(CC)는 CCTV(Closed-Circuit Television) 카메라, 열영상 카메라(Thermal Observation Device;TOD) 및 무인비행장치(Unmanned Aerial Vehicle;UAV) 중 하나 이상일수 있다.
이때, 감시 장치(CC)가 CCTV 카메라인 경우, 감시 장치(CC)는 촬영 영상으로써, RGB 촬영 영상 및 B&W 촬영 영상 중 하나 이상을 생성할 수 있으며, 감시 장치(CC)가 TOD인 경우, 감시 장치(CC)는 촬영 영상으로써, 열화상 촬영 영상을 생성할 수 있으며, 감시 장치(CC)가 UAV인 경우, 감시 장치(CC)는 공중에서 촬영된 공중 촬영 영상을 생성할 수 있다.
일 실시 예에서, 감시 장치(CC)가 TOD인 경우, 감시 장치(CC)는 3세대 TOD인 “TAS-815K”일 수 있다.
한편, 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치(100)는 실내외에 배치되고, 감시 장치(CC)와 연결되어 감시 장치(CC)로부터 출력되는 촬영 영상을 입력받아 기록하거나 보정하여 기록할 수 있다.
여기서, 기록이란, 후술되는 저장부(140)에 구비된 저장매체에 촬영 영상이 저장됨을 의미할 수 있다.
여기서, 보정이란, 촬영 영상의 영상 데이터를 수정하여 촬영 영상에 촬영된 사물 이미지 및 사람 이미지의 시인성을 향상시킴을 의미할 수 있다.
이러한, 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치(100)는 입력부(110), 프로세서(120), 통신부(130), 저장부(140), 조작부(150), 전원부(160), 표시부(170) 및 캐리어(B)를 포함할 수 있다.
입력부(110)는 감시 장치(CC)와 유선 또는 무선으로 연결되어 감시 장치(CC)가 관제 영역을 촬영하여 생성된 촬영 영상을 입력받을 수 있다. 이러한, 입력부(110)는 복수의 영상 채널 입력 단자를 구비하고, 각 영상 채널 입력 단자가 감시 장치(CC)와 연결되어 촬영 영상이 입력부(110)에 촬영 영상이 입력될 수 있다.
또한, 영상 채널 입력 단자는 전원과 촬영 영상을 동시에 입력받을 수도 있으며, 풀림 방지 커넥터가 구비된 단지일 수 있다.
이러한, 영상 채널 입력 단자는 VGA 규격에 의한 단자일 수 있다.
한편, 촬영 영상은 압축 방식이 H.264 및 H.265 중 어느 하나일 수 있고, 영상 화질이 FULL HD 1080P(1920x1080) 이상 및 60FPS 이상일 수 있다.
입력부(110)는 촬영 영상의 출력 외에 다양한 정보 및 데이터를 외부 장치로부터 입력받거나 외부 장치로 출력할 수 있다. 이를 위해, 입력부(110)는 USB 규격의 입출력 단자, RS 485, RS 232 및 RJ 45 중 어느 하나의 규격의 입출력 단자 및 CVBS 규격의 점검 단자를 구비할 수 있다.
한편, 프로세서(120)는 상기 촬영 영상의 영상 데이터에 기초하여 상기 촬영 영상에 대한 영상 보정 여부를 판단하고, 촬영 영상에 대해 영상 보정을 수행하는 것으로 판단되면 촬영 영상의 히스토그램에 스트레칭 및 평활화 중 하나 이상을 수행할 수 있다.
여기서, 영상 데이터는 촬영 영상 중 일부 영역이 아닌 전체 영역에 대응되는 데이터일 수도 있고, 촬영 영상 중 고정 영역을 제외한 비고정 영역에 대응되는 데이터일 수도 있다.
즉, 프로세서(120)는 촬영 영상의 전체 영역에 대응되는 영상 데이터에 기초하여 상기 촬영 영상에 대한 영상 보정 여부를 판단할 수도 있으며, 촬영 영상의 비고정 영역에 대응되는 영상 데이터에 기초하여 상기 촬영 영상에 대한 영상 보정 여부를 판단할 수도 있다.
이를 위해, 프로세서(120)는 영상 데이터에 기초하여 고정 영역과 비고정 영역을 설정할 수 있다. 구체적으로, 프로세서(120)는 미리 설정된 주기 동안에 생성된 영상 데이터의 단위 영역별 데이터 평균값을 산출하고, 미리 설정된 기간 동안의 단위 영역별 데이터 평균값 간의 변화량 정보를 산출할 수 있다.
예를 들어, 프로세서(120)는 미리 설정된 주기가 1일인 경우, 1일 동안 생성된 영상 데이터 중에서 동일한 위치의 단위 영역에 대응되는 영상 데이터 값들의 평균을 데이터 평균값으로 산출할 수 있다.
이후, 프로세서(120)는 미리 설정된 기간이 7일인 경우, 7일 동안 산출된 단위 영역별 데이터 평균값의 단위 영역별 변화량을 변화량 정보로 산출할 수 있다.
이때, 프로세서(120)는 변화량 정보가 기준 변화량 정보를 초과하면 해당 단위 영역을 비고정 영역으로 설정할 수 있다.
반대로, 프로세서(120)는 변화량 정보가 기준 변화량 정보 이하이면 해당 단위 영역을 고정 영역으로 설정할 수 있다.
즉, 프로세서(120)는 움직이는 물체가 촬영되지 않아 영상 데이터의 변화가 적은 영역을 고정 영역으로 설정하고, 움직이는 물체가 촬영되어 영상 데이터의 변화가 있는 영역을 비고정 영역으로 설정할 수 있다.
이후, 프로세서(120)는 상기 비고정 영역의 비고정 영역 넓이에 기초하여 영상 보정의 수행 여부를 판단하는 방법을 제1 방법 및 제2 방법 중 어느 하나로 결정할 수 있다.
구체적으로, 프로세서(120)는 상기 비고정 영역의 비고정 영역 넓이가 기준 넓이를 초과하면 상기 영상 보정의 수행 여부를 판단하는 방법을 인공지능 모델을 이용한 제1 방법으로 결정할 수 있다.
반대로, 프로세서(120)는 비고정 영역의 비고정 영역 넓이가 기준 넓이 이하이면 휘도 데이터를 이용한 제2 방법으로 결정할 수 있다.
여기서, 기준 넓이는 촬영 영상의 전체 넓이 중에서 미리 설정된 비율이 적용된 넓이 일 수 있으며, 미리 설정된 비율은 30%일 수 있으나, 제한되지 않을 수 있다.
즉, 프로세서(120)는 촬영 영상의 전체 넓이 중에서 비고정 영역의 비고정 영역 넓이가 소정의 비율을 초과할 정도로 큰 넓이이면 비고정 영역의 비고정 영역 넓이가 커질수록 연산 처리량이 많아지는 제2 방법을 대신하여 제1 방법으로 영상 보정의 수행 여부를 판단하고, 촬영 영상의 전체 넓이 중에서 비고정 영역의 비고정 영역 넓이가 소정의 비율 이하일 정도로 작은 넓이이면 비고정 영역의 비고정 영역 넓이가 작아질수록 연산 처리량이 작아지는 제2 방법으로 영상 보정의 수행 여부를 판단할 수 있다.
이하, 제1 방법으로 영상 보정의 수행 여부를 판단하는 과정에 대해 설명하도록 한다.
도 5는 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치에서 이용되는 인공지능 모델의 학습 과정을 설명하기 위한 도면이고, 도 6은 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치에서 이용되는 인공지능 모델을 통해 판단 데이터를 획득하는 과정을 설명하기 위한 도면이다.
도 5를 더 참조하면, 프로세서(120)는 학습용 영상 데이터(LD1) 및 상기 학습용 영상 데이터(LD1)에 대한 영상 보정의 수행 여부를 미리 정해진 학습용 판단 데이터(LD2)로 구성된 학습 데이터를 이용하여 인공지능 모델(AI)를 학습시킬 수 있다.
여기서, 인공지능 모델(AI)은 인공 신경망으로 구성된 학습 모델일 수 있다.
도 6을 더 참조하면, 프로세서(120)는 학습 데이터를 이용하여 학습된 인공지능 모델(AI)에 촬영 영상의 영상 데이터(D1)를 입력 데이터로 입력하고, 상기 인공지능 모델(AI)로부터 상기 촬영 영상의 영상 데이터(D1)에 대한 영상 보정의 수행 여부를 나타내는 판단 데이터(D2)를 출력 데이터로 출력받을 수 있다.
이후, 프로세서(120)는 판단 데이터(D2)에 따라 상기 촬영 영상의 영상 데이터에 대한 영상 보정의 수행 여부를 판단할 수 있다. 예를 들어, 프로세서(120)는 판단 데이터(D2)가 촬영 영상의 영상 데이터에 대해 영상 보정을 수행함을 나타내면 촬영 영상의 영상 데이터에 대한 영상 보정을 수행하는 것으로 판단할 수 있다. 반대로, 프로세서(120)는 판단 데이터(D2)가 촬영 영상의 영상 데이터에 대해 영상 보정을 수행하지 않음을 나타내면 촬영 영상의 영상 데이터에 대한 영상 보정을 수행하지 않는 것으로 판단할 수 있다.
한편, 본 발명에서 인공 지능은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미하며, 머신 러닝(기계 학습, Machine Learning)은 인공 지능 분야에서 다루는 다양한 문제를 정의하고 그것을 해결하는 방법론을 연구하는 분야를 의미한다. 머신 러닝은 어떠한 작업에 대하여 꾸준한 경험을 통해 그 작업에 대한 성능을 높이는 알고리즘으로 정의하기도 한다.
인공 신경망(ANN: Artificial Neural Network)은 머신 러닝에서 사용되는 모델로써, 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)들로 구성되는, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 인공 신경망은 다른 레이어의 뉴런들 사이의 연결 패턴, 모델 파라미터를 갱신하는 학습 과정, 출력값을 생성하는 활성화 함수(Activation Function)에 의해 정의될 수 있다.
인공 신경망은 입력층(Input Layer), 출력층(Output Layer), 그리고 선택적으로 하나 이상의 은닉층(Hidden Layer)를 포함할 수 있다. 각 층은 하나 이상의 뉴런을 포함하고, 인공 신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다. 인공 신경망에서 각 뉴런은 시냅스를 통해 입력되는 입력 신호들, 가중치, 편향에 대한 활성 함수의 함수값을 출력할 수 있다.
모델 파라미터는 학습을 통해 결정되는 파라미터를 의미하며, 시냅스 연결의 가중치와 뉴런의 편향 등이 포함된다. 그리고, 하이퍼파라미터는 머신 러닝 알고리즘에서 학습 전에 설정되어야 하는 파라미터를 의미하며, 학습률(Learning Rate), 반복 횟수, 미니 배치 크기, 초기화 함수 등이 포함된다.
인공 신경망의 학습의 목적은 손실 함수를 최소화하는 모델 파라미터를 결정하는 것으로 볼 수 있다. 손실 함수는 인공 신경망의 학습 과정에서 최적의 모델 파라미터를 결정하기 위한 지표로 이용될 수 있다.
머신 러닝은 학습 방식에 따라 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning)으로 분류할 수 있다.
지도 학습은 학습 데이터에 대한 레이블(label)이 주어진 상태에서 인공 신경망을 학습시키는 방법을 의미하며, 레이블이란 학습 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다. 비지도 학습은 학습 데이터에 대한 레이블이 주어지지 않는 상태에서 인공 신경망을 학습시키는 방법을 의미할 수 있다. 강화 학습은 어떤 환경 안에서 정의된 에이전트가 각 상태에서 누적 보상을 최대화하는 행동 혹은 행동 순서를 선택하도록 학습시키는 학습 방법을 의미할 수 있다.
인공 신경망 중에서 복수의 은닉층을 포함하는 심층 신경망(DNN: Deep Neural Network)으로 구현되는 머신 러닝을 딥 러닝(심층 학습, Deep Learning)이라 부르기도 하며, 딥 러닝은 머신 러닝의 일부이다. 본 명세서에서, 머신 러닝은 딥 러닝을 포함하는 의미로 사용된다.
이하, 제2 방법으로 영상 보정의 수행 여부를 판단하는 과정에 대해 설명하도록 한다.
프로세서(120)는 상기 비고정 영역에 대응되는 영상 데이터의 휘도 데이터가 기준 휘도 데이터 범위에 포함되지 않으면 상기 촬영 영상의 영상 데이터에 대한 영상 보정의 수행 여부를 판단할 수 있다.
이를 위해, 상기 프로세서(120)는 복수의 후보 기준 휘도 데이터 범위 중에서 상기 촬영 영상의 촬영 환경 정보에 대응되는 후보 기준 휘도 데이터 범위를 상기 기준 휘도 데이터 범위로 설정할 수 있다.
구체적으로, 프로세서(120)는 촬영 영상의 촬영 환경 정보를 확인하고, 해당 촬영 환경 정보에 대응되는 후보 기준 휘도 데이터 범위를 확인할 수 있다.
여기서, 촬영 환경 정보는 촬영 일시 정보, 촬영 고도 정보, 촬영 위치 정보를 포함할 수 있다.
여기서, 후보 기준 휘도 데이터 범위에는 촬영 환경 정보가 매칭되어 있고, 해당 촬영 환경 정보가 나타내는 촬영 환경에서 안개, 박무, 연무, 비, 눈 및 먼지가 없는 기상 상태 때, 촬영된 촬영 영상의 휘도 데이터에 기초하여 정의될 수 있다.
이를 통해, 프로세서(120)는 안개, 박무, 연무, 비, 눈 및 먼지로 인해 비고정 영역에 대응되는 영상 데이터의 휘도 데이터가 기준 휘도 데이터 범위에 포함되지 않은 경우, 촬영 영상에 대한 영상 보정을 수행하는 것으로 판단할 수 있다.
한편, 다른 실시 예에 따른 프로세서(120)는 영상 보정 여부의 판단없이 촬영 영상에 대해 영상 보정을 무조건 수행할 수도 있으며, 상술된 제1 방법과 제2 방법 외에, 촬영 영상의 촬영 시점의 기상 정보가 보정 조건을 만족하면 촬영 영상에 대해 영상 보정을 수행하는 것으로 판단할 수 있다.
구체적으로, 다른 실시 예에 따른 프로세서(120)는 기상 정보가, 안개, 박무 및 연무 중 어느 하나를 나타내면 기상 정보가 보정 조건을 만족하는 것으로 판단하여 촬영 영상에 대해 영상 보정을 수행하는 것으로 판단할 수 있다.
또한, 프로세서(120)는 기상 정보가, 미리 설정된 미세먼지량을 초과하는 미세먼지량, 미리 설정된 강수량을 초과하는 강수량 및 미리 설정된 강설량을 초과하는 강설량을 나타내면 기상 정보가 보정 조건을 만족하는 것으로 판단하여 촬영 영상에 대해 영상 보정을 수행하는 것으로 판단할 수 있다.
이후, 프로세서(120)는 촬영 영상에 대한 영상 보정을 수행하는 것으로 판단한 경우, 상기 영상 데이터에 기초하여 히스토그램을 생성하고, 상기 히스토그램의 색상 데이터 분포도, 색상 데이터 밀집도, 휘도 데이터 분포도 및 휘도 데이터 밀집도 중 하나 이상에 기초하여 상기 히스토그램에 스트레칭 및 평활화 중 하나 이상을 수행할 수 있다.
구체적으로, 프로세서(120)는 영상 데이터 중에서 색상 데이터에 기초하여 색상 히스토그램을 생성하고, 색상 히스토그램의 색상 데이터 분포도에 기초하여 색상 히스토그램에 스트레칭을 수행하고, 색상 데이터 밀집도에 기초하여 색상 히스토그램에 평활화를 수행할 수 있다.
한편, 프로세서(120)는 영상 데이터 중에서 휘도 데이터에 기초하여 휘도 히스토그램을 생성하고, 휘도 히스토그램의 휘도 데이터 분포도에 기초하여 휘도 히스토그램에 스트레칭을 수행하고, 휘도 데이터 밀집도에 기초하여 휘도 히스토그램에 평활화를 수행할 수 있다.
즉, 프로세서(120)는 영상 데이터로부터 색상 데이터와 휘도 데이터를 각각 분리하고, 색상 데이터와 휘도 데이터 각각으로부터 색상 히스토그램과 휘도 히스토그램을 생성할 수 있다.
우선, 색상 히스토그램을 이용하여 보정을 수행하는 과정을 설명하도록 한다.
도 7은 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치에 의해 생성된 색상 히스토그램을 도시한 도면이고, 도 8은 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치에 의해 생성된 스트레칭 색상 히스토그램을 도시한 도면이고, 도 9는 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치에 의해 생성된 보정 색상 히스토그램을 도시한 도면이다.
도 7을 더 참조하면, 프로세서(120)는 영상 데이터 중에서 색상 데이터를 추출하고, 색상 데이터를 이용하여 색상 히스토그램(CH)을 생성할 수 있다.
색상 히스토그램은 색상 데이터값 각각에 대응되는 픽셀 수를 나타내는 정보로써, 색상 데이터의 분포를 나타내는 표일 수 있다.
이후, 프로세서(120)는 상기 색상 히스토그램(CH)의 상기 색상 데이터 분포도가 기준 색상 데이터 분포도 미만이면, 상기 색상 히스토그램(CH)의 상기 색상 데이터 분포도가 보정 색상 데이터 분포도 이상이 되도록 상기 색상 히스토그램(CH)을 스트레칭하여 스트레칭 색상 히스토그램(SCH)을 생성할 수 있다.
이때, 색상 데이터 분포도는 색상 히스토그램의 x축인 색상 데이터 범위 대비 색상 데이터의 최소 색상 데이터값 내지 최대 색상 데이터값의 구간(CB)의 비율일 수 있다.
이후, 프로세서(120)는 도 8에 도시된 바와 같이, 색상 데이터 각각의 색상 데이터값을 증가시키거나 감소시켜 색상 데이터 각각의 색상 데이터값 간에 간격이 조절함으로써, 색상 히스토그램(CH)을 스트레칭할 수 있다.
다음으로, 프로세서(120)는 스트레칭 색상 히스토그램(SCH)의 색상 데이터값 구간(CM)별로 상기 색상 데이터 밀집도가 기준 색상 데이터 밀집도 범위에 포함되는지 확인할 수 있다.
이, 프로세서(120)는 도 9에 도시된 바와 같이, 상기 기준 색상 데이터 밀집도 범위에 포함되지 않는 상기 색상 데이터값 구간(CM)의 상기 색상 데이터 밀집도가 상기 기준 색상 데이터 밀집도 범위에 포함되도록 상기 스트레칭 색상 히스토그램을 평활화하여 보정 색상 히스토그램(SCH')을 생성할 수 있다.
여기서, 색상 데이터 밀집도는 색상 데이터값 구간(CM) 대비 데이터값이 존재하는 색상 데이터의 수 간의 비율일 수 있다.
즉, 프로세서(120)는 상기 기준 색상 데이터 밀집도 범위를 초과하는 상기 색상 데이터값 구간(CM)의 색상 데이터 각각의 색상 데이터값을 증가시키거나 감소시켜 색상 데이터값을 분산시킬 수 있다.
반대로, 프로세서(120)는 상기 기준 색상 데이터 밀집도 범위 미만인 상기 색상 데이터값 구간(CM)의 색상 데이터 각각의 색상 데이터값을 증가시키거나 감소시켜 색상 데이터값을 밀집시킬 수 있다.
이하, 휘도 히스토그램을 이용하여 보정을 수행하는 과정을 설명하도록 한다.
도 10은 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치에 의해 생성된 휘도 히스토그램을 도시한 도면이고, 도 11은 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치에 의해 생성된 스트레칭 휘도 히스토그램을 도시한 도면이고, 도 12는 본 발명의 일 실시 예에 따른 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치에 의해 생성된 보정 휘도 히스토그램을 도시한 도면이다.
도 10를 더 참조하면, 프로세서(120)는 영상 데이터 중에서 휘도 데이터를 추출하고, 휘도 데이터를 이용하여 휘도 히스토그램(YH)을 생성할 수 있다.
휘도 히스토그램은 휘도 데이터값 각각에 대응되는 픽셀 수를 나타내는 정보로써, 휘도 데이터의 분포를 나타내는 표일 수 있다.
이후, 프로세서(120)는 상기 휘도 히스토그램(YH)의 상기 휘도 데이터 분포도가 기준 휘도 데이터 분포도 미만이면, 상기 휘도 히스토그램(YH)의 상기 휘도 데이터 분포도가 보정 휘도 데이터 분포도 이상이 되도록 상기 휘도 히스토그램(YH)을 스트레칭하여 스트레칭 휘도 히스토그램(SYH)을 생성할 수 있다.
이때, 휘도 데이터 분포도는 휘도 히스토그램의 x축인 휘도 데이터 범위 대비 휘도 데이터의 최소 휘도 데이터값 내지 최대 휘도 데이터값의 구간(YB)의 비율일 수 있다.
이후, 프로세서(120)는 도 11에 도시된 바와 같이, 휘도 데이터 각각의 휘도 데이터값을 증가시키거나 감소시켜 휘도 데이터 각각의 휘도 데이터값 간에 간격이 조절함으로써, 휘도 히스토그램(YH)을 스트레칭할 수 있다.
다음으로, 프로세서(120)는 스트레칭 휘도 히스토그램(SYH)의 휘도 데이터값 구간(YM)별로 상기 휘도 데이터 밀집도가 기준 휘도 데이터 밀집도 범위에 포함되는지 확인할 수 있다.
이, 프로세서(120)는 도 12에 도시된 바와 같이, 상기 기준 휘도 데이터 밀집도 범위에 포함되지 않는 상기 휘도 데이터값 구간(YM)의 상기 휘도 데이터 밀집도가 상기 기준 휘도 데이터 밀집도 범위에 포함되도록 상기 스트레칭 휘도 히스토그램을 평활화하여 보정 휘도 히스토그램(SYH')을 생성할 수 있다.
여기서, 휘도 데이터 밀집도는 휘도 데이터값 구간(YM) 대비 데이터값이 존재하는 휘도 데이터의 수 간의 비율일 수 있다.
즉, 프로세서(120)는 상기 기준 휘도 데이터 밀집도 범위를 초과하는 상기 휘도 데이터값 구간(YM)의 휘도 데이터 각각의 휘도 데이터값을 증가시키거나 감소시켜 휘도 데이터값을 분산시킬 수 있다.
반대로, 프로세서(120)는 상기 기준 휘도 데이터 밀집도 범위 미만인 상기 휘도 데이터값 구간(YM)의 휘도 데이터 각각의 휘도 데이터값을 증가시키거나 감소시켜 휘도 데이터값을 밀집시킬 수 있다.
이후, 프로세서(120)는 보정 색상 히스토그램과 보정 휘도 히스토그램 각각으로부터 보정 색상 데이터와 보정 휘도 데이터를 독출하고, 보정 색상 데이터와 보정 휘도 데이터를 병합하여 보정 영상 데이터로 생성할 수 있다.
이후, 프로세서(120)는 보정 영상 데이터에 기초하여 보정 영상을 표시하도록 표시부(170)를 제어하거나, 보정 영상 데이터를 저장하도록 저장부(140)를 제어할 수 있다.
한편, 프로세서(120)는 보정 영상 데이터에 대해 감마 보정 및 엣지 보정 중 하나 이상을 수행할 수 있다. 여기서, 감마 보정 및 엣지 보정 각각의 보정 방식을 제한되지 않으나 촬영 영상의 시인성 향상에 적합한 보정 알고리즘이 채택될 수 있다.
한편, 프로세서(120)는 상술된 각 구성 요소의 작동을 수행할 수 있으며, 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.
프로세서(120)는 저장부(140)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상술된 각 구성 요소의 작동을 수행하도록 구성될 수 있다.
한편, 통신부(130)는 통신망과 연동하여 외부 기기와 각 장치들 간의 송수신 신호를 패킷 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공할 수 있다. 나아가, 통신부(130)는 각각의 장치들의 데이터 요청에 응답하여 데이터를 송신하는 역할을 수행할 수 있다.
여기서, 통신부(130)는 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
또한, 통신부(130)는 촬영 영상이 입력되면 기상 정보를 기상 서버로부터 수신하여 프로세서(120)에 제공할 수 있다.
저장부(140)에는 프로세서(120)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 저장부(140)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.
또한, 저장부(140)는 촬영 영상 및 보정된 촬영 영상을 저장할 수 있다.
이때, 저장부(140)는 전원부(160)에 전원이 입력되면 입력부(110)에 입력되는 촬영 영상을 우선 저장하고, 프로세서(120)에 의해 보정된 촬영 영상 또한 저장할 수 있다.
이때, 저장부(140)는 촬영 시점이 동일한 촬영 영상과 보정된 촬영 영상이 모두 저장된 경우, 보정된 촬영 영상을 보존하고 보정되지 않은 촬영 영상을 삭제할 수 있다.
한편, 저장부(140)는 촬영 영상을 1일 24시간 기준 5일치 저장할 수 있다.
조작부(150)는 도 3에 도시된 바와 같이, 사용자에게 다양한 조작 작동을 제어할 수 있는 버튼을 제공할 수 있다.
전원부(160)는 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치(100)의 작동을 위한 전원을 공급할 수 있다.
이를 위해, 전원부(160)는 전원 입력 포트를 구비할 수 있다.
이러한, 전원부(160)는 입력전압 범위가 DC 72V 내지 100V일 수 있고, 출력전원이 DC 12V 및 5A일 수 있으며, 출력 리플/노이즈가 Max.50mVp-p이하일 수 있고, 절연전압(내압)이 AC 1,500V(60Hz)이상일 수 있고, 절연저항이 100MΩ 이상일 수 있다.
또한, 전원부(160)는 자연 냉각 방식으로 냉각되며 냉각 효율 85% 이상일 수 있다.
또한, 전원부(160)는 서지보호, 역전압(역극성)보호, 과전압보호, 과전류보호, 저전압(입력 50V) 및 고전압(입력130V) 자동전원보호가 가능한 보호 회로를 구비할 수 있다.
표시부(170)와 결합된 터치 스크린을 통해 매장 직원으로부터 다양한 정보를 입력받을 수 있다.
표시부(170)는 프로세서(120)의 제어에 따라 이미지나 비디오를 표시할 수 있다. 특히, 표시부(170)는 촬영 영상을 표시하거나 보정된 촬영 영상을 표시할 수 있다.
일 실시 예에 따르면 표시부(170)는 터치 스크린과 결합된 형태의 터치 스크린 디스플레이일 수 있다.
캐리어(B)는 상술된 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치(100)의 구성들을 내부에 수용할 수 있다.
이러한, 캐리어(B)는 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치(100)가 내부와 외부 모두에 배치되어 촬영 영상을 보정하고 기록하도록 방수, 방진 및 방염이 가능한 소재로 형성될 수 있다.
또한, 캐리어(B)는 상술된 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치(100)의 구성들을 내부에 수용한 상태에서 사용자에 의해 이동이 용이하도록, 밀폐되어 내부를 외부와 차단 가능하고 사용자가 파지 가능한 손잡이와, 이동 가능한 바퀴가 구비될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
100 : 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치
110 : 입력부
120 : 프로세서
130 : 통신부
140 : 저장부
150 : 조작부
160 : 전원부
170 : 표시부
B : 캐리어
110 : 입력부
120 : 프로세서
130 : 통신부
140 : 저장부
150 : 조작부
160 : 전원부
170 : 표시부
B : 캐리어
Claims (7)
- 관제 영역을 촬영하여 생성된 촬영 영상을 입력받는 입력부; 및
미리 설정된 주기 동안에 생성된 상기 촬영 영상의 영상 데이터의 단위 영역별 데이터 평균값을 산출하고, 미리 설정된 기간 동안의 상기 단위 영역별 데이터 평균값 간의 변화량 정보를 산출하고, 상기 변화량 정보가 기준 변화량 정보를 초과하면 해당 단위 영역을 비고정 영역으로 설정하고, 상기 변화량 정보가 상기 기준 변화량 정보 이하이면 해당 단위 영역을 고정 영역으로 설정하고, 상기 영상 데이터에 기초하여 히스토그램을 생성하고, 상기 히스토그램의 색상 데이터 분포도, 색상 데이터 밀집도, 휘도 데이터 분포도 및 휘도 데이터 밀집도 중 하나 이상에 기초하여 상기 히스토그램에 스트레칭 및 평활화 중 하나 이상을 수행하는 영상 보정을 수행하는 프로세서;를 포함하는 것을 특징으로 하는
감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치.
- 제1항에 있어서,
상기 프로세서는
상기 비고정 영역의 비고정 영역 넓이가 기준 넓이를 초과하면 상기 영상 보정의 수행 여부를 판단하는 방법을 인공지능 모델을 이용한 제1 방법으로 결정하고,
상기 비고정 영역의 비고정 영역 넓이가 기준 넓이 이하이면 휘도 데이터를 이용한 제2 방법으로 결정하는 것을 특징으로 하는
감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치.
- 제2항에 있어서,
상기 프로세서는
상기 영상 보정의 수행 여부를 판단하는 방법이 상기 제1 방법으로 결정된 경우, 학습용 영상 데이터 및 상기 학습용 영상 데이터에 대한 영상 보정의 수행 여부가 미리 정해진 학습용 판단 데이터로 구성된 학습 데이터를 이용하여 학습된 상기 인공지능 모델에 상기 촬영 영상의 영상 데이터를 입력 데이터로 입력하고, 상기 인공지능 모델로부터 상기 촬영 영상의 영상 데이터에 대한 영상 보정의 수행 여부를 나타내는 판단 데이터를 출력 데이터로 출력받고, 상기 판단 데이터에 따라 상기 촬영 영상의 영상 데이터에 대한 영상 보정의 수행 여부를 판단하는 것을 특징으로 하는
감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치.
- 제2항에 있어서,
상기 프로세서는
상기 영상 보정의 수행 여부를 판단하는 방법이 상기 제2 방법으로 결정된 경우, 상기 비고정 영역에 대응되는 영상 데이터의 휘도 데이터가 기준 휘도 데이터 범위에 포함되지 않으면 상기 촬영 영상의 영상 데이터에 대한 영상 보정의 수행 여부를 판단하는 것을 특징으로 하는
감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치.
- 제4항에 있어서,
상기 프로세서는
복수의 후보 기준 휘도 데이터 범위 중에서 상기 촬영 영상의 촬영 환경 정보에 대응되는 후보 기준 휘도 데이터 범위를 상기 기준 휘도 데이터 범위로 설정하는 것을 특징으로 하는
상기 촬영 환경 정보는
촬영 일시 정보, 촬영 고도 정보 및 촬영 위치 정보를 포함하고,
상기 복수의 후보 기준 휘도 데이터 범위는
상기 촬영 환경 정보가 매칭되고, 해당 촬영 환경 정보가 나타내는 촬영 환경에서 안개, 박무, 연무, 비, 눈 및 먼지가 없는 기상 상태일 때, 촬영된 촬영 영상의 휘도 데이터에 기초하여 정의되는 것을 특징으로 하는
감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치.
- 제1항에 있어서,
상기 프로세서는
상기 영상 데이터 중 색상 데이터에 기초하여 색상 히스토그램을 생성하고, 상기 색상 히스토그램의 상기 색상 데이터 분포도가 기준 색상 데이터 분포도 미만이면, 상기 색상 히스토그램의 상기 색상 데이터 분포도가 보정 색상 데이터 분포도 이상이 되도록 상기 색상 히스토그램을 스트레칭하여 스트레칭 색상 히스토그램을 생성하고,
스트레칭 색상 히스토그램의 색상 데이터값 구간별로 상기 색상 데이터 밀집도가 기준 색상 데이터 밀집도 범위에 포함되는지 확인하고, 상기 기준 색상 데이터 밀집도 범위에 포함되지 않는 상기 색상 데이터값 구간의 상기 색상 데이터 밀집도가 상기 기준 색상 데이터 밀집도 범위에 포함되도록 상기 스트레칭 색상 히스토그램을 평활화하여 보정 색상 히스토그램을 생성하는 것을 특징으로 하는
감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치.
- 제1항에 있어서,
상기 프로세서는
상기 영상 데이터 중 휘도 데이터에 기초하여 휘도 히스토그램을 생성하고, 상기 휘도 히스토그램의 상기 휘도 데이터 분포도가 기준 휘도 데이터 분포도 미만이면, 상기 휘도 히스토그램의 상기 휘도 데이터 분포도가 보정 휘도 데이터 분포도 이상이 되도록 상기 휘도 히스토그램을 스트레칭하여 스트레칭 휘도 히스토그램을 생성하고,스트레칭 휘도 히스토그램의 휘도 데이터값 구간별로 상기 휘도 데이터 밀집도가 기준 휘도 데이터 밀집도 범위에 포함되는지 확인하고, 상기 기준 휘도 데이터 밀집도 범위에 포함되지 않는 상기 휘도 데이터값 구간의 상기 휘도 데이터 밀집도가 상기 기준 휘도 데이터 밀집도 범위에 포함되도록 상기 스트레칭 휘도 히스토그램을 평활화하여 보정 휘도 히스토그램을 생성하는 것을 특징으로 하는
감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220087088A KR20240009771A (ko) | 2022-07-14 | 2022-07-14 | 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220087088A KR20240009771A (ko) | 2022-07-14 | 2022-07-14 | 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240009771A true KR20240009771A (ko) | 2024-01-23 |
Family
ID=89713774
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220087088A KR20240009771A (ko) | 2022-07-14 | 2022-07-14 | 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20240009771A (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060067723A (ko) | 2004-12-15 | 2006-06-20 | 엘지전자 주식회사 | 디지털 영상 촬영장치 |
-
2022
- 2022-07-14 KR KR1020220087088A patent/KR20240009771A/ko not_active Application Discontinuation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060067723A (ko) | 2004-12-15 | 2006-06-20 | 엘지전자 주식회사 | 디지털 영상 촬영장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200012859A1 (en) | Methods and systems for fire detection | |
| Chacon-Murguia et al. | An adaptive neural-fuzzy approach for object detection in dynamic backgrounds for surveillance systems | |
| US20210158008A1 (en) | UAV Video Aesthetic Quality Evaluation Method Based On Multi-Modal Deep Learning | |
| US9111353B2 (en) | Adaptive illuminance filter in a video analysis system | |
| KR101876433B1 (ko) | 행동인식 기반 해상도 자동 조절 카메라 시스템, 행동인식 기반 해상도 자동 조절 방법 및 카메라 시스템의 영상 내 행동 자동 인식 방법 | |
| US11770502B2 (en) | Image surveillance apparatus applied with moving-path tracking technique using multi camera | |
| CN111402145B (zh) | 一种基于深度学习的自监督低照度图像增强方法 | |
| CN112966646A (zh) | 基于双路模型融合的视频分割方法、装置、设备及介质 | |
| CN111325051A (zh) | 一种基于人脸图像roi选取的人脸识别方法及装置 | |
| CN111582074A (zh) | 一种基于场景深度信息感知的监控视频树叶遮挡检测方法 | |
| CN111274988B (zh) | 一种基于多光谱的车辆重识别方法及装置 | |
| CN114494908A (zh) | 一种基于改进的YOLOv5输电线路航拍图像缺陷检测方法 | |
| CN111401239B (zh) | 一种视频分析方法、装置、系统、设备及存储介质 | |
| CN109905670A (zh) | 一种多级平台监控系统 | |
| CN112651459A (zh) | 深度学习图像对抗样本防御方法、装置、设备及存储介质 | |
| Tragulnuch et al. | High voltage transmission tower detection and tracking in aerial video sequence using object-based image classification | |
| Liu et al. | Scene background estimation based on temporal median filter with Gaussian filtering | |
| CN111815529B (zh) | 一种基于模型融合和数据增强的低质图像分类增强方法 | |
| KR20240009771A (ko) | 감시 장치의 인공지능 기반 휴대용 영상 녹화 및 개선 장치 | |
| Aakroum et al. | Deep learning for inferring the surface solar irradiance from sky imagery | |
| CN115147650A (zh) | 一种基于SKNet和YOLOv5的海洋目标识别方法 | |
| KR102423323B1 (ko) | 기상 환경을 고려한 촬영 영상의 영상 개선 및 영상 기록 장치 | |
| CN113139419A (zh) | 一种无人机检测方法及装置 | |
| CN111724297B (zh) | 图像处理方法及装置 | |
| Shi et al. | Detection and segmentation of power line fires in videos |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |