KR102319593B1 - 영상분석을 위한 압축정보 생성방법, 장치, 및 컴퓨터 프로그램 - Google Patents
영상분석을 위한 압축정보 생성방법, 장치, 및 컴퓨터 프로그램 Download PDFInfo
- Publication number
- KR102319593B1 KR102319593B1 KR1020210102703A KR20210102703A KR102319593B1 KR 102319593 B1 KR102319593 B1 KR 102319593B1 KR 1020210102703 A KR1020210102703 A KR 1020210102703A KR 20210102703 A KR20210102703 A KR 20210102703A KR 102319593 B1 KR102319593 B1 KR 102319593B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- generating
- feature information
- color
- intermediate information
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 영상분석을 위한 압축정보 생성방법, 장치, 및 컴퓨터 프로그램에 관한 것으로서, 더욱 상세하게는 인공신경망 기반의 객체인식, 객체추적, 객체검출 등의 동작을 수행하는 영상분석의 속도를 높이면서 더욱 정확한 분석동작을 수행할 수 있도록 이미지로부터 압축정보를 생성하는, 영상분석을 위한 압축정보 생성방법, 장치, 및 컴퓨터 프로그램에 관한 것이다.
Description
본 발명은 영상분석을 위한 압축정보 생성방법, 장치, 및 컴퓨터 프로그램에 관한 것으로서, 더욱 상세하게는 인공신경망 기반의 객체인식, 객체추적, 객체검출 등의 동작을 수행하는 영상분석의 속도를 높이면서 더욱 정확한 분석동작을 수행할 수 있도록 이미지로부터 압축정보를 생성하는, 영상분석을 위한 압축정보 생성방법, 장치, 및 컴퓨터 프로그램에 관한 것이다.
최근 들어, 스마트 폰, CCTV, 블랙박스, 고화질 카메라 등으로부터 수집되는 영상 데이터가 급격히 증가되고 있다. 이에 따라, 비정형의 영상 데이터들을 기반으로 인물이나 사물 등을 인식하여 의미 있는 정보를 추출하고 내용을 시각적으로 분석하고 활용하기 위한 요구 사항이 증대되고 있다.
영상 데이터 분석 기술은 이러한 다양한 영상들에 대해 학습 및 분석을 수행하여 원하는 영상을 검색하거나 이벤트 발생 등의 상황 인식을 위한 제반기술들을 말한다.
하지만, 영상 데이터를 인식하여 분석하고 추적하는 기술은 상당한 계산량을 요구하는 알고리즘이기 때문에, 즉, 복잡도가 높아서 영상 데이터의 크기가 커질수록 연산 장치에 상당한 부하를 주게 된다. 이에 따라, 크기가 커진 영상데이터를 분석하는 시간이 점점 오래 걸리게 된다. 따라서, 영상 정보 분석 시간을 줄일 수 있는 방법이 꾸준히 요구되고 있는 실정이다.
한편, 최근 몇 년 사이 테러 등으로 인해 보안에 대한 인식이 강화되면서 영상 보안 시장이 지속적으로 성장하고 있으며, 이에 따라, 지능형 영상 처리에 대한 요구도 증가하고 있는 추세에 있다.
최근 H.265(HEVC) 등의 규약에 따른 블록 기반의 비디오 코덱을 기반으로 높은 해상도의 영상을 효율적으로 압축하여 전송하고 확인할 수 있는 기술이 확산되었다. 이와 같은 고해상도 영상은 CCTV 등의 모니터링 영상에도 적용이 되고 있으나, 이와 같은 고해상도 영상에서 분석, 트래킹 등에 있어서, 영상의 해상도가 높아짐에 따라 종래와 같은 객체검출방법은 보다 높은 연산량을 요구하고 따라서 실시간 영상에 대한 분석이 원활하게 이루어지지 않는다는 점이 있었다.
한편, 선행문헌 1(한국등록특허 제10-1409826호, 2014.6.13 등록)은 참조프레임 내의 블록들의 움직임 벡터에 대한 히스토그램에 기반하여 참조프레임의 움직임 벡터를 산출하고, 전역 움직임벡터에 기초하여 참조블록의 영역종류를 결정하는 기술을 개시하고 있다.
그러나, 선행문헌 1의 경우 영역전체에 대하여 움직임 벡터를 산출하고, 영역 전체에 대하여 히스토그램 데이터를 산출하여야 하기 때문에, 현재의 높은 해상도의 영상에서의 실시간 처리가 가능한 정도의 속도가 나오기 어렵고, 또한, 모든 블록들에 대하여 모션벡터를 고려하여야 하기 때문에, 불필요한 블록에 대해서도 일단 연산을 수행하여야 한다는 문제점이 있다.
한편, 이와 같은 문제점을 해결하기 위하여, 입력되는 영상 자체의 해상도를 줄여서, 영상분석 장치에 입력하는 방법이 제안되어 왔다. 그러나, 이와 같은 방식에서는 영상 자체의 해상도 자체를 줄이는 과정에서 정보가 손실되기 때문에, 영상분석의 정확도가 감소할 수 있다는 문제점이 있다. 또한, 영상 자체의 해상도가 줄어들지만, 영상분석의 속도는 크게 개선되지 못한다는 문제점이 있다.
선행문헌 2는 YOLOv3를 이용하여 객체(운동 중에 공)을 검출하는 기술로서, 볼 이미지와 같이 매우 미세한 픽셀의 객체의 경우에는 다운샘플링에 의하여 소실되는 정보를 감소시키기 위하여, 다운샘플링 인자(downsampling factor)를 학습된 방식으로 제한시키는 방법을 제안하고 있으나, 이는 기본적으로 연산속도의 저하를 초래한다는 문제점이 있다.
또한, 선행문헌 3은 BSP (bulk synchronization parallel) 모델을 이용하여 높은 사이즈의 이미지를 CNN을 통하여 분석하는 기술을 개시하고 있다. 선행문헌 3에는 이미지 자체를 CNN 레이어에 입력전에 복수의 조각으로 분할하여 각각이 인공신경망에 분리되어 입력되고, 패딩과 정규화 과정에서 서브이미지 추출정보를 하나의 이미지 추출정보로 병합하는 구성을 개시하고 있다. 이와 같은 선행문헌 3은 높은 해상도 이미지 분석에서의 제한된 메모리 문제를 해결할 수 있으나, 연산속도에 있어서 저하될 수 밖에 없다는 문제점이 있다.
본 발명의 목적은 인공신경망 기반의 객체인식, 객체추적, 객체검출 등의 동작을 수행하는 영상분석의 속도를 높이면서 더욱 정확한 분석동작을 수행할 수 있도록 이미지로부터 압축정보를 생성하는, 영상분석을 위한 압축정보 생성방법, 장치, 및 컴퓨터 프로그램을 제공하는 것이다.
상기와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에서는, 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 메인 메모리를 포함하는 컴퓨팅 시스템에서 수행되는 압축정보의 생성방법으로서, 입력이미지에 대하여 복수의 2차원필터를 포함하는 컨볼루션모듈에 의하여 복수의 채널을 갖고 입력이미지의 해상도보다 작은 해상도를 갖는 제1피쳐정보를 생성하는 제1피쳐정보생성단계; 입력이미지에 대하여 각각의 색상에 상응하는 채널을 갖고, 입력이미지의 해상도보다 작은 해상도를 갖는 색상정보를 생성하는 색상정보생성단계; 상기 제1피쳐정보와 색상정보를 병합하여 복수의 채널을 갖는 제1중간정보를 생성하는 제1중간정보생성단계; 상기 제1중간정보에 대하여 컨볼루션모듈에 의하여 복수의 채널을 갖고 제1중간정보의 해상도보다 작은 해상도를 갖는 제2피쳐정보를 생성하는 제2피쳐정보생성단계; 상기 제1중간정보에 대하여 해상도를 축소시켜 제2중간정보를 생성하는 제2중간정보생성단계; 상기 제2피쳐정보와 상기 제2중간정보를 병합하여 제3중간정보를 생성하는 제3중간정보생성단계; 및 상기 제3중간정보에 대하여 컨볼루션모듈에 의하여 복수의 채널을 갖는 압축정보를 생성하는 압축정보생성단계;를 포함하는, 압축정보의 생성방법을 제공한다.
본 발명의 몇 실시예에서는, 상기 제1피쳐정보생성단계에서의 컨볼루션모듈, 상기 제2피쳐정보생성단계에서의 컨볼루션모듈, 및 상기 압축정보생성단계에서의 컨볼루션모듈은 동일하게 학습된 필터를 사용할 수 있다.
본 발명의 몇 실시예에서는, 상기 제1피쳐정보생성단계에서는 배치 정규화 및 Leaky ReLU를 이용할 수 있다.
본 발명의 몇 실시예에서는, 상기 색상정보는 입력이미지를 풀링하여 해상도를 낮춘 이미지에서의 R색상에 대한 채널; 입력이미지를 풀링하여 해상도를 낮춘 이미지에서의 G색상에 대한 채널; 및 입력이미지를 풀링하여 해상도를 낮춘 이미지에서의 B색상에 대한 채널;을 포함할 수 있다.
본 발명의 몇 실시예에서는, 상기 제2피쳐정보는 상기 제2피쳐정보생성단계에서 이용되는 컨볼루션모듈의 2차원필터의 개수에 상응하는 채널수를 가질 수 있다.
본 발명의 몇 실시예에서는, 상기 제1피쳐정보생성단계, 및 상기 제2피쳐정보생성단계에서의 컨볼루션모듈은 2 이상의 stride 값으로 피쳐정보를 생성하고, 상기 압축정보생성단계에서의 컨볼루션모듈은 1의 stride 값으로 피쳐정보를 생성할 수 있다.
본 발명의 몇 실시예에서는, 상기 압축정보는 인공신경망 기반의 객체인식, 객체추적, 객체검출의 동작을 수행하는 영상분석모듈에 입력되는 정보에 해당하고, 상기 제1피쳐정보생성단계에서 사용되는 컨볼루션모듈은 상기 영상분석모듈과 연결된 상태에서 학습이 될 수 있다.
상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예에서는, 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 메인 메모리를 포함하는 압축정보의 생성장치로서, 상기 압축정보의 생성장치는, 입력이미지에 대하여 복수의 2차원필터를 포함하는 컨볼루션모듈에 의하여 복수의 채널을 갖고 입력이미지의 해상도보다 작은 해상도를 갖는 제1피쳐정보를 생성하는 제1피쳐정보생성단계; 입력이미지에 대하여 각각의 색상에 상응하는 채널을 갖고, 입력이미지의 해상도보다 작은 해상도를 갖는 색상정보를 생성하는 색상정보생성단계; 상기 제1피쳐정보와 색상정보를 병합하여 복수의 채널을 갖는 제1중간정보를 생성하는 제1중간정보생성단계; 상기 제1중간정보에 대하여 컨볼루션모듈에 의하여 복수의 채널을 갖고 제1중간정보의 해상도보다 작은 해상도를 갖는 제2피쳐정보를 생성하는 제2피쳐정보생성단계; 상기 제1중간정보에 대하여 해상도를 축소시켜 제2중간정보를 생성하는 제2중간정보생성단계; 상기 제2피쳐정보와 상기 제2중간정보를 병합하여 제3중간정보를 생성하는 제3중간정보생성단계; 및 상기 제3중간정보에 대하여 컨볼루션모듈에 의하여 복수의 채널을 갖는 압축정보를 생성하는 압축정보생성단계;를 수행하는, 압축정보의 생성장치를 제공한다.
상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예에서는, 하나 이상의 프로세서에 의해 실행되는 복수의 명령들을 포함하는, 컴퓨터-판독가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은, 입력이미지에 대하여 복수의 2차원필터를 포함하는 컨볼루션모듈에 의하여 복수의 채널을 갖고 입력이미지의 해상도보다 작은 해상도를 갖는 제1피쳐정보를 생성하는 제1피쳐정보생성단계; 입력이미지에 대하여 각각의 색상에 상응하는 채널을 갖고, 입력이미지의 해상도보다 작은 해상도를 갖는 색상정보를 생성하는 색상정보생성단계; 상기 제1피쳐정보와 색상정보를 병합하여 복수의 채널을 갖는 제1중간정보를 생성하는 제1중간정보생성단계; 상기 제1중간정보에 대하여 컨볼루션모듈에 의하여 복수의 채널을 갖고 제1중간정보의 해상도보다 작은 해상도를 갖는 제2피쳐정보를 생성하는 제2피쳐정보생성단계; 상기 제1중간정보에 대하여 해상도를 축소시켜 제2중간정보를 생성하는 제2중간정보생성단계; 상기 제2피쳐정보와 상기 제2중간정보를 병합하여 제3중간정보를 생성하는 제3중간정보생성단계; 및 상기 제3중간정보에 대하여 컨볼루션모듈에 의하여 복수의 채널을 갖는 압축정보를 생성하는 압축정보생성단계;를 수행하는, 컴퓨터 프로그램을 제공한다.
본 발명의 일 실시예에 따르면, 인공신경망 기반의 객체인식, 객체추적, 객체검출 등의 동작을 수행하는 영상분석의 속도를 높이면서 더욱 정확한 분석동작을 수행할 수 있도록 이미지로부터 압축정보를 생성할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 빠른 속도로 압축정보를 생성할 수 있고, 생성된 압축정보는 영상분석 모듈의 동작을 고속화시키면서 정확도의 손상을 최소화시킬 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 압축정보는 적은 데이터 사이즈를 가지면서, 영상분석에 중요하게 이용되는 색상정보를 최대한 유지할 수 있는 효과를 발휘할 수 있다.
도 1은 본 발명의 일 실시예에 따른 압축정보 생성방법이 수행되는 시스템에 대한 전체적인 구성을 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 압축정보 생성방법의 세부 단계들 및 이를 실행하는 컴퓨팅시스템의 내부 구성을 개략적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 제1피쳐정보 및 색상정보를 도출하는 과정을 개략적으로 도시한다.
도 4는 본 발명의 일 실시예에 따른 제1중간정보를 생성하는 과정을 개략적으로 도시한다.
도 5는 본 발명의 일 실시예에 따른 제2피쳐정보 및 제2중간정보를 생성하는 과정을 개략적으로 도시한다.
도 6은 본 발명의 일 실시예에 따른 제3중간정보를 생성하는 과정을 개략적으로 도시한다.
도 7은 본 발명의 일 실시예에 따른 압축정보를 생성하는 과정을 개략적으로 도시한다.
도 8는 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 예시적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 압축정보 생성방법의 세부 단계들 및 이를 실행하는 컴퓨팅시스템의 내부 구성을 개략적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 제1피쳐정보 및 색상정보를 도출하는 과정을 개략적으로 도시한다.
도 4는 본 발명의 일 실시예에 따른 제1중간정보를 생성하는 과정을 개략적으로 도시한다.
도 5는 본 발명의 일 실시예에 따른 제2피쳐정보 및 제2중간정보를 생성하는 과정을 개략적으로 도시한다.
도 6은 본 발명의 일 실시예에 따른 제3중간정보를 생성하는 과정을 개략적으로 도시한다.
도 7은 본 발명의 일 실시예에 따른 압축정보를 생성하는 과정을 개략적으로 도시한다.
도 8는 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 예시적으로 도시한다.
다양한 실시예들이 이제 도면을 참조하여 설명되며, 전체 도면에서 걸쳐 유사한 도면번호는 유사한 구성요소를 나타내기 위해서 사용된다. 본 명세서에서, 다양한 설명들이 본 발명의 이해를 제공하기 위해서 제시된다. 그러나 이러한 실시예들은 이러한 구체적인 설명 없이도 실행될 수 있음이 명백하다. 다른 예들에서, 공지된 구조 및 장치들은 실시예들의 설명을 용이하게 하기 위해서 블록 다이어그램 형태로 제공된다.
본 명세서에서 사용되는 용어 "컴포넌트", "모듈", "시스템", “~부” 등은 컴퓨터-관련 엔티티, 하드웨어, 펌웨어, 소프트웨어, 소프트웨어 및 하드웨어의 조합, 또는 소프트웨어의 실행을 지칭한다. 예를 들어, 컴포넌트는 프로세서상에서 실행되는 처리과정, 프로세서, 객체, 실행 스레드, 프로그램, 및/또는 컴퓨터일 수 있지만, 이들로 제한되는 것은 아니다. 예를 들어, 컴퓨팅 장치에서 실행되는 애플리케이션 및 컴퓨팅 장치 모두 컴포넌트일 수 있다. 하나 이상의 컴포넌트는 프로세서 및/또는 실행 스레드 내에 상주할 수 있고, 일 컴포넌트는 하나의 컴퓨터
내에 로컬화될 수 있고, 또는 2개 이상의 컴퓨터들 사이에 분배될 수 있다. 또한, 이러한 컴포넌트들은 그 내부에 저장된 다양한 데이터 구조들을 갖는 다양한 컴퓨터 판독가능한 매체로부터 실행할 수 있다. 컴포넌트들은 예를 들어 하나 이상의 데이터 패킷들을 갖는 신호(예를 들면, 로컬 시스템, 표준편차 시스템에서 다른 컴포넌트와 상호작용하는 하나의 컴포넌트로부터 데이터 및/또는 신호를 통해 다른 시스템과 인터넷과 같은 네트워크를 통한 데이터)에 따라 로컬 및/또는 원격 처리들을 통해 통신할 수 있다.
또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 압축정보 생성방법이 수행되는 시스템에 대한 전체적인 구성을 개략적으로 도시한다.
도 1에 도시된 바와 같이 동영상은 복수의 영상프레임이미지로 분할된다.
종래의 기술에서는 분할된 영상프레임이미지가 바로 영상분석부에 입력이 되나, 영상프레임이미지의 해상도가 높은 경우에는 영상분석부의 영상분석에 큰 부하를 가하게 된다.
본 발명에서는 영상프레임이미지 각각에 대하여 압축정보생성부에서 압축정보를 생성하고, 각각의 프레임에 대하여 생성된 압축정보가 영상분석부에 입력이 되고, 영상분석부는 압축정보에 기반하여 해당 영상을 분석할 수 있다.
바람직하게는, 상기 영상분석부는 학습된 인공신경망 기반의 영상분석을 수행하는 모듈로서, 객체검출, 객체인식, 및 객체추적 중 1 이상의 기능을 수행할 수 있다. 이와 같은 객체검출, 객체인식, 및 객체추적 중 1 이상의 결과가 컴퓨팅시스템에서 영상분석결과로 출력된다.
본 발명의 일 실시예에서는 물리적으로 단일의 컴퓨팅 시스템에 상기 압축정보생성부와 영상분석부가 구현될 수도 있으나, 압축정보생성부와 영상분석부가 물리적으로 분리된 복수의 컴퓨팅 장치에 의하여 구현될 수도 있다.
한편, 영상프레임이미지 역시 본 발명의 일 실시예에서는 컴퓨팅시스템 내부에서 생성될 수도 있다. 예를들어, cctv 에서 촬영된 동영상 데이터가 상기 컴퓨팅시스템에 수집되고, 상기 컴퓨팅시스템에서는 동영상데이터로부터 영상프레임이미지를 추출할 수도 있다.
도 2는 본 발명의 일 실시예에 따른 압축정보 생성방법의 세부 단계들 및 이를 실행하는 컴퓨팅시스템의 내부 구성을 개략적으로 도시한다.
본 발명의 일 실시예에 따른 압축정보의 생성방법은 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 메인 메모리를 포함하는 컴퓨팅 시스템에서 수행될 수 있다.
본 발명의 실시예들에 따른 압축정보의 생성방법은 입력이미지에 대하여 복수의 2차원필터를 포함하는 컨볼루션모듈에 의하여 복수의 채널을 갖고 입력이미지의 해상도보다 작은 해상도를 갖는 제1피쳐정보를 생성하는 제1피쳐정보생성단계(S100); 입력이미지에 대하여 각각의 색상에 상응하는 채널을 갖고, 입력이미지의 해상도보다 작은 해상도를 갖는 색상정보를 생성하는 색상정보생성단계(S200); 상기 제1피쳐정보와 색상정보를 병합하여 복수의 채널을 갖는 제1중간정보를 생성하는 제1중간정보생성단계(S300); 상기 제1중간정보에 대하여 컨볼루션모듈에 의하여 복수의 채널을 갖고 제1중간정보의 해상도보다 작은 해상도를 갖는 제2피쳐정보를 생성하는 제2피쳐정보생성단계(S400); 상기 제1중간정보에 대하여 해상도를 축소시켜 제2중간정보를 생성하는 제2중간정보생성단계(S500); 상기 제2피쳐정보와 상기 제2중간정보를 병합하여 제3중간정보를 생성하는 제3중간정보생성단계(S600); 및 상기 제3중간정보에 대하여 컨볼루션모듈에 의하여 복수의 채널을 갖는 압축정보를 생성하는 압축정보생성단계(S700);를 포함한다.
바람직하게는, 상기 제1피쳐정보생성단계에서의 컨볼루션모듈, 상기 제2피쳐정보생성단계에서의 컨볼루션모듈, 및 상기 압축정보생성단계에서의 컨볼루션모듈은 동일하게 학습된 필터를 사용할 수 있다. 즉, 상기 제1피쳐정보생성단계에서의 컨볼루션모듈, 상기 제2피쳐정보생성단계에서의 컨볼루션모듈, 및 상기 압축정보생성단계에서의 컨볼루션모듈은 서로 동일한 컨볼루션모듈에 해당하고, 각각의 세부 하이퍼파라미터만 변경되어 수행될 수 있다.
한편, 단계 S200에서는 원본 입력이미지의 색상정보가 축소된 형태로 생성되고, 이와 색상정보가 최종적으로 압축정보에 손실이 최소화된 상태로 유지될 수 있다. 이는 상기 영상분석부에서 분석대상 정보에서 필요한 색상정보를 최대한 많이 남길 수 있는 효과를 발휘할 수 있다.
바람직하게는, 입력이미지에 대하여 상기 제1피쳐정보생성단계(S100) 및 상기 색상정보생성단계(S200)는 동시에 병렬적으로 컴퓨팅 시스템에서 수행된다. 즉, 동일한 입력이미지에 대하여 S100 및 S200이 병렬적으로 수행함으로써, 연산 속도를 더욱 개선할 수 있다.
바람직하게, 제1중간정보생성단계에서 생성된 제1중간정보에 대하여 상기 제2피쳐정보생성단계(S400) 및 상기 제2중간정보생성단계(S500)는 동시에 병렬적으로 컴퓨팅 시스템에서 수행된다. 즉, 동일한 입력이미지에 대하여 S400 및 S400이 병렬적으로 수행함으로써, 연산 속도를 더욱 개선할 수 있다.도 2의 (B)는 도 2의 (A)에 도시된 압축정보의 생성방법을 수행하는 컴퓨팅 시스템을 개략적으로 도시한다. 상기 컴퓨팅시스템의 제1피쳐정보생성부(100), 색상정보생성부(200), 제1중간정보생성부(300), 제2피쳐정보생성부(400), 제2중간정보생성부(500), 제3중간정보생성부(600), 및 압축정보생성부(700)은 전술한 각각의 단계 S100, S200, S300, S400, S500, S600, 및 S700은 수행한다.
이하에서는 단계 S100, S200, S300, S400, S500, S600, 및 S700의 동작에 대하여 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 제1피쳐정보 및 색상정보를 도출하는 과정을 개략적으로 도시한다.
제1피쳐정보생성단계는 입력이미지에 대하여 복수의 2차원필터를 포함하는 컨볼루션모듈에 의하여 복수의 채널을 갖고 입력이미지의 해상도보다 작은 해상도를 갖는 제1피쳐정보를 생성한다.
여기서, 상기 제1피쳐정보는 상기 입력이미지보다 해상도가 2 배 이상으로 줄어드는 것이 바람직하다.
바람직하게는, 상기 제1피쳐정보생성단계에서는 배치 정규화 및 Leaky ReLU를 이용한다.
바람직하게는, 제1피쳐정보생성단계에서는 8개의 컨볼루션2D 필터를 사용하고, 커널은 3X3 사이즈를 이용하고, STRIDE는 2로 하고, 배치 정규화를 수행하고, Leaky RELU를 사용하는 형태의 하이퍼파라미터를 이용한다. 이 경우, 입력이미지의 해상도가 1920 X 1080 인 경우에, 960 X 540 X 8의 제1피쳐정보가 생성된다.
이와 같은 제1피쳐정보에는 색상정보가 손실될 수 있고, 이와 같은 점을 보완하기 위하여, 상기 색상정보생성부는 상기 입력이미지로부터 해상도를 축소하면서 각각의 색상값에 대한 채널을 갖는 색상정보를 생성한다.
구체적으로, 입력이미지의 각각의 픽셀에 대하여 R색상값으로 하나의 채널을 형성하고, G색상값으로 하나의 채널을 형성하고, B색상값으로 하나의 채널을 형성하되, 입력이미지의 해상도를 축소시킨다. 이와 같은 입력이미지의 축소는 영역의 정보의 평균값을 이용하여 수행할 수 있다.
즉, 상기 색상정보는 입력이미지를 풀링하여 해상도를 낮춘 이미지에서의 R색상에 대한 채널; 입력이미지를 풀링하여 해상도를 낮춘 이미지에서의 G색상에 대한 채널; 및 입력이미지를 풀링하여 해상도를 낮춘 이미지에서의 B색상에 대한 채널;을 포함한다.
예를들어, 1/2로 해상도를 축소하는 경우에, 하기와 같이 2X2의 4개의 픽셀값이 존재하는 경우를 가정하자.
| R:10 / G:10 / B:10 | R:20 / G:20 / B:20 |
| R:30 / G:30 / B:30 | R:40 / G:40 / B:40 |
이 경우, 축소된 해상도의 (1,1,1(R채널))은 4개의 픽샐의 R색상값의 평균에 해당하는 25로 도출되고, 축소된 해상도의 (1,1,2(G채널))은 4개의 픽샐의 G색상값의 평균에 해당하는 25로 도출되고, 축소된 해상도의 (1,1,2(B채널))은 4개의 픽샐의 B색상값의 평균에 해당하는 25로 도출될 수 있다.이와 같이 색상값을 분리하여 채널을 형성하고, 해상도 자체를 감소시킴으로써, 색상정보를 생성할 수 있다.
바람직하게는, 상기 제1피쳐정보의 각각의 채널의 2차원 해상도와 상기 색상정보의 각각의 채널의 2차원 해상도는 동일함이 바람직하다. 이와 같은 형태로 색상에 대한 정보가 유지되는 별도의 정보를 추출할 수 있다. 바람직하게는, 이 경우, 입력이미지의 해상도가 1920 X 1080 인 경우에, 960 X 540 X 3의 색상정보가 생성된다.
바람직하게는, 입력이미지에 대하여 상기 제1피쳐정보생성단계(S100) 및 상기 색상정보생성단계(S200)는 동시에 병렬적으로 컴퓨팅 시스템에서 수행된다. 즉, 동일한 입력이미지에 대하여 S100 및 S200이 병렬적으로 수행함으로써, 연산 속도를 더욱 개선할 수 있다.
도 4는 본 발명의 일 실시예에 따른 제1중간정보를 생성하는 과정을 개략적으로 도시한다.
상기 제1중간정보생성단계는 상기 제1피쳐정보와 색상정보를 병합하여 복수의 채널을 갖는 제1중간정보를 생성한다.
전술한 바와 같이, 본 발명의 바람직한 실시예에서는 상기 제1피쳐정보와 상기 색상정보는 동일한 2차원 해상도를 갖는다. 이와 같은 상태에서는 상기 제1피쳐정보와 색상정보의 채널들만을 병합함으로써, 제1중간정보를 생성할 수 있다.
도 5는 본 발명의 일 실시예에 따른 제2피쳐정보 및 제2중간정보를 생성하는 과정을 개략적으로 도시한다.
상기 제2피쳐정보생성단계에서는 상기 제1중간정보에 대하여 컨볼루션모듈에 의하여 복수의 채널을 갖고 제1중간정보의 해상도보다 작은 해상도를 갖는 제2피쳐정보를 생성한다.
여기서, 상기 제2피쳐정보는 입력된 상기 제1피쳐정보보다 해상도가 2 배 이상으로 줄어드는 것이 바람직하다.
바람직하게는, 상기 제2피쳐정보생성단계에서는 배치 정규화 및 Leaky ReLU를 이용한다.
바람직하게는, 상기 제2피쳐정보는 상기 제2피쳐정보생성단계에서 이용되는 컨볼루션모듈의 2차원필터의 개수에 상응하는 채널수를 갖다.
바람직하게는, 제2피쳐정보생성단계에서는 8개의 컨볼루션2D 필터를 사용하고, 커널은 3X3 사이즈를 이용하고, STRIDE는 2로 하고, 배치 정규화를 수행하고, Leaky RELU를 사용하는 형태의 하이퍼파라미터를 이용한다. 이 경우, 제1중간정보가 960X540X11 인 경우에, 480 X 270 X 8의 제2피쳐정보가 생성된다. 상기 제2피쳐정보생성단계는 기본적으로 상기 제1피쳐정보생성단계에 상응하고, 하이퍼파라미터 및 입력정보 정도가 상이할 수 있다.
이와 같은 제2피쳐정보는 상기 제1피쳐정보와 상기 색상정보가 병합된 중간정보로부터 추출된 정보에 해당한다. 이와 같은 제2피쳐정보에는 제1피쳐정보의 정보 일부 및 색상정보 일부가 소실될 수 있다.
이와 같은 점을 해결하면서 고속연산을 가능하게 하기 위하여, 본 발명에서는 상기 제1중간정보에 대하여 해상도를 축소시켜 제2중간정보를 생성하는 제2중간정보생성단계가 수행된다. 상기 제2중간정보는 상기 제1중간정보에 대하여, 상기 색상정보를 생성하는 방식 등에 의하여 2차원 해상도만을 축소시킴으로써 생성될 수 있다.
본 발명의 일 실시예에서는 상기 제1중간정보가 960X540X11 인 경우에 제2중간정보는 480X270X11에 해당할 수 있다. 바람직하게는 상기 제2중간정보의 2차원 해상도는 상기 제2피쳐정보의 2차원 해상도와 동일함이 바람직하다.
바람직하게, 제1중간정보생성단계에서 생성된 제1중간정보에 대하여 상기 제2피쳐정보생성단계(S400) 및 상기 제2중간정보생성단계(S500)는 동시에 병렬적으로 컴퓨팅 시스템에서 수행된다. 즉, 동일한 입력이미지에 대하여 S400 및 S400이 병렬적으로 수행함으로써, 연산 속도를 더욱 개선할 수 있다.
도 6은 본 발명의 일 실시예에 따른 제3중간정보를 생성하는 과정을 개략적으로 도시한다.
상기 제3중간정보생성단계는 상기 제2피쳐정보와 상기 제2중간정보를 병합하여 제3중간정보를 생성한다.
전술한 바와 같이, 본 발명의 바람직한 실시예에서는 상기 제2피쳐정보와 상기 제2중간정보는 동일한 2차원 해상도를 갖는다. 이와 같은 상태에서는 상기 제2피쳐정보와 제2중간정보의 채널들만을 병합함으로써, 제3중간정보를 생성할 수 있다.
도 7은 본 발명의 일 실시예에 따른 압축정보를 생성하는 과정을 개략적으로 도시한다.
상기 압축정보생성단계는 상기 제3중간정보에 대하여 컨볼루션모듈에 의하여 복수의 채널을 갖는 압축정보를 생성하는 압축정보생성단계;가 수행된다.
바람직하게는, 상기 제1피쳐정보생성단계, 및 상기 제2피쳐정보생성단계에서의 컨볼루션모듈은 2 이상의 stride 값으로 피쳐정보를 생성한다. 이후, 상기 압축정보생성단계에서의 컨볼루션모듈은 1의 stride 값으로 피쳐정보를 생성한다.
바람직하게는, 상기 압축정보생성단계에서는 제3중간정보에서 해상도는 유지하되 채널수를 감소시킨다. 이는 이후 영상분석부에서의 고속화를 유지하기 위함입니다.
구체적으로, 압축정보생성단계에서는 8개의 컨볼루션2D 필터를 사용하고, 커널은 3X3 사이즈를 이용하고, STRIDE는 1로 하고, 배치 정규화를 수행하고, Leaky RELU를 사용하는 형태의 하이퍼파라미터를 이용한다. 이 경우, 제3중간정보가 480X270X19 인 경우에, 480X270X8의 압축정보가 생성된다.
상기 압축정보는 색상정보 및 제1피쳐정보를 축소하여 가지고 있는 제3중간정보로부터 컨볼루션을 통하여 생성된다. 그럼에도 불구하고, 작은 해상도 및 적은 채널수를 가지고 있기 때문에, 작은 데이터 사이즈에서 객체영상분석을 수행하기 위한 정보를 유지할 수 있다.
본 발명의 일 실시예에서는 상기 제1피쳐정보생성단계에서 사용되는 컨볼루션모듈, 제2피쳐정보생성단계에서 사용되는 컨볼루션모듈, 및 압축정보생성단계에서 사용되는 컨볼루션모듈은 서로 상이할 수 있다. 즉, 서로 다른 학습된 가중치, 필터를 갖는 컨볼루션 모듈에 해당할 수 있다. 본 발명의 다른 실시예에서는, 전술한 기 제1피쳐정보생성단계에서 사용되는 컨볼루션모듈, 제2피쳐정보생성단계에서 사용되는 컨볼루션모듈, 및 압축정보생성단계에서 사용되는 컨볼루션모듈은 동일한 2차원 필터를 사용할 수도 있다.
바람직하게는, 상기 압축정보는 인공신경망 기반의 객체인식, 객체추적, 객체검출의 동작을 수행하는 영상분석모듈에 입력되는 정보에 해당하고, 상기 제1피쳐정보생성단계에서 사용되는 컨볼루션모듈은 상기 영상분석모듈과 연결된 상태에서 학습이 된다.
본 발명의 일 실시예에 따르면, 인공신경망 기반의 객체인식, 객체추적, 객체검출 등의 동작을 수행하는 영상분석의 속도를 높이면서 더욱 정확한 분석동작을 수행할 수 있도록 이미지로부터 압축정보를 생성할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 빠른 속도로 압축정보를 생성할 수 있고, 생성된 압축정보는 영상분석 모듈의 동작을 고속화시키면서 정확도의 손상을 최소화시킬 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 압축정보는 적은 데이터 사이즈를 가지면서, 영상분석에 중요하게 이용되는 색상정보를 최대한 유지할 수 있는 효과를 발휘할 수 있다.
도 8는 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 예시적으로 도시한다.
도 8는 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 예시적으로 도시한다.
도 8는 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 예시적으로 도시한다. 도 1 및 도 2에 도시된 구성요소 전체 혹은 일부는 후술하는 컴퓨팅장치의 구성요소를 포함할 수 있다.
도 8에 도시한 바와 같이, 컴퓨팅장치(11000)은 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/Osubsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다.
메모리(11200)는, 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그밖에 다양한 데이터를 포함할 수 있다.
이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다. 상기 프로세서(11100)은 단일 혹은 복수로 구성될 수 있고, 연산처리속도 향상을 위하여 GPU 및 TPU 형태의 프로세서를 포함할 수 있다.
주변장치 인터페이스(11300)는 컴퓨팅장치(11000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.
입/출력 서브시스템(11400)은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템(11400)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템(11400)을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.
전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.
통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅장치와 통신을 가능하게 할 수 있다.
또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅장치와 통신을 가능하게 할 수도 있다.
이러한 도 8의 실시예는, 컴퓨팅장치(11000)의 일례일 뿐이고, 컴퓨팅장치(11000)은 도 8에 도시된 일부 컴포넌트가 생략되거나, 도 8에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅장치는 도 8에도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(1160)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 어플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 이용자 단말에 설치될 수 있다. 일 예로, 파일 배포 시스템은 이용자 단말이기의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅장치 상에 표준편차되어서, 표준편차된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (11)
- 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 메인 메모리를 포함하는 컴퓨팅 시스템에서 수행되는 압축정보의 생성방법으로서,
입력이미지에 대하여 복수의 2차원필터를 포함하는 컨볼루션모듈에 의하여 복수의 채널을 갖고 입력이미지의 해상도보다 작은 해상도를 갖는 제1피쳐정보를 생성하는 제1피쳐정보생성단계;
입력이미지에 대하여 각각의 색상에 상응하는 채널을 갖고, 입력이미지의 해상도보다 작은 해상도를 갖는 색상정보를 생성하는 색상정보생성단계;
상기 제1피쳐정보와 색상정보를 병합하여 복수의 채널을 갖는 제1중간정보를 생성하는 제1중간정보생성단계;
상기 제1중간정보에 대하여 컨볼루션모듈에 의하여 복수의 채널을 갖고 제1중간정보의 해상도보다 작은 해상도를 갖는 제2피쳐정보를 생성하는 제2피쳐정보생성단계;
상기 제1중간정보에 대하여 해상도를 축소시켜 제2중간정보를 생성하는 제2중간정보생성단계;
상기 제2피쳐정보와 상기 제2중간정보를 병합하여 제3중간정보를 생성하는 제3중간정보생성단계; 및
상기 제3중간정보에 대하여 컨볼루션모듈에 의하여 복수의 채널을 갖는 압축정보를 생성하는 압축정보생성단계;를 포함하는, 압축정보의 생성방법.
- 청구항 1에 있어서,
상기 제1피쳐정보생성단계에서의 컨볼루션모듈, 상기 제2피쳐정보생성단계에서의 컨볼루션모듈, 및 상기 압축정보생성단계에서의 컨볼루션모듈은 동일하게 학습된 필터를 사용하는, 압축정보의 생성방법.
- 청구항 1에 있어서,
상기 제1피쳐정보생성단계에서는 배치 정규화 및 Leaky ReLU를 이용하는, 압축정보의 생성방법.
- 청구항 1에 있어서,
상기 색상정보는 입력이미지를 풀링하여 해상도를 낮춘 이미지에서의 R색상에 대한 채널; 입력이미지를 풀링하여 해상도를 낮춘 이미지에서의 G색상에 대한 채널; 및 입력이미지를 풀링하여 해상도를 낮춘 이미지에서의 B색상에 대한 채널;을 포함하는, 압축정보의 생성방법.
- 청구항 1에 있어서,
상기 제2피쳐정보는 상기 제2피쳐정보생성단계에서 이용되는 컨볼루션모듈의 2차원필터의 개수에 상응하는 채널수를 갖는, 압축정보의 생성방법.
- 청구항 1에 있어서,
상기 제1피쳐정보생성단계, 및 상기 제2피쳐정보생성단계에서의 컨볼루션모듈은 2 이상의 stride 값으로 피쳐정보를 생성하고,
상기 압축정보생성단계에서의 컨볼루션모듈은 1의 stride 값으로 피쳐정보를 생성하는, 압축정보의 생성방법.
- 청구항 1에 있어서,
상기 압축정보는 인공신경망 기반의 객체인식, 객체추적, 객체검출의 동작을 수행하는 영상분석모듈에 입력되는 정보에 해당하고,
상기 제1피쳐정보생성단계에서 사용되는 컨볼루션모듈은 상기 영상분석모듈과 연결된 상태에서 학습이 되는, 압축정보의 생성방법.
- 청구항 1에 있어서,
입력이미지에 대하여 상기 제1피쳐정보생성단계 및 상기 색상정보생성단계는 병렬적으로 컴퓨팅 시스템에서 수행되는, 압축정보의 생성방법.
- 청구항 1에 있어서,
제1중간정보에 대하여 상기 제2피쳐정보생성단계; 및 상기 제2중간정보생성단계는 병렬적으로 컴퓨팅 시스템에서 수행되는, 압축정보의 생성방법.
- 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 메인 메모리를 포함하는 압축정보의 생성장치로서,
상기 압축정보의 생성장치는,
입력이미지에 대하여 복수의 2차원필터를 포함하는 컨볼루션모듈에 의하여 복수의 채널을 갖고 입력이미지의 해상도보다 작은 해상도를 갖는 제1피쳐정보를 생성하는 제1피쳐정보생성단계;
입력이미지에 대하여 각각의 색상에 상응하는 채널을 갖고, 입력이미지의 해상도보다 작은 해상도를 갖는 색상정보를 생성하는 색상정보생성단계;
상기 제1피쳐정보와 색상정보를 병합하여 복수의 채널을 갖는 제1중간정보를 생성하는 제1중간정보생성단계
상기 제1중간정보에 대하여 컨볼루션모듈에 의하여 복수의 채널을 갖고 제1중간정보의 해상도보다 작은 해상도를 갖는 제2피쳐정보를 생성하는 제2피쳐정보생성단계;
상기 제1중간정보에 대하여 해상도를 축소시켜 제2중간정보를 생성하는 제2중간정보생성단계;
상기 제2피쳐정보와 상기 제2중간정보를 병합하여 제3중간정보를 생성하는 제3중간정보생성단계; 및
상기 제3중간정보에 대하여 컨볼루션모듈에 의하여 복수의 채널을 갖는 압축정보를 생성하는 압축정보생성단계;를 수행하는, 압축정보의 생성장치.
- 하나 이상의 프로세서에 의해 실행되는 복수의 명령들을 포함하는, 컴퓨터-판독가능 매체에 저장된 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은,
입력이미지에 대하여 복수의 2차원필터를 포함하는 컨볼루션모듈에 의하여 복수의 채널을 갖고 입력이미지의 해상도보다 작은 해상도를 갖는 제1피쳐정보를 생성하는 제1피쳐정보생성단계;
입력이미지에 대하여 각각의 색상에 상응하는 채널을 갖고, 입력이미지의 해상도보다 작은 해상도를 갖는 색상정보를 생성하는 색상정보생성단계;
상기 제1피쳐정보와 색상정보를 병합하여 복수의 채널을 갖는 제1중간정보를 생성하는 제1중간정보생성단계
상기 제1중간정보에 대하여 컨볼루션모듈에 의하여 복수의 채널을 갖고 제1중간정보의 해상도보다 작은 해상도를 갖는 제2피쳐정보를 생성하는 제2피쳐정보생성단계;
상기 제1중간정보에 대하여 해상도를 축소시켜 제2중간정보를 생성하는 제2중간정보생성단계;
상기 제2피쳐정보와 상기 제2중간정보를 병합하여 제3중간정보를 생성하는 제3중간정보생성단계; 및
상기 제3중간정보에 대하여 컨볼루션모듈에 의하여 복수의 채널을 갖는 압축정보를 생성하는 압축정보생성단계;를 수행하는, 컴퓨터 프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210102703A KR102319593B1 (ko) | 2021-08-04 | 2021-08-04 | 영상분석을 위한 압축정보 생성방법, 장치, 및 컴퓨터 프로그램 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210102703A KR102319593B1 (ko) | 2021-08-04 | 2021-08-04 | 영상분석을 위한 압축정보 생성방법, 장치, 및 컴퓨터 프로그램 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102319593B1 true KR102319593B1 (ko) | 2021-11-01 |
Family
ID=78519139
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210102703A KR102319593B1 (ko) | 2021-08-04 | 2021-08-04 | 영상분석을 위한 압축정보 생성방법, 장치, 및 컴퓨터 프로그램 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102319593B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024005347A1 (ko) * | 2022-06-29 | 2024-01-04 | 삼성전자주식회사 | Ai 부호화/복호화를 이용하여 영상을 처리하는 전자 장치 및 그 제어 방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5028260B2 (ja) * | 2004-06-25 | 2012-09-19 | アボセント コーポレイション | デジタル映像符号化方法、デジタル映像情報ストリームの圧縮方法、及びデジタル映像転送方法 |
| KR101409826B1 (ko) | 2012-10-19 | 2014-06-24 | 한양대학교 산학협력단 | 적응적 탐색 범위를 이용한 움직임 예측 방법 |
| KR20210042588A (ko) * | 2019-10-10 | 2021-04-20 | 엘지전자 주식회사 | 영상을 압축 또는 복원하기 위한 방법 및 장치 |
-
2021
- 2021-08-04 KR KR1020210102703A patent/KR102319593B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5028260B2 (ja) * | 2004-06-25 | 2012-09-19 | アボセント コーポレイション | デジタル映像符号化方法、デジタル映像情報ストリームの圧縮方法、及びデジタル映像転送方法 |
| KR101409826B1 (ko) | 2012-10-19 | 2014-06-24 | 한양대학교 산학협력단 | 적응적 탐색 범위를 이용한 움직임 예측 방법 |
| KR20210042588A (ko) * | 2019-10-10 | 2021-04-20 | 엘지전자 주식회사 | 영상을 압축 또는 복원하기 위한 방법 및 장치 |
Non-Patent Citations (4)
| Title |
|---|
| 비특허문헌 1 * |
| 비특허문헌 2 * |
| 선행문헌 2: Enhancement of Speed and Accuracy Trade-Off for Sports Ball Detection in Videos-Finding Fast Moving, Small Objects in Real Time (MDPI, Alexander Hiemann 외 3인) |
| 선행문헌 3: A New Approach to Compute CNNs for Extremely Large Images (CIKM'17, Sai Wu 외 1인) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024005347A1 (ko) * | 2022-06-29 | 2024-01-04 | 삼성전자주식회사 | Ai 부호화/복호화를 이용하여 영상을 처리하는 전자 장치 및 그 제어 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220335583A1 (en) | Image processing method, apparatus, and system | |
| WO2022052601A1 (zh) | 神经网络模型的训练方法、图像处理方法及装置 | |
| US11900676B2 (en) | Method and apparatus for detecting target in video, computing device, and storage medium | |
| US9025868B2 (en) | Method and system for image processing to determine a region of interest | |
| US20220138977A1 (en) | Two-stage depth estimation machine learning algorithm and spherical warping layer for equi-rectangular projection stereo matching | |
| US12002229B2 (en) | Accelerating speckle image block matching using convolution techniques | |
| Yang et al. | An embedded implementation of CNN-based hand detection and orientation estimation algorithm | |
| KR102319593B1 (ko) | 영상분석을 위한 압축정보 생성방법, 장치, 및 컴퓨터 프로그램 | |
| Peluso et al. | Monocular depth perception on microcontrollers for edge applications | |
| CN117957851A (zh) | 针对电子设备的感兴趣区域捕获 | |
| US20220058452A1 (en) | Spatiotemporal recycling network | |
| Mansoub et al. | Concurrent real-time object detection on multiple live streams using optimization CPU and GPU resources in YOLOv3 | |
| KR20230043318A (ko) | 영상 내 객체를 분류하는 객체 분류 방법 및 장치 | |
| KR102173955B1 (ko) | 객체 추적을 위한 특징점 검출 장치 및 그 방법 | |
| US11195083B2 (en) | Object detection system and object detection method | |
| US9036873B2 (en) | Apparatus, method, and program for detecting object from image | |
| US11790633B2 (en) | Image processing using coupled segmentation and edge learning | |
| Abri et al. | Multi-thread frame tiling model in concurrent real-time object detection for resources optimization in yolov3 | |
| AU2022400902A1 (en) | Image encoding and decoding method and apparatus | |
| Zhang et al. | Lightweight mobile network for real-time violence recognition | |
| Luo et al. | FD-SLAM: a semantic SLAM based on enhanced fast-SCNN dynamic region detection and DeepFillv2-Driven background inpainting | |
| KR102592088B1 (ko) | 스트리밍모듈을 이용한 고해상도 영상분석방법, 장치 및 이에 대한 컴퓨터 프로그램 | |
| US11706546B2 (en) | Image sensor with integrated single object class detection deep neural network (DNN) | |
| US20230038006A1 (en) | Method and apparatus for detecting object in image | |
| JP2019125128A (ja) | 情報処理装置、制御方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |