KR102132335B1 - 객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램 - Google Patents

객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램 Download PDF

Info

Publication number
KR102132335B1
KR102132335B1 KR1020180112606A KR20180112606A KR102132335B1 KR 102132335 B1 KR102132335 B1 KR 102132335B1 KR 1020180112606 A KR1020180112606 A KR 1020180112606A KR 20180112606 A KR20180112606 A KR 20180112606A KR 102132335 B1 KR102132335 B1 KR 102132335B1
Authority
KR
South Korea
Prior art keywords
image
macroblock
information
object region
data
Prior art date
Application number
KR1020180112606A
Other languages
English (en)
Other versions
KR20200033412A (ko
Inventor
김동기
Original Assignee
주식회사 핀텔
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 핀텔 filed Critical 주식회사 핀텔
Priority to KR1020180112606A priority Critical patent/KR102132335B1/ko
Priority to US16/190,763 priority patent/US11164328B2/en
Priority to CN201811397383.5A priority patent/CN110933415B/zh
Publication of KR20200033412A publication Critical patent/KR20200033412A/ko
Application granted granted Critical
Publication of KR102132335B1 publication Critical patent/KR102132335B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Abstract

본 발명은 객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램에 관한 것으로서, 더욱 상세하게는 영상 디코딩 과정에서 도출되는 파라미터값에 기초하여 예비적으로 객체영역을 검출하여, 이를 영상분석에 참조함으로써, 보다 객체인식, 추적 등의 분석을 더욱 고속화할 수 있는 객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램에 관한 것이다.

Description

객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램 {Object Region Detection Method, Device and Computer Program Thereof}
본 발명은 객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램에 관한 것으로서, 더욱 상세하게는 영상 디코딩 과정에서 도출되는 파라미터값에 기초하여 예비적으로 객체영역을 검출하여, 이를 영상분석에 참조함으로써, 보다 객체인식, 추적 등의 분석을 더욱 고속화할 수 있는 객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램에 관한 것이다.
최근 들어, 스마트 폰, CCTV, 블랙박스, 고화질 카메라 등으로부터 수집되는 영상 데이터가 급격히 증가되고 있다. 이에 따라, 비정형의 영상 데이터들을 기반으로 인물이나 사물 등을 인식하여 의미 있는 정보를 추출하고 내용을 시각적으로 분석하고 활용하기 위한 요구 사항이 증대되고 있다.
영상 데이터 분석 기술은 이러한 다양한 영상들에 대해 학습 및 분석을 수행하여 원하는 영상을 검색하거나 이벤트 발생 등의 상황 인식을 위한 제반기술들을 말한다.
하지만, 영상 데이터를 인식하여 분석하고 추적하는 기술은 상당한 계산량을 요구하는 알고리즘이기 때문에, 즉, 복잡도가 높아서 영상 데이터의 크기가 커질수록 연산 장치에 상당한 부하를 주게 된다. 이에 따라, 크기가 커진 영상데이터를 분석하는 시간이 점점 오래 걸리게 된다. 따라서, 영상 정보 분석 시간을 줄일 수 있는 방법이 꾸준히 요구되고 있는 실정이다.
한편, 최근 몇 년 사이 테러 등으로 인해 보안에 대한 인식이 강화되면서 영상 보안 시장이 지속적으로 성장하고 있으며, 이에 따라, 지능형 영상 처리에 대한 요구도 증가하고 있는 추세에 있다.
최근 H.264 등의 규약에 따른 블록 기반의 비디오 코덱을 기반으로 높은 해상도의 영상을 효율적으로 압축하여 전송하고 확인할 수 있는 기술이 확산되었다. 이와 같은 고해상도 영상은 CCTV 등의 모니터링 영상에도 적용이 되고 있으나, 이와 같은 고해상도 영상에서 분석, 트래킹 등에 있어서, 영상의 해상도가 높아짐에 따라 종래와 같은 객체검출방법은 보다 높은 연산량을 요구하고 따라서 실시간 영상에 대한 분석이 원할하게 이루어지지 않는다는 점이 있었다.
한편, 선행문헌 1(한국등록특허 제10-1409826호, 2014.6.13 등록)은 참조프레임 내의 블록들의 움직임 벡터에 대한 히스토그램에 기반하여 참조프레임의 움직임 벡터를 산출하고, 전역 움직임벡터에 기초하여 참조블록의 영역종류를 결정하는 기술을 개시하고 있다.
그러나, 선행문헌 1의 경우 영역전체에 대하여 움직임 벡터를 산출하고, 영역 전체에 대하여 히스토그램 데이터를 산출하여야 하기 때문에, 현재의 높은 해상도의 영상에서의 실시간 처리가 가능한 정도의 속도가 나오기 어렵고, 또한, 모든 블록들에 대하여 모션벡터를 고려하여야 하기 때문에, 불필요한 블록에 대해서도 일단 연산을 수행하여야 한다는 문제점이 있다.
또한, 선행문헌 1과 같이 움직임 벡터만을 고려요소로 보는 경우, 객체영역의 정확한 검출이 어려울 수 있다. 따라서, 선행문헌 1의 경우 정확하게 객체영역을 결정하기 위하여, 영상 내부의 특징량들을 다시 연산하여야 하기 때문에, 신속하면서 정확한 고해상도 영상에 대한 분석이 현실적으로 어렵다는 문제점이 있었다.
선행문헌 1: 한국등록특허 제10-1409826호, '적응적 탐색 범위를 이용한 움직임 예측방법', 2014.6.13 등록)
본 발명의 목적은 카메라로부터 수신되는 압축된 영상의 비트스트림을 수신하여 객체 영역 검출, 객체 인식, 추적에 사용될 수 있는 데이터를 추출하고, 추출된 파라미터들에 기초하여 예비적으로 객체영역을 검출하여, 이를 영상분석에 참조함으로써, 보다 객체인식, 추적 등의 분석을 더욱 고속화할 수 있는 객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램을 제공하는 것이다.
상기와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에서는, 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 메인 메모리를 포함하는 컴퓨팅 시스템에서 수행되는 객체영역검출방법으로서, 영상데이터에 대하여 가변길이디코딩단계, 역양자화단계, 역변환단계, 및 가산단계를 수행하여, 영상을 디코딩하는 영상디코딩단계; 및 상기 영상데이터에 포함된 매크로블록에 대한 데이터의 크기정보; 및 상기 영상디코딩단계에서 추출되는 1 이상의 영상디코딩 파라미터에 기초하여 영상의 객체영역정보를 도출하는 객체영역검출단계;를 포함하는 객체영역검출방법을 제공한다.
본 발명의 일 실시예에서는, 상기 객체영역검출단계는, 상기 가변길이디코딩단계가 수행되기 전의 영상데이터로부터 매크로블록 대한 데이터의 크기정보를 추출하는 단계; 및 상기 매크로블록에 대한 데이터의 크기정보가 기설정된 기준을 충족하는 지 여부를 판별하는 단계;를 포함하는 제1판별단계; 및 상기 제1판별단계에 의하여 데이터의 크기정보가 기설정된 기준을 충족하는 매크로블록에 대하여 상기 영상디코딩단계에서 추출되는 1 이상의 영상디코딩 파라미터에 기초하여 객체영역을 검출하는 제2판별단계를 포함할 수도 있다.
본 발명의 일 실시예에서는, 상기 제2 판별단계는 상기 매크로블록이 서브블록을 포함하고 있지 않는 경우에는 상기 매크로블록 전체에 대한 1 이상의 영상디코딩 파라미터에 기초하여 객체영역을 검출하고, 상기 매크로블록이 서브블록을 포함하고 있는 경우에는 상기 서브블록 각각에 대한 1 이상의 영상디코딩 파라미터에 기초하여 객체영역을 검출할 수 있다.
본 발명의 일 실시예에서는, 상기 1 이상의 영상디코딩 파라미터는 매크로블록 혹은 매크로블록을 구성하는 서브블록의 블록크기정보를 포함할 수 있다.
본 발명의 일 실시예에서는, 상기 블록크기정보는 상기 가변길이디코딩단계에서 복호화된 정보로부터 도출될 수 있다.
본 발명의 일 실시예에서는, 상기 1 이상의 영상디코딩 파라미터는 매크로블록 혹은 매크로블록을 구성하는 서브블록의 모션벡터정보를 포함할 수 있다.
본 발명의 일 실시예에서는, 상기 모션벡터정보는 상기 가변길이디코딩부에서 복호화된 정보로부터 도출될 수 있다.
본 발명의 일 실시예에서는, 상기 1 이상의 영상디코딩 파라미터는 매크로블록 혹은 매크로블록을 구성하는 서브블록의 예측오류정보를 포함할 수 있다.
본 발명의 일 실시예에서는, 상기 예측오류정보는 상기 가산단계에서 도출되고, 상기 예측오류정보는 해당 매크로블록 혹은 매크로블록을 구성하는 서브블록에 대한 복호화된 영상데이터에 기초한 색상정보 및 상기 가산단계에서 수행되는 예측단계에서 예측된 해당 매크로블록 혹은 매크로블록을 구성하는 서브블록에 대한 색상정보의 차이에 기초하여 도출될 수 있다.
본 발명의 일 실시예에서는, 상기 객체영역검출단계는, 대상 블록에 대한 블록크기정보, 및 모션벡터정보, 예측오류정보에 기초하여 객체영역정보를 도출할 수 있다.
본 발명의 일 실시예에서는, 상기 객체영역검출단계는 대상 블록에 대한 블록크기정보, 및 모션벡터정보, 예측오류정보에 대한 각각의 평가결과를 종합하여 객체영역정보를 도출할 수 있다.
상기와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에서는, 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 메인 메모리를 포함하는 컴퓨팅 시스템에서 수행되는 객체영역검출방법으로서, 영상데이터에 대하여 가변길이디코딩단계, 역양자화단계, 역변환단계, 및 가산단계를 수행하여, 영상을 디코딩하는 영상디코딩단계; 및 상기 영상데이터에 포함된 매크로블록에 대한 데이터의 크기정보가 기설정된 기준을 충족하는 경우에, 해당 매크로블록 혹은 해당 매크로블록을 구성하는 서브블록의 블록크기정보, 모션벡터정보, 및 예측오류정보 중 1 이상에 의하여 객체영역정보를 도출하는 객체영역검출단계를 포함하는 객체영역검출방법를 제공한다.
상기와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에서는 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 메인 메모리를 포함하는 객체영역검출장치로서, 영상데이터에 대하여 각각 가변길이디코딩단계, 역양자화단계, 역변환단계, 및 가산단계를 수행하는 가변길이디코딩부, 역양자화부, 역변환부, 및 가산부를 포함하여, 영상을 디코딩하는 영상디코딩부; 및 상기 영상데이터에 포함된 매크로블록에 대한 데이터의 크기정보; 및 상기 영상디코딩단계에서 추출되는 1 이상의 영상디코딩 파라미터에 기초하여 영상의 객체영역정보를 도출하는 객체영역검출부;를 포함하는 객체영역검출장치를 제공한다.
상기와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에서는, 하나 이상의 프로세서에 의해 실행되는 복수의 명령들을 포함하는, 컴퓨터-판독가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은, 영상데이터에 대하여 가변길이디코딩단계, 역양자화단계, 역변환단계, 및 가산단계를 수행하여, 영상을 디코딩하는 영상디코딩단계; 및 상기 영상데이터에 포함된 매크로블록에 대한 데이터의 크기정보; 및 상기 영상디코딩단계에서 추출되는 1 이상의 영상디코딩 파라미터에 기초하여 영상의 객체영역정보를 도출하는 객체영역검출단계;를 포함하는 컴퓨터 프로그램을 제공한다.
본 발명의 일 실시예에 따르면, 인코딩된 영상데이터로부터 객체를 인식, 트레킹, 추적, 식별 등의 분석을 수행하는 경우에 미리 객체영역을 검출하여 검출된 객체영역에 대해서만 영상분석을 수행하기 때문에, 보다 빠른 속도로 영상을 처리할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 영상분석 전 객체영역을 검출함에 있어서도 1차적으로 불필요한 매크로블록을 선별적으로 제거함으로써, 객체영역 검출에 대한 연산량을 감소시켜 시스템 전체적으로 연산속도를 높일 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 객체영역 검출에 있어서 최소의 연산량임에도 불구하고 상당히 높은 수준의 정확도로 객체가 존재할 수 있다고 판단되는 객체영역을 검출할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 해당 영상데이터를 디코딩하기 위한 디코더부의 구성을 변경하지 않으면서, 해당 디코더부에서 디코딩 과정에서 생성되는 파라미터를 이용함으로써, H.264 등의 규약에 따른 블록을 이용한 코덱방식이라면 코덱이 변경되더라도, 용이하게 적용될 수 있는 효과를 발휘할 수 있다.
도 1은 본 발명의 일 실시예에 따른 객체영역검출 시스템의 전체적인 구조를 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 객체영역검출 시스템의 세부 구성을 개략적으로 도시한 도면이다.
도 3은 H.264 등의 규약에 따른 블록을 이용하는 비디오 코덱의 일 실시예에 따른 영상데이터의 데이터스트림의 복호화전 구조를 개략적으로 도시한 도면이다.
도 4는 가변블록을 이용하는 비디오 코덱의 일 실시예에 따른 영상데이터의 매크로블록의 데이터필드 구조를 개략적으로 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 객체영역검출부의 세부 구성을 개략적으로 도시한 도면이다.
도 6은 매크로블록의 몇 예들을 도시한 도면이다.
도 7은 서브블록을 포함하는 매크로블록의 예를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 객체영역검출단계의 과정을 블록기준으로 도시한 도면이다.
도 9는 본 발명의 일 예에 따른 영상화면에 대한 블록분할 정보를 도시하는 도면이다.
도 10은 본 발명의 일 예에 따른 영상화면에 대한 모션벡터정보를 도시하는 도면이다.
도 11은 본 발명의 일 예에 따른 영상화면에 대한 예측오류정보를 도시하는 도면이다.
도 12는 본 발명의 일 실시예에 따른 인코딩 되는 영상을 생성하는 인코더 시스템을 개략적으로 도시한다.
도 13은 영상 데이터의 프레임들의 예들을 개략적으로 도시한 도면이다
도 14는 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 예시적으로 도시한다.
다양한 실시예들이 이제 도면을 참조하여 설명되며, 전체 도면에서 걸쳐 유사한 도면번호는 유사한 구성요소를 나타내기 위해서 사용된다. 본 명세서에서, 다양한 설명들이 본 발명의 이해를 제공하기 위해서 제시된다. 그러나 이러한 실시예들은 이러한 구체적인 설명 없이도 실행될 수 있음이 명백하다. 다른 예들에서, 공지된 구조 및 장치들은 실시예들의 설명을 용이하게 하기 위해서 블록 다이어그램 형태로 제공된다.
본 명세서에서 사용되는 용어 "컴포넌트", "모듈", "시스템", “~부” 등은 컴퓨터-관련 엔티티, 하드웨어, 펌웨어, 소프트웨어, 소프트웨어 및 하드웨어의 조합, 또는 소프트웨어의 실행을 지칭한다. 예를 들어, 컴포넌트는 프로세서상에서 실행되는 처리과정, 프로세서, 객체, 실행 스레드, 프로그램, 및/또는 컴퓨터일 수 있지만, 이들로 제한되는 것은 아니다. 예를 들어, 컴퓨팅 장치에서 실행되는 애플리케이션 및 컴퓨팅 장치 모두 컴포넌트일 수 있다. 하나 이상의 컴포넌트는 프로세서 및/또는 실행 스레드 내에 상주할 수 있고, 일 컴포넌트는 하나의 컴퓨터
내에 로컬화될 수 있고, 또는 2개 이상의 컴퓨터들 사이에 분배될 수 있다. 또한, 이러한 컴포넌트들은 그 내부에 저장된 다양한 데이터 구조들을 갖는 다양한 컴퓨터 판독가능한 매체로부터 실행할 수 있다. 컴포넌트들은 예를 들어 하나 이상의 데이터 패킷들을 갖는 신호(예를 들면, 로컬 시스템, 분산 시스템에서 다른 컴포넌트와 상호작용하는 하나의 컴포넌트로부터 데이터 및/또는 신호를 통해 다른 시스템과 인터넷과 같은 네트워크를 통한 데이터)에 따라 로컬 및/또는 원격 처리들을 통해 통신할 수 있다.
또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 객체영역검출 시스템의 전체적인 구조를 개략적으로 도시한 도면이다.
도 1에서의 객체영역검출 시스템은 광의로 수신한 영상데이터를 처리하는 객체영역검출부(2000), 영상디코딩부(1000), 및 영상분석부(3000)를 포함한다. 영상데이터는 규약된 코덱에 의하여 인코딩된 영상데이터로서, 바람직하게는 가변크기 블록을 이용하여 영상이 인코딩된 데이터에 해당하고, 바람직하게는 H.264 코덱 방식 등을 포함하는 규약에 따라 인코딩된 영상데이터에 해당한다. 더욱 바람직하게는 가변크기 블록을 이용하는 규약에 따라 인코딩된 영상데이터에 해당한다.
영상데이터는 객체영역검출 시스템에 저장되어 있는 영상이거나 혹은 실시간으로 다른 영상 수집장치(예를들어, CCTV 혹은 모니터링 장치)에 의하여 수신한 영상데이터에 해당할 수 있다.
상기 영상디코딩부(1000)는 H.264 코덱 방식 등을 포함하는 규약에 따라 인코딩된 영상을 디코딩 혹은 복호화하기 위한 장치에 해당하고, 이는 해당 코덱의 복호화 방식에 따라 구성된다.
영상분석부(3000)는 복호화되어 수신한 영상에 대하여 객체인식, 추적, 식별 등의 분석을 수행하고, 영상분석부(3000)는 영상분석 목적에 따라 전처리부, 특징정보 추출부, 특징정보 분석부 등의 다양한 구성을 포함할 수 있다.
본 발명에서는 영상분석부(3000)의 영상처리 속도를 보다 개선시키기 위하여, 객체영역검출부(2000)를 도입하였다. 객체영역검출부(2000)는 영상데이터 자체로부터 추출한 정보 및 상기 영상디코딩부(1000)의 영상 디코딩 과정에서 추출되는 영상디코딩 파라미터와 같은 디코딩된 영상 자체가 아닌 디코딩되지 않은 영상데이터의 정보 및 디코딩과정에서 추출되는 파라미터 정보를 통하여 객체영역을 검출하고, 이에 대한 객체영역정보를 상기 영상분석부(3000)에 전달한다.
따라서, 영상분석부(3000)는 영상전체에 대해 객체인식, 특징점 추출, 전처리 등을 수행하는 것이 아니라, 상기 객체영역검출부(2000)로부터 전달받은 객체영역정보에 따른 영역에 대해서만 영상분석을 수행할 수 있다.
상기 객체영역검출부(2000), 영상디코딩부(1000), 영상분석부(3000)는 단일의 컴퓨팅 장치로 구성될 수도 있으나, 2 이상의 컴퓨팅 장치에 의하여 구성될 수도 있다.
즉, 본 발명에 따른 객체영역검출 시스템은 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 메인 메모리를 포함하는 컴퓨팅 시스템에 의하여 구현될 수 있다.
도 2는 본 발명의 일 실시예에 따른 객체영역검출 시스템의 세부 구성을 개략적으로 도시한 도면이다.
본 발명의 일 실시예에 따른 객체영역검출장치는 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 메인 메모리를 포함하는 컴퓨팅 시스템에 의하여 구현된다.
도 2에 도시된 바와 같이, 가변길이디코딩부(1100), 역양자화부(1200), 역변환부(1300), 가산부(1400), 및 예측부(1500)를 포함하는 영상디코딩부(1000)는 영상의 인코딩 방식으로 인코딩된 영상데이터을 디코딩한다.
상기 영상디코딩부(1000)의 구성은 영상데이터를 인코딩하는 인코딩부의 구성에 따라 구성될 수 있다. 예를들어, 도 2에 도시된 영상디코딩부(1000)의 구성은 도 12에 따라 인코딩된 영상을 디코딩하는 구성에 해당하고, 본 발명의 일 실시예에서는 H.264 코덱을 기준으로 도 2 및 도 12가 도시되었다.
가변길이디코딩부(1100)는 입력되는 영상 데이터를 가변길이디코딩(복호화)한다. 이를 통해, 가변 길이 디코딩부(111)는 영상 데이터를 움직임 벡터, 양자화 값, DCT 계수로 분리 혹은 영상 데이터로부터 움직임 벡터, 양자화 값, DCT 계수를 추출할 수 있다.
역양자화부(1200)는 가변길이디코딩부(1100)로부터 출력되는 DCT 계수를 추출된 양자화 값에 따라 역양자화한다.
역변환부(1300)는 역양자화부(1200)에 의해 역양자화된 DCT 계수를 역변환(IDCT)하여 차분치 영상을 획득한다.
예측부(1500)는 해당 프레임이 인트라모드인지 혹은 인터모드인지에 따라서 예측을 수행한다. 예측부(1500)의 움직임보상부(1530)는 움직임 벡터와 이전 영상 데이터를 이용하여 현재 영상 데이터에 대한 움직임을 보상한다. 이를 통해, 움직임 보상부는 예측 영상을 생성한다.
상기 영상디코딩부(1000)의 가변길이디코딩부(1100), 역양자화부(1200), 역변환부(1300), 가산부(1400), 및 예측부(1500)의 구성은 영상데이터의 인코딩 방식 혹은 코덱에 따라 변경될 수 있고, 이는 통상의 기술자가 해당 영상데이터의 코덱에 따라 구현할 수 있다. 본 발명은 H.264 등의 규약에 따른 영상을 디코딩하는 기존의 디코딩부에 객체영역검출부(2000)에 추가하여 구성할 수 있다는 장점이 있다.
상기 객체영역검출부(2000)는 상기 영상데이터에 포함된 매크로블록에 대한 데이터의 크기정보; 및 상기 영상디코딩단계에서 추출되는 1 이상의 영상디코딩 파라미터에 기초하여 영상의 객체영역정보를 도출한다. 이와 같이 도출된 객체영역정보는 상기 영상분석부(3000)로 전달되고, 영상분석부(3000)는 객체영역정보에 대해서만 영상처리를 함으로써 영상분석에 소요되는 연산량을 대폭적으로 감소시킬 수 있다.
도 3은 H.264 등의 규약에 따른 비디오 코덱의 일 실시예에 따른 영상데이터의 데이터스트림의 복호화전 구조를 개략적으로 도시한 도면이다.
도 3에 도시된 데이터스트림은 도 2에서 가변길이디코딩부(1100)에 입력되는 복호화가 전혀 수행되지 않고, 저장되거나 혹은 전송되는 영상데이터에 해당한다. 이와 같은 영상데이터 혹은 데이터스트림은 NAL(Network Abstraction Layer) 로 이루어져 있고, 각각의 NAL은 Nal Unit 과 페이로드로서의 RBSP(Raw Byte Sequence Payload)로 이루어진다. NAL은 SPS, PPS 와 같은 파라미터 정보가 기재된 단위 혹은 VCL(Video Coding Layer)에 해당하는 Slice 데이터가 기재된 단위에 해당할 수 있다.
VCL에 해당하는 SLICE NAL은 헤더와 데이터로 구성되어 있고, 여기서 데이터는 복수의 매크로블록 필드와 구분자 필드로 이루어진다. 본 발명에서 객체영역검출을 수행하는 영상데이터의 인코딩 방식은 NAL 상태의 데이터에서는 일정한 블록크기를 갖는 매크로블록로 인코딩하는 방식이다. 도 3에서 MB로 구분된 데이터 필드는 일정한 크기의 블록에 대한 데이터가 인코딩되어 있다.
후술하는 객체영역검출부(2000)의 제1판별부(2100)는 디코딩이 수행되지 않은 영상데이터로부터 각각의 매크로블록, 즉 도 3에서 MB로 표시된 부분의 데이터 크기를 이용한다. 이와 같은 방식에 의하면 가변길이디코딩부(1100)와 같은 1차적인 디코딩 절차 이전의 원래의 데이터를 이용하여 예비적으로 객체영역후보영역을 도출할 수 있다.
일반적인 H.264 코덱으로 인코딩된 영상데이터의 경우, 도 3의 MB 데이터필드는 16픽셀x16픽셀의 크기를 갖는 매크로블록에 대한 데이터가 인코딩되어 저장되어 있고, 가변길이디코딩부(1100)에 의하여 상기 매크로블록의 세부 블록정보를 일부 인코딩된 형태로 확인할 수 있다.
도 4는 가변블록을 이용하는 비디오 코덱의 일 실시예에 따른 영상데이터의 매크로블록의 데이터필드 구조를 개략적으로 도시한 도면이다.
도 4에 도시된 매크로블록의 데이터필드는 상기 가변길이디코딩부(1100)에 의하여 디코딩된 형태이다. 기본적으로 매크로블록의 데이터필드는 블록의 크기 등의 정보를 포함하는 타입(Type) 필드; 인트라모드로 인코딩되었는지 혹은 인터모드로 인코딩되었는 지에 대한 정보, 및 인터모드인 경우에 기준프레임정보 및 모션벡터정보를 포함하는 예측타입(Prediction Type) 필드; 디코딩시 입력된 이전 픽쳐 비트열을 유지하기 위한 정보를 포함하는 CPB(Coded Picture Buffer) 필드; 양자화 파라미터에 대한 정보를 포함하는 QP(Quantization Parameter) 필드; 및 해당 블록의 색상에 대한 DCT 계수에 대한 정보를 포함하는 DATA 필드를 포함한다.
매크로블록이 복수의 서브블록을 포함하는 경우, 도 4의 2번째 열에 도시된 타입-예측타입-CPB-QP-DATA의 데이터 유닛이 복수개로 연결되어 있다.
후술하는 제2판별부(2200)는 상기 가변길이디코딩부(1100)에 의하여 디코딩된 매크로블록 전체(서브블록이 없는 경우) 혹은 매크로블록을 구성하는 서브블록의 타입 필드에서 알 수 있는 블록크기 및 예측타입 필드에서 알 수 있는 모션벡터정보를 이용하여, 객체영역을 검출한다.
한편, DATA 필드의 색상정보는 복수의 계통의 색상에 대한 정보(도 4에서는 YCbCr 계통에서의 색상정보를 포함)가 인코딩된 형태로 포함되어 있다. 이와 같은 DATA 필드의 색상정보는 역양자화부(1200), 및 역변환부(1300)에 의하여 정보가 디코딩되고, 가산부(1400)에서 원래의 영상데이터에서의 색상값과 영상디코딩부(1000)의 예측부(1500)에서 예측한 색상값의 차이에 해당하는 예측오류정보가 도출될 수 있다.
이와 같이 가산부(1400)에서 도출될 수 있는 예측오류정보는 상기 제2판별부(2200)에 의하여 객체영역을 검출하기 위하여 이용될 수 있다.
도 5는 본 발명의 일 실시예에 따른 객체영역검출부(2000)의 세부 구성을 개략적으로 도시한 도면이다.
상기 객체영역검출부(2000)는 상기 가변길이디코딩단계가 수행되기 전의 영상데이터로부터 매크로블록 대한 데이터의 크기정보를 추출하는 단계; 및 상기 매크로블록에 대한 데이터의 크기정보가 기설정된 기준을 충족하는 지 여부를 판별하는 단계;를 수행하는 제1판별부(2100); 및 상기 제1판별부(2100)에 의하여 데이터의 크기정보가 기설정된 기준을 충족하는 매크로블록에 대하여 상기 영상디코딩단계에서 추출되는 1 이상의 영상디코딩 파라미터에 기초하여 객체영역을 검출하는 제2판별부(2200); 상기 제2판별부(2200)에서 검출된 객체영역의 정보를 영상분석부(3000)로 출력하는 객체영역출력부(2300)를 포함한다.
상기 제1판별단계에서는 도 2에 도시된 바와 같이, 가변길이디코딩부(1100)에 의하여 디코딩되지 않은 영상데이터의 NAL 형식의 데이터스트림으로부터 각각의 매크로블록에 대한 데이터의 크기정보를 도출한다. 즉, 도 3에서 MB로 표기된 각각의 데이터필드의 데이터 크기에 기초하여 각각의 매크로블록이 후술하는 제2판별부(2200)의 판별대상이 되는지 여부를 결정한다.
가변크기 블록을 이용한 영상 인코딩 방법에서는 복잡한 영상이 위치하는 매크로블록의 경우 매크로블록(16x16)을 복수의 서브블록(8x8, 4x4 등)으로 나누게 되거나 여러 정보를 포함하기 때문에, 해당 매크로블록은 크기가 커지게 된다. 또한, H.264 등의 영상 인코딩 방법에서는 메크로 블록의 데이터중 자주 발생하는 값과 그렇지 않은 값들이 존재할 경우, 자주 발생하는 값에 짧은 길이의 부호를 할당하고 그렇지 않은 값에는 긴 부호를 할당하여 전체 데이터량을 줄이는 방법으로 인코딩한다.
제1판별부(2100)는 가변크기 블록을 이용한 인코딩 방법의 이와 같은 특성을 이용하여, 가변길이디코딩부(1100) 등의 디코딩 절차가 수행되기 전의 영상데이터로부터 각각의 매크로블록의 데이터크기를 도출하고, 해당 데이터크기가 기설정된 기준을 충족하는 경우, 즉 기설정된 값 이상인 경우에 이를 2차판별부에 의한 판별대상으로 분류한다.
이와 같은 방식으로 본 발명에서는 영상디코딩부(1000)를 변경하지 않고, 영상디코딩부(1000)로 입력되는 영상데이터로부터 객체영역을 검출할 수 있는 유효데이터를 추출하여 간단한 연산으로 해당 매크로블록에 대한 객체영역 여부를 판별한다.
본 발명의 다른 실시예에서는, 상기 제1판별부(2100)에 의한 판별결과 및 제2판별부(2200)에 의한 판별결과를 종합적으로 판단하여, 각각의 매크로블록 혹은 서브블록에 대한 객체영역 여부를 판단할 수도 있다.
한편, 상기 제2 판별부(2200)는 상기 매크로블록이 서브블록을 포함하고 있지 않는 경우에는 상기 매크로블록 전체에 대한 1 이상의 영상디코딩 파라미터에 기초하여 객체영역을 검출하고, 상기 매크로블록이 서브블록을 포함하고 있는 경우에는 상기 서브블록 각각에 대한 1 이상의 영상디코딩 파라미터에 기초하여 객체영역을 검출한다.
여기서, 상기 제2 판별부(2200)는 대상 블록에 대한 블록크기정보, 및 모션벡터정보, 예측오류정보 중 1 이상의 정보에 기초하여 객체영역정보를 도출하고, 바람직하게는, 대상 블록에 대한 블록크기정보, 및 모션벡터정보, 예측오류정보 중 2 이상의 정보에 기초하여 객체영역정보를 도출하고, 가장 바람직하게는, 블록크기정보, 및 모션벡터정보, 예측오류정보에 기초하여 객체영역정보를 도출한다.
구체적으로, 상기 제2 판별부(2200)는 대상 블록에 대한 블록크기정보, 및 모션벡터정보, 예측오류정보 중 1 이상의 정보에 대한 평가결과에 기초하여 객체영역정보를 도출하고, 바람직하게는, 대상 블록에 대한 블록크기정보, 및 모션벡터정보, 예측오류정보 중 2 이상의 정보에 대한 각각의 평가결과를 종합하여, 객체영역정보를 도출하고, 가장 바람직하게는, 블록크기정보, 및 모션벡터정보, 예측오류정보의 각각의 평가결과를 종합하여 객체영역정보를 도출한다. 본 발명의 일 실시예에서는 블록크기정보, 및 모션벡터정보, 예측오류정보 각각에 대하여 기설정된 기준에 의하여 스코어링을 수행하고, 각각의 요소의 평가 스코어에 대하여 가중치 등을 적용하여 종합적인 스코어를 도출한 후에, 도출된 스코어가 기설정된 조건 혹은 값을 충족하는 지 여부에 따라서 객체영역정보를 도출할 수 있다.
본 발명의 일 실시예에서는, 상기 1 이상의 영상디코딩 파라미터는 매크로블록 혹은 매크로블록을 구성하는 서브블록의 블록크기정보를 포함한다. 블록크기정보는 해당 블록이 예를들어, 16x16 크기인지, 8x8 크기인지, 4x4 크기인지에 대한 것이다.
객체가 존재하는 영역의 경우, 배경영역보다 복잡한 형태를 가질 가능성이 높다. 한편, 가변블록을 이용하는 영상인코딩 방식에서는 복잡한 형태를 갖는 매크로블록에 대해서는 복수의 서브블록으로 분할하여 인코딩을 하고, 본 발명의 일 실시예에서는 이와 같은 인코딩 특성을 이용하여 제2판별부(2200)에서 객체영역 검출을 수행한다. 즉, 제2판별부(2200)는 객체영역인지 여부를 판별하려는 매크로블록 혹은 서브블록의 크기가 작을수록 객체영역에 해당될 가능성이 높다고 판단하거나 혹은 객체영역 여부를 결정하는 스코어에 있어서는 크기가 작은 블록보다 높은 스코어를 부여한다.
여기서, 도 5에 도시된 바와 같이, 상기 블록크기정보는 상기 가변길이디코딩단계에서 복호화된 정보로부터 도출된다. 이와 같은 방식으로 객체영역을 도출하기 위한 별도의 특징량 정보를 생성하지 않고, 영상디코딩부(1000)의 구성을 유지하면서, 객체영역을 검출할 수 있는 파라미터를 도출할 수 있다.
본 발명의 일 실시예에서는, 상기 1 이상의 영상디코딩 파라미터는 매크로블록 혹은 매크로블록을 구성하는 서브블록의 모션벡터정보를 포함한다. 포함한다. 인터모드의 프레임의 매크로블록 혹은 서브블록은 각각 모션벡터 정보(방향 및 크기)를 포함하고 있고, 제2 판별부(2200)에서는 모션벡터정보 중 모션벡터의 크기 정보를 이용하여 해당 매크로블록 혹은 서브블록이 객체영역에 해당할 수 있는 지 여부 혹은 판별 관련 값을 판별한다.
객체가 존재하는 영역의 경우, 배경영역보다 움직임이 있을 가능성이 높다. 한편, 가변블록을 이용하는 영상인코딩 방식에서의 참조프레임(예를들어, P프레임)의 각각의 이미지 블록은 기준프레임에 대한 모션벡터의 크기 정보를 포함하고 있다. 본 발명의 일 실시예에서는 이와 같은 인코딩 특성을 이용하여 제2판별부(2200)에서 객체영역 검출을 수행한다. 즉, 제2판별부(2200)는 객체영역인지 여부를 판별하려는 매크로블록 혹은 서브블록의 모션벡터의 크기가 클수록 객체영역에 해당될 가능성이 높다고 판단하거나 혹은 객체영역 여부를 결정하는 스코어에 있어서는 모션벡터의 크기가 작은 블록보다 높은 스코어를 부여한다.
여기서, 도 5에 도시된 바와 같이, 상기 모션벡터정보는 상기 가변길이디코딩부(1100)에서 복호화된 정보로부터 도출된다. 이와 같은 방식으로 객체영역을 도출하기 위한 별도의 특징량 정보를 생성하지 않고, 영상디코딩부(1000)의 구성을 유지하면서, 객체영역을 검출할 수 있는 파라미터를 도출할 수 있다.
본 발명의 일 실시예에서는, 상기 1 이상의 영상디코딩 파라미터는 매크로블록 혹은 매크로블록을 구성하는 서브블록의 예측오류정보를 포함한다.
상기 예측오류정보는 상기 가산단계에서 도출되고, 상기 예측오류정보는 해당 매크로블록 혹은 매크로블록을 구성하는 서브블록에 대한 복호화된 영상데이터에 기초한 색상정보 및 상기 가산단계에서 수행되는 예측단계에서 예측된 해당 매크로블록 혹은 매크로블록을 구성하는 서브블록에 대한 색상정보의 차이에 기초하여 도출된다.
객체가 존재하는 영역의 경우, 영상의 색상적 변화 혹은 형태적 변화가 있을 가능성이 높고, 따라서, 예측오류정보의 크기가 높을 가능성이 높다.
바람직하게는, 본 발명에서는 YCrCb 컬러 공간에 있어서, 밝기값(LUMA)영역에 해당하는 Y색상정보에 대한 예측오류정보에 기초하여 제2판별부(2200)에서 객체영역을 검출한다.
즉, 제2판별부(2200)는 객체영역인지 여부를 판별하려는 매크로블록 혹은 서브블록의 Y색상정보에 대한 예측오류정보의 크기가 클수록 객체영역에 해당될 가능성이 높다고 판단하거나 혹은 객체영역 여부를 결정하는 스코어에 있어서는 예측오류정보가 작은 블록보다 높은 스코어를 부여한다.
전술한 바와 같이, 상기 제2판별부(2200)는 블록크기정보, 모션벡터정보, 예측오류정보 중 1 이상의 값에 기초하여 해당 매크로블록 혹은 서브블록이 객체영역에 해당하는 지 여부를 판별한다. 제2판별부(2200)에 의한 최종 객체영역인지 여부에 대한 판별은 각각의 정보가 모두 기설정된 기준치를 넘는 경우에 객체영역으로 판단하거나, 각각의 정보가 기설정된 기준치를 넘는 경우가 기설정된 개수 이상인 경우에 객체영역으로 판단하거나, 각각의 정보에 대해 기설정된 규칙에 의해 스코어를 부여하고, 각각의 스코어에 대한 종합적인 스코어가 기설정된 기준치를 넘는 경우에 최종 객체영역으로 판별할 수도 있다.
한편, 제1판별부(2100) 및 제2판별부(2200)의 판별기준 혹은 기준치 등은 해당 영상으로부터 도출된 통계적 수치 혹은 시스템에서 지금까지 영상처리를 통하여 도출된 통계적 수치 혹은 입력된 수치에 의하여 구현될 수 있다.
본 발명의 바람직한 실시예에서는 제1판별부(2100)에서 매크로블록의 데이터의 크기로 1차적으로 판별대상을 필터링하고, 제2판별부(2200)에서 블록크기정보, 모션벡터정보, 예측오류정보를 종합적으로 판단하여, 객체영역에 해당하는 블록을 판단한다. 따라서, 최소의 연산부하에서 단순히 모션벡터만을 이용하는 경우보다 더욱 정확하게 객체영역을 검출할 수 있다.
본 발명의 다른 실시예에서는, 상기 객체영역검출부(2000)는 제1판별부(2100) 및 제2판별부(2200)에서의 판별결과를 종합하여, 객체영역을 도출할 수도 있다. 구체적으로, 제1판별부(2100)에서의 매크로블록에 대한 크기정보에 대한 스코어, 제2판별부(2200)에서의 블록크기정보, 모션벡터정보, 예측오류정보 중 1 이상에 대한 판별스코어에 기초하여 매크로블록 전체 혹은 매크로블록을 구성하는 서브블록에 대하여 객체영역을 검출할 수도 있다.
본 발명의 다른 실시예에서는, 상기 객체영역검출부(2000)는 제1판별부(2100)에서의 판별결과에 기초하여 객체영역을 도출할 수 있다.
본 발명의 다른 실시예에서는, 상기 객체영역검출부(2000)는 제2판별부(2200)에서의 판별결과에 기초하여 객체영역을 도출할 수 있다.
도 6은 매크로블록의 몇 예들을 도시한 도면이다.
도 6의 (A)는 매크로블록이 1개의 블록으로 이루어진 경우를 도시하고, 도 6의 (B)는 4개의 블록으로 이루어진 경우를 도시하고, 도 6의 (C)는 7개의 블록으로 이루어진 경우를 도시하고, 도 6의 (D)는 16개의 블록으로 이루어진 경우를 도시한다.
전술한 바와 같이, 상기 제1판별부(2100)는 각각의 매크로블록에 대한 데이터의 크기정보를 판별한다. 도 6의 (D)와 같이 복수의 서브블록으로 이루어진 경우에는 일반적으로 도 6의 (A) 보다 매크로블록에 대한 데이터의 크기가 높을 가능성이 높다. 제1판별부(2100)는 도 6의 (A)와 같은 매크로블록보다 도 6의 (D)와 같은 매크로블록이 객체영역에 해당될 가능성이 높은 방향으로 판별을 수행한다.
한편, 도 6의 (D)에서의 서브블록의 블록사이즈는 도 6의 (B)에서의 서브블록 혹은 도 6의 (A)의 매크로블록 전체의 블록사이즈보다 작고, 따라서, 제2판별부(2200)는 도 6의 (D)에서의 서브블록이 도 6의 (B)에서의 서브블록 혹은 도 6의 (A)의 매크로블록 전체 보다 객체영역에 해당될 가능성이 높은 방향으로 판별을 수행한다.
도 7은 서브블록을 포함하는 매크로블록의 예를 도시한 도면이다.
가변크기 블록을 이용한 영상데이터의 인코딩에서는 동일한 매크로블록에서의 서브블록은 도 7에서와 같이 각각의 서브블록은 상이한 블록크기 및 모션벡터를 가질 수 있다.
도 7의 블록 #4, #5, #6, #7은 블록 #1, #2, #3보다 작은 크기의 블록사이즈 및 큰 모션벡터를 가지고 따라서, 제2판별부(2200)는 블록 #4, #5, #6, #7에 대하여 객체영역에 해당하는 블록인지 여부에 대한 스코어에 있어서 블록 #1, #2, #3 보다 높은 스코어를 부여할 수 있다.
도 8은 본 발명의 일 실시예에 따른 객체영역검출단계의 과정을 블록기준으로 도시한 도면이다.
도 8의 (A)는 16개의 매크로블록을 도시한다.
도 8의 (B)는 상기 가변길이디코딩단계가 수행되기 전의 영상데이터로부터 매크로블록 대한 데이터의 크기정보를 추출하는 단계; 및 상기 매크로블록에 대한 데이터의 크기정보가 기설정된 기준을 충족하는 지 여부를 판별하는 단계;를 포함하는 제1판별단계가 수행된 상태를 도시한다. 도 8의 (B)에서 점선으로 표시된 부분은 매크로블록에 대한 데이터의 크기가 기설정된 값 미만인 매크로블록들에 해당하고, 도 8의 (B)에서 실선으로 표시된 부분은 매크로블록에 대한 데이터의 크기가 기설정된 값 이상인 매크로블록들에 해당한다.
도 8의 (C)는 상기 제1판별단계에 의하여 데이터의 크기정보가 기설정된 기준을 충족하는 매크로블록(도 8의 (B)의 실선영역)에 대하여 상기 영상디코딩단계에서 추출되는 1 이상의 영상디코딩 파라미터에 기초하여 객체영역을 검출하는 제2판별단계가 수행된 상태를 도시한다.
도 8의 (C)에서 점선으로 표시된 부분은 제2판별단계에서 기설정된 기준을 만족시키지 못한 블록에 해당하고, 도 8의 (C)에서 실선으로 표시된 부분은 제2판별단계에서 기설정된 기준을 만족시킨 서브블록 혹은 매크로블록에 해당한다.
본 발명의 바람직한 일 실시예에서는 제1판별부(2100)에 의하여 매크로블록 중 일부를 제2판별부(2200)의 판별대상에서 제외하고, 제1판별부(2100)의 기준을 충족시킨 매크로블록들에 대해서만 제2판별부(2200)의 판별을 수행함으로써, 객체영역검출단계에서의 연산량을 더욱 감소시킬 수 있고, 결과적으로 전체적인 영상처리의 속도를 향상시킬 수 있다.
도 9는 본 발명의 일 예에 따른 영상화면에 대한 블록분할 정보를 도시하는 도면이다.
도 9에 도시된 바와 같이, 객체가 있는 영역의 경우, 각각의 매크로블록이 보다 세부블록으로 나누어짐을 확인할 수 있고, 이와 같은 특성을 반영하여 상기 제2판별부(2200)는 해당 세부블록 혹은 매크로블록이 객체영역인지 여부를 판별한다.
도 10은 본 발명의 일 예에 따른 영상화면에 대한 모션벡터정보를 도시하는 도면이다.
도 10에 도시된 바와 같이, 객체가 있는 영역의 경우, 각각의 매크로블록 혹은 세부블록의 모션벡터의 크기가 커짐을 알 수 있고, 이와 같은 특성을 반영하여 상기 제2판별부(2200)는 해당 세부블록 혹은 매크로블록이 객체영역인지 여부를 판별한다.
도 11은 본 발명의 일 예에 따른 영상화면에 대한 예측오류정보를 도시하는 도면이다.
도 11에 도시된 바와 같이, 객체가 있는 영역의 경우, 각각의 매크로블록 혹은 세부블록의 예측오류정보(도 11에서는 예측오류정보 중 YCrCb 컬러 공간에서 밝기값에 해당하는 Y값에 대한 예측오류정보를 수치에 따라 명(수치가 큰 경우), 암(수치가 작은 경우)로 표현하였음)의 값이 커짐을 알 수 있고, 이와 같은 특성을 반영하여 상기 제2판별부는 해당 세부블록 혹은 매크로블록이 객체영역인지 여부를 판별한다.
도 12는 본 발명의 일 실시예에 따른 인코딩 되는 영상을 생성하는 인코더 시스템을 개략적으로 도시한다.
전술한 본 발명의 일 실시예에 따른 객체영역검출부, 영상디코딩부는 도 6에서와 같이 가변크기 블록을 이용하여 인코딩된 영상데이터에 대해 적용할 수 있다. 대표적인 일예로서는 H.264 코덱에 의하여 인코딩된 영상데이터에 대하여 적용될 수 있다.
도 12에 도시된 인코더(10)는 도 1 및 도 2에 영상데이터로 도시된 데이터를 생성하기 위해, DCT부(Discrete Cosine Transform)(11), 양자화부(Quantization)(12), 역양자화부(Inverse Quantization; IQ)(13), 역변환부(Inverse Discrete Cosine Transform;IDCT)(14), 프레임 메모리(15), 움직임 추정 및 보상부(Motion Estimation and Compensation; ME/MC)(16) 및 가변 길이 코딩부(Variable Length Coding; VLC)(17)를 포함할 수 있다. 마찬가지로, 상기 영상디코딩부는 상기 인코딩부의 구성에 상응하게 구성됨이 바람직하다.
이에 대해 간략하게 설명을 하자면, DCT부(11)는 공간적 상관성을 제거하기 위해 기설정된 사이즈 (예를들어 4×4) 픽셀 블록 단위로 입력되는 영상 데이터에 대해 DCT 연산을 수행한다.
이후, 양자화부(12)는 DCT부(11)에서 얻어진 DCT 계수에 대해 양자화를 수행하여, 몇 개의 대표 값으로 표현함으로써, 고효율 손실 압축을 수행한다.
또한, 역양자화부(13)는 양자화부(12)에서 양자화된 영상 데이터를 역양자화한다.
역변환부(14)는 역양자화부(13)에서 역양자화된 영상 데이터에 대해 IDCT 변환을 수행한다.
프레임 메모리(15)는 역변환부(14)에서 IDCT 변환된 영상데이터를 프레임 단위로 저장한다.
한편, 움직임 추정 및 보상부(16)는 입력되는 현재 프레임의 영상데이터와 프레임 메모리부(15)에 저장된 이전 프레임의 영상 데이터를 이용하여 매크로 블록당 움직임 벡터(Motion Vector; MV)를 추정하여 블록정합오차(blockmatching error)에 해당되는 SAD(sum of absolute difference)를 계산한다.
가변길이 코딩부(17)는 움직임 추정 및 보상부(16)에서 추정된 움직임 벡터에 따라 DCT및 양자화 처리된 데이터에서 통계적 중복성을 제거한다.
도 13은 영상 데이터의 프레임들의 예들을 개략적으로 도시한 도면이다
일반적인 동영상의 비디오 부분은 I 프레임(도 13에서 “I”로 도시한 프레임), P 프레임(도 13에서 “P”로 도시한 프레임), 및 B 프레임(도 13에서 “B”로 도시한 프레임)으로 구성된다.
I 프레임은 키 프레임으로써 전체 이미지를 모두 포함하고, 동영상 파일에 있어서 억세스 포인트로 기능할 수 있으며, 독립적으로 인코딩된 프레임에 해당하며 낮은 압축률을 가지고 있다.
한편, P 프레임의 경우, 이전의 I 프레임 혹은 P 프레임을 참조하여 순방향 예측에 의하여 만들어지는 프레임으로서 독립적으로 인코딩된 프레임에 해당하지 않는다. 이와 같은 P 프레임은 I 프레임에 비해 높은 압축률을 가지고 있다. 여기서, “이전”의 프레임이라는 것은 바로 전 프레임뿐만 아니라 해당 프레임 전에 존재하는 복수의 프레임 중 하나를 의미하고, “이후”의 프레임이라는 것은 바로 다음 프레임뿐만 아니라 해당 프레임 다음에 존재하는 복수의 프레임 중 하나를 의미한다.
한편, B 프레임의 경우, 이전의 프레임 및 이후의 프레임을 참조하여 순방향 및 역방향 예측에 의하여 만들어지는 프레임으로서 독립적으로 인코딩된 프레임에 해당하지 않는다. 이와 같은 B 프레임은 I, P 프레임에 비해 높은 압축률을 가지고 있다. 따라서, 상기 독립적으로 인코딩된 프레임은 I 프레임에 해당하고, 비독립적으로 인코딩된 프레임은 나머지 B 프레임 혹은 P 프레임에 해당할 수 있다.
상기 B, P 프레임은 참조프레임에 해당하고, 바람직하게는, 상기 객체영역검출부는 이와 같은 참조프레임에 대하여 객체영역검출을 수행한다.
도 14는 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 예시적으로 도시한다. 도 2에 도시된 구성요소 전체 혹은 일부는 후술하는 컴퓨팅장치의 구성요소를 포함할 수 있다.
도 14에 도시한 바와 같이, 컴퓨팅장치(11000)은 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/Osubsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다.
메모리(11200)는, 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그밖에 다양한 데이터를 포함할 수 있다.
이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다. 상기 프로세서(11100)은 단일 혹은 복수로 구성될 수 있고, 연산처리속도 향상을 위하여 GPU 및 TPU 형태의 프로세서를 포함할 수 있다.
주변장치 인터페이스(11300)는 컴퓨팅장치(11000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.
입/출력 서브시스템(11400)은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템(11400)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템(11400)을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.
전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.
통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅장치와 통신을 가능하게 할 수 있다.
또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅장치와 통신을 가능하게 할 수도 있다.
이러한 도 14의 실시예는, 컴퓨팅장치(11000)의 일례일 뿐이고, 컴퓨팅장치(11000)은 도 14에 도시된 일부 컴포넌트가 생략되거나, 도 14에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅장치는 도 14에도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(1160)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 어플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 이용자 단말에 설치될 수 있다. 일 예로, 파일 배포 시스템은 이용자 단말이기의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 인코딩된 영상데이터로부터 객체를 인식, 트레킹, 식별 등의 분석을 수행하는 경우에 미리 객체영역을 검출하여 검출된 객체영역에 대해서만 영상분석을 수행하기 때문에, 보다 빠른 속도로 영상을 처리할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 영상분석 전 객체영역을 검출함에 있어서도 1차적으로 불필요한 매크로블록을 선별적으로 제거함으로써, 객체영역 검출에 대한 연산량을 감소시켜 시스템 전체적으로 연산속도를 높일 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 객체영역 검출에 있어서 최소의 연산량임에도 불구하고 상당히 높은 수준의 정확도로 객체가 존재할 수 있다고 판단되는 객체영역을 검출할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 해당 영상데이터를 디코딩하기 위한 디코더부의 구성을 변경하지 않으면서, 해당 디코더부에서 디코딩 과정에서 생성되는 파라미터를 이용함으로써, 가변크기 블록을 이용한 코덱방식이라면 코덱이 변경되더라도, 용이하게 적용될 수 있는 효과를 발휘할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅장치 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (12)

  1. 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 메인 메모리를 포함하는 컴퓨팅 시스템에서 수행되는 객체영역검출방법으로서,
    영상데이터에 대하여 가변길이디코딩단계, 역양자화단계, 역변환단계, 및 가산단계를 수행하여, 영상을 디코딩하는 영상디코딩단계; 및
    상기 영상데이터에 포함된 매크로블록에 대한 데이터의 크기정보; 및 상기 영상디코딩단계에서 추출되는 1 이상의 영상디코딩 파라미터에 기초하여 영상의 객체영역정보를 도출하는 객체영역검출단계;를 포함하고,
    상기 객체영역검출단계는,
    상기 가변길이디코딩단계가 수행되기 전의 영상데이터로부터 매크로블록에 대한 데이터의 크기정보를 추출하는 단계; 및 상기 매크로블록에 대한 데이터의 크기정보가 기설정된 기준을 충족하는 지 여부를 판별하는 단계;를 포함하는 제1판별단계; 및
    상기 제1판별단계에 의하여 데이터의 크기정보가 기설정된 기준을 충족하는 매크로블록에 대하여 상기 영상디코딩단계에서 추출되는 1 이상의 영상디코딩 파라미터에 기초하여 객체영역을 검출하는 제2판별단계를 포함하는, 객체영역검출방법.
  2. 청구항 1에 있어서,
    상기 제2 판별단계는 상기 매크로블록이 서브블록을 포함하고 있지 않는 경우에는 상기 매크로블록 전체에 대한 1 이상의 영상디코딩 파라미터에 기초하여 객체영역을 검출하고,
    상기 매크로블록이 서브블록을 포함하고 있는 경우에는 상기 서브블록 각각에 대한 1 이상의 영상디코딩 파라미터에 기초하여 객체영역을 검출하는, 객체영역검출방법.
  3. 청구항 1에 있어서,
    상기 1 이상의 영상디코딩 파라미터는 매크로블록 혹은 매크로블록을 구성하는 서브블록의 모션벡터정보를 포함하는, 객체영역검출방법.
  4. 청구항 3에 있어서,
    상기 모션벡터정보는 상기 가변길이디코딩단계에서 복호화된 정보로부터 도출되는, 객체영역검출방법.
  5. 청구항 1에 있어서,
    상기 1 이상의 영상디코딩 파라미터는 매크로블록 혹은 매크로블록을 구성하는 서브블록의 예측오류정보를 포함하는, 객체영역검출방법.
  6. 청구항 5에 있어서,
    상기 예측오류정보는 상기 가산단계에서 도출되고,
    상기 예측오류정보는 해당 매크로블록 혹은 매크로블록을 구성하는 서브블록에 대한 복호화된 영상데이터에 기초한 색상정보 및 상기 가산단계에서 수행되는 예측단계에서 예측된 해당 매크로블록 혹은 매크로블록을 구성하는 서브블록에 대한 색상정보의 차이에 기초하여 도출되는, 객체영역검출방법.
  7. 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 메인 메모리를 포함하는 컴퓨팅 시스템에서 수행되는 객체영역검출방법으로서,
    영상데이터에 대하여 가변길이디코딩단계, 역양자화단계, 역변환단계, 및 가산단계를 수행하여, 영상을 디코딩하는 영상디코딩단계; 및
    상기 영상데이터에 포함된 매크로블록에 대한 데이터의 크기정보; 및 상기 영상디코딩단계에서 추출되는 1 이상의 영상디코딩 파라미터에 기초하여 영상의 객체영역정보를 도출하는 객체영역검출단계;를 포함하고,
    상기 객체영역검출단계는, 모션벡터정보, 및 예측오류정보에 기초하여 객체영역정보를 도출하는, 객체영역검출방법.
  8. 청구항 7에 있어서,
    상기 객체영역검출단계는 대상 블록에 대한 모션벡터정보, 및 예측오류정보에 대한 각각의 평가결과를 종합하여 객체영역정보를 도출하는, 객체영역검출방법.
  9. 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 메인 메모리를 포함하는 객체영역검출장치로서,
    영상데이터에 대하여 각각 가변길이디코딩단계, 역양자화단계, 역변환단계, 및 가산단계를 수행하는 가변길이디코딩부, 역양자화부, 역변환부, 및 가산부를 포함하여, 영상을 디코딩하는 영상디코딩부; 및
    상기 영상데이터에 포함된 매크로블록에 대한 데이터의 크기정보; 및 상기 영상디코딩부에서 추출되는 1 이상의 영상디코딩 파라미터에 기초하여 영상의 객체영역정보를 도출하는 객체영역검출부;를 포함하고,
    상기 객체영역검출부는,
    상기 가변길이디코딩부가 수행되기 전의 영상데이터로부터 매크로블록에 대한 데이터의 크기정보를 추출하는 단계; 및 상기 매크로블록에 대한 데이터의 크기정보가 기설정된 기준을 충족하는 지 여부를 판별하는 단계;를 포함하는 제1판별단계; 및
    상기 제1판별단계에 의하여 데이터의 크기정보가 기설정된 기준을 충족하는 매크로블록에 대하여 상기 영상디코딩부에서 추출되는 1 이상의 영상디코딩 파라미터에 기초하여 객체영역을 검출하는 제2판별단계를 수행하는, 객체영역검출장치.
  10. 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 메인 메모리를 포함하는 객체영역검출장치로서,
    영상데이터에 대하여 각각 가변길이디코딩단계, 역양자화단계, 역변환단계, 및 가산단계를 수행하는 가변길이디코딩부, 역양자화부, 역변환부, 및 가산부를 포함하여, 영상을 디코딩하는 영상디코딩부; 및
    상기 영상데이터에 포함된 매크로블록에 대한 데이터의 크기정보; 및 상기 영상디코딩부에서 추출되는 1 이상의 영상디코딩 파라미터에 기초하여 영상의 객체영역정보를 도출하는 객체영역검출부;를 포함하고,
    상기 객체영역검출부는, 모션벡터정보, 및 예측오류정보에 기초하여 객체영역정보를 도출하는, 객체영역검출장치.
  11. 하나 이상의 프로세서에 의해 실행되는 복수의 명령들을 포함하는, 컴퓨터-판독가능 매체에 저장된 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은,
    영상데이터에 대하여 가변길이디코딩단계, 역양자화단계, 역변환단계, 및 가산단계를 수행하여, 영상을 디코딩하는 영상디코딩단계; 및
    상기 영상데이터에 포함된 매크로블록에 대한 데이터의 크기정보; 및 상기 영상디코딩단계에서 추출되는 1 이상의 영상디코딩 파라미터에 기초하여 영상의 객체영역정보를 도출하는 객체영역검출단계;를 포함하고,
    상기 객체영역검출단계는,
    상기 가변길이디코딩단계가 수행되기 전의 영상데이터로부터 매크로블록에 대한 데이터의 크기정보를 추출하는 단계; 및 상기 매크로블록에 대한 데이터의 크기정보가 기설정된 기준을 충족하는 지 여부를 판별하는 단계;를 포함하는 제1판별단계; 및
    상기 제1판별단계에 의하여 데이터의 크기정보가 기설정된 기준을 충족하는 매크로블록에 대하여 상기 영상디코딩단계에서 추출되는 1 이상의 영상디코딩 파라미터에 기초하여 객체영역을 검출하는 제2판별단계를 포함하는 컴퓨터 프로그램.
  12. 하나 이상의 프로세서에 의해 실행되는 복수의 명령들을 포함하는, 컴퓨터-판독가능 매체에 저장된 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은,
    영상데이터에 대하여 가변길이디코딩단계, 역양자화단계, 역변환단계, 및 가산단계를 수행하여, 영상을 디코딩하는 영상디코딩단계; 및
    상기 영상데이터에 포함된 매크로블록에 대한 데이터의 크기정보; 및 상기 영상디코딩단계에서 추출되는 1 이상의 영상디코딩 파라미터에 기초하여 영상의 객체영역정보를 도출하는 객체영역검출단계;를 포함하고,
    상기 객체영역검출단계는, 모션벡터정보, 및 예측오류정보에 기초하여 객체영역정보를 도출하는 컴퓨터 프로그램.
KR1020180112606A 2018-09-20 2018-09-20 객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램 KR102132335B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180112606A KR102132335B1 (ko) 2018-09-20 2018-09-20 객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램
US16/190,763 US11164328B2 (en) 2018-09-20 2018-11-14 Object region detection method, object region detection apparatus, and non-transitory computer-readable medium thereof
CN201811397383.5A CN110933415B (zh) 2018-09-20 2018-11-22 对象区域检测方法、装置及对其的非临时性计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180112606A KR102132335B1 (ko) 2018-09-20 2018-09-20 객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램

Publications (2)

Publication Number Publication Date
KR20200033412A KR20200033412A (ko) 2020-03-30
KR102132335B1 true KR102132335B1 (ko) 2020-07-09

Family

ID=69856463

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180112606A KR102132335B1 (ko) 2018-09-20 2018-09-20 객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램

Country Status (3)

Country Link
US (1) US11164328B2 (ko)
KR (1) KR102132335B1 (ko)
CN (1) CN110933415B (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10867190B1 (en) * 2019-11-27 2020-12-15 Aimotive Kft. Method and system for lane detection
US20230107012A1 (en) * 2021-10-05 2023-04-06 Mellanox Technologies, Ltd. Hardware accelerated video encoding

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01118073A (ja) * 1987-10-30 1989-05-10 Rinnai Corp 給湯器
US7095786B1 (en) * 2003-01-11 2006-08-22 Neo Magic Corp. Object tracking using adaptive block-size matching along object boundary and frame-skipping when object motion is low
KR101217627B1 (ko) * 2006-02-02 2013-01-02 삼성전자주식회사 블록 기반의 움직임 추정 방법 및 장치
JP4357560B2 (ja) * 2007-12-27 2009-11-04 株式会社東芝 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP4623135B2 (ja) * 2008-05-08 2011-02-02 株式会社デンソー 画像認識装置
JP4406892B1 (ja) * 2008-11-28 2010-02-03 日本ビクター株式会社 繰り返しオブジェクト検出装置及び方法
US9082278B2 (en) * 2010-03-19 2015-07-14 University-Industry Cooperation Group Of Kyung Hee University Surveillance system
US20120275524A1 (en) * 2011-04-28 2012-11-01 Industrial Technology Research Institute Systems and methods for processing shadows in compressed video images
CN107295342B (zh) * 2011-07-22 2020-04-28 Sk电信有限公司 视频编码装置
KR20140092861A (ko) * 2011-10-31 2014-07-24 미쓰비시덴키 가부시키가이샤 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 방법 및 동화상 복호 방법
KR101409826B1 (ko) 2012-10-19 2014-06-24 한양대학교 산학협력단 적응적 탐색 범위를 이용한 움직임 예측 방법
KR101975206B1 (ko) * 2012-11-23 2019-05-07 삼성전자주식회사 시간상 연속하는 물체의 움직임들에 대응하는 이미지 데이터들을 프로세싱하는 방법 및 장치
WO2018008678A1 (ja) * 2016-07-08 2018-01-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 復号装置、符号化装置、復号方法及び符号化方法

Also Published As

Publication number Publication date
US20200098132A1 (en) 2020-03-26
CN110933415A (zh) 2020-03-27
US11164328B2 (en) 2021-11-02
CN110933415B (zh) 2022-03-08
KR20200033412A (ko) 2020-03-30

Similar Documents

Publication Publication Date Title
CN111066326B (zh) 机器学习视频处理系统和方法
US20210168408A1 (en) Machine-Learning-Based Adaptation of Coding Parameters for Video Encoding Using Motion and Object Detection
JP5555221B2 (ja) 着目物の適応的な色モデル・パラメータ推定に係る方法および装置
CN112673625A (zh) 混合视频以及特征编码和解码
US11375204B2 (en) Feature-domain residual for video coding for machines
US10373458B2 (en) Automatic threat detection based on video frame delta information in compressed video streams
JP2015536092A5 (ko)
KR102261669B1 (ko) 인공신경망 기반 객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램
US20130155228A1 (en) Moving object detection method and apparatus based on compressed domain
KR102132335B1 (ko) 객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램
US9712828B2 (en) Foreground motion detection in compressed video data
KR20100068529A (ko) 장면 전환 검출 시스템 및 방법
He et al. Exposing fake bitrate videos using hybrid deep-learning network from recompression error
Shen et al. A novel method for lossless compression of arbitrarily shaped regions of interest in hyperspectral imagery
WO2016143067A1 (ja) 映像解析装置
CN117730537A (zh) 经由基于学习神经网络的过滤器对机器视觉任务的性能改进
US20080253670A1 (en) Image Signal Re-Encoding Apparatus And Image Signal Re-Encoding Method
CN102934445A (zh) 基于分段对图像编码和解码的方法和设备
US20230388490A1 (en) Encoding method, decoding method, and device
KR102345258B1 (ko) 객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램
JP2014514808A (ja) 画像ブロックを再構成および符号化する方法
KR102530635B1 (ko) 교통정보 및 보행정보 분석방법, 장치 및 이에 대한 컴퓨터 프로그램
KR102592089B1 (ko) 움직임이 존재하는 프레임의 검출방법
JP3711022B2 (ja) 動画像内の特定物体認識方法及び装置
KR20230040285A (ko) 영상정보의 비트스트림정보에 기반하여 객체영역을 검출하는 방법 및 시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right