KR20140144961A - 관심 영역 검출 장치 및 검출 방법 - Google Patents

관심 영역 검출 장치 및 검출 방법 Download PDF

Info

Publication number
KR20140144961A
KR20140144961A KR1020130067226A KR20130067226A KR20140144961A KR 20140144961 A KR20140144961 A KR 20140144961A KR 1020130067226 A KR1020130067226 A KR 1020130067226A KR 20130067226 A KR20130067226 A KR 20130067226A KR 20140144961 A KR20140144961 A KR 20140144961A
Authority
KR
South Korea
Prior art keywords
interest
region
regions
initial
image frame
Prior art date
Application number
KR1020130067226A
Other languages
English (en)
Inventor
옴리 센딕
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130067226A priority Critical patent/KR20140144961A/ko
Priority to US14/192,912 priority patent/US20140369603A1/en
Publication of KR20140144961A publication Critical patent/KR20140144961A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Abstract

본 발명의 일 실시예에 따른 관심 영역 검출 장치는 이미지 프레임을 구성하는 단위 블록들의 에너지를 산출하는 단계, 상기 단위 블록들 가운데 임계값 이상의 에너지를 갖는 적어도 하나의 관심 블록을 검출하는 단계, 상기 이미지 프레임을 분할하여 최초 관심 영역들을 형성하는 단계, 및 상기 최초 관심 영역들 가운데 상기 관심 블록을 가장 많이 포함하는 중간 관심 영역을 제거하는 단계를 포함한다.

Description

관심 영역 검출 장치 및 검출 방법{DETECTION DEVICE FOR REGION OF INTERESTING AND DETECTING METHOD THE SAME}
본 발명은 관심 영역 검출 장치 및 검출 방법에 관한 것으로, 더욱 상세하게는 움직임 추정을 위한 관심 영역 검출 장치 및 검출 방법에 관한 것이다.
컴퓨터 비전 및 디지털 비디오 처리 기술이 발달함에 따라 동영상을 분석하여 동작 정보를 추출하는 연구가 활발히 진행되고 있다. 움직임 벡터를 추출하고 필터링하는 기법은 기본적이면서도 매우 중요한 연구 분야이고, 순차적인 이미지 프레임들 간의 움직임 추정 기법은 다수의 어플리케이션들에서 사용되고 있다.
움직임 추정을 위해 이미지 프레임 내의 각 부분이 어떻게 이동되었는지를 묘사해주는 움직임 벡터들이 사용된다. 움직임 벡터는 다차원(예를 들어, 2차원) 정보로, 현재 이미지 프레임과 기준 이미지 프레임에서 객체의 이동을 좌표상의 이동량으로 표시한 것이다. 예를 들어, 움직임 벡터가 2차원 정보를 갖는 경우, 움직임 벡터는 가로 방향의 움직임 크기와 세로 방향의 움직임 크기로 구성된다. 따라서, 움직임 벡터를 통해 순차적인 이미지 프레임들(ex. 현재 이미지 프레임과 기준 이미지 프레임) 간의 움직임이 추출될 수 있다.
객체의 움직임 벡터를 검출하기 위해 이미지 프레임 상의 특정 영역이 설정된다. 이러한 특정 영역은 일반적으로 관심 영역이라고 알려져 있으며, 관심 영역이 어떻게 설정되는 지에 따라 움직임 추정 결과에도 영향을 줄 수 있다.
본 발명의 목적은 노이즈 또는 스펙클(speckle)에 강건한 관심 영역 검출 장치 및 검출 방법을 제공하는 데 있다.
본 발명의 일 실시예에 따른 관심 영역 검출 장치는 이미지 프레임을 구성하는 단위 블록들의 에너지를 산출하는 단계, 상기 단위 블록들 가운데 임계값 이상의 에너지를 갖는 적어도 하나의 관심 블록을 검출하는 단계, 상기 이미지 프레임을 분할하여 최초 관심 영역들을 형성하는 단계, 및 상기 최초 관심 영역들 가운데 상기 관심 블록을 가장 많이 포함하는 중간 관심 영역을 제거하는 단계를 포함한다.
일 실시예에서, 상기 이미지 프레임을 분할하여 최초 관심 영역들을 형성하는 단계는 제 n 레벨(n=0, n은 정수)의 최초 관심 영역들 및 제 n+1 레벨의 최초 관심 영역들을 형성하고, 상기 제 n+1 레벨의 최초 관심 영역들의 개수는 상기 제 n 레벨의 최초 관심 영역들의 개수보다 많을 수 있다.
일 실시예에서, 상기 제 n 레벨의 최초 관심 영역들의 개수는 2n+2 개이고, 상기 제 n+1 레벨의 최초 관심 영역들의 개수는 2n+4 개일 수 있다.
일 실시예에서, 상기 최초 관심 영역들 가운데 상기 관심 블록을 가장 많이 포함하는 중간 관심 영역을 제거하는 단계는 상기 제 n 레벨의 최초 관심 영역들에 대해 수행된 이후에 상기 제 n+1 레벨의 최초 관심 영역들에 대해 수행될 수 있다.
일 실시예에서, 상기 최초 관심 영역들 가운데 상기 관심 블록을 가장 많이 포함하는 중간 관심 영역을 제거하는 단계는 상기 제 n 레벨의 최초 관심 영역들 가운데 제거 대상으로 선택된 중간 관심 영역에 대응되는 상기 제 n+1 레벨의 최초 관심 영역들에 대해 수행될 수 있다.
일 실시예에서, 상기 최초 관심 영역들 가운데 상기 관심 블록을 가장 많이 포함하는 중간 관심 영역을 제거하는 단계는 상기 제 n+1 레벨의 최초 관심 영역들 가운데 제거 대상으로 선택된 중간 관심 영역이 제거된 이후에 남아있는 상기 제 n 레벨의 최초 관심 영역들에 대해 다시 수행될 수 있다.
일 실시예에서, 상기 최초 관심 영역들 가운데 상기 관심 블록을 가장 많이 포함하는 중간 관심 영역을 제거하는 단계는 상기 제 n+1 레벨의 최초 관심 영역들의 개수가 미리 설정된 개수와 같아질 때까지 수행될 수 있다.
일 실시예에서, 상기 이미지 프레임을 구성하는 단위 블록들의 에너지를 산출하는 단계는 상기 단위 블록들의 직류 주파수 성분의 에너지를 제거하는 단계를 포함할 수 있다.
일 실시예에서, 상기 에너지는 제 1 방향의 에너지 및 제 2 방향의 에너지를 포함할 수 있다.
일 실시예에서, 상기 제 1 및 제 2 방향은 서로 직교할 수 있다.
일 실시예에서, 상기 제 1 및 제 2 방향의 에너지는 상기 단위 블록의 밝기(Luminance)를 기초로 산출될 수 있다.
일 실시예에서, 상기 이미지 프레임을 분할하여 최초 관심 영역들을 형성하는 단계는 상기 이미지 프레임을 격자형으로 분할할 수 있다.
본 발명의 일 실시예에 따른 관심 영역 검출 장치는 이미지 프레임의 단위 블록들의 에너지를 산출하고, 상기 단위 블록들 가운데 임계값보다 높은 에너지를 갖는 관심 블록을 검출하는 관심 블록 검출부, 및 상기 이미지 프레임을 복수의 최초 관심 영역으로 분할하고, 상기 복수의 최초 관심 영역 가운데 상기 관심 블록을 가장 많이 포함하는 중간 관심 영역을 제거하여 최종 관심 영역을 검출하는 관심 영역 검출부를 포함하되, 상기 관심 영역 검출부는 상기 최종 관심 영역이 미리 결정된 수와 동일한 값을 가질 때까지 상기 중간 관심 영역을 제거한다.
일 실시예에서, 상기 관심 블록 검출부는 상기 단위 블록들의 수직 방향의 에너지 및 수평 방향의 에너지를 산출할 수 있다.
일 실시예에서, 상기 관심 영역 검출부는 상기 이미지 프레임을 분할하여 제 n 레벨(n=0, n은 정수)의 최초 관심 영역들 및 제 n+1 레벨의 최초 관심 영역들을 형성하고, 상기 제 n 레벨의 최초 관심 영역들 가운데 제거 대상으로 선택된 중간 관심 영역에 대응되는 상기 제 n+1 레벨의 최초 관심 영역들의 중간 관심 영역을 제거할 수 있다.
본 발명의 실시예들에 따른 관심 영역 검출 장치 및 검출 방법은 노이즈 또는 스펙클(speckle)에 강건한 검출 결과를 제공할 수 있다.
도 1 및 도 2는 움직임 추정을 설명하기 위한 도면이다.
도 3은 일반적인 관심 영역 검출 방법을 보여준다.
도 4는 본 발명의 일 실시예에 따른 관심 영역 검출 장치를 보여주는 블록도이다.
도 5는 본 발명의 일 실시예에 따른 관심 영역 검출 방법을 보여주는 흐름도이다.
도 6 내지 도 8은 각각 도 5의 S110 내지 S130 단계를 설명하기 위한 도면이다.
도 9 및 도 10은 도 5의 S140 단계를 설명하기 위한 도면이다.
도 11은 S140 단계의 다른 실시예를 보여주는 흐름도이다.
도 12 내지 도 16은 본 발명의 실시예에 따른 관심 영역 검출 방법을 적용한 결과를 보여준다.
도 17은 본 발명의 일 실시예에 따른 비디오 인코딩 장치를 보여주는 블록도이다.
도 18은 본 발명의 일 실시예에 따른 어플리케이션 프로세서를 보여주는 블록도이다.
도 19는 도 18의 어플리케이션 프로세서를 포함하는 모바일 장치를 보여주는 블록도이다.
아래에서는 도면들을 이용하여 본 발명의 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있을 정도로 본 발명의 내용을 명확하고 상세하게 기재할 것이다.
본 발명은 관심 영역 검출 장치 및 검출 방법에 관한 것으로, 더욱 상세하게는 움직임 추정을 위한 관심 영역 검출 장치 및 검출 방법에 관한 것이다. 이하에서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예들을 첨부된 도면을 참조하여 설명하기로 한다.
도 1 및 도 2는 움직임 추정을 설명하기 위한 도면이다. 제 1 및 제 2 이미지 프레임은 시간적으로 연속적인 이미지 프레임들일 수 있다.
움직임 추정(motion estimation)은 제 1 이미지 프레임에 포함된 객체들의 제 2 이미지 프레임에서의 위치를 추정한다. 객체들의 움직임은 각각의 객체를 구성하는 특정 영역들의 움직임을 추정함으로써 추정될 수 있다. 즉, 움직임 추정은 제 1 및 제 2 이미지 프레임의 특정 영역에 대한 유사도 측정 과정으로 이해될 수 있다. 움직임 추정을 통해 추정된 움직임 벡터(motion vector)는 제 1 이미지 프레임의 특정 영역의 좌표와 제 2 이미지 프레임의 상기 특정 영역의 좌표의 차이로 주어진다. 이를 위해, 움직임 추정에서는 관심 영역(Region of Interest)의 설정이 필요하다.
도 1 및 도 2를 참조하면, 제 1 및 제 2 이미지 프레임 사이의 움직임 추정을 위해 설정된 관심 영역(Region of Interest, ROI, 점선으로 표기됨)들이 도시된다. 제 1 이미지 프레임에서 제 2 이미지 프레임으로 향하는 화살표는 움직임 벡터를 개략적으로 도시한 것으로 이해될 수 있다. 예시적으로, 직사각형의 객체의 경우 모서리 및 변에 관심 영역이 설정되고, 타원형의 객체의 경우 타원 내부에 관심 영역이 설정된다.
도 2를 참조하면, 직사각형의 객체의 모서리에 설정된 관심 영역은 오직 하나의 움직임 벡터를 제공한다. 반면에, 직사각형의 객체의 변에 설정된 관심 영역은 예를 들면, 2개 또는 그 이상의 움직임 벡터를 제공할 수 있다. 타원형의 객체의 내부에 설정된 관심 영역의 경우도 마찬가지이다. 즉, 관심 영역의 설정에 따라 움직임 벡터의 추정 결과가 달라질 수 있다.
도 3은 일반적인 관심 영역 검출 방법을 보여준다.
도 3을 참조하면, 실제 이미지 프레임에서 관심 영역이 설정되는 예가 도시된다. 예를 들면, 관심 영역들(R, Y)은 도 2를 참조하여 설명된 직사각형 객체의 변에 설정된 관심 영역과 같이 움직임을 묘사하는 2개 또는 그 이상의 움직임 벡터를 가질 수 있다. 따라서, 도 3과 같은 관심 영역들(R, Y)의 설정은 신뢰성 있는 움직임 추정 결과를 가지기 어렵다.
도 4는 본 발명의 일 실시예에 따른 관심 영역 검출 장치를 보여주는 블록도이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 관심 영역 검출 장치(100)는 관심 블록 검출부(110) 및 관심 영역 검출부(120)를 포함한다.
관심 블록 검출부(110)는 이미지 프레임을 구성하는 단위 블록(unit block)들 가운데 관심 블록(interesting block)을 검출할 수 있다. 이를 위해, 관심 블록 검출부(110)는 이미지 프레임을 구성하는 단위 블록들의 에너지를 산출할 수 있다. 예를 들면, 관심 블록 검출부(110)는 하기의 수학식 1과 같은 단위 블록의 강도(또는 밝기(luminance)로 쓰이기도 함)를 기초로 단위 블록들의 에너지를 산출할 수 있다.
Figure pat00001
예를 들면, 상기 단위 블록들 가운데 임계값 이상의 에너지를 갖는 단위 블록들은 관심 블록으로 검출될 것이다. 단위 블록들의 에너지는 수직 방향의 에너지(vertical energy) 및 수평 방향의 에너지(horizontal energy)를 포함할 수 있다. 임계값은 이미지 프레임의 영상 특성(ex. 명도, 채도 등)을 고려하여 다양하게 설정될 수 있다. 관심 블록 검출부(110)의 구체적인 동작은 이하의 도 6 및 도 7을 참조하여 더욱 구체적으로 설명될 것이다.
관심 영역 검출부(120)는 이미지 프레임을 복수의 최초 관심 영역으로 분할하고, 분할된 최초 관심 영역들을 처리하여 최종 관심 영역을 검출할 수 있다. 구체적으로, 관심 영역 검출부(120)는 분할된 최초 관심 영역들 가운데 관심 블록을 가장 많이 포함하는 최초 관심 영역(이하, '중간 관심 영역'이라고 칭함)을 제거함으로써 최종 관심 영역을 검출할 수 있다. 이를 위해, 관심 영역 검출부(120)는 이미지 프레임을 분할하여 제 n 레벨(n=0, n은 정수)의 최초 관심 영역들 및 제 n+1 레벨의 최초 관심 영역들을 형성할 수 있다. 하지만, 관심 영역 검출부(120)는 설정에 따라 제 n+2 레벨 및 제 n+3 레벨의 최초 관심 영역들과 같이 더 많은 최초 관심 영역들을 형성할 수 있으며, 이에 한정되는 것은 아니다.
예를 들면, 제 n+1 레벨의 최초 관심 영역들의 개수는 제 n 레벨의 최초 관심 영역들의 개수보다 많을 수 있다. 즉, 제 n+1 레벨의 최초 관심 영역들은 제 n 레벨보다 더욱 분할된 것으로 이해될 수 있다. 예를 들면, 제 n 레벨의 최초 관심 영역들의 개수는 2n+2 개이고, 제 n+1 레벨의 최초 관심 영역들의 개수는 2n+4개 일 수 있다. 이는 이하의 도 8을 참조하여 구체적으로 설명될 것이다.
관심 영역 검출부(120)는 먼저 제 n 레벨의 최초 관심 영역들 가운데 제 1 중간 관심 영역을 검출할 수 있다. 그리고, 관심 영역 검출부(120)는 상기 중간 관심 영역에 대응되는 제 n+1 레벨의 최초 관심 영역들 가운데에서 제 2 중간 관심 영역을 검출할 수 있다. 예를 들면, 제 n+1 레벨의 최초 관심 영역들이 가장 높은 레벨의 최초 관심 영역들인 경우, 관심 영역 검출부(120)는 제 2 중간 관심 영역을 제거할 수 있다. 관심 영역 검출부(120)는 제 2 중간 관심 영역이 제거되고 남은 제 n 레벨의 최초 관심 영역들에 대해 상기의 과정을 반복할 수 있다. 예를 들면, 관심 영역 검출부(120)는 최종 관심 영역이 미리 결정된 수와 동일한 값을 가질 때까지 중간 관심 영역을 제거할 수 있다.
즉, 관심 영역 검출부(120)는 미리 결정된 수를 고려하여 이미지 프레임의 분할 횟수를 결정할 수 있다. 이미지 프레임의 분할 횟수에 따라 어느 레벨까지의 최초 관심 영역들이 형성되는 지가 결정될 것이다. 예를 들면, 관심 영역 검출부(120)는 최초 관심 영역들의 개수가 미리 결정된 수보다 많도록 이미지 프레임을 분할하여 최초 관심 영역들을 형성할 수 있다.
관심 영역 검출부(120)의 동작은 이하의 도 9 및 도 10을 참조하여 더욱 구체적으로 설명될 것이다.
도 5는 본 발명의 일 실시예에 따른 관심 영역 검출 방법을 보여주는 흐름도이다. 도 6 내지 도 8은 각각 도 5의 S110 내지 S130 단계를 설명하기 위한 도면이다. 도 9 및 도 10은 도 5의 S140 단계를 설명하기 위한 도면이다.
먼저, 도 5를 참조하면, 본 발명의 일 실시예에 따른 관심 영역 검출 방법은 이미지 프레임의 단위 블록들의 에너지를 산출하는 단계(S110), 단위 블록들 가운데 임계값 이상의 에너지를 갖는 적어도 하나의 관심 블록을 검출하는 단계(S120), 상기 이미지 프레임을 분할하여 최초 관심 영역들을 형성하는 단계(S130), 및 상기 최초 관심 영역들 가운데 관심 블록을 가장 많이 포함하는 중간 관심 영역을 제거하는 단계를 포함할 수 있다. 이하에서, 각 단계가 구체적으로 설명된다.
S110 단계에서, 관심 블록 검출부(110)는 단위 블록들의 에너지를 산출할 수 있다. 도 6을 참조하면, 이미지 프레임의 단위 블록들이 도시된다. 이미지 프레임은 복수의 단위 블록들로 구성될 수 있다. 예를 들면, 이미지 프레임은 nR 개의 행(row), nC 개의 열(column)로 구성될 수 있다.
관심 블록 검출부(110)는 이미지 프레임의 밝기 정보(luminance)를 이용하여 단위 블록들의 에너지를 산출할 수 있다. 이미지 프레임의 밝기 정보는 상기의 수학식 1을 이용하여 산출될 수 있을 것이다. 관심 블록 검출부(110)는 하기의 수학식 2 내지 7을 이용하여 단위 블록들의 에너지를 산출할 수 있다. 구체적으로, 관심 블록 검출부(110)는 단위 블록들의 수직 방향의 에너지 및 수평 방향의 에너지를 각각 산출할 수 있다.
Figure pat00002
여기서, Pi(u,v)는 i번째 이미지 프레임의 단위 블록의 밝기 정보, nR 은 행 개수, nC 는 열 개수를 의미할 수 있다. 즉, 수학식 2는 행 및 열들을 평균함으로써 이미지 프레임을 각각 행 및 열들의 합으로 투영(project)시키는 것으로 이해될 수 있다. 산출된 RowSum 및 ColSum을 기초로 하기의 수학식 3을 이용하여 행 및 열 방향 이미지 프레임의 에너지가 산출될 수 있다.
Figure pat00003
수학식 3은 예를 들면, 파스발 이론(Parseval's Theorem)을 이용하여 도출될 수 있다. Row Energy는 수평 방향의 에너지를 의미할 수 있다. Col Energy는 수직 방향의 에너지를 의미할 수 있다.
한편, 단위 블록이 갖는 에너지들 가운데 직류 주파수 성분(DC component)의 에너지는 강건한 움직임 추정 결과를 제공하지 못하므로 제거될 수 있다. 먼저, 직류 주파수 성분의 강도(intensity)는 이하의 수학식 4 및 5를 이용하여 산출될 수 있다.
Figure pat00004
Figure pat00005
즉, 상기의 수학식 4 및 5를 이용하여 이미지 프레임의 행 방향 및 열 방향의 직류 주파수 성분의 강도가 산출될 수 있다. 관심 블록 검출부(110)는 산출된 μ값을 기초로 하기의 수학식 6을 이용하여 직류 주파수 성분이 제거된 이미지 프레임의 행 방향 및 열 방향의 에너지를 산출할 수 있다.
Figure pat00006
여기서, High Frequency Horizontal Energy는 직류 주파수 성분이 제거된 이미지 프레임의 행 방향의 에너지를 의미할 수 있다. High Frequency Vertical Energy는 직류 주파수 성분이 제거된 이미지 프레임의 열 방향의 에너지를 의미할 수 있다.
관심 블록 검출부(110)는 수학식 3을 이용하여 산출된 RowSum, ColSum과 수학식 6을 이용하여 산출된 High Frequency Horizontal Energy, High Frequency Vertical Energy를 기초로 하기의 수학식 7을 이용하여 단위 블록들의 수직 방향의 에너지 및 수평 방향의 에너지를 산출할 수 있다.
Figure pat00007
HE는 단위 블록들의 수평 방향의 에너지를 의미할 수 있다. VE는 단위 블록들의 수직 방향의 에너지를 의미할 수 있다.
S120 단계에서, 관심 블록 검출부(110)는 적어도 하나의 관심 블록을 검출할 수 있다. 도 7을 참조하면, 관심 블록 검출부(110)는 단위 블록들의 수직 방향의 에너지 및 수평 방향의 에너지가 임계값보다 큰 경우 관심 블록(Interesting Block)으로 검출할 것이다. 예를 들어, 음영 처리된 단위 블록들은 관심 블록일 수 있다. 관심 블록은 하나 또는 그 이상일 수 있으며, 도 7에 도시된 바에 한정되지 않음은 잘 이해될 것이다.
S130 단계에서, 관심 영역 검출부(120)는 이미지 프레임을 분할하여 최초 관심 영역들을 형성할 수 있다. 관심 영역 검출부(120)는 예를 들면, 복수의 레벨을 갖는 최초 관심 영역들을 형성할 수 있다. 관심 영역 검출부(120)는 미리 설정되는 최종 관심 영역의 개수(후술됨)에 따라 레벨의 개수를 설정할 수 있다. 예를 들면, 관심 영역 검출부(120)는 최종 관심 영역의 개수보다 많은 개수의 최초 관심 영역을 갖는 레벨이 가장 높은 레벨이 되도록 이미지 프레임을 분할할 수 있다. 관심 영역 검출부(120)는 이미지 프레임을 격자형으로 고르게 분할하여 복수의 최초 관심 영역을 형성할 수 있다.
도 8을 참조하면, 관심 영역 검출부(120)는 이미지 프레임을 분할하여 제 0 레벨을 갖는 4개의 최초 관심 영역들, 제 1 레벨을 갖는 16개의 최초 관심 영역들, 제 n 레벨을 갖는 2n+2 개의 최초 관심 영역들을 형성할 수 있다. 하지만, 각 레벨에 따른 최초 관심 영역들의 개수는 이에 한정되지 않음은 잘 이해될 것이다. 각 레벨의 최초 관심 영역들은 서로 대응될 것이다. 예를 들면, 제 1 레벨의 C2 ,0, C2 ,1, C3 ,0, 및 C3 ,1 에 해당하는 최초 관심 영역들은 제 0 레벨의 C1 ,0 에 해당하는 최초 관심 영역에 대응될 것이다.
S140 단계에서, 관심 영역 검출부(120)는 최초 관심 영역들 가운데 중간 관심 영역을 제거하여 최종 관심 영역을 검출할 수 있다. 최종 관심 영역의 개수는 미리 설정될 수 있다.
도 9를 참조하면, 관심 영역 검출부(120)는 제 m 레벨의 최초 관심 영역들(ex. (i, j), (i+1, j), (i, j+1), (i+1, j+1)) 가운데 중간 관심 영역을 검출할 수 있다. m은 최초 관심 영역들의 레벨, i, j는 각각 최초 관심 영역의 좌표를 의미할 수 있다. m, i, j는 초기에 0으로 설정될 수 있다.
예를 들면, 관심 영역 검출부(120)는 먼저 제 0 레벨의 최초 관심 영역들 가운데 가장 많은 관심 블록을 포함하는 중간 관심 영역을 검출할 수 있다. 관심 영역 검출부(120)는 제 0 레벨의 최초 관심 영역들 가운데 검출된 중간 관심 영역의 좌표값(ex. k, l)을 각각 2배(예를 들어, i=2k, j=2l) 할 수 있다. 일 측면에서, 관심 영역 검출부(120)는 제 0 레벨 초기 관심 영역들 가운데 검출된 중간 관심 영역에 대응되는 제 1 레벨의 초기 관심 영역들에 대해 중간 관심 영역을 검출하는 것으로 이해될 수 있다. 관심 영역 검출부(120)는 다음 레벨(예를 들어, 제 1 레벨)의 최초 관심 영역들 가운데 중간 관심 영역을 검출할 수 있다.
관심 영역 검출부(120)는 이러한 과정을 반복하면서, 형성된 가장 높은 레벨의 최초 관심 영역들에 대해 중간 관심 영역들을 검출할 것이다. 관심 영역 검출부(120)는 가장 높은 레벨의 최초 관심 영역들 가운데에서 검출된 중간 관심 영역을 제거할 것이다. 그리고, 관심 영역 검출부(120)는 m, i, j 값을 리셋하여 남은 최초 관심 영역들에 대해 제 0 레벨부터 다시 중간 관심 영역을 검출할 것이다. 관심 영역 검출부(120)의 이러한 동작은 최종 관심 영역이 미리 설정된 개수와 동일할 때까지 반복될 수 있다.
도 10을 참조하면, 도 9를 참조하여 설명된 관심 영역 검출부(120)의 구체적인 일례가 도시된다. 도 10에서는 설명의 편의를 위해 이미지 프레임이 3개의 레벨(ex. 제 0 레벨, 제 1 레벨, 제 3 레벨)의 최초 관심 영역들로 분할된 것으로 가정된다.
관심 영역 검출부(120)는 제 0 레벨의 최초 관심 영역들 가운데 중간 관심 영역을 검출한다. 관심 영역 검출부(120)는 가장 많은 관심 블록을 포함하는(ex. 7) 중간 관심 영역(1, 0)을 검출할 수 있다. 관심 영역 검출부(120)는 검출된 중간 관심 영역의 좌표를 각각 2배하여 제 1 레벨의 최초 관심 영역들 가운데 중간 관심 영역을 검출할 것이다. 즉, 관심 영역 검출부(120)는 제 1 레벨의 최초 관심 영역들 가운데 (2, 0), (2, 1), (3, 0), (3, 1)의 좌표를 갖는 최초 관심 영역들에 대하여 중간 관심 영역을 검출할 것이다. 그 결과, 관심 영역 검출부(120)는 가장 많은 관심 블록을 포함하는(ex. 7) 중간 관심 영역을 검출할 수 있다. 또한, 관심 영역 검출부(120)는 제 2 레벨의 최초 관심 영역들 가운데 (4, 2), (4, 3), (5, 2), (5, 3)의 좌표를 갖는 최초 관심 영역들에 대하여 중간 관심 영역을 검출할 것이다. 그 결과, 관심 영역 검출부(120)는 가장 많은 관심 블록(ex. 2)을 포함하는 중간 관심 영역(a)을 검출할 것이다.
관심 영역 검출부(120)는 제 2 레벨의 최초 관심 영역들 가운데 검출된 중간 관심 영역(a)을 제거할 것이다. 그리고, 관심 영역 검출부(120)는 제거되지 않고 남은 최초 관심 영역들에 대하여 제 0 레벨부터 다시 중간 관심 영역을 검출할 것이다.
도 11은 S140 단계의 다른 실시예를 보여주는 흐름도이다.
도 11을 참조하면, 도 9 및 도 10의 실시예와 달리 관심 영역 검출부(120)는 제거되는 중간 관심 영역의 개수가 미리 설정된 값과 동일할 때까지 중간 관심 영역의 검출 및 제거 동작을 반복할 수 있다. 설명의 편의를 위해, 미리 설정된 중간 관심 영역의 개수에 따라 이미지 프레임이 분할되는 레벨은 결정되어 있는 것으로 가정된다.
먼저, 초기에 최초 관심 영역들의 레벨(n)은 0으로 설정될 수 있다(S210). 관심 영역 검출부(120)는 제 n 레벨의 최초 관심 영역들 가운데 제 1 중간 관심 영역을 검출할 수 있다(S220).
관심 영역 검출부(120)는 검출된 제 1 중간 관심 영역의 개수가 미리 설정된 값과 동일한지 판단할 것이다(S230). 관심 영역 검출부(120)는 검출된 제 1 중간 관심 영역의 개수가 미리 설정된 값과 동일하지 않은 경우, 제 1 중간 관심 영역에 대응되는 제 n+1 레벨의 최초 관심 영역들에 대하여 제 2 중간 관심 영역을 검출할 것이다(S240). 반면에, 관심 영역 검출부(120)는 검출된 제 1 중간 관심 영역의 개수가 미리 설정된 값과 동일한 경우 검출된 제 1 중간 관심 영역을 제거하고 최종 관심 영역을 검출할 것이다(S260).
관심 영역 검출부(120)는 검출된 제 2 중간 관심 영역의 개수가 미리 설정된 값과 동일한지 판단할 것이다(S250). 관심 영역 검출부(120)는 검출된 제 2 중간 관심 영역의 개수가 미리 설정된 값과 동일하지 않은 경우, n값을 n+2로 설정하여 다시 S220 단계의 동작을 수행할 것이다(S310). 반면에, 관심 영역 검출부(120)는 검출된 제 2 중간 관심 영역의 개수가 미리 설정된 값과 동일한 경우 검출된 제 2 중간 관심 영역을 제거하고 최종 관심 영역을 검출할 것이다(S260).
도 12 내지 도 16은 본 발명의 실시예에 따른 관심 영역 검출 방법을 적용한 결과를 보여준다. 본 발명의 실시예들과의 비교를 위해 Harris Corner Detection 방법이 사용되었다. Harris Corner Detection 방법(이하, 'B' 방법이라고 칭함)은 일반적으로 영상의 특징점을 추출하는 방법의 하나이다.
먼저, 도 12를 참조하면, 최종 관심 영역의 개수가 4개로 설정된 경우가 도시된다. 본 발명의 실시예에 따른 관심 영역 검출 방법(이하, 'A' 방법이라고 칭함)의 경우 직사각형 객체의 각 코너에 최종 관심 영역(a, b, c, d)이 고르게 설정된다. 하지만, B 방법의 경우 직사각형 객체의 코너에 최종 관심 영역이 설정되고는 있으나, 2개의 최종 관심 영역(a, b)이 오버랩되어 3개의 최종 관심 영역이 설정된다.
도 13을 참조하면, 도 12의 경우와 마찬가지로 최종 관심 영역의 개수는 4개로 설정되며, 노이즈(noise)가 존재하는 경우가 도시된다. A 방법의 경우 노이즈가 존재함에도 불구하고, 직사각형 객체의 각 코너에 최종 관심 영역(a, b, c, d)이 고르게 설정된다. 하지만, B 방법의 경우 최종 관심 영역들이 오버랩되어 2개의 최종 관심 영역(a, b and c, d)이 설정된다. 즉, A 방법의 경우 노이즈에 더욱 강건함을 알 수 있다.
도 14를 참조하면, 최종 관심 영역의 개수가 13개로 설정된 경우가 도시된다. 최종 관심 영역의 개수가 도 12의 경우와 비교하여 증가하였지만, A 방법의 경우 각각의 객체의 코너에 최종 관심 영역이 고르게 설정된다. 하지만, B 방법의 경우, 최종 관심 영역들이 오버랩되어 오직 10개의 최종 관심 영역이 설정된다. 즉, A 방법의 경우 최종 관심 영역의 개수가 많은 경우(예를 들면, 이미지 프레임 상에 객체들의 수가 많은 경우)에도 정확한 관심 영역 검출 결과를 제공할 수 있다.
도 15를 참조하면, 실제 이미지 프레임에 대하여 관심 영역 검출이 수행된 결과가 도시된다. 최종 관심 영역의 개수는 25개로 설정된다. A 방법의 경우 P1 영역에 대한 최종 관심 영역이 고르게 분포하나, B 방법의 경우 P1 영역에 대응하는 P2 영역에 대한 최종 관심 영역들이 오버랩되어 있다. 특히, B 방법의 경우 이미지 프레임 상의 다른 객체들에 대해서도 최종 관심 영역들이 많이 오버랩된다.
도 16을 참조하면, 실제 이미지 프레임에 대하여 10개의 최종 관심 영역이 설정되며, 스펙클(speckle)에 의한 영향이 존재하는 경우가 도시된다. A 방법의 경우, 스펙클의 영향을 받지 않고, 실제 이미지 프레임 상의 객체들에 10개의 최종 관심 영역들이 고르게 설정된다. 하지만, B 방법의 경우, 스펙클의 영향을 받아 최종 관심 영역이 스펙클에 설정된다. 또한, 실제 이미지 프레임 상의 객체들에 대해서도 최종 관심 영역들이 오버랩된다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 관심 영역 검출 장치 및 검출 방법은 노이즈 및/또는 스펙클에 강건한 관심 영역 검출 결과를 제공할 수 있다. 또한, 이미지 프레임 상의 객체들의 수가 많은 경우에도 최종 관심 영역들을 고르게 설정함으로써 정확한 움직임 추정에 기여할 수 있다. 즉, 본 발명의 일 실시예에 따른 관심 영역 검출 장치 및 검출 방법은 움직임 추정이 필요한 비디오 인코딩 장치에 사용될 수 있으며, 이하의 도 17을 참조하여 구체적으로 설명될 것이다.
도 17은 본 발명의 일 실시예에 따른 비디오 인코딩 장치를 보여주는 블록도이다.
도 17을 참조하면, 본 발명의 일 실시예에 따른 비디오 인코딩 장치(1000)는 움직임 추정부(1100), 움직임 보상부(1200), 가/감산기(1300), DCT(1400), 양자화부(1500), 엔트로피 부호화부(1600), 역양자화기(1700), IDCT(1800), 및 인트라 예측 처리부(1900)를 포함할 수 있다.
비디오 인코딩 장치(1000)는 모드 선택부(Mode selector)의 제어에 따라 화면내 예측(Inter Prediction) 또는 화면간 예측(Intra Prediction) 모드로 동작할 수 있다.
움직임 추정부(1100)는 도 4에 도시된 관심 영역 검출 장치(100)를 포함할 수 있다. 움직임 추정부(1100)는 관심 영역을 검출하고, 검출된 관심 영역에 대한 움직임 벡터를 추정할 수 있다.
움직임 보상부(1200)는 움직임 추정부(1100)로부터 전달되는 움직임 벡터를 이용하여 제 1 프레임에 대하여 움직임 보상을 수행하고, 움직임 보상된 프레임을 감산기(1300)로 전달한다.
감산기(1300)는 움직임 보상된 프레임 및 제 2 프레임을 전달받아 차분 프레임을 생성할 수 있다.
DCT(Discrete Cosine Transform, 1400)는 차분 프레임을 이산 여현 변환한다. 이산 여현 변환 결과에 따라 DCT 계수가 생성되며, DCT(1400)는 생성된 DCT 계수들을 양자화부(1500)에 전달한다.
양자화부(1500)는 DCT(1400)로부터 전달받는 DCT 계수들을 양자화한다.
엔트로피 부호화부(1600)는 양자화된 DCT 계수들을 부호화하여 출력 비트 스트림을 생성할 수 있다. 엔트로피 부호화부(1600)는 예를 들어, 산술 부호화(arithmetic coding), 가변 길이 부호화(variable length coding), 허프만 부호화 등을 사용하여 출력 비트 스트림을 생성할 수 있다.
역양자화부(1700)는 양자화된 DCT 계수들을 역양자화 할 것이다.
IDCT(1800)는 역양자화부(1700)로부터 전달되는 DCT 계수들을 역 이산 여현 변환할 것이다.
인트라 예측 처리부(1900)는 이미지 센서(미도시)로부터 촬영된 현재 이미지 프레임(예를 들어, 제 2 프레임)과 IDCT(1800)로부터 전달되는 역 이산 여현 변환 결과값을 이용하여 출력 프레임을 생성할 것이다. 출력 프레임은 화면내 예측 결과(즉, 움직임 보상부의 출력 프레임)와 달리 움직임 보상을 수반하지 않을 것이다.
도 18은 본 발명의 일 실시예에 따른 어플리케이션 프로세서를 보여주는 블록도이다.
도 18을 참조하면, 본 발명의 일 실시예에 따른 어플리케이션 프로세서(2000)는 내부 버스(2100), 코어 프로세서(2200), ROM(2300), RAM(2400), 디스플레이 컨트롤러(2500), I/O 컨트롤러(2600), 그리고 복수의 IP들(2700)을 포함할 수 있다.
내부 버스(2100)는 어플리케이션 프로세서(2000)의 구성 요소들 사이에 채널을 제공한다.
코어 프로세서(2200)는 어플리케이션 프로세서(2000)의 구성 요소들을 제어하고, 다양한 논리 연산을 수행할 수 있다.
ROM(2300)은 코어 프로세서(2200)의 동작을 위한 코드 데이터(예를 들어, 부팅을 위한 부트 코드)를 저장할 수 있다.
RAM(2400)은 코어 프로세서(2200)의 동작 메모리로서 이용될 수 있다. RAM(2400)은 DRAM, SRAM, PRAM, MRAM, RRAM, FRAM 등과 같은 랜덤 액세스 메모리들 중 적어도 하나를 포함할 수 있다.
디스플레이 컨트롤러(2500)는 디스플레이 장치들, 예를 들어, LCD, AMOLED 표시 장치 등의 연결 및 동작을 제어할 수 있다.
I/O 컨트롤러(2600)는 입출력 장치들, 예를 들어, 마우스, 키보드, 프린터, 네트워크 인터페이스 장치들의 연결 및 동작을 제어할 수 있다.
복수의 IP들(IP1, IP2, IPn, n=3, n은 자연수, 2700)은 예를 들어, 다이렉트 메모리 액세스(DMA), 이미지 프로세서(ISP) 등을 포함할 수 있다. 예를 들어, 복수의 IP(2700)들 가운데 IP1은 도 4를 참조하여 설명된 관심 영역 검출 장치(100)를 포함할 수 있다.
도 19는 도 18의 어플리케이션 프로세서를 포함하는 모바일 장치를 보여주는 블록도이다.
도 19를 참조하면, 모바일 장치(3000)는 어플리케이션 프로세서(3100), 사용자 인터페이스(3200), 모뎀(3300), 불휘발성 메모리(3400), 메인 메모리(3500), 배터리(3600), 그리고 시스템 버스(3700)를 포함한다.
시스템 버스(3700)는 모바일 장치(3000)의 구성 요소들 사이에 채널을 제공한다.
어플리케이션 프로세서(3100)는 모바일 장치(3000)의 메인 프로세서일 수 있다. 어플리케이션 프로세서(3100)는 모바일 장치(3000)의 구성 요소들을 제어하고, 운영 체제 및 어플리케이션들을 실행하고, 논리 연산을 수행할 수 있다. 어플리케이션 프로세서(3100)는 시스템-온-칩(SoC, System-on-Chip)일 수 있다. 어플리케이션 프로세서(3100)는 도 11을 참조하여 설명한 바와 동일하게 구성될 수 있다.
사용자 인터페이스(3200)는 사용자와 신호를 교환할 수 있다. 사용자 인터페이스(3200)는 카메라, 마이크, 키보드, 마우스, 터치 패드, 터치 패널, 터치 스크린, 버튼, 스위치 등과 같은 사용자 입력 인터페이스들을 포함할 수 있다. 사용자 인터페이스(3200)는 디스플레이 장치, 스피커, 램프, 모터 등과 같은 사용자 출력 인터페이스들을 포함할 수 있다. 디스플레이 장치는 LCD, AMOLED 표시 장치, 빔 프로젝터 등을 포함할 수 있다.
모뎀(3300)은 외부 장치와 유선 또는 무선 채널을 통해 통신할 수 있다. 모뎀(3300)은 LTE, CDMA, GSM, WiFi, WiMax, NFC, Bluetooth, RFID 등과 같은 다양한 통신 방법들에 기반하여 외부 장치와 통신을 수행할 수 있다.
불휘발성 메모리(3400)는 모바일 장치(3000)에서 장기적인 보존을 필요로 하는 데이터를 저장할 수 있다. 스토리지(3400)는 플래시 메모리, MRAM, PRAM, RRAM, FRAM, 하드 디스크 드라이브 등과 같은 불휘발성 메모리들 중 적어도 하나를 포함할 수 있다.
메인 메모리(3500)는 모바일 장치(3000)의 동작 메모리일 수 있다. 메인 메모리(3500)는 DRAM, SRAM, PRAM, MRAM, RRAM, FRAM 등과 같은 랜덤 액세스 메모리들 중 적어도 하나를 포함할 수 있다.
배터리(3600)는 모바일 장치(3000)에 동작 전원을 공급할 수 있다.
한편, 본 발명의 일 실시예에 따른 관심 영역 검출 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 판독 가능한 매체에 기록될 수 있다.
컴퓨터 판독 가능한 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical media)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
한편, 상술 된 본 발명의 내용은 발명을 실시하기 위한 구체적인 실시 예들에 불과하다. 본 발명은 구체적이고 실제로 이용할 수 있는 수단 자체뿐 아니라, 장차 기술로 활용할 수 있는 추상적이고 개념적인 아이디어인 기술적 사상을 포함할 것이다.
100: 관심 영역 검출 장치 2000: 어플리케이션 프로세서
110: 관심 블록 검출부 2100: 시스템 버스
120: 관심 영역 검출부 2200: 코어 프로세서
1000: 비디오 인코더 2300: ROM
1100: 움직임 추정부 2400: RAM
1200: 움직임 보상부 2500: 디스플레이 컨트롤러
1300: 감산기 2600: I/O 컨트롤러
1400: DCT 2700: IPs
1500: 양자화기 3000: 모바일 장치
1600: 엔트로피 코딩부 3100: CPU
1700: 인트라 예측 처리부 3200: 사용자 인터페이스
1800: 역양자화기 3300: 모뎀
1900: IDCT 3400: 불휘발성 메모리
3500: RAM
3600: 배터리

Claims (10)

  1. 이미지 프레임을 구성하는 단위 블록들의 에너지를 산출하는 단계;
    상기 단위 블록들 가운데 임계값 이상의 에너지를 갖는 적어도 하나의 관심 블록을 검출하는 단계;
    상기 이미지 프레임을 분할하여 최초 관심 영역들을 형성하는 단계; 및
    상기 최초 관심 영역들 가운데 상기 관심 블록을 가장 많이 포함하는 중간 관심 영역을 제거하는 단계를 포함하는 관심 영역 검출 방법.
  2. 제 1 항에 있어서,
    상기 이미지 프레임을 분할하여 최초 관심 영역들을 형성하는 단계는 제 n 레벨(n=0, n은 정수)의 최초 관심 영역들 및 제 n+1 레벨의 최초 관심 영역들을 형성하고,
    상기 제 n+1 레벨의 최초 관심 영역들의 개수는 상기 제 n 레벨의 최초 관심 영역들의 개수보다 많은 관심 영역 검출 방법.
  3. 제 2 항에 있어서,
    상기 최초 관심 영역들 가운데 상기 관심 블록을 가장 많이 포함하는 중간 관심 영역을 제거하는 단계는 상기 제 n 레벨의 최초 관심 영역들에 대해 수행된 이후에 상기 제 n+1 레벨의 최초 관심 영역들에 대해 수행되는 관심 영역 검출 방법.
  4. 제 3 항에 있어서,
    상기 최초 관심 영역들 가운데 상기 관심 블록을 가장 많이 포함하는 중간 관심 영역을 제거하는 단계는 상기 제 n 레벨의 최초 관심 영역들 가운데 제거 대상으로 선택된 중간 관심 영역에 대응되는 상기 제 n+1 레벨의 최초 관심 영역들에 대해 수행되는 관심 영역 검출 방법.
  5. 제 4 항에 있어서,
    상기 최초 관심 영역들 가운데 상기 관심 블록을 가장 많이 포함하는 중간 관심 영역을 제거하는 단계는 상기 제 n+1 레벨의 최초 관심 영역들 가운데 제거 대상으로 선택된 중간 관심 영역이 제거된 이후에 남아있는 상기 제 n 레벨의 최초 관심 영역들에 대해 다시 수행되는 관심 영역 검출 방법.
  6. 제 5 항에 있어서,
    상기 최초 관심 영역들 가운데 상기 관심 블록을 가장 많이 포함하는 중간 관심 영역을 제거하는 단계는 상기 제 n+1 레벨의 최초 관심 영역들의 개수가 미리 설정된 개수와 같아질 때까지 수행되는 관심 영역 검출 방법.
  7. 제 1 항에 있어서,
    상기 이미지 프레임을 구성하는 단위 블록들의 에너지를 산출하는 단계는 상기 단위 블록들의 직류 주파수 성분의 에너지를 제거하는 단계를 포함하는 관심 영역 검출 방법.
  8. 이미지 프레임의 단위 블록들의 에너지를 산출하고, 상기 단위 블록들 가운데 임계값보다 높은 에너지를 갖는 관심 블록을 검출하는 관심 블록 검출부; 및
    상기 이미지 프레임을 복수의 최초 관심 영역으로 분할하고, 상기 복수의 최초 관심 영역 가운데 상기 관심 블록을 가장 많이 포함하는 중간 관심 영역을 제거하여 최종 관심 영역을 검출하는 관심 영역 검출부를 포함하되,
    상기 관심 영역 검출부는 상기 최종 관심 영역이 미리 결정된 수와 동일한 값을 가질 때까지 상기 중간 관심 영역을 제거하는 관심 영역 검출 장치.
  9. 제 8 항에 있어서,
    상기 관심 블록 검출부는 상기 단위 블록들의 수직 방향의 에너지 및 수평 방향의 에너지를 산출하는 관심 영역 검출 장치.
  10. 제 8 항에 있어서,
    상기 관심 영역 검출부는 상기 이미지 프레임을 분할하여 제 n 레벨(n=0, n은 정수)의 최초 관심 영역들 및 제 n+1 레벨의 최초 관심 영역들을 형성하고,
    상기 제 n 레벨의 최초 관심 영역들 가운데 제거 대상으로 선택된 중간 관심 영역에 대응되는 상기 제 n+1 레벨의 최초 관심 영역들의 중간 관심 영역을 제 거하는 관심 영역 검출 장치.
KR1020130067226A 2013-06-12 2013-06-12 관심 영역 검출 장치 및 검출 방법 KR20140144961A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130067226A KR20140144961A (ko) 2013-06-12 2013-06-12 관심 영역 검출 장치 및 검출 방법
US14/192,912 US20140369603A1 (en) 2013-06-12 2014-02-28 Detection device for region of interest and method of detecting region of interest

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130067226A KR20140144961A (ko) 2013-06-12 2013-06-12 관심 영역 검출 장치 및 검출 방법

Publications (1)

Publication Number Publication Date
KR20140144961A true KR20140144961A (ko) 2014-12-22

Family

ID=52019280

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130067226A KR20140144961A (ko) 2013-06-12 2013-06-12 관심 영역 검출 장치 및 검출 방법

Country Status (2)

Country Link
US (1) US20140369603A1 (ko)
KR (1) KR20140144961A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117456371A (zh) * 2023-12-26 2024-01-26 浙江正泰智维能源服务有限公司 一种组串热斑检测方法、装置、设备及介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942516B (zh) * 2014-04-21 2017-03-01 北京智谷睿拓技术服务有限公司 关联方法和关联设备
WO2017129804A1 (en) * 2016-01-29 2017-08-03 Kiwisecurity Software Gmbh Methods and apparatus for using video analytics to detect regions for privacy protection within images from moving cameras

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960706267A (ko) * 1993-11-15 1996-11-08 존 엠. 클락 3세 쿼드트리 구조형 월시(walsh) 변환 코딩(quadtree-structured walsh transform conding)
US5978519A (en) * 1996-08-06 1999-11-02 Xerox Corporation Automatic image cropping

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117456371A (zh) * 2023-12-26 2024-01-26 浙江正泰智维能源服务有限公司 一种组串热斑检测方法、装置、设备及介质
CN117456371B (zh) * 2023-12-26 2024-04-12 浙江正泰智维能源服务有限公司 一种组串热斑检测方法、装置、设备及介质

Also Published As

Publication number Publication date
US20140369603A1 (en) 2014-12-18

Similar Documents

Publication Publication Date Title
US7756348B2 (en) Method for decomposing a video sequence frame
KR102350235B1 (ko) 영상 처리 방법 및 장치
RU2603529C2 (ru) Уменьшение шума в последовательностях изображений
CN105681795B (zh) 用于对帧序列进行视频编码的方法和编码器
JP2019504394A5 (ko)
CN111027438B (zh) 一种人体姿态的迁移方法、移动终端以及计算机存储介质
US20160080768A1 (en) Encoding system using motion estimation and encoding method using motion estimation
Grunnet-Jepsen et al. Depth post-processing for intel® realsense™ d400 depth cameras
KR102274320B1 (ko) 영상 처리 방법 및 장치
JP2017515188A (ja) ピクチャを処理する方法及びデバイス
KR20140144961A (ko) 관심 영역 검출 장치 및 검출 방법
Mao et al. Mobieye: An efficient cloud-based video detection system for real-time mobile applications
US9105100B2 (en) Motion estimation device and motion estimation method
US10979704B2 (en) Methods and apparatus for optical blur modeling for improved video encoding
JP2008154072A (ja) 動画像符号化装置及び動画像符号化方法
KR20120042323A (ko) 텍스처 및 움직임 감지를 사용한 시간적으로-일관된 변이 추정을 위한 방법 및 장치
KR101526465B1 (ko) 그래픽 프로세서 기반 깊이 영상 화질 개선 방법
US10187656B2 (en) Image processing device for adjusting computational complexity of interpolation filter, image interpolation method, and image encoding method
KR101359351B1 (ko) 연산 스킵 기법에 의한 고속 스테레오 영상 정합 방법
KR20130068520A (ko) 영상 워핑 처리 방법 및 장치
KR20210133844A (ko) 단안 이벤트-기반 센서를 사용하는 모션 추정의 시스템 및 방법
US20130002645A1 (en) Systems and methods for multimedia conversion
Li et al. Texture-intensity-based fast coding unit size determination method for high-efficiency video coding intracoding
KR20130111498A (ko) 연산 스킵 기법에 의한 고속 스테레오 영상 정합 방법
US8867843B2 (en) Method of image denoising and method of generating motion vector data structure thereof

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid