KR100939435B1 - 영상 분석 장치 및 방법 - Google Patents

영상 분석 장치 및 방법 Download PDF

Info

Publication number
KR100939435B1
KR100939435B1 KR1020070108723A KR20070108723A KR100939435B1 KR 100939435 B1 KR100939435 B1 KR 100939435B1 KR 1020070108723 A KR1020070108723 A KR 1020070108723A KR 20070108723 A KR20070108723 A KR 20070108723A KR 100939435 B1 KR100939435 B1 KR 100939435B1
Authority
KR
South Korea
Prior art keywords
image
complexity
frame
image data
region
Prior art date
Application number
KR1020070108723A
Other languages
English (en)
Other versions
KR20090043081A (ko
Inventor
한영욱
김후종
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020070108723A priority Critical patent/KR100939435B1/ko
Priority to PCT/KR2008/005805 priority patent/WO2009057898A1/en
Publication of KR20090043081A publication Critical patent/KR20090043081A/ko
Application granted granted Critical
Publication of KR100939435B1 publication Critical patent/KR100939435B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상 데이터의 복잡도를 분석하기 위한 영상 분석 장치 및 방법에 관한 것이다.
본 발명은 영상 캡쳐 장치로부터 전달되는 특정 영상에 대한 영상 데이터와 캡쳐 시간을 나타내는 타임스탬프 정보를 수신하면, 영상 데이터의 하나의 프레임에 대해 소벨 마스크(Sobel Mask)로 필터링하여 산출된 프레임 내의 경계(Edge) 크기를 합산하여 공간 복잡도를 산출하는 공간 복잡도 추정부; 및 영상 데이터 중 연속되는 두 개의 프레임을 이용하여 움직임을 추정하고, 이때 발생한 움직임 벡터를 보상하여 산출된 오차를 통해 시간 복잡도를 산출하는 시간 복잡도 추정부;를 포함하여, 영상 프레임의 공간 복잡도(Spatial Complexity)를 추정하여 영상의 복잡도를 분석하기 때문에, 영상을 압축할 때 영상 복잡도를 반영하여 압축을 수행할 수 있도록 한다는 장점이 있다.

Description

영상 분석 장치 및 방법{Apparatus and Method for analysis of Image}
본 발명은 영상 분석 장치 및 방법에 관한 것으로서, 보다 상세하게는 영상 데이터에 포함된 각각의 영상 프레임을 분석하여 공간 복잡도(Spatial Complexity) 및 시간 복잡도(Temporal Complexity)를 추정하고, 이에 더하여 공간 복잡도를 통해 영상 데이터 중 장면이 전환되는 시점을 파악하고, 영상이 특정 영상 분류에 해당하는지 등을 파악하여 영상의 복잡도를 추정하기 위한 영상 분석 장치 및 방법에 관한 것이다.
동영상 압축 기술은 MPEG(Moving Picture Experts Group) 시리즈와 H.26x 시리즈로 기술이 발전되어 왔다. 최근에는 MPEG 시리즈의 표준 단체 ISO(International Data Communication)와 H.26x 시리즈의 표준 단체 ITU(International Telecommunication Union)의 합작인 JVT(Joint Video Team)에 의해 H.264까지 동영상 압축 표준안이 제안되었다.
H.264는 H.263에 비교하여 같은 화질을 비교해 압축율이 높아졌고, 영상의 품질이 월등히 나아진 데 비해 복잡도가 증가하였다. H.263 디코딩 방식의 복잡도는 기존의 내장형 프로세서(Embedded Processor)에서 순수하게 소프트웨어만으로 H.263 디코딩 알고리즘 구현이 가능한 정도이다.
한편, H.264 인코딩 시스템은 비디오 소스의 영상 복잡도에 상관없이 할당된 고정 비트레이트(Bitrate)로 영상 데이터의 인코딩을 수행하였다. 이러한 경우, 영상 데이터의 속성과 관계없이 동일한 비트레이트가 할당되기 때문에, 화면 복잡도가 낮을 경우에는 Null Packet이 발생하여 주어진 대역을 모두 활용하지 못하고, 영상 복잡도가 높을 경우에는 비트레이트가 더 많이 할당되어야 하는 데 그렇지 못한다는 문제점이 발생한다.
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 영상 프레임의 공간 복잡도(Spatial Complexity)를 추정하여 영상의 복잡도를 분석하기 위한 영상 분석 장치 및 방법을 제공하는데 그 기술적 과제가 있다.
또한, 본 발명은 영상 프레임의 시간 복잡도(Temporal Complexity)를 추정하여 영상의 복잡도를 분석하기 위한 것을 목적으로 한다.
이에 더하여, 본 발명은 영상 프레임의 특성을 추정하여 영상의 복잡도를 분석하기 위한 것을 목적으로 한다.
상술한 목적을 달성하기 위한 본 발명은 입력되는 영상 데이터를 캡쳐하는 영상 캡쳐 장치와 연결되어, 영상을 분석하기 위한 장치로서,
상기 영상 캡쳐 장치로부터 전달되는 특정 영상에 대한 영상 데이터와 캡쳐 시간을 나타내는 타임스탬프 정보를 수신하면, 영상 데이터의 하나의 프레임에 대해 소벨 마스크(Sobel Mask)로 필터링하여 산출된 프레임 내의 경계(Edge) 크기를 합산하여 공간 복잡도를 산출하는 공간 복잡도 추정부; 및 영상 데이터 중 연속되는 두 개의 프레임을 이용하여 움직임을 추정하고, 이때 발생한 움직임 벡터를 보상하여 산출된 오차를 통해 시간 복잡도를 산출하는 시간 복잡도 추정부;를 포함한다.
다른 본 발명은 입력되는 영상 데이터를 캡쳐하는 영상 캡쳐 장치와 연결되어, 영상을 분석하기 위한 장치로서,
상기 영상 캡쳐 장치로부터 전달되는 특정 영상에 대한 영상 데이터와 캡쳐 시간을 나타내는 타임스탬프 정보를 수신하면, 영상 데이터의 하나의 프레임에 대해 소벨 마스크(Sobel Mask)로 필터링하여 산출된 프레임 내의 경계(Edge) 크기를 합산하여 공간 복잡도를 산출하는 공간 복잡도 추정부; 영상 데이터 중 연속되는 두 개의 프레임을 이용하여 움직임을 추정하고, 이때 발생한 움직임 벡터를 보상하여 산출된 오차를 통해 시간 복잡도를 산출하는 시간 복잡도 추정부; 및 영상 데이터의 기본 데이터를 기 설정된 기준에 따라 분석하여 영상 특성을 검출하는 영상 특성 검출부;를 포함한다.
상기 영상 특성 검출부는, 상기 공간 복잡도 추정부에 의해 산출된 공간 복잡도를 이용하여 장면이 전환되는 시점을 인식하여 장면 전환을 검출하는 장면 전환 검출수단; 상기 공간 복잡도, 시간 복잡도 및 장면 전환을 이용하여 기 설정된 영상 종류로부터 어느 하나를 선택하여 영상의 종류를 분류하는 영상 분류 수단; 및 영상 데이터의 장면 전환 여부에 따라 프레임 타입을 결정하는 프레임 타입 결정수단;을 포함하는 것이 바람직하다.
상기 영상 특성 검출부는, 기 설정된 영상 종류별 관심 영역으로부터 상기 영상 분류 수단에 의해서 파악된 영상의 종류와 매칭되는 관심 영역을 추출하는 관심 영역 검출수단;을 더 포함하는 것이 바람직하다.
상기 영상 특성 검출부는, 상기 공간 복잡도, 시간 복잡도, 프레임 내 위치 정보를 기초로 자막 영역을 검출하는 자막 영역 검출수단;을 더 포함하는 것이 바람직하다.
상기 공간 복잡도 추정부는, 상기 영상 캡쳐 장치로부터 전달되는 특정 영상에 대한 영상 데이터와 캡쳐 시간을 나타내는 타임스탬프 정보를 수신하면, 영상 데이터 프레임의 각 화소에 대한 에지(Edge)의 크기를 마스크(Mask)를 이용하여 수직 에지(Vertical Edge)와 수평 에지(Horizontal Edge)를 각각 산출하고, 산출된 값을 합산하여 에지의 크기를 측정한 후, 하나의 MB(Macro-Block) 내에 있는 모든 에지 크기의 절대값을 합산하여 MB 레벨의 에지 맵(Edge Map)을 생성하고, MB 단위로 지정된 에지 크기를 모두 합산하여 하나의 프레임에 대한 공간 복잡도를 산출하는 것이 바람직하다.
상기 시간 복잡도 추정부는, 영상 데이터의 연속되는 두 프레임에 대해 움직임을 추정하고, 보상하여 산출된 움직임 크기와 보상 영상과의 차이 값을 사용하여 시간 복잡도를 산출하는 것이 바람직하다.
또 다른 본 발명은 영상 분석 장치에서 영상을 분석하기 위한 방법으로서,
a) 영상 분석 장치가 특정 영상에 대한 영상 데이터와 캡쳐 시간을 나타내는 타임스탬프 정보를 수신하면, 영상 데이터의 하나의 프레임에 대해 소벨 마스크(Sobel Mask)로 필터링하고 산출된 프레임 내의 경계(Edge) 크기를 합산하여 공간 복잡도를 산출하는 단계; b) 영상 데이터 중 연속되는 두 개의 프레임을 이용하여 움직임을 추정하고, 이때 발생한 움직임 벡터를 보상하여 산출된 오차를 통해 시간 복잡도를 산출하는 단계; 및 c) 영상 데이터의 기본 데이터를 기 설정된 기준에 따라 분석하여 영상 특성을 검출하는 단계;를 포함한다.
상기 c) 단계는, c-1) 상기 a) 단계에서 산출된 공간 복잡도를 이용하여 장면이 전환되는 시점을 인식하여 장면 전환을 검출하는 단계; c-2) 상기 a) 단계, b) 단계 및 c-1) 단계에서 각각 산출된 공간 복잡도, 시간 복잡도 및 장면 전환을 이용하여 기 설정된 영상 종류로부터 어느 하나를 선택하여 영상의 종류를 분류하는 단계; 및 c-3) 영상 데이터의 장면 전환 여부에 따라 프레임 타입(Frame Type)을 결정하는 단계;를 더 포함하는 것이 바람직하다.
상기 영상 분석 방법은, 기 설정된 영상 종류별 관심 영역으로부터 c-3) 단계에서 파악된 영상의 종류와 매칭되는 관심 영역을 추출하는 단계;를 더 포함하는 것이 바람직하다.
상기 영상 분석 방법은, 상기 공간 복잡도, 시간 복잡도, 프레임 내 위치 정보를 기초로 자막 영역을 검출하는 단계;를 더 포함하는 것이 바람직하다.
상술한 바와 같이 본 발명의 영상 분석 장치 및 방법은 영상 프레임의 공간 복잡도(Spatial Complexity)를 추정하여 영상의 복잡도를 분석하기 때문에, 영상을 압축할 때 영상 복잡도를 반영하여 압축을 수행할 수 있도록 한다는 장점이 있다.
또한, 본 발명은 영상 프레임의 시간 복잡도(Temporal Complexity)를 추정하여 영상의 복잡도를 분석하기 때문에, 영상 압축 시 시간 복잡도에 따라 차등적으로 압축을 수행할 수 있도록 할 수 있다는 장점이 있다.
이에 더하여, 본 발명은 영상 프레임의 특성을 추정하여 영상의 복잡도를 분석하기 때문에, 영상 압축 시 영상 프레임의 특성에 따라 차등적으로 압축을 수행할 수 있으며, 이로 인해 영상을 방송망을 통해 사용자측으로 제공할 때, 상대적으로 더 많은 대역폭이 요구되는 구간에 자원을 더 할당할 수 있고, 결과적으로 영상 재생 단말기 상에서 화질 양상을 도모할 수 있는 효과가 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세히 설명하기로 한다.
먼저, 도 1은 본 발명에 의한 영상 분석 장치의 구성을 나타내는 도면이다.
도시하는 것과 같이, 영상 분석 장치(100)는 공간 복잡도 추정부(110), 시간 복잡도 추정부(130) 및 영상 특성 검출부(150)를 포함한다.
상기, 공간 복잡도 추정부(110)는 영상 캡쳐 장치(230)로부터 전달되는 특정 영상에 대한 영상 데이터와 캡쳐 시간을 나타내는 타임스탬프 정보를 수신하면, 영상 데이터의 하나의 프레임에 대해 소벨 마스크(Sobel Mask)로 필터링하여 산출된 프레임 내의 경계(Edge) 크기를 합산하여 공간 복잡도를 산출한다.
보다 상세히 설명하면, 공간 복잡도 추정부(110)는 영상 캡쳐 장치(230)로부터 전달되는 특정 영상에 대한 영상 데이터와 캡쳐 시간을 나타내는 타임스탬프 정보를 수신하면, 도 2에서 도시하는 것과 같이, 영상 데이터 프레임의 각 화소에 대한 에지(Edge)의 크기를 마스크(Mask)를 이용하여 수직 에지(Vertical Edge)(도 2의 (a))와 수평 에지(Horizontal Edge)(도 2의 (b))를 각각 산출하고, 산출된 값을 합산하여 에지의 크기를 측정한 후, 하나의 MB(Macro-Block) 내에 있는 모든 에지 크기의 절대값을 합산하여 MB 레벨의 에지 맵(Edge Map)을 생성하고, MB 단위로 지정된 에지 크기를 모두 합산하여 하나의 프레임에 대한 공간 복잡도를 산출한다.
한편, 영상 캡쳐 장치(230)는 외부로부터 전송되어 정보 송수신 장치(210)에 의해 수신된 영상 데이터를 캡쳐한다.
시간 복잡도 추정부(130)는 영상 데이터 중 연속되는 두 개의 프레임을 이용하여 움직임을 추정하고, 이때 발생한 움직임 벡터를 보상하여 산출된 오차를 통해 시간 복잡도를 산출한다.
즉, 시간 복잡도 추정부(130)는 영상 데이터의 연속되는 두 프레임에 대해 움직임을 추정하고, 보상하여 산출된 움직임 크기와 보상 영상과의 차이 값을 사용하여 시간 복잡도를 산출한다.
영상 특성 검출부(150)는 영상 데이터의 기본 데이터를 기 설정된 기준에 따라 분석하여 영상 특성을 검출한다.
도 3은 본 발명에 의한 영상 특성 검출부의 구성을 나타내는 도면이다.
영상 특성 검출부(150)는 장면 전환 검출수단(151), 영상 분류 수단(153), 관심 영역 검출수단(155), 프레임 타입 결정수단(157) 및 자막 영역 검출수단(159)를 포함한다.
보다 상세히 설명하면, 장면 전환 검출수단(151)은 도 1에서 개시하는 공간 복잡도 추정부(110)에 의해 산출된 공간 복잡도를 이용하여 장면이 전환되는 시점을 인식하여 장면 전환을 검출한다.
예를 들어, 장면이 전환되는 프레임은 시간적으로 상관도가 많이 떨어지기 때문에, 도 4에서 도시하는 것과 같이 uiTemporalComplexity(시간 복잡도) 값이 나타난다.
영상 분류 수단(153)은 공간 복잡도, 시간 복잡도 및 장면 전환을 이용하여 기 설정된 영상 종류로부터 어느 하나를 선택하여 영상의 종류를 분류한다.
관심 영역 검출수단(155)은 기 설정된 영상 종류별 관심 영역으로부터 상기 영상 분류 수단에 의해서 파악된 영상의 종류와 매칭되는 관심 영역을 추출한다.
영상 종류별 관심 영역은 특정 프레임 내에서 영상 데이터를 시청할 사람들 의 관심이 집중될 것으로 예상되는 영역으로, 예를 들어, 영상 데이터가 축구 경기일 경우, 프레임 내에서의 관심 영역은 관중석이 아닌 축구 선수들이 경기를 진행하는 초록색 잔디 경기장일 것이다.
이는, 해당 영상 데이터에 비트레이트를 할당할 때, 관심 영역에 더 많은 비트레이트를 할당하여 해당 영역의 영상이 관심 영역이 아닌 영역에 비해 보다 선명할 수 있도록 하는 데 참조된다.
프레임 타입 결정수단(157)은 영상 데이터의 장면 전환 여부에 따라 프레임 타입(Frame Type)을 결정한다.
여기에서, 프레임 타입은 I-프레임(Index-frame picture)과 P-프레임(Predicted-frame picture)으로 구분되며, 기본적으로 인스턴트 디코더 리프레시 (IDR: Instant Decoder Refresh) 주기에 따라 프레임 타입이 결정되지만, 장면 전환이 발생하였을 경우, 장면 전환 프레임을 기준으로 프레임 타입이 재설정된다.
상기 I-프레임은 뒤따르는 P프레임의 지표(index)가 되는 프레임으로서 한 프레임의 완전한 데이터를 가지고 있으며, P-프레임은 현재의 프레임과 바로 직전의 프레임에 관한 중첩되지 않은 데이터와 중첩된 데이터의 이동흔적에 관한 데이터를 가지고 있다.
자막 영역 검출수단(159)은 공간 복잡도, 시간 복잡도, 프레임 내 위치 정보를 기초로 자막 영역을 검출한다.
여기에서, 자막 영역의 특징은 에지(Edge)의 크기가 동일한 타 영역에 비해 크며, 대체로 화면의 하단에 위치하고, 움직임이 일정하다. 따라서, 자막 영역 검 출수단(159)은 에지의 크기가 큰 영역이 일정한 속도로 화면 하단에 지속적으로 감지되는 경우, 이를 자막 영역으로 판단한다.
상기 자막 영역은 양자화 레벨을 낮춰서 열화가 적게 발생하도록 인코딩 되기 때문에, 자막 영역이 있는 프레임의 인코딩 후 비트 발생량이 많으며, 이러한 점은 대역 할당 시 고려되어야 한다.
도 5는 본 발명에 의한 영상 분석 방법에 대해 설명하기 위한 흐름도이다.
먼저, 영상 분석 장치(100)의 공간 복잡도 추정부(110)는 영상 캡쳐 장치(230)로부터 전달되는 특정 영상에 대한 영상 데이터와 캡쳐 시간을 나타내는 타임스탬프 정보를 수신하면(S101), 영상 데이터의 하나의 프레임에 대해 소벨 마스크(Sobel Mask)로 필터링하고 산출된 프레임 내의 경계(Edge) 크기를 합산하여 공간 복잡도를 산출한다(S103).
단계 S103을 보다 상세히 설명하면, 공간 복잡도 추정부(110)는 영상 캡쳐 장치(230)로부터 전달되는 특정 영상에 대한 영상 데이터와 캡쳐 시간을 나타내는 타임스탬프 정보를 수신하면, 도 2에서 도시하는 것과 같이, 영상 데이터 프레임의 각 화소에 대한 에지(Edge)의 크기를 마스크(Mask)를 이용하여 수직 에지(Vertical Edge)(도 2의 (a))와 수평 에지(Horizontal Edge)(도 2의 (b))를 각각 산출하고, 산출된 값을 합산하여 에지의 크기를 측정한 후, 하나의 MB(Macro-Block) 내에 있는 모든 에지 크기의 절대값을 합산하여 MB 레벨의 에지 맵(Edge Map)을 생성하고, MB 단위로 지정된 에지 크기를 모두 합산하여 하나의 프레임에 대한 공간 복잡도를 산출한다.
이어서, 시간 복잡도 추정부(130)는 영상 데이터 중 연속되는 두 개의 프레임을 이용하여 움직임을 추정하고, 이때 발생한 움직임 벡터를 보상하여 산출된 오차를 통해 시간 복잡도를 산출한다(S105).
예를 들어, 시간 복잡도 추정부(130)는 영상 데이터의 연속되는 두 프레임에 대해 움직임을 추정하고, 보상하여 산출된 움직임 크기와 보상 영상과의 차이 값을 사용하여 시간 복잡도를 산출한다.
영상 특성 검출부(150)는 영상 데이터의 기본 데이터를 기 설정된 기준에 따라 분석하여 영상 특성을 검출한다(S107).
영상 분석 장치(100)는 단계 S103 내지 S107에서 파악된 영상 분석 정보를 정보 송수신 장치(210)를 통해 영상을 제공하거나 또는 영상을 인코딩하기 위한 타 장치로 제공한다(S109).
도 6은 본 발명에 의한 영상 특성 검출 방법에 대해 설명하기 위한 흐름도로서, 도 5에서 계시하는 영상 특성 검출 단계를 보다 상세히 설명하기로 한다.
먼저, 영상 특성 검출부(150)의 장면 전환 검출수단(151)은 도 5에서 개시하는 단계 S103에서 산출된 공간 복잡도를 이용하여 장면이 전환되는 시점을 인식하여 장면 전환을 검출한다(S201).
예를 들어, 장면이 전환되는 프레임은 시간적으로 상관도가 많이 떨어지기 때문에, 도 4에서 도시하는 것과 같이 uiTemporalComplexity(시간 복잡도) 값이 나 타난다.
이어서, 영상 분류 수단(153)은 단계 S103, S105 및 단계 S201에서 각각 산출된 공간 복잡도, 시간 복잡도 및 장면 전환을 이용하여 기 설정된 영상 종류로부터 어느 하나를 선택하여 영상의 종류를 분류한다(S203).
이후, 프레임 타입 결정수단(157)은 영상 데이터의 장면 전환 여부에 따라 프레임 타입(Frame Type)을 결정한다(S205).
여기에서, 프레임 타입은 I-프레임(Index-frame picture)과 P-프레임(Predicted-frame picture)으로 구분되며, 기본적으로 인스턴트 디코더 리프레시 (IDR: Instant Decoder Refresh) 주기에 따라 프레임 타입이 결정되지만, 장면 전환이 발생하였을 경우, 장면 전환 프레임을 기준으로 프레임 타입이 재설정된다.
상기 I-프레임은 뒤따르는 P프레임의 지표(index)가 되는 프레임으로서 한 프레임의 완전한 데이터를 가지고 있으며, P-프레임은 현재의 프레임과 바로 직전의 프레임에 관한 중첩되지 않은 데이터와 중첩된 데이터의 이동흔적에 관한 데이터를 가지고 있다.
도시하지 않았지만, 영상 특성 검출부(150)의 관심 영역 검출수단(155)은 기 설정된 영상 종류별 관심 영역으로부터 단계 S203에서 파악된 영상의 종류와 매칭되는 관심 영역을 추출한다.
영상 종류별 관심 영역은 특정 프레임 내에서 영상 데이터를 시청할 사람들의 관심이 집중될 것으로 예상되는 영역으로, 예를 들어, 영상 데이터가 축구 경기 일 경우, 프레임 내에서의 관심 영역은 관중석이 아닌 축구 선수들이 경기를 진행하는 초록색 잔디 경기장일 것이다.
이는, 해당 영상 데이터에 비트레이트를 할당할 때, 관심 영역에 더 많은 비트레이트를 할당하여 해당 영역의 영상이 관심 영역이 아닌 영역에 비해 보다 선명할 수 있도록 하는 데 참조된다.
또한, 영상 특성 검출부(150)의 자막 영역 검출수단(159)은 공간 복잡도, 시간 복잡도, 프레임 내 위치 정보를 기초로 자막 영역을 검출한다.
여기에서, 자막 영역의 특징은 에지(Edge)의 크기가 동일한 타 영역에 비해 크며, 대체로 화면의 하단에 위치하고, 움직임이 일정하다. 따라서, 자막 영역 검출수단(159)은 에지의 크기가 큰 영역이 일정한 속도로 화면 하단에 지속적으로 감지되는 경우, 이를 자막 영역으로 판단한다.
상기 자막 영역은 양자화 레벨을 낮춰서 열화가 적게 발생하도록 인코딩 되기 때문에, 자막 영역이 있는 프레임의 인코딩 후 비트 발생량이 많으며, 이러한 점은 대역 할당 시 고려되어야 한다.
자막 영역 검출수단(150)에 의해서 검출된 자막 영역은 다른 영역에 비해 비트레이트가 더 많이 할당되어, 사람들이 보다 선명한 자막을 시청할 수 있도록 하는 데 참조된다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사 상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
이상과 같이, 이에 더하여, 본 발명은 영상 프레임의 공간, 시간 및 특성을 추정하여 영상의 복잡도를 분석하기 때문에, 영상 압축 시 분석된 결과에 따라 차등적으로 압축을 수행할 수 있으며, 이로 인해 영상을 방송망을 통해 사용자측으로 제공할 때, 상대적으로 더 많은 대역폭이 요구되는 구간에 자원을 더 할당할 필요성이 높은 것에 적합하다.
도 1은 본 발명에 의한 영상 분석 장치의 구성을 나타내는 도면,
도 2는 본 발명에 의한 공간적 복잡도 추정 방법을 설명하기 위한 도면,
도 3은 본 발명에 의한 영상 특성 검출부의 구성을 나타내는 도면,
도 4는 본 발명에 의한 장면 전환 검출 방법을 설명하기 위한 도면,
도 5는 본 발명에 의한 영상 분석 방법에 대해 설명하기 위한 흐름도,
도 6은 본 발명에 의한 영상 특성 검출 방법에 대해 설명하기 위한 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
100 : 영상 분석 장치 110 : 공간 복잡도 추정부
130 : 시간 복잡도 추정부 150 : 영상 특성 검출부
151 : 장면 전환 검출수단 153 : 영상 분류 수단
155 : 관심 영역 검출수단 157 : 프레임 타입 결정수단
159 : 자막 영역 검출수단 210 : 정보 송수신 장치
230 : 영상 캡쳐 장치

Claims (11)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 입력되는 영상 데이터를 캡쳐하는 영상 캡쳐 장치와 연결되어, 영상을 분석하기 위한 장치로서,
    상기 영상 캡쳐 장치로부터 전달되는 특정 영상에 대한 영상 데이터와 캡쳐 시간을 나타내는 타임스탬프 정보를 수신하면, 영상 데이터의 하나의 프레임에 대해 소벨 마스크(Sobel Mask)로 필터링하여 산출된 프레임 내의 경계(Edge) 크기를 합산하여 공간 복잡도를 산출하는 공간 복잡도 추정부;
    영상 데이터 중 연속되는 두 개의 프레임을 이용하여 움직임을 추정하고, 이때 발생한 움직임 벡터를 보상하여 산출된 오차를 통해 시간 복잡도를 산출하는 시간 복잡도 추정부; 및
    영상 데이터의 기본 데이터를 기 설정된 기준에 따라 분석하여 영상 특성을 검출하는 영상 특성 검출부;
    를 포함하고,
    상기 영상 특성 검출부는,
    상기 공간 복잡도 추정부에 의해 산출된 공간 복잡도를 이용하여 장면이 전환되는 시점을 인식하여 장면 전환을 검출하는 장면 전환 검출수단;
    상기 공간 복잡도, 시간 복잡도 및 장면 전환을 이용하여 기 설정된 영상 종류로부터 어느 하나를 선택하여 영상의 종류를 분류하는 영상 분류 수단;
    영상 데이터의 장면 전환 여부에 따라 프레임 타입을 결정하는 프레임 타입 결정수단;
    기 설정된 영상 종류별 관심 영역으로부터 상기 영상 분류 수단에 의해서 파악된 영상의 종류와 매칭되는 관심 영역을 추출하는 관심 영역 검출수단; 및
    상기 공간 복잡도, 시간 복잡도, 프레임 내 위치 정보를 기초로 하여 에지의 크기가 큰 영역이 일정한 속도로 화면 하단에 지속적으로 감지되는 경우, 상기 영역을 자막 영역으로 판단하고, 자막 영역을 검출하는 자막 영역 검출수단;
    을 포함하는 것을 특징으로 하는 영상 분석 장치.
  5. 삭제
  6. 입력되는 영상 데이터를 캡쳐하는 영상 캡쳐 장치와 연결되어, 영상을 분석하기 위한 장치로서,
    상기 영상 캡쳐 장치로부터 전달되는 특정 영상에 대한 영상 데이터와 캡쳐 시간을 나타내는 타임스탬프 정보를 수신하면, 영상 데이터의 하나의 프레임에 대해 소벨 마스크(Sobel Mask)로 필터링하여 산출된 프레임 내의 경계(Edge) 크기를 합산하여 공간 복잡도를 산출하는 공간 복잡도 추정부;
    영상 데이터 중 연속되는 두 개의 프레임을 이용하여 움직임을 추정하고, 이때 발생한 움직임 벡터를 보상하여 산출된 오차를 통해 시간 복잡도를 산출하는 시간 복잡도 추정부; 및
    영상 데이터의 기본 데이터를 기 설정된 기준에 따라 분석하여 영상 특성을 검출하는 영상 특성 검출부;
    를 포함하고,
    상기 공간 복잡도 추정부는,
    상기 영상 캡쳐 장치로부터 전달되는 특정 영상에 대한 영상 데이터와 캡쳐 시간을 나타내는 타임스탬프 정보를 수신하면, 영상 데이터 프레임의 각 화소에 대한 에지(Edge)의 크기를 마스크(Mask)를 이용하여 수직 에지(Vertical Edge)와 수평 에지(Horizontal Edge)를 각각 산출하고, 산출된 값을 합산하여 에지의 크기를 측정한 후, 하나의 MB(Macro-Block) 내에 있는 모든 에지 크기의 절대값을 합산하여 MB 레벨의 에지 맵(Edge Map)을 생성하고, MB 단위로 지정된 에지 크기를 모두 합산하여 하나의 프레임에 대한 공간 복잡도를 산출하고,
    상기 시간 복잡도 추정부는,
    영상 데이터의 연속되는 두 프레임에 대해 움직임을 추정하고, 보상하여 산출된 움직임 크기와 보상 영상과의 차이 값을 사용하여 시간 복잡도를 산출하고
    상기 영상 특성 검출부는,
    상기 공간 복잡도 추정부에 의해 산출된 공간 복잡도를 이용하여 장면이 전환되는 시점을 인식하여 장면 전환을 검출하는 장면 전환 검출수단;
    상기 공간 복잡도, 시간 복잡도 및 장면 전환을 이용하여 기 설정된 영상 종류로부터 어느 하나를 선택하여 영상의 종류를 분류하는 영상 분류 수단;
    영상 데이터의 장면 전환 여부에 따라 프레임 타입을 결정하는 프레임 타입 결정수단;
    기 설정된 영상 종류별 관심 영역으로부터 상기 영상 분류 수단에 의해서 파악된 영상의 종류와 매칭되는 관심 영역을 추출하는 관심 영역 검출수단; 및
    상기 공간 복잡도, 시간 복잡도, 프레임 내 위치 정보를 기초로 하여 에지의 크기가 큰 영역이 일정한 속도로 화면 하단에 지속적으로 감지되는 경우, 상기 영역을 자막 영역으로 판단하고, 자막 영역을 검출하는 자막 영역 검출수단;
    을 포함하는 것을 특징으로 하는 영상 분석 장치.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 영상 분석 장치에서 영상을 분석하기 위한 방법으로서,
    a) 영상 분석 장치가 특정 영상에 대한 영상 데이터와 캡쳐 시간을 나타내는 타임스탬프 정보를 수신하면, 영상 데이터의 하나의 프레임에 대해 소벨 마스크(Sobel Mask)로 필터링하고 산출된 프레임 내의 경계(Edge) 크기를 합산하여 공간 복잡도를 산출하는 단계;
    b) 영상 데이터 중 연속되는 두 개의 프레임을 이용하여 움직임을 추정하고, 이때 발생한 움직임 벡터를 보상하여 산출된 오차를 통해 시간 복잡도를 산출하는 단계; 및
    c) 영상 데이터의 기본 데이터를 기 설정된 기준에 따라 분석하여 영상 특성을 검출하는 단계;
    를 포함하고,
    상기 c) 단계는,
    c-1) 상기 a) 단계에서 산출된 공간 복잡도를 이용하여 장면이 전환되는 시점을 인식하여 장면 전환을 검출하는 단계;
    c-2) 상기 a) 단계, b) 단계 및 c-1) 단계에서 각각 산출된 공간 복잡도, 시간 복잡도 및 장면 전환을 이용하여 기 설정된 영상 종류로부터 어느 하나를 선택하여 영상의 종류를 분류하는 단계;
    c-3) 영상 데이터의 장면 전환 여부에 따라 프레임 타입(Frame Type)을 결정하는 단계;
    기 설정된 영상 종류별 관심 영역으로부터 c-3) 단계에서 파악된 영상의 종류와 매칭되는 관심 영역을 추출하는 단계; 및
    상기 공간 복잡도, 시간 복잡도, 프레임 내 위치 정보를 기초로 하여 에지의 크기가 큰 영역이 일정한 속도로 화면 하단에 지속적으로 감지되는 경우, 상기 영역을 자막 영역으로 판단하고, 자막 영역을 검출하는 단계;
    를 포함하는 것을 특징으로 하는 영상 분석 방법
  11. 삭제
KR1020070108723A 2007-10-29 2007-10-29 영상 분석 장치 및 방법 KR100939435B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070108723A KR100939435B1 (ko) 2007-10-29 2007-10-29 영상 분석 장치 및 방법
PCT/KR2008/005805 WO2009057898A1 (en) 2007-10-29 2008-10-02 Apparatus and method for analysis of image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070108723A KR100939435B1 (ko) 2007-10-29 2007-10-29 영상 분석 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20090043081A KR20090043081A (ko) 2009-05-06
KR100939435B1 true KR100939435B1 (ko) 2010-01-28

Family

ID=40591236

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070108723A KR100939435B1 (ko) 2007-10-29 2007-10-29 영상 분석 장치 및 방법

Country Status (2)

Country Link
KR (1) KR100939435B1 (ko)
WO (1) WO2009057898A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9230315B2 (en) 2010-12-08 2016-01-05 Thomson Licensing Complexity estimation of a 2D/3D conversion
KR102293373B1 (ko) * 2017-08-18 2021-08-25 엘지디스플레이 주식회사 표시장치와 그의 영상데이터 처리방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990062036A (ko) * 1997-12-31 1999-07-26 윤종용 미분 연산자를 사용한 에지 검출 방법
KR20040101591A (ko) * 2003-05-23 2004-12-03 엘지전자 주식회사 동영상 코딩 방법
WO2007038725A2 (en) * 2005-09-27 2007-04-05 Qualcomm Incorporated Methods and device for data alignment with time domain boundary

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100850705B1 (ko) * 2002-03-09 2008-08-06 삼성전자주식회사 시공간적 복잡도를 고려한 적응적 동영상 부호화 방법 및그 장치
FR2867328A1 (fr) * 2004-03-02 2005-09-09 Thomson Licensing Sa Procede de decodage d'une sequence d'images codee avec echelonnabilite spatiale et temporelle
TW200704200A (en) * 2005-03-10 2007-01-16 Qualcomm Inc Content classification for multimedia processing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990062036A (ko) * 1997-12-31 1999-07-26 윤종용 미분 연산자를 사용한 에지 검출 방법
KR20040101591A (ko) * 2003-05-23 2004-12-03 엘지전자 주식회사 동영상 코딩 방법
WO2007038725A2 (en) * 2005-09-27 2007-04-05 Qualcomm Incorporated Methods and device for data alignment with time domain boundary

Also Published As

Publication number Publication date
WO2009057898A1 (en) 2009-05-07
KR20090043081A (ko) 2009-05-06

Similar Documents

Publication Publication Date Title
US9288071B2 (en) Method and apparatus for assessing quality of video stream
US9131216B2 (en) Methods and apparatuses for temporal synchronisation between the video bit stream and the output video sequence
JP5479504B2 (ja) デコーダ側の関心領域ビデオ処理
US7082210B2 (en) Moving object detector and image monitoring system
US9025673B2 (en) Temporal quality metric for video coding
US9118912B2 (en) Object-aware video encoding strategies
CN109510919B (zh) 用于感知质量评估的场景变换检测的方法、设备和介质
JP4869310B2 (ja) 映像表示装置及び方法
US20130100248A1 (en) Video transmitting apparatus and video transmitting method
TW200945899A (en) Adaptive group of pictures (AGOP) structure determination
US20130128979A1 (en) Video signal compression coding
JP2014519735A (ja) ビットストリームレベルで動画品質を推定する方法及び装置
KR100939435B1 (ko) 영상 분석 장치 및 방법
US9723266B1 (en) Lightweight content aware bit stream video quality monitoring service
JP4157661B2 (ja) 動画像内の移動物体検出方法および装置
KR102268596B1 (ko) 메타데이터 기반 비디오 데이터의 전송조건 변경장치 및 방법
KR101199470B1 (ko) 주관적 화질 열화 측정 장치
US9894351B2 (en) Assessing packet loss visibility in video
KR20150046036A (ko) 비디오 비트스트림에서 점진적 전환 픽쳐를 검출하기 위한 방법 및 장치
KR20120070833A (ko) 영상 품질 모니터링 방법 및 장치
KR20100131735A (ko) 영상 품질 모니터링 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121228

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131231

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20141230

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20161223

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180123

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190110

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20200116

Year of fee payment: 11