KR20080055941A - 영상 식별 장치 - Google Patents

영상 식별 장치 Download PDF

Info

Publication number
KR20080055941A
KR20080055941A KR1020087009779A KR20087009779A KR20080055941A KR 20080055941 A KR20080055941 A KR 20080055941A KR 1020087009779 A KR1020087009779 A KR 1020087009779A KR 20087009779 A KR20087009779 A KR 20087009779A KR 20080055941 A KR20080055941 A KR 20080055941A
Authority
KR
South Korea
Prior art keywords
cut point
shot
distance
frame
feature amount
Prior art date
Application number
KR1020087009779A
Other languages
English (en)
Other versions
KR100963701B1 (ko
Inventor
다이키 구도
히로후미 니시카와
요시아키 가토우
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20080055941A publication Critical patent/KR20080055941A/ko
Application granted granted Critical
Publication of KR100963701B1 publication Critical patent/KR100963701B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/147Scene change detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)

Abstract

특징량 추출부(1)에 의해 추출된 현재의 프레임의 특징량과 특징량 버퍼(3)에 기억되어 있는 직전의 프레임의 특징량으로부터 특징량간의 거리인 프레임간 거리를 산출하는 프레임간 거리 산출부(2)와, 그 프레임간 거리의 통계량을 구하고, 그 통계량으로부터 컷트점 판정용 임계값을 산출하는 컷트점 판정용 데이터 산출부(4)를 마련하여, 그 프레임간 거리와 컷트점 판정용 임계값을 비교하고, 그 비교 결과로부터 컷트점을 판별한다.

Description

영상 식별 장치{VIDEO IDENTIFICATION DEVICE}
본 발명은, 영상 신호로부터 중요한 구간의 영상을 식별하는 영상 식별 장치에 관한 것이다.
영상의 컷트점을 검출함으로써, 영상 신호를 샷 단위로 분할하여, 복수의 샷 중에서 중요한 샷을 식별하는 영상 식별 장치가 제안되어 있다.
컷트점의 검출 처리로서는, 예컨대, 이하의 비특허 문헌 1에 개시되어 있는 바와 같이, 인접하는 프레임의 휘도가, 고정 임계값보다 커지면, 그 프레임의 변화점을 컷트점으로서 검출하는 방법이 존재한다.
또한, 이하의 비특허 문헌 2에 개시되어 있는 바와 같이, 프레임간의 상위(相違)를 평가 함수를 이용하여 평가하고, 프레임간의 상위량이, 다른 영상 콘텐츠를 학습함으로써 설정된 임계값보다 커지면, 그 프레임의 변화점을 컷트점으로서 검출하는 방법이 존재한다.
(비특허 문헌 1) 닛케이 일렉트로닉스 No. 892 2005. 1. 31 호 51페이지
(비특허 문헌 2) 「부분 복호를 이용한 MPEG 데이터로부터의 컷트점 검출」, 전자정보통신학회 논문지 Vol. J81-D2 No. 7, (1998년 7월), 나카지마 야스유키, 우지하라 기요노, 요네야마 아키오, 사단법인 전자정보통신학회 발행, 1564페이지∼1575페이지
종래의 영상 식별 장치는 이상과 같이 구성되어 있으므로, 인접하는 프레임의 휘도가, 고정 임계값보다 커지면, 그 프레임의 변화점이 컷트점으로서 검출되지만, 어떠한 영상 신호가 입력되는 경우에도, 임계값이 고정적이므로, 컷트점의 검출 정밀도가 열화하는 경우가 있는 과제가 있었다.
또한, 다른 영상 콘텐츠를 학습함으로써 설정된 임계값을 이용하는 경우, 학습 대상의 콘텐츠에 따라 학습 결과가 다르므로, 입력되는 영상 신호에 적용하는 콘텐츠를 학습하지 않으면, 컷트점을 정확히 검출할 수 없어, 범용적으로 사용할 수가 없는 과제도 있었다.
본 발명은 상기한 바와 같은 과제를 해결하기 위해 이루어진 것으로, 어떠한 영상 신호가 입력되는 경우에도, 컷트점을 정확히 검출할 수 있는 영상 식별 장치를 얻는 것을 목적으로 한다.
본 발명에 따른 영상 식별 장치는, 특징량 추출 수단에 의해 금회(今回) 추출된 특징량과 특징량 추출 수단에 의해 전회(前回) 추출된 특징량으로부터 특징량간의 거리를 산출하는 거리 산출 수단과, 그 거리 산출 수단에 의해 산출된 특징량간의 거리의 통계량을 구하고, 그 통계량으로부터 컷트점 판정용 임계값을 산출하는 임계값 산출 수단을 마련하고, 그 거리 산출 수단에 의해 산출된 특징량간의 거리와 임계값 산출 수단에 의해 산출된 임계값을 비교하여, 그 비교 결과로부터 컷트점을 판별하도록 한 것이다.
본 발명에 의하면, 특징량 추출 수단에 의해 금회 추출된 특징량과 특징량 추출 수단에 의해 전회 추출된 특징량으로부터 특징량간의 거리를 산출하는 거리 산출 수단과, 그 거리 산출 수단에 의해 산출된 특징량간의 거리의 통계량을 구하고, 그 통계량으로부터 컷트점 판정용 임계값을 산출하는 임계값 산출 수단을 마련하고, 그 거리 산출 수단에 의해 산출된 특징량간의 거리와 임계값 산출 수단에 의해 산출된 임계값을 비교하여, 그 비교 결과로부터 컷트점을 판별하도록 구성했으므로, 어떠한 영상 신호가 입력되는 경우에도, 컷트점을 정확히 검출할 수 있는 효과가 있다.
도 1은 본 발명의 실시예 1에 의한 영상 식별 장치를 나타내는 구성도,
도 2는 휘도값의 변화나 컷트점을 나타내는 설명도,
도 3은 본 발명의 실시예 1에 의한 영상 식별 장치의 처리 내용을 나타내는 흐름도,
도 4는 본 발명의 실시예 2에 의한 영상 식별 장치를 나타내는 구성도,
도 5는 본 발명의 실시예 2에 의한 영상 식별 장치의 중요샷 판별부를 나타내는 구성도이다.
이하, 본 발명을 보다 상세히 설명하기 위해, 본 발명을 실시하기 위한 최선의 형태에 대하여, 첨부의 도면에 따라 설명한다.
(실시예 1)
도 1은 본 발명의 실시예 1에 의한 영상 식별 장치를 나타내는 구성도이며, 도면에 있어서, 특징량 추출부(1)는 영상 신호를 입력하면, 그 영상 신호로부터 영상 프레임의 특징을 나타내고 있는 특징량을 추출하는 처리를 실시한다. 또, 특징량 추출부(1)는 특징량 추출 수단을 구성하고 있다.
프레임간 거리 산출부(2)는 소정의 평가 함수를 이용하여, 특징량 추출부(1)에 의해 금회 추출된 현재의 프레임의 특징량과 특징량 버퍼(3)에 기억되어 있는 직전의 프레임의 특징량(특징량 추출부(1)에 의해 전회 추출된 프레임의 특징량)을 비교하여, 그들의 특징량간의 거리(비유사도)를 산출하는 처리를 실시한다. 이하, 현재의 프레임과 직전의 프레임의 특징량간의 거리를 「프레임간 거리」라고 칭한다.
특징량 버퍼(3)는 직전의 프레임의 특징량을 기억하고, 프레임간 거리 산출부(2)가 프레임간 거리를 산출하면, 다음번 프레임간 거리의 산출에 대비하기 위 해, 현재 기억하고 있는 직전의 프레임의 특징량을, 특징량 추출부(1)에 의해 금회 추출된 현재의 프레임의 특징량으로 갱신한다.
또, 프레임간 거리 산출부(2) 및 특징량 버퍼(3)로 거리 산출 수단이 구성되어 있다.
컷트점 판정용 데이터 산출부(4)는 프레임간 거리 산출부(2)에 의해 산출된 프레임간 거리의 통계량을 구하고, 그 통계량으로부터 컷트점 판정용 임계값을 산출하여, 컷트점 판정용 임계값을 컷트점 판정용 데이터 버퍼(5)에 출력하는 처리를 실시한다.
컷트점 판정용 데이터 버퍼(5)는 컷트점 판정용 데이터 산출부(4)에 의해 산출된 컷트점 판정용 임계값을 기억하는 메모리이다.
또, 컷트점 판정용 데이터 산출부(4) 및 컷트점 판정용 데이터 버퍼(5)로 임계값 산출 수단이 구성되어 있다.
컷트점 판정부(6)는 프레임간 거리 산출부(2)에 의해 산출된 프레임간 거리와 컷트점 판정용 데이터 버퍼(5)에 기억되어 있는 컷트점 판정용 임계값을 비교하고, 그 비교 결과로부터 컷트점을 판별하는 처리를 실시한다. 또, 컷트점 판정부(6)는 컷트점 판별 수단을 구성하고 있다.
도 3은 본 발명의 실시예 1에 의한 영상 식별 장치의 처리 내용을 나타내는 흐름도이다.
다음으로 동작에 대하여 설명한다.
특징량 추출부(1)는, 영상 신호를 입력하면, 그 영상 신호로부터 프레임의 특징을 나타내고 있는 특징량을 추출한다(단계 ST1).
프레임의 특징을 나타내고 있는 특징량으로서는, 예컨대, 과거의 프레임과의 차분 외에, 색의 히스토그램, 색의 배치 정보, 텍스쳐 정보, 움직임 정보 등을 들 수 있지만, 어느 특징량을 이용하여도 좋고, 또한, 복수의 특징량을 이용하여도 좋다.
프레임간 거리 산출부(2)는, 특징량 추출부(1)가 현재의 프레임의 특징량을 추출하면, 특징량 버퍼(3)로부터 직전의 프레임의 특징량(특징량 추출부(1)에 의해 전회 추출된 프레임의 특징량)의 판독을 행한다.
그리고, 프레임간 거리 산출부(2)는, 소정의 평가 함수를 이용하여, 현재의 프레임의 특징량과 직전의 프레임의 특징량을 비교하고, 그들 특징량간의 거리(비유사도)인 프레임간 거리를 산출한다(단계 ST2).
또, 프레임간 거리 산출부(2)는, 프레임간 거리를 산출하면, 특징량 버퍼(3)의 기억 내용을 현재의 프레임의 특징량으로 갱신한다.
컷트점 판정부(6)는, 프레임간 거리 산출부(2)가 프레임간 거리를 산출하면, 그 프레임간 거리와 컷트점 판정용 데이터 버퍼(5)에 기억되어 있는 컷트점 판정용 임계값을 비교한다(단계 ST3).
컷트점 판정부(6)는, 그 프레임간 거리가 컷트점 판정용 임계값보다 큰 경우, 컷트점이라고 판정하고, 그 취지를 나타내는 판정 결과를 출력한다(단계 ST4).
한편, 그 프레임간 거리가 컷트점 판정용 임계값보다 크지 않은 경우, 컷트점이 아니라고 판정하고, 그 취지를 나타내는 판정 결과를 출력한다(단계 ST5).
여기서는, 컷트점 판정부(6)는 컷트점 판정용 임계값을 이용하여, 컷트점을 판별하고 있지만, 예컨대, 샷 시간 등을 고려하여, 컷트점을 판별하도록 하더라도 좋다.
또, 컷트점 판정부(6)로부터 출력되는 판정 결과는, 컷트점인지 여부를 나타내는 정보이므로, 예컨대, 사용자나 외부의 프로그램이, 영상 콘텐츠의 편집이나 요약 재생 등을 실시할 때에 이용할 수 있다.
컷트점 판정용 데이터 산출부(4)는, 컷트점 판정부(6)의 판정 결과가 컷트점인 취지를 나타내는 경우, 컷트점 판정용 데이터 버퍼(5)의 기억 내용을 소정의 값으로 초기화한다(단계 ST6).
한편, 컷트점 판정부(6)의 판정 결과가 컷트점이 아닌 취지를 나타내는 경우, 프레임간 거리 산출부(2)에 의해 산출된 프레임간 거리의 통계량을 구하고, 그 통계량으로부터 컷트점 판정용 임계값을 산출하여, 컷트점 판정용 데이터 버퍼(5)의 기억 내용을 당해 임계값으로 갱신한다(단계 ST7).
구체적으로는, 이하와 같이 하여, 컷트점 판정용 임계값을 산출한다.
실제의 영상 콘텐츠는, 복수의 샷으로 구성되어 있어, 샷의 단락인 컷트점의 직후의 프레임이 컷트점인 것은 생각하기 어렵고, 샷은 복수의 프레임이 계속되는 것으로 생각할 수 있다.
여기서는, 설명의 편의상, 각 샷의 n-1번째의 프레임과, n번째의 프레임의 거리를 Distn이라 한다.
이 거리 Distn이 어떤 임계값보다 클 때, i번째의 샷에 있어서의 n번째의 프레임은, 실제로는, (i+1)번째의 최초의 프레임이라고 생각할 수 있다. 즉, i번째의 샷에 있어서의 n번째의 프레임은, 컷트점이라고 생각할 수 있다. 단, i번째의 샷의 최초의 프레임은 0번째의 프레임이라 한다. 또한, 상기의 임계값은, 적응적으로 변동하는 것으로 하고, Thi _n이라 한다.
컷트점 판정용 데이터 산출부(4)는, 임계값 Thi _n을 산출하는 것에 있어서, i번째의 샷에 있어서의 프레임의 거리의 평균값 avgi(Distn)을 산출함과 아울러, 프레임의 거리의 분산값 vari(Distn)을 산출한다.
컷트점 판정용 데이터 산출부(4)는, 거리의 평균값 avgi(Distn)과 거리의 분산값 vari(Distn)을 산출하면, 거리의 평균값 avgi(Distn)과 거리의 분산값 vari(Distn)을 하기의 식 (1)에 대입하여, 임계값 Thi _n을 산출한다.
Figure 112008029291555-PCT00001
식 (1)에 있어서, α는 계수이다.
또한, 평균값 avgi(Distn) 및 분산값 vari(Distn)은, i번째의 샷에 있어서의 모든 프레임의 평균값 및 분산값이 아닌, 1번째로부터 n-1번째까지의 프레임의 평균값 및 분산값이다.
0번째의 프레임은, 평균값이나 분산값의 산출에 이용하지 않고, 1번째의 프 레임으로부터 평균값이나 분산값의 산출에 이용하고 있는 이유는, 0번째의 프레임의 거리 Dist0이, 이전의 샷의 최후의 프레임과의 프레임간 거리를 나타내고 있기 때문이다.
또한, n번째의 프레임은, 평균값이나 분산값의 산출에 이용하지 않고, n-1번째까지의 프레임을 평균값이나 분산값의 산출에 이용하고 있는 이유는, 입력된 프레임에 대하여, 즉시 컷트점인지 여부를 판별할 수 있기 때문이다.
또, 평균값 avgi(Distn) 및 분산값 vari(Distn)은, 정확한 값이 아니고, 어떠한 근사값을 이용하여도 좋다. 또한, 계수 α는 콘텐츠의 장르 등에 따라 변경하더라도 좋다.
이상에서 명백한 바와 같이, 본 실시예 1에 의하면, 특징량 추출부(1)에 의해 추출된 현재의 프레임의 특징량과 특징량 버퍼(3)에 기억되어 있는 직전의 프레임의 특징량으로부터 특징량간의 거리인 프레임간 거리를 산출하는 프레임간 거리 산출부(2)와, 그 프레임간 거리 산출부(2)에 의해 산출된 프레임간 거리의 통계량을 구하고, 그 통계량으로부터 컷트점 판정용 임계값을 산출하는 컷트점 판정용 데이터 산출부(4)를 마련하고, 그 프레임간 거리 산출부(2)에 의해 산출된 프레임간 거리와 컷트점 판정용 데이터 산출부(4)에 의해 산출된 컷트점 판정용 임계값을 비교하여, 그 비교 결과로부터 컷트점을 판별하도록 구성했으므로, 어떠한 영상 신호가 입력되는 경우에도, 컷트점을 정확히 검출할 수 있는 효과를 나타낸다.
즉, 본 실시예 1에 의하면, 샷 내에 움직임이 있는 경우에 있어서도, 그 움 직임을 통계적으로 분석함으로써, 컷트점과 샷 내의 움직임의 변동을 판별할 수 있으므로, 적응적으로 컷트점 판정용 임계값을 설정하는 것이 가능하게 되고, 그 결과, 종래의 고정 임계값을 이용하는 경우에 비해, 컷트점의 검출 정밀도를 높일 수 있게 된다. 그 이유는, 이하와 같다.
종래 방법에서는, 컷트점의 검출에 프레임 내의 휘도값의 변화를 이용하고 있고, 컷트점 검출용 임계값은 고정값이다.
일반적으로, 현재의 샷의 다음에 샷이 오는지 여부를 예측하는 것은 곤란하다.
비숫한 샷이 계속되는 경우, 예컨대, 동일한 스튜디오 내에서, 카메라가 전환되는 경우 등, 컷트점이더라도 휘도값의 변화가 작은 경우가 있다.
한편, 동일한 컷트라도, 플래시나, 인물의 큰 움직임 등이 있는 경우, 프레임간의 변화(휘도값의 변화)가 커지는 경우가 있다.
도 2는 이러한 경우의 휘도값의 변화를 나타내는 설명도이다.
이 때문에, 종래 방법에서는, 큰 임계값을 설정하면, 작은 변화의 컷트점을 놓치게 되고, 작은 임계값을 설정하면, 변화가 큰 샷에서 컷트점을 오검출하는 경우가 있다.
이에 대하여, 본 실시예 1에서는, 단순한 휘도값의 차이 외에, 특징량을 이용하여 범용성을 높이고 있다. 또한, 평가 함수에 의한 평가 결과인 거리가 큰 경우에 컷트점으로 하고 있지만, 그 임계값을 적응적으로 설정함으로써, 변화가 큰 샷이면, 자동적으로 임계값이 커지고, 변화가 작은 샷이면, 자동적으로 임계값이 작아지므로, 컷트점 검출의 대폭적인 정밀도 향상과 범용성의 향상을 기대할 수 있다.
또, 본 실시예 1에서는, 특징량을 추출할 때, 영상 신호로부터가 아닌, 압축된 화상의 부호화 데이터로부터 특징량을 추출하도록 하더라도 좋다.
또한, 프레임간 거리를 산출할 때, 반드시 인접한 프레임이 아닌, 2프레임 이상 간격을 두고 있는 프레임간의 거리를 산출하도록 하여, 산출 처리의 고속화를 도모하도록 하더라도 좋다.
이와 같이, 프레임 간격을 두고 거리의 산출이나 컷트점의 검출을 행하는 경우, 시간적으로 압축된 부호화 영상에 있어서의 프레임 내 부호화를 이용한 프레임을 이용하여도 좋다.
또한, 평균값 및 분산값을 계산할 때, 현재의 프레임에 가까운 프레임에 대하여 가중치를 부여하는 등의 처리를 실시하여, 샷 내에서의 변동의 모습의 시간 변화에 대응하도록 하더라도 좋다.
(실시예 2)
도 4는 본 발명의 실시예 2에 의한 영상 식별 장치를 나타내는 구성도이며, 도면에 있어서, 도 1과 동일 부호는 동일 또는 상당 부분을 나타내므로 설명을 생략한다.
중요샷 판별부(7)는 컷트점 판정부(6)의 판정 결과가 컷트점인 취지를 나타내는 경우, 그 컷트점보다 하나 전의 컷트점(하나 전의 컷트점은, 컷트점 판정 부(6)에 의해 전회 판별된 컷트점)을 기점으로 하는 샷이 중요샷인지 여부를 판별하는 처리를 실시한다. 또, 중요샷 판별부(7)는 중요샷 판별 수단을 구성하고 있다.
도 5는 본 발명의 실시예 2에 의한 영상 식별 장치의 중요샷 판별부(7)를 나타내는 구성도이며, 도면에 있어서, 샷 길이 계산부(11)는 컷트점 판정부(6)의 판정 결과가 컷트점인 취지를 나타내는 경우, 현재의 프레임의 시각과 샷 개시점 버퍼(12)에 기억되어 있는 샷 개시점의 시각의 시각차를 구하고, 그 시각차를 샷 길이로 하여 중요샷 판정부(13)에 출력하는 처리를 실시한다.
샷 개시점 버퍼(12)는 샷 개시점의 시각을 기억하고 있는 메모리이다.
중요샷 판정부(13)는 샷 길이 계산부(11)에 의해 산출된 샷 길이가 미리 설정된 임계값보다 긴 경우, 컷트점 판정부(6)에 의해 판별된 컷트점보다 하나 전의 컷트점을 기점으로 하는 샷이 중요샷, 하나 전의 컷트점을 기점으로 하는 샷의 다음 샷이 중요샷, 또는, 하나 전의 컷트점을 기점으로 하는 샷과 다음 샷이 중요샷이라고 판정하고, 그 판정 결과를 출력하는 처리를 실시한다.
다음으로 동작에 대하여 설명한다.
컷트점 판정부(6)는, 프레임간 거리 산출부(2)가 프레임간 거리를 산출하면, 상기 실시예 1과 같이, 그 프레임간 거리와 컷트점 판정용 데이터 버퍼(5)에 기억되어 있는 컷트점 판정용 임계값을 비교한다.
컷트점 판정부(6)는, 그 프레임간 거리가 컷트점 판정용 임계값보다 큰 경우, 컷트점이라고 판정하고, 그 취지를 나타내는 판정 결과를 중요샷 판별부(7)에 출력한다.
한편, 그 프레임간 거리가 컷트점 판정용 임계값보다 크지 않은 경우, 컷트점이 아니라고 판정하고, 그 취지를 나타내는 판정 결과를 중요샷 판별부(7)에 출력한다.
중요샷 판별부(7)는, 컷트점 판정부(6)의 판정 결과가 컷트점이 아닌 취지를 나타내는 경우, 특별히 처리를 실시하지 않지만, 컷트점 판정부(6)의 판정 결과가 컷트점인 취지를 나타내는 경우, 그 컷트점보다 하나 전의 컷트점을 기점으로 하는 샷이 중요샷인지 여부를 판별한다.
즉, 중요샷 판별부(7)의 샷 길이 계산부(11)는, 샷의 샷 길이는 i번째의 샷의 개시 시각과 (i+1)번째의 샷의 개시 시각의 차로 구할 수 있으므로, 컷트점 판정부(6)의 판정 결과가 컷트점인 취지를 나타내는 경우, 현재의 프레임의 시각과 샷 개시점 버퍼(12)에 기억되어 있는 샷 개시점의 시각의 시각차를 구하여, 그 시각차를 샷 길이로 하여 중요샷 판정부(13)에 출력한다.
또, 샷 길이 계산부(11)는, 샷 길이를 산출하면, 샷 개시점 버퍼(12)의 기억 내용을 현재의 프레임의 시각으로 갱신한다.
중요샷 판별부(7)의 중요샷 판정부(13)는, 샷 길이 계산부(11)가 샷 길이를 산출하면, 그 샷 길이와 미리 설정된 임계값을 비교한다.
그리고, 중요샷 판정부(13)는, 그 샷 길이가 미리 설정된 임계값보다 긴 경우, 컷트점 판정부(6)에 의해 판별된 컷트점보다 하나 전의 컷트점을 기점으로 하는 샷이 중요샷이라고 판정하고, 그 판정 결과를 출력한다.
여기서는, 중요샷 판정부(13)가, 컷트점보다 하나 전의 컷트점을 기점으로 하는 샷이 중요샷이라고 판정하고 있지만, 하나 전의 컷트점을 기점으로 하는 샷의 다음 샷이 중요샷이라고 판정하더라도 좋고, 하나 전의 컷트점을 기점으로 하는 샷과 다음 샷의 양쪽이 중요샷이라고 판정하더라도 좋다.
이상에서 명백한 바와 같이, 본 실시예 2에 의하면, 컷트점 판정부(6)의 판정 결과가 컷트점인 취지를 나타내는 경우, 그 컷트점보다 하나 전의 컷트점을 기점으로 하는 샷이 중요샷인지 여부를 판별하도록 구성했으므로, 예컨대, 다수의 영상 처리 방법이나 음성 처리 방법 등, 매우 복잡한 처리를 실시하여 계산 부하를 높이는 일 없이, 사용자가 중요한 샷을 용이하게 파악할 수 있는 효과를 나타낸다.
본 실시예 2에서는, 특히 회화가 주체인 콘텐츠인 경우, 중요한 나레이션이나, 대사 부분에 있어서의 샷 길이가 긴 경우에 근거하고 있다. 또한, 컷트점을 알 수 있는 경우, 계산 부하가 매우 작은 것이 특징이며, 계산 능력이 낮은 기기에 있어서도, 중요샷의 판정이 가능해진다.
또, 컷트점을 구할 때, 인접하는 프레임이 아닌, 떨어진 프레임을 이용하여 고속화를 도모하도록 하더라도 좋다. 이 경우에 있어서도, 출력되는 중요샷의 개시 시각은 본래의 중요샷의 개시 시각으로부터 근소한 시간 어긋날 뿐이다.
이상과 같이, 본 발명에 따른 영상 식별 장치는, 영상 신호로부터 중요한 구간의 영상을 식별할 때에 이용되고, 컷트점 검출의 정확성이 우수한 영상 식별을 행하는데 적합하다.

Claims (2)

  1. 영상 신호로부터 영상의 특징을 나타내고 있는 특징량을 추출하는 특징량 추출 수단과,
    상기 특징량 추출 수단에 의해 금회(今回) 추출된 특징량과 상기 특징량 추출 수단에 의해 전회(前回) 추출된 특징량으로부터 특징량간의 거리를 산출하는 거리 산출 수단과,
    상기 거리 산출 수단에 의해 산출된 특징량간의 거리의 통계량을 구하고, 그 통계량으로부터 컷트점 판정용 임계값을 산출하는 임계값 산출 수단과,
    상기 거리 산출 수단에 의해 산출된 특징량간의 거리와 상기 임계값 산출 수단에 의해 산출된 임계값을 비교하고, 그 비교 결과로부터 컷트점을 판별하는 컷트점 판별 수단
    을 구비한 영상 식별 장치.
  2. 제 1 항에 있어서,
    컷트점 판별 수단에 의해 컷트점이 판별된 경우, 그 컷트점보다 하나 전의 컷트점을 기점으로 하는 샷이 중요샷인지 여부를 판별하는 중요샷 판별 수단을 마련한 것을 특징으로 하는 영상 식별 장치.
KR1020087009779A 2005-10-25 2006-06-16 영상 식별 장치 KR100963701B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2005-00310157 2005-10-25
JP2005310157 2005-10-25

Publications (2)

Publication Number Publication Date
KR20080055941A true KR20080055941A (ko) 2008-06-19
KR100963701B1 KR100963701B1 (ko) 2010-06-14

Family

ID=37967500

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087009779A KR100963701B1 (ko) 2005-10-25 2006-06-16 영상 식별 장치

Country Status (5)

Country Link
US (1) US8014606B2 (ko)
JP (1) JP4620126B2 (ko)
KR (1) KR100963701B1 (ko)
CN (1) CN101292267B (ko)
WO (1) WO2007049378A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102802088B (zh) * 2012-08-29 2015-04-15 上海天跃科技股份有限公司 一种基于实时传输协议的数据传输方法
CN106303498B (zh) * 2015-05-30 2018-10-16 北京智谷睿拓技术服务有限公司 视频显示控制方法和装置、显示设备
CN106303315B (zh) 2015-05-30 2019-08-16 北京智谷睿拓技术服务有限公司 视频显示控制方法和装置、显示设备
CN106303499B (zh) * 2015-05-30 2018-10-16 北京智谷睿拓技术服务有限公司 视频显示控制方法和装置、显示设备
CN113777616B (zh) * 2021-07-27 2024-06-18 武汉市异方体科技有限公司 一种运动车辆测距方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5708767A (en) 1995-02-03 1998-01-13 The Trustees Of Princeton University Method and apparatus for video browsing based on content and structure
JP3823333B2 (ja) * 1995-02-21 2006-09-20 株式会社日立製作所 動画像の変化点検出方法、動画像の変化点検出装置、動画像の変化点検出システム
US6393054B1 (en) * 1998-04-20 2002-05-21 Hewlett-Packard Company System and method for automatically detecting shot boundary and key frame from a compressed video data
EP1081960B1 (en) * 1999-01-29 2007-12-19 Sony Corporation Signal processing method and video/voice processing device
JP2000285242A (ja) * 1999-01-29 2000-10-13 Sony Corp 信号処理方法及び映像音声処理装置
KR100741300B1 (ko) * 1999-07-06 2007-07-23 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 시퀀스 구조의 자동 추출 방법
US7038736B2 (en) * 2000-09-21 2006-05-02 Canon Kabushiki Kaisha Moving image processing apparatus and method, and computer readable memory
JP2002290959A (ja) * 2001-03-23 2002-10-04 Fujitsu General Ltd 侵入者検出方法および装置
JP4082664B2 (ja) 2002-09-20 2008-04-30 Kddi株式会社 映像検索装置
WO2005050986A1 (ja) 2003-11-19 2005-06-02 National Institute Of Information And Communications Technology, Independent Administrative Agency 映像内容の提示方法及び装置

Also Published As

Publication number Publication date
US20090116751A1 (en) 2009-05-07
JPWO2007049378A1 (ja) 2009-04-30
CN101292267B (zh) 2012-08-22
JP4620126B2 (ja) 2011-01-26
WO2007049378A1 (ja) 2007-05-03
US8014606B2 (en) 2011-09-06
CN101292267A (zh) 2008-10-22
KR100963701B1 (ko) 2010-06-14

Similar Documents

Publication Publication Date Title
KR100957902B1 (ko) 영상 요약 장치
US7551234B2 (en) Method and apparatus for estimating shot boundaries in a digital video sequence
US7466365B2 (en) Moving image processing apparatus and method, and computer readable memory
EP1914994A1 (en) Detection of gradual transitions in video sequences
US20050123052A1 (en) Apparatus and method for detection of scene changes in motion video
WO2011153869A1 (zh) 一种图像区域划分/编码方法、装置及系统
JP2009512246A (ja) 画像のショットタイプを決定する方法及び装置
KR100963701B1 (ko) 영상 식별 장치
CN109194955B (zh) 一种场景切换检测方法及系统
US20030123541A1 (en) Shot transition detecting method for video stream
Lan et al. A novel motion-based representation for video mining
CN108830146A (zh) 一种基于滑动窗口的非压缩域镜头边界检测方法
KR101667011B1 (ko) 입체 영상의 장면 전환 검출 장치 및 방법
JPWO2010084738A1 (ja) 照合加重情報抽出装置
JPH10224741A (ja) 動画像のカット点検出方法
JP4036321B2 (ja) 映像の検索装置および検索プログラム
JP4225503B2 (ja) 動画像のカット点検出装置
JP4924423B2 (ja) 特徴量の予測誤差に基づいて動画像のカット点を検出する装置
JPH05236458A (ja) 動画像処理装置
CN113657590B (zh) 模型压缩方法、人脸识别方法、电子设备和存储介质
GG Video shot cut detection using least square approximation method
Wang et al. Flashlight scene detection for MPEG videos
JP4261603B2 (ja) 動画像のカット点検出装置
Huang et al. Robust shot change detection models using spatial and temporal features
JPH09322172A (ja) カット点検出方法および装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130524

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140530

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150518

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160517

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170522

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180517

Year of fee payment: 9