KR20170090868A - 장면 전환 프레임 검출 장치 및 방법 - Google Patents
장면 전환 프레임 검출 장치 및 방법 Download PDFInfo
- Publication number
- KR20170090868A KR20170090868A KR1020160011797A KR20160011797A KR20170090868A KR 20170090868 A KR20170090868 A KR 20170090868A KR 1020160011797 A KR1020160011797 A KR 1020160011797A KR 20160011797 A KR20160011797 A KR 20160011797A KR 20170090868 A KR20170090868 A KR 20170090868A
- Authority
- KR
- South Korea
- Prior art keywords
- frame
- scene change
- candidate
- codecs
- detecting
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 45
- 238000001514 detection method Methods 0.000 claims abstract description 76
- 238000004458 analytical method Methods 0.000 claims description 20
- 238000009825 accumulation Methods 0.000 claims description 4
- 230000007704 transition Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 장면 전환 프레임을 검출하기 위한 장치를 개시하고 있다. 상기 장치는 입력되는 영상을 h개 프레임 간격으로 쉬프트(shift)하면서 n개 프레임 단위로 선택하는 영상 선택부, 상기 선택된 n개 프레임 단위의 영상을 복수 개의 코덱(codec) 및 장면 전환 검출 알고리즘 중 적어도 하나를 사용하여 후보 프레임을 추출하는 후보 프레임 검출부 및 상기 검출된 후보 프레임을 기반으로 히스토그램 분석하여 임계값보다 높은 카운트 값을 가진 프레임을 최종 장면전환 프레임으로 검출하는 최종 프레임 검출부를 포함하되, 상기 h와 n은 0보다 큰 실수이면서 h는 n보다 작은 값을 갖는다.
Description
본 발명은 장면 전환 부분을 검출하기 위한 장치 및 방법에 관한 것으로, 씬 컷(scene cut) 부분을 정밀하게 검출하여 최적의 위치에 부가 데이터를 삽입하기 위한 방법 및 장치에 관한 것이다.
최근 비디오 색인에 의한 비디오 검색을 비롯한 다양한 멀티미디어 서비스 시스템의 개발이 이루어지고 있다. 일반적으로 디지털 비디오는 데이터량이 매우 방대하나 한 장면 내에서는 유사한 이미지가 연속된다는 특성을 갖기 때문에 장면 단위로 비디오를 색인하면 효율적으로 비디오를 검색할 수 있다. 이 때, 장면이 전환되는 시점을 찾고, 그 장면을 대표하는 이미지인 키 프레임을 추출하는 기술은 비디오 색인 및 검색 시스템을 구축하는데 있어 필수적 요소가 된다.
또한, 디지털 기술이 발전하면서 엄청난 양의 디지털 멀티미디어 데이터가 손쉽게 이용 가능해졌다. 디지털 정보는 아날로그 정보와는 달리 품질의 손상이 없이 저렴한 비용으로 대량 복사될 수 있는 특징을 갖는다. 디지털 정보의 이러한 특징은 저작권 보호라는 관점에서 볼 때는 문제점이 될 수 있다. 디지털 콘텐츠에 대한 저작권 보호방안으로 논의되고 있는 기술 중 의 하나가 워터마킹(Digital Watermarking) 기술이다. 워터마킹 기법은 디지털 콘텐츠에 사용자의 ID(Identification)나 자신만의 정보를 삽입시킴으로써 디지털 콘텐츠의 불법적인 복제를 막고, 디지털 콘텐츠에 대한 저작권을 보호하며, 소유권을 주장할 수 있는 근거를 제시할 수 있도록 하는 기술이다.
위와 같이, 비디오 색인을 위해, 또는 워터마크의 삽입을 위해 비디오 스트림에서 장면 전환(scene cut)을 찾는 것은 매우 중요한 기술이다. 검출된 장면 전환 이미지는 비디오 색인시 해당 비디오를 대표하는 이미지가 될 수 있고, 또는 워터마크 삽입의 대상이 될 수 있기 때문이다.
다만, 종래의 장면 전환 부분을 검색하는 방법은 화소값의 차이를 이용하는 방법, 윤곽석의 변화를 이용하는 방법 등이 존재하는데, 이러한 방법은 하나의 알고리즘을 이용하여 장면 전환 부분을 검출하기에 그 정확도가 떨어지는 문제점이 존재하고, 서로 다른 코덱(codec)을 통해 부복호화되는 비디오에 적합하지 않다는 문제점이 존재한다.
상술한 문제점을 해결하기 위한 본 발명의 목적은 소정 프레임 간격으로 적절한 크기로 선택된 단위 영상에 대해 누적하여 복수 개의 코덱 또는 장면전환 검출 알고리즘을 병렬로 사용하면서 획득된 후보 장면전환 프레임에 대해 히스토그램 분석을 수행하여 장면 전환 프레임 검출의 정확도를 향상시킬 수 있는 장면 전환 프레임 검출 장치 및 방법을 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 장면 전환 프레임을 검출하기 위한 장치는 입력되는 영상을 h개 프레임 간격으로 쉬프트(shift)하면서 n개 프레임 단위로 선택하는 영상 선택부, 상기 선택된 n개 프레임 단위의 영상을 복수 개의 코덱(codec) 및 장면 전환 검출 알고리즘 중 적어도 하나를 사용하여 후보 프레임을 추출하는 후보 프레임 검출부 및 상기 검출된 후보 프레임을 기반으로 히스토그램 분석하여 임계값보다 높은 카운트 값을 가진 프레임을 최종 장면전환 프레임으로 검출하는 최종 프레임 검출부를 포함하되, 상기 h와 n은 0보다 큰 실수이면서 h는 n보다 작은 값을 가질 수 있다.
상기 후보 프레임 검출부는, 상기 선택된 n개 프레임 단위의 영상에 대해 코덱 또는 장면 전환 검출 알고리즘을 사용하여 후보 장면전환 프레임을 추출하는 복수 개의 프레임 추출부 및 상기 복수 개의 후보 장면전환 프레임에 가중치를 적용하여 후보 장면전환 프레임 값을 추출하는 가중치 연산부를 포함할 수 있다.
상기 프레임 추출부는 복수 개의 코덱 및 상기 코덱을 통해 추출된 I 프레임 위치, 및 B 또는 P 프레임의 인트라(intra) 영역을 기반으로 후보 장면전환 프레임을 추출하는 제 1 모드 및 복수 개의 장면전환 검출 알고리즘을 사용하여 상기 후보 장면전환 프레임을 추출하는 제 2 모드 중 적어도 하나를 기반으로 동작할 수 있다.
상기 제 1 모드에서, 상기 후보 프레임 검출부는 상기 선택된 n개 프레임 단위의 영상에 대해 부호화 또는 복호화를 수행하는 복수 개의 코덱, 상기 복수 개의 코덱의 부호화 또는 복호화 결과에 따라 상기 n개 프레임 단위의 영상 중 I 프레임 위치, 및 B 또는 P 프레임의 인트라(intra) 영역 중 적어도 하나를 검출하는 I 프레임 및 인트라 영역 검출부 및 상기 검출된 I 프레임 및 상기 B 또는 P 프레임의 인트라(intra) 영역 중 적어도 하나를 기반으로 후보 장면전환 프레임을 선택하는 후보 선택부를 포함할 수 있다.
상기 후보 선택부는, 상기 검출된 I 프레임은 바로 제 1 후보 장면전환 프레임으로 선택하고, 상기 B 또는 P 프레임의 인트라 영역이 해당 프레임에서 차지하는 비율을 기반으로 후보 장면전환 프레임을 선택할 수 있다.
상기 복수 개의 코덱 각각은 복수 개의 서로 다른 비트율의 코덱을 포함하되, 상기 복수 개의 코덱이 병렬로 서로 다른 비트율로 구동되어 각각 I 프레임 및 상기 인트라 영역 중 적어도 하나를 검출할 수 있다.
상기 I 프레임 및 인트라 영역 검출부는 상기 n개 프레임 단위에서 최초 프레임을 제외한 두 번째 프레임부터 I 프레임의 위치 또는 인트라 영역을 검출 대상으로 채택할 수 있다.
상기 복수 개의 코덱은 HEVC(High Efficiency Video Coding) 코덱, AVC(Advanced Video Coding) 및 WebM 코덱을 포함할 수 있다.
상기 최종 프레임 검출부는 상기 복수 개의 코덱 또는 장면 전환 검출 알고리즘 중 적어도 하나를 통해 검출된 후보 장면전환 프레임 값을 입력받는 입력부, 상기 후보 장면 전환 프레임 값을 히스토그램 분석하여 카운트 값을 누적시키는 카운트 값 누적부 및 상기 누적된 카운트 값이 (i) 임계값보다 높은지 판단하여 또는 (ii) 상위 m개 - m은 자연수임 - 의 프레임을 기반으로 최종 장면전환 프레임을 검출하는 프레임 검출부를 포함할 수 있다.
상기 장면 전환 프레임 검출 장치는 상기 검출된 최종 장면전환 프레임에 부가데이터를 삽입하는 부가 데이터 삽입부를 더 포함할 수 있다.
상기 h 값은 가변되는 값일 수 있다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 장면 전환 프레임을 검출하기 위한 방법은 영상 프레임을 입력받는 단계, 입력되는 영상을 h개 프레임 간격으로 쉬프트(shift)하면서 n개 프레임 단위로 선택하는 단계, 상기 선택된 n개 프레임 단위의 영상을 복수 개의 코덱(codec) 및 장면 전환 검출 알고리즘 중 적어도 하나를 사용하여 후보 장면전환 프레임을 검출하는 단계 및 상기 검출된 후보 프레임을 기반으로 히스토그램 분석하여 임계값보다 높은 카운트 값을 가진 프레임을 최종 장면전환 프레임으로 검출하는 단계를 포함하되, 상기 h와 n은 0보다 큰 실수이면서 h는 n보다 작은 값을 가질 수 있다.
상기 후보 장면전환 프레임을 검출하는 단계는, 복수 개의 프레임 추출부에서 상기 선택된 n개 프레임 단위의 영상에 대해 코덱 또는 장면 전환 검출 알고리즘을 사용하여 후보 장면전환 프레임을 추출하는 단계 및 상기 복수 개의 후보 장면전환 프레임에 가중치를 적용하여 후보 장면전환 프레임 값을 추출하는 단계를 포함할 수 있다.
상기 후보 장면전환 프레임을 추출하는 단계는 복수 개의 코덱 및 상기 코덱을 통해 추출된 I 프레임 위치, 및 B 또는 P 프레임의 인트라(intra) 영역을 기반으로 후보 장면전환 프레임을 추출하는 제 1 모드 및 복수 개의 장면전환 검출 알고리즘을 사용하여 상기 후보 장면전환 프레임을 추출하는 제 2 모드 중 적어도 하나를 기반으로 동작하는 단계를 포함할 수 있다.
상기 제 1 모드에서, 상기 후보 장면전환 프레임을 추출하는 단계는 복수 개의 코덱에서 상기 선택된 n개 프레임 단위의 영상에 대해 부호화 또는 복호화를 수행하는 단계, 상기 복수 개의 코덱의 부호화 또는 복호화 결과에 따라 상기 n개 프레임 단위의 영상 중 I 프레임 위치, 및 B 또는 P 프레임의 인트라(intra) 영역 중 적어도 하나를 검출하는 단계 및 상기 검출된 I 프레임 및 상기 B 또는 P 프레임의 인트라(intra) 영역 중 적어도 하나를 기반으로 후보 장면전환 프레임을 선택하는 단계를 포함할 수 있다.
상기 후보 장면전환 프레임을 선택하는 단계는 상기 검출된 I 프레임은 바로 제 1 후보 장면전환 프레임으로 선택하는 단계 및 상기 B 또는 P 프레임의 인트라 영역이 해당 프레임에서 차지하는 비율을 기반으로 제 1 후보 장면전환 프레임을 선택하는 단계 중 적어도 하나를 포함할 수 있다.
상기 복수 개의 코덱 각각은 복수 개의 서로 다른 비트율의 코덱을 포함하되, 상기 복수 개의 코덱이 병렬로 서로 다른 비트율로 구동되어 각각 I 프레임 및 상기 인트라 영역 중 적어도 하나를 검출할 수 있다.
상기 I 프레임 위치, 및 B 또는 P 프레임의 인트라(intra) 영역 중 적어도 하나를 검출하는 단계는 상기 n개 프레임 단위에서 최초 프레임을 제외한 두 번째 프레임부터 I 프레임의 위치 또는 인트라 영역을 검출 대상으로 채택하는 단계를 포함할 수 있다.
상기 복수 개의 코덱은 HEVC(High Efficiency Video Coding) 코덱, AVC(Advanced Video Coding) 및 WebM 코덱을 포함할 수 있다.
상기 최종 장면전환 프레임으로 검출하는 단계는 상기 복수 개의 코덱 또는 장면 전환 검출 알고리즘 중 적어도 하나를 통해 추출된 후보 장면전환 프레임 값을 입력받는 단계, 상기 후보 장면 전환 프레임 값을 히스토그램 분석하여 카운트 값을 누적시키는 단계 및 상기 누적된 카운트 값이 (i) 임계값보다 높은지 판단하여 또는 (ii) 상위 m개 - m은 자연수임 - 의 프레임을 기반으로 최종 장면전환 프레임을 검출하는 단계를 포함할 수 있다.
상기 장면 전환 프레임 검출 방법은 상기 검출된 최종 장면전환 프레임에 부가데이터를 삽입하는 단계를 더 포함할 수 있다.
상기 h 값은 가변되는 값일 수 있다.
본 발명의 장면 전환 프레임 검출 장치 및 방법에 따르면, 하나의 코덱 또는 장면 전환 검출 알고리즘을 사용하는 것이 아니라 복수 개의 코덱 또는 장면 전환 검출 알고리즘을 소정 단위의 영상 프레임에 중복되게 적용하여, 그 결과로 나온 후보 장면 전환 프레임에 대해 히스토그램 분석을 수행함으로써 장면 전환 프레임 검출의 정밀도를 향상시키는 효과가 있다.
또한, 본 발명의 장면 전환 프레임 검출 장치 및 방법에 따르면, 검출된 장면 전환 프레임에 워터마크를 삽입하여 보안 효율성을 향상시키고 워터마크 강도의 효율을 향상시키는 효과가 있다.
더욱이, 본 발명의 장면 전환 프레임 검출 장치 및 방법에 따르면, 검출된 장면 전환 프레임을 특정 비디오의 색인으로 사용하여 해당 비디오 섹션의 대표 이미지를 적절하게 추출하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 장면 전환 프레임 검출 장치의 구조를 개략적으로 나타낸 도면,
도 2는 영상 선택부가 소정 단위의 영상 프레임을 선택하는 과정을 설명하기위한 개념도,
도 3은 후보 프레임 검출부의 구성을 구체적으로 나타낸 상세블록도,
도 4는 후보 장면 전환 프레임을 검출하기 위한 영역을 나타낸 도면,
도 5는 최종 프레임 검출부의 구성을 구체적으로 나타낸 상세블록도,
도 6은 히스토그램 분석 결과를 나타낸 도면,
도 7은 검출된 장면 전환 프레임을 이용하여 부가데이터를 삽입하는 개념을 설명하기 위한 개념도,
도 8은 본 발명의 일 실시예에 따른 장면 전환 프레임 검출 방법을 개략적으로 나타낸 흐름도이다.
도 2는 영상 선택부가 소정 단위의 영상 프레임을 선택하는 과정을 설명하기위한 개념도,
도 3은 후보 프레임 검출부의 구성을 구체적으로 나타낸 상세블록도,
도 4는 후보 장면 전환 프레임을 검출하기 위한 영역을 나타낸 도면,
도 5는 최종 프레임 검출부의 구성을 구체적으로 나타낸 상세블록도,
도 6은 히스토그램 분석 결과를 나타낸 도면,
도 7은 검출된 장면 전환 프레임을 이용하여 부가데이터를 삽입하는 개념을 설명하기 위한 개념도,
도 8은 본 발명의 일 실시예에 따른 장면 전환 프레임 검출 방법을 개략적으로 나타낸 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
장면 전환 프레임 검출 장치의 구성
도 1은 본 발명의 일 실시예에 따른 장면 전환 프레임 검출 장치의 구조를 개략적으로 나타낸 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 장면 전환 프레임 검출 장치는 영상 선택부(110), 후보 프레임 검출부(120), 최종 프레임 검출부(130), 부가 데이터 삽입부(140)를 포함할 수 있다. 각각의 구성요소는 하나의 하드웨어 프로세서로 구현될 수도 있고, 복수 개의 구성요소가 하나의 프로세서로 통합 구현될 수도 있다. 또한, 각 구성요소와 관련된 명령어 또는 데이터는 프로세서와 연결된 메모리(미도시)에 저장되어 프로세서에 관련 데이터를 제공할 수 있다.
도 1을 참조하면, 장면 전환 검출 장치는 동영상 비트스트림을 입력으로 받아 비트스트림 내의 장면 전환 프레임을 검출할 수 있다. 장면 전환 검출 장치는 방송 스트림을 송출하는 방송 서버 장치, 동영상 스트림을 인코딩하는 인코더, VOD 스트림을 전송 또는 스트리밍하는 서버 장치 등일 수 있다. 이하, 장면 전환 검출 장치의 각각의 구성요소를 구체적으로 살펴본다.
영상 선택부(110)는 입력되는 동영상 스트림을 입력받아 특정 단위로 분할하여 선택할 수 있다. 영상 선택부(110)는 h개 프레임 간격으로 쉬프트(shift)하면서 특정 크기의 단위 프레임을 선택하여 선택된 프레임에 대해 후보 장면 전환 프레임을 검출하도록 후보 프레임 검출부(120)로 전송한다. 이때, 단위 프레임은 n개 프레임으로 설정할 수 있다. 여기서, n과 h는 모두 0보다 큰 실수이다. 또한, h는 n보다 작은 값일 수 있다.
분할된 단위 영상 프레임은 후보 프레임 검출부(120)로 제공된다. 후보 프레임 검출부(120)는 복수 개의 프레임 추출부(122)와 그에 연결된 가중치 연산부(124)를 포함할 수 있다. 각각의 프레임 추출부(122)는 영상 선택부(110)에서 분할 선택된 단위 영상 프레임을 수신하여 각 단위 영상에서의 후보 장면 전환 프레임을 추출한다. 프레임 추출부(122)는 복수 개의 코덱(부호화/복호화부)를 포함할 수 있다. 또는, 프레임 추출부(122)는 복수 개의 장면 전환 검출 알고리즘 실행부를 포함할 수 있다. 또는, 코덱과 장면 전환 검출 알고리즘 실행부의 조합일 수 있다.
프레임 추출부(122)를 통해 해당 단위 영상 내의 장면 전환 프레임 후보를 찾는다. 여기서 후보 프레임 또는 후보 장면 전환 프레임은 최종적으로 장면 전환 프레임으로 검출된 것은 아니지만, 가중치 연산 또는 기타 다른 알고리즘(예컨대, 히스토그램 분석 등)에 의해 최종 장면 전환 프레임으로 채택될 가능성이 높은 프레임을 말한다. 후보 장면 전환 프레임은 선택된 영상에서 복수 개 검출될 수 있다. 또한, 후보 장면 전환 프레임의 속성 또한 서로 다를 수 있다. 예컨대, 하나는 I 프레임(Intra frame)일 수 있고, 다른 것은 P 프레임(Predictive-coded picture) 또는 B 프레임(Bidirectional-coded picture) 중 인트라 영역의 비율이 일정 임계값 이상 높은 프레임일 수 있다. 여기서, I 프레임은 인트라 예측을 통해 다른 프레임을 참조하지 않고 복호화되는 프레임을 의미하고, P 프레임은 단방향 픽처를 참조하는 프레임 및 B 프레임은 양 방향의 픽처를 참조하는 프레임일 수 있다. 또한, 프레임 추출부(122)가 코덱이 아닌 장면 전환 검출 알고리즘 실행부인 경우, 해당 알고리즘을 통해 검출되는 프레임이 바로 후보 장면 전환 프레임이 될 수 있다.
프레임 추출부(122)는 h 값이 n보다 작아 단위 영상 중 일부가 중복되는 경우, 중복된 단위 영상 부분에 대해 후보 장면 전환 프레임을 추출할 수 있다.
프레임 추출부(122)는 각각의 입력되는 프레임에 대해 프레임 시간 정보 또는 프레임 인덱스 정보를 소정 메모리(예컨대, 프레임 버퍼)로부터 수신할 수 있다. 그리고는, 후보 장면 전환 프레임을 앞서 설명한 코덱 또는 장면 전환 검출 알고리즘을 통해 추출한 후, 후보 장면전환 프레임인지 아닌지에 대한 플래그를 부여하거나 또는 후보 장면 전환 프레임으로 선택된 프레임의 시간 정보 또는 인덱스를 타임라인에 표시하여 식별할 수 있다. 위와 같은 방법을 통해, 다른 구성요소와 후보 장면 전환 프레임에 대한 식별 정보를 공유할 수 있다.
가중치 연산부(124)는 프레임 추출부(122)를 통해 선택된 후보 장면 전환 프레임에 대해 적절한 가중치를 곱한다. 가중치 값은 각각의 프레임 연산부(124)에 부여될 수 있고, 가중치 연산된 후보 장면 전환 프레임의 값을 최종 프레임 검출부(130)로 제공한다.
최종 프레임 검출부(130)는 가중치 연산된 후보 장면 전환 프레임에 대한 값을 기반으로 히스토그램 분석을 수행하여 임계값보다 높은 카운트 값을 갖는 후보 프레임을 최종 장면전환 프레임으로 검출할 수 있다. 여기서, 히스토그램 분석은 가중치 연산된 값의 합계(summation)를 구하는 연산일 수 있다. 그리고는, 최종 프레임 검출부(130)는 최종 장면 번환 프레임에 장면 전환 프레임임을 식별할 수 있도록 플래그를 부여하거나 또는 최종 장면 전환 프레임의 인덱스 값을 기록하여 추후 다른 장치에서도 식별된 장면 전환 프레임을 바로 인식할 수 있도록 할 수 있다.
부가 데이터 삽입부(140)는 최종 프레임 검출부(130)에서 최종적으로 장면 전환 프레임이라고 판단된 프레임에 워터마크와 같은 부가 데이터를 삽입할 수 있다.
영상 프레임의 선택
도 2는 영상 선택부가 소정 단위의 영상 프레임을 선택하는 과정을 설명하기위한 개념도이다.
도 2를 참조하면, 영상 선택부는 입력되는 비트스트림을 n개 단위로 분할하여 후보 프레임 추출부로 제공한다. 여기서, 영상 선택부는 영상을 h개 프레임만큼 쉬프트시키는 구성 및 쉬프트된 구간의 앞에서부터 n개 프레임만큼만 선택하는 구성을 포함할 수 있다.
본 발명의 실시예에 있어서, 영상 선택부가 0 프레임부터 1000 프레임까지의 비트스트림을 분할할 수 있다. 여기서, 50 fps의 속도를 가지고 부복호화가 된다고 하면, 위 1000프레임은 20초의 시간 구간을 가질 수 있고, 프레임은 각각의 시간 정보를 가질 수 있다. 이때, 비트스트림의 최초 부분인 0 프레임에 대해 시간적으로 h개 프레임을 앞당겨 선택할 수 있다. 즉, 개념상 (0-h) 프레임부터 n개 프레임을 분할 및 선택하여 후보 프레임 검출부로 제공할 수 있다.
이후부터, 영상 선택부는 입력되는 프레임을 h개 프레임을 넘겨서, 이후 구간에 대해 다시 n개 프레임을 분할 및 선택하여 후보 프레임 검출부로 제공한다. 이러한 과정을 반복 수행하여 1000 프레임이 될 때까지 진행한다. 비트스트림의 종단 부분에서도 역시, h 간격으로 넘기는 부분을 통해 1000 프레임을 넘어가도록 n개 단위 영상을 선택하여 빠짐없이 비트스트림 내 영상 프레임이 선택될 수 있도록 할 수 있다.
본 발명의 실시예에 따르면, h는 n보다 작은 값인 것이 바람직하다. h 값이 n보다 크면, n 값을 넘는 h 값만큼 다음 영상 선택시 프레임 쉬프트되기 때문에, 비트스트림의 일부 프레임이 선택되지 않을 수 있고, h와 n의 값이 같으면 중복되는 부분이 존재하지 않기에, 추출되지 못하는 장면 전환 프레임이 존재할 수 있다. 예컨대, GOP 단위에서 프레임이 분할되는 경우, 다음 단위 영상의 최초 프레임은 검출 대상에서 제외될 수 있기에, 장면 전환 프레임인데도 불구하고, 검출되지 않는 경우가 존재할 수 있다. 이를 방지하기 위해, 본 발명은 중복되는 프레임이 존재하도록, 즉, n 값보다 h 값이 작게 설계할 수 있고, 이를 하나의 코덱 또는 장면 전환 검출 알고리즘에 의존하는 것이 아니라 복수 개의 코덱 또는 알고리즘에 의존하여 장면 전화 부분을 검출하도록 할 수 있다.
따라서, 분할 및 선택되는 단위 영상은 적어도 하나의 프레임에 대해 중복될 수 있도록 하는 것이 바람직할 수 있다. 이러한 h와 n의 값은 사용자 설정을 통해 정의될 수 있다. 이는 사용자 인터페이스(미도시)를 통해 추후 사용자 임의로 언제든지 변경가능하다. 예컨대, n의 값은 60, 120, 240... 등의 값을 가질 수 있다. h의 값은 10, 20, 7.5...등의 값을 가질 수 있다. 경우에 따라 h의 값은 프레임 단위가 아닌 시간 단위로 설정되어, 50 fps에서, 0.2초, 0.4초, 0.15초 등으로 설정될 수 있다. 즉, h와 n의 단위가 반드시 같아야 하는 것은 아니다.
본 발명의 실시예에 따르면, n의 값은 특정 GOP 단위를 나타내는 값일 수 있다. 다만, 이 경우에도 h 값은 GOP 값과 다른 값을 갖는 것이 바람직하다.
장면 전환 프레임 후보 선정
도 3은 후보 프레임 검출부의 구성을 구체적으로 나타낸 상세블록도이다. 도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 후보 프레임 검출부는 복수 개의 프레임 추출부(310-1~310-N), 가중치 연산부(320-1~320-N)를 포함할 수 있다.
도 3을 참조하면, 복수 개의 프레임 추출부(310-1~310-N)는 두 가지 모드로 운영될 수 있다. 하나는 코덱 알고리즘을 이용하는 것이고, 다른 하나는 장면 전환 검출 알고리즘을 이용하는 것이다.
코덱 알고리즘을 이용하는 경우, 프레임 추출부(310-1~310-N)는 복수 개의 코덱(312-1, 312-2), I 프레임 및 인트라 영역 검출부(314-1, 314-2) 및 후보 선택부(316-1, 316-2)을 포함할 수 있다. 복수 개의 코덱(312-1, 312-2)은 n개 프레임의 단위 영상을 수신하여 각자의 방식으로 부복호화를 수행한다. 본 발명의 실시예에 따르면, 코덱(312-1, 312-2)은 HEVC(High Efficiency Video Coding: H.265), AVC(Advanced Video Coding: H.264), H.263, H.262, H.261, MPEG-1, MPEG-2, MPEG-4, WebM 코덱, VC-1, VP46, VP7, WMV, AMV, AVS 등을 포함할 수 있다. 이때, 하나의 코덱(310-1, 301-2)은 서로 다른 복수 개의 비트레이트를 가지고 부복호화를 수행할 수 있다.
I 프레임 및 인트라 영역 검출부(314-1, 314-2)는 코덱(312-1, 312-2)의 각 비트레이트에 따른 부호화 또는 복호화 결과에 따라 n개 프레임 단위 영상 중 I 프레임의 위치, 및 인트라 영역 중 적어도 하나를 검출할 수 있다. 여기서, 인트라 영역은 B 또는 P 프레임의 인트라 부호화 또는 복호화 영역을 의미할 수 있다. 예컨대, I 프레임 및 인트라 영역 검출부(314-1)는 HEVC 코덱(312-1)의 500kbps의 부호화 또는 복호화 결과를 수신하여, 해당 단위 프레임 중 적어도 하나의 프레임이 I 프레임으로 부호화 또는 복호화되는 경우, 이를 검출하여 후보 선택부(316-1)로 전송할 수 있다. 또한, P 또는 B 프레임에서의 인트라 부호화 또는 복호화된 영역을 검출하여 후보 선택부(316-1)로 전송할 수 있다.
후보 선택부(316-1, 316-2)는 I 프레임 및 인트라 영역 검출부(314-1, 314-2)로부터 I 프레임 관련 정보(예컨대, 프레임 식별 정보(시간 정보, 인덱스 정보 등)) 및 B 또는 P 프레임의 인트라 영역 정보 중 적어도 하나를 수신하여, 최종적으로 후보 장면 전환 프레임으로 선정할지를 결정한다. 후보 선택부(316-1, 316-2)는 I 프레임의 경우 바로 후보로 선정하고, B 또는 P 프레임의 경우, 해당 프레임의 인트라 영역 정보로부터 인트라 블럭이 해당 프레임에서 차지하는 비율을 산출하여 그 비율이 특정 임계값 이상인지 판단한다. 특정 임계값 이상인 경우, 해당 프레임을 후보로 선정할 수 있다. 여기서, 임계값은 사용자 설정을 통해 정의될 수 있고, 사용자 인터페이스를 통해 임의로 변경할 수 있다.
이러한 코덱을 이용하여 후보를 선정하는 과정을 통해 최종 선택된 후보 장면 전환 프레임은 가중치 연산부(320-1, 320-2)를 통해 가중치가 곱하여져서 최종 프레임 검출부로 연산된 값이 제공될 수 있다.
장면 전환 검출 알고리즘을 이용하는 경우, 장면 전환 검출 알고리즘 실행부(330)는 복수 개의 장면 전환 검출 알고리즘을 통해 직접 후보 장면 전환 프레임을 검출한다. 즉, 코덱을 이용하는 경우와 같이, I 프레임인지 여부, 인트라 영역의 비율 등을 확인할 필요 없이, 바로 후보를 선정할 수 있고, 이렇게 선정된 후보 장면 전환 프레임은 가중치 연산부(320-N)에서 바로 가중치가 적용되어 최종 프레임 검출부로 전달될 수 있다.
본 발명의 실시예에 따르면, 장면 전환 검출 알고리즘은 화소값의 차이를 이용하는 방법(Template matching), 히스토그램의 차이를 이용한 방법, 윤곽선(edge)의 변화를 이용한 방법, 블록 매칭을 이용한 방법 등이 있다.
화소값의 차이를 이용하는 방법(Template matching)은 시간적으로 서로 인접한 두 프레임 간에 동일한 공간적 위치를 가지는 두 화소값의 차이를 구하여, 그것을 장면전환을 검출하기 위한 척도로 이용하는 것이다. 히스토그램의 차이를 이용한 방법(Histogram comparison)은 한 영상 내에서의 밝기 성분이나, 색깔 성분 등을 히스토그램으로 표현하고, 이 프레임간의 히스토그램 차이를 이용하는 방법이다. 윤곽선(edge)의 변화를 이용한 방법은 영상 내에 있는 물체의 윤곽선을 검출해내고, 이 윤곽선의 변화를 이용하여 장면전환을 검출한다. 장면전환이 일어나지 않으면, 현재의 윤곽선의 위치와 이전 프레임의 윤곽선의 위치가 비슷하지만, 장면전환이 일어나게 되면, 현재의 윤곽선의 위치는 이전 프레임의 윤곽선의 위치와 다르게 된다. 블록 매칭을 이용한 방법은 인접한 두 프레임간에 비슷한 블록을 찾아내는 블록 매칭을 이용하여 장면전환을 검출하는 척도로 사용하여, 먼저 영상을 서로 겹치지 않는 여러 개의 블록으로 나누고, 각 블록에 대하여 이전 프레임에서 가장 비슷한 블록을 찾아낸다. 그리고, 찾아낸 가장 비슷한 블록과의 차이 정도를 0∼1 사이의 값으로 표현한 후, 이 값들을 비선형적인 필터를 거쳐서 프레임간의 차이값을 생성해내고, 그 값을 이용하여 장면전환의 여부를 결정하는 방법이다.
가중치 연산부(320-1~320-N)는 각각의 코덱 또는 특정 비트레이트에 따른 부복호화 결과, 및/또는 각 장면 전환 검출 알고리즘에 대해 가중치가 할당되어 해당 가중치를 후보 프레임에 곱하여 특정 후보 프레임에 대한 가중치 연산 값을 최종 프레임 검출부로 전송한다. 이때, 가중치 값은 사용자가 선택적으로 할당할 수 있다. 바람직하게는, 가중치는 정확도가 높은 코덱(코덱의 비트레이트) 또는 장면 검출 알고리즘에 보다 높은 가중치를 부여하는 방식으로 할당될 수 있다.
도 4는 후보 장면 전환 프레임을 검출하기 위한 영역을 나타낸 도면이다.
도 4를 참조하면, 후보 프레임 검출부는 n개 프레임 단위의 영상이 들어오면, 최초 프레임은 제외하고 이후 프레임, 즉, 두번째 프레임부터 후보 장면 전환 프레임 검출 대상으로 채택할 수 있다. 다시 말해, 첫 번째 프레임을 제외한 두 번째 프레임부터 I 프레임의 위치, 인트라 영역의 위치 등을 뽑아낼 수 있다.
장면 전환 프레임의 최종 검출
도 5는 최종 프레임 검출부의 구성을 구체적으로 나타낸 상세블록도이다. 도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 최종 프레임 검출부(500)는 입력부(510), 카운트 값 누적부(520) 및 프레임 검출부(530)를 포함할 수 있다.
도 5를 참조하면, 입력부(510)는 가중치 연산부를 통해 후보 장면 전환 프레임에 가중치가 곱해진 값을 수신한다.
그리고는, 카운트 값 누적부(510)는 각각의 코덱(또는 코덱 내 비트 레이트) 및/또는 장면 전환 검출 알고리즘을 통해 선정된 후보와 해당 코덱 또는 알고리즘에 할당된 가중치를 곱한 값을 입력부(510)로부터 전달받아, 프레임 별로 히스토그램 분석을 수행한다. 히스토그램 분석은 프레임 축을 이용하여 각 프레임에 대해 산출된 가중치 값을 모두 누적하여 카운트 값을 산출하는 방식으로 수행된다. 카운트 값은 개별 프레임별로 산출되고, 이렇게 산출된 카운트 값은 프레임 검출부(530)로 제공된다.
프레임 검출부(530)는 각 프레임별로 산출된 카운트 값을 기반으로 임계값을 적용하여 특정 프레임 구간 내의 상위 60%로 하여 이에 해당하는 프레임을 최종 장면 전환 프레임으로 검출할 수 있다. 또는 임계값을 50과 같은 특정 카운트 값으로 정하여 이보다 높은 카운트 값는 갖는 프레임을 최종 장면 전환 프레임으로 검출할 수 있다. 이때, 임계값은 사용자 설정을 통해 정의할 수 있다.
도 6은 히스토그램 분석 결과를 나타낸 도면이다.
도 6의 실시예는 0부터 1000 프레임까지의 1000개의 프레임에 대한 가중치 연산 결과를 히스토그램으로 뽑은 내역일 수 있다. 여기서, 임계값은 20으로 정하면, 20보다 높은 카운트 값을 갖는 프레임(도면에서는 '○' 표시를 해 놓음)을 최종 장면 전환 프레임으로 보고 검출할 수 있다. 이때, 임계값은 반드시 20으로 하나의 카운트 값으로 고정되어야만 하는 것은 아니고, 사용자 인터페이스를 통해 임의로 변경가능하다. 또한, 특정 카운트 값을 임계값으로 정하지 않고, 상위 몇 %와 같이 특정 구간 내의 상위 카운트 값을 갖는 프레임을 최종 장면 전환 프레임으로 검출할 수도 있다.
본 발명의 실시예에 따르면, 이렇게 검출된 최종 장면 전환 프레임에는 이를 식별하기 위한 플래그가 할당되거나 또는 이러한 프레임을 관리하기 위한 테이블 또는 기타 다른 데이터 저장 수단을 통해 위 프레임 인덱스 정보(또는 시간 정보)를 기록해놓을 수 있다. 이는 부가 데이터 삽입부로 제공될 수 있다.
부가데이터의 삽입
도 7은 검출된 장면 전환 프레임을 이용하여 부가데이터를 삽입하는 개념을 설명하기 위한 개념도이다.
도 7을 참조하면, 원본 비트스트림에 대해 본 발명의 일 실시예에 따른 장면 전환 프레임 검출 방법을 적용한 결과, 복수 개의 장면 전환 프레임을 검출할 수 있다. 도 7의 실시예에선 5개의 장면 전환 프레임이 존재하고, 이를 바탕으로 6개의 장면(장면 1(S1), 장면 2(S2), 장면 3(S3), 장면 4(S4), 장면 5(S5), 및 장면 6(S6))으로 원본 비트스트림을 분할할 수 있다.
부가 데이터 삽입부는 워터마크와 같은 부가데이터를 각각의 장면 전환 프레임에 삽입할 수 있다. 즉, 도 7의 실시예에서는 5개의 장면 전환 부분, 예컨대, 장면 2(S2)로 전환되는 프레임, 장면 2(S2)로 전환되는 프레임, 장면 3(S3)으로 전환되는 프레임, 장면 4(S4)로 전환되는 프레임, 장면 5(S5)로 전환되는 프레임, 및 장면 6(S6)으로 전환되는 프레임에 부가 데이터가 삽입될 수 있다. 또는 장면 전환 후 프레임에도 부가 데이터를 삽입할 수 있다.
또는, 본 발명의 다른 실시예에 따르면, 장면 전환 프레임을 기반으로 해당 장면(예컨대, 장면 2(S2))의 식별을 위한 대표 프레임(키 프레임)을 선택할 수 있다.
부가 데이터 삽입을 위한 구성(예컨대, 부가 데이터 삽입부) 또는 대표 프레임 선택을 위한 구성은 장면 전환 프레임에 대한 식별 정보를 최종 프레임 검출부로부터 플래그 또는 인덱스 정보를 기반으로 파악할 수 있다.
장면 전환 프레임 검출 방법
도 8은 본 발명의 일 실시예에 따른 장면 전환 프레임 검출 방법을 개략적으로 나타낸 흐름도이다.
도 8을 참조하면, 장면 전환 검출 장치는 동영상 비트스트림을 입력받는다(S810).
그리고는, 장면 전환 검출 장치는 입력되는 동영상 스트림을 입력받아 h개 프레임 간격으로 쉬프트(shift)하면서 특정 단위(예컨대, n개 프레임 단위)로 분할하여 선택할 수 있다(S820). 이때, 선택되는 프레임의 단위를 나타내는 n과 쉬프트되는 프레임의 간격을 나타내는 h는 모두 0보다 큰 실수이다. 또한, h는 n보다 작은 값일 수 있다. 분할된 단위 영상 프레임은 후보 프레임 검출부로 제공된다.
후보 프레임 검출부는 분할 선택된 단위 영상 프레임을 수신하여 복수 개의 코덱 및 장면 전환 검출 알고리즘 중 적어도 하나를 이용함으로써 각 단위 영상에서의 후보 장면 전환 프레임을 추출한다(S830). 먼저, 후보 프레임 검출부는 해당 단위 영상 내의 장면 전환 프레임 후보를 찾는다. 후보 장면 전환 프레임은 선택된 영상에서 복수 개 검출될 수 있다. 또한, 후보 장면 전환 프레임의 속성 또한 서로 다를 수 있다. 예컨대, 하나는 I 프레임(Intra frame)일 수 있고, 다른 것은 P 프레임 또는 B 프레임 중 인트라 영역의 비율이 일정 임계값 이상 높은 프레임일 수 있다. 또한, 장면 전환 검출 알고리즘을 통해 검출되는 프레임을 바로 후보 장면 전환 프레임으로 추출할 수 있다. 후보 프레임 검출부는 h 값이 n보다 작아 단위 영상 중 일부가 중복되는 경우, 중복된 단위 영상 부분에 대해 후보 장면 전환 프레임을 추출할 수 있다. 후보 프레임 검출부는 각각의 입력되는 프레임에 대해 프레임 시간 정보 또는 프레임 인덱스 정보를 소정 메모리로부터 수신하여, 후보 장면전환 프레임인지 아닌지에 대한 플래그를 부여하거나 또는 후보 장면 전환 프레임으로 선택된 프레임의 시간 정보 또는 인덱스를 타임라인에 표시하여 다른 구성요소에서 후보 장면 전환 프레임을 식별하도록 할 수 있다.
후보 장면 전환 프레임이 검출되면, 가중치 연산부는 선택된 후보 장면 전환 프레임에 대해 적절한 가중치를 곱한다. 가중치 값은 각각의 프레임 연산부에 부여될 수 있고, 가중치 연산된 후보 장면 전환 프레임의 값을 최종 프레임 검출부로 제공한다.
최종 프레임 검출부는 가중치 연산된 후보 장면 전환 프레임에 대한 값을 기반으로 히스토그램 분석을 수행하여 임계값보다 높은 카운트 값을 갖는 후보 프레임을 최종 장면전환 프레임으로 검출할 수 있다(S840). 여기서, 히스토그램 분석은 가중치 연산된 값의 합계(summation)를 구하는 연산일 수 있다. 그리고는, 최종 프레임 검출부는 최종 장면 번환 프레임에 장면 전환 프레임임을 식별할 수 있도록 플래그를 부여하거나 또는 최종 장면 전환 프레임의 인덱스 값을 기록하여 추후 다른 장치에서도 식별된 장면 전환 프레임을 바로 인식할 수 있도록 할 수 있다.
본 발명의 다른 실시예에 따르면, 부가 데이터 삽입부를 추가적으로 구비하여, 최종 프레임 검출부에서 최종적으로 장면 전환 프레임이라고 판단된 프레임에 워터마크와 같은 부가 데이터를 삽입할 수 있다.
이상 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
Claims (22)
- 장면 전환 프레임을 검출하기 위한 장치에 있어서,
입력되는 영상을 h개 프레임 간격으로 쉬프트(shift)하면서 n개 프레임 단위로 선택하는 영상 선택부;
상기 선택된 n개 프레임 단위의 영상을 복수 개의 코덱(codec) 및 장면 전환 검출 알고리즘 중 적어도 하나를 사용하여 후보 프레임을 추출하는 후보 프레임 검출부; 및
상기 검출된 후보 프레임을 기반으로 히스토그램 분석하여 임계값보다 높은 카운트 값을 가진 프레임을 최종 장면전환 프레임으로 검출하는 최종 프레임 검출부를 포함하되,
상기 h와 n은 0보다 큰 실수이면서 h는 n보다 작은 값을 갖는 것을 특징으로 하는 장면 전환 프레임 검출 장치. - 제 1 항에 있어서, 상기 후보 프레임 검출부는,
상기 선택된 n개 프레임 단위의 영상에 대해 코덱 또는 장면 전환 검출 알고리즘을 사용하여 후보 장면전환 프레임을 추출하는 복수 개의 프레임 추출부; 및
상기 복수 개의 후보 장면전환 프레임에 가중치를 적용하여 후보 장면전환 프레임 값을 추출하는 가중치 연산부를 포함하는 것을 특징으로 하는 장면 전환 프레임 검출 장치. - 제 2 항에 있어서, 상기 프레임 추출부는
복수 개의 코덱 및 상기 코덱을 통해 추출된 I 프레임 위치, 및 B 또는 P 프레임의 인트라(intra) 영역을 기반으로 후보 장면전환 프레임을 추출하는 제 1 모드; 및
복수 개의 장면전환 검출 알고리즘을 사용하여 상기 후보 장면전환 프레임을 추출하는 제 2 모드 중 적어도 하나를 기반으로 동작하는 것을 특징으로 하는 장면 전환 프레임 검출 장치. - 제 3 항에 있어서, 상기 제 1 모드에서, 상기 후보 프레임 검출부는
상기 선택된 n개 프레임 단위의 영상에 대해 부호화 또는 복호화를 수행하는 복수 개의 코덱;
상기 복수 개의 코덱의 부호화 또는 복호화 결과에 따라 상기 n개 프레임 단위의 영상 중 I 프레임 위치, 및 B 또는 P 프레임의 인트라(intra) 영역 중 적어도 하나를 검출하는 I 프레임 및 인트라 영역 검출부; 및
상기 검출된 I 프레임 및 상기 B 또는 P 프레임의 인트라(intra) 영역 중 적어도 하나를 기반으로 후보 장면전환 프레임을 선택하는 후보 선택부를 포함하는 것을 특징으로 하는 장면 전환 프레임 검출 장치. - 제 4 항에 있어서, 상기 후보 선택부는,
상기 검출된 I 프레임은 바로 제 1 후보 장면전환 프레임으로 선택하고,
상기 B 또는 P 프레임의 인트라 영역이 해당 프레임에서 차지하는 비율을 기반으로 후보 장면전환 프레임을 선택하는 것을 특징으로 하는 장면 전환 프레임 검출 장치. - 제 4 항에 있어서,
상기 복수 개의 코덱 각각은 복수 개의 서로 다른 비트율의 코덱을 포함하되,
상기 복수 개의 코덱이 병렬로 서로 다른 비트율로 구동되어 각각 I 프레임 및 상기 인트라 영역 중 적어도 하나를 검출하는 것을 특징으로 하는 장면 전환 프레임 검출 장치. - 제 4 항에 있어서,
상기 I 프레임 및 인트라 영역 검출부는 상기 n개 프레임 단위에서 최초 프레임을 제외한 두 번째 프레임부터 I 프레임의 위치 또는 인트라 영역을 검출 대상으로 채택하는 것을 특징으로 하는 장면 전환 프레임 검출 장치. - 제 1 항에 있어서,
상기 복수 개의 코덱은 HEVC(High Efficiency Video Coding) 코덱, AVC(Advanced Video Coding) 및 WebM 코덱을 포함하는 것을 특징으로 하는 장면 전환 프레임 검출 장치. - 제 1 항에 있어서, 상기 최종 프레임 검출부는
상기 복수 개의 코덱 또는 장면 전환 검출 알고리즘 중 적어도 하나를 통해 검출된 후보 장면전환 프레임 값을 입력받는 입력부;
상기 후보 장면 전환 프레임 값을 히스토그램 분석하여 카운트 값을 누적시키는 카운트 값 누적부; 및
상기 누적된 카운트 값이 (i) 임계값보다 높은지 판단하여 또는 (ii) 상위 m개 - m은 자연수임 - 의 프레임을 기반으로 최종 장면전환 프레임을 검출하는 프레임 검출부를 포함하는 것을 특징으로 하는 장면 전환 프레임 검출 장치. - 제 1 항에 있어서,
상기 검출된 최종 장면전환 프레임에 부가데이터를 삽입하는 부가 데이터 삽입부를 더 포함하는 것을 특징으로 하는 장면 전환 프레임 검출 장치. - 제 1 항에 있어서,
상기 h 값은 가변되는 값인 것을 특징으로 하는 장면 전화 프레임 검출 장치. - 장면 전환 프레임을 검출하기 위한 방법에 있어서,
영상 프레임을 입력받는 단계;
입력되는 영상을 h개 프레임 간격으로 쉬프트(shift)하면서 n개 프레임 단위로 선택하는 단계;
상기 선택된 n개 프레임 단위의 영상을 복수 개의 코덱(codec) 및 장면 전환 검출 알고리즘 중 적어도 하나를 사용하여 후보 장면전환 프레임을 검출하는 단계; 및
상기 검출된 후보 프레임을 기반으로 히스토그램 분석하여 임계값보다 높은 카운트 값을 가진 프레임을 최종 장면전환 프레임으로 검출하는 단계를 포함하되,
상기 h와 n은 0보다 큰 실수이면서 h는 n보다 작은 값을 갖는 것을 특징으로 하는 장면 전환 프레임 검출 방법. - 제 12 항에 있어서, 상기 후보 장면전환 프레임을 검출하는 단계는,
복수 개의 프레임 추출부에서 상기 선택된 n개 프레임 단위의 영상에 대해 코덱 또는 장면 전환 검출 알고리즘을 사용하여 후보 장면전환 프레임을 추출하는 단계; 및
상기 복수 개의 후보 장면전환 프레임에 가중치를 적용하여 후보 장면전환 프레임 값을 추출하는 단계를 포함하는 것을 특징으로 하는 장면 전환 프레임 검출 방법. - 제 13 항에 있어서, 상기 후보 장면전환 프레임을 추출하는 단계는
복수 개의 코덱 및 상기 코덱을 통해 추출된 I 프레임 위치, 및 B 또는 P 프레임의 인트라(intra) 영역을 기반으로 후보 장면전환 프레임을 추출하는 제 1 모드; 및
복수 개의 장면전환 검출 알고리즘을 사용하여 상기 후보 장면전환 프레임을 추출하는 제 2 모드 중 적어도 하나를 기반으로 동작하는 단계를 포함하는 것을 특징으로 하는 장면 전환 프레임 검출 방법. - 제 14 항에 있어서, 상기 제 1 모드에서, 상기 후보 장면전환 프레임을 추출하는 단계는,
복수 개의 코덱에서 상기 선택된 n개 프레임 단위의 영상에 대해 부호화 또는 복호화를 수행하는 단계;
상기 복수 개의 코덱의 부호화 또는 복호화 결과에 따라 상기 n개 프레임 단위의 영상 중 I 프레임 위치, 및 B 또는 P 프레임의 인트라(intra) 영역 중 적어도 하나를 검출하는 단계; 및
상기 검출된 I 프레임 및 상기 B 또는 P 프레임의 인트라(intra) 영역 중 적어도 하나를 기반으로 후보 장면전환 프레임을 선택하는 단계를 포함하는 것을 특징으로 하는 장면 전환 프레임 검출 방법. - 제 15 항에 있어서, 상기 후보 장면전환 프레임을 선택하는 단계는,
상기 검출된 I 프레임은 바로 제 1 후보 장면전환 프레임으로 선택하는 단계; 및
상기 B 또는 P 프레임의 인트라 영역이 해당 프레임에서 차지하는 비율을 기반으로 제 1 후보 장면전환 프레임을 선택하는 단계 중 적어도 하나를 포함하는 것을 특징으로 하는 장면 전환 프레임 검출 방법. - 제 15 항에 있어서,
상기 복수 개의 코덱 각각은 복수 개의 서로 다른 비트율의 코덱을 포함하되,
상기 복수 개의 코덱이 병렬로 서로 다른 비트율로 구동되어 각각 I 프레임 및 상기 인트라 영역 중 적어도 하나를 검출하는 것을 특징으로 하는 장면 전환 프레임 검출 방법. - 제 15 항에 있어서,
상기 I 프레임 위치, 및 B 또는 P 프레임의 인트라(intra) 영역 중 적어도 하나를 검출하는 단계는 상기 n개 프레임 단위에서 최초 프레임을 제외한 두 번째 프레임부터 I 프레임의 위치 또는 인트라 영역을 검출 대상으로 채택하는 단계를 포함하는 것을 특징으로 하는 장면 전환 프레임 검출 방법. - 제 12 항에 있어서,
상기 복수 개의 코덱은 HEVC(High Efficiency Video Coding) 코덱, AVC(Advanced Video Coding) 및 WebM 코덱을 포함하는 것을 특징으로 하는 장면 전환 프레임 검출 방법. - 제 12 항에 있어서, 상기 최종 장면전환 프레임으로 검출하는 단계는
상기 복수 개의 코덱 또는 장면 전환 검출 알고리즘 중 적어도 하나를 통해 추출된 후보 장면전환 프레임 값을 입력받는 단계;
상기 후보 장면 전환 프레임 값을 히스토그램 분석하여 카운트 값을 누적시키는 단계; 및
상기 누적된 카운트 값이 (i) 임계값보다 높은지 판단하여 또는 (ii) 상위 m개 - m은 자연수임 - 의 프레임을 기반으로 최종 장면전환 프레임을 검출하는 단계를 포함하는 것을 특징으로 하는 장면 전환 프레임 검출 방법. - 제 12 항에 있어서,
상기 검출된 최종 장면전환 프레임에 부가데이터를 삽입하는 단계를 더 포함하는 것을 특징으로 하는 장면 전환 프레임 검출 방법. - 제 12 항에 있어서,
상기 h 값은 가변되는 값인 것을 특징으로 하는 장면 전화 프레임 검출 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160011797A KR20170090868A (ko) | 2016-01-29 | 2016-01-29 | 장면 전환 프레임 검출 장치 및 방법 |
| US15/246,547 US9986244B2 (en) | 2016-01-29 | 2016-08-25 | Apparatus and method for detecting scene cut frame |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160011797A KR20170090868A (ko) | 2016-01-29 | 2016-01-29 | 장면 전환 프레임 검출 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20170090868A true KR20170090868A (ko) | 2017-08-08 |
Family
ID=59387251
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160011797A KR20170090868A (ko) | 2016-01-29 | 2016-01-29 | 장면 전환 프레임 검출 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9986244B2 (ko) |
| KR (1) | KR20170090868A (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111083481A (zh) * | 2019-11-15 | 2020-04-28 | 西安万像电子科技有限公司 | 图像编码方法及装置 |
| CN112218155A (zh) * | 2020-09-24 | 2021-01-12 | 北京达佳互联信息技术有限公司 | 一种切换耗时的自动检测方法、装置及电子设备 |
| CN113542856B (zh) * | 2021-06-28 | 2023-06-13 | 宜宾中星技术智能系统有限公司 | 在线录像的倒放方法、装置、设备和计算机可读介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6735253B1 (en) * | 1997-05-16 | 2004-05-11 | The Trustees Of Columbia University In The City Of New York | Methods and architecture for indexing and editing compressed video over the world wide web |
| US6449392B1 (en) * | 1999-01-14 | 2002-09-10 | Mitsubishi Electric Research Laboratories, Inc. | Methods of scene change detection and fade detection for indexing of video sequences |
| US20050228849A1 (en) * | 2004-03-24 | 2005-10-13 | Tong Zhang | Intelligent key-frame extraction from a video |
| US9959599B2 (en) * | 2015-06-18 | 2018-05-01 | Sharp Laboratories Of America, Inc. | System for enhanced images |
-
2016
- 2016-01-29 KR KR1020160011797A patent/KR20170090868A/ko not_active Application Discontinuation
- 2016-08-25 US US15/246,547 patent/US9986244B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US9986244B2 (en) | 2018-05-29 |
| US20170223359A1 (en) | 2017-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7027509B2 (en) | Hierarchical hybrid shot change detection method for MPEG-compressed video | |
| US8243203B2 (en) | Apparatus for automatically generating video highlights and method thereof | |
| EP1021042B1 (en) | Methods of scene change detection and fade detection for indexing of video sequences | |
| Kobla et al. | Detection of slow-motion replay sequences for identifying sports videos | |
| WO2001015459A1 (en) | Time-varying image processor, its method, and recorded medium | |
| US6940910B2 (en) | Method of detecting dissolve/fade in MPEG-compressed video environment | |
| JP4559935B2 (ja) | 画像記憶装置及び方法 | |
| US20120308205A1 (en) | Method and mobile terminal for previewing and retrieving video | |
| KR20030026529A (ko) | 키프레임 기반 비디오 요약 시스템 | |
| JP2010148154A (ja) | 動画像検索装置 | |
| JP2000217121A (ja) | ディジタル画像表示のビデオデ―タを圧縮した形で処理してシ―ン変化を検出する方法 | |
| JPH10257436A (ja) | 動画像の自動階層構造化方法及びこれを用いたブラウジング方法 | |
| KR20170090868A (ko) | 장면 전환 프레임 검출 장치 및 방법 | |
| CN101479729A (zh) | 提取关键帧的系统和方法 | |
| EP1921862A2 (en) | Image playback apparatus providing smart search for motion and method of using the same | |
| JP4520994B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| KR100713501B1 (ko) | 이동통신단말기상에서 디지털 동영상을 인덱싱하는 방법 | |
| US7643554B2 (en) | Image retrieving apparatus performing retrieval based on coding information utilized for feature frame extraction or feature values of frames | |
| JP2869398B2 (ja) | カット点検出方法及び装置 | |
| EP1265154A2 (en) | Summarization of football video content | |
| KR20180093441A (ko) | 영상 구조 변경을 통한 워터마크 삽입 장치 및 방법 | |
| JPH10112863A (ja) | 動き被写体情報抽出方法及び装置 | |
| AU751231C (en) | Digital video processing method and apparatus thereof | |
| JP3339544B2 (ja) | ディゾルブ検出方法および装置 | |
| KR20060127022A (ko) | 코딩 방법 및 대응하는 코딩된 신호 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20160129 |
|
| PG1501 | Laying open of application | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20201223 Comment text: Request for Examination of Application Patent event code: PA02011R01I Patent event date: 20160129 Comment text: Patent Application |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20211022 Patent event code: PE09021S01D |
|
| E601 | Decision to refuse application | ||
| PE0601 | Decision on rejection of patent |
Patent event date: 20220202 Comment text: Decision to Refuse Application Patent event code: PE06012S01D Patent event date: 20211022 Comment text: Notification of reason for refusal Patent event code: PE06011S01I |