KR101426978B1 - 잠재적 샷 및 신 검출 정보의 자동 분류 방법 및 장치 - Google Patents
잠재적 샷 및 신 검출 정보의 자동 분류 방법 및 장치 Download PDFInfo
- Publication number
- KR101426978B1 KR101426978B1 KR1020097016100A KR20097016100A KR101426978B1 KR 101426978 B1 KR101426978 B1 KR 101426978B1 KR 1020097016100 A KR1020097016100 A KR 1020097016100A KR 20097016100 A KR20097016100 A KR 20097016100A KR 101426978 B1 KR101426978 B1 KR 101426978B1
- Authority
- KR
- South Korea
- Prior art keywords
- shots
- gods
- video content
- classifying
- threshold
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000001514 detection method Methods 0.000 title claims description 33
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000007781 pre-processing Methods 0.000 claims abstract description 22
- 238000007619 statistical method Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 32
- 230000008901 benefit Effects 0.000 description 15
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011143 downstream manufacturing Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/25—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with scene description coding, e.g. binary format for scenes [BIFS] compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
비디오 콘텐츠를 처리하기 전에 상기 비디오 콘텐츠로부터 도출된 전처리 비디오 정보를 분류하는 방법과 장치가 제공된다. 이 장치는 적어도 상기 전처리 비디오 정보에 기초하여 상기 비디오 콘텐츠 내에서, 후속 처리 중에 에러를 유발할 가능성이 있는 신과 샷 중 적어도 하나를 식별하기 위한 분류기(120)를 포함한다. 더욱이 상기 분류기(120)는 적어도 상기 전처리 비디오 정보에 기초하여 상기 식별된 신과 샷을 하나 또는 그 이상의 각자의 카테고리로 분류한다.
분류기, 전처리, 비디오 콘텐츠, 신, 샷
Description
관련 출원의 상호 인용
본 출원은 2007년 1월 31일자로 출원된 미국 가특허출원 제60/898660호의 우선권을 주장하며, 이 출원의 전체 내용은 본 명세서에 인용으로 포함된다.
본 발명은 일반적으로 비디오 전처리(preprocessing)에 관한 것으로, 특히 잠재적 샷 및 신(potential shot and scene) 검출 정보를 자동적으로 분류하는 방법과 장치에 관한 것이다.
이 절에서는 이하 설명 및/또는 권리 청구되는 본 발명의 여러 양상과 관련될 수 있는 여러 가지 양상의 기술을 소개한다. 이 설명은 본 발명의 여러 가지 양상을 더 잘 이해할 수 있도록 배경 정보를 제공하는데 도움이 될 것으로 본다. 따라서 이 설명은 종래 기술의 입장에서가 아니라 이 관점에서 이해되어햐 할 것이다.
디지털 비디오 콘텐츠의 처리는 후속 처리 단계를 더 효율적으로 수행하기 위하여 대개는 하나 또는 그 이상의 전처리 단계를 필요로 한다. 이러한 처리는 인코딩을 포함하나, 이에 한정되는 것은 아니다. 전처리도 샷 검출 및/또는 신 검출을 포함할 수 있으나 이에 한정되는 것은 아니다. 전술한 전처리는 샷 검출 및/또는 신 검출을 포함할 수 있으나 이에 한정되는 것은 아니다.
상기 전처리는 종종 모든 가능한 비디오 콘텐츠에 대해 잘 작용하는 것은 아니다. 아무튼 누락된 샷 또는 신이 있는지를 판단하기 위하여 비디오 콘텐츠에 대한 전처리 결과를 검증하는 일은 시간이 많이 들고 비용도 많이 든다. 따라서 누락 가능성이 높은 후보 신을 식별하여 분류하고 이들 후보 신을 처리 개시 시에 검증할 필요가 있다.
종래 기술의 이들 및 기타 다른 결점 및 단점들은 잠재적 샷 및 신 검출 정보를 자동적으로 분류하는 방법과 장치에 관한 본 발명에 의해 해결된다.
본 발명의 양상에 따라, 비디오 콘텐츠를 처리하기 전에 상기 비디오 콘텐츠로부터 도출된 전처리 비디오 정보를 분류하는 장치가 제공된다. 이 장치는 적어도 상기 전처리 비디오 정보에 기초하여 상기 비디오 콘텐츠 내에서, 후속 처리 중에 에러를 유발할 가능성이 있는 신과 샷 중 적어도 하나를 식별하기 위한 분류기를 포함한다. 더욱이 상기 분류기는 적어도 상기 전처리 비디오 정보에 기초하여 상기 식별된 신과 샷을 하나 또는 그 이상의 각자의 카테고리로 분류한다.
본 발명의 다른 양상에 따라, 비디오 콘텐츠를 처리하기 전에 상기 비디오 콘텐츠로부터 도출된 전처리 비디오 정보를 분류하는 방법이 제공된다. 이 방법은 적어도 상기 전처리 비디오 정보에 기초하여 상기 비디오 콘텐츠 내에서, 후속 처리 중에 에러를 유발할 가능성이 있는 신과 샷 중 적어도 하나를 식별하는 단계를 포함한다. 더욱이 이 방법은 적어도 상기 전처리 비디오 정보에 기초하여 상기 식별된 신과 샷을 하나 또는 그 이상의 각자의 카테고리로 분류하는 단계를 포함한다.
본 발명의 이들 및 기타 다른 양상, 특성 및 이점은 첨부 도면을 참조하여 예시적인 실시예에 대한 하기의 상세한 설명으로부터 분명하게 될 것이다.
본 발명은 다음의 예시적인 도면에 따라 더 잘 이해될 수 있다.
도 1은 본 발명의 실시예에 따른 장치를 보여주는 예시적인 하이 레벨 블록도.
도 2는 본 발명의 실시예에 따른 예시적인 비디오 콘텐츠 인코딩 방법에 대한 흐름도.
도 3은 본 발명의 실시예에 따른 예시적인 비디오 시퀀스 분류를 보여주는 도.
본 발명은 잠재적 샷 및 신 검출 정보를 자동적으로 분류하는 방법과 장치에 관한 것이다.
하기의 설명은 본 발명을 설명하는 것이다. 따라서 당업자라면 비록 여기서는 명시적으로 설명되거나 보여지지는 않지만 본 발명을 구체화하며 본 발명의 본질과 범위에 포함되는 여러 가지 구성을 고안할 수 있음을 잘 알 것이다.
여기서 열거된 모든 예와 조건문은 본 기술을 더 향상시키는데 기여하는 본 발명자(들)의 본 발명의 원리와 개념을 이해하는데 도움을 주기 위한 것으로 그와 같은 특별히 열거된 예와 조건에 한정되지 않는 것으로 해석되어야 한다.
더욱이 여기서 본 발명의 그 원리, 양상 및 실시예들은 물론 그 특정 예들을 열거하는 모든 설명은 본 발명의 구조적 기능적 등가물을 포함하는 것이다. 게다가 그와 같은 등가물은 현재 공지된 등가물은 물론 장래에 개발될 등가물, 즉 구조가 어떻든 간에 동일한 기능을 수행하도록 개발된 요소를 포함하는 것이다.
따라서, 예컨대 당업자라면 여기서 제시된 블록도들은 본 발명을 구체화하는 회로를 보여주는 개념도를 나타냄을 잘 알 것이다. 마찬가지로 플로우차트, 흐름도, 상태 천이도, 의사 코드 등은 실질적으로 컴퓨터 판독 매체로 표현되고, 컴퓨터 또는 프로세서에 의해(이러한 컴퓨터가 명시적으로 도시되어 있든지 간에 상관없이) 실행될 수 있는 여러 가지 프로세스를 나타냄을 잘 알 것이다.
도면에 도시된 여러 가지 요소의 기능은 전용 하드웨어의 이용은 물론 적당한 소프트웨와 결합하여 이 소프트웨어를 실행할 수 있는 하드웨어의 이용을 통해 제공될 수 있다. 기능이 프로세서에 의해 제공되는 경우에 하나의 전용 프로세서, 하나의 공유 프로세서, 또는 일부가 공유될 수 있는 복수의 개별적 프로세서에 의해 제공될 수 있다. 더욱이 "프로세서"나 '컨트롤러"라는 용어의 명시적 사용은 소프트웨어를 실행할 수 있는 하드웨어만을 말하는 것으로 해석되어서는 않되며, 제한없이 암시적으로 디지털 신호 프로세서("DSP") 하드웨어, 데이터를 저장하기 위한 읽기 전용 메모리("ROM"), 임의 접근 메모리("RAM") 및 불휘발성 저장 장치를 포함할 수 있다.
다른 종래의 및/또는 맞춤형 하드웨어도 포함될 수 있다. 마찬가지로 도면에 도시된 스위치들도 단지 개념적인 것이다. 그들의 기능은 프로그램 로직의 동작, 전용 로직, 프로그램 제어와 전용 로직의 상호작용을 통해, 또는 심지어는 수동적으로 실시될 수 있으며, 정황에 따라 더 명확하게 이행되도록 구현자에 의해 특정 기술이 선택될 수 있다.
본 발명의 청구범위에서 특정 기능을 수행하는 수단으로 표현된 요소는 a) 그 기능을 수행하는 회로 요소의 조합 또는 b) 그 기능을 수행하는 그 소프트웨어를 실행하기 위한 적당한 회로와 조합된 펌웨어, 마이크로코드 등과 같은 것을 포함하는 임의 형태의 소프트웨어를 포함하는 그 기능을 수행하는 방식을 포함하는 것이다. 그와 같은 청구범위로 정해지는 본 발명은 여러 가지 열거된 수단이 제공하는 기능들이 청구범위가 요구하는 방식으로 함께 조합되어 제시된다는 사실에 있다. 따라서 이들 기능을 제공할 수 있는 수단은 여기서 보여진 것들과 등가적인 것으로 간주된다.
본 명세서에서 본 발명의 "일 실시예"나 "소정 실시예"라는 말은 그 실시예와 관련하여 설명된 특정 형상, 구조, 특징 등이 본 발명의 적어도 하나의 실시예에 포함된다는 것을 알아야 한다. 따라서 본 명세서의 여러 곳에서 나타나는 "일 실시예에서"나 "소정 실시예에서"라는 구절은 모두 반드시 동일 실시예를 말하는 것은 아니다.
예컨대 "A 및/또는 B"와 "A와 B 중 적어도 하나"의 경우에 "및/또는"과 "적 어도 하나"라는 용어의 사용은 첫번째 옵션(A)만의 선택, 두번째 옵션(B)만의 선택 또는 이 두개 옵션(A 및 B) 모두의 선택을 포함함을 알아야 한다. 다른 예로서 "A, B 및/또는 C"와 "A, B 및 C 중 적어도 하나"의 경우에, 그와 같은 구절은 첫번째 옵션(A)만의 선택, 두번째 옵션(B)만의 선택, 세번째 옵션(C)만의 선택, 첫번째 옵션과 두번째 옵션(A 및 B)만의 선택, 첫번째 옵션과 세번째 옵션(A 및 C)만의 선택, 두번째 옵션과 세번째 옵션(B 및 C)만의 선택, 또는 이 세개 옵션 (A, B 및 C) 모두의 선택을 포함한다. 이것은 이 기술분야 및 그 관련 기술분야의 당업자라면 쉽게 알 수 있는 바와 같이 열거된 여러 가지 항목과 같이 확장될 수 있다. 더욱이 "신/샷"에서와 같이 "/"의 사용은 여기서 바로 전에 설명된 바와 같이 "신 및/또는 샷"을 포함한다.
더욱이 본 발명은 본 발명의 본질을 유지하면서 임의의 코딩 표준 및/또는 권고안과 그 확장을 이용하여 인코딩될 비디오에 적용될 수 있음을 알아야 한다. 예컨대 본 발명은 ISO/IEC(Internatioanl Organization for Standardization/International Electrotechnical Commission) MPEC-1(Moving Picture Experts Group-1) 표준; ITU-T(International Telecommunication Union, Telecommunication sector) H.263 권고; ISO/IEC MPEG-4 Part 10 AVC(Advanced Video Coding) 표준/ITU-T H.264 권고(이후 "MPEG-4 AVC 표준") 등과 같은 것에 이용될 수 있으나, 이에 한정되는 것은 아니다.
더욱이 본 발명은 일 실시예에서 신의 처리가 병렬 프로세서를 이용하여 몇 가지 신에 대해 병렬적으로 수행되는 응용분야에 관하여 설명되지만, 본 발명은 이 응용분야에만 한정되는 것은 아니고 비디오 처리를 포함하는 다른 응용분야에도 적용될 수 있다. 즉 당업자라면 여기서 제공된 본 발명의 교시에 따라서 이 응용분야는 물론 본 발명의 본질을 유지하면서 본 발명이 적용될 수 있는 여러 가지 다른 응용분야를 생각해 낼 것이다.
본 발명의 하나 또는 그 이상의 실시예는 신 및/또는 샷을 포함하고 그리고/또는 이에 관련될 수 있다는 것을 알아야 한다. "신"과 "샷"이라는 용어는 본 기술분야와 그 관련 기술분야의 당업자에게 잘 알려져 있지만, 각각이 포함할 수 있는 것을 확인하는데 도움을 주기위해 다음의 설명을 제공한다.
예컨대 신은 그 개념이 대략적으로 사용되는 경향이 있으며 대개는 이해하고 그리고/또는 설명하기가 비교적 쉽다. 더욱이 영화와 영화 관련 용어에 관해서 "신"이라는 용어는 (일반적으로 그와 관련된 스토리 및/또는 논리적 내용을 가질 수 있는) 다수의 샷을 지칭하는데 사용될 수 있다. 더욱이 영화에 관해서 신은 (바로 이후에 설명되는 샷보다) 더 긴 지속기간을 갖는 경향이 있다. 신에 적용된 전처리 알고리즘은 그와 같은 신에서 느린 카메라 변화에 둔감함에 유의한다.
이와 달리 샷은 명확하게 사용되는 경향이 있으며 (하드 컷(hard-cut)을 포함하여(이에 한정되지 않음)) 카메라 변화와 관련되는 경향이 있다. 전처리 알고리즘은 통상적으로 (예컨대 신과 비교해서) 샷에 영향을 많이 받음에 유의한다. 이것은 (예컨대 액션 영화에서처럼) 비교적 짧은 지속 기간이나 (예컨대 드라마에서처럼) 비교적 긴 지속 기간을 갖는 경향이 있는 샷(그와 같은 지속 기간은 실제로는 그들의 인코딩 적합성까지 최적이지는 않음)을 포함하는(이에 한정되지 않음) 샷과 종종 관련된 일부 특성에 기인한다.
본 발명의 일 또는 그 이상의 실시예는 관련된 해당 신과 샷이 인코딩 및/또는 압축과 같은(이에 한정되지 않음) 후처리에 더 적합하도록 그와 같은 특성과 불규칙성을 분류하고 표시하는 것에 관한 것이다.
도 1을 참조로 설명하면, 본 발명의 소정 실시예에 따른 장치를 나타내는 예시적인 하이 레벨 블록도는 총괄적으로 도면부호 100으로 표시된다. 장치(100)는 비디오 전처리기(110), 분류기(120) 및 비디오 처리기(130)를 포함한다. 이하에서 더 자세히 설명하겠지만, 비디오 전처리기(110)는 전처리 비디오 데이터를 수신하고 대응하는 전처리 정보를 출력하도록 구성된다. 그와 같은 비디오 데이터 전처리는 예컨대 신 검출, 샷 검출 등을 포함하나 이에 한정되는 것은 아니다. 신 검출은 신 컷; 디졸브(dissolve); 페이드 인(fade-in); 페이드 아웃; 플래시 등을 검출하는데 이용될 수 있으나 이에 한정되는 것은 아니다. 전처리 정보는 컷 검출; 페이드 인 검출; 페이드 아웃 검출; 디졸브 검출; 신 길이 결정 등을 포함할 수 있다.
분류기(120)는 비디오 전처리기(110)가 제공하는 전처리 정보를 수신하여, (예컨대 특정 타입의 신 및/또는 샷인 것으로 오분류 및/또는 전체적으로 누락되는 등의 이유로) 누락될 가능성이 높은 신을 식별하여 선택적으로 분류하고, 분류 정보를 제공한다. 비디오 처리기(130)는 전처리기(110)로부터 비디오 데이터를 수신하고 분류기(120)로부터 분류 정보를 수신한다. 비디오 처리기(130)는 전처리기(110)로부터의 비디오 데이터와 분류기(120)로부터의 분류 정보를 이용하여 처리 된 비디오를 출력한다. 처리된 비디오는 예컨대 비트스트림일 수 있다. 더욱이, 이 비트스트림은 하나 또는 그 이상의 비디오 인코딩 표준 및/또는 권고에 따라서 인코딩될 수 있다. 그와 같은 경우에 비디오 처리기(130)는 인코더를 포함한다.
신 및/또는 샷은 예컨대 임계치, 이력 데이터 등에 기초한 후속 처리 중에 (십중 팔구) 에러를 유발할 가능성이 있는 것으로 인식됨을 알아야 한다. 이력 데이터는 예컨대 전처리기(100)(및/또는 다른 전처리기)에 입력된 비디오 데이터 및/또는 전처리기(100)(및/또는 다른 전처리기)에 입력된 다른 전처리된 비디오 데이터에 대해 수행된 하나 또는 그 이상의 이전 전처리 단계로부터 얻어진 과거 결과로부터의 데이터를 포함할 수 있음을 알아야 한다.
전술한 바와 같이 본 발명은 잠재적인 샷 및 신 검출 결과를 자동적으로 분류하는 방법과 장치에 관한 것이다.
더욱이 전술한 바와 같이 전처리 단계에서 신의 식별이 바람직한 여러 가지 가능한 예들 중 하나는 별도의 처리기를 이용하여 몇 개의 신에 대해 병렬 처리가 수행될 때이다. 누락된 신 컷이 검출되고 따라서 분류 정보가 생성될 수 있다면, 예컨대 하나의 긴 신을 2개의 짧은 신으로 분해하여 인코딩 중에 더 병렬화함으로써 성능이 개선될 수 있다. 모든 샷/신을 검증하면 신이 더 잘 검출될 수 있으며, 이에 따라 인코딩 및 재인코딩 시에 인코딩 품질이 높아져 성능이 더 좋아질 수 있다. 본 발명은 이러한 식별과 분류를 달성하기 위한 방법과 장치를 제공한다.
이러한 분류를 구현하는 여러 가지 가능한 방법들 중 하나는 초기 신 검출 알고리즘의 결과에 기초하여 지속 기간에 따라 샷/신을 식별하고 분류하는 것이다. 신은 오름순으로 또는 내림순으로 배열될 수 있으며, 전체 비디오 콘텐츠 내의 신의 실제 위치도 알 수 있다. 임계치는 예컨대 이 임계치보다 작거나 큰 신들을 더 분류하는데 이용될 수 있다. 이러 식으로 다른 전처리 알고리즘들 중 하나에 의해 누락될 가능성이 있는 잠재적인 문제 신을 찾을 수 있다. 임계치는 고정값일 수 있으며, 이 값은 전처리되고 있는 비디오의 종류; 찾아진 신 지속 기간에 대한 연속적인 통계적 분석에 따라(이에 한정되지 않음) 달라질 수 있다. 임계치가 신 지속 기간에 기초한다면, 예컨대 액션 영화는 더 빠른 신 컷을 갖는 경향이 있으므로 신 컷에 대해서 짧게 설정될 수 있다. 다른 종류의 영화는 더 긴 신을 가질 수 있으며, 따라서 임계치는 어느 신이 상대적으로 더 길거나 짧은 지를 분류하기 위하여 더 높게 설정될 것이다.
임계치 이상의 매우 긴 비디오 신은 다른 전처리 신/샷 검출 알고리즘에 의해 에러가 발생할 가능성이 높다면 별도로 분류될 수 있다. 마찬가지로 통상적으로 플래시와 같은 매우 짧은 신은 잠재적으로 어려운 신으로 플래그되어 다음에 처리될 수 있다. 대안으로서 신이 특별한 주목을 필요로 한다면 신의 상위 N 퍼센트와 하위 M 퍼센트가 별도로 분류될 수 있다.
신 길이를 이용한 신의 분류는 단지 신을 분류하는 한 가지 방법일 뿐이다. 미압축 비디오 콘텐츠의 다른 파라미터를 이용하여, 또는 전체 비디오 콘텐츠에 기초한 통계를 도출하기 위하여 전처리가 수행된 후에 이 통계를 이용하여 임계치 파라미터가 도출될 수 있다. 이들 경우에 이들 결과를 이용하여 분류가 행해질 수 있다.
이 분류는 예컨대 인코딩과 같은 다운스트림 처리를 더 정확하게 함으로써 품질이 향상되고 성능 효율이 더 높아질 수 있다.
도 2를 참조로 설명하면, 본 발명의 소정 실시예에 따라 비디오 콘텐츠를 인코딩하는 예시적인 방법이 총괄적으로 도면부호 200으로 표시된다.
이 방법(200)은 시작 블록(205)에서 개시하여 제어를 기능 블록(210)에 넘긴다. 기능 블록(210)은 비디오 콘텐츠를 수신하고 제어를 기능 블록(215)으로 넘긴다. 기능 블록(215)은 전처리 비디오 콘텐츠 데이터를 생성하고 제어를 판단 블록(220)으로 넘긴다. 기능 블록(215)에 관해서, 발생된 전처리 비디오 콘텐츠 데이터는 신/샷 검출, 페이드/디졸브 검출, 히스토그램, 색상에 기초한 분류, 유사한 신, 비트 레이트, 견본 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
판단 블록(220)은 신/샷이 소정 임계치 이상인지를 판단한다. 소정 이상이라면 제어는 기능 블록(225)으로 넘겨진다. 그렇지 않으면 제어는 기능 블록(230)으로 넘겨진다. 기능 블록(220)에 관해서, 그와 같은 소정 임계치는 예컨대 지속 기간에 해당할 수 있다.
기능 블록(225)은 지속 기간의 길이에 기초하여 식별과 분류 중 적어도 한 가지를 수행하고, 제어를 기능 블록(230)으로 넘긴다. 기능 블록(225)에 관해서, 그와 같은 분류는 예컨대 임계 지속 기간 값을 이용하여 신/샷을 선택적으로 분류하는 것, 각자의 지속 기간에 기초하여 신/샷의 상위 N 퍼센트와 하위 M 퍼센트를 선택적으로 분류하는 것, (임계 지속 기간 값보다 큰) 상한 임계치에 기초하여 매우 긴 신/샷을 하나 또는 그 이상의 각자의 카테고리로 선택적으로 분류하는 것, (임계 지속 기간 값보다 작은) 하한 임계치에 기초하여 매우 짧은 신/샷을 하나 또는 그 이상의 각자의 카테고리로 선택적으로 분류하는 것, 및 하나의 프레임 신을 하나 또는 그 이상의 각자의 카테고리로 분류하는 것을 포함할 수 있다. 물론 전술한 바와 같이 본 발명은 상기 분류들에 한정되는 것은 아니고, 본 발명에 따라서 본 발명의 본질을 유지하면서 다른 분류들도 이용될 수 있다.
기능 블록(230)은 신/샷 검출에 기초하여 식별과 분류 중 적어도 한 가지를 수행하고, 제어를 기능 블록(232)으로 넘긴다. 기능 블록(230)에 관해서, 그와 같은 분류는 예컨대 페이드 인; 페이드 아웃, 디졸브; 컷 등을 하나 또는 그 이상의 각자의 카테고리에 할당하는 것을 포함할 수 있다.
기능 블록(232)은 후속 처리 중에 에러를 유발할 가능성과 관련한 임계치 및/또는 과거 데이터에 기초하여 식별과 분류 중 적어도 한 가지를 수행하고, 제어를 기능 블록(235)으로 넘긴다.
기능 블록(235)은 일어날 수 있는 후속 처리 에러를 방지하기 위하여 상기 분류된 신/샷을 고정시키고, 제어를 기능 블록(240)으로 넘긴다. 기능 블록(240)은 미리 정해진 기준에 기초하여 잠재적인 문제 신/샷을 플래그하고, 제어를 기능 블록(245)에 넘긴다. 기능 블록(240)에 관해서, 플래그될 수 있는 잠재적인 문제 신/샷은 상기 미리 정해진 기준에 따라서 예컨대 기능 블록(235)에 의해 고정되지 않은 하나 또는 그 이상의 신/샷과 기능 블록(240)에 의해 고정된 하나 또는 그 이상의 신/샷을 포함할 수 있다. 예컨대 기능 블록(235)이 하나 또는 그 이상의 분류된 신/샷을 고정하는 동안에 그와 같은 동작은 처리 중에 만나는 문제를 여전히 전체적으로는 해결하지 못할 수 있으며, 따라서 그와 같은 신/샷을 플래그하여 후속 처리가 그것을 "인식"할 수 있도록 한다.
기능 블록(245)은 수신된 비디오 코텐츠 내의 신/샷의 적어도 일부(예컨대 기능 블록(240) 당 플래깅된 신/샷)에서 전부까지의 각자의 위치를 표시하고, 제어를 판단 블록(250)으로 넘긴다. 판단 블록(250)은 고정할 신/샷이 더 있는지 여부를 판단한다. 만일 있다면 제어는 기능 블록(235)으로 되돌아간다. 그렇지 않으면 제어는 기능 블록(255)으로 건네진다.
기능 블록(255)은 비디오 콘텐츠의 처리(예컨대 인코딩)를 시작하고 제어를 종료 블록(299)으로 건넨다.
분류가 완수된 후에 기능 블록(235)은 신 경계를 부가하거나 제어하고, 신 전이의 타입을 변경하고, 또는 여러 가지 다른 가능한 비디오 효과들 중 하나를 포함하는(이에 한정되지 않음) 하나 또는 그 이상의 방법을 이용하여 비디오 콘텐츠를 변경할 수 있다.
도 3을 참조로 설명하면, 본 발명의 소정 실시예에 따른 비디오 시퀀스의 예시적인 분류는 총괄적으로 도면부호 300으로 표시된다.
분류(300)는 디폴트 카테고리(305), 초장(extra long) 카테고리(310), 초단(extra short) 카테고리(315), 페이드 인 카테고리(320), 페이드 아웃 카테고리(325), 디졸브 카테고리(330) 등을 포함한다.
디폴트 카테고리(305)는 예컨대 모든 컷을 포함할 수 있다.
초장 카테고리(310)는 예컨대 쇼팅(shorting)에 기초한 초장 신의 상위 1퍼 센트를 포함할 수 있다.
초단 카테고리(315)는 예컨대 하나의 프레임 신 모두와, 쇼팅에 기초한 초단 신의 하위 1퍼센트를 포함할 수 있다.
페이드 인 카테고리(320)는 예컨대 전처리기(110)가 찾은 모든 페이드 인 샷/신을 포함할 수 있다.
페이드 아웃 카테고리(325)는 예컨대 전처리기(110)가 찾은 모든 페이드 아웃 샷/신을 포함할 수 있다.
디졸브 카테고리(330)는 예컨대 전처리기(110)가 찾은 모든 디졸브 샷/신을 포함할 수 있다.
예컨대 초장 카테고리(310)의 확장은 이 초장 카테고리(310) 내에 속하는 모든 신을 보여준다. 사용자는 어떤 카테고리를 선택하여(예컨대 클릭하여) 그 선택된 카테고리의 모든 구성원을 볼 수 있다.
상기 예시적인 카테고리는 단지 설명을 위한 것이며 본 발명은 이들 카테고리에만 한정되는 것은 아님을 알아야 한다. 즉 본 기술분야 및 그 관련 기술분야의 당업자라면 여기서 제공된 본 발명의 교시에 따라서 이들 카테고리는 물론 본 발명의 본질을 유지하면서 본 발명이 적용될 수 있는 여러 가지 다른 카테고리를 생각해 낼 것이다.
더욱이 도 3을 참조로 보여진 예시적인 분류(300)는 그래픽 사용자 인터페이스(GUI)(399)를 이용하여 사용자가 본 발명에 따라 이루어진 식별과 분류를 볼 수 있도록 도시되어 있음을 알아야 한다. 더욱이 사용자는 그와 같은 GUI(399)를 이 용하여 그와 같은 분류를 변경하는 것은 물론 고정할 수 있고 잠재적 문제로서 플래깅된 신 및/또는 샷을 변경할 수 있다. 다른 실시예에서 그와 같은 신과 샷의 교정은 자동적으로 행해질 수 있다. 본 기술분야 및 그 관련 기술분야의 당업자라면 본 발명의 본질을 유지하면서 본 발명에 따른 이들 및 다른 변화를 쉽게 생각해 낼 것이다.
이제 본 발명의 여러 가지 부수적인 이점/특성들(이 중에서 일부는 전술하였음)에 대해 설명한다. 예컨대 한 가지 이점/특성은 비디오 콘텐츠를 처리하기 전에 비디오 콘텐츠로부터 도출된 전처리 비디오 정보를 분류하기 위한 장치이다. 이 장치는 적어도 전처리 비디오 정보에 기초하여, 비디오 콘텐츠 내에서, 후속 처리 중에 에러를 유발할 가능성이 있는 신 및 샷 중 적어도 하나를 식별하기 위한 분류기를 포함한다. 더욱이 이 분류기는 식별된 신 및 샷을 적어도 전처리 비디오 정보에 기초하여 하나 또는 그 이상의 각자의 카테고리로 분류하기 위한 것이다.
다른 이점/특성은 전술한 분류기를 가진 장치로서, 전처리 비디오 정보가 처리 전에 비디오 콘텐츠의 파라미터와 비디오 콘텐츠의 통계 중 적어도 하나를 포함하는 장치이다.
또 다른 이점/특성은 전술한 분류기를 가진 장치로서, 전처리 비디오 정보가 신 지속 기간, 샷 지속 기간, 신 검출, 샷 검출, 페이드 검출, 디졸브 검출, 히스토그램, 색상, 다른 신과의 유사성, 다른 샷과의 유사성, 비트 레이트 및 견본 중 적어도 하나에 대응하는 정보를 포함하는 장치이다.
또 다른 이점/특성은 전술한 분류기를 가진 장치로서, 분류기가 임계 지속 기간 값을 이용하여 신과 샷 중 적어도 하나를 식별하고 분류하는 것 중 적어도 한가지를 실행하는 장치이다.
더욱이 다른 이점/특성은 전술한 임계 지속 기간 값을 이용하는 분류기를 가진 장치로서, 임계 지속 기간 값이 비디오 콘텐츠에 대해 수행된 연속적 통계적 분석으로부터의 정보에 기초하여 동적으로 산출되는 장치이다.
더욱이 다른 이점/특성은 전술한 임계 지속 기간 값을 이용하는 분류기를 가진 장치로서, 분류기가 상한 임계치와 하한 임계치 중 적어도 하나를 이용하여 신과 샷 중 적어도 하나를 초장 및 초단으로서 식별하고 분류하는 것 중 적어도 한가지를 실행하는 장치이다. 상한 임계치는 임계 지속 기간 값보다 크고, 하한 임계치는 임계 지속 기간 값보다 작다.
또한 다른 이점/특성은 전술한 상한 임계치와 하한 임계치 중 적어도 하나를 이용하는 분류기를 가진 장치로서, 분류기가 초단으로 분류된 신을, 후속 처리를 위해 잠재적으로 어려운 신으로 플래깅하는 장치이다.
부가적으로 다른 이점/특성은 전술한 분류기를 가진 장치로서, 분류기가 각자의 지속 기간에 기초하여 신과 샷 중 적어도 하나의 상위 N 퍼센트와 하위 M 퍼센트 중 적어도 하나를 식별하고 분류하는 것 중 적어도 한가지를 실행하는 장치이다.
더욱이 다른 이점/특성은 전술한 분류기를 가진 장치로서, 분류기가 임계치와 이력 데이터 중 적어도 하나에 또한 기초하여 후속 처리 중에 에러를 유발할 가능성이 있는 신과 샷 중 적어도 하나를 식별하고 분류하는 장치이다. 이력 데이터 는 비디오 데이터와 기타 다른 비디오 데이터 중 적어도 하나에 대해 수행된 하나 또는 그 이상의 이전의 전처리 단계로부터 얻어진 과거 결과에 대한 데이터를 포함한다.
더욱이 다른 이점/특성은 전술한 분류기를 가진 장치로서, 분류기가 식별된 신과 샷을 고정하여 후속 처리 중에 에러를 방지하는 장치이다.
또한 다른 이점/특성은 전술한 분류기를 가진 장치로서, 분류기가 비디오 콘텐츠 내의 신과 샷 중 적어도 하나의 위치를 표시하는 장치이다.
부가적으로 다른 이점/특성은 전술한 분류기를 가진 장치로서, 하나 또는 그 이상의 카테고리가 페이드 인, 페이드 아웃, 디졸브 및 컷 중 적어도 하나에 해당하는 장치이다.
당업자라면 본 발명의 이들 및 다른 특성과 이점은 본 발명의 교시에 따라 쉽게 확인할 수 있을 것이다. 본 발명의 교시는 하드웨어, 소프트웨어, 펌웨어, 특수 목적 프로세서, 또는 이들의 조합과 같이 여러 가지 형태로 구현될 수 있음은 물론이다.
본 발명의 교시는 가장 바람직하게는 하드웨어와 소프트웨어의 조합으로 구현된다. 더욱이 소프트웨어는 프로그램 저장 장치에서 실체적으로 구체화된 응용 프로그램으로서 구현될 수 있다. 응용 프로그램은 임의의 적당한 구조를 가진 기계에 업로드되어 실행될 수 있다. 이 기계는 바람직하게는 하나 또는 그 이상의 중앙 처리 장치("CPU"), 임의 접근 메모리("RAM") 및 입/출력("I/O") 인터페이스와 같은 하드웨어를 가진 컴퓨터 플랫폼 상에서 구현된다. 이 컴퓨터 플랫폼은 운영 체제와 마이크로명령 코드도 포함할 수 있다. 여기서 설명된 여러 가지 프로세스와 기능은 CPU에 의해 실행될 수 있는 마이크로명령 코드의 일부, 응용 프로그램의 일부, 또는 이들의 조합일 수 있다. 게다가 컴퓨터 플랫폼에는 추가적인 데이터 저장 장치와 프린트 장치와 같은 여러 가지 다른 주변 장치가 연결될 수 있다.
첨부 도면에 도시된 구성 시스템 성분과 방법들 중 일부는 바람직하게는 소프트웨어로 구현되므로 시스템 성분들간 또는 처리 기능 블록들간의 실제 연결은 본 발명이 프로그램되는 방식에 따라 달라질 수 있다. 당업자라면 본 발명의 교시에 따라 본 발명의 이들 구현 또는 구성과 이와 유사한 구현 또는 구성을 생각해 낼 수 있을 것이다.
지금까지 첨부 도면을 참조로 예시적인 실시예들에 대해 설명하였지만, 본 발명은 이들 실시예들에만 한정되는 것이 아니고, 당업자라면 본 발명의 범위나 본질에서 벗어남이 없이 여러 가지 수정이나 변형을 실시할 수 있다고 할 것이다. 그와 같은 수정이나 변형도 첨부된 청구범위에 기재된 본 발명의 범위에 포함된다고 할 것이다.
Claims (24)
- 비디오 콘텐츠를 처리하기 전에 상기 비디오 콘텐츠로부터 도출된 전처리 비디오 정보(pre-processing video information)를 분류(categorizing)하는 장치로서,상기 전처리 비디오 정보로부터의 임계치 또는 이력에 기초하여 후속 인코딩 동안 코딩 에러들을 유발할 가능성이 있는 상기 비디오 콘텐츠의 신들(scenes)과 샷들(shots) 중 적어도 하나를 식별하기 위한 적어도 하나 이상의 기준을 선택하고, 적어도 상기 전처리 비디오 정보에 기초해서 상기 선택된 기준을 이용하여 상기 비디오 콘텐츠의 신들과 샷들 중 적어도 하나를 하나 이상의 각자의 카테고리로 분류하기 위한 분류기(categorizer)(120)를 포함하고,상기 분류기는 각자의 지속 기간에 기초하여 상기 신들과 샷들 중 적어도 하나의 상위 N 퍼센트와 하위 M 퍼센트 중 적어도 하나를 식별하고 분류하는 것 중 적어도 하나를 수행하는 장치.
- 비디오 콘텐츠를 처리하기 전에 상기 비디오 콘텐츠로부터 도출된 전처리 비디오 정보를 분류하는 방법으로서,상기 전처리 비디오 정보로부터의 임계치 또는 이력에 기초하여 후속 인코딩 동안 코딩 에러를 유발할 가능성이 있는 신들과 샷들 중 적어도 하나를 식별하기 위한 상기 비디오 콘텐츠의 적어도 하나 이상의 기준을 선택하는 단계; 및상기 선택된 기준을 이용하여 적어도 상기 전처리 비디오 정보에 기초해서 상기 비디오 콘텐츠의 신들 및 샷들 중 적어도 하나를 하나 이상의 각자의 카테고리로 분류하는 단계를 포함하고,상기 식별 단계와 상기 분류 단계 중 적어도 하나는 각자의 지속 기간에 기초하여 상기 신들과 샷들 중 적어도 하나의 상위 N 퍼센트와 하위 M 퍼센트 중 적어도 하나를 각각 식별하고 분류하는 것 중 적어도 한가지를 수행하는 단계(225)를 포함하는 방법.
- 제2항에 있어서,상기 전처리 비디오 정보는 처리 전에 상기 비디오 콘텐츠의 파라미터들과 상기 비디오 콘텐츠의 통계 중 적어도 하나를 포함하는(225) 방법.
- 제2항에 있어서,상기 전처리 비디오 정보는 신 지속 기간, 샷 지속 기간, 신 검출, 샷 검출, 페이드 검출, 디졸브 검출, 히스토그램, 색상, 다른 신들과의 유사성, 다른 샷들과의 유사성, 비트 레이트 및 썸네일(thumbnail)들 중 적어도 하나에 대응하는 정보를 포함하는(215) 방법.
- 제2항에 있어서,상기 신들과 샷들 중 적어도 하나를 식별하고 분류하는 것 중 적어도 하나를 수행하는데 임계 지속 기간 값이 이용되는(225) 방법.
- 제5항에 있어서,상기 임계 지속 기간 값은 상기 비디오 콘텐츠에 대해 수행된 연속적인 통계 분석으로부터의 정보에 기초하여 동적으로 산출되는 방법.
- 제5항에 있어서,식별 단계와 상기 분류 단계 중 적어도 하나에서는 상한 임계치와 하한 임계치 중 적어도 하나를 이용하여 상기 신들과 샷들 중 적어도 하나를 초장(extra long)과 초단(extra short)으로서 식별하고 분류하는 것 중 적어도 하나를 수행하고, 상기 상한 임계치는 상기 임계 지속 기간 값보다 크고, 상기 하한 임계치는 상기 임계 지속 기간 값보다 작은(225) 방법.
- 제7항에 있어서,상기 분류 단계는 초단으로 분류된 신들 중 임의의 신을, 후속 처리를 위해 잠재적으로 어려운 신들로서 플래깅하는 단계(240)를 포함하는 방법.
- 삭제
- 제2항에 있어서,식별 단계와 상기 분류 단계 중 적어도 하나는, 임계치와 이력 데이터 중 적어도 하나에 또한 기초하여, 상기 신들과 샷들 중 적어도 하나를, 후속 처리 중에 에러를 유발할 가능성이 있는 것으로 각각 식별하고 분류하는 단계를 포함하고, 상기 이력 데이터는 상기 비디오 데이터와 다른 비디오 데이터 중 적어도 하나에 대해 수행된 하나 이상의 이전의 전처리 단계로부터 얻어진 과거 결과에 대한 데이터를 포함하는(232) 방법.
- 제2항에 있어서,후속 처리 중의 에러를 방지하기 위해 상기 식별된 신들과 샷들을 고정하는 단계(235)를 더 포함하는 방법.
- 제2항에 있어서,상기 비디오 콘텐츠 내의 신들과 샷들 중 적어도 하나의 위치를 표시하는 단계(245)를 더 포함하는 방법.
- 제2항에 있어서,상기 하나 이상의 카테고리는 페이드 인, 페이드 아웃, 디졸브 및 컷 중 적어도 하나에 해당하는(230) 방법.
- 제1항에 있어서,상기 전처리 비디오 정보는 처리 전에 상기 비디오 콘텐츠의 파라미터들과 상기 비디오 콘텐츠의 통계 중 적어도 하나를 포함하는 장치.
- 제1항에 있어서,상기 전처리 비디오 정보는 신 지속 기간, 샷 지속 기간, 신 검출, 샷 검출, 페이드 검출, 디졸브 검출, 히스토그램, 색상, 다른 신들과의 유사성, 다른 샷들과의 유사성, 비트 레이트 및 썸네일들 중 적어도 하나에 대응하는 정보를 포함하는 장치.
- 제1항에 있어서,상기 분류기(120)는 상기 신들과 샷들 중 적어도 하나를 식별하고 분류하는 것 중 적어도 하나를 수행하는데 임계 지속 기간 값을 이용하는 장치.
- 제16항에 있어서,상기 임계 지속 기간 값은 상기 비디오 콘텐츠에 대해 수행된 연속적인 통계 분석으로부터의 정보에 기초하여 동적으로 산출되는 장치.
- 제16항에 있어서,상기 분류기(120)는 상한 임계치와 하한 임계치 중 적어도 하나를 이용하여 상기 신들과 샷들 중 적어도 하나를 초장(extra long)과 초단(extra short)으로서 식별하고 분류하는 것 중 적어도 하나를 수행하고, 상기 상한 임계치는 상기 임계 지속 기간 값보다 크고, 상기 하한 임계치는 상기 임계 지속 기간 값보다 작은 장치.
- 제18항에 있어서,상기 분류기(120)는 초단으로 분류된 신들 중 임의의 신을, 후속 처리를 위해 잠재적으로 어려운 신들로서 플래깅하는 장치.
- 제1항에 있어서,상기 분류기(120)는, 임계치와 이력 데이터 중 적어도 하나에 또한 기초하여, 상기 신들과 샷들 중 적어도 하나를, 후속 처리 중에 에러를 유발할 가능성이 있는 것으로 각각 식별하고 분류하며, 상기 이력 데이터는 상기 비디오 데이터와 다른 비디오 데이터 중 적어도 하나에 대해 수행된 하나 이상의 이전의 전처리 단계로부터 얻어진 과거 결과에 대한 데이터를 포함하는 장치.
- 제1항에 있어서,상기 분류기(120)는 후속 처리 중의 에러를 방지하기 위해 상기 신들과 샷들을 고정하는 장치.
- 제1항에 있어서,상기 분류기(120)는 상기 비디오 콘텐츠 내의 신들과 샷들 중 적어도 하나의 위치를 표시하는 장치.
- 제1항에 있어서,상기 하나 이상의 카테고리는 페이드 인, 페이드 아웃, 디졸브 및 컷 중 적어도 하나에 해당하는 장치.
- 삭제
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US89866007P | 2007-01-31 | 2007-01-31 | |
| US60/898,660 | 2007-01-31 | ||
| PCT/US2007/025339 WO2008127319A2 (en) | 2007-01-31 | 2007-12-11 | Method and apparatus for automatically categorizing potential shot and scene detection information |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20090115132A KR20090115132A (ko) | 2009-11-04 |
| KR101426978B1 true KR101426978B1 (ko) | 2014-08-07 |
Family
ID=39864515
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020097016100A KR101426978B1 (ko) | 2007-01-31 | 2007-12-11 | 잠재적 샷 및 신 검출 정보의 자동 분류 방법 및 장치 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US8891020B2 (ko) |
| EP (1) | EP2109992A2 (ko) |
| JP (2) | JP5766915B2 (ko) |
| KR (1) | KR101426978B1 (ko) |
| CN (1) | CN101601302B (ko) |
| WO (1) | WO2008127319A2 (ko) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011199414A (ja) * | 2010-03-17 | 2011-10-06 | Toshiba Corp | 素材収録装置及び素材収録方法 |
| WO2012006578A2 (en) * | 2010-07-08 | 2012-01-12 | The Regents Of The University Of California | End-to-end visual recognition system and methods |
| CN102142256B (zh) * | 2010-08-06 | 2012-08-01 | 华为技术有限公司 | 淡入时间的计算方法和装置 |
| KR20140034149A (ko) * | 2011-01-28 | 2014-03-19 | 아이 이오, 엘엘씨 | 장면에 기초한 적응적 비트 레이트 제어 |
| CN104318208A (zh) * | 2014-10-08 | 2015-01-28 | 合肥工业大学 | 一种基于图分割和实例学习的视频场景检测方法 |
| US10402436B2 (en) | 2016-05-12 | 2019-09-03 | Pixel Forensics, Inc. | Automated video categorization, value determination and promotion/demotion via multi-attribute feature computation |
| US10482126B2 (en) * | 2016-11-30 | 2019-11-19 | Google Llc | Determination of similarity between videos using shot duration correlation |
| CN111010599B (zh) * | 2019-12-18 | 2022-04-12 | 浙江大华技术股份有限公司 | 一种处理多场景视频流的方法、装置及计算机设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010055337A1 (en) | 2000-06-21 | 2001-12-27 | Kazuhiro Matsuzaki | Picture coding apparatus, picture coding method, and recording medium having picture coding program recorded thereon |
| US6909745B1 (en) * | 2001-06-05 | 2005-06-21 | At&T Corp. | Content adaptive video encoder |
| US7110454B1 (en) * | 1999-12-21 | 2006-09-19 | Siemens Corporate Research, Inc. | Integrated method for scene change detection |
| KR20080068716A (ko) * | 2005-10-17 | 2008-07-23 | 퀄컴 인코포레이티드 | 비디오 스트리밍에서 샷 검출을 위한 방법 및 장치 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3112274B2 (ja) | 1990-04-13 | 2000-11-27 | ソニー株式会社 | 電子機器 |
| JP3003460B2 (ja) * | 1993-06-17 | 2000-01-31 | 松下電器産業株式会社 | 符号化および復号化装置 |
| CA2260077A1 (en) * | 1996-07-12 | 1998-01-22 | Lava, Inc. | Digital video system having a data base of coded data for digital audio and video information |
| GB9705999D0 (en) * | 1997-03-22 | 1997-05-07 | Philips Electronics Nv | Video signal analysis and storage |
| US6278446B1 (en) | 1998-02-23 | 2001-08-21 | Siemens Corporate Research, Inc. | System for interactive organization and browsing of video |
| US6477201B1 (en) * | 1998-05-22 | 2002-11-05 | Sarnoff Corporation | Content-adaptive compression encoding |
| JP2001245303A (ja) * | 2000-02-29 | 2001-09-07 | Toshiba Corp | 動画像符号化装置および動画像符号化方法 |
| KR20010087552A (ko) | 2000-03-07 | 2001-09-21 | 구자홍 | 엠펙（ｍｐｅｇ）압축 비디오 환경에서 매크로 블록의시공간상의 분포를 이용한 디졸브/페이드 검출 방법 |
| JP2002176613A (ja) * | 2000-12-06 | 2002-06-21 | Minolta Co Ltd | 動画像編集装置、動画像編集方法および記録媒体 |
| JP4036328B2 (ja) * | 2002-09-30 | 2008-01-23 | 株式会社Ｋｄｄｉ研究所 | 動画像データのシーン分類装置 |
| US7075581B1 (en) * | 2003-06-03 | 2006-07-11 | Zoran Corporation | Interlaced-to-progressive scan conversion based on film source detection |
| JP4673543B2 (ja) | 2003-08-04 | 2011-04-20 | シャープ株式会社 | データ処理装置、及びデータ編集方法 |
| JP4047264B2 (ja) * | 2003-09-30 | 2008-02-13 | 株式会社東芝 | 動画像処理装置、動画像処理方法および動画像処理プログラム |
| JP2005301641A (ja) | 2004-04-12 | 2005-10-27 | Matsushita Electric Ind Co Ltd | 映像撮影装置 |
| US7880815B2 (en) * | 2005-01-10 | 2011-02-01 | Mavs Lab, Inc. | Method for detecting and eliminating flash scene in digital video |
| WO2006092765A2 (en) * | 2005-03-04 | 2006-09-08 | Koninklijke Philips Electronics N.V. | Method of video indexing |
| CN101171843B (zh) | 2005-03-10 | 2010-10-13 | 高通股份有限公司 | 用于多媒体处理的内容分类 |
| JP2006311079A (ja) | 2005-04-27 | 2006-11-09 | Victor Co Of Japan Ltd | 画像ビットストリーム変換装置 |
| WO2008032739A1 (fr) * | 2006-09-12 | 2008-03-20 | Panasonic Corporation | Dispositif de formation d'image de contenu |
-
2007
- 2007-12-11 US US12/449,012 patent/US8891020B2/en not_active Expired - Fee Related
- 2007-12-11 CN CN2007800507531A patent/CN101601302B/zh not_active Expired - Fee Related
- 2007-12-11 JP JP2009548226A patent/JP5766915B2/ja not_active Expired - Fee Related
- 2007-12-11 EP EP07873492A patent/EP2109992A2/en not_active Withdrawn
- 2007-12-11 WO PCT/US2007/025339 patent/WO2008127319A2/en active Application Filing
- 2007-12-11 KR KR1020097016100A patent/KR101426978B1/ko not_active IP Right Cessation
-
2015
- 2015-03-25 JP JP2015062744A patent/JP2015149084A/ja active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7110454B1 (en) * | 1999-12-21 | 2006-09-19 | Siemens Corporate Research, Inc. | Integrated method for scene change detection |
| US20010055337A1 (en) | 2000-06-21 | 2001-12-27 | Kazuhiro Matsuzaki | Picture coding apparatus, picture coding method, and recording medium having picture coding program recorded thereon |
| US6909745B1 (en) * | 2001-06-05 | 2005-06-21 | At&T Corp. | Content adaptive video encoder |
| KR20080068716A (ko) * | 2005-10-17 | 2008-07-23 | 퀄컴 인코포레이티드 | 비디오 스트리밍에서 샷 검출을 위한 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2008127319A3 (en) | 2009-08-13 |
| WO2008127319A2 (en) | 2008-10-23 |
| CN101601302A (zh) | 2009-12-09 |
| JP5766915B2 (ja) | 2015-08-19 |
| KR20090115132A (ko) | 2009-11-04 |
| US20100007793A1 (en) | 2010-01-14 |
| JP2015149084A (ja) | 2015-08-20 |
| JP2010517469A (ja) | 2010-05-20 |
| CN101601302B (zh) | 2012-07-04 |
| EP2109992A2 (en) | 2009-10-21 |
| US8891020B2 (en) | 2014-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101426978B1 (ko) | 잠재적 샷 및 신 검출 정보의 자동 분류 방법 및 장치 | |
| KR101709085B1 (ko) | 컨볼루션 신경망을 이용한 샷 경계 검출 방법 및 장치 | |
| CN101884221B (zh) | 用于对视频进行编码的系统和方法 | |
| US6940910B2 (en) | Method of detecting dissolve/fade in MPEG-compressed video environment | |
| US9071814B1 (en) | Scene detection based on video encoding parameters | |
| EP1914994A1 (en) | Detection of gradual transitions in video sequences | |
| CN109922334B (zh) | 一种视频质量的识别方法及系统 | |
| US20180089528A1 (en) | Method, system and apparatus for selecting a video frame | |
| KR100687732B1 (ko) | 내용 기반 멀티 모달 특징값을 이용한 유해 동영상 차단방법 및 그 장치 | |
| Husa et al. | Automatic thumbnail selection for soccer videos using machine learning | |
| Zhang et al. | A robust and efficient shot boundary detection approach based on fisher criterion | |
| KR102190878B1 (ko) | 장면 분류를 위한 시스템 및 방법 | |
| KR102504321B1 (ko) | 온라인 행동 탐지 장치 및 방법 | |
| EP2408190A1 (en) | Detection of semantic video boundaries | |
| JP4620126B2 (ja) | 映像識別装置 | |
| KR101362768B1 (ko) | 객체 검출 방법 및 장치 | |
| Koprinska et al. | Detecting and classifying video shot boundaries in MPEG compressed sequences | |
| CN114286199B (zh) | 一种基于神经网络模型的短视频片段自动生成方法及系统 | |
| CN102833620B (zh) | 进行时间最优化编码的系统和方法 | |
| Altinisik et al. | Automatic generation of H. 264 parameter sets to recover video file fragments | |
| Almeida et al. | Rapid cut detection on compressed video | |
| JP4979029B2 (ja) | 動画像データのシーン分割装置 | |
| Luo et al. | Shot Boundary Detection Using Pixel-To-Neighbor Image Differences in Video. | |
| Saoudi et al. | Spatio-temporal video slice edges analysis for shot transition detection and classification | |
| Mori et al. | Video content detection with single frame level accuracy using dynamic thresholding technique |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0105 | International application |
Patent event date: 20090730 Patent event code: PA01051R01D Comment text: International Patent Application |
|
| PG1501 | Laying open of application | ||
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20121211 Comment text: Request for Examination of Application |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20131213 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20140707 |
|
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20140730 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20140730 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| LAPS | Lapse due to unpaid annual fee | ||
| PC1903 | Unpaid annual fee |