KR101453254B1 - 비디오를 식별하고 동기화하기 위한 핑거프린트, 장치 및 방법 - Google Patents

비디오를 식별하고 동기화하기 위한 핑거프린트, 장치 및 방법 Download PDF

Info

Publication number
KR101453254B1
KR101453254B1 KR1020087030152A KR20087030152A KR101453254B1 KR 101453254 B1 KR101453254 B1 KR 101453254B1 KR 1020087030152 A KR1020087030152 A KR 1020087030152A KR 20087030152 A KR20087030152 A KR 20087030152A KR 101453254 B1 KR101453254 B1 KR 101453254B1
Authority
KR
South Korea
Prior art keywords
video stream
scene
fingerprint
video
duration
Prior art date
Application number
KR1020087030152A
Other languages
English (en)
Other versions
KR20090019830A (ko
Inventor
윌렘 에프. 제이. 후젠스트라아텐
코르네리스 더블유. 크위스아웃
Original Assignee
코닌클리케 필립스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 엔.브이. filed Critical 코닌클리케 필립스 엔.브이.
Publication of KR20090019830A publication Critical patent/KR20090019830A/ko
Application granted granted Critical
Publication of KR101453254B1 publication Critical patent/KR101453254B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division

Abstract

장면(200a, 200b, 200c)의 시퀀스를 포함하는 비디오 스크림(110)을 위한 핑거프린트(340)가 제공되는데, 이 핑거프린트(340)는 상기 장면(200a, 200b, 200c)의 지속시간을 표시하는 정보를 포함한다. 상기 장면(200a, 200b, 200c)의 지속시간을 표시하는 정보는 상기 장면(200a, 200b, 200c)이 비디오 스트림(110)에 포함되는 순서로 상기 핑거프린트(340)에 포함된다. 더욱이, 각각의 지속시간은 비디오 스트림에서의 비디오 프레임(260, 270)의 개수의 카운트로 선택적으로 정의된다. 상기 방법은 더 간단하게 그리고 더 효율적으로 제1 및 제2 데이터 신호를 같이 동기화할 수 있는 핑거프린트를 생성시킬 수 있다.

Description

비디오를 식별하고 동기화하기 위한 핑거프린트, 장치 및 방법{FINGERPRINT, APPARATUS AND METHOD FOR IDENTIFYING AND SYNCHRONIZING VIDEO}
본 발명은 장면의 시퀀스를 포함하는 비디오 스트림에 대한 핑거프린트(fingerprint) 및 보조 매체(secondary media)를 비디오 스트림에 동조시키도록 사용 가능한 장치에서의 사용에 관한 것이며, 예컨대, 본 발명은 앰비라이트 스크립트(ambilight script)를 비디오 스트림과 동기화시키는 장치의 문제에 관한 것이다. 더욱이, 본 발명은 또한, 예컨대 상기 앰비라이트와 관련하여 비디오 스트림을 식별하고 보조 매체를 비디오 스트림에 동기화시키기 위해 핑거프린트를 사용하는 방법에 관한 것이다. 또한, 본 발명은 이러한 방법을 구현하는데 사용 가능한 계산 하드웨어에서 실행 가능한 소프트웨어에 관한 것이다.
"앰비라이트(ambilight)"는 텔레비전 및 유사 영상 디스플레이 디바이스의 증강물(enhancement)이다. 도 1을 참고하면, 앰비라이트는 텔레비전 디스플레이 스크린(30) 또는 유사 디스플레이 디바이스의 주변 영역의 적어도 일부를 둘러싸기 위해 동작 시 사용자(20)에게 나타내 보이는 광의 주변 후광(10)에 관련되는데, 상 기 디스플레이 스크린(30)은 단지 일부 예를 언급하기 위해 음극선관(CRT : cathode ray tube) 기술, 플라즈마 픽셀 기술, 액정 디스플레이(LCD : liquid crystal) 기술, 발광 다이오드(LED : light emitting diode) 및/또는 유기 발광 다이오드(OLED : organic light emitting diode) 기술에 기초될 수 있다. 앰비라이트는, 방출에 의해 또는 다른 방식으로 눈의 시야의 중심 영역에서 가장 큰 공간 해상도가 제공되고 눈의 시야의 주변 영역에서 더 확산된 공간 해상도가 사용자의 눈(20)에 제공되는 특징을 이용한다. 그러므로 상기 사용자(20)에게 증대된 뷰잉 체험(viewing experience)을 제공하기 위해, 가장 큰 공간 및 칼라 정보를 이들의 중심 영역에서 포함하도록 요구되는 디스플레이된 확장성 영상을 상기 사용자(20)에게 나타내는 것이 바람직하다. 데이터 절약 및 디스플레이 제조 절약의 이유로, 앰비라이트는 사용자(20)의 눈이 가장 수용성이 있는 확디스플레이된 장성 영상의 중심 영역에 나타낸 가장 큰 공간 및 칼라 정보를 갖는 디스플레이된 확장성 영상을 사용자(20)에게 제공할 수 있다. 앞서 말한 주변 후광(10)은 다양한 주변 광원 예컨대, 광원(40)으로부터 생성될 수 있는데, 이 광원의 칼라 및 광 출력은 관련된 텔레비전 디스플레이 스크린(30) 또는 유사 디바이스에 보여 지는 영상에 응답하여 변화된다.
앰비라이트의 더 기초적인 실시예에서, 주변 광원을 구동시키기 위한 정보는 텔레비전 디스플레이 스크린(30)에 보여 지는 영상으로부터 획득된다. 이러한 접근법은 현재의 비디오 자료로부터 예컨대, 현재의 비디오 테이프, DVD 및 통신 네트워크 예컨대, 인터넷 또는 인공위성 연결을 통해 내려받은 비디오 자료로부터의 앰 비라이트 동작이 가능하도록 만든다. 현재의 비디오 자료로부터 획득된 앰비라이트가 갖는 동작상의 관심사는, 상기 주변 후광이 텔레비전(30)상에서 사용자(20)에게 보여 지는 칼라-방식 비디오 자료를 정확하게 보충하는 것뿐만 아니라 상기 텔레비전(30)에 보여 지는 일반적인 영상의 칼라에 대한 변화를 일시적으로 그리고 실질적이고 정확하게 따라가야 하는 것이다. 이때, 텔레비전 스크린(30)상의 영상은 공간적인 칼라 내용물 및 이 공간적인 칼라 내용물 분석의 결과로부터 획득된 주변 광(40)에 상응하는 구동(drive)을 위해 분석된다. 이러한 분석은 디지털 하드웨어 즉, 계산 하드웨어가 이러한 분석을 실행하도록 만드는 소프트웨어를 실행하는데 사용 가능한 컴퓨터 하드웨어에서 구현될 수 있다.
위에서 설명된 이미 알고 있는 앰비라이트에 관한 진보로서, 상기 사용자(20)에게 앰비라이트 스크립트를 공급하는 데이터 스트림 또는 데이터 파일을 공급하는 것이 바람직하다. 즉, 텔레비전 스크린(30)에서 보여 지는 비디오 영상으로부터의 주변 광(40)을 위한 구동을 실시간으로 구동하는 것 대신, 예컨대, 사용자(20)에게 추가적인 서비스로서, 앰비라이트 스크립트를 공급함으로서 현재의 비디오 자료와 또한 앞으로의 비디오 자료에 수반하여 일어나는 것이 바람직하다. 이러한 앰비라이트 스크립트가 예컨대, 인터넷을 통한 파일로서, 각각의 CD 또는 DVD 또는 유사한 데이터 캐리어이 유형으로서, 무선 또는 인공위성 연결로 전달되는 데이터 스트림으로서 내려받은 여러 가능한 대안적인 경로를 통해 사용자(20)에게 공급될 수 있다는 점이 더 이해된다. 이러한 대안적인 경로는 "멀티미디어(multimedia)"로서 현시대에 알려져 있다.
도 2를 참고하면, 본 발명에 의해 적어도 일부분 다루어지고, 이미 알고 있는 앰비라이트의 이러한 진보의 결과로서 발생하는 기술 문제는 이미 사용자(20)를 점유하거나 사용자(20)의 디바이스에 의해 수신 가능하거나, 데이터베이스(120)에 저장되어 잠재적으로 상기 사용자(20)에게 접근하기 쉬운 대응하는 비디오 자료에 수신된 앰비라이트 스크립트(100)를 동기화시키는 방법이다. 이러한 기술 문제는, 상기 비디오 자료(110)가 이 비디오 자료(110)로의 앰비라이트 스크립트(100)의 일시적인 동기화를 가능하게 할 임의의 동기화 마커(130) 또는 유사물이 실질적으로 전혀 없는 경우에 악화되므로, 상기 스크립트(100)와 비디오 자료는 동작 시 동시적으로 텔레비전(30)과 앰비라이트 소스(40)에 출력될 수 있다.
두개 이상의 신호를 동시에 동기화시키는 방법이 알려진다. 예컨대, 공개된 국제 PCT 특허 공보번호 PCT/IB2004/051259(WO2005/011281)에서는, 적어도 두개의 신호의 동기화를 위해 사용 가능한 제1 및 제2 핑거프린트를 생성하는 디바이스 및 방법이 설명된다. 이 방법에서, 핑거프린트 쌍은 제1 신호의 세그먼트와 제2 신호의 세그먼트에 기초하여 생성되는데, 다시 말해서 핑거프린트는 제1 및 제2 신호의 완전상태(entirety)뿐만 아니라 이들의 일부분을 위해 생성된다. 예컨대, 상기 제1 신호는 오디오 신호이고, 제2 신호는 비디오 신호이며, 여기서 상기 오디오 신호와 비디오 신호는 소비목적으로 사용자에게 보여 지는 경우에 정확하고 일시적으로 동기화될 것이다. 상기 기술한 특허 출원에서 설명된 방법에서는, 상기 오디오 및 비디오 신호에 관한 생성된 핑거프린트 쌍은 데이터베이스에 저장되어서 동기화 디바이스에 전송되거나 분배된다. 상기 동기화 디바이스를 이용한 오디오 및 비디오 신 호의 동기화 동안에, 상기 오디오 신호와 비디오 신호 둘 다의 핑거프린트는 상기 동기화 디바이스에 의해 생성되고, 이 핑거프린트는 데이터베이스에 있는 핑거프린트와 매칭된다(matched). 매칭이 발견되는 경우에, 상기 핑거프린트는 동기화 시간 지점을 결정하기 위해 사용될 수 있는데, 이 시간 지점은 오디오 및 비디오 신호에 같이 동기화하도록 사용될 수 있다. 더욱이, 이러한 동기화는 상기 오디오 신호 또는 비디오 신호 중 어느 하나를 수정할 필요 없이 달성될 수 있다.
상기 공개된 PCT 특허 출원에서 설명된 방법은, 핑거프린트 쌍이 준비되어서 오디오뿐만 아니라 비디오를 위한 데이터베이스에 저장되어야 하는 문제를 겪는다. 더욱이, 동기화 동안에, 핑거프린트 쌍 매칭 목적을 위한 데이터베이스로의 접근이 용이하지 않거나 실시간으로 제공하는데 비용이 많이 들 수 있다. 그러므로 가전제품에 대해서는, 미리 처리된 핑거프린트 쌍을 저장했던 이러한 데이터베이스와의 연결을 제공하는 것이 항상 실용적이거나 실행 가능한 것은 아니다. 이러한 방법의 추가적인 단점은, 상당한 양의 리소스가 요구된 계산을 위해 필요로 한다는 점에서 그것이 계산상 매력이 없다는 사실이다. 이러한 방법의 더 추가적인 단점은, 비디오 형식의 변화에 대해 취약하다는 것이다. 예컨대, 표준 밀도 비디오를 위해 생성된 핑거프린트는, 상기 핑거프린트를 포함하는 비디오 형식이 높은 밀도 비디오 형식으로 변환되는 경우에 전형적으로 실패할 것이다. 유사하게, 21:9의 프레임 속도를 위해 생성된 핑거프린트는, 상기 비디오가 16:9의 프레임 속도로 잘려진 이후에 전형적으로 실패할 것이다.
그러므로 본 발명에 의해 적어도 부분적으로 다뤄지는 기술 문제는 특히, 앞 에서 기술한 앰비라이트 기술에 관련해서 두개의 데이터 신호를 동기화시키는 대안적인 방법을 제공하는 것이다.
본 발명의 목적은 제1 데이터 신호로부터 핑거프린트를 생성하기 위해 대안적인 방법 및 이 대안적인 방법을 구현하는데 사용 가능한 장치를 제공하는 것이며, 상기 핑거프린트는 예컨대, 앰비라이트에 관련해서 앰비라이트 스크립트와 비디오 내용물을 일시적으로 동기화시키기 위해 상기 제1 데이터 신호를 제2 데이터 신호에 동기화시키도록 선택적으로 채용될 수 있다.
본 발명의 제1 양상에 따르면, 장면의 시퀀스를 포함하는 비디오 스트림을 위한 핑거프린트가 제공되는데, 이 핑거프린트는 상기 장면의 지속시간을 표시하는 정보를 포함한다.
비디오 스트림을 위한 핑거프린트는, 이것이 압축된 정보 조각에 기초하여 비디오 스트림을 식별하는 것을 돕는다는 점에서 비디오 스트림의 인코딩으로 간주될 수 있다. 그러나 이 핑거프린트는 일반적으로 비디오 스트림을 재구성하는데 충분한 정보를 그 자체적으로 제공하지 않는다. 비디오 스트림의 핑거프린트의 개념은 그 자체로 알려진다. 마찬가지로, 장면의 개념은 아래에서 설명되는 바와 같이 비디오 분야에서 그 자체로 알려진다.
핑거프린트의 기본적인 개념은, 이 핑거프린트가 입력 스트링의 간결한 표시로서 역할을 하고, 이 핑거프린트가 상기 스트링으로 독특하게 동일함을 증명할 수 있는 것처럼 사용될 수 있다는 것이다. 상기 발명된 핑거프린트는 특히, 비디오 스트림을 식별하고 이와 동기화하기 위한 목적을 갖는다. 이것은 오히려 상기 비디오 스트림을 비교시키는 것보다는 각각의 비디오 스트림의 핑거프린트를 비교시킴으로써 획득될 수 있다. 대안적으로, 이것은 완전한 비디오 스트림의 핑거플린트의 일부에 대해서 비디오 스트림의 일부로부터 획득된 부분적인 핑거프린트를 비교시킴으로써 획득될 수 있다. 상기 핑거프린트는 완전한 비디오 스트림에서 비디오 스트림의 파편(fragment)의 일시적인 위치를 결정하는 것을 더 가능케 하되, 상기 파편은 상기 완전한 비디오 스트림의 일부이다.
이러한 핑거프린트는 현재의 핑거프린트와 비교해 볼 때 낮은 계산의 복잡도를 갖는다. MPEG와 같은 일부 비디오 분배 형식에 대해서, 디코더는 할당하는 디코더 리소스를 최적화하기 위한 장면 변화 검출을 앞서 실행한다. 그러므로 이러한 핑거프린트는 이러한 디코더에서 아주 적은 추가 비용으로 구현될 수 있다. 특히, 상기 핑거프린트는 상기 장면의 지속시간을 표시하는 정보를 포함하기 보다는 오히려, 이 정보로 구성될 수 있다. 놀랍게도, 이 핑거프린트가 이 정보로만 구성되더라도, 이것은 여전히, 상기 정보가 몇 개의 장면 변화에만 관계하는 경우, 독특한 핑거프린트를 야기한다. 이것은, 단일 프레임에 이르기 까지 해상도로 측정되는 경우에 특히, 전형적인 비디오 스트림의 장면 지속시간의 커다란 변화 가능성에 의해 야기된다.
이러한 핑거프린트는, 상기 장면 지속시간이 전형적으로 이러한 동작에 의해 영향 받지 않기 때문에 비디오 형식을 변화시키거나 트랜스코딩(transcoding)시키는데 강하다.
이러한 핑거프린트는 장면의 시퀀스를 포함하는 임의의 비디오 스트림의 식별을 위한 상당히 효과적인 방법을 용이하게 한다. 이는 또한, 방송되는 영화의 중간에 예컨대 잽핑(zapping)함으로써 비디오 스트림의 개시를 놓친 이후에 시간의 특정 지점으로부터만 수신된 비디오 스트림을 식별하는 것을 가능케 한다. 하나의 이러한 방법은 다음과 같이 동작한다. 먼저 프레임 카운터가 재설정(reset)된다. 장면 변화의 검출 시, 상기 카운터는 판독되고(read out) 나서 재설정된다. 상기 판독 값은, 선택적인 전송 이후에, 한 세트의 기록의 서브세트를 결정하는 매칭 디바이스에 공급된다. 이 서브세트에 대한 각각의 기록은 상기 판독 값과 매칭하는 관련된 핑거프린트를 갖는다. 핑거프린트는, 이러한 값이 이 핑거프린트에서 발생하는 경우, 상기 판독 값에 매칭한다. 대안적으로, 핑거프린트는, 추가적인 값이 상기 핑거프린트에서 발생하는 경우, 상기 값에 매칭할 수 있고, 그것에 의해 상기 값과 추가적인 값 간의 차이 측정값이 임계값을 초과하지 않으므로 사소한 실수에 대해 순응한다. 상기 임계값은 예컨대 상대적으로 긴 장면에서 분실한 프레임에 대하여 강함(robustness)을 제공하기 위해 미리 결정될 수 있거나 상기 값에 의존될 수 있다.
상기 이전의 단계들은 반복되고, 이에 의해 정합 디바이스는, 상기 획득된 서브세트가 비디오 스트림을 식별하는 단일 기록을 포함하거나 상기 서브세트가 비어질 때 즉, 상기 비디오 스트림이 초기 세트에 관련된 기록이 전혀 없을 때까지, 이전에 확립된 서브세트로 계속된다. 원격 매칭 디바이스의 경우에, 최종 결과는 프레임이 카운팅되는 위치로 돌아갈 수 있다. 대안적으로, 상기 매칭 다비이스는, 다수의 프레임 카운트가 투플(tuple)에서 축적되는 경우 매칭만을 시작할 수 있다. 이것은, 예컨대 어떠한 중간 서브세트가 유지될 필요가 없기 때문에 상기 기록 검색을 더욱 효율적으로 만들 수 있는 장점이 있다.
비디오 스트림 식별은, 이 비디오 스트림이 무비라면, 타이틀, 배우, 음악에 대한 메타데이터 또는 상기 비디오 스트림이 노래에 대한 비디오 클립일 경우 아티스트, 앨범, 판매 시점에 관한 메타디이터와의 연결과 같이 그 자체로 여러 어플리케이션을 갖는다.
장면의 지속기간은 장면의 프레임을 카운팅함으로써 결정될 수 있다. 그러나 종래기술에서 알려진 바와 같이, 다른 프레임 속도가 전세계적으로 사용된다. 그러므로 비디오의 프레임 속도의 변환에 대해 핑거프린트의 강함을 더 증가시키기 위해 상기 핑거프린트는 프레임 속도를 고려할 수 있다. 이것은 다양한 방법을 달성될 수 있다.
제1 방법으로는, 장면의 프레임을 카운팅하고 획득된 프레임 카운트를 프레임 주기와 곱함으로써 상기 지속기간이 결정되고, 후자는 두개의 연속 프레임 간의 고정된 양의 시간이다. 이러한 방법으로 상기 장면 지속기간이 획득된다. 이러한 제1 방법으로, 핑거프린트는 단지 상기 지속기간을 표시하는 정보를 포함할 필요가 있다. 이러한 방법은, 현재 사용 중이지 않은 앞으로의 프레임 속도에 대해 변경할 수 있는(open-ended) 장점이 있다. 상기 획득된 지속기간은 초와 같이 미리 결정된 단위로 표현되고, 부동 소수점식 숫자와 같이 핑커프린트에서 인코딩될 수 있다. 유리하게는, 이 지속기간은 밀리초 또는 마이크로초와 같이 미리 결정된 훨씬 작은 단위의 정수배로 표현되고, 2진수로서 핑거프린트에 인코딩된다.
제2 방법으로는, 하나의 특정 프레임 속도는 디폴트(default)라고 미리 결정된다. 각각의 핑거프린트는 상기 하나의 특정 프레임 속도로 지속시간을 포함한다. 장면 지속기간이 하나의 특정 프레임 속도와 다른 프레임 속도를 갖는 프레임을 카운팅함으로써 결정되는 경우, 상기 획득된 프레임 카운트는 하나의 특정 프레임 속도로 변환된다. 예로서, 하나의 특정 프레임 속도는 300 Hz로 미리 결정된다. 상기 예에서, 50 Hz의 프레임 속도에 관한 프레임 카운트는 6으로 곱해지는데, 60 Hz의 프레임 속도에 관한 프레임 카운트는 5로 곱해진다. 이러한 방법은, 하나의 특정 프레임 속도가 핑거프린트에 묵시적(implicit)이므로 이 핑거프린트 그 자체가 추가적인 정보를 포함할 필요가 없는 장점이 있다.
제3 방법으로는, 상기 핑거프린트는 프레임 카운트에 이어서 프레임이 카운팅되었던 프레임 속도를 표시하는 정보를 추가적으로 포함한다. 일예에서, 상기 핑거프린트의 하나의 추가적인 단일 비트는 상기 핑거프린트의 프레임 카운트가 관계하는 프레임 속도를 나타낸다. 이 예에서, 핑거프린트에서는 하나의 추가적인 단일 비트는 1로 설정되는 경우, 이 핑거프린트에서의 프레임 카운트는 60 Hz 프레임 속도에 관계하는 것임에 반하여, 상기 하나의 추가적인 단일 비트가 0으로 설정된 경우, 상기 핑거프린트에서의 프레임 카운트는 50 Hz 프레임 속도에 관계한다. 이러한 예는 프레임 속도를 인코딩하기 위한 단일 비트만을 요구하는 장점이 있다. 다른 예가 가능한데, 여기서 여러 비트는 복수의 미리 결정된 프레임 속도 중 하나를 나타내는데 사용된다. 이러한 제3 방법은, 단일 핑거프린트 형식이 여러 프레임 속도를 지원하는 장점이 있다.
제4 방법으로는, 상기 핑거프린트는 단지 프레임 카운트를 포함하고 발견적 지도법(heuristics)은 프레임 속도가 관계하는 프레임 속도를 결정하는데 적용된다. 일예에서, 비디오 신호가 NTSC 표준에 따른다면, 프레임 속도는 60 Hz로 추론될 수 있지만, 상기 비디오 신호가 PAL 표준에 따른다면, 상기 프레임 속도는 50 Hz로 추론될 수 있다.
여러 다른 방법이 예컨대, 상기 방법의 수치를 결합함으로써 프레임 카운트에 기초한 장면 지속기간을 결정하는데 적용될 수 있다.
청구항 1항에 따른 핑거프린트의 하나의 적용에서는, 상기 핑거프린트는 앰비라이트 스크립트에 관련된다. 앰비라이트 "라이트 스피커(light speakers)"가 장착된 텔레비전 세트 또는 멀티미디어 센터 또는 PC와 같은 엔터테인먼트 디바이스는 비디오 스트림을 스크린에 디스플레이한다. 종래기술에서 알려진 바와 같이, 비디오 내용물은 예컨대 라이트 스피커가 스크린 상의 칼라를 모사하고 확장하도록 텔레비전 세트에 의해 분석될 수 있다.
상기 엔터테인먼트 디바이스는 비디오 스트림의 장면 변화를 결정하고서 이 비디오 스트림의 부분적인 핑거프린트를 계산하고, 상기 부분적인 핑거프린트를 앰비라이트 스크립트와 연관된 핑거프린트에 매칭한다. 매칭이 발견되자마자, 현재 동기화되는 앰비라이트 스크립트는 분석되고 있는 비디오 내용물로부터 인계받고서 라이트 스피커의 칼라를 결정한다.
상기 앰비라이트 스크립트가 상기 라이트 스피커를 제어하는 동안에, 엔터테인먼트 디바이스는 동기화의 손실을 검출하기 위해 비디오 스트림의 장면 변화를 계속 결정한다. 상기 동기화의 손실이 검출되는 경우에, 앰비라이트 스크립트는 라이트 스피커를 제어하는 것을 중단하고 상기 엔터테인먼트 디바이스는 라이트 스피커를 제어하기 위해 비디오 내용물을 분석하는 것으로 복귀한다. 상기 동기화의 손실 이후에, 엔터테인먼트 디바이스는 여전히, 상기 앰비라이트 스크립트와의 동기화를 복원하려고 시도하기 위해 상기 비디오 스트림의 장면 변화를 계속 결정한다.
여러 발견적 지도법이 동기화의 손실을 검출하고 이 동기화를 복원시키기 위해 적용될 수 있다.
제1 발견적 지도법에서는, 상기 동기화의 손실이, 동기화된 핑거프린트가 장면 변화를 지시하지 않는 순간에 장면 변화가 비디오 스트림에서 검출되자마자, 검출될 수 있다. 이것은 상기 손실의 고속 응답 시간의 장점이 있다.
제2 발견적 지도법에서는, 상기 동기화의 손실은, 동기화된 핑거프린트가 임의의 장면 변화를 지시하지 않는 양 순간에 두개의 연속 장면 변화가 상기 비디오 스트림에서 검출되자마자, 검출될 수 있다. 이것은, 동기화의 손실을 잘못되게 검출하는 것을 막을 수 있는 장점이 있다.
제3 발견적 지도법에서는, 상기 동기화의 손실은 비디오 스트림으로부터 유추되거나 엔터테인먼트 디바이스를 동작시키는 사용자로부터 유추되는 다른 신호에 기초하여 검출될 수 있다. 하나의 예로서, 어느 순간에 광고 방송의 블록은 상기 비디오 스트림의 일부로 방송되는 것이 기대될 수 있다. 다른 예로서, 다른 채널로 변경하도록 원격 제어를 동작하는 사용자는 즉시 상기 동기화의 손실을 검출시킬 수 있다. 이것은, 동기화의 손실의 검출이 장면 변화를 검출하는 것에 전적으로 의존하지 않는 장점이 있다.
유사하게 상기 동기화를 복원시키기 위해 다양한 발견적 지도법이 적용될 수 있다.
복원을 위한 제1 발견적 지도법에서는, 상기 복원 단계는 앞선 동기화의 손실의 상태에 기초한다. 하나의 예로서, 상기 동기화의 손실이 다른 채널을 선택하는 사용자에 의해 상실되는(lost) 경우, 상기 동기화는 상기 사용자가 이전의 채널로 복귀한 이후 즉, 엔터테인먼트 디바이스가 상기 손실의 상태를 저장할 때 더 빨리 복원될 수 있다. 이 상태는 매칭된 핑거프린트와 상기 손실이 발생했던 시간의 지점 또는 프레임 카운트의 관련물과 함께 채널을 포함할 수 있다. 다른 예로서, 상기 손실이 광고방송 시간(commercial break)에 의해 야기된다면, 상기 복원 단계는 예컨대 30초 즉, 이 예에서 광고방송 시간의 전형적인 길이 이후에 시도될 수 있다. 또한, 상기 복원 단계는, 상기 광고방송 시간 이전의 비디오 스트림의 조각이 이 광고방송 시간 이후에 반복된다는 사실을 고려할 수 있다. 이러한 비디오 스트림의 조각은 수초 내지 30초 간 전형적으로 지속된다. 이것은 상기 광고방송 시간에 대한 부분적인 핑거프린트를 정정함으로써 예컨대, 상기 부분적인 핑거프린트로부터의 광고방송 시간의 일부인 장면 변화를 제거(cutting out)함으로써 달성될 수 있다. 상기 정정된 부분적인 핑거프린트는 그 다음 앰비라이트 스크립트와 연관된 완전한 핑거프린트에 대하여 매칭된다. 부분적인 핑거프린트를 정정하는 단계는 반복되는 스트림의 조각을 제거하는 단계를 또한 수반한다.
상기 핑거프린트는 다른 매체 타입을 비디오 스트림 특히, 서브타이틀과 동기화시키는데 또한 적합하다.
본 발명은 제1 및 제2 데이터 신호를 더 간단하게 그리고 더 효율적으로 동기화시킬 수 있는 핑거프린트를 생성하는 방법을 가능케 하는데 있어서 추가적인 이점을 갖는다.
선택적으로, 장면의 지속시간을 표시하는 정보는 이 장면이 상기 비디오 스트림에 포함되는 순서로 핑거프린트에 포함된다.
이러한 핑거프린트는 비디오 스트림의 동시적인 식별과 이 비디오 스트림과의 동기화를 제공하는데 이유인 즉은, 핑거프린트가 기록의 초기 세트에 관하여 유니크(unique)하기에 충분한 지속시간을 포함하자마자 현재의 프레임 카운트 수와 비디오 스트림의 개시 사이의 오프셋이 결정될 수 있기 때문이다.
선택적으로, 핑거프린트에서 각각의 지속시간은 그 속의 다수의 비디오 프레임의 카운트로 정의된다.
일부 MPEG 디코더는 디코더 자원의 할당을 최적화하기 위해 장면 변화 검출을 앞서 실행하는데, 효과적으로는, 오직 프레임 카운터만 추가될 필요가 있다. 그러므로 이러한 핑거프린트는 이러한 디코더에서 아주 적은 추가 비용으로 구현될 수 있다.
선택적으로, 핑거프린트에서 각각의 지속시간은:
(a) 비디오 스트림에서 후속 장면의 적어도 제1 영상과, 이와 비교해 볼 때 더 이른 장면의 적어도 마지막 영상 간의 갑작스런 비디오 자료 조명 변화와,
(b) 비디오 스트림에서 후속 장면의 적어도 제1 영상과, 이와 비교해 볼 때 더 이른 장면의 적어도 마지막 영상 간의 공간적인 영상 특징 정보의 갑작스런 변화와,
(c) 비디오 스트림에서 후속 장면의 적어도 제1 영상과 비교해 볼 때 더 이른 장면의 적어도 마지막 영상과 연관된 오디오 정보의 갑작스런 변화 중
하나 이상에 대응하는 장면 변화로 정의된다.
본 발명의 제2 측면에 따르면, 본 발명의 제1 측면에 따라 핑거프린트를 생성하는데 사용 가능한 장치가 제공되는데, 이 장치는:
(a) 비디오 스트림을 수신하기 위한 데이터 입력 장치(arrangement)와,
(b) 비디오 스트림 내에서 장면 변화의 발생을 검출하기 위해 상기 입력 장치를 통해 전달된 비디오 스트림을 분석하고, 상기 검출된 장면 변화의 발생으로부터 비디오 스트림에 포함된 장면의 지속시간을 계산하고, 상기 지속시간으로부터 핑거프린트를 생성하기 위한 데이터 프로세서를
포함한다.
선택적으로, 상기 장치에서, 상기 프로세서는:
(a) 비디오 스트림에서 후속 장면의 적어도 제1 영상과, 이와 비교해 볼 때 더 이른 장면의 적어도 마지막 영상 간의 갑작스런 비디오 자료 조명 변화와,
(b) 비디오 스트림에서 후속 장면의 적어도 제1 영상과, 이와 비교해 볼 때 더 이른 장면의 적어도 마지막 영상 간의 공간적인 영상 특징 정보의 갑작스런 변화와,
(c) 비디오 스트림에서 후속 장면의 적어도 제1 영상과 비교해 볼 때 더 이른 장면의 적어도 마지막 영상과 연관된 오디오 정보의 갑작스런 변화 중
하나 이상에 기초한 분석을 이용하여 상기 비디오 스트림 내에서 장면 변화를 검출하는데 사용 가능하다.
본 발명의 제3 측면에 따르면, 본 발명의 제1 측면에 따른 핑거프린트를 비디오 스트림으로부터 생성하는 방법이 제공되는데, 상기 방법은:
(a) 비디오 스트림을 수신하는 단계와,
(b) 이 비디오 스트림에서 장면 변화의 발생을 검출하는 단계와,
(c) 검출된 장면 변화의 발생으로부터 상기 비디오 스트림에 포함된 장면의 지속시간을 계산하는 단계와,
(d) 이 지속시간으로부터 핑거프린트를 생성하는 단계를
포함한다.
선택적으로, 상기 방법에서, 단계(b)는:
(a) 비디오 스트림에서 후속 장면의 적어도 제1 영상과, 이와 비교해 볼 때 더 이른 장면의 적어도 마지막 영상 간의 갑작스런 비디오 자료 조명 변화와,
(b) 비디오 스트림에서 후속 장면의 적어도 제1 영상과, 이와 비교해 볼 때 더 이른 장면의 적어도 마지막 영상 간의 공간적인 영상 특징 정보의 갑작스런 변화와,
(c) 비디오 스트림에서 후속 장면의 적어도 제1 영상과 비교해 볼 때 더 이른 장면의 적어도 마지막 영상과 연관된 오디오 정보의 갑작스런 변화
중 하나 이상에 기초한 분석에 의해 비디오 스트림 내에서 장면 변화를 검출하는 단계를 포함한다.
장면 변화 검출을 위한 다른 단계 및 기술이 또한 적용될 수 있다는 사실은 언급할 가치가 있다. 사실상, 동일한 검출기가 핑거프린트를 생성하는 것과 부분적인 핑거프린트를 획득하기 위해 비디오 스트림을 분석하는 것 둘 다를 위해 사용되는 한, 무엇이 정확하게 검출되는지는 다소 무관하다.
본 발명의 제4 측면에 따르면, 장면 변화 검출을 비디오 스트림에 적용함으로써 장치에서 비디오 스트림에 보조 매체를 동기화시키는 방법이 제공되는데, 이 방법은:
(a) 상기 장치의 데이터 입력 장치에서 상기 보조 매체와 비디오 스트림을 수신하는 단계와,
(b) 상기 비디오 스트림에서 장면 변화의 발생을 검출하기 위해 상기 입력 장치를 통해 전달된 비디오 스트림을 상기 장치의 데이터 프로세서에서 분석하는 단계와,
(c) 상기 장치에서, 상기 비디오 스트림에 있는 장면 변화에 대응하는 식별자를 포함하는 보조 매체에 기초하여 상기 비디오 스트림과 보조 매체의 상영(presentation)을 동시에 사용자에게 동기화시키는 단계로서, 상기 보조 매체는 앰비라이트 스크립트를 포함하고, 상기 장치에서 적용되는 경우 상기 방법은 상기 앰비라이트 스크립트를 비디오 스트림에 동기화시키는데 동작 가능한, 동기화 단계를
포함한다.
본 발명의 제5 측면에 따르면, 본 발명의 제4 측면에 따라 방법을 실행하기 위해 본 발명의 제2 측면에 따른 장치의 계산 하드웨어에서 사용 가능한 소프트웨어가 제공된다.
본 발명의 제6 측면에 따르면, 본 발명의 제2 측면에 따른 장치를 위한 보조 매체로서 사용을 위한 앰비라이트 스크립트에 대한 데이터 구조가 제공되는데, 상기 데이터 구조는 장면 변화 지시자를 포함하고, 앰비라이트 변화는 각각의 장면에 수반하여 일어난다.
선택적으로, 상기 데이터 구조에서, 앰비라이트 스크립트는 보완하도록 적응되는 비디오 스트림의 장면 변화 분석을 동적으로 제어하기위한 하나 이상의 파라미터를 포함한다.
상기 표현 "데이터 구조"는 특허권 보호를 가져올 수 있도록 초기에 보인 내용인 데이터 단일 형식과 유사한 방식으로 해석될 것이다.
본 발명의 특징은 첨부된 청구범위에 의해 한정된 바와 같이 본 발명의 범위에서 벗어나지 않고 어떠한 결합으로도 결합될 수 있다는 사실이 이해될 것이다.
본 발명의 실시예는 오직 예로서 첨부된 도면을 참고하여 지금부터 설명될 것이다.
도 1은 앰비라이트 시스템을 간단히 도시한 도면.
도 2는 도 1의 시스템에 관한 데이터 동기화를 도시한 도면.
도 3은 도 1에서 도시된 바와 같이 앰비라이트 시스템 상에 존재되는 것을 허용하는 핑거프린트와 비디오 자료에서 장면을 형성하는 영상의 시퀀스를 도시한 도면.
도 4는 도 1의 시스템을 구현하도록 구성된 장치를 도시한 도면.
첨부된 도면에서, 밑줄 친 번호는, 밑줄 친 번호가 위치하는 항목 또는 이 밑줄 친 번호가 인접한 항목을 나타내기 위해 채용된다. 밑줄 치지 않은 번호는 이 밑줄 치지 않은 번호를 상기 항목에 연결하는 선에 의해 식별되는 항목에 관한 것이다. 번호가 밑줄이 없고 관련 화살표를 동반하는 경우 상기 밑줄 치지 않은 번호는 상기 화살표가 지적하는 일반적인 항목을 식별하기 위해 사용된다.
앞서 서술한 것에서 설명된 도 1 및 도 2를 참고하면, 본 발명은 두개의 데이터 신호 예컨대, 앞서 말한 앰비라이트 스크립트(100)를 이에 대응하는 비디오 자료(110)에 동조시키는 자동화 방법에 관한 것이다. 이는 워터마킹(watermarking)하고 신호로부터 핑거프린트를 검출할 목적으로 동기화한다고 알려져 있다. 이러한 핑거프린트는 전통적으로 데이터 신호의 부분을 위해 결정되고, 예컨대 핑거프린트는 국제 PCT 특허 출원 공보 PCT/IP2004/051259(WO2005/011281)에서 설명된 바와 같이 2초간 재생하는 비디오 자료(110)의 부분을 위해 획득될 수 있다. 그러나 이러한 미리 알고 있는 접근법이 계산상 포함되고 또한, 앰비라이트 기술의 경우에 부-최적이다. 더욱이, 이 접근법은 핑거프린트 매칭의 목적으로 외부 데이터베이스에 접근하는데 종종 불편하데, 이는 이러한 접근이 가전 비디오 제품에 바람직한 독립형 작동을(stand-alone operation) 방해하기 때문이다.
본 발명은 예컨대 사용자(20)가 DVD를 구입하는 상황을 대처할 수 있도록 의도되며, 상기 DVD는 이곳에 비디오 자료(110)를 기록하고 이는 또한 편리상 비디오 내용물로 기재된다. 상기 사용자(20)는 사용자의 앰비라이트 시스템(30, 40)에서 DVD를 재생시키고, 선택적으로 앰비라이트는 상기 비디오 자료(110)에 적용되는 분석으로부터 획득되고, 상기 사용자는 비디오 자료(110)가 조화될 수 있다고 본다. 사용자(20)는 계속해서, 인터넷을 검색하는 경우, 대응하는 앰비라이트 스크립트(100)의 가장 최근 버전이 상기 비디오 자료(110)에 수반하여 발생하도록 동작 가능하다는 사실을 발견할 수 있고, 상기 비디오 자료는 이미지와 영상 정보 둘 다를 포함하고, 그 다음 계속해서 인터넷으로부터 스크립트(100)를 다운로드한다. 대안적으로 장치(400)는 스크립트의 이용도 또는 어떠한 사용자와의 상호작용 없이 그들의 업데이트를 확인할 수 있는데, 이는 상기 사용자가 업데이트를 바라는 것으로부터 괴롭힘을 당할 필요가 없다는 점에서 더 많은 편리를 제공한다. 사용자의 앰비라이트 시스템(30, 40)이 본 발명에 따라 사용 가능하다면, 이 앰비라이트 시 스템(30, 40)은 앰비라이트 스크립트(100)의 최신 버전을 비디오 자료(110)에 동기화하고 사용자(20)에게 나타내는 비디오 자료(110)에 동기화된 다운로드된 스크립트(100)의 강화된 시청 체험(enhanced viewing experience)을 상기 사용자(20)에게 제공할 수 있다. 본 발명에 따른 비디오 자료로의 스크립트(100)의 동기화는 지금부터 추가적으로 설명될 것이다.
도 3을 참고하면, 상기 비디오 자료(110)는 200a, 200b, 200c 등으로 표시된 장면의 시퀀스를 포함한다는 점에서 일반적으로 구별된다. 이 비디오 자료(110)는 사용자에 의해 소모될 때 화살표(230)로 표시된 시간의 연속으로 표현될 수 있는 비디오 영상의 시퀀스를 포함한다. 예컨대, 상기 시퀀스는 제1 장면(200a)에 포함된 220으로 표시되는 비디오 영상을 포함한다. 편리하게, 상기 영상은 선택적으로 I-프레임 데이터, P-프레임 데이터 및 B-프레임 데이터를 포함하는 최신 MPEG-4 데이터로서 상기 비디오 자료(110)에서 코딩된다. 최신 MPEG-4 데이터로서 인코딩되는 경우, 각각의 장면(200a, 200b, 200c)은 여러 I-프레임을 포함할 수 있는데, I-프레임은 대응하는 영상의 모든 세부사항을 한정하도록 동작 가능하지만, B 및 P-프레임은 이들의 가장 근접한 이전의 I-프레임에 관하여 발생하는 점진적인 변화를 한정한다. MPEG-4 인코딩은 최신 데이터 분배 시스템에 의해 달성될 수 있는 데이터 압축의 정도로 인해 최신 데이터 분배 시스템에서 흔히 채용된다.
제1 장면(200a)에서는, 왼쪽에서 오른쪽으로 움직이는 동작이 도시되어 있는데, 상기 제1 장면(200a)의 영상을 기록하기 위해 사용되는 카메라는 240으로 표시된 사람에서 이 사람(240) 위에 떠있는 250으로 표시된 비행기로 점진적으로 움직 여지고, 상기 장면(200a)에서의 제1 장면(260)은, 점진적인 전이(transition)가 제1 영상(260)에서 마지막 영상(270)까지 발생하더라도 상기 시퀀스(200a)에서의 마지막 장면(270)과는 완전히 다르다. 또한, 제2 장면(200b)에서는, 300으로 표시된 나무가 시퀀스(200b)의 영상의 오른쪽에서 이 영상의 왼쪽으로 움직여지고, 시퀀스(200b)의 제1 및 마지막 영상(310,320)은 각각 적어도 부분적으로 유사한 영상 특징 세부사항을 포함한다.
더욱이, 제3 장면(200c)에서는, 장면(200c)의 각 영상은 실질적으로 서로 동일하다.
본 발명의 방법에서, 상기 비디오 자료(110)는 비디오 자료(110) 내에서 발생하는 장면을 결정하기 위해 바람직하게는 사용자(20)에게 나타날 때의 소모 시점에서 분석된다. 앞에서 설명된 바와 같이, 상기 비디오 자료(110)에서의 장면 변화는:
(a) 일반적인 조명 세기 또는 영상(In 및 In+1)의 각 픽셀의 칼라 지정(designation)에 관하여 상기 시퀀스에서의 주어진 영상(In)에서 상기 시퀀스에서의 후속 영상(In+1)으로의 갑작스런 변화로서, 예컨대 영상(270)이 노출되어 밝은 환경에 대응하지만 후속 영상(310)은 어두운 숲에 대응하는 경우 영상(270)과 이의 후속 영상(310) 사이에서 일어나는, 갑작스런 변화와,
(b) 후속 영상(In+1)에 관계가 있는 주어진 영상(In)에 존재하는 실질적으로 모든 공간의 영상 특징의 갑작스런 변화와,
(c) 후속 영상(In+1)에 관계가 있는 주어진 영상(In)과 관련된 오디오 스펙트럼 내용의 갑작스런 변화
중 하나 이상으로부터의 본 발명의 방법으로 잠재적으로 식별될 수 있다.
역으로, 주어진 장면에서 연속된 영상은:
(d) 상기 주어진 영상(In)과 이의 후속 영상(In+1)은 영상(In, In+1)과 상관하거나 그렇지 않을 경우 상기 영상과 공통인 공간의 영상 특징을 갖는데, 예컨대 장면(200b)과 이의 후속 장면(330) 둘 다에서의 영상(310)은 실질적으로 유사한 나무 특징을 포함한다는 사실과,
(e) 상기 주어진 영상(In)과 이의 후속 영상(In+1)은 실질적으로 유사한 일반적인 조명 세기를 갖는다는 사실과,
(f) 상기 주어진 영상(In)과 이의 후속 영상(In+1)은 실질적으로 유사한 관련된 오디오 스펙트럼 내용물을 갖는다는 사실
중 하나 이상으로부터의 방법에 의해 식별된다.
영상의 시퀀스에서의 두개의 연속 영상이 비디오 자료(110)를 포함하는지를 결정하는데 있어서, 본 발명의 방법은 임계치 비교를 적용하는데 선택적으로 동작 가능하다. 그러므로 특징을 기술하는 파라미터(Ki)는 유사성을 설명함으로서 또한 상기 시퀀스에서의 연속 영상 간 차이가 선택적으로 계산되거나 그렇지 않을 경우 수학식 1(Eq. 1)로 일반적으로 설명되는 처리 함수(F)를 적용함으로써 본 발명의 방법에 의해 획득된다:
Figure 112008085059043-pct00001
여기서,
Figure 112008085059043-pct00002
는 상기 영상(In, In+1)과 연관된 오디오 스펙트럼 특성에서의 차이의 크기이고,
Figure 112008085059043-pct00003
는 상기 영상(In, In+1)과 연관된 공간의 특징 정보에서의 차이의 크기이고,
Figure 112008085059043-pct00004
는 상기 영상(In, In+1)과 연관된 공간적 특징 정보에서의 차이의 크기이다.
장면 변화가 비디오 자료(110)의 영상의 시퀀스에서 발생하였는지를 결정하기 위한 방법을 적용한다면, 상기 특징을 기술하는 파라미터(Ki)가 임계값(T) 미만의 값을 갖는 경우(즉, Ki<T), 상기 영상(In, In+1)이 장면 내에서 연속되도록 그리고 장면 변화가 상기 파라미터(Ki)가 임계값(T)을 초과할 경우 상기 영상(In, In+1) 사이에서 발생하도록 임계값이 선택적으로 적용될 수 있다. 선택적으로, 상기 크기
Figure 112008085059043-pct00005
,
Figure 112008085059043-pct00006
,
Figure 112008085059043-pct00007
중 하나 이상은 수학식 1을 계산하는 과정에서 하나 이상의 임계값과 비교될 수 있다. 하나 이상의 임계값을 적용하는 것과 대비해 볼 때의 다른 구별 형태가 상기 방법에서 선택적으로 사용될 수 있다.
그러므로 비디오 자료(110)와 앰비라이트 스크립트(100)를 수신하고 상기 비디오 자료(110)에 앞서 언급된 본 발명의 방법을 적용하도록 동작 가능한 사용 자(20)의 장치는 비디오 자료(110)를 포함하는 영상의 시퀀스에서 일어나는 장면 변화를 식별할 수 있고, 상기 장면 변화로부터, 장면의 지속시간이 유추되어 이에 따라 핑거프린트(340)는 비디오 자료(110)에 부속한다. 더욱이, 상기 장치는 소모하기 위해 사용자(20)에게 장면 변화를 나타내기 위해 비이도 자료(110)를 처리할 때 실시간으로 이러한 장면 변화를 검출하도록 유리하게 동작 가능하다. 대안적으로, 상기 장치는 상기 수신된 비디오 자료(110)를 미리 분석하고 상기 자료를 수정하여 장면 변화의 발생을 표시하는 마커(130) 또는 핑거프린트(340)를 포함하도록 지시받을 수 있다. 그러므로 비디오 자료(110)로부터 생성된 앞서 언급된 핑거프린트(340)는 미리 생성되거나 또는 실시간 점진적으로 생성될 수 있다.
비디오 자료(110)의 영상의 시퀀스에 포함된 갑작스런 효과 예컨대, 관련된 갑작스런 번개와 천둥을 지닌 라이트닝 스트라이크(lightning strike)는 상기 장치가 잠재적으로 부정확하게 장면 변화를 검출하도록 할 수 있다는 사실이 이해될 것이다. 그러나 상기 앰비라이트 스크립트(100)가 유사하게 코딩되어서 라이트닝 스트라이크(lightning strike)가 그 내에서 스크립트(100)의 장면 변화로 나타난다면 문제가 되지 않는다. 이러한 라이트닝 스트라이크는, 상기 장치에서 스크립트(100)를 설명하는 경우, 앰비라이트 소스(40)로 하여금 텔레비전 스크린(30)에 나타난 라이트닝 스트라이크의 영상과의 동기화에 대한 조명 효과를 가장하도록 야기할 것이다.
상기 앰비라이트 스크립트(100)는 일련의 장면에 관하여 유리하게 인코딩되고, 각각의 장면에 포함되는 영상의 개수는 광 소스(40)가 상기 장면 동안에 구동 되어야 하는 방식을 제어하는 파라미터와 같이 스크립트(100)에서 설명된다. 다시 말해서, 앰비라이트 스크립트(100)는 비디오 자료(110)로부터 획득될 수 있는 앞서 언급된 핑거프린트(340)와 매칭하도록 바람직하게 생성된다. 그러므로 상기 스크립트(100)는 어떤 장면이 상기 연속물에서 고려되고 있는지를 표시하는 지수(a)와, 이 지수(a)를 갖는 특정 장면에서의 영상의 개수를 나타내는 파라미터(Na)를 선택적으로 제공했다. 주어진 장면 예컨대, 제1 장면(200a)에서, 앰비라이트 소스(40)는, 주어진 장면에 포함된 영상이 소모를 위해 사용자(20)에게 나타날 때, 변화 구동(changing drive) 예컨대, 세기 및/또는 칼라의 변화를 받을 것이다. 선택적으로, 상기 스크립트(100)는, 스크립트(100)에서 또한 설명된 바와 같이 상기 장치로 하여금 장면 변화를 더 확실하게 검출할 수 있도록 본 발명의 방법을 적용하는 경우 수학식 1로 설명된 함수(F)를 계산하는 용도로 하나 이상의 임계값 파라미터 예컨대, 앞서 설명된 임계값(T)을 포함할 수 있다.
그러므로 예로서, 상기 앰비라이트 스크립트(100)는 선택적으로 표 1에서 제공되는 바와 같은 방식으로 구조화될 수 있다.
Figure 112008085059043-pct00008
표 1에서, 앰비라이트 스크립트(100)는 장면 a=1로 시작되고 장면 a=z로 끝나는 장면의 연속에 대응하는 앰비라이트 명령으로 세분된다. 주어진 장면을 포함하는 영상의 개수는 Na로 표시되고 예컨대, 제1 장면(a=1)은 그 속에 200개의 영상을 갖는다. 각 장면에 대한 앰비라이트 조명도는 스크립트(100)에서의 파라미터(L)에 의해 제어되는데, 예컨대 제1 장면(a=1)은 제1 장면의 제1의 150개의 영상에 대한 10의 앰비라이트 조명도와 제1 장면의 제2의 50개의 영상에 대한 20의 앰비라이트 조명도를 가지며, 상기 제1 장면은 전체 200개의 영상을 포함한다. 유사하게, 제1 장면에 대한 앰비라이트 조명의 칼라는 파라미터(G)로 표시된 바와 같이 제1 장면의 제1의 150개의 영상에 대해서 "그레이(grey)"품질을 갖고, 제1 장면 즉, a=1의 제2의 50개의 영상에 대해서 "블루(blue)"품질을 갖는데, 선택적으로, 각각 의 조명 소스(40)에 의해 생성된 칼라는 존재하는 다른 조명 소스에 관한 스크립트(100)에서 개별적으로 구체화될 수 있다. 비록 제1 장면(a=1)이 본 명세서에서 주로 설명되지만, 이 스크립트에서의 후속 장면은 관련된 방식으로 뒤에 따른다는 점을 이해할 것이다. 선택적으로, 상기 스크립트(100)는 비디오 자료(110)의 분석을 동적으로 제어하도록 예컨대, 장면 변화를 앰비라이트 스크립트(100)에 더 확실히 동기화하기 위해 비디오 자료(110)에서 장면 변화가 발생하는 곳을 검출하도록 적용되는 임계값 파라미터(T)를 동적으로 변화시키도록 사용될 수 있는 파라미터(Pa)를 포함한다.
표 1이 앰비라이트 스크립트(100)가 구조화될 수 있는 방식을 설명하더라도, 앰비라이트-제어식 스크립트 데이터의 대안적인 장치가 첨부된 청구범위로 한정된 바와 같이 본 발명의 범위 내에서 실행될 수 있음을 이해할 것이다.
하나의 그러한 예에서는, 수량 Q는 1로 취해진다. 즉, 상기 앰비라이트 스크립트는 각각의 분리된 비디오 프레임에 대한 명시적인 설정을 포함한다. 이것은, 앰비라이트 스크립트가 시간에 맞춰 고해상도로 완전한 제어를 할 수 있다는 이점이 있다.
다른 그러한 예에서는, 상기 앰비라이트 스크립트는 광 스피커를 제어하는 내용 분석 알고리즘에 영향을 주는 파라미터를 제어한다. 이러한 파라미터의 예는 완화 시간(relaxation time)이며, 이는 칼라가 이에 따라서 적응되기 이전에 얼마나 많은 프레임이 분석되는지를 분석한다. 이러한 파라미터는, 너무 민감한 광 효 과는 회피되어야 하기에, 보통 상당히 길게 설정되지만, 상기 번쩍임(flash of a lightning)을 정확하게 따라가기 위해, 상기 파라미터는 상당히 짧아야하는데, 아마도 단일 프레임일 수 있다. 본 발명에 따라 이러한 파라미터를 제어하는 것은, 상기 파라미터가 예컨대 다른 영화의 통과 동안에 너무 민감한 광 효과를 회피시키면서 상당히 작은 값으로 일시적으로 설정되기 때문에 상기 번쩍임이 정확하게 이어질 수 있다는 장점을 갖는다. 알려진 내용 분석 기술로 본 발명에 따라 파라미터를 제어하는 이러한 결합은, 상기 앰비라이트 스크립트가 오직 일부 비트만이 상기 파라미터를 제어하는데 충분할 수 있기 때문에 비교적 작을 수 있다는 추가적인 장점이 있다.
도 1에서는, 사용자(20)의 관점으로부터 앰비라이트 시스템의 전형적인 부분이 도시된다. 도 4에서는, 시스템 하드웨어의 구성이 개략적인 형태로 도시된다. 도 4를 참고하면, 상기 비디오 자료(110)와 앰비라이트 스크립트(100)를 동기화하는 시스템이 400으로 표시된다. 상기 동기화 시스템(400)은 비디오 자료(110)와 앰비라이트 스크립트(100)를 각각 수신하는 데이터 버퍼(410, 420)를 포함한다. 앞에서 설명된 바와 같이, 상기 자료(110)와 스크립트(100)는 다중매체 환경에서 동시에 체험된 바와 같이 서로 다른 데이터 소스에서 제공될 수 있다. 이 동기화 시스템(400)은 디지털 하드웨어에서 구현되는 동기화 프로세서(430)를 더 포함하는데, 선택적으로 상기 프로세서(430)는 소프트웨어를 실행하도록 동작 가능한 컴퓨터 하드웨어를 이용하여 구현될 수 있는데, 상기 소프트웨어는 실행 가능한 상기 계산 하드웨어가 앞서 설명된 바와 같이 동기화 함수를 실행하도록 야기한다. 또한, 상 기 시스템은 텔레비전(30)과 상기 앰비라이트 조명(10)을 각각 제공하는 하나 이상의 앰비라이트 소스(40)에 비디오 데이터를 출력하기 위한 구동기(440, 450)를 더 포함한다. 스크립트(100)에 포함된 데이터에 기초하여 독립적으로 각각 구동될 수 있는 다수의 앰비라이트 소스(40)가 존재하는 경우, 상기 구동기(450)는 대응하는 복수의 구동기 채널을 포함하고, 다시 말해서, 상기 앰비라이트 조명(10)은 동작 시 임의의 주어진 시간의 순간에서도 공간상 변하는 칼라를 가질 수 있다.
동작 시, 상기 프로세서(430)는 예컨대, 도 3을 참고하여 앞서 설명된 바와 같이 무엇에 대하여 장면 변화가 비디오 자료에서 발생하는지를 결정함으로써 비디오 자료(110)를 동기화하도록 동작 가능하며, 이에 따라 상기 프로세서(430)는 상기 비디오 자료(110)의 대응하는 핑거프린트(340)를 결정하기 위해 동작 가능하다. 상기 프로세서(430)는 그 다음, 칼라뿐만 아니라 조명 세기 둘 다에 관하여 버퍼(410)로 수신된 스크립트(100)의 대응하는 장면 변화에 대한 데이터를 결정하고 거기서부터 하나 이상의 조명 소스(40)를 구동하기 위한 버퍼(450)에 출력하기에 적합한 데이터를 결정하도록 동작 가능하다. 앞서 설명된 바와 같이, 장면 변화는:
(a) 후속 장면의 적어도 제1 영상과, 이와 비교해 볼 때 더 이른 장면의 적어도 마지막 영상 간의 갑작스런 비디오 자료 조명 변화와,
(b) 비디오 스트림에서 후속 장면의 적어도 제1 영상과, 이와 비교해 볼 때 더 이른 장면의 적어도 마지막 영상 간의 공간적인 영상 특징 정보의 갑작스런 변화와,
(c) 비디오 스트림에서 후속 장면의 적어도 제1 영상과 비교해 볼 때 더 이 른 장면의 적어도 마지막 영상과 연관된 오디오 정보의 갑작스런 변화
중 하나 이상에 기초한 분석에 의해 발견될 수 있다.
선택적으로, 비디오 자료(110) 내에서의 장면 변화 검출과, 그러므로 앞서 설명된 핑거프린트(340)의 생성은 바로 가까이에 인접한 영상뿐만 아니라 검출 신뢰도를 향상시키기 위해 앞선 여러 영상 및 후속의 여러 영상에서 수집된 정보를 기초하여 검출될 수 있다.
선택적으로, 프로세서(430)가, 사용자(20)에게 앰비라이트 스크립트(100)와 동시 발생하는 비디오 자료(110)를 나타내는 동안, 앰비라이트 스크립트(100)를 비디오 자료(110)에 충분히 동기화할 수 없을 경우에, 상기 프로세서(430)는 비디오 자료(110)에 전적으로 기초하여 앰비라이트 조명(10)의 앰비라이트 조절의 정상적인 최신 모드로 변경하도록 동작될 수 있는데, 이러한 자동 변경으로, 사용자(20)에게 제공되는 강화된 시청 체험의 방해가 적어도 일부분 회피될 수 있는데 이는 즉, 상기 프로세서(430)가 상기 비디오 자료(110)를 비디오 스크립트(100)에 충분히 동기화시킬 수 없다고 발견되는 경우에 갑작스런 앰비라이트 조명(10)의 손실을 피할 수 있음을 의미한다.
상기 동기화 시스템(400)은 텔레비전 수신기의 필수 부품으로서 포함될 수 있다. 대안적으로, 상기 시스템(400)은 애드-온 "디지털 블랙 박스(digital black box)"와 같은 애드-온 유닛(add-on unit) 또는 셋 톱 박스 또는 다중매체 PC로서 종래기술에서 알려진 것으로서 사용자(20)에게 제공될 수 있다. 그러나 대안적으로, 상기 동기화 시스템(400)은 예컨대, 다중매체 또는 다른 통신 채널을 통해 계 산 하드웨어를 갖춘 텔레비전에 다운로드할 수 있는 소프트웨어로 구현될 수 있는데, 이러한 구현은, 더 강화된 앰비라이트 스크립트(100)가 앞으로 사용자(20)에게 이용 가능해지기 때문에 상기 프로세서(430)가 효율적으로 업데이트될 수 있다는 점에서 이점을 갖는다.
선택적으로, 상기 비디오 자료(110)는 예컨대, 디지털 방송 제공자로부터의 비디오 스트림으로 제공된다. 또한, 앰비라이트 스크립트(100)는 보조 매체로서 제공된다. 비디오 자료(110)에 앰비라이트 스크립트(100)를 동기화하는 것이 상기 비디오 자료(110)에서의 장면 식별을 위해 설명되더라도, 다른 유형의 스크립트가 유사한 방식으로 비디오 자료(110)에 동기화될 수 있다는 것이 이해될 것이다. 예컨대, 대안적인 유형의 스크립트는 "냄새 스크립트(smell script)"일 수 있으며, 상기 동기화 시스템(400)은 전자적으로 제어 가능한 냄새 제너레이터(smell generators)가 갖춰져 있고, 이는 비디오 자료(110)에서 일어나는 장면 변화의 검출을 통해 동기화되는 냄새 스크립트에 기초하여 선택적으로 동작될 수 있다. 다른 유형의 보조 다중매체 스크립트는 사용자 주위에 공기 흐름(air flow)을 제어하는 공기 흐름 스크립트를 포함하지만, 다른 유형도 또한 실행될 수 있다.
앰비라이트 시스템은 더욱 몰입하게 하는 시청 체험을 주기위해 예컨대 TV 스크린 주위에 광 효과를 생성하기 위한 시스템이다. 비디오 내용물로부터 어떻게 효과를 획득하는지가 종래기술에서 알려지지만, 주관적으로 더 나은 효과가 상기 앰비라이트 시스템에 지시하고 이를 제어하는 특수 효과 예술가(a special effects artist)에 의해 생성될 수 있다. 이 예술가는 비디오를 보여주고 이 예술가로 하여 금 특정 광 효과를 한정하도록 허용하는 도구를 사용할 수 있다. 상기 결과물은 원본 비디오 내용물과 상관되어야 하는 스크립트일 수 있다.
상기 스크립트를 분배하기에 상대적으로 쉬운 방법은 DVD와 같은 광학 디스크와 같은 하나의 매체 또는 방송 스트림에서 상기 스크립트와 비디오 자료를 결합하는 것이다. 현재 앰비라이트가 표준 특징이 아니기에, 이러한 동기화의 방법은 현재 널리 이용 가능하진 않다.
인터넷과 같은 곳에서 분리된 소스를 이용할 경우, 이는 비디오를 다운로드하지 않고 앰비라이트 시스템을 제어하기 위해 스크립트를 다운로드할 수 있다는 사실이 유익할 수 있다. 이것은 스크립트와 비디오 둘 다가 따로 획득되도록 허용하는 동기화 방법을 요구하지만, 여전히 상기 스크립트를 비디오와 동기화할 수 있다.
본 발명의 실시예에 따르면, 고유한 핑거프린트(340)는 "장면 변화 스탬프(scene change stamp)"로 불리는 두개의 장면 변화 사이의 시간을 카운팅함으로써 비디오 스트림으로부터 획득될 수 있다. N 개의 장면 변화 스탬프의 시퀀스는 "시퀀스 핑거프린트(340)"으로 정의될 수 있다. 상기 스크립트에서 동일한 시퀀스 핑거프린트를 사용함으로써, 이 스크립트를 비디오와 동기화하는 것이 가능하다. 본 발명은 비디오 내용물과의 동기화를 요구하는 다른 보조 매체에 또한 적합하다. 본 발명은 하나의 매체에 스크립트와 비디오를 갖는, 단지 상기 둘 다가 동기화된다는 것을 보장하는 문제를 극복한다. 이러한 발명은 또한, 스크린 상에 시청되는 비디오의 시간 또는 위치에 상관없이 생성될 수 있는 복수의 스크립트를 허용한다.
본 발명의 하나의 특징은, 장면 변화 사이에서의 시간이 저비용의 신뢰성 있는 핑거프린트 방법으로 사용될 수 있으며, 상기 방법은 내용물, 내용물 악화(content deterioration) 또는 비디오/방송 표준{NTSC(60Hz), PAL(50Hz) 등}에 상대적으로 민감하지 않지만 (전체적으로 새로운 비디오를 야기하는) 광범위한 비디오 편집에 대해서 상대적으로 민감하다.
상기 보조 매체가 전체적으로 다른 소스로부터 올 수 있는 비디오와 동기화되는 것을 보장하기 위해, 상기 비디오를 고유하게 식별하는 일종의 핑거프린트가 사용될 수 있다.
본 발명은, 상기 비디오 자료가 어디에서 발생하던지 간에, 편집되지 않을 경우(프레임이 제거되거나 재요청되는 경우) 장면 변화 사이에서의 시간은 특히, 다수의 장면 변화에 걸쳐서 매칭이 완수되는 경우, 비디오 장면을 식별하는데 도움을 준다는 통찰력에 부분적으로 바탕을 둔다. 두개의 장면 변화 사이에서의 시간은 비디오 프레임 속도 및 프레임의 개수로부터 획득될 수 있다.
본 발명에 따른 핑거프린트(340)의 이러한 실시예는, 단지 장면 변화를 검출하고 비디오 프레임 속도를 결정하는 능력만을 필요로 하기 때문에, 상대적으로 저 비용이 든다. 이러한 능력은 그 자체로 종래기술에 각각 알려져 있고, TV에 이미 존재하고 적은 하드웨어 리소스를 요구한다는 점에서 표준 기능으로 여겨질 수 있다.
본 발명은 상기 비디오를 주요 입력으로서 취급하고 비디오 관련 출력 예컨대, 각각의 장면 변화에 대한 장면 변화 스탬프를 갖는 앰비라이트 스크립트를 생 성하는 스크립트 고안 툴로 구체화될 수 있다.
최종 출력 예컨대, 스크립트는 디바이스 예컨대, TV로 다운로딩될 수 있다. 상기 디바이스는 처음 N 개의 장면 변화 스탬프를 독특한 시작 키로 취급할 수 있다. 스크린에 디스플레이되는 비디오가 분석되고 매 장면마다 프레임이 카운팅되고 역 프래임 속도로 곱해져서, "장면 변화 스탬프"가 된다. N 개의 장면 변화 스탬프 중 제1의 장면 변화 스탬프가 상기 스크립트와 매칭하자마자, N 개의 장면 변화 스탬프 중 제2의 장면 변화 스탬프는 최대 N 번째 장면 변화 스탬프까지 검사된다. N은 미리 결정될 수 있고 0.01%와 같이 낮은 의사-긍정(false-positive) 검출 및 예컨대, 99.99% 스코어와 같은 높은 검출 확률을 갖기에 충분히 크고, 지나치게 긴 동기화 시간을 예방하기에 충분히 작도록 선택될 수 있다.
일단 상기 스크립트가 로킹되자 즉, 비디오와 동기화되면, 이의 내용물은 분석되거나 해석되어 앰비라이트 시스템을 제어하는데 사용되는데, 상기 결과는 TV 스크린 주위의 시각적 효과로 불린다.
광고방송 시간이 일어나는 순간에 또는 상기 비디오가 달리 해석되는 경우, 상기 장면 변화 스탬프는 미스매칭하기 시작하고 상기 스크립트는 중단될 수 있다. 스크립트에서의 광고방송 시간 전후의 조사 영역(search area)은 장면 변화 스탬프를 매칭하기 위해 검사될 수 있다. 동기화에 대한 이러한 전략은 영화가 시작되는데 기초하거나 시청하는 사람들로 하여금 개괄하도록 허용하기 위해 실제의 시간보다 조금 일찍 진행된다.
상연 중인 스크립트가 전혀 존재하지 않거나 동기화를 놓친 경우에, 앰비라 이트 시스템은 디폴트 모드로 설정될 수 있는데, 이 디폴트 모드에서 상기 시스템은 비디오 내용물을 따라간다.
앰비라이트 외에도, 비디오와 동기화되어야 하는 임의의 다른 어플리케이션도 이러한 발명을 이용할 수 있다. 예로는 다운로딩가능한 서브타이틀 예컨대, 영화, 리믹스(remix)와 같은 추가적인 음향 트랙, 비디오 관련 애니메이션 및 코멘트를 포함한다.
첨부된 청구범위에 의해 한정된 바와 같이 본 발명의 범위에서 벗어나지 않고 앞서 설명된 본 발명의 실시예로의 변경이 가능하다.
본 발명을 설명하고 청구하기 위해 사용되는 "포함하다", "병합하다", "구성하다", "갖다", "이다"와 같은 표현은 비제한적 방식(non-exclusive manner) 즉, 또한 존재하는 것으로 명시적으로 설명되지 않는 항목(items), 성분(components) 또는 구성요소(elements)를 허용하는 방식으로 해석되도록 의도된다. 단수기재에 대한 언급은 복수기재에 관한 것으로 또한 해석될 것이다.
첨부된 청구범위에서 괄호에 포함된 숫자는 이 청구범위의 이해를 돕도록 의도되고 여하튼 이러한 청구범위에 의해 청구된 내용을 제한하는 것으로 해석되어서는 안 된다.
상술한 바와 같이, 본 발명은 장면의 시퀀스를 포함하는 비디오 스트림에 대한 핑거프린트(fingerprint) 및 보조 매체(secondary media)를 비디오 스트림에 동 조시키도록 사용 가능한 장치에서의 사용에 이용가능 하며, 예컨대, 본 발명은 앰비라이트 스크립트(ambilight script)를 비디오 스트림과 동기화시키는 장치의 문제에 이용가능 하다. 더욱이, 본 발명은 또한, 예컨대 상기 앰비라이트와 관련하여 비디오 스트림을 식별하고 보조 매체를 비디오 스트림에 동기화시키기 위해 핑거프린트를 사용하는 방법에 이용가능 하다. 또한, 본 발명은 이러한 방법을 구현하는데 사용 가능한 계산 하드웨어에서 실행 가능한 소프트웨어에 이용가능 하다.

Claims (19)

  1. 장면(200a, 200b, 200c)의 시퀀스를 포함하는 비디오 스트림(110)에 대한 핑거프린트(fingerprint)(340)로서,
    핑거프린트(340)는 장면(200a, 200b, 200c)의 지속시간을 표시하는 정보를 포함하고, 장면(200a, 200b, 200c)의 지속시간을 표시하는 정보는, 장면(200a, 200b, 200c)이 비디오 스트림(110)에 포함된 순서로 배치되고, 각각의 지속시간은 지속시간 내에 있는 비디오 프레임(260, 270)의 개수의 카운트(count)로서 정의되는, 핑거프린트.
  2. 제 1항에 있어서, 상기 지속시간은:
    (a) 비디오 스트림(110)에서 후속 장면(200b)의 적어도 하나의 제1 영상(310)에 관해 초기 장면(200a)의 적어도 하나의 마지막 영상(270) 간의 비디오 자료 조명 변화와,
    (b) 비디오 스트림(110)에서 후속 장면(200b)의 적어도 하나의 제1 영상(310)에 관해 초기 장면(200a)의 적어도 하나의 마지막 영상(270) 간의 공간적인 영상 특징 정보의 변화와,
    (c) 비디오 스트림(110)에서 후속 장면(200b)의 적어도 하나의 제1 영상(310)에 관해 초기 장면(200a)의 적어도 하나의 마지막 영상(270)과 연관된 오디오 정보의 변화 중
    하나 이상에 대응하는 장면 변화로 정의되는, 핑거프린트.
  3. 비디오 스트림(110)으로부터 제 1항에 기재된 핑거프린트(340)를 생성하기 위해 동작 가능한 장치(400)로서,
    (a) 비디오 스트림(110)을 수신하기 위한 데이터 입력 장치(arrangement)와,
    (b) 비디오 스트림 내에서 장면 변화의 발생을 검출하기 위해 상기 데이터 입력 장치를 통해 전달된 비디오 스트림(110)을 분석하고, 상기 검출된 장면 변화의 발생으로부터 비디오 스트림(110)에 포함된 장면의 지속시간을 계산하고, 상기 지속시간으로부터 상기 핑거프린트(340)를 생성하기 위한 데이터 프로세서(430)로서, 장면(200a, 200b, 200c)의 지속시간은, 장면(200a, 200b, 200c)이 비디오 스트림(110)에 포함된 순서로 배치되고, 각각의 지속시간은 지속시간 내에 있는 비디오 프레임(260, 270)의 개수의 카운트로서 정의되는, 데이터 프로세서(430)를
    포함하는, 동작 가능한 장치.
  4. 제 3항에 있어서, 데이터 프로세서(430)는:
    (a) 후속 장면(200b)의 적어도 하나의 제1 영상(310)에 관해 초기 장면(200a)의 적어도 하나의 마지막 영상(270) 간의 비디오 자료 조명 변화와,
    (b) 후속 장면(200b)의 적어도 하나의 제1 영상(310)에 관해 초기 장면(200a)의 적어도 하나의 마지막 영상(270) 간의 공간적인 영상 특징 정보의 변화와,
    (c) 후속 장면(200b)의 적어도 하나의 제1 영상(310)에 관해 초기 장면(200a)의 적어도 하나의 마지막 영상(270)과 연관된 오디오 정보의 변화 중
    하나 이상에 기초한 분석에 의해 비디오 스트림(110) 내에서 장면 변화를 검출하도록 동작 가능한, 동작 가능한 장치.
  5. 비디오 스트림(110)으로부터 제 1항에 기재된 핑거프린트(340)를 생성하기 위한 방법으로서,
    (a) 비디오 스트림(110)을 수신하는 단계와,
    (b) 비디오 스트림(110)에서 장면 변화의 발생을 검출하는 단계와,
    (c) 검출된 장면 변화의 발생으로부터 비디오 스트림(110)에 포함된 장면의 지속시간을 계산하는 단계와,
    (d) 지속시간으로부터 핑거프린트(340)를 생성하는 단계로서, 장면(200a, 200b, 200c)의 지속시간은, 장면(200a, 200b, 200c)이 비디오 스트림(110)에 포함된 순서로 배치되고, 각각의 지속시간은 지속시간 내에 있는 비디오 프레임(260, 270)의 개수의 카운트로서 정의되는, 생성 단계를
    포함하는, 핑거프린트를 생성하기 위한 방법.
  6. 제 5항에 있어서, 단계(b)는:
    (a) 후속 장면(200b)의 적어도 하나의 제1 영상(310)에 관해 초기 장면(200a)의 적어도 하나의 마지막 영상(270) 간의 비디오 자료 조명 변화와,
    (b) 후속 장면(200b)의 적어도 하나의 제1 영상(310)에 관해 초기 장면(200a)의 적어도 하나의 마지막 영상(270) 간의 공간적인 영상 특징 정보의 변화와,
    (c) 후속 장면(200b)의 적어도 하나의 제1 영상(310)에 관해 초기 장면(200a)의 적어도 하나의 마지막 영상(270)과 연관된 오디오 정보의 변화
    중 하나 이상에 기초한 분석에 의한 비디오 스트림(110) 내에서 장면 변화를 검출하는 단계를 수반하는, 핑거프린트를 생성하기 위한 방법.
  7. 비디오 스트림(110)에 장면 변화 검출을 적용함으로써 장치(400)에서 비디오 스트림(110)에 제 2 매체(100)를 동기화하는 방법으로서,
    (a) 장치(400)의 데이터 입력 장치(410, 420)에서 제 2 매체(100)와 비디오 스트림(110)을 수신하는 단계와,
    (b) 상기 비디오 스트림에서 장면 변화의 발생을 검출하기 위해 상기 데이터 입력 장치(410, 420)를 통해 전달된 비디오 스트림(110)을 장치(400)의 데이터 프로세서(430)에서 분석하고, 검출된 장면 변화의 발생으로부터 상기 비디오 스트림에 포함된 장면의 지속시간을 계산하며, 지속시간으로부터 식별자(340)를 생성하는, 분석 및 계산 및 생성 단계로서, 장면(200a, 200b, 200c)의 지속시간은, 장면(200a, 200b, 200c)이 비디오 스트림(110)에 포함된 순서로 배치되고, 각각의 지속시간은 지속시간 내에 있는 비디오 프레임(260, 270)의 개수의 카운트로서 정의되는, 분석 및 계산 및 생성 단계와,
    (c) 장치(400)에서, 비디오 스트림(110)에 있는 장면 변화에 대응하는 식별자(340)에 연관된 제 2 매체(100)에 기초하여 비디오 스트림(110)과 제 2 매체(100)의 표시(presentation)를 동시에 사용자(20)에게 동기화시키는 단계
    를 포함하는, 비디오 스트림에 제 2 매체를 동기화하는 방법.
  8. 제 7항에 있어서,
    상기 식별자와 제 2 매체(100) 간의 결합(association)은 제 2 매체(100)에서 포함되는, 비디오 스트림에 제 2 매체를 동기화하는 방법.
  9. 제 8항에 있어서,
    식별자(340)는 제 2 매체(100)에 포함되는, 비디오 스트림에 제 2 매체를 동기화하는 방법.
  10. 제 7항 또는 제 8항에 있어서,
    상기 제 2 매체는 앰비라이트 스크립트(100)를 포함하고, 장치(400)내에 적용되는 경우 상기 방법은 비디오 스트림(110)에 앰비라이트 스크립트(100)를 동기화하도록 동작 가능한, 비디오 스트림에 제 2 매체를 동기화하는 방법.
  11. 컴퓨터 판독가능 저장 매체로서,
    제 5항의 핑거프린트를 생성하기 위한 방법 또는 제 7항의 비디오 스트림에 제 2 매체를 동기화하는 방법을 구현하기 위해, 제 3항에 따른 동작 가능한 장치(400)의 계산 하드웨어(430) 상에서 동작 가능한 소프트웨어를 구비한, 컴퓨터 판독가능 저장 매체.
  12. 장면(200a, 200b, 200c)의 시퀀스를 포함하는 비디오 스트림(110)의 핑거프린트(340)를 사용하는 방법으로서,
    핑거프린트(340)는 장면(200a, 200b, 200c)의 지속시간을 표시하는 정보를 포함하고, 장면(200a, 200b, 200c)의 지속시간은, 장면(200a, 200b, 200c)이 비디오 스트림(110)에 포함된 순서로 배치되고, 각각의 지속시간은 지속시간 내에 있는 비디오 프레임(260, 270)의 개수의 카운트로서 정의되고, 상기 방법은 비디오 스트림의 일부분으로부터 획득된 부분적인 핑거프린트를 핑거프린트(340a, 340b)의 일부분에 대해 비교시키는 것을 포함하는, 장면의 시퀀스를 포함하는 비디오 스트림의 핑거프린트를 사용하는 방법.
  13. 제 12항에 있어서,
    상기 방법은 비디오 스트림의 일부분(200a, 200b)으로부터 획득된 부분적인 핑거프린트를 핑거프린트(340a, 340b)의 일부분과 비교함으로써 비디오 스트림(110)을 식별하는 단계를 포함하는, 장면의 시퀀스를 포함하는 비디오 스트림의 핑거프린트를 사용하는 방법.
  14. 제 12항 또는 제 13항에 있어서,
    상기 방법은 비디오 스트림의 일부분으로부터 획득된 부분적인 핑거프린트(340a, 340b)를 핑거프린트(340a, 340b)의 일부분과 비교함으로써 비디오 스트림(110)의 일부분의 일시적인 위치를 결정하는 단계를 포함하는, 장면의 시퀀스를 포함하는 비디오 스트림의 핑거프린트를 사용하는 방법.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
KR1020087030152A 2006-06-13 2007-06-11 비디오를 식별하고 동기화하기 위한 핑거프린트, 장치 및 방법 KR101453254B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP06115337 2006-06-13
EP06115337.5 2006-06-13
PCT/IB2007/052187 WO2007144813A2 (en) 2006-06-13 2007-06-11 Fingerprint, apparatus, method for identifying and synchronizing video

Publications (2)

Publication Number Publication Date
KR20090019830A KR20090019830A (ko) 2009-02-25
KR101453254B1 true KR101453254B1 (ko) 2014-10-21

Family

ID=38832187

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087030152A KR101453254B1 (ko) 2006-06-13 2007-06-11 비디오를 식별하고 동기화하기 위한 핑거프린트, 장치 및 방법

Country Status (9)

Country Link
US (1) US9300927B2 (ko)
EP (1) EP2033443A2 (ko)
JP (1) JP5461176B2 (ko)
KR (1) KR101453254B1 (ko)
CN (1) CN101473653B (ko)
BR (1) BRPI0712894A2 (ko)
MX (1) MX2008015819A (ko)
RU (1) RU2009100847A (ko)
WO (1) WO2007144813A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102905054A (zh) * 2012-10-23 2013-01-30 无锡风格软件有限公司 一种基于图像多维特征值比对的视频同步方法

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010528416A (ja) * 2007-05-22 2010-08-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ディスプレイデバイス用のアンビエンス照明システム及び斯様なアンビエンス照明システムを動作させる方法
CN101463963B (zh) * 2007-12-21 2010-09-29 富士迈半导体精密工业（上海）有限公司 照明系统
US8205148B1 (en) * 2008-01-11 2012-06-19 Bruce Sharpe Methods and apparatus for temporal alignment of media
DE102008009024A1 (de) * 2008-02-14 2009-08-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum synchronisieren von Mehrkanalerweiterungsdaten mit einem Audiosignal und zum Verarbeiten des Audiosignals
DE102008009025A1 (de) * 2008-02-14 2009-08-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Berechnen eines Fingerabdrucks eines Audiosignals, Vorrichtung und Verfahren zum Synchronisieren und Vorrichtung und Verfahren zum Charakterisieren eines Testaudiosignals
US20110066944A1 (en) 2009-09-14 2011-03-17 Barton James M Multifunction Multimedia Device
US10515523B2 (en) 2010-07-21 2019-12-24 D-Box Technologies Inc. Media recognition and synchronization to a motion signal
JP5813767B2 (ja) * 2010-07-21 2015-11-17 ディー−ボックス テクノロジーズ インコーポレイテッド メディア認識及びモーション信号への同期
US8928809B2 (en) * 2010-09-15 2015-01-06 Verizon Patent And Licensing Inc. Synchronizing videos
KR101133059B1 (ko) * 2011-09-02 2012-04-04 주식회사 포트론 냄새발생 시스템
US8538239B2 (en) * 2011-12-22 2013-09-17 Broadcom Corporation System and method for fingerprinting video
US9226011B2 (en) 2012-09-11 2015-12-29 Comcast Cable Communications, Llc Synchronizing program presentation
US9495451B2 (en) 2013-01-07 2016-11-15 Gracenote, Inc. Identifying video content via fingerprint matching
US9323840B2 (en) * 2013-01-07 2016-04-26 Gracenote, Inc. Video fingerprinting
EP2854392A1 (en) * 2013-09-30 2015-04-01 Advanced Digital Broadcast S.A. Lighting system for a display unit and method for providing lighting functionality for a display unit
US20150117830A1 (en) * 2013-10-30 2015-04-30 Google Inc. Light tracks for media content
EP2876890A1 (en) * 2013-11-21 2015-05-27 Thomson Licensing Method and apparatus for frame accurate synchronization of video streams
US9449258B1 (en) 2015-07-02 2016-09-20 Agt International Gmbh Multi-camera vehicle identification system
GB2552511A (en) * 2016-07-26 2018-01-31 Canon Kk Dynamic parametrization of video content analytics systems
US11134279B1 (en) 2017-07-27 2021-09-28 Amazon Technologies, Inc. Validation of media using fingerprinting
CN111096078B (zh) * 2017-09-18 2022-10-28 昕诺飞控股有限公司 一种用于创建视频的光脚本的方法和系统
US10506275B1 (en) 2018-07-16 2019-12-10 Gracenote, Inc. Dynamic control of fingerprinting rate to facilitate time-accurate revision of media content
US11178451B2 (en) * 2018-08-17 2021-11-16 Roku, Inc. Dynamic playout of transition frames while transitioning between playout of media streams
US11317143B2 (en) 2018-08-17 2022-04-26 Roku, Inc. Dynamic reduction in playout of replacement content to help align end of replacement content with end of replaced content
WO2020151993A1 (en) * 2019-01-21 2020-07-30 Signify Holding B.V. A controller for controlling a lighting device based on media content and a method thereof
US11321904B2 (en) 2019-08-30 2022-05-03 Maxon Computer Gmbh Methods and systems for context passing between nodes in three-dimensional modeling
FR3106783A1 (fr) * 2020-02-03 2021-08-06 Psa Automobiles Sa Combiné d’instruments numérique pour véhicule automobile doté d’un dispositif d’éclairage d’ambiance indirect
US11714928B2 (en) 2020-02-27 2023-08-01 Maxon Computer Gmbh Systems and methods for a self-adjusting node workspace
US20210352341A1 (en) * 2020-05-06 2021-11-11 At&T Intellectual Property I, L.P. Scene cut-based time alignment of video streams
US11373369B2 (en) 2020-09-02 2022-06-28 Maxon Computer Gmbh Systems and methods for extraction of mesh geometry from straight skeleton for beveled shapes
US11917231B2 (en) 2020-10-29 2024-02-27 Roku, Inc. Real-time altering of supplemental content duration in view of duration of modifiable content segment, to facilitate dynamic content modification
CN112839257B (zh) * 2020-12-31 2023-05-09 四川金熊猫新媒体有限公司 视频内容检测方法、装置、服务器及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004528600A (ja) * 2001-05-25 2004-09-16 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション オーディトリーイベントに基づく特徴付けを使ったオーディオ信号の時間調整方法
KR20060037403A (ko) * 2003-07-25 2006-05-03 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 및 비디오를 동기화시키기 위하여 핑거프린트들을생성하여 검출하는 방법 및 장치

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4677466A (en) 1985-07-29 1987-06-30 A. C. Nielsen Company Broadcast program identification method and apparatus
JP3918201B2 (ja) * 1995-11-24 2007-05-23 ソニー株式会社 送信装置および受信装置
US20020120925A1 (en) * 2000-03-28 2002-08-29 Logan James D. Audio and video program recording, editing and playback systems using metadata
JP3104681B2 (ja) 1998-06-10 2000-10-30 日本電気株式会社 オーディオ・ビデオ同期再生方法および装置
US6493872B1 (en) 1998-09-16 2002-12-10 Innovatv Method and apparatus for synchronous presentation of video and audio transmissions and their interactive enhancement streams for TV and internet environments
US6583821B1 (en) 1999-07-16 2003-06-24 Thomson Licensing S.A. Synchronizing apparatus for a compressed audio/video signal receiver
US6654067B1 (en) * 1999-12-30 2003-11-25 Koninklijke Philips Electronics N.V. Finding hidden images in video based on detected proximity of cuts
JP2002199333A (ja) 2000-12-27 2002-07-12 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
DE60228202D1 (de) 2001-02-12 2008-09-25 Gracenote Inc Verfahren zum erzeugen einer identifikations hash vom inhalt einer multimedia datei
US20050229204A1 (en) * 2002-05-16 2005-10-13 Koninklijke Philips Electronics N.V. Signal processing method and arragement
JP2006500811A (ja) * 2002-09-23 2006-01-05 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ビデオレコーダ装置およびその動作方法
US8020000B2 (en) 2003-07-11 2011-09-13 Gracenote, Inc. Method and device for generating and detecting a fingerprint functioning as a trigger marker in a multimedia signal
WO2005017781A1 (en) * 2003-07-25 2005-02-24 Sony Electronics Inc. Video content scene change determination
EP1687806A1 (en) 2003-11-18 2006-08-09 Koninklijke Philips Electronics N.V. Matching data objects by matching derived fingerprints
US7932953B2 (en) * 2004-01-05 2011-04-26 Koninklijke Philips Electronics N.V. Ambient light derived from video content by mapping transformations through unrendered color space
JP4698609B2 (ja) 2004-01-06 2011-06-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 周囲光スクリプト・コマンドのコード化
KR100982517B1 (ko) 2004-02-02 2010-09-16 삼성전자주식회사 이벤트 정보가 포함된 동영상 데이터가 기록된 저장 매체 및 재생 장치
US7587064B2 (en) * 2004-02-03 2009-09-08 Hrl Laboratories, Llc Active learning system for object fingerprinting
US20050185711A1 (en) * 2004-02-20 2005-08-25 Hanspeter Pfister 3D television system and method
JP2008505384A (ja) * 2004-06-30 2008-02-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ・コンテンツに由来し、知覚ルール及びユーザ嗜好によって影響される放送による周辺光発生
KR100694060B1 (ko) * 2004-10-12 2007-03-12 삼성전자주식회사 오디오 비디오 동기화 장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004528600A (ja) * 2001-05-25 2004-09-16 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション オーディトリーイベントに基づく特徴付けを使ったオーディオ信号の時間調整方法
KR20060037403A (ko) * 2003-07-25 2006-05-03 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 및 비디오를 동기화시키기 위하여 핑거프린트들을생성하여 검출하는 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102905054A (zh) * 2012-10-23 2013-01-30 无锡风格软件有限公司 一种基于图像多维特征值比对的视频同步方法

Also Published As

Publication number Publication date
WO2007144813A2 (en) 2007-12-21
KR20090019830A (ko) 2009-02-25
EP2033443A2 (en) 2009-03-11
MX2008015819A (es) 2009-01-12
US9300927B2 (en) 2016-03-29
RU2009100847A (ru) 2010-07-20
JP5461176B2 (ja) 2014-04-02
WO2007144813A3 (en) 2008-05-02
BRPI0712894A2 (pt) 2012-10-09
US20090167942A1 (en) 2009-07-02
JP2009540723A (ja) 2009-11-19
CN101473653B (zh) 2011-11-16
CN101473653A (zh) 2009-07-01

Similar Documents

Publication Publication Date Title
KR101453254B1 (ko) 비디오를 식별하고 동기화하기 위한 핑거프린트, 장치 및 방법
US11445258B2 (en) Method and system for presenting additional content at a media system
US11778247B2 (en) Dynamic insertion of content within live streaming video
KR101622898B1 (ko) 스마트 텔레비전에 의하여 삽입된 텔레비전 광고를 대체하는 사용자 제어
JP2007512735A (ja) 周辺の番組コンテンツに基づいた、ビデオ・ストリームへのコマーシャルの挿入
JP2018530257A (ja) メディアコンテンツタグデータの同期化
TWI779302B (zh) 使用隱寫編碼資料作為基礎來消歧基於指紋的頻道多匹配
JP2021052416A (ja) ストリーミングコンテンツの中に広告をつなぎ合わせるためのシステムおよび方法
JP6422511B2 (ja) 再生を介した関連するビデオコンテンツの自動特定
KR20240006075A (ko) 다운스트림 엔티티에 의한 액션을 용이하게 하기 위한, 전송 스트림 메타데이터를 기반으로 하는 미디어의 동적 워터마킹
KR20220031706A (ko) 동적 콘텐츠 수정의 포기를 제어하기 위한 워터마킹 사용
US11509945B2 (en) Methods and systems for dynamic media content
US20130232531A1 (en) Video and/or audio data processing system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee