KR101107366B1 - Video scene matching on return from virtual rendering in a consumer digital video recording device - Google Patents

Video scene matching on return from virtual rendering in a consumer digital video recording device Download PDF

Info

Publication number
KR101107366B1
KR101107366B1 KR1020090100924A KR20090100924A KR101107366B1 KR 101107366 B1 KR101107366 B1 KR 101107366B1 KR 1020090100924 A KR1020090100924 A KR 1020090100924A KR 20090100924 A KR20090100924 A KR 20090100924A KR 101107366 B1 KR101107366 B1 KR 101107366B1
Authority
KR
South Korea
Prior art keywords
video stream
video
virtual screen
virtual
program instructions
Prior art date
Application number
KR1020090100924A
Other languages
Korean (ko)
Other versions
KR20100047137A (en
Inventor
브라이언 엠 오코넬
제프리 디 암스테르담
2세 릭 알렌 해밀톤
컬버 에스 보갈
그레고리 제이 보스
케이쓰 알 워커
Original Assignee
인터내셔널 비지네스 머신즈 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터내셔널 비지네스 머신즈 코포레이션 filed Critical 인터내셔널 비지네스 머신즈 코포레이션
Publication of KR20100047137A publication Critical patent/KR20100047137A/en
Application granted granted Critical
Publication of KR101107366B1 publication Critical patent/KR101107366B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel

Abstract

본 방법, 시스템 및 컴퓨터 프로그램은 가상(컴퓨터 생성된) 화면으로부터 관련 비디오 스트림으로 복귀하는 천이를 부르럽게하는 메카니즘을 제공한다. 비디오 스트림의 콘텐츠와 관련된 가상 화면으로부터 비디오 스트림의 디스플레이로의 복귀를 트리거링하는 사용자 입력 또는 타임아웃과 같은 이벤트가 수신된다. 복수의 시점들 및/또는 카메라 앵들들이 사용자에게 제시되거나 또는 최상의 매칭에 대해 자동적으로 검색된다. 리스트가 자동적으로 검출된 매칭 기준에 따라 순서적으로 제시될 수 있다. 가상 화면은 컴퓨터 또는 디지털 비디오 레코더(DVR)내에서 국부적으로 구축된 화면일 수 있으며, 서버와 같은 콘텐츠 공급자로부터 제공된 앵글 및 시간 정보에 기초하여 국부적으로 수행된 매칭, 또는 가상 화면 생성 및 매칭은 콘텐츠 서버와 같은 원격 위치에서 수행될 수 있다.The present method, system and computer program provide a mechanism to invoke a transition back from a virtual (computer generated) picture to the associated video stream. Events such as user input or timeouts are received that trigger a return from the virtual screen associated with the content of the video stream to the display of the video stream. A plurality of viewpoints and / or camera angles are presented to the user or automatically searched for the best match. The list may be presented in order according to the matching criteria detected automatically. The virtual screen may be a screen built locally in a computer or a digital video recorder (DVR), and a matching performed locally or based on angle and time information provided from a content provider such as a server, or virtual screen generation and matching It can be performed at the same remote location as the server.

컴퓨터, 가상, 화면, 비디오, 스트림. Computer, virtual, screen, video, stream.

Description

소비자 디지털 비디오 레코딩 장치에서 가상 랜더링으로부터의 복귀에 대한 비디오 화면 매칭{VIDEO SCENE MATCHING ON RETURN FROM VIRTUAL RENDERING IN A CONSUMER DIGITAL VIDEO RECORDING DEVICE}VIDEO SCENE MATCHING ON RETURN FROM VIRTUAL RENDERING IN A CONSUMER DIGITAL VIDEO RECORDING DEVICE}

본 발명은 소비자 디지털 비디오 레코딩 장치(DVR)에 관한 것이며, 보다 구체적으로는, 비디오 스트림을 가상 화면으로부터의 종료점과 매칭시키는 방법 및 DVR에 관한 것이다.The present invention relates to a consumer digital video recording device (DVR), and more particularly, to a method and a DVR for matching a video stream with an end point from a virtual screen.

개인 비디오 레코더(PVR)와 같이 휴대형 장치, 셋탑 박스 또는 디지털 또는 아날로그 네트워크 소스로부터 제공된 비디오 인터페이스 및/또는 비디오 성능을 갖는 컴퓨터의 형태로 존재할 수 있는 디지털 비디오 레코더(DVR)는 가정 또는 다른 장소들에서 유비쿼터스화되어 가고 있다.A digital video recorder (DVR), which may exist in the form of a portable device such as a personal video recorder (PVR), a computer with a set-top box or a video interface and / or video capability provided from a digital or analog network source, may be used at home or in other places. It is becoming ubiquitous.

Uyttendaele 등의 미국 특허 제7,142,209호에서 개시된 것과 같은 기술들은 사용자가 비디오 프로그램을 바라볼 때에, 사용자 자신의 투시(perspective), 예컨대 "개인" 카메라 앵글의 사용자 제어를 가져다 주기 위해 가상 화면 기술과 비디오를 병합시키는 가능성을 제공해준다. Freeman 등의 미국 공개특허출원 제2002/0188943호에서 개시된 것과 같은 다른 기술들은 사용자 선택에 응답하여, "끈 김없는(seamless)" 즉, 서로 다른 실제 비디오 장면들 또는 그래픽 오버레이들간의 비디오 동기화된 전환뿐만이 아니라, 다른 프로그램 소스들을 제공한다. Techniques such as those disclosed in U.S. Pat.No. 7,142,209 to Uyttendaele et al. Employ virtual screen technology and video to bring a user's perspective, such as user control of a "personal" camera angle, when viewing the video program. It offers the possibility of merging. Other techniques, such as those disclosed in U.S. Patent Application Publication No. 2002/0188943 to Freeman et al., Respond to user selection, "seamless," ie, video-synchronized transitions between different real video scenes or graphic overlays. In addition, it provides other program sources.

하지만, 사용자가 진실로 통합된 끊김없는 경험을 갖고자 하는 경우, 비디오는 동기화되어야하는 것 뿐만이 아니라, 카메라 앵글, 프로그램 위치 및 디스플레이되는 비디오의 기타 특징들에서의 변경은 비디오 소스들 및/또는 가상 화면들 사이에서의 천이에서 최소화되어야 한다. 특히, 가상 화면으로부터 수 많은 비디오 스트림들 중 하나일 수 있는, 비디오 스트림으로 복귀하는 천이는, 비디오 스트림(또는 다중 스트림들로부터 선택된 비디오 스트림)은 임의적인 카메라 앵글 및 이벤트 시간을 가질 수 있는 반면에, 가상 화면의 콘텐츠는 일반적으로 사용자 제어하에 있다는 점에서 복잡한 문제거리이다.However, if the user wants to have a truly integrated seamless experience, not only the video needs to be synchronized, but also changes in camera angles, program position and other features of the video being displayed are the video sources and / or the virtual screen. Minimize in transitions between them. In particular, the transition back to the video stream, which may be one of a number of video streams from the virtual screen, may be that the video stream (or a video stream selected from multiple streams) may have arbitrary camera angles and event times. However, the content of the virtual screen is a complex problem in that it is generally under user control.

그러므로, 프로그램 조망자들에게 보다 끊김없는 조망 경험을 제공하기 위해, 가상 화면으로부터 비디오 스트림으로의 천이 변경들을 최소화할 수 있는 방법 및 시스템을 제공하는 것이 바람직할 것이다.Therefore, it would be desirable to provide a method and system that can minimize transition changes from a virtual picture to a video stream in order to provide a more seamless viewing experience for program viewers.

본 발명은 방법, 디지털 비디오 레코딩 장치(DVR), 및 컴퓨터 프로그램 제품으로 구현된다. 디지털 비디오 레코딩 장치는 개인 비디오 레코더(PVR), 셋탑 박스, 개인 컴퓨터, 또는 비디오 스트림과 가상 화면간의 선택을 제공해주는 기타 다른 장치일 수 있다.The invention is embodied in a method, a digital video recording device (DVR), and a computer program product. The digital video recording device may be a personal video recorder (PVR), set top box, personal computer, or other device that provides a choice between the video stream and the virtual screen.

현재 디스플레이되는 가상 화면으로부터 이전에 디스플레이되었던 비디오 스트림으로 복귀하도록 변경하기 위한 요청을 표시하는 이벤트가 수신된다. 가상 화면에 대한 전환시간은 저장되고, 이러한 이벤트의 수신시에 검색되어, 가상 화면으로부터 선택된 비디오 스트림으로의 천이를 위한 진입점 및/또는 비디오 소스들의 가능한 선택들을 필터링하는데 이용된다. 선택된 비디오 스트림은 가상 화면의 종료점에서의 카메라 앵글에 따라 다수의 비디오 소스들로부터 선택될 수 있거나, 또는 만약 오직 단일한 비디오 스트림이 이용가능한 경우에, 카메라 앵글을 가상 화면 종료점에 가능한 한 가깝게 매칭시킴으로써 비디오 스트림으로의 진입 시간이 선택될 수 있다.An event is received that indicates a request to change from the currently displayed virtual screen to return to the previously displayed video stream. The transition time for the virtual picture is stored and retrieved upon receipt of such an event and used to filter possible selections of entry points and / or video sources for transitioning from the virtual picture to the selected video stream. The selected video stream can be selected from multiple video sources depending on the camera angle at the end of the virtual screen, or if only a single video stream is available, by matching the camera angle as close as possible to the virtual screen end point. The entry time into the video stream can be selected.

비디오 스트림(들)의 카메라 앵글들은 부수적 정보로서 비디오 스트림(들)과 함께 제공될 수 있거나, 또는 비디오 스트림과 함께 인코딩되거나 또는 다른 채널 또는 네트워크를 통해 제공될 수 있다. 이와 달리, 정지 화상들이 카메라 앵글들을 발견하기 위해 매칭된 비디오 스트림 및 패턴으로부터 추출될 수 있다. 비디오 스트림 및 진입 시간의 선택은 사용자 선택하에서, 예컨대 "최상의 매칭" 내림 정렬로 순서화될 수 있는 리스트를 제공함으로써 행해질 수 있거나, 또는 "최상의 매칭" 비디오 스트림 및 진입점에 대한 재생을 지시함으로써 천이가 자동적으로 행해질 수 있다.The camera angles of the video stream (s) may be provided with the video stream (s) as incidental information, or may be encoded with the video stream or provided via another channel or network. Alternatively, still images can be extracted from the matched video stream and the pattern to find camera angles. The selection of the video stream and entry time can be done by providing a list that can be ordered under user selection, such as, for example, a "best match" descending sort, or transition by indicating playback for the "best match" video stream and entry point. Can be done automatically.

본 발명의 전술한 목적들, 특징들, 및 장점들, 그리고 이와 다른 목적들, 특징들, 및 장점들은 이하의 내용, 보다 구체적으로는, 첨부된 도면들에서 도시된, 본 발명의 바람직한 실시예의 설명으로부터 분명해질 것이다.The foregoing objects, features, and advantages of the present invention, as well as other objects, features, and advantages of the present invention, are described in the following, more specifically, in the preferred embodiments of the invention shown in the accompanying drawings. It will be clear from the description.

본 방법, 시스템 및 컴퓨터 프로그램은 가상(컴퓨터 생성된) 화면으로부터 관련 비디오 스트림으로 복귀하는 천이를 부르럽게하는 메카니즘을 제공한다.The present method, system and computer program provide a mechanism to invoke a transition back from a virtual (computer generated) picture to the associated video stream.

본 발명은 가상 화면들(예컨대, 컴퓨터 랜더링된 화면들)과 비디오 스트림들[예컨대, 비디오 카메라 풋티지(footage)] 사이를 교대하는 시스템 및 장치에 관한 것이다. 보다 끊김없는 조망 경험을 제공하기 위해, 비디오 스트림 콘텐츠와 관련된 가상 화면을 디스플레이하는 것으로부터 복귀시, 가상 화면의 종결점에서 카메라 앵글 및/또는 콘텐츠를 가깝게 매칭시키는 비디오 스트림 및/또는 시점(time point)이 발견된다. 실질적으로 끊김없는 비디오 스트림으로의 복귀 천이를 제공할 가상 화면으로부터의 종료(exit) 시점을 위치확인하기 위해, 추출된 정지 화상들을 매칭시키거나, 또는 다른 화면 매칭 기술들을 통해 단일 비디오 스트림이 검색될 수 있다. 시점은 비디오 스트림으로부터의 저장된 종료점의 시간 스탬프를 조사함으로써 비디오 스트림으로부터의 이전의 종료 이후의 시간으로 제약된다. 만약 다수의 비디오 스트림들, 예컨대 서로 다른 카메라 앵글들을 갖는 서로 다른 카메라들로부터의 비디오 스트림들이 이용가능하다면, 가상 화면의 종결점의 투시와 가장 가깝게 매칭하는 비디오 스트림이 제시될 것이다. 선택이 "최상의 매칭" 기준에 따라 자동적으로 행해질 수 있거나, 또는 다수의 비디오 소스들 및/또는 시점들로부터의 선택을 위해 리스트가 조망자에게 제시될 수 있다. 카메라 앵글 정보가 예컨대, 인터넷 공급처와 같은 별도의 채널로부터 비디오 스트림 정보와 함께 제공될 수 있거나, 또는 브로드캐스트, 위성 또는 폐쇄 회로 분배 소스에서의 비디오 스트림 정보와 함께 인코딩될 수 있다.The present invention is directed to a system and apparatus for alternating between virtual screens (eg, computer rendered screens) and video streams (eg, video camera footprint). To provide a more seamless viewing experience, a video stream and / or time point that closely matches the camera angle and / or content at the end of the virtual screen upon returning from displaying the virtual screen associated with the video stream content. ) Is found. In order to locate an exit point from the virtual screen that will provide a return transition to a substantially seamless video stream, a single video stream may be searched through matching extracted still pictures or through other screen matching techniques. Can be. The time point is constrained to the time since the previous end from the video stream by examining the time stamp of the stored endpoint from the video stream. If multiple video streams are available, such as video streams from different cameras with different camera angles, a video stream that most closely matches the perspective of the end point of the virtual screen will be presented. The selection may be made automatically according to the "best matching" criteria or the list may be presented to the viewer for selection from multiple video sources and / or viewpoints. Camera angle information may be provided with video stream information, for example from a separate channel, such as an Internet source, or may be encoded with video stream information from a broadcast, satellite or closed circuit distribution source.

이제 도 1을 참조하면, 본 발명의 실시예에 따른, 디지털 비디오 레코더(DVR)(10)가 도시된다. DVR(10)은 외부 디지털 텔레비젼(DTV) 디스플레이(14)에 연결되지만, 이와 달리 DVR(10)은 일체형 디스플레이를 갖는 휴대형 장치일 수 있다. 본 발명의 방법에 따른 예시적인 실시예에서, 원격 제어기(12)는 사용자 입력을 제공하기 위해 DVR(10)의 동작을 제어하는데 이용된다. 하지만, DVR(10)에 일체화된 버튼 및 기타 제어기들과 같이, 다른 사용자 입력 방법론들이 활용될 수 있음을 이해한다. DVR(10)는 원격 제어기(12)로부터 명령을 수신하기 위한 적외선(IR) 인터페이스(13)와, 이하의 자세한 설명에서 기술된 방법론들에 따라 비디오 및 가 상 화면 정보를 프로세싱하고, 또한 DVR 동작들과 대체로 연관된 제어 및 기타 기능을 제공하는 프로그램 명령어들을 실행하는 프로세서(16)를 포함한다. 프로그램 및 비디오 메모리(17)는 본 발명의 컴퓨터 프로그램 제품 실시예에 따른 프로그램 명령어를 포함하여, 데이터 및 프로그램 명령어를 저장하기 위해 프로세서(16)에 결합된다. 무선 주파수(RF)/비디오 인터페이스(18)는 브로드캐스트, 폐쇄 회로 또는 기타 비디오 스트리밍 소스로부터 비디오 신호 또는 RF 신호를 수신하고, DTV 디스플레이(14)에 의한 최종적인 디스플레이를 위해 이것들을 프로세서(16)에 의한 선택용으로 제공한다. 네트워크 인터페이스(19)는 RF/비디오 인터페이스(18)에 의해 수신된 비디오 스트림과 연관된 부수적인 카메라 앵글 및 기타 정보와 같은 추가적인 정보를 수신하기 위해, 인터넷과 같은 공용 네트워크 또는 개인 네트워크에 대한 유선 접속 또는 무선 접속을 제공한다. 이와 달리, 네트워크 인터페이스(19)는 비디오 스트림(예컨대, MPEG 스트림) 및 택일적사항의 추가적인 부수적 정보 모두를 수신하기 위한 전반적인 인터페이스를 구성할 수 있다. 디지털 다기능 디스크(DVD) 드라이브(15) 및 하드 디스크 드라이브(HDD)(11)가 또한 비디오 프로그램 및 기타 정보를 레코딩하기 위해 모두 DVR(10)내에 포함된다. 본 발명의 다른 대안적인 실시예에서, DVD 드라이브(15)내로 삽입되거나 또는 하드 디스크 드라이브(HDD)(11)상으로 삽입되는 디스크상에 저장된 프로그램 정보는 가상 화면 디스플레이로의 전환을 위해 조망자에 의해 조작될 수 있고, 본 발명의 기술들이 비디오 스트림의 디스플레이로의 복귀를 위한 시점 및/또는 비디오 스트림(예컨대, DVD 매체상에서 제공된 복수의 서로 다른 카메라 앵글 비디오 스트림들로부터 선택된 비 디오 스트림)을 선택하는데 이용될 수 있다. 몇몇 실시예들에서, DVD 드라이브(15), HDD(11), 및 IR 인터페이스(13)와 같은 컴포넌트들은 존재하지 않을 수 있거나, 다른 장치들내에 위치할 수 있거나, 또는 고체 상태 드라이브(SSD), 블루레이 디스크(BD) 드라이브, 블루투스 인터페이스, RF 인터페이스, WiFi 인터페이스 등과 같은 다른 기술들로 교체될 수 있다.Referring now to FIG. 1, shown is a digital video recorder (DVR) 10, in accordance with an embodiment of the present invention. The DVR 10 is connected to an external digital television (DTV) display 14, but the DVR 10 may alternatively be a portable device having an integrated display. In an exemplary embodiment according to the method of the present invention, the remote controller 12 is used to control the operation of the DVR 10 to provide user input. However, it is understood that other user input methodologies may be utilized, such as buttons and other controllers integrated in the DVR 10. The DVR 10 processes an infrared (IR) interface 13 for receiving commands from the remote controller 12, and processes video and virtual screen information according to the methodologies described in the detailed description below, and also operates the DVR. And processor 16 for executing program instructions that generally provide associated control and other functionality. The program and video memory 17 is coupled to the processor 16 for storing data and program instructions, including program instructions in accordance with a computer program product embodiment of the present invention. The radio frequency (RF) / video interface 18 receives video signals or RF signals from broadcast, closed circuit or other video streaming sources, and processes them for the final display by the DTV display 14. Provided for selection by The network interface 19 may be connected to a wired connection to a public or private network, such as the Internet, to receive additional information such as incidental camera angles and other information associated with the video stream received by the RF / video interface 18. Provide a wireless connection. Alternatively, network interface 19 may constitute an overall interface for receiving both video streams (eg, MPEG streams) and optional additional incidental information. Digital versatile disk (DVD) drive 15 and hard disk drive (HDD) 11 are also included in DVR 10 both for recording video programs and other information. In another alternative embodiment of the present invention, program information stored on a disc inserted into a DVD drive 15 or inserted onto a hard disk drive (HDD) 11 is presented to the viewer for conversion to a virtual screen display. Can be manipulated and the techniques of the present invention select a viewpoint and / or video stream (eg, a video stream selected from a plurality of different camera angle video streams provided on a DVD medium) for returning the video stream to the display. It can be used to In some embodiments, components such as DVD drive 15, HDD 11, and IR interface 13 may not exist, may be located in other devices, or a solid state drive (SSD), It may be replaced by other technologies such as a Blu-ray Disc (BD) drive, Bluetooth interface, RF interface, WiFi interface, and the like.

이제 도 2를 참조하면, 본 발명의 다른 실시예에 따른 DVR(20)이 개인 컴퓨터 시스템의 형태로 도시된다. DVR(20)은 예컨대 제3자 DVD 프로그램을 실행함으로써 DVR을 구현하기 위한 프로그램 명령어를 포함하는 프로그램 명령어를 저장하는 메모리(27)에 결합된 프로세서(26)를 포함하는 개인 컴퓨터(20)에 의해 구현된다. 메모리(27)는 이러한 DVR 프로그램내에 통합될 수 있거나, 또는 DVR 프로그램 또는 오퍼레이팅 시스템의 기능성을 강화시키는 독립형 애플리케이션 또는 플러그인으로서 제공될 수 있는, 본 발명에 따른 기술들을 수행하기 위한 프로그램 명령어를 더 포함한다. 프로그램은 DVD 디스크(DVD)와 같은, 본 발명의 실시예에 따른 컴퓨터 프로그램 제품을 형성하는 매체로부터의 DVD 드라이브(24)로부터 메모리(27) 또는 HDD(23)내에 로딩될 수 있다. 폐쇄 회로 또는 브로드캐스트 소스로부터 비디오 정보를 수신하기 위해, 개인 컴퓨터(20)는 RF/비디오 인터페이스(28)를 포함한다. 하지만, 본 발명의 실시예에 따른 기술들은 네트워크 인터페이스(29)로부터 수신된 비디오에 대해 수행될 수 있으며, 이와 같은 실시예에서는 RF/비디오 인터페이스(28)가 필요하지 않다. 또한, 도 1의 DVR(10)과 관련하여 위에서 언급한 바와 같이, 개인 컴퓨터(20)는 네트워크 인터페이스(29), 또는 RF/비디오 인터페이스(28) 로부터 카메라 앵글 정보와 같은 부수적인 정보를 비디오 정보에 더하여, 그리고 비디오 정보와 함께 수신할 수 있다. 개인 컴퓨터(20)는 또한 키보드 및 포인팅 장치와 같은, 휴먼 인터페이스 장치(HID)의 접속을 위한 HID 인터페이스(22)를 포함한다. 개인 컴퓨터(20)는 외부 디스플레이(25)에 접속하는 것으로서도 도시된다. 하지만, 만약 개인 컴퓨터(20)가 랩탑, 타플렛 또는 기타 통합형 장치인 경우, 디스플레이(25)는 대체적으로 개인 컴퓨터(20)에 일체화될 것이다. 몇몇 실시예들에서, 도 2에서 도시된 몇몇의 컴포넌트들은 없을 수 있거나, 다른 장치내에 위치할 수 있거나, 또는 다른 기술들로 대체될 수 있다.Referring now to FIG. 2, a DVR 20 in accordance with another embodiment of the present invention is shown in the form of a personal computer system. The DVR 20 is executed by a personal computer 20 including a processor 26 coupled to a memory 27 that stores program instructions, including program instructions for implementing a DVR, for example by executing a third party DVD program. Is implemented. The memory 27 further includes program instructions for carrying out the techniques according to the invention, which may be integrated into such a DVR program or provided as a standalone application or plug-in that enhances the functionality of the DVR program or operating system. . The program may be loaded into the memory 27 or HDD 23 from the DVD drive 24 from the medium forming the computer program product according to the embodiment of the present invention, such as a DVD disc (DVD). To receive video information from a closed circuit or broadcast source, personal computer 20 includes an RF / video interface 28. However, techniques in accordance with an embodiment of the present invention may be performed on video received from the network interface 29, which does not require the RF / video interface 28. In addition, as mentioned above in connection with the DVR 10 of FIG. 1, the personal computer 20 may receive additional information such as camera angle information from the network interface 29 or the RF / video interface 28. In addition, and with video information. The personal computer 20 also includes an HID interface 22 for connection of a human interface device (HID), such as a keyboard and pointing device. The personal computer 20 is also shown as connecting to an external display 25. However, if personal computer 20 is a laptop, tablet, or other integrated device, display 25 will generally be integrated into personal computer 20. In some embodiments, some components shown in FIG. 2 may be absent, located in another device, or replaced with other techniques.

이제 도 3을 참조하면, 본 발명의 실시예에 따른 네트워킹된 시스템이 도시된다. 도 1에서 도시된 DVR(10)과 같은 DVR은 상술한 하나 이상의 채널들을 통해, 예컨대 RF 브로드캐스트, 위성 브로드캐스트 및/또는 폐쇄 회로 케이블을 통해 하나 이상의 브로드캐스트 공급자들(34)로부터 신호를 수신한다. DVR(10)은 또한 인터넷 서비스 공급자(ISP)(30) 또는 기타 네트워크 공급자와 같은, 총칭적인 네트워크 데이터 소스로부터 비디오 정보를 수신할 수 있어서, RF/비디오 접속에 대한 어떠한 필요성도 제거해주며, 위 네트워크 데이터 소스는 또한 브로드캐스트 공급자(34)로부터 비디오 데이터를 공급해주는 채널일 수 있다. 카메라 앵글 및 가상 화면으로부터의 복귀를 통지해주기 위한 기타 데이터를 통지하는 상술한 부수적 정보는 ISP(30)을 경유하여 브로드캐스트 공급자(34)로부터 공급될 수 있거나, 또는 브로드캐스트 공급자(34)로부터 직접 수신한 비디오/RF 정보와 함께 인코딩될 수 있다. 마지막으로, 가상 화면 지원 공급자(32)는 DVR(10)로부터 원격적으로 위치할 수 있으며, 이것은 ISP(30)를 통해 DVR(30)로부터 수신된 사용자 공급 제어 정보에 따라 원격적으로 가상 화면에 대응하는 비디오를 생성할 수 있거나 또는 DVR(10)내의 가상 화면을 구축하는데 필요로 하는 기타 정보를 공급해줄 수 있다. 예를 들어, 브로드캐스트 공급자(34)에 의해 공급된 브로드캐스트 비디오와 관련된 가상 화면의 삼차원 벡터 표현이 예컨대 화일 전송 요청, 데이터베이스 문의, RSS 공급 또는 기타 데이터 검색 기술에 의해 DVR(10)에 제공될 수 있으며, 그런 다음 DVR(10)은 사용자 제어의 의해 규정된 위치 및 카메라 앵글에 따라 가상 화면을 생성한다. 도시된 시스템은 단지 예시에 불과하며, 가상 화면 구축을 수행하기 위한 다양한 장소들, 및 비디오 및 가상 화면의 조망을 위해 비디오 및 가상 화면 정보를 DVR(10)에게 보내는 다양한 수단, 및 최종 사용자에 의한 가상 화면의 제어를 나타내려고 의도하였다. 하지만, 본 발명의 다른 실시예들에 따라 다른 기술들 및 시스템 구성들이 적용될 수 있으며, 특정 시스템 구성은 이하에서 보다 자세하게 설명되는 본 발명에 따른 기술들을 이행하는 잠재적인 시스템 구성, 데이터 소스 및 최종 사용자 장비를 제한시키는 것으로 해석되어서는 안된다는 것을 이해해야 한다.Referring now to FIG. 3, shown is a networked system according to an embodiment of the invention. A DVR, such as the DVR 10 shown in FIG. 1, receives a signal from one or more broadcast providers 34 via one or more of the channels described above, such as via RF broadcast, satellite broadcast, and / or closed circuit cable. do. The DVR 10 can also receive video information from a generic network data source, such as an Internet service provider (ISP) 30 or other network provider, eliminating any need for RF / video connections, and The data source may also be a channel for supplying video data from broadcast provider 34. The aforementioned additional information notifying the camera angle and other data for notifying return from the virtual screen can be supplied from the broadcast provider 34 via the ISP 30 or directly from the broadcast provider 34. It can be encoded with the received video / RF information. Finally, the virtual screen support provider 32 may be located remotely from the DVR 10, which may be remotely located on the virtual screen according to user supplied control information received from the DVR 30 via the ISP 30. Corresponding video may be generated or other information required to build a virtual screen in the DVR 10 may be provided. For example, a three-dimensional vector representation of a virtual screen associated with broadcast video supplied by broadcast provider 34 may be provided to DVR 10, such as by file transfer request, database query, RSS feed, or other data retrieval technology. The DVR 10 then generates a virtual screen according to the camera angle and the position defined by the user control. The illustrated system is merely an example, various places for performing virtual screen construction, and various means for sending video and virtual screen information to the DVR 10 for viewing of the video and virtual screen, and by the end user. It was intended to represent the control of the virtual screen. However, other techniques and system configurations may be applied in accordance with other embodiments of the present invention, where a particular system configuration is a potential system configuration, data source and end user implementing the techniques according to the present invention described in more detail below. It should be understood that it should not be interpreted as limiting equipment.

이제 도 4를 참조하면, 본 발명의 실시예에 따른 사용자 인터페이스가 도시되며, 이 사용자 인터페이스는 가상 화면으로부터 관련 비디오로의 복귀 천이가 요청된 경우, 및 "최상의 매칭" 비디오 소스의 자동 선택이 자동 선택을 제공하는 시스템에서 인에이블되지 않은 경우, 또는 수행하지 않은 시스템에서 이행되지 않은 경우에, DVR(10) 또는 개인 컴퓨터(20), 또는 기타 적절한 장치의 사용자에게 제시 될 수 있는 스크린을 보여준다. 도시된 바와 같이, 사용자 인터페이스 스크린 디스플레이(40)는 사용자에게 다수의 카메라들과 연관된 다수의 비디오 소스들에 따른 옵션들을 제공해주며, 특정한 비디오 스트림으로의 복귀를 위한 각각의 비디오 스트림내에서의 위치(시점으로서 규정됨)를 규정한다. 비록 본 발명의 요건은 아니지만, 매칭 기준을 충족시키는 매칭들의 갯수, 또는 존재/위치하는 옵션들/매칭들의 갯수의 제한에 대한 선택 옵션은 "최상의 매칭" 내림 정렬순으로 제시된다. 정적 카메라의 경우, 비디오로의 복귀가 가상 화면으로부터의 종료 시간에서 수행될 수 있기 때문에 시점들은 생략될 수 있다. 또한, 단일 카메라일 수 있거나 또는 다수의 카메라들 사이에서 전환될 수 있는 단일 스트림 비디오 소스들의 경우, 선택할 다수의 스트림들이 존재하지 않기 때문에 선택 옵션은 오직 시점만을 규정할 수 있다. 어느 스트림 및/또는 시점을 선택할지에 대한 사용자 결정을 도와주기 위해, 선택가능한 카메라 앵글(들) 및 시간(들)에서 비디오로부터 추출된 하나 이상의 스크린샷(41)이 옵션을 통한 사용자 스크롤링에 대한 응답으로 아이콘 형태로 디스플레이되거나, 또는 단일 프레임으로서 제시될 수 있다.Referring now to FIG. 4, there is shown a user interface in accordance with an embodiment of the present invention, which automatically selects when a transition to the associated video from a virtual screen is requested, and automatically selects a "best match" video source. If not enabled in the system providing the selection, or not implemented in the system that did not perform, it shows a screen that can be presented to the user of the DVR 10 or the personal computer 20, or other appropriate device. As shown, the user interface screen display 40 provides the user with options according to the number of video sources associated with the multiple cameras, and the location within each video stream for return to a particular video stream. Defined as the time point). Although not a requirement of the present invention, selection options for limiting the number of matches that meet the matching criterion, or the number of options / matches present / located, are presented in "best match" descending sort order. In the case of a static camera, the viewpoints can be omitted because the return to video can be performed at the end time from the virtual screen. In addition, for single stream video sources that may be a single camera or that may be switched between multiple cameras, the selection option may only specify a viewpoint because there are no multiple streams to select. To help the user decide which stream and / or point of view to select, one or more screenshots 41 extracted from the video at selectable camera angle (s) and time (s) are available for user scrolling through the options. The response may be displayed in the form of an icon or presented as a single frame.

이제 도 5a를 참조하면, (프레임일 수 있거나 또는 보다 긴 비디오 엘리먼트일 수 있는) 세그먼트들(42A 내지 42G)을 갖는 단일 비디오 소스를 보여주는 타임라인도가 도시되며, 여기서 상기 각각의 엘리먼트는 (틸트, 팬, 줌)에 따른 좌표 세트를 갖는다. 비디오 소스 타임라인 밑에는 출력 타임라인이 도시되며, 여기서 사용자/조망자는 비디오 소스 세그먼트들(42A 및 42B)을 조망하고, 그런 다음 세그먼트들(44A 내지 44C)를 갖는 가상 화면으로 전환한다. 도시된 바와 같이, 가상 화 면 세그먼트(44A)와 초기에 연관된 좌표들은 비디오 세그먼트(42B)와 매칭된다. 하지만, 세그먼트(44C)에서, 사용자는 예컨대 스크린의 가장자리를 향해 이동하는 공을 바라보기 위해, 투시관점을 변경하였다. 사용자/조망자가 종료 시간 T OUT 에서 비디오로의 복귀를 선택할 때, 비디오 세그먼트(42G)는 가상 화면의 종결점의 좌표(-15, -45, 1.0)와 근접하게 매칭하는 좌표(-20, -45, 1.5)를 갖는 비디오 세그먼트(42G)가 도 4에서 도시되고 상술된 리스트와 같은 리스트로부터 사용자에 의해 선택되거나, 또는 "최상의 매칭" 기준에 따라 자동적으로 선택된다. 가상 화면을 위한 도 5a에서 도시된 좌표들은 일반적으로 가상 화면 렌더러에 의해 "공지"되어 있지만, 비디오 세그먼트들(42A 내지 42G)에 대한 좌표들은 인터넷 공급처와 같은 다른 채널에 의해 송신되는 브로드캐스트 신호로 인코딩되거나, 또는 비디오 세그먼트들(42C 내지 42G)을 검사하는 매칭/피처 추출 알고리즘에 의해 결정된다. 비디오 세그먼트들(42A 내지 42B)은 가상 화면으로의 진입의 시간(T IN ) 이전에 발생하기 때문에, 이들은 검사될 필요가 없다. 이와 달리, 카메라 앵글은 전혀 고려될 필요가 없으며, 프레임 매칭 기술들이 최상의 매칭을 결정하는 것 대신에 이용될 수 있다. 예를 들어, 정지 화상들이 비디오 세그먼트들(42C 내지 42G) 중에서 샘플링될 수 있고, 가상 화면 세그먼트(44C)에 대해 이미 공지된 크기 및 앵글 정보에 대한 피처 크기 및 앵글 추출에 의해 비교되어진다. 또는 프레임 매칭이 비디오 세그먼트들(42C 내지 42G) 중에서 샘플링된 비디오 프레임들에 대해 수행되고 가상 화면 세그먼트(44C)의 종결점 프레임(들)과 직접 비교되어질 수 있다.Referring now to FIG. 5A, a timeline diagram showing a single video source having segments 42A-42G (which may be a frame or a longer video element) is shown, where each element is tilted (tilt). , Pan, zoom). Below the video source timeline is shown the output timeline, where the user / viewer views the video source segments 42A and 42B, and then switches to a virtual screen with segments 44A through 44C. As shown, the coordinates initially associated with the virtual screen segment 44A match the video segment 42B. However, in segment 44C, the user has changed the perspective of view, for example, to see a ball moving towards the edge of the screen. When the user / viewer chooses to return to the video at the end time T OUT , the video segment 42G closely matches the coordinates of the end point of the virtual screen (-15, -45, 1.0) (-20,-). 45, 1.5) is selected by the user from a list such as the list shown in FIG. 4 and described above, or automatically selected according to the "best match" criteria. The coordinates shown in FIG. 5A for the virtual screen are generally “announced” by the virtual screen renderer, but the coordinates for the video segments 42A through 42G are in a broadcast signal transmitted by another channel, such as an Internet source. Or is determined by a matching / feature extraction algorithm that examines video segments 42C through 42G. Since video segments 42A through 42B occur before the time T IN of entry into the virtual picture, they do not need to be examined. Alternatively, camera angles need not be considered at all, and frame matching techniques can be used instead of determining the best match. For example, still pictures may be sampled among the video segments 42C-42G and compared by feature size and angle extraction for the size and angle information already known for the virtual picture segment 44C. Alternatively, frame matching may be performed on video frames sampled among the video segments 42C through 42G and compared directly with the endpoint frame (s) of the virtual picture segment 44C.

이제 도 5b를 참조하면, 단순함을 위해 정적 카메라 앵글들로서 도시된 다수의 비디오 소스들(46A 내지 46C)을 도시하는 타임라인도가 도시된다. 만약 다수의 비디오 소스들 중에서 카메라 앵글이 변경되면, 도 5a에서 도시된 것과 같은 세그먼트들이 또한 카메라 위치를 정량화하기 위해 채용될 것이며, 이것은 프레임 레벨에서 수행될 수 있거나 또는 보다 큰 세그먼트들에서 수행될 수 있다. 비디오 소스 타임라인들 밑에는 출력 타임라인이 도시되며, 여기서 사용자/조망자는 비디오 소스(46B)를 조망하고, 그런 다음 세그먼트들(44A 내지 44C)을 갖는 가상 화면으로 전환한다. 종료 시간(T OUT )에서, 비디오 소스(46C)의 카메라 앵글 및 줌이 가상 화면 종결점 세그먼트 투시와 가장 가깝게 매칭하기 때문에, 비디오 소스(46C)는 비디오로의 복귀를 위해 선택된다. 상술한 바와 같이, 선택은 자동적일 수 있거나, 또는 도 4에서 도시된 바와 같이 사용자에게 제시된 위치된 매칭들의 리스트를 갖고 사용자/조망자 제어 하에서 수행될 수 있다. 또한, 다수의 비디오 소스 중에서 단일 비디오 소스를 선택하는 것 보다는, 가상 화면으로부터의 복귀시의 비디오가 가상 화면 종료점의 투시와 가장 가깝게 매칭되는 투시를 갖는 두 개 이상의 다수의 비디오 소스들로부터 보간될 수 있다.Referring now to FIG. 5B, a timeline diagram showing a number of video sources 46A-46C shown as static camera angles for simplicity. If the camera angle is changed among multiple video sources, segments such as shown in FIG. 5A will also be employed to quantify the camera position, which can be performed at the frame level or at larger segments. have. Shown below the video source timelines are the output timelines, where the user / viewer views the video source 46B and then switches to the virtual screen with segments 44A-44C. At the end time T OUT , video source 46C is selected for return to video because the camera angle and zoom of video source 46C closely matches the virtual screen endpoint segment perspective. As mentioned above, the selection may be automatic or may be performed under user / viewer control with a list of located matches presented to the user as shown in FIG. 4. Also, rather than selecting a single video source among multiple video sources, the video upon returning from the virtual screen can be interpolated from two or more multiple video sources with a perspective that most closely matches the perspective of the virtual screen endpoint. have.

이제 도 6을 참조하면, 본 발명의 실시예에 따른 방법이 흐름도에서 도시된다. 제일 먼저, 비디오 스트림이 디스플레이되고(단계 50), 사용자가 가상 화면 뷰를 선택할 때(단계 51), 종료 시간이 저장되고(단계 52), 장면은 가상 화면으로 전환된다(단계 53). 사용자가 비디오로의 복귀를 선택할 때(단계 54), 가상 화면 종 결점에서 가상 화면 카메라 앵글/콘텐츠와 매칭하는 비디오 소스 및/또는 시점들을 위치확인하기 위한 검색이 수행된다(단계 55). 위치된 매칭하는 화면 시간이 저장된 종료 시간 이후이면(단계 56), 화면이 리스트에 추가되며(단계 57), 그렇지 않은 경우 화면(시점/비디오 소스)은 폐기된다(단계 59). 리스트가 가득찬 경우, 또는 다른 검색 종결 기준이 충족되면(단계 58), 리스트는 디스플레이되고(단계 60), 사용자 선택에 응답하여, 선택된 비디오 소스/시점으로의 전환이 행해진다(단계 61).Referring now to FIG. 6, a method according to an embodiment of the present invention is shown in a flowchart. First, the video stream is displayed (step 50), when the user selects the virtual screen view (step 51), the end time is stored (step 52), and the scene is switched to the virtual screen (step 53). When the user chooses to return to video (step 54), a search is performed to locate video sources and / or viewpoints that match the virtual screen camera angle / content at the virtual screen endpoint (step 55). If the matching matching picture time is after the stored end time (step 56), the picture is added to the list (step 57), otherwise the picture (viewpoint / video source) is discarded (step 59). If the list is full, or if another search termination criterion is met (step 58), the list is displayed (step 60), and in response to the user selection, a switch to the selected video source / point of view is performed (step 61).

비록 본 발명은 바람직한 실시예들을 참조하여 구체적으로 도시되고 설명되었지만, 전술한 내용 및 다른 변경들이 본 발명의 사상과 범위를 일탈하는 것 없이 취해질 수 있음을 본 발명분야의 당업자는 이해할 것이다.Although the present invention has been specifically illustrated and described with reference to preferred embodiments, it will be understood by those skilled in the art that the foregoing description and other modifications may be made without departing from the spirit and scope of the invention.

신규한 특징들이라고 여겨지는 본 발명의 특성이 첨부된 청구범위에서 서술된다. 하지만, 본 발명 자체뿐만이 아니라, 본 발명의 바람직한 사용 모드, 추가적인 목적들, 및 장점들은 상기의 본 발명의 상세한 설명을 첨부된 도면들과 함께 참조하면서 읽을 때에 가장 잘 이해될 것이며, 도면내에서 동일 참조 부호들은 동일 컴포넌트들을 가리킨다.Features of the invention, which are considered novel features, are set forth in the appended claims. However, the preferred mode of use, additional objects, and advantages of the present invention, as well as the present invention itself, will be best understood upon reading the above detailed description of the invention with reference to the accompanying drawings, in which: Reference numerals indicate identical components.

도 1은 본 발명의 실시예에 따른 디지털 비디오 레코더(DVR)를 나타내는 블럭도이다.1 is a block diagram illustrating a digital video recorder (DVR) according to an embodiment of the present invention.

도 2는 본 발명의 다른 실시예에 따른 디지털 비디오 레코더(DVR)를 나타내는 블럭도이다.2 is a block diagram illustrating a digital video recorder (DVR) according to another embodiment of the present invention.

도 3은 본 발명의 실시예에 따른 시스템을 나타내는 블럭도이다.3 is a block diagram illustrating a system according to an embodiment of the present invention.

도 4는 본 발명의 실시예에 따른 사용자 인터페이스의 도식도이다.4 is a schematic diagram of a user interface according to an embodiment of the present invention.

도 5a 및 도 5b는 본 발명의 실시예들에 따른 기술들을 나타내는 비디오 타림라인도들이다.5A and 5B are video tarimline diagrams illustrating techniques in accordance with embodiments of the present invention.

도 6은 본 발명의 실시예에 따른 방법의 흐름도이다.6 is a flowchart of a method according to an embodiment of the present invention.

Claims (10)

가상 화면으로부터 적어도 하나의 비디오 스트림으로의 천이를 제어하는 방법에 있어서,A method of controlling a transition from a virtual screen to at least one video stream, 상기 비디오 스트림을 디스플레이하는 단계;Displaying the video stream; 상기 가상 화면을 디스플레이하는 것으로 천이하는 단계로서, 상기 천이하는 단계는 상기 가상 화면을 디스플레이하는 것으로의 천이 시간을 저장하는 것인, 상기 천이 단계;Transitioning to displaying the virtual screen, wherein transitioning stores a transition time to displaying the virtual screen; 상기 가상 화면으로부터 상기 비디오 스트림으로의 천이에 대한 요청을 표시하는 이벤트를 수신하는 단계;Receiving an event indicating a request for a transition from the virtual screen to the video stream; 상기 천이의 저장된 시간을 검색하는 단계;Retrieving the stored time of the transition; 상기 가상 화면의 종결점에 대한 카메라 앵글 및 콘텐츠 매칭을 갖는 적어도 하나의 비디오 스트림 중의 선택된 하나의 비디오 스트림의 적어도 하나의 시점을 위치확인하는 단계로서, 상기 적어도 하나의 비디오 스트림 중의 적어도 하나의 시점은 상기 천이의 저장된 시간 이후의 시점인 것인, 상기 시점 위치확인 단계; 및Positioning at least one viewpoint of the selected one of the at least one video streams having a camera angle and content matching to an end point of the virtual screen, wherein at least one viewpoint of the at least one video stream is The viewpoint positioning step, wherein the viewpoint is after a stored time of the transition; And 상기 선택된 비디오 스트림을 상기 적어도 하나의 시점 중 선택된 하나의 시점에서 시작하여 디스플레이하는 단계Displaying the selected video stream starting at a selected one of the at least one viewpoint 를 포함하는, 비디오 스트림으로의 천이 제어 방법.And transition to a video stream. 제 1 항에 있어서, 상기 적어도 하나의 비디오 스트림은 다수의 비디오 스트림들을 포함하며, 상기 위치확인하는 단계는 상기 가상 화면의 종결점의 가상 카메라 앵글에 대한 가장 가까운 매칭을 갖는 상기 선택된 비디오 스트림의 카메라 앵글에 따라 상기 다수의 비디오 스트림들 중 선택된 하나의 비디오 스트림을 선택하는 것인, 비디오 스트림으로의 천이 제어 방법.2. The camera of claim 1, wherein the at least one video stream comprises a plurality of video streams, and wherein the positioning comprises the closest match to a virtual camera angle of an endpoint of the virtual screen. And selecting a selected one of the plurality of video streams according to an angle. 제 1 항에 있어서, 상기 적어도 하나의 비디오 스트림은 단일의 비디오 스트림들을 포함하며, 상기 선택된 비디오 스트림은 상기 단일 비디오 스트림이며, 상기 위치확인하는 단계는 상기 가상 화면의 종결점의 콘텐츠에 대한 가장 가까운 콘텐츠 매칭을 갖는 적어도 하나의 시점에서의 상기 선택된 하나의 비디오 스트림을 선택하는 것인, 비디오 스트림으로의 천이 제어 방법.2. The method of claim 1, wherein the at least one video stream comprises single video streams, wherein the selected video stream is the single video stream and the positioning is closest to the content of the end point of the virtual screen. Selecting the selected one video stream at at least one time point with content matching. 제 1 항에 있어서, 상기 수신하는 단계는 상기 가상 화면으로부터 상기 비디오 스트림으로의 천이에 대한 요청을 표시하는 이벤트를 사용자 입력으로서 수신하고, 상기 위치확인하는 단계는 상기 적어도 하나의 시점 및 상기 적어도 하나의 비디오 스트림의 다수의 조합체들을 위치확인하며, 상기 선택된 비디오 스트림 및 상기 적어도 하나의 시점 중 선택된 하나의 시점을 선택하도록 상기 다수의 조합체들 중 적어도 몇 개의 조합체들의 리스트를 사용자에게 디스플레이하는 단계를 더 포함하는, 비디오 스트림으로의 천이 제어 방법.The method of claim 1, wherein the receiving comprises receiving, as a user input, an event indicating a request for a transition from the virtual screen to the video stream, and the positioning comprises: the at least one time point and the at least one Locating a plurality of combinations of the video stream of the display, and displaying a list of at least some combinations of the plurality of combinations to the user to select a selected one of the selected video stream and the at least one viewpoint. A method of controlling transition to a video stream, comprising. 제 1 항에 있어서, 상기 위치확인하는 단계는 소비자 디지털 비디오 레코딩 장치내에서 수행되며, 상기 디지털 비디오 레코딩 장치는 원격 서비스 공급자로부터 카메라 앵글 정보를 수신하며, 상기 위치확인하는 단계는 상기 수신된 카메라 앵글 정보로부터 상기 선택된 비디오 스트림의 상기 적어도 하나의 시점을 결정하는 것인, 비디오 스트림으로의 천이 제어 방법.2. The method of claim 1, wherein the step of positioning is performed in a consumer digital video recording device, the digital video recording device receiving camera angle information from a remote service provider, wherein the step of positioning is the received camera angle. Determining from the information the at least one viewpoint of the selected video stream. 제 1 항에 있어서, 상기 위치확인하는 단계는 사용자의 소비자 디지털 비디오 레코딩 장치내에서 수행되며, 상기 디지털 비디오 레코딩 장치는 상기 적어도 하나의 비디오 스트림으로부터 정지 화상 정보를 추출하며, 상기 위치확인하는 단계는 상기 정지 화상 정보를 상기 가상 화면의 종결점과 매칭시킴으로써 상기 선택된 비디오 스트림의 상기 적어도 하나의 시점을 결정하는 것인, 비디오 스트림으로의 천이 제어 방법.The method of claim 1, wherein the positioning is performed in a consumer digital video recording apparatus of the user, wherein the digital video recording apparatus extracts still picture information from the at least one video stream, and the positioning is performed. And determining the at least one viewpoint of the selected video stream by matching the still picture information with an end point of the virtual screen. 제 1 항에 있어서, 상기 가상 화면은 소비자 디지털 비디오 레코딩 장치내에서 생성되는 것인, 비디오 스트림으로의 천이 제어 방법.The method of claim 1, wherein the virtual screen is generated in a consumer digital video recording device. 가상 화면과 적어도 하나의 비디오 스트림 사이의 선택을 위한 프로세서를 포함하는 소비자 디지털 비디오 레코딩 장치에 있어서, 상기 프로세서는 상기 디지털 비디오 레코딩 장치의 저장소내에 저장된 프로그램 명령어들을 실행하며, 상기 프로그램 명령어들은 제1항 내지 제7항 중 어느 한 항의 방법의 단계들을 위한 프로그램 명령어들을 포함하는 것인, 소비자 디지털 비디오 레코딩 장치.A consumer digital video recording device comprising a processor for selection between a virtual picture and at least one video stream, the processor executing program instructions stored in a repository of the digital video recording device, wherein the program instructions are subject to claim 1. A consumer digital video recording apparatus, comprising program instructions for steps of the method of any one of claims 7 to 7. 제 8 항에 있어서, 상기 프로그램 명령어는 상기 가상 화면을 생성시키는 플그램 명령어를 더 포함하는 것인, 소비자 디지털 비디오 레코딩 장치.10. The consumer digital video recording apparatus as claimed in claim 8, wherein the program instruction further comprises a program instruction for generating the virtual screen. 프로그램 명령어들을 저장하는 저장소를 포함하는 소비자 디지털 비디오 레코딩 장치내의 프로세서에 의해 실행되는 프로그램 명령어들을 기록한 컴퓨터 판독가능 기록매체에 있어서, 상기 프로그램 명령어들은 가상 화면 및 적어도 하나의 비디오 스트림 사이에서의 선택을 위한 프로그램 명령어들을 포함하며, 상기 프로그램 명령어들은 제1항 내지 제7항 중 어느 한 항의 방법의 단계들을 위한 프로그램 명령어들을 포함하는 것인, 컴퓨터 판독가능 기록매체.A computer readable recording medium having recorded thereon program instructions executed by a processor in a consumer digital video recording device comprising a store for storing program instructions, said program instructions for selecting between a virtual picture and at least one video stream. A computer readable recording medium comprising program instructions, the program instructions comprising program instructions for the steps of the method of claim 1.
KR1020090100924A 2008-10-28 2009-10-22 Video scene matching on return from virtual rendering in a consumer digital video recording device KR101107366B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/259,856 US8233530B2 (en) 2008-10-28 2008-10-28 Video scene matching on return from virtual rendering in a consumer digital video recording device
US12/259,856 2008-10-28

Publications (2)

Publication Number Publication Date
KR20100047137A KR20100047137A (en) 2010-05-07
KR101107366B1 true KR101107366B1 (en) 2012-01-19

Family

ID=42117469

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090100924A KR101107366B1 (en) 2008-10-28 2009-10-22 Video scene matching on return from virtual rendering in a consumer digital video recording device

Country Status (3)

Country Link
US (1) US8233530B2 (en)
KR (1) KR101107366B1 (en)
TW (1) TW201031206A (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8374172B2 (en) * 2009-04-03 2013-02-12 At&T Intellectual Property I, L.P. Method and apparatus for managing communication sessions
US10129579B2 (en) 2015-10-15 2018-11-13 At&T Mobility Ii Llc Dynamic video image synthesis using multiple cameras and remote control
US10419794B2 (en) * 2017-03-17 2019-09-17 Rovi Guides, Inc. Systems and methods for synchronizing media asset playback from multiple sources

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000070320A (en) * 1997-11-20 2000-11-25 다니구찌 이찌로오, 기타오카 다카시 Screen editor
JP2002123369A (en) * 2000-10-11 2002-04-26 Internatl Business Mach Corp <Ibm> Data processor, input/output device, method of controlling touch panel, storage medium and program transmitter
KR20060028250A (en) * 2004-09-24 2006-03-29 엘지전자 주식회사 Method and apparatus for processing of screen of data broadcasting
JP2008097599A (en) * 2006-10-11 2008-04-24 Internatl Business Mach Corp <Ibm> Method and system of virtual window with simulated parallax and field of view change, and recording medium recording computer program (virtual window with simulated parallax and field of view change)

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7448063B2 (en) * 1991-11-25 2008-11-04 Actv, Inc. Digital interactive system for providing full interactivity with live programming events
US5585866A (en) * 1993-09-09 1996-12-17 Miller; Larry Electronic television program guide schedule system and method including virtual channels
US5729471A (en) * 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
US5808662A (en) * 1995-11-08 1998-09-15 Silicon Graphics, Inc. Synchronized, interactive playback of digital movies across a network
US6038368A (en) * 1996-02-05 2000-03-14 Sony Corporation System for acquiring, reviewing, and editing sports video segments
US6177931B1 (en) * 1996-12-19 2001-01-23 Index Systems, Inc. Systems and methods for displaying and recording control interface with television programs, video, advertising information and program scheduling information
FI20001570A (en) * 2000-06-30 2001-12-31 Nokia Corp Synchronized provision of services over a telecommunications network
US6822693B2 (en) * 2000-12-23 2004-11-23 International Business Machines Corporation Television tuner that changes the rendering of a digital television broadcast according to information displayed on a scoreboard during a sporting event
US20050005308A1 (en) * 2002-01-29 2005-01-06 Gotuit Video, Inc. Methods and apparatus for recording and replaying sports broadcasts
US7114172B2 (en) * 2001-06-28 2006-09-26 Koninklijke Philips Electronics N.V. Synchronized personal video recorders
US7363569B2 (en) * 2001-06-29 2008-04-22 Intel Corporation Correcting for data losses with feedback and response
US7173672B2 (en) * 2001-08-10 2007-02-06 Sony Corporation System and method for transitioning between real images and virtual images
US8880709B2 (en) * 2001-09-12 2014-11-04 Ericsson Television Inc. Method and system for scheduled streaming of best effort data
US7574474B2 (en) * 2001-09-14 2009-08-11 Xerox Corporation System and method for sharing and controlling multiple audio and video streams
US20030086694A1 (en) * 2001-11-07 2003-05-08 Nokia Corporation Recording program scheduling information in an electronic calendar
JP3776791B2 (en) * 2001-11-27 2006-05-17 株式会社東芝 Program recording method and program recording apparatus
US7269338B2 (en) * 2001-12-11 2007-09-11 Koninklijke Philips Electronics N.V. Apparatus and method for synchronizing presentation from bit streams based on their content
US7149415B2 (en) * 2002-05-23 2006-12-12 Microsoft Corporation Program recording completion
US7474832B2 (en) * 2002-11-21 2009-01-06 International Business Machines Corporation Personal video recording with storage space distributed among remote personal video recorders
KR100546679B1 (en) * 2003-01-07 2006-01-26 엘지전자 주식회사 PVR system and recording method
US7113773B2 (en) * 2003-05-16 2006-09-26 Qualcomm Incorporated Reliable reception of broadcast/multicast content
US7536725B2 (en) * 2003-07-28 2009-05-19 Limelight Networks, Inc. Authentication of content download
US7558469B2 (en) * 2003-09-05 2009-07-07 Echostar Technologies Corporation Method and apparatus to display graphically recording timer conflicts
US7324594B2 (en) * 2003-11-26 2008-01-29 Mitsubishi Electric Research Laboratories, Inc. Method for encoding and decoding free viewpoint videos
US8607270B2 (en) * 2004-02-03 2013-12-10 Microsoft Corporation Virtual tuner
JP4352976B2 (en) * 2004-04-20 2009-10-28 株式会社日立製作所 Receiving apparatus and receiving method
US7444664B2 (en) * 2004-07-27 2008-10-28 Microsoft Corp. Multi-view video format
US9584868B2 (en) * 2004-07-30 2017-02-28 Broadband Itv, Inc. Dynamic adjustment of electronic program guide displays based on viewer preferences for minimizing navigation in VOD program selection
US7142209B2 (en) * 2004-08-03 2006-11-28 Microsoft Corporation Real-time rendering system and process for interactive viewpoint video that was generated using overlapping images of a scene captured from viewpoints forming a grid
US7499708B2 (en) * 2004-09-09 2009-03-03 Telcom Ventures, L.L.C. Millimeter microwave point-to-multipoint broadcasting systems, components and methods that monitor and rebroadcast data packets
US20060132482A1 (en) * 2004-11-12 2006-06-22 Oh Byong M Method for inter-scene transitions
US7814517B2 (en) * 2004-11-23 2010-10-12 Palo Alto Research Center Incorporated Method and apparatus for associating commentary audio with a position in an experiential data stream
US7868904B2 (en) * 2005-04-01 2011-01-11 Canon Kabushiki Kaisha Image processing method and image processing apparatus
US7669219B2 (en) * 2005-04-15 2010-02-23 Microsoft Corporation Synchronized media experience
US8156176B2 (en) * 2005-04-20 2012-04-10 Say Media, Inc. Browser based multi-clip video editing
US20060288361A1 (en) * 2005-06-16 2006-12-21 White Eagle Brian L In a system for receiving and storing data representative of a plurality of broadcast television progams, an implementation for locating replacement portions for defective portions of stored programs from other broadcasts of corresponding television programs
US8296373B2 (en) * 2007-02-02 2012-10-23 Facebook, Inc. Automatically managing objectionable behavior in a web-based social network
CA2646125C (en) * 2006-03-17 2013-10-01 Sony Corporation System and method for organizing group content presentations and group communications during the same
US7809242B2 (en) * 2006-06-23 2010-10-05 Microsoft Corporation Recording resource limitation resolution
JP4804256B2 (en) * 2006-07-27 2011-11-02 キヤノン株式会社 Information processing method
US20080086743A1 (en) * 2006-10-06 2008-04-10 Infovalue Computing, Inc. Enhanced personal video recorder
US8522299B2 (en) * 2007-06-15 2013-08-27 Microsoft Corporation Virtual personal video recorder
US20090044216A1 (en) * 2007-08-08 2009-02-12 Mcnicoll Marcel Internet-Based System for Interactive Synchronized Shared Viewing of Video Content
US20090052870A1 (en) * 2007-08-22 2009-02-26 Time Warner Cable Inc. Apparatus And Method For Remote Control Of Digital Video Recorders And The Like
US8181117B2 (en) * 2008-10-21 2012-05-15 Microsoft Corporation Display of predicted storage state of target computing device during media file synchronization

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000070320A (en) * 1997-11-20 2000-11-25 다니구찌 이찌로오, 기타오카 다카시 Screen editor
JP2002123369A (en) * 2000-10-11 2002-04-26 Internatl Business Mach Corp <Ibm> Data processor, input/output device, method of controlling touch panel, storage medium and program transmitter
KR20060028250A (en) * 2004-09-24 2006-03-29 엘지전자 주식회사 Method and apparatus for processing of screen of data broadcasting
JP2008097599A (en) * 2006-10-11 2008-04-24 Internatl Business Mach Corp <Ibm> Method and system of virtual window with simulated parallax and field of view change, and recording medium recording computer program (virtual window with simulated parallax and field of view change)

Also Published As

Publication number Publication date
US20100104005A1 (en) 2010-04-29
TW201031206A (en) 2010-08-16
KR20100047137A (en) 2010-05-07
US8233530B2 (en) 2012-07-31

Similar Documents

Publication Publication Date Title
US7836475B2 (en) Video access
JP6857251B2 (en) Video content switching and synchronization system, and how to switch between multiple video formats
JP4955544B2 (en) Client / server architecture and method for zoomable user interface
JP5092469B2 (en) Imaging apparatus, image processing apparatus, image display control method, and computer program
RU2607236C2 (en) Sequencing content
EP2574069A1 (en) Contents sharing method and display apparatus using the same
KR101919475B1 (en) Device and methodfor providing user interface
JP5567851B2 (en) Method, system, and computer program for displaying a secondary media stream within a primary media stream
JP5517598B2 (en) Video playback apparatus and control method thereof
KR20140117387A (en) Alternate view video playback on a second screen
JP2008228134A (en) Image processor, imaging apparatus, image display control method and computer program
JP2011509554A (en) Program segment display bar
JP2005198039A (en) Information display apparatus and information display method
US11082752B2 (en) Shot-based view files for trick play mode in a network-based video delivery system
KR101107366B1 (en) Video scene matching on return from virtual rendering in a consumer digital video recording device
JP5500972B2 (en) Broadcast receiving apparatus and control method thereof
JP6341924B2 (en) Handheld display zoom function
WO2020054456A1 (en) Display control device and display control method, and program
KR101481689B1 (en) Method and apparatus for detecting multimedia contents using number information
AU2006293677B2 (en) A search tool
US7646968B1 (en) End-user configurable digital versatile disk menus and methods for generating the same
US9047914B1 (en) Content navigation
Veenhuizen et al. MosaicUI: Interactive media navigation using grid-based video
JP2002344878A (en) Video device
JP2006164415A (en) Information reproducing/display device based on non-viewed part and method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee