KR101452667B1 - 중첩된 주석 출력 - Google Patents

중첩된 주석 출력 Download PDF

Info

Publication number
KR101452667B1
KR101452667B1 KR1020137010900A KR20137010900A KR101452667B1 KR 101452667 B1 KR101452667 B1 KR 101452667B1 KR 1020137010900 A KR1020137010900 A KR 1020137010900A KR 20137010900 A KR20137010900 A KR 20137010900A KR 101452667 B1 KR101452667 B1 KR 101452667B1
Authority
KR
South Korea
Prior art keywords
delete delete
video
output
annotations
display
Prior art date
Application number
KR1020137010900A
Other languages
English (en)
Other versions
KR20130076878A (ko
Inventor
샤오루 위안
Original Assignee
페킹 유니버시티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 페킹 유니버시티 filed Critical 페킹 유니버시티
Publication of KR20130076878A publication Critical patent/KR20130076878A/ko
Application granted granted Critical
Publication of KR101452667B1 publication Critical patent/KR101452667B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/632—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing using a connection between clients on a wide area network, e.g. setting up a peer-to-peer communication via Internet for retrieving video segments from the hard-disk of other client devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Abstract

제 1 출력을 디스플레이하고 제 1 출력에 중첩된, 사용자 입력에 대응하는 제 2 출력을 동시에 디스플레하는데 효과적인 시스템들 및 방법들을 위한 기술들이 대체로 설명된다. 일부 예들에서, 제 2 출력은 디스플레이 상에 제 1 출력과 동시에 중첩되어 디스플레이된다. 제 2 출력은 사용자 입력에 대응한다. 제 1 출력 및 제 2 출력이 중첩되는 디스플레이의 영역에서, 제 2 출력은 불투명하고 제 1 출력은 불투명한 제 2 출력을 통해 가시적이다. 제 1 출력 및 제 2 출력이 중첩되지 않는 디스플레이의 영역에서, 제 1 출력은 가시적이다. 제 1 출력은 비디오 전화 회의의 비디오 부분일 수도 있고, 제 2 출력은 전화 회의 동안에 사용자로부터 수신되는 주석들 또는 노트들에 대응할 수도 있다.

Description

중첩된 주석 출력{SUPERIMPOSED ANNOTATION OUTPUT}
현대 컴퓨팅 디바이스들은 다수의 프로그램들을 동시에 실행하는 능력을 제공한다. 데스크톱 컴퓨터들, 랩톱 컴퓨터들, 태블릿 컴퓨터들, 개인휴대 정보단말들, 및 모바일 폰들은 다수의 애플리케이션들이 동시에 실행하는 것을 허용하는 다중-프로세싱 능력들을 가진다. 따라서, 일 예의 시나리오에서, 이러한 디바이스들의 사용자들은 비디오를 플레이하기 위한 제 1 프로그램을 실행하고 노트들과 같은 사용자 입력들을 레코딩하기 위한 제 2 프로그램을 동시에 실행할 수도 있다.
예를 들어, 데스크톱 또는 랩톱 컴퓨터와 같은 넉넉한 디스플레이를 가지는 컴퓨팅 디바이스들은 동시에 제 1 애플리케이션에서는 비디오를 디스플레이하는 것과 제 2 애플리케이션에서는 사용자 입력들을 수신하는 것을 수용할 수도 있다. 비교적 작은 디스플레이들을 가지는 모바일 폰들 및 개인휴대 정보단말들과 같은 컴퓨팅 디바이스들이 없었더라면, 두 개의 애플리케이션들의 동시 관람은 때때로 불가능하지는 않더라도 어렵다. 더욱이, 애플리케이션들의 성질과 그들 애플리케이션들의 사용자의 의도된 사용에 의존하여, 애플리케이션 프로그램들 사이의 스위칭은 유용한 대안이 아니다. 예를 들어, 사용자는, 예를 들어 비디오 전화 회의일 수도 있는 비디오 스트림을 관람하면서, 동시에 그 비디오 스트림에 관한 노트들을 하기를 원할 수도 있다. 비교적 작은 디스플레이를 가지는 모바일 폰 또는 PDA와 같은 디바이스 상에, 비디오 스트림을 관람하기 위한 애플리케이션 및 노트들을 적기 위한 애플리케이션 양쪽 모두를 동시에 표시하는 것은 가능하지 않다. 더욱이, 두 개의 애플리케이션들은, 기술의 제약이 없었더라면, 사용자가 다르게 하기를 원할 것인 양쪽 모두의 활동들 (비디오를 관람하는 것 및 노트들을 적는 것) 에 동시에 참여하는 것을 하지 못하게 한다.
제 1 출력을 디스플레이하고 제 1 출력에 중첩된, 사용자 입력에 대응하는 제 2 출력을 동시에 디스플레하는데 효과적인 시스템들 및 방법들을 위한 기술들이 대체로 설명된다. 제 1 출력 및 제 2 출력이 중첩되는 디스플레이의 영역에서, 제 2 출력은 불투명하고 제 1 출력은 불투명한 제 2 출력을 통해 가시적이다. 제 1 출력 및 제 2 출력이 중첩되지 않는 디스플레이의 영역에서, 제 1 출력은 가시적이다.
일 예의 시나리오에서, 제 1 출력은 비디오 전화 회의의 비디오 스트림일 수도 있다. 제 2 출력은 전화 회의 동안에 사용자로부터 수신되는 주석 (annotation) 들 또는 노트 (note) 들을 포함한다. 주석들 또는 노트들은 제 1 출력이 디스플레이되는 디스플레이 상에서 수신된 사용자 입력들에 대응할 수도 있다. 디스플레이는, 예를 들어, 터치 감응 디스플레이일 수도 있고, 사용자 입력들은 전화 회의의 비디오 스트림이 디스플레이 상에 디스플레이되는 동안에 디스플레이 상에서 입력되는 수서된 (handwritten) 노트들 또는 주석들일 수도 있다. 따라서, 비디오 전화 회의로부터의 비디오가 디스플레이되는 동안, 오퍼레이터는 디스플레이 상에서 노트들 또는 주석들을 적을 수도 있고, 그들 사용자 입력들에 대응하는 마킹들 (markings) 또는 출력들은 비디오 출력 상에 중첩되어 디스플레이된다. 비디오, 즉, 제 1 출력과 주석들, 즉 제 2 출력이 중첩되는 디스플레이의 영역에서, 주석들은 불투명하고 비디오는 불투명한 제 2 출력을 통해 가시적이다. 제 1 출력 및 제 2 출력이 중첩되지 않는 디스플레이의 영역에서, 제 1 출력은 가시적이다.
개시된 실시형태들의 다른 양태에 따르면, 제 1 출력과 제 2 출력은 두 개의 출력들을 동기화하는 정보와 함께 저장될 수도 있다. 예를 들어, 제 1 출력이 비디오 출력이고 제 2 출력이 사용자-입력된 노트들 또는 주석들을 포함하는 예의 시나리오에서, 비디오 및 주석들 양쪽 모두는 특정 노트들 또는 주석들이 비디오에 대해 디스플레이되었던 시간을 레코딩하는 동기화 정보와 함께 저장된다. 제 1 출력, 제 2 출력, 및 동기화 정보는 원래 디스플레이된 출력들의 타이밍 시퀀스에 따라 그 출력들을 디스플레이하기 위해 나중에 취출되고 사용될 수도 있다. 예를 들어, 저장된 제 1 출력이 비디오이고 저장된 제 2 출력이 비디오의 플레이 동안에 만들어졌던 노트들 또는 주석들을 나타내는 예의 시나리오에서, 취출되는 저장된 비디오는 플레이되고 원래의 마킹들이 플레이중인 비디오에 대해 만들어졌던 타이밍을 재생성하기 위한 적절한 간격들로 플레이중인 비디오에 주석들은 중첩되었다.
개시된 실시형태들의 다른 양태에 따르면, 노트들 또는 주석들은 사용자 커맨드들 및/또는 디스플레이용 디바이스에 의해 강제되는 (또는 인가되는) 소정의 선호들 (preferences) 및 규칙들에 응답하여 디스플레이 상에서 이동되거나 또는 그 디스플레이로부터 제거될 수도 있다. 예를 들어, 제 1 출력이 비디오 출력이고 제 2 출력이 사용자-입력된 노트들 또는 주석들을 포함하는 예의 시나리오에서, 사용자는 주석들 또는 노트들이 디스플레이 상에서 이동될 것을 요청할 수도 있다. 사용자는 주석들이 디스플레이의 다른 부분으로 이동할 것을 원함을 나타내기 위해 그 주석들을 드래그할 수도 있다. 마찬가지로, 사용자 입력에 응답하여, 시스템은 디스플레이로부터 현재 디스플레이된 주석들을 제거할 수도 있다. 다른 실시형태에서, 디바이스는 제 2 출력이 미리 정해진 기간 (period of time) 동안에 디스플레이된 후에, 디스플레이의 특정 부분으로 이동되어야 하거나, 또는 디스플레이로부터 제거되어야 함을 특정하는 미리정의된 규칙들을 포함할 수도 있다.
이 개요는 아래의 예시적인 실시형태들의 상세한 설명에서 추가로 설명되는, 단순화된 형태로의 개념들의 선택을 소개하기 위해 제공된다. 이 개요는 청구된 요지의 키 특징들 또는 본질적 특징들을 식별하기 위해 의도된 것이 아니며, 청구된 요지의 범위를 제한하기 위해 이용되는 의도도 아니다. 다른 특징들은 아래에서 설명된다.
도 1은 본원에서 설명되는 주제의 양태들이 구현될 수도 있는 예시적인 컴퓨팅 배열물을 묘사한다.
도 2는 예시적인 디스플레이 인터페이스 장치를 묘사한다.
도 3은 제 1 출력이 디스플레이되는 예시적인 디스플레이 장치를 묘사한다.
도 4는 제 2 출력이 디스플레이되는 예시적인 디스플레이 장치를 묘사한다.
도 5는 두 개의 출력들이 동시에 디스플레이되는 예시적인 디스플레이 장치를 묘사한다.
도 6은 중첩된 디스플레이 출력들을 제공하도록 적응되는 예시적인 컴퓨팅 디바이스에 포함된 일 예의 논리적 컴포넌트들의 블록도를 묘사한다.
도 7은 제 1 출력에 중첩된 제 2 출력을 나타내기 위한 일 예의 프로세스의 흐름도이다.
도 8은 제 1 출력 및 제 2 출력을 저장하고 취출하기 위한 일 예의 프로세스의 흐름도이다.
도 9는 제 2 출력을 디스플레이 장치 상에서 이동시키고 제 2 출력을 디스플레이 장치로부터 제거하는 일 예의 프로세스의 흐름도이다.
도 10은 본원에서 설명되는 주제의 양태들이 전개될 수도 있는 컴퓨팅 환경의 블록도이다.
다음의 상세한 설명에서, 본원의 일부를 형성하는 첨부 도면들이 참조된다. 도면들에서, 유사한 심볼들은 상황이 그렇지 않다고 하는 경우 외에는 통상 유사한 컴포넌트들을 식별한다. 상세한 설명, 도면들, 및 청구항들에서 설명되는 예시적인 실시형태들은 제한하는 의미는 아니다. 본원에서 제시된 주제의 정신 또는 범위로부터 벗어나는 일 없이, 다른 실시형태들이 활용될 수도 있고, 다른 변경들이 만들어질 수도 있다. 본 개시물에서 대체로 설명되고 도면들에서 예시된 본 개시물의 양태들은, 모두가 본 개시물에서 명시적으로 의도된 매우 다양한 상이한 구성들로 배열물, 치환, 결합, 분리 및 설계될 수 있다는 것이 쉽사리 이해될 것이다.
개관
현대 컴퓨팅 디바이스들은 다수의 프로그램들을 동시에 실행하는 능력을 제공한다. 따라서, 일 예의 시나리오에서, 사용자들은 비디오를 플레이하기 위한 제 1 프로그램을 실행하고 동시에 노트들과 같은 사용자 입력들을 레코딩하기 위한 제 2 프로그램을 실행할 수도 있다. 예를 들어, 데스크톱 또는 랩톱 컴퓨터와 같이 넉넉한 디스플레이 인터페이스를 가지는 컴퓨팅 디바이스들은 동시에 제 1 애플리케이션에서는 비디오를 디스플레이하는 것과 제 2 애플리케이션에서는 사용자 입력들을 수신하는 것을 수용할 수도 있다. 비교적 제한적이거나 또는 비교적 작은 디스플레이 인터페이스들을 가지는 모바일 폰들 및 개인휴대 정보단말들과 같은 컴퓨팅 디바이스들이 없다면, 두 개의 애플리케이션들의 동시 관람은 어렵다.
제 1 출력을 디스플레이하고 제 1 출력에 중첩된, 사용자 입력에 대응하는 제 2 출력을 동시에 디스플레하는데 효과적인 시스템들 및 방법들을 위한 기술들이 대체로 개시된다. 제 1 출력 및 제 2 출력이 중첩되는 디스플레이의 영역에서, 제 2 출력은 불투명하고 제 1 출력은 불투명한 제 2 출력을 통해 가시적이다. 제 1 출력 및 제 2 출력이 중첩되지 않는 디스플레이의 영역에서, 제 1 출력은 가시적이다. 일 예의 시나리오에서, 제 1 출력은 비디오 전화 회의의 비디오 부분일 수도 있고, 제 2 출력은 전화 회의 동안에 사용자로부터 수신되는 주석들 또는 노트들일 수도 있다. 주석들 또는 노트들은 제 1 출력이 디스플레이되는 디스플레이 상에서 수신될 수도 있다.
예의 컴퓨팅 배열물
도 1은 본원에서 설명되는 주제의 양태들이 구현될 수도 있는 예시적인 컴퓨팅 배열물을 묘사한다. 특히, 도 1은 각각이 본원에서 설명되는 바와 같은 중첩된 출력을 제공하도록 적응될 수도 있는 컴퓨팅 디바이스들 (110) 로 구성된 일 예의 컴퓨팅 배열물 (100) 을 예시한다. 디바이스들 (110) 은, 예를 들어, 데스크톱 컴퓨터 (110a), 랩톱 컴퓨터 (110b), 폰 (110c), 태블릿 컴퓨팅 디바이스 (110d), 개인휴대 정보 단말 (PDA) (110e), 및 모바일 폰 (110f) 중 임의의 것을 포함할 수도 있으며, 그것들의 각각은, 예를 들어, 두 개의 실행 애플리케이션들로부터의 두 개의 출력 피드들 (feeds) 을 동시에 디스플레이하도록 적응될 수도 있다. 일 예의 시나리오에서, 디바이스들 (110a-110f) 중 어느 하나는 제 1 애플리케이션의 출력을, 예컨대, 비디오 출력을 디스플레이할 수도 있고, 동시에, 제 2 애플리케이션에 대한 입력들을, 예컨대, 디바이스 오퍼레이터에 의해 입력되었던 노트들 또는 주석들을 디스플레이할 수도 있다. 더 상세하게는, 디바이스들 (110a-110f) 중 어느 하나는 비디오를 디스플레이하면서 동시에 터치 스크린 디스플레이 상에서 수서된 주석들을 수신하고 디스플레이 상에 그 주석들에 대응하는 마킹들을 디스플레이하도록 프로그래밍될 수도 있다. 대체 시나리오에서, 디바이스들 (110a-110f) 중 임의의 것은 스틸 이미지를 디스플레이하고 동시에 그 이미지가 디스플레이된 동안에 디바이스 오퍼레이터에 의해 입력되었던 입력들을 디스플레이할 수도 있다.
디바이스들 (110) 의 각각은 통신 네트워크 (150) 와 통신하도록 적응될 수도 있다. 통신 네트워크 (150) 는 컴퓨팅 디바이스들 (110a-110f) 과 디바이스들 (110a-110f) 에 의해 액세스되는 임의의 서버들 사이에 통신들을 제공하기에 적합한 임의의 유형의 네트워크일 수도 있다. 통신 네트워크 (150) 는 상이한 기술들을 이용할 수도 있는 개별 네트워크들의 조합을 포함할 수도 있다. 예를 들어, 통신 네트워크 (150) 는 근거리 네트워크들 (LANs), 광역 네트워크들 (WANs), 셀룰러 네트워크들, 또는 그것들의 조합들을 포함할 수도 있다. 통신 네트워크 (150) 는 무선, 유선, 또는 그것들의 조합을 포함할 수도 있다. 일 예의 실시형태에서, 통신 네트워크 (150) 는 인터넷을 포함하고, 인터넷과 통신하도록 적응된 임의의 네트워크들을 부가적으로 포함할 수도 있다. 통신 네트워크 (150) 는 디바이스들 (110) 사이에서 비디오, 오디오, 및 다른 데이터를 통신하도록 적응되는 무선 전화기술 (telephony) 네트워크를 포함할 수도 있다. 특정 시나리오에서, 전화기술 네트워크는 디바이스들 (110) 사이에서 비디오 전화 회의들을 통신하도록 적응된다.
도 2는 예시적인 디스플레이 장치 (200) 를 묘사한다. 디스플레이 장치 (200) 는 도 1에 묘사된 디바이스들 중 임의의 디바이스 내의 디스플레이 컴포넌트로서 채용될 수도 있지만, 디스플레이 장치 (200) 의 사이즈는 그것이 부품이 되는 특정 시스템에 의존하여 변할 수도 있다. 예를 들어, 디스플레이 장치 (200) 가 데스크톱 시스템 (110a) 에 포함된다면, 그것은 디스플레이 장치 (200) 가 폰 (110f) 또는 PDA (110e) 에 포함되는 상황에서보다는 더 클 가능성이 많다. 디스플레이 장치 (200) 는 출력을 전자적으로 디스플레이하기에 적합한 임의의 디바이스일 수도 있고, 예를 들어, 비디오, 정지 이미지들, 텍스트, 그래픽스 뿐만 아니라 전자적으로 표현될 수도 있는 임의의 다른 유형의 출력을 디스플레이하도록 적응될 수도 있다. 일 예의 실시형태에서, 디스플레이 장치 (200) 는 또한 예를 들어, 터치 감응 스크린 (202) 과 같은 입력 디바이스를 포함할 수도 있다. 일 예의 실시형태에서, 터치 감응 스크린 (202) 은 그것의 표면에서 입력들을 수신하고 디스플레이 장치 (200) 상의, 입력들의 로케이션에 대응하는 로케이션들에서 전자 마킹들을 생성하도록 적응된다. 예를 들어, 사용자가 그의/그녀의 손가락들과 손들 및/또는 스타일러스와 같은 포인팅 디바이스를 터치 감응 스크린 (202) 상에서 이용하여 입력을 할 수도 있으며, 입력들은 그 입력들에 대응하는 로케이션들에서 디스플레이 장치 (200) 상에 디스플레이중인 전자 마킹들에 의해 반영된다.
도 3은 제 1 출력 (310) 이 디스플레이되는 예시적인 디스플레이 장치 (200) 를 묘사한다. 도 3의 예시적인 실시형태에서, 제 1 출력 (310) 은 사람의 이미지를 나타낸다. 일 예의 시나리오에서, 제 1 출력 (310) 은 비디오 이미지일 수도 있고, 예를 들어, 비디오 전화 회의의 비디오 스트림일 수도 있다. 도 3에 묘사된 예에서, 제 1 출력 (310) 은 사람의 초상 (likeness) 을 도시하고 비디오 출력을 나타내지만, 제 1 출력 (310) 은 임의의 유형의 초상을 나타낼 수도 있고, 예를 들어, 정지 이미지들, 그래픽스, 및/또는 텍스트를 포함한 임의의 유형의 콘텐츠일 수도 있다. 더구나, 제 1 출력 (310) 은 디스플레이 장치 (200) 상에 나타내어지는 임의의 출력일 수도 있다.
도 4는 제 2 출력 (410) 이 디스플레이되는 예시적인 디스플레이 장치 (200) 를 묘사한다. 도 4의 예시적인 실시형태에서, 제 2 출력 (410) 은 텍스트이다. 일 예의 시나리오에서, 제 2 출력 (410) 은 사용자 입력에 대응하는 텍스트일 수도 있다. 더 상세하게는, 제 2 출력 (410) 은 터치 감응 스크린 (202) 상에서 수신된 또는, 예를 들어, 키보드 또는 컴퓨터화된 (computerized) 음성 인식과 같은 일부 다른 입력 수단을 통해 입력된 사용자 입력에 대응하는 텍스트를 포함할 수도 있다. 도 4에 묘사된 예에서 제 2 출력 (410) 은 텍스트를 예시하지만, 제 2 출력 (410) 은, 예를 들어, 비디오, 정지 이미지들, 그래픽스, 및/또는 텍스트를 포함한 임의의 유형의 콘텐츠를 나타낼 수도 있다.
따라서, 도 3 및 도 4에서 묘사된 바와 같이, 디스플레이 장치 (200) 는 일 예의 실시형태에서, 전화 회의의 비디오 피드일 수도 있는 제 1 출력 (310) 과 일 예의 실시형태에서, 사용자 입력에 대응하는 텍스트 또는 주석들일 수도 있는 제 2 출력 (410) 을 디스플레이하도록 적응된다. 예를 들어, 모바일 폰 (110f) 및 PDA (110e) 와 같은 디바이스들의 경우, 디스플레이 장치 (200) 는 제 1 출력 (310) 및 또한 제 2 출력 (410) 양쪽 모두를 동시에 디스플레이하는 것을 수용할 정도로 충분히 크지는 않을 것이다. 더욱이, 디스플레이 장치 (200) 상에 디스플레이되는 두 개의 출력들 사이의 스위칭은 그것이 한 번에 하나를 초과하는 활동에 사용자가 참여하는 것을 못하게 하므로 결코 유익하지 않다.
예시적인 실시형태에서, 디바이스들 (110a-110f) 중 어느 하나는 두 개의 출력들을 중첩시키도록 적응되는 디스플레이 장치 (200) 를 포함할 수도 있다. 도 5는 두 개의 출력들이 동시에 디스플레이되는 예시적인 디스플레이 장치 (200) 를 묘사한다. 도시된 바와 같이, 제 1 출력 (310) 은 디스플레이되고 제 2 출력 (410) 은 제 1 출력 (310) 의 위에 중첩되어 디스플레이된다. 제 2 출력 (410) 이 제 1 출력 (310) 에 중첩되는 디스플레이 장치 (200) 의 영역에서, 제 2 출력 (410) 은 불투명하지만, 제 1 출력 (310) 은 제 2 출력 (410) 밑에서 가시적이다. 제 1 출력 (310) 이 제 2 출력 (410) 에 의해 중복되지 않는 영역들에서, 제 1 출력 (310) 은 분명히 가시적이다. 제 2 출력 (410) 은 제 1 출력 (310) 이 제 2 출력 (410) 밑에서 관람가능하게 하는 레벨의 투명도를 가질 수도 있다. 제 2 출력 (410) 의 불투명도 (opaqueness) 의 레벨은 변화할 수도 있고 이에 의해 그 출력들 두 개가 중첩되는 부분들에서 제 1 출력 (310) 의 가시성을 증가시키거나 또는 감소시킨다. 더욱이, 제 2 출력 (410) 은 제 1 출력 (310) 이 가시적이게 되는 것을 여전히 허용하면서도 다소 구별가능하게 되도록 하기 위해서 특정 컬러링 방식 (coloring scheme) 으로 디스플레이될 수도 있다. 제 2 출력 (410) 이 터치 감응 스크린 (202) 상에서 입력된 사용자 입력들에 대응하는 시나리오에서, 제 2 출력 (410) 은 그것이 디스플레이되는 백그라운드에 비해 두드러지는 특정 그레이 컬러를 이용하여 디스플레이될 수도 있다. 대안적 실시형태들에서, 제 2 출력 (410) 의 컬러는 제 2 출력 (410) 을 다소 구별가능하게 하기 위하여 적색, 노란색, 흑색, 또는 임의의 다른 컬러 애플리케이션에 적합한 임의의 다른 컬러일 수도 있다.
제 1 출력 (310) 은, 예를 들어, 비디오, 정지 이미지들, 그래픽스, 텍스트 등을 포함한 임의의 유형의 데이터일 수도 있다. 일 예의 시나리오에서, 제 1 출력 (310) 은 비디오 스트림, 그리고 더 상세하게는, 오디오/비디오 전화 회의의 비디오 스트림 부분일 수도 있다. 제 2 출력 (410) 은 비트 스트림을 관람하는 동안에 수신된 사용자 입력들에 대응하는 출력일 수도 있다. 사용자 입력은 임의의 적합한 수단에 의해 수신될 수도 있다. 일 예의 시나리오에서, 사용자 입력들은 터치 감응 스크린 (202) 상에서 수신될 수도 있다. 이러한 시나리오에서, 디스플레이 장치 (200) 의 사용자는 제 1 출력 (310) 을 관람하고 동시에 터치 감응 스크린 (202) 상에서 노트들 또는 주석들을 입력할 수도 있다. 수신된 사용자 입력들에 대응하는 제 2 출력 (410) 은 제 1 출력 (310) 에 중첩된다. 사용자는 제 1 출력 (310) 을 관람하는 것과 동시에 노트들 및 주석들, 즉, 제 1 출력 (310) 에 의해 프롬프트될 수도 있는 제 2 출력 (410) 을 캡처하고 디스플레이할 수 있다. 제 1 출력 (310) 이 전화 회의의 비디오 스트림인 시나리오에서, 통화에 참여하는 사람은 계속해서 전화 통화에 참여하고 비디오를 관람하면서, 또한 터치 감응 스크린 (202) 상에서 노트들 또는 주석들을 취할 (taking) 수 있다. 이 시나리오에서, 제 1 출력 (310) 은 제 2 출력 (410) 이 그 위에 중첩되는 경우에도 계속해서 가시적이 되고 구별가능하다. 디스플레이 장치 (200) 상에 비디오를 디스플레이하면서 동시에 수서된 주석들을 나타내는 조합은 노트들이 레코딩될 수도 있는 유리 분리체 (glass separator) 뒤에 있는 누군가와 이야기하는 느낌 (sensation) 을 만들어낸다.
도 6은 중첩된 디스플레이 출력들을 제공하도록 적응되는 예시적인 컴퓨팅 디바이스 (110) 상에 포함되는 일 예의 논리적 컴포넌트들의 블록도를 묘사한다. 로직 컴포넌트들은, 예를 들어, 데스크톱 (110a), 랩톱 (110b), 폰 (110c), 태블릿 컴퓨팅 디바이스 (110d), PDA (110e), 및 모바일 폰 (110f) 을 포함한 임의의 유형의 컴퓨팅 디바이스 상에 포함될 수도 있다. 일 예의 실시형태에서, 예시적인 디바이스 (110) 는 디스플레이 장치 (200) 상의 디스플레이를 위한 데이터를 수신하도록 동작하는 수신된 데이터 제어 로직 (610) 을 포함할 수도 있다. 예를 들어, 수신된 데이터 제어 로직 (610) 은 비디오 스트림 또는, 예를 들어, 정지 이미지들, 텍스트, 및/또는 그래픽스를 포함한 임의의 유형의 데이터의 수신을 조정하도록 적응될 수도 있다.
일 예의 실시형태에서, 예시적인 디바이스 (110) 는, 예를 들어, 터치 감응 스크린, 키보드 등으로부터 수신된 사용자 입력들을 제어하도록 동작하는 사용자 인터페이스 입력 제어 로직 (612) 을 더 포함할 수도 있다. 디바이스 (110) 가 비디오 회의의 스틸 이미지 또는 비디오 스트림을 디스플레이하도록 적응되는 일 예의 시나리오에서, 사용자 인터페이스 입력 제어 로직 (612) 은 터치 감응 스크린 (202) 으로부터 입력들을 수신하도록 적응될 수도 있다. 사용자 인터페이스 입력 제어 로직 (612) 은, 예를 들어, 비디오, 이미지들, 정지 이미지들, 텍스트, 및 그래픽스를 포함한 임의의 유형의 사용자 입력들을 수신하도록 적응될 수도 있다. 비슷하게, 사용자 인터페이스 입력 로직 (612) 은, 예를 들어, 터치 감응 스크린들 또는 디스플레이들, 물리적 키보드들, 가상 키보드들, 포인팅 마이스 (pointing mice), 컴퓨터화된 음성 인식 시스템들 등을 포함한 임의의 적합한 입력 디바이스로부터의 입력들을 제어하도록 적응될 수도 있다. 사용자 인터페이스 입력 로직 (612) 과 수신된 데이터 제어 로직 (610) 은 동일한 또는 별도의 소프트웨어 애플리케이션들에 포함될 수도 있다.
출력 제어 로직 (614) 은 디바이스 출력을 제어하도록 적응된다. 예를 들어, 출력 제어 로직 (614) 은 디스플레이 장치 (200) 상의 제 1 출력 (310) 의 디스플레이와 제 1 출력 (310) 상의 제 2 출력 (410) 의 중첩을 허용할 수도 있다. 일 예의 시나리오에서, 출력 제어 로직 (614) 은 비디오 회의의 비디오 스트림과 그 비디오 스트림에 중첩된 사용자 입력들에 대응하는 주석들을 디스플레이하도록 적응될 수도 있다. 다른 예의 시나리오에서, 출력 제어 로직 (614) 은 정지 이미지들과 터치 감응 스크린 (202) 으로부터 수신된 주석들을 디스플레이하도록 적응될 수도 있다. 출력 제어 로직 (614) 은 수신된 데이터 제어 로직 (610) 및 사용자 인터페이스 입력 제어 로직 (612) 을 갖는 공통 프로그램 애플리케이션에 포함될 수도 있지만, 다르게는 수신된 데이터 제어 로직 (610) 및 사용자 인터페이스 입력 제어 로직 (612) 을 포함하는 하나 이상의 애플리케이션들로부터 분리될 수도 있다.
출력 제어 로직 (614) 은 제 1 출력 (310) 및 제 2 출력 (410) 의 무결성 (integrity) 을 유지하면서도 두 개의 출력들이 디스플레이 장치 (200) 상에 디스플레이되도록 적응될 수도 있다. 다르게 말하면, 제 2 출력 (410) 의 구별성 (distinctness) 은 제 2 출력 (410) 이 제 1 출력 (310) 에 중첩되는 동안에 제 1 출력 (310) 에 대해 변화들이 이루어지는 경우에도 유지된다. 예를 들어, 제 1 출력 (310) 이 그 성질에 의해 시간 경과에 따라 변화하는 비디오 출력을 포함하는 경우, 제 2 출력 (410) 의 구별성 및 선명도는 제 1 출력 (310) 에 포함되는 비디오 스트림에서의 계속되는 변화에 의해 영향을 받지 않는다. 출력 제어 로직 (614) 은 출력들 (310 및 410) 에 대응하는 데이터를 디스플레이하기 전에 버퍼링할 수도 있고, 제 1 출력 (310) 에 대한 버퍼링된 데이터 상에 제 2 출력 (410) 에 대한 버퍼링된 데이터를 매핑할 수도 있다. 예를 들어, 출력 제어 로직 (614) 은 제 2 출력 (410) 및 제 1 출력 (310) 에 대한 데이터를 디스플레이 장치 (220) 상의 화소들의 로케이션들에 매핑할 수도 있다. 매핑은 별도의 출력들 (310 및 410) 의 무결성을 제어하는 것을 허용한다. 그 후, 출력 제어 로직 (614) 은 디스플레이를 위해 제 1 출력 (310) 데이터에 매핑된 제 2 출력 (410) 데이터를 통신할 수도 있다.
수신된 데이터 저장소 (616) 는 디스플레이 장치 (200) 상에서 수신되고 디스플레이되는 데이터를 저장하기 위한 로직 및 컴퓨팅 메모리를 포함한다. 예를 들어, 수신된 데이터 저장소 (616) 는 제 1 출력 (310) 의 사본을 저장한다. 디바이스 (110) 가 비디오 회의의 비디오 스트림을 수신하도록 적응되는 일 예의 시나리오에서, 비디오 스트림 및 대응하는 오디오 스트림은 수신된 데이터 저장소 (616) 에 저장될 수도 있다.
사용자 입력 데이터 저장소 (618) 는 사용자 입력들 및 그것들의 대응하는 출력들에 대응하는 데이터를 저장하기 위한 로직 및 컴퓨팅 메모리를 포함한다. 예를 들어, 사용자 입력들이 터치 감응 스크린 (202) 상에서 수신되는 일 예의 시나리오에서, 입력들에 대응하는 데이터 뿐만 아니라 디스플레이 장치 (200) 상에서 생성되었던 대응하는 출력들은 사용자 입력 데이터 저장소 (618) 에 저장된다. 또한, 사용자 입력 데이터 및 대응하는 출력들을, 예를 들어 비디오 출력들과 같은 임의의 다른 출력들과 동기화시키기 위해 사용될 수도 있는 임의의 다른 데이터는, 사용자 입력 데이터 저장소 (618) 에 저장될 수도 있다. 예를 들어, 비디오의 디스플레이에 대한 입력들의 수신 및 대응하는 출력의 생성의 타이밍에 관한 정보가 레코딩될 수도 있다. 그 타이밍 정보는 원래의 디스플레이의 타이밍 간격들과 일치하는 두 개의 출력들의 디스플레이를 동기화하기에 적합한 임의의 유형의 정보일 수도 있다. 타이밍 정보는 절대 타이밍 정보를 포함할 수도 있고 또는 제 1 출력의 플레잉 시간에 관한 타이밍 정보일 수도 있다. 예를 들어, 타이밍 정보는 특정 제 2 출력이, 대응하는 제 1 출력의 플레이 시간 내에서 3 분간 디스플레이되었다는 것을 특정할 수도 있다.
동기화 제어 로직 (620) 은 저장된 데이터의 동기화된 디스플레이를 제어하도록 적응된다. 예를 들어, 저장된 데이터 (616) 를 디스플레이하라는 요청에 응답하여, 출력 제어 로직 (614) 이, 저장된 데이터를 두 개의 출력 스트림들의 원래의 디스플레이의 타이밍과 일치하게 디스플레이하게 하기 위하여 동기화 제어 로직은 저장소들 (616 및 618) 로부터 데이터를 취출하고 저장소 (618) 에 저장된 동기화 정보를 이용하도록 적응된다. 예를 들어, 터치 감응 스크린 (202) 상에서 수신된 사용자 입력들에 대응하는 출력이 디스플레이 장치 (200) 상에 표시된 비디오 스트림에 중첩되어 디스플레이되었던 일 예의 시나리오에서, 동기화 제어 로직 (620) 은, 두 개의 출력들이 원래 디스플레이되었던 경우에 적용된 타이밍 및 시퀀스와 일치하는 방식으로, 데이터 저장소들 (616 및 618) 로부터의 대응하는 저장된 데이터를 표시하도록 적응될 수도 있다.
중첩된 출력들의 프로세싱
도 7은 제 1 출력 (310) 에 중첩된 제 2 출력 (410) 을 표시하기 위한 일 예의 프로세스의 흐름도이다. 예의 프로세스는, 예를 들어, 디바이스들 (110a-110f) 중 임의의 것을 포함한 임의의 적합한 디바이스 상에 구현될 수도 있다. 일 예의 프로세스는 블록들 (710, 712, 및/또는 714) 중 하나 이상에 의해 예시된 바와 같은 하나 이상의 동작들, 액션들, 또는 기능들을 포함할 수도 있다. 더구나, 본원에서 설명되는 이것 및 다른 프로세스들 및/또는 방법들의 경우, 개별 블록들로서 예시되지만, 소망의 구현예에 의존하여, 다양한 블록들이 부가적인 블록들로 분할, 몇몇 블록들로 결합, 또는 제거될 수도 있다. 프로세싱은 블록 (710) 에서 개시될 수도 있다.
블록 (710) (제 1 출력을 제공) 에서, 제 1 출력 (310) 은 디스플레이 장치 (200) 상에 디스플레이된다. 제 1 출력 (310) 은 디스플레이 장치 (200) 상에 디스플레이되기에 적합한 임의의 출력일 수도 있다. 예를 들어, 제 1 출력 (310) 은 비디오, 이미지들, 정지 이미지들, 텍스트, 그래픽스, 또는 임의의 다른 출력 유형일 수도 있다. 하나의 예의 시나리오에서, 제 1 출력 (310) 은 전화 회의의 비디오 스트림을 포함할 수도 있다. 비디오를 디스플레이하는 것과 동시에, 그 비디오에 대응하는 오디오는 디바이스 (110) 의 스피커 컴포넌트에 의해 출력될 수도 있다. 프로세싱은 블록 (710) 으로부터 블록 (712) 으로 계속될 수도 있다.
블록 (712) (입력을 수신) 에서, 사용자 입력은 디바이스 (110) 에서 수신된다. 그 입력들은 디바이스 (110) 상에서 수신되기에 적합하고, 예를 들어, 터치 입력들, 기계적 입력들, 및/또는 오디오 입력들을 포함할 수도 있는 임의의 것일 수도 있다. 게다가, 그 입력들은, 예를 들어, 터치 감응 스크린, 물리적 키보드, 가상 키보드, 마우스, 음성 인식 소프트웨어를 갖는 마이크로폰 등을 포함한 임의의 적합한 입력 디바이스를 통해 수신될 수도 있다. 일 예의 시나리오에서, 제 1 출력 (310) 가 디스플레이 장치 (200) 상에 디스플레이되는 동안 입력들은 터치 감응 스크린 (202) 상에서 수신된다. 더 상세하게는, 비디오 전화 회의 스트림일 수도 있는 비디오 스트림이 디스플레이 장치 (200) 상에 디스플레이되는 동안 수서된 입력들이 터치 감응 스크린 (202) 상에서 수신될 수도 있다. 프로세싱은 블록 (712) 으로부터 블록 (714) 으로 계속될 수도 있다.
블록 (714) (제 1 출력 상에 중첩된 제 2 출력을 제공) 에서, 블록 (712) 에서 수신된 사용자 입력들에 대응하는 제 2 출력 (410) 은, 디스플레이 장치 (200) 상에 디스플레이된다. 제 2 출력 (410) 은 제 1 출력 (310) 과 동시에 그리고 중첩되어 디스플레이된다. 제 1 출력 (310) 및 제 2 출력 (410) 이 중첩되는 디스플레이 장치 (220) 의 영역에서, 제 2 출력 (410) 은 불투명하고 제 1 출력 (310) 은 불투명한 제 2 출력 (410) 을 통해 가시적이다. 제 2 출력 (410) 은, 적어도 부분적으로, 투명하고 그래서 제 1 출력 (310) 은 디스플레이 장치 (200) 상에서 가시적일 수도 있다. 제 1 출력 (310) 과 제 2 출력 (410) 이 중첩되지 않는 디스플레이 장치 (200) 의 영역에서, 제 1 출력 (310) 은 가시적이다.
제 2 출력 (410) 이 제 1 출력 (310) 에 중첩되는 디스플레이 장치 (200) 의 영역에서, 불투명성의 정도 또는 레벨과, 역으로 투명도 (transparency) 의 레벨은 디바이스 오퍼레이터의 선호들에 의존하여 변할 수도 있다. 따라서, 불투명도의 레벨은 매우 불투명함에서부터 매우 투명함까지 변할 수도 있다. 유사하게, 제 1 출력 (310) 이 제 2 출력 (410) 에 의해 두 개가 중첩되는 영역에서 부분적으로 가려지거나 또는 어둡게 되는 정도는, 많이부터 약간만까지 변할 수도 있다. 사실상, 일부 실시형태들에서는, 제 1 출력 (310) 이 거의 완전히 가려지지만, 다른 실시형태들에서, 제 1 출력 (310) 이 약간만 가려진다.
블록 (712) 에서 제 1 출력 (310) 이 디스플레이되는 동안에 노트들 또는 주석들이 입력들로서 디바이스 (110) 내로 수신되는 일 예의 시나리오에서, 블록 (714) 에서는, 입력들에 대응하는 마킹들, 주석들, 및/또는 노트들이 그 입력들에 대응하는 디스플레이 장치 (200) 상의 로케이션들에서 디스플레이된다. 더 상세하게는, 수서된 주석들 또는 노트들이 사용자에 의해 터치 감응 스크린 (202) 상에서 수신되는 경우, 대응하는 주석들은 디스플레이 장치 (200) 상에서, 예를 들어, 오디오/비디오 회의의 비디오 출력일 수도 있는 제 1 출력 (310) 에 중첩되어 디스플레이된다. 대체 실시형태에서, 주석들은 물리적 또는 가상 키보드 상에서 이루어지고 대응하는 노트들 또는 주석들은 디스플레이 장치 (200) 상에서 제 1 출력 (310) 에 중첩되어 디스플레이된다. 또다른 실시형태에서, 사용자 입력들은 컴퓨터화된 음성 인식을 통해 입력되고 대응하는 출력들은 디스플레이 장치 (200) 상에서 제 1 출력 (310) 에 중첩되어 디스플레이된다.
일 예의 시나리오에서, 디바이스 (110) 는 제 1 출력 (310) 및 제 2 출력 (410) 의 무결성을 유지하면서도 두 개의 출력들이 디스플레이 장치 (200) 상에 디스플레이되도록 적응될 수도 있다. 다르게 말하면, 제 2 출력 (410) 의 구별성은 제 2 출력 (410) 이 제 1 출력 (310) 에 중첩되는 동안에 제 1 출력 (310) 에 대해 변화들이 이루어지는 경우에도 유지된다. 비슷하게, 제 2 출력 (410) 이 제 1 출력 (310) 에 중첩되는 동안에 제 2 출력 (410) 에 대해 변화들이 이루어지는 경우에도 제 1 출력 (310) 의 구별성 및 무결성은 유지된다. 일 예의 시나리오에서, 제 1 출력 (310) 은 비디오 출력을 포함한다. 그것의 성질에 의해, 비디오 출력은 움직임을 묘사하기 위해서 시간 경과에 따라 변화한다. 제 2 출력 (410) 의 구별성 및 선명도는 제 1 출력 (310) 에 포함된 비디오 스트림에서의 계속되는 변화에 의해 영향을 받지 않는다. 비슷하게, 예를 들어, 계속되는 수서된 노트들이 수신되는 경우와 같이 제 2 출력 (410) 이 시간 경과에 따라 변화하는 시나리오에서, 제 1 출력 (310) 의 구별성은 유지된다.
블록 (714) 에서 출력들을 제공하는 것에 관련하여, 디바이스 (110) 는 출력들 (310 및 410) 의 무결성 및 구별성을 임의의 적합한 방식으로 유지할 수도 있다. 일 예의 실시형태에서, 디스플레이 디바이스들의 전형적인 동작과 일치하는 디스플레이 장치 (220) 는, 표시되는 데이터를 지속적으로 리프레시한다. 일 예의 시나리오에서, 디바이스 (110) 는 출력들 (310 및 410) 에 대응하는 데이터를 디스플레이하기 전에 버퍼링할 수도 있다. 디바이스 (110), 그리고 특히 출력 제어 (614) 로직은, 제 2 출력 (410) 에 대한 버퍼링된 데이터를 제 1 출력 (310) 에 대한 버퍼링된 데이터 속으로 또는 그 위에 매핑할 수도 있다. 예를 들어, 출력 제어 로직 (614) 은 제 2 출력 (410) 및 제 1 출력 (310) 에 대한 데이터를 디스플레이 장치 (220) 상의 화소들의 로케이션들에 매핑할 수도 있다. 버퍼링 및 매핑은 별도의 출력들 (310 및 410) 의 무결성을 제어하는 것을 허용한다. 제 1 출력 (310) 데이터에 매핑된 제 2 출력 (410) 데이터를 포함하는 데이터는 그 다음에 디스플레이 장치 (220) 에 의해 디스플레이된다. 디스플레이하기 전에 데이터를 버퍼링하고 매핑하기 위한 로직은, 예를 들어, 디스플레이 장치 (220) 상에서의 화소 디스플레이를 제어하는 그래픽스 및/또는 디스플레이 제어기에 의해 구현될 수도 있다.
잠정적인 실시형태들의 다른 양태에 따르면, 제 1 및 제 2 출력들 (310 및 410) 은 저장되고 나중에 취출되고 디스플레이될 수도 있다. 그 출력들은 따로따로 그리고 독립적으로 취출되고 디스플레이될 수도 있다. 그러나, 그 출력들은 또한 동시에 취출되고 디스플레이될 수도 있으며, 그 출력들은 원래 디스플레이되었던 때에 사용되었던 것과 동일한 상대 타이밍으로 동기화되고 디스플레이될 수도 있다. 도 8은 제 1 출력 (310) 및 제 2 출력 (410) 을 저장하고 취출하기 위한 일 예의 프로세스의 흐름도이다. 일 예의 프로세스는 블록들 (810, 812, 814, 및/또는 816) 중 하나 이상에 의해 예시된 바와 같은 하나 이상의 동작들, 액션들, 또는 기능들을 포함할 수도 있다. 프로세싱은 블록 (810)에서 개시될 수도 있다.
블록 (810) (제 1 출력을 저장) 에서, 제 1 출력 (310) 은, 예를 들어, 데이터베이스 저장소 (616) 내에 저장된다. 예를 들어, 제 1 출력 (310) 이 비디오 전화 회의의 출력인 일 예의 시나리오에서, 비디오 스트림, 및 일부 시나리오들에서는, 오디오 스트림이 데이터베이스 저장소 (616) 에 저장된다. 프로세싱은 블록 (810) 으로부터 블록 (812) 으로 계속될 수도 있다.
블록 (812) (제 2 출력을 저장) 에서, 제 2 출력 (410) 및 대응하는 사용자 입력들은, 예를 들어, 데이터베이스 저장소 (618) 에 저장되거나 또는 레코딩된다. 예를 들어, 사용자 입력들이 디스플레이 장치 (200) 상에서 노트들 또는 주석들로서 수신되었고 디스플레이되었던 일 예의 시나리오에서는, 블록 (812) 에서, 그들 주석들은 데이터베이스 저장소 (618) 에 저장된다. 프로세싱은 블록 (812) 으로부터 블록 (814) 으로 계속될 수도 있다.
블록 (814) (동기화 정보를 저장) 에서, 제 2 출력 (410) 및 제 1 출력 (310) 을 동기화하는 정보가 저장된다. 예를 들어, 동기화 정보는 사용자 입력 데이터 저장소 (618) 에 저장될 수도 있다. 저장되는 동기화 정보는 제 1 출력 (310) 에 대한 제 2 출력 (410) 의 시간적 배열을 레코딩 및 재생성할 시에 유용한 임의의 데이터일 수도 있다. 다르게 말하면, 제 2 출력 (410) 이 제 1 출력 (310) 에 대해 디스플레이되었던 때를 나타내는 데이터가 레코딩될 수도 있다. 제 1 출력 (310) 이 오디오/비디오 회의의 비디오 스트림이고 제 2 출력 (410) 이 사용자 입력들에 대응하는 주석들 또는 노트들을 포함하는 일 예의 시나리오에서, 동기화 정보는 갖가지 제 2 출력들 (410) 이 제 1 출력 (310) 의 플레이시간에 대해 디스플레이되었던 시간들을 캡처한다. 예로서, 비디오 스트림을 포함하는 제 1 출력 (310) 을 디스플레이하는 것에 대해 제 2 출력 (410) 이 30 초 디스플레이된 경우, 동기화 정보는 제 2 출력 (410) 이 30 초 비디오 스트림 속에 디스플레이되었음을 레코딩하는 정보를 포함한다. 제 1 출력 (310) 의 오디오 부분들이 레코딩되는 실시형태에서, 오디오와 제 2 출력 (410) 을 동기화하는 정보는 또한 레코딩될 수도 있다. 프로세싱은 블록 (814)로부터 블록 (816) 으로 계속될 수도 있다.
블록 (816) (저장된 제 1 및/또는 제 2 출력들을 취출 및 출력), 제 1 출력 (310) 에 대한 저장된 데이터 및/또는 제 2 출력 (410) 에 대한 저장된 데이터는 취출되고 디스플레이될 수도 있다. 예를 들어, 저장된 제 1 출력 (310) 이 비디오 스트림 및 오디오 스트림을 포함하고 저장된 제 2 출력 (410) 이 비디오 스트림 상에 만들어지고 중첩된 주석들을 포함하는 경우, 블록 (816) 에서, 저장된 정보는 메모리로부터 취출되고 디스플레이될 수도 있다. 언급된 바와 같이, 제 2 출력 (410) 과 제 1 출력 (310) 은, 제 1 출력 (310) 및 제 2 출력 (410) 이 원래 디스플레이되었던 때의 디스플레이의 상대적 타이밍에 일치하는, 제 1 출력 (310) 에 대한 적절한 시간에 제 2 출력 (410) 이 디스플레이되도록 동기화된다. 일 예의 실시형태에서, 저장된 제 1 출력 (310) 은 비디오 및 오디오를 포함할 수도 있고, 저장된 제 2 출력 (410) 은 주석들을 포함할 수도 있다. 모두는 메모리로부터 취출되고 저장된 동기화 정보에 일치하게 출력될 수도 있다. 다른 시나리오에서, 저장된 출력들 중 오직 하나 또는 일 부분만이 리플레이 (replay) 될 수도 있다. 예를 들어, 노트들 또는 주석들을 포함할 수도 있는 제 2 출력 (410) 은, 제 1 출력 (310) 과는 별도로 디스플레이될 수도 있다. 다른 예의 시나리오에서, 제 2 출력 (410) 은 제 1 출력 (310) 의 오디오 부분이 리플레이되는 동안 취출되고 디스플레이될 수도 있다. 이러한 시나리오에서, 주석들 또는 노트들은 오디오 스트림에 대한 노트들 또는 주석들의 시간적 배치와 일치하도록 하기 위해서 오디오 리플레이와 동기화되어 디스플레이된다.
개시된 실시형태들의 다른 양태에 따르면, 제 2 출력 (410) 은 디스플레이 장치 (200) 로부터 이동되고 및/또는 제거될 수도 있다. 디스플레이 장치 (200) 가 비교적 작고 제 2 출력 (410) 은 디스플레이 장치 (200) 의 대부분, 또는 특정 부분을 커버하는 그런 기능성은 특히 유용하다. 제 2 출력 (410) 은 덜 두드러지도록 하기 위해서 디스플레이 장치 (200) 상에서 이동될 수도 있다. 대안으로, 또는 덧붙여서, 제 2 출력 (410) 은 디스플레이 장치 (200) 로부터 제거될 수도 있다.
도 9는 제 2 출력을 디스플레이 장치 상에서 이동시키고 제 2 출력을 디스플레이 장치로부터 제거하는 일 예의 프로세스들의 흐름도이다. 일 예의 프로세스는 블록들 (910 및/또는 912) 중 하나 이상에 의해 예시된 바와 같은 하나 이상의 동작들, 액션들, 또는 기능들을 포함할 수도 있다. 프로세싱은 블록 (910) 에서 개시될 수도 있다.
블록 (910) (제 2 출력의 전부 또는 일 부분을 이동) 에서, 제 2 출력 (410) 의 전부 또는 일 부분은 디스플레이 장치 (200) 상에서 이동될 수도 있다. 예를 들어, 제 2 출력 (410) 은 제 1 출력 (310) 과의 더 적은 중첩량을 가지도록 하기 위해서 이동될 수도 있다. 따라서, 일 예의 실시형태에서, 제 2 출력 (410) 은 사용자 입력에 응답하여 디스플레이 장치 (200) 상에서 이동될 수도 있다. 예를 들어, 제 2 출력 (410) 은 제 2 출력 (410) 에 대한 마우스 커서 드래깅에 응답하여 이동될 수도 있다. 일 예의 실시형태에서, 제 2 출력 (410) 은 미리 정해진 기간 후에 디바이스 (110) 에 의해 자동으로 이동될 수도 있다. 예를 들어, 제 2 출력 (410) 은, 제 2 출력 (410) 이 5 분 동안 디스플레이된 후에, 디바이스 (110) 에 의해, 예를 들어, 바닥 부분과 같은 디스플레이 장치 (200) 의 특정 부분으로 자동으로 이동될 수도 있다. 프로세싱은 블록 (910) 으로부터 블록 (912) 로 계속될 수도 있다.
블록 (912) (제 2 출력의 전부 또는 일 부분을 제거) 에서 제 2 출력 (410) 의 전부 또는 일 부분은 디스플레이 장치 (200) 로부터 제거될 수도 있다. 예를 들어, 제 2 출력 (410) 은 사용자 입력에 응답하여 또는 디바이스 (110) 에 의해 강제되거나 또는 인가된 규칙들 또는 요건들에 응답하여 제거될 수도 있다. 일 예의 시나리오에서, 제 2 출력 (410) 은 사용자 입력에 응답하여 디스플레이 장치 (200) 로부터 제거될 수도 있다. 예를 들어, 사용자는 부가적인 노트들 또는 주석들을 위한 공간을 만들기 위해서 디스플레이 장치 (200) 상에 디스플레이되는 노트들 또는 주석들의 전부 또는 일 부분을 제거할 것을 선택할 수도 있다. 일 예의 실시형태에서, 디바이스 (110) 는 미리 정해진 기간이 경과한 후에 제거되어야 하는, 사용자 입력들에 대응하는 출력들을 특정하는 규칙들을 포함할 수도 있다. 예를 들어, 출력이 10 분 동안 디스플레이된 후, 디바이스 (110) 는 디스플레이 장치 (200) 를 제거할 수도 있다.
예의 컴퓨팅 환경
도 10은 본원에서 설명되는 시스템들 및 방법들을 구현하는데 이용될 수도 있는 예의 컴퓨팅 시스템 (1000) 의 블록도를 묘사한다. 예를 들어, 컴퓨팅 시스템 (1000) 은 디바이스들 (110a-110f) 중 임의의 것을 구현하는데 이용될 수도 있다. 컴퓨팅 시스템 (1000) 은, 주로, 소프트웨어의 형태로 있을 수도 있는 컴퓨터 판독가능 명령들에 의해 제어될 수도 있다. 예를 들어, 컴퓨팅 시스템 (1000) 은 본원에서 설명되는 것과 일치하는 기능성을 수행하기 위한 명령들을 포함하는 컴퓨팅 애플리케이션 (1080) 에 의해 제어될 수도 있다. 컴퓨터 판독가능 명령들은 컴퓨터 판독가능 명령들 자체를 저장하고 그들에 액세스하기 위한 컴퓨팅 시스템 (1000) 용 명령들을 포함할 수도 있다. 그런 소프트웨어는 컴퓨팅 시스템 (1000) 으로 하여금 그것에 연관된 프로세스들 또는 기능들을 수행하도록 하기 위해 중앙 처리 유닛 (CPU) (1010) 내에서 실행될 수도 있다. 많은 공지의 컴퓨터 서버들, 워크스테이션들, 개인용 컴퓨터들 등에서, CPU (1010) 는 마이크로프로세서들이라고 불리는 마이크로전자 칩 CPU들에 의해 구현될 수도 있다.
동작 시, CPU (1010) 는 명령들을 페치, 디코딩, 및/또는 실행할 수도 있고 다른 리소스들로 및 그 다른 리소스들로부터 메인 데이터-전송 경로 또는 시스템 버스 (1005) 를 경유하여 정보를 전송할 수도 있다. 이러한 시스템 버스는 컴퓨팅 시스템 (1000) 에서의 컴포넌트들을 접속시킬 수도 있고 데이터 교환을 위한 매체를 정의할 수도 있다. 컴퓨팅 시스템 (1000) 은 시스템 버스 (1005) 에 연결된 메모리 디바이스들을 더 구비할 수도 있다. 일 예의 실시형태에 따르면, 메모리 디바이스들은 랜덤 액세스 메모리 (RAM) (1025) 및 판독 전용 메모리 (ROM) (1030) 를 구비할 수도 있다. RAM (1025) 과 ROM (1030) 은 정보가 저장되고 취출되는 것을 허용하는 회로를 구비할 수도 있다. 하나의 실시형태에서, ROM (1030) 은 수정될 수 없는 저장된 데이터를 포함할 수도 있다. 덧붙여, RAM (1025) 에 저장된 데이터는 통상 CPU (1010) 또는 다른 하드웨어 디바이스들에 의해 판독 또는 변경될 수도 있다. RAM (1025) 및/또는 ROM (1030) 에 대한 액세스는 메모리 제어기 (1020) 에 의해 제어될 수도 있다. 메모리 제어기 (1020) 는 명령들이 실행됨에 따라 가상 어드레스들을 물리적 어드레스들로 변환하는 어드레스 변환 (translation) 기능을 제공할 수도 있다.
덧붙여서, 컴퓨팅 시스템 (1000) 은 CPU (1010) 로부터 주변장치들, 이를테면, 터치 감응 입력부 (1040), 키보드 (1045), 마우스 (1050), 및 오디오 입력 및 출력 디바이스 (1055) 로 명령들을 통신하는 것을 담당할 수도 있는 주변장치들의 제어기 (1035) 를 구비할 수도 있다. 컴퓨팅 시스템 (1000) 은 디스플레이 제어기 (1063) 에 의해 제어될 수도 있는 디스플레이 (1065) 를 더 구비할 수도 있다. 디스플레이 (1065) 는 컴퓨팅 시스템 (1000) 에 의해 생성된 시각적 출력을 디스플레이하는데 사용될 수도 있고, 본원에서 논의된 디스플레이 장치 (200) 에 대응할 수도 있다. 그런 시각적 출력은 텍스트, 그래픽스, 애니메이션화된 (animated) 그래픽스, 비디오 등을 포함할 수도 있다. 디스플레이 제어기 (1063) 는 디스플레이 (1065) 에 전송될 수도 있는 비디오 신호를 생성하는 전자 컴포넌트들을 포함할 수도 있다. 게다가, 컴퓨팅 시스템 (1000) 은, 컴퓨팅 시스템 (2000) 을 도 1에 관련하여 위에서 설명된 네트워크 (150) 와 같은 외부 통신 네트워크에 접속시키는데 사용될 수도 있는 네트워크 어댑터 (1070) 를 구비할 수도 있다.
따라서, 출원인들은 사용자 인터페이스 프로세싱을 수행하기 위한 시스템들 및 방법들의 예의 실시형태들을 개시하고 있다. 출원인들은 제 1 출력을 디스플레이하고 동시에, 제 1 출력에 중첩된 사용자 입력에 대응하는 제 2 출력을 디스플레이하기 위한 시스템들 및 방법들을 개시한다. 제 1 출력 및 제 2 출력이 중첩되는 디스플레이의 영역에서, 제 2 출력은 불투명하고 제 1 출력은 불투명한 제 2 출력을 통해 가시적이다. 제 1 출력 및 제 2 출력이 중첩되지 않는 디스플레이의 영역에서, 제 1 출력은 가시적이다.
본원에서 설명된 여러 가지 기법들은 하드웨어 또는 소프트웨어에 또는, 적절한 곳에서, 그것들 둘의 조합에 관련하여 구현될 수도 있다는 것이 이해되어야 한다. 따라서, 본원에서 설명되는 주제의 방법들 및 장치, 또는 그것들의 특정한 양태들 또는 부분들은, 프로그램 코드가 머신, 이를테면 컴퓨터 속에 로딩되고 그것에 의해 실행되는 경우, 그 머신은 본원에서 설명되는 주제를 실용화하기 위한 장치가 되는, 유형의 매체들, 이를테면 플로피 디스켓들, CD-ROM들, 하드 드라이브들, 또는 임의의 다른 머신 판독가능 저장 매체에 삽입되는 프로그램 코드 (즉, 명령들) 의 형태를 취할 수도 있다. 프로그램 코드가 매체들 상에 저장되는 경우에, 그것은 당해 프로그램 코드가 당해 액션들을 총체적으로 수행하는 하나 이상의 매체들 상에 저장되는 경우일 수도 있다, 그것은 말하자면, 함께 취해진 하나 이상의 매체들은 그 액션들을 수행하는 코드들을 함께 포함하지만, 하나를 초과하는 단일 매체가 존재하는 경우에, 코드의 임의의 특정한 부분이 임의의 특정한 매체 상에 저장된다는 요구사항은 없다는 것이다. 프로그램가능 컴퓨터들 상의 프로그램 코드 실행의 경우에, 컴퓨팅 디바이스는 일반적으로 프로세서, 프로세서에 의해 판독가능한 저장 매체 (휘발성 및 비휘발성 메모리 및/또는 스토리지 엘리먼트들을 포함함), 적어도 하나의 입력 디바이스, 및 적어도 하나의 출력 디바이스를 구비한다. 본원에서 설명되는 주제에 관련하여 설명되는 프로세스들을, 예컨대, API의 사용, 재사용 가능한 제어들 등을 통해, 구현 또는 활용할 수도 있는 하나 이상의 프로그램들이다. 그런 프로그램들은 바람직하게는 컴퓨터 시스템과 통신하는 하이 레벨 절차 또는 객체 지향 프로그래밍 언어로 구현된다. 그러나, 그 프로그램(들)은 바람직하다면, 어셈블리 또는 머신 언어로 구현될 수 있다. 어느 경우에나, 그 언어는 컴파일식 또는 인터프리트식 언어일 수도 있고, 하드웨어 구현예들과 조합될 수도 있다.
예의 실시형태들이 하나 이상의 독립실행형 컴퓨터 시스템들 또는 디바이스들의 측면에서 본원에서 설명되는 주제의 양태들을 활용하는 것을 언급할 수도 있지만, 본원에서 설명되는 주제는 그렇게 제한되지는 않고, 그보다는 임의의 컴퓨팅 환경, 이를테면 네트워크 또는 분산형 컴퓨팅 환경에 관련하여 구현될 수도 있다. 더더구나, 본원에서 설명되는 주제의 양태들은 복수의 프로세싱 칩들 또는 디바이스들 내에서 또는 그것들에 걸쳐서 구현될 수도 있고, 스토리지는 복수의 디바이스들에 걸쳐서 분산될 수도 있다. 이러한 디바이스들은 개인용 컴퓨터들, 네트워크 서버들, 핸드헬드 디바이스들, 슈퍼컴퓨터들, 또는 자동차들 및 비행기들과 같은 다른 시스템들에 통합된 컴퓨터들을 포함할 것이다.
주제가 구조적 특징들 및/또는 방법론적 액트들에 특정된 언어로 설명되어있지만, 첨부의 청구항들에서 정의된 주제는 위에서 설명된 특정 특징들 및 액트들로 제한될 필요는 없다는 것이 이해된다. 예를 들어, 여러 예의 시나리오들은 오디오/비디오 전화 회의의 비디오 부분의 디스플레이 및 터치 감응 스크린 또는 디스플레이로부터 수신된 주석들을 중첩하는 것에 관련하여 설명되어 있다. 그러나, 본원에서 설명되는 방법들 및 시스템들은 출력 유형들의 임의의 조합에 적용될 수도 있다. 예를 들어, 제 1 출력은 전화 회의의 부분이 아닌 비디오 스트림일 수도 있다. 제 1 출력은 스틸 이미지일 수도 있다. 제 2 출력은 터치 감응 스크린이 아니라 키보드를 통해 입력될 수도 있다. 위에서 설명된 특정 특징들 및 액트들은 아래 열거된 청구항들의 주제를 구현하는 예의 형태들로서 개시된다.
갖가지 양태들 및 실시예들이 본원에서 개시되어 있지만, 다른 양태들 및 실시형태들이 이 기술분야의 숙련된 자들에게는 명백할 것이다. 본원에서 개시된 갖가지 양태들 및 실시형태들은 예시의 목적을 위한 것이고 제한할 의도는 아니며, 진정한 범위 및 정신은 다음의 청구항들에 의해 나타내어진다.

Claims (146)

  1. 사용자 인터페이스 프로세싱을 위한 방법으로서,
    디스플레이 상에 비디오를 플레이하는 단계;
    상기 비디오를 플레이함과 적어도 부분적으로 동시에 입력을 수신하는 단계; 및
    상기 디스플레이 상에서, 상기 플레이 중인 비디오에 중첩된 출력을 디스플레이하는 단계로서, 상기 출력은 상기 수신된 입력에 대응하는, 상기 출력을 디스플레이하는 단계를 포함하며,
    상기 비디오 및 상기 출력이 중첩되는 상기 디스플레이의 영역에서, 상기 플레이 중인 비디오는 상기 출력을 통해 가시적이고,
    상기 비디오 및 상기 출력이 중첩되지 않는 상기 디스플레이의 영역에서, 상기 플레이 중인 비디오는 가시적인, 사용자 인터페이스 프로세싱을 위한 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 입력은 하나 이상의 주석들을 포함하고,
    상기 출력을 디스플레이하는 단계는 상기 하나 이상의 주석들을 디스플레이하는 단계를 포함하는, 사용자 인터페이스 프로세싱을 위한 방법.
  6. 삭제
  7. 제 5 항에 있어서,
    상기 입력을 수신하는 단계는 터치 감응 스크린을 통해 입력을 수신하는 단계를 포함하는, 사용자 인터페이스 프로세싱을 위한 방법.
  8. 삭제
  9. 삭제
  10. 제 5 항에 있어서,
    상기 입력을 수신하는 단계는 컴퓨터화된 음성 인식을 통해 입력을 수신하는 단계를 포함하는, 사용자 인터페이스 프로세싱을 위한 방법.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 제 1 항에 있어서,
    상기 비디오를 플레이하는 단계는 오디오/비디오 회의의 비디오 스트림을 플레이하는 단계를 포함하는, 사용자 인터페이스 프로세싱을 위한 방법.
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 제 5 항에 있어서,
    상기 하나 이상의 주석들을 저장하는 단계;
    상기 비디오를 저장하는 단계;
    상기 하나 이상의 주석들을 상기 비디오와 동기화시키는 정보를 저장하는 단계;
    상기 비디오, 상기 하나 이상의 주석들, 및 상기 하나 이상의 주석들을 상기 비디오와 동기화시키는 상기 정보를 취출하는 단계; 및
    상기 취출된 비디오 및 상기 취출된 하나 이상의 주석들을 디스플레이하는 단계로서, 상기 하나 이상의 주석들은 상기 비디오 상에 중첩되어 상기 비디오와 동기화되는, 상기 취출된 비디오 및 상기 취출된 하나 이상의 주석들을 디스플레이하는 단계를 더 포함하는, 사용자 인터페이스 프로세싱을 위한 방법.
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 장치로서,
    디스플레이;
    입력 디바이스; 및
    컴퓨팅 프로세서로서, 상기 컴퓨팅 프로세서는 상기 디스플레이 및 상기 입력 디바이스에 통신적으로 커플링된, 상기 컴퓨팅 프로세서를 포함하고,
    상기 장치는,
    상기 디스플레이 상에 비디오를 플레이하고;
    상기 입력 디바이스를 통해, 상기 비디오를 플레이함과 적어도 부분적으로 동시에 입력을 수신하고;
    상기 디스플레이 상에서, 상기 플레이 중인 비디오에 중첩된 출력을 디스플레이하도록 구성되고,
    상기 출력은 상기 입력에 대응하고,
    상기 플레이 중인 비디오는 상기 출력을 통해 가시적인, 장치.
  48. 삭제
  49. 삭제
  50. 삭제
  51. 제 47 항에 있어서,
    상기 입력은 하나 이상의 주석들을 포함하고,
    상기 출력은 상기 하나 이상의 주석들을 포함하는, 장치.
  52. 삭제
  53. 제 51 항에 있어서,
    상기 입력 디바이스는 터치 감응 스크린을 포함하는, 장치.
  54. 삭제
  55. 삭제
  56. 제 51 항에 있어서,
    상기 입력 디바이스는 컴퓨터화된 음성 인식을 포함하는, 장치.
  57. 삭제
  58. 삭제
  59. 삭제
  60. 삭제
  61. 삭제
  62. 삭제
  63. 삭제
  64. 삭제
  65. 삭제
  66. 삭제
  67. 제 47 항에 있어서,
    상기 장치는 오디오/비디오 회의의 비디오 스트림을 플레이함으로써 상기 비디오를 플레이하도록 구성된, 장치.
  68. 삭제
  69. 삭제
  70. 삭제
  71. 삭제
  72. 삭제
  73. 삭제
  74. 제 51 항에 있어서,
    상기 장치는,
    상기 하나 이상의 주석들을 저장하고;
    상기 비디오를 저장하고;
    상기 하나 이상의 주석들을 상기 비디오와 동기화시키는 정보를 저장하고;
    상기 비디오, 상기 하나 이상의 주석들, 및 상기 하나 이상의 주석들을 상기 비디오와 동기화시키는 상기 정보를 취출하고;
    상기 취출된 비디오 및 상기 취출된 하나 이상의 주석들을 디스플레이하도록 추가로 구성되고,
    상기 취출된 하나 이상의 주석들은 상기 취출된 비디오 상에 중첩되어, 상기 취출된 비디오와 동기화되는, 장치.
  75. 삭제
  76. 삭제
  77. 삭제
  78. 삭제
  79. 삭제
  80. 삭제
  81. 삭제
  82. 삭제
  83. 삭제
  84. 삭제
  85. 삭제
  86. 삭제
  87. 삭제
  88. 삭제
  89. 삭제
  90. 삭제
  91. 삭제
  92. 삭제
  93. 삭제
  94. 삭제
  95. 삭제
  96. 삭제
  97. 삭제
  98. 명령들이 저장된 유형의 (tangible) 컴퓨터 판독가능 매체로서,
    상기 명령들은,
    디스플레이 상에 비디오를 플레이하게 하는 명령들;
    상기 비디오를 플레이함과 적어도 부분적으로 동시에 입력을 수신하게 하는 명령들; 및
    상기 디스플레이 상에, 상기 플레이 중인 비디오 상에 중첩되는 출력을 디스플레이하게 하는 명령들로서, 상기 출력은 상기 수신된 입력에 대응하는, 상기 출력을 디스플레이하게 하는 명령들을 포함하고,
    상기 비디오 및 상기 출력이 중첩되는 상기 디스플레이의 영역에서, 상기 출력은 가시적이고 상기 플레이 중인 비디오는 부분적으로 가려지지만 상기 디스플레이된 출력을 통해 가시적이고,
    상기 비디오 및 상기 출력이 중첩되지 않는 상기 디스플레이의 영역에서, 상기 플레이 중인 비디오는 가시적인, 유형의 컴퓨터 판독가능 매체.
  99. 삭제
  100. 삭제
  101. 삭제
  102. 제 98 항에 있어서,
    상기 입력은 하나 이상의 주석들을 포함하고,
    상기 출력을 디스플레이하게 하는 명령들은 상기 하나 이상의 주석들을 디스플레이하게 하는 명령들을 포함하는, 유형의 컴퓨터 판독가능 매체.
  103. 삭제
  104. 제 102 항에 있어서,
    상기 입력을 수신하게 하는 명령들은 터치 감응 스크린을 통해 입력을 수신하게 하는 명령들을 포함하는, 유형의 컴퓨터 판독가능 매체.
  105. 삭제
  106. 삭제
  107. 제 102 항에 있어서,
    상기 입력을 수신하게 하는 명령들은 컴퓨터화된 음성 인식을 통해 입력을 수신하게 하는 명령들을 포함하는, 유형의 컴퓨터 판독가능 매체.
  108. 삭제
  109. 삭제
  110. 삭제
  111. 삭제
  112. 삭제
  113. 삭제
  114. 삭제
  115. 삭제
  116. 삭제
  117. 삭제
  118. 삭제
  119. 삭제
  120. 삭제
  121. 삭제
  122. 삭제
  123. 삭제
  124. 삭제
  125. 제 102 항에 있어서,
    상기 명령들은,
    상기 하나 이상의 주석들을 저장하게 하는 명령들;
    상기 비디오를 저장하게 하는 명령들;
    상기 하나 이상의 주석들을 상기 비디오와 동기화시키는 정보를 저장하게 하는 명령들;
    상기 비디오, 상기 하나 이상의 주석들, 및 상기 하나 이상의 주석들을 상기 비디오와 동기화시키는 상기 정보를 취출하게 하는 명령들; 및
    상기 취출된 비디오 및 상기 취출된 하나 이상의 주석들을 디스플레이하게 하는 명령들로서, 상기 취출된 하나 이상의 주석들은 상기 취출된 비디오 상에 중첩되어 상기 취출된 비디오와 동기화되는, 상기 취출된 비디오 및 상기 취출된 하나 이상의 주석들을 디스플레이하게 하는 명령들을 더 포함하는, 유형의 컴퓨터 판독가능 매체.
  126. 삭제
  127. 삭제
  128. 삭제
  129. 삭제
  130. 삭제
  131. 삭제
  132. 삭제
  133. 삭제
  134. 삭제
  135. 삭제
  136. 삭제
  137. 삭제
  138. 삭제
  139. 삭제
  140. 삭제
  141. 삭제
  142. 삭제
  143. 삭제
  144. 제 1 항에 있어서,
    상기 비디오를 플레이하는 단계는, 상기 비디오의 제 1 부분을 플레이하는 단계 및 상기 비디오의 제 2 부분을 플레이하는 단계를 포함하고,
    상기 사용자 인터페이스 프로세싱을 위한 방법은,
    상기 비디오의 상기 제 1 부분을 플레이하는 동안, 상기 비디오의 상기 제 2 부분을 수신하는 단계를 더 포함하는, 사용자 인터페이스 프로세싱을 위한 방법.
  145. 제 47 항에 있어서,
    상기 플레이 중인 비디오는 상기 비디오의 제 1 부분 및 상기 비디오의 제 2 부분을 포함하고,
    상기 장치는,
    상기 비디오의 상기 제 1 부분을 플레이하는 동안, 상기 비디오의 상기 제 2 부분을 수신하도록 추가로 구성된, 장치.
  146. 제 98 항에 있어서,
    상기 비디오를 플레이하게 하는 명령들은, 상기 비디오의 제 1 부분을 플레이하게 하는 명령들 및 상기 비디오의 제 2 부분을 플레이하게 하는 명령들을 포함하고,
    상기 명령들은,
    상기 비디오의 상기 제 1 부분을 플레이하는 동안, 상기 비디오의 상기 제 2 부분을 수신하게 하는 명령들을 더 포함하는, 유형의 컴퓨터 판독가능 매체.
KR1020137010900A 2011-03-16 2011-03-16 중첩된 주석 출력 KR101452667B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2011/071854 WO2012122706A1 (en) 2011-03-16 2011-03-16 Superimposed annotation output

Publications (2)

Publication Number Publication Date
KR20130076878A KR20130076878A (ko) 2013-07-08
KR101452667B1 true KR101452667B1 (ko) 2014-10-22

Family

ID=46830030

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137010900A KR101452667B1 (ko) 2011-03-16 2011-03-16 중첩된 주석 출력

Country Status (6)

Country Link
US (1) US9715326B2 (ko)
EP (1) EP2686761A4 (ko)
JP (1) JP5852135B2 (ko)
KR (1) KR101452667B1 (ko)
CN (1) CN103384874B (ko)
WO (1) WO2012122706A1 (ko)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK2437512T3 (da) * 2010-09-29 2013-10-28 Teliasonera Ab Social fjernsynstjeneste
CN103297855B (zh) * 2012-03-02 2015-05-20 腾讯科技（深圳）有限公司 一种应用展示方法以及一种终端
KR102042265B1 (ko) * 2012-03-30 2019-11-08 엘지전자 주식회사 이동 단말기
US10152467B2 (en) * 2012-08-13 2018-12-11 Google Llc Managing a sharing of media content among client computers
US20140232813A1 (en) * 2013-02-20 2014-08-21 Sprint Communications Company L.P. Using metadata for video message modifications among wireless communication devices
US9213472B2 (en) 2013-03-12 2015-12-15 Sap Se User interface for providing supplemental information
JP5862610B2 (ja) * 2013-06-17 2016-02-16 コニカミノルタ株式会社 画像表示装置及び表示制御プログラム並びに表示制御方法
KR101401728B1 (ko) * 2013-09-06 2014-05-30 주식회사 엘지유플러스 영상 통화를 위한 통신 단말기 및 그 제어방법과, 그 제어방법을 실행하기 위한 프로그램을 기록한 기록 매체
US10291597B2 (en) 2014-08-14 2019-05-14 Cisco Technology, Inc. Sharing resources across multiple devices in online meetings
CN104361565B (zh) * 2014-12-05 2018-10-23 华东理工大学 一种乱涂画数字图像的内容自动检测与修复方法
US10542126B2 (en) 2014-12-22 2020-01-21 Cisco Technology, Inc. Offline virtual participation in an online conference meeting
CN104601930A (zh) * 2015-01-09 2015-05-06 西安融成科技有限公司 一种视频图像和桌面图像自动切换显示的系统及方法
CN111857332A (zh) 2015-02-12 2020-10-30 北京三星通信技术研究有限公司 获取笔记信息的方法和装置
US9948786B2 (en) 2015-04-17 2018-04-17 Cisco Technology, Inc. Handling conferences using highly-distributed agents
US9654727B2 (en) 2015-06-01 2017-05-16 Apple Inc. Techniques to overcome communication lag between terminals performing video mirroring and annotation operations
CN107305457A (zh) * 2016-04-20 2017-10-31 斑马网络技术有限公司 应用处理方法、设备、界面系统、控制设备及操作系统
US10852936B2 (en) * 2016-09-23 2020-12-01 Apple Inc. Devices, methods, and graphical user interfaces for a unified annotation layer for annotating content displayed on a device
CN106569796A (zh) * 2016-09-30 2017-04-19 努比亚技术有限公司 一种显示方法及终端
US10592867B2 (en) 2016-11-11 2020-03-17 Cisco Technology, Inc. In-meeting graphical user interface display using calendar information and system
US9961302B1 (en) * 2016-12-13 2018-05-01 Cisco Technology, Inc. Video conference annotation
US10516707B2 (en) 2016-12-15 2019-12-24 Cisco Technology, Inc. Initiating a conferencing meeting using a conference room device
US10440073B2 (en) 2017-04-11 2019-10-08 Cisco Technology, Inc. User interface for proximity based teleconference transfer
US10375125B2 (en) 2017-04-27 2019-08-06 Cisco Technology, Inc. Automatically joining devices to a video conference
CN108989900A (zh) * 2017-06-02 2018-12-11 中兴通讯股份有限公司 一种视频处理方法及终端
US10375474B2 (en) 2017-06-12 2019-08-06 Cisco Technology, Inc. Hybrid horn microphone
US10477148B2 (en) 2017-06-23 2019-11-12 Cisco Technology, Inc. Speaker anticipation
US10516709B2 (en) 2017-06-29 2019-12-24 Cisco Technology, Inc. Files automatically shared at conference initiation
US10706391B2 (en) 2017-07-13 2020-07-07 Cisco Technology, Inc. Protecting scheduled meeting in physical room
US10091348B1 (en) 2017-07-25 2018-10-02 Cisco Technology, Inc. Predictive model for voice/video over IP calls
JP7212255B2 (ja) * 2019-02-04 2023-01-25 株式会社Mixi 情報処理システム，制御プログラム及び情報処理装置
US11704626B2 (en) * 2021-07-09 2023-07-18 Prezi, Inc. Relocation of content item to motion picture sequences at multiple devices

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5600775A (en) * 1994-08-26 1997-02-04 Emotion, Inc. Method and apparatus for annotating full motion video and other indexed data structures
US20050273700A1 (en) * 2004-06-02 2005-12-08 Amx Corporation Computer system with user interface having annotation capability

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2823018B2 (ja) * 1989-01-20 1998-11-11 東京電力株式会社 映像伝送装置
JPH037487A (ja) * 1989-06-05 1991-01-14 Fuji Photo Film Co Ltd テレビ電話装置
JP2911135B2 (ja) * 1989-07-04 1999-06-23 株式会社日立製作所 ビデオプリンタ
JPH05242143A (ja) * 1992-02-26 1993-09-21 Hitachi Ltd マルチメディアプレゼンテーションシステム
US5831615A (en) * 1994-09-30 1998-11-03 Intel Corporation Method and apparatus for redrawing transparent windows
US6323911B1 (en) * 1995-10-02 2001-11-27 Starsight Telecast, Inc. System and method for using television schedule information
JP3636830B2 (ja) * 1996-07-10 2005-04-06 株式会社日立製作所 インテリジェントビデオカメラ及びインテリジェントスチルカメラ
US5689742A (en) * 1996-10-11 1997-11-18 Eastman Kodak Company Full frame annotation system for camera
US6119147A (en) * 1998-07-28 2000-09-12 Fuji Xerox Co., Ltd. Method and system for computer-mediated, multi-modal, asynchronous meetings in a virtual space
JP2000341572A (ja) * 1999-05-31 2000-12-08 Ricoh Co Ltd デジタルカメラ
JP2001186430A (ja) 1999-12-22 2001-07-06 Mitsubishi Electric Corp デジタル放送受信機
US7120924B1 (en) 2000-02-29 2006-10-10 Goldpocket Interactive, Inc. Method and apparatus for receiving a hyperlinked television broadcast
JP2001250332A (ja) * 2000-03-06 2001-09-14 Sony Corp 再生装置
US20020173345A1 (en) 2001-05-17 2002-11-21 Swerup Jan Ingemar Method and system for phone note taking
DE60235651D1 (de) 2002-03-27 2010-04-22 Mitsubishi Electric Corp Kommunikationsvorrichtung und kommunikationsverfahren
JP2004193979A (ja) * 2002-12-11 2004-07-08 Canon Inc 映像配信システム
US7797064B2 (en) * 2002-12-13 2010-09-14 Stephen Loomis Apparatus and method for skipping songs without delay
FR2868231B1 (fr) 2004-03-26 2006-11-10 Rachid Hallalel Dispositif concernant la consultation et l'echange visuel d'images entre deux telephones mobiles puis l'extraction et le defilement automatique de texte en superposition de l'image
US7716376B1 (en) * 2006-03-28 2010-05-11 Amazon Technologies, Inc. Synchronized video session with integrated participant generated commentary
US8375283B2 (en) * 2006-06-20 2013-02-12 Nokia Corporation System, device, method, and computer program product for annotating media files
US8281332B2 (en) * 2007-05-02 2012-10-02 Google Inc. Animated video overlays
US20090064245A1 (en) * 2007-08-28 2009-03-05 International Business Machines Corporation Enhanced On-Line Collaboration System for Broadcast Presentations
US20090119100A1 (en) 2007-11-07 2009-05-07 Raji L Akella Associating annotation recording with a cell phone number
GB0801429D0 (en) * 2008-01-25 2008-03-05 Decisive Media Ltd Media Annotation system, method and media player
US9275684B2 (en) * 2008-09-12 2016-03-01 At&T Intellectual Property I, L.P. Providing sketch annotations with multimedia programs
CN101505396B (zh) 2009-03-10 2011-06-15 中兴通讯股份有限公司 显示手机电视业务与可视电话业务的方法及系统
US8380866B2 (en) * 2009-03-20 2013-02-19 Ricoh Company, Ltd. Techniques for facilitating annotations
JP5487695B2 (ja) 2009-04-13 2014-05-07 コニカミノルタ株式会社 中継装置、会議支援システム及びプログラム
US9094715B2 (en) * 2009-05-29 2015-07-28 Cognitive Networks, Inc. Systems and methods for multi-broadcast differentiation
US20110154399A1 (en) * 2009-12-22 2011-06-23 Verizon Patent And Licensing, Inc. Content recommendation engine
US20130347029A1 (en) * 2012-06-21 2013-12-26 United Video Properties, Inc. Systems and methods for navigating to content without an advertisement
JP2014127987A (ja) * 2012-12-27 2014-07-07 Sony Corp 情報処理装置および記録媒体
FR3005436B1 (fr) * 2013-05-13 2016-01-01 Fasver Procede et dispositif de protection securitaire d'un document officiel et document officiel ainsi protege
KR102282003B1 (ko) * 2014-08-07 2021-07-27 삼성전자 주식회사 전자 장치 및 이의 표시 제어 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5600775A (en) * 1994-08-26 1997-02-04 Emotion, Inc. Method and apparatus for annotating full motion video and other indexed data structures
US20050273700A1 (en) * 2004-06-02 2005-12-08 Amx Corporation Computer system with user interface having annotation capability

Also Published As

Publication number Publication date
EP2686761A4 (en) 2014-11-19
CN103384874A (zh) 2013-11-06
WO2012122706A1 (en) 2012-09-20
EP2686761A1 (en) 2014-01-22
KR20130076878A (ko) 2013-07-08
US9715326B2 (en) 2017-07-25
CN103384874B (zh) 2016-09-28
JP2014504760A (ja) 2014-02-24
JP5852135B2 (ja) 2016-02-03
US20130027425A1 (en) 2013-01-31

Similar Documents

Publication Publication Date Title
KR101452667B1 (ko) 중첩된 주석 출력
US11287956B2 (en) Systems and methods for representing data, media, and time using spatial levels of detail in 2D and 3D digital applications
US20190004639A1 (en) Providing living avatars within virtual meetings
US20180224948A1 (en) Controlling a computing-based device using gestures
US20170287215A1 (en) Pass-through camera user interface elements for virtual reality
US9761277B2 (en) Playback state control by position change detection
US10957285B2 (en) Method and system for playing multimedia data
CN109154862B (zh) 用于处理虚拟现实内容的装置、方法和计算机可读介质
US10386931B2 (en) Toggling between presentation and non-presentation of representations of input
US11694371B2 (en) Controlling interactivity of digital content overlaid onto displayed data via graphics processing circuitry using a frame buffer
TWI646526B (zh) 子畫面佈局控制方法和裝置
US20230043683A1 (en) Determining a change in position of displayed digital content in subsequent frames via graphics processing circuitry
JP2016033831A (ja) 重畳された注釈出力
US20220350650A1 (en) Integrating overlaid digital content into displayed data via processing circuitry using a computing memory and an operating system memory
US11775051B2 (en) Apparatus and associated methods for presentation of presentation data
JP2017509214A (ja) ユニバーサルキャプチャ
TWI584644B (zh) 使用者部分部位之虛擬表示型態技術
US20190235710A1 (en) Page Turning Method and System for Digital Devices
US20230326094A1 (en) Integrating overlaid content into displayed data via graphics processing circuitry and processing circuitry using a computing memory and an operating system memory
US20240146835A1 (en) Virtual devices in the metaverse
US20230334792A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
US20230326095A1 (en) Overlaying displayed digital content with regional transparency and regional lossless compression transmitted over a communication network via processing circuitry
US20230334790A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
KR20170097717A (ko) 정보처리프로그램 및 정보처리방법
WO2023205145A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181129

Year of fee payment: 5