KR101928266B1 - 원격 서비스를 위한 협력 비디오 애플리케이션 - Google Patents

원격 서비스를 위한 협력 비디오 애플리케이션 Download PDF

Info

Publication number
KR101928266B1
KR101928266B1 KR1020130060185A KR20130060185A KR101928266B1 KR 101928266 B1 KR101928266 B1 KR 101928266B1 KR 1020130060185 A KR1020130060185 A KR 1020130060185A KR 20130060185 A KR20130060185 A KR 20130060185A KR 101928266 B1 KR101928266 B1 KR 101928266B1
Authority
KR
South Korea
Prior art keywords
computer
real
annotation
time video
sharing
Prior art date
Application number
KR1020130060185A
Other languages
English (en)
Other versions
KR20130135099A (ko
Inventor
마이클 로버츠
쉐인 아헤른
도론 클레터
안젤름 훅
Original Assignee
팔로 알토 리서치 센터 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 팔로 알토 리서치 센터 인코포레이티드 filed Critical 팔로 알토 리서치 센터 인코포레이티드
Publication of KR20130135099A publication Critical patent/KR20130135099A/ko
Application granted granted Critical
Publication of KR101928266B1 publication Critical patent/KR101928266B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명의 일 실시예는 주석이 달린 비디오들을 공유하는 시스템을 제공한다. 동작 동안, 상기 시스템은 원격 필드 컴퓨터와 로컬 컴퓨터 사이에 실시간 비디오-공유 세션을 확립한다. 상기 확립된 실시간 비디오-공유 세션 동안, 상기 시스템은 원격 필드 컴퓨터로부터 실시간 비디오 스트림을 수신하고, 전문가로 하여금 상기 실시간 비디오 스트림에 주석을 제공하도록 하기 위해 로컬 컴퓨터로 상기 실시간 비디오 스트림을 포워딩하고, 상기 로컬 컴퓨터로부터 상기 주석을 수신하고, 상기 주석을 상기 실시간 비디오 스트림의 대응하는 부분과 연관시키고 상기 실시간 비디오 스트림의 대응하는 부분의 상부에 상기 주석을 디스플레이하는, 상기 원격 필드 컴퓨터로 상기 주석을 포워딩한다.

Description

원격 서비스를 위한 협력 비디오 애플리케이션{COLLABORATIVE VIDEO APPLICATION FOR REMOTE SERVICING}
본원은 일반적으로 원격 서비스 시스템(remote servicing system)에 관한 것이다. 더 구체적으로, 본원은 협력 비디오 서버를 사용하여 원격 서비스를 제공하는 시스템에 관한 것이다.
복잡한 장비의 원격 서비스는 감소된 응답 시간 및 저감된 유지보수 및 수리 비용들을 포함하여, 몇몇 장점들을 소비자들에게 제공하기 때문에 최근에 유명세를 얻었다. 한 원격 서비스 시나리오에서, 장비 판매회사의 전문 기술자가 하나의 장비에 대한 수리 또는 유지보수를 수행하기 위해 현장의 초보자(보통 고객의 유지보수 직원)를 원격으로 지원하고 훈련시킬 수 있다. 이는 종종 상기 전문가가 상기 초보자에게 상기 장비를 물리적으로 조작하는 방법을 명령하는 동안, 상기 전문가와 초보자 사이에 원격, 실시간 상호작용(interaction)을 필요로 한다. 이러한 상호작용은 상기 장비 및 상기 원격의 초보자의 기동들에 관한 상세한, 실시간 정보의 교환을 필요로 한다. 전화 통화 또는 화상 회의와 같은, 종래의 통신 기술들은 이러한 상호작용을 용이하게 하는데 적합하지 않다.
본 발명의 일 실시예는 주석이 달린 비디오들을 공유하기 위한 시스템을 제공한다. 동작 동안, 상기 시스템은 원격 필드 컴퓨터와 로컬 컴퓨터 사이에 실시간 비디오-공유 세션을 확립한다. 상기 확립된 실시간 비디오-공유 세션 동안, 상기 시스템은 원격 필드 컴퓨터로부터 실시간 비디오 스트림을 수신하고, 전문가로 하여금 상기 실시간 비디오 스트림에 주석을 제공하도록 하기 위해 로컬 컴퓨터로 상기 실시간 비디오 스트림을 포워딩하고, 상기 로컬 컴퓨터로부터 상기 주석을 수신하고, 상기 주석을 상기 실시간 비디오 스트림의 대응하는 부분과 연관시키고 상기 실시간 비디오 스트림의 대응하는 부분의 상부에 상기 주석을 디스플레이하는, 상기 원격 필드 컴퓨터로 상기 주석을 포워딩한다.
이 실시예의 변형에서, 상기 주석을 포워딩하는 단계는: 상기 주석과 연관된 메시지를 생성하는 단계 및 상기 메시지를 상기 원격 필드 컴퓨터로 송신하는 단계를 수반한다.
다른 변형에서, 상기 메시지는 JSON(JavaScript Object Notation) 메시지이다.
이 실시예의 변형에서, 상기 실시간 비디오-공유 세션을 확립하는 단계는 롱-폴링(long-polling) HTTP 접속을 생성하는 단계 및/또는 웹소켓 접속(WebSocket connection)을 확립하는 단계를 수반한다.
이 실시예의 변형에서, 상기 원격 필드 컴퓨터는 헤드-마운트 컴퓨터(head-mounted computer), 스마트폰, 태블릿 컴퓨터, 및 랩탑 컴퓨터 중 적어도 하나를 포함한다.
이 실시예의 변형에서, 상기 주석은 HTML(HyperText Markup Language) 캔버스(canvas) 객체이다.
이 실시예의 변형에서, 상기 시스템은 상기 실시간 비디오 스트림으로부터 추출된 주석이 달린 스틸 이미지들(still images)을 포함하는, 단계적인 절차 가이드를 상기 로컬 컴퓨터로부터 수신한다.
이 실시예의 변형에서, 상기 시스템은 상기 원격 필드 컴퓨터와 상기 로컬 컴퓨터 사이의 음성 메시지들의 교환을 용이하게 한다.
도 1은 본 발명의 실시예에 따라, 비디오 공유 및 주석을 위한 예시적인 협력 비디오 공유 시스템을 도시하는 도면.
도 2는 본 발명의 실시예에 따라, 예시적인 실시간 협력 서버의 구조를 도시하는 도면.
도 3은 본 발명의 실시예에 따라, 실시간 비디오 공유 프로세스를 도시하는 시공간 도표.
도 4는 본 발명의 실시예에 따라, 절차 가이드를 생성하는 프로세스를 도시하는 흐름도.
도 5는 본 발명의 실시예에 따라, 주석이 달린 비디오들의 실시간 공유를 위한 예시적인 컴퓨터 시스템을 도시하는 도면.
본 발명의 실시예들은 로컬 웹-기반 클라이언트와 원격 필드 클라이언트 사이에서 협력 비디오 애플리케이션을 구동하는 시스템을 제공한다. 상기 원격 필드 클라이언트는 헤드-마운트 컴퓨터 상에서 구동하여, 훈련생일 수 있는 상기 원격 사용자로 하여금 핸즈프리 동작들을 수행할 수 있게 한다. 상기 헤드-마운트 컴퓨터는 비디오 카메라를 구비한다. 상기 카메라에 의해 촬영된 비디오 스트림들은 상기 로컬 웹-기반 클라이언트를 포함하는 다수의 클라이언트들 사이에서 공유될 수 있다. 전문가 사용자는 상기 비디오를 상기 로컬 웹-기반 클라이언트 상에서 볼 수 있다. 또한, 상기 시스템은 상기 전문가 사용자로 하여금 라이브 비디오 스트림이든 상기 비디오 스트림으로부터 캡처된 이미지이든, 상기 비디오의 상부에 주석을 달 수 있게 한다. 상기 비디오 스트림들의 공유 및 주석은 특정한 서비스 액션들을 수행하는 훈련생을 지원하기 위해 상기 전문가 사용자로 하여금 라이브의, 상세한 명령들을 상기 훈련생 또는 초보 사용자에게 원격으로 제공하도록 한다. 또한, 상기 시스템은 상기 전문가 사용자로 하여금 상기 주석이 달린 비디오들을 편집하고 상기 주석이 달린 비디오들에 기초하여 서비스 매뉴얼을 생성하도록 한다.
복잡한 디바이스의 관습적인 지원 서비스 동안, 전문 기술자는 상기 디바이스를 물리적으로 조작함으로써 설명하고 입증하기 위해 초보자와 물리적으로 연결된다(collocated). 그러나, 상기 초보자를 훈련 또는 지원하기 위한 이러한 시도는 상기 전문 기술자가 종종 상기 초보자 및 상기 디바이스가 위치된 먼 곳으로 이동해야하기 때문에 비용이 많이 들고 시간 소모적일 수 있다.
원격으로 지원된 서비스는 전문가로 하여금 훈련생 또는 초보자에게 원격으로 명령하게 하여, 정교한 장비의 수리 또는 유지보수 비용들을 상당히 저감한다. 원격 서비스 세션 동안, 상기 초보자는 상기 장비를 물리적으로 조작하고; 상기 전문가는 물리적으로 나타나지 않지만, 특정한 통신 기술을 사용하여 먼 위치에서 명령들을 제공하거나 커맨드들을 줄 수 있다. 그러나, 기존의 통신 기술들을 사용하여 교환될 수 있는 정보는 종종 이러한 원격으로 지원된 서비스에는 부적합하다. 예를 들어, 전화 상담 오디오, 비디오, 및 텍스트 또는 그래픽 콘텐트가 전형적으로 참가자들에 의해 교환되지만, 상기 디바이스의 성분들 간의 공간적 연관성(예를 들어, 상기 성분들이 어셈블된 방법)과 같은 3차원 공간 관계 정보가 종종 사용불가능하다. 이는 상기 전문 기술자가 원격 서비스 세션 동안 상기 디바이스를 물리적으로 조작하고 지적할 능력을 갖지 않기 때문에 문제이다. 또한, 상기 초보자의 액션들이 상기 초보자가 그의 액션들을 효과적으로 통신할 수 없는 한 상기 전문 기술자에게 쉽게 명백해지지 않는다. 전형적으로, 상기 초보자와 상기 전문 기술자 사이에 상당한 지식 차이가 있기 때문에 상기 전문 기술자에게 초보자의 액션들을 말로 설명하기 위해 상기 초보자에게 의존하는 것 및 그 반대도 효율적이지 않다. 결과적으로, 서비스 업무들을 원격으로 수행하는 방법에 관해 통신하는 것은 상기 전문 기술자 및 상기 초보자에게 종종 어려운 일이다.
본 발명의 실시예들에서, 서버-클라이언트 시스템 상에서 구동하는 협력 비디오 애플리케이션은 다수의 클라이언트들로 하여금 실시간 비디오 스트림들을 공유하고 주석을 달도록 한다. 예를 들어, 원격지 측의 전문가는 상기 전문가가 초보자의 "어깨 너머로 보는" 것처럼 상기 라이브 비디오 스트림을 통해 상기 장비 상의 상기 초보자의 조작을 볼 수 있다. 또한, 상기 애플리케이션은 또한 상기 전문가로 하여금 실시간 주석을 달 수 있게 함으로써 필요한 만큼 상기 초보자에게 도움을 제공하도록 한다, 이는 상기 전문가가 상기 장비 상의 성분에 대해 특정한 액션들을 수행하도록 상기 초보자에게 명령할 때 상기 성분을 가리키는 화살표 또는 둘러싸는 원을 그릴 수 있다는 것을 의미한다. 예를 들어, 상기 전문가가 상기 초보자에게 핸들을 움직이도록 명령하기를 원하면, 상기 전문가는 상기 핸들을 보여주는 상기 라이브 비디오 스트림으로부터 프레임을 추출하고, 상기 핸들을 가리키는 화살표를 그리고, 상기 주석이 달린 프레임을 상기 초보자에게 전송할 수 있다.
도 1은 본 발명의 실시예에 따라, 비디오 공유 및 주석을 위한 예시적인 협력 비디오-공유 시스템을 도시하는 도면이다. 협력 비디오-공유 시스템(100)에서, 웹-기반 클라이언트(106) 및 필드 클라이언트(108)와 같은, 다수의 클라이언트들이 네트워크(110)를 통해 서로 및 실시간 협력 서버(102)와 상호작용한다.
실시간 협력 서버(102)는 웹-기반 클라이언트(106) 및 필드 클라이언트(108)를 포함하는 상기 다수의 클라이언트들로 하여금 주석이 달린 라이브 비디오 스트림들을 교환 및 공유할 수 있게 한다. 또한, 실시간 협력 서버(102)는 사용자들, 머신들, 단계들, 절차들, 및 미디어 레퍼런스들과 연관된 데이터를 포함하지만 이로 제한되지 않는 다양한 유형들의 데이터를 획득하도록 데이터베이스(104)와 상호 작용한다.
필드 클라이언트(108)는 실시간 비디오를 캡처하고 상기 실시간 비디오를 실시간 협력 서버(102)로 스트리밍(stream)할 수 있는 전자 디바이스일 수 있다. 일 실시예에서, 필드 클라이언트(108)는 사용자로 하여금 자신의 머리를 움직임으로써 커서를 동작할 수 있게 하고 음성 커맨드를 수용하는, 모토로라TM 골든-아이 헤드-마운트 컴퓨터(MotorolaTM Golden-i head-mounted computer)와 같은, 헤드-마운트된 컴퓨터(HMC)이다. 이들 핸즈-프리 특징들은 상기 필드 클라이언트(108)의 사용자로 하여금 하나의 장비 상에서 유지보수 작전들을 수행하면서 상기 컴퓨터를 동작시키도록 한다. 예를 들어, 상기 HMC를 착용하고 있는 원격 사용자는 상기 로컬 사용자가 볼 때 상기 원격 사용자가 본 것을 상기 로컬 사용자로 하여금 "보도록"하는 실시간 비디오를 캡처하기 위해 상기 HMC 상에 설치된 웹캠을 동작시킬 수 있다. 또한, 상기 HMC는 비디오 또는 비디오 프레임들을 디스플레이할 수 있는 디스플레이를 포함한다. 일 실시예에서, 상기 HMC는 상기 로컬 사용자에 의해 주석이 달린 비디오 프레임들을 디스플레이하여, 상기 원격 사용자로 하여금 상기 로컬 사용자에 의해 전송된 커맨드들을 청취하거나 명령들을 보도록 한다. 다른 실시예에서, 필드 클라이언트(108)는 개인용 컴퓨터(PC)에 의해 호스팅(host)되는 종래의 웹캠이거나 비디오를 캡처할 수 있고 상기 캡처된 비디오를 원격 서버로 스트리밍할 수 있는 종래의 웹-가능 감시 카메라이다.
웹-기반 클라이언트(106)는 실시간 협력 서버(102)로부터 실시간 비디오를 스트리밍할 수 있고, 상기 실시간 비디오를 웹-기반 클라이언트(106)의 사용자에게 디스플레이할 수 있고, 상기 실시간 협력 서버(102)로부터의 실시간 비디오로부터 추출된 프레임들을 수신하고, 사용자 입력에 기초하여 상기 추출된 프레임들에 주석을 다는 것과 같은 특정한 비디오 프로세싱 업무들을 수행할 수 있는 전자 디바이스일 수 있다. 일 실시예에서, 실시간 협력 서버(102)는 웹-기반 클라이언트(106)를 통해 전문가 사용자로부터 프레임-추출 명령들을 수신한다는 것을 주의한다. 또한, 웹-기반 클라이언트(106)는 상기 원격 사용자로 하여금 상기 주석이 달린 비디오 프레임들에 임베딩된 명령들을 보도록 하기 위해 상기 주석이 달린 비디오 프레임들을 차례로 원격 사용자에게 포워딩하는 실시간 협력 서버(102)로 상기 주석이 달린 비디오 프레임들을 다시 업로드할 수 있다. 일 실시예에서, 웹-기반 클라이언트(106)는 구글 크롬TM(Google ChromeTM) 또는 모질라 파이어폭스TM(Mozilla FirefoxTM)와 같은 웹 브라우저를 구동하는 클라이언트 컴퓨터이다. 다른 실시예에서, 웹-기반 클라이언트(106)에서 보는 비디오는 HTML 5 비디오 서포트를 사용하여 구현된다. 전문가와 같은, 웹-기반 클라이언트(106)의 사용자는 웹 페이지와 같이 상기 실시간 비디오를 볼 수 있다.
일 실시예에서, 상기 다수의 클라이언트들 중 하나는 웹-기반 클라이언트 또는 필드 클라이언트로서 기능할 수 있는, 랩탑 컴퓨터, 태블릿 컴퓨터, 또는 스마트폰과 같은 모바일 컴퓨팅 디바이스일 수 있다. 다른 실시예에서, 상기 모바일 컴퓨팅 디바이스는 상기 웹-기반 클라이언트 및 상기 필드 클라이언트의 기능성들을 조합한다.
일부 실시예들에서, 필드 클라이언트(108) 및 웹-기반 클라이언트(106)는 클라이언트-서버 아키텍처에서 실시간 협력 서버(102)와 상호작용하는 클라이언트 컴퓨터들이다. 주어진 클라이언트 컴퓨터는 상기 주어진 클라이언트 컴퓨터 상에 상주하고 상기 주어진 클라이언트 컴퓨터 상에서 실행되는 하나 이상의 소프트웨어 애플리케이션들을 포함할 수 있다. 특정 소프트웨어 애플리케이션은 독립 프로그램이거나 다른 소프트웨어 애플리케이션에 임베딩될 수 있다. 대안적으로, 상기 소프트웨어 애플리케이션은 웹 페이지에 임베딩된 소프트웨어-애플리케이션 툴일 수 있다(예를 들어, 상기 소프트웨어 애플리케이션은 웹 브라우저에 의해 제공된 가상 환경에서 실행될 수 있다).
더 구체적으로, 일부 실시예들에서, 협력 비디오-공유 시스템(100)은 전형적으로 JSON(JavaScript Object Notation) 또는 XML(Extensible Markup Language)로 표현된, 응답 메시지들의 구조의 규정에 따라 HTTP 응답 메시지들의 규정된 세트를 포함하는 각각의 웹 API(Application Programming Interface)와 함께 상기 클라이언트 컴퓨터들과 실시간 협력 서버(102) 사이에서 구동하는 다수의 웹 API들을 포함한다. 상기 웹 API들은 인증 및 사용자 관리 API, 데이터베이스 API, 실시간 API, 비디오 API, 및 미디어 저장 API를 포함하지만, 이것들로 제한되지 않는다. 이들 API들은 상기 다수의 클라이언트들 및 공유된 협력 공간의 환상 사이에 공유된 비디오 화이트보드를 제공한다.
상기 인증 및 사용자 관리 API는 협력 비디오-공유 시스템(100)의 사용자들로 하여금 상기 시스템에 등록 또는 로그인하고 사용자 세션들을 생성하게 한다. 상기 데이터베이스 API는 데이터베이스(104)로의 액세스를 제공한다. 상기 실시간 API는 실시간 협력 서버(102)와 상기 다수의 클라이언트들 사이의 실시간 메시지 교환을 가능하게 한다. 일 실시예에서, 상기 실시간 API는 서버와 클라이언트 컴퓨터 사이의 끊김이 없거나 오래 유지보수되는 HTTP 접속을 가능하게 하는, 롱-폴링 HTTP 접속을 사용하여 구현된다. 또 다른 실시예에서, 상기 실시간 API의 구현은 웹소켓 접속을 확립하는 단계를 수반한다. 클라이언트들은 상기 다른 클라이언트들 또는 실시간 협력 서버(102)로부터 실시간 메시지들을 수신하기 위해 상기 실시간 API에 접속한다. 또한, 상기 실시간 API는 또한 변함없는 접속 폴링을 필요로 하지 않고, 비동기적으로 다른 클라이언트들에게 메시지들을 "푸시(push)"하기 위해 상기 서버 또는 클라이언트에 의해 사용될 수 있다.
상기 비디오 API는 비디오 스트림들의 관리 및 처리를 가능하게 한다. 상기 비디오 API를 사용하여, 클라이언트들(웹-기반 클라이언트(106) 및 필드 클라이언트(108)를 포함)은 실시간 협력 서버(102)로 비디오 데이터를 "푸시"할 수 있고 실시간 협력 서버(102)로부터 비디오 데이터를 수신할 수 있다. 일 실시예에서, 상기 시스템은 또한 클라이언트로 하여금 상기 비디오 스트림으로부터 스틸 이미지들을 캡처하도록 하는 단계를 포함하는, 상기 비디오 스트림에 걸쳐 미세한 제어가 가능하게 하기 위해 상기 비디오 API와 상호작용하는 비디오-제어 API를 포함한다. 상기 미디어 저장 API는 파일 시스템 또는 실시간 협력 서버(102)와 연관된 미디어 저장소에 미디어 파일들(스틸 이미지들 또는 비디오 클립들과 같은)의 저장을 담당한다. 상기 미디어 파일들 또는 "부분들(blobs)"에 대한 인덱싱 정보(indexing information)가 데이터베이스(104)에 저장되어, 상기 저장된 미디어 파일들의 쿼리(query)를 허용한다. 일 실시예에서, 상기 비디오 API는 또한 실시간 주석들과 연관된 메시지들을 캡처할 수 있고 캡처된 비디오 스트림과 이들 주석들을 연관시킬 수 있는 기능성들을 포함한다. 이는 필드 클라이언트(108) 상의 모든 액티비티들(activities)이 실시간 협력 서버(102)와의 나중의 동기화를 위해 저장되도록 한다. 필드 클라이언트(108)가 제한된 접속 대역폭을 갖는 HMC이면, 상기 HMC가 PC에 접속되거나 도킹될 때 캡처된 비디오의 모든 기록들 및 주석들이 실시간 협력 서버(102)로 업로드된다.
도 2는 본 발명의 실시예에 따라, 예시적인 실시간 협력 서버의 구조를 예시하는 도면을 나타낸다. 실시간 협력 서버(200)는 인증 모듈(202), 실시간 관리기(204), 실시간 전송기(206) 및 실시간 포스터(208)를 포함한다.
인증 모듈(202)은 사용자 등록 및 로그인을 포함하는, 사용자 인증 프로세스들을 처리할 책임이 있다. 또한, 인증 모듈(202)은 새로운 사용자들을 추가하거나 기존의 사용자들을 삭제하는, 다른 양태들의 사용자 관리를 수반한다. 일 실시예에서, 사용자들의 추가/삭제를 위한 웹 페이지가 상기 시스템의 관리자(administrator)에게 제공되어 상기 관리자로 하여금 사용자들을 추가 또는 삭제하도록 한다. 또한, 사용자 등록 페이지가 상기 시스템의 사용자들에게 제공된다. 상기 시스템의 사용자들은 기술자들 및 전문가들로 규정된 역할들을 갖는다는 것을 주의한다. 모든 사용자들이 실시간 협력 서버(200)에 제출된 비디오 콘텐트를 보도록 허용되지만, 전문가 사용자들만이 상기 비디오 콘텐트를 편집하거나 주석을 달도록 허용된다. 동작 동안, 인증 모듈(202)은 사용자 인증과 연관된 업무들을 달성하기 위해 사용자 로그인 서비스 모듈(210), 사용자 등록 정보를 저장하는 데이터 저장소(212), 및 데이터베이스 인터페이스(214)와 상호 작용한다. 상기 사용자 등록 정보는 비디오 및 음성 종점(endpoint) 정보 모두를 포함한다. 비디오 종점 정보는 공유된 비디오 스트림들을 셋 업(set up)하기 위해 클라이언트들에 의해 사용되고, 음성 종점 정보는 실시간 협력 세션 동안 라이브 음성 통신을 가능하게 하기 위해 클라이언트들에 의해 사용된다.
실시간 관리기(204)는 클라이언트들과 상기 실시간 협력 서버(200) 간의 실시간 접속들을 관리하는데 책임이 있다. 동작 동안, 실시간 관리기(204)는 접속 관리기(216)를 통해 사용자 세션들을 관리한다. 또한, 실시간 관리기(204)는 또한 대화 관리기(218) 및 대화 모니터(220)와 상호작용함으로써 상기 다수의 클라이언트들 사이의 "대화들"(메시지 교환들)을 관리하고 모니터링한다.
실시간 전송기(206) 및 실시간 포스터(208)는 대화 모듈(222)을 통해 상기 다수의 클라이언트들 간의 "대화들"을 용이하게 한다. 일 실시예에서, 대화 모듈(222)은 상기 대화 모듈(222)과 사용자 자신의 사용자 세션을 확립하는 각각의 사용자와 다수의 사용자들 간의 실시간 통신을 가능하게 하는, 채팅 룸으로서 구현될 수 있다. 상기 실시간 통신은 비디오들, 이미지들, 상기 비디오들 또는 상기 이미지들 상의 주석들, 및 오디오 대화들을 포함하지만, 이것으로 제한되지 않는다. 일 실시예에서, 전문가는 상기 전문가 사용자로 하여금 상기 비디오로부터 캡처된 이미지 상에 주석들을 끌어오게 하는, HTML 캔버스 객체를 사용하여 비디오의 상부에 주석들을 생성하고, 상기 주석들은 텍스트, 박스들, 및 자유로운 선들과 같은 다양한 공통 그래픽 요소들을 사용하여 표현될 수 있다. 예를 들어, 특정한 성분을 수반하는 유지보수 동작을 설명하기 위해, 상기 전문가 사용자는 상기 라이브 비디오로부터 캡처된 이미지 상의 상기 성분에 동그라미를 칠 수 있고 상기 이미지의 하부에 상세한 동작 명령들을 기록할 수 있다. 일단 상기 주석이 생성되면, 상기 주석을 표현하는 메시지가 생성된다는 것을 주의한다. 일 실시예에서, 상기 메시지는 JSON의 형태이다. 상기 JSON 메시지는 그 후 상기 JSON 메시지들을 상기 "대화"에 참여하는 모든 클라이언트들(즉, 대화 모듈(222)과 사용자 세션들을 확립하는 모든 사용자들)에게 분배하는, 실시간 협력 서버(200)로 상기 클라이언트로부터 나중에 푸시된다. 예를 들어, 지원된 서비스 세션의 참여자들은 상기 웹-기반 클라이언트를 사용하는 전문가 및 각각 자신의 필드 클라이언트를 사용하는 다수의 초보자들을 포함할 수 있다. 일 실시예에서, 각각의 필드 클라이언트는 다른 필드 클라이언트들의 사용자들로 하여금 업로드된 비디오를 보도록 하기 위해 실시간 협력 서버(200)로 자신의 비디오를 업로드한다. 상기 전문가는 주석을 달기 위해 상기 다수의 비디오 스트림들로부터 하나의 비디오 스트림을 선택할 수 있고, 상기 주석이 달린 비디오들을 실시간 협력 서버(200)를 통해 모든 필드 클라이언트들의 사용자들에게 분배할 수 있다.
도 3은 본 발명의 실시예에 따라, 상기 실시간 비디오-공유 프로세스를 예시하는 시간-공간 도표를 나타낸다. 동작 동안, 필드 클라이언트(302) 및 전문가 클라이언트(306)는 모두 협력 서버(304)와 사용자 세션을 확립한다(동작들 308 및 310). 후속하여, 필드 클라이언트(302)는 라이브 비디오 이미지들을 캡처하고(동작 312), 동시에 상기 라이브 비디오 이미지들을 협력 서버(304)로 스트리밍한다(동작 314). 상기 필드 클라이언트는 헤드-마운트 컴퓨터, PC에 의해 호스팅된 웹캠, 모바일 컴퓨팅 디바이스, 또는 웹-가능 유선 또는 무선 감시 카메라일 수 있다. 협력 서버(304)는 선택적으로 상기 라이브 비디오 이미지들을 프로세싱하고(동작 316), 상기 비디오를 전문가 클라이언트(306)로 포워딩한다(동작 318). 예를 들어, 협력 서버(304)는 나중의 사용을 위해 상기 비디오를 캐시(cache)할 수 있다. 전문가는 전문가 클라이언트(306)에서 상기 비디오를 볼 수 있어서, 원격지 측의 초보자가 보는 것을 볼 수 있다. 예를 들어, 상기 초보 사용자가 자동차 엔진을 수리하면, 필드 클라이언트(302) 상에 장착된 카메라가 상기 자동차 엔진 및 상기 초보자의 모든 움직임을 보여주는 라이브 비디오들을 캡처한다. 일 실시예에서, 전문가 클라이언트(306)는 전문가 클라이언트(306)에 필드 클라이언트(302)와 연관된 비디오 서버의 위치가 통지된다면, 필드 클라이언트(302)로부터의 비디오들을 직접 저장할 수 있다. 그러나, 필드 클라이언트(302)가 방화벽 뒤에 있거나 다른 유사한 제약들 아래에 있는 경우들에서, 전문가 클라이언트(306)는 필드 클라이언트(302)로부터 비디오를 직접 수신할 수 없고, 상기 비디오를 중계하기 위해 협력 서버(304)가 필요하다. 게다가, 다수의 다른 클라이언트들이 필드 클라이언트(302)로부터 라이브 비디오들을 스트리밍하기 위해 시도하는 상황들에서, 제한된 업스트림 대역폭으로 인해, 필드 클라이언트(302)는 상기 다수의 다른 클라이언트들로부터의 모든 스트리밍 요청들을 만족시킬 수 없고, 그래서 협력 서버(304)가 상기 다수의 클라이언트들에게 라이브 비디오들을 중계하기 위해 필요하다. 대안적으로, 상기 라이브 비디오들은 멀티캐스트 프로토콜 또는 콘텐트-중심 네트워킹(CCN; content-centric networking) 프로토콜을 사용하여 필드 클라이언트(302)로부터 상기 다수의 다른 클라이언트들로 분배될 수 있다.
또한, 필드 클라이언트(302)의 사용자들 및 전문가 클라이언트(306)는 음성 대화를 교환할 수 있다(동작 320). 클라이언트들 간의 음성 대화의 교환은 협력 서버(304)를 수반할 수도 수반하지 않을 수도 있다는 것을 주의한다.
상기 라이브 비디오들을 보면서, 전문가 클라이언트(306)를 사용하는 전문가 사용자는 상기 라이브 비디오로부터 하나 이상의 스틸 이미지들을 추출하기 위해 협력 서버(304)에 명령하는 커맨드들을 협력 서버(304)로 전송할 수 있다(동작들 322 및 324). 그러면 협력 서버(304)는 상기 전문가 사용자로 하여금 상기 추출된 이미지들의 상부에 주석을 달도록 하기 위해 전문가 클라이언트(306)로 상기 추출된 스틸 이미지들을 다시 전송한다(동작들 326 및 328). 후속하여, 상기 주석은 협력 서버(304)로 다시 전송된다(동작 330). 일 실시예에서, 주석은 HTML 캔버스 요소로서 상기 전문가 사용자에 의해 생성될 수 있다. 상기 주석의 생성은 생성되고 협력 서버(304)로 전송될 상기 주석을 표현하는 JSON 메시지를 트리거한다. 협력 서버(304)는 나중에 상기 주석을 필드 클라이언트(302)와 같은 다른 클라이언트들로 분배한다(동작 332). 필드 클라이언트(302)는 대응하는 비디오 요소들과 상기 주석을 연관시키고(동작 334), 상기 주석을 스틸 이미지들과 같은 상기 비디오 요소들의 상부에 오버레이한다(동작 336).
비디오들 및 주석들의 실시간 공유를 용이하게 하는 것에 부가하여, 상기 시스템은 또한 전문가 사용자가 주석이 달린 비디오 자료를 사용하여 서비스 절차들을 편집하는 것을 가능하게 한다. 일 실시예에서, 상기 웹-기반 클라이언트는 전문가 사용자로 하여금 서비스 절차에 대한 가이드를 구성하게 하는 저작(authoring) 툴로서 동작하는, 절차 에디터를 포함한다. 일 실시예에서, 상기 절차 에디터는 웹 브라우저를 통해 상기 웹-기반 클라이언트에서 전문가들에 의해 액세스될 수 있다. 상기 절차 에디터는 전문가로 하여금 새로운 이미지들을 업로드하게 하고, 상기 업로드된 이미지들을 서비스 절차들/단계들에 링크하고, 상기 이미지들에 태그들/주석들을 달고, 텍스트 설명들을 추가한다.
예를 들어, 자동차 엔진의 서비스 동안 초보자들에 의해 취해진 비디오들을 사용하여, 전문가 사용자는 언제든 사용자가 볼 수 있는 비디오-기반 자동차 엔진 서비스 매뉴얼을 생성할 수 있다. 더 구체적으로, 초보자가 전문가 사용자의 원격 지원으로 자동차 엔진을 서비스할 때, 상기 초보자에 의해 동작된 상기 필드 클라이언트는 상기 서비스 프로세스를 보여주는 비디오들을 연속적으로 캡처한다. 상기 비디오들은 상기 전문가 사용자가 상기 비디오들을 보고 주석을 다는, 상기 웹-기반 클라이언트로 스트리밍된다. 상기 비디오들에 실시간 주석 달기를 수행하고 상기 필드 클라이언트와 상기 실시간 주석들을 공유하는 것에 부가하여, 상기 웹-클라이언트의 전문가 사용자는 또한 상기 비디오들을 오프라인으로 편집할 수 있다. 일 실시예에서, 상기 전문가는 특정 단계에 대응하는 하나 이상의 이미지들과 함께, 하나 이상의 비디오 스트림들(상이한 초보 사용자들에 의해 업로드된 비디오 스트림들을 포함할 수 있는)로부터 스틸 이미지들을 추출할 수 있다. 상기 전문가 사용자는 또한 상기 추출된 이미지들의 상부에 주석들을 만들 수 있고 텍스트 설명을 추가할 수 있다. 상기 텍스트 설명과 함께 상기 주석이 달린 이미지들은 특정 서비스 단계를 수행하는 사람에 대한 시각적 명령으로서 사용될 수 있다. 서비스 절차에 포함된 상이한 단계들과 연관된 이미지들을 추출하고 주석을 다는 것에 의해, 상기 전문가는 상기 서비스 절차에 대한 완전한 가이드를 생성할 수 있다. 서비스 매뉴얼들 또는 가이드들을 생성하는 종래의 방법들과 비교하여, 본 발명의 실시예들은 전문가에게 콘텐트를 의도적으로 수집하도록 요구하지 않는다는 것을 주의한다. 대신, 상기 콘텐트는 필드 클라이언트들에 의해 다양한 라이브 지원된 서비스 세션들 동안 수집된다.
일 실시예에서, 상기 수집된 콘텐트는 각각 정렬된 단계들의 리스트를 포함하는, 다수의 절차들을 나타내는 머신과 함께 상이한 머신들과 연관된다. 상기 머신들, 절차들, 또는 단계들에 대한 전문가-생성된 서비스 가이드는 상기 시스템 데이터베이스에 저장될 수 있고 다른 필드 클라이언트들에 의해 쿼리될 수 있다. 예를 들어, 초보자가 특정한 절차 또는 단계를 수행하기 전에, 그는 상기 절차 또는 단계에 대한 가이드(이전에 전문가에 의해 생성된)를 상기 시스템 데이터베이스에서 검색할 수 있다. 상기 절차 가이드가 주석들 및 텍스트 설명들과 함께 이미지들 또는 비디오들을 포함하기 때문에, 상세한 명령을 상기 초보자에게 제공할 수 있다는 것을 주의한다.
전문가가 다수의 지원된 서비스 세션들로부터 획득된 비디오들을 사용하여 상기 서비스 절차 가이드를 생성할 수 있기 때문에, 그는 고유한 관점을 제공하는 각각의 세션과 상기 다수의 세션들로부터 얻어진 지식을 조합할 수 있다. 게다가, 상기 전문가는 다른 초보자들을 지원하는 것으로부터 얻어진 지식을 사용하여 상기 절차 가이드의 콘텐트를 업데이트하는 것을 계속할 수 있다. 일 실시예에서, 상기 전문가 사용자는 오프라인의 상기 웹-기반 클라이언트의 상기 절차 가이드를 업데이트할 수 있고, 상기 업데이트된 절차 가이드는 상기 웹-기반 클라이언트가 다시 접속될 때 상기 데이터베이스에 저장된 상기 절차 가이드와 동기화된다. 이는 해싱 API를 사용하여 행해질 수 있다. 상기 시스템이 사용하는 도메인의 정보 및 지식을 캡처하기 위해 계속 사용되어, 시간이 지남에 따라 더 유용해진다는 것을 주의한다.
도 4는 본 발명의 실시예에 따라, 절차 가이드를 생성하는 프로세스를 예시하는 흐름도를 나타낸다. 동작 동안, 상기 전문가는 절차 내의 단계를 선택하고(동작 402), 원격-지원 서비스 세션들 동안 취해진 하나 이상의 비디오 스트림들로부터 선택된 단계와 연관된 하나 이상의 이미지들을 추출한다(동작 404). 후속하여, 상기 전문가는 상기 이미지들에 주석들 및 태그들을 달고(동작 406), 텍스트 설명을 추가한다(동작 408). 상기 주석 및 상기 텍스트 설명은 함께 상기 선택된 단계를 수행하는 방법을 뷰어에게 설명한다. 일 실시예에서, 상기 전문가는 동영상으로 된 주석들을 생성할 수 있다. 그 후, 상기 주석이 달린 이미지들은 상기 시스템 데이터베이스로 업로드된다(동작 410). 상기 전문가는 상기 선택된 단계가 상기 절차의 마지막 단계인지 여부를 결정한다(동작 412). 그렇다면, 상기 프로세스는 종료한다. 그렇지 않다면, 상기 전문가는 다음 단계를 선택한다(동작 402).
도 5는 본 발명의 일 실시예에 따라, 주석이 달린 비디오들의 실시간 공유를 위한 예시적인 컴퓨터 시스템을 도시한다. 일 실시예에서, 컴퓨터 및 통신 시스템(500)은 프로세서(502), 메모리(504), 및 저장 디바이스(506)를 포함한다. 저장 디바이스(506)는 애플리케이션들(510 및 512)과 같은 다른 애플리케이션들 뿐만 아니라, 실시간 비디오-공유 애플리케이션(508)을 저장한다. 동작 동안, 실시간 비디오-공유 애플리케이션(508)이 저장 디바이스(506)로부터 메모리(504)로 로딩된 후 프로세서(502)에 의해 실행된다. 상기 프로그램을 실행하면서, 프로세서(502)는 앞서 언급된 기능들을 수행한다. 컴퓨터 및 통신 시스템(500)이 선택적인 디스플레이(514), 키보드(516), 및 포인팅 디바이스(518)에 결합된다.

Claims (25)

  1. 주석이 달린 비디오들을 공유하기 위한 컴퓨터-실행 가능한 방법에 있어서,
    협력 서버에 의해, 원격 필드 컴퓨터와 절차에서 전문가와 연관된 클라이언트 컴퓨터 사이에 실시간 비디오-공유 세션을 확립하는 단계; 및
    상기 확립된 실시간 비디오-공유 세션 동안:
    상기 원격 필드 컴퓨터로부터 실시간 비디오 스트림을 수신하는 단계;
    상기 전문가로 하여금 상기 실시간 비디오 스트림에 주석을 제공하도록 하기 위해 상기 클라이언트 컴퓨터로 상기 실시간 비디오 스트림을 포워딩하는 단계;
    상기 비디오 스트림으로부터 스틸 이미지(still image)를 추출하기 위한 명령을 상기 클라이언트 컴퓨터로부터 수신하는 단계;
    상기 수신된 명령에 응답하여 상기 비디오 스트림으로부터 상기 스틸 이미지를 추출하는 단계;
    상기 전문가에 의해 주석을 위해 상기 스틸 이미지를 상기 클라이언트 컴퓨터로 포워딩하는 단계;
    상기 클라이언트 컴퓨터로부터 상기 절차와 연관된 상기 주석을 수신하는 단계; 및
    상기 주석을 상기 실시간 비디오 스트림의 대응하는 부분과 연관시키고 상기 실시간 비디오 스트림의 대응하는 부분의 상부에 상기 주석을 디스플레이하는, 상기 원격 필드 컴퓨터로 상기 주석을 포워딩하는 단계를 포함하는, 주석이 달린 비디오들을 공유하기 위한 컴퓨터-실행 가능한 방법.
  2. 제 1 항에 있어서,
    상기 주석을 포워딩하는 단계는:
    상기 주석과 연관된 메시지를 생성하는 단계; 및
    상기 메시지를 상기 원격 필드 컴퓨터로 전송하는 단계를 수반하는, 주석이 달린 비디오들을 공유하기 위한 컴퓨터-실행 가능한 방법.
  3. 제 2 항에 있어서,
    상기 메시지를 생성하는 단계는 상기 주석을 포함하는 JSON(JavaScript Object Notation) 메시지를 생성하는 단계를 수반하는, 주석이 달린 비디오들을 공유하기 위한 컴퓨터-실행 가능한 방법.
  4. 제 1 항에 있어서,
    상기 실시간 비디오 공유 세션을 확립하는 단계는 롱-폴링(long-polling) HTTP 접속을 생성하는 단계 및/또는 상기 실시간 비디오-공유 세션에 대한 웹소켓 접속(WebSocket connection)을 확립하는 단계를 수반하는, 주석이 달린 비디오들을 공유하기 위한 컴퓨터-실행 가능한 방법.
  5. 제 1 항에 있어서,
    상기 원격 필드 컴퓨터는:
    헤드-마운트 컴퓨터(head-mounted computer);
    스마트폰;
    태블릿 컴퓨터; 및
    랩탑 컴퓨터 중 적어도 하나를 포함하는, 주석이 달린 비디오들을 공유하기 위한 컴퓨터-실행 가능한 방법.
  6. 제 1 항에 있어서,
    상기 주석은 HTML(HyperText Markup Language) 캔버스(canvas) 객체인, 주석이 달린 비디오들을 공유하기 위한 컴퓨터-실행 가능한 방법.
  7. 제 1 항에 있어서,
    상기 전문가로 하여금 상기 절차에 대해 단계적인 절차 가이드를 생성하도록, 다수의 실시간 비디오-공유 세션들로부터 상기 절차의 단계와 연관된 한 세트의 추출된 미디어 세그먼트들(media segments)을 전문가의 클라이언트 컴퓨터로 송신하는 단계; 및
    상기 단계적인 절차 가이드를 상기 클라이언트 컴퓨터로부터 수신하는 단계로서, 상기 단계적인 절차 가이드는 상기 한 세트의 미디어 세그먼트들과 상기 단계와 연관된 설명(description)을 포함하는, 상기 단계적인 절차 가이드를 상기 클라이언트 컴퓨터로부터 수신하는 단계를 더 포함하는, 주석이 달린 비디오들을 공유하기 위한 컴퓨터-실행 가능한 방법.
  8. 제 1 항에 있어서,
    상기 원격 필드 컴퓨터와 로컬 컴퓨터 사이의 음성 메시지들의 교환을 용이하게 하는 단계를 더 포함하는, 주석이 달린 비디오들을 공유하기 위한 컴퓨터-실행 가능한 방법.
  9. 컴퓨터에 의해 실행될 때 상기 컴퓨터로 하여금 주석이 달린 비디오들을 공유하기 위한 방법을 수행하도록 하는 명령들을 저장하는 비-일시적인 컴퓨터-판독 가능 저장 매체에 있어서,
    상기 방법은:
    원격 필드 컴퓨터와 절차에서 전문가와 연관된 클라이언트 컴퓨터 사이에 실시간 비디오-공유 세션을 확립하는 단계; 및
    상기 확립된 실시간 비디오-공유 세션 동안:
    상기 원격 필드 컴퓨터로부터 실시간 비디오 스트림을 수신하는 단계;
    상기 전문가로 하여금 상기 실시간 비디오 스트림에 주석을 제공하도록 하기 위해 상기 클라이언트 컴퓨터로 상기 실시간 비디오 스트림을 포워딩하는 단계;
    상기 비디오 스트림으로부터 스틸 이미지를 추출하기 위한 명령을 상기 클라이언트 컴퓨터로부터 수신하는 단계;
    상기 수신된 명령에 응답하여 상기 비디오 스트림으로부터 상기 스틸 이미지를 추출하는 단계;
    상기 전문가에 의해 주석을 위해 상기 스틸 이미지를 상기 클라이언트 컴퓨터로 포워딩하는 단계;
    상기 클라이언트 컴퓨터로부터 상기 절차와 연관된 상기 주석을 수신하는 단계; 및
    상기 주석을 상기 실시간 비디오 스트림의 대응하는 부분과 연관시키고 상기 실시간 비디오 스트림의 대응하는 부분의 상부에 상기 주석을 디스플레이하는, 상기 원격 필드 컴퓨터로 상기 주석을 포워딩하는 단계를 포함하는, 비-일시적인 컴퓨터-판독 가능 저장 매체.
  10. 제 9 항에 있어서,
    상기 주석과 연관된 메시지를 생성하는 단계; 및
    상기 메시지를 상기 원격 필드 컴퓨터로 전송하는 단계를 수반하는, 비-일시적인 컴퓨터-판독 가능 저장 매체.
  11. 제 10 항에 있어서,
    상기 메시지를 생성하는 단계는 상기 주석을 포함하는 JSON(JavaScript Object Notation) 메시지를 생성하는 단계를 수반하는, 비-일시적인 컴퓨터-판독 가능 저장 매체.
  12. 제 9 항에 있어서,
    상기 실시간 비디오 공유 세션을 확립하는 단계는 롱-폴링(long-polling) HTTP 접속을 생성하는 단계 및/또는 상기 실시간 비디오-공유 세션에 대한 웹소켓 접속(WebSocket connection)을 확립하는 단계를 수반하는, 비-일시적인 컴퓨터-판독 가능 저장 매체.
  13. 제 9 항에 있어서,
    상기 원격 필드 컴퓨터는:
    헤드-마운트 컴퓨터(head-mounted computer);
    스마트폰;
    태블릿 컴퓨터; 및
    랩탑 컴퓨터 중 적어도 하나를 포함하는, 비-일시적인 컴퓨터-판독 가능 저장 매체.
  14. 제 9 항에 있어서,
    상기 주석은 HTML(HyperText Markup Language) 캔버스(canvas) 객체인, 비-일시적인 컴퓨터-판독 가능 저장 매체.
  15. 제 9 항에 있어서,
    상기 전문가로 하여금 상기 절차에 대해 단계적인 절차 가이드를 생성하도록, 다수의 실시간 비디오-공유 세션들로부터 상기 절차의 단계와 연관된 한 세트의 추출된 미디어 세그먼트들(media segments)을 전문가의 클라이언트 컴퓨터로 송신하는 단계; 및
    상기 단계적인 절차 가이드를 상기 클라이언트 컴퓨터로부터 수신하는 단계로서, 상기 단계적인 절차 가이드는 상기 한 세트의 미디어 세그먼트들과 상기 단계와 연관된 설명(description)을 포함하는, 상기 단계적인 절차 가이드를 상기 클라이언트 컴퓨터로부터 수신하는 단계를 더 포함하는, 비-일시적인 컴퓨터-판독 가능 저장 매체.
  16. 제 9 항에 있어서,
    상기 원격 필드 컴퓨터와 로컬 컴퓨터 사이의 음성 메시지들의 교환을 용이하게 하는 단계를 더 포함하는, 비-일시적인 컴퓨터-판독 가능 저장 매체.
  17. 주석이 달린 비디오들을 공유하기 위한 컴퓨팅 시스템으로서,
    상기 시스템은:
    원격 필드 컴퓨터;
    절차에서 전문가와 연관된 클라이언트 컴퓨터; 및
    비디오-공유 협력 서버를 포함하고,
    원격 필드 컴퓨터와 절차에서 전문가와 연관된 클라이언트 컴퓨터 사이에서 실시간 비디오-공유 세션을 확립하도록 구성된 세션-확립부;
    상기 실시간 비디오-공유 세션 동안, 상기 원격 필드 컴퓨터로부터 실시간 비디오 스트림을 수신하도록 구성된 비디오-수신부;
    상기 실시간 비디오-공유 세션 동안, 상기 전문가로 하여금 상기 실시간 비디오 스트림에 주석을 제공하기 위해 상기 실시간 비디오 스트림을 상기 클라이언트 컴퓨터로 포워딩하도록 구성된 비디오-포워딩부;
    상기 실시간 비디오-공유 세션 동안, 상기 비디오 스트림으로부터 스틸 이미지를 추출하기 위한 명령을 상기 클라이언트 컴퓨터로부터 수신하도록 구성된 명령-수신부;
    상기 실시간 비디오-공유 세션 동안, 상기 수신된 명령에 응답하여 상기 비디오 스트림으로부터 스틸 이미지를 추출하도록 구성된 이미지-추출부;
    상기 실시간 비디오-공유 세션 동안, 상기 전문가에 의해 주석을 위해 상기 스틸 이미지를 상기 클라이언트 컴퓨터로 포워딩하도록 구성된 이미지-포워딩부;
    상기 실시간 비디오-공유 세션 동안, 상기 클라이언트 컴퓨터로부터 상기 절차와 연관된 상기 주석을 수신하도록 구성된 주석-수신부; 및
    상기 주석을 상기 실시간 비디오 스트림의 대응하는 부분과 연관시키는, 상기 원격 필드 컴퓨터로 상기 주석을 포워딩하도록 구성된 주석-포워딩부을 더 포함하는, 주석이 달린 비디오들을 공유하기 위한 컴퓨팅 시스템.
  18. 제 17 항에 있어서,
    상기 주석을 포워딩하는 동안, 상기 주석-포워딩부는:
    상기 주석과 연관된 메시지를 생성하고;
    상기 메시지를 상기 원격 필드 컴퓨터로 전송하도록 또한 구성된, 주석이 달린 비디오들을 공유하기 위한 컴퓨팅 시스템.
  19. 제 18 항에 있어서,
    상기 메시지를 생성하는 것은 상기 주석을 포함하는 JSON(JavaScript Object Notation) 메시지를 생성하는 것을 수반하는, 주석이 달린 비디오들을 공유하기 위한 컴퓨팅 시스템.
  20. 제 17 항에 있어서,
    상기 세션-확립부는 롱-폴링(long-polling) HTTP 접속을 생성하는 단계 및/또는 상기 실시간 비디오-공유 세션에 대한 웹소켓 접속(WebSocket connection)을 확립하도록 구성된, 주석이 달린 비디오들을 공유하기 위한 컴퓨팅 시스템.
  21. 제 17 항에 있어서,
    상기 원격 필드 컴퓨터는:
    헤드-마운트 컴퓨터(head-mounted computer);
    스마트폰;
    태블릿 컴퓨터; 및
    랩탑 컴퓨터 중 적어도 하나를 포함하는, 주석이 달린 비디오들을 공유하기 위한 컴퓨팅 시스템.
  22. 제 17 항에 있어서,
    상기 주석은 HTML(HyperText Markup Language) 캔버스(canvas) 객체인, 주석이 달린 비디오들을 공유하기 위한 컴퓨팅 시스템.
  23. 제 17 항에 있어서,
    상기 비디오-공유 협력 서버는:
    상기 전문가로 하여금 상기 절차에 대해 단계적인 절차 가이드를 생성하도록, 다수의 실시간 비디오-공유 세션들로부터 상기 절차의 단계와 연관된 한 세트의 추출된 미디어 세그먼트들(media segments)을 전문가의 클라이언트 컴퓨터로 송신하도록 구성된 미디어-전송부; 및
    상기 단계적인 절차 가이드를 상기 클라이언트 컴퓨터로부터 수신하도록 구성된 절차-수신부로서, 상기 단계적인 절차 가이드는 상기 한 세트의 미디어 세그먼트들과 상기 단계와 연관된 설명(description)을 포함하는, 상기 절차-수신부를 더 포함하는, 주석이 달린 비디오들을 공유하기 위한 컴퓨팅 시스템.
  24. 제 17 항에 있어서,
    상기 비디오-공유 협력 서버는 상기 원격 필드 컴퓨터와 로컬 컴퓨터 사이의 음성 메시지들의 교환을 용이하게 하는 교환부를 더 포함하는, 주석이 달린 비디오들을 공유하기 위한 컴퓨팅 시스템.
  25. 제 17 항에 있어서,
    상기 절차와 연관하여 인덱스된 미디어 저장소 내에 상기 실시간 비디오 스트림의 적어도 추출된 미디어 세그먼트 및 상기 주석을 저장하는 것을 더 포함하고,
    상기 추출된 미디어 세그먼트는 상기 스틸 이미지 또는 캡처된 비디오 클립(video clip)을 포함하는, 주석이 달린 비디오들을 공유하기 위한 컴퓨팅 시스템.
KR1020130060185A 2012-05-30 2013-05-28 원격 서비스를 위한 협력 비디오 애플리케이션 KR101928266B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/484,172 US9307293B2 (en) 2012-05-30 2012-05-30 Collaborative video application for remote servicing
US13/484,172 2012-05-30

Publications (2)

Publication Number Publication Date
KR20130135099A KR20130135099A (ko) 2013-12-10
KR101928266B1 true KR101928266B1 (ko) 2019-02-26

Family

ID=48672358

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130060185A KR101928266B1 (ko) 2012-05-30 2013-05-28 원격 서비스를 위한 협력 비디오 애플리케이션

Country Status (3)

Country Link
US (1) US9307293B2 (ko)
EP (1) EP2670158A3 (ko)
KR (1) KR101928266B1 (ko)

Families Citing this family (147)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
EP2357806B1 (en) * 2010-01-06 2018-05-23 Lg Electronics Inc. A display device and a method for displaying contents on the same
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US8990325B2 (en) * 2012-04-30 2015-03-24 Cbs Interactive Inc. Real-time and interactive community-based content publishing system
US20130304820A1 (en) * 2012-05-11 2013-11-14 Samsung Electronics Co., Ltd. Network system with interaction mechanism and method of operation thereof
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
CN103475846B (zh) * 2012-06-06 2018-09-04 腾讯科技（深圳）有限公司 一种视频通讯的方法及用于视频通讯的终端、服务器
WO2014089024A2 (en) * 2012-12-04 2014-06-12 Aetherpal Inc. Knowledge base in virtual mobile management
TWI439872B (zh) * 2012-12-12 2014-06-01 Univ Nat Cheng Kung 互動雲通訊系統
DE212014000045U1 (de) 2013-02-07 2015-09-24 Apple Inc. Sprach-Trigger für einen digitalen Assistenten
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
JP6259911B2 (ja) 2013-06-09 2018-01-10 アップル インコーポレイテッド デジタルアシスタントの２つ以上のインスタンスにわたる会話持続を可能にするための機器、方法、及びグラフィカルユーザインタフェース
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US9924130B2 (en) * 2013-07-15 2018-03-20 Allego Inc. Computer based training techniques for geographically distributed individuals
JP6213914B2 (ja) * 2013-09-27 2017-10-18 パナソニックＩｐマネジメント株式会社 通信端末、およびコンテンツ出版方法
US20150113404A1 (en) * 2013-10-17 2015-04-23 Apple Inc. Publishing Media Content to Virtual Movie Theatres
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9380261B2 (en) * 2014-02-25 2016-06-28 Cisco Technology, Inc. Multi-camera access for remote video access
US9584567B2 (en) * 2014-03-04 2017-02-28 Victor Janeiro Skinner Method, system and program product for collaboration of video files
CA2886485C (en) * 2014-03-31 2023-01-17 Smart Technologies Ulc Method for tracking displays during a collaboration session and interactive board employing same
US10579212B2 (en) 2014-05-30 2020-03-03 Apple Inc. Structured suggestions
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
WO2015184186A1 (en) 2014-05-30 2015-12-03 Apple Inc. Multi-command single utterance input method
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US10565219B2 (en) 2014-05-30 2020-02-18 Apple Inc. Techniques for automatically generating a suggested contact based on a received message
US20150356780A1 (en) * 2014-06-05 2015-12-10 Wipro Limited Method for providing real time guidance to a user and a system thereof
US20150355807A1 (en) * 2014-06-05 2015-12-10 Telefonaktiebolaget L M Ericsson (Publ) Systems and Methods For Selecting a Still Image From a Live Video Feed
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10291597B2 (en) 2014-08-14 2019-05-14 Cisco Technology, Inc. Sharing resources across multiple devices in online meetings
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10437288B2 (en) 2014-10-06 2019-10-08 Fasetto, Inc. Portable storage device with modular power and housing system
US10542126B2 (en) 2014-12-22 2020-01-21 Cisco Technology, Inc. Offline virtual participation in an online conference meeting
US10484437B2 (en) * 2015-01-21 2019-11-19 Logmein, Inc. Remote support service with two-way smart whiteboard
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
CN112737895A (zh) * 2015-03-11 2021-04-30 法斯埃托股份有限公司 用于web api通信的系统和方法
US9699401B1 (en) 2015-03-20 2017-07-04 Jolanda Jones Public encounter monitoring system
US9846972B2 (en) 2015-04-06 2017-12-19 Scope Technologies Us Inc. Method and apparatus for sharing augmented reality applications to multiple clients
US9948786B2 (en) 2015-04-17 2018-04-17 Cisco Technology, Inc. Handling conferences using highly-distributed agents
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US9654727B2 (en) * 2015-06-01 2017-05-16 Apple Inc. Techniques to overcome communication lag between terminals performing video mirroring and annotation operations
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10003938B2 (en) 2015-08-14 2018-06-19 Apple Inc. Easy location sharing
AU2015224398A1 (en) 2015-09-08 2017-03-23 Canon Kabushiki Kaisha A method for presenting notifications when annotations are received from a remote device
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10445425B2 (en) 2015-09-15 2019-10-15 Apple Inc. Emoji and canned responses
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
JP6597299B2 (ja) * 2015-12-25 2019-10-30 株式会社リコー 共有端末、通信システム、通信方法、及びプログラム
CN105610843A (zh) * 2015-12-31 2016-05-25 广东顺德中山大学卡内基梅隆大学国际联合研究院 远程摄像画面实时分享方法及其系统
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10885478B2 (en) 2016-07-06 2021-01-05 Palo Alto Research Center Incorporated Computer-implemented system and method for providing contextually relevant task recommendations to qualified users
US11477302B2 (en) * 2016-07-06 2022-10-18 Palo Alto Research Center Incorporated Computer-implemented system and method for distributed activity detection
US11093834B2 (en) 2016-07-06 2021-08-17 Palo Alto Research Center Incorporated Computer-implemented system and method for predicting activity outcome based on user attention
US20180012229A1 (en) * 2016-07-06 2018-01-11 Palo Alto Research Center Incorporated Computer-Implemented System And Method For Providing Contextually Relevant Servicing
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10592867B2 (en) 2016-11-11 2020-03-17 Cisco Technology, Inc. In-meeting graphical user interface display using calendar information and system
US10762675B2 (en) * 2016-12-12 2020-09-01 Facebook, Inc. Systems and methods for interactive broadcasting
US9961302B1 (en) * 2016-12-13 2018-05-01 Cisco Technology, Inc. Video conference annotation
US10516707B2 (en) 2016-12-15 2019-12-24 Cisco Technology, Inc. Initiating a conferencing meeting using a conference room device
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10440073B2 (en) 2017-04-11 2019-10-08 Cisco Technology, Inc. User interface for proximity based teleconference transfer
US10375125B2 (en) 2017-04-27 2019-08-06 Cisco Technology, Inc. Automatically joining devices to a video conference
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10820034B2 (en) * 2017-05-26 2020-10-27 At&T Intellectual Property I, L.P. Providing streaming video from mobile computing nodes
US10375474B2 (en) 2017-06-12 2019-08-06 Cisco Technology, Inc. Hybrid horn microphone
US10477148B2 (en) 2017-06-23 2019-11-12 Cisco Technology, Inc. Speaker anticipation
US10516709B2 (en) 2017-06-29 2019-12-24 Cisco Technology, Inc. Files automatically shared at conference initiation
US10706391B2 (en) 2017-07-13 2020-07-07 Cisco Technology, Inc. Protecting scheduled meeting in physical room
US10091348B1 (en) 2017-07-25 2018-10-02 Cisco Technology, Inc. Predictive model for voice/video over IP calls
US11388449B2 (en) * 2017-10-19 2022-07-12 Lazar Entertainment Inc. Systems and methods for broadcasting live media streams
US20190124251A1 (en) * 2017-10-23 2019-04-25 Sony Corporation Remotely controllable camera on eyeglass-type mount for the blind
WO2019155265A1 (en) * 2018-02-12 2019-08-15 Subra Ep Rusconi Florence System for real-time video and still image sharing
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
DK180171B1 (en) 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US20190346842A1 (en) * 2018-05-11 2019-11-14 Honeywell International Inc. Transferring annotations to images captured by remote vehicles between displays
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10504518B1 (en) 2018-06-03 2019-12-10 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US10679420B2 (en) * 2018-11-02 2020-06-09 General Motors Llc Augmented reality (AR) remote vehicle assistance
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US20200287947A1 (en) 2019-03-04 2020-09-10 Metatellus Oü System and method for selective communication
US20200286272A1 (en) 2019-03-04 2020-09-10 Metatellus Oü System and method for communicating among clients
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11074408B2 (en) 2019-06-01 2021-07-27 Apple Inc. Mail application features
US11194467B2 (en) 2019-06-01 2021-12-07 Apple Inc. Keyboard management user interfaces
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
JP7152454B2 (ja) * 2020-09-29 2022-10-12 ソフトバンク株式会社 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
CN112565703B (zh) * 2020-12-09 2023-05-26 深圳市锐驰曼科技发展有限公司 一种车载终端的报修方法、系统、装置及存储介质
US11863600B2 (en) 2021-06-30 2024-01-02 Dropbox, Inc. Techniques for efficient communication during a video collaboration session
US11424945B1 (en) 2021-06-30 2022-08-23 Dropbox, Inc. Techniques for avoiding conflicting user actions during a video collaboration session
US20230283497A1 (en) * 2022-03-07 2023-09-07 Brandon Fischer System and method for annotating live sources

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090083637A1 (en) 2007-09-07 2009-03-26 Jens Skakkebaek Method and System for Online Collaboration

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003243345A1 (en) 2002-05-31 2003-12-19 The Texas A And M University System Communicating medical information in a communication network
US20090064245A1 (en) * 2007-08-28 2009-03-05 International Business Machines Corporation Enhanced On-Line Collaboration System for Broadcast Presentations
US8380866B2 (en) * 2009-03-20 2013-02-19 Ricoh Company, Ltd. Techniques for facilitating annotations
US8373741B2 (en) * 2009-11-20 2013-02-12 At&T Intellectual Property I, Lp Apparatus and method for collaborative network in an enterprise setting
US8832233B1 (en) * 2011-07-20 2014-09-09 Google Inc. Experience sharing for conveying communication status

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090083637A1 (en) 2007-09-07 2009-03-26 Jens Skakkebaek Method and System for Online Collaboration

Also Published As

Publication number Publication date
US9307293B2 (en) 2016-04-05
KR20130135099A (ko) 2013-12-10
EP2670158A2 (en) 2013-12-04
US20130325970A1 (en) 2013-12-05
EP2670158A3 (en) 2014-05-14

Similar Documents

Publication Publication Date Title
KR101928266B1 (ko) 원격 서비스를 위한 협력 비디오 애플리케이션
US11271805B2 (en) Persistent network resource and virtual area associations for realtime collaboration
US7499075B2 (en) Video conference choreographer
US20140320529A1 (en) View steering in a combined virtual augmented reality system
CN109962833B (zh) 即时通讯客户端上会话的创建方法及装置
US8495496B2 (en) Computer method and system automatically providing context to a participant's question in a web conference
US10715344B2 (en) Method of establishing a video call using multiple mobile communication devices
US20220156030A1 (en) Interactive display synchronisation
CN111918080B (zh) 一种直播授课的处理方法及装置
CN112866619B (zh) 一种远程会议控制方法、装置、电子设备及存储介质
US20190158786A1 (en) Video conference system and video conference method
US20220303501A1 (en) Multi-User Interaction Slates for Improved Video Conferencing
US20130300818A1 (en) Interactive video platform system and method for the same
CN108900794B (zh) 用于远程会议的方法和装置
EP2974288B1 (en) Generating an image stream
Niwa et al. A collaborative web presentation support system using an existing presentation software
JP2014225148A (ja) 画像表示システム
JP6436762B2 (ja) 情報処理装置およびサービス提供方法
US11968476B2 (en) Virtual environment streaming to a video communications platform
CN117119216B (zh) 一种直播解说的方法、系统以及直播系统的使用方法
US20240098123A1 (en) Presentation of Remotely Accessible Content for Optimizing Teleconference Resource Utilization
EP3796661A1 (en) Media pipeline system for dynamic responsive visualization of video streams
WO2019122440A1 (en) System and method for capturing and visualizing a 3d scene in real-time
JP2018207341A (ja) 分析支援システム、分析支援方法、および分析支援プログラム

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant