KR20160146973A - 흥미 알고리즘을 이용한 시청각 통신을 위한 기술 - Google Patents

흥미 알고리즘을 이용한 시청각 통신을 위한 기술 Download PDF

Info

Publication number
KR20160146973A
KR20160146973A KR1020167032912A KR20167032912A KR20160146973A KR 20160146973 A KR20160146973 A KR 20160146973A KR 1020167032912 A KR1020167032912 A KR 1020167032912A KR 20167032912 A KR20167032912 A KR 20167032912A KR 20160146973 A KR20160146973 A KR 20160146973A
Authority
KR
South Korea
Prior art keywords
audiovisual
presenter
stream
interest
server
Prior art date
Application number
KR1020167032912A
Other languages
English (en)
Other versions
KR101825569B1 (ko
Inventor
시갈 로치하임
오메르 벤-샬롬
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20160146973A publication Critical patent/KR20160146973A/ko
Application granted granted Critical
Publication of KR101825569B1 publication Critical patent/KR101825569B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G06K9/00335—
    • G06K9/00711—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

시청각 통신용 기술은, 시청각 서버 및 프리젠터 디바이스 및 다수의 청중 디바이스를 포함하는 다수의 시청각 클라이언트 디바이스를 포함한다. 각각의 청중 디바이스는 시청각 스트림을 캡처하고 시청각 스트림을 시청각 서버에 송신한다. 각각의 청중 디바이스는 또한 눈 추적 데이터 또는 얼굴 표정 데이터와 같은 센서 입력 데이터를 캡처하고, 요약된 센서 입력 데이터를 시청각 서버에 송신한다. 요약된 센서 입력 데이터는 캡처된 시청각 스트림에 기초할 수 있다. 시청각 서버는 센서 입력 데이터에 기초하여 각각의 청중 디바이스와 연관된 흥미 레이팅을 결정하고, 흥미 레이팅에 기초하여 하나 이상의 시청각 스트림을 선택한다. 시청각 서버는 선택된 시청각 스트림을 프리젠터 디바이스에 송신한다. 시청각 서버는 프리젠터 디바이스 또는 청중 디바이스로부터의 피드백에 기초하여 흥미 레이팅 알고리즘을 업데이트할 수 있다. 다른 실시예가 설명되며 청구된다.

Description

흥미 알고리즘을 이용한 시청각 통신을 위한 기술{TECHNOLOGIES FOR AUDIOVISUAL COMMUNICATION USING INTERESTINGNESS ALGORITHMS}
(관련 미국 특허 출원에 대한 상호-참조)
본 출원은 2014년 6월 27일 출원된, 발명의 명칭이"TECHNOLOGIES FOR AUDIOVISUAL COMMUNICATION USING INTERESTINGNESS ALGORITHMS"인 미국 유틸리티 특허 출원 제14/317,607호를 우선권으로 주장한다.
비디오 원격회의는, 전세계에 분산된 개인이 함께 작업하고, 학습하며, 소셜활동(socialize)하는 것을 가능하게 하는, 현대 컴퓨팅 디바이스용의 대중적인 애플리케이션이다. 오디오 또는 텍스트 통신 기술에 비해, 비디오 통신은 시각적 큐 및 다른 중요한 인간 상호작용에 대해 더 나은 기회를 제공할 수 있다. 통상적인 비디오 원격회의 시스템은 송신된 신호의 오디오 레벨에 기초하여 원격회의의 어느 파티(party)가 말하고 있는지 여부를 식별할 수 있다. 파티를 디스플레이할 때, 화자는 확대되거나 혹은 강조되고, 원격회의의 다른 파티는 균일하게 디스플레이되거나 혹은 덜 강조된다. 프리젠테이션과 같이 매우 많은 참가자가 있는 원격회의의 경우, 화자 이외의 다른 각각의 파티는 상세히 보거나, 또는 다른 방식으로 상호작용하는 것이 어려울 수 있다.
흥미(interestingness)는 데이터 마이닝(data mining) 및 지식 발견의 분야에서 이용되는 개념이다. 대량의 데이터를 프로세싱하는 것은, 데이터 마이닝 알고리즘을 적용해서 데이터 내에서 패턴을 식별해 내는 것, 및 식별된 것 중에서 "흥미로운" 패턴에만 추가의 분석을 포커싱하는 것을 수반할 수 있다. 흥미는 이에 따라, 데이터 내에서 식별된 패턴 중 어느 것이 흥미로운지에 관한 측정(measure)이다. 특히, 흥미 측정은 데이터 세트에 관하여 특정 패턴의 관련성, 정확도 또는 대표성을 나타낼 수 있다. 흥미를 측정하기 위한 다양한 기술 및 알고리즘은 Sigal Sahar, 흥미 측정 : 데이터 마이닝 및 지식 발견 핸드북(Data Mining and Knowledge Discovery Handbook)(Oded Maimon & Lior Rokach 저서, 2차 에디션, 2010)에서, 무엇이 흥미로운지에 관한 결정(On Determining What Is Interesting)에서 찾을 수 있다.
본원에서 설명되는 개념은 첨부 도면에서 제한이 아니라 예로서 도시되어 있다. 예시의 단순함 및 명확성을 위해, 도면에서 구성 요소가 반드시 실제 축척으로 도시된 것은 아니다. 적절하다고 고려되는 경우, 전체 도면에서, 대응하거나 유사한 구성 요소는 같은 참조 번호를 반복해서 사용했다.
도 1은 시청각 통신을 위한 시스템의 적어도 하나의 실시예의 개략 블록도이다.
도 2는, 도 1의 시스템에 의해 설정될 수 있는 다양한 환경의 적어도 하나의 실시예의 개략 블록도이다.
도 3은, 도 1 및 도 2의 시청각 클라이언트 디바이스에 의해 실행될 수 있는, 시청각 스트림을 캡처하고 디스플레이하기 위한 방법의 적어도 하나의 실시예의 개략 흐름도이다.
도 4는, 도 1 및 도 2의 시청각 서버에 의해 실행될 수 있는, 시청각 스트림을 분석, 선택 및 송신하기 위한 방법의 적어도 하나의 실시예의 개략 흐름도이다.
본 개시의 개념에 다양한 변형 및 대안적인 형태가 있을 수 있지만, 본 개시의 특정한 실시예가 도면에서 예로서 도시되며, 본원에서 상세히 설명될 것이다. 그러나 본 개시의 개념을 이러한 개시된 특정 형태로 제한하고자 하는 것이 아니며, 오히려, 본 개시 및 첨부된 청구항에 부합하는 모든 변형, 등가물 및 대안을 커버하고자 했다는 것을 이해할 것이다.
명세서에서 "일 실시예", "실시예", "예시적인 실시예" 등을 참조한다는 것은, 설명되는 실시예가 특정한 특징, 구조, 또는 특성을 포함하더라도, 각각의 모든 실시예가 그 특정한 특징, 구조 및 특성을 포함할 수 있거나, 또는 반드시 포함할 필요가 없다는 것을 나타낸다. 또한, 이러한 구문은 반드시 동일한 실시예를 지칭하는 것은 아니다. 추가로, 특정한 특징, 구조, 또는 특성이 실시예와 함께 설명될 때, 이는 명시적으로 설명되든지 안되든지 간에, 다른 실시예와 함께 이러한 특징, 구조 또는 특성을 달성하도록 당업자의 지식 내에 있다고 고려된다. 부가적으로, "적어도 하나의 A, B 및 C"의 형태로 나열되어 포함된 항목은 (A); (B); (C): (A 및 B); (B 및 C); 또는 (A, B, 및 C)를 의미할 수 있다는 것이 인지되어야 한다. 유사하게, "A, B 또는 C 중 적어도 하나"의 형태로 나열된 항목은 (A); (B); (C): (A 및 B); (B 및 C); 또는 (A, B, 및 C)를 의미할 수 있다.
개시된 실시예는, 일부 경우에서, 하드웨어, 펌웨어, 소프트웨어 또는 이들의 임의의 조합으로 구현될 수 있다. 개시된 실시예는 또한, 하나 이상의 프로세서에 의해 판독되고 실행될 수 있는 일시적인 또는 비-일시적인 머신-판독 가능(예를 들어, 컴퓨터-판독 가능) 저장 매체 상에 저장되거나 그에 의해 전달되는 명령어로서 구현될 수 있다. 머신-판독 가능 저장 매체는, 머신에 의해 판독 가능한 형태(예를 들어, 휘발성 또는 비휘발성 메모리, 미디어 디스크, 또는 다른 미디어 디바이스)로 정보를 저장하거나 송신하기 위한 임의의 저장 디바이스, 메커니즘 또는 다른 물리적 구조로서 실현될 수 있다.
도면에서, 일부 구조적 또는 방법 특징은 특정 어레인지먼트(arrangement) 및/또는 순서로 도시될 수 있다. 그러나 이러한 특정 어레인지먼트 및/또는 순서가 필요없을 수도 있다는 것을 이해할 것이다. 오히려, 일부 실시예에서, 이러한 특징은 예시적 도면에서 도시된 것과 상이한 방식 및/또는 순서로 배열될 수 있다. 부가적으로, 특정 도면에 구조적인 특징 또는 방법적인 특징을 포함한다고 해서, 이러한 특징이 모든 실시예에서 필요하다는 것은 아니며, 일부 실시예에서는, 포함되지 않을 수도 있거나 혹은 다른 특징과 결합될 수도 있다는 것을 나타낸다.
도 1을 참조하면, 예시적인 실시예에서, 비디오 회의를 위한 시스템(100)은 네트워크(110) 상에서 통신 가능한 다수의 시청각 클라이언트 디바이스(102) 및 시청각 서버(108)를 포함한다. 시청각 클라이언트 디바이스(102)는 또한 역할에 따라 시청각 프리젠터 디바이스(104) 및 다수의 시청각 청중 디바이스(106)로 분류될 수 있다. 이용시에, 이하 설명하는 바와 같이, 시청각 클라이언트 디바이스(102) 각각은 시청각 스트림을 캡처해서 이를 시청각 서버(108)에 송신한다. 시청각 클라이언트 디바이스(102) 각각은 또한 센서 입력 데이터를 캡처하고 센서 입력 데이터를 시청각 서버(108)에 송신한다. 시청각 서버(108)는 시청각 청중 디바이스(106) 각각에 들어오는 센서 입력 데이터에 기초한 흥미 레이팅(interestingness rating)을 생성하고 높은 흥미 레이팅을 갖는 시청각 청중 디바이스(106)에 대응하는 하나 이상의 시청각 스트림을 선택한다. 시청각 서버(108)는 선택된 시청각 스트림을 시청각 프리젠터 디바이스(104)에 송신한다. 시청각 서버(108)는 시청각 프리젠터 디바이스(104) 및/또는 시청각 청중 디바이스(106)로부터 수신된 센서 입력 데이터에 기초하여 흥미 레이팅 알고리즘을 정제하거나 또는 다른 방식으로 개선할 수 있다. 일부 실시예에서, 시청각 서버(108)는 시청각 프리젠터 디바이스(104)로부터 수신된 시청각 스트림을 시청각 청중 디바이스(106) 각각에 송신할 수 있다.
[0014] 따라서, 시청각 프리젠터 디바이스(104)는 비교적 소수의 흥미있는 시청각 청중 디바이스(106)로부터의 시청각 스트림을 디스플레이할 수 있어서, 프리젠터가 이 청중 멤버를 더 상세히 보는 것을 허용한다. 따라서, 프리젠터는 일부 청중 멤버에 의해 디스플레이되는 시각적 및/또는 다른 비언어적 큐를 인식하고 프리젠테이션을 상응하게 조정할 수 있다. 예를 들어, 프리젠터는 청중 정서를 보다 쉽게 판단하고, 관여 또는 비관여 청중 멤버를 식별하거나, 또는 다르게는, 프리젠테이션의 품질을 개선할 수 있을수도 있다.
각각의 시청각 클라이언트 디바이스(102)는 본원에서 설명되는 기능을 수행하기 위한 임의의 타입의 디바이스로서 실현될 수 있다. 예를 들어, 각각의 시청각 클라이언트 디바이스(102)는, 제한 없이, 스마트폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 노트북 컴퓨터, 모바일 컴퓨팅 디바이스, 웨어러블 컴퓨팅 디바이스, 셀룰러 전화, 핸드셋, 메시징 디바이스, 차량 텔레매틱스 디바이스(vehicle telematics device), 서버 컴퓨터, 데스크톱 컴퓨터, 워크스테이션, 분산된 컴퓨팅 시스템, 멀티프로세서 시스템, 소비자 전자 디바이스, 및/또는 본원에서 설명되는 기능을 수행하도록 구성된 임의의 다른 컴퓨팅 디바이스로서 실현될 수 있다. 예시적인 시청각 클라이언트 디바이스(102)는 프로세서(120), 입력/출력 서브시스템(122), 메모리(124) 및 데이터 저장 디바이스(126)를 포함한다. 물론, 각각의 시청각 클라이언트 디바이스(102)는 다른 실시예에서, 컴퓨터에서 흔히 발견되는 컴포넌트(예를 들어, 다양한 입력/출력 디바이스)와 같은 다른 또는 부가적인 컴포넌트를 포함할 수 있다. 부가적으로, 일부 실시예에서, 예시적인 컴포넌트 중 하나 이상은 다른 컴포넌트의 부분에 통합되거나, 또는 그렇지 않으면 그 부분을 형성할 수 있다. 예를 들어, 메모리(124), 또는 그 부분은 일부 실시예에서, 프로세서(120)에 통합될 수 있다.
프로세서(120)는 본원에서 설명되는 기능을 수행할 수 있는 임의의 타입의 프로세서로서 실현될 수 있다. 예를 들어, 프로세서(120)는 단일 또는 다중-코어 프로세서(들), 디지털 신호 프로세서, 마이크로제어기, 또는 다른 프로세서 또는 프로세싱/제어 회로로서 실현될 수 있다. 유사하게, 메모리(124)는 본원에서 설명되는 기능을 수행할 수 있는 임의의 타입의 휘발성 또는 비-휘발성 메모리 또는 데이터 저장소로서 실현될 수 있다. 동작에서, 메모리(124)는 운영체제, 애플리케이션, 프로그램, 라이브러리 및 드라이버와 같이 시청각 클라이언트 디바이스(102)의 동작 동안 이용되는 다양한 데이터 및 소프트웨어를 저장할 수 있다. 메모리(124)는, 프로세서(120), 메모리(124) 및 시청각 클라이언트 디바이스(102)의 다른 컴포넌트와의 입력/출력 동작을 용이하게 하도록 회로 및/또는 컴포넌트로서 실현될 수 있는 I/O 서브시스템(122)을 통해 프로세서(120)에 통신 가능하게 커플링된다. 예를 들어, I/O 서브시스템(122)은 메모리 제어기 허브, 입력/출력 제어 허브, 펌웨어 디바이스, 통신 링크(즉, 점대점 링크, 버스 링크, 와이어, 케이블, 도파관, 인쇄 회로 보드 트레이스 등) 및/또는 입력/출력 동작을 용이하게 하기 위한 다른 컴포넌트 및 서브시스템으로서 실현되거나, 또는 다르게는, 이를 포함할 수 있다. 일부 실시예에서, I/O 서브시스템(122)은 SOC(system-on-a-chip)의 부분을 형성하고 단일 집적 회로 칩 상에서 프로세서(120), 메모리(124) 및 시청각 클라이언트 디바이스(102)의 다른 컴포넌트와 함께 통합될 수 있다.
데이터 저장 디바이스(126)는 예를 들어, 메모리 디바이스 및 회로, 메모리 카드, 하드 디스크 드라이브, 고상 드라이브, 또는 다른 데이터 저장 디바이스와 같이 데이터의 장기 또는 단기 저장을 위해 구성된 임의의 타입의 디바이스 또는 디바이스로서 실현될 수 있다. 데이터 저장 디바이스(126)는 시청각 클라이언트 디바이스(102)에 의해 캡처된 시청각 데이터 또는 센서 입력 데이터, 또는 시청각 클라이언트 디바이스(102)에 의해 프리젠팅될 시청각 데이터를 저장할 수 있다.
각각의 시청각 클라이언트 디바이스(102)는 추가로, 시청각 클라이언트 디바이스(102), 시청각 서버(108), 및/또는 다른 원격 디바이스 간의 통신을 가능케 할 수 있는 임의의 통신 회로, 디바이스 또는 이의 모음으로서 실현될 수 있는 통신 회로(128)를 포함한다. 통신 회로(128)는 이러한 통신을 달성하기 위해 임의의 하나 이상의 통신 기술(예를 들어, 무선 또는 유선 통신) 및 연관된 프로토콜(예를 들어, 이더넷, Bluetooth®, Wi-Fi®, WiMax 등)을 이용하도록 구성될 수 있다. 통신 회로(128)는 무선 네트워크 어댑터를 포함하는 네트워크 어댑터로서 실현될 수 있다.
예시적인 실시예에서, 각각의 시청각 클라이언트 디바이스(102)는 추가로, 디스플레이(130), 오디오 디바이스(132), 오디오 입력(134), 카메라(136), 및 다수의 센서(138)를 포함한다. 시청각 클라이언트 디바이스(102)의 디스플레이(130)는 액정 디스플레이(LCD), 발광 다이오드(LED), 플라스마 디스플레이, 음극선관(CRT), 또는 다른 타입의 디스플레이 디바이스와 같이 디지털 정보를 디스플레이할 수 있는 임의의 타입의 디스플레이로서 실현될 수 있다. 일부 실시예에서, 디스플레이(130)는 시청각 클라이언트 디바이스(102)와의 사용자 상호작용을 허용하기 위해 터치 스크린에 커플링될 수 있다. 오디오 디바이스(132)는, 페이퍼 콘 스피커(paper cone speaker), 오디오 트랜스듀서, 오디오 출력 잭, 디지털-투-아날로그 변환기(DAC), 또는 다른 타입의 오디오 디바이스와 같이 출력을 위해 오디오 신호를 생성할 수 있는 임의의 디바이스로서 실현될 수 있다.
오디오 입력(134)은 마이크로폰, 라인 입력 잭 및 연관된 회로, 아날로그-투-디지털 변환기(ADC), 또는 다른 타입의 오디오 센서와 같이 오디오 신호를 캡처할 수 있는 임의의 센서로서 실현될 수 있다. 카메라(136)는 시청각 클라이언트 디바이스(102)와 통합되거나, 또는 다르게는 거기에 통신 가능하게 커플링되는 디지털 카메라 또는 다른 디지털 이미징 디바이스로서 실현될 수 있다. 카메라(136)는, 능동-픽셀 센서(APS), 예를 들어, 상보적 금속-산화물-반도체(CMOS) 센서, 또는 전하-커플링된 디바이스(CCD)와 같은 전자 이미지 센서를 포함한다. 카메라(136)는 일부 실시예에서, 시청각 클라이언트 디바이스(102)의 사용자를 캡처하는 것을 비롯해서 시청각 클라이언트 디바이스(102)의 환경의 정지(still) 또는 비디오 이미지를 캡처하는데 이용될 수 있다. 예를 들어, 시청각 프리젠터 디바이스(104)의 카메라(136)는 프리젠터를 캡처할 수 있고, 각각의 시청각 청중 디바이스(106)의 카메라(136)는 청중 멤버를 캡처할 수 있다. 따라서, 일부 실시예에서, 오디오 입력(134) 및 카메라(136)는 비디오 회의에 적합한 시청각 스트림을 캡처하기 위해 협력할 수 있다.
센서(138)는 시청각 클라이언트 디바이스(102)의 환경을 나타내는 센서 입력 데이터를 생성할 수 있다. 이에 따라, 센서(138)는 사용자의 주목 레벨, 존재, 또는 시청각 클라이언트 디바이스(102)와의 관여의 다른 표시를 비롯해서, 시청각 클라이언트 디바이스(102)의 사용자의 상태에 관한 센서 입력 데이터를 검출할 수 있을 수 있다. 일부 실시예에서, 센서(138)는 오디오 입력(134) 및/또는 카메라(136)와 같이 시청각 클라이언트 디바이스(102)의 다른 컴포넌트를 포함하고, 이에 커플링되거나, 또는 이로서 실현될 수 있다. 일부 실시예에서, 센서(138)는 눈 추적 센서(140) 및 얼굴 표정 센서(142)를 포함할 수 있다. 부가적으로 또는 대안적으로, 센서(138)는 웨어러블 디바이스, 생체측정 디바이스, 또는 사용자의 상태를 측정할 수 있는 다른 디바이스를 포함할 수 있다.
눈 추적 센서(140)는 사용자의 시선이 향하는 방향을 결정할 수 있는 임의의 하나 이상의 능동 또는 수동 센서로서 실현될 수 있다. 예를 들어, 일부 실시예에서, 눈 추적 센서(140)는 시간에 걸친 시청자의 눈의 이동을 추적하기 위해 능동 적외선 이미터 또는 적외선 검출기를 이용할 수 있다. 눈 추적 센서(140)는 시청자의 눈의 다양한 내부 및 외부 특징에서 반사되는 적외선 광을 캡처하고 그리하여 시청자의 시선의 방향을 계산할 수 있다. 다른 실시예에서, 눈 추적 센서(140)는 사용자의 눈의 움직임을 레코딩할 수 있는 비디오 카메라로서 실현될 수 있다. 일부 실시예에서, 눈 추적 센서(140)는 추적 정확도를 개선하기 위해 사용자의 양 눈에 대한 눈 추적 데이터를 수집할 수 있다. 이 실시예에서, 눈 추적 센서(140)는 사용자의 양 눈을 추적하기 위해 하나 초과의 능동 또는 수동 센서 컴포넌트를 이용할 수 있다. 부가적으로 또는 대안적으로, 일부 실시예에서, 눈 추적 센서(140)는 사용자의 눈이 포커싱되는 거리와 함께 사용자의 눈의 시선 방향 둘 다를 추적하는 3-차원 눈 추적을 수행할 수 있다. 예를 들어, 눈 추적 센서(140)는 사용자의 양 눈에 대한 시야각을 결정하여, 객체에 대한 거리가 계산되도록 허용할 수 있다.
일부 실시예에서, 센서(138)는 얼굴 표정 센서(142)를 포함할 수 있다. 얼굴 표정 센서(142)는 시청각 클라이언트 디바이스(102)의 사용자의 얼굴 표정을 검출하고 분류할 수 있다. 예를 들어, 얼굴 표정 센서(142)는 얼굴 표정을 결정하기 위해 카메라(136) 및/또는 다른 센서(138)로부터의 데이터를 분석할 수 있다. 얼굴 표정 센서(142)는 하드웨어, 펌웨어, 소프트웨어, 또는 얼굴 표정을 분석할 수 있는 시청각 클라이언트 디바이스(102)의 임의의 다른 컴포넌트로서 실현될 수 있다. 부가적으로 또는 대안적으로, 센서(138)는 눈 추적 센서(140) 및/또는 얼굴 표정 센서(142)를 보충하거나 대체하기 위한 다른 센서를 포함할 수 있다. 예를 들어, 센서(138)는, 예를 들어, 일부 실시예에서 검출된 얼굴 표정과 관련하여 사용자의 기분을 결정하는 것을 돕는데 이용될 수 있는 온도 센서를 포함할 수 있다.
시청각 서버(108)는 본원에서 설명된 바와 같이 시청각 스트림을 프로세싱하기 위한 임의의 타입의 디바이스로서 실현될 수 있다. 예를 들어, 시청각 서버(108)는, 제한 없이, 서버 컴퓨터, 워크스테이션, 데스크톱 컴퓨터, 스마트폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 노트북 컴퓨터, 모바일 컴퓨팅 디바이스, 셀룰러 전화, 핸드셋, 메시징 디바이스, 차량 텔레매틱스 디바이스, 분산된 컴퓨팅 시스템, 멀티프로세서 시스템, 소비자 전자 디바이스, 및/또는 본원에서 설명되는 기능을 수행하도록 구성된 임의의 다른 컴퓨팅 디바이스로서 실현될 수 있다. 추가로, 시청각 서버(108)는 단일 서버 컴퓨팅 디바이스, 또는 서버 및 연관된 디바이스의 모음으로서 실현될 수 있다. 예를 들어, 일부 실시예에서, 시청각 서버(108)는 본원에서 설명되는 기능을 수행하도록 클라우드 서비스로서 실현된다. 이러한 실시예에서, 시청각 서버(108)는 공개 또는 사설 클라우드에서 동작하고 네트워크(110)를 통해 분산되는 다수의 컴퓨팅 디바이스로부터 형성되는 "가상 서버"로서 실현된다. 이에 따라, 시청각 서버(108)가 단일 서버 컴퓨팅 디바이스로서 실현되는 것으로서 도 1에서 예시되고 아래에서 설명되지만, 시청각 서버(108)는 아래에서 설명된 기능성을 용이하게 하도록 함께 협력하는 다수의 디바이스로서 실현될 수 있다는 것이 인지되어야 한다.
도 1에서 도시된 바와 같이, 예시적인 시청각 서버(108)는, 프로세서(180), I/O 서브시스템(182), 메모리(184), 데이터 저장소(186), 통신 회로(188) 및 다양한 주변 디바이스와 같이 시청각 클라이언트 디바이스(102)와 유사한 컴포넌트 및 특징을 포함할 수 있다. 시청각 서버(108)의 이 개별 컴포넌트는 각각의 시청각 클라이언트 디바이스(102)의 대응하는 컴포넌트와 유사할 수 있으며, 그 설명은 시청각 서버(108)의 대응하는 컴포넌트에 대해 응용 가능하고, 본 설명의 명확성을 위해 반복되지 않는다.
이제 도 2를 참조하면, 일부 실시예에서, 각각의 시청각 클라이언트 디바이스(102)는 동작 동안 환경(200)을 설정한다. 예시적인 환경(200)은 시청각 캡처 모듈(202), 센서 제어 모듈(206), 및 디스플레이 모듈(210)을 포함한다. 일부 실시예에서, 환경(200)은 또한 아래에서 설명된 흥미 모듈(224)을 포함할 수 있다. 환경(200)의 다양한 모듈은 하드웨어, 펌웨어, 소프트웨어 또는 이의 결합으로서 실현될 수 있다.
시청각 캡처 모듈(202)은 하나 이상의 시청각 스트림을 캡처하도록 구성된다. 예를 들어, 시청각 캡처 모듈(202)은 시청각 클라이언트 디바이스(102)의 사용자의 비디오 스트림을 레코딩하기 위해 카메라(136) 및 오디오 입력(134)을 이용할 수 있다. 시청각 스트림은 아래에서 설명되는 바와 같이, 센서 제어 모듈(206) 및 시청각 서버(108)에 제공된다. 일부 실시예에서, 시청각 캡처 모듈(202)은 시청각 스트림을 줌(zoom)하거나 또는 다르게는, 포커싱하도록 구성될 수 있다. 아래에서 설명되는 바와 같이, 시청각 클라이언트 디바이스(102)는 시청각 서버(108)로부터 특정한 주제로 시청각 스트림을 포커싱하도록 하는 명령어를 수신할 수 있다. 일부 실시예에서, 이 기능은 서브-모듈에 의해, 예를 들어, 줌 제어 모듈(204)에 의해 수행될 수 있다.
센서 제어 모듈(206)은 센서(138)로부터 센서 입력 데이터를 캡처하고 캡처된 센서 입력 데이터를 분석하고 레귤레이팅(regulate)하도록 구성된다. 센서 제어 모듈(206)은 또한 시청각 캡처 모듈(202)로부터 캡처된 시청각 스트림을 캡처하고, 상관시키고 또는 다르게는, 수신할 수 있다. 센서 제어 모듈(206)은 부가적인 분석을 위해 이용될 수 있는 포맷으로 센서 입력 데이터를 필터링하고, 프로세싱하거나, 또는 다르게는, 변환할 수 있다. 예를 들어, 센서 제어 모듈(206)은 추가의 분석에 적합한 더 높은 레벨의 요약(abstraction)의 센서 데이터를 생성할 수 있다. 레귤레이팅된 센서 입력 데이터는 시청각 서버(108) 및/또는 일부 실시예에서, 시청각 클라이언트 디바이스(102)의 흥미 모듈(224)에 제공될 수 있다. 일부 실시예에서, 센서 제어 모듈(206)은 특정 주제로 포커싱하도록 센서(138) 및/또는 시청각 캡처 모듈(202)을 포커싱, 안내, 또는 다르게는 지향하도록 구성될 수 있다. 아래에서 설명되는 바와 같이, 시청각 클라이언트 디바이스(102)는 시청각 서버(108)로부터 특정한 주제로 센서 입력 데이터를 포커싱하도록 하는 명령어를 수신할 수 있다. 일부 실시예에서, 이 기능은 서브-모듈에 의해, 예를 들어, 센서 안내 모듈(208)에 의해 수행될 수 있다.
디스플레이 모듈(210)은 시청각 서버(108)로부터 하나 이상의 선택된 시청각 스트림을 수신하고 선택된 시청각 스트림을 디스플레이하도록 구성된다. 시청각 스트림은 아래에서 설명되는 바와 같이, 시청각 서버(108) 및/또는 시청각 클라이언트 디바이스(102)의 흥미 모듈(224)에 의해 결정된 흥미 레이팅에 기초하여 선택될 수 있다. 선택된 특정한 시청각 스트림은 각각의 시청각 클라이언트 디바이스(102)의 역할에 의존할 수 있는데; 예를 들어, 시청각 청중 디바이스(106)는 시청각 프리젠터 디바이스(104)로부터 시청각 스트림을 각각 수신할 수 있고, 시청각 프리젠터 디바이스(104)는 높은 흥미 레이팅을 갖는 시청각 청중 디바이스(106)로부터 하나 이상의 시청각 스트림을 수신할 수 있다.
도 2를 계속 참조하여, 일부 실시예에서, 시청각 서버(108)는 동작 동안 환경(220)을 설정한다. 예시적인 환경(220)은 믹서 모듈(222) 및 흥미 모듈(224)을 포함한다. 환경(220)의 다양한 모듈은 하드웨어, 펌웨어, 소프트웨어 또는 이의 결합으로서 실현될 수 있다.
흥미 모듈(224)은 연관된 센서 입력 데이터 및/또는 시청각 스트림에 기초하여 시청각 클라이언트 디바이스(102)와 연관된 흥미 레이팅을 결정하도록 구성된다. 일부 실시예에서, 흥미 레이팅은 시청각 프리젠터 디바이스(104)가 아니라, 시청각 청중 디바이스(106)에 대해 결정될 수 있다. 흥미 레이팅은 연관된 시청각 스트림의 관련성, 정확도 또는 대표성의 표시를 제공할 수 있다. 흥미 모듈(224)은 추가로, 흥미에 기초하여 시청각 클라이언트 디바이스(102)의 순위를 결정하도록 구성된다. 부가적으로, 흥미 모듈(224)은 시청각 클라이언트 디바이스(102)로부터 수신된 피드백에 기초하여 흥미 알고리즘을 업데이트하도록 구성된다. 흥미 모듈(224)은 흥미 알고리즘을 업데이트하는데 이용될 수 있는 흥미 이력 데이터(232)를 유지할 수 있다. 일부 실시예에서, 이 기능은 하나 이상의 서브-모듈에 의해, 예를 들어, 레이팅 모듈(226), 순위 결정 모듈(228), 또는 피드백 모듈(230)에 의해 수행될 수 있다.
위에서 설명된 바와 같이, 일부 실시예에서, 환경(200)은 또한 흥미 모듈(224) 및/또는 흥미 이력 데이터(232)를 포함할 수 있다. 이 실시예에서, 흥미 모듈(224)은 환경(200) 및 환경(220) 둘 다에서 동일한 기능을 수행할 수 있다. 부가적으로 또는 대안적으로, 흥미 모듈(224)의 기능은 환경(200)과 환경(220) 간에 부분적으로 또는 완전히 공유되거나, 또는 다르게는 분산될 수 있다.
믹서 모듈(222)은 시청각 클라이언트 디바이스(102)로부터 시청각 스트림을 수신하도록 구성된다. 믹서 모듈(222)은 또한, 흥미 레이팅에 기초하여 시청각 클라이언트 디바이스(102) 각각에 대한 하나 이상의 시청각 스트림을 선택하고 선택된 시청각 스트림을 적절한 시청각 클라이언트 디바이스(102)에 송신하도록 구성된다. 예를 들어, 믹서 모듈(222)은 시청각 프리젠터 디바이스(104)로부터 수신된 시청각 스트림을 시청각 청중 디바이스(106) 각각에 송신할 수 있고, 높은 흥미 레이팅을 갖는 시청각 청중 디바이스(106)로부터 수신된 하나 이상의 시청각 스트림을 시청각 프리젠터 디바이스(104)에 송신할 수 있다.
이제 도 3을 참조하면, 이용에 있어서, 각각의 시청각 클라이언트 디바이스(102)는 시청각 통신을 위한 방법(300)을 실행할 수 있다. 방법(300)은 시청각 프리젠터 디바이스(104) 또는 임의의 시청각 청중 디바이스(106) 중 어느 하나에 의해 수행될 수 있다. 방법(300)의 다양한 프로세스는 일부 실시예에서 상이한 순서로 수행될 수 있다. 방법(300)은 시청각 클라이언트 디바이스(102)가 시청각 입력 스트림을 캡처하는 블록(302)에서 시작한다. 시청각 스트림은 네트워크 송신 및/또는 디스플레이에 적합한 임의의 포맷으로 실현될 수 있다. 시청각 스트림은 카메라(136) 및 오디오 입력(134)을 이용하여 캡처될 수 있다. 일부 실시예에서, 블록(304)에서, 시청각 클라이언트 디바이스(102)는 시청각 서버(108)로부터 수신된 명령어에 기초한 주제로 포커싱할 수 있다. 시청각 클라이언트 디바이스(102)는 특정된 주제에 관하여 캡처된 시청각 스트림을 포커싱하고, 지향하거나, 또는 다르게는, 그의 품질을 개선하도록 임의의 기술을 수행할 수 있다. 예를 들어, 시청각 클라이언트 디바이스(102)는 캡처된 시청각 스트림의 품질을 증대 또는 개선하기 위해 식별된 스피커 쪽으로 카메라(136)를 포커싱, 줌 또는 다르게는 지향할 수 있다.
블록(306)에서, 시청각 클라이언트 디바이스(102)는 캡처된 시청각 입력 스트림을 시청각 서버(108)에 송신한다. 아래에서 설명되는 바와 같이, 시청각 입력 스트림은 추가로, 하나 이상의 다른 시청각 클라이언트 디바이스(102)에 송신될 수 있다. 일부 실시예에서, 시청각 클라이언트 디바이스(102)는 부가적인 또는 대안적인 시청각 스트림을 송신할 수 있다. 예를 들어, 시청각 프리젠터 디바이스(104)는 또한, 슬라이드쇼, 스크린 캡처, 프리젠테이션 노트, 또는 다른 보충 콘텐츠를 시청각 서버(108)에 송신할 수 있다.
블록(308)에서, 시청각 클라이언트 디바이스(102)는 센서(138)를 이용하여 센서 입력 데이터를 캡처한다. 센서 입력 데이터는 시청각 클라이언트 디바이스(102)의 사용자(예를 들어, 프리젠터 또는 청중 멤버) 또는 일부 실시예에서, 시청각 클라이언트 디바이스(102)의 일반 환경(예를 들어, 배경 노이즈)의 상태를 나타낼 수 있다. 예를 들어, 센서 입력 데이터는, 사용자가 웃고 있는지 여부와 같은 사용자의 얼굴 표정, 사용자와 연관된 눈 추적 정보, 사용자의 감정 반응, 또는 사용자의 상태의 임의의 다른 파라미터를 나타낼 수 있다. 부가적으로 또는 대안적으로, 일부 실시예에서, 시청각 클라이언트 디바이스(102)는 모두 동일한 시청각 클라이언트 디바이스(102)를 이용하는 몇 명의 사용자의 상태를 나타내는 센서 데이터를 캡처할 수 있다. 일부 실시예에서, 블록(310)에서, 시청각 클라이언트 디바이스(102)는 눈 추적 센서(140)로부터 눈 추적 센서 데이터를 캡처할 수 있다. 눈 추적 센서 데이터는 사용자의 시선의 방향을 나타낼 수 있다. 예를 들어, 눈 추적 센서 데이터는 사용자의 시선이 디스플레이(130)의 특정한 지점 및 이에 따라 그 지점에서 디스플레이되는 특정한 시청각 스트림을 향한다고 나타낼 수 있다. 부가적으로 또는 대안적으로, 눈 추적 센서 데이터는 사용자의 시선이 디스플레이(130)를 향하거나 또는 다른 어딘가를 향하는지 여부를 나타낼 수 있다. 일부 실시예에서, 블록(312)에서, 시청각 클라이언트 디바이스(102)는 얼굴 표정 센서(142)를 이용하여 얼굴 표정 데이터를 캡처할 수 있다. 물론, 일부 실시예에서, 시청각 클라이언트 디바이스(102)는 별도의 얼굴 표정 센서(142)를 이용함 없이 카메라(136)를 이용하여 얼굴 표정 데이터를 캡처할 수 있다. 일부 실시예에서, 블록(314)에서, 시청각 클라이언트 디바이스(102)는 사용자의 대화에 관한 억양 및/또는 피치(pitch) 정보를 캡처할 수 있다. 시청각 클라이언트 디바이스(102)는 오디오 입력(134) 또는 임의의 다른 오디오 입력 및 프로세싱 컴포넌트를 이용하여 억양 및/또는 피치 정보를 캡처할 수 있다. 일부 실시예에서, 블록(316)에서, 시청각 클라이언트 디바이스(102)는 온도 데이터를 캡처할 수 있다. 온도 레벨은 시청각 클라이언트 디바이스(102)의 사용자의 온도를 나타낼 수 있고, 이에 따라 사용자의 기분, 경각심, 또는 다른 속성을 또한 나타낼 수 있다. 온도 데이터는 온도 센서, 열 이미저, 생체측정 디바이스 또는 온도를 결정할 수 있는 임의의 다른 디바이스를 이용하여 캡처될 수 있다.
일부 실시예에서, 블록(318)에서, 시청각 클라이언트 디바이스(102)는 시청각 서버(108)로부터 수신된 명령어에 기초한 주제로 센서(138)를 포커싱할 수 있다. 시청각 입력 스트림을 포커싱하는 것과 유사하게, 시청각 클라이언트 디바이스(102)는 특정된 주제에 관하여 센서 입력 데이터를 포커싱하고, 지향하거나, 또는 다르게는 그의 품질을 개선하도록 임의의 기술을 수행할 수 있다. 예를 들어, 시청각 클라이언트 디바이스(102)는 센서 입력 데이터의 품질을 증대 또는 개선하기 위해 식별된 스피커 쪽으로 눈 추적 센서(140)를 포커싱, 줌 또는 다르게는 지향할 수 있다.
센서 입력 데이터를 캡처한 이후, 블록(320)에서, 시청각 클라이언트 디바이스(102)는 센서 입력 데이터를 분석하고 요약할 수 있다. 시청각 클라이언트 디바이스(102)는 아래에서 설명되는 바와 같이, 시청각 서버(108)에 의해 이용될 수 있는 요약된 센서 입력 데이터로 센서 입력 데이터를 필터링, 프로세싱 또는 다르게는 변환할 수 있다. 요약된 센서 입력 데이터는 크기 면에서 더 작고, 더 높은 입도로, 또는 더 높은 레벨의 요약의 센서 입력 데이터의 표현으로서 실현될 수 있다. 예를 들어, 일부 실시예에서, 시청각 클라이언트 디바이스(102)는 미가공 센서 입력 데이터를 프로세싱하고 추가의 분석에 적합한 더 높은 레벨의 요약의 센서 데이터를 생성할 수 있다. 예를 들어, 시청각 클라이언트 디바이스(102)는 고-주파수 눈 이동을 제거하기 위해 눈 추적 센서 데이터를 평활화(smooth)하거나 또는 다르게는 필터링할 수 있다. 일부 실시예에서, 시청각 클라이언트 디바이스(102)는 얼굴 표정을 나타내는 데이터, 예를 들어, 얼굴 표정의 기호적 표현(예를 들어, 웃기, 찌푸리기, 혼란, 호기심 등) 또는 사용자의 얼굴 특징의 위치를 설명하는 데이터를 생성하도록 미가공 비디오 데이터를 프로세싱할 수 있다.
블록(322)에서, 시청각 클라이언트 디바이스(102)는 아래에서 추가로 설명되는 바와 같이, 분석을 위해 시청각 서버(108)에 레귤레이팅된 센서 입력 데이터를 송신한다. 일부 실시예에서, 아래에서 설명되는 바와 같이, 센서 입력 데이터는 시청각 클라이언트 디바이스(102)와 연관된 흥미 레벨을 결정하도록 시청각 서버(108)에 의해 이용될 수 있다. 예를 들어, 시청각 서버(108)는 시청각 청중 디바이스(106)로부터 수신된 센서 입력 데이터를 분석해서 흥미 순서로 시청각 청중 디바이스(106)의 순위를 결정할 수 있다. 부가적으로 또는 대안적으로, 일부 실시예에서, 센서 입력 데이터는 그의 흥미 알고리즘을 개선하기 위한 피드백으로서 시청각 서버(108)에 의해 이용될 수 있다. 다른 예로서, 시청각 서버(108)는 사용자의 주목 레벨이 각각의 선택된 시청각 스트림에 할당된 흥미 순위 결정에 부합하는지 여부를 결정하도록 시청각 프리젠터 디바이스(104)로부터 수신된 센서 입력 데이터를 분석할 수 있다.
블록(324)에서, 시청각 클라이언트 디바이스(102)는 시청각 서버(108)로부터 하나 이상의 선택된 시청각 스트림을 수신한다. 시청각 스트림 각각은 상이한 시청각 클라이언트 디바이스(102)로부터 발생할 수 있다. 예를 들어, 시청각 프리젠터 디바이스(104)는 비교적 높은 흥미 레이팅을 갖는 시청각 청중 디바이스(106)에 대응하는 하나 이상의 시청각 스트림을 수신할 수 있다. 이에 따라, 각각의 시청각 청중 디바이스(106)는 시청각 프리젠터 디바이스(104)로부터 발생된 시청각 스트림을 수신할 수 있다. 일부 실시예에서, 선택된 시청각 스트림은 시청각 프리젠터 디바이스(104)로부터 발생한 몇 개의 시청각 스트림(예를 들어, 비디오 피드, 슬라이드쇼 스트림, 스크린 캡처 스트림, 프리젠테이션 노트, 또는 다른 대안적인 시청각 스트림) 중 하나일 수 있다.
블록(326)에서, 시청각 클라이언트 디바이스(102)는 디스플레이(130) 상에 선택된 시청각 스트림을 디스플레이한다. 시청각 클라이언트 디바이스(102)는 시청각 스트림을 타일링(tiling)하고, 시청각 스트림을 케스케이딩(cascading)하거나, 또는 시청각 스트림을 순차적으로 디스플레이하는 것을 포함하는 임의의 적합한 포맷으로 시청각 스트림을 디스플레이할 수 있다. 일부 실시예에서, 블록(328)에서, 시청각 클라이언트 디바이스(102)는 시청각 스트림과 연관된 흥미 레이팅의 표시 및/또는 그의 연관된 시청각 클라이언트 디바이스(102)를 디스플레이할 수 있다. 예를 들어, 시청각 클라이언트 디바이스(102)는 시청각 스트림 상에서 바코드, 컬러-코딩 또는 수치 디스플레이와 같은 흥미의 시각적 표시자를 중첩할 수 있다. 다른 예로서, 시청각 클라이언트 디바이스(102)는 흥미에 기초하여, 예를 들어, 디스플레이(130)의 중앙에 또는 최대 크기로 가장 흥미있는 시청각 스트림을 디스플레이함으로써 특정한 시청각 스트림을 강조할 수 있다. 선택된 시청각 스트림을 디스플레이한 이후, 방법(300)은 시청각 스트림을 계속 캡처하도록 블록(302)으로 루프 백(loop back)한다.
이제 도 4를 참조하면, 이용에 있어서, 시청각 서버(108)는 시청각 통신을 위한 방법(400)을 실행할 수 있다. 방법(400)은, 시청각 서버(108)가 시청각 클라이언트 디바이스(102) 각각에 의해 캡처되는 시청각 스트림을 수신하는 블록(402)에서 시작한다. 시청각 스트림은 예를 들어, 시청각 클라이언트 디바이스(102)의 오디오 입력(134) 및 카메라(136)에 의해 캡처된 비디오 피드를 포함할 수 있다. 부가적으로 또는 대안적으로, 시청각 서버(108)는 시청각 클라이언트 디바이스(102)로부터 부가적인 또는 대안적인 시청각 스트림을 수신할 수 있다. 예를 들어, 시청각 서버(108)는 또한, 시청각 프리젠터 디바이스(104)로부터 슬라이드쇼, 스크린 캡처, 프리젠테이션 노트, 또는 다른 보충 콘텐츠를 수신할 수 있다.
블록(404)에서, 시청각 서버(108)는 각각의 시청각 클라이언트 디바이스(102)의 센서 제어 모듈(206)로부터 센서 입력 데이터를 수신한다. 위에서 설명된 바와 같이, 센서 입력 데이터는 눈 추적 데이터, 얼굴 표정 데이터, 억양 또는 피치 데이터, 온도 데이터, 또는 시청각 클라이언트 디바이스(102)의 사용자 또는 시청각 클라이언트 디바이스(102)의 환경을 나타내는 임의의 다른 센서 데이터를 포함할 수 있다.
블록(406)에서, 시청각 서버(108)는 시청각 청중 디바이스(106) 각각과 연관된 흥미 값을 레이팅할 수 있다. 흥미 값은, 시청각 프리젠터 디바이스(104)의 사용자에 대해 시청각 청중 디바이스(106)와 연관된 특정한 시청각 스트림이 얼마나 흥미로운지 예측한 것을 나타낼 수 있다. 흥미 값은 이에 따라, 특정한 시청각 청중 디바이스(106)의 정확도, 관련성 또는 대표성의 결정을 나타낼 수 있다. 예를 들어, 높은 흥미 값은 연관된 청중 멤버가 주목하고, 흥분하고, 또는 다르게는 프린젠터와 관여됨을 나타낼 수 있고, 낮은 흥미 값은 청중 멤버가 주목하지 않고, 부재중이거나, 또는 다르게는 관여되지 않음을 나타낼 수 있다. 다른 예로서, 높은 흥미 값은, 청중 멤버가 다른 청중 멤버를 고도로 대표한다는 것을 나타낼 수 있다(즉, 청중 멤버는 다수의 다른 청중 멤버와 동일한 레벨의 관여를 디스플레이함). 또 다른 예로서, 흥미 값은 시청각 스트림이 프리젠테이션에 적절한지를 나타낼 수 있다(예를 들어, 시끄러운 배경 노이즈를 포함하는 시청각 스트림은 적절하지 않을 수 있음). 부가적으로 또는 대안적으로, 시청각 서버(108)는 단일 시청각 청중 디바이스(106)를 이용하여 다수의 청중 멤버에 대한 흥미 값을 결정할 수 있다. 시청각 서버(108)는 주관적 흥미 알고리즘, 객관적 흥미 알고리즘, 공정한 흥미 알고리즘, 또는 임의의 다른 흥미 알고리즘을 비롯해서, 흥미 값을 결정하기 위한 임의의 흥미 알고리즘을 이용할 수 있다.
일부 실시예에서, 블록(408)에서, 시청각 서버(108)는 흥미 분석을 개선하기 위해 센서 입력 데이터를 포커싱하도록 하나 이상의 시청각 클라이언트 디바이스(102)에 명령어를 송신할 수 있다. 예를 들어, 시청각 서버(108)는 특정한 흥미 값과 연관된 신뢰도 레벨이 낮다고 또는 다르게는, 흥미 값이 더 양호한 센서 입력 데이터로 개선될 수 있다고 결정할 수 있다. 센서 입력 데이터가 개선되는 경우, 시청각 서버(108)는 센서 입력을 포커싱하기 위한 명령어를 생성할 수 있다.
시청각 서버(108) 상에서 발생하는 것으로서 예시되었지만, 일부 실시예에서, 흥미 레이팅은 하나 이상의 시청각 클라이언트 디바이스(102) 상에서 부분적으로 또는 전체적으로 생성될 수 있다. 예를 들어, 각각의 시청각 클라이언트 디바이스(102)는 전체적으로 또는 부분적으로, 그 자신의 흥미 레이팅을 결정하고 그 흥미 레이팅(또는 부분적 흥미 레이팅)을 시청각 서버(108)에 제출할 수 있다.
블록(410)에서, 시청각 서버(108)는 그의 연관된 흥미 레이팅에 의해 시청각 청중 디바이스(106)의 순위를 결정할 수 있다. 시청각 서버(108)는 임의의 적절한 순위를 이용할 수 있다. 예를 들어, 시청각 서버(108)는, 상향 또는 하향 순서로 시청각 청중 디바이스(106)의 순위를 결정할 수 있다.
블록(412)에서, 시청각 서버(108)는 연관된 흥미 레이팅에 기초하여 각각의 시청각 클라이언트 디바이스(102)로의 송신을 위해 하나 이상의 시청각 스트림을 선택한다. 일부 실시예에서, 블록(414)에서, 시청각 서버(108)는 시청각 프리젠터 디바이스(104)로의 송신을 위해 가장 높은 순위의 시청각 청중 디바이스(106)와 연관된 하나 이상의 시청각 스트림을 선택할 수 있다. 흥미 레이팅의 순위가 가장 높은 시청각 청중 디바이스(106)를 선택하는 것은 프리젠터가 시청각 청중 디바이스(106)로부터 가장 정확한, 적절한 또는 대표적인 시청각 스트림을 보도록 허용할 수 있다. 부가적으로 또는 대안적으로, 일부 실시예에서, 시청각 서버(108)는 최저-순위 시청각 청중 디바이스(106)(도시되지 않음)와 연관되는 하나 이상의 시청각 스트림을 선택할 수 있다. 예를 들어, 최저 흥미 레이팅을 갖는 시청각 청중 디바이스(106)를 선택하는 것은, 혼란되고, 주목되지 않거나, 또는 다르게는 프리젠테이션과 관여되지 않은 청중 멤버를 강사가 모니터링하도록 허용할 수 있다.
일부 실시예에서, 블록(416)에서, 시청각 서버(108)는 시청각 청중 디바이스(106) 각각과 연관된 흥미 레이팅에 기초하여 프리젠터 스트림을 선택할 수 있다. 예를 들어, 위에서 논의된 바와 같이, 시청각 청중 디바이스(106)와 연관된 흥미 레이팅은 청중 멤버가 혼란되거나, 주목하지 않거나, 또는 관여되지 않았음을 나타낼 수 있다. 이 상황에서, 시청각 서버(108)는 시청각 청중 디바이스(106)로의 송신을 위해 대안적인 또는 보충적인 프리젠터 스트림(예를 들어, 슬라이드쇼, 스크린 캡처, 프리젠테이션 노트 또는 다른 스트림)을 선택할 수 있다.
블록(418)에서, 시청각 서버(108)는 선택된 시청각 스트림을 시청각 클라이언트 디바이스(102) 각각에 송신한다. 위에서 설명된 바와 같이, 시청각 서버(108)는 흥미 레이팅의 순위가 가장 높은 시청각 청중 디바이스(106)와 연관되는 시청각 프리젠터 디바이스(104)에 하나 이상의 시청각 스트림을 송신할 수 있다. 추가로, 시청각 서버(108)는 시청각 프리젠터 디바이스(104)로부터의 하나 이상의 시청각 스트림을 시청각 청중 디바이스(106) 각각에 송신할 수 있다.
블록(420)에서, 시청각 서버(108)는 시청각 클라이언트 디바이스(102)로부터 수신된 피드백에 기초하여 흥미 레이팅 알고리즘을 업데이트한다. 시청각 서버(108)는 흥미 레이팅 알고리즘을 업데이트하는데 있어 이용하기 위해 이전의 흥미 순위 및 연관된 센서 입력 데이터를 포함하는 이력적 흥미 데이터를 저장할 수 있다.
블록(422)에서, 시청각 서버(108)는 프리젠터와 연관된 이력적 흥미 데이터에 기초하여 흥미 알고리즘을 업데이트한다. 시청각 서버(108)는, 프리젠터가 흥미 알고리즘에 의해 결정된 흥미 레이팅에 동의하는지 여부를 결정하기 위해 시청각 프리젠터 디바이스(104)로부터 발생한 시청각 스트림 및/또는 센서 입력 데이터를 분석할 수 있다. 일부 실시예에서, 블록(424)에서, 시청각 서버(108)는 각각의 선택된 A/V 스트림과 연관된 프리젠터의 주목 레벨(attention level)을 결정할 수 있다. 예를 들어, 시청각 서버(108)는 선택된 시청각 스트림에 자신의 시선을 프리젠터가 향하게 했는지 여부를 결정하도록 시청각 프리젠터 디바이스(104)로부터 눈 추적 센서 데이터를 분석할 수 있다. 다음으로, 블록(426)에서, 이 실시예에서, 시청각 서버(108)는 결정된 프리젠터 주목 레벨을 각각의 선택된 시청각 스트림과 연관된 흥미 순위와 비교할 수 있다. 예를 들어, 시청각 서버(108)는, 프리젠터가 주로 특정한 시청각 스트림에 자신의 시선을 포커싱했지만, 특정한 시청각 스트림은 다른 시청각 스트림보다 순위가 더 낮다고 결정할 수 있다. 시청각 서버(108)는 이 비교 결과에 기초하여 흥미 레이팅 알고리즘을 업데이트할 수 있다.
블록(428)에서, 시청각 서버(108)는 청중 멤버와 연관된 이력적 흥미 데이터에 기초하여 흥미 알고리즘을 업데이트한다. 예를 들어, 흥미 알고리즘은 특정 얼굴 표정, 제스처, 억양 또는 피치 정보, 또는 시청각 청중 디바이스(106)로부터 수신된 다른 센서 입력 데이터에 기초하여 조정될 수 있다. 이력적 청중 데이터에 기초하여 흥미 알고리즘을 업데이트하는 것은, 흥미와 연관된 특징(예를 들어, 얼굴 표정, 제스처, 눈 포커스 패턴 등)이 자동으로 또는 불시에(emergently) 식별되도록 허용할 수 있다. 부가적으로 또는 대안적으로, 이력적 청중 데이터에 기초하여 흥미 알고리즘을 업데이트하는 것은 청중 문화 또는 구성의 차이를 참작할 수 있다(예를 들어, 상이한 국가로부터의 청중 간의 문화적 차이에 적응시킴).
일부 실시예에서, 블록(430)에서, 시청각 서버(108)는 다른 통신 세션으로부터 발생한 이력적 프리젠터 및/또는 청중 데이터에 기초하여 흥미 알고리즘을 업데이트할 수 있다. 시청각 서버(108)는 동일한 프리젠터 및/또는 청중 멤버를 수반하는 이전의 통신 세션과 연관되는 데이터에 기초하여 흥미 알고리즘을 업데이트할 수 있다. 부가적으로 또는 대안적으로, 시청각 서버(108)는 현재 프리젠터 및/또는 청중 멤버를 수반하지 않는 세션을 포함하는 임의의 이전의 통신 세션과 연관되는 데이터에 기초하여 흥미 알고리즘을 업데이트할 수 있다. 흥미 레이팅 알고리즘을 업데이트한 이후, 방법(400)은 시청각 클라이언트 디바이스(102)로부터 시청각 스트림을 계속 수신하도록 블록(402)으로 루프 백한다.
예
본원에서 개시된 기술의 예시적인 예가 아래에서 제공된다. 기술의 실시예는 아래에서 설명되는 예 중 임의의 하나 이상 또는 그의 임의의 조합을 포함할 수 있다.
예 1은 시청각 통신용 시청각 서버를 포함하며, 시청각 서버는 복수의 시청각 청중 디바이스로부터 복수의 시청각 스트림을 수신하는 믹서 모듈 - 시청각 스트림 각각은 대응하는 시청각 청중 디바이스에 의해 캡처됨 - ; 및 복수의 시청각 청중 디바이스 각각으로부터 센서 입력 데이터를 수신하는 흥미(interestingness) 모듈을 포함하고, 센서 입력 데이터는 대응하는 시청각 청중 디바이스의 사용자의 상태를 나타내고, 흥미 모듈은, 흥미 알고리즘을 이용하여, 센서 입력 데이터에 기초하여 각각의 시청각 청중 디바이스와 연관된 흥미 레이팅을 결정하고; 그리고 각각의 시청각 클라이언트 디바이스와 연관된 흥미 레이팅에 기초하여 복수의 시청각 스트림 중의 시청각 스트림을 선택하고, 믹서 모듈은 또한, 선택된 시청각 스트림을 시청각 프리젠터 디바이스에 송신한다.
예 2는 예 1의 청구 대상을 포함하며, 흥미 모듈은 또한, 연관된 흥미 레이팅에 기초하여 복수의 시청각 청중 디바이스의 순위를 결정하고, 시청각 스트림을 선택하는 것은 흥미 레이팅이 가장 높은 시청각 청중 디바이스에 의해 캡처된 시청각 스트림을 선택하는 것을 포함한다.
예 3은 예 1 및 예 2 중 어느 하나의 청구 대상을 포함하며, 흥미 레이팅은 각각의 시청각 청중 디바이스와 연관된 정확도 값, 관련성 값, 또는 대표성 값(representativeness value)을 포함한다.
도 4는 예 1 내지 3 중 어느 하나의 청구 대상을 포함하며, 흥미 레이팅은 시청각 청중 디바이스의 사용자의 관여 레벨(engagement level)을 나타낸다.
예 5는 예 1 내지 4 중 어느 하나의 청구 대상을 포함하며, 센서 입력 데이터는 눈 추적 데이터, 얼굴 표정 데이터, 음성 피치 데이터, 음성 억양 데이터, 또는 온도 데이터를 포함한다.
예 6은 예 1 내지 5 중 어느 하나의 청구 대상을 포함하며, 흥미 모듈은 또한, 사용자의 상태의 특정한 파라미터를 포커싱함으로써 대응하는 시청각 청중 디바이스의 흥미 레이팅의 정확도가 개선될 수 있는지 여부를 결정하고; 그리고 흥미 레이팅의 정확도가 개선될 수 있다고 결정된 것에 응답해서, 사용자의 특정한 파라미터로 센서 입력 데이터를 포커싱하도록 대응하는 시청각 청중 디바이스에 명령어를 송신한다.
예 7은 예 1 내지 6 중 어느 하나의 청구 대상을 포함하며, 흥미 모듈은 또한 흥미 레이팅에 기초하여 흥미 알고리즘을 업데이트한다.
예 8은 예 1 내지 7 중 어느 하나의 청구 대상을 포함하며, 흥미 알고리즘을 업데이트하는 것은 시청각 프리젠터 디바이스로부터 센서 입력 데이터를 수신하는 것 - 센서 입력 데이터는 시청각 프리젠터 디바이스의 물리적 환경을 나타냄 - ; 및 시청각 프리젠터 디바이스로부터 수신된 센서 입력 데이터에 기초하여 흥미 알고리즘을 업데이트하는 것을 포함한다.
예 9는 예 1 내지 8 중 어느 하나의 청구 대상을 포함하며, 흥미 모듈은 또한, 각각의 시청각 클라이언트 디바이스와 연관된 흥미 레이팅에 기초하여 복수의 시청각 스트림 중의 제2 시청각 스트림을 선택하고; 믹서 모듈은 또한, 제2 시청각 스트림을 시청각 프리젠터 클라이언트 디바이스에 송신하고, 흥미 알고리즘을 업데이트하는 것은 선택된 시청각 스트림 및 제2 시청각 스트림 각각과 연관된 프리젠터 주목 레벨(presenter attention level)을 결정하는 것 - 프리젠터 주목 레벨은 시청각 프리젠터 디바이스로부터 수신된 센서 입력 데이터에 기초함 - ; 선택된 시청각 스트림 및 제2 시청각 스트림 각각과 연관된 프리젠터 주목 레벨을 각각의 시청각 클라이언트 디바이스와 연관된 흥미 레이팅에 비교하는 것; 그리고 프리젠터 주목 레벨과 흥미 레이팅 간의 비교 결과에 기초하여 흥미 알고리즘을 업데이트하는 것을 포함한다.
예 10은 예 1 내지 9 중 어느 하나의 청구 대상을 포함하며, 흥미 알고리즘을 업데이트하는 것은 또한, 복수의 시청각 청중 디바이스 각각으로부터 수신된 센서 입력 데이터에 기초하여 흥미 알고리즘을 업데이트하는 것을 포함한다.
예 11은 예 1 내지 10 중 어느 하나의 청구 대상을 포함하며, 흥미 알고리즘을 업데이트하는 것은 다른 시청각 통신 세션과 연관된 흥미 레이팅에 기초하여 흥미 알고리즘을 업데이트하는 것을 포함한다.
예 12는 예 1 내지 11 중 어느 하나의 청구 대상을 포함하며, 다른 시청각 통신 세션은 시청각 프리젠터 디바이스의 이전의 시청각 통신 세션을 포함한다.
예 13은 예 1 내지 12 중 어느 하나의 청구 대상을 포함하며, 믹서 모듈은 또한, 시청각 프리젠터 디바이스로부터 프리젠터 시청각 스트림을 수신하고; 그리고 복수의 시청각 청중 디바이스에 프리젠터 시청각 스트림을 송신한다.
예 14는 예 1 내지 13 중 어느 하나의 청구 대상을 포함하며, 프리젠터 시청각 스트림은 시청각 프리젠터 디바이스에 의해 캡처된다.
예 15는 예 1 내지 14 중 어느 하나의 청구 대상을 포함하며, 믹서 모듈은 또한, 시청각 프리젠터 디바이스로부터 복수의 프리젠터 시청각 스트림을 수신하고, 복수의 프리젠터 시청각 스트림은 프리젠터 시청각 스트림을 포함하고; 그리고 흥미 모듈은 또한, 흥미 알고리즘을 이용하여, 센서 입력 데이터에 기초하여 각각의 프리젠터 시청각 스트림 디바이스와 연관된 프리젠터 흥미 레이팅을 결정하고; 그리고 각각의 프리젠터 시청각 스트림과 연관된 프리젠터 흥미 레이팅에 기초하여 복수의 프리젠터 시청각 스트림 중의 프리젠터 시청각 스트림을 선택한다.
예 16은 예 1 내지 15 중 어느 하나의 청구 대상을 포함하며, 믹서 모듈은 또한 선택된 시청각 스트림과 연관된 흥미 레이팅을 시청각 프리젠터 디바이스에 송신한다.
예 17은 시청각 통신용 시청각 클라이언트 디바이스를 포함하며, 시청각 클라이언트 디바이스는 (i) 시청각 입력 스트림을 캡처하고, (ⅱ) 시청각 입력 스트림을 시청각 서버에 송신하는 시청각 캡처 모듈; 및 (i) 시청각 클라이언트 디바이스의 사용자의 상태를 나타내는 센서 입력 데이터를 캡처하고, (ⅱ) 센서 입력 데이터를 분석해서 센서 입력 데이터를 대표하는 요약된 센서 입력 데이터를 생성하며, (ⅲ) 요약된 센서 입력 데이터를 시청각 서버에 송신하는 센서 제어 모듈을 포함한다.
예 18은 예 17의 청구 대상을 포함하며, 시청각 클라이언트 디바이스는 시청각 청중 디바이스를 포함하고; 센서 제어 모듈은 또한, (i) 시청각 서버로부터 센서 입력 데이터를 포커싱하는 명령어를 수신하고, 그리고 (ⅱ) 명령어를 수신한 것에 응답해서 센서 입력 데이터를 포커싱한다.
예 19는 예 17 및 예 18 중 어느 하나의 청구 대상을 포함하며, 센서 입력 데이터는 시청각 클라이언트 디바이스의 사용자의 관여 레벨을 나타낸다.
예 20은 예 17 내지 19 중 어느 하나의 청구 대상을 포함하며, 센서 입력 데이터는 눈 추적 센서 데이터, 얼굴 표정 센서 데이터, 억양 피치 센서 데이터 또는 온도 데이터를 포함한다.
예 21은 예 17 내지 20 중 어느 하나의 청구 대상을 포함하며, 시청각 클라이언트 디바이스는 시청각 프리젠터 디바이스를 포함하고, 시청각 프리젠터 디바이스는 또한, 디스플레이 모듈을 포함하고, 이 디스플레이 모듈은, 시청각 서버로부터 시청각 스트림을 수신하고 - 시청각 스트림은 시청각 청중 디바이스로부터 발생하고, 시청각 청중 디바이스와 연관된 흥미 값에 기초하여 선택됨 - ; 및 시청각 스트림을 디스플레이한다.
예 22는 예 17 내지 21 중 어느 하나의 청구 대상을 포함하며, 시청각 스트림을 디스플레이하는 것은 또한, 시청각 스트림의 시청각 청중 디바이스와 연관된 흥미 값의 표시를 디스플레이하는 것을 포함한다.
예 23은 예 17 내지 22 중 어느 하나의 청구 대상을 포함하며, 흥미 알고리즘을 이용하여 시청각 청중 디바이스와 연관된 흥미 레이팅을 결정하는 흥미 모듈을 더 포함한다.
예 24는 예 17 내지 23 중 어느 하나의 청구 대상을 포함하며, 흥미 모듈은 또한 요약된 센서 입력 데이터에 기초하여 흥미 알고리즘을 업데이트한다.
예 25는 예 17 내지 24 중 어느 하나의 청구 대상을 포함하며, 디스플레이 모듈은 또한, 시청각 서버로부터 제2 시청각 스트림을 수신하고, 제2 시청각 스트림은 제2 시청각 청중 디바이스로부터 발생하고, 제2 시청각 청중 디바이스와 연관된 흥미 값에 기초하여 선택되고; 그리고 흥미 알고리즘을 업데이트하는 것은 선택된 시청각 스트림 및 제2 시청각 스트림 각각과 연관된 프리젠터 주목 레벨을 결정하는 것 - 프리젠터 주목 레벨은 요약된 센서 입력 데이터에 기초함 - ; 시청각 스트림 및 제2 시청각 스트림 각각과 연관된 프리젠터 주목 레벨을 각각의 시청각 청중 디바이스와 연관된 흥미 레이팅에 비교하는 것; 그리고 프리젠터 주목 레벨과 흥미 레이팅 간의 비교 결과에 기초하여 흥미 알고리즘을 업데이트하는 것을 포함한다.
예 26은 시청각 통신용 방법을 포함하며, 이 방법은, 시청각 서버가, 복수의 시청각 청중 디바이스로부터 복수의 시청각 스트림을 수신하는 단계 - 각각의 시청각 스트림은 대응하는 시청각 청중 디바이스에 의해 캡처됨 - ; 시청각 서버가, 복수의 시청각 청중 디바이스 각각으로부터 센서 입력 데이터를 수신하는 단계 - 센서 입력 데이터는 대응하는 시청각 청중 디바이스의 사용자의 상태를 나타냄 - ; 흥미 알고리즘을 이용하는 시청각 서버가, 센서 입력 데이터에 기초하여 각각의 시청각 청중 디바이스와 연관된 흥미 레이팅을 결정하는 단계; 시청각 서버가, 각각의 시청각 클라이언트 디바이스와 연관된 흥미 레이팅에 기초하여 복수의 시청각 스트림 중의 시청각 스트림을 선택하는 단계; 및 시청각 서버가, 선택된 시청각 스트림을 시청각 프리젠터 디바이스에 송신하는 단계를 포함한다.
예 27은 예 26의 청구 대상을 포함하며, 시청각 서버가, 연관된 흥미 레이팅에 기초하여 복수의 시청각 청중 디바이스의 순위를 결정하는 단계를 더 포함하며, 시청각 스트림을 선택하는 단계는 흥미 레이팅이 가장 높은 시청각 청중 디바이스에 의해 캡처된 시청각 스트림을 선택하는 단계를 포함한다.
예 28은 예 26 및 예 27 중 어느 하나의 청구 대상을 포함하며, 흥미 레이팅을 결정하는 단계는 각각의 시청각 청중 디바이스와 연관된 정확도 값, 관련성 값, 또는 대표성 값을 결정하는 단계를 포함한다.
예 29는 예 26 내지 28 중 어느 하나의 청구 대상을 포함하며, 흥미 레이팅을 결정하는 단계는 시청각 청중 디바이스의 사용자의 관여 레벨을 나타내는 흥미 레이팅을 결정하는 단계를 포함한다.
예 30은 예 26 내지 29 중 어느 하나의 청구 대상을 포함하며, 센서 입력 데이터를 수신하는 단계는, 시청각 클라이언트 디바이스로부터 눈 추적 데이터, 얼굴 표정 데이터, 음성 피치 데이터, 음성 억양 데이터, 또는 온도 데이터를 수신하는 단계를 포함한다.
예 31은 예 26 내지 30 중 어느 하나의 청구 대상을 포함하며, 시청각 서버가, 사용자의 상태의 특정한 파라미터를 포커싱함으로써 대응하는 시청각 청중 디바이스의 흥미 레이팅의 정확도가 개선될 수 있는지 여부를 결정하는 단계; 및 시청각 서버가, 흥미 레이팅의 정확도가 개선될 수 있다고 결정된 것에 응답해서, 사용자의 특정한 파라미터로 센서 입력 데이터를 포커싱하도록 시청각 청중 디바이스에 명령어를 송신하는 단계를 더 포함한다.
예 32는 예 26 내지 31 중 어느 하나의 청구 대상을 포함하며, 시청각 서버가, 흥미 레이팅에 기초하여 흥미 알고리즘을 업데이트하는 단계를 더 포함한다.
예 33은 예 26 내지 32 중 어느 하나의 청구 대상을 포함하며, 흥미 알고리즘을 업데이트하는 단계는 시청각 서버가, 시청각 프리젠터 디바이스로부터 센서 입력 데이터를 수신하는 단계 - 센서 입력 데이터는 시청각 프리젠터 디바이스의 물리적 환경을 나타냄 - ; 및 시청각 프리젠터 디바이스로부터 수신된 센서 입력 데이터에 기초하여 흥미 알고리즘을 업데이트하는 단계를 포함한다.
예 34는 예 26 내지 33 중 어느 하나의 청구 대상을 포함하며, 시청각 서버가, 각각의 시청각 클라이언트 디바이스와 연관된 흥미 레이팅에 기초하여 복수의 시청각 스트림 중의 제2 시청각 스트림을 선택하는 단계; 및 시청각 서버가, 제2 시청각 스트림을 시청각 프리젠터 클라이언트 디바이스에 송신하는 단계를 더 포함하고, 흥미 알고리즘을 업데이트하는 단계는 선택된 시청각 스트림 및 제2 시청각 스트림 각각과 연관된 프리젠터 주목 레벨을 결정하는 단계 - 프리젠터 주목 레벨은 시청각 프리젠터 디바이스로부터 수신된 센서 입력 데이터에 기초함 - ; 선택된 시청각 스트림 및 제2 시청각 스트림 각각과 연관된 프리젠터 주목 레벨을 각각의 시청각 클라이언트 디바이스와 연관된 흥미 레이팅에 비교하는 단계; 및 프리젠터 주목 레벨과 흥미 레이팅의 비교 결과에 기초하여 흥미 알고리즘을 업데이트하는 단계를 포함한다.
예 35는 예 26 내지 34 중 어느 하나의 청구 대상을 포함하며, 흥미 알고리즘을 업데이트하는 단계는 또한, 복수의 시청각 청중 디바이스 각각으로부터 수신된 센서 입력 데이터에 기초하여 흥미 알고리즘을 업데이트하는 단계를 포함한다.
예 36은 예 26 내지 35 중 어느 하나의 청구 대상을 포함하며, 흥미 알고리즘을 업데이트하는 단계는 다른 시청각 통신 세션과 연관된 흥미 레이팅에 기초하여 흥미 알고리즘을 업데이트하는 단계를 포함한다.
예 37은 예 26 내지 36 중 어느 하나의 청구 대상을 포함하며, 다른 시청각 통신 세션은 시청각 프리젠터 디바이스의 이전의 시청각 통신 세션을 포함한다.
예 38은 예 26 내지 37 중 어느 하나의 청구 대상을 포함하며, 시청각 서버가, 시청각 프리젠터 디바이스로부터 프리젠터 시청각 스트림을 수신하는 단계; 및 시청각 서버가, 복수의 시청각 청중 디바이스에 프리젠터 시청각 스트림을 송신하는 단계를 더 포함한다.
예 39는 예 26 내지 38 중 어느 하나의 청구 대상을 포함하며, 프리젠터 시청각 스트림을 수신하는 단계는 시청각 프리젠터 디바이스에 의해 캡처된 프리젠터 시청각 스트림을 수신하는 단계를 포함한다.
예 40은 예 26 내지 39 중 어느 하나의 청구 대상을 포함하며, 시청각 서버가, 시청각 프리젠터 디바이스로부터 복수의 프리젠터 시청각 스트림을 수신하는 단계 - 복수의 프리젠터 시청각 스트림은 프리젠터 시청각 스트림을 포함함 - ; 시청각 서버가, 흥미 알고리즘을 이용하여, 센서 입력 데이터에 기초하여 각각의 프리젠터 시청각 스트림 디바이스와 연관된 프리젠터 흥미 레이팅을 결정하는 단계; 및 시청각 서버가, 각각의 프리젠터 시청각 스트림과 연관된 프리젠터 흥미 레이팅에 기초하여 복수의 프리젠터 시청각 스트림 중의 프리젠터 시청각 스트림을 선택하는 단계를 더 포함한다.
예 41은 예 26 내지 40 중 어느 하나의 청구 대상을 포함하며, 시청각 서버가, 선택된 시청각 스트림과 연관된 흥미 레이팅을 시청각 프리젠터 디바이스에 송신하는 단계를 더 포함한다.
예 42는 시청각 통신용 방법을 포함하며, 이 방법은 시청각 클라이언트 디바이스가, 시청각 입력 스트림을 캡처하는 단계; 시청각 클라이언트 디바이스가, 시청각 입력 스트림을 시청각 서버에 송신하는 단계; 시청각 청중 디바이스가, 시청각 클라이언트 디바이스의 사용자의 상태를 나타내는 센서 입력 데이터를 캡처하는 단계; 시청각 클라이언트 디바이스가, 센서 입력 데이터를 분석해서 센서 입력 데이터를 대표하는 요약된 센서 입력 데이터를 생성하는 단계; 및 시청각 클라이언트 디바이스가, 요약된 센서 입력 데이터를 시청각 서버에 송신하는 단계를 포함한다.
예 43은 예 42의 청구 대상을 포함하며, 시청각 클라이언트 디바이스는 시청각 청중 디바이스를 포함하고, 이 방법은, 시청각 청중 디바이스가, 시청각 서버로부터 센서 입력 데이터를 포커싱하는 명령어를 수신하는 단계; 및 시청각 청중 디바이스가, 명령어를 수신한 것에 응답해서 센서 입력 데이터를 포커싱하는 단계를 더 포함한다.
예 44는 예 42 및 예 43 중 어느 하나의 청구 대상을 포함하며, 센서 데이터를 캡처하는 단계는 시청각 청중 디바이스의 사용자의 관여 레벨을 나타내는 센서 데이터를 캡처하는 단계를 포함한다.
예 45는 예 42 내지 44 중 어느 하나의 청구 대상을 포함하며, 센서 입력 데이터를 캡처하는 단계는 눈 추적 센서 데이터, 얼굴 표정 센서 데이터, 억양 피치 센서 데이터 또는 온도 데이터를 캡처하는 단계를 포함한다.
예 46은 예 42 내지 45 중 어느 하나의 청구 대상을 포함하며, 시청각 클라이언트 디바이스는 시청각 프리젠터 디바이스를 포함하고, 이 방법은 시청각 프리젠터 디바이스가, 시청각 서버로부터 시청각 스트림을 수신하는 단계 - 시청각 스트림은 시청각 청중 디바이스로부터 발생하고, 시청각 청중 디바이스와 연관된 흥미 값에 기초하여 선택됨 - ; 및 시청각 프리젠터 디바이스에 의해 시청각 스트림을 디스플레이하는 단계를 더 포함한다.
예 47은 예 42 내지 46 중 어느 하나의 청구 대상을 포함하며, 시청각 스트림을 디스플레이하는 단계는 또한, 시청각 스트림의 시청각 청중 디바이스와 연관된 흥미 값의 표시를 디스플레이하는 단계를 포함한다.
예 48은 예 42 내지 47 중 어느 하나의 청구 대상을 포함하며, 시청각 프리젠터 디바이스가, 흥미 알고리즘을 이용하여 시청각 청중 디바이스와 연관된 흥미 레이팅을 결정하는 단계를 더 포함한다.
예 49는 예 42 내지 48 중 어느 하나의 청구 대상을 포함하며, 요약된 센서 입력 데이터에 기초하여 흥미 알고리즘을 업데이트하는 단계를 더 포함한다.
예 50은 예 42 내지 49 중 어느 하나의 청구 대상을 포함하며, 시청각 프리젠터 디바이스가, 시청각 서버로부터 제2 시청각 스트림을 수신하는 단계를 더 포함하고, 시청각 스트림은 제2 시청각 청중 디바이스로부터 발생하고, 제2 시청각 청중 디바이스와 연관된 흥미 값에 기초하여 선택되고; 그리고 흥미 알고리즘을 업데이트하는 단계는 선택된 시청각 스트림 및 제2 시청각 스트림 각각과 연관된 프리젠터 주목 레벨을 결정하는 단계 - 프리젠터 주목 레벨은 요약된 센서 입력 데이터에 기초함 - ; 시청각 스트림 및 제2 시청각 스트림 각각과 연관된 프리젠터 주목 레벨을 각각의 시청각 청중 디바이스와 연관된 흥미 레이팅에 비교하는 단계; 및 프리젠터 주목 레벨과 흥미 레이팅의 비교 결과에 기초하여 흥미 알고리즘을 업데이트하는 단계를 포함한다.
예 51은 컴퓨팅 디바이스를 포함하며, 이 컴퓨팅 디바이스는 프로세서; 및 프로세서에 의해 실행될 때, 컴퓨팅 디바이스로 하여금, 예 26 내지 50 중 어느 하나의 방법을 수행하게 하는 복수의 명령어가 저장되어 있는 메모리를 포함한다.
예 52는 하나 이상의 머신 판독 가능 저장 매체를 포함하며, 이 머신 판독 가능 저장 매체에는 실행되는 것에 응답해서, 컴퓨팅 디바이스가 예 26 내지 50 중 어느 하나의 방법을 수행하게 하는 복수의 명령어가 저장되어 있다.
예 53은 예 26 내지 50 중 어느 하나의 방법을 수행하는 수단을 포함하는 컴퓨팅 디바이스를 포함한다.
예 54는 시청각 통신용 시청각 서버를 포함하며, 시청각 서버는, 복수의 시청각 청중 디바이스로부터 복수의 시청각 스트림을 수신하는 수단 - 각각의 시청각 스트림은 대응하는 시청각 청중 디바이스에 의해 캡처됨 - ; 복수의 시청각 청중 디바이스 각각으로부터 센서 입력 데이터를 수신하는 수단 - 센서 입력 데이터는 대응하는 시청각 청중 디바이스의 사용자의 상태를 나타냄 - ; 흥미 알고리즘을 이용하여, 센서 입력 데이터에 기초하여 각각의 시청각 청중 디바이스와 연관된 흥미 레이팅을 결정하는 수단; 각각의 시청각 클라이언트 디바이스와 연관된 흥미 레이팅에 기초하여 복수의 시청각 스트림 중의 시청각 스트림을 선택하는 수단; 및 선택된 시청각 스트림을 시청각 프리젠터 디바이스에 송신하는 수단을 포함한다.
예 55는 예 54의 청구 대상을 포함하며, 연관된 흥미 레이팅에 기초하여 복수의 시청각 청중 디바이스의 순위를 결정하는 수단을 더 포함하고, 시청각 스트림을 선택하는 수단은 흥미 레이팅이 가장 높은 시청각 청중 디바이스에 의해 캡처된 시청각 스트림을 선택하는 수단을 포함한다.
예 56은 예 54 및 예 55 중 어느 하나의 청구 대상을 포함하며, 흥미 레이팅을 결정하는 수단은 각각의 시청각 청중 디바이스와 연관된 정확도 값, 관련성 값, 또는 대표성 값을 결정하는 수단을 포함한다.
예 57은 예 54 내지 56 중 어느 하나의 청구 대상을 포함하며, 흥미 레이팅을 결정하는 수단은 시청각 청중 디바이스의 사용자의 관여 레벨을 나타내는 흥미 레이팅을 결정하는 수단을 포함한다.
예 58은 예 54 내지 57 중 어느 하나의 청구 대상을 포함하며, 센서 입력 데이터를 수신하는 수단은, 시청각 클라이언트 디바이스로부터 눈 추적 데이터, 얼굴 표정 데이터, 음성 피치 데이터, 음성 억양 데이터, 또는 온도 데이터를 수신하는 수단을 포함한다.
예 59는 예 54 내지 58 중 어느 하나의 청구 대상을 포함하며, 사용자의 상태의 특정한 파라미터를 포커싱함으로써 대응하는 시청각 청중 디바이스의 흥미 레이팅의 정확도가 개선될 수 있는지 여부를 결정하는 수단; 및 흥미 레이팅의 정확도가 개선될 수 있다고 결정된 것에 응답해서, 사용자의 특정한 파라미터로 센서 입력 데이터를 포커싱하도록 시청각 청중 디바이스에 명령어를 송신하는 수단을 더 포함한다.
예 60은 예 54 내지 59 중 어느 하나의 청구 대상을 포함하며, 흥미 레이팅에 기초하여 흥미 알고리즘을 업데이트하는 수단을 더 포함한다.
예 61은 예 54 내지 60 중 어느 하나의 청구 대상을 포함하며, 흥미 알고리즘을 업데이트하는 수단은 시청각 프리젠터 디바이스로부터 센서 입력 데이터를 수신하는 수단 - 센서 입력 데이터는 시청각 프리젠터 디바이스의 물리적 환경을 나타냄 - ; 및 시청각 프리젠터 디바이스로부터 수신된 센서 입력 데이터에 기초하여 흥미 알고리즘을 업데이트하는 수단을 포함한다.
예 62는 예 54 내지 61 중 어느 하나의 청구 대상을 포함하며, 각각의 시청각 클라이언트 디바이스와 연관된 흥미 레이팅에 기초하여 복수의 시청각 스트림 중의 제2 시청각 스트림을 선택하는 수단; 및 제2 시청각 스트림을 시청각 프리젠터 클라이언트 디바이스에 송신하는 수단을 더 포함하고; 흥미 알고리즘을 업데이트하는 수단은 선택된 시청각 스트림 및 제2 시청각 스트림 각각과 연관된 프리젠터 주목 레벨을 결정하는 수단 - 프리젠터 주목 레벨은 시청각 프리젠터 디바이스로부터 수신된 센서 입력 데이터에 기초함 - ; 선택된 시청각 스트림 및 제2 시청각 스트림 각각과 연관된 프리젠터 주목 레벨을 각각의 시청각 클라이언트 디바이스와 연관된 흥미 레이팅에 비교하는 수단; 및 프리젠터 주목 레벨과 흥미 레이팅의 비교 결과에 기초하여 흥미 알고리즘을 업데이트하는 수단을 포함한다.
예 63은 예 54 내지 62 중 어느 하나의 청구 대상을 포함하며, 흥미 알고리즘을 업데이트하는 수단은 또한, 복수의 시청각 청중 디바이스 각각으로부터 수신된 센서 입력 데이터에 기초하여 흥미 알고리즘을 업데이트하는 수단을 포함한다.
예 64는 예 54 내지 63 중 어느 하나의 청구 대상을 포함하며, 흥미 알고리즘을 업데이트하는 수단은 다른 시청각 통신 세션과 연관된 흥미 레이팅에 기초하여 흥미 알고리즘을 업데이트하는 수단을 포함한다.
예 65는 예 54 내지 64 중 어느 하나의 청구 대상을 포함하며, 다른 시청각 통신 세션은 시청각 프리젠터 디바이스의 이전의 시청각 통신 세션을 포함한다.
예 66은 예 54 내지 65 중 어느 하나의 청구 대상을 포함하며, 시청각 프리젠터 디바이스로부터 프리젠터 시청각 스트림을 수신하는 수단; 및 복수의 시청각 청중 디바이스에 프리젠터 시청각 스트림을 송신하는 수단을 더 포함한다.
예 67은 예 54 내지 66 중 어느 하나의 청구 대상을 포함하며, 프리젠터 시청각 스트림을 수신하는 수단은 시청각 프리젠터 디바이스에 의해 캡처된 프리젠터 시청각 스트림을 수신하는 수단을 포함한다.
예 68은 예 54 내지 67 중 어느 하나의 청구 대상을 포함하며, 시청각 프리젠터 디바이스로부터 복수의 프리젠터 시청각 스트림을 수신하는 수단 - 복수의 프리젠터 시청각 스트림은 프리젠터 시청각 스트림을 포함함 - ; 흥미 알고리즘을 이용하여, 센서 입력 데이터에 기초하여 각각의 프리젠터 시청각 스트림 디바이스와 연관된 프리젠터 흥미 레이팅을 결정하는 수단; 및 각각의 프리젠터 시청각 스트림과 연관된 프리젠터 흥미 레이팅에 기초하여 복수의 프리젠터 시청각 스트림 중의 프리젠터 시청각 스트림을 선택하는 수단을 더 포함한다.
예 69는 예 54 내지 68 중 어느 하나의 청구 대상을 포함하며, 선택된 시청각 스트림과 연관된 흥미 레이팅을 시청각 프리젠터 디바이스에 송신하는 수단을 더 포함한다.
예 70은 시청각 통신용 시청각 클라이언트 디바이스를 포함하며, 시청각 클라이언트 디바이스는 시청각 입력 스트림을 캡처하는 수단; 시청각 입력 스트림을 시청각 서버에 송신하는 수단; 시청각 클라이언트 디바이스의 사용자의 상태를 나타내는 센서 입력 데이터를 캡처하는 수단; 센서 입력 데이터를 분석해서 센서 입력 데이터를 대표하는 요약된 센서 입력 데이터를 생성하는 수단; 및 요약된 센서 입력 데이터를 시청각 서버에 송신하는 수단을 포함한다.
예 71은 예 70의 청구 대상을 포함하며, 시청각 클라이언트 디바이스는 시청각 청중 디바이스를 포함하고, 시청각 청중 디바이스는 시청각 서버로부터 센서 입력 데이터를 포커싱하는 명령어를 수신하는 수단; 및 명령어를 수신한 것에 응답해서 센서 입력 데이터를 포커싱하는 수단을 더 포함한다.
예 72는 예 70 및 예 71 중 어느 하나의 청구 대상을 포함하며, 센서 데이터를 캡처하는 수단은 시청각 청중 디바이스의 사용자의 관여 레벨을 나타내는 센서 데이터를 캡처하는 수단을 포함한다.
예 73은 예 70 내지 72 중 어느 하나의 청구 대상을 포함하며, 센서 입력 데이터를 캡처하는 수단은 눈 추적 센서 데이터, 얼굴 표정 센서 데이터, 억양 피치 센서 데이터 또는 온도 데이터를 캡처하는 수단을 포함한다.
예 74는 예 70 내지 73 중 어느 하나의 청구 대상을 포함하며, 시청각 클라이언트 디바이스는 시청각 프리젠터 디바이스를 포함하고, 시청각 프리젠터 디바이스는 시청각 서버로부터 시청각 스트림을 수신하는 수단 - 시청각 스트림은 시청각 청중 디바이스로부터 발생하고, 시청각 청중 디바이스와 연관된 흥미 값에 기초하여 선택됨 - ; 및 시청각 스트림을 디스플레이하는 수단을 더 포함한다.
예 75는 예 70 내지 74 중 어느 하나의 청구 대상을 포함하며, 시청각 스트림을 디스플레이하는 수단은 시청각 스트림의 시청각 청중 디바이스와 연관된 흥미 값의 표시를 디스플레이하는 수단을 더 포함한다.
예 76은 예 70 내지 75 중 어느 하나의 청구 대상을 포함하며, 흥미 알고리즘을 이용하여 시청각 청중 디바이스와 연관된 흥미 레이팅을 결정하는 수단을 더 포함한다.
예 77은 예 70 내지 76 중 어느 하나의 청구 대상을 포함하며, 요약된 센서 입력 데이터에 기초하여 흥미 알고리즘을 업데이트하는 수단을 더 포함한다.
예 78은 예 70 내지 77 중 어느 하나의 청구 대상을 포함하며, 시청각 서버로부터 제2 시청각 스트림을 수신하는 수단을 더 포함하고, 시청각 스트림은 제2 시청각 청중 디바이스로부터 발생하고, 제2 시청각 청중 디바이스와 연관된 흥미 값에 기초하여 선택되고; 그리고 흥미 알고리즘을 업데이트하는 수단은 시청각 스트림 및 제2 시청각 스트림 각각과 연관된 프리젠터 주목 레벨을 결정하는 수단 - 프리젠터 주목 레벨은 요약된 센서 입력 데이터에 기초함 - ; 시청각 스트림 및 제2 시청각 스트림 각각과 연관된 프리젠터 주목 레벨을 각각의 시청각 청중 디바이스와 연관된 흥미 레이팅에 비교하는 수단; 및 프리젠터 주목 레벨과 흥미 레이팅의 비교 결과에 기초하여 흥미 알고리즘을 업데이트하는 수단을 포함한다.

Claims (25)

  1. 시청각 통신용 시청각 서버로서,
    복수의 시청각 청중 디바이스(audiovisual audience devices)로부터 복수의 시청각 스트림을 수신하는 믹서 모듈 - 상기 시청각 스트림 각각은 대응하는 시청각 청중 디바이스에 의해 캡처됨 - 과,
    흥미(interestingness) 모듈
    을 포함하고,
    상기 흥미 모듈은,
    상기 복수의 시청각 청중 디바이스 각각으로부터 센서 입력 데이터를 수신하고 - 상기 센서 입력 데이터는 상기 대응하는 시청각 청중 디바이스의 사용자의 상태를 나타냄 - ,
    흥미 알고리즘을 이용하여, 상기 센서 입력 데이터에 기초하여 각각의 시청각 청중 디바이스와 연관된 흥미 레이팅을 결정하며,
    각각의 시청각 클라이언트 디바이스와 연관된 흥미 레이팅에 기초하여 상기 복수의 시청각 스트림 중 시청각 스트림을 선택하고,
    상기 믹서 모듈은 또한, 상기 선택된 시청각 스트림을 시청각 프리젠터 디바이스에 송신하는
    시청각 통신용 시청각 서버.
  2. 제 1 항에 있어서,
    상기 흥미 모듈은 또한, 상기 연관된 흥미 레이팅에 기초하여 상기 복수의 시청각 청중 디바이스의 순위를 결정하고,
    상기 시청각 스트림을 선택하는 것은, 상기 흥미 레이팅이 가장 높은 시청각 청중 디바이스에 의해 캡처된 시청각 스트림을 선택하는 것을 포함하는
    시청각 통신용 시청각 서버.
  3. 제 1 항에 있어서,
    상기 흥미 레이팅은, 상기 시청각 청중 디바이스 각각과 연관된 정확도 값, 관련성 값, 또는 대표성 값(representativeness value)을 포함하는
    시청각 통신용 시청각 서버.
  4. 제 1 항에 있어서,
    상기 흥미 레이팅은 상기 시청각 청중 디바이스의 사용자의 관여 레벨(engagement level)을 나타내는
    시청각 통신용 시청각 서버.
  5. 제 1 항에 있어서,
    상기 센서 입력 데이터는 눈 추적 데이터, 얼굴 표정 데이터, 음성 피치 데이터, 음성 억양 데이터, 또는 온도 데이터를 포함하는
    시청각 통신용 시청각 서버.
  6. 제 1 항에 있어서,
    상기 흥미 모듈은 또한,
    상기 사용자의 상태의 특정한 파라미터를 포커싱함으로써 대응하는 시청각 청중 디바이스의 흥미 레이팅의 정확도가 개선될 수 있는지 여부를 결정하고,
    상기 흥미 레이팅의 정확도가 개선될 수 있다고 결정된 것에 응답해서, 상기 사용자의 상기 특정한 파라미터로 상기 센서 입력 데이터를 포커싱하도록 상기 대응하는 시청각 청중 디바이스에 명령어를 송신하는
    시청각 통신용 시청각 서버.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 흥미 모듈은, 또한, (i) 상기 흥미 레이팅에 기초하여 상기 흥미 알고리즘을 업데이트하고, (ⅱ) 상기 시청각 클라이언트 디바이스 각각과 연관된 상기 흥미 레이팅에 기초하여 상기 복수의 시청각 스트림 중 제2 시청각 스트림을 선택하며,
    상기 믹서 모듈은 또한, 상기 제2 시청각 스트림을 상기 시청각 프리젠터 클라이언트 디바이스에 송신하고,
    상기 흥미 알고리즘을 업데이트하는 것은,
    상기 시청각 프리젠터 디바이스로부터 센서 입력 데이터를 수신하는 것 - 상기 센서 입력 데이터는 상기 시청각 프리젠터 디바이스의 물리적 환경을 나타냄 - 과,
    상기 선택된 시청각 스트림 및 상기 제2 시청각 스트림 각각과 연관된 프리젠터 주목 레벨(presenter attention level)을 결정하는 것 - 상기 프리젠터 주목 레벨은 상기 시청각 프리젠터 디바이스로부터 수신된 상기 센서 입력 데이터에 기초함 - 과,
    상기 선택된 시청각 스트림 및 상기 제2 시청각 스트림 각각과 연관된 상기 프리젠터 주목 레벨을, 상기 시청각 클라이언트 디바이스 각각과 연관된 흥미 레이팅과 비교하는 것과,
    상기 프리젠터 주목 레벨과 상기 흥미 레이팅 간의 비교 결과에 기초하여 상기 흥미 알고리즘을 업데이트하는 것
    을 포함하는
    시청각 통신용 시청각 서버.
  8. 제 7 항에 있어서,
    상기 흥미 알고리즘을 업데이트하는 것은 다른 시청각 통신 세션과 연관된 흥미 레이팅에 기초하여 상기 흥미 알고리즘을 업데이트하는 것을 포함하고,
    다른 시청각 통신 세션은 상기 시청각 프리젠터 디바이스의 이전의 시청각 통신 세션을 포함하는
    시청각 통신용 시청각 서버.
  9. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 믹서 모듈은 또한,
    상기 시청각 프리젠터 디바이스로부터 복수의 프리젠터 시청각 스트림을 수신하고 - 상기 복수의 프리젠터 시청각 스트림은 프리젠터 시청각 스트림을 포함함 - ,
    상기 프리젠터 시청각 스트림을 상기 복수의 시청각 청중 디바이스에 송신하며,
    상기 흥미 모듈은 또한,
    상기 흥미 알고리즘을 이용하여, 상기 센서 입력 데이터에 기초하여 각각의 프리젠터 시청각 스트림 디바이스와 연관된 프리젠터 흥미 레이팅을 결정하고,
    상기 프리젠터 시청각 스트림 각각과 연관된 상기 프리젠터 흥미 레이팅에 기초하여 상기 복수의 프리젠터 시청각 스트림 중 프리젠터 시청각 스트림을 선택하는
    시청각 통신용 시청각 서버.
  10. 시청각 통신용 시청각 클라이언트 디바이스로서,
    (i) 시청각 입력 스트림을 캡처하고, (ⅱ) 상기 시청각 입력 스트림을 시청각 서버에 송신하는 시청각 캡처 모듈과,
    (i) 상기 시청각 클라이언트 디바이스의 사용자의 상태를 나타내는 센서 입력 데이터를 캡처하고, (ⅱ) 상기 센서 입력 데이터를 분석해서 상기 센서 입력 데이터를 대표하는 요약된 센서 입력 데이터를 생성하며, (ⅲ) 상기 요약된 센서 입력 데이터를 상기 시청각 서버에 송신하는 센서 제어 모듈을 포함하는
    시청각 통신용 시청각 클라이언트 디바이스.
  11. 제 10 항에 있어서,
    상기 시청각 클라이언트 디바이스는 시청각 청중 디바이스를 포함하고,
    상기 센서 제어 모듈은 또한,
    (i) 상기 시청각 서버로부터 상기 센서 입력 데이터를 포커싱하는 명령어를 수신하고, (ⅱ) 상기 명령어를 수신한 것에 응답해서 상기 센서 입력 데이터를 포커싱하는
    시청각 통신용 시청각 클라이언트 디바이스.
  12. 제 10 항에 있어서,
    상기 시청각 클라이언트 디바이스는 시청각 프리젠터 디바이스를 포함하고,
    상기 시청각 프리젠터 디바이스는 디스플레이 모듈을 포함하며,
    상기 디스플레이 모듈은,
    상기 시청각 서버로부터 시청각 스트림을 수신하고 - 상기 시청각 스트림은 상기 시청각 청중 디바이스로부터 발생하고, 상기 시청각 청중 디바이스와 연관된 흥미 값에 기초하여 선택됨 - ,
    상기 시청각 스트림을 디스플레이하는
    시청각 통신용 시청각 클라이언트 디바이스.
  13. 제 12 항에 있어서,
    상기 시청각 스트림을 디스플레이하는 것은, 상기 시청각 스트림의 시청각 청중 디바이스와 연관된 상기 흥미 값의 표시를 디스플레이하는 것을 포함하는
    시청각 통신용 시청각 클라이언트 디바이스.
  14. 제 12 항 또는 제 13 항에 있어서,
    (i) 흥미 알고리즘을 이용하여 상기 시청각 청중 디바이스와 연관된 흥미 레이팅을 결정하고, (ⅱ) 상기 요약된 센서 입력 데이터에 기초하여 상기 흥미 알고리즘을 업데이트하는 흥미 모듈
    을 포함하며,
    상기 디스플레이 모듈은 또한,
    상기 시청각 서버로부터 제2 시청각 스트림을 수신하고 - 상기 제2 시청각 스트림은 제2 시청각 청중 디바이스로부터 발생하고, 상기 제2 시청각 청중 디바이스와 연관된 흥미 값에 기초하여 선택됨 - ,
    상기 흥미 알고리즘을 업데이트하는 것은,
    상기 시청각 스트림 및 상기 제2 시청각 스트림 각각과 연관된 프리젠터 주목 레벨을 결정하는 것 - 상기 프리젠터 주목 레벨은 상기 요약된 센서 입력 데이터에 기초함 - 과,
    상기 시청각 스트림 및 상기 제2 시청각 스트림 각각과 연관된 프리젠터 주목 레벨을, 상기 시청각 청중 디바이스 각각과 연관된 상기 흥미 레이팅과 비교하는 것과,
    상기 프리젠터 주목 레벨과 상기 흥미 레이팅 간의 비교 결과에 기초하여 상기 흥미 알고리즘을 업데이트하는 것
    을 포함하는
    시청각 통신용 시청각 클라이언트 디바이스.
  15. 시청각 통신용 방법으로서,
    시청각 서버가, 복수의 시청각 청중 디바이스로부터 복수의 시청각 스트림을 수신하는 단계 - 각각의 시청각 스트림은 대응하는 시청각 청중 디바이스에 의해 캡처됨 - 와,
    상기 시청각 서버가, 상기 복수의 시청각 청중 디바이스 각각으로부터 센서 입력 데이터를 수신하는 단계 - 상기 센서 입력 데이터는 상기 대응하는 시청각 청중 디바이스의 사용자의 상태를 나타냄 - 와,
    상기 시청각 서버가 흥미 알고리즘을 이용해서, 상기 센서 입력 데이터에 기초하여 각각의 시청각 청중 디바이스와 연관된 흥미 레이팅을 결정하는 단계와,
    상기 시청각 서버가, 각각의 시청각 클라이언트 디바이스와 연관된 흥미 레이팅에 기초하여 상기 복수의 시청각 스트림 중 시청각 스트림을 선택하는 단계와,
    상기 시청각 서버가, 상기 선택된 시청각 스트림을 시청각 프리젠터 디바이스에 송신하는 단계
    를 포함하는 시청각 통신용 방법.
  16. 제 15 항에 있어서,
    상기 시청각 서버가, 상기 사용자의 상태의 특정한 파라미터를 포커싱함으로써 대응하는 시청각 청중 디바이스의 흥미 레이팅의 정확도가 개선될 수 있는지 여부를 결정하는 단계와,
    상기 시청각 서버가, 상기 흥미 레이팅의 정확도가 개선될 수 있다고 결정된 것에 응답해서, 상기 사용자의 상기 특정한 파라미터로 상기 센서 입력 데이터를 포커싱하도록 상기 시청각 청중 디바이스에 명령어를 송신하는 단계
    를 더 포함하는 시청각 통신용 방법.
  17. 제 15 항에 있어서,
    상기 시청각 서버가, 상기 흥미 레이팅에 기초하여 상기 흥미 알고리즘을 업데이트하는 단계와,
    상기 시청각 서버가, 상기 시청각 클라이언트 디바이스 각각과 연관된 상기 흥미 레이팅에 기초하여 상기 복수의 시청각 스트림 중 제2 시청각 스트림을 선택하는 단계와,
    상기 시청각 서버가, 상기 제2 시청각 스트림을 상기 시청각 프리젠터 클라이언트 디바이스에 송신하는 단계
    를 더 포함하고,
    상기 흥미 알고리즘을 업데이트하는 단계는,
    상기 시청각 서버가, 상기 시청각 프리젠터 디바이스로부터 센서 입력 데이터를 수신하는 단계 - 상기 센서 입력 데이터는 상기 시청각 프리젠터 디바이스의 물리적 환경을 나타냄 - 와,
    상기 선택된 시청각 스트림 및 상기 제2 시청각 스트림 각각과 연관된 프리젠터 주목 레벨을 결정하는 단계 - 상기 프리젠터 주목 레벨은 상기 시청각 프리젠터 디바이스로부터 수신된 상기 센서 입력 데이터에 기초함 - 와,
    상기 선택된 시청각 스트림 및 상기 제2 시청각 스트림 각각과 연관된 상기 프리젠터 주목 레벨을, 상기 시청각 클라이언트 디바이스 각각과 연관된 상기 흥미 레이팅과 비교하는 단계와,
    상기 프리젠터 주목 레벨과 상기 흥미 레이팅 간의 비교 결과에 기초하여 상기 흥미 알고리즘을 업데이트하는 단계
    를 포함하는
    시청각 통신용 방법.
  18. 제 15 항에 있어서,
    상기 시청각 서버가, 상기 시청각 프리젠터 디바이스로부터 복수의 프리젠터 시청각 스트림을 수신하는 단계 - 상기 복수의 프리젠터 시청각 스트림은 프리젠터 시청각 스트림을 포함함 - 와,
    상기 시청각 서버가, 상기 흥미 알고리즘을 이용하여, 상기 센서 입력 데이터에 기초하여 각각의 프리젠터 시청각 스트림 디바이스와 연관된 프리젠터 흥미 레이팅을 결정하는 단계와,
    상기 시청각 서버가, 상기 프리젠터 시청각 스트림 각각과 연관된 상기 프리젠터 흥미 레이팅에 기초하여 상기 복수의 프리젠터 시청각 스트림 중 프리젠터 시청각 스트림을 선택하는 단계와,
    상기 시청각 서버가, 상기 복수의 시청각 청중 디바이스에 상기 프리젠터 시청각 스트림을 송신하는 단계
    를 더 포함하는 시청각 통신용 방법.
  19. 시청각 통신용 방법으로서,
    시청각 클라이언트 디바이스가, 시청각 입력 스트림을 캡처하는 단계와,
    상기 시청각 클라이언트 디바이스가, 상기 시청각 입력 스트림을 시청각 서버에 송신하는 단계와,
    시청각 청중 디바이스가, 상기 시청각 클라이언트 디바이스의 사용자의 상태를 나타내는 센서 입력 데이터를 캡처하는 단계와,
    상기 시청각 클라이언트 디바이스가, 상기 센서 입력 데이터를 분석해서 상기 센서 입력 데이터를 대표하는 요약된 센서 입력 데이터를 생성하는 단계와,
    상기 시청각 클라이언트 디바이스가, 상기 요약된 센서 입력 데이터를 상기 시청각 서버에 송신하는 단계
    를 포함하는 시청각 통신용 방법.
  20. 제 19 항에 있어서,
    상기 시청각 클라이언트 디바이스는 시청각 청중 디바이스를 포함하고,
    상기 방법은,
    상기 시청각 청중 디바이스가, 상기 시청각 서버로부터 상기 센서 입력 데이터를 포커싱하는 명령어를 수신하는 단계와,
    상기 시청각 청중 디바이스가, 상기 명령어를 수신한 것에 응답해서 상기 센서 입력 데이터를 포커싱하는 단계
    를 더 포함하는
    시청각 통신용 방법.
  21. 제 19 항에 있어서,
    상기 시청각 클라이언트 디바이스는 시청각 프리젠터 디바이스를 포함하고,
    상기 방법은,
    상기 시청각 프리젠터 디바이스가, 상기 시청각 서버로부터 시청각 스트림을 수신하는 단계 - 상기 시청각 스트림은 상기 시청각 청중 디바이스로부터 발생하고, 상기 시청각 청중 디바이스와 연관된 흥미 값에 기초하여 선택됨 - 와,
    상기 시청각 프리젠터 디바이스가, 상기 시청각 스트림을 디스플레이하는 단계
    를 더 포함하는
    시청각 통신용 방법.
  22. 제 21 항에 있어서,
    상기 시청각 프리젠터 디바이스가, 흥미 알고리즘을 이용하여 상기 시청각 청중 디바이스와 연관된 흥미 레이팅을 결정하는 단계
    를 더 포함하는 시청각 통신용 방법.
  23. 컴퓨팅 디바이스로서,
    프로세서와,
    상기 프로세서에 의해 실행될 때, 상기 컴퓨팅 디바이스로 하여금, 제 15 항 내지 제 22 항 중 어느 한 항에 개시된 방법을 수행하게 하는 복수의 명령어가 저장되어 있는 메모리
    를 포함하는 컴퓨팅 디바이스.
  24. 하나 이상의 머신 판독 가능 저장 매체로서,
    실행되는 것에 응답해서, 컴퓨팅 디바이스가 제 15 항 내지 제 22 항 중 어느 한 항에 개시된 방법을 수행하게 하는 복수의 명령어가 저장되어 있는
    머신 판독 가능 저장 매체.
  25. 제 15 항 내지 제 22 항 중 어느 한 항에 개시된 방법을 수행하는 수단을 포함하는 컴퓨팅 디바이스.
KR1020167032912A 2014-06-27 2015-05-27 흥미 알고리즘을 이용한 시청각 통신을 위한 기술 KR101825569B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/317,607 US9386272B2 (en) 2014-06-27 2014-06-27 Technologies for audiovisual communication using interestingness algorithms
US14/317,607 2014-06-27
PCT/US2015/032567 WO2015199871A1 (en) 2014-06-27 2015-05-27 Technologies for audiovisual communication using interestingness algorithms

Publications (2)

Publication Number Publication Date
KR20160146973A true KR20160146973A (ko) 2016-12-21
KR101825569B1 KR101825569B1 (ko) 2018-02-05

Family

ID=54931969

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167032912A KR101825569B1 (ko) 2014-06-27 2015-05-27 흥미 알고리즘을 이용한 시청각 통신을 위한 기술

Country Status (5)

Country Link
US (6) US9386272B2 (ko)
EP (1) EP3162052B1 (ko)
KR (1) KR101825569B1 (ko)
CN (1) CN106416233B (ko)
WO (1) WO2015199871A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9386272B2 (en) 2014-06-27 2016-07-05 Intel Corporation Technologies for audiovisual communication using interestingness algorithms
US11956290B2 (en) * 2015-03-04 2024-04-09 Avaya Inc. Multi-media collaboration cursor/annotation control
US10978033B2 (en) * 2016-02-05 2021-04-13 New Resonance, Llc Mapping characteristics of music into a visual display
US10386923B2 (en) 2017-05-08 2019-08-20 International Business Machines Corporation Authenticating users and improving virtual reality experiences via ocular scans and pupillometry
US10382722B1 (en) * 2017-09-11 2019-08-13 Michael H. Peters Enhanced video conference management
US11122240B2 (en) 2017-09-11 2021-09-14 Michael H Peters Enhanced video conference management
US11290686B2 (en) 2017-09-11 2022-03-29 Michael H Peters Architecture for scalable video conference management
US11785180B2 (en) 2017-09-11 2023-10-10 Reelay Meetings, Inc. Management and analysis of related concurrent communication sessions
JP7061190B2 (ja) * 2018-05-31 2022-04-27 シャープＮｅｃディスプレイソリューションズ株式会社 表示システム、表示方法およびプログラム
US11240470B2 (en) * 2019-07-08 2022-02-01 Nextiva, Inc. Multi-device teleconferences
US20210021439A1 (en) * 2019-07-19 2021-01-21 Nextiva, Inc. Measuring and Responding to Attention Levels in Group Teleconferences
WO2021105778A1 (en) * 2019-11-28 2021-06-03 Raman Abishek Sundar System and method for determining participant behavior during a real time interactive event
US11240469B1 (en) * 2020-12-18 2022-02-01 Frqncy, Inc. Systems and methods for audience interactions in real-time multimedia applications
US11621979B1 (en) * 2020-12-31 2023-04-04 Benjamin Slotznick Method and apparatus for repositioning meeting participants within a virtual space view in an online meeting user interface based on gestures made by the meeting participants
WO2022235408A1 (en) * 2021-05-07 2022-11-10 Microsoft Technology Licensing, Llc Highlighting expressive participants in an online meeting
US11949967B1 (en) 2022-09-28 2024-04-02 International Business Machines Corporation Automatic connotation for audio and visual content using IOT sensors

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7607981B2 (en) * 1996-12-30 2009-10-27 Walker Digital, Llc System and method for remote automated play of a gaming device
US6356303B1 (en) * 1997-02-05 2002-03-12 Canon Kabushiki Kaisha Camera control system with zoom lens control based on transmission time
US6894714B2 (en) * 2000-12-05 2005-05-17 Koninklijke Philips Electronics N.V. Method and apparatus for predicting events in video conferencing and other applications
JP3826827B2 (ja) * 2002-04-08 2006-09-27 日本電気株式会社 遠隔会議システムにおける発言管理システム
US7454460B2 (en) * 2003-05-16 2008-11-18 Seiko Epson Corporation Method and system for delivering produced content to passive participants of a videoconference
US8121886B2 (en) * 2004-12-03 2012-02-21 Ryma Technology Solutions Inc. Confidence based selection for survey sampling
JP4585380B2 (ja) * 2005-06-03 2010-11-24 日本電信電話株式会社 次発言者検出方法、装置、およびプログラム
US20070271580A1 (en) * 2006-05-16 2007-11-22 Bellsouth Intellectual Property Corporation Methods, Apparatus and Computer Program Products for Audience-Adaptive Control of Content Presentation Based on Sensed Audience Demographics
US20070282948A1 (en) * 2006-06-06 2007-12-06 Hudson Intellectual Properties, Inc. Interactive Presentation Method and System Therefor
JP5194015B2 (ja) * 2006-09-05 2013-05-08 インナースコープ リサーチ， インコーポレイテッド 感覚的刺激への視聴者反応を決定する方法およびシステム
EP2042969A1 (en) * 2007-09-28 2009-04-01 Alcatel Lucent Method for determining user reaction with specific content of a displayed page.
US9292092B2 (en) * 2007-10-30 2016-03-22 Hewlett-Packard Development Company, L.P. Interactive display system with collaborative gesture detection
JP2010141843A (ja) * 2008-12-15 2010-06-24 Brother Ind Ltd 会議システム、通信会議支援方法、会議端末装置及びプログラム
US20110052155A1 (en) * 2009-09-02 2011-03-03 Justin Desmarais Methods for producing low-cost, high-quality video excerpts using an automated sequence of camera switches
US20110072037A1 (en) * 2009-09-18 2011-03-24 Carey Leigh Lotzer Intelligent media capture, organization, search and workflow
CN102170552A (zh) * 2010-02-25 2011-08-31 株式会社理光 一种视频会议系统及其中使用的处理方法
US8628331B1 (en) * 2010-04-06 2014-01-14 Beth Ann Wright Learning model for competency based performance
JP2011228817A (ja) * 2010-04-15 2011-11-10 Sharp Corp 端末装置、監視装置、端末監視システム、端末装置の制御方法、監視装置の制御方法、制御プログラム、及び記録媒体
US8670018B2 (en) * 2010-05-27 2014-03-11 Microsoft Corporation Detecting reactions and providing feedback to an interaction
US8963987B2 (en) * 2010-05-27 2015-02-24 Microsoft Corporation Non-linguistic signal detection and feedback
US8847053B2 (en) * 2010-10-15 2014-09-30 Jammit, Inc. Dynamic point referencing of an audiovisual performance for an accurate and precise selection and controlled cycling of portions of the performance
KR101412658B1 (ko) * 2010-11-15 2014-08-07 한국전자통신연구원 지오컨텍스트 생성 장치와 이를 이용한 공간 기반 상황 인식 서비스 제공 시스템 및 방법
US8520052B2 (en) * 2011-02-02 2013-08-27 Microsoft Corporation Functionality for indicating direction of attention
SG10201600432YA (en) * 2011-02-21 2016-02-26 Univ Singapore Apparatus, system, and method for annotation of media files with sensor data
US20120221960A1 (en) * 2011-02-28 2012-08-30 Robinson Ian N Collaborative workspace viewing for portable electronic devices
US8676937B2 (en) * 2011-05-12 2014-03-18 Jeffrey Alan Rapaport Social-topical adaptive networking (STAN) system allowing for group based contextual transaction offers and acceptances and hot topic watchdogging
US8812510B2 (en) 2011-05-19 2014-08-19 Oracle International Corporation Temporally-correlated activity streams for conferences
US8842158B2 (en) * 2011-05-31 2014-09-23 Visionary Mobile Corporation System and method for teleconferencing
US8600956B2 (en) * 2011-08-16 2013-12-03 Nokia Corporation Method, apparatus and computer program product for providing conflicting point of interest information
JP2013135465A (ja) * 2011-12-27 2013-07-08 Sony Corp 音響信号処理装置、音響信号処理方法、プログラムおよび信号処理システム
US20130198629A1 (en) * 2012-01-28 2013-08-01 Microsoft Corporation Techniques for making a media stream the primary focus of an online meeting
US20130205311A1 (en) * 2012-02-07 2013-08-08 Arun Ramaswamy Methods and apparatus to control a state of data collection devices
US8866943B2 (en) * 2012-03-09 2014-10-21 Apple Inc. Video camera providing a composite video sequence
US8898687B2 (en) * 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
US20140091897A1 (en) * 2012-04-10 2014-04-03 Net Power And Light, Inc. Method and system for measuring emotional engagement in a computer-facilitated event
US8873851B2 (en) * 2012-06-29 2014-10-28 Intellectual Ventures Fund 83 Llc System for presenting high-interest-level images
US9014510B2 (en) * 2012-06-29 2015-04-21 Intellectual Ventures Fund 83 Llc Method for presenting high-interest-level images
JP2014050018A (ja) * 2012-09-03 2014-03-17 Ricoh Co Ltd 情報処理装置、ビデオ会議システム及びプログラム
US8897437B1 (en) * 2013-01-08 2014-11-25 Prosodica, LLC Method and system for improving call-participant behavior through game mechanics
US9412021B2 (en) * 2013-11-29 2016-08-09 Nokia Technologies Oy Method and apparatus for controlling transmission of data based on gaze interaction
US9386272B2 (en) 2014-06-27 2016-07-05 Intel Corporation Technologies for audiovisual communication using interestingness algorithms
US9491374B1 (en) * 2015-12-11 2016-11-08 Fuji Xerox Co., Ltd. Systems and methods for videoconferencing input and display management based on activity
JP1585380S (ko) 2017-04-24 2017-09-04

Also Published As

Publication number Publication date
KR101825569B1 (ko) 2018-02-05
CN106416233A (zh) 2017-02-15
CN106416233B (zh) 2020-04-10
US10440071B2 (en) 2019-10-08
EP3162052A1 (en) 2017-05-03
US11374991B2 (en) 2022-06-28
US9386272B2 (en) 2016-07-05
US20200059499A1 (en) 2020-02-20
US20150381932A1 (en) 2015-12-31
US20240171622A1 (en) 2024-05-23
US20210297464A1 (en) 2021-09-23
EP3162052B1 (en) 2019-05-01
US20230051931A1 (en) 2023-02-16
US11863604B2 (en) 2024-01-02
EP3162052A4 (en) 2018-03-14
WO2015199871A1 (en) 2015-12-30
US20160381095A1 (en) 2016-12-29
US10972518B2 (en) 2021-04-06

Similar Documents

Publication Publication Date Title
KR101825569B1 (ko) 흥미 알고리즘을 이용한 시청각 통신을 위한 기술
JP7379907B2 (ja) 情報処理装置、情報処理プログラム、情報処理システム、情報処理方法
US10241990B2 (en) Gesture based annotations
US9367864B2 (en) Experience sharing with commenting
US9473741B2 (en) Teleconference system and teleconference terminal
US10684754B2 (en) Method of providing visual sound image and electronic device implementing the same
US11184560B1 (en) Use of sensor input to determine video feed to provide as part of video conference
US20140007147A1 (en) Performance analysis for combining remote audience responses
US9535559B2 (en) Stream-based media management
US20140340468A1 (en) Joining an electronic conference in response to sound
JP6563421B2 (ja) 関連アプリケーションに対するビデオ会議相互参照の改善
US20120233633A1 (en) Using image of video viewer to establish emotion rank of viewed video
US20160294892A1 (en) Storage Medium Storing Program, Server Apparatus, and Method of Controlling Server Apparatus
CN112653902A (zh) 说话人识别方法、装置及电子设备
US9300914B2 (en) Computer readable recording medium and terminal apparatus
US20130249788A1 (en) Information processing apparatus, computer program product, and projection system
CN111078011A (zh) 手势控制方法、装置、计算机可读存储介质及电子设备
JP5613102B2 (ja) 会議装置、会議方法および会議プログラム
US20220013128A1 (en) Conversation support system, conversation support method and computer readable storage medium
TW202133627A (zh) 線上直播的即時互動方法及應用於線上直播之即時互動的用戶端手持式裝置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right