KR101008523B1 - 사용자 주의에 기초하여 실시간 멀티미디어 콘텐츠 전달을 위한 품질 적응 - Google Patents

사용자 주의에 기초하여 실시간 멀티미디어 콘텐츠 전달을 위한 품질 적응 Download PDF

Info

Publication number
KR101008523B1
KR101008523B1 KR1020047004027A KR20047004027A KR101008523B1 KR 101008523 B1 KR101008523 B1 KR 101008523B1 KR 1020047004027 A KR1020047004027 A KR 1020047004027A KR 20047004027 A KR20047004027 A KR 20047004027A KR 101008523 B1 KR101008523 B1 KR 101008523B1
Authority
KR
South Korea
Prior art keywords
user
multimedia content
attention
user device
detector
Prior art date
Application number
KR1020047004027A
Other languages
English (en)
Other versions
KR20040041168A (ko
Inventor
코헨-소랄에릭
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20040041168A publication Critical patent/KR20040041168A/ko
Application granted granted Critical
Publication of KR101008523B1 publication Critical patent/KR101008523B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/752—Media network packet handling adapting media to network capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H04L69/322—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
    • H04L69/329—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the application layer [OSI layer 7]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

제공자 서버로부터 사용자 디바이스(20)로 멀티미디어 콘텐츠의 스트림을 전송하기 위한 방법은 통신 네트워크(10)를 통해 제공자 서버로부터 사용자 디바이스로 멀티미디어 콘텐츠를 전송하고 멀티미디어 콘텐츠가 제공자 서버로부터 사용자에게로 실시간 전달되도록 사용자 디바이스 상의 출력을 통해 사용자 디바이스로부터 사용자에게 멀티미디어 콘텐츠를 출력하는 단계를 포함한다. 사용자가 사용자 디바이스의 출력에 향하고 있는 주의도는 전송 동안 연속적으로 결정되고, 제공자 서버에 위치한 파라미터 조정 모듈(32)은 주의도에 응답하여 멀티미디어 콘텐츠의 파라미터를 조정한다.
네트워크, 사용자 디바이스, 프로세서, 제공자 서버, 검출기

Description

사용자 주의에 기초하여 실시간 멀티미디어 콘텐츠 전달을 위한 품질 적응{Quality adaption for real-time multimedia content delivery based on user attention}
본 발명은 사용자로의 실시간 배포 및 전송을 위해 멀티미디어 콘텐츠를 관리하기 위한 방법에 관한 것이다.
주문형 비디오 및 인터넷 관련 어플리케이션들에 대한 멀티미디어 콘텐츠의 실시간 전송 요구가 증가하고 있다. 따라서, 실시간 멀티미디어 콘텐츠의 배포가 증가하고 있고, 새로운 멀티미디어 콘텐츠는 광범위한 콘텐츠 유형들을 가질 것이다.
멀티미디어 콘텐츠는 사용자 풀(user pull) 어플리케이션들 및 제공자 방송 어플리케이션들을 통해 액세스될 수도 있다. 사용자 풀 어플리케이션들에서, 사용자는 원격 접속될 콘텐츠를 수동으로 선택한다. 제공자 방송 어플리케이션들에서, 실시간 멀티 미디어 콘텐츠가 모든 사용자들에게 배포되고, 사용자들은, 예를 들면, 케이블 텔레비전 시스템의 셋톱 박스를 통해, 액세스될 것을 국부적으로 선택한다. 멀티미디어 콘텐츠를 액세스하는 새로운 방법들(이하 더욱 상세히 설명함)은 전문가용, 상용, 및 소비자 어플리케이션용으로 계속 발전하고 있다.
실시간 멀티미디어 콘텐츠 전달은 인터넷 또는 케이블 텔레비전 시스템과 같은 네트워크를 통해, 네트워크에 접속된 사용자들에게 전달된다. 사용자들은 고대역폭 접속들(즉, DSL 및 케이블 접속들) 또는 저대역폭 접속들(즉, 무선 링크들)을 통해 네트워크에 접속될 수도 있다. 또한, 사용자들은 이동 전화들, 호출기들, 및 개인 휴대 정보 단말기들과 같은 이동국들과, 퍼스널 컴퓨터들 및 네트워크 단말들과 같은 워크스테이션들을 포함하는, 네트워크에 액세스하기 위한 다수의 상이한 유형들의 스테이션들을 사용할 수도 있다.
제공자는 사용자에게 주문형 멀티미디어 콘텐츠를 제공하기 위해 하나 이상의 네트워크들에 접속된 장비를 사용한다. 그러나, 제공자의 장비 및 제공자와 사용자 사이의 전송 경로는 각각 한정된 용량을 갖는다. 일단 제공자가 전송 경로로 장비의 최대 용량으로 전송하면, 제공자는 다른 사용자들에게 있어서는 그 자체를 이용 불가능하게 하거나 또는 장비의 용량을 증가시켜야 한다. 스케일러빌리티(scalability) 논점들에 대한 공지된 해결책들은 장비의 용량에 기초한 각 사용자에 대한 가용 대역폭에 의해 제한된다.
본 발명의 목적은 실시간 전송을 위한 멀티미디어 콘텐츠의 파라미터를 조정하는 방법을 제공하는 것이다.
본 발명의 목적은 멀티미디어 콘텐츠의 실시간 전달 동안 멀티미디어 콘텐츠에 대한 사용자의 주의도(degree of attention)를 결정하고 이에 따라 멀티미디어 콘텐츠의 파라미터를 조정함으로써 달성된다. 본 발명은 사용자가 멀티미디어 콘텐츠의 실시간 전달 동안 멀티미디어 콘텐츠에 기울이는 주의를 이용한다. 사용자는 멀티미디어 콘텐츠의 부분들을 시청하거나 판독하거나 또는 청취할 수도 있지만, 다른 때에는 콘텐츠에 강렬하게 주목하지 않을 것이다. 대신에, 사용자는 병렬로 다른 활동들을 수행할 수도 있거나, 또는 단순히 멀티미디어 콘텐츠의 특정 세그먼트에 무관심할 수도 있다. 이들 상대적인 비주의 시기들 동안, 사용자는 멀티미디어 전적으로 주의를 기울이지 않고, 심지어는 멀티미디어 콘텐츠를 디스플레이하는 출력 디바이스의 부근에서 떨어져 있을 수도 있다. 또한, 사용자는, 사용자의 주의가 디스플레이의 작은 부분에 집중되도록 출력 디바이스 상에 디스플레이되는 것의 특정 부분에만 관심을 가질 수도 있다. 변화하는 주의도의 결과에 따라, 멀티미디어 콘텐츠는 멀티미디어 콘텐츠의 사용자의 검출된 주의도에 응답하여 전달된 콘텐츠의 품질 레벨을 적응시킴으로써 관리될 수도 있다.
바람직한 실시예에서, 사용자의 주의가 콘텐츠로부터 전환되었다고 결정되면, 멀티미디어 콘텐츠의 품질 레벨은 감소되어, 멀티미디어 콘텐츠의 데이터 전달 레이트를 낮추고, 이에 의해 가용 대역폭을 증가시킨다. 그 결과, 그 사용자에 의한 낮은 주의의 기간들 중에는 다른 잠재적인 사용자들을 위해 더 많은 대역폭이 이용 가능하다. 특정 사용자에 대한 품질 레벨의 감소는, 예를 들면, 사용자에 의한 검출된 낮은 주의의 기간들 동안 출력의 비디오 해상도 및/또는 오디오 부분을 감소시킴으로써 달성될 수도 있다.
본 발명의 다른 목적들 및 특징들은 첨부 도면들과 관련하여 고려된 이하 상세한 설명으로부터 명백해질 것이다. 그러나, 도면은 첨부된 청구범위를 참조해야 하는 본 발명의 범위들을 한정하는 것이 아니라 설명을 위해서만 도시되었다는 것을 이해해야 한다. 도면들은 반드시 축적대로 도시된 것은 아니고 달리 지시가 없으면 본원에 설명된 구조들 및 절차들을 개념적으로 설명하기 위해서만 의도된 것이라는 것을 또한 이해해야 한다.
도면들에서는, 동일 참조 부호들은 다수의 도면들에 걸쳐 동일 소자들을 표시한다.
도 1은 실시간으로 멀티미디어 콘텐츠를 배포하기 위한 시스템을 도시하는 개략도.
도 2는 본 발명의 실시예에 따른 사용자 디바이스의 정면도.
도 3은 본 발명의 다른 실시예에 따른 사용자 디바이스의 사시도.
본 발명에 따른 사용자 디바이스(20)가 도 1에 도시된다. 사용자 디바이스(20)는 유선 또는 무선 접속일 수도 있는 접속(40)을 통해 통신 네트워크(10)에 접속 가능하다. 사용자 디바이스(20)는, 예를 들면, 텔레비전 셋톱 박스, 이동 전화, 개인 휴대 정보 단말기(PDA), 호출기, 컴퓨터, 및 네트워크 워크스테이션과 같은 통신 네트워크(10)에 접속할 수 있는 임의의 공지된 구성요소일 수도 있다. 네트워크(10)는, 예를 들면, 케이블/위성 텔레비전 시스템 또는 인터넷과 같은 주문형 비디오 제공자를 포함할 수도 있다. 텔레비전 제공자 또는 인터넷 서버와 같은 제공자 서버(30)가 네트워크(10)에 접속된다. 사용자는 사용자 디바이스(20)를 사용하여 제공자 서버(30)로부터 실시간 전달되는 멀티미디어 콘텐츠에 액세스하기를 희망할 수도 있다. 데이터의 실시간 전송은 웹 페이지로부터의 멀티미디어 다운로드를 선택하는 것 등에 의해 활성화되는 콘텐츠를 원격 선택함으로써 사용자(즉, 사용자 풀 장치)에 의해 개시될 수도 있다. 대안적으로, 멀티미디어 콘텐츠는, 사용자가 셋톱 박스에서 사용자에 의해 선택된 케이블 텔레비전 방송과 같은 콘텐츠를 접속할 것인지의 여부를 국부적으로 선택하도록, 방송 전송을 통해 제공자 서버(30)에 의해 배포될 수도 있다.
사용자 디바이스(20)는 입력(28), 출력(24), 및 프로세서(22)를 포함한다. 입력(28)은 키보드, 마우스, 원격 제어 디바이스, 또는 사용자가 사용자 디바이스(20)를 제어하기 위한 명령들을 입력할 수 있도록 하는 임의의 다른 디바이스를 포함할 수도 있다. 출력 디바이스(24)는 디스플레이 및 스피커들과, 예를 들면, 사용자가 출력을 감지할 수 있도록 하는 가상 현실 디바이스들과 같은, 사용자에게 멀티미디어 콘텐츠를 표시하기 위해 필요한 임의의 다른 디바이스를 포함할 수도 있다. 입력(28) 및 출력(24)은 이 디바이스들을 제어하는 프로세서(22), 즉, 마이크로프로세서에 접속된다.
미디어 콘텐츠의 실시간 전달을 위해 요구되는 데이터의 일정한 스트림은 미디어 콘텐츠의 실시간 전달의 기간 동안 다른 사용자에 의해 사용될 수 없는 대역폭의 사용을 필요로 한다. 많은 경우들에 있어서, 사용자는 출력 기간 동안 멀티미디어 콘텐츠의 출력에 전적으로 주의를 기울이지는 않을 것이다. 사용자가 전적으로 주의를 기울이지 않는 시간 동안의 전체 대역폭의 사용은 비효율적인 사용이거나 또는 다른 사용자들을 위해 사용될 수도 있는 대역폭의 낭비이다. 대역폭의 사용을 최대화하기 위해, 본 발명은 사용자가 멀티미디어 콘텐츠에 주의를 기울이지 않는 때를 검출하기 위해 사용자 디바이스(20)에 접속된 검출기(26)를 포함한다. 검출기(26)는 사용자 디바이스(20)와 접속된 개별 부분을 포함할 수도 있거나 또는 그와의 일체형 소자를 포함할 수도 있다. 검출기가 사용자가 비주의 상태에 있다고 결정할 때, 검출기(26)는 네트워크(10)를 통해 제공자 서버(30)로 전송되는 신호를 출력한다. 검출기(26)에 의한 신호 출력은 주의 상태 또는 비주의 상태를 시그널링하는 1 비트 신호일 수도 있다. 이하에 설명하는 더욱 복잡한 실시예들에서, 신호 출력은 1 비트보다 클 수도 있다.
제공자 서버(30)의 파라미터 조정 모듈(32)은, 멀티미디어 콘텐츠를 전송하기 위해 사용되는 대역폭이 비주의 기간들 동안 감소되도록, 멀티미디어 콘텐츠의 데이터 스트림을 관리한다. 파라미터 조정 모듈(32)은, 예를 들면, 제공자 서버(30)의 소프트웨어 모듈을 포함할 수도 있다.
데이터를 관리하기 위해, 파라미터 조정 모듈(32)은 사용자 디바이스(20)로 전송되고 있는 오디오 신호의 품질을 유지하면서 비디오 신호의 해상도(품질 레벨)를 감소시킬 수도 있다. 대안적으로, 비디오 신호의 품질이 유지되면서 오디오 신호의 품질이 감소될 수도 있다(이는 사용자 디바이스가 오디오 출력이 음소거되어 있는 텔레비전인 경우 적용 가능할 수도 있음). 해상도의 감소는 단위 시간 당 전송되도록 요구되는 정보의 양, 즉 전송 레이트를 감소시키고, 이에 의해 제공자 서버(30)와 사용자 디바이스(20) 사이의 경로를 따르는 가용 대역폭을 증가시킨다. 멀티미디어 콘텐츠의 데이터 스트림은 실시간 전달되기 때문에, 사용자가 주의 상태로 복귀하면, 파라미터 조정 모듈(32)은 더 이상 비주의 신호를 수신하지 않고, 제공자 서버(30)는 데이터 전송의 정상 품질 레벨을 즉시 되찾을 수도 있다. 따라서, 사용자는 멀티미디어 콘텐츠의 품질 레벨의 변화들을 인식하지 못한다. 또한, 파라미터 조정 모듈(32)은, 파라미터 조정 모듈이 해상도를 감소시키기 전에 시간 지연의 기간 동안 사용자가 비주의 상태에 있도록 해야 하는 시간 지연을 포함할 수도 있다.
검출기는 대안적으로 또는 부가적으로 사용자 디바이스(20)의 스크린세이버의 상태를 모니터링할 수도 있다. 본 실시예에서, 검출기(26)는 스크린세이버가 온될 때 및 스크린세이버가 온 상태로 유지되는 동안 비주의 신호를 출력한다.
멀티미디어 콘텐츠의 데이터 스트림의 관리는 자동인 것이 바람직하지만, 입력(28)은 또한 파라미터 조정 디바이스(32)에 명령들을 전송하기 위해 사용될 수도 있다. 예를 들면, 사용자가 다른 멀티미디어 아이템들과 함께 디스플레이되는 특정 멀티미디어 콘텐츠 아이템을 다운로드 및/또는 저장하기를 원하면, 사용자는 다운로드 및/또는 저장이 실행되는 동안 고해상도로 다른 멀티미디어 콘텐츠 아이템들을 앉아서 지켜보지 않으면서 초고속의 가능한 시간에 최고 품질로 저장될 것을 원할 수도 있다. 이 경우, 사용자는 파라미터 조정 모듈(32)을 무효화(override)하도록 입력(28)을 사용할 수 있다. 입력 디바이스(28)는 또한 정상 모드와 낮은 품질 모드(즉, 대역폭 절약 모드) 사이에서 수동적으로 토글하는데 사용될 수 있다. 대안적으로 또는 부가적으로, 입력 디바이스(28)는, 사용자의 비주의가 검출된 후의 착수 시간을 조정하는 것과 같이, 디스플레이된 신호의 품질이 출력되는 때를 결정하는 파라미터들을 조정하는데 사용될 수 있다.
주의 상태를 결정하기 위해, 검출기(26)는 사람의 존재 유무를 검출할 수도 있다. 사람의 존재는 사용자 디바이스(20)의 전방의 영역의 이미지를 평가하고 사람의 실루엣이 검출기 이미지에 있는지의 여부를 결정함으로써 결정될 수도 있다. 이러한 사람의 존재를 검출하는 방법은, 예를 들면, 하리티오글루(Haritaoglu), 디. 하우드(D. Harwood), 엘. 데이비스(L. Davis)의 실루엣을 이용한 하이드라 다수의 사람 검출 및 트래킹(Hydra, Multiple People Detection and Tracking Using Silhouettes)(컴퓨터 비전 및 패턴 인식(CVPR 1999) 비디오 감시의 2차 워크숍)에 개시되어 있다. 본 발명의 간단한 실시예에서, 실루엣의 존재는 주의 상태를 나타내고 실루엣의 부재는 비주의 상태를 나타내다.
검출기(26)에 의한 사람의 존재의 검출은 다수의 상이한 방법들로 수행될 수도 있다. 검출기(26)는 방(room)의 이미지를 검출하고, 형상들, 색상들, 및 움직임들과 같은 특정 특징들에 대해 이미지를 분석하고, 사람이 존재하는지를 결정하기 위해 이미지의 특징들을 모델과 비교한다. 특징들은 상술한 실루엣들과 같은 형상, 피부 톤들(skin tones)과 같은 색상들, 및/또는 걸음걸이와 같은 사람의 특정 움직임들을 포함할 수도 있다. 모델은 사람의 존재를 나타내는 사람의 임의의 특징을 포함할 수도 있다.
이미지를 모델과 비교하는 것에 부가하여 또는 대안적으로, 검출기(26)는 또한 움직임을 검출하기 위해 보안 시스템들에 사용되는 것과 같은 움직임 검출기를 포함할 수도 있다. 이 실시예에서, 움직임의 검출은 방 내의 인간 활동을 나타낸다. 움직임 자체만으로 주의 상태를 나타낼 수 있거나, 또는 디바이스가 주의도를 더욱 규정하기 위해 이하에 설명되는 바와 같은 부가의 검출을 사용할 수도 있다.
또한, 사용자와 시스템 사이의 거리가 주의를 평가하는데 또한 사용될 수도 있다. 이 실시예에서, 사용자의 주의는 사용자 디바이스로부터의 거리가 증가함에 따라 감소된다. 사용자가 사용자 디바이스(20)로부터 멀리 떨어져 이동함에 따라, 사용자는 높은 레벨의 품질을 요구하지 않는다. 사용자 디바이스(20)로부터의 사용자의 거리를 평가하기 위해, 검출기 이미지의 실루엣의 외견 높이 또는 실루엣의 크기가 평가될 수도 있다. 이 실시예에서, 사용자가 비주의한 것으로 간주되는 지점을 초과하는 특정 거리가 규정될 수도 있다. 대안적으로, 사용자 디바이스(20)에 전송된 신호의 품질 레벨은 사용자와 사용자 디바이스(20)로부터의 거리가 증가함에 따라 점차적으로 감소될 수도 있다.
실루엣은 신체의 방위를 결정하기 위해 더욱 분석될 수도 있다. 즉, 사용자는 사용자의 신체가 사용자 디바이스를 향해 있으면 주의 상태인 것으로서 고려되고, 사용자가 사용자 디바이스로부터 다른 방향으로 향해 있으면 비주의 상태인 것으로서 고려된다.
물론, 신체가 디스플레이를 향해 있지 않으면서 사용자의 얼굴이 디스플레이를 향해 있는 것이 가능하다. 이 경우, 사용자가 실제로 스크린을 주시하고 있는지의 여부를 결정하기 위해 머리 방위가 검출되어야 한다. 에스. 이와사와(S. Iwasawa), 제이. 오야(J. Ohya), 케이. 다까하시(K. Takahashi), 티. 사까구찌(T. Sakaguchi), 에스. 가와또(S. Kawato), 케이. 에비하라(K. Ebihara) 및 에스. 모리시마(S. Morishima)의 3안 현미경 이미지들로부터의 인체 자세들의 실시간 3D 평가, ICCV '99에 개시된 방법들과 같은, 머리 방위를 검출하기 위한 공지된 방법들이 사용될 수도 있다. 이들 기술들을 사용하여, 존재, 거리, 및 방위가 사용자의 주의도를 평가하기 위해 모두 사용된다.
시청자의 특징들에 기초하여 정보의 콘텐츠를 시청자에게 전환시키기 위한 부가의 기술들이, 그 전체 내용들이 본원에 참조로서 포함되는, 발명의 명칭이 "시청자에 표시된 정보의 콘텐츠의 전환을 위한 방법 및 장치(Method and Apparatus for Tuning Content of Information Presented to an Audience)"인 미국 특허 출원 제09/603,532호에 개시되어 있다. 상기 출원에 개시된 기술들은 시청자를 향하여 지향된다. 그러나, 시청자의 특징들을 결정하기 위해 사용되는 기술들 중 일부가 미디어에 대한 사용자의 주의에 관한 정보를 결정하기 위해 본 발명에 적용될 수 있다.
도 2는 디스플레이 스크린을 포함하는 출력(24a)에 대한 사용자(50)의 시선(gaze) 및/또는 머리 방위를 결정하기 위해 검출기(26a)가 배치되어 있는 사용자 디바이스(20a)의 실시예를 도시한다. 본 출원의 목적을 위해, 머리 방위는 개인의 머리 자세와 관련되고, 사용자의 시선은 사용자의 눈이 주시하고 있는 방향과 관련된다. 방위 또는 시선의 결정은, 예를 들면, 그 전체 내용들이 본원에 참조로서 포함되는 미국 특허 제6,154,559호 및 제5,561,718호에 개시된 컴퓨터 비전 기술들과 같은 컴퓨터 비전 기술들을 사용하여 실행될 수도 있다. 이 실시예에서, 검출기(26a)는 머리 방위를 결정하기 위한 다음의 기술들, 즉, 기하학적 추론을 사용한 얼굴 특징의 검출, 피팅 동작(fitting operation)을 수행하기 위한 3D 모델의 적용, 2D 또는 3D 페이싱(facing)/비페이싱(not facing) 모델들의 학습, 및 얼굴 내부의 피부 톤 비율의 검출 중 적어도 하나를 사용하는 카메라 또는 적외선 검출기를 포함할 수도 있다. 이 기술들은 모두 사용자의 머리의 자세를 결정하기 위해 사용된다. 예를 들면, 얼굴 특징 검출, 피팅 동작, 및 페이싱/비페이싱 모델들은, (1) 사용자의 머리가 존재하는지의 여부, 및 (2) 사용자의 머리의 방위를 결정하기 위해 사용된다. 또한, 피부 톤 비율의 검출은 또한 사용자가 존재하는지의 여부 및 사용자의 머리의 방위의 지시를 또한 제공한다. 피부 톤 비율은 사용자가 출력(24a)을 향해 있을 때 최고이다. 사용자가 자신의 머리를 다른 곳으로 돌리면, 사용자의 머리의 측면 또는 후면이 출력(24a) 및 검출기(26a)를 향하여, 낮은 피부 톤 비율이 검출된다. 이 정보로부터, 검출기(26a)는 사용자가 출력을 향해 있는지, 즉, 주의 상태인지의 여부를 결정한다.
검출기(26a)는 또한 사용자의 주의가 향하고 있는 출력 디바이스(24a) 상의 위치를 결정하기 위해 사용자의 눈의 시선을 트래킹하는데 사용될 수도 있다. 이 실시예에서, 검출기(26a)는 LC 테크놀로지스, 인크.(미국 버지니아주 페어팩스 소재)의 시선 전개 시스템(Eyegaze Development System)의 검출기와 같은 프로세서에 접속된 단일 카메라 또는 적외선 검출기를 포함할 수도 있다. 도 3에 도시된 다른 실시예에서, 검출기(26b)는 또한 메트로비전(프랑스 페랑시에 소재)의 비지오보드 게이즈 통신 시스템(Visioboard gaze communication system)과 같이 "헤드" 카메라(28b)가 사용자의 머리의 위치를 결정하고 "아이(eye)" 카메라(29b)가 헤드 카메라로부터의 출력에 기초하여 눈에 초점을 맞추는 2중 카메라 시스템을 포함할 수도 있다. 머리 방위를 검출하기 위한 상술된 기술들에 부가하여, 아이 트래킹 실시예는 또한 눈의 특징들을 검출하고 보정 단계(calibration phase) 동안 특정 사용자에게 적응되도록 기하학적 추론 및 학습 기술들을 사용한다. 이는 검출기(26b)가 사용자의 눈이 주시하는 방향을 결정할 수 있도록 한다.
아이 트래킹 실시예에서, 파라미터 조정 디바이스(32)는 사용자가 주의를 기울이지 않고 있는 출력의 영역들의 비디오 콘텐츠의 품질 레벨을 감소시킬 수도 있다. 예를 들면, 사용자가 스크린의 좌측 하단부만을 주시하고 있으면, 파라미터 조정 디바이스(32)는 스크린의 1/4만이 최고 품질로 전달되도록 스크린의 다른 4분면들에서의 비디오 콘텐츠의 품질 레벨을 감소시킬 수도 있다. 파라미터 조정 디바이스(32)는, 사용자의 시선이 시간 지연의 시간 기간 동안 스크린의 특정 부분에 고정된 후에만 이러한 감소가 이루어지도록 하는 시간 지연을 포함할 수도 있다. 사용자가 자신의 시선을 출력의 나머지로 이동하면, 전체 멀티미디어 출력이 최고 품질로 전송된다. 이 실시예에서, 검출기에 의한 비주의 신호 출력은 사용자가 비주의한 경우의 지시를 포함해야 한다. 따라서, 이러한 위치 정보를 포함하기 위해, 비주의 신호는 1 비트보다 커야 한다.
이 실시예는 또한, 사용자가 검출기(26b)로부터 시야 밖으로 또는 범위 밖으로 이동할 때에도 고품질의 전송을 유지하도록 사용자가 입력(28)을 사용할 수 있는 파라미터 조정 디바이스(32)에 대한 수동 무효화를 포함할 수도 있다. 대안적으로, 사용자가 멀티미디어 콘텐츠의 어느 부분이 관심 있는지를 미리 알고 있으면, 사용자는 특정 부분에 대해 고품질 전송을 유지하도록 파라미터 조정 디바이스(32)에 지시할 수도 있다. 입력(28)은 또한 멀티미디어 콘텐츠의 데이터 스트림의 전송 동안 사용자의 요청시 고품질 전송으로 수동으로 복귀하는데 사용될 수도 있다.
따라서, 본 발명의 기초적인 새로운 특징들을 그의 바람직한 실시예에 적용함으로써 도시하고 설명하고 지적하였지만, 도시된 디바이스들의 형태 및 상세들 및 그들의 동작의 다양한 생략들 및 대체들 및 변경들이 본 발명의 취지로부터 일탈하지 않고 이 기술 분야의 숙련자들에 의해 수행될 수도 있다는 것을 이해할 수 있을 것이다. 예를 들면, 동일한 결과들을 달성하기 위해 실질적으로 동일한 방식으로 실질적으로 동일한 기능을 수행하는 상기 소자들 및/또는 방법 단계들의 모든 조합들은 본 발명의 범위 내에 있는 것으로 의도되는 것이 명백하다. 또한, 본 발명의 임의의 개시된 형태 또는 실시예와 관련하여 예시된 및/또는 설명된 구조들 및/또는 소자들 및/또는 방법 단계들은 일반적인 디자인 선택의 문제로서 임의의 다른 개시되거나 설명되거나 또는 제안된 형태 또는 실시예에 합체될 수도 있다는 것을 인식해야 한다. 따라서, 본 발명은 본원에 첨부된 청구범위에 의해 지시된 바에 의해서만 한정된다.

Claims (25)

  1. 멀티미디어 콘텐츠를 실시간으로 배포하기 위한 방법에 있어서:
    (a) 통신 네트워크를 통해 제공자 서버로부터 사용자 디바이스로 멀티미디어 콘텐츠의 스트림을 전송하고 상기 멀티미디어 콘텐츠를 상기 사용자 디바이스에 실시간으로 출력하는 단계;
    (b) 상기 단계 (a) 중에 사용자가 상기 사용자 디바이스의 출력에 향하고 있는 주의도(degree of attention)를 연속적으로 결정하는 단계; 및
    (c) 상기 단계 (b)에서 결정된 상기 주의도에 응답하여 상기 단계 (a)에서 전송된 상기 멀티미디어 콘텐츠의 파라미터를 상기 제공자 서버에서 조정하는 단계를 포함하는 것을 특징으로 하는, 멀티미디어 콘텐츠 실시간 배포 방법.
  2. 제 1 항에 있어서,
    상기 사용자 주의도를 결정하는 상기 단계 (b)는 상기 사용자의 머리 방위 및 시선 중 하나를 결정하는 단계를 포함하는 것을 특징으로 하는, 멀티미디어 콘텐츠 실시간 배포 방법.
  3. 제 2 항에 있어서,
    상기 사용자의 머리 방위 및 시선 중 하나를 결정하는 상기 단계는, 얼굴 특징의 검출과, 기하학적 추론의 사용, 피팅 동작(fitting operation)을 수행하기 위한 3D 모델의 적용, 2D 페이싱 및 비페이싱 모델들의 학습(learning 2-D facing and not facing models), 3D 페이싱 및 비페이싱 모델들의 학습, 및 상기 얼굴 내부의 피부 톤 비율의 검출 중 적어도 하나에 의해 머리 방위를 결정하는 단계를 포함하는 것을 특징으로 하는, 멀티미디어 콘텐츠 실시간 배포 방법.
  4. 제 1 항에 있어서,
    상기 사용자 주의도를 결정하는 상기 단계 (b)는 상기 사용자의 눈의 위치를 트래킹하는 단계를 포함하는 것을 특징으로 하는, 멀티미디어 콘텐츠 실시간 배포 방법.
  5. 제 4 항에 있어서,
    상기 사용자의 눈의 위치를 트래킹하는 상기 단계는,
    얼굴 특징의 검출과, 기하학적 추론의 사용, 피팅 동작을 수행하기 위한 3D 모델의 적용, 2D 페이싱 및 비페이싱 모델들의 학습, 3D 페이싱 및 비페이싱 모델들의 학습, 및 상기 얼굴 내부의 피부 톤 비율의 검출 중 적어도 하나에 의해 사용자의 머리 방위를 검출하는 단계; 및
    상기 사용자에 적응되도록 보정 단계(calibration phase)에서 눈의 특징들을 검출하고 기하학적 추론을 사용하고 학습 기술들을 수행함으로써 상기 눈의 위치를 검출하는 단계 중의 하나를 포함하는 것을 특징으로 하는, 멀티미디어 콘텐츠 실시간 배포 방법.
  6. 제 1 항에 있어서,
    상기 단계 (b)는 상기 사용자의 주의가 상기 사용자 디바이스의 출력에 향하고 있지 않은 것으로 결정될 때 상기 제공자 서버에 비주의(not attentive) 신호를 전송하는 단계를 더 포함하는 것을 특징으로 하는, 멀티미디어 콘텐츠 실시간 배포 방법.
  7. 제 1 항에 있어서,
    상기 단계 (c)는 상기 단계 (a)에서 요구되는 대역폭을 감소시키기 위해 상기 멀티미디어 콘텐츠의 적어도 일부의 품질 레벨을 감소시키는 단계를 포함하는 것을 특징으로 하는, 멀티미디어 콘텐츠 실시간 배포 방법.
  8. 제 7 항에 있어서,
    상기 단계 (c)는 상기 멀티미디어 콘텐츠의 오디오 콘텐츠 및 비디오 콘텐츠 중 하나의 적어도 일부의 품질 레벨을 감소시키는 단계를 포함하는 것을 특징으로 하는, 멀티미디어 콘텐츠 실시간 배포 방법.
  9. 제 8 항에 있어서,
    상기 단계 (b)는 사용자의 주의가 향하고 있는 출력 디스플레이 상의 영역들을 결정하고 다른 모든 영역들을 비주의 영역들로서 규정하는 단계를 포함하고, 오디오 콘텐츠 및 비디오 콘텐츠 중 하나의 적어도 일부의 감소된 품질 레벨은 상기 출력 디스플레이의 비주의 영역들 내의 상기 멀티미디어 콘텐츠의 상기 비디오 콘텐츠의 감소된 품질인 것을 특징으로 하는, 멀티미디어 콘텐츠 실시간 배포 방법.
  10. 제 1 항에 있어서,
    상기 단계 (b)는 상기 사용자의 주의가 상기 사용자 디바이스의 출력에 향하고 있지 않은 것으로 결정될 때 상기 제공자 서버에 비주의 신호를 전송하는 단계를 더 포함하고,
    상기 단계 (c)는 상기 비주의 신호가 존재할 때 상기 파라미터를 감소된 품질 레벨로 조정하고, 상기 비주의 신호가 존재하지 않을 때 상기 파라미터를 정상 품질 레벨로 조정하는 단계를 포함하는 것을 특징으로 하는, 멀티미디어 콘텐츠 실시간 배포 방법.
  11. 제 1 항에 있어서,
    상기 사용자 디바이스는 스크린세이버 모드를 갖고,
    상기 방법은 상기 사용자 디바이스가 상기 스크린세이버 모드에 있을 때 상기 단계 (a)에서 전송된 상기 멀티미디어 콘텐츠의 파라미터를 상기 제공자 서버에서 조정하는 단계를 더 포함하는 것을 특징으로 하는, 멀티미디어 콘텐츠 실시간 배포 방법.
  12. 제 1 항에 있어서,
    상기 사용자 디바이스는 사용자 명령을 수신하기 위한 입력을 갖고,
    상기 방법은 상기 입력에 입력된 사용자 명령에 응답하여 상기 단계 (a)에서 전송된 상기 멀티미디어 콘텐츠의 파라미터를 상기 제공자 서버에서 조정하는 단계를 더 포함하는 것을 특징으로 하는, 멀티미디어 콘텐츠 실시간 배포 방법.
  13. 제 1 항에 있어서,
    상기 사용자 주의도를 결정하는 상기 단계 (b)는 상기 사용자 디바이스의 전방 영역에서의 상기 사용자의 존재, 상기 사용자 디바이스로부터의 상기 사용자의 거리, 및 상기 사용자의 신체 방위 중 하나를 결정하는 단계를 포함하는 것을 특징으로 하는, 멀티미디어 콘텐츠 실시간 배포 방법.
  14. 네트워크를 통해 멀티미디어 콘텐츠를 실시간으로 배포하기 위한 시스템에 있어서:
    - 사용자 디바이스에 대한 사용자의 주의도를 결정하기 위한 검출기로서, 상기 사용자 디바이스는 제공자 서버로부터 멀티미디어 콘텐츠의 스트림을 수신하고 상기 멀티미디어 콘텐츠를 실시간으로 사용자에게 출력하기 위해 네트워크에 접속 가능하고, 상기 제공자 서버는 상기 멀티미디어 콘텐츠의 스트림을 실시간으로 상기 사용자 디바이스에 전송하기 위해 상기 네트워크에 접속되는, 상기 검출기; 및
    - 상기 검출기에 의해 결정된 상기 주의도에 응답하여, 전송되고 있는 상기 멀티미디어 콘텐츠의 파라미터를 조정하기 위한 상기 제공자 서버에 위치한 파라미터 조정 모듈을 포함하는 것을 특징으로 하는, 멀티미디어 콘텐츠 실시간 배포 시스템.
  15. 제 14 항에 있어서,
    상기 검출기는 상기 사용자의 방위 및 시선 중 하나를 검출하도록 배치된 카메라 및 적외선 검출기 중 적어도 하나를 포함하는 것을 특징으로 하는, 멀티미디어 콘텐츠 실시간 배포 시스템.
  16. 제 15 항에 있어서,
    상기 검출기는 상기 사용자의 눈의 위치를 트래킹하도록 배치된 카메라 및 적외선 검출기 중 적어도 하나를 포함하는 것을 특징으로 하는, 멀티미디어 콘텐츠 실시간 배포 시스템.
  17. 제 16 항에 있어서,
    상기 사용자 디바이스는 디스플레이를 포함하고, 상기 검출기는 사용자의 주의가 향하고 있는 상기 디스플레이 상의 주의 영역을 결정하고 상기 디스플레이의 다른 영역들을 비주의 영역들로서 규정하는 것을 특징으로 하는, 멀티미디어 콘텐츠 실시간 배포 시스템.
  18. 제 17 항에 있어서,
    상기 멀티미디어 콘텐츠는 비디오 콘텐츠를 포함하고, 상기 파라미터 조정 모듈은 상기 디스플레이의 상기 비주의 영역들 내의 비디오 콘텐츠의 품질을 감소시킴으로써 상기 멀티미디어 콘텐츠의 스트림을 전송하기 위해 요구되는 대역폭을 감소시키는 것을 특징으로 하는, 멀티미디어 콘텐츠 실시간 배포 시스템.
  19. 제 14 항에 있어서,
    상기 파라미터 조정 모듈은, 상기 멀티미디어 콘텐츠의 스트림을 전송하기 위해 요구되는 대역폭이 감소되도록, 상기 검출기에 의해 결정된 감소된 주의도에 응답하여 상기 사용자 디바이스로 전송되고 있는 상기 멀티미디어 콘텐츠의 스트림의 적어도 일부의 품질의 레벨을 감소시키는 것을 특징으로 하는, 멀티미디어 콘텐츠 실시간 배포 시스템.
  20. 제 19 항에 있어서,
    상기 멀티미디어 콘텐츠는 비디오 콘텐츠 및 오디오 콘텐츠를 포함하고, 상기 파라미터 조정 모듈은 상기 검출기에 의해 결정된 상기 감소된 주의도에 응답하여 상기 비디오 콘텐츠 및 상기 오디오 콘텐츠 중 적어도 하나의 일부의 품질 레벨을 감소시키는 것을 특징으로 하는, 멀티미디어 콘텐츠 실시간 배포 시스템.
  21. 제 14 항에 있어서,
    상기 검출기는 상기 사용자의 주의가 상기 사용자 디바이스의 출력의 적어도 일부에 향하고 있지 않은 것으로 결정될 때 비주의 신호를 출력하도록 동작 가능하게 배치되는 것을 특징으로 하는, 멀티미디어 콘텐츠 실시간 배포 시스템.
  22. 제 21 항에 있어서,
    상기 파라미터 조정 모듈은 상기 비주의 신호가 존재할 때 상기 사용자 디바이스에 의한 상기 멀티미디어 콘텐츠의 적어도 일부의 파라미터를 감소된 품질 레벨로 조정하고 상기 비주의 신호가 존재하지 않을 때 상기 파라미터를 정상 품질 레벨로 조정하도록 동작 가능하게 배치되는 것을 특징으로 하는, 멀티미디어 콘텐츠 실시간 배포 시스템.
  23. 제 14 항에 있어서,
    상기 사용자 디바이스는 스크린세이버 모드를 갖고, 상기 파라미터 조정 모듈은 상기 사용자가 상기 스크린세이버 모드에 있을 때 상기 멀티미디어 콘텐츠의 파라미터를 조정하도록 배치되는 것을 특징으로 하는, 멀티미디어 콘텐츠 실시간 배포 시스템.
  24. 제 14 항에 있어서,
    상기 사용자 디바이스는 사용자 명령을 수신하기 위한 입력을 포함하고, 상기 파라미터 조정 모듈은 상기 사용자 명령에 응답하여, 전송되고 있는 상기 멀티미디어 콘텐츠의 파라미터를 조정하도록 배치되는 것을 특징으로 하는, 멀티미디어 콘텐츠 실시간 배포 시스템.
  25. 제 14 항에 있어서,
    상기 검출기는 상기 사용자 디바이스의 전방 영역에서의 사용자의 존재, 상기 사용자 디바이스로부터의 상기 사용자의 거리, 및 상기 사용자의 신체의 방위 중 적어도 하나를 검출하는 것을 특징으로 하는, 멀티미디어 콘텐츠 실시간 배포 시스템.
KR1020047004027A 2001-09-20 2002-09-16 사용자 주의에 기초하여 실시간 멀티미디어 콘텐츠 전달을 위한 품질 적응 KR101008523B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/956,660 US7284201B2 (en) 2001-09-20 2001-09-20 User attention-based adaptation of quality level to improve the management of real-time multi-media content delivery and distribution
US09/956,660 2001-09-20
PCT/IB2002/003795 WO2003026250A1 (en) 2001-09-20 2002-09-16 Quality adaption for real-time multimedia content delivery based on user attention

Publications (2)

Publication Number Publication Date
KR20040041168A KR20040041168A (ko) 2004-05-14
KR101008523B1 true KR101008523B1 (ko) 2011-01-14

Family

ID=25498504

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020047004027A KR101008523B1 (ko) 2001-09-20 2002-09-16 사용자 주의에 기초하여 실시간 멀티미디어 콘텐츠 전달을 위한 품질 적응

Country Status (6)

Country Link
US (1) US7284201B2 (ko)
EP (1) EP1430692A1 (ko)
JP (2) JP2005503726A (ko)
KR (1) KR101008523B1 (ko)
CN (1) CN1557083B (ko)
WO (1) WO2003026250A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101833034B1 (ko) * 2012-01-19 2018-02-27 브이아이디 스케일, 인크. 시청 조건에 대한 적응을 지원하는 비디오 전송 방법 및 시스템
KR20210111420A (ko) * 2020-03-03 2021-09-13 에스케이텔레콤 주식회사 딥러닝 기반 미디어 처리시스템 및 방법

Families Citing this family (140)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100145794A1 (en) * 1999-10-21 2010-06-10 Sean Barnes Barger Media Processing Engine and Ad-Per-View
US6792575B1 (en) * 1999-10-21 2004-09-14 Equilibrium Technologies Automated processing and delivery of media to web servers
US7624023B2 (en) * 2002-06-04 2009-11-24 International Business Machines Corporation Client opportunity modeling tool
US20030237097A1 (en) * 2002-06-21 2003-12-25 Marshall Carl S. Peer to peer broadcast acquisition
JP2004173104A (ja) * 2002-11-21 2004-06-17 Nippon Telegr & Teleph Corp <Ntt> 画像切り出し装置、画像切り出し方法およびプログラム
DE10255796A1 (de) * 2002-11-28 2004-06-17 Daimlerchrysler Ag Verfahren und Vorrichtung zum Betrieb einer optischen Anzeigeeinrichtung
EP2325722A1 (en) * 2003-03-21 2011-05-25 Queen's University At Kingston Method and apparatus for communication between humans and devices
US7762665B2 (en) * 2003-03-21 2010-07-27 Queen's University At Kingston Method and apparatus for communication between humans and devices
JP2004312401A (ja) * 2003-04-08 2004-11-04 Sony Corp 再生装置および再生方法
FR2861197B1 (fr) * 2003-10-16 2008-06-27 France Telecom Procede et systeme de determination d'une reaction d'un utilisateur d'un dispositif de traitement
JP2007520940A (ja) * 2004-01-09 2007-07-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ メディアオンデマンドシステムにおけるプレゼンスステータスの使用
US9219729B2 (en) * 2004-05-19 2015-12-22 Philip Drope Multimedia network system with content importation, content exportation, and integrated content management
DK2202609T3 (en) * 2004-06-18 2016-04-25 Tobii Ab Eye control of computer equipment
US7532197B2 (en) * 2004-06-22 2009-05-12 Lenovo (Singapore) Pte Ltd. Method and system for automated monitoring of a display
FI117662B (fi) * 2004-06-29 2006-12-29 Videra Oy AV-järjestelmä sekä ohjain
US20070005752A1 (en) * 2005-06-29 2007-01-04 Jitendra Chawla Methods and apparatuses for monitoring attention of a user during a collaboration session
US7945619B1 (en) * 2004-09-20 2011-05-17 Jitendra Chawla Methods and apparatuses for reporting based on attention of a user during a collaboration session
DE102004057013A1 (de) * 2004-11-25 2006-06-01 Micronas Gmbh Videoanzeigegerät und Verfahren zur Verarbeitung eines Videosignals zur Optimierung der Bilddarstellung
US7461162B2 (en) * 2004-12-16 2008-12-02 International Business Machines Corporation Usage consciousness in HTTP/HTML for reducing unused data flow across a network
US7949106B2 (en) * 2005-03-10 2011-05-24 Avaya Inc. Asynchronous event handling for video streams in interactive voice response systems
US20060203975A1 (en) * 2005-03-10 2006-09-14 Avaya Technology Corp. Dynamic content stream delivery to a telecommunications terminal based on the state of the terminal's transducers
US7847813B2 (en) * 2005-03-10 2010-12-07 Avaya Inc. Dynamic multimedia content stream delivery based on quality of service
US7975283B2 (en) * 2005-03-31 2011-07-05 At&T Intellectual Property I, L.P. Presence detection in a bandwidth management system
US8024438B2 (en) 2005-03-31 2011-09-20 At&T Intellectual Property, I, L.P. Methods, systems, and computer program products for implementing bandwidth management services
US8335239B2 (en) * 2005-03-31 2012-12-18 At&T Intellectual Property I, L.P. Methods, systems, and devices for bandwidth conservation
US8098582B2 (en) 2005-03-31 2012-01-17 At&T Intellectual Property I, L.P. Methods, systems, and computer program products for implementing bandwidth control services
US8306033B2 (en) 2005-03-31 2012-11-06 At&T Intellectual Property I, L.P. Methods, systems, and computer program products for providing traffic control services
CN100544367C (zh) * 2005-07-01 2009-09-23 中国科学院声学研究所 一种基于传输网络的流媒体业务传输平台系统
US8701148B2 (en) * 2005-09-01 2014-04-15 At&T Intellectual Property I, L.P. Methods, systems, and devices for bandwidth conservation
US8104054B2 (en) 2005-09-01 2012-01-24 At&T Intellectual Property I, L.P. Methods, systems, and devices for bandwidth conservation
US7555715B2 (en) * 2005-10-25 2009-06-30 Sonic Solutions Methods and systems for use in maintaining media data quality upon conversion to a different data format
WO2007056287A2 (en) * 2005-11-04 2007-05-18 Eye Tracking, Inc. Generation of test stimuli in visual media
EP1958420A2 (en) * 2005-12-04 2008-08-20 Turner Broadcast System, Inc (TBS, Inc.) System and method for delivering video and audio content over a network
US20070136372A1 (en) * 2005-12-12 2007-06-14 Proctor Lee M Methods of quality of service management and supporting apparatus and readable medium
KR100792293B1 (ko) * 2006-01-16 2008-01-07 삼성전자주식회사 사용자의 컨텍스트를 고려한 서비스 제공방법 및 그 장치
US7647037B2 (en) * 2006-01-31 2010-01-12 International Business Machines Corporation Location aware, on demand, media delivery to remote devices
US8209181B2 (en) * 2006-02-14 2012-06-26 Microsoft Corporation Personal audio-video recorder for live meetings
WO2007113580A1 (en) * 2006-04-05 2007-10-11 British Telecommunications Public Limited Company Intelligent media content playing device with user attention detection, corresponding method and carrier medium
EP1843591A1 (en) * 2006-04-05 2007-10-10 British Telecommunications Public Limited Company Intelligent media content playing device with user attention detection, corresponding method and carrier medium
EP1843592A1 (en) * 2006-04-05 2007-10-10 BRITISH TELECOMMUNICATIONS public limited company Controlling media content quality
WO2007132566A1 (ja) * 2006-05-15 2007-11-22 Nec Corporation 映像再生装置、映像再生方法、および映像再生用プログラム
US20070271580A1 (en) * 2006-05-16 2007-11-22 Bellsouth Intellectual Property Corporation Methods, Apparatus and Computer Program Products for Audience-Adaptive Control of Content Presentation Based on Sensed Audience Demographics
US8212805B1 (en) 2007-01-05 2012-07-03 Kenneth Banschick System and method for parametric display of modular aesthetic designs
US8588464B2 (en) 2007-01-12 2013-11-19 International Business Machines Corporation Assisting a vision-impaired user with navigation based on a 3D captured image stream
US8269834B2 (en) 2007-01-12 2012-09-18 International Business Machines Corporation Warning a user about adverse behaviors of others within an environment based on a 3D captured image stream
US8295542B2 (en) 2007-01-12 2012-10-23 International Business Machines Corporation Adjusting a consumer experience based on a 3D captured image stream of a consumer response
JP4962018B2 (ja) * 2007-01-25 2012-06-27 富士通株式会社 情報処理装置
US20090019472A1 (en) * 2007-07-09 2009-01-15 Cleland Todd A Systems and methods for pricing advertising
US9479274B2 (en) * 2007-08-24 2016-10-25 Invention Science Fund I, Llc System individualizing a content presentation
US9647780B2 (en) * 2007-08-24 2017-05-09 Invention Science Fund I, Llc Individualizing a content presentation
US7769806B2 (en) * 2007-10-24 2010-08-03 Social Communications Company Automated real-time data stream switching in a shared virtual area communication environment
US8397168B2 (en) 2008-04-05 2013-03-12 Social Communications Company Interfacing with a spatial virtual communication environment
US7844724B2 (en) * 2007-10-24 2010-11-30 Social Communications Company Automated real-time data stream switching in a shared virtual area communication environment
US20090138332A1 (en) * 2007-11-23 2009-05-28 Dimitri Kanevsky System and method for dynamically adapting a user slide show presentation to audience behavior
US20090172100A1 (en) * 2007-12-31 2009-07-02 International Business Machines Corporation Deriving and communicating attention spans in collaborative applications
ITPN20110051A1 (it) * 2011-07-15 2013-01-16 Claudio Nori Mezzi sensori elettrici ed elettronici collegati con un dispositivo di interfaccia per un?apparecchiatura di elaborazione di una pluralità di programmi e funzioni operative multimediali di vario genere ad alta definizione, integrata con schermo di ri
EP2098958A1 (en) 2008-03-03 2009-09-09 British Telecommunications Public Limited Company Data management method for a mobile device
US7774488B2 (en) * 2008-03-12 2010-08-10 International Business Machines Corporation Method and system for switching media streams in a client system based on environmental changes
GB2459705B (en) * 2008-05-01 2010-05-12 Sony Computer Entertainment Inc Media reproducing device, audio visual entertainment system and method
KR101569929B1 (ko) 2008-06-02 2015-11-17 코닌클리케 필립스 엔.브이. 시청각 콘텐트의 인지 복잡도를 뷰어 관심 레벨로 조정하기 위한 장치 및 방법
US8363618B2 (en) * 2008-08-29 2013-01-29 Ciright Systems, Inc. Content distribution platform
US9253264B2 (en) * 2008-08-29 2016-02-02 TAPP Technologies, LLC Content distribution platform for beverage dispensing environments
EP2340648B1 (en) * 2008-10-28 2019-12-11 Koninklijke Philips N.V. A three dimensional display system
CN101742282A (zh) * 2008-11-24 2010-06-16 深圳Tcl新技术有限公司 一种调整显示设备视频内容参数的方法、系统及设备
KR101596975B1 (ko) * 2008-12-16 2016-02-23 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 정보 표시 장치 및 정보 표시 방법
US9853922B2 (en) 2012-02-24 2017-12-26 Sococo, Inc. Virtual area communications
AU2010221722A1 (en) 2009-02-06 2011-08-18 Oculis Labs, Inc. Video-based privacy supporting system
US8539359B2 (en) 2009-02-11 2013-09-17 Jeffrey A. Rapaport Social network driven indexing system for instantly clustering people with concurrent focus on same topic into on-topic chat rooms and/or for generating on-topic search results tailored to user preferences regarding topic
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
JP5115763B2 (ja) * 2010-03-02 2013-01-09 Ｎｅｃソフト株式会社 画像処理装置、コンテンツ配信システム、画像処理方法、及びプログラム
US20110221901A1 (en) * 2010-03-11 2011-09-15 Gm Global Technology Operations, Inc. Adaptive Scene Rendering and V2X Video/Image Sharing
US20120042263A1 (en) 2010-08-10 2012-02-16 Seymour Rapaport Social-topical adaptive networking (stan) system allowing for cooperative inter-coupling with external social networking systems and other content sources
US20120083668A1 (en) * 2010-09-30 2012-04-05 Anantha Pradeep Systems and methods to modify a characteristic of a user device based on a neurological and/or physiological measurement
US20140168277A1 (en) * 2011-05-10 2014-06-19 Cisco Technology Inc. Adaptive Presentation of Content
US8676937B2 (en) 2011-05-12 2014-03-18 Jeffrey Alan Rapaport Social-topical adaptive networking (STAN) system allowing for group based contextual transaction offers and acceptances and hot topic watchdogging
US20130167028A1 (en) * 2011-06-01 2013-06-27 Adobe Systems Incorporated Restricting media content rendering
CN102340686B (zh) * 2011-10-11 2013-10-09 杨海 一种检测在线视频观看者专注度的方法及装置
US8751800B1 (en) 2011-12-12 2014-06-10 Google Inc. DRM provider interoperability
US9554185B2 (en) 2011-12-15 2017-01-24 Arris Enterprises, Inc. Supporting multiple attention-based, user-interaction modes
US20130243270A1 (en) * 2012-03-16 2013-09-19 Gila Kamhi System and method for dynamic adaption of media based on implicit user input and behavior
US10165577B2 (en) * 2012-06-15 2018-12-25 At&T Intellectual Property I, L.P. Dynamic response management leveraging dynamic quality of service allocation
US9467653B2 (en) * 2012-06-29 2016-10-11 Avaya Inc. System and method for aggressive downstream bandwidth conservation based on user inactivity
JP2014030153A (ja) * 2012-07-31 2014-02-13 Sony Corp 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
US8966370B2 (en) 2012-08-31 2015-02-24 Google Inc. Dynamic adjustment of video quality
US10771801B2 (en) * 2012-09-14 2020-09-08 Texas Instruments Incorporated Region of interest (ROI) request and inquiry in a video chain
US8763042B2 (en) 2012-10-05 2014-06-24 Motorola Mobility Llc Information provision
US9104467B2 (en) 2012-10-14 2015-08-11 Ari M Frank Utilizing eye tracking to reduce power consumption involved in measuring affective response
US9477993B2 (en) 2012-10-14 2016-10-25 Ari M Frank Training a predictor of emotional response based on explicit voting on content and eye tracking to verify attention
US9367211B1 (en) * 2012-11-08 2016-06-14 Amazon Technologies, Inc. Interface tab generation
US9544647B2 (en) 2012-11-21 2017-01-10 Google Technology Holdings LLC Attention-based advertisement scheduling in time-shifted content
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
EP2944063A1 (en) * 2013-01-10 2015-11-18 Telefonaktiebolaget L M Ericsson (Publ) Apparatus and method for controlling adaptive streaming of media
WO2014115387A1 (ja) * 2013-01-28 2014-07-31 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9426242B2 (en) 2013-01-29 2016-08-23 Apple Inc. Determining an invitational content item type based on predicted user attention
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US9729920B2 (en) 2013-03-15 2017-08-08 Arris Enterprises, Inc. Attention estimation to control the delivery of data and audio/video content
US10110647B2 (en) 2013-03-28 2018-10-23 Qualcomm Incorporated Method and apparatus for altering bandwidth consumption
JP6056625B2 (ja) 2013-04-12 2017-01-11 富士通株式会社 情報処理装置、音声処理方法、及び音声処理プログラム
US9224290B1 (en) * 2013-04-18 2015-12-29 Amazon Technologies, Inc. Presence-based device operation
JP6246340B2 (ja) 2013-06-05 2017-12-13 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ マルチスクリーン・ビューイングのためのコンテンツ配送のための方法および装置
MX370927B (es) * 2013-06-05 2020-01-03 Interdigital Ce Patent Holdings Metodo y aparato para distribucion de contenido por medio de visualizacion multipantalla.
US9930386B2 (en) 2013-06-05 2018-03-27 Thomson Licensing Method and apparatus for content distribution multiscreen viewing
US10055756B2 (en) 2013-10-18 2018-08-21 Apple Inc. Determining user engagement
US9361005B2 (en) * 2013-12-27 2016-06-07 Rovi Guides, Inc. Methods and systems for selecting modes based on the level of engagement of a user
US9568997B2 (en) 2014-03-25 2017-02-14 Microsoft Technology Licensing, Llc Eye tracking enabled smart closed captioning
US10045050B2 (en) 2014-04-25 2018-08-07 Vid Scale, Inc. Perceptual preprocessing filter for viewing-conditions-aware video coding
CN104102349B (zh) * 2014-07-18 2018-04-27 北京智谷睿拓技术服务有限公司 内容分享方法和装置
US9609385B2 (en) * 2014-08-28 2017-03-28 The Nielsen Company (Us), Llc Methods and apparatus to detect people
CN104298708B (zh) * 2014-09-04 2018-04-27 联想(北京)有限公司 信息处理方法及电子设备
US10129312B2 (en) * 2014-09-11 2018-11-13 Microsoft Technology Licensing, Llc Dynamic video streaming based on viewer activity
KR102269481B1 (ko) 2014-10-17 2021-06-28 삼성전자주식회사 디바이스 간에 화면 공유 방법 및 이를 이용하는 디바이스
US10050912B2 (en) 2014-10-27 2018-08-14 At&T Intellectual Property I, L.P. Subscription-based media push service
US10009405B2 (en) * 2015-04-27 2018-06-26 International Business Machines Corporation Dynamically adjusting quality of service using cognitive focus of attention detection
US11269403B2 (en) * 2015-05-04 2022-03-08 Disney Enterprises, Inc. Adaptive multi-window configuration based upon gaze tracking
US9491490B1 (en) 2015-06-12 2016-11-08 Intel Corporation Facilitating environment-based lossy compression of data for efficient rendering of contents at computing devices
JP6614547B2 (ja) * 2015-08-17 2019-12-04 パナソニックＩｐマネジメント株式会社 視聴状態検出装置、視聴状態検出システムおよび視聴状態検出方法
US9872199B2 (en) 2015-09-22 2018-01-16 Qualcomm Incorporated Assigning a variable QCI for a call among a plurality of user devices
CN106658202A (zh) * 2015-10-30 2017-05-10 中国移动通信集团公司 一种触发互动应用的方法和设备
US10542315B2 (en) * 2015-11-11 2020-01-21 At&T Intellectual Property I, L.P. Method and apparatus for content adaptation based on audience monitoring
US9928374B2 (en) 2015-12-18 2018-03-27 Adobe Systems Incorporated Digital rights management using geographic and temporal traits
US10599817B2 (en) 2016-03-08 2020-03-24 Adobe Inc. Portion-level digital rights management in digital content
US10346594B2 (en) * 2016-03-24 2019-07-09 Adobe Inc. Digital rights management leveraging motion or environmental traits
US10382820B2 (en) * 2016-04-01 2019-08-13 Huawei Technologies Co., Ltd. Apparatus and method for bandwidth allocation as a function of a sensed characteristic of a user
US10460082B2 (en) * 2016-04-04 2019-10-29 Adobe Inc. Digital rights management progressive control and background processing
US11128675B2 (en) 2017-03-20 2021-09-21 At&T Intellectual Property I, L.P. Automatic ad-hoc multimedia conference generator
JPWO2018179880A1 (ja) * 2017-03-28 2020-01-23 日本電気株式会社 動画コンテンツ制御システム、方法およびプログラム
CN107277474B (zh) * 2017-06-26 2019-06-25 深圳看到科技有限公司 全景画面生成方法及生成装置
US10957069B2 (en) * 2017-09-29 2021-03-23 Tobii Ab Head pose estimation from local eye region
US11120797B2 (en) * 2017-11-15 2021-09-14 Sony Corporation Information processing terminal, information processing apparatus, and information processing method
US10200753B1 (en) 2017-12-04 2019-02-05 At&T Intellectual Property I, L.P. Resource management for video streaming with inattentive user
EP3503538A1 (en) * 2017-12-19 2019-06-26 Thomson Licensing Method for managing a video call, corresponding computer program computer, computer readable storage medium, server, system and device
CN107908804B (zh) * 2017-12-27 2021-06-04 北京锐安科技有限公司 一种网民参与程度的评估方法及系统
JPWO2020089971A1 (ja) * 2018-10-29 2021-02-15 有限会社 アドリブ 画像処理装置、方法、コンピュータプログラム
US10833945B2 (en) 2018-11-13 2020-11-10 International Business Machines Corporation Managing downloading of content
WO2020124535A1 (en) * 2018-12-21 2020-06-25 Orange Method for operating an electronic device when playing an audiovisual content
US11269591B2 (en) 2019-06-19 2022-03-08 International Business Machines Corporation Artificial intelligence based response to a user based on engagement level
US11336707B1 (en) 2020-12-21 2022-05-17 T-Mobile Usa, Inc. Adaptive content transmission
FR3124877A1 (fr) * 2021-07-01 2023-01-06 Orange Système, dispositif et procédé d’activation d’une fonction d’un dispositif de restitution de contenu
GB2612306A (en) * 2021-10-25 2023-05-03 Sony Interactive Entertainment Inc Streaming system and method
JP2023140221A (ja) * 2022-03-22 2023-10-04 株式会社リコー 情報処理装置、情報処理システム、コミュニケーション支援システム、情報処理方法及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0990416A1 (en) * 1998-10-01 2000-04-05 Mitsubishi Denki Kabushiki Kaisha System for classifying an individual's gaze direction
US6232974B1 (en) * 1997-07-30 2001-05-15 Microsoft Corporation Decision-theoretic regulation for allocating computational resources among components of multimedia content to improve fidelity

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9201006D0 (en) 1992-01-17 1992-03-11 Philip Electronic And Associat Classifying faces
US5841978A (en) * 1993-11-18 1998-11-24 Digimarc Corporation Network linking method using steganographically embedded data objects
JPH07288806A (ja) * 1994-04-20 1995-10-31 Hitachi Ltd 動画像通信システム
JPH0846909A (ja) * 1994-07-29 1996-02-16 Canon Inc 画像信号生成装置および画像通信端末装置
JP3263278B2 (ja) * 1995-06-19 2002-03-04 株式会社東芝 画像圧縮通信装置
US5774591A (en) * 1995-12-15 1998-06-30 Xerox Corporation Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images
US6788314B1 (en) * 1996-03-22 2004-09-07 Interval Research Corporation Attention manager for occupying the peripheral attention of a person in the vicinity of a display device
US5892754A (en) 1996-06-07 1999-04-06 International Business Machines Corporation User controlled adaptive flow control for packet networks
US6437758B1 (en) * 1996-06-25 2002-08-20 Sun Microsystems, Inc. Method and apparatus for eyetrack—mediated downloading
JPH10285566A (ja) * 1997-04-02 1998-10-23 Wakayama Pref Gov 画像通信方法、画像受信装置、画像送信装置、及び画像通信装置
US6351273B1 (en) * 1997-04-30 2002-02-26 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6128397A (en) 1997-11-21 2000-10-03 Justsystem Pittsburgh Research Center Method for finding all frontal faces in arbitrarily complex visual scenes
US6453336B1 (en) * 1998-09-14 2002-09-17 Siemens Information And Communication Networks, Inc. Video conferencing with adaptive client-controlled resource utilization
EP1186148B1 (de) * 1999-06-18 2002-12-11 Swisscom Mobile AG Übermittlung und darstellung von videodaten
US6578962B1 (en) * 2001-04-27 2003-06-17 International Business Machines Corporation Calibration-free eye gaze tracking

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6232974B1 (en) * 1997-07-30 2001-05-15 Microsoft Corporation Decision-theoretic regulation for allocating computational resources among components of multimedia content to improve fidelity
EP0990416A1 (en) * 1998-10-01 2000-04-05 Mitsubishi Denki Kabushiki Kaisha System for classifying an individual's gaze direction

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Proceedings 9th Int. Conf. on Computer Communications and Networks, Yutaka Ishibashi et al.*
Proceedings of the IEEE International Conference, Kazutoshi Fujikawa et al.*

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101833034B1 (ko) * 2012-01-19 2018-02-27 브이아이디 스케일, 인크. 시청 조건에 대한 적응을 지원하는 비디오 전송 방법 및 시스템
KR20180021252A (ko) * 2012-01-19 2018-02-28 브이아이디 스케일, 인크. 시청 조건에 대한 적응을 지원하는 비디오 전송 방법 및 시스템
KR101944092B1 (ko) * 2012-01-19 2019-01-30 브이아이디 스케일, 인크. 시청 조건에 대한 적응을 지원하는 비디오 전송 방법 및 시스템
KR20190011337A (ko) * 2012-01-19 2019-02-01 브이아이디 스케일, 인크. 시청 조건에 대한 적응을 지원하는 비디오 전송 방법 및 시스템
KR102011499B1 (ko) * 2012-01-19 2019-10-21 브이아이디 스케일, 인크. 시청 조건에 대한 적응을 지원하는 비디오 전송 방법 및 시스템
US11849153B2 (en) 2012-01-19 2023-12-19 Vid Scale, Inc. Methods and systems for video delivery supporting adaptation to viewing conditions
KR20210111420A (ko) * 2020-03-03 2021-09-13 에스케이텔레콤 주식회사 딥러닝 기반 미디어 처리시스템 및 방법
KR102618646B1 (ko) * 2020-03-03 2023-12-27 에스케이텔레콤 주식회사 딥러닝 기반 미디어 처리시스템 및 방법

Also Published As

Publication number Publication date
EP1430692A1 (en) 2004-06-23
JP2011172250A (ja) 2011-09-01
JP2005503726A (ja) 2005-02-03
CN1557083B (zh) 2010-09-08
US7284201B2 (en) 2007-10-16
KR20040041168A (ko) 2004-05-14
US20030052911A1 (en) 2003-03-20
JP4768888B2 (ja) 2011-09-07
CN1557083A (zh) 2004-12-22
WO2003026250A1 (en) 2003-03-27

Similar Documents

Publication Publication Date Title
KR101008523B1 (ko) 사용자 주의에 기초하여 실시간 멀티미디어 콘텐츠 전달을 위한 품질 적응
US10650244B2 (en) Video conferencing system and related methods
US11019308B2 (en) Speaker anticipation
US20200322532A1 (en) Head-mountable display system
US9800931B1 (en) Adaptive screen layout for video conferencing
US6043837A (en) Method and apparatus for electronically distributing images from a panoptic camera system
US6931596B2 (en) Automatic positioning of display depending upon the viewer&#39;s location
US6812956B2 (en) Method and apparatus for selection of signals in a teleconference
US7358985B2 (en) Systems and methods for computer-assisted meeting capture
KR101670815B1 (ko) Ｖｒ 및 ａｒ 기반 실시간 지식 공유 서비스 제공 방법
Liu et al. FLYSPEC: A multi-user video camera system with hybrid human and automatic control
US9100544B2 (en) Providing spontaneous connection and interaction between local and remote interaction devices
KR102069930B1 (ko) 이머전 통신 클라이언트, 서버 및 컨텐츠 뷰를 획득하는 방법
WO2008150427A1 (en) Multi-camera residential communication system
WO2004059979A1 (en) Video streaming
KR20040080663A (ko) 유비퀴터스 서비스 기능을 가지는 사설 네트워크 시스템및 그의 동작방법
US10601889B1 (en) Broadcasting panoramic videos from one server to multiple endpoints
US9065975B2 (en) Method and apparatus for hands-free control of a far end camera
JP2021530918A (ja) フォービエイションおよびｈｄｒ
KR20160016826A (ko) 멀티스크린 감상을 위한 콘텐츠 분배를 위한 방법 및 장치
KR20160019072A (ko) 멀티스크린 시청용 콘텐츠 배포를 위한 방법 및 장치
Liu et al. Managing a camera system to serve different video requests
US11720245B1 (en) User interface information enhancement based on user distance
US20110007164A1 (en) Remote ip controlled concealed cam device and methods of use
Khan Advancements and Challenges in 360-Degree Virtual Reality Video Streaming at the Edge: A Comprehensive Review

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee