KR101833034B1 - 시청 조건에 대한 적응을 지원하는 비디오 전송 방법 및 시스템 - Google Patents
시청 조건에 대한 적응을 지원하는 비디오 전송 방법 및 시스템 Download PDFInfo
- Publication number
- KR101833034B1 KR101833034B1 KR1020147023039A KR20147023039A KR101833034B1 KR 101833034 B1 KR101833034 B1 KR 101833034B1 KR 1020147023039 A KR1020147023039 A KR 1020147023039A KR 20147023039 A KR20147023039 A KR 20147023039A KR 101833034 B1 KR101833034 B1 KR 101833034B1
- Authority
- KR
- South Korea
- Prior art keywords
- multimedia content
- screen
- user
- viewing
- content
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000003044 adaptive effect Effects 0.000 claims description 16
- 238000005286 illumination Methods 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 14
- 230000002123 temporal effect Effects 0.000 claims description 9
- 238000013139 quantization Methods 0.000 claims description 8
- 238000003331 infrared imaging Methods 0.000 claims description 5
- 230000006978 adaptation Effects 0.000 abstract description 75
- 238000005516 engineering process Methods 0.000 abstract description 25
- 230000000007 visual effect Effects 0.000 description 48
- 238000004891 communication Methods 0.000 description 42
- 230000004438 eyesight Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 23
- 230000004304 visual acuity Effects 0.000 description 23
- 230000006870 function Effects 0.000 description 22
- 230000008859 change Effects 0.000 description 21
- 230000005540 biological transmission Effects 0.000 description 18
- 210000004027 cell Anatomy 0.000 description 13
- 238000009826 distribution Methods 0.000 description 11
- 230000006399 behavior Effects 0.000 description 10
- 238000007726 management method Methods 0.000 description 9
- 230000035945 sensitivity Effects 0.000 description 9
- 230000011664 signaling Effects 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000007704 transition Effects 0.000 description 7
- 238000009877 rendering Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 210000001525 retina Anatomy 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 241000760358 Enodes Species 0.000 description 3
- 101150014732 asnS gene Proteins 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000013499 data model Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000004308 accommodation Effects 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 238000013475 authorization Methods 0.000 description 2
- 210000005056 cell body Anatomy 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000012092 media component Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000001179 pupillary effect Effects 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 241000237970 Conus <genus> Species 0.000 description 1
- 208000003098 Ganglion Cysts Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 229910005580 NiCd Inorganic materials 0.000 description 1
- 229910005813 NiMH Inorganic materials 0.000 description 1
- 229910003962 NiZn Inorganic materials 0.000 description 1
- 241000700159 Rattus Species 0.000 description 1
- 208000005400 Synovial Cyst Diseases 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004873 anchoring Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000004456 color vision Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000003467 diminishing effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- 230000010344 pupil dilation Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 208000014733 refractive error Diseases 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000004296 scotopic vision Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 229910052717 sulfur Inorganic materials 0.000 description 1
- 239000011593 sulfur Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/756—Media network packet handling adapting media to device capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
- H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/762—Media network packet handling at the source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/2866—Architectures; Arrangements
- H04L67/30—Profiles
- H04L67/303—Terminal profiles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/2866—Architectures; Arrangements
- H04L67/30—Profiles
- H04L67/306—User profiles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Abstract
멀티미디어 콘텐츠의 시청 조건 적응과 관련된 방법 및 시스템이 여기에서 설명된다. 장치에 의해 네트워크로부터 멀티미디어 콘텐츠를 수신하는 방법은 시청 파라미터를 결정하는 단계와, 멀티미디어 콘텐츠에 대한 요청- 이 요청은 시청 파라미터에 기초를 둔 것임 -을 네트워크에 송신하는 단계와, 네트워크로부터 멀티미디어 콘텐츠를 수신하는 단계를 포함할 수 있고, 멀티미디어 콘텐츠는 상기 시청 파라미터에 따른 레이트로 처리될 수 있다. 시청 파라미터는 사용자 시청 파라미터, 장치 시청 파라미터, 또는 콘텐츠 시청 파라미터 중의 적어도 하나를 포함할 수 있다. 상기 방법은 멀티미디어 프리젠테이션 기술(MPD) 파일을 상기 네트워크로부터 수신하는 단계를 또한 포함할 수 있다. MPD 파일은 멀티미디어 콘텐츠의 레이트에 관한 정보를 포함할 수 있고, 상기 레이트에 관한 정보는 시청 파라미터에 관한 디스크립터를 포함할 수 있으며, 상기 디스크립터는 필수적 또는 선택적일 수 있다.
Description
무선 및 유선 네트워크를 통한 스트리밍 콘텐츠는 네트워크에서의 가변적 대역폭으로 인한 적응(adaptation)을 활용할 수 있다. 스트리밍 콘텐츠 제공자는 복수의 레이트(rate) 및/또는 해상도로 인코딩된 콘텐츠를 배포할 수 있다. 이것에 의해 클라이언트는 변화하는 채널 대역폭에 적응할 수 있다. MPEG/3GPP DASH 표준은 무선 및 유선 네트워크를 통한 스트리밍 서비스의 효율적이고 고품질의 전송을 가능하게 하는 엔드투엔드(end-to-end) 서비스의 설계를 위한 프레임워크를 규정할 수 있다.
여기에서는 멀티미디어 콘텐츠의 시청 조건(viewing condition) 적응과 관련된 방법 및 시스템을 설명한다. 장치(device)에서 네트워크로부터 멀티미디어 콘텐츠를 수신하는 방법은 시청(viewing) 파라미터를 결정하는 단계와, 멀티미디어 콘텐츠에 대한 요청을 네트워크에 송신하는 단계를 포함하고, 상기 요청은 시청 파라미터에 기초를 둘 수 있다. 상기 방법은 네트워크로부터 멀티미디어 콘텐츠를 수신하는 단계를 더 포함할 수 있고, 멀티미디어 콘텐츠는 상기 시청 파라미터에 따른 레이트로 처리될 수 있다. 장치는 네트워크로부터 멀티미디어 콘텐츠를 수신하도록 구성될 수 있다. 장치는 시청 파라미터를 결정하고 멀티미디어 콘텐츠에 대한 요청을 네트워크에 송신하도록 구성된 프로세서를 포함할 수 있고, 상기 요청은 시청 파라미터에 기초를 둘 수 있다. 상기 프로세서는 또한 네트워크로부터 멀티미디어 콘텐츠를 수신하도록 구성될 수 있고, 상기 멀티미디어 콘텐츠는 상기 시청 파라미터에 따른 레이트로 처리될 수 있다. 상기 장치는 예를 들면 무선 송수신 유닛, 스트리밍 비디오 플레이어, 비디오 채팅 애플리케이션, 비디오 애플리케이션, 또는 비디오 게임 애플리케이션일 수 있다.
네트워크로부터 장치에 멀티미디어 콘텐츠를 전송하는 방법은 시청 파라미터를 결정하는 단계와, 상기 결정된 시청 파라미터에 적합한 비디오 인코딩의 특성을 결정하는 단계와, 결정된 비디오 인코딩의 특성에 따라 인코딩된 비디오 콘텐츠를 송신하는 단계를 포함할 수 있다.
멀티미디어 콘텐츠는 비디오 파일일 수 있다. 상기 방법은 장치의 DASH 클라이언트를 통해 수행될 수 있다. 프로세서는 장치의 DASH 클라이언트의 일부일 수 있다.
상기 레이트는 멀티미디어 콘텐츠의 인코딩 레이트, 멀티미디어 콘텐츠의 공간 해상도, 멀티미디어 콘텐츠의 시간 해상도, 양자화 파라미터, 레이트 제어 파라미터, 멀티미디어 콘텐츠의 목표 비트 레이트, 멀티미디어 콘텐츠의 공간 필터링, 또는 멀티미디어 콘텐츠의 시간 필터링 중 적어도 하나의 함수일 수 있다.
시청 파라미터는 사용자 시청 파라미터, 장치 시청 파라미터, 또는 콘텐츠 시청 파라미터 중의 적어도 하나를 포함할 수 있다. 사용자 시청 파라미터는 사용자의 존재, 장치의 화면과 관련한 사용자의 위치, 장치의 화면과 관련한 사용자의 방위, 장치의 화면과 관련한 사용자의 시야각(viewing angle), 장치의 화면으로부터 사용자의 거리, 사용자의 시력, 주변 조명 조건, 장치의 화면을 시청하는 사용자의 수, 또는 사용자의 관심점(point of attention) 중의 적어도 하나를 포함할 수 있다.
장치 시청 파라미터는 장치의 이동도, 장치 화면의 크기, 장치 화면의 해상도, 장치 화면의 화소 밀도, 장치에서 멀티미디어 콘텐츠를 디스플레이하는 창의 크기, 또는 장치에서 멀티미디어 콘텐츠를 디스플레이하는 창의 위치 중의 적어도 하나를 포함할 수 있다.
콘텐츠 시청 파라미터는 멀티미디어 콘텐츠의 콘트라스트, 멀티미디어 콘텐츠의 색 재현율, 멀티미디어 콘텐츠의 3차원의 존재, 또는 멀티미디어 콘텐츠의 3차원 콘텐츠의 깊이 범위 중의 적어도 하나를 포함할 수 있다.
상기 시청 파라미터는 장치 화면의 크기, 장치 화면의 해상도, 장치 화면의 각도, 장치 화면의 화소 밀도, 장치 화면의 콘트라스트 비, 사용자 근접 센서, 전방 카메라(front facing camera), 후방 카메라, 광 센서, 적외선 촬상 장치, 초음파 센서, 마이크로폰, 가속도계, 콤파스 또는 자이로스코프 센서 중의 적어도 하나를 이용하여 결정될 수 있다.
상기 장치에 의해 송신되는 요청은 장치에 의해 수신되는 멀티미디어 콘텐츠의 레이트를 결정할 수 있다. 네트워크는 상기 요청에 따라 상기 장치에 의해 수신되는 멀티미디어 콘텐츠의 레이트를 결정할 수 있다. 예를 들면, 상기 요청은 시청 파라미터를 포함한 멀티미디어 프리젠테이션 기술(multimedia presentation description, MPD) 파일일 수 있다.
상기 방법은 네트워크로부터 매니페스트 파일(manifest file)(예를 들면, 멀티미디어 프리젠테이션 기술(MPD) 파일)을 수신하는 단계를 더 포함할 수 있다. 상기 프로세서는 또한 네트워크로부터 멀티미디어 프리젠테이션 기술(MPD) 파일을 수신하도록 구성될 수 있다. MPD 파일은 멀티미디어 콘텐츠의 레이트에 관한 정보를 포함할 수 있다. 레이트에 관한 정보는 시청 파라미터에 관한 디스크립터를 포함할 수 있다. MPD 파일은 디스크립터가 필수적인지 선택적인지 표시할 수 있다. 필수적 디스크립터는 그 레이트로 처리된 멀티미디어 콘텐츠를 수신하기 위해 디스크립터의 요건을 장치가 충족시켜야 한다는 것을 표시할 수 있다. 선택적 디스크립터는 그 레이트로 처리된 멀티미디어 콘텐츠를 수신하기 위해 디스크립터의 요건을 장치가 충족시키는 것이 좋다는 것을 표시할 수 있다.
도 1a는 시력을 위한 스넬렌(Snellen), 랜돌트(Landolt) C, 및 "일리터레이트(Illiterate) E" 차트의 예를 보인 도이다.
도 1b는 "20/20 비전" 행에서 문자 E의 특성들의 예를 보인 도이다.
도 1c는 스넬렌 E 차트로부터 우세한 공간 주파수를 도출하는 예를 보인 도이다.
도 2는 콘트라스트 감도 함수(CSF)와 오버레이된 캠벨-롭슨(Campbell-Robson)의 예를 보인 도이다.
도 3은 그레이스케일(휘도), 적-녹, 및 청-황 채널의 CSF 곡선의 비교 예를 보인 도이다.
도 4는 중심와로부터의 상대 시력(좌측 눈)의 예를 도(degree)로 표시한 도이다.
도 5는 고시점으로부터의 각도에 따른 시력의 변화를 보여주는 예시적인 테스트를 보인 도이다.
도 6은 예시적인 DASH 하이레벨 시스템 구조도이다.
도 7은 예시적인 DASH 클라이언트 모델을 보인 도이다.
도 8은 예시적인 DASH 미디어 프리젠테이션 하이레벨 데이터 모델을 보인 도이다.
도 9는 스트림 액세스 포인트의 파라미터의 예를 보인 도이다.
도 10은 DASH의 프로파일의 예를 보인 도이다.
도 11은 모바일 비디오 스트리밍 시스템의 예시적인 구조를 보인 도이다.
도 12는 상이한 비트 레이트로 인코딩된 멀티미디어 콘텐츠의 예를 보인 도이다.
도 13은 대역폭 적응 멀티미디어 스트리밍의 예를 보인 도이다.
도 14는 모바일 영상 전화 시스템의 예시적인 구조를 보인 도이다.
도 15는 모바일 뷰잉 셋업의 파라미터의 예를 보인 도이다.
도 16은 시거리 분포 형상의 예를 보인 그래프이다.
도 17은 재현가능한 공간 주파수의 가시역과 화면 콘트라스트 간의 관계의 예를 보인 도이다.
도 18은 각종의 시청 상황에서 버전스와 초점 거리의 예를 보인 도이다.
도 19는 깨끗한 단일 양안시 구역(ZCSBV)의 예를 보인 도이다.
도 20은 프리필터링 수단에 의한 공간 주파수의 가시역에 대한 적응의 예를 보인 도이다.
도 21은 전방 카메라를 이용하여 사용자 존재 및 사용자의 시각도를 검출하는 예를 보인 도이다.
도 22a 및 도 22b는 동공 간 거리(IDP)를 이용하여 화면으로부터 사용자까지의 거리를 검출하는 예를 보인 도이다.
도 23은 사용자가 인식할 수 있는 최소 폰트 크기를 검출하기 위한 인터페이스의 예를 보인 도이다.
도 24는 사용자가 최소 공간 세부를 볼 수 있는 최장 거리를 검출하기 위한 인터페이스의 예를 보인 도이다.
도 25는 시청 조건 적응 스트리밍 시스템의 예를 보인 도이다.
도 26은 그러한 시스템의 예시적인 구조도 및 기능 설명을 보인 도이다.
도 27은 시축으로부터의 기울기 함수로서 CFF 값의 지형도의 예를 보인 도이다.
도 28은 시야각(α)이 동일하지만 교차각(β)이 다른 2개의 설정의 예를 보인 도이다.
도 29는 사용자의 거동 및 시청 조건에 적응하는 예시적인 스트리밍 시스템을 보인 도이다.
도 30a는 하나 이상의 본 발명의 실시형태가 구현될 수 있는 예시적인 통신 시스템의 계통도이다.
도 30b는 도 30a에 도시된 통신 시스템에서 사용될 수 있는 예시적인 무선 송수신 유닛(WTRU)의 계통도이다.
도 30c는 도 30a에 도시된 통신 시스템에서 사용될 수 있는 예시적인 무선 액세스 네트워크 및 예시적인 코어 네트워크의 계통도이다.
도 30d는 도 30a에 도시된 통신 시스템에서 사용될 수 있는 다른 예시적인 무선 액세스 네트워크 및 다른 예시적인 코어 네트워크의 계통도이다.
도 30e는 도 30a에 도시된 통신 시스템에서 사용될 수 있는 다른 예시적인 무선 액세스 네트워크 및 다른 예시적인 코어 네트워크의 계통도이다.
도 1b는 "20/20 비전" 행에서 문자 E의 특성들의 예를 보인 도이다.
도 1c는 스넬렌 E 차트로부터 우세한 공간 주파수를 도출하는 예를 보인 도이다.
도 2는 콘트라스트 감도 함수(CSF)와 오버레이된 캠벨-롭슨(Campbell-Robson)의 예를 보인 도이다.
도 3은 그레이스케일(휘도), 적-녹, 및 청-황 채널의 CSF 곡선의 비교 예를 보인 도이다.
도 4는 중심와로부터의 상대 시력(좌측 눈)의 예를 도(degree)로 표시한 도이다.
도 5는 고시점으로부터의 각도에 따른 시력의 변화를 보여주는 예시적인 테스트를 보인 도이다.
도 6은 예시적인 DASH 하이레벨 시스템 구조도이다.
도 7은 예시적인 DASH 클라이언트 모델을 보인 도이다.
도 8은 예시적인 DASH 미디어 프리젠테이션 하이레벨 데이터 모델을 보인 도이다.
도 9는 스트림 액세스 포인트의 파라미터의 예를 보인 도이다.
도 10은 DASH의 프로파일의 예를 보인 도이다.
도 11은 모바일 비디오 스트리밍 시스템의 예시적인 구조를 보인 도이다.
도 12는 상이한 비트 레이트로 인코딩된 멀티미디어 콘텐츠의 예를 보인 도이다.
도 13은 대역폭 적응 멀티미디어 스트리밍의 예를 보인 도이다.
도 14는 모바일 영상 전화 시스템의 예시적인 구조를 보인 도이다.
도 15는 모바일 뷰잉 셋업의 파라미터의 예를 보인 도이다.
도 16은 시거리 분포 형상의 예를 보인 그래프이다.
도 17은 재현가능한 공간 주파수의 가시역과 화면 콘트라스트 간의 관계의 예를 보인 도이다.
도 18은 각종의 시청 상황에서 버전스와 초점 거리의 예를 보인 도이다.
도 19는 깨끗한 단일 양안시 구역(ZCSBV)의 예를 보인 도이다.
도 20은 프리필터링 수단에 의한 공간 주파수의 가시역에 대한 적응의 예를 보인 도이다.
도 21은 전방 카메라를 이용하여 사용자 존재 및 사용자의 시각도를 검출하는 예를 보인 도이다.
도 22a 및 도 22b는 동공 간 거리(IDP)를 이용하여 화면으로부터 사용자까지의 거리를 검출하는 예를 보인 도이다.
도 23은 사용자가 인식할 수 있는 최소 폰트 크기를 검출하기 위한 인터페이스의 예를 보인 도이다.
도 24는 사용자가 최소 공간 세부를 볼 수 있는 최장 거리를 검출하기 위한 인터페이스의 예를 보인 도이다.
도 25는 시청 조건 적응 스트리밍 시스템의 예를 보인 도이다.
도 26은 그러한 시스템의 예시적인 구조도 및 기능 설명을 보인 도이다.
도 27은 시축으로부터의 기울기 함수로서 CFF 값의 지형도의 예를 보인 도이다.
도 28은 시야각(α)이 동일하지만 교차각(β)이 다른 2개의 설정의 예를 보인 도이다.
도 29는 사용자의 거동 및 시청 조건에 적응하는 예시적인 스트리밍 시스템을 보인 도이다.
도 30a는 하나 이상의 본 발명의 실시형태가 구현될 수 있는 예시적인 통신 시스템의 계통도이다.
도 30b는 도 30a에 도시된 통신 시스템에서 사용될 수 있는 예시적인 무선 송수신 유닛(WTRU)의 계통도이다.
도 30c는 도 30a에 도시된 통신 시스템에서 사용될 수 있는 예시적인 무선 액세스 네트워크 및 예시적인 코어 네트워크의 계통도이다.
도 30d는 도 30a에 도시된 통신 시스템에서 사용될 수 있는 다른 예시적인 무선 액세스 네트워크 및 다른 예시적인 코어 네트워크의 계통도이다.
도 30e는 도 30a에 도시된 통신 시스템에서 사용될 수 있는 다른 예시적인 무선 액세스 네트워크 및 다른 예시적인 코어 네트워크의 계통도이다.
이하, 예시적인 실시형태를 각종 도면을 참조하여 구체적으로 설명한다. 비록 이 설명이 가능한 구현의 구체적인 예를 제공하지만, 그 세부는 예시적인 것이고 어떻게든 본 발명의 범위를 제한하지 않는다는 점에 주목하여야 한다.
비디오 전송 시스템은 비디오를 이상적인 재현 환경(예를 들면, 어두운 실내, 높은 콘트라스트의 디스플레이, 넓은 시야각 등)하에서 본다는 가정하에 인코딩된 비디오를 송신할 수 있다. 이것은 화면에 렌더링될 수 있는 시각 정보(예를 들면, 영상, 게임 등)를 인코딩 및 전달하기에 충분한 양의 대역폭을 요구할 수 있다. 여기에서 설명하는 구현 예들은 재현 환경이 이상적인 재현 환경으로부터 벗어나는 상황(예를 들면, 모바일 상황)에서 활용될 수 있다. 예를 들면, 여기에서 설명하는 구현 예들은 예컨대 뷰어가 비주얼 콘텐츠(visual content)를 볼 때 나타나는 시청 조건들을 고려함으로써 이상적인 재현 환경 이하로 콘텐츠를 전송 및 렌더링하는 것이 더 효과적일 수 있는 적응 시스템을 제공할 수 있다.
인간 시각의 몇 가지 현상/특성들을, 여기에 설명하는 구현 예에 의해 활용할 수 있다. 시력은 시각 처리 시스템의 공간 해상도의 측정치일 수 있다. 시력은 비제한적인 예를 들자면 도 1a 내지 도 1c에 도시된 스넬렌(Snellen), 란돌트(Landolt) C, 및/또는 "일리터레이트(Illiterate) E" 차트와 같은 시력측정 차트를 이용하여 측정될 수 있다. 예를 들면, 용어 "20/20-비전"은 성인의 정상 시력을 설명하기 위해 사용될 수 있다. 이것은 20 피트(예를 들면, 약 6 미터)의 거리에서 보았을 때 최소 공간 세부(예를 들면, 스트로크, 갭)이 1 각분(minute of arc)(예를 들면, 시각(visual angle)의 도(degree)의 1/60)을 구성하도록 설계된 문자를 포함한 행을 판독하는 능력을 의미할 수 있다. 그 일례는 도 1b에 도시되어 있다. "20/20 비전"은 1 각분(예를 들면, 시각의 도의 1/60)만큼 작은 세부를 분석하는 능력을 의미할 수 있다.
공간 주파수 한계를 활용할 수 있다. 인간의 시각 계통의 공간 주파수 한계와 시력 사이에는 소정의 관계가 있을 수 있다. 이것은 도 1c에 예시된 것처럼 격자 변환에 대하여 스넬렌 E를 보임으로써 설명될 수 있다. 이것은 20/20(6/6)-행 E 문자에 대하여 1 사이클에 2 각분이 있는 것으로 관측될 수 있다. 1도에는 60분이 있을 수 있고, 그러므로 1도는 30 사이클을 포함할 수 있다. 20/20(6/6) 문자에서는 30 도당 사이클(cycles per degree, cpd)이 있을 수 있다. 예를 들면, 용어 "20/20 비전"은 30 cpd만큼 높은 공간 주파수를 분석하는 능력에 대응할 수 있다.
콘트라스트 민감도 함수(contrast sensitivity function, CSF)를 활용할 수 있다. 시력은 콘트라스트가 높은 문자(예를 들면, 백색 배경 상의 흑색 기호)들을 이용하여 측정될 수 있다. "콘트라스트 민감도 함수"(CSF)는 상이한 콘트라스트의 이미지들을 고려하여 구해지는 HVS 한계의 더 완전한 특성일 수 있다. CSF는 캠벨-롭슨(Campbell-Robson) 차트와 겹쳐질 때 최상으로 이해될 수 있고, 그 일례가 도 2에 도시되어 있다. 도 2를 참조하면, 화소들의 휘도가 수평 치수를 따라 정현 곡선적으로 변조될 수 있다. 변조의 주파수(예를 들면, 공간 주파수)는 대수적으로 증가할 수 있다(예를 들면, 좌측으로부터 우측으로 주파수의 실질적인 지수적 증가와 함께). 콘트라스트는 100%로부터 약 0.5%까지 대수적으로 변할 수 있다(예를 들면, 최하부로부터 최상부까지).
도 2에 도시된 것처럼, CSF는 콘트라스트/공간 주파수 공간에서 가시역(visible region)의 경계를 예시할 수 있다. CSF의 최좌측 점은 시력 한계(예를 들면, 높은 콘트라스트에서의 차단 주파수)와 일치할 수 있다. CSF는 시력 한계에 도달할 때까지 높은 주파수에서 단조롭게 감소할 수 있다. CSF는 낮은 주파수에서 감소할 수 있다. 이것은 상이한 신경생물학적 현상에 의해 야기될 수 있다. CSF의 피크는 약 6 cpd일 수 있다. CSF의 형상은 망막 조명의 수준에 따라 변할 수 있다는 것을 알 수 있다. 낮은 광 조건 하에서는 민감도가 크게 저하될 수 있다.
색각(color vision)의 한계를 활용할 수 있다. 인간의 망막은 넓은 스펙트럼에 반응하는 것(예를 들면, 간상체(rod))과 대조적으로 훨씬 적은 수의 색 민감성 요소(예를 들면, 추상체(cone))를 포함할 수 있다. 이것은 색각의 훨씬 더 낮은 공간 해상도로 그 자체를 명백히 할 수 있다. 도 3은 그레이스케일, 적-녹, 및 청-황 채널에 대하여 생성된 CSF 곡선의 비교 예를 보인 것이다. 도 3에 예시된 것처럼, 청-황 및 적-녹 채널은 약 10-15 cpd에서 컷오프에 도달하는 조기 하락을 가질 수 있다. 이것은 휘도에 대한 시력 한계보다 더 낮을 수 있다. 색 관련 CSF는 휘도에 대한 CSF보다 전체적인 망막 조명에 의해 더 많이 영향을 받을 수 있다. 낮은 광 조건 하에서는 우리가 색을 보지 못할 수 있다. 이 현상은 암소시(scotopic vision)라고 부를 수 있다.
색각의 각도 한계를 활용할 수 있다. 인간은 시야 내에서 좁은 각도로 색을 볼 수 있다. 이것은 인간 망막의 간상체와 추상체의 비대칭적 분포에 관련될 수 있다.
중심시(foveal vision) 대 주변시(peripheral vision)의 비교, 및 상대 시력이 활용될 수 있다. 중심와(fovea)에서의 추상체와 신경절 세포의 높은 농도는 이 영역에서의 더 높은 시력을 유도할 수 있다. 표준적인 시력 검사는 중심 영역(foveal region)에 대한 시력을 평가할 수 있다. 외측 중심와 시력은 급격히 저하될 수 있다. 중심와로부터의 각도 함수로서 상대 시력의 예시적인 그림이 도 4에 도시되어 있다.
도 5는 고시점으로부터의 각도에 따른 시력의 변화를 보여주는 예시적인 테스트를 보인 것이다. 이 테스트는 중앙에 초점이 맞추어진 때 모든 문자가 동일하게 뚜렷하게 나타나는 것을 보여준다. 이 테스트는 최소 문자와 최대 문자 간의 공간 각도가 약 2도인 편안한 시거리(viewing distance)에서 취해질 수 있다. 최소 문자와 최대 문자 간의 선형 크기 차는 약 1:8이다.
이 현상은 그림의 작은 부분이 한번에 완전한 해상도로 관측될 수 있다는 것을 의미한다. 이 현상을 이용한 잠재적인 세이빙(saving)의 한계를 추정하기 위해, 우리는 수평 및 수직 화소 밀도가 동일하고 따라서 세이빙이 면적에 의해 근사화될 수 있다고 가정한다. 화면의 대각선 크기를 D라 하고 종횡비를 r이라고 하면, 화면 크기는 다음과 같이 될 수 있다.
"고해상도" 영역은 각도 β(예를 들면, 약 2°)에 의해 규정된 외부 사각형을 포함할 수 있고, 시거리(d)에 의존할 수 있으며, 다음과 같이 주어질 수 있다.
낮은 해상도(예를 들면, 초점 영역의 외측)는 초점 영역보다 낮은 해상도로, 예를 들면 인수 R에 의해 부호화되는 것으로 가정할 수 있다. 화소 계수율(예를 들면, 이 기술에 의하지 않은 것에 대한 이 기술에 의한 것의 비율)은 다음과 같이 될 수 있다.
D=9.7", r=9/16, R=8, d=25 및 β=2°라고 하면, 상기 비율은 약 15%이고, 85%를 세이빙할 수 있다. 타일들 간의 원활한 변화(예를 들면, 공간적으로 및/또는 시간적으로)로 세이빙은 더 낮아지지만 사용자 경험은 더 좋아질 수 있다.
동적 적응 HTTP 스트리밍(Dynamic Adaptive HTTP Streaming, DASH)이 여기에서 설명되고 활용될 수 있다. DASH는 HTTP 스트리밍을 위한 몇가지 접근법을 통합할 수 있다. 예를 들면, MPEG DASH는 3GPP 릴리즈 10에서 설명된 "3GP-DASH"의 확장형일 수 있다. DASH는 콘텐츠 제공자 및 장치에 의해 지원될 수 있다. DASH는 임의의 장치에 대하여 임의의 액세스 네트워크를 통해 멀티미디어 스트리밍 서비스가 가능할 수 있다.
DASH는 적절한 포맷으로 준비되었을 수도 있는 라이브 및/또는 온디맨드 콘텐츠를 배포할 수 있는 HTTP 서버의 집합으로서 디플로이될 수 있다. 클라이언트는 예를 들면 도 6에 도시된 것처럼 HTTP 서버로부터 및/또는 콘텐츠 분배 네트워크(CDN)로부터 직접 콘텐츠에 액세스할 수 있다. 도 6은 예시적인 DASH 하이레벨 시스템 구조를 보인 것이다. CDN은 다수의 클라이언트가 예상되는 경우의 디플로이를 위해 사용될 수 있는데, 이들 클라이언트가 콘텐츠를 캐시하고 네트워크의 엣지에서 클라이언트 부근에 배치될 수 있기 때문이다.
DASH에 있어서, 스트리밍 세션은 세그먼트가 콘텐츠 제공자 및/또는 CDN으로부터 수신된 때 HTTP를 이용하여 세그먼트들을 요청하고 이들을 함께 이음으로써 클라이언트에 의해 제어될 수 있다. 클라이언트는 미디어 레이트를 모니터링(예를 들면, 연속적으로 모니터링)하고 네트워크 조건(예를 들면, 패킷 에러 레이트, 지연, 지터) 및 그 자체의 상태(예를 들면, 버퍼 충만도, 사용자 거동 및 선호도)에 따라 미디어 레이트를 조정하여 정보를 네트워크로부터 클라이언트에게 효과적으로 이동시킬 수 있다.
DASH 표준의 설계는 예를 들면 도 7에 도시된 것처럼 정보 클라이언트 모델에 기초를 둘 수 있다. 도 7은 예시적인 DASH 클라이언트 모델을 보인 것이다. 도 7은 개념상의 DASH 클라이언트 모델의 논리 성분들의 예를 보인 것이다. DASH 액세스 엔진은 미디어 프리젠테이션 기술 파일(MPD)을 수신하고, 요청을 구성 및 발행하며 및/또는 세그먼트 또는 세그먼트의 일부를 수신할 수 있다. DASH 액세스 엔진의 출력은 미디어의 내부 타이밍을 프리젠테이션의 타임라인에 맵핑하는 타이밍 정보와 함께 MPEG 컨테이너 포맷(예를 들면, MP4 파일 포맷 또는 MPEG-2 트랜스포트 스트림)의 미디어로 구성될 수 있다. 인코딩된 미디어 청크(chunk)의 조합은 타이밍 정보와 함께 콘텐츠의 정확한 렌더링을 위해 충분할 수 있다.
DASH가 인코딩된 미디어 세그먼트에 대하여 부여하는 대부분의 제약은 디코딩, 후처리 및/또는 재생이 어떤 세그먼트가 전송되고 및/또는 세그먼트가 어떻게 전송되는지에 대하여 아무것도 모르는 미디어 엔진에 의해 행하여진다는 가정에 기초를 둘 수 있다. 미디어 엔진은 DASH 액세스 엔진에 의해 청크로 공급된 연속 미디어 파일을 디코딩 및 플레이할 수 있다. 예를 들면, 액세스 엔진은 자바 스크립트이고, 미디어 엔진은 브라우저, 브라우저 플러그인(예를 들면, Flash® 또는 Silverlight®) 및/또는 운영체제에 의해 제공된 것일 수 있다.
도 8은 예시적인 DASH 미디어 프리젠테이션 하이레벨 데이터 모델을 보인 것이다. DASH에 있어서, 멀티미디어 프리젠테이션의 조직은 계층적 데이터 모델에 기초를 둘 수 있다. 미디어 프리젠테이션 기술(MPD)은 DASH 미디어 프리젠테이션(예를 들면, 멀티미디어 콘텐츠)을 구성하는 기간(period)의 시퀀스를 설명할 수 있다. 기간은 미디어 콘텐츠의 인코딩된 버전의 일관된 집합이 이용가능한 동안의 미디어 콘텐츠 기간을 나타낼 수 있다. 이용가능한 비트 레이트, 언어 및/또는 자막(caption)의 집합은 소정 기간 동안 변하지 않을 수 있다.
적응 세트는 하나 또는 수개의 미디어 콘텐츠 컴포넌트의 교환가능한 인코딩된 버전의 집합을 나타낼 수 있다. 예를 들면, 비디오용 적응 세트, 1차 오디오용 적응 세트, 2차 오디오용 적응 세트, 및/또는 자막용 적응 세트가 있을 수 있다. 적응 세트는 또한 다중화될 수 있고, 그 경우에, 교환가능한 다중 송신 버전은 단일 적응 세트로서 설명될 수 있다. 예를 들면, 적응 세트는 소정 기간 동안 비디오 및 메인 오디오를 포함할 수 있다.
리프리젠테이션(representation)은 하나 이상의 미디어 콘텐츠 컴포넌트의 전송가능한 인코딩된 버전을 설명할 수 있다. 리프리젠테이션은 하나 이상의 미디어 스트림(예를 들면, 다중 송신에서 각 미디어 콘텐츠 컴포넌트에 대한 것)을 포함할 수 있다. 적응 세트 내의 임의의 단일 리프리젠테이션은 내포된 미디어 콘텐츠 컴포넌트를 렌더링하는데 충분할 수 있다. 예를 들면, 클라이언트는 예컨대 네트워크 조건 및/또는 다른 인수에 적응하기 위해 적응 세트 내에서 리프리젠테이션들 간에 전환할 수 있다. 클라이언트는 지원하지 않는 코덱/프로파일/파라미터를 이용하는 리프리젠테이션을 무시할 수 있다.
세그먼트는 고정 길이 또는 가변 길이의 세그먼트로 시간적으로 나누어질 수 있는 리프리젠테이션 내의 콘텐츠일 수 있다. URL이 각 세그먼트마다 제공될 수 있다. 세그먼트는 단일 HTTP 요청에 의해 검색될 수 있는 최대의 데이터 단위일 수 있다. 미디어 프리젠테이션 기술(MPD)은 세그먼트에 액세스하고 사용자에게 스트리밍 서비스를 제공하도록 DASH 클라이언트가 HTTP-URL을 구성하기 위한 메타데이터를 포함한 XML 문서일 수 있다.
MPD의 기본 URL은 클라이언트가 세그먼트에 대한 HTTP GET 요청 및 미디어 프리젠테이션의 다른 리소스를 생성하기 위해 사용할 수 있다. HTTP 부분 GET 요청은 바이트 범위를 이용하여 세그먼트의 제한된 부분에 액세스하기 위해 사용될 수 있다(예를 들면, '범위' HTTP 헤더를 통해서). 기본 URL은 로케이션이 이용불능인 경우에 프리젠테이션에 대한 액세스를 허용하고, 멀티미디어 스트림의 전송을 위한 용장성을 제공하며, 및/또는 클라이언트측 부하분산 및 병렬 다운로드를 허용하기 위해 지정될 수 있다.
MPD는 "정적" 또는 "동적"일 수 있다. 정적 MPD 유형은 미디어 프리젠테이션 중에 변하지 않고, 온디맨드 프리젠테이션용으로 사용될 수 있다. 동적 MPD 유형은 미디어 프리젠테이션 중에 갱신될 수 있고, 라이브 프리젠테이션용으로 사용될 수 있다. MPD는 각각의 리프리젠테이션에 대한 세그먼트의 리스트를 연장하고, 새로운 기간을 도입하고, 및/또는 미디어 프리젠테이션을 종결하도록 갱신될 수 있다.
DASH에 있어서, 상이한 미디어 콘텐츠 컴포넌트(예를 들면, 비디오, 오디오 등)의 인코딩된 버전은 공통 타임라인을 공유할 수 있다. 미디어 콘텐츠 내의 액세스 유닛의 프리젠테이션 시간은 글로벌 공통 프리젠테이션 타임라인에 맵핑될 수 있고, 이것은 미디어 프리젠테이션 타임라인이라고 부를 수 있다. 이것은 상이한 미디어 컴포넌트의 동기화를 가능하게 하고 및/또는 동일한 미디어 컴포넌트의 다른 부호화 버전(예를 들면, 리프리젠테이션)의 끊김 없는 전환을 가능하게 한다.
세그먼트는 실제 분할된 미디어 스트림을 포함할 수 있다. 이들은 전환 및/또는 다른 리프리젠테이션과의 동기식 프리젠테이션을 위해 미디어 스트림을 미디어 프리젠테이션 타임라인에 맵핑하는 방법에 대한 추가의 정보를 포함할 수 있다.
세그먼트 가용성 타임라인은 특정의 HTTP URL에서 세그먼트의 가용성 시간을 클라이언트에게 시그널링하기 위해 사용될 수 있다. 예를 들면, 이러한 시간들은 벽시간(wall-clock time)으로 제공될 수 있다. 지정된 HTTP URL로 세그먼트에 액세스하기 전에, 클라이언트는 벽시간을 세그먼트 가용성 시간과 비교할 수 있다.
온디맨드 콘텐츠에 대하여, 일부 또는 모든 세그먼트의 가용성 시간은 동일할 수 있다. 미디어 프리젠테이션의 일부 또는 모든 세그먼트는 임의의 세그먼트가 이용가능이면 서버에서 이용가능일 수 있다. MPD는 정적 문서일 수 있다.
라이브 콘텐츠에 대하여, 세그먼트의 가용성 시간은 미디어 프리젠테이션 타임라인에서 세그먼트의 위치에 의존할 수 있다. 세그먼트는 콘텐츠가 생성되는 시간에 따라 이용가능으로 될 수 있다. MPD는 시간에 따른 프리젠테이션의 변화를 반영하도록 주기적으로 갱신될 수 있다. 예를 들면, 새로운 세그먼트의 세그먼트 URL이 MPD에 추가되고 더 이상 이용할 수 없는 오래된 세그먼트는 MPD로부터 삭제될 수 있다. MPD의 갱신은 예를 들면 세그먼트 URL이 템플릿을 이용하여 설명되는 경우에는 필요하지 않을 수 있다.
세그먼트의 지속기간(duration)은 정상 속도로 제공될 때 세그먼트에 포함된 미디어의 지속기간을 표시할 수 있다. 리프리젠테이션 내의 일부 또는 모든 세그먼트는 동일하거나 개략적으로 유사한 지속기간을 가질 수 있다. 세그먼트 지속기간은 리프리젠테이션마다 다를 수 있다. DASH 프리젠테이션은 비교적 짧은 세그먼트(예를 들면, 수초)로, 또는 전체 리프리젠테이션을 위한 단일 세그먼트를 포함하는 더 긴 세그먼트로 구성될 수 있다.
짧은 세그먼트는 라이브 콘텐츠에 적합하고(예를 들면, 엔드투엔드 대기시간을 줄임으로써) 세그먼트 레벨에서 높은 전환 입도(switching granularity)를 허용할 수 있다. 짧은 세그먼트는 프리젠테이션에서 파일의 수를 증가시킬 수 있다. 긴 세그먼트는 프리젠테이션에서 파일의 수를 감소시킴으로써 캐시 성능을 개선할 수 있다. 긴 세그먼트는 클라이언트가 융통성 있는 요청 크기를 만들 수 있게 한다(예를 들면, 바이트 범위 요청을 이용해서). 긴 세그먼트는 세그먼트 인덱스의 사용을 필요로 할 수 있고 라이브 이벤트에 적합하지 않을 수 있다. 세그먼트는 시간에 따라 연장될 수도 있고 연장되지 않을 수도 있다. 세그먼트는 전체적으로 이용할 수 있는 완전체 및 이산체일 수 있다.
세그먼트는 서브세그먼트로 더욱 세분될 수 있다. 서브세그먼트는 다수의 완전한 액세스 유닛을 포함할 수 있다. "액세스 유닛"(access unit)은 지정된 미디어 프리젠테이션 시간을 가진 미디어 스트림의 유닛일 수 있다. 만일 세그먼트가 서브세그먼트로 나누어지면, 서브세그먼트는 세그먼트 인덱스로 기술될 수 있다. 세그먼트 인덱스는 리프리젠테이션에서의 프리젠테이션 시간 범위 및 각 서브세그먼트에 의해 점유된 세그먼트의 대응하는 바이트 범위를 제공할 수 있다. 클라이언트는 이 인덱스를 미리 다운로드하고, 그 다음에 HTTP 부분 GET 요청을 이용하여 개별 서브세그먼트에 대한 요청을 발행할 수 있다. 세그먼트 인덱스는 예를 들면 파일의 시작부에서 미디어 세그먼트에 포함될 수 있다. 세그먼트 인덱스 정보는 또한 별도의 인덱스 세그먼트로 제공될 수 있다.
DASH는 초기화 세그먼트, 미디어 세그먼트, 인덱스 세그먼트, 및 비트스트림 전환 세그먼트를 규정할 수 있다. 초기화 세그먼트는 리프리젠테이션에 액세스하기 위한 초기화 정보를 포함할 수 있다. 초기화 세그먼트는 지정된 프리젠테이션 시간을 가진 미디어 데이터를 포함할 수도 있고 포함하지 않을 수도 있다. 초기화 세그먼트는 포함된 리프리젠테이션의 미디어 세그먼트의 플레이아웃(play-out)이 가능하게끔 미디어 엔진을 초기화하도록 클라이언트에 의해 처리될 수 있다.
미디어 세그먼트는 미디어 세그먼트 내에서 기술되고/되거나 리프리젠테이션의 초기화 세그먼트에 의해 기술되는 미디어 스트림을 포함 및/또는 내포할 수 있다. 미디어 세그먼트는 다수의 완전한 액세스 유닛을 포함할 수 있다. 미디어 세그먼트는 각각의 내포된 미디어 스트림마다 적어도 하나의 스트림 액세스 포인트(Stream Access Point, SAP)를 포함할 수 있다.
인덱스 세그먼트는 미디어 세그먼트와 관련될 수 있는 정보를 포함할 수 있다. 인덱스 세그먼트는 미디어 세그먼트의 색인 정보를 포함할 수 있다. 인덱스 세그먼트는 하나 이상의 미디어 세그먼트에 대한 정보를 제공할 수 있다. 인덱스 세그먼트는 미디어 포맷 특유형일 수 있다. 그 세부는 인덱스 세그먼트를 지원하는 각각의 미디어 포맷마다 규정될 수 있다.
비트스트림 전환 세그먼트는 지정가능한 리프리젠테이션으로의 전환을 위해 활용될 수 있는 데이터를 포함할 수 있다. 비트스트림 전환 세그먼트는 미디어 포맷 특유형일 수 있고 그 세부는 비트스트림 전환 세그먼트를 허용하는 각각의 미디어 포맷마다 규정될 수 있다. 하나의 비트스트림 전환 세그먼트는 각각의 리프리젠테이션마다 규정될 수 있다.
클라이언트는 미디어의 임의 지점에서 적응 세트 내의 리프리젠테이션들 간에 전환할 수 있다. 임의 위치에서의 전환은 예를 들면 리프리젠테이션 내에서의 코딩 의존성 및 다른 인수 때문에 복잡해질 수 있다. '중복'(overlapping) 데이터의 다운로드는 회피될 수 있다(예를 들면, 복수의 리프리젠테이션으로부터 동일한 시구간 동안의 미디어). 전환은 새로운 스트림에 있어서 무작위 액세스 포인트에서 가장 간단할 수 있다.
DASH는 스트림 액세스 포인트(SAP)의 코덱 독립형 개념을 규정하고 각종 유형의 SAP를 식별할 수 있다. 스트림 액세스 포인트 유형은 적응 세트의 속성들 중의 하나로서 전달될 수 있다(예를 들면, 적응 세트 내의 일부 또는 모든 세그먼트는 동일한 SAP 유형을 갖는 것으로 추정할 수 있다).
SAP는 미디어 스트림의 파일 컨테이너로의 무작위 액세스를 가능하게 한다. SAP는 식별된 미디어 스트림의 재생이 컨테이너 내의 소정 위치로부터 시작하여 전방으로 컨테이너에 포함된 정보를 이용해서 및/또는 컨테이너의 다른 부분으로부터의 가능한 초기화 데이터 및/또는 외부적으로 이용가능한 초기화 데이터를 이용해서 시작하게 하는 컨테이너 내의 소정 위치일 수 있다.
파일 컨테이너 속성은 TSAP를 포함할 수 있다. TSAP는 예를 들면 미디어 스트림의 액세스 유닛의 가장 빠른 프리젠테이션 시간일 수 있고, 그래서 TSAP 이상의 프리젠테이션 시간을 가진 미디어 스트림의 일부 또는 모든 액세스 유닛은 ISAP에서 시작하는 비트스트림 내의 데이터를 이용하여 정확히 디코딩될 수 있고 잠재적으로 ISAP 전에는 데이터가 없다. ISAP는 비트스트림의 가장 큰 위치일 수 있고, 그래서 TSAP 이상의 프리젠테이션 시간을 가진 미디어 스트림의 일부 또는 모든 액세스 유닛은 ISAP에서 시작하는 비트스트림 데이터를 이용하여 정확히 디코딩될 수 있고 잠재적으로 ISAP 전에는 데이터가 없다. ISAU는 미디어 스트림 내에서 디코딩 순서로 최종 액세스 포인트의 비트스트림의 시작 위치일 수 있고, 그래서 TSAP 이상의 프리젠테이션 시간을 가진 미디어 스트림의 일부 또는 모든 액세스 유닛은 상기 최종 액세스 유닛 및 디코딩 순서로 그 다음의 액세스 유닛을 이용하여 정확히 디코딩될 수 있고 잠재적으로 디코딩 순서로 더 빠른 액세스 유닛은 없다. TDEC는 ISAU에서 시작하는 비트스트림 내의 데이터를 이용하여 정확히 디코딩될 수 있는 미디어 스트림의 임의 액세스 유닛의 가장 빠른 프리젠테이션 시간일 수 있고 잠재적으로 ISAU 전에는 데이터가 없다. TEPT는 비트스트림의 ISAU에서 시작하는 미디어 스트림의 임의 액세스 유닛의 가장 빠른 프리젠테이션 시간일 수 있다. TPTF는 ISAU에서 시작하는 비트스트림에서 디코딩 순서로 미디어 스트림의 최초 액세스 유닛의 프리젠테이션 시간일 수 있다.
이들 파라미터를 가진 스트림 액세스 포인트의 일례가 도 9에 도시되어 있다. 이 예에서는 3개의 다른 유형의 프레임, 즉, I, P 및 B 프레임을 가진 인코딩된 비디오 스트림의 예가 도시된다. P 프레임은 디코딩되는 사전의 I 또는 P 프레임을 활용할 수 있고, B 프레임은 사전 및 사후의 I 및/또는 P 프레임 양쪽을 활용할 수 있다. 송신, 디코딩 및/또는 프리젠테이션 순서에는 차이가 있을 수 있다.
도 9는 스트림 액세스 포인트의 파라미터를 보인 것이다. 6개의 SAP 유형이 제공될 수 있다. 다른 SAP 유형의 사용은 프로파일에 대하여 제한될 수 있다(예를 들면, 일부 프로파일에 대해서는 SAP 유형의 부분집합만이 활용될 수 있다).
DASH SAP 유형은 어떤 액세스 유닛이 정확히 디코딩될 수 있는지 및/또는 프리젠테이션 순서에 있어서의 그들의 배열에 의존할 수 있다. 예를 들면, 유형 1의 경우에는 TEPT=TDEC=TSAP=TPFT이다. 이 SAP 유형은 "폐쇄형 GoP 무작위 액세스 포인트"이라고 부르는 유형에 대응할 수 있다. ISAP에서 시작하는 액세스 유닛(예를 들면, 디코딩 순서에 있어서)은 정확히 디코딩될 수 있다. 그 결과는 갭 없이 정확하게 디코딩된 액세스 유닛의 연속적인 시간 시퀀스일 수 있다. 디코딩 순서로 최초의 액세스 유닛은 프리젠테이션 순서로 최초의 액세스 유닛일 수 있다.
예를 들면, 유형 2의 경우에는 TEPT=TDEC=TSAP<TPFT이다. 이 SAP 유형은 ISAU에서 시작하는 미디어 스트림에서 디코딩 순서로 최초의 액세스 유닛이 프리젠테이션 순서로 최초의 액세스 유닛이 아닌 "폐쇄형 GoP 무작위 액세스 포인트"이라고 부르는 유형에 대응할 수 있다. 최초의 2개의 프레임은 후방으로 예측된 P 프레임일 수 있고(예를 들면, 이것은 구문론적으로 H.264 및 기타 코덱에서 전방 전용(forward-only) B 프레임으로서 부호화될 수 있다), 이들은 최초로 디코딩되는 제3의 프레임을 필요로 할 수 있다.
예를 들면, 유형 3의 경우에는 TEPT<TDEC=TSAP<=TPFT이다. 이 SAP 유형은 ISAU 다음의 디코딩 순서로 일부 액세스 유닛이 정확히 디코딩되지 않고 TSAP 미만의 프리젠테이션 시간을 가지는 "개방형 GoP 무작위 액세스 포인트"이라고 부르는 유형에 대응할 수 있다.
예를 들면, 유형 4의 경우에는 TEPT<=TPFT<TDEC=TSAP이다. 이 SAP 유형은 ISAU로부터 시작하고 ISAU 다음의 디코딩 순서로 일부 액세스 유닛이 정확히 디코딩되지 않고 TSAP 미만의 프리젠테이션 시간을 가지는 "점진적 디코딩 리프레시(GDR) 무작위 액세스 포인트"이라고 부르는 유형에 대응할 수 있다.
인트라 리프레싱 처리(intra refreshing process)는 GDR의 일례이다. 인트라 리프레싱 처리는 N개의 프레임에 걸쳐서 연장될 수 있고, 프레임의 일부가 인트라 MB에 의해 부호화될 수 있다. 비중복 부분은 N개의 프레임을 통하여 인트라 부호화될 수 있다. 이 처리는 전체 프레임이 리프레시될 때까지 반복될 수 있다.
예를 들면, 유형 5의 경우에는 TEPT=TDEC<TSAP이다. 이 SAP 유형은 ISAP로부터 시작하여 디코딩 순서로 적어도 하나의 액세스 유닛이 정확히 디코딩되지 않고 TDEC보다 큰 프리젠테이션 시간을 가지며 TDEC가 ISAU로부터 시작하는 임의의 액세스 유닛의 가장 빠른 프리젠테이션 시간인 경우에 대응할 수 있다.
예를 들면, 유형 6의 경우에는 TEPT<TDEC<TSAP이다. 이 SAP 유형은 ISAP로부터 시작하여 디코딩 순서로 적어도 하나의 액세스 유닛이 정확히 디코딩되지 않고 TDEC보다 큰 프리젠테이션 시간을 가지며 TDEC가 ISAU로부터 시작하는 임의의 액세스 유닛의 가장 빠른 프리젠테이션 시간이 아닌 경우에 대응할 수 있다.
DASH의 프로파일은 특징들의 사용의 시그널링 및 상호운용성을 가능하게 하도록 규정될 수 있다. 프로파일은 특정 제약 세트를 부과할 수 있다. 이러한 제약은 미디어 프리젠테이션 기술(MPD) 문서의 특징 및/또는 세그먼트 포맷에 관한 것일 수 있다. 이 제약은 비제한적인 예를 들자면 미디어 콘텐츠 유형, 미디어 포맷, 코덱 및/또는 보호 포맷과 같은 세그먼트 내에서 전송되는 콘텐츠에 관한 것, 및/또는 비제한적인 예를 들자면 비트 레이트, 세그먼트 지속기간, 세그먼트 크기, 수평 시각 프리젠테이션 크기, 및/또는 수직 시각 프리젠테이션 크기와 같은 정량적 측정치에 관한 것일 수 있다.
도 10은 DASH의 6개의 프로파일의 예를 보인 것이다. 프로파일은 세그먼트에 대하여 사용되는 파일 컨테이너의 유형에 기초하여 2개의 주요 카테고리로 조직될 수 있다. 즉, 3개의 프로파일은 ISO 기본 미디어 파일 컨테이너를 이용하고, 2개의 프로파일은 MPEG-2 트랜스포트 스트림(TS) 기반의 파일 컨테이너를 이용하며, 1개의 프로파일은 양측의 파일 컨테이너 유형을 지원할 수 있다. 어느 한쪽의 컨테이너 유형은 코덱 독립형일 수 있다.
ISO 기본 미디어 파일 포맷 온디맨드 프로파일은 온디맨드 콘텐츠에 대한 지원을 제공할 수 있다. 이 프로파일은 각각의 리프리젠테이션이 단일 세그먼트로서 제공될 수 있고, 서브세그먼트가 적응 세트 내에서 리프리젠테이션을 통하여 정렬될 수 있고/있거나 서브세그먼트가 스트림 액세스 포인트과 함께 시작할 수 있음을 특정할 수 있다. 이 프로파일은 최소량의 콘텐츠 관리에 의해 대형 VoD 라이브러리를 지원하도록 사용될 수 있다. 이것은 HTTP 서버의 조정가능하고 효율적인 사용을 허용하고/하거나는 끊김 없는 전환을 단순화할 수 있다.
ISO 기본 미디어 파일 포맷 라이브 프로파일은 비교적 짧은 지속기간을 가진 ISO 파일 포맷의 단일 영화 단편(movie fragment)으로 구성된 세그먼트의 라이브 인코딩 및 낮은 대기시간 전송을 위해 활용될 수 있다. 각각의 영화 단편은 템플릿 생성 URL을 이용할 수 있을 때 요청될 수 있다. 각 세그먼트 요청 전에 MPD 갱신을 요청할 필요는 없다. 이 프로파일에서, 세그먼트는 세그먼트 경계에서 연결되도록 제약될 수 있다. 세그먼트는 적응 세트에서 리프리젠테이션의 적응적 전환에 관계없이 미디어 데이터에서 갭 및/또는 중복 없이 복호될 수 있다. 이 프로파일은 비-라이브 콘텐츠를 배포하기 위해 사용될 수 있다. 예를 들면, 라이브 미디어의 경우에, 프리젠테이션은 종결되지만 온디맨드 서비스로서 계속하여 이용할 수 있다.
ISO 기본 미디어 포맷 메인 프로파일은 ISO 기본 미디어 파일 포맷 온디맨드 및 라이브 프로파일의 수퍼세트(superset)일 수 있다.
MPEG-2 TS 메인 프로파일은 MPEG-2 트랜스포트 스트림(TS) 콘텐츠에 대한 미디어 세그먼트 포맷에서 제약(constraint)을 부여할 수 있다. 예를 들면, 리프리젠테이션은 클라이언트에서 미디어 스트림(예를 들면, 오디오 및 비디오)의 결합이 요구되지 않도록 다중화될 수 있다. 세그먼트는 정수개의 MPEG-2 TS 패킷을 포함할 수 있다. 인덱싱 및 세그먼트 정렬이 권장될 수 있다.
MPEG-2 TS 단순 프로파일은 MPEG-2 TS 메인 프로파일의 부분집합일 수 있다. MPEG-2 TS 단순 프로파일은 예를 들면 끊김 없는 전환의 단순 구현을 허용하기 위해 인코딩 및 다중화되는 콘텐츠에서 제약을 부과할 수 있다. 예를 들면, 끊김 없는 전환은 ISO/IEC 13818-1(예를 들면, MPEG-2 시스템)과 일치하는 미디어 엔진이 동일한 적응 세트 내의 임의의 리프리젠테이션으로부터 연속적인 세그먼트의 연결에 의해 생성된 임의의 비트스트림을 플레이하는 것을 보장함으로써 달성될 수 있다.
전체적인 프로파일은 ISO 기본 미디어 파일 포맷 메인 프로파일 및 MPEG-2 TS 메인 프로파일의 수퍼세트일 수 있다.
모바일 장치의 화면에 렌더링되는 시각 정보의 도착지는 모바일 장치를 소지하고 있는 사용자일 수 있다. 그러나, 사용자의 뷰잉 셋업(viewing setup)은 변할 수 있다. 예를 들면, 사용자는 모바일 장치를 그의 눈에 가깝게 또는 팔 길이에서 소지할 수 있다. 이것은 화면의 세부를 보는 시야각 및/또는 사용자 능력에 영향을 줄 수 있다. 비제한적인 예를 들자면 조명과 같은 다른 외부 요소는 사용자의 시청 경험을 변경 및 바꿀 수 있다. 예를 들면, 사용자는 사무실 내에, 외부의 햇빛 아래에, 그늘에, 또는 완전히 어두운 지역에 있을 수 있다. 사용자는 장치의 화면 상에 나타나는 콘텐츠에 완전히 집중할 수도 있고, 또는 무언가로 바빠서 가끔씩만 모바일 장치의 화면을 볼 수도 있다. 장치(예를 들면, 모바일 장치)는 예를 들면 무선 송수신 유닛, 스트리밍 비디오 플레이어, 비디오 채팅 애플리케이션, 비디오 애플리케이션, 또는 비디오 게임 애플리케이션을 말할 수 있다.
모바일 장치의 시청 조건 변화성의 예에 대하여 설명한다. 그러한 조건은 사용자가 시각 정보를 수신할 수 있는 범위를 표시할 수 있다. 그러한 조건은 사용자에게 시각 정보를 전송하는 통신 시스템의 최종 링크로서 소용될 수 있는 "시각 채널"의 용량을 규정하기 위해 활용될 수 있다.
시각 정보의 모바일 장치로의 전송은 가능한 최상의 사용자 경험을 전송하고 및/또는 무선 네트워크(예를 들면, 대역폭, 용량 등) 및/또는 모바일 장치(예를 들면, 전력)의 리소스를 보존하는 방법으로 사용자 거동 및/또는 시청 조건에 적응할 수 있다. 애플리케이션은 모바일 비디오 스트리밍 및 모바일 비디오 전화통신을 위해 제공될 수 있다. 애플리케이션에 영향을 주는 비주얼 링크 및 요소의 특성들은 예를 들면 뷰잉 셋업의 파라미터, 조명의 유형, 모바일 화면의 한계, 인간의 시각 체계의 한계에 대하여 활용될 수 있다.
시청 조건 적응 인코딩 및 비주얼 콘텐츠의 전송에 의해 개선되는 애플리케이션이 있을 수 있다. 비제한적인 예를 들자면, 그러한 애플리케이션은 모바일 비디오 스트리밍, 모바일 TV, 모바일 비디오 전화통신, 비디오 게임, 및 증강 현실을 포함할 수 있다. 여기에서 설명하는 그러한 애플리케이션의 부류는, 비제한적인 예를 들자면, 모바일 비디오 스트리밍 및 비디오 전화통신을 포함한다. 모바일 비디오 스트리밍 또는 모바일 멀티미디어 스트리밍은 멀티미디어 콘텐츠의 증분적 전송을 위한 기술이고, 이것은 전체 미디어 파일이 전송될 때까지 기다리지 않고 실시간 재생 및 VCR형 내비게이션을 가능하게 한다.
도 11은 모바일 장치에 스트리밍 미디어 콘텐츠를 전송할 때 수반되는 컴포넌트 및 통신 링크의 예를 보인 것이다. 콘텐츠는 스트리밍 배포를 위해 획득 및 인코딩될 수 있다. 예를 들면, 이것은 리얼 프로듀서(Real Producer®), 윈도즈 미디어 인코더(Windows Media Encoder®), 및 아도브 미디어 인코더(Adobe Media Encoder®)와 같은 전용 인코딩 소프트웨어에 의해 행해질 수 있다. 그 다음에, 콘텐츠는 스트리밍 기술에 따라서 전용 스트리밍 서버, 표준 HTTP 서버 등일 수 있는 서버에 배치될 수 있다. 콘텐츠는 또한 예를 들면 배포 능력을 스케일링(scale)하기 위해 소위 콘텐츠 배포 네트워크(CDN)를 형성하는 복수의 서버에 배치될 수 있다. 스트리밍 미디어 콘텐츠의 소비자는 모바일 장치의 웹브라우저 또는 스트리밍 미디어 플레이어와 같은 소프트웨어를 이용하는 사용자일 수 있다. 미디어 플레이어는 서버와의 접속을 개시 및 유지할 수 있다. 그 다음에, 서버는 인코딩된 미디어의 세그먼트를 플레이어에 보낼 수 있고, 플레이어는 그 다음에 상기 세그먼트를 화면에 렌더링할 수 있다.
여러 통신 링크가 스트리밍 미디어 콘텐츠의 전송에 수반될 수 있다. 이들은, 비제한적인 예를 들자면, 스트리밍 서버와 무선 네트워크 게이트웨이(GW) 간의 인터넷 접속 및 라우팅 경로; 사용자 장치(예를 들면, UE)와 기지국(예를 들면, eNB) 간의 무선 링크; 및 사용자의 눈과 모바일 장치의 디스플레이 간의 "비주얼 링크"를 포함할 수 있다(예를 들면, 도 11과 같이).
대역폭 적응을 활용할 수 있다. 대역폭 적응 스트리밍에 있어서, 멀티미디어 콘텐츠는 몇 가지 다른 비트 레이트로 인코딩될 수 있고, 그 예가 도 12에 도시되어 있다. 도 13은 대역폭 적응 멀티미디어 스트리밍의 예를 보인 것이다. 상이한 비트 레이트의 비디오 콘텐츠가 또한 상이한 공간 해상도로 인코딩될 수 있다. 멀티미디어 콘텐츠는 상이한 비트 레이트의 스트림들 간의 천이가 소정의 시간 간격(예를 들면, 2-5초)으로 가능하도록 준비될 수 있다. 만일 상이한 공간 해상도가 상이한 스트림에 의해 사용되면, 미디어 플레이어는 화면 상의 동일 영역을 채우도록 비디오를 스케일링할 수 있고, 그래서 해상도의 변화가 현저하지 않을 수 있다.
인코딩 후에, 콘텐츠는 스트리밍 서버에 이용가능하게 될 수 있고, 요청이 있을 때 클라이언트에 전송될 수 있다. 시작 시에, 서버는 콘텐츠를 디폴트 초기 비트 레이트로 스트리밍할 수 있다. 비트 레이트는 예를 들면 네트워크에서 이용가능한 대역폭에 기초하여 스트리밍 세션 중에 변경될 수 있다. 비트 레이트는 클라이언트의 요청이 있을 때 직접 변경될 수도 있고, 또는 서버가 클라이언트로부터의 피드백에 기초하여 결정할 수도 있다.
멀티미디어 콘텐츠의 전송을 위해 사용할 수 있는 전송 메커니즘은, 비제한적인 예를 들자면, HTTP 스트리밍 및 RTP/RTSP 스트리밍을 포함한다. HTTP 스트리밍에 있어서, 세그먼트화 콘텐츠(예를 들면, 수 초 길이의 세그먼트로 분할된 콘텐츠)는 HTTP를 통하여 전송될 수 있다. 세그먼트는 재송신으로 인해 있을 수 있는 지연을 희생하여 전송되도록 보증될 수 있다. RTP/RTSP 스트리밍에 있어서, 콘텐츠는 UDP를 통해 패킷화 및 전송될 수 있다. 이것은 가능한 손실 패킷을 희생하여 재송신 지연을 회피할 수 있다. HTTP 스트리밍의 예로는 MPEG/3GPP DASH® 및 Apple®의 HLS®가 있다. 리얼 네트워크(Real Network®) 헬릭스(Helix®) 서버는 각종의 HTTP 및 RTP/RTSP 스트리밍 프로토콜을 지원할 수 있다.
모바일 스트리밍을 위한 대역폭 적응을 활용할 수 있다. 스트리밍 비디오가 무선으로 전송될 때, 무선 링크(예를 들면, 사용자 장치를 기지국에 접속하는 것(예를 들면, 도 11과 같이))의 부하 및 다른 특성에 의해 대역폭 변동이 발생할 것으로 예상된다. 대역폭 적응 로직은 기지국(예를 들면, e노드-B) 및/또는 무선 링크에 근접하게 위치된 다른 서버(예를 들면, 프록시)에서 구현될 수 있다. 이것은 더 빠른 응답 및 적응 입도가 달성될 수 있게 한다. 그러한 서버는 예를 들면 인코딩된 스트림의 합성 집합 및 스케일러블 인코딩(scalable encoding)을 수신함으로써, 및/또는 링크를 통해 전송될 정보의 동적 트랜스코딩을 구현함으로써 적응을 구현할 수 있다.
모바일 비디오 전화통신은 다른 위치에 있는 사용자들에 의해 발원된 오디오-비디오 신호를 수신 및 전송하기 위한 기술을 포함할 수 있다. 그 목적은 사용자들 간의 실시간 통신을 가능하게 하기 위해서일 수 있다.
여기에서 설명하는 구현 예들은 예를 들면 소비자 수준의 비디오 통신/메시징 애플리케이션, 모바일 영상 회의 애플리케이션, 모바일 영상 전화 애플리케이션 등에 적용될 수 있다. 그러한 시스템 구조의 일례가 도 14에 도시되어 있다. 모바일 장치는 오디오 및 비디오 정보를 포착하고, 그 정보를 인코딩하고, 및/또는 그 정보를 무선 및/또는 유선 링크의 조합을 통하여 다른 장치에 송신할 수 있다. 이 정보가 수신되면(예를 들면, 모바일 장치를 통해), 그 정보가 디코딩되고 사용자에게 제공된다. 비디오 및 오디오 데이터는 예를 들면 그 시스템의 실시간 특성으로 인해 RTP/UDP 패킷으로서 전송될 수 있다. RTP/UDP 패킷은 송신 중에 손실될 수 있다. 품질을 제어하기 위하여, 모바일 장치(예를 들면, 비디오폰)는 비제한적인 예로서 RTCP와 같은 피드백 프로토콜을 이용할 수 있다. 콜(call)은 비제한적인 예로서 SIP 또는 ITU-T H.323/H.225와 같은 표준 세션 개시 프로토콜을 이용하여 배치될 수 있다.
여러 통신 링크가 모바일 영상 전화 애플리케이션으로 정보를 송신할 때 수반될 수 있다. 예를 들면, 통신 링크는 비제한적인 예를 들자면 무선 네트워크 게이트웨이(GW)들 간의 인터넷 접속/라우팅 경로, 사용자 장치(예를 들면, UE)와 기지국(예를 들면, eNB) 간의 무선 링크, 사용자와 모바일 장치의 디스플레이 및 카메라 간의 "비주얼 링크" 등을 포함할 수 있다(예를 들면, 도 14와 같이).
인터넷과 무선 링크의 특성, 거동 및/또는 한계가 이해될 수 있고, 이들에 적응하기 위해 비디오폰 시스템은 몇 가지 메커니즘을 이용할 수 있다. 그러한 메커니즘은 예를 들면 대역폭 적응 비디오 인코딩, 피드백의 사용, 에러 복원 및 에러 은닉 기술을 포함할 수 있다. 여기에서 설명하는 구현 예들은 비제한적인 예를 들자면 상이한 시거리, 조명, 및 화면에 대한 사용자 집중과 같은 "비주얼 링크"의 특성 및 한계 요소를 활용하여 예를 들면 비디오 송신 및/또는 통신을 개선할 수 있다.
디스플레이 및 사용자에 의해 형성되는 링크일 수 있는 "비주얼 링크"의 특성을 여기에서 설명한다. 모바일 뷰잉 셋업의 파라미터의 예가 도 15에 도시되어 있다. 예를 들면, 수평 슬라이스가 도시되어 있고, 시야가 양안시에 의해 예를 들면 수평으로 약 120°로 형성된다고 가정할 수 있다. 시각 파라미터는 비제한적인 예를 들자면 화면 크기, 화면까지의 거리, 화면 해상도, 화면 밀도(예를 들면, 인치당 화소 수), 또는 시야각을 포함할 수 있다. 일부 시각 파라미터는 상관될 수 있다. 예를 들면, 시야각(예를 들면, 도 15에 도시된 것)은 다음과 같이 계산될 수 있다.
시야각은 사용자가 획득할 수 있는 "유용한" 시각 정보의 양을 제한할 수 있다. 영화관 또는 거실에서 사용되는 것과 같은 고정된 뷰잉 설정에서는 시야각이 예를 들면 약 30° 이상으로 클 수 있다. 표준(예를 들면, SMPTE EG-18-1994)은 영화 재현을 위한 최소의 수용가능한 시야각으로서 30°를 선언할 수 있다. 모바일 세팅에서 시야각은 예를 들면 모바일 화면의 크기가 작기 때문에 훨씬 더 작을 수 있다. 더 잘 보기 위해, 뷰어는 폰을 그의 눈에 더 가깝게 이동시킬 수 있다. 그러나, 여기에는 몇 가지 자연스러운 한계, 및 사람들이 상이한 시거리를 이용하는 이유, 및 많은 경우에 그러한 시거리가 작은 치수의 모바일 화면을 보상할 정도로 충분히 짧게 되지 못하는 이유가 있을 수 있다.
시거리의 범위는 개인별로 다를 수 있다. 다른 거리에서 물체를 보는 능력은 인간 눈의 응화(accommodation)라고 부르는 메커니즘에 기인할 수 있다. 이것은 원거리의 소스로부터 오는 빛이 망막에서 초점이 맺어지도록 인간 눈의 수정체의 곡률이 변경되는 처리일 수 있다. 이러한 곡률 변경은 모양체근에 의해 생성될 수 있다. 모양체근이 이완될 때, 눈은 무한대에 초점이 맞추어질 수 있다. 장력을 인가함으로써, 수정체의 곡률은 증가하여 더 가까운 물체로부터의 빛이 망막에 초점 맞추어지게 한다. 그러나 수정체는 무한대로 "압착"될 수 없다. 수정체가 망막에 빛을 초점 맞출 수 있는 가장 짧은 거리는 최단 명시거리(least distance of distinct vision, LDDV)라고 부른다. 정상의 시력을 가진 대부분의 성인의 경우, LDDV는 약 25cm(10")일 수 있다. 이 수치는 젊은 사람의 경우 더 짧을 수 있지만, 나이가 들면서 증가할 수 있다(예를 들면, 모양체근이 덜 효과적으로 되기 때문에).
LDDV는 모바일 장치의 시거리에 대한 하한을 설정할 수 있다. 다른 자연적인 한계는 사용자의 팔 길이일 수 있다. 이 수치는 사용자의 키와 연관될 수 있다(예를 들면, 키가 5'9"인 사람의 경우 약 26"). 여기에는 비제한적인 예를 들자면 모바일 장치의 크기/유형, 환경, 및/또는 다른 사람이 장치를 다른 시거리에 유지 또는 배치하게 하는 편안함에 대한 개인적 감각을 포함한 다른 요소들이 있을 수 있다. 어떤 경계 내에서, 사용자는 또한 화면을 더 가까이 또는 더 멀리 유지함으로써 최상의 인지 품질을 달성하려고 할 수 있다. 그들의 시거리의 범위는 약 7.5" 내지 23.6"일 수 있다. 평균 시거리는 약 12.7"이고 표준편차는 약 3"일 수 있다. 이것은 매우 넓은 분포를 의미할 수 있다. ±1σ의 범위는 9.7" 내지 15.7"의 거리 범위에 대응할 수 있다. ±2σ의 범위는 6.7" 내지 18.7"의 거리 범위를 의미할 수 있다. 도 16은 이러한 분포의 대략적인 형상의 예를 보인 것이다.
공간 밀도 한계가 설명 및 활용될 수 있다. 시각 정보의 양은 공간 밀도에 의해 제한될 수 있다. 이 한계는 예를 들면 모바일 장치의 화면의 공간 밀도 및/또는 인간 시력의 공간적 감도 한계를 포함할 수 있다.
공간 밀도 또는 디스플레이의 해상도는 비제한적인 예를 들자면 인치당 화소 수(ppi)와 같은 절대 메트릭으로 보고될 수 있다. 비제한적인 예를 들자면 1°의 시야각에 대응하는 화소의 수와 같은 각도 특성이 여기에서 사용될 수 있다. 시거리를 알고 있을 때, 1°의 시야각에 대응하는 화소의 수는 다음과 같이 계산될 수 있다.
인간의 시각 체계(human visual system, HVS)는 공간 해상도에 그 자신의 한계를 둘 수 있다. 시력 한계는 정상 시력(예를 들면, 소위 "20/20")을 가진 사람이 시야각 정도의 1/60만큼 작은 공간적 세부를 인식하는 것을 말할 수 있다. 이것은, 인간의 시력 한계를 정합 또는 초월하게 하기 위해, 결과적인 각 밀도가 시야각 정도에서 적어도 60 화소로 되도록 화면 밀도 및 화면까지의 뷰어의 거리가 정해질 수 있다는 것을 의미할 수 있다. 임의의 상당한 정도로 이 한계를 초월하는 것은 정상 시력을 가진 사용자가 그것을 식별하지 못할 수 있기 때문에 수확 체감(diminishing returns)을 제공할 수 있다.
뷰잉 설정의 예를 여기에서 설명한다. 표 1은 몇 가지 가능한 뷰잉 설정의 파라미터의 예를 제공한다. 표 1은 비제한적인 예를 들자면 랩톱, 태블릿 및 스마트폰뿐만 아니라 각종의 가능한 시거리와 같은 현대의 모바일 장치의 몇 가지 부류를 생각할 수 있다. 굵은 밑줄로 표시된 케이스는 시야각이 30°이상인 경우이고 이것은 종래의 설정에서 TV 또는 영화를 보기에 충분하게 넓은 것으로 생각할 수 있다. 보통 밑줄로 표시된 케이스들은 재현 설정의 각 밀도가 시력 한계를 초과하는 경우일 수 있다.
[표 1]
뷰잉 설정의 예
일부 모바일 장치(예를 들면, 스마트폰)는 매우 넓은 범위에서, 예를 들면 서브-5°로부터 미드-20°까지 변동하는 시야각을 가질 수 있다. 또한, 매우 짧은 시거리를 갖는 경우에도, 시야각은 일부 재현 설정에 필요한 30°에 이르지 못할 수 있다. 더 큰 장치(예를 들면, 랩톱 또는 태블릿)는 30° 이상의 시야각을 수용할 수 있다. 모바일 화면에 의해 달성가능한 각 밀도는 인간 시각의 시력 한계와 정합되거나 시력 한계를 초과할 수 있다. 모바일 디스플레이 기술은 뷰어가 더 이상 수신 및 인식할 수 없는 밀도로 비주얼 콘텐츠를 재현할 수 있다. 예를 들면, 시거리가 높을수록 각 밀도가 더 높고, 비주얼 링크에서 송신기(예를 들면, 디스플레이) 및 수신기(예를 들면, 인간의 눈)의 능력의 불균형이 더 높다. 미래의 디스플레이 기술에 의해, 이 불균형은 증가할 수 있다. 그러한 조건 하에서, 화면에 의해 지원되는 최고의 공간 해상도로 자연적인 비주얼 콘텐츠를 인코딩 및 전송하는 것은 점진적으로 낭비가 될 수 있다.
조명의 효과가 설명 및 활용될 수 있다. 시거리 및 시야각을 변경하는 것 외에, 모바일 시청 경험은 각종의 조명 환경에 의해 영향을 받을 수 있다. 이러한 환경은 보는 장소(예를 들면, 실내 또는 실외), 하루 중의 시간, 계절, 지오로케이션, 및/또는 많은 다른 요소에 따라 변할 수 있다.
모바일 화면에서 방사된 광은 각종의 주변 소스로부터 반사된 광과 "혼합"될 수 있다. 그 결과, 화면에 투영된 이미지의 색이 완전히 지워질 수 있다. 이것은 예를 들면 콘트라스트의 감소, 색 재현율의 감소, 및 색 균형의 이동과 관련하여 정량화될 수 있다. 예를 들면, 콘트라스트비는 백색 및 흑색 상태에서 각각 총 디스플레이 휘도를 나눔으로써 계산될 수 있다. 주변 조명하에서 디스플레이로부터의 총 휘도는 다음과 같이 계산될 수 있다.
여기에서 Ldisplay는 디스플레이에 의해 방사된 휘도이고, Lspec 및 Ldiff는 직접 광원 및 확산 광원으로부터의 조도이며, Rspec 및 Rdiff는 모바일 화면의 경면 및 확산 반사 특성이다. 콘트라스트는 적당한 조도인 경우에도 신속히 떨어질 수 있다.
화면의 감소된 콘트라스트의 결과 중의 하나는 인간 관측자가 볼 수 있는 공간 주파수의 감소된 범위일 수 있다. 이것은 인간 시각의 소위 콘트라스트 민감도 함수(CSF)를 고려함으로써 설명될 수 있다. 이 함수의 예시적인 도형은 도 17에 도시되어 있다.
콘트라스트가 매우 높을 때, 가시 주파수의 범위는 도 17의 맨 우측에 도시된 것처럼 예를 들면 시력 경계에 의해 제한될 수 있다. 만일 콘트라스트 비가 작으면, 1개 또는 2개의 포인트에서 CSF를 터치하는 하부 경계를 규정할 수 있다. 우측 포인트는 최대 가시 공간 주파수를 규정할 수 있다. 좌측 포인트는 최소 가시 공간 주파수를 규정할 수 있다. 콘트라스트를 더욱 낮춤으로써, 가시 주파수의 범위는 예를 들면 CSF 곡선의 피크에 대응하는 것까지 감소될 수 있다. 그 피크는 시각(visual angle)의 3-6 도당 사이클(cycle per degree) 사이에 있을 수 있다. 이것은 시력 한계로부터 약 5-10 배 이격될 수 있다.
조도는 예를 들면 동공을 좁힘으로써 시각에 추가적인 영향을 줄 수 있다. 높은 조도에서, 동공은 좁아지고, 이것은 각막(예를 들면, "수정체")의 결함에 의해 야기되는 왜곡을 감소시킬 수 있다. 이것은 전술한 효과와 (예를 들면, 어느 정도까지) 반대일 수 있다.
화면 기울기를 설명하고 활용할 수 있다. 모바일 화면의 기울기는 표면의 수선과 사용자의 보는 방향(예를 들면, 시축) 간의 각도를 말할 수 있다. 예를 들면, 도 15에 도시된 것처럼, 기울기는 0°일 수 있다. 기울기는 변할 수 있다. 경사각은 예를 들면 명도, 콘트라스트, 색 등에 영향을 줄 수 있다. 예를 들면, 아이폰 4®를 30°기울이면 명도를 57% 감소시키고 콘트라스트 비를 2의 계수만큼 강하시킨다.
관심점(point of interest)을 설명하고 활용할 수 있다. 사용자가 화면을 바라볼 때, 그의 눈은 화면의 소정 영역에 맞추어질 수 있다. 인간의 시력은 그러한 초점에서 최대로 될 수 있고(예를 들면, 중심와에서의 투영 이미지), 초점으로부터 멀어지는 임의의 방향으로 감퇴할 수 있다. 예를 들면, 약 50%의 시각 정보가 고시점으로부터 약 2°내에서 획득될 수 있다.
3D 콘텐츠의 인지 깊이의 효과를 설명하고 활용할 수 있다. 뷰어의 거리에 대한 정보는 3D 비디오의 재현이 활용될 때 활용될 수 있다. 예를 들면, 3D 비디오 사전제작의 인지되는 3D 깊이가 영향을 받을 수 있다. 예를 들면, 인지 깊이는 다음과 같이 표현될 수 있다.
여기에서 D는 인지 깊이이고, f는 화면까지의 거리이며, α는 화소 밀도이고, b는 2개의 눈 사이의 기준선 거리(예를 들면, 사용자의 IPD)이고, d는 화면 상에서 객체의 이격도(disparity)(예를 들면, 화소수로)일 수 있다.
화면까지의 뷰어의 거리는 이격도를 조정하고/하거나 깊이 왜곡을 보상하기 위한 다른 뷰를 검색 및 보이기 위해 사용될 수 있다. 3D 시청을 위한 뷰어 거리 기반 적응은 인간 시각의 초점 거리와 버전스(vergence) 간의 차 및 "안락 구역"(zone of comfort)의 관련 개념을 생각함으로써 이해할 수 있다.
도 18은 각종의 시청 상황에서 버전스와 초점 거리의 예를 보인 것이다. 좌측의 3개의 컬럼은 자연스런 시청(N), 광학 교정(예를 들면, 안경)이 있는 자연스런 시청(G), 및 스테레오 3D 시청(S)의 예를 나타낸다. 자연스런 시청에 있어서, 버전스 자극 및 초점 자극은 동일한 거리에 있고, 따라서 서로 일치할 수 있다. 굴절이상에 대한 광학 교정(예를 들면, 안경 또는 콘택트 렌즈)이 있는 자연스런 시청에 있어서, 초점 거리는 교정에 기인하는 초점 배율의 일정한 감분 또는 증분 때문에 버전스 거리와 다를 수 있다. 스테레오 시청은 예를 들면 버전스 거리가 이미지 콘텐츠에 따라 달라지고 초점 거리가 일정하게 유지될 수 있기 때문에 버전스 거리와 초점 거리 간에 불일치를 생성할 수 있다.
도 18의 우측은 좌측에 예시된 6개의 시청 조건에 대하여 버전스 거리(디옵터)의 함수로서 초점 거리(디옵터)를 나타내는 예시적인 도표를 보인 것이다. 녹색 선은 자연스런 시청의 예를 보인 것이고, 청색 선은 광학 교정이 있는 자연스런 시청의 예를 보인 것이며, 적색 선은 스테레오 디스플레이를 시청하는 예를 보인 것이다. 근거리와 원거리가 축 상에 표시되어 있다.
도 19는 깨끗한 단일 양안시 구역(zone of clear single binocular vision, ZCSBV)의 예를 보인 것이다. 초점 거리와 버전스 거리는 세로좌표와 가로좌표에 각각 디옵터로 표시되어 있다. 대각선의 점선은 자연스런 시청과 관련된 버전스 및 초점 자극의 예를 표시한다. "최소 상대 버전스"라고 표시된 선은 뷰어가 각각의 초점 거리에서 자극 목표의 단일의 초점이 잘 맞추어진 이미지를 유지할 수 있는 최단의 버전스 거리를 표시할 수 있다. "최대 상대 버전스"라고 표시된 선은 뷰어가 단일의 초점이 잘 맞추어진 시력을 유지할 수 있는 최장의 버전스 거리를 표시할 수 있다.
시청 조건에 대한 적응을 제공하는 구현 예를 설명하고 활용할 수 있다. 사용자가 자신의 모바일 장치를 다양한 방법으로 소지할 수 있고, 이것은 그들이 획득할 수 있는 시각 정보의 양에 영향을 줄 수 있다. 예를 들면, 표 1에 예시된 것처럼, 상이한 시청 거리 및 모바일 폰 화면의 방위는 시야각을 예를 들면 약 5°부터 25°까지 변화시킬 수 있다. 이것은, 모바일 화면의 밀도가 높다고 가정할 때, 비주얼 링크의 대역폭의 5배의 가변성을 의미할 수 있다. 주변 조명은 콘트라스트 비를 엄청나게 저하시킬 수 있다. 콘트라스트의 저하는 가시성 공간 대역폭을 크게 감소시킬 수 있다(예를 들면, 도 20에 도시된 것처럼). 명도 및 콘트라스트에 있어서 추가 2배의 저하가 폰 화면의 기울기에 의해 야기될 수 있다.
사용자는 화면에 완전히 집중할 수 있고, 또는 다른 어딘가를 볼 수 있다. 만일 사용자가 화면에 완전히 집중하고 있으면, 사용자는 가능한 최상의 영상 품질이 전송되는 것이 유리할 수 있다. 만일 사용자가 화면에 완전히 집중하고 있지 않으면, 품질은 사용자에게 어떠한 불편함도 없이 저하될 수 있다. 사용자는 그의 주의(attention)를 화면의 일부에만 집중할 수 있다. 공간적 분리로 나타나는 세부는 관측되지 않을 수 있다(예를 들면, 관심 영역으로부터 2-3도 이상).
여기에서 설명하는 구현 예는 하나 이상의 시청/시각(viewing/visual) 파라미터(예를 들면, 여기에서 설명하는 것)를 활용하는 시스템 설계에 개선을 제공할 수 있다. 시청/시각 파라미터는 예를 들면 네트워크에서의 부하 및 전력 사용량을 감소시키고, 및 시각 정보의 최상의 감지가능한 품질을 사용자에게 전송하기 위해 사용될 수 있다. 시청/시각 파라미터를 활용하는 구현 예는 여기에서 시청 조건 적응이라고 부를 수 있다.
여기에서 설명하는 구현 예는 사용자에 대한 콘텐츠 전송시에 다른 지점에서 디플로이될 수 있다. 활용되는 시각 파라미터의 효과는 사용자의 장치, 시력, 및/또는 다른 특성에 의존할 수 있다. 예를 들면, 저밀도 화면을 사용하고 및/또는 20/20 이상의 시력을 가진 사용자는 시거리 적응을 활용하는 구현 예로부터 이익을 취하지 못할 수 있고 다른 기술이 유용할 수 있다.
영상 처리 사슬(chain) 툴이 제공될 수 있다. 시청 조건 적응은 시각 정보를 모바일 화면, 예를 들면, 모바일 비디오 스트리밍, 영상 전화 애플리케이션 등에 전송 및/또는 투영하는 시스템의 일부일 수 있다. 그러한 시스템은 영상 비트 레이트 및 품질을 트레이드오프하기 위한 수단을 구비할 수 있다. 그러한 수단은 비제한적인 예를 들자면 복수의 비트 레이트 또는 조정가능한 비디오 인코딩/디코딩(예를 들면, 스트리밍 비디오를 위해)을 생성하는 능력, 코덱/비디오 인코딩/디코딩 사슬의 파라미터를 동적으로 변경하는 능력(예를 들면, 영상 전화 애플리케이션에서) 등을 포함할 수 있다.
인코딩된 비디오의 공간 해상도의 변경은 상이한 비트 레이트(예를 들면, 공간 대역폭)을 달성하기 위한 한가지 방법일 수 있다. 이것은 예를 들면 코덱 내에서(예를 들면, 코덱이 동적 해상도 변경을 지원하는 경우) 또는 전처리 및/또는 후처리 로직에 의해 달성될 수 있다.
전처리기는 비디오의 해상도를 낮출 수 있다(예를 들면, 동적으로 낮출 수 있다). 후처리기는 비디오를 업샘플링하도록 구성될 수 있다. 저역 통과 필터링이 전처리기에 적용될 수 있다. 처리 사슬의 나머지는 본래대로 유지될 수 있다. 일례가 도 20에 도시되어 있다. 그러한 필터는 예를 들어서 만일 낮은 콘트라스트 제도에서의 동작이면 대역 통과 필터일 수 있다. 대역 통과 필터는 볼 수 없는 낮은 주파수를 제거할 수 있다. 신호의 대역폭이 낮을수록 더 낮은 코덱이 생성될 수 있다. 이것은 인코더에게 새로운 목표 레이트 또는 양자화 단계 크기(QP) 파라미터를 전달함으로써 강화될 수 있다.
적응 시스템에서 비디오의 품질과 비트 레이트를 트레이딩하는 수단은 비제한적인 예를 들자면 프레임 레이트의 감소, "슬라이드쇼" 모드로의 전환 등을 포함할 수 있다. 이 수단들은 예를 들면 품질이 사용자에게 불편을 초래하지 않고 감소될 수 있는 경우(예를 들면, 사용자가 화면에 집중하고 있지 않은 때)에 적응 로직에 의해 호출될 수 있다.
시청 조건 적응 구현 예의 속도 및 입도가 제공될 수 있다. 인간 시각의 자연적인 한계는 적응이 소정의 지연을 갖고서 수행되게 한다. 예를 들면, 하나의 특성은 응화 지연(accommodation delay)이라고 부를 수 있다. 응화 지연은 인간의 눈이 하나의 거리로부터 다른 거리로 초점을 변경할 때 걸리는 시간일 수 있다. 응화 지연은 성인의 경우 약 350ms일 수 있다. 예를 들면, 이것은 사용자가 다른 데를 보고 있다가(예를 들면, 모바일 장치의 화면이 아닌 다른 데를 보고 있음) 모바일 장치의 화면을 다시 보는 경우, 사용자의 눈이 초점을 다시 모바일 장치의 화면으로 변경하는 데는 약 350ms가 걸린다는 것을 의미할 수 있다.
단방향 통신 지연은 100-300ms 이내일 수 있다(예를 들면, LTE 무선 네트워크에서). 이것은 예를 들면 모바일 영상 전화 애플리케이션에 대한 것일 수 있다. 지연은 사용자에게 현저하지 않은 방식으로 시청 조건을 변경하도록 여기에서 설명하는 구현 예를 실행하기에 충분할 수 있다. 그러한 지연은 만일 구현 예가 기지국에서 수행된다면 더 느릴 수 있다. 그러한 시스템은 임의의 주어진 시간에 무선으로 WTRU에 송신되는 비디오 층의 선택(예를 들면, 조정가능한 계층 방식으로 인코딩된 경우) 또는 트랜스코딩을 수행할 수 있다. 시각적 재현의 공간 대역폭은 변경될 수 있다. 만일 변경이 작은 증분으로 도입되면(예를 들면, 옥타브당 3-5 단계), 상기 변경은 덜 현저할 수 있다.
시청 조건 적응을 활용하는 구현 예가 설명 및 활용될 수 있다. 전송 시스템에 의해 사용되는 적응 기술이 여기에서 설명된다. 비제한적인 예를 들자면, 사용자의 존재에 대한 검출 및 적응; 화면 기울기에 대한 검출 및 적응; 화면으로부터 사용자 거리에 대한 추정 및 적응; 화면으로부터의 사용자 거리 및 교정 테스트(calibration test)에 의한 사용자 시각에 대한 적응; 조명 조건에 대한 추정 및 적응; 및 사용자의 관심/집중 지점에 대한 추정 및 적응 중의 하나 이상을 포함한 적응 기술의 조합의 일부가 활용될 수 있다.
사용자의 존재에 대한 검출 및 적응을 설명한다. 만일 사용자가 존재하지 않으면, 시스템은 비디오 레이트를 예를 들면 최저 "톨"(toll) 품질 리프리젠테이션까지 떨어뜨리고, 비디오를 슬라이드쇼로 전환하며, 및/또는 비디오를 턴오프할 수 있다. 사용자의 존재를 검출하는 데는 예를 들면 전용 "사용자 근접" 센서를 이용하는 것, 전화기의 전방 카메라를 이용하는 것, 적외선 촬상 장치를 이용하는 것, 초음파 센서를 이용하는 것, 마이크로폰으로부터의 입력을 이용하는 것, 움직임 센서를 이용하는 것 등과 같은 몇 가지 센서 및 기술이 사용될 수 있다.
근접 센서는 사용자가 폰을 통해 대화하고 있을 때 화면의 백라이트를 소등하기 위해 사용될 수 있다. 이 센서로부터의 입력은 콘텐츠(예를 들면, 비디오)가 전송되는 비트 레이트를 정지 또는 조정(예를 들면, 감소)하기 위해 사용될 수 있다. 다른 센서로부터의 입력을 사용할 때, 이 입력은 사용자의 존재를 표시하는 표시자로 변환될 수 있다. 이 표시자는 전송될 콘텐츠(예를 들면, 비디오)의 레이트, 품질 등에 대한 결정을 하기 위해 사용될 수 있다.
전방 카메라로부터의 입력을 이용하는 검출 로직에 대하여 여기에서 설명한다. 시스템은 전방 카메라로부터 이미지를 획득할 수 있다. 이미지 내의 얼굴의 위치를 찾기 위해 얼굴 검출 알고리즘이 사용될 수 있다. 예를 들면, 시스템은 얼굴을 검출하기 위해 비올라-존스 검출기를 사용할 수 있다. 얼굴이 발견되면, 사용자가 존재한다고 결정할 수 있다. 만일 얼굴이 발견되지 않으면, 사용자가 전방 카메라의 시야 밖에 또는 얼굴 인식 알고리즘의 범위 밖에 위치하고 있다고 결정할 수 있다. 그러한 일례가 도 21에 도시되어 있다. 광각 카메라 및 협각 디스플레이의 경우에는 사용자가 화면에 렌더링되는 콘텐츠를 볼 수 없다고 추론할 수 있다. 만일 사용자가 범위 밖에 있으면, 사용자는 전체 화면 해상도를 인지할 수 없다.
화면 기울기에 대한 검출 및 적응을 여기에서 설명한다. 모바일 장치는 모바일 장치의 화면과 관련하여 사용자의 위치 및/또는 방위를 추정하기 위해 사용될 수 있는 센서를 포함할 수 있다. 예를 들면, 센서는 비제한적인 예로서, 전화기의 전방 카메라, 적외선 센서, 초음파 센서, 마이크로폰 어레이 등을 포함할 수 있다. 시스템은 전화기 앞의 시야의 이미지(예를 들면, 가시광, IR, 음파 기반 이미지 등)를 획득할 수 있다. 시스템은 인간 얼굴의 위치를 검출할 수 있다. 시스템은 그 위치와 관련하여 각도를 계산할 수 있다. 예를 들면, 카메라를 센서로서 사용하는 경우, 카메라(예를 들면, 전방 카메라)로부터의 이미지가 포착되고 인간의 얼굴을 검출하기 위해 활용될 수 있다. 비제한적인 예로서 비올라-존스 검출기와 같은 얼굴 검출 기술이 사용될 수 있다. 만일 얼굴이 검출되지 않으면, 시스템은 사용자의 시청 방향이 카메라의 시야각으로부터 절반 이상이 벗어났다고 추론할 수 있다. 예를 들면, 이것은 도 21에 예시되어 있다. 사용자의 얼굴이 검출된 때, 기울기는 다음과 같이 계산될 수 있다.
기울기가 결정되면, 비제한적인 예로서 장치의 구성에 의해 달성될 수 있는 명도 및/또는 콘트라스트에 대한 한계를 구하기 위해 시야각의 함수로서 그 콘트라스트 및/또는 명도와 같은 모바일 화면의 하나 이상의 시청 특성들이 활용될 수 있다. 시스템은 하나 이상의 특성(예를 들면, 아마도 조명에 대한 정보와 함께)을 활용하여 화면 상의 가시 공간 주파수의 범위를 검출할 수 있다. 상기 하나 이상의 특성은 콘텐츠의 인코딩을 위해 사용될 수 있는 공간 해상도 및/또는 필터 파라미터에 대한 결정을 도출하기 위해 사용될 수 있다(예를 들면, 주파수의 범위가 검출된 때).
화면으로부터 사용자 거리에 대한 추정 및 적응에 대하여 설명한다. 화면과 관련하여 사용자의 거리를 검출하기 위해 사용될 수 있는 센서 및 기술이 있을 수 있다. 이것은 예를 들면 전화기 전방 카메라, 적외선 이미징, 초음파 센서 또는 상기 센서들로부터의 입력의 임의 조합에 의해 행하여질 수 있다.
움직임 센서를 이용하여 시청 거리의 가능한 변화를 검출할 수 있다. 시청 거리의 변화는 앞면 카메라로부터의 입력을 이용하여 결정될 수 있다. 예를 들면, 동공 간 거리(interpupillary distance, IPD)와 같은 인간의 얼굴 특징이 사용자의 시청 거리를 분석하기 위해 사용되는 메트릭으로서 활용될 수 있다.
이 로직의 일례는 도 22a 및 도 22b를 참조하여 설명한다. 플레이되는 2개의 각도는 전화기 사양으로부터 알 수 있는 카메라 시야각과 사용자의 양 눈 간의 각도(α)이다. 만일 이미지가 포착되고 및/또는 얼굴 검출기에 의해 처리되면, 그 이미지 내에서 사용자의 양 눈 간의 거리(예를 들면, 화소 수로 측정됨)가 측정될 수 있다. 사용자의 양 눈 간의 각도는 다음과 같이 계산될 수 있다.
이 각도는 사용자와 전화기 간의 거리(d)에 결부시켜 생각할 수 있다.
그러므로, 이 거리는 다음과 같이 계산될 수 있다.
알려지지 않은 변수는 사용자의 IPD일 수 있다. 사용자의 IPD는 애플리케이션에 대한 입력 파라미터로서 추정 및/또는 제공될 수 있다(예를 들면, 특수한 사용자용으로 맞추어질 수 있다). 예를 들면, 대부분의 성인의 IPD는 50-75mm 범위에서 변할 수 있다. 그러한 범위는 추정치로서 사용될 수 있다. 만일 사용자가 그의 정확한 IPD를 파라미터로서 입력하면, 시스템의 수행은 더 정확해질 수 있다. 예를 들면 적응 로직에 대하여 하부 경계 추정치를 아는 것으로(예를 들면, 아는 것만으로) 충분할 수 있다. 화면을 보는 뷰어가 다수이면, 화면에 가장 가까운 뷰어의 거리를 검출하는 것으로 충분할 수 있다.
사용자의 IPD에 기초하여 사용자의 거리를 검출하는데 활용되는 구현 예는 파라미터로서 사용자의 동공 간 거리(IPD)를 추정 및/또는 입력하는 것; 비제한적인 예로서 해상도 및 카메라 앵글과 같은 카메라 파라미터를 구하는 것; 전방 카메라를 이용하여 이미지를 포착하는 것; 이미지 내의 인간 얼굴의 존재 및/또는 위치를 검출하는 것; 이미지 내에서 사용자의 양 눈 간의 거리(예를 들면, 화소 레벨 거리)를 측정하는 것; 및 공지된 양(quantity)에 기초하여 화면까지의 사용자 거리를 계산하는 것을 포함할 수 있다(예를 들면, 그 전부 또는 부분집합).
이미지 내에서 얼굴(예를 들면, 인간의 얼굴)을 검출하는 것은 예를 들면 비올라-존스 검출기를 이용하여 달성될 수 있다. 검출기는 몇 가지 표준 이미지 특징(예를 들면, IPD)의 화소-레벨 크기를 계산할 수 있다. 이미지에서 2개 이상의 얼굴이 검출되면, 화면으로부터 하나 이상의 얼굴까지의 거리가 안정될 수 있다. 화면에서 가장 가까운 얼굴을 활용할 수 있다. 사용자의 거리는 화면에서 가시 공간 주파수의 범위를 결정하기 위해 활용될 수 있다(예를 들면, 아마도 조명 및 시야각에 대한 정보와 함께). 가시 주파수의 범위는 예를 들면 비디오 인코딩/디코딩을 위해 사용되는 공간 해상도 및/또는 필터 파라미터를 결정하기 위해 및/또는 그러한 파라미터를 이용하여 인코딩된 스트림으로 전환하기 위해 활용될 수 있다.
화면으로부터 사용자의 거리 및 교정 테스트에 의한 사용자의 시력에 대한 적응에 대하여 설명한다. 상이한 시거리에서 시각적 세부를 인식하는 사용자 능력을 검출하는 기술은 하나 이상의 테스트를 통해 결정될 수 있다. 예를 들면, 사용자는 화면을 바라보고, 비제한적인 예로서 도 23 및 도 24에 도시된 것과 같이 일련의 질문에 대답할 수 있다. 도 23은 사용자가 가장 편한 위치에서 볼 수 있는 최소의 공간 세부의 검출을 가능하게 하는 예시적인 질문들을 보인 것이다. 도 24의 예시적인 질문을 이용하여, 사용자는 그들이 상기 세부들을 여전히 볼 수 있는 가장 먼 지점까지 카메라/화면을 이동시키도록 지시받을 수 있다. 사용자가 그것을 확인한 때(예를 들면, OK를 누름) 사용자의 사진이 촬영되고, 그의 얼굴이 검출되며, IPD가 계산되고(예를 들면, 화소 영역에서), 이것은 사용자의 시거리에 대응할 수 있다. 이것은 사용자가 미래에 더 짧은 거리 또는 더 긴 거리에 있을 때의 상황을 검출할 수 있다. 하나 이상의 거리/가시적 해상도 지점이 결정될 수 있다. 예를 들면, 사용자에게 2개의 가능한 문자 크기를 이용하여 확인(예를 들면, "OK"를 누름)하도록 요청함으로써(예를 들면, 도 24에서의 테스트 참조), 2개의 거리/가시적 해상도 지점이 구해질 수 있고, 이것은 임의의 거리에 대한 적응을 위해 충분할 수 있다.
조명 조건에 대한 추정 및 적응이 설명되고 활용될 수 있다. 조명 조건은 비제한적인 예를 들자면 주변 광 센서 정보, 전방 카메라, 후방 카메라 등과 같은 하나 이상의 센서를 이용하여 평가될 수 있다. 그러한 정보는 (예를 들면, 화면의 명도 설정과 관련한 정보와 함께) 화면의 달성가능한 콘트라스트 및 총 조명의 양을 추정하기 위해 활용될 수 있다.
추정치는 화면의 기울기에 대한 정보를 이용하여 정제(refine)될 수 있다. 추정된 총 조명은 적당한 콘트라스트 민감도 곡선을 선택하기 위해 사용될 수 있다. 화면의 콘트라스트는 적당한 콘트라스트 민감도 곡선에서 동작 범위를 검출하기 위해 사용될 수 있다. 이것은 화면에서 가시 공간 주파수를 산출할 수 있다.
전면 조명 및 후면 조명은 상이한 방법으로 사용자의 인지도에 영향을 줄 수 있다. 예를 들면, 전면 조명은 화면으로부터 반사될 수 있다. 후면 조명은 동공의 팽창을 변경할 수 있다. 주파수의 범위가 검출되고/되거나 화면까지의 사용자 거리가 알려진 때, 전면 및/또는 후면 조명은 콘텐츠를 인코딩하기 위해 사용되는 공간 해상도 및/또는 필터 파라미터를 결정하고/하거나 그러한 파라미터를 이용하여 인코딩된 스트림으로 전환하기 위해 활용될 수 있다.
뷰어의 관심점에 대한 추정 및 적응이 설명 및 활용될 수 있다. 사용자는 화면의 작은 부분에서 그림의 세부를 인지할 수 있으며, 이것은 여기에서 "관심점"(point of attention, POA)이라고 부른다. 사용자의 POA 외부에 있는 화면 영역의 해상도는 사용자에게 현저한 영향 없이 감소될 수 있다. 사용자의 POA의 추정은 사용자가 화면으로부터 매우 짧은 거리에 있을 때(예를 들면, 넓은 시야각에서) 유용할 수 있다. 예를 들면, 사용자 POA는 콘텐츠 도출형 샐리언시 포인트(saliency point)에 의한 샐리언시 기반 코딩에서 사용될 수 있다. 사용자의 POA는 사용자 경험을 개선하기 위해 추정 및 사용될 수 있다. 사용자 POA는 이 정보로 부호화되지 않는 구 재료의 스트리밍에서 사용될 수 있다.
사용자 POA는, 예를 들면, 동공과 각막경(corneal lens)으로부터의 반사 간의 각도를 측정함으로써 전방 카메라를 이용하여 추정될 수 있다. 사용자가 이 측정치에 근접해야 할 수 있지만, 이것은 측정치가 적절한 때이다.
하기의 것 중 하나 이상이 사용자 POA를 활용하여 구현될 수 있다: 그림을 복수의 섹션 또는 타일로 분할하는 분할을 지원하는 인코더- 여기에서 각 섹션/타일은 다수의 해상도 또는 층으로 인코드될 수 있다 -; 전방 카메라를 구비한 모바일 장치 및 사용자의 뷰잉 포인트를 추정하는 절차; 각 타일에 대한 최적의 해상도를 계산하기 위해 사용되는 구현; 섹션/타일에 대하여 해상도를 사용하는 네트워크를 식별하기 위해 활용되는 시그널링 구현; 및 적응 네트워크 엔티티. 만일 엔티티가 인코더/디코더가 아니면, 몇 개의 층/레이트가 인코더/디코더로부터 및/또는 적응 엔티티를 선택할 서버로부터 전송될 수 있다. 적응은 예를 들면 적응 시간을 감소시키기 위해 네트워크 노드(예를 들면, 노드-B)에서 수행될 수 있다. 렌더링 알고리즘은 섹션/타일을 함께 연결할 수 있다.
컴퓨터 비전 및/또는 컴퓨터 그래픽 기술이 사용될 수 있다. 예를 들면, 비올라-존스 얼굴 검출기 및 시선 추적기가 고시점을 식별하기 위해 사용될 수 있다. 타일 연결은 비제한적인 예를 들자면 스케일 불변 특징 변환(Scale-Invariant Feature Transform, SIFT) 특징과 같은 국부적 특징을 이용하여 행하여질 수 있다.
도 25는 시청 조건 적응 스트리밍 시스템의 예를 보인 것이다. 모바일 스트리밍 비디오 시스템은 시청 조건에 대한 적응을 위해 여기에서 설명하는 하나 이상의 구현예를 통합할 수 있다. 도 11은 스트리밍 시스템의 구조의 예를 보인 것이다. 스트리밍 클라이언트에 의해 사용되는 컴포넌트 및 로직(예를 들면, WTRU에 있는 것)의 예는 도 25에 도시되어 있다. 이 클라이언트는 상이한 레이트 및/또는 공간 해상도로 인코딩된 복수의 비디오 스트림을 저장할 수 있는 스트리밍 또는 HTTP 서버와 통신할 수 있다. 클라이언트 장치는 전방 카메라를 이용하여 시거리 및/또는 조명 레벨을 추정할 수 있다. 예를 들면, 이 파라미터들(예를 들면, 가용 대역폭에 대한 클라이언트의 뷰에 추가하여)을 이용하여 클라이언트가 콘텐츠(예를 들면, 비디오 스트림)를 요청할 수 있는 최상의 해상도를 결정할 수 있다.
스트리밍 서버는 클라이언트 요청에 반응할 수 있다. 예를 들면, 스트리밍 서버는 기성품의 레이트 적응형 HTTP 및/또는 RTSP/RTP 호환 서버일 수 있다. 시스템은 여기에서 설명하는 구현 예의 전부 또는 임의의 부분집합을 이용할 수 있다.
무선 및 유선 네트워크에서의 스트리밍은 예를 들면 네트워크의 혼잡 및 다른 가능한 장애에 기인하여 가변 대역폭에 대한 적응을 활용할 수 있다. 몇 가지 목표 레이트에 대한 멀티미디어 콘텐츠의 동시 인코딩이 활용될 수 있다. 이것은 클라이언트 애플리케이션의 시그널링 및 레이트 전환 로직과 결합될 수 있다. 도 26은 그러한 시스템의 예시적인 구조도 및 기능 설명을 보인 것이다. 도 26의 예는 적응형 HTTP 기반 스트리밍 시스템의 동작을 보인 것이다.
스트리밍 시스템에 있어서, 스트림 전환이 소정의 입도, 예를 들면 약 2-10 초로 가능하게 될 수 있다. 인코딩된 스트림 사이에서 클라이언트가 전환할 수 있는 포인트는 전환점이라고 부를 수 있다. 전환점 사이에서 인코딩 콘텐츠의 부분들을 세그먼트라고 부를 수 있다.
스트리밍 세션 중에, 스트리밍 클라이언트는 각 세그먼트의 전송률을 계산할 수 있고, 이것은 다음 세그먼트의 수신을 위해 이용가능한 네트워크의 대역폭의 추정을 클라이언트에게 제공할 수 있다. 이 추정에 기초하여, 클라이언트는 어떤 다음 인코딩/레이트를 다음 세그먼트용으로 사용할 것인지를 결정할 수 있다. 클라이언트는 그러한 모델에서 활용하는 네트워크 조건을 변경하도록 적응할 수 있다. 인코딩된 스트림(예를 들면, 아마도 인코딩된 스트림의 레이트를 포함함)에 대한 정보(예를 들면, 하이레벨 정보)는 매니페스트 또는 멀티미디어 프리젠테이션 기술(MPD) 파일에 저장될 수 있다. 스트림 내의 각각의 인코딩된 세그먼트에 대한 오프셋 및 타이밍 정보는 세그먼트 인덱스 파일에 저장될 수 있다.
인코딩된 미디어 세그먼트의 포맷, 세그먼트 인덱스, 및/또는 미디어 프리젠테이션 기술(MPD) 파일이 규정될 수 있다. 스트림 전환을 허용하는 공통 속성을 가진 인코딩의 집합은 적응 세트라고 부를 수 있다. 적응 세트의 요소들은 리프리젠테이션이라고 부를 수 있다. 적응 세트는 서브리프리젠테이션을 컴포넌트로서 포함할 수 있다. 리프리젠테이션 및 서브리프리젠테이션은 비제한적인 예를 들자면 오디오, 비디오, 텍스트 등과 같은 하나 이상의 미디어 콘텐츠 컴포넌트를 포함할 수 있다.
MPEG-DASH 적응 세트, 리프리젠테이션, 및/또는 서브리프리젠테이션은 공통 속성을 공유할 수 있다. 예를 들어서, 만일 이들이 비디오를 포함하면, 이들은 @폭, @높이, @사르(sar), 및/또는 @프레임 레이트 속성을 가질 수 있다. 만일 이들이 오디오를 포함하면, 이들은 @오디오샘플링 레이트 속성을 포함할 수 있다. 속성들은 @mimeType 및 @코덱 속성을 포함할 수 있다. 속성들은 필요할 수도 있고 필요하지 않을 수도 있다. 리프리젠테이션은 비제한적인 예를 들자면 @id, @대역폭, @품질등급 등과 같은 그 자신의 독특한 속성을 가질 수 있다.
MPEG-DASH 스트리밍 표준은 비제한적인 예를 들자면 TV 세트, 컴퓨터, 태블릿 및 스마트폰을 포함한 재현 장치에 정보를 전송하기 위해 범용으로 사용될 수 있다. 다른 재현 장치를 사용할 때 뷰잉 셋업의 특성은 다를 수 있다. 예를 들면, 모바일 장치에서 비디오를 볼 때, 모바일 장치의 작은 화면은 편안한 거리에서 유지될 때 5-10°의 시야각을 산출할 수 있다. 사용자가 장치를 그의 손에 쥐고 있을 때, 상기 거리는 더 이상 고정적이지 않을 수 있다. 예를 들면 상기 거리는 사용자의 자세 및 콘텐츠에 대한 집중에 따라 변할 수 있다. 도 7 및 도 8은 모바일 설정에서 뷰잉 셋업의 파라미터 및 시거리 분포의 예를 보이는 도 및 챠트이다.
여기에서 설명하는 것처럼, 표 1은 각종 모바일 장치에 따른 뷰잉 설정의 예를 보인 것이다. 모바일 뷰잉은 작은 폼팩터(small-form-factor) 장치에 대하여 작을 수 있는 넓은 시야각 분포를 가져올 수 있다. 비주얼 콘텐츠의 유효 밀도는 시력 한계를 초과할 수 있다.
일시적인 시각 특성을 생각할 수 있다. 한가지 시간적인 특성은 임계 플리커 주파수(Critical Flicker Frequency, CFF)일 수 있다. 도 27은 시축으로부터의 기울기 함수로서 CFF 값의 지형도의 예를 보인 것이다. 이 측정치들은 우측 눈에 대하여 생성될 수 있다. 흑색 영역은 맹점(blind spot)에 대응할 수 있다. 도 27로부터, 중앙(중심와) 영역에서 CFF는 약 55Hz임을 알 수 있다. 주변 영역에서, CFF는 약 85Hz일 수 있다. 임계 융합 주파수(Critical Fusion Frequency)의 이심률(eccentricity)(예를 들면, 내부 원은 시축으로부터 30°편이에 대응할 수 있다)이 도 27에 도시되어 있다. 이것은 협각(예를 들면, 5-10°) 재현에 의해, 비디오 콘텐츠의 인코딩시에 더 낮은 프레임 레이트가사용될 수 있다는 것을 나타낸다(예를 들면, 광각 재현의 경우와는 반대로).
종래의(예를 들면, 30-40°각도) 시야각에 대하여 생성된 비디오 인코딩은 좁은(예를 들면, 5-10°각도) 시야각 재현을 갖는 모바일 사용자가 보거나 예상할 수 있는 것보다 훨씬 더 많은 정보(예를 들면, 공간 및 시간적 세부에 있어서)를 전송할 수 있다.
좁은 시야각 재현의 전송을 최적화하기 위해, 콘텐츠 공개자는 복수의 기술을 이용할 수 있다. 예를 들면, 콘텐츠 생산자는, 임의의 용인가능한 조합으로, 비디오를 공간적으로 및/또는 시간적으로 다운샘플링하고, 공간 또는 시간 프리필터링 기술을 적용하고, 인코더 레벨 최적화(비제한적인 예를 들면, 특정 재현 설정에 동조될 수 있는 비용 함수와 결합되는 프레임/슬라이스 및 MB 레벨 RD 결정 모드 등)를 이용할 수 있다.
다운 샘플링은 툴을 이용하여 실행될 수 있고, 임의의 추가의 속성 또는 시그널링을 요구할 수도 요구하지 않을 수도 있다. 예를 들면, DASH MPD 포맷은 @폭, @높이, 및/또는 @프레임레이트 속성을 포함할 수 있다. 예를 들어서, 만일 모바일 장치가 본래 720p 해상도를 지원하면, 모바일 장치는 그러한 공간 해상도로 인코딩되지만 지각 용장성(perceptual redundancy)이 프리필터링 및 코드 레벨 최적화에 의해 삭제된 비디오 데이터를 전송하는 것이 바람직할 수 있다.
예를 들면, 다른 구현 예를 이용하여 주어진 고정 시야각에 대한 콘텐츠(예를 들면, 비디오)를 최적화할 수 있다. 자유도 중의 하나로서 시야각을 제거함으로써, 각 인코딩의 효율이 개선될 수 있다.
예를 들면 DASH에서 주문생산형 스트림을 사용할 수 있게 하는 추가의 속성에 대하여 여기에서 설명한다. DASH MDP 구문(syntax)에서의 속성은 비제한적인 예를 들자면 @시야각을 포함할 수 있고, 이것은 주어진 리프리젠테이션 또는 적응 세트의 인코딩된 콘텐츠를 보기 위한 의도된(예를 들면, 최적의) 시야각을 특정하는 속성일 수 있다. @최소시야각 및 @최대시야각은 시거리의 범위/주어진 리프리젠테이션 또는 적응 세트에 의해 지원되는 인코딩의 범위를 식별하는 속성일 수 있다.
DASH는 콘텐츠가 주어진 차단 주파수 파라미터에 의해 인코딩되기 전에 저역 통과 필터링된 것을 표시하는 속성일 수 있는 @차단 및/또는 @주파수응답 파라미터를 포함할 수 있다. @차단 및/또는 @주파수응답 파라미터는 공간 프리필터링에 의해 주문생산을 구현하기에 충분할 수 있다. @시야각 속성은 그러한 결정을 인코더/디코더에 남길 수 있다. @최소시야각 및 @최대시야각의 도입은 소정의 범위에 대하여 허용될 수 있고, 인코딩된 스트림의 설명에 사용될 수 있다.
시야각은 적어도 물리적인 화면 크기(예를 들면, 화면 폭) 및 뷰어와 화면 간의 거리의 조합에 의해 시그널링될 수 있다. 예를 들면, 시야각은 다음과 같이 시그널링될 수 있다.
물리적인 화면 크기 및 뷰어와 화면 간의 거리는 뷰잉 셋업의 특징화를 제공할 수 있다. 예를 들면, 2D 이미지/비디오의 재현을 위해, 시야각이 활용될 수 있다. 3D 이미지 및 비디오의 재현에 있어서는 적어도 하나 이상의 자유도가 있을 수 있고, 따라서 물리적인 화면 크기 및 뷰어와 화면 간의 거리의 시그널링이 활용될 수 있다. 그러한 일례가 도 28에 도시되어 있다.
도 28은 시야각(α)이 동일하지만 교차각(β 및 β')이 다른 2개의 설정의 예를 보인 도이다. 도 28을 참조하면, 시야각(α)은 양측 설정에 대하여 동일할 수 있다. 교차각(β 및 β')은 다를 수 있다. 교차각의 차이는 시거리와 동공 간 거리(IPD) 간의 할당량이 증가함에 따라서 감소할 수 있다. IPD는 사람마다 차이가 있을 수 있다. 예를 들면, 성인의 전형적인 IPD는 약 50-75mm(1.96-2.95")의 범위이다. 그러므로, 3D 재현을 위한 시청 설정의 시그널링은 사용자의 IPD를 고려할 수 있다.
도 28을 참조하면, 시야각(α)과 교차각(β)을 활용할 수 있다. 이 파라미터들은 비제한적인 예를 들자면 물리적인 화면 크기, 사용자의 눈과 화면 간의 거리, 및 사용자의 IPD와 같은 속성을 포함한 디스크립터로부터 도출될 수 있다. 디스크립터는 이들이 몇 가지 파라미터의 임의 조합을 리스트하도록 또한 규정될 수 있고, 여기에서 부분집합이 활용될 수 있다. 예를 들면, 디스크립터는 비제한적인 예를 들자면 물리적인 화면 크기, 사용자의 눈과 화면 간의 거리, 및/또는 시야각과 같은 파라미터에 의해 규정될 수 있다. 임의의 2개의 파라미터를 활용하여 제3의 파라미터를 도출할 수 있다.
여기에서 설명하는 뷰잉 셋업의 파라미터들의 임의 조합이 적응 세트, 리프리젠테이션 및/또는 서브리프리젠테이션의 미리 구성된 속성으로서 DASH 표준의 MPD 파일에 포함될 수 있다. 뷰잉 셋업의 파라미터들의 임의 조합이 예를 들면 DASH MPD 파일의 일반 디스크립터에 의해 시그널링될 수 있다. 그러한 시그널링의 일례를 아래에 제시한다.
그러한 시그널링의 다른 예를 아래에 제시한다.
예를 들면, "schemeIdUri"는 이 속성을 이용하는 사양 및/또는 디플로이 시스템의 식별자를 제공할 수 있다. 거동 속성은 일반 클라이언트(예를 들면, 스트리밍 클라이언트)가 어떻게 디스크립터(예를 들면, 시청 파라미터와 관련된 것)에 반응하는지를 표시할 수 있다. 예를 들어서, 만일 디스크립터가 필요한 것(예를 들면, "요구되는", "본질적인" 등)으로 특정되면, 이 디스크립터(예를 들면, 시청 파라미터)를 이해하고 및/또는 활용할 수 있는 클라이언트(예를 들면, 클라이언트만)는 그 리프리젠테이션을 이용할 수 있다. 만일 "거동"(behavior)이 임의의 것(예를 들면, "선택적인", "보충적인" 등)으로 특정되면, 클라이언트는 클라이언트가 디스크립터(예를 들면, 시청 파라미터)를 이해하지 못하는 경우에도 리프리젠테이션을 이용할 수 있다. "값"(value)은 이 디스크립터가 하나 이상의 값을 포함한다는 것을 특정할 수 있다. 예를 들면, 여기에서 제공하는 예에 있어서, 값은 시야각을 말할 수 있다.
예를 들면, "schemeIdUri"는 이 속성을 이용하는 사양 및/또는 디플로이 시스템의 식별자를 제공할 수 있다. 예를 들어서, 만일 "거동"(behavior)이 "필요한" 것으로 특정되면, 이 디스크립터(예를 들면, 시청 파라미터)를 이해하고 및/또는 활용할 수 있는 클라이언트(예를 들면, 클라이언트만)는 그 리프리젠테이션을 이용할 수 있다. 만일 "거동"(behavior)이 "선택적인" 것으로 특정되면, 클라이언트는 클라이언트가 디스크립터(예를 들면, 시청 파라미터)를 이해하는 경우에도 리프리젠테이션을 이용할 수도 이용하지 않을 수도 있다. "값"(value)은 이 디스크립터가 하나 이상의 값을 포함한다는 것을 특정할 수 있다. 예를 들면, 여기에서 제공하는 예에 있어서, 값은 시야각을 말할 수 있다.
디스크립터는 적응 세트 레벨에서 규정될 수 있다. 디스크립터는 리프리젠테이션 및/또는 서브리프리젠테이션 레벨에서 규정될 수 있다. 비제한적인 예로서 "urn:sdo:dash-ext1:viewing-angle", "urn:sdo:dash-ext1:min-viewing-angle", 및 "urn:sdo:dash-ext1:max-viewing-angle"과 같은 URI는 시야각의 최소, 최대, 및/또는 바람직한 값을 식별하기 위해 사용될 수 있다. 유사한 URI가 비제한적인 예를 들자면 디스플레이 크기 및 시거리 파라미터 조합과 같은 정보의 대안적인 통신 방법에 대하여 규정될 수 있다.
예를 들면, DASH 스트리밍 클라이언트에서 시각 속성을 이용하는 몇 가지 방법이 있을 수 있다. 예를 들면, 중간 시거리 및/또는 하나 이상의 시야각 파라미터를 활용할 수 있다. 예를 들면, DASH 스트리밍 앱(app)은 OS 지원 API를 이용하여 그 앱이 동작하는 장치의 물리적 파라미터를 획득할 수 있다. 그러한 파라미터는 비제한적인 예를 들자면 장치의 이동도(예를 들면, 네트워크 접속 유형으로부터 추론된 것), 화면의 고유 해상도, 화면 또는 화면 대각선의 화소 밀도, 렌더링이 창에서 행해지는지 여부(예를 들면, 창의 크기 및 그 위치) 등을 포함할 수 있다.
장치에서 동작하는 DASH 클라이언트는 또한 그 크기를 추론할 수 있다. 예를 들어서, 만일 장치가 모바일이고 5" 이하의 화면을 가지면, DASH 클라이언트는 장치가 핸드헬드 장치라고 추론할 수 있다. DASH 클라이언트는 중간 시거리 특성을 을 선택할 수 있다(예를 들면, 도 26 참조). 클라이언트는 시야각을 추정할 수 있다. 이 추정치를 이용하여, 클라이언트는 예를 들면 @시야각(및/또는 @최소시야각, @최대시야각, 또는 @차단 또는 @주파수응답) 값을 가능한 목표로서 활용해서 적응 세트 및 리프리젠테이션을 선택할 수 있다.
동적으로 추정된 시거리 및/또는 시야각 파라미터가 사용될 수 있다. 콘텐츠 공개자/분배자는 지능형 모바일 스트리밍 클라이언트 애플리케이션을 디플로이할 수 있다. 애플리케이션은 센서를 이용하여 사용자와 장치 간의 거리를 추정할 수 있다. 애플리케이션은 사용자가 콘텐츠를 볼 때(예를 들면, 비디오를 볼 때) 제공할 수 있는 시야각을 결정할 수 있다.
도 29는 사용자의 거동 및 시청 조건에 적응하는 예시적인 스트리밍 시스템을 보인 것이다. 클라이언트는 그 구성에 대한 최상의 정합을 달성하는 스트림에 가입할 수 있다(예를 들면, 이것은 여기에서 설명하는 하나 이상의 시각 특성을 포함할 수 있다). 예를 들면, 사용자의 거동 및 시청 조건, 및 하나 이상의 프리인코딩된 스트림에 기초해서, 클라이언트는 다른 시야각에 대한 콘텐츠의 전송을 최적화할 수 있다.
MPEG-DASH 표준은 HTTP 기반 적응 스트리밍 시스템에 대한 프레임워크를 제공할 수 있다. 이 표준은 콘텐츠 특성의 설명에 대한 속성들의 집합을 제공하여 스트리밍 클라이언트가 리프리젠테이션의 선택 및 콘텐츠의 렌더링에 대한 통보된 결정을 행할 수 있게 한다. 예를 들면, DASH의 인코딩된 비디오는 @코덱 - 사용되는 코덱 유형, 프로파일 및 레벨; @대역폭 - 세그먼트를 인코딩하기 위해 사용되는 목표 레이트; @폭, @높이, @사르(sar) @프레임레이트 - 비디오 해상도, 종횡비, 프레임 레이트; 및 @품질등급 - 적응 세트 내의 다른 인코딩과 관련한 품질 등급 중의 하나 이상에 의해 설명될 수 있다.
하나 이상의 속성을 이용해서, DASH 클라이언트는 특정 장치의 렌더링 능력과 최상으로 정합하는 코덱 및 비디오 특성을 가진 적응 세트 및/또는 리프리젠테이션을 결정할 수 있다. 가용 네트워크 대역폭에 대한 조정은 @대역폭 속성 및/또는 다른 레이트로 인코딩된 스트림들 간의 전환을 체크함으로써 달성될 수 있다.
시청 위치는 비제한적인 예를 들자면 영화관 및 거실과 같은 시청 환경에서 화면의 넓은(예를 들면, 25-40°) 뷰를 달성하도록 선택될 수 있다. 예를 들면, THX는 영화 재현을 위한 최적의 시야각으로서 36°를 제안한다. 유사하게, SMPTE EG-18-1994는 적어도 30° 와이드의 시야각을 제안한다. 사용자가 모바일 장치(예를 들면, 스마트폰 또는 태블릿)에서 비디오를 볼 때, 시야각은 제안된 것보다 더 작을 수 있다(예를 들면, 5-20°). 이것은 모바일 장치의 제한된 물리적 치수 및/또는 사용자가 모바일 장치의 화면으로부터 이격된 거리에 기인할 수 있다.
모바일 뷰잉 셋업의 파라미터들의 예는 도 15에 도시되어 있다. 이 파라미터들은 예를 들면 하기의 수학식에 따라 상관될 수 있다.
표 1을 아래에 다시 나타내었다. 표 1은 몇 가지 가능한 시청 설정의 파라미터들의 예를 제공한다. 표 1에서, 고정적인 뷰잉 셋업의 특성은 모바일 장치의 예를 이용한 가능한 설정과 비교될 수 있다.
[표 1]
뷰잉 설정의 예
양측 화면 방위에 대한 시야각이 계산될 수 있다. 화면에서 정보의 결과적인 공간 밀도가 계산될 수 있다. 예를 들면, 공간 밀도는 다음과 같이 표현될 수 있다.
예를 들면, 표 1에서는 모바일 환경에서의 시야각이 작은 것(예를 들면, 작은 폼팩터 장치에 대하여 5-10°)이 나타나 있다. 이것은 TV를 보는 사용자가 경험하는 시야각보다 3-6배 더 작을 수 있다. 시야각 장벽 정도의 1/60에 걸친 결과적인 공간 밀도는 시력 한계라고 부를 수 있다. 그러한 경우의 예가 표 1에 나타나 있다. 일부 경우에, 밀도는 시력 한계의 2배를 초과할 수 있다.
광각 뷰잉에 대하여 준비된 비디오의 미세한 공간 세부는 모바일 화면에서 보일 수도 있고 보이지 않을 수도 있다. 일부 또는 모든 공간 주파수의 가시성은 스케일/각도의 편이에 의해 영향을 받을 수 있다. 좁은 시야각은 더 높은 시간적 감도를 갖는 영상의 주변 영역을 배제하여 잠재적으로 비디오를 정상적으로 광각 재현을 위해 활용되는 것보다 낮은 레이트로 렌더링할 수 있게 한다.
스트리밍은 다른 장치 및/또는 재현 설정에 대하여 최적화될 수 있다. 예를 들면, 고정된(예를 들면, 광각) 재현을 가정하는 비디오의 인코딩은 작은 모바일 장치에 전송하기 위해 사용되는 경우에 효율적이지 않을 수 있다. 예를 들어서 재현이 좁은 시야각 구성을 이용하여 행하여지는 것으로 알려진 경우에는 동일한 사용자 경험을 달성하기 위해 훨씬 더 적은 수의 비트가 활용될 수 있다.
하나 이상의 코덱 레벨 및/또는 전처리 툴을 활용하여 좁은 시야각 구성을 가진 장치의 콘텐츠(예를 들면, 비디오)를 인코딩 및/또는 처리할 수 있다. 상기 툴은 비제한적인 예를 들자면 인코딩 전에 비디오를 공간적으로 및/또는 시간적으로 다운샘플링하는 것, 공간적 및/또는 시간적 프리필터링(예를 들면, 인코딩 전의 저역 통과 필터링), 코덱 레벨 툴(예를 들면, 양자화, R/D 결정 로직 등)의 사용 등을 포함할 수 있다.
여기에서 설명하는 구현 예는 다수의 장치에 대하여 사용될 수 있는 인코딩된 스트림 및/또는 MPD 파일의 생성, 필요로 하는 더 적은 수의 인코딩 및/또는 MPD 파일, 다른 재현 환경에 대하여 인코딩된 스트림(예를 들면, 동일한 비트 레이트 및/또는 해상도를 갖지만 외관이 다른 스트림)의 독특한 식별, 및 DASH 클라이언트의 적응 로직(예를 들면, 클라이언트가 재현 설정 및 장치에 따라 적당한 리프리젠테이션을 선택할 수 있게 하는 것) 중의 하나 이상을 허용하는 속성을 제공할 수 있다. 예를 들면, 여기에서 설명하는 구현 예에 따른 인코딩된 콘텐츠를 보기 위한 것으로 의도된 시야각을 묘사하는 하나 이상의 속성이 추가될 수 있다.
여기에서 설명하는 구현 예에 따르면, 하기의 것 중 하나 이상이 예를 들면 표 2, 표 3 및 표 4에 나타낸 것처럼 추가될 수 있다.
[표 2]
적응세트 요소의 예시적인 세만틱
[표 3]
리프리젠테이션 요소의 예시적인 세만틱
[표 4]
적응세트, 리프리젠테이션 및 서브리프리젠테이션 속성 및 요소의 예
인코딩은 장치 특성(예를 들면, 장치의 시청 특성)에 기초하여 최적화될 수 있다. 예를 들면, @시야각 파라미터의 몇 가지 상이한 값 내에서 적응 세트 및/또는 리프리젠테이션이 존재할 때, 클라이언트(예를 들면, DASH 클라이언트)는 어느 값을 사용할 것인지에 관한 결정을 할 수 있다. 예를 들면, 클라이언트 애플리케이션은 애플리케이션이 (예를 들면, OS 공급형 API를 이용해서) 동작하는 장치의 특성을 획득할 수 있다. 그러한 특성은 비제한적인 예를 들자면 장치의 이동도(예를 들면, 네트워크 접속 유형으로부터 추론될 수 있음), 렌더링을 위해 사용될 수 있는 화면의 해상도 및/또는 화면의 면적, 화면 및/또는 화면 대각선의 화소 밀도 등을 포함할 수 있다. 클라이언트는 예를 들면 장치의 이동도 유형 및 화면의 크기에 기초하여 장치를 분류할 수 있다(예를 들면, 스마트폰, 태블릿, 고정형 장치로서), 클라이언트는 사용할 수 있는 시거리 및/또는 시야각을 선택할 수 있다. 예를 들면, 스마트폰인 경우에, 공지된 통계에 기초하여 시거리의 중간 값을 사용할 수 있다. 유사한 데이터가 다른 유형의 장치에 대하여 존재할 수 있다. 클라이언트는, 예를 들면 시거리 및/또는 시야각의 추정치를 이용해서, 및/또는 리프리젠테이션 및/또는 적응 세트의 @시야각 속성의 선언된 값을 이용해서, 사용할 적응 세트 및/또는 리프리젠테이션을 선택할 수 있다. 예를 들면, 플레이어(예를 들면, DASH 플레이어)는 특정 장치에서의 최상의 시청을 위해 채용된 스트림의 선택을 달성할 수 있다. 콘텐츠 및/또는 MPD 파일의 맞춤형(예를 들면, 장치마다) 제작은 필요 없을 수 있다.
인코딩은 동적으로 추정된 시거리 및/또는 시야각 파라미터에 기초하여 최적화될 수 있다. @시야각 파라미터의 몇 가지 상이한 값에 적응 세트 및/또는 리프리젠테이션이 존재할 때, DASH 클라이언트는 어느 것을 사용할 것인지에 대하여 하기의 로직을 이용하여 결정할 수 있다: DASH 클라이언트 애플리케이션은 장치 센서(예를 들면, 사용자 근접 센서, IR, 및/또는 전방 카메라)를 이용하여 사용자의 존재를 검출할 수 있고, 만일 사용자가 존재하면, 화면까지의 거리를 구할 수 있다; 구해진 거리뿐만 아니라 화면의 특성을 이용해서, DASH 클라이언트는 시야각을 계산할 수 있다; 시야각, 및 리프리젠테이션 및/또는 적응 세트의 @시야각 속성의 선언된 값을 이용해서, 클라이언트는 사용할 가장 적당한 적응 세트 및/또는 리프리젠테이션을 선택할 수 있다. DASH 클라이언트의 이러한 로직의 일례가 도 29에 도시되어 있다. 도 29에 도시된 시스템에서, 클라이언트는 또한 사용자가 존재하지 않고 및/또는 화면에 집중하지 않는 때에 지능형 결정을 행할 수 있다. 그러한 결정은 비제한적인 예를 들자면 비디오 품질 및/또는 레이트를 저하시키고, 및/또는 재생을 중지시키는 것을 포함할 수 있다.
여기에서 설명하는 것처럼, 구현 예는 멀티미디어 콘텐츠의 시청 조건 적응과 관련된 방법 및 시스템을 제공한다. 예를 들면, 멀티미디어 콘텐츠(예를 들면, 비디오)는 장치(예를 들면, 모바일 장치, 퍼스널 컴퓨터, 영상 회의 장치 등)에 의해 네트워크(예를 들면, 비제한적인 예로서 스트리밍 서버, HTTP 서버 등)로부터 수신될 수 있다. 사용자, 장치 및/또는 콘텐츠와 관련된 시청 파라미터(예를 들면, 복수의 시청 파라미터)는 예를 들면 장치에 의해 결정될 수 있다. 시청 파라미터는 사용자 시청 파라미터, 장치 시청 파라미터, 또는 콘텐츠 시청 파라미터 중의 적어도 하나를 포함할 수 있다. 시청 파라미터는 복수의 시청 파라미터를 포함할 수 있다.
여기에서 설명하는 것처럼, 사용자 시청 파라미터는 사용자의 존재, 장치의 화면과 관련한 사용자의 위치, 장치의 화면과 관련한 사용자의 방위, 장치의 화면과 관련한 사용자의 시야각, 장치의 화면으로부터의 사용자의 거리, 사용자의 시력, 주변 조명 조건(예를 들면, 주변 광의 강도), 장치의 화면을 시청하는 사용자의 수, 또는 사용자의 관심점 중의 적어도 하나를 포함할 수 있다.
여기에서 설명하는 것처럼, 장치 시청 파라미터는 장치의 이동도, 장치 화면의 크기, 장치 화면의 해상도, 장치 화면의 화소 밀도, 장치 화면의 콘트라스트, 장치 화면의 명도, 장치에서 멀티미디어 콘텐츠를 디스플레이하는 창의 크기, 또는 장치에서 멀티미디어 콘텐츠를 디스플레이하는 창의 위치 중의 적어도 하나를 포함할 수 있다. 여기에서 설명하는 것처럼, 콘텐츠 시청 파라미터는 멀티미디어 콘텐츠의 콘트라스트, 멀티미디어 콘텐츠의 색 재현율, 멀티미디어 콘텐츠의 3차원의 존재, 또는 멀티미디어 콘텐츠의 3차원 콘텐츠의 깊이 범위 중의 적어도 하나를 포함할 수 있다.
시청 파라미터는 장치(예를 들면, 장치의 프로세서, 장치에 상주하는 DASH 클라이언트, 장치에 상주하는 소프트웨어 등)에 의해 결정될 수 있다. 시청 파라미터는 장치의 화면의 크기, 장치의 화면의 해상도, 장치의 화면의 각도, 장치의 화면의 화소 밀도, 장치의 화면의 콘트라스트 비, 사용자 근접 센서, 전방 카메라, 후방 카메라, 광 센서, 적외선 촬상 장치, 초음파 센서, 마이크로폰, 가속도계, 콤파스, 또는 자이로스코프 센서 중의 적어도 하나를 이용하여 결정될 수 있다. 예를 들면, 장치의 센서(예를 들면, 사용자 근접 센서, 전방 카메라, 후방 카메라, 광 센서, 적외선 촬상 장치, 초음파 센서, 마이크로폰, 가속도계, 콤파스, 또는 자이로스코프 센서)는 시청 파라미터를 결정하기 위해 사용될 수 있고, 또는 시청 파라미터를 결정하기 위해 활용되는 정보를 결정하기 위해 사용될 수 있다.
멀티미디어 콘텐츠에 대한 요청은 장치에 의해 네트워크에 송신될 수 있다. 이 요청은 시청 파라미터에 기초를 둘 수 있다. 예를 들면, 요청은 시청 파라미터에 대한 정보를 포함할 수 있다. 요청은 네트워크에 의해 수신 및 처리될 수 있다. 네트워크는 멀티미디어 콘텐츠의 레이트를 결정할 수 있다(예를 들면, 상기 요청에 기초해서). 예를 들면, 네트워크는 시청 파라미터에 기초하여 멀티미디어 콘텐츠의 레이트를 결정할 수 있다. 예를 들면, 레이트는 시청 파라미터와 관련될 수 있다. 멀티미디어 콘텐츠는 장치에 의해 네트워크로부터 수신될 수 있다. 네트워크로부터 수신된 멀티미디어 콘텐츠는 시청 파라미터에 따른 레이트로 처리될 수 있다. 멀티미디어 콘텐츠는 장치의 화면 상에 디스플레이될 수 있다.
멀티미디어 콘텐츠는 복수의 다른 레이트로 처리될 수 있다. 예를 들면, 각 레이트는 멀티미디어 콘텐츠의 인코딩 레이트, 멀티미디어 콘텐츠의 공간 해상도, 멀티미디어 콘텐츠의 시간 해상도, 양자화 파라미터, 레이트 제어 파라미터, 멀티미디어 콘텐츠의 목표 비트 레이트, 멀티미디어 콘텐츠의 공간 필터링, 또는 멀티미디어 콘텐츠의 시간 필터링 중의 적어도 하나의 함수일 수 있다. 각 레이트는 적어도 하나의 시청 파라미터와 연관될 수 있다. 그러므로, 멀티미디어 콘텐츠는 다른 레이트에 의해 시청 파라미터에 대하여 맞춤화될 수 있다. 예를 들면, 멀티미디어 콘텐츠는 사용자의 경험에 따라 맞춤화될 수 있다.
시청 파라미터는 동적으로 변경될 수 있다. 장치에 제공된 멀티미디어 콘텐츠의 레이트는 예를 들면 동적으로 변하는 시청 파라미터에 따라 동적으로 변경될 수 있다. 예를 들면, 멀티미디어 콘텐츠의 레이트는 멀티미디어 콘텐츠의 미리 정해진 양에 따라(예를 들면, 하나의 세그먼트로부터 다음 세그먼트로), 미리 정해진 시구간에 따라, 등으로 변경될 수 있다. 예를 들면, 제1 레이트로 처리된 멀티미디어 콘텐츠의 제1 세그먼트는 네트워크로부터 수신될 수 있다. 상기 제1 레이트는 시청 파라미터에 따를 수도 있고 따르지 않을 수도 있다. 시청 파라미터가 결정될 수 있고(예를 들면, 후속되는 시청 파라미터 또는 변경된 시청 파라미터), 멀티미디어 콘텐츠의 제2 세그먼트에 대한 요청이 네트워크에 송신될 수 있다. 시청 파라미터(예를 들면, 후속되는 시청 파라미터 또는 변경된 시청 파라미터)에 따라 제2 레이트로 처리된 멀티미디어 콘텐츠의 제2 세그먼트는 네트워크로부터 수신될 수 있다. 멀티미디어 콘텐츠의 후속 세그먼트의 처리 레이트는 예를 들면 전체 멀티미디어 콘텐츠가 장치에 전송되었거나 접속이 취소될 때까지 변경될 수도 있고 변경되지 않을 수도 있다.
네트워크에 송신되는 요청은 장치에 의해 수신되는 멀티미디어 콘텐츠의 레이트를 결정할 수 있다. 예를 들면, 상기 요청은 장치가 요청하는 멀티미디어 콘텐츠의 특정 레이트를 포함할 수 있다. 네트워크는 상기 요청에 따라 장치에 의해 수신되는 멀티미디어 콘텐츠의 레이트를 결정할 수 있다. 예를 들면, 상기 요청은 매니페스트 파일(예를 들면, 멀티미디어 프리젠테이션 기술(MPD) 파일), SEI 메시지, 또는 예컨대 시청 파라미터를 포함하는 다른 메시징일 수 있다. 네트워크는 시청 파라미터를 활용하여 멀티미디어 콘텐츠의 레이트를 선택할 수 있다.
매니페스트 파일(예를 들면, 멀티미디어 프리젠테이션 기술(MPD) 파일), SEI 메시지, 또는 다른 메시징은 네트워크로부터 장치에 의해 수신될 수 있다. 매니페스트 파일(예를 들면, MPD 파일), SEI 메시지, 또는 다른 메시징은 멀티미디어 콘텐츠의 레이트(예를 들면, 모든 가용 레이트)에 관한 정보를 포함할 수 있다. 레이트에 관한 정보는 시청 파라미터와 연관된 디스크립터를 포함할 수 있다. 매니페스트 파일(예를 들면, MPD 파일), SEI 메시지, 또는 다른 메시징은 디스크립터가 필수적인지 선택적인지 표시할 수 있다. 필수적 디스크립터는 그 레이트로 처리된 멀티미디어 콘텐츠를 수신하기 위해 장치가 디스크립터의 요건을 충족시켜야 한다는 것을 표시할 수 있다. 예를 들어서, 만일 필수적 디스크립터가 "적어도 36°의 시야각"의 시청 파라미터를 특정하면, 적어도 36°의 계산된 시야각(예를 들면, 디스크립터를 충족시키는 것)을 갖는 장치(예를 들면, 장치만)가 그 레이트로 처리된 멀티미디어 콘텐츠를 수신할 수 있다. 선택적 디스크립터는 그 레이트로 처리된 멀티미디어 콘텐츠를 수신하기 위해 장치가 디스크립터의 요건을 충족시키는 것이 좋지만, 디스크립터의 요건을 충족시킬 필요가 없다는 것을 표시할 수 있다.
여기에서 설명하는 구현 예는 영상 회의를 위해 활용될 수 있다. 예를 들면, 제1 장치(예를 들면, 제1 영상 회의 장치)는 예를 들면 여기에서 설명한 바와 같이(예를 들면, SEI 메시지, 요청, 시그널링을 통해, 또는 어떠한 시그널링도 없이 등) 제2 장치(예를 들면, 제2 영상 회의 장치)의 시청 파라미터(예를 들면, 복수의 시청 파라미터)를 결정할 수 있다. 시청 파라미터에 적합한 비디오 인코딩의 특성은 제1 영상 회의 장치에 의해 결정될 수 있다. 비디오 인코딩의 특성은 비디오 콘텐츠가 예를 들면 여기에서 설명한 것처럼 처리되는 레이트를 포함할 수 있다. 비디오 인코딩의 결정된 특성에 따라 인코딩된 비디오 콘텐츠는 제1 영상 회의 장치로부터 제2 영상 회의 장치로 송신될 수 있다. 영상 회의용으로 여기에서 설명한 구현 예들은 임의 수의 접속된 영상 회의 장치에 대하여/의하여 활용될 수 있다.
도 30a는 하나 이상의 본 발명의 실시형태를 구현할 수 있는 예시적인 통신 시스템(100)을 보인 도이다. 통신 시스템(100)은 복수의 무선 사용자에게 음성, 데이터, 영상, 메시지, 방송 등의 콘텐츠를 제공하는 다중 접속 시스템일 수 있다. 통신 시스템(100)은 복수의 무선 사용자들이 무선 대역폭을 포함한 시스템 자원을 공유함으로써 상기 콘텐츠에 액세스할 수 있게 한다. 예를 들면, 통신 시스템(100)은 코드 분할 다중 접속(CDMA), 시분할 다중 접속(TDMA), 주파수 분할 다중 접속(FDMA), 직교 FDMA(OFDMA), 단일 캐리어 FDMA(SC-FDMA) 등과 같은 하나 이상의 채널 접속 방법을 이용할 수 있다.
도 30a에 도시된 것처럼, 통신 시스템(100)은 무선 송수신 유닛(wireless transmit/receive unit; WTRU)(102a, 102b, 102c, 및/또는 102d)(총칭적으로 또는 집합적으로 WTRU(102)라고 부른다), 무선 액세스 네트워크(radio access network; RAN)(103/104/105), 코어 네트워크(106/107/109), 공중 교환식 전화망(public switched telephone network; PSTN)(108), 인터넷(110) 및 기타의 네트워크(112)를 포함하고 있지만, 본 발명의 실시형태는 임의 수의 WTRU, 기지국, 네트워크 및/또는 네트워크 요소를 포함할 수 있다는 것을 이해할 것이다. 각 WTRU(102a, 102b, 102c, 102d)는 무선 환경에서 동작 및/또는 통신하도록 구성된 임의 유형의 장치일 수 있다. 예를 들면, WTRU(102a, 102b, 102c, 102d)는 무선 신호를 송신 및/또는 수신하도록 구성될 수 있고, 사용자 장비(UE), 이동국, 고정식 또는 이동식 가입자 유닛, 페이저, 셀룰러 전화기, 개인 정보 단말기(personal digital assistant; PDA), 스마트폰, 랩톱, 넷북, 퍼스널 컴퓨터, 무선 센서, 소비자 전자제품 등을 포함할 수 있다.
통신 시스템(100)은 기지국(114a)과 기지국(114b)을 또한 포함할 수 있다. 각 기지국(114a, 114b)은 적어도 하나의 WTRU(102a, 102b, 102c, 102d)와 무선으로 인터페이스 접속하여 코어 네트워크(106/107/109), 인터넷(110) 및/또는 네트워크(112)와 같은 하나 이상의 통신 네트워크에 액세스하도록 구성된 임의 유형의 장치일 수 있다. 예를 들면, 기지국(114a, 114b)은 기지국 송수신기(base transceiver station; BTS), 노드-B, e노드 B, 홈 노드 B, 홈 e노드 B, 사이트 제어기, 액세스 포인트(access point; AP), 무선 라우터 등일 수 있다. 비록 기지국(114a, 114b)이 각각 단일 요소로서 도시되어 있지만, 기지국(114a, 114b)은 임의 수의 상호접속된 기지국 및/또는 네트워크 요소를 포함할 수 있다는 것을 이해할 것이다.
기지국(114a)은 RAN(103/104/105)의 일부일 수 있고, RAN(103/104/105)은 기지국 제어기(base station controller; BSC), 라디오 네트워크 제어기(radio network controller; RNC), 릴레이 노드 등과 같은 다른 기지국 및/또는 네트워크 요소(도시 생략됨)를 또한 포함할 수 있다. 기지국(114a) 및/또는 기지국(114b)은 셀(도시 생략됨)이라고도 부르는 특정의 지리적 영역 내에서 무선 신호를 송신 및/또는 수신하도록 구성될 수 있다. 셀은 복수의 셀 섹터로 세분될 수 있다. 예를 들면, 기지국(114a)과 관련된 셀은 3개의 섹터로 나누어질 수 있다. 따라서, 일 실시형태에 있어서, 기지국(114a)은 셀의 각 섹터마다 하나씩 3개의 송수신기를 포함할 수 있다. 다른 실시형태에 있어서, 기지국(114a)은 다중입력 다중출력(MIMO) 기술을 사용할 수 있고, 따라서 셀의 각 섹터마다 복수의 송수신기를 사용할 수 있다.
기지국(114a, 114b)은 임의의 적당한 무선 통신 링크(예를 들면, 라디오 주파수(RF), 마이크로파, 적외선(IR), 자외선(UV), 가시광선 등)일 수 있는 무선 인터페이스(115/116/117)를 통하여 하나 이상의 WTRU(102a, 102b, 102c, 102d)와 통신할 수 있다. 무선 인터페이스(115/116/117)는 임의의 적당한 무선 액세스 기술(radio access technology; RAT)을 이용하여 확립될 수 있다.
더 구체적으로, 위에서 언급한 것처럼, 통신 시스템(100)은 다중 액세스 시스템일 수 있고, CDMA, TDMA, FDMA, OFDMA, SC-FDMA 등과 같은 하나 이상의 채널 액세스 방식을 이용할 수 있다. 예를 들면, RAN(103/104/105) 내의 기지국(114a)과 WTRU(102a, 102b, 102c)는 광대역 CDMA(WCDMA)를 이용하여 무선 인터페이스(115/116/117)를 확립하는 범용 이동통신 시스템(UMTS) 지상 라디오 액세스(UTRA)와 같은 무선 기술을 구현할 수 있다. WCDMA는 고속 패킷 액세스(HSPA) 및/또는 진화형 HSPA(HSPA+)와 같은 통신 프로토콜을 포함할 수 있다. HSPA는 고속 다운링크 패킷 액세스(HSDPA) 및/또는 고속 업링크 패킷 액세스(HSUPA)를 포함할 수 있다.
또 다른 실시형태에 있어서, 기지국(114a)과 WTRU(102a, 102b, 102c)는 롱텀 에볼루션(LTE) 및/또는 LTE-어드밴스트(LTE-A)를 이용하여 무선 인터페이스(115/116/117)를 확립하는 진화형 UMTS 지상 라디오 액세스(E-UTRA)와 같은 무선 기술을 구현할 수 있다.
다른 실시형태에 있어서, 기지국(114a)과 WTRU(102a, 102b, 102c)는 IEEE 802.16(예를 들면, WiMAX(Worldwide Interoperability for Microwave Access)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, 잠정 표준 2000(IS-2000), 잠정 표준 95(IS-95), 잠정 표준 856(IS-856), 글로벌 이동통신 시스템(GSM), EDGE(Enhanced Data rates for GSM Evolution), GSM EDGE(GERAN) 등과 같은 무선 기술을 구현할 수 있다.
도 30a의 기지국(114b)은 예를 들면 무선 라우터, 홈 노드 B, 홈 e노드 B, 또는 액세스 포인트일 수 있고, 사업장, 홈, 자동차, 캠퍼스 등과 같은 국소 지역에서 무선 접속을 가능하게 하는 임의의 적당한 RAT를 이용할 수 있다. 일 실시형태에 있어서, 기지국(114b)과 WTRU(102c, 102d)는 IEEE 802.11과 같은 무선 기술을 구현하여 무선 근거리 통신망(WLAN)을 확립할 수 있다. 다른 실시형태에 있어서, 기지국(114b)과 WTRU(102c, 102d)는 IEEE 802.15와 같은 무선 기술을 구현하여 무선 개인 통신망(WPAN)을 확립할 수 있다. 또 다른 실시형태에 있어서, 기지국(114b)과 WTRU(102c, 102d)는 셀룰러 기반 RAT(예를 들면, WCDMA, CDMA2000, GSM, LTE, LTE-A 등)를 이용하여 피코셀 또는 펨토셀을 확립할 수 있다. 도 30a에 도시된 바와 같이, 기지국(114b)은 인터넷(110)에 직접 접속될 수 있다. 그러므로, 기지국(114b)은 코어 네트워크(106/107/109)를 통해 인터넷(110)에 접속할 필요가 없다.
RAN(103/104/105)은 코어 네트워크(106/107/109)와 통신하고, 코어 네트워크(106/107/109)는 하나 이상의 WTRU(102a, 102b, 102c, 102d)에 음성, 데이터, 애플리케이션 및/또는 인터넷을 통한 음성 프로토콜(voice over internet protocol; VoIP) 서비스를 제공하도록 구성된 임의 유형의 네트워크일 수 있다. 예를 들면, 코어 네트워크(106/107/109)는 호 제어, 과금(billing) 서비스, 모바일 위치 기반 서비스, 선불 통화, 인터넷 접속, 영상 분배 등을 제공할 수 있고, 및/또는 사용자 인증과 같은 고급 보안 기능을 수행할 수 있다. 비록 도 30a에 도시되어 있지 않지만, RAN(103/104/105) 및/또는 코어 네트워크(106/107/109)는 RAN(103/104/105)과 동일한 RAT 또는 다른 RAT를 이용하는 다른 RAN과 직접 또는 간접 통신을 할 수 있다는 것을 이해할 것이다. 예를 들면, E-UTRA 무선 기술을 이용하는 RAN(103/104/105)에 접속되는 것 외에, 코어 네트워크(106/107/109)는 GSM 무선 기술을 이용하는 다른 RAN(도시 생략됨)과도 또한 통신할 수 있다.
코어 네트워크(106/107/109)는 WTRU(102a, 102b, 102c, 102d)가 PSTN(108), 인터넷(110) 및/또는 기타 네트워크(112)에 접속하게 하는 게이트웨이로서 또한 기능할 수 있다. PSTN(108)은 재래식 전화 서비스(plain old telephone service; POTS)를 제공하는 회선 교환식 전화망을 포함할 수 있다. 인터넷(110)은 TCP/IP 인터넷 프로토콜 스위트(suite)에서 전송 제어 프로토콜(TCP), 사용자 데이터그램 프로토콜(UDP) 및 인터넷 프로토콜(IP)과 같은 공통의 통신 프로토콜을 이용하는 상호접속된 컴퓨터 네트워크 및 장치의 글로벌 시스템을 포함할 수 있다. 네트워크(112)는 다른 서비스 공급자에 의해 소유 및/또는 운용되는 유선 또는 무선 통신 네트워크를 포함할 수 있다. 예를 들면, 네트워크(112)는 RAN(103/104/105)과 동일한 RAT 또는 다른 RAT를 이용하는 하나 이상의 RAN에 접속된 다른 코어 네트워크를 포함할 수 있다.
통신 시스템(100)의 WTRU(102a, 102b, 102c, 102d)의 일부 또는 전부는 다중 모드 능력을 구비할 수 있다. 예를 들면, WTRU(102a, 102b, 102c, 102d)는 다른 무선 링크를 통하여 다른 무선 네트워크와 통신하기 위한 복수의 송수신기를 포함할 수 있다. 예를 들면, 도 30a에 도시된 WTRU(102c)는 셀룰러 기반 무선 기술을 이용할 수 있는 기지국(114a), 및 IEEE 802 무선 기술을 이용할 수 있는 기지국(114b)과 통신하도록 구성될 수 있다.
도 30b는 예시적인 WTRU(102)의 계통도이다. 도 30b에 도시된 바와 같이, WTRU(102)는 프로세서(118), 송수신기(120), 송수신 엘리멘트(122), 스피커/마이크로폰(124), 키패드(126), 디스플레이/터치패드(128), 비분리형 메모리(130), 분리형 메모리(132), 전원(134), 글로벌 위치확인 시스템(GPS) 칩세트(136) 및 기타 주변장치(138)를 포함할 수 있다. WTRU(102)는 실시형태의 일관성을 유지하면서 전술한 요소들의 임의의 부조합(sub-combination)을 포함할 수 있다는 것을 이해할 것이다. 또한, 실시형태는 기지국(114a, 114b), 및/또는 기지국(114a, 114b)이 비제한적인 예로서, 다른 무엇보다도 특히, 기지국 송수신기(BTS), 노드-B, 사이트 제어기, 액세스 포인트(AP), 홈 노드-B, 진화형 홈 노드-B(e노드B), 홈 e노드-B(HeNB), 홈 e노드-B 게이트웨이, 프록시 노드 등을 대표할 수 있는 노드들이 도 30b에 도시되고 여기에서 설명하는 요소들의 일부 또는 전부를 포함하는 것을 예상한다.
프로세서(118)는 범용 프로세서, 특수 용도 프로세서, 전통적 프로세서, 디지털 신호 프로세서(DSP), 복수의 마이크로프로세서, DSP 코어와 연합하는 하나 이상의 마이크로프로세서, 컨트롤러, 마이크로컨트롤러, 용도 지정 집적회로(ASIC), 현장 프로그램가능 게이트 어레이(FPGA) 회로, 임의의 다른 유형의 집적회로(IC), 상태 기계 등일 수 있다. 프로세서(118)는 신호 부호화, 데이터 처리, 전력 제어, 입력/출력 처리, 및/또는 WTRU(102)가 무선 환경에서 동작하게 하는 임의의 다른 기능을 수행할 수 있다. 프로세서(118)는 송수신기(120)에 결합되고, 송수신기(120)는 송수신 엘리멘트(122)에 결합될 수 있다. 비록 도 30b에서는 프로세서(118)와 송수신기(120)가 별도의 구성요소로서 도시되어 있지만, 프로세서(118)와 송수신기(120)는 전자 패키지 또는 칩으로 함께 통합될 수 있음을 이해할 것이다.
송수신 엘리멘트(122)는 무선 인터페이스(115/116/117)를 통하여 기지국(예를 들면 기지국(114a))에 신호를 송신하거나 기지국으로부터 신호를 수신하도록 구성될 수 있다. 예를 들면, 일 실시형태에 있어서, 송수신 엘리멘트(122)는 RF 신호를 송신 및/또는 수신하도록 구성된 안테나일 수 있다. 다른 실시형태에 있어서, 송수신 엘리멘트(122)는 예를 들면, IR, UV 또는 가시광 신호를 송신 및/또는 수신하도록 구성된 이미터/검지기일 수 있다. 또 다른 실시형태에 있어서, 송수신 엘리멘트(122)는 RF 신호와 광신호 둘 다를 송신 및 수신하도록 구성될 수 있다. 송수신 엘리멘트(122)는 임의의 무선 신호 조합을 송신 및/또는 수신하도록 구성될 수 있다는 것을 이해할 것이다.
또한, 비록 송수신 엘리멘트(122)가 도 30b에서 단일 엘리멘트로서 도시되어 있지만, WTRU(102)는 임의 수의 송수신 엘리멘트(122)를 포함할 수 있다. 더 구체적으로, WTRU(102)는 MIMO 기술을 이용할 수 있다. 따라서, 일 실시형태에 있어서, WTRU(102)는 무선 인터페이스(115/116/117)를 통해 무선 신호를 송신 및 수신하기 위해 2개 이상의 송수신 엘리멘트(122)(예를 들면, 다중 안테나)를 포함할 수 있다.
송수신기(120)는 송수신 엘리멘트(122)에 의해 송신할 신호들을 변조하고 송수신 엘리멘트(122)에 의해 수신된 신호를 복조하도록 구성될 수 있다. 전술한 바와 같이, WTRU(102)는 다중 모드 능력을 구비할 수 있다. 따라서, 송수신기(120)는 WTRU(102)가 예를 들면 UTRA 및 IEEE 802.11과 같은 복수의 RAT를 통하여 통신하게 하는 복수의 송수신기를 포함할 수 있다.
WTRU(102)의 프로세서(118)는 스피커/마이크로폰(124), 키패드(126), 및/또는 디스플레이/터치패드(128)(예를 들면, 액정 디스플레이(LCD) 표시 장치 또는 유기 발광 다이오드(OLED) 표시 장치)에 결합되어 이들로부터 사용자 입력 데이터를 수신할 수 있다. 프로세서(118)는 또한 스피커/마이크로폰(124), 키패드(126), 및/또는 디스플레이/터치패드(128)에 사용자 데이터를 출력할 수 있다. 또한, 프로세서(118)는 비분리형 메모리(130) 및/또는 분리형 메모리(132)와 같은 임의 유형의 적당한 메모리로부터의 정보에 액세스하고 상기 적당한 메모리에 데이터를 저장할 수 있다. 비분리형 메모리(130)는 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 하드 디스크 또는 임의의 다른 유형의 메모리 기억장치를 포함할 수 있다. 분리형 메모리(132)는 가입자 식별 모듈(SIM) 카드, 메모리 스틱, 보안 디지털(SD) 메모리 카드 등을 포함할 수 있다. 다른 실시형태에 있어서, 프로세서(118)는 서버 또는 홈 컴퓨터(도시 생략됨)와 같이 물리적으로 WTRU(102)에 배치되지 않은 메모리로부터의 정보에 액세스하고 그러한 메모리에 데이터를 저장할 수 있다.
프로세서(118)는 전원(134)으로부터 전력을 수신하고, WTRU(102)의 각종 구성요소에 대하여 전력을 분배 및/또는 제어하도록 구성될 수 있다. 전원(134)은 WTRU(102)에 전력을 공급하는 임의의 적당한 장치일 수 있다. 예를 들면, 전원(134)은 하나 이상의 건전지 배터리(예를 들면, 니켈-카드뮴(NiCd), 니켈-아연(NiZn), 니켈 금속 하이드라이드(NiMH), 리튬-이온(Li-ion) 등), 태양 전지, 연료 전지 등을 포함할 수 있다.
프로세서(118)는 WTRU(102)의 현재 위치에 관한 위치 정보(예를 들면, 경도 및 위도)를 제공하도록 구성된 GPS 칩세트(136)에 또한 결합될 수 있다. GPS 칩세트(136)로부터의 정보에 추가해서 또는 그 대신으로, WTRU(102)는 기지국(예를 들면 기지국(114a, 114b))으로부터 무선 인터페이스(115/116/117)를 통해 위치 정보를 수신하고, 및/또는 2개 이상의 인근 기지국으로부터 신호가 수신되는 타이밍에 기초하여 그 위치를 결정할 수 있다. WTRU(102)는 실시형태의 일관성을 유지하면서 임의의 적당한 위치 결정 방법에 의해 위치 정보를 획득할 수 있다는 것을 이해할 것이다.
프로세서(118)는 추가의 특징, 기능 및/또는 유선 또는 무선 접속을 제공하는 하나 이상의 소프트웨어 및/또는 하드웨어 모듈을 포함한 기타 주변 장치(138)에 또한 결합될 수 있다. 예를 들면, 주변 장치(138)는 가속도계, e-콤파스, 위성 송수신기, 디지털 카메라(사진용 또는 영상용), 범용 직렬 버스(USB) 포트, 진동 장치, 텔레비전 송수신기, 핸즈프리 헤드셋, 블루투스® 모듈, 주파수 변조(FM) 라디오 장치, 디지털 뮤직 플레이어, 미디어 플레이어, 비디오 게임 플레이어 모듈, 인터넷 브라우저 등을 포함할 수 있다.
도 30c는 일 실시형태에 따른 RAN(103) 및 코어 네트워크(106)의 계통도이다. 전술한 바와 같이, RAN(103)은 UTRA 무선 기술을 이용하여 무선 인터페이스(115)를 통해 WTRU(102a, 102b, 102c)와 통신할 수 있다. RAN(103)은 코어 네트워크(106)와 또한 통신할 수 있다. 도 30c에 도시된 것처럼, RAN(103)은 노드-B(140a, 140b, 140c)를 포함하고, 노드-B(140a, 140b, 140c)는 무선 인터페이스(115)를 통하여 WTRU(102a, 102b, 102c)와 통신하는 하나 이상의 송수신기를 각각 포함할 수 있다. 노드-B(140a, 140b, 140c)는 RAN(103) 내의 특정 셀(도시 생략됨)과 각각 연관될 수 있다. RAN(103)은 또한 RNC(142a, 142b)를 포함할 수 있다. RAN(103)은 실시형태와의 일관성을 유지하면서 임의 수의 노드-B 및 RNC를 포함할 수 있다는 것을 이해할 것이다.
도 30c에 도시된 것처럼, 노드-B(140a, 140b)는 RNC(142a)와 통신할 수 있다. 또한, 노드-B(140c)는 RNC(142b)와 통신할 수 있다. 노드-B(140a, 140b, 140c)는 Iub 인터페이스를 통해 각각의 RNC(142a, 142b)와 통신할 수 있다. RNC(142a, 142b)는 Iur 인터페이스를 통해 서로 통신할 수 있다. 각각의 RNC(142a, 142b)는 이들이 접속된 각각의 노드-B(140a, 140b, 140c)를 제어하도록 구성될 수 있다. 또한 각각의 RNC(142a, 142b)는 외부 루프 전력 제어, 부하 제어, 허가 제어, 패킷 스케줄링, 핸드오버 제어, 매크로다이버시티, 보안 기능, 데이터 암호화 등과 같은 다른 기능을 실행 또는 지원하도록 구성될 수 있다.
도 30c에 도시된 코어 네트워크(106)는 미디어 게이트웨이(MGW)(144), 모바일 스위칭 센터(MSC)(146), 서빙 GPRS 지원 노드(SGSN)(148) 및/또는 게이트웨이 GPRS 지원 노드(GGSN)(150)를 포함할 수 있다. 전술한 요소들이 각각 코어 네트워크(106)의 일부로서 도시되어 있지만, 이 요소들 중 임의의 요소는 코어 네트워크 운용자가 아닌 다른 엔티티에 의해 소유되거나 운용될 수 있다는 것을 이해할 것이다.
RAN(103)에 있는 RNC(142a)는 IuCS 인터페이스를 통해 코어 네트워크(106) 내의 MSC(146)에 접속될 수 있다. MSC(146)는 MGW(144)에 접속될 수 있다. MSC(146)와 MGW(144)는 PSTN(108)과 같은 회선 교환식 네트워크에 대한 액세스를 WTRU(102a, 102b, 102c)에 제공하여 WTRU(102a, 102b, 102c)와 전통적인 지상선 통신 장치 간의 통신을 가능하게 한다.
RAN(103)에 있는 RNC(142a)는 IuPS 인터페이스를 통해 코어 네트워크(106) 내의 SGSN(148)에 또한 접속될 수 있다. SGSN(148)은 GGSN(150)에 접속될 수 있다. SGSN(148)과 GGSN(150)은 인터넷(110)과 같은 패킷 교환식 네트워크에 대한 액세스를 WTRU(102a, 102b, 102c)에 제공하여 WTRU(102a, 102b, 102c)와 IP-인에이블 장치 간의 통신을 가능하게 한다.
전술한 바와 같이, 코어 네트워크(106)는 다른 서비스 공급자에 의해 소유 및/또는 운용되는 다른 유선 또는 무선 네트워크를 포함하는 네트워크(112)에 또한 접속될 수 있다.
도 30d는 일 실시형태에 따른 RAN(104) 및 코어 네트워크(107)의 계통도이다. 전술한 바와 같이, RAN(104)은 E-UTRA 무선 기술을 이용하여 무선 인터페이스(116)를 통해 WTRU(102a, 102b, 102c)와 통신할 수 있다. RAN(104)은 코어 네트워크(107)와 또한 통신할 수 있다.
RAN(104)이 e노드-B(160a, 160b, 160c)를 포함하고 있지만, RAN(104)은 실시형태의 일관성을 유지하면서 임의 수의 e노드-B를 포함할 수 있다는 것을 이해할 것이다. e노드-B(160a, 160b, 160c)는 무선 인터페이스(116)를 통하여 WTRU(102a, 102b, 102c)와 통신하는 하나 이상의 송수신기를 각각 포함할 수 있다. 일 실시형태에 있어서, e노드-B(160a, 160b, 160c)는 MIMO 기술을 구현할 수 있다. 따라서, 예를 들면 e노드-B(160a)는 복수의 안테나를 사용하여 WTRU(102a)에 무선 신호를 송신하고 WTRU(102a)로부터 무선 신호를 수신할 수 있다.
각각의 e노드-B(160a, 160b, 160c)는 특정 셀(도시 생략됨)과 연관될 수 있고, 무선 자원 관리 결정, 핸드오버 결정, 업링크 및/또는 다운링크에서 사용자의 스케줄링 등을 취급하도록 구성될 수 있다. 도 30d에 도시된 바와 같이, e노드-B(160a, 160b, 160c)는 X2 인터페이스를 통해 서로 통신할 수 있다.
도 30d에 도시된 코어 네트워크(107)는 이동성 관리 게이트웨이(MME)(162), 서빙측 게이트웨이(164) 및 패킷 데이터 네트워크(PDN) 게이트웨이(166)를 포함할 수 있다. 전술한 요소들이 각각 코어 네트워크(107)의 일부로서 도시되어 있지만, 이 요소들 중 임의의 요소는 코어 네트워크 운용자가 아닌 다른 엔티티에 의해 소유 및/또는 운용될 수 있다는 것을 이해할 것이다.
MME(162)는 S1 인터페이스를 통해 RAN(104) 내의 각각의 e노드-B(160a, 160b, 160c)에 접속될 수 있고, 제어 노드로서 기능할 수 있다. 예를 들면, MME(162)는 WTRU(102a, 102b, 102c)의 사용자를 인증하고, 베어러를 활성화/비활성화하고, WTRU(102a, 102b, 102c)의 초기 접속(initial attach) 중에 특정의 서빙측 게이트웨이를 선택하는 등의 임무를 수행할 수 있다. MME(162)는 또한 GSM 또는 WCDMA와 같은 다른 무선 기술을 이용하는 다른 RAN(도시 생략됨)과 RAN(104) 간의 스위칭을 위한 제어 평면 기능(control plane function)을 또한 제공할 수 있다.
서빙측 게이트웨이(164)는 RAN(104) 내의 각각의 e노드-B(160a, 160b, 160c)에 S1 인터페이스를 통해 접속될 수 있다. 서빙측 게이트웨이(164)는 일반적으로 WTRU(102a, 102b, 102c)로/로부터 사용자 데이터 패킷을 라우트 및 회송할 수 있다. 서빙측 게이트웨이(164)는 또한 e노드-B 간의 핸드오버 중에 사용자 평면(user plane)을 앵커링(anchoring)하는 것, 다운링크 데이터가 WTRU(102a, 102b, 102c)에 이용할 수 있을 때 페이징을 트리거하는 것, WTRU(102a, 102b, 102c)의 콘텍스트를 관리 및 저장하는 것 등의 다른 기능을 수행할 수 있다.
서빙측 게이트웨이(164)는 PDN 게이트웨이(166)에 또한 접속될 수 있고, PDN 게이트웨이(166)는 WTRU(102a, 102b, 102c)와 IP-인에이블 장치 간의 통신을 돕도록 인터넷(110)과 같은 패킷 교환식 네트워크에 대한 액세스를 WTRU(102a, 102b, 102c)에 제공할 수 있다.
코어 네트워크(107)는 다른 네트워크와의 통신을 가능하게 한다. 예를 들면, 코어 네트워크(107)는 WTRU(102a, 102b, 102c)와 전통적인 지상선(land-line) 통신 장치 간의 통신이 가능하도록, PSTN(108)과 같은 회선 교환식 네트워크에 대한 액세스를 WTRU(102a, 102b, 102c)에 제공할 수 있다. 예를 들면, 코어 네트워크(107)는 코어 네트워크(107)와 PSTN(108) 간의 인터페이스로서 기능하는 IP 게이트웨이(예를 들면, IP 멀티미디어 서브시스템(IMS) 서버)를 포함하거나 그러한 IP 게이트웨이와 통신할 수 있다. 또한, 코어 네트워크(107)는 다른 서비스 공급자에 의해 소유 및/또는 운용되는 다른 유선 또는 무선 네트워크를 포함하는 네트워크(112)에 대한 액세스를 WTRU(102a, 102b, 102c)에 제공할 수 있다.
도 30e는 일 실시형태에 따른 RAN(105) 및 코어 네트워크(109)의 계통도이다. RAN(105)은 IEEE 802.16 무선 기술을 이용하여 무선 인터페이스(117)를 통해 WTRU(102a, 102b, 102c)와 통신하는 액세스 서비스 네트워크(ASN)일 수 있다. 뒤에서 더 자세히 설명하는 것처럼, WTRU(102a, 102b, 102c)의 다른 기능 엔티티, RAN(105) 및 코어 네트워크(109) 간의 통신 링크는 기준점으로서 정의될 수 있다.
도 30e에 도시된 것처럼, RAN(105)이 기지국(180a, 180b, 180c)과 ASN 게이트웨이(182)를 포함하고 있지만, RAN(105)은 실시형태와의 일관성을 유지하면서 임의 수의 기지국 및 ASN 게이트웨이를 포함할 수 있다는 것을 이해할 것이다. 기지국(180a, 180b, 180c)은 RAN(105) 내의 특정 셀(도시 생략됨)과 각각 연관될 수 있고, 무선 인터페이스(117)를 통하여 WTRU(102a, 102b, 102c)와 통신하는 하나 이상의 송수신기를 각각 포함할 수 있다. 일 실시형태에 있어서, 기지국(180a, 180b, 180c)은 MIMO 기술을 구현할 수 있다. 따라서, 예를 들면 기지국(180a)은 복수의 안테나를 사용하여 WTRU(102a)에 무선 신호를 전송하고 WTRU(102a)로부터 무선 신호를 수신할 수 있다. 기지국(180a, 180b, 180c)은 핸드오프 트리거링, 터널 확립, 무선 자원 관리, 트래픽 분류, 서비스 품질(QoS) 정책 강화 등과 같은 이동성 관리 기능을 또한 제공할 수 있다. ASN 게이트웨이(182)는 트래픽 집성점(aggregation point)으로서 기능할 수 있고, 페이징, 가입자 프로파일의 캐싱, 코어 네트워크(109)로의 라우팅 등의 임무를 수행할 수 있다.
WTRU(102a, 102b, 102c)와 RAN(105) 간의 무선 인터페이스(117)는 IEEE 802.16 명세서를 구현하는 R1 기준점으로서 규정될 수 있다. 또한 각각의 WTRU(102a, 102b, 102c)는 코어 네트워크(109)와 논리 인터페이스(도시 생략됨)를 확립할 수 있다. WTRU(102a, 102b, 102c)와 코어 네트워크(109) 간의 논리 인터페이스는 R2 기준점으로서 규정될 수 있고, 이것은 인증(authentication), 권한부여(authorization), IP 호스트 구성 관리, 및/또는 이동성 관리를 위해 사용될 수 있다.
각 기지국(180a, 180b, 180c)들 간의 통신 링크는 WTRU 핸드오버 및 기지국들 간의 데이터 전송을 가능하게 하는 프로토콜을 포함한 R8 기준점으로서 규정될 수 있다. 기지국(180a, 180b, 180c)과 ASN 게이트웨이(182) 간의 통신 링크는 R6 기준점으로서 규정될 수 있다. R6 기준점은 각각의 WTRU(102a, 102b, 102c)와 연관된 이동성 이벤트에 기초하여 이동성 관리를 가능하게 하는 프로토콜을 포함할 수 있다.
도 30e에 도시된 것처럼, RNA(105)은 코어 네트워크(109)에 접속될 수 있다. RAN(105)과 코어 네트워크(109) 간의 통신 링크는 예를 들면 데이터 전송 및 이동성 관리 능력을 가능하게 하는 프로토콜을 포함한 R3 기준점으로서 규정될 수 있다. 코어 네트워크(109)는 모바일 IP 홈 에이전트(MIP-HA)(184), 인증, 권한부여, 계정(AAA) 서버(186), 및 게이트웨이(188)를 포함할 수 있다. 비록 전술한 요소들이 각각 코어 네트워크(109)의 일부로서 도시되어 있지만, 이 요소들 중 임의의 요소는 코어 네트워크 운용자가 아닌 다른 엔티티에 의해 소유 및/또는 운용될 수 있다는 것을 이해할 것이다.
MIP-HA는 IP 어드레스 관리의 임무를 가질 수 있고, WTRU(102a, 102b, 102c)가 다른 ASN 및/또는 다른 코어 네트워크들 사이에서 로밍하게 할 수 있다. MIP-HA(184)는 인터넷(110)과 같은 패킷 교환식 네트워크에 대한 액세스를 WTRU(102a, 102b, 102c)에 제공하여 WTRU(102a, 102b, 102c)와 IP-인에이블 장치 간의 통신을 가능하게 한다. AAA 서버(186)는 사용자 인증 및 사용자 서비스 지원의 임무를 가질 수 있다. 게이트웨이(188)는 다른 네트워크들과의 상호연동을 가능하게 한다. 예를 들면, 게이트웨이(188)는 PSTN(108)과 같은 회선 교환식 네트워크에 대한 액세스를 WTRU(102a, 102b, 102c)에 제공하여 WTRU(102a, 102b, 102c)와 전통적인 지상선 통신 장치 간의 통신을 가능하게 한다. 또한, 게이트웨이(188)는 다른 서비스 공급자에 의해 소유 및/또는 운용되는 다른 유선 또는 무선 네트워크를 포함한 네트워크(112)에 대한 액세스를 WTRU(102a, 102b, 102c)에 제공할 수 있다.
비록 도 30e에는 도시되지 않았지만, RAN(105)은 다른 ASN에 접속될 수 있고 코어 네트워크(109)는 다른 코어 네트워크에 접속될 수 있다는 것을 이해할 것이다. RAN(105)과 다른 ASN 간의 통신 링크는 R4 기준점으로서 규정될 수 있고, R4 기준점은 RAN(105)과 다른 ASN 사이에서 WTRU(102a, 102b, 102c)의 이동성을 조정하는 프로토콜을 포함할 수 있다. 코어 네트워크(109)와 다른 코어 네트워크 간의 통신 링크는 R5 기준점으로서 규정될 수 있고, R5 기준점은 홈 코어 네트워크와 방문 코어 네트워크 간의 상호연동을 가능하게 하는 프로토콜을 포함할 수 있다.
지금까지 특징 및 요소들을 특수한 조합으로 설명하였지만, 이 기술에 통상의 지식을 가진 사람이라면 각 특징 또는 요소는 단독으로 또는 다른 특징 및 요소와 함께 임의의 조합으로 사용될 수 있다는 것을 이해할 것이다. 또한, 여기에서 설명한 방법들은 컴퓨터 또는 프로세서에 의해 실행되는 컴퓨터 판독가능 매체에 통합된 컴퓨터 프로그램, 소프트웨어 또는 펌웨어로 구현될 수 있다. 컴퓨터 판독가능 매체의 예로는 전자 신호(유선 또는 무선 접속을 통해 전송된 것) 및 컴퓨터 판독가능 기억 매체가 있다. 컴퓨터 판독가능 기억 매체의 비제한적인 예로는 읽기 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 레지스터, 캐시 메모리, 반도체 메모리 소자, 내부 하드 디스크 및 착탈식 디스크와 같은 자기 매체, 자기 광학 매체, 및 CD-ROM 디스크 및 디지털 다기능 디스크(DVD)와 같은 광학 매체가 있다. 프로세서는 소프트웨어와 연합해서 WTRU, UE, 단말기, 기지국, RNC, 또는 임의의 호스트 컴퓨터에서 사용되는 라디오 주파수 송수신기를 구현하기 위해 사용될 수 있다.
Claims (62)
- 네트워크로부터 장치에 의해 멀티미디어 콘텐츠를 수신하는 방법에 있어서,
상기 멀티미디어 콘텐츠의 제1 세그먼트 - 상기 제1 세그먼트는 제1 레이트로 처리된 것임 - 를 상기 네트워크로부터 수신하는 단계;
상기 장치의 화면으로부터의 사용자의 거리와 상기 장치의 상기 화면의 화소 밀도, 및 상기 장치의 상기 화면의 명도 또는 주변 조명 조건을 결정하는 단계;
상기 멀티미디어 콘텐츠의 제2 세그먼트에 대한 요청 - 상기 요청은 상기 장치의 상기 화면으로부터의 사용자의 거리와 상기 장치의 상기 화면의 화소 밀도, 및 상기 장치의 상기 화면의 명도 또는 주변 조명 조건에 기초함 - 을 상기 네트워크에 송신하는 단계; 및
상기 멀티미디어 콘텐츠의 상기 제2 세그먼트 - 상기 제2 세그먼트는 상기 장치의 상기 화면으로부터의 사용자의 거리와 상기 장치의 상기 화면의 화소 밀도, 및 상기 장치의 상기 화면의 명도 또는 주변 조명 조건에 따른 제2 레이트로 처리된 것임 - 를 상기 네트워크로부터 수신하는 단계
를 포함하는 멀티미디어 콘텐츠를 수신하는 방법. - 삭제
- 제1항에 있어서,
상기 장치의 상기 화면에 대한 사용자의 시야각을 결정하는 단계를 더 포함하고,
상기 요청은 또한 상기 장치의 상기 화면에 대한 사용자의 시야각에 관한 정보를 포함하고,
상기 멀티미디어 콘텐츠의 상기 제2 세그먼트는 또한 상기 장치의 상기 화면에 대한 사용자의 시야각에 따른 상기 제2 레이트로 처리되는 것인, 멀티미디어 콘텐츠를 수신하는 방법. - 제1항에 있어서,
상기 장치에 의해, 콘텐츠 시청 파라미터를 결정하는 단계를 더 포함하고,
상기 요청은 또한 상기 콘텐츠 시청 파라미터에 관한 정보를 포함하고,
상기 멀티미디어 콘텐츠의 상기 제2 세그먼트는 또한 상기 콘텐츠 시청 파라미터에 따른 상기 제2 레이트로 처리되고,
상기 콘텐츠 시청 파라미터는 상기 멀티미디어 콘텐츠의 콘트라스트, 상기 멀티미디어 콘텐츠의 색 공간(color gamut), 또는 상기 멀티미디어 콘텐츠의 3차원 콘텐츠의 깊이의 범위 중 적어도 하나를 포함하는 것인, 멀티미디어 콘텐츠를 수신하는 방법. - 삭제
- 제1항에 있어서, 상기 제2 레이트는 상기 멀티미디어 콘텐츠의 인코딩 레이트, 상기 멀티미디어 콘텐츠의 공간 해상도, 상기 멀티미디어 콘텐츠의 시간 해상도, 양자화 파라미터, 레이트 제어 파라미터, 상기 멀티미디어 콘텐츠의 목표 비트 레이트, 상기 멀티미디어 콘텐츠의 공간 필터링, 또는 상기 멀티미디어 콘텐츠의 시간 필터링 중 적어도 하나의 함수인 것인, 멀티미디어 콘텐츠를 수신하는 방법.
- 네트워크로부터 멀티미디어 콘텐츠를 수신하도록 구성된 장치에 있어서,
프로세서를 포함하고,
상기 프로세서는,
상기 멀티미디어 콘텐츠의 제1 세그먼트 - 상기 제1 세그먼트는 제1 레이트로 처리된 것임 - 를 상기 네트워크로부터 수신하고,
상기 장치의 화면으로부터의 사용자의 거리와 상기 장치의 상기 화면의 화소 밀도, 및 상기 장치의 상기 화면의 명도 또는 주변 조명 조건을 결정하고,
상기 멀티미디어 콘텐츠의 제2 세그먼트에 대한 요청 - 상기 요청은 상기 장치의 상기 화면으로부터의 사용자의 거리와 상기 장치의 상기 화면의 화소 밀도, 및 상기 장치의 상기 화면의 명도 또는 주변 조명 조건에 기초함 - 을 상기 네트워크에 송신하고;
상기 멀티미디어 콘텐츠의 상기 제2 세그먼트 - 상기 제2 세그먼트는 상기 장치의 화면으로부터의 사용자의 거리와 상기 장치의 상기 화면의 화소 밀도, 및 상기 장치의 상기 화면의 명도 또는 주변 조명 조건에 따른 제2 레이트로 처리된 것임 - 를 상기 네트워크로부터 수신하도록
구성되는 것인, 멀티미디어 콘텐츠를 수신하도록 구성된 장치. - 삭제
- 제7항에 있어서,
상기 프로세서는 또한, 상기 장치의 상기 화면에 대한 사용자의 시야각을 결정하도록 구성되고,
상기 요청은 또한 상기 장치의 상기 화면에 대한 사용자의 시야각에 관한 정보를 포함하고,
상기 멀티미디어 콘텐츠의 상기 제2 세그먼트는 또한, 상기 장치의 상기 화면에 대한 사용자의 시야각에 따른 상기 제2 레이트로 처리되는 것인, 멀티미디어 콘텐츠를 수신하도록 구성된 장치. - 제7항에 있어서,
상기 프로세서는 또한, 콘텐츠 시청 파라미터를 결정하도록 구성되고,
상기 요청은 또한 상기 콘텐츠 시청 파라미터에 관한 정보를 포함하고,
상기 멀티미디어 콘텐츠의 상기 제2 세그먼트는 또한, 상기 콘텐츠 시청 파라미터에 따른 상기 제2 레이트로 처리되고,
상기 콘텐츠 시청 파라미터는 상기 멀티미디어 콘텐츠의 콘트라스트, 상기 멀티미디어 콘텐츠의 색 공간(color gamut), 또는 상기 멀티미디어 콘텐츠의 3차원 콘텐츠의 깊이의 범위 중 적어도 하나를 포함하는 것인, 멀티미디어 콘텐츠를 수신하도록 구성된 장치. - 삭제
- 제7항에 있어서,
상기 제2 레이트는 상기 멀티미디어 콘텐츠의 인코딩 레이트, 상기 멀티미디어 콘텐츠의 공간 해상도, 상기 멀티미디어 콘텐츠의 시간 해상도, 양자화 파라미터, 레이트 제어 파라미터, 상기 멀티미디어 콘텐츠의 목표 비트 레이트, 상기 멀티미디어 콘텐츠의 공간 필터링, 또는 상기 멀티미디어 콘텐츠의 시간 필터링 중 적어도 하나의 함수인 것인, 멀티미디어 콘텐츠를 수신하도록 구성된 장치. - 삭제
- 삭제
- 삭제
- 제7항에 있어서, 상기 멀티미디어 콘텐츠는 비디오 파일을 포함하는 것인, 멀티미디어 콘텐츠를 수신하도록 구성된 장치.
- 제7항에 있어서, 상기 프로세서는 상기 장치에 상주하는 DASH 클라이언트의 일부인 것인, 멀티미디어 콘텐츠를 수신하도록 구성된 장치.
- 네트워크로부터 멀티미디어 콘텐츠를 수신하도록 구성된 장치에 있어서,
프로세서를 포함하고,
상기 프로세서는,
상기 멀티미디어 콘텐츠의 제1 세그먼트 - 상기 제1 세그먼트는 제1 레이트로 처리된 것임 - 를 상기 네트워크로부터 수신하고,
상기 장치의 화면의 명도 및 주변 조명 조건을 결정하고,
상기 멀티미디어 콘텐츠의 제2 세그먼트에 대한 요청 - 상기 요청은 상기 장치의 상기 화면의 명도 및 상기 주변 조명 조건에 기초함 - 을 상기 네트워크에 송신하고,
상기 멀티미디어 콘텐츠의 상기 제2 세그먼트 - 상기 제2 세그먼트는 상기 장치의 상기 화면의 명도 및 상기 주변 조명 조건에 따른 제2 레이트로 처리된 것임 - 를 상기 네트워크로부터 수신하도록 구성되는
것인, 멀티미디어 콘텐츠를 수신하도록 구성된 장치. - 제18항에 있어서, 상기 제2 레이트는 상기 멀티미디어 콘텐츠의 인코딩 레이트, 상기 멀티미디어 콘텐츠의 공간 해상도, 상기 멀티미디어 콘텐츠의 시간 해상도, 양자화 파라미터, 레이트 제어 파라미터, 상기 멀티미디어 콘텐츠의 목표 비트 레이트, 상기 멀티미디어 콘텐츠의 공간 필터링, 또는 상기 멀티미디어 콘텐츠의 시간 필터링 중 적어도 하나의 함수인 것인, 멀티미디어 콘텐츠를 수신하도록 구성된 장치.
- 제18항에 있어서, 상기 프로세서는 상기 장치에 상주하는 DASH 클라이언트의 일부인 것인, 멀티미디어 콘텐츠를 수신하도록 구성된 장치.
- 제18항에 있어서,
상기 프로세서는 또한, 상기 장치의 화면으로부터의 사용자의 거리 또는 상기 장치의 상기 화면에 대한 사용자의 시야각을 결정하도록 구성되고,
상기 요청은 또한, 상기 장치의 상기 화면으로부터의 사용자의 거리 또는 상기 장치의 상기 화면에 대한 사용자의 시야각을 기초로 하고,
상기 멀티미디어 콘텐츠는 상기 장치의 상기 화면으로부터의 사용자의 거리 또는 상기 장치의 상기 화면에 대한 사용자의 시야각에 따른 레이트로 처리되는 것인, 멀티미디어 콘텐츠를 수신하도록 구성된 장치. - 삭제
- 제18항에 있어서,
상기 프로세서는 또한, 콘텐츠 시청 파라미터를 결정하도록 구성되고,
상기 요청은 또한, 상기 콘텐츠 시청 파라미터를 기초로 하고,
상기 멀티미디어 콘텐츠는 상기 콘텐츠 시청 파라미터에 따른 레이트로 처리되고,
상기 콘텐츠 시청 파라미터는 상기 멀티미디어 콘텐츠의 콘트라스트, 상기 멀티미디어 콘텐츠의 색 공간(color gamut), 또는 상기 멀티미디어 콘텐츠의 3차원 콘텐츠의 깊이의 범위 중 적어도 하나를 포함하는 것인, 멀티미디어 콘텐츠를 수신하도록 구성된 장치. - 제18항에 있어서,
상기 프로세서는 또한, 사용자 시청 파라미터 및 장치 시청 파라미터를 결정하도록 구성되고,
상기 요청은 또한, 상기 사용자 시청 파라미터 및 상기 장치 시청 파라미터를 기초로 하고,
상기 멀티미디어 콘텐츠는 또한, 상기 사용자 시청 파라미터 및 상기 장치 시청 파라미터에 따른 레이트로 처리되고,
상기 사용자 시청 파라미터 또는 상기 장치 시청 파라미터 중 적어도 하나는 상기 장치의 상기 화면의 크기, 상기 장치의 상기 화면의 해상도, 상기 장치의 상기 화면의 각도, 상기 장치의 상기 화면의 화소 밀도, 상기 장치의 상기 화면의 콘트라스트 비, 사용자 근접 센서, 전방 카메라(front facing camera), 후방 카메라(back facing camera), 광 센서, 적외선 촬상 장치, 초음파 센서, 마이크로폰, 가속도계, 콤파스 또는 자이로스코프 센서 중의 적어도 하나를 이용하여 결정되는 것인, 멀티미디어 콘텐츠를 수신하도록 구성된 장치. - 제18항에 있어서,
상기 프로세서는 상기 장치에 상주하는 HTTP 동적 적응 스트리밍(Dynamic Adaptive Streaming over HTTP, DASH) 클라이언트의 일부이고, 상기 멀티미디어 콘텐츠는 비디오 파일을 포함하는 것인, 멀티미디어 콘텐츠를 수신하도록 구성된 장치. - 네트워크로부터 장치에 의해 멀티미디어 콘텐츠를 수신하는 방법에 있어서,
상기 멀티미디어 콘텐츠의 제1 세그먼트 - 상기 제1 세그먼트는 제1 레이트로 처리된 것임 - 를 상기 네트워크로부터 수신하는 단계;
상기 장치의 화면의 명도 및 주변 조명 조건을 결정하는 단계;
상기 멀티미디어 콘텐츠의 제2 세그먼트에 대한 요청 - 상기 요청은 상기 장치의 상기 화면의 명도 및 상기 주변 조명 조건에 기초함 - 을 상기 네트워크에 송신하는 단계; 및
상기 멀티미디어 콘텐츠의 상기 제2 세그먼트 - 상기 제2 세그먼트는 상기 장치의 상기 화면의 명도 및 상기 주변 조명 조건에 따른 제2 레이트로 처리된 것임 - 를 상기 네트워크로부터 수신하는 단계를 포함하는, 멀티미디어 콘텐츠를 수신하는 방법. - 제26항에 있어서, 상기 제2 레이트는 상기 멀티미디어 콘텐츠의 인코딩 레이트, 상기 멀티미디어 콘텐츠의 공간 해상도, 상기 멀티미디어 콘텐츠의 시간 해상도, 양자화 파라미터, 레이트 제어 파라미터, 상기 멀티미디어 콘텐츠의 목표 비트 레이트, 상기 멀티미디어 콘텐츠의 공간 필터링, 또는 상기 멀티미디어 콘텐츠의 시간 필터링 중 적어도 하나의 함수인 것인, 멀티미디어 콘텐츠를 수신하는 방법.
- 제26항에 있어서, 상기 방법은 상기 장치에 상주하는 DASH 클라이언트에 의해 수행되는 것인, 멀티미디어 콘텐츠를 수신하는 방법.
- 제26항에 있어서, 상기 장치의 화면으로부터의 사용자의 거리 또는 상기 장치의 상기 화면에 대한 사용자의 시야각을 결정하는 단계를 더 포함하고,
상기 요청은 또한, 상기 장치의 상기 화면으로부터의 사용자의 거리 또는 상기 장치의 상기 화면에 대한 사용자의 시야각을 기초로 하고,
상기 멀티미디어 콘텐츠는 상기 장치의 상기 화면으로부터의 사용자의 거리 또는 상기 장치의 상기 화면에 대한 사용자의 시야각에 따른 레이트로 처리되는 것인, 멀티미디어 콘텐츠를 수신하는 방법. - 제26항에 있어서,
콘텐츠 시청 파라미터를 결정하는 단계를 더 포함하고,
상기 요청은 또한, 상기 콘텐츠 시청 파라미터를 기초로 하고,
상기 멀티미디어 콘텐츠는 상기 콘텐츠 시청 파라미터에 따른 레이트로 처리되고,
상기 콘텐츠 시청 파라미터는 상기 멀티미디어 콘텐츠의 콘트라스트, 상기 멀티미디어 콘텐츠의 색 공간(color gamut), 또는 상기 멀티미디어 콘텐츠의 3차원 콘텐츠의 깊이의 범위 중 적어도 하나를 포함하는 것인, 멀티미디어 콘텐츠를 수신하는 방법. - 제26항에 있어서, 상기 주변 조명 조건은 사용자 근접 센서, 전방 카메라(front facing camera), 후방 카메라(back facing camera), 광 센서 또는 적외선 촬상 장치 중 적어도 하나를 이용하여 결정되는 것인, 멀티미디어 콘텐츠를 수신하는 방법.
- 제26항에 있어서,
상기 방법은 상기 장치에 상주하는 HTTP 동적 적응 스트리밍(Dynamic Adaptive Streaming over HTTP, DASH) 클라이언트에 의해 수행되고, 상기 멀티미디어 콘텐츠는 비디오 파일을 포함하는 것인, 멀티미디어 콘텐츠를 수신하는 방법.
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201261588588P | 2012-01-19 | 2012-01-19 | |
| US61/588,588 | 2012-01-19 | ||
| US201261671633P | 2012-07-13 | 2012-07-13 | |
| US61/671,633 | 2012-07-13 | ||
| US201261672668P | 2012-07-17 | 2012-07-17 | |
| US61/672,668 | 2012-07-17 | ||
| PCT/US2013/022223 WO2013109941A2 (en) | 2012-01-19 | 2013-01-18 | Methods and systems for video delivery supporting adaption to viewing conditions |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187005121A Division KR101944092B1 (ko) | 2012-01-19 | 2013-01-18 | 시청 조건에 대한 적응을 지원하는 비디오 전송 방법 및 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140115354A KR20140115354A (ko) | 2014-09-30 |
| KR101833034B1 true KR101833034B1 (ko) | 2018-02-27 |
Family
ID=47739475
Family Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020147023039A KR101833034B1 (ko) | 2012-01-19 | 2013-01-18 | 시청 조건에 대한 적응을 지원하는 비디오 전송 방법 및 시스템 |
| KR1020197002461A KR102011499B1 (ko) | 2012-01-19 | 2013-01-18 | 시청 조건에 대한 적응을 지원하는 비디오 전송 방법 및 시스템 |
| KR1020187005121A KR101944092B1 (ko) | 2012-01-19 | 2013-01-18 | 시청 조건에 대한 적응을 지원하는 비디오 전송 방법 및 시스템 |
| KR1020197023580A KR20190097306A (ko) | 2012-01-19 | 2013-01-18 | 시청 조건에 대한 적응을 지원하는 비디오 전송 방법 및 시스템 |
Family Applications After (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197002461A KR102011499B1 (ko) | 2012-01-19 | 2013-01-18 | 시청 조건에 대한 적응을 지원하는 비디오 전송 방법 및 시스템 |
| KR1020187005121A KR101944092B1 (ko) | 2012-01-19 | 2013-01-18 | 시청 조건에 대한 적응을 지원하는 비디오 전송 방법 및 시스템 |
| KR1020197023580A KR20190097306A (ko) | 2012-01-19 | 2013-01-18 | 시청 조건에 대한 적응을 지원하는 비디오 전송 방법 및 시스템 |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US20130195204A1 (ko) |
| EP (2) | EP2805523B1 (ko) |
| JP (2) | JP6145460B2 (ko) |
| KR (4) | KR101833034B1 (ko) |
| CN (3) | CN104067628B (ko) |
| TW (2) | TW201811029A (ko) |
| WO (1) | WO2013109941A2 (ko) |
Families Citing this family (109)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7657622B1 (en) | 2003-12-23 | 2010-02-02 | At&T Intellectual Property Ii, L.P. | Unified web hosting and content distribution system and method for assuring predetermined performance levels |
| US8751800B1 (en) * | 2011-12-12 | 2014-06-10 | Google Inc. | DRM provider interoperability |
| EP2815603B1 (en) | 2012-02-17 | 2019-09-25 | Interdigital Patent Holdings, Inc. | Hierarchical traffic differentiation to handle congestion and/or manage user quality of experience |
| US8924582B2 (en) * | 2012-07-09 | 2014-12-30 | Futurewei Technologies, Inc. | Dynamic adaptive streaming over hypertext transfer protocol client behavior framework and implementation of session management |
| US9585054B2 (en) | 2012-07-19 | 2017-02-28 | Interdigital Patent Holdings, Inc. | Method and apparatus for detecting and managing user plane congestion |
| US20140156865A1 (en) * | 2012-11-30 | 2014-06-05 | Futurewei Technologies, Inc. | Generic Substitution Parameters in DASH |
| US10735486B2 (en) * | 2012-12-28 | 2020-08-04 | Qualcomm Incorporated | Device timing adjustments and methods for supporting dash over broadcast |
| WO2014110410A1 (en) | 2013-01-11 | 2014-07-17 | Interdigital Patent Holdings, Inc. | User-plane congestion management |
| US9042605B2 (en) * | 2013-02-15 | 2015-05-26 | Google Inc. | Determining a viewing distance for a computing device |
| CN105191409B (zh) * | 2013-03-14 | 2018-10-16 | 交互数字专利控股公司 | 用于选择用于接收内容的分布式网关的wtru及方法 |
| US9438652B2 (en) | 2013-04-15 | 2016-09-06 | Opentv, Inc. | Tiered content streaming |
| GB2513140B (en) * | 2013-04-16 | 2016-05-04 | Canon Kk | Methods, devices, and computer programs for streaming partitioned timed media data |
| JP2014212456A (ja) * | 2013-04-18 | 2014-11-13 | ソニー株式会社 | 送信装置、メタファイル送信方法、受信装置および受信処理方法 |
| EP2993886A4 (en) * | 2013-04-30 | 2016-11-23 | Sony Corp | SENDING DEVICE, TRANSMISSION PROCEDURE, RECEPTION DEVICE AND RECEPTION PROCEDURE |
| EP2973228B1 (en) * | 2013-07-26 | 2019-08-28 | Huawei Technologies Co., Ltd. | Spatial adaptation in adaptive streaming |
| US10182038B2 (en) * | 2013-07-29 | 2019-01-15 | Mobitv, Inc. | Efficient common storage of partially encrypted content |
| TW201517631A (zh) * | 2013-08-29 | 2015-05-01 | Vid Scale Inc | 使用者適應視訊電話 |
| US9807452B2 (en) * | 2013-10-07 | 2017-10-31 | Samsung Electronics Co., Ltd. | Practical delivery of high quality video using dynamic adaptive hypertext transport protocol (HTTP) streaming (DASH) without using HTTP in a broadcast network |
| EP3062522A4 (en) * | 2013-10-22 | 2017-07-05 | Sharp Kabushiki Kaisha | Display control device, delivery device, display control method, and display control system |
| US9800638B2 (en) * | 2013-11-04 | 2017-10-24 | At&T Intellectual Property I, L.P. | Downstream bandwidth aware adaptive bit rate selection |
| US9363333B2 (en) * | 2013-11-27 | 2016-06-07 | At&T Intellectual Property I, Lp | Server-side scheduling for media transmissions |
| US9330101B2 (en) | 2013-12-18 | 2016-05-03 | Microsoft Technology Licensing, Llc | Using constraints on media file formats to improve performance |
| US20150179149A1 (en) * | 2013-12-20 | 2015-06-25 | Qualcomm Incorporated | Dynamic gpu & video resolution control using the retina perception model |
| KR20150083429A (ko) * | 2014-01-08 | 2015-07-17 | 한국전자통신연구원 | Ｄａｓｈ를 사용하는 비디오 재생을 위한 비트 깊이 표현 방법 |
| US20150261425A1 (en) * | 2014-03-14 | 2015-09-17 | Apple Inc. | Optimized presentation of multimedia content |
| US9530450B2 (en) * | 2014-03-18 | 2016-12-27 | Vixs Systems, Inc. | Video system with fovea tracking and methods for use therewith |
| US10165028B2 (en) * | 2014-03-25 | 2018-12-25 | Intel Corporation | Context-aware streaming of digital content |
| US10045050B2 (en) | 2014-04-25 | 2018-08-07 | Vid Scale, Inc. | Perceptual preprocessing filter for viewing-conditions-aware video coding |
| US9678345B1 (en) * | 2014-08-15 | 2017-06-13 | Rockwell Collins, Inc. | Dynamic vergence correction in binocular displays |
| US10129312B2 (en) * | 2014-09-11 | 2018-11-13 | Microsoft Technology Licensing, Llc | Dynamic video streaming based on viewer activity |
| FR3026589A1 (fr) | 2014-09-30 | 2016-04-01 | Orange | Procede et dispositif d'adaptation d'affichage d'un flux video par un client |
| JP6365229B2 (ja) * | 2014-10-23 | 2018-08-01 | 株式会社デンソー | 多感覚インタフェースの制御方法および多感覚インタフェース制御装置、多感覚インタフェースシステム |
| US9313508B1 (en) | 2014-10-29 | 2016-04-12 | Qualcomm Incorporated | Feeding intra-coded video frame after port reconfiguration in video telephony |
| KR102288087B1 (ko) | 2014-11-25 | 2021-08-10 | 엘지전자 주식회사 | 멀티미디어 디바이스 및 그 제어 방법 |
| CN105812850A (zh) * | 2014-12-31 | 2016-07-27 | 乐视网信息技术（北京）股份有限公司 | 一种视频文件播放方法及其系统 |
| CN117278537A (zh) * | 2015-02-11 | 2023-12-22 | Vid拓展公司 | 用于dash中的一般化http头的系统和方法 |
| US9706356B2 (en) * | 2015-03-25 | 2017-07-11 | Htc Corporation | Positioning system and method |
| KR102313485B1 (ko) | 2015-04-22 | 2021-10-15 | 삼성전자주식회사 | 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치 |
| WO2016171528A1 (ko) * | 2015-04-23 | 2016-10-27 | 엘지전자 주식회사 | 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법 |
| EP3300375A4 (en) * | 2015-05-18 | 2018-11-21 | LG Electronics Inc. | Broadcast signal transmitting apparatus, broadcast signal receiving apparatus, broadcast signal transmitting method, and broadcast signal receiving method |
| JP6616592B2 (ja) * | 2015-05-20 | 2019-12-04 | 日本放送協会 | 符号化装置及びそのプログラム |
| CN104935971B (zh) * | 2015-06-02 | 2018-08-07 | 阔地教育科技有限公司 | 一种在线课堂中的视频传输动态调整方法及系统 |
| US10200725B2 (en) * | 2015-06-15 | 2019-02-05 | Intel Corporation | Adaptive data streaming based on virtual screen size |
| US9872028B2 (en) * | 2015-06-26 | 2018-01-16 | Intel Corporation | Wireless display adaptations and optimizations based on unfiltered and regional feedback |
| CN107148776B (zh) * | 2015-09-29 | 2020-04-28 | 华为技术有限公司 | 获取视频数据的方法、装置、系统及计算机可读存储介质 |
| CA3004793A1 (en) * | 2015-11-09 | 2017-05-18 | Thomson Licensing | Method and device for adapting the video content decoded from elementary streams to the characteristics of a display |
| JP2017126941A (ja) * | 2016-01-15 | 2017-07-20 | 株式会社サイバーエージェント | コンテンツ配信システム |
| CN107925669B (zh) * | 2016-01-28 | 2021-01-26 | 联发科技股份有限公司 | 一种消息交互的方法和提供媒体服务的系统 |
| KR101798321B1 (ko) * | 2016-02-19 | 2017-11-15 | 서울과학기술대학교 산학협력단 | 자유 시점 방송의 송수신 장치 및 방법 |
| KR101718127B1 (ko) * | 2016-02-24 | 2017-03-20 | 광운대학교 산학협력단 | 상황 인지 스트리밍 서비스를 위한 콘텐츠 패키징 시스템 및 스트리밍 방법 |
| JP2017157903A (ja) * | 2016-02-29 | 2017-09-07 | 富士ゼロックス株式会社 | 情報処理装置 |
| JP2017163287A (ja) | 2016-03-08 | 2017-09-14 | 富士ゼロックス株式会社 | 表示装置 |
| US20170279866A1 (en) * | 2016-03-22 | 2017-09-28 | Intel Corporation | Adaptation of streaming data based on the environment at a receiver |
| US10382820B2 (en) * | 2016-04-01 | 2019-08-13 | Huawei Technologies Co., Ltd. | Apparatus and method for bandwidth allocation as a function of a sensed characteristic of a user |
| US10474745B1 (en) | 2016-04-27 | 2019-11-12 | Google Llc | Systems and methods for a knowledge-based form creation platform |
| US11039181B1 (en) | 2016-05-09 | 2021-06-15 | Google Llc | Method and apparatus for secure video manifest/playlist generation and playback |
| US10595054B2 (en) | 2016-05-10 | 2020-03-17 | Google Llc | Method and apparatus for a virtual online video channel |
| US11069378B1 (en) | 2016-05-10 | 2021-07-20 | Google Llc | Method and apparatus for frame accurate high resolution video editing in cloud using live video streams |
| US10750216B1 (en) | 2016-05-10 | 2020-08-18 | Google Llc | Method and apparatus for providing peer-to-peer content delivery |
| US10785508B2 (en) | 2016-05-10 | 2020-09-22 | Google Llc | System for measuring video playback events using a server generated manifest/playlist |
| US10750248B1 (en) | 2016-05-10 | 2020-08-18 | Google Llc | Method and apparatus for server-side content delivery network switching |
| US10771824B1 (en) | 2016-05-10 | 2020-09-08 | Google Llc | System for managing video playback using a server generated manifest/playlist |
| US11032588B2 (en) * | 2016-05-16 | 2021-06-08 | Google Llc | Method and apparatus for spatial enhanced adaptive bitrate live streaming for 360 degree video playback |
| EP3249929A1 (en) * | 2016-05-25 | 2017-11-29 | Thomson Licensing | Method and network equipment for establishing a manifest |
| US10841566B2 (en) | 2016-05-26 | 2020-11-17 | Vid Scale, Inc. | Methods and apparatus of viewport adaptive 360 degree video delivery |
| KR101713492B1 (ko) | 2016-06-27 | 2017-03-07 | 가천대학교 산학협력단 | 영상 복호화 방법, 영상 부호화 방법, 영상 복호화 장치, 및 영상 부호화 장치 |
| US10373592B2 (en) * | 2016-08-01 | 2019-08-06 | Facebook Technologies, Llc | Adaptive parameters in image regions based on eye tracking information |
| GB2552943A (en) * | 2016-08-09 | 2018-02-21 | V-Nova Ltd | Adaptive video consumption |
| US10148512B2 (en) * | 2016-08-12 | 2018-12-04 | T-Mobile Usa, Inc. | Mobile video optimization |
| KR102511320B1 (ko) * | 2016-10-12 | 2023-03-17 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 공간적으로 불균등한 스트리밍 |
| CN108093197B (zh) * | 2016-11-21 | 2021-06-15 | 阿里巴巴集团控股有限公司 | 用于信息分享的方法、系统及机器可读介质 |
| CN108282449B (zh) * | 2017-01-06 | 2020-10-09 | 华为技术有限公司 | 一种应用于虚拟现实技术的流媒体的传输方法和客户端 |
| KR101748382B1 (ko) * | 2017-02-03 | 2017-06-16 | 주식회사 헤카스 | 비디오 스트리밍 제공 방법 및 시스템 |
| JP6247782B1 (ja) * | 2017-02-15 | 2017-12-13 | パナソニック株式会社 | 端末装置、映像配信システムおよび映像配信方法 |
| JP6872631B2 (ja) | 2017-03-23 | 2021-05-19 | ヴィド スケール インコーポレイテッド | ３６０度適応ストリーミングのエクスペリエンスを改善するためのメトリックおよびメッセージ |
| US20180310040A1 (en) * | 2017-04-21 | 2018-10-25 | Nokia Technologies Oy | Method and apparatus for view dependent delivery of tile-based video content |
| CN108882018B (zh) | 2017-05-09 | 2020-10-20 | 阿里巴巴（中国）有限公司 | 虚拟场景中的视频播放、数据提供方法、客户端及服务器 |
| US10623724B2 (en) | 2017-07-19 | 2020-04-14 | International Business Machines Corporation | Adaptive display environment for dynamic applications |
| CN110945494A (zh) * | 2017-07-28 | 2020-03-31 | 杜比实验室特许公司 | 向客户端提供媒体内容的方法和系统 |
| JP6277318B1 (ja) * | 2017-10-10 | 2018-02-07 | パナソニック株式会社 | 端末装置、映像配信システムおよび映像配信方法 |
| JP6271072B1 (ja) * | 2017-10-10 | 2018-01-31 | パナソニック株式会社 | 端末装置、映像配信システムおよび映像配信方法 |
| US20190124392A1 (en) * | 2017-10-24 | 2019-04-25 | International Business Machines Corporation | Determining quality issues in advance of a media broadcast |
| WO2019117629A1 (ko) * | 2017-12-12 | 2019-06-20 | 가천대학교 산학협력단 | 뷰포트 정보를 이용한 가상 현실 비디오 스트리밍 |
| KR101941789B1 (ko) * | 2017-12-13 | 2019-01-24 | 가천대학교 산학협력단 | 뷰포트와 타일 크기에 기초한 가상 현실 비디오 전송 |
| CN108200456A (zh) * | 2017-12-29 | 2018-06-22 | 重庆洪深现代视声技术有限公司 | 能够智能切换asi码流设备的遥控装置 |
| US10931977B2 (en) | 2018-03-15 | 2021-02-23 | Comcast Cable Communications, Llc | Systems, methods, and apparatuses for processing video |
| US11381849B2 (en) * | 2018-03-15 | 2022-07-05 | Comcast Cable Communications, Llc | Systems, methods, and apparatuses for processing video |
| CN108600691B (zh) * | 2018-04-02 | 2020-11-03 | 深圳臻迪信息技术有限公司 | 图像采集方法、装置及系统 |
| US10664047B2 (en) * | 2018-05-17 | 2020-05-26 | International Business Machines Corporation | Displaying visually aligned content of a mobile device |
| US11210965B2 (en) * | 2018-05-17 | 2021-12-28 | Pearson Education, Inc. | Diagnostic analyzer for visual-spatial content |
| WO2020024576A1 (zh) | 2018-08-01 | 2020-02-06 | Oppo广东移动通信有限公司 | 摄像头校准方法和装置、电子设备、计算机可读存储介质 |
| JP6781239B2 (ja) * | 2018-12-10 | 2020-11-04 | ソフトバンク株式会社 | 表示装置、表示方法及び表示プログラム |
| CN109600668B (zh) * | 2019-01-10 | 2021-03-30 | 京东方科技集团股份有限公司 | Vr头戴设备、显示系统及方法 |
| EP3915269A1 (en) | 2019-01-24 | 2021-12-01 | PCMS Holdings, Inc. | System and method for adaptive spatial content streaming with multiple levels of detail and degrees of freedom |
| EP4008095B1 (en) | 2019-08-02 | 2024-02-21 | Dolby Laboratories Licensing Corporation | Personalized sensitivity measurements and playback factors for adaptive and personalized media coding and delivery |
| CN112533034B (zh) * | 2019-09-17 | 2023-08-25 | 青岛海信宽带多媒体技术有限公司 | 基于hls的视频提供方法、装置、设备、介质及系统 |
| CN110662109B (zh) * | 2019-09-29 | 2022-10-18 | 咪咕动漫有限公司 | 一种视频播放方法、电子设备及计算机可读存储介质 |
| CN110689485B (zh) * | 2019-10-14 | 2022-11-04 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种应用于大型压力容器红外无损检测的sift图像拼接方法 |
| US11302291B1 (en) * | 2019-11-27 | 2022-04-12 | Amazon Technologies, Inc. | Device agnostic user interface generation |
| CN111491119A (zh) * | 2020-04-22 | 2020-08-04 | 上海微阱电子科技有限公司 | 一种支持全局曝光和卷帘曝光的像元结构 |
| WO2021230001A1 (ja) * | 2020-05-11 | 2021-11-18 | ソニーグループ株式会社 | 情報処理装置及び情報処理方法 |
| US11616589B2 (en) | 2020-06-25 | 2023-03-28 | Sony Interactive Entertainment LLC | Methods and systems for performing and recording live music near live with no latency |
| US11563504B2 (en) * | 2020-06-25 | 2023-01-24 | Sony Interactive Entertainment LLC | Methods and systems for performing and recording live music using audio waveform samples |
| US11539935B2 (en) * | 2020-12-02 | 2022-12-27 | Meta Platforms Technologies, Llc | Videotelephony with parallax effect |
| US11336707B1 (en) | 2020-12-21 | 2022-05-17 | T-Mobile Usa, Inc. | Adaptive content transmission |
| JP7325740B2 (ja) * | 2021-03-09 | 2023-08-15 | 学校法人金沢医科大学 | 見え方シミュレーション方法及びプログラム |
| US20230164387A1 (en) * | 2021-11-24 | 2023-05-25 | Phenix Real Time Solutions, Inc. | Eye gaze as a proxy of attention for video streaming services |
| US11665215B1 (en) * | 2022-05-05 | 2023-05-30 | At&T Intellectual Property I, L.P. | Content delivery system |
| WO2024069534A1 (en) * | 2022-09-30 | 2024-04-04 | Sightful Computers Ltd | Adaptive extended reality content presentation in multiple physical environments |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000276123A (ja) * | 1999-03-26 | 2000-10-06 | Canon Inc | 表示装置及びコンピュータ読み取り可能な記憶媒体 |
| JP2001251322A (ja) * | 2000-03-08 | 2001-09-14 | Yamaha Corp | データサーバシステム |
| KR101008523B1 (ko) * | 2001-09-20 | 2011-01-14 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 사용자 주의에 기초하여 실시간 멀티미디어 콘텐츠 전달을 위한 품질 적응 |
| WO2011047335A1 (en) * | 2009-10-16 | 2011-04-21 | Qualcomm Incorporated | Adaptively streaming multimedia |
| WO2011087449A1 (en) * | 2010-01-18 | 2011-07-21 | Telefonaktiebolaget L M Ericsson (Publ) | Methods and arrangements for http media stream distribution |
| WO2011102791A1 (en) * | 2010-02-19 | 2011-08-25 | Telefonaktiebolaget L M Ericsson (Publ) | Method and arrangement for representation switching in http streaming |
Family Cites Families (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100320465B1 (ko) | 1999-01-11 | 2002-01-16 | 구자홍 | 홍채 인식 시스템 |
| KR100320188B1 (ko) | 1999-03-23 | 2002-01-10 | 구자홍 | 홍채인식 시스템의 위조 판별방법 |
| KR100343223B1 (ko) | 1999-12-07 | 2002-07-10 | 윤종용 | 화자 위치 검출 장치 및 그 방법 |
| US7027061B1 (en) * | 2000-09-28 | 2006-04-11 | Rockwell Automation Technologies, Inc. | Raster engine with multiple color depth digital display interface |
| KR100649303B1 (ko) | 2000-11-16 | 2006-11-24 | 엘지전자 주식회사 | 양쪽 눈의 홍채 이미지 집사 장치 |
| US7215797B2 (en) | 2001-02-02 | 2007-05-08 | Lg Electronics Inc. | Iris recognition system |
| US7095901B2 (en) | 2001-03-15 | 2006-08-22 | Lg Electronics, Inc. | Apparatus and method for adjusting focus position in iris recognition system |
| US7271839B2 (en) | 2001-03-15 | 2007-09-18 | Lg Electronics Inc. | Display device of focal angle and focal distance in iris recognition system |
| US20030009542A1 (en) * | 2001-06-14 | 2003-01-09 | Kasal Alpay O. | Digital entertainment solution |
| KR100854890B1 (ko) | 2001-12-28 | 2008-08-28 | 엘지전자 주식회사 | 홍채 인식 시스템의 다중 조명을 이용한 홍채 등록 및인식방법 |
| KR100842501B1 (ko) | 2002-02-21 | 2008-07-01 | 엘지전자 주식회사 | 홍채 인식 시스템의 눈위치 표시장치 |
| KR20040062247A (ko) | 2003-01-02 | 2004-07-07 | 엘지전자 주식회사 | 홍채 인식 카메라의 구조 및 그 사용 방법 |
| AU2005267171A1 (en) * | 2004-07-20 | 2006-02-02 | Qualcomm Incorporated | Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression |
| US8015590B2 (en) | 2004-12-30 | 2011-09-06 | Mondo Systems, Inc. | Integrated multimedia signal processing system using centralized processing of signals |
| DE102004063594A1 (de) * | 2004-12-30 | 2006-07-13 | BSH Bosch und Siemens Hausgeräte GmbH | Verfahren zur Regelung der Hintergrundbeleuchtung eines Displays |
| JP4896002B2 (ja) | 2005-03-01 | 2012-03-14 | パナソニック株式会社 | 電子表示媒体および電子表示媒体に用いられる画面表示制御方法 |
| US8701148B2 (en) * | 2005-09-01 | 2014-04-15 | At&T Intellectual Property I, L.P. | Methods, systems, and devices for bandwidth conservation |
| US8879635B2 (en) * | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Methods and device for data alignment with time domain boundary |
| US7714265B2 (en) * | 2005-09-30 | 2010-05-11 | Apple Inc. | Integrated proximity sensor and light sensor |
| JP2007110312A (ja) * | 2005-10-12 | 2007-04-26 | Matsushita Electric Ind Co Ltd | 通信システム、テレビ電話システム及び端末 |
| US20070091920A1 (en) * | 2005-10-20 | 2007-04-26 | Harris John M | System and method for improving the capacity of a network |
| CN1859561B (zh) * | 2005-11-01 | 2010-05-12 | 华为技术有限公司 | 流媒体点播系统及方法 |
| JP2007207328A (ja) * | 2006-01-31 | 2007-08-16 | Toshiba Corp | 情報記憶媒体、プログラム、情報再生方法、情報再生装置、データ転送方法、及びデータ処理方法 |
| JP4359720B2 (ja) * | 2006-05-12 | 2009-11-04 | 株式会社カシオ日立モバイルコミュニケーションズ | 映像音声再生装置 |
| US7850306B2 (en) * | 2008-08-28 | 2010-12-14 | Nokia Corporation | Visual cognition aware display and visual data transmission architecture |
| US20100079508A1 (en) | 2008-09-30 | 2010-04-01 | Andrew Hodge | Electronic devices with gaze detection capabilities |
| US20110194454A1 (en) * | 2008-10-08 | 2011-08-11 | Ryosuke Ohmae | Wireless transmission system and wireless transmission method |
| CN101742282A (zh) * | 2008-11-24 | 2010-06-16 | 深圳Tcl新技术有限公司 | 一种调整显示设备视频内容参数的方法、系统及设备 |
| JP2010176307A (ja) * | 2009-01-28 | 2010-08-12 | Toshiba Corp | 電子装置及び電子装置の制御方法と制御プログラム |
| GB2467932A (en) * | 2009-02-19 | 2010-08-25 | Sony Corp | Image processing device and method |
| US8510462B2 (en) * | 2009-03-31 | 2013-08-13 | Canon Kabushiki Kaisha | Network streaming of a video media from a media server to a media client |
| US8280226B2 (en) * | 2009-04-06 | 2012-10-02 | International Business Machines Corporation | Content recorder multi-angle viewing and playback |
| KR101032726B1 (ko) | 2009-09-01 | 2011-05-06 | 엘지이노텍 주식회사 | 눈 상태 검출방법 |
| KR101626159B1 (ko) | 2009-11-25 | 2016-05-31 | 엘지전자 주식회사 | 사용자 적응형 디스플레이 장치 및 디스플레이 방법 |
| US8427476B2 (en) * | 2009-12-14 | 2013-04-23 | Acer Incorporated | System and method for automatically adjusting visual setting of display device |
| KR20110069563A (ko) | 2009-12-17 | 2011-06-23 | 엘지전자 주식회사 | 영상표시장치 및 그 동작 방법 |
| JP5047261B2 (ja) * | 2009-12-18 | 2012-10-10 | 株式会社東芝 | 録画再生装置、録画再生方法及びプログラム |
| US9313526B2 (en) * | 2010-02-19 | 2016-04-12 | Skype | Data compression for video |
| US9596447B2 (en) * | 2010-07-21 | 2017-03-14 | Qualcomm Incorporated | Providing frame packing type information for video coding |
| WO2012015460A1 (en) | 2010-07-26 | 2012-02-02 | Thomson Licensing | Dynamic adaptation of displayed video quality based on viewers' context |
| EP2453386B1 (en) | 2010-11-11 | 2019-03-06 | LG Electronics Inc. | Multimedia device, multiple image sensors having different types and method for controlling the same |
| US8849950B2 (en) * | 2011-04-07 | 2014-09-30 | Qualcomm Incorporated | Network streaming of video data using byte range requests |
| WO2011100901A2 (zh) | 2011-04-07 | 2011-08-25 | 华为技术有限公司 | 媒体内容的传输处理方法、装置与系统 |
| KR101449748B1 (ko) | 2011-08-18 | 2014-10-13 | 엘지디스플레이 주식회사 | 입체영상 디스플레이장치 및 그 구동 방법 |
-
2013
- 2013-01-18 EP EP13705039.9A patent/EP2805523B1/en active Active
- 2013-01-18 US US13/745,580 patent/US20130195204A1/en not_active Abandoned
- 2013-01-18 CN CN201380006173.8A patent/CN104067628B/zh active Active
- 2013-01-18 WO PCT/US2013/022223 patent/WO2013109941A2/en active Application Filing
- 2013-01-18 TW TW106128966A patent/TW201811029A/zh unknown
- 2013-01-18 CN CN202210481072.7A patent/CN115086767A/zh active Pending
- 2013-01-18 KR KR1020147023039A patent/KR101833034B1/ko active IP Right Grant
- 2013-01-18 EP EP19157404.5A patent/EP3506644B1/en active Active
- 2013-01-18 KR KR1020197002461A patent/KR102011499B1/ko active IP Right Grant
- 2013-01-18 KR KR1020187005121A patent/KR101944092B1/ko active IP Right Grant
- 2013-01-18 KR KR1020197023580A patent/KR20190097306A/ko not_active Application Discontinuation
- 2013-01-18 CN CN201811360870.4A patent/CN109905728A/zh active Pending
- 2013-01-18 JP JP2014553474A patent/JP6145460B2/ja active Active
- 2013-01-18 TW TW102101949A patent/TW201349870A/zh unknown
-
2017
- 2017-05-15 JP JP2017096731A patent/JP2017169227A/ja active Pending
-
2021
- 2021-04-08 US US17/225,191 patent/US11849153B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000276123A (ja) * | 1999-03-26 | 2000-10-06 | Canon Inc | 表示装置及びコンピュータ読み取り可能な記憶媒体 |
| JP2001251322A (ja) * | 2000-03-08 | 2001-09-14 | Yamaha Corp | データサーバシステム |
| KR101008523B1 (ko) * | 2001-09-20 | 2011-01-14 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 사용자 주의에 기초하여 실시간 멀티미디어 콘텐츠 전달을 위한 품질 적응 |
| WO2011047335A1 (en) * | 2009-10-16 | 2011-04-21 | Qualcomm Incorporated | Adaptively streaming multimedia |
| US20110093605A1 (en) * | 2009-10-16 | 2011-04-21 | Qualcomm Incorporated | Adaptively streaming multimedia |
| WO2011087449A1 (en) * | 2010-01-18 | 2011-07-21 | Telefonaktiebolaget L M Ericsson (Publ) | Methods and arrangements for http media stream distribution |
| WO2011102791A1 (en) * | 2010-02-19 | 2011-08-25 | Telefonaktiebolaget L M Ericsson (Publ) | Method and arrangement for representation switching in http streaming |
Non-Patent Citations (1)
| Title |
|---|
| 반태학, 정상호, 유소라, 김호겸, 정회경, "HTTP상에서 동적 적응적 스트리밍 시스템 설계 및 구현", 한국해양정보통신학회 2011년도 추계학술대회, pp.666-668(2011.10.)* |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017169227A (ja) | 2017-09-21 |
| KR20190097306A (ko) | 2019-08-20 |
| KR101944092B1 (ko) | 2019-01-30 |
| EP3506644A1 (en) | 2019-07-03 |
| WO2013109941A3 (en) | 2013-09-19 |
| KR20140115354A (ko) | 2014-09-30 |
| CN109905728A (zh) | 2019-06-18 |
| JP6145460B2 (ja) | 2017-06-14 |
| CN115086767A (zh) | 2022-09-20 |
| TW201349870A (zh) | 2013-12-01 |
| EP2805523B1 (en) | 2019-03-27 |
| US20210235126A1 (en) | 2021-07-29 |
| KR20190011337A (ko) | 2019-02-01 |
| US20130195204A1 (en) | 2013-08-01 |
| US11849153B2 (en) | 2023-12-19 |
| KR20180021252A (ko) | 2018-02-28 |
| KR102011499B1 (ko) | 2019-10-21 |
| EP3506644B1 (en) | 2020-12-30 |
| JP2015510325A (ja) | 2015-04-02 |
| EP2805523A2 (en) | 2014-11-26 |
| WO2013109941A2 (en) | 2013-07-25 |
| CN104067628A (zh) | 2014-09-24 |
| TW201811029A (zh) | 2018-03-16 |
| CN104067628B (zh) | 2018-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11849153B2 (en) | Methods and systems for video delivery supporting adaptation to viewing conditions | |
| US11356638B2 (en) | User-adaptive video telephony | |
| AU2013296977B2 (en) | Device orientation capability exchange signaling and server adaptation of multimedia content in response to device orientation | |
| KR101622785B1 (ko) | Mpeg/3gpp-dash에서의 원활한 스트림 스위칭을 위한 방법 및 장치 | |
| KR101757994B1 (ko) | 품질 주도형 스트리밍 | |
| EP3042503B1 (en) | Viewing conditions' estimation for adaptive delivery of visual information in a viewing environment | |
| Reznik | User-adaptive mobile video streaming using MPEG-DASH |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |