TWI502485B - 用於顯示及傳輸媒體資訊之方法、裝置及電腦可讀儲存媒體 - Google Patents

用於顯示及傳輸媒體資訊之方法、裝置及電腦可讀儲存媒體 Download PDF

Info

Publication number
TWI502485B
TWI502485B TW102122022A TW102122022A TWI502485B TW I502485 B TWI502485 B TW I502485B TW 102122022 A TW102122022 A TW 102122022A TW 102122022 A TW102122022 A TW 102122022A TW I502485 B TWI502485 B TW I502485B
Authority
TW
Taiwan
Prior art keywords
image
information
period
video
video information
Prior art date
Application number
TW102122022A
Other languages
English (en)
Other versions
TW201403456A (zh
Inventor
Ye-Kui Wang
Nikolai Konrad Nepomuceno Leung
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201403456A publication Critical patent/TW201403456A/zh
Application granted granted Critical
Publication of TWI502485B publication Critical patent/TWI502485B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3877—Image rotation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

用於顯示及傳輸媒體資訊之方法、裝置及電腦可讀儲存媒體
本發明係關於獲取及顯示圖像資料，更特定言之，獲取及顯示包括圖像方位資訊之圖像資料。
在行動器件上記錄視訊允許圖像隨著記錄器件旋轉在不同的方位被記錄。在一些狀況下，藉由行動器件之攝影機所獲取之圖像的矩形形狀可使得將攝影機定向於特定方向上為較佳的，以更好地獲取場景資訊(例如，橫向對縱向)。然而，在無關於圖像經獲取之方位的任何資訊之情況下，顯示器件不可恰當地顯示圖像，例如，圖像之呈現可能不恰當地旋轉或顛倒。在一些情形下，顯示器件不可藉由檢視者實體旋轉以補償旋轉呈現。舉例而言，如HDTV之大的固定顯示器不可實體旋轉。又，在雙向視訊會議呼叫之狀況下，顯示器件之旋轉亦將旋轉器件中之攝影機。此情形可為不合需要的，此係因為其旋轉發送至其他終端機之視訊，且防止攝影機經定向以更好地匹配其正獲取之場景。需要提供資訊以允許顯示器件在於顯示器件上顯示所獲取圖像之前正確地定向該圖像。
本發明之系統、方法及器件各自具有若干態樣，該等態樣中無 單一態樣單獨負責其合乎需要之屬性。在不限制如藉由下文之申請專利範圍所表達的本發明之範疇的情況下，現將簡要地論述一些特徵。在考慮此論述之後，且特定言之在閱讀題為「實施方式」之章節之後，吾人將理解本發明之特徵提供優點的方式，該等優點包括於多媒體呈現(例如，視訊、圖像之序列)中包括之圖像之旋轉量及持續時間的識別及應用。
在一創新性態樣中，提供一種用於顯示媒體資訊之方法。該方法包括獲得圖像或視訊資訊，該圖像或視訊資訊包括至少一輸出圖像及用於該至少一輸出圖像之旋轉資訊，該旋轉資訊包括於該圖像或視訊資訊之一第一部分中且該至少一輸出圖像包括於該圖像或視訊資訊的一第二部分中，該第二部分經編碼且該第一部分相異於該第二部分。該方法進一步包括解碼包括於該圖像或視訊資訊之該第二部分中的至少一輸出圖像。該方法亦包括基於包括於該圖像或視訊資訊之該第一部分中的該旋轉資訊識別旋轉資料及用於該旋轉資料之一週期。該方法亦包括根據該所識別旋轉資料及該所識別週期旋轉該經解碼之至少一輸出圖像。
在另一創新性態樣中，提供一種用於顯示媒體資訊之裝置。該裝置包括一記憶體單元，該記憶體單元經組態以儲存圖像或視訊資訊，該圖像或視訊資訊包括至少一輸出圖像及用於該至少一輸出圖像之旋轉資訊，該旋轉資訊包括於該圖像或視訊資訊之一第一部分中且該至少一輸出圖像包括於該圖像或視訊資訊的一第二部分中，該第二部分經編碼且該第一部分相異於該第二部分。該裝置包括一輸送層處理器。該輸送層處理器經組態以自包括於該第一部分中之該旋轉資訊提取旋轉資料及用於該旋轉資料之一週期。該輸送層處理器經進一步組態以自該第二部分提取該至少一輸出圖像。該裝置亦包括一解碼器，該解碼器經組態以解碼該所提取之至少一輸出圖像。該裝置進一 步包括一呈現處理器，該呈現處理器經組態以基於該所識別旋轉資料及該所識別週期產生該經解碼之至少一輸出圖像的一版本以供顯示。
在又一創新性態樣中，提供一種電腦可讀儲存媒體，其包含可藉由一裝置之一處理器執行之指令。該等指令使得該裝置獲得圖像或視訊資訊，該圖像或視訊資訊包括至少一輸出圖像及用於該至少一輸出圖像之旋轉資訊，該旋轉資訊包括於該圖像或視訊資訊之一第一部分中且該至少一輸出圖像包括於該圖像或視訊資訊的一第二部分中，該第二部分經編碼且該第一部分相異於該第二部分。該等指令亦使得該裝置解碼包括於該圖像或視訊資訊之該第二部分中的至少一輸出圖像。該等指令進一步使得該裝置基於包括於該圖像或視訊資訊之該第一部分中的該旋轉資訊識別旋轉資料及用於該旋轉資料之一週期。該等指令亦使得該裝置根據該所識別旋轉資料及該所識別週期旋轉該經解碼之至少一輸出圖像。
提供用於顯示媒體資訊之另一創新性裝置。該裝置包括用於獲得圖像或視訊資訊之構件，該圖像或視訊資訊包括至少一輸出圖像及用於該至少一輸出圖像之旋轉資訊，該旋轉資訊包括於該圖像或視訊資訊之一第一部分中且該至少一輸出圖像包括於該圖像或視訊資訊的一第二部分中，該第二部分經編碼且該第一部分相異於該第二部分。該裝置包括用於處理輸送層資訊之構件，該構件經組態以自包括於該第一部分中之該旋轉資訊提取旋轉資料及用於該旋轉資料之一週期，及自該第二部分提取該至少一輸出圖像。該裝置進一步包括用於解碼之構件，該構件經組態以解碼該所提取之至少一輸出圖像。該裝置亦包括用於產生一顯示之構件，該構件經組態以基於該所識別旋轉資料及該所識別週期產生該經解碼之至少一輸出圖像的一版本以供顯示。
在又一創新性態樣中，提供一種用於傳輸媒體資訊之方法。該方法包括獲得圖像或視訊資訊，該圖像或視訊資訊包括影像資料及一 媒體獲取單元在獲得該圖像或視訊資訊時之方位資訊。該方法進一步包括編碼該圖像或視訊資訊，其中該方位資訊包括於一第一部分中且該影像資料包括於一第二部分中，該第二部分經編碼且該第一部分相異於該第二部分。該方法亦包括傳輸該第一部分及該第二部分。
在又一創新性態樣中，提供一種用於傳輸媒體資訊之裝置。該裝置包括一媒體獲取單元，該媒體獲取單元經組態以獲得圖像或視訊資訊，該圖像或視訊資訊包括影像資料及該媒體獲取單元在獲得該圖像或視訊資訊時之方位資訊。該裝置包括一編碼器，該編碼器經組態以編碼該圖像或視訊資訊，其中該方位資訊包括於一第一部分中且該影像資料包括於一第二部分中，該第二部分經編碼且該第一部分相異於該第二部分。該裝置進一步包括一傳輸器，該傳輸器經組態以傳輸該第一部分及該第二部分。
在另一創新性態樣中，提供一種電腦可讀儲存媒體，其包含可藉由一裝置之一處理器執行之指令。該等指令使得該裝置獲得圖像或視訊資訊，該圖像或視訊資訊包括影像資料及一媒體獲取單元在獲得該圖像或視訊資訊時之方位資訊。該等指令使得該裝置編碼該圖像或視訊資訊，其中該方位資訊包括於一第一部分中且該影像資料包括於一第二部分中，該第二部分經編碼且該第一部分相異於該第二部分。該等指令亦使得該裝置傳輸該第一部分及該第二部分。
在又一創新性態樣中，提供一種用於傳輸媒體資訊之裝置。該裝置包括用於獲得圖像或視訊資訊之構件，該圖像或視訊資訊包括影像資料及一媒體獲取單元在獲得該圖像或視訊資訊時之方位資訊。該裝置包括用於編碼該圖像或視訊資訊之構件，其中該方位資訊包括於一第一部分中且該影像資料包括於一第二部分中，該第二部分經編碼且該第一部分相異於該第二部分。該裝置亦包括用於傳輸該第一部分及該第二部分之構件。
下文參看以下諸圖進一步描述符合本發明之此等及其他實施。
10‧‧‧系統
12‧‧‧源器件/視訊器件
15‧‧‧通信頻道
16‧‧‧目的地器件/視訊器件
20‧‧‧視訊源
22‧‧‧視訊編碼器
23‧‧‧調變器/解調變器/數據機
24‧‧‧傳輸器
26‧‧‧接收器
27‧‧‧數據機
28‧‧‧視訊解碼器
30‧‧‧顯示器件
202‧‧‧器件
204‧‧‧處理器單元/處理單元
206‧‧‧記憶體
208‧‧‧外殼
210‧‧‧傳輸器
212‧‧‧接收器
214‧‧‧收發器
216‧‧‧天線
218‧‧‧信號偵測器
220‧‧‧數位信號處理器(DSP)
222‧‧‧使用者介面
224‧‧‧網路輸入/輸出
226‧‧‧匯流排系統
228‧‧‧方位偵測器
230‧‧‧時脈
300‧‧‧編碼器件
302‧‧‧影像編碼器
304‧‧‧訊息編碼器
400‧‧‧訊息/信號
404‧‧‧輸送標頭
406‧‧‧經寫碼圖像欄位
412‧‧‧方位資訊標頭
420‧‧‧類型欄位
422‧‧‧推薦旋轉欄位
424‧‧‧持續週期欄位
500‧‧‧訊息
502‧‧‧版本欄位
504‧‧‧填補欄位
506‧‧‧格式欄位
508‧‧‧有效負載類型
510‧‧‧長度欄位
512‧‧‧封包源識別符欄位
514‧‧‧媒體源識別符欄位
520‧‧‧回饋控制資訊欄位
525‧‧‧有效負載類型欄位
530‧‧‧持續週期結束指定欄位
535‧‧‧推薦旋轉欄位
540‧‧‧保留欄位
545‧‧‧持續週期開始欄位
550‧‧‧持續週期結束欄位
600‧‧‧訊息
602‧‧‧版本欄位
604‧‧‧填補欄位
606‧‧‧格式欄位
608‧‧‧有效負載類型
610‧‧‧序號欄位
612‧‧‧時戳欄位
614‧‧‧源識別符欄位
618‧‧‧貢獻源識別符
620‧‧‧擴展標頭識別符欄位
622‧‧‧擴展標頭長度欄位
624‧‧‧擴展標頭欄位
700‧‧‧解碼器件
701‧‧‧輸送接收器
702‧‧‧解碼器
704‧‧‧顯示預處理器
900‧‧‧裝置
902‧‧‧獲取電路
904‧‧‧編碼電路
906‧‧‧傳輸器
1100‧‧‧裝置
1102‧‧‧接收器
1104‧‧‧訊息剖析器
1106‧‧‧解碼電路
1108‧‧‧圖像產生電路
圖1說明例示性視訊編碼及解碼系統之功能性方塊圖。
圖2展示例示性視訊處理器件之功能性方塊圖。
圖3說明例示性編碼器件之功能性方塊圖。
圖4說明用於圖像方位資訊之例示性編碼的訊息圖。
圖5說明用於圖像方位資訊之另一例示性編碼的訊息圖。
圖6說明用於圖像方位資訊之進一步例示性編碼的訊息圖。
圖7說明例示性解碼器件之功能性方塊圖。
圖8說明用於傳輸媒體資訊之方法的處理程序流程圖。
圖9說明用於傳輸媒體資訊之例示性裝置的功能方塊圖。
圖10說明用於顯示媒體資訊之方法的處理程序流程圖。
圖11說明用於顯示媒體資訊之例示性裝置的功能方塊圖。
在諸圖中，就可能之程度而言，具有相同或類似功能之元件具有相同名稱。
用於圖像之方位資訊提供至顯示器件，以允許其恰當地顯示圖像。可使此資訊可用於圖像，而不管用以編碼圖像之編解碼器。獨立於所使用之編解碼器的一般解決方案係合乎需要的。當多個媒體串流或圖像正被顯示時，可能有必要指示用於不同串流或圖像之旋轉資訊。
本文描述用於提供圖像方位資訊之各種替代性方式，該圖像方位資訊允許顯示器件判定圖像經獲取之方位，使得其可在向使用者顯示該圖像之前恰當地定向該圖像。圖像方位資訊包括推薦旋轉及其持續週期。推薦旋轉可為推薦逆時針旋轉或推薦順時針旋轉。在下文中，在此文件中，假設推薦旋轉為推薦逆時針旋轉。資訊可使用頻帶 內傳輸、即時輸送協定控制協定(RTCP)、即時輸送協定(RTP)欄位(例如，標頭)、會話描述協定(SDP)、媒體呈現描述(MPD)或ISO基礎媒體檔案格式方塊自發送器側(例如，第一固定或行動通信器件)運送至接收器側(例如，第二固定或行動通信器件)。在接收到圖像方位資訊後，接收器側即可在來自視訊解碼器之輸出圖像被顯示之前旋轉該圖像。
在以下描述中，提供特定細節以提供對實例之詳盡理解。然而，一般熟習此項技術者將理解，可在無此等特定細節之情形下實踐實例。舉例而言，電組件/器件可以方塊圖來展示，以便不會以不必要的細節混淆實例。在其他例子中，可詳細展示此等組件、其他結構及技術以進一步解釋實例。
亦應注意，實例可被描述為處理程序，其描繪為流程圖、流圖、有限狀態圖、結構圖或方塊圖。儘管流程圖可將操作描述為順序處理程序，但可並行或同時執行操作中之許多操作，且可重複處理程序。另外，可重新排列操作之次序。當處理程序之操作完成時，該處理程序終止。處理程序可對應於方法、函式、程序、子常式、子程式等。當處理程序對應於軟體函式時，其終止對應於該函式至調用函式或主函式之返回。
熟習此項技術者將理解，可使用多種不同技藝及技術中之任一者來表示資訊及訊息。舉例而言，可藉由電壓、電流、電磁波、磁場或磁粒子、光場或光粒子，或其任何組合來表示可遍及以上描述所引用之資料、指令、命令、資訊、信號、位元、符號及碼片。
下文描述在所附申請專利範圍之範疇內的實施例之各種態樣。應顯而易見，本文所述之態樣可以廣泛多種形式體現，且本文所述之任何特定結構及/或功能僅為說明性的。基於本發明，熟習此項技術者應瞭解，本文所述之態樣可獨立於任何其他態樣而實施，且此等態 樣中之兩者或兩者以上可以各種方式組合。舉例而言，可使用本文所闡述之任何數目個態樣來實施裝置及/或可實踐方法。另外，除本文所闡述之態樣中的一或多者之外或不同於其，可使用其他結構及/或功能性來實施此裝置及/或可實踐此方法。
圖1說明例示性視訊編碼及解碼系統之功能性方塊圖。如圖1中所示，系統10包括源器件12，源器件12可經組態以經由通信頻道15將經編碼視訊傳輸至目的地器件16。源器件12及目的地器件16可包含廣泛範圍之器件中的任一者，包括行動器件或大體固定器件。在一些狀況下，源器件12及目的地器件16包含無線通信器件，諸如無線手機、所謂的蜂巢式或衛星無線電電話、個人數位助理(PDA)、行動媒體播放器，或可經由通信頻道15(其可能為或可能不為無線的)傳達視訊資訊之任何器件。然而，本發明之技術(其涉及圖像方位資訊)可在許多不同的系統及設定中使用。圖1僅為此系統之一實例。
在圖1之實例中，源器件12可包括視訊源20、視訊編碼器22、調變器/解調變器(數據機)23及傳輸器24。目的地器件16可包括接收器26、數據機27、視訊解碼器28及顯示器件30。根據本發明，源器件12之視訊編碼器22可經組態以編碼圖像之序列。視訊編碼器22可經組態以編碼與圖像相關聯之額外資訊，諸如包括可應用至視訊圖像中之每一者以產生3D視訊資料之參數集合的3D轉換資訊。數據機23及傳輸器24可調變無線信號且將無線信號傳輸至目的地器件16。以此方式，源器件12將經編碼圖像序列連同任何額外相關聯資訊傳達至目的地器件16。
接收器26及數據機27接收且解調變自源器件12所接收之無線信號。因此，視訊解碼器28可接收圖像之序列。視訊解碼器28亦可接收可用於解碼經寫碼圖像序列之額外資訊。
源器件12及目的地器件16僅為此等寫碼器件之實例，其中源器 件12產生用於傳輸至目的地器件16的經寫碼視訊資料。在一些狀況下，器件12、16可以實質上對稱之方式操作，使得器件12、16中之每一者包括視訊編碼及解碼組件。因此，系統10可支援視訊器件12、16之間的單向或雙向視訊傳輸，(例如)用於視訊串流傳輸、視訊播放、視訊廣播或視訊電話。
源器件12之視訊源20可包括視訊獲取器件，諸如視訊攝影機、含有先前獲取之視訊的視訊存檔，或來自視訊內容提供者之視訊饋入。作為又一替代，視訊源20可產生基於電腦圖形之資料，作為源視訊，或直播視訊、存檔視訊及電腦產生之視訊的組合。在一些狀況下，若視訊源20為視訊攝影機，則源器件12及目的器件16可形成所謂的攝影機電話或視訊電話。在每一狀況下，經獲取、預先獲取或電腦產生之視訊可藉由視訊編碼器22編碼。作為編碼處理程序之部分，視訊編碼器22可經組態以實施本文所述之方法中的一或多者，諸如針對視訊之多個部分獲得識別攝影機之方位的圖像方位資訊。
經編碼視訊資訊可接著藉由數據機23根據通信標準(例如，分碼多重存取(CDMA)或另一通信標準)調變，且經由傳輸器24傳輸至目的地器件16。經編碼視訊資訊可包括圖像方位資訊。數據機23可包括各種混頻器、濾波器、放大器或經設計以用於信號調變之其他組件。傳輸器24可包括經設計以用於傳輸資料之電路，包括放大器、濾波器及一或多個天線。
目的地器件16之接收器26可經組態以經由頻道15接收資訊。數據機27可經組態以解調變資訊。視訊編碼處理程序可實施本文所述之技術中的一或多者以包括圖像方位資訊。經由頻道15所傳達之資訊可包括藉由視訊編碼器22所定義之資訊，該資訊可藉由符合本發明的視訊解碼器28使用。顯示器件30向使用者顯示經解碼視訊資料，且可包含諸如陰極射線管、液晶顯示器(LCD)、電漿顯示器、有機發光二極 體(OLED)顯示器或另一類型之顯示器件的多種顯示器件中之任一者。
在圖1之實例中，通信頻道15可包含任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線、或無線及有線媒體之任何組合。因此，數據機23及傳輸器24可支援許多可能的無線協定、有線協定或有線及無線協定。通信頻道15可形成諸如區域網路(LAN)、廣域網路(WAN)或全球網路(諸如，包含一或多個網路之互連的網際網路)之基於封包之網路的部分。通信頻道15大體表示任何合適的通信媒體，或不同通信媒體之集合，以用於將視訊資料自源器件12傳輸至目的地器件16。通信頻道15可包括路由器、交換器、基地台，或可用以促進自源器件12至目的地器件16之通信的任何其他設備。本發明之技術未必需要經編碼資料自一器件至另一器件之通信，且可在無互逆解碼之情況下適用於編碼情形。又，本發明之態樣可在無互逆編碼之情況下適用於解碼情形。
視訊編碼器22及視訊解碼器28可符合視訊壓縮標準而操作，該標準諸如ITU-T H.264標準(或者描述為MPEG-4第10部分，及進階視訊寫碼(AVC))，或命名為高效率視訊寫碼(HEVC)之下一代視訊寫碼標準。然而，本發明之技術不限於任何特定寫碼標準或其擴展。儘管未展示於圖1中，但在一些態樣中，視訊編碼器22及視訊解碼器28可各自與音訊編碼器及解碼器整合，且可包括適當的MUX-DEMUX單元或其他硬體及軟體，以處置共同資料串流或單獨資料串流中之音訊及視訊兩者的編碼。若適用，則MUX-DEMUX單元可符合多工器協定(例如，ITU H.223)或諸如使用者資料報協定(UDP)之其他協定。
視訊編碼器22及視訊解碼器28各自可實施為一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯電路、在微處理器或其他平台上執行之軟 體、硬體、韌體或其任何組合。視訊編碼器22及視訊解碼器28中之每一者可包括於一或多個編碼器或解碼器中，其中任一者可整合為各別行動器件、用戶器件、廣播器件、伺服器，或其類似者中的組合式編碼器/解碼器(CODEC)之部分。
視訊序列通常包括一系列視訊圖像。視訊編碼器22及視訊解碼器28可對個別視訊圖像內之視訊區塊操作，以便編碼及解碼視訊資料。視訊區塊可具有固定或變化大小，且可根據指定寫碼標準而在大小上不同。每一視訊圖像可包括一系列片段或其他可獨立解碼單元。每一片段可包括一系列巨集區塊或其他視訊區塊(諸如，寫碼樹單元)，該等區塊可配置為子區塊。作為實例，ITU-T H.264標準支援各種區塊大小之框內預測(諸如，針對亮度分量，16乘16、8乘8或4乘4，及針對色度分量，8乘8)，以及各種區塊大小之框間預測(諸如，針對亮度分量，16乘16、16乘8、8乘16、8乘8、8乘4、4乘8及4乘4，及針對色度分量之相應按比例縮放之大小)。視訊區塊(例如)在諸如離散餘弦變換或概念上類似之變換處理程序的變換處理程序之後可包含像素資料之區塊或變換係數之區塊。
巨集區塊、寫碼樹單元，或其他視訊區塊可集群為可獨立解碼單元，諸如片段、片段群組、影像塊或其他獨立單元。巨集區塊、寫碼樹單元，或其他視訊區塊可集群為可相依解碼單元，諸如相依片段、熵片段、波前並行處理波或其他相依單元。每一片段可為視訊圖像之可獨立解碼單元。或者，圖像自身可為可解碼單元，或圖像之其他部分可定義為可解碼單元。在本發明中，術語「經寫碼單元」指代視訊圖像之任何可獨立解碼單元，諸如整個圖像、圖像之片段，或根據所使用之寫碼技術所定義的另一可獨立解碼單元。
圖2展示例示性視訊處理器件之功能性方塊圖。器件202為可經組態以實施本文所述之各種方法之器件的實例。舉例而言，器件202 可實施為源器件12或目的地器件16。
器件202可包括控制器件202之操作的(多個)處理器單元204。(多個)處理器單元204中之一或多者可統稱為中央處理單元(CPU)。可包括唯讀記憶體(ROM)及隨機存取記憶體(RAM)兩者之記憶體206將指令及資料提供至處理器單元204。記憶體206可大體實施為電腦可讀儲存媒體。記憶體206之一部分亦可包括非揮發性隨機存取記憶體(NVRAM)。(多個)處理器單元204可經組態以基於儲存於記憶體206內之程式指令執行邏輯及算術運算。記憶體206中之指令可為可執行的以實施本文所述之方法。
(多個)處理器單元204可藉由以下各者之任何組合來實施：通用微處理器、微控制器、數位信號處理器(DSP)、場可程式化閘陣列(FPGA)、可程式化邏輯器件(PLD)、控制器、狀態機、閘控邏輯、離散硬體組件、專用硬體有限狀態機，或可執行資訊之計算或其他操縱的任何其他合適的實體。在(多個)處理器單元204包括DSP之實施中，DSP可經組態以產生封包(例如，資料封包)以供傳輸。在一些態樣中，封包可包含實體層資料單元(PPDU)。
器件202亦可包括用於儲存軟體之機器可讀媒體。(多個)處理單元204可包含用於儲存軟體之一或多個非暫時性機器可讀媒體。應將軟體廣泛地解釋為意謂任何類型之指令，而無論將其稱為軟體、韌體、中間軟體、微碼、硬體描述語言抑或其他者。指令可包括程式碼(例如，呈原始程式碼格式、二進位程式碼格式、可執行程式碼格式，或任何其他合適的程式碼格式)。指令在藉由(多個)處理器單元204執行時使得器件202執行本文所述之各種功能。
器件202可包括傳輸器210及/或接收器212，以分別允許資料在器件202與遠端位置之間的傳輸及接收。傳輸器210及接收器212可組合為收發器214。天線216可附接至外殼208且與收發器214電耦接。器件 202亦可包括(未圖示)多個傳輸器、多個接收器、多個收發器，及/或多個天線。
傳輸器210可經組態以無線地傳輸封包及/或信號。舉例而言，傳輸器210可經組態以傳輸藉由(多個)處理器單元204所產生之不同類型的封包，上文所論述。待傳輸之封包提供至傳輸器201。舉例而言，(多個)處理器單元204可將封包儲存於記憶體206中，且傳輸器201可經組態以擷取封包。一旦傳輸器擷取封包，則傳輸器201經由天線216傳輸封包。在一些實施中，傳輸器201可經由網路輸入/輸出224傳輸封包。
若器件202實施為目的地器件16，則天線216偵測無線地傳輸之封包/信號。接收器212可經組態以處理偵測到之封包/信號，且使其可用於(多個)處理器單元204。舉例而言，接收器212可將封包儲存於記憶體206中，且(多個)處理器單元204可經組態以擷取封包。
器件202亦可包括信號偵測器218，信號偵測器218可用以偵測及量化藉由收發器214所接收之信號的位準。器件202亦可包括數位信號處理器(DSP)220以供在處理信號時使用。DSP 220可經組態以產生封包以供傳輸。在一些態樣中，封包可包含實體層資料單元(PPDU)。
在一些態樣中，器件202可進一步包含使用者介面222。使用者介面222可包含小鍵盤、麥克風、揚聲器，及/或顯示器。在一些實施中，器件202可與顯示器耦接。舉例而言，器件202可實施為機上盒，其接收視訊資訊、處理用於顯示之資訊，且將資訊傳輸至電視以供顯示。使用者介面222可進一步包括將資訊運送至器件202之使用者及/或自使用者接收輸入的任何元件或組件。器件202亦可包括外殼208，外殼208圍繞包括於器件202中之組件中的一或多者。
器件202可包括方位偵測器228。當實施為源器件12時，方位偵測器228可經組態以在視訊資訊經獲取時識別器件220之方位。方位偵 測器228可基於視訊資訊(例如，識別包括於視訊中之已知地標)、地理空間定位系統、雷射測算(例如，三角量測、水準測量)及/或藉由器件202所產生的指示包括於器件202中之獲取感測器之方位的信號，經由迴轉儀、磁性測算(例如，羅盤)之使用而偵測方位。
當實施為目的地器件16時，方位偵測器228可經組態以識別器件220之方位。器件220之方位可用以準備視訊資訊以供顯示。舉例而言，若器件220係以橫向模式固持(例如，顯示器之高度小於顯示器之寬度)，則器件220可調整視訊資訊以增強視訊顯示(例如，裁剪、按比例縮放、旋轉)。在器件220與顯示器耦接之實施中，器件202可自耦接式顯示器件接收方位資訊。方位資訊可提供至方位偵測器228以用於方位判定。
器件202可包括時脈230。時脈230可經組態以識別時間點。時脈230可識別絕對時間點(例如，特定日期及時間資訊)。時脈230可經組態以識別相對時間點(例如，多媒體呈現中之點)。時脈230可與包括於源器件12中之獲取感測器耦接。時脈230可在視訊獲取之各個點處提供時間資訊。此時間資訊可包括於傳輸至目的地器件16之視訊資訊中。
器件202之各種組件可藉由匯流排系統226耦接在一起。舉例而言，匯流排系統226可包括資料匯流排，以及除資料匯流排之外之電力匯流排、控制信號匯流排及狀態信號匯流排。熟習此項技術者將瞭解，器件202之組件可耦接在一起，或使用某其他機制彼此接受或提供輸入。
儘管數個單獨組件說明於圖2中，但熟習此項技術者將認識到，組件中之一或多者可經組合或共同實施。舉例而言，(多個)處理器單元204可用以不僅實施上文關於(多個)處理器單元204所述之功能性，而且實施上文關於信號偵測器218所述的功能性。此外，圖2中所說明 之組件中的每一者可使用複數個單獨元件來實施。
圖3說明例示性編碼器件之功能性方塊圖。圖3中所示之編碼器件300接收三個輸入：方位資訊、時間資訊，及多媒體資訊。方位資訊可自方位偵測器228接收。方位資訊可針對獲取感測器指示旋轉度數。舉例而言，在十六位元表示中，方位資訊可為自0至65535之值。每一值可表示旋轉度數之360/65536的步階。在一些實施中，八個位元可用以表示方位資訊。在此等實施中，旋轉可以旋轉度數之360/256的步階識別。在不脫離本發明之範疇的情況下，其他數目個位元可用以表示方位資訊。
編碼器件300包括影像編碼器302。所示之影像編碼器302接收多媒體資料，且產生多媒體資料/串流之經編碼版本。影像編碼器302亦可接收影像編碼組態輸入。影像編碼組態輸入可識別待應用之編碼方案。影像編碼組態輸入可被提供一次且用於所有多媒體串流。影像編碼組態輸入可為動態的，且針對每一多媒體串流或針對多媒體串流之每一部分提供。在動態組態中，影像編碼組態可至少部分地基於多媒體資訊、源器件12之一或多個特性(例如，功率、處理性能、負載)、目的地器件16之一或多個特性(例如，功率、處理性能、負載、與源器件之耦接)，及/或可用於源器件12之其他資訊而選擇。
影像編碼器302可經組態以將所識別編碼方案應用於多媒體資訊，以產生多媒體資料的經編碼版本。在一些實施中，影像編碼器302亦可接收方位資訊及/或時間資訊。影像編碼器302可經組態以基於方位資訊及/或時間資訊編碼多媒體資料。在一些實施中，多媒體資料之經編碼版本可藉由源器件12進一步處理(例如，加密、壓縮)。
方位及時間資訊提供至訊息編碼器304。經編碼多媒體資料亦提供至訊息編碼器304。訊息編碼器304可產生包括經編碼多媒體資料及方位資訊之多媒體訊息。
訊息編碼器304可接收訊息編碼組態。訊息編碼組態可指示多媒體訊息待產生及/或傳輸之方式。舉例而言，訊息編碼組態可指示用於經編碼多媒體之輸送協定。基於此資訊，訊息編碼器304可產生多媒體訊息，使得方位資訊包括於多媒體訊息之輸送層部分中且經編碼多媒體資料包括於多媒體訊息的第二部分中。
訊息編碼組態輸入可被提供一次且用於所有多媒體串流。訊息編碼組態輸入可為動態的，且針對每一多媒體串流或針對多媒體串流之每一部分提供。在動態組態中，訊息編碼組態可至少部分地基於多媒體資訊、源器件12之一或多個特性(例如，功率、處理性能、負載)、目的地器件16之一或多個特性(例如，功率、處理性能、負載、與源器件之耦接)，及/或可用於源器件12之其他資訊而選擇。
在一實施中，訊息編碼器304之編碼可包括第一部分中之方位資訊及第二部分中的影像資料。舉例而言，方位資訊可包括於相異於影像資料有效負載之輸送層標頭欄位中。此可在無需解碼影像資料以獲得方位資訊之情況下提供對方位資訊之較快存取。
圖4說明用於圖像方位資訊之例示性編碼的訊息圖。在一些實施中，圖像方位資訊可與視訊資料頻帶內包括在一起。在此等實施中，圖像方位資訊係連同訊息400中之視訊資料而傳輸。
圖像資訊(例如，影像)可經由包括於訊息400中之經寫碼圖像欄位406而傳輸。訊息400亦可包括一或多個輸送標頭404。輸送層標頭之一實例為方位資訊標頭412。方位資訊標頭412可包括類型欄位420。類型欄位420可包括識別標頭類型之值。在方位資訊之狀況下，包括於類型欄位420中之類型值可與方位資訊相關聯。
基於包括於類型欄位420中之值，接收訊息400之器件可判定是否利用經提供以用於處理圖像資訊的資訊。若器件並未經組態以執行圖像方位處理，則器件可在類型為方位資訊時忽略欄位。若器件經組 態以執行圖像方位處理，則器件可自方位資訊標頭412提取方位資訊且相應地處理(多個)經編碼圖像。
如圖4中所示，方位資訊標頭412可包括兩個額外欄位。推薦旋轉欄位422可被包括，以提供針對經編碼圖像指示旋轉的值。如上文所論述，此可表示與經編碼圖像相關聯之旋轉度數。推薦旋轉欄位422可取決於實施而包括十六個位元、八個位元、四個位元，或三十二個位元。
持續週期欄位424亦可包括於圖像方位補充增強資訊欄位之有效負載中。持續週期欄位424可包括針對視訊串流指示推薦旋轉之持續時間的值。舉例而言，包括值0可指定：用於推薦旋轉之持續週期結束為與按解碼次序之下一圖像相關聯的圖像，或經寫碼視訊序列之結束。在此等實施中，大於0之值可指定：用於推薦旋轉之持續週期結束為具有如下圖像次序計數之圖像(若此圖像存在)：等於與當前圖像方位資訊相關聯之圖像的圖像次序計數加上在持續週期欄位424中所提供的值。若此圖像不存在，則持續週期結束可為經寫碼視訊序列之結束。在一些實施中，持續週期以持續週期開始而開始，持續週期開始為與包括圖像方位資訊之信號400相關聯的圖像，且以持續週期結束而結束(不包括持續週期開始及持續週期結束，以輸出次序)。
圖像方位資訊(諸如)經由訊息400之頻帶內傳輸可適用於許多實施，但訊息之語法可為編解碼器特定的。舉例而言，表示持續週期結束(在需要時)可基於不同於圖像次序計數之某事物。用於表示持續週期結束之其他基礎可包括推薦旋轉所應用之最後圖像的圖像識別符值、識別推薦旋轉所應用之圖像之最後群組的值，及其類似者。
圖5說明用於圖像方位資訊之另一例示性編碼的訊息圖。訊息500之格式可遵循(例如)如在RFC 4585中所指定之RTCP標準的回饋訊息構架。包括於訊息500中之回饋可指示關於正傳輸之視訊之串流的 資訊。訊息500為可用於圖像方位資訊之頻帶外傳輸的一實例訊息。
訊息500可包括版本欄位502。版本欄位502可包括指示規範之哪一版本用以產生訊息500的值。接收器件可使用版本資訊來判定用於訊息500之恰當解碼方案。
訊息500可包括填補欄位504。填補欄位504可包括指示訊息500是否包括填補位元(諸如，在末尾)之值。訊息500可包括格式欄位506。格式欄位506可包括指示訊息格式類型之值。訊息500可包括有效負載類型。針對每一訊息格式類型，一或多個有效負載類型可被定義。舉例而言，有效負載類型可與輸送層資訊或有效負載特定資訊相關。在此等實例中，圖像方位資訊可與有效負載特定資訊相關聯。
訊息500可包括長度欄位510。長度欄位510包括指示訊息500之長度的值。長度欄位510可識別位元之數目、位元組之數目，或包括於訊息500中之資料的其他預定數量。
訊息500可包括源識別欄位。如圖5中所示，訊息500包括封包源識別符欄位512及媒體源識別符欄位514。封包源識別符欄位512可包括訊息500之發起者的同步源識別符。媒體源識別符欄位514可包括與訊息500相關之媒體源的同步源識別符。
訊息500包括回饋控制資訊欄位520。回饋控制資訊欄位520可包括一或多個回饋控制訊息。在如圖5中所示之實例中，回饋控制資訊欄位520包括一回饋控制訊息，即，圖像方位資訊回饋控制訊息。
每一回饋控制訊息包括有效負載類型欄位525及包括回饋控制訊息之有效負載。有效負載可包括回饋控制資訊之一或多個欄位。如圖5中所示，圖像方位資訊可包括於回饋控制資訊訊息之有效負載中。控制訊息包括持續週期結束指定欄位530。持續週期結束指定欄位530包括指示識別旋轉推薦之結束之值是否包括於訊息500中的值。
控制訊息包括推薦旋轉欄位535。推薦旋轉欄位535在如下文所 述之持續週期內指定每一輸出圖像的推薦旋轉(例如，推薦逆時針旋轉之值，以360/2n 度為單位，其中n為包括於推薦旋轉欄位535中之位元的數目)。若推薦逆時針旋轉係在輸出圖像被顯示之前執行，則在顯示器件實體定向為正置時顯示亦將為正置的。
控制訊息亦可包括諸如零位元組之保留欄位540。控制訊息包括持續週期開始欄位545。持續週期開始欄位545包括指定用於推薦旋轉之持續週期之開始的值。舉例而言，持續週期開始欄位545可包括識別推薦旋轉所應用至之第一圖像的值。在一些實施中，該值等於持續週期中之第一圖像的RTP時戳。若RTP封包將僅含有圖像之經寫碼資料，則用於圖像之RTP時戳大體指代RTP封包之RTP時戳的值。在一些實施中，識別第一圖像之值可為圖像識別符，諸如圖像次序計數、圖像識別符值之偏移，或其類似者。
控制訊息亦可包括持續週期結束欄位550。當存在時，持續週期結束欄位550指定用於所識別推薦旋轉之持續週期的結束。舉例而言，包括於持續週期結束欄位550中之值可以呈現次序在持續週期之後識別第一圖像(若有)的RTP時戳。若持續週期中之最後圖像為會話中之最後圖像(以呈現次序)，則持續週期結束欄位550值可等於持續週期中之最後圖像(以呈現次序)的RTP時戳加上最後圖像之呈現持續時間。在一些實施中，此欄位之值可等於推薦旋轉所應用於之最後圖像的RTP時戳。
圖6說明用於圖像方位資訊之又一例示性編碼的訊息圖。訊息600之格式可遵循(例如)如在RFC 3550中所指定之即時輸送協定標準及/或如在RFC 5285中所指定的其擴展。因而，訊息600可用於圖像方位資訊之頻帶外傳輸。
訊息600可包括版本欄位602。版本欄位602可包括指示規範之哪一版本用以產生訊息600的值。接收器件可使用版本資訊來判定用於 訊息600之恰當解碼方案。
訊息600可包括填補欄位604。填補欄位604可包括指示訊息600是否包括填補位元(諸如，在末尾)之值。訊息600可包括格式欄位606。格式欄位606可包括指示訊息格式類型之值。訊息600可包括有效負載類型。針對每一訊息格式類型，一或多個有效負載類型可被定義。
訊息600可包括序號欄位610。序號欄位610可用以識別與其他封包相關之訊息600。序號欄位610可藉由接收器件使用，以偵測封包損失及/或確保所接收封包的恰當次序。
訊息600可包括時戳欄位612。時戳欄位612可包括識別與所接收視訊資料相關聯之絕對或相對時間點的值。圖6中所示之訊息600包括源識別符欄位614。源識別符欄位614可包括識別用於訊息600之源串流之同步源識別符的值。訊息600可包括一或多個貢獻源識別符618。貢獻源識別符618指示可將內容及/或資訊貢獻至與訊息600相關聯之串流的源。
訊息600亦包括擴展標頭資訊。擴展標頭資訊可為一位元組標頭、兩位元組標頭，或其他數量之位元組標頭。在圖6中所示之訊息600中，三個欄位針對每一擴展標頭資訊元素被包括，即，擴展標頭識別符欄位620、擴展標頭長度欄位622及擴展標頭欄位624。擴展標頭識別符欄位620包括識別包括於此元素中之擴展標頭資訊之類型的值。擴展標頭識別符可(諸如)經由擴展地圖(例如，extmap)屬性在會話協商期間被指定。實例extmap屬性為「urn：ietf：params：rtp-hdrext：pict-orient」。擴展標頭長度欄位622包括指示包括於擴展標頭欄位624中之資訊之長度的值。擴展標頭欄位624包括與擴展標頭識別符相關聯之資訊。
擴展標頭欄位624可用以識別圖像方位資訊，如圖6中所示。擴 展標頭欄位624可包括識別推薦旋轉之值。接收訊息600之器件可使用時戳欄位612來識別用於推薦旋轉的開始點。在一些實施中，擴展標頭欄位624可包括多欄位值，該多欄位值包括推薦旋轉欄位、持續開始週期欄位、持續結束週期欄位，及/或持續結束指定欄位(諸如，關於上文之圖5所述)。
若訊息600不包括指定圖像方位資訊之擴展標頭，則接收器件可將圖像方位解譯為零旋轉。在一些實施中，若訊息600不包括指定圖像方位資訊之擴展標頭，則接收器件可將圖像方位解譯為與包括此資訊之先前接收之訊息相同的推薦旋轉。
在一些即時串流傳輸實施中，在接收訊息600之前，會話可在發送器件與接收器器件之間建立。在此等實施中，會話協商訊息傳遞可包括諸如用於會話之預設推薦旋轉的圖像方位資訊。接收器件可經組態以應用預設推薦旋轉，除非經由後續訊息傳遞另外指定。
會話協商可包括會話描述協定(SDP)檔案。SDP檔案可經由諸如SIP、RTSP、HTTP及其類似者之輸送協定自發送器側運送至接收器側。圖像方位資訊可包括於SDP檔案中。舉例而言，在媒體層級屬性a=picorientationinfo：<picture orientation information>中，資訊可被包括。<picture orientation information>之值可包括推薦旋轉之單一值，該單一值係在0至65535之範圍內(針對16位元值)(包括0及65535)。推薦旋轉可應用於與當前SDP檔案相關聯之所有圖像。
圖像方位資訊可包括推薦旋轉、持續週期開始及持續週期結束值之一或多個集合。每一集合中之推薦旋轉、持續週期開始及持續週期結束的三個值可藉由諸如逗號「，」或空格「 」之已知分隔符號分開。集合亦可藉由諸如分號「；」之已知分隔符號分開。持續週期開始指定持續週期中之第一圖像之RTP時戳的值。持續週期結束指定在推薦旋轉所應用於之最後圖像(以呈現次序)之後的第一圖像之RTP 時戳的值。在一些實施中，持續週期結束指定推薦旋轉所應用於之最後圖像(以呈現次序)之RTP時戳的值。
在於會話之開始處已知諸如所記錄電影串流傳輸之整個會話之任何時刻之推薦旋轉的值的實施中，經由會話描述協定檔案指定圖像方位資訊可為合乎需要的。在會話中間改變旋轉之情形下，亦可使用SDP檔案。在此狀況下，用於會話之SDP參數可經重新協商以指示新的方位。然而，此方法歸因於SDP重新協商處理程序而招致某延遲，且可存在圖像並不以正確的方位顯示之短的週期。
所述訊息及方法亦可在以上限制之情況下用於基於RTP之對話應用程式以及串流傳輸、多播及廣播應用程式中。
傳輸圖像方位資訊之又一實例將包括如(例如)在MPEG HTTP動態自適應串流傳輸(DASH)標準中之媒體呈現描述(MPD)中的圖像方位資訊。DASH為視訊串流傳輸協定之實例。在一些DASH實施中，MPD經發佈以允許用戶端識別、獲得及顯現媒體。MPD可包括統一資源定位符(URL)連同關於媒體呈現之其他資訊。
發佈者可包括MPD中之圖像方位資訊，該資訊可為檔案或檔案之一部分。舉例而言，PictureOrientationInfo元素(如展示於表1中之下文的實例中)可包括於MPD中，在MPD層級處(在該狀況下，資訊應用於媒體呈現之所有視訊串流)、在週期層級處(在該狀況下，資訊應用於週期中之所有視訊串流)、在適應集合層級處(在該狀況下，資訊應用於適應集合中之所有視訊串流)、在表示層級處(在該狀況下，資訊應用於表示中之所有視訊串流)，抑或在子表示層級處(在該狀況下，資訊應用於子表示中的所有視訊串流)。
PictureOrientationInfo元素提供圖像方位資訊。可為MPD元素、週期元素、適應集合元素、表示元素或子表示元素之容器應用程式(container)元素可含有零個或零個以上PictureOrientationInfo元素。每一PictureOrientationInfo元素含有：強制recommendedRotation屬性， 其提供推薦旋轉；可選persistencyPeriodStart屬性，其提供持續週期開始；及可選persistencyPeriodEnd屬性，其提供持續週期結束。
persistencyPeriodStart或persistencyPeriodEnd之值可以基於包括於MPD中之時幅屬性的單位為單位。在一些實施中，持續週期資訊可識別媒體呈現之一部分(例如，圖像之集合、區段之集合，或子區段之集合)。
在一些實施中，容器應用程式元素內之PictureOrientationInfo元素的文字次序匹配PictureOrientationInfo元素適用之視訊媒體樣本的增加之呈現時間次序。
傳輸圖像方位資訊之又一實例將(諸如)根據ISO基礎媒體檔案格式(ISO BMFF)在多媒體檔案中包括圖像方位資訊。ISO BMFF大體描述可擴展多媒體檔案格式，其中資料結構之各種層級描述在各種粒度等級(例如，整個檔案、圖像之群組、特定圖像)下之資訊。圖像方位資訊可包括於在用於在檔案中所識別之視訊串流之軌道中的樣本描述項目中。一樣本描述項目可適用於樣本集合。針對每一推薦旋轉值，持續週期開始及持續週期結束被明確地傳輸。用於推薦旋轉之值可如上文所述而指定。用於推薦旋轉之持續週期開始的值可指定為等於推薦旋轉所應用於之第一樣本(以呈現次序)的解碼時間，且持續週期結束之值可指定為等於推薦旋轉所應用於之最後樣本(以呈現次序)的解碼時間。在一些實施中，用於推薦旋轉之持續週期開始的值可指定為等於推薦旋轉所應用於之第一樣本(以呈現次序)的呈現時間，且持續週期結束之值可指定為等於推薦旋轉所應用於之最後樣本(以呈現次序)的呈現時間。在一些實施中，持續週期結束之值可指定為等於在推薦旋轉所應用於之最後樣本(以呈現次序)之後的第一樣本(以呈現次序)的呈現時間。在一些實施中，持續週期結束之值可指定為等於在推薦旋轉所應用於之最後樣本(以呈現次序)之後的第一樣本(以呈現次序)的解碼時間。
圖像方位資訊亦可使用新的類型之樣本群組(例如，命名為「poif」)來運送。推薦旋轉之特定值所應用之樣本的每一集合包含具有類型「poif」之一樣本群組。在樣本群組項目中，推薦旋轉之值(與上文所定義類似)經傳輸。視訊軌道可含有具有grouping_type「poif」之SampleToGroupBox的零個或零個以上執行個體。每一SampleToGroupBox執行個體表示軌道中之樣本的集合至具有類型「poif」之樣本群組的指派。具有類型「poif」之每一樣本群組與具有類型「poif」之樣本群組描述項目相關聯，該項目包括於具有相同分 群類型之SampleGroupDescriptionBox的執行個體中。
在另一替代性實施例中，圖像方位資訊可使用新的方塊來運送。該方塊可具有將該方塊識別為圖像方位資訊之類型(例如，「poif」)。用於該方塊之容器應用程式為檔案。該方塊可為可選方塊。圖像方位資訊方塊之一或多個執行個體可被包括。圖像方位資訊方塊可用以為電影片段或含有電影片段之檔案(諸如，區段)中的樣本供應圖像方位資訊。
圖像方位資訊方塊與以位元串流次序跟隨其之下一電影片段方塊相關。該方塊大體遵照任何區段類型或區段中之區段索引方塊(若有)，且在接下來的電影片段方塊(其所參考)之前出現。若區段檔案含有任何圖像方位資訊方塊，則其中第一者較佳在彼區段中之第一電影片段方塊之前出現。表2說明可用以表示圖像方位方塊之樣本語法。
圖7說明例示性解碼器件之功能性方塊圖。解碼器件700可包括於目的地器件16中。所示之解碼器件700包括輸送接收器701及解碼器702。
輸送接收器701可經組態以獲得多媒體訊息(諸如，圖4中所示之多媒體訊息)。輸送接收器701可經進一步組態以自多媒體訊息之第一部分獲得方位資訊，且自多媒體訊息之第二部分獲得經編碼多媒體資料。輸送接收器701可將經編碼多媒體資料提供至解碼器702。輸送接收器701亦可將方位資訊提供至顯示預處理器704，且視情況提供至解碼器702。
解碼器702可接收經編碼多媒體資料。經編碼多媒體資料可以上文所述之方式中的一或多者編碼。解碼器702可視情況接收方位資訊。方位資訊可用作解碼處理程序之部分。
解碼器702亦可接收解碼組態輸入。解碼組態輸入可識別待應用之解碼方案。解碼組態輸入可被提供一次且用於所有多媒體串流。解碼組態輸入可為動態的，且針對每一經編碼多媒體資料而提供。在動態組態中，解碼組態可至少部分地基於所接收多媒體資訊、源器件12之一或多個特性(例如，功率、處理性能、負載)、目的地器件16之一或多個特性(例如，功率、處理性能、負載、與源器件之耦接)，及/或可用於目的地器件16之其他資訊而選擇。
解碼器702將可包括時間資訊及多媒體資料之經解碼資訊提供作為輸出。如圖7中所示，輸出可提供至顯示預處理器704。顯示預處理 器704可經組態以至少部分地基於方位資訊、經解碼時間資訊，及/或經解碼多媒體而調整多媒體資料之方位。顯示預處理器704亦可自不同於解碼器702的未描繪之其他模組接收圖像方位資訊。
顯示預處理器704亦可接收顯示組態輸入。顯示組態輸入可包括值，諸如用於目標顯示器之方位、目標顯示器之尺寸、針對是否旋轉之偏好，及其類似者。因此，取決於使用者偏好、系統組態，或顯示器件自身之方位，顯示預處理器704可在來自視訊解碼器之輸出圖像被顯示之前選擇性地旋轉該圖像。舉例而言，若發送器側指示方位應逆時針旋轉50度且顯示預處理器704偵測到目標顯示器已逆時針旋轉40度(自垂直)，則顯示預處理器704可判定其在顯示圖像之前無需旋轉該圖像。額外顯示預處理可包括色彩校正、時間校正、態樣校正、按比例縮放，及/或裁剪輸出圖像以配合目標顯示器大小。
圖8說明用於傳輸媒體資訊之方法的處理程序流程圖。該方法可以本文所述之器件中的一或多者來實施。舉例而言，源器件12可經組態以執行所示之方法的一或多個態樣。
在區塊802處，獲得圖像或視訊資訊，圖像或視訊資訊在圖像或視訊資訊連同方位資訊被獲得時包括媒體獲取單元之影像資料及方位資訊。在區塊804處，編碼所獲得資訊。方位資訊可包括於第一部分中，且影像資料可包括於第二部分中。在一些實施中，第二部分經編碼且第一部分相異於第二部分。編碼可藉由編碼器件300(諸如，圖3中所示之編碼器件300)執行。編碼可包括上文所述之訊息中的一或多者(諸如，在圖4至圖6中)。在區塊806處，傳輸第一部分及第二部分。該傳輸可為有線或無線的。該傳輸可直接至目的地器件或經由一或多個中間體。
圖9說明用於傳輸媒體資訊之例示性裝置的功能方塊圖。熟習此項技術者將瞭解，媒體資訊傳輸裝置可具有多於圖9中所示之簡化裝 置900的組件。所示之裝置900僅包括有用於描述在申請專利範圍之範疇內的實施之一些傑出特徵的彼等組件。裝置900包括獲取電路902、編碼電路904及傳輸器906。
獲取電路902經組態以獲得圖像或視訊資訊，圖像或視訊資訊在圖像或視訊資訊被獲得時包括媒體獲取單元之方位資訊。獲取電路902可包括影像感測器、攝影機、麥克風、方位偵測器、時脈、處理器及記憶體中之一或多者。在一些實施中，用於獲得圖像或視訊資訊之構件可包括獲取電路902。
編碼電路904經組態以編碼經獲取之圖像或視訊資訊。方位資訊可包括於第一部分中且影像資料可包括於第二部分中，第二部分經編碼且第一部分相異於第二部分。編碼電路904可經組態以根據上文所述之技術中的一或多者編碼。編碼電路904可包括編碼器器件、比較器、記憶體、處理器、符記器(tokenizer)及序列產生器中之一或多者。在一些實施中，用於編碼圖像或視訊資訊之構件可包括編碼電路904。
傳輸器906經組態以傳輸第一部分及第二部分。傳輸器906可經組態以用於有線或無線傳輸。傳輸器906可包括天線、信號產生器、電源、放大器、網路介面、處理器及記憶體中之一或多者。在一些實施中，用於傳輸經編碼圖像或視訊資訊之構件可包括傳輸器906。
圖10說明用於顯示媒體資訊之方法的處理程序流程圖。該方法可以本文所述之器件中的一或多者來實施。舉例而言，目的地器件16可經組態以執行所示之方法的一或多個態樣。
在區塊1002處，獲得包括至少一輸出圖像之圖像或視訊資訊。所儲存之圖像或視訊資訊可如上文所述而編碼，其在包括圖像或視訊資訊之訊息的各別部分中包括旋轉資訊及經編碼影像資料。在區塊1004處，解碼所獲得之經編碼影像資料。在區塊1006處，識別旋轉資 料及用於旋轉資料之週期。在區塊1008處，基於所識別旋轉資料及所識別週期產生經解碼輸出圖像的版本。
圖11說明用於顯示媒體資訊之例示性裝置的功能方塊圖。熟習此項技術者將瞭解，媒體資訊顯示裝置可具有多於圖11中所示之簡化裝置1100的組件。所示之裝置1100僅包括有用於描述在申請專利範圍之範疇內的實施之一些傑出特徵的彼等組件。裝置1100包括接收器1102、訊息剖析器1104、解碼電路1106及圖像產生電路1108。
接收器1102經組態以獲得圖像或視訊資訊，圖像或視訊資訊包括至少一輸出圖像。接收器1102可包括記憶體、天線、信號處理器、網路介面及解調變器中之一或多者。在一些實施中，用於獲得圖像或視訊資訊之構件包括接收器1102。
訊息剖析器1104經組態以自旋轉資訊提取旋轉資料及用於旋轉資料之週期，且自所獲得之圖像或視訊資訊提取經編碼輸出圖像。訊息剖析器1104可包括比較器、記憶體、處理器及加法器中之一或多者。在一些實施中，用於識別旋轉資訊之構件包括訊息剖析器1104。
解碼電路1106經組態以解碼包括於圖像或視訊資訊中之經編碼輸出圖像。解碼電路1106可包括解碼器件、比較器、記憶體、處理器及符記器中之一或多者。在一些實施中，用於解碼輸出圖像之構件包括解碼電路1106。
圖像產生電路1108經組態以基於所識別旋轉資料及所識別週期產生經解碼之至少一輸出圖像的版本以供顯示。圖像產生電路1108可包括比較器、記憶體、處理器、像素產生器、按比例縮放電路、裁剪電路及加法器中之一或多者。在一些實施中，用於處理輸送層資訊之構件包括圖像產生電路1108。
如本文所使用，術語「判定」包含廣泛多種行動。舉例而言，「判定」可包括推算、計算、處理、推導、調查、查找(例如，在表、 資料庫或另一資料結構中查找)、查明及其類似者。又，「判定」可包括接收(例如，接收資訊)、存取(例如，存取記憶體中之資料)及其類似者。又，「判定」可包括解析、選擇、挑選、建立及其類似者。
如本文所使用，術語「提供」包含廣泛多種行動。舉例而言，「提供」可包括將值儲存於一位置以供後續擷取、將值直接傳輸至接收者、傳輸或儲存對值之參考，及其類似者。「提供」亦可包括編碼、解碼、加密、解密、驗證、核對，及其類似者。
如本文所使用，指代項目清單「中之至少一者」的短語指代彼等項目之任何組合，包括單一成員。作為實例，「a、b或c中之至少一者」意欲涵蓋：a、b、c、a-b、a-c、b-c及a-b-c。
上文所述之方法的各種操作可藉由能夠執行該等操作之任何合適的構件來執行，該構件諸如各種硬體及/或軟體組件、電路，及/或模組。一般而言，諸圖中所說明之任何操作可藉由能夠執行該等操作的相應功能構件來執行。
結合本發明所述之各種說明性邏輯區塊、模組及電路可藉由通用處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列信號(FPGA)或其他可程式化邏輯器件(PLD)、離散閘或電晶體邏輯、離散硬體組件，或其經設計以執行本文所述之功能的任何組合來實施或執行。通用處理器可為微處理器，但在替代例中，處理器可為任何市售處理器、控制器、微控制器或狀態機。處理器亦可實施為計算器件之組合，例如，DSP與微處理器之組合、複數個微處理器、結合DSP核心之一或多個微處理器，或任何其他此組態。
在一或多個態樣中，所述功能可以硬體、軟體、韌體，或其任何組合來實施。若以軟體來實施，則可將該等功能作為一或多個指令或程式碼儲存於電腦可讀媒體上或經由電腦可讀媒體來傳輸。電腦可讀媒體包括電腦儲存媒體及通信媒體兩者，通信媒體包括促進電腦程 式自一處傳送至另一處的任何媒體。儲存媒體可為可藉由電腦存取之任何可用媒體。藉由實例且非限制，此等電腦可讀媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器件、磁碟儲存器件或其他磁性儲存器件，或可用以攜載或儲存呈指令或資料結構之形式之所要程式碼且可藉由電腦存取的任何其他媒體。又，將任何連接恰當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或無線技術(諸如，紅外線、無線電及微波)自網站、伺服器或其他遠端源傳輸軟體，則同軸纜線、光纖纜線、雙絞線、DSL或無線技術(諸如，紅外線、無線電及微波)包括於媒體之定義中。如本文所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。因此，在一些態樣中，電腦可讀媒體可包含非暫時性電腦可讀媒體(例如，有形媒體)。另外，在一些態樣中，電腦可讀媒體可包含暫時性電腦可讀媒體(例如，信號)。以上內容之組合亦應包括於電腦可讀媒體之範疇內。
本文所揭示之方法包含用於達成所述方法之一或多個步驟或行動。方法步驟及/或行動可在不脫離申請專利範圍之範疇的情況下彼此互換。換言之，除非指定步驟或行動之特定次序，否則在不脫離申請專利範圍之範疇的情況下，可修改特定步驟及/或行動之次序及/或使用。
類似地，上文所述之訊息包括可在各種實施中使用的一或多個欄位。在不脫離申請專利範圍之範疇的情況下，訊息可包括額外欄位、較少的欄位，及/或替代性欄位配置。
所述功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體來實施，則可將該等功能作為一或多個指令儲存於電腦可讀媒體 上。儲存媒體可為可藉由電腦存取之任何可用媒體。藉由實例且非限制，此等電腦可讀媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器件、磁碟儲存器件或其他磁性儲存器件，或可用以攜載或儲存呈指令或資料結構之形式之所要程式碼且可藉由電腦存取的任何其他媒體。如本文所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟性磁碟及Blu-ray®光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。
因此，某些態樣可包含用於執行本文所呈現之操作的電腦程式產品。舉例而言，此電腦程式產品可包含上面儲存有(及/或編碼有)指令之電腦可讀媒體，該等指令可藉由一或多個處理器執行以執行本文所述之操作。針對某些態樣，電腦程式產品可包括封裝材料。
亦可經由傳輸媒體來傳輸軟體或指令。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或無線技術(諸如，紅外線、無線電及微波)自網站、伺服器或其他遠端源傳輸軟體，則同軸纜線、光纖纜線、雙絞線、DSL或無線技術(諸如，紅外線、無線電及微波)包括於傳輸媒體之定義中。
此外，應瞭解，用於執行本文所述之方法及技術的模組及/或其他適當的構件可藉由編碼器件及/或解碼器件下載及/或以其他方式獲得(如適用)。舉例而言，此器件可耦接至伺服器，以促進用於執行本文所述之方法的構件之傳送。或者，本文所述之各種方法可經由儲存構件(例如，RAM、ROM、諸如緊密光碟(CD)或軟性磁碟之實體儲存媒體，等)來提供，使得使用者終端機及/或基地台可在將儲存構件耦接或提供至器件後即獲得各種方法。此外，可利用用於將本文所述之方法及技術提供至器件的任何其他合適的技術。
應理解，申請專利範圍不限於上文所說明之精確組態及組件。 在不脫離申請專利範圍之範疇的情況下，可在上文所述之方法及裝置的配置、操作及細節上進行各種修改、改變及變化。
儘管前述內容係針對本發明之態樣，但本發明之其他及另外態樣可在不脫離本發明之基本範疇的情況下經設計，且本發明之範疇係藉由下文之申請專利範圍判定。
300‧‧‧編碼器件
302‧‧‧影像編碼器
304‧‧‧訊息編碼器

Claims (84)

  1. 一種用於顯示媒體資訊之方法，該方法包含：獲得圖像或視訊資訊，該圖像或視訊資訊包括至少一輸出圖像及用於該至少一輸出圖像之旋轉資訊，該旋轉資訊包括於該圖像或視訊資訊之一第一部分中且該至少一輸出圖像包括於該圖像或視訊資訊的一第二部分中，該第二部分經編碼且該第一部分相異於該第二部分；解碼包括於該圖像或視訊資訊之該第二部分中的至少一輸出圖像；基於包括於該圖像或視訊資訊之該第一部分中的該旋轉資訊而識別旋轉資料及用於該旋轉資料之一週期，用於該旋轉資料之該週期係基於一即時輸送協定時戳而識別，該即時輸送協定時戳係包括於該圖像或視訊資訊中包含之一持續開始欄位內；及根據該所識別旋轉資料及該所識別週期旋轉該經解碼之至少一輸出圖像。
  2. 如請求項1之方法，其中該所識別週期包括一旋轉開始點及一旋轉結束點中之至少一者。
  3. 如請求項1之方法，其中該週期識別包括待旋轉之一第一圖像的一封包之一封包序號。
  4. 如請求項1之方法，其中該週期識別待旋轉之一第一圖像的一呈現時間。
  5. 如請求項1之方法，其中該週期係識別於包括於該資訊中之一圖像方位資訊元素中，該資訊包含一即時輸送控制協定訊息。
  6. 如請求項1之方法，其中該週期係識別於包括於該資訊中之一或 多個擴展標頭中，該資訊包含一即時輸送協定訊息。
  7. 如請求項1之方法，其中該週期係識別於包括於一會話描述協定檔案中之一或多個屬性中，該資訊包含該會話描述協定檔案。
  8. 如請求項7之方法，其中該會話描述協定檔案係經由會話起始協定、即時串流傳輸協定及超文字傳送協定中之一或多者而接收。
  9. 如請求項1之方法，其中該週期係識別於一媒體呈現描述中，該資訊包含該媒體呈現描述。
  10. 如請求項9之方法，其中該週期係針對與該媒體呈現描述相關聯之一媒體呈現之視訊串流中的全部或一子分群而識別。
  11. 如請求項10之方法，其中該子分群包含一媒體呈現層級分群、一週期層級分群、一適應集合層級分群、一表示層級分群及一子表示層級分群中之至少一者。
  12. 如請求項1之方法，其中該週期係識別於一ISO基礎媒體檔案中之一或多個項目中，該資訊包含該ISO基礎媒體檔案。
  13. 如請求項12之方法，其中該一或多個項目包括在與該圖像或視訊資訊相關聯之一軌道中的一樣本描述項目。
  14. 如請求項12之方法，其中該一或多個項目包括一圖像方位資訊樣本群組項目。
  15. 如請求項12之方法，其中該一或多個項目包括一圖像方位資訊方塊項目，該方塊項目與該圖像或視訊資訊之至少一部分相關聯。
  16. 如請求項1之方法，其進一步包含自一發送器器件接收該圖像或視訊資訊。
  17. 如請求項16之方法，其中該發送器器件包含一攝影機、一視訊源、一固定圖像獲取器件及一行動器件中之至少一者。
  18. 如請求項16之方法，其中旋轉該至少一輸出圖像在解碼該圖像或視訊資訊之後發生。
  19. 如請求項16之方法，其進一步包含用與該圖像或視訊由該發送器器件起初獲取時之方位實質上相同的方位顯示該至少一輸出圖像。
  20. 如請求項1之方法，其進一步包含基於用於一目標顯示器之資訊旋轉該至少一輸出圖像。
  21. 如請求項20之方法，其中用於一目標顯示器之該資訊包括顯示器尺寸資訊、顯示器方位資訊、顯示器解析度資訊及顯示器識別資訊中之一或多者。
  22. 如請求項21之方法，其進一步包含至少部分地基於該顯示器識別資訊獲得用於一目標顯示器之資訊。
  23. 如請求項1之方法，其中處理器經進一步組態以基於該旋轉資料及該週期修改該至少一輸出圖像。
  24. 如請求項23之方法，其中該修改包括色彩校正、時間校正、縱橫比校正、按比例縮放及裁剪中之至少一者。
  25. 如請求項1之方法，其中識別用於該旋轉資料之該週期包含從指定用於一先前圖像之一週期推算用於一當前圖像之該旋轉資料之該週期。
  26. 一種用於顯示媒體資訊之裝置，該裝置包含：一記憶體單元，其經組態以儲存圖像或視訊資訊，該圖像或視訊資訊包括至少一輸出圖像及用於該至少一輸出圖像之旋轉資訊，該旋轉資訊包括於該圖像或視訊資訊之一第一部分中且該至少一輸出圖像包括於該圖像或視訊資訊的一第二部分中，該第二部分經編碼且該第一部分相異於該第二部分；一輸送層處理器，其經組態以： 自包括於該第一部分中之該旋轉資訊提取旋轉資料及用於該旋轉資料之一週期，用於該旋轉資料之該週期係基於一即時輸送協定時戳而識別，該即時輸送協定時戳係包括於該圖像或視訊資訊中包含之一持續開始欄位內；及自該第二部分提取該至少一輸出圖像；一解碼器，其經組態以解碼該所提取之至少一輸出圖像；及一呈現處理器，其經組態以基於該所提取旋轉資料及該所提取週期而產生該經解碼之至少一輸出圖像的一版本以供顯示。
  27. 如請求項26之裝置，其中該所識別週期包括一旋轉開始點及一旋轉結束點中之至少一者。
  28. 如請求項26之裝置，其中該週期識別包括待旋轉之一第一圖像的一封包之一封包序號。
  29. 如請求項26之裝置，其中該週期識別待旋轉之一第一圖像的一呈現時間。
  30. 如請求項26之裝置，其中該週期係識別於包括於該資訊中之一圖像方位資訊元素中，該資訊包含一即時輸送控制協定訊息。
  31. 如請求項26之裝置，其中該週期係識別於包括於該資訊中之一或多個擴展標頭中，該資訊包含一即時輸送協定訊息。
  32. 如請求項26之裝置，其中該週期係識別於包括於一會話描述協定檔案中之一或多個屬性中，該資訊包含該會話描述協定檔案。
  33. 如請求項32之裝置，其中該會話描述協定檔案係經由會話起始協定、即時串流傳輸協定及超文字傳送協定中之一或多者而接收。
  34. 如請求項26之裝置，其中該週期係識別於一媒體呈現描述中，該資訊包含該媒體呈現描述。
  35. 如請求項34之裝置，其中該週期係針對與該媒體呈現描述相關聯之一媒體呈現之視訊串流中的全部或一子分群而識別。
  36. 如請求項35之裝置，其中該子分群包含一媒體呈現層級分群、一週期層級分群、一適應集合層級分群、一表示層級分群及一子表示層級分群中之至少一者。
  37. 如請求項26之裝置，其中該週期係識別於一ISO基礎媒體檔案中之一或多個項目中，該資訊包含該ISO基礎媒體檔案。
  38. 如請求項37之裝置，其中該一或多個項目包括在與該視訊資訊相關聯之一軌道中的一樣本描述項目。
  39. 如請求項37之裝置，其中該一或多個項目包括一圖像方位資訊樣本群組項目。
  40. 如請求項37之裝置，其中該一或多個項目包括一圖像方位資訊方塊項目，該方塊項目與該視訊資訊之至少一部分相關聯。
  41. 如請求項26之裝置，其進一步包含一接收器，該接收器經組態以自一發送器器件接收該圖像或視訊資訊。
  42. 如請求項41之裝置，其中該發送器器件包含一攝影機、一視訊源、一固定圖像獲取器件及一行動器件中之至少一者。
  43. 如請求項41之裝置，其中該經解碼之至少一輸出圖像的該版本包括與該圖像或視訊由該發送器器件起初獲取時之實質相同的一方位。
  44. 如請求項26之裝置，其中該呈現處理器經進一步組態以基於該經解碼之至少一輸出圖像而產生該經解碼之至少一輸出圖像的一版本，且進一步包含一顯示器，該顯示器經組態以呈現該經解碼之至少一輸出圖像的該經產生版本。
  45. 如請求項26之裝置，其中該呈現處理器經進一步組態以基於用於一目標顯示器之資訊而產生該經解碼之至少一輸出圖像的一 旋轉版本，且進一步包含一顯示器，該顯示器經組態以呈現該經解碼之至少一輸出圖像的該經產生版本。
  46. 如請求項45之裝置，其中用於一目標顯示器之該資訊包括顯示器尺寸資訊、顯示器方位資訊、顯示器解析度資訊及顯示器識別資訊中之一或多者。
  47. 如請求項46之裝置，其中該呈現處理器經組態以至少部分地基於該顯示器識別資訊而獲得用於該目標顯示器之該資訊。
  48. 如請求項26之裝置，其中該呈現處理器經進一步組態以基於該旋轉資料及該週期而修改該至少一輸出圖像。
  49. 如請求項48之裝置，其中該修改包括色彩校正、時間校正、縱橫比校正、按比例縮放及裁剪中之至少一者。
  50. 如請求項26之裝置，其中提取用於該旋轉資料之該週期包含當一當前圖像之用於該旋轉資料之該經提取週期未指定時提供指定用於一先前圖像之一週期。
  51. 一種電腦可讀儲存媒體，其包含可藉由一裝置之一處理器執行之指令，該等指令使得該裝置：獲得圖像或視訊資訊，該圖像或視訊資訊包括至少一輸出圖像及用於該至少一輸出圖像之旋轉資訊，該旋轉資訊包括於該圖像或視訊資訊之一第一部分中且該至少一輸出圖像包括於該圖像或視訊資訊的一第二部分中，該第二部分經編碼且該第一部分相異於該第二部分；解碼包括於該圖像或視訊資訊之該第二部分中的至少一輸出圖像；基於包括於該圖像或視訊資訊之該第一部分中的該旋轉資訊而識別旋轉資料及用於該旋轉資料之一週期，用於該旋轉資料之該週期係基於一即時輸送協定時戳而識別，該即時輸送協定 時戳係包括於該圖像或視訊資訊中包含之一持續開始欄位內；及根據該所識別旋轉資料及該所識別週期而旋轉該經解碼之至少一輸出圖像。
  52. 一種用於顯示媒體資訊之裝置，該裝置包含：用於獲得圖像或視訊資訊之構件，該圖像或視訊資訊包括至少一輸出圖像及用於該至少一輸出圖像之旋轉資訊，該旋轉資訊包括於該圖像或視訊資訊之一第一部分中且該至少一輸出圖像包括於該圖像或視訊資訊的一第二部分中，該第二部分經編碼且該第一部分相異於該第二部分；用於處理輸送層資訊之構件，其經組態以：自包括於該第一部分中之該旋轉資訊提取旋轉資料及用於該旋轉資料之一週期，用於該旋轉資料之該週期係基於一即時輸送協定時戳而識別，該即時輸送協定時戳係包括於該圖像或視訊資訊中包含之一持續開始欄位內；及自該第二部分提取該至少一輸出圖像；用於解碼之構件，其經組態以解碼該所提取之至少一輸出圖像；及用於產生一顯示之構件，其經組態以基於該所提取旋轉資料及該所提取週期而產生該經解碼之至少一輸出圖像的一版本以供顯示。
  53. 一種用於傳輸媒體資訊之方法，該方法包含：獲得圖像或視訊資訊，該圖像或視訊資訊包括影像資料及一媒體獲取單元在獲得該圖像或視訊資訊時之方位資訊，該方位資訊包括旋轉資料及該旋轉資料所應用之一週期，用於該旋轉資料之該週期係基於一即時輸送協定時戳而識別，該即時輸送 協定時戳係包括於該圖像或視訊資訊中包含之一持續開始欄位內；編碼該圖像或視訊資訊，其中該方位資訊包括於一第一部分中且該影像資料包括於一第二部分中，該第二部分經編碼且該第一部分相異於該第二部分；及傳輸該第一部分及該第二部分。
  54. 如請求項53之方法，其中該第一部分與該第二部分係頻帶內傳輸。
  55. 如請求項53之方法，其中該第一部分與該第二部分係頻帶外傳輸。
  56. 如請求項53之方法，其中該第一部分包括一即時輸送協定訊息之一圖像方位資訊元素。
  57. 如請求項53之方法，其中該第一部分包括於一會話描述協定檔案中所包括之一或多個屬性。
  58. 如請求項57之方法，其中傳輸該第一部分包括經由會話起始協定、即時串流傳輸協定及超文字傳送協定中之一或多者而傳輸。
  59. 如請求項53之方法，其中該第一部分包括於一媒體呈現描述中。
  60. 如請求項59之方法，其中該第一部分係針對與該媒體呈現描述相關聯之一媒體呈現之視訊串流中的全部或一子分群而識別旋轉之一週期。
  61. 如請求項60之方法，其中該子分群包含一媒體呈現層級分群、一週期層級分群、一適應集合層級分群、一表示層級分群及一子表示層級分群中之至少一者。
  62. 如請求項53之方法，其中該第一部分包括於一ISO基礎媒體檔案 中之一或多個項目中。
  63. 如請求項62之方法，其中該一或多個項目包括在與該圖像或視訊資訊相關聯之一軌道中的一樣本描述項目。
  64. 如請求項62之方法，其中該一或多個項目包括一圖像方位資訊樣本群組項目。
  65. 如請求項62之方法，其中該一或多個項目包括一圖像方位資訊方塊項目，該方塊項目與該圖像或視訊資訊之至少一部分相關聯。
  66. 如請求項53之方法，其中該媒體獲取單元包含一記憶體、一攝影機、一視訊源、一固定圖像獲取器件及一行動器件中之至少一者。
  67. 如請求項53之方法，其中解碼該圖像或視訊資訊包含當判定用於包括於該圖像或視訊資訊中一當前圖像之該旋轉資料與在該當前圖像之前傳輸之方位資訊相同時，從該方位資訊移除該週期。
  68. 一種用於傳輸媒體資訊之裝置，該裝置包含：一媒體獲取單元，其經組態以獲得圖像或視訊資訊，該圖像或視訊資訊包括影像資料及一媒體獲取單元在獲得該圖像或視訊資訊時之方位資訊，該方位資訊包括旋轉資料及該旋轉資料所應用之一週期，用於該旋轉資料之該週期係基於一即時輸送協定時戳而識別，該即時輸送協定時戳係包括於該圖像或視訊資訊中包含之一持續開始欄位內；一編碼器，其經組態以編碼該圖像或視訊資訊，其中該方位資訊包括於一第一部分中且該影像資料包括於一第二部分中，該第二部分經編碼且該第一部分相異於該第二部分；及一傳輸器，其經組態以傳輸該第一部分及該第二部分。
  69. 如請求項68之裝置，其中該第一部分與該第二部分係頻帶內傳輸。
  70. 如請求項68之裝置，其中該第一部分與該第二部分係頻帶外傳輸。
  71. 如請求項68之裝置，其中該第一部分包括一即時輸送協定訊息之一圖像方位資訊元素。
  72. 如請求項68之裝置，其中該第一部分包括於一會話描述協定檔案中所包括之一或多個屬性。
  73. 如請求項72之裝置，其中傳輸該第一部分包括經由會話起始協定、即時串流傳輸協定及超文字傳送協定中之一或多者而傳輸。
  74. 如請求項68之裝置，其中該第一部分包括於一媒體呈現描述中。
  75. 如請求項74之裝置，其中該第一部分針對與該媒體呈現描述相關聯之一媒體呈現之視訊串流中的全部或一子分群而識別旋轉之一週期。
  76. 如請求項75之裝置，其中該子分群包含一媒體呈現層級分群、一週期層級分群、一適應集合層級分群、一表示層級分群及一子表示層級分群中之至少一者。
  77. 如請求項68之裝置，其中該第一部分包括於一ISO基礎媒體檔案中之一或多個項目中。
  78. 如請求項77之裝置，其中該一或多個項目包括在與該圖像或視訊資訊相關聯之一軌道中的一樣本描述項目。
  79. 如請求項77之裝置，其中該一或多個項目包括一圖像方位資訊樣本群組項目。
  80. 如請求項77之裝置，其中該一或多個項目包括一圖像方位資訊 方塊項目，該方塊項目與該圖像或視訊資訊之至少一部分相關聯。
  81. 如請求項68之裝置，該媒體獲取單元包含一記憶體、一攝影機、一視訊源、一固定圖像獲取器件及一行動器件中之至少一者。
  82. 如請求項68之裝置，其中該編碼器經組態以藉由當判定用於包括於該圖像或視訊資訊中一當前圖像之該旋轉資料與在該當前圖像之前傳輸之方位資訊相同時，從該方位資訊移除該週期來編碼該圖像或視訊資訊。
  83. 一種電腦可讀儲存媒體，其包含可藉由一裝置之一處理器執行之指令，該等指令使得該裝置：獲得圖像或視訊資訊，該圖像或視訊資訊包括影像資料及一媒體獲取單元在獲得該圖像或視訊資訊時之方位資訊，該方位資訊包括旋轉資料及該旋轉資料所應用之一週期，用於該旋轉資料之該週期係基於一即時輸送協定時戳而識別，該即時輸送協定時戳係包括於該圖像或視訊資訊中包含之一持續開始欄位內；編碼該圖像或視訊資訊，其中該方位資訊包括於一第一部分中且該影像資料包括於一第二部分中，該第二部分經編碼且該第一部分相異於該第二部分；及傳輸該第一部分及該第二部分。
  84. 一種用於傳輸媒體資訊之裝置，該裝置包含：用於獲得圖像或視訊資訊之構件，該圖像或視訊資訊包括影像資料及一媒體獲取單元在獲得該圖像或視訊資訊時之方位資訊，該方位資訊包括旋轉資料及該旋轉資料所應用之一週期，用於該旋轉資料之該週期係基於一即時輸送協定時戳而識別， 該即時輸送協定時戳係包括於該圖像或視訊資訊中包含之一持續開始欄位內；用於編碼該圖像或視訊資訊之構件，其中該方位資訊包括於一第一部分中且該影像資料包括於一第二部分中，該第二部分經編碼且該第一部分相異於該第二部分；及用於傳輸該第一部分及該第二部分之構件。
TW102122022A 2012-06-20 2013-06-20 用於顯示及傳輸媒體資訊之方法、裝置及電腦可讀儲存媒體 TWI502485B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261662314P 2012-06-20 2012-06-20
US201261682676P 2012-08-13 2012-08-13
US13/918,477 US9438818B2 (en) 2012-06-20 2013-06-14 Device and method for multimedia communications with picture orientation information

Publications (2)

Publication Number Publication Date
TW201403456A TW201403456A (zh) 2014-01-16
TWI502485B true TWI502485B (zh) 2015-10-01

Family

ID=48699991

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102122022A TWI502485B (zh) 2012-06-20 2013-06-20 用於顯示及傳輸媒體資訊之方法、裝置及電腦可讀儲存媒體

Country Status (9)

Country Link
US (2) US9438818B2 (zh)
EP (1) EP2865191B1 (zh)
JP (1) JP6466324B2 (zh)
KR (1) KR102069402B1 (zh)
CN (1) CN104335590B (zh)
ES (1) ES2675594T3 (zh)
HU (1) HUE038185T2 (zh)
TW (1) TWI502485B (zh)
WO (1) WO2013192103A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102217322B (zh) * 2011-05-27 2013-10-09 华为技术有限公司 媒体发送方法、媒体接收方法和客户端及系统
US9438818B2 (en) 2012-06-20 2016-09-06 Qualcomm Incorporated Device and method for multimedia communications with picture orientation information
US8923880B2 (en) * 2012-09-28 2014-12-30 Intel Corporation Selective joinder of user equipment with wireless cell
JP6239629B2 (ja) * 2012-10-26 2017-11-29 インテル コーポレイション ビデオ方位に基づくマルチメディア適応
CA2880588C (en) * 2012-10-26 2020-03-10 Intel Corporation Streaming with coordination of video orientation
JP2014212456A (ja) * 2013-04-18 2014-11-13 ソニー株式会社 送信装置、メタファイル送信方法、受信装置および受信処理方法
KR102288500B1 (ko) 2013-08-05 2021-08-11 삼성전자주식회사 송신 장치, 수신 장치 및 그 제어 방법
US9641831B2 (en) * 2013-10-28 2017-05-02 Electronics And Telecommunications Research Institute Apparatus and method for transmitting/receiving moving picture experts group (MPEG) media transport (MMT) signaling message for measurement configuration (MC) processing
US10476693B2 (en) 2014-02-24 2019-11-12 Lg Electronics Inc. Apparatus for transmitting broadcast signals, apparatus for receiving broadcast signals, method for transmitting broadcast signals and method for receiving broadcast signals
US10447747B2 (en) * 2014-03-25 2019-10-15 Qualcomm Incorporated Video orientation negotiation
US20150348325A1 (en) * 2014-05-27 2015-12-03 Thomson Licensing Method and system for stabilization and reframing
JP6921815B2 (ja) * 2015-11-09 2021-08-18 インターデジタル ヴイシー ホールディングス， インコーポレイテッド エレメンタリーストリームから復号されたビデオコンテンツをディスプレイの特性に適応させる方法およびデバイス
TWI593286B (zh) * 2016-01-15 2017-07-21 晨星半導體股份有限公司 電視系統與多媒體播放方法
US10587934B2 (en) 2016-05-24 2020-03-10 Qualcomm Incorporated Virtual reality video signaling in dynamic adaptive streaming over HTTP
US11156375B2 (en) 2016-07-22 2021-10-26 Ademco Inc. Migration of settings from a non-connected building controller to another building controller
CN107948393A (zh) * 2016-10-13 2018-04-20 阿里巴巴集团控股有限公司 基于场景的应用操作方法、装置、终端设备和操作系统
CN110073662B (zh) 2016-11-17 2023-07-18 英特尔公司 全景视频的建议视口指示方法及装置
EP3826302A1 (en) * 2016-11-17 2021-05-26 INTEL Corporation Spherical rotation for encoding wide view video
CN106973252B (zh) * 2017-03-17 2019-08-20 中煤电气有限公司 一种视频通话方法及系统
CN111667487B (zh) * 2020-04-29 2024-08-13 平安科技（深圳）有限公司 一种图片裁剪方法、装置及计算机设备
US11575941B2 (en) * 2021-03-23 2023-02-07 Tencent America LLC Parallel processing in video coding
WO2022213005A1 (en) * 2021-04-02 2022-10-06 Qualcomm Incorporated Picture orientation and quality metrics supplemental enhancement information message for video coding
US11895336B2 (en) 2021-04-02 2024-02-06 Qualcomm Incorporated Picture orientation and quality metrics supplemental enhancement information message for video coding
EP4376426A1 (en) * 2022-11-25 2024-05-29 Beijing Xiaomi Mobile Software Co., Ltd. Signaling encapsulated data representing alignment axes of a video

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201028018A (en) * 2009-01-07 2010-07-16 Ind Tech Res Inst Encoder, decoder, encoding method and decoding method
US20110228112A1 (en) * 2010-03-22 2011-09-22 Microsoft Corporation Using accelerometer information for determining orientation of pictures and video images
EP2442562A1 (en) * 2010-10-12 2012-04-18 Research in Motion Limited Method and apparatus for image orientation indication and correction

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6162281A (ja) * 1984-09-04 1986-03-31 Canon Inc 撮像及びデイスプレイ・システム
JPH099197A (ja) * 1995-06-21 1997-01-10 Asia Kosoku Kk 連続ステレオ画像データ記録装置
JP2001197462A (ja) * 2000-01-17 2001-07-19 Nec Corp テレビ電話装置及びそれを備えるテレビ電話システム
US20050281444A1 (en) * 2004-06-22 2005-12-22 Vidar Lundberg Methods and apparatus for defining a protocol for ultrasound imaging
WO2007037531A1 (ja) * 2005-09-30 2007-04-05 Nec Corporation 記録ストリーム再生装置
JP4926533B2 (ja) * 2006-05-02 2012-05-09 キヤノン株式会社 動画像処理装置、動画像処理方法及びプログラム
JP4871357B2 (ja) 2006-06-28 2012-02-08 富士通株式会社 携帯装置及び映像通信システム
JP2008098916A (ja) * 2006-10-11 2008-04-24 Canon Inc 動画表示装置および動画表示方法
US8311530B2 (en) * 2007-01-26 2012-11-13 Research In Motion Limited Touch entry of password on a mobile device
US7956904B2 (en) * 2007-10-23 2011-06-07 Panasonic Corporation Image file reproduction device and image file reproduction method
JP2010067026A (ja) * 2008-09-11 2010-03-25 Nec Corp Ｉｃタグの制御方法
US8850489B2 (en) 2008-12-22 2014-09-30 At&T Mobility Ii Llc Cost reduction through bidding and advertising
JP5323579B2 (ja) * 2009-05-01 2013-10-23 三洋電機株式会社 撮影装置、およびこれを備えた映像処理システム
CN102473172A (zh) * 2009-07-24 2012-05-23 数字标记公司 改进的音频/视频方法和系统
US8744420B2 (en) * 2010-04-07 2014-06-03 Apple Inc. Establishing a video conference during a phone call
JP5811602B2 (ja) 2010-12-16 2015-11-11 ソニー株式会社 画像生成装置、プログラム、画像表示システム、および画像表示装置
US8838911B1 (en) * 2011-03-09 2014-09-16 Verint Systems Inc. Systems, methods, and software for interleaved data stream storage
US20120230594A1 (en) 2011-03-10 2012-09-13 Jill Boyce Adaptive picture rotation
US9743099B2 (en) 2011-03-10 2017-08-22 Vidyo, Inc. Render-orientation information in video bitstream
US9438818B2 (en) 2012-06-20 2016-09-06 Qualcomm Incorporated Device and method for multimedia communications with picture orientation information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201028018A (en) * 2009-01-07 2010-07-16 Ind Tech Res Inst Encoder, decoder, encoding method and decoding method
US20110228112A1 (en) * 2010-03-22 2011-09-22 Microsoft Corporation Using accelerometer information for determining orientation of pictures and video images
EP2442562A1 (en) * 2010-10-12 2012-04-18 Research in Motion Limited Method and apparatus for image orientation indication and correction

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ETSI，ETSI TS 126 234 v9.3.0，2010-06， http://www.etsi.org/deliver/etsi_ts/126200_126299/126234/09.03.00_60/ts_126234v090300p.pdf ISO，ISO/IEC JTC 1/SC 29/WG 1(ITU-T SG16)，2002-10-25，http://itscj.ipsj.or.jp/sc29/open/29view/29n50481.pdf *
IETF，RFC 1889，1996，https://www.ietf.org/rfc/rfc1889.txt *

Also Published As

Publication number Publication date
KR102069402B1 (ko) 2020-01-22
KR20150023776A (ko) 2015-03-05
US9438818B2 (en) 2016-09-06
JP6466324B2 (ja) 2019-02-06
US20160227255A1 (en) 2016-08-04
WO2013192103A1 (en) 2013-12-27
JP2015524235A (ja) 2015-08-20
HUE038185T2 (hu) 2018-09-28
CN104335590B (zh) 2018-03-06
US9445125B2 (en) 2016-09-13
EP2865191B1 (en) 2018-04-04
EP2865191A1 (en) 2015-04-29
US20130342762A1 (en) 2013-12-26
CN104335590A (zh) 2015-02-04
TW201403456A (zh) 2014-01-16
ES2675594T3 (es) 2018-07-11

Similar Documents

Publication Publication Date Title
TWI502485B (zh) 用於顯示及傳輸媒體資訊之方法、裝置及電腦可讀儲存媒體
US11924526B2 (en) Segment types as delimiters and addressable resource identifiers
US10979691B2 (en) Circular fisheye video in virtual reality
US20230283863A1 (en) Retrieving and accessing segment chunks for media streaming
US9674499B2 (en) Compatible three-dimensional video communications
TW201904297A (zh) 概述視頻補充資訊之信令傳輸
US20160337424A1 (en) Transferring media data using a websocket subprotocol
US10834153B2 (en) System level signaling of SEI tracks for media data streaming
TW201419838A (zh) 傳送用於串流媒體之狀態資訊
US10447747B2 (en) Video orientation negotiation
KR102349451B1 (ko) 멀티미디어의 전송 또는 수신 방법 및 그 장치
TW201441935A (zh) 視訊截圖系統及方法
EP4128809A1 (en) Determination of availability of chunks of data for network streaming media data