TWI547136B - 於電話呼叫期間建立視訊會議 - Google Patents

於電話呼叫期間建立視訊會議 Download PDF

Info

Publication number
TWI547136B
TWI547136B TW099132253A TW99132253A TWI547136B TW I547136 B TWI547136 B TW I547136B TW 099132253 A TW099132253 A TW 099132253A TW 99132253 A TW99132253 A TW 99132253A TW I547136 B TWI547136 B TW I547136B
Authority
TW
Taiwan
Prior art keywords
video
image
camera
module
display area
Prior art date
Application number
TW099132253A
Other languages
English (en)
Other versions
TW201136292A (en
Inventor
伊莉莎白 克蘭菲爾
史蒂芬 李梅
喬伊 艾邦
吳錫榮
周小松
羅伯多 小嘉希亞
Original Assignee
蘋果股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 蘋果股份有限公司 filed Critical 蘋果股份有限公司
Publication of TW201136292A publication Critical patent/TW201136292A/zh
Application granted granted Critical
Publication of TWI547136B publication Critical patent/TWI547136B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/155—Conference systems involving storage of or access to video conference sessions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/26—Devices for calling a subscriber
    • H04M1/27—Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/274—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc
    • H04M1/2745—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc using static electronic memories, e.g. chips
    • H04M1/27453—Directories allowing storage of additional subscriber data, e.g. metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/50—Telephonic communication in combination with video communication

Description

於電話呼叫期間建立視訊會議
本發明係關於在電話呼叫期間建立視訊會議。
例如智慧型電話機等很多今日的可攜式裝置，提供視訊捕捉功能。可攜式裝置的使用者可以經由電話機上的相機來捕捉靜態影像及視訊。但是，在完成捕捉視訊之後，為了傳送捕捉到的視訊至另一方，使用者一般必須將視訊直接傳送至另一方或是將視訊上傳至另一位置(例如網際網路視訊主機網站)。不幸地，當可攜式裝置捕捉現場視訊串時，這無法允許其它方觀看現場視訊串。
此外，標準的可攜式裝置僅配備有一相機，以及處理來自此一相機的資訊是夠困難。理想的裝置是具有多個相機及送出來自至少二相機的視訊合成的現場視訊。以處理多個捕捉到的視訊串的裝置及裝置所連接的處理現場視訊流傳輸之網路的觀點而言，慮及可攜式裝置可利用的有限資源，這是特別困難的問題。
本發明的某些實施例提供設有二個可以拍照及錄影之相機的行動裝置。某些實施例的行動裝置具有顯示幕，用於顯示捕捉到的相片影像及視訊影像。其也包含儲存器，用於儲存捕捉到的影像以便以後傳輸至另一裝置。裝置又具有網路介面，在使用者裝置之間的即時通訊對話期間，允許裝置傳送捕捉到的影像至一或更多裝置。裝置也包含編碼器，用以將捕捉到的影像編碼以用於本地儲存或是傳送至另一裝置。行動裝置又包含解碼器，允許裝置將即時通訊對話期間另一裝置捕捉的影像解碼或將本地儲存的影像解碼。
即時通訊對話的一實施例是視訊會議，其涉及捕捉到的視訊影像的傳輸。在某些實施例中，在視訊會議期間的任何給定時間，行動裝置可以僅傳送一相機之捕捉的視訊影像。但是，在其它實施例中，在視訊會議或其它即時通訊對話期間，行動裝置可以將來自其二相機的捕捉的視訊影像同時地傳送。
在與另一裝置之視訊會議期間，某些實施例的行動裝置可以將其它型式的內容與其一或二相機捕捉到的視訊一起傳送。此其它內容的一實施例包含由裝置相機之一捕捉的低或高解析度相片影像，而裝置的另一相機正捕捉視訊會議中所使用的視訊。此其它內容的其它實施例包含(1)儲存於裝置上的檔案及其它內容、(2)裝置的螢幕顯示(亦即，顯示於裝置的螢幕上的內容)、(3)在視訊會議或其它即時通訊對話等期間自另一裝置接收的內容。
某些實施例的行動裝置採用新穎的會議中調整技術，以在視訊會議期間作調整。舉例而言，當在視訊會議期間僅傳送一相機的捕捉視訊時，某些實施例的行動裝置可以動態地切換至由其另一相機捕捉的視訊。在此情形中，某些實施例的行動裝置通知參與切換的視訊會議中的任何其它裝置，以致於此其它裝置可以在它這一端對二相機捕捉的視訊之間提供平順轉換。
在某些實施例中，切換相機的請求不僅可以源自視訊會議期間在「本地」裝置本身的複數個相機之間切換，也可以源自正接收本地裝置捕捉的視訊之其它「遠端」裝置。此外，允許一裝置指示另一裝置切換相機正是某些實施例的裝置的遙控能力。在某些實施例中可以被遠端地指示給裝置之其它操作的實施例包含曝光調整(例如自動曝光)、聚焦調整操作(例如自動聚焦)、等等。可以本地或遠端指定的新穎會議中調整之另一實施例是捕捉到的視訊中的感興趣的區域(ROI)之辨識，使用ROI辨識以修改捕捉相機的表現、修改設有捕捉相機的裝置之影像處理操作、或修改設有捕捉相機之裝置的編碼操作。
某些實施例的新穎會議中調整之又另一實施例涉及裝置產生的合成視訊顯示之即時修改。具體而言，在某些實施例中，行動裝置產生同時顯示一或更多裝置的多個相機捕捉的多個視訊之合成顯示。在某些情形中，合成顯示將視訊置於相鄰的顯示區中(例如，相鄰的視窗中)。在其它情形中，合成顯示是畫中畫(PIP)顯示，其包含至少二顯示區，所述至少二顯示區顯示二個不同的視訊，其中，這些顯示區之一是背景主顯示區，另一顯示區是與背景主顯示區重疊的前景嵌入顯示區。
在某些實施例中合成視訊顯示的即時修正涉及移動合成顯示內的顯示區之一或更多，以回應使用者選取及顯示區的移動。當提供此合成顯示的裝置之螢幕旋轉時，某些實施例也在視訊會議期間旋轉合成顯示。某些實施例的行動裝置也允許裝置的使用者替換PIP顯示中的視訊(亦即，當使背景主顯示中的視訊出現在前景嵌入顯示中時，使前景嵌入顯示中的視訊出現在背景主顯示中)。
前述發明內容是要作為本發明的某些實施例之簡介。並非本文獻中所有發明標的之介紹或總論。下述實施方式一節及實施方式中所參考的圖式將進一步說明發明內容一節中所述的實施例以及其它實施例。因此，要瞭解本文獻所述之所有發明，需要完全檢閱發明內容、實施方式及圖式。
在下述說明中，為了說明而揭示眾多細節。但是，習於此領域的一般技術者將瞭解，可以不使用這些具體細節而實施本發明。在其它情形中，為了不因不必要的細節而模糊本發明的說明，以方塊圖形式顯示熟知的結構及裝置。
本發明的某些實施例提供具有可以拍照及攝影的二相機的行動裝置。行動裝置的實施例包含行動電話、智慧型電話、個人數位助理(PDA)、膝上型電腦、平板個人電腦、或任何其它型式的行動電腦裝置。如同本實施例中所使用般，相片意指由相機以單相片模式一次一張拍攝的、或是以快動作模式一次數張拍攝的靜態相片影像。另一方面，視訊意指由相機依通常稱為框速率之特定速率捕捉的視訊影像序列。用於捕捉視訊的典型框速率是每秒25框(fps)、30fps、及60fps。某些實施例的行動裝置的相機可以以這些及其它框速率來捕捉視訊影像(亦即，視訊框)。
某些實施例的行動裝置(1)可以顯示捕捉到的相片影像及視訊影像、(2)可以儲存捕捉的影像以用於往後傳輸至另一裝置、(3)在裝置的使用者之間的即時通訊對話期間傳送捕捉的影像至一或更多裝置、及(4)可以將捕捉的影像編碼以用於本地儲存或傳輸至另一裝置。
涉及捕捉的視訊影像之傳輸的即時通訊對話之一實施例是視訊會議。在某些實施例中，在視訊會議期間任何給定時間，行動裝置可以僅傳送一相機捕捉的視訊影像。但是，在其它實施例中，在視訊會議或其它即時通訊對話期間，行動裝置可以同時從其二相機傳送捕捉的視訊影像。
某些實施例的行動裝置產生合成顯示，合成顯示包含由一或更多裝置的多個相機捕捉的多個視訊之同時顯示。在某些情形中，合成顯示將視訊置於相鄰的顯示區中(例如，在相鄰的視窗中)。圖1顯示包含二相鄰的顯示區105和110之合成顯示100的一此實施例，此二顯示區105和110係同時顯示由一裝置的二相機捕捉的或是由視訊會議中二不同裝置的二相機捕捉的二視訊。
在其它情形中，合成顯示是PIP顯示，其包含顯示二不同視訊之至少二顯示區，其中，二顯示區之一是背景主顯示區，而另一顯示區是與背景主顯示區重疊的前景嵌入顯示區。圖2顯示合成PIP顯示200的一此實施例。此合成PIP顯示200包含背景主顯示區205以及與背景主顯示區重疊的前景嵌入顯示區210。二顯示區205和210同時地顯示由一裝置的二相機捕捉的二視訊、或由視訊會議中二不同裝置的二相機捕捉的二視訊。雖然本文獻中所示及說明之舉例說明的PIP顯示類似於顯示背景主顯示區205之內的整個前景嵌入顯示區210之合成PIP顯示200時，但是其它合成PIP顯示是可能的，所述其它合成PIP顯示具有重疊背景主顯示區205但非完全在其內的前景嵌入顯示區210。
除了在與另一裝置的視訊會議期間傳送視訊內容之外，某些實施例的行動裝置可以將其它型式的內容伴隨會議的視訊內容一起傳送。此其它內容的一實施例包含由裝置的相機之一捕捉的低或高解析度相片影像，而裝置的另一相機正捕捉視訊會議中使用的視訊。此其它內容的其它實施例包含(1)儲存於裝置上的檔案及其它內容、(2)裝置的螢幕顯示(亦即，顯示於裝置的螢幕上的內容)、(3)在視訊會議或其它即時通訊對話期間從另一裝置接收的內容、等等。
某些實施例的行動裝置採用新穎的會議中調整技術，以在視訊會議期間執行調整。舉例而言，當在視訊會議期間僅傳送一相機的捕捉視訊時，某些實施例的行動裝置可以動態地切換至傳送它的另一相機捕捉之視訊。在此情形中，某些實施例的行動裝置通知參與此切換的視訊會議之任何其它裝置，以致於此其它裝置可以在它這一端對二相機捕捉的視訊之間提供平順轉換。
在某些實施例中，請求切換相機不僅可以由視訊會議期間在本身所有的相機之間切換之「本地」裝置發起，也可由正接收本地裝置所捕捉的視訊之其它「遠端」裝置發起。此外，允許一裝置指示另一裝置去切換相機正好為某些實施例的裝置之遠端控制能力之一實施例。在某些實施例中可以指示給遠端裝置的其它操作之實施例包含曝光調整操作(例如，自動曝光)、聚焦調整操作(例如，自動聚焦)、等等。可被本地或遠端指定的新穎的會議中調整之另一實施例是捕捉的視訊中感興趣的區域(ROI)之辨識，以及，使用此ROI辨識以修改捕捉相機的表現、修改設有捕捉相機之裝置的影像處理操作、或修改設有捕捉相機之裝置的編碼操作。
某些實施例的新穎的會議中調整之又另一實施例涉及裝置產生的合成視訊顯示之即時修改。具體而言，在某些實施例中，合成視訊顯示的即時修改涉及在合成顯示之內移動複數個顯示區之一或更多，以回應顯示區的使用者選取及移動。某些實施例當提供此合成顯示的裝置之螢幕旋轉時，在視訊會議期間也會旋轉合成顯示。某些實施例的行動裝置也允許裝置的使用者翻轉PIP顯示中的視訊次序(亦即，使前景嵌入顯示中的視訊出現在背景主顯示中，而使背景主顯示中的視訊出現在前景嵌入顯示中)。
於下，說明多個更詳細的實施例。第I節提供某些實施例的視訊處理架構之說明，然後，第II節說明某些實施例之捕捉影像處理單元。在某些實施例中，此單元是裝置的構件，負責處理裝置的相機所捕捉的原始影像。
接著，第III節說明某些實施例的視訊會議架構。此節也說明某些實施例的視訊會議模組、以及用於建立單一相機視訊會議之數個方式。第IV節接著說明某些實施例的會議中調整及控制操作。第V節接著說明視訊會議期間從個別裝置傳送及顯示多個視訊之實施例的視訊會議特點。第VI節接著說明視訊會議期間即時視訊與非即時內容一起傳輸。最後，第VII節說明某些實施例的雙相機裝置之硬體架構。
I.　視訊捕捉及處理
圖3概念地顯示某些實施例的雙相機行動裝置之視訊處理及編碼模組300。在某些實施例中，模組300處理影像以及將雙相機行動裝置的相機捕捉的視訊編碼。如圖3所示，此模組300包含捕捉影像處理單元(CIPU)驅動器305、媒體交換模組310、編碼器驅動器320、及視訊處理模組325。
在某些實施例中，媒體交換模組310允許媒體內容的消費者及生產者之裝置上的程式交換媒體內容及與媒體內容的處理有關之指令。在視訊處理及編碼模組300中，某些實施例的媒體交換模組310安排指令和媒體內容在視訊處理模組325與CIPU驅動器305之間、以及視訊處理模組325與編碼器驅動器320之間的傳送路徑。為了便於這些指令與媒體內容的路徑安排，某些實施例的媒體交換模組310提供應用編程介面(API)組給媒體內容的消費者及生產者使用。在這些實施例中的某些實施例中，媒體交換模組310是在雙相機行動裝置上執行的作業系統之一部份的一或更多框架的組。此媒體交換模組310的一實施例是由蘋果公司(Apple Inc.)提供的核心媒體框架。
視訊處理模組325對裝置的相機捕捉的影像及/或視訊執行影像處理。這些操作的實施例包含曝光調整操作、聚焦調整操作、透視校正、動態範圍調整、影像尺寸變更、影像合成、等等。在某些實施例中，某些影像處理操作也可以由媒體交換模組310執行。舉例而言，如圖3所示，某些實施例的媒體交換模組310執行暫時雜訊降低(TNR)操作(例如藉由TNR 315)，降低裝置的相機所捕捉的視訊影像中的雜訊。於下將提供視訊處理模組325及媒體交換模組310的這些影像處理操作的其它實施例。
如上所述，經由媒體交換模組310，視訊處理模組325與CIPU驅動器305和編碼器驅動器320協調。CIPU驅動器305作為捕捉影像處理單元(CIPU)330與媒體交換模組310之間的通訊介面。如同下述進一步說明般，CIPU 330是雙相機裝置的構件，負責處理裝置的相機之影像捕捉或視訊捕捉操作期間所捕捉的影像。從視訊處理模組325經過媒體交換模組310，CIPU驅動器305而從裝置的相機之一或二者，接收用於影像及/或視訊的請求。CIPU驅動器305將這些請求轉至CIPU 330，以及，從CIPU 330回應地接收被請求的影像及/或視訊，然後，CIPU驅動器305將被請求的影像及/或視訊經由媒體交換模組310而送至視訊處理模組325。經由CIPU驅動器305及媒體交換模組310，某些實施例的視訊處理模組325也將指令送至CIPU 330，以修改其操作中的一些操作(例如，修改相機的框速率、曝光調整操作、聚焦調整操作、等等)。
編碼器驅動器320作為媒體交換模組310與編碼器硬體335(例如編碼器晶片、系統晶片上的編碼元件、等等)。在某些實施例中，編碼器驅動器320接收影像及請求以將經由媒體交換模組310而來自視訊處理模組325的影像編碼。編碼器驅動器320將要編碼的影像傳送至編碼器335，然後，編碼器335對影像執行相片編碼或視訊編碼。當編碼器驅動器320自編碼器335接收已編碼的影像時，編碼器驅動器320將已編碼的影像經由媒體交換模組310送回至視訊處理模組325。
在某些實施例中，視訊處理模組325可以對其自編碼器接收的已編碼影像執行不同的操作。這些操作的實施例包含儲存已編碼的影像於裝置的儲存器中、經由裝置的網路介面傳送視訊會議中已編碼的影像、等等。
在某些實施例中，視訊處理及編碼模組300的某些或所有模組被實施作為部份作業系統。舉例而言，某些實施例實施將模組300的所有四個構件305、310、320、及325實施作為裝置的作業系統之部份。其它實施例將媒體交換模組310、CIPU驅動器305、及編碼器驅動器320實施作為裝置的作業系統的部份，並使視訊處理模組325作為在作業系統上執行的應用。又，模組300的其它實施是可能的。
現在，將說明視訊捕捉會議期間視訊處理及編碼模組300的操作。為了啟動視訊捕捉會議，視訊處理模組325啟始視訊捕捉會議期間所需的數個構件。在某些實施例中，這些構件包含(1)CIPU 330、(2)視訊處理模組325的比例及合成模組(未顯示)、(3)視訊處理模組325的影像處理模組(未顯示)、及(4)編碼器335。而且，某些實施例的視訊處理模組325當參與視訊會議時，其會初始化網路管理器(未顯示)。
經由媒體交換模組310及CIPU驅動器305，視訊處理模組將其初始化請求傳送至CIPU 330，以便使裝置的一或二個相機開始視訊捕捉。在某些實施例中，此請求指定用於需要捕捉視訊的每一相機之特定的框速率、曝光程度、及比例尺寸。為回應此請求，CIPU 330開始以指定的速率、曝光程度、及比例尺寸，歸還來自被請求的相機之視訊影像。這些視訊影像經由CIPU驅動器305及媒體交換模組310而歸還至視訊處理模組325，如上所述般，媒體交換模組310在將視訊影像供應至視訊處理模組325之前對它們執行TNR操作。在視訊處理模組325，視訊影像被儲存於緩衝器(未顯示)中，用於增加的影像處理。
為了增加的影像處理，視訊處理模組325的影像處理模組檢索儲存於緩衝器中的視訊影像。比例及合成模組接著檢索經過處理的視訊影像，以便於需要時將它們調整比例，用於即時顯示於裝置的顯示螢幕上。在某些實施例中，在視訊會議期間，此模組從裝置的二相機捕捉的影像、或是從裝置的相機與另一裝置的相機一起捕捉的影像產生合成影像，以在裝置上提供捕捉的視訊影像之即時顯示或是產生用於編碼的合成視訊影像。
經過處理的及/或合成的視訊影像經由編碼器驅動器320和媒體交換模組310而供應至編碼器335。編碼器335接著將視訊影像編碼。經過編碼的影像接著歸還至視訊處理模組325(再度經由編碼器驅動器320和媒體交換模組310)以在視訊會議期間傳輸或儲存於裝置上。當裝置正參與視訊會議時，網路管理器(由視訊處理模組325初始化)接著檢索這些經過編碼的影像、將它們分封化及經由裝置的網路介面(未顯示)而將它們傳送至一或更多其它裝置。
II.　捕捉影像處理
A.　單管道
由某些實施例的雙向相機行動裝置的相機所捕捉的影像是原始的、未經處理的影像。在這些影像可以用於例如傳送影像至另一裝置(例如，在視訊會議期間)、儲存影像、或顯示影像等其它操作之前，這些影像需要轉換至特定的色域。此外，由相機捕捉的影像需要被處理以校正錯誤及/或失真以及調整影像的色彩、尺寸、等等。因此，某些實施例在儲存、傳送、及顯示影像之前，對這些影像執行多個處理操作。這些影像的部份處理由CIPU 330執行。
此CIPU的一實施例顯示於圖4中。具體而言，此圖式概念地顯示某些實施例的捕捉影像處理單元(CIPU)400。此CIPU 400包含單處理管道485，單處理管道485一次僅處理來自裝置的複數個相機中僅一相機的影像，或是以分時多工方式(亦即，時間交錯方式)，同時地處理來自裝置的二相機之影像。CIPU 400的處理管道485可以被不同地規劃，以滿足不同相機的差異特徵及/或操作設定。在某些實施例中不同相機特徵的實施例包含不同的解析度、雜訊感測器、透鏡型式(固定的或變焦透鏡)、等等。在某些實施例中，裝置用以操作相機之不同的操作設定的實施例也包含影像解析尺寸、框速率、變焦等級、曝光程度、等等。
如圖4所示，CIPU 400包含感測器模組415、線/框緩衝器417、壞像素校正(BPC)模組420、透鏡陰影(LS)模組425、去馬賽克模組430、白平衡(WB)模組435、伽瑪模組440、色域轉換(CSC)模組445、色彩、飽合、及對比(HSC)模組450、比例器模組455、過濾器模組460、統計引擎465、二組暫存器470、及控制器模組475。在某些實施例中，CIPU 400的所有模組可以以硬體(例如ASIC、FPGA、設有微控制器的SOC、等等)實施，而在其它實施例中，CIPU 400的某些或所有模組以軟體實施。
如圖4所示，感測器模組415通訊地耦合至裝置的二相機的二組感測器405a和405b及二像素陣列410a和410b。在某些實施例中，經由每一相機的感測器的行動工業處理器介面(MIPI)，可以便於此通訊耦合。
經由此通訊耦合，感測器模組415可以將指令派送至相機以控制例如其電力程度、變焦程度、聚焦、曝光程度等每一相機的操作之不同態樣。在某些實施例中，每一相機具有四個操作電力模式。在第一操作電力模式中，供電給相機。對於第二操作電力模式，相機被供電但尚未被規劃。在第三操作電力模式中，相機被供電、相機的感測器被規劃、以及相機的感測器像素正收集光子及將收集的光子轉換成數位值。但是，相機感測器尚未傳送影像至感測器模組415。最後，在第四操作電力模式中，相機正傳送影像至感測器模組415除外，相機處於與第三電力模式相同的操作模式。
在裝置的操作期間，相機可以從一操作電力模式切換至另一模式任何次數。當切換操作電力模式時，某些實施例要求相機依上述次序來切換操作電力模式。因此，在某些實施例中，在第一操作電力模式中的相機可以僅切換至第二操作電力模式。當相機處於第二操作電力模式時，其可以切換至第一操作電力模式或是第三操作電力模式。類似地，相機可以從第三操作電力模式切換至第二操作電力模式或第四操作電力模式。當相機處於第四操作電力模式時，其可以僅切回至第三操作電力模式。
此外，從一操作電力模式切換至下一或先前的操作電力模式耗費特定的時間量。如此，在二或三個操作電力模式之間的切換比一操作電力模之間的切換還慢。不同的操作電力模式也耗費不同的電力量。舉例而言，第四操作電力模式消耗大部份的電力量，第三操作電力模式比第一和第二操作電力模式消耗更多電力，第二操作電力模式比第一操作電力模式消耗更多。在某些實施例中，第一操作電力模式不會消耗任何電力。
當相機未處於捕捉影像的第四操作電力模式時，相機被留在其它操作電力模式之一中。決定將未使用的相機留在那一操作模式取決於允許相機消耗多少電量以及相機需要多快來回應啟動捕捉影像的請求。舉例而言，被規劃成在第三操作電力模式中操作的相機(例如，待機模式)比規劃成在第一操作電力模式(亦即，電源關閉)中操作的相機消耗更多電力。但是，當相機被指令捕捉影像時，在第三操作電力模式中操作的相機可以比第一操作電力模式中操作的相機更快地切換至第四操作電力模式。確切而言，相機可以被規劃成當根據不同需求(例如，對於捕捉影像的請求之響應時間、耗電)而未捕捉影像時以不同的操作電力模式操作。
如同下述進一步說明般，經由其與每一相機的通訊耦合，當視訊處理模組325請求一或二相機啟動捕捉影像及感測器模組415經由控制器模組475而接收此請求時，感測器模組415可以指令一或二組相機感測器啟動捕捉影像。拜耳(Bayer)濾光器疊加於每一相機感測器上，因此，每一相機感測器輸出儲存於與每一相機感測器相關連的像素陣列中之拜耳圖案影像。拜耳圖案影像是每一像素僅儲存一色彩值之影像：紅、藍、或綠。
經由其與像素陣列410a和410b的耦合，感測器模組415檢索儲存於相機像素陣列410a和410b中的原始拜耳圖案影像。藉由控制感測器模組415從相機的像素陣列檢索影像之速率，感測器模組415可以控制特定相機正捕捉的視訊影像的框速率。藉由控制其影像檢索的速率，感測器模組415也可插入不同相機捕捉的影像之取出，以將來自不同相機之捕捉的影像的CIPU處理管道485的影像處理插入。於下，在副章節II.A.1和II.A.2中進一步說明其影像檢索的感測器模組415的控制。
感測器模組415將影像線(亦即，影像的像素列)儲存於線/框緩衝器417中，影像線係感測器模組415從像素陣列410a和410b中檢索的。經由CIPU處理管道485，處理線/框緩衝器417中的每一影像線。如圖4所示，CIPU處理管道485由BPC模組420、LS模組425、去馬賽克模組430、WB模組435、伽瑪模組440、CSC模組445、HSC模組450、比例器模組455、及過濾器模組460形成。在某些實施例中，CIPU處理管道485以一線接一線(亦即，一列接一列)為基礎來處理來自線/框緩衝器417的影像，而在它實施例中，CIPU處理管道485以一框接一框為基礎來處理來自線/框緩衝器417的整個影像。
在圖4中所示的舉例說明的管道中，BPC模組420是從線/框緩衝器417檢索影像之模組。此模組執行壞像素移除操作，以嘗試校正可能導因於有缺陷的相機感測器(例如，有缺陷的光感測器完全不會感測光、不正確地感測光、等等)之一或更多的檢索影像中的壞像素。在某些實施例中，BPC模組420藉由比較影像中的特定像素與影像中的一或更多鄰近像素以偵測壞像素。假使特定像素的值與鄰近像素的值之間的差大於臨界量，則特定像素的值由具有與特定像素相同顏色(亦即，紅、綠、及藍)的數個鄰近像素值的平均值取代。
BPC模組420的操作由儲存於CIPU 400的二組暫存器470中用於此模組的值部份地控制。具體而言，為了處理由裝置的二不同相機捕捉的影像，如上所述般，某些實施例為每一相機不同地規劃CIPU處理管道485。藉由將二不同組的值儲存於CIPU 400的二不同組暫存器470a(Ra)和470b(Rb)中，而為二不同的相機規劃CIPU處理管道485。每一組暫存器470包含用於CPU處理管道485之內的模組420-460中的每一模組之一暫存器(Ra或Rb)。每一組暫存器中的每一暫存器儲存界定一處理管道模組的操作之值組。因此，如圖4所示，暫存器組470a用於標示用於雙相機行動裝置的一相機(相機A)之每一處理管道模組，而暫存器組470b用於標示雙相機行動裝置的另一相機(相機B)之每一模組的操作模式。
為每一相機不同地規劃CIPU處理管道485的一實施例是將CIPU處理管道485的模組規劃成處理不同尺寸的影像。舉例而言，假使相機感測器405a是640x480像素以及相機感測器405b是2048x1536像素，則暫存器組470a被規劃成用於儲存指令CIPU處理管道485的模組去處理640x480像素影像的值以及暫存器組470b被規劃成用於儲存指令CIPU處理管道485的模組去處理2048x1536像素影像的值。
在某些實施例中，不同的處理管道規劃(亦即，暫存器值)儲存於不同的輪廓設定中。在這些實施例中的某些實施例中，允許行動裝置的使用者選取輪廓設定之一(例如，經由顯示於行動裝置上的使用者介面)以設定相機的操作。舉例而言，使用者可以選取用於將相機規劃成捕捉高解析度視訊的輪廓設定、用於將同一相機規劃成捕捉低解析度視訊的輪廓設定、或是用於將二相機規劃成捕捉高解析度靜態影像的輪廓設定。不同的規劃是可能的，它們可以被儲存於很多不同的輪廓設定中。在這些實施例中的其它實施例中，取代允許使用者選取輪廓設定，而根據使用者選取的應用或活動，自動地選取輪廓設定。舉例而言，假使使用者選取視訊會議應用時，則自動地選取將二相機規劃成捕捉視訊之輪廓，假使使用者選取拍照應用時，則自動地選取將相機之一規劃成捕捉靜態影像的輪廓、等等。
在BPC模組420之後，LS模組425接收壞像素經過校正的影像。LS模組425執行透鏡陰影校正操作，以校正相機鏡頭所造成的產生光下降效應(亦即，光朝向相機感測器的邊緣降低)的影像缺陷。此效應造成影像被不均勻地照明(例如，在角落及/或邊緣較暗)。為了校正這些影像缺陷，某些實施例的LS模組425評估透鏡照明下降的數學模式。經過評估的模型接著用於補償影像的透鏡下降以均勻地照明影像被不均勻地照明的部份。舉例而言，假使影像的角落是影像的中心的亮度的一半時，則某些實施例的LS模組425將角落像素值乘以二，以產生均勻影像。
去馬賽克模組430執行去馬賽克操作，以從具有取樣的色彩之影像產生全彩影像。如上所述，相機感測器輸出拜耳圖案，由於拜耳圖案影像的每一像素僅儲存一色值，所以，這些拜耳圖案影像是不完全的。藉由將用於每一組色彩的色值插入於拜耳圖案影像中，去馬賽克模組430從拜耳圖案影像重建紅、綠、藍(RGB)影像。
WB模組435對從去馬賽克模組430收到的RGB影像執行白平衡操作，以致於影像內容的顏色類似於真實生活中人眼感覺到的此內容之色彩。藉由調整影像的色彩以正確地造成中性色彩(例如，灰色、白色、等等)，WB模組435調整白平衡。舉例而言，在白熱光下白色紙張的影像呈現黃色，但人眼是感覺到該紙張是白色的。為了考慮感測器捕捉的影像的顏色與人眼感覺到的顏色之間的差異，WB模組435調整影像的色值，以致於捕捉到的影像適當地反射人眼感覺到的顏色。
統計引擎465收集CIPU處理管道485的不同階段的影像資料。舉例而言，圖4顯示統計引擎465收集LS模組425、去馬賽克模組430、及WB模組435之後的影像資料。不同的實施例收集來自CIPU處理管道485的任何數目的不同階段之資料。統計引擎465處理收集到的資料，以及，根據經過處理的資料，經由控制器模組475及感測器模組415，調整相機感測器405a和405b的操作。這些操作的實施例包含曝光及聚焦。雖然圖4顯示經由控制器模組475以控制相機感測器405a和405b的統計引擎465，但是，統計引擎465的其它實施例可以僅經由感測器模組415而控制相機感測器。
經過處理的資料也可以用於調整CIPU 400的不同模組之操作。舉例而言，某些實施例的統計引擎465根據WB模組435之後收集的資料，調整WB模組435的操作。在這些實施例中的某些實施例中，藉由使用經過處理的資料以調整WB模組435的白平衡操作，統計引擎465提供自動白平衡(AWB)功能。其它實施例可以使用從CIPU處理管道485的任何數目的階段收集的經過處理之資料，以調整CIPU處理管道485之內的任何數目的模組之操作。此外，統計引擎465也可以從控制器模組475接收指令，以調整CIPU處理管道485之一或更多模組的操作。
在從WB模組435接收影像之後，伽瑪模組440對影像執行伽瑪校正操作，以將相機系統的亮度或三色值編碼及解碼。某些實施例的伽瑪模組440藉由將10-12位元線性訊號轉換成8位元非線性編碼以校正伽瑪，以便校正影像的伽瑪。某些實施例藉由使用查詢表以校正伽瑪。
CSC模組445將從伽瑪模組440接收的影像從一色域轉換至另一色域。具體而言，CSC模組445將影像從RGB色域轉換至亮度及色度(YUV)色域。但是，CSC模組445的其它實施例可以從任何數目的色域轉換影像以及將影像轉換至任何數目的色域。
HSC模組450可以調整從CSC模組445接收的影像之色彩、飽合度、對比、或其任何組合。舉例而言，HSC模組450可以調整這些特性以降低雜訊或增強影像。舉例而言，可以增加低雜訊相機感測器捕捉的影像之飽合度，以使影像更生動地呈現。相對地，由高雜訊相機感測器捕捉的影像之飽合度可以降低以減少這些影像的顏色雜訊。
在HSC模組450之後，比例器模組455可以改變影像尺寸以調整影像的像素解析度或調整影像的資料尺寸。舉例而言，比例器模組455也可以降低影像的尺寸以適合較小的顯示。比例器模組455可以以不同方式來調整影像的比例。舉例而言，比例器模組455可以放大及縮小影像。比例器模組455也可以依比例調整影像的尺寸或不規則地調整影像。
過濾器模組460將一或更多過濾操作應用至從比例器模組455收到的影像，以改變影像的某些或全部像素的一或更多屬性。在其它實施例中，過濾器的實施例包含低通濾波器、高通濾波器、帶通濾波器、雙向濾波器、高斯濾波器。確切而言，過濾器模組460可以將任何數目的不同過濾器應用至影像。
某些實施例的控制器模組475是控制CIPU 400的操作之微控制器。在某些實施例中，控制器模組475(1)經由感測器模組415以控制相機感測器的操作(例如，曝光程度)、(2)控制CIPU處理管道485的操作、(3)CIPU處理管道485的時序(例如，何時切換相機感測器、何時切換暫存器、等等)、以及(4)控制某些實施例的雙相機行動裝置的部份之閃光燈/閃燈(未顯示)。
控制器模組475的某些實施例處理從統計引擎465和CIPU驅動器480收到的指令。在某些實施例中，從CIPU驅動器480收到的指令是來自雙相機行動裝置的指令(亦即，自本地裝置收到)，而在其它實施例中，從CIPU驅動器480收到的指令是來自另一裝置(例如，視訊會議期間的遠端控制)。根據經過處理的指令，控制器模組475可以藉由編程暫存器470的值而調整CIPU 400的操作。此外，在CIPU 400的操作期間，控制器模組475可以動態地再編程暫存器470的值。
如圖4所示，CIPU 400包含CIPU處理管道485中的一些模組。但是，習於此技藝者將瞭解可以由正好一些顯示的模組或增加的及不同的模組來實施CIPU 400。此外，由不同的模組執行的處理可以應用至不同於圖4中所示的序列之序列中的影像。
現在將參考圖4，說明CIPU 400的舉例說明的操作。為了說明，暫存器組Ra用於處理雙相機行動裝置的相機感測器405a捕捉的影像，以及，暫存器組Rb用於處理雙相機行動裝置的相機感測器405b捕捉的影像。控制器模組475從CIPU驅動器480接收指令以產生雙相機行動裝置的相機之一捕捉的影像。
然後，控制器模組475初始化CIPU處理管道485的不同模組，以處理雙相機行動裝置的相機之一捕捉的影像。在某些實施例中，這包含控制器模組475檢查暫存器470的正確暫存器組是否被使用。舉例而言，假使CIPU驅動器480指令控制器模組475產生相機感測器405a捕捉的影像時，控制器模組475檢查暫存器組Ra是否為CIPU 400的模組所讀取的暫存器組。假使為否，則控制器模組475在暫存器組之間切換，以致於暫存器組Ra是由CIPU 400的模組讀取的組。
對CIPU處理管道485中的每一模組，操作的模式由儲存於暫存器組Ra中的值標示。如同先前所述般，在CIPU 400操作期間，暫存器組470中的值可以被動態地再編程。如此，一影像的處理可以與下一影像的處理不同。雖然此舉例說明之CIPU 400的操作說明CIPU 400中的每一模組讀取儲存於暫存器中的值以標示模組的操作模式，但是，在某些軟體實施的實施例中，取代地傳送參數至CIPU 400的不同模組。
在某些實施例中，在從像素陣列410a中檢索影像之後，藉由指令感測器模組415延遲特定時間量，控制器模組475初始化感測器模組415。換言之，控制器模組475指令感測器模組415以特定速率從像素陣列410a中檢索影像。
接著，控制器模組475經由感測器模組415來指令相機感測器405a。在某些實施例中，控制器模組475也提供曝光及其它相機操作參數給相機感測器405a。在其它實施例中，相機感測器405a以內定值用於相機感測器操作參數。根據參數，相機感測器405a捕捉原始影像，原始影像儲存於像素陣列410a中。感測器模組415從像素陣列410a中檢索原始影像，以及，在CIPU處理管道485處理影像之前，傳送影像至線/框緩衝器417，用於儲存。
在某些情形中，影像可以由線/框緩衝器417丟棄。當相機感測器405a及/或405b正以高速率捕捉影像時，感測器模組415可以比BPC模組420從線/框緩衝器417檢索影像(例如捕捉高框速視訊)還要快地接收及儲存影像於線/框緩衝器417中，以及線/框緩衝器417將變滿。當此發生時，某些實施例的線/框緩衝器417根據先進先出原則而丟棄影像(亦即，框)。亦即，當線/框緩衝器417丟棄影像時，線/框緩衝器417丟棄線/框緩衝器417中所有其它的影像之前接收的影像。
CIPU處理管道485執行的影像處理始於BPC模組420，從線/框緩衝器417檢索影像以校正影像中任何壞像素。然後，BPC模組420將影像傳送至LS模組425以校正影像中任何不均勻的照明。在影像的照明被校正之後，LS模組425將影像傳送至去馬賽克模組430，其中，其處理原始影像以從原始影像產生RGB影像。接著，WB模組435從去馬賽克模組430接收RGB影像以及調整RGB影像的白平衡。
如上所述，統計引擎465可以在CIPU處理管道485的不同點收集一些資料。舉例而言，如圖4所示，統計引擎465收集LS模組425、去馬賽克模組430、及WB模組435之後的資料。根據收集的資料，統計引擎465可以調整相機感測器405a的操作、CIPU處理管道485中的一或更多模組的操作、或二者，以調整從相機感測器405a之後續影像的捕捉。舉例而言，根據收集的資料，統計引擎465可以決定目前影像的曝光程度是否太低並因而經由感測器模組415來指令相機感測器405a以增加用於後續捕捉的影像之曝光程度。因此，對於某些處理操作，某些實施例的統計引擎465如回饋迴路般操作。
在WB模組435調整影像的白平衡之後，其將影像傳送至伽瑪模組440以用於伽瑪校正(例如，調整影像的伽瑪曲線)。CSC模組445從伽瑪模組440接收經過伽瑪校正的影像以及執行色域轉換。在本實施例中，CSC模組445將RGB影像轉換成YUV影像。換言之，CSC模組445將以RGB色域表示的影像轉換成以YUV色域表示的影像。HSC模組450從CSC模組445接收YUV影像以及調整影像中不同像素的色彩、飽合度、對比屬性。在HSC模組450之後，比例器模組455改變影像的尺寸(例如，放大或縮小影像)。在從比例器模組455接收影像之後，過濾器模組460將一或更多過濾器應用至影像。最後，過濾器模組460將經過處理的影像傳送至CIPU驅動器480。
在上述CIPU 400的操作實施例中，CIPU處理管道485中的每一模組以相同方式處理影像。但是，由CIPU 400處理的其它影像可能不會要求由CIPU處理管道485的所有模組執行的處理。舉例而言，影像不要求白平衡、伽瑪校正、調整比例、或過濾。確切而言，CIPU 400可以根據例如來自CIPU驅動器480的指令或由統計引擎465收集的資料等不同的收到的輸入，以任何次數的方式，處理影像。
不同的實施例不同地控制影像受處理的速率(亦即，框速率)。控制框速率的一方式是藉由操控垂直閃爍間隔(VBI)。對於檢索影像線以逐線地處理影像之某些實施例而言，VBI是在從像素陣列中檢索雙相機行動裝置的相機所捕捉之視訊的影像的最後一線與從像素陣列中檢索視訊的下一影像之第一線之間的時間差。在其它實施例中，VBI是在從像素陣列中檢索雙相機行動裝置的相機所捕捉之視訊的一影像與從像素陣列中檢索視訊的下一影像之間的時間差。
可以使用VBI的一實施例是在感測器模組415與像素陣列410a和410b之間。舉例而言，感測器模組415的某些實施例逐線地從像素陣列410a和410b中檢索影像，而感測器模組415的其它實施例以一影像接一影像為基礎而從像素陣列410a和410b中檢索影像。如此，藉由調整VBI感測器模組415可以控制框速率：增加VBI可以降低框速率，降低VBI可以增加框速率。
1.　VBI用於單一相機：框速率控制
圖5概念地顯示根據不同的VBI之不同的框速率505、510、及515的實施例。每一序列均顯示在時間線520之不同時刻525-555由雙相機行動裝置的相機之一所捕捉的持有吉他的人之影像。此外，每一時刻525-555之間的時間是相冋的且將被稱為一時間單元。為了說明，現在參考圖4的感測器模組415和像素陣列410a，說明圖5。確切而言，每一影像代表感測器模組415從像素陣列410a中檢索影像時在時間線520的時刻。
在舉例說明的框速率505中，用於像素陣列410a的感測器模組415之VBI被設定為三個時間單元(例如，由控制器模組475設定)。亦即，延著時間線520，每隔三時刻，感測器模組415從像素陣列410a中檢索影像。如同舉例說明的框速率505中所示般，感測器模組415在時刻525、540、及555檢索影像。因此，舉例說明的框速率505具有每三個時間單元一影像的框速率。
舉例說明的框速率510類似於舉例說明的框速率505，但是，VBI被設為二個時間單元除外。因此，延著時間線520，每隔二時刻，感測器模組415從像素陣列410a中檢索影像。舉例說明的框速率510顯示感測器模組415在時刻525、535、545、及555，從像素陣列410a檢索影像。由於舉例說明的框速率510的VBI小於舉例說明的框速率505的VBI，所以，舉例說明的框速率510的框速率高於舉例說明的框速率505的框速率。
舉例說明的框速率515也類似於舉例說明的框速率505，但是，用於像素陣列410a的感測器模組415的VBI被設為一個時間單元除外。因此，感測器模組415被指令而在時間線520上的每一時刻從像素陣列410a中檢索影像。如同所示，在時刻525-555，感測器模組415從像素陣列410a中檢索影像。舉例說明的框速率515的VBI小於舉例說明的框速率505和510的VBI。因此，舉例說明的框速率515的框速率高於舉例說明的框速率505和510的框速率。
2.　以VBI用於二相機
某些實施例可能希望同時操作雙相機行動裝置的二相機(例如，在視訊會議期間從二相機傳送視訊)。包含單一處理管道的雙相機行動裝置的不同實施例提供不同的機制以用於同時地操作雙相機行動裝置的二相機。
一此機制是藉由控制每一相機的VBI以插入二相機捕捉的影像之處理。亦即，在另一相機的VBI期間，由一相機捕捉的一或更多影像被捕捉及處理。由於上述CIPU 400具有單一處理管道485，所以，此機制可以在某些實施例的CIPU 400中實施。在這些實施例中，感測器模組415從像素陣列410a和410b之一中檢索影像，以及，在用於其它像素陣列的感測器模組415的VBI期間，由CIPU 400處理檢索到的影像。
用於每一像素陣列的感測器模組415的VBI可以設定為特定值。但是，在某些實施例中，VBI未設定在小於CIPU 400檢索及處理一影像所耗費的時間之值。某些實施例將用於每一像素之感測器模組415的VBI設定於相同值。舉例而言，當用於每一像素陣列的感測器模組415的VBI設定於相同值時，感測器模組415從像素陣列410a和410b中交替地檢索影像。其它實施例將用於每一像素陣列的感測器模組415的VBI設定於不同值。在這些實施例中的一些實施例中，用於一像素陣列的感測器模組415的VBI設定為用於其它像素陣列的感測器模組415的VBI的數倍。舉例而言，用於一像素陣列的感測器模組415的VBI設定為2時間單元，而用於另一像素陣列的感測器模組415的VBI設定為4時間單元。在本實例中，對於感測器模組415從其它像素陣列中檢索的每一影像，感測器模組415從一像素陣列檢索二影像。
圖6概念地顯示根據不同的VBI之不同的插入框速率605、610、及615。圖6類似於圖5，但是圖6包含延著時間線620上的十三個時刻625-685除外。此外，持有吉他的人的影像代表從一像素陣列檢索所述影像時的時間線620上的時刻，而戴著學位帽(亦即，方帽)的人之影像代表從其它像素陣列檢索所述影像時的時間線620上的時刻。
為了說明，假定持有吉他的人員的影像是由雙相機行動裝置的相機感測器405a所捕捉，假定戴著學位帽的人之影像由雙相機行動裝置的相機感測器405b所捕捉。此外，現在將參考圖4的感測器模組415和像素陣列410a和410b，說明圖6。
在舉例說明的插入框速率605中，用於像素陣列410a和像素陣列410b等二者的感測器模組415的VBI設定為二時間單元。如同舉例說明的插入框速率605中所示般，在延著時間線620之時刻625、635、645、655、665、675、及685，感測器模組415從像素陣列410a檢索影像，以及，在延著時間線620之時刻630、640、650、660、670、及680，感測器模組415從像素陣列410b檢索影像。亦即，每一時間單元，感測器模組415交替地從像素陣列中檢索影像。
舉例說明的插入框速率610類似於舉例說明的插入框速率605，但是用於像素陣列410a和像素陣列410b等二者的感測器模組415的VBI設定為四時間單元除外。舉例說明的插入框速率610顯示在延著時間線620之時刻625、645、665及685，感測器模組415從像素陣列410a檢索影像，以及，在延著時間線620之時刻635、655、及675，感測器模組415從像素陣列410b檢索影像。由於舉例說明的插入框速率610的VBI大於舉例說明的插入框速率605的VBI，所以，舉例說明的插入框速率610的框速率低於舉例說明的插入框速率605的框速率。
舉例說明的插入框速率615也類似於舉例說明的插入框速率605，但是用於像素陣列410a和像素陣列410b等二者的感測器模組415的VBI設定為六時間單元除外。如圖6所示，在延著時間線620之時刻625、655及685，感測器模組415從像素陣列410a檢索影像，以及，在延著時間線620之時刻640及670，感測器模組415從像素陣列410b檢索影像。舉例說明的插入框速率615的VBI大於舉例說明的插入框速率605和610的VBI。因此，舉例說明的插入框速率615的框速率低於舉例說明的插入框速率605和610。
B.　多管道
圖7概念地顯示某些實施例的另一捕捉影像處理單元(CIPU)700。CIPU 700執行與上述CIPU 400相同的功能，但是，CIPU 700由二前端處理管道、儲存器、及後端處理管道實施而非由單一處理管道實施。確切而言，將藉由參考CIPU 400的模組，說明CIPU 700的功能。
如同所示，CIPU 700包含用於相機感測器405a和像素陣列410a的前端處理管道715、用於相機感測器405b和像素陣列410b的前端處理管道720、儲存器725、控制器模組730、及後端處理管道735。某些實施例的相機感測器405a和405b是雙相機行動裝置的相機的感測器。
某些實施例的前端處理管道715和720執行CIPU 400的影像處理的一部份。確切而言，不同的實施例可以包含CIPU 400的不同數目的模組。舉例而言，某些實施例的前端處理管道715和720均包含CIPU 400的感測器模組415、BPC模組420、LS模組425、去馬賽克模組430、WB模組435、及統計引擎465。
雖然前端處理管道715和720藉由具有相同的模組而執行相同型式的影像處理，但是，如同關於CIPU 400的上述說明所述般，經由不同的暫存器值，不同地規劃前端處理管道715和720中每一者的每一模組。此外，由於相機感測器405a和405b中的每一者具有其自己的前端處理管道，所以，前端處理管道715和720可以彼此獨立地處理影像。舉例而言，前端處理管道715和720可以在不同時間及以不同速率、平行地(亦即，同時)處理影像。
在某些實施例中，前端處理管道715和720中的每一者可以從其對應的相機感測器及像素陣列中檢索影像。舉例而言，前端處理管道715從像素陣列410a中檢索相機感測器405a所捕捉的影像，前端處理管道720從像素陣列410b中檢索相機感測器405b所捕捉的影像。當前端處理管道715及720之一從其對應的相機感測器和像素陣列中檢索影像時，該前端處理管道處理影像及將經過處理的影像傳送至儲存器725。如上所述，前端處理管道715和720中的每一者也均與控制器模組730通訊(例如，經由每一前端處理管道的統計引擎)。
某些實施例的儲存器725儲存用於後端處理管道735的部份經過處理的影像以完成處理。在這些實施例中，儲存器725從前端處理管道715和720接收部份經過處理的影像以及將部份經過處理的影像傳送至後端處理管道735。某些實施例以揮發性儲存器(例如，隨機存取記憶體(RAM))來實施儲存器725，而其它實施例以非揮發性儲存器(例如，快閃記憶體、硬碟、光碟、等等)來實施儲存器725。此外，某些實施例的儲存器725是內部儲存器(例如，RAM)，而其它實施例的儲存器725是外部儲存器(例如，小型快閃(CF)記憶卡、安全數位(SD)卡、等等)。
後端處理管道735的某些實施例執行CIPU 700的影像處理之一部份。在某些實施例中，後端處理管道735包含前端處理管道715和720未包含之CIPU 400的模組。舉例而言，參考上述實施例，後端處理管道735將包含CIPU 400的CSC模組445、伽瑪模組440、HSC模組450、比例器模組455、及過濾器模組460。如此，這些實施例的後端處理管道735執行前端處理管道715和720未執行之CIPU 400的其餘影像處理。因此，後端處理管道735從儲存器725中檢索部份處理的影像以及執行對所述部份處理的影像執行其餘的影像處理。在處理影像之後，後端處理管道735將經過處理的影像傳送至CIPU驅動器480。
控制器模組730執行與上述參考圖4所述的功能相同的功能。如圖7所示，控制器模組730與前端處理管道715和720以及後端處理管道735互相反應。在某些實施例中，控制器模組730包含於後端處理模組735中，而在其它實施例中，控制器模組730包含於前端處理管道715和720之一中。
現在將參考圖7中所示的相機感測器405a和405b、像素陣列410a和410b、前端處理管道715和720、儲存器725、及後端處理管道735，說明CIPU 700的操作。當前端處理管道715和720之一從其對應的相機感測器和像素陣列中檢索影像時，前端處理管道處理影像及將部份處理的影像傳送至儲存器725。舉例而言，前端處理管道715可以從像素陣列410a中檢索相機感測器405a所捕捉的影像，或者，前端處理管道720可以從像素陣列410b中檢索相機感測器405b所捕捉的影像。如上所述，每一前端處理管道715和720可以平行地處理影像。
後端處理管道735從儲存器725中檢索部份處理的影像以及處理部份處理的影像以完成影像的影像處理。在某些實施例中，後端處理管道735依先進先出為基礎而檢索及處理儲存於儲存器725中的影像。換言之，在特定影像之前的收到的且儲存於儲存器725中的所有影像之後，處理儲存器725中的特定影像，但是，在特定影像之後收到的且儲存於儲存器725中的影像之前，處理特定影像。在後端處理管道735處理影像之後，其將處理過的影像傳送至CIPU驅動器480。
圖8概念地顯示某些實施例的另一捕捉影像處理單元(CIPU) 800。CIPU 800執行與上述CIPU 400相同的功能，但是CIPU 800由二分別的處理管道實施而以每一相機感測器具有它自己分開的處理管道。確切而言，將參考CIPU 400的模組，說明CIPU 800的功能。
如同所示，CIPU 800包含用於相機感測器405a和像素陣列410a的處理管道815以及用於相機感測器405b和像素陣列410b的處理管道820。某些實施例的處理管道815和820中的每一者包含包括於CIPU 400中的所有模組。因此，這些實施例的處理管道815和820中的每一者的操作與CIPU 400的操作相同。
由於相機感測器405a和405b中的每一者具有其自己的處理管道，所以，處理管道815和820可以彼此獨立地處理影像。舉例而言，處理管道815和820可以在不同時間及以不同速率、平行地(亦即，同時)處理影像。此外，如同參考CIPU 400之上述所述般，可以經由不同的暫存器值而不同地規劃某些實施例的處理管道815和820中的每一者。
在某些實施例中，CIPU 400的一些模組包含一或更多線/框緩衝器，用於執行某些或全部模組的操作。舉例而言，實施某些實施例的過濾器模組460以執行3x3低通過濾。在這些實施例中，3x3低通濾波器處理影像中的三連續線，以便將3x3低通濾波器應用於三連續線的中間線上。如此，這些實施例的過濾器模組460要求至少三線/框緩衝器，以便執行3x3低通過濾。舉例而言，類似於BPC模組420及LS模組425，CIPU 400中的其它模組也包含一或更多線/框緩衝器。
CIPU 800的處理管道可以均具有不同的線/框緩衝器尺寸，以便將影像處理依其對應相機的特徵製作。舉例而言，假使雙相機行動裝置的一相機具有2048x1500像素感測器，則2048x1500像素感測器的處理管道可以包含2048像素寬的線/框緩衝器。類似地，假使雙相機行動裝置的其它相機具有640x480像素感測器，則640x480像素感測器可以包含640像素寬的線/框緩衝器。亦即，包含於一處理管道的模組中之線/框緩衝器的大小可以不同於包含於另一處理管道的模組中線/框緩衝器的大小。
III.　視訊會議
A. 視訊會議架構
圖9概念地顯示某些實施例的雙相機行動裝置之視訊會議及處理模組900的軟體架構。視訊會議及處理模組900包含CIPU驅動器905、媒體交換模組910、及編碼器驅動器920，它們類似於參考圖3之上述所述之對應的模組及驅動器305、310、及320。視訊會議及處理模組900也包含視訊會議模組925、視訊會議客戶端945、及網路介面950，用於執行各式各樣的視訊會議功能。類似於視訊會議及編碼模組300，視訊會議及編碼模組900處理及編碼從雙相機行動裝置的相機捕捉的影像。
如同參考圖3之上述所述般，媒體交換模組910允許裝置中媒體內容的消費者及製造者交換媒體內容以及與媒體內容的處理有關的指令，CIPU驅動器905作為與捕捉影像處理單元(CIPU) 955的通訊介面，編碼器驅動器920作為與編碼器硬體960的通訊介面(例如，編碼器晶片、系統晶片上的編碼元件、等等)。
某些實施例的視訊會議模組925處理例如影像處理、視訊會議管理、及網路化等不同視訊會議功能。如同所示，視訊會議模組925與媒體交換模組910、視訊會議客戶端945、及網路介面950交互作用。在某些實施例中，視訊會議模組925對視訊會議客戶端945接收及傳送指令。經由網路介面950，某些實施例的視訊會議模組925也對網路(例如，區域網路(LAN)、無線區域網路(WLAN)、廣域網路(WAN)、網路的網路、分碼多重存取(CDMA)網路、GSM網路、等等)傳送及接收資料。
視訊會議模組925包含影像處理層930、管理層935、及網路層940。在某些實施例中，影像處理層930對用於視訊會議的影像執行影像處理。舉例而言，如同下述進一步說明般，某些實施例的影像處理層930執行曝光調整、影像尺寸變化、透視校正、及動態範圍調整。為了來自CIPU 955的影像，某些實施例的影像處理層930經由媒體交換模組910傳送請求。
某些實施例的管理層935控制視訊會議模組925的操作。舉例而言，在某些實施例中，管理層935初始化雙相機行動裝置的一相機/複數相機、處理要傳送至遠端裝置的影像及音視、以及處理接收自遠端裝置的影像和視訊。在某些實施例中，管理層935產生用於裝置的合成(亦即，PIP)顯示。此外，管理層935可以根據自網路層940接收的網路報告，改變視訊會議模組925的操作。
在某些實施例中，網路層940執行某些或全部視訊會議的網路功能。舉例而言，如下所述般，在其它功能之中，某些實施例的網路層940在雙相機行動裝置與視訊會議的遠端裝置之間建立網路連接(未顯示)、傳送訊息至遠端裝置、及從遠端裝置接收影像。此外，網路層940接收其它型式的資料之中例如分封遺失、單向潛伏、及來回延遲時間等網路資料、處理此類資料、及將資料回報給管理層935。
某些實施例的視訊會議端945是可以使用例如視訊會議應用、網路電話(VOIP)(例如Skype)應用、或是瞬間發訊應用等視訊會議模組925的視訊會議功能之應用。在某些實施例中，視訊會議客戶端945是獨立的應用，而在其它實施例中，視訊會議客戶端945整合於另一應用中。
在某些實施例中，網路介面950是通訊介面，允許視訊會議模組925及視訊會議客戶端945經由網路介面950而在網路上(例如行動電話網路、區域網路、無線網路、網路中的網路、網際網路、等等)傳送及接收資料。舉例而言，假使視訊會議模組925要傳送資料(例如，雙相機行動裝置的相機所捕捉的影像)至網際網路上的另一裝置時，則視訊會議模組925經由網路介面950傳送影像至其它裝置。
B.　視訊會議建立
圖10概念地顯示某些實施例之舉例說明的視訊會議請求發訊序列1000。此圖顯示裝置1005上執行的視訊會議客戶端1010、視訊會議伺服器1015、及裝置1020上執行的視訊會議客戶端1025之間的視訊會議請求發訊序列1000。在某些實施例中，視訊會議客戶端1010及1025與圖9中所示的視訊會議客戶端945相同。如圖10所示，一裝置(亦即，裝置1005)請求視訊會議，而另一裝置(亦即，裝置1020)回應此請求。本申請案中揭示的雙相機行動裝置可以執行二操作(亦即，產生請求及回應請求)。
某些實施例的視訊會議伺服器1015安排訊息在視訊會議客戶端之間的路徑。雖然某些實施例在一計算裝置上實施視訊會議伺服器1015，但是，其它實施例在多個計算裝置上實施視訊會議伺服器1015。在某些實施例中，視訊會議伺服器是公用可存取伺服器，其可以對多個會議一次處理及安排訊息路徑。某些實施例的視訊會議客戶端1010和1025中的每一者經由例如上述網路介面950等網路介面而於網路上(例如，行動電話網路、區域網路、無線網路、網路中的網路、網際網路、等等)與視訊會議伺服器1015通訊。
當視訊會議客戶端1010從裝置1005的使用者接收(在操作1)請求以啟動與裝置1020的視訊會議時，某些實施例的視訊會議請求發訊序列1000啟動。當裝置1005的使用者選取顯示於裝置1005上的使用者介面之使用者介面(UI)選項時，某些實施例的視訊會議客戶端1010接收啟動視訊會議的請求。圖11及圖14顯示下述將說明之這些使用者介面的實施例。
在視訊會議客戶端1010接收請求之後，視訊會議客戶端1010送出(在操作2)視訊會議請求至視訊會議伺服器1015，所述視訊會議請求根據來自使用者的輸入，將裝置1020標示為接收方。視訊會議伺服器1015發送(在操作3)視訊會議請求給裝置1020的視訊會議客戶端1025。在某些實施例中，視訊會議伺服器1015使用推技術以將視訊會議請求發送至視訊會議客戶端1025。亦即，視訊會議伺服器1015從視訊會議客戶端1010接收時即啟始對視訊會議客戶端1025的視訊會議請求之傳輸，而非等待客戶端1025發送用於任何訊號的請求。
當某些實施例的視訊會議客戶端1025接收視訊會議請求時，使用者介面顯示於裝置1020上以對裝置1020的使用者標示裝置1005的使用者傳送啟動視訊會議的請求以及提示裝置1020的使用者接收或拒絕視訊會議請求。下述將說明之此使用者介面的實施例顯示於圖12中。在某些實施例中，當視訊會議客戶端1025接收(在操作4)接受來自裝置1005的使用者的視訊會議請求之請求時，視訊會議客戶端1025送出(在操作5)視訊會議接受給視訊會議伺服器1015。舉例而言，當裝置1020的使用者選取如圖12中所示的使用者介面之使用者介面選項時，某些實施例的視訊會議客戶端1025接收接受視訊會議請求之請求。
在視訊會議伺服器1015接收來自視訊會議客戶端1025的視訊會議接受之後，視訊會議伺服器1015將視訊會議接受發送(在操作6)給視訊會議客戶端1010。視訊會議伺服器1015的某些實施例使用上述推技術而將視訊會議接受發送至視訊會議客戶端1010。
在收到視訊會議接受時，某些實施例在裝置1005與裝置1020之間建立(在操作7)視訊會議。不同的實施例不同地建立視訊會議。舉例而言，某些實施例的視訊會議建立包含協商裝置1005與裝置1020之間的連接、決定將視訊編碼的位元速率、及在裝置1005與裝置1020之間交換視訊。
在上述實施例中，裝置1020的使用者接受視訊會議請求。在某些實施例中，裝置1020可以被規劃(例如，經由裝置的偏好設定)成自動地接受進入的視訊會議請求而不顯示UI。此外，裝置1020的使用者也可以拒絕(在操作4)視訊會議請求(例如，藉由選取顯示於裝置1020上的使用者介面之使用者介面選項)。取代送出視訊會議接受，視訊會議客戶端1025將視訊會議拒絕送至視訊會議伺服器1015，視訊會議伺服器1015將視訊會議拒絕發送至視訊會議客戶端1010。然後，絕不建立視訊會議。
1.　視訊會議建立使用者介面
在某些實施例中，根據進入的電話呼叫，啟始視訊會議。亦即，當行動裝置的使用者與第二使用者進行電話呼叫時，使用者可以根據另一方的允許而將電話呼叫轉成視訊會議。對於本發明的某些實施例，圖11顯示由雙相機行動裝置1100執行之此視訊會議的啟動。此圖式以裝置1100的使用者介面(UI)1105之五個操作階段1110、1115、1120、1125、及1130的觀點來顯示視訊會議的啟動。
如圖11所示，UI 1105包含名稱欄1135、選單1140、及可選取的UI選項1145。名稱欄1135顯示電話呼叫的另一端上人員的名稱，使用者要對其提出視訊會議請求。在本實施例中，可選取的UI選項1145(可以以可選取按鍵實施)提供可選取的結束呼叫選項以供使用者結束電話呼叫。選單1140顯示可選取的UI選項之選單，例如，Speakerphone(擴音)選項1142、Mute(靜音)選項1144、Keypad(鍵盤)選項1146、Phonebook(電話簿)選項1148、Hold(保留)選項1152、Video Conference(視訊會議)選項1154、等等。不同的實施例不同地顯示選單。對於圖11所示的實施例，選單1140包含數個尺寸相同的圖像，每一圖像代表不同的操作。其它實施例提供可捲動選單、或是給予特定選項優先(例如，使這些選項更大)。
現在，將參考圖11中所示的五個階段1110、1115、1120、1125、及1130期間此UI的狀態，說明UI 1105的操作。在第一階段1110中，已在手持行動裝置使用者與Nancy Jones(南西瓊斯)之間已建立電話呼叫。在使用者選取可選取的視訊會議選項1154(例如，經由手指1150之單指觸動)以致動視訊會議工具之後，第二階段1115顯示UI 1105。在本實施例中，視訊會議選項1154(可以以可選取的圖像實施)允許使用者在電話呼叫期間啟動視訊會議。在第二階段中，視訊會議選項1154被凸顯以標示視訊會議工具已被啟動。不同的實施例可以以不同的方式(例如，藉由凸顯選項的邊界或文字)來標示此選取。
在裝置1100藉由選取視訊會議選項1154以啟動視訊會議處理之後，第三階段1120顯示UI 1105。第三階段是當裝置等待視訊會議建立時(例如，當裝置等待呼叫的另一端上的裝置接受或拒絕視訊會議時)的轉換保留階段。在第三階段1120中，當正在建立視訊會議連接時，裝置1100的使用者仍然可以與其它裝置(亦即，Nancy Jones(南西瓊斯))的使用者談話。此外，藉由選取用於取消視訊會議請求的顯示於UI 1105上的可選取的UI選項(未顯示)，某些實施例允許裝置1100的使用者在第三階段1120中取消視訊會議請求。在此保留階段期間，不同的實施例在UI 1105中使用不同的顯示以標示等待狀態。
如圖11所示，在某些實施例中，以裝置1100正捕捉的視訊之全螢幕顯示與此視訊的底部之「Preview(預覽)」標記一起顯示第三階段的等待狀態。具體而言，在圖11中，第三階段1120顯示視訊會議處理的啟動，其藉由在UI 1105的顯示區1160中顯示裝置的相機正捕捉的視訊之全螢幕顯示。在某些實施例中，前相機是在視訊會議啟動時由裝置選取的內定相機。通常，在視訊會議啟動時，此前相機指向裝置的使用者。因此，在圖11中所示的實施例中，第三階段1120顯示代表裝置1100的使用者的全螢幕視訊之裝置1100。在第三階段1120期間，以出現於顯示區1160中的視訊之下的「Preview」指示1165，來進一步凸顯裝置的等待狀態。
在某些實施例中可以不同地表示轉換第三保留階段1120。舉例而言，某些實施例允許裝置1100的使用者選取後相機作為用於啟動視訊會議的相機。為了允許此選取，某些實施例允許使用者指明(例如，經由選單偏好設定)後相機作為用於視訊會議的啟動之內定相機，及/或在使用者選取Video Conference選項1154之後允許使用者從顯示後及前相機的選單中選取後相機。在這些情形中的任一情形中，UI 1105(例如，顯示區1160)顯示第三保留階段1120期間由後相機捕捉的視訊。
而且，其它實施例可以藉由顯示裝置1100捕捉的視訊之較小版本、藉由顯示儲存於裝置1100上的靜態影像、藉由提供訊息以凸顯裝置的等待狀態(例如，藉由顯示「Conference Being Established(會議建立中)」)、藉由未顯示「Preview(預覽)」指示、等等，以標示視訊會議工具的致動。而且，在第三階段1120中，某些實施例的UI 1105提供End按鍵(未顯示)以在使用者決定在此階段不進入視訊會議(例如，當使用者正等待遠端使用者回應他的請求時)時，允許使用者取消進入視訊會議及返回至電話呼叫。
在遠端使用者已接受視訊會議請求及視訊會議連接已建立之後，第四階段1125顯示轉換狀態中的UI 1105。在此轉換狀態中，如同箭頭1175所示般，顯示區域使用者的視訊(正由本實施例中前相機捕捉)之顯示區1160逐漸地降低尺寸(亦即，逐漸地縮小)。顯示區1160(亦即，本地使用者的視訊)縮小，以致於UI 1105可以顯示顯示區1170(例如，顯示視窗1170)，顯示區1170含有來自顯示區1160之後的遠端裝置的相機之視訊。換言之，本地使用者的視訊1160的縮小產生PIP顯示1180，PIP顯示1180具有本地使用者的視訊之前景嵌入顯示1160及遠端使用者的背景主顯示1170。在本實施例中，背景主顯示1170呈現正由遠端裝置的前相機捕捉之淑女的視訊(例如，Nancy Jones，遠端裝置的使用者)或是正由遠端裝置的後相機捕捉之淑女的視訊(例如，視訊正由Nancy Jones捕捉的淑女)。習於此技藝者將瞭解圖11中所示的轉換第四階段僅為某些實施例使用的一舉例說明的方式，以及，其它實施例可以使轉換的第四階段不同地以動畫作動。
第四階段1125也顯示下顯示區1155中的可選取的UI選項1132。可選取的UI選項1132(可以以可選取的按鍵實施)提供在PIP顯示1180之下的可選取的End Conference(結束會議)選項1132。使用者可以選取此End Conference選項1132以結束視訊會議(例如，經由單指碰觸)。不同的實施例可以允許使用者以不同方式結束會議，例如藉由雙態觸動行動裝置上的開關、藉由給予語音命令、等等。此外，在視訊會議期間，不同的實施例可以允許End Conference選項1132逐漸退出，藉以允許PIP顯示1180佔據整個顯示區1185。然後，End Conference選項1132在單指觸控顯示區1185的底部時重現，令使用者可以存取End Conference選項1132。在某些實施例中，顯示區1155的佈局與下述更詳細說明的顯示區1155相同。
在第四轉換狀態1125的動畫結束之後，第五階段1130顯示UI 1105。具體而言，第五階段1130顯示視訊會議期間由UI 1105呈現的PIP顯示1180。如上所述，此PIP顯示1180包含二視訊顯示：來自遠端相機的較大的背景顯示1170及來自本地相機的較小前景嵌入顯示1160。
此PIP顯示1180僅為呈現遠端及本地裝置捕捉的視訊的合成畫面之一方式。除了此合成畫面之外，某些實施例的裝置提供其它合成畫面。舉例而言，取代具有較大的遠端使用者的背景顯示1170，較大的背景顯示1170可以是本地使用者的以及遠端使用者的較小前景嵌入顯示1160。如同下述進一步說明般，某些實施例允許使用者在視訊會議期間於本地相機及/或遠端相機之間切換作為用於PIP顯示1180中的嵌入及主畫面的相機。
而且，某些實施例允許本地及遠端視訊出現在二個邊靠邊的顯示區中的UI 1105中(例如，左及右顯示視窗、或上及下顯示視窗)或是二個對角線對齊的顯示區。如同下述進一步說明般，在某些實施例中，經由裝置的偏好設定或經由視訊會議期間使用者可以選取的控制，PIP顯示的方式或內定顯示模式可以由使用者指定。
當圖11的裝置1100的使用者邀請遠端使用者參加視訊會議時，遠端使用者可以接受或拒絕邀請。圖12顯示在六個不同階段1210、1215、1220、1225、1230、及1235之遠端使用者的裝置1200的UI 1205，UI 1205顯示用於在遠端使用者的裝置呈現及接受視訊會議邀請的操作序列。下述UI 1205的說明將裝置1200的使用者(亦即，接收視訊會議請求的裝置)視為邀請方，以及，將裝置1100的使用者(亦即，傳送視訊會議請求的裝置)視為邀請提出者。而且，在本實施例中，假定邀請的接收方的裝置1200是雙相機行動裝置，類似邀請提出者的雙相機行動裝置。但是，在其它實施例中，這些裝置之一或二是單相機裝置。
第一階段1210顯示當邀請接收方接收來自邀請提出者John Smith(約翰史密斯)之視訊會議邀請時的UI 1205。如圖12所示，在此階段中的UI 1205包含名稱欄1235、訊息欄1240、及二可選取的UI選項1245和1250。名稱欄1235顯示正請求視訊會議的人員的名稱。在某些實施例中，名稱欄1235顯示正請求視訊會議的人員的電話號碼而非人員名稱。訊息欄1240顯示從邀請提出者至邀請接收方之邀請。在本實施例中，欄1240中的「Video Conference Invitation(視訊會議邀請)」標示邀請提出者正請求與邀請接收方舉行視訊會議。可選取的UI選項1245和1250(可以以可選取的按鍵來實施)提供可選取的Deny Request(拒絕邀請)和Accept Request(接受邀請)選項1245和1250給接收方以用於拒絕或接受邀請。不同的實施例可以不同地顯示這些選項及/或顯示其它選項。
在看到顯示於訊息欄1240中的「Video Conference Invitation(視訊會議邀請)」標示時，邀請接收方可以藉由選取UI中的Deny Request選項1245或者Accept Request選項1250而分別拒絕或接受請求。第二階段1215顯示在圖12中所示的實施例中，使用者選取Accept Request選項1250。在本實施例中，由使用者的手指碰觸Accept Request選項1250以作出此選取，以及，經由此選項1250的凸顯以標示此選取。在某些實施例中提出其它技術以選取Accept或Deny Request選項1245和1250(例如，二次碰觸、等等)來標示選取(例如，凸顯UI選項的邊界或文字)。
第三階段1220顯示邀請接收方已同意參加視訊會議之後的UI 1205。在本階段中，UI 1205進入預覽模式，預覽模式在顯示區1244中顯示來自遠端裝置的前相機之視訊的全螢幕顯示。在此情形中的前相機指向遠端裝置的使用者(亦即，在本實施例中的Nancy Jones)。因此，她的影像顯示於此預覽模式中。此預覽模式允許邀請接收方在視訊會議開始之前(例如在視訊的真正傳輸開始之前)確認她的視訊被適當地顯示及滿意她的外觀。在某些實施例中，例如「Preview」指示等指示可以顯示於顯示區1244之下以標示邀請的接收方是在預覽模式中。
如同下述進一步說明般，某些實施例允許邀請的接收方選取後相機作為用於視訊會議開始的內定相機、或是在視訊會議開始時選取前或後相機。而且，其它實施例不同地顯示邀請方的預覽顯示(例如，以置於顯示區1244的角落中的較小影像)。又有其它實施例未包含此預覽模式，而是在邀請接收方接受請求之後立即啟動視訊會議。
在第三階段中，UI 1205顯示二可選取的UI選項1275和1246，其中之一重疊顯示區1244，而另一者在此顯示區1244之下。可選取的UI選項1275是使用者可以選取以開始視訊會議的Accept按鍵1275。可選取的UI選項1246是End按鍵1246，假使接收方決定此階段不參加視訊會議時，則她可以選取End按鍵1246。
第四階段1255顯示邀請接收方選取Accept按鍵1275之後的UI 1205。在本實施例中，Accept按鍵1275被凸顯以標示邀請接收方準備好開始視訊會議。在其它實施例中，可以以不同方式標示此選取。
第五階段1230顯示在邀請接收方已接受視訊會議請求之後處於轉換狀態的UI 1205。在此轉換狀態中，如同箭頭1260所示般，顯示邀請接收方的視訊(亦即，在本實施例中正由前相機捕捉的視訊)的顯示區1244尺寸逐漸變小(亦即，逐漸縮小)。邀請接收方的視訊縮小，以致於UI 1205可以顯示顯示區1265(例如，顯示視窗1265)，顯示區1265含有來自顯示區1244後方的邀請請求者的相機之視訊。換言之，邀請接收方的視訊之縮小產生PIP顯示1280，PIP顯示1280具有邀請接收方視訊的前景嵌入顯示區1244及邀請請求者的背景主顯示1265。
在本實施例中，背景主顯示1265呈現視訊正由本地裝置的前相機捕捉的男士(亦即，John Smith，本地裝置1100的使用者)之視訊。在另一實施例中，此視訊可以是視訊正由本地裝置的後相機捕捉之男士的視訊(例如，其視訊正由John Smith捕捉的男士)。不同的實施例可以不同地動畫化此轉換的第五階段。
在第五階段1230的UI也顯示顯示區1155(例如，工具列或選單列)，顯示區1155包含用於在視訊會議期間使其它使用者的音訊靜音的可選取的UI選項1285(例如，靜音按鍵1285)、用於結束視訊會議的可選取的UI選項1287(例如，結束會議按鍵1287)、以及下述進一步說明的用於切換相機之可選取的UI選項1289(例如切換相機按鍵1289)。確切而言，在視訊會議期間，邀請接收方可以選取可選取的UI選項1285-1289中的任意選項(例如，經由單指碰觸)以執行所需的操作。不同的實施例可以允許邀請接收方以例如雙態觸動行動裝置上的開關、給予語音命令等不同方式來執行任何操作。
雖然圖12顯示用於顯示區1155的舉例說明的佈局，但是，某些實施例仍然提供例如圖11的顯示區1155的佈局等顯示區1155的不同佈局，顯示區1155的佈局僅包含可選取的End Conference UI選項1132以用於結束視訊會議。顯示區1155的其它佈局可以包含任何數目之用於執行不同功能的不同的可選取的UI選項。此外，第五階段1230顯示顯示於UI 1205的底部之顯示區1155。顯示區1155的不同實施例可以顯示在UI 1205之內的不同位置以及/或被界定為不同的形狀。
圖12顯示作為靜態顯示區的顯示區1155(亦即，一直顯示顯示區1155)。但是，在某些實施例中，顯示區1155是動態顯示區。在某些此類實施例中，平常不會顯示顯示區1155。但是，當接收觸發事件(例如碰觸顯示區1280一次、語音命令等使用者選取)時，顯示顯示區1155。可以由使用者經由視訊會議應用或行動裝置偏好設定來指定，在接收使用者選取(例如，選取可選取的靜音UI選項1285)或是界定的時間量(例如3秒)之後，顯示區1155消失。在某些此類實施例中，在視訊會議以同於上述的方式開始及消失之後，自動地顯示顯示區1155。
第六階段1235顯示第五轉換階段的動畫結束之後的UI 1205。具體而言，第六階段顯示視訊會議期間由UI 1205呈現的PIP顯示1280。如上所述，PIP顯示1280包含二視訊顯示：來自本地相機的較大背景顯示1265及來自遠端相機的較小前景嵌入顯示1244。此PIP顯示1280僅為呈現遠端和本地裝置正捕捉的視訊之合成畫面的一方式。除了此合成畫面之外，某些實施例的裝置提供其它合成的畫面。舉例而言，取代具有較大的邀請接收方之背景顯示，較大的背景顯示可為邀請的提出者，以及，邀請的接收方可為較小的前景嵌入顯示。如同下述進一步說明般，某些實施例允許使用者控制PIP顯示中的嵌入及主畫面以便可切換地顯示本地和遠端相機。而且，某些實施例允許本地及遠端視訊出現在二個邊靠邊的顯示區中的UI 1205中(例如，左及右顯示視窗、或上及下顯示視窗)或是二個對角線對齊的顯示區。如同下述進一步說明般，在某些實施例中，經由裝置的偏好設定或經由視訊會議期間使用者可以選取的控制，PIP顯示的方式或內定顯示模式可以由使用者指定。
雖然圖12以六個不同的操作階段的觀點來顯示用於呈現及接受視訊會議邀請的操作序列，但是，某些實施例可以以較少階段來實施操作。舉例而言，某些此類實施例可以省略呈現第三及第四階段1220和1225，以及，在使用者選取Accept Request選項1250之後從第二階段1215前進至第五階段1230。以較少階段實施該操作(亦即，呈現及接受視訊會議邀請)之其它實施例可以省略第一和第二階段1210和1215，以及，當邀請接收方接收來自邀請提出者的視訊會議邀請時，呈現第三階段1220給使用者。
圖13顯示藉由結合第一和第三階段成為一階段以及結合第二和第四階段成為一階段而以較少階段執行圖12中所示的操作之實施例。特別地，此圖式顯示在五不同階段1390、1392、1394、1230、及1235之遠端使用者的裝置1200的UI 1205。第一階段1390類似於階段1110，但是，名稱欄1235顯示名稱「John Smith」以標示電話呼叫的另一端之人員的名稱除外。亦即，在遠端行動裝置的使用者與本地裝置的使用者之間已建立電話呼叫(亦即，在本實施例中為John Smith)。第二及第三階段1392和1394類似於圖12的第一和第二階段1210和1215，但是，第二和第三階段1392和1394也顯示遠端行動裝置的使用者預覽(亦即，在本實施例中為Nancy Jones)除外。第四和第五階段1225和1230與圖12的第五和第六階段1230和1235相同。
除了在電話呼叫期間經由可選取的選項來致動視訊會議工具之外，某些實施例還允許雙相機行動裝置的使用者直接地啟始視訊會議，不須首先產生電話呼叫。圖14顯示啟始視訊會議的另一此類替代方法。此圖式顯示在七個不同階段1410、1415、1420、1425、1430、1435、及1440之UI 1405，這七個不同階段顯示用於啟始視訊會議的替代操作序列。
在第一階段1410中，使用者搜尋此行動裝置上的聯絡名單，以找出他要在視訊會議中接觸的人員，這類似於他要找出呼叫的聯絡人般。在第二階段1415中，使用者選取與他進行視訊會議的人員1455(例如，經由人員名稱1455上的單指碰觸1460)。此選取觸發UI 1405去顯示聯絡人資訊和不同的使用者可選取的選項。在本實施例中，Jason(傑生)的名字1455被凸顯以標示此為使用者相要一起進行視訊會議的人員。不同的實施例可以以不同方式標示此選取。雖然第二階段1415允許裝置1400的使用者經由聯絡名單來選取使用者相要一起進行視訊會議的人員，但是，某些實施例允許使用者經由「Recents(最近)」呼叫歷史來選取人員，「Recents」呼叫歷史係列出與裝置1400的使用者最近一起進行視訊會議或電話呼叫的人員的特定號碼或名稱。
在第三階段1420中，UI 1405顯示在選取人員的名稱1455之後被選取的人員的資訊1462和不同的可選取的UI選項1468、1472、及1470。在本實施例中，不同的可選取的UI選項1472之一(可以以可選取的圖像或按鍵來實施)提供視訊會議工具。Video Conference選項1472允許使用者邀請經過聯絡人1466辨識的人員參加視訊會議。不同的實施例不同地顯示資訊1462和可選取的UI選項1468、1472、及1470(例如，以不同的配置)。
第四階段1425顯示選取Video Conference選項1472的使用者(例如，經由單指碰觸)。在本實施例中，Video Conference選項1472被凸顯以標示視訊會議工具1472已被致動。在不同的實施例中可以不同地標示這些選取(例如，藉由凸顯被選取的圖像之文字或邊界)。
第五、第六及第七階段1430、1435、及1440類似於圖11中所示的第三、第四和第五階段1120、1125、及1130，且參考那些階段的說明可以瞭解這些階段。簡而言之，第五階段1430顯示等待遠端使用者回應視訊會議邀請之轉換保留階段。第六階段1435顯示在遠端使用者已接受視訊會議請求之後顯示區1480(顯示本地使用者的視訊)逐漸減少尺寸，以致於UI 1405可以顯示顯示區1492，顯示區1492含有來自顯示區1480後方的遠端使用者的相機之視訊。在第七階段1440中，在視訊會議期間，由UI 1405呈現PIP顯示1447。在某些實施例中，第六階段1435及第七階段1440中的顯示區1155的佈局類似於上述圖12的顯示區1155的佈局。
圖10、11、12、13及14顯示建立視訊會議的數個方式。在某些實施例中，在電話呼叫期間，音訊資料(例如聲音)經由一通訊通道(在例如電路交換通訊網路或分封交換通訊網路等通訊網路上)傳輸，以及，在視訊會議期間，音訊資料經另一通訊通道傳輸。如此，在這些實施例中，在視訊會議建立之前，音訊資料(例如，聲音)經由通訊通道傳輸，以及，一旦建立視訊會議時，音訊經由不同的通訊通道(取代電話呼叫期間所使用的通訊通道)傳輸。
為了提供從電話呼叫至視訊會議之音訊資料的無縫轉換(例如，交遞)，某些實施例在建立視訊會議之前不會結束電話呼叫。舉例而言，某些實施例在經由同級間通訊會議傳輸電話呼叫和開始傳輸音訊/視訊資料之前，建立同級間視訊會議連接(例如，在完成圖10中所示的訊息系列之後)。或者，其它實施例在結束電話呼叫及開始呈現收到的音訊/視訊資料之前，建立同級間視訊會議連接(例如，在完成圖10中所示的訊息序列)及經由同級間通訊會議開始傳送音訊/視訊資料。
某些實施例的同級間視訊會議連接允許視訊會議中的行動裝置彼此直接通訊(而非經由例如中央伺服器的通訊)。同級間視訊會議的某些實施例允許視訊會議中的行動裝置彼此分享資源。舉例而言，經由視訊會議的控制通訊通道，藉由將指令從一行動裝置傳送至另一行動裝置以指示另一行動裝置不同地處理影像(亦即，共用其影像處理資源)，一行動裝置可以遠端地控制視訊會議中的另一行動裝置的操作，例如曝光調整操作、聚焦調整操作、及/或切換相機操作，下述將進一步詳述。
2.　動態位元速率設定
典型地，經由例如不同的私有及公用無線通訊網路(例如GSM、UMTS等行動電話網路)等不同型式的通訊網路，視訊會議中的行動裝置可以彼此傳輸資料(例如音訊和視訊影像)。於下，將參考圖91和92，說明這些無線通訊網路的實施例。
由於在給定時間存取通訊網路的行動裝置的數目變化，所以，用於執行視訊會議的通訊網路的可取得頻寬在不同時間不同。於視訊會議期間可取得頻寬甚至可以改變。此外，在嘗試找出最佳的視訊會議位元速率時，不希望視訊會議期間以高位元速率湧入通訊網路或大量發訊。
由於這些理由，某些實施例使用新穎方法，用於指定視訊會議的初始最佳位元速率。為了辨識視訊會議的初始最佳位元速率，本方法以特定的位元速率啟始視訊會議，以及，假使這些實施例未偵測將降低視訊會議品質的網路條件，則以特定間隔增量地增加位元速率。
這些實施例的一實施例顯示於圖15中。此圖概念地顯示用於設定視訊會議的位元速率之本發明的的某些實施例的處理1500。執行處理1500以作為視訊會議建立的部份(例如，作為圖10中所示的視訊會議建立的部份)，以根據不同的網路條件來動態地決定傳輸資料的位元速率(例如，音訊及視訊影像)。在某些實施例中，由參考圖9之上述視訊會議模組925的管理層935來執行處理1500。將參考圖16，於下說明此視訊會議模組的更詳細版本。
如圖15所示，處理1500始於以初始位元速率設定位元速率(在1505)。在某些實施例中，初始位元速率是用於裝置的內定基線速率。但是，某些實施例允許使用者指定初始位元速率。在1505，處理1500經由一或更多通訊通道，也啟動視訊會議，以初始位元速率傳送資料(例如，音訊及視訊影像)至遠端裝置。
接著，處理1500辨識視訊會議中從遠端裝置收到的網路條件參數組(在1510)。在某些實施例中，本地裝置經由視訊會議啟始時建立的即時傳輸協定(RTP)通訊區，從遠端裝置接收網路條件參數組。舉例而言，某些實施例經由RTP的延伸特點，提供網路條件參數。此外，藉由標示RTP分封表頭中存在有延伸表頭以及界定用於增加的資訊之延伸表頭，某些實施例的RTP延伸特點可以用以傳送任何型式的資訊(例如網路條件參數組)。
在不同實施例中，視訊會議中的裝置轉送不同組的網路條件/擁塞參數。在下述實施例中，網路條件參數組包含單向潛伏及頻寬評估位元速率。在其它實施例中，網路條件參數組包含分封遺失資料及來回時間(RTT)延遲資料。確切而言，不同的實施例可以在網路條件參數組中包含任何數目的不同網路條件參數。
在某些實施例中，從視訊會議的遠端裝置接收的網路條件參數組是根據以操作1505所設定的初始位元速率而在視訊會議期間從本地行動裝置(亦即，執行處理1500的行動裝置)傳送至遠端裝置的資料(例如，音訊和視訊)。舉例而言，在某些實施例中，藉由音訊分封的時戳來計算音訊分封經過網路連接而從本地行動裝置傳送至遠端裝置所耗費的時間，遠端裝置可以決定單向潛伏。具體而言，在某些實施例中，每一音訊分封被蓋上時間戳記。在分封延遲不存在時，遠端裝置應以等於時戳中的差之設定間隔來接收音訊分封。但是，當有單向潛伏延遲時，遠端裝置以大於時戳中的差之間隔來接收音訊分封。
而且，在某些實施例中，遠端裝置藉由檢查接收視訊分封的時間、接收連續視訊分封的時間、及連續視訊分封的尺寸，以決定頻寬評估位元速率。亦即，在接收二連續視訊分封之間的時間差與第二視訊分封的大小被用以評估可以取得的網路連接之頻寬。某些實施例藉由檢查多對連續視訊分封以決定頻寬評估位元速率。上述實施例使用特定型式的資料(亦即，用於決定單向潛伏的音訊資料及用於決定頻寬評估位元速率的視訊資料)。但是，在某些實施例中也可以使用經由本地行動裝置與遠端裝置之間的網路連接而傳送的其它型式的資料。
在辨識網路條件組(在1510)之後，處理1500接著決定(在1515)單向潛伏是否已惡化超過界定的臨界量。在某些實施例中，臨界量被界定為特定的潛伏量，以及，當目前的單向潛伏與先前的單向潛伏之間的差超過特定潛伏量時，判定單向潛伏惡化超過臨界量。在其它實施例中，臨界量被界定為單向潛伏的特定改變速率。確切而言，當單向潛伏組的改變速率(例如，目前的單向潛伏與先前的單向潛伏)超過特定的改變速率時，單向潛伏被判定為惡化超過臨界量。
當單向潛伏被判定為惡化超過臨界量時，處理1500結束。在其它情形，處理1500則決定(在1520)目前的位元速率是否已達到頻寬評估位元速率。在某些實施例中，頻寬評估位元速率標示可取得的用於網路連接的頻寬量(例如，15仟位元/秒(kbps))。當處理1500決定目前的位元速率超過頻寬評估位元速率時，處理1500結束。當處理1500決定目前的位元速率未超過頻寬評估位元速率時，處理1500進行至操作1525。
在1525，處理1500決定目前的位元速率是否已達到界定的最大位元速率。當處理1500判定目前的位元速率超過界定的最大位元速率時，處理1500結束。在其它情形，處理1500則進行至操作1530以將目前的位元速率增加界定的量。不同的實施例界定不同地增加位元速率的量。在任何數目的增加位元速率的其它量之中，增加目前的位元速率之界定的量的實施例包含32 kbps、64 kbps。
接著，處理決定(在1535)界定的時間量是否已消逝。由於不同的實施例不同地界定時間量，所以，界定的時間量可為1秒、2秒、5秒、或任何其它可能的時間量。處理1500等待界定的時間量消逝，以便使遠端的裝置以新近增加的位元速率(在操作1530)接收從本地行動裝置傳送來的資料(例如，音訊和視訊影像)以及根據新近增加的位元速率來決定網路條件參數。假使處理1500判定界定的時間量尚未消逝時，則處理1500返回至操作1535直至界定的時間量消逝為止。當處理1500判定界定的時間量消逝時，處理1500返回至操作1510。處理1500的操作如上所述般從1510向前進行直至處理1500結束為止。
當處理1500結束(亦即，在操作1515、1520、或1525之後)時，用於視訊會議的位元速率的設定完成以及決定最佳的位元速率。由於可取得的用於視訊會議的頻寬可以在視訊會議期間改變，所以，某些實施例繼續根據從遠端裝置收到的網路條件參數(亦即，單向潛伏和頻寬評估位元速率)組以調整位元速率。藉由增加位元速率，在視訊會議期間可以調整位元速率。舉例而言，假使由於單向潛伏惡化超過界定的臨界量以及在視訊會議期間單向潛伏改進，處理1500因而結束時，某些實施例增加位元速率。類似地，假使由於位元速率超過頻寬評估位元速率以及在視訊會議期間頻寬評估位元速率增加，處理1500因而結束時，則某些實施例增加位元速率。
相對地，藉由降低位元速率，在視訊會議期間可以調整位元速率。舉例而言，假使在視訊會議期間單向潛伏繼續惡化超過界定的臨界量時，則某些實施例降低位元速率。而且，假使在視訊會議期間位元速率繼續超過頻寬評估位元速率(例如，頻寬評估位元速率繼續降低)，則某些實施例降低位元速率。
此外，處理1500的說明使用單向潛伏及頻寬評估位元速率以決定是否增加位元速率。但是，習於此技藝者將瞭解不同的實施例中可以使用任何數目的網路條件參數以決定是否增加位元速率。舉例而言，可以根據單獨的RTT延遲資料或分封遺失資料，決定是否增加位元速率。
C.　視訊會議架構
如上所述，圖16概念地顯示某些實施例的雙相機行動裝置之視訊會議及處理模組1600的軟體架構。如同所示，視訊會議及處理模組1600包含客戶端應用1665、視訊會議模組1602、媒體交換模組1620、緩衝器1625、捕捉的影像處理單元(CIPU)驅動器1630、編碼器驅動器1635、及解碼器驅動器1640。在某些實施例中，緩衝器1625是框緩衝器，用於儲存顯示於雙相機行動裝置的顯示器1645上的視訊影像。
在某些實施例中，客戶端應用1665與圖9的視訊會議客戶端945相同。如上所述，客戶端應用1665可以整合成另一應用或是以獨立的應用來實施。客戶端應用1665可以是使用視訊會議模組1602的視訊會議功能之應用，例如視訊會議應用、網路電話(VOIP)應用(例如Skype)、或是瞬間發訊應用。
某些實施例的客戶端應用1665將例如啟始會議和結束會議指令等指令傳送給視訊會議模組1602、從視訊會議模組1602接收指令、安排指令從雙相機行動裝置的使用者至視訊會議模組1602之路徑、以及產生顯示於雙相機行動裝置上的使用者介面並允許使用者與應用相互作用。
D.　視訊會議管理器
如圖16所示，視訊會議模組1602包含視訊會議管理器1604、影像處理管理器1608、網路管理器1614、及緩衝器1606、1610、1612、1616、及1618。在某些實施例中，視訊會議模組1602與圖9中所示的視訊會議模組925相同，因此，執行與上述用於視訊會議模組925相同的某些或全部功能。
在某些實施例中，視訊會議管理器1604當視訊會議啟始時負責初始化視訊會議模組1602的某些或所有其它模組(例如，影像處理管理器1608及網路管理器1614)、在視訊會議期間控制視訊會議模組1602的操作、及當視訊會議結束時停止視訊會議模組1602的某些或所有其它模組的操作。
某些實施例的視訊會議管理器1604也處理從視訊會議中的一或更多裝置接收的影像以及由雙相機行動裝置的一或二相機捕捉的影像，用於顯示於雙相機行動裝置上。舉例而言，某些實施例的視訊會議管理器1604從緩衝器1618中檢索自參與視訊會議的另一裝置收到的已解碼影像，以及，從緩衝器1606中檢索由CIPU 1650處理過的影像(亦即，由雙相機行動裝置捕捉的影像)。在某些實施例中，視訊會議管理器1604也在影像於雙相機行動裝置上之前將影像調整比例及合成。亦即，在某些實施例中，視訊會議管理器1604產生PIP或其它合成畫面以顯示於行動裝置上。某些實施例將自緩衝器1606和1618檢索的影像調整比例，而其它實施例僅將自緩衝器1606和1618檢索的影像調整比例。
雖然圖16顯示視訊會議管理器1604作為視訊會議模組1602的一部份，但是，視訊會議管理器1604的某些實施例實施成為與視訊會議模組1602分開的元件。確切而言，單一視訊會議管理器1604可以用以管理及控制數個視訊會議模組1602。舉例而言，某些實施例將在本地裝置上執行分開的視訊會議模組以與多方會議中的各方互動，以及，本地裝置上這些視訊會議模組中的每一模組由一個視訊會議管理器管理及控制。
在雙相機行動裝置的相機所捕捉的影像由編碼器1655編碼之前，某些實施例的影像處理管理器1608處理這些影像。舉例而言，影像處理管理器1608的某些實施例對CIPU 1650處理過的影像執行曝光調整、聚焦調整、透視校正、動態範圍調整、及影像尺寸變更中之一或更多。在某些實施例中，影像處理管理器1608控制傳送至視訊會議中的其它裝置之經過編碼的影像的框速率。
網路管理器1614的某些實施例管理雙相機行動裝置與參與視訊會議的其它裝置之間的一或更多連接。舉例而言，某些實施例中的網路管理器1614在視訊會議啟始時在雙相機行動裝置與視訊會議的其它裝置之間建立連接以及在視訊會議結束時拆除這些連接。
在視訊會議期間，網路管理器1614將編碼器1655編碼的影像傳送至視訊會議的其它裝置，以及，安排自視訊會議的其它裝置接收的影像至用於解碼的解碼器1660的路徑。在某些實施例中，網路管理器1614而非影像處理器1608控制傳送至視訊會議的其它裝置之影像的框速率。舉例而言，網路管理器1614的某些此類實施例藉由丟棄(亦即，未傳送)預定要傳送至視訊會議的其它裝置之某些經過編碼的框以控制框速率。
如同所示，某些實施例的媒體交換模組1620包含相機源模組1622、視訊壓縮器模組1624、及視訊解壓縮器模組1626。媒體交換模組1620與圖3中所示的提供更多細節之媒體交換模組310相同。相機源模組1622安排訊息與媒體內容經由CIPU驅動器1630而在視訊會議模組1602與CIPU 1650之間的傳輸路徑，視訊壓縮器模組1624安排訊息與媒體內容經由編碼器驅動器1635而在視訊會議模組1602與編碼器1655之間的傳輸路徑，以及，視訊解壓縮器模組1626安排訊息與媒體內容經由解碼器驅動器1640而在視訊會議模組1602與解碼器1660之間的傳輸路徑。某些實施例將包含於媒體交換模組310中的TNR模組315(未顯示於圖16中)實施作為相機源模組1622的一部份，而其它實施例將TNR模組315實施作為視訊會議壓縮器模組1624的一部份。
在某些實施例中，CIPU驅動器1630及編碼器驅動器1635與圖3中所示的CIPU驅動器305和編碼器驅動器320相同。某些實施例的解碼器驅動器1640作為視訊解碼器模組1626與解碼器1660之間的通訊介面。在這些實施例中，解碼器1660將經由網路管理器1614以及路經視訊解壓縮器模組1626而從視訊會議的其它裝置收到的影像解碼。在影像被解碼之後，它們經由解碼器驅動器1640及視訊解壓縮模組1626而被送回至視訊會議模組1602。
在視訊會議期間除了執行視訊處理之外，某些實施例之用於雙相機行動裝置的視訊會議及處理模組1600也在視訊會議期間執行音訊處理操作。圖17顯示此軟體架構。如同所示，視訊會議及處理模組1600包含視訊會議模組1602(包含視訊會議管理器、影像處理管理器1608、及網路管理器1614)、媒體交換模組1620、及客戶端應用1665。圖17中省略圖16中所示的視訊會議及處理模組1600的其它元件和模組，以簡化說明。視訊會議及處理模組1600也包含框緩衝器1705和1710、音訊處理管理器1715、及音訊驅動器1720。在某些實施例中，音訊處理管理器1715實施作為分別的軟體模組，而在其它實施例中，音訊處理管理器1715實施作為媒體交換模組1620的一部份。
音訊處理管理器1715處理雙相機行動裝置捕捉的音訊資料以傳送至視訊會議中的其它裝置。舉例而言，音訊處理管理器1715經由音訊驅動器1720以接收麥克風1725捕捉的音訊資料，以及，在儲存經過編碼的音訊資料於緩衝器1705中以傳送至其它裝置之前，將音訊資料編碼。音訊處理管理器1715也處理由視訊會議中的其它裝置所捕捉及接收的音訊資料。舉例而言，音訊處理管理器1715從緩衝器1710中檢索音訊資料以及將音訊資料解碼，然後音訊資料經由音訊驅動器1720輸出至揚音器1730。
在某些實施例中，視訊會議模組1602與音訊處理管理器1715和其相關的緩衝器一起作為較大的會議模組的一部份。當在多個裝置之間執行多方音訊會議而未交換視訊內容時，視訊會議及處理模組1600僅使用網路管理器1614和音訊處理管理器1715以便於在網際網路協定(IP)層上交換音訊。
現在將參考圖18，說明某些實施例的視訊會議管理器1604的操作。圖18概念地顯示由例如圖16中所示的視訊會議管理器1604等某些實施例的視訊會議管理器執行的處理1800。這可以等同於由圖9的管理層935執行。在某些實施例中，當雙相機行動裝置的使用者接受(例如，經由顯示於雙相機行動裝置上的使用者介面)視訊會議請求時或當另一裝置的使用者接受雙相機行動裝置的使用者送出的請求時，視訊會議管理器1604執行處理1800。
處理1800始於接收(在1805)啟始視訊會議的指令。在某些實施例中，從客戶應用1665接收指令，或經由顯示於雙相機行動裝置上的使用者介面而從使用者接收指令，指令由客戶端應用1665遞送至視訊會議管理器1604。舉例而言，在某些實施例中，當雙相機行動裝置的使用者接受視訊會議請求時，經由使用者介面接收指令並由客戶端應用遞送指令。另一方面，當其它裝置的使用者接受從本地裝置傳送的請求時，某些實施例從客戶端應用接收指令而不用使用者介面互動(雖然可能已有先前的使用者介面互動以送出初始請求)。
接著，處理1800初始化(在1810)與視訊會議管理器1604交互作用的第一模組。與視訊會議管理器1604交互作用的某些實施例的模組包含CIPU 1650、影像處理管理器1608、音訊處理管理器1715、及網路管理器1614。
在某些實施例中，初始化CIPU 1650包含指令CIPU 1650啟動雙相機行動裝置的一或二相機所捕捉的影像。某些實施例藉由指令影像處理管理器1608開始從緩衝器1610檢索影像以及處理和編碼檢索到的影像，以初始化影像處理管理器1608。為了初始化音訊處理管理器1715，某些實施例指令音訊處理管理器1715開始將麥克風1725捕捉的音訊資料編碼以及將儲存於緩衝器1710中(自其它裝置收到)的音訊資料解碼，以輸出至揚音器1730。某些實施例的網路管理器1614的初始化包含指令網路管理器1614建立與視訊會議中的其它裝置之網路連接。
處理1800接著決定(在1815)是否還剩下任何模組要初始化。當還有模組要初始化時，處理1800返回至操作1810以初始化這些模組中的另一模組。當所有所需的模組已被初始化時，處理1800產生(在1820)合成影像，用於顯示於雙相機行動裝置(亦即，本地顯示)上。這些合成影像包含下述圖65中所示的那些影像(亦即，PIP或其它合成顯示)，以及，可以包含來自本地雙相機行動裝置的相機的影像與來自參與視訊會議的其它裝置的相機之影像的不同組合。
接著，處理1800決定(在1825)是否已對視訊會議作出改變。某些實施例經由與顯示於雙相機行動裝置上的使用者介面之使用者互動以接收對視訊會議的改變，而其它實施例經由網路管理器1614(亦即，遠端控制)而從其它裝置接收對視訊會議的改變。在某些實施例中，也可以從客戶端應用1665或視訊會議模組1602中的其它模組，接收對視訊會議設定的改變。視訊會議設定也可以因為網路條件的改變而改變。
當已作出改變時，處理1800決定(在1830)對視訊會議的改變是否改變成網路設定。在某些實施例中，改變是網路設定改變或影像捕捉設定改變。當對視訊會議的改變是網路設定的改變時，處理修改(在1840)網路設定及進行至操作1845。某些實施例的網路設定改變包含改變影像被編碼的位元速率或是影像傳送至其它裝置的框速率。
當對視訊會議的改變不是網路設定改變時，處理1800判定改變是影像捕捉設定的改變，然後，進行至操作1835。處理1800接著執行(在1835)影像捕捉設定的改變。在某些實施例中，影像捕捉設定的改變包含切換相機(亦即，切換雙相機行動裝置上將捕捉影像的相機)、聚焦調整、曝光調整、顯示或不顯示來自雙相機行動裝置的一或二相機、以及放大或縮小顯示於雙相機行動裝置上的影像、以及其它設定改變。
在操作1845，處理1800決定是否結束視訊會議。當處理1800決定不結束視訊會議時，處理1800返回至操作1820。當處理1800決定視訊會議將結束時，處理1800結束。處理1800的某些實施例當處理1800從客戶端應用1665接收結束視訊會議的指令(亦即，因為經由本地雙相機行動裝置的使用者介面收到的指令、或是從參與視訊會議的其它裝置收到指令)時，決定結束視訊會議。
在某些實施例中，當視訊會議結束時，視訊會議管理器1604執行處理1800中未顯示之各式各樣操作。某些實施例指令CPIU 1650停止產生影像、指令網路管理器1614拆解與視訊會議中的其它裝置之網路連接、以及指令影像處理管理器1608停止處理和編碼影像。
E.　暫時雜訊降低
某些實施例包含特定的暫時雜訊降低模組，用於處理視訊影像以降低視訊中的雜訊。某些實施例的暫時雜訊降低模組比較視訊序列中的後續影像以從視訊中辨識及消除不必要的雜訊。
圖19概念地顯示某些實施例之用於此暫時雜訊降低(TNR)模組1900的軟體架構。某些實施例將TNR模組1900實施作為應用的一部份(例如，作為如圖3中所示的媒體交換模組的一部份)，而其它實施例將TNR模組1900實施作為由其它應用使用的獨立應用。又有其它實施例將TNR模組1900實施成為雙相機行動裝置上執行的作業系統的一部份。在某些實施例中，TNR模組1900由提供TNR模組1900的某些或全部功能給其它應用之API組所實施。
如圖19所示，TNR模組1900包含TNR管理器1905、不同的模組1910、像素平均模組1915、及動作歷史模組1920。雖然圖19顯示三個模組1910、1915、及1920為分開的模組，但是，某些實施例可以以單一模組來實施下述這些模組的功能。某些實施例的TNR模組1900接收輸入影像、參考影像、及動作歷史作為輸入。在某些實施例中，輸入影像是目前正受處理的影像，而參考影像是輸入影像要相比較的視訊序列中的先前影像。TNR模組1900將輸出影像(雜訊降低的輸入影像版本)及輸出動作歷史輸出。
某些實施例的TNR管理器1905指示經過TNR模組1900的資料流動。如同所示，TNR管理器1905接收輸入影像、參考影像、及動作歷史。TNR管理器1905也將輸出影像及輸出動作歷史輸出。TNR管理器1905將輸入影像及參考影像輸出至差異模組1910以及從差異模組1910接收差異影像。
在某些實施例中，差異影像1910處理從TNR管理器1905接收的資料以及將處理過的資料傳送至TNR管理器1905。如同所示，差異模組1910從TNR管理器1905接收輸入影像及參考影像。某些實施例的差異模組1910藉由將一影像的像素值從其它影像的像素值減掉以產生差異影像。差異影像被傳送至TNR管理器1905。某些實施例的差異影像表示二影像之間的差異以辨識已改變的輸入影像的區域及與先前影像維持相同的輸入影像的區域。
TNR管理器1905也將輸入影像及參考影像傳送至像素平均模組1915。如同所示，某些實施例也將動作歷史傳送至像素平均模組1915。但是，其它實施例也可以僅送出輸入影像以及參考影像而無動作歷史。在任一實施例中，TNR管理器1905從像素平均模組1915接收處理過的影像。
某些實施例的像素平均模組1915使用動作歷史以決定是否對影像中的特定位置之輸入和參考影像取得像素的平均值。在某些實施例中，動作歷史包含用於輸入影像中的每一像素之機率值。特定機率值代表輸入影像中的對應像素(亦即，動態像素)相對於參考影像中對應的像素改變之機率。舉例而言，假使輸入影像中特定像素的機率值是20，則代表輸入影像中的特定像素相對於參考影像中對應的像素改變之機率為20%。關於另一實施例，假使輸入影像中特定像素的機率值是0，則代表輸入影像中的特定像素相對於參考影像中對應的像素未改變(亦即，靜態像素)。
不同的實施例不同地儲存輸入影像的機率值。某些實施例可以將輸入影像的每一像素的機率值儲存於一資料陣列中。其它實施例可以將機率值儲存於尺寸與視訊的影像的解析度相同的矩陣(例如，陣列中的陣列)中。舉例而言，假使視訊的影像的解析度是320x240，則矩陣也是320x240。
當像素平均模組1915從TNR管理器1905接收動作歷史與輸入影像及參考影像時，像素平均模組1915讀取輸入影像中的每一像素的機率值。假使用於輸入影像中特定像素的機率值在界定的臨界值(例如5%、20%)之下時，根據特定像素處不容易有動作的假設，像素平均模組1915將特定像素值與參考影像中對應的像素值平均，因此，在該像素的影像之間的差異可以歸因於雜訊。
假使用於輸入影像中的特定像素的機率未在界定的臨界值之下時，則像素平均模組1915不修改輸入影像的特定像素(亦即，在該像素的像素值維持與輸入影像中相同)。這是因為動作在該特定像素動是更可能的，所以，影像之間的差異更可能不是雜訊的結果。在某些實施例中，當動作歷史未被送至像素平均模組1915時，像素平均模組1915將輸入影像中的每一像素與參考影像中的對應像素平均。由像素平均模組1915輸出及送至TNR管理器1905的經過處理的影像包含用於未被平均的任何像素之輸入影像像素值以及用於由像素平均模組1915平均的任何像素的平均像素值。
在某些實施例中，動作歷史模組1920處理從TNR管理器1905接收的資料及將結果資料送回至TNR管理器1905。某些實施例的動作歷史模組1920從TNR管理器1905接收輸入影像及動作歷史。某些實施例將此資料輸入至貝茲(Bayes)評估器以產生可以用於下一輸入影像的像素平均中的新動作歷史(亦即，機率值組)。其它實施例使用其它評估器以產生新的動作歷史。
現在，將參考圖20，說明TNR模組1900的操作。此圖式概念地顯示某些實施例的處理2000，用於降低視訊的影像的暫時雜訊。處理2000始於TNR管理器1905接收(在2005)輸入影像、參考影像、及動作歷史。輸入影像是目前正受雜訊降低的處理之影像。在某些實施例中，參考影像是當從CIPU接收時視訊之影像序列的先前影像。但是，在其它實施例中，參考影像是從先前輸入影像的處理所產生的輸出影像(亦即，TNR模組1900的輸出)。動作歷史是從先前輸入影像的處理產生的輸出動作歷史。
當輸入影像是視訊的第一影像時，某些實施例的TNR模組1900未處理(亦即，應用TNR至)第一影像。換言之，TNR管理器1905接收第一影像及僅輸出第一影像。在其它實施例中，當輸入影像是視訊的第一影像時，使用第一影像作為輸入影像及參考影像，以及，TNR模組1900如下所述般處理影像。此外，當輸入影像是視訊的第一影像時，動作歷史是空的(例如，零、充滿零、等等)以及TNR管理器1905僅輸出空的動作歷史作為輸出動作歷史。
TNR管理器1905接著決定(在2010)輸入影像是否為靜態的。為了作出此決定，某些實施例傳送輸入影像及參考影像至差異模組1910以及從差異模組1910接收差異影像。當二影像之間的差異在界定的臨界值(例如5%差異、10%差異、等等)之下時，某些實施例將輸入影像歸類為靜態的。
當輸入影像是靜態影像時，TNR管理器1905將輸入影像及參考影像送至像素平均模組1915，以將輸入影像的像素與參考影像的像素平均(在2015)，以便降低來自靜態影像的任何雜訊。處理接著進行至下述的2040。
當輸入影像不是靜態影像時，TNR管理器將輸入影像、參考影像、及動作歷史傳送至像素平均模組1915以用於處理。像素平均模組1915選取(在2020)輸入影像中的像素。如上所述般，使用動作歷史，像素平均模組1915決定(在2025)動作的像素機率是否在特定臨界值之下。
假使選取的像素機率在特定臨界值之下時，像素平均模組1915將輸入影像的像素與參考影像中的對應像素平均(在2030)。在其它情形中，像素未被平均且輸出影像將與在該特定像素處的輸入影像相同。像素平均模組1915接著決定(在2035)輸入影像中是否留有任何未被選取的像素。假使有任何像素尚未被處理，則處理返回至操作2020以選取下一像素。像素平均模組1915執行操作2020-2030直到所有像素都已被評估為止。
然後，處理更新(在2040)動作歷史。如圖19所示且如上所述般，動作歷史模組1920根據輸入影像以更新動作歷史。新的動作歷史與來自像素平均模組的經過處理的影像一起由TNR管理器輸出。
F.　影像處理管理器&編碼器
除了由CIPU及/或CIPU驅動器執行的暫時雜訊降低及影像處理操作之外，某些實施例在視訊會議模組925的影像處理層930還執行各式各樣的影像處理操作。這些影像處理操作可以包含曝光調整、聚焦調整、透視校正、動態範圍的調整、及影像尺寸變更、等等。
圖21概念地顯示用於執行此影像處理操作的處理2100。在某些實施例中，處理2100中的某些或所有操作由圖16的影像處理管理器1608及編碼器驅動器1635的組合所執行。在這些實施例中的某些實施例中，影像處理管理器1608執行像素為基礎的處理(例如，尺寸變更、動態範圍調整、透視校正、等等)。某些實施例在視訊會議期間對要被傳送至參與視訊會議的另一裝置之影像執行處理2100。
現在將參考圖16，說明處理2100。處理始於從緩衝器1606檢索(在2105)影像。在某些實施例，檢索到的影像是視訊的影像(亦即，在影像序列中的影像)。此視訊已由處理2100於其上執行的裝置之相機捕捉。
接著，處理2100對檢索到的影像執行(在2110)曝光調整。某些實施例經由顯示於雙相機行動裝置上的使用者介面以執行曝光調整。圖22顯示這些實施例的舉例說明的曝光調整操作。
此圖式顯示參考裝置2200的UI 2205的三個階段2210、2215、及2220之曝光調整操作。第一階段2210顯示包含顯示區2225和顯示區1155之UI 2205。如同所示，顯示區2225顯示太陽及具有暗臉和身體的人之影像2230。暗臉及身體表示人未被適當地曝光。影像2230可以是由裝置2200的相機捕捉的視訊影像。如同所示，顯示區1155包含用於結束視訊會議之可選取的UI選項2250。在某些實施例中，顯示區1155的佈局與上述圖12的顯示區1155的佈局相同。
第二階段2215顯示裝置2200的使用者，其藉由選取顯示區2225的區域而初始化曝光調整操作。在本實施例中，藉由將手指2235置於顯示區2225內的任意處以作出選取。在某些實施例中，使用者從可能的影像設定調整的選單中選取曝光調整。
第三階段2220顯示完成曝光調整操作後的人的影像2240。如同所示，影像2240類似於影像2230，但是，影像2240中的人被適當地曝光。在某些實施例中，適當曝光的影像是在不適當曝光的影像之後捕捉的影像。在第二階段2215中啟始的曝光調整操作調整裝置2200的相機捕捉的後續影像的曝光。
回至圖21，處理2100接著對影像執行(在2215)聚焦調整。某些實施例經由顯示於雙相機行動裝置上的使用者介面以執行聚焦調整。圖23概念地顯示此聚焦調整操作的實施例。
圖23顯示參考裝置2300的UI 2305的三個不同階段2310、2315、及2320的聚焦調整操作。第一階段2310顯示包含顯示區2325和顯示區1155的UI 2305。顯示區2325呈現裝置2300的相機捕捉的人的模糊影像2330。模糊表示人的影像2330失焦。亦即，當人的影像2330由相機捕捉時相機的鏡頭未聚焦於鏡頭上。而且，影像2330可以是由裝置2300的相機捕捉的視訊影像。如同所示，顯示區1155包含用於結束視訊會議的可選取UI項2350。在某些實施例中，顯示區1155的佈局與上述圖12的顯示區1155的佈局相同。
第二階段2315顯示裝置2300的使用者，其藉由選取顯示區2325的區域而啟始聚焦調整操作。在本實施例中，藉由將手指2335置於顯示區2325內的任意處以作出選取。在某些實施例中，使用者從可能的影像設定調整之選單中選取聚焦調整。
第三階段2320顯示完成聚焦調整後的人的影像2340。如同所示，影像2340與影像2330相同，但是，影像2340中的人顯得較清晰。這意指相機的鏡頭被適當地聚焦於人上。在某些實施例中，適當聚焦的影像是在不適當聚焦的影像之後捕捉的影像。在第二階段2315中啟始的聚焦調整操作調整裝置2300的相機捕捉的後續影像。
回至圖21，處理2100對影像執行(在2120)影像尺寸變更。某些實施例對影像執行影像尺寸變更以降低用以將影像編碼之位元的數目(亦即，降低位元速率)。在某些實施例中，處理2100如同參考圖26之下述所述般執行影像尺寸變更。
處理2100接著對影像執行(在2125)透視校正。在某些實施例中，處理2100如同下述圖24中所示般執行透視校正。此透視校正涉及使用由一或更多加速度儀及/或陀螺儀感測器取得的資料，加速度儀及/或陀螺儀感測器係辨識雙相機行動裝置的方向及移動。然後，此資料被用以修改影像以校正關閉的透視。
在對影像執行透視校正之後，處理2100調整(在2130)影像的動態範圍。在某些實施例中，影像的動態範圍是影像中每一像素可以具有的可能值的範圍。舉例而言，具有0-255動態範圍的影像可以被調整至0-128的範圍或任何其它的值範圍。調整影像的動態範圍可以降低將被用以將影像編碼(亦即，降低位元速率)及藉以將影像平滑的位元量。
調整影像的動態範圍也可以用於各種其它目的。一目的是降低影像雜訊(例如，由雜訊相機感測器捕捉的影像)。為了降低雜訊，也可以調整影像的動態範圍，以致於黑色位準被再界定以包含較淡的黑色(亦即，碎黑)。以此方式，降低影像的雜訊。動態範圍調整的另一目的是調整一或更多顏色或顏色範圍以增強影像。舉例而言，某些實施例可以假定由前相機捕捉的影像是人臉的影像。因此，影像的動態範圍可以調整以增加紅和粉紅色來使人的臉頰呈現紅潤的/更紅潤的。動態範圍調整操作也可以用於其它目的。
最後，處理2100決定(在2315)用以將影像編碼的一或更多速率控制器參數。在某些實施例中，此速率控制器參數可以包含量化參數及框型式(例如，預測的、雙向的、框內編碼的)。然後，處理結束。
雖然處理2100的各種操作顯示為依特定次序執行，但是，習於此技藝者將瞭解很多這些操作(曝光調整、聚焦調整、透視校正、等等)可以以任何次序執行以及不會彼此相依。亦即，某些實施例的處理可以在曝光調整之前執行聚焦調整，或是對圖21中所示的處理執行類似的修改。
1.　透視校正
如上所述，某些實施例在顯示或傳送影像之前對影像執行透視校正。在某些情形中，雙相機行動裝置上的一或更多相機將無法與其標的物適當地定向且標的物將在未經校正的影像中呈現未經校正。透視校正可以用以處理影像，以致於影像將緊密地反應影像中的物體如何親自呈現。
圖24概念地顯示例如圖16中所示之某些實施例的影像處理管理器所執行的透視校正處理2400。某些實施例的處理2400由圖9中所示的影像處理層930(可以含有影像處理管理器1608)執行。某些實施例在處理2100的操作2125執行處理2400，以在顯示或傳送影像之前校正最近捕捉的視訊影像的透視。
處理2400始於從加速儀感測器接收(在2405)資料，在某些實施例中，加速儀感測器是雙相機行動裝置的一部份。某些實施例的加速儀感測器測量延著一或更多軸之裝置的速度變化率(亦即，裝置的加速度)。處理也從陀螺儀感測器接收(在2410)資料，在某些實施例中，陀螺儀感測器也可以是雙相機行動裝置的一部份。某些實施例的陀螺儀及加速儀感測器可以獨立地或結合地用於辨識雙相機行動裝置的方向。
接著，處理2400根據自加速儀及陀螺儀感測器取得的資料而決定(在2415)要執行的透視校正量。一般而言，當方向又離軸時，將需要更多透視校正以產生最佳影像。某些實施例根據裝置的方向來計算代表透視校正量的變形參數。
在決定要執行的透視校正量之後，處理2400接收(在2420)由雙相機行動裝置的相機捕捉的影像。可以對相機捕捉的視訊序列中的每一影像執行此處理。某些實施例可以對來自雙相機行動裝置上的二相機中的每一相機之影像執行分開的計算。
然後，處理根據決定的透視校正量來修改(在2425)影像。某些實施例也使用基線影像或其它資訊(例如，使用者輸入的應執行校正的點)以及變形參數或透視校正量的其它表示。在修改影像之後，處理2400結束。
圖25概念地顯示某些實施例的舉例說明的影像處理操作。此圖式顯示由未使用透視校正的第一影像處理模組2520執行的第一影像處理操作2505以及由使用透視校正的第二影像處理模組2565執行的第二影像處理操作2550。
如同所示，從以朝向區塊的角度向下看之空中透視，對區塊2515的第一影像2510執行第一影像處理操作2505。從該透視，區塊2515的頂部較接近區塊的底部。確切而言，區塊2515呈現傾向捕捉第一影像2510的相機。圖25也顯示在由第一影像處理模組2520處理之後經過處理的第一影像2525。如同所示，當第一影像處理模組2520未執行任何透視校正時，在經過處理的第一影像2525中的區塊2515呈現相同的後處理。
對區塊2560的第二影像2555執行第二影像處理操作2550。區塊2560與第一影像2510中的區塊2515相同。圖25也顯示在由第二影像處理模組2565的透視校正器2570處理第二影像2555之後的經過處理的第二影像2575。透視校正器2570可以使用處理2400以校正第二影像2555的透視。根據表示捕捉第二影像2555之相機的向下傾斜角度之來自加速度儀及陀螺儀的資料(以及可能根據其它資料)，透視校正器2570能夠校正第二影像，以致於區塊在經過處理的第二影像2575中呈現被直視。
2.　尺寸變更及位元串操控
在參考圖21的上述功能中，由某些實施例的影像處理層930執行之功能是影像尺寸變更及位元串操控。在某些實施例中，影像尺寸變更(在操作2130處執行)牽涉放大或縮小影像(亦即，修改用以呈現影像的像素數目)。在某些實施例中，位元串操控牽涉將資料插入至標示尺寸變更後的影像尺寸之位元串中。在某些實施例中，此尺寸變更及位元串操控由編碼器驅動器(例如，驅動器1635)執行。
圖26概念地顯示用於某些實施例之此編碼器驅動器2600的軟體架構以及顯示由編碼器驅動器2600對舉例說明的影像2605執行的舉例說明的尺寸更變及位元串操控操作。在某些實施例中，影像2605是由雙相機行動裝置的相機捕捉的視訊的影像，用於傳送至視訊會議中的另一裝置。參考圖16，在某些實施例中，視訊影像將從CIPU 1650行經CIPU驅動器1630及相機源模組1622而至緩衝器1606，其由影像處理管理器1608從緩衝器1606中檢索。在影像處理管理器1608中進行影像處理(例如，聚焦處理、曝光調整、透視校正)之後，影像經由緩衝器1610及視訊壓縮器模組1624傳送至編碼器驅動器1635。
如同所示，編碼器驅動器2600包含處理層2610及速率控制器2645。某些實施例的速率控制器的實施例顯示於下述圖30中。處理層2610包含影像尺寸變更器2615及位元串管理器2625。在某些實施例中，這些模組在影像被編碼之前及之後都對影像執行各種操作。雖然在本實施例中將影像尺寸變更器顯示為編碼器驅動器2600的處理層2610的部份，但是，某些實施例可以將影像尺寸變更器實施為影像處理管理器1608的一部份而非編碼器驅動器2600的一部份(亦即，在傳送影像和尺寸資料至編碼器驅動器之前完成影像尺寸變更)。
如同所示，在影像經由速率控制器2645而送至編碼器2650之前，影像尺寸變更器2615變更影像的尺寸。影像2605傳送經過尺寸變更器2615且被縮小成影像2630。除了縮小影像之外，某些實施例也可以放大影像。
如圖26所示，某些實施例縮小進入的影像(例如，影像2605)，然後，將縮小的影像(例如影像2630)疊加至空間上備用的影像(例如影像2635)，空間上備用的影像與進入的影像是相同尺寸(在像素上)(亦即，影像2605的像素的列及行與空間上備用的影像2635的像素的列及行的數目相同)。某些實施例將縮小的影像2630疊加至空間上備用的影像的左上角落中(如同所示，以產生合成影像2640)，而其它實施例將縮小的影像疊加至空間上備用的影像的不同區域(例如，中心、右上方、上中心、下中心、右下方、等等)。
在某些實施例中，空間上備用的影像是實質上全部一色(例如，黑色、藍色、紅色、白色、等等)的影像或是具有重複的圖案(例如，格子狀、條紋狀、等等)。舉例而言，圖26中所示的空間上備用的影像2635具有重複的十字狀。由於重複的本質，所以合成影像2640的空間上備用的部份可以由編碼器容易地壓縮成為小量資料。此外，假使影像的序列都縮小且所使用之空間上備用的影像對於序列中的每一影像是相同的，則可以使用暫時壓縮以又更進一步地降低代表經過編碼的影像所需的資料量。
影像尺寸變更器2615的某些實施例也產生表示尺寸變更的影像的尺寸(例如，縮小影像2630的尺寸)之尺寸資料2620並將此產生的尺寸資料2620送至位元串管理器2625。某些實施例的尺寸資料2620以尺寸變更的影像2630之像素的列數目及像素的行數目(亦即，高度及寬度)來表示尺寸變更的影像2630的尺寸。在某些實施例中，尺寸資料2620也表示合成影像2640中尺寸變更的影像2630的位置。
在影像尺寸經過變更之後，合成影像2640經過控制器2645送至編碼器2650。如下更詳細說明般，在某些實施例中，速率控制器2645控制編碼器2650輸出的影像的位元速率(亦即，資料尺寸)。某些實施例的編碼器2650將影像壓縮及編碼。編碼器2650可以使用H.264編碼或另一編碼方法。
某些實施例的位元串管理器2625從編碼器2650接收一或更多經過編碼的影像之位元串以及將尺寸資料插入至位元串中。舉例而言，在某些實施例中，位元串管理器2625從影像尺寸變更器2615接收尺寸資料2620及將尺寸資料2620插入至從編碼器2650接收的經過編碼的合成影像2640的位元串2655中。在此情形中位元串管理器2625的輸出是包含尺寸資料2620之經過修改的位元串2660。不同的實施例將尺寸資料2620插入於位元串2655的不同位置中。舉例而言，位元串2660顯示插入在位元串2660開頭的尺寸資料2620。但是，其它實施例將尺寸資料2620插入在位元串2655的尾端、位元串2655的中間、或位元串2655之內的任何其它位置。
在某些實施例中，位元串2655是包含合成影像2640的一或更多經過編碼的影像之序列的位元串。在這些實施例中的某些實施例中，序列中的影像的尺寸都被變更為相同尺寸且尺寸資料2620表示那些尺寸變更的影像之尺寸。在影像被傳送至視訊會議的其它端上的裝置之後，接收裝置可以從位元串檢索尺寸資訊以及用尺寸資訊來將收到的影像適當地解碼。
圖27概念地顯示由例如驅動器2600等雙相機行動裝置的編碼器驅動器所執行的影像尺寸變更處理2700。處理2700始於接收(在2705)雙相機行動裝置的相機捕捉的影像(例如，影像2605)。當雙相機行動裝置正以二相機捕捉影像時，某些實施例對來自二相機的影像執行處理2700。
接著，處理2700變更(在2710)收到的影像的尺寸。如上所述，不同的實施例將影像2605不同地變更尺寸。舉例而言，圖26中的影像2605被縮小及疊加至空間上備用的影像2635以產生合成影像2640。
然後，處理2700將尺寸變更的影像(例如，包含尺寸變更的影像2630之合成影像2640)送至(在2715)編碼器2650以用於編碼。處理2700的某些實施例將尺寸變更的影像2630(包含於合成影像2640中)經由速率控制器送至編碼器2650，速率控制器係決定編碼器用以將影像編碼的位元速率。某些實施例的編碼器2650將影像壓縮及編碼(例如，使用離散餘弦轉換、量化、熵編碼、等等)以及將具有經過編碼的影像歸還至編碼器驅動器2600。
接著，處理2700將表示尺寸變更的影像的尺寸之資料(例如，尺寸資料2620)送至(在2720)位元串管理器。如圖26所示，在某些實施例中，在編碼器驅動器2600內執行此操作(亦即，在編碼器驅動器2600中一模組將尺寸資料傳送至編碼器驅動器2600中的另一模組)。
在尺寸變更的影像由編碼器2650編碼之後，處理2700從編碼器接收(在2725)位元串。如同所示，某些實施例在也接收尺寸資料的位元串管理器處接收位元串。收到的位元串包含經過編碼的合成影像，也在視訊序列中包含一或更多增加的影像。
然後，處理2700將表示尺寸變更的影像(例如，尺寸資料2620)的尺寸之資料插入位元串中(在2730)，以及結束。如圖26所示，在某些實施例中，此操作也由位元串管理器執行。如上所述，不同的實施例將尺寸資料插入至位元串的不同部份中。在所示的實施例中，如同所造成的位元串2660中所示般，尺寸資料2620插入至位元串2655的開端。此位元串現在可以傳送至參與視訊會議的另一裝置，而於其中被解碼及觀視。
在某些實施例中，解碼器驅動器(例如驅動器1640)執行編碼器驅動器的相反功能。亦即，解碼器驅動器從收到的位元串中檢索尺寸資料、將位元串傳遞至解碼器、以及使用尺寸資料以將經過解碼的影像之尺寸變更。圖28概念地顯示用於某些實施例的此解碼器驅動器2800的軟體架構以及顯示由解碼器驅動器2800對舉例說明的位元串2825執行舉例說明的位元串操控和尺寸變更操作。
在某些實施例中，位元串2825包含經過編碼的視訊影像(例如，來自例如驅動器2600等編碼器驅動器的位元串)，所述經過編碼的視訊影像係由視訊會議中的裝置的相機所捕捉的且傳送至解碼器驅動器2800於其上操作的裝置。參考圖16，在某些實施例中，位元串將由網路管理器1614接收並傳送至緩衝器1616，視訊解碼器模組1626可從緩衝器1616中檢索所述位元串，以及，所述位元串可從緩衝器1616傳送至解碼器驅動器1640。
如同所示，解碼器驅動器2800包含處理層2805。處理層2805包含影像尺寸變更器2810及位元串管理器2820。在某些實施例中，在影像被解碼之前及之後，這些模組2810和2820都對收到的影像執行不同的操作。雖然在本實施例中，影像尺寸變更器2810顯示作為解碼器驅動器2800的處理層2805的一部份，但是，某些實施例將影像尺寸變更器實施成為影像處理管理器1608的一部份而非解碼器驅動器的一部份(亦即，在從解碼器驅動器2800送出之後完成影像尺寸變更)。
如同所示，某些實施例的位元串管理器2820接收一或更多經過編碼的影像(亦即，視訊序列中的影像)的位元串，以及，在將位元串送至解碼器2835以用於解碼之前，從位元串檢索尺寸資料。舉例而言，如圖28所示，位元串管理器2820接收經過編碼的影像之位元串2825、從位元串影像2825檢索尺寸資料2815、以及將所造成的位元串2830(不具有尺寸資料2815)傳送至解碼器2835以用於解碼。如同所示，在某些實施例中，位元串管理器2820將檢索到的尺寸資料2815傳送至影像尺寸變更器2810。
某些實施例的尺寸資料2815與由編碼器驅動器2600插入至位元串中的尺寸資料2620相同。如同圖26的說明中之上述說明所述般，某些實施例的尺寸資料2815以子影像2845的像素的列的數目及像素的行的數目來表示子影像2845的尺寸。尺寸資料2815也表示在較大的空間上備用的影像2840內之子影像2845的位置。在本實施例中，位元串2825顯示插入在位元串2825的開端之尺寸資料2815。但是，如上所述般，不同的實施例將尺寸資料2815插入於位元串2825的不同位置處。
某些實施例的影像尺寸變更器2810使用從位元串管理器2820收到的尺寸資料以從影像中抽取出子影像。舉例而言，圖28顯示影像尺寸變更器2810，影像尺寸變更器2810從解碼器2835接收包含子影像2845的影像2840。如同所示，某些實施例的影像尺寸變更器2810從影像2840中抽取出子影像2845。此取出的影像接著被顯示於雙相機行動裝置上。
圖29概念地顯示由例如驅動器2800等參與視訊會議的裝置的解碼器驅動器所執行的某些實施例之影像抽取處理2900。處理始於接收(在2905)經過編碼的影像之位元串(例如位元串2825)。位元串可以從參與視訊會議的裝置送出，而在所述裝置上解碼器驅動器正在操作，或者，位元串可以儲存於裝置的儲存器中。當裝置正從多個源接收影像時，某些實施例對來自每一源的影像執行處理2900。
接著，處理2900從位元串中檢索(在2910)尺寸資料。如上所述，可以在位元串中的不同位置處發現此尺寸資料。某些實施例知道在何處尋找尺寸資料，而其它實施例尋找特定辨識標誌，所述特定辨識標誌標示尺寸資料位於收到的位元串中的何處。在某些實施例中，尺寸資料標示編碼影像中子影像的尺寸(例如每一列中的像素數目和每一行中的像素數目)及位置。
然後，處理2900將檢索到的尺寸資料送至(在2915)影像尺寸變更器。如同圖28所示，在某些實施例中，在解碼器驅動器內執行此操作(亦即，解碼器驅動器中的一模組傳送尺寸資料至解碼器驅動器中的另一模組)。
處理2900也將位元串送至(在2920)解碼器以用於解碼。在某些實施例中，解碼器將位元串解壓縮及解碼(例如，使用反離散餘弦轉換、反量化、等等)以及將重建的影像歸還至解碼器驅動器。
在位元串由解碼器解碼之後，處理2900從解碼器接收(在2925)已解碼影像。如同所示，某些實施例在影像尺寸變更器處接收影像，影像尺寸變更器也從位元串管理器接收資料。然後，處理使用收到的尺寸資料也從已解碼的影像中抽取(在2930)子影像。如同所示，如尺寸資料2815中標示般，從已解碼影像2840的左上方抽取子影像2845。此被抽取出來的子影像現在可以顯示於顯示裝置上(例如，雙相機行動裝置的螢幕)。
3.　速率控制器
在某些實施例中，裝置的二相機具有不同的特徵組。舉例而言，在某些實施例中，前相機是最佳化用於捕捉動作視訊影像之較低解析度的相機，而後相機是最佳化用於捕捉靜態影像之較高解析度的相機。基於例如裝置的成本、功能、及/或幾何等原因，其它實施例可以使用具有不同特徵的相機之不同條件。
具有不同特徵的相機導入不同的假影。舉例而言，更高解析度相機可能比較低解析度相機漏出更多雜訊。由更高解析度相機捕捉的影像可以比較低解析度影像捕捉的影像呈現更高程度的空間或時間複雜性。而且，具有不同光學特性之不同相機可以將不同的伽瑪值導至捕捉的影像。由不同的相機用以捕捉影像之不同的感光機制也會導入不同的假影。
這些相機特定加工品中的某些加工品隱藏從其它產生的假影。舉例而言，在由具有高度雜訊的高解析度相機捕捉的影像中，視訊編碼處理的副產品之假影變得較看不見。當將雜訊(例如量化失真)編碼藏在相機特定假影之後時，視訊編碼處理可以使用更大的量化步驟以取得更低的位元速率。另一方面，當相機導入較少假影(例如在較低解析度相機的情形中)時，視訊編碼處理可以使用較精密的量化步驟尺寸以避免導因於量化的不可接受的視覺失真程度。因此，被最佳化以利用或補償這些相機特定特徵的視訊編碼處理可以比不注意這些相機特定特徵的視訊編碼處理更佳地完成速率失真交易。
為了利用這些相機特定特徵以執行速率失真交易，某些實施例實施二視訊編碼處理，每一處理係被最佳至用於二相機中的每一處理。圖30顯示具有用於二相機3060和3070之二視訊編碼處理的系統實施例。如圖30所示，系統3000包含編碼器驅動器3010、速率控制器3020和3040、及視訊編碼器3030。編碼器3030將從視訊相機3060和3070捕捉的視訊影像編碼成位元串3080和3090。
在某些實施例中，視訊編碼器驅動器3010是在一或更多處理單元上執行的軟體模組。其提供視訊編碼器3030與例如攝影機、影像處理模組、網路管理模組及儲存緩衝器等系統的其它元件之間的介面。編碼器驅動器3010控制從相機及影像處理模組至視訊編碼器3030之捕捉的視訊影像流，且其也提供用於已編碼的位元串3080和3090的導管給儲存緩衝器及網路管理模組。
如圖30所示，編碼器驅動器3010包含速率控制器的二不同實施例3020和3040。這些多個實施例可以是用於二不同的相機之二不同的速率控制器，或者以二不同方式規劃以用於二不同相機的一個速率控制器。具體而言，在某些實施例中，二速率控制器3020和3040代表二分開的速率控制器。或者，在其它的實施例中，二速率控制器3020和3040是單一速率控制器的二不同的配置。
圖30也顯示包含狀態緩衝器3015的編碼器驅動器3010，狀態緩衝器3015儲存用於速率控制操作的編碼狀態資訊以在視訊會議期間使用。具體而言，在某些實施例中，二不同的速率控制器、或同一速率控制器的二不同規劃，在視訊會議期間共享儲存於狀態緩衝器3015中的相同的編碼狀態資訊。狀態資訊的此共享，在雙視訊捕捉視訊會議中允許均勻的速率控制器操作。此分享在單一視訊捕捉視訊會議中，在切換相機操作期間，也允許最佳視訊編碼(亦即，允許用於目前相機捕捉的視訊的編碼之速率控制操作使用編碼狀態資訊，所述編碼狀態資訊由用於先前相機所捕捉的視訊之編碼的速率控制操作維持)。圖30顯示狀態緩衝器3015為編碼器驅動器3010的一部份，但是，其它實施例將狀態緩衝器3015實施在編碼器驅動器3010之外。
在狀態緩衝器3015中，不同的實施例儲存不同型式的資料(例如，不同型式的編碼參數)以代表編碼狀態資訊。此編碼狀態資訊的一實施例是用於視訊會議的目前標的位元速率。在III.B一節之上述中，說明用於辨識標的位元速率的一方式。此編碼狀態資訊的其它實施例包含緩衝器充滿、最大緩衝器充滿、一或更多最近已編碼的框之位元速率、以及其它編碼狀態資訊。
然後，速率控制器可以使用標的位元速率(或儲存於狀態緩衝器中的另一編碼狀態參數)以計算其速率控制操作中所使用的一或更多參數。舉例而言，如同下述進一步說明般，某些實施例的速率控制器使用目前的標的位元以計算用於巨集區塊或框的量化參數QP。舉例而言，某些實施例使用目前的標的位元速率以計算量化調整參數，從所述量化調整參數，它們推導出用於巨集區塊及/或框的量化參數QP。因此，在視訊會議中相機切換操作期間，在(二速率控制器的或是一個速率控制器的二不同規劃的)二速率控制操作之間共享標的位元速率，允許用於將目前相機捕捉的視訊編碼之速率控制操作從用於將先前相機捕捉的視訊編碼之先前速率控制操作得到將狀態資料編碼的利益。
圖30顯示編碼器驅動器3010包含二不同的速率控制器實施例3020和3040。但是，在其它實施例中，這些速率控制器實施例3020和3040建於視訊編碼器3030中。視訊編碼器3030將相機3060和3070捕捉的視訊影像編碼成數位位元串3080和3090。在某些實施例中，視訊編碼器產生符合傳統的視訊碼化標準(例如，H.264 MPEG-4)之位元串。在這些實施例中的某些實施例中，視訊編碼器執行包含動作評估、離散餘弦轉換(DCT)、量化、及熵編碼之編碼操作。視訊編碼器也執行解碼操作，所述解碼操作是編碼操作的反向功能。
在某些實施例中，編碼器3030包含用於執行量化的量化器模組3032。量化器模組由來自速率控制器3020或3040的量化參數3022或3042控制。如同下述進一步說明般，在某些實施例中，每一量化參數由對應的速率控制器設定且為與速率控制器相關連的相機之一或更多屬性的函數。速率控制器藉由設定較粗略量化步驟尺寸，可以降低用於編碼的位元數目，或者藉由設定較精細的量化步驟尺寸，可以增加所使用的位元數目。藉由控制量化步驟尺寸，速率控制器也決定有多少失真會被導入視訊影像中。因此，速率控制器可以在位元速率與影像品質之間執行交易。在執行速率失真交易時，速率控制器監視位元速率以致於不會使記憶體緩衝器滿溢，使記憶體緩衝器下溢，或是超過傳輸通道容量。速率控制器必須也控制位元速率以便提供最佳的可能影像品質以及避免導因於量化之令人無法接受的影像品質失真。在某些實施例中，每一速率控制器將以狀態資料值組而論的監視資料儲存於狀態緩衝器3015中。在某些實施例，速率控制器3020和3040使用相機特定屬性以最佳化速率失真交易。
在某些實施例中，每一速率控制器藉由施加修正因數至其量化參數以最佳化速率失真交易。在這些實施例中的某些實施例中，修正因數是預先決定的並與相機一起內建於裝置中；裝置不需要動態地計算這些修正因數。在其它實施例中，系統使用由相機捕捉的進入影像以動態地決定相機專用的適當修正因數。在這些實施例中的某些實施例中，系統在多個編碼操作中分析相機捕捉的進入的視訊影像序列，以收集有關相機的某些統計。然後，系統使用這些統計以推導出對相機而言是最佳化的量化參數之修正因數。
在某些實施例中，這些相機特定修正因數經由視訊影像的視覺遮罩屬性而應用至量化參數。影像的視覺遮罩屬性或是影像的一部份是影像或影像部份中可以容忍多少碼化假影的標示。某些實施例計算量化影像或影像部份的亮度能量之視覺遮罩屬性，而其它實施例計算量化影像或影像部份的活動能量或複雜度。無論如何計算視覺遮罩屬性，某些實施例總是使用視覺遮罩屬性來計算用於視訊框的修正過或被遮罩的量化參數。這些實施例中的某些實施例以框等級視覺遮罩屬性φframe及參考視覺遮罩屬性φR的函數來計算被遮罩的量化參數。在某些實施例中，由視覺遮罩屬性φframe及φR修改的量化參數表示如下：
MQP frame =QP nom +β frame *(φ frame -φ R )/φ R 　(1)
其中，MQPframe是用於框之被遮罩或修改的量化參數，QPnom是初始或額定量化值，βffame是用於本地統計的常數。在某些實施例中，參考視覺遮罩屬性φR及額定量化參數QPnom是預定來自網路條件的初始的或週期的評估。
在某些實施例中，如下所述般計算等式(1)中的視覺遮罩屬性φframe：
φ frame =C‧(E‧avgFrameLuma) β ‧(D‧avgFrameSAD) α 　(2)
其中，avgFrameLuma是框的平均亮度值，avgFrameSAD是框的差的絕對值的平均總合。常數α、β、C、D及E用於本地統計。在某些實施例中，這些常數用於相機特定特徵。
某些實施例也計算用於例如巨集區塊等視訊影像的部份之被遮罩的量化參數。在那些實施例中，以巨集視覺遮罩屬性φMB的函數來計算被遮罩的量化參數：
MQP MB =MQP f rame +β MB *(φ MB -φ frame )/φ frame 　(3)
其中，βMB是用於本地統計的常數，在某些實施例中，使用等式(1)和(2)，計算MQPffame。在某些實施例中，如下所述般計算等式(3)中的視覺遮罩屬性φMB
φ MB =A‧(C‧avgMBLuma) β ‧(B‧MBSAD) α 　(4)
其中，avgMBLuma是巨集區塊的平均亮度值，以及，avgMBSAD是巨集區塊的差的絕對值的平均總合。常數α、β、A、B及C用於本地統計。在某些實施例中，這些常數用於相機特定特徵。
除了如上所述使用多個相機特定常數以計算修改過的量化參數之外，某些實施例藉由僅使用單一相機特定係數來計算量化參數而執行相機特定速率控制。舉例而言，給定視覺遮罩屬性φframe及φMB以及量化參數QPframe，某些實施例使用單一相機特定係數μ以如下所述般地計算巨集區塊的量化參數：
QPMB=μ‧(φframe-φMB)+QPframe　(5)
為了計算等式(5)，某些實施例使用框的及巨集區塊的複雜度測量分別作為視覺遮罩屬性φframe及φMB。
某些實施例在計算QPMB時應用不同的相機特定係數。舉例而言，在某些實施例中QPMB如下所述般計算
QPMB=ρ‧(1-φMB/φframe)‧QPframe+QPframe　(6)
其中，ρ是與相機特定特徵相協調的係數。
如上所述，狀態緩衝器3015儲存二不同速率控制器實施例3020和3040在視訊會議期間可以共享的編碼狀態資訊，以便從它們的速率控制操作取得更佳的編碼結果。在某些實施例中，標的位元速率RT是此共享的狀態資訊的一實施例。此速率是用於將框序列編碼之所需的位元速率。典型地，以位元/秒來表示此位元速率，以及，根據類似於上述III.B中所述的處理，決定此位元速率。
如上所述般，某些實施例的速率控制器使用標的位元速率以計算其輸出至視訊編碼器3030的框及/或巨集區塊量化參數(QP)。某些實施例使用目前標的位元速率以計算量化調整參數，它們從量化調整參數推導出用於巨集區塊及/或框的量化參數QP。在某些實施例中，以分數來表示量化調整參數，所述分數係藉由先前框的位元速率或先前框的位元速率的執行平均值除以目前標的位元速率而算出的。在其它實施例中，此調整參數並非完全地依此方式計算，而是更一般地(1)與先前框的位元速率或先前框的位元速率的執行平均值成正比、以及(2)與目前標的位元速率成反比。
在計算此量化調整參數之後，某些實施例的速率控制器使用此參數以調整其輸出的巨集區塊及/或框量化參數。執行此調整的一方式是將經過計算的巨集區塊及/或框量化參數乘以量化調整參數。執行此調整的另一方式是從量化調整參數計算偏離量化參數，然後，將此偏離參數(例如，減掉)應用至經過計算的巨集區塊及/或框量化參數。這些實施例的速率控制器然後輸出經過調整的巨集區塊及/或框量化參數至視訊編碼器3030。
在其它實施例中，速率控制器使用標的位元速率以計算在其速率控制操作中使用的其它參數。舉例而言，在某些實施例中，速率控制器使用此位元以修改用於巨集區塊或框的視覺遮罩強度。
G.　網路管理器
圖31概念地顯示例如圖16中所示的網路管理器1614等某些實施例的網路管理器3100的軟體架構。如上所述，網路管理器3100管理雙相機行動裝置與視訊會議中的遠端裝置之間的網路連接(例如，連接建立、連接監視、連接調整、連接拆除、等等)，網路管理器3100在所述管理雙相機行動裝置上執行。在視訊會議期間，某些實施例的網路管理器3100也處理用於傳送至遠端裝置的資料以及處理從遠端裝置收到的資料。
如圖31所示，網路管理器3100包含會議協商管理器3105、發送器模組3115、通用傳輸緩衝器3120、通用傳輸緩衝器管理器3122、虛擬交通協定(VTP)管理器3125、接收器模組3130、及媒體交通管理器3135。
會議協商管理器3105包含通訊協定管理器3110。通訊協定管理器3110確保發送器模組3115使用正確的通訊協定以在視訊會議期間傳送資料至遠端裝置以及加強使用的通訊協定的管理。通訊協定管理器3110的某些實施例支援一些通訊協定，例如即時交通通訊協定(RTP)、傳輸控制通訊協定(TCP)、使用者資料包通訊協定(UDP)、及超文件傳送通訊協定(HTTP)、等等。
會議協商管理器3105負責建立雙相機行動裝置與參與視訊會議的一或更多遠端裝置之間的連接、以及在會議之後拆解這些連接。在某些實施例中，會議協商管理器3105也負責在雙相機行動裝置與視訊會議的遠端裝置之間(使用會議初始化通訊協定(SIP))建立多媒體通訊區(例如，傳送及接收視訊及/或音訊串)。
會議協商管理器3105也從媒體交通管理器315接收回饋資料，以及，根據回饋資料，經由通用傳輸緩衝器管理器3122，決定通用傳輸緩衝器3120(例如，是否傳送或丟棄分封/框)。在某些實施例中，此回饋可以包含單向潛伏及頻寬評估位元速率。在其它實施例中，回饋包含分封遺失資訊及來回延遲時間(例如，根據送至視訊會議中的遠端裝置之分封及來自該裝置的確認之接收而決定的)。根據來自媒體傳輸管理器3135的資訊，會議協商管理器3105可以決定是否有太多分封正被傳送且指令通用傳輸緩衝器管理器3122使通用傳輸緩衝器3120傳送較少的分封(亦即，如圖15中所述般調整位元速率)。
發送器模組3115從視訊緩衝器(例如，圖16的緩衝器1612)檢索經過編碼的影像(例如，位元串)及將影像分封，以經由通用傳輸緩衝器3120和虛擬交通協定管理器3125而傳輸至視訊會議中的遠端裝置。經過編碼的影像被產生及傳送至發送器模組3115的方式可以根據從媒體交通管理器3135及/或會議協商管理器3105收到的指令或資料。在某些實施例中，將影像分封化涉及將收到的位元串打斷成均具有特定大小(亦即，根據特定通訊協定由會議協商管理器3105指定的大小)的分封組，並加上任何所需的表頭(例如，位址表頭、通訊協定規定表頭、等等)。
通用傳輸緩衝器管理器3122根據從會議協商管理器3105收到的資料及/或指令，控制通用傳輸緩衝器3120的操作。舉例而言，通用傳輸緩衝器管理器3122可以被指令以指示通用傳輸緩衝器3120傳送資料、停止傳送資料、丟棄資料、等等。如上所述，在某些實施例中，當參與會議的遠端裝置呈現正丟棄分封時，這將根據自遠端裝置收到的確認而被辨認。為了降低分封丟棄，通用傳輸緩衝器管理器3122可以被指令以較緩慢的速率傳送分封至遠端裝置。
通用傳輸緩衝器3120儲存自發送器模組3115收到的資料並將資料經由VTP管理器3125傳送至遠端裝置。如上所述，根據自通用傳輸緩衝器管理器3122收到的指令，通用傳輸緩衝器3120可以丟棄資料(例如，視訊的影像)。
在某些實施例中，在視訊會議期間，使用RTP於UDP上傳送資料分封(例如，音訊分封和視訊分封)。其它實施例在視訊會議期間使用RTP以在TCP上傳送資料分封。在不同的實施例中也可以使用其它的交通層通訊協定。
某些實施例藉由成對埠號數(亦即，源埠號數及目的地埠號數)以界定二行動裝置之間的特定通訊通道。舉例而言，在行動裝置之間的一通訊通道可以由一對埠號數(例如，源埠50和目的地埠100)界定，以及，在行動裝置之間的另一不同的通訊通道可以由另一不同對的埠號數(例如，源埠75和目的地埠150)界定。某些實施例在界定通訊通道時也使用成對的網際網路通訊協定(IP)位址。在某些實施例中使用不同的通訊通道以傳送不同型式的資料分封。舉例而言，視訊資料分封、音訊資料分封、及控制發訊資料分封可以在分別的通訊通道中傳送。確切而言，視訊通訊通道傳輸視訊資料分封，音訊通訊通道傳輸音訊資料分封。
在某些實施例中，控制通訊通道是用於在視訊會議期間在本地行動裝置與遠端裝置之間發訊。此發訊的實施例包含發送及接收請求、通知、及對這些請求和通知的確認。發訊的另一實施例包含將遠端控制指令訊息從一裝置傳送至另一裝置。舉例而言，藉由經由用於本地裝置的控制通訊通道而將指令從一本地裝置傳送至遠端裝置以遙控遠端裝置的操作，可以執行下述說明的遠端控制操作(例如，指令裝置從一特定相機僅傳送影像或是以特定相機僅捕捉影像)。不同的實施例使用例如即時傳輸控制通訊協定(RTCP)、RTP延伸、SIP等不同的通訊協定，實施控制通訊。舉例而言，某些實施例使用RTP延伸以在視訊會議中的二行動裝置之間中繼傳遞一組控制訊息，以及使用SIP分封以在視訊會議期間在行動裝置之間中繼傳遞另一組控制訊息。
某些實施例的VTP管理器3125允許被指定經由不同的通訊通道(例如使用不同對的埠號數)傳送之不同型式的資料分封經由單一通訊通道(例如，使用相同對的埠號數)傳送。用於執行此點的一技術涉及辨識資料分封型式、藉由取出資料分封的指定對的埠號數以辨識資料分封被指定要傳送通過的通訊通道、以及藉由將資料分封的成對的埠號數修改為單一通訊通道的成對的埠號數以指定資料分封經過單一通訊通道傳送(亦即，所有資料分封經過同對的埠號數傳送)。
為了保持追蹤用於資料分封的每一型式之原始成對的埠號數，某些實施例儲存用於資料分封型式的原始成對的埠號數。這些實施例中的某些實施例接著使用通訊協定的分封型式欄以區別正被多工化成為一通訊通道的不同分封。舉例而言，具有VTP管理器的某些實施例將音訊、視訊及控制分封多工化成為一RTP串、使用RTP分封型式欄以區別在一RTP通道中傳送至視訊會議中的另一裝置之音訊、視訊及控制分封。在這些實施例中的某些實施例中，VTP管理器也安排SIP分封中的控制發訊至其它裝置的路徑。
某些實施例辨識檢查資料分封特徵標誌(亦即，分封表頭格式)以區別使用不同通訊協定傳送的不同分封(例如，區別使用RTP傳輸的分封與使用SIP傳輸的分封)。在這些實施例中，在決定不同的通訊協定的資料分封之後，如上所述般檢查使用相同通訊協定(例如，使用RTP的音訊資料和視訊資料)之資料分封欄，以辨別不同的資料型式。依此方式，VTP管理器3125經由單一通訊通道傳送企圖經由不同的通訊通道傳送的不同資料分封。
雖然上述說明經由單一通訊頻道結合不同型式的資料之一方式，但是，其它實施例使用其它技術以將不同分封型式多工化成為一通訊串。舉例而言，某些實施例的一技術涉及追蹤資料分封的原始成對的埠號數並將原始成對的埠號數儲存於資料分封本身中以便往後取出。又有其它方式是將二視訊會議參與者之間的不同型式的資料結合成一埠對通道。
當VTP管理器3125經由虛擬化通訊通道而從遠端裝置接收資料分封時，VTP管理器3125檢查資料分封的特徵標誌以辨別使用不同的通訊協定傳送的不同分封。這些特徵標誌可以用以將SIP分封與RTP分封區別。某些實施例的VTP管理器也使用某些或所有的分封的分封型式欄以將被多工化成單一虛擬化通道之各種不同型式的分封(例如音訊、視訊和控制分封)解多工。在辨別這些不同型式的分封之後，VTP管理器根據其保有的埠成對號數的比對，將每一不同型式的分封與其對應的埠成對號數相關連。然後，VTP管理器3125修改具有經過辨別的埠號數對之資料分封的埠號數對，以及遞送資料分封以解分封。在使用不同的技術以將不同分封型式多工化成為單一通道的其它實施例中，VTP管理器使用不同的技術以對分封作語法分析。
藉由使用將不同分封多工化及解多工化的這些技術，VTP管理器3125產生單一的虛擬化通訊通道(例如，單對的埠號數)、經由單一虛擬化通訊通道傳送視訊資料、音訊資料、及控制發訊資料、以及經由單一虛擬化通訊通道而從遠端裝置接收音訊、視訊、及控制分封。因此，從網路的觀點而言，資料傳送經過此單一虛擬化通訊通道，而從會議協商管理器3105及通訊協定管理器3110的觀點而言，視訊資料、音訊資料、及控制發訊資料傳送經過不同的通訊通道。
類似於被傳送至視訊會議中的遠端裝置之影像，以分封格式接收從視訊會議中的遠端裝置傳送的影像。接收器模組3130接收分封，以及，在將影像儲存於視訊緩衝器(例如圖16的緩衝器1616)中以便解碼之前，將這些分封解分封以重建影像。在某些實施例中，將影像解分封涉及從分封中移除任何表頭及重建僅具有影像資料(及潛在的尺寸資料)的位元串。
媒體交通管理器3135處理從網路收到的回饋資料(例如，單向潛伏、頻寬評估位元速率、分封遺失資料、來回延遲時間資料、等等)，以動態地及適應地調整資料傳輸的速率(亦即，位元速率)。媒體交通管理器3135也根據經過處理的回饋資料來控制誤差彈性，以及，也將回饋資料送至視訊會議管理器1604以便調整例如調整比例、變更尺寸、及編碼等視訊會議模組1602的其它操作。當會議中的遠端裝置無法處理所有分封時具有通用傳輸緩衝器丟棄分封之外，視訊會議模組及編碼器還可以使用更低的位元速率以用於編碼，以致於將為每一影像傳送更少的分封。
在某些實施例中，如上所述般，媒體交通管理器3135也將監視例如耗電及熱程度等其它的裝置變數，這些裝置變數可以影響相機的操作功率模式如何規劃。此資料也可以作為回饋資料的增加輸入(例如，假使裝置正變得太熱時，媒體交通管理器3135嘗試使處理變慢)。
現在將參考圖16，說明網路管理器3100的數個舉例說明的操作。首先，將說明由雙相機行動裝置的相機捕捉的影像傳輸至視訊會議中的遠端裝置，接著說明從遠端裝置接收影像。發送器模組3115從緩衝器1612檢索要傳送至視訊會議中的遠端裝置之經過編碼的影像。
通訊協定管理器3110決定要使用的適當的通訊協定(例如，傳送音訊和視訊的RTP)，以及，會議協商管理器3105通知此通訊協定的發送器模組3115。接著，發送器模組3115將影像分封及將經過分封的影像傳送至通用傳輸緩衝器3120。通用傳輸緩衝器管理器3122從會議協商管理器3105接收指令以指示通用傳輸緩衝器3120傳送或丟棄影像。VTP管理器3125從通用傳輸緩衝器3120接收分封以及處理分封，以便經由單一通訊通道而傳送分封至遠端裝置。
當從遠端裝置接收影像時，VTP管理器3125經由虛擬化的單一通訊通道而從遠端裝置接收分封化的影像，以及，處理分封以將影像導引經過被指定接收影像的通訊通道(例如，視訊通訊通道)而至接收器模組3130。
接收器模組3130將分封解分封以重建影像並將影像送至緩衝器1616以由解碼器1660解碼。接收器模組3130也將控制發訊訊息遞送至媒體交通管理器3135(例如，自視訊會議中的遠端裝置收到的分封之確認)。
上述說明網路管理器3100的數個舉例說明的操作。這些僅為說明的實施例，不同的其它實施例可以使用不同的模組或以不同地散佈於模組之間的功能，執行這些或不同的操作。此外，藉由網路管理器3100的模組或其它模組，可以執行例如動態位元速率調整等其它操作。
IV.　會議中調整及控制操作
A.　畫中畫修改
1.　快動至角落
本發明的某些實施例允許雙相機行動裝置的使用者藉由使形成合成顯示的一或更多顯示區四週移動，以修改顯示於裝置上的合成顯示。一此實施例正四週移動PIP顯示的嵌入顯示區。圖32顯示視訊會議期間被執行的實施例。在視訊會議中，使用者可以為了各種理由而移動前景嵌入顯示區，例如，當此區域正遮蔽背景顯示區的感興趣的區域時。
圖32參考UI的五個不同階段3210、3215、3220、3225、及3230以顯示裝置的UI 3205中的嵌入顯示區3240的移動。第一階段3210顯示裝置的本地使用者與遠端裝置的遠端使用者之間的視訊會議期間的UI 3205。圖32中的UI 3205顯示視訊會議開始之後與顯示於圖11的第五階段中的PIP顯示相同的PIP顯示。在本實施例中，由本地使用者的裝置捕捉的視訊顯示於嵌入顯示區3240中，以及，由遠端使用者的裝置捕捉的視訊顯示於背景顯示區3235中。如同所示，顯示區1155包含用於結束視訊會議的可選取的UI選項3245。在某些實施例中，顯示區1155的佈局與上述圖12的顯示區1155的佈局相同。
第二階段3215顯示使用者藉由選取嵌入顯示區3240以啟動快動至角落的操作。在本實施例中，藉由將手指3255置於嵌入顯示區3240內的任意處以作出選取。如同所示，以粗邊界3260用於嵌入顯示區3240，以顯示此選取。不同的實施例可以以不同方式標示此選取，例如藉由凸顯顯示區3240、藉由使顯示區3240振盪、等等。
第三階段3220顯示使用者開始將PIP顯示3250的嵌入顯示區3240從PIP顯示3250中的一區域移至此顯示中的另一區域之後的UI 3205。在本實施例中，如同箭頭3265所示，嵌入顯示區3240開始從PIP顯示3250的左下角落移至此顯示的右下角落。在本實施例中，在第二階段3215中選取嵌入顯示之後，由使用者將其手指3255拖向PIP顯示3250的右下角落，以移動嵌入顯示區3240。某些實施例提供在PIP顯示3250中移動嵌入顯示區3240之其它技術。
第四階段3225顯示使用者將其手指3255從裝置3200的螢幕移開後的狀態中的UI 3205。在此狀態中，嵌入顯示區3240仍然移向根據第三階段3220中使用者的手指移動而被辨識的PIP顯示3250的右下角落。換言之，在手指3255開始將嵌入顯示區3240朝向PIP顯示3250的右下角落移動之後，即使手指3255移開，UI 3205仍然維持此移動。為了維持此移動，某些實施例的UI 3205要求使用者移開其手指3255之前使用者的拖曳操作大於特定的臨界量(例如，比特定距離還長或比特定時間長度還長)；否則，這些實施例在稍微或完全未移動此顯示區3240之後將嵌入顯示區3240保持在其原始左角落位置。
但是，雖然某些實施例允許嵌入顯示區在到達新位置之前，即使使用者停止其拖曳操作之後，嵌入顯示區仍然能移動，但是，其它實施例可以要求使用者維持其拖曳操作直到嵌入顯示區到達其新位置。某些實施例又提供其它技術，以將嵌入顯示區移動。舉例而言，某些實施例可以要求使用者在嵌入顯示區3240真正地開始移動之前指定要將嵌入顯示區3240導引至何處、等等。某些實施例也可以藉由簡單地依不同角度來傾斜裝置而允許顯示區滑動及快動至角落。
第五階段3230顯示嵌入顯示區3240到達其在PIP顯示3250的右底部角落處的新位置之後的UI 3205。在第五階段3230中的粗邊界3260的移除表示完成快動至角落操作。
為了便於上述第三、第四及第五階段3220、3225和3230中所示的移動，一旦使用者使嵌入顯示區移向角落時，某些實施例的UI 3205使用允許嵌入顯示區快速地快動至PIP顯示3250的角落之快動規則。舉例而言，當使用者以大於臨界量來拖曳嵌入顯示區3240至特定角落時，某些實施例的UI 3205辨識嵌入顯示區3240的動作方向、決定超過臨界量的動作、然後不需使用者進一步輸入即可接著自動地移動嵌入顯示區3240至嵌入顯示區3240要被快動至UI 3205中的下一格點。在某些實施例中，用於快動嵌入顯示區3240的僅有的格點是在PIP顯示3250的四個角落之格點。其它實施例在UI 3205中提供其它格點(例如，在PIP顯示3250中)，嵌入顯示區3240可以快動至這些格點(亦即，區域3240的邊或頂點可以置於其上或與其對齊)。
仍然有其它實施例未使用格點，以致於嵌入顯示區可以位於PIP顯示3250中的任何點。又有其它實施例提供允許使用者開啟或關閉快動至UI的格點特徵之特點。此外，除了裝置捕捉的視訊之外，不同的實施例還允許使用者以例如圖像等不同項目來執行快動至角落的操作。
圖33顯示UI 3205中的快動至角落的操作的二其它實施例3330和3335。這些其它快動至角落的操作顯示嵌入顯示區3240在PIP顯示3250中根據使用者的垂直或對角線拖曳而垂直地或對角線地移動。
即使圖32和33顯示PIP顯示內的嵌入顯示區的移動，習於此技藝者仍然將瞭解其它實施例可以使用類似的技術以在其它型式的PIP顯示中或是其它型式的合成顯示中移動顯示區。舉例而言，如同下述進一步說明般，某些實施例的PIP顯示具有二或更多前景嵌入顯示，且使用類似於參考圖32及33的上述中所述的技術，可以將這些嵌入顯示在PIP顯示中移動。而且，某些實施例使用類似的技術以四週地移動合成顯示之中的顯示區(例如，經由使用者的拖曳移動，將一顯示區從螢幕的左側移至螢幕的右側)。此外，合成顯示的顯示區的移動可以對雙相機行動裝置的影像處理操作造成改變，例如促使視訊會議管理器1604再合成合成顯示中的顯示區，以回應使用者的輸入。如同下述進一步說明般，某些實施例使用快動及推技術，當第二顯示區從第三位置移至第一位置時，從第一位置推動第一顯示區。
2.　旋轉
某些實施例當用於視訊會議的行動裝置的使用者在會議期間旋轉裝置時，將視訊會議期間呈現的PIP顯示旋轉。圖34顯示當裝置從垂直位置旋轉至水平位置時裝置3400的UI 1105的旋轉。當螢幕的長邊是垂直時裝置3400被垂直地固持，而當螢幕的長邊是水平時裝置3400被水平地固持。在圖34中所示的實施例中，UI 1105從對裝置的垂直固持最佳化的直式畫面旋轉至對裝置3400的水平固持最佳化的橫式觀視。此旋轉功能當行動裝置3400被垂直地或水平地固持時允許使用者觀視顯示於右上位置中的UI 1105。
圖34以六個不同的操作階段3410、3415、3420、3425、3430及3435顯示UI 1105的旋轉。第一階段3410顯示裝置的本地使用者與遠端裝置的遠端使用者之間於視訊會議期間的UI 1105。圖34中的UI 1105顯示視訊會議建立之後與圖11的第五階段中所示的PIP顯示相同的PIP顯示1180。在本實施例中，由本地使用者的裝置捕捉的視訊顯示於嵌入顯示區1160中，以及，由遠端使用者的裝置捕捉的視訊顯示於背景顯示區1170中。在PIP顯示1180之下的顯示區1155中，包含可選取的UI選項3485(例如，結束會議鍵3485)，使用者可以選取此UI選項3485以結束視訊會議(例如，經由單指碰觸)。
第二階段3415顯示使用者開始側向地傾斜裝置3400之後的UI 1105。在本實施例中，如同箭頭3460所示般，使用者開始將裝置3400從被垂直地固持傾斜至被水平地固持。UI 1105的外觀未改變。在其它情形中，替代地，使用者可以將裝置3400從被水平地固持傾斜至被垂直地固持以及，在這些情形中，UI 1105從水平最佳化畫面切換至垂直最佳化畫面。
第三階段3420顯示裝置3400已從被垂直地固持而傾斜至被水平地固持後的狀態中的UI 1105。在此狀態中，UI 1105的外觀仍然未改變。在某些實施例中，在裝置3400傾斜超過臨界量且保持超過此點一段持續時間之後，旋轉操作被觸發。在圖34所示的實施例中，假定旋轉的臨界量和速度不會造成UI 1105旋轉直到裝置已被置於水平位置之後一段短時間為止。不同的實施例具有用於觸發旋轉操作之不同的臨界量及等待時間。舉例而言，某些實施例可以具有此低臨界值以觸發旋轉操作，以致不論裝置3400的方向為何，使UI 1105仍然呈現好像總是顯示於右上方位置處。在其它實施例中，裝置3400的使用者可以指定旋轉操作何時被觸發(例如，經由選單偏好設定)。而且，某些實施例在裝置傾斜超過臨界量之後可能不會延遲旋轉。此外，不同的實施例可以允許旋轉操作被以不同方式觸發，例如藉由雙態觸動行動裝置上的開關、藉由給予聲音命令、經由選單選取、等等。
第四階段3425顯示旋轉操作啟動後的UI 1105。某些實施例使旋轉顯示區以動畫作動以回饋給與旋轉操作有關的使用者。圖34顯示一個此動畫的實施例。具體而言，在其第四階段3425中顯示顯示區1180和1155的旋轉一起開始。顯示區1180和1155圍繞經過UI 1105的中心之軸3465(亦即，z軸)旋轉。顯示區1180和1155以相同量旋轉但是以與裝置3400的旋轉方向相反的方向旋轉(例如，經由裝置3400的傾斜)。在本實施例中，由於裝置3400已以順時針方向旋轉九十度(從被垂直地固持至被水平地固持)，所以，旋轉操作將促使顯示區1180和1155以逆時鐘方向旋轉九十度。當顯示區1180和1155旋轉時，顯示區1180和1155成比例地縮小以適合UI 1105，以致於顯示區1180和1155仍然可以完合地顯示於UI 1105上。某些實施例可以提供訊息以標示此裝置3400的狀態(例如，藉由顯示「旋轉」文字)。
第五階段3430顯示顯示區1180和1155已從直式畫面逆時鐘旋轉90度至橫式畫面後的UI 1105。在此階段中，顯示區1180和1155已被旋轉但尚未擴展跨越UI 1105的全部寬度。箭頭3475標示第五階段結束時，顯示區1180和1155將開始橫向地擴展以適合UI 1105的全部寬度。由於擴展可以與第四階段3425中的旋轉同時地執行，所以，不同的實施例可以不包含此階段。
第六階段3435顯示在顯示區1180和1155已擴展至佔據UI 1105的全部顯示之後的UI 1105。如上所述，其它實施例可以不同地實施此旋轉。對某些實施例而言，不論裝置3400的方向為何，簡單地旋轉裝置的螢幕超過臨界量可以觸發旋轉操作。
而且，其它實施例可以提供不同的動畫，用於標示旋轉操作。圖34中執行的旋轉操作涉及顯示區1180和1155圍繞UI 1105的中心旋轉。或者，顯示區可以圍繞它們個別的顯示區的中心軸個別地旋轉。一此方式顯示於圖35中。圖35顯示使UI 1105的PIP顯示1180的顯示區1170和1160的旋轉以動畫作動的另一方法。圖35中所示的PIP顯示1180與圖11中所示的PIP顯示1180相同。
圖35顯示在六個不同操作階段3410、3415、3420、3525、3530、及3535之PIP顯示1180的旋轉。UI 1105的前三個操作階段與圖34中的UI 1105中所述的前三個操作階段相同。在圖34和35的第三階段，裝置3500已從被垂直地固持進入被水平地固持且UI 1105的旋轉尚未開始。
第四階段3525顯示動畫旋轉的另一方法。在此階段中，旋轉操作已啟動。具體而言，第四階段3525顯示顯示區1170和1160的旋轉開始。顯示區1170和1160分別圍繞經過每一顯示區的中心之軸(亦即，z軸)3567和3565旋轉。顯示區1170和1160以與裝置3500的旋轉量相同的量但相反的旋轉方向旋轉(例如，經由裝置3500的傾斜)。類似於上述圖34的第四階段3425中所示，由於裝置3500已在順時鐘方向上旋轉九十度(從被垂直地固持至被水平地固持)，所以，旋轉操作將造成顯示區1170和1160以逆時鐘方向旋轉九十度。當顯示區1170和1160旋轉時，顯示區1170和1160成比例地縮小以適合UI 1105，以致於顯示區1170和1160仍然可以完全地呈現於UI 1105上。
第五階段3530顯示顯示區1170和1160中的每一區從直式畫面逆時鐘旋轉九十度至橫式畫面之後的UI 1105。在此階段中，顯示區1170和1160已旋轉但是尚未擴展遍及UI 1105的全部寬度。此外，顯示區1160尚未移至其最終位置。如同第一階段3410中所示般，在PIP顯示1180中的嵌入顯示區1160的最終位置由PIP顯示1180中的嵌入顯示區1160的位置決定(例如，在PIP顯示1180的左下角中的嵌入顯示區1160)。在此階段中，嵌入顯示區1160仍然在UI 1105的左上角中。
箭頭3580標示在第五階段3530結束時，顯示區1170及1160仍然橫向地廣展直至主顯示區1170適合被水平地固持之裝置的UI 1105的全部寬度為止。此外，箭頭3575標示嵌入顯示區1165將滑至PIP顯示1180的左下角。
不同的實施例可以不同地實施此點。在某些實施例中，嵌入顯示區1160的移動可以與主顯示區1170的擴展同時地或依序地發生。此外，某些實施例可以在主顯示區1170擴展前後變更嵌入顯示區1160的尺寸，以產生新的PIP顯示1180。在本實施例中，當顯示區1160和1170正旋轉時，顯示區1155消失。但是，在某些實施例中，顯示區1155可以在旋轉期間維持在UI 1105上以及與顯示區1160和1170一起旋轉。
第六階段3535顯示顯示區1160到達其新的位置且顯示區1160和1170已適當地擴展至適合UI 1105的全部寬度之後的UI 1105。在本實施例中，嵌入顯示區1160現在處於PIP顯示1180的左下角，與主顯示區1170重疊。PIP顯示1180現在具有與來自第一階段3410的PIP顯示1180相同的顯示配置。在第六階段中在PIP顯示1180之下的顯示區1155的外觀標示旋轉操作完成。如上所述，無論裝置3500的方向為何，簡單地旋轉裝置的螢幕至超過量界量可以觸發旋轉操作。
在參考圖34和35的上述實施例中，顯示區1170的方向也改變(亦即，從直式至橫式)。亦即，在顯示區1170在第三階段3420中旋轉之後，藉由水平地擴展PIP顯示1180以致於其填充整個UI 1105，顯示區1170的方向會從直式變成橫式。在某些實施例中，當裝置3500旋轉時，由遠端裝置捕捉的視訊會旋轉但是顯示遠端裝置捕捉的視訊之顯示區的方向維持未變。一此實施例顯示於圖36中。顯示區1170中顯示的視訊旋轉但顯示區1170維持直式方式顯示除外，此圖類似於圖35。
圖36也顯示旋轉操作的實施例，其中，顯示區1155維持在相同的位置(取代如圖35所示的旋轉及水平地擴展至填充PIP顯示1180)。此外，此圖包含與圖12中上述的顯示區1155的佈局相同的顯示區1155的佈局。如同所示，當裝置3500在階段3640、3645、3650、3655、3685、及3690中旋轉時，顯示區1155都維持相同的位置。
某些實施例提供旋轉操作，其中，顯示本地裝置捕捉的顯示視訊之顯示區的方向改變(取代如圖35所示之維持在相同方向)以反應對本地裝置執行旋轉操作之後本地裝置的方向。圖36顯示參考六個不同階段3640、3645、3650、3655、3685、及3690之UI 1105的此旋轉操作的實施例。在此圖中，第一階段3640以直式方向顯示嵌入顯示區1160，其顯示裝置3500的相機捕捉的視訊。當顯示旋轉操作的不同階段之裝置3500的傾斜時，第二及第三階段3645和3650類似於圖35的第二和第三階段3415和3420。在此點，裝置3500的相機正以橫式方向捕捉像機。為了標示此轉變，某些實施例提供如第四和第五階段3655和3685中所示的動畫，而某些實施例完全未提供任何動畫。
在第四階段3655中，由於第二和第三階段3445和3650中裝置3500的傾斜已使嵌入顯示區1160旋轉至橫式方向，所以，顯示於嵌入顯示區1160中的影像被旋轉而非顯示嵌入顯示區1160本身。在第五階段3685中，嵌入顯示區1160中被旋轉的影像水平地擴展至填充嵌入顯示區1160且嵌入顯示區1160開始移向PIP顯示1180的左下區以將嵌入顯示區1160定位於與第一階段3640的PIP顯示中的嵌入顯示區1160相同的相對位置。
在某些實施例中，顯示遠端裝置捕捉的視訊之顯示區的方向也改變以反應對遠端裝置執行旋轉操作後的遠端裝置的方向。圖37顯示裝置3500的UI 1105的四個不同階段，其中，(1)顯示本地裝置捕捉的視訊之顯示區(在本實施例中為顯示區1160)的方向改變以反應對本地裝置執行旋轉操作後本地裝置的方向，以及，(2)顯示遠端裝置捕捉的視訊之顯示區(在本實施例中為顯示區1170)的方向改變以反應對遠地裝置執行旋轉操作後遠地裝置的方向。
在第一階段3705中，UI 1105與圖36中的UI 1105相同。具體而言，由於裝置3500以直式方向顯示且遠端裝置處於直式方向(未顯示)，所以，第一階段3705以直式方向顯示顯示區1160和1170。從第一階段3705至第二階段3710，藉由將裝置3500從右上位置九十度旋轉至側邊位置，對本地裝置執行旋轉操作。第二階段3710顯示裝置3500的旋轉操作完成之後的UI 1105。在此階段中，顯示於顯示區1170和1160中的視訊已旋轉至右上方位置。但是，由於僅對本地裝置(亦即，裝置3500)執行旋轉操作，所以，僅有本地捕捉的視訊之顯示區1160已從直式方向旋轉至橫式方向。顯示區1170維持在直式方向。
從第二階段3710至第三階段3715，藉由將遠端裝置從右上方位置旋轉至側邊位置(未顯示)，對遠端裝置執行旋轉操作。第三階段3715顯示遠端裝置的旋轉操作完成後的UI 1105。在此階段中，由於僅對遠端裝置執行旋轉操作，所以，顯示於顯示區1170中的視訊及遠端捕捉的視訊的顯示區1170已從直式方向旋轉至橫式方向。因此，UI 1105的此階段以橫式方向顯示本地及遠端捕捉的視訊之顯示區1170和1160。
從第三階段3715至第四階段3720，藉由將裝置3500從側邊位置九十度旋轉至右上方位置，以對本地裝置執行旋轉操作。第四階段3720顯示此旋轉操作完成後的UI 1105。在此第四階段3720中，顯示於顯示區1160和1170中的視訊已旋轉至右上方位置。但是，由於僅對本地裝置(亦即，裝置3500)執行旋轉，所以，僅有本地捕捉的視訊之顯示區1160從橫式方向旋轉至直式方式。顯示區1170維持橫式方向。
從第四階段3720至第一階段3705，藉由將遠端裝置從側邊位置九十度旋轉至右上方位置(未顯示)，以對遠端裝置執行旋轉操作。在此情形中，第一階段3705顯示此旋轉操作完成後的顯示區1170。因此，此階段的UI 1105顯示直式方向的顯示區1160和1170。雖然圖37顯示不同旋轉操作的序列，但是，其它實施例可以以任何數目的不同序列來執行任何次數的旋轉操作。
圖34、35、36和37說明視訊會議期間對本地和遠端裝置執行的旋轉操作。當對本地行動裝置執行旋轉操作時，某些實施例依造遠端裝置的次序通知旋轉操作的遠端裝置對本地視訊執行任何修改(例如旋轉正顯示本地裝置的視訊之顯示區)。類似地，當對遠端裝置執行旋轉操作時，遠端裝置通知此操作的本地裝置允許本地裝置對遠端裝置的視訊執行任何修改。某些實施例提供控制通訊通道，用於在視訊會議期間在本地與遠地裝置之間傳送旋轉操作的通知。
即使圖34、35、36、及37顯示可以執行旋轉動畫的不同方式，習於此技藝者將瞭解其它實施例可以以其它不同方式來顯示旋轉的動畫。此外，旋轉操作的動畫可以對本地行動裝置的影像處理操作造成改變，例如使視訊會議管理器1604再合成UI 1105中不同角度的顯示區以及將顯示區中顯示的影像調整比例。
3.　視窗尺寸調整
某些實施例允許行動裝置的使用者調整視訊會議期間呈現的PIP顯示之嵌入顯示區的尺寸。不同的實施例提供變更嵌入顯示區的尺寸的不同技術。圖38顯示用於變更嵌入顯示區的尺寸之一方式。在此方式中，行動裝置的使用者藉由選取嵌入顯示區的角度，然後擴展或縮小嵌入顯示區，以調整嵌入顯示區的尺寸。
在圖38中，行動裝置3825的UI 3800呈現具有另一行動裝置的遠端使用者之視訊會議期間的PIP顯示3865。此PIP顯示3865包含二視訊顯示：背景主顯示區3830和前景嵌入顯示區3835。背景主顯示區3830佔據PIP顯示3865的主要部份，而前景主顯示區3835較小且重疊背景主顯示區3830。在本實施例中，背景主顯示區3830呈現持著吉他的人的視訊，此人被假定為其視訊正由遠端裝置的前相機捕捉的人或是其視訊正由遠端裝置的後相機捕捉的人。前景主顯示區3835呈現戴帽子的人的視訊，在本實施例中，此人被假定為其視訊正由本地裝置的前相機捕捉的人或是其視訊正由本地裝置的後相機捕捉的人。在PIP顯示3865之下是顯示區1155，顯示區1155包含標有「End Conference(結束會議)」之可選取的UI選項3860(例如鍵3860)，允許使用者藉由選取此選項以結束視訊會議。
此PIP顯示3865僅為呈現遠端和本地裝置正捕捉的視訊的合成畫面之一方式。某些實施例可以提供其它的合成畫面。舉例而言，取代具有用於來自遠端裝置的視訊之較大的背景顯示，較大的背景顯示可以具有來自本地裝置的視訊，而較小的前景嵌入顯示可以具有來自遠端裝置的視訊。而且，某些實施例允許本地和遠端視訊以二個邊接邊的顯示區呈現於UI 3800中(例如，左及右顯示視窗，或是上及下顯示視窗)或是二個對角線對齊的顯示區。在某些實施例中，PIP顯示或內定顯示模式的方式可以由使用者指定。在其它實施例中，PIP顯示也可以含有較大的背景顯示及二個較小的前景嵌入顯示。
圖38以UI 3800的四個操作階段顯示尺寸變更的操作。在第一階段3805中，前景嵌入顯示區3835實質上小於背景主顯示區3830。而且，在本實施例中，前景嵌入顯示區3835位於PIP顯示3865的右下角。在其它實施例中，前景嵌入顯示區3835可以是不同的尺寸或是位於PIP顯示3865中的不同區域中。
在第二階段3810中，初始化尺寸變更操作。在本實施例中，藉由選取使用者要變更尺寸的嵌入顯示區3835的角落(例如，藉由將手指3840向下保持在嵌入顯示區3835的左上角落上)，以初始化操作。UI 3800的第二階段3810以用於嵌入顯示區3835的粗邊界3845來標示此選取。在此階段，使用者可以擴展或縮小嵌入顯示區3835(例如，藉由將其在PIP顯示3865上的手指3840拖離嵌入顯示區3835或拖向嵌入顯示區3835)。
第三階段3815顯示使用者如箭頭3850所示般將其手指3840移離嵌入顯示區3835(亦即，在本實施例中，藉由將其手指對角線地移向UI 3800的左上角)以擴展嵌入顯示區3835之後的UI 3800。而且，如箭頭3855所示般，手指3840的移動在高度及寬度上依比例地擴展嵌入顯示區3835。在其它實施例中，使用者可以使用相同的技術以縮小嵌入顯示區3835(亦即，藉由將手指拖向嵌入顯示區3835)。
第四階段3820顯示嵌入顯示區3835的尺寸變更已完成後的UI 3800。在本實施例中，一旦嵌入顯示區3835達到所需尺寸時，使用者藉由停止其手指3840的拖曳及將其手指從PIP顯示3865移離，以完成嵌入顯示區的尺寸變更。因為此程序的結果，所以尺寸變更的嵌入顯示區3835大於第一階段3805中其原始的尺寸。粗邊界3845的移除表示現在完成嵌入顯示區尺寸變更的操作。
某些實施例提供其它技術，用於允許使用者在視訊會議期間變更PIP顯示3865中的嵌入顯示區3835的尺寸。圖39顯示一此其它技術。此圖顯示一技術，其藉由選取嵌入顯示區3835的邊緣(亦即，在此顯示區3835的側邊之一上)，然後擴展或縮小嵌入顯示區3835，以變更嵌入顯示區3835的尺寸。
圖39以圖38的UI 3800的四個操作階段來顯示尺寸變更操作。圖39中的第一階段3805與圖38中的第一階段3805相同。具體而言，在此階段中，裝置3925的UI 3800顯示PIP顯示3865，PIP顯示3865具有較大的背景主顯示區3830以及在PIP顯示3865的右底角落之較小的前景嵌入顯示區3835。即使圖38和39顯示用於變更相同的UI 3800中的嵌入顯示區3835的尺寸之二不同技術，習於此技藝者仍然可以瞭解某些實施例將不會在相同的UI中提供這二種技術。
第二階段3910顯示尺寸變更操作的開始。在本實施例中，使用者藉由選取使用者要變更尺寸的嵌入顯示區3835的側邊(例如，藉由將手指3840朝下置於嵌入顯示區3835的頂邊緣或側邊緣上)以啟始操作。在本實施例中，使用者將其手指3840置於嵌入顯示區3835的頂邊緣上以作此選取。第二階段3910以用於嵌入顯示區3835的粗邊界3845來標示此選取。
第三階段3915顯示使用者如箭頭3950所示般將其手指3840移離嵌入顯示區3835(亦即，垂直地朝向PIP顯示3865的頂部)以擴展嵌入顯示區3835之後的UI 3800。而且，如箭頭3955所示般，手指3840的移動在高度及寬度上依比例地擴展嵌入顯示區3835。在其它實施例中，使用者可以使用相同的技術以縮小顯示區3835(例如，藉由將手指3840拖向嵌入顯示區3835)。
第四階段3920顯示完成嵌入顯示區3835之後的UI 3800。在本實施例中，一旦嵌入顯示區3835達到所需尺寸時，使用者藉由停止其手指3840的拖曳及將其手指3840從裝置的顯示螢幕移除，以完成嵌入顯示區3835的尺寸變更。由於此程序的結果，所以尺寸變更的嵌入顯示區3835大於第一階段3805中其原始的尺寸。粗邊界3845的移除表示現在完成嵌入顯示區尺寸變更的操作。
為回應拖曳操作，如圖38和39所示，某些實施例在高度及寬度上依比例地調整嵌入顯示區3835的尺寸。其它實施例允許使用者調整嵌入顯示區3835的高度及/或寬度，但不會影響其它屬性。圖40顯示一此尺寸變更方式的實施例。
具體而言，圖40顯示行動裝置4025的UI 3800，其類似於圖38的UI 3800，但是，當嵌入顯示區3835的邊緣之一被選取及水平地或垂直地移除時圖40的UI 3800允許嵌入顯示區3835在水平方向及/或垂直方向上擴展除外。為了簡化UI 3800的說明，圖40顯示類似於圖38的PIP顯示3865之UI 3800中的PIP顯示3865，但是，現在嵌入顯示區3835在PIP顯示3865的右上角除外。PIP顯示3865包含二視訊顯示：背景主顯示區3830及前景嵌入顯示區3835。在本實施例中，背景主顯示區3830代表正由遠端裝置的前相機或背相機捕捉的視訊。前景嵌入顯示區3835呈現正由本地裝置的前相機或後相機捕捉的視訊。
類似於圖38，圖40以UI 3800的四個操作階段顯示尺寸變更的操作。第一階段4005類似於圖38的第一階段3805，但是，現在嵌入顯示區3835在右上角除外。其它三個階段4010、4015及4020類似於三階段3910、3915及3920，但是，嵌入顯示區3835的底部邊緣的移動及選取使得嵌入顯示區3835僅在垂直方向上擴展而不會影響嵌入顯示區3835的寬度除外。
圖38、39、及40提供舉例說明的實施例，允許使用者藉由選取嵌入顯示區3835的側邊或角落以變更PIP顯示3865的嵌入顯示區3835的尺寸。某些實施例提供用於變更嵌入視窗3835的尺寸之其它技術。舉例而言，圖41顯示某些實施例藉由選取嵌入顯示區3835的內部而允許嵌入顯示區3835被變更尺寸。在此方式中，使用者藉由將二手指4155和4156置於螢幕上及將這些手指彼此拖離或朝向彼此拖曳，以調整嵌入顯示區3835的尺寸。
在圖41中，行動裝置4140的UI 3800提供另一行動裝置的遠端使用者給視訊會議期間PIP顯示3865。為了簡化UI 3800的說明，圖41顯示類似於圖38的PIP顯示3865的此UI 3800中的PIP顯示3865。
圖41以UI 3800的七個操作階段顯示尺寸變更操作。前四個階段3805、4110、4115、及4120顯示嵌入顯示區3835的擴展，而最後三個階段顯示嵌入顯示區3835的縮小。圖41中的第一階段3805與圖38中的第一階段3805相同。具體而言，在此階段中，UI 3800顯示具有較大的背景主顯示區3830和較小的前景嵌入顯示區3835之PIP顯示3865。在本實施例中，背景主顯示區3830呈現正由遠端裝置的前相機或後相機捕捉的視訊。前景嵌入顯示區3835提供正由本地裝置的前相機或後相機捕捉的視訊。
第二階段4110顯示尺寸變更操作啟始之後的UI 3800。在本實施例中，使用者藉由選取使用者要變更尺寸的嵌入顯示區3835以初始化操作(例如，藉由將二手指4155和4156向下置於嵌入顯示區3835之內)。UI 3800的第二階段4110以用於嵌入顯示區3835的粗邊界4190來標示此選取。
第三階段4115顯示使用者如箭頭4160所示般將其手指4155和4156彼此移離(亦即，將手指4155移向PIP顯示3865的左上角以及將手指4156移向PIP顯示3865的右下角)以開始擴展嵌入顯示區3835之後的UI 3800。如箭頭4165所示般，手指4155和4156的移動在高度及寬度上成比例地擴展嵌入顯示區3835。
第四階段4120顯示嵌入顯示區3835的尺寸變更完成之後的UI 3800。在本實施例中，使用者藉由停止其手指4155和4156的拖曳以及將其手指4155和4156從裝置的顯示螢幕移離，以完成嵌入顯示區3835的尺寸變更。由於此程式的結果，尺寸變更的嵌入顯示區3835大於第一階段3805中其原始的尺寸。粗邊界4190的移除表示現在完成嵌入顯示區尺寸變更的操作。
在第五階段4125中，使用者藉由將二手指4155和4156向下置於嵌入顯示區3835上以再選取嵌入顯示區3835。第六階段4130顯示使用者如箭頭4170所示般將其手指4155和4156一起移動得更接近以開始縮小嵌入顯示區3835後的UI 3800。如箭頭4175所示般，手指4155和4156的移動已在高度及寬度上成比例地縮小嵌入顯示3835。
第七階段4135類似於圖41中的第四階段4120，但是嵌入顯示區3835因操作結果而尺寸縮小除外。粗邊界4190的移除表示嵌入顯示區尺寸變更操作現在完成。
圖38-41的上述說明顯示數個舉例說明的使用者介面，其允許使用者變更PIP顯示的嵌入顯示區的尺寸。在某些實施例中，嵌入顯示區的尺寸變更造成雙相機行動裝置的影像處理操作之改變，例如使視訊會議管理器1604改變PIP顯示中嵌入顯示區的比例調整及合成，以回應使用者的輸入。此外，在某些實施例中，圖38-41中顯示區1155的佈局與上述圖12的顯示區1155的佈局相同。
4.　辨識感興趣的區域
某些實施例允許使用者辨識視訊會議期間顯示的視訊中的感興趣的區域(ROI)，以在視訊會議期間修改影像處理(例如，圖16中的影像處理管理器1608)、編碼(例如，圖16中的編碼器1655)、行動裝置的表現及它們的相機、或其組合。不同的實施例提供不同的技術，用於辨識視訊中的此感興趣的區域。圖42顯示某些實施例的使用者介面，用於辨識視訊中的感興趣的區域，以增進視頻的影像品質。
在圖42中，行動裝置4225的UI 4200呈現具有另一行動裝置的遠端使用者之視訊會議期間的PIP顯示4265。圖42中的PIP顯示實質上類似於圖41中的PIP顯示。具體而言，在圖42中的PIP顯示包含二視訊顯示：背景主顯示4230和前景嵌入顯示4235。在本實施例中，背景主顯示4230呈現戴帽子的人及樹的視訊，此戴帽子的人及樹被假定為其視訊正由遠端裝置的前相機捕捉的樹和人或是視訊正由遠端裝置的後相機捕捉的樹和人。前景嵌入顯示4235呈現人的視訊，在本實施例中，此人被假定為視訊正由本地裝置的前相機捕捉的人或是被假定為視訊正由本地裝置的後相機捕捉的人。在PIP顯示之下是顯示區1155，其包包含標有「End Conference」的可選取的UI選項4260(例如，鍵4260)，允許使用者藉由選取此選項以結束視訊會議。
此PIP顯示僅為呈現正由遠端和本地裝置捕捉的視訊之全成畫面。某些實施例可以提供其它合成畫面。舉例而言，取代具有用於來自遠端裝置的視訊之較大的背景顯示，較大的背景顯示可以具有來自本地裝置的視訊以及較小的前景嵌入顯示具有來自遠端裝置的視訊。而且，某些實施例允許本地和遠端裝置出現在二個邊接邊的顯示區(例如，左和右顯示視窗、或是頂部及底部顯示視窗)中或是二個對角線對齊的顯示區的UI中。在其它實施例中，PIP顯示也含有較大的背景顯示及二個較小的前景嵌入顯示。在某些實施例中，PIP顯示或內定顯示模式的方式可以由使用者指定。
圖42以UI 4200的四個操作階段顯示ROI辨識操作。如同第一階段4205中所示般，呈現於背景顯示4230中的視訊具有很低的品質(亦即，視訊影像是模糊的)。在本實施例中，行動裝置4225的使用者將人臉4270出現之背景顯示4230中的區域辨識為感興的區域。
在第二階段4210中，初始化辨識感興趣的區域的操作。在本實施例中，藉由選取使用者要辨識為感興趣的區域之呈現於背景顯示4230中的視訊中的區域(例如，以手指4250碰觸背景顯示4230中顯示的人臉4270的大約位置處之裝置螢幕)，以啟始操作。
如同第三階段4215中所示般，使用者選取區域會使得UI 4200拖曳圍繞使用者選取的區域之包圍框4275(例如虛線正方形4275)。第四階段4220顯示感興趣的區域的辨識完成之後的UI 4200。由於此處理的結果，在感興趣的區域之內的視訊的品質較第一階段4205中的品質實質上增進。包圍框4275的移除表示ROI選取操作現在完成了。在某些實施例中，如同對本地裝置4225所執行般，ROI辨識處理也對顯示於遠端裝置上的相同視訊造成相同的改變。在本實施例中，舉例而言，在顯示於遠端裝置上的相同視訊的感興趣的區域之內的畫面品質也實質上增進。
在某些實施例中，在第三階段4215中使用者可以放大或縮小包圍框4275(例如，將手指4250朝下保持於顯示上及將手指4250移向螢幕的右上角以於大包圍框4275或將手指4250移向螢幕的左下角以縮小包圍框4275)。某些實施例也在第三階段4215中允許使用者重新置放包圍框4275(例如，藉由將手指4250朝下置於顯示上及將手指4250在顯示上水平地或垂直地移動)。在某些其它實施例中，在第三階段4215中，區域的選取完全不會促使UI 4200去繪出包圍框4275。
其它實施例提供不同的技術，允許使用者辨識視訊中的感興趣的區域。圖43顯示一此其它技術。在圖43中，使用者藉由繪製包圍區域的形狀以辨識感興趣的區域。在本實施例中的形狀是長方形，但是，其可為其它形狀(例如，任何其它多邊形、圓形、橢圓形、等等)。某些實施例在裝置UI中提供圖43的此另一技術，裝置UI也提供圖42中所示的技術。但是，其它實施例未在相同的UI中提供這二種技術。
圖43以UI 4200的五個操作階段顯示此ROI辨識操作。圖43中的第一階段4205與圖42中的第一階段4205相同。具體而言，在此第一階段4205中，UI 4200顯示PIP顯示4265，PIP顯示4265具有較大的背景主顯示4230及位於PIP顯示4265的底部左下角之較小的前景嵌入顯示4235。
在第二階段4310中，啟始辨識感興趣的區域的操作。在本實施例中，藉由選取第一位置一段持續時間，以界定呈現於背景顯不區4230中的視訊之感興趣的區域(例如，將手指4350向下保持在背景顯示4230中顯示的人臉4270的大約位置處的裝置螢幕上一段持續時間)，而啟始操作。在第三階段4315中，UI 4200標示以背景顯示區4230上被選取的第一位置相鄰之點4355來選取第一位置4370。
第四階段4320顯示使用者已選取用於界定感興趣的區域的第二位置4375後的UI 4200。在本實施例中，使用者在點4355出現後，如同箭頭4360所示般，將手指4350從第一位置拖曳越過裝置的螢幕以及停在背景顯示區4230中顯示的帽子和顯示的樹之間的位置處，以選取此第二位置4375。如同第四階段所示般，此拖曳使UI 4200繪出長方形邊界4365以用於感興趣的區域的地區，感興趣的區域的地區在其相對立頂點處具有第一和第二位置4370和4375。
第五階段4325顯示完成感興趣的區域的辨識後的UI 4200。在本實施例中，一旦已辨識所需的感興趣的區域時，使用者藉由停止手指4350的拖曳及將手指4350從裝置的顯示螢幕移離，而完成感興趣的區域的辨識。第五階段4325顯示由於繪製處理的結果，感興趣的區域內的品質已較第一階段4205的品質實質地增進。在某些實施例中，繪製處理如同對本地裝置4225執行處理般，也對遠端裝置上的顯示造成相同的改變。在本實施例中，舉例而言，在顯示於遠端裝置上的相同視訊的感興趣的區域內的畫面品質將實質地增進。
上述圖42和43的說明顯示辨識視訊中的感興趣的區域以增進經過辨識的區域畫面品質之不同方式。在某些實施例中，增進經過辨識的感興趣的區域之畫面品質會對雙相機行動裝置的編碼操作造成改變，例如，當將視訊編碼時，分配更多的位元給經過辨識的區域。
某些實施例允許使用者辨識視訊中的感興趣的區域以對行動裝置或它們的相機造成不同的改變。舉例而言，圖44顯示辨識視訊中的感興趣的區域以擴展或縮小顯示上的感興趣的區域的地區。在此方式中，使用者藉由選取顯示上的區域作為感興趣的區域的中心，然後將感興趣的區域的地區擴展或縮小，以辨識視訊中的感興趣的區域。
在圖44中，行動裝置4425的UI 4400呈現具有另一行動裝置的遠端使用者之視訊會議期間的PIP顯示4265。在圖44中的PIP顯示4265實質上類似於圖42的PIP顯示4265，但是，圖44的前景嵌入顯示4235位於PIP顯示4265的左下角。
圖44以UI 4400的四個操作階段來顯示ROI選取操作。如同第一階段4405中所示般，背景顯示4430呈現人在顯示4430的左側而樹4440在顯示4430的右側的視訊。此外，樹4440相對小且僅佔據背景顯示區4430右側。在本實施例中，行動裝置4425的使用者要將樹4440出現在顯示4430之區域辨識為感興趣的區域。
在第二階段4410中，啟始辨識感興趣的區域的操作。在本實施例中，藉由選取使用者要辨識為感興趣的區域的背景顯示4430中呈現的視訊中的區域4440(例如，藉由將二手指4445和4446向下保持在顯示樹4440的背景顯示區4430上)，以將操作啟始。在此階段4410，使用者藉由將其手指4445和4446彼此拖離得更遠，可以使感興趣的區域4440的地區擴展及佔據背景顯示區4430的較大部份。使用者也可以藉由將其手指4445和4446一起拖曳成更接近而使感興趣的區域4440縮小以取得背景顯示區4430之較小部份。
第三階段4415顯示使用者如箭頭4450所示般將其手指4445和4446移動成彼此更遠離(亦即，手指4445移向背景顯示區4430的左上角而手指4446移向顯示4430的右下角)而開始使感興趣的區域4440擴展以佔據背景顯示區4430的較大部份後的UI 4400。在某些實施例中，如同手指移動對本地裝置造成改變般，手指移動也會對遠地裝置的顯示造成相同的改變。在本實施例，舉例而言，相同視訊的感興趣的區域將擴展及佔據遠端裝置的背景顯示區4430的較大部份。在某些實施例中，如同下述進一步說明般，本地顯示及/或遠端顯示中的感興趣的區域的擴展會促使行動裝置之一或二者或是它們的相機修改它們的其它操作之一或更多。
第四階段4420顯示完成感興趣的區域的辨識後的UI 4400。在本實施例中，一旦感興趣的區域到達背景顯示區4430中的所需部份時，使用者藉由停止其手指4445和4446的拖曳以及將手指4445和4446移離裝置的顯示螢幕，而完成感興趣的區域的辨識。由於此處理的結果，感興趣的區域佔據大部份的背景顯示4430。感興趣的區域的辨識操作現在完成。
上述某些實施例顯示使用者如何辨識視訊中的感興趣的區域以增進視訊中選取的感興趣的區域之內的影像品質(例如，藉由增加用於將視訊的感興趣的區域部份編碼之位元速率)。在某些實施例中，辨識視訊中的感興趣的區域會對行動裝置的例如曝光、調整比例、聚焦等影像處理操作造成改變。舉例而言，辨識視訊中的感興趣的區域造成視訊會議管理器1604將視訊的影像不同地調整比例及合成(例如，辨識要縮放的感興趣的區域)。
在其它實施例中，辨識視訊中的感興趣的區域會對行動裝置的相機的操作造成改變(例如，框速率、變焦、曝光、調整比例、聚焦、等等)。在又其它實施例中，辨識視訊中的感興趣的區域將對行動裝置的編碼操作造成改變，類似分配更多的位元給經過辨識的區域、調整比例、等等。此外，雖然上述舉例說明的ROI辨識操作對行動裝置或其相機僅造成述修改之一，但是，在某些其它實施例中，ROI辨識操作對行動裝置或其相機造成這些修改中的一個以上的修改。此外，在某些實施例中，圖42-44中的顯示區1155的佈局與上述圖12的顯示區1155的佈局相同。
B.　切換相機
某些實施例提供視訊會議期間切換相機(亦即，切換用以捕捉影像的相機)之程序。不同的實施例提供不同的程序，用於執行切換相機操作。某些實施例提供由雙相機行動裝置執行的用於切換裝置的相機(亦即，本地切換)之程序，而其它實施例提供程序，以供雙相機行動裝置指令視訊會議中的另一雙相機行動裝置切換其它裝置(亦即，遠端裝置)的相機。又其它實施例提供用於二者的程式。第IV.B.1節將說明對雙相機行動裝置執行本地切換相機操作的處理。第IV.B.2節將說明用於對雙相機行動裝置執行遠端切換相機的處理。
1.　本地切換相機
圖45顯示處理4500，某些實施例在雙相機行動裝置上執行處理4500，以在與包含至少一相機的遠端行動裝置的視訊會議期間，在裝置的二相機之間切換。在某些實施例中，由圖16中所示的視訊會議管理器1604執行處理4500。為了說明，將本地雙相機行動裝置的一相機稱為相機1以及將本地雙相機行動裝置的另一相機稱為相機2。
處理4500始於啟始(在4505)本地雙相機行動裝置與遠端行動裝置之間的視訊會議。接著，處理4500將來自本地雙相機行動裝置的目前選取的相機(例如，相機1)之視訊影像傳送(在4510)至遠端行動裝置以顯示於遠端行動裝置上。在4510，處理根據此視訊影像及其從遠端行動裝置收到的視訊影像，產生及顯示合成顯示。
處理4500接著決定(在4515)是否收到結束視訊會議的請求。如上所述，在某些實施例中，可以依本地雙相機行動裝置的使用者的請求(例如，經由本地雙相機行動裝置的使用者介面)或是遠端行動裝置的使用者的請求(例如，經由遠端行動裝置的使用者介面)，結束視訊會議。當處理4500收到結束視訊會議的請求時，處理4500結束。
當處理4500未收到結束視訊會議的請求時，處理4500接著決定(在4520)本地雙相機行動裝置的使用者是否已指示裝置為視訊會議切換相機。當處理4500決定(在4520)其未指示切換相機時，處理4500返回至操作4510。但是，當處理4500決定(在4520)其已指示切換相機時，處理4500轉換至操作4525。
在4525，處理4500將通知送至遠端行動裝置以標示本地雙相機行動裝置正切換相機。在某些實施例中，如同上述所述般，處理4500經由視訊會議控制通道而送出通知，所述視訊會議控制通道是由VTP管理器3125多工化的音訊和視訊通道。
在送出其通知後，處理4500執行(在4530)切換相機操作。在某些實施例中，執行(在4530)切換相機操作包含指令CIPU停止以相機1捕捉視訊影像以及開始以相機2捕捉視訊影像。這些指令可以簡單地指令CIPU從相機2相關連的像素陣列切換捕捉影像以及開始處理這些影像。或者，在某些實施例中，由初始化參數組完成對CIPU的指令，所述初始化參數組指令CIPU(1)根據特定的設定組來操作相機2、(2)以特定的框速率來捕捉相機2產生的視訊、及/或(3)根據特定設定組(例如，解析度、等等)，處理來自相機2的視訊影像。
在某些實施例中，切換相機指令(在4530)也包含如上所述的用於切換未被使用的相機至第四操作電力模式的指令。在本實施例中，切換相機指令包含使相機2切換至第四操作電力模式的指令。此外，切換相機指令也包含指令，以使相機1從其第四操作電力模式切換至例如第一操作電力模式等另一操作電力模式，以保存電力，或是切換至第三操作電力模式，以致於其可以快速地切換至第四操作電力模式及當被請求捕捉影像時開始捕捉影像。切換相機操作4530也涉及將本地雙相機行動裝置的相機2捕捉的影像(取代相機1捕捉的影像)與自遠端行動裝置收到的影像一起合成，以顯示於本地雙相機行動裝置上。
在4530指示切換相機之後，處理4500在本地雙相機行動裝置上執行(在4535)切換相機動畫，以顯示來自相機1的影像顯示與來自相機2的影像顯示之間的轉換。跟隨在本地雙相機行動裝置上的切換相機動畫之後，處理4500執行操作4510-4520的迴路，直至收到結束視訊會議請求或新的相機切換請求為止。
圖46顯示某些實施例如何允許經由雙相機裝置的UI 1105請求的切換相機操作及這些實施例如何將切換相機操作動畫化的一實施例。此圖以裝置的UI 1105的八個不同的操作階段4610、4615、4620、4625、4630、4635、4640、及4645來顯示切換相機操作。UI 1105的前四個階段4610、4615、4620、及4625顯示接收切換相機的使用者請求之實施例。在本發明的某些實施例中，裝置的使用者具有其它機制以作出此請求。
第一階段4610與圖11的UI 1105的第五階段1130相同，其顯示建立視訊會議後的UI 1105。在此階段，UI 1105顯示包含下述二個視訊顯示的PIP顯示：來自遠端相機的較大背景顯示及來自本地相機的較小前景顯示。在本實施例中，背景主顯示區1170代表女士的視訊，在本實施例中，此女士被假定為視訊正由遠端裝置捕捉的女士，而前景嵌入顯示區1160代表男士的視訊，在本實施例中，此男士被假定為視訊正由本地裝置的前相機捕捉的男士。
然後，第二階段4615顯示經由UI 1105的PIP顯示區1180的選取之切換相機操作的啟始。如同所示，藉由將使用者的手指4670置於PIP顯示1180上，以作出選取。第三階段4620顯示UI 1105，UI 1105包含可選取的UI選項4675(例如切換相機鍵4675)，用於在視訊會議期間請求在本地裝置4600的相機之間切換。第四階段4625顯示本地裝置4600的使用者選取(例如，經由單指碰觸)可選取的UI選項4675後、以及經由可選取的UI選項4675的凸顯而標示此選取後的UI 1105。在視訊會議期間，藉由選取此可選取的UI選項4675，使用者正指示裝置4600從裝置4600的前相機切換至裝置4600的後相機。在裝置4600的後相機正捕捉視訊的其它實施例中，使用者選取可選取的UI選項4675會指示裝置4600從裝置4600的後相機切換至裝置4600的前相機。在第四階段之後，視訊會議管理器將指令送至CIPU及遠端裝置以開始切換相機操作。
UI 1105的後四個階段4630、4635、4640及4645顯示本地裝置上的切換相機動畫的實施例。此動畫是要提供一印象，由本地裝置的前及後相機捕捉的視訊目前正顯示於觀視窗的二相對側上，觀視窗使其複數個側邊中僅有一側邊在任何時刻由使用者觀視。當在視訊會議的中途請求切換相機時，使此觀視窗呈現圍繞垂直軸旋轉，以致於先前顯示一相機的視訊給使用者之觀視窗的一側上的一相機的視訊的呈現會旋轉直到其由觀視窗的另一側取代為止。藉由下述而取得看到的觀視窗旋轉的動畫及外觀：(1)逐漸地縮小及應用透視校正操作至用於一相機的顯示區中來自該相機的視訊影像，接續在後為(2)對顯示區中來自另一相機的視訊影像逐漸擴展及縮小透視校正操作。
因此，第五階段4630顯示圍繞垂直軸4682之「觀視窗旋轉」。為了呈現觀視窗旋轉，UI 1105縮小視訊顯示區1160中的前相機的視訊影像的尺寸，以及，應用透視操作以使其呈現視訊影像的右側比視訊影像的左側更遠離使用者。
第六階段4635顯示觀視窗已旋轉90度，以致於如同顯示區1160的中間顯示的細線4686所呈現般，使用者可以僅觀視此觀視窗的邊緣。第七階段4640顯示觀視窗繼續旋轉以致於觀視窗4688的背側現在逐漸地呈現給使用者，以使顯示從使用者的後相機捕捉的視訊。再度地，在某些實施例中，藉由縮小視訊顯示區4688中的後相機的視訊影像的尺寸、以及應用透視操作以使其呈現視訊影像的左側比視訊影像的右側更遠離使用者，可以取得旋轉動畫的展示。
第八階段4645顯示切換相機操作動畫完成。具體而言，此階段在顯示區1160中顯示正由裝置4600的後相機捕捉的汽車的視訊影像。
參考圖46的上述實施例經由切換相機使用者介面以啟動切換相機操作。其它的實施例不同地啟動切換相機操作。舉例而言，某些實施例藉由使切換相機可選取的UI選項在視訊會議期間永久地顯示於例如圖47的UI 1105等UI上，以啟動切換相機操作。在圖47中，切換相機鍵1289與靜音鍵1285和結束會議鍵1287一起顯示於顯示區1155中。顯示區1155的佈局與參考圖12之上述中所述的顯示區1155的佈局相同。
圖47以六個階段4610、4790、4630、4635、4640、及4645顯示UI 1105的切換相機操作。除了顯示區1155的佈局顯示靜音鍵1285、結束會議鍵1287、及切換相機鍵1289而非單一結束會議鍵之外，圖47的第一階段4610類似於圖46的第一階段4610。第二階段4790顯示本地裝置4600的使用者選取(例如，經由使用手指4670之單一手指碰觸)切換相機可選取的UI選項1289後的UI 1105。在本實施例中，在視訊會議期間，藉由選取此可選取的UI選項1289，使用者指示裝置4600從裝置4600的前相機切換至裝置4600的後相機。除了顯示區1155的佈局與第一階段4610中上述的佈局相同且因而不再說明以免因不必要的細節而模糊本發明的說明之外，圖47的最後四個階段類似於圖46的最後四個階段。
在某些實施例中，當遠端行動裝置從本地雙相機行動裝置的不同的相機(亦即，本地雙相機行動裝置切換相機)接收影像時，遠端行動裝置也執行切換相機動畫以顯示來自本地雙相機行動裝置的一相機的影像的顯示與來自本地雙相機行動裝置的另一相機的影像的顯示之間的轉換。圖48以UI 4805的五個操作階段4810、4815、4820、4825、及4830來顯示此切換相機動畫之一的實施例。此圖於遠端行動裝置4800上顯示舉例說明的切換相機動畫。除了對來自於本地雙相機行動裝置的影像顯示於遠端行動裝置4800上之顯示區4835中顯示的影像執行動畫之外，這些操作階段都與圖46舉例說明的動畫相同。確切而言，顯示區4835中顯示的男士的影像被以動畫顯示，而呈現圍繞位於顯示區4850的中間的垂直軸4855旋轉180度，以顯示顯示區4835中的男士的影像顯示與汽車4870的影像顯示之間的轉換。某些實施例的切換相機動畫的實施與上述動畫的實施相同。
上述實施例顯示具有特定使用者介面佈局的遠端裝置上的切換相機動畫。另它實施例可以在具有不同的使用者介面佈局的遠端裝置上執行此切換相機動畫。圖49顯示遠端裝置4800的一此實施例，遠端裝置4800具有不同的使用者介面佈局4805。特別地，圖49的UI 4805具有包含於顯示區1155中之靜音鍵1285、結束會議鍵1287、及切換相機鍵1289，顯示區1155在視訊會議期間永久地顯示於合成顯示4850的一側上。在參考圖48的上述中說明三個鍵的佈局。除了使用者介面佈局不同之外，圖49的五個階段4810、4815、4820、4825、及4830與圖48的五個階段4810、4815、4820、4825、及4830相同。
2.　遠端切換相機
圖50顯示視訊會議期間在遠端雙相機裝置的二相機之間切換的處理5000。此處理5000由包含至少一相機的裝置之視訊會議管理器執行。在下述說明中，使用者藉以指令遠端切換相機的裝置稱為本地裝置，而在其二相機之間切換的裝置稱為遠端裝置。而且，在下述說明中，遠端裝置可說是在其前相機(或相機1)與其後相機(或相機2)之間切換。
參考圖51、52、53及54，說明圖50的處理5000。圖51顯示本地裝置5100的UI 5105，在視訊會議期間，使用者經由本地裝置5100以請求遠端裝置在其二相機之間切換。此圖顯示此UI 5105的八個不同的操作階段5110、5115、5120、5125、5130、5135、5140、及5145。圖54顯示接收來自本地裝置5100的切換相機請求之遠端裝置5400的UI 5405。圖54顯示UI 5405的六個不同操作階段5410、5415、5420、5425、5430、及5435。
如圖50所示，處理5000始於啟始(在5005)本地與遠端裝置之間的視訊會議。然後，處理5000(在5010)接收來自各別裝置的一相機(例如，來自各別裝置的前相機)之影像，以及，根據這些影像以產生用於視訊會議的合成畫面。在5010，處理5000也將視訊影像從本地裝置送至遠端裝置。
接著，處理5000決定(在5015)是否已收到結束視訊會議的請求。如上所述，在某些實施例中，可以依本地或遠端裝置的使用者的請求而結束視訊會議。當處理5000收到結束視訊會議的請求時，處理5000結束。
當處理5000未收到結束視訊會議的請求時，處理5000接著決定(5020)處理5000正在其上執行的裝置之使用者(亦即，本地裝置的使用者)是否已指示裝置請求遠端裝置為視訊會議而在其相機之間切換。當處理5000判定(在5020)其未被指示啟始遠端切換相機時，處理5000返回至操作5010。當處理5000判定(在5020)其已被如此指示時，則處理5000轉換至下述進一步說明的5025。
圖51的UI 5105的前四個階段5110、5115、5120、及5125顯示接收切換遠端裝置的相機之使用者請求的實施例。第一及第二階段5110和5115與圖46的第一和第二階段4610和4615相同。除了第三階段5120包含用以請求遠端裝置5100切換相機之可選取的UI選項5180以及用於請求本地裝置5100切換相機之可選取的UI選項5175之外，第三階段5120均與第三階段4620相同。第四階段5125顯示本地裝置5100的使用者選取用於請求遠端裝置切換相機之UI選項5180(例如，經由可選取的UI選項5180的單指碰觸5170)。藉由凸顯可選取的UI選項5180以標示選取。圖51顯示執行此操作的一實施例，但是，其它實施例可以不同地執行用於請求遠端裝置切換相機的操作。
參考圖51的上述實施例經由遠端切換相機使用者介面而啟動遠端切換相機操作。其它實施例可以不同地啟動遠端切換相機操作。舉例而言，某些實施例藉由使切換相機可選取的UI選項在視訊會議期間永久地顯示於例如圖52的UI 5105等UI上而啟動切換相機操作。在圖52中，遠端切換相機鍵5288與靜音鍵5282、結束會議鍵5284、及本地切換相機鍵5286一起顯示於顯示區1155中。
圖52以六個不同階段5110、5290、5130、5135、5140、及5145顯示裝置5100的UI 5105的遠端切換相機操作。除了顯示區1155的佈局顯示靜音鍵5282、本地切換相機鍵5286、遠端切換相機鍵5288、及結束會議鍵5284之外，圖52的第一階段5110類似於圖51的第一階段5110。第二階段5290顯示本地裝置5100的使用者選取(例如，經由單指碰觸5170)遠端切換相機可選取的UI選項5288後的UI 1105。除了顯示區1155的佈局與第一階段5110中上述的佈局相同並因而不再進一步說明以免因不必要的細節而模糊本發明的說明之外，圖52的最後四個階段類似於圖51的最後四個階段。
某些實施例提供類似圖52所示的佈局，但是，遠端切換相機可選取的UI選項顯示於PIP顯示5165中而非顯示區1155中除外。圖53顯示此佈局5105。特別地，此圖顯示具有遠端切換相機可選取的UI選項5180的PIP顯示以及僅具有靜音鍵5282、本地切換相機鍵5286、及結束視訊會議鍵5284的顯示區1155。
如上所述，當使用者請求遠端切換相機時，處理5000轉換至5025。在5025，處理5000送出切換相機至遠端裝置的請求。在某些實施例中，經由視訊會議控制通道而送出此請求，如上所述，所述視訊會議控制通道是由VTP管理器3125多工化為音訊及視訊通道。
在收到切換相機請求之後，處理5000決定(在5030)遠端裝置是否回應切換相機請求。在某些實施例中，遠端裝置自動地經由視訊會議控制頻道送出接受回應(亦即，送出確認)至本地裝置。但是，在其它實施例中，遠端裝置的使用者必須經由遠端裝置的使用者介面而接受此請求。
圖54的UI 5405的前二個階段5410和5415顯示遠端使用者接受切換遠端裝置5400的相機之請求。第一階段5410顯示(1)用於顯示告知請求的遠端使用者之文字的顯示區5440、(2)用於接受遠端裝置的切換相機請求之可選取的UI選項5465(例如，允許鍵5465)、及(3)用於拒絕遠端裝置的切換相機請求之可選取的UI選項5470(例如，拒絕鍵5470)。然後，第二階段5415顯示遠端裝置的使用者選取(例如，經由單指碰觸5480)用於接受切換相機的請求之UI選項5465(如同可選取的UI選項5465的凸顯所示)後的UI 5405。
當處理5000決定(在5030)決定尚未收到來自遠端裝置的回應時，處理5000決定(在5035)是否收到結束視訊會議的請求。假使是，則處理5000結束。否則，處理接收(在5040)來自遠端及本地裝置的目前正使用的相機之影像、根據這些影像以產生用於視訊會議的合成畫面、將本地裝置的視訊影像傳送至遠端裝置、然後回至5030。
當處理5000決定(在5030)其已從遠端裝置收到回應時，則其決定(在5045)遠端裝置是否接受切換相機的請求。假使否，則處理5000返回至操作5010以繼續從另一裝置的相機接收影像。否則，處理接收(在5050)來自遠端裝置的另一相機的影像，然後在本地裝置上執行(在5055)切換相機動畫以顯示先前使用的遠端相機的視訊與目前使用的遠端相機的視訊(亦即，在操作5050收到的影像)之間的轉換。在5055之後，處理回至上述已說明的5010。
圖51中顯示用於UI 5105之最後四個操作階段5130、5135、5140、及5145顯示本地裝置5100上的此遠端切換相機動畫的一實施例。舉例說明的動畫類似於圖48的階段4815、4820、4825、及4830中所示的舉例說明的動畫，但是，圖51在顯示區5150中顯示以遠端裝置的後相機捕捉的樹的視訊取代遠端裝置的前相機捕捉的女士的視訊之動畫除外。圖52和圖53的最後四個階段顯示與圖51中所示的動畫相同之動畫，但是，圖52和53的顯示區1155含有不同於圖51中的顯示區1155之可選取的UI選項除外。
在某些實施例中，當遠端裝置切換相機時，遠端裝置的UI也執行切換相機動畫以顯示二相機之間的轉換。圖54中顯示用於UI 5405的最後四個操作階段5420、5425、5430、及5435顯示當遠端裝置5400在相機之間切換時顯示於遠端裝置5400上的切換相機動畫的實施例。此動畫類似於圖46的階段4630、4635、4640、及4645中所示的動畫，但是，顯示區5445中的動畫以遠端裝置5400的後相機捕捉的樹的視訊取代遠端裝置5400的前相機捕捉的女士的視訊除外。
如同上述所述般，圖46、47、48、49、51、52、53、及54顯示使用者介面上執行的切換相機動畫的不同實施例。在某些實施例中，切換相機動畫可以對各別的雙相機行動裝置的影像處理操作造成改變，舉例而言，這些影像處理操作可為可由視訊會議管理器1604和影像處理管理器1608執行的調整比例、合成及透視失真。
C.　曝光調整
在雙相機行動裝置與另一行動裝置之間的視訊會議期間，不同的實施例執行用於調整任一行動裝置的相機捕捉的影像的曝光之不同的技術。某些實施例提供雙相機行動裝置的使用者能調整其它裝置的相機捕捉的影像的曝光之技術，而其它實施例提供使用者能調整雙相機行動裝置的相機捕捉的影像的曝光之技術。於下，將詳述數個舉例說明的技術。
圖55處理5500顯示視訊會議期間於某些實施的雙相機行動裝置上執行遠端曝光調整操作。在下述中，使用者藉以指示遠端裝置調整其曝光程度的裝置稱為本地裝置。在某些實施例中，處理5500由本地裝置的視訊會議管理器執行。此外，將參考顯示本地裝置的使用者請求遠端裝置執行曝光調整操作的不同方式之圖56、57、及58，說明處理5500。
如圖55所示，處理5500始於啟始(在5505)本地與遠端裝置之間的視訊會議。然後，處理5500從遠端裝置接收(在5510)視訊，用於顯示在本地裝置的顯示螢幕上。接著，處理5500決定(在5515)是否收到結束視訊會議的請求。如上所述，某些實施例可以從本地或遠端裝置的使用者收到結束視訊會議的請求。當處理5500收到結束視訊會議的請求時，處理5500結束。
但是，當處理5500未收到結束視訊會議的請求時，處理5500接著決定(在5520)是否收到調整遠端裝置的相機的曝光之請求。當處理5500判定未收到用於調整遠端裝置的相機的曝光之請求時，處理5500返回至操作5510以接收遠端裝置捕捉的其它視訊。圖56、57、及58顯示提供使用者作出此請求的方式之三個不同實施例。在圖56、57、及58中，第一階段5610、5710、及5810都顯示本地裝置5600、5700、及5800的PIP顯示5625、5750、及5835，它們顯示二視訊：由本地裝置的相機捕捉的一視訊以及由遠地裝置的相機捕捉的另一視訊。在第一階段5610、5710、及5810中，背景顯示5635、5760、及5845中的男士是暗的，表示男士未被適當地曝光。
圖56的第二階段5615顯示本地裝置5600的使用者藉由選取遠端裝置的視訊(例如，經由背景顯示5635上的單指碰觸)以請求遠端裝置執行曝光調整的一方式。依此方式，UI 5605自動地使使用者選取盒5645所界定的感興趣的區域與使用者的企圖相關連，所述使用者的企圖係指示遠端裝置對感興趣的區域執行曝光調整並因而指示本地裝置的視訊會議管理器接觸遠端裝置以執行曝光調整操作。在曝光調整計算時，所界定的感興趣的區域由遠端裝置使用。
類似於圖56的第二階段5615，圖57的第二階段5715顯示遠端裝置的視訊之本地使用者選取，但是，此選取指示UI 5705顯示如同第三階段5720中所示的可選取的UI選項5770除外。第四階段5725顯示本地裝置的使用者選取可選取的UI選項5770以指示遠端裝置執行如上所述的曝光調整操作。
圖58的第二階段5815類似於圖57的第二階段5715，但是，取代會指示UI顯示單一可選取的UI選項之遠端裝置的視訊之使用者選取，如同第三階段5820中所示般，使用者選取係指示UI 5805顯示可選取的UI選項5855、5860、5865、及5870的選單。可選取的UI選項包含Auto Focus(自動聚焦)選項5855、Auto Exposure(自動曝光)選項5860、Switch Camera(切換相機)選項5865、及Cancel(取消)選項5870。在某些實施例中，使用Switch Camera可選取的UI選項5865以請求本地切換相機操作，而在其它實施例中，使用Switch Camera可選取的UI選項5865以請求遠端切換相機操作。第四階段5825顯示使用者選取Auto Exposure選項5860以指示遠端裝置執行如上所述的曝光調整操作。
當處理5500判定(在5520)本地使用者已指示本地裝置請求曝光調整操作時，處理5500經由視訊會議控制通道送出(在5525)命令至遠端裝置，以調整目前正捕捉及傳送視訊至本地裝置的相機所捕捉的視訊的曝光。在操作5525之後，處理5500回至上述已說明的操作5510。
在某些實施例中，在遠端裝置執行曝光調整操作之前，會要求遠端裝置的使用者提供允許，而在其它實施例中，在從本地裝置收到請求時，遠端裝置自動地執行曝光調整操作。此外，在某些實施例中，某些視訊會議的功能由視訊會議管理器1604實施。在這些實施例中的某些實施例中，視訊會議管理器1604藉由指令CIPU 1650調整正使用的遠端裝置相機的感測器的曝光設定以執行調整操作。
圖56、57、及58的最後階段5620、5730、及5830顯示較亮的遠端裝置的視訊，這表示男士被適當地曝光。雖然圖56、57和58提供接收用以校正遠端裝置的曝光之曝光調整的請求之實施例，但是，某些實施例提供本地裝置的使用者請求本地裝置調整本地裝置的相機之曝光的方式。可以類似於圖56、57、及58中所示之用於請求遠端裝置調整其相機曝光的方式，作出此請求。
上述圖56-58顯示用於執行曝光調整操作的數個使用者介面。在某些實施例中，曝光調整操作可以對雙相機行動裝置的影像處理操作造成改變，例如啟動曝光調整處理5900，稍後將更詳細說明曝光調整處理5900。曝光調整操作也會對雙相機行動裝置的正捕捉視訊的相機的操作造成改變，舉例而言，改變相機的曝光程度設定。
1.　曝光調整方法學
圖59概念地顯示例如圖16中所示的某些實施例的影像處理管理器所執行的曝光調整處理5900。在某些實施例中，處理5900是參考圖55、56、57及58之上述中所述的曝光調整操作的一部份。在這些實施例的某些實施例中，影像處理管理器1608執行處理5900，以及，藉由傳送指令至視訊會議管理器1604，以調整相機的曝光設定，如上所述，視訊會議管理器1604係指令CIPU 1650調整相機感測器405a或405b。
在某些實施例中，處理5900由圖9中所示的影像處理層930執行，而在其它實施例中，處理5900由圖4中所示的統計引擎465執行。某些實施例對視訊會議中的(本地或遠端)裝置的相機捕捉的影像執行處理5900，而其它實施例執行作為圖21中所示的處理2100的一部份(例如，操作2110)之處理5900。某些實施例執行曝光調整操作，以將不會太亮且不會太暗之雙相機行動裝置的相機捕捉的影像曝光。換言之，執行處理5900，以使細節的量儘可能最大的方式來捕捉影像。
處理5900始於接收(在5905)雙相機行動裝置的相機捕捉的影像。在某些實施例中，當收到的影像是由視訊會議中的裝置的相機捕捉到的第一影像時，不對第一影像執行處理5900(亦即，在第一影像之前沒有影像來決定曝光值)。然後，處理5900讀取(在5910)收到的影像中界定的區域之像素值。不同的實施例不同地界定區域。這些實施例中的某些實施例不同地界定有形狀的區域，例如方形、長方形、三角形、圓形、等等，而這些實施例中的其它實施例界定影像中例如中心、上中心、下中心等不同位置處的區域。
接著，處理5900計算(在5915)影像的界定區域中像素值的平均值。處理5900決定(在5920)計算的像素值的平均值是否等於特定界定的值。不同的實施例界定不同的特定值。舉例而言，某些實施例將特定值界定為影像的動態範圍的中數像素值。在某些實施例中，界定值的範圍而非單一值。在這些實施例中，處理5900決定(在5920)經過計算的像素值的平均值是否在界定的值範圍之內。
當經過計算的像素值的平均值不等於特定的界定值時，處理5900根據經過計算的平均值以調整(在5925)曝光值。當經過計算的像素值的平均值等於特定的界定值時，處理5900結束。在某些實施例中，曝光值代表相機感測器受光曝照的時間量。在某些實施例中，使用經過調整的曝光值以使要由捕捉收到的影像之相機捕捉的下一影像曝光。在根據計算的平均值以調整曝光值之後，處理5900結束。
在某些實施例中，重複地執行處理5900直到經過計算的像素值的平均值等於特定的界定值(或是落在界定的值範圍之內)為止。某些實施例在視訊會議期間固定地執行處理5900，而其它實施例在視訊會議期間以界定的間隔(例如，5秒、10秒、30秒、等等)執行處理5900。此外，在視訊會議期間，在執行處理5900之前，某些實施例的處理5900動態地再界定特定像素值。
圖60概念地顯示某些實施例的曝光調整操作的實施例。實施例6000、6010、及6015均顯示左側上由雙相機行動裝置的相機捕捉的影像6020。具體而言，影像6020顯示在太陽之前暗的人。暗的人表示影像的曝光程度不夠高而無法使人臉或身體曝光。每一實施例6000、6010、及6015的右側分別顯示影像6020之後捕捉的影像6025、6030、及6035。在某些實施例中，影像6020及右側上的影像是由雙相機行動裝置的相機捕捉的視訊的影像。在其它實施例中，影像6020及右側上的影像是由雙相機行動裝置的相機在不同時刻捕捉到的靜態影像。
第一實施例6000顯示無曝光調整的操作。確切而言，影像6025呈現與影像6020相同。由於未執行曝光調整，所以，影像6025中的人如同影像6020的人一般，仍然維持暗的。
在第二實施例6010中，對影像6020執行曝光調整操作。在某些實施例中，曝光調整操作由使用界定區6040的處理5900執行。根據曝光調整操作，調整相機的曝光程度以及相機使用經過調整的曝光程度以捕捉影像6030。如圖60所示，影像6030中的人不會與影像6025中一般暗。但是，影像6030中的人的臉及身體仍然不清楚。
第三實施例6015顯示對影像6020執行的曝光調整操作。類似於第二實施例6010，某些實施例的實施例6015的曝光調整操作由使用界定區6045的處理5900執行。根據曝光調整操作，調整相機的曝光程度及相機使用經過調整的曝光程度以捕捉影像6035。如同圖60中所見般，由於人臉與身體是可見的，所以，影像6035中的人員被完美地曝光。
在某些實施例中，由雙相機行動裝置的使用者作出界定區的選擇。裝置本身經由CPIU 400中上述的曝光調整之回饋迴路而自動地調整其用於曝光調整操作的界定區。圖4中的統計引擎465可以收集資料以決定曝光程度是否適合捕捉到的影像以及據此調整相機感測器(例如，經由直接連接至感測器模組415)。
D.　聚焦調整
圖61顯示處理6100，其用於在視訊會議期間調整雙相機行動裝置的焦點。在後續說明中，使用者藉以指示遠端裝置調整其相機焦點的裝置稱為本地裝置。在某些實施例中圖61的處理6100由本地裝置的視訊會議管理器1604執行。而且，於下將參考圖62和63，說明此處理，圖62和63提供本地裝置的使用者請求聚焦調整操作由遠端裝置執行的二舉例說明的方式。
如圖61所示，處理6100始於啟始(在6105)本地與遠端裝置之間的視訊會議。然後，處理6100從遠端裝置接收(在6110)視訊，用於顯示於本地裝置的顯示螢幕上。接著，在6115，處理6100決定是否已收到結束視訊會議的請求。如上所述般，在某些實施例中，視訊會議可以應本地或遠端裝置的使用者的請求而結束。當處理6100收到結束視訊會議的請求時，處理6100結束。
否則，處理決定(在6120)其是否已收到用於調整遠端裝置的遠端相機的聚焦之請求。當處理6100判定其尚未收到用於調整遠端裝置的遠端相機的聚焦之請求時，處理6100返回至至操作6110以從遠端裝置接收其它視訊。圖62、63、及64顯示不同的實施例提供給使用者作出此請求的三個不同的方式。在圖62、63、及64中，第一階段6210、6310、及6472都顯示本地裝置6200、6300、及6471的顯示二視訊之PIP顯示6225、6335、及6482，所述二視訊之一由本地裝置捕捉，另一視訊由遠端裝置捕捉。圖62和63中的顯示區1155和1155顯示結束會議鍵。但是，在圖64中，顯示區1155的佈局與上述圖12的顯示區1155的佈局相同。此外，可以選取顯示區1155中顯示的切換相機鍵6488以在某些實施例中啟動本地切換相機操作，或是在其它實施例中啟動遠端切換相機操作。如同第一階段6210、6310、及6472中所示般，顯示於背景顯示6235、6345、及6480中的遠端裝置的視訊模糊不清。
圖62的第二階段6215顯示本地裝置的使用者藉由簡單地選取遠端裝置的視訊(例如，經由在遠端裝置的視訊上單指碰觸6240)以請求來自遠端裝置的聚焦調整之方式。在此方式之下，UI 6205使盒6245界定的感興趣的區域的使用者選取與使用者的企圖自動地相關連，所述使用者的企圖是指示遠端裝置對感興趣的區域執行操作(例如聚焦)並因而指示本地裝置6200的視訊會議管理器1604接觸遠端裝置以執行調整操作(例如聚焦調整操作)。在聚焦調整計算時，界定的感興趣的區域由遠端裝置使用。
圖63的第二階段6315類似地顯示遠端視訊的本地使用者的選取(例如，經由使用者碰觸遠端裝置的視訊)。但是，不似圖62中所示的實施例，如同第三階段6320中所示般，圖63中的此選取指示UI 6305顯示可選取的UI選項6355、6360、6365及6370(可實施為可選取鍵)的選單。這些可選取的UI選項包含Auto Focus(自動聚焦)選項6360、Auto Exposure(自動曝光)選項6365、Switch Camera(切換相機)選項6370、及Cancel(取消)選項6355。在某些實施例中，使用Switch Camera可選取的UI選項6370以請求本地切換相機操作，而在其它實施例中，使用Switch Camera可選取的UI選項6370以請求遠端切換相機操作。然後，第四階段6325顯示使用者選取自動聚焦選項6360。
圖64的第二階段6474再度類似地顯示遠端視訊的本地使用者選取(例如，經由遠端裝置的視訊之使用者碰觸)。但是，不似圖63中所示的實施例，圖64中的此選取指示UI 6478請求聚焦調整操作(亦即，在第二階段6474)。在聚焦調整操作完成之後，UI 6478顯示可選取的UI選項6484和6486的選單(亦即，在第三階段6476中)，它們可以被實施為可選取鍵。可選取的UI選項包含Auto Exposure選項6486和Cancel選項6484。
當處理判定(在6120)本地使用者已指示本地裝置請求聚焦調整操作時，處理6100將命令經由視訊會議控制頻道送出(在6140)至遠端裝置，以調整遠端裝置目前正捕捉及傳送其視訊的相機的聚焦。在6140之後，處理回至上述已說明的6110。
在某些實施例中，在遠端裝置執行此操作之前，遠端裝置的使用者必須提供允許，而在其它實施例中，遠端裝置在收到用於本地裝置的請求時自動地執行此操作。而且，在某些實施例中，在視訊會議期間，聚焦調整操作調整正被使用的遠端裝置的相機的聚焦設定。在這些實施例中的某些實施例中，如上所述般，某些視訊會議功能由視訊會議模組1602實施。在這些實施例中，視訊會議管理器1604指令CIPU 1650調整正被使用的遠端裝置相機的感測器。
圖62、63、及64的最後階段6220、6330、及6476顯示適當地聚焦的遠端裝置的視訊。雖然圖62、63、及64提供接收聚焦調整請求以校正遠端裝置的校正之實施例，某些實施例允許本地裝置的使用者請求本地裝置調整本地裝置的相機的聚焦。類似於圖62、63、及64中所示之請求遠端裝置調整其相機的聚焦之方式，作出此請求。
圖62、63、及64顯示允許使用者執行聚焦調整操作的三個舉例說明的使用者介面。在某些實施例中，聚焦調整操作對雙相機行動裝置的正捕捉顯示於UI中的視訊之相機的操作造成改變，例如改變相機的聚焦。
如圖56及62中上述所示般，分別在視訊的曝光調整及聚焦調整的計算中，界定的感興趣的區域由遠端裝置使用。但是，在某些其它實施例中，感興趣的區域的使用者選取可以被用以指示遠端裝置執行一或更多操作。舉例而言，在某些實施例中，可以根據界定的感興趣的區域以執行曝光調整及聚焦調整等二者，藉以指示遠端裝置執行此二操作。
E.　框速率控制
在視訊會議期間，某些實施例希望調整或維持雙相機行動裝置的相機捕捉的視訊的影像傳送至視訊會議中的其它裝置之速率(亦即，框速率)。舉例而言，假定固定頻寬，這些實施例中的某些實施例降低視訊的框速率以增加視訊的影像的畫面品質，而這些實施例中的其它實施例增加視訊的框速率以使視訊平順(亦即，降低顫動)。
不同的實施例提供用於控制視訊會議期間的視訊的影像的框速率。先前所述的一實施例調整用於相機的感測器模組415的VBI，以控制相機捕捉的影像被處理的速率。關於另一實施例，圖9中所示的視訊會議模組925的管理層935的某些實施例藉由丟棄影像以控制框速率。類似地，影像處理層930的某些實施例藉由丟棄影像以控制框速率。某些實施例又提供其它控制框速率的技術，例如丟棄通用傳輸緩衝器3120中的框。
V.　雙相機
A.　結合的畫面
1.　畫中畫：二遠端相機的顯示
某些實施例允許雙相機行動裝置以數個顯示配置中的任一配置，顯示視訊會議期間行動裝置捕捉的視訊及另一雙相機行動裝置捕捉的視訊。圖65顯示用於一或更多雙相機行動裝置捕捉的視訊之不同顯示配置的實施例。在圖65中，雙相機行動裝置6500(裝置A)的使用者與第二雙相機行動裝置6505(裝置B)的第二使用者正彼此進行視訊會議。
圖65在左側顯示用於裝置A的顯示配置之四個實施例。用於裝置A的四個顯示配置是第一畫面6510、第二畫面6515、第三畫面6520、及第四畫面6525。此外，圖65也在右側顯示用於裝置B的顯示配置之四個實施例。用於裝置B的四個顯示配置是第一畫面6565、第二畫面6570、第三畫面6575、及第四畫面6580。在本實施例中，裝置A僅顯示從裝置A的相機捕捉的二視訊，而裝置B顯示從裝置A的相機捕捉的二視訊與從裝置B的相機捕捉的一或二視訊。
在第一畫面6510中，裝置A的UI 6585提供合成顯示6512。合成顯示6512包含二顯示區：用於顯示從裝置A的後相機捕捉的視訊之顯示區6530以及用於顯示從裝置A的前相機捕捉的視訊之顯示區6535。顯示區6530位於合成顯示6512的上半部，而顯示區6535位於合成顯示6512的下半部。二顯示區在第一畫面6510中具有相等尺寸。上顯示區6530正顯示山的視訊，此山被假定為正由裝置A的後相機捕捉的山。顯示區6535正顯示樹及戴帽子的男士，它們被假定為正由裝置A的前相機捕捉的樹及人。
在第二畫面6515中的UI 6585提供合成顯示6517，合成顯示6517包含與第一畫面6510相同的二個顯示區，但是，顯示區6535(顯示裝置A的前相機捕捉的視訊)現在位於合成顯示6517的上半部且顯示區6530(顯示裝置A的後相機捕捉的視訊)位於合成顯示6517的下半部除外。
在第三畫面6520中，UI 6585提供PIP顯示6595。PIP顯示6595包含二顯示區：顯示從裝置A的前相機捕捉的視訊作為背景顯示區之顯示區6535以及顯示從裝置A的後相機捕捉的視訊作為前景嵌入顯示區之顯示區6530。在此畫面中，背景顯示區6535佔據大部份的PIP顯示6595，而嵌入顯示區6530較小且重疊部份背景顯示區6535。
第四畫面6525中的UI 6585也呈現PIP顯示6598，PIP顯示6598包含如第三畫面6520中所示的顯示區6530和6535。不似PIP顯示6595，PIP顯示6598包含顯示區6530(從裝置A的後相機捕捉)作為背景主顯示以及顯示區6535(從裝置A的前相機捕捉)作為前景嵌入顯示。此外，PIP顯示6598以橫式畫面呈現(亦即，PIP顯示6598的寬度比高度長)。
上述實施例顯示用於裝置A的UI之四個可能的合成畫面--用於顯示第一裝置的二個相機的二顯示區6530和6535垂直地層疊之二合成畫面、以及二PIP畫面。其它畫面也是可能用於裝置A的UI。舉例而言，二顯示區可以水平地或對角線地層疊，或者可以使用不同的PIP畫面。
顯示用於裝置B的各式畫面顯示用於裝置B的UI的不同畫面是可能的。這些畫面包含裝置A的二相機及裝置B的一或更多相機捕捉的視訊。在裝置B的第一畫面6565中，裝置B的UI 6590提供PIP顯示6568。PIP顯示6568包含合成顯示區6569以及嵌入顯示區6550，合成顯示區6569與顯示於裝置A上的合成顯示6512相同，嵌入顯示區6550顯示由裝置B的相機之一(例如，前相機)捕捉的視訊。合成顯示區6569包含用於顯示裝置A的後相機捕捉的視訊之顯示區6531以及用於顯示裝置B的前相機捕捉的視訊之顯示區6536。顯示來自裝置A的視訊之合成顯示6569佔據大部份的PIP顯示6568，而嵌入顯示區6550較小且與合成顯示6569重疊。顯示區6550正顯示笑臉的視訊，笑臉被假定為視訊正由裝置B的前相機捕捉的笑臉。
第二畫面6570中的裝置B的UI 6590提供PIP顯示6572。PIP顯示6572包含顯示區6550(顯示從裝置B的前相機捕捉的視訊)及合成顯示6573，合成顯示6573具有顯示裝置A的相機捕捉的視訊之顯示區6531和6536。合成顯示6573與用於裝置A的第二畫面6515中的合成顯示6517相同以及佔據大部份的PIP顯示6572。類似於第一畫面6565中的PIP顯示6568，顯示區6550較小且與合成顯示6573重疊。具體而言，在這二畫面中，顯示區與顯示裝置A的後相機捕捉的視訊之顯示區6531的一部份重疊。
在第三畫面6575中，UI 6590提供類似於用於裝置A的第三畫面6520中的PIP顯示6595之PIP顯示6577。PIP顯示6577也包含增加的顯示區6550作為第二嵌入顯示區，第二嵌入顯示區與背景顯示區6536重疊。二嵌入顯示區6531和6550水平地舖嵌在背景主顯示區6536的底部。
在第四畫面6580中的UI 6590提供合成顯示6582。合成顯示6582包含三顯示：PIP顯示6583、顯示區6550、及顯示區6540(例如，用於顯示裝置B的後相機捕捉的視訊)。PIP顯示6583與用於裝置A的第四畫面6525中的PIP顯示6598相同並佔據大部份旳合成顯示區6582。顯示6540和6550較小並水平地舖嵌在PIP顯示區6583之下。
雖然圖65顯示用於裝置B之四個可能的畫面，但是，很多其它畫面是可能的。來自裝置A的視訊之背景合成顯示可以是水平的而非垂直的，嵌入可以與裝置A的前相機顯示區重疊而非與後相機顯示區重疊，較大的顯示區可以正顯示裝置B的相機而非裝置A的相機，嵌入可以不同地設置、等等。
出自於裝置A的每一畫面之每組箭頭6560表示裝置A上所示的顯示與裝置B上所示的顯示之間不需要相關聯。舉例而言，即使裝置A正在畫面6510的配置中顯示其視訊(例如，根據裝置A的使用者所作之該配置的選取)時，裝置B仍然可以正在四個所示的配置中的任何配置中或是圖65中未顯示的任何數目的其它配置中顯示視訊(例如，根據裝置B的使用者所作之該配置的選取)。換言之，用於裝置A的顯示配置與用於裝置B的顯示配置相獨立。某些實施例未將顯示區從一裝置傳送至另一裝置而是僅傳送由裝置顯示於其對應的顯示區中的視訊(例如，以經過編碼的形式)。
2.　特製PIP
某些實施例允許視訊會議期間雙相機行動裝置的使用者將視訊的前景疊加於PIP顯示中的另一視訊上。在某些實施例中，視訊的前景混合至其它視訊中，以致於它們呈現為單一相機捕捉的單一視訊的顯示。圖66顯示嵌入視訊的前景於PIP顯示中的背景視訊上的此疊加的實施例。
圖66以UI 6670的七個操作階段6620、6625、6630、6635、6640、6660、及6665顯示此視訊疊加操作。第一階段6620顯示在與遠端裝置視訊會議期間具有PIP顯示6682的雙相機行動裝置6600的UI 6670。如同第一階段6620所示般，PIP顯示6682包含二個視訊顯示：背景主顯示6610及前景嵌入顯示6605。背景主顯示6610佔據大部份的UI 6670，而前景嵌入顯示6605較小且與背景主顯示6610重疊。
在本實施例中，背景顯示區6610正顯示山的視訊，該山係被假定為正由遠端裝置的相機之一捕捉的山。前景嵌入顯示區6605正顯示戴帽子的人的視訊，在本實施例中，此戴帽子的人被假定為視訊正由本地裝置的相機之一捕捉的人。在PIP顯示6682之下是標有「End Conference」的可選取的UI選項6685(例如，鍵6685)，允許使用者藉由選取此選項(例如，藉由單指或雙指碰觸鍵)以結束視訊會議。
第二階段6625顯示可選取的選單6675的啟用。在某些實施例中，藉由選取(例如，藉由碰觸)PIP顯示區6682，可以啟用可選取的UI選項6675的選單。取代或是配合此啟用操作，某些實施例也允許使用者經由例如不同的觸控螢幕操作或使用裝置的一或更多其它實體輸入等其它操作，以啟用可選取的UI選項6675的選單。
第三階段6630顯示具有啟用的可選取的UI選項組之UI 6670，用於選取視訊疊加操作。在本實施例中，具有多個可選取的UI選項之彈出式選單6675顯示於PIP顯示6682上。可選取的UI選項6675的選單包含「Flip PIP(翻轉PIP)」可選取的UI選項6640(例如，鍵6640)、「Specialized PIP(特製PIP)」可選取的UI選項6645(例如，鍵6645)、及「Cancel(取消)」可選取的UI選項6690(例如，鍵6690)。在本實施例中，選取「Flip PIP」鍵6640將促使UI 6670以嵌入顯示6605切換背景顯示6610(將於下一節詳細說明)，選取「Specialized PIP」鍵6645促使UI 6670開始視訊重疊的操作，選取「Cancel」鍵6690將彈出式選單6675移離PIP顯示6682。其它實施例在PIP彈出式選單6675中包含不同的或更多的選項。
第四階段6635顯示使用者選取「Specialized PIP」鍵6645(例如，以其手指6695碰觸鍵6645)後的UI 6670。藉由凸顯UI顯示6670上的鍵6645，以標示此選取。某些實施例使用不同的標示顯示(例如，凸顯被選取的選項的邊界或被選取的選項中的文字)。
第五階段6640顯示視訊重疊操作開始後的UI 6670。在此階段中，UI 6670允許使用者從其要取出作為前景的視訊及其要使用作為被疊加的視訊中的背景之視訊中選擇。UI 6670經由顯示於PIP顯示6682上具有數個可選取的UI選項之彈出式選單6680，以提供選擇。可選取的UI選項的彈出式選單6680包含「Select Inset(選取嵌入)」可選取的UI選項6655(例如，鍵6655)、「Select Main(選取主視訊)」可選取的UI選項6650(例如，鍵6650)、及「Cancel(取消)」可選取的UI選項6692(例如，鍵6692)。
「Select Inset」鍵6655的選取將使UI 6670將來自本地裝置的相機之嵌入視訊6605(亦即，戴帽子的男士)的前景疊加於來自遠端裝置的相機之背景主視訊6610。另一方面，「Select Main」鍵6650的選取將使UI 6670將來自遠端裝置的相機之背景主視訊6610的前景(亦即，山)疊加於來自本地裝置的相機之嵌入視訊6605。在某些實施例中，這造成二視訊饋送的切換，以致於目前在嵌入顯示區6605中的視訊將佔據大部份的UI 6670以及目前在主顯示區6610中的視訊將被疊加於現在的主視訊上。「Cancel」鍵6692的選取將放棄視訊疊加操作及將彈出式選單6680移離PIP顯示區6682。
第六階段6660顯示使用者選取「Select Inset」鍵6655(例如，以其手指6695碰觸鍵6655上)後的UI 6670。藉由在UI顯示6670上凸顯鍵6655，以標示此選取。某些實施例使用不同的標示顯示(例如，凸顯被選取的選項的邊界或被選取的選項中的文字)。
第七階段6665顯示視訊疊加操作完成後的UI 6670。如同UI 6670中所示般，從顯示區6605中取出嵌入顯示區6605的前景(亦即，戴帽子的男士)。嵌入顯示6605的窗格及背景(亦即，前景以外的任何事務)也被移離螢幕。最後，前景(亦即，戴帽子的男士)混入背景視訊6610中，以致於其呈現為單一視訊。各式各樣不同的技術可以用於移除嵌入視訊的背景。某些實施例辨識相對於其它像素未移動的像素、尋找固定的圖案或顏色、使用相對於包含前景的影像的基線影像以及減掉差異、或使用不同的技術。
雖然圖66的實施例顯示當疊加至背景顯示區6610時UI 6670中停留在相同地方之嵌入顯示區6605的前景，此僅為疊加如何工作的一實施例。某些實施例將前景視訊移至UI 6670中的特定位置(例如，中心、角落之一、等等)。類似於IV.A.1及IV.A.3中所示的特點，某些實施例允許本地裝置的使用者在UI中拖繞被疊加的前景或是改變被疊加的前景視訊的尺寸。
可以使用不同的技術以決定視訊影像的那一部份是用於上述的視訊疊加操作之「前景」。某些實施例的一此方法決定視訊影像的那一(些)部份(假使有)是動態的。由於視訊影像的背景一般是靜態的(亦即，没有動作)，所以，動態部份被視為「前景」。在這些實施例中，在特定的時段分析視訊影像。假使在特定時段中特定像素的值之間的差異不大於界定的臨界值(例如，5%、10%、15%)時，則特定的像素被視為靜態像素。在視訊影像中的每一像素被分析之後，視訊影像的動態像素(亦即，非靜態的)被視為視訊影像的「前景」。
舉例而言，圖67顯示用於決定可以由視訊會議管理器1604或影像處理管理器1608執行的視訊影像的前景之此技術的實施例。具體而言，圖67顯示視訊的六個影像6705-6730序列，所述視訊顯示戴帽子的人及樹。在本實施例中，假定人並非完全靜止地站立且正在講話。如同上述，視訊影像中的每一像素被分析以決定像素是否為動態的或靜態的。舉例而言，決定影像6705-6730中的像素6735的值之間的差值是否大於界定的臨界值。此處，由於像素6735代表部份地面而非人，所以，像素6735被視為是靜態的。在影像6705-6730中的所有像素被分析之後，決定影像中的人是動態的及影像的其餘部份是靜態的。確切而言，人是將由上述參考圖66所述的操作取出的「前景」。
3.　替換畫中畫顯示中的視訊
某些實施例允許雙相機行動裝置的使用者在視訊會議期間替換PIP顯示中的二顯示區(亦即，嵌入顯示區變成背景顯示區，以及背景顯示區變成PIP顯示中的嵌入顯示區)。圖68顯示視訊會議期間以PIP顯示6682中的背景顯示區6610替換嵌入顯示區6605的實施例。
圖68以圖66中的裝置6800的UI 6670的八個操作階段來顯示替換PIP操作。圖68中的前三個階段與圖66中的前三個階段相同。在這些階段中，使用者經由使用本地裝置的觸控螢幕之選取而於UI 6670內啟動選單6675。
圖68中的第四階段6840顯示使用者選取「Flip PIP」鍵6640(例如，以其手指6695碰觸於鍵6640上)後之UI 6670。藉由凸顯UI顯示6670上的鍵6640，以標示此選取。某些實施例使用不同的標示顯示(例如，凸顯被選取的選項的邊界或是被選取的選項中的文字)。
第五階段6845顯示替換PIP操作開始後的UI 6670。某些實施例使嵌入及背景顯示6650和6610經由翻轉動作之替換動畫化。圖68顯示一此動畫的實施例。在本實施例中，經由觀視窗的翻轉以說明動畫，PIP顯示6682(在執行替換操作之前)係在所述觀視窗的一側，而新的PIP顯示6684(在執行替換操作之後)是在另一側。觀視窗圍繞位於PIP顯示6682的中心之垂直軸6686旋轉180度。在此第五階段6845，觀視窗開始圍繞垂直軸6686旋轉。
在第六階段6850中，觀視窗顯示為已旋轉約90度。這由顯示於螢幕中心的細線6688(亦即，觀視窗的邊緣)標示。第七階段6855顯示接近完成的觀視窗之旋轉。新的PIP顯示6684開始從觀視窗的另一側呈現且水平地擴展至填充裝置的螢幕。PIP顯示6684包含執行替換操作後的二顯示區6605和6610。呈現載帽子的男士的視訊(來自本地裝置的相機)之顯示區6605現在在PIP顯示6684的背景中且呈現山的視訊(來自遠端裝置的相機)之顯示6610現在在與顯示6605重疊的PIP顯示6684的前景中。第八階段6860顯示替換顯示動畫完成。
習於此技藝者將瞭解圖68中所示的動畫僅為PIP嵌入/背景替換操作的很多可能動畫之一。舉例而言，不同的實施例可以使觀視窗延著水平軸旋轉、瞬間地替換二顯示區、擴展一顯示區並縮小另一顯示區、等等。某些實施例提供總是用於替換操作的一動畫，但是，其它實施例可以允許使用者從數個動畫中選擇或是使用不同的動畫(例如，經由隨機選取)。此外，替換操作可以對雙相機行動裝置的影像處理操作造成改變，例如，促使視訊會議管理器1604改變視訊的比例調整及合成以回應使用者的輸入。
4.　快動至角落
本發明的某些實施例允許雙相機行動裝置的使用者藉由使形成合成顯示的一或更多顯示區四週移動，以修改合成顯示。在上述第IV.A.1節中已說明此移動的一實施例。當PIP顯示包含一個以上的嵌入顯示區時，嵌入顯示的此移動是可能的。
圖69顯示視訊會議期間被執行的此實施例。圖69中顯示的此實施例類似於圖3中所示的實施例，圖69顯示四週移動包含二嵌入顯示區6905和6910而非僅一此嵌入顯示區的PIP顯示6965的嵌入顯示區6910。
在圖69中，行動裝置6900的UI 6960呈現與另一裝置的遠端使用者進行視訊會議期間之PIP顯示6965。圖69中的PIP顯示6965包含三個視訊顯示：背景主顯示6915及二前景嵌入顯示6905和6910。在本實施例中，背景主顯示6915呈現唱歌及彈吉他的人的視訊，此視訊係被假定為遠端裝置的後相機捕捉的視訊。前景嵌入顯示6905呈現持著球拍的人的視訊，在本實施例中，此視訊被假定為本地裝置的後相機捕捉的視訊。另一前景嵌入顯示6910呈現戴著帽子的人的視訊，在本實施例中，此人被假定為視訊正由本地裝置的前相機捕捉的人。在PIP顯示6965之下是標有「End Conference」(例如，鍵6970)之可選取的UI選項6970，允許使用者藉由選取此選項以結束視訊會議。
PIP顯示6965僅為遠端和本地裝置正捕捉的視訊之合成畫面。某些實施例可以提供其它合成畫面。舉例而言，取代具有用於來自遠端裝置的視訊之較大的背景顯示6915，較大的背景顯示6915可以具有來自本地裝置的視訊及較小的前景嵌入顯示6905和6910可以具有來自遠端裝置的視訊。而且，某些實施例允許本地及遠端視訊出現在UI 6960中，以嵌入顯示6905和6910在一側上及背景顯示6915在另一側上或所有三個邊靠邊。在其它實施例中，PIP顯示6965可以含有較大的背景顯示6915及/或較小的前景顯示。在某些實施例中，PIP顯示6965的方式或是內定的顯示模式可以由使用者指定。
圖69係參考五個不同階段6920、6925、6930、6935、及6940以顯示裝置6900的UI 6960中二嵌入顯示區中之一的移動。第一階段6920顯示裝置6900的本地使用者與遠端裝置的遠端使用者之間的視訊會議期間的UI 6960。
第二階段6925顯示使用者藉由選取嵌入顯示區6910以啟動快動至角落的操作。在本實施例中，藉由將手指6950置於嵌入顯示區6910內的任意處以作出選取。如同所示，以粗邊界6962用於嵌入顯示區6910，以顯示此選取。不同的實施例可以以不同方式標示此選取，例如藉由凸顯嵌入顯示區6910、藉由使嵌入顯示區6910振盪、等等。
第三階段6930顯示使用者開始將PIP顯示6965的嵌入顯示區6910從PIP顯示6965中的一區域移至此PIP顯示6965中的另一區域之後的UI 6960。在本實施例中，如同箭頭6955所示般，嵌入顯示區6910開始從PIP顯示6965的右下角落移至此顯示的右上角落。在選取嵌入顯示6910之後，由使用者將其手指6950拖向PIP顯示6965的右上角落，以移動嵌入顯示6910。某些實施例提供在PIP顯示6965中移動嵌入顯示6910之其它技術。
第四階段6935顯示使用者將其手指6950從裝置6900的螢幕移開後的狀態中的UI 6960。在此狀態中，嵌入顯示區6910仍然移向根據第三階段中使用者的手指移動而被辨識的PIP顯示6965的右上角落。換言之，在手指6950開始將嵌入顯示6910朝向PIP顯示6965的右上角落移動之後，即使手指6950移開後，UI 6960仍然維持此移動。為了維持此移動，某些實施例的UI 6960要求使用者移開其手指之前使用者的拖曳操作大於特定的臨界量(例如，比特定距離還長或比特定時間長度還長)；否則，這些實施例在稍微或完全未移動此顯示區之後將嵌入顯示區保持在其原始底部右角落位置。
但是，雖然某些實施例允許嵌入顯示區到達新位置之前，即使使用者停止其拖曳操作之後，嵌入顯示區仍然能移動，但是，其它實施例可以要求使用者維持其拖曳操作直到嵌入顯示區到達其新位置。某些實施例又提供其它技術，以將嵌入顯示區移動。舉例而言，某些實施例可以要求使用者在顯示區6910真正地開始移動之前指定要將顯示區6910導引至何處、等等。某些實施例也可以藉由簡單地依不同角度來傾斜裝置而允許顯示區滑動及快動至角落。
第五階段6940顯示嵌入顯示區6910到達其在PIP顯示區6965的右上角落的新位置之後的UI 6960。在第五階段中的粗邊界6962的移除表示完成快動至角落操作。
為了便於上述第三、第四及第五階段6930、6935和6940中所示的移動，一旦使用者使嵌入顯示區6910移向角落時，某些實施例的UI 6960使用允許嵌入顯示區6910快速地快動至PIP顯示6965的角落之快動規則。舉例而言，當使用者以大於臨界量來拖曳嵌入顯示區6910至特定角落時，某些實施例的UI 6960辨識嵌入顯示區6910的動作方向、決定超過臨界量的動作、然後不需使用者進一步輸入即可接著自動地移動嵌入顯示區6910至嵌入顯示區6910要被快動至UI 6960中的下一格點。在某些實施例中，用於快動嵌入顯示區6910的僅有的格點是在PIP顯示6965的四個角落之格點。其它實施例在UI 6960中提供其它格點(例如，在PIP顯示6965中)，嵌入顯示區6910可以快動至這些格點。
仍然有其它實施例未使用格點，以致於嵌入顯示區6910可以位於PIP顯示中的任何點。又有其它實施例提供允許使用者開啟或關閉快動至UI的格點特徵之特點。此外，除了裝置捕捉的視訊之外，不同的實施例還允許使用者以例如圖像等不同項目來執行快動至角落的操作。如上所述，合成顯示的顯示區的移動可以對雙相機行動裝置的影像處理操作造成改變，例如促使視訊會議管理器1604再合成合成顯示中的顯示區，以回應使用者的輸入。
5.　推及快動
圖69中的實施例顯示快動至角度操作，允許雙相機行動裝置的使用者將二嵌入顯示區之一從PIP顯示的一角落移至未由嵌入顯示佔據的另一角落。某些實施例被賦予推特點，將第一嵌入移至第二嵌入的位置，以及，也將第二嵌入推至新位置。圖70顯示視訊會議期間被執行的一此實施例。
圖70參考此UI 6960的六個不同的階段7020、7025、7030、7035、7040及7045以顯示嵌入顯示從PIP顯示的一角落至由另一嵌入顯示佔據的PIP顯示的另一角落之移動。第一階段7020顯示裝置的本地使用者與遠端裝置的遠端使用者之間的視訊會議期間的UI 6960。圖70中的UI 6960顯示與視訊會議開始後圖69的第一階段中所示的PIP顯示相同的PIP顯示6965。在本實施例中，由本地使用者的裝置捕捉的視訊顯示於嵌入顯示區6905和6910中且由遠端使用者的裝置捕捉的視訊顯示於背景顯示區6915中。
第二階段7025顯示使用者藉由選取嵌入顯示區6905以啟動快動至角落的操作。在本實施例中，將手指7055置於嵌入顯示區6905內的任意處以作出選取。如同所示，以用於嵌入顯示6905的粗邊界7065來顯示此選取。不同的實施例可以以不同的方式標示此選取，例如，凸顯顯示區6905、使顯示區6905振動、等等。
第三階段7030顯示使用者如箭頭7050所示般開始將嵌入顯示區6095從PIP顯示6965的左下角落移至PIP顯示6965的右下角落(在第三階段選取嵌入顯示6905後，將其手指7055拖向PIP顯示6965的右下角落)後的UI 6960。某些實施例提供用於在PIP顯示6965中四週地移動嵌入顯示區6905的其它技術。
第四階段7035顯示嵌入顯示區6905與嵌入顯示區6910接觸後的UI 6960。在接觸時，嵌入顯示區6910移向下一最近的角落。在本實施例中，嵌入顯示區6910開始在PIP顯示6965的右上角落的方向(如箭頭7075所示)上移動。以用於嵌入顯示6910的粗邊界7070，顯示此推操作的致動。不同的實施例可以以不同的方式標示此致動，例如凸顯顯示6910、等等。
第五階段7040顯示嵌入顯示區6905快動至先前由嵌入顯示區6910佔據的右下角落後的狀態中的UI。在此狀態中，嵌入顯示區仍然移向PIP顯示6965的右上角落。而且，粗邊界7065不再顯示。只要自第三階段7030始的使用者的拖曳大於促使嵌入顯示區6905快動至右角落的臨界值，則嵌入顯示區6910從其角落移離並一路快動至下一最近的角落。
某些實施例包含用於決定以那一方式推第二嵌入顯示區6910之規則組。在圖70中所示的情形中，某些實施例嘗試繼續旋轉嵌入顯示區。亦即，由於顯示區6905以逆時鐘方向旋轉，所以，顯示區6910也逆時鐘地移動。某些實施例提供被推的嵌入顯示區6910可以移動之可能位置的層級結構及選取清單上的第一未被佔據的位置。舉例而言，當右底部中的嵌入顯示區被來自左底部的嵌入顯示區推動時，頂部右角落可以是此清單中的第一位置。但是，假使第三嵌入顯示區已出現在右上角時，則某些實施例將移至清單上的下一選擇(例如，左上角、中心、或左下角)。其它實施例將以第二嵌入顯示區推動第三嵌入顯示區，以致於裝置需要決定用於第三嵌入顯示區的新位置。
第六階段7045顯示嵌入顯示區6910到達其在PIP顯示區6965的右上角之新位置後的UI 6960。此階段中粗邊界7070的移除標示快動至角落推操作完成。類似於參考圖68所述的快動至角落操作，合成顯示的顯示區的移動造成雙相機行動裝置的影像處理裝置的改變，例如促使視訊會議管理器1604再合成合成顯示中的顯示區，以回應使用者的輸入。
6.　旋轉
某些實施例當用於視訊會議的行動裝置的使用者在會議期間旋轉裝置時，將視訊會議期間呈現的PIP顯示旋轉。圖71顯示當裝置從垂直位置旋轉至水平位置時裝置7100的UI顯示7175的旋轉。當螢幕的長邊是垂直時裝置7100被垂直地固持，而當螢幕的長邊是水平時裝置7100被水平地固持。在圖71中所示的實施例中，UI顯示7175從對裝置的垂直固持最佳化的直式畫旋轉至對裝置7100的水平固持最佳化的橫式畫面。此旋轉功能當行動裝置7100被垂直地或水平地固持時允許使用者觀視顯示於右上位置的UI 7175。圖71中所示的本實施例類似於圖34中所示的實施例，但是，圖71顯示旋轉包含二嵌入顯示區而非僅一嵌入顯示區之PIP顯示除外。
在圖71中，行動裝置7100的UI 7175呈現與另一行動裝置的遠端使用者進行視訊會議期間之PIP顯示7180。在圖71中的PIP顯示7180包含三個視訊顯示：背景主顯示7115及二個前景嵌入顯示7110和7160。在本實施例中，背景主顯示7115呈現山的視訊，此視訊被假定為由遠端裝置的前相機或後相機捕捉的視訊。前景嵌入顯示7110呈現室內笑臉的視訊，此視訊被假定為由本地裝置的前相機或後相機捕捉。另一前景嵌入顯示7160呈現吉他手唱歌的視訊，其被假定為視訊正由本地裝置的另一相機捕捉的吉他手。在PIP顯示7180之下為End Conference鍵7155，使用者可選取此鍵以結束視訊會議(例如，經由單指碰觸)。此PIP顯示僅為呈現正由遠端和本地裝置捕捉的視訊之合成畫面。某些實施例可以提供其它的合成畫面，例如嵌磚畫面或不同的PIP顯示。
圖71以六個不同的操作階段7120、7125、7130、7135、7140及7145顯示UI 7175的旋轉。第一階段7120顯示裝置的本地使用者與遠端裝置的遠端使用者之間的視訊會議期間的UI 7175。
第二階段7125顯示使用者開始側向地傾斜裝置7100之後的UI 7175。在本實施例中，如同箭頭7185所示般，裝置7100開始將裝置7100從被垂直地固持傾斜至被水平地固持。UI 7175的外觀未改變。在其它情形中，替代地，使用者可以將裝置7100從被水平地固持傾斜至被垂直地固持，以及，在這些情形中，UI顯示7175從水平最佳化畫面切換至垂直最佳化畫面。
第三階段7130顯示裝置7100已從被垂直地固持而傾斜至被水平地固持後的狀態中的UI 7175。在此狀態中，UI顯示7175的外觀仍然未改變。在某些實施例中，在裝置7100傾斜超過臨界量且保持超過此點一段持續時間之後，旋轉操作被觸發。在圖71所示的實施例中，假定旋轉的臨界量和速度不會造成UI顯示7175旋轉直到裝置已被置於水平位置之後一段短時間為止。不同的實施例具有用於觸發旋轉操作之不同的臨界量及等待時間。舉例而言，某些實施例可以具有此低臨界值以觸發旋轉操作，以致不論裝置7100的方向為何，仍然使UI 7175呈現好像總是顯示於右上方位置處。在其它實施例中，裝置7100的使用者可以指定旋轉操作何時被觸發(例如，經由選單偏好設定)。而且，某些實施例在裝置傾斜超過臨界量之後可能不會延遲旋轉。此外，不同的實施例可以允許旋轉操作被以不同方式觸發，例如藉由雙態觸動行動裝置上的開關、藉由給予聲音命令、經由選單選取、等等。
第四階段7135顯示旋轉操作啟動後的UI 7175。某些實施例使旋轉顯示區以動畫作動以回饋給與旋轉操作有關的使用者。圖71顯示一個此動畫的實施例。具體而言，在其第四階段7135中顯示顯示區7110、7115和7160的旋轉一起開始。顯示區7110、7115、和7160圍繞經過UI顯示7175的中心(亦即，z軸)之軸7165旋轉。顯示區7110、7115、及7160以相同量旋轉但是以與裝置7100的旋轉方向相反的方向旋轉(例如，經由裝置7100的傾斜)。在本實施例中，由於裝置7100已以順時鐘方向旋轉九十度(從被垂直地固持至被水平地固持)，所以，旋轉操作將促使顯示區7110、7115、及7160以逆時鐘方向旋轉九十度。當顯示區7110、7115和7160旋轉時，顯示區7110、7115和7160成比例地縮小以適合UI顯示7175，以致於顯示區7110、7115和7160仍然可以完合地顯示於UI 7175內。某些實施例可以提供訊息以標示此裝置7100的狀態(例如，藉由顯示「旋轉」文字)。
第五階段7140顯示顯示區7110、7115和7160已從直式畫面逆時鐘旋轉90度至橫式畫面後的UI 7175。在此階段中，顯示區7110、7115和7160已被旋轉但尚未擴展跨越UI 7175的全部寬度。箭頭7170標示第五階段結束時，顯示區7110、7115和7160將開始橫向地擴展以適合UI 7175的全部寬度。由於擴展可以與第四階段7135中的旋轉同時地執行，所以，不同的實施例可以不包含此階段。
第六階段7145顯示在顯示區7110、7115和7160已擴展至佔據UI 7175的全部顯示之後的UI 7175。如上所述，其它實施例可以不同地實施此旋轉。對某些實施例而言，不論裝置7100的方向為何，簡單地旋轉裝置的螢幕超過臨界量可以觸發旋轉操作。
而且，其它實施例可以提供不同的動畫，用於標示旋轉操作。圖71中執行的旋轉操作涉及UI顯示7175圍繞UI顯示7175的中心旋轉。或者，顯示區可以圍繞它們個別的顯示區的中心軸個別地旋轉。一此方式顯示於圖72中，圖72顯示使UI 7175的PIP顯示區7180的旋轉以動畫作動的另一方法。圖72中所示的PIP顯示與圖71中所示的PIP顯示7180相同。
圖72以六個不同操作階段7120、7125、7130、7220、7225、及7230來顯示PIP顯示7180的旋轉。UI 7175的前三個操作階段與圖71中的UI 7175中所述的前三個操作階段相同。在圖71和72的第三階段，裝置已從被垂直地固持進入被水平地固持且UI 7175的旋轉尚未開始。
第四階段7220顯示旋轉動畫化的另一方法。在此階段中，旋轉操作已啟動。具體而言，第四階段7220顯示顯示區7110、7115、及7160的旋轉開始。顯示區7110、7115、及7160均圍繞經過每一顯示區的中心之軸(亦即，z軸)7250旋轉。顯示區7110、7115、及7160以與裝置7100的旋轉量相同的量但相反的旋轉方向旋轉(例如，經由裝置7100的傾斜)。在本實施例中，由於裝置7100已在順時鐘方向上旋轉九十度(從被垂直地固持至被水平地固持)，所以，旋轉操作將造成顯示區7110、7115、及7160以逆時鐘方向旋轉九十度。當顯示區7110、7115、及7160旋轉時，它們也成比例地縮小以適合UI顯示7175，以致於顯示區7110、7115、及7160仍然可以完全地呈現於UI 7175上。
第五階段7225顯示顯示區7110、7115、及7160從直式畫面逆時鐘旋轉九十度至橫式畫面之後的UI 7175。在此階段中，顯示區7110、7115、及7160已旋轉但是尚未擴展遍及UI 7175的全部寬度或到達它們的最終位置。如同第一階段7120中所示般，在PIP顯示7115中的顯示區的最終位置由PIP顯示中的顯示區的位置決定(例如，在PIP顯示7180的下角中的嵌入顯示區7110及PIP顯示7180的右下角中的嵌入顯示區7160)。
箭頭7170標示在第五階段結束時，顯示區7110、7115、及7160將開始橫向地廣展直至主顯示區7115適合UI 7175的全部寬度為止。此外，箭頭7255標示嵌入顯示區7110及7160將移動以到達PIP顯示7180中它們的最後位置。換言之，嵌入顯示區7110將向下移至PIP顯示7180的左下角，而另一嵌入顯示區7160移至PIP顯示7180的右下角。不同的實施例可以不同地執行此動畫，例如，使用圖71中所示的快動及推操作。第六階段7230顯示顯示區7110、7115、及7160擴展至佔據UI 7175的全部寬度且移動至它們的最後位置後的UI 7175。
如上所述，其它實施例可以不同地實施此旋轉。舉例而言，如圖36和37所示，某些實施例提供旋轉操作，其中，顯示本地裝置捕捉的視訊之顯示區的方向改變以反應對本地裝置執行旋轉操作後本地裝置的方向，某些實施例提供旋轉操作，其中，顯示遠端裝置捕捉的視訊之顯示區的方向改變以反應對遠端裝置執行旋轉操作後遠端裝置的方向，某些實施例提供提供旋轉操作，其中，顯示區1155維持在相同的位置，某些實施例在顯示區中提供不同的佈局(例如，圖12的顯示區1155的佈局)、或其組合。
對於某些實施例，不管裝置7100的方向為何，僅旋轉裝置的螢幕通過臨界量可以觸發旋轉操作。也如同上述所述般，本地及遠端裝置經由控制通訊通道以將在裝置之一上執行的旋轉操作告知彼此，以允許其它裝置執行一裝置的視訊之對應的修改。而且，旋轉操作的動畫可以對雙相機行動裝置的相機的操作或影像處理操作造成改變，例如，使視訊會議管理器1604再合成UI 1105中不同角度的顯示區以及將顯示於顯示區中的影像調整比例。
7.　選取遠端畫面以觀視
如上所述，某些實施例允許雙相機行動裝置的使用者在視訊會議開始前或開始時選取那一相機用於視訊會議。取代或配合此能力，某些實施例允許裝置的使用者在正於視訊會議中顯示與來自遠端裝置的二視訊相機或來自使用者的本地裝置的二視訊相機之二視訊之間作選取。圖73顯示來自二遠端視訊之一視訊的會議中選取，而圖74顯示來自二本地視訊之一視訊的會議中選取。
圖73以顯示於本地裝置7300上的UI 7375的六個操作階段7335、7340、7345、7350、7355及7360來顯示遠端視訊的選取。第一階段7335顯示具有初始PIP顯示7390的UI 7375，初始PIP顯示7390是在與具有二相機的行動裝置的遠端使用者進行視訊會議期間正呈現的顯示。
如同第一階段7335中所示般，初始PIP顯示7390包含三個顯示：背景主顯示7315及二個前景嵌入顯示7305和7310。背景顯示7315佔據大部份的PIP顯示區7390，而前景嵌入顯示7305和7310與UI 7375上的背景顯示7315的部份相重疊。在本實施例中，背景顯示7315呈現位於麥克風之前的人的視訊，此視訊被假定為由遠端裝置的後相機捕捉的視訊。第一前景嵌入顯示7305呈現男士的臉之視訊，在本實施例中，此視訊被假定為由本地裝置7300的相機之一捕捉的視訊。第二前景嵌入顯示7310呈現戴帽子的人之視訊，在本實施例中，此視訊被假定為由遠端裝置的前相機捕捉的視訊。
初始PIP顯示7390僅為呈現正由本地裝置的相機捕捉的視訊的合成畫面之一方式。某些實施例可以提供其它合成畫面。舉例而言，背景顯示可以呈現來自本地裝置的相機之一的視訊，較小的前景嵌入顯示可以呈現來自遠端裝置的前及後相機的視訊。而且，在某些情形中，PIP顯示僅包含都來自遠端裝置旳一背景視訊顯示及一前景視訊顯示。在某些實施例中，PIP顯示的方式或內定的顯示模式可以由使用者指定。
第二階段7340顯示視訊選取操作的開始。在本實施例中，藉由喚起可選取的UI選項組以顯示於PIP顯示7390上，以啟動此操作。可選取的UI選項組呈現用於選取用以顯示的遠端視訊之選項。在某些實施例中，藉由選取(例如，藉由觸碰)正在UI 7375上播放遠端視訊的任何顯示區，可以喚起可選取的UI選項組。在其它實施例中，藉由選取(或是藉由觸碰)UI 7375上的任意處，可以喚起這些選項。取代或配合此喚起操作，某些實施例也允許使用者經由其它操作以喚起可選取的UI選項組，舉例而言，此其它操作可為不同的觸控螢幕操作或是使用裝置的一或更多實體輸入。
第三階段7345顯示具有用於選取遠端視訊之被喚起的可選取的UI選項7380之UI 7375。在本實施例中，彈出式選單形式之可選取的UI選項7380組顯示於PIP顯示區7390中且其重疊PIP顯示。可選取的UI選項7380的組(可以實施成為可選取的鍵)包含「Select R1(選取R1)」可選取的UI選項7320(例如，鍵7320)、「Select R2(選取R2)」可選取的UI選項7325(例如，鍵7325)、「Select Both(選取二者)」可選取的UI選項7330(例如，鍵7330)、及「Cancel(取消)」可選取的UI選項7385(例如，鍵7385)。在本實施例中，選取「Select R1」鍵7320將促使UI 7375僅顯示遠端裝置的後相機捕捉的視訊(正出現在背景顯示7315中)。選取「Select R2」鍵7325將促使UI 7375僅顯示遠端裝置的前相機捕捉的視訊(正出現在前景顯示7310中)。選取「Select Both」鍵7330將促使UI 7375繼續顯示遠端裝置的前及後相機捕捉的二視訊。選取「Cancel」鍵7385將取消操作。在某些實施例中，由本地裝置捕捉的視訊不受在此選單上所作的選取影響。
第四階段7350顯示使用者選取「Select R1」鍵7320(例如，以手指7365碰觸於鍵7320上)後的UI 7375。藉由凸顯UI 7375上的鍵7320以標示此選取。某些實施例使用不同的標示顯示(例如，凸顯被選取的選項的邊界或被選取的選項中的文字)。
第五階段7355顯示使用者從R1選取視訊以用於顯示後的UI 7375的動畫。在本實施例中，如箭頭7370所示般藉由使不必要的前景嵌入顯示區7310滑離PIP顯示7390的右邊緣，UI 7375可移除不必要的前景嵌入顯示區7310。其它實施例利用不同的動畫以移除不必要的嵌入顯示區，例如淡出或分解嵌入顯示區、以不同方向移動它、或是簡單地瞬間移除它。
第六階段7360顯示完成視訊選取操作後視訊會議期間的UI 7375。視訊顯示區7310不再顯示於UI 7375上。在此階段中，UI 7375呈現新的PIP顯示7395，新的PIP顯示7395包含作為背景主顯示的視訊顯示區7315及作為嵌入顯示的視訊顯示區7305。
在某些實施例中，視訊選取操作也將促使遠端裝置僅顯示選取的視訊，但是，在其它實施例中，操作對遠端裝置沒有影響。在某些實施例中，此視訊選取操作將促使遠端裝置停止傳送不要的視訊給本地裝置。事實上，在某些實施例中，此視訊選取操作將促使遠端裝置停止捕捉不要的視訊。在某些實施例中，可以由遠端裝置的使用者排除對於遠端裝置的這些作用。
上述實施例顯示被選取的遠端畫面是已經顯示於背景主顯示中的畫面之情形。在某些實施例中，當使用者選取顯示於嵌入顯示之一中的遠端畫面時，被選取的遠端畫面顯示於背景主顯示中。某些此類實施例用類似於此情形中顯示於圖68中的動畫。此外，選取遠端視訊可以對本地的雙相機行動裝置的影像處理操作造成改變，例如，促使視訊會議管理器1604僅合成合成顯示中被選取的遠端視訊，以回應用者的輸入。
8.　選取本地畫面以觀視
圖74以本地裝置7400上的UI 7475的六個操作階段7435、7440、7445、7450、7455及7460來顯示本地視訊的選取。第一階段7435顯示具有初始PIP顯示7490的UI 7475，初始PIP顯示7490是在與具有至少一相機的行動裝置的遠端使用者進行視訊會議期間正呈現的顯示。PIP顯示7490類似於圖73中的第一階段7335中的PIP顯示，但是下述除外：與圖73不同，背景顯示7415呈現由遠端裝置的相機捕捉的男士的視訊，左前景嵌入顯示7410呈現由本地行動裝置的後相機捕捉的具有吉他的人的視訊，以及右方前景嵌入顯示7405呈現由本地行動裝置7400的前相機捕捉之戴帽子的男士的視訊。如此，僅有一遠端視訊被顯示，但有二本地視訊被顯示。
第二階段7440顯示視訊選取操作的開始。在本實施例中，藉由喚起用於選取用以顯示的遠端視訊之可選取的UI選項組以顯示於PIP顯示7390上，而啟動此操作。在某些實施例中，藉由選取(例如，藉由觸碰)正在UI顯示7475上播放本地視訊的任何顯示區，可以喚起可選取的UI選項組。在其它實施例中，藉由選取(或是藉由觸碰)UI 7475上的任意處，可以喚起這些選項。取代或配合這些喚起操作，某些實施例也允許使用者經由其它操作以喚起可選取的UI選項組，舉例而言，此其它操作可為不同的觸控螢幕操作或是使用裝置的一或更多實體輸入。
第三階段7445顯示具有用於選取本地視訊之被喚起的可選取的UI選項7480之UI 7475。在本實施例中，彈出式選單形式之可選取的UI選項7480組顯示於PIP顯示區7490中，重疊PIP顯示。可選取的UI選項7480的組包含「Select L1(選取L1)」可選取的UI選項7420(例如，鍵7420)、「Select L2(選取L2)」可選取的UI選項7425(例如，鍵7425)、「Select Both(選取二者)」可選取的UI選項7430(例如，鍵7430)、及用於取消操作的「Cancel(取消)」可選取的UI選項7485(例如，鍵7485)。在本實施例中，選取「Select L1」鍵7420將促使UI 7475僅顯示本地裝置的後相機捕捉的視訊(正出現在前景顯示7410中)。選取「Select L2」鍵7425將促使UI 7475僅顯示遠端裝置的前相機捕捉的視訊(正出現在前景嵌入顯示7405中)。選取「Select Both」鍵7430將促使UI 7475繼續顯示本地裝置的二相機捕捉的二視訊，以及，選取「Cancel」鍵7485將取消操作。在某些實施例中，由遠端裝置捕捉的視訊不受經由此選單所作的選取影響。
第四階段7450顯示使用者選取「Select L2」鍵7425(例如，以手指7465碰觸於鍵7425上)後的UI 7475。藉由凸顯UI顯示7475上的鍵7425以標示此選取。某些實施例使用不同的標示顯示(例如，凸顯被選取的選項的邊界或被選取的選項中的文字)。
第五階段7455顯示使用者從L2選取視訊以用於顯示後的UI 7475的動畫。在本實施例中，如箭頭7470所示般藉由使不必要的前景嵌入顯示7410滑離PIP顯示7490的左邊緣，UI 7475可移除不要的前景嵌入顯示7410。其它實施例利用不同的動畫以移除不要的嵌入顯示區，例如淡出或分解嵌入顯示區、以不同方向移動它、或是簡單地瞬間移除它。
第六階段顯示完成視訊選取操作後視訊會議期間的UI 7475。視訊顯示區7410不再顯示於UI 7425上。在此階段中，UI 7475呈現新的PIP顯示7495，新的PIP顯示7495包含作為背景主顯示的遠端視訊顯示7415及作為嵌入顯示的本地視訊顯示7405。在某些實施例中，此視訊選取操作僅影響本地顯示，而二視訊捕捉仍然傳送至遠端裝置。其它實施例停止從移離的相機捕捉。
上述實施例顯示被選取的畫面是已顯示於背景主顯示中的畫面之情形。在某些實施例中，當使用者選取顯示於嵌入顯示之一中的本地畫面時，被選取的本地畫面顯示於主背景顯示中。某些此類實施例用類似於此情形中顯示於圖68中所示的動畫。當背景主顯示中的本地畫面被移除時，其它實施例將使用嵌入的遠端畫面。
類似於參考圖73之上述遠端畫面選取操作，選取本地視訊可以對本地的雙相機行動裝置的影像處理操作造成改變，例如，促使視訊會議管理器1604僅合成合成顯示中被選取的遠端視訊，以回應用者的輸入。本地視訊的選取也可以造成本地裝置的相機的操作改變。舉例而言，某些實施例使未被選取的視訊的相機停止傳送不要的視訊至遠端裝置，而其它實施例使相機停止捕捉不要的視訊。
9.　選取本地畫面以傳送
上述子節顯示會議中對視訊顯示的修改。某些實施例也允許雙相機行動裝置的使用者在視訊會議開始前選取那一相機用於視訊會議。圖75顯示在會議前從用於視訊會議之使用者的雙相機行動裝置捕捉的二視訊中選取一視訊。
圖75以UI 7500的八個操作階段來顯示用於視訊會議的本地視訊之選取。第一階段7502顯示使用者請求與行動裝置的遠端裝使用者開始視訊會議後之具有目前正呈現的初始PIP顯示7542的雙相機行動裝置7518的UI 7500。
如同第一階段7502中所示般，初始PIP顯示7542包含二個視訊顯示：背景主顯示7520及前景嵌入顯示7522。背景主顯示7520佔據裝置的大部份顯示螢幕，而前景嵌入顯示7522較小且與背景主顯示相重疊。在本實施例中，背景顯示7520呈現持著吉他的人的視訊，此視訊被假定為正由裝置的後相機捕捉的視訊。前景嵌入顯示7522呈現戴帽子的人之視訊，在本實施例中，此視訊被假定為由裝置的前相機捕捉的視訊。
初始PIP顯示7542僅為呈現正由本地裝置的相機捕捉的視訊的合成畫面之一方式。某些實施例可以提供其它合成畫面。舉例而言，背景顯示可以呈現來自裝置的前相機之視訊，較小的前景嵌入顯示可以呈現來自裝置的後相機的視訊。而且，某些實施例允許二視訊以二個邊接邊的顯示區(例如，左及右顯示視窗，或是上及下顯示視窗)或二個對角線對齊的顯示區出現在UI 7500中。PIP顯示的方式或內定的顯示模式可以由使用者指定。在PIP顯示之下是標有「End Conference」之可選取的UI選項7540(例如，鍵7540)，允許使用者藉由選取此選項以結束視訊會議。
在第一階段7502中，行動裝置7518的使用者請求與遠端使用者舉行視訊會議並正等待遠端使用者回應。此等待時間由在顯示的底部之「Preview(預覽)，Waiting for response(等待回應)...」標記顯示。
第二階段7504顯示視訊選取操作的開始。在本實施例中，藉由喚起可選取的UI選項組以顯示於PIP顯示7542上，以啟始此操作。可選取的UI選項組呈現用於為了視訊會議而選取本地視訊以傳送至遠端裝置之選項。在某些實施例中，當等待遠端使用者回應時，在前置會議時間期間，藉由選取(例如，藉由觸碰)UI顯示7500上的任意處，可以喚起可選取的UI選項組。取代或配合此喚起操作，某些實施例也允許使用者經由其它操作以喚起可選取的UI選項組，舉例而言，此其它操作可為不同的觸控螢幕操作或是使用裝置的一或更多其它實體輸入。
第三階段7506顯示具有用於使用者選取視訊之被喚起的可選取的UI選項7526之UI 7500。在本實施例中，彈出式選單形式之可選取的UI選項7526的組顯示於PIP顯示區7542中且其重疊PIP顯示。在本實施例中，可選取的UI選項組包含「Transmit L1(傳送L1)」選項7528(例如，鍵7528)、「Transmit L2(傳送L2)」選項7530(例如，鍵7530)、「Transmit Both(傳送二者)」選項7532(例如，鍵7532)、及「Cancel(取消)」選項7534(例如，鍵7534)。在本實施例中，選取「Transmit L1」鍵7528將促使UI 7500在視訊會議期間僅傳送裝置的後相機捕捉的視訊至遠端裝置。選取「Transmit L2」鍵7530將促使UI 7500在視訊會議期間僅傳送裝置的前相機捕捉的視訊至遠端裝置。選取「Transmit Both」鍵7532將促使UI 7500傳送裝置的前及後相機捕捉的二視訊至遠端使用者以用於視訊會議，選取「Cancel」鍵7534將取消操作。
第四階段7508顯示使用者選取「Transmit L1」鍵7528(例如，以其手指7524碰觸於鍵7528上)後的UI 7500。藉由凸顯PIP顯示區7542上的鍵7528以標示此選取。某些實施例使用不同的標示顯示(例如，凸顯被選取的選項的邊界或被選取的選項中的文字)。
第五階段7510顯示使用者選取來自裝置的後相機之視訊以傳送至遠端裝置後的UI 7500的動畫。在本實施例中，如箭頭7536所示般，藉由使不要的前景嵌入顯示7522滑離PIP顯示7542的右邊緣，UI 7500可移除不要的前景嵌入顯示7522。在第六階段7512中，已將嵌入顯示7522從PIP顯示區7542完全移除。不同的實施例使用不同的動畫以移除不要的顯示區，例如淡出或分解嵌入顯示區、以不同方向移動它、或是簡單地瞬間移除它。
第七階段7514顯示遠端使用者接受視訊會議請求後的UI 7500的動畫。藉由移除顯示上的「Preview,Waiting for response...」標記，以凸顯接受視訊會議請求。在此階段中，背景顯示區7520是來自裝置的後相機之視訊，如箭頭7538所示，背景顯示區7520的尺寸逐漸地縮小至PIP顯示區7542的左下角。背景顯示7520縮小，以致於UI 7500可以在顯示區7520之後方顯示顯示區7544，顯示區7544含有來自遠端使用者的相機之視訊。某些實施例將本地相機縮小至不同的位置、使用二顯示的視訊之嵌磚式合成顯示、或使遠端觀看PIP顯示的嵌入顯示區。
第八階段7516顯示在完成視訊選取操作之後的UI 7500。UI 7500呈現新的PIP顯示7546，PIP顯示7546包含從本地裝置捕捉的視訊之嵌入顯示7520及從遠端裝置傳送的視訊之背景顯示7544。
B.　頻寬&框速率
在某些實施例中，視訊會議期間調整遠端行動裝置的顯示區的尺寸會促使本地行動裝置重新分配分配給本地行動裝置的二相機(亦即，前相機和後相機)捕捉的每一視訊之頻寬。圖76顯示本地裝置的二相機之間的此頻寬重新分配的二實施例。
圖76中的每一實施例涉及本地裝置的後相機感測器7605、本地裝置的前相機感測器7610、本地裝置的視訊會議模組7615、及遠端行動裝置7620的UI 7635。後相機感測器7605和前相機感測器7610捕捉來自本地裝置之各別的後和前相機之視訊。捕捉的視訊被送至視訊會議模組7615，視訊會議模組7615處理它們並將它們傳送至遠端裝置以用於顯示在UI 7635中。
在圖76中，遠端裝置的UI 7635呈現合成顯示。合成顯示顯示由本地裝置的前和後相機捕捉的視訊。來自前相機的視訊捕捉樹及戴帽子的男士，而來自後相機的視訊捕捉山景。如圖76所示，根據用於顯示視訊的顯示區的配置及也根據顯示區的尺寸，二視訊可以以很多不同方式顯示於UI 7635中。在每一實施例中，視訊會議模組7615最初根據遠端裝置中的顯示區的相對尺寸而將總輸出頻寬分配給每一視訊。具體而言，顯示於UI 7635中的較大顯示區中的視訊分配到總頻寬中的較大部份，顯示於UI 7635中的較小顯示區中的視訊分配到頻寬中的較小部份。在某些實施例中，當視訊顯示於相同尺寸的顯示區中時，總輸出頻寬均等地分配給二視訊。
分配給二視訊中的每一視訊之頻寬量影響每一視訊被處理的方式。舉例而言，視訊可以要求比分配給視訊的頻寬還高的頻寬。在此情形中，調整視訊框速率或縮小視訊影像的尺寸以容納更小的頻寬。降低視訊的框速率會造成視訊呈現「不順暢」，而縮小視訊影像的尺寸降低視訊被顯示的面積。因此，當頻寬量分配給視訊時，某些實施例調整視訊的框速率、縮小視訊的影像的尺寸、或執行二者的組合，以確保視訊可以在分配到的頻寬內傳送。習於此技藝者將瞭解框速率的調整及平均框尺寸會變化以取得取佳的全部視訊品質，並仍能確保視訊可以在分配到的頻寬內傳送。
圖76的實施例(1)以UI 7635的二操作階段來顯示頻寬再分配的一情形。在第一階段7670中的遠端裝置7620的UI 7635呈現含有二顯示的合成顯示，所述二顯示係一個在UI 7635的頂部，而另一個在UI 7635的底部。在本實施例中，頂部顯示區7625顯示正由本地裝置的前相機捕捉的視訊，底部顯示區7630顯示正由本地裝置的後相機捕捉的視訊。如同第一階段7670中所示般，頂部顯示區7625大於底部顯示區7630。因此，來自本地裝置的前相機之視訊分配到80%的頻寬，來自本地裝置的後相機之視訊分配到20%的頻寬。為了確保來自本地裝置的後相機之視訊可以在分配到的頻寬內從本地裝置傳送至遠地裝置，而調整視訊的框率或比例大小、或二者。
第二階段7675顯示遠端裝置的使用者增加底部顯示區的尺寸以致於頂部顯示區7625的尺寸與底部顯示區7630的尺寸幾乎相同之後的UI 7635。結果，每一視訊由視訊會議模組7615重新分給總頻寬的50%。
圖76的實施例(2)以UI 7635的二操作階段來顯示頻寬再分配的另一情形。在實施例(2)的第一階段7680中，UI 7635呈現PIP顯示。PIP顯示含有二顯示：背景主顯示區7650及前景嵌入顯示區7655。背景主顯示區7650佔據大部份的PIP顯示，而前景嵌入顯示區7655較小且與背景主顯示區7650重疊。在本實施例中，背景主顯示區7650呈現正由裝置的前相機捕捉的視訊。嵌入顯示區7655呈現正由裝置的後相機捕捉的視訊。如同此階段中所示般，背景顯示區7650大於嵌入顯示區7655。因此，來自裝置的前相機之視訊分配到80%的頻寬，來自裝置的後相機的視訊分配到20%的頻寬。為了確保來自本地裝置的後相機的視訊可以在分配到的頻寬內從本地裝置傳送至遠端裝置，調整視訊的框速率或比例大小、或二者。
第二階段7685顯示遠端裝置的使用者互換二視訊的顯示後的UI 7635。具體而言，背景顯示區7660現在呈現正由裝置的後相機捕捉的視訊，嵌入顯示區7665現在呈現正由裝置的前相機捕捉的視訊。由於用於二視訊的顯示區的尺寸已改變，所以，來自裝置的後相機的視訊分配到80%的頻寬，而來自裝置的前相機的視訊分配到20%的頻寬。確切而言，來自本地裝置的前相機之視訊的框速率或比例大小、或二者將被降低。習於此技藝者將瞭解圖76中所述的頻寬分佈僅為舉例說明，其它用於在視訊會議期間的二相機之間分配頻寬的技術也是可能的。
1.　框速率控制
類似於上述會議中框速率控制操作，某些實施例希望分別地調整或維持雙相機行動裝置的每一相機所捕捉的視訊的影像傳送至視訊會議中的另一裝置之速率。這些實施例中的某些實施例提供類似於上述的技術。舉例而言，某些實施例藉由調整每一相機的感測器的感測器模組415的VBI以控制每一相機的框速率。其它實施例也提供其它技術，例如框丟棄，舉例而言，框丟棄可由每一相機的感測器模組415及/或通用傳輸緩衝器3120執行。
2.　經由調整比例之頻寬控制
如上所述，在雙相機行動裝置與另一裝置之間的視訊會議期間，可以在一或更多網路連接上以特定時間量傳送的影像資料的量(亦即，網路連接頻寬)會受限。為了最大化及維持網路連接的通量，雙相機行動裝置的不同實施例提供不同的方式以控制以特定時間量在網路連接上傳送的影像資料量。在某些實施例中，通量是在通訊通道(例如，網路連接)上成功的訊息遞送之平均率。
當傳送雙相機行動裝置的二相機捕捉的影像時，一此方式是將來自雙相機行動裝置的一或二相機的影像之尺寸變更，以控制網路連接上傳送的影像資料量。某些實施例縮小雙相機行動裝置捕捉的影像的尺寸，以降低在網路連接上傳送的影像資料的量，而其它實施例放大影像的尺寸以增加在網路連接上傳送的影像資料的量。
某些實施例於調整比例(亦即，均勻調整比例)時維持影像的高度對寬度比例。其它實施例將影像調整比例，以致於經過調整比例的影像的高度對寬度比例不同於原始影像的高度對寬度比例(亦即，不規則調整比例)。
此外，可以在影像處理的不同階段執行調整比例。某些實施例的調整比例可以由相機感測器執行。在這些實施例中，相機感測器可以丟棄影像資料的列或行(亦即，像素值)。在此類實施例中的某些實施例中，餘留的影像資料被插入以使影像的外觀平滑。
其它實施例的調整比例由CIPU 400的比例器模組455執行。在某些實施例中，如上所述般，由視訊會議管理器1604執行調整比例，以及，在其它實施例中，由編碼器執行比例器。確切而言，雙相機行動裝置的不同實施例不同地執行調整比例。
3.　位元速率控制
某些實施例提供管理雙相機行動裝置的相機捕捉的視訊被編碼之位元率。在某些實施例中，雙相機行動裝置包含用於每一相機的速率控制器。某些實施例提供固定的位元速率管理設計。在此設計下，每一速率控制器被設定在固定的位元速率，以致於來自行動裝置上的二相機的視訊之總位元速率是固定的。其它實施例提供優先設計，其中，當要求總位元速率降低時，來自裝置的相機的二視訊之一總是較另一視訊優先。
在某些實施例中，仲裁器模組管理二相機的二速率控制器。圖77顯示此仲裁器模組的實施例。如圖77所示，速率控制器7700設定用於前相機的位元速率，速率控制器7705設定後相機的位元速率。速率控制器將來自相機感測器的影像送至編碼器7715。仲裁器模組7710連接至二速率控制器，以及，根據例如用於二視訊中的每一視訊之可取得的頻寬、視訊尺寸等資訊，以任何數目的方式來控制用於每一速率控制器7700和7705的位元速率之設定，以確保二視訊可以在可取得的頻寬下被傳送至遠端裝置。此外，仲裁器7710可以被規劃成實施上述固定速率設定或優先設計。
在某些其它實施例中，用於二相機的二速率控制器可以彼此通訊。在此設計下，速率控制器可以交換它們各別的視訊之資訊以及據以設定視訊的位元速率。提供速率控制器速率管理機制的數個實施例。但是，很多其它不同的機制是可能的。
4.　視訊處理
雙相機行動裝置的某些實施例處，在不同的情形中不同地處理雙相機行動裝置的二相機捕捉的影像。舉例而言，當處理包含雙相機行動裝置的二相機捕捉的影像之PIP合成影像時，某些實施例對PIP合成影像選擇性地執行TNR處理2000。這些實施例中的某些實施例僅對PIP合成影像中的主影像執行TNR處理2000，而這些實施例中的其它實施例僅對PIP合成影像中的嵌入影像執行TNR處理2000。
關於處理行動裝置的二相機捕捉的影像之另一實施例，某些實施例根據對視訊會議的各式各樣的改變而將雙相機行動裝置的二相機捕捉的影像比例調整，舉例而言，所述各式各樣的改變可為使用者對顯示視訊之顯示區的調整(例如，放大PIP顯示的嵌入、界定顯示的視訊中的感興趣的區域、將PIP顯示的主/嵌入互換、等等)、對總可取得的頻寬之改變、等等。這些實施例中的某些實施例以上述方式調整影像比例。亦即，影像可以由編碼器1655、視訊會議管理器1604、比例器模組455、及捕捉影像的相機感測器(亦即，405a或405b)調整比例。
5.　編碼
如上所述，某些實施例傳送來自雙相機行動裝置的二相機之視訊。確切而言，在視訊會議期間，這些實施例可以將二相機捕捉的視訊編碼以用於傳輸至遠端裝置。不同的實施例提供不同的方式以將視訊編碼而用於傳輸。圖78顯示使用多工器(MUX)7815、編碼器模組7825、緩衝器7830及結合模組7835以處理用於傳輸的視訊之方式。
根據選取訊號，MUX 7815取得一輸入訊號及將選取的輸入訊號輸出至編碼器7825。舉例而言，假使選取訊號指示MUX 7815從C1取得輸入訊號，則MUX 7815選取該輸入訊號並將它輸出。可以以例如經由來自視訊會議管理器1604的指令等眾多方式，提供選取訊號。經由MUX 7815，編碼器7825將自MUX 7815收到的影像交替地編碼成位元串格式及將經過編碼的影像儲存於緩衝器7830中。結合模組7835將儲存於緩衝器7830中的一或更多位元串結合(亦即，多工化)並將單一位元串輸出。
現在，將以三個階段7860、7865、及7870來說明本編碼方式的操作。在第一階段7860中，MUX 7815被規劃成接收及輸出相機C1捕捉的影像7805至編碼器7825以用於編碼。編碼器7825將收到的影像編碼並產生位元串7850，然後，位元串7850被儲存於緩衝器7830中。第二階段7865類似於第一階段7860，但是，MUX 7815被規劃成接收及輸出相機C2捕捉的影像7810至編碼器7825以用於編碼。再度地，編碼器將收到的影像編碼並產生位元串7855，位元串7855被儲存於緩衝器7830中。在第三階段7870中，結合模組7835從緩衝器7830中取出位元串7850和7855以及將它們結合成一位元串以用於傳輸至遠端裝置。
圖79顯示視訊會議期間用於將來自雙相機行動裝置的二視訊編碼以用於傳送至遠端裝置的另一方式。在此方式中，在將合成的視訊框編碼成為位元串以送至遠端裝置之前，將來自行動裝置的第一相機之視訊框(亦即，影像)與來自行動裝置的第二相機之另一視訊框合成為一視訊框。如圖79所示，此方式包含合成器7915、緩衝器7920、及編碼器7925。
如同所示，合成器7915將來自第一相機的影像7905及來自第二相機的影像7910合成以形成合成影像7955。不同的實施例不同地合成影像7905和7910。舉例而言，如圖80所示，某些實施例的合成器7915可以藉由將彼此相鄰的二影像對齊以合成影像。合成的影像8030和8035顯示使用此技術的二舉例說明的合成影像。在合成的影像8030中，來自第一相機的影像7905於來自第二相機的影像7910的頂部上對齊。然而，合成影像8035顯示影像7905對齊影像7910的左方。
在某些其它實施例中，合成器7915可以藉由將二影像7905和7910疊加於較大的背景影像的頂部上以將二影像7905和7910合成。圖80的合成影像8040顯示使用此技術之舉例說明的合成影像。在合成影像8040中，影像7905和7910對角線地對齊並疊加至空白影像(亦即，影像7905位於頂部左角落，影像7910位於背景影像的底部右角落)。在某些實施例中，相機感測器可以是不同的尺寸並因而捕捉具有不同像素解析度的影像。在這些實施例中，合成器7915以類似於圖80的合成影像8045所示的方式，將影像7905及7910合成。在將二影像合成之後，合成器7915將合成影像儲存於緩衝器7920中。編碼器7925從緩衝器7920取出合成影像，將合成影像編碼成位元串，以及將其送至視訊會議的遠端裝置。
現在參考圖79中所示的合成器7915、緩衝器7920、及編碼器7925以說明操作。首先，第一相機將影像7905作為視訊中的影像序列的部份送至合成器7915。同時，第二相機將另一影像7910作為視訊中的影像序列的部份送至合成器7915。然後，合成器7915以上的方式，將影像7905及7910合成以形成合成影像7955。接著，合成器7915將合成影像7955送至緩衝器7920。然後，緩衝器7920在將合成影像送至編碼器7925之前儲存它們。最後，編碼器7925將合成影像編碼成位元串並將它送至視訊會議的遠端裝置。
圖81顯示視訊會議期間用於將來自雙相機行動裝置的二視訊編碼以傳輸至遠端裝置的又另一方式。在此方式中，來自裝置的二視訊顯示於合成顯示中，取得合成顯示的螢幕單幅並將其編碼成位元串以送至遠端裝置。如圖81所示，此方式包含編碼器8115。在某些實施例中，編碼器8115將合成影像編碼並送至遠端裝置。
現在參考圖81中所示的編碼器8115，說明操作。首先，來自雙相機行動裝置的二相機之視訊以合成顯示顯示於裝置的螢幕上。合成顯示可以以任何方式呈現視訊。舉例而言，在某些實施例中的合成顯示可以在例如圖81中所示的PIP顯示8105等PIP顯示中呈現二視訊。在其它實施例中，合成顯示可以在二邊接邊顯示區或二對角線對齊的顯示區中呈現二視訊。取得例如影像8110等PIP顯示8105的螢幕單幅並將其送至編碼器8115。然後，編碼器在將螢幕單幅序列送至視訊會議的遠端裝置之前，將其編碼成位元串8120。雖然上述說明用於將二視訊編碼的數個不同方式，但是，其它的方式仍然是可能的。
6.　解碼
雙相機行動裝置的某些實施例接收經由參考圖78-81之上述所述的方式編碼的位元串。在這些實施例中，雙相機行動裝置可以接收(例如，經由視訊會議控制通道)標示用以將視訊編碼的方式之資訊。圖82顯示視訊會議期間將經由通訊網路自另一裝置接收的二視訊的位元串解碼以顯示於雙相機行動裝置上之方式。具體而言，使用此方式以將上述參考圖78所述的編碼方式編碼的位元串解碼。
如圖82所示，此方式使用分開模組8235、緩衝器8230及8290、以及解碼器模組8225。分開模組8235將位元串分開(解多工)成為一或更多位元串並將位元串儲存於緩衝器8230中。解碼器8225取出經過編碼的位元串、將它們解碼以產生視訊、然後將視訊儲存於緩衝器8290中。
現在將參考圖82中所示的分開模組8235、緩衝器8230和8290、及解碼器模組8225以說明此方式的操作。首先，雙相機行動裝置經由通訊網路而從視訊會議中的其它裝置接收位元串7845(例如，在網路管理器1614)。由於收到的位元串是二位元串的多工化位元串，所以，分開模組8235將收到的位元串分開成二位元串8255和8260。每一經過編碼的位元串代表從裝置的二相機之一捕捉的視訊資料。然後，分開模組8235將位元串8255和8260儲存於緩衝器8230中。
之後，解碼器8225從緩衝器8230中取出二位元串8255和8260中之一的位元串8250，解碼器8225將位元串8250解碼以產生視訊8280，以及，將視訊8280儲存於緩衝器8290中。解碼器8225也將位元串8255及8260中的另一位元串解碼並將所產生的視訊儲存於緩衝器8290中。現在，可以從緩衝器8290取出二視訊，此二視訊可以被儲存於或顯示於雙相機行動裝置上。
圖83顯示將經由參考圖79所述的方式編碼的位元串解碼之方式。如圖83所示，此方式包含解碼器8325、緩衝器8320、及解合成器8315。
在某些實施例中，解碼器8325接收經由圖79中所示的方式編碼的位元串並將位元串解碼成為一或更多合成影像，這些合成影像接著被儲存於緩衝器8320中。解合成器8315從每一合成影像中取出二影像。為了從合成影像取出二影像，解合成器8315也接收標示合成影像之內的每一影像的位置之資訊(例如。經由視訊會議通訊控制頻道而從視訊會議中的裝置收到的將影像合成及編碼的資訊)。
現在，參考圖83中所示的解碼器8325、緩衝器8320、及解合成器8315，說明此方式的操作。首先，解碼器8325從視訊會議的另一行動裝置接收視訊位元串，舉例而言，所述視訊位元串係由參考圖79所述的方式產生的。解碼器8325將位元串解碼成包含合成影像7955的一或更多合成影像以及將它們儲存至緩衝器8320。然後，緩衝器8320在將合成影像送至解合成器8315之前，將它們儲存。當解合成器從緩衝器8320接收合成影像7955時，其將合成影像7955分開成為與圖79中的影像7905和7910相同的二影像7905和7910。
當從例如圖81中所示的系統接收位元串時，例如圖83中的解碼器8325等解碼器將位元串解碼成為一序列螢幕單幅。螢幕單幅序列作為視訊顯示於裝置的螢幕上而無進一步處理。
VI.　多源
如上所述，視訊可以由雙相機行動裝置的二相機捕捉並傳送至視訊會議中的另一裝置。除了傳送來自雙相機行動裝置的二相機捕捉的視訊之外，某些實施例可以將顯示於雙相機行動裝置上的不同的媒體內容或任何內容與自雙相機行動裝置的相機捕捉的視訊一起傳送。換言之，這些實施例可以將來自多個源的內容與雙相機行動裝置的相機捕捉的視訊一起傳送。
圖84概念地顯示某些實施例的雙相機行動裝置的視訊會議及處理模組之另一軟體架構。圖84的視訊會議及處理模組類似於圖16的視訊會議及處理模組1600，但是下述除外：視訊會議及處理模組包含顯示驅動器8485和儲存器8475、以及媒體交換模組1620包含媒體源模組8470和螢幕捕捉模組8480。
某些實施例的媒體源模組8470安排媒體內容在視訊會議模組8402與儲存器8475之間的路徑。媒體內容的實施例包含視訊、影像、文獻、及音樂。其它實施例儲存其它型式的媒體內容於儲存器8475中。某些實施例的儲存器8475是內部儲存器(例如，RAM)，而其它實施例的儲存器8475是外部儲存器(例如，小型快閃(CF)卡、安全數位(SD)卡、等等)。
在某些實施例中，螢幕捕捉模組8480安排雙相機行動裝置的顯示器上顯示的內容之影像經由顯示驅動器8485。在某些實施例中，顯示驅動器8485負責捕捉顯示器上的內容及將內容轉換成影像。不同的實施例捕捉顯示於顯示器上的不同內容。舉例而言，某些實施例捕捉顯示於顯示器上的所有內容。其它實施例捕捉顯示器的特定顯示區(例如，目前作動的視窗之顯示區、PIP顯示的顯示區、等等)。
現在將參考圖84以說明視訊會議及處理模組的某些舉例說明的操作。為了將媒體內容與自雙相機行動裝置的相機捕捉的視訊一起傳送，某些實施例的視訊會議模組8402執行與圖16中上述所述的視訊會議模組1602相同的操作，但是下述除外：取代自CIPU 1650取出影像，視訊會議管理器1604經由媒體源模組8470而自儲存器8475中取出媒體內容。為了傳送顯示於雙相機行動裝置的顯示器上的內容的影像，視訊會議管理器1604的某些實施例經由顯示驅動器8485而取出雙相機行動裝置的顯示器上顯示的內容的影像。某些實施例對顯示於顯示器上的內容的影像或媒體內容執行類似於對從CIPU 1650取出的影像所執行的處理(例如，透視校正、重新變更尺寸等等)，但是其它實施例未執行任何處理。
上述說明描述將來自不同的源的內容與雙相機行動裝置的相機捕捉的視訊一起傳送之多個實施例中的數個實施例。但是，其它實施例可以傳送其它不同型式的內容。舉例而言，在涉及多方的視訊會議中，某些實施例將從視訊會議上的一裝置收到的視訊與雙相機行動裝置的相機捕捉的視訊傳送至另一裝置。確切而言，來自任何數目的源之任何數目的不同型式的內容可以與雙相機行動裝置的相機捕捉的視訊一起被傳送。
VII.多方視訊會議
與視訊會議有關的上述章節說明有二參與者的視訊會議。但是，某些實施例之具有行動裝置的多方視訊會議(亦即，三或更多的參與者)是可能的。在某些實施例中，多方視訊會議中所有的參與者可以看到及聽到彼此。其它實施例提供多方廣播視訊會議，其中，一參與者(例如，廣播者)可以看到及聽到所有其它的參與者，而所有的其它參與者可以看到及聽到廣播者，但是，其它參與者無法看到或聽到彼此(舉例而言，除非廣播者授權)。
A.　用於多方視訊會議的使用者介面
在多方視訊會議期間，某些實施例提供各種不同的UI以用於顯示視訊會議的參與者及選取要看到的特定參與者。舉例而言，行動裝置的某些實施例提供UI，所述UI同時顯示多方視訊會議的所有參與者及允許行動裝置的使用者選取觀看參與者中之一(例如，放大被選取的參與者的影像)。圖85顯示此UI的實施例。
此圖參考UI 8530的五個不同階段8505、8510、8515、8520、及8525來說明操作序列，所述操作序列用於在行動裝置8500的UI 8530中同時選示多方視訊會議的所有參與者以及選取要觀看的參與者中之一。第一階段8505顯示其它裝置的三個其它使用者之間的多方視訊會議建立之後的UI 8530。如同所示，UI 8530包含合成顯示8535及顯示區1155。合成顯示8535包含四個顯示多方視訊會議的參與者的相機捕捉的影像之顯示區8565、8570、8575、及8580。在本實施例中，顯示區8565顯示行動裝置8500的使用者(亦即，顯示區8565顯示行動裝置8500的前相機捕捉的影像)。顯示區1155與圖12中先前所述的顯示區1155相同。
第二階段8510顯示行動裝置8500的使用者藉由選取合成顯示區8530的顯示區之一以啟動參與者選取操作。特別地，第二階段8510顯示使用者選取顯示區8570(例如，以手指8550碰觸於顯示區8570上)。
UI 8530的第三階段8515顯示完成參與者選取操作後的合成顯示8555。某些實施例提供動畫(未顯示)以顯示第二階段8510與第三階段8515之間的轉換。合成顯示8555包含PIP顯示8560，PIP顯示8560顯示第二階段8510中選取的參與者的顯示區(亦即，顯示區8570)作為背景顯示區以及使用者的顯示區8565作為PIP顯示8560的嵌入顯示區。在本實施例中，PIP顯示8560顯示水平地延伸至適合橫式方向的被選取的顯示區8570之影像。在某些實施例中，影像未延伸且被選取的顯示區之影像維持其直式方向(亦即，如圖36所示，背景顯示區的每一側上的額外空間由黑色條填充)。此外，合成顯示8555也包含合成顯示8585，合成顯示8585顯示二未被選取的顯示區8575和8580的縮小影像。
第四階段8520顯示行動裝置8500的使用者藉由選取PIP顯示8560(例如，以手指8550碰觸於PIP顯示8560上)以啟動參與者解除選取操作。第五階段8525顯示完成參與者解除選取操作後的合成顯示8535。
圖85顯示用於同時地顯示多方視訊會議的所有參與者、執行參與者選取操作、及執行參與者解除選取操作之舉例說明的操作序列。其它的操作序列是可能的。舉例而言，在第三階段8515之後，取代啟動參與者解除選取操作，使用者可以選取顯示於合成顯示8585中未被選取的顯示區之一，以便以顯示區8585中新近選取的顯示區交換PIP顯示8560中的背景顯示區(亦即，先前選取的顯示區)。確切而言，在多方視訊會議期間，使用者可以在任何時間及以任何次數，將顯示區8585中的顯示區與PIP顯示8560的背景顯示區交換。而且，在多方視訊會議期間的任何時間，使用者可以執行參與者解除選取操作以返回至合成顯示8535。此外，不同的實施例允許使用者以例如雙態觸動行動裝置8500上的開關、給予語音命令等不同方式來選取特定的參與者。
舉例而言，某些實施例提供根據語音偵測以自動地選取參與者的技術。在這些實施例中，當參與者之一說話時，該參與者的顯示區會被自動地選取作為PIP顯示8560的背景顯示區。當不同的參與者說話時，該參與者的顯示區會被自動地選取作為PIP顯示8560的背景顯示區。在某些實施例，當多方視訊會議的參與者没有任何參與者正在說話時，在界定的安靜量(例如，3秒)之後，顯示器顯示合成顯示8535。在某些實施例中，當行動裝置8500的使用者說話時，行動裝置8500的UI 8530上未發生任何事。
圖86顯示用於同時顯示多方視訊會議的所有參與者及選取要觀看的參與者之的另一舉例說明的操作序列。圖86參考UI 8645的七個不同階段8505、8605、8610、8615、8620、8625及8630以顯示行動裝置8500的UI 8645中的此操作。第一階段8505與圖85中所示的第一階段8505相同，其顯示其它裝置的三個其它使用者之間的多方視訊會議建立後的UI 8645。
第二階段8605顯示行動裝置8500之使用者藉由選取顯示區8570(例如，藉由將二手指置於顯示區8570上)以啟動參與者選取操作。第三階段8610顯示參與者選取操作的轉換階段。在此階段中，當使顯示區8570變得較大並填充用以成為合成顯示8535的顯示區時，使用者將二手指彼此拖離。本實施例顯示被選取的顯示區8570，但是，可以選取其它顯示區8565、8575、及8580中的任何顯示區。在某些實施例中，行動裝置8500的使用者未被允許選取使用者的顯示區(亦即，本實施例中的顯示區8565)。
UI 8645的第四階段8615顯示完成參與者選取操作後的UI 8645的PIP顯示8635。某些實施例要求使用者繼續將手指彼此拖離直至顯示區8570填充PIP顯示8635的背景顯示區8640為止，而其它實施例在使用者移離手指之前僅要求使用者的拖曳操作大於特定的臨界量(例如，比特定距離長或是比特定時間量長)。當使用者的拖曳操作符合或超過特定的臨界量時，UI 8645繼續顯示區8570的放大直到其填充PIP顯示8635的背景顯示區8640為止。否則，參與者選取操作未完成且UI 8645返回至合成顯示8535。如同所示，被選取的顯示區(亦即，顯示區8570)是PIP顯示8635的背景顯示區8640，以及，使用者的顯示區8565是PIP顯示8635的嵌入顯示區。某些實施例提供動畫(未顯示)以顯示第三階段8610與第四階段8615之間的轉換。
第五階段8620顯示行動裝置8500的使用者藉由選取PIP顯示8635的背景顯示區8640(例如，藉由將二手指置於背景顯示區8640上)以啟動參與者解除選取操作。第六階段8625顯示參與者解除選取操作的轉換階段。所述階段顯示使用者將手指朝向彼此拖曳以使用以成為PIP顯示8635的背景顯示區8640之顯示區縮小。類似於第三階段8610中所述的操作，某些實施例在使用者移離手指前要求使用者的拖曳操作大於特定臨界量(例如，比特定距離長或比特定時間量長)。其它情形，參與者解除選取操作未完成且UI 8645返回至PIP顯示8635。UI 8645的第七階段8630顯示完成參與者解除選取操作之後的合成顯示8535。
圖86顯示同時顯示多方視訊會議的所有參與者、執行參與者選取操作、及執行參與者選取操作之另一舉例說明的操作序列。但是，某些實施例允許行動裝置8500的使用者重複地執行參與者選取操作及參與者解除選取操作。圖87顯示一此實施例。
具體而言，圖87參考UI 8730的七個不同階段8505、8705、8615、8710、8715、8720、及8725，以顯示在UI 8730中多次執行參與者選取操作及執行參與者選取操作之舉例說明的操作序列。第一階段8505與上述圖85和86的第一階段8505相同。第二階段8705類似於圖86的第二階段8605，但是，使用者藉由碰觸顯示區8570一次(取代將二手指置於顯示區8570上)以選取顯示區8570除外。當顯示參與者選取操作完成後的PIP顯示8635時，第三階段8615與圖86的第四階段8615相同。第四階段8710類似於圖86的第五階段8620，但是，使用者藉由碰觸背景顯示區8640一次(取代將二手指置於背景顯示區8640上)以選取PIP顯示8645的背景顯示區8640除外。
由於第五階段8715顯示參與者解除選取操作完成後的合成顯示8535，所以，其與圖86的第七階段8630相同。第六階段8720顯示類似於第二階段8510，但是，對顯示區8575執行參與者選取操作除外。類似地，當第七階段8725顯示被選取的顯示區(亦即，顯示區8575)作為PIP顯示8635的背景顯示區8640時，其類似於第三階段8705。雖然圖87僅顯示一些參與者選取及參與者解除選取操作，但是，在多方視訊會議期間，可以執行任何數目的這些操作。
此外，某些實施例提供可以不同地顯示視訊會議期間多個參與者的UI。舉例而言，當行動裝置保持在右上方位置(亦即，橫式方向)時，某些實施例的UI僅顯示多方視訊會議的一些參與者，當行動裝置保持在側邊位置(亦即，直式方向)時，某些實施例的UI顯示增加的參與者。當行動裝置保持在側邊位置時，其它實施例顯示所有的參與者。此外，某些實施例提供動畫以標示不同的位置之間的轉換以及/或類似於圖34、35、36、及37中所示的方向之行動裝置的方向。其它不同的動畫也是可能的。
關於視訊會議期間顯示不同數目的參與者之UI的另一實施例，某些實施例允許行動裝置的使用者選取視訊會議期間要同時觀看的多個參與者。參考圖85的第一階段8505以作說明，這些實施例中的某些實施例允許行動裝置8500的使用者選取顯示區8565、8570、8575、及8580中的二或更多顯示區(例如，藉由碰觸合成顯示8535中對應的顯示區)。然後，以例如合成顯示、PIP顯示、圖65中所示的任何顯示配置、其它型式的多方顯示配置等不同的方式，顯示被選取的顯示區。此外，雖然說明某些實施例的範例，但是，習於此技藝者將瞭解不同的實施例可以以不同次數的不同方式來選取及顯示多方視訊會議的多個參與者。
B.　用於多方廣播視訊會議的使用者介面
如上所述，多方廣播視訊會議僅允許一參與者聽到及看到所有其它參與者，而其它參與者無法聽到及看到彼此。為了便於多方廣播視訊會議，某些實施例提供眾多不同UI以用於顯示多方廣播視訊會議的廣播者及其它參與者。舉例而言，某些實施例提供類似於圖85中所示的第三階段8515的佈局之類似學生教師UI佈局。確切而言，將參考此階段，說明某些實施例的學生教師UI佈局。
在這些實施例中，僅有廣播者顯示於PIP顯示8560的整個顯示區中(亦即，未顯示的嵌入顯示區)。類似於合成顯示8585中所顯示的顯示區，多方廣播視訊會議的其它參與者顯示於PIP顯示8560之下。類似於上述，在某些實施例中，當行動裝置處於直式模式時，界定的數目之其它參與者顯示於合成顯示8585中，而當行動裝置是橫式模式時，增加的或所有的參與者可以顯示於合成顯示8585中。此外，其它實施例提供不同的UI以用於多方廣播視訊會議的廣播者及其它參與者。
C.　控制用於多方視訊會議的音訊
此外，某些實施例的行動裝置提供不同的技術以用於控制多方視訊會議的參與者的音訊。舉例而言，行動裝置的某些實施例允許行動裝置的使用者經由顯示於此實施例的UI上的單組音量控制(例如，音量滑動器)，以控制多方視訊會議中的每一參與者的音訊。在其它實施例中，行動裝置允許行動裝置的使用者經由例如音量滑動器等顯示於每一參與者的顯示區中的音量控制組，以分別地控制多方視訊會議中的每一參與者的音訊。某些實施例僅提供靜音鍵來取代音量控制組。確切而言，在某些此類實施例中，行動裝置的使用者可以僅使多方視訊會議的所有參與者靜音或不靜音，而在其它此類實施例中，行動裝置的使用者可以使多方視訊視訊會議的每一參與者分別靜音或不靜音。此外，用於控制多方視訊會議的參與者的音訊之其它技術是可能的，例如藉由雙態切換行動裝置上的開關、給予語音命令、等等。
VIII.　電子系統
很多上述特點及應用以被指定為記錄於電腦可讀取的儲存媒體(也稱為電腦可讀取的媒體)上的指令集之軟體處理來實施。當這些指令由一或更多處理單元(例如，一或更多處理器、處理器核心、或其它處理單元)執行時，它們使處理單元執行指令中標示的動作。電腦可讀取的媒體之實施例包含但不限於CD-ROM、快閃驅動器、RAM晶片、硬碟驅動器、EPROM、等等。電腦可讀取的媒體未包含無線地或有線連接地通過的電子訊號及載波。
在本說明書中，「軟體」一詞意指包含設於唯讀記憶體中的韌體或是儲存於磁性儲存器中的應用，其可以被讀入記憶體中以由處理器處理。而且，在某些實施例中，多軟體發明可以以較大程式的子部份來實施，並保留各別的軟體發明。在某些實施例中，軟體發明也可以實施成為分別的軟體。最後，分別的軟體之任何組合一起實施此處所述的軟體發明是在本發明的範圍之內。在某些實施例中，當安裝成在一或更多電子系統上操作的軟體程式可以界定實行及執行軟體程式的操作之一或更多特定機器實施。
某些實施例以在呼叫程式碼經由一或更多介面而與被呼叫的其它程式碼互動之環境下的軟體處理實施，所述軟體處理實施包含一或更多程式介面(API)。不同的函數呼叫、訊息、或又包含不同種類的參數之其它型式的調用可以在呼叫程式與被呼叫的碼之間經由API傳送。此外API可以提供呼叫程式碼使用API中界定的以及於被呼叫的程式碼中實施之資料型式或等級的能力。
至少某些實施例包含呼叫軟體元件與被呼叫的軟體元件經由API互動之環境。用於此環境中經由API操作之方法包含經由API來傳送一或更多函數呼叫、訊息、其它型式的調用或參數。
在某些實施例中可以使用一或更多應用程式介面(API)。舉例而言，媒體交換模組310(或910)的某些實施例提供API組給其它軟體元件，用於存取圖3和9中所述的各式各樣的視訊處理及編碼功能，例如圖19中所述的TNR模組1900的功能。
API是由程式碼元件或硬體元件(此後稱為「API實施元件」)實施的介面，允許不同的程式碼元件或硬體元件(此後稱為「API呼叫元件」)存取及使用API實施元件提供的一或更多功能、方法、程序、資料結構、等級、及/或其它服務。API可以界定在API呼叫元件與API實施元件之間傳遞的一或更多參數。
API允許API呼叫元件的發展者(可為第三方發展者)槓桿調節API實施元件提供的指定特點。可以有一API呼叫元件或可以有一個以上的此元件。API可以為電腦系統或程式庫提供的原始碼介面，以支援向應用請求服務。作業系統(OS)可以具有多個API以允許OS上執行的應用呼叫那些API中之一或更多，以及服務(例如程式庫)可以具有多個API以允許使用服務的應用來呼叫那些API中之一或更多。以應用程式建立時可以被解譯或編譯的程式語言之觀點，指定API。
在某些實施例中，API實施元件可以提供一個以上的API，所述一個以上的API均能提供不同觀點或態樣，存取API實施元件所實施的不同態樣的功能。舉例而言，API實施元件之一API可以提供第一組功能及開放給第三方發展者，以及，API實施元件之其它API可以被隱藏(未開放)，以及提供第一組功能的子組、及提供另一組功能，例如未在第一組功能中的測試或除錯功能。在其它實施例中，API實施元件本身可以經由下層的API來呼叫一或更多其它元件，因而為API呼叫元件及API實施元件等二者。
API界定存取及使用API實施元件的指定特點時API呼叫元件使用的語言及參數。舉例而言，API呼叫元件經由API開放的一或更多API呼叫或調用(舉例而言由函數或方法呼叫具體實施)來存取API實施元件的指定特點，以及，經由API呼叫或調用，使用參數來傳遞資料及控制資訊。API實施元件經由API而將值歸還，以回應來自API呼叫元件的API呼叫。雖然API界定API呼叫的語法及結果(例如，如何喚起API呼叫及API呼叫作什麼)，API不揭示API如何完成API呼叫所指定的功能。各種API呼叫經由一或更多應用程式介面而呼叫(API呼叫元件)與API實施元件之間傳送。傳送API呼叫可以包含發佈、初始化、喚起、呼叫、接收、歸還、或回應函數呼叫或訊息；換言之，傳送可以說明API呼叫元件或API實施元件中任一者執行的動作。API的函數呼叫或其它調用可以經由參數清單或其它結構來傳送或接收一或更多參數。參數可以是常數、鑰匙、資料結構、物件、物件等級、變數、資料型式、指標、陣列、清單或函數指標、或是索引要經由API傳遞的資料或其它項目之方法或其它方式。
此外，資料型式或等級可以由API提供以及由API實施元件實施。如此，藉由使用API中提供的定義，API呼叫元件可以宣告變數、使用指標、使用或樣例化這些型式或等級的常數值。
一般而言，API可以被用以存取API實施元件所提供的服務或資料或是啟始API實施元件所提供的操作或計算之性能。舉例而言，API實施元件及API呼叫元件均可為操作系統、資料庫、裝置驅動程式、API、應用程式、或其它模組中的任一者(應瞭解API實施元件及API呼叫元件可以是彼此相同或不同型式的模組)。API實施元件在某些情形中可以至少以韌體、微碼、或其它硬體邏輯來實施。在某些實施例，API可以允許客戶程式使用軟體發展工具(Software Development Kit(SDK))庫所提供的服務。在其它實施例中，應用或其它客戶程式可以使用應用框架(Application Framework)提供的API。在這些實施例中，應用或客戶程式可以將呼叫併入SDK提供的及API提供的功能或方法或是使用SDK中界定的及API提供的資料型式或物件。在這些實施例中應用框架可以提供主事件迴路給程式，主事件迴路可以回應框架界定的各式各樣事件。API允許應用使用應用框架以指定事件及事件的回應。在某些實施中，API呼叫可以將硬體裝置的能力或狀態報告給應用，這些能力或狀態包含例如輸入能力及狀態、輸出能力及狀態、處理能力、電力狀態、儲存能力及狀態、通訊能力等態樣相關的能力或狀態，API可以部份地由韌體、微碼、或部份地於硬體元件上執行的其它低階邏輯實施。
API呼叫元件可以是本地元件(亦即，在與API實施元件相同的資料處理系統上)或是遠端元件(亦即，在與API實施元件不同的資料處理系統上)，其可以在網路上經由API與API實施元件通訊。應瞭解，API實施元件也可以作為API呼叫元件(亦即，其可以對不同的API實施元件公開的API作出API呼叫)，以及，API呼叫元件藉由實施公開給不同的API呼叫元件之API而也可作為API實施元件。
API可以允許不同的程式語言寫成的多個API呼叫元件與API實施元件通訊(因此，API可以包含用於在API實施元件與API呼叫元件之間翻譯及歸還的特點)；但是，API可以以特定的程式語言實施。在一實施例中，API呼叫元件可以從不同的提供者呼叫API，舉例而言，不同的提供者可為來自OS提供者的API組以及來自插入提供者的另一組API和來自另一提供者的另一組API(例如，軟體庫的提供者)或是另一組API的創造者。
圖88是方塊圖，顯示舉例說明的API架構，其可用於本發明的某些實施例中。如圖88所示，API架構8800包含實施API 8820之API實施元件8810(例如，作業系統、庫、裝置驅動程式、API、應用程式、軟體或其它模組)。API 8820指定可由API呼叫元件8830使用的API實施元件之一或更多函數、方法、等級、物件、通訊協定、資料結構、格式及/或其它特點。API 8820可以指定至少一呼叫規範，所述至少一呼叫規範指明API實施元件8810中的函數如何從API呼叫元件8830接收參數以及函數如何將結果歸還給API呼叫元件。API呼叫元件8830(例如，作業系統、庫、裝置驅動程式、API、應用程式、軟體或其它模組)經由API 8820作出API呼叫以存取及使用由API 8820指定的API實施元件8810的特點。API實施元件8810可以將值經由API 8820歸還至API呼叫元件8830，以回應API呼叫。
將瞭解API實施元件8810可以包含未經由API 8820指定且API呼叫元件8830無法取得的其它函數、方法、等級、資料結構、及/或其它特點。應瞭解，API呼叫元件8830可以在與API實施元件8810相同的系統上或是可以設於遠端，以及在網路上使用API 8820以存取API實施元件8810。雖然圖88顯示與API 8820互動的單一API呼叫元件8830，但是，應瞭解API呼元元件8830以外之由不同語言(或相同語言)寫成的其它API呼叫元件可以使用API 8820。
API實施元件8810、API 8820、及API呼叫元件8830可以儲存於機器可讀取的媒體中，機器可讀取的媒體包含以機器(例如電腦或其它資料處理系統)可讀取的形式來儲存資訊之任何機構。舉例而言，機器可讀取的媒體包含磁碟、光碟、隨機存取記憶體、唯讀記憶體、快閃記憶體裝置、等等。
圖89是雙相機行動計算裝置架構8900的實施例。行動計算裝置的實施包含一或更多處理單元8905、記憶體介面8910及週邊介面8915。構成計算裝置架構的這些元件中的每一元件可以是分別的元件或是整合於一或更多積體電路中。這些各式各樣的元件也可以藉由一或更多通訊匯流排或訊號線而耦合在一起。
週邊介面8915可以耦合至不同的感測器及子系統，子系統包含相機子系統8920、無線通訊子系統8925、音訊子系統8930、I/O子系統8935、等等。週邊介面8915使得處理器與週邊之間能夠通訊。例如方向感測器8945或加速度感測器8950等週邊可以耦合至週邊介面8915以便於方向及加速度功能。
相機子系統8920可以耦合至一或更多光學感測器8940，例如，電荷耦合裝置(CCD)光學感測器、互補金屬氧化物半導體(CMOS)光學感測器。與感測器耦合的相機子系統8920可以便於相機功能，例如影像及/或視訊資料捕捉。無線通訊系統8925可以用以方便通訊功能。無線通訊子系統8925可以包含音訊頻率接收器及發送器、以及光學接收器和發送器。它們可以被實施成在例如GSM網路、Wi-Fi網路、藍芽網路等一或更多通訊網路上操作。音訊子系統8930耦合至揚音器及麥克風以便於例如聲音辨識、數位記錄等聲音賦能功能。
I/O子系統8935牽涉例如顯示器、觸控螢幕等輸入/輸出週邊裝置之間的轉換、以及經由週邊介面的CPU的資料匯流排。I/O子系統8935可以包含觸控螢幕控制器8955及其它輸入控制器8960以便於這些功能。觸控螢幕控制器8955可以耦合至觸控螢幕8965及使用多觸控靈敏度技術來偵測螢幕上的接觸和移動。其它輸入控制器8960可以耦合至例如一或更多鍵等其它輸入/控制裝置。
記憶體介面8910可以耦合至記憶體8970，記憶體8970包含高速隨機存取記憶體及/或例如快閃記憶體等非揮發性記憶體。記憶體可以儲存作業系統(OS)8972。OS 8972可以包含用於處理基本系統服務及用於執行硬體相依工作之指令。
記憶體也可以包含通訊指令8974以便於與一或更多其它裝置通訊；圖形使用者介面功能8976以便於圖形使用者介面處理；影像/視訊處理指令8978以便於影像/視訊相關處理及功能；電話指令8980以便於電話相關處理及功能；媒體交換及處理指令8982以便於媒體通訊與處理相關的處理及功能；相機指令8984以便於相機有關的處理及功能；以及，視訊會議指令8986以便於視訊會議處理及功能。上述經過辨識的指令不需實施成分別的軟體程式或模組。行動計算裝置的各式各樣功態可以以硬體及/或軟體實施，包含以一或更多訊號處理及/或應用特定積體電路實施。
上述實施例可以包含觸控I/O裝置9001，如圖90所示，觸控I/O裝置9001可以經由有線或無線通訊頻道9002而與計算系統9003互動的觸控輸入。觸控I/O裝置9001可以被用以提供使用者輸入給計算系統9003，以取代或結合例如鍵盤、滑鼠等其它輸入裝置。一或更多觸控I/O裝置9001可以用於提供使用者輸入給計算系統9003。觸控I/O裝置9001可以是計算系統9003的整合部份(例如，膝上電腦上的觸控螢幕)或是與計算系統9003分開。
觸控I/O裝置9001可以包含觸控靈敏面板，所述觸控靈敏面板可以是完全地或部份地透明的、半透明的、非透明的、不透光的或其任何組合。觸控I/O裝置9001可以具體實施為觸控螢幕、觸控面板、作為觸控面板的觸控螢幕(例如，取代膝上電腦的觸控面板之觸控螢幕)、結合或併有任何其它輸入裝置的觸控螢幕或觸控面板(例如，配置於鍵盤上的觸控螢幕或觸控面板)或是具有用於接收觸控輸入的觸控靈敏表面之任何多維物體。
在一實施例中，具體實施為觸控螢幕的觸控I/O裝置9001包含透明的及/或半透明的靈敏面板，所述面板部份地或完全地位於至少部份顯示器。根據本實施例，觸控I/O裝置9001作用以顯示從計算系統9003(及/或另一源)傳送來的顯示圖形資料以及作用以接收使用者輸入。在其它實施例中，觸控I/O裝置9001可以具體實施為整合的觸控螢幕，其中，觸控靈敏元件/裝置與顯示元件/裝置整合。在又是其它實施例中，觸控螢幕可以作為補充或增加的顯示螢幕以用於顯示與主顯示相同的或補充的圖形資料以及接收觸控輸入。
觸控I/O裝置9001可以規劃成根據電容式、電阻式、光學的、聲音的、電感的、機械的、化學的量測、或是可以對於對裝置9001的一或更多碰觸或接近裝置9001的接近碰觸之發生測量的任何現象，以偵測裝置9001上的一或更多碰觸或接近碰觸的位置。可以使用軟體、硬體、韌體或任何它們的組合以處理被偵測到的碰觸之測量，以辨識及追蹤一或更多動作。動作可以相當於觸控I/O裝置9001上之固定的或不固定的、單一的或多個的碰觸或接近碰觸。在觸控I/O裝置9001上以特定方式基本上同時地、連續地、或不斷地移動一或更多手指，以執行動作，舉例而言，特定方式可為輕敲、下壓、振動、擦、扭、改變方向、以變化壓力下壓等等。動作特徵在於但不限於任何其它手指或複數個手指之間或使用手指或複數個手指的捏夾、滑動、揮擊、旋轉、彎曲、拖曳、或輕敲動作。可以由一或更多使用者以一或更多手、或是其組合來執行單一姿勢。
計算系統9003可以以圖形資料驅動顯示來顯示圖形使用者介面(GUI)。GUI可以配置成經由觸控I/O裝置9001來接收觸控輸入。具體實施成為觸控螢幕時，觸控I/O裝置9001可以顯示GUI。或者，GUI可以顯示於與觸控I/O裝置9001分開的顯示器上。GUI可以包含顯示於介面內的特定位置之圖形元件。圖形元件可以包含但不限於各式各樣之顯示的虛擬輸入裝置，顯示的虛擬輸入裝置包括虛擬滾輪、虛擬鍵盤、虛擬滾球、虛擬鍵、任何虛擬UI、等等。使用者可以在觸控I/O裝置9001上與GUI的圖形元件相關連的一或更多特定位置處執行動作。在其它實施例中，使用者可以在與GIU的圖形元件的位置獨立之一或更多位置處執行動作。在觸控I/O裝置9001上執行的動作可以直接地或間接地操作、控制、修改、移動、致動、啟始或大致地影響GUI內的例如游標、圖像、媒體檔案、清單、文字、所有或部份影像等圖形元件。舉例而言，在觸控螢幕的情形中，藉由在觸控螢幕上的圖形元件上執行動作，使用者可以直接地與圖形元件互動。或者，觸控墊一般提供間接互動。動作也可以影響非顯示的GUI元件(例如，使使用者介面出現)或是可以影響計算系統9003內的其它動作(例如，影響應用、作業系統、或GUI的狀態或模式)。可以配合顯示的游標，在觸控I/O裝置9001上執行或不執行動作。舉例而言，在觸控墊上執行動作的情形中，游標(或指標)可以顯示於顯示螢幕或觸控螢幕上且可以經由觸控墊上的觸控輸入來控制游標以與顯示螢幕上的圖形物件互動。在直接於觸控螢幕上執行動作的其它實施例中，使用者可以藉由或不藉由正顯示於觸控螢幕上的游標或指標以與觸控螢幕上的物件直接地互動。
為了回應或根據觸控I/O裝置9001上的碰觸或接近碰觸，回饋可以經由通訊通道9002而提供給使用者。可以以光學方式、機械方式、電方式、嗅覺方式、聽覺方式等等或其任何組合以及以可變或非可變方式，傳送回饋。
上述這些功能可以以數位電子電路、電腦軟體、韌體或硬體來實施。可以使用一或更多電腦程式產品來實施這些技術。可編程的處理器及電腦可以包含於行動裝置中或封裝作為行動裝置。藉由一或更多可編程的處理器以及一或更多可編程的邏輯電路，可以執行處理及邏輯流程。一般及特別用途的計算裝置以及儲存裝置可以經由通訊網路而互連。
某些實施例包含電子元件，舉例而言，電子元件可為儲存電腦程式指令於機器可讀取的或電腦可讀取的媒體(或者也稱為電腦可讀取的儲存媒體、機器可讀取的媒體、或機器可讀取的儲存媒體)中的儲存器、記憶體、及微處理器。這些電腦可讀取的媒體之某些實施例包含RAM、ROM、唯讀光碟(CD-ROM)、可記錄的光碟(CD-R)、可重寫的光碟(CD-RW)、唯讀數位多樣式碟片(例如，DVD-ROM、雙層DVD-ROM)、各種可記錄/可重寫DVD(例如，DVD-RAM、DVD-RW、DVD+RW、等等)、快閃記憶體(例如，SD卡、迷你SD卡、微SD卡、等等)、磁性及/或固態硬碟、唯讀及可記錄的藍光碟片、超密度光碟、任何其它光學或磁性媒體、以及軟碟。電腦可讀取的媒體可以儲存電腦程式，所述電腦程式可以由至少一處理單元執行及包含用於執行不同操作的指令集。電腦程式或電腦碼的實施例包含例如由編譯器產生的機器碼、以及包括由電腦、電子元件、或使用解譯器的微處理器執行的更高階碼之檔案。
雖然上述說明主要關於執行軟體的微處理器或多核心處理器，但是，某些實施例由例如特定應用積體電路(ASIC)或現場可編程閘陣列(FPGA)等一或更多積體電路執行。在某些實施例中，這些積體電路執行儲存於電路本身上的指令。
如同本申請案的本說明書中及申請專利範圍中所使用般，「電腦」、「伺服器」、「處理器」、及「記憶體」等術語都意指電子或其它技術的裝置。這些術語排除人或人群。為了說明書之目的，顯示或正顯示等術語意指在電子裝置上顯示。如同本說明書中及申請專利範圍中所使用般，「電腦可讀取的媒體」及「電腦可讀取的媒體」等術語完全地限於以電腦可讀取的形式儲存資訊之有實體的、實體物件。這些術語排除任何無線訊號、有線下載訊號、及任何其它短暫訊號。
圖91概念地顯示根據某些實施例之用於連接視訊會議的某些參與者之舉例說明的通訊系統9100。如同所示，通訊系統9100包含數個行動裝置9115、數個蜂巢式基地台(或節點B)9110、數個無線電網路控制器(RNC)9105、及核心網路9125。蜂巢式基底台及RNC總稱為通用行動電信系統(UMTS)陸上無線電存取網路(UTRAN)9130。每一RNC 9105連接至一起被稱為無線電存取網路(RAN)的一或更多蜂巢式基地台9110。
每一蜂巢式基地台9110涵蓋服務區9120。如同所示，每一服務區中的行動裝置9115經由Uu介面而無線地連接至服務區9120的服務蜂巢式基底台9110。Uu介面使用具有控制平面及使用者平面等二平面的通訊協定堆疊。使用者平面支援電路交換式、分封交換式及廣播資料串。控制平面載有網路的發訊訊息。
每一蜂巢式基地台經由Iub介面而連接至RNC。每一RNC 9105藉由Iu-cs及Iu-ps介面連接至核心網路9125。Iu-cs介面用於電路交換式服務(例如，聲音)，而Iu-ps介面用於分封交換式服務(例如資料)。使用者介面用於將二RNC連接在一起。
因此，通訊系統9100支援二電路交換式服務及分封交換服務。舉例而言，電路交換式服務允許經由通訊系統9100的電路交換式設備以傳送電話呼叫資料(例如，聲音)來執行電話呼叫。分封交換式服務允許在網際網路層通訊協定類IP上使用例如UDP或TCP等交通通訊協定層來執行視訊會議，以經由通訊系統9100的分封交換式設備來傳送視訊會議。在某些實施例中，在視訊會議建立一節中先前所述的對視訊會議轉換(例如，交遞)的電話呼叫使用類似通訊系統9100之通訊系統所支援的電路交換式及分封交換式服務。亦即，在此實施例中，經由通訊系統9100的電路交換式設備及電話呼叫來執行且為其經由通訊系統9100的分封交換設備執行的視訊會議。
雖然圖91中舉例說明的通訊系統顯示第三代(3G)技術UTRAN無線行動通訊系統，但是，應注意，第二代(2G)通訊系統、例如3 GPP2演進資料最佳化(Evolution-Data Optimized)或唯演進資料(EV-DO)及第三代夥伴關係計劃2(3 GPP2)分碼多存取1X(CDMA 1X)等其它第三代通訊系統、第四代(4G)通訊系統、無線區域網路(WLAN)、及微波存取(WiMAX)世界可交互運作通訊系統，可以用於在某些實施例中連接會議參與者中的某些參與者。2G系統的實施例包含行動通訊(GSM)全球系統、一般分封無線電服務(GPRS)、及GSM演進強化資料速率(EDGE)。2G通訊系統架構類似於圖91中所示的架構，但是，2G通訊系統架構使用基地收發器站(BTS)取代節點B 9110以及使用基地台控制器(BSC)取代RNC 9105除外。在2G通訊系統中，在BSC與核心網路之間的A介面用於電路交換式服務及在BSC與核心網路之間的Gb介面用於分封式交換服務。
在某些實施例中，通訊系統9100由最初規定行動裝置9115之服務載送方操作，以允許行動裝置9115使用通訊系統9100。某些實施例藉由在行動裝置9115中規劃及登記用戶身份模組(SIM)卡以規範行動裝置9115。在其它實施例中，使用行動裝置9115的記憶體取代地規劃及登記行動裝置9115。此外，其它服可以被規範(在客戶購買行動裝置9115之後)，例如類GPRS資料服務、多媒體發訊服務(MMS)、及即時發訊。一旦被規範時，行動裝置9115被致動並因而由服務載送方允許使用通訊系統9100。
在某些實施例中，通訊系統9100是私有通訊網路。在這些實施例中，行動裝置9115可以在彼此間(例如，被規範用於通訊系統9100的行動裝置9115)通訊(例如，執行聲音呼叫、交換資料)。在其它實施例中，通訊系統9100是公用通訊網路。因此，行動裝置9115可以與通訊系統9100的外部之其它裝置通訊以及與被規範用於通訊系統9100的行動裝置9115。在通訊系統9100的外部之其它裝置中的某些裝置包含經由例如公用交換電話網路或另一無線通訊網路等經它網路而連接至通訊系統9100的電話、電腦、及其它裝置。
使用長期演進(LTE)規格以界定4G通訊系統。圖92概念地顯示某些實施例中用於連接視訊會議的某些參與者之4G通訊系統9200的實施例。如同所示，通訊系統9200包含數個行動裝置9115、數個演進節點B(eNB)9205、行動管理實體(MME)9215、服務閘道(S-GW)9220、分封資料網路(PDN)閘道9225、及住家用戶服務器(HSS)9235。在某些實施例中，通訊系統9200包含一或更多MME 9215、一或更多S-GW 9220、一或更多PDN閘道9225、以及一或更多HSS 9235。
eNB 9205提供用於行動裝置9115的空氣介面。如同所示，每一eNB 9205涵蓋服務區9210。在每一服務區9210中的行動裝置9115經由LTE-Uu介面而無線地連接至服務區9210的eNB 9205。圖92也顯示經由X2介面而彼此連接的eNB 9205。此外，eNB 9205經由S1-MME介面而連接至MME 9215以及經由S1-U介面而連接至S-GW 9220。eNB 9205總稱為演進UTRAN(E-TRAN)9230。
eNB 9205提供例如無線電資源管理(例如，無線電載送控制、連接行動力控制、等等)、使用者平面資料朝向S-GW 9220的路徑安排、訊號測量及測量報告、行動裝置連接時的MME選取等功能。MME 9215功能包含閒置模式行動裝置追蹤及呼叫、無線電載送致動及不致動、行動裝置連接時的S-GW 9220的選取、非存取階層(NAS)發訊終止、藉由與HSS 9235互動的使用者認證、等等。
S-GW 9220功能包含(1)安排使用者資料分封的路徑及遞送其以及(2)管理及儲存例如IP載送服務的參數及網路內部路由資訊等行動裝置上下文。PDN閘道9225功能包含藉由成為用於行動裝置的交通出口及入口點以提供從行動裝置至外部分封資料網路(未顯示)的連接性。行動台具有與一個以上的PDN閘道同時連接以存取多個分封資料網路。PDN閘道9225也作為3GPP與例如WiMAX和3GPP2(例如，CDMA 1X及EV-DO)等非3GPP技術之間的行動力之錨。
如同所示，MME 9215經由S11介面連接至S-GW 9220以及經由S6a介面連接至HSS 9235。S-GW 9220及PDN閘道9220經由S8介面連接。MME 9215、S-GW 9220、及PDN閘道9225總稱為演進分封核心(EPC)。EPC是系統架構演進(SAE)架構的主要元件，系統架構演進(SAE)架構是3GPP LTE無線通訊標準的核心網路架構。EPC是純分封系統。舉例而言，EPC未具有聲音媒體閘道。例如聲音及SMS等服務是被分封交換地安排路徑及以由利用EPC服務的應用功能提供。如此使用先前所述之對視訊會議轉換的電話呼叫為例，在某些實施例中，經由通訊系統9200的分封交換設備，執行電話呼叫及視訊會議等二者。在某些此類實施例中，在電話呼叫終止之後，用於電話呼叫的分封交換通道繼續被用於視訊會議的音訊資料。但是，在其它此類實施例中，產生不同的分封交換通道(例如，當建立視訊會議時)，以及，當電話呼叫結束時，經由新近產生的分封交換通道而非電話呼叫的分封交換通道來傳送音訊資料。
此外，由這些不同的技術提供的頻寬量從用於GPRS的44仟位元/秒(kbps)至超過用於LTE的10佰萬位元/秒(Mbps)。預測未來的LTE為100 Mbps的下載速率及50 Mbps的上傳速率。
雖然已參考眾多特定細節說明本發明，但是習於此技藝者將瞭解，在不悖離本發明的精神之下，本發明可以以其它特定形式來具體實施本發明。此外，多個圖式概念地顯示眾多處理。這些處理的特定操作可以不以所示及說明的精確次序來執行。特定操作可以不由一連續的操作序列來執行，在不同的實施例中，可以執行不同的特定操作。此外，可以使用數個子處理來實施處理，或者，處理可以實施成為較大的巨集處理。
而且，上述參考二個雙相機行動裝置之間的視訊會議以說明很多實施例。但是，習於此技藝者將瞭解，在涉及雙相機行動裝置與例如具有視訊會議能力的電話、電腦、單相機行動裝置等另一裝置之間的視訊會議之情形中，使用這些實施例中的很多實施例。此外，上述實施例中很多實施例可以用於具有視訊會議能力的其它計算裝置及單相機行動裝置。因此，習於一般技藝者將瞭解本發明不限於上述說明的細節，而是由後附申請專利範圍界定。
300．．．視訊處理及編碼模組
305．．．CIPU驅動器
310．．．媒體交換模組
320．．．編碼器驅動器
325．．．視訊處理模組
330．．．捕捉影像處理單元
335．．．編碼器
400．．．捕捉影像處理單元
405a．．．相機感測器
405b．．．相機感測器
410a．．．像素陣列
410b．．．像素陣列
415．．．感測器模組
417．．．線/框緩衝器
420．．．壞像素校正模組
425．．．透鏡陰影模組
430．．．去馬賽克模組
435．．．白平衡模組
440．．．伽瑪模組
445．．．色域轉換模組
450．．．色彩、飽合、及對比模組
455．．．比例器模組
460．．．過濾器模組
465．．．統計引擎
470．．．暫存器
475．．．控制器模組
480．．．CIPU驅動器
700．．．捕捉影像處理單元
715．．．前端處理管道
720．．．前端處理管道
725．．．儲存器
730．．．控制器模組
735．．．後端處理管道
800．．．捕捉影像處理單元
815．．．處理管道
820．．．處理管道
900．．．視訊會議及處理模組
905．．．CIPU驅動器
910．．．媒體交換模組
920．．．編碼器驅動器
925．．．視訊會議模組
930．．．影像處理層
935．．．管理層
940．．．網路層
945．．．視訊會議客戶端
950．．．網路介面
955．．．捕捉影像處理單元
960．．．編碼器硬體
1005．．．裝置
1015．．．視訊會議伺服器
1020．．．裝置
1600．．．視訊會議及處理模組
1602．．．視訊會議模組
1604．．．視訊會議管理器
1606．．．緩衝器
1608．．．影像處理管理器
1610．．．緩衝器
1612．．．緩衝器
1614．．．網路管理器
1616．．．緩衝器
1618．．．緩衝器
1620．．．媒體交換模組
1622．．．相機源模組
1624．．．視訊壓縮器模組
1625．．．緩衝器
1626．．．視訊解壓縮器模組
1630．．．CIPU驅動器
1635．．．編碼器驅動器
1640．．．解碼器驅動器
1645．．．顯示器
1650．．．捕捉影像處理單元
1655．．．編碼器
1660．．．解碼器
1665．．．客戶端應用
1705．．．緩衝器
1710．．．緩衝器
1715．．．音訊處理管理器
1720．．．音訊驅動器
1725．．．麥克風
1730．．．揚音器
1900．．．暫時雜訊降低模組
1905．．．暫時雜訊降低管理器
1910．．．差異模組
1915．．．像素平均模組
1920．．．動作歷史模組
2520．．．影像處理模組
2565．．．影像處理模組
2570．．．透視校正器
2600．．．編碼器驅動器
2610．．．處理層
2615．．．影像尺寸變更器
2625．．．位元串管理器
2645．．．速率控制器
2650．．．編碼器
2800．．．解碼器驅動器
2805．．．處理層
2810．．．影像尺寸變更器
2820．．．位元串管理器
2835．．．解碼器
3000．．．系統
3010．．．編碼器驅動器
3015．．．緩衝器
3020．．．速率控制器
3030．．．視訊編碼器
3032．．．量化器
3040．．．速率控制器
3060．．．相機
3070．．．相機
3100．．．網路管理器
3105．．．會議協商管理器
3110．．．通信協定管理器
3115．．．發送器模組
3120．．．通用傳輸緩衝器
3122．．．通用傳輸緩衝器管理器
3125．．．虛擬交通協定管理器
3130．．．接收器模組
3135．．．媒體交通管理器
7605．．．後相機感測器
7610．．．前相機感測器
7615．．．視訊會議模組
7700．．．速率控制器
7705．．．速率控制器
7710．．．仲裁器
7715．．．編碼器
7815．．．多工器
7825．．．編碼器
7830．．．緩衝器
7835．．．結合模組
7915．．．合成器
7920．．．緩衝器
7925．．．編碼器
8115．．．編碼器
8225．．．解碼器
8230．．．緩衝器
8235．．．分開模組
8290．．．緩衝器
8315．．．解合成器
8320．．．緩衝器
8325．．．解碼器
8402．．．視訊會議模組
8470．．．媒體源模組
8475．．．儲存器
8480．．．螢幕捕捉模組
8485．．．顯示驅動器
8900．．．雙相機行動計算裝置
8905．．．處理單元
8910．．．記憶體介面
8915．．．週邊介面
8920．．．相機子系統
8925．．．無線通訊子系統
8930．．．音訊子系統
8935．．．I/O子系統
8940．．．光學感測器
8945．．．方向感測器
8950．．．加速度感測器
8955．．．觸控螢幕控制器
8960．．．輸入控制器
8965．．．觸控螢幕
8970．．．記憶體
9001．．．觸控I/O裝置
9002．．．通訊通道
9003．．．計算系統
9100．．．通訊系統
9105．．．無線電網路控制器
9110．．．蜂巢式基地台
9115．．．行動裝置
9120．．．服務區
9125．．．核心網路
9130．．．通用行動電信系統陸上無線電存取網路
9200．．．4G通訊系統
9205．．．演進節點
9210．．．服務區
9215．．．行動管理實體
9220．．．服務閘道
9225．．．分封資料網路閘道
9230．．．演進通用行動電信系統陸上無線電存取網路
9235．．．住家用戶服務器
在後附的申請專利範圍中，揭示本發明的新穎特點。但是，為了說明起見，在下述圖式中揭示本發明的多個實施例。
圖1顯示某些實施例的合成顯示。
圖2顯示某些實施例的另一合成顯示。
圖3概念地顯示某些實施例的雙相機行動裝置之視訊處理及編碼模組的軟體架構。
圖4概念地顯示某些實施例的捕捉影像處理單元。
圖5概念地顯示根據不同垂直閃爍間隔(VBI)之不同框速率的實施例。
圖6概念地顯示根據不同VBI之不同插入框速率的實施例。
圖7概念地顯示某些實施例的另一捕捉影像處理單元。
圖8概念地顯示某些實施例的另一捕捉影像處理單元。
圖9概念地顯示某些實施例的雙相機行動裝置之視訊會議及處理模組的軟體架構。
圖10概念地顯示某些實施例之舉例說明的視訊會議請求發訊序列。
圖11顯示用於視訊會議建立操作之某些實施例的使用者介面。
圖12顯示接受視訊會議邀請之某些實施例的使用者介面。
圖13顯示接受視訊會議邀請之某些實施例的另一使用者介面。
圖14顯示用於視訊會議建立操作之某些實施例的另一使用者介面。
圖15概念地顯示設定用於視訊會議的位元速率之某些實施例的處理。
圖16概念地顯示某些實施例的雙相機行動裝置之視訊會議及處理模組的另一軟體架構。
圖17概念地顯示用於某些實施例的雙相機行動裝置之另一軟體架構。
圖18概念地顯示例如圖16中所示之某些實施例的視訊會議管理器所執行的處理。
圖19概念地顯示某些實施例之用於暫時雜訊降低模組的軟體架構。
圖20概念地顯示某些實施例之用於降低視訊的影像的暫時雜訊之某些實施例的處理。
圖21概念地顯示例如圖9中所示的某些實施例之影像處理管理器所執行的處理。
圖22顯示用於曝光調整操作的某些實施例之使用者介面。
圖23顯示用於聚焦調整操作的某些實施例之使用者介面。
圖24概念地顯示例如圖16中所示的某些實施例之影像處理管理器所執行的透視校正處理。
圖25概念地顯示某些實施例之舉例說明的透視校正操作。
圖26概念地顯示例如圖16中所示的某些實施例之用於編碼器驅動器的軟體架構。
圖27概念地顯示例如圖26中所示的某些實施例之編碼器驅動器執行的影像尺寸變更處理。
圖28概念地顯示例如圖16中所示的某些實施例之用於解碼器驅動器的軟體架構。
圖29概念地顯示例如圖28中所示的某些實施例之解碼器驅動器執行的影像抽取處理。
圖30顯示包含二速率控制器之某些實施例的編碼器驅動器。
圖31概念地顯示例如圖16中所示的某些實施例之用於網路化管理器的軟體架構。
圖32顯示用於快動至角落之某些實施例的使用者介面。
圖33顯示用於快動至角落之某些實施例的另一使用者介面。
圖34顯示用於PIP顯示旋轉操作之某些實施例的使用者介面。
圖35顯示用於PIP顯示旋轉操作之某些實施例的另一使用者介面。
圖36顯示用於PIP顯示旋轉操作之某些實施例的另一使用者介面。
圖37顯示用於PIP顯示旋轉操作之某些實施例的另一使用者介面。
圖38顯示用於PIP顯示區中前景嵌入顯示區的尺寸變更之某些實施例的使用者介面。
圖39顯示用於PIP顯示區中嵌入顯示區的尺寸變更之某些實施例的另一使用者介面。
圖40顯示用於PIP顯示區中嵌入顯示區的尺寸變更之某些實施例的另一使用者介面。
圖41顯示用於PIP顯示區中嵌入顯示區的尺寸變更之某些實施例的另一使用者介面。
圖42顯示用於辨識顯示區中感興趣的區域的某些實施例之使用者介面。
圖43顯示用於辨識顯示區中感興趣的區域的某些實施例之另一使用者介面。
圖44顯示用於辨識顯示區中感興趣的區域的某些實施例之另一使用者介面。
圖45顯示雙相機行動裝置上用於執行本地切換相機操作之某些實施例的處理。
圖46顯示用於切換相機操作之某些實施例的使用者介面。
圖47顯示用於切換相機操作之某些實施例的另一使用者介面。
圖48顯示用於切換相機操作之某些實施例的另一使用者介面。
圖49顯示用於切換相機操作之某些實施例的另一使用者介面。
圖50顯示雙相機行動裝置上用於執行遠端切換相機操作的某些實施例之處理。
圖51顯示用於執行遠端切換相機操作的某些實施例之使用者介面。
圖52顯示用於遙控切換相機操作的某些實施例之另一使用者介面。
圖53顯示用於遙控切換相機操作的某些實施例之另一使用者介面。
圖54顯示用於遙控切換相機操作的某些實施例之另一使用者介面。
圖55概念地顯示用於執行曝光調整操作之某些實施例的處理。
圖56顯示用於曝光調整操作之某些實施例的使用者介面。
圖57顯示用於曝光調整操作之某些實施例的另一使用者介面。
圖58顯示用於曝光調整操作之某些實施例的另一使用者介面。
圖59概念地顯示由如圖16所示的某些實施例之影像處理管理器執行的曝光調整處理。
圖60概念地顯示某些實施例的曝光調整操作。
圖61概念地顯示用於執行聚焦調整操作之某些實施例的處理。
圖62顯示用於聚焦調整操作之某些實施例的使用者介面。
圖63顯示用於聚焦調整操作之某些實施例的另一使用者介面。
圖64顯示用於聚焦調整操作之某些實施例的另一使用者介面。
圖65顯示來自一或更多雙相機行動裝置捕捉到的視訊之某些實施例的不同顯示配置。
圖66顯示用於疊加嵌入視訊於PIP顯示中的背景視訊中之某些實施例的使用者介面。
圖67顯示用於決定視訊影像的前景之某些實施例的技術。
圖68顯示視訊會議期間以PIP顯示中背景顯示替換嵌入顯示之某些實施例的使用者介面。
圖69顯示用於快動至角落操作之某些實施例的使用者介面。
圖70顯示用於快動至角落及推操作之某些實施例的使用者介面。
圖71顯示用於PIP顯示旋轉操作之某些實施例的使用者介面。
圖72顯示用於PIP顯示旋轉操作之某些實施例的另一使用者介面。
圖73顯示用於視訊會議期間從二遠端視訊中選取一視訊之某些實施例的使用者介面。
圖74顯示用於視訊會議期間從二本地視訊中選取一視訊之某些實施例的使用者介面。
圖75顯示用於視訊會議之視訊的前置會議選取的某些實施例的使用者介面。
圖76顯示某些實施例之雙相機行動裝置捕捉的二視訊之間的頻寬分配實施例。
圖77概念地顯示用於雙相機行動裝置的管理速率控制器之某些實施例的仲裁器模組。
圖78概念地顯示用於將雙相機行動裝置的相機所捕捉的影像編碼之某些實施例的方法。
圖79概念地顯示用於將雙相機行動裝置的相機所捕捉的影像編碼之某些實施例的另一方法。
圖80顯示用於圖79中所示的方法之舉例說明的影像合成。
圖81概念地顯示將雙相機行動裝置的相機所捕捉的影像編碼之某些實施例的另一方法。
圖82概念地顯示將雙相機行動裝置的相機所捕捉的影像解碼之某些實施例的方法。
圖83概念地顯示將雙相機行動裝置的相機所捕捉的影像解碼之某些實施例的另一方法。
圖84概念地顯示某些實施例的雙相機行動裝置之用於視訊會議及處理模組的另一軟體架構。
圖85顯示用於多方視訊會議的某些實施例之使用者介面。
圖86顯示用於多方視訊會議的某些實施例之另一使用者介面。
圖87顯示用於多方視訊會議的某些實施例之另一使用者介面。
圖88概念地顯示某些實施例之應用編程介面(API)架構。
圖89顯示用於某些實施例之雙相機行動計算裝置之架構。
圖90概念地顯示某些實施例之觸控式輸入/輸出(I/O)裝置。
圖91概念地顯示某些實施例之舉例說明的通訊系統。
圖92概念地顯示某些實施例之另一舉例說明的通訊系統。
1100．．．裝置
1105．．．UI
1110．．．第一階段
1115．．．第二階段
1120．．．第三階段
1125．．．第四階段
1130．．．第五階段
1132．．．End Conference(結束會議)選項
1135．．．名稱欄
1140．．．選單
1145．．．UI選項
1150．．．手指
1142．．．Speakerphone(擴音)選項
1144．．．Mute(靜音)選項
1146．．．Keypad(鍵盤)選項
1148．．．Phonebook(電話簿)選項
1152．．．Hold(保留)選項
1154．．．Video Conference(視訊會議)選項
1160．．．顯示區
1165．．．「Preview」指示
1155．．．顯示區
1170．．．背景顯示
1175．．．箭頭
1180．．．PIP顯示
1185．．．顯示區

Claims (22)

  1. 一種第一行動裝置之非暫時的機器可讀取的媒體，該機器可讀取的媒體儲存程式，該程式包括指令集，用於：在經由無線通訊網路而與第二裝置音訊呼叫期間，呈現第一可選取的使用者介面(UI)選項，用於從音訊呼叫切換至視訊會議；在接收該第一可選取的UI選項之選取：顯示由該第一行動裝置之第一相機捕捉的第一視訊；以及呈現第二可選取的UI選項，用於在該第一行動裝置之該第一相機及第二相機間切換；在該視訊會議被發起前，接收該第二可選取的UI選項之選取以由該第二相機捕捉的第二視訊取代由該第一相機捕捉的該第一視訊；以及啟始該視訊會議，藉由同時顯示由該第二裝置捕捉的第三視訊以及由該第行動裝置捕捉的該第二視訊。
  2. 如申請專利範圍第1項之機器可讀取的媒體，其中，用於呈現該第一可選取的UI選項之該指令集包括在該音訊呼叫期間可以顯示於該第一行動裝置的顯示螢幕上之顯示區內連續地呈現該第一可選取的UI選項。
  3. 如申請專利範圍第1項之機器可讀取的媒體，其中該程式又包括指令集，用於：顯示該第二視訊並等待該第三視訊抵達該第一行動裝 置；以及當在該第一行動裝置收到該第三視訊時顯示動畫，以便在該第一行動裝置上顯示該第三視訊。
  4. 如申請專利範圍第3項之機器可讀取的媒體，其中，該第二視訊重疊該第三視訊。
  5. 如申請專利範圍第3項之機器可讀取的媒體，其中，一旦該動畫結束，則該第二及第三視訊形成畫中畫顯示，以該第二視訊作為重疊該第三視訊之嵌入畫面。
  6. 如申請專利範圍第1項之機器可讀取的媒體，其中，在允許該第一行動裝置及該第二裝置經由該視訊會議交換音訊和視訊資料之前，該音訊呼叫結束。
  7. 如申請專利範圍第1項之機器可讀取的媒體，其中，在該第一行動裝置及該第二裝置開始經由該視訊會議交換音訊和視訊資料之後，但是在該第一行動裝置及該第二裝置開始呈現該交換的音訊和視訊資料之前，該音訊呼叫結束。
  8. 如申請專利範圍第1項之機器可讀取的媒體，其中，該程式又包括指令集，用於從該第一行動裝置建立與該第二裝置之通訊頻道，以在該第一行動裝置與該第二裝置之間建立該音訊呼叫。
  9. 如申請專利範圍第1項之機器可讀取的媒體，其中，該第一行動裝置是行動通訊裝置，用於在無線通訊網路中與另一裝置通訊。
  10. 如申請專利範圍第1項之機器可讀取的媒體，其 中，該第一行動裝置是智慧型電話機。
  11. 如申請專利範圍第1項之機器可讀取的媒體，其中，該第一行動裝置及該第二裝置由該無線通訊網路規範以經由該無線通訊網路而與其它裝置作音訊呼叫。
  12. 如申請專利範圍第1項之機器可讀取的媒體，其中，該第一行動裝置由該無線通訊網路規範以經由該無線通訊網路而與其它裝置作音訊呼叫，而該第二行動裝置未被規範而經由該無線通訊網路與其它裝置作音訊呼叫。
  13. 如申請專利範圍第1項之機器可讀取的媒體，其中，該第一行動裝置及該第二裝置是智慧型電話機。
  14. 如申請專利範圍第1項之機器可讀取的媒體，其中，該通訊網路是私有無線通訊網路。
  15. 如申請專利範圍第1項之機器可讀取的媒體，其中，該通訊網路是公用無線通訊網路。
  16. 如申請專利範圍第1項之機器可讀取的媒體，其中，該無線通訊網路包括用於安排音訊呼叫的路徑之電路交換設備以及用於安排資料的路徑之分封交換設備，其中，經由該通訊網路的該電路交換設備，安排該音訊呼叫的路徑，而經由該分封交換設備，將該視訊會議期間交換的該音訊和該視訊資料作為分封交換，其中，該等分封在網際網路協定通訊鏈結上在該第一行動裝置與該第二裝置之間傳輸。
  17. 一種第一裝置包括： 手段用以呈現第一可選取的UI選項，用於與第二裝置發起視訊會議；手段用以在接收該第一可選取的UI選項之選取時，呈現該第一裝置之第一相機捕捉的第一視訊；以及呈現第二可選取的UI選項用於在該第一裝置之該第一相機及第二相機間切換；手段用以在該視訊會議被發起前，接收該第二可選取的UI選項之選取以由該第二相機捕捉的第二視訊取代由該第一相機捕捉的該第一視訊；以及手段用以藉由同時顯示由該第二裝置捕捉的第三視訊以及捕捉的該第二視訊，而發起與該第二裝置的該視訊會議。
  18. 如申請專利範圍第17項之第一裝置，其中，該第一和第二裝置是被規範用於經由一無線服務載送方的至少一公用無線通訊網路作出電話呼叫的行動裝置。
  19. 如申請專利範圍第17項之第一裝置，其中，該發起以顯示畫中畫(PIP)佈局做結束，其包括該第二視訊與該第三視訊之至少一部份重疊。
  20. 如申請專利範圍第17項之第一裝置，其中，該第一裝置又包括手段用於藉由縮小該第二視訊以露出在該第二視訊後的第三視訊，在接收來自該第二裝置的視訊會議請求接受時，提供該第三視訊的動畫化初始展示。
  21. 如申請專利範圍第17項之第一裝置，其中，該第 一裝置係為第一行動裝置，其中該第一相機係為該第一行動裝置上的前相機，且該第二相機係為該第一行動裝置上的後相機。
  22. 如申請專利範圍第17項之第一裝置，其中，該手段用以呈現該第二可選取的UI選項包括在該視訊會議期間連續地呈現該第二可選取的UI選項。
TW099132253A 2010-04-07 2010-09-23 於電話呼叫期間建立視訊會議 TWI547136B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US32187110P 2010-04-07 2010-04-07
US12/794,766 US8744420B2 (en) 2010-04-07 2010-06-06 Establishing a video conference during a phone call

Publications (2)

Publication Number Publication Date
TW201136292A TW201136292A (en) 2011-10-16
TWI547136B true TWI547136B (zh) 2016-08-21

Family

ID=44760640

Family Applications (4)

Application Number Title Priority Date Filing Date
TW99132255A TWI462566B (zh) 2010-04-07 2010-09-23 在多攝影機行動裝置的視訊會議期間的切換攝影機技術
TW099132253A TWI547136B (zh) 2010-04-07 2010-09-23 於電話呼叫期間建立視訊會議
TW099132260A TWI499271B (zh) 2010-04-07 2010-09-23 行動裝置之非暫時的電腦可讀取的媒體以及界定電腦程式的方法
TW99132254A TWI439133B (zh) 2010-04-07 2010-09-23 會議中之顯示調整技術

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW99132255A TWI462566B (zh) 2010-04-07 2010-09-23 在多攝影機行動裝置的視訊會議期間的切換攝影機技術

Family Applications After (2)

Application Number Title Priority Date Filing Date
TW099132260A TWI499271B (zh) 2010-04-07 2010-09-23 行動裝置之非暫時的電腦可讀取的媒體以及界定電腦程式的方法
TW99132254A TWI439133B (zh) 2010-04-07 2010-09-23 會議中之顯示調整技術

Country Status (11)

Country Link
US (14) US8917632B2 (zh)
EP (2) EP2556665B1 (zh)
JP (7) JP2013524684A (zh)
KR (11) KR20220029789A (zh)
CN (1) CN104270597B (zh)
AU (1) AU2010350749B2 (zh)
BR (1) BR112012025746B1 (zh)
HK (2) HK1162796A1 (zh)
MX (3) MX2012011623A (zh)
TW (4) TWI462566B (zh)
WO (1) WO2011126511A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11451694B1 (en) 2021-03-16 2022-09-20 International Business Machines Corporation Mitigation of obstacles while capturing media content

Families Citing this family (703)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8593542B2 (en) 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
CN101496387B (zh) 2006-03-06 2012-09-05 思科技术公司 用于移动无线网络中的接入认证的系统和方法
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
US8390667B2 (en) 2008-04-15 2013-03-05 Cisco Technology, Inc. Pop-up PIP for people not in picture
US8694658B2 (en) 2008-09-19 2014-04-08 Cisco Technology, Inc. System and method for enabling communication sessions in a network environment
TWI386863B (zh) * 2008-10-03 2013-02-21 Alpha Imaging Technology Corp 多媒體處理器、手持式電子通訊裝置及其影像處理方法
US8659637B2 (en) 2009-03-09 2014-02-25 Cisco Technology, Inc. System and method for providing three dimensional video conferencing in a network environment
US8416300B2 (en) * 2009-05-20 2013-04-09 International Business Machines Corporation Traffic system for enhancing driver visibility
US8659639B2 (en) 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
KR20100135145A (ko) * 2009-06-16 2010-12-24 삼성전자주식회사 원격제어장치 및 그의 디스플레이방법
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
US9277021B2 (en) * 2009-08-21 2016-03-01 Avaya Inc. Sending a user associated telecommunication address
DE102009039834A1 (de) * 2009-09-03 2011-03-10 Deutsche Telekom Ag Automatisches Sprach-Chat-System in Mobilfunknetzen mit Ortsbezug
US20220129126A9 (en) * 2009-12-20 2022-04-28 Benjamin Firooz Ghassabian System for capturing event provided from edge of touch screen
US20110153768A1 (en) * 2009-12-23 2011-06-23 International Business Machines Corporation E-meeting presentation relevance alerts
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US8606306B2 (en) 2010-04-07 2013-12-10 Apple Inc. Multiple client computing device invitations for online communication sessions
US8917632B2 (en) 2010-04-07 2014-12-23 Apple Inc. Different rate controller configurations for different cameras of a mobile device
US8751667B2 (en) 2010-04-07 2014-06-10 Apple Inc. Supporting hands-free services via a hands-free device for IP video calls
US8583149B2 (en) 2010-04-07 2013-11-12 Apple Inc. Registering email addresses for online communication sessions
US8704863B2 (en) 2010-04-07 2014-04-22 Apple Inc. Transitioning between circuit switched calls and video calls
US9955209B2 (en) 2010-04-14 2018-04-24 Alcatel-Lucent Usa Inc. Immersive viewer, a method of providing scenes on a display and an immersive viewing system
US8786664B2 (en) * 2010-04-28 2014-07-22 Qualcomm Incorporated System and method for providing integrated video communication applications on a mobile computing device
US9294716B2 (en) 2010-04-30 2016-03-22 Alcatel Lucent Method and system for controlling an imaging system
US9084002B2 (en) * 2010-05-03 2015-07-14 Microsoft Technology Licensing, Llc Heterogeneous image sensor synchronization
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
US9025030B2 (en) * 2010-06-08 2015-05-05 Cheryl Garcia Video system
US20110306325A1 (en) * 2010-06-10 2011-12-15 Rajesh Gutta Streaming video/audio from mobile phone to any device
US8335991B2 (en) * 2010-06-11 2012-12-18 Microsoft Corporation Secure application interoperation via user interface gestures
US20120001999A1 (en) * 2010-07-01 2012-01-05 Tandberg Telecom As Apparatus and method for changing a camera configuration in response to switching between modes of operation
US8723912B2 (en) 2010-07-06 2014-05-13 DigitalOptics Corporation Europe Limited Scene background blurring including face modeling
US20120030595A1 (en) * 2010-07-29 2012-02-02 Seiko Epson Corporation Information storage medium, terminal apparatus, and image generation method
US8823739B2 (en) * 2010-08-25 2014-09-02 International Business Machines Corporation Background replacement for videoconferencing
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
GB201014614D0 (en) * 2010-09-02 2010-10-13 Skype Ltd Premium communication sessions
US9024997B2 (en) * 2010-09-03 2015-05-05 At&T Intellectual Property L.L.P. Virtual presence via mobile
US8599934B2 (en) 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
CN101951492A (zh) * 2010-09-15 2011-01-19 中兴通讯股份有限公司 视频通话中视频录制的方法及装置
US9078082B2 (en) * 2010-09-24 2015-07-07 Amazon Technologies, Inc. Interacting with cloud-based applications using unrelated devices
DE102010041569B4 (de) * 2010-09-28 2017-04-06 Leica Geosystems Ag Digitales Kamerasystem, Farbfilterelement für digitales Kamerasystem, Verfahren zur Bestimmung von Abweichungen zwischen den Kameras eines digitalen Kamerasystems sowie Bildverarbeitungseinheit für digitales Kamerasystem
WO2012043756A1 (ja) * 2010-09-30 2012-04-05 楽天株式会社 閲覧装置、閲覧方法、プログラムを記録した非一時的なコンピュータ読み取り可能な記録媒体、ならびに、スクリプトプログラム
US20120083314A1 (en) * 2010-09-30 2012-04-05 Ng Hock M Multimedia Telecommunication Apparatus With Motion Tracking
US8754925B2 (en) 2010-09-30 2014-06-17 Alcatel Lucent Audio source locator and tracker, a method of directing a camera to view an audio source and a video conferencing terminal
US20120218202A1 (en) 2010-10-01 2012-08-30 Sanjiv Sirpal Windows position control for phone applications
US8749484B2 (en) 2010-10-01 2014-06-10 Z124 Multi-screen user interface with orientation based control
US9436217B2 (en) 2010-10-01 2016-09-06 Z124 Windows position control for phone applications
US20120225693A1 (en) 2010-10-01 2012-09-06 Sanjiv Sirpal Windows position control for phone applications
US9189018B2 (en) * 2010-10-01 2015-11-17 Z124 Windows position control for phone applications
US20120225694A1 (en) 2010-10-01 2012-09-06 Sanjiv Sirpal Windows position control for phone applications
US9588545B2 (en) 2010-10-01 2017-03-07 Z124 Windows position control for phone applications
US8723913B2 (en) * 2010-10-07 2014-05-13 T-Mobile Usa, Inc. Rate adaptation for video calling
US20120229492A1 (en) * 2010-10-11 2012-09-13 Shang-Shian Chen Projecting Method and Mobile Device Thereof
US8803999B2 (en) * 2010-10-12 2014-08-12 Blackberry Limited Method and apparatus for image orientation indication and correction
US9294717B2 (en) * 2010-10-13 2016-03-22 At&T Intellectual Property I, L.P. System and method to enable layered video messaging
US9237305B2 (en) * 2010-10-18 2016-01-12 Apple Inc. Overlay for a video conferencing application
KR20120040410A (ko) * 2010-10-19 2012-04-27 한국전자통신연구원 통신 시스템에서 서비스 제공 서버, 서비스 제공 노드 및 서비스 제공 방법
US20120092381A1 (en) * 2010-10-19 2012-04-19 Microsoft Corporation Snapping User Interface Elements Based On Touch Input
US20120092444A1 (en) * 2010-10-19 2012-04-19 Cisco Technology, Inc. System and method for providing videomail in a network environment
KR101738105B1 (ko) * 2010-10-22 2017-05-22 삼성디스플레이 주식회사 영상 처리 장치, 영상 처리 방법 및 평판 표시장치
US8599865B2 (en) 2010-10-26 2013-12-03 Cisco Technology, Inc. System and method for provisioning flows in a mobile network environment
US8699457B2 (en) 2010-11-03 2014-04-15 Cisco Technology, Inc. System and method for managing flows in a mobile network environment
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US8902244B2 (en) * 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US9143725B2 (en) 2010-11-15 2015-09-22 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8542264B2 (en) 2010-11-18 2013-09-24 Cisco Technology, Inc. System and method for managing optics in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
US9264664B2 (en) * 2010-12-03 2016-02-16 Intouch Technologies, Inc. Systems and methods for dynamic bandwidth allocation
US8928810B2 (en) * 2010-12-15 2015-01-06 Bernhard Fritsch System for combining video data streams into a composite video data stream
USD682854S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen for graphical user interface
CN102541414A (zh) * 2010-12-28 2012-07-04 英华达（上海）科技有限公司 一种能自动切换操作模式的移动终端装置
US10281915B2 (en) 2011-01-05 2019-05-07 Sphero, Inc. Multi-purposed self-propelled device
WO2012094349A2 (en) 2011-01-05 2012-07-12 Orbotix, Inc. Self-propelled device with actively engaged drive system
US8589509B2 (en) * 2011-01-05 2013-11-19 Cloudium Systems Limited Controlling and optimizing system latency
US9429940B2 (en) 2011-01-05 2016-08-30 Sphero, Inc. Self propelled device with magnetic coupling
US8823769B2 (en) * 2011-01-05 2014-09-02 Ricoh Company, Ltd. Three-dimensional video conferencing system with eye contact
US9090214B2 (en) 2011-01-05 2015-07-28 Orbotix, Inc. Magnetically coupled accessory for a self-propelled device
US9218316B2 (en) 2011-01-05 2015-12-22 Sphero, Inc. Remotely controlling a self-propelled device in a virtualized environment
KR101739379B1 (ko) * 2011-01-11 2017-05-24 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
TW201233156A (en) * 2011-01-26 2012-08-01 Altek Corp Method and system for controlling external lens
US20120206568A1 (en) * 2011-02-10 2012-08-16 Google Inc. Computing device having multiple image capture devices and image modes
US8692862B2 (en) 2011-02-28 2014-04-08 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
US8539086B2 (en) 2011-03-23 2013-09-17 Color Labs, Inc. User device group formation
WO2012145317A1 (en) * 2011-04-18 2012-10-26 Eyesee360, Inc. Apparatus and method for panoramic video imaging with mobile computing devices
US8581958B2 (en) * 2011-04-18 2013-11-12 Hewlett-Packard Development Company, L.P. Methods and systems for establishing video conferences using portable electronic devices
KR101764372B1 (ko) * 2011-04-19 2017-08-03 삼성전자주식회사 휴대용 단말기에서 영상 합성 방법 및 장치
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US8786631B1 (en) 2011-04-30 2014-07-22 Cisco Technology, Inc. System and method for transferring transparency information in a video environment
US9191615B1 (en) * 2011-05-02 2015-11-17 Needle, Inc. Chat window
US20120290650A1 (en) * 2011-05-11 2012-11-15 Futurewei Technologies, Inc. System and Method for Peer to Peer Communications in Cellular Communications Systems
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
WO2012155951A1 (en) * 2011-05-13 2012-11-22 Valeo Schalter Und Sensoren Gmbh Camera arrangement for a vehicle and method for calibrating a camera and for operating a camera arrangement
US9098611B2 (en) * 2012-11-26 2015-08-04 Intouch Technologies, Inc. Enhanced video interaction for a user interface of a telepresence network
JP5830935B2 (ja) * 2011-05-27 2015-12-09 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US20120307989A1 (en) * 2011-06-02 2012-12-06 Hawley Michael J Method and apparatus for multimedia calls
US9600176B2 (en) * 2011-06-16 2017-03-21 Nokia Technologies Oy Method and apparatus for controlling a spatial relationship between at least two groups of content during movement of the content
US9325935B2 (en) * 2011-06-20 2016-04-26 Cisco Technology, Inc. Preview window for video communications
US20130003543A1 (en) * 2011-06-30 2013-01-03 Avistar Communications Corporation NEXT-GENERATION BANDWIDTH MANAGEMENT CONTROL SYSTEMS FOR MULTIPLE-SERVICE CALLS, SESSIONS, PACKET-LEVEL PROCESSES, AND QoS PARAMETERS - PART 1: STRUCTURAL AND FUNCTIONAL ARCHITECTURES
US20130002532A1 (en) * 2011-07-01 2013-01-03 Nokia Corporation Method, apparatus, and computer program product for shared synchronous viewing of content
US20130067331A1 (en) * 2011-09-09 2013-03-14 Screenovate Technologies Ltd. Method and System of Simultaneous Display of Multiple Screens on a Target Display
KR101314679B1 (ko) * 2011-09-14 2013-10-07 엘지전자 주식회사 이동 단말기 및 그 동작 제어 방법
US8327012B1 (en) 2011-09-21 2012-12-04 Color Labs, Inc Content sharing via multiple content distribution servers
US9383958B1 (en) * 2011-09-27 2016-07-05 Amazon Technologies, Inc. Remote co-browsing session management
US20130080932A1 (en) 2011-09-27 2013-03-28 Sanjiv Sirpal Secondary single screen mode activation through user interface toggle
US8861893B2 (en) * 2011-09-27 2014-10-14 The Boeing Company Enhancing video using super-resolution
US9152970B1 (en) 2011-09-27 2015-10-06 Amazon Technologies, Inc. Remote co-browsing session management
US8823765B2 (en) * 2011-09-30 2014-09-02 Verizon Patent And Licensing Inc. Method and apparatus for device peer resource pooling
US9009341B2 (en) * 2011-10-11 2015-04-14 Avaya Inc. Video bandwidth management system and method
JP5977498B2 (ja) * 2011-10-14 2016-08-24 キヤノン株式会社 撮像装置、撮像装置の制御方法
US9448708B1 (en) 2011-10-19 2016-09-20 Google Inc. Theming for virtual collaboration
WO2013063056A1 (en) 2011-10-24 2013-05-02 T-Mobile Usa, Inc. Optimizing video-call quality of service
US9118801B2 (en) 2011-10-24 2015-08-25 T-Mobile Usa, Inc. Optimizing video-call quality of service
US8490008B2 (en) 2011-11-10 2013-07-16 Research In Motion Limited Touchscreen keyboard predictive display and generation of a set of characters
TWI492629B (zh) * 2011-11-02 2015-07-11 Quanta Comp Inc 視訊會議系統、視訊會議裝置及其方法
US9652448B2 (en) 2011-11-10 2017-05-16 Blackberry Limited Methods and systems for removing or replacing on-keyboard prediction candidates
US9715489B2 (en) 2011-11-10 2017-07-25 Blackberry Limited Displaying a prediction candidate after a typing mistake
US9310889B2 (en) 2011-11-10 2016-04-12 Blackberry Limited Touchscreen keyboard predictive display and generation of a set of characters
US9122672B2 (en) 2011-11-10 2015-09-01 Blackberry Limited In-letter word prediction for virtual keyboard
JP5884421B2 (ja) * 2011-11-14 2016-03-15 ソニー株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
CN103108197A (zh) 2011-11-14 2013-05-15 辉达公司 一种用于3d视频无线显示的优先级压缩方法和系统
US9313100B1 (en) 2011-11-14 2016-04-12 Amazon Technologies, Inc. Remote browsing session management
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US9557892B2 (en) * 2011-11-26 2017-01-31 Douzen, Inc. Systems and methods for organizing and displaying hierarchical data structures in computing devices
US9430119B2 (en) 2011-11-26 2016-08-30 Douzen, Inc. Systems and methods for organizing and displaying hierarchical data structures in computing devices
US9008487B2 (en) 2011-12-06 2015-04-14 Alcatel Lucent Spatial bookmarking
WO2013085546A1 (en) 2011-12-09 2013-06-13 Hewlett-Packard Development Company, Lp Modification of images based on orientation
US9246543B2 (en) * 2011-12-12 2016-01-26 Futurewei Technologies, Inc. Smart audio and video capture systems for data processing systems
US9569752B2 (en) * 2011-12-15 2017-02-14 Cisco Technology, Inc. Providing parameterized actionable communication messages via an electronic communication
US9449583B2 (en) * 2011-12-15 2016-09-20 Lenovo (Beijing) Co., Ltd. Control method and electronic apparatus
US8682087B2 (en) 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
US9330188B1 (en) 2011-12-22 2016-05-03 Amazon Technologies, Inc. Shared browsing sessions
CA2789827C (en) 2012-01-19 2017-06-13 Research In Motion Limited Virtual keyboard providing an indication of received input
US9557913B2 (en) 2012-01-19 2017-01-31 Blackberry Limited Virtual keyboard display having a ticker proximate to the virtual keyboard
US9829715B2 (en) 2012-01-23 2017-11-28 Nvidia Corporation Eyewear device for transmitting signal and communication method thereof
CN104094593B (zh) 2012-02-03 2019-04-19 三星Sds株式会社 终端、视频通话控制服务器及利用它们的视频通话系统及方法
US10289660B2 (en) * 2012-02-15 2019-05-14 Apple Inc. Device, method, and graphical user interface for sharing a content object in a document
US8675113B2 (en) 2012-02-24 2014-03-18 Research In Motion Limited User interface for a digital camera
CA2865272C (en) * 2012-02-24 2019-11-05 Blackberry Limited Virtual keyboard with dynamically reconfigurable layout
EP2631756B1 (en) * 2012-02-24 2014-11-26 BlackBerry Limited User interface for a digital camera
DE112012000189B4 (de) 2012-02-24 2023-06-15 Blackberry Limited Berührungsbildschirm-Tastatur zum Vorsehen von Wortvorhersagen in Partitionen der Berührungsbildschirm-Tastatur in naher Assoziation mit Kandidaten-Buchstaben
US20130227149A1 (en) * 2012-02-24 2013-08-29 Intel Mobile Communications GmbH Method for providing a communication session and device
TWI482049B (zh) * 2012-03-02 2015-04-21 Realtek Semiconductor Corp 可阻擋違反互動規則的多媒體互動指令的多媒體互動系統及相關的電腦程式產品
TWI499935B (zh) * 2012-08-30 2015-09-11 Realtek Semiconductor Corp 可避免非預期性互動行為發生的多媒體互動系統及相關的電腦程式產品
US8971623B2 (en) 2012-03-06 2015-03-03 Apple Inc. Overlaid user interface tools for applying effects to image
US10282055B2 (en) 2012-03-06 2019-05-07 Apple Inc. Ordered processing of edits for a media editing application
US9131192B2 (en) 2012-03-06 2015-09-08 Apple Inc. Unified slider control for modifying multiple image properties
JP6123274B2 (ja) * 2012-03-08 2017-05-10 株式会社リコー 撮像装置
US9489827B2 (en) 2012-03-12 2016-11-08 Cisco Technology, Inc. System and method for distributing content in a video surveillance network
CN103503551B (zh) 2012-03-26 2017-02-01 华为技术有限公司 一种数据传输的方法、设备及系统
US9256457B1 (en) 2012-03-28 2016-02-09 Google Inc. Interactive response system for hosted services
US9201510B2 (en) 2012-04-16 2015-12-01 Blackberry Limited Method and device having touchscreen keyboard with visual cues
US8818345B1 (en) * 2012-04-17 2014-08-26 Sprint Communications Company L.P. Enhancing conference bridge muting to save network resources
CN103379044A (zh) * 2012-04-26 2013-10-30 鸿富锦精密工业（深圳）有限公司 网络装置及其动态调整带宽的方法
KR101452038B1 (ko) 2012-04-26 2014-10-22 삼성전기주식회사 모바일 기기 및 그 화면 제어 방법
US9292192B2 (en) 2012-04-30 2016-03-22 Blackberry Limited Method and apparatus for text selection
KR101858604B1 (ko) * 2012-04-30 2018-05-17 엘지전자 주식회사 이동 단말기 및 그 제어방법
US10025487B2 (en) 2012-04-30 2018-07-17 Blackberry Limited Method and apparatus for text selection
US9354805B2 (en) 2012-04-30 2016-05-31 Blackberry Limited Method and apparatus for text selection
US9451163B2 (en) * 2012-05-11 2016-09-20 Qualcomm Incorporated Motion sensor assisted rate control for video encoding
US9827487B2 (en) 2012-05-14 2017-11-28 Sphero, Inc. Interactive augmented reality using a self-propelled device
CN104428791A (zh) 2012-05-14 2015-03-18 澳宝提克斯公司 通过检测图像中的圆形物体操作计算装置
US9292758B2 (en) * 2012-05-14 2016-03-22 Sphero, Inc. Augmentation of elements in data content
RU2012119843A (ru) * 2012-05-15 2013-11-20 Общество с ограниченной ответственностью "Синезис" Способ отображения видеоданных на мобильном устройстве
US9049349B2 (en) * 2012-05-16 2015-06-02 Cisco Technology, Inc. System and method for video recording and retention in a network
CN103428523B (zh) * 2012-05-22 2015-07-08 华为技术有限公司 评估视频质量的方法和装置
US8830295B2 (en) 2012-05-23 2014-09-09 Google Inc. Multimedia conference endpoint transfer system
US9207860B2 (en) 2012-05-25 2015-12-08 Blackberry Limited Method and apparatus for detecting a gesture
CN102724479A (zh) * 2012-05-28 2012-10-10 康佳集团股份有限公司 具有图像实时显示和放大功能的电视系统及其实现方法
US9813666B2 (en) * 2012-05-29 2017-11-07 Qualcomm Incorporated Video transmission and reconstruction
US9661264B2 (en) * 2012-06-01 2017-05-23 Nintendo Co., Ltd. Multi-display video communication medium, apparatus, system, and method
US9325889B2 (en) 2012-06-08 2016-04-26 Samsung Electronics Co., Ltd. Continuous video capture during switch between video capture devices
US9241131B2 (en) 2012-06-08 2016-01-19 Samsung Electronics Co., Ltd. Multiple channel communication using multiple cameras
WO2013188566A1 (en) 2012-06-12 2013-12-19 Snap-On Incorporated Auditing and forensics for automated tool control systems
US8957915B1 (en) * 2012-06-14 2015-02-17 Cinemagram Inc. Method, apparatus and system for dynamic images
US20180048750A1 (en) * 2012-06-15 2018-02-15 Muzik, Llc Audio/video wearable computer system with integrated projector
US9123145B2 (en) * 2012-06-15 2015-09-01 Disney Enterprises, Inc. Temporal noise control for sketchy animation
US9438818B2 (en) * 2012-06-20 2016-09-06 Qualcomm Incorporated Device and method for multimedia communications with picture orientation information
US9014060B2 (en) * 2012-06-21 2015-04-21 Level 3 Communications, Llc System and method for integrating VoIP client for audio conferencing
US8830296B1 (en) 2012-06-26 2014-09-09 Google Inc. Endpoint device-specific stream control for multimedia conferencing
KR101992397B1 (ko) * 2012-06-27 2019-09-27 삼성전자주식회사 영상 처리 장치, 영상 중계 장치, 영상 처리 방법 및 영상 중계 방법
US9116552B2 (en) 2012-06-27 2015-08-25 Blackberry Limited Touchscreen keyboard providing selection of word predictions in partitions of the touchscreen keyboard
US9911222B2 (en) * 2012-07-06 2018-03-06 Tangome, Inc. Animation in threaded conversations
US9632648B2 (en) * 2012-07-06 2017-04-25 Lg Electronics Inc. Mobile terminal, image display device and user interface provision method using the same
US10165245B2 (en) 2012-07-06 2018-12-25 Kaltura, Inc. Pre-fetching video content
US9876988B2 (en) * 2012-07-13 2018-01-23 Microsoft Technology Licensing, Llc Video display modification for video conferencing environments
US10056791B2 (en) 2012-07-13 2018-08-21 Sphero, Inc. Self-optimizing power transfer
WO2014014238A1 (en) 2012-07-17 2014-01-23 Samsung Electronics Co., Ltd. System and method for providing image
US9131143B2 (en) 2012-07-20 2015-09-08 Blackberry Limited Dynamic region of interest adaptation and image capture device providing same
US9813255B2 (en) * 2012-07-30 2017-11-07 Microsoft Technology Licensing, Llc Collaboration environments and views
US8805431B2 (en) * 2012-07-31 2014-08-12 Motorola Solutions, Inc. Apparatus and method for initiating and sharing incident information in a communication system
US9024995B2 (en) * 2012-08-09 2015-05-05 Samsung Electronics Co., Ltd. Video calling using a remote camera device to stream video to a local endpoint host acting as a proxy
US10601880B2 (en) * 2015-07-17 2020-03-24 Avaya Inc. Conference reconstruction in SIP networks
US10742692B2 (en) 2012-08-09 2020-08-11 Avaya Inc. Snap-in invocation for call reconstruction
EP2696591B1 (en) * 2012-08-09 2019-04-10 Samsung Electronics Co., Ltd Video calling using a remote camera device to stream video to a local endpoint host acting as a proxy
KR101901919B1 (ko) * 2012-08-27 2018-09-27 삼성전자주식회사 휴대 단말기 및 메신저 영상 서비스 운용 방법
US9113033B2 (en) 2012-08-28 2015-08-18 Microsoft Technology Licensing, Llc Mobile video conferencing with digital annotation
US8928724B2 (en) * 2012-08-31 2015-01-06 Microsoft Corporation Unified user experience for mobile calls
US9524290B2 (en) 2012-08-31 2016-12-20 Blackberry Limited Scoring predictions based on prediction length and typing speed
US9063653B2 (en) 2012-08-31 2015-06-23 Blackberry Limited Ranking predictions based on typing speed and typing confidence
US9578224B2 (en) * 2012-09-10 2017-02-21 Nvidia Corporation System and method for enhanced monoimaging
GB201216210D0 (en) 2012-09-12 2012-10-24 Appeartome Ltd Augmented reality apparatus and method
US9148625B2 (en) * 2012-09-21 2015-09-29 Cisco Technology, Inc. Transition control in a videoconference
US20140085178A1 (en) * 2012-09-24 2014-03-27 3M Innovative Properties Company Method and apparatus for controlling information display areas in a mirror display
KR20140042280A (ko) * 2012-09-28 2014-04-07 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
US10154177B2 (en) 2012-10-04 2018-12-11 Cognex Corporation Symbology reader with multi-core processor
US9007426B2 (en) 2012-10-04 2015-04-14 Blackberry Limited Comparison-based selection of video resolutions in a video call
US10552030B2 (en) * 2012-10-15 2020-02-04 Kirusa, Inc. Multi-gesture media recording system
ITTO20120908A1 (it) * 2012-10-16 2014-04-17 Selex Galileo Spa Innovativo sistema di comando e controllo e di puntamento e tiro per veicoli militari terrestri equipaggiati con almeno un'arma
ITTO20120907A1 (it) * 2012-10-16 2014-04-17 Selex Galileo Spa Sistema di visione esterna e/o di puntamento di un'arma per veicoli militari terrestri ed unita' navali militari
EP2909971B1 (en) 2012-10-18 2020-09-02 Dolby Laboratories Licensing Corporation Systems and methods for initiating conferences using external devices
US9035995B2 (en) * 2012-10-23 2015-05-19 Electronics And Telecommunications Research Institute Method and apparatus for widening viewing angle in video conferencing system
KR101960311B1 (ko) * 2012-10-29 2019-03-20 엘지전자 주식회사 이동단말기 및 그 제어방법
KR20140063125A (ko) * 2012-11-16 2014-05-27 삼성전자주식회사 영역에 따라 다른 계수를 적용하여 화질을 개선하는 영상 처리 방법 및 그 장치
US20150304239A1 (en) * 2012-11-27 2015-10-22 Oliver Solutions Ltd. Telecommunication network node supporting hybrid management using a hardware abstraction and management protocol cross-connect function
JP5974881B2 (ja) * 2012-12-14 2016-08-23 ソニー株式会社 情報処理装置およびその制御方法
CN103024342B (zh) * 2012-12-25 2016-05-18 广东威创视讯科技股份有限公司 视频会议系统中的带宽控制方法及系统
US9615176B2 (en) * 2012-12-28 2017-04-04 Nvidia Corporation Audio channel mapping in a portable electronic device
KR102000536B1 (ko) 2012-12-28 2019-07-16 삼성전자주식회사 합성 이미지를 촬영하는 촬영 장치 및 그 방법
KR102049977B1 (ko) * 2012-12-31 2019-11-28 엘지전자 주식회사 이동 단말기
US8953079B2 (en) * 2012-12-31 2015-02-10 Texas Instruments Incorporated System and method for generating 360 degree video recording using MVC
US10021431B2 (en) * 2013-01-04 2018-07-10 Omnivision Technologies, Inc. Mobile computing device having video-in-video real-time broadcasting capability
KR20140089146A (ko) 2013-01-04 2014-07-14 삼성전자주식회사 영상 통화 방법 및 그 방법을 처리하는 전자 장치
US9509919B2 (en) * 2014-11-17 2016-11-29 Duelight Llc System and method for generating a digital image
WO2014125403A2 (en) * 2013-02-12 2014-08-21 Amit Kumar Jain Amit Method of video interaction using poster view
KR102076771B1 (ko) * 2013-02-21 2020-02-12 삼성전자주식회사 다수의 이미지 동시 포착
TWI477108B (zh) * 2013-02-22 2015-03-11 Quanta Comp Inc 視訊會議建立方法
WO2014130977A1 (en) * 2013-02-25 2014-08-28 Herold Williams Nonlinear scaling in video conferencing
KR102032541B1 (ko) 2013-02-26 2019-11-08 삼성전자주식회사 이미지 촬영장치 및 방법
KR102032347B1 (ko) * 2013-02-26 2019-10-15 삼성전자 주식회사 이미지 센서 위치를 이용한 이미지 영역 설정 장치 및 방법
US9087393B2 (en) * 2013-03-07 2015-07-21 Apple Inc. Network display support in an integrated circuit
KR20140114501A (ko) * 2013-03-14 2014-09-29 삼성전자주식회사 영상 데이터 처리 방법 및 이를 지원하는 전자 장치
US20140279029A1 (en) * 2013-03-15 2014-09-18 Paschar Llc Mobile device user interface with dynamic advertising control interface area
KR102037930B1 (ko) * 2013-03-15 2019-10-30 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US9792654B1 (en) * 2013-03-15 2017-10-17 United Services Automobile Association (Usaa) Insurance claim processing via streaming video
US20140280490A1 (en) * 2013-03-15 2014-09-18 Atakan Artun Systems and methods for visual communication
US9292264B2 (en) 2013-03-15 2016-03-22 Paschar Llc Mobile device user interface advertising software development kit
US10187433B2 (en) 2013-03-15 2019-01-22 Swyme Ip Bv Methods and systems for dynamic adjustment of session parameters for effective video collaboration among heterogenous devices
KR101978219B1 (ko) * 2013-03-15 2019-05-14 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
EP2975995B1 (en) * 2013-03-20 2023-05-31 Covidien LP System for enhancing picture-in-picture display for imaging devices used for surgical procedures
JP2014192566A (ja) * 2013-03-26 2014-10-06 Sony Corp 映像処理装置、映像処理方法およびコンピュータプログラム
JP5731088B2 (ja) * 2013-03-29 2015-06-10 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 機器制御方法、及び、プログラム
CN104104898B (zh) * 2013-04-03 2017-06-27 联想(北京)有限公司 一种数据处理方法、装置和电子设备
KR20140121711A (ko) * 2013-04-08 2014-10-16 삼성전자주식회사 색 추출 기반의 영상 처리 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 디지털 영상 장치
US10349115B2 (en) * 2013-04-12 2019-07-09 Brian Hernandez Multimedia content management system and method of displaying remotely hosted content
US9031375B2 (en) * 2013-04-18 2015-05-12 Rapt Media, Inc. Video frame still image sequences
US9407874B2 (en) 2013-04-30 2016-08-02 Esurance Insurance Services, Inc. Remote claims adjuster
CN105474157A (zh) * 2013-05-09 2016-04-06 亚马逊技术股份有限公司 移动设备界面
KR20140133363A (ko) * 2013-05-10 2014-11-19 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
US9197853B2 (en) * 2013-05-20 2015-11-24 Ricoh Company, Ltd Switching between views using natural gestures
JP6229314B2 (ja) * 2013-05-30 2017-11-15 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
KR102169523B1 (ko) 2013-05-31 2020-10-23 삼성전자 주식회사 디스플레이장치 및 그 제어방법
US9692831B1 (en) * 2013-05-31 2017-06-27 Google Inc. Pausing interactive sessions
KR102101850B1 (ko) * 2013-06-04 2020-04-17 삼성전자주식회사 전자 장치에서 이미지를 편집하기 위한 장치 및 방법
KR102064973B1 (ko) * 2013-06-04 2020-01-10 삼성전자주식회사 듀얼 이미지를 편집하는 전자 장치 및 방법
US10074400B2 (en) 2013-06-05 2018-09-11 Snakt, Inc. Methods and systems for creating, combining, and sharing time-constrained videos
US10168882B2 (en) 2013-06-09 2019-01-01 Apple Inc. Device, method, and graphical user interface for switching between camera interfaces
US9008296B2 (en) 2013-06-10 2015-04-14 Microsoft Technology Licensing, Llc Catching up with an ongoing conference call
US10523899B2 (en) 2013-06-26 2019-12-31 Touchcast LLC System and method for providing and interacting with coordinated presentations
US9661256B2 (en) 2014-06-26 2017-05-23 Touchcast LLC System and method for providing and interacting with coordinated presentations
US9787945B2 (en) 2013-06-26 2017-10-10 Touchcast LLC System and method for interactive video conferencing
US10356363B2 (en) 2013-06-26 2019-07-16 Touchcast LLC System and method for interactive video conferencing
US10757365B2 (en) 2013-06-26 2020-08-25 Touchcast LLC System and method for providing and interacting with coordinated presentations
US11659138B1 (en) 2013-06-26 2023-05-23 Touchcast, Inc. System and method for interactive video conferencing
US11405587B1 (en) 2013-06-26 2022-08-02 Touchcast LLC System and method for interactive video conferencing
US10075676B2 (en) 2013-06-26 2018-09-11 Touchcast LLC Intelligent virtual assistant system and method
US10297284B2 (en) 2013-06-26 2019-05-21 Touchcast LLC Audio/visual synching system and method
US11488363B2 (en) 2019-03-15 2022-11-01 Touchcast, Inc. Augmented reality conferencing system and method
WO2015000085A2 (en) * 2013-07-02 2015-01-08 Unsworth Andrew Baillie A system for activating a recording device to capture the reaction of a recipient, subject, and/or sender during a media or gift exchange
US10084849B1 (en) 2013-07-10 2018-09-25 Touchcast LLC System and method for providing and interacting with coordinated presentations
TWI496109B (zh) * 2013-07-12 2015-08-11 Vivotek Inc 影像處理器及其影像合成方法
US9232177B2 (en) * 2013-07-12 2016-01-05 Intel Corporation Video chat data processing
US20150022618A1 (en) * 2013-07-18 2015-01-22 Bot Home Automation Inc. Wireless Entrance Communication Device
US9104241B2 (en) * 2013-07-17 2015-08-11 Tangome, Inc. Performing multiple functions by a mobile device during a video conference
US9113036B2 (en) * 2013-07-17 2015-08-18 Ebay Inc. Methods, systems, and apparatus for providing video communications
USD781869S1 (en) 2013-08-01 2017-03-21 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
USD757028S1 (en) 2013-08-01 2016-05-24 Palantir Technologies Inc. Display screen or portion thereof with graphical user interface
AU355184S (en) 2013-08-01 2014-05-01 Palantir Tech Display screen
US20150042669A1 (en) * 2013-08-08 2015-02-12 Nvidia Corporation Rotating displayed content on an electronic device
KR20150019766A (ko) * 2013-08-16 2015-02-25 삼성전자주식회사 영상 통화 방법 및 이를 지원하는 전자 장치
US9961608B2 (en) * 2013-08-19 2018-05-01 Microsoft Technology Licensing, Llc Seamless call transitions
US9888210B2 (en) 2013-08-19 2018-02-06 Microsoft Technology Licensing, Llc Seamless call transitions with pinpoint call escalation
US9681095B2 (en) 2013-08-19 2017-06-13 Microsoft Technology Licensing, Llc Seamless call transitions with pre-escalation participation confirmation
FR3009916A1 (fr) * 2013-08-26 2015-02-27 Orange Procede et dispositif d'enrichissement d'une communication
US9973722B2 (en) 2013-08-27 2018-05-15 Qualcomm Incorporated Systems, devices and methods for displaying pictures in a picture
TWI493433B (zh) * 2013-08-28 2015-07-21 Acer Inc 被遮蔽畫面投影方法及應用該方法之可攜式電子裝置
US9401938B2 (en) * 2013-08-29 2016-07-26 Citrix Systems, Inc. Efficiently accessing web conferences from a mobile device
KR102109883B1 (ko) * 2013-09-03 2020-05-12 삼성전자주식회사 컨텐츠 전송 방법 및 전자 장치
CN104469243A (zh) * 2013-09-13 2015-03-25 联想(北京)有限公司 通信方法和电子设备
KR20150043894A (ko) * 2013-10-15 2015-04-23 삼성전자주식회사 복수의 영상의 프리뷰 영역을 조정하는 전자 장치 및 방법
US9854013B1 (en) 2013-10-16 2017-12-26 Google Llc Synchronous communication system and method
GB201318658D0 (en) * 2013-10-22 2013-12-04 Microsoft Corp Controlling resolution of encoded video
US20150109532A1 (en) * 2013-10-23 2015-04-23 Google Inc. Customizing mobile media captioning based on mobile media rendering
US9179097B2 (en) * 2013-10-23 2015-11-03 Google Inc. Control of a video conference system using personal devices
JPWO2015059793A1 (ja) 2013-10-24 2017-03-09 株式会社東芝 表示装置、表示方法および表示プログラム
US10271010B2 (en) * 2013-10-31 2019-04-23 Shindig, Inc. Systems and methods for controlling the display of content
JP6426969B2 (ja) * 2013-10-31 2018-11-21 キヤノン株式会社 撮像装置及びその制御方法、システム、並びにプログラム
US9538223B1 (en) 2013-11-15 2017-01-03 Google Inc. Synchronous communication system and method
US9307191B2 (en) * 2013-11-19 2016-04-05 Microsoft Technology Licensing, Llc Video transmission
CN105339841B (zh) 2013-12-06 2018-12-14 华为终端（东莞）有限公司 双镜头设备的拍照方法及双镜头设备
JP5877406B2 (ja) * 2013-12-06 2016-03-08 パナソニックＩｐマネジメント株式会社 撮像装置及び撮像システム
KR102126507B1 (ko) * 2013-12-09 2020-06-24 삼성전자주식회사 센서 데이터 스트림을 처리하는 단말기, 시스템 및 방법
US20150163410A1 (en) * 2013-12-10 2015-06-11 Semiconductor Energy Laboratory Co., Ltd. Display Device and Electronic Device
US9628538B1 (en) 2013-12-13 2017-04-18 Google Inc. Synchronous communication
USD790584S1 (en) * 2013-12-16 2017-06-27 Fujifilm Corporation Electronic viewfinder display screen with graphical user interface
KR102187236B1 (ko) * 2013-12-17 2020-12-04 삼성전자 주식회사 프리뷰 방법 및 이를 구현하는 전자 장치
US9420178B2 (en) * 2013-12-20 2016-08-16 Qualcomm Incorporated Thermal and power management
US9829882B2 (en) 2013-12-20 2017-11-28 Sphero, Inc. Self-propelled device with center of mass drive system
US9578233B2 (en) * 2013-12-26 2017-02-21 Canon Kabushiki Kaisha Imaging apparatus and method for controlling the same
JP6312426B2 (ja) * 2013-12-26 2018-04-18 キヤノン株式会社 撮像装置およびその制御方法
US9270937B2 (en) * 2013-12-26 2016-02-23 OnCam Inc. Real time stream provisioning infrastructure
US9386275B2 (en) 2014-01-06 2016-07-05 Intel IP Corporation Interactive video conferencing
JP6324079B2 (ja) * 2014-01-14 2018-05-16 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
US10935788B2 (en) 2014-01-24 2021-03-02 Nvidia Corporation Hybrid virtual 3D rendering approach to stereovision
US9282283B2 (en) 2014-01-29 2016-03-08 Microsoft Technology Licensing, Llc Detecting patterns traced on a screen of a user device
EP3103236B1 (en) * 2014-02-04 2019-05-01 Sony Corporation Media stream from sender seen on receiver side before confirming receipt of media stream
US20150237268A1 (en) * 2014-02-20 2015-08-20 Reflective Practices, LLC Multiple Camera Imaging
CN103841353B (zh) * 2014-02-24 2017-08-01 广州华多网络科技有限公司 视频交互方法、终端、服务器及系统
US9380261B2 (en) * 2014-02-25 2016-06-28 Cisco Technology, Inc. Multi-camera access for remote video access
US10284813B2 (en) 2014-03-17 2019-05-07 Microsoft Technology Licensing, Llc Automatic camera selection
US9749585B2 (en) 2014-03-17 2017-08-29 Microsoft Technology Licensing, Llc Highlighting unread messages
US9888207B2 (en) 2014-03-17 2018-02-06 Microsoft Technology Licensing, Llc Automatic camera selection
US10178346B2 (en) 2014-03-17 2019-01-08 Microsoft Technology Licensing, Llc Highlighting unread messages
CN103970414B (zh) * 2014-03-18 2017-06-13 深圳市艾优尼科技有限公司 一种管理应用程序图标的方法及终端
GB201404990D0 (en) 2014-03-20 2014-05-07 Appeartome Ltd Augmented reality apparatus and method
US9392217B2 (en) 2014-03-20 2016-07-12 Blackberry Limited Automatically relocating picture-in-picture window in video calls
JP2015186020A (ja) * 2014-03-24 2015-10-22 オリンパス株式会社 表示機器、撮影機器及び表示方法
JP2015195477A (ja) * 2014-03-31 2015-11-05 ブラザー工業株式会社 プログラム、端末装置および方法
JP6364965B2 (ja) 2014-03-31 2018-08-01 株式会社リコー 伝送端末、プログラム、伝送方法、伝送システム
US9262801B2 (en) * 2014-04-01 2016-02-16 Gopro, Inc. Image taping in a multi-camera array
KR102244248B1 (ko) * 2014-04-01 2021-04-26 삼성전자주식회사 컨텐츠 운용 방법 및 이를 지원하는 전자 장치
US8838071B1 (en) 2014-04-30 2014-09-16 Oto Technologies Llc Secure communications smartphone system
US9075508B1 (en) 2014-04-30 2015-07-07 Grandios Technologies, Llc Next application suggestions on a user device
CN105556935B (zh) * 2014-05-15 2019-04-19 华为技术有限公司 用于多帧降噪的方法和终端
US9363426B2 (en) 2014-05-29 2016-06-07 International Business Machines Corporation Automatic camera selection based on device orientation
US10579212B2 (en) 2014-05-30 2020-03-03 Apple Inc. Structured suggestions
US10565219B2 (en) 2014-05-30 2020-02-18 Apple Inc. Techniques for automatically generating a suggested contact based on a received message
US9553913B2 (en) 2014-05-30 2017-01-24 Apple Inc. Seamless video pipeline transition between WiFi and cellular connections for real-time applications on mobile devices
US9736381B2 (en) * 2014-05-30 2017-08-15 Intel Corporation Picture in picture recording of multiple regions of interest
JP6328797B2 (ja) 2014-05-30 2018-05-23 アップル インコーポレイテッド １つのデバイスの使用から別のデバイスの使用への移行
WO2015183699A1 (en) 2014-05-30 2015-12-03 Apple Inc. Predictive messaging method
USD771112S1 (en) * 2014-06-01 2016-11-08 Apple Inc. Display screen or portion thereof with graphical user interface
KR102146858B1 (ko) * 2014-06-03 2020-08-21 삼성전자주식회사 촬영 장치 및 촬영 장치의 비디오 생성방법
US9377939B1 (en) 2014-06-04 2016-06-28 Grandios Technologies Application player management
US9078098B1 (en) 2014-06-04 2015-07-07 Grandios Technologies, Llc Geo-fencing based functions
US9395754B2 (en) 2014-06-04 2016-07-19 Grandios Technologies, Llc Optimizing memory for a wearable device
US9584645B2 (en) 2014-06-04 2017-02-28 Grandios Technologies, Llc Communications with wearable devices
US9491562B2 (en) 2014-06-04 2016-11-08 Grandios Technologies, Llc Sharing mobile applications between callers
US9509789B2 (en) 2014-06-04 2016-11-29 Grandios Technologies, Llc Managing mood data on a user device
US9294575B1 (en) 2014-06-04 2016-03-22 Grandios Technologies, Inc. Transmitting appliance-specific content to a user device
US9590984B2 (en) 2014-06-04 2017-03-07 Grandios Technologies, Llc Smartphone fingerprint pass-through system
US9516467B1 (en) 2014-06-04 2016-12-06 Grandios Technologies, Llc Mobile device applications associated with geo-locations
US9420477B2 (en) 2014-06-04 2016-08-16 Grandios Technologies, Llc Signal strength management
US9391988B2 (en) 2014-06-04 2016-07-12 Grandios Technologies, Llc Community biometric authentication on a smartphone
US9509799B1 (en) 2014-06-04 2016-11-29 Grandios Technologies, Llc Providing status updates via a personal assistant
US9538062B2 (en) 2014-06-04 2017-01-03 Grandios Technologies, Llc Camera management system
US9323421B1 (en) 2014-06-04 2016-04-26 Grandios Technologies, Llc Timer, app, and screen management
US9619159B2 (en) 2014-06-04 2017-04-11 Grandios Technologies, Llc Storage management system
US9161193B1 (en) 2014-06-04 2015-10-13 Grandios Technologies, Llc Advanced telephone management
US10592924B1 (en) 2014-06-05 2020-03-17 ProSports Technologies, LLC Managing third party interactions with venue communications
US9711146B1 (en) 2014-06-05 2017-07-18 ProSports Technologies, LLC Wireless system for social media management
US9648452B1 (en) 2014-06-05 2017-05-09 ProSports Technologies, LLC Wireless communication driven by object tracking
US10290067B1 (en) 2014-06-05 2019-05-14 ProSports Technologies, LLC Wireless concession delivery
US9635506B1 (en) 2014-06-05 2017-04-25 ProSports Technologies, LLC Zone based wireless player communications
US8995972B1 (en) 2014-06-05 2015-03-31 Grandios Technologies, Llc Automatic personal assistance between users devices
GB201410285D0 (en) 2014-06-10 2014-07-23 Appeartome Ltd Augmented reality apparatus and method
JP2016005083A (ja) 2014-06-16 2016-01-12 ソニー株式会社 情報処理装置、情報処理方法及び端末装置
US9471955B2 (en) * 2014-06-19 2016-10-18 Apple Inc. Multiple display pipelines driving a divided display
US10255251B2 (en) 2014-06-26 2019-04-09 Touchcast LLC System and method for providing and interacting with coordinated presentations
US10771736B2 (en) * 2014-06-30 2020-09-08 Microsoft Technology Licensing, Llc Compositing and transmitting contextual information during an audio or video call
CN105323532B (zh) * 2014-06-30 2019-10-15 中兴通讯股份有限公司 一种移动终端图像的自适应显示方法和装置
US10318361B2 (en) 2014-07-02 2019-06-11 Atheer, Inc. Methods and systems for multiple access to a single hardware data stream
US9473737B1 (en) 2014-07-03 2016-10-18 Securus Technologies, Inc. On-demand video communication for controlled-environment facility residents
US9965938B1 (en) 2014-07-11 2018-05-08 ProSports Technologies, LLC Restroom queue management
WO2016007970A1 (en) 2014-07-11 2016-01-14 ProSports Technologies, LLC Whistle play stopper
US9760572B1 (en) 2014-07-11 2017-09-12 ProSports Technologies, LLC Event-based content collection for network-based distribution
US9305441B1 (en) 2014-07-11 2016-04-05 ProSports Technologies, LLC Sensor experience shirt
US9571903B2 (en) 2014-07-11 2017-02-14 ProSports Technologies, LLC Ball tracker snippets
WO2016007962A1 (en) 2014-07-11 2016-01-14 ProSports Technologies, LLC Camera feed distribution from event venue virtual seat cameras
US9343066B1 (en) 2014-07-11 2016-05-17 ProSports Technologies, LLC Social network system
US9655027B1 (en) 2014-07-11 2017-05-16 ProSports Technologies, LLC Event data transmission to eventgoer devices
US9610491B2 (en) 2014-07-11 2017-04-04 ProSports Technologies, LLC Playbook processor
WO2016007965A1 (en) 2014-07-11 2016-01-14 ProSports Technologies, LLC Ball tracker camera
US9474933B1 (en) 2014-07-11 2016-10-25 ProSports Technologies, LLC Professional workout simulator
US9724588B1 (en) 2014-07-11 2017-08-08 ProSports Technologies, LLC Player hit system
WO2016007972A1 (en) 2014-07-11 2016-01-14 ProSports Technologies, LLC Ticket upsell system
US9398213B1 (en) 2014-07-11 2016-07-19 ProSports Technologies, LLC Smart field goal detector
US11070457B2 (en) * 2014-07-18 2021-07-20 Arris Enterprises Llc Remedial action based on monitored wireless throughput
US9892371B1 (en) 2014-07-28 2018-02-13 ProSports Technologies, LLC Queue information transmission
US9729644B1 (en) 2014-07-28 2017-08-08 ProSports Technologies, LLC Event and fantasy league data transmission to eventgoer devices
WO2016025951A1 (en) 2014-08-15 2016-02-18 There0 Llc System for immersive telepresence
GB2529454A (en) * 2014-08-20 2016-02-24 Starleaf Ltd An electronic system for forming a control channel between an electronic device and a videotelephone device
US9607497B1 (en) 2014-08-25 2017-03-28 ProSports Technologies, LLC Wireless communication security system
WO2016032714A1 (en) 2014-08-25 2016-03-03 ProSports Technologies, LLC Disposable connectable wireless communication receiver
KR102391772B1 (ko) * 2014-08-28 2022-04-28 삼성전자 주식회사 터치 감응 디스플레이를 포함하는 전자 장치 및 이 전자 장치를 동작하는 방법
CN104238877B (zh) 2014-09-04 2018-03-13 华为技术有限公司 控制图标的方法和终端
US9699523B1 (en) 2014-09-08 2017-07-04 ProSports Technologies, LLC Automated clip creation
US10715577B2 (en) * 2014-09-09 2020-07-14 Vmware, Inc. Virtual desktop encoding based on user input behavior
US9282287B1 (en) * 2014-09-09 2016-03-08 Google Inc. Real-time video transformations in video conferences
US10264175B2 (en) 2014-09-09 2019-04-16 ProSports Technologies, LLC Facial recognition for event venue cameras
WO2016039987A1 (en) 2014-09-11 2016-03-17 ProSports Technologies, LLC System to offer coupons to fans along routes to game
US9560095B2 (en) * 2014-09-30 2017-01-31 Cisco Technology, Inc. Method and system for remote meetings
WO2016049882A1 (en) * 2014-09-30 2016-04-07 Tencent Technology (Shenzhen) Company Limited Device and method for capturing, sharing and watching video messages
US9516220B2 (en) 2014-10-02 2016-12-06 Intel Corporation Interactive video conferencing
JP6471451B2 (ja) * 2014-10-16 2019-02-20 株式会社リコー 伝送システム、通信制御装置、通信制御方法、通信方法、プログラム
USD780770S1 (en) 2014-11-05 2017-03-07 Palantir Technologies Inc. Display screen or portion thereof with graphical user interface
US10147155B2 (en) * 2014-11-26 2018-12-04 Visual Supply Company Image perspective processing
US10021346B2 (en) 2014-12-05 2018-07-10 Intel IP Corporation Interactive video conferencing
US20160165128A1 (en) * 2014-12-05 2016-06-09 Facebook, Inc. Capturing and sending images and videos based on a single user interaction with a user interface element
KR20160074334A (ko) * 2014-12-18 2016-06-28 엘지전자 주식회사 이동단말기 및 그 제어방법
CN107408212B (zh) * 2015-02-11 2021-09-21 爱维士软件有限责任公司 用于识别存储在设备上的不需要的照片的系统和方法
GB201502434D0 (en) 2015-02-13 2015-04-01 Digital Barriers Services Ltd Video encoder
US9800798B2 (en) 2015-02-13 2017-10-24 Qualcomm Incorporated Systems and methods for power optimization for imaging devices with dual cameras
US9846919B2 (en) 2015-02-16 2017-12-19 Samsung Electronics Co., Ltd. Data processing device for processing multiple sensor data and system including the same
DE102015103778A1 (de) * 2015-03-16 2016-09-22 Connaught Electronics Ltd. Verfahren zur Ausgabe eines Bilds einer Bildsequenz auf einer Anzeigeeinheit, Anzeigevorrichtung und Kraftfahrzeug
US9667871B2 (en) * 2015-03-20 2017-05-30 Motorola Mobility Llc Remote imaging in modular cellular phone
WO2016152633A1 (ja) * 2015-03-26 2016-09-29 ソニー株式会社 画像処理システムおよび画像処理方法、並びにプログラム
USD775648S1 (en) * 2015-04-02 2017-01-03 Snakt, Inc. Video viewing display screen with graphical user interface for rotatable display
USD791830S1 (en) * 2015-04-10 2017-07-11 Visa International Service Association Display screen or portion thereof with animated graphical user interface
US10348777B2 (en) * 2015-04-30 2019-07-09 Telemerge, Inc. Telehealth video chat mirroring of disparate video chat devices
EP3099081B1 (en) 2015-05-28 2020-04-29 Samsung Electronics Co., Ltd. Display apparatus and control method thereof
JP6582562B2 (ja) * 2015-05-29 2019-10-02 株式会社リコー 通信端末、通信システム、通信方法、及びプログラム
CN104853136A (zh) * 2015-05-29 2015-08-19 小米科技有限责任公司 视频通信方法及装置
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
CN105100432B (zh) * 2015-06-10 2018-02-06 小米科技有限责任公司 通话界面显示方法及装置
WO2016205800A1 (en) * 2015-06-19 2016-12-22 Serious Simulations, Llc Processes systems and methods for improving virtual and augmented reality applications
US9906715B2 (en) 2015-07-08 2018-02-27 Htc Corporation Electronic device and method for increasing a frame rate of a plurality of pictures photographed by an electronic device
KR20170014356A (ko) 2015-07-29 2017-02-08 엘지전자 주식회사 이동 단말기 및 이의 제어방법
CN105072336A (zh) * 2015-07-31 2015-11-18 小米科技有限责任公司 调节拍摄功能的控制方法、装置和设备
US20170034470A1 (en) * 2015-08-02 2017-02-02 Cfkk, Llc Systems and methods and apparatuses for capturing concurrent multiple perspectives of a target by mobile devices
WO2017035368A1 (en) * 2015-08-25 2017-03-02 Touchcast LLC System and method for interactive video conferencing
CN105120099A (zh) * 2015-08-31 2015-12-02 小米科技有限责任公司 拍摄控制方法和装置
CN105163028B (zh) * 2015-09-11 2018-09-28 青岛海信移动通信技术股份有限公司 一种双摄像头的控制方法及装置
US10445425B2 (en) 2015-09-15 2019-10-15 Apple Inc. Emoji and canned responses
WO2017051962A1 (ko) * 2015-09-25 2017-03-30 엘지전자 주식회사 이동단말기 및 그 제어방법
US10929854B2 (en) * 2015-10-02 2021-02-23 The Western Union Company Methods and systems for real-time identification and mitigation of agent risks relating to AML
WO2017061155A1 (ja) * 2015-10-08 2017-04-13 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
KR20170042431A (ko) 2015-10-08 2017-04-19 삼성전자주식회사 디스플레이 모양에 따라 영상 데이터를 불균일하게 인코딩/디코딩하도록 구성되는 전자 장치
US20170148438A1 (en) * 2015-11-20 2017-05-25 Conexant Systems, Inc. Input/output mode control for audio processing
US11929088B2 (en) 2015-11-20 2024-03-12 Synaptics Incorporated Input/output mode control for audio processing
US10440316B2 (en) * 2015-12-03 2019-10-08 Hisense USA Corporation Device and method for displaying a video over a network
CN105554553B (zh) * 2015-12-15 2019-02-15 腾讯科技（深圳）有限公司 通过悬浮窗口播放视频的方法及装置
JP6613131B2 (ja) * 2015-12-24 2019-11-27 京セラ株式会社 電子機器、電子機器の制御方法、電子機器の制御装置、制御プログラム及び電子機器システム
US10645137B2 (en) 2015-12-28 2020-05-05 Facebook, Inc. Systems and methods to create composite videos
US20170193644A1 (en) * 2015-12-30 2017-07-06 Ebay Inc Background removal
KR20170082349A (ko) * 2016-01-06 2017-07-14 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US9681097B1 (en) 2016-01-20 2017-06-13 Global Tel*Link Corporation Secure video visitation system
US10810673B1 (en) * 2016-01-22 2020-10-20 United Services Automobile Association (Usaa) Systems and methods for automatically reallocating investment funds
KR20170091913A (ko) 2016-02-02 2017-08-10 삼성전자주식회사 영상 서비스 제공 방법 및 장치
US10296994B2 (en) 2016-02-11 2019-05-21 Global Tel*Link Corporation System and method for visitation management in a controlled environment
KR102496225B1 (ko) * 2016-02-11 2023-02-07 삼성전자 주식회사 영상 인코딩 방법 및 이를 지원하는 전자 장치
US20170237986A1 (en) 2016-02-11 2017-08-17 Samsung Electronics Co., Ltd. Video encoding method and electronic device adapted thereto
US10257394B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Combined HDR/LDR video streaming
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
KR102467869B1 (ko) * 2016-02-19 2022-11-16 삼성전자주식회사 전자 장치 및 그의 동작 방법
US9906981B2 (en) 2016-02-25 2018-02-27 Nvidia Corporation Method and system for dynamic regulation and control of Wi-Fi scans
US20170272435A1 (en) 2016-03-15 2017-09-21 Global Tel*Link Corp. Controlled environment secure media streaming system
CN107205109B (zh) * 2016-03-18 2020-10-09 聚晶半导体股份有限公司 具有多摄像模块的电子装置及其控制的方法
US9558523B1 (en) 2016-03-23 2017-01-31 Global Tel* Link Corp. Secure nonscheduled video visitation system
KR20170110469A (ko) * 2016-03-23 2017-10-11 삼성전자주식회사 영상 통화를 제공하기 위한 방법 및 이를 위한 전자 장치
JP2017183658A (ja) * 2016-03-31 2017-10-05 ソニー株式会社 固体撮像素子、撮像装置、および電子機器
US11322261B2 (en) * 2016-04-08 2022-05-03 19Labs Inc. System and method for implementing augmented reality during telehealth sessions in a telehealth device
US9699406B1 (en) * 2016-04-14 2017-07-04 Alexander Mackenzie & Pranger Methods and systems for multi-pane video communications
US11523087B2 (en) 2016-04-14 2022-12-06 Popio Mobile Video Cloud, Llc Methods and systems for utilizing multi-pane video communications in connection with notarizing digital documents
US10511805B2 (en) 2016-04-14 2019-12-17 Popio Ip Holdings, Llc Methods and systems for multi-pane video communications to execute user workflows
US10827149B2 (en) 2016-04-14 2020-11-03 Popio Ip Holdings, Llc Methods and systems for utilizing multi-pane video communications in connection with check depositing
USD881907S1 (en) * 2016-04-22 2020-04-21 Aetna Inc. Display screen with a graphical user interface
US20170324927A1 (en) 2016-05-06 2017-11-09 Global Tel*Link Corp. Controlled Environment Media and Communication System
CA3023391A1 (en) * 2016-05-07 2017-11-16 Smart Third-I Ltd Systems and methods involving edge camera assemblies in handheld devices
JP6700959B2 (ja) * 2016-05-11 2020-05-27 キヤノン株式会社 通信装置、通信装置の制御方法、及び、プログラム
US9762729B1 (en) * 2016-05-12 2017-09-12 Google Inc. Caller preview for video calls
JP7074056B2 (ja) * 2016-05-13 2022-05-24 ソニーグループ株式会社 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム
CN107422934B (zh) 2016-05-23 2020-04-28 华为终端有限公司 一种图标的设置方法及电子设备
US10103997B2 (en) * 2016-06-01 2018-10-16 At&T Intellectual Property I, L.P. Dynamic quality of service for over-the-top content
US9854156B1 (en) 2016-06-12 2017-12-26 Apple Inc. User interface for camera effects
DK201670622A1 (en) 2016-06-12 2018-02-12 Apple Inc User interfaces for transactions
USD858572S1 (en) 2016-06-29 2019-09-03 Palantir Technologies Inc. Display screen or portion thereof with icon
USD803246S1 (en) 2016-06-29 2017-11-21 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
USD802000S1 (en) 2016-06-29 2017-11-07 Palantir Technologies, Inc. Display screen or portion thereof with an animated graphical user interface
USD826269S1 (en) 2016-06-29 2018-08-21 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
USD802016S1 (en) 2016-06-29 2017-11-07 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
USD835646S1 (en) 2016-07-13 2018-12-11 Palantir Technologies Inc. Display screen or portion thereof with an animated graphical user interface
USD847144S1 (en) 2016-07-13 2019-04-30 Palantir Technologies Inc. Display screen or portion thereof with graphical user interface
USD811424S1 (en) 2016-07-20 2018-02-27 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
US9948888B1 (en) * 2016-08-04 2018-04-17 Google Llc Techniques for utilizing a television for a video chat session
WO2018031441A1 (en) 2016-08-09 2018-02-15 Contrast, Inc. Real-time hdr video for vehicle control
USD802005S1 (en) 2016-08-30 2017-11-07 Google Inc. Display screen with animated graphical user interface
USD802615S1 (en) * 2016-08-30 2017-11-14 Google Inc. Display screen with animated graphical user interface
USD802004S1 (en) 2016-08-30 2017-11-07 Google Inc. Display screen with animated graphical user interface
US9729820B1 (en) * 2016-09-02 2017-08-08 Russell Holmes Systems and methods for providing real-time composite video from multiple source devices
US10089793B2 (en) 2016-09-02 2018-10-02 Russell Holmes Systems and methods for providing real-time composite video from multiple source devices featuring augmented reality elements
US9979921B2 (en) 2016-09-02 2018-05-22 Russell Holmes Systems and methods for providing real-time composite video from multiple source devices
CN107005703A (zh) * 2016-09-09 2017-08-01 深圳市大疆创新科技有限公司 图像编码方法及系统
KR20210013323A (ko) 2016-09-23 2021-02-03 애플 인크. 아바타 생성 및 편집
WO2018076357A1 (zh) 2016-10-31 2018-05-03 北京小米移动软件有限公司 多媒体信息播放方法及系统、采集设备、标准化服务器
US20180131710A1 (en) * 2016-11-07 2018-05-10 Microsoft Technology Licensing, Llc Network telephony anomaly detection images
CN108063745B (zh) * 2016-11-08 2019-03-01 视联动力信息技术股份有限公司 一种基于安卓设备的视频通话方法及其系统
US10116898B2 (en) * 2016-11-18 2018-10-30 Facebook, Inc. Interface for a video call
US10079994B2 (en) 2016-11-18 2018-09-18 Facebook, Inc. Methods and systems for displaying relevant participants in a video communication
TWI617969B (zh) * 2016-11-24 2018-03-11 新加坡商雲網科技新加坡有限公司 畫面控制方法及使用者終端
CN106534695B (zh) * 2016-11-28 2021-10-22 宇龙计算机通信科技(深圳)有限公司 拍摄方法、拍摄装置和终端
CN108234788A (zh) * 2016-12-22 2018-06-29 展讯通信（上海）有限公司 电话会议的管理方法、装置、终端及网络侧设备
USD808991S1 (en) 2016-12-22 2018-01-30 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
US10559309B2 (en) 2016-12-22 2020-02-11 Google Llc Collaborative voice controlled devices
US10477277B2 (en) * 2017-01-06 2019-11-12 Google Llc Electronic programming guide with expanding cells for video preview
US10586111B2 (en) 2017-01-13 2020-03-10 Google Llc Using machine learning to detect which part of the screen includes embedded frames of an uploaded video
CN110168630B (zh) * 2017-02-03 2021-12-28 杰创科系统有限公司 增强视频现实
US20180227502A1 (en) * 2017-02-06 2018-08-09 Qualcomm Incorporated Systems and methods for reduced power consumption in imaging pipelines
KR102557662B1 (ko) 2017-02-09 2023-07-19 삼성전자주식회사 이미지 처리 장치 및 이를 포함하는 전자 장치
USD868827S1 (en) 2017-02-15 2019-12-03 Palantir Technologies, Inc. Display screen or portion thereof with set of icons
US10038877B1 (en) * 2017-03-13 2018-07-31 Microsoft Technology Licensing, Llc Event conditioned views for teleconferencing sessions
WO2018175621A1 (en) * 2017-03-23 2018-09-27 Ring Inc. Audio/video recording and communication devices with multiple cameras having variable capture settings
KR102402096B1 (ko) * 2017-03-27 2022-05-26 삼성전자주식회사 이미지 내 오브젝트와 관련된 정보를 제공하는 전자 장치
WO2018191514A1 (en) * 2017-04-12 2018-10-18 Marble Robot, Inc. Method for sensor data processing
USD834039S1 (en) 2017-04-12 2018-11-20 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
USD839298S1 (en) 2017-04-19 2019-01-29 Palantir Technologies Inc. Display screen or portion thereof with graphical user interface
USD822705S1 (en) 2017-04-20 2018-07-10 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
US10255525B1 (en) * 2017-04-25 2019-04-09 Uber Technologies, Inc. FPGA device for image classification
USD905713S1 (en) * 2017-04-28 2020-12-22 Oshkosh Defense, Llc Display screen or portion thereof with graphical user interface
USD872736S1 (en) 2017-05-04 2020-01-14 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
US10466889B2 (en) * 2017-05-16 2019-11-05 Apple Inc. Devices, methods, and graphical user interfaces for accessing notifications
US10540080B2 (en) * 2017-05-23 2020-01-21 Melissa SULLY Visual media capture and user interface animation
USD837234S1 (en) 2017-05-25 2019-01-01 Palantir Technologies Inc. Display screen or portion thereof with transitional graphical user interface
US10412139B2 (en) 2017-05-26 2019-09-10 Streamsure Solutions Limited Communication event
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US10896622B2 (en) 2017-06-20 2021-01-19 Global Tel*Link Corporation Educational content delivery system for controlled environments
US11265530B2 (en) * 2017-07-10 2022-03-01 Contrast, Inc. Stereoscopic camera
USD881216S1 (en) * 2017-07-14 2020-04-14 Huawei Technologies Co., Ltd. Display screen or portion thereof with graphical user interface
TWI650018B (zh) * 2017-07-18 2019-02-01 晶睿通訊股份有限公司 提供使用者介面以進行場景之監控畫面縫合之方法及其電子裝置
US11164151B2 (en) 2017-07-20 2021-11-02 Global Tel*Link Corporation System and method for providing job-specific training and employment to residents of a controlled environment facility
US10554705B2 (en) * 2017-07-26 2020-02-04 Sony Corporation System and method for controlling client electronic devices in wireless local ad hoc network
US10405007B2 (en) 2017-07-27 2019-09-03 Global Tel*Link Corporation Systems and methods for a video sharing service within controlled environments
US10122825B1 (en) 2017-07-27 2018-11-06 Global Tel*Link Corporation Systems and methods for providing a visual content gallery within a controlled environment
US10015546B1 (en) 2017-07-27 2018-07-03 Global Tel*Link Corp. System and method for audio visual content creation and publishing within a controlled environment
US10565247B2 (en) 2017-07-28 2020-02-18 Global Tel*Link Corporation Controlled environment secure media streaming system with digital video recording
USD874472S1 (en) 2017-08-01 2020-02-04 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
US9992449B1 (en) 2017-08-10 2018-06-05 Everysight Ltd. System and method for sharing sensed data between remote users
US11213754B2 (en) 2017-08-10 2022-01-04 Global Tel*Link Corporation Video game center for a controlled environment facility
US11122240B2 (en) 2017-09-11 2021-09-14 Michael H Peters Enhanced video conference management
US11290686B2 (en) 2017-09-11 2022-03-29 Michael H Peters Architecture for scalable video conference management
US11785180B2 (en) 2017-09-11 2023-10-10 Reelay Meetings, Inc. Management and analysis of related concurrent communication sessions
US10382722B1 (en) * 2017-09-11 2019-08-13 Michael H. Peters Enhanced video conference management
US10372298B2 (en) 2017-09-29 2019-08-06 Apple Inc. User interface for multi-user communication session
US11128610B2 (en) * 2017-09-29 2021-09-21 Apple Inc. Secure multiway calling
WO2019071287A1 (en) * 2017-10-11 2019-04-18 Liveshop Pty Ltd ONLINE SHOPPING SYSTEM
USD936671S1 (en) * 2017-10-23 2021-11-23 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US11553216B2 (en) 2017-10-26 2023-01-10 Halo Innovative Solutions Llc Systems and methods of facilitating live streaming of content on multiple social media platforms
US10693830B2 (en) 2017-10-26 2020-06-23 Halo Innovative Solutions Llc Methods, systems, apparatuses and devices for facilitating live streaming of content on multiple social media platforms
US11323407B2 (en) 2017-10-26 2022-05-03 Halo Innovative Solutions Llc Methods, systems, apparatuses, and devices for facilitating managing digital content captured using multiple content capturing devices
US10999642B1 (en) * 2017-11-03 2021-05-04 Snap Inc. Multi-video capture system
USD872121S1 (en) 2017-11-14 2020-01-07 Palantir Technologies, Inc. Display screen or portion thereof with transitional graphical user interface
CN107959965B (zh) * 2017-11-20 2021-03-19 Oppo广东移动通信有限公司 应用程序的降帧方法、装置、移动终端及可读存储介质
CN109922204A (zh) * 2017-12-13 2019-06-21 中兴通讯股份有限公司 图像处理方法及终端
US10331394B1 (en) 2017-12-21 2019-06-25 Logmein, Inc. Manipulating shared screen content
US10747411B2 (en) * 2017-12-29 2020-08-18 Facebook, Inc. Systems and methods for generating and sharing content
US11019305B2 (en) * 2018-01-12 2021-05-25 Facebook, Inc. Coordinated effects in videos
KR102552137B1 (ko) * 2018-01-22 2023-07-07 삼성디스플레이 주식회사 표시 장치 및 이의 구동 방법
US10212472B1 (en) * 2018-02-05 2019-02-19 Mcleanics Technology Corporation Record me-a-stream
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
USD883997S1 (en) 2018-02-12 2020-05-12 Palantir Technologies, Inc. Display screen or portion thereof with transitional graphical user interface
USD883301S1 (en) 2018-02-19 2020-05-05 Palantir Technologies, Inc. Display screen or portion thereof with transitional graphical user interface
USD872116S1 (en) * 2018-02-22 2020-01-07 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
CN108536345B (zh) * 2018-03-02 2019-09-10 Oppo广东移动通信有限公司 应用程序图标处理方法、装置以及移动终端
US10831331B2 (en) * 2018-03-09 2020-11-10 International Business Machines Corporation Window control for simultaneously running applications
CN108762652B (zh) * 2018-03-27 2020-08-21 Oppo广东移动通信有限公司 智能终端的显示控制方法、装置、存储介质及智能终端
USD885413S1 (en) 2018-04-03 2020-05-26 Palantir Technologies Inc. Display screen or portion thereof with transitional graphical user interface
USD869488S1 (en) 2018-04-03 2019-12-10 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
USD886848S1 (en) 2018-04-03 2020-06-09 Palantir Technologies Inc. Display screen or portion thereof with transitional graphical user interface
USD888082S1 (en) 2018-04-03 2020-06-23 Palantir Technologies, Inc. Display screen or portion thereof with transitional graphical user interface
US20190313026A1 (en) * 2018-04-09 2019-10-10 Qualcomm Incorporated Multi-context real time inline image signal processing
DK180130B1 (da) 2018-05-07 2020-06-02 Apple Inc. Multi-participant live communication user interface
DK180212B1 (en) 2018-05-07 2020-08-19 Apple Inc USER INTERFACE FOR CREATING AVATAR
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
AU2019266225B2 (en) * 2018-05-07 2021-01-14 Apple Inc. Multi-participant live communication user interface
JP7073238B2 (ja) * 2018-05-07 2022-05-23 アップル インコーポレイテッド クリエイティブカメラ
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
USD888765S1 (en) * 2018-06-05 2020-06-30 Ernieapp Ltd. Display screen or portion thereof with graphical user interface
EP3803559A4 (en) * 2018-06-05 2022-04-27 T1V, Inc. VIDEO CONFERENCING DURING REAL-TIME COLLABORATION ON A VIRTUAL CANVAS
US11334960B2 (en) 2018-06-08 2022-05-17 Uatc, Llc Systems and methods for pipelined processing of sensor data using hardware
USD937857S1 (en) * 2018-06-11 2021-12-07 Patientory, Inc. Display screen or portion thereof with graphical user interface
US10594418B2 (en) * 2018-07-16 2020-03-17 Luke Gregory Stavrowsky Voice operated electronic device that blocks radio commercials and substitutes alternate audio content
USD879821S1 (en) 2018-08-02 2020-03-31 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
USD962953S1 (en) 2018-08-03 2022-09-06 Kilpatrick Townsend & Stockton Llp Display screen or portion thereof having an icon
USD928800S1 (en) * 2018-08-03 2021-08-24 Kilpatrick Townsend & Stockton Llp Display screen or portion thereof having an icon
CN109005377B (zh) * 2018-08-10 2020-07-17 维沃移动通信有限公司 一种视频处理方法及终端设备
TWI687102B (zh) * 2018-08-23 2020-03-01 奇勤科技股份有限公司 雙邊控制之遠端視訊系統及其方法
TWI684338B (zh) * 2018-08-29 2020-02-01 圓展科技股份有限公司 網路會議的執行方法
US10728529B2 (en) 2018-09-06 2020-07-28 Qualcomm Incorporated Synchronization of frame captures from multiple cameras with different fields of capture
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US10902761B2 (en) * 2018-09-30 2021-01-26 Chongqing Hkc Optoelectronics Technology Co., Ltd. Quality determination method of a display panel, determination system and computer readable storage medium
CN109151402B (zh) * 2018-10-26 2022-10-11 深圳市道通智能航空技术股份有限公司 航拍相机的图像处理方法、图像处理系统及无人机
CN109120869A (zh) * 2018-11-07 2019-01-01 深圳市道通智能航空技术有限公司 双光图像整合方法、整合设备及无人机
CN109525880A (zh) * 2018-11-08 2019-03-26 北京微播视界科技有限公司 视频数据的合成方法、装置、设备和存储介质
IL311148A (en) 2018-11-11 2024-04-01 Netspark Ltd Online video filtering
US11574476B2 (en) * 2018-11-11 2023-02-07 Netspark Ltd. On-line video filtering
US10531039B1 (en) 2018-11-13 2020-01-07 International Business Machines Corporation Dynamically switching cameras in web conference
CN109327672B (zh) * 2018-12-11 2020-09-22 维沃移动通信有限公司 一种视频通话方法及终端
USD973699S1 (en) * 2018-12-21 2022-12-27 Richard Herbst Computer screen display or portion thereof with graphical user interface
USD919645S1 (en) 2019-01-02 2021-05-18 Palantir Technologies, Inc. Display screen or portion thereof with transitional graphical user interface
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
KR20200091522A (ko) 2019-01-22 2020-07-31 삼성전자주식회사 컨텐츠의 표시 방향을 제어하기 위한 방법 및 그 전자 장치
USD916789S1 (en) 2019-02-13 2021-04-20 Palantir Technologies, Inc. Display screen or portion thereof with transitional graphical user interface
US11964202B2 (en) 2019-02-22 2024-04-23 Mursion, Inc. Peer to peer communication system and method
US11805158B2 (en) 2019-03-20 2023-10-31 Zoom Video Communications, Inc. Method and system for elevating a phone call into a video conferencing session
KR20200117695A (ko) * 2019-04-05 2020-10-14 삼성전자주식회사 외부 전자 장치를 이용하여 카메라를 제어하는 전자 장치 및 방법
USD953345S1 (en) 2019-04-23 2022-05-31 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
US10999629B1 (en) * 2019-04-23 2021-05-04 Snap Inc. Automated graphical image modification scaling based on rules
USD947240S1 (en) * 2019-04-26 2022-03-29 The Dedham Group Llc Display screen or portion thereof with graphical user interface
USD947239S1 (en) * 2019-04-26 2022-03-29 The Dedham Group Llc Display screen or portion thereof with graphical user interface
USD947221S1 (en) * 2019-04-26 2022-03-29 The Dedham Group Llc Display screen or portion thereof with graphical user interface
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US11287947B2 (en) 2019-05-15 2022-03-29 Microsoft Technology Licensing, Llc Contextual input in a three-dimensional environment
US11087560B2 (en) 2019-05-15 2021-08-10 Microsoft Technology Licensing, Llc Normalization of objects for a 3D environment within an authoring application
USD894942S1 (en) 2019-05-29 2020-09-01 Apple Inc. Electronic device with graphical user interface
KR20240049648A (ko) 2019-05-31 2024-04-16 애플 인크. 오디오 미디어 제어를 위한 사용자 인터페이스
US10771740B1 (en) * 2019-05-31 2020-09-08 International Business Machines Corporation Adding an individual to a video conference
US11010121B2 (en) 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
US11611608B1 (en) * 2019-07-19 2023-03-21 Snap Inc. On-demand camera sharing over a network
WO2021016974A1 (zh) * 2019-07-31 2021-02-04 西安诺瓦星云科技股份有限公司 数据处理方法、装置和系统以及系统控制器和模组控制器
TWI707339B (zh) * 2019-08-27 2020-10-11 瑞昱半導體股份有限公司 影像處理電路以及影像處理方法
CN110505428B (zh) * 2019-08-28 2021-06-15 联想(北京)有限公司 一种信息处理方法及电子设备
CN112449097A (zh) * 2019-08-29 2021-03-05 中兴通讯股份有限公司 视频通信方法、终端及存储介质
CN110650341A (zh) * 2019-09-29 2020-01-03 华为终端有限公司 视频交互方法及相关设备
CN110661993A (zh) * 2019-10-17 2020-01-07 维沃移动通信有限公司 一种视频显示内容的处理方法及终端设备
CN110856014B (zh) * 2019-11-05 2023-03-07 北京奇艺世纪科技有限公司 动态图像生成方法、装置、电子设备及存储介质
CN110896495A (zh) 2019-11-19 2020-03-20 北京字节跳动网络技术有限公司 用于目标设备的视图调整方法、装置、电子设备和介质
US11252206B2 (en) * 2019-12-03 2022-02-15 Microsoft Technology Licensing, Llc Reducing setup time for online meetings
CN111050091B (zh) * 2019-12-23 2021-04-13 联想(北京)有限公司 输出控制方法、装置及电子设备
US10924709B1 (en) * 2019-12-27 2021-02-16 Microsoft Technology Licensing, Llc Dynamically controlled view states for improved engagement during communication sessions
US10917608B1 (en) 2019-12-27 2021-02-09 Microsoft Technology Licensing, Llc Dynamically controlled aspect ratios based on a number of participants depicted in communication video streams
US11050973B1 (en) 2019-12-27 2021-06-29 Microsoft Technology Licensing, Llc Dynamically controlled aspect ratios for communication session video streams
US11006076B1 (en) * 2019-12-31 2021-05-11 Facebook, Inc. Methods and systems for configuring multiple layouts of video capture
US11064256B1 (en) 2020-01-15 2021-07-13 Microsoft Technology Licensing, Llc Dynamic configuration of communication video stream arrangements based on an aspect ratio of an available display area
US10835106B1 (en) 2020-02-21 2020-11-17 Ambu A/S Portable monitor
US10980397B1 (en) 2020-02-21 2021-04-20 Ambu A/S Video processing device
US11166622B2 (en) 2020-02-21 2021-11-09 Ambu A/S Video processing apparatus
US11109741B1 (en) 2020-02-21 2021-09-07 Ambu A/S Video processing apparatus
US11455085B2 (en) 2020-03-10 2022-09-27 Apple Inc. Devices, methods, and graphical user interfaces for interacting with user interface objects corresponding to applications
CN111246032B (zh) * 2020-03-27 2021-07-30 北京小米移动软件有限公司 通话管理方法和装置
EP3913911A1 (fr) * 2020-04-02 2021-11-24 Société Anonyme Edagora Système de visiophonie simple
EP3902244B1 (en) * 2020-04-23 2022-03-23 Axis AB Controlling a pan-tilt-zoom camera
US11470300B2 (en) 2020-05-08 2022-10-11 Tencent America LLC Event-based trigger interval for signaling of RTCP viewport for immersive teleconferencing and telepresence for remote terminals
US11079913B1 (en) 2020-05-11 2021-08-03 Apple Inc. User interface for status indicators
DK202070625A1 (en) 2020-05-11 2022-01-04 Apple Inc User interfaces related to time
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
US11537998B2 (en) 2020-05-21 2022-12-27 HUDDL Inc. Capturing meeting snippets
CN111641797B (zh) * 2020-05-25 2022-02-18 北京字节跳动网络技术有限公司 视频通话界面显示控制方法、装置、存储介质及设备
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
CN113938633B (zh) * 2020-06-29 2023-09-08 聚好看科技股份有限公司 一种视频通话处理方法及显示设备
KR102310577B1 (ko) * 2020-06-29 2021-10-13 주식회사 씨앤에이아이 Rtp 패킷 관리 장치 및 방법
USD944837S1 (en) * 2020-09-03 2022-03-01 PassiveLogic, Inc. Display screen or portion thereof with animated graphical user interface
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
US20220116552A1 (en) * 2020-10-08 2022-04-14 Vidiplus, Ltd System and/or Method for Enhancing Content in Live Streaming Video
US11425412B1 (en) * 2020-11-10 2022-08-23 Amazon Technologies, Inc. Motion cues for video encoding
CN112422871B (zh) * 2020-11-12 2023-05-16 广东保伦电子股份有限公司 一种基于ios平台的双流视频会议方法及处理终端
KR102408303B1 (ko) * 2020-11-17 2022-06-10 주식회사 카카오 컨텐츠 정보 제공 방법 및 컨텐츠 정보를 제공하는 사용자 단말
US11729387B1 (en) * 2020-12-03 2023-08-15 Amazon Technologies, Inc. Automatic configuration of settings for a video encoder
US11792353B2 (en) * 2020-12-07 2023-10-17 Avaya Management L.P. Systems and methods for displaying users participating in a communication session
USD992562S1 (en) * 2020-12-23 2023-07-18 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD965004S1 (en) 2021-01-11 2022-09-27 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US11477325B2 (en) 2021-01-28 2022-10-18 Zoom Video Communications, Inc. Elevating a telephone call to a virtual meeting
US11431891B2 (en) 2021-01-31 2022-08-30 Apple Inc. User interfaces for wide angle video conference
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
CN113031839B (zh) * 2021-02-22 2022-08-16 北京字节跳动网络技术有限公司 视频通话中的图像处理方法、装置、设备和介质
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities
JP7082224B1 (ja) * 2021-03-02 2022-06-07 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法
US11516517B2 (en) 2021-03-19 2022-11-29 Sm Tamjid Localized dynamic video streaming system
USD978179S1 (en) * 2021-03-31 2023-02-14 453I Display screen or portion thereof with a graphical user interface for a digital card
US20220337782A1 (en) 2021-04-16 2022-10-20 Hyperconnect, Inc. Methods, Systems, and Computer Program Products for Providing Video Call Service
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11449188B1 (en) 2021-05-15 2022-09-20 Apple Inc. Shared-content session user interfaces
US11893214B2 (en) 2021-05-15 2024-02-06 Apple Inc. Real-time communication user interface
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
US11847378B2 (en) 2021-06-06 2023-12-19 Apple Inc. User interfaces for audio routing
WO2022260654A1 (en) * 2021-06-08 2022-12-15 Hewlett-Packard Development Company, L.P. Video conference images
US11330145B1 (en) 2021-06-10 2022-05-10 Bank Of America Corporation Image processing edge device for document noise removal
US20230045610A1 (en) * 2021-08-03 2023-02-09 Dell Products, L.P. Eye contact correction in a communication or collaboration session using a platform framework
US11516434B1 (en) * 2021-08-26 2022-11-29 Motorola Mobility Llc Routing visual content from different camera systems to different applications during video call
KR102482924B1 (ko) * 2021-08-26 2022-12-29 주식회사 모노랩스 리펄시브 포스를 통한 얼굴 중심 비대면 커뮤니케이션 시스템
US11812135B2 (en) 2021-09-24 2023-11-07 Apple Inc. Wide angle video conference
JP2023058322A (ja) * 2021-10-13 2023-04-25 キヤノン株式会社 映像処理装置及びその制御方法及びプログラム
WO2023122820A1 (pt) * 2021-12-27 2023-07-06 Rosan Ismael Smartphone estereoscópico 3d
US11838332B2 (en) 2022-01-10 2023-12-05 Motorola Mobility Llc Context based automatic camera selection in a communication device
US11722767B2 (en) * 2022-01-10 2023-08-08 Motorola Mobility Llc Automatic camera selection in a communication device
TWI802258B (zh) * 2022-02-07 2023-05-11 明基電通股份有限公司 視訊會議系統
WO2023196231A1 (en) * 2022-04-04 2023-10-12 Apple Inc. User interfaces for camera sharing
CN114531554B (zh) * 2022-04-24 2022-08-16 浙江华眼视觉科技有限公司 一种快件码识别机的视频融合合成方法及装置
US11842028B2 (en) 2022-05-06 2023-12-12 Apple Inc. Devices, methods, and graphical user interfaces for updating a session region
EP4273677A1 (en) 2022-05-06 2023-11-08 Apple Inc. Devices, methods, and graphical user interfaces for updating a session region
US20230377281A1 (en) * 2022-05-23 2023-11-23 Snap Inc. Creating augmented content items
WO2023235519A1 (en) * 2022-06-03 2023-12-07 Datasya Ltd. Interactive multimedia collaboration platform with remote-controlled camera and annotation
JP7208689B1 (ja) 2022-06-29 2023-01-19 テレポート株式会社 情報処理プログラム
KR20240016784A (ko) * 2022-07-29 2024-02-06 삼성전자주식회사 화상통화 서비스를 제공가능한 전자 장치 및 그 제어방법
US20240089435A1 (en) * 2022-09-13 2024-03-14 Google Llc Setting a Maximum Quantization Parameter for Encoding a Video Frame
US11949923B1 (en) * 2022-12-19 2024-04-02 Adobe Inc. Trigger based digital content caching

Family Cites Families (198)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US102663A (en) * 1870-05-03 Jonathan dillen
US1279477A (en) 1918-01-10 1918-09-17 Frederick Stellar Insect gathering and destroying machine.
US4809069A (en) 1988-03-10 1989-02-28 North American Philips Corporation Multifunction memory for digital television
EP0447212B1 (en) 1990-03-15 1994-12-28 Canon Kabushiki Kaisha Voice and video communication apparatus
US5371534A (en) 1992-07-23 1994-12-06 At&T Corp. ISDN-based system for making a video call
JPH06113297A (ja) * 1992-09-25 1994-04-22 A W New Hard:Kk テレビ電話のモニタ装置
US5717857A (en) 1993-03-19 1998-02-10 Ncr Corporation System for switching data connection to use first channel and second channel without substantial interruption of transfer of audio signals and image data between computers
JPH06276335A (ja) * 1993-03-22 1994-09-30 Sony Corp データ処理装置
JP3039186B2 (ja) 1993-03-23 2000-05-08 日本電気株式会社 テレビ会議画像制御方式
USRE43462E1 (en) * 1993-04-21 2012-06-12 Kinya (Ken) Washino Video monitoring and conferencing system
JPH07135594A (ja) 1993-11-11 1995-05-23 Canon Inc 撮像制御装置
US5896128A (en) 1995-05-03 1999-04-20 Bell Communications Research, Inc. System and method for associating multimedia objects for use in a video conferencing system
US6356555B1 (en) 1995-08-25 2002-03-12 Terayon Communications Systems, Inc. Apparatus and method for digital data transmission using orthogonal codes
KR970031883A (ko) 1995-11-28 1997-06-26 배순훈 터치스크린을 이용한 tv 화면제어방법
JPH09247655A (ja) * 1996-03-01 1997-09-19 Tokyu Constr Co Ltd リモート制御システム
KR100281526B1 (ko) 1996-07-08 2001-02-15 윤종용 음성/화상 전화 모드 전환기능을 갖는 화상 전화 시스템 및 그 전환방법
CA2251750C (en) 1997-03-03 2004-06-01 Kabushiki Kaisha Toshiba Communication terminal apparatus
DE19804564A1 (de) 1998-02-05 1999-08-12 Fraunhofer Ges Forschung Kommunikationsnetz, Verfahren zum Übertragen eines Signals, Netzverbindungseinheit und Verfahren zum Anpassen der Datenrate eines skalierten Datenstroms
US6346962B1 (en) * 1998-02-27 2002-02-12 International Business Machines Corporation Control of video conferencing system with pointing device
JP3475809B2 (ja) 1998-10-14 2003-12-10 株式会社デンソー 携帯型テレビ無線電話
US6025871A (en) 1998-12-31 2000-02-15 Intel Corporation User interface for a video conferencing system
US6760482B1 (en) 1999-02-19 2004-07-06 Unisearch Limited Method for visual optimisation of embedded block codes to exploit visual masking phenomena
JP2001054084A (ja) 1999-08-09 2001-02-23 Matsushita Electric Ind Co Ltd テレビ電話装置
FI109742B (fi) 1999-10-26 2002-09-30 Nokia Corp Matkaviestin
JP3546784B2 (ja) * 1999-12-14 2004-07-28 日本電気株式会社 携帯端末
US6473631B1 (en) 1999-12-20 2002-10-29 Motorola, Inc. Video swivel phone
GB2370188A (en) * 2000-11-01 2002-06-19 Orange Personal Comm Serv Ltd Mixed-media telecommunication call set-up
KR100358166B1 (ko) 2000-12-19 2002-10-25 주식회사 팬택앤큐리텔 화상 휴대폰 장치
US20020093531A1 (en) * 2001-01-17 2002-07-18 John Barile Adaptive display for video conferences
JP2002251365A (ja) 2001-02-21 2002-09-06 Square Co Ltd 電子会議システム、そのクライアント、電子会議方法およびクライアント用プログラム
US6833874B2 (en) 2001-03-27 2004-12-21 Sony Corporation Ticker tape picture-in-picture system
JP2002320140A (ja) * 2001-04-20 2002-10-31 Sony Corp 画像切り換え装置
JP2002351802A (ja) * 2001-05-24 2002-12-06 Cresys:Kk 電子メールを用いたデータ配信方法及びデータ配信システム
US20030158886A1 (en) 2001-10-09 2003-08-21 Walls Jeffrey J. System and method for configuring a plurality of computers that collectively render a display
KR100408525B1 (ko) 2001-10-31 2003-12-06 삼성전자주식회사 네트워크에 적응적인 실시간 멀티미디어 스트리밍 시스템및 방법
US7317685B1 (en) * 2001-11-26 2008-01-08 Polycom, Inc. System and method for dynamic bandwidth allocation for videoconferencing in lossy packet switched networks
JP2003189168A (ja) 2001-12-21 2003-07-04 Nec Corp 携帯電話用カメラ
JP4289153B2 (ja) * 2002-03-08 2009-07-01 三菱電機株式会社 移動体通信装置、移動体通信装置の表示制御方法、並びに、そのプログラム
JP4203246B2 (ja) * 2002-03-14 2008-12-24 京セラ株式会社 携帯通信装置
JP4208476B2 (ja) * 2002-03-29 2009-01-14 キヤノン株式会社 情報配信装置、情報配信方法、プログラム及びコンピュータ読み取り可能な記録媒体
JP4061473B2 (ja) 2002-04-26 2008-03-19 日本電気株式会社 折り畳み型携帯電話機
US7256833B2 (en) 2002-05-22 2007-08-14 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Method and apparatus for automatically optimizing optical contrast in automated equipment
JP4066714B2 (ja) * 2002-05-23 2008-03-26 ソニー株式会社 画像信号の処理装置および処理方法
KR100472470B1 (ko) 2002-08-19 2005-03-10 삼성전자주식회사 부분화면과 전체화면을 동시에 스케일링하는 장치 및 방법
JP3542587B2 (ja) * 2002-08-30 2004-07-14 キヤノン株式会社 カメラ制御装置
US6879828B2 (en) 2002-09-09 2005-04-12 Nokia Corporation Unbroken primary connection switching between communications services
US6850541B2 (en) * 2002-09-30 2005-02-01 Intel Corporation Technique to measure network path bandwidth capacity using modal analysis
JP2004165943A (ja) 2002-11-13 2004-06-10 Fujitsu Ltd 携帯電子機器及びその撮影方法
JP2004166159A (ja) 2002-11-15 2004-06-10 Nec Saitama Ltd カメラ付き携帯電話装置
JP2004193860A (ja) * 2002-12-10 2004-07-08 Canon Inc 電子機器
JP2004221738A (ja) * 2003-01-10 2004-08-05 Matsushita Electric Ind Co Ltd テレビ電話装置及びテレビ電話制御方法
TW200424767A (en) 2003-02-20 2004-11-16 Tokyo Ohka Kogyo Co Ltd Immersion exposure process-use resist protection film forming material, composite film, and resist pattern forming method
JP4053444B2 (ja) 2003-03-07 2008-02-27 シャープ株式会社 携帯可能な多機能電子機器
US7321384B1 (en) 2003-06-03 2008-01-22 Cisco Technology, Inc. Method and apparatus for using far end camera control (FECC) messages to implement participant and layout selection in a multipoint videoconference
KR101130413B1 (ko) 2003-06-19 2012-03-27 소니 에릭슨 모빌 커뮤니케이션즈 에이비 미디어 스트림 믹싱
JP4380252B2 (ja) 2003-07-22 2009-12-09 ソニー株式会社 撮像装置および撮像方法
GB2404297B (en) 2003-07-24 2007-12-05 Hewlett Packard Development Co Editing multiple camera outputs
GB0321083D0 (en) 2003-09-09 2003-10-08 British Telecomm Video communications method and system
US7603594B2 (en) 2003-11-19 2009-10-13 National Institute Of Information And Communications Technology, Incorporated Administrative Agency Wireless communications system
JP4191016B2 (ja) 2003-11-21 2008-12-03 日本電気株式会社 電話端末の通話モード切替方式
KR100595619B1 (ko) * 2003-12-05 2006-06-30 엘지전자 주식회사 이동 통신 단말기의 화상 통화 방법
KR100677303B1 (ko) 2003-12-26 2007-02-05 엘지전자 주식회사 휴대 단말기
DE102004004806B4 (de) 2004-01-30 2012-04-19 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Elektronische Laufbildkamera
JP4478868B2 (ja) * 2004-03-09 2010-06-09 ソニー株式会社 画像表示装置および画像表示方法
KR100550567B1 (ko) 2004-03-22 2006-02-10 엘지전자 주식회사 무선 네트워크망을 통해 통신하는 서버 시스템 및 그동작방법
JP2005286445A (ja) * 2004-03-29 2005-10-13 Mitsubishi Electric Corp 画像伝送端末、画像伝送端末システム及び端末画像伝送方法
EP1603339A1 (en) 2004-06-01 2005-12-07 STMicroelectronics S.r.l. Method and system for communicating video data in a packet-switched network, related network and computer program product therefor
US8406293B2 (en) * 2004-06-27 2013-03-26 Apple Inc. Multi-pass video encoding based on different quantization parameters
US8005139B2 (en) * 2004-06-27 2011-08-23 Apple Inc. Encoding with visual masking
FI117843B (fi) 2004-08-02 2007-03-15 Nokia Corp Elektroninen laite ja menetelmä elektronisessa laitteessa kuvainformaation muodostamiseksi ja vastaava ohjelmatuote
KR101067774B1 (ko) 2004-09-03 2011-09-28 엘지전자 주식회사 방송 수신기 및 그의 튜너 제어 방법
US7381952B2 (en) 2004-09-09 2008-06-03 Flir Systems, Inc. Multiple camera systems and methods
FI116749B (fi) * 2004-09-14 2006-02-15 Nokia Corp Kameraelementtejä käsittävä laite
KR20060031959A (ko) * 2004-10-11 2006-04-14 가온미디어 주식회사 디지털 방송 수신기에 채널 전환 방법
JP4046721B2 (ja) 2004-11-05 2008-02-13 株式会社アイチコーポレーション 作業用車両の充電装置
JP4592551B2 (ja) * 2004-11-10 2010-12-01 シャープ株式会社 通信装置
US7430238B2 (en) 2004-12-10 2008-09-30 Micronas Usa, Inc. Shared pipeline architecture for motion vector prediction and residual decoding
CN101091395A (zh) 2004-12-23 2007-12-19 诺基亚公司 用于电子设备的多照相机解决方案
JP4586534B2 (ja) 2004-12-28 2010-11-24 セイコーエプソン株式会社 撮像装置、手ブレ補正装置、携帯電話機および手ブレ補正方法
JP4770178B2 (ja) 2005-01-17 2011-09-14 ソニー株式会社 カメラ制御装置、カメラシステム、電子会議システムおよびカメラ制御方法
JP2006222822A (ja) 2005-02-14 2006-08-24 Hitachi Ltd ハンドオーバシステム
JP2006245732A (ja) 2005-03-01 2006-09-14 Matsushita Electric Ind Co Ltd パケットバッファ装置、パケット中継転送装置およびネットワークシステム
JP2006246019A (ja) * 2005-03-03 2006-09-14 Canon Inc マルチ画面表示におけるリモコン制御方式
US8977063B2 (en) 2005-03-09 2015-03-10 Qualcomm Incorporated Region-of-interest extraction for video telephony
JP4365800B2 (ja) * 2005-03-14 2009-11-18 パナソニック株式会社 携帯端末装置及び表示切替方法
US20060248210A1 (en) * 2005-05-02 2006-11-02 Lifesize Communications, Inc. Controlling video display mode in a video conferencing system
TW200743385A (en) 2006-05-05 2007-11-16 Amtran Technology Co Ltd Method of audio-visual communication using television and television using the same
KR100703454B1 (ko) * 2005-05-11 2007-04-03 삼성전자주식회사 다양한 화면 방식을 제공하는 휴대단말기
JP2006319742A (ja) * 2005-05-13 2006-11-24 Toshiba Corp 通信端末
US7768548B2 (en) 2005-08-12 2010-08-03 William Bradford Silvernail Mobile digital video recording system
JP4781065B2 (ja) * 2005-09-20 2011-09-28 キヤノン株式会社 撮像装置
US7724284B2 (en) 2005-09-29 2010-05-25 Aptina Imaging Corporation Multi-camera system and method having a common processing block
US7885681B2 (en) * 2005-10-07 2011-02-08 Agere Systems Inc. Method of using mobile communications devices for monitoring purposes and a system for implementation thereof
US7728866B2 (en) * 2005-11-03 2010-06-01 Broadcom Corp. Video telephony image processing
US7697024B2 (en) 2005-11-03 2010-04-13 Broadcom Corp. Method and system of tracking and stabilizing an image transmitted using video telephony
JP5007782B2 (ja) 2005-11-17 2012-08-22 株式会社デンソー ナビゲーション装置および地図表示縮尺設定方法
US7876996B1 (en) * 2005-12-15 2011-01-25 Nvidia Corporation Method and system for time-shifting video
US20070147827A1 (en) 2005-12-28 2007-06-28 Arnold Sheynman Methods and apparatus for wireless stereo video streaming
JP2007201727A (ja) * 2006-01-25 2007-08-09 Nec Saitama Ltd テレビ電話機能付き携帯電話機
US8593502B2 (en) * 2006-01-26 2013-11-26 Polycom, Inc. Controlling videoconference with touch screen interface
US8872879B2 (en) * 2006-01-26 2014-10-28 Polycom, Inc. System and method for controlling videoconference with touch screen interface
US20070177025A1 (en) 2006-02-01 2007-08-02 Micron Technology, Inc. Method and apparatus minimizing die area and module size for a dual-camera mobile device
JP4916749B2 (ja) 2006-03-30 2012-04-18 京セラ株式会社 テレビ電話システム及びテレビ電話端末装置並びにテレビ電話画像表示方法
US8000747B2 (en) * 2006-04-03 2011-08-16 Research In Motion Limited Communications device and method for associating contact names with contact methods
TW200743365A (en) 2006-05-05 2007-11-16 Univ Nat Central Method of de-interlace processing by edge detection
KR20070111270A (ko) 2006-05-17 2007-11-21 삼성전자주식회사 다자간 화상통화 중 음성인식을 활용한 화면 디스플레이방법
JP2007312039A (ja) 2006-05-17 2007-11-29 Nec Saitama Ltd Ｔｖ電話機能付き携帯端末
US8004555B2 (en) 2006-05-31 2011-08-23 Motorola Mobility, Inc. Methods and devices for simultaneous dual camera video telephony
US9030968B2 (en) * 2006-06-16 2015-05-12 Alcatel Lucent System and method for processing a conference session through a communication channel
US7626612B2 (en) 2006-06-30 2009-12-01 Motorola, Inc. Methods and devices for video correction of still camera motion
KR100784971B1 (ko) 2006-07-06 2007-12-11 삼성전자주식회사 휴대 단말기 간 원격 제어 시스템과 이를 이용한업그레이드 시스템 및 방법
US20080033527A1 (en) 2006-07-07 2008-02-07 Anthony Nunez Methods and systems for monitoring an endoprosthetic implant
KR101139454B1 (ko) * 2006-07-14 2012-04-30 엘지전자 주식회사 이동통신 단말기 및 그 동작방법
US8189100B2 (en) 2006-07-25 2012-05-29 Qualcomm Incorporated Mobile device with dual digital camera sensors and methods of using the same
US20080034096A1 (en) 2006-08-01 2008-02-07 Ati Technologies Inc. Method and Apparatus for Transferring Multimedia Signals from a Handheld Device to a Computer System for Display
US8509786B2 (en) * 2006-08-04 2013-08-13 At&T Intellectual Property I, L.P. Systems and methods for handling calls in a wireless enabled PBX system using mobile switching protocols
KR20080014329A (ko) 2006-08-10 2008-02-14 삼성전자주식회사 영상표시장치 및 그 제어방법과 프로그램이 기록된 기록매체
TWI321016B (en) * 2006-08-30 2010-02-21 Vibo Telecom Inc Method for transferring video data and proxy server using the same
US8165635B2 (en) 2006-09-01 2012-04-24 Vivotech, Inc. Methods, systems, and computer readable media for over the air (OTA) provisioning of soft cards on devices with wireless communications capabilities
JP4245020B2 (ja) 2006-09-04 2009-03-25 ソニー株式会社 マトリックススイッチャ装置及びマトリックススイッチャ装置の制御方法
US20080063389A1 (en) 2006-09-13 2008-03-13 General Instrument Corporation Tracking a Focus Point by a Remote Camera
US7965309B2 (en) * 2006-09-15 2011-06-21 Quickwolf Technology, Inc. Bedside video communication system
KR100817315B1 (ko) * 2006-09-25 2008-03-27 삼성전자주식회사 터치 스크린을 갖는 디지털 방송 수신용 휴대 단말기 및그의 ｐｉｐ 화면 제어 방법
US20080080142A1 (en) 2006-09-28 2008-04-03 Mediatek Inc. Electronic devices with enhanced heat spreading
US20080084482A1 (en) 2006-10-04 2008-04-10 Sony Ericsson Mobile Communications Ab Image-capturing system and method
US7899489B2 (en) 2006-10-30 2011-03-01 Kyocera Corporation Wireless communication device and wireless communication method
JP4781980B2 (ja) 2006-11-29 2011-09-28 京セラ株式会社 無線通信装置および無線通信方法
KR100836616B1 (ko) * 2006-11-14 2008-06-10 (주)케이티에프테크놀로지스 영상 합성 기능을 가지는 휴대용 단말기 및 휴대용단말기의 영상 합성 방법
CN101191878A (zh) 2006-11-28 2008-06-04 鸿富锦精密工业（深圳）有限公司 立体取像相机模组及电子装置
US20080129816A1 (en) * 2006-11-30 2008-06-05 Quickwolf Technology, Inc. Childcare video conferencing system and method
US7646972B2 (en) 2006-12-08 2010-01-12 Sony Ericsson Mobile Communications Ab Method and apparatus for capturing multiple images at different image foci
US20080165388A1 (en) * 2007-01-04 2008-07-10 Bertrand Serlet Automatic Content Creation and Processing
US7978239B2 (en) 2007-03-01 2011-07-12 Eastman Kodak Company Digital camera using multiple image sensors to provide improved temporal sampling
US7859588B2 (en) 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
US20080239061A1 (en) 2007-03-30 2008-10-02 Cok Ronald S First portable communication device
KR101390103B1 (ko) 2007-04-03 2014-04-28 엘지전자 주식회사 영상제어방법 및 이동단말기
KR101328950B1 (ko) 2007-04-24 2013-11-13 엘지전자 주식회사 화상 디스플레이 방법 및 이를 구현할 수 있는 화상통신용단말기
KR101460712B1 (ko) * 2007-04-26 2014-11-12 엘지전자 주식회사 이동통신 단말기 및 그 제어방법
JP4782074B2 (ja) * 2007-05-18 2011-09-28 シャープ株式会社 携帯端末、制御方法、制御プログラム、および記憶媒体
US8542266B2 (en) 2007-05-21 2013-09-24 Polycom, Inc. Method and system for adapting a CP layout according to interaction between conferees
US8154578B2 (en) 2007-05-31 2012-04-10 Eastman Kodak Company Multi-camera residential communication system
US20080303922A1 (en) * 2007-06-08 2008-12-11 Imran Chaudhri Image capture
US20080316295A1 (en) * 2007-06-22 2008-12-25 King Keith C Virtual decoders
US7817187B2 (en) 2007-06-27 2010-10-19 Aptina Imaging Corporation Image blur correction using a secondary camera
US9954996B2 (en) * 2007-06-28 2018-04-24 Apple Inc. Portable electronic device with conversation management for incoming instant messages
KR100893206B1 (ko) * 2007-07-02 2009-04-16 주식회사 케이티프리텔 다자간 영상통화 중 화자 추가 서비스 제공 방법 및 장치
KR20090004176A (ko) * 2007-07-06 2009-01-12 주식회사 엘지텔레콤 카메라 모듈을 구비한 이동통신단말기 및 그 영상표시방법
KR101378880B1 (ko) 2007-07-13 2014-03-28 엘지전자 주식회사 카메라를 구비한 휴대 단말기
JP5031476B2 (ja) 2007-08-02 2012-09-19 キヤノン株式会社 ズームレンズ及びそれを有する撮像装置
US8095932B2 (en) 2007-08-14 2012-01-10 Intel Corporation Providing quality of service via thread priority in a hyper-threaded microprocessor
US20090047995A1 (en) 2007-08-15 2009-02-19 Sony Ericsson Mobile Communications Ab Portable communication device having a dual camera module with a common image sensor element
KR101403785B1 (ko) * 2007-08-16 2014-06-03 엘지전자 주식회사 터치 스크린을 구비한 이동통신 단말기 및 그 영상 통화제어방법
KR101403839B1 (ko) * 2007-08-16 2014-06-03 엘지전자 주식회사 터치 스크린을 구비한 이동통신 단말기 및 그 디스플레이제어방법
KR101417002B1 (ko) * 2007-08-29 2014-07-08 엘지전자 주식회사 다자 영상 통화 기능을 제공하는 이동 통신 단말기 및 다자영상 통화의 모드 전환 방법
US8046033B2 (en) 2007-09-17 2011-10-25 Lg Electronics Inc. Mobile terminal
KR101334015B1 (ko) 2007-10-09 2013-11-28 주식회사 케이티 다자간 화상 통화시 화자 구분 기능을 구비한 휴대용단말기 및 다자간 화상 통화시 화자 구분 방법
KR101433157B1 (ko) * 2007-10-26 2014-08-22 삼성전자주식회사 휴대 단말기 및 그 이미지 전송 방법
KR101356167B1 (ko) 2007-11-02 2014-01-24 엘지전자 주식회사 휴대 단말기
JP2008125105A (ja) * 2007-12-14 2008-05-29 Nec Corp 通信端末装置、テレビ電話制御方法及びテレビ電話制御プログラム
JP4926034B2 (ja) * 2007-12-26 2012-05-09 京セラ株式会社 複合端末および表示制御プログラム
US8040382B2 (en) 2008-01-07 2011-10-18 Dp Technologies, Inc. Method and apparatus for improving photo image quality
JP4636139B2 (ja) 2008-01-11 2011-02-23 ソニー株式会社 テレビ会議端末装置、画像送信方法
US8259157B2 (en) 2008-01-11 2012-09-04 Sony Corporation Teleconference terminal apparatus and image transmitting method
JP2009189075A (ja) 2008-02-01 2009-08-20 Denso Corp 通信システム
US8205157B2 (en) * 2008-03-04 2012-06-19 Apple Inc. Methods and graphical user interfaces for conducting searches on a portable multifunction device
KR101012300B1 (ko) * 2008-03-07 2011-02-08 삼성전자주식회사 터치스크린을 구비한 휴대 단말기의 사용자 인터페이스장치 및 그 방법
EP2258085A1 (en) * 2008-03-10 2010-12-08 Dilithium Holdings, Inc. Method and apparatus for video services
JP5058042B2 (ja) * 2008-03-24 2012-10-24 シャープ株式会社 画像通信システムおよび画像通信方法
US8363019B2 (en) 2008-05-26 2013-01-29 Lg Electronics Inc. Mobile terminal using proximity sensor and method of controlling the mobile terminal
KR101442112B1 (ko) 2008-05-26 2014-09-18 엘지전자 주식회사 근접센서를 이용하여 동작 제어가 가능한 휴대 단말기 및그 제어방법
US8305899B2 (en) * 2008-05-28 2012-11-06 Microsoft Corporation Pull-based data transmission approach
CN101291379A (zh) 2008-06-05 2008-10-22 中兴通讯股份有限公司 移动终端及其可视电话实现方法
US8548428B2 (en) * 2009-01-28 2013-10-01 Headwater Partners I Llc Device group partitions and settlement platform
US20110102354A1 (en) 2008-06-30 2011-05-05 Tetsuya Fuyuno Information processing device, display control method, and recording medium
JP4561888B2 (ja) 2008-07-01 2010-10-13 ソニー株式会社 情報処理装置、及び情報処理装置における振動制御方法
KR20100007625A (ko) 2008-07-14 2010-01-22 엘지전자 주식회사 이동 단말기 및 그 메뉴 표시 방법
JP5217724B2 (ja) 2008-07-22 2013-06-19 ブラザー工業株式会社 サーバ
NO333026B1 (no) * 2008-09-17 2013-02-18 Cisco Systems Int Sarl Styringssystem for et lokalt telepresencevideokonferansesystem og fremgangsmate for a etablere en videokonferansesamtale.
US20100087230A1 (en) * 2008-09-25 2010-04-08 Garmin Ltd. Mobile communication device user interface
JP5410720B2 (ja) 2008-09-25 2014-02-05 日立コンシューマエレクトロニクス株式会社 ディジタル情報信号送受信装置、およびディジタル情報信号送受信方法
JP4577531B2 (ja) 2008-10-28 2010-11-10 日本電気株式会社 認証サーバ、通信システム、接続装置割り当て方法およびプログラム
US20100118111A1 (en) * 2008-11-10 2010-05-13 Nokia Corporation Method and apparatus for remote camera control indications in video conferencing
US20100138797A1 (en) * 2008-12-01 2010-06-03 Sony Ericsson Mobile Communications Ab Portable electronic device with split vision content sharing control and method
US8738696B2 (en) * 2009-01-29 2014-05-27 At&T Mobility Ii Llc Single subscription management for multiple devices
CN101521696B (zh) 2009-04-08 2011-06-22 候万春 一种能够选择与切换前后摄像头的移动电话终端
GB2518542B (en) * 2009-04-14 2015-07-08 Skype Transmitting and receiving data
US20100309284A1 (en) * 2009-06-04 2010-12-09 Ramin Samadani Systems and methods for dynamically displaying participant activity during video conferencing
EP2285068B1 (en) * 2009-08-07 2014-06-25 BlackBerry Limited Method, mobile device and computer readable medium for mobile telepresence
KR101617289B1 (ko) 2009-09-30 2016-05-02 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US8457604B2 (en) 2009-11-17 2013-06-04 Hewlett-Packard Development Company, L.P. Apparatus and method for sharing content on a mobile device
US8320364B2 (en) * 2009-12-15 2012-11-27 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Control of bit-rate and packet duplication in a real-time media stream
US8451312B2 (en) 2010-01-06 2013-05-28 Apple Inc. Automatic video stream selection
US8649297B2 (en) * 2010-03-26 2014-02-11 Cisco Technology, Inc. System and method for simplifying secure network setup
US20110242355A1 (en) * 2010-04-05 2011-10-06 Qualcomm Incorporated Combining data from multiple image sensors
US8704863B2 (en) * 2010-04-07 2014-04-22 Apple Inc. Transitioning between circuit switched calls and video calls
AU2015201127B2 (en) 2010-04-07 2017-02-23 Apple Inc. Establishing a video conference during a phone call
US8917632B2 (en) 2010-04-07 2014-12-23 Apple Inc. Different rate controller configurations for different cameras of a mobile device
CN102010622B (zh) 2010-10-27 2013-02-27 吴传仪 防腐耐磨材料及其无积灰防腐耐磨粉体输送管道

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11451694B1 (en) 2021-03-16 2022-09-20 International Business Machines Corporation Mitigation of obstacles while capturing media content

Also Published As

Publication number Publication date
KR20140063646A (ko) 2014-05-27
US8941706B2 (en) 2015-01-27
JP2013524684A (ja) 2013-06-17
JP7194243B2 (ja) 2022-12-21
KR20200138841A (ko) 2020-12-10
US20110249086A1 (en) 2011-10-13
JP2023036677A (ja) 2023-03-14
TWI462566B (zh) 2014-11-21
US11025861B2 (en) 2021-06-01
KR102052296B1 (ko) 2019-12-04
KR20130010003A (ko) 2013-01-24
HK1162797A1 (zh) 2012-08-31
EP2556665A1 (en) 2013-02-13
TWI439133B (zh) 2014-05-21
US20110249075A1 (en) 2011-10-13
US9787938B2 (en) 2017-10-10
US20230262196A1 (en) 2023-08-17
KR20150038707A (ko) 2015-04-08
US8744420B2 (en) 2014-06-03
MX2020003290A (es) 2020-09-07
KR101491428B1 (ko) 2015-02-06
KR102189345B1 (ko) 2020-12-11
EP2556665B1 (en) 2018-08-15
US9264659B2 (en) 2016-02-16
TW201143434A (en) 2011-12-01
AU2010350749A1 (en) 2012-11-08
JP2017005736A (ja) 2017-01-05
MX342799B (es) 2016-10-13
BR112012025746A2 (pt) 2016-06-28
US8502856B2 (en) 2013-08-06
KR20170016032A (ko) 2017-02-10
KR20140138327A (ko) 2014-12-03
MX2012011623A (es) 2012-11-30
US20110249077A1 (en) 2011-10-13
JP2018191307A (ja) 2018-11-29
US20110249073A1 (en) 2011-10-13
BR112012025746B1 (pt) 2021-09-28
KR101627818B1 (ko) 2016-06-08
US20150103135A1 (en) 2015-04-16
JP6367272B2 (ja) 2018-08-01
KR102079850B1 (ko) 2020-02-20
TWI499271B (zh) 2015-09-01
US10462420B2 (en) 2019-10-29
JP2015057894A (ja) 2015-03-26
WO2011126511A8 (en) 2012-11-22
JP6335094B2 (ja) 2018-05-30
US8874090B2 (en) 2014-10-28
JP2020017995A (ja) 2020-01-30
KR101564868B1 (ko) 2015-10-30
WO2011126511A1 (en) 2011-10-13
US20110249074A1 (en) 2011-10-13
EP3425624A1 (en) 2019-01-09
US9055185B2 (en) 2015-06-09
KR20230028583A (ko) 2023-02-28
JP2022008507A (ja) 2022-01-13
US20110249076A1 (en) 2011-10-13
CN104270597A (zh) 2015-01-07
KR20180137616A (ko) 2018-12-27
KR20200013268A (ko) 2020-02-06
EP3425624B1 (en) 2020-09-09
US20210360192A1 (en) 2021-11-18
US20200059628A1 (en) 2020-02-20
US20110249078A1 (en) 2011-10-13
HK1162796A1 (zh) 2012-08-31
AU2010350749B2 (en) 2014-12-04
JP6949917B2 (ja) 2021-10-13
WO2011126511A4 (en) 2011-12-08
KR20160075779A (ko) 2016-06-29
US8451994B2 (en) 2013-05-28
TW201143349A (en) 2011-12-01
KR102660942B1 (ko) 2024-04-26
TW201143348A (en) 2011-12-01
US8917632B2 (en) 2014-12-23
US20180160072A1 (en) 2018-06-07
KR101438988B1 (ko) 2014-10-22
TW201136292A (en) 2011-10-16
US20140354759A1 (en) 2014-12-04
US20130265378A1 (en) 2013-10-10
CN104270597B (zh) 2018-07-24
KR20220029789A (ko) 2022-03-08

Similar Documents

Publication Publication Date Title
TWI547136B (zh) 於電話呼叫期間建立視訊會議
AU2015201127B2 (en) Establishing a video conference during a phone call
KR20240058968A (ko) 전화 통화 중의 화상 회의 설정