TWI499271B - 行動裝置之非暫時的電腦可讀取的媒體以及界定電腦程式的方法 - Google Patents

行動裝置之非暫時的電腦可讀取的媒體以及界定電腦程式的方法 Download PDF

Info

Publication number
TWI499271B
TWI499271B TW099132260A TW99132260A TWI499271B TW I499271 B TWI499271 B TW I499271B TW 099132260 A TW099132260 A TW 099132260A TW 99132260 A TW99132260 A TW 99132260A TW I499271 B TWI499271 B TW I499271B
Authority
TW
Taiwan
Prior art keywords
video
camera
mobile device
image
module
Prior art date
Application number
TW099132260A
Other languages
English (en)
Other versions
TW201143349A (en
Inventor
Joe S Abuan
James O Normile
Hsi-Jung Wu
Haitao Guo
Douglas S Price
Xiaosong Zhou
Dazhong Zhang
Berkat S Tung
Garcia, Jr
Hyeonkuk Jeong
Yan Yang
David A Eldred
Elizabeth C Cranfill
Andrew Yanowitz
Ting Chen
David D Kuo
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of TW201143349A publication Critical patent/TW201143349A/zh
Application granted granted Critical
Publication of TWI499271B publication Critical patent/TWI499271B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/155Conference systems involving storage of or access to video conference sessions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026Details of the structure or mounting of specific components
    • H04M1/0264Details of the structure or mounting of specific components for a camera module assembly
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026Details of the structure or mounting of specific components
    • H04M1/0266Details of the structure or mounting of specific components for a display module assembly
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/617Upgrading or updating of programs or applications for camera control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614Image rotation following screen orientation, e.g. switching from landscape to portrait mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)
  • Library & Information Science (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

行動裝置之非暫時的電腦可讀取的媒體以及界定電腦程式的方法
本發明係關於視訊會議中之遙控操作。
例如智慧型電話機等很多今日的可攜式裝置,提供視訊捕捉功能。可攜式裝置的使用者可以經由電話機上的相機來捕捉靜態影像及視訊。但是,在完成捕捉視訊之後,為了傳送捕捉到的視訊至另一方,使用者一般必須將視訊直接傳送至另一方或是將視訊上傳至另一位置(例如網際網路視訊主機網站)。不幸地,當可攜式裝置捕捉現場視訊串流時,這無法允許其它方觀看現場視訊串流。
此外,標準的可攜式裝置不僅配備有一相機,以及來自此一相機的處理資訊是難以足夠。理想的裝置是具有多個相機及送出來自至少二相機的視訊合成的現場視訊。以處理多個捕捉到的視訊串流的裝置及裝置所連接的處理現場視訊串流傳輸之網路的觀點而言,慮及可攜式裝置可利用的有限資源,這是特別困難的問題。
本發明的某些實施例提供設有二個可以拍照及錄影之相機的行動裝置。某些實施例的行動裝置具有顯示幕,用於顯示捕捉到的相片影像及視訊影像。其也包含儲存器,用於儲存捕捉到的影像以便以後傳輸至另一裝置。裝置又具有網路介面,在使用者裝置之間的即時通訊對話期間,允許裝置傳送捕捉到的影像至一或更多裝置。裝置也包含編碼器,用以將捕捉到的影像編碼以用於本地儲存或是傳送至另一裝置。行動裝置又包含解碼器,允許裝置將即時通訊對話期間另一裝置捕捉的影像解碼或將本地儲存的影像解碼。
即時通訊對話的一實施例是視訊會議,其涉及捕捉到的視訊影像的傳輸。在某些實施例中,在視訊會議期間的任何給定時間,行動裝置可以僅傳送一相機之捕捉的視訊影像。但是,在其它實施例中,在視訊會議或其它即時通訊對話期間,行動裝置可以將來自其二相機的捕捉的視訊影像同時地傳送。
在與另一裝置之視訊會議期間,某些實施例的行動裝置可以將其它型式的內容與其一或二相機捕捉到的視訊一起傳送。此其它內容的一實施例包含由裝置相機之一捕捉的低或高解析度相片影像,而裝置的另一相機正捕捉視訊會議中所使用的視訊。此其它內容的其它實施例包含(1)儲存於裝置上的檔案及其它內容、(2)裝置的螢幕顯示(亦即,顯示於裝置的螢幕上的內容)、(3)在視訊會議或其它即時通訊對話等期間自另一裝置接收的內容。
某些實施例的行動裝置採用新穎的會議中調整技術,以在視訊會議期間作調整。舉例而言,當在視訊會議期間僅傳送一相機的捕捉視訊時,某些實施例的行動裝置可以動態地切換至由其另一相機捕捉的視訊。在此情形中,某些實施例的行動裝置通知參與切換的視訊會議中的任何其它裝置,以致於此其它裝置可以在它這一端對二相機捕捉的視訊之間提供平順轉換。
在某些實施例中,切換相機的請求不僅可以源自視訊會議期間在「本地」裝置本身的複數個相機之間切換,也可以源自正接收本地裝置捕捉的視訊之其它「遠端」裝置。此外,允許一裝置指示另一裝置切換相機正是某些實施例的裝置的遙控能力。在某些實施例中可以被遠端地指示給裝置之其它操作的實施例包含曝光調整(例如自動曝光)、聚焦調整操作(例如自動聚焦)、等等。可以本地或遠端指定的新穎會議中調整之另一實施例是捕捉到的視訊中的感興趣的區域(ROI)之辨識,使用ROI辨識以修改捕捉相機的表現、修改設有捕捉相機的裝置之影像處理操作、或修改設有捕捉相機之裝置的編碼操作。
某些實施例的新穎會議中調整之又另一實施例涉及裝置產生的合成視訊顯示之即時修改。具體而言,在某些實施例中,行動裝置產生同時顯示一或更多裝置的多個相機捕捉的多個視訊之合成顯示。在某些情形中,合成顯示將視訊置於相鄰的顯示區中(例如,相鄰的視窗中)。在其它情形中,合成顯示是畫中畫(PIP)顯示,其包含至少二顯示區,所述至少二顯示區顯示二個不同的視訊,其中,這些顯示區之一是背景主顯示區,另一顯示區是與背景主顯示區重疊的前景嵌入顯示區。
在某些實施例中合成視訊顯示的即時修正涉及移動合成顯示內的顯示區之一或更多,以回應使用者選取及顯示區的移動。當提供此合成顯示的裝置之螢幕旋轉時,某些實施例也在視訊會議期間旋轉合成顯示。某些實施例的行動裝置也允許裝置的使用者替換PIP顯示中的視訊(亦即,當使背景主顯示中的視訊出現在前景嵌入顯示中時,使前景嵌入顯示中的視訊出現在背景主顯示中)。
前述發明內容是要作為本發明的某些實施例之簡介。並非本文獻中所有發明標的之介紹或總論。下述實施方式一節及實施方式中所參考的圖式將進一步說明發明內容一節中所述的實施例以及其它實施例。因此,要瞭解本文獻所述之所有發明,需要完全檢閱發明內容、實施方式及圖式。
在下述說明中,為了說明而揭示眾多細節。但是,習於此領域的一般技術者將瞭解,可以不使用這些具體細節而實施本發明。在其它情形中,為了不因不必要的細節而模糊本發明的說明,以方塊圖形式顯示熟知的結構及裝置。
本發明的某些實施例提供具有可以拍照及攝影的二相機的行動裝置。行動裝置的實施例包含行動電話、智慧型電話、個人數位助理(PDA)、膝上型電腦、平板個人電腦、或任何其它型式的行動電腦裝置。如同本實施例中所使用般,相片意指由相機以單相片模式一次一張拍攝的、或是以快動作模式一次數張拍攝的靜態相片影像。另一方面,視訊意指由相機依通常稱為框速率之特定速率捕捉的視訊影像序列。用於捕捉視訊的典型框速率是每秒25框(fps)、30fps、及60 fps。某些實施例的行動裝置的相機可以以這些及其它框速率來捕捉視訊影像(亦即,視訊框)。
某些實施例的行動裝置(1)可以顯示捕捉到的相片影像及視訊影像、(2)可以儲存捕捉的影像以用於往後傳輸至另一裝置、(3)在裝置的使用者之間的即時通訊對話期間傳送捕捉的影像至一或更多裝置、及(4)可以將捕捉的影像編碼以用於本地儲存或傳輸至另一裝置。
涉及捕捉的視訊影像之傳輸的即時通訊對話之一實施例是視訊會議。在某些實施例中,在視訊會議期間任何給定時間,行動裝置可以僅傳送一相機捕捉的視訊影像。但是,在其它實施例中,在視訊會議或其它即時通訊對話期間,行動裝置可以同時從其二相機傳送捕捉的視訊影像。
某些實施例的行動裝置產生合成顯示,合成顯示包含由一或更多裝置的多個相機捕捉的多個視訊之同時顯示。在某些情形中,合成顯示將視訊置於相鄰的顯示區中(例如,在相鄰的視窗中)。圖1顯示包含二相鄰的顯示區105和110之合成顯示100的一此實施例,此二顯示區105和110係同時顯示由一裝置的二相機捕捉的或是由視訊會議中二不同裝置的二相機捕捉的二視訊。
在其它情形中,合成顯示是PIP顯示,其包含顯示二不同視訊之至少二顯示區,其中,二顯示區之一是主顯示區,而另一顯示區是與背景主顯示區重疊的前景嵌入顯示區。圖2顯示合成PIP顯示200的一此實施例。此合成PIP顯示200包含背景主顯示區205以及與背景主顯示區重疊的前景嵌入顯示區210。二顯示區205和210同時地顯示由一裝置的二相機捕捉的二視訊、或由視訊會議中二不同裝置的二相機捕捉的二視訊。雖然本文獻中所示及說明之舉例說明的PIP顯示類似於顯示背景主顯示區205之內的整個前景嵌入顯示區210之合成PIP顯示200,但是其它合成PIP顯示是可能的,所述其它合成PIP顯示具有重疊背景主顯示區205但非完全在其內的前景嵌入顯示區210。
除了在與另一裝置的視訊會議期間傳送視訊內容之外,某些實施例的行動裝置可以將其它型式的內容伴隨會議的視訊內容一起傳送。此其它內容的一實施例包含由裝置的相機之一捕捉的低或高解析度相片影像,而裝置的另一相機正捕捉視訊會議中使用的視訊。此其它內容的其它實施例包含(1)儲存於裝置上的檔案及其它內容、(2)裝置的螢幕顯示(亦即,顯示於裝置的螢幕上的內容)、(3)在視訊會議或其它即時通訊對話期間從另一裝置接收的內容、等等。
某些實施例的行動裝置採用新穎的會議中調整技術,以在視訊會議期間執行調整。舉例而言,當在視訊會議期間僅傳送一相機的捕捉視訊時,某些實施例的行動裝置可以動態地切換至傳送它的另一相機捕捉之視訊。在此情形中,某些實施例的行動裝置通知參與此切換的視訊會議之任何其它裝置,以致於此其它裝置可以在它這一端對二相機捕捉的視訊之間提供平順轉換。
在某些實施例中,請求切換相機不僅可以由視訊會議期間在本身所有的相機之間切換之「本地」裝置發起,也可由正接收本地裝置所捕捉的視訊之其它「遠端」裝置發起。此外,允許一裝置指示另一裝置去切換相機正好為某些實施例的裝置之遠端控制能力之一實施例。在某些實施例中可以指示給遠端裝置的其它操作之實施例包含曝光調整操作(例如,自動曝光)、聚焦調整操作(例如,自動聚焦)、等等。可被本地或遠端指定的新穎的會議中調整之另一實施例是捕捉的視訊中感興趣的區域(ROI)之辨識,以及,使用此ROI辨識以修改捕捉相機的表現、修改設有捕捉相機之裝置的影像處理操作、或修改設有捕捉相機之裝置的編碼操作。
某些實施例的新穎的會議中調整之又另一實施例涉及裝置產生的合成視訊顯示之即時修改。具體而言,在某些實施例中,合成視訊顯示的即時修改涉及在合成顯示之內移動複數個顯示區之一或更多,以回應顯示區的使用者選取及移動。某些實施例當提供此合成顯示的裝置之螢幕旋轉時,在視訊會議期間也會旋轉合成顯示。某些實施例的行動裝置也允許裝置的使用者翻轉PIP顯示中的視訊次序(亦即,使前景嵌入顯示中的視訊出現在背景主顯示中,而使背景主顯示中的視訊出現在前景嵌入顯示中)。
於下,說明多個更詳細的實施例。第I節提供某些實施例的視訊處理架構之說明,然後,第二節說明某些實施例之捕捉影像處理單元。在某些實施例中,此單元是裝置的構件,負責處理裝置的相機所捕捉的原始影像。
接著,第III節說明某些實施例的視訊會議架構。此節也說明某些實施例的視訊會議模組、以及用於建立單一相機視訊會議之數個方式。第IV節接著說明某些實施例的會議中調整及控制操作。第V節接著說明某些實施例的雙相機裝置之硬體架構。最後,代理人參考編號APLE.P0212之與本申請案同時申請的美國專利申請號**之案名為「Establishing Video Conference During a Phone Call」的申請案中說明與上述特點中的某些特點有關的數個其它實施例,例如會議中調整中的某些特點等等。案名為「Establishing a Video Conference During a Phone Call」之此美國專利申請案於此一併列入參考案名為「Establishin a Video Conference During a Phone Call」。
I. 視訊捕捉及處理
圖3概念地顯示某些實施例的雙相機行動裝置之視訊處理及編碼模組300。在某些實施例中,模組300處理影像以及將雙相機行動裝置的相機捕捉的視訊編碼。如圖3所示,此模組300包含捕捉影像處理單元(CIPU)驅動器305、媒體交換模組310、編碼器驅動器320、及視訊處理模組325。
在某些實施例中,媒體交換模組310允許媒體內容的消費者及生產者之裝置上的程式交換媒體內容及與媒體內容的處理有關之指令。在視訊處理及編碼模組300中,某些實施例的媒體交換模組310安排指令和媒體內容在視訊處理模組325與CIPU驅動器305之間、以及視訊處理模組325與編碼器驅動器320之間的傳送路徑。為了便於這些指令與媒體內容的路徑安排,某些實施例的媒體交換模組310提供應用編程介面(API)組給媒體內容的消費者及生產者使用。在這些實施例中的某些實施例中,媒體交換模組310是在雙相機行動裝置上執行的作業系統之一部份的一或更多框架的組。此媒體交換模組310的一實施例是由蘋果公司(Apple Inc.)提供的核心媒體框架。
視訊處理模組325對裝置的相機捕捉的影像及/或視訊執行影像處理。這些操作的實施例包含曝光調整操作、聚焦調整操作、透視校正、動態範圍調整、影像尺寸變更、影像合成、等等。在某些實施例中,某些影像處理操作也可以由媒體交換模組310執行。舉例而言,如圖3所示,某些實施例的媒體交換模組310執行暫時雜訊降低(TNR)操作(例如藉由TNR 315),降低裝置的相機所捕捉的視訊影像中的雜訊。於下將提供視訊處理模組325及媒體交換模組310的這些影像處理操作的其它實施例。
如上所述,經由媒體交換模組310,視訊處理模組325與CIPU驅動器305和編碼器驅動器320協調。CIPU驅動器305作為捕捉影像處理單元(CIPU)330與媒體交換模組310之間的通訊介面。如同下述進一步說明般,CIPU 330是雙相機裝置的構件,負責處理裝置的相機之影像捕捉或視訊捕捉操作期間所捕捉的影像。從視訊處理模組325經過媒體交換模組310,CIPU驅動器305而從裝置的相機之一或二者,接收用於影像及/或視訊的請求。CIPU驅動器305將這些請求轉至CIPU 330,以及,從CIPU 330回應地接收被請求的影像及/或視訊,然後,CIPU驅動器305將被請求的影像及/或視訊經由媒體交換模組310而送至視訊處理模組325。經由CIPU驅動器305及媒體交換模組310,某些實施例的視訊處理模組325也將指令送至CIPU 330,以修改其操作中的一些操作(例如,修改相機的框速率、曝光調整操作、聚焦調整操作、等等)。
編碼器驅動器320作為媒體交換模組310與編碼器硬體335(例如編碼器晶片、系統晶片上的編碼元件、等等)。在某些實施例中,編碼器驅動器320接收影像及請求以將經由媒體交換模組310而來自視訊處理模組325的影像編碼。編碼器驅動器320將要編碼的影像傳送至編碼器335,然後,編碼器335對影像執行相片編碼或視訊編碼。當編碼器驅動器320自編碼器335接收已編碼的影像時,編碼器驅動器320將已編碼的影像經由媒體交換模組310送回至視訊處理模組325。
在某些實施例中,視訊處理模組325可以對其自編碼器接收的已編碼影像執行不同的操作。這些操作的實施例包含儲存已編碼的影像於裝置的儲存器中、經由裝置的網路介面傳送視訊會議中已編碼的影像、等等。
在某些實施例中,視訊處理及編碼模組300的某些或所有模組被實施作為部份作業系統。舉例而言,某些實施例將此模組300的所有四個構件305、310、320、及325實施作為裝置的作業系統之部份。其它實施例將媒體交換模組310、CIPU驅動器305、及編碼器驅動器320實施作為裝置的作業系統的部份,並使視訊處理模組325作為在作業系統上執行的應用。又,模組300的其它實施是可能的。
現在,將說明視訊捕捉對話期間視訊處理及編碼模組300的操作。為了啓動視訊捕捉對話,視訊處理模組325啓始視訊捕捉對話期間所需的數個構件。在某些實施例中,這些構件包含(1)CIPU 330、(2)視訊處理模組325的比例及合成模組(未顯示)、(3)視訊處理模組325的影像處理模組(未顯示)、及(4)編碼器335。而且,某些實施例的視訊處理模組325當參與視訊會議時,其會初始化網路管理器(未顯示)。
經由媒體交換模組310及CIPU驅動器305,視訊處理模組將其初始化請求傳送至CIPU 330,以便使裝置的一或二個相機開始視訊捕捉。在某些實施例中,此請求指定用於需要捕捉視訊的每一相機之特定的框速率、曝光程度、及比例尺寸。為回應此請求,CIPU 330開始以指定的速率、曝光程度、及比例尺寸,歸還來自被請求的相機之視訊影像。這些視訊影像經由CIPU驅動器305及媒體交換模組310而歸還至視訊處理模組325,如上所述般,媒體交換模組310在將視訊影像供應至視訊處理模組325之前對它們執行TNR操作。在視訊處理模組325,視訊影像被儲存於緩衝器(未顯示)中,用於增加的影像處理。
為了增加的影像處理,視訊處理模組325的影像處理模組檢索儲存於緩衝器中的視訊影像。比例及合成模組接著檢索經過處理的視訊影像,以便於需要時將它們調整比例,用於即時顯示於裝置的顯示螢幕上。在某些實施例中,在視訊會議期間,此模組從裝置的二相機捕捉的影像、或是從裝置的相機與另一裝置的相機一起捕捉的影像產生合成影像,以在裝置上提供捕捉的視訊影像之即時顯示或是產生用於編碼的合成視訊影像。
經過處理的及/或合成的視訊影像經由編碼器驅動器320和媒體交換模組310而供應至編碼器335。編碼器335接著將視訊影像編碼。經過編碼的影像接著歸還至視訊處理模組325(再度經由編碼器驅動器320和媒體交換模組310)以在視訊會議期間傳輸或儲存於裝置上。當裝置正參與視訊會議時,網路管理器(由視訊處理模組325初始化)接著檢索這些經過編碼的影像、將它們封包化及經由裝置的網路介面(未顯示)而將它們傳送至一或更多其它裝置。
II. 捕捉影像處理
由某些實施例的雙相機行動裝置的相機所捕捉的影像是原始的、未經處理的影像。在這些影像可以用於例如傳送影像至另一裝置(例如,在視訊會議期間)、儲存影像、或顯示影像等其它操作之前,這些影像需要轉換至特定的色域。此外,由相機捕捉的影像需要被處理以校正錯誤及/或失真以及調整影像的色彩、尺寸、等等。因此,某些實施例在儲存、傳送、及顯示影像之前,對這些影像執行多個處理操作。這些影像的部份處理由CIPU 330執行。
此CIPU的一實施例顯示於圖4中。具體而言,此圖式概念地顯示某些實施例的捕捉影像處理單元(CIPU)400。此CIPU 400包含單處理管道485,單處理管道485一次僅處理來自裝置的複數個相機中僅一相機的影像,或是以分時多工方式(亦即,時間交錯方式),同時地處理來自裝置的二相機之影像。CIPU 400的處理管道485可以被不同地規劃,以滿足不同相機的差異特徵及/或操作設定。在某些實施例中不同相機特徵的實施例包含不同的解析度、雜訊感測器、透鏡型式(固定的或變焦透鏡)、等等。在某些實施例中,裝置用以操作相機之不同的操作設定的實施例也包含影像解析尺寸、框速率、變焦等級、曝光程度、等等。
如圖4所示,CIPU 400包含感測器模組415、線/框緩衝器417、壞像素校正(BPC)模組420、透鏡陰影(LS)模組425、去馬賽克模組430、白平衡(WB)模組435、伽瑪模組440、色域轉換(CSC)模組445、色彩、飽合、及對比(HSC)模組450、比例器模組455、過濾器模組460、統計引擎465、二組暫存器470、及控制器模組475。在某些實施例中,CIPU 400的所有模組可以以硬體(例如ASIC、FPGA、設有微控制器的SOC、等等)實施,而在其它實施例中,CIPU 400的某些或所有模組以軟體實施。
如圖4所示,感測器模組415通訊地耦合至裝置的二相機的二組感測器405a和405b及二像素陣列410a和410b。在某些實施例中,經由每一相機的感測器的行動工業處理器介面(MIPI),可以便於此通訊耦合。
經由此通訊耦合,感測器模組415可以將指令派送至相機以控制例如其電力程度、變焦程度、聚焦、曝光程度等每一相機的操作之不同態樣。在某些實施例中,每一相機具有四個操作電力模式。在第一操作電力模式中,供電給相機。對於第二操作電力模式,相機被供電但尚未被規劃。在第三操作電力模式中,相機被供電、相機的感測器被規劃、以及相機的感測器像素正收集光子及將收集的光子轉換成數位值。但是,相機感測器尚未傳送影像至感測器模組415。最後,在第四操作電力模式中,相機正傳送影像至感測器模組415除外,相機處於與第三電力模式相同的操作模式。
在裝置的操作期間,相機可以從一操作電力模式切換至另一模式任何次數。當切換操作電力模式時,某些實施例要求相機依上述次序來切換操作電力模式。因此,在某些實施例中,在第一操作電力模式中的相機可以僅切換至第二操作電力模式。當相機處於第二操作電力模式時,其可以切換至第一操作電力模式或是第三操作電力模式。類似地,相機可以從第三操作電力模式切換至第二操作電力模式或第四操作電力模式。當相機處於第四操作電力模式時,其可以僅切回至第三操作電力模式。
此外,從一操作電力模式切換至下一或先前的操作電力模式耗費特定的時間量。如此,在二或三個操作電力模式之間的切換比一操作電力模之間的切換還慢。不同的操作電力模式也耗費不同的電力量。舉例而言,第四操作電力模式消耗大部份的電力量,第三操作電力模式比第一和第二操作電力模式消耗更多電力,第二操作電力模式比第一操作電力模式消耗更多。在某些實施例中,第一操作電力模式不會消耗任何電力。
當相機未處於捕捉影像的第四操作電力模式時,相機被留在其它操作電力模式之一中。決定將未使用的相機留在那一操作模式取決於允許相機消耗多少電量以及相機需要多快來回應啓動捕捉影像的請求。舉例而言,被規劃成在第三操作電力模式中操作的相機(例如,待機模式)比規劃成在第一操作電力模式(亦即,電源關閉)中操作的相機消耗更多電力。但是,當相機被指令捕捉影像時,在第三操作電力模式中操作的相機可以比第一操作電力模式中操作的相機更快地切換至第四操作電力模式。確切而言,相機可以被規劃成當根據不同需求(例如,對於捕捉影像的請求之響應時間、耗電)而未捕捉影像時以不同的操作電力模式操作。
如同下述進一步說明般,經由其與每一相機的通訊耦合,當視訊處理模組325請求一或二相機啓動捕捉影像及感測器模組415經由控制器模組475而接收此請求時,感測器模組415可以指令一或二組相機感測器啓動捕捉影像。拜耳(Bayer)濾光器疊加於每一相機感測器上,因此,每一相機感測器輸出儲存於與每一相機感測器相關連的像素陣列中之拜耳圖案影像。拜耳圖案影像是每一像素僅儲存一色彩值之影像:紅、藍、或綠。
經由其與像素陣列410a和410b的耦合,感測器模組415檢索儲存於相機像素陣列410a和410b中的原始拜耳圖案影像。藉由控制感測器模組415從相機的像素陣列檢索影像之速率,感測器模組415可以控制特定相機正捕捉的視訊影像的框速率。藉由控制其影像檢索的速率,感測器模組415也可插入不同相機捕捉的影像之取出,以將來自不同相機之捕捉的影像的CIPU處理管道485的影像處理插入。其影像檢索的感測器模組415的控制於下進一步說明且見於上述併入參考的代理人參考編號APLE.P0212之美國專利申請號**之案名為「Establishing Video Conference During a Phone Call」的申請案中。
感測器模組415將影像線(亦即,影像的像素列)儲存於線/框緩衝器417中,影像線係感測器模組415從像素陣列410a和410b中檢索的。經由CIPU處理管道485,處理線/框緩衝器417中的每一影像線。如圖4所示,CIPU處理管道485由BPC模組420、LS模組425、去馬賽克模組430、WB模組435、伽瑪模組440、CSC模組445、HSC模組450、比例器模組455、及過濾器模組460形成。在某些實施例中,CIPU處理管道485以一線接一線(亦即,一列接一列)為基礎來處理來自線/框緩衝器417的影像,而在它實施例中,CIPU處理管道485以一框接一框為基礎來處理來自線/框緩衝器417的整個影像。
在圖4中所示的舉例說明的管道中,BPC模組420是從線/框緩衝器417檢索影像之模組。此模組執行壞像素移除操作,以嘗試校正可能導因於有缺陷的相機感測器(例如,有缺陷的光感測器完全不會感測光、不正確地感測光、等等)之一或更多的檢索影像中的壞像素。在某些實施例中,BPC模組420藉由比較影像中的特定像素與影像中的一或更多鄰近像素以偵測壞像素。假使特定像素的值與鄰近像素的值之間的差大於臨界量,則特定像素的值由具有與特定像素相同顏色(亦即,紅、綠、及藍)的數個鄰近像素值的平均值取代。
BPC模組420的操作由儲存於CIPU 400的二組暫存器470中用於此模組的值部份地控制。具體而言,為了處理由裝置的二不同相機捕捉的影像,如上所述般,某些實施例為每一相機不同地規劃CIPU處理管道485。藉由將二不同組的值儲存於CIPU 400的二不同組暫存器470a(Ra)和470b(Rb)中,而為二不同的相機規劃CIPU處理管道485。每一組暫存器470包含用於CPU處理管道485之內的模組420-460中的每一模組之一暫存器(Ra或Rb)。每一組暫存器中的每一暫存器儲存界定一處理管道模組的操作之值組。因此,如圖4所示,暫存器組470a用於標示用於雙相機行動裝置的一相機(相機A)之每一處理管道模組的操作模式,而暫存器組470b用於標示雙相機行動裝置的另一相機(相機B)之每一模組的操作模式。
為每一相機不同地規劃CIPU處理管道485的一實施例是將CIPU處理管道485的模組規劃成處理不同尺寸的影像。舉例而言,假使相機感測器405a是640x480像素以及相機感測器405b是2048x1536像素,則暫存器組470a被規劃成用於儲存指令CIPU處理管道485的模組去處理640x480像素影像的值以及暫存器組470b被規劃成用於儲存指令CIPU處理管道485的模組去處理2048x1536像素影像的值。
在某些實施例中,不同的處理管道規劃(亦即,暫存器值)儲存於不同的輪廓設定中。在這些實施例中的某些實施例中,允許行動裝置的使用者選取輪廓設定之一(例如,經由顯示於行動裝置上的使用者介面)以設定相機的操作。舉例而言,使用者可以選取用於將相機規劃成捕捉高解析度視訊的輪廓設定、用於將同一相機規劃成捕捉低解析度視訊的輪廓設定、或是用於將二相機規劃成捕捉高解析度靜態影像的輪廓設定。不同的規劃是可能的,它們可以被儲存於很多不同的輪廓設定中。在這些實施例中的其它實施例中,取代允許使用者選取輪廓設定,而根據使用者選取的應用或活動,自動地選取輪廓設定。舉例而言,假使使用者選取視訊會議應用時,則自動地選取將二相機規劃成捕捉視訊之輪廓,假使使用者選取拍照應用時,則自動地選取將相機之一規劃成捕捉靜態影像的輪廓、等等。
在BPC模組420之後,LS模組425接收壞像素經過校正的影像。LS模組425執行透鏡陰影校正操作,以校正相機鏡頭所造成的產生光下降效應(亦即,光朝向相機感測器的邊緣降低)的影像缺陷。此效應造成影像被不均勻地照明(例如,在角落及/或邊緣較暗)。為了校正這些影像缺陷,某些實施例的LS模組425評估透鏡照明下降的數學模式。經過評估的模型接著用於補償影像的透鏡下降以均勻地照明影像被不均勻地照明的部份。舉例而言,假使影像的角落是影像的中心的亮度的一半時,則某些實施例的LS模組425將角落像素值乘以二,以產生均勻影像。
去馬賽克模組430執行去馬賽克操作,以從具有取樣的色彩之影像產生全彩影像。如上所述,相機感測器輸出拜耳圖案,由於拜耳圖案影像的每一像素僅儲存一色值,所以,這些拜耳圖案影像是不完全的。藉由將用於每一組色彩的色值插入於拜耳圖案影像中,去馬賽克模組430從拜耳圖案影像重建紅、綠、藍(RGB)影像。
WB模組435對從去馬賽克模組430收到的RGB影像執行白平衡操作,以致於影像內容的顏色類似於真實生活中人眼感覺到的此內容之色彩。藉由調整影像的色彩以正確地造成中性色彩(例如,灰色、白色、等等),WB模組435調整白平衡。舉例而言,在白熱光下白色紙張的影像呈現黃色,但人眼是感覺到該紙張是白色的。為了考慮感測器捕捉的影像的顏色與人眼感覺到的顏色之間的差異,WB模組435調整影像的色值,以致於捕捉到的影像適當地反射人眼感覺到的顏色。
統計引擎465收集CIPU處理管道485的不同階段的影像資料。舉例而言,圖4顯示統計引擎465收集LS模組425、去馬賽克模組430、及WB模組435之後的影像資料。不同的實施例收集來自CIPU處理管道485的任何數目的不同階段之資料。統計引擎465處理收集到的資料,以及,根據經過處理的資料,經由控制器模組475及感測器模組415,調整相機感測器405a和405b的操作。這些操作的實施例包含曝光及聚焦。雖然圖4顯示經由控制器模組475以控制相機感測器405a和405b的統計引擎465,但是,統計引擎465的其它實施例可以僅經由感測器模組415而控制相機感測器。
經過處理的資料也可以用於調整CIPU 400的不同模組之操作。舉例而言,某些實施例的統計引擎465根據WB模組435之後收集的資料,調整WB模組435的操作。在這些實施例中的某些實施例中,藉由使用經過處理的資料以調整WB模組435的白平衡操作,統計引擎465提供自動白平衡(AWB)功能。其它實施例可以使用從CIPU處理管道485的任何數目的階段收集的經過處理之資料,以調整CIPU處理管道485之內的任何數目的模組之操作。此外,統計引擎465也可以從控制器模組475接收指令,以調整CIPU處理管道485之一或更多模組的操作。
在從WB模組435接收影像之後,伽瑪模組440對影像執行伽瑪校正操作,以將相機系統的亮度或三色值編碼及解碼。某些實施例的伽瑪模組440藉由將10-12位元線性訊號轉換成8位元非線性編碼以校正伽瑪,以便校正影像的伽瑪。某些實施例藉由使用查詢表以校正伽瑪。
CSC模組445將從伽瑪模組440接收的影像從一色域轉換至另一色域。具體而言,CSC模組445將影像從RGB色域轉換至亮度及色度(YUV)色域。但是,CSC模組445的其它實施例可以從任何數目的色域轉換影像以及將影像轉換至任何數目的色域。
HSC模組450可以調整從CSC模組445接收的影像之色彩、飽合度、對比、或其任何組合。舉例而言,HSC模組450可以調整這些特性以降低雜訊或增強影像。舉例而言,可以增加低雜訊相機感測器捕捉的影像之飽合度,以使影像更生動地呈現。相對地,由高雜訊相機感測器捕捉的影像之飽合度可以降低以減少這些影像的顏色雜訊。
在HSC模組450之後,比例器模組455可以改變影像尺寸以調整影像的像素解析度或調整影像的資料尺寸。舉例而言,比例器模組455也可以降低影像的尺寸以適合較小的顯示。比例器模組455可以以不同方式來調整影像的比例。舉例而言,比例器模組455可以放大及縮小影像。比例器模組455也可以依比例調整影像的尺寸或不規則地調整影像。
過濾器模組460將一或更多過濾操作應用至從比例器模組455收到的影像,以改變影像的某些或全部像素的一或更多屬性。在其它實施例中,過濾器的實施例包含低通濾波器、高通濾波器、帶通濾波器、雙向濾波器、高斯濾波器。確切而言,過濾器模組460可以將任何數目的不同濾波器應用至影像。
某些實施例的控制器模組475是控制CIPU 400的操作之微控制器。在某些實施例中,控制器模組475(1)經由感測器模組415以控制相機感測器的操作(例如,曝光程度)、(2)控制CIPU處理管道485的操作、(3)CIPU處理管道485的時序(例如,何時切換相機感測器、何時切換暫存器、等等)、以及(4)控制某些實施例的雙相機行動裝置的部份之閃光燈/閃燈(未顯示)。
控制器模組475的某些實施例處理從統計引擎465和CIPU驅動器480收到的指令。在某些實施例中,從CIPU驅動器480收到的指令是來自雙相機行動裝置的指令(亦即,自本地裝置收到),而在其它實施例中,從CIPU驅動器480收到的指令是來自另一裝置(例如,視訊會議期間的遠端控制)。根據經過處理的指令,控制器模組475可以藉由編程暫存器470的值而調整CIPU 400的操作。此外,在CIPU 400的操作期間,控制器模組475可以動態地再編程暫存器470的值。
如圖4所示,CIPU 400包含CIPU處理管道485中的一些模組。但是,習於此技藝者將瞭解可以由正好一些顯示的模組或增加的及不同的模組來實施CIPU 400。此外,由不同的模組執行的處理可以應用至不同於圖4中所示的序列之序列中的影像。
現在將參考圖4,說明CIPU 400的舉例說明的操作。為了說明,暫存器組Ra用於處理雙相機行動裝置的相機感測器405a捕捉的影像,以及,暫存器組Rb用於處理雙相機行動裝置的相機感測器405b捕捉的影像。控制器模組475從CIPU驅動器480接收指令以產生雙相機行動裝置的相機之一捕捉的影像。
然後,控制器模組475初始化CIPU處理管道485的不同模組,以處理雙相機行動裝置的相機之一捕捉的影像。在某些實施例中,這包含控制器模組475檢查暫存器470的正確暫存器組是否被使用。舉例而言,假使CIPU驅動器480指令控制器模組475產生相機感測器405a捕捉的影像時,控制器模組475檢查暫存器組Ra是否為CIPU 400的模組所讀取的暫存器組。假使為否,則控制器模組475在暫存器組之間切換,以致於暫存器組Ra是由CIPU 400的模組讀取的組。
對CIPU處理管道485中的每一模組,操作的模式由儲存於暫存器組Ra中的值標示。如同先前所述般,在CIPU 400操作期間,暫存器組470中的值可以被動態地再編程。如此,一影像的處理可以與下一影像的處理不同。雖然此舉例說明之CIPU 400的操作說明CIPU 400中的每一模組讀取儲存於暫存器中的值以標示模組的操作模式,但是,在某些軟體實施的實施例中,取代地傳送參數至CIPU 400的不同模組。
在某些實施例中,在從像素陣列410a中檢索影像之後,藉由指令感測器模組415延遲特定時間量,控制器模組475初始化感測器模組415。換言之,控制器模組475指令感測器模組415以特定速率從像素陣列410a中檢索影像。
接著,控制器模組475經由感測器模組415來指令相機感測器405a。在某些實施例中,控制器模組475也提供曝光及其它相機操作參數給相機感測器405a。在其它實施例中,相機感測器405a以內定值用於相機感測器操作參數。根據參數,相機感測器405a捕捉原始影像,原始影像儲存於像素陣列410a中。感測器模組415從像素陣列410a中檢索原始影像,以及,在CIPU處理管道485處理影像之前,傳送影像至線/框緩衝器417,用於儲存。
在某些情形中,影像可以由線/框緩衝器417丟棄。當相機感測器405a及/或405b正以高速率捕捉影像時,感測器模組415可以比BPC模組420從線/框緩衝器417檢索影像(例如捕捉高框速視訊)還要快地接收及儲存影像於線/框緩衝器417中,以及線/框緩衝器417將變滿。當此發生時,某些實施例的線/框緩衝器417根據先進先出原則而丟棄影像(亦即,框)。亦即,當線/框緩衝器417丟棄影像時,線/框緩衝器417丟棄線/框緩衝器417中所有其它的影像之前接收的影像。
CIPU處理管道485執行的影像處理始於BPC模組420,從線/框緩衝器417檢索影像以校正影像中任何壞像素。然後,BPC模組420將影像傳送至LS模組425以校正影像中任何不均勻的照明。在影像的照明被校正之後,LS模組425將影像傳送至去馬賽克模組430,其中,其處理原始影像以從原始影像產生RGB影像。接著,WB模組435從去馬賽克模組430接收RGB影像以及調整RGB影像的白平衡。
如上所述,統計引擎465可以在CIPU處理管道485的不同點收集一些資料。舉例而言,如圖4所示,統計引擎465收集LS模組425、去馬賽克模組430、及WB模組435之後的資料。根據收集的資料,統計引擎465可以調整相機感測器405a的操作、CIPU處理管道485中的一或更多模組的操作、或二者,以調整從相機感測器405a之後續影像的捕捉。舉例而言,根據收集的資料,統計引擎465可以決定目前影像的曝光程度太低並因而經由感測器模組415來指令相機感測器405a以增加用於後續捕捉的影像之曝光程度。因此,對於某些處理操作,某些實施例的統計引擎465如回饋迴路般操作。
在WB模組435調整影像的白平衡之後,其將影像傳送至伽瑪模組440以用於伽瑪校正(例如,調整影像的伽瑪曲線)。CSC模組445從伽瑪模組440接收經過伽瑪校正的影像以及執行色域轉換。在本實施例中,CSC模組445將RGB影像轉換成YUV影像。換言之,CSC模組445將以RGB色域表示的影像轉換成以YUV色域表示的影像。HSC模組450從CSC模組445接收YUV影像以及調整影像中不同像素的色彩、飽合度、對比屬性。在HSC模組450之後,比例器模組455改變影像的尺寸(例如,放大或縮小影像)。在從比例器模組455接收影像之後,過濾器模組460將一或更多過濾器應用至影像。最後,過濾器模組460將經過處理的影像傳送至CIPU驅動器480。
在上述CIPU 400的操作實施例中,CIPU處理管道485中的每一模組以相同方式處理影像。但是,由CIPU 400處理的其它影像可能不會要求由CIPU處理管道485的所有模組執行的處理。舉例而言,影像不要求白平衡、伽瑪校正、調整比例、或過濾。確切而言,CIPU 400可以根據例如來自CIPU驅動器480的指令或由統計引擎465收集的資料等不同的收到的輸入,以任何次數的方式,處理影像。
不同的實施例不同地控制影像受處理的速率(亦即,框速率)。控制框速率的一方式是藉由操控垂直閃爍間隔(VBI)。對於檢索影像線以逐線地處理影像之某些實施例而言,VBI是在從像素陣列中檢索雙相機行動裝置的相機所捕捉之視訊的影像的最後一線與從像素陣列中檢索視訊的下一影像之第一線之間的時間差。在其它實施例中,VBI是在從像素陣列中檢索雙相機行動裝置的相機所捕捉之視訊的一影像與從像素陣列中檢索視訊的下一影像之間的時間差。
可以使用VBI的一實施例是在感測器模組415與像素陣列410a和410b之間。舉例而言,感測器模組415的某些實施例逐線地從像素陣列410a和410b中檢索影像,而感測器模組415的其它實施例以一影像接一影像為基礎而從像素陣列410a和410b中檢索影像。如此,藉由調整感測器模組415可以控制框速率:增加VBI可以降低框速率,降低VBI可以增加框速率。
圖5概念地顯示根據不同的VBI之不同的框速率505、510、及515的實施例。每一序列均顯示在時間線520之不同時刻525-555由雙相機行動裝置的相機之一所捕捉的持有吉他的人之影像。此外,每一時刻525-555之間的時間是相同的且將被稱為一時間單元。為了說明,現在參考圖4的感測器模組415和像素陣列410a,說明圖5。確切而言,每一影像代表感測器模組415從像素陣列410a中檢索影像時在時間線520的時刻。
在舉例說明的框速率505中,用於像素陣列410a的感測器模組415之VBI被設定為三個時間單元(例如,由控制器模組475設定)。亦即,延著時間線520,每隔三時刻,感測器模組415從像素陣列410a中檢索影像。如同舉例說明的框速率505中所示般,感測器模組415在時刻525、540、及555檢索影像。因此,舉例說明的框速率505具有每三個時間單元一影像的框速率。
舉例說明的框速率510類似於舉例說明的框速率505,但是,VBI被設為二個時間單元除外。因此,延著時間線520,每隔二時刻,感測器模組415從像素陣列410a中檢索影像。舉例說明的框速率510顯示感測器模組415在時刻525、535、545、及555,從像素陣列410a檢索影像。由於舉例說明的框速率510的VBI小於舉例說明的框速率505的VBI,所以,舉例說明的框速率510的框速率高於舉例說明的框速率505的框速率。
舉例說明的框速率515也類似於舉例說明的框速率505,但是,用於像素陣列410a的感測器模組415的VBI被設為一個時間單元除外。因此,感測器模組415被指令而在時間線520上的每一時刻從像素陣列410a中檢索影像。如同所示,在時刻525-555,感測器模組415從像素陣列410a中檢索影像。舉例說明的框速率515的VBI小於舉例說明的框速率505和510的VBI。因此,舉例說明的框速率515的框速率高於舉例說明的框速率505和510的框速率。
III. 視訊會議
A. 視訊會議架構
圖6概念地顯示某些實施例的雙相機行動裝置之視訊會議及處理模組600的軟體架構。視訊會議及處理模組600包含CIPU驅動器605、媒體交換模組610、及編碼器驅動器620,它們類似於參考圖3之上述之對應的模組及驅動器305、310、及320。視訊會議及處理模組600也包含視訊會議模組625、視訊會議客戶端645、及網路介面650,用於執行各式各樣的視訊會議功能。類似於視訊會議及編碼模組300,視訊會議及處理模組600處理及編碼從雙相機行動裝置的相機捕捉的影像。
如同以上參考圖3所述般,媒體交換模組610允許裝置中媒體內容的消費者及製造者交換媒體內容以及與媒體內容的處理有關的指令,CIPU驅動器605作為與捕捉影像處理單元(CIPU)655的通訊介面,編碼器驅動器620作為與編碼器硬體660的通訊介面(例如,編碼器晶片、系統晶片上的編碼元件、等等)。
某些實施例的視訊會議模組625處理例如影像處理、視訊會議管理、及網路化等不同視訊會議功能。如同所示,視訊會議模組625與媒體交換模組610、視訊會議客戶端645、及網路介面650交互作用。在某些實施例中,視訊會議模組625對視訊會議客戶端645接收及傳送指令。經由網路介面650,某些實施例的視訊會議模組625也對網路(例如,區域網路(LAN)、無線區域網路(WLAN)、廣域網路(WAN)、網路的網路、分碼多重存取(CDMA)網路、GSM網路、等等)傳送及接收資料。
視訊會議模組625包含影像處理層630、管理層635、及網路層640。在某些實施例中,影像處理層630對用於視訊會議的影像執行影像處理操作。舉例而言,如同下述進一步說明般,某些實施例的影像處理層630執行曝光調整、影像尺寸變化、透視校正、及動態範圍調整。為了來自CIPU 655的影像,某些實施例的影像處理層630經由媒體交換模組610傳送請求。
某些實施例的管理層635控制視訊會議模組625的操作。舉例而言,在某些實施例中,管理層635初始化雙相機行動裝置的一相機/複數相機、處理要傳送至遠端裝置的影像及音訊、以及處理接收自遠端裝置的影像和音訊。在某些實施例中,管理層635產生用於裝置的合成(亦即,PIP)顯示。此外,管理層635可以根據自網路層640接收的網路報告,改變視訊會議模組625的操作。
在某些實施例中,網路層640執行某些或全部視訊會議的網路功能。舉例而言,如下所述及上述併入參考的代理人參考編號APLE.P0212之美國專利申請號**之案名為「Establishing Video Conference During a Phone Call」的申請案中所述般,在其它功能之中,某些實施例的網路層640在雙相機行動裝置與視訊會議的遠端裝置之間建立網路連接(未顯示)、傳送影像至遠端裝置、及從遠端裝置接收影像。此外,網路層640接收其它型式的資料之中例如封包遺失、單向潛伏、及來回延遲時間等網路資料、處理此類資料、及將資料回報給管理層635。
某些實施例的視訊會議客戶端645是可以使用例如視訊會議應用、網路電話(VOIP)(例如Skype)應用、或是瞬間發訊應用等視訊會議模組625的視訊會議功能之應用。在某些實施例中,視訊會議客戶端645是獨立的應用,而在其它實施例中,視訊會議客戶端645整合於另一應用中。
在某些實施例中,網路介面650是通訊介面,允許視訊會議模組625及視訊會議客戶端645經由網路介面650而在網路上(例如行動電話網路、區域網路、無線網路、網路中的網路、網際網路、等等)傳送及接收資料。舉例而言,假使視訊會議模組625要傳送資料(例如,雙相機行動裝置的相機所捕捉的影像)至網際網路上的另一裝置時,則視訊會議模組625經由網路介面650傳送影像至其它裝置。
B. 視訊會議建立
圖7概念地顯示某些實施例之舉例說明的視訊會議請求發訊序列700。此圖顯示裝置705上執行的視訊會議客戶端710、視訊會議伺服器715、及裝置720上執行的視訊會議客戶端725之間的視訊會議請求發訊序列700。在某些實施例中,視訊會議客戶端710及725與圖6中所示的視訊會議客戶端645相同。如圖7所示,一裝置(亦即,裝置705)請求視訊會議,而另一裝置(亦即,裝置720)回應此請求。本申請案中揭示的雙相機行動裝置可以執行二操作(亦即,產生請求及回應請求)。
某些實施例的視訊會議伺服器715安排訊息在視訊會議客戶端之間的路徑。雖然某些實施例在一計算裝置上實施視訊會議伺服器715,但是,其它實施例在多個計算裝置上實施視訊會議伺服器715。在某些實施例中,視訊會議伺服器是公用可存取伺服器,其可以對多個會議一次處理及安排訊息路徑。某些實施例的視訊會議客戶端710和725中的每一者經由例如上述網路介面650等網路介面而於網路上(例如,行動電話網路、區域網路、無線網路、網路中的網路、網際網路、等等)與視訊會議伺服器715通訊。
當視訊會議客戶端710從裝置705的使用者接收(在操作1)請求以啓動與裝置720的視訊會議時,某些實施例的視訊會議請求發訊序列700啓動。當裝置705的使用者選取顯示於裝置705上的使用者介面之使用者介面(UI)選項時,某些實施例的視訊會議客戶端710接收啓動視訊會議的請求。圖8及圖11顯示下述將說明之這些使用者介面的實施例。
在視訊會議客戶端710接收請求之後,視訊會議客戶端710送出(在操作2)視訊會議請求至視訊會議伺服器715,所述視訊會議請求根據來自使用者的輸入,將裝置720標示為接收方。視訊會議伺服器715發送(在操作3)視訊會議請求給裝置720的視訊會議客戶端725。在某些實施例中,視訊會議伺服器715使用推技術以將視訊會議請求發送至視訊會議客戶端725。亦即,視訊會議伺服器715從視訊會議客戶端710接收時即啓始對視訊會議客戶端725的視訊會議請求之傳輸,而非等待客戶端725發送用於任何訊號的請求。
當某些實施例的視訊會議客戶端725接收視訊會議請求時,使用者介面顯示於裝置720上以對裝置720的使用者標示裝置705的使用者傳送啓動視訊會議的請求以及提示裝置720的使用者接收或拒絕視訊會議請求。下述將說明之此使用者介面的實施例顯示於圖9中。在某些實施例中,當視訊會議客戶端725接收(在操作4)接受來自裝置705的使用者的視訊會議請求之請求時,視訊會議客戶端725送出(在操作5)視訊會議接受給視訊會議伺服器715。舉例而言,當裝置720的使用者選取如圖9中所示的使用者介面之使用者介面選項時,某些實施例的視訊會議客戶端725接收接受視訊會議請求之請求。
在視訊會議伺服器715接收來自視訊會議客戶端725的視訊會議接受之後,視訊會議伺服器715將視訊會議接受發送(在操作6)給視訊會議客戶端710。視訊會議伺服器715的某些實施例使用上述推技術而將視訊會議接受發送至視訊會議客戶端710。
在收到視訊會議接受時,某些實施例在裝置705與裝置720之間建立(在操作7)視訊會議。不同的實施例不同地建立視訊會議。舉例而言,某些實施例的視訊會議建立包含協商裝置705與裝置720之間的連接、決定將視訊編碼的位元速率、及在裝置705與裝置720之間交換視訊。
在上述實施例中,裝置720的使用者接受視訊會議請求。在某些實施例中,裝置720可以被規劃(例如,經由裝置的偏好設定)成自動地接受進入的視訊會議請求而不顯示UI。此外,裝置720的使用者也可以拒絕(在操作4)視訊會議請求(例如,藉由選取顯示於裝置720上的使用者介面之使用者介面選項)。取代送出視訊會議接受,視訊會議客戶端725將視訊會議拒絕送至視訊會議伺服器715,視訊會議伺服器715將視訊會議拒絕發送至視訊會議客戶端710。然後,絕不建立視訊會議。
在某些實施例中,根據進行的電話呼叫,啓始視訊會議。亦即,當行動裝置的使用者與第二使用者進行電話呼叫時,使用者可以根據另一方的允許而將電話呼叫轉成視訊會議。對於本發明的某些實施例,圖8顯示由雙相機行動裝置800執行之此視訊會議的啓動。此圖式以裝置800的使用者介面(UI)805之五個操作階段810、815、820、825、及830的觀點來顯示視訊會議的啓動。
如圖8所示,UI 805包含名稱欄835、選單840、及可選取的UI選項845。名稱欄835顯示電話呼叫的另一端上人員的名稱,使用者要對其提出視訊會議請求。在本實施例中,可選取的UI選項845(可以以可選取按鍵實施)提供可選取的End Call(結束呼叫)選項以供使用者結束電話呼叫。選單840顯示可選取的UI選項之選單,例如,Speakerphone(擴音)選項842、Mute(靜音)選項844、Keypad(鍵盤)選項846、Phonebook(電話簿)選項848、Hold(保留)選項852、Video Conference(視訊會議)選項854、等等。不同的實施例不同地顯示選單。對於圖8所示的實施例,選單840包含數個尺寸相同的圖像,每一圖像代表不同的操作。其它實施例提供可捲動選單、或是給予特定選項優先(例如,使這些選項更大)。
現在,將參考圖8中所示的五個階段810、815、820、825、及830期間此UI的狀態,說明UI 805的操作。在第一階段810中,已在手持行動裝置使用者與Nancy Jones(南西瓊斯)之間建立電話呼叫。在使用者選取可選取的視訊會議選項854(例如,經由手指850之單指觸動)以致動視訊會議工具之後,第二階段815顯示UI 805。在本實施例中,Video Conference(視訊會議)854(可以以可選取的圖像實施)允許使用者在電話呼叫期間啓動視訊會議。在第二階段中,Video Conference(視訊會議)選項854被凸顯以標示視訊會議工具已被啓動。不同的實施例可以以不同的方式(例如,藉由凸顯選項的邊界或文字)來標示此選取。
在裝置800藉由選取Video Conference選項854以啓動視訊會議處理之後,第三階段820顯示UI 805。第三階段是當裝置等待視訊會議建立時(例如,當裝置等待呼叫的另一端上的裝置接受或拒絕視訊會議時)的轉換保留階段。在第三階段820中,當正在建立視訊會議連接時,裝置800的使用者仍然可以與其它裝置(亦即,Nancy Jones(南西瓊斯))的使用者談話。此外,藉由選取用於取消視訊會議請求的顯示於UI 805上的可選取的UI選項(未顯示),某些實施例允許裝置800的使用者在第三階段820中取消視訊會議請求。在此保留階段期間,不同的實施例在UI 805中使用不同的顯示以標示等待狀態。
如圖8所示,在某些實施例中,以裝置800正捕捉的視訊之全螢幕顯示與此視訊的底部之「Preview(預覽)」標記一起顯示第三階段的等待狀態。具體而言,在圖8中,第三階段820,藉由在UI 805的顯示區860中顯示裝置的相機正捕捉的視訊之全螢幕顯示,以顯示視訊會議處理的啓動。在某些實施例中,前相機是在視訊會議啓動時由裝置選取的內定相機。通常,在視訊會議啓動時,此前相機指向裝置的使用者。因此,在圖8中所示的實施例中,第三階段820顯示代表裝置800的使用者的全螢幕視訊之裝置800。在第三階段820期間,以出現於顯示區860中的視訊之下的「Preview」指示865,來進一步凸顯裝置的等待狀態。
在某些實施例中可以不同地表示轉換第三保留階段820。舉例而言,某些實施例允許裝置800的使用者選取後相機作為用於啓動視訊會議的相機。為了允許此選取,某些實施例允許使用者指明(例如,經由選單偏好設定)後相機作為用於視訊會議的啓動之內定相機,及/或在使用者選取Video Conference選項854之後允許使用者從顯示後及前相機的選單中選取後相機。在這些情形中的任一情形中,UI 805(例如,顯示區860)顯示第三保留階段820期間由後相機捕捉的視訊。
而且,其它實施例可以藉由顯示裝置800捕捉的視訊之較小版本、藉由顯示儲存於裝置800上的靜態影像、藉由提供訊息以凸顯裝置的等待狀態(例如,藉由顯示「Conference Being Established(會議建立中)」)、藉由未顯示「Preview(預覽)」指示、等等,以標示視訊會議工具的致動。而且,在第三階段820中,某些實施例的UI 805提供End按鍵(未顯示)以在使用者決定在此階段不進入視訊會議(例如,當使用者正等待遠端使用者回應他的請求時)時,允許使用者取消進入視訊會議及返回至電話呼叫。
在遠端使用者已接受視訊會議請求及視訊會議連接已建立之後,第四階段825顯示轉換狀態中的UI 805。在此轉換狀態中,如同箭頭875所示般,顯示區域使用者的視訊(正由本實施例中前相機捕捉)之顯示區860逐漸地降低尺寸(亦即,逐漸地縮小)。顯示區860(亦即,本地使用者的視訊)縮小,以致於UI 805可以顯示顯示區870(例如,顯示視窗870),顯示區870含有來自顯示區860之後的遠端裝置的相機之視訊。換言之,本地使用者的視訊860的縮小產生PIP顯示880,PIP顯示880具有本地使用者的視訊之前景嵌入顯示860及遠端使用者的背景主顯示870。在本實施例中,背景主顯示870呈現正由遠端裝置的前相機捕捉之淑女的視訊(例如,Nancy Jones,遠端裝置的使用者)或是正由遠端裝置的後相機捕捉之淑女的視訊(例如,視訊正由Nancy Jones捕捉的淑女)。習於此技藝者將瞭解圖8中所示的轉換第四階段僅為某些實施例使用的一舉例說明的方式,以及,其它實施例可以使轉換的第四階段不同地以動畫作動。
第四階段825也顯示下顯示區855中的可選取的UI選項832。可選取的UI選項832(可以以可選取的按鍵實施)提供在PIP顯示880之下的可選取的End Conference(結束會議)選項832。使用者可以選取此End Conference選項832以結束視訊會議(例如,經由單指碰觸)。不同的實施例可以允許使用者以不同方式結束會議,例如藉由雙態觸動行動裝置上的開關、藉由給予語音命令、等等。此外,在視訊會議期間,不同的實施例可以允許End Conference選項832逐漸退出,藉以允許PIP顯示880佔據整個顯示區885。然後,End Conference選項832在單指觸控顯示區885的底部時重現,令使用者可以存取End Conference選項832。在某些實施例中,顯示區855的佈局與下述更詳細說明的顯示區855相同。
在第四轉換狀態825的動畫結束之後,第五階段830顯示UI 805。具體而言,第五階段830顯示視訊會議期間由UI 805呈現的PIP顯示880。如上所述,此PIP顯示880包含二視訊顯示:來自遠端相機的較大的背景顯示870及來自本地相機的較小前景嵌入顯示860。
此PIP顯示880僅為呈現遠端及本地裝置捕捉的視訊的合成畫面之一方式。除了此合成畫面之外,某些實施例的裝置提供其它合成畫面。舉例而言,取代具有遠端使用者的較大的背景顯示870,較大的背景顯示870可以是本地使用者的以及遠端使用者的較小前景嵌入顯示860。如同下述進一步說明般,某些實施例允許使用者在視訊會議期間於本地相機及/或遠端相機之間切換作為用於PIP顯示880中的嵌入及主畫面的相機。
而且,某些實施例允許本地及遠端視訊出現在二個邊靠邊的顯示區中的UI 805中(例如,左及右顯示視窗、或上及下顯示視窗)或是二個對角線對齊的顯示區。如同下述進一步說明及上述併入參考的代理人參考編號APLE.P0212之美國專利申請號**之案名為「Establishing Video Conference During a Phone Call」的申請案中所述般,在某些實施例中,經由裝置的偏好設定或經由視訊會議期間使用者可以選取的控制,PIP顯示的方式或內定顯示模式可以由使用者指定。
當圖8的裝置800的使用者邀請遠端使用者參加視訊會議時,遠端使用者可以接受或拒絕邀請。圖9顯示在六個不同階段910、915、920、925、930、及935之遠端使用者的裝置900的UI 905,六個不同階段顯示用於在遠端使用者的裝置呈現及接受視訊會議邀請的操作序列。下述UI 905的說明將裝置900的使用者(亦即,接收視訊會議請求的裝置)視為邀請方,以及,將裝置800的使用者(亦即,傳送視訊會議請求的裝置)視為邀請提出者。而且,在本實施例中,假定邀請的接收方的裝置900是雙相機行動裝置,類似邀請提出者的雙相機行動裝置。但是,在其它實施例中,這些裝置之一或二者是單相機裝置。
第一階段910顯示當邀請接收方接收來自邀請提出者John Smith(約翰史密斯)之視訊會議邀請時的UI 905。如圖9所示,在此階段中的UI 905包含名稱欄995、訊息欄940、及二可選取的UI選項945和950。名稱欄995顯示正請求視訊會議的人員的名稱。在某些實施例中,名稱欄995顯示正請求視訊會議的人員的電話號碼而非人員名稱。訊息欄940顯示從邀請提出者至邀請接收方之邀請。在本實施例中,欄940中的「Video Conference Invitation(視訊會議邀請)」標示邀請提出者正請求與邀請接收方舉行視訊會議。可選取的UI選項945和950(可以以可選取的按鍵來實施)提供可選取的Deny Request(拒絕邀請)和Accept Request(接受邀請)選項945和950給接收方以用於拒絕或接受邀請。不同的實施例可以不同地顯示這些選項及/或顯示其它選項。
在看到顯示於訊息欄940中的「Video Conference Invitation(視訊會議邀請)」標示時,邀請接收方可以藉由選取UI中的Deny Request選項945或者Accept Request選項950而分別拒絕或接受請求。第二階段915顯示在圖9中所示的實施例中,使用者選取Accept Request選項950。在本實施例中,由使用者的手指碰觸Accept Request選項950以作出此選取,以及,經由此選項950的凸顯以標示此選取。在某些實施例中提出其它技術以選取Accept或Deny Request選項945和950(例如,二次碰觸、等等)來標示選取(例如,凸顯UI選項的邊界或文字)。
第三階段920顯示邀請接收方已同意參加視訊會議之後的UI 905。在本階段中,UI 905進入預覽模式,預覽模式在顯示區944中顯示來自遠端裝置的前相機之視訊的全螢幕顯示。在此情形中的前相機指向遠端裝置的使用者(亦即,在本實施例中的Nancy Jones)。因此,她的影像顯示於此預覽模式中。此預覽模式允許邀請接收方在視訊會議開始之前(例如在視訊的真正傳輸開始之前)確認她的視訊被適當地顯示及滿意她的外觀。在某些實施例中,例如「Preview」指示等指示可以顯示於顯示區944之下以標示邀請的接收方是在預覽模式中。
如同下述進一步說明及上述併入參考的代理人參考編號APLE.P0212之美國專利申請號**之案名為「Establishing Video Conference During a Phone Call」的申請案中所述般,某些實施例允許邀請的接收方選取後相機作為用於視訊會議開始的內定相機、或是在視訊會議開始時選取前或後相機。而且,其它實施例不同地顯示邀請方的預覽顯示(例如,以置於顯示區944的角落中的較小影像)。又有其它實施例未包含此預覽模式,而是在邀請接收方接受請求之後立即啓動視訊會議。
在第三階段中,UI 905顯示二可選取的UI選項975和946,其中之一重疊顯示區944,而另一者在此顯示區944之下。可選取的UI選項975是使用者可以選取以開始視訊會議的Accept按鍵975。可選取的UI選項946是End按鍵946,假使接收方決定此階段不參加視訊會議時,則她可以選取的可選取的UI選項是End按鍵946。
第四階段925顯示邀請接收方選取Accept按鍵975之後的UI 905。在本實施例中,Accept按鍵975被凸顯以標示邀請接收方準備好開始視訊會議。在其它實施例中,可以以不同方式標示此選取。
第五階段930顯示在邀請接收方已接受視訊會議請求之後處於轉換狀態的UI 905。在此轉換階段中,如同箭頭960所示般,顯示邀請接收方的視訊(亦即,在本實施例中正由前相機捕捉的視訊)的顯示區944尺寸逐漸變小(亦即,逐漸縮小)。邀請接收方的視訊縮小,以致於UI 905可以顯示顯示區965(例如,顯示視窗965),顯示區965含有來自顯示區944後方的邀請請求者的相機之視訊。換言之,邀請接收方的視訊之縮小產生PIP顯示980,PIP顯示980具有邀請接收方視訊的前景嵌入顯示區944及邀請請求者的背景主顯示965。
在本實施例中,背景主顯示965呈現視訊正由本地裝置的前相機捕捉的男士(亦即,John Smith,本地裝置800的使用者)之視訊。在另一實施例中,此視訊可以是視訊正由本地裝置的後相機捕捉之男士的視訊(例如,其視訊正由John Smith捕捉的男士)。不同的實施例可以不同地動畫化此轉換的第五階段。
在第五階段930的UI也顯示顯示區855(例如,工具列或選單列),顯示區855包含用於在視訊會議期間使其它使用者的音訊靜音的可選取的UI選項985(例如,靜音按鍵985)、用於結束視訊會議的可選取的UI選項987(例如,結束會議按鍵987)、以及下述進一步說明的用於切換相機之可選取的UI選項989(例如切換相機按鍵989)。確切而言,在視訊會議期間,邀請接收方可以選取可選取的UI選項985-989中的任意選項(例如,經由單指碰觸)以執行所需的操作。不同的實施例可以允許邀請接收方以例如雙態觸動行動裝置上的開關、給予語音命令等不同方式來執行任何操作。
雖然圖9顯示用於顯示區855的舉例說明的佈局,但是,某些實施例仍然提供例如圖8的顯示區855的佈局等顯示區855的不同佈局,顯示區855的佈局僅包含可選取的End Conference UI選項832以用於結束視訊會議。顯示區855的其它佈局可以包含任何數目之用於執行不同功能的不同的可選取的UI選項。此外,第五階段930顯示顯示於UI 905的底部之顯示區855。顯示區855的不同實施例可以顯示在UI 905之內的不同位置以及/或被界定為不同的形狀。
圖9顯示作為靜態顯示區的顯示區855(亦即,一直顯示顯示區855)。但是,在某些實施例中,顯示區855是動態顯示區。在某些此類實施例中,一般不會顯示顯示區855。但是,當接收觸發事件(例如碰觸顯示區980一次、語音命令等使用者選取)時,顯示顯示區855。可以由使用者經由視訊會議應用或行動裝置偏好設定來指定,在接收使用者選取(例如,選取可選取的靜音UI選項985)或是界定的時間量(例如3秒)之後,顯示區855消失。在某些此類實施例中,在視訊會議以同於上述的方式開始及消失之後,自動地顯示顯示區855。
第六階段935顯示第五轉換階段的動畫結束之後的UI 905。具體而言,第六階段顯示視訊會議期間由UI 905呈現的PIP顯示980。如上所述,PIP顯示980包含二視訊顯示:來自本地相機的較大背景顯示965及來自遠端相機的較小前景嵌入顯示944。此PIP顯示980僅為呈現遠端和本地裝置正捕捉的視訊之合成畫面的一方式。除了此合成畫面之外,某些實施例的裝置提供其它合成的畫面。舉例而言,取代具有較大的邀請接收方之背景顯示,較大的背景顯示可為邀請的提出者,以及,邀請的接收方可為較小的前景嵌入顯示。如同下述進一步說明及上述併入參考的代理人參考編號APLE.P0212之美國專利申請號**之案名為「Establishing Video Conference During a Phone Call」的申請案中所述般,某些實施例允許使用者控制PIP顯示中的嵌入及主畫面以便可切換地顯示本地和遠端相機。而且,某些實施例允許本地及遠端視訊出現在二個邊靠邊的顯示區中的UI 905中(例如,左及右顯示視窗、或上及下顯示視窗)或是二個對角線對齊的顯示區。如同上述併入參考的代理人參考編號APLE.P0212之美國專利申請號**之案名為「Establishing Video Conference During a Phone Call」的申請案中進一步所述般,在某些實施例中,經由裝置的偏好設定或經由視訊會議期間使用者可以選取的控制,PIP顯示的方式或內定顯示模式可以由使用者指定。
雖然圖9以六個不同的操作階段的觀點來顯示用於呈現及接受視訊會議邀請的操作序列,但是,某些實施例可以以較少階段來實施操作。舉例而言,某些此類實施例可以省略呈現第三及第四階段920和925,以及,在使用者選取Accept Request選項950之後從第二階段915前進至第五階段930。以較少階段實施該操作(亦即,呈現及接受視訊會議邀請)之其它實施例可以省略第一和第二階段910和915,以及,當邀請接收方接收來自邀請提出者的視訊會議邀請時,呈現第三階段920給使用者。
圖10顯示藉由結合第一和第三階段成為一階段以及結合第二和第四階段成為一階段而以較少階段執行圖9中所示的操作之實施例。特別地,此圖式顯示在五不同階段1090、1092、1094、930、及935之遠端使用者的裝置900的UI 905。第一階段1090類似於階段810,但是,名稱欄995顯示名稱「John Smith」以標示電話呼叫的另一端之人員的名稱除外。亦即,在遠端行動裝置的使用者與本地裝置的使用者之間已建立電話呼叫(亦即,在本實施例中為John Smith)。第二及第三階段1092和1094類似於圖9的第一和第二階段910和915,但是,第二和第三階段1092和1094也顯示遠端行動裝置的使用者預覽(亦即,在本實施例中為Nancy Jones)除外。第四和第五階段930和935與圖9的第五和第六階段930和935相同。
除了在電話呼叫期間經由可選取的選項來致動視訊會議工具之外,某些實施例還允許雙相機行動裝置的使用者直接地啓始視訊會議,不須首先產生電話呼叫。圖11顯示啓始視訊會議的另一此類替代方法。此圖式顯示在七個不同階段1110、1115、1120、1125、1130、1135、及1140之UI 1105,這七個不同階段顯示用於啓始視訊會議的替代操作序列。
在第一階段1110中,使用者搜尋此行動裝置上的聯絡名單,以找出他要在視訊會議中接觸的人員,這類似於他要找出呼叫的聯絡人般。在第二階段1115中,使用者選取與他進行視訊會議的人員1155(例如,經由人員名稱1155上的單指碰觸1160)。此選取觸發UI 1105去顯示聯絡人資訊和不同的使用者可選取的選項。在本實施例中,Jason(傑生)的名字1155被凸顯以標示此為使用者相要一起進行視訊會議的人員。不同的實施例可以以不同方式標示此選取。雖然第二階段1115允許裝置1100的使用者經由聯絡名單來選取使用者將要一起進行視訊會議的人員,但是,某些實施例允許使用者經由「Recents(最近)」呼叫歷史來選取人員,「Recents」呼叫歷史係列出與裝置1100的使用者最近一起進行視訊會議或電話呼叫的人員的特定號碼或名稱。
在第三階段1120中,UI 1105顯示在選取人員的名稱1155之後被選取的人員的資訊1162和不同的可選取的UI選項1168、1172、及1170。在本實施例中,不同的可選取的UI選項1172之一(可以以可選取的圖像或按鍵來實施)提供視訊會議工具。Video Conference選項1172允許使用者邀請經過聯絡人1166辨識的人員參加視訊會議。不同的實施例不同地顯示資訊1162和可選取的UI選項1168、1172、及1170(例如,以不同的配置)。
第四階段1125顯示選取Video Conference選項1172的使用者(例如,經由單指碰觸)。在本實施例中,Video Conference選項1172被凸顯以標示視訊會議工具1172已被致動。在不同的實施例中可以不同地標示這些選取(例如,藉由凸顯被選取的圖像之文字或邊界)。
第五、第六及第七階段1130、1135、及1140類似於圖8中所示的第三、第四和第五階段820、825、及830,且參考那些階段的說明可以瞭解這些階段。簡而言之,第五階段1130顯示等待遠端使用者回應視訊會議邀請之轉換保留階段。第六階段1135顯示在遠端使用者已接受視訊會議請求之後顯示區1180(顯示本地使用者的視訊)逐漸減少尺寸,以致於UI 1105可以顯示顯示區1192,顯示區1192含有來自顯示區1180後方的遠端使用者的相機之視訊。在第七階段1140中,在視訊會議期間,由UI 1105呈現PIP顯示1147。在某些實施例中,第六階段1135及第七階段1140中的顯示區855的佈局類似於上述圖9的顯示區855的佈局。
圖7、8、9、10及11顯示建立視訊會議的數個方式。在某些實施例中,在電話呼叫期間,音訊資料(例如聲音)經由一通訊通道(在例如電路交換通訊網路或封包交換通訊網路等通訊網路上)傳輸,以及,在視訊會議期間,音訊資料經另一通訊通道傳輸。如此,在這些實施例中,在視訊會議建立之前,音訊資料(例如,聲音)經由通訊通道傳輸,以及,一旦建立視訊會議時,音訊經由不同的通訊通道(取代電話呼叫期間所使用的通訊通道)傳輸。
為了提供從電話呼叫至視訊會議之音訊資料的無縫轉換(例如,交遞),某些實施例在建立視訊會議之前不會結束電話呼叫。舉例而言,某些實施例在經由同級間通訊對話傳輸電話呼叫和開始傳輸音訊/視訊資料之前,建立同級間視訊會議連接(例如,在完成圖7中所示的訊息系列之後)。或者,其它實施例在結束電話呼叫及開始呈現收到的音訊/視訊資料之前,建立同級間視訊會議連接(例如,在完成圖7中所示的訊息序列後)及經由同級間通訊對話開始傳送音訊/視訊資料。
某些實施例的同級間視訊會議連接允許視訊會議中的行動裝置彼此直接通訊(而非經由例如中央伺服器的通訊)。同級間視訊會議的某些實施例允許視訊會議中的行動裝置彼此分享資源。舉例而言,經由視訊會議的控制通訊通道,藉由將指令從一行動裝置傳送至另一行動裝置以指示另一行動裝置不同地處理影像(亦即,共用其影像處理資源),一行動裝置可以遠端地控制視訊會議中的另一行動裝置的操作,例如曝光調整操作、聚焦調整操作、及/或切換相機操作,下述將進一步詳述。
C. 視訊會議架構
如上所述,圖12概念地顯示某些實施例的雙相機行動裝置之視訊會議及處理模組1200的軟體架構。如同所示,視訊會議及處理模組1200包含客戶端應用1265、視訊會議模組1202、媒體交換模組1220、緩衝器1225、捕捉的影像處理單元(CIPU)驅動器1230、編碼器驅動器1235、及解碼器驅動器1240。在某些實施例中,緩衝器1225是框緩衝器,用於儲存顯示於雙相機行動裝置的顯示器1245上的視訊影像。
在某些實施例中,客戶端應用1265與圖6的視訊會議客戶端645相同。如上所述,客戶端應用1265可以整合成另一應用或是以獨立的應用來實施。客戶端應用1265可以是使用視訊會議模組1202的視訊會議功能之應用,例如視訊會議應用、網路電話(VOIP)應用(例如Skype)、或是瞬間發訊應用。
某些實施例的客戶端應用1265將例如啓始會議和結束會議指令等指令傳送給視訊會議模組1202、從視訊會議模組1202接收指令、安排指令從雙相機行動裝置的使用者至視訊會議模組1202之路徑、以及產生顯示於雙相機行動裝置上的使用者介面並允許使用者與應用相互作用。
D. 視訊會議管理器
如圖12所示,視訊會議模組1202包含視訊會議管理器1204、影像處理管理器1208、網路管理器1214、及緩衝器1206、1210、1212、1216、及1218。在某些實施例中,視訊會議模組1202與圖6中所示的視訊會議模組625相同,因此,執行與上述用於視訊會議模組625相同的某些或全部功能。
在某些實施例中,視訊會議管理器1204當視訊會議啓始時負責初始化視訊會議模組1202的某些或所有其它模組(例如,影像處理管理器1208及網路管理器1214)、在視訊會議期間控制視訊會議模組1202的操作、及當視訊會議結束時停止視訊會議模組1202的某些或所有其它模組的操作。
某些實施例的視訊會議管理器1204也處理從視訊會議中的一或更多裝置接收的影像以及由雙相機行動裝置的一或二相機捕捉的影像,用於顯示於雙相機行動裝置上。舉例而言,某些實施例的視訊會議管理器1204從緩衝器1218中檢索自參與視訊會議的另一裝置收到的已解碼影像,以及,從緩衝器1206中檢索由CIPU 1250處理過的影像(亦即,由雙相機行動裝置捕捉的影像)。在某些實施例中,視訊會議管理器1204也在影像於雙相機行動裝置上之前將影像調整比例及合成。亦即,在某些實施例中,視訊會議管理器1204產生PIP或其它合成畫面以顯示於行動裝置上。某些實施例將自緩衝器1206和1218檢索的影像調整比例,而其它實施例僅將自緩衝器1206和1218檢索的影像調整比例。
雖然圖12顯示視訊會議管理器1204作為視訊會議模組1202的一部份,但是,視訊會議管理器1204的某些實施例實施成為與視訊會議模組1202分開的元件。確切而言,單一視訊會議管理器1204可以用以管理及控制數個視訊會議模組1202。舉例而言,某些實施例將在本地裝置上執行分開的視訊會議模組以與多方會議中的各方互動,以及,本地裝置上這些視訊會議模組中的每一模組由一個視訊會議管理器管理及控制。
在雙相機行動裝置的相機所捕捉的影像由編碼器1255編碼之前,某些實施例的影像處理管理器1208處理這些影像。舉例而言,影像處理管理器1208的某些實施例對CIPU1250處理過的影像執行曝光調整、聚焦調整、透視校正、動態範圍調整、及影像尺寸變更中之一或更多。在某些實施例中,影像處理管理器1208控制傳送至視訊會議中的其它裝置之經過編碼的影像的框速率。
網路管理器1214的某些實施例管理雙相機行動裝置與參與視訊會議的其它裝置之間的一或更多連接。舉例而言,某些實施例中的網路管理器1214在視訊會議啓始時在雙相機行動裝置與視訊會議的其它裝置之間建立連接以及在視訊會議結束時拆除這些連接。
在視訊會議期間,網路管理器1214將編碼器1255編碼的影像傳送至視訊會議的其它裝置,以及,安排自視訊會議的其它裝置接收的影像至用於解碼的解碼器1260的路徑。在某些實施例中,網路管理器1214而非影像處理管理器1208控制傳送至視訊會議的其它裝置之影像的框速率。舉例而言,網路管理器1214的某些此類實施例藉由丟棄(亦即,未傳送)預定要傳送至視訊會議的其它裝置之某些經過編碼的框以控制框速率。
如同所示,某些實施例的媒體交換模組1220包含相機源模組1222、視訊壓縮器模組1224、及視訊解壓縮器模組1226。媒體交換模組1220與圖3中所示的提供更多細節之媒體交換模組310相同。相機源模組1222安排訊息與媒體內容經由CIPU驅動器1230而在視訊會議模組1202與CIPU 1250之間的傳輸路徑,視訊壓縮器模組1224安排訊息與媒體內容經由解碼器驅動器1235而在視訊會議模組1202與編碼器1255之間的傳輸路徑,以及,視訊解壓縮器模組1226安排訊息與媒體內容經由解碼器驅動器1240而在視訊會議模組1202與解碼器1260之間的傳輸路徑。某些實施例將包含於媒體交換模組310中的TNR模組315(未顯示於圖12中)實施作為相機源模組1222的一部份,而其它實施例將TNR模組315實施作為視訊會議壓縮器模組1224的一部份。
在某些實施例中,CIPU驅動器1230及編碼器驅動器1235與圖3中所示的CIPU驅動器305和編碼器驅動器320相同。某些實施例的解碼器驅動器1240作為視訊解碼器模組1226與解碼器1260之間的通訊介面。在這些實施例中,解碼器1260將經由網路管理器1214而從視訊會議的其它裝置收到的以及路經視訊解壓縮器模組1226的影像解碼。在影像被解碼之後,它們經由解碼器驅動器1240及視訊解壓縮模組1226而被送回至視訊會議模組1202。
在視訊會議期間除了執行視訊處理之外,某些實施例之用於雙相機行動裝置的視訊會議及處理模組1200也在視訊會議期間執行音訊處理操作。圖13顯示此軟體架構。如同所示,視訊會議及處理模組1200包含視訊會議模組1202(包含視訊會議管理器1204、影像處理管理器1208、及網路管理器1214)、媒體交換模組1220、及客戶端應用1265。圖13中省略圖12中所示的視訊會議及處理模組1200的其它元件和模組,以簡化說明。視訊會議及處理模組1200也包含框緩衝器1305和1310、音訊處理管理器1315、及音訊驅動器1320。在某些實施例中,音訊處理管理器1315實施作為分別的軟體模組,而在其它實施例中,音訊處理管理器1315實施作為媒體交換模組1220的一部份。
音訊處理管理器1315處理雙相機行動裝置捕捉的音訊資料以傳送至視訊會議中的其它裝置。舉例而言,音訊處理管理器1315經由音訊驅動器1320以接收麥克風1325捕捉的音訊資料,以及,在儲存經過編碼的音訊資料於緩衝器1305中以傳送至其它裝置之前,將音訊資料編碼。音訊處理管理器1315也處理由視訊會議中的其它裝置所捕捉及接收的音訊資料。舉例而言,音訊處理管理器1315從緩衝器1310中檢索音訊資料以及將音訊資料解碼,然後音訊資料經由音訊驅動器1320輸出至揚音器1330。
在某些實施例中,視訊會議模組1202與音訊處理管理器1315和其相關的緩衝器一起作為較大的會議模組的一部份。當在多個裝置之間執行多方音訊會議而未交換視訊內容時,視訊會議及處理模組1200僅使用網路管理器1214和音訊處理管理器1315以便於在網際網路協定(IP)層上交換音訊。
現在將參考圖14,說明某些實施例的視訊會議管理器1204的操作。圖14概念地顯示由例如圖12中所示的視訊會議管理器1204等某些實施例的視訊會議管理器執行的處理1400。這可以等同於由圖6的管理層635執行。在某些實施例中,當雙相機行動裝置的使用者接受(例如,經由顯示於雙相機行動裝置上的使用者介面)視訊會議請求時或當另一裝置的使用者接受雙相機行動裝置的使用者送出的請求時,視訊會議管理器1204執行處理1400。
處理1400始於接收(在1405)啓始視訊會議的指令。在某些實施例中,從客戶應用1265接收指令,或經由顯示於雙相機行動裝置上的使用者介面而從使用者接收指令,指令由客戶端應用1265遞送至視訊會議管理器1204。舉例而言,在某些實施例中,當雙相機行動裝置的使用者接受視訊會議請求時,經由使用者介面接收指令並由客戶端應用遞送指令。另一方面,當其它裝置的使用者接受從本地裝置傳送的請求時,某些實施例從客戶端應用接收指令而不用使用者介面互動(雖然可能已有先前的使用者介面互動以送出初始請求)。
接著,處理1400初始化(在1410)與視訊會議管理器1204交互作用的第一模組。與視訊會議管理器1204交互作用的某些實施例的模組包含CIPU 1250、影像處理管理器1208、音訊處理管理器1315、及網路管理器1214。
在某些實施例中,初始化CIPU 1250包含指令CIPU 1250啓動雙相機行動裝置的一或二相機所捕捉的影像。某些實施例藉由指令影像處理管理器1208開始從緩衝器1210檢索影像以及處理和編碼檢索到的影像,以初始化影像處理管理器1208。為了初始化音訊處理管理器1315,某些實施例指令音訊處理管理器1315開始將麥克風1325捕捉的音訊資料編碼以及將儲存於緩衝器1310中(自其它裝置收到)的音訊資料解碼,以輸出至揚音器1330。某些實施例的網路管理器1214的初始化包含指令網路管理器1214建立與視訊會議中的其它裝置之網路連接。
處理1400接著決定(在1415)是否還剩下任何模組要初始化。當還有模組要初始化時,處理1400返回至操作1410以初始化這些模組中的另一模組。當所有所需的模組已被初始化時,處理1400產生(在1420)合成影像,用於顯示於雙相機行動裝置(亦即,本地顯示)上。這些合成影像包含上述併入參考的代理人參考編號APLE.P0212之美國專利申請號**之案名為「Establishing Video Conference During a Phone Call」的申請案中的圖65中所示的那些影像(亦即,PIP或其它合成顯示),以及,可以包含來自本地雙相機行動裝置的相機的影像與來自參與視訊會議的其它裝置的相機之影像的不同組合。
接著,處理1400決定(在1425)是否已對視訊會議作出改變。某些實施例經由與顯示於雙相機行動裝置上的使用者介面之使用者互動以接收對視訊會議的改變,而其它實施例經由網路管理器1214(亦即,遠端控制)而從其它裝置接收對視訊會議的改變。在某些實施例中,也可以從客戶端應用1265或視訊會議模組1202中的其它模組,接收對視訊會議設定的改變。視訊會議設定也可以因為網路條件的改變而改變。
當已作出改變時,處理1400決定(在1430)對視訊會議的改變是否改變成網路設定。在某些實施例中,改變是網路設定改變或影像捕捉設定改變。當對視訊會議的改變是網路設定的改變時,處理修改(在1440)網路設定及進行至操作1445。某些實施例的網路設定改變包含改變影像被編碼的位元速率或是影像傳送至其它裝置的框速率。
當對視訊會議的改變不是網路設定改變時,處理1400判定改變是影像捕捉設定的改變,然後,進行至操作1435。處理1400接著執行(在1435)影像捕捉設定的改變。在某些實施例中,影像捕捉設定的改變包含切換相機(亦即,切換雙相機行動裝置上將捕捉影像的相機)、聚焦調整、曝光調整、顯示或不顯示來自雙相機行動裝置的一或二相機、以及放大或縮小顯示於雙相機行動裝置上的影像、以及其它設定改變。
在操作1445,處理1400決定是否結束視訊會議。當處理1400決定不結束視訊會議時,處理1400返回至操作1420。當處理1400決定視訊會議將結束時,處理1400結束。處理1400的某些實施例當處理1400從客戶端應用1265接收結束視訊會議的指令(亦即,因為經由本地雙相機行動裝置的使用者介面收到的指令、或是從參與視訊會議的其它裝置收到指令)時,決定結束視訊會議。
在某些實施例中,當視訊會議結束時,視訊會議管理器1204執行處理1400中未顯示之各式各樣操作。某些實施例指令CIPU 1250停止產生影像、指令網路管理器1214拆解與視訊會議中的其它裝置之網路連接、以及指令影像處理管理器1208停止處理和編碼影像。
E. 影像處理管理器&編碼器
除了由CIPU及/或CIPU驅動器執行的暫時雜訊降低及影像處理操作之外,某些實施例在視訊會議模組625的影像處理層630還執行各式各樣的影像處理操作。這些影像處理操作可以包含曝光調整、聚焦調整、透視校正、動態範圍的調整、及影像尺寸變更、等等。
圖15概念地顯示用於執行此影像處理操作的處理1500。在某些實施例中,處理1500中的某些或所有操作由圖12的影像處理管理器1208及編碼器驅動器1235的組合所執行。在這些實施例中的某些實施例中,影像處理管理器1208執行像素為基礎的處理(例如,尺寸變更、動態範圍調整、透視校正、等等)。某些實施例在視訊會議期間對要被傳送至參與視訊會議的另一裝置之影像執行處理1500。
現在將參考圖12,說明處理1500。處理始於從緩衝器1206檢索(在1505)影像。在某些實施例,檢索到的影像是視訊的影像(亦即,在影像序列中的影像)。此視訊已由處理1500於其上執行的裝置之相機捕捉。
接著,處理1500對檢索到的影像執行(在1510)曝光調整。某些實施例經由顯示於雙相機行動裝置上的使用者介面以執行曝光調整。圖16顯示這些實施例的舉例說明的曝光調整操作。
此圖式顯示參考裝置1600的UI 1605的三個階段1610、1615、及1620之曝光調整操作。第一階段1610顯示包含顯示區1625和顯示區855之UI 1605。如同所示,顯示區1625顯示太陽及具有暗臉和身體的人的影像1630。暗臉及身體表示人未被適當地曝光。影像1630可以是由裝置1600的相機捕捉的視訊影像。如同所示,顯示區855包含用於結束視訊會議之可選取的UI選項1650。在某些實施例中,顯示區855的佈局與上述圖9的顯示區855的佈局相同。
第二階段1615顯示裝置1600的使用者,其藉由選取顯示區1625的區域而初始化曝光調整操作。在本實施例中,藉由將手指1635置於顯示區1625內的任意處以作出選取。在某些實施例中,使用者從可能的影像設定調整的選單中選取曝光調整。
第三階段1620顯示完成曝光調整操作後的人的影像1640。如同所示,影像1640類似於影像1630,但是,影像1640中的人被適當地曝光。在某些實施例中,適當曝光的影像是在不適當曝光的影像之後捕捉的影像。在第二階段1615中啓始的曝光調整操作調整裝置1600的相機捕捉的後續影像的曝光。
回至圖15,處理1500接著對影像執行(在1515)聚焦調整。某些實施例經由顯示於雙相機行動裝置上的使用者介面以執行聚焦調整。圖17概念地顯示此聚焦調整操作的實施例。
圖17顯示參考裝置1700的UI 1705的三個不同階段1710、1715、及1720的聚焦調整操作。第一階段1710顯示包含顯示區1725和顯示區855的UI 1705。顯示區1725呈現裝置1700的相機捕捉的人的模糊影像1730。模糊表示人的影像1730失焦。亦即,當人的影像1730由相機捕捉時相機的鏡頭未聚焦於鏡頭上。而且,影像1730可以是由裝置1700的相機捕捉的視訊影像。如同所示,顯示區855包含用於結束視訊會議的可選取UI項1750。在某些實施例中,顯示區855的佈局與上述圖9的顯示區855的佈局相同。
第二階段1715顯示裝置1700的使用者,其藉由選取顯示區1725的區域而啓始聚焦調整操作。在本實施例中,藉由將手指1735置於顯示區1725內的任意處以作出選取。在某些實施例中,使用者從可能的影像設定調整之選單中選取聚焦調整。
第三階段1720顯示完成聚焦調整後的人的影像1740。如同所示,影像1740與影像1730相同,但是,影像1740中的人顯得較清晰。這意指相機的鏡頭被適當地聚焦於人上。在某些實施例中,適當聚焦的影像是在不適當聚焦的影像之後捕捉的影像。在第二階段1715中啓始的聚焦調整操作調整裝置1700的相機捕捉的後續影像。
回至圖15,處理1500對影像執行(在1520)影像尺寸變更。某些實施例對影像執行影像尺寸變更以降低用以將影像編碼之位元的數目(亦即,降低位元速率)。在某些實施例中,如同參考上述併入參考的代理人參考編號APLE.P0212之美國專利申請號**之案名為「Establishing Video Conference During a Phone Call」的申請案中的圖26中所述般,處理1500執行影像尺寸變更。處理1500接著對影像執行(在1525)透視校正。在某些實施例中,處理1500如同參考上述併入參考的代理人參考編號APLE.P0212之美國專利申請號**之案名為「Establishing Video Conference During a Phone Call」的申請案中的圖24中所示般執行透視校正。此透視校正涉及使用由一或更多加速度儀及/或陀螺儀感測器取得的資料,加速度儀及/或陀螺儀感測器係辨識雙相機行動裝置的方向及移動。然後,此資料被用以修改影像以校正關閉的透視。
在對影像執行透視校正之後,處理1500調整(在1530)影像的動態範圍。在某些實施例中,影像的動態範圍是影像中每一像素可以具有的可能值的範圍。舉例而言,具有0-255動態範圍的影像可以被調整至0-128的範圍或任何其它的值範圍。調整影像的動態範圍可以降低將被用以將影像編碼(亦即,降低位元速率)及藉以將影像平滑的位元量。
調整影像的動態範圍也可以用於各種其它目的。一目的是降低影像雜訊(例如,由雜訊相機感測器捕捉的影像)。為了降低雜訊,也可以調整影像的動態範圍,以致於黑色位準被再界定以包含較淡的黑色(亦即,碎黑)。以此方式,降低影像的雜訊。動態範圍調整的另一目的是調整一或更多顏色或顏色範圍以增強影像。舉例而言,某些實施例可以假定由前相機捕捉的影像是人臉的影像。因此,影像的動態範圍可以調整以增加紅和粉紅色來使人的臉頰呈現紅潤的/更紅潤的。動態範圍調整操作也可以用於其它目的。最後,處理1500決定(在1535)用以將影像編碼的一或更多速率控制器參數。在某些實施例中,此速率控制器參數可以包含量化參數及框型式(例如,預測的、雙向的、框內編碼的)。然後,處理結束。
雖然處理1500的各種操作顯示為依特定次序執行,但是,習於此技藝者將瞭解很多這些操作(曝光調整、聚焦調整、透視校正、等等)可以以任何次序執行以及不會彼此相依。亦即,某些實施例的處理可以在曝光調整之前執行聚焦調整,或是對圖15中所示的處理執行類似的修改。
F. 網路管理器
圖18概念地顯示例如圖12中所示的網路管理器1214等某些實施例的網路管理器1800的軟體架構。如上所述,網路管理器1800管理雙相機行動裝置與視訊會議中的遠端裝置之間的網路連接(例如,連接建立、連接監視、連接調整、連接拆除、等等),網路管理器1800在所述管理雙相機行動裝置上執行。在視訊會議期間,某些實施例的網路管理器1800也處理用於傳送至遠端裝置的資料以及處理從遠端裝置收到的資料。
如圖18所示,網路管理器1800包含對話協商管理器1805、發送器模組1815、通用傳輸緩衝器1820、通用傳輸緩衝器管理器1822、虛擬交通協定(VTP)管理器1825、接收器模組1830、及媒體交通管理器1835。
對話協商管理器1805包含通訊協定管理器1810。通訊協定管理器1810確保發送器模組1815使用正確的通訊協定以在視訊會議期間傳送資料至遠端裝置以及加強使用的通訊協定的管理。通訊協定管理器1810的某些實施例支援一些通訊協定,例如即時交通通訊協定(RTP)、傳輸控制通訊協定(TCP)、使用者資料包通訊協定(UDP)、及超文件傳送通訊協定(HTTP)、等等。對話協商管理器1805負責建立雙相機行動裝置與參與視訊會議的一或更多遠端裝置之間的連接、以及在會議之後拆解這些連接。在某些實施例中,對話協商管理器1805也負責在雙相機行動裝置與視訊會議的遠端裝置之間(使用對話初始化通訊協定(SIP))建立多媒體通訊對話(例如,傳送及接收視訊及/或音訊串)。對話協商管理器1805也從媒體交通管理器1835接收回饋資料,以及,根據回饋資料,經由通用傳輸緩衝器管理器1822,決定通用傳輸緩衝器1820(例如,是否傳送或丟棄封包/框)。在某些實施例中,此回饋可以包含單向潛伏及頻寬評估位元速率。在其它實施例中,回饋包含封包遺失資訊及來回延遲時間(例如,根據送至視訊會議中的遠端裝置之封包及來自該裝置的確認之接收而決定的)。根據來自媒體交通管理器1835的資訊,對話協商管理器1805可以決定是否有太多封包正被傳送且指令通用傳輸緩衝器管理器1822使通用傳輸緩衝器1820傳送較少的封包(亦即,調整位元速率)。
發送器模組1815從視訊緩衝器(例如,圖12的緩衝器1212)檢索經過編碼的影像(例如,位元串)及將影像封包,以經由通用傳輸緩衝器1820和虛擬交通協定管理器1825而傳輸至視訊會議中的遠端裝置。經過編碼的影像被產生及傳送至發送器模組1815的方式可以根據從媒體交通管理器1835及/或對話協商管理器1805收到的指令或資料。在某些實施例中,將影像封包化涉及將收到的位元串打斷成均具有特定大小(亦即,根據特定通訊協定由對話協商管理器1805指定的大小)的封包組,並加上任何所需的表頭(例如,位址表頭、通訊協定規定表頭、等等)。
通用傳輸緩衝器管理器1822根據從對話協商管理器1805收到的資料及/或指令,控制通用傳輸緩衝器1820的操作。舉例而言,通用傳輸緩衝器管理器1822可以被指令以指示通用傳輸緩衝器1820傳送資料、停止傳送資料、丟棄資料、等等。如上所述,在某些實施例中,當參與會議的遠端裝置呈現正丟棄封包時,這將根據自遠端裝置收到的確認而被辨認。為了降低封包丟棄,通用傳輸緩衝器管理器1822可以被指令以較緩慢的速率傳送封包至遠端裝置。
通用傳輸緩衝器1820儲存自發送器模組1815收到的資料並將資料經由VTP管理器1825傳送至遠端裝置。如上所述,根據自通用傳輸緩衝器管理器1822收到的指令,通用傳輸緩衝器1820可以丟棄資料(例如,視訊的影像)。
在某些實施例中,在視訊會議期間,使用RTP於UDP上傳送資料封包(例如,音訊封包和視訊封包)。其它實施例在視訊會議期間使用RTP以在TCP上傳送資料封包。在不同的實施例中也可以使用其它的交通層通訊協定。某些實施例藉由成對埠號數(亦即,源埠號數及目的地埠號數)以界定二行動裝置之間的特定通訊通道。舉例而言,在行動裝置之間的一通訊通道可以由一對埠號數(例如,源埠50和目的地埠100)界定,以及,在行動裝置之間的另一不同的通訊通道可以由另一不同對的埠號數(例如,源埠75和目的地埠150)界定。某些實施例在界定通訊通道時也使用成對的網際網路通訊協定(IP)位址。在某些實施例中使用不同的通訊通道以傳送不同型式的資料封包。舉例而言,視訊資料封包、音訊資料封包、及控制發訊資料封包可以在分別的通訊通道中傳送。確切而言,視訊通訊通道傳輸視訊資料封包,音訊通訊通道傳輸音訊資料封包。
在某些實施例中,控制通訊通道是用於在視訊會議期間在本地行動裝置與遠端裝置之間發訊。此發訊的實施例包含發送及接收請求、通知、及對這些請求和通知的確認。發訊的另一實施例包含將遠端控制指令訊息從一裝置傳送至另一裝置。舉例而言,藉由經由用於本地裝置的控制通訊通道而將指令從本地裝置傳送至遠端裝置以遙控遠端裝置的操作,可以執行上述併入參考的代理人參考編號APLE.P0212之美國專利申請號**之案名為「Establishing Video Conference During a Phone Call」的申請案中所述的遠端控制操作(例如,指令裝置從一特定相機僅傳送影像或是以特定相機僅捕捉影像)。不同的實施例使用例如即時傳輸控制通訊協定(RTCP)、RTP延伸、SIP等不同的通訊協定,實施控制通訊。舉例而言,某些實施例使用RTP延伸以在視訊會議中的二行動裝置之間中繼傳遞一組控制訊息,以及使用SIP封包以在視訊會議期間在行動裝置之間中繼傳遞另一組控制訊息。某些實施例的VTP管理器1825允許被指定經由不同的通訊通道(例如使用不同對的埠號數)傳送之不同型式的資料封包經由單一通訊通道(例如,使用相同對的埠號數)傳送。用於執行此點的一技術涉及辨識資料封包型式、藉由取出資料封包的指定對的埠號數以辨識資料封包被指定要傳送通過的通訊通道、以及藉由將資料封包的成對的埠號數修改為單一通訊通道的成對的埠號數以指定資料封包經過單一通訊通道傳送(亦即,所有資料封包經過同對的埠號數傳送)。
為了保持追蹤用於資料封包的每一型式之原始成對的埠號數,某些實施例儲存用於資料封包型式的原始成對的埠號數。這些實施例中的某些實施例接著使用通訊協定的封包型式欄以區別正被多工化成為一通訊通道的不同封包。舉例而言,具有VTP管理器的某些實施例將音訊、視訊及控制封包多工化成為一RTP串、使用RTP封包型式欄以區別在一RTP通道中傳送至視訊會議中的另一裝置之音訊、視訊及控制封包。在這些實施例中的某些實施例中,VTP管理器也安排SIP封包中的控制發訊至其它裝置的路徑。
某些實施例辨識檢查資料封包特徵標誌(亦即,封包表頭格式)以區別使用不同通訊協定傳送的不同封包(例如,區別使用RTP傳輸的封包與使用SIP傳輸的封包)。在這些實施例中,在決定不同的通訊協定的資料封包之後,如上所述般檢查使用相同通訊協定(例如,使用RTP的音訊資料和視訊資料)之資料封包欄,以辨別不同的資料型式。依此方式,VTP管理器1825經由單一通訊通道傳送企圖經由不同的通訊通道傳送的不同資料封包。雖然上述說明經由單一通訊頻道結合不同型式的資料之一方式,但是,其它實施例使用其它技術以將不同封包型式多工化成為一通訊串。舉例而言,某些實施例的一技術涉及追蹤資料封包的原始成對的埠號數並將原始成對的埠號數儲存於資料封包本身中以便往後取出。又有其它方式是將二視訊會議參與者之間的不同型式的資料結合成一埠對通道。
當VTP管理器1825經由虛擬化通訊通道而從遠端裝置接收資料封包時,VTP管理器1825檢查資料封包的特徵標誌以辨別使用不同的通訊協定傳送的不同封包。這些特徵標誌可以用以將SIP封包與RTP封包區別。某些實施例的VTP管理器也使用某些或所有的封包的封包型式欄以將被多工化成單一虛擬化通道之各種不同型式的封包(例如音訊、視訊和控制封包)解多工。在辨別這些不同型式的封包之後,VTP管理器根據其保有的埠成對號數的比對,將每一不同型式的封包與其對應的埠成對號數相關連。然後,VTP管理器1825修改具有經過辨別的埠號數對之資料封包的埠號數對,以及遞送資料封包以解封包。在使用不同的技術以將不同封包型式多工化成為單一通道的其它實施例中,VTP管理器使用不同的技術以對封包作語法分析。藉由使用將不同封包多工化及解多工化的這些技術,VTP管理器1825產生單一的虛擬化通訊通道(例如,單對的埠號數)、經由單一虛擬化通訊通道傳送視訊資料、音訊資料、及控制發訊資料、以及經由單一虛擬化通訊通道而從遠端裝置接收音訊、視訊、及控制封包。因此,從網路的觀點而言,資料傳送經過此單一虛擬化通訊通道,而從對話協商管理器1805及通訊協定管理器1810的觀點而言,視訊資料、音訊資料、及控制發訊資料傳送經過不同的通訊通道。
類似於被傳送至視訊會議中的遠端裝置之影像,以封包格式接收從視訊會議中的遠端裝置傳送的影像。接收器模組1830接收封包,以及,在將影像儲存於視訊緩衝器(例如圖12的緩衝器1216)中以便解碼之前,將這些封包解封包以重建影像。在某些實施例中,將影像解封包涉及從封包中移除任何表頭及重建僅具有影像資料(及潛在的尺寸資料)的位元串。
媒體交通管理器1835處理從網路收到的回饋資料(例如,單向潛伏、頻寬評估位元速率、封包遺失資料、來回延遲時間資料、等等),以動態地及適應地調整資料傳輸的速率(亦即,位元速率)。媒體交通管理器1835也根據經過處理的回饋資料來控制誤差彈性,以及,也將回饋資料送至視訊會議管理器1204以使調整例如調整比例、變更尺寸、及編碼等視訊會議模組1202的其它操作。當會議中的遠端裝置無法處理所有封包時使通用傳輸緩衝器丟棄封包之外,視訊會議模組及編碼器還可以使用更低的位元速率以用於將影像編碼,以致於對每一影像將傳送更少的封包。
在某些實施例中,如上所述般,媒體交通管理器1835也將監視例如耗電及熱程度等其它的裝置變數,這些裝置變數可以影響相機的操作功率模式如何規劃。此資料也可以作為回饋資料的增加輸入(例如,假使裝置正變得太熱時,媒體交通管理器1835嘗試使處理變慢)。
現在將參考圖12,說明網路管理器1800的數個舉例說明的操作。首先,將說明由雙相機行動裝置的相機捕捉的影像傳輸至視訊會議中的遠端裝置,接著說明從遠端裝置接收影像。發送器模組1815從緩衝器1212檢索要傳送至視訊會議中的遠端裝置之經過編碼的影像。
通訊協定管理器1810決定要使用的適當的通訊協定(例如,傳送音訊和視訊的RTP),以及,對話協商管理器1805通知此通訊協定的發送器模組1805。接著,發送器模組1815將影像封包及將經過封包的影像傳送至通用傳輸緩衝器1820。通用傳輸緩衝器管理器1822從對話協商管理器1805接收指令以指示通用傳輸緩衝器1820傳送或丟棄影像。VTP管理器1825從通用傳輸緩衝器1820接收封包以及處理封包,以便經由單一通訊通道而傳送封包至遠端裝置。當從遠端裝置接收影像時,VTP管理器1825經由虛擬化的單一通訊通道而從遠端裝置接收封包化的影像,以及,處理封包以將影像導引經過被指定接收影像的通訊通道(例如,視訊通訊通道)而至接收器模組1830。接收器模組1830將封包解封包以重建影像並將影像送至緩衝器1216以由解碼器1260解碼。接收器模組1830也將控制發訊訊息遞送至媒體交通管理器1835(例如,自視訊會議中的遠端裝置收到的封包之確認)。
上述說明網路管理器1800的數個舉例說明的操作。這些僅為說明的實施例,不同的其它實施例可以使用不同的模組或不同地散佈於模組之間的功能,執行這些或不同的操作。此外,藉由網路管理器1800的模組或其它模組,可以執行例如動態位元速率調整等其它操作。
IV. 會議中調整及控制操作
A. 畫中畫修改
1. 旋轉
某些實施例當用於視訊會議的行動裝置的使用者在會議期間旋轉裝置時,將視訊會議期間呈現的PIP顯示旋轉。圖19顯示當裝置從垂直位置旋轉至水平位置時裝置1900的UI 805的旋轉。當螢幕的長邊是垂直時,裝置1900被垂直地固持,而當螢幕的長邊是水平時,裝置1900被水平地固持。在圖19中所示的實施例中,UI 805從對裝置的垂直固持最佳化的直式畫面旋轉至對裝置1900的水平固持最佳化的橫式觀視。此旋轉功能當行動裝置1900被垂直地或水平地固持時允許使用者觀視顯示於右上位置中的UI 805。圖19以六個不同的操作階段1910、1915、1920、1925、1930及1935顯示UI 805的旋轉。第一階段1910顯示裝置的本地使用者與遠端裝置的遠端使用者之間於視訊會議期間的UI 805。圖19中的UI 805顯示視訊會議建立之後與圖8的第五階段中所示的PIP顯示相同的PIP顯示880。在本實施例中,由本地使用者的裝置捕捉的視訊顯示於嵌入顯示區860中,以及,由遠端使用者的裝置捕捉的視訊顯示於背景顯示區870中。在PIP顯示880之下的顯示區855中,包含可選取的UI選項1985(例如,結束會議鍵1985),使用者可以選取此UI選項1985以結束視訊會議(例如,經由單指碰觸)。
第二階段1915顯示使用者開始側向地傾斜裝置1900之後的UI 805。在本實施例中,如同箭頭1960所示般,使用者開始將裝置1900從被垂直地固持傾斜至被水平地固持。UI 805的外觀未改變。在其它情形中,替代地,使用者可以將裝置1900從被水平地固持傾斜至被垂直地固持,以及,在這些情形中,UI 805從水平最佳化畫面切換至垂直最佳化畫面。
第三階段1920顯示裝置1900已從被垂直地固持而傾斜至被水平地固持後的狀態中的UI 805。在此狀態中,UI 805的外觀仍然未改變。在某些實施例中,在裝置1900傾斜超過臨界量且保持超過此點一段持續時間之後,旋轉操作被觸發。在圖19所示的實施例中,假定該臨界量和旋轉的速度不會造成UI 805旋轉直到裝置已被置於水平位置之後一段短時間為止。不同的實施例具有用於觸發旋轉操作之不同的臨界量及等待時間。舉例而言,某些實施例可以具有此低臨界值以觸發旋轉操作,以致不論裝置1900的方向為何,使UI 805仍然呈現好像總是顯示於右上方位置處。在其它實施例中,裝置1900的使用者可以指定旋轉操作何時被觸發(例如,經由選單偏好設定)。而且,某些實施例在裝置傾斜超過臨界量之後可能不會延遲旋轉。此外,不同的實施例可以允許旋轉操作被以不同方式觸發,例如藉由雙態觸動行動裝置上的開關、藉由給予聲音命令、經由選單選取、等等。
第四階段1925顯示旋轉操作啓動後的UI 805。某些實施例使旋轉顯示區以動畫作動以提供回饋給與旋轉操作有關的使用者。圖19顯示一個此動畫的實施例。具體而言,在其第四階段1925中顯示顯示區880和855的旋轉一起開始。顯示區880和855圍繞經過UI 805的中心之軸1965(亦即,z軸)旋轉。顯示區880和855以相同量旋轉但是以與裝置1900的旋轉方向相反的方向旋轉(例如,經由裝置1900的傾斜)。在本實施例中,由於裝置1900已以順時針方向旋轉九十度(從被垂直地固持至被水平地固持),所以,旋轉操作將促使顯示區880和855以逆時鐘方向旋轉九十度。當顯示區880和855旋轉時,顯示區880和855成比例地縮小以適合UI 805,以致於顯示區880和855仍然可以完全地顯示於UI 805上。某些實施例可以提供訊息以標示此裝置1900的狀態(例如,藉由顯示「旋轉」文字)。第五階段1930顯示顯示區880和855已從直式畫面逆時鐘旋轉90度至橫式畫面後的UI 805。在此階段中,顯示區880和855已被旋轉但尚未擴展跨越UI 805的全部寬度。箭頭1975標示第五階段結束時,顯示區880和855將開始橫向地擴展以適合UI 805的全部寬度。由於擴展可以與第四階段1925中的旋轉同時地執行,所以,不同的實施例可以不包含此階段。
第六階段1935顯示在顯示區880和855已擴展至佔據UI 805的全部顯示之後的UI 805。如上所述,其它實施例可以不同地實施此旋轉。對某些實施例而言,不論裝置1900的方向為何,簡單地旋轉裝置的螢幕超過臨界量可以觸發旋轉操作。
而且,其它實施例可以提供不同的動畫,用於標示旋轉操作。圖19中執行的旋轉操作涉及顯示區880和855圍繞UI 805的中心旋轉。或者,顯示區可以圍繞它們個別的顯示區的中心軸個別地旋轉。一此方式顯示於圖20中。圖20顯示使UI 805的PIP顯示880的顯示區870和860的旋轉以動畫作動的另一方法。圖20中所示的PIP顯示880與圖8中所示的PIP顯示880相同。
圖20顯示在六個不同操作階段1910、1915、1920、2025、2030、及2035之PIP顯示880的旋轉。UI 805的前三個操作階段與圖19中的UI 805中所述的前三個操作階段相同。在圖19和20的第三階段,裝置2000已從被垂直地固持進入被水平地固持且UI 805的旋轉尚未開始。第四階段2025顯示動畫旋轉的另一方法。在此階段中,旋轉操作已啓動。具體而言,第四階段2025顯示顯示區870和860的旋轉開始。顯示區870和860分別圍繞經過每一顯示區的中心之軸(亦即,z軸)2067和2065旋轉。顯示區870和860以與裝置2000的旋轉量相同的量但相反的旋轉方向旋轉(例如,經由裝置2000的傾斜)。類似於上述圖19的第四階段1925中所示,由於裝置2000已在順時鐘方向上旋轉九十度(從被垂直地固持至被水平地固持),所以,旋轉操作將造成顯示區870和860以逆時鐘方向旋轉九十度。當顯示區870和860旋轉時,顯示區870和860成比例地縮小以適合UI 805,以致於顯示區870和860仍然可以完全地呈現於UI 805上。
第五階段2030顯示顯示區870和860中的每一區從直式畫面逆時鐘旋轉九十度至橫式畫面之後的UI 805。在此階段中,顯示區870和860已旋轉但是尚未擴展遍及UI 805的全部寬度。此外,顯示區860尚未移至其最終位置。如同第一階段1910中所示般,在PIP顯示880中的嵌入顯示區860的最終位置由PIP顯示880中的嵌入顯示區860的位置決定(例如,在PIP顯示880的左下角中的嵌入顯示區860)。在此階段中,嵌入顯示區860仍然在UI 805的左上角中。
箭頭2080標示在第五階段2030結束時,顯示區870及860將開始橫向地擴展直至主顯示區870適合被水平地固持之裝置的UI 805的全部寬度為止。此外,箭頭2075標示嵌入顯示區860將滑至PIP顯示880的左下角。
不同的實施例可以不同地實施此點。在某些實施例中,嵌入顯示區860的移動可以與主顯示區870的擴展同時地或依序地發生。此外,某些實施例可以在主顯示區870擴展前、期間或之後變更嵌入顯示區860的尺寸,以產生新的PIP顯示880。在本實施例中,當顯示區860和870正旋轉時,顯示區855消失。但是,在某些實施例中,顯示區855可以在旋轉期間維持在UI 805上以及與顯示區860和870一起旋轉。
第六階段2035顯示嵌入顯示區860到達其新的位置且顯示區860和870已適當地擴展至適合UI 805的全部寬度之後的UI 805。在本實施例中,嵌入顯示區860現在處於PIP顯示880的左下角,與主顯示區870重疊。PIP顯示880現在具有與來自第一階段1910的PIP顯示880相同的顯示配置。在第六階段中在PIP顯示880之下的顯示區855的外觀標示旋轉操作完成。如上所述,無論裝置2000的方向為何,簡單地旋轉裝置的螢幕至超過臨界量可以觸發旋轉操作。
在參考圖19和20的上述實施例中,顯示區870的方向也改變(亦即,從直式至橫式)。亦即,在顯示區870在第三階段1920中旋轉之後,藉由水平地擴展PIP顯示880以致於其填充整個UI 805,顯示區870的方向會從直式變成橫式。在某些實施例中,當裝置2000旋轉時,由遠端裝置捕捉的視訊會旋轉但是顯示遠端裝置捕捉的視訊之顯示區的方向維持不變。一此實施例顯示於圖21中。顯示區870中顯示的視訊旋轉但顯示區870維持直式方式顯示除外,此圖類似於圖20。
圖21也顯示旋轉操作的實施例,其中,顯示區855維持在相同的位置(取代如圖20所示的旋轉及水平地擴展至填充PIP顯示880)。此外,此圖包含與圖9中上述的顯示區855的佈局相同的顯示區855的佈局。如同所示,當裝置2000在階段2140、2145、2150、2155、2185、及2190中旋轉時,顯示區855都維持相同的位置。
某些實施例提供旋轉操作,其中,顯示本地裝置捕捉的視訊之顯示區的方向改變(取代如圖20所示之維持在相同方向)以反應對本地裝置執行旋轉操作之後本地裝置的方向。圖21顯示參考六個不同階段2140、2145、2150、2155、2185及2190之UI 805的此旋轉操作的實施例。在此圖中,第一階段2140以直式方向顯示嵌入顯示區860,其顯示裝置2000的相機捕捉的視訊。當第二及第三階段2145和2150顯示旋轉操作的不同階段之裝置2000的傾斜時,第二及第三階段2145和2150類似於圖20的第二和第三階段1915和1920。在此點,裝置2000的相機正以橫式方向捕捉像機。為了標示此轉變,某些實施例提供如第四和第五階段2155和2185中所示的動畫,而其它實施例完全未提供任何動畫。
在第四階段2155中,由於第二和第三階段1945和2150中裝置2000的傾斜已使嵌入顯示區860旋轉至橫式方向,所以,顯示於嵌入顯示區860中的影像被旋轉而非嵌入顯示區860本身。在第五階段2185中,嵌入顯示區860中被旋轉的影像水平地擴展至填充嵌入顯示區860且嵌入顯示區860開始移向PIP顯示880的左下區以將嵌入顯示區860定位於與第一階段2140的PIP顯示中的嵌入顯示區860相同的相對位置。
在某些實施例中,顯示遠端裝置捕捉的視訊之顯示區的方向也改變以反應對遠端裝置執行旋轉操作後的遠端裝置的方向。圖22顯示裝置2000的UI 805的四個不同階段,其中,(1)顯示本地裝置捕捉的視訊之顯示區(在本實施例中為顯示區860)的方向改變以反應對本地裝置執行旋轉操作後本地裝置的方向,以及,(2)顯示遠端裝置捕捉的視訊之顯示區(在本實施例中為顯示區870)的方向改變以反應對遠地裝置執行旋轉操作後遠地裝置的方向。
在第一階段2205中,UI 805與圖21中的UI 805相同。具體而言,由於裝置2000以直式方向顯示且遠端裝置處於直式方向(未顯示),所以,第一階段2205以直式方向顯示顯示區860和870。從第一階段2205至第二階段2210,藉由將裝置2000從右上位置九十度旋轉至側邊位置,而對本地裝置執行旋轉操作。第二階段2210顯示裝置2000的旋轉操作完成之後的UI 805。在此階段中,顯示於顯示區870和860中的視訊已旋轉至右上方位置。但是,由於僅對本地裝置(亦即,裝置2000)執行旋轉操作,所以,僅有本地捕捉的視訊之顯示區860已從直式方向旋轉至橫式方向。顯示區870維持在直式方向。
從第二階段2210至第三階段2215,藉由將遠端裝置從右上方位置旋轉至側邊位置(未顯示),對遠端裝置執行旋轉操作。第三階段2215顯示遠端裝置的旋轉操作完成後的UI 805。在此階段中,由於僅對遠端裝置執行旋轉操作,所以,顯示於顯示區870中的視訊及遠端捕捉的視訊的顯示區870已從直式方向旋轉至橫式方向。因此,UI 805的此階段以橫式方向顯示本地及遠端捕捉的視訊之顯示區870和860。
從第三階段2215至第四階段2220,藉由將裝置2000從側邊位置九十度旋轉至右上方位置,以對本地裝置執行旋轉操作。第四階段2220顯示此旋轉操作完成後的UI 805。在此第四階段2220中,顯示於顯示區860和870中的視訊已旋轉至右上方位置。但是,由於僅對本地裝置(亦即,裝置2000)執行旋轉,所以,僅有本地捕捉的視訊之顯示區860從橫式方向旋轉至直式方式。顯示區870維持橫式方向。
從第四階段2220至第一階段2205,藉由將遠端裝置從側邊位置九十度旋轉至右上方位置(未顯示),以對遠端裝置執行旋轉操作。在此情形中,第一階段2205顯示此旋轉操作完成後的顯示區870。因此,此階段的UI 805顯示直式方向的顯示區860和870。雖然圖22顯示不同旋轉操作的序列,但是,其它實施例可以以任何數目的不同序列來執行任何次數的旋轉操作。
圖19、20、21和22說明視訊會議期間對本地和遠端裝置執行的旋轉操作。當對本地行動裝置執行旋轉操作時,某些實施例依造遠端裝置的次序通知旋轉操作的遠端裝置以對本地裝置的視訊執行任何修改(例如旋轉正顯示本地裝置的視訊之顯示區)。類似地,當對遠端裝置執行旋轉操作時,遠端裝置通知此操作的本地裝置允許本地裝置對遠端裝置的視訊執行任何修改。某些實施例提供控制通訊通道,用於在視訊會議期間在本地與遠地裝置之間傳送旋轉操作的通知。
即使圖19、20、21、及22顯示可以執行旋轉動畫的不同方式,習於此技藝者將瞭解其它實施例可以以其它不同方式來顯示旋轉的動畫。此外,旋轉操作的動畫可以對本地行動裝置的影像處理操作造成改變,例如使視訊會議管理器1204再合成UI 805中不同角度的顯示區以及將顯示區中顯示的影像調整比例。
2. 辨識感興趣的區域
某些實施例允許使用者辨識視訊會議期間顯示的視訊中的感興趣的區域(ROI),以在視訊會議期間修改影像處理(例如,圖12中的影像處理管理器1208)、編碼(例如,圖12中的編碼器1255)、行動裝置的表現及它們的相機、或其組合。不同的實施例提供不同的技術,用於辨識視訊中的此感興趣的區域。圖23顯示某些實施例的使用者介面,用於辨識視訊中的感興趣的區域,以增進視訊的影像品質。
在圖23中,行動裝置2325的UI 2300呈現與另一行動裝置的遠端使用者進行視訊會議期間的PIP顯示2365。圖23中的PIP顯示包含二視訊顯示:背景主顯示2330和前景嵌入顯示2335。在本實施例中,背景主顯示2330呈現戴帽子的人及樹的視訊,戴帽子的人及樹被假定為其視訊正由遠端裝置的前相機捕捉的樹和人或是視訊正由遠端裝置的後相機捕捉的樹和人。前景嵌入顯示2335呈現人的視訊,在本實施例中,此人被假定為視訊正由本地裝置的前相機捕捉的人或是被假定為視訊正由本地裝置的後相機捕捉的人。在PIP顯示之下是顯示區855,其包含標有「End Conference」的可選取的UI選項2360(例如,鍵2360),允許使用者藉由選取此選項以結束視訊會議。
此PIP顯示僅為呈現正由遠端和本地裝置捕捉的視訊之全成畫面。某些實施例可以提供其它合成畫面。舉例而言,取代具有用於來自遠端裝置的視訊之較大的背景顯示,較大的背景顯示可以具有來自本地裝置的視訊以及較小的前景嵌入顯示具有來自遠端裝置的視訊。而且,某些實施例允許本地和遠端裝置出現在二個邊接邊的顯示區(例如,左和右顯示視窗、或是頂部及底部顯示視窗)中或是二個對角線對齊的顯示區的UI中。在其它實施例中,PIP顯示也含有較大的背景顯示及二個較小的前景嵌入顯示。在某些實施例中,PIP顯示或內定顯示模式的方式可以由使用者指定。
圖23以UI 2300的四個操作階段顯示ROI辨識操作。如同第一階段2305中所示般,呈現於背景顯示2330中的視訊具有很低的品質(亦即,視訊影像是模糊的)。在本實施例中,行動裝置2325的使用者將人臉2370出現之背景顯示2330中的區域辨識為感興趣的區域。
在第二階段2310中,啓始辨識感興趣的區域的操作。在本實施例中,藉由選取使用者要辨識為感興趣的區域之呈現於背景顯示2330中的視訊中的區域(例如,以手指2350碰觸背景顯示2330中關於顯示的人臉2370的位置處之裝置螢幕),以啓始操作。
如同第三階段2315中所示般,使用者選取區域會使得UI 2300拖曳圍繞使用者選取的區域之包圍框2375(例如虛線正方形2375)。第四階段2320顯示感興趣的區域的辨識完成之後的UI 2300。由於此處理的結果,在感興趣的區域之內的視訊的品質較第一階段2305中的品質實質上增進。包圍框2375的移除表示ROI選取操作現在完成了。在某些實施例中,如同對本地裝置2325所執行般,ROI辨識處理也對顯示於遠端裝置上的相同視訊造成相同的改變。在本實施例中,舉例而言,在顯示於遠端裝置上的相同視訊的感興趣的區域之內的畫面品質也實質上增進。在某些實施例中,在第三階段2315中使用者可以放大或縮小包圍框2375(例如,將手指2350朝下保持於顯示上及將手指2350移向螢幕的右上角以放大包圍框2375或將手指2350移向螢幕的左下角以縮小包圍框2375)。某些實施例也在第三階段2315中允許使用者重新置放包圍框2375(例如,藉由將手指2350朝下置於顯示上及將手指2350在顯示上水平地或垂直地移動)。在某些其它實施例中,在第三階段2315中,區域的選取完全不會促使UI 2300去繪出包圍框2375。
其它實施例提供不同的技術,允許使用者辨識視訊中的感興趣的區域。圖24顯示一此其它技術。在圖24中,使用者藉由繪製包圍區域的形狀以辨識感興趣的區域。在本實施例中的形狀是長方形,但是,其可為其它形狀(例如,任何其它多邊形、圓形、橢圓形、等等)。某些實施例在裝置UI中提供圖24的此另一技術,裝置UI也提供圖23中所示的技術。但是,其它實施例未在相同的UI中提供這二種技術。
圖24以UI 2300的五個操作階段顯示此ROI辨識操作。圖24中的第一階段2305與圖23中的第一階段2305相同。具體而言,在此第一階段2305中,UI 2300顯示PIP顯示2365,PIP顯示2365具有較大的背景主顯示2330及位於PIP顯示2365的底部左下角之較小的前景嵌入顯示2335。在第二階段2410中,啓始辨識感興趣的區域的操作。
在本實施例中,藉由選取第一位置一段持續時間,以界定呈現於背景顯示區2330中的視訊之感興趣的區域(例如,將手指2450向下保持在背景顯示2330中顯示的人臉2370的大約位置處的裝置螢幕上一段持續時間),而啓始操作。在第三階段2415中,UI 2300標示以背景顯示區2330上被選取的第一位置相鄰之點2455來選取第一位置2470。
第四階段2420顯示使用者已選取用於界定感興趣的區域的第二位置2475後的UI 2300。在本實施例中,使用者在點2455出現後,如同箭頭2460所示般,將手指2450從第一位置拖曳越過裝置的螢幕以及停在背景顯示區2330中顯示的帽子和顯示的樹之間的位置處,以選取此第二位置2475。如同第四階段所示般,此拖曳使UI 2300繪出長方形邊界2465以用於感興趣的區域的地區,感興趣的區域的地區在其相對立頂點處具有第一和第二位置2470和2475。第五階段2425顯示完成感興趣的區域的辨識後的UI 2300。在本實施例中,一旦已辨識所需的感興趣的區域時,使用者藉由停止手指2450的拖曳及將手指2450從裝置的顯示螢幕移離,而完成感興趣的區域的辨識。第五階段2425顯示由於繪製處理的結果,感興趣的區域內的品質已較第一階段2305的品質實質地增進。在某些實施例中,繪製處理如同對本地裝置2325執行處理般,也對遠端裝置上的顯示造成相同的改變。在本實施例中,舉例而言,在顯示於遠端裝置上的相同視訊的感興趣的區域內的畫面品質將實質地增進。
上述圖23和24的說明顯示辨識視訊中的感興趣的區域以增進經過辨識的區域畫面品質之不同方式。在某些實施例中,增進經過辨識的感興趣的區域之畫面品質會對雙相機行動裝置的編碼操作造成改變,例如,當將視訊編碼時,分配更多的位元給經過辨識的區域。
某些實施例允許使用者辨識視訊中的感興趣的區域以對行動裝置或它們的相機造成不同的改變。舉例而言,圖25顯示辨識視訊中的感興趣的區域以擴展或縮小顯示上感興趣的區域的地區之實施例。在此方式中,使用者藉由選取顯示上的區域作為感興趣的區域的中心,然後將感興趣的區域的地區擴展或縮小,以辨識視訊中感興趣的區域。在圖25中,行動裝置2525的UI 2500呈現與另一行動裝置的遠端使用者進行視訊會議期間的PIP顯示2365。在圖25中的PIP顯示2365實質上類似於圖23的PIP顯示2365,但是,圖25的前景嵌入顯示2335位於PIP顯示2365的左下角。
圖25以UI 2500的四個操作階段來顯示ROI選取操作。如同第一階段2505中所示般,背景顯示2530呈現人在顯示2530的左側而樹2540在顯示2530的右側的視訊。此外,樹2540相對小且僅佔據背景顯示區2530右側。在本實施例中,行動裝置2525的使用者要將樹2540出現在顯示2530之區域辨識為感興趣的區域。
在第二階段2510中,啓始辨識感興趣的區域的操作。在本實施例中,藉由選取使用者要辨識為感興趣的區域的背景顯示2530中呈現的視訊中的區域2540(例如,藉由將二手指2545和2546向下保持在顯示樹2540的背景顯示區2530上),以將操作啓始。在此階段2510,使用者藉由將其手指2545和2546彼此拖離得更遠,可以使感興趣的區域2540的地區擴展及佔據背景顯示區2530的較大部份。使用者也可以藉由將其手指2545和2546一起拖曳成更接近而使感興趣的區域2540的地區縮小以佔據背景顯示區2530較小的部份。
第三階段2515顯示使用者如箭頭2550所示般將其手指2545和2546移動成彼此更遠離(亦即,手指2545移向背景顯示區2530的左上角而手指2546移向顯示2530的右下角)而開始使感興趣的區域2540擴展以佔據背景顯示區2530的較大部份後的UI 2500。在某些實施例中,如同手指移動對本地裝置造成改變般,手指移動也會對遠地裝置的顯示造成相同的改變。在本實施例中,舉例而言,相同視訊的感興趣的區域將擴展及佔據遠端裝置的背景顯示區2530的較大部份。在某些實施例中,如同下述進一步說明般,本地顯示及/或遠端顯示中的感興趣的區域的擴展會促使行動裝置之一或二者或是它們的相機修改它們的其它操作之一或更多。
第四階段2520顯示完成感興趣的區域的辨識後的UI 2500。在本實施例中,一旦感興趣的區域到達背景顯示區2530中的所需部份時,使用者藉由停止其手指2545和2546的拖曳以及將手指2545和2546移離裝置的顯示螢幕,而完成感興趣的區域的辨識。由於此處理的結果,感興趣的區域佔據大部份的背景顯示2530。感興趣的區域的辨識操作現在完成。
上述某些實施例顯示使用者如何辨識視訊中的感興趣的區域以增進視訊中選取的感興趣的區域之內的影像品質(例如,藉由增加用於將視訊的感興趣的區域部份編碼之位元速率)。在某些實施例中,辨識視訊中的感興趣的區域會對行動裝置的例如曝光、調整比例、聚焦等影像處理操作造成改變。舉例而言,辨識視訊中的感興趣的區域造成視訊會議管理器1204將視訊的影像不同地調整比例及合成(例如,辨識要縮放的感興趣的區域)。
在其它實施例中,辨識視訊中的感興趣的區域會對行動裝置的相機的操作造成改變(例如,框速率、變焦、曝光、調整比例、聚焦、等等)。在又其它實施例中,辨識視訊中的感興趣的區域將對行動裝置的編碼操作造成改變,例如分配更多的位元給經過辨識的區域、調整比例、等等。此外,雖然上述舉例說明的ROI辨識操作對行動裝置或其相機僅造成上述修改之一,但是,在某些其它實施例中,ROI辨識操作對行動裝置或其相機造成這些修改中的一個以上的修改。此外,在某些實施例中,圖23-25中的顯示區855的佈局與上述圖9的顯示區855的佈局相同。
B. 切換相機
某些實施例提供視訊會議期間切換相機(亦即,切換用以捕捉影像的相機)之程序。不同的實施例提供不同的程序,用於執行切換相機操作。某些實施例提供由雙相機行動裝置執行的用於切換裝置的相機(亦即,本地切換)之程序,而其它實施例提供程序,以供雙相機行動裝置指令視訊會議中的另一雙相機行動裝置切換其它裝置(亦即,遠端裝置)的相機。又其它實施例提供用於二者的程式。第IV.B.1節將說明對雙相機行動裝置執行本地切換相機操作的處理。第IV.B.2節將說明用於對雙相機行動裝置執行遠端切換相機的處理。
1. 本地切換相機
圖26顯示處理2600,某些實施例在雙相機行動裝置上執行處理2600,以在與包含至少一相機的遠端行動裝置的視訊會議期間,在裝置的二相機之間切換。在某些實施例中,由圖12中所示的視訊會議管理器1204執行處理2600。為了說明,將本地雙相機行動裝置的一相機稱為相機1以及將本地雙相機行動裝置的另一相機稱為相機2。
處理2600始於啓始(在2605)本地雙相機行動裝置與遠端行動裝置之間的視訊會議。接著,處理2600將來自本地雙相機行動裝置的目前選取的相機(例如,相機1)之視訊影像傳送(在2610)至遠端行動裝置以顯示於遠端行動裝置上。在2610,處理根據此視訊影像及其從遠端行動裝置收到的視訊影像,產生及顯示合成顯示。
處理2600接著決定(在2615)是否收到結束視訊會議的請求。如上所述,在某些實施例中,可以依本地雙相機行動裝置的使用者的請求(例如,經由本地雙相機行動裝置的使用者介面)或是遠端行動裝置的使用者的請求(例如,經由遠端行動裝置的使用者介面),結束視訊會議。當處理2600收到結束視訊會議的請求時,處理2600結束。當處理2600未收到結束視訊會議的請求時,處理2600接著決定(在2620)本地雙相機行動裝置的使用者是否已指示裝置為視訊會議切換相機。當處理2600決定(在2620)其未指示切換相機時,處理2600返回至操作2610。但是,當處理2600決定(在2620)其已指示切換相機時,處理2600轉換至操作2625。
在2625,處理2600將通知送至遠端行動裝置以標示本地雙相機行動裝置正切換相機。在某些實施例中,如同上述所述般,處理2600經由視訊會議控制通道而送出通知,所述視訊會議控制通道是由VTP管理器1825多工化的音訊和視訊通道。
在送出其通知後,處理2600執行(在2630)切換相機操作。在某些實施例中,執行(在2630)切換相機操作包含指令CIPU停止以相機1捕捉視訊影像以及開始以相機2捕捉視訊影像。這些指令可以簡單地指令CIPU從相機2相關連的像素陣列切換捕捉影像以及開始處理這些影像。或者,在某些實施例中,由初始化參數組完成對CIPU的指令,所述初始化參數組指令CIPU(1)根據特定的設定組來操作相機2、(2)以特定的框速率來捕捉相機2產生的視訊、及/或(3)根據特定設定組(例如,解析度、等等),處理來自相機2的視訊影像。
在某些實施例中,切換相機指令(在2630)也包含如上所述的用於切換未被使用的相機至第四操作電力模式的指令。在本實施例中,切換相機指令包含使相機2切換至第四操作電力模式的指令。此外,切換相機指令也包含指令,以使相機1從其第四操作電力模式切換至例如第一操作電力模式等另一操作電力模式,以保存電力,或是切換至第三操作電力模式,以致於其可以快速地切換至第四操作電力模式及當被請求捕捉影像時開始捕捉影像。切換相機操作2630也涉及將本地雙相機行動裝置的相機2捕捉的影像(取代相機1捕捉的影像)與自遠端行動裝置收到的影像一起合成,以顯示於本地雙相機行動裝置上。
在2630指示切換相機之後,處理2600在本地雙相機行動裝置上執行(在2635)切換相機動畫,以顯示來自相機1的影像顯示與來自相機2的影像顯示之間的轉換。跟隨在本地雙相機行動裝置上的切換相機動畫之後,處理2600進行經過操作2610-2620的迴路,直至收到結束視訊會議請求或新的相機切換請求為止。
圖27顯示某些實施例如何允許經由雙相機裝置的UI 805請求的切換相機操作及這些實施例如何將切換相機操作動畫化的一實施例。此圖以裝置的UI 805的八個不同的操作階段2710、2715、2720、2725、2730、2735、2740、及2745來顯示切換相機操作。UI 805的前四個階段2710、2715、2720、及2725顯示接收切換相機的使用者請求之實施例。在本發明的某些實施例中,裝置的使用者具有其它機制以作出此請求。
第一階段2710與圖8的UI 805的第五階段830相同,其顯示建立視訊會議後的UI 805。在此階段,UI 805顯示包含下述二個視訊顯示的PIP顯示:來自遠端相機的較大背景顯示及來自本地相機的較小前景嵌入顯示。在本實施例中,背景主顯示區870代表女士的視訊,在本實施例中,此女士被假定為視訊正由遠端裝置捕捉的女士,而前景嵌入顯示區860代表男士的視訊,在本實施例中,此男士被假定為視訊正由本地裝置的前相機捕捉的男士。
然後,第二階段2715顯示經由UI 805的PIP顯示區880的選取之切換相機操作的啓始。如同所示,藉由將使用者的手指2770置於PIP顯示880上,以作出選取。第三階段2720顯示UI 805,UI 805包含可選取的UI選項2775(例如切換相機鍵2775),用於在視訊會議期間請求在本地裝置2700的相機之間切換。第四階段2725顯示本地裝置2700的使用者選取(例如,經由單指碰觸)可選取的UI選項2775後、以及經由可選取的UI選項2775的凸顯而標示此選取後的UI 805。在視訊會議期間,藉由選取此可選取的UI選項2775,使用者正指示裝置2700從裝置2700的前相機切換至裝置2700的後相機。在裝置2700的後相機正捕捉視訊的其它實施例中,使用者選取可選取的UI選項2775會指示裝置2700從裝置2700的後相機切換至裝置2700的前相機。在第四階段之後,視訊會議管理器將指令送至CIPU及遠端裝置以開始切換相機操作。
UI 805的後四個階段2730、2735、2740及2745顯示本地裝置上的切換相機動畫的實施例。此動畫是要提供一印象,由本地裝置的前及後相機捕捉的視訊目前正同時顯示於觀視窗的二相對側上,觀視窗使其複數個側邊中僅有一側邊在任何時刻由使用者觀視。當在視訊會議的中途請求切換相機時,使此觀視窗呈現圍繞垂直軸旋轉,以致於先前顯示一相機的視訊給使用者之觀視窗的一側上的一相機的視訊的呈現會旋轉直到其由觀視窗的另一側取代為止。藉由下述而取得看到的觀視窗旋轉的動畫及外觀:(1)逐漸地縮小及應用透視校正操作至用於一相機的顯示區中來自該相機的視訊影像,接續在後為(2)對顯示區中來自另一相機的視訊影像逐漸擴展及縮小透視校正操作。因此,第五階段2730顯示圍繞垂直軸2782之「觀視窗旋轉」。為了呈現觀視窗旋轉,UI 805縮小視訊顯示區860中的前相機的視訊影像的尺寸,以及,應用透視操作以使其呈現視訊影像的右側比視訊影像的左側更遠離使用者。
第六階段2735顯示觀視窗已旋轉90度,以致於如同顯示區860的中間顯示的細線2786所呈現般,使用者可以僅觀視此觀視窗的邊緣。第七階段2740顯示觀視窗繼續旋轉以致於觀視窗2788的背側現在逐漸地呈現給使用者,以便顯示從使用者的後相機捕捉的視訊。再度地,在某些實施例中,藉由縮小視訊顯示區2788中的後相機的視訊影像的尺寸、以及應用透視操作以使其呈現視訊影像的左側比視訊影像的右側更遠離使用者,可以取得旋轉動畫的展示。第八階段2745顯示切換相機操作動畫完成。具體而言,此階段在顯示區860中顯示正由裝置2700的後相機捕捉的汽車的視訊影像。
參考圖27的上述實施例經由切換相機使用者介面以喚起切換相機操作。其它的實施例不同地喚起切換相機操作。舉例而言,某些實施例藉由使切換相機可選取的UI選項在視訊會議期間永久地顯示於例如圖28的UI 805等UI上,以喚啓切換相機操作。在圖28中,切換相機鍵989與靜音鍵985和結束會議鍵987一起顯示於顯示區855中。顯示區855的佈局與參考圖9之上述中所述的顯示區855的佈局相同。
圖28以六個階段2710、2890、2730、2735、2740、及2745顯示UI 805的切換相機操作。除了顯示區855的佈局顯示靜音鍵985、結束會議鍵987、及切換相機鍵989而非單一結束會議鍵之外,圖28的第一階段2710類似於圖27的第一階段2710。第二階段2890顯示本地裝置2700的使用者選取(例如,經由使用手指2770之單一手指碰觸)切換相機可選取的UI選項989後的UI 805。在本實施例中,在視訊會議期間,藉由選取此可選取的UI選項989,使用者指示裝置2700從裝置2700的前相機切換至裝置2700的後相機。除了顯示區855的佈局與第一階段2710中上述的佈局相同且因而不再說明以免因不必要的細節而模糊本發明的說明之外,圖28的最後四個階段類似於圖27的最後四個階段。
在某些實施例中,當遠端行動裝置從本地雙相機行動裝置的不同的相機(亦即,本地雙相機行動裝置切換相機)接收影像時,遠端行動裝置也執行切換相機動畫以顯示來自本地雙相機行動裝置的一相機的影像的顯示與來自本地雙相機行動裝置的另一相機的影像的顯示之間的轉換。圖29以UI 2905的五個操作階段2910、2915、2920、2925、及2930來顯示此切換相機動畫之一的實施例。此圖於遠端行動裝置2900上顯示舉例說明的切換相機動畫。除了對來自於本地雙相機行動裝置的影像顯示於遠端行動裝置2900上之顯示區2935中顯示的影像執行動畫之外,這些操作階段都與圖27舉例說明的動畫相同。確切而言,顯示區2935中顯示的男士的影像被以動畫顯示,而呈現位於顯示區2950的中間的垂直軸2955旋轉180度,以顯示顯示區2935中的男士的影像顯示與汽車2970的影像顯示之間的轉換。某些實施例的切換相機動畫的實施與上述動畫的實施相同。
上述實施例顯示具有特定使用者介面佈局的遠端裝置上的切換相機動畫。其它實施例可以在具有不同的使用者介面佈局的遠端裝置上執行此切換相機動畫。圖30顯示遠端裝置2900的一此實施例,遠端裝置2900具有不同的使用者介面佈局2905。特別地,圖30的UI 2905具有包含於顯示區855中之靜音鍵985、結束會議鍵987、及切換相機鍵989,顯示區855在視訊會議期間永久地顯示於合成顯示2950的一側上。在參考圖29的上述中說明三個鍵的佈局。除了使用者介面佈局不同之外,圖30的五個階段2910、2915、2920、2925、及2930與圖29的五個階段2910、2915、2920、2925、及2930相同。
2. 遠端切換相機
圖31顯示視訊會議期間在遠端雙相機裝置的二相機之間切換的處理3100。此處理3100由包含至少一相機的裝置之視訊會議管理器執行。在下述說明中,使用者藉以指令遠端切換相機的裝置稱為本地裝置,而在其二相機之間切換的裝置稱為遠端裝置。而且,在下述說明中,遠端裝置可說是在其前相機(或相機1)與其後相機(或相機2)之間切換。
參考圖32、33、34及35,說明圖31的處理3100。圖32顯示本地裝置3200的UI 3205,在視訊會議期間,使用者經由本地裝置3200以請求遠端裝置在其二相機之間切換。此圖顯示此UI 3205的八個不同的操作階段3210、3215、3220、3225、3230、3235、3240、及3245。圖35顯示接收來自本地裝置3200的切換相機請求之遠端裝置3500的UI 3505。圖35顯示UI 3505的六個不同操作階段3510、3515、3520、3525、3530、及3535。
如圖31所示,處理3100始於啓始(在3105)本地與遠端裝置之間的視訊會議。然後,處理3100(在3110)接收來自各別裝置的一相機(例如,來自各別裝置的前相機)之影像,以及,根據這些影像以產生用於視訊會議的合成畫面。在3110,處理3100也將視訊影像從本地裝置送至遠端裝置。
接著,處理3100決定(在3115)是否已收到結束視訊會議的請求。如上所述,在某些實施例中,可以依本地或遠端裝置的使用者的請求而結束視訊會議。當處理3100收到結束視訊會議的請求時,處理3100結束。
當處理3100未收到結束視訊會議的請求時,處理3100接著決定(在3120)處理3100正在其上執行的裝置之使用者(亦即,本地裝置的使用者)是否已指示裝置請求遠端裝置為視訊會議而在其相機之間切換。當處理3100判定(在3120)其未被指示啓始遠端切換相機時,處理3100返回至操作3110。當處理3100判定(在3120)其已被如此指示時,則處理3100轉換至下述進一步說明的3125。
圖32的UI 3205的前四個階段3210、3215、3220、及3225顯示接收切換遠端裝置的相機之使用者請求的實施例。第一及第二階段3210和3215與圖27的第一和第二階段2710和2715相同。除了第三階段3220包含用以請求遠端裝置3200切換相機之可選取的UI選項3280以及用於請求本地裝置3200切換相機之可選取的UI選項3275之外,第三階段3220均與第三階段2720相同。第四階段3225顯示本地裝置3200的使用者選取用於請求遠端裝置切換相機之UI選項3280(例如,經由可選取的UI選項3280的單指碰觸3270)。藉由凸顯可選取的UI選項3280以標示選取。圖32顯示執行此操作的一實施例,但是,其它實施例可以不同地執行用於請求遠端裝置切換相機的操作。
參考圖32的上述實施例經由遠端切換相機使用者介面而啓動遠端切換相機操作。其它實施例可以不同地啓動遠端切換相機操作。舉例而言,某些實施例藉由使切換相機可選取的UI選項在視訊會議期間永久地顯示於例如圖33的UI 3205等UI上而啓動切換相機操作。在圖33中,遠端切換相機鍵3388與靜音鍵3382、結束會議鍵3384、及本地切換相機鍵3386一起顯示於顯示區855中。
圖33以六個不同階段3210、3390、3230、3235、3240、及3245顯示裝置3200的UI 3205的遠端切換相機操作。除了顯示區855的佈局顯示靜音鍵3382、本地切換相機鍵3386、遠端切換相機鍵3388、及結束會議鍵3384之外,圖33的第一階段3210類似於圖32的第一階段3210。第二階段3390顯示本地裝置3200的使用者選取(例如,經由單指碰觸3270)遠端切換相機可選取的UI選項3388後的UI 805。除了顯示區855的佈局與第一階段3210中上述的佈局相同並因而不再進一步說明以免因不必要的細節而模糊本發明的說明之外,圖33的最後四個階段類似於圖32的最後四個階段。
某些實施例提供類似圖33所示的佈局,但是,遠端切換相機可選取的UI選項顯示於PIP顯示3265中而非顯示區855中除外。圖34顯示此佈局3205。特別地,此圖顯示具有遠端切換相機可選取的UI選項3280的PIP顯示以及僅具有靜音鍵3382、本地切換相機鍵3386、及結束視訊會議鍵3384的顯示區855。
如上所述,當使用者請求遠端切換相機時,處理3100轉換至3125。在3125,處理3100送出切換相機至遠端裝置的請求。在某些實施例中,經由視訊會議控制通道而送出此請求,如上所述,所述視訊會議控制通道是由VTP管理器1825多工化為音訊及視訊通道。
在收到切換相機請求之後,處理3100決定(在3130)遠端裝置是否回應切換相機請求。在某些實施例中,遠端裝置自動地經由視訊會議控制頻道送出接受回應(亦即,送出確認)至本地裝置。但是,在其它實施例中,遠端裝置的使用者必須經由遠端裝置的使用者介面而接受此請求。
圖35的UI 3505的前二個階段3510和3515顯示遠端使用者接受切換遠端裝置3500的相機之請求。第一階段3510顯示(1)用於顯示告知請求的遠端使用者之文字的顯示區3540、(2)用於接受遠端裝置的切換相機請求之可選取的UI選項3565(例如,允許鍵3565)、及(3)用於拒絕遠端裝置的切換相機請求之可選取的UI選項3570(例如,拒絕鍵3570)。然後,第二階段3515顯示遠端裝置的使用者選取(例如,經由單指碰觸3580)用於接受切換相機的請求之UI選項3565(如同可選取的UI選項3565的凸顯所示)後的UI 3505。
當處理3100決定(在3130)決定尚未收到來自遠端裝置的回應時,處理3100決定(在3135)是否收到結束視訊會議的請求。假使如此,則處理3100返回至操作3110以繼續從其它裝置的相機接收訊影像。否則,處理接收(在3140)來自遠端及本地裝置的目前正使用的相機之影像、根據這些影像以產生用於視訊會議的合成畫面、將本地裝置的視訊影像傳送至遠端裝置、然後回至3130。
當處理3100決定(在3130)其已從遠端裝置收到回應時,則其決定(在3145)遠端裝置是否接受切換相機的請求。假使否,則處理3100結束。否則,處理接收(在3150)來自遠端裝置的其它相機的影像,然後在本地裝置上執行(在3155)切換相機動畫以顯示先前使用的遠端相機的視訊與目前使用的遠端相機的視訊(亦即,在操作3150收到的影像)之間的轉換。在3155之後,處理回至上述已說明的3110。
圖32中顯示用於UI 3205之最後四個操作階段3230、3235、3240、及3245顯示本地裝置3200上的此遠端切換相機動畫的一實施例。舉例說明的動畫類似於圖29的階段2915、2920、2925、及2930中所示的舉例說明的動畫,但是,圖32在顯示區3250中顯示以遠端裝置的後相機捕捉的樹的視訊取代遠端裝置的前相機捕捉的女士的視訊之動畫除外。圖33和圖34的最後四個階段顯示與圖32中所示的動畫相同之動畫,但是,圖33和34的顯示區855含有不同於圖32中的顯示區855之可選取的UI選項除外。
在某些實施例中,當遠端裝置切換相機時,遠端裝置的UI也執行切換相機動畫以顯示二相機之間的轉換。圖35中顯示用於UI 3505的最後四個操作階段3520、3525、3530、及3535顯示當遠端裝置3500在相機之間切換時顯示於遠端裝置3500上的切換相機動畫的實施例。此動畫類似於圖27的階段2730、2735、2740、及2745中所示的動畫,但是,顯示區3545中的動畫以遠端裝置3500的後相機捕捉的樹的視訊取代遠端裝置3500的前相機捕捉的女士的視訊除外。
如同上述所述般,圖27、28、29、30、32、33、34、及35顯示使用者介面上執行的切換相機動畫的不同實施例。在某些實施例中,切換相機動畫可以對各別的雙相機行動裝置的影像處理操作造成改變,舉例而言,這些影像處理操作可為可由視訊會議管理器1204和影像處理管理器1208執行的調整比例、合成及透視失真。
C. 曝光調整
在雙相機行動裝置與另一行動裝置之間的視訊會議期間,不同的實施例提供用於調整任一行動裝置的相機捕捉的影像的曝光之不同的技術。某些實施例提供雙相機行動裝置的使用者能調整其它裝置的相機捕捉的影像的曝光之技術,而其它實施例提供使用者能調整雙相機行動裝置的相機捕捉的影像的曝光之技術。於下,將詳述數個舉例說明的技術。
圖36顯示處理3600,用於在視訊會議期間於某些實施例的雙相機行動裝置上執行遠端曝光調整操作。在下述中,使用者藉以指示遠端裝置調整其曝光程度的裝置稱為本地裝置。在某些實施例中,處理3600由本地裝置的視訊會議管理器執行。此外,將參考顯示本地裝置的使用者請求遠端裝置執行曝光調整操作的不同方式之圖37、38、及39,說明處理3600。
如圖36所示,處理3600始於啓始(在3605)本地與遠端裝置之間的視訊會議。然後,處理3600從遠端裝置接收(在3610)視訊,用於顯示在本地裝置的顯示螢幕上。接著,處理3600決定(在3615)是否收到結束視訊會議的請求。如上所述,某些實施例可以從本地或遠端裝置的使用者收到結束視訊會議的請求。當處理3600收到結束視訊會議的請求時,處理3600結束。
但是,當處理3600未收到結束視訊會議的請求時,處理3600接著決定(在3620)是否收到調整遠端裝置的相機的曝光之請求。當處理3600判定未收到用於調整遠端裝置的相機的曝光之請求時,處理3600返回至操作3610以接收來自遠端裝置捕捉的其它視訊。圖37、38、及39顯示提供使用者作出此請求的方式之三個不同實施例。在圖37、38、及39中,第一階段3710、3810、及3910都顯示本地裝置3700、3800、及3900的PIP顯示3725、3850、及3935,它們顯示二視訊:由本地裝置的相機捕捉的一視訊以及由遠端裝置的相機捕捉的另一視訊。在第一階段3710、3810、及3910中,背景顯示3735、3860、及3945中的男士是暗的,表示男士未被適當地曝光。
圖37的第二階段3715顯示本地裝置3700的使用者藉由選取遠端裝置的視訊(例如,經由背景顯示3735上的單指碰觸)以請求遠端裝置執行曝光調整的一方式。依此方式,UI 3705自動地使使用者選取盒3745所界定的感興趣的區域與使用者指示遠端裝置對感興趣的區域執行曝光調整的企圖相關連,並因而指示本地裝置的視訊會議管理器接觸遠端裝置以執行曝光調整操作。在曝光調整計算時,所界定的感興趣的區域由遠端裝置使用。
類似於圖37的第二階段3715,圖38的第二階段3815顯示遠端裝置的視訊之本地使用者選取,但是,此選取指示UI 3805顯示如同第三階段3820中所示的可選取的UI選項3870除外。第四階3825顯示本地裝置的使用者選取可選取的UI選項3870以指示遠端裝置執行如上所述的曝光調整操作。
圖39的第二階段3915類似於圖38的第二階段3815,但是,取代會指示UI顯示單一可選取的UI選項之遠端裝置的視訊之使用者選取,如同第三階段3920中所示般,使用者選取係指示UI 3905顯示可選取的UI選項3955、3960、3965、及3970的選單。可選取的UI選項包含Auto Focus(自動聚焦)選項3955、Auto Exposure(自動曝光)選項3960、Switch Camera(切換相機)選項3965、及Cancel(取消)選項3970。在某些實施例中,使用Switch Camera可選取的UI選項3965以請求本地切換相機操作,而在其它實施例中,使用Switch Camera可選取的UI選項3965以請求遠端切換相機操作。第四階段3925顯示使用者選取Auto Exposure選項3960以指示遠端裝置執行如上所述的曝光調整操作。
當處理3600判定(在3620)本地使用者已指示本地裝置請求曝光調整操作時,處理3600經由視訊會議控制通道送出(在3625)命令至遠端裝置,以調整目前正捕捉及傳送視訊至本地裝置的相機所捕捉的視訊的曝光。在操作3625之後,處理3600回至上述已說明的操作3610。
在某些實施例中,在遠端裝置執行曝光調整操作之前,會要求遠端裝置的使用者提供允許,而在其它實施例中,在從本地裝置收到請求時,遠端裝置自動地執行曝光調整操作。此外,在某些實施例中,某些視訊會議的功能由視訊會議管理器1204實施。在這些實施例中的某些實施例中,視訊會議管理器1204藉由指令CIPU 1250調整正使用的遠端裝置相機的感測器的曝光設定以執行曝光調整操作。
圖37、38、及39的最後階段3720、3830、及3930顯示較亮的遠端裝置的視訊,這表示男士被適當地曝光。雖然圖37、38和39提供接收用以校正遠端裝置的曝光之曝光調整的請求之實施例,但是,某些實施例提供本地裝置的使用者請求本地裝置調整本地裝置的相機之曝光的方式。可以類似於圖37、38、及39中所示之用於請求遠端裝置調整其相機曝光的方式,作出此請求。
上述圖37-39顯示用於執行曝光調整操作的數個使用者介面。在某些實施例中,曝光調整操作可以對雙相機行動裝置的影像處理操作造成改變,例如喚起曝光調整處理4000,稍後將更詳細說明曝光調整處理4000。曝光調整操作也會對雙相機行動裝置的正捕捉視訊的相機的操作造成改變,舉例而言,改變相機的曝光程度設定。
圖40概念地顯示例如圖12中所示的某些實施例的影像處理管理器所執行的曝光調整處理4000。在某些實施例中,處理4000是參考圖36、37、38及39之上述的曝光調整操作的一部份。在這些實施例的某些實施例中,影像處理管理器1208執行處理4000,以及,藉由傳送指令至視訊會議管理器1204,以調整相機的曝光設定,如上所述,視訊會議管理器1204係指令CIPU 1250調整相機感測器405a或405b。
在某些實施例中,處理4000由圖6中所示的影像處理層630執行,而在其它實施例中,處理4000由圖4中所示的統計引擎465執行。某些實施例對視訊會議中的(本地或遠端)裝置的相機捕捉的影像執行處理4000,而其它實施例執行作為圖15中所示的處理1500的一部份(例如,操作1510)之處理4000。某些實施例執行曝光調整操作,以將不會太亮且不會太暗之雙相機行動裝置的相機捕捉的影像曝光。換言之,執行處理4000,以使細節的量儘可能最大的方式來捕捉影像。
處理4000始於接收(在4005)雙相機行動裝置的相機捕捉的影像。在某些實施例中,當收到的影像是由視訊會議中的裝置的相機捕捉到的第一影像時,不對第一影像執行處理4000(亦即,在第一影像之前沒有影像來決定曝光值)。然後,處理4000讀取(在4010)收到的影像中界定的區域之像素值。不同的實施例不同地界定區域。這些實施例中的某些實施例不同地界定有形狀的區域,例如方形、長方形、三角形、圓形、等等,而這些實施例中的其它實施例界定影像中例如中心、上中心、下中心等不同位置處的區域。
接著,處理4000計算(在4015)影像的界定區域中像素值的平均值。處理4000決定(在4020)計算的像素值的平均值是否等於特定界定的值。不同的實施例界定不同的特定值。舉例而言,某些實施例將特定值界定為影像的動態範圍的中數像素值。在某些實施例中,界定值的範圍而非單一值。在這些實施例中,處理4000決定(在4020)經過計算的像素值的平均值是否在界定的值範圍之內。
當經過計算的像素值的平均值不等於特定的界定值時,處理4000根據經過計算的平均值以調整(在4025)曝光值。當經過計算的像素值的平均值等於特定的界定值時,處理4000結束。在某些實施例中,曝光值代表相機感測器受光曝照的時間量。在某些實施例中,使用經過調整的曝光值以使要由捕捉收到的影像之相機捕捉的下一影像曝光。在根據計算的平均值以調整曝光值之後,處理4000結束。
在某些實施例中,重複地執行處理4000直到經過計算的像素值的平均值等於特定的界定值(或是落在界定的值範圍之內)為止。某些實施例在視訊會議期間固定地執行處理4000,而其它實施例在視訊會議期間以界定的間隔(例如,5秒、10秒、30秒、等等)執行處理4000。此外,在視訊會議期間,在執行處理4000之前,某些實施例的處理4000動態地再界定特定像素值。
圖41概念地顯示某些實施例的曝光調整操作的實施例。實施例4100、4110、及4115均顯示左側上由雙相機行動裝置的相機捕捉的影像4120。具體而言,影像4120顯示在太陽之前暗的人。暗的人表示影像的曝光程度不夠高而無法使人臉或身體曝光。每一實施例4100、4110、及4115的右側分別顯示影像4120之後捕捉的影像4125、4130、及4135。在某些實施例中,影像4120及右側上的影像是由雙相機行動裝置的相機捕捉的視訊的影像。在其它實施例中,影像4120及右側上的影像是由雙相機行動裝置的相機在不同時刻捕捉到的靜態影像。
第一實施例4100顯示無曝光調整的操作。確切而言,影像4125呈現與影像4120相同。由於未執行曝光調整,所以,影像4125中的人如同影像4120的人一般,仍然維持暗的。
在第二實施例4110中,對影像4120執行曝光調整操作。在某些實施例中,曝光調整操作由使用界定區4140的處理4000執行。根據曝光調整操作,調整相機的曝光程度以及相機使用經過調整的曝光程度以捕捉影像4130。如圖41所示,影像4130中的人不會與影像4125中一般暗。但是,影像4130中的人的臉及身體仍然不清楚。
第三實施例4115顯示對影像4120執行的曝光調整操作。類似於第二實施例4110,某些實施例的實施例4115的曝光調整操作由使用界定區4145的處理4000執行。根據曝光調整操作,調整相機的曝光程度及相機使用經過調整的曝光程度以捕捉影像4135。如同圖41中所見般,由於人臉與身體是可見的,所以,影像4135中的人員被完美地曝光。
在某些實施例中,由雙相機行動裝置的使用者作出界定區的選擇。裝置本身經由CPIU 400中上述的曝光調整之回饋迴路而自動地調整其用於曝光調整操作的界定區。圖4中的統計引擎465可以收集資料以決定曝光程度是否適合捕捉到的影像以及據此調整相機感測器(例如,經由直接連接至感測器模組415)。
D. 聚焦調整
圖42顯示處理4200,其用於在視訊會議期間調整雙相機行動裝置的焦點。在後續說明中,使用者藉以指示遠端裝置調整其相機焦點的裝置稱為本地裝置。在某些實施例中圖42的處理4200由本地裝置的視訊會議管理器1204執行。而且,於下將參考圖43和44,說明此處理,圖43和44提供本地裝置的使用者請求聚焦調整操作由遠端裝置執行的二舉例說明的方式。
如圖42所示,處理4200始於啓始(在4205)本地與遠端裝置之間的視訊會議。然後,處理4200從遠端裝置接收(在4210)視訊,用於顯示於本地裝置的顯示螢幕上。接著,在4215,處理4200決定是否已收到結束視訊會議的請求。如上所述般,在某些實施例中,視訊會議可以應本地或遠端裝置的使用者的請求而結束。當處理4200收到結束視訊會議的請求時,處理4200結束。
否則,處理決定(在4220)其是否已收到用於調整遠端裝置的遠端相機的聚焦之請求。當處理4200判定其尚未收到用於調整遠端裝置的遠端相機的聚焦之請求時,處理4200返回至操作4210以從遠端裝置接收其它視訊。圖43、44、及45顯示不同的實施例提供給使用者作出此請求的三個不同的方式。在圖43、44、及45中,第一階段4310、4410、及4572都顯示本地裝置4300、4400、及4571的顯示二視訊之PIP顯示4325、4435、及4582,所述二視訊之一由本地裝置捕捉,另一視訊由遠端裝置捕捉。圖43和44中的顯示區855和855顯示結束會議鍵。但是,在圖45中,顯示區855的佈局與上述圖9的顯示區855的佈局相同。此外,可以選取顯示區855中顯示的切換相機鍵4588以在某些實施例中啓動本地切換相機操作,或是在其它實施例中啓動遠端切換相機操作。如同第一階段4310、4410、及4572中所示般,顯示於背景顯示4335、4445、及4580中的遠端裝置的視訊模糊不清。
圖43的第二階段4315顯示本地裝置的使用者藉由簡單地選取遠端裝置的視訊(例如,經由在遠端裝置的視訊上單指碰觸4340)以請求來自遠端裝置的聚焦調整之方式。在此方式之下,UI 4305使盒4345界定的感興趣的區域的使用者選取與指示遠端裝置對感興趣的區域執行操作的使用者的企圖(例如聚焦)自動地相關連,並因而指示本地裝置4300的視訊會議管理器1204接觸遠端裝置以執行調整操作(例如聚焦調整操作)。在聚焦調整計算時,界定的感興趣的區域由遠端裝置使用。
圖44的第二階段4415類似地顯示遠端視訊的本地使用者的選取(例如,經由使用者碰觸遠端裝置的視訊)。但是,不似圖43中所示的實施例,如同第三階段4420中所示般,圖44中的此選取指示UI 4405顯示可選取的UI選項4455、4460、4465及4470(可實施為可選取鍵)的選單。這些可選取的UI選項包含Auto Focus(自動聚焦)選項4460、Auto Exposure(自動曝光)選項4465、Switch Camera(切換相機)選項4470、及Cancel(取消)選項4455。在某些實施例中,使用Switch Camera可選取的UI選項4470以請求本地切換相機操作,而在其它實施例中,使用Switch Camera可選取的UI選項4470以請求遠端切換相機操作。然後,第四階段4425顯示使用者選取自動聚焦選項4460。
圖45的第二階段4574再度類似地顯示遠端視訊的本地使用者選取(例如,經由遠端裝置的視訊之使用者碰觸)。但是,不似圖44中所示的實施例,圖45中的此選取指示UI 4578請求聚焦調整操作(亦即,在第二階段4574)。在聚焦調整操作完成之後,UI 4578顯示可選取的UI選項4584和4586的選單(亦即,在第三階段4576中),它們可以被實施為可選取鍵。可選取的UI選項包含Auto Exposure選項4586和Cancel選項4584。
當處理判定(在4220)本地使用者已指示本地裝置請求聚焦調整操作時,處理4200將命令經由視訊會議控制頻道送出(在4240)至遠端裝置,以調整遠端裝置目前正捕捉及傳送其視訊的相機的聚焦。在4240之後,處理回至上述已說明的4210。
在某些實施例中,在遠端裝置執行此操作之前,遠端裝置的使用者必須提供允許,而在其它實施例中,遠端裝置在收到用於本地裝置的請求時自動地執行此操作。而且,在某些實施例中,在視訊會議期間,聚焦調整操作調整正被使用的遠端裝置的相機的聚焦設定。在這些實施例中的某些實施例中,如上所述般,某些視訊會議功能由視訊會議模組1202實施。在這些實施例中,視訊會議管理器1204指令CIPU 1250調整正被使用的遠端裝置相機的感測器。
圖43、44、及45的最後階段4320、4330、及4576顯示適當地聚焦的遠端裝置的視訊。雖然圖43、44、及45提供接收聚焦調整請求以校正遠端裝置的校正之實施例,但是某些實施例可允許本地裝置的使用者請求本地裝置調整本地裝置的相機的聚焦。類似於圖43、44、及45中所示之請求遠端裝置調整其相機的聚焦之方式,作出此請求。
圖43、44、及45顯示允許使用者執行聚焦調整操作的三個舉例說明的使用者介面。在某些實施例中,聚焦調整操作對雙相機行動裝置的正捕捉顯示於UI中的視訊之相機的操作造成改變,例如改變相機的聚焦。
如圖37及43中上述所示般,分別在視訊的曝光調整及聚焦調整的計算中,界定的感興趣的區域由遠端裝置使用。但是,在某些其它實施例中,感興趣的區域的使用者選取可以被用以指示遠端裝置執行一或更多操作。舉例而言,在某些實施例中,可以根據界定的感興趣的區域以執行曝光調整及聚焦調整等二者,藉以指示遠端裝置執行此二操作。
E. 框速率控制
在視訊會議期間,某些實施例希望調整或維持雙相機行動裝置的相機捕捉的視訊的影像傳送至視訊會議中的其它裝置之速率(亦即,框速率)。舉例而言,假定固定頻寬,這些實施例中的某些實施例降低視訊的框速率以增加視訊的影像的畫面品質,而這些實施例中的其它實施例增加視訊的框速率以使視訊平順(亦即,降低顫動)。
不同的實施例提供用於控制視訊會議期間的視訊的影像的框速率。先前所述的一實施例調整用於相機的感測器模組415的VBI,以控制相機捕捉的影像被處理的速率。關於另一實施例,圖6中所示的視訊會議模組625的管理層635的某些實施例藉由丟棄影像以控制框速率。類似地,影像處理層630的某些實施例藉由丟棄影像以控制框速率。某些實施例又提供其它控制框速率的技術,例如丟棄通用傳輸緩衝器1820中的框。
V. 電子系統
很多上述特點及應用以被指定為記錄於電腦可讀取的儲存媒體(也稱為電腦可讀取的媒體)上的指令集之軟體處理來實施。當這些指令由一或更多處理單元(例如,一或更多處理器、處理器核心、或其它處理單元)執行時,它們使處理單元執行指令中標示的動作。電腦可讀取的媒體之實施例包含但不限於CD-ROM、快閃驅動器、RAM晶片、硬碟驅動器、EPROM、等等。電腦可讀取的媒體未包含無線地或有線連接地通過的電子訊號及載波。
在本說明書中,「軟體」一詞意指包含設於唯讀記憶體中的韌體或是儲存於磁性儲存器中的應用,其可以被讀入記憶體中以由處理器處理。而且,在某些實施例中,多軟體發明可以以較大程式的子部份來實施,並保留各別的軟體發明。在某些實施例中,多軟體發明也可以實施成為分別的程式。最後,分別的程式之任何組合一起實施此處所述的軟體發明是在本發明的範圍之內。在某些實施例中,當安裝成在一或更多電子系統上操作的軟體程式可以界定實行及執行軟體程式的操作之一或更多特定機器實施。
某些實施例以在呼叫程式碼經由一或更多介面而與被呼叫的其它程式碼互動之環境下的軟體處理實施,所述軟體處理實施包含一或更多應用程式介面(API)。不同的函數呼叫、訊息、或又包含不同種類的參數之其它型式的調用可以在呼叫程式與被呼叫的碼之間經由API傳送。此外,API可以提供呼叫程式碼使用API中界定的以及於被呼叫的程式碼中實施之資料型式或等級的能力。
至少某些實施例包含呼叫軟體元件與被呼叫的軟體元件經由API互動之環境。用於此環境中經由API操作之方法包含經由API來傳送一或更多函數呼叫、訊息、其它型式的調用或參數。
在某些實施例中可以使用一或更多應用程式介面(API)。舉例而言,媒體交換模組310(或910)的某些實施例提供API組給其它軟體元件,用於存取圖3和6中所述的各式各樣的視訊處理及編碼功能。
API是由程式碼元件或硬體元件(此後稱為「API實施元件」)實施的介面,允許不同的程式碼元件或硬體元件(此後稱為「API呼叫元件」)存取及使用API實施元件提供的一或更多功能、方法、程序、資料結構、等級、及/或其它服務。API可以界定在API呼叫元件與API實施元件之間傳遞的一或更多參數。
API允許API呼叫元件的發展者(可為第三方發展者)槓桿調節API實施元件提供的指定特點。可以有一API呼叫元件或可以有一個以上的此元件。API可以為電腦系統或程式庫提供的原始碼介面,以支援向應用請求服務。作業系統(OS)可以具有多個API以允許OS上執行的應用呼叫那些API中之一或更多,以及服務(例如程式庫)可以具有多個API以允許使用服務的應用來呼叫那些API中之一或更多。以應用程式建立時可以被解譯或編譯的程式語言之觀點,指定API。
在某些實施例中,API實施元件可以提供一個以上的API,所述一個以上的API均能提供不同觀點或態樣,存取API實施元件所實施的不同態樣的功能。舉例而言,API實施元件之一API可以提供第一組功能及開放給第三方發展者,以及,API實施元件之其它API可以被隱藏(未開放),以及提供第一組功能的子組、也提供另一組功能,例如未在第一組功能中的測試或除錯功能。在其它實施例中,API實施元件本身可以經由下層的API來呼叫一或更多其它元件,因而為API呼叫元件及API實施元件等二者。
API界定存取及使用API實施元件的指定特點時API呼叫元件使用的語言及參數。舉例而言,API呼叫元件經由API開放的一或更多API呼叫或調用(舉例而言由函數或方法呼叫具體實施)來存取API實施元件的指定特點,以及,經由API呼叫或調用,使用參數來傳遞資料及控制資訊。API實施元件經由API而將值歸還,以回應來自API呼叫元件的API呼叫。雖然API界定API呼叫的語法及結果(例如,如何喚起API呼叫及API呼叫作什麼),API不揭示API如何完成API呼叫所指定的功能。各種API呼叫經由一或更多應用程式介面而在呼叫(API呼叫元件)與API實施元件之間傳送。傳送API呼叫可以包含發佈、初始化、喚起、呼叫、接收、歸還、或回應函數呼叫或訊息;換言之,傳送可以說明API呼叫元件或API實施元件中任一者執行的動作。API的函數呼叫或其它調用可以經由參數清單或其它結構來傳送或接收一或更多參數。參數可以是常數、鑰匙、資料結構、物件、物件等級、變數、資料型式、指標、陣列、清單、或是指向參考要經由API傳遞的資料或其它項目之函數或方法或其它方式之指標。
此外,資料型式或等級可以由API提供以及由API實施元件實施。如此,藉由使用API中提供的定義,API呼叫元件可以宣告變數、使用指標、使用或樣例化這些型式或等級的常數值。
一般而言,API可以被用以存取API實施元件所提供的服務或資料或是啓始API實施元件所提供的操作或計算之性能。舉例而言,API實施元件及API呼叫元件均可為操作系統、資料庫、裝置驅動程式、API、應用程式、或其它模組中的任一者(應瞭解API實施元件及API呼叫元件可以是彼此相同或不同型式的模組)。API實施元件在某些情形中可以至少部份以韌體、微碼、或其它硬體邏輯來實施。在某些實施例,API可以允許客戶程式使用軟體發展工具(Software Development Kit(SDK))庫所提供的服務。在其它實施例中,應用或其它客戶程式可以使用應用框架(Application Framework)提供的API。在這些實施例中,應用或客戶程式可以將呼叫併入SDK提供的及API提供的功能或方法或是使用SDK中界定的及API提供的資料型式或物件。在這些實施例中應用框架可以提供主事件迴路給程式,主事件迴路可以回應框架界定的各式各樣事件。API允許應用使用應用框架以指定事件及事件的回應。在某些實施中,API呼叫可以將硬體裝置的能力或狀態報告給應用,這些能力或狀態包含例如輸入能力及狀態、輸出能力及狀態、處理能力、電力狀態、儲存容量及狀態、通訊能力等態樣相關的能力或狀態,API可以部份地由韌體、微碼、或部份地於硬體元件上執行的其它低階邏輯實施。
API呼叫元件可以是本地元件(亦即,在與API實施元件相同的資料處理系統上)或是遠端元件(亦即,在與API實施元件不同的資料處理系統上),其可以在網路上經由API與API實施元件通訊。應瞭解,API實施元件也可以作為API呼叫元件(亦即,其可以對不同的API實施元件公開的API作出API呼叫),以及,API呼叫元件藉由實施公開給不同的API呼叫元件之API而也可作為API實施元件。
API可以允許不同的程式語言寫成的多個API呼叫元件與API實施元件通訊(因此,API可以包含用於在API實施元件與API呼叫元件之間翻譯及歸還的特點);但是,API可以以特定的程式語言實施。在一實施例中,API呼叫元件可以從不同的提供者呼叫API,舉例而言,不同的提供者可為來自OS提供者的API組以及來自插入提供者的另一組API和來自另一提供者的另一組API(例如,軟體庫的提供者)或是另一組API的創造者。
圖46是方塊圖,顯示舉例說明的API架構,其可用於本發明的某些實施例中。如圖46所示,API架構4600包含實施API 4620之API實施元件4610(例如,作業系統、庫、裝置驅動程式、API、應用程式、軟體或其它模組)。API 4620指定可由API呼叫元件4630使用的API實施元件之一或更多函數、方法、等級、物件、通訊協定、資料結構、格式及/或其它特點。API 4620可以指定至少一呼叫規範,所述至少一呼叫規範指明API實施元件4630中的函數如何從API呼叫元件4630接收參數以及函數如何將結果歸還給API呼叫元件。API呼叫元件4630(例如,作業系統、庫、裝置驅動程式、API、應用程式、軟體或其它模組)經由API 4620作出API呼叫以存取及使用由API 4620指定的API實施元件4610的特點。API實施元件4610可以將值經由API 4620歸還至API呼叫元件4630,以回應API呼叫。
將瞭解API實施元件4610可以包含未經由API 4620指定且API呼叫元件4630無法取得的其它函數、方法、等級、資料結構、及/或其它特點。應瞭解,API呼叫元件4630可以在與API實施元件4610相同的系統上或是可以設於遠端,以及在網路上使用API 4620以存取API實施元件4610。雖然圖46顯示與API 4620互動的單一API呼叫元件4630,但是,應瞭解API呼元元件4630以外之由不同語言(或相同語言)寫成的其它API呼叫元件可以使用API 4620。
API實施元件4610、API 4620、及API呼叫元件4630可以儲存於機器可讀取的媒體中,機器可讀取的媒體包含以機器(例如電腦或其它資料處理系統)可讀取的形式來儲存資訊之任何機構。舉例而言,機器可讀取的媒體包含磁碟、光碟、隨機存取記憶體、唯讀記憶體、快閃記憶體裝置、等等。
圖47是雙相機行動計算裝置架構4700的實施例。行動計算裝置的實施包含一或更多處理單元4705、記憶體介面4710及週邊介面4715。構成計算裝置架構的這些元件中的每一元件可以是分別的元件或是整合於一或更多積體電路中。這些各式各樣的元件也可以藉由一或更多通訊匯流排或訊號線而耦合在一起。
週邊介面4715可以耦合至不同的感測器及子系統,子系統包含相機子系統4720、無線通訊子系統4725、音訊子系統4730、I/O子系統4735、等等。週邊介面4715使得處理器與週邊之間能夠通訊。例如方向感測器4745或加速度感測器4750等週邊可以耦合至週邊介面4715以便於方向及加速度功能。
相機子系統4720可以耦合至一或更多光學感測器4740,例如,電荷耦合裝置(CCD)光學感測器、互補金屬氧化物半導體(CMOS)光學感測器。與感測器耦合的相機子系統4720可以便於相機功能,例如影像及/或視訊資料捕捉。無線通訊子系統4725可以用以方便通訊功能。無線通訊子系統4725可以包含音訊頻率接收器及發送器、以及光學接收器和發送器。它們可以被實施成在例如GSM網路、Wi-Fi網路、藍芽網路等一或更多通訊網路上操作。音訊子系統4730耦合至揚音器及麥克風以便於例如聲音辨識、數位記錄等聲音賦能功能。
I/O子系統4735牽涉經由週邊介面而在例如顯示器、觸控螢幕等輸入/輸出週邊裝置與CPU的資料匯流排之間的傳送。I/O子系統4735可以包含觸控螢幕控制器4755及其它輸入控制器4760以便於這些功能。觸控螢幕控制器4755可以耦合至觸控螢幕4765及使用多觸控靈敏度技術來偵測螢幕上的接觸和移動。其它輸入控制器4760可以耦合至例如一或更多鍵等其它輸入/控制裝置。
記憶體介面4710可以耦合至記憶體4770,記憶體4770包含高速隨機存取記憶體及/或例如快閃記憶體等非揮發性記憶體。記憶體可以儲存作業系統(OS)4772。OS 4772可以包含用於處理基本系統服務及用於執行硬體相依工作之指令。
記憶體也可以包含通訊指令4774以便於與一或更多其它裝置通訊;圖形使用者介面功能4776以便於圖形使用者介面處理;影像/視訊處理指令4778以便於影像/視訊相關處理及功能;電話指令4780以便於電話相關處理及功能;媒體交換及處理指令4782以便於媒體通訊及與處理相關的處理;相機指令4784以便於相機有關的處理及功能;以及,視訊會議指令4786以便於視訊會議處理及功能。上述經過辨識的指令不需實施成分別的軟體程式或模組。行動計算裝置的各式各樣功態可以以硬體及/或軟體實施,包含以一或更多訊號處理及/或應用特定積體電路實施。
上述實施例可以包含觸控I/O裝置4801,如圖48所示,觸控I/O裝置4801可以經由有線或無線通訊通道4802而與計算系統4803互動的觸控輸入。觸控I/O裝置4801可以被用以提供使用者輸入給計算系統4803,以取代或結合例如鍵盤、滑鼠等其它輸入裝置。一或更多觸控I/O裝置4801可以用於提供使用者輸入給計算系統4803。觸控I/O裝置4801可以是計算系統4803的整合部份(例如,膝上電腦上的觸控螢幕)或是與計算系統4803分開。
觸控I/O裝置4801可以包含觸控靈敏面板,所述觸控靈敏面板可以是完全地或部份地透明的、半透明的、非透明的、不透光的或其任何組合。觸控I/O裝置4801可以具體實施為觸控螢幕、觸控面板、作為觸控面板的觸控螢幕(例如,取代膝上電腦的觸控面板之觸控螢幕)、結合或併有任何其它輸入裝置的觸控螢幕或觸控面板(例如,配置於鍵盤上的觸控螢幕或觸控面板)或是具有用於接收觸控輸入的觸控靈敏表面之任何多維物體。
在一實施例中,具體實施為觸控螢幕的觸控I/O裝置4801包含透明的及/或半透明的靈敏面板,所述面板部份地或完全地位於至少部份顯示器。根據本實施例,觸控I/O裝置4801作用以顯示從計算系統4803(及/或另一源)傳送來的顯示圖形資料以及作用以接收使用者輸入。在其它實施例中,觸控I/O裝置4801可以具體實施為整合的觸控螢幕,其中,觸控靈敏元件/裝置與顯示元件/裝置整合。在又是其它實施例中,觸控螢幕可以作為補充或增加的顯示螢幕以用於顯示與主顯示相同的或補充的圖形資料以及接收觸控輸入。
觸控I/O裝置4801可以規劃成根據電容式、電阻式、光學的、聲音的、電感的、機械的、化學的量測、或是可以對於對裝置4801的一或更多碰觸或接近裝置4801的接近碰觸之發生測量的任何現象,以偵測裝置4801上的一或更多碰觸或接近碰觸的位置。可以使用軟體、硬體、韌體或任何它們的組合以處理被偵測到的碰觸之測量,以辨識及追蹤一或更多動作。動作可以相當於觸控I/O裝置4801上之固定的或不固定的、單一的或多個的碰觸或接近碰觸。在觸控I/O裝置4801上以特定方式基本上同時地、連續地、或不斷地移動一或更多手指,以執行動作,舉例而言,特定方式可為輕敲、下壓、振動、擦、扭、改變方向、以變化壓力下壓等等。動作特徵在於但不限於任何其它手指或複數個手指之間或使用手指或複數個手指的捏夾、滑動、揮擊、旋轉、彎曲、拖曳、或輕敲動作。可以由一或更多使用者以一或更多手、或是其組合來執行單一姿勢。
計算系統4803可以以圖形資料驅動顯示來顯示圖形使用者介面(GUI)。GUI可以配置成經由觸控I/O裝置4801來接收觸控輸入。具體實施成為觸控螢幕時,觸控I/O裝置4801可以顯示GUI。或者,GUI可以顯示於與觸控I/O裝置4801分開的顯示器上。GUI可以包含顯示於介面內的特定位置之圖形元件。圖形元件可以包含但不限於各式各樣之顯示的虛擬輸入裝置,顯示的虛擬輸入裝置包括虛擬滾輪、虛擬鍵盤、虛擬滾球、虛擬鍵、任何虛擬UI、等等。使用者可以在觸控I/O裝置4801上與GUI的圖形元件相關連的一或更多特定位置處執行動作。在其它實施例中,使用者可以在與GUI的圖形元件的位置獨立之一或更多位置處執行動作。在觸控I/O裝置4801上執行的動作可以直接地或間接地操作、控制、修改、移動、致動、啓始或大致地影響GUI內的例如游標、圖像、媒體檔案、清單、文字、所有或部份影像等圖形元件。舉例而言,在觸控螢幕的情形中,藉由在觸控螢幕上的圖形元件上執行動作,使用者可以直接地與圖形元件互動。或者,觸控墊一般提供間接互動。動作也可以影響非顯示的GUI元件(例如,使使用者介面出現)或是可以影響計算系統4803內的其它動作(例如,影響應用、作業系統、或GUI的狀態或模式)。可以配合顯示的游標,在觸控I/O裝置4801上執行或不執行動作。舉例而言,在觸控墊上執行動作的情形中,游標(或指標)可以顯示於顯示螢幕或觸控螢幕上且可以經由觸控墊上的觸控輸入來控制游標以與顯示螢幕上的圖形物件互動。在直接於觸控螢幕上執行動作的其它實施例中,使用者可以藉由或不藉由正顯示於觸控螢幕上的游標或指標以與觸控螢幕上的物件直接地互動。
為了回應或根據觸控I/O裝置4801上的碰觸或接近碰觸,回饋可以經由通訊通道4802而提供給使用者。可以以光學方式、機械方式、電方式、嗅覺方式、聲音方式、等等或其任何組合以及以可變或非可變方式,傳送回饋。
上述這些功能可以以數位電子電路、電腦軟體、韌體或硬體來實施。可以使用一或更多電腦程式產品來實施這些技術。可編程的處理器及電腦可以包含於行動裝置中或封裝作為行動裝置。藉由一或更多可編程的處理器以及一或更多可編程的邏輯電路,可以執行處理及邏輯流程。一般及特別用途的計算裝置以及儲存裝置可以經由通訊網路而互連。
某些實施例包含電子元件,舉例而言,電子元件可為儲存電腦程式指令於機器可讀取的或電腦可讀取的媒體(或者也稱為電腦可讀取的儲存媒體、機器可讀取的媒體、或機器可讀取的儲存媒體)中的儲存器、記憶體、及微處理器。這些電腦可讀取的媒體之某些實施例包含RAM、ROM、唯讀光碟(CD-ROM)、可記錄的光碟(CD-R)、可重寫的光碟(CD-RW)、唯讀數位多樣式碟片(例如,DVD-ROM、雙層DVD-ROM)、各種可記錄/可重寫DVD(例如,DVD-RAM、DVD-RW、DVD+RW、等等)、快閃記憶體(例如,SD卡、迷你SD卡、微SD卡、等等)、磁性及/或固態硬碟、唯讀及可記錄的藍光碟片、超密度光碟、任何其它光學或磁性媒體、以及軟碟。電腦可讀取的媒體可以儲存電腦程式,所述電腦程式可以由至少一處理單元執行及包含用於執行不同操作的指令集。電腦程式或電腦碼的實施例包含例如由編譯器產生的機器碼、以及包括由電腦、電子元件、或使用解譯器的微處理器執行的更高階碼之檔案。
雖然上述說明主要關於執行軟體的微處理器或多核心處理器,但是,某些實施例由例如特定應用積體電路(ASIC)或現場可編程閘陣列(FPGA)等一或更多積體電路執行。在某些實施例中,這些積體電路執行儲存於電路本身上的指令。
如同本申請案的本說明書中及申請專利範圍中所使用般,「電腦」、「伺服器」、「處理器」、及「記憶體」等術語都意指電子或其它技術的裝置。這些術語排除人或人群。為了說明書之目的,顯示或正顯示等術語意指在電子裝置上顯示。如同本說明書中及申請專利範圍中所使用般,「電腦可讀取的媒體」及「電腦可讀取的媒體」等術語完全地限於以電腦可讀取的形式儲存資訊之有實體的、實體物件。這些術語排除任何無線訊號、有線下載訊號、及任何其它短暫訊號。
圖49概念地顯示根據某些實施例之用於連接視訊會議的某些參與者之舉例說明的通訊系統4900。如同所示,通訊系統4900包含數個行動裝置4915、數個蜂巢式基地台(或節點B)4910、數個無線電網路控制器(RNC)4905、及核心網路4925。蜂巢式基底台及RNC總稱為通用行動電信系統(UMTS)陸上無線電存取網路(UTRAN)4930。每一RNC 4905連接至一起被稱為無線電存取網路(RAN)的一或更多蜂巢式基地台4910。
每一蜂巢式基地台4910涵蓋服務區4920。如同所示,每一服務區中的行動裝置4915經由Uu介面而無線地連接至服務區4920的服務蜂巢式基底台4910。Uu介面使用具有控制平面及使用者平面等二平面的通訊協定堆疊。使用者平面支援電路交換式、封包交換式及廣播資料串流。控制平面載有網路的發訊訊息。
每一蜂巢式基地台經由Iub介面而連接至RNC。每一RNC 4905藉由Iu-cs及Iu-ps介面連接至核心網路4925。Iu-cs介面用於電路交換式服務(例如,聲音),而Iu-ps介面用於封包交換式服務(例如資料)。Iur介面用於將二RNC連接在一起。
因此,通訊系統4900支援二電路交換式服務及封包交換服務。舉例而言,電路交換式服務允許經由通訊系統4900的電路交換式設備以傳送電話呼叫資料(例如,聲音)來執行電話呼叫。封包交換式服務允許在網際網路層通訊協定類IP上使用例如UDP或TCP等交通通訊協定層來執行視訊會議,以經由通訊系統4900的封包交換式設備來傳送視訊會議。在某些實施例中,在視訊會議建立一節中先前所述的對視訊會議轉換(例如,交遞)的電話呼叫使用類似通訊系統4900之通訊系統所支援的電路交換式及封包交換式服務。亦即,在此實施例中,經由通訊系統4900的電路交換式設備及電話呼叫來執行且為其經由通訊系統4900的封包交換設備執行的視訊會議。
雖然圖49中舉例說明的通訊系統顯示第三代(3G)技術UTRAN無線行動通訊系統,但是,應注意,第二代(2G)通訊系統、例如3GPP2演進資料最佳化(Evolution-Data Optimized)或唯演進資料(EV-DO)及第三代夥伴關係計劃2(3 GPP2)分碼多存取1X(CDMA 1X)等其它3G通訊系統、第四代(4G)通訊系統、無線區域網路(WLAN)、及微波存取(WiMAX)世界可交互運作通訊系統,可以用於在某些實施例中連接會議參與者中的某些參與者。2G系統的實施例包含行動通訊(GSM)全球系統、一般封包無線電服務(GPRS)、及GSM演進強化資料速率(EDGE)。2G通訊系統架構類似於圖49中所示的架構,但是,2G通訊系統架構使用基地收發器站(BTS)取代節點B 4910以及使用基地台控制器(BSC)取代RNC 4905除外。在2G通訊系統中,在BSC與核心網路之間的A介面用於電路交換式服務及在BSC與核心網路之間的Gb介面用於封包式交換服務。
在某些實施例中,通訊系統4900由最初規定行動裝置4915之服務載送方操作,以允許行動裝置4915使用通訊系統4900。某些實施例藉由在行動裝置4915中規劃及登記用戶身份模組(SIM)卡以規範行動裝置4915。在其它實施例中,使用行動裝置4915的記憶體取代地規劃及登記行動裝置4915。此外,其它服可以被規範(在客戶購買行動裝置4915之後),例如類GPRS資料服務、多媒體發訊服務(MMS)、及即時發訊。一旦被規範時,行動裝置4915被致動並因而由服務載送方允許使用通訊系統4900。
在某些實施例中,通訊系統4900是私有通訊網路。在這些實施例中,行動裝置4915可以在彼此間(例如,被規範用於通訊系統4900的行動裝置4915)通訊(例如,執行聲音呼叫、交換資料)。在其它實施例中,通訊系統4900是公用通訊網路。因此,除了被規範用於通訊系統4900的行動裝置4915之外,行動裝置4915也可以與通訊系統4900的外部之其它裝置互相通訊。在通訊系統4900的外部之其它裝置中的某些裝置包含經由例如公用交換電話網路或另一無線通訊網路等經它網路而連接至通訊系統4900的電話、電腦、及其它裝置。
使用長期演進(LTE)規格以界定4G通訊系統。圖50概念地顯示某些實施例中用於連接視訊會議的某些參與者之4G通訊系統5000的實施例。如同所示,通訊系統5000包含數個行動裝置4915、數個演進節點B(eNB)5005、行動管理實體(MME)5015、服務閘道(S-GW)5020、封包資料網路(PDN)閘道5025、及住家用戶伺服器(HSS)5035。在某些實施例中,通訊系統5000包含一或更多MME 5015、一或更多S-GW 5020、一或更多PDN閘道5025、以及一或更多HSS 5035。
eNB 5005提供用於行動裝置4915的空氣介面。如同所示,每一eNB 5005涵蓋服務區5010。在每一服務區5010中的行動裝置4915經由LTE-Uu介面而無線地連接至服務區5010的eNB 5005。圖50也顯示經由X2介面而彼此連接的eNB 5005。此外,eNB 5005經由S1-MME介面而連接至MME 5015以及經由SI-U介面而連接至S-GW 5020。eNB 5005總稱為演進UTRAN(E-TRAN)5030。
eNB 5005提供例如無線電資源管理(例如,無線電載送控制、連接行動力控制、等等)、使用者平面資料朝向S-GW 5020的路徑安排、訊號測量及測量報告、行動裝置連接時的MME選取等功能。MME 5015功能包含閒置模式行動裝置追蹤及呼叫、無線電載送致動及不致動、行動裝置連接時的S-GW 5020的選取、非存取階層(NAS)發訊終止、藉由與HSS 5035互動的使用者認證、等等。
S-GW 5020功能包含(1)安排使用者資料封包的路徑及遞送其以及(2)管理及儲存例如IP載送服務的參數及網路內部路由資訊等行動裝置上下文。PDN閘道5025功能包含藉由成為用於行動裝置的交通出口及入口點以提供從行動裝置至外部封包資料網路(未顯示)的連接性。行動台具有與一個以上的PDN閘道同時連接以存取多個封包資料網路。PDN閘道5025也作為3GPP與例如WiMAX和3GPP2(例如,CDMA 1X及EV-DO)等非3GPP技術之間的行動力之錨。
如同所示,MME 5015經由S11介面連接至S-GW 5020以及經由S6a介面連接至HSS 5035。S-GW 5020及PDN閘道5020經由S8介面連接。MME 5015、S-GW 5020、及PDN閘道5025總稱為演進封包核心(EPC)。EPC是系統架構演進(SAE)架構的主要元件,系統架構演進(SAE)架構是3GPP LTE無線通訊標準的核心網路架構。EPC是純封包系統。舉例而言,EPC未具有聲音媒體閘道。例如聲音及SMS等服務是被封包交換地安排路徑及以由利用EPC服務的應用功能提供。如此使用先前所述之對視訊會議轉換的電話呼叫為例,在某些實施例中,經由通訊系統5000的封包交換設備,執行電話呼叫及視訊會議等二者。在某些此類實施例中,在電話呼叫終止之後,用於電話呼叫的封包交換通道繼續被用於視訊會議的音訊資料。但是,在其它此類實施例中,產生不同的封包交換通道(例如,當建立視訊會議時),以及,當電話呼叫結束時,經由新近產生的封包交換通道而非電話呼叫的封包交換通道來傳送音訊資料。
此外,由這些不同的技術提供的頻寬量從用於GPRS的44仟位元/秒(kbps)至超過用於LTE的10佰萬位元/秒(Mbps)。預測未來的LTE為100 Mbps的下載速率及50 Mbps的上傳速率。
雖然已參考眾多特定細節說明本發明,但是習於此技藝者將瞭解,在不悖離本發明的精神之下,本發明可以以其它特定形式來具體實施本發明。此外,多個圖式概念地顯示眾多處理。這些處理的特定操作可以不以所示及說明的精確次序來執行。特定操作可以不由一連續的操作序列來執行,在不同的實施例中,可以執行不同的特定操作。此外,可以使用數個子處理來實施處理,或者,處理可以實施成為較大的巨集處理。
而且,上述參考二個雙相機行動裝置之間的視訊會議以說明很多實施例。但是,習於此技藝者將瞭解,在涉及雙相機行動裝置與例如具有視訊會議能力的電話、電腦、單相機行動裝置等另一裝置之間的視訊會議之情形中,使用這些實施例中的很多實施例。此外,上述實施例中很多實施例可以用於具有視訊會議能力的其它計算裝置及單相機行動裝置。因此,習於一般技藝者將瞭解本發明不限於上述說明的細節,而是由後附申請專利範圍界定。
300...視訊處理及編碼模組
305...CIPU驅動器
310...媒體交換模組
320...編碼器驅動器
325...視訊處理模組
330...捕捉影像處理單元
335...編碼器
400...捕捉影像處理單元
405a...相機感測器
405b...相機感測器
410a...像素陣列
410b...像素陣列
415...感測器模組
417...線/框緩衝器
420...壞像素校正模組
425...透鏡陰影模組
430...去馬賽克模組
435...白平衡模組
440...伽瑪模組
445...色域轉換模組
450...色彩、飽合、及對比模組
455...比例器模組
460...過濾器模組
465...統計引擎
470...暫存器
475...控制器模組
480...CIPU驅動器
600...視訊會議及處理模組
605...CIPU驅動器
610...媒體交換模組
620...編碼器驅動器
625...視訊會議模組
630...影像處理層
635...管理層
640...網路層
645...視訊會議客戶端
650...網路介面
655...捕捉影像處理單元
660...編碼器硬體
705...裝置
715...視訊會議伺服器
720...裝置
1200...視訊會議及處理模組
1202...視訊會議模組
1204...視訊會議管理器
1206...緩衝器
1208...影像處理管理器
1210...緩衝器
1212...緩衝器
1214...網路管理器
1216...緩衝器
1218...緩衝器
1220...媒體交換模組
1222...相機源模組
1224...視訊壓縮器模組
1225...緩衝器
1226...視訊解壓縮器模組
1230...CIPU驅動器
1235...編碼器驅動器
1240...解碼器驅動器
1245...顯示器
1250...捕捉影像處理單元
1255...編碼器
1260...解碼器
1265...客戶端應用
1305...緩衝器
1310...緩衝器
1315...音訊處理管理器
1320...音訊驅動器
1325...麥克風
1330...揚音器
1800...網路管理器
1805...對話協商管理器
1810...通信協定管理器
1815...發送器模組
1820...通用傳輸緩衝器
1822...通用傳輸緩衝器管理器
1825...虛擬交通協定管理器
1830...接收器模組
1835...媒體交通管理器
4700...雙相機行動計算裝置
4705...處理單元
4710...記憶體介面
4715...週邊介面
4720...相機子系統
4725...無線通訊子系統
4730...音訊子系統
4735...I/O子系統
4740...光學感測器
4745...方向感測器
4750...加速度感測器
4755...觸控螢幕控制器
4760...輸入控制器
4765...觸控螢幕
4770...記憶體
4801...觸控I/O裝置
4802...通訊通道
4803...計算系統
4900...通訊系統
4905...無線電網路控制器
4910...蜂巢式基地台
4915...行動裝置
4920...服務區
4925...核心網路
4930‧‧‧通用行動電信系統陸上無線電存取網路
5000‧‧‧4G通訊系統
5005‧‧‧演進節點
5010‧‧‧服務區
5015‧‧‧行動管理實體
5020‧‧‧服務閘道
5025‧‧‧封包資料網路閘道
5030‧‧‧演進通用行動電信系統陸上無線電存取網路
5035‧‧‧住家用戶伺服器
在後附的申請專利範圍中,揭示本發明的新穎特點。但是,為了說明起見,在下述圖式中揭示本發明的多個實施例。
圖1顯示某些實施例的合成顯示。
圖2顯示某些實施例的另一合成顯示。
圖3概念地顯示某些實施例的雙相機行動裝置之視訊處理及編碼模組的軟體架構。
圖4概念地顯示某些實施例的捕捉影像處理單元。
圖5概念地顯示根據不同垂直閃爍間隔(VBI)之不同框速率的實施例。
圖6概念地顯示某些實施例的雙相機行動裝置之視訊會議及處理模組的軟體架構。
圖7概念地顯示某些實施例之舉例說明的視訊會議請求發訊序列。
圖8顯示用於視訊會議建立操作之某些實施例的使用者介面。
圖9顯示接受視訊會議邀請之某些實施例的使用者介面。
圖10顯示接受視訊會議邀請之某些實施例的另一使用者介面。
圖11顯示用於視訊會議建立操作之某些實施例的另一使用者介面。
圖12概念地顯示某些實施例的雙相機行動裝置之視訊會議及處理模組的另一軟體架構。
圖13概念地顯示用於某些實施例的雙相機行動裝置之另一軟體架構。
圖14概念地顯示例如圖12中所示之某些實施例的視訊會議管理器所執行的處理。
圖15概念地顯示例如圖6中所示的某些實施例之影像處理管理器所執行的處理。
圖16顯示用於曝光調整操作的某些實施例之使用者介面。
圖17顯示用於聚焦調整操作的某些實施例之使用者介面。
圖18概念地顯示例如圖12中所示的某些實施例之用於網路化管理器的軟體架構。
圖19顯示用於PIP顯示旋轉操作之某些實施例的使用者介面。
圖20顯示用於PIP顯示旋轉操作之某些實施例的另一使用者介面。
圖21顯示用於PIP顯示旋轉操作之某些實施例的另一使用者介面。
圖22顯示用於PIP顯示旋轉操作之某些實施例的另一使用者介面。
圖23顯示用於辨識顯示區中感興趣的區域的某些實施例之使用者介面。
圖24示用於辨識顯示區中感興趣的區域的某些實施例之另一使用者介面。
圖25顯示用於辨識顯示區中感興趣的區域的某些實施例之另一使用者介面。
圖26顯示雙相機行動裝置上用於執行本地切換相機操作之某些實施例的處理。
圖27顯示用於切換相機操作之某些實施例的使用者介面。
圖28顯示用於切換相機操作之某些實施例的另一使用者介面。
圖29顯示用於切換相機操作之某些實施例的另一使用者介面。
圖30顯示用於切換相機操作之某些實施例的另一使用者介面。
圖31顯示雙相機行動裝置上用於執行遠端切換相機操作的某些實施例之處理。
圖32顯示用於遠端切換相機操作的某些實施例之使用者介面。
圖33顯示用於遙控切換相機操作的某些實施例之另一使用者介面。
圖34顯示用於遙控切換相機操作的某些實施例之另一使用者介面。
圖35顯示用於遙控切換相機操作的某些實施例之另一使用者介面。
圖36概念地顯示用於執行曝光調整操作之某些實施例的處理。
圖37顯示用於曝光調整操作之某些實施例的使用者介面。
圖38顯示用於曝光調整操作之某些實施例的另一使用者介面。
圖39顯示用於曝光調整操作之某些實施例的另一使用者介面。
圖40概念地顯示由如圖12所示的某些實施例之影像處理管理器執行的曝光調整處理。
圖41概念地顯示某些實施例的曝光調整操作。
圖42概念地顯示用於執行聚焦調整操作之某些實施例的處理。
圖43顯示用於聚焦調整操作之某些實施例的使用者介面。
圖44顯示用於聚焦調整操作之某些實施例的另一使用者介面。
圖45顯示用於聚焦調整操作之某些實施例的另一使用者介面。
圖46概念地顯示某些實施例之應用編程介面(API)架構。
圖47顯示用於某些實施例之雙相機行動計算裝置之架構。
圖48概念地顯示某些實施例之觸控式輸入/輸出(I/O)裝置。
圖49概念地顯示某些實施例之舉例說明的通訊系統。
圖50概念地顯示某些實施例之另一舉例說明的通訊系統。

Claims (20)

  1. 一種第一行動裝置之非暫時的電腦可讀取的媒體,該電腦可讀取的媒體儲存電腦程式,用於允許與第二行動裝置進行視訊會議的該第一行動裝置遙控該第二行動裝置,該電腦程式包括指令集,用於:將該第一行動裝置的相機捕捉的影像傳送給該第二行動裝置;接收該第二行動裝置的相機捕捉的影像;經由即時通訊對話的通訊通道傳送第一命令給該第二行動裝置,該命令用於指令該第二行動裝置執行自動地修改該第二行動裝置的相機所捕捉的影像之操作;以及從該第二行動裝置經由該通訊對話傳送第二命令,用於指令該第一行動裝置執行自動地修改該第一行動裝置的相機所捕捉的影像之操作。
  2. 如申請專利範圍第1項之電腦可讀取的媒體,其中,該通訊通道是控制通道。
  3. 如申請專利範圍第1項之電腦可讀取的媒體,其中,該操作是曝光操作。
  4. 如申請專利範圍第1項之電腦可讀取的媒體,其中,該操作是聚焦操作。
  5. 如申請專利範圍第1項之電腦可讀取的媒體,其中,該操作是變焦操作。
  6. 如申請專利範圍第1項之電腦可讀取的媒體,其中,該電腦程式又包括指令集,用於顯示該第二行動裝置 的相機捕捉的影像。
  7. 如申請專利範圍第1項之電腦可讀取的媒體,其中,經由該第一行動裝置的圖形使用者介面來接收該命令。
  8. 如申請專利範圍第7項之電腦可讀取的媒體,其中,藉由碰觸該第一行動裝置的顯示螢幕上的位置以送出該命令,該位置係顯示該第二行動裝置的相機捕捉的影像之位置。
  9. 一種第一行動裝置之電腦可讀取的媒體,該電腦可讀取的媒體儲存電腦程式,用於允許與第二行動裝置進行視訊會議期間之該第一行動裝置遙控該第二行動裝置,該電腦程式包括圖形使用者介面(GUI),該圖形使用者介面包括:第一顯示區,用於顯示即時通訊對話期間該第一行動裝置的相機捕捉的影像;第二顯示區,用於顯示該即時通訊對話期間該第二行動裝置的相機捕捉的影像;以及可選擇的使用者介面(UI)項目,當該第二顯示區上的感興趣的區域被選擇時,該可選擇的使用者介面(UI)項目傳送命令給該第二行動裝置,該命令在該即時通訊對話期間指令該第二行動裝置執行操作,該操作係使用該感興趣的區域修改該第二行動裝置的相機所捕捉的影像。
  10. 如申請專利範圍第9項之電腦可讀取的媒體,其中,該操作是該感興趣的區域上的曝光操作。
  11. 如申請專利範圍第9項之電腦可讀取的媒體,其中,該操作是該感興趣的區域上的聚焦操作。
  12. 如申請專利範圍第9項之電腦可讀取的媒體,其中,該操作是該感興趣的區域上的變焦操作。
  13. 如申請專利範圍第9項之電腦可讀取的媒體,其中,該命令經由該即時通訊對話的通訊通道傳送。
  14. 如申請專利範圍第13項之電腦可讀取的媒體,其中,該通訊通道是該即時通訊對話的控制通道。
  15. 如申請專利範圍第9項之電腦可讀取的媒體,其中,該第一顯示區是嵌入於該第二顯示區中。
  16. 一種界定電腦程式的方法,該電腦程式用於允許視訊會議期間第一行動裝置遙控第二行動裝置,該方法包括:界定一顯示,用於在該視訊會議期間在該第一行動裝置上顯示該第一行動裝置捕捉的第一視訊以及該第二行動裝置捕捉的第二視訊;及界定相機調整操作,用於在該視訊會議期間接收該第一行動裝置上的輸入,用以指定感興趣的區域做為由該第二行動裝置捕捉的視訊的一部分,以指示該第二行動裝置執行操作,該操作係使用所指定的該感興趣的區域修改該第二行動裝置的相機所捕捉的影像。
  17. 如申請專利範圍第16項之方法,又包括界定用於該第一行動裝置的第一網路管理器,該第一網路管理器在該視訊會議期間將該收到的輸入中繼轉送至該第二行動裝 置的第二網路管理器。
  18. 如申請專利範圍第17項之方法,其中,該第一網路管理器在該視訊會議期間經由網際網路協定(IP)上傳送的封包而將資料中繼轉送至該第二網路管理器,該封包包括控制封包,該控制封包用於中繼轉送用於控制該第二行動裝置的操作之該第一行動裝置上收到的輸入資料。
  19. 如申請專利範圍第16項之方法,又包括界定使用者介面,該使用者介面藉由偵測該視訊會議期間被碰觸的該顯示上的位置以接收該輸入。
  20. 如申請專利範圍第16項之方法,其中,該操作是該感興趣的區域上的曝光操作。
TW099132260A 2010-04-07 2010-09-23 行動裝置之非暫時的電腦可讀取的媒體以及界定電腦程式的方法 TWI499271B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US32187110P 2010-04-07 2010-04-07
US12/794,772 US8874090B2 (en) 2010-04-07 2010-06-06 Remote control operations in a video conference

Publications (2)

Publication Number Publication Date
TW201143349A TW201143349A (en) 2011-12-01
TWI499271B true TWI499271B (zh) 2015-09-01

Family

ID=44760640

Family Applications (4)

Application Number Title Priority Date Filing Date
TW99132255A TWI462566B (zh) 2010-04-07 2010-09-23 在多攝影機行動裝置的視訊會議期間的切換攝影機技術
TW99132254A TWI439133B (zh) 2010-04-07 2010-09-23 會議中之顯示調整技術
TW099132260A TWI499271B (zh) 2010-04-07 2010-09-23 行動裝置之非暫時的電腦可讀取的媒體以及界定電腦程式的方法
TW099132253A TWI547136B (zh) 2010-04-07 2010-09-23 於電話呼叫期間建立視訊會議

Family Applications Before (2)

Application Number Title Priority Date Filing Date
TW99132255A TWI462566B (zh) 2010-04-07 2010-09-23 在多攝影機行動裝置的視訊會議期間的切換攝影機技術
TW99132254A TWI439133B (zh) 2010-04-07 2010-09-23 會議中之顯示調整技術

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW099132253A TWI547136B (zh) 2010-04-07 2010-09-23 於電話呼叫期間建立視訊會議

Country Status (11)

Country Link
US (14) US8941706B2 (zh)
EP (2) EP2556665B1 (zh)
JP (7) JP2013524684A (zh)
KR (12) KR102189345B1 (zh)
CN (1) CN104270597B (zh)
AU (1) AU2010350749B2 (zh)
BR (1) BR112012025746B1 (zh)
HK (2) HK1162796A1 (zh)
MX (3) MX2012011623A (zh)
TW (4) TWI462566B (zh)
WO (1) WO2011126511A1 (zh)

Families Citing this family (707)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8593542B2 (en) 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
CN101496387B (zh) 2006-03-06 2012-09-05 思科技术公司 用于移动无线网络中的接入认证的系统和方法
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
US8390667B2 (en) 2008-04-15 2013-03-05 Cisco Technology, Inc. Pop-up PIP for people not in picture
US8694658B2 (en) 2008-09-19 2014-04-08 Cisco Technology, Inc. System and method for enabling communication sessions in a network environment
TWI386863B (zh) * 2008-10-03 2013-02-21 Alpha Imaging Technology Corp 多媒體處理器、手持式電子通訊裝置及其影像處理方法
US8659637B2 (en) 2009-03-09 2014-02-25 Cisco Technology, Inc. System and method for providing three dimensional video conferencing in a network environment
US8416300B2 (en) 2009-05-20 2013-04-09 International Business Machines Corporation Traffic system for enhancing driver visibility
US8659639B2 (en) 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
KR20100135145A (ko) * 2009-06-16 2010-12-24 삼성전자주식회사 원격제어장치 및 그의 디스플레이방법
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
US9277021B2 (en) * 2009-08-21 2016-03-01 Avaya Inc. Sending a user associated telecommunication address
DE102009039834A1 (de) * 2009-09-03 2011-03-10 Deutsche Telekom Ag Automatisches Sprach-Chat-System in Mobilfunknetzen mit Ortsbezug
US20220129126A9 (en) * 2009-12-20 2022-04-28 Benjamin Firooz Ghassabian System for capturing event provided from edge of touch screen
US20110153768A1 (en) * 2009-12-23 2011-06-23 International Business Machines Corporation E-meeting presentation relevance alerts
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
US8583149B2 (en) 2010-04-07 2013-11-12 Apple Inc. Registering email addresses for online communication sessions
US8941706B2 (en) 2010-04-07 2015-01-27 Apple Inc. Image processing for a dual camera mobile device
US8725880B2 (en) 2010-04-07 2014-05-13 Apple, Inc. Establishing online communication sessions between client computing devices
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US8751667B2 (en) 2010-04-07 2014-06-10 Apple Inc. Supporting hands-free services via a hands-free device for IP video calls
US8606306B2 (en) 2010-04-07 2013-12-10 Apple Inc. Multiple client computing device invitations for online communication sessions
US9955209B2 (en) 2010-04-14 2018-04-24 Alcatel-Lucent Usa Inc. Immersive viewer, a method of providing scenes on a display and an immersive viewing system
US8786664B2 (en) * 2010-04-28 2014-07-22 Qualcomm Incorporated System and method for providing integrated video communication applications on a mobile computing device
US9294716B2 (en) 2010-04-30 2016-03-22 Alcatel Lucent Method and system for controlling an imaging system
US9084002B2 (en) * 2010-05-03 2015-07-14 Microsoft Technology Licensing, Llc Heterogeneous image sensor synchronization
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
US9025030B2 (en) * 2010-06-08 2015-05-05 Cheryl Garcia Video system
US20110306325A1 (en) * 2010-06-10 2011-12-15 Rajesh Gutta Streaming video/audio from mobile phone to any device
US8335991B2 (en) * 2010-06-11 2012-12-18 Microsoft Corporation Secure application interoperation via user interface gestures
US20120001999A1 (en) * 2010-07-01 2012-01-05 Tandberg Telecom As Apparatus and method for changing a camera configuration in response to switching between modes of operation
US8363085B2 (en) * 2010-07-06 2013-01-29 DigitalOptics Corporation Europe Limited Scene background blurring including determining a depth map
US20120030595A1 (en) * 2010-07-29 2012-02-02 Seiko Epson Corporation Information storage medium, terminal apparatus, and image generation method
US8823739B2 (en) 2010-08-25 2014-09-02 International Business Machines Corporation Background replacement for videoconferencing
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
GB201014614D0 (en) * 2010-09-02 2010-10-13 Skype Ltd Premium communication sessions
US9024997B2 (en) * 2010-09-03 2015-05-05 At&T Intellectual Property L.L.P. Virtual presence via mobile
US8599934B2 (en) 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
CN101951492A (zh) * 2010-09-15 2011-01-19 中兴通讯股份有限公司 视频通话中视频录制的方法及装置
US9078082B2 (en) * 2010-09-24 2015-07-07 Amazon Technologies, Inc. Interacting with cloud-based applications using unrelated devices
DE102010041569B4 (de) * 2010-09-28 2017-04-06 Leica Geosystems Ag Digitales Kamerasystem, Farbfilterelement für digitales Kamerasystem, Verfahren zur Bestimmung von Abweichungen zwischen den Kameras eines digitalen Kamerasystems sowie Bildverarbeitungseinheit für digitales Kamerasystem
WO2012043756A1 (ja) * 2010-09-30 2012-04-05 楽天株式会社 閲覧装置、閲覧方法、プログラムを記録した非一時的なコンピュータ読み取り可能な記録媒体、ならびに、スクリプトプログラム
US20120083314A1 (en) * 2010-09-30 2012-04-05 Ng Hock M Multimedia Telecommunication Apparatus With Motion Tracking
US8754925B2 (en) 2010-09-30 2014-06-17 Alcatel Lucent Audio source locator and tracker, a method of directing a camera to view an audio source and a video conferencing terminal
US20120218202A1 (en) 2010-10-01 2012-08-30 Sanjiv Sirpal Windows position control for phone applications
US20120225694A1 (en) 2010-10-01 2012-09-06 Sanjiv Sirpal Windows position control for phone applications
US20120225693A1 (en) 2010-10-01 2012-09-06 Sanjiv Sirpal Windows position control for phone applications
US9588545B2 (en) 2010-10-01 2017-03-07 Z124 Windows position control for phone applications
US9436217B2 (en) 2010-10-01 2016-09-06 Z124 Windows position control for phone applications
US9046992B2 (en) 2010-10-01 2015-06-02 Z124 Gesture controls for multi-screen user interface
US9189018B2 (en) * 2010-10-01 2015-11-17 Z124 Windows position control for phone applications
US8723913B2 (en) 2010-10-07 2014-05-13 T-Mobile Usa, Inc. Rate adaptation for video calling
US20120229492A1 (en) * 2010-10-11 2012-09-13 Shang-Shian Chen Projecting Method and Mobile Device Thereof
US8803999B2 (en) * 2010-10-12 2014-08-12 Blackberry Limited Method and apparatus for image orientation indication and correction
US9294717B2 (en) * 2010-10-13 2016-03-22 At&T Intellectual Property I, L.P. System and method to enable layered video messaging
US9237305B2 (en) * 2010-10-18 2016-01-12 Apple Inc. Overlay for a video conferencing application
KR20120040410A (ko) * 2010-10-19 2012-04-27 한국전자통신연구원 통신 시스템에서 서비스 제공 서버, 서비스 제공 노드 및 서비스 제공 방법
US20120092381A1 (en) * 2010-10-19 2012-04-19 Microsoft Corporation Snapping User Interface Elements Based On Touch Input
US20120092444A1 (en) * 2010-10-19 2012-04-19 Cisco Technology, Inc. System and method for providing videomail in a network environment
KR101738105B1 (ko) * 2010-10-22 2017-05-22 삼성디스플레이 주식회사 영상 처리 장치, 영상 처리 방법 및 평판 표시장치
US8599865B2 (en) 2010-10-26 2013-12-03 Cisco Technology, Inc. System and method for provisioning flows in a mobile network environment
US8699457B2 (en) 2010-11-03 2014-04-15 Cisco Technology, Inc. System and method for managing flows in a mobile network environment
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
US9143725B2 (en) 2010-11-15 2015-09-22 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8902244B2 (en) * 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US8542264B2 (en) 2010-11-18 2013-09-24 Cisco Technology, Inc. System and method for managing optics in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
US9264664B2 (en) * 2010-12-03 2016-02-16 Intouch Technologies, Inc. Systems and methods for dynamic bandwidth allocation
US8928810B2 (en) * 2010-12-15 2015-01-06 Bernhard Fritsch System for combining video data streams into a composite video data stream
USD682854S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen for graphical user interface
CN102541414A (zh) * 2010-12-28 2012-07-04 英华达(上海)科技有限公司 一种能自动切换操作模式的移动终端装置
US10281915B2 (en) 2011-01-05 2019-05-07 Sphero, Inc. Multi-purposed self-propelled device
US9090214B2 (en) 2011-01-05 2015-07-28 Orbotix, Inc. Magnetically coupled accessory for a self-propelled device
US8571781B2 (en) 2011-01-05 2013-10-29 Orbotix, Inc. Self-propelled device with actively engaged drive system
US9218316B2 (en) 2011-01-05 2015-12-22 Sphero, Inc. Remotely controlling a self-propelled device in a virtualized environment
US9429940B2 (en) 2011-01-05 2016-08-30 Sphero, Inc. Self propelled device with magnetic coupling
US8823769B2 (en) * 2011-01-05 2014-09-02 Ricoh Company, Ltd. Three-dimensional video conferencing system with eye contact
US8589509B2 (en) * 2011-01-05 2013-11-19 Cloudium Systems Limited Controlling and optimizing system latency
KR101739379B1 (ko) * 2011-01-11 2017-05-24 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
TW201233156A (en) * 2011-01-26 2012-08-01 Altek Corp Method and system for controlling external lens
US20120206568A1 (en) * 2011-02-10 2012-08-16 Google Inc. Computing device having multiple image capture devices and image modes
US8692862B2 (en) 2011-02-28 2014-04-08 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
US8539086B2 (en) 2011-03-23 2013-09-17 Color Labs, Inc. User device group formation
US8581958B2 (en) * 2011-04-18 2013-11-12 Hewlett-Packard Development Company, L.P. Methods and systems for establishing video conferences using portable electronic devices
CN103562791A (zh) * 2011-04-18 2014-02-05 眼见360股份有限公司 用于与移动计算设备一起进行全景视频成像的装置和方法
KR101764372B1 (ko) 2011-04-19 2017-08-03 삼성전자주식회사 휴대용 단말기에서 영상 합성 방법 및 장치
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US8786631B1 (en) 2011-04-30 2014-07-22 Cisco Technology, Inc. System and method for transferring transparency information in a video environment
US9191615B1 (en) * 2011-05-02 2015-11-17 Needle, Inc. Chat window
US20120290650A1 (en) * 2011-05-11 2012-11-15 Futurewei Technologies, Inc. System and Method for Peer to Peer Communications in Cellular Communications Systems
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
WO2012155951A1 (en) * 2011-05-13 2012-11-22 Valeo Schalter Und Sensoren Gmbh Camera arrangement for a vehicle and method for calibrating a camera and for operating a camera arrangement
US9098611B2 (en) * 2012-11-26 2015-08-04 Intouch Technologies, Inc. Enhanced video interaction for a user interface of a telepresence network
JP5830935B2 (ja) * 2011-05-27 2015-12-09 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US20120307989A1 (en) * 2011-06-02 2012-12-06 Hawley Michael J Method and apparatus for multimedia calls
US9600176B2 (en) * 2011-06-16 2017-03-21 Nokia Technologies Oy Method and apparatus for controlling a spatial relationship between at least two groups of content during movement of the content
US9325935B2 (en) * 2011-06-20 2016-04-26 Cisco Technology, Inc. Preview window for video communications
US20130003543A1 (en) * 2011-06-30 2013-01-03 Avistar Communications Corporation NEXT-GENERATION BANDWIDTH MANAGEMENT CONTROL SYSTEMS FOR MULTIPLE-SERVICE CALLS, SESSIONS, PACKET-LEVEL PROCESSES, AND QoS PARAMETERS - PART 1: STRUCTURAL AND FUNCTIONAL ARCHITECTURES
US20130002532A1 (en) * 2011-07-01 2013-01-03 Nokia Corporation Method, apparatus, and computer program product for shared synchronous viewing of content
US20130067331A1 (en) * 2011-09-09 2013-03-14 Screenovate Technologies Ltd. Method and System of Simultaneous Display of Multiple Screens on a Target Display
KR101314679B1 (ko) * 2011-09-14 2013-10-07 엘지전자 주식회사 이동 단말기 및 그 동작 제어 방법
US8327012B1 (en) * 2011-09-21 2012-12-04 Color Labs, Inc Content sharing via multiple content distribution servers
US9152970B1 (en) 2011-09-27 2015-10-06 Amazon Technologies, Inc. Remote co-browsing session management
US9182935B2 (en) * 2011-09-27 2015-11-10 Z124 Secondary single screen mode activation through menu option
US9383958B1 (en) * 2011-09-27 2016-07-05 Amazon Technologies, Inc. Remote co-browsing session management
US8861893B2 (en) * 2011-09-27 2014-10-14 The Boeing Company Enhancing video using super-resolution
US8823765B2 (en) * 2011-09-30 2014-09-02 Verizon Patent And Licensing Inc. Method and apparatus for device peer resource pooling
US9009341B2 (en) * 2011-10-11 2015-04-14 Avaya Inc. Video bandwidth management system and method
JP5977498B2 (ja) * 2011-10-14 2016-08-24 キヤノン株式会社 撮像装置、撮像装置の制御方法
US9448708B1 (en) * 2011-10-19 2016-09-20 Google Inc. Theming for virtual collaboration
EP3429124B1 (en) * 2011-10-24 2020-10-21 T-Mobile USA, Inc. Optimizing video-call quality of service
US9118801B2 (en) 2011-10-24 2015-08-25 T-Mobile Usa, Inc. Optimizing video-call quality of service
US8490008B2 (en) 2011-11-10 2013-07-16 Research In Motion Limited Touchscreen keyboard predictive display and generation of a set of characters
TWI492629B (zh) * 2011-11-02 2015-07-11 Quanta Comp Inc 視訊會議系統、視訊會議裝置及其方法
US9715489B2 (en) 2011-11-10 2017-07-25 Blackberry Limited Displaying a prediction candidate after a typing mistake
US9122672B2 (en) 2011-11-10 2015-09-01 Blackberry Limited In-letter word prediction for virtual keyboard
US9310889B2 (en) 2011-11-10 2016-04-12 Blackberry Limited Touchscreen keyboard predictive display and generation of a set of characters
US9652448B2 (en) 2011-11-10 2017-05-16 Blackberry Limited Methods and systems for removing or replacing on-keyboard prediction candidates
JP5884421B2 (ja) * 2011-11-14 2016-03-15 ソニー株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
US9313100B1 (en) 2011-11-14 2016-04-12 Amazon Technologies, Inc. Remote browsing session management
CN103108197A (zh) 2011-11-14 2013-05-15 辉达公司 一种用于3d视频无线显示的优先级压缩方法和系统
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US9557892B2 (en) * 2011-11-26 2017-01-31 Douzen, Inc. Systems and methods for organizing and displaying hierarchical data structures in computing devices
US9430119B2 (en) 2011-11-26 2016-08-30 Douzen, Inc. Systems and methods for organizing and displaying hierarchical data structures in computing devices
US9008487B2 (en) 2011-12-06 2015-04-14 Alcatel Lucent Spatial bookmarking
WO2013085546A1 (en) 2011-12-09 2013-06-13 Hewlett-Packard Development Company, Lp Modification of images based on orientation
US9246543B2 (en) * 2011-12-12 2016-01-26 Futurewei Technologies, Inc. Smart audio and video capture systems for data processing systems
US9569752B2 (en) * 2011-12-15 2017-02-14 Cisco Technology, Inc. Providing parameterized actionable communication messages via an electronic communication
US9449583B2 (en) * 2011-12-15 2016-09-20 Lenovo (Beijing) Co., Ltd. Control method and electronic apparatus
US8682087B2 (en) 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
US9330188B1 (en) 2011-12-22 2016-05-03 Amazon Technologies, Inc. Shared browsing sessions
EP2618248B1 (en) 2012-01-19 2017-08-16 BlackBerry Limited Virtual keyboard providing an indication of received input
US9557913B2 (en) 2012-01-19 2017-01-31 Blackberry Limited Virtual keyboard display having a ticker proximate to the virtual keyboard
US9829715B2 (en) 2012-01-23 2017-11-28 Nvidia Corporation Eyewear device for transmitting signal and communication method thereof
EP2811739B1 (en) * 2012-02-03 2021-11-24 Samsung SDS Co., Ltd. Terminal, image communication control server, and system and method for image communication using same
US10289660B2 (en) * 2012-02-15 2019-05-14 Apple Inc. Device, method, and graphical user interface for sharing a content object in a document
EP2631756B1 (en) * 2012-02-24 2014-11-26 BlackBerry Limited User interface for a digital camera
US20130227149A1 (en) * 2012-02-24 2013-08-29 Intel Mobile Communications GmbH Method for providing a communication session and device
US20130222255A1 (en) * 2012-02-24 2013-08-29 Research In Motion Limited Portable electronic device including touch-sensitive display and method of controlling same
DE112012000189B4 (de) 2012-02-24 2023-06-15 Blackberry Limited Berührungsbildschirm-Tastatur zum Vorsehen von Wortvorhersagen in Partitionen der Berührungsbildschirm-Tastatur in naher Assoziation mit Kandidaten-Buchstaben
US8675113B2 (en) 2012-02-24 2014-03-18 Research In Motion Limited User interface for a digital camera
TWI499935B (zh) * 2012-08-30 2015-09-11 Realtek Semiconductor Corp 可避免非預期性互動行為發生的多媒體互動系統及相關的電腦程式產品
TWI485576B (zh) * 2012-03-02 2015-05-21 Realtek Semiconductor Corp 可避免非預期性互動行為發生的多媒體互動系統及相關的電腦程式產品
US9041727B2 (en) 2012-03-06 2015-05-26 Apple Inc. User interface tools for selectively applying effects to image
US9189876B2 (en) 2012-03-06 2015-11-17 Apple Inc. Fanning user interface controls for a media editing application
US9131192B2 (en) 2012-03-06 2015-09-08 Apple Inc. Unified slider control for modifying multiple image properties
JP6123274B2 (ja) * 2012-03-08 2017-05-10 株式会社リコー 撮像装置
US9489827B2 (en) 2012-03-12 2016-11-08 Cisco Technology, Inc. System and method for distributing content in a video surveillance network
WO2013143058A1 (zh) * 2012-03-26 2013-10-03 华为技术有限公司 一种数据传输的方法、设备及系统
US9256457B1 (en) 2012-03-28 2016-02-09 Google Inc. Interactive response system for hosted services
US9201510B2 (en) 2012-04-16 2015-12-01 Blackberry Limited Method and device having touchscreen keyboard with visual cues
US8818345B1 (en) * 2012-04-17 2014-08-26 Sprint Communications Company L.P. Enhancing conference bridge muting to save network resources
KR101452038B1 (ko) * 2012-04-26 2014-10-22 삼성전기주식회사 모바일 기기 및 그 화면 제어 방법
CN103379044A (zh) * 2012-04-26 2013-10-30 鸿富锦精密工业(深圳)有限公司 网络装置及其动态调整带宽的方法
KR101858604B1 (ko) * 2012-04-30 2018-05-17 엘지전자 주식회사 이동 단말기 및 그 제어방법
US10025487B2 (en) 2012-04-30 2018-07-17 Blackberry Limited Method and apparatus for text selection
US9354805B2 (en) 2012-04-30 2016-05-31 Blackberry Limited Method and apparatus for text selection
US9292192B2 (en) 2012-04-30 2016-03-22 Blackberry Limited Method and apparatus for text selection
US9451163B2 (en) * 2012-05-11 2016-09-20 Qualcomm Incorporated Motion sensor assisted rate control for video encoding
CN104428791A (zh) 2012-05-14 2015-03-18 澳宝提克斯公司 通过检测图像中的圆形物体操作计算装置
US9827487B2 (en) 2012-05-14 2017-11-28 Sphero, Inc. Interactive augmented reality using a self-propelled device
US9292758B2 (en) * 2012-05-14 2016-03-22 Sphero, Inc. Augmentation of elements in data content
RU2012119843A (ru) * 2012-05-15 2013-11-20 Общество с ограниченной ответственностью "Синезис" Способ отображения видеоданных на мобильном устройстве
US9049349B2 (en) * 2012-05-16 2015-06-02 Cisco Technology, Inc. System and method for video recording and retention in a network
CN103428523B (zh) * 2012-05-22 2015-07-08 华为技术有限公司 评估视频质量的方法和装置
US8830295B2 (en) 2012-05-23 2014-09-09 Google Inc. Multimedia conference endpoint transfer system
US9207860B2 (en) 2012-05-25 2015-12-08 Blackberry Limited Method and apparatus for detecting a gesture
CN102724479A (zh) * 2012-05-28 2012-10-10 康佳集团股份有限公司 具有图像实时显示和放大功能的电视系统及其实现方法
US9813666B2 (en) * 2012-05-29 2017-11-07 Qualcomm Incorporated Video transmission and reconstruction
US9083844B2 (en) 2012-06-01 2015-07-14 Nintendo Co., Ltd. Computer-readable medium, information processing apparatus, information processing system and information processing method
US9241131B2 (en) 2012-06-08 2016-01-19 Samsung Electronics Co., Ltd. Multiple channel communication using multiple cameras
US9325889B2 (en) 2012-06-08 2016-04-26 Samsung Electronics Co., Ltd. Continuous video capture during switch between video capture devices
EP3970922A1 (en) 2012-06-12 2022-03-23 Snap-On Incorporated An inventory control system having advanced functionalities
US8957915B1 (en) * 2012-06-14 2015-02-17 Cinemagram Inc. Method, apparatus and system for dynamic images
US9123145B2 (en) * 2012-06-15 2015-09-01 Disney Enterprises, Inc. Temporal noise control for sketchy animation
US20180048750A1 (en) * 2012-06-15 2018-02-15 Muzik, Llc Audio/video wearable computer system with integrated projector
US9438818B2 (en) * 2012-06-20 2016-09-06 Qualcomm Incorporated Device and method for multimedia communications with picture orientation information
US9014060B2 (en) * 2012-06-21 2015-04-21 Level 3 Communications, Llc System and method for integrating VoIP client for audio conferencing
US8830296B1 (en) 2012-06-26 2014-09-09 Google Inc. Endpoint device-specific stream control for multimedia conferencing
KR101992397B1 (ko) * 2012-06-27 2019-09-27 삼성전자주식회사 영상 처리 장치, 영상 중계 장치, 영상 처리 방법 및 영상 중계 방법
US9116552B2 (en) 2012-06-27 2015-08-25 Blackberry Limited Touchscreen keyboard providing selection of word predictions in partitions of the touchscreen keyboard
US9911222B2 (en) * 2012-07-06 2018-03-06 Tangome, Inc. Animation in threaded conversations
US10165245B2 (en) 2012-07-06 2018-12-25 Kaltura, Inc. Pre-fetching video content
US9632648B2 (en) 2012-07-06 2017-04-25 Lg Electronics Inc. Mobile terminal, image display device and user interface provision method using the same
US10056791B2 (en) 2012-07-13 2018-08-21 Sphero, Inc. Self-optimizing power transfer
US9876988B2 (en) * 2012-07-13 2018-01-23 Microsoft Technology Licensing, Llc Video display modification for video conferencing environments
WO2014014238A1 (en) 2012-07-17 2014-01-23 Samsung Electronics Co., Ltd. System and method for providing image
US9131143B2 (en) 2012-07-20 2015-09-08 Blackberry Limited Dynamic region of interest adaptation and image capture device providing same
US9813255B2 (en) 2012-07-30 2017-11-07 Microsoft Technology Licensing, Llc Collaboration environments and views
US8805431B2 (en) * 2012-07-31 2014-08-12 Motorola Solutions, Inc. Apparatus and method for initiating and sharing incident information in a communication system
EP2696591B1 (en) * 2012-08-09 2019-04-10 Samsung Electronics Co., Ltd Video calling using a remote camera device to stream video to a local endpoint host acting as a proxy
US10742692B2 (en) 2012-08-09 2020-08-11 Avaya Inc. Snap-in invocation for call reconstruction
US9024995B2 (en) * 2012-08-09 2015-05-05 Samsung Electronics Co., Ltd. Video calling using a remote camera device to stream video to a local endpoint host acting as a proxy
US10601880B2 (en) * 2015-07-17 2020-03-24 Avaya Inc. Conference reconstruction in SIP networks
KR101901919B1 (ko) * 2012-08-27 2018-09-27 삼성전자주식회사 휴대 단말기 및 메신저 영상 서비스 운용 방법
US9113033B2 (en) 2012-08-28 2015-08-18 Microsoft Technology Licensing, Llc Mobile video conferencing with digital annotation
US9063653B2 (en) 2012-08-31 2015-06-23 Blackberry Limited Ranking predictions based on typing speed and typing confidence
US8928724B2 (en) * 2012-08-31 2015-01-06 Microsoft Corporation Unified user experience for mobile calls
US9524290B2 (en) 2012-08-31 2016-12-20 Blackberry Limited Scoring predictions based on prediction length and typing speed
US9578224B2 (en) * 2012-09-10 2017-02-21 Nvidia Corporation System and method for enhanced monoimaging
GB201216210D0 (en) 2012-09-12 2012-10-24 Appeartome Ltd Augmented reality apparatus and method
US9148625B2 (en) * 2012-09-21 2015-09-29 Cisco Technology, Inc. Transition control in a videoconference
US20140085178A1 (en) * 2012-09-24 2014-03-27 3M Innovative Properties Company Method and apparatus for controlling information display areas in a mirror display
KR20140042280A (ko) * 2012-09-28 2014-04-07 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
US10154177B2 (en) 2012-10-04 2018-12-11 Cognex Corporation Symbology reader with multi-core processor
US9007426B2 (en) 2012-10-04 2015-04-14 Blackberry Limited Comparison-based selection of video resolutions in a video call
US10552030B2 (en) * 2012-10-15 2020-02-04 Kirusa, Inc. Multi-gesture media recording system
ITTO20120907A1 (it) * 2012-10-16 2014-04-17 Selex Galileo Spa Sistema di visione esterna e/o di puntamento di un'arma per veicoli militari terrestri ed unita' navali militari
ITTO20120908A1 (it) * 2012-10-16 2014-04-17 Selex Galileo Spa Innovativo sistema di comando e controllo e di puntamento e tiro per veicoli militari terrestri equipaggiati con almeno un'arma
EP2909971B1 (en) 2012-10-18 2020-09-02 Dolby Laboratories Licensing Corporation Systems and methods for initiating conferences using external devices
US9035995B2 (en) * 2012-10-23 2015-05-19 Electronics And Telecommunications Research Institute Method and apparatus for widening viewing angle in video conferencing system
KR101960311B1 (ko) * 2012-10-29 2019-03-20 엘지전자 주식회사 이동단말기 및 그 제어방법
KR20140063125A (ko) * 2012-11-16 2014-05-27 삼성전자주식회사 영역에 따라 다른 계수를 적용하여 화질을 개선하는 영상 처리 방법 및 그 장치
WO2014083561A1 (en) * 2012-11-27 2014-06-05 Oliver Solutions Ltd. Telecommunication network node supporting hybrid management
JP5974881B2 (ja) * 2012-12-14 2016-08-23 ソニー株式会社 情報処理装置およびその制御方法
CN103024342B (zh) * 2012-12-25 2016-05-18 广东威创视讯科技股份有限公司 视频会议系统中的带宽控制方法及系统
KR102000536B1 (ko) 2012-12-28 2019-07-16 삼성전자주식회사 합성 이미지를 촬영하는 촬영 장치 및 그 방법
US9615176B2 (en) * 2012-12-28 2017-04-04 Nvidia Corporation Audio channel mapping in a portable electronic device
KR102049977B1 (ko) * 2012-12-31 2019-11-28 엘지전자 주식회사 이동 단말기
US8953079B2 (en) * 2012-12-31 2015-02-10 Texas Instruments Incorporated System and method for generating 360 degree video recording using MVC
KR20140089146A (ko) 2013-01-04 2014-07-14 삼성전자주식회사 영상 통화 방법 및 그 방법을 처리하는 전자 장치
US10021431B2 (en) * 2013-01-04 2018-07-10 Omnivision Technologies, Inc. Mobile computing device having video-in-video real-time broadcasting capability
US9509919B2 (en) * 2014-11-17 2016-11-29 Duelight Llc System and method for generating a digital image
WO2014125403A2 (en) * 2013-02-12 2014-08-21 Amit Kumar Jain Amit Method of video interaction using poster view
KR102076771B1 (ko) * 2013-02-21 2020-02-12 삼성전자주식회사 다수의 이미지 동시 포착
TWI477108B (zh) * 2013-02-22 2015-03-11 Quanta Comp Inc 視訊會議建立方法
WO2014130977A1 (en) * 2013-02-25 2014-08-28 Herold Williams Nonlinear scaling in video conferencing
KR102032347B1 (ko) * 2013-02-26 2019-10-15 삼성전자 주식회사 이미지 센서 위치를 이용한 이미지 영역 설정 장치 및 방법
KR102032541B1 (ko) * 2013-02-26 2019-11-08 삼성전자주식회사 이미지 촬영장치 및 방법
US9087393B2 (en) * 2013-03-07 2015-07-21 Apple Inc. Network display support in an integrated circuit
KR20140114501A (ko) * 2013-03-14 2014-09-29 삼성전자주식회사 영상 데이터 처리 방법 및 이를 지원하는 전자 장치
KR101978219B1 (ko) * 2013-03-15 2019-05-14 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
US10187433B2 (en) 2013-03-15 2019-01-22 Swyme Ip Bv Methods and systems for dynamic adjustment of session parameters for effective video collaboration among heterogenous devices
KR102037930B1 (ko) * 2013-03-15 2019-10-30 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US9792654B1 (en) * 2013-03-15 2017-10-17 United Services Automobile Association (Usaa) Insurance claim processing via streaming video
US9292264B2 (en) 2013-03-15 2016-03-22 Paschar Llc Mobile device user interface advertising software development kit
US20140280490A1 (en) * 2013-03-15 2014-09-18 Atakan Artun Systems and methods for visual communication
US20140279029A1 (en) * 2013-03-15 2014-09-18 Paschar Llc Mobile device user interface with dynamic advertising control interface area
US10092165B2 (en) * 2013-03-20 2018-10-09 Covidien Lp System and method for enhancing picture-in-picture display for imaging devices used for surgical procedures
JP2014192566A (ja) * 2013-03-26 2014-10-06 Sony Corp 映像処理装置、映像処理方法およびコンピュータプログラム
JP5731088B2 (ja) * 2013-03-29 2015-06-10 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 機器制御方法、及び、プログラム
CN104104898B (zh) * 2013-04-03 2017-06-27 联想(北京)有限公司 一种数据处理方法、装置和电子设备
KR20140121711A (ko) * 2013-04-08 2014-10-16 삼성전자주식회사 색 추출 기반의 영상 처리 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 디지털 영상 장치
US10349115B2 (en) * 2013-04-12 2019-07-09 Brian Hernandez Multimedia content management system and method of displaying remotely hosted content
US9236088B2 (en) * 2013-04-18 2016-01-12 Rapt Media, Inc. Application communication
US9407874B2 (en) * 2013-04-30 2016-08-02 Esurance Insurance Services, Inc. Remote claims adjuster
EP2994822A4 (en) * 2013-05-09 2016-12-07 Amazon Tech Inc INTERFACES OF MOBILE DEVICES
KR20140133363A (ko) * 2013-05-10 2014-11-19 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
US9197853B2 (en) * 2013-05-20 2015-11-24 Ricoh Company, Ltd Switching between views using natural gestures
JP6229314B2 (ja) * 2013-05-30 2017-11-15 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
KR102169523B1 (ko) 2013-05-31 2020-10-23 삼성전자 주식회사 디스플레이장치 및 그 제어방법
US9692831B1 (en) * 2013-05-31 2017-06-27 Google Inc. Pausing interactive sessions
KR102064973B1 (ko) * 2013-06-04 2020-01-10 삼성전자주식회사 듀얼 이미지를 편집하는 전자 장치 및 방법
KR102101850B1 (ko) * 2013-06-04 2020-04-17 삼성전자주식회사 전자 장치에서 이미지를 편집하기 위한 장치 및 방법
CA2912836A1 (en) 2013-06-05 2014-12-11 Snakt, Inc. Methods and systems for creating, combining, and sharing time-constrained videos
US10168882B2 (en) 2013-06-09 2019-01-01 Apple Inc. Device, method, and graphical user interface for switching between camera interfaces
US9008296B2 (en) 2013-06-10 2015-04-14 Microsoft Technology Licensing, Llc Catching up with an ongoing conference call
US11659138B1 (en) 2013-06-26 2023-05-23 Touchcast, Inc. System and method for interactive video conferencing
US9787945B2 (en) 2013-06-26 2017-10-10 Touchcast LLC System and method for interactive video conferencing
US9661256B2 (en) 2014-06-26 2017-05-23 Touchcast LLC System and method for providing and interacting with coordinated presentations
US10757365B2 (en) 2013-06-26 2020-08-25 Touchcast LLC System and method for providing and interacting with coordinated presentations
US11488363B2 (en) 2019-03-15 2022-11-01 Touchcast, Inc. Augmented reality conferencing system and method
US10356363B2 (en) 2013-06-26 2019-07-16 Touchcast LLC System and method for interactive video conferencing
US11405587B1 (en) 2013-06-26 2022-08-02 Touchcast LLC System and method for interactive video conferencing
US10523899B2 (en) 2013-06-26 2019-12-31 Touchcast LLC System and method for providing and interacting with coordinated presentations
US10297284B2 (en) 2013-06-26 2019-05-21 Touchcast LLC Audio/visual synching system and method
US10075676B2 (en) 2013-06-26 2018-09-11 Touchcast LLC Intelligent virtual assistant system and method
WO2015000085A2 (en) * 2013-07-02 2015-01-08 Unsworth Andrew Baillie A system for activating a recording device to capture the reaction of a recipient, subject, and/or sender during a media or gift exchange
US10084849B1 (en) 2013-07-10 2018-09-25 Touchcast LLC System and method for providing and interacting with coordinated presentations
US9232177B2 (en) * 2013-07-12 2016-01-05 Intel Corporation Video chat data processing
TWI496109B (zh) * 2013-07-12 2015-08-11 Vivotek Inc 影像處理器及其影像合成方法
US9113036B2 (en) * 2013-07-17 2015-08-18 Ebay Inc. Methods, systems, and apparatus for providing video communications
US9104241B2 (en) * 2013-07-17 2015-08-11 Tangome, Inc. Performing multiple functions by a mobile device during a video conference
US20150022618A1 (en) * 2013-07-18 2015-01-22 Bot Home Automation Inc. Wireless Entrance Communication Device
USD757028S1 (en) 2013-08-01 2016-05-24 Palantir Technologies Inc. Display screen or portion thereof with graphical user interface
AU355184S (en) 2013-08-01 2014-05-01 Palantir Tech Display screen
USD781869S1 (en) 2013-08-01 2017-03-21 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
US20150042669A1 (en) * 2013-08-08 2015-02-12 Nvidia Corporation Rotating displayed content on an electronic device
KR20150019766A (ko) * 2013-08-16 2015-02-25 삼성전자주식회사 영상 통화 방법 및 이를 지원하는 전자 장치
US9961608B2 (en) * 2013-08-19 2018-05-01 Microsoft Technology Licensing, Llc Seamless call transitions
US9681095B2 (en) 2013-08-19 2017-06-13 Microsoft Technology Licensing, Llc Seamless call transitions with pre-escalation participation confirmation
US9888210B2 (en) 2013-08-19 2018-02-06 Microsoft Technology Licensing, Llc Seamless call transitions with pinpoint call escalation
FR3009916A1 (fr) * 2013-08-26 2015-02-27 Orange Procede et dispositif d'enrichissement d'une communication
US9973722B2 (en) 2013-08-27 2018-05-15 Qualcomm Incorporated Systems, devices and methods for displaying pictures in a picture
TWI493433B (zh) * 2013-08-28 2015-07-21 Acer Inc 被遮蔽畫面投影方法及應用該方法之可攜式電子裝置
US9401938B2 (en) * 2013-08-29 2016-07-26 Citrix Systems, Inc. Efficiently accessing web conferences from a mobile device
KR102109883B1 (ko) * 2013-09-03 2020-05-12 삼성전자주식회사 컨텐츠 전송 방법 및 전자 장치
CN104469243A (zh) * 2013-09-13 2015-03-25 联想(北京)有限公司 通信方法和电子设备
KR20150043894A (ko) * 2013-10-15 2015-04-23 삼성전자주식회사 복수의 영상의 프리뷰 영역을 조정하는 전자 장치 및 방법
US9854013B1 (en) 2013-10-16 2017-12-26 Google Llc Synchronous communication system and method
GB201318658D0 (en) * 2013-10-22 2013-12-04 Microsoft Corp Controlling resolution of encoded video
US20150109532A1 (en) * 2013-10-23 2015-04-23 Google Inc. Customizing mobile media captioning based on mobile media rendering
US9179097B2 (en) * 2013-10-23 2015-11-03 Google Inc. Control of a video conference system using personal devices
WO2015059793A1 (ja) 2013-10-24 2015-04-30 株式会社 東芝 表示装置、表示方法および表示プログラム
US10271010B2 (en) * 2013-10-31 2019-04-23 Shindig, Inc. Systems and methods for controlling the display of content
JP6426969B2 (ja) * 2013-10-31 2018-11-21 キヤノン株式会社 撮像装置及びその制御方法、システム、並びにプログラム
US9538223B1 (en) 2013-11-15 2017-01-03 Google Inc. Synchronous communication system and method
US9307191B2 (en) * 2013-11-19 2016-04-05 Microsoft Technology Licensing, Llc Video transmission
JP5877406B2 (ja) * 2013-12-06 2016-03-08 パナソニックIpマネジメント株式会社 撮像装置及び撮像システム
EP3067746B1 (en) 2013-12-06 2019-08-21 Huawei Device Co., Ltd. Photographing method for dual-camera device and dual-camera device
KR102126507B1 (ko) * 2013-12-09 2020-06-24 삼성전자주식회사 센서 데이터 스트림을 처리하는 단말기, 시스템 및 방법
US20150163410A1 (en) * 2013-12-10 2015-06-11 Semiconductor Energy Laboratory Co., Ltd. Display Device and Electronic Device
US9628538B1 (en) * 2013-12-13 2017-04-18 Google Inc. Synchronous communication
USD790584S1 (en) * 2013-12-16 2017-06-27 Fujifilm Corporation Electronic viewfinder display screen with graphical user interface
KR102187236B1 (ko) 2013-12-17 2020-12-04 삼성전자 주식회사 프리뷰 방법 및 이를 구현하는 전자 장치
US9829882B2 (en) 2013-12-20 2017-11-28 Sphero, Inc. Self-propelled device with center of mass drive system
US9420178B2 (en) * 2013-12-20 2016-08-16 Qualcomm Incorporated Thermal and power management
US9578233B2 (en) * 2013-12-26 2017-02-21 Canon Kabushiki Kaisha Imaging apparatus and method for controlling the same
JP6312426B2 (ja) * 2013-12-26 2018-04-18 キヤノン株式会社 撮像装置およびその制御方法
US9270937B2 (en) * 2013-12-26 2016-02-23 OnCam Inc. Real time stream provisioning infrastructure
US9386275B2 (en) 2014-01-06 2016-07-05 Intel IP Corporation Interactive video conferencing
JP6324079B2 (ja) * 2014-01-14 2018-05-16 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
US10935788B2 (en) 2014-01-24 2021-03-02 Nvidia Corporation Hybrid virtual 3D rendering approach to stereovision
US9282283B2 (en) 2014-01-29 2016-03-08 Microsoft Technology Licensing, Llc Detecting patterns traced on a screen of a user device
EP3103236B1 (en) * 2014-02-04 2019-05-01 Sony Corporation Media stream from sender seen on receiver side before confirming receipt of media stream
US20150237268A1 (en) * 2014-02-20 2015-08-20 Reflective Practices, LLC Multiple Camera Imaging
CN103841353B (zh) * 2014-02-24 2017-08-01 广州华多网络科技有限公司 视频交互方法、终端、服务器及系统
US9380261B2 (en) * 2014-02-25 2016-06-28 Cisco Technology, Inc. Multi-camera access for remote video access
US9749585B2 (en) 2014-03-17 2017-08-29 Microsoft Technology Licensing, Llc Highlighting unread messages
US10178346B2 (en) 2014-03-17 2019-01-08 Microsoft Technology Licensing, Llc Highlighting unread messages
US10284813B2 (en) 2014-03-17 2019-05-07 Microsoft Technology Licensing, Llc Automatic camera selection
US9888207B2 (en) 2014-03-17 2018-02-06 Microsoft Technology Licensing, Llc Automatic camera selection
CN103970414B (zh) * 2014-03-18 2017-06-13 深圳市艾优尼科技有限公司 一种管理应用程序图标的方法及终端
GB201404990D0 (en) 2014-03-20 2014-05-07 Appeartome Ltd Augmented reality apparatus and method
US9392217B2 (en) 2014-03-20 2016-07-12 Blackberry Limited Automatically relocating picture-in-picture window in video calls
JP2015186020A (ja) * 2014-03-24 2015-10-22 オリンパス株式会社 表示機器、撮影機器及び表示方法
JP2015195477A (ja) * 2014-03-31 2015-11-05 ブラザー工業株式会社 プログラム、端末装置および方法
JP6364965B2 (ja) 2014-03-31 2018-08-01 株式会社リコー 伝送端末、プログラム、伝送方法、伝送システム
US9196039B2 (en) 2014-04-01 2015-11-24 Gopro, Inc. Image sensor read window adjustment for multi-camera array tolerance
KR102244248B1 (ko) * 2014-04-01 2021-04-26 삼성전자주식회사 컨텐츠 운용 방법 및 이를 지원하는 전자 장치
US8838071B1 (en) 2014-04-30 2014-09-16 Oto Technologies Llc Secure communications smartphone system
US9075508B1 (en) 2014-04-30 2015-07-07 Grandios Technologies, Llc Next application suggestions on a user device
JP6376618B2 (ja) * 2014-05-15 2018-08-22 華為技術有限公司Huawei Technologies Co.,Ltd. マルチフレームノイズ低減方法および端末
US9363426B2 (en) 2014-05-29 2016-06-07 International Business Machines Corporation Automatic camera selection based on device orientation
US11256294B2 (en) 2014-05-30 2022-02-22 Apple Inc. Continuity of applications across devices
US9736381B2 (en) * 2014-05-30 2017-08-15 Intel Corporation Picture in picture recording of multiple regions of interest
US9553913B2 (en) 2014-05-30 2017-01-24 Apple Inc. Seamless video pipeline transition between WiFi and cellular connections for real-time applications on mobile devices
US10565219B2 (en) 2014-05-30 2020-02-18 Apple Inc. Techniques for automatically generating a suggested contact based on a received message
US10579212B2 (en) 2014-05-30 2020-03-03 Apple Inc. Structured suggestions
WO2015183699A1 (en) * 2014-05-30 2015-12-03 Apple Inc. Predictive messaging method
USD771112S1 (en) * 2014-06-01 2016-11-08 Apple Inc. Display screen or portion thereof with graphical user interface
KR102146858B1 (ko) * 2014-06-03 2020-08-21 삼성전자주식회사 촬영 장치 및 촬영 장치의 비디오 생성방법
US9161193B1 (en) 2014-06-04 2015-10-13 Grandios Technologies, Llc Advanced telephone management
US9590984B2 (en) 2014-06-04 2017-03-07 Grandios Technologies, Llc Smartphone fingerprint pass-through system
US9377939B1 (en) 2014-06-04 2016-06-28 Grandios Technologies Application player management
US9395754B2 (en) 2014-06-04 2016-07-19 Grandios Technologies, Llc Optimizing memory for a wearable device
US9584645B2 (en) 2014-06-04 2017-02-28 Grandios Technologies, Llc Communications with wearable devices
US9078098B1 (en) 2014-06-04 2015-07-07 Grandios Technologies, Llc Geo-fencing based functions
US9294575B1 (en) 2014-06-04 2016-03-22 Grandios Technologies, Inc. Transmitting appliance-specific content to a user device
US9509799B1 (en) 2014-06-04 2016-11-29 Grandios Technologies, Llc Providing status updates via a personal assistant
US9509789B2 (en) 2014-06-04 2016-11-29 Grandios Technologies, Llc Managing mood data on a user device
US9491562B2 (en) 2014-06-04 2016-11-08 Grandios Technologies, Llc Sharing mobile applications between callers
US9619159B2 (en) 2014-06-04 2017-04-11 Grandios Technologies, Llc Storage management system
US9323421B1 (en) 2014-06-04 2016-04-26 Grandios Technologies, Llc Timer, app, and screen management
US9538062B2 (en) 2014-06-04 2017-01-03 Grandios Technologies, Llc Camera management system
US9420477B2 (en) 2014-06-04 2016-08-16 Grandios Technologies, Llc Signal strength management
US9391988B2 (en) 2014-06-04 2016-07-12 Grandios Technologies, Llc Community biometric authentication on a smartphone
US9516467B1 (en) 2014-06-04 2016-12-06 Grandios Technologies, Llc Mobile device applications associated with geo-locations
US8995972B1 (en) 2014-06-05 2015-03-31 Grandios Technologies, Llc Automatic personal assistance between users devices
US10592924B1 (en) 2014-06-05 2020-03-17 ProSports Technologies, LLC Managing third party interactions with venue communications
US9635506B1 (en) 2014-06-05 2017-04-25 ProSports Technologies, LLC Zone based wireless player communications
US9648452B1 (en) 2014-06-05 2017-05-09 ProSports Technologies, LLC Wireless communication driven by object tracking
US9711146B1 (en) 2014-06-05 2017-07-18 ProSports Technologies, LLC Wireless system for social media management
US10290067B1 (en) 2014-06-05 2019-05-14 ProSports Technologies, LLC Wireless concession delivery
GB201410285D0 (en) * 2014-06-10 2014-07-23 Appeartome Ltd Augmented reality apparatus and method
JP2016005083A (ja) 2014-06-16 2016-01-12 ソニー株式会社 情報処理装置、情報処理方法及び端末装置
US9471955B2 (en) * 2014-06-19 2016-10-18 Apple Inc. Multiple display pipelines driving a divided display
US10255251B2 (en) 2014-06-26 2019-04-09 Touchcast LLC System and method for providing and interacting with coordinated presentations
US10771736B2 (en) * 2014-06-30 2020-09-08 Microsoft Technology Licensing, Llc Compositing and transmitting contextual information during an audio or video call
CN105323532B (zh) * 2014-06-30 2019-10-15 中兴通讯股份有限公司 一种移动终端图像的自适应显示方法和装置
US10318361B2 (en) * 2014-07-02 2019-06-11 Atheer, Inc. Methods and systems for multiple access to a single hardware data stream
US9473737B1 (en) 2014-07-03 2016-10-18 Securus Technologies, Inc. On-demand video communication for controlled-environment facility residents
US9760572B1 (en) 2014-07-11 2017-09-12 ProSports Technologies, LLC Event-based content collection for network-based distribution
WO2016007972A1 (en) 2014-07-11 2016-01-14 ProSports Technologies, LLC Ticket upsell system
US9655027B1 (en) 2014-07-11 2017-05-16 ProSports Technologies, LLC Event data transmission to eventgoer devices
US9610491B2 (en) 2014-07-11 2017-04-04 ProSports Technologies, LLC Playbook processor
US9343066B1 (en) 2014-07-11 2016-05-17 ProSports Technologies, LLC Social network system
US9398213B1 (en) 2014-07-11 2016-07-19 ProSports Technologies, LLC Smart field goal detector
US9498678B2 (en) 2014-07-11 2016-11-22 ProSports Technologies, LLC Ball tracker camera
US9965938B1 (en) 2014-07-11 2018-05-08 ProSports Technologies, LLC Restroom queue management
US9591336B2 (en) 2014-07-11 2017-03-07 ProSports Technologies, LLC Camera feed distribution from event venue virtual seat cameras
US9305441B1 (en) 2014-07-11 2016-04-05 ProSports Technologies, LLC Sensor experience shirt
US9724588B1 (en) 2014-07-11 2017-08-08 ProSports Technologies, LLC Player hit system
US9502018B2 (en) 2014-07-11 2016-11-22 ProSports Technologies, LLC Whistle play stopper
US9474933B1 (en) 2014-07-11 2016-10-25 ProSports Technologies, LLC Professional workout simulator
WO2016007967A1 (en) 2014-07-11 2016-01-14 ProSports Technologies, LLC Ball tracker snippets
WO2016010563A1 (en) * 2014-07-18 2016-01-21 Ruckus Wireless, Inc. Remedial action based on monitored wireless throughput
US9729644B1 (en) 2014-07-28 2017-08-08 ProSports Technologies, LLC Event and fantasy league data transmission to eventgoer devices
US9892371B1 (en) 2014-07-28 2018-02-13 ProSports Technologies, LLC Queue information transmission
EP3180909A4 (en) 2014-08-15 2018-04-04 There0 LLC System for immersive telepresence
GB2529454A (en) * 2014-08-20 2016-02-24 Starleaf Ltd An electronic system for forming a control channel between an electronic device and a videotelephone device
WO2016032714A1 (en) 2014-08-25 2016-03-03 ProSports Technologies, LLC Disposable connectable wireless communication receiver
US9607497B1 (en) 2014-08-25 2017-03-28 ProSports Technologies, LLC Wireless communication security system
KR102391772B1 (ko) * 2014-08-28 2022-04-28 삼성전자 주식회사 터치 감응 디스플레이를 포함하는 전자 장치 및 이 전자 장치를 동작하는 방법
CN108196759B (zh) 2014-09-04 2021-11-19 华为技术有限公司 控制图标的方法和终端
US9699523B1 (en) 2014-09-08 2017-07-04 ProSports Technologies, LLC Automated clip creation
US10264175B2 (en) 2014-09-09 2019-04-16 ProSports Technologies, LLC Facial recognition for event venue cameras
US9282287B1 (en) * 2014-09-09 2016-03-08 Google Inc. Real-time video transformations in video conferences
US10715577B2 (en) * 2014-09-09 2020-07-14 Vmware, Inc. Virtual desktop encoding based on user input behavior
US9417090B2 (en) 2014-09-11 2016-08-16 ProSports Technologies, LLC System to offer coupons to fans along routes to game
US9560095B2 (en) * 2014-09-30 2017-01-31 Cisco Technology, Inc. Method and system for remote meetings
WO2016049882A1 (en) * 2014-09-30 2016-04-07 Tencent Technology (Shenzhen) Company Limited Device and method for capturing, sharing and watching video messages
US9516220B2 (en) 2014-10-02 2016-12-06 Intel Corporation Interactive video conferencing
JP6471451B2 (ja) * 2014-10-16 2019-02-20 株式会社リコー 伝送システム、通信制御装置、通信制御方法、通信方法、プログラム
USD780770S1 (en) 2014-11-05 2017-03-07 Palantir Technologies Inc. Display screen or portion thereof with graphical user interface
US10147155B2 (en) * 2014-11-26 2018-12-04 Visual Supply Company Image perspective processing
US20160165128A1 (en) * 2014-12-05 2016-06-09 Facebook, Inc. Capturing and sending images and videos based on a single user interaction with a user interface element
US10021346B2 (en) 2014-12-05 2018-07-10 Intel IP Corporation Interactive video conferencing
KR20160074334A (ko) * 2014-12-18 2016-06-28 엘지전자 주식회사 이동단말기 및 그 제어방법
WO2016130853A1 (en) * 2015-02-11 2016-08-18 AVG Netherlands B.V. Systems and methods for identifying unwanted photos stored on a device
GB201502434D0 (en) 2015-02-13 2015-04-01 Digital Barriers Services Ltd Video encoder
US9800798B2 (en) 2015-02-13 2017-10-24 Qualcomm Incorporated Systems and methods for power optimization for imaging devices with dual cameras
US9846919B2 (en) 2015-02-16 2017-12-19 Samsung Electronics Co., Ltd. Data processing device for processing multiple sensor data and system including the same
DE102015103778A1 (de) * 2015-03-16 2016-09-22 Connaught Electronics Ltd. Verfahren zur Ausgabe eines Bilds einer Bildsequenz auf einer Anzeigeeinheit, Anzeigevorrichtung und Kraftfahrzeug
US9667871B2 (en) * 2015-03-20 2017-05-30 Motorola Mobility Llc Remote imaging in modular cellular phone
US10600169B2 (en) * 2015-03-26 2020-03-24 Sony Corporation Image processing system and image processing method
USD775648S1 (en) * 2015-04-02 2017-01-03 Snakt, Inc. Video viewing display screen with graphical user interface for rotatable display
USD791830S1 (en) * 2015-04-10 2017-07-11 Visa International Service Association Display screen or portion thereof with animated graphical user interface
US10348777B2 (en) * 2015-04-30 2019-07-09 Telemerge, Inc. Telehealth video chat mirroring of disparate video chat devices
EP3099081B1 (en) * 2015-05-28 2020-04-29 Samsung Electronics Co., Ltd. Display apparatus and control method thereof
CN104853136A (zh) * 2015-05-29 2015-08-19 小米科技有限责任公司 视频通信方法及装置
JP6582562B2 (ja) * 2015-05-29 2019-10-02 株式会社リコー 通信端末、通信システム、通信方法、及びプログラム
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
CN105100432B (zh) * 2015-06-10 2018-02-06 小米科技有限责任公司 通话界面显示方法及装置
WO2016205800A1 (en) * 2015-06-19 2016-12-22 Serious Simulations, Llc Processes systems and methods for improving virtual and augmented reality applications
US9906715B2 (en) * 2015-07-08 2018-02-27 Htc Corporation Electronic device and method for increasing a frame rate of a plurality of pictures photographed by an electronic device
KR20170014356A (ko) 2015-07-29 2017-02-08 엘지전자 주식회사 이동 단말기 및 이의 제어방법
CN105072336A (zh) * 2015-07-31 2015-11-18 小米科技有限责任公司 调节拍摄功能的控制方法、装置和设备
US20170034470A1 (en) * 2015-08-02 2017-02-02 Cfkk, Llc Systems and methods and apparatuses for capturing concurrent multiple perspectives of a target by mobile devices
EP3342158A4 (en) * 2015-08-25 2019-04-17 Touchcast LLC SYSTEM AND METHOD FOR INTERACTIVE VIDEOCONFERENCES
CN105120099A (zh) * 2015-08-31 2015-12-02 小米科技有限责任公司 拍摄控制方法和装置
CN105163028B (zh) * 2015-09-11 2018-09-28 青岛海信移动通信技术股份有限公司 一种双摄像头的控制方法及装置
US10445425B2 (en) 2015-09-15 2019-10-15 Apple Inc. Emoji and canned responses
WO2017051962A1 (ko) * 2015-09-25 2017-03-30 엘지전자 주식회사 이동단말기 및 그 제어방법
US10929854B2 (en) * 2015-10-02 2021-02-23 The Western Union Company Methods and systems for real-time identification and mitigation of agent risks relating to AML
KR20170042431A (ko) 2015-10-08 2017-04-19 삼성전자주식회사 디스플레이 모양에 따라 영상 데이터를 불균일하게 인코딩/디코딩하도록 구성되는 전자 장치
WO2017061155A1 (ja) * 2015-10-08 2017-04-13 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
US11929088B2 (en) 2015-11-20 2024-03-12 Synaptics Incorporated Input/output mode control for audio processing
US20170148438A1 (en) * 2015-11-20 2017-05-25 Conexant Systems, Inc. Input/output mode control for audio processing
US10440316B2 (en) * 2015-12-03 2019-10-08 Hisense USA Corporation Device and method for displaying a video over a network
CN105554553B (zh) * 2015-12-15 2019-02-15 腾讯科技(深圳)有限公司 通过悬浮窗口播放视频的方法及装置
JP6613131B2 (ja) * 2015-12-24 2019-11-27 京セラ株式会社 電子機器、電子機器の制御方法、電子機器の制御装置、制御プログラム及び電子機器システム
US10645137B2 (en) 2015-12-28 2020-05-05 Facebook, Inc. Systems and methods to create composite videos
US20170193644A1 (en) * 2015-12-30 2017-07-06 Ebay Inc Background removal
US9681097B1 (en) 2016-01-20 2017-06-13 Global Tel*Link Corporation Secure video visitation system
US10810673B1 (en) * 2016-01-22 2020-10-20 United Services Automobile Association (Usaa) Systems and methods for automatically reallocating investment funds
KR20170091913A (ko) 2016-02-02 2017-08-10 삼성전자주식회사 영상 서비스 제공 방법 및 장치
US20170237986A1 (en) 2016-02-11 2017-08-17 Samsung Electronics Co., Ltd. Video encoding method and electronic device adapted thereto
KR102496225B1 (ko) * 2016-02-11 2023-02-07 삼성전자 주식회사 영상 인코딩 방법 및 이를 지원하는 전자 장치
US10296994B2 (en) 2016-02-11 2019-05-21 Global Tel*Link Corporation System and method for visitation management in a controlled environment
US10257394B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Combined HDR/LDR video streaming
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
KR102412283B1 (ko) 2016-02-17 2022-06-23 삼성전자 주식회사 전자 장치 및 전자 장치의 영상 공유 제어 방법
KR102467869B1 (ko) * 2016-02-19 2022-11-16 삼성전자주식회사 전자 장치 및 그의 동작 방법
US9906981B2 (en) 2016-02-25 2018-02-27 Nvidia Corporation Method and system for dynamic regulation and control of Wi-Fi scans
US20170272435A1 (en) 2016-03-15 2017-09-21 Global Tel*Link Corp. Controlled environment secure media streaming system
TWI573459B (zh) * 2016-03-18 2017-03-01 聚晶半導體股份有限公司 具有多攝像模組的電子裝置及其控制的方法
KR20170110469A (ko) * 2016-03-23 2017-10-11 삼성전자주식회사 영상 통화를 제공하기 위한 방법 및 이를 위한 전자 장치
US9558523B1 (en) 2016-03-23 2017-01-31 Global Tel* Link Corp. Secure nonscheduled video visitation system
JP2017183658A (ja) * 2016-03-31 2017-10-05 ソニー株式会社 固体撮像素子、撮像装置、および電子機器
US11322261B2 (en) * 2016-04-08 2022-05-03 19Labs Inc. System and method for implementing augmented reality during telehealth sessions in a telehealth device
US11523087B2 (en) 2016-04-14 2022-12-06 Popio Mobile Video Cloud, Llc Methods and systems for utilizing multi-pane video communications in connection with notarizing digital documents
US10511805B2 (en) 2016-04-14 2019-12-17 Popio Ip Holdings, Llc Methods and systems for multi-pane video communications to execute user workflows
US9699406B1 (en) * 2016-04-14 2017-07-04 Alexander Mackenzie & Pranger Methods and systems for multi-pane video communications
US10827149B2 (en) * 2016-04-14 2020-11-03 Popio Ip Holdings, Llc Methods and systems for utilizing multi-pane video communications in connection with check depositing
USD881907S1 (en) * 2016-04-22 2020-04-21 Aetna Inc. Display screen with a graphical user interface
US20170324927A1 (en) 2016-05-06 2017-11-09 Global Tel*Link Corp. Controlled Environment Media and Communication System
CN109792505A (zh) * 2016-05-07 2019-05-21 斯玛特第三-I有限公司 涉及手持设备中边缘相机组件的系统和方法
JP6700959B2 (ja) * 2016-05-11 2020-05-27 キヤノン株式会社 通信装置、通信装置の制御方法、及び、プログラム
US9762729B1 (en) * 2016-05-12 2017-09-12 Google Inc. Caller preview for video calls
JP7074056B2 (ja) * 2016-05-13 2022-05-24 ソニーグループ株式会社 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム
CN107422934B (zh) 2016-05-23 2020-04-28 华为终端有限公司 一种图标的设置方法及电子设备
US10103997B2 (en) * 2016-06-01 2018-10-16 At&T Intellectual Property I, L.P. Dynamic quality of service for over-the-top content
US10009536B2 (en) 2016-06-12 2018-06-26 Apple Inc. Applying a simulated optical effect based on data received from multiple camera sensors
DK201670622A1 (en) 2016-06-12 2018-02-12 Apple Inc User interfaces for transactions
USD803246S1 (en) 2016-06-29 2017-11-21 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
USD858572S1 (en) 2016-06-29 2019-09-03 Palantir Technologies Inc. Display screen or portion thereof with icon
USD802016S1 (en) 2016-06-29 2017-11-07 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
USD802000S1 (en) 2016-06-29 2017-11-07 Palantir Technologies, Inc. Display screen or portion thereof with an animated graphical user interface
USD826269S1 (en) 2016-06-29 2018-08-21 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
USD835646S1 (en) 2016-07-13 2018-12-11 Palantir Technologies Inc. Display screen or portion thereof with an animated graphical user interface
USD847144S1 (en) 2016-07-13 2019-04-30 Palantir Technologies Inc. Display screen or portion thereof with graphical user interface
USD811424S1 (en) 2016-07-20 2018-02-27 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
US9948888B1 (en) * 2016-08-04 2018-04-17 Google Llc Techniques for utilizing a television for a video chat session
JP7081835B2 (ja) 2016-08-09 2022-06-07 コントラスト, インコーポレイテッド 車両制御のためのリアルタイムhdrビデオ
USD802005S1 (en) 2016-08-30 2017-11-07 Google Inc. Display screen with animated graphical user interface
USD802615S1 (en) * 2016-08-30 2017-11-14 Google Inc. Display screen with animated graphical user interface
USD802004S1 (en) 2016-08-30 2017-11-07 Google Inc. Display screen with animated graphical user interface
US9979921B2 (en) 2016-09-02 2018-05-22 Russell Holmes Systems and methods for providing real-time composite video from multiple source devices
US9729820B1 (en) * 2016-09-02 2017-08-08 Russell Holmes Systems and methods for providing real-time composite video from multiple source devices
US10089793B2 (en) 2016-09-02 2018-10-02 Russell Holmes Systems and methods for providing real-time composite video from multiple source devices featuring augmented reality elements
CN107005703A (zh) 2016-09-09 2017-08-01 深圳市大疆创新科技有限公司 图像编码方法及系统
CN117193617A (zh) 2016-09-23 2023-12-08 苹果公司 头像创建和编辑
RU2696767C1 (ru) * 2016-10-31 2019-08-06 Бейджин Сяоми Мобайл Софтвэре Ко., Лтд. Способ и система трансляции мультимедийной информации в режиме реального времени, устройство сбора информации и сервер проверки информации
US20180131710A1 (en) * 2016-11-07 2018-05-10 Microsoft Technology Licensing, Llc Network telephony anomaly detection images
CN108063745B (zh) * 2016-11-08 2019-03-01 视联动力信息技术股份有限公司 一种基于安卓设备的视频通话方法及其系统
US10116898B2 (en) * 2016-11-18 2018-10-30 Facebook, Inc. Interface for a video call
US10079994B2 (en) 2016-11-18 2018-09-18 Facebook, Inc. Methods and systems for displaying relevant participants in a video communication
TWI617969B (zh) 2016-11-24 2018-03-11 新加坡商雲網科技新加坡有限公司 畫面控制方法及使用者終端
CN106534695B (zh) * 2016-11-28 2021-10-22 宇龙计算机通信科技(深圳)有限公司 拍摄方法、拍摄装置和终端
CN108234788A (zh) * 2016-12-22 2018-06-29 展讯通信(上海)有限公司 电话会议的管理方法、装置、终端及网络侧设备
USD808991S1 (en) 2016-12-22 2018-01-30 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
US10559309B2 (en) 2016-12-22 2020-02-11 Google Llc Collaborative voice controlled devices
US10477277B2 (en) * 2017-01-06 2019-11-12 Google Llc Electronic programming guide with expanding cells for video preview
US10586111B2 (en) 2017-01-13 2020-03-10 Google Llc Using machine learning to detect which part of the screen includes embedded frames of an uploaded video
WO2018142222A1 (en) * 2017-02-03 2018-08-09 Zyetric System Limited Augmented video reality
US20180227502A1 (en) * 2017-02-06 2018-08-09 Qualcomm Incorporated Systems and methods for reduced power consumption in imaging pipelines
KR102557662B1 (ko) 2017-02-09 2023-07-19 삼성전자주식회사 이미지 처리 장치 및 이를 포함하는 전자 장치
USD868827S1 (en) 2017-02-15 2019-12-03 Palantir Technologies, Inc. Display screen or portion thereof with set of icons
US10038877B1 (en) * 2017-03-13 2018-07-31 Microsoft Technology Licensing, Llc Event conditioned views for teleconferencing sessions
WO2018175621A1 (en) * 2017-03-23 2018-09-27 Ring Inc. Audio/video recording and communication devices with multiple cameras having variable capture settings
KR102402096B1 (ko) * 2017-03-27 2022-05-26 삼성전자주식회사 이미지 내 오브젝트와 관련된 정보를 제공하는 전자 장치
USD834039S1 (en) 2017-04-12 2018-11-20 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
US10717198B2 (en) 2017-04-12 2020-07-21 Marble Robot, Inc. Method for sensor data processing
USD839298S1 (en) 2017-04-19 2019-01-29 Palantir Technologies Inc. Display screen or portion thereof with graphical user interface
USD822705S1 (en) 2017-04-20 2018-07-10 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
US10255525B1 (en) * 2017-04-25 2019-04-09 Uber Technologies, Inc. FPGA device for image classification
USD905713S1 (en) * 2017-04-28 2020-12-22 Oshkosh Defense, Llc Display screen or portion thereof with graphical user interface
USD872736S1 (en) 2017-05-04 2020-01-14 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
US10466889B2 (en) 2017-05-16 2019-11-05 Apple Inc. Devices, methods, and graphical user interfaces for accessing notifications
US10540080B2 (en) * 2017-05-23 2020-01-21 Melissa SULLY Visual media capture and user interface animation
USD837234S1 (en) 2017-05-25 2019-01-01 Palantir Technologies Inc. Display screen or portion thereof with transitional graphical user interface
US10412139B2 (en) * 2017-05-26 2019-09-10 Streamsure Solutions Limited Communication event
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US10896622B2 (en) 2017-06-20 2021-01-19 Global Tel*Link Corporation Educational content delivery system for controlled environments
US11265530B2 (en) * 2017-07-10 2022-03-01 Contrast, Inc. Stereoscopic camera
USD881216S1 (en) * 2017-07-14 2020-04-14 Huawei Technologies Co., Ltd. Display screen or portion thereof with graphical user interface
TWI650018B (zh) * 2017-07-18 2019-02-01 晶睿通訊股份有限公司 提供使用者介面以進行場景之監控畫面縫合之方法及其電子裝置
US11164151B2 (en) 2017-07-20 2021-11-02 Global Tel*Link Corporation System and method for providing job-specific training and employment to residents of a controlled environment facility
US10554705B2 (en) * 2017-07-26 2020-02-04 Sony Corporation System and method for controlling client electronic devices in wireless local ad hoc network
US10015546B1 (en) 2017-07-27 2018-07-03 Global Tel*Link Corp. System and method for audio visual content creation and publishing within a controlled environment
US10122825B1 (en) 2017-07-27 2018-11-06 Global Tel*Link Corporation Systems and methods for providing a visual content gallery within a controlled environment
US10405007B2 (en) 2017-07-27 2019-09-03 Global Tel*Link Corporation Systems and methods for a video sharing service within controlled environments
US10565247B2 (en) 2017-07-28 2020-02-18 Global Tel*Link Corporation Controlled environment secure media streaming system with digital video recording
USD874472S1 (en) 2017-08-01 2020-02-04 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
US9992449B1 (en) 2017-08-10 2018-06-05 Everysight Ltd. System and method for sharing sensed data between remote users
US11213754B2 (en) 2017-08-10 2022-01-04 Global Tel*Link Corporation Video game center for a controlled environment facility
US11785180B2 (en) 2017-09-11 2023-10-10 Reelay Meetings, Inc. Management and analysis of related concurrent communication sessions
US10382722B1 (en) * 2017-09-11 2019-08-13 Michael H. Peters Enhanced video conference management
US11290686B2 (en) 2017-09-11 2022-03-29 Michael H Peters Architecture for scalable video conference management
US11122240B2 (en) 2017-09-11 2021-09-14 Michael H Peters Enhanced video conference management
US10372298B2 (en) 2017-09-29 2019-08-06 Apple Inc. User interface for multi-user communication session
US11128610B2 (en) * 2017-09-29 2021-09-21 Apple Inc. Secure multiway calling
WO2019071287A1 (en) * 2017-10-11 2019-04-18 Liveshop Pty Ltd ONLINE SHOPPING SYSTEM
USD936671S1 (en) * 2017-10-23 2021-11-23 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US11553216B2 (en) 2017-10-26 2023-01-10 Halo Innovative Solutions Llc Systems and methods of facilitating live streaming of content on multiple social media platforms
US10693830B2 (en) 2017-10-26 2020-06-23 Halo Innovative Solutions Llc Methods, systems, apparatuses and devices for facilitating live streaming of content on multiple social media platforms
US11323407B2 (en) 2017-10-26 2022-05-03 Halo Innovative Solutions Llc Methods, systems, apparatuses, and devices for facilitating managing digital content captured using multiple content capturing devices
US10999642B1 (en) * 2017-11-03 2021-05-04 Snap Inc. Multi-video capture system
USD872121S1 (en) 2017-11-14 2020-01-07 Palantir Technologies, Inc. Display screen or portion thereof with transitional graphical user interface
CN107959965B (zh) * 2017-11-20 2021-03-19 Oppo广东移动通信有限公司 应用程序的降帧方法、装置、移动终端及可读存储介质
CN109922204A (zh) * 2017-12-13 2019-06-21 中兴通讯股份有限公司 图像处理方法及终端
US10331394B1 (en) 2017-12-21 2019-06-25 Logmein, Inc. Manipulating shared screen content
US10747411B2 (en) * 2017-12-29 2020-08-18 Facebook, Inc. Systems and methods for generating and sharing content
US11019305B2 (en) * 2018-01-12 2021-05-25 Facebook, Inc. Coordinated effects in videos
KR102552137B1 (ko) * 2018-01-22 2023-07-07 삼성디스플레이 주식회사 표시 장치 및 이의 구동 방법
US10212472B1 (en) * 2018-02-05 2019-02-19 Mcleanics Technology Corporation Record me-a-stream
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
USD883997S1 (en) 2018-02-12 2020-05-12 Palantir Technologies, Inc. Display screen or portion thereof with transitional graphical user interface
USD883301S1 (en) 2018-02-19 2020-05-05 Palantir Technologies, Inc. Display screen or portion thereof with transitional graphical user interface
USD872116S1 (en) * 2018-02-22 2020-01-07 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
CN108536345B (zh) * 2018-03-02 2019-09-10 Oppo广东移动通信有限公司 应用程序图标处理方法、装置以及移动终端
US10831331B2 (en) * 2018-03-09 2020-11-10 International Business Machines Corporation Window control for simultaneously running applications
CN108762652B (zh) * 2018-03-27 2020-08-21 Oppo广东移动通信有限公司 智能终端的显示控制方法、装置、存储介质及智能终端
USD886848S1 (en) 2018-04-03 2020-06-09 Palantir Technologies Inc. Display screen or portion thereof with transitional graphical user interface
USD888082S1 (en) 2018-04-03 2020-06-23 Palantir Technologies, Inc. Display screen or portion thereof with transitional graphical user interface
USD869488S1 (en) 2018-04-03 2019-12-10 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
USD885413S1 (en) 2018-04-03 2020-05-26 Palantir Technologies Inc. Display screen or portion thereof with transitional graphical user interface
US20190313026A1 (en) * 2018-04-09 2019-10-10 Qualcomm Incorporated Multi-context real time inline image signal processing
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
DK201870374A1 (en) 2018-05-07 2019-12-04 Apple Inc. AVATAR CREATION USER INTERFACE
KR102541365B1 (ko) * 2018-05-07 2023-06-13 애플 인크. 다중 참가자 라이브 통신 사용자 인터페이스
DK201870364A1 (en) 2018-05-07 2019-12-03 Apple Inc. MULTI-PARTICIPANT LIVE COMMUNICATION USER INTERFACE
JP7073238B2 (ja) * 2018-05-07 2022-05-23 アップル インコーポレイテッド クリエイティブカメラ
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US10951888B2 (en) 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video
USD888765S1 (en) * 2018-06-05 2020-06-30 Ernieapp Ltd. Display screen or portion thereof with graphical user interface
EP3803559A4 (en) 2018-06-05 2022-04-27 T1V, Inc. VIDEO CONFERENCING DURING REAL-TIME COLLABORATION ON A VIRTUAL CANVAS
US11334960B2 (en) 2018-06-08 2022-05-17 Uatc, Llc Systems and methods for pipelined processing of sensor data using hardware
USD937857S1 (en) * 2018-06-11 2021-12-07 Patientory, Inc. Display screen or portion thereof with graphical user interface
US10594418B2 (en) * 2018-07-16 2020-03-17 Luke Gregory Stavrowsky Voice operated electronic device that blocks radio commercials and substitutes alternate audio content
USD879821S1 (en) 2018-08-02 2020-03-31 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
USD962953S1 (en) 2018-08-03 2022-09-06 Kilpatrick Townsend & Stockton Llp Display screen or portion thereof having an icon
USD928800S1 (en) * 2018-08-03 2021-08-24 Kilpatrick Townsend & Stockton Llp Display screen or portion thereof having an icon
CN109005377B (zh) * 2018-08-10 2020-07-17 维沃移动通信有限公司 一种视频处理方法及终端设备
TWI687102B (zh) * 2018-08-23 2020-03-01 奇勤科技股份有限公司 雙邊控制之遠端視訊系統及其方法
TWI684338B (zh) * 2018-08-29 2020-02-01 圓展科技股份有限公司 網路會議的執行方法
US10728529B2 (en) 2018-09-06 2020-07-28 Qualcomm Incorporated Synchronization of frame captures from multiple cameras with different fields of capture
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US10902761B2 (en) * 2018-09-30 2021-01-26 Chongqing Hkc Optoelectronics Technology Co., Ltd. Quality determination method of a display panel, determination system and computer readable storage medium
CN115580709A (zh) * 2018-10-26 2023-01-06 深圳市道通智能航空技术股份有限公司 航拍相机的图像处理方法、图像处理系统及无人机
CN109120869A (zh) * 2018-11-07 2019-01-01 深圳市道通智能航空技术有限公司 双光图像整合方法、整合设备及无人机
CN109525880A (zh) * 2018-11-08 2019-03-26 北京微播视界科技有限公司 视频数据的合成方法、装置、设备和存储介质
US11574476B2 (en) * 2018-11-11 2023-02-07 Netspark Ltd. On-line video filtering
IL279336B1 (en) 2018-11-11 2024-04-01 Netspark Ltd On-line video filtering
US10531039B1 (en) 2018-11-13 2020-01-07 International Business Machines Corporation Dynamically switching cameras in web conference
CN109327672B (zh) * 2018-12-11 2020-09-22 维沃移动通信有限公司 一种视频通话方法及终端
USD973699S1 (en) * 2018-12-21 2022-12-27 Richard Herbst Computer screen display or portion thereof with graphical user interface
USD919645S1 (en) 2019-01-02 2021-05-18 Palantir Technologies, Inc. Display screen or portion thereof with transitional graphical user interface
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
KR20200091522A (ko) 2019-01-22 2020-07-31 삼성전자주식회사 컨텐츠의 표시 방향을 제어하기 위한 방법 및 그 전자 장치
USD916789S1 (en) 2019-02-13 2021-04-20 Palantir Technologies, Inc. Display screen or portion thereof with transitional graphical user interface
US11964202B2 (en) 2019-02-22 2024-04-23 Mursion, Inc. Peer to peer communication system and method
US11805158B2 (en) 2019-03-20 2023-10-31 Zoom Video Communications, Inc. Method and system for elevating a phone call into a video conferencing session
KR20200117695A (ko) * 2019-04-05 2020-10-14 삼성전자주식회사 외부 전자 장치를 이용하여 카메라를 제어하는 전자 장치 및 방법
US10999629B1 (en) 2019-04-23 2021-05-04 Snap Inc. Automated graphical image modification scaling based on rules
USD953345S1 (en) 2019-04-23 2022-05-31 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
USD947240S1 (en) * 2019-04-26 2022-03-29 The Dedham Group Llc Display screen or portion thereof with graphical user interface
USD947239S1 (en) * 2019-04-26 2022-03-29 The Dedham Group Llc Display screen or portion thereof with graphical user interface
USD947221S1 (en) * 2019-04-26 2022-03-29 The Dedham Group Llc Display screen or portion thereof with graphical user interface
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US11287947B2 (en) 2019-05-15 2022-03-29 Microsoft Technology Licensing, Llc Contextual input in a three-dimensional environment
US11087560B2 (en) 2019-05-15 2021-08-10 Microsoft Technology Licensing, Llc Normalization of objects for a 3D environment within an authoring application
USD894942S1 (en) 2019-05-29 2020-09-01 Apple Inc. Electronic device with graphical user interface
US10996917B2 (en) 2019-05-31 2021-05-04 Apple Inc. User interfaces for audio media control
US10771740B1 (en) 2019-05-31 2020-09-08 International Business Machines Corporation Adding an individual to a video conference
JP7075547B2 (ja) 2019-05-31 2022-05-25 アップル インコーポレイテッド オーディオメディア制御のためのユーザインタフェース
US11611608B1 (en) * 2019-07-19 2023-03-21 Snap Inc. On-demand camera sharing over a network
EP3800889A4 (en) * 2019-07-31 2022-06-15 Xi'an Novastar Tech Co., Ltd. DATA PROCESSING METHOD, DEVICE AND SYSTEM, SYSTEM CONTROL DEVICE AND MODULE CONTROL DEVICE
TWI707339B (zh) * 2019-08-27 2020-10-11 瑞昱半導體股份有限公司 影像處理電路以及影像處理方法
CN110505428B (zh) * 2019-08-28 2021-06-15 联想(北京)有限公司 一种信息处理方法及电子设备
CN112449097A (zh) * 2019-08-29 2021-03-05 中兴通讯股份有限公司 视频通信方法、终端及存储介质
CN110650341A (zh) * 2019-09-29 2020-01-03 华为终端有限公司 视频交互方法及相关设备
CN110661993A (zh) * 2019-10-17 2020-01-07 维沃移动通信有限公司 一种视频显示内容的处理方法及终端设备
CN110856014B (zh) * 2019-11-05 2023-03-07 北京奇艺世纪科技有限公司 动态图像生成方法、装置、电子设备及存储介质
CN110896495A (zh) * 2019-11-19 2020-03-20 北京字节跳动网络技术有限公司 用于目标设备的视图调整方法、装置、电子设备和介质
US11252206B2 (en) * 2019-12-03 2022-02-15 Microsoft Technology Licensing, Llc Reducing setup time for online meetings
CN111050091B (zh) * 2019-12-23 2021-04-13 联想(北京)有限公司 输出控制方法、装置及电子设备
US11050973B1 (en) 2019-12-27 2021-06-29 Microsoft Technology Licensing, Llc Dynamically controlled aspect ratios for communication session video streams
US10924709B1 (en) * 2019-12-27 2021-02-16 Microsoft Technology Licensing, Llc Dynamically controlled view states for improved engagement during communication sessions
US10917608B1 (en) 2019-12-27 2021-02-09 Microsoft Technology Licensing, Llc Dynamically controlled aspect ratios based on a number of participants depicted in communication video streams
US11006076B1 (en) * 2019-12-31 2021-05-11 Facebook, Inc. Methods and systems for configuring multiple layouts of video capture
US11064256B1 (en) 2020-01-15 2021-07-13 Microsoft Technology Licensing, Llc Dynamic configuration of communication video stream arrangements based on an aspect ratio of an available display area
US10980397B1 (en) * 2020-02-21 2021-04-20 Ambu A/S Video processing device
US11109741B1 (en) 2020-02-21 2021-09-07 Ambu A/S Video processing apparatus
US10835106B1 (en) 2020-02-21 2020-11-17 Ambu A/S Portable monitor
US11166622B2 (en) 2020-02-21 2021-11-09 Ambu A/S Video processing apparatus
US11455085B2 (en) 2020-03-10 2022-09-27 Apple Inc. Devices, methods, and graphical user interfaces for interacting with user interface objects corresponding to applications
CN111246032B (zh) 2020-03-27 2021-07-30 北京小米移动软件有限公司 通话管理方法和装置
EP3913911A1 (fr) * 2020-04-02 2021-11-24 Société Anonyme Edagora Système de visiophonie simple
EP3902244B1 (en) * 2020-04-23 2022-03-23 Axis AB Controlling a pan-tilt-zoom camera
US11470300B2 (en) 2020-05-08 2022-10-11 Tencent America LLC Event-based trigger interval for signaling of RTCP viewport for immersive teleconferencing and telepresence for remote terminals
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
US11079913B1 (en) 2020-05-11 2021-08-03 Apple Inc. User interface for status indicators
DK202070625A1 (en) 2020-05-11 2022-01-04 Apple Inc User interfaces related to time
US20210367986A1 (en) 2020-05-21 2021-11-25 HUDDL Inc. Enabling Collaboration Between Users
CN111641797B (zh) * 2020-05-25 2022-02-18 北京字节跳动网络技术有限公司 视频通话界面显示控制方法、装置、存储介质及设备
US11054973B1 (en) 2020-06-01 2021-07-06 Apple Inc. User interfaces for managing media
KR102310577B1 (ko) * 2020-06-29 2021-10-13 주식회사 씨앤에이아이 Rtp 패킷 관리 장치 및 방법
CN113938633B (zh) * 2020-06-29 2023-09-08 聚好看科技股份有限公司 一种视频通话处理方法及显示设备
USD944837S1 (en) * 2020-09-03 2022-03-01 PassiveLogic, Inc. Display screen or portion thereof with animated graphical user interface
US11212449B1 (en) * 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
US20220116552A1 (en) * 2020-10-08 2022-04-14 Vidiplus, Ltd System and/or Method for Enhancing Content in Live Streaming Video
US11425412B1 (en) * 2020-11-10 2022-08-23 Amazon Technologies, Inc. Motion cues for video encoding
CN112422871B (zh) * 2020-11-12 2023-05-16 广东保伦电子股份有限公司 一种基于ios平台的双流视频会议方法及处理终端
KR102408303B1 (ko) * 2020-11-17 2022-06-10 주식회사 카카오 컨텐츠 정보 제공 방법 및 컨텐츠 정보를 제공하는 사용자 단말
US11729387B1 (en) * 2020-12-03 2023-08-15 Amazon Technologies, Inc. Automatic configuration of settings for a video encoder
US11792353B2 (en) * 2020-12-07 2023-10-17 Avaya Management L.P. Systems and methods for displaying users participating in a communication session
USD992562S1 (en) * 2020-12-23 2023-07-18 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD965004S1 (en) 2021-01-11 2022-09-27 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US11477325B2 (en) 2021-01-28 2022-10-18 Zoom Video Communications, Inc. Elevating a telephone call to a virtual meeting
EP4264939A1 (en) * 2021-01-31 2023-10-25 Apple Inc. User interfaces for wide angle video conference
US11431891B2 (en) 2021-01-31 2022-08-30 Apple Inc. User interfaces for wide angle video conference
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
CN113031839B (zh) * 2021-02-22 2022-08-16 北京字节跳动网络技术有限公司 视频通话中的图像处理方法、装置、设备和介质
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities
JP7082224B1 (ja) * 2021-03-02 2022-06-07 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法
US11451694B1 (en) 2021-03-16 2022-09-20 International Business Machines Corporation Mitigation of obstacles while capturing media content
US11516517B2 (en) 2021-03-19 2022-11-29 Sm Tamjid Localized dynamic video streaming system
USD978179S1 (en) * 2021-03-31 2023-02-14 453I Display screen or portion thereof with a graphical user interface for a digital card
US12010457B2 (en) 2021-04-16 2024-06-11 Hyperconnect Inc. Methods, systems, and computer program products for providing video call service
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
US11893214B2 (en) 2021-05-15 2024-02-06 Apple Inc. Real-time communication user interface
US11449188B1 (en) 2021-05-15 2022-09-20 Apple Inc. Shared-content session user interfaces
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
US11847378B2 (en) 2021-06-06 2023-12-19 Apple Inc. User interfaces for audio routing
WO2022260654A1 (en) * 2021-06-08 2022-12-15 Hewlett-Packard Development Company, L.P. Video conference images
US11330145B1 (en) 2021-06-10 2022-05-10 Bank Of America Corporation Image processing edge device for document noise removal
US20230045610A1 (en) * 2021-08-03 2023-02-09 Dell Products, L.P. Eye contact correction in a communication or collaboration session using a platform framework
US11516434B1 (en) * 2021-08-26 2022-11-29 Motorola Mobility Llc Routing visual content from different camera systems to different applications during video call
KR102482924B1 (ko) * 2021-08-26 2022-12-29 주식회사 모노랩스 리펄시브 포스를 통한 얼굴 중심 비대면 커뮤니케이션 시스템
US11812135B2 (en) 2021-09-24 2023-11-07 Apple Inc. Wide angle video conference
JP2023058322A (ja) * 2021-10-13 2023-04-25 キヤノン株式会社 映像処理装置及びその制御方法及びプログラム
WO2023122820A1 (pt) * 2021-12-27 2023-07-06 Rosan Ismael Smartphone estereoscópico 3d
US11722767B2 (en) * 2022-01-10 2023-08-08 Motorola Mobility Llc Automatic camera selection in a communication device
US11838332B2 (en) 2022-01-10 2023-12-05 Motorola Mobility Llc Context based automatic camera selection in a communication device
TWI802258B (zh) * 2022-02-07 2023-05-11 明基電通股份有限公司 視訊會議系統
WO2023196231A1 (en) * 2022-04-04 2023-10-12 Apple Inc. User interfaces for camera sharing
CN114531554B (zh) * 2022-04-24 2022-08-16 浙江华眼视觉科技有限公司 一种快件码识别机的视频融合合成方法及装置
EP4273676A1 (en) 2022-05-06 2023-11-08 Apple Inc. Devices, methods, and graphical user interfaces for updating a session region
US11842028B2 (en) 2022-05-06 2023-12-12 Apple Inc. Devices, methods, and graphical user interfaces for updating a session region
US20230379571A1 (en) 2022-05-23 2023-11-23 Nathan Kenneth Boyd Combining content in a preview state
WO2023235519A1 (en) * 2022-06-03 2023-12-07 Datasya Ltd. Interactive multimedia collaboration platform with remote-controlled camera and annotation
US12007882B2 (en) 2022-06-14 2024-06-11 Zoom Video Communications, Inc. Executing diagnostic software to test the functionality of a component for use during a video conference
JP7208689B1 (ja) 2022-06-29 2023-01-19 テレポート株式会社 情報処理プログラム
KR20240016784A (ko) * 2022-07-29 2024-02-06 삼성전자주식회사 화상통화 서비스를 제공가능한 전자 장치 및 그 제어방법
US20240089435A1 (en) * 2022-09-13 2024-03-14 Google Llc Setting a Maximum Quantization Parameter for Encoding a Video Frame
US11949923B1 (en) * 2022-12-19 2024-04-02 Adobe Inc. Trigger based digital content caching

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070082700A1 (en) * 2005-10-07 2007-04-12 Agere Systems, Inc. Method of using mobile communications devices for monitoring purposes and a system for implementation thereof
US20090109276A1 (en) * 2007-10-26 2009-04-30 Samsung Electronics Co. Ltd. Mobile terminal and method for transmitting image therein

Family Cites Families (196)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US102663A (en) * 1870-05-03 Jonathan dillen
US1279477A (en) 1918-01-10 1918-09-17 Frederick Stellar Insect gathering and destroying machine.
US4809069A (en) 1988-03-10 1989-02-28 North American Philips Corporation Multifunction memory for digital television
EP0447212B1 (en) 1990-03-15 1994-12-28 Canon Kabushiki Kaisha Voice and video communication apparatus
US5371534A (en) 1992-07-23 1994-12-06 At&T Corp. ISDN-based system for making a video call
JPH06113297A (ja) * 1992-09-25 1994-04-22 A W New Hard:Kk テレビ電話のモニタ装置
US5717857A (en) 1993-03-19 1998-02-10 Ncr Corporation System for switching data connection to use first channel and second channel without substantial interruption of transfer of audio signals and image data between computers
JPH06276335A (ja) * 1993-03-22 1994-09-30 Sony Corp データ処理装置
JP3039186B2 (ja) 1993-03-23 2000-05-08 日本電気株式会社 テレビ会議画像制御方式
USRE43462E1 (en) * 1993-04-21 2012-06-12 Kinya (Ken) Washino Video monitoring and conferencing system
JPH07135594A (ja) 1993-11-11 1995-05-23 Canon Inc 撮像制御装置
US5896128A (en) * 1995-05-03 1999-04-20 Bell Communications Research, Inc. System and method for associating multimedia objects for use in a video conferencing system
US6356555B1 (en) * 1995-08-25 2002-03-12 Terayon Communications Systems, Inc. Apparatus and method for digital data transmission using orthogonal codes
KR970031883A (ko) 1995-11-28 1997-06-26 배순훈 터치스크린을 이용한 tv 화면제어방법
JPH09247655A (ja) * 1996-03-01 1997-09-19 Tokyu Constr Co Ltd リモート制御システム
KR100281526B1 (ko) 1996-07-08 2001-02-15 윤종용 음성/화상 전화 모드 전환기능을 갖는 화상 전화 시스템 및 그 전환방법
WO1998039906A1 (fr) 1997-03-03 1998-09-11 Kabushiki Kaisha Toshiba Terminal de telecommunications
DE19804564A1 (de) 1998-02-05 1999-08-12 Fraunhofer Ges Forschung Kommunikationsnetz, Verfahren zum Übertragen eines Signals, Netzverbindungseinheit und Verfahren zum Anpassen der Datenrate eines skalierten Datenstroms
US6346962B1 (en) * 1998-02-27 2002-02-12 International Business Machines Corporation Control of video conferencing system with pointing device
JP3475809B2 (ja) 1998-10-14 2003-12-10 株式会社デンソー 携帯型テレビ無線電話
US6025871A (en) 1998-12-31 2000-02-15 Intel Corporation User interface for a video conferencing system
WO2000049570A1 (en) 1999-02-19 2000-08-24 Unisearch Limited Method for visual optimisation of embedded block codes to exploit visual masking phenomena
JP2001054084A (ja) 1999-08-09 2001-02-23 Matsushita Electric Ind Co Ltd テレビ電話装置
FI109742B (fi) 1999-10-26 2002-09-30 Nokia Corp Matkaviestin
JP3546784B2 (ja) * 1999-12-14 2004-07-28 日本電気株式会社 携帯端末
US6473631B1 (en) 1999-12-20 2002-10-29 Motorola, Inc. Video swivel phone
GB2370188A (en) 2000-11-01 2002-06-19 Orange Personal Comm Serv Ltd Mixed-media telecommunication call set-up
KR100358166B1 (ko) 2000-12-19 2002-10-25 주식회사 팬택앤큐리텔 화상 휴대폰 장치
US20020093531A1 (en) * 2001-01-17 2002-07-18 John Barile Adaptive display for video conferences
JP2002251365A (ja) 2001-02-21 2002-09-06 Square Co Ltd 電子会議システム、そのクライアント、電子会議方法およびクライアント用プログラム
US6833874B2 (en) 2001-03-27 2004-12-21 Sony Corporation Ticker tape picture-in-picture system
JP2002320140A (ja) * 2001-04-20 2002-10-31 Sony Corp 画像切り換え装置
JP2002351802A (ja) * 2001-05-24 2002-12-06 Cresys:Kk 電子メールを用いたデータ配信方法及びデータ配信システム
US20030158886A1 (en) 2001-10-09 2003-08-21 Walls Jeffrey J. System and method for configuring a plurality of computers that collectively render a display
KR100408525B1 (ko) 2001-10-31 2003-12-06 삼성전자주식회사 네트워크에 적응적인 실시간 멀티미디어 스트리밍 시스템및 방법
US7317685B1 (en) 2001-11-26 2008-01-08 Polycom, Inc. System and method for dynamic bandwidth allocation for videoconferencing in lossy packet switched networks
JP2003189168A (ja) 2001-12-21 2003-07-04 Nec Corp 携帯電話用カメラ
WO2003077553A1 (fr) * 2002-03-08 2003-09-18 Mitsubishi Denki Kabushiki Kaisha Dispositif de communication mobile, procede de commande d'affichage pour un dispositif de communication mobile et programme correspondant
JP4203246B2 (ja) * 2002-03-14 2008-12-24 京セラ株式会社 携帯通信装置
JP4208476B2 (ja) * 2002-03-29 2009-01-14 キヤノン株式会社 情報配信装置、情報配信方法、プログラム及びコンピュータ読み取り可能な記録媒体
JP4061473B2 (ja) 2002-04-26 2008-03-19 日本電気株式会社 折り畳み型携帯電話機
US7256833B2 (en) 2002-05-22 2007-08-14 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Method and apparatus for automatically optimizing optical contrast in automated equipment
JP4066714B2 (ja) * 2002-05-23 2008-03-26 ソニー株式会社 画像信号の処理装置および処理方法
KR100472470B1 (ko) 2002-08-19 2005-03-10 삼성전자주식회사 부분화면과 전체화면을 동시에 스케일링하는 장치 및 방법
JP3542587B2 (ja) * 2002-08-30 2004-07-14 キヤノン株式会社 カメラ制御装置
US6879828B2 (en) 2002-09-09 2005-04-12 Nokia Corporation Unbroken primary connection switching between communications services
US6850541B2 (en) * 2002-09-30 2005-02-01 Intel Corporation Technique to measure network path bandwidth capacity using modal analysis
JP2004165943A (ja) 2002-11-13 2004-06-10 Fujitsu Ltd 携帯電子機器及びその撮影方法
JP2004166159A (ja) 2002-11-15 2004-06-10 Nec Saitama Ltd カメラ付き携帯電話装置
JP2004193860A (ja) * 2002-12-10 2004-07-08 Canon Inc 電子機器
JP2004221738A (ja) * 2003-01-10 2004-08-05 Matsushita Electric Ind Co Ltd テレビ電話装置及びテレビ電話制御方法
TW200424767A (en) 2003-02-20 2004-11-16 Tokyo Ohka Kogyo Co Ltd Immersion exposure process-use resist protection film forming material, composite film, and resist pattern forming method
JP4053444B2 (ja) 2003-03-07 2008-02-27 シャープ株式会社 携帯可能な多機能電子機器
US7321384B1 (en) * 2003-06-03 2008-01-22 Cisco Technology, Inc. Method and apparatus for using far end camera control (FECC) messages to implement participant and layout selection in a multipoint videoconference
US7907638B2 (en) 2003-06-19 2011-03-15 Sony Ericsson Mobile Communications, Ab Media stream mixing
JP4380252B2 (ja) 2003-07-22 2009-12-09 ソニー株式会社 撮像装置および撮像方法
GB2404297B (en) 2003-07-24 2007-12-05 Hewlett Packard Development Co Editing multiple camera outputs
GB0321083D0 (en) 2003-09-09 2003-10-08 British Telecomm Video communications method and system
WO2005051029A1 (ja) 2003-11-19 2005-06-02 National Institute Of Information And Communications Technology, Independent Administrative Agency 無線通信システム
JP4191016B2 (ja) 2003-11-21 2008-12-03 日本電気株式会社 電話端末の通話モード切替方式
KR100595619B1 (ko) * 2003-12-05 2006-06-30 엘지전자 주식회사 이동 통신 단말기의 화상 통화 방법
KR100677303B1 (ko) 2003-12-26 2007-02-05 엘지전자 주식회사 휴대 단말기
DE102004004806B4 (de) 2004-01-30 2012-04-19 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Elektronische Laufbildkamera
JP4478868B2 (ja) * 2004-03-09 2010-06-09 ソニー株式会社 画像表示装置および画像表示方法
KR100550567B1 (ko) * 2004-03-22 2006-02-10 엘지전자 주식회사 무선 네트워크망을 통해 통신하는 서버 시스템 및 그동작방법
JP2005286445A (ja) * 2004-03-29 2005-10-13 Mitsubishi Electric Corp 画像伝送端末、画像伝送端末システム及び端末画像伝送方法
EP1603339A1 (en) 2004-06-01 2005-12-07 STMicroelectronics S.r.l. Method and system for communicating video data in a packet-switched network, related network and computer program product therefor
US8406293B2 (en) 2004-06-27 2013-03-26 Apple Inc. Multi-pass video encoding based on different quantization parameters
US8005139B2 (en) * 2004-06-27 2011-08-23 Apple Inc. Encoding with visual masking
FI117843B (fi) 2004-08-02 2007-03-15 Nokia Corp Elektroninen laite ja menetelmä elektronisessa laitteessa kuvainformaation muodostamiseksi ja vastaava ohjelmatuote
KR101067774B1 (ko) 2004-09-03 2011-09-28 엘지전자 주식회사 방송 수신기 및 그의 튜너 제어 방법
US7381952B2 (en) 2004-09-09 2008-06-03 Flir Systems, Inc. Multiple camera systems and methods
FI116749B (fi) * 2004-09-14 2006-02-15 Nokia Corp Kameraelementtejä käsittävä laite
KR20060031959A (ko) * 2004-10-11 2006-04-14 가온미디어 주식회사 디지털 방송 수신기에 채널 전환 방법
JP4046721B2 (ja) 2004-11-05 2008-02-13 株式会社アイチコーポレーション 作業用車両の充電装置
JP4592551B2 (ja) * 2004-11-10 2010-12-01 シャープ株式会社 通信装置
US7430238B2 (en) 2004-12-10 2008-09-30 Micronas Usa, Inc. Shared pipeline architecture for motion vector prediction and residual decoding
KR100908028B1 (ko) 2004-12-23 2009-07-15 노키아 코포레이션 전자 장치들을 위한 멀티 카메라 솔루션
JP4586534B2 (ja) 2004-12-28 2010-11-24 セイコーエプソン株式会社 撮像装置、手ブレ補正装置、携帯電話機および手ブレ補正方法
JP4770178B2 (ja) 2005-01-17 2011-09-14 ソニー株式会社 カメラ制御装置、カメラシステム、電子会議システムおよびカメラ制御方法
JP2006222822A (ja) 2005-02-14 2006-08-24 Hitachi Ltd ハンドオーバシステム
JP2006245732A (ja) 2005-03-01 2006-09-14 Matsushita Electric Ind Co Ltd パケットバッファ装置、パケット中継転送装置およびネットワークシステム
JP2006246019A (ja) * 2005-03-03 2006-09-14 Canon Inc マルチ画面表示におけるリモコン制御方式
US8977063B2 (en) 2005-03-09 2015-03-10 Qualcomm Incorporated Region-of-interest extraction for video telephony
JP4365800B2 (ja) * 2005-03-14 2009-11-18 パナソニック株式会社 携帯端末装置及び表示切替方法
US20060248210A1 (en) * 2005-05-02 2006-11-02 Lifesize Communications, Inc. Controlling video display mode in a video conferencing system
TW200743385A (en) 2006-05-05 2007-11-16 Amtran Technology Co Ltd Method of audio-visual communication using television and television using the same
KR100703454B1 (ko) * 2005-05-11 2007-04-03 삼성전자주식회사 다양한 화면 방식을 제공하는 휴대단말기
JP2006319742A (ja) 2005-05-13 2006-11-24 Toshiba Corp 通信端末
US7768548B2 (en) 2005-08-12 2010-08-03 William Bradford Silvernail Mobile digital video recording system
JP4781065B2 (ja) * 2005-09-20 2011-09-28 キヤノン株式会社 撮像装置
US7724284B2 (en) 2005-09-29 2010-05-25 Aptina Imaging Corporation Multi-camera system and method having a common processing block
US7697024B2 (en) 2005-11-03 2010-04-13 Broadcom Corp. Method and system of tracking and stabilizing an image transmitted using video telephony
US7728866B2 (en) * 2005-11-03 2010-06-01 Broadcom Corp. Video telephony image processing
JP5007782B2 (ja) * 2005-11-17 2012-08-22 株式会社デンソー ナビゲーション装置および地図表示縮尺設定方法
US7876996B1 (en) * 2005-12-15 2011-01-25 Nvidia Corporation Method and system for time-shifting video
US20070147827A1 (en) 2005-12-28 2007-06-28 Arnold Sheynman Methods and apparatus for wireless stereo video streaming
JP2007201727A (ja) * 2006-01-25 2007-08-09 Nec Saitama Ltd テレビ電話機能付き携帯電話機
US8872879B2 (en) * 2006-01-26 2014-10-28 Polycom, Inc. System and method for controlling videoconference with touch screen interface
US8593502B2 (en) * 2006-01-26 2013-11-26 Polycom, Inc. Controlling videoconference with touch screen interface
US20070177025A1 (en) 2006-02-01 2007-08-02 Micron Technology, Inc. Method and apparatus minimizing die area and module size for a dual-camera mobile device
JP4916749B2 (ja) 2006-03-30 2012-04-18 京セラ株式会社 テレビ電話システム及びテレビ電話端末装置並びにテレビ電話画像表示方法
US8000747B2 (en) * 2006-04-03 2011-08-16 Research In Motion Limited Communications device and method for associating contact names with contact methods
TW200743365A (en) 2006-05-05 2007-11-16 Univ Nat Central Method of de-interlace processing by edge detection
JP2007312039A (ja) 2006-05-17 2007-11-29 Nec Saitama Ltd Tv電話機能付き携帯端末
KR20070111270A (ko) 2006-05-17 2007-11-21 삼성전자주식회사 다자간 화상통화 중 음성인식을 활용한 화면 디스플레이방법
US8004555B2 (en) 2006-05-31 2011-08-23 Motorola Mobility, Inc. Methods and devices for simultaneous dual camera video telephony
US9030968B2 (en) * 2006-06-16 2015-05-12 Alcatel Lucent System and method for processing a conference session through a communication channel
US7626612B2 (en) 2006-06-30 2009-12-01 Motorola, Inc. Methods and devices for video correction of still camera motion
KR100784971B1 (ko) 2006-07-06 2007-12-11 삼성전자주식회사 휴대 단말기 간 원격 제어 시스템과 이를 이용한업그레이드 시스템 및 방법
US20080033527A1 (en) 2006-07-07 2008-02-07 Anthony Nunez Methods and systems for monitoring an endoprosthetic implant
KR101139454B1 (ko) * 2006-07-14 2012-04-30 엘지전자 주식회사 이동통신 단말기 및 그 동작방법
US8189100B2 (en) 2006-07-25 2012-05-29 Qualcomm Incorporated Mobile device with dual digital camera sensors and methods of using the same
US20080034096A1 (en) 2006-08-01 2008-02-07 Ati Technologies Inc. Method and Apparatus for Transferring Multimedia Signals from a Handheld Device to a Computer System for Display
US8509786B2 (en) * 2006-08-04 2013-08-13 At&T Intellectual Property I, L.P. Systems and methods for handling calls in a wireless enabled PBX system using mobile switching protocols
KR20080014329A (ko) 2006-08-10 2008-02-14 삼성전자주식회사 영상표시장치 및 그 제어방법과 프로그램이 기록된 기록매체
TWI321016B (en) * 2006-08-30 2010-02-21 Vibo Telecom Inc Method for transferring video data and proxy server using the same
US8165635B2 (en) 2006-09-01 2012-04-24 Vivotech, Inc. Methods, systems, and computer readable media for over the air (OTA) provisioning of soft cards on devices with wireless communications capabilities
JP4245020B2 (ja) 2006-09-04 2009-03-25 ソニー株式会社 マトリックススイッチャ装置及びマトリックススイッチャ装置の制御方法
US20080063389A1 (en) 2006-09-13 2008-03-13 General Instrument Corporation Tracking a Focus Point by a Remote Camera
US7965309B2 (en) * 2006-09-15 2011-06-21 Quickwolf Technology, Inc. Bedside video communication system
KR100817315B1 (ko) 2006-09-25 2008-03-27 삼성전자주식회사 터치 스크린을 갖는 디지털 방송 수신용 휴대 단말기 및그의 pip 화면 제어 방법
US20080080142A1 (en) 2006-09-28 2008-04-03 Mediatek Inc. Electronic devices with enhanced heat spreading
US20080084482A1 (en) * 2006-10-04 2008-04-10 Sony Ericsson Mobile Communications Ab Image-capturing system and method
US7899489B2 (en) 2006-10-30 2011-03-01 Kyocera Corporation Wireless communication device and wireless communication method
JP4781980B2 (ja) 2006-11-29 2011-09-28 京セラ株式会社 無線通信装置および無線通信方法
KR100836616B1 (ko) 2006-11-14 2008-06-10 (주)케이티에프테크놀로지스 영상 합성 기능을 가지는 휴대용 단말기 및 휴대용단말기의 영상 합성 방법
CN101191878A (zh) 2006-11-28 2008-06-04 鸿富锦精密工业(深圳)有限公司 立体取像相机模组及电子装置
US20080129816A1 (en) * 2006-11-30 2008-06-05 Quickwolf Technology, Inc. Childcare video conferencing system and method
US7646972B2 (en) * 2006-12-08 2010-01-12 Sony Ericsson Mobile Communications Ab Method and apparatus for capturing multiple images at different image foci
US20080165388A1 (en) * 2007-01-04 2008-07-10 Bertrand Serlet Automatic Content Creation and Processing
US7978239B2 (en) 2007-03-01 2011-07-12 Eastman Kodak Company Digital camera using multiple image sensors to provide improved temporal sampling
US7859588B2 (en) 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
US20080239061A1 (en) 2007-03-30 2008-10-02 Cok Ronald S First portable communication device
KR101390103B1 (ko) 2007-04-03 2014-04-28 엘지전자 주식회사 영상제어방법 및 이동단말기
KR101328950B1 (ko) 2007-04-24 2013-11-13 엘지전자 주식회사 화상 디스플레이 방법 및 이를 구현할 수 있는 화상통신용단말기
KR101460712B1 (ko) * 2007-04-26 2014-11-12 엘지전자 주식회사 이동통신 단말기 및 그 제어방법
JP4782074B2 (ja) * 2007-05-18 2011-09-28 シャープ株式会社 携帯端末、制御方法、制御プログラム、および記憶媒体
US8542266B2 (en) 2007-05-21 2013-09-24 Polycom, Inc. Method and system for adapting a CP layout according to interaction between conferees
US8154578B2 (en) 2007-05-31 2012-04-10 Eastman Kodak Company Multi-camera residential communication system
US20080303922A1 (en) * 2007-06-08 2008-12-11 Imran Chaudhri Image capture
US20080316295A1 (en) * 2007-06-22 2008-12-25 King Keith C Virtual decoders
US7817187B2 (en) 2007-06-27 2010-10-19 Aptina Imaging Corporation Image blur correction using a secondary camera
US9954996B2 (en) * 2007-06-28 2018-04-24 Apple Inc. Portable electronic device with conversation management for incoming instant messages
KR100893206B1 (ko) * 2007-07-02 2009-04-16 주식회사 케이티프리텔 다자간 영상통화 중 화자 추가 서비스 제공 방법 및 장치
KR20090004176A (ko) * 2007-07-06 2009-01-12 주식회사 엘지텔레콤 카메라 모듈을 구비한 이동통신단말기 및 그 영상표시방법
KR101378880B1 (ko) 2007-07-13 2014-03-28 엘지전자 주식회사 카메라를 구비한 휴대 단말기
JP5031476B2 (ja) 2007-08-02 2012-09-19 キヤノン株式会社 ズームレンズ及びそれを有する撮像装置
US8095932B2 (en) 2007-08-14 2012-01-10 Intel Corporation Providing quality of service via thread priority in a hyper-threaded microprocessor
US20090047995A1 (en) 2007-08-15 2009-02-19 Sony Ericsson Mobile Communications Ab Portable communication device having a dual camera module with a common image sensor element
KR101403839B1 (ko) * 2007-08-16 2014-06-03 엘지전자 주식회사 터치 스크린을 구비한 이동통신 단말기 및 그 디스플레이제어방법
KR101403785B1 (ko) * 2007-08-16 2014-06-03 엘지전자 주식회사 터치 스크린을 구비한 이동통신 단말기 및 그 영상 통화제어방법
KR101417002B1 (ko) * 2007-08-29 2014-07-08 엘지전자 주식회사 다자 영상 통화 기능을 제공하는 이동 통신 단말기 및 다자영상 통화의 모드 전환 방법
US8046033B2 (en) 2007-09-17 2011-10-25 Lg Electronics Inc. Mobile terminal
KR101334015B1 (ko) 2007-10-09 2013-11-28 주식회사 케이티 다자간 화상 통화시 화자 구분 기능을 구비한 휴대용단말기 및 다자간 화상 통화시 화자 구분 방법
KR101356167B1 (ko) 2007-11-02 2014-01-24 엘지전자 주식회사 휴대 단말기
JP2008125105A (ja) * 2007-12-14 2008-05-29 Nec Corp 通信端末装置、テレビ電話制御方法及びテレビ電話制御プログラム
JP4926034B2 (ja) * 2007-12-26 2012-05-09 京セラ株式会社 複合端末および表示制御プログラム
US8040382B2 (en) 2008-01-07 2011-10-18 Dp Technologies, Inc. Method and apparatus for improving photo image quality
JP4636139B2 (ja) 2008-01-11 2011-02-23 ソニー株式会社 テレビ会議端末装置、画像送信方法
US8259157B2 (en) 2008-01-11 2012-09-04 Sony Corporation Teleconference terminal apparatus and image transmitting method
JP2009189075A (ja) 2008-02-01 2009-08-20 Denso Corp 通信システム
US8205157B2 (en) * 2008-03-04 2012-06-19 Apple Inc. Methods and graphical user interfaces for conducting searches on a portable multifunction device
KR101012300B1 (ko) * 2008-03-07 2011-02-08 삼성전자주식회사 터치스크린을 구비한 휴대 단말기의 사용자 인터페이스장치 및 그 방법
WO2009114482A1 (en) * 2008-03-10 2009-09-17 Dilithium Holdings, Inc. Method and apparatus for video services
JP5058042B2 (ja) * 2008-03-24 2012-10-24 シャープ株式会社 画像通信システムおよび画像通信方法
KR101442112B1 (ko) 2008-05-26 2014-09-18 엘지전자 주식회사 근접센서를 이용하여 동작 제어가 가능한 휴대 단말기 및그 제어방법
US8363019B2 (en) 2008-05-26 2013-01-29 Lg Electronics Inc. Mobile terminal using proximity sensor and method of controlling the mobile terminal
US8305899B2 (en) 2008-05-28 2012-11-06 Microsoft Corporation Pull-based data transmission approach
US8548428B2 (en) * 2009-01-28 2013-10-01 Headwater Partners I Llc Device group partitions and settlement platform
CN101291379A (zh) 2008-06-05 2008-10-22 中兴通讯股份有限公司 移动终端及其可视电话实现方法
EP2299352B1 (en) 2008-06-30 2018-12-19 NEC Corporation Information processing device, display control method, and recording medium
JP4561888B2 (ja) * 2008-07-01 2010-10-13 ソニー株式会社 情報処理装置、及び情報処理装置における振動制御方法
KR20100007625A (ko) 2008-07-14 2010-01-22 엘지전자 주식회사 이동 단말기 및 그 메뉴 표시 방법
JP5217724B2 (ja) 2008-07-22 2013-06-19 ブラザー工業株式会社 サーバ
NO333026B1 (no) * 2008-09-17 2013-02-18 Cisco Systems Int Sarl Styringssystem for et lokalt telepresencevideokonferansesystem og fremgangsmate for a etablere en videokonferansesamtale.
JP5410720B2 (ja) * 2008-09-25 2014-02-05 日立コンシューマエレクトロニクス株式会社 ディジタル情報信号送受信装置、およびディジタル情報信号送受信方法
US20100087230A1 (en) * 2008-09-25 2010-04-08 Garmin Ltd. Mobile communication device user interface
JP4577531B2 (ja) 2008-10-28 2010-11-10 日本電気株式会社 認証サーバ、通信システム、接続装置割り当て方法およびプログラム
US20100118111A1 (en) * 2008-11-10 2010-05-13 Nokia Corporation Method and apparatus for remote camera control indications in video conferencing
US20100138797A1 (en) * 2008-12-01 2010-06-03 Sony Ericsson Mobile Communications Ab Portable electronic device with split vision content sharing control and method
US8738696B2 (en) 2009-01-29 2014-05-27 At&T Mobility Ii Llc Single subscription management for multiple devices
CN101521696B (zh) 2009-04-08 2011-06-22 候万春 一种能够选择与切换前后摄像头的移动电话终端
GB2469470B (en) * 2009-04-14 2015-02-25 Skype Transmitting and receiving data
US20100309284A1 (en) * 2009-06-04 2010-12-09 Ramin Samadani Systems and methods for dynamically displaying participant activity during video conferencing
US8471888B2 (en) * 2009-08-07 2013-06-25 Research In Motion Limited Methods and systems for mobile telepresence
KR101617289B1 (ko) 2009-09-30 2016-05-02 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US8457604B2 (en) * 2009-11-17 2013-06-04 Hewlett-Packard Development Company, L.P. Apparatus and method for sharing content on a mobile device
US8320364B2 (en) * 2009-12-15 2012-11-27 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Control of bit-rate and packet duplication in a real-time media stream
US8451312B2 (en) 2010-01-06 2013-05-28 Apple Inc. Automatic video stream selection
US8649297B2 (en) * 2010-03-26 2014-02-11 Cisco Technology, Inc. System and method for simplifying secure network setup
US20110242355A1 (en) * 2010-04-05 2011-10-06 Qualcomm Incorporated Combining data from multiple image sensors
AU2015201127B2 (en) 2010-04-07 2017-02-23 Apple Inc. Establishing a video conference during a phone call
US8725880B2 (en) * 2010-04-07 2014-05-13 Apple, Inc. Establishing online communication sessions between client computing devices
US8941706B2 (en) 2010-04-07 2015-01-27 Apple Inc. Image processing for a dual camera mobile device
CN102010622B (zh) 2010-10-27 2013-02-27 吴传仪 防腐耐磨材料及其无积灰防腐耐磨粉体输送管道

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070082700A1 (en) * 2005-10-07 2007-04-12 Agere Systems, Inc. Method of using mobile communications devices for monitoring purposes and a system for implementation thereof
US20090109276A1 (en) * 2007-10-26 2009-04-30 Samsung Electronics Co. Ltd. Mobile terminal and method for transmitting image therein

Also Published As

Publication number Publication date
HK1162796A1 (zh) 2012-08-31
US8917632B2 (en) 2014-12-23
KR102660942B1 (ko) 2024-04-26
KR20220029789A (ko) 2022-03-08
US20180160072A1 (en) 2018-06-07
KR20150038707A (ko) 2015-04-08
US8451994B2 (en) 2013-05-28
KR20230028583A (ko) 2023-02-28
TW201136292A (en) 2011-10-16
US20110249073A1 (en) 2011-10-13
US20110249078A1 (en) 2011-10-13
US10462420B2 (en) 2019-10-29
CN104270597A (zh) 2015-01-07
JP2023036677A (ja) 2023-03-14
TWI462566B (zh) 2014-11-21
TWI547136B (zh) 2016-08-21
US9055185B2 (en) 2015-06-09
KR20180137616A (ko) 2018-12-27
JP2018191307A (ja) 2018-11-29
US8502856B2 (en) 2013-08-06
MX2020003290A (es) 2020-09-07
TWI439133B (zh) 2014-05-21
JP6335094B2 (ja) 2018-05-30
MX2012011623A (es) 2012-11-30
US20110249074A1 (en) 2011-10-13
EP2556665B1 (en) 2018-08-15
US20200059628A1 (en) 2020-02-20
US20150103135A1 (en) 2015-04-16
US9787938B2 (en) 2017-10-10
BR112012025746A2 (pt) 2016-06-28
KR102052296B1 (ko) 2019-12-04
KR20130010003A (ko) 2013-01-24
US20110249076A1 (en) 2011-10-13
KR101564868B1 (ko) 2015-10-30
US20230262196A1 (en) 2023-08-17
US20210360192A1 (en) 2021-11-18
US20140354759A1 (en) 2014-12-04
WO2011126511A8 (en) 2012-11-22
US11025861B2 (en) 2021-06-01
KR101627818B1 (ko) 2016-06-08
MX342799B (es) 2016-10-13
US9264659B2 (en) 2016-02-16
JP6367272B2 (ja) 2018-08-01
TW201143348A (en) 2011-12-01
BR112012025746B1 (pt) 2021-09-28
JP6949917B2 (ja) 2021-10-13
AU2010350749A1 (en) 2012-11-08
JP2020017995A (ja) 2020-01-30
WO2011126511A1 (en) 2011-10-13
KR101438988B1 (ko) 2014-10-22
JP2013524684A (ja) 2013-06-17
KR20140138327A (ko) 2014-12-03
KR101491428B1 (ko) 2015-02-06
US20110249086A1 (en) 2011-10-13
TW201143349A (en) 2011-12-01
KR20240058968A (ko) 2024-05-07
EP3425624B1 (en) 2020-09-09
JP2017005736A (ja) 2017-01-05
AU2010350749B2 (en) 2014-12-04
TW201143434A (en) 2011-12-01
EP3425624A1 (en) 2019-01-09
KR20170016032A (ko) 2017-02-10
CN104270597B (zh) 2018-07-24
KR20160075779A (ko) 2016-06-29
HK1162797A1 (zh) 2012-08-31
WO2011126511A4 (en) 2011-12-08
KR102079850B1 (ko) 2020-02-20
US20130265378A1 (en) 2013-10-10
JP2022008507A (ja) 2022-01-13
KR102189345B1 (ko) 2020-12-11
KR20200138841A (ko) 2020-12-10
US8744420B2 (en) 2014-06-03
JP2015057894A (ja) 2015-03-26
US8874090B2 (en) 2014-10-28
KR20140063646A (ko) 2014-05-27
US8941706B2 (en) 2015-01-27
EP2556665A1 (en) 2013-02-13
KR20200013268A (ko) 2020-02-06
JP7194243B2 (ja) 2022-12-21
US20110249075A1 (en) 2011-10-13
US20110249077A1 (en) 2011-10-13

Similar Documents

Publication Publication Date Title
TWI499271B (zh) 行動裝置之非暫時的電腦可讀取的媒體以及界定電腦程式的方法
AU2015201127B2 (en) Establishing a video conference during a phone call