JP6456411B2 - 移動端末画像の自己適応表示方法、装置及びコンピュータ記憶媒体 - Google Patents

移動端末画像の自己適応表示方法、装置及びコンピュータ記憶媒体 Download PDF

Info

Publication number
JP6456411B2
JP6456411B2 JP2016575926A JP2016575926A JP6456411B2 JP 6456411 B2 JP6456411 B2 JP 6456411B2 JP 2016575926 A JP2016575926 A JP 2016575926A JP 2016575926 A JP2016575926 A JP 2016575926A JP 6456411 B2 JP6456411 B2 JP 6456411B2
Authority
JP
Japan
Prior art keywords
sub
mobile terminal
screen
screens
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016575926A
Other languages
English (en)
Other versions
JP2017526239A (ja
Inventor
ルオ,シャオヤン
フェン,ビン
ズー,ツンワン
リウ,ムー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Publication of JP2017526239A publication Critical patent/JP2017526239A/ja
Application granted granted Critical
Publication of JP6456411B2 publication Critical patent/JP6456411B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4858End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/152Multipoint control units therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145Handheld terminals

Description

本発明はビデオ会議技術に関し、特に移動端末画像の自己適応表示を実現する方法、装置及びコンピュータ記憶媒体に関する。
通信技術と移動端末技術の発展に伴って、移動端末もビデオ会議に加入して、ビデオ及び音声の通信をリアルタイムに行うことができる。しかし、移動端末がマルチポイントビデオ会議を行う場合、移動端末の柔軟性により、例えば自在に回転することができ、移動端末が回転する場合、移動端末が表示するマルチ画面も従って対応的な回転が生じ、移動端末のユーザの体験と要求を満足する。しかし、従来の技術、例えば公開番号がCN103220485Aであり、発明名称が『回転画面のビデオ再生の方法及びシステム』である中国特許文献により提出されたビデオ再生画面の回転の方法において、端末が送信した画面回転要求はユーザの参与を必要とし、自己適応を達成しない。公開番号がCN101673537Aであり、発明名称が『スクリーン画面選択の実現装置及び方法』である中国特許文献では、重力感応装置を用いて画面自動回転の課題を解決したが、上記両者の共通問題は、画面が回転する時には画面の画像全体を処理単位として回転と拡大・縮小が行われ、マルチ画面における各サブ画面のレイアウトを調整することができないことである。移動端末の体積の制限により、ディスプレイ画面のサイズと面積は限られ、特にマルチポイントビデオ通信を行い、且つ参加者が多い場合、小さいディスプレイでマルチ画面の場合の各画面の内容がはっきりと見えない。
従来の技術課題を解決するために、本発明の実施例は、移動端末画像の自己適応表示方法、装置及びコンピュータ記憶媒体を提供することを望んだものである。
本発明の実施例の技術的手段は、以下のように実現される。
本発明の実施例は、移動端末画像の自己適応表示方法を提供し、該方法は、
マルチポイント制御端末が移動端末の現在の置き状態での表示可能なサブ画面数量Kを確定し、K個のサブ画面を選択して移動端末に送信して表示することを含む。
本発明の実施例は、移動端末画像の自己適応表示装置を更に提供し、該装置はサブ画面確定モジュールとサブ画面選択モジュールとを含み、
前記サブ画面確定モジュールは、移動端末の現在の置き状態での表示可能なサブ画面数量Kを確定するように設定され、
前記サブ画面選択モジュールは、K個のサブ画面を選択して、移動端末に送信して表示するように設定される。
本発明の実施例は、コンピュータ記憶媒体を更に提供し、コンピュータプログラムが記憶され、該コンピュータプログラムは、上記移動端末画像の自己適応表示方法を実行するように設定される。
本発明の実施例は、移動端末画像の自己適応表示方法、装置及びコンピュータ記憶媒体を提供し、マルチポイント制御端末は、移動端末の現在の置き状態での表示可能なサブ画面数量Kを確定し、K個のサブ画面を選択して移動端末に送信して表示し、これにより、移動端末の置き状態の変化(例えば横置き又は縦置き)に基づいて、移動端末が表示するマルチ画面のレイアウトと内容をリアルタイムで動的に調整し、移動端末を用いてビデオ通信を行うユーザの画面に対する快適感を向上させることができる。
図1は、本発明の実施例による移動端末画像の自己適応表示方法のフロー模式図である。 図2は、本発明の実施例1による移動端末画像の自己適応表示方法のフロー模式図である。 図3は、本発明の実施例2によるマルチ画面レイアウト調整の模式図である。 図4は、本発明の実施例3によるマルチ画面レイアウト調整の模式図である。 図5は、本発明の実施例3によるAがDのスクリーン回転情報を受信した場合の処理方法フローチャートである。 図6は、本発明の実施例による移動端末画像の自己適応表示装置の構造模式図である。
本発明の実施例において、マルチポイント制御端末は、移動端末の現在の置き状態での表示可能なサブ画面数量Kを確定し、K個のサブ画面を選択して移動端末に送信して表示する。
以下、図面及び具体的な実施例に基づいて、本発明について詳しく説明する。
本発明の実施例は、移動端末画像の自己適応表示方法を実現し、図1に示すように、該方法は、下記ステップ101〜102を含む。
ステップ101: マルチポイント制御端末は、移動端末の現在の置き状態での表示可能なサブ画面数量Kを確定する。
具体的に、マルチポイントビデオ会議において、マルチポイント制御端末は、マルチポイントビデオ会議における移動端末の現在の置き状態、移動端末のスクリーン情報、及びN個の会議端末のビデオ画像の解像度に基づいて、前記移動端末の前記置き状態での表示可能なサブ画面数量Kを確定し、前記Nは全ての会議端末の数量を示す。又は、マルチポイント制御端末は、マルチポイントビデオ会議において移動端末が送信した現在の置き状態での表示可能なサブ画面数量Kを受信する。前記移動端末が送信した現在の置き状態での表示可能なサブ画面数量Kは、前記移動端末が自身の現在の置き状態、自身のスクリーン情報、及び自身のビデオ画像の解像度に基づいて確定した前記置き状態での表示可能なサブ画面数量Kである。ここで、前記全ての会議端末は、マルチポイント制御端末、移動端末、及び通常ビデオ端末を含み、前記マルチポイント制御端末とは、マルチポイント制御ユニット(MCU、Multi Control Unit)が設置される端末である。
また、マルチポイントビデオ会議において、マルチポイント制御端末は、会議端末における移動端末に識別子を付け、インタラクション情報における前記識別子に基づいて、会議端末における移動端末を確定することができる。
該ステップにおいて、前記置き状態は、平置き及び縦置きを含み、前記スクリーン情報は、スクリーンの物理サイズ、及びアスペクト比(幅と高さとの比)を含む。
前記置き状態、前記スクリーン情報の取得について、マルチポイント制御端末は、移動端末とのインタラクションの時のインタラクション情報に基づいて取得することができ、前記移動端末は、自体の重力感応部材により自身の置き状態を取得し、自身が記憶するデバイスパラメータからスクリーン情報を取得することができ、マルチポイント制御端末とのインタラクションの時、前記置き状態、前記スクリーン情報をインタラクション情報に含ませ、N個の会議端末のビデオ画像の解像度について、マルチポイント制御端末はN個の会議端末のビデオ画像に対するデコードの時に取得することができる。
ここで、前記マルチポイント制御端末がマルチポイントビデオ会議における移動端末の現在の置き状態、移動端末のスクリーン情報、及びN個の会議端末の送信したビデオ画像の解像度に基づいて、前記移動端末の前記置き状態での表示可能なサブ画面数量Kを確定することは、下記内容を含む。
受信した移動端末のスクリーンの物理サイズをS(単位:インチ、in)とし、スクリーンのアスペクト比(幅と高さとの比)をWr:Hrとし、置き状態をCとし、参照の画像の解像度Rw*Rh及びパラメータtを設定する。
まず、移動端末のスクリーンの幅(W)と高さ(H)を求め、即ち、
W/H=Wr/Hr、
+H=(S*2.54)
である。
上記連立方程式の解は、求められたスクリーンの幅と高さ(単位:cm)である。
そして、移動端末の表示可能なサブ画面数Kを求める。
スクリーンの置き状態Cが平置きである場合、N1=floor(W/(Rw*t))、N2=floor(H/(Rh*t))である。
スクリーンの置き状態Cが縦置きである場合、N1=floor(H/(Rw*t))、N2=floor(W/(Rh*t))である。
その中、floorは指定のエクスプレッション以下の最大整数を返す関数であり、N1、N2の最小値は1である。
K=N1*N2
上記参照の画像解像度Rw*Rhの設定は、N−1個の会議端末の送信したビデオ画像の解像度とマルチポイント制御端末のビデオ画像の解像度とに基づいて動的に設定してもよく、1つの固定値に設定してもよい。
ステップ102: マルチポイント制御端末は、K個のサブ画面を選択して、移動端末に送信して表示する。
具体的に、マルチポイント制御端末は、選択基準に基づいてK個のサブ画面を選択して、移動端末に送信して表示し、前記選択基準は、音量の大きさ、ビデオ画像の解像度、帯域幅、議長端(議長端末)、ブロードキャストソース、重要度等のうちのいずれか1つの基準、又は、音量の大きさ、ビデオ画像の解像度、帯域幅、議長端、ブロードキャストソース、重要度等のうちの少なくとも2つの基準に基づいて加重方式で組合わせて得た基準、又は、前記マルチポイント制御端末が他の会議端末とのインタラクションの方式によりサブ画面を選択すること、を含む。
例えば、マルチポイント制御端末は、N個の会議端末のビデオ画像の音量の大きさに基づいて、K個のサブ画面を選択して移動端末に送信して表示することができ、例えば、N個の会議端末のビデオ画像を音量の大きさの順にソートし、音量が大きい又は音量が小さいK個のビデオ画像をサブ画面として選択して、移動端末に送信して表示する。
又は、マルチポイント制御端末は、N個の会議端末のビデオ画像の解像度に基づいて、K個のサブ画面を選択して表示することができ、例えば、N個の会議端末の送信したビデオ画像を解像度の高さの順にソートし、解像度が高い又は解像度が低いK個のビデオ画像をサブ画面として選択して、移動端末に送信して表示する。
又は、マルチポイント制御端末は、N個の会議端末のビデオ画像の帯域幅に基づいてK個のサブ画面を選択して表示することができ、例えば、N個の会議端末のビデオ画像を帯域幅の広さの順にソートし、帯域幅が広い又は帯域幅が狭いK個のビデオ画像をサブ画面として選択して、移動端末に送信して表示する。
又は、マルチポイント制御端末は、N個の会議端末における議長端に基づいて、K個のサブ画面を選択して表示することができ、例えば、N個の会議端末のビデオ画像における議長端の送信したビデオ画像をマークし、前記議長端の送信したビデオ画像を含むK個のビデオ画像をサブ画面として選択して、移動端末に送信して表示する。
又は、マルチポイント制御端末は、N個の会議端末におけるブロードキャストソースに基づいて、K個のサブ画面を選択して表示することができ、例えば、N個の会議端末におけるブロードキャストソースをマークし、前記ブロードキャストソースの送信したビデオ画像を含むK個のビデオ画像をサブ画面として選択して、移動端末に送信して表示する。
又は、マルチポイント制御端末は、N個の会議端末のビデオ画像の重要度に基づいて、K個のサブ画面を選択して表示することができ、例えば、N個の会議端末のビデオ画像の重要度をマークし、重要度が高いK個のビデオ画像をサブ画面として選択して、移動端末に送信して表示する。
又は、マルチポイント制御端末は、N個の会議端末のビデオ画像の音量の大きさと解像度とに基づいて、K個のサブ画面を選択して表示することができ、例えば、N個の会議端末のビデオ画像を音量の大きさの順にソートし、各会議端末の順位を記録し、それからN個の会議端末のビデオ画像を解像度によりソートし、各会議端末の順位を記録し、最後にN個の会議端末の音量の大きさの順にソートした順位と解像度によりソートした順位とを加重し、加重値が高い又は加重値が低いK個のビデオ画像をサブ画面として選択して、移動端末に送信して表示する。
又は、マルチポイント制御端末は、N個の会議端末の送信したビデオ画像の帯域幅、N個の会議端末における議長端に基づいて、K個のサブ画面を選択して表示することができ、例えば、N個の会議端末のビデオ画像を帯域幅の広さの順にソートし、前記議長端の送信したビデオ画像を1つのサブ画面として選択して表示し、且つ帯域幅が広い又は帯域幅が狭いK−1個のビデオ画像をサブ画面として選択して、移動端末に送信して表示する。
類似的に、マルチポイント制御端末は、音量の大きさ、ビデオ画像の解像度、帯域幅、議長端、ブロードキャストソース、重要度等のうちの少なくとも2つの基準に基づいて加重方式で組合わせ、N個の会議端末のビデオ画像におけるK個のビデオ画像をサブ画面として選択して、移動端末に送信して表示することができる。
また、マルチポイント制御端末は、他の会議端末に表示する必要があるかどうかの要求メッセージを送信することができ、表示する必要がある会議端末の送信したビデオ画像において、K個のビデオ画像をサブ画面として選択して、移動端末に送信して表示する。
該ステップにおいて、K個のサブ画面を選択して移動端末に送信することは、K個のサブ画面の表示レイアウトを調整し、K個のサブ画面のビデオ画像と調整後の表示レイアウトを移動端末に送信することを含む。具体的に、異なる数量のサブ画面に対するレイアウトテンプレートを予め記憶し、選択したK個のサブ画面に基づいて、使用するレイアウトテンプレートを確定し、使用するレイアウトテンプレートにおける各サブ画面のサイズに基づいて、K個のビデオ画像の表示サイズを調整し、前記K個のビデオ画像と使用するレイアウトテンプレートとを移動端末に送信する。前記レイアウトテンプレートは、縦列レイアウトテンプレート、水平レイアウトテンプレート、グリッドレイアウトテンプレート、不規則形サブ画面レイアウトテンプレート等を含む。
前記K個のサブ画面の表示レイアウトを調整することは更に、K個のサブ画面における一部のサブ画面の表示レイアウトを調整することを含む。具体的に、K個のサブ画面において、現在の置き状態に対する前の一つの置き状態でのL個のサブ画面の表示位置を変化しないまま、M個のサブ画面を移動端末の現在の置き状態に適応する空き表示領域に調整し、例えば、現在が平置きである場合、M個のサブ画面を水平の空き表示領域に調整する。前記M個のサブ画面とL個のサブ画面との和が、K個のサブ画面である。
移動端末の置き状態が変化する場合、上記方法は更に、マルチポイント制御端末が再び移動端末の現在の置き状態での表示可能なサブ画面数量Rを確定し、R個のサブ画面を選択して移動端末に送信して表示することを含む。
本発明をより良く理解するために、以下、具体的な実施例を参照しながら、本発明について詳しく説明する。
実施例1
以下、5つの会議端末(A、B、C、D及びE)がビデオ会議を行うことを例とし、その中、Aがマルチポイント制御端末であり、Eが移動端末であり、B、C、Dが通常ビデオ端末であるとすると、本実施例による移動端末画像の自己適応表示方法は、図2に示すように、下記ステップS10〜S11を含む。
ステップS10: Aは、Eの現在の置き状態が平置きであること、Eのスクリーンの物理サイズ及び幅と高さとの比、及びA、B、C、D、Eのビデオ画像の解像度に基づいて、この時のEの表示可能なサブ画面数量K=2を確定する。
ステップS11: Aは、K=2個のサブ画面を選択して、Eに送信して表示する。
ここで、K<N(N=5)であるため、選択基準に基づいてサブ画面を選択する必要がある。設定したサブ画面の選択基準を、ビデオ画像の解像度に基づいてサブ画面を選択することとし、5つの移動端末のビデオ解像度の関係をRA_B>RA_D>RA_A>RA_C>RA_Eとすると、選択基準に基づいて、解像度が高い2つのサブ画面、即ちBとDの画面を選択して、Eの表示サブ画面とする。
実施例2
以下、3つの会議端末(A、B及びC)がビデオ会議を行うことを例とし、その中、Aがマルチポイント制御端末であり、Cが移動端末であり、Bが通常ビデオ端末であるとすると、本実施例による移動端末画像の自己適応表示方法は、下記内容を含む。
Aは、Cの現在の置き状態が平置きであること、Cのスクリーンの物理サイズ及び幅と高さとの比、及びA、B、Cのビデオ画像の解像度に基づいて、この時のCの表示可能なサブ画面数量K=3を確定し、即ち、この時の参会端末の全ての会議端末を表示することができる。
選択基準に基づいて、表示するK個のサブ画面を選択し、この時、K=N=3であり、そうすると、A、B、Cの3つの画面をCの表示サブ画面として選択し、選択したK個のサブ画面をCに送信して表示する。
仮に、この時のCのマルチ画面レイアウトを、図3における左の図に示すように、A、B、Cの3つの端末のレイアウトが左から右に配列されるものとするが、図3はマルチ画面のレイアウト調整ポリシーを説明するためのものであり、他のレイアウト調整ポリシーを使用する場合を制限するものではない。ビデオ会議の過程において、Cが回転し、最初の平置きから縦置きに回転する場合、Aは、Cの置き状態の変化情報を受信して、縦状態でのCの表示可能なサブ画面数量Rを再び計算し、この時に計算したRをR=3とすると、A、B、Cの3つの画面をCの表示サブ画面として選択し、この時、サブ画面のレイアウトを調整する必要があり、Bのサブ画面の位置を変化しないまま、AとCのサブ画面を縦方向の空き表示領域に調整することができ、調整後のマルチ画面のレイアウトは、図3における右の図に示される。該実施例において、各サブ画面がスクリーン全体の1/3を占めることとする。図3における中間の模式図は、従来技術で得られたマルチ画面の表示効果であり、該技術の最終の画像画面が占めるスクリーンの面積の比率(割合)は小さく、ディスプレイ全体を十分に利用していない。
実施例3
以下、4つの会議端末(A、B、C及びD)がビデオ会議を行うことを例とし、その中、Aがマルチポイント制御端末であり、Dが移動端末であり、B、Cが通常ビデオ端末であるとし、Dのスクリーンサイズを3.5inとし、スクリーンのアスペクト比(幅と高さとの比)を3:2とし、回転する前の置き位置を平置きとし、この時に計算して得たDの表示可能な画面数量を1とし、且つ選択基準に基づいてAの画面を選択して表示するものとすると、表示の模式図は図4における左の図に示され、参会過程においてDが回転し、置き状態が平置きから縦置きに変化し、AがDのスクリーン回転情報を受信した場合の処理は、図5に示すように、以下のステップS20〜S23を含む。
ステップS20: Aは、Dのスクリーン回転情報を受信する。
ステップS21: Aは、Dの縦状態での表示可能なサブ画面数量R=2を確定し、該Rの計算については、Dのスクリーンサイズ、アスペクト比(幅と高さとの比)、及びA、B、C、Dの4つの会議端末のビデオ画像の解像度等の情報に基づいて計算する必要がある。
ステップS22: Aは、設定した選択基準に基づいて、表示するR=2個のサブ画面を選択する。
ここで、仮に、選択基準を、参会者の音声量の大きい順に従って選択するようにし、この時に各端末の音声量の大きさの関係がVA>VB>VC>VDである場合、前記選択基準に基づいて、最終にA端末とB端末の画面をDの表示サブ画面として選択する。
ステップS23: Aは、マルチ画面のレイアウト調整を行う。
ここで、図4における右の図に示すように、Aは、表示レイアウトを、Aの画面とBの画面とが縦に配列されるように調整することができ、Dのサブ画面のレイアウトを再び生成し、Aは、Aの画面、Bの画面及び再び生成したサブ画面のレイアウトをDに送信して表示する。
実施例4
以下、5つの会議端末(A、B、C、D及びE)がビデオ会議を行うことを例とし、その中、Aがマルチポイント制御端末であり、Eが移動端末であり、B、C、Dが通常ビデオ端末であるとすると、本実施例による移動端末画像の自己適応表示方法は、下記内容を含む。
Eは、自身の現在の置き状態が平置きであること、自身のスクリーンの物理サイズ及びアスペクト比(幅と高さとの比)、並びに自身のビデオ画像の解像度に基づいて、この時のEの表示可能なサブ画面数量K=2を確定し、表示可能なサブ画面数量K=2をAとのインタラクション情報に含ませ、前記インタラクション情報は、会議ビデオ接続確認、又は会議ビデオ接続要求等であってもよい。
Aは、Eの表示可能なサブ画面数量K=2を受信し、K=2個のサブ画面を選択して、Eに送信して表示する。
ここで、K<N(N=5)であるため、選択基準に基づいてサブ画面を選択する必要がある。設定したサブ画面の選択基準を、ビデオ画像の解像度に基づいてサブ画面を選択することとし、5つの移動端末のビデオ解像度の関係をRA_B>RA_D>RA_A>RA_C>RA_Eとすると、選択基準に基づいて、解像度が高い2つのサブ画面、即ちBとDの画面を選択して、Eの表示サブ画面とする。
上記移動端末画像の自己適応表示方法に基づいて、本発明の実施例は、移動端末画像の自己適応表示装置を更に提供し、該装置は、マルチポイント制御端末に設置され、図6に示すように、該装置はサブ画面確定モジュール61、サブ画面選択モジュール62を含む。
前記サブ画面確定モジュール61は、通信インタフェースとプロセッサとの組合せにより実現されることができ、移動端末の現在の置き状態での表示可能なサブ画面数量Kを確定するように設定される。
マルチポイントビデオ会議において、前記サブ画面確定モジュール61は、マルチポイントビデオ会議における移動端末の現在の置き状態、移動端末のスクリーン情報、及びN個の会議端末のビデオ画像の解像度に基づいて、前記移動端末の前記置き状態での表示可能なサブ画面数量Kを確定し、前記Nは、全ての会議端末の数量を示す。ここで、前記全ての会議端末は、マルチポイント制御端末、移動端末、及び通常ビデオ端末を含む。
前記置き状態、前記スクリーン情報の取得について、前記サブ画面確定モジュール61は、自身が位置するマルチポイント制御端末と移動端末とのインタラクションの時のインタラクション情報に基づいて取得することができ、且つ、前記移動端末は、自体の重力感応部材により自身の置き状態を取得し、自身が記憶するデバイスパラメータからスクリーン情報を取得することができ、マルチポイント制御端末とのインタラクションの時、前記置き状態、前記スクリーン情報をインタラクション情報に含ませる。N個の会議端末のビデオ画像の解像度について、前記サブ画面確定モジュール61は、N個の会議端末のビデオ画像に対するデコードの時に取得することができる。
前記サブ画面確定モジュール61は、マルチポイントビデオ会議において移動端末が送信した、現在の置き状態での表示可能なサブ画面数量Kを受信することもでき、前記移動端末が送信した、現在の置き状態での表示可能なサブ画面数量Kは、前記移動端末が自身の現在の置き状態、自身のスクリーン情報、及び自身のビデオ画像の解像度に基づいて確定した、前記置き状態での表示可能なサブ画面数量Kである。
前記サブ画面選択モジュール62は、通信インタフェースとプロセッサとの組合せにより実現されることができ、K個のサブ画面を選択して、移動端末に送信して表示するように設定される。
具体的に、前記サブ画面選択モジュール62は、選択基準に基づいて、K個のサブ画面を選択して移動端末に送信して表示し、前記選択基準は、音量の大きさ、ビデオ画像の解像度、帯域幅、議長端(議長端末)、ブロードキャストソース、重要度等のうちのいずれか1つの基準、又は、音量の大きさ、ビデオ画像の解像度、帯域幅、議長端、ブロードキャストソース、重要度等のうちの少なくとも2つの基準に基づいて加重方式で組合わせて得た基準、又は、前記マルチポイント制御端末が前記N−1個の会議端末とのインタラクションの方式によりサブ画面を選択すること、を含む。
前記サブ画面確定モジュール61は更に、移動端末の置き状態が変化する場合、再び移動端末の現在の置き状態での表示可能なサブ画面数量Rを確定するように設定される。
前記サブ画面選択モジュール62は更に、R個のサブ画面を選択して移動端末に送信して表示するように設定される。
本発明の実施例に記載の移動端末画像の自己適応表示方法は、ソフトウェア機能モジュールの形式で実現され、且つ独立の製品として販売され又は使用される場合、コンピュータ読み取り可能な記憶媒体に記憶されることもできる。このような理解に基づいて、当業者は、本発明の実施例が、方法、システム、又はコンピュータプログラム製品として提供されることができることを理解すべきである。従って、本発明は、完全なハードウェアの実施例、完全なソフトウェアの実施例、又はソフトウェアとハードウェアとの組合せの実施例の形態を採用できる。そして、本発明は、コンピュータ使用可能なプログラムコードが含まれる1つ又は複数のコンピュータ使用可能な記憶媒体において実施されたコンピュータプログラム製品の形態を採用でき、前記記憶媒体は、Uディスク、移動ハードディスク、読み出し専用メモリ(ROM、Read-Only Memory)、ディスク記憶装置、CD-ROM、光記憶装置等を含むが、これらに限定されない。
対応的に、本発明の実施例は、コンピュータ記憶媒体を更に提供し、コンピュータプログラムが記憶され、該コンピュータプログラムは、本発明の実施例による移動端末画像の自己適応表示方法を実行するように設定される。
上記は本発明の好ましい実施例であるだけに過ぎず、本発明の保護範囲を制限するためのものではなく、本発明の趣旨と原則にある限り、行った任意の修正、同等な置き換え、改善等は、いずれも本発明の保護範囲に含まれるべきである。
各実施例に記載の技術的手段を組合わせて、本発明は、移動端末の置き状態の変化(例えば平置き又は縦置き)に基づいて、移動端末が表示するマルチ画面のレイアウトと内容をリアルタイムで動的に調整し、移動端末を用いてビデオ通信を行うユーザの画面に対する快適感を向上させることができる。

Claims (8)

  1. マルチポイント制御端末が、移動端末の現在の置き状態での表示可能なサブ画面数量Kを確定し、K個のサブ画面を選択して移動端末に送信して表示することと、
    前記移動端末の置き状態が変化する場合、前記マルチポイント制御端末が再び前記移動端末の現在の置き状態での表示可能なサブ画面数量Rを確定し、R個のサブ画面を選択して前記移動端末に送信して表示することと、を含み、
    前記R個のサブ画面を選択して移動端末に送信することは、R個のサブ画面の表示レイアウトを調整し、R個のサブ画面のビデオ画像と調整後の表示レイアウトを移動端末に送信することを含み、
    前記マルチポイント制御端末が、移動端末の現在の置き状態での表示可能なサブ画面数量Kを確定することは、マルチポイント制御端末が、マルチポイントビデオ会議における移動端末の現在の置き状態、移動端末のスクリーン情報、及びN個の会議端末のビデオ画像の解像度に基づいて、前記移動端末の前記置き状態での表示可能なサブ画面数量Kを確定することを含み、前記Nは、全ての会議端末の数量を示し、
    又は、
    前記マルチポイント制御端末が、移動端末の現在の置き状態での表示可能なサブ画面数量Kを確定することは、マルチポイント制御端末が、マルチポイントビデオ会議において移動端末が送信した現在の置き状態での表示可能なサブ画面数量Kを受信することを含み、
    前記移動端末が送信した現在の置き状態での表示可能なサブ画面数量Kは、前記移動端末が、自身の現在の置き状態、自身のスクリーン情報、及び自身のビデオ画像の解像度に基づいて確定した前記置き状態での表示可能なサブ画面数量Kである移動端末画像の自己適応表示方法。
  2. 前記K個のサブ画面を選択して移動端末に送信して表示することは、選択基準に基づいてK個のサブ画面を選択して移動端末に送信して表示することを含む請求項1に記載の自己適応表示方法。
  3. 前記選択基準は、
    音量の大きさ、ビデオ画像の解像度、帯域幅、議長端、ブロードキャストソース、重要度のうちのいずれか1つの基準、又は、
    音量の大きさ、ビデオ画像の解像度、帯域幅、議長端、ブロードキャストソース、重要度のうちの少なくとも2つの基準に基づいて加重方式で組合わせて得た基準、又は、
    前記マルチポイント制御端末が他の会議端末とのインタラクションの方式によりサブ画面を選択すること、を含む請求項に記載の自己適応表示方法。
  4. 前記K個のサブ画面を選択して移動端末に送信することは、
    K個のサブ画面の表示レイアウトを調整し、K個のサブ画面のビデオ画像と調整後の表示レイアウトを移動端末に送信することを含む請求項に記載の自己適応表示方法。
  5. 前記K個のサブ画面の表示レイアウトを調整することは、
    K個のサブ画面における一部のサブ画面の表示レイアウトを調整することを含む請求項に記載の自己適応表示方法。
  6. サブ画面確定モジュールとサブ画面選択モジュールとを含み、
    前記サブ画面確定モジュールは、移動端末の現在の置き状態での表示可能なサブ画面数量Kを確定するように設定され、
    前記サブ画面選択モジュールは、K個のサブ画面を選択して移動端末に送信して表示するように設定され、
    前記サブ画面確定モジュールは更に、移動端末の置き状態が変化する場合、再び移動端末の現在の置き状態での表示可能なサブ画面数量Rを確定するように設定され、
    前記サブ画面選択モジュールは更に、R個のサブ画面を選択して移動端末に送信して表示するように設定され、
    前記R個のサブ画面を選択して移動端末に送信することは、R個のサブ画面の表示レイアウトを調整し、R個のサブ画面のビデオ画像と調整後の表示レイアウトを移動端末に送信することを含み、
    前記サブ画面確定モジュールは、マルチポイントビデオ会議における移動端末の現在の置き状態、移動端末のスクリーン情報、及びN個の会議端末のビデオ画像の解像度に基づいて、前記移動端末の前記置き状態での表示可能なサブ画面数量Kを確定するように設定され、前記Nは、全ての会議端末の数量を示し、
    又は、
    前記サブ画面確定モジュールは、マルチポイントビデオ会議において移動端末が送信した現在の置き状態での表示可能なサブ画面数量Kを受信するように設定され、
    前記移動端末が送信した現在の置き状態での表示可能なサブ画面数量Kは、前記移動端末が、自身の現在の置き状態、自身のスクリーン情報、及び自身のビデオ画像の解像度に基づいて確定した前記置き状態での表示可能なサブ画面数量Kである移動端末画像の自己適応表示装置。
  7. 前記サブ画面選択モジュールは、選択基準に基づいてK個のサブ画面を選択して移動端末に送信して表示するように設定される請求項に記載の自己適応表示装置。
  8. 前記マルチポイント制御端末に請求項1〜のいずれか一項に記載の移動端末画像の自己適応表示方法を実行させるためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2016575926A 2014-06-30 2014-10-24 移動端末画像の自己適応表示方法、装置及びコンピュータ記憶媒体 Active JP6456411B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201410309612.9 2014-06-30
CN201410309612.9A CN105323532B (zh) 2014-06-30 2014-06-30 一种移动终端图像的自适应显示方法和装置
PCT/CN2014/089438 WO2016000359A1 (zh) 2014-06-30 2014-10-24 移动终端图像的自适应显示方法、装置和计算机存储介质

Publications (2)

Publication Number Publication Date
JP2017526239A JP2017526239A (ja) 2017-09-07
JP6456411B2 true JP6456411B2 (ja) 2019-01-23

Family

ID=55018374

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016575926A Active JP6456411B2 (ja) 2014-06-30 2014-10-24 移動端末画像の自己適応表示方法、装置及びコンピュータ記憶媒体

Country Status (6)

Country Link
US (1) US20170257599A1 (ja)
EP (1) EP3163866B1 (ja)
JP (1) JP6456411B2 (ja)
KR (1) KR101905182B1 (ja)
CN (1) CN105323532B (ja)
WO (1) WO2016000359A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015183367A1 (en) 2014-05-30 2015-12-03 Apple Inc. Continuity
CN105472310A (zh) * 2016-01-26 2016-04-06 邦彦技术股份有限公司 一种基于sip协议的视频会议的实现方法及其系统
CN105828130A (zh) * 2016-03-23 2016-08-03 深圳Tcl数字技术有限公司 多终端节目同步预览方法和装置
JP7185997B2 (ja) * 2017-07-18 2022-12-08 関西ペイント株式会社 リチウムイオン電池正極用導電ペースト及びリチウムイオン電池正極用合材ペーストの製造方法
KR101967819B1 (ko) * 2017-11-02 2019-04-10 주식회사 코난테크놀로지 타일 영상 기반 다중 재생을 위한 영상 처리장치 및 그 타일 영상 구성방법
US11328720B2 (en) * 2017-12-26 2022-05-10 Mitsubishi Electric Corporation Inter-occupant conversation device and inter-occupant conversation method
DK201870364A1 (en) 2018-05-07 2019-12-03 Apple Inc. MULTI-PARTICIPANT LIVE COMMUNICATION USER INTERFACE
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
CN110248145A (zh) * 2019-06-25 2019-09-17 武汉冠科智能科技有限公司 一种无纸化会议显示控制方法、装置和存储介质
US11513667B2 (en) 2020-05-11 2022-11-29 Apple Inc. User interface for audio message
US11671697B2 (en) 2021-01-31 2023-06-06 Apple Inc. User interfaces for wide angle video conference
CN113891032A (zh) * 2021-03-17 2022-01-04 广州市保伦电子有限公司 一种自动切换移动终端视频会议终端布局的方法和服务器
US11449188B1 (en) 2021-05-15 2022-09-20 Apple Inc. Shared-content session user interfaces
US11893214B2 (en) 2021-05-15 2024-02-06 Apple Inc. Real-time communication user interface
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
KR20230173148A (ko) * 2021-05-18 2023-12-26 애플 인크. 적응적 화상 회의 사용자 인터페이스들
CN114286152A (zh) * 2021-08-02 2022-04-05 海信视像科技股份有限公司 显示设备、通信终端及投屏画面动态显示方法
US11812135B2 (en) 2021-09-24 2023-11-07 Apple Inc. Wide angle video conference

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3097736B2 (ja) * 1996-11-29 2000-10-10 日本電気株式会社 多画面伝送式多地点テレビ会議システム
US20020093531A1 (en) * 2001-01-17 2002-07-18 John Barile Adaptive display for video conferences
JP3804766B2 (ja) * 2001-03-15 2006-08-02 シャープ株式会社 画像通信装置および携帯型電話機
CN100366080C (zh) * 2003-11-21 2008-01-30 华为技术有限公司 在会议电视系统中实现单画面和多画面切换的方法
US7492386B2 (en) * 2004-11-05 2009-02-17 Sony Ericsson Mobile Communications Ab Display management during a multi-party conversation
JP4504302B2 (ja) * 2005-11-17 2010-07-14 シャープ株式会社 携帯端末装置
CN100583985C (zh) * 2007-04-27 2010-01-20 华为技术有限公司 一种在视频业务中实现画面切换的方法、装置及系统
KR101556135B1 (ko) * 2008-09-01 2015-10-13 엘지전자 주식회사 이동단말기 및 그 제어 방법
JP4815503B2 (ja) * 2009-03-31 2011-11-16 株式会社ディップス 通信システム、提供装置およびプログラム
US8744420B2 (en) * 2010-04-07 2014-06-03 Apple Inc. Establishing a video conference during a phone call
KR101702949B1 (ko) * 2010-04-21 2017-02-06 엘지전자 주식회사 영상표시장치의 동작 방법
CN102685415A (zh) * 2011-03-18 2012-09-19 华为终端有限公司 一种视频画面处理方法、系统、设备及终端
CN102833518B (zh) * 2011-06-13 2015-07-08 华为终端有限公司 一种mcu多画面优化配置的方法及装置
US9369667B2 (en) * 2012-04-11 2016-06-14 Jie Diao Conveying gaze information in virtual conference
JP5921404B2 (ja) * 2012-09-28 2016-05-24 株式会社東芝 情報表示装置、情報表示方法及びプログラム
CN103345390A (zh) * 2013-06-17 2013-10-09 北京金山安全软件有限公司 用于移动终端的图片输出方法、装置和移动终端
CN103763505A (zh) * 2013-12-31 2014-04-30 华为技术有限公司 一种在视频通话中适应屏幕方向切换的方法和装置

Also Published As

Publication number Publication date
KR20170026560A (ko) 2017-03-08
CN105323532A (zh) 2016-02-10
EP3163866B1 (en) 2020-05-06
JP2017526239A (ja) 2017-09-07
KR101905182B1 (ko) 2018-10-08
US20170257599A1 (en) 2017-09-07
EP3163866A4 (en) 2017-07-12
WO2016000359A1 (zh) 2016-01-07
EP3163866A1 (en) 2017-05-03
CN105323532B (zh) 2019-10-15

Similar Documents

Publication Publication Date Title
JP6456411B2 (ja) 移動端末画像の自己適応表示方法、装置及びコンピュータ記憶媒体
JP5508450B2 (ja) マルチストリームかつマルチサイトのテレプレゼンス会議システムのための自動的なビデオレイアウト
US9898241B2 (en) Information sharing system, image processing apparatus, and image processing method
JP6108247B2 (ja) マルチストリーム会議のためのメディアネゴシエーション方法、デバイス、及びシステム
US20170237788A1 (en) Controlling aggregation of shared content from multiple endpoints during an online conference session
US9167013B2 (en) Method and apparatus for prioritizing media within an electronic conference according to utilization settings at respective conference participants
WO2015176569A1 (zh) 用于视频会议呈现的方法、装置和系统
WO2013105443A1 (ja) 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
US10050882B2 (en) Method for adjusting media stream transmission bandwidth and related apparatus
WO2013155202A1 (en) Conveying gaze information in virtual conference
US20130305167A1 (en) Presenting data to electronic meeting participants
WO2013174115A1 (zh) 一种多画面视讯会议中的画面控制方法、设备及系统
US20230229384A1 (en) Audio mixing for teleconferencing
KR101621507B1 (ko) 다면 상영관의 컨텐츠 상영 적합도 판단장치 및 판단방법
JP2020527883A5 (ja)
WO2019052306A1 (zh) 一种视频处理方法、装置和存储介质
US20150002610A1 (en) Generating a video pane layout
KR101658098B1 (ko) 모션의자의 강도정보를 포함한 예매정보를 제공하는 예매 시스템 및 예매정보 제공방법
TW201942713A (zh) 資訊處理裝置、資料處理方法、及程式
CN113596561A (zh) 视频流播放方法、装置、电子设备和计算机可读存储介质
JP6592676B2 (ja) プログラム、情報処理方法、及び通信システム
US20130195184A1 (en) Scalable video coding method and apparatus
US20200186867A1 (en) Generation and transmission of high definition video
JP2016009904A (ja) 画像処理システム、及び画像処理装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181218

R150 Certificate of patent or registration of utility model

Ref document number: 6456411

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250