JP4926464B2 - 通信端末およびその表示方法 - Google Patents

Description

本発明は、携帯電話機等の通信端末およびその表示方法に係り、特に、多地点通信可能な通信端末およびその表示方法に関するものである。

多地点通信としての代表としては、テレビ会議システムがある。テレビ会議システムでは、ＭＣＵ（Multi-point Control Unit）を介して複数の端末が接続する。ＭＣＵは、多数の端末から送られてきた画像データを１つの画面上に分割合成し、音声データとともに、各々の端末に送信することにより、多地点をつないだテレビ会議を実現する。

基本的に、各拠点の画像を１つの画像に分割合成する場合、
（１）１つの画像を等分割する場合（たとえば４分割、９分割）と、
（２）１つ大きな画像領域を取り、残りの領域を等分割に分割して合成する場合と、
がある（たとえば６分割）。

（１）の場合、ＭＣＵで結んでいる拠点からの画像が同じ面積を使って合成される。
（２）の場合、話している拠点を大きな面積を割り当て、残りの拠点からの画像を残りの等分割された領域に割り当てて、合成する。

いずれの場合でも、テレビ会議システムでは、大画面のモニタを用いて行うために、複数の拠点の画像を１つの画像に分割合成しても、個々の拠点を映す画像のサイズは充分な大きさを有し、一人で映っている分には、その人の顔が認識困難になるということはない。テレビ会議システムとしては、たとえば特許文献１，２等に開示されている。

図１（Ａ）〜（Ｅ）は、一般的なテレビ会議システムにおける多値点通信時のパーソナルコンピュータ（ＰＣ）等の端末の表示画面例を示す図である。
図１の例においては、画面１を先に決められた枠（四角形）のウィンドゥに分割する。
たとえば、画面１は１つの大きなウィンドゥ（四角形）２と複数の小さなウィンドゥ（四角形）３−１〜３−５から形成され、話し手を大きなウィンドゥ２に表示する。
この場合、ウィンドゥのサイズ、および分割数は固定的であり、撮像された画像をそのまま表示しているため、撮影の状態に応じて、顔の大きさが変動する。

一般的なＰＣのウィンドゥ制御の場合、マウスでウィンドゥをドラッグすることにより、ウィンドゥのサイズの変更、ウィンドゥの選択を自由に行うことが可能である。

ところで、携帯電話機等の携帯通信端末は、音声通話だけでなく、メール、Webアクセス、ゲーム、カメラ、テレビ電話、メディアプレィア、ラジオ、テレビなど年々高機能化されている。
現行、携帯通信端末でのテレビ電話は、発呼時に、テレビ電話で接続することを選択するものである。

しかしながら、パケット通信への対応が進むことにより、音声通話自体がパケット通信に対応したVoIPが使用され、通話中にカメラを起動し、音声および映像での通話に切り替えたり、また逆に、カメラを停止し、音声通話のみにしたりといった使い方が主要となる。さらに、通話中の相手に、自端末に保存している文書（ex. メール）、住所データ、画像（静止画像、動画像）、音声などを送って、（通話相手にて自動的に再生され、）同時に観たり、Webサイトを同時に観たりすることが可能となる。

このように、高機能化により携帯通信端末がIP化された場合、同時に複数の相手（サーバを含む）と通信を行うことが可能となる。
この場合、一つの端末で複数のスクリーンを取り扱う必要がある。複数のスクリーンを取り扱う方法としては、（ＰＤＡなどで）ページめくり的に取り扱う方法がある。
特開平０６−１４１３１０号公報 特開平０６−１４１３１１号公報

ところで、たとえば携帯IP-TV電話では、画面のサイズが小さいため、複数人で、画像ありの通話を行った場合、一人ひとりの顔の大きさが小さくなる。
PCのウィンドゥのように、ユーザがウィンドゥを動かしたら、サイズを変えたりできるようにするには、画面サイズ、および操作キーに制限があり、困難である。
また、複数人が同程度で話した場合、スクリーンが対応できない。

さらに、音量に応じて、スクリーンサイズを設定した場合、無駄な空間を増加させたり、画面内に全スクリーンを表示しきれなくなったりする問題を有している。
具体的には、全スクリーンの音量が小さい場合、小さいスクリーンが画面上を浮遊することになる。一方、全スクリーンが音量最大の場合、表示スクリーンの合計面積が画面面積を超えるという問題を有する。
これに対して、局所的に合計面積を画面面積に規格化することによって、画面内に収まらせることは可能であるが、次時刻におけるスクリーン位置の再配置（移動）が不連続的になる。

また、位置の算出、スクリーンサイズの算出を、周辺のスクリーンとの相互作用によって基づいて算出した場合、その位置、サイズは、必ずしも、期待した状態に収束するとは限らない。
スクリーンの占有率が小さいまま、停止してしまった状態（局所安定状態）に陥ることがある。この場合、スクリーンが小さいままであるため、表示される内容も小さくなる。先に攪拌処理にて局所安定状態の解消することも考えられる。

しかしながら、局所安定状態では、攪拌処理を施しても、スクリーンの配置、および音量の関係から、全スクリーンの占有率が最も高い配置に移行することができない場合がある。
図２（Ａ），（Ｂ）において、各々スクリーンの音量比は、Ｖ（Ｓ０）：Ｖ（Ｓ１）：Ｖ（Ｓ２）：Ｖ（Ｓ３）＝６：５：４：３である。左図と右図とでは、Ｓ１とＳ３の位置が異なる。この場合に、占有率（Ｒ）は、左図に比べ、右図が小さくなっていることが分かる。このように、配置関係によっては、占有率が最も高い状態に遷移できない場合がある。

本発明の目的は、ユーザが操作することなく、音量の大きさや表示すべき表示画像エリア(スクリーン)の数等の状況に応じて適応的に、最適に表示画像エリア（スクリーン）のサイズ、位置を更新することができ、しかも表示画像エリアの再配置(移動)が連続的になり、異なる形状であっても最適なサイズで配置することが可能であり、局所安定状態を解消することが可能な通信端末およびその表示方法を提供することにある。

本発明の第１の観点は、受信した画像データおよび音声データを再生する通信端末であって、画像を表示する表示手段と、前記表示手段に特定のエリアを抽出されて表示すべき画像を表示する複数の表示エリアを形成可能で、受信音量に基づいて表示すべき画像のサイズを制御する制御手段と、を有し、前記制御手段は、音量順序の判定結果の順番に基づいて各表示エリアの配置位置を判別する。

好適には、適正配置パターンを保持する適正配置記憶手段を有し、前記制御手段は、判別した配置と前記適正配置記憶手段に保持している配置パターンとを比較し、適正な配置であるかを判定する。

好適には、前記制御手段は、適正配置の判定結果に基づき、適正化が必要な場合、２つ以上の表示エリアの配置の交換を行う。

好適には、前記制御手段は、配置交換処理における配置結果（Ｐ'（ｔ））に対して、次時刻（ｔ＋Δｔ）の表示エリアの配置更新処理を行う。

好適には、前記制御手段は、最も音量の高い表示エリアを基準とし、表示エリアの音量順序に基づく配置関係と、適正となる音量順序のスクリーンの配置関係を比較する。

好適には、選択された優先的表示対象とする表示エリアに対して、受信の音量に優先表示用のオフセット分底上げした表示倍率算出用の音量値にて、優先的表示対象となる表示エリアのサイズが他の表示エリアに比べ大きくなるように制御する。

好適には、前記制御手段は、表示倍率算出用の音量は、発声期間後の静音期間において、発声期間が短い場合、減衰を遅くし、発声期間が長い場合、減衰を早くする。

好適には、前記制御手段は、表示エリア毎の発生期間、静音期間を計測し、過去の発生期間、静音期間のパターンに基づいて、静音期間の短い発生期間の長さの統計を取り、前記統計に基づき、次の静音期間が短いと推測した場合、表示倍率算出用の音量の静音期間における減衰速度を遅くする。

本発明の第２の観点は、受信した画像データおよび音声データを再生する通信端末の表示方法であって、特定のエリアを抽出されて表示すべき画像を表示する複数の表示エリアを形成し、受信音量に基づいて表示すべき画像のサイズを制御し、表示エリアの音量順序を判定し、判定結果の順番に基づいて各表示エリアの配置位置を判別し、判別結果に応じた位置に表示すべき画像を含む複数の表示エリアを表示する。

本発明によれば、ユーザが操作することなく、音量の大きさや表示すべき表示画像エリア(スクリーン)の数等の状況に応じて適応的に、最適に表示画像エリア（スクリーン）のサイズ、位置を更新することができ、しかも表示画像エリアの再配置(移動)が連続的になり、異なる形状であっても最適なサイズで配置することが可能となる。
また、局所安定状態を解消することができる。
また、特定の表示エリアに対して、優先的にサイズを大きく設定することが可能となる。
また、表示エリアを選択するためのキー操作回数を低減することが可能となる。
さらに、受信音量の変化に対して、受信音量が大きく増大する場合、表示エリアの拡大は即応する。発声終了後の表示エリアの縮小する速さは、発声期間の長さに反比例する。新たな発声に対して、即応して表示エリアサイズが大きくなる一方で、「あいづち」「へんじ」などの短い発声に対して、サイズの縮小は緩やかに縮小するため、短期的に表示エリアが拡大・縮小を起こす目障りな表示エリアのサイズ変動をなくすことが可能となる。

以下、本発明の実施形態を図面に関連付けて説明する。

図３および図３は、本発明の実施形態に係る携帯通信端末の構成例を示す図であって、図３はエンコード装置を示すブロック図であり、図３はデコード装置を示すブロック図である。

本携帯通信端末１０は、送信元となるエンコード装置２０と、受信側とあるデコード装置３０とを有し、多地点通信可能に構成される。

エンコード装置２０は、符号化した音声データ、画像データを、受信側端末に対する指示情報や画像の天地情報等を付加してパケットとしてネットワークに送信する機能を有する。
音声データおよび画像データに付加される送信元の指示情報は、指示された画像の送信元の識別する情報(たとえ、ＩＰアドレス、MACアドレス）と、受信した画像上の位置を示す位置情報とを含む。
送信元となるエンコード装置２０は、送信元は、画面上、指示した位置にスクリーン(スクリーンについては後で詳述する)が存在する場合、対応する指示情報、スクリーン情報、音量情報を生成し、同通信中の相手に対して送出する機能を有する。

図３のエンコード装置２０は、マイクロフォン等からなる音声入力部２０１、デジタルカメラ等の画像入力部２０２、キー入力等が可能な操作部２０３、音声入力部２０１により入力される音声データを符号化する音声符号化処理部２０４、画像入力部２０２から入力され所定エリアに切り出された画像データを符号化する画像符号化処理部２０５、撮像画像に関連付けた天地情報に基づいて、撮像画像の天地を受信側の表示部の画面（端末画面）の天地と一致するように補正する天地補正部２０６、撮像画像から顔のエリアを検出、抽出する顔エリア検出部２０７、顔エリア検出部２０７にて検出された顔エリアに基づいて使用するスクリーン（表示すべき表示画像エリア）を判別しスクリーン情報を生成するスクリーン判別部２０８、スクリーン判別部２０８の判定に基づいて受信画像から該当するエリアを切り出す切り出し部２０９、音声入力部２０１による入力音量を計測し音量情報を生成する入力音量計測部２１０、操作部２０３の入力情報に基づいて端末を制御する端末制御部２１１、端末制御部２１１の指示に基づいて指示情報や天地情報、スクリーン情報、音量情報等を含む制御情報を生成する制御情報生成部２１２、画像・映像を記憶する記憶部２１３、符号化された音声データおよび画像データ、制御情報、端末制御部２１１の指示に基づいて記憶部２１３から読み出された画像・映像データを送信パケットとして生成する送信パケット生成部２１４、およびネットワークと無線通信可能で生成された送信パケットをネットワークを介して通信相手の端末やサーバに送信するネットワークインタフェース（Ｉ／Ｆ）２１５を有する。

デコード装置３０は、通信相手（送信元）のエンコード装置２０から送信されネットワークを介して受信した音声データ、画像データを再生する機能を有する。
デコード装置３０は、たとえば多地点通信を行っている場合に、受信画像の制御情報に基づいて特定エリアである顔を含む画像を、使用するスクリーン（サイズが制御された表示エリア）を選択して表示し、音声を発する機能を有する。
デコード装置３０は、このスクリーンの表示に際し、デッドゾーンをなくした円形（楕円形を含む概念である）ウィンドゥにて分割する機能を有する。
円形(楕円形)ウィンドウに分割するように構成したのは、以下の理由による。
一般的に、画面の分割は、長方形で行っていた。人間の顔は基本的に楕円形であり、長方形の四隅はデットゾーンとなる。このデッドゾーンが、顔を表示するエリアを結果的に狭く（小さく）している。
よって、本実施形態においては、このデッドゾーンをなくした円形（楕円形）ウィンドゥにて分割するように構成している。
また、デコード装置３０は、マルチスクリーンを表示する機能を有し、スクリーン中心間を結ぶ線分、基準形状の厚さ、音声の大きさに基づいて、スクリーンの表示倍率を算出し、この表示倍率に基づいてスクリーンの移動、新規生成を制御することにより、画面上に複数のスクリーンを最適に形成する機能を有する。
また、デコード装置３０は、スクリーン情報に基づいて画面上の表示エリアの配置パターンを解析し安定化するパターンの配置交換を行う機能を有する。
具体的な処理については、後で図面に関連付けて詳述する。

図３のデコード装置３０は、ネットワークと無線通信可能で送信元から送信された音声データ、画像(映像)データ、制御情報や指示情報、スクリーン情報、音量情報等を含むパケットを受信するネットワークインタフェース（Ｉ／Ｆ）３０１、キー入力等が可能な操作部３０２、ネットワークインタフェース３０１で受信されたパケットを解析し、音声データ、画像データ、送信元アドレス、制御情報(天地情報や指示情報等)を抽出する受信パケット解析部３０３、受信パケット解析部３０３により抽出された音声データを復号する音声復号処理部３０４、受信パケット解析部３０３により抽出された映像データを復号する映像復号処理部３０５、映像復号処理部３０５により復号された映像データ、送信元アドレス、制御情報、スクリーン情報、サイズ情報、天地情報に基づいて表示すべきスクリーン(表示ウィンドウ)のサイズや表示形態を制御する表示画像制御部３０６、音声復号処理部３０４により復号された音声の音量を修正する音量修正部３０７、音量修正部３０７で修正された音量で発音するスピーカ等の音声出力部３０８、表示画像制御部３０６によりサイズや表示形態が制御された画像を補正する画像補正部３０９、画像補正部３０９を介した画像を表示するＬＣＤ等の表示部（画像出力部）３１０、および操作部３０２からの入力情報に基づいて表示画像制御部３０６に制御情報(天地情報)を与える自端末制御部３１１を有する。

なお、エンコード装置２０とデコード装置３０は、操作部２０３と３０２、ネットワークインタフェース２１５と３０１、端末制御部２１１と自端末制御部３１１は共用することが可能である。

以下に、本実施形態の特徴部分である表示画像制御部３０６のより具体的な構成および機能、並びにスクリーンの具体的な構成や表示形態例について順を追って説明する。

図３の表示画像制御部３０６は、受信パケット解析部３０３により供給される制御情報に基づいてスクリーン情報、サイズ情報、天地情報、および指示情報を抽出する制御情報解析部３０６１、スクリーン情報に基づいて映像復号処理部３０５で復号された映像に対してマスキングを行うマスキング処理部３０６２、サイズ情報、スクリーン情報に基づいて表示すべきスクリーン(表示画像エリア)の表示倍率を算出し、画面上の表示エリアの配置パターンを解析し安定化するパターンの配置交換を行う表示倍率算出判定部３０６３、表示倍率算出判定部３０６３で算出された表示倍率に従ってマスキング処理後の画像を縮小・拡大する縮小・拡大処理部３０６４、表示倍率算出判定部３０６３で算出された表示倍率および天地情報に従って表示位置を算出する表示位置算出部３０６５、および表示位置算出部３０６５にて得られた表示部３１０上の位置に縮小・拡大処理部３０６４にて得られた画像をマッピングするマッピング処理部３０６６を有する。

本実施形態の表示画像制御部３０６は、１つ以上のスクリーンが局所領域にて継続的に動き続ける状態にあるか否かを判定する振動状態判定機能を有する。
この振動状態判定機能は、一定期間（ｎ）において、スクリーン個数の変動がなく、各スクリーンの音声の大きさの変動がなく、さらに、スクリーンの位置の変動があり、変動が閾値(Pthresh0)以下であり、スクリーンの表示倍率の変動が閾値（Rthresh0）以下である場合、振動状態にあると判定し、振動状態中、前記期間中の表示倍率の二乗総和値（R)が最も大きい状態の配置に固定する。

また、本実施形態の表示画像制御部３０６は、スクリーンの安定状態にあるか否かを判定する安定状態判定機能を有する。
この安定状態判定機能は、一定期間（ｍ）において、スクリーン個数の変動がなく、各スクリーンの音声の大きさの変動がなく、さらに、スクリーンの位置の変動が閾値（Pthresh1）以下であり、スクリーンの表示倍率の変動が閾値（Rthresh1）以下である場合、安定状態にあると判定する。
また、安定状態判定機能は、一定期間において、スクリーン個数の変動がなく、各スクリーンの音声の大きさの変動がなく、さらに、スクリーンの位置の変動が閾値（Pthresh1）以下であり、スクリーンの表示倍率の二乗総和比が閾値（Rthresh2）以下である場合、局所安定状態にあると判定する。

また、本実施形態の表示画像制御部３０６は、スクリーンの安定状態判定機能にて、安定と判断された場合に、スクリーンの位置配置の再配置を促す攪拌処理機能を有する。
この攪拌処置機能は、画面上に仮の中心を配し、各中心における表示倍率の内、先に選択しておらず、最も小さい値を取得する位置を攪拌用のスクリーンの中心とし、一定期間、攪拌用のスクリーンを生成、更新し、消滅することによって、攪拌を行う。
攪拌処理の実行回数(S)が閾値（Sthresh）を越える場合、安定状態にあると判断し、攪拌処理を停止する。

本実施形態の表示画像制御部３０６によりサイズおよび表示形態が制御されるスクリーンは、１つの画面上に複数のスクリーンを表示するマルチスクリーンとして表示される。
以下に、本実施形態の表示画像制御部３０６の表示倍率算出判定部３０６３、表示位置算出部３０６５の処理を中心にしてマルチスクリーンの表示制御について説明する。

本実施形態の表示倍率算出判定部３０６３において、スクリーンは、スクリーンの表示位置を示す中心位置座標(P(i))、スクリーンの形状を示す基準形状(Unit(i))、スクリーンに対応付けられた音声の大きい(V(i))、スクリーンを画面上に表示する際の表示倍率(R(i))とを有し、表示倍率(R(i))は、周囲のスクリーンの中心位置座標(P(j))と結ぶ線分(L(i,j))と、その線分上の基準形状の厚さ(Lm(i,j),Lm(j,i))、および、音声の大きさ(V(i),V(j))に基づいて算出しされた仮表示倍率(R(i,j))の内、最も小さい値をする。
表示倍率算出判定部３０６３において、スクリーン中心から画面境界に垂直に接した点に、音声の大きさ(V(k)=0)、厚さ(Lm(k,i)=0)を設定し、表示倍率(R(i,k))を算出する。
また、スクリーンは、表示倍率(R(i))を最も大きくする位置に移動する。
また、スクリーンは、表示倍率(R(k))の最も大きい位置に、新規スクリーンの中心を生成する。
また、基準形状は、面積を等しくする。
さらにまた、基準形状にて形成したスクリーン間に分離線を引き、前記分離線にて分離されたエリアを新たなスクリーンとする。

次に、本実施形態に係る表示画像制御部３０６によりサイズおよび表示形態が制御されるスクリーンの表示倍率の算出、新規スクリーンの生成位置の算出、スクリーンの移動位置の算出等についてより具体的に説明する。

図５に示すように、各スクリーン４０は、基準形状（Unit）を有する。表示部３１０の画面上へのスクリーン４０は、基準形状（Unit）を表示倍率（R)に従って、拡大・縮小して表示する。

表示倍率（R)の算出：
表示倍率算出判定部３０６３は、スクリーンiとスクリーンjとの中心間の距離（L(i,j))、各スクリーンの中心から前記方向への基準形状（Unit）における厚さ（Lm(i,j)、Lm(j,i))を算出し、および、各スクリーンに表示する内容における受信した音声の大きさ（V(i),V(j))に基づいて、スクリーンiにおけるスクリーンjからの算出される表示倍率（R(i,j))を以下の通りに算出する。

周囲に存在するスクリーン間の表示倍率を算出し、次式のように、その表示倍率の内、最も小さい値を実際の表示倍率（R(i))とする。

新規のスクリーンの生成位置の算出：
表示倍率算出判定部３０６３は、画面上に仮の中心を配し、各中心において、表示倍率（Rmin)を算出する。各表示倍率（R)の内、最も大きい値を取る位置を新規のスクリーンの生成の中心位置とする。

この条件を満たす中心(P(k))を新規スクリーンの中心位置とする。

スクリーンの移動位置の算出：
各スクリーンは、現在(t)の位置から一定距離内(集合I)の各位置において、表示倍率（R)を算出し、表示倍率の内、最も大きな値を取る位置を次時刻（t+Δt)における中心位置とする。

この条件を満たす中心（P(t+Δt))に移動する。

スクリーン位置は、時間経過に伴い、画面上を移動していく。このため、新規のスクリーンの生成においては、画面上の空き位置全てに対して演算を行う必要はない。つまり、画面上の何点かに対して、新規生成位置の判定を行い、その結果により位置を配置したとしても、時間経過とともに、表示倍率がもっとも大きい位置に移動していく。これにより、生成における演算負荷を低減することが可能となる。

随時、スクリーンの位置関係は変動していくため、表示倍率（R(*))算出における基準形状の厚さ（Lm(*))は、その時の方向に対して算出する必要がある。
この厚さ算出に関しては、（複雑な形状に対して）中心から対象方向へデジタル直線を引くことにより、算出することが可能となる。ただし、これは演算負荷の増加となる。これに対しては、各基準形状に対して、各角度に対する厚さを前もって算出したテーブルを参照することにより、表示倍率演算時の演算負荷を低減することが可能となる。

画面の四方の壁処理：
各スクリーン４０は、四方の壁との間に以下の演算規則に従って、表示倍率（R)を算出する。
図６に示すように、スクリーンの中心から壁に垂直に落とした点を算出上の壁の中心とし、中心間の線分（L(i,k))、基準形状（Unit）における厚さ(Lm(i,k),Lm(k,i))と、およびスクリーンの受信した音声の大きさ（V(i),V(k))を算出する。この時、壁における、音声の大きさは(V(k)=0)、基準形状の厚さ(Lm(k,i)=0)として、前述の表示倍率(R)の算出と同様に算出を行う。
各々のスクリーン４０において、表示倍率（R(i))を算出する場合、周囲のスクリーンとの表示倍率(R(i,j)と同様に、壁との表示倍率(R(i,k))を算出し、この内、最も小さい値を実際に表示する際の表示倍率（R(i))とする

基準形状を楕円形とするスクリーン(S(0),S(1))において、音声の大きさ（V(0),V(1))の比を変化させた例を図７（Ａ）〜（Ｃ）に示す。
図７（Ａ）〜（Ｃ）において、左から、音声の大きさの比(V(0)：V(1))が、１：１、２：１、３：１の場合である。このように、音量に大きさに応じて、適応的にスクリーンサイズを変動することが可能となる。

基準形状を楕円形とするスクリーン（S(0),S(1),S(2),S(3))において、画面上に形成するスクリーン数を増減した例を図８（Ａ）〜（Ｃ）に示す。
図８（Ａ）〜（Ｃ）において、左から、スクリーン数＝２、３、４の場合である。
このように、スクリーン数の数に応じて、適応的にスクリーンサイズを変動させ、画面内に全てのスクリーンを形成することが可能となる。

基準形状を楕円形とするスクリーン（S(0),S(1),S(2),S(3))において、画面上に形成するスクリーン数を増減しつつ、そのうち１つのスクリーンの音声の大きさを他のスクリーンの音声の大きさの倍にした例を図９（Ａ）〜（Ｃ）に示す。
図９（Ａ）〜（Ｃ）において、左から、スクリーン数＝２、３、４の場合であり、音声の大きさの比(V(0)：V(1))が２：１、比(V(0)：V(1)：V(2))が２：１：１、比(V(0)：V(1)：V(2)：V(3))が２：１：１：１の場合である。
このように、スクリーン数の数に応じて、適応的にスクリーンサイズを変動させ、画面内に全てのスクリーンを形成することが可能となる。これは、スクリーン(S(0))に映っている人が発言をしている例であり、このように、一人が発言している場合、その人のスクリーンのみが、その大きさに応じて適応的にスクリーンサイズを拡大・縮小することが可能となる。

基準形状を楕円形とするスクリーンS(0),S(1),S(2),S(3))において、画面上に形成するスクリーン数を増減しつつ、そのうち１つのスクリーンの音声の大きさを他のスクリーンの音声の大きさを１／２倍にした例を図１０（Ａ）〜（Ｃ）に示す。
図１０（Ａ）〜（Ｃ）において、左から、スクリーン数＝２、３、４の場合であり、音声の大きさの比(V(0)：V(1))が２：１、比(V(0)：V(1)：V(2))が２：１：２、比(V(0)：V(1)：V(2)：V(3))が２：１：２：２の場合である。
このように、スクリーン数の数に応じて、適応的にスクリーンサイズを変動させ、画面内に全てのスクリーンを形成することが可能となる。これは、スクリーン(S(0))に映っている人以外が発言をしている例であり、このように、複数の人が発言している場合でも、状況に合わせて、適応的にスクリーンサイズを拡大・縮小することが可能となる。

基準形状が、楕円形(S(oval))、円形(S(circle))、長方形(S(rectangle))が混在している場合（音声の大きさは等しい）の例を図１１（Ａ）〜（Ｄ）に示す。
図１１（Ａ）〜（Ｄ）において、左から、長方形と楕円形、円形と楕円形、円形と長方形、下方が円形と楕円形と長方形の場合を示している。
基準形状は、形状が異なっても、面積を同等に設定することにより、各スクリーンは、適応的にスクリーンサイズを調整し、音声の大きさが等しい場合、視覚的に各々のスクリーンサイズが等しく表示することが可能となる。

さらに、本実施形態においては、スクリーン外のデッドゾーンを低減することから、図１２（Ａ）〜（Ｃ）に示すように、各スクリーンの間にエリアの分離線（太線）を形成し、前記分離線に基づいたエリアは各スクリーンの表示エリアとする。これにより、スクリーン数の増減と、各スクリーンの音声の大きさの増減に適応しつつ、画面を最大限に分割利用することが可能となる。
図１２（Ａ）〜（Ｃ）の例は、音声の大きさの比(V(0)：V(1))が２：１、比(V(0)：V(1)：V(2))が２：１：１、比(V(0)：V(1)：V(2)：V(3))が２：１：１：１の場合である。

次に、スクリーン情報に基づいて画面上の表示エリアの配置パターンを解析し安定化するパターンの配置交換処理について、図１３〜図２６に関連つけて説明する

図１３は、本実施形態の表示倍率算出判定部３０６３における配置交換処理機能部の構成例を示すブロック図である。

図１３の配置交換処理機能部５０は、スクリーン配置更新処理部５１、配置判別部５２、音量順序判定部５３、適正配置記憶部５４、適正配置判定部５５、配置交換処理部５６を有する。

スクリーン配置更新処理部５１は、スクリーン（Ｓｎ）の配置情報Ｐ（ｔ）、受信音量Ｖ（ｔ）に基づいて、次時刻（ｔ＋Δｔ）における配置情報（Ｐ（ｔ＋Δｔ））を生成する。
配置判別部５２は、音量順序判定部５３による順番に基づいて、スクリーンの配置を判別する。
適正配置判定部５５は、配置判別部５２にて判別された配置と適正配置記憶部５４に保持している配置パターンとを比較し、適正な配置であるかを判定する。
適正配置判定部５５の判定結果に基づき、適正化が必要な場合、配置交換処理部５６にて、スクリーンの配置交換を行う。
スクリーン配置更新処理部５１にて、交換された配置（Ｐ'（ｔ））に対して、スクリーンの配置更新処理が行われる。適正化が不必要な場合は、配置交換処理部５６では何も行われず、スクリーン配置更新処理部５１では、配置情報Ｐ'（ｔ）（＝Ｐ（ｔ））に基づいて次時刻（ｔ＋Δｔ）の配置情報（Ｐ（ｔ＋Δｔ））を生成する。

適正配置判定部５５は、最も音量の高いスクリーンを基準とし、スクリーンの音量順序に基づく配置関係と、適正となる音量順序のスクリーンの配置関係を比較する。

また、配置交換処理機能部５０においては、ユーザが選択した優先的表示対象とするスクリーンに対して、受信の音量（Ｖ_receive）に優先表示用のオフセット（Ｖ_offset）分底上げした表示倍率算出用の音量値（Ｖ_display）にて、優先的表示対象となるスクリーンのサイズが他のスクリーンに比べ大きくなるようにする（再生音量とは関係なく）。
また、面上のスクリーン配置に、端末のキー配置を投影し、キー操作（たとえば押下）に対して画面上に投影した前記押下されたキーの範囲に存在するスクリーンを選択する。
さらに、表示倍率算出用の音量（Ｖ_display）は、発声期間（Ｔ_speak）後の静音期間（Ｔ_silent）において、発声期間（Ｔ_speak）が短い場合、減衰を遅くし、発声期間（Ｔ_speak）が長い場合、減衰を早くする。
スクリーン毎の発生期間、静音期間を計測し、過去の発生期間、静音期間のパターンに基づいて、静音期間の短い発生期間の長さの統計を取り、前記統計に基づき、次の静音期間が短いと推測した場合、表示倍率算出用の音量（Ｖ_display）の静音期間における
減衰速度を遅くする。

図１４はスクリーンの受信音量の基本パターンを示す図である。
図１４に示すように、スクリーンの受信音量（Ｖ_receive）の関係が、Ｖ（Ｓ０）≧Ｖ（Ｓ１）≧Ｖ（Ｓ２）≧Ｖ（Ｓ３）の場合のスクリーンの位置配置の関係を設定する。

図１５は、スクリーンの受信音量の大小関係を把握する処理を説明するための図である。
スクリーンの受信音量の大小関係を把握し、受信音量が最も大きいスクリーンからＳ０、Ｓ１、Ｓ２、Ｓ３とする。Ｓ０に対するＳ１、Ｓ２、Ｓ３の配置関係を基本パターンと比較する。基本パターン（図１４）と時間ｔとの位置関係を比較する。
基本パターンでは、Ｓ０から観てＳ１〜Ｓ３の配置順番は、Ｓ０の隣からＳ２→Ｓ１→Ｓ３となる。
これに対して、時間ｔの配置は、Ｓ０の隣からＳ２→Ｓ３→Ｓ１となる。Ｓ３とＳ１の位置関係が反転していることになる。このため時間ｔ＋Δｔにて、Ｓ３とＳ１の配置を交換する。最終的にスクリーンの相互の作用により、自動的に占有率が最も高い配置に移行する（参照図３）（時間ｔ＋nΔｔ）。

図１６は、受信の音量（Ｖ_receive）−再生音量（Ｖ_output）の変換グラフを示す図である。
図１７は、受信の音量（Ｖ_receive）−表示倍率算出用の音量値（Ｖ_display）の変換グラフを示す図である。

特定のスクリーンを他のスクリーンと比べて優先的に大きくなるようにしたい場合がある。このような場合に対して、表示倍率（Ｒ）の算出の基となるパラメータであるスクリーンの音声の大きさ（Ｖ）にオフセットを加える。
通常、スクリーンの音声の大きさ（Ｖ）は、受信した音声の大きさ（Ｖ_receive）を用いる。
これに対して、表示倍率（Ｒ）の算出用の音声の大きさ（Ｖ_display）を設定し、受信の音量（Ｖ_receive）−表示倍率算出用の音量値（Ｖ_display）変換グラフに従い、受信した音声の大きさ(Ｖ_receive）を表示倍率用の音量値（Ｖ_display）に変換することにより、画面上のスクリーンの表示サイズを優先的に大きくなるようにする。Ｖ_receiveからＶ_displayの変換において、オフセット（Ｖ_offset）分底上げしている（図１７）。
なお、再生の音量（Ｖ_output）は、最小（０）−最大音量（Ｖ_max）の区間において、比例関係にあり、端末音量設定基づいて、再生音量（Ｖ_output）の最大値（Ｖ_max）を可変可能であるものとする（図１６）。また、スクリーン毎に設定することも可能とする。

通常の表示倍率の算出式を次のようにする。

この場合、優先的にサイズを大きく設定した（オフセットを加えた）スクリーンでは、次式とし、関数ｇ（・）にて、オフセット（Ｖ_offset）を加えるものとする。

なお、再生音量（Ｖ_output）は通常と変わらないもの（Ｖ_output＝Ｖ_receive）とする。

図１８および図１９は、通常時とオフセットありの場合の受信音量比に応じたスクリーンの設定状態を示す図である。

画面上に２つのスクリーン（Ｓ０、Ｓ１）を設定する。スクリーン（Ｓ０、Ｓ１）の受信音量の比Ｖ（Ｓ０）：Ｖ（Ｓ１）は、Ｖ_０：Ｖ_１（図１８）、Ｖ_１：Ｖ_１（図１９）とする。この場合に、スクリーン（Ｓ０）のサイズが優先的に大きくなるように設定している（オフセットを加えている）場合としていない場合におけるサイズの違いを示した図である。
双方の図とも、オフセットを加えている場合のスクリーン（右Ｓ０）の方が、通常のスクリーン（左Ｓ０）に比べ、明らかに大きくなっていることが分かる。

図２０（Ａ）〜（Ｃ）は、画面のスクリーン配置とキー配置との関係を示し図である。

画面上の個々のスクリーンを選択する場合、キー配列５０を画面上に投影し、任意のキーを押下した場合、キー番号に相当するエリアに含まれるスクリーン番号を選択したものとして、スクリーンの外枠が色が選択色に変化する。外枠の太さが太くなる。スクリーンのサイズが微小ながら拡大・縮小を繰り返す。

各スクリーンにおいて、表１に示すように、どのエリアに多く含まれている割合が大きいかを算出し、大きい順に最大エリア、第２エリア、第３エリア、・・・と割り振る。
スクリーン０は、エリア２，３，５，６に含まれる。この内最も占める割合の大きいエリアは、エリア３であり、最大エリアをエリア３とする。２番目に占める割合の大きいエリアは、エリア６であり、第２エリアをエリア６とする。スクリーン３は、エリア７にのみ含まれる。このため、最大エリアはエリア７となり、第２、第３エリアはない。

この表１に基づいて、キー番号に対するスクリーン番号を割当てる。最大エリア、第２エリア、第３エリアの順に空いているキー番号にスクリーン番号を割当てる。なお、第ｎで既に割当てられた場合は、第ｎ＋１では割当てられないものとする。第１の割当てで、１つのエリアに複数のスクリーンがある場合、そのまま割当てる。第２の割当て、第３の割当てでは、面積的にエリア内の占有率の大きい方に割当てるものとする。ただし、占有率の差が小さい場合は、双方に割当てるものとする。

前記表１の最大エリアとスクリーン番号に基づいて、キー番号に対する第１の割当てを埋める。スクリーン０に対する最大エリアはエリア３である。このため、キー番号３に対して、第１の割当てにスクリーン０を埋める。割り振りのないキー番に対する第１の割当てはそのままにし、第２の割当てについて埋める。前記表の第２エリアとスクリーン番号に基づき、キー番号の内、第１の割当てがないキー番号について、第２エリアに該当するスクリーン番号を記入する。スクリーン２、４が第２エリアとしてエリア１となっている。この際、エリア１において、面積の占有率の高い方であるスクリーン２を選択し、第２の割当てとして記入する。同様に第３の割当てについても同様に行う。
上記、画面のスクリーンの場合、下記の表２の通りに割当てを割り振ることが可能となる（キー番号−割当て）。
これにより、容易にスクリーンを選択することが可能となる。

さらに、図２１に示すように、選択操作時に各々のスクリーン上に対応するキー番号を表記することにより、より操作性を向上することが可能となる。

図２２および図２３は、第１のケースの場合の受信した音声の音量（Ｖ_receive）と表示倍率算出用の音量（Ｖ_display）の関係を示す図である。
図２４および図２５は、第２のケースの場合の受信した音声の音量（Ｖ_receive）と表示倍率算出用の音量（Ｖ_display）の関係を示す図である。
図において、直線は受信した音声の音量（Ｖ_receive）、破線は表示倍率算出用の音量（Ｖ_display）を示している。横軸は時間軸、縦軸は音量を現している。なお、Ｔ_speakは話している時間、Ｔ_silentは話していない時間である。音量にはいくつかの閾値Ｖ_level0,1,2を設定する。

ケース１は、「あいづち」などの短い音声の場合を示し、ケース２は、会話中などの長い音声の場合を示している。
ケース１の場合において、時間ｔ_１にて、「はい」と音声があり、受信音量（Ｖ_receive）が閾値（Ｖ_levelj）を越え、Ｖ_２となった場合、音声入力に大きな変化があったと判断し、表示倍率算出用の音量（Ｖ_display）は、直値（Ｖ_２）を取る。期間[ｔ_１,ｔ_２]では、閾値（Ｖ_levelj）をまたがない。このとき、この期間［ｔ_１,ｔ_２]では、表示倍率用の音量（Ｖ_display）は、この期間における受信音量（Ｖ_receive）の平均値を取る。
受信音量（Ｖ_receive）が下限閾値（Ｖ_level3）をまたいだ場合、音声の終了と判断し、表示倍率用の音量（Ｖ_display）を減衰する。このとき、またいだ閾値（Ｖ_level3）を下限とする音量レベル（[Ｖ_level3，Ｖ_level4）の期間（Ｔ_speak）に依存して、減衰する速度を決定する。
発声期間（Ｔ_speak）が短い場合、減衰を遅くし、発声期間（_Tspeak）が長い場合、減衰を早くする。ケース１では、期間（Ｔ_speak）が短いので、減衰する速度を遅くする。静音期間（Ｔ_silent1）において、受信音量（Ｖ_receive）はＶ_１と音量が小さくなっている。これに対して、表示倍率算出用の音量（Ｖ_display）は、時間ｔ_３直前であっても、Ｖ_level2と比較的高い値になっている。時間ｔ_３にて、「はい」と音声があり、受信音量（Ｖ_receive）が閾値（Ｖ_level3）を越えたため、先と同様に、音声入力に大きな変化があったと判断し、表示倍率算出用の音量（Ｖ_display）は、直値（Ｖ_２）を取る。

ケース２の場合において、時間ｔ_１にて、「今日は・・・」と音声があり、ケース１と同様に、受信音量（Ｖ_receive）が閾値（Ｖ_level1,2,3）を越え、Ｖ_２となったため、音声入力に大きな変化があったと判断し、表示倍率算出用の音量（Ｖ_display）は、直値（Ｖ_２）を取る。閾値（Ｖ_levelj）をまたがない期間［ｔ_１，ｔ_２］では、表示倍率用の音量（Ｖ_display）は、この期間における受信音量の平均値（mean（Ｖ_receive））を取る。時間ｔ２で、受信音量（Ｖ_receive）が下限閾値（Ｖ_level3）をまたいだ場合、音声の終了と判断し、発声期間（Ｔ_speak）に依存して、減衰速度を決定する。ケース２では、発声期間（Ｔ_speak）が長いため、減衰を早くする。
「あいづち」「へんじ」などの短い音声に対して、発声の終了に対して、スクリーンの変動をゆるやかに縮小するようにすることにより、スクリーンのサイズ変動における、視覚上支障を低減することが可能となる。

図２６は、図２２〜図２５に関連付けた処理の流れを示す図である。

この場合、３つの状態（state１、state２、state３）を有する。
状態（state１）は立上り状態であり、上限の閾値（Ｖ_levelj）をまたいで、受信音量が増大した場合である。
状態（state２）は立下り状態、および立下り期間であり、下限の閾値（Ｖ_levelj-1）をまたいで、受信音量が低減した場合、および、状態（state２）にあって、表示倍率算出用の音量（Ｖ_display）が受信音量（Ｖ_receive）より大きい期間の場合である。
状態（state３）は安定期間であり、立上り状態後、上下限の閾値（Ｖ_levelj、Ｖ_levelj-1）をまたがない期間、および状態（state２）で、表示倍率算出用の音量（Ｖ_display）が受信音量を下回った後の期間の場合である。
各々の期間における表示倍率算出用の音量（Ｖ_display）の算出式を下記に示す。なお、各状態の状態遷移を図２６のフローチャートに示す。

各スクリーン毎に、発声期間、静音期間を計測し、過去の発声期間、静音期間のパターンに基づいて、減衰速度を変化させる。
具体的には、長さに応じて複数の発声期間を観る。発声期間に対して、その後の静音期間を計測し、各々の発声期間における静音期間の平均値を算出する。任意の発声期間があった場合、その後の静音期間における表示倍率算出用の音量（Ｖdisplay）の減衰式におけるパラメータａに対して、平均の静音期間が短い場合、減衰速度を遅くなるように、パラメータａを小さくする。
これにより、立て続けに話を続けていく人（スクリーン）の場合、静音期間にて即座に減衰せず、次の発声期間にあまり減衰せずに繋がるようにすることが可能となる。

以上説明したように、本実施形態によれば、送信元となるエンコード装置２０は、送信元は、画面上、指示した位置にスクリーンが存在する場合、対応する指示情報、スクリーン情報、音量情報を生成し、同通信中の相手に対して送出する機能を有し、デコード装置３０は、マルチスクリーンを表示する機能を有し、スクリーン中心間を結ぶ線分、基準形状の厚さ、音声の大きさに基づいて、スクリーンの表示倍率を算出し、この表示倍率に基づいてスクリーンの移動、新規生成を制御することにより、画面上に複数のスクリーンを最適に形成し、画面上の表示エリアの配置パターンを解析し安定化するパターンの配置交換を行う機能を有することから、スクリーンのサイズが、音量の大きさ、およびスクリーン数に応じて、適応的にサイズを変動させることができる。
また、スクリーンの動きが連続的になり、異なる形状であっても、最適なサイズに配置することが可能となる利点がある。
また、局所安定状態を解消する。
さらに、特定スクリーンに対して、優先的にサイズを大きく設定することが可能となる。
さらにまた、スクリーン選択するキー押下回数を低減することが可能となる。
また、受信音量の変化に対して、受信音量が大きく増大する場合、スクリーンの拡大は即応する。発声終了後のスクリーンの縮小する速さは、発声期間の長さに反比例する。新たな発声に対して、即応してスクリーンサイズが大きくなる一方で、「あいづち」「へんじ」などの短い発声に対して、サイズの縮小は緩やかに縮小するため、短期的にスクリーンが拡大・縮小を起こす目障りなスクリーンのサイズ変動をなくすことが可能となる。

一般的なテレビ会議システムにおける多値点通信時のパーソナルコンピュータ（ＰＣ）等の端末の表示画面例を示す図である マルチスクリーン画像の局所安定状態における課題を説明するための図である。 本発明の実施形態に係る携帯通信端末の構成例を示す図であって、エンコード装置を示すブロック図である。 本発明の実施形態に係る携帯通信端末の構成例を示す図であって、デコード装置を示すブロック図である。 表示倍率の算出処理を説明するための図である。 画面四方の壁処理を説明するための図である。 基準形状を楕円形とするスクリーン(S(0),S(1))において、音声の大きさ（V(0),V(1))の比を変化させた例を示す図である。 基準形状を楕円形とするスクリーン（S(0),S(1),S(2),S(3))において、画面上に形成するスクリーン数を増減した例を示す図である。 基準形状を楕円形とするスクリーン（S(0),S(1),S(2),S(3))において、画面上に形成するスクリーン数を増減しつつ、そのうち１つのスクリーンの音声の大きさを他のスクリーンの音声の大きさの倍にした例を示す図である。 基準形状を楕円形とするスクリーンS(0),S(1),S(2),S(3))において、画面上に形成するスクリーン数を増減しつつ、そのうち１つのスクリーンの音声の大きさを他のスクリーンの音声の大きさを１／２倍にした例を示す図である。 基準形状が、楕円形(S(oval))、円形(S(circle))、長方形(S(rectangle))が混在している場合（音声の大きさは等しい）の例を示す図である。 各スクリーンの間にエリアの分離線（太線）を形成し、前記分離線に基づいたエリアは各スクリーンの表示エリアとする例を示す図である。 本実施形態の表示倍率算出判定部３０６３における配置交換処理機能部の構成例を示すブロック図である。 スクリーンの受信音量の基本パターンを示す図である。 スクリーンの受信音量の大小関係を把握する処理を説明するための図である。 受信の音量（Ｖ_receive）−再生音量（Ｖ_output）の変換グラフを示す図である。 受信の音量（Ｖ_receive）−表示倍率算出用の音量値（Ｖ_display）の変換グラフを示す図である。 通常時とオフセットありの場合の受信音量比に応じたスクリーンの設定状態を示す図である。 通常時とオフセットありの場合の受信音量比に応じたスクリーンの設定状態を示す図である。 画面のスクリーン配置とキー配置との関係を示し図である。 選択操作時に各々のスクリーン上に対応するキー番号を表記する例を示す図である。 第１のケースの場合の受信した音声の音量（Ｖ_receive）と表示倍率算出用の音量（Ｖ_display）の関係を示す図である。 第１のケースの場合の受信した音声の音量（Ｖ_receive）と表示倍率算出用の音量（Ｖ_display）の関係を示す図である。 第２のケースの場合の受信した音声の音量（Ｖ_receive）と表示倍率算出用の音量（Ｖ_display）の関係を示す図である。 第２のケースの場合の受信した音声の音量（Ｖ_receive）と表示倍率算出用の音量（Ｖ_display）の関係を示す図である。 図２２〜図２５に関連付けた処理の流れを示すフローチャートである。

符号の説明

１０・・・携帯通信端末、２０・・・エンコード装置、２０１・・・音声入力部、２０２・・・画像入力部、２０３・・・操作部、２０４・・・音声符号化処理部、２０５・・・画像符号化処理部、２０６・・・天地補正部、２０７・・・顔エリア検出部、２０８・・・スクリーン判定部、２０９・・・切り出し処理部、２１０・・・入力音量計測部、２１１・・・端末制御部、２１２・・・制御情報生成部、２１３・・・記憶部、２１４・・・送信パケット生成部、２１５・・・ネットワークインタフェース（Ｉ／Ｆ）、３０・・・デコード装置、３０１・・・ネットワークインタフェース（Ｉ／Ｆ）、３０２・・・操作部、３０３・・・受信パケット解析部、３０４・・・音声復号処理部、３０５・・・映像復号処理部、３０６・・・表示画像制御部、３０７・・・音量修正部、３０８・・音声出力部、３０９・・・画像補正部、３１０・・・表示部（画像出力部）、３１１・・・自端末制御部、３０６１・・・制御情報解析部、３０６２・・・マスキング処理部、３０６３・・・表示倍率算出判定部、３０６４・・・縮小・拡大処理部、３０６５・・・表示位置算出部、３０６６・・・マッピング、５０・・・処理部配置交換処理機能部、５１・・・スクリーン配置更新処理部、５２・・・配置判別部、５３・・・音量順序判定部、５４・・・適正配置記憶部、５５・・・適正配置判定部、５６・・・配置交換処理部。

Claims (9)

1. 受信した画像データおよび音声データを再生する通信端末であって、
   画像を表示する表示手段と、
   前記表示手段に特定のエリアを抽出されて表示すべき画像を表示する複数の表示エリアを形成可能で、受信音量に基づいて表示すべき画像のサイズを制御する制御手段と、を有し、
   前記制御手段は、
   音量順序の判定結果の順番に基づいて各表示エリアの配置位置を判別する
   通信端末。
2. 適正配置パターンを保持する適正配置記憶手段を有し、
   前記制御手段は、判別した配置と前記適正配置記憶手段に保持している配置パターンとを比較し、適正な配置であるかを判定する
   請求項１記載の通信端末。
3. 前記制御手段は、適正配置の判定結果に基づき、適正化が必要な場合、２つ以上の表示エリアの配置の交換を行う
   請求項２記載の通信端末。
4. 前記制御手段は、配置交換処理における配置結果（Ｐ'（ｔ））に対して、次時刻（ｔ＋Δｔ）の表示エリアの配置更新処理を行う
   請求項３記載の通信端末。
5. 前記制御手段は、最も音量の高い表示エリアを基準とし、表示エリアの音量順序に基づく配置関係と、適正となる音量順序のスクリーンの配置関係を比較する
   請求項２から４のいずれか一に記載の通信端末。
6. 選択された優先的表示対象とする表示エリアに対して、受信の音量に優先表示用のオフセット分底上げした表示倍率算出用の音量値にて、優先的表示対象となる表示エリアのサイズが他の表示エリアに比べ大きくなるように制御する
   請求項１から５のいずれか一に記載の通信端末。
7. 前記制御手段は、表示倍率算出用の音量は、発声期間後の静音期間において、発声期間が短い場合、減衰を遅くし、発声期間が長い場合、減衰を早くする
   請求項１から６のいずれか一に記載の通信端末。
8. 前記制御手段は、表示エリア毎の発生期間、静音期間を計測し、過去の発生期間、静音期間のパターンに基づいて、静音期間の短い発生期間の長さの統計を取り、前記統計に基づき、次の静音期間が短いと推測した場合、表示倍率算出用の音量の静音期間における減衰速度を遅くする
   請求項７記載の通信端末。
9. 受信した画像データおよび音声データを再生する通信端末の表示方法であって、
   特定のエリアを抽出されて表示すべき画像を表示する複数の表示エリアを形成し、
   受信音量に基づいて表示すべき画像のサイズを制御し、
   表示エリアの音量順序を判定し、
   判定結果の順番に基づいて各表示エリアの配置位置を判別し、
   判別結果に応じた位置に表示すべき画像を含む複数の表示エリアを表示する
   通信端末の表示方法。

Images