JP4994646B2 - Communication terminal, communication system, and communication terminal display method - Google Patents
Communication terminal, communication system, and communication terminal display method Download PDFInfo
- Publication number
- JP4994646B2 JP4994646B2 JP2005344756A JP2005344756A JP4994646B2 JP 4994646 B2 JP4994646 B2 JP 4994646B2 JP 2005344756 A JP2005344756 A JP 2005344756A JP 2005344756 A JP2005344756 A JP 2005344756A JP 4994646 B2 JP4994646 B2 JP 4994646B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- screen
- display
- size
- display area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
Description
本発明は、携帯電話機等の通信端末およびその表示方法に係り、特に、多地点通信可能な通信端末および通信システム、並びに通信端末の表示方法に関するものである。 The present invention relates to a communication terminal such as a mobile phone and a display method thereof, and more particularly to a communication terminal and communication system capable of multipoint communication, and a display method of the communication terminal.
多地点通信としての代表としては、テレビ会議システムがある。テレビ会議システムでは、MCU(Multi-point Control Unit)を介して複数の端末が接続する。MCUは、多数の端末から送られてきた画像データを1つの画面上に分割合成し、音声データとともに、各々の端末に送信することにより、多地点をつないだテレビ会議を実現する。 A representative example of multipoint communication is a video conference system. In the video conference system, a plurality of terminals are connected via an MCU (Multi-point Control Unit). The MCU divides and synthesizes image data sent from a large number of terminals on one screen, and transmits it to each terminal together with audio data, thereby realizing a video conference connecting multiple points.
基本的に、各拠点の画像を1つの画像に分割合成する場合、
(1)1つの画像を等分割する場合(たとえば4分割、9分割)と、
(2)1つ大きな画像領域を取り、残りの領域を等分割に分割して合成する場合と、
がある(たとえば6分割)。
Basically, when dividing and synthesizing the images of each site into one image,
(1) When one image is equally divided (for example, 4 divisions, 9 divisions),
(2) Taking one large image area and dividing the remaining area into equal parts;
(For example, 6 divisions).
(1)の場合、MCUで結んでいる拠点からの画像が同じ面積を使って合成される。
(2)の場合、話している拠点を大きな面積を割り当て、残りの拠点からの画像を残りの等分割された領域に割り当てて、合成する。
In the case of (1), images from bases connected by MCU are synthesized using the same area.
In the case of (2), a large area is allocated to the talking base, and images from the remaining bases are assigned to the remaining equally divided areas to be combined.
いずれの場合でも、テレビ会議システムでは、大画面のモニタを用いて行うために、複数の拠点の画像を1つの画像に分割合成しても、個々の拠点を映す画像のサイズは充分な大きさを有し、一人で映っている分には、その人の顔が認識困難になるということはない。テレビ会議システムとしては、たとえば特許文献1,2等に開示されている。
In any case, since the video conference system uses a large-screen monitor, even if the images of a plurality of locations are divided and combined into one image, the size of the image showing each location is sufficiently large. As long as you are alone, the face of that person will not be difficult to recognize. A video conference system is disclosed in, for example,
図1(A)〜(E)は、一般的なテレビ会議システムにおける多値点通信時のパーソナルコンピュータ(PC)等の端末の表示画面例を示す図である。
図1の例においては、画面1を先に決められた枠(四角形)のウィンドゥに分割する。
たとえば、画面1は1つの大きなウィンドゥ(四角形)2と複数の小さなウィンドゥ(四角形)3−1〜3−5から形成され、話し手を大きなウィンドゥ2に表示する。
この場合、ウィンドゥのサイズ、および分割数は固定的であり、撮像された画像をそのまま表示しているため、撮影の状態に応じて、顔の大きさが変動する。
1A to 1E are diagrams showing examples of display screens of a terminal such as a personal computer (PC) at the time of multilevel communication in a general video conference system.
In the example of FIG. 1, the
For example, the
In this case, since the window size and the number of divisions are fixed and the captured image is displayed as it is, the size of the face varies depending on the shooting state.
一般的なPCのウィンドゥ制御の場合、マウスでウィンドゥをドラッグすることにより、ウィンドゥのサイズの変更、ウィンドゥの選択を自由に行うことが可能である。 In the case of a general PC window control, it is possible to freely change the window size and select the window by dragging the window with the mouse.
ところで、携帯電話機等の携帯通信端末は、音声通話だけでなく、メール、Webアクセス、ゲーム、カメラ、テレビ電話、メディアプレィア、ラジオ、テレビなど年々高機能化されている。
現行、携帯通信端末でのテレビ電話は、発呼時に、テレビ電話で接続することを選択するものである。
By the way, mobile communication terminals such as mobile phones are not only for voice calls, but have become more sophisticated year by year, such as mail, web access, games, cameras, videophones, media players, radios, and televisions.
At present, a videophone in a mobile communication terminal is selected to connect by a videophone when a call is made.
しかしながら、パケット通信への対応が進むことにより、音声通話自体がパケット通信に対応したVoIPが使用され、通話中にカメラを起動し、音声および映像での通話に切り替えたり、また逆に、カメラを停止し、音声通話のみにしたりといった使い方が主要となる。さらに、通話中の相手に、自端末に保存している文書(ex. メール)、住所データ、画像(静止画像、動画像)、音声などを送って、(通話相手にて自動的に再生され、)同時に観たり、Webサイトを同時に観たりすることが可能となる。 However, with the progress of support for packet communication, VoIP that supports packet communication is used as the voice call itself, and the camera is activated during the call and switched to voice and video calls, and vice versa. The main usage is to stop and make only voice calls. In addition, send documents (ex. Mail), address data, images (still images, moving images), audio, etc. saved on your terminal to the other party on the call, )) You can watch at the same time or watch the website at the same time.
このように、高機能化により携帯通信端末がIP化された場合、同時に複数の相手(サーバを含む)と通信を行うことが可能となる。
この場合、一つの端末で複数のスクリーンを取り扱う必要がある。複数のスクリーンを取り扱う方法としては、(PDAなどで)ページめくり的に取り扱う方法がある。
In this case, it is necessary to handle a plurality of screens with one terminal. As a method of handling a plurality of screens, there is a method of handling pages in a page turning manner (such as with a PDA).
ところで、たとえば携帯IP-TV電話では、画面のサイズが小さいため、複数人で、画像ありの通話を行った場合、一人ひとりの顔の大きさが小さくなる。
PCのウィンドゥのように、ユーザがウィンドゥを動かしたら、サイズを変えたりできるようにするには、画面サイズ、および操作キーに制限があり、困難である。
また、複数人が同程度で話した場合、スクリーンが対応できない。
By the way, for example, in a portable IP-TV phone, since the screen size is small, when a call with images is made by a plurality of people, the size of each person's face becomes small.
In order to be able to change the size when the user moves the window like a PC window, the screen size and operation keys are limited and difficult.
In addition, when multiple people talk at the same level, the screen is not compatible.
さらに、音量に応じて、スクリーンサイズを設定した場合、無駄な空間を増加させたり、画面内に全スクリーンを表示しきれなくなったりする問題を有している。
具体的には、全スクリーンの音量が小さい場合、小さいスクリーンが画面上を浮遊することになる。一方、全スクリーンが音量最大の場合、表示スクリーンの合計面積が画面面積を超えるという問題を有する。
これに対して、局所的に合計面積を画面面積に規格化することによって、画面内に収まらせることは可能であるが、次時刻におけるスクリーン位置の再配置(移動)が不連続的になる。
Furthermore, when the screen size is set according to the volume, there is a problem that a useless space is increased or the entire screen cannot be displayed in the screen.
Specifically, when the volume of all the screens is small, a small screen floats on the screen. On the other hand, when the volume of all screens is maximum, there is a problem that the total area of the display screen exceeds the screen area.
On the other hand, by locally normalizing the total area to the screen area, it is possible to fit within the screen, but the rearrangement (movement) of the screen position at the next time becomes discontinuous.
また、送信側である撮影者がカメラをパーンなどして被写体を変える場合、その被写体を受信側である相手に見せたいがためである。その際に、必ずしも撮影者は話しているとは限らない。このため、パーンした後に、何かしら話さないといけないことになる。例えば、何を購入してくれば良いか選択してもらうために、画像を送っている場合、絶えず撮影者が話しをしつづけることはできない。
しかし、受信した画像自体はその間絶えず視認できる大きさのスクリーンである必要がある。
Further, when the photographer on the transmission side changes the subject by panning the camera or the like, he wants to show the subject to the other party on the reception side. At that time, the photographer is not always talking. For this reason, you have to speak something after you panic. For example, if you are sending an image to choose what to purchase, the photographer cannot keep talking.
However, the received image itself needs to be a screen with a size that can be seen continuously during that time.
さらに、通話中に送ったファイルは、その会話中、注目するべきファイルであり、表示、再生した内容は、視認できる大きさのスクリーンである必要がある。
従来の接続において、2者通話から3者通話へ移行する場合、双方に接続する端末が、双方と接続するメディアを変更し、メディアミキシングとして動作する。スクリーン制御は、メディアミキシングを行う端末が行うことになる。
つまり、スクリーンを表示する端末では、制御できない。この場合に、ファイル(画像、音声)の同期再生、webアクセスを一緒に行うとした場合、それに合わせたメディア変更を、その度に行う必要がある。
Furthermore, the file sent during the call is a file to be noticed during the conversation, and the displayed and reproduced content needs to be a screen that can be visually recognized.
When shifting from a two-party call to a three-party call in a conventional connection, a terminal connected to both parties changes the medium connected to both parties and operates as media mixing. Screen control is performed by a terminal that performs media mixing.
That is, the terminal that displays the screen cannot be controlled. In this case, if synchronized playback of files (images, sounds) and web access are performed together, it is necessary to change media accordingly.
本発明の目的は、ユーザが操作することなく、音量の大きさや表示すべき表示画像エリア(スクリーン)の数等の状況に応じて適応的に、最適に表示画像エリア(スクリーン)のサイズ、位置を更新することができ、しかも表示画像エリアの再配置(移動)が連続的になり、受信側では即座にその画像を大きく見せることが可能となり、送信側、受信側にて同タイミングで再生することが可能な通信端末および通信システム、並びに通信端末の表示方法を提供することにある。 It is an object of the present invention to adaptively and optimally display the size and position of the display image area (screen) according to the situation such as the volume level and the number of display image areas (screens) to be displayed without the user's operation. In addition, the rearrangement (movement) of the display image area becomes continuous, and the receiving side can instantly make the image appear larger, and it is played back at the same timing on the transmitting side and the receiving side. An object of the present invention is to provide a communication terminal, a communication system, and a display method for the communication terminal.
本発明の第1の観点は、画像データおよび音声データを送受信可能で、受信した画像データおよび音声データを再生可能な通信端末であって、画像を表示する表示手段と、前記表示手段に表示する複数の表示エリアを形成して画像を表示可能で、受信音量に基づいて表示すべき画像のサイズを相互に制御する制御手段と、を有し、前記制御手段は、同一端末からの別セッションにかかわり、前記表示手段に表示されている表示エリアを、サイズを制御する表示エリアとして制御する。 A first aspect of the present invention is a communication terminal capable of transmitting and receiving image data and audio data, and capable of reproducing received image data and audio data. The display unit displays an image, and the display unit displays the image data and audio data. Control means capable of displaying images by forming a plurality of display areas, and mutually controlling the sizes of images to be displayed based on the reception volume, and the control means can be used in different sessions from the same terminal. involved Ri, the display area that are displayed on the display means, for controlling the display area to control the size.
好適には、前記制御手段は、他の表示エリアは最小にする。 Preferably, the control means minimizes other display areas.
本発明の第2の観点は、画像データおよび音声データを送受信可能で、受信した画像データおよび音声データを再生可能な複数の通信端末間で通信を行う通信システムであって、前記通信端末は、画像を表示する表示手段と、前記表示手段に表示する複数の表示エリアを形成して画像を表示可能で、受信音量に基づいて表示すべき画像のサイズを相互に制御する制御手段と、を有し、前記制御手段は、同一端末からの別セッションにかかわり、前記表示手段に表示されている表示エリアを、サイズを制御する表示エリアとして制御する。 A second aspect of the present invention is a communication system capable of transmitting and receiving image data and audio data, and performing communication between a plurality of communication terminals capable of reproducing received image data and audio data, wherein the communication terminal includes: A display means for displaying an image; and a control means for forming a plurality of display areas to be displayed on the display means and capable of displaying the image, and for mutually controlling the size of the image to be displayed based on the reception volume. and, wherein, Ri involved in another session from the same terminal, the display area that are displayed on the display means, for controlling the display area to control the size.
好適には、ファイル表示、再生に関して、送信側にて、同期再生を要求した場合、同ファイルを転送するとともに、再生開始時間の情報を送出し、送信側、受信側では、前記再生開始時間に従って、前記ファイルを再生する。 Preferably, with regard to file display and playback, when the transmission side requests synchronous playback, the file is transferred and the playback start time information is sent, and the transmission side and reception side are in accordance with the playback start time. , Play the file.
好適には、通話機能と、撮像機能と、を有し、通話時に、撮像機能の操作に基づいて、撮像画像のストリーミング送信の有無を表示し、許可された場合、現在通話している通話先に、ストリーミングの再生要求を送出し、受信側が再生を許可した場合に、当該再生許可に基づいて、ストリーミング配信を開始し、受信側の前記制御手段は、新たなスクリーンを生成し、受信ストリーミングを再生する。 Preferably, the apparatus has a calling function and an imaging function, and displays the presence or absence of streaming transmission of captured images based on the operation of the imaging function during a call. In addition, when a playback request for streaming is sent and the receiving side permits playback, streaming delivery is started based on the playback permission, and the control means on the receiving side generates a new screen and performs reception streaming. Reproduce.
好適には、通話機能と、撮像機能と、を有し、通話時に、撮像機能にて静止画像を撮影した場合、静止画像の送信有無を表示し、許可された場合、現在通話している通話先に、画像の再生要求を送出し、受信側が再生を許可した場合に、当該再生許可に基づいて、画像を送出し、受信側の前記制御手段は新たな表示エリアを生成し、受信画像を再生する。 Preferably, it has a call function and an imaging function. When a still image is captured by the imaging function during a call, the presence / absence of transmission of a still image is displayed. First, when an image playback request is sent and the receiving side permits playback, the image is sent based on the playback permission, and the control means on the receiving side generates a new display area, and receives the received image. Reproduce.
好適には、送信側にて、再生表示エリアを閉じた場合、その旨を受信側に送出し、前記閉じた表示エリアに対応する情報を再生している表示エリアを閉じ、対応する情報を削除する。 Preferably, when the reproduction display area is closed on the transmission side, a message to that effect is sent to the reception side, the display area reproducing the information corresponding to the closed display area is closed, and the corresponding information is deleted. To do.
好適には、前記制御手段は、画面上において、同じ同時通話のグループに所属する表示エリアは、表示エリア外枠の色、太さを同色にする。 Preferably, the control means sets the color and thickness of the outer frame of the display area to the same color in the display areas belonging to the same simultaneous call group on the screen.
好適には、前記制御手段は、着信があった場合、着信相手の番号に対応する画像をメモリから読み出し、新たに表示エリア上に生成し、前記表示エリアは、外枠の色を着信用に振り分けた色にし、外枠を大小振幅し、また色が濃淡変動または点滅させる。 Preferably, when there is an incoming call, the control means reads an image corresponding to the called party number from the memory and newly generates an image on the display area, and the display area sets the color of the outer frame for incoming calls. The assigned color is changed, the outer frame is increased or decreased in amplitude, and the color is varied or blinked.
好適には、前記制御手段は、自端末で撮像した画像を表示する表示エリアのサイズは、自端末の音声入力手段にて入力された音声に依存せず、一定の大きさとし、他の表示エリアの挙動演算に対しては、前記表示エリアの外枠は、画面の外枠における壁と同等の扱いとする。 Preferably, the control means is configured such that the size of the display area for displaying the image captured by the own terminal does not depend on the voice input by the voice input means of the own terminal, and is a constant size. For the behavior calculation, the outer frame of the display area is treated as a wall in the outer frame of the screen.
好適には、前記制御手段は、自端末にて取得した音声を送出している表示エリアの外枠の色と、音声を送出していない表示エリアの外枠の色とが異なるように制御する。 Preferably, the control means performs control so that the color of the outer frame of the display area that is transmitting audio acquired by the terminal is different from the color of the outer frame of the display area that is not transmitting audio. .
好適には、前記制御手段は、前時刻の受信側の表示エリアサイズに基づいて、送信画像の符号化率を制御する。 Preferably, the control means controls the coding rate of the transmission image based on the display area size on the receiving side at the previous time.
好適には、同一画像を受信再生する受信側の表示エリアサイズに応じて、画面に対しての占有率が最も大きいサイズに合わせて符号化して、Iピクチャ、Pピクチャ、およびBピクチャの全てを送出し、送出したサイズより小さいサイズに対しては、符号化データから、Bピクチャを除いたIピクチャ、Pピクチャを送出し、さらに小さいサイズに対しては、符号化データから、Pピクチャ、Bピクチャを除いたIピクチャのみを送出し、さらに小さいサイズに対しては、符号化データから、Pピクチャ、Bピクチャを除き、Iピクチャを間引いたデータを送出する。 Preferably, according to the display area size on the receiving side that receives and reproduces the same image, encoding is performed according to the size with the largest occupation ratio on the screen, and all of the I picture, P picture, and B picture are encoded. For the size smaller than the transmitted size, I picture and P picture excluding B picture are sent out from the coded data, and for smaller size, the P picture, B from the coded data are sent out. Only the I picture excluding the picture is transmitted, and for smaller sizes, the data obtained by excluding the P picture and B picture from the encoded data and thinning out the I picture is transmitted.
好適には、前記制御手段は、表示エリアサイズが、アップサンプリングにて、視覚的に不快感を与えるノイズを生成しない範囲の場合、同一のサイズとして取り扱う。 Preferably, when the display area size is within a range that does not generate visually uncomfortable noise by upsampling, the control means treats the same size.
好適には、前記制御手段は、表示エリアサイズの変動に伴う、符号化サイズの変動は、Iピクチャ単位で取り扱う。 Preferably, the control means handles a change in coding size accompanying a change in display area size in units of I pictures.
好適には、表示エリアサイズの変動に伴い、符号化サイズの変動は、予測画像を現在のサイズにサンプリングし、フレーム間予測を行い、受信側では、同様に予測画像をサンプリングし、復号する。 Preferably, in accordance with the change in the display area size, the change in the coding size is obtained by sampling the predicted image to the current size and performing inter-frame prediction, and similarly sampling and decoding the predicted image on the receiving side.
本発明の第3の観点は、画像データおよび音声データを送受信可能で、受信した画像データおよび音声データを再生可能な通信端末の表示方法であって、表示手段に表示する複数の表示エリアを形成して画像を表示するステップと、受信音量に基づいて表示すべき画像のサイズを相互に制御するステップと、を有し、同一端末からの別セッションにかかわり、前記表示手段に表示されている表示エリアを、サイズを制御する表示エリアとして制御する。
According to a third aspect of the present invention, there is provided a communication terminal display method capable of transmitting and receiving image data and audio data and capable of reproducing the received image data and audio data, and forming a plurality of display areas to be displayed on the display means. and displaying an image by having the steps of controlling the mutual size of the image to be displayed on the basis of the received sound volume, a, Ri involved in another session from the same terminal, that is displayed on the display means The display area is controlled as a display area for controlling the size.
本発明によれば、ユーザが操作することなく、音量の大きさや表示すべき表示画像エリア(スクリーン)の数等の状況に応じて適応的に、最適に表示画像エリア(スクリーン)のサイズ、位置を更新することができ、しかも表示画像エリアの再配置(移動)が連続的になり、異なる形状であっても最適なサイズで配置することが可能となる。
また、送信者が見せたい画像ファイルを送信した際に、送信者が何ら新たな操作を追加することなく、(また、送信者が声を発すことなく、)受信側では即座にその画像(スクリーンサイズ)を大きく見せることが可能となる。
また、ファイルと一緒に再生開始時刻の情報を送出することにより、送信側、受信側にて同タイミングで再生することが可能となる。
2者から3者の場合、双方に接続する端末から双方に認証キーを発行し、これに基づいて即座に接続することが可能となる。
According to the present invention, the size and position of the display image area (screen) are adaptively and optimally according to the situation such as the volume level and the number of display image areas (screens) to be displayed without the user's operation. In addition, the display image area can be rearranged (moved) continuously, and even with different shapes, it can be arranged in an optimum size.
Also, when the sender sends an image file that the sender wants to show, the sender can immediately add that image (screen without any additional operation) (and the sender does not speak). (Size) can be shown larger.
Also, by transmitting the information of the reproduction start time together with the file, it becomes possible to reproduce at the same timing on the transmission side and the reception side.
In the case of two to three parties, it is possible to issue an authentication key to both sides from a terminal connected to both sides, and to immediately connect based on this.
以下、本発明の実施形態を図面に関連付けて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図2および図3は、本発明の実施形態に係る携帯通信端末の構成例を示す図であって、図2はエンコード装置を示すブロック図であり、図3はデコード装置を示すブロック図である。 2 and 3 are diagrams illustrating a configuration example of the mobile communication terminal according to the embodiment of the present invention. FIG. 2 is a block diagram illustrating an encoding apparatus, and FIG. 3 is a block diagram illustrating a decoding apparatus. .
本携帯通信端末10は、送信元となるエンコード装置20と、受信側とあるデコード装置30とを有し、多地点通信可能に構成される。
The
エンコード装置20は、符号化した音声データ、画像データを、受信側端末に対する指示情報や画像の天地情報等を付加してパケットとしてネットワークに送信する機能を有する。
音声データおよび画像データに付加される送信元の指示情報は、指示された画像の送信元の識別する情報(たとえ、IPアドレス、MACアドレス)と、受信した画像上の位置を示す位置情報とを含む。
送信元となるエンコード装置20は、送信元は、画面上、指示した位置にスクリーン(スクリーンについては後で詳述する)が存在する場合、対応する指示情報、スクリーン情報、音量情報を生成し、同通信中の相手に対して送出する機能を有する。
The
The instruction information of the transmission source added to the audio data and the image data includes information for identifying the transmission source of the instructed image (for example, IP address, MAC address) and position information indicating the position on the received image. Including.
The
図3のエンコード装置20は、マイクロフォン等からなる音声入力部201、デジタルカメラ等の画像入力部202、キー入力等が可能な操作部203、音声入力部201により入力される音声データを符号化する音声符号化処理部204、画像入力部202から入力され所定エリアに切り出された画像データを符号化する画像符号化処理部205、撮像画像に関連付けた天地情報に基づいて、撮像画像の天地を受信側の表示部の画面(端末画面)の天地と一致するように補正する天地補正部206、撮像画像から顔のエリアを検出、抽出する顔エリア検出部207、顔エリア検出部207にて検出された顔エリアに基づいて使用するスクリーン(表示すべき表示画像エリア)を判別しスクリーン情報を生成するスクリーン判別部208、スクリーン判別部208の判定に基づいて受信画像から該当するエリアを切り出す切り出し部209、音声入力部201による入力音量を計測し音量情報を生成する入力音量計測部210、操作部203の入力情報に基づいて端末を制御する端末制御部211、端末制御部211の指示に基づいて指示情報や天地情報、スクリーン情報、音量情報等を含む制御情報を生成する制御情報生成部212、画像・映像を記憶する記憶部213、符号化された音声データおよび画像データ、制御情報、端末制御部211の指示に基づいて記憶部213から読み出された画像・映像データを送信パケットとして生成する送信パケット生成部214、およびネットワークと無線通信可能で生成された送信パケットをネットワークを介して通信相手の端末やサーバに送信するネットワークインタフェース(I/F)215を有する。
The
デコード装置30は、通信相手(送信元)のエンコード装置20から送信されネットワークを介して受信した音声データ、画像データを再生する機能を有する。
デコード装置30は、たとえば多地点通信を行っている場合に、受信画像の制御情報に基づいて特定エリアである顔を含む画像を、使用するスクリーン(サイズが制御された表示エリア)を選択して表示し、音声を発する機能を有する。
デコード装置30は、このスクリーンの表示に際し、デッドゾーンをなくした円形(楕円形を含む概念である)ウィンドゥにて分割する機能を有する。
円形(楕円形)ウィンドウに分割するように構成したのは、以下の理由による。
一般的に、画面の分割は、長方形で行っていた。人間の顔は基本的に楕円形であり、長方形の四隅はデットゾーンとなる。このデッドゾーンが、顔を表示するエリアを結果的に狭く(小さく)している。
よって、本実施形態においては、このデッドゾーンをなくした円形(楕円形)ウィンドゥにて分割するように構成している。
また、デコード装置30は、マルチスクリーンを表示する機能を有し、スクリーン中心間を結ぶ線分、基準形状の厚さ、音声の大きさに基づいて、スクリーンの表示倍率を算出し、この表示倍率に基づいてスクリーンの移動、新規生成を制御することにより、画面上に複数のスクリーンを最適に形成する機能を有する。
本実施形態の通信端末は、通信情報として、同一端末からの別セッションは、同一端末の下位情報として付加し、画像を表示する表示エリアサイズは、最も下位に位置する情報にかかわる表示エリアを注目すべき表示エリアと判断し、対応する表示エリアに制御する機能を有する。
具体的な処理については、後で図面に関連付けて詳述する。
The
For example, when performing multipoint communication, the
The
The reason for the division into the circular (elliptical) windows is as follows.
In general, the screen is divided into rectangles. The human face is basically oval, and the four corners of the rectangle are dead zones. This dead zone results in a narrow (small) area for displaying the face.
Therefore, in this embodiment, it is configured so as to be divided by a circular (elliptical) window from which this dead zone is eliminated.
Further, the
The communication terminal of this embodiment adds another session from the same terminal as communication information as lower information of the same terminal, and the display area size for displaying an image pays attention to the display area related to the information located at the lowest position. It has a function of determining a display area to be controlled and controlling the corresponding display area.
Specific processing will be described in detail later in association with the drawings.
図3のデコード装置30は、ネットワークと無線通信可能で送信元から送信された音声データ、画像(映像)データ、制御情報や指示情報、スクリーン情報、音量情報等を含むパケットを受信するネットワークインタフェース(I/F)301、キー入力等が可能な操作部302、ネットワークインタフェース301で受信されたパケットを解析し、音声データ、画像データ、送信元アドレス、制御情報(天地情報や指示情報等)を抽出する受信パケット解析部303、受信パケット解析部303により抽出された音声データを復号する音声復号処理部304、受信パケット解析部303により抽出された映像データを復号する映像復号処理部305、映像復号処理部305により復号された映像データ、送信元アドレス、制御情報、スクリーン情報、サイズ情報、天地情報に基づいて表示すべきスクリーン(表示ウィンドウ)のサイズや表示形態を制御する表示画像制御部306、音声復号処理部304により復号された音声の音量を修正する音量修正部307、音量修正部307で修正された音量で発音するスピーカ等の音声出力部308、表示画像制御部306によりサイズや表示形態が制御された画像を補正する画像補正部309、画像補正部309を介した画像を表示するLCD等の表示部(画像出力部)310、および操作部302からの入力情報に基づいて表示画像制御部306に制御情報(天地情報)を与える自端末制御部311を有する。
The
なお、エンコード装置20とデコード装置30は、操作部203と302、ネットワークインタフェース215と301、端末制御部211と自端末制御部311は共用することが可能である。
The
以下に、本実施形態の特徴部分である表示画像制御部306のより具体的な構成および機能、並びにスクリーンの具体的な構成や表示形態例について順を追って説明する。
Hereinafter, a more specific configuration and function of the display
図3の表示画像制御部306は、受信パケット解析部303により供給される制御情報に基づいてスクリーン情報、サイズ情報、天地情報、および指示情報を抽出する制御情報解析部3061、スクリーン情報に基づいて映像復号処理部305で復号された映像に対してマスキングを行うマスキング処理部3062、サイズ情報、スクリーン情報に基づいて表示すべきスクリーン(表示画像エリア)の表示倍率を算出す表示倍率算出判定部3063、表示倍率算出判定部3063で算出された表示倍率に従ってマスキング処理後の画像を縮小・拡大する縮小・拡大処理部3064、表示倍率算出判定部3063で算出された表示倍率および天地情報に従って表示位置を算出する表示位置算出部3065、および表示位置算出部3065にて得られた表示部310上の位置に縮小・拡大処理部3064にて得られた画像をマッピングするマッピング処理部3066を有する。
The display
本実施形態の表示画像制御部306は、1つ以上のスクリーンが局所領域にて継続的に動き続ける状態にあるか否かを判定する振動状態判定機能を有する。
この振動状態判定機能は、一定期間(n)において、スクリーン個数の変動がなく、各スクリーンの音声の大きさの変動がなく、さらに、スクリーンの位置の変動があり、変動が閾値(Pthresh0)以下であり、スクリーンの表示倍率の変動が閾値(Rthresh0)以下である場合、振動状態にあると判定し、振動状態中、前記期間中の表示倍率の二乗総和値(R)が最も大きい状態の配置に固定する。
The display
This vibration state determination function does not change the number of screens in a certain period (n), does not change the sound volume of each screen, and further changes the position of the screen, and the fluctuation is below the threshold (Pthresh0). If the fluctuation of the display magnification of the screen is less than or equal to the threshold (Rthresh0), it is determined that the vibration state is present, and the arrangement in a state where the square sum value (R) of the display magnification during the period is the largest during the vibration state. Secure to.
また、本実施形態の表示画像制御部306は、スクリーンの安定状態にあるか否かを判定する安定状態判定機能を有する。
この安定状態判定機能は、一定期間(m)において、スクリーン個数の変動がなく、各スクリーンの音声の大きさの変動がなく、さらに、スクリーンの位置の変動が閾値(Pthresh1)以下であり、スクリーンの表示倍率の変動が閾値(Rthresh1)以下である場合、安定状態にあると判定する。
また、安定状態判定機能は、一定期間において、スクリーン個数の変動がなく、各スクリーンの音声の大きさの変動がなく、さらに、スクリーンの位置の変動が閾値(Pthresh1)以下であり、スクリーンの表示倍率の二乗総和比が閾値(Rthresh2)以下である場合、局所安定状態にあると判定する。
Further, the display
This stable state determination function has no fluctuation in the number of screens in a certain period (m), no fluctuation in the sound volume of each screen, and the fluctuation in the screen position is below a threshold (Pthresh1). If the change in display magnification is less than or equal to the threshold (Rthresh1), it is determined that the state is stable.
In addition, the stable state judgment function does not change the number of screens in a certain period, does not change the sound volume of each screen, and the screen position fluctuation is less than the threshold (Pthresh1), and the screen display When the square sum ratio of magnifications is equal to or less than the threshold (Rthresh2), it is determined that the local stable state is established.
また、本実施形態の表示画像制御部306は、スクリーンの安定状態判定機能にて、安定と判断された場合に、スクリーンの位置配置の再配置を促す攪拌処理機能を有する。
この攪拌処置機能は、画面上に仮の中心を配し、各中心における表示倍率の内、先に選択しておらず、最も小さい値を取得する位置を攪拌用のスクリーンの中心とし、一定期間、攪拌用のスクリーンを生成、更新し、消滅することによって、攪拌を行う。
攪拌処理の実行回数(S)が閾値(Sthresh)を越える場合、安定状態にあると判断し、攪拌処理を停止する。
In addition, the display
This agitation treatment function has a temporary center on the screen, the display magnification at each center is not selected first, and the position where the smallest value is acquired is the center of the screen for agitation, for a certain period of time Stirring is performed by creating, updating, and extinguishing the screen for stirring.
When the number of executions (S) of the stirring process exceeds the threshold value (Sthresh), it is determined that the state is stable and the stirring process is stopped.
本実施形態の表示画像制御部306によりサイズおよび表示形態が制御されるスクリーンは、1つの画面上に複数のスクリーンを表示するマルチスクリーンとして表示される。
以下に、本実施形態の表示画像制御部306の表示倍率算出判定部3063、表示位置算出部3065の処理を中心にしてマルチスクリーンの表示制御について説明する。
The screen whose size and display form are controlled by the display
Hereinafter, multi-screen display control will be described focusing on the processing of the display magnification
本実施形態の表示倍率算出判定部3063において、スクリーンは、スクリーンの表示位置を示す中心位置座標(P(i))、スクリーンの形状を示す基準形状(Unit(i))、スクリーンに対応付けられた音声の大きい(V(i))、スクリーンを画面上に表示する際の表示倍率(R(i))とを有し、表示倍率(R(i))は、周囲のスクリーンの中心位置座標(P(j))と結ぶ線分(L(i,j))と、その線分上の基準形状の厚さ(Lm(i,j),Lm(j,i))、および、音声の大きさ(V(i),V(j))に基づいて算出しされた仮表示倍率(R(i,j))の内、最も小さい値をする。
表示倍率算出判定部3063において、スクリーン中心から画面境界に垂直に接した点に、音声の大きさ(V(k)=0)、厚さ(Lm(k,i)=0)を設定し、表示倍率(R(i,k))を算出する。
また、スクリーンは、表示倍率(R(i))を最も大きくする位置に移動する。
また、スクリーンは、表示倍率(R(k))の最も大きい位置に、新規スクリーンの中心を生成する。
また、基準形状は、面積を等しくする。
さらにまた、基準形状にて形成したスクリーン間に分離線を引き、前記分離線にて分離されたエリアを新たなスクリーンとする。
In the display magnification
In the display magnification
Further, the screen moves to a position where the display magnification (R (i)) is maximized.
The screen generates the center of the new screen at the position where the display magnification (R (k)) is the largest.
The reference shape has the same area.
Furthermore, a separation line is drawn between the screens formed in the reference shape, and an area separated by the separation line is set as a new screen.
次に、本実施形態に係る表示画像制御部306によりサイズおよび表示形態が制御されるスクリーンの表示倍率の算出、新規スクリーンの生成位置の算出、スクリーンの移動位置の算出等についてより具体的に説明する。
Next, the calculation of the display magnification of the screen whose size and display form are controlled by the display
図4に示すように、各スクリーン40は、基準形状(Unit)を有する。表示部310の画面上へのスクリーン40は、基準形状(Unit)を表示倍率(R)に従って、拡大・縮小して表示する。
As shown in FIG. 4, each
表示倍率(R)の算出:
表示倍率算出判定部3063は、スクリーンiとスクリーンjとの中心間の距離(L(i,j))、各スクリーンの中心から前記方向への基準形状(Unit)における厚さ(Lm(i,j)、Lm(j,i))を算出し、および、各スクリーンに表示する内容における受信した音声の大きさ(V(i),V(j))に基づいて、スクリーンiにおけるスクリーンjからの算出される表示倍率(R(i,j))を以下の通りに算出する。
Calculation of display magnification (R) :
The display magnification
周囲に存在するスクリーン間の表示倍率を算出し、次式のように、その表示倍率の内、最も小さい値を実際の表示倍率(R(i))とする。 The display magnification between the surrounding screens is calculated, and the smallest value among the display magnifications is set as the actual display magnification (R (i)) as shown in the following equation.
新規のスクリーンの生成位置の算出:
表示倍率算出判定部3063は、画面上に仮の中心を配し、各中心において、表示倍率(Rmin)を算出する。各表示倍率(R)の内、最も大きい値を取る位置を新規のスクリーンの生成の中心位置とする。
Calculation of new screen generation position :
The display magnification
この条件を満たす中心(P(k))を新規スクリーンの中心位置とする。 The center (P (k)) satisfying this condition is set as the center position of the new screen.
スクリーンの移動位置の算出:
各スクリーンは、現在(t)の位置から一定距離内(集合I)の各位置において、表示倍率(R)を算出し、表示倍率の内、最も大きな値を取る位置を次時刻(t+Δt)における中心位置とする。
Calculation of screen movement position :
Each screen calculates the display magnification (R) at each position within a certain distance (set I) from the current (t) position, and the position having the largest value among the display magnifications is calculated at the next time (t + Δt ).
この条件を満たす中心(P(t+Δt))に移動する。 Move to the center (P (t + Δt)) that satisfies this condition.
スクリーン位置は、時間経過に伴い、画面上を移動していく。このため、新規のスクリーンの生成においては、画面上の空き位置全てに対して演算を行う必要はない。つまり、画面上の何点かに対して、新規生成位置の判定を行い、その結果により位置を配置したとしても、時間経過とともに、表示倍率がもっとも大きい位置に移動していく。これにより、生成における演算負荷を低減することが可能となる。 The screen position moves on the screen over time. For this reason, in the generation of a new screen, it is not necessary to perform calculation for all empty positions on the screen. That is, even if a new generation position is determined for some points on the screen and the positions are arranged based on the result, the display magnification moves to the position where the display magnification is the highest as time passes. Thereby, it becomes possible to reduce the calculation load in generation.
随時、スクリーンの位置関係は変動していくため、表示倍率(R(*))算出における基準形状の厚さ(Lm(*))は、その時の方向に対して算出する必要がある。
この厚さ算出に関しては、(複雑な形状に対して)中心から対象方向へデジタル直線を引くことにより、算出することが可能となる。ただし、これは演算負荷の増加となる。これに対しては、各基準形状に対して、各角度に対する厚さを前もって算出したテーブルを参照することにより、表示倍率演算時の演算負荷を低減することが可能となる。
Since the positional relationship of the screen changes at any time, it is necessary to calculate the thickness (Lm (*)) of the reference shape in the display magnification (R (*)) calculation with respect to the direction at that time.
The thickness can be calculated by drawing a digital straight line from the center to the target direction (for a complicated shape). However, this increases the calculation load. For this, by referring to a table in which the thickness for each angle is calculated in advance for each reference shape, it is possible to reduce the calculation load when calculating the display magnification.
画面の四方の壁処理:
各スクリーン40は、四方の壁との間に以下の演算規則に従って、表示倍率(R)を算出する。
図5に示すように、スクリーンの中心から壁に垂直に落とした点を算出上の壁の中心とし、中心間の線分(L(i,k))、基準形状(Unit)における厚さ(Lm(i,k),Lm(k,i))と、およびスクリーンの受信した音声の大きさ(V(i),V(k))を算出する。この時、壁における、音声の大きさは(V(k)=0)、基準形状の厚さ(Lm(k,i)=0)として、前述の表示倍率(R)の算出と同様に算出を行う。
各々のスクリーン40において、表示倍率(R(i))を算出する場合、周囲のスクリーンとの表示倍率(R(i,j)と同様に、壁との表示倍率(R(i,k))を算出し、この内、最も小さい値を実際に表示する際の表示倍率(R(i))とする
Wall treatment on all sides of the screen :
Each
As shown in FIG. 5, the point dropped vertically from the center of the screen to the wall is taken as the center of the calculated wall, and the line segment between the centers (L (i, k)) and the thickness in the reference shape (Unit) ( Lm (i, k), Lm (k, i)) and the magnitude (V (i), V (k)) of the voice received by the screen are calculated. At this time, the sound volume on the wall is calculated as (V (k) = 0) and the thickness of the reference shape (Lm (k, i) = 0) in the same manner as the calculation of the display magnification (R) described above. I do.
When calculating the display magnification (R (i)) for each
基準形状を楕円形とするスクリーン(S(0),S(1))において、音声の大きさ(V(0),V(1))の比を変化させた例を図6(A)〜(C)に示す。
図6(A)〜(C)において、左から、音声の大きさの比(V(0):V(1))が、1:1、2:1、3:1の場合である。このように、音量に大きさに応じて、適応的にスクリーンサイズを変動することが可能となる。
An example in which the ratio of the sound volume (V (0), V (1)) is changed on the screen (S (0), S (1)) whose reference shape is an ellipse is shown in FIGS. Shown in (C).
6A to 6C, from the left, the audio volume ratio (V (0): V (1)) is 1: 1, 2: 1, 3: 1. Thus, the screen size can be adaptively changed according to the volume.
基準形状を楕円形とするスクリーン(S(0),S(1),S(2),S(3))において、画面上に形成するスクリーン数を増減した例を図7(A)〜(C)に示す。
図7(A)〜(C)において、左から、スクリーン数=2、3、4の場合である。
このように、スクリーン数の数に応じて、適応的にスクリーンサイズを変動させ、画面内に全てのスクリーンを形成することが可能となる。
7A to 7 (A) to 7 (A) to 7 (A) to 7 (A) to 7 (A) to 7 (A) to 7 (A) to (E) in which the number of screens formed on the screen is increased or decreased. C).
7A to 7C, the numbers of screens are 2, 3, and 4 from the left.
In this way, it is possible to adaptively change the screen size according to the number of screens and form all the screens in the screen.
基準形状を楕円形とするスクリーン(S(0),S(1),S(2),S(3))において、画面上に形成するスクリーン数を増減しつつ、そのうち1つのスクリーンの音声の大きさを他のスクリーンの音声の大きさの倍にした例を図8(A)〜(C)に示す。
図8(A)〜(C)において、左から、スクリーン数=2、3、4の場合であり、音声の大きさの比(V(0):V(1))が2:1、比(V(0):V(1):V(2))が2:1:1、比(V(0):V(1):V(2):V(3))が2:1:1:1の場合である。
このように、スクリーン数の数に応じて、適応的にスクリーンサイズを変動させ、画面内に全てのスクリーンを形成することが可能となる。これは、スクリーン(S(0))に映っている人が発言をしている例であり、このように、一人が発言している場合、その人のスクリーンのみが、その大きさに応じて適応的にスクリーンサイズを拡大・縮小することが可能となる。
In a screen (S (0), S (1), S (2), S (3)) with an elliptical reference shape, the number of screens formed on the screen is increased or decreased, and the sound of one of these screens is recorded. FIGS. 8A to 8C show examples in which the size is double the size of the sound of other screens.
8A to 8C, the number of screens is 2, 3, and 4 from the left, and the audio volume ratio (V (0): V (1)) is 2: 1. (V (0): V (1): V (2)) is 2: 1: 1, ratio (V (0): V (1): V (2): V (3)) is 2: 1: This is the case of 1: 1.
In this way, it is possible to adaptively change the screen size according to the number of screens and form all the screens in the screen. This is an example in which a person shown on the screen (S (0)) is speaking, and when one person is speaking in this way, only that person's screen will depend on its size. The screen size can be adaptively enlarged / reduced.
基準形状を楕円形とするスクリーンS(0),S(1),S(2),S(3))において、画面上に形成するスクリーン数を増減しつつ、そのうち1つのスクリーンの音声の大きさを他のスクリーンの音声の大きさを1/2倍にした例を図9(A)〜(C)に示す。
図9(A)〜(C)において、左から、スクリーン数=2、3、4の場合であり、音声の大きさの比(V(0):V(1))が2:1、比(V(0):V(1):V(2))が2:1:2、比(V(0):V(1):V(2):V(3))が2:1:2:2の場合である。
このように、スクリーン数の数に応じて、適応的にスクリーンサイズを変動させ、画面内に全てのスクリーンを形成することが可能となる。これは、スクリーン(S(0))に映っている人以外が発言をしている例であり、このように、複数の人が発言している場合でも、状況に合わせて、適応的にスクリーンサイズを拡大・縮小することが可能となる。
In the screens S (0), S (1), S (2), S (3)) having an elliptical reference shape, the number of screens formed on the screen is increased or decreased, and the sound volume of one of the screens is increased. FIGS. 9A to 9C show examples in which the sound volume of other screens is halved.
9A to 9C, the number of screens is 2, 3, and 4 from the left, and the audio volume ratio (V (0): V (1)) is 2: 1. (V (0): V (1): V (2)) is 2: 1: 2, ratio (V (0): V (1): V (2): V (3)) is 2: 1: This is the case of 2: 2.
In this way, it is possible to adaptively change the screen size according to the number of screens and form all the screens in the screen. This is an example where a person other than the person shown on the screen (S (0)) is speaking, and in this way, even when multiple persons are speaking, the screen is adaptively adapted to the situation. It becomes possible to enlarge / reduce the size.
基準形状が、楕円形(S(oval))、円形(S(circle))、長方形(S(rectangle))が混在している場合(音声の大きさは等しい)の例を図10(A)〜(D)に示す。
図10(A)〜(D)において、左から、長方形と楕円形、円形と楕円形、円形と長方形、下方が円形と楕円形と長方形の場合を示している。
基準形状は、形状が異なっても、面積を同等に設定することにより、各スクリーンは、適応的にスクリーンサイズを調整し、音声の大きさが等しい場合、視覚的に各々のスクリーンサイズが等しく表示することが可能となる。
FIG. 10A shows an example in which the reference shape includes an ellipse (S (oval)), a circle (S (circle)), and a rectangle (S (rectangle)) (sound volume is equal). Shown in (D).
10A to 10D, from the left, a case where a rectangle and an ellipse, a circle and an ellipse, a circle and a rectangle, and a lower part are a circle, an ellipse, and a rectangle are shown.
Regardless of the shape of the reference shape, by setting the area to be equal, each screen adaptively adjusts the screen size, and if the audio volume is equal, each screen size is visually displayed equally It becomes possible to do.
さらに、本実施形態においては、スクリーン外のデッドゾーンを低減することから、図11(A)〜(C)に示すように、各スクリーンの間にエリアの分離線(太線)を形成し、前記分離線に基づいたエリアは各スクリーンの表示エリアとする。これにより、スクリーン数の増減と、各スクリーンの音声の大きさの増減に適応しつつ、画面を最大限に分割利用することが可能となる。
図11(A)〜(C)の例は、音声の大きさの比(V(0):V(1))が2:1、比(V(0):V(1):V(2))が2:1:1、比(V(0):V(1):V(2):V(3))が2:1:1:1の場合である。
Furthermore, in this embodiment, since the dead zone outside the screen is reduced, as shown in FIGS. 11 (A) to (C), an area separation line (bold line) is formed between the screens. The area based on the separation line is the display area of each screen. This makes it possible to divide and use the screen to the maximum while adapting to the increase / decrease in the number of screens and the increase / decrease in the sound volume of each screen.
In the example of FIGS. 11A to 11C, the audio volume ratio (V (0): V (1)) is 2: 1 and the ratio (V (0): V (1): V (2). )) Is 2: 1: 1 and the ratio (V (0): V (1): V (2): V (3)) is 2: 1: 1: 1.
次に、表示形態例について説明する。 Next, a display form example will be described.
図12に示すように、顔エリアの面積が一定値以上の場合、受信画像を「人物画像」と判別する。顔エリアの面積が一定値以下の場合、受信画像を「非人物画像」と判別する。
「人物画像」と判別した場合、円形スクリーンとする。「非人物画像」と判別した場合、四角形スクリーンとする。「非人物画像」であっても、同送信元からの音圧に応じて、表示サイズを変動させる。
As shown in FIG. 12, when the area of the face area is a certain value or more, the received image is determined as a “person image”. When the area of the face area is equal to or smaller than a certain value, the received image is determined as a “non-person image”.
When it is determined that the image is a “person image”, a circular screen is used. When it is determined that the image is a “non-person image”, a quadrangular screen is used. Even for a “non-human image”, the display size is changed in accordance with the sound pressure from the transmission source.
図13に示すように、顔として判定されたエリアが複数ある場合であって、個数が一定値以下の場合、面積の大きいほうを優先し、個数が一定値以上の場合、非人物と同様、四角形スクリーンで表示する。 As shown in FIG. 13, when there are a plurality of areas determined as faces, when the number is equal to or less than a certain value, priority is given to the larger area, and when the number is equal to or more than a certain value, Display on a square screen.
図14に示すように、切り出しエリアが、受信画像から、顔が出て行った場合(はみ出し場合)、動きベクトルから切り出し可能なエリアを推定し、円形スクリーン(ウィンドウ)を見えている部分だけにする。
推定された顔エリアのサイズに対する画面上に残っている顔画像の比が一定値以下になった場合、その顔を対象外とする。
As shown in FIG. 14, when the cutout area is a face that protrudes from the received image (when protruding), the area that can be cut out is estimated from the motion vector, and the circular screen (window) is only visible. To do.
If the ratio of the face image remaining on the screen to the estimated size of the face area is below a certain value, the face is excluded.
次に、以上の機能を有する通信端末10を用いた多地点通信処理について説明する。
Next, multipoint communication processing using the
本実施形態においては、通信情報として、同一端末からの別セッションは、同一端末の下位情報として付加し、スクリーンサイズは、最も下位に位置する(最後に付加した)情報にかかわるスクリーンを注目すべきスクリーンと判断し、対応するスクリーンサイズにする。他のスクリーンは最小にする。
ファイル表示、再生に関して、送信側にて、同期再生を要求した場合、同ファイルを転送するとともに、再生開始時間の情報を送出し、送信側、受信側では、前記再生開始時間に従って、前記ファイルを再生する。
通話時に、カメラを起動(などの操作)に基づいて、カメラによる撮像画像のストリーミング送信の有無を表示し、操作者が許可した場合、現在通話している相手に、ストリーミングの再生要求を送出し、受信側が再生を許可した場合に、これに基づいて、ストリーミング配信を開始し、受信側では新たなスクリーンを生成し、受信ストリーミングを再生する。
また、通話時に、カメラにて静止画像を撮影した場合、静止画像の送信有無を表示し、操作者が許可した場合、現在通話している相手に、画像の再生要求を送出し、受信側が再生を許可した場合に、これに基づいて、画像を送出し、受信側では、新たなスクリーンを生成し、受信画像を再生する。
送信側にて、再生スクリーンを閉じた場合、その旨を受信側に送出し、閉じたスクリーンに対応する情報を再生しているスクリーンを閉じ、対応する情報を削除する。
In this embodiment, as communication information, another session from the same terminal is added as lower information of the same terminal, and the screen size should be noted for the screen related to the information located at the lowest (added last). Judge as a screen and set it to the corresponding screen size. Minimize other screens.
Regarding the file display and playback, when the transmission side requests synchronous playback, the file is transferred and the playback start time information is transmitted, and the transmission side and the reception side send the file according to the playback start time. Reproduce.
When a call is activated, the camera is activated (such as an operation) to display whether the captured image is streamed by the camera. If the operator permits it, a streaming playback request is sent to the other party who is currently talking When the receiving side permits reproduction, streaming distribution is started based on this, and the receiving side generates a new screen and reproduces the received streaming.
In addition, when a still image is taken with a camera during a call, the presence / absence of transmission of the still image is displayed. When the operator permits, an image playback request is sent to the other party who is currently talking, and the receiving side plays it. Is permitted, the image is transmitted based on this, and the receiving side generates a new screen and reproduces the received image.
When the playback screen is closed on the transmission side, a message to that effect is sent to the reception side, the screen reproducing the information corresponding to the closed screen is closed, and the corresponding information is deleted.
端末数(人数N(N≧1))と同時通話している第1のグループと、端末数(人数M(M≧1))と同時通話している第2のグループと、双方と通話接続している端末において、双方のグループを1つのグループとする場合、一方のグループに、発呼元情報(電話番号、IPアドレス、MACアドレス、その他端末を識別可能な識別子etc)と、認証キー、暗号キーから構成される着呼要求と送出し、他方のグループに、送信先情報(電話番号、IPアドレス、MACアドレス、その他端末を識別可能な識別子etc)と、認証キー、暗号キーから構成される発呼要求を送出し、発呼要求を受信した端末は、前記発呼要求に記載の情報に基づいて、発呼し、着呼要求を受信した端末は、着呼が、前記着呼要求に記載の情報(発呼元情報、認証キー、暗号キー)と一致するかを判定し、一致する場合、接続を行う。 The first group that is talking simultaneously with the number of terminals (number N (N ≧ 1)), the second group that is talking simultaneously with the number of terminals (number M (M ≧ 1)), and a call connection with both If both terminals are grouped into one group, the caller information (telephone number, IP address, MAC address, other identifier that can identify the terminal, etc.), authentication key, An incoming call request composed of an encryption key is sent out, and the other group is composed of destination information (telephone number, IP address, MAC address, other identifier that can identify a terminal, etc.), authentication key, and encryption key. The terminal that has sent the call request and received the call request makes a call based on the information described in the call request, and the terminal that has received the call request receives the call request. (Caller information, authentication key, No. or determined to match the key), if they match, the connection is made.
また、画面上において、同じ同時通話のグループに所属するスクリーンは、スクリーン外枠の色、太さを同色にする。
着信があった場合、着信相手の番号に対応する画像をメモリから読み出し、新たにスクリーン上に生成し、前記スクリーンは、外枠の色を着信用に振り分けた色にし、外枠を大小振幅し、また色が濃淡変動させる(ないし点滅)。
自端末のカメラにて撮像した画像を表示するスクリーンのサイズは、自端末のマイクにて入力された音声に依存せず、一定の大きさとし、他のスクリーンの挙動演算に対しては、前記スクリーンの外枠は、画面の外枠における壁と同等の扱いとする。
On the screen, the screens belonging to the same simultaneous call group have the same color and thickness of the screen outer frame.
When an incoming call is received, an image corresponding to the number of the called party is read from the memory and newly generated on the screen. The screen changes the color of the outer frame for incoming calls, and the outer frame has a large and small amplitude. In addition, the color is varied (or flashing).
The size of the screen that displays the image captured by the camera of its own terminal does not depend on the sound input by the microphone of its own terminal, and is set to a certain size. The outer frame is treated in the same way as the wall in the outer frame of the screen.
また、自端末のマイクロフォンにて取得した音声を送出しているスクリーンの外枠の色を濃くし、音声を送出していないスクリーンの外枠の色を薄くする(また、太さを変化させる)。
前時刻の受信側のスクリーンサイズに基づいて、送信画像の符号化率を制御する。
また、同一画像を受信再生する受信側のスクリーンサイズに応じて、画面に対しての占有率が最も大きいサイズに合わせて符号化し、全部(Iピクチャ、Pピクチャ、Bピクチャ)を送出し、これより小さいサイズに対しては、符号化データから、Bピクチャを除いたIピクチャ、Pピクチャを送出する。
さらに、小さいサイズに対しては、符号化データから、Pピクチャ、Bピクチャを除いたIピクチャのみを送出し、さらに小さいサイズに対しては、符号化データから、Pピクチャ、Bピクチャを除き、Iピクチャを間引いたデータを送出する。
Also, darken the color of the outer frame of the screen that is sending out the sound acquired by the microphone of its own terminal, and lighten the color of the outer frame of the screen that is not sending out the sound (and change the thickness) .
Based on the screen size on the receiving side at the previous time, the coding rate of the transmission image is controlled.
Also, according to the screen size of the receiving side that receives and reproduces the same image, it is encoded according to the size with the largest occupation ratio on the screen, and all (I picture, P picture, B picture) are sent out. For smaller sizes, I and P pictures excluding B pictures are sent from the encoded data.
Further, for small sizes, only I pictures excluding P pictures and B pictures are transmitted from the encoded data. For smaller sizes, P pictures and B pictures are excluded from the encoded data, Data with I picture thinned out is transmitted.
また、スクリーンサイズが、アップサンプリングにて、視覚的に不快感を与えるノイズを生成しない範囲(たとえば面積比2倍以下)の場合、同一のサイズとして取り扱う。
スクリーンサイズの変動に伴う、符号化サイズの変動は、Iピクチャ単位で取り扱う。
スクリーンサイズの変動に伴い、符号化サイズの変動は、予測画像を現在のサイズにアップサンプリング(ないしはダウンサンプリング)し、フレーム間予測を行い、受信側では、同様に予測画像をアップサンプリング(ないしはダウンサンプリング)し、復号する。
Further, when the screen size is within a range that does not generate visually unpleasant noise (for example, an area ratio of 2 times or less) by upsampling, the screen size is handled as the same size.
Coding size variation accompanying screen size variation is handled in I-picture units.
As the screen size fluctuates, the coding size fluctuates by up-sampling (or down-sampling) the predicted image to the current size and performing inter-frame prediction. On the receiving side, the predicted image is similarly up-sampled (or down-sampled). Sampling) and decoding.
以上の機能を有する通信端末10を用いた多地点通信処理について、図15〜図19に関連つけて具体的に説明する。
The multipoint communication process using the
図15は、本実施形態に係る基本的な通信処理例を示す図である(S101〜S108)。 FIG. 15 is a diagram showing an example of basic communication processing according to the present embodiment (S101 to S108).
本実施形態においては、前述したように、通信情報として、同一の端末からの別セッションは、同一端末の下位情報として付随する。最も下位に位置する(最後に付加した)情報にかかわるスクリーンのサイズを、注目すべきスクリーンとして制御し、他のスクリーンは最小のサイズにする。
ファイル再生に関しては、送信側にて、(同期)再生を要求した場合、同ファイルを転送するとともに、再生タイミングを同期化させるために、データ再生可能なデータ容量を送信した際に、再生開始時間の情報を送出し、送信側、受信側では、前記再生開始時間に従って、再生を開始する。
送信側にて、再生スクリーンを閉じた場合、受信側においても、再生スクリーンを閉じる。通信情報として確保していたメモリを開放する。
送信側、受信側にて、再生を停止した場合、その旨の情報を、同様に再生スクリーンを立ち上げている他の端末に送出し、前記情報を受信した端末では、再生スクリーン上に停止した旨を表示の上、再生を停止する。
通話開始時においては、音声通話(VoIP)を基本とし、端末の操作に基づき、カメラから撮像された映像を別のセッションとして送出する。
電話番号、ないしアドレス(通話相手の特定する識別子)に付随して、起動時に同時にカメラの起動、および撮像映像送信用のセッションを張るか否かの情報を蓄積し、前記情報に基づいて、通話時の映像送信の処理を行う。
ファイルが音楽などのファイルの場合、再生用のアプリケーションをスクリーン内に表示する。スクリーンサイズは、音量に依存しない。
In the present embodiment, as described above, as communication information, another session from the same terminal is accompanied as lower information of the same terminal. The size of the screen related to the lowest-level information (added last) is controlled as a screen to be noted, and the other screens are set to the minimum size.
Regarding file playback, when (synchronous) playback is requested on the transmission side, the playback start time when the data capacity that can be played back is transmitted in order to transfer the same file and synchronize the playback timing. The transmission side and the reception side start reproduction according to the reproduction start time.
When the playback screen is closed on the transmission side, the playback screen is also closed on the reception side. Release the memory reserved for communication information.
When playback is stopped on the transmitting side and the receiving side, information indicating that is sent to other terminals that have also started up the playback screen, and on the terminal that received the information, the playback is stopped on the playback screen. The message is displayed and playback is stopped.
At the start of the call, voice call (VoIP) is basically used, and the video captured from the camera is transmitted as another session based on the operation of the terminal.
Accompanying the telephone number or address (identifier that identifies the other party), information on whether or not to establish a session for starting the camera and sending a captured video at the same time is activated. Processing of video transmission at the time.
If the file is a file such as music, a playback application is displayed on the screen. The screen size does not depend on the volume.
図16は、webサイトを開いている際の通信処理例を示す図である(S111〜S118)。 FIG. 16 is a diagram showing an example of communication processing when a website is opened (S111 to S118).
webサイトを開いている際に、共有(ないし、送信)を選択した場合、webサイトのアドレスを送出する。
受信側では、webサイトを受信すると、webサイトアクセス用の情報を同一セッションの付属情報として連結し、新しいスクリーン上にて、アクセスしたwebサイトを表示する。最後に付属した情報である場合、webサイトの表示用のスクリーンのサイズを音声比に対応させた大きさに設定する。他のスクリーンは最小のサイズにする。
音ファイルを送信とした場合、音ファイルと、再生タイミングを送出し、送信側、受信側にて、前記再生タイミングに合わせて、音ファイルを再生する(同期再生を要求している場合)。
受信側では、音ファイルに対して、表示する画像、情報などの付属情報がない場合、再生用のソフトを操作可能なサイズにて、新たなスクリーン上に表示する。他のスクリーンは最小のサイズにする。
When sharing (or sending) is selected while the website is open, the website address is sent out.
When the receiving side receives the website, it links the information for accessing the website as the attached information of the same session, and displays the accessed website on a new screen. If it is the last information attached, set the size of the screen for displaying the website to the size corresponding to the audio ratio. Other screens should be the smallest size.
When a sound file is transmitted, the sound file and the reproduction timing are transmitted, and the transmission side and the reception side reproduce the sound file in accordance with the reproduction timing (when synchronous reproduction is requested).
On the receiving side, when there is no attached information such as an image or information to be displayed for the sound file, the playback software is displayed on a new screen in a size that allows operation of the playback software. Other screens should be the smallest size.
図17は、webサイトのアドレス送出に対して、受信側が拒否をした場合の通信処理例を示す図である(S121〜S125)。 FIG. 17 is a diagram showing an example of communication processing when the receiving side refuses to send a website address (S121 to S125).
webサイトのアドレス送出に対して、受信側が拒否をした場合に、送信側は、現在表示中のwebサイトを画像保存し、再度、画像としての送信を試みる。
受信側にて、画像受信を許可した場合に、画像が送出され、受信側にて、新たなスクリーン上に画像を再生される。
When the receiving side rejects the sending of the website address, the sending side saves an image of the currently displayed website and tries to send it again as an image.
When image reception is permitted on the receiving side, the image is transmitted, and the image is reproduced on a new screen on the receiving side.
なお、以上、画像ファイル、音声ファイル、webサイトなどの送出、受信に関しては、先に再生要求にて、送信元のアドレスと、それに伴う接続ポートの確認、および認証キー、暗号化キーなどの交換などを行っておくことにより、関係ない端末から送出されてきたファイル(ストリーミングなどを含む)、webサイトの再生を行うことを排除する。
これにより、関係端末からの不特定多数への広告、勧誘などの情報配信を排除することが可能となる。また、音声通話している相手であっても、送信要求に対して、拒否を行うことを可能とすることにより、不要と推測される情報の受信を防ぐことが可能となる。
なお、送信側、受信側にて、選択的にスクリーンを選択することにより、スクリーンサイズをコントロールすることも可能となる。
As for the sending and receiving of image files, audio files, websites, etc., the sender's address and the associated connection port are confirmed, and the authentication key and encryption key are exchanged. By doing so, it eliminates the playback of files (including streaming) and websites sent from unrelated terminals.
As a result, it is possible to eliminate information distribution such as advertisements and solicitations from the related terminals to the unspecified majority. In addition, even if the other party is making a voice call, it is possible to prevent reception of information that is estimated to be unnecessary by enabling the transmission request to be rejected.
Note that the screen size can be controlled by selectively selecting a screen on the transmission side and the reception side.
図18は、通信処理時のスクリーンの表示形態例を示す図である。 FIG. 18 is a diagram illustrating an example of a screen display form during communication processing.
スクリーンの外枠は、一緒に通話をしているグループに所属するスクリーンは、同一の色とする。
異なるグループの場合、スクリーンの外枠は、基本的には異なる色とする。
音声を送っていないグループの場合、そのグループに所属するスクリーンの外枠は、音声を送信していないことが明示的に分かるように通常と異なる色(たとえば淡色化する)ないし太さにする。
また、スクリーン内の画像が淡色化、霧がかかったような画像など、変化させる。
着信があった場合には、着信が明示的に分かるように、スクリーンを変化させる。たとえば、スクリーンのサイズを大きく、小さく振動、外枠の色を点滅させる。
第3者の通話への参加は、双方と通信を行っている端末から操作を行う。既存のグループに対して、着呼要求(発呼元を識別する識別子、認証キー)を送出するとともに、新規に参加する端末に対して、発呼要求(発呼先を識別する識別子、認証キー)を送出する。
新規に参加する端末は、前記発呼要求に従って、記載された発呼先に発呼する。既存の端末は、前記新規の端末からの発呼に対して、着呼動作を行い、認証キーが一致している場合、接続する。
認証キーが異なる場合、即座に切断する。接続が完了した場合、接続を促した端末は、新規参加端末からの接続完了の情報に基づいて、新規端末を参加完了と判断する。なお、既存端末においては、前記着呼動作における認証キーに基づいて、同グループへの参加完了とする。
自端末のカメラにて撮像した画像を画面上に表示する場合、スクリーンのサイズは、音声に依存せずに、一定の大きさとする。なお、自端末の映像であることが明示的に分かるように、スクリーンの外枠の色、太さを設定する。また、他のスクリーンのサイズ演算においては、自スクリーンの外枠を壁と同様の扱いにする。
The outer frame of the screen is the same color for the screens belonging to the group that is talking together.
For different groups, the outer frame of the screen is basically a different color.
In the case of a group that does not send audio, the outer frame of the screen that belongs to the group has a color (for example, lightened) or a thickness different from normal so that it can be clearly seen that no audio is being transmitted.
In addition, the image on the screen is changed to light-colored or foggy image.
If there is an incoming call, the screen is changed so that the incoming call is clearly identified. For example, the screen size is increased, the vibration is reduced, and the color of the outer frame is blinked.
Participation in a third party's call is performed from a terminal communicating with both parties. A call request (an identifier for identifying a call destination, an authentication key) is sent to an existing group, and a call request (an identifier for identifying a call destination, an authentication key) is sent to a newly participating terminal. ).
The newly joining terminal calls the described call destination according to the call request. The existing terminal performs an incoming call operation for a call from the new terminal, and connects when the authentication keys match.
If the authentication key is different, disconnect immediately. When the connection is completed, the terminal that prompted the connection determines that the new terminal has completed participation based on the connection completion information from the new participation terminal. In the existing terminal, participation in the group is completed based on the authentication key in the incoming call operation.
When an image captured by the camera of its own terminal is displayed on the screen, the size of the screen is set to a constant size without depending on sound. In addition, the color and thickness of the outer frame of the screen are set so that it can be clearly seen that the video is from the terminal itself. In the calculation of the size of other screens, the outer frame of the own screen is handled in the same manner as the wall.
図19は、前時間の受信側のスクリーンサイズ情報に基づいて、送信画像の符号化率を制御する通信処理例を示す図である。 FIG. 19 is a diagram illustrating an example of communication processing for controlling the coding rate of a transmission image based on the screen size information on the reception side of the previous time.
前時間の受信側のスクリーンサイズ情報に基づいて、送信画像の符号化率を制御することにより、受信端末にて受信する符号量の合計が著しく大きくなることを防ぐ。
受信側のスクリーンサイズに応じて、2つ以上にサイズに分類する。サイズの最も大きいサイズに合わせて符号化する。小さいサイズに対しては、符号化データを間引いて送信する。
たとえば、サイズの最も大きさサイズに対しては、Iピクチャ(フレーム内符号化)、Pピクチャ(フレーム間順方向予測符号化)、Bピクチャ(フレーム間双方向予測符号化)全てを送出する。
これに対して、1つ下のサイズに対しては、Bピクチャを間引く、更に小さいサイズに対しては、Bピクチャ、Pピクチャを間引くことによって、送信する符号量を低減する。また、符号化する画像のサイズに対しては、受信側のスクリーンの最大サイズに合わせるのではなく、最大サイズに対して、アップサンプリングすることによって、最大サイズのスクリーンにて視覚的に補間可能なサイズなサイズに抑える(たとえば、アップサンプリングを面積比2倍以下に押さえることにより、アップサンプリングによるエイリアシングを低減することが可能である)。
By controlling the coding rate of the transmission image based on the screen size information on the receiving side at the previous time, it is possible to prevent the total amount of codes received at the receiving terminal from becoming extremely large.
Depending on the screen size on the receiving side, it is classified into two or more sizes. Encode according to the largest size. For small sizes, the encoded data is thinned out and transmitted.
For example, for the largest size, I picture (intra-frame coding), P picture (inter-frame forward prediction coding), and B picture (inter-frame bi-directional prediction coding) are all transmitted.
On the other hand, the code amount to be transmitted is reduced by thinning out the B picture for the next lower size and by thinning out the B picture and the P picture for the smaller size. Also, the size of the image to be encoded is not adjusted to the maximum size of the screen on the receiving side, but can be visually interpolated on the maximum size screen by upsampling the maximum size. The size is suppressed to a small size (for example, it is possible to reduce aliasing due to upsampling by suppressing upsampling to an area ratio of 2 times or less).
実際には、顔画像を送出する場合は、全撮像画像の内、顔のエリアのみを符号化することにより、背景などの送信上、不要エリアを削減することにより、符号化効率を上げることが可能となる。
換言すれば、符号化する画像において、顔が大きくなり、変化分の大きい背景が少なくなることにより、符号量を増大させる高周波成分を低減させ、結果的に符号量を低減することが可能となる。
結果的に送信側の符号化処理の負担を増大させることなく、個々の端末に送出する符号化データを生成することが可能であるとともに、個々の端末にて受信する符号化データ容量の増大を抑え、ネットワークへの負荷の増大を低減することが可能となる。
Actually, when transmitting a face image, encoding efficiency can be improved by encoding only the face area of all captured images and reducing unnecessary areas for transmission of the background. It becomes possible.
In other words, in the image to be encoded, the face becomes large and the background with a large amount of change is reduced, so that it is possible to reduce the high frequency component that increases the code amount and consequently reduce the code amount. .
As a result, it is possible to generate encoded data to be transmitted to individual terminals without increasing the burden of encoding processing on the transmission side, and to increase the encoded data capacity received at each terminal. It is possible to suppress the increase in the load on the network.
図19(1)では、ユーザ端末UAのユーザが一人話している状態であり、ユーザ端末UB、UCにおけるユーザ端末UAのスクリーンサイズは、同じ程度に大きい。
このため、このサイズに合わせて、ユーザ端末UAは符号化した画像を送出する。
これに対しては、ユーザ端末UBのスクリーンは、ユーザ端末UAでは、中ぐらいの大きいであるのに対して、ユーザ端末UCでは、非常に小さい。このため、ユーザ端末UA用とユーザ端末UC用の画像データとして送出する。ユーザ端末UA用の方が大きいため、これに合わせて符号化する。ユーザ端末UCに対しては、Iピクチャのみ(ないしは、更にIピクチャをも間引いた)符号化データを送出する。
In FIG. 19 (1), the user of the user terminal UA is talking alone, and the screen size of the user terminal UA in the user terminals UB and UC is almost the same.
For this reason, the user terminal UA sends an encoded image in accordance with this size.
On the other hand, the screen of the user terminal UB is moderately large at the user terminal UA, whereas it is very small at the user terminal UC. For this reason, it sends out as image data for the user terminal UA and the user terminal UC. Since the user terminal UA is larger, encoding is performed accordingly. To the user terminal UC, encoded data is transmitted only for I pictures (or further, I pictures are also thinned out).
図19(3)の場合、ユーザ端末UB、UCにおけるユーザ端末UAのスクリーンサイズは、アップサンプリングして再生しても視覚的に(ノイズによる)不快感が発生しないと判断した場合、小さい方のサイズに合わせて符号化データを送出する。
同様に、ユーザ端末UA、UBにおけるユーザ端末UCのスクリーンサイズにおいても、同様に、アップサンプリングして再生しても視覚的に(ノイズによる)不快感が発生しないと判断した場合、小さい方のサイズに合わせて符号化データを送出する。
In the case of FIG. 19 (3), the screen size of the user terminal UA in the user terminals UB and UC is smaller when it is determined that visual discomfort (due to noise) does not occur even when up-sampled and reproduced. Send encoded data according to the size.
Similarly, regarding the screen size of the user terminal UC in the user terminals UA and UB, similarly, if it is determined that there is no visual discomfort (due to noise) even when upsampling and playback are performed, the smaller size is used. Encoded data is sent in time.
再生スクリーンのサイズが、差異がアップサンプリングにて吸収可能な範囲(ex.面積比2倍以内)である場合、同一のサイズとし、小さい方のスクリーンサイズに合わして符号化処理を行う。
スクリーンサイズの変動に伴う符号化方式に対応して、Iピクチャ(フレーム内符号化)単位に、スクリーンサイズの変更を行う。
また、Pピクチャ(フレーム間順方向予測符号化)でのスクリーンサイズの変動がある場合、予測画像を現在のサイズ変更した画像に合わせてアップサンプリング、ないしダウンサンプリングし、この間でフレーム間予測処理を行う。受信側では、同様に、予測画像をアップサンプリング、ないしダウンサンプリングして、復号する。
When the size of the playback screen is within a range in which the difference can be absorbed by upsampling (ex. Area ratio is within 2 times), the size is the same, and encoding processing is performed in accordance with the smaller screen size.
The screen size is changed in units of I picture (intra-frame coding) in accordance with the encoding method associated with the screen size variation.
In addition, when there is a variation in screen size in a P picture (interframe forward prediction encoding), the predicted image is upsampled or downsampled according to the current size-changed image, and the interframe prediction process is performed during this period. Do. On the receiving side, similarly, the predicted image is decoded by upsampling or downsampling.
以上説明したように、本実施形態によれば、送信元となるエンコード装置20は、送信元は、画面上、指示した位置にスクリーンが存在する場合、対応する指示情報、スクリーン情報、音量情報を生成し、同通信中の相手に対して送出する機能を有し、デコード装置30は、マルチスクリーンを表示する機能を有し、スクリーン中心間を結ぶ線分、基準形状の厚さ、音声の大きさに基づいて、スクリーンの表示倍率を算出し、この表示倍率に基づいてスクリーンの移動、新規生成を制御することにより、画面上に複数のスクリーンを最適に形成し、通信情報として、同一端末からの別セッションは、同一端末の下位情報として付加し、画像を表示する表示エリアサイズは、最も下位に位置する情報にかかわる表示エリアを注目すべき表示エリアと判断し、対応する表示エリアに制御する機能を有することから、スクリーンのサイズが、音量の大きさ、およびスクリーン数に応じて、適応的にサイズを変動させることができる。
また、スクリーンの動きが連続的になり、異なる形状であっても、最適なサイズに配置することが可能となる利点がある。
また、送信者が見せたい画像ファイルを送信した際に、送信者が何ら新たな操作を追加することなく、(また、送信者が声を発すことなく、)受信側では即座にその画像(スクリーンサイズ)を大きく見せることが可能となる。
また、ファイルと一緒に再生開始時刻の情報を送出することにより、送信側、受信側にて同タイミングで再生することが可能となる。
2者から3者の場合、双方に接続する端末から双方に認証キーを発行し、これに基づいて即座に接続することを可能とする。
As described above, according to the present embodiment, the
In addition, there is an advantage that the movement of the screen becomes continuous, and even when the shapes are different, it can be arranged in an optimum size.
Also, when the sender sends an image file that the sender wants to show, the sender can immediately add that image (screen without any additional operation) (and the sender does not speak). (Size) can be shown larger.
Also, by transmitting the information of the reproduction start time together with the file, it becomes possible to reproduce at the same timing on the transmission side and the reception side.
In the case of two to three parties, an authentication key is issued to both sides from a terminal connected to both sides, and it is possible to immediately connect based on this.
10・・・携帯通信端末、20・・・エンコード装置、201・・・音声入力部、202・・・画像入力部、203・・・操作部、204・・・音声符号化処理部、205・・・画像符号化処理部、206・・・天地補正部、207・・・顔エリア検出部、208・・・スクリーン判定部、209・・・切り出し処理部、210・・・入力音量計測部、211・・・端末制御部、212・・・制御情報生成部、213・・・記憶部、214・・・送信パケット生成部、215・・・ネットワークインタフェース(I/F)、30・・・デコード装置、301・・・ネットワークインタフェース(I/F)、302・・・操作部、303・・・受信パケット解析部、304・・・音声復号処理部、305・・・映像復号処理部、306・・・表示画像制御部、307・・・音量修正部、308・・音声出力部、309・・・画像補正部、310・・・表示部(画像出力部)、311・・・自端末制御部、3061・・・制御情報解析部、3062・・・マスキング処理部、3063・・・表示倍率算出判定部、3064・・・縮小・拡大処理部、3065・・・表示位置算出部、3066・・・マッピング。
DESCRIPTION OF
Claims (21)
画像を表示する表示手段と、
前記表示手段に表示する複数の表示エリアを形成して画像を表示可能で、受信音量に基づいて表示すべき画像のサイズを相互に制御する制御手段と、を有し、
前記制御手段は、
同一端末からの別セッションにかかわり、前記表示手段に表示されている表示エリアを、サイズを制御する表示エリアとして制御する
通信端末。 A communication terminal capable of transmitting and receiving image data and audio data and capable of reproducing received image data and audio data,
Display means for displaying an image;
Control means for forming a plurality of display areas to be displayed on the display means and capable of displaying an image, and controlling the sizes of images to be displayed based on reception volume;
The control means includes
Ri involved in another session from the same terminal, the display area that are displayed on the display unit, a communication terminal for controlling the display area to control the size.
請求項1記載の通信端末。 The communication terminal according to claim 1, wherein the control means minimizes other display areas.
請求項1または2記載の通信端末。 When there is an incoming call, the control means reads out an image corresponding to the number of the called party from the memory and newly generates an image on the display area, and the display area uses a color assigned to the outer frame for the incoming call. The communication terminal according to claim 1, wherein the outer frame has a large and small amplitude, and the color varies or blinks.
請求項1から3のいずれか一に記載の通信端末。 The control means does not depend on the voice input by the voice input means of the terminal itself, and the size of the display area for displaying the image captured by the terminal is set to a constant size, for behavior calculation of other display areas. The communication terminal according to any one of claims 1 to 3, wherein an outer frame of the display area is handled in the same manner as a wall in the outer frame of the screen.
請求項1から4のいずれか一に記載の通信端末。 The control means controls so that the color of the outer frame of the display area that is transmitting audio acquired by the terminal is different from the color of the outer frame of the display area that is not transmitting audio. 4. The communication terminal according to any one of 4.
請求項1から5のいずれか一に記載の通信端末。 The communication terminal according to any one of claims 1 to 5, wherein the control unit controls a coding rate of a transmission image based on a display area size on a reception side at a previous time.
前記通信端末は、
画像を表示する表示手段と、
前記表示手段に表示する複数の表示エリアを形成して画像を表示可能で、受信音量に基づいて表示すべき画像のサイズを相互に制御する制御手段と、を有し、
前記制御手段は、
同一端末からの別セッションにかかわり、前記表示手段に表示されている表示エリアを、サイズを制御する表示エリアとして制御する
通信システム。 A communication system capable of transmitting and receiving image data and audio data and performing communication between a plurality of communication terminals capable of reproducing received image data and audio data,
The communication terminal is
Display means for displaying an image;
Control means for forming a plurality of display areas to be displayed on the display means and capable of displaying an image, and controlling the sizes of images to be displayed based on reception volume;
The control means includes
Ri involved in another session from the same terminal, the display area that are displayed on the display unit, a communication system for controlling a display area to control the size.
請求項7記載の通信システム。 Regarding the file display and playback, when the transmission side requests synchronous playback, the file is transferred and the playback start time information is transmitted, and the transmission side and the reception side send the file according to the playback start time. The communication system according to claim 7 for reproduction.
撮像機能と、を有し、
通話時に、撮像機能の操作に基づいて、撮像画像のストリーミング送信の有無を表示し、許可された場合、現在通話している通話先に、ストリーミングの再生要求を送出し、受信側が再生を許可した場合に、当該再生許可に基づいて、ストリーミング配信を開始し、受信側の前記制御手段は、新たなスクリーンを生成し、受信ストリーミングを再生する
請求項7または8記載の通信システム。 Call function,
An imaging function;
When a call is made, the presence or absence of streaming transmission of the captured image is displayed based on the operation of the imaging function, and if permitted, a streaming playback request is sent to the currently talking destination, and the receiving side permits playback. 9. The communication system according to claim 7, wherein streaming control is started based on the reproduction permission, and the control unit on the receiving side generates a new screen and reproduces the received streaming.
撮像機能と、を有し、
通話時に、撮像機能にて静止画像を撮影した場合、静止画像の送信有無を表示し、許可された場合、現在通話している通話先に、画像の再生要求を送出し、受信側が再生を許可した場合に、当該再生許可に基づいて、画像を送出し、受信側の前記制御手段は新たな表示エリアを生成し、受信画像を再生する
請求項7または8記載の通信システム。 Call function,
An imaging function;
When a still image is taken with the imaging function during a call, the presence / absence of transmission of the still image is displayed. If permitted, an image playback request is sent to the other party who is currently talking, and the receiving side permits playback. 9. The communication system according to claim 7, wherein, in a case where an image is transmitted, an image is transmitted based on the reproduction permission, and the control unit on the receiving side generates a new display area and reproduces the received image.
請求項7から10のいずれか一に記載の通信システム。 8. When the reproduction display area is closed on the transmission side, a message to that effect is sent to the reception side, the display area reproducing the information corresponding to the closed display area is closed, and the corresponding information is deleted. The communication system according to any one of 1 to 10.
請求項7記載の通信システム。 The communication system according to claim 7, wherein the control means makes the display area belonging to the same simultaneous call group have the same color and thickness of the outer frame of the display area on the screen.
請求項7から12のいずれか一に記載の通信システム。 When there is an incoming call, the control means reads out an image corresponding to the number of the called party from the memory and newly generates an image on the display area, and the display area uses a color assigned to the outer frame for the incoming call. The communication system according to any one of claims 7 to 12, wherein the outer frame has a large and small amplitude, and the color varies or blinks.
請求項7から12のいずれか一に記載の通信システム。 The control means does not depend on the voice input by the voice input means of the terminal itself, and the size of the display area for displaying the image captured by the terminal is set to a constant size, for behavior calculation of other display areas. The communication system according to any one of claims 7 to 12, wherein the outer frame of the display area is handled in the same manner as a wall in the outer frame of the screen.
請求項7から14のいずれか一に記載の通信システム。 The control means performs control so that the color of the outer frame of the display area that is transmitting audio acquired by the terminal is different from the color of the outer frame of the display area that is not transmitting audio. 14. The communication system according to any one of 14.
請求項7から15のいずれか一に記載の通信システム。 The communication system according to any one of claims 7 to 15, wherein the control unit controls a coding rate of a transmission image based on a display area size on a reception side at a previous time.
送出したサイズより小さいサイズに対しては、符号化データから、Bピクチャを除いたIピクチャ、Pピクチャを送出し、
さらに小さいサイズに対しては、符号化データから、Pピクチャ、Bピクチャを除いたIピクチャのみを送出し、
さらに小さいサイズに対しては、符号化データから、Pピクチャ、Bピクチャを除き、Iピクチャを間引いたデータを送出する
請求項7から15のいずれか一に記載の通信システム。 Depending on the display area size on the receiving side that receives and reproduces the same image, it is encoded according to the size with the largest occupation ratio on the screen, and all of the I picture, P picture, and B picture are transmitted,
For sizes smaller than the sent size, send out I and P pictures excluding B pictures from the encoded data,
For even smaller sizes, send only I pictures excluding P and B pictures from the encoded data,
The communication system according to any one of claims 7 to 15, wherein for a smaller size, data obtained by excluding P pictures and B pictures from the encoded data and thinning out I pictures is transmitted.
請求項17記載の通信システム。 The communication system according to claim 17, wherein the control means treats the display area size as the same size when the display area size is a range that does not generate visually unpleasant noise in the upsampling.
請求項17または18記載の通信システム。 19. The communication system according to claim 17, wherein the control unit handles a change in coding size accompanying a change in display area size in units of I pictures.
請求項7から19のいずれか一に記載の通信システム。 The encoding size change is performed by sampling the predicted image to the current size and performing inter-frame prediction, and similarly sampling and decoding the predicted image on the receiving side in accordance with the display area size change. The communication system according to any one of the above.
表示手段に表示する複数の表示エリアを形成して画像を表示するステップと、
受信音量に基づいて表示すべき画像のサイズを相互に制御するステップと、を有し、
同一端末からの別セッションにかかわり、前記表示手段に表示されている表示エリアを、サイズを制御する表示エリアとして制御する
通信端末の表示方法。 A display method of a communication terminal capable of transmitting and receiving image data and audio data and capable of reproducing received image data and audio data,
Forming a plurality of display areas to be displayed on the display means and displaying an image;
Mutually controlling the size of the image to be displayed based on the reception volume,
Ri involved in another session from the same terminal, the display area that are displayed on the display unit, the display method of a communication terminal for controlling the display area to control the size.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005344756A JP4994646B2 (en) | 2005-11-29 | 2005-11-29 | Communication terminal, communication system, and communication terminal display method |
US12/095,489 US8487956B2 (en) | 2005-11-29 | 2006-11-29 | Communication terminal, system and display method to adaptively update a displayed image |
PCT/JP2006/323857 WO2007063922A1 (en) | 2005-11-29 | 2006-11-29 | Communication terminal and communication system, and display method of communication terminal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005344756A JP4994646B2 (en) | 2005-11-29 | 2005-11-29 | Communication terminal, communication system, and communication terminal display method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007150921A JP2007150921A (en) | 2007-06-14 |
JP4994646B2 true JP4994646B2 (en) | 2012-08-08 |
Family
ID=38211756
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005344756A Expired - Fee Related JP4994646B2 (en) | 2005-11-29 | 2005-11-29 | Communication terminal, communication system, and communication terminal display method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4994646B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10044976B2 (en) | 2015-07-28 | 2018-08-07 | Ricoh Company, Ltd. | Information processing apparatus, image display method, and communications system |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009093557A1 (en) * | 2008-01-25 | 2009-07-30 | Sharp Kabushiki Kaisha | Multi-screen display |
JP2010004477A (en) | 2008-06-23 | 2010-01-07 | Canon Inc | Communication apparatus, control method thereof, and program |
JP2015126457A (en) | 2013-12-27 | 2015-07-06 | ブラザー工業株式会社 | Program for server device, server device, and remote conference method |
JP2015126456A (en) | 2013-12-27 | 2015-07-06 | ブラザー工業株式会社 | Program for communication terminal device, communication terminal device, program for server device, and remote conference system |
JP6493443B2 (en) * | 2017-03-31 | 2019-04-03 | キヤノンマーケティングジャパン株式会社 | Image display system, image display system control method, information processing apparatus, information processing apparatus control method, and program |
US10372298B2 (en) | 2017-09-29 | 2019-08-06 | Apple Inc. | User interface for multi-user communication session |
CN110457104A (en) * | 2018-05-07 | 2019-11-15 | 苹果公司 | Multi-player real time communication user interface |
DK180130B1 (en) | 2018-05-07 | 2020-06-02 | Apple Inc. | Multi-participant live communication user interface |
US11128792B2 (en) | 2018-09-28 | 2021-09-21 | Apple Inc. | Capturing and displaying images with multiple focal planes |
US11513667B2 (en) | 2020-05-11 | 2022-11-29 | Apple Inc. | User interface for audio message |
US11671697B2 (en) | 2021-01-31 | 2023-06-06 | Apple Inc. | User interfaces for wide angle video conference |
JP7111202B2 (en) * | 2021-02-04 | 2022-08-02 | ヤマハ株式会社 | SOUND COLLECTION CONTROL SYSTEM AND CONTROL METHOD OF SOUND COLLECTION CONTROL SYSTEM |
US20220368548A1 (en) | 2021-05-15 | 2022-11-17 | Apple Inc. | Shared-content session user interfaces |
US11893214B2 (en) | 2021-05-15 | 2024-02-06 | Apple Inc. | Real-time communication user interface |
US11907605B2 (en) | 2021-05-15 | 2024-02-20 | Apple Inc. | Shared-content session user interfaces |
US11812135B2 (en) | 2021-09-24 | 2023-11-07 | Apple Inc. | Wide angle video conference |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05103324A (en) * | 1991-10-09 | 1993-04-23 | Mitsubishi Electric Corp | Multi-point video conference controlling device |
EP0657833A2 (en) * | 1993-12-13 | 1995-06-14 | International Business Machines Corporation | Workstation conference pointer-user association mechanism |
JPH08298653A (en) * | 1995-04-25 | 1996-11-12 | Canon Inc | Video conference system and its terminal equipment |
JP2858554B2 (en) * | 1996-02-27 | 1999-02-17 | 日本電気株式会社 | Video conference system |
JP2002218424A (en) * | 2001-01-12 | 2002-08-02 | Mitsubishi Electric Corp | Video display controller |
JP2005303736A (en) * | 2004-04-13 | 2005-10-27 | Ntt Communications Kk | Video display method of video conference system, user terminal used with video conference system, and program therefor |
JP2005348144A (en) * | 2004-06-03 | 2005-12-15 | Sharp Corp | Information terminal device, method and program for shared media data exhibition |
-
2005
- 2005-11-29 JP JP2005344756A patent/JP4994646B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10044976B2 (en) | 2015-07-28 | 2018-08-07 | Ricoh Company, Ltd. | Information processing apparatus, image display method, and communications system |
Also Published As
Publication number | Publication date |
---|---|
JP2007150921A (en) | 2007-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4994646B2 (en) | Communication terminal, communication system, and communication terminal display method | |
US8487956B2 (en) | Communication terminal, system and display method to adaptively update a displayed image | |
JP6022618B2 (en) | Region of interest extraction for video telephony | |
JP5450574B2 (en) | Region of interest processing for video telephony | |
EP2761809B1 (en) | Method, endpoint, and system for establishing a video conference | |
US9024997B2 (en) | Virtual presence via mobile | |
US7508413B2 (en) | Video conference data transmission device and data transmission method adapted for small display of mobile terminals | |
ES2327288T3 (en) | SYSTEM, METHOD AND NODE TO LIMIT THE NUMBER OF AUDIO FLOWS IN A TELECONFERENCE. | |
WO2015176569A1 (en) | Method, device, and system for presenting video conference | |
WO2012075937A1 (en) | Video call method and videophone | |
JP2005123804A (en) | Communication system and method | |
EP1139663A2 (en) | Communication method, communication service apparatus, communication terminal device and communication system | |
JP4973908B2 (en) | Communication terminal and display method thereof | |
JP5274750B2 (en) | Communication terminal and display method thereof | |
JP2007251501A (en) | Teleconference system and teleconferencing method | |
JP4990520B2 (en) | Communication terminal and display method thereof | |
JP4832869B2 (en) | Communication terminal and display method thereof | |
JP2008067078A (en) | Portable terminal apparatus | |
JP2008306475A (en) | Voice and image conference device | |
JP2005348144A (en) | Information terminal device, method and program for shared media data exhibition | |
JP4926464B2 (en) | Communication terminal and display method thereof | |
JP2005110045A (en) | Information processor and method thereof | |
JP2023026844A (en) | Video recording system, video recording playback device and image processing method | |
JP2010004573A (en) | Communication terminal, and display method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080902 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110524 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110906 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120117 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120319 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120417 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120509 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150518 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |