JP4613118B2

JP4613118B2 - Mobile phone

Info

Publication number: JP4613118B2
Application number: JP2005260293A
Authority: JP
Inventors: 稔之日下
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2005-09-08
Filing date: 2005-09-08
Publication date: 2011-01-12
Anticipated expiration: 2025-09-08
Also published as: JP2007074476A

Description

ＴＶ電話機能を備えた携帯電話機に関する。 The present invention relates to a mobile phone having a TV phone function.

現在、携帯電話機にはＴＶ電話機能を備えたものがある。この携帯電話機は、カメラを備えており、そのカメラで撮影された映像を通信相手の携帯電話機に送信し、また、通信相手の携帯電話機から相手画像を入手してその画像を表示しながら通話を行う。
特許文献１には、ＴＶ電話実行時に相手画像とともに相手の位置を示した地図も共に表示する携帯電話機が開示されている。
特開２００４−２２８８０５号公報 Currently, some mobile phones have a TV phone function. This mobile phone is equipped with a camera, transmits video captured by the camera to the mobile phone of the communication partner, obtains the partner image from the mobile phone of the communication partner, and makes a call while displaying the image. Do.
Patent Document 1 discloses a mobile phone that displays a map showing a partner's position together with a partner image when a TV phone is executed.
JP 2004-228805 A

ところで、ＴＶ電話を実行しているときに表示される画像は、実際には複数のプレーンを合成して生成されている。この複数のプレーンは、例えば、表示枠を表示するためのプレーンとその枠に表示する写真のプレーンなどがあり、それらを合成して一つのプレーンを得て表示する。各プレーンは基本的に同じサイズである。
ＴＶ電話においては、相手の画像を表示するための新たな映像が通信相手から送信されてくるたびに、通信相手の画像を表示するプレーンが更新され、その他のプレーンとの合成が発生する。この合成は、相手画像を表示する領域とそれ以外のプレーンとで表示する画像の座標位置が重なる場合において発生する。この場合、相手画像が更新されるたびに、プレーン合成が発生するので携帯電話機のＣＰＵの負荷が増大し、例えば、相手画像の動画が滑らかに表示されなくなるなどといった問題が発生する。 By the way, the image displayed when the TV phone is executed is actually generated by combining a plurality of planes. The plurality of planes include, for example, a plane for displaying a display frame and a photo plane to be displayed on the frame, and these are combined to obtain one plane for display. Each plane is basically the same size.
In a videophone, each time a new video for displaying an image of the other party is transmitted from the other party, the plane for displaying the other party's image is updated, and synthesis with the other plane occurs. This composition occurs when the coordinate position of the image to be displayed overlaps with the area for displaying the partner image and the other planes. In this case, plane compositing occurs each time the partner image is updated, so that the load on the CPU of the mobile phone increases. For example, a moving image of the partner image cannot be displayed smoothly.

そこで、ＴＶ電話機能を実行していてもＣＰＵの負荷を抑えることができる携帯電話機を提供することを目的とする。 An object of the present invention is to provide a mobile phone that can suppress the load on the CPU even when the TV phone function is executed.

上記課題を解決するため、本発明に係る携帯電話機は、ＴＶ電話機能を備えた携帯電話機であって、実行対象機能に応じて定められる第１プレーンと第２プレーンとをレイヤ合成して合成プレーンを生成する合成手段と、前記合成プレーンを表示する表示手段と、ＴＶ電話機能の実行時において、動画を表示する領域を含む画像を第１プレーンとして定め、当該ＴＶ電話機能に関連する状態を示すアイコンを含む画像を第２プレーンとして定め、前記第２プレーンを、前記第１プレーンにおける前記動画を表示する領域に重ならないサイズに変更して前記合成手段に合成させるよう制御する合成制御手段とを備えることを特徴としている。 In order to solve the above problems, a mobile phone according to the present invention is a mobile phone having a TV phone function, and a composite plane is obtained by layer-combining a first plane and a second plane determined according to a function to be executed. And a display means for displaying the composite plane, and an image including an area for displaying a moving image is defined as the first plane when the TV telephone function is executed, and indicates a state related to the TV telephone function. An image including an icon is defined as a second plane, and the second plane is changed to a size that does not overlap an area for displaying the moving image in the first plane, and a combining control unit is configured to control the combining unit to combine the images. It is characterized by providing.

ここでレイヤ合成とは、複数の画像を所定の順序で重ね合わせるように合成することであり、例えば背景となる画像の上に別の画像を重ね合わせるときに用いられる画像合成方法である。
また、ここでいうプレーンとは、レイヤ合成の対象となる、所定のサイズを有する画像である。 Here, the layer synthesis is to combine a plurality of images so as to overlap each other in a predetermined order, and is an image combining method used when, for example, another image is overlapped on the background image.
Further, the plane here is an image having a predetermined size, which is an object of layer synthesis.

上述のような構成によって、ＴＶ電話機能を実行中において、通信相手画像あるいは自画像などの動画が更新されるとき、アイコン表示用プレーンと動画を表示する領域とが重ならないので、合成をすることなく画像の更新が行われる。これによって合成が発生しないので、その分ＣＰＵの負荷が従来のものよりも軽減する。
また、ＴＶ電話機能を備えた携帯電話機における、ＴＶ電話機能実行時における画像を表示するための複数のプレーンを合成するレイヤ合成方法であって、ＴＶ電話機能の実行中において、動画を表示する領域を含む画像を第１プレーンとして定め、当該ＴＶ電話機能に関連する状態を示すアイコンを含む画像を第２プレーンとして定め、前記第２プレーンを、前記第１プレーンにおける前記動画を表示する領域に重ならないサイズに変更して合成する合成ステップと、前記合成ステップで合成されて生成された合成プレーンを表示する表示ステップとを含むこととしてよい。 With the configuration as described above, when a moving image such as a communication partner image or a self-portrait is updated while the TV phone function is being executed, the icon display plane does not overlap with the region for displaying the moving image. The image is updated. As a result, no synthesis occurs, and accordingly, the load on the CPU is reduced as compared with the conventional one.
Further, in a mobile phone having a TV phone function, a layer composition method for combining a plurality of planes for displaying an image at the time of executing the TV phone function, an area for displaying a moving image during execution of the TV phone function Is defined as a first plane, an image including an icon indicating a state related to the videophone function is defined as a second plane, and the second plane is overlapped with an area for displaying the moving image in the first plane. It is good also as including the synthetic | combination step which changes and synthesize | combines to the size which should not be, and the display step which displays the synthetic | combination plane produced | generated by the said synthetic | combination step.

この方法をとることにより、携帯電話機は、ＴＶ電話を実行している場合においても、無用に合成処理が発生せず、ＣＰＵの負荷を抑えることができる。
また、ＴＶ電話機能を備えた携帯電話機のコンピュータに実行させる、ＴＶ電話機能実行時における画像を表示するための複数のプレーンを合成する処理手順を示したレイヤ合成プログラムであって、前記処理手順は、ＴＶ電話機能の実行中において、動画を表示する領域を含む画像を第１プレーンとして定め、当該ＴＶ電話機能に関連する状態を示すアイコンを含む画像を第２プレーンとして定め、前記第２プレーンを、前記第１プレーンにおける前記動画を表示する領域に重ならないサイズに変更して合成する合成ステップと、前記合成ステップで合成されて生成された合成プレーンを表示する表示ステップとを含むこととしてよい。 By adopting this method, the cellular phone does not unnecessarily generate a synthesizing process even when a TV phone is being executed, and the load on the CPU can be suppressed.
A layer composition program showing a processing procedure for synthesizing a plurality of planes for displaying an image when the TV phone function is executed, which is executed by a computer of a mobile phone having a TV phone function. During execution of the TV phone function, an image including an area for displaying a moving image is defined as a first plane, an image including an icon indicating a state related to the TV phone function is defined as a second plane, and the second plane is defined. The composition step may include a composition step of combining the first plane with a size that does not overlap the area where the moving image is displayed, and a display step of displaying the composition plane generated by the composition step.

このプログラムを読み込んで実行することで、携帯電話機のコンピュータは、第２プレーンのサイズを小さくして、動画表示領域と重ならないようにすることで無用の合成が発生することを抑え、その結果ＣＰＵの負荷を抑えることができる。 By reading and executing this program, the computer of the mobile phone reduces the size of the second plane and prevents it from overlapping the moving image display area, thereby suppressing the occurrence of unnecessary compositing. Can reduce the load.

以下、本発明の一実施形態である携帯電話機について図面を用いながら説明する。
＜概要＞
本願発明の内容の概要について、図１を用いて従来技術との比較を行いながら説明する。
本願発明は、携帯電話機においてＴＶ電話機能を実行している場合において携帯電話機のディスプレイに表示する画像を生成する場合に、複数のプレーンを合成して得られた画像の画素データをフレームバッファに格納して表示する。 Hereinafter, a mobile phone according to an embodiment of the present invention will be described with reference to the drawings.
<Overview>
An outline of the contents of the present invention will be described using FIG. 1 while comparing with the prior art.
The present invention stores pixel data of an image obtained by synthesizing a plurality of planes in a frame buffer when generating an image to be displayed on a mobile phone display when a mobile phone is performing a TV phone function. And display.

図１（ａ）、（ｂ）、（ｃ）は従来の手法を示しており、図１（ａ）は、動画を表示するための動画プレーン１００であり、図１（ｂ）は、動画以外の画像を表示するためのプレーンで通常は汎用プレーンと呼ぶが、ここではアイコンを表示するのでアイコン表示用プレーン１１０という。通常、アイコンは、アイコン表示領域１１１のように表示されるのではなく、画面全体を例えば９分割して各種アイコンが表示されるため、アイコン表示用プレーン１１０のサイズは図１（ｂ）のように動画プレーン１００と同サイズになっている。 1A, 1B, and 1C show a conventional method. FIG. 1A shows a moving image plane 100 for displaying a moving image, and FIG. 1B shows a non-moving image. A plane for displaying the image is usually called a general-purpose plane, but here it is called an icon display plane 110 because an icon is displayed. Normally, the icons are not displayed as in the icon display area 111, but various icons are displayed by dividing the entire screen into nine, for example. Therefore, the size of the icon display plane 110 is as shown in FIG. It is the same size as the moving picture plane 100.

携帯電話機は、図１（ａ）の動画プレーン１００と、図１（ｂ）のアイコン表示用プレーン１１０とを合成して、図１（ｃ）に示すような合成プレーン１３０を生成して表示する。この合成処理とは、図１（ａ）の動画プレーンの画素と、図１（ｂ）のアイコン表示用プレーンの画素とで対応する座標の画素の合成を意味する。動画を表示する相手画像表示領域１０１あるいは自画像表示領域１０２が更新される場合、その領域は、アイコン表示用プレーン１１０と重なるため、必ず合成処理が行われる仕様になっている。つまり相手画像あるいは自画像が更新される場合に、その表示領域と重なるプレーンがあると合成処理が行われるのである。 The cellular phone synthesizes the moving image plane 100 in FIG. 1A and the icon display plane 110 in FIG. 1B to generate and display a synthesized plane 130 as shown in FIG. . This composition processing means composition of pixels of coordinates corresponding to the pixels of the moving image plane of FIG. 1A and the pixels of the icon display plane of FIG. When the partner image display area 101 or the self-image display area 102 for displaying a moving image is updated, the area overlaps the icon display plane 110, so that the composition processing is always performed. That is, when the partner image or the self-image is updated, if there is a plane that overlaps the display area, the composition process is performed.

しかし、本願においては、従来技術とは異なり、アイコン表示用プレーンのサイズをアイコン表示用プレーン１１０よりも小さく、且つ、動画を表示している領域である相手画像表示領域１４１及び自画像表示領域１４２に重ならないように、図１（ｅ）のアイコン表示用プレーン１５０のサイズにしている。このようにアイコン表示用プレーンのサイズを小さくして、動画プレーン１４０における相手画像表示領域１４１あるいは自画像表示領域１４２との重複を避けることで動画の更新時に画像の合成を回避することができるようになる。 However, in the present application, unlike the prior art, the size of the icon display plane is smaller than that of the icon display plane 110, and the other image display area 141 and the self-image display area 142, which are areas displaying moving images, are displayed. The size of the icon display plane 150 in FIG. 1E is set so as not to overlap. In this way, by reducing the size of the icon display plane and avoiding overlap with the counterpart image display area 141 or the self-image display area 142 in the moving picture plane 140, it is possible to avoid image synthesis when updating the moving picture. Become.

そして二つのプレーンを合成することで、図１（ｆ）に示すように、従来の図１（ｃ）と同様の画像をディスプレイ上に表示できる。
以下、本願の具体的内容についてその詳細を記す。
＜構成＞
図２は、本願発明に係る携帯電話機２００の機能構成を示したブロック図である。 Then, by synthesizing the two planes, an image similar to that of the conventional FIG. 1C can be displayed on the display as shown in FIG.
Details of the specific contents of the present application will be described below.
<Configuration>
FIG. 2 is a block diagram showing a functional configuration of the mobile phone 200 according to the present invention.

図２に示すように、携帯電話機２００は、通信部２１０と、音声処理部２２０と、撮影部２３０と、表示部２４０と、操作部２５０と、記憶部２６０と、制御部２７０とを含んで構成される。
通信部２１０は、アンテナ２１１を含んで構成され、アンテナ２１１から受け取った受信信号を受話音声信号及び受信データ信号に復調し、復調した受話音声信号を音声処理部２２０に、受信データ信号を制御部２７０に出力する機能を有する。また、音声処理部２２０からのＡ／Ｄ変換された送話音声信号、及び制御部２７０から与えられる電子メールなどの送信データ信号を変調し、アンテナ２１１から出力する機能を有する。本願においては特にＴＶ電話実行時に、撮影部２３０のカメラ２３１で撮影した映像データを通信相手に送信し、また、通信相手の映像データを受信する機能を有する。 As shown in FIG. 2, the mobile phone 200 includes a communication unit 210, an audio processing unit 220, a photographing unit 230, a display unit 240, an operation unit 250, a storage unit 260, and a control unit 270. Composed.
The communication unit 210 includes an antenna 211, demodulates the received signal received from the antenna 211 into a received voice signal and a received data signal, the demodulated received voice signal to the voice processing unit 220, and the received data signal to the control unit. 270 to output to 270. Further, it has a function of modulating the A / D-converted transmission voice signal from the voice processing unit 220 and a transmission data signal such as an electronic mail given from the control unit 270 and outputting the modulated data signal from the antenna 211. The present application has a function of transmitting video data captured by the camera 231 of the imaging unit 230 to a communication partner and receiving video data of the communication partner, particularly when executing a videophone call.

音声処理部２２０は、通信部２１０から出力された受話音声信号をＤ／Ａ変換してスピーカ２２２に出力すると共に、マイク２２１から取得した送話音声信号をＡ／Ｄ変換し、生成した信号を通信部２１０に出力する機能を有する。
撮影部２３０は、カメラ２３１を含んで構成され、制御部２７０の要求に応じてカメラ２３１を動作させ、映像を撮影し、そのデータを制御部２７０に出力する機能を有する。 The voice processing unit 220 D / A converts the received voice signal output from the communication unit 210 and outputs it to the speaker 222, and A / D converts the transmission voice signal acquired from the microphone 221, and outputs the generated signal. It has a function of outputting to the communication unit 210.
The imaging unit 230 includes a camera 231, and has a function of operating the camera 231 in response to a request from the control unit 270, capturing an image, and outputting the data to the control unit 270.

表示部２４０は、ＬＣＤ（Liquid Crystal Display）によって実現されるモニタで、制御部２７０の指示による画像を表示する機能を有し、待受け画面やメールの文書、ＴＶ電話時には通信相手の画像や自画像などを表示したりする。なお、表示部２４０は、ここでは２４０×３２０ピクセルの画像を表示するものとする。
操作部２５０は、テンキー、オンフックキー、オフフックキー、方向キー、決定キーなどの諸キー群を含み、ユーザの操作を受け付け、受け付けた操作内容を制御部２７０に伝達する機能を有する。 The display unit 240 is a monitor realized by an LCD (Liquid Crystal Display), and has a function of displaying an image in accordance with an instruction from the control unit 270. Is displayed. Here, the display unit 240 displays an image of 240 × 320 pixels.
The operation unit 250 includes a group of keys such as a numeric keypad, an on-hook key, an off-hook key, a direction key, and an enter key, and has a function of receiving a user operation and transmitting the received operation content to the control unit 270.

記憶部２６０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などで構成され、小型ハードディスクや不揮発性メモリなどによって実現され各種データを記憶する機能を有する。記憶部２６０は特に、ＴＶ電話実行プログラム１６１を記憶している。また、表示するための各種プレーンや、アイコンなどのデータも記憶している。
制御部２７０は、携帯電話機１００の各部を制御する機能を有し、特に、ユーザによるＴＶ電話による電話番号の押下を受け付けた場合に、記憶部２６０にあるＴＶ電話実行プログラム１６１を読み出して、記述されている内容を実行する機能を有する。
＜データ＞
図３は、実際携帯電話機においてＴＶ電話機能を実行している場合において、ディスプレイ上に表示される画面の一例を示した。ここでは、その表示画面の内容について説明しておく。 The storage unit 260 is configured by a ROM (Read Only Memory), a RAM (Random Access Memory), and the like, and is realized by a small hard disk, a nonvolatile memory, or the like, and has a function of storing various data. In particular, the storage unit 260 stores a TV phone execution program 161. It also stores various planes for display and data such as icons.
The control unit 270 has a function of controlling each unit of the mobile phone 100. In particular, when a user presses down a telephone number by a TV phone, the control unit 270 reads and describes the TV phone execution program 161 in the storage unit 260. It has a function to execute the contents.
<Data>
FIG. 3 shows an example of a screen displayed on the display when the TV phone function is actually executed in the mobile phone. Here, the contents of the display screen will be described.

図３に示すように、表示画面は、相手画像表示領域３０１と、自画像表示領域３０２と、ピクトプレーン３１４と、アイコン群が表示される。
相手画像表示領域３０１には、ＴＶ電話の通信相手の顔画像が描画される。この領域に関するデータは記憶部２６０に記憶されており、その表示開始位置のＸ座標、Ｙ座標と領域の幅と高さのデータが含まれる。 As shown in FIG. 3, the display screen displays a partner image display area 301, a self-image display area 302, a picto plane 314, and an icon group.
In the partner image display area 301, a face image of the communication partner of the TV phone is drawn. Data relating to this area is stored in the storage unit 260, and includes data on the X and Y coordinates of the display start position, and the width and height of the area.

自画像表示領域３０２には、自機のカメラで取得したユーザの顔画像が表示される。この領域に関するデータも記憶部２６０に記憶されており、その表示開始位置のＸ座標、Ｙ座標と領域の幅と高さのデータも有する。
相手画像表示領域３０１及び自画像表示領域３０２の表示位置や高さ、幅などのデータが予め定められているのでアイコン表示用プレーンのサイズを決定することができる。 In the self-image display area 302, the user's face image acquired by the camera of the own device is displayed. Data relating to this area is also stored in the storage unit 260, and also includes data on the X and Y coordinates of the display start position, and the width and height of the area.
Since the display position, height, width, and other data of the partner image display area 301 and the self-image display area 302 are determined in advance, the size of the icon display plane can be determined.

ピクトプレーン３１４は、自機の受信状況を示すアンテナマークや、バッテリ残量を示すバッテリを表示するプレーンである。
アイコン群には、通話時間アイコン３０３、ハンズフリーアイコン３０４、ＤＴＭＦ（Dial Tone Multi Frequency）アイコン３０５、ホワイトバランスアイコン３０６、バックライトアイコン３０７、送信映像アイコン３０８、音声／映像アイコン３０９、特殊効果アイコン３１０、動画モードアイコン３１１、明度アイコン３１２、音量レベルアイコン３１３とが含まれる。 The pictoplane 314 is a plane that displays an antenna mark indicating the reception status of the own device and a battery indicating the remaining battery level.
The icons include a call time icon 303, a hands-free icon 304, a DTMF (Dial Tone Multi Frequency) icon 305, a white balance icon 306, a backlight icon 307, a transmission video icon 308, an audio / video icon 309, and a special effect icon 310. , A moving image mode icon 311, a lightness icon 312, and a volume level icon 313.

通話時間アイコン３０３は、ＴＶ電話で通話していた合計時間を示している。図においては、２４分３０秒ほど話していることになる。
ハンズフリーアイコン３０４は、ハンズフリーの設定がされているかどうかを示すアイコンである。
ＤＴＭＦアイコン３０５は、ＤＴＭＦ送信を行っているかどうかを意味するアイコンである。つまりテンキーをユーザが押下した場合に特定の音声を発する設定を行っているかどうかを示すアイコンである。 A call time icon 303 indicates the total time during which a call is made via a videophone. In the figure, we are talking about 24 minutes and 30 seconds.
The hands-free icon 304 is an icon indicating whether or not the hands-free setting is set.
The DTMF icon 305 is an icon indicating whether DTMF transmission is being performed. That is, it is an icon indicating whether or not a setting is made to emit a specific sound when the user presses the numeric keypad.

ホワイトバランスアイコン３０６は、白いものが白く写るように色の補正を行う機能であるホワイトバランス機能の状態を示している。ホワイトバランスの調整状態には、オート、晴天時などの設定が行える。
バックライトアイコン３０７は、バックライトを点灯させていうかどうかを示すアイコンである。 A white balance icon 306 indicates a state of a white balance function that is a function for correcting a color so that a white object appears white. The white balance adjustment status can be set to auto, fine weather, etc.
The backlight icon 307 is an icon indicating whether or not to turn on the backlight.

送信映像アイコン３０８は、カメラで撮影した画像を送信しているのか、あるいは代替画像を送信しているのかを示すアイコンである。
音声／映像アイコン３０９は、映像と音声の回線が正常に接続できているかどうかを示すアイコンで、正常に接続できていない場合には、音声／映像アイコンは点灯しない。なお、正常に接続できていないと、画像が表示されなかったり、音声がスピーカから出力されなかったりする。 The transmission video icon 308 is an icon indicating whether an image captured by the camera is transmitted or an alternative image is transmitted.
The audio / video icon 309 is an icon indicating whether the video and audio lines are normally connected. If the audio / video icon 309 is not normally connected, the audio / video icon is not lit. Note that if the connection is not successful, an image may not be displayed or audio may not be output from the speaker.

特殊効果アイコン３１０は、表示している動画を例えばセピア調にしたりモノクロ調にしたりしていることを示すアイコンである。
動画モードアイコン３１１は、動画の表示モードを意味するアイコンで、図中においては標準となっているが、この他には動き優先のモードや、画質優先のモードなどがある。動き優先の場合は、動画表示における動きの滑らかさが優先され、画質がおちる。一方画質優先の場合は、画質は高いものの、動きの滑らかさがおちる。 The special effect icon 310 is an icon indicating that the displayed moving image is set to, for example, a sepia tone or a monochrome tone.
The moving image mode icon 311 is an icon representing a moving image display mode, and is a standard in the figure, but there are other modes such as a motion priority mode and an image quality priority mode. In the case of motion priority, the smoothness of motion in moving image display is prioritized and the image quality is degraded. On the other hand, when priority is given to image quality, the image quality is high, but the smoothness of the movement is reduced.

明度アイコン３１２は、画面に表示される画像の明度の程度を示すアイコンである。
音量レベルアイコン３１３は、設定されている音量レベルを示すアイコンである。
＜動作＞
ここでは、本願発明に係る携帯電話機２００の動作について説明する。
まず、プレーンの合成が発生する場合、発生しない場合があることについて説明しておく。 The brightness icon 312 is an icon indicating the degree of brightness of the image displayed on the screen.
The volume level icon 313 is an icon indicating the set volume level.
<Operation>
Here, the operation of the mobile phone 200 according to the present invention will be described.
First, it will be described that when plane synthesis occurs, it may not occur.

図４はプレーンの合成を行う場合に、合成が発生する場合と、発生しない場合についてを説明するための説明図である。比較のために従来の場合についても示してある。
図４（ａ）は、従来の場合の合成について示している。
図４（ａ）に示すように、携帯電話機２００の表示部２４０に表示される合成プレーン１２０は、動画プレーン１００とアイコン表示用プレーン１１０との合成によって生成される。 FIG. 4 is an explanatory diagram for explaining a case where the composition occurs and a case where the composition does not occur when combining the planes. A conventional case is also shown for comparison.
FIG. 4A shows the synthesis in the conventional case.
As shown in FIG. 4A, the composite plane 120 displayed on the display unit 240 of the mobile phone 200 is generated by combining the moving image plane 100 and the icon display plane 110.

この場合、例えば合成プレーン１２０の画素４０３は、画素４０１と画素４０２の合成によって生成される。ここでいう合成とは画素と画素とを合成する場合において、それぞれの画素値に予め定められた透過率などを定めた規定値を掛け合わせて加算することをいう。従来では、相手画像表示領域１０１あるいは、自画像表示領域１０２の画像が更新される場合に、必ずアイコン表示プレーンとの合成を行っていた。相手画像表示領域１０１あるいは自画像表示領域１０２の各画素と同座標にアイコン表示用プレーン１１０に画素があるためである。例えば、同図に示す画素４０２が透明画素であったとしても合成の演算を行っており、合成して生成した画素値をフレームバッファに書き込んでいた。 In this case, for example, the pixel 403 of the combining plane 120 is generated by combining the pixel 401 and the pixel 402. The term “synthesizing” as used here refers to adding each pixel value by multiplying each pixel value by a predetermined value that defines a predetermined transmittance or the like. Conventionally, when an image in the partner image display area 101 or the self-image display area 102 is updated, the icon display plane is always combined. This is because there is a pixel on the icon display plane 110 at the same coordinates as each pixel in the partner image display area 101 or the self-image display area 102. For example, even if the pixel 402 shown in the figure is a transparent pixel, the composition calculation is performed, and the pixel value generated by the composition is written in the frame buffer.

図４（ｂ）には、本願の場合について示してあるが、合成が発生する場合と発生しない場合とがある。
まず、合成が発生する場合についであるが、これはアイコン表示用プレーン１５０の表示内容が変更される場合である。この場合においては従来と同じように、合成が発生する。例えば図４（ｂ）において、アイコン表示領域１５０の内容が更新される場合、その中の一画素である画素４２２と、動画プレーン１４０の画素４２１とが合成されて、合成プレーン１６０の画素４２３が生成される。なお、合成処理が行われるのは、更新されるアイコンについてのみであり、合成して生成した画素値でバッファに残されているデータを書き換える。 FIG. 4B shows the case of the present application, but there are cases where synthesis occurs and does not occur.
First, when the composition occurs, this is a case where the display content of the icon display plane 150 is changed. In this case, synthesis occurs as in the conventional case. For example, in FIG. 4B, when the content of the icon display area 150 is updated, the pixel 422 that is one pixel of the icon display area 150 and the pixel 421 of the moving image plane 140 are synthesized, and the pixel 423 of the synthesis plane 160 is Generated. Note that the composition process is performed only for the icon to be updated, and the data remaining in the buffer is rewritten with the pixel value generated by composition.

合成が発生しない場合は、動画プレーンの相手画像表示領域１４１あるいは自画像表示領域１４２のいずれかが更新される場合である。
この場合、例えば相手画像表示領域１４１の表示内容の更新が行われるとして、その一画素である画素４１１は、アイコン表示用プレーン１５０において画素４１１と同座標の画素がないため、合成処理が発生せず、その場合においては、合成プレーンの画素４１３の画素値を画素４１１と同じ画素値にするだけである。この相手画像あるいは自画像の更新時に、合成処理が走らないことが本願の特徴である。なお、アイコン表示用プレーン１５０と重なる画素があるかどうかはアイコン表示用プレーンの表示される範囲と、相手画像表示領域の座標範囲で重複しているかどうかによって検出される。 When the composition does not occur, either the partner image display area 141 or the self-image display area 142 of the moving image plane is updated.
In this case, for example, if the display content of the partner image display area 141 is updated, the pixel 411 that is one of the pixels does not have a pixel having the same coordinates as the pixel 411 in the icon display plane 150, so that the composition process does not occur. In that case, the pixel value of the pixel 413 of the synthesis plane is merely set to the same pixel value as that of the pixel 411. It is a feature of the present application that the composition process does not run when the partner image or the self-image is updated. Whether or not there is a pixel overlapping with the icon display plane 150 is detected based on whether or not there is an overlap in the display range of the icon display plane and the coordinate range of the counterpart image display area.

次に、本実施の形態における携帯電話機２００の実際の動作を図５に示すフローチャートを用いて説明する。
図５に示すフローチャートは、ＴＶ電話機能を実行中における会話以外の部分に関する動作を示しており、各動作は制御部２７０の判断に基づく。
ＴＶ電話を開始すると同時に、まずアイコン表示用プレーンのサイズをＴＶ電話用のサイズに変更する（ステップＳ５０１）。このサイズは予め定められており、動画プレーンの相手画像表示領域、自画像表示領域に重ならず、且つアイコン群を表示するのに十分なサイズになる。このアイコン表示用プレーンに関するデータには、その表示位置や範囲を示すその左上の画素のＸ座標、Ｙ座標、範囲として幅と高さのデータが含まれており、動画プレーンの相手画像表示領域あるいは自画像表示領域と重ならないようになっている。 Next, the actual operation of mobile phone 200 in the present embodiment will be described using the flowchart shown in FIG.
The flowchart shown in FIG. 5 shows operations related to portions other than conversation during execution of the TV phone function, and each operation is based on the determination of the control unit 270.
Simultaneously with the start of the video phone, the size of the icon display plane is first changed to the size for the video phone (step S501). This size is determined in advance, and does not overlap with the partner image display area and the self-image display area of the moving image plane, and is sufficient to display the icon group. The data related to the icon display plane includes the X and Y coordinates of the upper left pixel indicating the display position and range, and the width and height data as the range. The self-portrait display area is not overlapped.

そしてＴＶ電話中において自画像もしくは相手画像が更新されるかどうかを検知する（ステップＳ５０３）。自画像の更新は、撮影部２３０のカメラ２３１で画像が撮影されたのをトリガとして検知する。相手画像の更新は、ＴＶ電話の相手の携帯電話機から映像データのパケットを受信したことをトリガとして検知する。
自画像もしくは、相手画像が更新されない場合にはステップＳ５０７以降のステップに移行する（ステップＳ５０３のＮＯ）。自画像もしくは相手画像が更新される場合には（ステップＳ５０３のＹＥＳ）、前回の合成プレーンのデータが残されているバッファの相手画像もしくは自画像の領域の画素値を書き換える（ステップＳ５０５）。 Then, it is detected whether the self-portrait or the partner image is updated during the videophone call (step S503). The update of the self-portrait is detected by using, as a trigger, that an image has been shot by the camera 231 of the shooting unit 230. The update of the partner image is detected by using, as a trigger, the reception of a video data packet from the mobile phone of the partner of the TV phone.
If the own image or the partner image is not updated, the process proceeds to step S507 and subsequent steps (NO in step S503). When the self-image or the partner image is updated (YES in step S503), the pixel value of the partner image or the self-image area in the buffer in which the previous composite plane data remains is rewritten (step S505).

次に、アイコン表示用プレーンにおける領域の変更、即ち表示内容の変更があったかどうかを検知する（ステップＳ５０７）。ここで領域における変更があるかどうかは、ユーザによるＴＶ電話時の音量などの設定の変更があったかどうかをトリガとして検知する。
変更があった場合には（ステップＳ５０７のＹＥＳ）、アイコンの表示内容、つまりアイコン表示用プレーンが更新されるので、動画プレーンとの合成処理を行う（ステップＳ５０９）。変更がない場合には、ステップＳ５１１の処理に移行する。 Next, it is detected whether or not there has been a change in the area on the icon display plane, that is, a change in display content (step S507). Here, whether there is a change in the area is detected by using, as a trigger, whether there has been a change in settings such as volume during a videophone call by the user.
If there is a change (YES in step S507), the display content of the icon, that is, the icon display plane is updated, so that the composition process with the moving image plane is performed (step S509). If there is no change, the process proceeds to step S511.

そしてバッファの画素データを読み出して表示部１３０のＬＣＤに表示させる（ステップＳ５１１）。
なお、相手画像、自画像、アイコンのいずれも更新されない場合（ステップＳ５０３のＮＯ且つステップＳ５０７のＮＯ）には、今までの画像を表示し続ける。
そしてＴＶ電話の通話が終了したかどうかを検知する（ステップＳ５１３）。これはユーザからのオンフックキーの押下により検知する。終了していない場合には（ステップＳ５１３のＮＯ）、ステップＳ５０３に戻り以降の処理を実行する。終了する場合には（ステップＳ５１３のＹＥＳ）、アイコン表示用プレーンのサイズを元に戻してＴＶ電話に関する動作を終了する。
＜補足＞
ここまで、本願発明に係る携帯電話機について、上記実施の形態に基づき説明してきたが、本願発明の実施の形態はこれに限るものではない。以下、その変形例について説明する。
（１）上記実施の形態においてはＴＶ電話の場合について説明してきたが、特にＴＶ電話の場合に限る必要はなく、複数のプレーンを合成して画像を表示し、逐次更新がなされる場合などにおいて、当該複数のプレーンのいずれかを小サイズに変更してプレーンの合成を行っても良い。こうすることでＴＶ電話の場合以外においても携帯電話機のＣＰＵの負担を軽減することができるようになる。
（２）上記実施の形態においては、携帯電話機の各部とプログラムが連動する形をとっていたが、本願発明は、上記動作に基づく方法あるいは当該方法を実行するコンピュータプログラムであってもよい。 Then, the pixel data in the buffer is read and displayed on the LCD of the display unit 130 (step S511).
If none of the partner image, the self-portrait, and the icon is updated (NO in step S503 and NO in step S507), the images so far are continuously displayed.
Then, it is detected whether or not the videophone call has ended (step S513). This is detected by pressing the on-hook key from the user. If not completed (NO in step S513), the process returns to step S503 to execute the subsequent processes. When the process is to be ended (YES in step S513), the size of the icon display plane is returned to the original, and the operation relating to the TV phone is ended.
<Supplement>
Up to this point, the mobile phone according to the present invention has been described based on the above embodiment, but the embodiment of the present invention is not limited to this. Hereinafter, the modification is demonstrated.
(1) In the above embodiment, the case of a TV phone has been described. However, the present invention is not particularly limited to the case of a TV phone. In the case where a plurality of planes are combined to display an image and updated sequentially. The plane may be synthesized by changing any one of the plurality of planes to a small size. In this way, the burden on the CPU of the mobile phone can be reduced even in cases other than videophones.
(2) In the above embodiment, each part of the mobile phone and the program are linked. However, the present invention may be a method based on the above operation or a computer program for executing the method.

本願発明は、ＴＶ電話を実行できる携帯電話機として活用することができる。 The present invention can be used as a mobile phone capable of executing a TV phone.

本願発明のプレーンの合成と従来との比較を模式的に示した図である。It is the figure which showed typically the comparison with the synthesis | combination of the plane of this invention, and the past. 携帯電話機の機能構成を示したブロック図である。It is the block diagram which showed the function structure of the mobile telephone. 携帯電話機の表示部に表示される画像の一例である。It is an example of the image displayed on the display part of a mobile telephone. プレーンの合成処理が発生する場合と発生しない場合についてを示した説明図である。It is explanatory drawing which showed the case where the synthetic | combination process of a plane generate | occur | produces and the case where it does not generate | occur | produce. 携帯電話機の動作を示したフローチャートである。It is the flowchart which showed the operation | movement of a mobile telephone.

Explanation of symbols

１００、１２０動画用プレーン
１０１、１２１相手画像表示領域
１０２、１２２自画像表示領域
１１０、１３０アイコン表示用プレーン
１１１アイコン表示領域
２００携帯電話機
２１０通信部
２１１アンテナ
２２０音声処理部
２２１マイク
２２２スピーカ
２３０撮影部
２３１カメラ
２４０表示部
２５０操作部
２６０記憶部
２７０制御部 100, 120 Moving image plane 101, 121 Counter image display area 102, 122 Self image display area 110, 130 Icon display plane 111 Icon display area 200 Mobile phone 210 Communication unit 211 Antenna 220 Audio processing unit 221 Microphone 222 Speaker 230 Shooting unit 231 Camera 240 Display unit 250 Operation unit 260 Storage unit 270 Control unit

Claims

A mobile phone having a TV phone function,
Combining means for combining the first plane and the second plane determined according to the execution target function to generate a combined plane;
Display means for displaying the composite plane;
When executing the TV phone function, an image including an area for displaying a moving image is defined as a first plane, an image including an icon indicating a state related to the TV phone function is defined as a second plane, and the second plane is defined as A composition control means for controlling the composition means to synthesize by changing the size to a size that does not overlap the area for displaying the moving image in the first plane;
When the image including the area for displaying the moving image is updated, the synthesis plane is updated. When the image including the icon is updated, the second plane is updated, and the first plane is sent to the synthesis unit. And an updating means for recombining the updated second plane .

  The mobile phone further includes:
  A camera that sequentially images the user holding the mobile phone when performing the TV phone function;
  Receiving means for sequentially receiving images of the user of the other party of the videophone call from the device of the callee when executing the videophone function;
  The first plane includes an image captured by the camera and an image received by the receiving unit.
  The cellular phone according to claim 1.

When the image including the area for displaying the moving image is updated, when a new image is captured by the camera, or when the receiving unit receives a new image of the user of the other party of the videophone call Is
The mobile phone according to claim 2.

A layer synthesis method for synthesizing a plurality of planes for displaying an image at the time of executing a TV phone function in a mobile phone having a TV phone function,
During execution of the TV phone function, an image including an area for displaying a moving image is defined as a first plane, an image including an icon indicating a state related to the TV phone function is defined as a second plane, and the second plane is A composition step of combining the first plane with a size that does not overlap an area for displaying the moving image;
A display step for displaying the combined plane generated by combining in the combining step ;
When the image including the area for displaying the moving image is updated, the composite plane is updated. When the image including the icon is updated, the second plane is updated to update the first plane and the updated plane. An update step of combining the second plane with the second plane .

A layer synthesizing program showing a processing procedure for synthesizing a plurality of planes for displaying an image when a TV phone function is executed, which is executed by a computer of a mobile phone having a TV phone function.
During execution of the TV phone function, an image including an area for displaying a moving image is defined as a first plane, an image including an icon indicating a state related to the TV phone function is defined as a second plane, and the second plane is A composition step of combining the first plane with a size that does not overlap an area for displaying the moving image;
A display step for displaying the combined plane generated by combining in the combining step ;
When the image including the area for displaying the moving image is updated, the composite plane is updated. When the image including the icon is updated, the second plane is updated to update the first plane and the updated plane. An update step of combining the second plane with the second plane .