JP5378017B2

JP5378017B2 - Electronic device and message display system

Info

Publication number: JP5378017B2
Application number: JP2009062812A
Authority: JP
Inventors: 裕樹伊東; 圭太西本
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2009-03-16
Filing date: 2009-03-16
Publication date: 2013-12-25
Anticipated expiration: 2029-03-16
Also published as: JP2010218105A

Description

本発明は、電子的なメッセージを送受信する機能を有する電子機器及びメッセージ表示システムに関する。 The present invention relates to an electronic device and a message display system having a function of transmitting / receiving an electronic message.

通信機能を備えた電子機器では、通話による通信よりも電子メール（以下、メールという。）による通信の利用頻度の方が高い傾向にある。また、メールにおいては、伝えたい内容（メッセージ）を淡々と文字の羅列のみで構成する手法よりも、喜怒哀楽の感情を伝える表現（例えば、記号を利用して人の顔を模して表現されている顔文字による表現や、人の顔等を絵的に表す画像（アイコン）等による表現）を用いて構成する手法が主流になっている。さらに、電子機器では、メールの背景画像や文字のレイアウトを工夫したもの（例えば、デコレーションメール）も利用されている。さらに、特許文献１に示すように、メールに記載されたテキストに基づいて背景画像を選択する技術も提案されている。 Electronic devices having a communication function tend to be more frequently used for communication by electronic mail (hereinafter referred to as mail) than for communication by telephone. Also, in e-mails, expressions that convey emotions of emotions (e.g., imitating human faces using symbols) rather than a method that consists of only a series of letters in a message (message). The mainstream is a method that uses an emoticon that is displayed or an image (icon) that represents a human face pictorially. Further, in electronic devices, a device in which a background image of a mail or a character layout is devised (for example, a decoration mail) is also used. Furthermore, as shown in Patent Document 1, a technique for selecting a background image based on text written in an email has been proposed.

特開２００５−２４２７９０号公報JP 2005-242790 A

しかしながら、上述した技術では、より確実に感情を相手に伝えることは困難である。 However, with the technology described above, it is difficult to convey emotions to the other party more reliably.

本発明は、より確実に感情を相手に伝えることができるメッセージを作成し、送信することができる電子機器及びメッセージ表示システムを提供することを目的とする。 An object of this invention is to provide the electronic device and message display system which can produce and transmit the message which can convey an emotion to an other party more reliably.

本発明に係る電子機器は、上記課題を解決するために、接触を検出する接触検出部と、前記接触検出部による検出結果に基づいて画像を生成する画像生成部と、外部からの入力を検出する外部入力検出部と、前記外部入力検出部による検出結果に基づいて対応する文字を読み出す文字読出部と、前記接触検出部と前記外部入力検出部とのいずれか一方を選択する選択部と、前記選択部により前記接触検出部が選択されたとき、前記画像生成部により生成された画像を入力し、前記選択部により前記外部入力検出部が選択されたとき、前記文字読出部により読み出された文字を入力することにより電子的なメッセージを作成するメッセージ作成部と、前記メッセージ作成部で作成される前記メッセージを送信する送信部と、過去に前記画像生成部により生成された画像を記憶する画像記憶部を備え、前記メッセージ作成部は、前記文字読出部が読み出した文字に対応する過去の前記画像があるときは、前記文字読出部が読み出した文字に変えて、前記画像をメッセージに混在させることを特徴とする。 In order to solve the above problems, an electronic device according to the present invention detects a contact detection unit that detects contact, an image generation unit that generates an image based on a detection result of the contact detection unit, and an input from the outside An external input detection unit, a character reading unit that reads a corresponding character based on a detection result by the external input detection unit, a selection unit that selects any one of the contact detection unit and the external input detection unit, When the contact detection unit is selected by the selection unit, an image generated by the image generation unit is input. When the external input detection unit is selected by the selection unit, the image is read by the character reading unit. and a message creating unit that creates an electronic message by entering characters, a transmission unit that transmits the message created by the message creating unit, the image generated in the past An image storage unit that stores an image generated by the character reading unit, and when there is a past image corresponding to the character read by the character reading unit, the message generating unit changes the character read by the character reading unit. The image is mixed in the message .

また、前記電子機器では、前記メッセージ作成部で作成されたメッセージに含まれている前記画像の一部又は全部を選択する画像選択部と、前記画像選択部で選択された前記画像の一部又は全部を認識する画像認識部と、前記画像認識部による認識結果に基づいて、前記画像の一部又は全部に対応する文字に変換する文字変換部とを備え、前記メッセージ作成部は、前記文字変換部により変換された文字を入力することにより電子的なメッセージを作成することが好ましい。 In the electronic device, an image selection unit that selects a part or all of the image included in the message created by the message creation unit, and a part of the image selected by the image selection unit or An image recognizing unit for recognizing the whole image, and a character converting unit for converting into a character corresponding to a part or all of the image based on a recognition result by the image recognizing unit, and the message creating unit It is preferable to create an electronic message by inputting the characters converted by the part.

また、前記電子機器では、前記画像生成部は、前記接触検出部による検出結果に基づいて、接触されたことによって描かれる軌跡を動的に再現する形式の画像を生成することが好ましい。 In the electronic apparatus, it is preferable that the image generation unit generates an image in a format that dynamically reproduces a trajectory drawn by contact based on a detection result by the contact detection unit.

また、前記電子機器では、前記画像は、前記軌跡が接触によって描かれる移動の速度に対応して動的に再現される形式の画像であることが好ましい。 In the electronic apparatus, it is preferable that the image is an image in a format that is dynamically reproduced in accordance with a moving speed at which the locus is drawn by contact.

また、前記電子機器では、前記メッセージ作成部で作成されたメッセージに含まれている前記画像の一部又は全部を選択する画像選択部と、前記画像選択部で選択された前記画像の一部又は全部を認識する画像認識部と、前記画像認識部による認識結果に基づいて、選択された前記画像の一部又は全部と同一性を有する画像を前記画像記憶部から抽出する抽出部とを備え、前記メッセージ作成部は、前記抽出部により抽出された画像を入力することにより電子的な文字と画像とから構成されるメッセージを作成することが好ましい。 Further, in the electronic device, part of the previous SL an image selection section for selecting a part or all of the images contained in the messages created by the message creating unit, the selected by the image selection unit said image Or an image recognizing unit that recognizes all, and an extracting unit that extracts, from the image storage unit, an image that is identical to a part or all of the selected image based on a recognition result by the image recognizing unit. The message creation unit preferably creates a message composed of electronic characters and images by inputting the image extracted by the extraction unit.

本発明に係る電子機器は、上記課題を解決するために、接触に基づいて画像を生成する画像生成部と、外部からの入力を検出する外部入力検出部と、前記外部入力検出部による検出結果に基づいて対応する文字を読み出す文字読出部と、前記画像生成部により生成された画像を入力することにより、或いは前記文字読出部により読み出された文字を入力することにより、前記画像及び前記文字を含む電子的なメッセージを作成するメッセージ作成部と、前記メッセージ作成部で作成された前記メッセージを表示可能な表示部と、過去に前記画像生成部により生成された画像を記憶する画像記憶部を備え、前記メッセージ作成部は、前記文字読出部が読み出した文字に対応する過去の前記画像があるときは、前記文字読出部が読み出した文字に変えて、前記画像をメッセージに混在させることを特徴とする。 In order to solve the above problems, an electronic device according to the present invention includes an image generation unit that generates an image based on contact, an external input detection unit that detects an input from the outside, and a detection result by the external input detection unit The character and the character are read by inputting a character reading unit that reads the corresponding character based on the image and the image generated by the image generation unit, or by inputting the character read by the character reading unit. A message creation unit that creates an electronic message including: a display unit that can display the message created by the message creation unit; and an image storage unit that stores images previously generated by the image generation unit And the message creation unit, when there is a past image corresponding to the character read by the character reading unit, to the character read by the character reading unit Ete, characterized in that to mix the image into the message.

前記電子機器では、前記画像生成部は、前記接触されたことによって描かれる軌跡を動的に再現する形式の画像を生成することが好ましい。 In the electronic device, it is preferable that the image generation unit generates an image in a format that dynamically reproduces a locus drawn by the contact.

本発明に係るメッセージ表示システムは、上記課題を解決するために、第１の電子機器と第２の電子機器とを備え、メッセージを受信し、表示するメッセージ表示システムにおいて、前記第１の電子機器は、接触に基づいて画像を生成する画像生成部と、外部からの入力を検出する外部入力検出部と、前記外部入力検出部による検出結果に基づいて対応する文字を読み出す文字読出部と、前記画像生成部により生成された画像を入力することにより、或いは前記文字読出部により読み出された文字を入力することにより、前記画像及び前記文字を含む電子的なメッセージを生成するメッセージ作成部と、過去に前記画像生成部により生成された画像を記憶する画像記憶部を備え、前記メッセージ作成部は、前記文字読出部が読み出した文字に対応する過去の前記画像があるときは、前記文字読出部が読み出した文字に変えて、前記画像をメッセージに混在させ、前記第２の電子機器は、前記メッセージを受信する受信部と、当該受信したメッセージを表示可能な表示部を備えることを特徴とする。 In order to solve the above problems, a message display system according to the present invention includes a first electronic device and a second electronic device, and receives and displays a message. In the message display system, the first electronic device is provided. Includes an image generation unit that generates an image based on contact, an external input detection unit that detects an external input, a character reading unit that reads out a corresponding character based on a detection result by the external input detection unit, and A message creating unit that generates an electronic message including the image and the character by inputting an image generated by the image generating unit or by inputting a character read by the character reading unit; An image storage unit for storing images generated by the image generation unit in the past, and the message generation unit When there is a past of the image to be response is changed to the characters the character reading unit has read, the image is mixed in a message, the second electronic device includes a receiving unit that receives the message, the received It is characterized by including a display unit capable of displaying the received message.

本発明によれば、より確実に感情を相手に伝えることができるメッセージを作成し、送信することができる。 According to the present invention, it is possible to create and transmit a message that can convey emotions to the other party more reliably.

本発明に係る電子機器の外観を示す図で、（ａ）は正面図、（ｂ）は側面図である。1A and 1B are views showing an external appearance of an electronic apparatus according to the present invention, in which FIG. 本発明に係る第１の電子機器と第２の電子機器とが基地局を介して通信を行う様子を示した模式的に示すブロック図である。It is the block diagram shown typically which showed a mode that the 1st electronic device which concerns on this invention, and a 2nd electronic device communicate via a base station. 第１の実施例の電子機器の機能を示すブロック図である。It is a block diagram which shows the function of the electronic device of a 1st Example. 第２の実施例の電子機器の機能を示す機能ブロック図である。It is a functional block diagram which shows the function of the electronic device of a 2nd Example. 本発明に係るメール作成時のメインフローチャートである。It is a main flowchart at the time of mail preparation which concerns on this invention. 本発明に係るメール作成時の文字変換を示すサブフローチャートである。It is a sub-flowchart which shows character conversion at the time of the mail preparation which concerns on this invention. 本発明に係るメール作成時のメール送信を示すサブフローチャートである。It is a subflow chart which shows mail transmission at the time of mail creation concerning the present invention. 本発明に係るメール受信のフローチャートである。It is a flowchart of the mail reception which concerns on this invention.

以下、本発明の実施の形態について説明する。図１は、本発明に係る外部機器（基地局１０１）を介して他の電子機器と通信を行う電子機器１の外観斜視図である。図１（ａ）は、電子機器１の正面図を示し、図１（ｂ）は、電子機器１の側面図を示す。電子機器１は、表面にディスプレイ１１を備える。ディスプレイ１１は、表面にタッチパネルが形成されており、表面を棒状のペン（いわゆる、スタイラスペン）やユーザの指先によってタッチ（接触）されることにより、様々な機能を発揮する。 Embodiments of the present invention will be described below. FIG. 1 is an external perspective view of an electronic device 1 that communicates with another electronic device via an external device (base station 101) according to the present invention. FIG. 1A shows a front view of the electronic device 1, and FIG. 1B shows a side view of the electronic device 1. The electronic device 1 includes a display 11 on the surface. The display 11 has a touch panel formed on the surface, and exhibits various functions by touching (contacting) the surface with a stick-shaped pen (so-called stylus pen) or a user's fingertip.

また、電子機器１は、図１（ｂ）に示すように、側面に機能ボタン群２１が形成されている。なお、機能ボタン群２１は、タッチセンサにより形成されており、各ボタンがユーザの指先等でタッチされることにより、タッチされたボタンに割り当てられている機能が実行される。各ボタンの機能については後述する。また、図１では、操作部３５としてキーボードが搭載されている例を示したが、特にこの形態に限定されない。 Moreover, as shown in FIG.1 (b), the electronic device 1 has the function button group 21 formed in the side surface. The function button group 21 is formed by a touch sensor, and a function assigned to the touched button is executed by touching each button with a user's fingertip or the like. The function of each button will be described later. In addition, although an example in which a keyboard is mounted as the operation unit 35 is shown in FIG. 1, it is not particularly limited to this form.

また、図２に電子機器１の機能ブロック図を示す。電子機器１は、制御部３１、無線通信部３２、メモリ３３、ディスプレイ１１、タッチパネル３４、操作部３５、撮像部３６、音声出力部３７、音声入力部３８を少なくとも備えている。 FIG. 2 shows a functional block diagram of the electronic device 1. The electronic device 1 includes at least a control unit 31, a wireless communication unit 32, a memory 33, a display 11, a touch panel 34, an operation unit 35, an imaging unit 36, an audio output unit 37, and an audio input unit 38.

制御部３１は、中央処理装置（ＣＰＵ）を含む半導体集積回路により構成されており、電子機器１全体を管理及び制御する。制御部３１は、メモリ３３に格納された各種のタスクを実行することにより、例えば、ディスプレイ１１に画像を表示したり、機能ボタン群２１やタッチパネル３４からの入力を受け付けたりする。これにより、制御部３１は、メモリ３３に格納されているプログラムを用いて、通話機能や、メールを作成するときに利用される文字入力機能や、撮像部３６により被写体の撮像を行う撮影機能等の様々なタスクを遂行する。 The control unit 31 is configured by a semiconductor integrated circuit including a central processing unit (CPU), and manages and controls the entire electronic device 1. The control unit 31 executes various tasks stored in the memory 33, for example, displays an image on the display 11 and receives an input from the function button group 21 or the touch panel 34. As a result, the control unit 31 uses a program stored in the memory 33 to make a call function, a character input function used when creating an e-mail, a shooting function for imaging a subject by the imaging unit 36, and the like. Perform various tasks.

無線通信部３２は、アンテナ３２ａを介して、所定の通信方式によって基地局と無線通信を行う。所定の通信方式としては、ＧＳＭ（ＧｌｏｂａｌＳｙｓｔｅｍＦｏｒＭｏｂｉｌｅＣｏｍｍｕｎｉｃａｔｉｏｎ）、Ｗ−ＣＤＭＡ（ＷｉｄｅｂａｎｄＣｏｄｅＤｉｖｉｓｉｏｎＭｕｌｔｉｐｌｅＡｃｃｅｓｓ）、ＣＤＭＡ２０００等がある。メモリ３３は、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＥＥＰＲＯＭ（ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅａｎｄＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ）等で構成され、制御部３１によって処理されるプログラムやその他のデータファイル等を記憶する。 The wireless communication unit 32 performs wireless communication with the base station by a predetermined communication method via the antenna 32a. As the predetermined communication method, there are GSM (Global System For Mobile Communication), W-CDMA (Wideband Code Division Multiple Access), CDMA2000, and the like. The memory 33 includes a ROM (Read Only Memory), a RAM (Random Access Memory), an EEPROM (Electrically Erasable and Programmable Read Only Memory), and the like, and a program that is processed by the control unit 31 and other data. .

ディスプレイ１１は、ＴＦＴ液晶又は有機ＥＬ等で構成されている。ディスプレイ１１は、メモリ３３に記憶された、又Ｗｅｂブラウザ等の動作画面を表示することができる。また、ディスプレイ１１は、タッチパネル３４との組合せにより、入力インターフェースを構成する。 The display 11 is composed of a TFT liquid crystal or an organic EL. The display 11 can display an operation screen stored in the memory 33 or a web browser. Further, the display 11 constitutes an input interface in combination with the touch panel 34.

タッチパネル３４は、ディスプレイ１１の表面に透明又は半透明の素材で形成され、ディスプレイ１１を視認可能に配置されている。タッチパネル３４は、具体的には、ディスプレイ１１表面に取り付けるタッチスクリーンと、圧力を検知する圧力検知型がある。また、接触の感知方法としては、圧力の変化を感知する感圧方式と、静電気による電気信号を感知する静電容量方式と、光の遮断を感知する光導波路方式等に大別される。本実施例に係るタッチパネル３４は、どの方式を採用しても良い。 The touch panel 34 is formed of a transparent or translucent material on the surface of the display 11 and is arranged so that the display 11 can be visually recognized. Specifically, the touch panel 34 includes a touch screen attached to the surface of the display 11 and a pressure detection type for detecting pressure. The contact sensing method is roughly classified into a pressure-sensitive method for sensing a change in pressure, a capacitance method for sensing an electric signal due to static electricity, and an optical waveguide method for sensing light blocking. The touch panel 34 according to the present embodiment may adopt any method.

操作部３５は、機能ボタン群２１を備えている。機能ボタン群２１は、ペンボタン２１ａと、消しゴムボタン２１ｂと、メニューボタン２１ｃ（サイドボタン２１ｃ）とから構成されている。例えば、メールが起動されている状態において、ペンボタン２１ａがタッチされたときには、電子機器１は、ディスプレイ１１の表面の入力手段としてペンが選択されたことを把握する。また、消しゴムボタン２１ｂがタッチされたときには、電子機器１は、指定されているメッセージの一部を消去する。また、メニューボタン２１ｃがタッチされたときには、ディスプレイ１１にメニュー（例えば、カメラや、メールの起動を選択できるメニュー）を表示する。なお、操作部３５は、機能ボタン郡１２の他に、収納タイプのキーボード（ＱＷＥＲＴＹキーボード等）を更に備えていても良い。 The operation unit 35 includes a function button group 21. The function button group 21 includes a pen button 21a, an eraser button 21b, and a menu button 21c (side button 21c). For example, when the pen button 21 a is touched in a state where mail is activated, the electronic device 1 grasps that a pen is selected as an input unit on the surface of the display 11. When the eraser button 21b is touched, the electronic device 1 erases a part of the designated message. When the menu button 21c is touched, a menu (for example, a camera or a menu that can select activation of mail) is displayed on the display 11. The operation unit 35 may further include a storage-type keyboard (such as a QWERTY keyboard) in addition to the function button group 12.

撮像部３６は、撮像レンズと、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子と、画像処理ＩＣ等から構成される。撮像部３６は、制御部３１からの指令により、ディスプレイ１１へ画像表示を行い、静止画像データ又は動画像データとして記録し、記録後のデータをメモリ３３に記憶する。音声出力部３７は、スピーカーで構成され、受信した通話相手の音声信号を音声に変えて外部に出力する。音声入力部３８は、マイク等の音認識装置で構成され、通話時に入力されたユーザの音声を処理可能な電気信号に変換する。 The imaging unit 36 includes an imaging lens, an imaging element such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS), an image processing IC, and the like. The imaging unit 36 displays an image on the display 11 according to a command from the control unit 31, records it as still image data or moving image data, and stores the recorded data in the memory 33. The voice output unit 37 is configured by a speaker, and converts the received voice signal of the other party to voice and outputs it to the outside. The voice input unit 38 includes a sound recognition device such as a microphone, and converts the user's voice input during a call into an electric signal that can be processed.

＜第１の実施例＞
このように構成される電子機器１では、より確実に感情を相手に伝えるメールメッセージを作成し、送信する機能を有する。当該機能を実現するための詳細な構成について以下に述べる。電子機器１は、図３に示すように、接触検出部４１（接触検出手段）と、画像生成部４２（画像生成手段）と、外部入力検出部４３（外部入力検出手段）と、文字読出部４４（文字読出手段）と、選択部４５（選択手段）と、メッセージ作成部４６（メッセージ作成手段）と、宛先選択部４７（宛先選択手段）と、送信部４８（送信手段）とを備える。なお、接触検出部４１は、上述したタッチパネル３４に相当する。画像生成部４２と、文字読出部４４と、選択部４５と、メッセージ作成部４６と、宛先選択部４７は、上述した制御部３１に相当する。送信部４８は、上述した無線通信部３２に相当する。 <First embodiment>
The electronic device 1 configured as described above has a function of creating and transmitting a mail message that more reliably conveys emotions to the other party. A detailed configuration for realizing the function will be described below. As shown in FIG. 3, the electronic device 1 includes a contact detection unit 41 (contact detection unit), an image generation unit 42 (image generation unit), an external input detection unit 43 (external input detection unit), and a character reading unit. 44 (character reading unit), selection unit 45 (selection unit), message creation unit 46 (message creation unit), destination selection unit 47 (destination selection unit), and transmission unit 48 (transmission unit). The contact detection unit 41 corresponds to the touch panel 34 described above. The image generation unit 42, the character reading unit 44, the selection unit 45, the message creation unit 46, and the destination selection unit 47 correspond to the control unit 31 described above. The transmission unit 48 corresponds to the wireless communication unit 32 described above.

接触検出部４１は、タッチセンサにより構成されており接触を検出する。画像生成部４２は、接触検出部４１による検出結果に基づいて画像を生成する。具体的には、画像生成部４２は、ユーザにより接触検出部４１を指又はスタイラスペンにより入力された筆跡に基づいて、画像を生成する。 The contact detection unit 41 is configured by a touch sensor and detects contact. The image generation unit 42 generates an image based on the detection result by the contact detection unit 41. Specifically, the image generation unit 42 generates an image based on the handwriting input by the user using the finger or stylus pen to the contact detection unit 41.

外部入力検出部４３は、例えば、操作部３５のキーボード３５や、音声入力部３８に相当し、キーボード３５や音声入力部３８による入力を検出する。文字読出部４４（文字読出手段）は、外部入力検出部４３による検出結果に基づいて対応する文字（テキスト文字）を読み出す。具体的には、文字読出部４４は、キーボード３５上の押圧されたキーに対応する文字データを読み出したり、音声入力部３８により入力された音声を文字データに変換し、変換後の文字データを読み出したりする。 The external input detection unit 43 corresponds to, for example, the keyboard 35 or the voice input unit 38 of the operation unit 35, and detects input from the keyboard 35 or the voice input unit 38. The character reading unit 44 (character reading unit) reads the corresponding character (text character) based on the detection result by the external input detection unit 43. Specifically, the character reading unit 44 reads character data corresponding to the pressed key on the keyboard 35, converts the voice input by the voice input unit 38 into character data, and converts the converted character data. Read out.

選択部４５は、接触検出部４１と外部入力検出部４３とのいずれか一方を選択する。メッセージ作成部４６は、選択部４５により接触検出部４１が選択されたとき、画像生成部４２により生成された画像を入力し、選択部４５により外部入力検出部４３が選択されたとき、文字読出部４４により読み出された文字を入力することにより電子的なメッセージを作成する。 The selection unit 45 selects either the contact detection unit 41 or the external input detection unit 43. The message creation unit 46 inputs an image generated by the image generation unit 42 when the contact detection unit 41 is selected by the selection unit 45, and reads a character when the external input detection unit 43 is selected by the selection unit 45. An electronic message is created by inputting the character read by the unit 44.

宛先選択部４７は、メッセージ作成部４６で作成されるメッセージを送信する宛先を選択する。具体的には、宛先選択部４７は、予め登録されている宛先（アドレス）から所定のアドレスを選択したり、操作部３５のキーボードを利用して宛先を入力したりする。送信部４８は、ユーザの送信操作に応じて、宛先選択部４７により選択された宛先にメッセージを送信する。 The destination selection unit 47 selects a destination to which the message created by the message creation unit 46 is transmitted. Specifically, the destination selection unit 47 selects a predetermined address from destinations (addresses) registered in advance, or inputs a destination using the keyboard of the operation unit 35. The transmission unit 48 transmits a message to the destination selected by the destination selection unit 47 in response to a user's transmission operation.

このように構成される電子機器１は、メールに手書き文字を混在させることができるので、より確実に感情を相手に伝えることができるメールメッセージを作成し、送信することができる。 Since the electronic device 1 configured as described above can mix handwritten characters in an email, it can create and transmit an email message that can convey emotions to the other party more reliably.

また、電子機器１は、さらに、画像選択部４９と、画像認識部５０と、文字変換部５１とを備える。画像選択部４９は、メッセージ作成部４６で作成されたメッセージに含まれている画像の一部又は全部を選択する。画像認識部５０は、画像選択部４９で選択された画像の一部又は全部を認識する。すなわち、画像認識部５０は、選択された画像と対応する文字との同一性の判断を行う。文字変換部５１は、画像認識部５０による認識結果に基づいて、画像の一部又は全部に対応する文字に変換する。メッセージ作成部４６は、文字変換部５１により変換される文字を入力することにより電子的なメッセージを作成する。 The electronic device 1 further includes an image selection unit 49, an image recognition unit 50, and a character conversion unit 51. The image selection unit 49 selects some or all of the images included in the message created by the message creation unit 46. The image recognition unit 50 recognizes part or all of the image selected by the image selection unit 49. That is, the image recognition unit 50 determines the identity between the selected image and the corresponding character. Based on the recognition result by the image recognition unit 50, the character conversion unit 51 converts the character into a character corresponding to a part or all of the image. The message creation unit 46 creates an electronic message by inputting characters to be converted by the character conversion unit 51.

このように構成されることにより、電子機器１は、手書き文字が混在しているメールメッセージについて、この手書き文字を部分的に選択することにより、当該選択された部分をテキスト文字に変換することができ、直感的な編集操作を行うことができる。なお、電子機器１は、手書き文字を部分的に選択することにより、当該選択された部分以外をテキスト文字に変換することもできる。 By being configured in this way, the electronic device 1 can convert the selected portion into a text character by partially selecting the handwritten character in a mail message in which the handwritten character is mixed. And intuitive editing operations. The electronic device 1 can also convert a portion other than the selected portion into a text character by partially selecting a handwritten character.

また、画像生成部４２は、接触検出部４１による検出結果に基づいて、接触されたことによって描かれる軌跡を動的に再現する形式の画像を生成しても良い。この画像は、例えば、接触検出部４１による検出結果に基づいて、接触されたことによって描かれる軌跡を動的に再現する形式で生成される。動的に再現する形式の画像は、例えば、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）-４、アニメーションＧＩＦ（ＧｒａｐｈｉｃＩｎｔｅｒｃｈａｎｇｅＦｏｒｍａｔ）などの動画像ファイルとして形成される。そして、当該画像は、メッセージ作成部４６によりメールメッセージに埋め込まれ、互換性を有するビューワ等により再生表示される。また、再生表示時には事前に再生回数、再生速度等の設定をすることができる。 Further, the image generation unit 42 may generate an image in a format that dynamically reproduces a trajectory drawn by contact based on the detection result by the contact detection unit 41. This image is generated in a format that dynamically reproduces a trajectory drawn by contact based on the detection result by the contact detection unit 41, for example. The dynamically reproduced image is formed as a moving image file such as MPEG (Moving Picture Experts Group) -4, animation GIF (Graphic Interchange Format), or the like. Then, the image is embedded in the mail message by the message creation unit 46, and is reproduced and displayed by a compatible viewer or the like. Further, the number of times of reproduction, the reproduction speed, etc. can be set in advance at the time of reproduction display.

このように構成される電子機器１は、単に書き終えた手書き文字（筆跡）を生成するだけでなく、手書き文字の軌跡、すなわち、文字の筆順を追って書き終えるまでの過程を表示させることができる。このため、作成されるメールは、メール作成者の癖やメール作成時の感情を表現することになり、電子機器１は、確実に感情を相手に伝えることができるメールメッセージを作成し、送信することができる。 The electronic device 1 configured as described above can not only generate a handwritten character (handwriting) that has been completely written, but also display a process until the writing is finished following the trajectory of the handwritten character, that is, the stroke order of the characters. . For this reason, the created mail expresses the mail creator's habits and feelings at the time of creating the mail, and the electronic device 1 creates and sends a mail message that can reliably convey the emotion to the other party. be able to.

また、画像生成部４２は、軌跡が接触によって描かれる移動の速度に対応して動的に再現される形式の画像を生成するようにしても良い。 Further, the image generation unit 42 may generate an image in a format that is dynamically reproduced in accordance with the movement speed at which the trajectory is drawn by contact.

このように構成される電子機器１の画像生成部４２により生成される画像は、軌跡が描かれるまでの移動速度を表現するので、メール作成者のメール作成時の気持ちを再現して相手に伝えることができる。電子機器１は、例えば、軌跡が描かれるまでの移動速度が速い画像であれば、相手に「急いでいる気持ち」を伝えることができ、また、軌跡が描かれるまでの移動速度が緩やかな画像であれば、「丁寧な気持ち」を伝えることができる。 The image generated by the image generation unit 42 of the electronic device 1 configured as described above represents the moving speed until the trajectory is drawn, so that the mail creator's feeling at the time of mail creation is reproduced and transmitted to the other party. be able to. For example, if the electronic device 1 is an image having a fast moving speed until the locus is drawn, the electronic device 1 can convey “hurrying feeling” to the other party, and an image having a gentle moving speed until the locus is drawn. If so, you can convey a “careful feeling”.

また、電子機器１は、軌跡の移動速度が表現されることにより、筆跡よりも制御が難しい情報が付加されるため、メール作成者が意識しない感情も伝えることもできる。その結果、電子機器１は、さらに確実に感情を相手に伝えることができるメールメッセージを作成し、送信することができる。 In addition, since the electronic device 1 expresses the movement speed of the trajectory and adds information that is more difficult to control than the handwriting, it can also convey emotions that the mail creator is not aware of. As a result, the electronic device 1 can create and transmit a mail message that can convey the emotion to the other party more reliably.

また、電子機器１は、さらに、図４に示すように、画像記憶部５２と、抽出部５３とを備える。画像記憶部５２は、画像生成部４２により生成された画像を記憶する。また、画像記憶部５２は、予め手書き文字の画像データが格納される。例えば、メール作成者が過去に書いた手書き文字や著名な書道家が描いた手書き文字画像などが格納される。 In addition, the electronic device 1 further includes an image storage unit 52 and an extraction unit 53, as shown in FIG. The image storage unit 52 stores the image generated by the image generation unit 42. The image storage unit 52 stores handwritten character image data in advance. For example, handwritten characters written by mail creators in the past or handwritten character images drawn by prominent calligraphers are stored.

抽出部５３は、画像認識部５０による認識結果に基づいて、選択された画像の一部又は全部と同一性を有する画像を画像記憶部５２から抽出する。つまり、画像認識部５０は、画像認識部５０からの認識結果に基づいて、認識結果画像と画像記憶部５２に記憶された画像との同一性を判断し、同一性を有すると判断された場合に、画像記憶部５２から画像を抽出する。 Based on the recognition result by the image recognition unit 50, the extraction unit 53 extracts from the image storage unit 52 an image having the same identity as part or all of the selected image. That is, the image recognizing unit 50 determines the identity between the recognition result image and the image stored in the image storage unit 52 based on the recognition result from the image recognizing unit 50, and when it is determined that they have the same Then, an image is extracted from the image storage unit 52.

このように構成される電子機器１は、予め画像を登録しておくことができ、この画像をテキスト文字や手書き文字と差し替えることができる。電子機器１には、例えば、過去に余裕のある状態で丁寧に描いた手書き文字を登録しておく。そして、気が急いているが、相手には大切にしているという感情を伝えたい時に、登録しておいた手書き文字と差し替えることができる。つまり、メール作成者の置かれた状況に関係なく、相手に表現したい感情を込めたメールを作成することができる。このため、電子機器１は、さらに確実に感情を相手に伝えることができるメールメッセージを作成し、送信することができる。 The electronic apparatus 1 configured as described above can register an image in advance, and can replace the image with text characters or handwritten characters. In the electronic device 1, for example, handwritten characters carefully drawn with a margin in the past are registered. And if you are hurrying up, but want to convey the feeling that you value it to the other party, you can replace the registered handwritten text. In other words, regardless of the situation where the mail creator is placed, it is possible to create a mail that contains the emotion that you want to express to the other party. For this reason, the electronic device 1 can create and transmit a mail message that can convey the emotion to the other party more reliably.

また、電子機器１は、例えば、文字読出部４４により読み出された文字データを画像選択部４９で選択するようにして、予め登録されている手書き文字と差し替え可能に構成しても良い。このように構成することにより、電子機器１は、文字データを登録済の手書き文字に変換することができるために、表現方法の幅が広がるために、より確実に感情を相手に伝えることができるメールメッセージを作成し、送信することができる。 In addition, the electronic device 1 may be configured to be able to replace handwritten characters registered in advance by selecting the character data read by the character reading unit 44 with the image selection unit 49, for example. With this configuration, the electronic device 1 can convert character data into registered handwritten characters, and therefore the range of expression methods is widened. Therefore, it is possible to convey emotions to the other party more reliably. Create and send email messages.

＜第２の実施例＞
また、本実施例は、以下の構成を備える。電子機器１は、図３に示すように、画像生成部４２と、外部入力検出部４３と、文字読出部４４と、メッセージ作成部４６と、表示部１１とを備える。画像生成部４２と、文字読出部４４と、メッセージ作成部４６とは、上述した制御部３１に相当する。 <Second embodiment>
Further, the present embodiment has the following configuration. As shown in FIG. 3, the electronic device 1 includes an image generation unit 42, an external input detection unit 43, a character reading unit 44, a message creation unit 46, and a display unit 11. The image generation unit 42, the character reading unit 44, and the message creation unit 46 correspond to the control unit 31 described above.

画像生成部４２は、接触検出部４１による検出結果に基づいて画像を生成する。具体的には、画像生成部４２は、ユーザにより接触検出部４１を指又はスタイラスペンによりタッチパネル３４への接触で入力された筆跡に基づいて、画像を生成する。 The image generation unit 42 generates an image based on the detection result by the contact detection unit 41. Specifically, the image generation unit 42 generates an image based on the handwriting input by the user touching the touch detection unit 34 with the finger or the stylus pen.

外部入力検出部４３は、例えば、操作部３５のキーボード３５や、音声入力部３８に相当し、キーボード３５や音声入力部３８による入力を検出する。文字読出部４４（文字読出手段）は、外部入力検出部４３による検出結果に基づいて対応する文字を読み出す。具体的には、文字読出部４４は、キーボード３５上の押圧されたキーに対応する文字データを読み出したり、音声入力部３８により入力された音声を文字データに変換し、変換後の文字データを読み出したりする。 The external input detection unit 43 corresponds to, for example, the keyboard 35 or the voice input unit 38 of the operation unit 35, and detects input from the keyboard 35 or the voice input unit 38. The character reading unit 44 (character reading unit) reads the corresponding character based on the detection result by the external input detection unit 43. Specifically, the character reading unit 44 reads character data corresponding to the pressed key on the keyboard 35, converts the voice input by the voice input unit 38 into character data, and converts the converted character data. Read out.

メッセージ作成部４６は、画像生成部４２により生成された画像を入力することにより、或いは文字読出部４４により読み出された文字を入力することにより、画像及び文字を含む電子的なメッセージを作成する。 The message creation unit 46 creates an electronic message including images and characters by inputting the image generated by the image generation unit 42 or by inputting characters read by the character reading unit 44. .

表示部１１は、ディスプレイ１１に相当し、ＴＦＴ液晶又は有機ＥＬ等で構成されている。表示部１１は、メモリ３３に記憶された、又Ｗｅｂブラウザ等の動作画面を表示することができる。 The display unit 11 corresponds to the display 11 and is configured by a TFT liquid crystal, an organic EL, or the like. The display unit 11 can display an operation screen stored in the memory 33 or a web browser or the like.

このように構成される電子機器１は、メール作成時にメールメッセージの確認（手書き文字の出来の確認等）を行えるために、より完成度の高いメールメッセージの作成ができ、より確実に感情を相手に伝えることができるメールメッセージを作成し、送信することができる。 The electronic device 1 configured as described above can confirm a mail message (confirmation of handwritten characters, etc.) at the time of creating a mail. You can create and send an email message that can be communicated to.

また、画像生成部４２は、接触による検出結果に基づいて、接触されたことによって描かれる軌跡を動的に再現する形式の画像を生成しても良い。例えば、接触検出部４１による検出結果に基づいて、接触されたことによって描かれる軌跡を動的に再現する形式の画像を生成するようにしても良い。動的に再現する形式の画像は、例えば、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）-４、アニメーションＧＩＦ（ＧｒａｐｈｉｃＩｎｔｅｒｃｈａｎｇｅＦｏｒｍａｔ）などの動画像ファイルとして形成される。そして、当該画像は、メッセージ作成部４６によりメールメッセージに埋め込まれ、互換性を有するビューワ等により再生表示される。また、再生表示時には事前に再生回数、再生速度等の設定をすることができる。 The image generation unit 42 may generate an image in a format that dynamically reproduces a trajectory drawn by the contact based on the detection result of the contact. For example, on the basis of the detection result by the contact detection unit 41, an image in a format that dynamically reproduces a trajectory drawn by being touched may be generated. The dynamically reproduced image is formed as a moving image file such as MPEG (Moving Picture Experts Group) -4, animation GIF (Graphic Interchange Format), or the like. Then, the image is embedded in the mail message by the message creation unit 46, and is reproduced and displayed by a compatible viewer or the like. Further, the number of times of reproduction, the reproduction speed, etc. can be set in advance at the time of reproduction display.

＜第３の実施例＞
本実施例は、第１の電子機器１と第２の電子機器１’とを備え、メッセージを受信し、表示するメッセージ表示システム２０１である。図１に示すように、第１の電子機器１と第２の電子機器１’との間のやり取りを基地局１０１を介して無線通信により行う。 <Third embodiment>
A present Example is the message display system 201 provided with the 1st electronic device 1 and 2nd electronic device 1 ', and receiving and displaying a message. As shown in FIG. 1, exchange between the first electronic device 1 and the second electronic device 1 ′ is performed by wireless communication via the base station 101.

第１の電子機器１は、画像生成部４２と、外部入力検出部４３と、文字読出部４４と、メッセージ作成部４６とを備える。 The first electronic device 1 includes an image generation unit 42, an external input detection unit 43, a character reading unit 44, and a message creation unit 46.

第２の電子機器１’は、受信部３２’と、表示部１１’とを備える。受信部は、無線通信部３２’に相当し、メッセージを受信する。表示部１１’は、ディスプレイ１１’に相当し、受信したメッセージを表示可能に構成される。 The second electronic device 1 ′ includes a receiving unit 32 ′ and a display unit 11 ′. The receiving unit corresponds to the wireless communication unit 32 'and receives a message. The display unit 11 ′ corresponds to the display 11 ′ and is configured to be able to display received messages.

このように構成されるメッセージ表示システム２０１は、メールに手書き文字を混在させることができるので、より確実に感情を相手に伝えることができるメールメッセージを作成し、送受信することができる。 Since the message display system 201 configured as described above can mix handwritten characters in an email, it can create and send / receive an email message that can convey emotions to the other party more reliably.

ここで、電子機器１でメールメッセージ作成から電子機器１’との送受信、そして、電子機器１’でのメールメッセージの表示までの一連のメッセージ表示システム２０１について、図５に示すフローチャートに基づいて、説明する。 Here, based on the flowchart shown in FIG. 5, a series of message display systems 201 from the creation of a mail message to transmission / reception with the electronic device 1 ′ and display of the mail message on the electronic device 1 ′ with the electronic device 1 will be described. explain.

まず、図５に示すように、ステップＳ１において、電子機器１は、待ち受け状態からサイドボタン２１ｃが押されることにより、ステップＳ２に進む。ステップＳ２において、電子機器１は、ディスプレイ１１上にメニュー画面を起動し、ステップＳ３に進む。ステップＳ３において、電子機器１は、メニュー選択画面へ移行し、ディスプレイ１１に表示されたメール作成機能をタッチ操作により選択された場合には、ステップＳ５へ進み、その他の機能が選択された場合には、ステップＳ４へ進む。ステップＳ４の工程において、電子機器１は、選択された機能に基づいて、処理をする。 First, as shown in FIG. 5, in step S1, the electronic device 1 proceeds to step S2 when the side button 21c is pressed from the standby state. In step S2, the electronic device 1 activates a menu screen on the display 11, and proceeds to step S3. In step S3, the electronic device 1 shifts to the menu selection screen, and when the mail creation function displayed on the display 11 is selected by a touch operation, the process proceeds to step S5, and when other functions are selected. Advances to step S4. In the step S4, the electronic device 1 performs processing based on the selected function.

ステップＳ５において、電子機器１は、メール作成画面を表示し、後述する機能ボタン群２１への操作（タッチ）がされることにより以下の処理が実行される。電子機器１は、メール作成画面を表示した状態では、本実施形態においては、キーボード３５による入力操作が可能に設定される。つまり、電子機器１は、メモリ３３に格納されるキーボード３５に対応した文字や記号等の入力を外部入力検出部４３で検出し、文字読出部４４にて対応した文字コードのより表示可能な文字等をメッセージ作成部４６に出力し、メッセージ作成部４６にてメッセージ作成を行う。 In step S 5, the electronic device 1 displays a mail creation screen, and an operation (touch) on a function button group 21 described later performs the following processing. In the present embodiment, the electronic device 1 is set so that an input operation using the keyboard 35 is possible in a state where the mail creation screen is displayed. That is, the electronic device 1 detects the input of characters, symbols, and the like corresponding to the keyboard 35 stored in the memory 33 by the external input detection unit 43, and the characters that can be displayed by the character code corresponding to the character reading unit 44. Are output to the message creation unit 46, and the message creation unit 46 creates a message.

まず、ペンボタン２１ａ（鉛筆ボタン）が長押された場合には、選択部４５によりタッチパネル３５へのペン操作を操作順や操作スピードを動画像にて取得する入力画面（手書き操作画面）を起動し、ステップＳ７へ進む（ステップＳ６）。 First, when the pen button 21a (pencil button) is pressed for a long time, an input screen (handwriting operation screen) for acquiring the operation order and operation speed of the touch panel 35 as a moving image by the selection unit 45 is activated. The process proceeds to step S7 (step S6).

ステップＳ７において、電子機器１は、タッチパネル３５へのペン操作（手書き操作）を接触検出部４１により検出する。次に、電子機器１は、接触検出部４１にて検出した結果（操作順や操作速度）に基づいて、画像生成部４２にて動画像データを生成する。この際、生成された動画像データは、メモリ３３に一時的に格納されたり、所定の操作により画像記憶部５２に登録データとして格納されたりする。次に、電子機器１は、生成された動画像データをメッセージ作成部４６によりディスプレイ１１上に表示する。 In step S 7, the electronic device 1 detects a pen operation (handwriting operation) on the touch panel 35 by the contact detection unit 41. Next, in the electronic device 1, the image generation unit 42 generates moving image data based on the results (operation order and operation speed) detected by the contact detection unit 41. At this time, the generated moving image data is temporarily stored in the memory 33 or stored as registration data in the image storage unit 52 by a predetermined operation. Next, the electronic device 1 displays the generated moving image data on the display 11 by the message creation unit 46.

つまり、ステップＳ７の工程において、電子機器１は、メール作成者がタッチパネル３４にペン等で入力した手書き文字を筆順や書いた速度などを動画像により表示可能な形式で取得し、メール作成画面に表示する。なお、本実施形態において、動画像は、ＭＰＥＧ４やアニメーションＧＩＦなどの所定のファイル形式で生成される。また、生成される動画像は、１文字単位に限られず、文単位や任意の長さ大きさにより生成可能であり、動画像の再生速度や再生回数は適宜設定可能である。 That is, in the process of step S7, the electronic device 1 acquires the stroke order, the writing speed, and the like of handwritten characters input by the mail creator on the touch panel 34 with a pen or the like in a format that can be displayed by moving images, and displays the mail creation screen indicate. In the present embodiment, the moving image is generated in a predetermined file format such as MPEG4 or animation GIF. Further, the generated moving image is not limited to a single character unit, and can be generated in a sentence unit or an arbitrary length, and the moving image reproduction speed and the number of reproductions can be set as appropriate.

また、鉛筆ボタン２１ａが１回押された場合には、タッチパネル３５へのペン操作を画像にて取得する入力画面を起動し、ステップＳ９へ進む（ステップＳ８）。ステップＳ９において、電子機器１は、手書き操作を接触検出部４１により検出する。次いで、電子機器１は、接触検出部４１にて検出した結果に基づいて、画像生成部４２にて画像データを生成する。この際、生成された画像データは、メモリ３３に一時的に格納されたり、所定の操作により画像記憶部５２に登録データとして格納されたりする。次に、生成された画像データは、メッセージ作成部４６によりディスプレイ１１上に表示される。 When the pencil button 21a is pressed once, an input screen for acquiring pen operation on the touch panel 35 as an image is activated, and the process proceeds to step S9 (step S8). In step S 9, the electronic device 1 detects a handwriting operation by the contact detection unit 41. Next, the electronic device 1 generates image data in the image generation unit 42 based on the result detected by the contact detection unit 41. At this time, the generated image data is temporarily stored in the memory 33 or stored as registration data in the image storage unit 52 by a predetermined operation. Next, the generated image data is displayed on the display 11 by the message creation unit 46.

つまり、ステップＳ９の工程において、電子機器１は、メール作成者がタッチパネルにペン等で入力した手書き文字を画像により表示可能な形式で取得し、メール作成画面に表示する。なお、本実施形態において、画像は、ＪＰＥＧやＧＩＦなどの所定のファイル形式で生成される。また、生成される画像は、１文字単位に限られず、文単位や任意の長さ大きさにより生成可能である。 That is, in the process of step S9, the electronic device 1 acquires the handwritten character input by the mail creator on the touch panel with a pen or the like in a format that can be displayed as an image, and displays it on the mail creation screen. In the present embodiment, the image is generated in a predetermined file format such as JPEG or GIF. The generated image is not limited to a single character unit, and can be generated in a sentence unit or an arbitrary length.

さらに、鉛筆ボタン２１ａが２回押された場合には、上述した手書き操作から、キーボード３５による入力操作可能なメール作成画面に復帰する（ステップ１０、ステップ１１）。上述した鉛筆ボタン２１ａへの操作がされない場合には、キーボード３５による入力が可能なメール作成画面が維持される（ステップＳ１２）。上述したメール作成画面への入力が行われた後に、電子機器１は、消しゴムボタン２１ｂが押された場合には、既に書き込まれた文字等を消去可能なステップＳ１４へ進む（ステップＳ１３）。 Furthermore, when the pencil button 21a is pressed twice, the above-described handwriting operation returns to the mail creation screen that can be input using the keyboard 35 (steps 10 and 11). If the above-described operation on the pencil button 21a is not performed, a mail creation screen that can be input with the keyboard 35 is maintained (step S12). If the eraser button 21b is pressed after the above-described mail creation screen has been input, the electronic device 1 proceeds to step S14 in which already written characters and the like can be erased (step S13).

ステップＳ１４において、電子機器１は、メール作成画面上に表示されている文字等を、所定のタッチ操作（例えば、文字を丸で囲む）にて指定して、指定された文字等を削除する。また、電子機器１は、消しゴムボタン２１ｂが長押しされた場合には、既に入力された文字等の変換を行うステップＳ１６以下へと進む（ステップＳ１５）。 In step S14, the electronic device 1 designates characters and the like displayed on the mail creation screen by a predetermined touch operation (for example, circles the characters), and deletes the designated characters and the like. In addition, when the eraser button 21b is pressed for a long time, the electronic device 1 proceeds to step S16 and subsequent steps for converting already input characters and the like (step S15).

図６に示すように、ステップＳ１６において、電子機器１は、メール作成画面上に表示されている文字等を、所定のタッチ操作（例えば、文字を丸で囲む）にて指定する。 As shown in FIG. 6, in step S 16, the electronic device 1 designates a character or the like displayed on the mail creation screen by a predetermined touch operation (for example, encircles the character).

ステップＳ１６の工程において、電子機器１は、所定のタッチ操作により、文字等が指定された場合は、指定された文字等と以下の鉛筆ボタン２１ａへの操作（ステップＳ１７、ステップＳ１８、ステップＳ１９）により指示された文字形式（テキスト文字、画像データとして保存された手書き文字又は動画像データとして保存された手書き文字）への変換の判断を行う。なお、本実施形態においては、指定した文字を変換の対象とする例を示したが、指定した文字以外の文字を変換の対象としても良い。また、鉛筆ボタン２１ａの操作が行われない場合は、タイマー等により本ステップを終了し、ステップＳ２２へ進む。 In the step S16, when a character or the like is designated by a predetermined touch operation, the electronic device 1 operates the designated character or the like and the following pencil button 21a (step S17, step S18, step S19). Judgment of conversion to a character format (text characters, handwritten characters stored as image data or handwritten characters stored as moving image data) indicated by the above. In the present embodiment, an example in which a designated character is a conversion target is shown, but a character other than the specified character may be a conversion target. If the operation of the pencil button 21a is not performed, this step is ended by a timer or the like, and the process proceeds to step S22.

鉛筆ボタン２１ａが長押しされた場合には、画像選択部４９にて指定された文字等と画像記憶部５２に格納されている登録データ（初期状態又はダウンロード等で入手したメール作成時に予め登録されている動画像データやステップＳ７で登録された動画像データ等）との変換を行うため、ステップＳ２０へ進む（ステップＳ１７）。 When the pencil button 21a is pressed for a long time, the characters designated by the image selection unit 49 and the registration data stored in the image storage unit 52 (initially registered at the time of mail creation obtained by downloading or the like) In order to perform conversion with the moving image data being registered or the moving image data registered in step S7, the process proceeds to step S20 (step S17).

鉛筆ボタン２１ａが１回押された場合には、画像選択部４９にて指定された文字等と画像記憶部５２に格納されている登録データ（初期状態又はダウンロード等で入手したメール作成時に予め登録されている画像データやステップＳ７で登録された画像データ等）との変換を行うため、ステップＳ２０へ進む（ステップＳ１８）。 When the pencil button 21a is pressed once, the characters specified by the image selection unit 49 and the registration data stored in the image storage unit 52 (initial registration or registration in advance when creating an e-mail obtained by downloading, etc.) In order to perform conversion with the image data registered in step S7 or the image data registered in step S7, the process proceeds to step S20 (step S18).

鉛筆ボタン２１ａが長押しされた場合には、画像選択部４９にて指定された文字等と画像記憶部５２に登録された登録データ（初期状態又はダウンロード等で入手したメール作成時に予め登録されているフォントデータ）との変換を行うため、ステップＳ２０へ進む（ステップＳ１９）。 When the pencil button 21a is pressed for a long time, the characters designated by the image selection unit 49 and the registration data registered in the image storage unit 52 (initially registered at the time of mail creation obtained by downloading or the like) The processing proceeds to step S20 (step S19).

ステップＳ２０において、電子機器１は、ステップＳ１７、ステップＳ１８、又はステップＳ１９の画像選択部４９からの変換指示により、変換指定文字を画像認識部５０において、同一性の判断を行い、同一性有りと判断した場合には、抽出部５３にて、メモリ又は画像記憶部５２に格納されている登録データを抽出し、ステップＳ２１に進む。また電子機器１は、同一性無しと判断した場合には、処理を終了して、ステップＳ２２へ進む。なお、画像の同一性の判断については、画像の座標の代表値の一致度合いや余白部分の割合等で判断するなど、周知の画像認識方法を採用することにより実現することができる。また、動画像については、動画終了時の静止画像を抽出して、この静止画像を画像の同一性の判断と同様の方法で判断することにより、実現することができる。 In step S20, the electronic device 1 determines the identity of the conversion designated character in the image recognition unit 50 according to the conversion instruction from the image selection unit 49 in step S17, step S18, or step S19. If it is determined, the extraction unit 53 extracts the registration data stored in the memory or the image storage unit 52, and the process proceeds to step S21. If the electronic device 1 determines that there is no identity, the electronic device 1 ends the process and proceeds to step S22. Note that the image identity can be determined by adopting a well-known image recognition method such as determination based on the degree of coincidence of the representative values of the coordinates of the image, the ratio of the blank portion, or the like. Further, a moving image can be realized by extracting a still image at the end of the moving image and determining the still image by a method similar to the determination of image identity.

ステップＳ２１において、電子機器１は、抽出部５３により抽出した登録データをメッセージ作成部にて指定文字等と差し替えてメッセージ画面上に表示する。図５に示すように、ステップＳ２２において、電子機器１は、手書き操作（ステップＳ７及びステップＳ９）やキーボード操作（ステップ１１及びステップＳ１２）の有無を判断し、操作があった場合は、ステップＳ２３へ進み、操作がなかった場合は、メール作成画面の入力操作待ち状態となる。 In step S 21, the electronic device 1 displays the registration data extracted by the extraction unit 53 on the message screen by replacing the designated character or the like with the message creation unit. As shown in FIG. 5, in step S22, the electronic device 1 determines whether or not a handwriting operation (step S7 and step S9) or a keyboard operation (step 11 and step S12) is performed. If there is no operation, the mail creation screen waits for an input operation.

ステップＳ２３において、電子機器１は、サイドボタン２１ｃが押された場合には、メールの入力操作を確定し（ステップＳ２４）、ステップＳ２５に進む。ステップＳ２５において、電子機器１は、ディスプレイ１１上にメールの本文以外に添付可能な情報が表示される。例えば、ファイル添付モード、カメラ撮影画像（カメラを起動して撮影を行い添付する。）、痕跡モード（手形や、サイン、キスマークなどタッチパネル３４操作により取得したデータを添付する。）がある。これらのモードのうち、痕跡モードを選択した場合には、ステップＳ２６へ進む。 In step S23, when the side button 21c is pressed, the electronic device 1 determines the mail input operation (step S24) and proceeds to step S25. In step S 25, the electronic device 1 displays information that can be attached other than the mail text on the display 11. For example, there are a file attachment mode, an image captured by a camera (camera is activated and attached), and a trace mode (data acquired by operating the touch panel 34 such as a bill, a sign, and a kiss mark is attached). If the trace mode is selected from these modes, the process proceeds to step S26.

ステップＳ２６において、電子機器１は、タッチパネル３４操作により痕跡（接触した軌跡を画像）を残し、ステップＳ２７へ進む。この際、痕跡は、タッチペンや指の操作に限らず、例えばタッチパネルに接触した唇等でも良い。この場合、タッチパネル３４は、痕跡モード用に接触の感度を変化させるなどして、手書き操作時とは異なる操作感を与えても良い。また、ステップＳ２６において、添付された痕跡データは、メールに痕跡データの情報が付加され、他の添付データとの差別化が図られる。 In step S 26, the electronic device 1 leaves a trace (an image of the touched trace) by operating the touch panel 34 and proceeds to step S 27. In this case, the trace is not limited to the operation of the touch pen or the finger, but may be, for example, lips that are in contact with the touch panel. In this case, the touch panel 34 may give an operational feeling different from that during handwriting operation, for example, by changing the sensitivity of contact for the trace mode. In step S26, the attached trace data is added with the information of the trace data in the mail, and is differentiated from the other attached data.

ステップＳ２７において、電子機器１は、サイドボタン２１ｃが押されることにより、痕跡モードの確定を行い、メール作成を終了し、ステップＳ２８に進む（図７参照）。ステップＳ２８において、電子機器１は、宛先選択部４７により、送信先の選択（アドレス帳データの参照及びメールアドレス等の直接入力を行う。）を行い、画面をタップすることにより（ステップＳ２９）、送信部４８によりメールデータの送信を行う（ステップＳ３０）。送信が完了しない場合は、例えば、タイマーなどにより送信キャンセルなどの指示があるまで送信を行い、送信が完了することにより、電子機器１の待ち受け状態となる（ステップＳ３１）。 In step S27, the electronic device 1 determines the trace mode by pressing the side button 21c, ends the mail creation, and proceeds to step S28 (see FIG. 7). In step S28, the electronic device 1 selects a transmission destination (refers to address book data and directly inputs a mail address or the like) by the destination selection unit 47, and taps the screen (step S29). Mail data is transmitted by the transmitter 48 (step S30). If the transmission is not completed, for example, the transmission is performed until an instruction to cancel the transmission is given by a timer or the like, and the transmission is completed, whereby the electronic device 1 enters a standby state (step S31).

次に、メールデータの送受信について、図２、３、７及び８を参照して、説明をする。電子機器１から、送信されたメールデータは、無線通信部３２により、基地局１０１にアンテナ３２ａを介して、送信される。次いで、電子機器１からのメールデータを受信した基地局１０１は、メールデータの宛先情報に基づいて、電子機器１’にメールデータを送信する。 Next, transmission / reception of mail data will be described with reference to FIGS. The mail data transmitted from the electronic device 1 is transmitted to the base station 101 via the antenna 32a by the wireless communication unit 32. Next, the base station 101 that has received the mail data from the electronic device 1 transmits the mail data to the electronic device 1 ′ based on the destination information of the mail data.

メール受信側となる電子機器１’は、電子機器１から基地局１０１を介して送信されたメールデータを無線通信部３２’（受信部３２’）が、アンテナ３２ａ’を介して受信し（ステップＳ４０）、ステップＳ４１に進む。ステップＳ４１において、電子機器１は、受信したメールデータから、痕跡情報を取得し、痕跡情報が添付されていれば、ディスプレイ１１に痕跡表示を行い（ステップ４２）、痕跡が表示されているディスプレイをタップすることにより、メール本文の表示を行い（ステップ４３）、ステップＳ４４に進む。なお、手書き文字画像及び痕跡情報は、メール互換性のない汎用の電子機器とのやり取りをする場合には、添付ファイル扱われるようにする。 In the electronic device 1 ′ on the mail receiving side, the wireless communication unit 32 ′ (reception unit 32 ′) receives the mail data transmitted from the electronic device 1 via the base station 101 via the antenna 32a ′ (Step S1). S40), the process proceeds to step S41. In step S41, the electronic device 1 acquires trace information from the received mail data. If the trace information is attached, the electronic apparatus 1 displays the trace on the display 11 (step 42), and displays the display on which the trace is displayed. By tapping, the mail text is displayed (step 43), and the process proceeds to step S44. Note that the handwritten character image and the trace information are handled as attachments when exchanging with a general-purpose electronic device having no mail compatibility.

以上説明してきたように、本発明により作成される電子機器１及び電子機器１’におけるメッセージ表示システム２０１は、文字コードにより読み出し可能な文字データ（テキスト文字）と、画像や動画像の手書き文字と、が混在して１つのメール本文内で表示される。この結果、電子機器１は、文字データや登録済みの絵文字、強調表示等により作成するメールに比べて、作成における自由度が高く、他のメール及びメール本文内での単語や文章等の差別化が図りやすく、メール作成者の感情をより確実に相手に伝えることができるメッセージを作成し、送信することができる。さらに、電子機器１は、メール本文を表示する前に、痕跡表示をすることで、メール全体の印象や送り手の感情をより相手に伝えることができる。 As described above, the electronic device 1 and the message display system 201 in the electronic device 1 ′ created according to the present invention are capable of reading character data (text characters) readable by character codes, handwritten characters of images and moving images, and the like. , Are mixed and displayed in one email text. As a result, the electronic device 1 has a higher degree of freedom in composing than mail created by character data, registered pictograms, highlighting, etc., and differentiating words and sentences in other mails and the mail text. It is easy to plan, and it is possible to create and send a message that can convey the mail creator's feelings to the other party more reliably. Furthermore, the electronic device 1 can convey the impression of the whole mail and the feeling of the sender to the other party by displaying the trace before displaying the mail text.

１電子機器（第１の電子機器）
１’ 電子機器（第２の電子機器）
１１表示部
３２’ 受信部
４１接触検出部
４２画像生成部
４３外部入力検出部
４４文字読出部
４５選択部
４６メッセージ作成部
４７宛先選択部
４８送信部
４９画像選択部
５０画像認識部
５１文字変換部
５２画像記憶部
５３抽出部 1 Electronic equipment (first electronic equipment)
1 'electronic equipment (second electronic equipment)
DESCRIPTION OF SYMBOLS 11 Display part 32 'Reception part 41 Contact detection part 42 Image generation part 43 External input detection part 44 Character reading part 45 Selection part 46 Message preparation part 47 Destination selection part 48 Transmission part 49 Image selection part 50 Image recognition part 51 Character conversion part 52 Image storage unit 53 Extraction unit

Claims

A contact detector for detecting contact;
An image generation unit that generates an image based on a detection result by the contact detection unit;
An external input detector for detecting external input;
A character reading unit that reads a corresponding character based on a detection result by the external input detection unit;
A selection unit that selects one of the contact detection unit and the external input detection unit;
When the contact detection unit is selected by the selection unit, an image generated by the image generation unit is input. When the external input detection unit is selected by the selection unit, the image is read by the character reading unit. A message creation unit that creates an electronic message by entering the characters,
A transmission unit for transmitting the message created by the message creation unit ;
An image storage unit for storing images generated by the image generation unit in the past,
The message creation unit is an electronic device in which, when there is a past image corresponding to the character read by the character reading unit, the image is mixed with the message instead of the character read by the character reading unit.

An image selection unit for selecting a part or all of the image included in the message created by the message creation unit;
An image recognition unit for recognizing part or all of the image selected by the image selection unit;
A character conversion unit that converts characters into part or all of the image based on the recognition result by the image recognition unit;
The electronic device according to claim 1, wherein the message creation unit creates an electronic message by inputting the character converted by the character conversion unit.

The electronic device according to claim 1, wherein the image generation unit generates an image in a format that dynamically reproduces a trajectory drawn by contact based on a detection result by the contact detection unit.

4. The electronic apparatus according to claim 3, wherein the image is an image in a format in which the trajectory is dynamically reproduced in accordance with a movement speed drawn by contact.

An image selection unit for selecting a part or all of the image included in the message created by the message creation unit;
An image recognition unit for recognizing part or all of the image selected by the image selection unit;
An extraction unit that extracts, from the image storage unit, an image having the same identity as part or all of the selected image based on the recognition result by the image recognition unit;
The electronic device according to claim 1, wherein the message creation unit creates a message composed of electronic characters and images by inputting the image extracted by the extraction unit.

An image generator for generating an image based on the contact;
An external input detector for detecting external input;
A character reading unit that reads a corresponding character based on a detection result by the external input detection unit;
A message creation unit that creates an electronic message including the image and the character by inputting an image generated by the image generation unit or by inputting a character read by the character reading unit; ,
A display unit capable of displaying the message created by the message creation unit;
An image storage unit for storing images generated by the image generation unit in the past,
The message creation unit is an electronic device in which, when there is a past image corresponding to the character read by the character reading unit, the image is mixed with the message instead of the character read by the character reading unit .

The electronic apparatus according to claim 6, wherein the image generation unit generates an image in a format that dynamically reproduces a trajectory drawn by the contact.

In a message display system comprising a first electronic device and a second electronic device, receiving and displaying a message,
The first electronic device includes:
An image generator for generating an image based on the contact;
An external input detector for detecting external input;
A character reading unit that reads a corresponding character based on a detection result by the external input detection unit;
A message generation unit that generates an electronic message including the image and the character by inputting an image generated by the image generation unit or by inputting a character read by the character reading unit; ,
An image storage unit for storing images generated by the image generation unit in the past,
When there is a past image corresponding to the character read by the character reading unit, the message creating unit, instead of the character read by the character reading unit, the image is mixed in a message,
The second electronic device is
A receiving unit for receiving the message;
A message display system comprising a display unit capable of displaying the received message.