JP5781275B2 - Electronic device, display method, and display program - Google Patents
Electronic device, display method, and display program Download PDFInfo
- Publication number
- JP5781275B2 JP5781275B2 JP2010098534A JP2010098534A JP5781275B2 JP 5781275 B2 JP5781275 B2 JP 5781275B2 JP 2010098534 A JP2010098534 A JP 2010098534A JP 2010098534 A JP2010098534 A JP 2010098534A JP 5781275 B2 JP5781275 B2 JP 5781275B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- hand
- touch panel
- mobile phone
- drawn
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Telephonic Communication Services (AREA)
Description
本発明は、動画を再生可能な電子機器、表示方法、および表示プログラムに関し、特に、手書き画像を表示することができる電子機器、表示方法、および表示プログラムに関する。 The present invention relates to an electronic device that can reproduce a moving image, a display method, and a display program, and more particularly, to an electronic device that can display a handwritten image, a display method, and a display program.
ワンセグ放送を受信したり、ストリーミングデータを受信したりすることによって、動画を表示することができる表示装置が知られている。 A display device that can display a moving image by receiving one-segment broadcasting or receiving streaming data is known.
また、インターネットに接続可能な複数の表示装置が、リアルタイムで、手描き画像を交換するネットワークシステムが知られている。たとえば、サーバ／クライアントシステムや、Ｐ２Ｐ（Peer to Peer）システムなどが挙げられる。そのようなネットワークシステムにおいては、表示装置の各々は、手描き画像や、テキストデータなどを送信したり受信したりする。表示装置の各々は、受信したデータに基づいて、ディスプレイに手書き画像やテキストを表示する。 A network system is also known in which a plurality of display devices connectable to the Internet exchange hand-drawn images in real time. For example, a server / client system, a P2P (Peer to Peer) system, etc. are mentioned. In such a network system, each display device transmits and receives hand-drawn images and text data. Each of the display devices displays a handwritten image or text on the display based on the received data.
たとえば、特開２００６−４１９０号公報（特許文献１）には、携帯電話向けチャットサービスシステムが開示されている。特開２００６−４１９０号公報（特許文献１）によると、インターネットを介して通信接続された多数の携帯電話端末およびオペレータ用ウェブ端末に対し、上記端末のブラウザ表示画面に動画表示領域と文字表示領域を形成させるとともに、上記動画表示領域にストリーミング表示される動画データを配信する配信サーバと、上記携帯電話端末と上記オペレータ用ウェブ端末の間でのチャットをサポートするとともに文字データからなるチャットデータを上記文字表示領域に表示させるチャットサーバとを備え、上記チャットサーバは、各オペレータ用ウェブ端末がそれぞれ、複数の携帯電話端末に対して携帯電話端末ごとに独立のチャットチャネルを形成する。 For example, JP 2006-4190 A (Patent Document 1) discloses a chat service system for mobile phones. According to Japanese Patent Laying-Open No. 2006-4190 (Patent Document 1), a moving image display area and a character display area are displayed on the browser display screen of the terminal for a large number of mobile phone terminals and operator web terminals connected via the Internet. A chat server between the mobile phone terminal and the operator web terminal and the chat data consisting of character data as well as the distribution server for distributing the video data stream-displayed in the video display area A chat server to be displayed in the character display area, and each of the operator web terminals forms an independent chat channel for each mobile phone terminal with respect to the plurality of mobile phone terminals.
ユーザは、動画上に手描き画像を描画したい場合がある。そして、ユーザは、再生中の動画のシーンやフレームに関係する手書き画像を描画したい場合がある。しかしながら、従来は、入力された手描き画像が消去された後、または、動画のシーンが切り換わった後などに、過去に入力された手描き画像を対応する動画とともに閲覧することはできなかった。 A user may want to draw a hand-drawn image on a moving image. The user may want to draw a handwritten image related to the scene or frame of the moving image being played back. However, conventionally, after an input hand-drawn image is erased or after a scene of a moving image is switched, a hand-drawn image input in the past cannot be browsed together with the corresponding moving image.
本発明は、かかる問題を解決するためになされたものであり、その目的は、過去に入力された手描き画像を対応する動画とともに閲覧することができる電子機器、表示方法、および表示プログラムに関する。 The present invention has been made to solve such a problem, and an object thereof is to an electronic device, a display method, and a display program that can browse a hand-drawn image input in the past together with a corresponding moving image.
この発明のある局面に従うと、メモリと、背景画像を表示するためのタッチパネルと、タッチパネルを介して手描き画像の入力を受け付けて、タッチパネルに背景画像と手描き画像とを重ねて表示させるためのプロセッサとを備える電子機器が提供される。プロセッサは、背景画像に重畳された手描き画像を消去するための命令の入力を受け付け、命令が入力されたときにタッチパネルに表示されていた背景画像と手描き画像とを履歴情報としてメモリに記憶し、履歴情報に基づいて、タッチパネルに背景画像と手描き画像とを重ねて表示させる。 According to one aspect of the present invention, a memory, a touch panel for displaying a background image, a processor for receiving input of a hand-drawn image via the touch panel, and displaying the background image and the hand-drawn image on the touch panel, An electronic device is provided. The processor receives an input of a command for erasing the hand-drawn image superimposed on the background image, stores the background image and the hand-drawn image displayed on the touch panel when the command is input, as history information in a memory, Based on the history information, the background image and the hand-drawn image are displayed on the touch panel in an overlapping manner.
好ましくは、タッチパネルは、動画を表示する。背景画像は、動画のフレームを含む。
好ましくは、プロセッサは、タッチパネルに表示されている動画のシーンが切り換わったときに、当該切り換わりの直前にタッチパネルに表示されていた動画のフレームと手描き画像とを履歴情報としてメモリに記憶する。
Preferably, the touch panel displays a moving image. The background image includes a moving image frame.
Preferably, when the scene of the moving image displayed on the touch panel is switched, the processor stores the frame of the moving image displayed on the touch panel immediately before the switching and the hand-drawn image in the memory as history information.
好ましくは、プロセッサは、動画のシーンが切り換わったときに、動画上の手描き画像を消去する。 Preferably, the processor erases the hand-drawn image on the moving image when the moving image scene is switched.
好ましくは、プロセッサは、命令に応じて、背景画像上の手描き画像を消去する。
好ましくは、プロセッサは、タッチパネルの第１の領域に、背景画像を表示させながら、当該背景画像に重ねて手描き画像を表示させ、タッチパネルの第２の領域に、履歴情報に基づいて、背景画像と手描き画像と重ねて表示させる。
Preferably, the processor erases the hand-drawn image on the background image in response to the instruction.
Preferably, the processor displays a hand-drawn image on the background image while displaying the background image on the first area of the touch panel, and displays the background image on the second area of the touch panel based on the history information. Overlay with hand-drawn image.
好ましくは、電子機器は、背景画像を外部から受信するためのアンテナをさらに備える。 Preferably, the electronic device further includes an antenna for receiving a background image from the outside.
好ましくは、電子機器は、ネットワークを介して他の電子機器と通信するための通信インターフェイスをさらに備える。プロセッサは、通信インターフェイスを介して、タッチパネルを介して入力された手描き画像を他の電子機器へと送信し、他の電子機器からの手描き画像を受信し、タッチパネルに、背景画像に重ねて、タッチパネルを介して入力された手描き画像と他の電子機器からの手描き画像とを表示させ、タッチパネルを介して入力された手描き画像とともに、他の電子機器からの手描き画像を履歴情報としてメモリに記憶する。 Preferably, the electronic device further includes a communication interface for communicating with another electronic device via a network. The processor transmits the hand-drawn image input via the touch panel via the communication interface to another electronic device, receives the hand-drawn image from the other electronic device, and superimposes the background image on the touch panel. The hand-drawn image input through the electronic device and the hand-drawn image from another electronic device are displayed, and the hand-drawn image input from the other electronic device is stored in the memory as history information together with the hand-drawn image input through the touch panel.
好ましくは、プロセッサは、手描き画像と背景画像とが合成されたペイントデータを履歴情報としてメモリに記憶する。 Preferably, the processor stores paint data obtained by combining the hand-drawn image and the background image in the memory as history information.
好ましくは、プロセッサは、手描き画像を示すペイントデータと背景画像を示すペイントデータとを関連付けて履歴情報としてメモリに記憶する。 Preferably, the processor stores the paint data indicating the hand-drawn image and the paint data indicating the background image in association with each other in the memory as history information.
好ましくは、プロセッサは、手描き画像を示すドローデータと背景画像を示すペイントデータとを関連付けて履歴情報としてメモリに記憶する。 Preferably, the processor associates the draw data indicating the hand-drawn image with the paint data indicating the background image and stores them in the memory as history information.
この発明の別の局面に従うと、メモリとタッチパネルとプロセッサとを含むコンピュータにおける表示方法が提供される。表示方法は、プロセッサが、タッチパネルに、背景画像を表示させるステップと、プロセッサが、タッチパネルを介して、手描き画像の入力を受け付けるステップと、プロセッサが、タッチパネルに、背景画像と手描き画像とを重ねて表示させるステップと、プロセッサが、背景画像に重畳された手描き画像を消去するための命令の入力を受け付けるステップと、プロセッサが、命令が入力されたときにタッチパネルに表示されていた背景画像と手描き画像とを履歴情報としてメモリに記憶するステップと、プロセッサが、履歴情報に基づいて、タッチパネルに、背景画像と手描き画像とを重ねて表示させるステップとを備える。 According to another aspect of the present invention, a display method in a computer including a memory, a touch panel, and a processor is provided. The display method includes a step in which a processor displays a background image on the touch panel, a step in which the processor receives an input of a hand-drawn image via the touch panel, and a processor overlaps the background image and the hand-drawn image on the touch panel. A step of displaying, a step of accepting an input of a command for the processor to erase a hand-drawn image superimposed on the background image, and a background image and a hand-drawn image displayed on the touch panel when the processor inputs the command Are stored in the memory as history information, and the processor causes the touch panel to display a background image and a hand-drawn image on the touch panel based on the history information.
この発明の別の局面に従うと、メモリとタッチパネルとプロセッサとを含むコンピュータに画像を表示させるための表示プログラムが提供される。プロセッサに、タッチパネルに、背景画像を表示させるステップと、タッチパネルを介して、手描き画像の入力を受け付けるステップと、タッチパネルに、背景画像と手描き画像とを重ねて表示させるステップと、背景画像に重畳された手描き画像を消去するための命令の入力を受け付けるステップと、命令が入力されたときにタッチパネルに表示されていた背景画像と手描き画像とを履歴情報としてメモリに記憶するステップと、履歴情報に基づいて、タッチパネルに背景画像と手描き画像とを重ねて表示させるステップとを実行させる。 According to another aspect of the present invention, a display program for displaying an image on a computer including a memory, a touch panel, and a processor is provided. A step of causing the processor to display a background image on the touch panel, a step of accepting an input of a hand-drawn image via the touch panel, a step of displaying the background image and the hand-drawn image on the touch panel and displaying the background image superimposed on the background image. A step of receiving an input of a command for deleting the hand-drawn image, a step of storing the background image and the hand-drawn image displayed on the touch panel when the command is input in the memory as history information, and based on the history information The step of superimposing the background image and the hand-drawn image on the touch panel is executed.
以上のように、本発明によって、過去に入力された手描き画像を対応する動画とともに閲覧することができる電子機器、表示方法、および表示プログラムが提供される。 As described above, according to the present invention, an electronic device, a display method, and a display program that can browse a hand-drawn image input in the past together with a corresponding moving image are provided.
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following description, the same parts are denoted by the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated.
また、以下では、携帯電話１００を「表示装置」の代表例として説明を行う。ただし、表示装置は、パーソナルコンピュータや、カーナビゲーション装置（Satellite navigation system）や、ＰＮＤ（Personal Navigation Device）や、ＰＤＡ（Personal Data Assistance）、ゲーム機、電子辞書、電子ＢＯＯＫなどのような、ディスプレイを有する情報機器であってもよい。なお、表示装置は、ネットワークに接続可能であって、他の機器との間でデータの送受信が可能な情報通信機器であることが好ましい。
Hereinafter, the
［実施の形態１］
＜ネットワークシステム１の全体構成＞
まず、本実施の形態に係るネットワークシステム１の全体構成について説明する。図１は、本実施の形態に係るネットワークシステム１の一例を示す概略図である。図１に示すように、ネットワークシステム１は、携帯電話１００Ａ，１００Ｂ，１００Ｃと、チャットサーバ（第１のサーバ装置）４００と、コンテンツサーバ（第２のサーバ装置）６００と、放送局（ＴＶ放送のアンテナ）６５０と、インターネット（第１のネットワーク）５００と、キャリア網（第２のネットワーク）７００とを含む。また、本実施の形態に係るネットワークシステム１は、車両２５０に搭載されるカーナビゲーション装置２００と、パーソナルコンピュータ（ＰＣ；Personal Computer）３００とを含む。
[Embodiment 1]
<Overall configuration of
First, the overall configuration of the
なお、理解を容易にするために、以下では、本実施の形態に係るネットワークシステム１が、第１の携帯電話１００Ａと、第２の携帯電話１００Ｂと、第３の携帯電話１００Ｃとを含む場合について説明する。また、携帯電話１００Ａ，１００Ｂ，１００Ｃの各々に共通の構成や機能を説明する際には、それらを携帯電話１００とも総称する。そして、携帯電話１００Ａ，１００Ｂ，１００Ｃ、カーナビゲーション装置２００、パーソナルコンピュータ３００の各々に共通の構成や機能を説明する際には、それらを表示装置とも総称する。
In order to facilitate understanding, in the following,
携帯電話１００は、キャリア網７００に接続可能に構成されている。カーナビゲーション装置２００は、インターネット５００に接続可能に構成されている。パーソナルコンピュータ３００は、ＬＡＮ（Local Area Network）３５０やＷＡＮ（Wide Area Network）を介してインターネット５００に接続可能に構成されている。チャットサーバ４００は、インターネット５００に接続可能に構成されている。コンテンツサーバ６００は、インターネット５００に接続可能に構成されている。
The
より詳細には、第１の携帯電話１００Ａと、第２の携帯電話１００Ｂと、第３の携帯電話１００Ｃと、カーナビゲーション装置２００と、パーソナルコンピュータ３００とは、インターネット５００やキャリア網７００やメール送信サーバ（図２におけるチャットサーバ４００）を介して、互いに接続可能であって、互いにデータを送受信することが可能である。
More specifically, the first
本実施の形態においては、携帯電話１００とカーナビゲーション装置２００とパーソナルコンピュータ３００には、自端末を特定するための識別情報（たとえば、メールアドレスやＩＰ（Internet Protocol）アドレスなど）が割り当てられる。携帯電話１００とカーナビゲーション装置２００とパーソナルコンピュータ３００は、内部の記録媒体に他の表示装置の識別情報を記憶することができる。携帯電話１００とカーナビゲーション装置２００とパーソナルコンピュータ３００は、当該識別情報に基づいて、キャリア網７００やインターネット５００などを介して、他の表示装置とデータ送受信を行うことができる。
In the present embodiment, identification information (for example, an e-mail address or an IP (Internet Protocol) address) for identifying the terminal itself is assigned to the
本実施の形態に係る携帯電話１００とカーナビゲーション装置２００とパーソナルコンピュータ３００とは、他の表示装置に割り当てられるＩＰアドレスを利用して、サーバ４００，６００を介さずに当該他の表示装置とデータ送受信を行うことが可能である。すなわち、本実施の形態に係るネットワークシステム１に含まれる携帯電話１００、カーナビゲーション装置２００、パーソナルコンピュータ３００は、いわゆるＰ２Ｐ（Peer to Peer）型のネットワークを構成することが可能である。
The
ここでは、各表示装置がチャットサーバ４００にアクセスする際には、すなわち各表示装置がインターネットにアクセスした際に、チャットサーバ４００あるいは他の図示しないサーバ装置などによってＩＰアドレスが割り当てられるものとする。ＩＰアドレスの割り当て処理の詳細は公知であるので、ここでは説明を繰り返さない。
Here, when each display device accesses the
また、本実施の形態に係る放送局６５０は、地上デジタル放送を送信する。たとえば、放送局６５０は、ワンセグ放送を送信する。携帯電話１００とカーナビゲーション装置２００とパーソナルコンピュータ３００とは、ワンセグ放送を受信する。携帯電話１００とカーナビゲーション装置２００とパーソナルコンピュータ３００のユーザは、放送局６５０から受信したテレビ番組など（動画コンテンツ）を視聴することができる。
In addition,
携帯電話１００とカーナビゲーション装置２００とパーソナルコンピュータ３００とは、インターネット５００を介して、コンテンツサーバ６００から、インターネットＴＶやその他の動画コンテンツを略同時に受信する。携帯電話１００とカーナビゲーション装置２００とパーソナルコンピュータ３００のユーザは、コンテンツサーバ６００からの動画コンテンツを視聴することができる。
The
＜ネットワークシステム１の全体的な動作概要＞
次に、本実施の形態に係るネットワークシステム１の動作概要について説明する。図２は、本実施の形態に係るネットワークシステム１における動作概要を示すシーケンス図である。図２においては、図１におけるコンテンツサーバ６００と放送局６５０とを総称してコンテンツ発信装置という。
<Overview of overall operation of
Next, an outline of the operation of the
図１および図２に示すように、本実施の形態に係る各表示装置は、Ｐ２Ｐ型のデータ送受信を行うために、はじめに互いのＩＰアドレスを交換（取得）する必要がある。そして、各表示装置は、ＩＰアドレスを取得したのちに、Ｐ２Ｐ型のデータ送受信によってメッセージや添付ファイルなどを他の表示装置に送信する。 As shown in FIGS. 1 and 2, each display device according to the present embodiment needs to exchange (acquire) each other's IP address first in order to perform P2P type data transmission / reception. Each display device acquires an IP address and then transmits a message, an attached file, and the like to other display devices by P2P type data transmission / reception.
以下では、表示装置のそれぞれが、チャットサーバ４００に生成されたチャットルームを介して、互いの識別情報（ＩＰアドレスなど）やメッセージや添付ファイルを送受信する場合について説明する。そして、第１の携帯電話１００Ａが、チャットサーバ４００に新たなチャットルームを生成し、当該チャットルームに第２の携帯電話１００Ｂを招待する場合について説明する。
Below, the case where each display apparatus transmits / receives mutual identification information (IP address etc.), a message, and an attached file via the chat room produced | generated by the
まず、第１の携帯電話１００Ａ（図２において端末Ａ）が、チャットサーバ４００にＩＰ登録（ログイン）を要求する（ステップＳ０００２）。第１の携帯電話１００Ａは、同時にＩＰアドレスを取得してもよいし、予めＩＰアドレスを取得していてもよい。より詳細には、第１の携帯電話１００Ａは、キャリア網７００、メール送信サーバ（チャットサーバ４００）、インターネット５００を介して、チャットサーバ４００に第１の携帯電話１００ＡのメールアドレスとＩＰアドレスと第２の携帯電話１００Ｂのメールアドレスと新たなチャットルームの生成を要求するメッセージとを送信する。
First, first
チャットサーバ４００は、その要求に応じて、第１の携帯電話１００ＡのメールアドレスをそのＩＰアドレスに対応付けて格納する。そして、チャットサーバ４００は、第１の携帯電話１００Ａのメールアドレスと第２の携帯電話１００Ｂのメールアドレスとに基づいて、ルーム名を生成し、当該ルーム名のチャットルームを生成する。このとき、チャットサーバ４００は、チャットルームの生成が完了した旨を第１の携帯電話１００Ａに通知してもよい。チャットサーバ４００は、ルーム名と参加中の表示装置のＩＰアドレスとを対応付けて格納する。
あるいは、第１の携帯電話１００Ａは、第１の携帯電話１００Ａのメールアドレスと第２の携帯電話１００Ｂのメールアドレスとに基づいて、新たなチャットルームのルーム名を生成し、当該ルーム名をチャットサーバ４００に送信する。チャットサーバ４００は、ルーム名に基づいて、新たなチャットルームを生成する。
Alternatively, first
第１の携帯電話１００Ａは、新たなチャットルームを生成したこと、すなわちチャットルームへの招待を示すＰ２Ｐ参加要請メールを第２の携帯電話１００Ｂに送信する（ステップＳ０００４、ステップＳ０００６）。より詳細には、第１の携帯電話１００Ａは、キャリア網７００、メール送信サーバ（チャットサーバ４００）、インターネット５００を介して、Ｐ２Ｐ参加要請メールを第２の携帯電話１００Ｂに送信する（ステップＳ０００４、ステップＳ０００６）。ただし、チャットサーバ４００が、コンテンツサーバ６００の役割を兼ねるものであってもよい。
The first
第２の携帯電話１００Ｂは、Ｐ２Ｐ参加要請メールを受信すると（ステップＳ０００６）、第１の携帯電話１００Ａのメールアドレスと第２の携帯電話１００Ｂのメールアドレスとに基づいてルーム名を生成し、チャットサーバ４００に第２の携帯電話１００ＢのメールアドレスとＩＰアドレスとそのルーム名を有するチャットルームへ参加する旨のメッセージとを送信する（ステップＳ０００８）。第２の携帯電話１００Ｂは、同時にＩＰアドレスを取得してもよいし、先にＩＰアドレスを取得してからチャットサーバ４００にアクセスしてもよい。
When the second
チャットサーバ４００は、そのメッセージを受け付けて、第２の携帯電話１００Ｂのメールアドレスがルーム名に対応するものであるか否かを判断した上で、第２の携帯電話１００ＢのメールアドレスをＩＰアドレスに対応付けて格納する。そして、チャットサーバ４００は、第１の携帯電話１００Ａに、第２の携帯電話１００Ｂがチャットルームに参加した旨と第２の携帯電話１００ＢのＩＰアドレスとを送信する（ステップＳ００１０）。同時に、チャットサーバ４００は、第２の携帯電話１００Ｂに、チャットルームへの参加を受け付けた旨と第１の携帯電話１００ＡのＩＰアドレスとを送信する。
第１の携帯電話１００Ａと第２の携帯電話１００Ｂは、相手のメールアドレスやＩＰアドレスを取得して、互いを認証する（ステップＳ００１２）。認証が完了すると、第１の携帯電話１００Ａと第２の携帯電話１００Ｂとは、Ｐ２Ｐ通信（チャット通信）を開始する（ステップＳ００１４）。Ｐ２Ｐ通信中の動作概要については、後述する。
First
第１の携帯電話１００Ａが、第２の携帯電話１００ＢにＰ２Ｐ通信を切断する旨のメッセージを送信する（ステップＳ００１６）。第２の携帯電話１００Ｂは、第１の携帯電話１００Ａに切断する要求を受け付けた旨のメッセージを送信する（ステップＳ００１８）。第１の携帯電話１００Ａは、チャットサーバ４００にチャットルームを削除する要求を送信する（ステップＳ００２０）。チャットサーバ４００は、チャットルームを削除する。
First
以下、図２と図３とを参照して、本実施の形態に係るネットワークシステム１の動作概要をより具体的に説明する。図３は、本実施の形態に係る動作概要に沿った表示装置の表示画面の推移を示したイメージ図である。なお、以下では、第１の携帯電話１００Ａと第２の携帯電話１００Ｂとが、放送局６５０またはコンテンツサーバ６００から取得したコンテンツを背景として表示しながら、入力された手書き画像を送受信する場合について説明する。
Hereinafter, the operation outline of the
図３（Ａ）に示すように、まず、第１の携帯電話１００ＡがＴＶ番組などのコンテンツを受信して表示している。第１の携帯電話１００Ａのユーザが、ＴＶ番組を視聴しながら第２の携帯電話１００Ｂのユーザとチャットしたい場合、第１の携帯電話１００Ａは、チャット開始の命令を受け付ける。図３（Ｂ）に示すように、第１の携帯電話１００Ａは、相手ユーザの選択命令を受け付ける。
As shown in FIG. 3A, first, the first
ここでは、図３（Ｃ）に示すように、第１の携帯電話１００Ａは、ＴＶ番組を特定するための情報をメール送信サーバ（チャットサーバ４００）を介して第２の携帯電話１００Ｂへと送信する（ステップＳ０００４）。図３（Ｄ）に示すように、第２の携帯電話１００Ｂは、第１の携帯電話１００Ａから情報を受信する（ステップＳ０００６）。第２の携帯電話１００Ｂは、当該情報に基づいてＴＶ番組を受信して表示する。
Here, as shown in FIG. 3C, first
なお、第１の携帯電話１００Ａと第２の携帯電話１００Ｂとは共に、Ｐ２Ｐ通信開始後に、すなわちＰ２Ｐ通信中に、ＴＶ番組などの動画コンテンツを放送局６５０やコンテンツサーバ６００から受信してもよい。
Note that both the first
図３（Ｅ）に示すように、第１の携帯電話１００Ａは、第２の携帯電話１００ＢとＰ２Ｐ通信することなく、メール送信を繰り返すこともできる。第１の携帯電話１００Ａは、メール送信が完了すると、チャットサーバ４００に自身のＩＰアドレスを登録し、第１の携帯電話１００Ａのメールアドレスと第２の携帯電話１００Ｂのメールアドレスとに基づいて新たなチャットルームを生成するように要求する（ステップＳ０００２）。
As shown in FIG. 3E, the first
図３（Ｆ）に示すように、第２の携帯電話１００Ｂは、チャットを開始する旨の命令を受け付けて、チャットサーバ４００に、ルーム名とチャットルームに参加する旨のメッセージと自身のＩＰアドレスとを送信する（ステップＳ０００８）。第１の携帯電話１００Ａは、第２の携帯電話１００ＢのＩＰアドレスを取得して、第２の携帯電話１００Ｂは第１の携帯電話１００ＡのＩＰアドレスを取得して（ステップＳ００１０）、互いを認証し合う（ステップＳ００１２）。
As shown in FIG. 3 (F), second
これによって、図３（Ｇ）および図３（Ｈ）に示すように、第１の携帯電話１００Ａと第２の携帯電話１００ＢとはＰ２Ｐ通信（手描きチャット通信）を行うことができる（ステップＳ００１４）。すなわち、本実施の形態に係る第１の携帯電話１００Ａと第２の携帯電話１００Ｂとは、動画コンテンツの再生中に、入力された手描き画像を示すデータを送受信するものである。
As a result, as shown in FIGS. 3G and 3H, the first
より詳細には、本実施の形態においては、第１の携帯電話１００Ａがユーザから手書き画像の入力を受け付けて、動画コンテンツ上に当該手書き画像を表示する。第１の携帯電話１００Ａは、手描き画像を第２の携帯電話１００Ｂに送信する。第２の携帯電話１００Ｂは、第１の携帯電話１００Ａからの手描き画像に基づいて、動画コンテンツ上に手書き画像を表示する。
More specifically, in the present embodiment, first
逆に、第２の携帯電話１００Ｂもユーザから手書き画像の入力を受け付けて、動画コンテンツ上に当該手書き画像を表示する。第２の携帯電話１００Ｂは、手描き画像を第１の携帯電話１００Ａに送信する。第２の携帯電話１００Ｂは、第１の携帯電話１００Ａからの手描き画像に基づいて、動画コンテンツ上に手書き画像を表示する。
Conversely, the second
そして、後述するように、本実施の形態に係るネットワークシステム１においては、第１の携帯電話１００Ａおよび第２の携帯電話１００Ｂのいずれかがユーザから手描き画像のクリア命令を受け付けた際に、第１の携帯電話１００Ａおよび第２の携帯電話１００Ｂがディスプレイ１０７に表示されている画像を履歴情報として記憶する。より詳細には、第１の携帯電話１００Ａおよび第２の携帯電話１００Ｂは、そのいずれかがクリア命令を受け付けた際に、その両者がディスプレイ１０７に表示されている動画コンテンツのフレーム（静止画像）と手描き画像とを記憶して、表示されている手描き画像をディスプレイ１０７から消去する。
As will be described later, in
また、本実施の形態に係るネットワークシステム１においては、第１の携帯電話１００Ａおよび第２の携帯電話１００Ｂが、動画コンテンツのシーンが切り換わった際に、切り換わる直前のディスプレイ１０７に表示されている画像を履歴情報として記憶する。より詳細には、第１の携帯電話１００Ａおよび第２の携帯電話１００Ｂは、シーンが切り換わる直前にディスプレイ１０７に表示されている動画コンテンツのフレームと手描き画像とを記憶して、表示されている手描き画像をディスプレイ１０７から消去する。
In the
そして、第１の携帯電話１００ＡがＰ２Ｐ通信を切断した後（ステップＳ００１６、ステップＳ００１８）、図３（Ｉ）に示すように、第２の携帯電話１００Ｂは第１の携帯電話１００Ａなどにメール送信を行うことができる。なお、Ｐ２Ｐ通信をＴＣＰ／ＩＰ通信方式で、メールの送受信をＨＴＴＰ通信方式で行うことも可能である。すなわち、Ｐ２Ｐ通信中にメール送受信を行うことも可能である。
Then, after the first
＜ネットワークシステム１における手描き画像の送受信に関する動作概要＞
次に、手描き画像の送受信に関する動作概要、すなわちチャット通信中におけるネットワークシステム１の動作概要について詳細に説明する。図４は、手描き画像の送受信に関する動作概要を示すイメージ図である。以下では、第１の携帯電話１００Ａと第２の携帯電話１００Ｂとがチャット通信を行っている場合について説明する。
<Outline of operation regarding transmission / reception of hand-drawn image in
Next, an outline of operation related to transmission / reception of hand-drawn images, that is, an outline of operation of
図４（Ａ−１）（Ｂ−１）を参照して、第１の携帯電話１００Ａと第２の携帯電話１００Ｂとが、放送局６５０またはコンテンツサーバ６００から同じ動画コンテンツ（たとえば、ＴＶ番組）を受信して、当該動画コンテンツを第１の領域１０２Ａに表示している。このとき、チャット通信に参加していない第３の携帯電話１００Ｃも、同じ動画コンテンツを受信して、表示しているかもしれない。
Referring to FIGS. 4A-1 and B-1, first
第１の携帯電話１００Ａのユーザがタッチパネル１０２の第１の領域１０２Ａに手描き画像を入力すると、タッチパネル１０２が入力された手描き画像を第１の領域１０２Ａ表示する。すなわち、第１の携帯電話１００Ａは、動画コンテンツに重ねて手描き画像を表示する。第１の携帯電話１００Ａは、手描き画像に関するデータを、順次、第２の携帯電話１００Ｂへと送信する。
When the user of the first
第２の携帯電話１００Ｂは、第１の携帯電話１００Ａからの手描き画像を受信して、タッチパネル１０２の第１の領域１０２Ａに手描き画像を表示する。すなわち、第１の携帯電話１００Ａと第２の携帯電話１００Ｂとは、同じ動画を再生しながら、当該動画上に同じ手描き画像を表示する。
Second
図４（Ａ−２）を参照して、第１の携帯電話１００Ａのユーザが、タッチパネル１０２を介してクリアボタン（手描き画像のリセットボタン）を押下する。第１の携帯電話１００Ａは、クリアボタンが押下された旨のメッセージを第２の携帯電話１００Ｂへと送信する。
Referring to FIG. 4A-2, the user of first
タッチパネル１０２は、それまでに入力された手描き画像を非表示にする。より詳細には、タッチパネル１０２は、第１の領域１０２Ａから手描き画像のみを消去する。第１の携帯電話１００Ａは、クリアボタンが押下されたときに表示されていた手描き画像と動画のフレームとを履歴情報として記憶する。
The
本実施の形態においては、第１の携帯電話１００Ａは、履歴情報に基づいて、タッチパネル１０２の第２の領域１０２Ｂに、クリアボタンが押下されたときに表示されていた手描き画像と動画のフレームとを重ねて表示する。このとき、第１の携帯電話１００Ａは、タッチパネル１０２の第１の領域１０２Ａで、動画コンテンツの再生を継続する。
In the present embodiment, first
図４（Ｂ−２）を参照して、第２の携帯電話１００Ｂは当該メッセージを受信して、それまでに入力された手描き画像を非表示にする。より詳細には、タッチパネル１０２は、第１の領域１０２Ａから手描き画像のみを消去する。第２の携帯電話１００Ｂは、第１の携帯電話１００Ａのクリアボタンが押下されたとき（あるいはメッセージを受信したとき）に表示されていた手描き画像と動画のフレームとを履歴情報として記憶する。
Referring to FIG. 4B-2, second
第２の携帯電話１００Ｂは、履歴情報に基づいて、タッチパネル１０２の第２の領域１０２Ｂに、クリアボタンが押下されたときに表示されていた手描き画像と動画のフレームとを表示する。このとき、第２の携帯電話１００Ｂは、タッチパネル１０２の第１の領域１０２Ａで、動画コンテンツの再生を継続する。
Based on the history information, second
図４（Ｂ−３）を参照して、第２の携帯電話１００Ｂのユーザが、タッチパネル１０２の第１の領域１０２Ａに手描き画像を入力すると、タッチパネル１０２が入力された手描き画像を第１の領域１０２Ａに表示する。第２の携帯電話１００Ｂは、手描き画像に関するデータを、順次、第２の携帯電話１００Ａへと送信する。図４（Ａ−３）を参照して、第１の携帯電話１００Ａは、第２の携帯電話１００Ｂからの手描き画像を受信して、タッチパネル１０２の第１の領域１０２Ａに手描き画像を表示する。
Referring to FIG. 4B-3, when the user of second
図４（Ａ−４）を参照して、第１の携帯電話１００Ａのユーザが、タッチパネル１０２の第１の領域１０２Ａに手描き画像を入力すると、タッチパネル１０２が入力された手描き画像を第１の領域１０２Ａに表示する。第１の携帯電話１００Ａは、手描き画像に関するデータを、順次、第２の携帯電話１００Ｂへと送信する。
Referring to FIG. 4A-4, when the user of first
このようにして、第１の携帯電話１００Ａと第２の携帯電話１００Ｂとは、共に、第１の領域１０２Ａ内で同じ動画を再生しながら、第１の領域１０２Ａ内で同じ手描き画像を表示する。ただし、図４（Ｂ−４）では、以下に説明するように、ネットワーク障害が発生した場合のイメージ図を示している。
In this way, both the first
本実施の形態に係る第１の携帯電話１００Ａと第２の携帯電話１００Ｂとは、表示している動画コンテンツのシーンが切り換わった否かを常時判断している。たとえば、第１の携帯電話１００Ａと第２の携帯電話１００Ｂとは、シーン番号が変化したか否かや、画像の変化量が所定値以上であるか否かを判断することによって、シーンが切り換わった否かを判断する。
First
図４（Ａ−５）（Ｂ−５）を参照して、動画コンテンツのシーンが切り換わると、第１の携帯電話１００Ａと第２の携帯電話１００Ｂのタッチパネル１０２は、それまでに入力された手描き画像を非表示にする。第１の携帯電話１００Ａと第２の携帯電話１００Ｂとは、シーンが切り換わる直前に表示されていた手描き画像と動画のフレーム（シーンの最後の静止画像）とを履歴情報として記憶する。
Referring to FIGS. 4A-5 and B-5, when the scene of the moving image content is switched,
本実施の形態においては、第１の携帯電話１００Ａと第２の携帯電話１００Ｂとは、履歴情報に基づいて、タッチパネル１０２の第３の領域１０２Ｃに、シーンが切り換わる直前に表示されていた手描き画像と動画のフレームとを重ねて表示する。このとき、第１の携帯電話１００Ａと第２の携帯電話１００Ｂとは、継続して、タッチパネル１０２の第１の領域１０２Ａで動画コンテンツを再生する。
In the present embodiment, the first
同様に、図４（Ａ−６）（Ｂ−６）を参照して、動画コンテンツのシーンが更に切り換わると、第１の携帯電話１００Ａと第２の携帯電話１００Ｂのタッチパネル１０２は、それまでに入力された手描き画像を非表示にする。ここでは、シーンが切り換わる前に手描き画像が入力されていないため、手描き画像を非表示にする必要がない。すなわち、本実施の形態においては、シーンが切り換わるときに第１の領域１０２Ａに（再生中の動画上に）手描き画像が表示されていない場合、第１の携帯電話１００Ａと第２の携帯電話１００Ｂとは、手描き画像と動画のフレーム（シーンの最後のフレーム）とを記憶する必要がない。
Similarly, referring to FIGS. 4A-6 and B-6, when the scene of the moving image content is further switched, the
ただし、他の実施の形態としては、シーンが切り換わるときに第１の領域１０２Ａに（再生中の動画上に）手描き画像が表示されていない場合、第１の携帯電話１００Ａと第２の携帯電話１００Ｂとが、動画フレームのみを履歴情報として記憶することも可能である。
However, as another embodiment, when a hand-drawn image is not displayed (on the moving image being played back) in the
なお、図４（Ａ−４）（Ｂ−４）を参照して、本実施の形態においては、第１の携帯電話１００Ａと第２の携帯電話１００Ｂとの間のネットワークに障害が生じても、第１の携帯電話１００Ａと第２の携帯電話１００Ｂが同じ履歴情報を記憶することができる。すなわち、ネットワークに障害が発生しても、第１の携帯電話１００Ａと第２の携帯電話１００Ｂの両者は、入力された手描き画像と、入力時刻に対応する動画コンテンツのフレームとを対応付けて記憶することが可能である。
Referring to FIGS. 4A-4 and B-4, in the present embodiment, even if a failure occurs in the network between first
後述するように、第１の携帯電話１００Ａと第２の携帯電話１００Ｂとは入力された手描き画像を、入力のタイミングを示す情報とともに送信する。ここで、入力のタイミングは、手描き画像が入力された時刻や、手描き画像が入力されたときに表示されている動画のシーン番号あるいはフレーム番号などが挙げられる。
As will be described later, the first
これによって、手描き画像の受信側（図４においては第２の携帯電話１００Ｂ）が、手描き画像を対応する動画コンテンツのフレームに対応付けて履歴情報として記憶したり、履歴情報を上書き保存したりすることができる。その結果、図４（Ｂ−５）に示すように、第１の携帯電話１００Ａの第３の領域１０２Ｃと、第２の携帯電話１００Ｂの第３の領域１０２Ｃとが、同じ履歴画像を表示することができる。
Thus, the hand-drawn image receiving side (second
このように、本実施の形態に係るネットワークシステム１においては、第１の携帯電話１００Ａと第２の携帯電話１００Ｂとが、手描き画像と、当該手描き画像が入力されたときに表示されている動画のフレーム（静止画像データ）と、を対応付けて履歴情報として記憶する。そのため、第１の携帯電話１００Ａと第２の携帯電話１００Ｂとは、当該履歴情報を参照することによって、手描き画像を、当該手描き画像が入力されたときに表示されている動画のフレームとともに表示することができる。
Thus, in
特に、本実施の形態に係るネットワークシステム１においては、第１の携帯電話１００Ａと第２の携帯電話１００Ｂとが、手描き画像と、当該手描き画像を消去する（リセットする）ための命令が入力されたときに表示されている動画のフレームと、を対応付けて履歴情報として記憶する。そのため、第１の携帯電話１００Ａと第２の携帯電話１００Ｂとは、当該履歴情報を参照することによって、手描き画像を、当該手描き画像を消去する（リセットする）ための命令が入力されたときに表示されている動画のフレームとともに表示することができる。
In particular, in
あるいは、本実施の形態に係るネットワークシステム１においては、手描き画像が表示されているときに動画のシーンが切り換わった場合に、第１の携帯電話１００Ａと第２の携帯電話１００Ｂとが、当該手描き画像と、シーンが切り換わる直前の動画のフレームと、を対応付けて履歴情報として記憶する。そのため、第１の携帯電話１００Ａと第２の携帯電話１００Ｂとは、当該履歴情報を参照することによって、手描き画像を、当該シーンが切り換わる直前の動画のフレームとともに表示することができる。
Alternatively, in
なお、本実施の形態においては、タッチパネル１０２の第１の領域１０２Ａに再生中の動画と手描き画像とが重ねて表示されるともに、タッチパネル１０２の第２の領域１０２Ｂ（１０２Ｃ）にフレームと手描き画像とが重ねて表示されるものである。すなわち、再生中の動画と履歴画像とが、タッチパネル１０２上に、並べて、同時に、表示されるものである。
In the present embodiment, the moving image being played and the hand-drawn image are displayed in the
しかしながら、表示装置は、ユーザからの切替命令に応じて、第１のモードと第２のモードとを切り替えてもよい。すなわち、表示装置は、第１のモードにおいて、タッチパネル１０２に再生中の動画と手描き画像とを重ねて表示させてもよい。表示装置は、第２のモードにおいて、タッチパネル１０２にフレームと手描き画像とを重ねて表示させてもよい。
However, the display device may switch between the first mode and the second mode in response to a switching command from the user. In other words, the display device may display the moving image being reproduced and the hand-drawn image on the
以上のように、本実施の形態に係る表示装置においては、手描き画像を入力した際の画面（第１の領域１０２Ａ）と、手描き画像を履歴として表示するための画面（第２の領域１０２Ｂ）との差異が小さくなる。その結果、手描き画像を入力したときのユーザの意図が、当該ユーザあるいは通信相手に、より的確に伝わるようになる。
As described above, in the display device according to the present embodiment, the screen when the hand-drawn image is input (
以下、このような機能を実現するためのネットワークシステム１の構成について詳述する。
Hereinafter, the configuration of the
＜携帯電話１００のハードウェア構成＞
本実施の形態に係る携帯電話１００のハードウェア構成について説明する。図５は、本実施の形態に係る携帯電話１００の外観を示すイメージ図である。図６は、本実施の形態に係る携帯電話１００のハードウェア構成を示すブロック図である。
<Hardware configuration of
A hardware configuration of
図５および図６に示すように、本実施の形態に係る携帯電話１００は、外部のネットワークとの間でデータを送受信する通信デバイス１０１と、テレビ放送を受信するＴＶアンテナ１１３と、プログラムや各種データベースを記憶するメモリ１０３と、ＣＰＵ（Central Processing Unit）１０６と、ディスプレイ１０７と、外部音声が入力されるマイク１０８と、音声を出力するスピーカ１０９と、各種情報の入力を受け付ける各種ボタン１１０と、外部からの通信データや通話信号を受信した旨の音声を出力する第１の通知部１１１と、外部からの通信データや通話信号を受信した旨を表示する第２の通知部１１２とを含む。
As shown in FIGS. 5 and 6, the
本実施の形態に係るディスプレイ１０７は、液晶パネルやＣＲＴから構成されるタッチパネル１０２を実現する。すなわち、本実施の形態に係る携帯電話１００は、ディスプレイ１０７の上側（表側）にペンタブレット１０４が敷設されている。これによって、ユーザは、スタイラスペン１２０などを用いることによって、ペンタブレット１０４を介して、図形情報などをＣＰＵ１０６に手書き入力することができる。
なお、ユーザは、以下の方法によっても、手書き入力を行うことが可能である。すなわち、赤外線や音波を出力する特殊なペンを利用することによって、そのペンから発信される赤外線や音波を受信する受信部によってペンの動きを割り出す。この場合、当該受信部を軌跡を記憶する装置に接続することによって、ＣＰＵ１０６が当該装置から出力される軌跡を手書き入力として受信することができる。
Note that the user can also perform handwriting input by the following method. That is, by using a special pen that outputs infrared light and sound waves, the movement of the pen is determined by a receiving unit that receives infrared light and sound waves transmitted from the pen. In this case, by connecting the receiving unit to a device that stores the trajectory, the
あるいは、ユーザは、静電パネルに対して、指、または、静電対応のペンを用いて手書き画像を書くことも可能である。 Alternatively, the user can write a handwritten image on the electrostatic panel using a finger or an electrostatic-compatible pen.
このようにして、ディスプレイ１０７（タッチパネル１０２）は、ＣＰＵ１０６が出力したデータに基づいて、画像やテキストを表示する。たとえば、ディスプレイ１０７は、通信デバイス１０１やＴＶアンテナ１１３を介して受信した動画コンテンツを表示する。ディスプレイ１０７は、タブレット１０４を介して受け付けた手描き画像や、通信デバイス１０１を介して受け付けた手描き画像に基づいて、手書き画像を動画コンテンツに重畳させて表示する。
In this way, the display 107 (touch panel 102) displays an image or text based on the data output from the
各種ボタン１１０は、キー入力操作などによってユーザから情報を受け付ける。たとえば、各種ボタン１１０は、通話を受け付けたり、通話を発したりするためのＴＥＬボタン１１０Ａと、メールを受け付けたり、メールを発したりするためのメールボタン１１０Ｂと、Ｐ２Ｐ通信を受け付けたり、Ｐ２Ｐ通信を発したりするためのＰ２Ｐボタン１１０Ｃと、アドレス帳データを呼び出すアドレス帳ボタン１１０Ｄと、各種の処理を終了させるための終了ボタン１１０Ｅとを含む。すなわち、各種ボタン１１０は、通信デバイス１０１を介してＰ２Ｐ参加要請メールを受信したときに、ユーザから、チャットルームへ参加する命令や、メールの内容を表示させる命令などを選択可能に受け付ける。
また、各種ボタン１１０は、手書き入力を開始するための命令を受け付けるためのボタン、すなわち第１の入力を受け付けるためのボタンを含んでもよい。各種ボタン１１０は、手書き入力を終了するための命令を受け付けるためのボタン、すなわち第２の入力を受け付けるためのボタンを含んでもよい。
The
第１の通知部１１１は、スピーカ１０９などを介して着信音を出力する。あるいは、第１の通知部１１１は、バイブレーション機能を有する。第１の通知部１１１は、着呼した際や、メールを受信した際や、Ｐ２Ｐ参加要請メールを受信した際に、音声を出力したり、携帯電話１００を振動させたりする。
The first notification unit 111 outputs a ring tone through the
第２の通知部１１２は、着信したときに点滅するＴＥＬ用ＬＥＤ（Light Emitting Diode）１１２Ａと、メールを受信したときに点滅するメール用ＬＥＤ１１２Ｂと、Ｐ２Ｐ通信を受信したときに点滅するＰ２Ｐ用ＬＥＤ１１２Ｃを含む。
The
ＣＰＵ１０６は、携帯電話１００の各部を制御する。たとえば、ＣＰＵ１０６は、タッチパネル１０２や各種ボタン１１０を介してユーザから各種命令を受け付けたり、当該命令に対応する処理を実行したり、通信デバイス１０１やネットワークを介して外部の表示装置とデータの送受信を行ったりする。
通信デバイス１０１は、ＣＰＵ１０６からの通信データを通信信号に変換し、その通信信号を外部へと発信する。通信デバイス１０１は、外部から受信した通信信号を通信データに変換し、その通信データをＣＰＵ１０６に入力する。
メモリ１０３は、作業用メモリとして機能するＲＡＭ（Random Access Memory）や、制御プログラムなどを格納するＲＯＭ（Read Only Memory）や、画像データなどを記憶するハードディスクなどによって実現される。図７（ａ）は、メモリ１０３を構成する各種のワークメモリ１０３Ａのデータ構造を示すイメージ図である。図７（ｂ）は、メモリ１０３が記憶するアドレス帳データ１０３Ｂを示すイメージ図である。図７（ｃ）は、メモリ１０３が記憶する自端末データ１０３Ｃを示すイメージ図である。図７（ｄ）は、メモリ１０３が記憶する自端末のＩＰアドレスデータ１０３Ｄと他端末のＩＰアドレスデータ１０３Ｅとを示すイメージ図である。
The
図７（ａ）に示すように、メモリ１０３のワークメモリ１０３Ａは、発信者の電話番号を格納するＲＣＶＴＥＬＮＯ領域、受信メールに関する情報を格納するＲＣＶＭＡＩＬ領域、送信メールに関する情報を格納するＳＥＮＤＭＡＩＬ領域、選択されたアドレスのメモリＮｏを格納するＳＥＬ領域、生成されたルーム名を格納するＲＯＯＭＮＡＭＥ領域などを含む。なお、ワークメモリ１０３Ａは、電話番号を格納しなくてもよい。受信メールに関する情報は、ＭＡＩＮ領域に格納されるメール本文と、ＲＣＶＭＡＩＬのＦＲＯＭ領域に格納されるメール送信元のメールアドレスを含む。送信メールに関する情報は、ＭＡＩＮ領域に格納されるメール本文と、ＲＣＶＭＡＩＬのＴＯ領域に格納されるメール送信先のメールアドレスとを含む。
As shown in FIG. 7A, the
図７（ｂ）に示すように、アドレス帳データ１０３Ｂは、宛先（他の表示装置）毎にメモリＮｏを対応付けている。そして、アドレス帳データ１０３Ｂは、宛先毎に、名前、電話番号、メールアドレスなどを互いに対応付けて格納する。 As shown in FIG. 7B, in the address book data 103B, a memory No. is associated with each destination (other display device). The address book data 103B stores a name, a telephone number, a mail address, and the like in association with each other for each destination.
図７（ｃ）に示すように、自端末データ１０３Ｃは、自端末のユーザの名前、自端末の電話番号、自端末のメールアドレスなどを格納する。
As shown in FIG. 7C, the own
図７（ｄ）に示すように、自端末のＩＰアドレスデータ１０３Ｄは、自端末のＩＰアドレスを格納する。他端末のＩＰアドレスデータ１０３Ｅは、他端末のＩＰアドレスを格納する。
As shown in FIG. 7D, the own terminal
本実施の形態に係る携帯電話１００の各々は、図７に示すデータを利用することによって、前述したような方法で（図１〜図３を参照。）、他の表示装置との間でデータを送受信することができる。
Each of the
＜チャットサーバ４００およびコンテンツサーバ６００のハードウェア構成＞
次に、本実施の形態に係るチャットサーバ４００およびコンテンツサーバ６００のハードウェア構成について説明する。以下では、まず、チャットサーバ４００のハードウェア構成について説明する。
<Hardware Configuration of
Next, the hardware configuration of
図８は、本実施の形態に係るチャットサーバ４００のハードウェア構成を示すブロック図である。図８に示すように、本実施の形態に係るチャットサーバ４００は、相互に内部バス４０８で接続されたＣＰＵ４０５と、メモリ４０６と、固定ディスク４０７と、サーバ通信デバイス４０９とを含む。
FIG. 8 is a block diagram showing a hardware configuration of
メモリ４０６は、各種の情報を記憶するものであって、たとえば、ＣＰＵ４０５でのプログラムの実行に必要なデータを一時的に記憶する。固定ディスク４０７は、ＣＰＵ４０５が実行するプログラムやデータベースを記憶する。ＣＰＵ４０５は、チャットサーバ４００の各要素を制御するものであって、各種の演算を実施する装置である。
The
サーバ通信デバイス４０９は、ＣＰＵ４０５が出力したデータを電気信号へと変換して外部へ送信し、外部から受信した電気信号をデータに変換してＣＰＵ４０５に入力する。具体的には、サーバ通信デバイス４０９は、ＣＰＵ４０５からのデータを、インターネット５００やキャリア網７００などを介して、携帯電話１００やカーナビゲーション装置２００やパーソナルコンピュータ３００やゲーム機や電子辞書や電子ＢＯＯＫなどのネットワークに接続可能な機器に送信する。そして、サーバ通信デバイス４０９は、インターネット５００やキャリア網７００を介して、携帯電話１００やカーナビゲーション装置２００やパーソナルコンピュータ３００やゲーム機や電子辞書や電子ＢＯＯＫなどのネットワークに接続可能な機器から受信したデータを、ＣＰＵ４０５に入力する。
The
ここで、メモリ４０６あるいは固定ディスク４０７に記憶されるデータについて説明する。図９（ａ）は、チャットサーバ４００のメモリ４０６あるいは固定ディスク４０７に記憶されるルーム管理テーブル４０６Ａのデータ構造を示す第１のイメージ図であって、図９（ｂ）は、チャットサーバ４００のメモリ４０６あるいは固定ディスク４０７に記憶されるルーム管理テーブル４０６Ａのデータ構造を示す第２のイメージ図である。
Here, data stored in the
図９（ａ）および図９（ｂ）に示すように、ルーム管理テーブル４０６Ａは、ルーム名とＩＰアドレスとを対応付けて格納する。たとえば、ある時点においては、図９（ａ）に示すように、チャットサーバ４００にルーム名Ｒを有するチャットルーム、ルーム名Ｓを有するチャットルーム、ルーム名Ｔを有するチャットルームが生成されている。そして、ルーム名Ｒを有するチャットルームには、ＡというＩＰアドレスを有する表示装置と、ＣというＩＰアドレスを有する表示装置が入室している。ルーム名Ｓを有するチャットルームには、ＢというＩＰアドレスを有する表示装置が入室している。ルーム名Ｔを有するチャットルームには、ＤというＩＰアドレスを有する表示装置が入室している。
As shown in FIGS. 9A and 9B, the room management table 406A stores room names and IP addresses in association with each other. For example, at a certain point in time, as shown in FIG. 9A, a chat room having a room name R, a chat room having a room name S, and a chat room having a room name T are generated in the
後述するように、ルーム名Ｒは、ＣＰＵ４０６が、ＡというＩＰアドレスを有する表示装置のメールアドレスとＢというＩＰアドレスを有する表示装置のメールアドレスに基づいて決定する。図９（ａ）に示す状態において、ルーム名Ｓを有するチャットルームに新たにＥというＩＰアドレスを有する表示装置が入室すると、図９（ｂ）に示すように、ルーム管理テーブル４０６Ａはルーム名ＳとＩＰアドレスＥとを対応付けて格納する。
As will be described later, the room name R is determined by the
具体的には、チャットサーバ４００においては、第１の携帯電話１００Ａが新たなチャットルームの生成を要求してきた際（図２におけるステップＳ０００２）に、ＣＰＵ４０５が、第１の携帯電話１００Ａのメールアドレスと第２の携帯電話１００Ｂのメールアドレスとに基づいてルーム名を生成した上で、ルーム管理テーブル４０６Ａに当該ルーム名と第１の携帯電話１００ＡのＩＰアドレスとを対応付けて格納する。
Specifically, in
そして、第２の携帯電話１００Ｂがチャットサーバ４００にチャットルームへの参加を要求してきた際（図２におけるステップＳ０００８）に、ＣＰＵ４０５が、ルーム管理テーブル４０６Ａに当該ルーム名と第２の携帯電話１００ＢのＩＰアドレスとを対応付けて格納する。ＣＰＵ４０６は、ルーム管理テーブル４０６Ａから、当該ルーム名に対応する第１の携帯電話１００ＡのＩＰアドレスを読み出す。ＣＰＵ４０６は、第１の携帯電話１００ＡのＩＰアドレスを第２の各表示装置に送信し、第２の携帯電話１００ＢのＩＰアドレスを第１の携帯電話１００Ａに送信する。
When the second
次に、コンテンツサーバ６００のハードウェア構成について説明する。図８に示すように、本実施の形態に係るコンテンツサーバ６００は、相互に内部バス６０８で接続されたＣＰＵ６０５と、メモリ６０６と、固定ディスク６０７と、サーバ通信デバイス６０９とを含む。
Next, the hardware configuration of the
メモリ６０６は、各種の情報を記憶するものであって、たとえば、ＣＰＵ６０５でのプログラムの実行に必要なデータを一時的に記憶する。固定ディスク６０７は、ＣＰＵ６０５が実行するプログラムやデータベースを記憶する。ＣＰＵ６０５は、コンテンツサーバ６００の各要素を制御するものであって、各種の演算を実施する装置である。
The
サーバ通信デバイス６０９は、ＣＰＵ６０５が出力したデータを電気信号へと変換して外部へ送信し、外部から受信した電気信号をデータに変換してＣＰＵ６０５に入力する。具体的には、サーバ通信デバイス６０９は、ＣＰＵ６０５からのデータを、インターネット５００やキャリア網７００などを介して、携帯電話１００やカーナビゲーション装置２００やパーソナルコンピュータ３００やゲーム機や電子辞書や電子ＢＯＯＫなどのネットワークに接続可能な機器に送信する。そして、サーバ通信デバイス６０９は、インターネット５００やキャリア網７００を介して、携帯電話１００やカーナビゲーション装置２００やパーソナルコンピュータ３００やゲーム機や電子辞書や電子ＢＯＯＫなどのネットワークに接続可能な機器から受信したデータを、ＣＰＵ６０５に入力する。
The
コンテンツサーバ６００のメモリ６０６あるいは固定ディスク６１５は、動画コンテンツを記憶する。コンテンツサーバ６００のＣＰＵ６０５は、サーバ通信デバイス６０９を介して、第１の携帯電話１００Ａおよび第２の携帯電話１００Ｂからコンテンツの指定を受信する。コンテンツサーバ６００のＣＰＵ６０５は、コンテンツの指定に基づいて、当該指定に対応する動画コンテンツをメモリ６０６から読み出して、サーバ通信デバイス６０９を介して当該コンテンツを第１の携帯電話１００Ａおよび第２の携帯電話１００Ｂへ送信する。動画コンテンツは、ストリーミングデータなどであって、コンテンツサーバ６００は、同じコンテンツを、略同時に、第１の携帯電話１００Ａおよび第２の携帯電話１００Ｂへと配信する。
The
＜ネットワークシステム１における通信処理＞
次に、本実施の形態に係るネットワークシステム１におけるＰ２Ｐ通信処理について説明する。図１０は、本実施の形態に係るネットワークシステム１におけるＰ２Ｐ通信処理の処理手順を示すフローチャートである。図１１は、本実施の形態に係る送信データのデータ構造を示すイメージ図である。
<Communication processing in the
Next, P2P communication processing in the
以下では、第１の携帯電話１００Ａが第２の携帯電話１００Ｂへと手書きデータを送信する場合について説明する。なお、第１の携帯電話１００Ａと第２の携帯電話１００Ｂとは、チャットルーム開設後、チャットサーバ４００を介してデータを送受信してもよいし、チャットサーバ４００を介さずにＰ２Ｐ通信によってデータを送受信してもよいものである。
Hereinafter, a case where the first
図１０を参照して、まず、第１の携帯電話１００Ａ（送信側）のＣＰＵ１０６は、通信デバイス１０１を介して、チャットサーバ４００からチャット通信に関するデータを取得する（ステップＳ００２）。同様に、第２の携帯電話１００Ｂ（受信側）のＣＰＵ１０６も、通信デバイス１０１を介して、チャットサーバ４００からチャット通信に関するデータを取得する（ステップＳ００４）。
Referring to FIG. 10, first,
第１の携帯電話１００ＡのＣＰＵ１０６は、通信デバイス１０１を介して、チャットサーバから動画コンテンツを特定するための動画情報（ａ）を取得する（ステップＳ００６）。図１１に示すように、動画情報（ａ）は、たとえば、ＴＶ番組を特定するための放送局コードや放送時間などを含む。あるいは、動画情報（ａ）は、動画の格納場所を示すＵＲＬなどを含む。本実施の形態においては、第１の携帯電話１００Ａおよび第２の携帯電話１００Ｂの一方のＣＰＵ１０６が、通信デバイス１０１を介して、チャットサーバ４００に、動画情報を送信する。
第１の携帯電話１００Ａと第２の携帯電話１００Ｂの他方のＣＰＵ１０６が、通信デバイス１０１を介して、チャットサーバ４００から動画情報を受信する（ステップＳ００８）。なお、ここでは、第１の携帯電話１００Ａと第２の携帯電話１００Ｂとが、チャット通信中に動画情報を取得する例を示したが、これに限られず、第１の携帯電話１００Ａと第２の携帯電話１００Ｂとが、チャット通信前に、共通の動画情報を取得していてもよい。
The
第１の携帯電話１００ＡのＣＰＵ１０６は、タッチパネル１０２に、動画コンテンツを再生するためのウインドウを表示させる（ステップＳ０１０）。同様に、第２の携帯電話１００ＢのＣＰＵ１０６は、タッチパネル１０２に、動画コンテンツを再生するためのウインドウを表示させる（ステップＳ０１２）。
第１の携帯電話１００ＡのＣＰＵ１０６は、動画情報に基づいて、通信デバイス１０１あるいはＴＶアンテナ１１３を介して、動画コンテンツ（たとえば、ＴＶ番組）を受信する。ＣＰＵ１０６は、タッチパネル１０２を介して、動画コンテンツを再生し始める（ステップＳ０１４）。ＣＰＵ１０６は、スピーカ１０９を介して、動画コンテンツの音声を出力してもよい。
第２の携帯電話１００ＢのＣＰＵ１０６は、動画情報に基づいて、通信デバイス１０１あるいはＴＶアンテナ１１３を介して、第１の携帯電話１００Ａと同じ動画コンテンツを受信する。ＣＰＵ１０６は、タッチパネル１０２を介して、動画コンテンツを再生し始める（ステップＳ０１６）。ＣＰＵ１０６は、スピーカ１０９を介して、動画コンテンツの音声を出力してもよい。
第１の携帯電話１００Ａと第２の携帯電話１００Ｂとは、手描き画像の入力を待ち受ける。まず、第１の携帯電話１００ＡのＣＰＵ１０６が、タッチパネル１０２を介して、ユーザからの手書き画像の入力を受け付けた場合について説明する。（ステップＳ０１８）。より詳細には、ＣＰＵ１０６は、所定時間毎にタッチパネル１０２から接触座標データを順次受け付けることにより、タッチパネル１０２に対する接触位置の変化（軌跡）を取得する。
First
図１１に示すように、ＣＰＵ１０６は、手書きクリア情報（ｂ）と、接触位置の軌跡を示す情報（ｃ）と、線の色を示す情報（ｄ）と、線の幅を示す情報（ｅ）と、入力タイミング情報（ｆ）とを含む、送信データを作成する（ステップＳ０２０）。
As shown in FIG. 11, the
なお、入力タイミング情報（ｆ）は、たとえば、手書き画像の入力を受け付けたときに対応する、番組開始からの時間（ｍｓ）、あるいは番組のシーン番号やフレーム番号などを含む。換言すれば、入力タイミング情報（ｆ）は、第１の携帯電話１００Ａおよび第２の携帯電話１００Ｂにおいて手書き画像とともに表示すべき動画コンテンツのシーンやフレームなどを特定するための情報を含む。
Note that the input timing information (f) includes, for example, a time (ms) from the start of a program, a scene number or a frame number of the program, etc., corresponding to when an input of a handwritten image is accepted. In other words, the input timing information (f) includes information for specifying a scene, a frame, and the like of the moving image content to be displayed together with the handwritten image on the first
手書きクリア情報（ｂ）は、それまでに入力された手書きをクリアするための情報（ｔｒｕｅ）または手書き入力を続行するための情報（ｆａｌｓｅ）を含む。 The handwriting clear information (b) includes information (true) for clearing the handwriting input so far or information (false) for continuing the handwriting input.
図４（Ａ−１）に示すように、ＣＰＵ１０６は、送信データに基づいて、ディスプレイ１０７に、動画コンテンツ上に（動画コンテンツに重畳させて）手書き画像を表示させる。
As shown in FIG. 4A-1, the
ＣＰＵ１０６は、通信デバイス１０１を介して、第２の携帯電話１００Ｂに、送信データを送信する（ステップＳ０２２）。第２の携帯電話１００ＢのＣＰＵ１０６は、通信デバイス１０１を介して、第１の携帯電話１００Ａから送信データを受信する（ステップＳ０２４）。
なお、第１の携帯電話１００Ａは、送信データを、チャットサーバ４００を介して、第２の携帯電話１００Ｂへと送信してもよい。そして、チャットサーバ４００は、第１の携帯電話１００Ａや第２の携帯電話１００Ｂが送受信する送信データを蓄積してもよい。
Note that first
第２の携帯電話１００ＢのＣＰＵ１０６は、送信データを解析する（ステップＳ０２６）。図４（Ｂ−１）に示すように、ＣＰＵ１０６は、送信データに基づいて、ディスプレイ１０７に動画コンテンツ上に（動画コンテンツに重畳させて）手書き画像を表示させる（ステップＳ０２８）。
次に、第２の携帯電話１００ＢのＣＰＵ１０６が、タッチパネル１０２を介して、ユーザからの手書き画像の入力を受け付けた場合について説明する。（ステップＳ０３０）。より詳細には、ＣＰＵ１０６は、所定時間毎にタッチパネル１０２から接触座標データを順次受け付けることにより、タッチパネル１０２に対する接触位置の変化（軌跡）を取得する。
Next, a case where the
図１１に示すように、ＣＰＵ１０６は、手書きクリア情報（ｂ）と、接触位置の軌跡を示す情報（ｃ）と、線の色を示す情報（ｄ）と、線の幅を示す情報（ｅ）とを含む、送信データを作成する（ステップＳ０３２）。手書きクリア情報（ｂ）は、それまでに入力された手書きをクリアするための情報（ｔｒｕｅ）または手書き入力を続行するための情報（ｆａｌｓｅ）を含む。
As shown in FIG. 11, the
図４（Ｂ−３）に示すように、ＣＰＵ１０６は、送信データに基づいて、ディスプレイ１０７に、動画コンテンツ上に（動画コンテンツに重畳させて）手書き画像を表示させる。
As shown in FIG. 4B-3, the
ＣＰＵ１０６は、通信デバイス１０１を介して、第１の携帯電話１００Ａに、送信データを送信する（ステップＳ０３４）。第１の携帯電話１００ＡのＣＰＵ１０６は、通信デバイス１０１を介して、第２の携帯電話１００Ｂから送信データを受信する（ステップＳ０３６）。
第１の携帯電話１００ＡのＣＰＵ１０６は、送信データを解析する（ステップＳ０３８）。図４（Ａ−３）に示すように、ＣＰＵ１０６は、送信データに基づいて、ディスプレイ１０７に動画コンテンツ上に（動画コンテンツに重畳させて）手書き画像を表示させる（ステップＳ０４０）。
第１の携帯電話１００ＡのＣＰＵ１０６は、動画情報で特定される動画コンテンツの再生が終了すると、動画コンテンツ用のウインドウを閉じる（ステップＳ０４２）。第２の携帯電話１００ＢのＣＰＵ１０６は、動画情報で特定される動画コンテンツの再生が終了すると、動画コンテンツ用のウインドウを閉じる（ステップＳ０４４）。
When the reproduction of the moving image content specified by the moving image information ends,
＜携帯電話１００における入力処理＞
次に、本実施の形態に係る携帯電話１００における入力処理について説明する。図１２は、本実施の形態に係る携帯電話１００における入力処理の処理手順を示すフローチャートである。
<Input processing in
Next, input processing in
図１２を参照して、ＣＰＵ１０６は、まず、携帯電話１００への入力が開始された際に、ペン情報の設定処理（ステップＳ２００）を実行する。なお、ペン情報の設定処理（ステップＳ２００）については後述する。
Referring to FIG. 12,
ＣＰＵ１０６は、ペン情報の設定処理（ステップＳ２００）が終了すると、データ（ｂ）がｔｒｕｅであるか否かを判断する（ステップＳ１０２）。データ（ｂ）がｔｒｕｅである場合（ステップＳ１０２にてＹＥＳである場合）、すなわちユーザが手描き画像をクリアするための命令を入力した場合、ＣＰＵ１０６は、データ（ｂ）をメモリ１０３に格納する（ステップＳ１０４）。ＣＰＵ１０６は、入力処理を終了する。
When the pen information setting process (step S200) ends, the
データ（ｂ）がｔｒｕｅでない場合（ステップＳ１０２にてＮＯである場合）、すなわちユーザがクリアするための命令以外の命令を入力した場合、ＣＰＵ１０６は、スタイラスペン１２０がタッチパネル１０２に接触したか否かを判断する（ステップＳ１０６）。すなわち、ＣＰＵ１０６は、ペンダウンを検出したか否かを判断する。
If data (b) is not true (NO in step S102), that is, if the user inputs a command other than a command for clearing,
ペンダウンを検出しなかった場合（ステップＳ１０６にてＮＯである場合）、ＣＰＵ１０６は、スタイラスペン１２０のタッチパネル１０２に対する接触位置が変化したか否かを判断する（ステップＳ１０８）。すなわち、ＣＰＵ１０６は、ペンドラッグを検出したか否かを判断する。ＣＰＵ１０６は、ペンドラッグを検出しなかった場合（ステップＳ１０８にてＮＯである場合）、入力処理を終了する。
If pen-down is not detected (NO in step S106),
ＣＰＵ１０６は、ペンダウンを検出した場合（ステップＳ１０６にてＹＥＳである場合）、あるいは、ペンドラッグを検出した場合（ステップＳ１０８にてＹＥＳである場合）、データ（ｂ）に「ｆａｌｓｅ」を設定する（ステップＳ１１０）。ＣＰＵ１０６は、手書き処理（ステップＳ３００）を実行する。手書き処理（ステップＳ３００）については後述する。
ＣＰＵ１０６は、手書き処理（ステップＳ３００）を終了すると、データ（ｂ）、（ｃ）、（ｄ）、（ｅ）、（ｆ）をメモリ１０３に格納する（ステップＳ１１２）。ＣＰＵ１０６は、入力処理を終了する。
When the
＜携帯電話１００におけるペン情報の設定処理＞
次に、本実施の形態に係る携帯電話１００におけるペン情報の設定処理について説明する。図１３は、本実施の形態に係る携帯電話１００におけるペン情報の設定処理の処理手順を示すフローチャートである。
<Pen information setting process in
Next, pen information setting processing in
図１３を参照して、ＣＰＵ１０６は、タッチパネル１０２を介して、ユーザから手書き画像をクリアする（消去する、あるいはリセットする）ための命令を受け付けたか否かを判断する（ステップＳ２０２）。ＣＰＵ１０６は、ユーザから手書き画像をクリアするための命令を受け付けた場合（ステップＳ２０２にてＹＥＳである場合）、データ（ｂ）に「ｔｒｕｅ」を設定する（ステップＳ２０４）。ＣＰＵ１０６は、ステップＳ２０８からの処理を実行する。
Referring to FIG. 13,
ＣＰＵ１０６は、ユーザから手書き画像をクリアするための命令を受け付けなかった場合（ステップＳ２０２にてＮＯである場合）、データ（ｂ）に「ｆａｌｓｅ」を設定する（ステップＳ２０６）。ただし、ここでは、ＣＰＵ１０６が「ｆａｌｓｅ」の設定を行わなくてもよい。
If the
ＣＰＵ１０６は、タッチパネル１０２を介して、ユーザからペンの色を変更するための命令を受け付けたか否かを判断する（ステップＳ２０８）。ＣＰＵ１０６は、ユーザからペンの色を変更するための命令を受け付けなかった場合（ステップＳ２０８にてＮＯである場合）、ステップＳ２１２からの処理を実行する。
ＣＰＵ１０６は、ユーザからペンの色を変更するための命令を受け付けた場合（ステップＳ２０８にてＹＥＳである場合）、データ（ｄ）に変更後のペンの色を設定する（ステップＳ２１０）。ＣＰＵ１０６は、タッチパネル１０２を介して、ユーザからペンの幅を変更するための命令を受け付けたか否かを判断する（ステップＳ２１２）。ＣＰＵ１０６は、ユーザからペンの幅を変更するための命令を受け付けなかった場合（ステップＳ２１２にてＮＯである場合）、ペン情報の設定処理を終了する。
When
ＣＰＵ１０６は、ユーザからペンの幅を変更するための命令を受け付けた場合（ステップＳ２１２にてＹＥＳである場合）、データ（ｅ）に変更後のペンの幅を設定する（ステップＳ２１４）。ＣＰＵ１０６は、ペン情報の設定処理を終了する。
When
＜携帯電話１００における手書き処理＞
次に、本実施の形態に係る携帯電話１００における手書き処理について説明する。図１４は、本実施の形態に係る携帯電話１００における手書き処理の処理手順を示すフローチャートである。
<Handwriting process in
Next, the handwriting process in the
図１４を参照して、ＣＰＵ１０６は、図示しない時計を参照して、あるいは動画コンテンツを参照して、動画コンテンツが開始されてからの時間を取得する（ステップＳ３０２）。ＣＰＵ１０６は、データ（ｆ）に当該動画コンテンツが開始されてからの時間を設定する（ステップＳ３０４）。
Referring to FIG. 14,
ＣＰＵ１０６は、タッチパネル１０２を介して、スタイラスペン１２０や指によるタッチパネル１０２に対する現在の接触座標（Ｘ，Ｙ）を取得する（ステップＳ３０６）。ＣＰＵ１０６は、データ（ｃ）に「Ｘ，Ｙ」を設定する（ステップＳ３０８）。
The
ＣＰＵ１０６は、前回の座標の取得時（ステップＳ３０８）から所定時間が経過しているか否かを判断する（ステップＳ３１０）。ＣＰＵ１０６は、所定時間が経過していない場合（ステップＳ３１０にてＮＯである場合）、ステップＳ３１０からの処理を繰り返す。ＣＰＵ１０６は、所定時間が経過していた場合（ステップＳ３１０にてＹＥＳである場合）、タッチパネル１０２を介して、ペンドラッグを検出したか否かを判断する（ステップＳ３１２）。
ＣＰＵ１０６は、ペンドラッグを検出した場合（ステップＳ３１２にてＹＥＳである場合）、タッチパネル１０２を介して、スタイラスペン１２０や指によるタッチパネル１０２に対する接触位置座標（Ｘ，Ｙ）を取得する（ステップＳ３１６）。ＣＰＵ１０６は、データ（ｃ）に「：Ｘ，Ｙ」を追加する（ステップＳ３１８）。ＣＰＵ１０６は、手書き処理を終了する。
When
ＣＰＵ１０６は、ペンドラッグを検出しなかった場合（ステップＳ３１２にてＮＯである場合）、ペンアップを検出したか否かを判断する（ステップＳ３１４）。ＣＰＵ１０６は、ペンアップを検出しなかった場合（ステップＳ３１４にてＮＯである場合）、ステップＳ３１０からの処理を繰り返す。
If the
ＣＰＵ１０６は、ペンアップを検出した場合（ステップＳ３１４にてＹＥＳである場合）、タッチパネル１０２を介して、ペンアップ時におけるスタイラスペンのタッチパネル１０２に対する接触座標（Ｘ，Ｙ）を取得する（ステップＳ３１６）。ＣＰＵ１０６は、データ（ｃ）に「：Ｘ，Ｙ」を追加する（ステップＳ３１８）。ＣＰＵ１０６は、手書き処理を終了する。
When
ここで、本実施の形態に係る手描き画像を示すデータ（ｃ）について説明する。図１５は、本実施の形態に係る手描き画像を示すデータ（ｃ）を示すイメージ図である。 Here, data (c) indicating a hand-drawn image according to the present embodiment will be described. FIG. 15 is an image diagram showing data (c) indicating a hand-drawn image according to the present embodiment.
図１４および図１５を参照して、本実施の形態に係る表示装置は、１つの手描きストロークを示す情報として、複数の連続する所定期間毎のドラッグ開始座標とドラッグ終了座標とを送信する。すなわち、スタイラスペン１２０のタッチパネル１０２に対する一回のドラッグ操作（スライド操作）は、所定時間毎のスタイラスペン１２０のタッチパネル１０２に対する接触座標のグループとして表わされる。
Referring to FIGS. 14 and 15, the display device according to the present embodiment transmits a drag start coordinate and a drag end coordinate for a plurality of consecutive predetermined periods as information indicating one hand-drawn stroke. That is, one drag operation (slide operation) on the
たとえば、１回のドラッグ操作に関する接触座標が、（Ｃｘ１，Ｃｙ１）→（Ｃｘ２，Ｃｙ２）→（Ｃｘ３，Ｃｙ３）→（Ｃｘ４，Ｃｙ４）→（Ｃｘ５，Ｃｙ５）と変化する場合、第１の携帯電話１００ＡのＣＰＵ１０６は以下のように動作する。ＣＰＵ１０６は、最初の所定期間が経過した際、すなわち座標（Ｃｘ２，Ｃｙ２）を取得した際、通信デバイス１０１を用いて、送信データ（ｃ）として（Ｃｘ１，Ｃｙ１：Ｃｘ２，Ｃｙ２）を第２の携帯電話１００Ｂに送信する。さらに、所定期間が経過した際、ＣＰＵ１０６は、すなわち座標（Ｃｘ３，Ｃｙ３）を取得した際、通信デバイス１０１を用いて、送信データ（ｃ）として（Ｃｘ２，Ｃｙ２：Ｃｘ３，Ｃｙ３）を第２の携帯電話１００Ｂに送信する。さらに、所定期間が経過した際、ＣＰＵ１０６は、すなわち座標（Ｃｘ４，Ｃｙ４）を取得した際、通信デバイス１０１を用いて、送信データ（ｃ）として（Ｃｘ３，Ｃｙ３：Ｃｘ４，Ｃｙ４）を第２の携帯電話１００Ｂに送信する。さらに、所定期間が経過した際、ＣＰＵ１０６は、すなわち座標（Ｃｘ５，Ｃｙ５）を取得した際、通信デバイス１０１を用いて、送信データ（ｃ）として（Ｃｘ４，Ｃｙ４：Ｃｘ５，Ｃｙ５）を第２の携帯電話１００Ｂに送信する。
For example, when the contact coordinates relating to one drag operation change from (Cx1, Cy1) → (Cx2, Cy2) → (Cx3, Cy3) → (Cx4, Cy4) → (Cx5, Cy5), the first mobile phone The
＜携帯電話１００における表示処理＞
次に、本実施の形態に係る携帯電話１００における表示処理について説明する。図１６は、本実施の形態に係る携帯電話１００における表示処理の処理手順を示すフローチャートである。
<Display processing in
Next, display processing in
図１６を参照して、ＣＰＵ１０６は、動画コンテンツの再生が終了したか否かを判断する（ステップＳ４０２）。ＣＰＵ１０６は、動画コンテンツの再生が終了した場合（ステップＳ４０２にてＹＥＳである場合）、表示処理を終了する。
Referring to FIG. 16,
ＣＰＵ１０６は、動画コンテンツの再生が終了していない場合（ステップＳ４０２にてＮＯである場合）、クリア情報ｃｌｅａｒ（データ（ｂ））を取得する（ステップＳ４０４）。ＣＰＵ１０６は、クリア情報ｃｌｅａｒがｔｒｕｅであるか否かを判断する（ステップＳ４０６）。ＣＰＵ１０６は、クリア情報ｃｌｅａｒがｔｒｕｅである場合（ステップＳ４０６にてＹＥＳである場合）、履歴作成処理（ステップＳ６００）を実行する。履歴作成処理（ステップＳ６００）については、後述する。
ＣＰＵ１０６は、履歴作成処理（ステップＳ６００）が終了すると、タッチパネル１０２を用いて、それまでに表示されていた手書き画像を非表示にする（ステップＳ４０８）。ＣＰＵ１０６は、表示処理を終了する。
When the history creation process (step S600) ends, the
ＣＰＵ１０６は、クリア情報ｃｌｅａｒがｔｒｕｅでない場合（ステップＳ４０６にてＮＯである場合）、ペンの色（データ（ｄ））を取得する（ステップＳ４１０）。ＣＰＵ１０６は、ペンの色を設定し直す（ステップＳ４１２）。ＣＰＵ１０６は、ペンの幅（データ（ｅ））を取得する（ステップＳ４１４）。ＣＰＵ１０６は、ペンの幅を設定し直す（ステップＳ４１６）。
If the clear information clear is not true (NO in step S406), the
ＣＰＵ１０６は、手書き画像表示処理（ステップＳ５００）を実行する。手書き画像表示処理（ステップＳ５００）については後述する。ＣＰＵ１０６は、手書き画像表示処理（ステップＳ５００）が終了すると、表示処理を終了する。
＜携帯電話１００における表示処理の応用例＞
次に、本実施の形態に係る携帯電話１００における表示処理の応用例について説明する。図１７は、本実施の形態に係る携帯電話１００における表示処理の応用例の処理手順を示すフローチャートである。この応用例においては、携帯電話１００は、クリア情報だけでなくシーンが切り換わった際にも、それまでに表示されている手書き画像をクリア（消去あるいはリセット）するものである。
<Application Example of Display Processing in
Next, an application example of display processing in
図１７を参照して、ＣＰＵ１０６は、動画コンテンツの再生が終了したか否かを判断する（ステップＳ４５２）。ＣＰＵ１０６は、動画コンテンツの再生が終了した場合（ステップＳ４５２にてＹＥＳである場合）、表示処理を終了する。
Referring to FIG. 17,
ＣＰＵ１０６は、動画コンテンツの再生が終了していない場合（ステップＳ４５２にてＮＯである場合）、動画コンテンツのシーンが切り換わったか否かを判断する（ステップＳ４５４）。ＣＰＵ１０６は、動画コンテンツのシーンが切り換わっていない場合（ステップＳ４５４にてＮＯである場合）、ステップＳ４５８からの処理を実行する。
If the reproduction of the moving image content has not ended (NO in step S452),
ＣＰＵ１０６は、動画コンテンツのシーンが切り換わった場合（ステップＳ４５４にてＹＥＳである場合）、履歴作成処理（ステップＳ６００）を実行する。ＣＰＵ１０６は、タッチパネル１０２を用いて、それまでに表示されていた手書き画像を非表示にする（ステップＳ４５６）。ＣＰＵ１０６は、クリア情報ｃｌｅａｒ（データ（ｂ））を取得する（ステップＳ４５８）。
When the scene of the moving image content is switched (YES in step S454),
ＣＰＵ１０６は、クリア情報ｃｌｅａｒがｔｒｕｅであるか否かを判断する（ステップＳ４６０）。ＣＰＵ１０６は、クリア情報ｃｌｅａｒがｔｒｕｅである場合（ステップＳ４６０にてＹＥＳである場合）、履歴作成処理（ステップＳ６００）を実行する。ＣＰＵ１０６は、タッチパネル１０２を用いて、それまでに表示されていた手書き画像を非表示にする（ステップＳ４６２）。ＣＰＵ１０６は、表示処理を終了する。
The
ＣＰＵ１０６は、クリア情報ｃｌｅａｒがｔｒｕｅでない場合（ステップＳ４６０にてＮＯである場合）、ペンの色（データ（ｄ））を取得する（ステップＳ４６４）。ＣＰＵ１０６は、ペンの色を設定し直す（ステップＳ４６６）。ＣＰＵ１０６は、ペンの幅（データ（ｅ））を取得する（ステップＳ４６８）。ＣＰＵ１０６は、ペンの幅を設定し直す（ステップＳ４７０）。
If the clear information clear is not true (NO in step S460), the
ＣＰＵ１０６は、手書き画像表示処理（ステップＳ５００）を実行する。手書き画像表示処理（ステップＳ５００）については後述する。ＣＰＵ１０６は、表示処理を終了する。
＜携帯電話１００における手書き画像表示処理＞
次に、本実施の形態に係る携帯電話１００における手書き画像表示処理について説明する。図１８は、本実施の形態に係る携帯電話１００における手書き画像表示処理の処理手順を示すフローチャートである。
<Handwritten image display processing in
Next, the handwritten image display process in the
図１８を参照して、ＣＰＵ１０６は、動画コンテンツの再生開始からのデータ送信時までの再生時間ｔｉｍｅ（データ（ｆ））を取得する（ステップＳ５０２）。ＣＰＵ１０６は、所定時間毎に、手書きストロークの頂点の座標（データ（ｃ））、すなわち（Ｃｘ１，Ｃｙ１）および（Ｃｘ２，Ｃｙ２）を取得する（ステップＳ５０４）。
Referring to FIG. 18,
再生時間ｔｉｍｅから現在までの間に動画コンテンツのシーンがチェンジしたか否かを判断する（ステップＳ５０６）。動画コンテンツのシーンがチェンジしなかった場合（ステップＳ５０６においてＮＯである場合）、ＣＰＵ１０６は、座標（Ｃｘ１，Ｃｙ１）と座標（Ｃｘ２，Ｃｙ２）とを線で繋ぐことによって、動画コンテンツの表示領域（第１の領域１０２Ａ）に手書きストロークを描画する（ステップＳ５０８）。ＣＰＵ１０６は、手描き画像表示処理を終了する。
It is determined whether or not the scene of the moving image content has changed between the reproduction time time and the present time (step S506). If the scene of the video content has not changed (NO in step S506), the
動画コンテンツのシーンがチェンジした場合（ステップＳ５０６においてＹＥＳである場合）、ＣＰＵ１０６は、受信した手描きデータに対する再生時間ｔｉｍｅよりも後の履歴作成時刻（データ（ｇ））を有する履歴データのうちで、最も古い履歴データを検索する（ステップＳ５１０）。ＣＰＵ１０６は、座標（Ｃｘ１，Ｃｙ１）と座標（Ｃｘ２，Ｃｙ２）とを線で繋ぐことによって、当該履歴作成時刻（データ（ｇ））に対応する履歴データに手書きストロークの情報を追加する（ステップＳ５１２）。
If the scene of the video content has changed (YES in step S506), the
ＣＰＵ１０６は、タッチパネル１０２に表示されている当該履歴画像を更新する（ステップＳ５１４）。ＣＰＵ１０６は、手描き画像表示処理を終了する。
＜携帯電話１００における第１の履歴作成処理＞
次に、本実施の形態に係る携帯電話１００における第１の履歴作成処理について説明する。図１９は、本実施の形態に係る携帯電話１００における第１の履歴作成処理の処理手順を示すフローチャートである。図２０は、第１の履歴作成処理に係る履歴データを示すイメージ図である。図２１は、第１の履歴作成処理に係る履歴情報のデータ構造を示す図である。
<First History Creation Processing in
Next, the first history creation process in
図１９を参照して、ＣＰＵ１０６は、動画コンテンツの表示領域（第１の領域１０２Ａ）に、手描き画像が表示されているか否かを判断する（ステップＳ６２２）。手描き画像が表示されていない場合（ステップＳ６２２においてＮＯである場合）、ＣＰＵ１０６は、第１の履歴作成処理を終了する。
Referring to FIG. 19,
図２０（ａ）に示すように、手描き画像が表示されている場合（ステップＳ６２２においてＹＥＳである場合）、ＣＰＵ１０６は、データ（ｇ）に動画開始からの現時点までの時間を設定する（ステップＳ６２４）。図２０（ｂ）および（ｃ）に示すように、ＣＰＵ１０６は、動画コンテンツを構成するフレームのうち、現時点の直前のフレーム（静止画像）と表示中の手描き画像とを重ね合わせた履歴画像Ｊ（ペイントデータｊ）を作成する（ステップＳ６２６）。
As shown in FIG. 20A, when a hand-drawn image is displayed (YES in step S622),
ＣＰＵ１０６は、作成した画像をメモリ１０３に格納する（ステップＳ６２８）。より詳細には、図２１に示すように、ＣＰＵ１０６は、履歴データを作成した時刻（データ（ｇ））と、履歴画像Ｊ（ペイントデータｊ）とを対応付けて、履歴情報としてメモリ１０３に格納する。なお、履歴データを作成した時刻は、履歴画像Ｊがメモリ１０３に記憶された時刻を含む。あるいは、履歴データを作成した時刻は、動画コンテンツの最初から、履歴画像となるフレームが表示されるまで、のコンテンツ再生時間（コンテンツのスタート時点を基準とした時間軸上の時刻）を含む。あるいは、履歴データを作成した時刻は、動画コンテンツの最初から手描き画像をクリアするための命令が入力されるまでの時間、あるいは動画コンテンツの最初から今回シーンが切り換わるまでの時間を含む。
The
ＣＰＵ１０６は、メモリ１０３の画像Ｊに基づいて、画像Ｊを縮小する（ステップＳ６３０）。
The
図２０（ｄ）に示すように、ＣＰＵ１０６は、縮小された画像を、タッチパネル１０２の履歴領域（第２の領域１０２Ｂ）に表示させる（ステップＳ６３２）。ＣＰＵ１０６は、第１の履歴作成処理を終了する。
As shown in FIG. 20D, the
＜携帯電話１００における第２の履歴作成処理＞
次に、本実施の形態に係る携帯電話１００における第２の履歴作成処理について説明する。図２２は、本実施の形態に係る携帯電話１００における第２の履歴作成処理の処理手順を示すフローチャートである。図２３は、第２の履歴作成処理に係る履歴データを示すイメージ図である。図２４は、第２の履歴作成処理に係る履歴情報のデータ構造を示す図である。
<Second History Creation Processing in
Next, the second history creation process in
図２２を参照して、ＣＰＵ１０６は、動画コンテンツの表示領域（第１の領域１０２Ａ）に、手描き画像が表示されているか否かを判断する（ステップＳ６４２）。手描き画像が表示されていない場合（ステップＳ６４２においてＮＯである場合）、ＣＰＵ１０６は、第２の履歴作成処理を終了する。
Referring to FIG. 22,
図２３（ａ）に示すように、手描き画像が表示されている場合（ステップＳ６４２においてＹＥＳである場合）、ＣＰＵ１０６は、データ（ｇ）に動画開始からの現時点までの時間を設定する（ステップＳ６４４）。図２３（ｂ）および（ｄ）に示すように、ＣＰＵ１０６は、動画コンテンツを構成するフレームのうちの現時点の直前のフレーム（画像Ｈ）を作成する（ステップＳ６４６）。図２３（ｂ）および（ｃ）に示すように、ＣＰＵ１０６は、手描きレイヤに基づいて、たとえば、白を透過色として設定することによって、表示中の手描き画像Ｉを作成する（ステップＳ６４８）。
As shown in FIG. 23A, when a hand-drawn image is displayed (YES in step S642),
ＣＰＵ１０６は、作成した動画コンテンツの画像Ｈと手描き画像Ｉとをメモリ１０３に格納する（ステップＳ６５０）。より詳細には、図２４に示すように、ＣＰＵ１０６は、履歴データを作成した時刻（データ（ｇ））と、動画コンテンツの画像Ｈ（ペイントデータｈ）と、手描き画像Ｉ（ペイントデータｉ）とを対応付けて、履歴情報としてメモリ１０３に格納する。なお、履歴データを作成した時刻は、履歴画像Ｊがメモリ１０３に記憶された時刻を含む。あるいは、履歴データを作成した時刻は、動画コンテンツの最初から、履歴画像となるフレームが表示されるまで、のコンテンツ再生時間（コンテンツのスタート時点を基準とした時間軸上の時刻）を含む。あるいは、履歴データを作成した時刻は、動画コンテンツの最初から手描き画像をクリアするための命令が入力されるまでの時間、あるいは動画コンテンツの最初から今回シーンが切り換わるまでの時間を含む。
The
図２３（ｅ）に示すように、ＣＰＵ１０６は、メモリ１０３の動画コンテンツの画像Ｈと画像Ｉとを合成して、画像Ｊを作成する（ステップＳ６５２）。ＣＰＵ１０６は、画像Ｊを縮小する（ステップＳ６５４）。
As shown in FIG. 23E, the
図２３（ｆ）に示すように、ＣＰＵ１０６は、縮小された画像を、タッチパネル１０２の履歴領域（第２の領域）に表示させる（ステップＳ６５６）。ＣＰＵ１０６は、第２の履歴作成処理を終了する。
As shown in FIG. 23F, the
＜携帯電話１００における第３の履歴作成処理＞
次に、本実施の形態に係る携帯電話１００における第３の履歴作成処理について説明する。図２５は、本実施の形態に係る携帯電話１００における第３の履歴作成処理の処理手順を示すフローチャートである。図２６は、第３の履歴作成処理に係る履歴データを示すイメージ図である。図２７は、第３の履歴作成処理に係る履歴情報のデータ構造を示す図である。
<Third History Creation Processing in
Next, the third history creation process in
図２５を参照して、ＣＰＵ１０６は、動画コンテンツの表示領域（第１の領域１０２Ａ）に、手描き画像が表示されているか否かを判断する（ステップＳ６６２）。手描き画像が表示されていない場合（ステップＳ６６２においてＮＯである場合）、ＣＰＵ１０６は、第３の履歴作成処理を終了する。
Referring to FIG. 25,
図２６（ａ）に示すように、手描き画像が表示されている場合（ステップＳ６６２においてＹＥＳである場合）、ＣＰＵ１０６は、データ（ｇ）に動画開始からの現時点までの時間を設定する（ステップＳ６６４）。図２６（ｂ）および（ｃ）に示すように、ＣＰＵ１０６は、動画コンテンツを構成するフレームのうちの現時点の直前のフレーム（画像Ｈ）を作成する（ステップＳ６６６）。ＣＰＵ１０６は、表示中の手描き画像を表わすドローデータ（データ（ｃ）〜（ｆ）の組み合わせ）を作成する（ステップＳ６６８）。
As shown in FIG. 26A, when a hand-drawn image is displayed (YES in step S662),
ＣＰＵ１０６は、作成した動画コンテンツの画像Ｈとドローデータとをメモリ１０３に格納する（ステップＳ６７０）。より詳細には、図２７に示すように、ＣＰＵ１０６は、履歴データを作成した時刻（データ（ｇ））と、動画コンテンツの画像Ｈ（ペイントデータｈ）と、ドローデータ（複数のデータ群（ｃ）〜（ｆ）のセット）とを対応付けて、メモリ１０３に格納する。なお、履歴データを作成した時刻は、履歴画像Ｊがメモリ１０３に記憶された時刻を含む。あるいは、履歴データを作成した時刻は、動画コンテンツの最初から、履歴画像となるフレームが表示されるまで、のコンテンツ再生時間（コンテンツのスタート時点を基準とした時間軸上の時刻）を含む。あるいは、履歴データを作成した時刻は、動画コンテンツの最初から手描き画像をクリアするための命令が入力されるまでの時間、あるいは動画コンテンツの最初から今回シーンが切り換わるまでの時間を含む。
The
ＣＰＵ１０６は、メモリ１０３の手描き画像を削除する（ステップＳ６７２）。図２６（ｄ）に示すように、ＣＰＵ１０６は、ドローデータ（ｋ）から手描き画像Ｉを作成し、メモリ１０３の動画コンテンツの画像Ｈと手描き画像Ｉとを合成することによって、画像Ｊを作成する（ステップＳ６７４）。ＣＰＵ１０６は、画像Ｊを縮小する（ステップＳ６７６）。
図２６（ｅ）に示すように、ＣＰＵ１０６は、縮小された画像を、タッチパネル１０２の履歴領域（第２の領域１０２Ｂ）に表示させる（ステップＳ６７８）。ＣＰＵ１０６は、第３の履歴作成処理を終了する。
As shown in FIG. 26E, the
［実施の形態２］
次に、本発明の実施の形態２について説明する。上述の実施の形態１に係るネットワークシステム１では、表示装置の各々が、手描き画像が入力されたときに表示されているシーンあるいは手書き画像を受信したときに表示されているシーンに関する履歴情報のみを記憶するものであった。換言すれば、表示装置は、手描き画像が入力されず、かつ、手描き画像を受信しなかったシーンに関する動画のフレームを、当該シーンが終了するときに削除していた。
[Embodiment 2]
Next, a second embodiment of the present invention will be described. In the
これは、手描き画像が入力されていないにもかかわらずシーン毎に全ての動画フレームを記憶すると、多量のメモリが必要になるからである。また、全ての動画フレームを表示することまでは、ユーザから求められていないからである。また、全ての動画フレームを表示したり記憶したりすると、ユーザや表示装置にとって、ユーザが実際に必要とする履歴情報を見つけ出すことが困難になるからである。 This is because a large amount of memory is required if all moving image frames are stored for each scene even though a hand-drawn image is not input. Moreover, it is because it is not calculated | required by the user until all the moving image frames are displayed. Further, if all the moving image frames are displayed or stored, it is difficult for the user or the display device to find the history information that the user actually needs.
しかしながら、動画フレームが表示装置から削除された後に、当該表示装置が他の表示装置から当該動画フレームに対応するシーン中に入力された手書き画像を受信する可能性がある。この場合、表示装置は、もはや、当該手描き画像と当該動画フレームとを重畳させて表示させることができない。このような不具合は、たとえば、表示装置間のネットワークに障害が生じたときや、当該ネットワークが混雑しているときに、発生し易い。 However, after the moving image frame is deleted from the display device, the display device may receive a handwritten image input in a scene corresponding to the moving image frame from another display device. In this case, the display device can no longer display the hand-drawn image and the moving image frame superimposed on each other. Such a problem is likely to occur, for example, when a failure occurs in a network between display devices or when the network is congested.
本実施の形態に係るネットワークシステム１では、表示装置の各々が、シーンの表示中に、当該表示装置に手描き画像が入力されなくとも、また当該表示装置が手書き画像を受信しなくとも、それぞれのシーンの最後のフレームを表す画像データを一時的に記憶する。たとえば、表示装置の各々は、１０シーン分の最終フレームを表わす画像データを一時情報としてメモリ１０３に記憶する。そして、表示装置の各々は、各々のシーンの最終フレームを表わす画像データを、当該シーンの１０シーン後までに当該シーンに対応する手描き画像を他の表示装置から受信しなかった場合に、削除する。
In the
なお、実施の形態１に係るネットワークシステム１と同様の構成については、説明を繰り返さない。たとえば、図１のネットワークシステム１の全体構成や、図２および３のネットワークシステム１の全体的な動作概要や、図４の手書きデータの送受信に関する動作概要、図５〜７の携帯電話１００のハードウェア構成や、図８および９のチャットサーバ４００およびコンテンツサーバ６００のハードウェア構成、図１０のネットワークシステム１におけるＰ２Ｐ通信処理、図１１の送信データのデータ構造、図１２の携帯電話における入力処理、図１３のペン情報の設定処理、図１４の手書き処理、図１５の手描き画像を示すデータ、図１６の表示処理、図１７の表示処理の応用例などは、本実施の形態に係るそれらと同様であるため、ここでは説明を繰り返さない。
The description of the same configuration as that of
ただし、図４に関しては、本実施の形態は、以下のような特徴を有する。本実施の形態においては、（Ｂ−３）に示すように第２の携帯電話１００Ｂに手描き画像が入力されず、ネットワーク障害が生じている間に（Ａ−４）に示すように第１の携帯電話１００Ａに手描き画像が入力されたとしても、第２の携帯電話１００Ｂは、（Ｂ−５）に示すように、第１の携帯電話１００Ａに入力された手書き画像を履歴情報として表示することができる。
However, with respect to FIG. 4, the present embodiment has the following characteristics. In the present embodiment, as shown in (B-3), a hand-drawn image is not input to the second
本実施の形態においては、第２の携帯電話１００Ｂは、（Ｂ−３）に示すようにシーン中に第２の携帯電話１００Ｂに手描き画像が入力されなくても、当該シーンの最終フレームを一時情報として記憶している。そのため、（Ｂ−５）に示すように次のシーンへと切り換わった後に、第１の携帯電話１００Ａからの手描き画像を受信したとしても、当該一時情報と当該手書き画像とに基づいて、当該前のシーンの最終フレームと当該手描き画像とを履歴情報として記憶したり、表示したりすることができる。
In the present embodiment, as shown in (B-3), second
＜携帯電話１００における手書き画像表示処理＞
次に、本実施の形態に係る携帯電話１００における手書き画像表示処理について説明する。図２８は、本実施の形態に係る携帯電話１００における手書き画像表示処理の処理手順を示すフローチャートである。
<Handwritten image display processing in
Next, the handwritten image display process in the
図２８を参照して、ＣＰＵ１０６は、動画コンテンツの再生開始からのデータ送信時までの再生時間ｔｉｍｅ（データ（ｆ））を取得する（ステップＳ７０２）。ＣＰＵ１０６は、所定時間毎に、手書きストロークの頂点の座標（データ（ｃ））、すなわち（Ｃｘ１，Ｃｙ１）および（Ｃｘ２，Ｃｙ２）を取得する（ステップＳ７０４）。
Referring to FIG. 28,
再生時間ｔｉｍｅから現在までの間に動画コンテンツのシーンがチェンジしたか否かを判断する（ステップＳ７０６）。動画コンテンツのシーンがチェンジしなかった場合（ステップＳ７０６においてＮＯである場合）、ＣＰＵ１０６は、座標（Ｃｘ１，Ｃｙ１）と座標（Ｃｘ２，Ｃｙ２）とを線で繋ぐことによって、動画コンテンツの表示領域（第１の領域１０２Ａ）に手書きストロークを描画する（ステップＳ７０８）。ＣＰＵ１０６は、手描き画像表示処理を終了する。
It is determined whether or not the scene of the moving image content has changed between the reproduction time “time” and the present time (step S706). If the scene of the video content has not changed (NO in step S706), the
動画コンテンツのシーンがチェンジした場合（ステップＳ７０６においてＹＥＳである場合）、ＣＰＵ１０６は、受信した手描きデータに対する再生時間ｔｉｍｅよりも後の履歴作成時刻（データ（ｇ））を有する履歴データのうちで、最も新しい履歴データを検索する（ステップＳ７１０）。当該最も新しい履歴データが存在する場合（ステップＳ７１２においてＹＥＳである場合）、ＣＰＵ１０６は、座標（Ｃｘ１，Ｃｙ１）と座標（Ｃｘ２，Ｃｙ２）とを線で繋ぐことによって、当該履歴データに手書きストロークの情報を追加する（ステップＳ７２４）。
When the scene of the moving image content is changed (YES in step S706), the
当該最も新しい履歴データが存在しない場合（ステップＳ７１２においてＮＯである場合）、ＣＰＵ１０６は、受信した手描きデータに対する再生時間ｔｉｍｅよりも後の履歴作成時刻（データ（ｇ））を有するテンポラリ履歴データのうちで、最も新しいテンポラリ履歴データを検索する（ステップＳ７１６）。当該テンポラリ履歴データが存在しない場合（ステップＳ７１８においてＮＯである場合）、ＣＰＵ１０６は、履歴作成時刻をｔｉｍｅとした白紙の履歴データを作成する（ステップＳ７２０）。ＣＰＵ１０６は、ステップＳ７２２の処理を実行する。
If the newest history data does not exist (NO in step S712), the
当該テンポラリ履歴データが存在する場合（ステップＳ７１８においてＹＥＳである場合）、当該テンポラリ履歴データを新たな履歴データとして、既存の履歴データに追加する（ステップＳ７２２）。ＣＰＵ１０６は、座標（Ｃｘ１，Ｃｙ１）と座標（Ｃｘ２，Ｃｙ２）とを線で繋ぐことによって、当該新たな履歴データに手書きストロークの情報を追加する（ステップＳ７２４）。
If the temporary history data exists (YES in step S718), the temporary history data is added as new history data to the existing history data (step S722). The
ＣＰＵ１０６は、当該新たな履歴データと先の履歴データとに基づいて、履歴画像をタッチパネル１０２に表示させる（ステップＳ７２６）。ＣＰＵ１０６は、手描き画像表示処理を終了する。
＜携帯電話１００における第１の履歴作成処理＞
次に、本実施の形態に係る携帯電話１００における第１の履歴作成処理について説明する。図２９は、本実施の形態に係る携帯電話１００における第１の履歴作成処理の処理手順を示すフローチャートである。
<First History Creation Processing in
Next, the first history creation process in
図２９と図２０（ａ）とに示すように、ＣＰＵ１０６は、データ（ｇ）に動画開始からの現時点までの時間を設定する（ステップＳ８２２）。図２０（ｂ）および（ｃ）に示すように、ＣＰＵ１０６は、動画コンテンツを構成するフレームのうち、現時点の直前のフレーム（静止画像）と表示中の手描き画像とを重ね合わせた履歴画像Ｊ（ペイントデータｊ）を作成する（ステップＳ８２４）。
As shown in FIGS. 29 and 20A, the
ＣＰＵ１０６は、作成した画像を、メモリ１０３に格納する（ステップＳ８２６）。より詳細には、図２１に示すように、ＣＰＵ１０６は、履歴データを作成した時刻（データ（ｇ））と、履歴画像Ｊ（ペイントデータｊ）とを対応付けて、履歴情報としてメモリ１０３に格納する。なお、履歴データを作成した時刻は、履歴画像Ｊがメモリ１０３に記憶された時刻を含む。あるいは、履歴データを作成した時刻は、動画コンテンツの最初から、履歴画像となるフレームが表示されるまで、のコンテンツ再生時間（コンテンツのスタート時点を基準とした時間軸上の時刻）を含む。あるいは、履歴データを作成した時刻は、動画コンテンツの最初から手描き画像をクリアするための命令が入力されるまでの時間、あるいは動画コンテンツの最初から今回シーンが切り換わるまでの時間を含む。
The
ＣＰＵ１０６は、画像Ｊに手描き画像が含まれるか否かを判断する（ステップＳ８２８）。画像Ｊに手描き画像が含まれる場合（ステップＳ８２８においてＹＥＳである場合）、図２０（ｄ）に示すように、ＣＰＵ１０６は、メモリ１０３の画像Ｊに基づいて、画像Ｊを縮小する（ステップＳ８３０）。ＣＰＵ１０６は、縮小された画像を、履歴データとして、メモリ１０３に格納する。
図２０（ｅ）に示すように、ＣＰＵ１０６は、縮小された画像を、タッチパネル１０２の履歴領域（第２の領域１０２Ｂ）に表示させる（ステップＳ８３２）。ＣＰＵ１０６は、第１の履歴作成処理を終了する。
As shown in FIG. 20E, the
画像Ｊに手描き画像が含まれない場合（ステップＳ８２８においてＮＯである場合）、ＣＰＵ１０６は、テンポラリ履歴データの個数が規定数以上であるか否かを判断する（ステップＳ８３４）。ＣＰＵ１０６は、テンポラリ履歴データの個数が規定数以上である場合（ステップＳ８３４においてＹＥＳである場合）、メモリ１０３から最も古いテンポラリ履歴データを削除して（ステップＳ８３６）、作成した画像をテンポラリ履歴データに追加する（ステップＳ８３８）。ＣＰＵ１０６は、第１の履歴作成処理を終了する。
When the image J does not include a hand-drawn image (NO in step S828),
ＣＰＵ１０６は、テンポラリ履歴データの個数が規定数未満である場合（ステップＳ８３４においてＮＯである場合）、作成した画像をテンポラリ履歴データに追加する（ステップＳ８３８）。ＣＰＵ１０６は、第１の履歴作成処理を終了する。
If the number of temporary history data is less than the specified number (NO in step S834),
＜携帯電話１００における第２の履歴作成処理＞
次に、本実施の形態に係る携帯電話１００における第２の履歴作成処理について説明する。図３０は、本実施の形態に係る携帯電話１００における第２の履歴作成処理の処理手順を示すフローチャートである。
<Second History Creation Processing in
Next, the second history creation process in
図３０および図２３（ａ）に示すように、ＣＰＵ１０６は、データ（ｇ）に動画開始からの現時点までの時間を設定する（ステップＳ８４２）。図２３（ｂ）および（ｄ）に示すように、ＣＰＵ１０６は、動画コンテンツを構成するフレームのうちの現時点の直前のフレーム（画像Ｈ）を作成する（ステップＳ８４４）。
As shown in FIGS. 30 and 23A, the
ＣＰＵ１０６は、作成した動画コンテンツの画像Ｈを、メモリ１０３に格納する（ステップＳ８４６）。より詳細には、ＣＰＵ１０６は、動画コンテンツの画像Ｈを作成した時刻（データ（ｇ））と、動画コンテンツの画像Ｈ（ペイントデータｈ）とを対応付けて、メモリ１０３に格納する。
ＣＰＵ１０６は、動画上に手描き画像が存在するか否かを判断する（ステップＳ８４８）。動画上に手描き画像が存在する場合（ステップＳ８４８においてＹＥＳである場合）、図２３（ｂ）および（ｃ）に示すように、ＣＰＵ１０６は、手描きレイヤに基づいて、たとえば、白を透過色として設定することによって、表示中の手描き画像Ｉを作成する（ステップＳ８５０）。
ＣＰＵ１０６は、作成した動画コンテンツの画像Ｈと手描き画像Ｉとを対応付けてメモリ１０３に格納する（ステップＳ８５２）。より詳細には、図２４に示すように、ＣＰＵ１０６は、履歴データを作成した時刻（データ（ｇ））と、動画コンテンツの画像Ｈ（ペイントデータｈ）と、手描き画像Ｉ（ペイントデータｉ）とを対応付けて、履歴情報としてメモリ１０３に格納する。なお、履歴データを作成した時刻は、履歴画像Ｊがメモリ１０３に記憶された時刻を含む。あるいは、履歴データを作成した時刻は、動画コンテンツの最初から、履歴画像となるフレームが表示されるまで、のコンテンツ再生時間（コンテンツのスタート時点を基準とした時間軸上の時刻）を含む。あるいは、履歴データを作成した時刻は、動画コンテンツの最初から手描き画像をクリアするための命令が入力されるまでの時間、あるいは動画コンテンツの最初から今回シーンが切り換わるまでの時間を含む。
The
図２３（ｅ）に示すように、ＣＰＵ１０６は、メモリ１０３の動画コンテンツの画像Ｈと画像Ｉとを合成して、画像Ｊを作成する（ステップＳ８５４）。ＣＰＵ１０６は、画像Ｊを縮小する（ステップＳ８５６）。
As shown in FIG. 23E, the
図２３（ｆ）に示すように、ＣＰＵ１０６は、縮小された画像を、タッチパネル１０２の履歴領域（第２の領域）に表示させる（ステップＳ８５８）。ＣＰＵ１０６は、第２の履歴作成処理を終了する。
As shown in FIG. 23F, the
一方、動画上に手描き画像が存在しない場合（ステップＳ８４８においてＮＯである場合）、ＣＰＵ１０６は、テンポラリ履歴データの個数が規定数以上であるか否かを判断する（ステップＳ８６０）。ＣＰＵ１０６は、テンポラリ履歴データの個数が規定数以上である場合（ステップＳ８６０においてＹＥＳである場合）、メモリ１０３から最も古いテンポラリ履歴データを削除して（ステップＳ８６２）、作成した画像をテンポラリ履歴データに追加する（ステップＳ８６４）。ＣＰＵ１０６は、第２の履歴作成処理を終了する。
On the other hand, when a hand-drawn image does not exist on the moving image (NO in step S848),
ＣＰＵ１０６は、テンポラリ履歴データの個数が規定数未満である場合（ステップＳ８６０においてＮＯである場合）、作成した画像をテンポラリ履歴データに追加する（ステップＳ８６４）。ＣＰＵ１０６は、第２の履歴作成処理を終了する。
If the number of temporary history data is less than the specified number (NO in step S860),
＜携帯電話１００における第３の履歴作成処理＞
次に、本実施の形態に係る携帯電話１００における第３の履歴作成処理について説明する。図３１は、本実施の形態に係る携帯電話１００における第３の履歴作成処理の処理手順を示すフローチャートである。
<Third History Creation Processing in
Next, the third history creation process in
図３１および図２６（ａ）に示すように、ＣＰＵ１０６は、データ（ｇ）に動画開始からの現時点までの時間を設定する（ステップＳ８７２）。図２６（ｂ）および（ｃ）に示すように、ＣＰＵ１０６は、動画コンテンツを構成するフレームのうちの現時点の直前のフレーム（画像Ｈ）を作成する（ステップＳ８７４）。
As shown in FIGS. 31 and 26A, the
ＣＰＵ１０６は、作成した動画コンテンツの画像Ｈを、メモリ１０３に格納する（ステップＳ８７６）。より詳細には、ＣＰＵ１０６は、動画コンテンツの画像Ｈを作成した時刻（データ（ｇ））と、動画コンテンツの画像Ｈ（ペイントデータｈ）とを対応付けて、メモリ１０３に格納する。
The
ＣＰＵ１０６は、動画上に手描き画像が存在するか否かを判断する（ステップＳ８７８）。動画上に手描き画像が存在する場合（ステップＳ８７８においてＹＥＳである場合）、ＣＰＵ１０６は、表示中の手描き画像を表わすドローデータ（データ（ｃ）〜（ｆ）の組み合わせ）を作成する（ステップＳ８８０）。
ＣＰＵ１０６は、作成した動画コンテンツの画像Ｈとドローデータとをメモリ１０３に格納する（ステップＳ８８２）。より詳細には、図２７に示すように、ＣＰＵ１０６は、履歴データを作成した時刻（データ（ｇ））と、動画コンテンツの画像Ｈ（ペイントデータｈ）と、ドローデータ（複数のデータ群（ｃ）〜（ｆ）のセット）とを対応付けて、メモリ１０３に格納する。なお、履歴データを作成した時刻は、履歴画像Ｊがメモリ１０３に記憶された時刻を含む。あるいは、履歴データを作成した時刻は、動画コンテンツの最初から、履歴画像となるフレームが表示されるまで、のコンテンツ再生時間（コンテンツのスタート時点を基準とした時間軸上の時刻）を含む。あるいは、履歴データを作成した時刻は、動画コンテンツの最初から手描き画像をクリアするための命令が入力されるまでの時間、あるいは動画コンテンツの最初から今回シーンが切り換わるまでの時間を含む。
The
ＣＰＵ１０６は、メモリ１０３の手描き画像を削除する（ステップＳ８８４）。図２６（ｄ）に示すように、ＣＰＵ１０６は、ドローデータ（ｋ）から手描き画像Ｉを作成し、メモリ１０３の動画コンテンツの画像Ｈと手描き画像Ｉとを合成することによって、画像Ｊを作成する（ステップＳ８８６）。ＣＰＵ１０６は、画像Ｊを縮小する（ステップＳ８８８）。
図２６（ｅ）に示すように、ＣＰＵ１０６は、縮小された画像を、タッチパネル１０２の履歴領域（第２の領域１０２Ｂ）に表示させる（ステップＳ８９０）。ＣＰＵ１０６は、第３の履歴作成処理を終了する。
As shown in FIG. 26E, the
一方、動画上に手描き画像が存在しない場合（ステップＳ８７８においてＮＯである場合）、ＣＰＵ１０６は、テンポラリ履歴データの個数が規定数以上であるか否かを判断する（ステップＳ８９２）。ＣＰＵ１０６は、テンポラリ履歴データの個数が規定数以上である場合（ステップＳ８９２においてＹＥＳである場合）、メモリ１０３から最も古いテンポラリ履歴データを削除して（ステップＳ８９４）、作成した画像をテンポラリ履歴データに追加する（ステップＳ８９６）。ＣＰＵ１０６は、第３の履歴作成処理を終了する。
On the other hand, when a hand-drawn image does not exist on the moving image (NO in step S878),
ＣＰＵ１０６は、テンポラリ履歴データの個数が規定数未満である場合（ステップＳ８９２においてＮＯである場合）、作成した画像をテンポラリ履歴データに追加する（ステップＳ８９６）。ＣＰＵ１０６は、第３の履歴作成処理を終了する。
If the number of temporary history data is less than the specified number (NO in step S892),
＜本実施の形態に係るネットワークシステム１のその他の適用例＞
本発明は、システム或いは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。そして、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の効果を享受することが可能となる。
<Other application examples of
It goes without saying that the present invention can also be applied to a case where it is achieved by supplying a program to a system or apparatus. Then, a storage medium storing a program represented by software for achieving the present invention is supplied to the system or apparatus, and the computer (or CPU or MPU) of the system or apparatus stores the program code stored in the storage medium It is possible to enjoy the effects of the present invention also by reading and executing.
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。 In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiment, and the storage medium storing the program code constitutes the present invention.
プログラムコードを供給するための記憶媒体としては、例えば、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード（ＩＣメモリカード）、ＲＯＭ（マスクＲＯＭ、フラッシュＥＥＰＲＯＭなど）などを用いることができる。 As a storage medium for supplying the program code, for example, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, magnetic tape, nonvolatile memory card (IC memory card), ROM (mask ROM, flash) EEPROM, etc.) can be used.
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。 Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) running on the computer based on the instruction of the program code However, it is needless to say that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included.
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。 Further, after the program code read from the storage medium is written to a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the function expansion is performed based on the instruction of the program code. It goes without saying that the CPU or the like provided in the board or the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
１ ネットワークシステム、１００，１００Ａ，１００Ｂ，１００Ｃ 携帯電話、１０１ 通信デバイス、１０２ タッチパネル、１０２Ａ 第１の領域、１０２Ｂ 第２の領域、１０３ メモリ、１０３Ａ ワークメモリ、１０３Ｂ アドレス帳データ、１０３Ｃ 自端末データ、１０３Ｄ アドレスデータ、１０３Ｅ アドレスデータ、１０４ ペンタブレット、１０６ ＣＰＵ、１０７ ディスプレイ、１０８ マイク、１０９ スピーカ、１１０ 各種ボタン、１１１ 第１の通知部、１１２ 第２の通知部、１１３ ＴＶアンテナ、１２０ スタイラスペン、２００ カーナビゲーション装置、２５０ 車両、３００ パーソナルコンピュータ、４００ チャットサーバ、４０６ メモリ、４０６Ａ ルーム管理テーブル、４０７ 固定ディスク、４０８ 内部バス、４０９ サーバ通信デバイス、５００ インターネット、６００ コンテンツサーバ、６０６ メモリ、６０７ 固定ディスク、６０８ 内部バス、６０９ サーバ通信デバイス、６１５ 固定ディスク、７００ キャリア網。 1 network system, 100, 100A, 100B, 100C mobile phone, 101 communication device, 102 touch panel, 102A first area, 102B second area, 103 memory, 103A work memory, 103B address book data, 103C own terminal data, 103D address data, 103E address data, 104 pen tablet, 106 CPU, 107 display, 108 microphone, 109 speaker, 110 various buttons, 111 first notification unit, 112 second notification unit, 113 TV antenna, 120 stylus pen, 200 Car navigation device, 250 vehicle, 300 personal computer, 400 chat server, 406 memory, 406A room management table, 407 fixed disk, 40 8 Internal bus, 409 Server communication device, 500 Internet, 600 Content server, 606 Memory, 607 Fixed disk, 608 Internal bus, 609 Server communication device, 615 Fixed disk, 700 Carrier network.
Claims (10)
背景画像を表示するためのタッチパネルと、
前記タッチパネルを介して手描き画像の入力を受け付けて、前記タッチパネルに前記背景画像と前記手描き画像とを重ねて表示させるためのプロセッサとを備え、
前記プロセッサは、
前記背景画像に重畳された前記手描き画像を消去するための命令の入力を受け付け、
前記命令が入力されたときに前記タッチパネルに表示されていた前記背景画像と前記手描き画像とを履歴情報として前記メモリに記憶させ、
前記履歴情報に基づいて、前記タッチパネルに前記背景画像と前記手描き画像とを重ねて表示させ、
前記タッチパネルは、動画を表示し、
前記背景画像は、動画のフレームを含み、
前記プロセッサは、
前記タッチパネルに表示されている前記動画のシーンが切り換わったときに、当該切り換わりの直前に前記タッチパネルに表示されていた前記動画のフレームと前記手描き画像とを前記履歴情報として前記メモリに記憶させ、
前記動画のシーンが切り換わったときに、前記動画上の前記手描き画像を消去する、電子機器。 Memory,
A touch panel for displaying a background image;
A processor for accepting an input of a hand-drawn image via the touch panel and displaying the background image and the hand-drawn image on the touch panel,
The processor is
Receiving an input of a command for erasing the hand-drawn image superimposed on the background image;
The background image and the hand-drawn image displayed on the touch panel when the command is input are stored in the memory as history information,
Based on the history information, the background image and the hand-drawn image are displayed on the touch panel in an overlapping manner ,
The touch panel displays a video,
The background image includes a moving image frame;
The processor is
When the moving image scene displayed on the touch panel is switched, the moving image frame and the hand-drawn image displayed on the touch panel immediately before the switching are stored in the memory as the history information. ,
An electronic device that erases the hand-drawn image on the moving image when a scene of the moving image is switched .
前記タッチパネルの第１の領域に、前記背景画像を表示させながら、当該背景画像に重ねて前記手描き画像を表示させ、
前記タッチパネルの第２の領域に、前記履歴情報に基づいて、前記背景画像と前記手描き画像と重ねて表示させる、請求項１または２に記載の電子機器。 The processor is
While displaying the background image in the first area of the touch panel, the hand-drawn image is displayed over the background image,
3. The electronic device according to claim 1, wherein the background image and the hand-drawn image are overlapped and displayed on the second area of the touch panel based on the history information.
前記プロセッサは、
前記通信インターフェイスを介して、前記タッチパネルを介して入力された前記手描き画像を前記他の電子機器へと送信し、前記他の電子機器からの手描き画像を受信し、
前記タッチパネルに、前記背景画像に重ねて、前記タッチパネルを介して入力された前記手描き画像と前記他の電子機器からの手描き画像とを表示させ、
前記タッチパネルを介して入力された前記手描き画像とともに、前記他の電子機器からの前記手描き画像を前記履歴情報として前記メモリに記憶させる、請求項１から４のいずれかに記載の電子機器。 A communication interface for communicating with other electronic devices via a network;
The processor is
Sending the hand-drawn image input via the touch panel to the other electronic device via the communication interface, receiving the hand-drawn image from the other electronic device,
Over the background image on the touch panel, the hand-drawn image input via the touch panel and the hand-drawn image from the other electronic device are displayed,
Together with the hand-drawn image that is input through the touch panel, the hand-drawn image Ru is the stored in the memory as the historical information, the electronic device according to any of claims 1 to 4 from the other electronic apparatus.
前記手描き画像と前記背景画像とが合成されたペイントデータを前記履歴情報として前記メモリに記憶させる、請求項１から５のいずれかに記載の電子機器。 The processor is
The painted image and the Ru is stored background image and the Paint data combined in the memory as the historical information, the electronic device according to any of claims 1 to 5.
前記手描き画像を示すペイントデータと前記背景画像を示すペイントデータとを関連付けて前記履歴情報として前記メモリに記憶させる、請求項１から５のいずれかに記載の電子機器。 The processor is
The painted image the Ru is stored in memory as the history information in association with paint data indicating a paint data the background image showing the electronic device according to any one of claims 1 to 5.
前記手描き画像を示すドローデータと前記背景画像を示すペイントデータとを関連付けて前記履歴情報として前記メモリに記憶させる、請求項１から５のいずれかに記載の電子機器。 The processor is
The hand drawn images Ru is stored in the memory as the history information in association with paint data indicating the background image and draw data indicating the electronic device according to any one of claims 1 to 5.
前記プロセッサが、前記タッチパネルに、背景画像を表示させるステップと、
前記プロセッサが、前記タッチパネルを介して、手描き画像の入力を受け付けるステップと、
前記プロセッサが、前記タッチパネルに、前記背景画像と前記手描き画像とを重ねて表示させるステップと、
前記プロセッサが、前記背景画像に重畳された前記手描き画像を消去するための命令の入力を受け付けるステップと、
前記プロセッサが、前記命令が入力されたときに前記タッチパネルに表示されていた前記背景画像と前記手描き画像とを履歴情報として前記メモリに記憶させるステップと、
前記プロセッサが、前記履歴情報に基づいて、前記タッチパネルに、前記背景画像と前記手描き画像とを重ねて表示させるステップとを備え、
前記タッチパネルは、動画を表示し、
前記背景画像は、動画のフレームを含み、
前記表示方法は、
前記プロセッサが、前記タッチパネルに表示されている前記動画のシーンが切り換わったときに、当該切り換わりの直前に前記タッチパネルに表示されていた前記動画のフレームと前記手描き画像とを前記履歴情報として前記メモリに記憶させるステップと、
前記プロセッサが、前記動画のシーンが切り換わったときに、前記動画上の前記手描き画像を消去するステップとをさらに備える、表示方法。 A display method in a computer including a memory, a touch panel, and a processor,
The processor causing the touch panel to display a background image;
The processor accepting an input of a hand-drawn image via the touch panel;
The processor causing the touch panel to display the background image and the hand-drawn image superimposed on each other;
The processor accepting an input of a command for erasing the hand-drawn image superimposed on the background image;
Wherein the processor, the steps of said said background image displayed on the touch panel and the hand-drawn image as history information Ru is stored in the memory when the command is input,
The processor comprises the step of displaying the background image and the hand-drawn image on the touch panel based on the history information ,
The touch panel displays a video,
The background image includes a moving image frame;
The display method is:
When the processor switches the moving image scene displayed on the touch panel, the moving image frame and the hand-drawn image displayed on the touch panel immediately before the switching are used as the history information. Storing in memory;
And a step of erasing the hand-drawn image on the moving image when the scene of the moving image is switched .
前記タッチパネルに、背景画像を表示させるステップと、
前記タッチパネルを介して、手描き画像の入力を受け付けるステップと、
前記タッチパネルに、前記背景画像と前記手描き画像とを重ねて表示させるステップと、
前記背景画像に重畳された前記手描き画像を消去するための命令の入力を受け付けるステップと、
前記命令が入力されたときに前記タッチパネルに表示されていた前記背景画像と前記手描き画像とを履歴情報として前記メモリに記憶させるステップと、
前記履歴情報に基づいて、前記タッチパネルに前記背景画像と前記手描き画像とを重ねて表示させるステップとを、前記プロセッサに実行させ、
前記タッチパネルは、動画を表示し、
前記背景画像は、動画のフレームを含み、
前記表示プログラムは、
前記タッチパネルに表示されている前記動画のシーンが切り換わったときに、当該切り換わりの直前に前記タッチパネルに表示されていた前記動画のフレームと前記手描き画像とを前記履歴情報として前記メモリに記憶させるステップと、
前記動画のシーンが切り換わったときに、前記動画上の前記手描き画像を消去するステップとを、前記プロセッサにさらに実行させる、表示プログラム。 A display program for displaying an image on a computer including a memory, a touch panel, and a processor,
Displaying a background image on the touch panel;
Receiving an input of a hand-drawn image via the touch panel;
Displaying the background image and the hand-drawn image superimposed on the touch panel;
Receiving an input of a command for erasing the hand-drawn image superimposed on the background image;
A step of Ru said to memory storing said background image displayed on the touch panel and the hand-drawn image as history information when the command is input,
Based on the history information, causing the processor to execute the step of displaying the background image and the hand-drawn image superimposed on the touch panel ,
The touch panel displays a video,
The background image includes a moving image frame;
The display program is
When the moving image scene displayed on the touch panel is switched, the moving image frame and the hand-drawn image displayed on the touch panel immediately before the switching are stored in the memory as the history information. Steps,
A display program for causing the processor to further execute a step of erasing the hand-drawn image on the moving image when a scene of the moving image is switched .
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010098534A JP5781275B2 (en) | 2010-04-22 | 2010-04-22 | Electronic device, display method, and display program |
| PCT/JP2011/055381 WO2011132472A1 (en) | 2010-04-22 | 2011-03-08 | Electronic apparatus, display method, and computer readable storage medium storing display program |
| CN2011800202351A CN102859485A (en) | 2010-04-22 | 2011-03-08 | Electronic apparatus, display method, and computer readable storage medium storing display program |
| US13/637,312 US20130016058A1 (en) | 2010-04-22 | 2011-03-08 | Electronic device, display method and computer-readable recording medium storing display program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010098534A JP5781275B2 (en) | 2010-04-22 | 2010-04-22 | Electronic device, display method, and display program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011227800A JP2011227800A (en) | 2011-11-10 |
| JP5781275B2 true JP5781275B2 (en) | 2015-09-16 |
Family
ID=45043051
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010098534A Expired - Fee Related JP5781275B2 (en) | 2010-04-22 | 2010-04-22 | Electronic device, display method, and display program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5781275B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6070116B2 (en) * | 2012-11-28 | 2017-02-01 | 株式会社リコー | Image processing apparatus, image processing system, image processing method, and program |
| JP6361206B2 (en) * | 2013-12-02 | 2018-07-25 | セイコーエプソン株式会社 | Projector, projector control method, and display device |
| JP5877263B2 (en) * | 2015-06-09 | 2016-03-02 | グリー株式会社 | Image distribution method, image distribution server device, and chat system |
| JP7314719B2 (en) * | 2019-08-28 | 2023-07-26 | 株式会社リコー | Display device, display method, program |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0778052A (en) * | 1993-06-21 | 1995-03-20 | Casio Comput Co Ltd | Handwritten input device |
| JPH0844764A (en) * | 1994-08-03 | 1996-02-16 | Matsushita Electric Ind Co Ltd | Operation state retrieval device |
| JP2001034775A (en) * | 1999-05-17 | 2001-02-09 | Fuji Photo Film Co Ltd | History image display method |
| JP2002185923A (en) * | 2000-12-12 | 2002-06-28 | Sharp Corp | Moving picture recording method and moving picture reproducing method, and moving picture recording device and moving picture recording and reproducing device |
| JP4492124B2 (en) * | 2004-01-05 | 2010-06-30 | 富士ゼロックス株式会社 | Writing analysis apparatus, method, and program |
| JP4942922B2 (en) * | 2004-09-15 | 2012-05-30 | 株式会社リコー | Electronic conference system and electronic conference method |
| JP2006113630A (en) * | 2004-10-12 | 2006-04-27 | Seiko Epson Corp | Information display |
| JP4820627B2 (en) * | 2005-11-16 | 2011-11-24 | パナソニック株式会社 | Association device |
| JP2007173952A (en) * | 2005-12-19 | 2007-07-05 | Sony Corp | Content reproduction system, reproducing unit and method, providing device and providing method, program, and recording medium |
| JP5133678B2 (en) * | 2007-12-28 | 2013-01-30 | 株式会社ベネッセコーポレーション | Video playback system and control method thereof |
| JP2009218868A (en) * | 2008-03-11 | 2009-09-24 | Hitachi Information Systems Ltd | Handwriting information sharing system and handwriting information sharing method |
| JP5086189B2 (en) * | 2008-06-20 | 2012-11-28 | ヤフー株式会社 | Server, method and program for generating digest video of video content |
-
2010
- 2010-04-22 JP JP2010098534A patent/JP5781275B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011227800A (en) | 2011-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2011132472A1 (en) | Electronic apparatus, display method, and computer readable storage medium storing display program | |
| JP6954402B2 (en) | Transmission terminal, transmission method, transmission program and transmission system | |
| JP6369101B2 (en) | Transmission terminal, program, image display method, transmission system | |
| JP7521568B2 (en) | Transmission terminal, display method, and program | |
| JP5903835B2 (en) | Transmission terminal, image display control method, image display control program, recording medium, and transmission system | |
| JP2015015698A (en) | Transmission terminal, program, image display method, and transmission system | |
| JP6672588B2 (en) | Transmission system, method, program and system | |
| JP6103076B6 (en) | Information processing apparatus, program, and transmission system | |
| JP5781275B2 (en) | Electronic device, display method, and display program | |
| JP5755843B2 (en) | Electronic device, display method, and display program | |
| JP2015084511A (en) | Information processing device, system and program | |
| WO2011122266A1 (en) | Network system, communication method, and communication terminal | |
| WO2011122267A1 (en) | Network system, communication method, and communication terminal | |
| JP6361728B2 (en) | Transmission control system, transmission system, transmission control method, and recording medium | |
| JP2019193279A (en) | Transmission management system, transmission system, program, program providing system, and maintenance system | |
| JP5621516B2 (en) | Remote communication terminal and remote communication program | |
| JP2017027561A (en) | Terminal, communication system, communication method, and program | |
| JP6565430B2 (en) | Terminal, communication system, communication method, and program | |
| JP6269781B2 (en) | Transmission system | |
| JP2018041990A (en) | Communication terminal, communication system, display control method, and program | |
| JP5523973B2 (en) | Network system and communication method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130401 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131203 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140701 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150113 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150323 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20150331 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150623 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150715 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5781275 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |