JP4924723B2

JP4924723B2 - 文書データ生成装置、及び、プログラム

Info

Publication number: JP4924723B2
Application number: JP2010013692A
Authority: JP
Inventors: 正一永友; 明弘塚本
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2010-01-26
Filing date: 2010-01-26
Publication date: 2012-04-25
Anticipated expiration: 2030-01-26
Also published as: JP2011154411A

Description

本発明は、文書として、例えば電子メール等のメール本文を生成する文書データ生成装置、及び、プログラムに関し、詳細には、上記における撮像された画像に基づくデータを添付する技術に関する。

従来より、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔＭａｒｋｕｐＬａｎｇｕａｇｅ）に代表される、文章の論理構造や見栄えを表示文書とともに記述する記述言語を用いて、表現力の豊かな電子文書を作成し、これを電子メールのメッセージコンテンツとして送信する技術が存在する。
また、近年では、携帯電話等の通信端末における電子メール作成機能として、上記の記述言語を用いた文書作成機能を有するものが存在している。
詳細には、上記の通信端末は、文書に予め記憶されたＧＩＦ（ＧｒａｐｈｉｃｓＩｎｔｅｒｃｈａｎｇｅＦｏｒｍａｔ）形式の画像ファイルを挿入して表示される電子文書を装飾し、表示内容を見栄え良くする技術が採用されている（例えば、特許文献１参照）。
一方、同様に電子文書の表現力を豊かにするという目的においては、プレーンテキスト形式の文書に、内蔵するカメラで撮影した短時間の動画ファイル添付したり（例えば、特許文献２参照）、絵文字アイコンをメール本文に混在させるという技術も採用されている（例えば、特許文献３参照）。

特開２００４−３１０３５２号公報特開２００４−２０１１９１号公報特開２００５−３４６２５２号公報

このように、通信端末における電子メールの形式はプレーンテキスト形式とＨＴＭＬのような記述言語を用いるハイパーテキスト形式の２種類が混在しており、その形式に沿った装飾方法が運用されている。
しかしながら、通信端末のユーザからはこれら２つの形式は表示上は類似して見えるため、メール文書を生成する際、どのような装飾が可能なのか、または不可能なのかの判断が容易でなく、特に、撮像処理により取得した静止画や動画を添付する場合、どのような添付方法が望ましいのか判断が困難であるという問題がある。

本発明は、上記の問題点に鑑みてなされたものであり、文書形式に左右されること無く撮像により取得した画像を容易に添付することができるようにすることを目的とする。

上記目的を達成するため、請求項１記載の発明は、生成すべき文書の形式を設定する設定手段と、撮像手段と、この撮像手段に対し連続的に画像を撮像するよう制御する撮像制御手段と、前記設定手段によって設定された文書の形式が、文章の論理構造や見栄えを表示文書とともに記述する記述言語を用いた形式である場合、前記連続的に撮像された画像から、アニメーションファイルを生成する第１の生成手段と、前記設定手段によって設定された文書の形式が、プレーンテキスト形式である場合、前記連続的に撮像された画像から動画ファイルを生成する第２の生成手段と、前記第１の生成手段、又は、前記第２の生成手段によって生成されたものを生成すべき文書に添付するよう制御する制御手段と、を備えることを特徴とする。

また、上記目的を達成するため、請求項２記載の発明は、コンピュータを、生成すべき文書の形式を設定する設定手段、撮像部に対し連続的に画像を撮像するよう制御する撮像制御手段、前記設定手段によって設定された文書の形式が、文章の論理構造や見栄えを表示文書とともに記述する記述言語を用いた形式である場合、前記連続的に撮像された画像から、アニメーションファイルを生成する第１の生成手段、前記設定手段によって設定された文書の形式が、プレーンテキスト形式である場合、前記連続的に撮像された画像から動画ファイルを生成する第２の生成手段、前記第１の生成手段、又は、前記第２の生成手段によって生成されたものを生成すべき文書に添付するよう制御する制御手段として機能させることを特徴とする。

本発明によれば、文書形式に左右されること無く撮像により取得した画像を容易に添付することができる。

本発明を適用した携帯通信端末の回路構成を示す図である。プログラムメモリの記憶内容を概念的に示す図である。メール作成モードの処理を示すフローチャートである。連写された撮像画像の状態を示す図である。表示部の表示内容を示す図である。表示部の表示内容を示す図である。

以下、本発明を具体的に適用した実施形態について詳述する。
図１は、本発明を適用した撮像機能を有する携帯通信端末の回路構成を示すものである。同図において、携帯通信端末は回路全体を制御する制御部１を備えており、これを中心に、プログラムメモリ２、信号処理部５、音声処理部８、撮像処理部１１、表示制御部１３、キー入力部１４、及び、メモリ１５がバス１００を介して相互に電気的に接続されている。
プログラムメモリ２は、携帯通信端末を動作させるため制御部１が実行するプログラムを記憶する。より具体的には図２に示すように、本発明の各構成を制御部１に実行させるための各種プログラムを記憶する記憶部（撮像処理プログラム記憶部２０１、画像処理プログラム記憶部２０２、ハイパーテキスト形式メール編集プログラム記憶部２０３、プレーンテキスト形式メール編集プログラム記憶部２０４、及び、通信処理プログラム記憶部２０５）を有する他、他のプログラムを記憶する記憶部２０６を有し、制御部１からの指令に基づきこれらに記憶されたプログラムが読み出される。
尚、図２は、本発明の構成の理解を容易にするために示したものであるが、プログラムメモリ２に記憶されるプログラムの実行内容に、上記各種プログラムの実行内容を含ませても良い。

無線通信部４は、信号処理部５の制御に従ってアンテナ３より無線信号を送受信し、ＣＤＭＡ方式等、所定の無線変復調方式による一次変調／一次復調処理を行う。信号処理部５は、制御部１の制御にしたがってバス１００を介して入力されたＣＥＬＰ方式によりデジタル処理された音声データ、メールデータ（文書データ）、アニメーションＧＩＦファイル、動画ファイルをＱＰＳＫ方式で変調して無線通信部４に出力する一方、無線通信部４より入力されたデータを復調して、バス１００に出力する。音声処理部８は、マイク６を介して入力された音声をＣＥＬＰ符号化して出力する一方、バス１００より入力したＣＬＥＰ符号化データを音声信号に変換してスピーカ７より出力する。

撮像部１０はＣＭＯＳ、もしくはＣＣＤからなるイメージキャプチャーデバイスとＤＳＰ等を含み、撮像レンズ９を介して結像されたイメージをデジタル処理する。撮像処理部１１は撮像部１０のイメージキャプチャーデバイスの駆動制御（詳細には連続撮影等に係る連続読出処理）を行うとともに、デジタル化された撮像画像をバス１００に出力する。表示部１２は制御部１の制御よって表示制御部１３を介して各種データ（メールデータや、アニメーションＧＩＦ、動画）を表示する。

操作部キー入力部１４は、発信する電話番号の指定の他、文字や英数字の入力を検出するためのテンキー１４１、後述のメール作成モードにおいてカレントカーソルの位置の指定を検出するためのカーソルキー１４２、各種決定や、画像の撮り込みや格納指示を検出するための決定キー１４３などからなる。
メモリ１５は、制御部１がプログラムメモリ２に格納された各種プログラムを実行した際の作業メモリ（アプリケーションヒープ）として利用される他、撮像によって取得した静止画ファイル、動画ファイル、アニメーションファイルを記憶する他、ダウンロードした各種データも記憶する。

図３は携帯通信端末が実行するメール作成モードの処理を示すフローチャートである。
先ず、携帯通信端末は、電源投入を検出した際、プログラムメモリ２に記憶されている通信処理プログラム記憶部２０４からプログラムを読み出してこれを実行し、外部無線通信ネットワークとのネゴシエーション処理や通信処理を行っているものとする。
そして、メール作成モードがスタートすると、まず、生成される文書として、作成されるメール形式はプレーンテキスト形式かハイパーテキスト形式かの何れかの選択を促す選択画面を表示する（ステップＳ０１）。そしてこの表示に応答する形としてキー入力部１４のカーソルキー１４２、及び決定キー１４３の操作を検出することで、プレーンテキスト形式、又は、ハイパーテキスト形式かの何れかの選択が検出されるか判断する（ステップＳ０２）。

そして、何れかの形式が検出されない場合はステップＳ０１の処理に戻る一方、何れかの形式が検出された場合は、選択されたメール形式を示す情報をメモリ１５の所定の記憶領域に設定内容として一時的に記憶保持する（ステップＳ０３）。
そして、ステップＳ０３による記憶保持の後、制御部１は、プログラムメモリ２のハイパーテキスト形式メール編集プログラム記憶部２０３、又は、プレーンテキスト形式メール編集プログラム２０４のうち、ステップＳ０２の選択検出により検出された方の編集プログラムを読出してこれを実行し、表示部１２に作成画面を表示させる（ステップＳ０４）。

その後、ユーザーによるテンキー１４１、カーソルキー１４２、及び、決定キー１４３の操作を検出することによりメール内容であるところの電子文書の入力処理を行ってメール作成を実行し（ステップＳ０５）、更にメール作成処理の終了指示を検出したか否かを判断する（ステップＳ０６）。
尚、本処理によって作成されるメールのうち、ハイパーテキスト形式については、文字の入力のみだけでなく、文字や背景色の編集、文字フォントの大小の変更、文字のスクロール、点滅、レイアウトの変更等、Ｈｔｍｌ形式のタグで指定できる内容で任意に編集可能である。

ステップＳ０６でメール作成の終了指示を検出した場合は、ステップＳ２０にて、更に作成したメールの送信指示を検出したか否かを判断するが、メール作成終了指示を検出しない場合は、更にキー入力部１４への所定の操作を検出することにより動画撮影指示を検出したか否かを判断する（ステップＳ０７）。
動画撮影指示を検出しない場合はステップＳ０４に移行するが、動画撮影指示を検出した場合、制御部１は更に撮像処理プログラム記憶部２０１、及び、画像処理プログラム記憶部２０２から夫々プログラムを読み出して実行し、撮像部１０、及び、撮像処理部１１を起動させる。
そして、入力・作成されているメール内容（電子文書）を一時メモリ１５に退避保存させるとともに、撮像部１０を周期的に駆動させて、逐次出力される撮像画像を表示部１２にライブビュー表示するよう撮像処理部１１、及び、表示制御部１３を制御する（ステップＳ０８）。

そしてこのライブビュー表示状態において、ユーザーの決定キー１４３の操作を検出したか否かにより撮影指示が検出されたか否かを判断する（ステップＳ０９）。
撮影指示が検出されない場合はステップＳ０８に戻るが、撮影指示が検出された場合は、撮像部１０、撮像処理部１１に対し、連続的に撮像画像を取得させることによる一定時間の画像の撮り込み処理を開始させ（ステップＳ１０）、メールへの添付が許容される容量に相当する時間である一定時間が経過したか否かを判断する（ステップＳ１１）。
また、一定時間が経過していない場合は、ユーザーの決定キー１４３の操作を検出することによる撮影終了指示を検出したか否かを判断する（ステップＳ１２）。

ステップＳ１２にて撮影終了指示を検出しない場合はステップＳ１１の判断に戻りステップＳ１１で一定時間が経過したと判断した、或いは、ステップＳ１２で撮影終了指示を検出したと判断した場合は、撮像部１０、撮像処理部１１に対し画像撮り込み終了を指示し（ステップＳ１３）、ステップＳ０３にて一時保持したメール形式を示す情報を読み出す（ステップＳ１４）。
その後、読み出されたメール形式を示す情報が、ハイパーテキストによるメール形式か、プレーンテキストによるメール形式かを判断し（ステップＳ１５）、ハイパーテキストによるメール形式であると判断した場合は、撮り込まれた複数の画像から、ＧIＦ形式のアニメーションファイルを生成する（ステップＳ１６）。

図４は、ステップＳ１６におけるアニメーションファイルの生成の考え方を示したもの
である。
同図において、ステップＳ１０〜Ｓ１３の間に撮り込まれた５枚の画像１１１〜１１５が存在するとする。そして画像１１１〜１１５には被写体画像領域Ａ１〜Ａ５が存在するとともに、共通して被写体Ｂの画像領域が存在し、これらの５枚の画像から、５コマからなるＧＩＦ形式のアニメーションファイルを生成する。

ステップＳ１６にてアニメーションファイルが生成されると、制御部１は、メモリ１５に一時退避させたメールデータを読み出して、表示部１２に表示するよう表示制御部１３を制御する。
そしてハイパーテキスト形式メール編集プログラムに従い、上記ステップＳ１５にて生成されたアニメーションファイルを、ＧＩＦアイコンとして作成中のメール内容に添付するとともに、カレントカーソルの位置に生成されたアニメーションファイルをアニメーションＧＩＦアイコンとしてインライン表示するよう記述する（ステップＳ１７）。

図５はこの場合の表示部１２の表示態様を示すものである。
同図においては、ユーザがメール本文である、
「こんにちは！
今、駅にいます。
これからそちらに向かいます。
よろしく！」
を入力生成している過程において、「今、駅にいます。」まで作成した後に、一旦作成を終了させて動画撮影を行い、その後、「これからそちらに向かいます。」を再度入力した場合を示している。
また、１２１には本メールの送信あて先を示すメールアドレスが、１２２にはメールサブジェクト「こんにちは！」が、１２３には本メールに添付されるファイル（アニメーションファイル）のファイル名が、そして、１２４には、メール本文である、
「こんにちは！
今、駅にいます。
これからそちらに向かいます。
よろしく！」
と「今、駅にいます。」と「これからそちらに向かいます」との間に、ＧＩＦアイコンとしてアニメーションファイルの内容１２５が挿入され表示されている。

一方、ステップＳ１５において、プレーンテキストによるメール形式であると判断した場合は、撮り込まれた複数の画像をフレームとして、ＭＰＥＧ−４形式の符号化方式に準拠した符号化方式で各フレームを圧縮符号化し、動画ファイルを生成する（ステップＳ１８）。
そしてプレーンテキスト形式メール編集プログラムに従い、上記ステップＳ１８にて生成された動画ファイルを作成中のメールに添付する（ステップＳ１９）。

図６はこの場合の表示部１２の表示態様を示すものである。
同図においては、１２１には本メールの送信あて先を示すメールアドレスが、１２２にはメールサブジェクト「こんにちは！」が、１２７には本メールに添付されるファイル（動画ファイル）のファイル名が、そして、メール本文が表示されている。
そして、ステップＳ１７、Ｓ１９の処理の後、再度ステップＳ０４に移行する。
また、ステップＳ０６にて、メールの作成終了指示を検出した場合は、更に送信指示を検出したか否かを判断する（ステップＳ２０）。

そして送信指示を検出しなかった場合はステップＳ０４に移行するが、送信指示を検出した場合は、入力した送信先アドレスへメール本文（添付ファイルがある場合には添付ファイルも）を送信するよう、アンテナ３、無線通信部４、及び、信号処理部５を制御し（ステップＳ２１）、本処理を終了する。

このように本発明によれば、選択検出されたメール形式に応じて、撮像された複数の画像からアニメーションファイルを生成か、動画ファイルの生成かを選択するので、文書形式に左右されること無く撮像により取得した画像を容易に添付することができる。

尚、本実施形態では、メール作成（文書生成）前の選択検出に基づいてメール形式を判断していたが、これに限らず、例えば、撮像処理に移行する前に実行されていたメール編集プログラムが、ハイパーテキスト形式メール編集プログラムだったか、或いはプレーンテキスト形式メール編集プログラムだったかに基づいて判断させるようにしても良い。
また上記のケースにおいては、作成前にメール形式を設定する必要が無いため、更に利便性が向上するというメリットが得られる。

また、本実施形態においては、本発明を携帯通信端末に適用した場合を例示したが、これに限ることなく、撮像等により連続的に撮り込まれた複数の画像からアニメーションファイルを生成してこれを利用する実施態様であれば、コンピュータソフトウェアや、ネットワークサーバシステム等、様々なハードウェア、システム、ソフトウェアに適用可能である。

１制御部
２プログラムメモリ
１０撮像部
１１撮像処理部
１２表示部
１３表示制御部
１２５アニメーションファイル
２０３ハイパーテキスト形式メール編集プログラム記憶部
２０４プレーンテキスト形式メール編集プログラム記憶部

Claims

生成すべき文書の形式を設定する設定手段と、
撮像手段と、
この撮像手段に対し連続的に画像を撮像するよう制御する撮像制御手段と、
前記設定手段によって設定された文書の形式が、文章の論理構造や見栄えを表示文書とともに記述する記述言語を用いた形式である場合、前記連続的に撮像された画像から、アニメーションファイルを生成する第１の生成手段と、
前記設定手段によって設定された文書の形式が、プレーンテキスト形式である場合、前記連続的に撮像された画像から動画ファイルを生成する第２の生成手段と、
前記第１の生成手段、又は、前記第２の生成手段によって生成されたものを生成すべき文書に添付するよう制御する制御手段と、
を備えることを特徴とする文書データ生成装置。
コンピュータを、
生成すべき文書の形式を設定する設定手段、
撮像部に対し連続的に画像を撮像するよう制御する撮像制御手段、
前記設定手段によって設定された文書の形式が、文章の論理構造や見栄えを表示文書とともに記述する記述言語を用いた形式である場合、前記連続的に撮像された画像から、アニメーションファイルを生成する第１の生成手段、
前記設定手段によって設定された文書の形式が、プレーンテキスト形式である場合、前記連続的に撮像された画像から動画ファイルを生成する第２の生成手段、
前記第１の生成手段、又は、前記第２の生成手段によって生成されたものを生成すべき文書に添付するよう制御する制御手段として機能させることを特徴とするプログラム。