明 細 書 画像情報処理装置、 画像情報処理方法、 画像情報処理プログラム、 およ ぴ画像情報処理プログラムを記録した記録媒体 技術分野
本発明は、 画像情報処理装置、 画像情報処理方法、 画像情報処理プロ グラム、 および画像情報処理プログラムを記録した記録媒体に関し、 詳 しく はコ ンピュータを利用したアニメ一ショ ン画像の作成 · 編集に好適 に実施されるものに関する。 背景技術
現在、 コンピュータを利用したアニメーショ ン画像の作成 .編集に関 して、 様々な技術が普及している。 たとえば、 2次元のビ、ソ トマップデ 一夕によつて各コマ每の画像を作成し、 これらの画像を指定した順番で 描画することによってアニメーショ ン画像を表示する方法がある。 また 、 いくつかのキーフレ一ムとなる画像だけを作成しておき、 描画時には キーフレーム間の画像を補間によって求めて描画することによってァニ メーショ ン画像'を表示する方法がある。 さ らにまた、 予め、 たとえば人 や車等のオブジェク トに対して、 各ォブジヱク トの、 走る、 止まる等の 動作データを用意しておき、 一連の動作を順番に記述したデ一タによつ てオブジェク トの動作を組合わせ、 これによ り、 アニメーショ ン画像を 表示する方法もある。
一方、 パーソナルコンピュータなどの情報機器やメール伝送機能を備
えた携帯電話の普及に伴って、 電子メ一ルによるコミ ュニケーショ ンが 広く浸透してきている。 そして、 伝送容量の拡大、 通信料金の低下、 機 器の高機能化、 および操作者の操作の熟達などの要因によって、 文書デ —夕に加えて、 画像デー夕が添付された電子メ一ルの通信も行われるよ うになっている。
この電子メールに添付される画像デ一タの一種として、 アニメ一ショ ンを用いた例が、 日本国公開特許公報 「特開 2 0 0 0 - 5 9 8 5 7号公 報 (公開日 2 0 0 0年 2月 2 5 日) 」 に開示されている。 この従来技術 では、 相手先から送られてきたキャラクタ画像と、 自分が所持するキヤ ラク タ画像とを合成して表示する技術が記載されている。 このような技 術によ り、 あたかもキャラクタ同士が会話しているかのような効果を操 作者に与えることが可能となっている。
ところで、 一般的に、 電子メールの送受信においては、 受信したメー ルに対して返信する際に、 受信したメールの文章を引用して返信メール を編集することが可能である。 たとえば、 受信したメールに複数の話題 が含まれている場合に、 それぞれの話題の段落の後に自分の意見、 コメ ン ト、 相づちなどを揷入した返信メールを容易に作成することが可能と なっている。
しかしながら、 上記の従来技術のように、 電子メールに添付されたァ ニメーショ ン等の画像によるコミュニケーショ ンを想定した場合、 相手 先からの画像を編集して返信することは容易ではない。 たとえば、 通常 の文章データによるメールの返信では、 表示領域の制限を除けば、 文面 全てを一度に見ることが可能であり、 上記したような意見やコメ ン ト等 の揷入箇所を指定することも容易に行う ことが可能である。 これに対し
て、 アニメーショ ンは時間的に連続しているので、 アニメ一シヨ ン全体 を一度に見ることは不可能である。 よって、 何らかの画像などをアニメ ーショ ンの途中に揷入する、 という ような作業を行う ことは、 文書デー タによるメ一ルと比較して格段に困難となっている。
したがって、 上記したようなアニメーショ ン画像の作成 .編集技術を 用いたとしても、 文章データによるメールの返信のような手法で返信用 のアニメーショ ンを作成 ' 編集することは困難となっている。 特に、 携 帯電話のように限られたュ一ザイ ンターフヱ一スしか備えていない機器 では、 さ らに困難である。 また、 前記特開 2 0 0 0— 5 9 8 5 7号の先 行技術でも、 キャラクタの合成 '表示はリアルタイムで行われるので、 一定の時間幅を持つアニメ一ショ ンのデータの編集には不適である。
本発明の目的は、 送信されてきた画像に対して、 簡単な操作で、 任意 の時点 · 箇所に画像を揷入または合成する編集作業を行う ことができる 画像情報処理装置、 画像情報処理方法、 画像情報処理プログラム、 およ び、 画像情報処理プログラムを記録した記録媒体を提供することにある
発明の開示
本発明に係る画像情報処理装置は、 予め作成された第 1 の画像データ を記憶している第 1 の記憶手段と、 ネッ トワークを介して画像データを 受信する受信手段と、 前記受信手段で受信された第 2 の画像データを記 憶する第 2の記憶手段と、 操作者からの入力を受付ける入力手段と、 前 記第 2の記憶手段からの画像データを表示する表示手段と、 前記第 2の 画像データを前記表示手段に表示中に、 前記入力手段に入力があつた時
点で、 前記第 1 の画像データを、 前記入力手段によって指定された画面 上の位置に揷入、 または前記第 2の画像データと合成して前記表示手段 に表示する編集手段とを含むことを特徴とする。
上記の構成によれば、 ネッ トワークを介して受信された第 2の画像デ ータに対して、.入力手段によつて指定された任意のタイ ミ ングおよび任 意の箇所に第 1 の画像デー夕の揷入または合成を行う ことができるので 、 あたかも、 メールの返信のように、 手軽に短時間で画像を編集するこ とができる。 .
また、 本発明に係る画像情報処理装置は、 予め作成された第 1 の時系 列画像データを記憶している第 1 の記憶手段と、 ネッ トワークを介して 時系列画像データを受信する受信手段と、 前記受信手段で受信された第 の時系列画像データを記憶する第 2の記憶手段と、 操作者からの入ガ を受け付ける入力手段と、 前記第 2の時系列画像データに対して、 前記 第 1 の時系列画像データを揷入または合成する処理を行う編集手段とを 備え、 前記編集手段が、 前記入力手段からの入力によって指定された、 前記第 2の時系列画像デー夕における時間位置において、 該第 2 の時系 列画像データに、 前記第 1 の時系列画像データを揷入または合成する処 理を行う ことによって第 3の時系列画像データを生成することを特徴と している。
上記の構成では、 第 1 の記憶手段に、 予め作成された第 1 の時系列画 像デ一タが記憶されているとともに、 第 2 の記憶手段に、 受信手段で受 信された第 2 の時系列画像データが記憶されている。 そして、 操作者は 、 第 2 の時系列画像データにおける時間位置を入力手段によつて指定す ることによって、 該時間位置に第 1 の時系列画像データを揷入または合
成する処理を行う ことが可能となる。 よって、 操作者は、 時系列画像デ —夕を受信した際に、 この受信した時系列画像データを引用した形式の 返信用の時系列画像データを簡単に作成することが可能となる。
また、 本発明の画像情報処理方法は、 予め作成された第 1 の画像デー 夕を記憶し、 ネッ トワークを介して受信された第 2の画像デ一夕を記憶 し、 前記第 2の画像データを表示し、 入力操作に応答して、 前記第 1 の 画像データを、 該入力操作によつて指定された画面上の位置に揷入また は前記第 2の画像データと合成して表示ずることを特徴としている。 上記の方法によれば、 ネッ トヮ一クを介して受信された第 2の画像デ 一夕に対して、 入力手段によって指定された任意のタイ ミ ングおよび任 意の箇所に第 1 の画像デ一タの揷入または合成を行う ことができるので 、 あたかも、 メールの返信のように、 手軽に短時間で画像を編集するこ とができる。
また、 本発明の画像情報処理方法は、 予め作成された第 1 の時系列画 像データを記憶し、 ネッ トワークを介して受信した第 2の時系列画像デ 一夕を記憶し、 入力操作に応答して、 前記第 1 の画像データを、 該入力 操作によつて指定された前記第 2の時系列画像データにおける時間位置 に、 揷入または合成することによって、 第 3 の時系列画像データを生成 することを特徴としている。
上記の方法では、 予め作成された第 1 の時系列画像データを記憶する' とともに、 受信手段で受信された第 2の時系列画像データを記憶してい る。 そして、 操作者は、 第 2の時系列画像データにおける時間位置を入 力操作によつて指定することによって、 該時間位置に第 1 の時系列画像 データを揷入または合成する処理を行うことが可能となる。 よって、 操
作者は、 時系列画像データを受信した際に、 この受信した時系列画像デ ータを引用した形式の返信用の時系列画像データを簡単に作成すること が可能となる。
本発明のさ らに他の目的、 特徴、 および優れた点は、 以下に示す記載 によって十分わかるであろう。 また、 本発明の利益は、 添付図面を参照 した次の説明で明白になるであろう。 図面の簡単な説明
図 1 は、 本発明の実施の形態 1 の画像情報処理装置であるアニメ一シ ヨ ンメール通信装置の機能的構成を示すプロッ ク図である。
図 2は、 本発明の実施の形態 1 によつて編集作業が行われる受信され たアニメーショ ンの例を示す図である。
図 3は、 本発明の実施の形態 1 によって編集作業が行われる予め作成 された追加すべきアニメーショ ンの例を示す図である。
図 4 ( a ) および図 4 ( b ) は、 図 2 に示されるアニメーショ ンのォ ブジヱク トデータが 2次元のビッ トマップデータで作成されている場合 の画像およびデータを説明するための図である。
図 5 ( a ) および図 5 ( b ) は、 図 3 に示されるアニメーショ ンのォ ブジェク トデータが 2次元のビッ トマップデータで作成されている場合 の画像およびデ一夕を説明するための図である。
図 6 ( a ) および図 6 ( b ) は、 図 4 ( a ) , ( b ) に示されるァニ メ一シヨ ンへの図 5 ( a ) , ( b ) に示されるアニメーショ ンの一合成 例のアニメーショ ンの画像およびデータを説明するための図である。
図 7 ( a ) および図 7 ( b ) は、 図 4 ( a ) , ( b ) に示されるァニ
メーシヨ ンへの図 5 ( a ) , ( b ) に示されるアニメ一シヨ ンの他の合 成例のアニメーショ ンの画像およびデータを説明するための図である。
図 8 ( a ) および図 8 ( b ) は、 図 2 に示されるアニメーショ ンの'ォ ブジエク トデータがキーフレームだけ作成されている場合の画像および デ一夕を説明するための図である。
図 9 ( a ) および図 9 ( b ) は、 図 3に示されるアニメ一シヨ ンのォ ブジヱク トデ一タがキーフレームだけ作成されている場合の画像および データを説明するための図である。
図 1 0 ( a ) および図 1 0 ( b ) は、 図 8 ( a ) , ( b ) に示される アニメーショ ンへの図 9 ( a )., ( b ) に示されるアニメーショ ンの合 成例のアニメーショ ンの画像およびデータを説明するための図である。
図 1 1 ( a ) および図 1 1 ( b ) は、 図 4 ( a ) , ( b ) に示される アニメ一シヨ ンへの図 5 ( a ) , ( b ) に示されるアニメーショ ンの揷 入例のアニメーショ ンの画像およびデータを説明するための図である。
図 1 2 は、 本発明の実施の形態 1 におけるアニメーショ ンの編集作業 の手順を説明するためのフロ一チヤ一トである。
図 1 3 は、 本発明の実施の形態 2のアニメーショ ンメール通信装置の 機能的構成を示すブロッ ク図である。
図 1 4 は、 本発明の実施の形態 2 によって編集作業が行われる受信さ れたアニメーショ ンの例を示す図である。
図 1 5 は、 本発明の実施の形態 2 によって編集作業が行われたアニメ ーショ ンの例を示す図である。
図 1 6は、 本発明の実施の形態 2 における送信されるデータの構造例 を示す図である。
図 1 7は、 本発明の実施の形態 2 における送信側のアニメ一シヨ ンメ ール通信装置の機能的構成を示すプロッ ク図である。
図 1 8は、 本発明の実施の形態 2におけるアニメーショ ンの編集作業 の手順を説明するためのフロ一チャートである。
図 1 9は、 テキス トを合成する場合のアニメ一ショ ンの例を示す図で ある。 .
図 2 0は、 本発明の実施の形態 3のアニメーショ ンメール通信装置の 動作を説明するための図である。
図 2 1 は、 図 2 0に示されるアニメ一シヨ ンメ一ル通信装置の機能的 構成を示すブロッ ク図である。
図 2 2は、 本発明の実施の形態 3で用いられる差分データの具体例を 示す図である。
図 2 3は、 本発明の実施の形態 4のアニメーショ ンメール通信装置の 動作を説明するための図である。 発明を実施するための最良の形態
〔実施の形態 1 〕
本発明の実施の一形態について、 図 1 〜図 1 2に基づいて説明すれば 、 以下のとおりである。
図 1 は、 本実施形態に係る画像情報処理装置であるアニメーシヨ ンメ ール通信装置 1 の機能的構成を示すプロッ ク図である。 このアニメ一シ ヨ ンメール通信装置 I は、 アニメーショ ンメール通信プログラムが、 パ 一ソナルコンビュ一タゃ携帯情報端末などの情報処理装置によって実行 されることによって実現される。 このような情報処理装置は、 例えば C
P U (Central Processing Unit) および R A M (Random Access Memory) を備えており、 この R A Mに上記アニメーショ ンメール通信プログラム' が読みだされ、 C P Uによつて処理演算が行われることによって、 該プ ログラムが実行されることになる。
例えばパーソナルコンピュータの場合には、 上記アニメーショ ンメー ル通信プログラムは、 C D— R OM、 フロッ ピ一 (登録商標) ディスク 等の各種記録媒体から読み込まれたり、 該プログラムがイ ンス トールさ れた内蔵ハー ドディスクなどの不揮発性メモリから読み込まれたり、 ィ ンタ一ネッ トゃ L AN (Local Area Network)などの通信ネッ トワークを 介して読み込まれたりすることによつて実行可能な状態とされる。 また 、 例えば携帯情報端末の場合には、 上記アニメーショ ンメールは、 該プ ログラムがイ ンス トールされたフラッシュ E E F R◦ Mなどの不揮発性 メモリから読み込まれたり、 無線あるいは有線による通信ネッ トワーク などの通信手段を介して読み込まれたりすることによつて実行可能な状 態とされる。
上記アニメーショ ンメール通信装置 1 は、 受信部 1 1 、 受信アニメ一 ショ ン記憶部 1 2、 追加アニメ一ショ ン記憶部 1 3、 表示部 1 4、 入力 部 1 5、 編集部 1 6、 返信アニメーショ ン記憶部 1 7、 および送信部 1 8 を備えた構成となっている。
受信部 1 1 および送信部 1 8は、 アニメ一ショ ンメール通信装置 1 に おける通信ィ ンターフェ一スによつて構成される ものである。 この通信 イ ンターフェースとしては、 例えば、 通信 C 0 Mポー ト、 ならびに、 モ デム、 TA CTerminal Adaptor). L ANカー ド、 無線アンテナ装置など が挙げられる。
受信アニメーショ ン記憶部 1 2、 追加アニメーショ ン記憶部 1 3、 お よび返信アニメーショ ン記憶部 1 7は、 アニメ一ショ ンメール通信装置 1 における記憶手段によって構成されるものである。 この記憶手段と し ては、 プログラム実行時においては RAMなどが用いられ、 該データを 保存する場合にはハードディスクやフラッシュ E E F R 0 Mなどの不揮 発性メモリ などが用いられる。
表示部 1 4は、 アニメーショ ンメール通信装置 1 における各種処理内 容を表示するための手段であり、 例えばパーソナルコ ンピュータにおい ては、 C R T (Cathode Ray Tube)や L C D (Liquid Crystal Display)な どによって構成され、 携帯情報端末においては、 L C Dや有機 E L (Ele ctroluminescence) ディスプレイなどによつて構成される。
入力部 1 5は、 アニメーショ ンメール通信装置 1 における各種入力処 理を行うための手段であり、 キ一ボー ド、 マウスなどのポイ ンティ ング デバィス、 各種ボ夕 ンなどによつて構成される。
編集部 1 6は、 上記アニメ一シヨ ンメ一ル通信プログラムが実行され ることによって実現されるブロッ クである。 この編集部 1 6における処 理内容の詳細については後述する。
図 1 に示す各ブロッ ク間での連係処理は、 アニメ一ショ ンメ一ル通信 プログラムおよび◦ S (Operating System)などによつて実行される。 通信ネッ トワークを介して通信相手先から送られてきたアニメーショ ンデータは、 受信部 1 1 で受信され、 受信アニメ一ショ ン記憶部 1 2に 記憶される。 一方、 追加アニメーショ ン記憶部 1 3には、 操作者が作成 したアニメーショ ンデータや、 通信ネッ トワークを介してダウンロー ド するこ とによって得られた予め作成されたアニメ一ショ ンデ一夕などが
記憶されている。
利用者が入力部 1 5 を操作し、 編集作業を始めると、 受信アニメーシ ョ ン記憶部 1 2 に記憶されているアニメーショ ンデ一夕が再生されて、 表示部 1 4 に表示される。 ここで、 操作者が入力部 1 5によって揷入ま たは合成の操作を行う と、 編集部 1 6 において、 追加アニメ一ショ ン記 憶部 1 3 に記憶されているアニメーショ ンが、 受信アニメーショ ン記憶 部 1 2 に記憶されているアニメ一ショ ンに揷入または合成される。 編集 が終わると、 編集部 1 6によつて編集されたアニメ一ショ ンデ一夕が返 信アニメーショ ン記憶部 1 7に記憶される。 そして、 操作者が入力部 1 5 によつて送信指示を入力することによって、 返信アニメ一ショ ン記憶 部 1 7に記憶されているアニメーショ ンデ一タが、 送信部 1 8から前記 通信相手先に返信される。
図 2〜図 1 1 ( b ) を用いて、 上記した編集作業の具体的手順を示す 。 こ こで、 受信されたアニメーショ ンを、 .図 2で示すように、 画面の左 から右へ円が移動するアニメーシヨ ン Α ·とする。 また、 追加すべきァニ メ一シヨ ンを、 図. 3で示すように、 画面の左から右へ三角が移動するァ 二メーシヨ ン Bとする。 なお、 これらの図 2および図 3では、 アニメ一 シヨ ン A, Bの動き、 すなわち時間経過を 1枚の画面で示している。 受信されたアニメ一シヨ ン Aは、 図 4 ( a ) に示すように、 描画.され る順に並んだ複数の 2次元画像から成っている。 そして、 アニメ一ショ ン Aのデー夕は、 図 4 ( b ) に示すように、 時刻 t 1 , t 2 , t 3 の各 タイ ミ ングで、 それぞれォブジェク トデータ A 1 , A 2 , A 3 を表示す ることを示すデータとなっている。
また、 追加すベきアニメ シヨ ン Bは、 図 5 ( a ) で示すように、 ァ
ニメーショ ン Aと同様に、 描画される順に並んだ複数の 2次元画像から なっている。 そして、 アニメーショ ン Bのデータは、 図 5 ( b ) に示す ように、 時刻て 0 , τ 1 のそれぞれのタイ ミ ングで、 オブジェク トデー 夕 Β 0 , Β 1 を表示することを示すデータ となっている。
表示部 1 4 に再生さ'れているアニメ一ショ ン Αを見ながら、 操作者が 前記入力部 1 5から、 たとえば時刻 t 2のタイ ミ ングで合成処理の指示 を入力したとする。 この場合、 まず、 その時点でアニメ一ショ ン Aの動 作が停止.される。 そして、 編集部 1 6 によって、 図 6 ( b ) に示すよう に、 該アニメーショ ン Aの時刻 t 2のタイ ミ ングのオブジェク トデータ A 2 に、 アニメーショ ン Bの時刻 0のタイ ミ ングのォブジェク トデ一 タ B 0 が合成され、 アニメーショ ン Aの時刻 t 3のタイ ミ ングのォブジ ェク トデータ A 3 に、 アニメーショ ン Bの時刻て 1 のタイ ミ ングのォブ ジェク トデータ B 1 が合成される。 このようにして作成された合成画像 は図 6 ( a ) で示すよう になる。 この例では、 表示部 1 4において表示 されるアニメ一ショ ン Bは 1 コマ目であるけれども、 操作者が指定した 代表画面が表示されていてもよい。
また、 時刻 t 2 での合成時に、 操作者が、 アニメ一ショ ン Aに対して アニメ一ショ ン Bを合成する場所を指定することが可能となっていても よい。 この場合、 合成するアニメ一ショ ン Bを仮想線の矩形で囲むよう にし、 操作者はこの矩形を移動させることによって、 アニメーショ ン B を、 アニメーショ ン Aにおける所望の場所に合成することが可能となる たとえば、 アニメーショ ン Bを図面の右側に平行移動した場所に指定 した場合の合成画像を図 7 ( a ) に示す。 この場合、 合成される前記ァ
二メーシ ン Bのデータは、 図 7 ( b ) に示すように、 B 0, , B 1 , となる。
上記した例は、 アニメ一シヨ ンのォブジヱク トデータが 2次元のビッ トマップデ一夕で作成されており、 それを順に描画してゆく ことによつ てアニメーショ ン画像を表示する場合の処理となっている。 これに対し て、 オブジェク トデータがキーフレームだけ作成されており、 サブフレ ームを補間によって求めて、 順に描画してゆく ことでアニメ一ショ ン画 像を表示する場合の処理は、 以下のようになる。
まず、 アニメーショ ン Aが、 図 8 ( a ) に示すように、 円が画面の左 から右へ順に移動するアニメ一シヨ ンであるとする。 この場合、 キーフ レームを図.8 ( a ) における最初の画像および最後の画像とし、 2 フレ ーム目および 3 フレーム目の.画像は、. サブフレームとして補間によって 求めるようにする。 この場合のアニメ一シヨ ン Aのデータは、 図 8 ( b ) に示すように、 最初の画像に対応するオブジェク トデータ A 0 を時刻 t 0で表示すること、 および、 最後の画像に対応するォブジヱク トデ一 タ A 3 を時刻 t 3で表示することを示すデータとなっている。
また、 アニメーショ ン Bは、 図 9 ( a ) に示すように、 図 5 ( a ) に 示すアニメ一ショ ンと同様の 2つのキーフレームから成っているものと する。 この場合、 アニメーショ ン Bのデ一夕は、 図 9 ( b ) で示すよう に、 その各キーフレームに対応するォブジェク トデータ B 0, B 1 を、 それぞれ時刻て 0 , r 1 で表示することを示すデータとなっている。 表示部 1 4 に再生されているアニメーショ ン Aを見ながら、 操作者が 前記入力部 1 5から、 たとえば時刻 t 1 のタイ ミ ングで合成処理の指示 を入力したとする。 この場合、 時刻 t 1 , t 2において、 アニメ一ショ
ン A (こ対してアニメーショ ン Bの合成が行われるこ とになる。
しかしながら、 アニメーシ ョ ン Aのデータは、 図 8 ( b ) に示すよう に、 時刻 t 0 に対応するォブジェク トデー夕 A 0、 および時刻 t 3 に対 応するオブジェク トデータ A 3 を含んだデータである。 すなわち、 ァニ メ一シ ョ ン Aのデー夕には、 時刻 t 1 , t 2 に対応するォブジヱク トデ —夕は含まれていないこと'になる。
そこで、 上記のように時刻 t 1 , t 2で合成を行う場合、 まず、 この 時刻 t し t 2 のタイ ミ ングでのォブジェク トデータ A 1, A 2 を補間 によって算出する。 そして、 図 1 0 ( b ) に示すよう に、 求められた'ォ ブジェ ク トデ一夕 A 1 , A 2 に、 それぞれアニメーショ ン Bのオブジェ ク トデータ B 0, B 1 が合成される。
なお、 上記で図 7 ( a ) および図 7 ( b ) を参照しながら説明したよ う に、 合成するアニメーシ ョ ン Bの場所を移動させるこ とが可能なよう にしてもよい。
以上で示した編集作業は、 アニメ一ショ ンの合成に関する処理であつ たが、 アニメーシ ョ ンの挿入に関する処理は、 次のよう に行われる。
まず、 アニメーシ ョ ン Aを、 前記した図 4 ( a ) , ( b ) に示すよう なアニメーシ ョ ンとし、 アニメーシ ョ ン Bを、 前記した図 5 ( a ) , ( b ) に示すようなアニメーショ ンとする。 そして、 アニメ.一シヨ ン Aの. 時刻 t 2のタイ ミ ングから、 アニメーショ ン Bを揷入するものとする。
この場合、 図 1 I ( b ) に示すよ うに、 時刻 t 1 ではォプジヱク トデ —夕 A 1 、 時刻 t 2ではオブジェク トデータ B 0、 時刻 t 3ではォブジ ェク トデ一夕 B 1 、 時刻 t 4ではオブジェク トデータ A 2、 時刻 t 5 で はォブジェ ク トデータ A 3がそれぞれ表示されるようになる。 したがつ
て、 編集されたアニメーショ ンは、 図 1 1 ( a ) で示すようになる。 このよう にアニメ一ショ ン Aへのアニメ一ショ ン Bの揷入による編集 では、 揷入が終了すると、 再び元のアニメーショ ン Aの残りの画像が再 生されるこ とになるので、 アニメ一シヨ ンの総再生時間は、 2つのァニ メーシヨ ン A, Bの再生時間の和となる。
図 1 2は、 上述のような編集作業の手順を説明するためのフローチヤ ―トである。 まず、 ステップ S 1 において、 操作者が編集作業を開始す る と、 ステップ S 2 において、 表示部 1 4 に受信アニメーショ ン記憶部 1 2 に記憶されているアニメ一ショ ン Aが再生される。
そして、 ステップ S 3において、 アニメーショ ン Aの再生が終了した か否かが判断される。 ここで、 再生が終了していないと判断された場合 (ステップ S 3 において N〇) 、 ステップ S 4 において、 操作者によつ て入力操作が行われたか否かが判断される。 ここで、 入力操作が行われ たと判断された場合 (ステップ S 4 において Y E S ) 、 ステップ S 5 に おいて、 上記したように、 追加アニメーショ ン記憶部 1 3のアニメ一シ ヨ ン Bが編集部 1 6において再生中のアニメーショ ン Aに揷入または合 成され、 ステップ S に戻る。 一方、 入力操作が行われていないと判断 された場合 (ステップ S 4において N 0 ) 、 ステップ S 2に戻る。
—方、 ステップ S 3において、 アニメーショ ン Aの再生が終了したと 判断された場合 (ステップ S 3において Y E S ) 、 ステップ S 6におい て、 編集作業が終了したか否かが判断される。 編集作業が終了したと判 断された場合 (ステップ S 6において Y E S ) 、 ステップ S 7において 、 編集されたアニメーショ ンデータが返信アニメーショ ン記憶部 1 7に 保存される。 一方、 編集作業が終了していないと判断された場合 (ステ
ップ S 6.において N O ) 、 すなわ 、 操作者が、 編集したアニメ一ショ ンを気に入らない場合には、 ステップ S 1 に戻って編集作業がやり直さ れる。
なお、 前記編集作業のやり直しにあたっては、 編集されるデ一夕とし て、 編集前のデ一ダと、 編集後のデータとを選択可能とすることが好ま しい。 .
以上述べたように、 本発明によれば、 アニメ一ショ ン伝送機能を備え るアニメーショ ンメ一ル通信装置 1 において、 送られてきたアニメーシ ョ ン Aに対して、 簡単な操作で、 任意のタイ ミ ング、 任意の箇所にァニ メ一シヨ ン Bを追加できる機能を提供することができる。 これにより、 操作者は、 メールの返信のように、 手軽に短時間で、 返信用のアニメ一 ショ ンメールを作成することが可能となる。 . 〔実施の形態 2〕
本発明の実施の他の形態について、 図 1 3〜図 1 9に基づいて説明す れば、 以下のとおりである。 なお、 前記した実施の形態 1 で説明した構 成と同様'の機能を有する構成には、 同一の符号を付記し、 その説明を省 略する。
実施の形態 1 では、 説明の簡略化のために、 アニメーシヨ ン A, Bを 、 円や三角形のような単純な図形の移動のアニメーショ ンである場合を 示した。 これに対して、 本実施形態では、 アニメーショ ンメール本来の エンターテイメ ン ト性を発揮するように、 各種キャラクタによるアニメ ーショ ンを用いた例について説明する。
この場合、 追加アニメーショ ン記憶部 1 3に、 キャラクタを複数種類 記憶しておき、 入力部 1 5によってそれらのキャラクタを選択すること
によって、 受信したアニメーショ ン Aに対応して、 追加すベきアニメ一 ショ ン Bを選択するようにする。 これによ り、 送信先や操作者の気分等 に合わせたアニメーショ ンを、 揷入または合成することができる。
図 1 3は、 本発明の実施の第 2の形態のアニメーシヨ ンメール通信装 置 2 1 の機能的構成を示すブロッ ク図である。 このアニメーショ ンメ一 ル通信装置 2 1 は、 実施の形態 1 において図 1 を参照しながら説明した 構成とほぼ同様となっているが、 検知部 2 2が設けられている点で異な つている。 そして、 実施の形態 1 におけるアニメ一ショ ンメール通信装 置 1 では、 受信者は、 アニメーショ ンにおける任意の時刻、 任意の箇所 において編集を行う ことが可能となっていたが、 本実施形態におけるァ ニメ一ショ ンメール通信装置 2 1 では、 アニメーショ ンメールの送信者 側で.、 アニメ一シヨ ンにおいて編集を行うべき時刻および箇所を予め指 定することが可能となっている。
送信者は、 図 1 4に示すように、 アニメ一シヨ ン Cを送信する際、 参 照符 C aで示すように、 受信者に編集ざせたいフレームの編集させたい 箇所を矩形で指定する。 このようにして指定されたフレームおよび箇所 に関する編集指定箇所情報が、 アニメーショ ン Cのデータに付加される 受信者側で表示部 1 4 にアニメーショ ン Cを表示させると、 検知部 2 2 が、 編集指定箇所情報を読み取ることによって、 編集が指定されてい る時点で再生を停止する。 そして、 たとえば点線の矩形 C aを表示する ことによって受信者に編集を促す。 受信者は、 図 1 5に示すように、 編 集マーキングであるその矩形 C a内にアニメ一ショ ン Dを揷入または合 成し、 · このよう にして作成されたアニメーショ ン Eを返信する。
上記の送信されるアニメーショ ンのデータは、 たとえば図 1 6 に示す ような構造となる。 すなわち、 アニメーショ ンデータ C 0の後方に、 編 集箇所を指定するデータと して、 編集指定時刻データ C 1 、 挿入か合成 かを指定する区別データ C 2、 およびアニメ を揷入または合成する矩形 の範囲データ C 3 (図 1 6 の例では、 対角線上の 2点の座標) が付加さ れる。 '
送信側のアニメーシヨ ンメ一ル通信装置 3 1 は、 図 1 7 に示すよう に 、 作成部 3 、 アニメーショ ン記憶部.3 3、 編集箇所指定部 3 4、 およ ぴ送信部 3 5 を少なく とも備えた構成となっている。 この送信側のァニ メーシヨ ンメール通信装置 3 1 は、 基本的なハー ドゥエア構成としては 前記したアニメ一ショ ンメ一ル通信装置 1 あるいは 2 1 と同様となって いる。 すなわち アニメーショ ンメール通信装置 3 1 は、 送信側用のァ ニメ一ショ ンメール通信プログラムが、 パーソナルコンピュータや携帯 情報端末などの情報処理装置によつて実行されることによつて実現され る。 このような情報処理装置は、 例えば C F Uおよび R A Mを備えてお り、 この R A Mに上記アニメーショ ンメ一ル通信プログラムが読みださ れ、 C P Uによって処理演算が行われることによって、 該プログラムが 実行されるこ とになる。 なお、 この送信側用のアニメーショ ン通信プロ グラムを上記情報処理装置に口一 ドさせる手段としては、 前記したァニ メーショ ンメ一ル通信装置 1 の場合と同様のものが挙げられる。
送信部 3 5 は、 アニメ一ショ ンメール通信装置 3 I における通信ィ ン 夕一フヱースによって構成されるものである。 この通信ィ ンターフェ一 スと しては、 例えば、 通信 C O Mポート、 ならびに、 モデム、 T A、 L A Nカー ド、 無線アンテナ装置などが挙げられる。
アニメーショ ン記憶部 3 3は、 アニメーショ ンメ一ル通信装置 3 1 に おける記憶手段によって構成されるものである。 この記憶手段としては 、 プログラム実行時においては R A Mなどが用いられ、 該デ一タを保存 する場合にはハードディスクやフラッシュ E E P R 0 Mなどの不揮発性 メモリなどが用いられる。
作成部 3 2、 および編集箇所指定部 3 4 は、 上記アニメーシヨ ンメー ル通信プログラムが実行されることによって実現されるブロッ クである 。 この作成部 3 2および編集箇^指定部 3 4 における処理内容の詳細に ついては後述する。
なお、 図 1 7においては図示していないが、 アニメーショ ンメール通 信装置 3 1 は、 各種処理内容を表示するための表示部、 および、 各種入 力処理を行うための入力部が設けられている。
図 1 7に示す各ブロッ ク間での連係処理は、 アニメーショ ンメール通 信プログラムおよび〇 Sなどによって実行される。
作成部 3 2では、 送信しょう とするアニメーショ ンデータ C Oの作成 が行われる。 この作成部 3 2で作成されたアニメ一ショ ンデ一タ C 0は 、 アニメーショ ン記憶部 3 3に記憶される。 そして、 編集箇所指定部 3 4によって、 アニメーショ ン記憶部 3 3に記憶されたアニメ一ショ ンデ —夕 C 0に対して、 受信者側でアニメ一ショ ンを編集可能とする時刻、 挿入または合成の選択、 編集箇所などの編集指定箇所情報の指定が送信 者によって行われる。 これによ り、 編集指定箇所情報としてのデ一夕 C 1 〜 C 3がアニメーショ ンデータ C 0に付加され、 これが送信部 3 5か ら送信される。
図 1 8は、 上述のような編集作業の手順を説明するためのフローチヤ
—トである。 前述の図 1 2で示す手順と同様の部分は、 同一のステップ 番号を付して示す。 この処理では、 前記ステツプ S 4に代えてステツプ S 1 1 となっている。 .
すなわち、 ステップ S 3において、 アニメーショ ン Cの再生が終了し ていないと判断された場合 (ステップ S 3 において N 0 ) 、 ステップ S 1 1 において、 さ らに編集指定箇所が設定されているか否かがチヱッ ク される。 編集指定箇所が設定されている場合 (ステップ S 1 1 において Y E S ) 、 ステップ S 5 において、 アニメーショ ン Cの再生を停止し、 受信者に編集作業を促し、 アニメーショ ン Dの挿入または合成が行われ る。
このように構成することによって、 通信相手先に画像編集を促すこと ができ、 また揷入タイ ミ ングゃ挿入箇所等の希望する編集内容を伝える こと もできる。
なお、 前記編集指定箇所に挿入または合成されるものとしては、 ァニ メーシヨ ンに限らずテキス トであってもよい。 たとえば、 図 1 9に示す ように、 アニメーショ ン Fの吹出し F aを編集指定箇所として送信し、 受信者に吹出し F aの中にセリ フを入れることを促してもよい。 この場 合、 図 1 6 に示すアニメ一ショ ンデータ C 0の後方に、 揷入または合成 すべきものがアニメーショ ンであるのか、 テキス トであるのかを識別す るデータを設けることになる。
〔実施の形態 3〕
本発明の実施のさ らに他の形態について、 図 2 0〜図 2 2に基づいて 説明すれば、 以下のとおりである。 なお、 前記した各実施の形態で説明 した構成と同様の機能を有する構成には、 同一の符号を付記し、 その説
明を省略する。
図 2 0 は、 本実施形態に係るアニメーショ ンメール通信装置 4 1 の動 作を説明するための図である。 この図 2 0 では、 送信側のアニメ一ショ ンメ一ル通信装置を 4 1 a とし、 返信側のアニメ一ショ ンメ一ル通信装 置を 4 l b としている。 本実施形態のアニメ一ショ ンメール通信装置 4 1 では、 返信側のアニメ一ショ ンメール通信装置 4 1 bが、 編集後のァ ニメ一ショ ンデータ総てを送信側のアニメ一ショ ンメ一ル通信装置 4 1 aに返信するのではなく 、 受信された元のアニメーショ ンデータ と、 編 集後のアニメ一ショ ンデータとの差分のデータのみを返信する構成とな つている。 アニメーショ ンデータは、 テキス トデータに比べて情報量が 大きいので、 上記のような構成とすることによって、 通信網に対する負 担を小さ く する ことが可能となる。
図 2 0 において、 参照符 G 1 で示すよう に送信側からアニメ一ショ ン デ一タが送信されると、 返信側では参照符 G 2 で示すアニメ一ショ ンデ 一夕が前述のように合成または揷入されて参照符 G 3で示すアニメ一シ ヨ ンデ一夕が作成される。 しかしながら、 その編集後のアニメーショ ン データ G 3は、 そのまま返信されるのではなく 、 送信側から送信されて きた元のアニメーショ ンデータ G 1 との差分であるアニメ一ショ ンデ一 夕 G 2 のみが返信される。 一方、 送信側では、 送信したアニメーショ ン デ一タ G 1 は保持されており、 返信されてきたアニメ一ショ ンデータ G 2が合成または揷入されてアニメーショ ンデータ G 3 が作成される。 こ のようにして、 送信側と返信側とで、 相互に等しいアニメーシヨ ンを表 示するこ とができる。
図 2 1 は、 前記アニメーショ ンメール通信装置 4 1 の機能的構成を示
すブロッ ク図である。 送信側のアニメ一ショ ンメ一ル—通信装置 4 1 aの 場合には、 送信アニメーショ ン記憶部 4 2 に記憶されている送信すべき アニメ一ショ ンデーダ G 1 は、 送信部 1 8から送信される。 返信されて きた前記アニメーショ ンデータ G 2は、 受信部 1 1 で受信され、 受信ァ ニメーショ ン記憶部 1 2に記憶される。 編集部 4 3は、 それらのデータ G 1 , G 2 を合成またはデータ G 1 にデータ G 2 を揷入してアニメーシ ョ ンデータ G 3 を作成し、 表示部 1 4 に表示する。
一方、 返信側のアニメ一シヨ ンメール通信装置 4 1 bの場合には、 受 信部 1 1 で受信されたアニメ一ショ ンデ一夕 G 1 は、 まず、 受信アニメ ーショ ン記憶部 i 1 に記憶される。 このアニメーショ ンデータ G 1 に対 して、 操作者による入力部 1 5への入力操作に応答して、 編集部 4 3が 、 送信アニメ一ショ ン記憶部 4 2に記憶されているアニメーショ ンデー タ G 2の合成処理または揷入処理を行う。 このようにして作成されたァ ニメーショ ンデータ G 3は、 表示部 1 4 に表示される。 その後、 送信部 1 8 によって、 入力部 1 5によつて操作者が選択したアニメ一ショ ンデ 一夕 G 2 を返信する。 このようにして、 差分データである前記アニメ一 ショ ンデ一タ G 2のみが返信される一方、 それぞれの表示部 1 4 には相 互に等しいアニメーショ ンを表示することができる。
図 2 2は、 前記差分デ一タであるアニメ一ショ ンデ一夕 G 2の具体例 を示す図である。 このアニメーショ ンデータ G 2は、 追加されたアニメ ーシヨ ンデータ G 2 1, G .2 2 , …のそれぞれに対して、 追加した時刻 デ一タ G 2 1 1 , G 2 2 し …、 場所デ一夕 G 2 1 2 , G 2 2 2, 一、 追加が揷入か合成のどちらかを表す識別データ G 2 1 3 , G 2 2 3およ び追加されたアニメ一ショ ンデータ G 2 1 0, G 2 2 0 , …の 4種のデ
—夕によって構成されされている。 'そして、 送信側のアニメーションメ —ル通信装置 4 1 aの編集部 4 3は、 このアニメーショ ンデータ G 2 で 指定された時刻と場所に、 送られてきた該アニメーショ ンデータ G 2の 揷入または合成を行う。
このように構成することによって、 送信側へ返信されるアニメーショ ンデータ G 2は、 編集画像から、 送られてきたアニメーショ ンデ一夕 G 1 を差引いたものとなっている。 そして、 送信側および返信側で、 互い にそれらのアニメーショ ンデータ G l , G 2を合成または挿入して共通 のアニメーショ ンを表示することが可能となる。 これによ 'り、 テキス ト データ等に比べて比較的データ量の大きく なるアニメ一ショ ンデ一夕の 送信サイズを低減することが可能となるので、 通信網に対する負担を小 さ くすることができる。
〔実施の形態 4 〕
本発明の実施のさ らに他の形態について、 図 2 3に基づいて説明すれ ば、 以下のとおりである。 なお、 前記した各実施の形態で説明した構成 と同様の機能を有する構成には、 同一の符号を付記し、 その説明を省略 する。 '
図 2 3は、 本実施形態に係るアニメーシヨ ンメ一ル通信装置 5 1 の動 作を説明するための図である。 この図 2 3では、 送信側のアニメーショ ンメ一ル通信装置を 5 1 a、 返信側のアニメ一ショ ンメール通信装置を 5 l b としている。 また、 これらのアニメーショ ンメ一ル通信装置 5 1 を含んだシステムにおいて、 通信回線 5 2 にはサーバ装置 5 3が設けら れている。 そして、 送信側のアニメーショ ンメール通信装置 5 1 で行 われるべき合成または揷入などの編集処理が、 このサーバ装置 5 3で行
われるよう になつている。 ' すなわち、 送信側からのアニメーショ ンデ一タ G 1 は、 サーバ装置 5 3 を介して返信側へ送信されるとと もに、 該サーバ装置 5 3 にも記憶さ れる。 そして、 該サーバ装置 5 3 は、 返信されてきたアニメーショ ンデ ータ G 2 を、 記憶しておいたアニメーショ ンデータ G 1 に合成または揷 入してアニメ一ショ ンデータ G 3 を作成し、 送信側へ返信する。
このよう に構成することによって、 通信回線 5 2 の上り回線、 すなわ ち、 返信側のアニメ一シヨ ンメール通信装置 5 1 bからサーバ装置 5 3 に向けて送信される際の回線におけるデ一タ量を削減するこ とができる なお、 送信側およぴ返信側で、 共に予め作成されているアニメ一ショ ンを送受信する場合には、 たどえばメ一ルの定形文を用いる場合のよう に、 容易にアニメ一ショ ンメールを交換することが可能である。 また送 信側および返信側のアニメーショ ンメ一ル通信装置 5 1 において、 予め 作成されているアニメーショ ンの同じライブラ リをそれぞれ記憶してい る場合には、 それらのアニメーショ ンのコ一 ドデ一夕のみを送受信する こ とによって、 実質的にアニメーショ ンメールの交換を行う ことができ る。 この場合、 コー ドデータは、 アニメーショ ンのデータを特定する内 容のみから構成されるので、 アニメーショ ンデータと比較してはるかに データサイズが小さ く なる。 よって、 通信されるデータ量を大幅に削減 する ことができる。
以上のよう に、 本発明の画像情報処理装置は、 予め作成された第 1 の 画像データを記憶している第 1 の記憶手段と、 ネッ トワークを介して画 像データを受信する受信手段と、 前記受信手段で受信された第 2の画像
データを記憶する第 2の記憶手段と、 操作者からの入力を受付ける入力 手段と、 前記第 2の記憶手段からの画像データを表示する表示手段と、 前記第 2の画像データを前記表示手段に表示中に、 前記入力手段に入力 があった時点で、 前記第 1 の画像データを、 前記入力手段によって指定 された画面上の位置に挿入、 または前記第 2の画像データと合成して前 記表示手段に表示する編集手段とを含む構成となっている。
また、 本発明の i像情報処理装置は、 上記の構成において、 前記第 1 の記憶手段が前記第 1 の画像データを複数種類記憶しており、 前記入力 手段からは前記第 1 の画像データの種類を任意に選択可能である構成で あってもよい。
上記の構成によれば、 受信した第 2の画像データに対応して、 第 1 の 画像データを選択することができる。 したがって、 送信先や操作者の気 分等に合わせた画像を、 揷入または合成することができる。
また、 本発明の画像情報処理装置は、 上記の構成において、 前記編集 手段で編集された第 3の画像データを記憶する第 3の記憶手段と、 前記 第 3 の画像データを通信相手先へ送信する送信手段とをさらに備え、 ネ ッ トワークを介して接続される前記通信相手先と編集画像の通信を行う 構成としてもよい。
上記の構成によれば、 編集画像を、 前記メールの返信のように通信相 手先へ返信することができる。
また、 本発明の画像情報処理装置は、 上記の構成において、 前記第 2 の画像デ一夕には、 前記通信相手先に前記第 1 の画像データによる揷入 を促す編集マ一キングを添付可能である構成としてもよい。
上記の構成によれば、 挿入箇所を表す枠等の編集マーキングを添付す
ることで、 通信相手先に画像編集を促すことができ、 また挿入タイ ミ ン グゃ揷入箇所等の希望する編集内容を伝えることもできる。
また、 本発明の画像情報処理装置は、 上記の構成において、 前記編集 手段が、 編集された画像データと前記第 2 の画像データとの差分を、 前 記第 3の画像デ一タとして出力するとともに、 受信された差分デ一タと 送信した画像データとを合成して前記表示手段に表示する構成としても よい。
上記の構成によれば、 通信相手先へ返信する第 3の画像データは、 編 集画像から、 送られてきた第 2 の画像データを差引いたものであり、 互 いにその受信された差分データと送信した画像データとを合成して表示 画像を作成する。 したがって、 比較的データ量の多い画像データを送信 するにあたって、 通信網に対する負担を小さ くすることができる。
また、 発明の画像情報処理方法は、 予め作成された第 1 の画像デー 夕を記憶し、 ネッ トワークを介して受信された第 2 の画像デー夕を記憶 し、 前記第 2 の画像データを表示し、 入力操作に応答して、 前記第 1 の 画像データを、 該入力操作によって指定された画面上の位置に揷入、 ま たは前記第 2 の画像データと合成して表示する方法である。
また、 本発明の画像情報処理方法は、 上記の方法において、 前記揷入 または合成によって作成された第 3の画像デ一タを通信相手先へ送信し 、 ネッ トワークを介して接続される前記通信相手先と編集画像の通信を 行う方法としてもよい。
上記の方法によれば、 編集画像を、 前記メールの返信のように通信相 手先へ返信する こ とができる。
また、 本発明の画像情報処理方法は、 上記の方法において、 前記送信
にあたって、 前記第 2の画像データには、 前記通信相手先に前記第 1 の 画像デ一タによる揷入を促す編集マーキングを添付する方法としてもよ い。
上記の方法によれば、 挿入箇所を表す枠等の編集マ一キングを添付す ることで、 通信相手先に画像編集を促すことができ、 また挿入タイ ミ ン グゃ揷入箇所等の希望する編集内容を伝えることもできる。
また、 本発明の画像情報処理方法は、 上記の方法において、 前記送信 にあたって、 編集された画像データと前記第 2の画像デ一ダとの差分を 求め、 前記受信にあたって、 受信された差分データと送信した画像デー 夕とを合成する方法としてもよい。
上記の方法によれば、 通信相手先へ返信する第 3の画像データは、 編 集画像から、 送られてきた第 2の画像データを差引いたものであり、 互 いにその受信された差分データと送信した画像データとを合成して表示 画像を作成する。 したがって、 比較的データ量の多い画像データを送信 するにあたって、 通信網に対する負担を小さ くすることができる。
尚、 発明を実施するための最良の形態の項においてなした具体的な実 施態様または実施例は、 あく までも、 本発明の技術内容を明らかにする ものであって、 そのような具体例にのみ限定して狭義に解釈されるべき ものではなく、 本発明の精神と次に記載する特許請求の範囲内で、 いろ いろと変更して実施することができるものである。 産業上の利用の可能性
本発明に係る画像情報処理装置では、 第 1 の記憶手段に、 予め作成さ れた第 1 の時系列画像データが記憶されているとともに、 第 2の記憶手
段に、 受信手段で受信された第 2の時系列画像データが記憶されている 。 そして、 操作者は、 第 2 の時系列画像データにおける時間位置を入力 手段によって指定することによって、 該時間位置に第 1 の時系列画像デ —夕を揷入または合成する処理を行う ことが可能となる。 よって、 操作 者は、 時系列画像データを受信した際に、 この受信した時系列画像デー 夕を引用した形式の返信用の時系列画像データを簡単に作成することが 可能となる。