JP3609074B2 - 携帯電話における画像加工処理方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、携帯電話における画像加工処理方法に関するものである。
【０００２】
【従来の技術】
近時、携帯移動通信端末、例えば携帯電話の利用者同士がその表示部上に表示される画像（静止画像及び映像）を通じて互いに通信している例が多い。利用者同士の会話をより一層楽しむために、複数枚の画像を合成加工することが行われている。従来の画像処理方法として、例えば特開２００１−１４８８３９号公報に記載の通信ネットワークシステムに開示されているように、利用者が画像データ合成装置によって複数の画像を合成加工したり、又は予め決まっている画像と利用者が作成した任意の画像とを加工するいわゆるフレーム合成をして、合成画像データを直接又は中継用画像配信装置を使用して間接的に上記画像データ合成装置から携帯電話へ送信して、受信した合成画像データを表示部に表示するものであった。
【０００３】
【発明が解決しようとする課題】
画像データ合成装置による画像加工は高度な処理が可能であるが、加工には常に画像データ合成装置の存在を前提としており、簡易な画像処理がしにくい難点があった。このために、従来より、携帯電話の利用者は画像データ合成装置を利用することなく、直接携帯移動通信端末上のみで、簡単に複数枚の画像合成加工を行いたいという願望があった。
そこで、本発明者は、利用者本人が撮影等により得た複数の画像データを用い、利用者の操作により、簡易に効率的に画像の合成などの処理ができないかという点と、その画像処理操作を携帯移動通信端末のみでできないかという点を課題として研究を進めた。
以上から本発明の目的は、携帯移動通信端末である携帯電話の操作のみで簡易に効率的に画像を合成などの処理を可能にすることにある。
【０００４】
【課題を解決するための手段】
本発明の画像加工処理方法は、簡易かつ作業を効率良く、そして、利用者は携帯電話の操作のみでの画像の合成などの処理を可能にするものであり、まず、加工合成用画像をインターネット上の画像合成サーバーへアップロードし、そして、携帯電話においては、画像の合成情報となる例えば切り抜き範囲の情報、移動位置の情報、拡大縮小の情報を、携帯電話にあるカーソル及びボタンなどによる操作によって作成し、上記画像合成サーバーへアップロードし、その後、複数枚の加工合成用画像と、画像の合成情報を元にして、画像を合成するものである。本発明の画像転送方法は、携帯電話と、本システムサイト及びこの本システムサイト以外の他のサイトとが通信網によって通信可能であり、上記他のサイトから携帯電話の持つＩＤと転送したい画像のＵＲＬとを上記本システムサイトの画像合成サーバーへ転送し、転送されたデータを受け取った上記画像合成サーバーはユーザー登録されているユーザーのフォルダの場所を確認し、確認後に転送したい画像のＵＲＬデータから導かれる画像を取得し、各ユーザーフォルダ内へ保存するものである。
【０００５】
【発明の実施の形態】
本発明の実施の形態として、ユーザー（この例では利用者）はユーザーインターフェイスである携帯電話のみの利用で、複数枚の加工合成用画像である静止画像及び映像のうち、静止画像を用いて画像の合成加工を行う例について図面を参照して説明する。
本システムを実行するには、図１に示す携帯電話１とインターネット（通信網）２を介して通信可能である本システムサイト３とからなる通信ネットワークが用いられる。この通信ネットワークには本システムサイト３以外の他のサイト（図ではサイト３０，３１）が組み込まれている。
本システムサイト３は、図２に示す画像合成サーバー４を有している。図示する画像合成サーバー４は、四台のＷＥＢ（ウェブ）サーバー４ａ、６台の画像加工サーバー４ｂ、一台のラス（Ｒｅｍｏｔｅ Ａｃｃｅｓｓ Ｓｅｒｖｅｒ）４ｃ、二台のメールサーバー４ｄ、一台のロードバランサー（負荷分散装置）４ｅ、一台のＷＥＢストレージ（外部記憶装置）４ｆ及び一台のＤＢ（データベース）サーバー４ｇから構成されている。
なお、画像合成サーバー４を構成している装置４ａ〜４ｇの台数は図示の例に限られない。
【０００６】
本システムでは、図３に示すように、複数枚の加工合成用画像（加工合成用画像データ）の対象となる第１次の加工用画像データである加工用画像Ｘ１，Ｘ２（加工ファイル）と、第２次の加工用画像データである例えば背景用画像Ｙ１，Ｙ２（背景ファイル）とを合成処理して、合成画像データとなる合成画像Ｚ１，Ｚ２，Ｚ３，Ｚ４（加工済みファイル）を作成するものである。
以下、加工用画像Ｘ１と背景用画像Ｙ１とを用いて合成画像Ｚ１に加工するまでの手順を図４〜図６に基づいて説明する。
【０００７】
前処理工程として、ユーザーは携帯電話１のみで画像合成加工を行うために用いる複数枚の加工合成用画像（加工用画像Ｘ１，Ｘ２及び背景用画像Ｙ１，Ｙ２）を用意する。
ユーザーは、ＷＥＢサーバー４ａからコピーしダウンロードした画像、知人等からのメールサーバー４ｄから送られてきた画像など適宜の手段で入手した画像を加工合成用画像として用意する。ユーザーの携帯電話１がカメラ機能搭載のものである場合には、カメラで撮影した画像を加工合成用画像とする。
ユーザーは、用意（入手）した複数の加工合成用画像を携帯電話１内に保存する。
【０００８】
携帯電話１内に保存された加工合成用画像は、図４に示す各ステップにしたがって合成加工の処理がされる。そして処理過程では、図５に示す携帯電話の表示部１ａ上の画面の案内表示を参照しながら操作をする。すなわち、
携帯電話１内に保存されている加工合成用画像の中から適宜の加工用画像（加工ファイル）を選択して画像加工サーバー４ｂ（画像合成サーバー４）へ加工用画像送信用アドレスを介して送信する（ステップ４０１）。
携帯電話１内に保存されている加工合成用画像の中から上記加工用画像の背景にしたい背景用画像（背景ファイル）を選択し、選択した背景用画像を画像加工サーバー４ｂ（画像合成サーバー４）へ背景用画像送信用アドレスを介して送信する（ステップ４０２）。
これらの加工合成用画像の上記送信手段の他の例として、ＷＥＢサーバー４ａからのアップロードや無線通信でのアップロード等によって、画像加工サーバー４ｂのユーザー単位のデータ領域へ転送する方法でも良い。
画像加工サーバー４ｂへ送信された加工用画像及び背景用画像は格納領域に保存される（ステップ４０３）。
ユーザー単位のデータ領域へ転送された画像は、各ユーザー単位のデータ領域へ保存される。
【０００９】
画像加工サーバー４ｂの格納領域に保存されたデータとしての加工用画像と背景用画像とを合成加工するため、画像加工アプリ（携帯電話１内における画像加工処理用プログラム）を起動させる。
この起動に伴って、図５（ア）に示す携帯電話の表示部１ａの画面には起動メッセージ５が表示され、図では画像加工アプリのプログラム名前が表示されている。
表示後に、図５（イ）に示す表示部１ａの画面にデータとしての加工用画像（加工ファイル）のリストメニュー６が表示される。リストメニュー６には、加工用画像の送信手段によって転送され保存された複数の加工用画像の名前（図５では上段から下段に向けて「１イメージ０、２イメージ１、３イメージ２、４イメージ３」が表示されている。
そして、ユーザーは、表示されたリストメニュー６から、加工用画像（加工ファイル）を選択する（ステップ４０４）。
図５（ウ）に示すように、選択された加工用画像Ｘ１が表示部１ａの画面に表示され（ステップ４０５）、図では幼児の画像が表示されている。
その後、ユーザーは、携帯電話１のカーソル操作とボタン操作を使用して、表示されている加工用画像Ｘ１の切り抜き加工をする（ステップ４０６）。図５（エ）に示す切り抜き加工方法は、加工用画像Ｘ１上に、カーソル操作とボタン操作を適宜使用して複数の点７を指定し、これらの指定点で囲んだ範囲内の画像を切り抜き画像Ｘ１１として特定するものである。
切り抜き加工の他の方法として、切り抜き線による範囲指定などがある。
【００１０】
切り抜き画像Ｘ１１の指定が終了すると、図５（オ）に示すように表示部１ａの画面にデータとしての背景用画像（背景ファイル）のジャンルリストメニュー８が表示され、図示の例では、上段から下段に向けてジャンルに対応する名前として「１マイＢＧリスト、２風景、３物体」が表示される。
ユーザーは、表示されたジャンルリストメニュー８から背景となる画像のジャンルを選択する。例えば「１マイＢＧリスト」を選択すると、図５（カ）に示すように表示部１ａの画面に選択したジャンルのリストメニュー９である「マイＢＧリストメニュー」が表示される。図示するリストメニュー９は上段から下段に向けて「２．イメージ０、３．イメージ１、４．イメージ２、５．イメージ３」である。
ユーザーは、リストメニュー９から希望する背景用画像（背景ファイル）を選択すると（ステップ４０７）、図５（キ）に示すように、選択された背景用画像Ｙ１が表示部１ａの画面に表示され、図示の例では皿付きカップのある背景用画像が表示される（ステップ４０８）。同時に、画面に表示されている背景用画像Ｙ１には、前記切り抜き画像Ｘ１１に対応する位置及び範囲に対応しかつ、複数の点７ａで指定された貼り付け範囲を示す貼り付け箇所Ｙ１１が表示される。図５（キ）に示す画面では、複数の点７ａに囲まれた貼り付け箇所（貼り付け範囲）Ｙ１１が背景用画像Ｙ１であるカップの主要部を占める部分及びその上方に表示されている。
【００１１】
表示された背景用画像Ｙ１における点指定による貼り付け箇所Ｙ１１へ、加工用画像Ｘ１の切り抜き画像Ｘ１１を貼り付けて良い場合は、貼り付け箇所が特定された背景用画像（背景ファイル）Ｙ１を携帯電話１によるボタン操作にて画像加工サーバー４ｂ（図２）へ送信する（ステップ４１０）。
【００１２】
送信された背景用画像Ｙ１は、これを受信した画像加工サーバー４ｂによって画像合成加工の処理が行われる。画像合成加工を終了した後、画像加工サーバー４ｂからユーザーの携帯電話１へ合成加工完了を知らせるメールが配信され（ステップ４１１）、図５（コ）では表示部１ａの画面上に「画像合成が完了しました。」旨のメールメッセージ１０が表示される。
ユーザーは、画面上に表示されているメールメッセージ１０の本文内に記載されたアドレスへウェブアクセス（ＷＥＢ ＡＣＣＥＳＳ）することによって（ステップ４１２）、図５（サ）に示すように表示部１ａの合成加工された合成画像Ｚ１が表示される（ステップ４１３）。ユーザーは画面を通じて合成加工された合成画像Ｚ１を見ることができる。
【００１３】
（貼り付け箇所Ｙ１１の移動）
図５（キ）及び図６（キ）に示す貼り付け箇所Ｙ１１の位置が適当ではないために、この貼り付け箇所を背景用画像Ｙ１上の希望する位置に移動したい場合には、携帯電話１のカーソル操作とボタン操作により、任意の位置まで移動させる（ステップ４０８）。図６（ク）では貼り付け箇所Ｙ１１を表示部１ａの画面左下の位置まで移動させている。移動後、表示された背景用画像の貼り付け箇所Ｙ１１に切り抜き画像Ｘ１１を貼り付けて良い場合には、貼り付け箇所が特定された背景用画像Ｙ１をボタン操作にて画像加工サーバー４ｂ（図２）へ送信する（ステップ４１０）。
（貼り付け箇所Ｙ１１の拡大縮小）
貼り付け箇所（貼り付け範囲）Ｙ１１を拡大縮小したい場合、図５（キ）及び図６（キ）に示すように、貼り付け箇所Ｙ１１が表示されている背景用画像Ｙ１上で、カーソル操作とボタン操作により、図６（ケ）に示すように、点７ａからなる指定点群である貼り付け箇所（貼り付け範囲）を拡大縮小させて（ステップ４０９）、拡大又は縮小された貼り付け箇所Ｙ１１が表示される。その後、表示された背景用画像Ｙ１へ、拡大又は縮小された貼り付け箇所Ｙ１１に切り抜き画像Ｘ１１を貼り付けて良い場合は、ボタン操作にて貼り付け箇所が特定された背景用画像を画像加工サーバー４ｂ（図２）へ送信する（ステップ４１０）。
【００１４】
図７を参照してＷＥＢサーバー４ａの内部処理について説明をする。
前述したように、ユーザーからアップロードされた複数枚の加工合成用画像Ｘ１，Ｘ２，Ｙ１，Ｙ２はＷＥＢサーバー４ａによって格納される。
ＷＥＢサーバー４ａにおいて、アプリ参照ＴＯＰＵＲＬ１１は、画像加工アプリから参照される最初のＵＲＬフォルダである。ＵＲＬフォルダ１１には、ユーザーデータ保管場所ＵＲＬリストと、背景用画像保管場所ＵＲＬリストが格納されている。
このユーザーデータ保管場所ＵＲＬリストと背景用画像保管場所ＵＲＬリストには、下記のものが含まれている。
（１）アプリより参照される、ユーザー単位のデータ領域のリンク先の記載されたデータ内容と、全ユーザー向けの背景ジャンル、背景データの記載されたデータ内容。例えば、
・ユーザーデータ保管場所ＵＲＬ１，ユーザーデータ保管場所ＵＲＬ２，
・アニメ，１，芸能人，２
・背景用画像保管場所ＵＲＬ１，１，背景用画像保管場所ＵＲＬ２，１，背景用画像保管場所ＵＲＬ３，２
が記載されているファイルとなっている。
（２）アプリより参照される、ユーザー単位の加工データのリンク先の記載されたデータ内容と、ユーザー単位の背景データのリンク先の記載されたデータ内容。例えば、
・加工ファイル１，加工ファイル１．ＪＰＧ，加工ファイル２，加工ファイル２．ＪＰＧ
・背景ファイル１，背景ファイル１．ＪＰＧ，背景ファイル２，背景ファイル２．ＪＰＧ，背景ファイル３，背景ファイル３．ＪＰＧ
アプリ参照ＴＯＰＵＲＬ１１には、ツリー構造で、「ＵＳＥＲＳ」と表示されているユーザーフォルダ１２、それぞれ「ユーザー００１」、「ユーザー００２」、「ユーザー００３」と表示されているフォルダ１３，１４，１５がぶら下がっている。
各ユーザーのフォルダ１３，１４，１５に格納されるデータは、アプリより参照される、ユーザー単位の加工データのリンク先の記載されたデータ内容の記載されたファイル（上記加工ファイル１など）と、アップロードされた、加工用画像Ｘ１などの複数の加工用画像（加工ファイル群）、背景用画像Ｙ１など複数の背景用画像（背景ファイル群）、合成画像Ｚ１などの複数の合成画像（加工済みファイル群）の画像データが格納されている。
これらの構造を、データベースサーバー４ｇ等の代用にて使用しても良い。
【００１５】
上例では、加工用画像Ｘ１と背景用画像Ｙ１とを合成処理して、合成画像Ｚ１を作成するまでの手順を説明したが、この例に限られない。
例えば図３に示す例では、下記の３種の合成画像も作成することができる。
（１）加工用画像Ｘ２＋背景用画像Ｙ２→合成画像Ｚ２
（２）加工用画像Ｘ１＋背景用画像Ｙ２→合成画像Ｚ３
（３）加工用画像Ｘ２＋背景用画像Ｙ１→合成画像Ｚ４
【００１６】
加工合成用画像の入手方法として、画像加工サーバー４ｂ群の、各ユーザーのフォルダへの画像アップロード以外に、携帯電話１から図１に示す本システムサイト３を除く他のサイト３０，３１からの画像の転送システムを利用しても良い。ユーザーは、サイト３０又はサイト３１にウェブアクセスして、ホームページを開いて、図８に示すように携帯電話の表示部１ａの画面上にこのホームページにおける画像１６ａを出す。そしてユーザーは、画面上の加工データボタン１６ｂを押すことによって、表示された画像１６ａは加工用画像として、各ユーザーのフォルダへ保存される。同じく、画面上に表示された背景データボタン１６ｃを押すことによって、画像１６ａは背景用画像として、各ユーザーのフォルダへ保存される。
加工データボタン１６ｂを押した時点の処理として、携帯電話１の持つＩＤと転送したい画像のＵＲＬを、例えばサイト３０から本システムサイト３における画像合成サーバー４のＷＥＢサーバー４ａへ送信する。送信されたデータを受け取ったＷＥＢサーバー４ａは、ユーザー登録されているユーザーの場合、各ユーザーフォルダの場所を確認し、確認後、転送したい画像のＵＲＬデータから導かれる画像を取得し、各ユーザーフォルダ内へ保存する。同じく、背景データボタン１６ｃを押した時点の処理についても上記と同様である。
これらの操作により、メールアップロード、ＷＥＢアップロード、他のサイト３０，３１から転送された画像に基づいて携帯電話１だけで画像の合成加工をすることが可能となる。
このように、加工合成用画像データを無数に広がるインターネット上のウェブサーバーへ他のサイトのウェブサーバーから、ユーザー単位のデータ領域へ転送し保管する行為を行うボタンを付加することにより、ユーザーはウェブ上にて参照され、気に入った画像を即座に、ユーザー単位のデータ領域へ転送することができる。この種の画像の転送システムにおける転送の対象となる画像は合成加工するための画像に限定されないことは当然である。
【００１７】
携帯移動通信端末は上記携帯電話に限られない。合成加工の対象は、前記した切り抜き合成加工、切り抜き移動合成加工及び切り抜き拡大縮小加工に限定されない。
【００１８】
【発明の効果】
本発明の画像加工処理方法は以上のような構成であるため、複数枚の画像をユーザーのユーザーインターフェイスとなる携帯電話の操作のみで加工するため、画像データ合成装置等の情報端末で合成加工した後に携帯電話へ送信し、表示という手間が省ける。そして、アプリからは画像を保管している画像合成サーバーすべてが、画像加工用ファイルの対象となるため、無限の広がりを持たせることができる。
【図面の簡単な説明】
【図１】本発明に係る携帯電話における画像加工処理方法の一実施の形態を示す全体の構成図である。
【図２】本発明に係る携帯電話における画像加工処理方法に用いる合成画像サーバーを示す構成図である。
【図３】本発明に係る携帯電話における画像加工処理方法における加工用画像と背景用画像と合成画像との相互の組み合わせを示す図である。
【図４】本発明に係る携帯電話における画像加工処理方法における加工合成の手順を示すフローチャートである。
【図５】本発明に係る携帯電話における画像加工処理方法における画像アプリケーションの加工合成の各工程を段階的に示す表示部の図である。
【図６】本発明に係る携帯電話における画像加工処理方法における画像アプリケーションの加工合成における貼り付け箇所の移動及び拡大縮小の各工程を段階的に示す表示部の図である。
【図７】本発明に係る携帯電話における画像加工処理方法に用いるＷＥＢサーバーにおけるアプリから参照されるアプリ用フォルダとファイルを示す図である。
【図８】加工用画像データ及び背景用画像データを他のサイトのＷＥＢサーバーから、ユーザー単位のデータ領域へ転送し保管している状態における表示部を示す拡大正面図である。
【符号の説明】
１ 携帯電話
２ インターネット（通信網）
３ 本システムサイト
４ 画像合成サーバー
４ａ ＷＥＢサーバー
４ｂ 画像加工サーバー
７，７ａ 指定する点
１６ａ 画像
１６ｂ 加工データボタン
１６ｃ 背景データボタン
３０，３１ 他のサイト
Ｘ１，Ｘ２ 加工用画像（加工合成用画像、加工合成用画像データ）
Ｘ１１ 切り抜き画像（切り抜き範囲内の画像）
Ｙ１，Ｙ２ 背景用画像（加工合成用画像、加工合成用画像データ）
Ｙ１１ 貼り付け箇所
Ｚ１，Ｚ２ 合成画像
Ｚ３，Ｚ４ 合成画像

Claims (4)

1. 携帯電話とインターネットを介して通信可能であるシステムサイトの画像合成サーバーとからなるネットワークを利用して画像加工処理をする方法であって、
   上記携帯電話に保存されている複数の加工合成用画像の中から加工用画像を選択し、選択された加工用画像を画像合成サーバー上へ送信する加工用画像選択送信工程と、
   上記携帯電話に保存されている複数の加工合成用画像の中から背景用画像を選択し、選択された背景用画像を上記画像合成サーバー上へ送信する背景用画像選択送信工程と、
   上記画像合成サーバーに保存されている上記加工用画像と上記背景用画像とを合成加工するために、上記携帯電話の画像合成処理用プログラムを起動させる起動工程と、
   上記携帯電話の表示部の画面上に表示されたリストメニューから、選択したリストメニューに対応する、上記画像合成サーバー上に保存されている加工用画像を上記画面に表示する加工用画像選択表示工程と、
   上記携帯電話のカーソル及びボタンのみを操作して、上記画面に表示された加工用画像上に複数の点を指定しかつこれらの指定点で囲んだ範囲を切り抜き範囲として特定する切り抜き加工工程と、
   上記携帯電話の表示部の画面上に表示されたリストメニューから、選択したリストメニューに対応する、上記画像合成サーバー上に保存されている背景用画像を上記画面に表示する背景用画像選択表示工程と、
   上記背景用画像の表示と同時に、上記切り抜き範囲を貼り付け先となる背景用画像上に表示する工程と、
   表示された上記切り抜き範囲の貼り付け位置を選択し、選択された切り抜き範囲内の画像とこの画像が貼り付けられる背景用画像とを上記画像合成サーバーに送信する送信工程と、
   上記画像合成サーバーによって上記切り抜き範囲内の画像と上記背景用画像を合成する画像合成加工を行う処理工程と、
   上記画像合成サーバーからの合成加工完了通知に基づいて上記携帯電話の表示部に加工済み合成画像を表示する合成画像表示工程と
   を具備することを特徴とする携帯電話における画像加工処理方法。
2. 背景用画像の表示と同時に、切り抜き範囲を貼り付け先となる背景用画像上に表示する工程において、貼り付け位置を選択してから、携帯電話のカーソル及びボタンのみを操作して、切り抜き範囲内の画像を背景用画像上の希望する位置まで移動させることを特徴とする請求項１記載の携帯電話における画像加工処理方法。
3. 合成加工の対象となる各加工合成用画像のうち、少なくともその一部は、ユーザーが携帯電話による撮影によって入手したものであることを特徴とする請求項１又は請求項２記載の携帯電話における画像加工処理方法。
4. 本システムサイト以外の他のサイトから携帯電話の持つＩＤと転送したい画像のＵＲＬとを上記本システムサイトの画像合成サーバーへ転送し、転送されたデータを受け取った上記画像合成サーバーはユーザー登録されているユーザーのフォルダの場所を確認し、確認後に転送したい画像のＵＲＬデータから導かれる画像を取得し、各ユーザーフォルダ内へ保存することを特徴とする請求項１乃至請求項３のいずれかに記載の携帯電話における画像加工処理方法。

Images