JP4407150B2 - 携帯端末機器及びネットワークシステム並びに画像処理方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は携帯端末機器及びネットワークシステム並びに画像処理方法に係り、特にカメラ付き携帯電話などに適用される簡易な処理を用いて表現する画像処理技術に関する。
【０００２】
【従来の技術】
カメラ付き携帯電話やカメラ付きＰＤＡなどの撮像機能を備えたモバイル機器が普及し、わざわざカメラを持ち歩かなくても気軽に写真撮影を楽しむことができるようになった。撮影された画像はその場で見て楽しむだけでなく、電子メールに添付して友人等に配信することもできる。また、携帯電話を対象としたＷｅｂコンテンツサービスには、撮影した画像にその背景を変化させるような画像処理を施して楽しむものがある。
【０００３】
また、カメラ付き携帯電話には、撮像機能だけでなく画像処理機能を備えているものもあり、該画像処理機能はフレーム画像に画像を貼り付けるなどの簡易な処理を行うことができる。
【０００４】
特許文献１に開示されたデジタルフォトサービスシステムは、ウエブサイトと画像処理技術とを有効活用し、まず、該サービスに登録されているユーザは写真画像をウエブサイト管理サーバにアップロードする。また、ユーザは通信機器を介して専用ウエブページにアクセスし、該ウエブページ内で利用コンテンツを選択すると、選択されたコンテンツによる画像処理がサーバにアップロードした写真画像へ施されるシステムが提案されている。
【０００５】
【特許文献１】
特開２００２−１８９７２３号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、カメラ付き携帯電話やカメラ付きＰＤＡなどのモバイル機器はデジタルカメラなどカメラ機能を主として構成された機器に比べて画像を取り扱う能力などの処理能力に制限があり、パソコンやデジタルカメラのような画像処理を行うことは難しい。また、サーバやパソコンに撮影された画像を取り込んで高度な画像処理を行うことは可能であるが、パソコンなどの画像処理を行う機器にデータを取り込むための工程が必要になり、また、画像処理を施した結果画像をモバイル機器側ではすぐに見ることができないという欠点がある。
【０００７】
また、カメラ付き携帯電話に備えられた画像処理機能は画像を重ね合わせるような簡易な機能に限定され、ユーザが満足できる処理結果を得られるものとは限らない。
【０００８】
本発明はこのような事情を鑑みてなされたもので、処理能力に制限がある機器に好適な携帯端末機器及びネットワークシステム並びに画像処理方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために本発明に係る携帯端末機器は、画像を取得する画像取得手段と、前記画像取得手段によって取得された画像データに対する、携帯端末機器の処理能力では実用的な時間内に加工処理できない、画像処理の内容を設定する設定手段と、前記画像取得手段によって取得された画像データに、前記設定手段によって設定された画像処理と処理の内容が異なる複数の処理を組み合わせた処理を施して、前記設定手段によって設定された画像処理の効果が疑似的に表現された擬似結果画像を生成する疑似画像生成手段と、前記疑似画像生成手段によって生成された疑似結果画像を表示する表示手段と、ネットワークに接続されたサーバと相互にデータ通信を行う通信手段と、前記通信手段を介して、前記設定手段により設定された画像処理の内容に従った画像処理を前記サーバへ依頼し、前記設定手段により設定された画像処理の対象画像データと前記設定手段によって設定された画像処理の内容を含んだ設定情報とを前記サーバに送出する制御を行う画像処理制御手段と、を備えたことを特徴としている。
【００１０】
本発明によれば、簡易な処理を用いて行う画像処理を携帯端末機器に適用すると、該携帯端末機器上のローカルな処理で画像処理効果を実現できる。また、ネットワークに接続されたサーバと相互にデータ通信を行うための通信手段を備え、設定手段によって設定された画像処理の内容に基づいた画像処理を画像処理制御手段を介して該サーバへ依頼するよう構成したので、サーバを介さないローカルな処理で疑似的に表現された画像処理効果を得られると、その効果を確認してから加工品質の高い処理をサーバに依頼することができる。また、サーバとの通信による経済的、時間的ロスを短縮できる。
【００１１】
画像は、撮像手段によって得られた写真画像や電子描画装置などによって描かれたイラストの他に、手書きのイラスト、絵などでもよい。
【００１２】
また、本発明の一態様に係る携帯端末機器は、前記擬似画像生成手段は、画像を立体的に変形させる立体化処理を行う立体化処理手段と、画像の周縁部をぼかすぼかし処理を行うぼかし処理手段と、を備え、前記立体化処理手段による立体化処理と前記ぼかし処理手段によるぼかし処理とを組み合わせた処理を入力画像に施すことにより、前記入力画像の一部を強調する効果を得ることを特徴としている。
【００１３】
本発明によれば、立体化処理とぼかし処理とを組み合わせて、画像の一部が強調された画像を生成することができ、処理能力に制限がある機器であっても、簡易な処理を用いて画像処理を行うことができる。また、光学的な作用を電気的な画像処理によって実現することができる。
【００１４】
本発明の一態様によれば、前記立体化処理は、球面格子上に画像を貼り付ける処理であり、前記ぼかし処理は、画像の略中央部に透過部を有し、前記透過部から周縁部に向かって被処理画像の情報を減衰させる処理であることを特徴としている。
【００１５】
立体化処理における球面格子は形状が歪んでいてもよいし、球面の中心が画像の中心部からずれていてもよい。
【００１６】
立体化処理手段とぼかし処理手段とは関連して処理を行うとよい。例えば、立体化処理によって立体化される部分と、ぼかし処理による透過部とがほぼ一致していることが好ましい。
【００１７】
本発明の他の態様によれば、前記立体化処理と前記ぼかし処理とを組み合わせた処理によって、画像略中央部が拡大された疑似接写画像を得ることを特徴としている。
【００１８】
疑似接写画像は、例えば、接写撮影された写真をイメージさせる画像、拡大レンズを通して物体を見たときの画像と同じような印象を与える画像などがあり、画像の一部が強調される効果を得られるような画像であればよい。
【００１９】
また、本発明の他の態様に係る携帯端末機器は、前記画像取得手段は、被写体像を撮像する撮像手段を含み、前記設定手段は、前記撮像手段により撮像された画像の画像データに対する画像処理の内容を設定し、前記擬似画像生成手段は、前記撮像手段により撮像された画像の画像データから擬似画像を生成することを特徴としている。また、本発明のさらに他の態様に係る携帯端末機器は、前記表示手段の能力に合わせて前記擬似結果画像を調整して前記表示手段に表示させるように前記表示手段を制御する手段を備えたことを特徴としている。さらに、本発明の他の態様に係る携帯端末機器は、使用する携帯端末の機種を設定する手段と、前記機種設定手段により設定された機種が具備する表示手段の能力に合わせて前記擬似結果画像を調整して前記表示手段に表示させるように前記表示手段を制御する手段と、を備えたことを特徴としている。
【００２０】
画像取得手段によって画像を取得する態様には、メモリカードなどの記録媒体を介してデータを取得する態様や、該画像処理装置に撮像手段を備え、該撮像手段からデータを取得する態様を含んでいる。
【００２１】
本発明によれば、簡易な処理を用いて行う画像処理を携帯端末機器に適用すると、該携帯端末機器上のローカルな処理で画像処理効果を実現できる。
【００２２】
表示手段は該画像処理装置と一体型に構成してもよいし、該画像処理装置とは分離されケーブル等で接続するよう構成されてもよい。
【００２３】
また、本発明に係るネットワークシステムは、サーバと、携帯端末機器及び前記サーバが接続されるネットワークと、を含み、前記携帯端末機器は、画像を取得する画像取得手段と、前記画像取得手段によって取得された画像データに対する、携帯端末機器の処理能力では実用的な時間内に加工処理できない、画像処理の内容を設定する設定手段と、前記画像取得手段によって取得された画像データに、前記設定手段によって設定された画像処理と異なる複数の処理を組み合わせた処理を施して、前記設定手段によって設定された画像処理の効果が疑似的に表現された擬似結果画像を生成する疑似画像生成手段と、前記疑似画像生成手段によって生成された疑似結果画像を表示する表示手段と、前記ネットワークを介して前記サーバと相互にデータ通信を行う通信手段と、前記通信手段を介して、前記設定手段により設定された画像処理の内容に従った画像処理を前記サーバへ依頼し、前記設定手段により設定された画像処理の対象画像データと前記設定手段によって設定された画像処理の内容を含んだ設定情報とを前記サーバに送出する制御を行う画像処理制御手段と、を具備することを特徴としている。また、前記サーバは、前記ネットワークを介して前記端末機器から送出された画像に対して、画像全体に茶色味かかった処理を施すセピア処理、人物の顔の中で白色を強調する処理を施す美白処理、被写体を接写撮影したように見せる処理を施す接写処理、被写体を望遠撮影したように見せる処理を施す望遠処理のうち少なくともいずれかの処理を施す画像処理手段を備える態様も好ましい。また、前記サーバは、前記ネットワークに接続される携帯端末機器に対して、前記画像処理手段による画像処理の結果を擬似的に表現し、当該携帯端末の表示手段に表示させる擬似画像を生成するプログラムを提供する手段を備える態様も好ましい。さらに、前記ネットワークを介して前記サーバにより画像処理が施された後の画像を取得し、前記取得した画像をプリントするプリント装置を含む態様も好ましい。前記携帯端末機器は、前記サーバにより画像処理が施された画像を出力する形態を設定する手段を備える態様も好ましい。
【００２４】
また、本発明に係る画像処理方法は、ネットワークを介してサーバとデータ通信が可能な携帯端末機器により画像を取得する画像取得工程と、前記画像取得工程によって取得された画像データに対する、携帯端末機器の処理能力では実用的な時間内に加工処理できない、画像処理の内容を前記携帯端末機器から設定する設定工程と、前記画像取得工程によって取得された画像データに、前記設定工程によって設定された画像処理と異なる複数の処理を組み合わせた処理を施して、前記設定工程によって設定された画像処理の効果が疑似的に表現された擬似結果画像を前記携帯端末機器により生成する疑似画像生成工程と、前記疑似画像生成工程によって生成された疑似結果画像を前記携帯端末機器の表示手段に表示する表示工程と、前記携帯端末機器は前記ネットワークを介して前記サーバと相互にデータ通信を行い、前記設定工程により設定された画像処理の内容に従った画像処理を前記携帯端末機器から前記サーバへ依頼する工程と、前記設定工程により設定された画像処理の対象画像データと、前記設定工程によって設定された画像処理の内容を含んだ設定情報と、を前記携帯端末機器から前記サーバに送出する工程と、を含むことを特徴としている。
【００２５】
該サーバには画像処理結果画像を該画像処理装置に提供する提供手段を備え、ユーザの要求に合わせて結果画像を提供するよう構成するとよい。
【００２６】
ネットワークには、インターネット、ＬＡＮ等を含んだ、複数の機器間で情報通信が行えるように接続することを示している。ネットワークの通信形態には有線、無線および赤外線などがあり、通信プロトコルにはＴＣＰ／ＩＰやＵＤＰ／ＩＰなどがある。なお、他のネットワーク形態や他の通信プロトコルを適用してもよい。
【００２７】
サーバは単一のコンピュータで構成されていてもよいし、複数のコンピュータで構成されていてもよい。また、ネットワークサーバやウエブサイト管理サーバなどの一部として構成されていてもよい。
【００２８】
【発明の実施の形態】
以下、添付図面に従って本発明の好ましい実施の形態について説明する。
【００２９】
図１は、本発明の実施形態に係るカメラ付き携帯電話（以下携帯電話機）に搭載された疑似画像生成機能を説明する図である。
【００３０】
該疑似画像生成機能は、フィルタ処理を複数重ねあわせたり、簡単な画像処理とフィルタを併用したりして、サーバやパソコンで行われる画像処理を施された高品質な画像を疑似的に生成する機能であり、画像処理などの処理能力に制限がある機器に有効な機能である。なお、該疑似画像生成機能は携帯電話機に搭載されたアプリケーションソフトウエアを介して実現される。
【００３１】
図１には「疑似接写画像」を生成する態様を例示している。
【００３２】
対象画像データ１は花を撮影した画像であり、対象画像データ１には画像処理部２によって所定の画像処理が施され、結果画像４を得ることができる。画像処理部２による画像処理はその処理内容によって様々な態様があり、「疑似接写処理」では３次元（３Ｄ）フィルタ６とぼかしフィルタ８が適用される。
【００３３】
３Ｄフィルタ６は、画像を立体的に見せる効果を得ることができ、例えば、球面状格子に沿って画像を貼り付ける処理が施され、画像の略中央部が盛り上がり、略中央部から周囲部にかけてだんだんと落ち込むような３Ｄ処理画像９を得ることができる。
【００３４】
ぼかしフィルタ８は、ＧＩＦ画像であり、略中央部に透過色（白色で表現された部分）を用い、周囲部に白色（黒色で表現された部分）を用いることで、被写体の略中央部を明るく外側を暗くして、周囲部をぼかした画像を表現することができる。
【００３５】
上述した画像処理部２によって画像処理を施された結果画像４は、画像の略中央部が強調され、ちょうど画像１の花を接写撮影したような印象を与え、遠近感のある画像となる。
【００３６】
上述した「疑似接写処理」は疑似画像生成機能の一機能であり、該疑似画像生成機能では３Ｄフィルタ６や、ぼかしフィルタ８以外の画像処理やフィルタを用いて、様々な疑似的画像処理を表現することが可能である。なお、本実施形態では２つの処理を組み合わせて疑似画像を生成する態様を開示したが、疑似画像を生成する態様は３種類以上の処理を組み合わせてもよいし、２つ以上の機能を有する１つのフィルタ処理を用いてもよい。
【００３７】
３Ｄフィルタ６では略中央部が盛り上がっている画像を例示したが、盛り上がっている部分は略中央部以外の領域でもよい。また３Ｄフィルタ６の球面状格子は、球の中心がずれていたり、形状が歪んでいたりしてもよく、これに合わせてぼかしフィルタ８の透過部分を中心からずらしたり、形状を歪めたりすればよい。ただし、携帯電話機に搭載できるような単純なフィルタであることが好ましい。
【００３８】
携帯電話などのモバイル機器は機種ごとにディスプレイの表示能力が異なるので、ディスプレイの能力に合わせて画像処理やフィルタを調整できるように構成することが好ましい。また、使用機器（機種）を設定し、使用機器に合わせて画像を生成するように構成するとよい。
【００３９】
図２は、本発明の実施形態に係るカメラ付き携帯電話の一例を示す外観図である。この携帯電話機１０は、携帯電話用の各種アプリケーションソフトウエアを実行可能な携帯電話機（例えば、株式会社NTT DoCoMoが提供する iアプリ（商品名）に対応した機種）であり、通常の電話機能及び電子メール機能の他に、静止画や動画の撮影機能を備えている。なお、本実施形態ではｉアプリを例示するが、本発明の適用範囲はこれに限定されない。
【００４０】
携帯電話機１０には、カメラ部１２、アンテナ１４、ディスプレイ１６、受話口１７、送話口１８及び操作部２０が設けられている。操作部２０には、ダイヤルボタン２１、通話ボタン２２、通話切兼用電源ボタン２３、十字ボタン２４、実行ボタン２５その他の各種の操作手段が含まれる。操作部２０は、プッシュ式のスイッチ部材に限定されず、ダイヤル部材、レバースイッチなどの構成も可能であり、また、ディスプレイ１６に表示されるメニュー画面から所望の項目を選択するようなユーザインターフェースもあり得る。
【００４１】
符号２７は動画再生時の音声等を出力するためのスピーカである。なお、図２には明示されていないが、この携帯電話機１０には動画撮影時の音声を取り込むためのマイク（図３の符号２８として記載）が設けられている。
【００４２】
図２に示したように、カメラ部１２は、携帯電話機１０の筐体２９に対して回動自在に取り付けられている。カメラ部１２を回すことで撮影方向を自由に変更することができ、ディスプレイ１６の背面側にカメラを向けたり、図示のようにディスプレイ１６の表示面側にカメラを向けたりすることができる。なお、回転機能付きのカメラ部１２に代えて、所定の位置に固設されたカメラ部を搭載する態様も可能であり、また、複数のカメラ部を搭載する態様も可能である。
【００４３】
図３は、携帯電話機１０の構成を示すブロック図である。
【００４４】
携帯電話機１０は、中央演算処理装置（ＣＰＵ）３０とメモリ３２を備えるとともに、音声処理部３４、送受信回路３６、受話口１７のスピーカ３７、送話口１８のマイク３８といった通常の電話機能を実現するために必要な構成要素を備えている。
【００４５】
ＣＰＵ３０は、所定のプログラムに従って携帯電話機１０全体の動作を制御する制御部として機能するとともに、各種演算を行う演算装置として機能する。すなわち、ＣＰＵ３０は、操作部２０から入力される指令信号に基づいて携帯電話機１０内の各回路を制御し、通信制御、撮影動作制御、画像処理制御、ディスプレイ１６の表示制御、メモリ３２の読み書き制御及び容量管理（空き容量の検出を含む）などを行う。
【００４６】
ＣＰＵ３０はバス３９を介してメモリ３２と接続されている。メモリ３２は、ＣＰＵ３０が実行するプログラム及び制御に必要な各種データなどが格納される不揮発性メモリ（ＲＯＭ）領域と、プログラムの展開領域及びＣＰＵ３０の演算作業用領域として利用される揮発性メモリ（ＲＡＭ）領域とを含むブロックである。ＲＯＭ領域は、電話帳や通話履歴のデータ記憶領域として利用されるとともに、音声や画像の保存領域として利用される。また、ＲＡＭ領域は、画像データの一時記憶領域としても利用される。
【００４７】
音声処理部３４は、ＣＰＵ３０と連携して音声信号を処理又は変換する手段であり、送受信回路３６から受入したデータの復号化処理及び送受信回路３６を通じて送信するデータの符号化処理を行うとともに、スピーカ２７、３７への出力信号生成処理、マイク２８、３８からの入力音声信号の符号化処理などを行う。
【００４８】
通話モード（電話機能を使用するモード）において、通信相手との通信接続が確立されると、マイク２８から入力される音声は電気信号に変換され、音声処理部３４に送られる。音声処理部３４はマイク３８から入力された音声信号をデジタル信号に変換（Ａ／Ｄ変換）した後、所要の信号処理を行い、所定形式の音声データに変換する。音声処理部３４で処理された音声データ（送信用のデータ）は、バス３９を介して送受信回路３６に送られ、所定の送信用信号形式に変換された後、アンテナ１４から送信される。
【００４９】
また、アンテナ１４によって受波された信号は、送受信回路３６において復調され、音声処理部３４に送られる。音声処理部３４は、送受信回路３６から受入した音声信号を所定形式の音声データに変換する。音声処理部３４で生成された音声データ（受信データ）は、アナログ音声信号に変換（Ｄ／Ａ変換）された後、スピーカ３７に送られる。こうして、通話相手の音声がスピーカ３７から可聴出力される。もちろん、携帯電話機１０は、音声データのみならず、電子メール機能やインターネットのブラウザ機能などを利用して画像データ、文書データ、プログラムデータなど種々のデータを送受信することが可能である。
【００５０】
更に、携帯電話機１０は、撮影レンズ４０とＣＣＤイメージセンサ（以下、ＣＣＤという。）４２を有し、ＣＣＤ４２から得られる画像信号を処理するためのアナログ処理部４４、Ａ／Ｄ変換器４５、画像処理部４６、圧縮伸張部４７を備えている。なお、本例では撮像素子としてＣＣＤを用いるが、ＣＣＤ型に限らず、ＣＭＯＳ型など他の方式によるデバイスを用いてもよい。
【００５１】
撮影レンズ４０を通過した光はＣＣＤ４２の受光面の上に焦点を結ぶ。ＣＣＤ４２の受光面には多数のフォトセンサ（受光素子）が平面的に配列され、各フォトセンサに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造で配置されている。ＲＧＢカラーフィルタに代えて、ＣＭＹ等のカラーフィルタを用いることもできる。
【００５２】
ＣＣＤ４２の受光面に結像された被写体像は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。ＣＣＤ４２は、シャッタゲートパルスのタイミングによって各フォトセンサの電荷蓄積時間（シャッタスピード）を制御する電子シャッタ機能を有している。
【００５３】
ＣＣＤ４２の各フォトセンサに蓄積された信号電荷は、ＣＰＵ３０の指令に従いタイミングジェネレータ（ＴＧ）４８から与えられるパルス（水平駆動パルスφＨ，垂直駆動パルスφＶ，オーバーフロードレインパルス）に基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。ＣＣＤ４２から出力された画像信号は、アナログ処理部４４に送られ、相関二重サンプリング（ＣＤＳ）処理やゲイン調整などの所要の処理が施された後、Ａ／Ｄ変換器４５によってデジタル信号に変換される。デジタル化された画像データは画像処理部４６に送られる。
【００５４】
画像処理部４６は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理回路）、輝度・色差信号生成回路、ガンマ補正回路、輪郭補正回路、ホワイトバランス補正回路等を含むデジタル画像信号処理手段であり、ＣＰＵ３０からのコマンドに従ってメモリ３２を活用しながら画像信号を処理する。
【００５５】
画像処理部４６において、ホワイトバランス調整処理、ガンマ変換処理、輝度信号（Ｙ信号）及び色差信号（Ｃr,Ｃb 信号）への変換処理（ＹＣ処理）など、所定の処理が施されて生成された画像データはメモリ３２に一時的に記憶される。ここで、撮影中の映像をディスプレイ１６に表示させる場合には、このメモリ３２の内容を読み出して表示回路５０に送り、表示回路５０において表示用の信号形式に変換した後、ディスプレイ１６に供給する。これにより、ディスプレイ１６にはＣＣＤ４２が捉えているリアルタイム映像（スルー画）が表示され、撮影者はディスプレイ１６に映し出される映像によって撮影画角（構図）を確認できる。なお、図１に示した画像処理部２には、ＣＰＵ３０および画像処理部４６がふくまれている。
【００５６】
操作部２０の撮影ボタン（例えば、実行ボタン２５で兼用）が押されると、ＣＰＵ３０はこれを検知して、記録用の撮影動作を実行する。取り込まれた記録用の画像データは、画像処理部４６において輝度・色差信号変換処理（ＹＣ処理）その他の所定の信号処理を経た後、圧縮伸張部４７に送られ、ここで所定の圧縮フォーマット（例えば、JPEG形式) に従って圧縮される。圧縮された画像データは、メモリ３２の画像保存領域に格納される。
【００５７】
動画撮影モードが選択されている場合には、撮影ボタンの押下によって録画動作がスタートし、その後もう一度撮影ボタンを押下すると動画記録作が停止する。なお、撮影ボタンの押下継続中に録画動作を行い、押下解除により録画を停止するようにしてもよい。
【００５８】
動画撮影時の音声は、マイク２８によって検出され、その検出信号（音声信号）は、音声処理部３４において所定の信号形式に変換される。この音声データは、画像データとともに圧縮伸張部４７において所定の圧縮フォーマット（例えば、ＭＰ４形式）に従って、圧縮処理された後メモリ３２に記録される。
【００５９】
図４は、図１に示した疑似画像生成機能の制御の流れを示したフローチャートである。
【００６０】
ユーザは、携帯電話機１０の撮像機能により画像データを取得し、この画像データに所望の画像処理施した結果画像を確認する場合に、該疑似画像生成機能の処理を開始する（ステップＳ１０）。
【００６１】
まず、該携帯電話機１０の操作部２０を操作して、疑似画像生成プログラムを起動する（ステップＳ１２）。該プログラムが起動すると、画像を選択する画面がディスプレイ１６に表示される（ステップＳ１４）。この画像選択画面から対象画像データを選択すると、画像処理内容を設定する画面に切り換わり、この画面上で画像処理内容を設定する（ステップＳ１６）。
【００６２】
画像処理内容には、「セピア処理」、「美白処理」、「接写処理」、「望遠処理」などがあり、これらの中から所望の画像処理を選択する。画像処理内容には前述した４種類以外の処理を準備してもよい。また、これらの中から少なくとも１種類の処理内容を選択できるよう構成すればよい。
【００６３】
対象画像と処理内容とを設定し、実行操作を行うと、該プログラムの制御に従って疑似画像が生成される（ステップＳ１８）。該疑似画像が生成されると、ディスプレイ１６には生成された疑似画像が表示される（ステップＳ２０）。
【００６４】
該疑似画像がディスプレイ１６に表示されると、該疑似画像を携帯電話機１０の記録手段に記録するか否かを選択することができる（ステップＳ２２）。記録しないが選択されると（ＮＯ判定）、ディスプレイ１６にはプログラムの終了画面が表示され、該プログラムを終了するか否かを選択する（ステップＳ２６）。
【００６５】
プログラム終了が選択されない場合には（ＮＯ判定）、ステップＳ１４およびステップＳ１６で設定された設定が解除され（ステップＳ２８）、次の画像を処理する制御に進み（ステップＳ３０）、ステップＳ１４にて対象画像が選択される。
【００６６】
また、ステップＳ２６においてプログラム終了が選択されると（ＹＥＳ判定）、該プログラムの終了処理が実行され（ステップＳ３２）、処理開始に戻る（ステップＳ３４）。
【００６７】
一方、ステップＳ２２において、該疑似画像を記録するが選択されると（ＹＥＳ判定）、該疑似画像は携帯電話機１０の記録手段に記録され（ステップＳ２４）、ステップＳ２６に進む。
【００６８】
携帯電話機１０には、該疑似画像を記録する記録手段としてメモリカードなどのリムーバブルディスクを備えるとよい。
【００６９】
上記の如く構成された携帯電話機１０では、画像処理内容の結果を疑似的に表現した疑似画像が生成され、該疑似画像を用いて画像処理内容の結果を見ることができる。疑似画像生成の一例を挙げると、３Ｄ処理とぼかし処理とを組み合わせて疑似接写画像を生成することができる。
【００７０】
また、携帯電話機１０には他の機能を提供するアプリケーションソフトウエアを備えてもよく、これらのアプリケーションは、携帯電話機１０にプリインストールされていていてもよいし、メモリカードなどの記録媒体によって配布されてもよい。ネットワーク上の所定のサービスサイトからダウンロードできるように構成されてもよい。
【００７１】
本実施形態ではカメラ付き携帯電話を例示したが、本発明の適用範囲はカメラ付き携帯電話に限定されず、カメラ機能を持たない携帯電話機、ＰＤＡなどにも適用可能である。
【００７２】
次に、携帯電話機１０に備えられたネットワーク接続機能を用いて、携帯電話機１０で設定した画像処理の内容を画像処理サーバ１０２に依頼し、画像処理サーバ１０２において該設定内容に従って画像処理を実行する画像処理システムについて説明する。
【００７３】
図５は、本発明の実施形態に係る携帯電話機１０を用いた画像処理システムの構成図である。
【００７４】
本画像処理システムは携帯電話機１０を用いて撮影した画像に施す画像処理の内容を携帯電話機１０で設定し、該画像と該画像処理内容の設定とを、ネットワーク１００を介して画像処理サーバ１０２に送出し、画像処理サーバ１０２において携帯電話機１０で設定された画像処理を施し、処理後の画像データを携帯電話機１０に提供するサービスを行う。
【００７５】
また、本画像処理システムでは、ユーザが画像処理後の画像のプリントを所望する場合には、ネットワーク１００に接続されたセルフ式プリント装置１０４によって、画像処理後の画像をプリントするサービスが提供される。
【００７６】
また、図５には図示しないが、複数の電子機器がそれぞれに備えた通信端末を介してネットワーク１００に接続されている。前記電子機器にはノートＰＣ、ＰＤＡなどのモバイル機器の他にサーバやディスクトップＰＣなどが含まれる。
【００７７】
画像処理サーバ１０２は、携帯電話機１０や他の電子機器から送出される画像データにユーザが所望する画像処理を施す画像処理部１０６および画像処理後の画像データを記録するデータ記録部１０８を有している。
【００７８】
また、ネットワーク１００に接続されるＷｅｂサーバ１１０は、Ｗｅｂ上で行われる情報配信や各種サービス（コンテンツ）の提供を管理し、また、電子メールサーバとしても機能する。
【００７９】
図６は、画像処理サーバ１０２の構成を示すブロック図である。
【００８０】
画像処理サーバ１０２は制御部１２０によって統括制御されている。画像処理サーバ１０２は、カメラ付き携帯電話などで撮影された画像を、通信部１２２を介して取得し、画像処理部１０６において、通信部１２２を介して取得した画像に「セピア処理」、「美白処理」、「接写処理」、「望遠処理」などのカメラ付き携帯電話では実現できない加工品質が高い画像処理を施すことができる。また、画像処理を施した画像を、データ記録部１０８に記録することや、通信部１２２を介して外部に送出することができる。
【００８１】
画像処理部１０６において画像処理を行うプログラムはプログラム記録部１２４に格納されており、制御部１２０によって適宜読み出され実行される。また、画像処理サーバ１０２はメモリ１２６を備え、メモリ１２６はプログラム実行時の作業領域や画像データの一時記憶領域として機能する。また、プログラム記録部１２４には、画像処理を実行するプログラムだけでなく、他の機能を実現するプログラムを格納することができる。
【００８２】
画像処理サーバ１０２は、Ｗｅｂサーバ１１０がネットワーク１００を介して提供する画像処理サービスのコンテンツサーバとして機能し、コンテンツに関係する処理は、画像処理サーバ１０２内ではコンテンツ管理部１３２によって管理されている。
【００８３】
図７は、上述した画像処理システムをＷｅｂ上に提供する画像処理コンテンツサービスの流れを示したフローチャートである。なお、Ｗｅｂサーバ１１０によって行われるＷｅｂ上の処理は省略する。
【００８４】
携帯電話機１０には、既に携帯電話機１０のカメラ機能を用いて撮影された画像データが生成されている。携帯電話機１０に備えられたブラウザ機能を起動し（ステップＳ１０４）、画像処理サーバ１０２が提供する画像処理サービスページにアクセスすると（ステップＳ１０６）、画像処理サーバ１０２は、該画像処理サービスのフロントページを表示させる（ステップＳ１０８）。携帯電話機１０では、フロントページが表示され、該フロントページの画像処理サービスのリンクを選択すると、画像処理メニューページが表示され、該画像データに施すことができる画像処理を選択できる。
【００８５】
また、フロントページでは、画像処理の結果画像を疑似的に表現し、携帯電話機１０のディスプレイ１６に表示させる疑似画像生成アプリケーションをダウンロードすることができる。
【００８６】
フロントページでは該画像処理サービスで必要となるプログラム（プラグイン、アプリケーション等）をダウンロードできるように、各プログラムのダウンロードサイトのリンクを備える構成とすることが好ましい。
【００８７】
有料サービスでは、画像処理メニューページを表示する前にログオン画面を表示し、ユーザ名とパスワードによるユーザ認証を行うように構成される。また、該ログオン画面において、携帯電話機１０を使用するユーザが該画像処理サービスの登録ユーザであるか確認し、登録ユーザでない場合にはユーザ登録メニューを表示して、ユーザ登録を促すように構成するとよい。
【００８８】
図８は、携帯電話機１０のディスプレイ１６に表示された画像処理選択メニュー２００を示している。この画像処理メニューから、「セピア処理」、「美白処理」、「接写処理」、「望遠処理」の何れか１つを選択することができる。
【００８９】
画像処理選択メニュー２００上で所望の画像処理にカーソルを合わせて選択を決定する。図８では「接写」を選択した画面２０２を示している。
【００９０】
セピア処理は画像全体に茶色味かかった処理が施され、撮影されてから長時間経過した写真のような画像を得る処理である。また、美白処理は人物の顔のなかで白を強調させ、人物の顔を美しく見せる処理を行う。接写処理は被写体を接写撮影したように見せる処理を行い、接写処理では花や虫などが被写体として選ばれることが多い。望遠処理は被写体を望遠撮影したように見せる処理を行い、望遠処理では風景や人物、建築物などが被写体として選ばれることが多い。
【００９１】
本実施形態では、「セピア処理」、「美白処理」、「接写処理」、「望遠処理」を画像処理として例示したが、画像処理の態様はこれらに限定されず、他の画像処理を提供してもよい。なお、上述した「セピア処理」、「美白処理」、「接写処理」、「望遠処理」はレンズ付きフイルムで実現されている画像処理に対応した処理である。
【００９２】
携帯電話機１０を使用するユーザによって画像処理選択メニュー２００から所望の画像処理内容が選択されると（図７のステップＳ１１０）選択された画像処理内容の結果を確認するか否かが選択される（ステップＳ１１１）。
【００９３】
結果を確認しない場合には（ＮＯ判定）、ステップＳ１１５に進み、選択された画像処理を画像処理サーバ１０２に依頼するか否かが選択され、依頼しない（ＮＯ判定）が選択されると、ステップＳ１３０に進み、ブラウザを終了するか否かが選択される。ステップＳ１３０においてブラウザを終了しないが選択されると（ＮＯ判定）、ステップＳ１０６に戻り、ブラウザ終了を選択すると（ＹＥＳ判定）、ブラウザは終了され（ステップＳ１３２）、開始に戻る（ステップＳ１３４）。
【００９４】
一方、ステップＳ１１５において選択された画像処理内容をサーバに送出するが選択されると、画像処理サーバ１０２では決定された画像処理のプログラムが起動される（ステップＳ１１６）。
【００９５】
次に、画像処理サーバ１０２は画像指定ページを表示させ（ステップＳ１１７）、携帯電話機１０のディスプレイ１６には該画像指定ページが表示される。携帯電話機１０を使用するユーザは画像処理を所望する画像を指定し、該画像データを画像処理サーバ１０２にアップロードする（ステップＳ１１８）。
【００９６】
画像を指定する画面は、携帯電話機１０の撮影機能を用いて撮影された画像データが保管される記憶領域（図３のメモリ３２等）を参照し、この記憶領域にある画像形式のデータが表示され、表示された画像形式のデータから所望の画像を選択できる。画像を指定する画面はメモリカードなど他のデータ記録領域にある画像データを選択できるように構成するとよい。
【００９７】
画像処理サーバ１０２では、携帯電話機１０からアップロードされた画像処理の対象画像を取得すると、既に起動されている画像処理プログラムに従って画像の処理が行われる（ステップＳ１２０）。
【００９８】
ステップＳ１２０において画像処理が終了すると、画像処理済み画像を出力する処理を実行する（ステップＳ１２２）。ステップＳ１２２では、携帯電話機１０のユーザは所望する画像出力の態様を選択し（ステップＳ１２６）、これに合わせて、画像処理サーバ１０２は画像処理済み画像を出力する。
【００９９】
画像処理サーバ１０２では、ステップＳ１２４おいて画像出力処理が終了すると、開始に戻る（ステップＳ１２８）。
【０１００】
携帯電話機１０は、ステップＳ１２６において画像出力選択が終了すると、ステップＳ１３０に進む。
【０１０１】
また、ステップＳ１１１において結果を確認する場合には（ＹＥＳ判定）、携帯電話機１０に搭載されている疑似画像生成アプリケーションが起動され（ステップＳ１１２）、選択された画像処理内容を疑似的に表現した結果画像がディスプレイ１６に表示される（ステップＳ１１３）。結果画像がディスプレイ１６に表示されると、該疑似画像生成アプリケーションは終了され（ステップＳ１１４）、ステップＳ１１５に進む。
【０１０２】
図７のステップＳ１２４に示した画像出力には、プリント店やセルフプリントマシンによる高画質プリントを行う態様や、画像形式に圧縮して携帯電話機１０に提供する態様、画像処理サーバ１０２から指定された配信先に電子メールで配信する態様があり、ユーザはこの中から所望の態様を選択することができる。
【０１０３】
また、上述した結果画像を出力する態様に合わせて課金システムが定められている。プリントを行う態様では、プリント画像と引き換えに代金を支払う態様や、クレジットカード決済を含んだ電子決済を行う態様が含まれており、また、画像形式に圧縮して携帯電話機１０に提供する態様では、サービス使用料に画像データ提供料金を合わせた金額を月額使用料として決済する態様があり、電子メールにて配信する態様では、電子メール使用料と合わせて課金する態様が含まれている。
【０１０４】
上記の如く構成された画像処理システムでは、携帯電話機１０から画像処理サーバ１０２に画像処理を依頼する前に、携帯電話機１０に搭載された疑似画像生成アプリケーションを用いて画像処理結果画像を疑似的に生成することができる。携帯電話機１０上のローカルなフィルタ処理で画像処理効果を実現でき、ユーザはこの疑似的な結果画像を見て画像処理の内容を判断でき、所望の画像処理像が得られる場合には画像処理サーバに画像処理を依頼すればよい。特に、有料サービスの提供を受ける際には、課金される前に結果を確認できるので、無駄な料金がかからずに大変便利である。また、カメラ付き携帯電話上でサーバを介さないローカルなフィルタリングによる効果により、撮影した画像に対するさまざまな表現を提供できる。
【０１０５】
【発明の効果】
本発明によれば、立体化処理とぼかし処理とを組み合わせて画像の一部を強調した画像を生成することができ、処理能力に制限がある機器であっても、簡易な処理を用いて画像処理を行うことができる。また、画像の略中央部が拡大された疑似接写画像を生成することができ、光学的な作用を電気的な画像処理によって実現することができる。
【０１０６】
本発明を携帯電話などの携帯端末機器に適用すると便利であり、特に、本発明をカメラ付き携帯電話に適用すると、サーバなどを介すことなくローカルな処理で画像処理効果を実現でき、サーバとの通信による経済的、時間的ロスを短縮できる。
【図面の簡単な説明】
【図１】本発明の実施形態に係るカメラ付き携帯電話機に搭載された疑似画像生成機能を説明する図
【図２】本発明の実施形態に係るカメラ付き携帯電話機の外観図
【図３】本発明の実施形態に係るカメラ付き携帯電話機のブロック図
【図４】画像処理システムの制御の流れを示すフローチャート
【図５】本発明の実施形態に係る携帯電話機を用いた画像処理システムの構成図
【図６】図５に示した画像処理システムにおける画像処理サーバのブロック図
【図７】図５に示した画像処理サービスの制御の流れを示すフローチャート
【図８】図５に示した画像処理サービスの画像処理選択画面
【符号の説明】
２，４６…画像処理部、６…３次元フィルタ、８…ぼかしフィルタ、１０…カメラ付き携帯電話機、１６…ディスプレイ、２０…操作部、３０…ＣＰＵ、３２…メモリ、４２…ＣＣＤ、１０２…画像処理サーバ、１０６…画像処理部

Claims (14)

1. 画像を取得する画像取得手段と、
   前記画像取得手段によって取得された画像データに対する、携帯端末機器の処理能力では実用的な時間内に加工処理できない、画像処理の内容を設定する設定手段と、
   前記画像取得手段によって取得された画像データに、前記設定手段によって設定された画像処理と処理の内容が異なる複数の処理を組み合わせた処理を施して、前記設定手段によって設定された画像処理の効果が疑似的に表現された擬似結果画像を生成する疑似画像生成手段と、
   前記疑似画像生成手段によって生成された疑似結果画像を表示する表示手段と、
   ネットワークに接続されたサーバと相互にデータ通信を行う通信手段と、
   前記通信手段を介して、前記設定手段により設定された画像処理の内容に従った画像処理を前記サーバへ依頼し、前記設定手段により設定された画像処理の対象画像データと前記設定手段によって設定された画像処理の内容を含んだ設定情報とを前記サーバに送出する制御を行う画像処理制御手段と、
   を備えたことを特徴とする携帯端末機器。
2. 前記擬似画像生成手段は、画像を立体的に変形させる立体化処理を行う立体化処理手段と、
   画像の周縁部をぼかすぼかし処理を行うぼかし処理手段と、
   を備え、
   前記立体化処理手段による立体化処理と前記ぼかし処理手段によるぼかし処理とを組み合わせた処理を入力画像に施すことにより、前記入力画像の一部を強調する効果を得ることを特徴とする請求項１記載の携帯端末機器。
3. 前記立体化処理は、球面格子上に画像を貼り付ける処理であり、前記ぼかし処理は、画像の略中央部に透過部を有し、前記透過部から周縁部に向かって被処理画像の情報を減衰させる処理であることを特徴とする請求項２記載の携帯端末機器。
4. 前記立体化処理と前記ぼかし処理とを組み合わせた処理によって、画像略中央部が拡大された疑似接写画像を得ることを特徴とする請求項２又は３記載の携帯端末機器。
5. 前記画像取得手段は、被写体像を撮像する撮像手段を含み、
   前記設定手段は、前記撮像手段により撮像された画像の画像データに対する画像処理の内容を設定し、
   前記擬似画像生成手段は、前記撮像手段により撮像された画像の画像データから擬似画像を生成することを特徴とする請求項１乃至４のいずれかに記載の携帯端末機器。
6. 前記表示手段の能力に合わせて前記擬似結果画像を調整して前記表示手段に表示させるように前記表示手段を制御する手段を備えたことを特徴とする請求項１乃至５のいずれかに記載の携帯端末機器。
7. 使用する携帯端末の機種を設定する手段と、
   前記機種設定手段により設定された機種が具備する表示手段の能力に合わせて前記擬似結果画像を調整して前記表示手段に表示させるように前記表示手段を制御する手段と、
   を備えたことを特徴とする請求項１乃至５のいずれかに記載の携帯端末機器。
8. サーバと、
   携帯端末機器及び前記サーバが接続されるネットワークと、
   を含み、
   前記携帯端末機器は、画像を取得する画像取得手段と、
   前記画像取得手段によって取得された画像データに対する、携帯端末機器の処理能力では実用的な時間内に加工処理できない、画像処理の内容を設定する設定手段と、
   前記画像取得手段によって取得された画像データに、前記設定手段によって設定された画像処理と異なる複数の処理を組み合わせた処理を施して、前記設定手段によって設定された画像処理の効果が疑似的に表現された擬似結果画像を生成する疑似画像生成手段と、
   前記疑似画像生成手段によって生成された疑似結果画像を表示する表示手段と、
   前記ネットワークを介して前記サーバと相互にデータ通信を行う通信手段と、
   前記通信手段を介して、前記設定手段により設定された画像処理の内容に従った画像処理を前記サーバへ依頼し、前記設定手段により設定された画像処理の対象画像データと前記設定手段によって設定された画像処理の内容を含んだ設定情報とを前記サーバに送出する制御を行う画像処理制御手段と、
   を具備することを特徴とするネットワークシステム。
9. 前記サーバは、前記ネットワークを介して前記端末機器から送出された画像に対して、画像全体に茶色味かかった処理を施すセピア処理、人物の顔の中で白色を強調する処理を施す美白処理、被写体を接写撮影したように見せる処理を施す接写処理、被写体を望遠撮影したように見せる処理を施す望遠処理のうち少なくともいずれかの処理を施す画像処理手段を備えたことを特徴とする請求項８記載のネットワークシステム。
10. 前記サーバは、前記ネットワークに接続される携帯端末機器に対して、前記画像処理手段による画像処理の結果を擬似的に表現し、当該携帯端末の表示手段に表示させる擬似画像を生成するプログラムを提供する手段を備えたことを特徴とする請求項９記載のネットワークシステム。
11. 前記ネットワークを介して前記サーバにより画像処理が施された後の画像を取得し、前記取得した画像をプリントするプリント装置を含むことを特徴とする請求項８乃至１０のいずれかに記載のネットワークシステム。
12. 前記携帯端末機器は、前記サーバにより画像処理が施された画像を出力する形態を設定する手段を備えたことを特徴とする請求項８乃至１１のいずれかに記載のネットワークシステム。
13. 前記携帯端末機器は、請求項１乃至７のいずれかに記載の携帯端末機器を含むことを特徴とする請求項８乃至１２のいずれかに記載のネットワークシステム。
14. ネットワークを介してサーバとデータ通信が可能な携帯端末機器により画像を取得する画像取得工程と、
    前記画像取得工程によって取得された画像データに対する、携帯端末機器の処理能力では実用的な時間内に加工処理できない、画像処理の内容を前記携帯端末機器から設定する設定工程と、
    前記画像取得工程によって取得された画像データに、前記設定工程によって設定された画像処理と異なる複数の処理を組み合わせた処理を施して、前記設定工程によって設定された画像処理の効果が疑似的に表現された擬似結果画像を前記携帯端末機器により生成する疑似画像生成工程と、
    前記疑似画像生成工程によって生成された疑似結果画像を前記携帯端末機器の表示手段に表示する表示工程と、
    前記携帯端末機器は前記ネットワークを介して前記サーバと相互にデータ通信を行い、前記設定工程により設定された画像処理の内容に従った画像処理を前記携帯端末機器から前記サーバへ依頼する工程と、
    前記設定工程により設定された画像処理の対象画像データと、前記設定工程によって設定された画像処理の内容を含んだ設定情報と、を前記携帯端末機器から前記サーバに送出する工程と、
    を含むことを特徴とする画像処理方法。

Images