JP3907168B2

JP3907168B2 - Image utilization service system and terminal device

Info

Publication number: JP3907168B2
Application number: JP2001374176A
Authority: JP
Inventors: 杉夫巻島
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2001-12-07
Filing date: 2001-12-07
Publication date: 2007-04-18
Anticipated expiration: 2021-12-07
Also published as: JP2003174579A

Description

【０００１】
【発明の属する技術分野】
本発明は、ネットワークを介して送信される画像情報を利用したサービスを行う画像利用サービスシステム及びそれに使用する端末装置に関する。
【０００２】
【従来の技術】
ネットワークを介して伝送される写真画像情報を利用したサービスとしては、従来からプリントサービスが実現されているが、最近では伝送される写真画像情報の編集処理又は分析処理を伴うサービスも行われるようになっている。編集処理を伴うサービスとしては、所定のテンプレート画像と合成し、作成した合成画像情報又は合成画像情報に基づくプリントを依頼者に提供するサービスがある。また、分析処理を伴うサービスとしては、顔画像又は手画像を利用した占いサービス、顔画像を利用した類似著名人検索サービスがある。
【０００３】
写真画像情報の編集処理又は分析処理を行うためには、予め定められた所定の構図の写真画像であることが処理量及び処理精度の点から好ましい。例えば、テンプレート画像との合成処理を行う場合、利用者の撮影した写真画像をそのまま重ね合わせることにより希望する合成画像が得られるのが好ましく、そのためには、撮影被写体が所定の位置に所定の大きさで撮影されている必要がある。また、顔画像を用いた人相占い、手画像を用いた手相占い、顔画像を用いた類似著名人検索等の分析処理を行う場合、画像の輪郭や、部分形状の抽出を行うが、その場合、分析精度の向上のためには、顔や手の大きさが所定のもので、その位置が所定位置に配置されていることが必要である。
【０００４】
一方、所望の構図での撮影を確実に行うことは、一般の利用者にとって必ずしも簡単でないため、デジタルカメラに補助画像情報を記憶しておき、所望の補助画像情報をデジタルカメラの表示部に表示して、構図をきめる際の参考することができるデジタルカメラが提案されている（例えば、特開平１０−２４３２７４号公報参照）。しかし、この場合でも、サービスに必要な構図の写真画像用の補助画像情報がデジタルカメラに記憶されているとは限らず、また、記憶されているとしてそれらの選択は、簡単ではない。
【０００５】
【発明が解決しようとする課題】
本発明は、上記事情に鑑みなされたもので、撮影写真画像を利用したサービスを、短時間で精度よく行うことができる撮影画像利用サービスシステム及びそれに使用する端末装置を提供するものである。
【０００６】
【課題を解決するための手段】
本発明の画像利用サービスシステムは、ネットワークを介して送信される画像情報を利用したサービスを行うものであって、前記ネットワークに接続され、前記サービスの管理を行うサービス管理サーバと、画像情報の編集処理又は分析処理を伴うサービス処理を実行するサービス処理部と、前記サービス処理部が利用する画像の撮影を支援する撮影補助画像情報を含む撮影支援情報を記憶する支援情報記憶部とを含み、前記サービス管理サーバは、前記ネットワークに接続された端末装置からのサービス要求を受信したとき、前記要求されたサービスに応じた撮影支援情報を前記支援情報記憶部から取得し、個別のサービス要求を識別するための情報であるサービス要求受付情報とともに前記端末装置に送信し、前記送信した撮影支援情報を利用して撮影した画像情報を前記サービス要求受付情報とともに受信したとき、前記受信した画像情報を利用したサービス処理を前記サービス処理部に実行させるものである。
【０００７】
本発明の画像利用サービスシステムにおける前記撮影補助画像情報として、前記サービス処理に好適な構図の画像撮影を支援する画像情報を利用するものである。
【０００８】
本発明の画像利用サービスシステムにおける前記撮影補助画像情報は、デジタルカメラの表示装置における被写体画像との重畳表示に利用されるものである。
【０００９】
本発明の画像利用サービスシステムにおける前記サービスは、顔写真画像情報又は手相写真画像情報を利用した占いサービスであり、前記サービス管理サーバは、前記サービス処理部が実行した占い結果を前記端末装置に送信するものである。
【００１０】
本発明の画像利用サービスシステムにおける前記サービスは、顔写真画像情報を利用した類似著名人検索サービスであり、前記サービス管理サーバは、前記サービス処理部が実行した検索結果を前記端末装置に送信するものである。
【００１１】
本発明の画像利用サービスシステムにおける前記サービスは、任意のテンプレート画像との合成写真作成サービスであり、前記サービス管理サーバは、前記サービス処理部が実行した合成写真画像情報を前記端末装置に送信するものである。
【００１２】
本発明の画像利用サービスシステムにおける前記サービスは、任意のテンプレート画像との合成写真作成サービスであり、前記サービス処理部は、前記合成写真情報に基づくプリント作成を指示するものである。
【００１３】
本発明の画像利用サービスシステムにおける前記支援情報記憶部は、デジタルカメラの機種に応じた前記撮影支援情報を記憶するものであり、前記端末装置からのサービス要求には、画像撮影に使用するデジタルカメラの機種を示す情報が含まれており、前記サービス管理サーバは、前記サービス要求に含まれるデジタルカメラの機種を示す情報に応じた前記撮影支援情報を前記支援情報記憶部から取得して前記端末装置に送信するものである。
【００１４】
本発明の端末装置は、ネットワークを介して送信される画像情報を利用したサービスの要求を行うものであって、前記ネットワークに接続された前記サービスの管理を行うサービス管理サーバにアクセス可能であり、デジタルカメラと通信可能であり、前記サービス管理サーバに対するサービス要求に応じて、前記サービスに利用される画像の撮影を支援する撮影補助画像情報を含む撮影支援情報を、個別のサービス要求を識別するための情報であるサービス要求受付情報とともに受信し、受信した前記撮影支援情報と前記サービス要求受付情報を前記デジタルカメラに送信し、前記デジタルカメラから前記撮影支援情報を利用して撮影した画像情報と前記サービス要求受付情報を受信し、前記受信した画像情報と前記サービス要求受付情報を前記サービス管理サーバに送信するものである。
【００１５】
本発明の端末装置は、携帯可能であり、前記デジタルカメラと、近距離無線通信により又は有線接続により通信可能なものである。
【００１６】
本発明の端末装置は、携帯可能であり、前記デジタルカメラと一体に形成されたものである。
【００１７】
本発明の端末装置は、前記撮影補助画像情報として、前記サービスの実行に好適な構図の画像撮影を支援する画像情報を受信するものであり、前記撮影補助画像情報は、デジタルカメラの表示装置における被写体画像との重畳表示に利用されるものである。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。図１は、本発明のサービスシステムの実施の形態の概略全体構成を示す図である。ネットワーク３０には、サービス管理サーバ４０が接続され、サービス管理サーバ４０には、支援情報記憶部５０、サービス処理部６０−１、６０−２が接続される。また、ネットワーク３０には、端末装置２０が接続可能であり、端末装置２０は、デジタルカメラ１０が接続可能となっている。
【００１９】
サービス管理サーバ４０は、画像情報の編集処理又は分析処理を伴うサービスの受付、管理を行うものであり、端末装置２０からサービス要求を受信すると、受信したサービス要求に応じた撮影支援情報を支援情報記憶部５０から取得して端末装置２０に送信し、送信した撮影支援情報を利用して撮影した画像情報を受信したとき、受信した画像情報を利用したサービス処理をサービス処理部６０−１、６０−２に実行させるものである。
【００２０】
サービス処理部６０−１、６０−２は、写真画像情報の編集処理又は分析処理を伴う画像処理サービスを実行するもので、所定のプログラムに基づいて動作するプロセッサを主体に構成される。図１では、２個のサービス処理部６０−１、６０−２が、サービス管理サーバ４０と接続された別のものとして記載されているが、１つのプロセッサで構成することも可能であり、サービス管理サーバ４０の能力によっては、サービス管理サーバ４０と兼用することも可能である。また、サービス処理部の数も２個に限らず１個でも３個以上でもよい。さらに、図１では、２個のサービス処理部６０−１、６０−２が、サービス管理サーバ４０と直接接続されているが、サービス処理部６０−１、６０−２をネットワーク３０あるいは他のネットワークを介してサービス管理サーバ４０に接続してもよい。
【００２１】
サービス処理部６０−１、６０−２が実行する写真画像情報の編集処理又は分析処理を伴う画像処理サービスとしては、例えば顔写真画像情報又は手相写真画像情報を利用した占いサービス、顔写真画像情報を利用した類似著名人検索サービス、任意のテンプレート画像との合成写真作成サービスがある。占いサービス及び類似著名人検索サービスは、処理結果が電子情報として提供できるので、ネットワーク３０を介して端末装置２０に送信される。合成写真作成サービスは、利用者の希望により、合成画像データの電子情報としての提供、又はプリントととして提供を行う。電子情報の提供は、ネットワーク３０を介して行い、プリントの提供は、従来からのプリントサービスで利用される方法、例えば、配達、店頭受渡しなどの方法で提供される。プリントの提供を行う場合は、サービス処理部６０−１、６０−２で得られた合成画像情報は、図示しないプリントサーバに送られる。
【００２２】
支援情報記憶部５０は、サービス処理部６０−１、６０−２が実行する写真画像情報の編集処理又は分析処理を伴う画像処理サービスに必要な写真画像の撮影を支援する情報を、サービス毎に記憶するものである。撮影を支援する情報は、サービス処理に好適な構図の画像撮影を支援するための撮影補助画像情報を含んでいる。そして、この撮影補助画像情報は、デジタルカメラの表示装置における被写体画像との重畳表示に利用される。なお、図１では、支援情報記憶部５０をサービス管理サーバ４０と別のものとして記載したが、サービス管理サーバ４０の内部メモリ（図氏せず）を利用することにより省略も可能である。
【００２３】
端末装置２０は、サービス管理サーバ４０に対するサービス要求を行うものであり、サービス要求後、サービス管理サーバ４０からサービスに利用される画像の撮影を支援する撮影補助画像情報を含む撮影支援情報を受信し、受信した撮影支援情報をデジタルカメラ１０に送信し、デジタルカメラ１０から撮影支援情報を利用して撮影した画像情報を受信し、受信した画像情報をサービス管理サーバ４０に送信するものである。端末装置２０は、ネットワーク３０に接続可能であればよいので、個人用のパソコン、携帯電話機等の携帯端末が利用できる。
【００２４】
デジタルカメラ１０は、ＵＳＢインタフェース等による有線接続、あるいは、Bluetooth、赤外線等による近接無線接続によって端末総理２０と通信可能である。そして、端末装置２０から受信した撮影支援情報に利用した写真撮影が可能であり、撮影支援情報を利用して撮影した画像情報を端末装置２０に送信する。
【００２５】
図２は、図１のサービスシステムを構成するデジタルカメラ１０の概略構成を示す図である。図２のデジタルカメラ１０は、撮像部１１、画像メモリ１２、圧縮／伸張部１３、画像記録部１４、制御部１５、操作部１６、入出力インタフェース部１７、表示部１８を含む。
【００２６】
撮像部１１は、撮影レンズ等の光学系、ＣＣＤ等の撮像素子、及び信号処理部（いずれも図示せず）を含んで構成される。撮影レンズを介して撮像素子の受光面に結像した被写体像は、撮像素子において光電変換され、映像信号として順次読み出される。そして、信号処理部に送られ、ゲイン調整回路等によって所定のアナログ処理を施された後、Ａ／Ｄ変換され、さらにデジタル画像処理が施され、画像メモリ１２に記憶される。信号処理部におけるデジタル画像処理は、ＤＳＰによって実現される。
【００２７】
画像メモリ１２は、撮像部１１で得られたデジタル画像信号を一時的に記憶するもので、この信号に基づき表示部１８に撮影画像を表示することができる。また、画像記録部１４に記憶された画像情報を伸張処理した画像信号を記憶し、表示部１８に表示させるものである。表示部１８は、液晶パネル等で構成され、制御部１５の制御によりデジタルカメラの状態情報、操作支援情報等各種情報の表示も行う。
【００２８】
圧縮／伸張部１３は、画像メモリ１２に一時的に記憶されるデジタル画像信号を圧縮して画像記録部１４に送るとともに、画像記録部１４に記録された圧縮画像情報を伸張処理して画像メモリ１２に記憶させるものである。画像記録部１４は、撮影画像信号を圧縮処理した画像情報を、所定のファイル形式で記憶するものである。画像記録部１４は、例えばフラッシュメモリに構成され、デジタルカメラ１０に内蔵されたメモリによって構成することもできるし、メモリカード等のメディアを利用することもできる。画像記録部１４の内容は、制御部１５の制御により、入出力インタフェース部１７を介して外部に取り出すことができる。なお、画像記録部１４からの画像情報の転送のために、画像転送専用のインタフェースを別に設けてもよい。
【００２９】
制御部１５は、撮影支援情報記憶部１５１を含んで構成され、デジタルカメラ１０全体の動作を制御するもので、具体的にはプログラムによって動作するプロセッサを主体に構成される。撮影支援情報記憶部１５１には、撮影補助画像情報を含む撮影支援情報が記憶され、撮影補助画像情報は、表示部１８に撮影画像を表示する際に撮影画像と重畳表示可能である。撮影補助画像情報は、撮影画像の構図決定を支援する補助線等からなり、この補助線に被写体を合わせて撮影すると、サービスに利用するのに好適な画像を撮影することができる。
【００３０】
操作部１６は、デジタルカメラ１０の各種操作を行うもので、シャッターレリーズボタン等の撮影操作のためのもの、画像記録部１４に記憶された画像情報に基づく画像の表示操作のためのもの、プリント依頼情報の作成操作のためのものを含む。入出力インタフェース部１７は、ＵＳＢインタフェース等の有線接続、あるいは、Bluetooth、赤外線等による近接無線接続無線によってデジタルカメラ１０と外部機器との情報の授受を行うものである。
【００３１】
このように構成されたデジタルカメラ１０は、操作部１６の操作により、通常の撮影動作が可能であるとともに、端末装置２０から受信した撮影支援情報を利用した写真撮影、及び撮影支援情報を利用して撮影した画像情報を端末装置２０に送信可能である。
【００３２】
図３は、図１のサービスシステムを構成する端末装置２０の概略構成を示す図である。図３の端末装置２０は、制御部２１、入出力インタフェース部２２、情報記録装置２３、表示部２４、操作部２５、通信部２６を含むが、情報記録装置２３は、省略可能である。
【００３３】
制御部２１は、端末装置２０全体の制御を行うものであり、プログラムによって動作するプロセッサを主体に構成される。入出力インタフェース部２２は、デジタルカメラ１０の入出力インタフェース部１７と接続可能であり、デジタルカメラ１０との間で情報の送受信を行うものである。
【００３４】
情報記録装置２３は、入出力インタフェース部２２からの撮影画像情報等を記録するもので、例えばハードディスク装置で構成される。表示部２４は、端末装置２０の状態、操作ガイダンス等を表示するものである。操作部２５は、端末装置２０の各種操作を行うものである。通信部２６は、ネットワーク３０に接続され、サービス管理サーバ４０に対するサービス要求に伴う情報の送受信処理を行うものである。
【００３５】
図４に、図１のサービスシステムを構成するサービス管理サーバ４０の概略構成を示す。サービス管理サーバ４０は、制御部４１、記憶部４２、ファイル装置４３、通信部４４を備える。制御部４１は、プリント注文管理サーバ４０の動作全体を制御するもので、具体的には、記憶部４２に記憶されたプログラムにしたがって動作するプロセッサを主体に構成される。記憶部４２は、上記プログラム、プリント注文管理サーバ４０の動作を制御するための各種データが記憶されるとともに、ネットワーク３０を介して端末装置２０から送信されたサービス要求に関する情報を記憶する。サービス処理に必要な情報の一時保存領域及びプロセッサのワーク領域として使用される。
【００３６】
ファイル装置４３は、サービスシステム利用者に関する登録情報等を保持するものである。サービスシステム利用者に関する登録情報としては、利用者の氏名、住所、電子メールアドレス、合成プリントを依頼する場合の受領方法、プリント料金の支払方法等の情報が保持されている。
【００３７】
なお、図１のシステムでは、端末装置２０とデジタルカメラ１０を別の装置として記載してあるが、端末装置２０として携帯電話機等の携帯端末を利用する場合、デジタルカメラ１０を携帯端末２０に組み込んで一体にしたものとすることもできる。
【００３８】
次に、図１のサービスシステムの動作を説明する。図５は、図１のサービスシステム利用時の概略フローを示す図である。なお、ここでは、デジタルカメラ１０で撮影した画像に基づき、人相占いサービスを行うものを例に説明する。
【００３９】
顔写真情報を用いた人相占いサービスを受けようとする場合、端末装置２０のサービスメニューから、人相占いサービスを選択する（ステップ５０１）。人相占いサービスは撮影画像を利用したサービスであるので、端末装置２０は、デジタルカメラ１０との接続を確認し、接続されていなければ、接続を促すメッセージを出力する。接続されている場合は、デジタルカメラ１０の機種情報の要求をデジタルカメラ１０に対して行い（ステップ５０２）、デジタルカメラ１０から機種情報の送信を受ける（ステップ５０３）。
【００４０】
機種情報を受信すると、端末装置２０は、人相占いサービスを行うサービス管理サーバ４０へネットワークを介してアクセスし、サービス要求を送信する（ステップ５０４）。このとき、サービス依頼者に関する依頼者情報を合わせて送信する。依頼者情報としては、依頼者の氏名、住所、電子メールアドレス、プリントの作成を行う場合の作成プリントの受領方法、サービス料金の支払方法等の情報の内の必要なものを、予め表示部１８に表示されたガイダンスにしたがって、選択又は入力しておく。依頼者情報は、予めあるいは初回利用時に登録しておき、サービス利用時には登録済の依頼者識別情報のみを送信するようにすることも可能である。また、端末装置として携帯電話機を利用する場合は、携帯電話の番号を識別情報として利用することができる。
【００４１】
なお、以上の説明では、端末装置２０に、各種アプリケーションサービスのメニューがアクセス先情報とともに登録されている場合を例に説明したが、そのようなメニューが登録されていない場合は、まず管理サービスサーバ４０に接続し、サービスメニュー情報を取得し、受けようとするサービスを選択する。その後の動作は、同一であるので説明を省略する。
【００４２】
サービス要求を受信すると、サービス管理サーバ４０は、サービス要求を登録し（ステップ５０５）、受信したサービスの種類に応じた撮影支援情報を支援情報記憶部５０から取得する。撮影支援情報は、サービス処理に好適な構図の画像撮影を支援するための撮影補助画像情報を含んでいる。図６は、人相占いサービスに利用する顔画像の撮影を支援する撮影補助画像の一例である。このような撮影補助画像を表示するための撮影補助画像情報は、サービス毎、使用するデジタルカメラの機種毎に予め用意される。機種毎に用意する理由は、デジタルカメラ１０の表示部１８の表示画素数に応じた撮影補助画像の表示を簡単に行うためである。機種毎の撮影補助画像情報を用意しない場合は、端末装置２０又はデジタルカメラ１０で、表示画素数に応じた撮影画像情報の変換を行う必要がある。なお、撮影支援情報としては、撮影補助画像情報だけでなく、撮影画像の画素数等撮影処理に関する情報も記憶しておく。
【００４３】
撮影支援情報を支援情報記憶部５０から取得すると、サービス管理サーバ４０は、取得した撮影支援情報を端末装置２０に送信する（ステップ５０７）。このとき、合わせてサービス要求受付情報を端末装置２０に送信し、端末装置２０とサービス管理サーバ４０との通信を一旦終了する。サービス要求受付情報は、個別のサービス要求それぞれを識別するための情報で、後で受信する撮影画像情報と受付けたサービス要求とを関連付けるために利用される。
【００４４】
撮影支援情報を受信すると、端末装置２０は、受信した撮影支援情報をデジタルカメラ１０に送信し、顔画像の撮影を促す（ステップ５０８）。このとき、撮影支援情報とともに、サービス管理サーバ４０から受信したサービス要求受付情報、サービス管理サーバ４０のアドレス情報をデジタルカメラ１０に送信すると、端末装置２０とデジタルカメラ１０との通信を一旦終了することができる。撮影支援画像情報の受信後、短時間で必要な撮影ができるとは限らないので、一旦、デジタルカメラ１０と端末装置２０との接続を終了可能とするのが好ましい。
【００４５】
撮影支援情報を受信すると、デジタルカメラ１０は、撮影支援情報を撮影支援情報記憶部１５１に記憶し、撮影を開始する（ステップ５０９）。撮影時、被写体の撮影画像と撮影補助画像情報に基づく画像は、表示部１８に重畳表示される。図７に重畳表示された画像の一例を示す。このように、被写体撮影時に撮影補助画像を重畳表示することにより、サービス処理に好適な構図の撮影画像を適確に短時間で撮影可能となる。
【００４６】
撮影支援情報を利用した撮影が終了すると、デジタルカメラ１０から撮影画像情報が端末装置２０に送信される（ステップ５１０）。撮影支援情報の受信時にサービス要求受付情報、サービス管理サーバ４０のアドレス情報を受信している場合は、それらの情報も合わせて送信される。次いで、端末装置２０は、再びサービス管理サーバ４０にサクセスし、サービス要求受付情報とともにデジタルカメラ１０から受信した撮影画像情報を送信する（ステップ５１１）。
【００４７】
撮影画像情報とサービス要求受付情報を受信すると、サービス管理サーバ４０は、登録したサービス要求であることを確認後、人相占いサービスを行うサービス処理部に処理の実行を指示する（ステップ５１２）。人相占いは、例えば画像の輪郭や、部分形状の抽出を行って顔画像の特徴データを求め、特徴データと占い情報を記憶したテーブルを参照して占い結果を出力する。占い処理は、各種方法が提案されているので、適宜選択することができる。
【００４８】
サービス処理部から処理結果を取得する（ステップ５１３）と、サービス管理サーバ４０は、処理結果を端末装置２０に送信する（ステップ５１４）。端末装置２０は、受信した処理結果（占い結果）を表示部２４に表示する（ステップ５１５）ので、サービス依頼者は、撮影した顔画像に基づく人相占い結果を閲覧することができる。
【００４９】
以上説明したサービスを実施するため、端末装置２０及びデジタルカメラ１０には、所定のプログラムが必要である。このようなプログラムは、予め端末装置２０及びデジタルカメラ１０に保持しておいてもよいが、サービス管理サーバ４０に接続してサービスの要求後、サービスに必要なプログラムをサービス管理サーバ４０からダウンロードするようにしてもよい。こうすると、端末装置２０及びデジタルカメラ１０に事前に記憶させておくべき情報量を減らすことができ、記憶装置の効率的利用が可能となる。また、サービス内容の変更にも柔軟に対応することができる。
【００５０】
また、このようなサービスに対して課金を行う場合は、各種提案済のものを適宜採用できる。例えば、クレジットカードによる支払いが採用できるが、合成写真のプリントサービスの場合は、作成された画像プリントの受け取り時に受取と引換に支払いを行うようにすることもできる。
【００５１】
【発明の効果】
以上の説明から明らかなように、本発明によれば、撮影写真画像を利用したサービスを、短時間で精度よく行うことができる。
【図面の簡単な説明】
【図１】本発明のサービスシステムの実施の形態の概略全体構成を示す図
【図２】図１のサービスシステムを構成するデジタルカメラの概略構成を示す図
【図３】図１のサービスシステムを構成する端末装置の概略構成を示す図
【図４】図１のサービスシステムを構成するサービス管理サーバの概略構成を示す図
【図５】図１のサービスシステム利用時の概略フローを示す図
【図６】顔画像の撮影を支援する撮影補助画像の一例を示す図
【図７】撮影補助画像と被写体撮影画像とを重畳表示した表示画像の一例を示す図
【符号の説明】
１０・・・デジタルカメラ
１１・・・撮像部
１２・・・画像メモリ
１３・・・圧縮／伸張部
１４・・・画像記録部
１５・・・制御部
１６・・・操作部
１７・・・入出力インタフェース部
１８・・・表示部
２０・・・端末装置
２１・・・制御部
２２・・・入出力インタフェース部
２３・・・情報記録装置
２４・・・表示部
２５・・・操作部
２６・・・通信部
３０・・・ネットワーク
４０・・・サービス管理サーバ
４１・・・制御部
４２・・・記憶部
４３・・・ファイル装置
４４・・・通信部
５０・・・支援情報記憶部
６０−１、６０−２・・・サービス処理部
１５１・・・撮影支援情報記憶部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image use service system that performs a service using image information transmitted via a network, and a terminal device used for the service.
[0002]
[Prior art]
As a service using photographic image information transmitted via a network, a print service has been conventionally realized. However, recently, a service involving editing processing or analysis processing of photographic image information transmitted is also performed. It has become. As a service that involves editing processing, there is a service that combines a predetermined template image and provides the client with a print based on the created composite image information or the composite image information. In addition, as services involving analysis processing, there are fortune-telling services using face images or hand images, and similar celebrity search services using face images.
[0003]
In order to perform photographic image information editing processing or analysis processing, a photographic image having a predetermined composition is preferable from the viewpoint of processing amount and processing accuracy. For example, when performing synthesis processing with a template image, it is preferable to obtain a desired composite image by superimposing photographic images taken by the user as they are, and for this purpose, the photographic subject is placed at a predetermined position at a predetermined size. Now it needs to be taken. In addition, when performing analysis processing such as fortune-telling using facial images, fortune-telling using hand images, and similar celebrity search using facial images, image contours and partial shapes are extracted. In this case, in order to improve the analysis accuracy, it is necessary that the size of the face or hand is a predetermined size and the position is arranged at a predetermined position.
[0004]
On the other hand, since it is not always easy for a general user to perform shooting with a desired composition, auxiliary image information is stored in the digital camera and the desired auxiliary image information is displayed on the display unit of the digital camera. Thus, a digital camera that can be used as a reference when determining the composition has been proposed (see, for example, Japanese Patent Application Laid-Open No. 10-243274). However, even in this case, auxiliary image information for a photographic image having a composition necessary for the service is not always stored in the digital camera, and it is not easy to select them because they are stored.
[0005]
[Problems to be solved by the invention]
The present invention has been made in view of the above circumstances, and provides a photographed image utilization service system capable of accurately performing a service using a photographed photograph image in a short time and a terminal device used for the service.
[0006]
[Means for Solving the Problems]
An image use service system of the present invention performs a service using image information transmitted via a network, and is connected to the network and manages a service, and an image information editing server A service processing unit that executes a service process involving processing or an analysis process, and a support information storage unit that stores shooting support information including shooting auxiliary image information that supports shooting of an image used by the service processing unit, When the service management server receives a service request from a terminal device connected to the network, the service management server acquires shooting support information corresponding to the requested service from the support information storage unit. Along with service request acceptance information, which is information for identifying individual service requests The image information transmitted to the terminal device and photographed using the transmitted photographing support information Along with the service request acceptance information When received, the service processing unit is caused to execute service processing using the received image information.
[0007]
In the image utilization service system of the present invention, image information for supporting image photographing with a composition suitable for the service processing is used as the photographing auxiliary image information.
[0008]
The photographing auxiliary image information in the image utilization service system of the present invention is used for superimposed display with a subject image on a display device of a digital camera.
[0009]
The service in the image utilization service system of the present invention is a fortune telling service using face photograph image information or palm photograph image information, and the service management server transmits a fortune telling result executed by the service processing unit to the terminal device. To do.
[0010]
In the image use service system of the present invention, the service is a similar celebrity search service using face photo image information, and the service management server transmits a search result executed by the service processing unit to the terminal device. It is.
[0011]
The service in the image utilization service system of the present invention is a composite photo creation service with an arbitrary template image, and the service management server transmits composite photo image information executed by the service processing unit to the terminal device. It is.
[0012]
The service in the image utilization service system of the present invention is a composite photo creation service with an arbitrary template image, and the service processing unit instructs print creation based on the composite photo information.
[0013]
In the image utilization service system of the present invention, the support information storage unit stores the shooting support information corresponding to the model of the digital camera. The service request from the terminal device includes a digital camera used for image shooting. Information indicating the model of the digital camera is included, and the service management server acquires the photographing support information corresponding to the information indicating the model of the digital camera included in the service request from the support information storage unit, and the terminal device To send to.
[0014]
The terminal device of the present invention requests a service using image information transmitted via a network, and is accessible to a service management server that manages the service connected to the network. Shooting support information including shooting auxiliary image information that is communicable with a digital camera and supports shooting of an image used for the service in response to a service request to the service management server. Along with service request acceptance information, which is information for identifying individual service requests The shooting support information received and received And the service request reception information Is transmitted to the digital camera, and image information captured from the digital camera using the imaging support information And the service request reception information And the received image information And the service request reception information Is transmitted to the service management server.
[0015]
The terminal device of the present invention is portable and can communicate with the digital camera by short-range wireless communication or by wired connection.
[0016]
The terminal device of the present invention is portable and formed integrally with the digital camera.
[0017]
The terminal device according to the present invention receives, as the photographing auxiliary image information, image information that supports image photographing with a composition suitable for execution of the service, and the photographing auxiliary image information is stored in a display device of a digital camera. It is used for superimposed display with a subject image.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a diagram showing a schematic overall configuration of an embodiment of a service system of the present invention. A service management server 40 is connected to the network 30, and a support information storage unit 50 and service processing units 60-1 and 60-2 are connected to the service management server 40. Further, the terminal device 20 can be connected to the network 30, and the digital camera 10 can be connected to the terminal device 20.
[0019]
The service management server 40 receives and manages a service involving image information editing processing or analysis processing. When a service request is received from the terminal device 20, the service management server 40 receives shooting support information corresponding to the received service request as support information. When the image information acquired from the storage unit 50 and transmitted to the terminal device 20 and captured using the transmitted imaging support information is received, service processing using the received image information is performed on the service processing units 60-1 and 60. -2 is executed.
[0020]
The service processing units 60-1 and 60-2 execute an image processing service that involves editing processing or analysis processing of photographic image information, and are mainly configured by a processor that operates based on a predetermined program. In FIG. 1, the two service processing units 60-1 and 60-2 are described as separate units connected to the service management server 40. However, the service processing units 60-1 and 60-2 can be configured by one processor. Depending on the capability of the management server 40, the service management server 40 can also be used. Further, the number of service processing units is not limited to two, and may be one or three or more. Further, in FIG. 1, two service processing units 60-1 and 60-2 are directly connected to the service management server 40, but the service processing units 60-1 and 60-2 are connected to the network 30 or another network. You may connect to the service management server 40 via
[0021]
Examples of the image processing service that includes editing or analysis processing of photographic image information executed by the service processing units 60-1 and 60-2 include fortune-telling service using facial photographic image information or palm photographic image information, and facial photographic image information. There are similar celebrity search services using, and composite photo creation services with arbitrary template images. Since the fortune-telling service and the similar celebrity search service can provide processing results as electronic information, they are transmitted to the terminal device 20 via the network 30. The composite photo creation service provides composite image data as electronic information or print as desired by the user. The electronic information is provided via the network 30, and the print is provided by a method used in a conventional print service, for example, a delivery method or a delivery at a store. When providing prints, the composite image information obtained by the service processing units 60-1 and 60-2 is sent to a print server (not shown).
[0022]
The support information storage unit 50 stores, for each service, information for supporting photographing of a photographic image necessary for an image processing service involving editing processing or analysis processing of photographic image information executed by the service processing units 60-1 and 60-2. It is something to remember. The information for supporting shooting includes shooting auxiliary image information for supporting shooting of an image having a composition suitable for service processing. The photographing auxiliary image information is used for superimposed display with the subject image on the display device of the digital camera. In FIG. 1, the support information storage unit 50 is described as being separate from the service management server 40, but may be omitted by using an internal memory (not shown) of the service management server 40.
[0023]
The terminal device 20 makes a service request to the service management server 40. After the service request, the terminal device 20 receives from the service management server 40 shooting support information including shooting assistance image information that supports shooting of an image used for the service. The received shooting support information is transmitted to the digital camera 10, image information captured using the shooting support information is received from the digital camera 10, and the received image information is transmitted to the service management server 40. Since the terminal device 20 is only required to be connectable to the network 30, a portable terminal such as a personal computer or a mobile phone can be used.
[0024]
The digital camera 10 can communicate with the terminal prime minister 20 through a wired connection using a USB interface or the like, or a close proximity wireless connection using Bluetooth, infrared, or the like. Then, the photographing using the photographing support information received from the terminal device 20 is possible, and the image information photographed using the photographing support information is transmitted to the terminal device 20.
[0025]
FIG. 2 is a diagram showing a schematic configuration of the digital camera 10 constituting the service system of FIG. 2 includes an imaging unit 11, an image memory 12, a compression / decompression unit 13, an image recording unit 14, a control unit 15, an operation unit 16, an input / output interface unit 17, and a display unit 18.
[0026]
The imaging unit 11 includes an optical system such as a photographing lens, an imaging element such as a CCD, and a signal processing unit (none of which is shown). The subject image formed on the light receiving surface of the image sensor via the photographing lens is photoelectrically converted by the image sensor and sequentially read out as a video signal. Then, the signal is sent to the signal processing unit, subjected to predetermined analog processing by a gain adjustment circuit or the like, A / D converted, further subjected to digital image processing, and stored in the image memory 12. Digital image processing in the signal processing unit is realized by a DSP.
[0027]
The image memory 12 temporarily stores the digital image signal obtained by the imaging unit 11, and can display a captured image on the display unit 18 based on this signal. Further, an image signal obtained by decompressing the image information stored in the image recording unit 14 is stored and displayed on the display unit 18. The display unit 18 is configured by a liquid crystal panel or the like, and also displays various information such as digital camera status information and operation support information under the control of the control unit 15.
[0028]
The compression / decompression unit 13 compresses the digital image signal temporarily stored in the image memory 12 and sends it to the image recording unit 14, and decompresses the compressed image information recorded in the image recording unit 14 to perform image processing. 12 is stored. The image recording unit 14 stores image information obtained by compressing a captured image signal in a predetermined file format. The image recording unit 14 is configured by a flash memory, for example, and can be configured by a memory built in the digital camera 10, or a medium such as a memory card can be used. The contents of the image recording unit 14 can be taken out via the input / output interface unit 17 under the control of the control unit 15. Note that an interface dedicated to image transfer may be provided separately for transferring image information from the image recording unit 14.
[0029]
The control unit 15 includes a photographing support information storage unit 151, and controls the overall operation of the digital camera 10. Specifically, the control unit 15 is configured mainly by a processor that operates according to a program. Shooting support information including shooting assistance image information is stored in the shooting support information storage unit 151, and the shooting assistance image information can be superimposed on the shot image when the shot image is displayed on the display unit 18. The auxiliary photographing image information includes auxiliary lines that support the determination of the composition of the photographed image. If an object is photographed with the auxiliary line, an image suitable for use in the service can be taken.
[0030]
The operation unit 16 performs various operations of the digital camera 10, for shooting operations such as a shutter release button, for displaying images based on image information stored in the image recording unit 14, and for printing Includes information for creating request information. The input / output interface unit 17 exchanges information between the digital camera 10 and an external device through a wired connection such as a USB interface or a proximity wireless connection wireless such as Bluetooth or infrared.
[0031]
The digital camera 10 configured as described above can perform a normal shooting operation by operating the operation unit 16, and can use the shooting support information received from the terminal device 20 and the shooting support information. The image information captured in this way can be transmitted to the terminal device 20.
[0032]
FIG. 3 is a diagram showing a schematic configuration of the terminal device 20 constituting the service system of FIG. The terminal device 20 of FIG. 3 includes a control unit 21, an input / output interface unit 22, an information recording device 23, a display unit 24, an operation unit 25, and a communication unit 26, but the information recording device 23 can be omitted.
[0033]
The control unit 21 controls the terminal device 20 as a whole, and is configured mainly by a processor that operates according to a program. The input / output interface unit 22 can be connected to the input / output interface unit 17 of the digital camera 10, and transmits / receives information to / from the digital camera 10.
[0034]
The information recording device 23 records photographic image information and the like from the input / output interface unit 22, and is constituted by, for example, a hard disk device. The display unit 24 displays the state of the terminal device 20, operation guidance, and the like. The operation unit 25 performs various operations of the terminal device 20. The communication unit 26 is connected to the network 30 and performs transmission / reception processing of information accompanying a service request to the service management server 40.
[0035]
FIG. 4 shows a schematic configuration of the service management server 40 constituting the service system of FIG. The service management server 40 includes a control unit 41, a storage unit 42, a file device 43, and a communication unit 44. The control unit 41 controls the entire operation of the print order management server 40. Specifically, the control unit 41 is mainly composed of a processor that operates according to a program stored in the storage unit 42. The storage unit 42 stores the program and various data for controlling the operation of the print order management server 40, and stores information related to service requests transmitted from the terminal device 20 via the network 30. It is used as a temporary storage area for information necessary for service processing and a work area for the processor.
[0036]
The file device 43 holds registration information related to the service system user. The registration information related to the service system user includes information such as the user's name, address, e-mail address, receipt method when requesting a composite print, and payment method of the print fee.
[0037]
In the system of FIG. 1, the terminal device 20 and the digital camera 10 are described as separate devices. However, when a mobile terminal such as a mobile phone is used as the terminal device 20, the digital camera 10 is incorporated into the mobile terminal 20. It can also be integrated.
[0038]
Next, the operation of the service system of FIG. 1 will be described. FIG. 5 is a diagram showing a schematic flow when the service system of FIG. 1 is used. Here, an example in which a fortune-telling service is performed based on an image captured by the digital camera 10 will be described.
[0039]
In order to receive a fortune telling service using face photo information, the fortune telling service is selected from the service menu of the terminal device 20 (step 501). Since the fortune-telling service is a service that uses a photographed image, the terminal device 20 confirms the connection with the digital camera 10, and if not connected, outputs a message prompting the connection. If it is connected, a request for model information of the digital camera 10 is made to the digital camera 10 (step 502), and transmission of model information is received from the digital camera 10 (step 503).
[0040]
Upon receiving the model information, the terminal device 20 accesses the service management server 40 that provides the fortune-telling service via the network and transmits a service request (step 504). At this time, requester information regarding the service requester is also transmitted. As the requester information, necessary information of the requester's name, address, e-mail address, receipt method of the created print when creating the print, payment method of the service fee, etc. is displayed in advance on the display unit 18. Select or enter in accordance with the guidance displayed on the screen. The requester information can be registered in advance or at the first use, and only the registered requester identification information can be transmitted when using the service. When a mobile phone is used as the terminal device, the mobile phone number can be used as identification information.
[0041]
In the above description, the case where the menu of various application services is registered with the access destination information in the terminal device 20 has been described as an example. However, when such a menu is not registered, first, the management service server The service menu information is acquired, and the service to be received is selected. Since the subsequent operation is the same, the description thereof is omitted.
[0042]
When the service request is received, the service management server 40 registers the service request (step 505), and acquires shooting support information corresponding to the received service type from the support information storage unit 50. The shooting support information includes shooting assistance image information for supporting shooting of an image having a composition suitable for service processing. FIG. 6 is an example of a photographing auxiliary image that supports photographing of a face image used for a fortune telling service. The shooting assistance image information for displaying such a shooting assistance image is prepared in advance for each service and each model of the digital camera to be used. The reason for preparing for each model is to easily display a photographing auxiliary image corresponding to the number of display pixels of the display unit 18 of the digital camera 10. When shooting auxiliary image information for each model is not prepared, the terminal device 20 or the digital camera 10 needs to convert the shooting image information in accordance with the number of display pixels. Note that as shooting support information, not only shooting assistance image information but also information related to shooting processing such as the number of pixels of a shot image is stored.
[0043]
When the shooting support information is acquired from the support information storage unit 50, the service management server 40 transmits the acquired shooting support information to the terminal device 20 (step 507). At this time, service request acceptance information is also transmitted to the terminal device 20, and communication between the terminal device 20 and the service management server 40 is temporarily terminated. The service request acceptance information is information for identifying each individual service request, and is used for associating captured image information received later with the accepted service request.
[0044]
Upon receiving the shooting support information, the terminal device 20 transmits the received shooting support information to the digital camera 10 and prompts the face image to be shot (step 508). At this time, when the service request reception information received from the service management server 40 and the address information of the service management server 40 are transmitted to the digital camera 10 together with the photographing support information, the communication between the terminal device 20 and the digital camera 10 is temporarily terminated. Can do. Since it is not always possible to perform necessary shooting in a short time after receiving the shooting support image information, it is preferable that the connection between the digital camera 10 and the terminal device 20 can be once ended.
[0045]
Upon receiving the shooting support information, the digital camera 10 stores the shooting support information in the shooting support information storage unit 151 and starts shooting (step 509). At the time of shooting, an image based on the shot image of the subject and the auxiliary shooting image information is displayed on the display unit 18 in a superimposed manner. FIG. 7 shows an example of the superimposed image. As described above, by superimposing and displaying the photographing auxiliary image when photographing the subject, it is possible to photograph the photographed image having a composition suitable for the service processing in a short time.
[0046]
When shooting using the shooting support information is completed, the shot image information is transmitted from the digital camera 10 to the terminal device 20 (step 510). If the service request acceptance information and the address information of the service management server 40 are received when the imaging support information is received, the information is also transmitted together. Next, the terminal device 20 again accesses the service management server 40 and transmits the captured image information received from the digital camera 10 together with the service request acceptance information (step 511).
[0047]
When the captured image information and the service request acceptance information are received, the service management server 40 confirms that it is a registered service request, and then instructs the service processing unit that performs the fortune-telling service to execute the process (step 512). Fortune telling, for example, the image contour and partial shape are extracted to obtain facial image feature data, and a fortune-telling result is output with reference to a table storing the feature data and fortune-telling information. Various methods have been proposed for the fortune-telling process, and can be selected as appropriate.
[0048]
When the processing result is acquired from the service processing unit (step 513), the service management server 40 transmits the processing result to the terminal device 20 (step 514). Since the terminal device 20 displays the received processing result (fortune telling result) on the display unit 24 (step 515), the service requester can view the fortune telling result based on the photographed face image.
[0049]
In order to implement the services described above, the terminal device 20 and the digital camera 10 need a predetermined program. Such a program may be stored in the terminal device 20 and the digital camera 10 in advance, but after connecting to the service management server 40 and requesting a service, the program necessary for the service is downloaded from the service management server 40. You may do it. In this way, the amount of information that should be stored in advance in the terminal device 20 and the digital camera 10 can be reduced, and the storage device can be used efficiently. In addition, it is possible to flexibly cope with changes in service contents.
[0050]
Further, when charging for such a service, various proposed ones can be adopted as appropriate. For example, payment by a credit card can be employed, but in the case of a composite photo print service, payment can be made in exchange for receipt when the created image print is received.
[0051]
【The invention's effect】
As is apparent from the above description, according to the present invention, a service using a photographed photographic image can be performed accurately in a short time.
[Brief description of the drawings]
FIG. 1 is a diagram showing a schematic overall configuration of an embodiment of a service system of the present invention.
FIG. 2 is a diagram showing a schematic configuration of a digital camera constituting the service system of FIG.
FIG. 3 is a diagram showing a schematic configuration of a terminal device constituting the service system of FIG. 1;
4 is a diagram showing a schematic configuration of a service management server that constitutes the service system of FIG. 1;
FIG. 5 is a diagram showing a schematic flow when using the service system of FIG. 1;
FIG. 6 is a diagram illustrating an example of a shooting assistance image that supports shooting of a face image;
FIG. 7 is a diagram illustrating an example of a display image in which a shooting auxiliary image and a subject shooting image are superimposed and displayed.
[Explanation of symbols]
10. Digital camera
11 ... Imaging unit
12. Image memory
13: Compression / decompression unit
14: Image recording unit
15 ... Control part
16 ... operation part
17 ... I / O interface section
18 ... Display section
20 ... Terminal device
21 ... Control unit
22 ... I / O interface section
23. Information recording device
24 ... Display section
25 ... operation unit
26 ... Communication part
30 ... Network
40: Service management server
41 ... Control unit
42... Storage unit
43 ... File device
44 ... Communication Department
50: Support information storage unit
60-1, 60-2 ... Service processing unit
151... Photographing support information storage unit

Claims

An image use service system for providing a service using image information transmitted via a network,
A service management server connected to the network and managing the service;
A service processing unit for executing a service process involving an image information editing process or an analysis process;
A support information storage unit that stores shooting support information including auxiliary shooting image information that supports shooting of an image used by the service processing unit;
When the service management server receives a service request from a terminal device connected to the network, the service management server acquires shooting support information corresponding to the requested service from the support information storage unit , and identifies an individual service request When the image information photographed using the transmitted photographing support information is received together with the service request acceptance information, the received image information is used together with the service request acceptance information which is information for performing An image use service system that causes the service processing unit to execute the service processing.

The image utilization service system according to claim 1,
The image capturing service system, wherein the image capturing auxiliary image information is image information that supports image capturing with a composition suitable for the service processing.

The image utilization service system according to claim 2,
The image capturing service system, wherein the photographing auxiliary image information is used for superimposed display with a subject image on a display device of a digital camera.

The image utilization service system according to any one of claims 1 to 3,
The service is a fortune-telling service using face photo image information or palm photo image information,
The image management service system, wherein the service management server transmits a fortune-telling result executed by the service processing unit to the terminal device.

The image utilization service system according to any one of claims 1 to 3,
The service is a similar celebrity search service using face photo image information,
The image management service system, wherein the service management server transmits a search result executed by the service processing unit to the terminal device.

The image utilization service system according to any one of claims 1 to 3,
The service is a composite photo creation service with an arbitrary template image,
The image management service system, wherein the service management server transmits composite photograph image information executed by the service processing unit to the terminal device.

The image utilization service system according to any one of claims 1 to 3,
The service is a composite photo creation service with an arbitrary template image,
The image processing service system, wherein the service processing unit instructs print creation based on the composite photograph information.

The image utilization service system according to any one of claims 1 to 7,
The support information storage unit stores the shooting support information according to the model of the digital camera,
The service request from the terminal device includes information indicating the model of the digital camera used for image shooting,
The image management service system, wherein the service management server acquires the photographing support information corresponding to information indicating a model of a digital camera included in the service request from the support information storage unit and transmits the information to the terminal device.

A terminal device that requests a service using image information transmitted via a network,
Is accessible to a service management server that manages the service connected to the network;
Can communicate with a digital camera,
In response to a service request to the service management server, shooting support information including auxiliary shooting image information that supports shooting of an image used for the service is service request acceptance information that is information for identifying individual service requests. And receiving the image capturing support information and the service request reception information received to the digital camera, receiving image information captured using the image capturing support information and the service request reception information from the digital camera, A terminal device that transmits the received image information and the service request acceptance information to the service management server.

The terminal device according to claim 9,
Portable and
A terminal device capable of communicating with the digital camera by near field communication.

The terminal device according to claim 9,
Portable and
A terminal device wired to the digital camera.

The terminal device according to claim 9,
Portable and
A terminal device formed integrally with the digital camera.

The terminal device according to any one of claims 9 to 12,
The image capturing service system, wherein the photographing auxiliary image information is image information that supports photographing of a composition suitable for execution of the service.

The terminal device according to claim 13,
The photographing auxiliary image information is a terminal device used for superimposed display with a subject image on a display device of a digital camera.