JP4140511B2 - 合成画像提供システム、合成画像生成プログラム、情報処理装置及びデータキャリア - Google Patents

合成画像提供システム、合成画像生成プログラム、情報処理装置及びデータキャリア Download PDF

Info

Publication number
JP4140511B2
JP4140511B2 JP2003379220A JP2003379220A JP4140511B2 JP 4140511 B2 JP4140511 B2 JP 4140511B2 JP 2003379220 A JP2003379220 A JP 2003379220A JP 2003379220 A JP2003379220 A JP 2003379220A JP 4140511 B2 JP4140511 B2 JP 4140511B2
Authority
JP
Japan
Prior art keywords
color
information
area
color conversion
identification information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003379220A
Other languages
English (en)
Other versions
JP2004171560A (ja
JP2004171560A5 (ja
Inventor
元井成幸
Original Assignee
有限会社元井創研
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 有限会社元井創研 filed Critical 有限会社元井創研
Priority to JP2003379220A priority Critical patent/JP4140511B2/ja
Priority to PCT/JP2003/014411 priority patent/WO2004034300A1/ja
Priority to AU2003299516A priority patent/AU2003299516A1/en
Publication of JP2004171560A publication Critical patent/JP2004171560A/ja
Publication of JP2004171560A5 publication Critical patent/JP2004171560A5/ja
Application granted granted Critical
Publication of JP4140511B2 publication Critical patent/JP4140511B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087Inventory or stock management, e.g. order filling, procurement or balancing against orders

Landscapes

  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Finance (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

本発明は、利用者が登録した顔画像等の画像に口紅等の着色商品に対応する画像合成処理を施して合成画像を生成し、その合成画像を利用者に携帯端末で提供する合成画像提供システム、及び合成画像を提供するための合成画像生成プログラム、情報処理装置及びデータキャリアに関する。
利用者が登録した顔画像等の画像に口紅等の着色商品に対応する画像合成処理を施して合成画像を生成し、その合成画像を利用者に携帯端末で提供することに関連する技術文献として特許文献1、2、利用者の顔画像に着色商品に対応する画像合成処理を施して合成画像を生成し表示部で表示することに関連する技術文献として特許文献3〜5があり、その他の参考技術文献として、特許文献6〜9がある。
特許文献1には、サーバーが、利用者の顔画像を携帯電話等の利用者の端末から受信し、利用者の顔画像を分析して特徴量に基づき分類した複数の印象パターンの何れに分類されるか決定し、決定された利用者の印象パターンと、利用者の印象パターンを含む複数の印象パターンそれぞれに対応する好ましいメイクパターン若しくはモデルに各メイクパターンによるメイクアップをそれぞれ施したモデル顔画像を端末に送信すると共に、端末の画面でメイクパターンの選択を促し、利用者に選択されたメイクパターンを条件に仮想的なメイクアップを施した合成画像を生成して端末に送信し、合成画像を承認する旨の回答を受信した場合に、同一のメイクアップを実現する商品や方法に関する情報を送信し、承認しない旨の回答を受信した場合には、利用者の希望に沿った合成画像の修正及び送信を所定回数繰り返すことが記載され、更に、商品等に関する情報の一部がバーコード等のコード情報として携帯端末に表示可能に表示し、化粧品店等の店頭でコード情報から得られる情報に基づきサービスを提供すること、及び合成画像のメイクアップを実現する商品をウェブページで発注可能にすることが記載されている。
特許文献2には、サーバーが、利用者の顔画像を携帯電話等の利用者の端末から受信し、利用者の顔画像や問診票、商品購入履歴若しくはシステム利用履歴に応じて選択可能な複数のメイクパターンを決定し、複数のメイクパターンの中から利用者若しくはサーバーが選択したメイクパターンで、公知の画像処理技術により顔画像に仮想的にメイクアップを施した合成画像を生成して端末に送信し、合成画像を承認する旨の回答を受信した場合に、同一のメイクアップを実現する商品や方法に関する情報を送信し、承認しない旨の回答を受信した場合には、利用者の希望に沿った合成画像の修正及び送信を所定回数繰り返すことが記載されている。
特許文献3、4には、撮像部で撮像した利用者の顔画像等のメイクアップ部を表示部に表示し、メイクアップ部の色を変色させる範囲の唇の形状など形状パターン及び指定できる色パターンが予め登録され、ライトペンやマウス等による形状パターンの指定、位置調整、色パターンの指定に応じて、メイクアップが施されたメイクアップ部の合成画像を生成し、その合成画像を表示部で表示するシステムが記載され、更に、その従来技術として色を変色させる範囲をマウスやライトペン等で指示していたことが記載されている。
特許文献5には、利用者の顔を撮像する撮像部と、撮像部で撮像された利用者の顔画像を表示する表示部と、表示部で表示された利用者の顔画像に仮想的にメイクアップを施す手段と、メイクアップによる顔の変化を表すメイクアップデータ画像が複数蓄積されたメモリを備え、仮想的にメイクアップを施す手段が、メモリに蓄積されたメイクアップデータ画像の何れかを選択し、利用者の顔画像に適合するように変形させ利用者の顔画像と合成するシステムが記載され、更に、前記メイクアップデータ画像がメイクアップを施したモデルの顔画像からモデルのメイクアップ前の顔画像を除去した画像であること、及び画像合成で用いるメイクアップデータ画像の透過率に実測値を用いることが記載されている。
尚、特許文献6には、顔画像から顔領域のエッジ画像を生成し、Y軸投影でエッジのヒストグラムを生成して顔の各部位のY座標を検索し、所要部位の特徴点を抽出して口を含むY座標位置に唇候補領域を仮設定し、鼻の下端と口の上端との間で且つ口の両端間等の所定範囲から肌色情報及びその平均値を取得し、肌色情報の平均値に対する唇候補領域の画素の色の偏差を取得し、偏差が閾値を超えた場合に唇領域と判定して抽出することが記載されている。
また、特許文献7には、顔画像の輝度情報にSobelフィルタ等でフィルタ処理を実行してエッジを検出し、最も外側のエッジより外側の部分を背景として分離し、背景を分離した顔画像をYIQ表色系へ色変換してQ軸に関する濃度値の累積ヒストグラムを生成し、その累積ヒストグラムに所定閾値で閾値処理することにより唇候補領域を決定し、更に、唇候補領域についてQ軸に関する濃度値の累積ヒストグラムを生成し、その累積ヒストグラムに所定閾値で閾値処理することにより唇領域を抽出することや、適宜の構成で唇候補領域を決定した後、前記唇候補領域とその周辺を含むように第2の唇候補領域を決定し、前記唇候補領域の色成分ヒストグラムと前記第2の唇候補領域の色成分ヒストグラムを生成して両者の差分ヒストグラムを生成し、差分ヒストグラムのピーク値に所定係数を乗算して閾値を取得し、前記唇候補領域の色成分ヒストグラムの色成分のうち前記閾値より唇の色成分によるピーク側にある色成分の領域を唇領域として抽出することが記載されている。
また、特許文献8には、ファッション誌等に示された洋服等の表示物のイメージを記憶するデータベースと、利用者に関連する情報を記憶するデータベースと、ウェブサーバーで体験ウェブサイトを構築すると共に、利用者のコンピュータ側又は体験ウェブサイト側に、利用者の身体サイズに基づき作成するモデル画像に利用者の顔画像を合わせた人体モデルへ洋服等のイメージ画像を付加して重ね合わせ合成画像を生成するバーチャル体験実行部を設け、利用者のコンピュータで体験ウェブサイトにアクセスし、ファッション誌等に記載された表示物の番号を入力してイメージ画像を取得し、合成画像を生成及び表示するシステムが記載され、更に、家具、人や車のアクセサリ、タイヤホイール等でも合成画像を生成できることが記載されている。
また、特許文献9には、商品と関連付けて設けられているRFIDにアクセス先情報と商品IDが記憶され、携帯電話は、RFIDリーダーでRFIDのアクセス先情報と商品IDを取り込み、アクセス先情報の抽出に応じて商品情報サーバーに自動的にアクセスし、RFIDから受信した商品IDを商品情報サーバーに送信すると共に、商品情報サーバーは、商品IDに基づき商品情報データベースを検索し、商品に関連付けられた情報を読み出して携帯電話に返信し、返信された商品情報が携帯電話で表示されるシステムが記載されている。
特開2002−132916号公報 特開2002−092132号公報 特開昭63−80692号公報 特開昭64−4189号公報 特開2000−194835号公報 特開2000−11145号公報 特開2000−348173号公報 特開2002−24640号公報 特開2003−198451号公報
ところで、消費者が、好みの口紅等を店舗で見つけ、或は好みの口紅等の記載を雑誌で見つけ、その口紅等の着色商品をその場で試用したくなる場合が多い。即ち、遍在的な場所で着色商品の試用状態を確認したいという消費者の強い需要がある。更に、消費者の興味の経時的な移り変わりは早いため、着色商品の試用状態を消費者に確認させ、商品の印象度を高めるには、ほぼリアルタイムで迅速に試用状態を確認させることが必要である。
本発明は上記課題に鑑み提案するものであって、携帯端末の利用者に遍在的な場所で着色商品の試用状態を確認させることを可能にすると共に、その試用状態をほぼリアルタイムで迅速に利用者に確認させることを可能にする合成画像提供システム、及び合成画像提供システムに関連する合成画像生成プログラム、情報処理装置、データキャリアを提供することを目的とする。
本発明の合成画像提供システムは、携帯端末で表示される合成画像を提供時に情報の取込をデータキャリアからのローカルな情報の取込だけで提供するためのシステムであって、色変換領域及び該色変換領域の領域識別情報(領域番号等の領域ID)を予め付加設定された対象画像を格納する手段と、指定された対象画像を抽出する手段と、データキャリアから取り込んだ色変換領域の領域識別情報及び該領域識別情報に対応設定された色情報を認識し、該抽出した対象画像について該認識した色変換領域の領域識別情報と対応する付加設定された色変換領域を認識し、該認識した色変換領域の画素に該認識した色情報を加算、若しくは該認識した色変換領域の画素に該認識した色情報を所定の透過率で加算、若しくは該認識した色変換領域の画素を該認識した色情報に置換して色変換することにより合成画像を生成する手段と、生成した合成画像を表示する手段とを有する携帯端末と、着色商品に関連付けて設けられ、色変換領域の領域識別情報(領域番号等の領域ID)及び該領域識別情報に対応設定された着色商品の色に対応する色情報を携帯端末で取込可能に格納するデータキャリアと、を備えることを特徴とする。
更に、本発明の合成画像提供システムは、複数種の色変換領域及び各色変換領域の領域識別情報を予め付加設定された対象画像を格納する手段と、複数種の色変換領域の中からデータキャリアから取り込んで認識した色変換領域の領域識別情報と対応する色変換領域を認識する手段とを有する携帯端末を備えることを特徴とする。
更に、本発明の合成画像提供システムは、データキャリアから取り込んだ色変換領域の領域識別情報及び該領域識別情報に対応設定された色情報と透過率を認識し、該抽出した対象画像について該認識した色変換領域の領域識別情報と対応する付加設定された色変換領域を認識し、該認識した色変換領域の画素に該認識した色情報を該認識した透過率で加算して色変換することにより合成画像を生成する手段とを有する携帯端末と、着色商品に関連付けて設けられ、色変換領域の領域識別情報及び該領域識別情報に対応設定された着色商品の色に対応する色情報と透過率を携帯端末で取込可能に格納するデータキャリアと、を備えることを特徴とする。
また、本発明の合成画像生成プログラムは、携帯端末で表示される合成画像を生成時に情報の取込をデータキャリアからのローカルな情報の取込だけで生成するプログラムであって、色変換領域及び該色変換領域の領域識別情報を予め付加設定された対象画像を格納する手段と、指定された対象画像を抽出する手段と、着色商品に関連付けて設けられ且つ色変換領域の領域識別情報及び該領域識別情報に対応設定された着色商品の色に対応する色情報を格納するデータキャリアから取り込んだ色変換領域の領域識別情報及び該領域識別情報に対応設定された色情報を認識し、該抽出した対象画像について該認識した色変換領域の領域識別情報と対応する付加設定された色変換領域を認識し、該認識した色変換領域の画素に該認識した色情報を加算、若しくは該認識した色変換領域の画素に該認識した色情報を所定の透過率で加算、若しくは該認識した色変換領域の画素を該認識した色情報に置換して色変換することにより合成画像を生成する手段と、生成した合成画像を表示する手段として携帯端末を機能させることを特徴とする。
更に、本発明の合成画像生成プログラムは、複数種の色変換領域及び各色変換領域の領域識別情報を予め付加設定された対象画像を格納する手段と、複数種の色変換領域の中からデータキャリアから取り込んで認識した色変換領域の領域識別情報と対応する色変換領域を認識する手段として携帯端末を機能させることを特徴とする。
更に、本発明の合成画像生成プログラムは、対象画像から所定の色変換領域を抽出する手段と、該抽出した色変換領域と該色変換領域の領域識別情報を対象画像に対応して付加設定する手段として携帯端末を機能させることを特徴とする。
また、本発明のデータキャリアは、色変換領域及び該色変換領域の領域識別情報を予め付加設定された対象画像を格納する手段と、指定された対象画像を抽出する手段と、データキャリアから取り込んだ色変換領域の領域識別情報及び該領域識別情報に対応設定された色情報を認識し、該抽出した対象画像について該認識した色変換領域の領域識別情報と対応する付加設定された色変換領域を認識し、該認識した色変換領域の画素に該認識した色情報を加算、若しくは該認識した色変換領域の画素に該認識した色情報を所定の透過率で加算、若しくは該認識した色変換領域の画素を該認識した色情報に置換して色変換することにより合成画像を生成する手段と、生成した合成画像を表示する手段とを有する携帯端末で、合成画像を生成時に情報の取込をデータキャリアからのローカルな情報の取込だけで生成させるためのデータキャリアであって、着色商品に関連付けて設けられ、色変換領域の領域識別情報及び該領域識別情報に対応設定された着色商品の色に対応する色情報を携帯端末で取込可能に格納するものである。
また、本発明のデータキャリアは、データキャリアから取り込んだ色変換領域の領域識別情報及び該領域識別情報に対応設定された色情報と透過率を認識し、該抽出した対象画像について該認識した色変換領域の領域識別情報と対応する付加設定された色変換領域を認識し、該認識した色変換領域の画素に該認識した色情報を該認識した透過率で加算して色変換することにより合成画像を生成する手段とを有する携帯端末で、合成画像を生成させるための請求項7記載のデータキャリアであって、着色商品に関連付けて設けられ、色変換領域の領域識別情報及び該領域識別情報に対応設定された着色商品の色に対応する色情報と透過率を携帯端末で取込可能に格納するものである。
また、本発明の情報処理装置は、色変換領域及び該色変換領域の領域識別情報を予め付加設定された対象画像を格納する手段と、指定された対象画像を抽出する手段と、着色商品に関連付けて設けられるデータキャリアから取り込んだ色変換領域の領域識別情報及び該領域識別情報に対応設定された色情報を認識し、該抽出した対象画像について該認識した色変換領域の領域識別情報と対応する付加設定された色変換領域を認識し、該認識した色変換領域の画素に該認識した色情報を加算、若しくは該認識した色変換領域の画素に該認識した色情報を所定の透過率で加算、若しくは該認識した色変換領域の画素を該認識した色情報に置換して色変換することにより合成画像を生成する手段と、生成した合成画像を表示する手段とを有する携帯端末で、合成画像を生成時に情報の取込をデータキャリアからのローカルな情報の取込だけで生成させるための情報処理装置であって、色変換領域を設定する対象画像を携帯端末から受信する手段と、対象画像から所定の色変換領域を抽出する手段と、該抽出した色変換領域と該色変換領域の領域識別情報を対象画像に対応して付加設定する手段と、携帯端末に格納される色変換領域及び該色変換領域の領域識別情報を付加設定した対象画像を携帯端末に送信する手段とを備えるものである。尚、上述した合成画像提供システム、合成画像生成プログラム、データキャリア、情報処理装置は、基本的に後述の第1、第2実施形態に対応する。
また、本発明の合成画像提供システムは、携帯端末で表示される合成画像を提供時に遠距離通信可能な通信網を用いずに且つデータキャリアからのローカルな情報の取込で提供するためのシステムであって、情報処理装置が、設定される複数種の色情報から認識した色識別情報に対応する色情報を認識して、対象画像に予め設定されている色変換領域を認識した色情報に基づき色変換して合成画像を生成する機能を携帯端末に実現させる合成画像生成プログラムを格納し、合成画像生成プログラム送信要求を携帯端末から受信し、合成画像生成プログラム送信要求に応じて携帯端末に格納される合成画像生成プログラムを抽出して携帯端末に送信し、携帯端末に格納される色識別情報に各々対応する複数種の色情報を携帯端末に送信すると共に、着色商品に関連付けて設けられるデータキャリアが、着色商品の色に対応する色情報に対応し且つ合成画像生成プログラムと協働する携帯端末で認識される色識別情報を携帯端末で取込可能に格納することを特徴とする。情報処理装置による複数種の色情報の送信は、携帯端末から送信要求の受信に基づき、若しくは定期的に、若しくは所要時に送信する構成等とすることが可能である。前記第3のシステム及び後述の対応するプログラム、情報処理装置、データキャリアは、基本的に後述の第3実施形態に対応する。
また、本発明の合成画像生成プログラムは、携帯端末で表示される合成画像を生成時に遠距離通信可能な通信網を用いずに且つデータキャリアからのローカルな情報の取込に基づき生成するプログラムであって、着色商品に関連付けて設けられているデータキャリアから取り込まれた色識別情報を認識し、設定されている複数種の色情報から色識別情報に対応する色情報を認識し、対象画像に予め設定されている色変換領域を認識した色情報に基づき色変換して合成画像を生成する機能を携帯端末に実現させることを特徴とし、更に、色情報に対応して設定されている領域識別情報から色識別情報に対応する色情報の領域識別情報を認識し、各領域識別情報に対応する複数種の色変換領域の中から該領域識別情報に対応する色変換領域を認識することを特徴とする。
また、本発明の情報処理装置は、着色商品に関連付けて設けられ、着色商品の色に対応する色情報に対応し且つ合成画像生成プログラムと協働する携帯端末で認識される色識別情報を携帯端末で取込可能に格納するデータキャリアと連携して、携帯端末で合成画像を生成時に遠距離通信可能な通信網を用いずに且つデータキャリアからのローカルな情報の取込に基づき生成させるための情報処理装置であって、設定される複数種の色情報から認識した色識別情報に対応する色情報を認識して、対象画像に予め設定されている色変換領域を認識した色情報に基づき色変換して合成画像を生成する機能を携帯端末に実現させる合成画像生成プログラムを格納し、合成画像生成プログラム送信要求を携帯端末から受信し、合成画像生成プログラム送信要求に応じて携帯端末に格納される合成画像生成プログラムを抽出して携帯端末に送信し、携帯端末に格納される色識別情報に各々対応する複数種の色情報を携帯端末に送信することを特徴とする。
また、本発明のデータキャリアは、着色商品に関連付けて設けられているデータキャリアから取り込まれた色識別情報を認識し、設定されている複数種の色情報から認識した色識別情報に対応する色情報を認識し、対象画像に予め設定されている色変換領域を認識した色情報に基づき色変換して合成画像を生成する機能を有する携帯端末で、合成画像を生成時に遠距離通信可能な通信網を用いずに且つデータキャリアからのローカルな情報の取込に基づき生成させるためのデータキャリアであって、着色商品に関連付けて設けられ、着色商品の色に対応する色情報に対応し且つ合成画像生成プログラムと協働する携帯端末で認識される色識別情報を携帯端末で取込可能に格納することを特徴とする。
また、本発明の合成画像提供システムは、携帯端末で表示される合成画像を提供するためのシステムであって、情報処理装置が、対象画像に設定されている色変換領域を認識した色情報に基づき色変換して合成画像を生成する機能を携帯端末に実現させる合成画像生成プログラムを格納し、合成画像生成プログラム送信要求を携帯端末から受信し、合成画像生成プログラム送信要求に応じて携帯端末に格納される合成画像生成プログラムを抽出して携帯端末に送信し、各色識別情報に対応する複数種の色情報を格納し、データキャリアから携帯端末に取り込まれた色識別情報を携帯端末から受信し、色識別情報に対応する色情報を抽出して携帯端末に送信すると共に、着色商品に関連付けて設けられるデータキャリアが、着色商品の色に対応する色情報に対応し且つ合成画像生成プログラムと協働する携帯端末で認識される色識別情報を携帯端末で取込可能に格納することを特徴とする。
また、本発明の合成画像生成プログラムは、携帯端末で表示される合成画像を生成するプログラムであって、携帯端末からの着色商品に関連付けて設けられているデータキャリアが格納する色識別情報の取込及びその情報処理装置への送信に基づき情報処理装置から受信する色情報を認識すると共に、格納している色変換領域が設定された対象画像の色変換領域を認識し、色変換領域を色情報に基づき色変換して合成画像を生成する機能を携帯端末に実現させることを特徴とし、更に、色識別情報の情報処理装置への送信に基づき、情報処理装置で複数種の色情報に対応して記憶され情報処理装置から受信する領域識別情報を認識し、該領域識別情報の認識に基づき、格納している対象画像に設定されている該領域識別情報の色変換領域を認識することを特徴とする。
また、本発明の情報処理装置は、着色商品に関連付けて設けられ、着色商品の色に対応する色情報に対応し且つ情報処理装置で認識される色識別情報を携帯端末で取込可能に格納するデータキャリアと連携して、対象画像に設定されている色変換領域を認識した色情報に基づき色変換して合成画像を生成する機能を携帯端末に実現させる合成画像生成プログラムと協働する携帯端末で合成画像を生成させるための情報処理装置であって、各色識別情報に対応する複数種の色情報を格納し、データキャリアから携帯端末に取り込まれた色識別情報を携帯端末から受信し、色識別情報に対応する色情報を抽出して携帯端末に送信することを特徴とし、更に、各色識別情報に対応する領域識別情報を記憶し、携帯端末から受信する色識別情報に対応する領域識別情報を抽出して携帯端末に送信することを特徴とする。
また、本発明のデータキャリアは、各色識別情報に対応する複数種の色情報を格納し、データキャリアから携帯端末に取り込まれた色識別情報を携帯端末から受信し、色識別情報に対応する色情報を抽出して携帯端末に送信する情報処理装置と連携して、対象画像に設定されている色変換領域を認識した色情報に基づき色変換して合成画像を生成する機能を携帯端末に実現させる合成画像生成プログラムと協働する携帯端末で合成画像を生成させるためのデータキャリアであって、着色商品に関連付けて設けられ、着色商品の色に対応する色情報に対応し且つ合成画像生成プログラムと協働する携帯端末で認識される色識別情報を携帯端末で取込可能に格納することを特徴とする。
また、本発明の合成画像提供システムは、携帯端末で表示される合成画像を提供するためのシステムであって、情報処理装置が、色変換領域を設定する対象画像を携帯端末から受信し、対象画像から所定の色変換領域を抽出して対象画像に設定し、色変換領域を設定した対象画像を格納し、各色識別情報に対応する複数種の色情報を格納し、データキャリアから携帯端末に取り込まれた色識別情報を携帯端末から受信し、色識別情報に対応する色情報を認識して、対象画像に設定されている色変換領域を認識した色情報に基づき色変換して合成画像を生成し、生成した合成画像を携帯端末に送信すると共に、着色商品に関連付けて設けられるデータキャリアが、着色商品の色に対応する色情報の色識別情報を携帯端末で取込可能に格納することを特徴とする。
また、本発明の情報処理装置は、着色商品に関連付けて設けられ、着色商品の色に対応する色情報の色識別情報を携帯端末で取込可能に格納するデータキャリアと連携して、携帯端末で表示される合成画像を提供するための情報処理装置であって、色変換領域を設定した対象画像を格納すると共に、各色識別情報に対応する複数種の色情報を格納し、データキャリアから携帯端末に取り込まれた色識別情報を携帯端末から受信し、色識別情報に対応する色情報を認識して、対象画像に設定されている色変換領域を認識した色情報に基づき色変換して合成画像を生成し、生成した合成画像を携帯端末に送信することを特徴とする。色変換領域を設定した対象画像は、前記色変換領域を設定する対象画像を携帯端末から受信し、対象画像から所定の色変換領域を抽出して対象画像に設定し、色変換領域を設定した対象画像を格納する構成とすると、遍在的な場所から携帯端末で対象画像を設定することができて好適であるが、店頭等や店頭端末と通信ネットワークで接続される色変換領域処理装置から、色変換領域を設定した対象画像を受信して利用者ID等に対応させ格納する構成や、店頭等の端末から受信する対象画像に対して情報処理装置が色変換領域の抽出や設定処理を施して格納する構成としてもよい。更に、各色識別情報に対応する領域識別情報を記憶し、受信した色識別情報に対応する領域識別情報を認識し、該領域識別情報に対応する色変換領域を認識し、該色変換領域を色情報に基づき色変換する構成としてもよい。
また、本発明のデータキャリアは、色変換領域を設定する対象画像を携帯端末から受信し、対象画像から所定の色変換領域を抽出して対象画像に設定し、色変換領域を設定した対象画像を格納し、各色識別情報に対応する複数種の色情報を格納し、データキャリアから携帯端末に取り込まれた色識別情報を携帯端末から受信し、色識別情報に対応する色情報を認識して、対象画像に設定されている色変換領域を認識した色情報に基づき色変換して合成画像を生成し、生成した合成画像を携帯端末に送信する情報処理装置と連携して、携帯端末で表示される合成画像を提供するためのデータキャリアであって、着色商品に関連付けて設けられ、着色商品の色に対応する色情報の色識別情報を携帯端末で取込可能に格納することを特徴とする。
また、本発明の合成画像提供システムは、携帯端末で表示される合成画像を提供するためのシステムであって、情報処理装置が、色変換領域を設定する対象画像を携帯端末から受信し、対象画像から所定の色変換領域を抽出して対象画像に設定し、色変換領域を設定した対象画像を格納し、データキャリアから携帯端末に取り込まれた色情報を携帯端末から受信し、対象画像に設定されている色変換領域を色情報に基づき色変換して合成画像を生成し、生成した合成画像を携帯端末に送信すると共に、着色商品に関連付けて設けられるデータキャリアが、着色商品の色に対応する色情報を携帯端末で取込可能に格納することを特徴とする。
また、本発明の情報処理装置は、着色商品に関連付けて設けられ、着色商品の色に対応する色情報を携帯端末で取込可能に格納するデータキャリアと連携して、携帯端末で表示される合成画像を提供するための情報処理装置であって、色変換領域を設定した対象画像を格納し、データキャリアから携帯端末に取り込まれた色情報を携帯端末から受信し、対象画像に設定されている色変換領域を色情報に基づき色変換して合成画像を生成し、生成した合成画像を携帯端末に送信することを特徴とする。上記と同様に、色変換領域を設定する対象画像は、色変換領域を設定する対象画像を携帯端末から受信し、対象画像から所定の色変換領域を抽出して対象画像に設定し、色変換領域を設定した対象画像を格納する構成とすると好適であるが、色変換領域処理装置から色変換領域を設定した対象画像を受信して格納する構成等としてもよい。更に、データキャリアから携帯端末に取り込まれた領域識別情報を携帯端末から受信し、領域識別情報に対応する色変換領域を認識し、該色変換領域を色情報に基づき色変換する構成としてもよい。
また、本発明のデータキャリアは、色変換領域を設定する対象画像を携帯端末から受信し、対象画像から所定の色変換領域を抽出して対象画像に設定し、色変換領域を設定した対象画像を格納し、データキャリアから携帯端末に取り込まれた色情報を携帯端末から受信し、対象画像に設定されている色変換領域を色情報に基づき色変換して合成画像を生成し、生成した合成画像を携帯端末に送信する情報処理装置と連携して、携帯端末で表示される合成画像を提供するためのデータキャリアであって、着色商品に関連付けて設けられ、着色商品の色に対応する色情報を携帯端末で取込可能に格納することを特徴とし、更に、色情報で色変換する色変換領域の領域識別情報を該色情報に対応して格納することを特徴とする。
また、本発明の更なる変形として、着色商品に関連付けて設けられているデータキャリアから取り込まれた、着色商品の関連情報を提供するサイトのアクセス先情報を認識し、前記色変換する色変換領域にアクセス先情報を指定入力可能に設定する機能を携帯端末に実現させる合成画像生成プログラム、或は、情報処理装置から複数種の色情報の各々に対応する等で携帯端末に設定記憶されている、着色商品の関連情報を提供するサイトのアクセス先情報から色識別情報に対応するアクセス先情報を認識し、前記色変換する色変換領域にアクセス先情報を指定入力可能に設定する機能を携帯端末に実現させる合成画像生成プログラム、或は、情報処理装置で色識別情報に対応して記憶され、色識別情報に基づき抽出及び送信される、着色商品の関連情報を提供するサイトのアクセス先情報の認識に基づき、前記色変換する色変換領域にアクセス先情報を指定入力可能に設定する機能を携帯端末に実現させる合成画像生成プログラムとし、又は、情報処理装置が、色識別情報に対応して格納する、着色商品の関連情報を提供するサイトのアクセス先情報を認識し、若しくはデータキャリアから携帯端末に取り込まれ携帯端末から受信する該アクセス先情報を認識し、前記色変換する色変換領域にアクセス先情報を指定入力可能に設定して合成画像を生成する合成画像提供システム等とすることが可能である。また、着色商品に関連付けされているデータキャリアを、店頭に陳列されている複数個の着色商品よりも少数設ける構成や、或は、情報処理装置若しくは携帯端末が、合成画像の生成に基づき自動的に、若しくは入力や受信する記憶要求に基づき、合成画像を他者へ送信可能な状態で、情報処理装置の通信接続で閲覧可能なアルバム等に対応する記憶箇所や携帯端末の画像フォルダ等に記憶する構成等としても好適である。更に、データキャリアが、一の着色商品に対応する色情報若しくは色識別情報として、該着色商品の色に対応する色情報若しくは色識別情報と該着色商品と関連する別の着色商品の色に対応する色情報若しくは色識別情報とを携帯端末で取込可能に格納する構成としてもよい。更に、データキャリアが色変換の重み付け合成で用いる色情報の透過率を携帯端末で取込可能に格納する、若しくは情報処理装置が携帯端末に格納される複数種の色情報の各々に対応する透過率を携帯端末に送信するなど、データキャリア、携帯端末若しくは情報処理装置に、色変換の重み付け合成で用いる色情報の透過率を色情報に対応して格納する構成としてもよく、更には、一の色情報に対応設定されている透過率を選択可能に複数設定してもよい。
尚、本発明の情報処理装置は、情報処理サーバーとする、若しくは別の処理を行う複数の情報処理サーバーとする、若しくは情報処理サーバーと他の装置がネットワークで接続されるネットワークコンピュータとする、若しくはサーバー以外のコンピュータである情報処理装置等とすることが可能である。また、情報処理装置と携帯端末との送受信は適宜の通信網や通信方式を介して行うことが可能であり、遠距離通信可能な通信網を介して行う場合に限定されず、情報処理装置と携帯端末に赤外線通信等の近距離光通信の通信制御部やブルートゥース(登録商標)等の近距離無線通信の通信制御部を設け、店舗等の情報処理装置と携帯端末とが近距離通信或いはローカル通信で直接接続し、必要なデータを送受信する構成としてもよい。また、携帯端末には、携帯電話や携帯情報端末が含まれる。また、本発明で用いる各種プログラムを携帯端末に設定記憶する構成は、情報処理装置からダウンロードする以外にも適宜である。また、データキャリアには、RFID等の無線ICチップと、二次元コード等のコード情報或いはコード情報記録体を含む。また、本発明の着色商品は、人を含む対象物に着色する商品と、形状が同じか画一的で商品自体が着色された商品を含む。また、本発明に於いて、各発明の構成を適用可能な範囲で別の発明の構成に追加したものや、各発明の構成を適用可能な範囲で別の発明の構成に変更したものや、各発明の構成を部分的な作用効果が得られる限度で削除したものも、本発明に含まれる。
本発明の合成画像提供システム等を用いることにより、店舗で陳列されている着色商品、雑誌・カタログ・ポスター等に記載されている着色商品、電子ペーパー等に表示されている着色商品等を携帯端末の利用者が見かけた場合に、利用者は、その場に着色商品と関連付けされて存在するデータキャリアから携帯端末で色情報や色識別情報を取り込み、予め色変換領域が設定されている対象画像の色変換領域について色変換した合成画像の表示を受けて、その場で着色商品の試用状態を確認することができる。換言すれば着色商品の試用状態を遍在的な時と場所で確認することができる。更に、予め設定されている対象画像に基づき携帯端末の簡単な操作だけで合成画像を見ることができるので、例えば利用者が店員等に合成画像の提供を頼む或いは店舗で顔画像を撮影するなど面倒な作業の必要が無く、容易且つ気軽に合成画像を確認することができる。更に、混雑した店舗など口紅など着色商品の現実の試用が困難な場合や、その場に存在しない人若しくは車など物に対する着色商品の試用状態を確認したい場合にも、その試用状態を確認することができる。
更に、予め対象画像と対象画像の色変換する色変換領域を設定することにより、利用者が合成画像の表示を受ける際に、色変換領域の抽出や設定など高度な演算処理の必要が無く、色変換領域を認識して色情報で色変換する処理で合成画像が得られる。従って、画像処理を省力化することができると共に、着色商品の試用状態の合成画像を、実際の着色より遙かに短時間で迅速に利用者へ提供することができる。特に、利用者が合成画像の表示を受ける際に、データキャリアの格納情報を携帯端末が取り込むだけで合成画像の表示を受けられる構成の場合には、着色商品の試用状態を確認したいという利用者の願望発生時から試用状態を提供するまでの時間を飛躍的に短縮化することができ、利用者の興味が着色商品から移り変わる前にリアルタイムで試用状態を確認させることができる。
そして、遍在的で迅速な合成画像の提供により、利用者の着色商品に対する利便性や娯楽性を高めて印象度を向上し、高い販促効果を得ることができる。特に、複数種の色変換領域を対象画像に設定し、各色変換領域に対応する商品の色で各色変換領域を色変換可能な構成とする場合には、利用者は所望の複数種の着色商品を組み合わせた試用状態を随時確認することが可能となり、利用者の着色商品に対する利便性・娯楽性・印象度を一層高め、複数の着色商品の組み合わせによる購入促進など、より高い販促効果を得ることができる。更に、データキャリアにデータ量が小さい色情報及び領域識別情報、又は色識別情報を記憶する構成とすることにより、記憶容量不足の不都合が生ずることを回避することができる。更に、撮像や通信で携帯端末に取り込んだ画像を対象画像とし色変換領域を設定することが可能であるから、所望の画像を容易に色変換領域を設定した対象画像とすることができる。更に、例えば口紅など着色用化粧品のサンプルを利用者が他人と共用して現実に着色する場合等、着色商品の試用が利用者の心理的抵抗や衛生面の問題を有する場合に対応し、合成画像による試用で現実の着色による試用を不要にすることが可能であり、利用者の心理的抵抗や衛生面の問題を解消することができる。
また、対象画像に対する色変換領域の設定に対して課金する構成により、多量な演算処理又は労力を必要とする色変換領域設定処理に応じた対価を確保することができ、更には、課金する設定金額を調整することにより、色変換領域設定処理の回数を情報処理装置の演算処理能力又は労力に適合した回数に調整することができる。また、携帯端末がデータキャリアの記憶情報を取り込み、その情報から携帯端末が合成画像を生成して表示する構成では、上記の合成画像の表示を受けるまでの時間の大幅な短縮化に加え、利用者は、携帯端末の通信料金を支払うことなく合成画像の表示を受けることができるメリットがある。他方で、携帯端末がデータキャリアから取り込んだ情報を情報処理装置へ送信し、情報処理装置が色情報等或は合成画像を携帯端末に送信する構成では、色情報等の抽出や送信或は合成画像の生成や送信などデータの処理や伝送に対応して課金することが可能となり、前記課金で合成画像の提供に対する運営コストをカバーするなど収益を確保することができる。
また、色変換する色変換領域に着色商品に関連する情報を提供するサイトのアクセス先情報を設定する構成により、着色商品の関連情報を必要に応じて即座に提供することが可能となって、利用者の利便性を高めることができると共に、例えば利用者自身の画像の唇など色変換された色変換領域を指定してアクセスすることが可能なので、利用者の娯楽性を非常に高めることができる。特に、複数種の色変換領域にアクセス先情報を設定することにより、複数の着色商品のそれぞれに対応する関連情報を即座に提供することができ、娯楽性もより一層高めることができる。また、店頭に陳列されている着色商品のサンプル・棚・陳列ケースにデータキャリアを設ける等、着色商品に関連付けされているデータキャリアを、店頭に陳列されている複数個の着色商品よりも少ない個数設ける構成により、色変換の合成画像を目的とするデータキャリアを店頭の着色商品の全てに設ける必要がなくなり、少数のデータキャリアでより低いコストや労力で合成画像を提供することができ、更に、着色商品に直接設けられるデータキャリアの用途と切り離して、合成画像の提供を目的とするデータキャリアを店頭に設けることができる。また、色変換して生成した合成画像を携帯端末或は情報処理装置に他者への送信が可能に格納し、他者が合成画像の閲覧を可能にする構成により、利用者画が副次的に合成画像をピア・トゥ・ピアの環境下で利用することが期待され、着色商品や合成画像の提供に対する口コミ等の宣伝効果を得ることができ、更に、画像通信による娯楽性の向上を図ることができる。
本発明について、携帯電話で表示される合成画像を提供するための合成画像提供システムの実施形態に基づき説明する。尚、後述する各実施形態や各実施例に関する部分的な構成等を適用可能な範囲で適宜他の実施形態や実施例の構成として用い追加したものや、各実施形態や各実施例に関する部分的な構成を適用可能な範囲で適宜他の実施形態や実施例に関する部分的な構成等に変更したものや、各実施形態や各実施例に関する構成等について部分的な作用効果が得られる限度で部分的な構成等を削除したものも本発明に含まれる。更に、各実施形態中や各実施例中の部分的な構成を、同一の実施形態や同一実施例に於ける他の部分の構成に適宜用いたものも本発明に含まれる。
先ず、第1実施形態の合成画像提供システムについて説明する。第1実施形態の合成画像提供システムは、図1に示すように、情報処理装置として情報処理サーバー10、携帯端末として携帯電話20、データキャリアとしてRFID30を有し、情報処理サーバー10と携帯電話20とは、無線基地局(図示せず)、携帯電話網2、ゲートウェイサーバー(図示せず)及びインターネット網3を介して適時接続されると共に、携帯電話20とRFID30とは近距離無線通信を介して適宜接続される。
情報処理サーバー10は、通信制御を行う通信制御部11、CPUや制御プログラムの格納領域及びデータ処理領域等のメモリで構成され、制御プログラムに従い所定処理を実行する制御部12、携帯電話20へ送信するサイト画面など後述するサイト処理部121が用いるサイトデータを記憶するサイトデータ記憶部13、色変換領域を設定する対象画像の抽出・送信及び色変換領域を設定された対象画像の受信・格納や、対象画像に設定される色変換領域を色情報に基づき色変換して合成画像を生成する機能を携帯端末に実現させる合成画像生成プログラムを記憶する合成画像生成プログラム記憶部14、利用者IDに対応して利用者のパスワード・氏名・住所・電子メールアドレス、クレジットカード番号など決済情報等の利用者に関するデータを格納する利用者情報データベース15、利用者IDに対応して利用者に対する課金情報を記憶する課金情報データベース16を備える。制御部12は、サイト画面の送信や所定サイト画面に於ける受信データの処理など通常のサイト処理を行うサイト処理部121として機能すると共に、合成画像生成プログラムを抽出して携帯電話20へ配信する配信処理部122、携帯電話20から受信した対象画像に色変換領域を設定して送信する色変換領域処理部123、色変換領域の設定に対して利用者へ課金処理を実行する課金処理部124として機能する。
携帯電話20は、通信制御を行う通信制御部21、CPUや制御プログラムの格納領域及びデータ処理領域等のメモリで構成され、制御プログラムに従い所定処理を実行する制御部22、後述する色変換領域を設定した対象画像及びその色変換領域や撮像部26で撮像した対象画像等の各種保存データを格納する記憶部23、液晶ディスプレイ等の表示部24、利用者の操作入力を受け付けるボタン等の操作入力部25、対象画像を撮像するCCDカメラ或いはCMOSカメラ等の撮像部26、RFID30に電波を送信すると共にRFID30からの応答電波を受信して応答電波の情報を読み取るRFIDリーダー27を備え、他にスピーカーやマイクロフォン等の携帯電話として機能するために必要な所要部を有する。
RFID30は、図に省略した制御プログラムに従い所定処理を実行する制御部、RGB値等の色情報と前記色情報で色変換する色変換領域の種別を示す識別情報である領域識別情報等を記憶する記憶部、電源部、アンテナを備え、携帯電話20のRFIDリーダー27から発信される電波をアンテナで受信し、電源部で受信電波から電力を生成して制御部に供給し、制御部は、受信電波の情報要求に応じて、記憶部に記憶している色情報及び領域識別情報を読み出し、読み出した色情報及び領域識別情報をアンテナで携帯電話20のRFIDリーダー27へ送信する。RFID30は、着色商品31に関連付けて設けられ、その関連付けの構成は着色商品31とこれに関連性を揺するRFID30の場所が利用者に明確であれば適宜である。RFID30を着色商品31と関連付けて設ける具体例としては、例えば着色商品31に内設等で着色商品31自体に設ける、着色商品31や着色商品31の包装に添付して設ける、着色商品31のサンプルや値札に設ける、着色商品31の陳列ケースの所定箇所に設ける、着色商品31が設けられている棚の所定箇所に設置する、着色商品31と近接した位置に設ける、着色商品31と離れた場所で前記着色商品31に対するRFID30の設置箇所と認識できる場所に設ける、着色商品31が表示された雑誌・ポスター・カタログ等の紙面に設ける、着色商品31を表示する電子ペーパーに設ける構成等とすることが可能である。また、色情報は、例えばRGB値、HSV値、YIQ値など適宜の表色系の値等とすることが可能であり、輝度値だけなど表色系の一部の値を色情報として設定してもよく、又、後述する合成画像生成プログラムと協働する制御部22或いは合成画像処理部126は、色情報に基づき色変換領域を色変換する際に、必要に応じて色情報の表色系をHSV値からRGB値に変換するなど表色系の変換処理を行って色変換してもよい。
第1実施形態の合成画像提供システムで携帯電話20の表示部24に表示される合成画像を提供する際には、例えば以下の処理過程で提供する(図2参照)。先ず、利用者は携帯電話20に情報処理サーバー10のURL等のアクセス先情報の入力及び接続要求の入力を行い、携帯電話20の接続要求の送信に基づき、情報処理サーバー10と携帯電話20とで通信接続を確立する。情報処理サーバー10のサイト処理部121は、サイトデータ記憶部13に記憶されているサイトデータを用いて初期画面を送信し、携帯電話20の制御部22は受信した初期画面を表示部24に表示する。前記初期画面には、利用者登録サイトの提示要求、合成画像生成プログラムのダウンロードサイトの提示要求に対応する各項目が指定入力可能に表示される。
利用者が合成画像提供サービスに未登録である場合には、新規会員登録を行う。例えば新規会員登録の処理では、利用者は操作入力部25で利用者登録サイト提示要求の項目を指定入力し、携帯電話20の制御部22は、前記入力に応じて利用者登録要求サイト提示要求を情報処理サーバー10へ送信し、他方で、情報処理サーバー10のサイト処理部121は、利用者登録要求サイト提示要求の受信に応じて、利用者のパスワード・氏名・住所・電子メールアドレス・クレジットカード番号など決済情報等の登録必要事項の入力欄や指定入力可能な利用者登録要求に対応する項目が表示される利用者登録画面を携帯電話20へ送信する。携帯電話20の制御部22は、受信した利用者登録画面を表示部24で表示し、更に、利用者登録画面に於ける登録必要事項の入力及び利用者登録要求の項目の指定入力に応じて、利用者登録画面で入力された登録必要事項及び利用者登録要求を情報処理サーバー10へ送信し、他方で、情報処理サーバー10のサイト処理部121は、利用者登録要求及び登録必要事項の受信に応じて、携帯電話20の利用者に対する利用者IDを生成し、利用者ID及び会員登録が終了した旨のメッセージが表示される会員登録終了画面を携帯電話20へ送信すると共に、利用者ID及び各登録必要事項を利用者情報DB15の各記憶箇所に格納する。他方、携帯電話20の制御部22は、受信した会員登録終了画面を表示部24で表示し、必要に応じて利用者IDの設定登録入力に基づき、利用者IDを記憶部23の所定記憶箇所に記憶することにより、新規会員登録の処理が完了する。
更に、利用者が携帯電話20に合成画像生成プログラムをダウンロードする場合には、利用者は操作入力部25で初期画面に於ける合成画像生成プログラムのダウンロードサイト提示要求の項目を指定入力し、携帯電話20の制御部22は、前記入力に応じて前記ダウンロードサイト提示要求を情報処理サーバー10へ送信し、他方で、情報処理サーバー10のサイト処理部121は、前記ダウンロードサイト提示要求の受信に応じて、利用者IDとパスワードの入力欄や指定入力可能な認証要求に対応する項目が表示される認証画面を携帯電話20へ送信する。携帯電話20の制御部22は、受信した認証画面を表示部24で表示し、更に、認証画面に於ける利用者IDとパスワードの入力及び認証要求の項目の指定入力に応じて、認証画面で入力された利用者IDとパスワード及び認証要求を情報処理サーバー10へ送信し、他方で、情報処理サーバー10のサイト処理部121は、認証要求及び利用者IDとパスワードの受信に応じて、利用者情報DB15から前記受信した利用者IDに対応するパスワードを抽出して前記受信したパスワードと照合し、パスワードが合致した場合には、合成画像生成プログラムのダウンロード要求の項目が指定可能に表示されるプログラム配信画面を携帯電話20へ送信する。尚、パスワードが合致しなかった場合には、認証できなかった旨のメッセージを表示する画面を携帯電話20へ送信する。携帯電話20の制御部22は、受信したプログラム配信画面を表示部24に表示し、プログラム配信画面のダウンロード要求の指定入力に応じて、ダウンロード要求を情報処理サーバー10へ送信し、他方で、情報処理サーバー10の配信処理部122は、ダウンロード要求の受信に応じて、合成画像生成プログラム記憶部14から合成画像生成プログラムを抽出して携帯電話20へ送信する。携帯電話20の制御部22は、合成画像生成プログラムの受信に応じて、合成画像生成プログラムを制御部22のメモリの所定記憶箇所に格納し、合成画像生成プログラムに従って動作可能な状態となる(S101)。
そして、利用者が色変換領域を設定された対象画像を取得する際には、先ず、利用者は携帯電話20のプログラム選択画面に於いて合成画像生成プログラムの指定入力を行い、携帯電話20の制御部22で合成画像生成プログラムを起動する。合成画像生成プログラムと協働する制御部22は、色変換領域を設定する画像を特定するために、撮像部26で撮像された画像など携帯電話20に取り込まれ格納されている通常の画像の各識別情報をそれぞれ指定入力可能に一覧表示する、通常画像一覧画面の表示要求に対応する項目と、色変換領域が設定された対象画像による合成画像の提供を受けるために、携帯電話20に格納されている色変換領域設定済の対象画像の各識別情報をそれぞれ指定入力可能に一覧表示する、領域設定済対象画像一覧画面の表示要求に対応する項目とが表示される初期画面を表示部24に表示し、通常画像一覧画面の表示要求の指定入力に応じて通常画像一覧画面を表示部24に表示し、通常画像一覧画面に於ける所要画像の識別情報の指定入力に応じて、所要画像が表示されると共に前記所要画像を色変換領域を設定する対象画像として特定する特定要求に対応する項目が表示される確認画面を表示部24で表示する。更に、制御部22は合成画像生成プログラムに従い、前記特定要求の入力に応じて、前記色変換領域を設定する画像を対象画像として特定すると共に、利用者IDとパスワードの入力欄や指定入力可能な対象画像への色変換領域設定要求に対応する項目が表示される認証画面を表示部24で表示し、認証画面に於ける利用者IDとパスワードの入力及び認証要求を兼ねる対象画像への色変換領域設定要求の指定入力に応じて、合成画像生成プログラムで設定されている情報処理サーバー10のアクセス先情報に基づき接続要求を送信して情報処理サーバー10と接続を確立し、認証画面で入力された利用者IDとパスワード及び対象画像への色変換領域設定要求及び前記特定された対象画像を情報処理サーバー10へ送信する(S102)。前記対象画像は、例えば利用者の正面視の顔が大部分に示される顔画像等とする。尚、認証する認証データは前記以外にも指紋データなど適宜である。
情報処理サーバー10は、携帯電話20からの利用者IDとパスワード及び色変換領域設定要求及び対象画像を受信し(S103)、サイト処理部121は、認証要求を兼ねる色変換領域設定要求及び利用者IDとパスワードの受信に応じて、利用者情報DB15から前記受信した利用者IDに対応するパスワードを抽出して前記受信したパスワードと照合し、パスワードが合致しなかった場合には、認証できなかった旨のメッセージを表示する画面を携帯電話20へ送信する。また、前記照合でパスワードが合致した場合には、色変換領域処理部123が、前記受信した対象画像から所定の色変換領域を抽出し(S104)、抽出した各色変換領域にそれぞれ色変換領域の種別を示す領域識別情報を付加して、各色変換領域及び各色変換領域の領域識別情報を対象画像に対応させて設定し(S105)、各領域識別情報に対応する各色変換領域を設定した対象画像と色変換領域設定完了画面を携帯電話20へ送信し(S106)、更に、課金処理部124が、色変換領域及び領域識別情報の対象画像への設定に対する利用者への課金処理を実行し、設定記憶する所定額を前記利用者IDの利用者へ課金して、その課金額或いはその課金額を既に課金されている金額に加算した金額を利用者IDに対応させて課金情報DB16に記憶する(S107)。他方で、携帯電話20の制御部22は、各色変換領域及び各色変換領域の領域識別情報が設定された対象画像及び色変換領域設定完了画面を情報処理サーバー10から受信し(S108)、受信した各色変換領域及び各色変換領域の領域識別情報が設定された対象画像に識別情報を付して記憶部23の所定記憶箇所に格納し(S109)、受信した色変換領域設定完了画面を表示部24で表示して、色変換領域の設定処理が完了する。前記色変換領域の抽出、色変換領域とその色変換領域の種別を示す領域識別情報との対象画像に対する設定は、例えば後述する例など適宜の技術で実行することが可能であり、又、抽出及び設定する色変換領域は、例えば唇領域或いは口紅着色領域、ファンデーション着色領域、頬紅着色領域、アイシャドー着色領域の組み合わせによる複数種の色変換領域等とする。
その後、利用者が色変換領域が設定された対象画像による合成画像の提供を受ける際には、先ず、上記と同様に合成画像生成プログラムを起動し、通常画像一覧画面の表示要求と領域設定済対象画像一覧画面の表示要求に対応する各項目が表示される初期画面で、利用者が領域設定済対象画像一覧画面の表示要求を指定入力する。携帯電話20の制御部22は合成画像生成プログラムに従い、前記指定入力に応じて、領域設定済対象画像一覧画面を表示部24に表示し、領域設定済対象画像一覧画面に於ける所望対象画像の識別情報の指定入力に応じて、指定された識別情報に対応する各色変換領域及び各色変換領域の領域識別情報が設定された対象画像を記憶部13から抽出し(S110)、前記抽出した対象画像が表示されると共にRFID30からの色情報及び領域識別情報の取込要求に対応する項目が指定入力可能に表示される取込可能画面を表示部24で表示する。
更に、合成画像生成プログラムと協働する制御部22は、前記色情報及び領域識別情報の取込要求の指定入力に応じて、着色商品31と関連付けられRFIDリーダー27と近接しているRFID30から、RFIDリーダー27で色情報及びその色情報を使用して色変換する色変換領域の領域識別情報を受信して識別子により認識し(S111)、前記抽出表示している対象画像に設定された各色変換領域から受信した領域識別情報に対応する色変換領域を認識し(S112)、認識した前記対象画像の色変換領域を前記受信した色情報に基づき色変換して対象画像の合成画像を生成し(S113)、その合成画像を表示部24で表示する(S114)。前記対象画像の色変換領域に対する色情報に基づく色変換は、例えば後述する例など適宜の技術で実行することが可能であり、又、前記色変換領域に対する色変換は、例えば唇領域或いは口紅着色領域に対する口紅色に対応する色情報に基づく色変換、若しくはファンデーション着色領域に対するファンデーション色に対応する色情報に基づく色変換、若しくは頬紅着色領域に対する頬紅色に対応する色情報に基づく色変換、若しくはアイシャドー着色領域に対するアイシャドー色に対応する色情報に基づく色変換等とする。
そして、前記合成画像の表示は、RFID30からの色情報及び領域識別情報の取込要求に対応する項目が指定入力可能に表示される取込可能画面で前記抽出表示した対象画像に代えて表示する構成とし、その後に別途他等のRFID30に対する取込要求の入力があった場合には、合成画像生成プログラムに従う制御部22が、上記と同様の処理による別途のRFID30からの色情報及び領域識別情報の受信に基づき、その領域識別情報に対応する前記色変換された色変換領域と同一若しくは異なる色変換領域を前記別途にRFID30から受信した色情報に基づき色変換して合成画像を生成表示する。
この場合、前に生成した合成画像と同一の色変換領域について後で生成する合成画像で色変換する場合には、後の色情報に基づいて色変換した色変換領域の画像に置換して表示し、又、前に生成した合成画像と異なる種別の色変換領域について後で生成する合成画像で色変換する場合には、前に生成した合成画像で色変換した色変換領域の画像は残した状態で、後の色情報に基づいて色変換した色変換領域の画像を生成して表示する構成とする。例えば口紅色に対応する色情報に基づき唇領域を色変換した合成顔画像を表示している際に、唇領域に対する口紅色に対応する色情報を新たに認識した場合には、新たに認識した色情報で唇領域を色変換した合成顔画像を生成し表示する構成等とし、又、口紅色に対応する色情報に基づき唇領域を色変換した合成顔画像を表示している際に、ファンデーション着色領域に対するファンデーション色に対応する色情報を認識した場合には、前記口紅色に対応する色情報に基づき唇領域を色変換した状態で、ファンデーション色に対応する色情報でファンデーション着色領域を色変換した合成顔画像を生成し表示する構成等とする。更に、保存ボタンの指定入力や識別情報の入力等に応じ、若しくは生成や表示終了に基づき自動的に、携帯電話20の制御部22が色変換で生成した合成画像に識別情報を付して記憶部23の画像フォルダ等の所定記憶箇所に格納し、他者へ送信可能に記憶する構成としてもよい。
尚、前後して異なる種別の色変換領域に対して色変換する場合には、後の種別の色変換領域に対して色変換する際に、前の種別の色変換領域に対する色変換を原画像の状態に戻してもよく、例えば口紅色に対応する色情報に基づき唇領域を色変換した合成顔画像を表示している際に、ファンデーション着色領域に対するファンデーション色に対応する色情報を認識した場合には、前記口紅色に対応する色情報に基づく唇領域の色変換を原画像の状態に戻し、ファンデーション色に対応する色情報でファンデーション着色領域を色変換した合成顔画像を生成し表示する構成等とする。
上記第1実施形態では、対象画像である顔画像の色変換領域を唇領域・ファンデーション着色領域・頬紅着色領域・アイシャドー着色領域の4種の領域とする場合を例として説明したが、顔画像に対する色変換領域は4種以外の複数種類若しくは1種類とすることが可能である。また、対象画像の色変換領域を1種類とする場合には、色変換領域と色変換領域を他の領域と識別可能な領域識別情報或いは色変換領域を他の領域と識別可能な領域識別情報を有する色変換領域を対象画像に設定し、RFID30や後述する色情報セット記憶部に領域識別情報を記憶せずに色情報を格納し、合成画像生成プログラムと協働する制御部22或いは後述する合成画像処理部126が、色情報の認識に基づき、設定されている色変換領域を色変換する構成としてもよい。
また、対象画像及び色変換領域は着色商品31に対応する色情報で色変換を行えるものであれば適宜であり、例えば対象画像を頭髪を含む顔画像・色変換領域を頭髪領域・着色商品31をヘアマニキュアとする構成、或いは対象画像を爪領域が示されている指や手の画像・色変換領域を爪領域・着色商品31をマニキュアとする構成、或いは対象画像を車や模型の画像・色変換領域を車や模型のボディ領域・着色商品31を着色スプレーや塗料とする構成、或いは対象画像を建物の外壁や内壁が示される画像・色変換領域を外壁領域や内壁領域・着色商品31を塗料や所定色の壁材や壁紙とする構成、或いは対象画像を家具が示される画像・色変換領域を家具表示領域・着色商品31を塗料や着色スプレーとする構成、或いは対象画像を窓ガラスが示される画像・色変換領域を窓ガラス領域・着色商品31を所定色の窓ガラスとする構成、或いは対象画像を顔画像など目領域が示される画像・色変換領域を黒目領域若しくは黒目から所定距離までの略黒目領域・着色商品31がカラーコンタクトレンズとする構成等とすることが可能である。
次に、第2実施形態の合成画像提供システムについて説明する。第2実施形態の合成画像提供システムは、第1実施形態に於ける、情報処理サーバー10が受信した対象画像に色変換領域を設定して携帯電話20へ送信し、携帯電話20が色変換領域が設定された対象画像を受信して記憶部23に格納する構成に代えて、対象画像に色変換領域を設定して記憶する機能を携帯電話20に実現させる合成画像生成プログラムを情報処理サーバー10が携帯電話20へ送信し、携帯電話20が、受信した合成画像生成プログラムを格納し、合成画像生成プログラムに従って対象画像から色変換領域を抽出し、色変換領域を設定した対象画像を記憶部23に格納する構成としたものである。尚、第2実施形態で特に説明しない構成については第1実施形態など他の実施形態等で説明する構成と同様の構成を適宜用いることが可能である。
第2実施形態の合成画像提供システムは、図3に示すように、第1実施形態と同様、情報処理サーバー10と携帯電話20とが携帯電話網2及びインターネット網3を介して適時接続され、携帯電話20とRFID30とが近距離無線通信を介して適宜接続される。情報処理サーバー10は、第1実施形態と同様に、通信制御部11、制御部12、サイトデータ記憶部13、合成画像生成プログラム記憶部14を備えるが、合成画像生成プログラム記憶部14に格納される合成画像生成プログラムは、対象画像から所定の色変換領域を抽出して対象画像に設定し、色変換領域を設定した対象画像を記憶すると共に、色変換領域を設定した対象画像を抽出し、対象画像に設定されている色変換領域を色情報に基づき色変換して合成画像を生成する機能を携帯端末に実現させるものである。更に、利用者情報データベース15、課金情報データベース16を有さず、又、制御部12は、サイト処理部121、配信処理部122として機能する。携帯電話20は、第1実施形態と同様、通信制御部21、制御部22、記憶部23、表示部24、操作入力部25、撮像部26、RFIDリーダー27を備えるものであるが、制御部22のメモリ内には情報処理サーバー10からのダウンロードで前記合成画像生成プログラムが格納され、制御部22は前記合成画像生成プログラムに従って所定処理を実行する。RFID30は、第1実施形態と同一の構成であり、その記憶部にRGB値等の色情報及び前記色情報で色変換する色変換領域の種別を示す領域識別情報を記憶する。
第2実施形態の合成画像提供システムで携帯電話20の表示部24に表示される合成画像を提供する際には、例えば以下の処理過程で提供する(図4参照)。先ず、情報処理サーバー10と携帯電話20とで通信接続が確立され、情報処理サーバー10はサイトデータを用いて初期画面を送信し、携帯電話20は受信した初期画面を表示部24に表示する。前記初期画面には合成画像生成プログラムのダウンロードサイトの提示要求に対応する項目が指定入力可能に表示される。携帯電話20は、前記提示要求項目の指定入力に応じて前記ダウンロードサイト提示要求を情報処理サーバー10へ送信し、他方で、情報処理サーバー10のサイト処理部121は、前記ダウンロードサイト提示要求の受信に応じて、合成画像生成プログラムのダウンロード要求の項目が指定可能に表示されるプログラム配信画面を携帯電話20へ送信する。携帯電話20は、受信したプログラム配信画面を表示し、ダウンロード要求の指定入力に応じてダウンロード要求を情報処理サーバー10へ送信し、他方で、情報処理サーバー10は、ダウンロード要求の受信に応じて、合成画像生成プログラム記憶部14から合成画像生成プログラムを抽出して携帯電話20へ送信する。携帯電話20の制御部22は、合成画像生成プログラムの受信に応じて、合成画像生成プログラムを制御部22のメモリの所定記憶箇所に格納し、合成画像生成プログラムに従って動作可能な状態となる(S201)。
そして、利用者が色変換領域を設定した対象画像を取得する際には、携帯電話20のプログラム選択画面に於いて合成画像生成プログラムの指定入力を行い、携帯電話20の制御部22で合成画像生成プログラムを起動する。合成画像生成プログラムと協働する制御部22は、色変換領域を設定する画像を特定するために、撮像部26で撮像された画像など携帯電話20に取り込まれ格納されている通常の画像の各識別情報をそれぞれ指定入力可能に一覧表示する、通常画像一覧画面の表示要求に対応する項目と、色変換領域を設定した対象画像による合成画像の提供を受けるために、携帯電話20に格納されている色変換領域設定済の対象画像の各識別情報をそれぞれ指定入力可能に一覧表示する、領域設定済対象画像一覧画面の表示要求に対応する項目とが表示される初期画面を表示部24に表示し、通常画像一覧画面の表示要求の指定入力に応じて通常画像一覧画面を表示部24に表示し、通常画像一覧画面に於ける所要画像の識別情報の指定入力に応じて、所要画像が表示されると共に前記所要画像を色変換領域を設定する対象画像として特定する特定要求に対応する項目が表示される確認画面を表示部24で表示する。
更に、携帯電話20の制御部22は合成画像生成プログラムに従い、前記特定要求の入力に応じて、前記色変換領域を設定する画像を対象画像として特定し、前記特定した対象画像から所定の色変換領域を抽出し(S202)、抽出した各色変換領域にそれぞれ色変換領域の種別を示す領域識別情報を付加して、各色変換領域及び各色変換領域の領域識別情報を対象画像に対応させて設定し(S203)、各色変換領域及び各色変換領域の領域識別情報を設定した対象画像に識別情報を付して記憶部23の所定記憶箇所に格納し(S204)、色変換領域の設定処理が完了する。前記制御部22の色変換領域の抽出・設定・格納等の処理には、第1実施形態に於ける色変換領域処理部123の処理と同様の処理を適宜用いることができる。その後は、第1実施形態のS110〜S114の処理と同様に、携帯電話20は、各領域識別情報に対応する各色変換領域を設定された対象画像を抽出し(S205)、RFIDリーダー27で着色商品31と関連付けられているRFID30から色情報及びその色情報を使用する色変換領域の領域識別情報を受信して認識し(S206)、対象画像の各色変換領域から受信した領域識別情報に対応する領域識別情報を有する色変換領域を認識し(S207)、認識した色変換領域を受信した色情報に基づき色変換して合成画像を生成し(S208)、生成した合成画像を表示部24で表示する(S209)。合成画像は第1実施形態の取込可能画面と同様の画面で表示し、取込可能画面から第1実施形態と同様の処理が可能な構成とする。
次に、第3実施形態の合成画像提供システムについて説明する。第3実施形態の合成画像提供システムは、第1実施形態に於ける、RFID30が色情報及び色情報で色変換する色変換領域の領域識別情報を格納し、携帯電話20がRFID30から色情報及び領域識別情報を受信し、対象画像の受信した領域識別情報に対応する色変換領域を認識して、受信した色情報に基づき色変換領域を色変換して合成画像を生成する構成に代え、情報処理サーバー10が、各色識別情報にそれぞれ対応する複数種の色情報及び各色情報で色変換する色変換領域の各領域識別情報を色情報セットとして格納し、色情報セットを携帯電話20へ配信して携帯電話20に格納させると共に、RFID30が色識別情報を格納し、携帯電話20がRFID30から色識別情報を受信し、受信した色識別情報に対応する色情報及び領域識別情報を抽出し、対象画像の抽出した領域識別情報に対応する色変換領域を認識して、抽出した色情報に基づき色変換領域を色変換して合成画像を生成する構成としたものである。尚、第3実施形態で特に説明しない構成については第1実施形態など他の実施形態等で説明する構成と同様の構成を適宜用いることが可能である。
第3実施形態の合成画像提供システムは、図5に示すように、第1実施形態と同様、情報処理サーバー10と携帯電話20とが携帯電話網2及びインターネット網3を介して適時接続され、携帯電話20とRFID30とが近距離無線通信を介して適宜接続される。情報処理サーバー10は、第1実施形態と同様に、通信制御部11、制御部12、サイトデータ記憶部13、合成画像生成プログラム記憶部14、利用者情報DB15、課金情報DB16を備え、制御部12は、サイト処理部121、配信処理部122、色変換領域処理部123、課金処理部124として機能するが、更に、複数種の色情報及び各色情報にそれぞれ対応する色変換領域の各領域識別情報について、各色情報及びその領域識別情報を各色識別情報に対応設定しているデータである色情報セットを記憶する色情報セット記憶部17を備え、配信処理部122は色情報セットを抽出して携帯電話20へ配信する処理を実行し、又、記憶されている合成画像生成プログラムは、色情報セットから認識した色識別情報に対応する色情報及び領域識別情報を認識し、その領域識別情報に対応する対象画像の色変換領域を色情報に基づき色変換する機能を携帯端末に実現させるものである。携帯電話20は、第1実施形態と同様、通信制御部21、制御部22、記憶部23、表示部24、操作入力部25、撮像部26、RFIDリーダー27を備えるものであるが、記憶部23の所定記憶箇所には情報処理サーバー10から受信する色情報セットが格納され、又、制御部22は、格納する前記合成画像生成プログラムに従って所定処理を実行する。RFID30は、基本的な構成は第1実施形態と同様であるが、その記憶部に色識別情報を記憶し、制御部が色識別情報を抽出して携帯電話20へ送信するものである。
第3実施形態の合成画像提供システムで携帯電話20の表示部24に表示される合成画像を提供する際には、例えば以下の処理過程で提供する(図6参照)。先ず、第1実施形態の会員登録及びS101〜S109までの処理と同様の処理を行う。即ち、情報処理サーバー10から携帯電話20へ送信される初期画面から必要に応じて新規会員登録を行い、又、情報処理サーバー10から携帯電話20へ合成画像生成プログラムを受信して所定記憶箇所に格納し(S301)、更に、携帯電話20が色変換領域を設定してもらう対象画像を情報処理サーバー10へ送信し(S302)、他方で、情報処理サーバー10は、携帯電話20から対象画像を受信し(S303)、色変換領域処理部123が、受信した対象画像から所定の色変換領域を抽出し(S304)、抽出した各色変換領域にそれぞれ色変換領域の種別を示す領域識別情報を付加して、各色変換領域及び各色変換領域の領域識別情報を対象画像に対応させて設定し(S305)、各領域識別情報に対応する各色変換領域を設定した対象画像を携帯電話20へ送信し(S306)、課金処理部124が、色変換領域及び領域識別情報の対象画像への設定に対する利用者への課金処理を実行し(S307)、他方で、携帯電話20は、各色変換領域及び各色変換領域の領域識別情報が設定された対象画像を情報処理サーバー10から受信し(S308)、受信した各色変換領域及び各色変換領域の領域識別情報が設定された対象画像に識別情報を付して記憶部23の所定記憶箇所に格納する(S309)。
そして、利用者が色情報セットの配信を受ける際には、先ず、利用者は携帯電話20のプログラム選択画面に於いて合成画像生成プログラムの指定入力を行い、携帯電話20の制御部22で合成画像生成プログラムを起動する。合成画像生成プログラムと協働する制御部22は、通常画像一覧画面の表示要求と領域設定済対象画像一覧画面の表示要求に対応する各項目に加え、第3実施形態では色情報セットの配信処理要求に対応する項目が表示される初期画面を表示部24で表示し、前記色情報セット配信処理要求の指定入力に応じて、利用者IDとパスワードの入力欄や認証要求を兼ねる色情報セット配信要求に対応する項目が表示される認証画面を表示部24で表示し、認証画面に於ける利用者IDとパスワードの入力及び認証要求を兼ねる色情報セット配信要求の指定入力に応じて、合成画像生成プログラムで設定されている情報処理サーバー10のアクセス先情報に基づき接続要求を送信して情報処理サーバー10と接続を確立し、認証画面で入力された利用者IDとパスワード及び色情報セット配信要求を情報処理サーバー10へ送信する。
情報処理サーバー10は、携帯電話20から利用者IDとパスワード及び色情報セット配信要求を受信し、サイト処理部121は、認証要求を兼ねる色情報セット配信要求及び利用者IDとパスワードの受信に応じて、合成画像生成プログラムの配信の場合と同様の認証処理を実行する。そして、パスワードの合致により認証した場合には、配信処理部122は、色情報セット配信要求に基づき、色情報セット記憶部17に格納されている色情報セットを抽出して携帯電話20へ送信する。携帯電話20の制御部22は、情報処理サーバー10からの色情報セットの受信に応じて、受信した色情報セットを記憶部23の所定記憶箇所に格納し、色情報セットは合成画像生成プログラムに従う制御部22により利用可能な状態となる(S310)。
その後、利用者が色変換領域が設定された対象画像による合成画像の提供を受ける際には、上記と同様に合成画像生成プログラムを起動し、通常画像一覧画面表示要求と領域設定済対象画像一覧画面表示要求と色情報セット配信処理要求に対応する各項目が表示される初期画面で、利用者が領域設定済対象画像一覧画面の表示要求を指定入力する。携帯電話20の制御部22は合成画像生成プログラムに従い、前記指定入力に応じて、領域設定済対象画像一覧画面を表示部24に表示し、領域設定済対象画像一覧画面に於ける所望対象画像の識別情報の指定入力に応じて、指定された識別情報に対応する各色変換領域及び各色変換領域の領域識別情報が設定された対象画像を記憶部13から抽出し(S311)、前記抽出した対象画像が表示されると共にRFID30からの色識別情報の取込要求に対応する項目が指定入力可能に表示される取込可能画面を表示部24で表示する。
更に、合成画像生成プログラムと協働する制御部22は、前記色識別情報の取込要求の指定入力に応じて、着色商品31と関連付けられRFIDリーダー27と近接しているRFID30から、RFIDリーダー27で色識別情報を受信して識別子により認識し(S312)、受信した色識別情報に対応する色情報及びその色情報で色変換する色変換領域の領域識別情報を色情報セットから認識し(S313)、前記抽出表示している対象画像に設定された各色変換領域から前記認識した領域識別情報に対応する色変換領域を認識し(S314)、認識した前記対象画像の色変換領域を前記認識した色情報に基づき色変換して対象画像の合成画像を生成し(S315)、その合成画像を表示部24で表示する(S316)。前記合成画像の表示は、RFID30からの色識別情報の取込要求に対応する項目が指定入力可能に表示される取込可能画面で前記抽出表示した対象画像に代えて表示する構成とし、その後に別途他等のRFID30に対する取込要求の入力があった場合には、合成画像生成プログラムに従う制御部22が、上記と同様の処理による別途のRFID30からの色識別情報の受信に基づき、色識別情報に対応する色情報及び領域識別情報を色情報セットから認識し、その領域識別情報に対応する前記色変換された色変換領域と同一若しくは異なる色変換領域を前記別途にRFID30から受信した色識別情報に基づき認識した色情報で色変換して合成画像を生成表示する。
次に、第4実施形態の合成画像提供システムについて説明する。第4実施形態の合成画像提供システムは、第3実施形態に於ける、情報処理サーバー10が携帯電話20に色情報セットを配信して格納させ、携帯電話20が、格納する色情報セットに基づきRFID30から受信した色識別情報に対応する色情報及び領域識別情報を認識する構成に代え、携帯電話20がRFID30から受信する色識別情報を情報処理サーバー10へ送信し、情報処理サーバー10が、格納する色情報セットに基づき携帯電話20から受信した色識別情報に対応する色情報及び領域識別情報を認識し、その色情報及び領域識別情報を携帯電話20へ送信し、他方で、携帯電話20が、情報処理サーバー10から受信した色情報及び領域識別情報を認識し、その領域識別情報に対応する対象画像の色変換領域を前記色情報に基づき色変換して合成画像を生成する構成としたものである。尚、第4実施形態で特に説明しない構成については第1、第3実施形態など他の実施形態等で説明する構成と同様の構成を適宜用いることが可能である。
第4実施形態の合成画像提供システムは、図7に示すように、第3実施形態と同様、情報処理サーバー10と携帯電話20とが携帯電話網2及びインターネット網3を介して適時接続され、携帯電話20とRFID30とが近距離無線通信を介して適宜接続される。情報処理サーバー10は、第3実施形態と同様に、通信制御部11、制御部12、サイトデータ記憶部13、合成画像生成プログラム記憶部14、利用者情報DB15、課金情報DB16、色情報セット記憶部17を備え、制御部12は、サイト処理部121、配信処理部122、色変換領域処理部123、課金処理部124として機能するが、制御部12は、携帯電話20から受信する色識別情報に対応する色情報及び領域識別情報を色情報セット記憶部17の色情報セットから認識し、認識した色情報及び領域識別情報を携帯電話20へ送信する色情報配信処理部125として機能し、又、記憶されている合成画像生成プログラムは、受信した色情報及び領域識別情報を認識し、その領域識別情報に対応する対象画像の色変換領域を色情報に基づき色変換する機能を携帯端末に実現させるものである。携帯電話20は、第3実施形態と同様、通信制御部21、制御部22、記憶部23、表示部24、操作入力部25、撮像部26、RFIDリーダー27を備えるものであるが、記憶部23に色情報セットを格納せず、又、制御部22は、格納する前記合成画像生成プログラムに従って所定処理を実行する。RFID30は、第3実施形態と同一で、記憶する色識別情報を携帯電話20へ送信するものである。
第4実施形態の合成画像提供システムで携帯電話20の表示部24に表示される合成画像を提供する際には、例えば以下の処理過程で提供する(図8参照)。先ず、第1、第3実施形態の会員登録及びS101〜S109又はS301〜S309までの処理と同様の処理を行う(S401〜S409)。そして、利用者が色変換領域が設定された対象画像による合成画像の提供を受ける際には、先ず、利用者は携帯電話20のプログラム選択画面に於いて合成画像生成プログラムの指定入力を行い、携帯電話20の制御部22で合成画像生成プログラムを起動する。合成画像生成プログラムと協働する制御部22は、通常画像一覧画面の表示要求と領域設定済対象画像一覧画面の表示要求に対応する各項目が表示される初期画面を表示部24で表示し、領域設定済対象画像一覧画面の表示要求の指定入力に応じて、領域設定済対象画像一覧画面を表示部24に表示し、領域設定済対象画像一覧画面に於ける所望対象画像の識別情報の指定入力に応じて、指定された識別情報に対応する各色変換領域及び各色変換領域の領域識別情報が設定された対象画像を記憶部13から抽出し(S410)、前記抽出した対象画像が表示されると共にRFID30からの色識別情報の取込要求に対応する項目が指定入力可能に表示される取込可能画面を表示部24で表示する。
更に、合成画像生成プログラムと協働する制御部22は、前記色識別情報の取込要求の指定入力に応じて、着色商品31と関連付けられRFIDリーダー27と近接しているRFID30から、RFIDリーダー27で色識別情報を受信して認識し(S411)、色識別情報の受信に応じて、合成画像生成プログラムで設定されている情報処理サーバー10のアクセス先情報に基づき接続要求を送信して情報処理サーバー10と接続を確立し、色情報配信要求及び前記色識別情報を情報処理サーバー10へ送信する(S412)。情報処理サーバー10は、携帯電話20から色情報配信要求及び色識別情報を受信し(S413)、色情報配信処理部125は、前記色情報配信要求及び色識別情報の受信に応じて、受信した色識別情報に対応する色情報及びその色情報で色変換する色変換領域の領域識別情報を色情報セット記憶部17の色情報セットから抽出し(S414)、抽出した色情報及び領域識別情報を携帯電話20へ送信する(S415)。他方で、携帯電話20は、情報処理サーバー10から送信した色識別情報に対応する色情報及びその領域識別情報を受信して認識し(S416)、合成画像生成プログラムに従う制御部22は、前記抽出表示している対象画像に設定された各色変換領域から前記受信した領域識別情報に対応する色変換領域を認識し(S417)、認識した前記対象画像の色変換領域を前記受信した色情報に基づき色変換して対象画像の合成画像を生成し(S418)、その合成画像を表示部24で表示する(S419)。
前記合成画像の表示は、RFID30からの色識別情報の取込要求に対応する項目が指定入力可能に表示される取込可能画面で前記抽出した対象画像に代えて表示する構成とし、その後に別途他等のRFID30に対する取込要求の入力があった場合には、合成画像生成プログラムに従う制御部22が、上記と同様の処理による別途のRFID30からの色識別情報の受信や携帯電話20からの送信した色識別情報に対応する色情報及び領域識別情報の受信に基づき、受信した領域識別情報に対応する前記色変換された色変換領域と同一若しくは異なる色変換領域を認識し、受信した色情報に基づき色変換領域を色変換して合成画像を生成表示する。
次に、第5実施形態の合成画像提供システムについて説明する。第5実施形態の合成画像提供システムは、対象画像の色変換領域を色情報に基づき色変換して合成画像を生成する処理を携帯電話20が行う第1〜第4実施形態とは異なり、情報処理サーバー10が、携帯電話20から受信する利用者IDと色識別情報に基づき対象画像と色情報及びその色情報に対応する領域識別情報を抽出し、領域識別情報に対応する対象画像の色変換領域を色情報に基づき色変換して合成画像を生成し、その合成画像を携帯電話20へ送信する構成である。尚、第5実施形態で特に説明しない構成については第1、第4実施形態など他の実施形態等で説明する構成と同様の構成を適宜用いることが可能である。
第5実施形態の合成画像生成プログラムは、図9に示すように、上記第1〜第4実施形態と同様に、情報処理サーバー10と携帯電話20とが携帯電話網2及びインターネット網3を介して適時接続され、携帯電話20とRFID30とが近距離無線通信を介して適宜接続される。情報処理サーバー10は、第4実施形態等と同様に、通信制御部11、制御部12、サイトデータ記憶部13、利用者情報DB15、課金情報DB16、色情報セット記憶部17を備え、制御部12はサイト処理部121、配信処理部122、色変換領域処理部123、課金処理部124として機能するが、色変換領域及びその領域識別情報が設定された対象画像を利用者IDに対応して格納する対象画像DB18と、合成画像の提供を支援する支援プログラムを格納する支援プログラム記憶部19を備え、更に、制御部12は、携帯電話20から受信する色識別情報に対応する色情報及び領域識別情報を色情報セット記憶部17の色情報セットから認識すると共に、携帯電話20から受信する利用者IDに対応する対象画像を対象画像DB18から認識し、前記認識した領域識別情報に対応する対象画像の色変換領域を認識し、その色変換領域について前記認識した色情報に基づき色変換して合成画像を生成し、その合成画像を携帯電話20へ送信する合成画像処理部126としての機能を有し、又、色変換領域処理部123は、色変換領域及び領域識別情報を設定した対象画像を利用者IDに対応させて対象画像DB18に格納し、又、配信処理部122は、合成画像の提供を支援する支援プログラムを抽出して携帯電話20に配信する。携帯電話20は、基本的な構成は第4実施形態等と同様であり、通信制御部21、制御部22、記憶部23、表示部24、操作入力部25、撮像部26、RFIDリーダー27を備えるものであるが、制御部22は、支援プログラムを格納し、支援プログラムに従って所定処理を実行する。RFID30は、第4実施形態等と同一で、記憶する色識別情報を携帯電話20へ送信するものである。
第5実施形態の合成画像提供システムで携帯電話20の表示部24に表示される合成画像を提供する際には、例えば以下の処理過程で提供する(図10参照)。先ず、利用者は携帯電話20に情報処理サーバー10のアクセス先情報の入力及び接続要求の入力を行い、携帯電話20の接続要求の送信に基づき、情報処理サーバー10と携帯電話20とで通信接続を確立する。情報処理サーバー10のサイト処理部121は、サイトデータ記憶部13に記憶されているサイトデータを用いて初期画面を送信し、携帯電話20の制御部22は受信した初期画面を表示部24に表示する。前記初期画面には、前記初期画面には、利用者登録サイトの提示要求、支援プログラムのダウンロードサイトの提示要求に対応する各項目が指定入力可能に表示される。前記利用者登録サイトによる会員登録の処理は第1実施形態と同様である。
そして、利用者が携帯電話20に合成画像の提供を支援する支援プログラムをダウンロードする場合には、利用者は操作入力部25で初期画面に於ける支援プログラムのダウンロードサイト提示要求の項目を指定入力し、携帯電話20の制御部22は、前記入力に応じて前記ダウンロードサイト提示要求を情報処理サーバー10へ送信し、他方で、情報処理サーバー10のサイト処理部121は、前記ダウンロードサイト提示要求の受信に応じて、利用者IDとパスワードの入力欄や指定入力可能な認証要求に対応する項目が表示される認証画面を携帯電話20へ送信する。更に、第1実施形態等の合成画像生成プログラムのダウンロードの場合と同様に認証処理を行い、パスワードが合致した場合には、支援プログラムのダウンロード要求の項目が指定可能に表示されるプログラム配信画面を携帯電話20へ送信する。携帯電話20の制御部22は、受信したプログラム配信画面を表示部24に表示し、プログラム配信画面のダウンロード要求の指定入力に応じて、ダウンロード要求を情報処理サーバー10へ送信し、他方で、情報処理サーバー10の配信処理部122は、ダウンロード要求の受信に応じて、支援プログラム記憶部19から支援プログラムを抽出して携帯電話20へ送信する。携帯電話20の制御部22は、支援プログラムの受信に応じて、支援プログラムを制御部22のメモリの所定記憶箇所に格納し、支援プログラムに従って動作可能な状態となる(S501)。
そして、利用者が色変換領域を設定した対象画像を情報処理サーバー10に格納する際には、利用者は携帯電話20のプログラム選択画面に於いて支援プログラムの指定入力を行い、携帯電話20の制御部22で支援プログラムを起動する。支援プログラムと協働する制御部22は、色変換領域を設定する画像を特定するために、撮像部26で撮像された画像など携帯電話20に取り込まれ格納されている通常の画像の各識別情報をそれぞれ指定入力可能に一覧表示する、通常画像一覧画面の表示要求に対応する項目と、色変換領域が設定された対象画像による合成画像の提供を受けるために、情報処理サーバー10に格納されている色変換領域設定済の対象画像の各識別情報をそれぞれ指定入力可能に一覧表示する、領域設定済対象画像一覧画面の表示処理要求に対応する項目とが表示される初期画面を表示部24に表示する。更に、第1実施形態の合成画像生成プログラムの場合と同様の処理を行って、利用者IDとパスワード及び対象画像への色変換領域設定要求及び前記特定された対象画像を情報処理サーバー10へ送信する(S502)。
情報処理サーバー10は、携帯電話20からの利用者IDとパスワード及び色変換領域設定要求及び対象画像を受信し(S503)、第1実施形態と同様の認証処理を行って、前記照合でパスワードが合致した場合には、色変換領域処理部123が、前記受信した対象画像から所定の色変換領域を抽出し(S504)、抽出した各色変換領域にそれぞれ色変換領域の種別を示す領域識別情報を付加して、各色変換領域及び各色変換領域の領域識別情報を対象画像に対応させて設定し(S505)、各領域識別情報に対応する各色変換領域を設定した対象画像に識別情報を付し、利用者IDに対応させて対象画像DBの所定記憶箇所に格納し(S506)、また、課金処理部124が、色変換領域及び領域識別情報の対象画像への設定に対する利用者への課金処理を実行し、設定記憶する所定額を前記利用者IDの利用者へ課金して、その課金額或いはその課金額を既に課金されている金額に加算した金額を利用者IDに対応させて課金情報DB16に記憶する(S507)。更に、色変換領域処理部123は、前記対象画像に付した識別情報が表示されると共に対象画像に対する色変換領域の設定及び格納が完了した旨のメッセージが表示される色変換領域設定完了画面を携帯電話20へ送信し、携帯電話20は受信した色変換領域設定完了画面を表示部24に表示して、色変換領域の設定処理が完了する。
その後、利用者が色変換領域が設定された対象画像による合成画像の提供を受ける際には、上記と同様に支援プログラムを起動し、通常画像一覧画面の表示要求と領域設定済対象画像一覧画面の表示処理要求に対応する各項目が表示される初期画面で、利用者が領域設定済対象画像一覧画面の表示処理要求を指定入力する。携帯電話20の制御部22は支援プログラムに従い、前記入力に応じて、利用者IDとパスワードの入力欄や指定入力可能な領域設定済対象画像一覧画面の表示要求に対応する項目が表示される認証画面を表示部24で表示し、認証画面に於ける利用者IDとパスワードの入力及び認証要求を兼ねる領域設定済対象画像一覧画面の表示要求の指定入力に応じて、支援プログラムで設定されている情報処理サーバー10のアクセス先情報に基づき接続要求を送信して情報処理サーバー10と接続を確立し、認証画面で入力された利用者IDとパスワード及び領域設定済対象画像一覧画面の表示要求を情報処理サーバー10へ送信する。
情報処理サーバー10は、携帯電話20からの利用者IDとパスワード及び領域設定済対象画像一覧画面の表示要求を受信し、サイト処理部121は、認証要求を兼ねる領域設定済対象画像一覧画面の表示要求及び利用者IDとパスワードの受信に応じて、上記と同様に認証処理を実行し、パスワードが合致した場合には、対象画像DB18から利用者IDに対応して設定されている一若しくは複数の色変換領域及び領域識別情報が設定された対象画像の各識別情報を抽出し、サイトデータ記憶部13のサイトデータを用いて前記利用者IDに対応設定されている対象画像の各識別情報をそれぞれ指定入力可能に一覧表示する領域設定済対象画像一覧画面を生成し、その領域設定済対象画像一覧画面を携帯電話20へ送信する。他方で、携帯電話20は、前記領域設定済画像一覧画面を受信し、支援プログラムに従う制御部22は、領域設定済画像一覧画面を表示部24で表示し、領域設定済対象画像一覧画面に於ける所望対象画像の識別情報の指定入力に応じて、指定された識別情報及び対象画像の表示要求を情報処理サーバー10へ送信する。他方で、情報処理サーバー10は、携帯電話20から対象画像の表示要求及び指定された識別情報を受信し、サイト処理部121は、前記受信に応じて、受信した識別情報に対応する各色変換領域及び各色変換領域の領域識別情報が設定された対象画像を対象画像DBから抽出し、抽出した対象画像を携帯電話20へ送信する(S508)。携帯電話20の制御部22は支援プログラムに従い、受信した色変換領域及び領域識別情報が設定された対象画像を認識し、前記対象画像が表示されると共にRFID30からの色識別情報の取込要求に対応する項目が指定入力可能に表示される取込可能画面を生成し、その取込可能画面を表示部24で表示する。
更に、支援プログラムと協働する制御部22は、前記色識別情報の取込要求の指定入力に応じて、着色商品31と関連付けられRFIDリーダー27と近接しているRFID30から、RFIDリーダー27で色識別情報を受信して識別子により認識し(S509)、色識別情報の受信に応じて、支援プログラムで設定されている情報処理サーバー10のアクセス先情報に基づき接続要求を送信して情報処理サーバー10と接続を確立し、合成画像生成要求及び前記色識別情報を情報処理サーバー10へ送信する(S510)。情報処理サーバー10は、携帯電話20から合成画像生成要求及び色識別情報を受信し(S511)、合成画像処理部126は、前記合成画像生成要求及び色識別情報の受信に応じて、受信した色識別情報に対応する色情報及びその色情報で色変換する色変換領域の領域識別情報を色情報セット記憶部17の色情報セットから抽出し(S512)、前記抽出表示している対象画像に設定された各色変換領域から前記抽出した領域識別情報に対応する色変換領域を認識し(S513)、認識した前記対象画像の色変換領域を前記抽出した色情報に基づき色変換して対象画像の合成画像を生成し(S514)、その合成画像を携帯電話20へ送信する(S515)。
携帯電話20は、情報処理サーバー10から送信される合成画像を受信し(S516)、制御部22は支援プログラムに従い、受信した合成画像を認識し、合成画像が表示されると共にRFID30からの色識別情報の取込要求に対応する項目が指定入力可能に表示される取込可能画面を生成し、その取込可能画面を表示部24で表示する(S517)。その後に、合成画像が表示される取込可能画面から別途他等のRFID30に対する取込要求の入力があった場合には、上記と同様の処理、即ち、携帯電話20の他等のRFID30からの色識別情報の受信、色識別情報の携帯電話20への送信、受信する合成画像が表示される取込可能画面の生成や、情報処理サーバー10の色識別情報に対応する色情報及び領域識別情報に基づく対象画像の合成画像の生成及び送信等により、前記既に表示された合成画像の色変換された色変換領域と同一若しくは異なる色変換領域を色変換した合成画像の提供が行われる。尚、合成画像処理部126の合成画像生成処理には、上記第1〜第4実施形態の合成画像生成プログラムに従う制御部22が行う合成画像生成処理と同様の処理を用いることが可能である。また、保存ボタンの指定入力や識別情報の入力等に応じ、若しくは受信に基づき自動的に、携帯電話20の制御部22が受信した合成画像に識別情報を付して記憶部23の画像フォルダ等の所定記憶箇所に格納し、他者へ送信可能に記憶する構成や、保存要求や識別情報の送信入力等に応じ、携帯電話20の制御部22が保存要求及び識別情報を情報処理サーバー10へ送信し、情報処理サーバー10の制御部12の所定部が受信した保存要求及び識別情報に基づき、若しくは合成画像の生成・送信等に基づき自動的に、送信した合成画像を所定記憶箇所に識別情報を付して格納し、他者が通信接続で閲覧可能なアルバムサイトに表示可能に記憶する構成等としてもよい。
次に、第6実施形態の合成画像提供システムについて説明する。第6実施形態の合成画像提供システムは、第5実施形態に於ける、携帯電話20がRFID30から受信する色識別情報を情報処理サーバー10へ送信し、情報処理サーバー10が格納する色情報セットから受信した色識別情報に対応する色情報及び領域識別情報を抽出し、その領域識別情報に対応する対象画像の色変換領域を認識して色情報で色変換する構成に代え、携帯電話20がRFID30から受信する色情報及び領域識別情報を情報処理サーバー10へ送信し、情報処理サーバー10が携帯電話20から受信する領域識別情報に対応する対象画像の色変換領域を認識し、携帯電話20から受信した色情報で色変換領域を色変換する構成である。尚、第6実施形態で特に説明しない構成については第5実施形態など他の実施形態等で説明する構成と同様の構成を適宜用いることが可能である。
第6実施形態の合成画像生成プログラムは、図11に示すように、第5実施形態と同様に、情報処理サーバー10と携帯電話20とが携帯電話網2及びインターネット網3を介して適時接続され、携帯電話20とRFID30とが近距離無線通信を介して適宜接続される。情報処理サーバー10は、第5実施形態等と同様に、通信制御部11、制御部12、サイトデータ記憶部13、利用者情報DB15、課金情報DB16、対象画像DB18、支援プログラム記憶部19を備え、制御部12はサイト処理部121、配信処理部122、色変換領域処理部123、課金処理部124、合成画像処理部126として機能するが、色情報セット記憶部17を有さず、更に、合成画像処理部126は、携帯電話20から受信する利用者IDに対応する対象画像を対象画像DB18から認識し、携帯電話20から受信する領域識別情報に対応する対象画像の色変換領域を認識し、その色変換領域について携帯電話20から受信する色情報に基づき色変換して合成画像を生成し、その合成画像を携帯電話20へ送信する。携帯電話20は、第5実施形態と同様に、通信制御部21、制御部22、記憶部23、表示部24、操作入力部25、撮像部26、RFIDリーダー27を備えるが、制御部22は支援プログラムに従い、RFID30から取り込まれた色情報及び領域識別情報を認識し、情報処理サーバー10へ送信する。RFID30は、その記憶部に色情報及び領域識別情報を格納し、色情報及び領域識別情報を携帯電話20へ送信するものであり、第1実施形態と同一である。
第6実施形態の合成画像提供システムで携帯電話20の表示部24に表示される合成画像を提供する際には、例えば以下の処理過程で提供する(図12参照)。先ず、第5実施形態と同様に、情報処理サーバー10と携帯電話20とで通信接続を確立し、情報処理サーバー10は利用者登録サイト提示要求、支援プログラムのダウンロードサイト提示要求の項目が表示される初期画面を送信し、必要に応じて利用者登録サイトで会員登録が行われ、ダウンロードサイトで支援プログラムの携帯電話20へのダウンロードが行われる(S601)。更に、携帯電話20で支援プログラムの初期画面が表示され、第1、5実施形態の合成画像生成プログラムの場合と同様の処理過程で、利用者IDとパスワード及び対象画像への色変換領域設定要求及び前記特定された対象画像を情報処理サーバー10へ送信する(S602)。更に、第5実施形態と同様に、情報処理サーバー10は、利用者IDとパスワード及び色変換領域設定要求及び対象画像を受信し(S603)、色変換領域処理部123が、前記受信した対象画像から所定の色変換領域を抽出し(S604)、抽出した各色変換領域にそれぞれ色変換領域の種別を示す領域識別情報を付加して、各色変換領域及び各色変換領域の領域識別情報を対象画像に対応させて設定し(S605)、各領域識別情報に対応する各色変換領域を設定した対象画像に識別情報を付し、利用者IDに対応させて対象画像DBの所定記憶箇所に格納し(S606)、また、課金処理部124が、色変換領域及び領域識別情報の対象画像への設定に対する利用者への課金処理を実行する(S607)。
その後、利用者が色変換領域が設定された対象画像による合成画像の提供を受ける際には、第5実施形態と同様に支援プログラムを起動し、携帯電話20から情報処理サーバー10へ利用者IDとパスワード及び領域設定済対象画像一覧画面の表示要求を送信し、情報処理サーバー10は認証処理を実行して領域設定済対象画像一覧画面を携帯電話20へ送信し、携帯電話20は所望対象画像の識別情報及び対象画像の表示要求を情報処理サーバー10へ送信し、更に、情報処理サーバー10は前記識別情報の対象画像を抽出して携帯電話20へ送信し(S608)、携帯電話20は前記対象画像が表示されると共にRFID30からの色情報及び領域識別情報の取込要求に対応する項目が指定入力可能に表示される取込可能画面を生成し、その取込可能画面を表示部24で表示する。
更に、支援プログラムと協働する制御部22は、前記色情報及び領域識別情報の取込要求の指定入力に応じて、着色商品31と関連付けられRFIDリーダー27と近接しているRFID30から、RFIDリーダー27で色情報及び領域識別情報を受信して識別子により認識し(S609)、色情報及び領域識別情報の受信に応じて、支援プログラムで設定されている情報処理サーバー10のアクセス先情報に基づき接続要求を送信して情報処理サーバー10と接続を確立し、合成画像生成要求と前記色情報及び領域識別情報を情報処理サーバー10へ送信する(S610)。情報処理サーバー10は、携帯電話20から合成画像生成要求と色情報及び領域識別情報を受信し(S611)、合成画像処理部126は、前記受信に応じて、前記抽出表示している対象画像に設定された各色変換領域から前記受信した領域識別情報に対応する色変換領域を認識し(S612)、認識した前記対象画像の色変換領域を前記受信した色情報に基づき色変換して対象画像の合成画像を生成し(S613)、その合成画像を携帯電話20へ送信する(S614)。
携帯電話20は、情報処理サーバー10から送信される合成画像を受信し(S615)、制御部22は支援プログラムに従い、受信した合成画像を認識し、合成画像が表示されると共にRFID30からの色情報及び領域識別情報の取込要求に対応する項目が指定入力可能に表示される取込可能画面を生成し、その取込可能画面を表示部24で表示する(S616)。その後に、合成画像が表示される取込可能画面から別途他等のRFID30に対する取込要求の入力があった場合には、上記と同様の処理、即ち、携帯電話20の他等のRFID30からの色情報及び領域識別情報の受信、色情報及び領域識別情報の携帯電話20への送信、受信する合成画像が表示される取込可能画面の生成や、情報処理サーバー10の色情報及び領域識別情報に基づく対象画像の合成画像の生成及び送信等により、前記既に表示された合成画像の色変換された色変換領域と同一若しくは異なる色変換領域を色変換した合成画像の提供が行われる。尚、合成画像処理部126の合成画像生成処理には、上記第1〜第4実施形態の合成画像生成プログラムに従う制御部22が行う合成画像生成処理と同様の処理を用いることが可能である。
上述の第1〜第6実施形態の合成画像提供システムにより、携帯電話20の利用者は、店舗で陳列されている着色商品31や、雑誌・カタログ・ポスター等に記載されている着色商品31や、電子ペーパー等のディスプレイに表示されている着色商品31等を見つけた場合に、着色商品31に対応して設けられているRFID30や、着色商品31のサンプルや棚に設けられているRFID30や、着色商品31が示されている雑誌・カタログ・ポスター・電子ペーパーに設けられているRFID30など、口紅など着色商品31と関連付けされたRFID30から色情報及び領域識別情報、又は色識別情報を携帯電話20に取り込み、予め設定している顔画像など対象画像の唇領域など色変換領域について、口紅など着色商品31に対応する色情報に基づき色変換した合成画像を確認することが可能となり、着色商品31自体若しくはその記載を見つけた時にその場で試用状態を確認することができ、換言すれば口紅など着色商品31の試用状態を遍在的な時と場所で確認することができる。更に、予め設定されている対象画像に基づき携帯電話20の簡単な操作だけで合成画像を見ることができるので、例えば利用者が店員等に合成画像の提供を頼む或いは店舗で顔画像を撮影するなど面倒な作業の必要が無く、容易且つ気軽に合成画像を確認することができる。更に、混雑した店舗など口紅など着色商品31の現実の試用が困難な場合や、その場に存在しない人若しくは車など物に対する着色商品31の試用状態を確認したい場合にも、試用状態の確認を可能とすることができる。
更に、予め対象画像を設定すると共に予め対象画像の色変換する色変換領域を設定することにより、合成画像を確認する際に色変換領域の抽出や設定など高度な演算処理が必要な画像処理を行う必要が無く、予め設定されている色変換領域を認識して色情報で色変換する処理で済むことから、実際の着色より遙かに短時間で、口紅など着色商品31の試用状態の合成画像をほぼリアルタイムで迅速に利用者へ提供することができると共に、省力的な画像処理が可能になる。特に、合成画像を見る際に、情報処理サーバー10と携帯電話20との間の通信を行わず、着色商品31に関連付けされているRFID30から色情報及び領域識別情報、又は色識別情報を携帯電話20に近距離通信で取り込むだけで合成画像を見ることができる第1〜第3実施形態の合成画像提供システムは、着色商品31の色による合成画像を見たいという利用者の願望発生時から合成画像の提供時までの時間を飛躍的に短縮化することができ、口紅など着色商品31に対する利用者の興味が移り変わる前に、リアルタイムで合成画像を提供することができる。
そして、遍在的で迅速な合成画像の提供により、利用者の口紅など着色商品31に対する利便性や娯楽性を高めて印象度を向上し、高い販促効果を得ることができる。特に、例えば利用者の顔画像を対象画像とし、唇領域或いは口紅着色領域・ファンデーション着色領域・頬紅着色領域・アイシャドー着色領域など複数種の色変換領域を設定し、口紅・ファンデーション・頬紅・アイシャドーなど各着色用化粧品に対応する色情報に基づき、複数種の色変換領域について色変換した合成画像を提供可能にする等、一つの対象画像に設定された複数種の色変換領域を各着色商品31に対応する色情報で色変換した合成画像を提供可能にすることにより、利用者は複数種の着色商品31を組み合わせた試用状態を随時確認することが可能となり、利用者の着色商品31に対する利便性・娯楽性・印象度を一層高め、複数の着色商品31の組み合わせによる購入促進など、より高い販促効果を得ることができる。
更に、例えば口紅など着色用化粧品のサンプルを利用者が他人と共用して現実に着色する場合等、着色商品31の試用が利用者の心理的抵抗や衛生面の問題を有する場合に対応して、合成画像による試用で現実の着色による試用を不要にすることが可能であり、利用者の心理的抵抗や衛生面の問題を解消することができる。更に、RFID30には、データ量が小さい色情報及び領域識別情報、又は色識別情報を記憶するものであるから、RFID30の記憶容量的な不都合を生ずることがなく、また、RFID30にはデータ量が小さい色情報及び領域識別情報、又は色識別情報と共に、必要に応じて他の情報を格納することが可能であり、他の情報の格納に対するRFID30のハードウェア資源を十分確保することができる。更に、撮像や通信で携帯電話20に取り込んだ自分や他者の顔画像等の画像を対象画像として色変換領域を設定することが可能であるから、所望の画像を容易に色変換領域を設定した対象画像とすることができる。
また、対象画像に対する色変換領域の設定に対応して課金する実施形態では、情報処理サーバー1で多量な演算処理を必要とする色変換領域設定処理に応じた対価を確保することができると共に、課金する設定金額を調整することにより、色変換領域設定処理の回数を情報処理サーバー10の演算処理能力に適合した回数に調整することが可能となる。また、合成画像の提供時の通信が携帯電話20とRFID30とのローカル通信だけで可能な実施形態では、合成画像の表示を受ける際に携帯電話20の利用者は通信料金を支払うことなく、合成画像の表示を受けることができ、又、合成画像の提供時に情報処理サーバー10と携帯電話20とで通信が行われる実施形態では、色情報及び領域識別情報の送信或いは合成画像の送信などデータの伝送に課金して対価回収を図ることができる。また、口紅など着色商品31のサンプルに対応して1箇所や2〜3箇所にRFID30を設ける等、複数個の着色商品31に対応して1個のRFID30を設ける構成とすると、着色商品31の全てにRFID30を設ける必要が無く、少ない個数のRFID30で低コストに合成画像提供システムを実現することができ、更には、着色商品31に直接設けられるRFID30を別の用途に利用可能なメリットもある。また、色変換で生成した画像を情報処理サーバー10や携帯電話20に格納して他者の閲覧や他者への送信が可能な構成とする場合には、副次的にユーザーが合成画像をピア・トゥ・ピアの環境下で利用することも期待され、着色商品31の宣伝や画像通信による娯楽性の向上を図れる。
次に、第1〜第6実施形態の合成画像提供システムで上述した対象画像からの色変換領域の抽出、色変換領域とその色変換領域の種別を示す領域識別情報との対象画像に対する設定、対象画像の色変換領域に対する色情報に基づく色変換等の構成例について説明する。即ち、情報処理サーバー10の色変換領域処理部123、又は携帯電話20の合成画像生成プログラムに従う制御部22が実行する対象画像からの色変換領域の抽出、色変換領域とその色変換領域の種別を示す領域識別情報との対象画像に対する設定等や、携帯電話20の合成画像生成プログラムに従う制御部22、又は情報処理サーバー10の合成画像処理部126が実行する対象画像の色変換領域に対する色情報に基づく色変換等は、既存技術など適宜の技術で実行することが可能であり、例えば下記の技術を用いることができる。
色変換領域及び領域識別情報の対象画像に対する設定する場合には、例えばビットマップ画像の対象画像から抽出した各種別の色変換領域のエッジに、各種別の色変換領域毎に異なる領域番号を領域識別情報として対象画像に設定することにより、色変換領域及び領域識別情報を対象画像に設定し、その対象画像を送信、或いは記憶部23や対象画像DB18に格納する構成とし、ファンデーション着色領域と頬紅着色領域や、ファンデーション着色領域とアイシャドー着色領域など、色変換領域が重なる場合にも同様の処理を行う構成等とする。前記設定構成は、設定する色変換領域が一つ若しくは一種類の場合も前記に処理可能であり、ビットマップ画像の対象画像から抽出した色変換領域のエッジに、他の領域特別可能に色変換領域の領域番号を領域識別情報として対象画像に設定する構成等とする。或いは、色変換領域を特定するSVGデータを対象画像のデータに付加して色変換領域を設定してもよい。或いは、色変換領域内から所定比率で色情報に基づき色変換する画素を抽出し、前記画素に識別情報を設定し、その識別情報に対応する画素だけ色変換する構成としてもよい。
対象画像の色変換領域を色情報に基づき色変換して合成画像を生成する場合には、例えば各種別の色変換領域のそれぞれに対する、対象画像の色変換領域内の原画像の画素が有する色情報の透過率と、着色商品31に対応する色情報の透過率を、合成画像生成プログラム若しくは合成画像処理部126の制御プログラムに設定し、原画像の色情報と着色商品31に対応する色情報を各透過率の割合で加算してRGB値等の色情報を算出し、その色情報で該当する色変換領域を色変換し、更に、色変換領域が重なる部分では重なり部分に対応し、原画像の画素が有する色情報の透過率と、複数種の着色商品31に対応する各々の透過率を設定し、原画像の色情報と複数種の着色商品31に対応する色情報を各透過率の割合で加算してRGB値等の色情報を算出し、その色情報で該当する色変換領域の重なり部分を色変換する、重み付け合成による構成等とし、前記透過率は着色時の統計で取得する構成等とする。或いは、着色商品31に対応する色情報を実際の商品31の色より薄めの色等で設定し、その色情報を原画像の画素が有する色情報に加算してRGB値等の色情報を算出し、その色情報で該当する色変換領域を色変換する構成とする。或いは、着色商品31に対応する色情報で色変換領域の原画像の画素が有する色情報を置換して色変換する構成とする。或いは、色変換領域の原画像の各画素が有する色情報の平均値を算出し、その平均値に着色商品31に対応する色情報を加算若しくは重み付け加算して色情報を算出し、その色情報で色変換する構成とする。或いは、色変換領域を色情報に基づき色変換する際に、頬紅やアイシャドーの着色領域など色変換領域内の色情報に基づく色を薄く若しくは漸次薄くなるように色変換する構成としてもよく、例えば色変換領域の輪郭線から所定距離の位置に向かって、重み付け合成で用いる着色する色情報の透過率を漸次低下し、輪郭線に近づくに従い着色が薄くなる構成や、前記輪郭線から所定距離の位置までの領域について、他の領域と異なる高透過率で色情報を着色する重み付け合成を行う構成等とすることができる。
対象画像から色変換領域を抽出する場合には、エッジ検出・色情報による区分・位置関係情報に基づく所定部位の特定・抽出候補領域の設定に基づく領域の抽出・所定部位の位置や領域のエッジに基づく色変換領域の抽出等を適宜用いて色変換領域を抽出する構成等とする。例えば対象画像が大部分が正面視の顔である顔画像で、色変換領域として唇領域・ファンデーション着色領域・頬紅着色領域・アイシャドー着色領域を抽出する場合、エッジ検出や肌色情報による区分に基づき顔領域を抽出し、更に、顔領域内の肌色以外の部分領域を検出して位置関係情報に基づき鼻孔・眉・目・唇等の各所定部位を特定し、各所定部位について各抽出候補領域を設定して鼻孔領域・眉領域・目領域・唇領域をエッジ検出や色情報による区分に基づき抽出し、前記各所定部位の領域以外をファンデーション着色領域として抽出し、更に、目領域及び眉領域に対する所定位置に基づき設定される所定領域をアイシャドー着色領域として抽出し、顔領域のエッジ及び目領域・鼻孔領域・唇領域に対する所定位置に基づき設定される所定領域を頬紅着色領域として抽出する構成等とすることができる。
更に、対象画像である顔画像から所定の色変換領域を抽出する場合には、以下の技術を適宜用いることが可能である。例えば顔画像から色変換領域として唇領域を抽出する際に、特許文献6のように、顔画像から顔領域のエッジ画像を生成し、Y軸投影でエッジのヒストグラムを生成して顔の各部位のY座標を検索し、所要部位の特徴点を抽出して口を含むY座標位置に唇候補領域を仮設定し、鼻の下端と口の上端との間で且つ口の両端間等の所定範囲から肌色情報及びその平均値を取得し、肌色情報の平均値に対する唇候補領域の画素の色の偏差を取得し、偏差が閾値を超えた場合に唇領域と判定して抽出する構成とすることができる。或いは、顔画像から唇領域を抽出する際に、特許文献7のように、顔画像の輝度情報にSobelフィルタ等でフィルタ処理を実行してエッジを検出し、最も外側のエッジより外側の部分を背景として分離し、背景を分離した顔画像をYIQ表色系へ色変換してQ軸に関する濃度値の累積ヒストグラムを生成し、その累積ヒストグラムに所定閾値で閾値処理することにより唇候補領域を決定し、更に、唇候補領域についてQ軸に関する濃度値の累積ヒストグラムを生成し、その累積ヒストグラムに所定閾値で閾値処理することにより唇領域を抽出する構成とすることができる。或いは、顔画像から唇領域を抽出する際に、特許文献7のように、適宜の構成で唇候補領域を決定した後、前記唇候補領域とその周辺を含むように第2の唇候補領域を決定し、前記唇候補領域の色成分ヒストグラムと前記第2の唇候補領域の色成分ヒストグラムを生成して両者の差分ヒストグラムを生成し、差分ヒストグラムのピーク値に所定係数を乗算して閾値を取得し、前記唇候補領域の色成分ヒストグラムの色成分のうち前記閾値より唇の色成分によるピーク側にある色成分の領域を唇領域として抽出する構成とすることができる。
或いは、顔画像からファンデーション着色領域を抽出する際に、エッジ検出等で顔画像から背景や下顎から下の領域や耳領域を分離し、その顔画像から肌色情報を有する領域を顔領域として抽出し、前記顔領域内で黒色情報を有し且つ顔の配置条件に基づく所定位置に位置する鼻孔領域及び鼻孔領域の重心等の適宜位置の鼻孔位置を抽出し、鼻孔位置及び鼻孔位置を基準とする目、口、耳、眉等の予測位置に部分的な抽出候補領域を設定し、各抽出候補領域に対して濃度差による閾値処理やエッジ検出を施すことにより鼻孔領域、目領域、唇領域、眉領域等を正確に特定して抽出し、前記顔領域から各所定部位の領域を抜き出して抽出する構成とすることができる。尚、エッジ検出や肌色情報に基づき耳領域を含む顔領域を抽出し、前記顔領域内で黒色情報を有し且つ顔の配置条件に基づく所定位置に位置する鼻孔領域及びその重心等の鼻孔位置を抽出し、鼻孔位置を基準とする耳の予測位置に部分的な耳候補領域を設定し、耳候補領域に対してエッジ検出等を施すことにより耳領域を抽出して、耳領域を含まない顔領域を抽出する構成としてもよい。或いは、顔画像から頬紅着色領域を抽出する際に、前述の構成と同様に顔領域を抽出し、顔領域の輪郭線・目領域・鼻孔領域等の位置に基づき複数の基準点を取得し、設定記憶する所定形状パターンの形状線を、鼻孔位置を基準等にする所定位置に配置し、形状線が有する複数の基準点を前記取得した基準点の位置に調整して形状線を変形し、調整後の形状線で囲まれる領域若しくは調整後の形状線と顔領域の輪郭線で囲まれる領域を頬紅着色領域として抽出する構成とすることができる。或いは、顔画像からアイシャドー着色領域を抽出する際に、前述の構成と同様に目領域を抽出し、目領域から所定距離の位置までの領域をアイシャドー着色領域として抽出する構成や、必要に応じて、目領域の上輪郭線と眉領域の下輪郭線の位置を基準として特定する位置に基づきアイシャドー着色領域の上輪郭線を特定する構成等とすることができる。
また、頭髪を含む顔画像から頭髪領域を抽出し、頭髪領域を色変換領域としてヘアマニキュアに対応する色情報に基づき色変換する場合に、頭髪領域(ヘアマニキュア着色領域)を抽出する際には、例えばエッジ検出で背景を頭髪を含む顔領域から分離し、その顔領域から黒色情報等の髪色情報に基づく濃度値の閾値処理及び推定される画像上部の頭髪位置情報に基づき頭髪領域を抽出する、或いは黒色情報等を有し且つ所定面積以上の領域を頭髪領域として抽出する構成等とすることができる。また、爪領域が示されている指や手等の画像から爪領域を抽出し、爪領域を色変換領域としてマニキュアに対応する色情報に基づき色変換する場合、爪領域(マニキュア着色領域)を抽出する際には、例えばエッジ検出で背景を指領域や手領域から分離し、その指領域や手領域から推定される指の先端部の爪位置情報に基づき爪候補領域を設定し、エッジ検出等で爪候補領域から爪領域を抽出する構成等とすることができる。
また、対象画像からの色変換領域の抽出はクロマキー処理で実行してもよい。例えば赤色・青色・緑色など所定色で着色する試供品や販売品等の商品を用い、前記着色商品で色変換領域として抽出する領域、例えば唇領域や爪領域等に所定色の着色を施し、その着色領域を有する対象画像を撮像部26の撮像等で携帯電話20に取り込み、情報処理サーバー10の色変換領域処理部123又は合成画像生成プログラムと協働する制御部22が、前記着色領域を有する対象画像からクロマキー処理で前記着色領域を色変換領域として抽出する構成としてもよく、更に、対象画像に同一色の着色領域が複数ある場合には、例えば唇領域・頬紅着色領域・アイシャドー着色領域の位置関係情報など色変換領域の種別に応じた位置関係情報に基づき、色変換領域の種別を特定してもよく、更に、複数の色変換領域の種別毎に異なる色で着色された対象画像から、クロマキー処理で各着色された色に対応する種別の色変換領域を抽出してもよい。クロマキー処理で着色する色は、必要に応じて設定することが可能であり、例えばファンデーション領域に着色した色や地肌と色差が大きい所定色を唇領域・頬紅領域・アイシャドー領域に着色する構成等とする。
更に、携帯電話20が抽出対象の領域に着色のない対象画像に取り込み、携帯電話20から情報処理サーバー10へ前記着色がない画像を送信し、情報処理サーバー10の制御部12の所定部が制御プログラムに従い、若しくは、着色がない対象画像を取り込んだ携帯電話20の制御部22が合成画像生成プログラム等の制御プログラムに従い、着色がない対象画像の所定範囲や所定の複数箇所に於ける画素の色情報の平均値を算出する、代表点の画素の色情報を取得する等で利用者の肌色情報や唇色情報や爪色情報など地色情報を取得し、その肌色情報を必要に応じて利用者IDに対応させる等で所定記憶箇所に記憶し、その地色情報と着色商品31に対応する色情報とを加算若しくは重み付け加算して色変換領域の画素の色を算出して色変換する構成としてもよい。或いは、抽出対象の領域に着色がある共に前記領域と同種の領域で着色がない領域を示す画像、例えば着色された爪領域と着色がない爪領域が示される画像等に対し、着色がない領域から前記と同様に利用者の地色情報を取得して記憶し、その地色情報と着色商品31に対応する色情報とを加算若しくは重み付け加算して色変換領域の画素の色を算出して色変換する構成としてもよい。
また、例えば情報処理サーバー10に格納された対象画像に対しネットワークを介した色変換領域処理装置の遠隔操作で色変換領域を抽出設定する構成や、情報処理サーバー10から色変換領域処理装置へ一旦対象画像のデータを送信して格納させ、色変換領域処理装置で色変換領域処理が行われた対象画像を色変換領域処理装置から情報処理サーバー10が受信して格納する構成等により、特許文献3、4のような手動入力に応じて色変換領域を抽出する構成とすることも可能である。具体例として、情報処理サーバー10が携帯電話20から受信した対象画像を利用者IDや対象画像の識別情報に対応させて所定記憶箇所に格納し、そのメモリに色変換領域処理プログラムを格納する制御部・記憶部・表示部・操作入力部・通信制御部を備える色変換処理装置からの所要識別情報の対象画像の表示要求に応じ、情報処理サーバー10が色変換領域処理装置に通信ネットワークを介して対象画像を送信して提示し、色変換領域処理装置の制御部が色変換領域処理プログラムに従い、操作者の領域範囲指定・形状パターンの位置調整・輪郭トレース・領域やその種別の確定など適宜の入力に対応する所定処理を実行して色変換領域を抽出し、色変換領域及び領域識別情報を対象画像に設定し、情報処理サーバー10の別途の所定記憶箇所に格納する構成や、情報処理サーバー10が別途の記憶箇所への格納に応じ、色変換領域及び領域識別情報が設定された対象画像を自動的に携帯電話20へ電子メール等で送信する構成等とすることが可能である。或いは、微小領域を選択指定可能にする合成画像生成プログラム等と協働する携帯電話20の制御部22が、同様に手動入力に応じて対象画像から色変換領域を抽出し、色変換領域及び領域識別情報を対象画像に設定して格納する構成等とすることも可能である。
次に、第1〜第6実施形態等の合成画像提供システムの変形例について説明する。
上記実施形態では、データキャリアとして無線ICチップであるRFID30を用いる場合について説明したが、RFID30に代えて二次元コード等のコード情報或いはコード情報記録体を用い、上記実施形態と同様の処理を行う構成としてもよく、例えば携帯電話20の制御部22のメモリにコード情報の解析プログラムを格納し、印刷されているコード情報若しくは電子ペーパー等のディスプレイに表示されているコード情報に色情報及び領域識別情報若しくは色識別情報を記憶させ、そのコード情報を撮像部26で撮像して携帯電話20に取り込み、携帯電話20の制御部22が解析プログラムに従い、取り込んだコード情報を解析して色情報及び領域識別情報若しくは色識別情報を抽出する構成等とすることができる。或いは、携帯電話20の制御部22が所定プログラムに従い、取り込んだコード情報を情報処理サーバー10へ送信し、情報処理サーバー10に設けられるコード情報解析処理部が受信したコード情報を解析して色情報及び領域識別情報若しくは色識別情報を抽出する構成とすることができる。或いは、撮像部26で撮像して携帯電話20にコード情報を取り込む構成に代え、携帯電話20にコードリーダー若しくはスキャナーを設け、コードリーダーでコード情報を読み取って取り込む構成としてもよい。
また、上記色情報及び領域識別情報若しくは色識別情報以外に別途格納された情報をRFID30等のデータキャリアから取り込み、携帯電話20や情報処理サーバー10が処理する構成や、或いは同様の別途格納された情報を情報処理サーバー10から取り込み、携帯電話20が処理する構成や、或いは同様の別途格納した情報を情報処理サーバーが抽出して処理する構成や、或いは携帯電話20若しくは情報処理サーバー10が色変換領域に対して色変換に加えて付加的な処理を施す構成等としてもよい。例えばRFID30に着色商品31の名称情報をRFID30や情報処理サーバー10に色情報や色識別情報に対応させて格納し、名称情報を携帯電話20が受信して表示する若しくは色情報や合成画像と対応して記憶部23の所定記憶箇所に格納し、必要に応じて表示する構成や、或いは情報処理サーバー10が名称情報を合成画像等に対応して格納し、必要に応じて携帯電話20へ送信提示する構成等とすることができる。前記名称情報により、着色商品31に対する利用者の認知度を高め、購買意欲の向上や口コミ等による宣伝効果を図ることができる。
或いは、例えばRFID30に着色商品31に対応する色情報及び領域識別情報と共に、着色商品31の関連情報を提供するサイトのURLなどアクセス先情報を格納し、携帯電話20がこれらの情報を受信し、更に、制御部22が所定プログラムと協働し、前記領域識別情報に対応する対象画像の色変換領域を認識し、その色変換領域を前記アクセス先情報を埋め込むリンク定義領域として認識し、XML等の所定の記述言語により埋込指令を生成して前記リンク定義領域に前記アクセス先情報を指定入力可能に埋め込み、更には、別途新たに同一の色変換領域に対する色情報・領域識別情報・アクセス先情報を受信した場合には、前記と同様の処理で前記色変換領域のアクセス先情報を置換して埋め込む構成等としてもよい。或いは、情報処理サーバー10が送信する色情報・領域識別情報・アクセス先情報を携帯電話20が受信し、携帯電話20が前記と同様の処理を施す構成や、情報処理サーバー10の合成画像処理部126が、受信する若しくは抽出する色情報・領域識別情報・アクセス先情報に基づき前記と同様に埋め込み処理を施す構成等としてもよい。前記構成により、利用者は色変換された色変換領域の指定入力により、着色商品31に関連する情報を提供するサイトへアクセスすることが可能となり、利用者の娯楽性や利便性を高めることができ、更には、多様な着色商品31に対応する関連情報を必要に応じて即座に提供することができる。
また、情報処理サーバー10と携帯電話20の送受信にはアップロード・ダウンロードの他に、電子メール等の他の通信方式を適宜用いることが可能であり、例えば携帯電話20から情報処理サーバー10へ対象画像を電子メールで送信する構成や、情報処理サーバー10が色変換領域を設定した対象画像を抽出するメールアドレスで生成する電子メールで携帯電話20へ送信する構成や、携帯電話20から情報処理サーバー10へ色情報及び領域識別情報若しくは色識別情報を電子メールで送信する構成等とすることが可能であり、携帯電話20の合成画像生成プログラムや支援プログラムに従う制御部22が、情報処理サーバー10へ送信する専用の電子メールフォーマットを生成し、そのフォーマットに必要事項を記録若しくは入力して送信する構成等としてもよい。前記構成の場合にも、情報処理サーバー10や携帯電話20は上記と同様に電子メールから必要なデータを認識し、所定処理を施す。
また、対象画像は静止画像に限定されず動画像とすることも可能であり、対象画像が動画像の場合にも、例えば上述のような適宜の画像処理技術で色変換領域の抽出・設定・色変換等を行うことが可能であり、その他に、例えばエネルギー最小化原理を利用して初期設定した輪郭線を色変換領域に収束し色変換領域を抽出する構成等としてもよい。また、例えばテレビ電話である携帯電話20からテレビ電話で対象画像が情報処理サーバー10へ送信され、その対象画像から所定時間の動画像の対象画像を情報処理サーバー10が取得し、その動画像の対象画像から色変換領域を抽出して設定する構成や、或いは、携帯電話20の撮像部26で動画像の対象画像を撮像し、その動画像を情報処理サーバー10へアップロードや電子メールで送信し、情報処理サーバー10が受信する動画像の対象画像に前記と同様の処理を施す構成や、或いは、携帯電話20の撮像部26で動画像の対象画像を撮像し、制御部22が所定プログラムに従い、前記動画像の対象画像から色変換領域を抽出して設定する構成等とすることができる。
また、携帯電話20の記憶部23に色変換領域及び領域識別情報を設定した対象画像を記憶する場合に、情報処理サーバー10等の色変換領域処理装置に店頭等で撮像された対象画像が取り込まれ、色変換領域処理装置が上述の色変換領域の抽出・設定処理を施し、別途取得した電子メールで色変換領域及び領域識別情報を設定した対象画像を携帯端末20へ送信して携帯電話20に格納させる構成等とすることができる。また、情報処理サーバー10の対象画像DB18に色変換領域及び領域識別情報を設定した対象画像を記憶する場合に、情報処理サーバー10に店頭等で撮像された対象画像が取り込まれ、情報処理サーバー10が色変換領域の抽出・設定処理を施して格納する構成等としてもよい。
また、合成画像提供システムの運営コストを回収する構成は、上記実施形態の課金処理部124が行う課金処理以外にも固定制若しくは従量制若しくは両者の組み合わせなど適宜の課金処理の構成を採用することが可能である。例えば情報処理サーバー10と通信ネットワークで接続され、利用者情報DB15の利用者情報を情報処理サーバー10と共有する課金処理装置を設け、課金処理装置の制御部が制御プログラムに従い、毎月の対応日など所定日の認識に基づき、その記憶部に設定されている月など一定期間に対応する設定課金額を抽出すると共に、各利用者の利用者IDを抽出し、各利用者IDに対応して設定課金額を課金する課金処理を実行し、各利用者ID及び各利用者IDに対応する課金額を課金情報DB16に格納して固定制で課金する構成等とすることができる。
或いは、課金処理装置の記憶部の所定記憶箇所に、色変換領域を設定する回数で区分した段階的な課金額を設定し、課金処理装置が前期と同様に定期的に課金処理を実行すると共に、情報処理サーバー10の利用者情報DB15に利用者IDに対応させ、契約で利用者が定期的に利用可能な色変換領域設定の上限回数を記憶すると共に、利用者の所定日からの色変換領域の設定回数を記憶し、情報処理サーバー10の制御部12の所定部が、利用者IDに対する色変換領域設定処理を認識し、その利用者IDに対する所定日からの色変換領域の設定回数に1など処理回数を加算して利用者情報DB15の前記設定回数を更新し、更には、色変換領域処理部123による色変換領域設定処理を実行する前に、色変換領域の設定回数が上限回数を超えるか否か確認し、超えない場合に色変換領域設定処理を実行する構成とすることができる。
或いは、利用者が携帯電話20で合成画像の表示を見る際に、情報処理サーバー10が色情報及び領域識別情報や合成画像を携帯電話20へ送信する構成等では、前記色変換領域の設定に代え若しくは色変換領域の設定に加え、色情報の抽出や合成画像の生成に対応して課金処理部124が設定課金額の課金処理を実行する構成としてもよい。或いは、課金処理装置の記憶部の所定記憶箇所に、着色商品31の製造者や販売者など商品提供者の識別情報と、各商品提供者に対する契約に基づく定期的な設定課金額を記憶し、課金処理装置の制御部が制御プログラムに従い、定期的な所定日の認識に基づき、商品提供者の識別情報と設定可金額を抽出し、各商品提供者の識別情報に対応して設定課金額を課金する課金処理を実行し、各商品提供者の識別情報及び各識別情報に対応する課金額をその課金情報DBに格納する構成としてもよい。或いは、通信により取得される携帯電話20の固有識別情報を用い、情報処理サーバー10や課金処理装置が前記固有識別情報を取得し、その固有識別情報に対する課金処理を実行する構成としてもよい。尚、利用者IDに代えて携帯電話20など携帯端末の固有識別情報を用い、各実施形態や本発明を構成することが可能である。
また、携帯電話20が色情報及び領域識別情報若しくは色情報を受信して合成画像を生成する構成の場合に、携帯電話20の制御部22が所定プログラムに従い、受信した色情報等を記憶部23の所定記憶箇所に格納し、色変換領域が設定されている対象画像及び色情報の指定入力に応じて、前記格納している色情報等で対象画像の色変換領域の色変換を実行して合成画像を生成・表示する構成としてもよく、更に、格納する色情報等と受信する色情報を選択指定可能に表示する選択画面を表示部24で表示し、選択入力された色情報等に基づき対象画像の色変換領域の色変換を行う構成としてもよい。
また、情報処理サーバー10の色変換領域処理部123、若しくは携帯電話20の所定プログラムに従う制御部22が、対象画像から複数種の色変換領域を設定可能な場合に、指定された色変換領域を対象画像に設定する構成としてもよく、例えば携帯電話20の制御部22が所定プログラムに従い、設定する色変換領域を複数種の色変換領域から選択指定可能な選択画面を表示部24で表示し、色変換領域の指定入力に基づき、指定の色変換領域の抽出・設定を実行する、若しくは指定の色変換領域の設定要求を情報処理サーバー10へ送信し、他方で、情報処理サーバー10の色変換領域処理部123が受信した指定の色変換領域の抽出・設定を実行する構成等とすることができる。
また、着色商品31に関連付けて設けるRFID30に格納する色情報と領域識別情報、若しくは情報処理サーバー10や携帯電話20が記憶する色識別情報に対応する色情報と領域識別情報など、着色商品31に対応する色情報とその領域識別情報を、着色商品31自体の色を示し直接対応する色情報とその領域識別情報と、その着色商品31の関連商品である着色商品の色を示す色情報とその領域識別情報として、携帯電話20や情報処理サーバー10で合成画像を生成する構成とすることも可能である。例えば着色商品31を所定の口紅とする場合、その口紅に対応するRFID30に、前記口紅の色を示す色情報及び色変換する唇領域の領域識別情報を記憶すると共に、前記口紅と組み合わせて使用することを推奨するファンデーションの色を示す色情報及びファンデーション着色領域の領域識別情報を記憶して複数種の色情報及び領域識別情報を記憶し、携帯電話20がこれらの情報を取り込み、対象画像の唇領域とファンデーション着色領域を各色情報で色変換して合成画像を生成する構成等とし、複数種の着色商品による合成画像を提供し、これらの商品を一括して推奨可能にしてもよい。
或は、例えば着色商品31を所定の口紅とする場合、その口紅に対応するRFID30に、その口紅の色を示す色情報及び色変換する唇領域の領域識別情報を記憶すると共に、前記口紅と関連性が高い別の口紅の色を示す色情報及び唇領域の領域識別情報を記憶して、複数種の色情報と同種の領域識別情報を記憶し、携帯電話20がこれらの情報を取り込み、対象画像の唇領域を前記口紅の色を示す色情報で色変換して合成画像を生成・表示し、更に所定時間の表示の後若しくは色の切替要求の入力等に基づき、対象画像の唇領域を前記別の口紅の色を示す色情報で色変換して合成画像を生成・表示する構成等とし、複数色の着色商品を順次表示する等で提供し、これらの商品を一括して推奨可能にしてもよい。
また、携帯電話20や情報処理サーバー10の合成画像の生成で、対象画像の色変換領域の色変換を地色情報と着色商品31の色情報との重み付け合成で行う場合に、RFID30に色情報と合成時の透過率を格納する、若しくは情報処理サーバー10や携帯電話20に色識別情報に対応する色情報と合成時の透過率を格納するなど、重み付け合成する際の色情報の透過率を色情報に対応して格納し、携帯電話20や情報処理サーバー10が色情報と共に透過率を取得し、その色情報及び透過率で地色情報と重み付け合成して色変換領域の色を取得して色変換する構成等とし、口紅等の種類毎に良好な見栄えになる濃さの透過率を設定してもよい。更には、色情報に対応して複数の透過率を設定し、携帯電話20の制御部22や情報処理サーバー10の合成画像処理部126が、入力される若しくは携帯電話20から受信する所定の透過率の指定に基づき、指定された透過率で重み付け合成して色変換した合成画像を生成して表示する構成等とし、所望の濃さに色を調整した状態を確認できるようにしてもよい。
本発明は、例えば口紅など着色用化粧品・塗料等の着色する商品や所定色で着色された壁紙・色付ガラス・カラーコンタクトレンズなど着色された商品を、店舗・雑誌等の記載・ディスプレイでの表示等で見かけた際に、利用者や所定物の対象画像の色変換領域を前記商品に対応する色で着色した合成画像を、利用者に迅速に提供することができる。
第1実施形態の合成画像提供システムを示すブロック図。 第1実施形態の合成画像提供システムの処理過程を示すフローチャート。 第2実施形態の合成画像提供システムを示すブロック図。 第2実施形態の合成画像提供システムの処理過程を示すフローチャート。 第3実施形態の合成画像提供システムを示すブロック図。 第3実施形態の合成画像提供システムの処理過程を示すフローチャート。 第4実施形態の合成画像提供システムを示すブロック図。 第4実施形態の合成画像提供システムの処理過程を示すフローチャート。 第5実施形態の合成画像提供システムを示すブロック図。 第5実施形態の合成画像提供システムの処理過程を示すフローチャート。 第6実施形態の合成画像提供システムを示すブロック図。 第6実施形態の合成画像提供システムの処理過程を示すフローチャート。
符号の説明
1 インターネット網
2 携帯電話網
10 情報処理サーバー
11 通信制御部
12 制御部
121 サイト処理部
122 配信処理部
123 色変換領域処理部
124 課金処理部
125 色情報配信処理部
126 合成画像処理部
13 記憶部
14 合成画像生成プログラム記憶部
15 利用者情報データベース
16 課金情報データベース
17 色情報セット記憶部
18 対象画像データベース
19 支援プログラム記憶部
20 携帯電話
21 通信制御部
22 制御部
23 記憶部
24 表示部
25 操作入力部
26 撮像部
27 RFIDリーダー
30 RFID
31 着色商品

Claims (8)

  1. 携帯端末で表示される合成画像を提供時に情報の取込をデータキャリアからのローカルな情報の取込だけで提供するためのシステムであって、色変換領域及び該色変換領域の領域識別情報を予め付加設定された対象画像を格納する手段と、指定された対象画像を抽出する手段と、データキャリアから取り込んだ色変換領域の領域識別情報及び該領域識別情報に対応設定された色情報を認識し、該抽出した対象画像について該認識した色変換領域の領域識別情報と対応する付加設定された色変換領域を認識し、該認識した色変換領域の画素に該認識した色情報を加算、若しくは該認識した色変換領域の画素に該認識した色情報を所定の透過率で加算、若しくは該認識した色変換領域の画素を該認識した色情報に置換して色変換することにより合成画像を生成する手段と、生成した合成画像を表示する手段とを有する携帯端末と、着色商品に関連付けて設けられ、色変換領域の領域識別情報及び該領域識別情報に対応設定された着色商品の色に対応する色情報を携帯端末で取込可能に格納するデータキャリアと、を備えることを特徴とする合成画像提供システム。
  2. 複数種の色変換領域及び各色変換領域の領域識別情報を予め付加設定された対象画像を格納する手段と、複数種の色変換領域の中からデータキャリアから取り込んで認識した色変換領域の領域識別情報と対応する色変換領域を認識する手段とを有する携帯端末を備えることを特徴とする請求項1記載の合成画像提供システム。
  3. データキャリアから取り込んだ色変換領域の領域識別情報及び該領域識別情報に対応設定された色情報と透過率を認識し、該抽出した対象画像について該認識した色変換領域の領域識別情報と対応する付加設定された色変換領域を認識し、該認識した色変換領域の画素に該認識した色情報を該認識した透過率で加算して色変換することにより合成画像を生成する手段とを有する携帯端末と、着色商品に関連付けて設けられ、色変換領域の領域識別情報及び該領域識別情報に対応設定された着色商品の色に対応する色情報と透過率を携帯端末で取込可能に格納するデータキャリアと、を備えることを特徴とする請求項1又は2記載の合成画像提供システム。
  4. 携帯端末で表示される合成画像を生成時に情報の取込をデータキャリアからのローカルな情報の取込だけで生成するプログラムであって、色変換領域及び該色変換領域の領域識別情報を予め付加設定された対象画像を格納する手段と、指定された対象画像を抽出する手段と、着色商品に関連付けて設けられ且つ色変換領域の領域識別情報及び該領域識別情報に対応設定された着色商品の色に対応する色情報を格納するデータキャリアから取り込んだ色変換領域の領域識別情報及び該領域識別情報に対応設定された色情報を認識し、該抽出した対象画像について該認識した色変換領域の領域識別情報と対応する付加設定された色変換領域を認識し、該認識した色変換領域の画素に該認識した色情報を加算、若しくは該認識した色変換領域の画素に該認識した色情報を所定の透過率で加算、若しくは該認識した色変換領域の画素を該認識した色情報に置換して色変換することにより合成画像を生成する手段と、生成した合成画像を表示する手段として携帯端末を機能させることを特徴とする合成画像生成プログラム。
  5. 複数種の色変換領域及び各色変換領域の領域識別情報を予め付加設定された対象画像を格納する手段と、複数種の色変換領域の中からデータキャリアから取り込んで認識した色変換領域の領域識別情報と対応する色変換領域を認識する手段として携帯端末を機能させることを特徴とする請求項4記載の合成画像生成プログラム。
  6. 色変換領域及び該色変換領域の領域識別情報を予め付加設定された対象画像を格納する手段と、指定された対象画像を抽出する手段と、データキャリアから取り込んだ色変換領域の領域識別情報及び該領域識別情報に対応設定された色情報を認識し、該抽出した対象画像について該認識した色変換領域の領域識別情報と対応する付加設定された色変換領域を認識し、該認識した色変換領域の画素に該認識した色情報を加算、若しくは該認識した色変換領域の画素に該認識した色情報を所定の透過率で加算、若しくは該認識した色変換領域の画素を該認識した色情報に置換して色変換することにより合成画像を生成する手段と、生成した合成画像を表示する手段とを有する携帯端末で、合成画像を生成時に情報の取込をデータキャリアからのローカルな情報の取込だけで生成させるためのデータキャリアであって、着色商品に関連付けて設けられ、色変換領域の領域識別情報及び該領域識別情報に対応設定された着色商品の色に対応する色情報を携帯端末で取込可能に格納するデータキャリア。
  7. データキャリアから取り込んだ色変換領域の領域識別情報及び該領域識別情報に対応設定された色情報と透過率を認識し、該抽出した対象画像について該認識した色変換領域の領域識別情報と対応する付加設定された色変換領域を認識し、該認識した色変換領域の画素に該認識した色情報を該認識した透過率で加算して色変換することにより合成画像を生成する手段とを有する携帯端末で、合成画像を生成させるための請求項記載のデータキャリアであって、着色商品に関連付けて設けられ、色変換領域の領域識別情報及び該領域識別情報に対応設定された着色商品の色に対応する色情報と透過率を携帯端末で取込可能に格納するデータキャリア。
  8. 色変換領域及び該色変換領域の領域識別情報を予め付加設定された対象画像を格納する手段と、指定された対象画像を抽出する手段と、着色商品に関連付けて設けられるデータキャリアから取り込んだ色変換領域の領域識別情報及び該領域識別情報に対応設定された色情報を認識し、該抽出した対象画像について該認識した色変換領域の領域識別情報と対応する付加設定された色変換領域を認識し、該認識した色変換領域の画素に該認識した色情報を加算、若しくは該認識した色変換領域の画素に該認識した色情報を所定の透過率で加算、若しくは該認識した色変換領域の画素を該認識した色情報に置換して色変換することにより合成画像を生成する手段と、生成した合成画像を表示する手段とを有する携帯端末で、合成画像を生成時に情報の取込をデータキャリアからのローカルな情報の取込だけで生成させるための情報処理装置であって、色変換領域を設定する対象画像を携帯端末から受信する手段と、対象画像から所定の色変換領域を抽出する手段と、該抽出した色変換領域と該色変換領域の領域識別情報を対象画像に対応して付加設定する手段と、携帯端末に格納される色変換領域及び該色変換領域の領域識別情報を付加設定した対象画像を携帯端末に送信する手段とを備える情報処理装置。
JP2003379220A 2002-11-21 2003-11-10 合成画像提供システム、合成画像生成プログラム、情報処理装置及びデータキャリア Expired - Fee Related JP4140511B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2003379220A JP4140511B2 (ja) 2002-11-21 2003-11-10 合成画像提供システム、合成画像生成プログラム、情報処理装置及びデータキャリア
PCT/JP2003/014411 WO2004034300A1 (ja) 2002-11-21 2003-11-13 合成画像提供システム、合成画像生成プログラム、情報処理装置及びデータキャリア
AU2003299516A AU2003299516A1 (en) 2002-11-21 2003-11-13 Combined image providing system, combined image creation program, information processing device, and data carrier

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2002337325 2002-11-21
JP2002358808 2002-12-11
JP2002365967 2002-12-18
JP2003379220A JP4140511B2 (ja) 2002-11-21 2003-11-10 合成画像提供システム、合成画像生成プログラム、情報処理装置及びデータキャリア

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2004051381A Division JP2004166313A (ja) 2002-11-21 2004-02-26 合成画像提供システム

Publications (3)

Publication Number Publication Date
JP2004171560A JP2004171560A (ja) 2004-06-17
JP2004171560A5 JP2004171560A5 (ja) 2005-06-09
JP4140511B2 true JP4140511B2 (ja) 2008-08-27

Family

ID=32097022

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003379220A Expired - Fee Related JP4140511B2 (ja) 2002-11-21 2003-11-10 合成画像提供システム、合成画像生成プログラム、情報処理装置及びデータキャリア

Country Status (3)

Country Link
JP (1) JP4140511B2 (ja)
AU (1) AU2003299516A1 (ja)
WO (1) WO2004034300A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100583282C (zh) 2004-09-29 2010-01-20 彩色印片公司 色彩判定元数据生成的方法及设备
US9483757B2 (en) 2007-02-16 2016-11-01 Sony Corporation Monetary information processing server and monetary information processing method
JP5223492B2 (ja) * 2008-06-25 2013-06-26 セイコーエプソン株式会社 印刷制御装置及び印刷制御プログラム
JP4746680B2 (ja) * 2009-01-13 2011-08-10 富士フイルム株式会社 画像処理システム
TWI556116B (zh) 2012-02-15 2016-11-01 Hitachi Maxell Skin condition analysis and analysis information management system, skin condition analysis and analysis information management method, and data management server
WO2017094156A1 (ja) * 2015-12-03 2017-06-08 三菱電機株式会社 文字認識装置及び文字認識方法
CN111598639A (zh) * 2019-02-21 2020-08-28 北京京东尚科信息技术有限公司 用于生成图像的方法和装置
CN110096190B (zh) * 2019-04-22 2022-05-27 聚好看科技股份有限公司 一种显示二维码的方法和终端

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09319792A (ja) * 1996-05-29 1997-12-12 Sanso Denki Kk 画像合成を利用した商品選択支援システム
US7010146B2 (en) * 2000-06-12 2006-03-07 Kabushiki Kaisha Topcon Database constructing system
JP2002083250A (ja) * 2000-09-11 2002-03-22 Dainippon Printing Co Ltd 商品情報システムとそれに使用する携帯情報端末
JP2002117365A (ja) * 2000-10-10 2002-04-19 Tokyo Sogo Kenkyusho:Kk 化粧シミュレーションサービス装置

Also Published As

Publication number Publication date
AU2003299516A1 (en) 2004-05-04
JP2004171560A (ja) 2004-06-17
WO2004034300A1 (ja) 2004-04-22

Similar Documents

Publication Publication Date Title
CN111031846B (zh) 用于调整定制外用剂的系统和方法
KR100405328B1 (ko) 인터넷 상에서의 실시간 헤어,메이크업과 패션 액세서리디자인 시스템 및 방법
US20170024589A1 (en) Smart Beauty Delivery System Linking Smart Products
EP3485762A1 (en) Makeup assistance device and makeup assistance method
KR102271798B1 (ko) 미용 서비스 제공 시스템
CN111681070B (zh) 线上商品的购买方法、购买装置、存储装置及购买设备
JP5264634B2 (ja) コーディネートシステム、コーディネート方法及びプログラム
JP4140511B2 (ja) 合成画像提供システム、合成画像生成プログラム、情報処理装置及びデータキャリア
CN110197420A (zh) 一种智能试衣系统
CN105095917A (zh) 图像处理方法、装置及终端
KR102325829B1 (ko) 안면착용 제품 추천 방법 및 그 장치
JP5726421B2 (ja) 携帯端末機
JP4021149B2 (ja) コーディネートサービス方法、コンピュータ及びプログラム
KR20140144377A (ko) 오프라인 매장 정보 및 영상 정보를 이용한 상품 정보 제공장치 및 그 방법
KR20140130767A (ko) 실사 영상 기반의 스마트 피팅장치를 이용한 소셜 서비스시스템
JP2004166313A (ja) 合成画像提供システム
KR102372524B1 (ko) 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템
KR20120083060A (ko) 실시간 이미지 인식 및 태그 정보를 통한 증강현실구매기능이 구비된 이동통신시스템 및 그 제어방법
CN109008484B (zh) 一种货架试妆系统及方法
JP2009123128A (ja) メイクアップ録画配信システム
US20230033535A1 (en) Glasses, recommended cosmetics presentation control system, and recommended cosmetics presentation control method
KR102104063B1 (ko) 패션 스타일 관리 시스템 및 그 방법
CN207704533U (zh) 一种能识别成年顾客身份的自动售烟机
CN113781058A (zh) 用于无人车的支付方法、装置、电子设备及存储介质
JP2021082356A (ja) 個人情報利用注文システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041028

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041028

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20041028

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20041126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050121

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050309

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050314

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20050401

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20050603

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080602

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110620

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees