JP5292415B2 - 似顔絵イラスト作成システム、キャラクタ作成システム及び作成似顔絵イラスト表示システム - Google Patents

似顔絵イラスト作成システム、キャラクタ作成システム及び作成似顔絵イラスト表示システム Download PDF

Info

Publication number
JP5292415B2
JP5292415B2 JP2010549506A JP2010549506A JP5292415B2 JP 5292415 B2 JP5292415 B2 JP 5292415B2 JP 2010549506 A JP2010549506 A JP 2010549506A JP 2010549506 A JP2010549506 A JP 2010549506A JP 5292415 B2 JP5292415 B2 JP 5292415B2
Authority
JP
Japan
Prior art keywords
illustration
basic
data
face
caricature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010549506A
Other languages
English (en)
Other versions
JPWO2010090259A1 (ja
Inventor
寿夫 西良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2010549506A priority Critical patent/JP5292415B2/ja
Publication of JPWO2010090259A1 publication Critical patent/JPWO2010090259A1/ja
Application granted granted Critical
Publication of JP5292415B2 publication Critical patent/JP5292415B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Description

この発明は、似顔絵イラストを作成したい顔の顔写真データに基づいて作成似顔絵イラストデータを作成する似顔絵イラスト作成システムに関する。
従来より、顔写真に基づいて似顔絵イラストを作成する装置が多数提案されている。例えば、下記特許文献1では、似顔絵イラストを作成したい顔写真における顔部品の特徴量に基づいてデータベースに登録した複数種類の顔部品とマッチング適合度を判定し、その適合度が一定以上の部品が登録されている場合にはその登録部品を用いて似顔絵イラストを作成する装置が提案されている。
特開平11−85953号公報
ところで、人は、適度に特徴点をデフォルメし、全体を観察してその似顔絵が似ているかどうか判断している。したがって、例えば、目や口のような個々のパーツが酷似していても、全体における位置や大きさ等、さらにはそれらのバランスによって、その似顔絵が似ていると感じる度合いが異なってくる。
したがって、上記特許文献1で提案されているような個々の顔部品(パーツ)についてマッチング適合度が一定以上の部品を用いて似顔絵イラストを作成したとしても、適度に特徴部分がデフォルメされ、全体を観察して似ていると判断されるような似顔絵イラストを作成することは困難であった。
そこで、本発明は、似顔絵イラストを作成したい顔の顔写真データに基づいて作成似顔絵イラストデータを作成する似顔絵イラスト作成システムにおいて、簡易なシステム構造を用いて、より似ていると判断される似顔絵イラストを作成する似顔絵イラスト作成システムを提供することを目的とする。
この発明は、似顔絵イラスト作成のための基本となる基本顔の顔写真データを基本顔写真データとして複数格納する基本顔写真データ格納手段と、前記基本顔をイラスト化した基本似顔絵イラストを複数の構成パーツの組み合わせにより構成する基本似顔絵イラストデータとして複数格納する基本似顔絵イラストデータ格納手段と、前記基本顔写真データと前記基本似顔絵イラストデータとの関連付け情報を格納する関連付け情報格納手段と、似顔絵イラストを作成したい似顔絵イラスト作成希望顔を撮像したイラスト作成希望顔写真データから前記似顔絵イラスト作成希望顔を認識し、前記基本顔写真データ格納手段に格納した複数の前記基本顔写真データにおける前記基本顔とマッチングして近似度の高い前記基本顔写真データを抽出する近似基本顔写真抽出手段と、該近似基本顔写真抽出手段によって抽出された前記基本顔写真データにおける前記基本顔と、前記イラスト作成希望顔写真データにおける前記似顔絵イラスト作成希望顔との前記構成パーツごとの相違点を抽出する構成パーツ相違点抽出手段と、該構成パーツ相違点抽出手段によって抽出された前記相違点における相違量が所定量を超える構成パーツに関して、前記近似基本顔写真抽出手段が抽出した前記基本顔写真データに関連付けられた前記基本似顔絵イラストデータにおける該当の構成パーツを前記相違点における相違量が所定量以下となるように調整する構成パーツ調整手段と、該構成パーツ調整手段によって調整された前記基本似顔絵イラストデータを作成似顔絵イラストデータとして出力する作成似顔絵イラスト出力手段とを備えた似顔絵イラスト作成システムであることを特徴とする。
上記構成パーツは、目、眉毛、鼻、耳、口、顔面領域の輪郭、頭髪、髭、ほくろ、あるいは眼鏡等とすることができる。
上記基本似顔絵イラストデータは、基本顔をイラスト化した基本似顔絵イラストを複数の構成パーツに分け、その構成パーツを組み合わせて基本似顔絵イラストを再現した似顔絵イラストデータ、あるいは、予め基本顔のうちパーツ毎にイラスト化した構成パーツを作成し、それらの構成パーツを組み合わせて構成した似顔絵イラストデータとすることができる。また、上記基本似顔絵イラストデータは、1の上記基本顔写真データに対して1以上の基本似顔絵イラストデータとすることができる。
上記関連付け情報格納手段は、基本顔写真データ格納手段や基本似顔絵イラストデータ格納手段とは別に構成した格納手段、あるいは基本顔写真データ格納手段及び基本似顔絵イラストデータ格納手段のいずれかの格納手段と一緒に構成した格納手段であってもよい。
上記相違点は、構成パーツの位置、大きさ、間隔、配置角度等に関する相違点であることを含む。
上記作成似顔絵イラスト出力手段は、作成似顔絵イラストデータをディスプレイに表示する手段、作成似顔絵イラストデータを電子データとして記憶媒体に記憶出力する手段、あるいは作成似顔絵イラストデータをプリントアウトする出力手段であることを含む。なお、本明細書において、作成似顔絵イラストデータや基本似顔絵イラストデータを出力・表示したものを似顔絵イラストとしている。
これにより、利用者や作成似顔絵イラストデータを見た人が似ていると感じる度合い、つまり似てる度合いの高い似顔絵イラストを、簡易なシステム構造で作成することができる。
詳しくは、似顔絵イラスト作成システムでは、基本顔に関する基本顔写真と、イラスト化した基本似顔絵イラストとを、より詳しくは1の基本顔写真データに対して1以上の基本似顔絵イラストデータを格納手段に格納し、似顔絵イラストを作成したいイラスト作成希望顔写真データと前記基本顔写真データとをマッチングして近似度の高い前記基本顔写真データに対応する基本似顔絵イラストデータを用いて、イラスト作成希望顔写真データに対応する作成似顔絵イラストデータを作成し出力するため、より似てる度合いの高い似顔絵イラストを簡単に作成することができる。
さらに詳述すると、基本顔をイラスト化した基本似顔絵イラストは、基本顔を適度にデフォルメ等して予め作成し格納しているため、「目が大きい」とか「たれ目である」といった基本顔の特徴点が基本似顔絵イラストに反映されており、似てる度合いが高い。そして、似顔絵イラストを作成したいイラスト作成希望顔写真における似顔絵イラスト作成希望顔と近似度の高い基本顔写真における基本顔に対応する基本似顔絵イラストデータを作成似顔絵イラストデータの作成のために用いるため、似顔絵イラスト作成希望顔における特徴点が間接的に反映されており、似てる度合いの高い似顔絵イラストを簡単に作成することができる。
したがって、例えば、似顔絵イラスト作成希望顔全体の形状を認識させ、認識した形状に基づいて作成似顔絵イラストデータを作成する場合と比較して、似てる度合いの高い作成似顔絵イラストデータを、少ないシステム負荷で作成することができる。詳しくは、認識させた似顔絵イラスト作成希望顔の形状に基づいて作成似顔絵イラストデータを作成する場合、写実的に似顔絵イラストを作成することができるものの、似顔絵イラスト作成希望顔の特徴点が反映されず、利用者や似顔絵イラストを見た人が似ていると感じる似てる度合いが低い作成似顔絵イラストデータしか作成することができない。また、似顔絵イラスト作成希望顔全体の形状を認識させて作成似顔絵イラストデータを作成する場合、形状認識及び認識形状に基づくイラストデータ作成におけるシステム負荷が大きくなる。
また、例えば、似顔絵イラスト作成希望顔における顔部品の特徴量に基づいてデータベースに登録した複数種類の顔部品とマッチング適合度を判定し、その適合度が一定以上の登録部品を用いて作成似顔絵イラストデータを最初から作成する場合、全体のバランスや特徴点を反映させることは困難であり、利用者が似ていると感じる似てる度合いが低い作成似顔絵イラストデータしか作成することができない。
これに対して、本発明の似顔絵イラスト作成システムでは、基本顔に関する基本顔写真データと、イラスト化した基本似顔絵イラストデータとを対で格納手段に格納し、似顔絵イラストを作成したいイラスト作成希望顔写真データと前記基本顔写真データとをマッチングし、近似度の高い前記基本顔写真の基本似顔絵イラストデータを用いて、イラスト作成希望顔写真の作成似顔絵イラストデータを作成して出力するため、より似てる度合いの高い作成似顔絵イラストデータを、少ないシステム負荷で、簡単に作成することができる。
また、似顔絵イラストを作成したいイラスト作成希望顔写真データにおけるイラスト作成希望顔と基本顔写真データにおける基本顔とをマッチングする、つまり同じ顔写真データ同士をマッチングするため、例えば、イラスト作成希望顔写真データと、イラスト化された基本似顔絵イラストデータや、イラスト化された構成パーツデータとを直接マッチングする場合と比較して、高精度のマッチングを実現することができる。
また、基本顔をイラスト化した前記基本似顔絵イラストデータを、複数の構成パーツの組み合わせにより構成することで、例えば、似顔絵イラスト作成希望顔における顔部品の特徴量に基づいてデータベースに登録した複数種類の顔部品とマッチング適合度を判定し、その適合度が一定以上の登録部品を用いて作成似顔絵イラストデータを最初から作成する場合と比較して、全体的にバランスのとれた似顔絵イラストを作成できるとともに、似顔絵イラスト作成のためのシステム負荷を低減することができる。
また、特徴点を反映させた基本似顔絵イラストにおける全体のバランスを保持したまま、構成パーツを調整できるため、似てる度合いの高い似顔絵イラストを作成することができる。
また、似顔絵イラストの似てる度合いに影響の少ない程度の相違点は調整せず、相違点が所定量以上となる、すなわち相違量の大きい構成パーツのみを調整することで、システムに対するイラスト作成のための負荷の増大を抑制しながらより似てる度合いの高い似顔絵イラストを作成することができる。
このように、基本顔をイラスト化した前記基本似顔絵イラストデータを、複数の構成パーツの組み合わせにより構成し、相違量の大きい構成パーツのみを調整することで、全体のバランスを保持し、似てる度合いのより高い作成似顔絵イラストデータを作成することができる。
詳しくは、前記基本似顔絵イラストデータを、そのまま作成似顔絵イラストデータとする、つまり基本似顔絵イラストデータが最終結果物である場合、イラスト作成希望顔と作成似顔絵イラストデータとは、基本似顔絵イラストデータにおいて反映された基本顔における特徴点が間接的に反映されていることとなる。
これに対し、本発明の似顔絵イラスト作成システムでは、基本顔をイラスト化した前記基本似顔絵イラストデータを、複数の構成パーツの組み合わせにより構成し、似顔絵イラストを作成したいイラスト作成希望顔写真データと前記基本顔写真データとをマッチングして近似度の高い前記基本顔写真の基本似顔絵イラストデータを、構成パーツ毎に調整するため、作成似顔絵イラストデータは、イラスト作成希望顔の特徴点を直接的に反映できるため、より似てる度合いを高めることができる。つまり、本発明の似顔絵イラスト作成システムにおける基本似顔絵イラストデータは、作成似顔絵イラストデータを作成するための手段に過ぎず、作成似顔絵イラストデータを作成する手段である基本似顔絵イラストデータを調整して、似顔絵イラスト作成希望顔の特徴点を直接的に反映させた作成似顔絵イラストデータを最終結果物とし、より似てる度合いの高い似顔絵イラストを作成することができる。
この発明の態様として、前記構成パーツを、少なくとも、目パーツ及び眉パーツで構成し、前記目パーツ及び前記眉パーツは、右パーツと左パーツとで構成するともに、該右パーツと該左パーツとの左右間隔情報と、該右パーツと該左パーツとがそれぞれ回転する回転中心に関する情報を有し、前記構成パーツ調整手段は、前記目パーツ及び前記眉パーツのそれぞれに対して、前記基本似顔絵イラストデータにおける顔面領域に対する大きさ及び位置に加えて、前記左右間隔及び前記回転中心を中心とした回転角度を調整可能に構成することができる。
似顔絵イラストにおいて、似てる度合いに大きな影響を与える特徴点である目及び眉を調整することにより大きく似てる度合いが変化するが、この発明により、前記目パーツ及び前記眉パーツを右パーツと左パーツとで構成し、該右パーツと該左パーツとの左右間隔及び前記回転中心を中心とした回転角度を調整することで、作成した似顔絵イラストの似てる度合いを飛躍的に向上することができる。
また、この発明の態様として、前記構成パーツを、少なくとも、顔面輪郭パーツ、髪型パーツ、口パーツ、鼻パーツ、目パーツ、及び眉パーツで構成し、前記目パーツ及び前記眉パーツは、右パーツと左パーツとで構成するともに、該右パーツと該左パーツとの左右間隔情報と、該右パーツと該左パーツとがそれぞれ回転する回転中心に関する情報を有し、前記構成パーツ調整手段は、前記髪型パーツ、前記口パーツ及び前記鼻パーツのそれぞれに対して、前記顔面輪郭パーツに対する大きさ及び位置を調整可能に構成するとともに、前記目パーツ及び前記眉パーツのそれぞれに対しては、前記顔面輪郭パーツに対する大きさ及び位置に加えて、左右の間隔及び前記回転中心を中心とした回転角度を調整可能に構成することができる。
似顔絵イラストにおいて、似てる度合いに大きな影響を与える特徴点である目及び眉を調整することにより大きく似てる度合いが変化するが、この発明により、前記目パーツ及び前記眉パーツを右パーツと左パーツとで構成し、前記顔面輪郭パーツに対する大きさ及び位置に加えて、該右パーツと該左パーツとの左右間隔及び前記回転中心を中心とした回転角度を調整するのに対し、似てる度合いに大きな変化を及ぼしにくい口や鼻を前記顔面輪郭パーツに対する大きさ及び位置のみを調整することで、システムに対する構成パーツの調整による負荷の増大を抑制しながら、作成した似顔絵イラストの似てる度合いを飛躍的に向上することができる。
また、この発明の態様として、前記イラスト作成希望顔写真データから認識された前記似顔絵イラスト作成希望顔における頭髪部分である頭髪領域の形状を認識する頭髪形状認識手段と、該頭髪形状認識手段によって認識された頭髪形状に基づいて形状認識髪型パーツを作成する形状認識髪型パーツ作成手段とを備え、前記髪型パーツの代わりに前記形状認識髪型パーツを用いて作成似顔絵イラストデータを作成することを特徴とする。
これにより、より似てる度合いに高い作成似顔絵イラストデータを、簡易なシステムで作成することができる。詳しくは、髪型は同じ人でも容易に変化させることもできるし、伸びたり切ったたりできる。したがって、似てる度合いの高い作成似顔絵イラストデータを高精度に作成するためには、複数の髪型の基本顔データに対応させた基本似顔絵イラストデータを登録する必要があり、格納手段が大規模となる。
これに対し、容易に変化させることのできる頭髪形状に基づく形状認識髪型パーツを形状認識髪型パーツ作成手段で作成するため、顔全体の形状を認識させて作成似顔絵イラストデータを作成する場合と比べてシステム負荷の増大を低減できるとともに、複数の髪型の基本顔データに対応させた基本似顔絵イラストデータを格納手段に格納する場合に比べて、格納するパターン数を低減できるため、小規模な格納手段で高精度且つ似てる度合いの高い作成似顔絵イラストデータを作成することができる。
また、この発明の態様として、前記イラスト作成希望顔写真データから認識した前記似顔絵イラスト作成希望顔及び前記基本顔写真データの前記基本顔のそれぞれの顔領域における前記頭髪領域を除く顔面領域を抽出する顔面領域抽出手段を備え、前記近似基本顔写真抽出手段を、前記似顔絵イラスト作成希望顔における顔面領域と、基本顔の顔面領域とをマッチングして近似度の高い前記基本顔写真データを抽出する構成とすることができる。
これにより、より似てる度合いに高い作成似顔絵イラストデータを、簡易なシステムで作成することができる。詳しくは、髪型は同じ人でも容易に変化させることもできるし、伸びたり切ったたりできるため、基本顔本人でも髪型が変わることでマッチしない可能性が生じる。しかし、本発明の似顔絵イラスト作成システムでは、顔面領域抽出手段によって抽出された前記似顔絵イラスト作成希望顔の顔面領域と前記基本顔の顔面領域とをマッチングして近似度の高い前記基本顔写真データを抽出するため、髪型に依存せず、顔面領域における特徴点が反映された似てる度合いの高い作成似顔絵イラストデータによる似顔絵イラストを作成することができる。
また、この発明の態様として、似顔絵イラストに与える影響に基づいて、前記構成パーツを重み付けする重み付け手段を備え、前記構成パーツ調整手段を、前記構成パーツ相違点算出手段によって算出された前記相違点における相違量が所定量を超える構成パーツが複数有る場合に、前記重み付け手段による重みに応じて前記構成パーツを調整する構成とすることができる。
上記構成パーツの重み付けは、構成パーツ自体の重み付けや、構成パーツの調整項目ごとに設定される重み付けであることを含む。
これにより、例えば、似顔絵イラストに大きな影響を及ぼす構成パーツの重みを重くすることで優先的に調整できるため、システムに対する構成パーツの調整による負荷の増大をさらに抑制しながら、作成された似顔絵イラストの似てる度合いを向上することができる。
また、この発明の態様として、前記近似基本顔写真抽出手段が抽出した前記基本顔写真データと前記イラスト作成希望顔写真データとの近似度を算出する近似度算出手段と、該近似度算出手段が算出した前記近似度が所定近似度を超えているか判断する近似度判定手段とを備えるとともに、前記基本顔写真データ格納手段に新たな基本顔写真データとして格納する前記イラスト作成希望顔写真データ、及び、前記基本似顔絵イラストデータ格納手段に新たな基本似顔絵イラストデータとして格納する作成似顔絵イラストデータと関連付けて前記近似度を格納する実績近似度格納手段と、該実績近似度格納手段に格納された、所定数以上の前記近似度に応じて前記所定近似度を更改する所定近似度更改手段を備えることができる。
これにより、似顔絵イラストを作成したイラスト作成希望顔写真データと作成似顔絵イラストデータを、新たな基本顔の基本顔写真データ及び基本似顔絵イラストデータとして格納できるため、基本顔のパターン数が増加し、マッチングの精度をより高めることができ、より似てる度合いの高い似顔絵イラストを作成することができる。
また、登録された基本顔のパターン数が増加し、近似度の実績に基づいて近似度判定手段の判断基準となる所定近似度を向上させることで、より似てる度合いの高い似顔絵イラストを作成することができる。
また、この発明の態様として、似顔絵イラストを作成したい利用者の利用者端末からの前記イラスト作成希望顔写真データを、電気通信回線を介して受信するイラスト作成希望顔写真データ受信手段を備え、前記作成似顔絵イラスト出力手段を、前記利用者端末に対して、前記作成似顔絵イラストデータを送信する作成似顔絵イラストデータ送信手段で構成することができる。
上記利用者端末は、利用者が携帯するカメラ付き携帯電話やカメラ付きPDA等の利用者携帯端末や、デジタルカメラ等の撮像手段と接続可能なパーソナルコンピュータ等の利用者端末であることを含む。
上記電気通信回線は、インターネット回線、電話回線、あるいはパソコン通信回線等の通信回線であることを含む。
これにより、利用者は、似顔絵イラストを作成したいイラスト作成希望顔写真データを、電気通信回線を介して送信し、作成された作成似顔絵イラストデータを利用者端末で受信できるため利便性が向上する。
また、この発明は、上述の似顔絵イラスト作成システムで作成した前記作成似顔絵イラストデータに基づいて、似顔絵イラストを作成した利用者のキャラクタであるキャラクタ情報を作成するキャラクタ作成手段を備えたキャラクタ作成システムであることを特徴とする。
上記キャラクタは、例えば、ウェブ上のコミュニティで用いられる自分の分身となるキャラクタや、パソコンの壁紙や携帯電話の待ち受け画面でバーチャルに動くキャラクタであることを含む。
これにより、利用者は自分に似た似顔絵イラストで構成するキャラクタを作成し、例えば、ウェブ上のコミュニティでそのキャラクタを利用できるため、利用者の満足度を向上することができる。
さらにまた、この発明は、上述の似顔絵イラスト作成システムで作成した前記作成似顔絵イラストデータを、所望の対象物に表示させるイラスト表示手段を備えた作成似顔絵イラスト表示システムであることを特徴とする。
上記イラスト表示手段は、作成似顔絵イラストデータを、例えば、処方薬の薬袋や社員証等の利用者を特定する対象物に印刷する印刷装置であることをいう。
これにより、確実に利用者を特定することのできる表示を対象物にすることができる。
この発明によれば、似顔絵イラストを作成したい顔の顔写真データに基づいて作成似顔絵イラストデータを作成する似顔絵イラスト作成システムにおいて、簡易なシステム構造を用いて、より似ていると判断される似顔絵イラストを作成することができる。
似顔絵イラスト作成システムのシステム構成図。 管理DBに格納された情報管理テーブルの説明図。 管理DBに格納された情報管理テーブルの説明図。 顔領域、頭髪領域及び顔面領域についての説明図。 管理DBに格納された基本顔データについての説明図。 基本似顔絵イラストデータについての分解説明図。 似顔絵イラスト作成処理についてのフローチャート。 マッチング処理及び所定近似度更改処理についてのフローチャート。 利用者携帯電話における似顔絵イラスト作成の操作についての説明図。 似顔絵イラスト作成処理についての説明図。 構成パーツの位置調整による影響についての説明図。 利用者携帯電話における似顔絵イラスト作成の操作についての説明図。 利用者携帯電話における似顔絵イラスト作成の操作についての説明図。 頭髪形状認識処理及び顔面領域マッチング処理についてのフローチャート。 頭髪形状認識処理についての説明図。 頭髪形状認識処理及び顔面領域マッチング処理を行った作成似顔絵イラストについて説明図。
この発明の一実施形態を以下図面と共に説明する。
似顔絵イラスト作成システム1は、利用者から送信された似顔絵イラストを作成したいイラスト作成希望顔写真データ210(図9参照)に基づいて作成似顔絵イラストデータ220(図10参照)を作成するシステムであり、似顔絵イラスト作成システム1のシステム構成図を示す図1乃至図6とともに、似顔絵イラスト作成システム1のシステム構成について説明する。
なお、図1は似顔絵イラスト作成システム1のシステム構成図を示し、図2及び図3は管理DB14aに格納された情報管理テーブルの説明図を示している。また、図4は、顔領域X、頭髪領域Y及び顔面領域Zについての説明図を示し、図5は管理DB14aに格納された基本顔データについての説明図を示し、図6は基本似顔絵イラストデータ120についての分解説明図を示している。
似顔絵イラスト作成システム1は、管理サーバ10、利用者が利用する利用者携帯電話20や利用者端末30とで構成している。なお、利用者携帯電話20及び利用者端末30は、図1において、それぞれ1台ずつ表示しているが、これは似顔絵イラスト作成システム1の説明を容易とするために省略しており、実際には複数存在し、詳しくは、利用者携帯電話20及び利用者端末30は似顔絵イラスト作成システム1を利用する利用者数分存在している。
なお、管理サーバ10と、利用者携帯電話20や利用者端末30とは、インターネット40を介して相互に接続され、さらに詳しくは、利用者携帯電話20は、パケット通信網41と、該パケット通信網41に接続された送信アンテナ42を介してインターネット40に接続されている。
管理サーバ10はコンピュータであり、CPUとROMとRAMで構成される制御装置11、マウスやキーボード等の入力装置である操作装置12、CRTや液晶画面等で構成するディスプレイ13、ハードディスク等の記憶装置14、出力された写真や似顔絵イラストを読み込むスキャナ装置15、DVD−RAM等の各種記憶媒体を読取る記憶媒体読取装置、または記憶媒体読書き装置、及びインターネット40を介して通信を行うLANボード等の通信装置で構成する送受信装置を備えている。
さらに、管理サーバ10はWEBサーバ機能、データベースサーバ機能及びメールサーバ機能を備えている。
また、管理サーバ10は記憶装置14に記憶した管理データベース(DB)14aによって、似顔絵イラストを作成するための基本となる基本顔に関する情報、基本顔をイラスト化した基本似顔絵イラストデータに関する情報、基本似顔絵イラストデータを構成する構成パーツデータに関する情報、構成パーツの重み付けデータに関する情報、及び似顔絵イラスト作成システム1を運営するために必要な情報を記憶及び管理している。
基本顔データ情報は、図2(a)の基本顔管理テーブル51に示すように、登録された基本顔ごとに設定されたユニークな基本顔ID、当該基本顔の顔写真のIDを格納する基本顔写真ID、その顔写真の顔領域Xから抽出した特徴パターンのIDを格納する顔領域特徴パターンID、その顔写真の顔面領域Zから抽出した特徴パターンのIDを格納する顔面領域特徴パターンID、当該基本顔をイラスト化した基本似顔絵イラストデータのIDを格納する基本似顔絵イラストID、及びその他の情報を格納している。
なお、上記顔領域Xは、図4に示すように、本明細書において、首から上の頭部正面の全体を指し、頭髪領域Yは頭髪部分を示し、上記顔面領域Zは顔領域Xから頭髪領域Yを除いた部分を示している。したがって、例えば、スキンヘッドのように、頭髪領域Yが存在しない場合、顔領域Xと顔面領域Zとは一致することとなる。
また、基本似顔絵イラストデータを構成する構成パーツデータに関する情報は、例えば、図2(b)の第1基本顔構成パーツ管理テーブル52に示すように、各基本顔の基本似顔絵イラストデータを構成する構成パーツの配置情報、中心位置情報及び間隔情報、及びその他の情報を格納している。なお、上記間隔情報は、目のように左右2つのパーツで構成される構成パーツに格納される情報である。
また、構成パーツの重み付けデータに関する情報は、図3(a)の構成パーツ重み付け管理テーブル53に示すように、各基本似顔絵イラストデータを構成する構成パーツの位置調整において優先する諸元情報を含む重み付け情報、及びその他の情報を格納している。
なお、構成パーツ重み付け管理テーブル53に格納する重み付けデータは、構成パーツ重み付け管理テーブル53を記憶装置14に格納する際に設定しているが、例えば、構成パーツの位置調整を実施した作成似顔絵イラストデータ220の利用者による感想アンケート等に基づいて、構成パーツ毎の位置調整による影響を判定し、構成パーツの重み付けを設定する構成であってもよい。
また、基本似顔絵イラストデータに関する情報は、図3(b)の基本似顔絵イラスト管理テーブル54に示すように、各基本顔の基本似顔絵イラストデータのIDを格納する基本似顔絵イラストID、その基本似顔絵イラストデータを作成した日時を示す作成年月日情報、作成時に算出された近似度情報、及びその他の情報を格納している。
さらに、前記記憶装置14には、操作装置12、ディスプレイ13、スキャナ装置15及び送受信装置を制御・実行するための制御プログラム、送受信プログラム、表示プログラム及び読書きプログラムを記憶するとともに、マッチングプログラム、判定プログラム、構成パーツ位置調整プログラム、所定近似度更改プログラム、情報受付登録プログラム等が記憶されている。
前記送受信プログラムは、利用者携帯電話20や利用者端末30との情報の送受信を実行するプログラムであり、利用者携帯電話20や利用者端末30からの表示要求、データ更新情報を受信するプログラムである。
前記表示プログラムは、各情報のディスプレイ13への表示を実行及び制御するプログラムであり、読書きプログラムは、記憶装置14や記憶媒体読取装置等の記憶媒体に各種情報を書き込み、必要に応じて、書き込まれた情報を記憶媒体から読み出すプログラムである。
マッチングプログラムは、顔領域抽出モジュール、顔領域切出しモジュール、顔領域正規化モジュール、特徴パターン抽出モジュール、特徴パターンマッチングモジュール、近似度算出モジュール、及びその他のマッチング処理に必要なモジュールで構成している。
なお、顔領域抽出モジュールはイラスト作成希望写真データにおける顔領域Xを抽出するモジュールであるが、顔領域Xを抽出する方法は従来の領域抽出方法で行うので説明を省略する。
顔領域切出しモジュールは、顔領域抽出モジュールで抽出した顔領域Xを切り出すモジュールである。なお、抽出された顔領域Xを切り出す方法は従来の領域切り出し方法で行うので説明を省略する。
顔領域正規化モジュールは、例えば、後の特徴パターン抽出モジュールによる特徴パターンの抽出のように、次の処理が実行できるように、顔領域切出しモジュールで切り出した顔領域Xを正規化するモジュールである。なお、切り出した顔領域Xを正規化する方法は従来の領域正規化方法で行うので説明を省略する。
特徴パターン抽出モジュールは、顔領域正規化モジュールで正規化された顔領域Xから特徴パターンを抽出するモジュールである。なお、顔領域正規化モジュールで正規化された顔領域Xから特徴パターンを抽出する方法は従来の特徴パターン抽出方法で行うので説明を省略するが、例えば、ガボールウェーブレット変換法やグラフマッチング法などを用いてもよい。
特徴パターンマッチングモジュールは、特徴パターン抽出モジュールが抽出したイラスト作成希望写真データにおける顔領域Xの特徴パターンと、管理DB14aに登録された基本顔写真における顔領域Xの特徴パターンと比較してマッチングするとともに、マッチングした結果の相違点と、当該相違点における相違量を算出するモジュールである。なお、基本顔の特徴パターンと比較してマッチングする方法は従来の特徴パターンマッチング方法で行うので説明を省略するが、例えば、相互部分空間法、ニューラルネットワーク法などの適した方法を用いればよい。
近似度算出モジュールは、特徴パターンマッチングモジュールによって、イラスト作成希望写真データの特徴パターンと、基本顔の特徴パターンとをマッチングした結果の近似度を算出するモジュールである。
なお、上述したように、マッチングプログラムを、顔領域抽出モジュール、顔領域切出しモジュール、顔領域正規化モジュール、特徴パターン抽出モジュール、特徴パターンマッチングモジュール、近似度算出モジュール、及びその他のマッチング処理に必要なモジュールで構成しているが、それぞれのモジュールが単体のプログラムで構成されていてもよい。
判定プログラムは、例えば算出した結果と、基準となる所定値とを比較して判定するプログラムである。
構成パーツ位置調整プログラムは、基本似顔絵イラストデータにおける構成パーツの位置やサイズ、あるいは間隔や回転角度等を調整するプログラムである。
所定近似度更改プログラムは、判定プログラムで近似度を判定する際の基準となる所定近似度値を更改するプログラムである。
前記情報受付登録プログラムは、前記基本顔情報等の各種情報を受付け、受付けた各情報を管理DB14aに登録するプログラムである。
なお、これらの上記各種プログラムは、制御装置を構成するCPUとROMとRAMとが協働して実行するものである。
さらにまた、記憶装置14は、基本顔写真IDに対応する基本顔写真データ、特徴パターンIDに対応する特徴パターンデータ、基本似顔絵イラストIDに対応する基本似顔絵イラストデータ、基本似顔絵イラストデータを構成する構成パーツのデータを格納している。なお、本実施例においては、図5に示すように、5パターンの基本顔に関して基本顔写真データ110(110a,110b,110c,110d,110e)と、基本似顔絵イラストデータ120(120a,120b,120c,120d,120e)とを対で格納した場合について以下で詳細に説明する。
さらにまた、上述したように、記憶装置14に格納した5パターンの基本顔のそれぞれの基本似顔絵イラストデータ120は、基本似顔絵イラストデータ120についての分解説明である図6に示すように、顔面輪郭パーツ121、後髪パーツ122、前髪パーツ123、鼻パーツ124、口パーツ125、目パーツ126及び眉パーツ127で構成している。
さらに、目パーツ126は、右目パーツ126aと左目パーツ126bとで構成し、それぞれを回転調整する際の回転中心c1が設定されるとともに、標準間隔D1を設定している。また、眉パーツ127は、右眉パーツ127aと左眉パーツ127bとで構成し、それぞれを回転調整する際の回転中心c2が設定されるとともに、標準間隔D2を設定している。
なお、目パーツ126及び眉パーツ127における標準間隔Dや回転中心cは、基本似顔絵イラストデータ120を記憶装置14に格納する際に設定して格納しているが、例えば、目パーツ126や眉パーツ127を自動的に回転させてもっとも似顔絵イラストに回転の影響を与える位置を回転中心cに設定する回転中心設定プログラムを備えてもよい。
次に、似顔絵イラストの作成を希望する利用者が利用する利用者携帯電話20について説明する。利用者携帯電話20は、送信アンテナ42と無線で通信する携帯電話機であり、CPUとROMとRAMとで構成する制御装置、不揮発性メモリ等で構成する記憶装置、ディスプレイ21、押下ボタン等で構成する入力装置23、マイク等の音声入力装置、スピーカ等の発音装置、アンテナ等の通信装置(通信部)22、カメラ24等を備えている。
なお、本実施例においては、利用者携帯電話20は通常の携帯電話機を用いているが、例えば、次世代携帯電話等の高速通信が可能な携帯電話機を用いてもよく、さらにはパケット通信専用の携帯端末であってもよい。
さらには、利用者携帯電話20の代用として、例えば、無線LAN、2.4G帯を利用するSS無線、或いは一般電話回線とPHSアンテナとを介するPHS回線等を用いて通信してもよい。
また、利用者携帯電話20の上記記憶装置には、利用者携帯電話20を本来の電話機として使用する場合に必要な情報やプログラム以外に、装備されたカメラ24を制御するカメラ制御プログラムや、ブラウザプログラムや、メールプログラムや、情報送信プログラム等の必要な処理を実行するプログラム等が記憶されている。
利用者端末30はコンピュータであり、CPUとROMとRAMで構成される制御装置31、マウスやキーボード等の入力装置である操作装置32、CRTや液晶画面等で構成するディスプレイ33、ハードディスク等の記憶装置34、作成された似顔絵イラスト等を印刷するプリンタ装置35、DVD−RAM等の各種記憶媒体を読取る記憶媒体読取装置、または記憶媒体読書き装置、及びインターネット40を介して通信を行うLANボード等の通信装置で構成する送受信装置を備えている。
さらに、利用者端末30はWEBサーバ機能、データベースサーバ機能及びメールサーバ機能を備えている。
さらに、前記記憶装置34には、操作装置32、ディスプレイ33、プリンタ装置35及び送受信装置を制御・実行するための制御プログラム、送受信プログラム、表示プログラム及び読書きプログラムを記憶している。
なお、これらの上記各種プログラムは、制御装置を構成するCPUとROMとRAMとが協働して実行するものである。
以上のシステム構成により、管理サーバ10は、インターネット40を介してアクセスされた利用者携帯電話20や利用者端末30から似顔絵イラストの作成を希望するイラスト作成希望写真データ210を受信し、管理DB14aに登録した基本顔の基本似顔絵イラストデータ120に基づいて、作成似顔絵イラストデータ220を作成し、会員の利用者携帯電話20や利用者端末30に作成した作成似顔絵イラストデータ220を送信し、利用者携帯電話20や利用者端末30のディスプレイ21,33に表示することができる。
このように利用者からの似顔絵イラスト作成要求によって、イラスト作成希望写真データ210に基づいて作成似顔絵イラストデータ220を作成する似顔絵イラスト作成処理について、図7乃至12とともに詳述する。
なお、図7は似顔絵イラスト作成システム1における似顔絵イラスト作成処理についてのフローチャートを示し、図8は似顔絵イラスト作成システム1におけるマッチング処理及び所定近似度更改処理についてのフローチャートを示している。
また、図9,10は利用者携帯電話20における似顔絵イラスト作成の操作についての説明図を示している。さらに、図11は構成パーツ(121〜127)の位置調整による影響についての説明図を示し、図12は利用者携帯電話20における似顔絵イラスト作成の操作についての説明図を示している。
まず、図9に示すように、利用者携帯電話20のカメラ24を操作して撮像し、作成似顔絵イラストデータ220の作成を希望するイラスト作成希望顔写真データ210が利用者の操作によって利用者携帯電話20から送信され、管理サーバ10が、利用者携帯電話20からのイラスト作成希望顔写真データ210を受信すると(ステップs1)、マッチングプログラムを実行して、受信したイラスト作成希望顔写真データ210から顔認証するとともに、マッチする基本顔写真データ110を抽出する顔認証/マッチング処理を行う(ステップs2)。
詳しくは、顔認証/マッチング処理についての詳しいフローチャートである図8(a)に示すように、管理サーバ10は、マッチングプログラムにおける顔領域抽出モジュールを実行させて、イラスト作成希望顔写真データ210における顔領域Xを抽出する(ステップt1)。そして、ステップt1で抽出された顔領域Xを顔領域切出しモジュールで切り出し(ステップt2)、顔領域正規化モジュールで、後の特徴パターン抽出モジュールで特徴パターンを抽出できるように顔領域Xを正規化する(ステップt3)。
そして、管理サーバ10は、特徴パターン抽出モジュールを実行させ、正規化した顔領域Xから特徴パターンを抽出し(ステップt4)、特徴パターンマッチングモジュールを実行させ、抽出した特徴パターンを、記憶装置14の基本顔管理テーブル51に格納された顔領域特徴パターンIDを用いて、基本顔写真データ110の特徴パターンを読み出して照合する(ステップt5)。さらに、管理サーバ10は、近似度算出モジュールを実行させて、特徴パターンによる照合結果を数値化した近似度を算出する(ステップt6)。
なお、本実施例においてはガボールウェーブレット変換法を用いて特徴パターンを抽出し、ニューラルネットワーク法を用いて照合しているが、グラフマッチング法などを用いて特徴パターンを抽出してもよく、相互部分空間法などを用いて特徴パターンを照合してもよい。
さらに、特徴パターン抽出は、目や口等の顔器官の両端位置や中心位置を検出する顔器官検出であってもよく、顔器官検出に加えて顔器官及びあご等の輪郭も検出する顔器官&輪郭検出であってもよい。
上記管理サーバ10による顔認証/マッチング処理(ステップs2)を行った結果、マッチする基本顔写真データ110がなかった場合(ステップs3:No)、この似顔絵イラスト作成処理は終了する。
一方、利用者が作成を希望するイラスト作成希望顔写真データ210に対して、マッチした基本顔写真データ110があった場合、あるいは複数の基本顔写真データ110がマッチした際におけるもっとも近似度の高い基本顔写真データ110をマッチした基本顔写真データとした場合(ステップs3:Yes)、管理サーバ10は当該基本顔写真データ110についてステップt6で算出された近似度が所定近似度Aを越えるか否か判定プログラムを用いて判定する(ステップs4)。
その判定の結果、当該基本顔写真データ110の近似度が所定近似度A以下であれば(ステップs4:No)、この似顔絵イラスト作成処理は終了し、当該基本顔写真データ110の近似度が所定近似度A以上であれば(ステップs4:Yes)、当該基本顔写真データ110に対応する基本似顔絵イラストデータ120を、基本顔写真データ110と基本似顔絵イラストデータ120とを関連づける基本顔管理テーブル51(図2(a))に格納する基本似顔絵イラストIDに基づいて抽出する(ステップs5)。
より具体的には、管理サーバ10は、イラスト作成希望顔写真データ210の特徴パターンを、記憶装置14に格納された基本顔写真データ110a〜eの各特徴パターンとマッチングし、それぞれの近似度を算出する。
このとき、すべての特徴パターンとの近似度が0のとき、マッチする基本顔写真データ110がなかったとして(ステップs3:No)、この似顔絵イラスト作成処理は終了する。
逆に、イラスト作成希望顔写真データ210の顔領域Xの特徴パターンを、記憶装置14に格納された基本顔写真データ110a〜eにおける顔領域Xの各特徴パターンとマッチングし、それぞれの近似度を算出した結果が、例えば、第1基本顔写真データ110aとの近似度が55%、第2基本顔写真データ110bとの近似度が40%、第3基本顔写真データ110cとの近似度が75%、第4基本顔写真データ110dとの近似度が0%、第5基本顔写真データ110eとの近似度が15%であった場合、イラスト作成希望顔写真データ210は、もっとも近似度の高い第3基本顔写真データ110cとマッチしたとする(ステップs3:Yes)。
そして、第3基本顔写真データ110cとの近似度75%が、60%に設定した所定近似度A以上であるため(ステップs4:Yes)、第3基本顔写真データ110cの基本顔を似顔絵イラスト化した第3基本似顔絵イラストデータ120cを抽出する(ステップs5)。
なお、本実施例においては、所定近似度Aを60%に設定しているが、システムの運営において適した値を設定すればよく、例えば、所定近似度Aを高く設定すれば、所定近似度Aを低く設定した場合と比較して、作成似顔絵イラストデータ220が作成される確率は低減されるものの、似てる度合いの高い作成似顔絵イラストデータ220を作成することができる。
マッチした基本顔写真データ110の基本似顔絵イラストデータ120を抽出した管理サーバ10は、特徴パターンマッチングモジュールを実行させて、イラスト作成希望顔写真データ210と基本顔写真データ110との特徴パターンに基づいて相違点を抽出し、その相違点の相違量を算出する(ステップs6)。
具体的には、図10に示すように、第3基本顔写真データ110cに対するイラスト作成希望顔写真データ210の相違点は、目216の大きさと、目216の間隔D1’と、眉217の間隔D2’と、鼻214の位置と、口215の位置があげられる。
上記相違点における相違量としては、イラスト作成希望顔写真データ210の目216がマッチした第3基本顔写真データ110cの目116に比べて5%小さく、右目216aと左目216bの間隔D1’が右目116aと左目116bの間隔D1より15%広いとする。
また、イラスト作成希望顔写真データ210の右眉217aと左眉217bの間隔D2’が、第3基本顔写真データ110cの右眉117aと左眉117bの間隔D2より15%広く、輪郭211に対する鼻214の位置が、第3基本顔写真データ110cの輪郭111に対する鼻114の位置より10%高く、輪郭211に対する口215の位置が、第3基本顔写真データ110cの輪郭111に対する口115の位置より10%低いとする。
そして、上述したように、マッチした基本顔写真データ110とイラスト作成希望顔写真データ210との相違点と相違量をステップs6で算出した管理サーバ10は、上記相違点の相違量が所定相違量Bを越えるかどうか、上記判定プログラムを用いて判定する。
上記判定プログラムを用いて判定した結果、相違量が上記所定相違量Bを越える相違点がある場合(ステップs7:Yes)、該当する相違点を、構成パーツ重み付け管理テーブル53(図3(a)参照)に基づいて優先順位を設定し、当該優先順位に応じて当該相違点を、相違量が所定相違量B以下となるように、構成パーツ位置調整プログラムを用いて、基本似顔絵イラストデータ120の構成パーツを位置調整する(ステップs9)。
なお、本実施例では、優先順位が設定された相違点のうち上位3相違点までを位置調整する構成としている。これにより、近似度の高い基本顔写真データ110に対応する基本似顔絵イラストデータ120における全体のバランスを大きく変更することなく、また位置調整のためのシステムに対する負荷増加を抑制しながら、イラスト作成希望顔写真データ210の特徴を的確に表した作成似顔絵イラストデータ220を作成することができる。
具体的には、所定相違量Bを10%に設定し、目216の大きさと間隔D1’と、眉217の間隔D2’と、鼻214の位置と、口215の位置の5相違点があげられた本実施例においては、相違量が5%である目216の大きさを除く4相違点の相違量が所定相違量B以上となる(ステップs7:Yes)。
相違量が所定相違量B以上である4相違点を、構成パーツ重み付け管理テーブル53で設定された重み付けに応じて優先順位を設定すると、目216の間隔D1’、眉217の間隔D2’、口215の位置、鼻214の順となる。
したがって、上位3相違点までを位置調整する構成としている本実施例においては、管理サーバ10は、図10(a)に示す基本似顔絵イラストデータ120における、目パーツ126の間隔D1が間隔D1’となるように、右目パーツ126aと左目パーツ126bを幅方向外側に位置調整する。次に、眉パーツ127の間隔D2が間隔D2’となるように、右眉パーツ127aと左眉パーツ127bを幅方向外側に位置調整する。さらに、口パーツ125の顔面輪郭パーツ121に対する位置を下方に下げる(ステップs9)。
このようにして、相違量が所定相違量Bを越える相違点のうち上位3相違点に関する構成パーツの位置を調整した基本似顔絵イラストデータ120を作成似顔絵イラストデータ220とする(ステップs10)。
なお、算出した相違点の相違量が上記所定相違量Bを越えない場合は(ステップs7:No)、基本顔写真データ110に対応する基本似顔絵イラストデータ120を作成似顔絵イラストデータ220とする(ステップs10)。
そして、管理サーバ10は、作成した作成似顔絵イラストデータ220とイラスト作成希望顔写真データ210とを、新たな基本顔の基本似顔絵イラストデータ120と基本顔写真データ110として記憶装置14に登録する。さらに詳しくは、基本似顔絵イラスト管理テーブル54に示すように、作成された作成似顔絵イラストデータ220は、基本似顔絵イラストデータ120として、作成された年月日情報及び作成された際に算出された基本似顔絵イラストデータ120と作成似顔絵イラストデータ220との近似度とともに格納し(ステップs11)、作成した作成似顔絵イラストデータ220を、図12に示すように利用者携帯電話20送信し(ステップs12)、この似顔絵イラスト作成処理を終了する。
なお、上述の実施例では、管理サーバ10がステップs6でマッチした基本顔写真データ110の基本似顔絵イラストデータ120を抽出した管理サーバ10は、イラスト作成希望顔写真データ210と基本顔写真データ110との特徴パターンに基づいて相違点と、その相違点の相違量を算出する構成であったが、ステップs2で実行する顔認証/マッチング処理における特徴パターンの照合結果を用いて、相違点の相違量を算出する構成であってもよい。
次に、上記似顔絵イラスト作成処理を繰り返し実行し、作成した作成似顔絵イラストデータ220とそのイラスト作成希望顔写真データ210とを基本顔写真データ110及び基本似顔絵イラストデータ120として記憶装置14に格納し、記憶装置14に蓄積した基本顔写真データ110及び基本似顔絵イラストデータ120の数が増加した似顔絵イラスト作成システム1における所定近似度更改処理について、図8(b)に示す所定近似度更改処理についてフローチャートとともに説明する。
まず、管理サーバ10は、所定近似度更改プログラムを用いて以下の処理を実行する。具体的には、管理DB14aに格納された基本似顔絵イラスト管理テーブル54から登録されている基本似顔絵イラストデータ120の近似度を抽出し(ステップu1)、前回に所定近似度更改処理を行ってから登録された近似度が所定件数以上あるかどうか、判定プログラムを用いて判定し、前回に所定近似度更改処理を行ってから登録された近似度が所定件数以下である場合は(ステップu2:No)、本所定近似度更改処理を終了する。
逆に、前回に所定近似度更改処理を行ってから登録された近似度が所定件数以上である場合(ステップu2:Yes)、管理サーバ10はステップu1で抽出した近似度の平均値を算出し(ステップu3)、算出された平均値を新たな所定近似度Aとして設定し(ステップu4)、本所定近似度更改処理を終了する。
上述したように似顔絵イラスト作成システム1は、基本とする顔の顔写真データを基本顔写真データ110として複数パターン格納し、前記基本顔をイラスト化した基本似顔絵イラストデータ120を、前記基本顔写真データ110との関連付け情報とともに格納する管理DB14aを備えている。
さらに、管理サーバ10は、似顔絵イラストを作成したい顔を撮像したイラスト作成希望顔写真データ210を認識し、前記管理DB14aに格納した複数の前記基本顔写真データ110とマッチングして近似度の高い前記基本顔写真データ110を抽出するマッチングプログラムを実行し(ステップs2,s5)、該マッチングプログラムによって抽出された前記基本顔写真データ110に関連付けられた前記基本似顔絵イラストデータ120を作成似顔絵イラストデータ220としてステップs12で出力する構成である。
このように、似顔絵イラスト作成システム1は、利用者や作成した似顔絵イラストを見た人が似ていると感じる度合い、つまり似てる度合いの高い似顔絵イラストを、簡易なシステム構造で作成することができる。
詳しくは、似顔絵イラスト作成システム1では、基本顔に関する基本顔写真データ110と、基本顔をイラスト化した基本似顔絵イラストを基本似顔絵イラストデータ120として格納手段である管理DB14aに格納し、似顔絵イラストを作成したいイラスト作成希望顔写真データ210と基本顔写真データ110とをマッチングして近似度の高い基本顔写真データ110の基本似顔絵イラストデータ120を用いて、イラスト作成希望顔写真データ210の作成似顔絵イラストデータ220を作成し、出力するため、より似てる度合いの高い似顔絵イラストを簡単に作成することができる。
さらに詳述すると、基本顔をイラスト化した基本似顔絵イラストは、基本顔を適度にデフォルメ等して作成しているため、「目が大きい」とか「たれ目である」といった基本顔の特徴点が基本似顔絵イラストに反映されており、似てる度合いが高い。そして、似顔絵イラストを作成したいイラスト作成希望顔写真データ210における似顔絵イラスト作成希望顔と近似度の高い基本顔写真データ110における基本顔に対応する基本似顔絵イラストデータ120を用いて作成似顔絵イラストデータ220を作成するため、似顔絵イラスト作成希望顔における特徴点が間接的に反映されており、似てる度合いの高い作成似顔絵イラストデータ220を簡単に作成することができる。
したがって、例えば、似顔絵イラスト作成希望顔全体の形状を認識させ、認識した形状に基づいて作成似顔絵イラストデータを作成する場合と比較して、似てる度合いの高い作成似顔絵イラストデータ220を、少ないシステム負荷で作成することができる。詳しくは、認識させた似顔絵イラスト作成希望顔の形状に基づいて作成似顔絵イラストデータを作成する場合、写実的に似顔絵イラストを作成することができるものの、似顔絵イラスト作成希望顔の特徴点が反映されず、利用者や作成した似顔絵イラストを見た人が似ていると感じる似てる度合いが低い作成似顔絵イラストデータしか作成することができない。また、似顔絵イラスト作成希望顔全体の形状を認識させて作成似顔絵イラストデータを作成する場合、形状認識及び認識形状に基づくイラストデータ作成におけるシステム負荷が大きくなる。
また、例えば、似顔絵イラスト作成希望顔における顔部品の特徴量に基づいてデータベースに登録した複数種類の顔部品とマッチング適合度を判定し、その適合度が一定以上の登録部品を用いて作成似顔絵イラストデータを最初から作成する場合、全体のバランスや特徴点を反映させることは困難であり、利用者が似ていると感じる似てる度合いが低い作成似顔絵イラストデータしか作成することができない。
これに対して、本発明の似顔絵イラスト作成システム1では、基本顔に関する基本顔写真データ110と、イラスト化した基本似顔絵イラストデータ120とを対で記憶装置14に格納し、作成似顔絵イラストデータ220を作成したいイラスト作成希望顔写真データ210と基本顔写真データ110とをマッチングして近似度の高い基本顔写真データ110の基本似顔絵イラストデータ120を用いて、イラスト作成希望顔写真データ210の作成似顔絵イラストデータ220を作成し、出力するため、より似てる度合いの高い似顔絵イラストを、少ないシステム負荷で、簡単に作成することができる。
また、似顔絵イラストを作成したいイラスト作成希望顔写真データ210におけるイラスト作成希望顔と基本顔写真データ110における基本顔とをマッチングする、つまり同じ顔写真同士をマッチングするため、例えば、イラスト作成希望顔写真データ210と、イラスト化された基本似顔絵イラストデータ120やイラスト化された構成パーツとを直接マッチングする場合と比較して、高精度のマッチングを実現することができる。
また、基本顔をイラスト化した基本似顔絵イラストデータ120を、複数の構成パーツ(121〜127)の組み合わせにより構成することで、例えば、似顔絵イラスト作成希望顔における顔部品の特徴量に基づいてデータベースに登録した複数種類の顔部品とマッチング適合度を判定し、その適合度が一定以上の登録部品を用いて作成似顔絵イラストデータを最初から作成する場合と比較して、全体的にバランスのとれた作成似顔絵イラストデータ220を作成できるとともに、作成似顔絵イラストデータ220作成のためのシステム負荷を低減することができる。
また、特徴点を反映させた基本似顔絵イラストデータ120における全体のバランスを保持したまま、構成パーツ(121〜127)を調整できるため、似てる度合いの高い作成似顔絵イラストデータ220を作成することができる。
また、似顔絵イラストの似てる度合いに影響の少ない程度の相違点は調整せず、相違点が所定量以上となる、すなわち相違量の大きい構成パーツ(121〜127)のみを調整することで、システムに対するイラスト作成のための負荷の増大を抑制しながらより似てる度合いの高い作成似顔絵イラストデータ220を作成することができる。
このように、基本顔をイラスト化した基本似顔絵イラストデータ120を、複数の構成パーツ(121〜127)の組み合わせにより構成し、相違量の大きい構成パーツ(121〜127)のみを調整することで、全体のバランスを保持し、似てる度合いのより高い作成似顔絵イラストデータ220を作成することができる。
詳しくは、基本似顔絵イラストデータ120を、そのまま作成似顔絵イラストデータ220とする、つまり基本似顔絵イラストデータ120が最終結果物である場合、イラスト作成希望顔と作成似顔絵イラストデータ220とは、基本似顔絵イラストデータ120において反映された基本顔における特徴点が間接的に反映されていることとなる。
これに対し、本発明の似顔絵イラスト作成システム1では、記憶装置14に格納した基本似顔絵イラストデータ120を構成パーツ(121〜127)の組み合わせにより構成している。そして、管理サーバ10が、イラスト作成希望顔写真データ210と、基本顔写真データ110とにおける構成パーツ(121〜127)ごとの位置、大きさ、間隔、配置角度等の相違点を抽出し(ステップs6)、相違点における相違量が所定相違量Bを超える構成パーツ(121〜127)に関して、基本似顔絵イラストデータ120における該当の構成パーツ(121〜127)を相違点における相違量が所定相違量B以下となるように調整する構成パーツ位置調整プログラムを実行する(ステップs9)。
これにより、簡易なシステム構造でありながら、作成似顔絵イラストデータ220は、イラスト作成希望顔の特徴点が直接的に反映され、より似てる度合いを高めることができる。つまり、本発明の似顔絵イラスト作成システム1における基本似顔絵イラストデータ120は、作成似顔絵イラストデータ220を作成するための手段に過ぎず、作成似顔絵イラストデータ220を作成する手段である基本似顔絵イラストデータ120の構成パーツ(121〜127)を調整して、似顔絵イラスト作成希望顔の特徴点を直接的に反映させた作成似顔絵イラストデータ220を最終結果物とし、より似てる度合いの高い似顔絵イラストを作成することができる。
また、基本似顔絵イラストデータ120を構成する構成パーツを、少なくとも、顔面輪郭パーツ121、髪型パーツ、口パーツ125パーツ、鼻パーツ124パーツ、目パーツ126パーツ、眉パーツ127パーツとで構成している。なお、目パーツ126パーツ及び眉パーツ127パーツは、右パーツ(126a,127a)と左パーツ(126b,127b)とで構成し、右パーツ(126a,127a)と左パーツ(126b,127b)との標準間隔D1,D2情報と、右パーツ(126a,127a)と左パーツ(126b,127b)とがそれぞれ回転する回転中心cに関する情報を有している。
似顔絵イラスト作成システム1において構成パーツ位置調整プログラムを実行する管理サーバ10(ステップs9)は、髪型パーツ(122,123)、口パーツ125パーツ及び鼻パーツ124パーツのそれぞれに対して、顔面輪郭パーツ121に対する大きさ及び位置を調整可能に構成している。さらに、目パーツ126パーツ及び眉パーツ127パーツのそれぞれに対しては、顔面輪郭パーツ121に対する大きさ及び位置に加えて、標準間隔D1,D2及び回転中心cを中心とした回転角度を調整可能に構成している。
図11に示すように、目パーツ126及び眉パーツ127の大きさ、位置、標準間隔及び回転角度を調整することにより基本似顔絵イラストデータ120のイメージが大きく変化する。このように、構成パーツを調整することで、似顔絵イラストとしてのバランスを保持したまま、似てる度合いを大きく向上することができる。
したがって、目パーツ126を右目パーツ126aと左目パーツ126bとで構成するとともに、眉パーツ127を右眉パーツ127aと左眉パーツ127bとで構成し、顔面輪郭パーツ121に対する大きさ及び位置に加えて、右パーツ(126a,127a)と左パーツ(126b,127b)との標準間隔D1,D2及び回転中心c1,c2を中心とした回転角度を調整するのに対し、似てる度合いに大きな変化を及ぼしにくい口パーツ125や鼻パーツ124を顔面輪郭パーツ121に対する大きさ及び位置のみを調整することで、システムに対する構成パーツの調整による負荷の増大を抑制しながら、作成似顔絵イラストデータ220の似てる度合いを飛躍的に向上することができる。
また、似顔絵イラスト作成システム1は、似顔絵イラストに与える影響に基づいて、構成パーツを重み付けする構成パーツ重み付け管理テーブル53を備えている。
そして、構成パーツ位置調整プログラムを実行する管理サーバ10(ステップs9)は、ステップs6で抽出された相違点における相違量が所定相違量Bを超える構成パーツが複数ある場合に、構成パーツ重み付け管理テーブル53による重みに応じて構成パーツを調整する構成としている。
これにより、図11に示すように基本似顔絵イラストデータ120に大きな影響を及ぼす目パーツ126や眉パーツ127の構成パーツを優先的に調整するため、システムに対する構成パーツの調整による負荷の増大をさらに抑制しながら、作成似顔絵イラストデータ220の似てる度合いを向上することができる。
また、管理サーバ10は、ステップs2で抽出された基本顔写真データ110とイラスト作成希望顔写真データ210との近似度を、特徴パターンマッチングモジュールを実行して算出し(ステップt6)、算出された近似度が所定近似度Aを超えているか判断プログラムによって判断する構成としている。
さらに、似顔絵イラスト作成システム1は、イラスト作成希望顔写真データ210及び作成似顔絵イラストデータ220と関連付けて近似度を格納する基本顔似顔絵イラスト管理テーブル54を備え、管理サーバ10は、基本顔似顔絵イラスト管理テーブル54に格納された、所定数以上の近似度に応じて所定近似度Aを更改する所定近似度更改処理(ステップu1〜u4)を、所定近似度更改プログラムを用いて実行する構成である。
これにより、イラスト作成希望顔写真データ210と作成した作成似顔絵イラストデータ220を、新たな基本顔の基本顔写真データ110及び基本似顔絵イラストデータ120として格納できるため、基本顔のパターン数が増加し、マッチングの精度をより高めることができ、より似てる度合いの高い作成似顔絵イラストデータ220を作成することができる。
また、登録された基本顔のパターン数が増加し、近似度の実績に基づいて近似度判定手段の判断基準となる所定近似度Aを向上させることで、より似てる度合いの高い基本似顔絵イラストデータ120を作成することができる。
なお、上述の説明では、1つの基本顔写真データ110に対して1つの基本似顔絵イラストデータ120を記憶装置14に登録していたが、1つの基本顔写真データ110に対して複数の基本似顔絵イラストデータ120を登録する構成であってもよい。詳しくは、例えば、1つの基本顔写真データ110に対して、作風やタッチの異なる基本似顔絵イラストデータ120を複数登録したり、同じタッチであっても、向きや姿勢の異なる基本似顔絵イラストデータ120を複数してもよい。これにより、作成似顔絵イラストデータ220を作成したい利用者の嗜好に応じた作成似顔絵イラストデータ220を作成でき、利用者の満足度を向上することができる。この場合、イラスト作成希望顔写真データ210にマッチした基本顔写真データ110対する基本似顔絵イラストデータ120を抽出する際に、利用者によって、どの基本似顔絵イラストデータ120を選択する選択手段を備えればよい。
また、似顔絵イラスト作成システム1は、似顔絵イラストを作成したい利用者の利用者携帯電話20からの前記イラスト作成希望顔写真データ210を、インターネット40を介して受信する送受信装置を備えており、ステップs12で管理サーバ10が作成似顔絵イラストデータ220を利用者携帯電話20に送信する構成であるため、利用者は、似顔絵イラストを作成したいイラスト作成希望顔写真データ210を、インターネット40を介して送信し、作成された基本似顔絵イラストデータ120を利用者携帯電話20で受信できるため利便性が向上する。
なお、ステップs12で作成似顔絵イラストデータ220を利用者携帯電話20に送信した後、利用者からのオッケー情報を受け取ってから上記似顔絵イラスト作成処理は終了する構成でもよく、その場合、利用者からのNG情報を受け取った場合、利用者による作成似顔絵イラストデータ220の調整操作を受け付けた作成似顔絵イラストデータ220を調整する構成であってもよい。
また、上記実施例において、利用者の利用者携帯電話20を用い、イラスト作成希望顔写真データ210から作成似顔絵イラストデータ220を作成する構成で説明したが、利用者端末30を用いてイラスト作成希望顔写真データ210から作成似顔絵イラストデータ220を作成する構成であってもよい。その場合であっても、上記効果と同様の効果を得ることができる。
さらに、利用者端末30は、利用者携帯電話20を利用する利用者とは異なり、利用者携帯電話20で作成した作成似顔絵イラストデータ220を活用する活用者の端末であってもよい。その場合、その活用者は、利用者を特定する対象物に作成似顔絵イラストデータ220を表示させることができる。
詳しくは、利用者端末30が、例えば、利用者が診察を受けた医師から処方された処方薬を処方する薬局が利用する端末である場合、利用者から受け取った処方箋とともに作成似顔絵イラストデータ220のデータを受け取り、処方薬を入れる薬袋に、氏名や飲み方の情報とともに作成似顔絵イラストデータ220をプリンタ装置35で印刷する。
これにより、例えば、処方箋を受け取った薬剤師と、処方薬を渡す薬剤師が異なる場合であっても、薬袋に印刷された作成似顔絵イラストデータ220を確認することにより、間違った人に処方薬を防止することができる。これは、例えば、たまたま、同性で同年代の同姓の方がいた場合、性別、年齢、氏名を確認しても処方薬の誤渡しは防止できないが、薬袋に印刷された作成似顔絵イラストデータ220を確認することで処方薬の誤渡しの可能性を飛躍的に低減できる。
なお、利用者を特定する対象物としては、上記薬袋以外にも、例えば、多くの患者を治療する病院における点滴薬のパッケージや、社員証、会員証あるいはクレジットカード等であってもよく、作成似顔絵イラストデータ220の直接印刷が困難である場合は、シールに作成似顔絵イラストデータ220を印刷して貼り付ける構成であってもよい。
また、上述の似顔絵イラスト作成システム1において、図13に示すように、作成した作成似顔絵イラストデータ220に基づいて、利用者の電子キャラクタ300を作成する構成であってもよい。電子キャラクタ300は、例えば、ウェブ上のコミュニティ等で利用者の分身として作動する電子キャラクタであり、その顔が作成似顔絵イラストデータ220で構成されている。
これにより、利用者は自分に似た電子キャラクタ300を作成し、例えば、ウェブ上のコミュニティでその電子キャラクタ300を利用できるため、利用者の満足度を向上することができる。
なお、電子キャラクタ300の体型や服装などを似顔絵イラスト作成システム1で選択できる構成であってもよい。
また、上記実施形態においては、イラスト作成希望顔写真データ210における顔領域X全体の特徴パターンと、記憶装置14に格納された基本顔写真データ110におけるそれぞれの顔領域X全体の特徴パターンとマッチングし、近似する基本顔写真データ110に対応する基本似顔絵イラストデータ120を抽出し、作成似顔絵イラストデータ220を作成したが、イラスト作成希望顔写真データ210における頭髪領域Yを抽出し、頭髪領域Yの形状を認識し、認識した形状に基づく形状認識頭髪パーツ122aを作成し、基本似顔絵イラストデータ120と形状認識頭髪パーツ122aとを組み合わせて作成似顔絵イラストデータ220を作成してもよい。
以下に、形状認識頭髪パーツ122aを用いた似顔絵イラスト作成処理について、図14〜16とともに説明する。なお、図14は頭髪形状認識処理及び顔面領域マッチング処理についてのフローチャートを示し、図15は頭髪形状認識処理についての説明図を示し、図16は頭髪形状認識処理及び顔面領域マッチング処理を行った作成似顔絵イラストについて説明図を示している。
形状認識頭髪パーツ122aを用いた似顔絵イラスト作成処理の場合、前記記憶装置14に記憶するマッチングプログラムの顔領域抽出モジュールは、イラスト作成希望写真データにおける顔領域Xに加えて、顔領域Xからさらに、頭髪領域Y及び顔面領域Zを抽出する構成である。なお、顔領域Xから頭髪領域Y及び顔面領域Zを抽出する方法は、従来の領域抽出方法を用い、例えば抽出された顔領域Xから、頭髪領域Yと顔面領域Zとの色の違いに基づいて頭髪領域Y及び顔面領域Zを抽出することができる。
同様に、顔領域切出しモジュールは、顔領域抽出モジュールで抽出した顔領域X、頭髪領域Y及び顔面領域Zを切り出す構成である。また、特徴パターン抽出モジュールは、顔領域切出しモジュールで切り出された顔面領域Zから特徴パターンを抽出する構成である。さらに、特徴パターンマッチングモジュールは、特徴パターン抽出モジュールが抽出したイラスト作成希望顔写真データ210における顔面領域Zの特徴パターンと、記憶装置14に登録された基本顔写真データ110における顔面領域Zの特徴パターンと比較してマッチングする構成である。
さらに、形状認識頭髪パーツ122aを用いた似顔絵イラスト作成処理の場合、前記記憶装置14には、頭髪形状認識プログラムと、形状認識頭髪パーツ作成プログラムを記憶する。
頭髪形状認識プログラムは、頭髪領域Yの形状を認識するプログラムであり、頭髪領域Yの形状を認識する方法は従来の形状認識方法で行うので説明を省略する。
形状認識頭髪パーツ作成プログラムは、頭髪形状認識プログラムで認識された頭髪領域Yの形状に基づいて形状認識頭髪パーツ122aを作成するプログラムである。
上述したようなプログラムやモジュールを備えた形状認識頭髪パーツを用いた似顔絵イラスト作成システム1の似顔絵イラスト作成処理は、上述の似顔絵イラスト作成処理(図7参照)に基づいて行われるが、図7に示す似顔絵イラスト作成処理におけるステップs2で実行する顔認証/マッチング処理(図14)が異なる。
詳しくは、上述したように、まず、管理サーバ10は、利用者携帯電話20のカメラ24で撮像されたイラスト作成希望顔写真データ210(図9参照)を受信すると(ステップs1)、マッチングプログラムを実行して、受信したイラスト作成希望顔写真データ210から顔認証するとともに、マッチする基本顔写真データ110を抽出する顔認証/マッチング処理を行う(ステップs2)。
このとき、形状認識頭髪パーツ122aを用いた似顔絵イラスト作成処理は、図8(a)で示す顔認証/マッチング処理と同様に、マッチングプログラムにおける顔領域抽出モジュールを実行させて、イラスト作成希望顔写真データ210における顔領域Xを抽出する(ステップv1)。そして、ステップv1で抽出された顔領域Xを顔領域切出しモジュールで切り出し(ステップv2)、顔領域正規化モジュールで、顔領域Xを正規化する(ステップv3)。
さらに、管理サーバ10は、再度顔領域抽出モジュールを実行させて、顔領域正規化モジュールで正規化された顔領域X(図4)から頭髪領域Y(図4)及び顔面領域Z(図4)を抽出する(ステップv4)。ステップv4を実行した管理サーバ10は、頭髪領域Yがあるか判断し、頭髪領域Yがある場合(ステップv5:Yes)、頭髪形状認識プログラムを用いて、顔領域抽出モジュールで抽出された頭髪領域Yの形状を認識する(ステップv6)。さらに、管理サーバ10は、図15に示すように、ステップv6で形状認識された頭髪領域Yの形状に基づいて、形状認識頭髪パーツ作成プログラムを実行させて、形状認識頭髪パーツ122aを作成する(ステップv7)。
具体的には、図15(a)に示すように、イラスト作成希望顔写真データ210における頭髪領域Yについて、頭髪領域Yの輪郭を複数のポイントPで指定し、ポイントP,Pを線で結んだ外形線Lで頭髪領域Yの形状を認識する。
そして、図15(b)に示すように、複数のポイントP及び外形線Lによって認識された頭髪領域Yの形状について、外形線Lに基づいて形状認識頭髪パーツ122aを作成する。
このようにして、ステップv7で形状認識頭髪パーツ122aを作成、あるいは、イラスト作成希望顔写真データ210で撮像された似顔絵イラスト作成希望顔がスキンヘッドであったり、頭髪領域Yと顔面領域Zの色調が明確でなく頭髪領域Yが認識されなかった場合(ステップv5:No)、管理サーバ10は、ステップv4で抽出された顔面領域Zを顔領域切出しモジュールで切り出す(ステップv8)。なお、ステップv5において頭髪領域Yが認識されなかった場合、ステップv8で切り出す顔面領域Zは、顔領域Xと一致することとなる。
そして、管理サーバ10は、特徴パターン抽出モジュールを実行させ、ステップv8で切り出された顔面領域Zから特徴パターンを抽出し(ステップv9)、特徴パターンマッチングモジュールを実行させ、抽出した特徴パターンを、記憶装置14の基本顔管理テーブル51に格納された顔面領域特徴パターンIDを用いて、基本顔写真データ110の顔面領域Zの特徴パターンを読み出して照合する(ステップv10)。さらに、管理サーバ10は、近似度算出モジュールを実行させて、特徴パターンによる照合結果を数値化した近似度を算出する(ステップv11)。
このようにして、形状認識頭髪パーツ122aを作成するとともに、顔面領域Zにおける特徴パターンによる照合結果を数値化した近似度を算出する顔認証/マッチング処理を実行した管理サーバ10は、図7において示すステップs3に移行し、利用者が作成を希望するイラスト作成希望顔写真データ210にマッチした基本顔写真データ110があった場合、上記ステップv11で判定した顔面領域Zの近似度が所定近似度Aを越えるか否か判定する(ステップs4)。
その判定の結果、当該基本顔写真データ110の近似度が所定近似度A以下であれば(ステップs4:No)、この似顔絵イラスト作成処理は終了し、当該基本顔写真データ110の近似度が所定近似度A以上であれば(ステップs4:Yes)、当該基本顔写真データ110に対応する基本似顔絵イラストデータ120における後髪パーツ122及び前髪パーツ123を、ステップv7で作成した形状認識頭髪パーツ122aに置き換えて抽出する(ステップs5)。なお、ステップs5以降の工程(ステップs6〜s12)は、上述の説明通りであるため、説明を省略する。
このように、形状認識頭髪パーツ122aを用いた似顔絵イラスト作成処理を実行する似顔絵イラスト作成システム1は、上述の形状認識頭髪パーツ122aを用いない似顔絵イラスト作成処理を実行する似顔絵イラスト作成システム1による効果に加えて、図16に示すように、より似てる度合いに高い作成似顔絵イラストデータ220aを、簡易なシステム構造で作成することができる。
詳しくは、髪型は同じ人でも容易に変化させることもできるし、伸びたり切ったたりできる。したがって、似てる度合いの高い作成似顔絵イラストデータを高精度に作成するためには、複数の髪型の基本顔に対応させた基本似顔絵イラストデータ120を登録する必要があり、記憶装置14が大規模となる。
これに対し、形状認識頭髪パーツ122aを用いた似顔絵イラスト作成処理を実行する似顔絵イラスト作成システム1は、容易に変化させることのできる頭髪形状に基づく形状認識頭髪パーツ122aを、イラスト作成希望顔写真データ210から認識された似顔絵イラスト作成希望顔における頭髪部分である頭髪領域Yの形状を、ステップv6において頭髪形状認識プログラムで認識し、ステップv7において形状認識頭髪パーツ作成プログラムにより作成するため、顔領域X全体の形状を認識させて似顔絵イラストを作成する場合と比べてシステム負荷の増大を低減できるとともに、複数の髪型の基本顔データに対応させた基本似顔絵イラストデータ120を管理DB14aに格納する場合に比べて、格納するパターン数を低減できるため、小規模な記憶装置14で高精度且つ似てる度合いの高い作成似顔絵イラストデータ220を作成することができる。
また、このように、形状認識頭髪パーツ122aを用いた似顔絵イラスト作成処理を実行する似顔絵イラスト作成システム1は、イラスト作成希望顔写真データ210から認識した似顔絵イラスト作成希望顔及び基本顔写真データ110の基本顔のそれぞれの顔領域Xにおける頭髪領域Yを除く顔面領域Zを、ステップv4において顔領域抽出モジュールにより抽出し、ステップv9,v10においてマッチングプログラムの特徴パターン抽出モジュール及び特徴パターンマッチングモジュールによって、似顔絵イラスト作成希望顔における顔面領域Zと基本顔の顔面領域Zとを、マッチングして近似度の高い基本顔写真データ110を抽出するため、より似てる度合いに高い作成似顔絵イラストデータ220aを、簡易なシステムで作成することができる。
詳しくは、上述したように、髪型は同じ人でも容易に変化させることもできるし、伸びたり切ったたりできるため、基本顔本人でも髪型が変わることでマッチしない可能性が生じる。しかし、ステップv9,v10において似顔絵イラスト作成希望顔の顔面領域Zと基本顔の顔面領域Zとをマッチングして近似度の高い基本顔写真データ110を抽出するため、髪型に依存せず、顔面領域Zにおける特徴点が反映された似てる度合いの高い作成似顔絵イラストデータ220aによる似顔絵イラストを作成することができる。
この発明の構成と、上述の実施形態との対応において、
この発明の基本顔写真データ格納手段、及び関連付け情報格納手段は、記憶装置14の管理DB14aに記録する基本顔管理テーブル51に対応し、
以下同様に、
基本顔写真データは、基本顔写真データ110に対応し、
構成パーツは、顔面輪郭パーツ121、後髪パーツ122、前髪パーツ123、鼻パーツ124、口パーツ125、目パーツ126及び眉パーツ127に対応し、
基本似顔絵イラストデータは、基本似顔絵イラストデータ120に対応し、
基本似顔絵イラストデータ格納手段は、記憶装置14の管理DB14aに記録する第1基本顔構成パーツ管理テーブル52に対応し、
関連付け情報は、基本顔管理テーブル51に格納する基本顔イラストIDに対応し、
イラスト作成希望顔写真データは、イラスト作成希望顔写真データ210に対応し、
近似基本顔写真抽出手段は、ステップt4,t5,v9,v10においてマッチングプログラムの特徴パターン抽出モジュール及び特徴パターンマッチングモジュールを実行する管理サーバ10に対応し、
構成パーツ相違点抽出手段は、ステップt5で特徴パターンマッチングモジュールを実行する管理サーバ10に対応し、
所定量は、所定相違量Bに対応し、
構成パーツ調整手段は、ステップs9で構成パーツ位置調整プログラムを実行する管理サーバ10に対応し、
作成似顔絵イラスト出力手段は、ステップs12で送受信プログラムを実行する管理サーバ10に対応し、
右パーツは、右目パーツ126a,右眉パーツ127aに対応し、
左パーツは、左目パーツ126b,左眉パーツ127bに対応し、
左右間隔情報は、標準間隔Dに対応し、
髪型パーツは、後髪パーツ122及び前髪パーツ123に対応し、
頭髪形状認識手段は、ステップv6で頭髪形状認識プログラムを実行する管理サーバ10に対応し、
形状認識髪型パーツは、形状認識頭髪パーツ122aに対応し、
形状認識髪型パーツ作成手段は、ステップv7で形状認識頭髪パーツ作成プログラムを実行する管理サーバ10に対応し、
顔面領域抽出手段は、ステップv4で顔領域抽出モジュールを実行する管理サーバ10に対応し、
重み付け手段は、構成パーツ重み付け管理テーブル53に格納する優先順位に対応し、
近似度算出手段は、ステップt6,v11で近似度算出モジュールを実行する管理サーバ10に対応し、
近似度判定手段は、ステップs4で判断プログラムを実行する管理サーバ10に対応し、
実績近似度格納手段は、基本似顔絵イラスト管理テーブル54に対応し、
所定近似度更改手段は、所定近似度更改処理(ステップu1〜u4)を、所定近似度更改プログラムを用いて実行する管理サーバ10に対応し、
利用者端末は、利用者携帯電話20及び利用者端末30に対応し、
電気通信回線は、インターネット40に対応し、
イラスト作成希望顔写真データ受信手段は、ステップs1でイラスト作成希望顔写真データ210を受信する送受信装置に対応し、
作成似顔絵イラストデータ送信手段は、ステップs12で作成似顔絵イラストデータ220,220aを利用者携帯電話20に送信する送受信装置に対応し、
キャラクタは、電子キャラクタ300に対応し、
キャラクタ作成手段は、電子キャラクタ300を作成する似顔絵イラスト作成システム1の管理サーバ10に対応し、
キャラクタ作成システムは、電子キャラクタ300を作成する似顔絵イラスト作成システム1に対応し、
対象物は、処方薬の薬袋、点滴薬のパッケージ、社員証、会員証あるいはクレジットカードに対応し、
イラスト表示手段は、プリンタ装置35に対応し、
作成似顔絵イラスト表示システムは、プリンタ装置35で作成似顔絵イラストデータ220,220aを印刷する似顔絵イラスト作成システム1に対応し、
似顔絵イラスト作成方法は、似顔絵イラスト作成処理に対応するも、
この発明は、上述の実施形態の構成のみに限定されるものではなく、多くの実施の形態を得ることができる。
なお、上述した構成パーツの重み付けは、構成パーツにおける間隔やサイズ,位置等の調整項目ごとに重み付けしていたが、調整項目は問わず構成パーツ自体で重み付けする構成であってもよい。
また、上記利用者携帯電話20は、利用者が携帯するカメラ付き携帯電話やカメラ付きPDA等の利用者携帯端末や、デジタルカメラ等の撮像手段と接続可能なパーソナルコンピュータ等の利用者携帯電話20であってもよく、さらには、上記インターネット40以外の電話回線、あるいはパソコン通信回線等の通信回線であってもよい。
また、上記所定近似度更改処理において、近似度の平均値を新たな所定近似度Aとして設定する構成であったが、所定の値や率で増加させる構成であってもよい。
さらには、イラスト作成希望顔写真データ210における顔領域X全体の特徴パターンと、記憶装置14に格納された基本顔写真データ110におけるそれぞれの顔領域X全体の特徴パターンとマッチングし、近似する基本顔写真データ110に対応する基本似顔絵イラストデータ120を抽出し、作成似顔絵イラストデータ220を作成するシステムに、イラスト作成希望顔写真データ210における頭髪領域Yを抽出し、頭髪領域Yの形状を認識し、認識した形状に基づく形状認識頭髪パーツ122aを作成し、基本似顔絵イラストデータ120と形状認識頭髪パーツ122aとを組み合わせて作成似顔絵イラストデータ220を作成することのできる頭髪形状認識手段を備えるとともに、作成された作成似顔絵イラストデータ220の後髪パーツ122及び前髪パーツ123と、頭髪形状認識手段で作成された形状認識頭髪パーツ122aとを置き換える置き換え手段を備えてもよい。これにより、一旦作成された作成似顔絵イラストデータ220を確認した利用者が後髪パーツ122及び前髪パーツ123を形状認識頭髪パーツ122aに置き換えできるため、より利用者の満足度を向上することができる。
この発明は、似顔絵イラストを作成したい顔の顔写真データに基づいて作成似顔絵イラストデータを作成する似顔絵イラスト作成システムに利用することができる。
1…似顔絵イラスト作成システム
10…管理サーバ
14…記憶装置
14a…管理DB
20…利用者携帯電話
30…利用者端末
35…プリンタ装置
40…インターネット
51…基本顔管理テーブル
52…第1基本顔構成パーツ管理テーブル
53…重み付け管理テーブル
54…基本似顔絵イラスト管理テーブル
110…基本顔写真データ
120…基本似顔絵イラストデータ
121…顔面輪郭パーツ
122…後髪パーツ
122a…形状認識頭髪パーツ
123…前髪パーツ
124…鼻パーツ
125…口パーツ
126…目パーツ
126a…右目パーツ
126b…左目パーツ
127…眉パーツ
127a…右眉パーツ
127b…左眉パーツ
210…イラスト作成希望顔写真データ
220,220a…作成似顔絵イラストデータ
300…電子キャラクタ
c…回転中心
D…標準間隔
X…顔領域
Y…頭髪領域
Z…顔面領域

Claims (10)

  1. 似顔絵イラスト作成のための基本となる基本顔の顔写真データを基本顔写真データとして複数格納する基本顔写真データ格納手段と、
    前記基本顔をイラスト化した基本似顔絵イラストを複数の構成パーツの組み合わせにより構成する基本似顔絵イラストデータとして複数格納する基本似顔絵イラストデータ格納手段と、
    前記基本顔写真データと前記基本似顔絵イラストデータとの関連付け情報を格納する関連付け情報格納手段と、
    似顔絵イラストを作成したい似顔絵イラスト作成希望顔を撮像したイラスト作成希望顔写真データから前記似顔絵イラスト作成希望顔を認識し、前記基本顔写真データ格納手段に格納した複数の前記基本顔写真データにおける前記基本顔とマッチングして近似度の高い前記基本顔写真データを抽出する近似基本顔写真抽出手段と、
    該近似基本顔写真抽出手段によって抽出された前記基本顔写真データにおける前記基本顔と、前記イラスト作成希望顔写真データにおける前記似顔絵イラスト作成希望顔との前記構成パーツごとの相違点を抽出する構成パーツ相違点抽出手段と、
    該構成パーツ相違点抽出手段によって抽出された前記相違点における相違量が所定量を超える構成パーツに関して、前記近似基本顔写真抽出手段が抽出した前記基本顔写真データに関連付けられた前記基本似顔絵イラストデータにおける該当の構成パーツを前記相違点における相違量が所定量以下となるように調整する構成パーツ調整手段と、
    該構成パーツ調整手段によって調整された前記基本似顔絵イラストデータを作成似顔絵イラストデータとして出力する作成似顔絵イラスト出力手段とを備えた
    似顔絵イラスト作成システム。
  2. 前記構成パーツを、少なくとも、目パーツ及び眉パーツで構成し、
    前記目パーツ及び前記眉パーツは、
    右パーツと左パーツとで構成するともに、該右パーツと該左パーツとの左右間隔情報と、該右パーツと該左パーツとがそれぞれ回転する回転中心に関する情報を有し、
    前記構成パーツ調整手段は、
    前記目パーツ及び前記眉パーツのそれぞれに対して、前記基本似顔絵イラストデータにおける顔領域に対する大きさ及び位置に加えて、前記左右間隔及び前記回転中心を中心とした回転角度を調整可能に構成した
    請求項1に記載の似顔絵イラスト作成システム。
  3. 前記構成パーツを、
    少なくとも、顔面輪郭パーツ、髪型パーツ、口パーツ、鼻パーツ、目パーツ、及び眉パーツで構成し、
    前記目パーツ及び前記眉パーツは、
    右パーツと左パーツとで構成するともに、該右パーツと該左パーツとの左右間隔情報と、該右パーツと該左パーツとがそれぞれ回転する回転中心に関する情報を有し、
    前記構成パーツ調整手段は、
    前記髪型パーツ、前記口パーツ及び前記鼻パーツのそれぞれに対して、前記顔面輪郭パーツに対する大きさ及び位置を調整可能に構成するとともに、
    前記目パーツ及び前記眉パーツのそれぞれに対しては、前記顔面輪郭パーツに対する大きさ及び位置に加えて、左右の間隔及び前記回転中心を中心とした回転角度を調整可能に構成した
    請求項1に記載の似顔絵イラスト作成システム。
  4. 前記イラスト作成希望顔写真データから認識された前記似顔絵イラスト作成希望顔における頭髪部分である頭髪領域の形状を認識する頭髪形状認識手段と、
    該頭髪形状認識手段によって認識された頭髪形状に基づいて形状認識髪型パーツを作成する形状認識髪型パーツ作成手段とを備え、
    前記髪型パーツの代わりに前記形状認識髪型パーツを用いて作成似顔絵イラストデータを作成する
    請求項3に記載の似顔絵イラスト作成システム。
  5. 前記イラスト作成希望顔写真データから認識した前記似顔絵イラスト作成希望顔及び前記基本顔写真データの前記基本顔のそれぞれの顔領域における前記頭髪領域を除く顔面領域を抽出する顔面領域抽出手段を備え、
    前記近似基本顔写真抽出手段を、
    前記似顔絵イラスト作成希望顔における顔面領域と、基本顔の顔面領域とをマッチングして近似度の高い前記基本顔写真データを抽出する構成とした
    請求項1乃至4のうちいずれかに記載の似顔絵イラスト作成システム。
  6. 似顔絵イラストに与える影響に基づいて、前記構成パーツを重み付けする重み付け手段を備え、
    前記構成パーツ調整手段を、
    前記構成パーツ相違点算出手段によって算出された前記相違点における相違量が所定量を超える構成パーツが複数有る場合に、前記重み付け手段による重みに応じて前記構成パーツを調整する構成とした
    請求項1乃至5のうちいずれかに記載の似顔絵イラスト作成システム。
  7. 前記近似基本顔写真抽出手段が抽出した前記基本顔写真データと前記イラスト作成希望顔写真データとの近似度を算出する近似度算出手段と、
    該近似度算出手段が算出した前記近似度が所定近似度を超えているか判断する近似度判定手段とを備えるとともに、
    前記基本顔写真データ格納手段に新たな基本顔写真データとして格納する前記イラスト作成希望顔写真データ、及び、前記基本似顔絵イラストデータ格納手段に新たな基本似顔絵イラストデータとして格納する作成似顔絵イラストデータと関連付けて前記近似度を格納する実績近似度格納手段と、
    該実績近似度格納手段に格納された、所定数以上の前記近似度に応じて前記所定近似度を更改する所定近似度更改手段を備えた
    請求項1乃至6のうちいずれかに記載の似顔絵イラスト作成システム。
  8. 似顔絵イラストを作成したい利用者の利用者端末からの前記イラスト作成希望顔写真データを、電気通信回線を介して受信するイラスト作成希望顔写真データ受信手段を備え、
    前記作成似顔絵イラスト出力手段を、
    前記利用者端末に対して、前記作成似顔絵イラストデータを送信する作成似顔絵イラストデータ送信手段で構成した
    請求項1乃至7のうちいずれかに記載の似顔絵イラスト作成システム。
  9. 請求項1乃至8のうちいずれかに記載の似顔絵イラスト作成システムで作成した前記作成似顔絵イラストデータに基づいて、似顔絵イラストを作成した利用者のキャラクタであるキャラクタ情報を作成するキャラクタ作成手段を備えた
    キャラクタ作成システム。
  10. 請求項1乃至8のうちいずれかに記載の似顔絵イラスト作成システムで作成した前記作成似顔絵イラストデータを、所望の対象物に表示させるイラスト表示手段を備えた
    作成似顔絵イラスト表示システム。
JP2010549506A 2009-02-05 2010-02-04 似顔絵イラスト作成システム、キャラクタ作成システム及び作成似顔絵イラスト表示システム Expired - Fee Related JP5292415B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010549506A JP5292415B2 (ja) 2009-02-05 2010-02-04 似顔絵イラスト作成システム、キャラクタ作成システム及び作成似顔絵イラスト表示システム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009024940 2009-02-05
JP2009024940 2009-02-05
PCT/JP2010/051612 WO2010090259A1 (ja) 2009-02-05 2010-02-04 似顔絵イラスト作成システム、キャラクタ作成システム及び作成似顔絵イラスト表示システム
JP2010549506A JP5292415B2 (ja) 2009-02-05 2010-02-04 似顔絵イラスト作成システム、キャラクタ作成システム及び作成似顔絵イラスト表示システム

Publications (2)

Publication Number Publication Date
JPWO2010090259A1 JPWO2010090259A1 (ja) 2012-08-09
JP5292415B2 true JP5292415B2 (ja) 2013-09-18

Family

ID=42542151

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010549506A Expired - Fee Related JP5292415B2 (ja) 2009-02-05 2010-02-04 似顔絵イラスト作成システム、キャラクタ作成システム及び作成似顔絵イラスト表示システム

Country Status (3)

Country Link
US (1) US8600101B2 (ja)
JP (1) JP5292415B2 (ja)
WO (1) WO2010090259A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9013489B2 (en) * 2011-06-06 2015-04-21 Microsoft Technology Licensing, Llc Generation of avatar reflecting player appearance
US9552376B2 (en) * 2011-06-09 2017-01-24 MemoryWeb, LLC Method and apparatus for managing digital files
JP5949030B2 (ja) * 2012-03-26 2016-07-06 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
JP5949331B2 (ja) 2012-08-30 2016-07-06 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
US9129148B1 (en) 2012-11-09 2015-09-08 Orbeus Inc. System, method and apparatus for scene recognition
US9286685B2 (en) 2013-07-25 2016-03-15 Morphotrust Usa, Llc System and method for creating a virtual backdrop
US9286508B2 (en) 2013-07-25 2016-03-15 Morphotrust Usa, Llc System and method for creating a virtual backdrop
US20150317511A1 (en) * 2013-11-07 2015-11-05 Orbeus, Inc. System, method and apparatus for performing facial recognition
CN115461784A (zh) * 2021-02-18 2022-12-09 株式会社Live2D 推导模型构建方法、推导模型构建装置、程序、记录介质、构成装置以及构成方法
WO2023139961A1 (ja) * 2022-01-21 2023-07-27 株式会社Nttドコモ 情報処理装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1153386A (ja) * 1997-08-06 1999-02-26 Omron Corp 画像検索システム、画像検索方法及び画像検索プログラム記録媒体
JPH1185953A (ja) * 1997-09-09 1999-03-30 Omron Corp 似画像作成装置、似画像作成方法および似画像作成プログラム記録媒体
JP2001292305A (ja) * 2000-02-02 2001-10-19 Casio Comput Co Ltd 画像データ合成装置、画像データ合成システム、画像データ合成方法及び記録媒体
JP2003203221A (ja) * 2002-01-09 2003-07-18 Minolta Co Ltd 画像変換装置および画像変換プログラム
JP2005032163A (ja) * 2003-07-11 2005-02-03 Nec Commun Syst Ltd 顔照合システム
JP2008310636A (ja) * 2007-06-15 2008-12-25 Attec:Kk 顔類似検索システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5537662A (en) * 1992-05-29 1996-07-16 Casio Computer Co., Ltd. Electronic montage composing apparatus
US5572656A (en) * 1993-06-01 1996-11-05 Brother Kogyo Kabushiki Kaisha Portrait drawing apparatus having image data input function
JP3551668B2 (ja) * 1996-12-20 2004-08-11 オムロン株式会社 似顔絵送信装置、似顔絵通信装置及び方法
JP2002175538A (ja) * 2000-12-08 2002-06-21 Mitsubishi Electric Corp 似顔絵生成装置及び似顔絵生成方法及び似顔絵生成プログラムを記録した記録媒体及び通信用端末及び通信用端末による通信方法
US6845171B2 (en) * 2001-11-19 2005-01-18 Microsoft Corporation Automatic sketch generation
JP3911527B2 (ja) * 2002-01-17 2007-05-09 富士通株式会社 携帯端末、携帯端末処理用プログラム及び携帯端末システム
US7483553B2 (en) * 2004-03-29 2009-01-27 Microsoft Corporation Caricature exaggeration
US8437514B2 (en) * 2007-10-02 2013-05-07 Microsoft Corporation Cartoon face generation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1153386A (ja) * 1997-08-06 1999-02-26 Omron Corp 画像検索システム、画像検索方法及び画像検索プログラム記録媒体
JPH1185953A (ja) * 1997-09-09 1999-03-30 Omron Corp 似画像作成装置、似画像作成方法および似画像作成プログラム記録媒体
JP2001292305A (ja) * 2000-02-02 2001-10-19 Casio Comput Co Ltd 画像データ合成装置、画像データ合成システム、画像データ合成方法及び記録媒体
JP2003203221A (ja) * 2002-01-09 2003-07-18 Minolta Co Ltd 画像変換装置および画像変換プログラム
JP2005032163A (ja) * 2003-07-11 2005-02-03 Nec Commun Syst Ltd 顔照合システム
JP2008310636A (ja) * 2007-06-15 2008-12-25 Attec:Kk 顔類似検索システム

Also Published As

Publication number Publication date
JPWO2010090259A1 (ja) 2012-08-09
WO2010090259A1 (ja) 2010-08-12
US20110280485A1 (en) 2011-11-17
US8600101B2 (en) 2013-12-03

Similar Documents

Publication Publication Date Title
JP5292415B2 (ja) 似顔絵イラスト作成システム、キャラクタ作成システム及び作成似顔絵イラスト表示システム
AU2016208357B2 (en) Method and system to create custom products
WO2019134560A1 (zh) 搭配模型构建方法、服饰推荐方法、装置、介质及终端
EP3513761B1 (en) 3d platform for aesthetic simulation
CN109310196B (zh) 化妆辅助装置以及化妆辅助方法
CN107844781A (zh) 人脸属性识别方法及装置、电子设备及存储介质
WO2020211387A1 (zh) 电子合同显示方法、装置、电子设备及计算机存储介质
US7827412B2 (en) Content presenting method
TW202109359A (zh) 人臉圖像處理方法、圖像設備及儲存介質
CN110148191B (zh) 视频虚拟表情生成方法、装置及计算机可读存储介质
CN104951770B (zh) 人脸图像数据库的构建方法、应用方法及相应装置
CN109640787A (zh) 测量瞳孔距离的系统与方法
CN108227925A (zh) 一种坐姿调整的方法、装置、设备及存储介质
CN113327191A (zh) 人脸图像合成方法及装置
JP4183536B2 (ja) 人物画像処理方法及び装置並びにシステム
KR102330833B1 (ko) 성형 큐레이션 서비스 방법
JP2007052733A (ja) 顔画像判定装置および顔画像判定方法
JP2024500224A (ja) ヘアスタイリング分析の方法および装置
KR20220079274A (ko) 인공 신경망을 이용한 안경 추천 기능이 포함된 안경 착용 시뮬레이션 방법
JP4345440B2 (ja) 輪郭判断装置及び輪郭判断方法
US20240108280A1 (en) Systems, device, and methods for curly hair assessment and personalization
US20240112492A1 (en) Curl diagnosis system, apparatus, and method
JP7378743B2 (ja) 情報処理システム、情報処理方法およびプログラム
US20240112491A1 (en) Crowdsourcing systems, device, and methods for curly hair characterization
CN112017758B (zh) 情感识别方法、装置、情感识别系统以及分析决策终端

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130610

R150 Certificate of patent or registration of utility model

Ref document number: 5292415

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees