JP7031009B2 - アバター生成装置およびコンピュータプログラム - Google Patents

Description

以下の説明は、人間の顔を利用した動物形状のアバターを生成する方法およびシステムに関し、より詳細には、人間の顔が含まれたイメージを分析して人間の顔に対応する動物形状のアバターを自動で生成するアバター生成方法、アバター生成方法を実行するコンピュータ装置、コンピュータと結合してアバター生成方法をコンピュータに実行させるためにコンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラムとその記録媒体に関する。

アバター（ａｖａｔａｒ）とは、サイバー空間でユーザの分身を表す視覚的イメージであって、コミュニティーサイト、インターネットチャット、ショッピングモール、オンラインゲームなどでユーザの代わりに表示される仮想グラフィックキャラクタを意味する。例えば、韓国公開特許第１０－２００７－００３６８５７号公報は、ユーザ基盤のアバター生成方法に関するものであって、３Ｄスキャナによってユーザをスキャンしてパターンデータを生成し、生成されたパターンデータを利用してユーザの３Ｄアバターイメージを生成する技術を開示している。

韓国公開特許第１０－２００７－００３６８５７号公報

本願の課題は、人間の顔が含まれたイメージを分析して人間の顔に対応する動物形状のアバターを自動で生成するアバター生成方法、アバター生成方法を実行するコンピュータ装置、コンピュータと結合してアバター生成方法をコンピュータに実行させるためにコンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラムとその記録媒体などを提供することである。

動物の顔を含む多数の動物イメージそれぞれに対し、前記動物の顔を数値化した第１測定値集合を生成する段階、前記多数の動物イメージから得られる動物分類ごとに対応する第１測定値集合をデータベースに記録する段階、前記動物分類ごとに基本モデルを生成する段階、人間の顔を数値化した第２測定値集合を受信して前記データベースに記録された第１測定値集合と比較することにより、前記人間の顔に対応する動物分類を決定する段階、前記決定された動物分類に対応して生成された基本モデルを確認する段階、および前記人間の顔に対応する動物形状のアバターを提供するために、前記確認された基本モデルを前記人間の顔に対応させて処理する段階を含む、アバター生成方法を提供する。

一側面によると、前記第１測定値集合は、前記動物の顔に対する顔構成要素として予め定義された特徴それぞれに対して予め定義された測定項目ごとに測定値を抽出することにより生成されてよく、前記第２測定値集合は、前記人間の顔に対する顔構成要素として、前記特徴それぞれに対して前記測定項目ごとに測定値を抽出することにより生成されてよい。

他の側面によると、前記第１測定値集合を生成する段階は、ディープラーニングモデルを利用して前記多数の動物イメージを分析し、前記多数の動物イメージそれぞれが含む動物を分類して前記動物分類を決定する段階を含んでよい。

また他の側面によると、前記基本モデルを生成する段階は、前記データベースに同じ動物分類と連係されて記録された第１測定値集合で互いに対応する要素の平均値を計算し、前記計算された平均値の集合に基づいて前記基本モデルを生成してよい。

また他の側面によると、前記動物分類を決定する段階は、前記第２測定値集合を前記データベースに記録された第１測定値集合と順に比較し、類似度が高い順にｍ個の測定値集合に対応するｎ（ｎは自然数）個の動物分類を決定する段階を含んでよく、前記基本モデルを確認する段階は、前記ｎ個の動物分類それぞれに対して生成されたｎ個の基本モデルを確認してよい。

また他の側面によると、前記確認されたｎ個の基本モデルを合成することによって最終モデルが生成されてよい。

さらに他の側面によると、前記確認された基本モデルを前記人間の顔に対応させて処理する段階は、前記確認された基本モデルに該当する数値を前記第２測定値集合に基づいて修正し、前記確認された基本モデルを前記人間の顔に合わせてカスタマイズしてよい。

ユーザ端末からネットワークを介して人間の顔が含まれたイメージを受信する段階、前記イメージに含まれた人間の顔を数値化して第１測定値集合を生成する段階、前記第１測定値集合を分析サーバに伝達する段階、動物イメージを分析して動物の顔を数値化することによって生成された第２測定値集合が動物分類ごとに記録されたデータベースと前記伝達された第１測定値集合に基づいて選択された動物分類に対する基本モデルを前記分析サーバから受信する段階、および前記人間の顔に対応する動物形状のアバターを提供するために、前記基本モデルまたは前記基本モデルによって生成される最終モデルを前記ユーザ端末と共有する段階を含む、アバター生成方法を提供する。

人間の顔が含まれたイメージを生成または選択する段階、前記選択されたイメージをネットワークを介してサーバに送信する段階、前記イメージが含む人間の顔を数値化して生成された第１測定値集合と動物イメージが含む動物の顔を数値化して生成された第２測定値集合との比較によって選択された動物モデルを前記サーバから受信する段階、および前記受信した動物モデルをレンダリングして生成された動物アバターを画面に表示する段階を含む、アバター生成方法を提供する。

コンピュータと結合して前記制御方法をコンピュータに実行させるためにコンピュータ読み取り可能な記録媒体に記録された、コンピュータプログラムを提供する。

前記制御方法をコンピュータに実行させるためのプログラムが記録されている、コンピュータ読み取り可能な記録媒体を提供する。

コンピュータ装置で読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサにより、動物の顔を含む多数の動物イメージそれぞれに対して前記動物の顔を数値化した第１測定値集合を生成し、前記多数の動物イメージから得られる動物分類ごとに対応する第１測定値集合をデータベースに記録し、前記動物分類ごとに基本モデルを生成し、人間の顔を数値化した第２測定値集合を受信して前記データベースに記録された第１測定値集合と比較することによって前記人間の顔に対応する動物分類を決定し、前記決定された動物分類に対応して生成された基本モデルを確認し、前記人間の顔に対応する動物形状のアバターを提供するために、前記確認された基本モデルを前記人間の顔に対応させて処理する、コンピュータ装置を提供する。

コンピュータ装置で読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサにより、ユーザ端末からネットワークを介して人間の顔が含まれたイメージを受信し、前記イメージに含まれた人間の顔を数値化して第１測定値集合を生成し、前記第１測定値集合を分析サーバに伝達し、動物イメージを分析して動物の顔を数値化することによって生成された第２測定値集合が動物分類ごとに記録されたデータベースと前記伝達された第１測定値集合によって選択された動物分類に対する基本モデルを前記分析サーバから受信し、前記人間の顔に対応する動物形状のアバターを提供するために、前記基本モデルまたは前記基本モデルによって生成される最終モデルを前記ユーザ端末と共有する、コンピュータ装置を提供する。

コンピュータ装置で読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサにより、人間の顔が含まれたイメージを生成または選択する段階、前記選択されたイメージをネットワークを介してサーバに送信する段階、前記イメージが含む人間の顔を数値化して生成された第１測定値集合と動物イメージが含む動物の顔を数値化して生成された第２測定値集合との比較によって選択された動物モデルを前記サーバから受信する段階、および前記受信した動物モデルをレンダリングして生成された動物アバターを画面に表示する、コンピュータ装置を提供する。

人間の顔が含まれたイメージを分析して、人間の顔に対応する動物形状のアバターを自動で生成することができる。

本発明の一実施形態における、ネットワーク環境の例を示した図である。 本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。 本発明の一実施形態における、アバター生成過程の例を示したフローチャートである。 本発明の一実施形態における、イメージを数値化する例を示した図である。 本発明の一実施形態における、イメージを数値化する例を示した図である。 本発明の一実施形態における、モデル合成過程の例を示した図である。

以下、本発明の実施形態について、添付の図面を参照しながら詳しく説明する。

本発明の実施形態に係る制御方法は、以下で説明する電子デバイスのようなコンピュータ装置によって実現されてよい。このとき、コンピュータ装置においては、本発明の一実施形態に係るコンピュータプログラムがインストールされて実行されてよく、コンピュータ装置は、実行されるコンピュータプログラムの制御にしたがって本発明の実施形態に係る制御方法を実行してよい。上述したコンピュータプログラムは、コンピュータ装置と結合して前記制御方法をコンピュータに実行させるためにコンピュータ読み取り可能な記録媒体に記録されてよい。

図１は、本発明の一実施形態における、ネットワーク環境の例を示した図である。図１のネットワーク環境は、複数の電子デバイス１１０、１２０、１３０、１４０、複数のサーバ１５０、１６０、およびネットワーク１７０を含む例を示している。このような図１は、発明の説明のための一例に過ぎず、電子デバイスの数やサーバの数が図１のように限定されることはない。

複数の電子デバイス１１０、１２０、１３０、１４０は、コンピュータ装置によって実現される固定端末や移動端末であってよい。複数の電子デバイス１１０、１２０、１３０、１４０の例としては、スマートフォン、携帯電話、ナビゲーション、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型パンコン、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、タブレットなどがある。一例として、図１では、電子デバイス１（１１０）の例としてスマートフォンを示しているが、本発明の実施形態において、電子デバイス１（１１０）は、実質的に無線または有線通信方式を利用し、ネットワーク１７０を介して他の電子デバイス１２０、１３０、１４０および／またはサーバ１５０、１６０と通信することのできる多様な物理的なコンピュータ装置のうちの１つを意味してよい。

通信方式が限定されることはなく、ネットワーク１７０が含むことのできる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網）を利用する通信方式だけではなく、デバイス間の近距離無線通信が含まれてもよい。例えば、ネットワーク１７０は、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。さらに、ネットワーク１７０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター－バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の１つ以上を含んでもよいが、これに限定されることはない。

サーバ１５０、１６０それぞれは、複数の電子デバイス１１０、１２０、１３０、１４０とネットワーク１７０を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する１つ以上のコンピュータ装置によって実現されてよい。例えば、サーバ１５０は、ネットワーク１７０を介して接続した複数の電子デバイス１１０、１２０、１３０、１４０にサービス（一例として、コンテンツ提供サービス、ソーシャルネットワークサービス、メッセージングサービス、検索サービス、メールサービスなど）を提供するシステムであってよい。

上述した図１では、サーバとクライアントの通信環境の例について説明しているが、これは一実施形態に過ぎず、本発明の実施形態に係る制御方法は、複数の電子デバイス１１０、１２０、１３０、１４０それぞれで個別に実行されてもよい。例えば、図１の実施形態に係る制御方法は、電子デバイス１１０がサーバ１５０からコンテンツの提供を受けてメディアプレイヤで再生する場合についての説明であってよい。他の実施形態では、電子デバイス１１０がサーバ１５０とは通信せず、電子デバイス１１０のローカル保存場所に保存されたコンテンツをメディアプレイヤで再生する場合を含んでよい。

図２は、本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。上述した複数の電子デバイス１１０、１２０、１３０、１４０それぞれやサーバ１５０、１６０それぞれは、図２に示したコンピュータ装置２００によって実現されてよい。例えば、コンピュータ装置２００においては、一実施形態に係るコンピュータプログラムがインストールされて実行されてよく、コンピュータ装置は、実行されるコンピュータプログラムの制御にしたがって本発明の一実施形態に係る音源再生共有方法を実行してよい。

このようなコンピュータ装置２００は、図２に示すように、メモリ２１０、プロセッサ２２０、通信インタフェース２３０、および入力／出力インタフェース２４０を含んでよい。メモリ２１０は、コンピュータ読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびディスクドライブのような永続的大容量記録装置を含んでよい。ここで、ＲＯＭやディスクドライブのような永続的大容量記録装置は、メモリ２１０とは区分される別の永続的記録装置としてコンピュータ装置２００に含まれてもよい。また、メモリ２１０には、オペレーティングシステムと、少なくとも１つのプログラムコードが記録されてよい。このようなソフトウェア構成要素は、メモリ２１０とは別のコンピュータ読み取り可能な記録媒体からメモリ２１０にロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピードライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信インタフェース２３０を通じてメモリ２１０にロードされてもよい。例えば、ソフトウェア構成要素は、ネットワーク１７０を介して受信されるファイルによってインストールされるコンピュータプログラムに基づいてコンピュータ装置２００のメモリ２１０にロードされてよい。

プロセッサ２２０は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ２１０または通信インタフェース２３０によって、プロセッサ２２０に提供されてよい。例えば、プロセッサ２２０は、メモリ２１０のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。

通信インタフェース２３０は、ネットワーク１７０を介してコンピュータ装置２００が他の装置（一例として、上述した記録装置）と互いに通信するための機能を提供してよい。一例として、コンピュータ装置２００のプロセッサ２２０がメモリ２１０のような記録装置に記録されたプログラムコードにしたがって生成した要求や命令、データ、ファイルなどが、通信インタフェース２３０の制御にしたがってネットワーク１７０を介して他の装置に伝達されてよい。これとは逆に、他の装置からの信号や命令、データ、ファイルなどが、ネットワーク１７０を経てコンピュータ装置２００の通信インタフェース２３０を通じてコンピュータ装置２００に受信されてよい。通信インタフェース２３０を通じて受信された信号や命令、データなどは、プロセッサ２２０やメモリ２１０に伝達されてよく、ファイルなどは、コンピュータ装置２００がさらに含むことのできる記録媒体（上述した永続的記録装置）に記録されてよい。

入力／出力インタフェース２４０は、入力／出力装置２５０とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボード、またはマイクなどの装置を、出力装置は、ディスプレイ、スピーカのような装置を含んでよい。他の例として、入力／出力インタフェース２４０は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置２５０は、コンピュータ装置２００と１つの装置で構成されてもよい。

また、他の実施形態において、コンピュータ装置２００は、図２の構成要素よりも少ないか多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、コンピュータ装置２００は、上述した入力／出力装置２５０のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、データベースなどのような他の構成要素をさらに含んでもよい。

図３は、本発明の一実施形態における、アバター生成方法の例を示したフローチャートである。図３の実施形態に係るアバター生成方法は、ユーザ端末３１０、フロントサーバ３２０、および分析サーバ３３０によって実行される全体的な過程の例を示している。ここで、ユーザ端末３１０は、上述した複数の電子デバイス１１０、１２０、１３０、１４０のうちのいずれか１つのように、アバター生成方法のためのコンピュータプログラムがインストールされて実行される物理的な装置に対応してよく、フロントサーバ３２０と分析サーバ３３０は、上述したサーバ１５０、１６０に対応してよい。上述したように、複数の電子デバイス１１０、１２０、１３０、１４０それぞれとサーバ１５０、１６０それぞれは、図２で説明したコンピュータ装置２００によって実現されてよい。実施形態によって、フロントサーバ３２０と分析サーバ３３０は、１つの物理的な装置によって実現されてもよいし、フロントサーバ３２０および／または分析サーバ３３０が互いに連係する２つ以上の物理的な装置によって実現されてもよい。

段階３１１で、ユーザ端末３１０は、イメージを生成または選択してよい。例えば、ユーザ端末３１０は、ユーザ端末３１０に含まれるカメラによってイメージをキャプチャするか、またはユーザ端末３１０に含まれるローカル保存場所に保存されたイメージからユーザが選択したイメージを確認してよい。

段階３１２で、ユーザ端末３１０は、イメージをアップロードしてよい。例えば、ユーザ端末３１０は、段階３１１で生成または選択されたイメージを、ネットワーク１７０を介してフロントサーバ３２０に送信してよい。

より具体的な例として、ユーザ端末３１０は、ユーザ端末３１０においてインストールされて実行されたアプリケーションの制御にしたがい、カメラを駆動させてイメージをキャプチャするための機能、またはユーザ端末３１０のローカル保存場所に保存されたイメージから少なくとも１つを選択するための機能をユーザに提供してよく、このような機能を利用して生成または選択されるイメージをフロントサーバ３２０にアップロードしてよい。

段階３２１で、フロントサーバ３２０は、イメージを数値化してよい。例えば、フロントサーバ３２０は、ユーザ端末３１０から受信したイメージを分析し、イメージが含む人間の顔に対する顔構成要素を数値化してよい。数値化は、一例として、顔構成要素として予め定義された特徴それぞれに対して予め定義された測定項目ごとに測定値を抽出する形態で実現されてよい。より具体的な例として、顔構成要素として予め定義された特徴は、目、鼻、口、顔型などから選択されてよく、予め定義された測定項目は、面積、割合、角度、長さなどから選択されてよい。実施形態によって、１つの特徴が１つ以上の細部特徴で構成されてもよい。例えば、特徴「目」は、「左目」と「右目」の細部特徴で構成されてもよいし、「左目」、「左目尻」、「右目」、および「右目尻」などの細部特徴で構成されてもよい。このとき、特徴（または細部特徴）に対して要求される測定項目は、面積、割合、および角度のようにすべて同じ測定項目を含んでもよいが、実施形態によっては要求される測定項目が異なってもよい。例えば、特徴「目」に対しては幅と高さが、細部特徴「左目尻」に対しては角度が、特徴として要求されてよい。測定項目として算出される測定値は、物理的な単位の実際値よりは、基準に沿った相対的な値として測定されてよい。例えば、目の幅や目と目の間の距離は、顔の幅に対する相対的な値で計算されてよく、目の高さは、顔の長さに対する相対的な値で計算されてよい。測定値は、特徴／測定項目ごとに抽出された多数の値の集合（以下、「測定値集合」）を形成してよい。

段階３２２で、フロントサーバ３２０は、測定値を分析サーバ３３０に伝達してよい。例えば、フロントサーバ３２０は、段階３２１でイメージを数値化することによって抽出される測定値集合を、分析サーバ３３０に送信してよい。

段階３３１で、分析サーバ３３０は、動物イメージを数値化してよい。例えば、分析サーバ３３０は、段階３２１でフロントサーバ３２０がイメージに含まれた人間の顔を数値化する方式と同じ方式により、イメージに含まれた動物の顔を数値化してよい。例えば、分析サーバ３３０は、顔構成要素として予め定義された動物の顔の特徴それぞれに対して予め定義された測定項目ごとに測定値を抽出して測定値集合を生成する形態により、動物イメージに対する数値化を実現してよい。また、動物イメージが含む動物の種類を分類するために、ディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）が活用されてよい。例えば、分析サーバ３３０は、入力される動物イメージを分析して動物イメージに含まれた動物の種類を分類するように学習されたＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）のようなディープラーニングモデルにより、多数の動物イメージそれぞれから導き出される動物の分類を生成してよい。

段階３３２で、分析サーバ３３０は、データベースを構築してよい。例えば、分析サーバ３３０は、上述したディープラーニングによって動物イメージが含む動物を分類し、動物分類ごとに抽出された測定値集合を記録するようにデータベースを構築してよい。

段階３３３で、分析サーバ３３０は、分類された動物ごとに基本モデルを生成してよい。例えば、犬、猫、うさぎなどのような動物ごとに基本モデルが生成されてよい。動物がより具体的に分類される場合には、同じ種類の動物が細部種類に分けられてもよい。例えば、犬の場合、犬の多様な種類に応じて細部分類が行われる場合には、それぞれの細部分類ごとに基本モデルが生成されてよい。また、子犬と成犬のような細部分類ごとに基本モデルが生成されてもよい。一例として、基本モデルは、データベースに記録された測定値集合に基づいて生成されてよい。１つの動物分類に対してデータベースに２つ以上の測定値集合が記録されている場合には、２つ以上の測定値集合において互いに対応する要素の平均値を計算し、計算された平均値の集合に基づいて基本モデルが生成されてよい。

このような段階３３１～３３３は、上述した段階３１１、３１２、３２１、３２２と並列的に実行されてよく、上述した段階３１１、３１２、３２１、３２２の開始前にデータベースが予め構築されて基本モデルが生成されてよい。

段階３３４で、分析サーバ３３０は、基本モデルを選択してよい。例えば、分析サーバ３３０は、フロントサーバ３２０から受信した測定値集合をデータベースに記録された測定値集合と順に比較していき、最も類似するｍ（ｍは自然数）個の測定値集合を決定してよく、このようなｍ個の測定値集合に対応するｎ（ｎはｍ以下の自然数）個の動物分類を決定してよい。言い換えれば、分析サーバ３３０は、人間の顔を数値化した測定値集合を受信し、データベースに記録された測定値集合と比較することにより、人間の顔に対応する動物分類を決定してよい。ｍ個の測定値集合に同じ動物分類に対応する２つ以上の測定値集合が存在する場合には、該当の２つ以上の測定値集合に対して１つの動物分類が決定されるため、決定される動物分類の数は、決定される測定値集合の数と同じであるか少ない。また、分析サーバ３３０は、決定されたｎ個の動物分類に対応するｎ個の基本モデルを選択してよい。実施形態によって、分析サーバ３３０は、測定値集合が最も類似する１つの測定値集合にしたがって１つの基本モデルを選択および提供してもよく、ｎ個の基本モデルを選択および提供してフロントサーバ３２０やユーザ端末３１０がｎ個の基本モデルから１つを選択するようにしてもよく、以下で説明する実施形態のように、ｎ個の基本モデルを合成して新たな動物モデルを生成してもよい。

段階３３５で、分析サーバ３３０は、基本モデルをカスタマイズしてよい。言い換えれば、分析サーバ３３０は、人間の顔に対応する動物形状のアバターを提供するために確認された基本モデルを、人間の顔に対応させて処理してよい。例えば、分析サーバ３３０は、フロントサーバ３２０から受信した測定値集合によって基本モデルの顔構成要素の項目ごとに値を調節することにより、基本モデルを目標とする人間の顔に合わせてカスタマイズしてよい。言い換えれば、目標とする人間の顔特徴を基本モデルに適用させるのである。このとき、段階３３４で選択されたｎ個の基本モデルそれぞれがカスタマイズされてよく、カスタマイズされたｎ個の基本モデルはフロントサーバ３２０に伝達されてよい。

また、実施形態によって、カスタマイズは、フロントサーバ３２０で実行されてもよい。例えば、段階３３４で、分析サーバ３３０は、選択されたｎ個の基本モデルをフロントサーバ３２０に送信してよく、フロントサーバ３２０がｎ個の基本モデルそれぞれを段階３３１で計算された数値を基にしてカスタマイズしてよい。この場合、フロントサーバ３２０は、人間の顔を数値化した測定値集合によって基本モデルに該当する数値を修正することにより、基本モデルを人間の顔に合うようにカスタマイズしてよい。

段階３２３で、フロントサーバ３２０は、最終モデルを生成してよい。一実施形態として、フロントサーバ３２０は、カスタマイズされたｎ個の基本モデルを互いに合成した、まったく新しい動物モデルを最終モデルとして生成してよい。他の実施形態として、フロントサーバ３２０は、単にｎ個の基本モデルそれぞれを最終モデルとして生成してもよい。一方、カスタマイズされたｎ個の基本モデルは、最終モデルの生成に使用されるだけでなく、その測定値集合とともにデータベースに記録され、以後に他のアバターを生成するときに使用されてもよい。

段階３２４で、フロントサーバ３２０は、最終モデルを共有してよい。例えば、フロントサーバ３２０は、最終モデルをネットワーク１７０を介してユーザ端末３１０に送信し、生成された最終モデルを共有してよい。言い換えれば、フロントサーバ３２０は、人間の顔に対応する動物形状のアバターを提供するために、基本モデルまたは基本モデルによって生成される最終モデルをユーザ端末３１０と共有してよい。例えば、カスタマイズや合成が適用されていない場合には、基本モデルをユーザ端末３１０に提供してよく、カスタマイズや合成が適用された場合には、カスタマイズや合成が適用された最終モデルをユーザ端末３１０に提供してよい。

段階３１３で、ユーザ端末３２０は、最終モデルをレンダリングしてよい。例えば、ユーザ端末３２０は、フロントサーバ３２０から動物モデルを受信してよく、モデリングされた動物モデルを画面に実際に表示するための作業を処理してよい。言い換えれば、ユーザ端末３２０は、モデリングによって最終的に生成されたグラフィック要素を画面に表示することにより、段階３１１で生成または選択されたイメージに含まれたユーザの顔に対応する動物アバターを生成および表示することができるようになる。一方、実施形態によって、ユーザ端末３２０は、レンダリングの前に、上述したアプリケーションの制御にしたがい、最終モデルをもう一度カスタマイズする機能をユーザに提供してもよい。この場合、ユーザは、提供される機能を利用して最終モデルの顔立ちなどをユーザの思いのままに修正してよく、最終的に修正された動物モデルがユーザ端末３２０によってレンダリングされて画面に表示されてよい。

このように、本実施形態に係るアバター生成方法により、人間の顔が含まれたイメージを分析して、人間の顔に対応する動物形状のアバターを自動で生成することができる。このとき、生成される動物形状のアバターは、単に予め生成されている動物アバターのテンプレートにユーザの表情などを適用するのではなく、ユーザの顔と類似する動物を見つけ出し、該当の動物形状のアバターが自動で生成されるサービスを提供することができる。

また、生成された動物アバターは、多様なポーズや表情、他の効果との結合により、複数のスタンプイメージを含むスタンプパッケージを生成するために利用されてよい。一方、ユーザ端末３１０で１つのイメージではない一例として、カメラに入力される連続的なフレームがフロントサーバ３２０に伝達される場合、フロントサーバ３２０は、連続的なフレームそれぞれから抽出される測定値集合を最終モデルに順に適用することにより、ユーザの顔の表情や行動がリアルタイムで動物アバターに適用されるサービスを提供してもよい。このように、自動で生成される動物アバターは、多様なサービスに活用することができる。

図４および図５は、本発明の一実施形態における、イメージを数値化する例を示した図である。

図４は、動物イメージの数値化の例として、「うさぎ」の顔が含まれた第１イメージ４１０、「猫」の顔が含まれた第２イメージ４２０、および「犬」の顔が含まれた第３イメージ４３０において、特徴である目、鼻、口、顔型それぞれに対し、項目として面積、割合、および回転（角度）それぞれに対する値を含む測定値集合を抽出した例を示している。このような第１イメージ４１０から抽出された測定値集合は表１（４４０）のように、第２イメージ４２０から抽出された測定値集合は表２（４５０）のように、第３イメージ４３０から抽出された測定値集合は表３（４６０）のように示されてよく、それぞれの動物分類と連係されてデータベースに記録されてよい。

このような図４では、１つの動物に対して１つの測定値集合が抽出された例を示しているが、上述したように、同じ種類の動物であっても、細部種類や、子犬と成犬などのような成長程度などによって細部分類されてよく、それぞれの動物分類ごとに複数の測定値集合が抽出されてよい。このために、分析サーバ３３０は、多数の動物イメージをディープラーニングによって分析して動物イメージの動物を分類してよく、それぞれの動物分類ごとに１つ以上の測定値集合を該当の動物分類と連係させて記録することにより、各動物分類の測定値集合に対するデータベースを構築してよい。一方、他の実施形態では、同じ動物分類に連係されてデータベースに記録された２つ以上の測定値集合が、各要素の平均値によって１つの測定値集合（以下、「平均測定値集合」）の形態で記録されてもよい。例えば、面積、割合、回転に対する項目が存在する場合、面積の平均値、割合の平均値、および回転の平均値がそれぞれ計算され、該当の動物分類に対応して記録されてよい。

また、分析サーバ３３０は、それぞれの動物分類ごとに基本モデルを生成して管理してよい。図４の例では、「うさぎ」に対応する基本モデル、「猫」に対応する基本モデル、および「犬」に対応する基本モデルが、それぞれ生成および管理されてよい。このような基本モデルは、上述したように、対応する動物分類の測定値集合または平均測定値集合に基づいて生成されてよい。

図５は、人間イメージを数値化する例として、人間の顔が含まれた第４イメージ５１０において、特徴である目、鼻、口、顔型それぞれに対し、項目として面積、割合、および回転（角度）それぞれに対する測定値を含む測定値集合を抽出した例を示している。このような測定値集合は、表４（５２０）のように抽出され、データベースに記録された測定値集合と順に比較されてよい。

このとき、分析サーバ３３０は、測定値集合の比較により、第４イメージに含まれた人間の顔と最も類似する測定値集合をもつｎ個の動物分類を決定してよく、決定されたｎ個の動物分類に対応するｎ個の基本モデルを選択してよい。選択されたｎ個の基本モデルは、分析サーバ３３０またはフロントサーバ３２０でカスタマイズされてよい。カスタマイズには、上述した表４（５２０）の測定値が活用されてよい。上述したように、カスタマイズは、ユーザの選択にしたがい、ユーザ端末３１０で追加的に行われてもよい。

基本モデルは、対応する動物分類をグラフィック的に実現するためのベクトルであってよい。上述したように、フロントサーバ３２０は、このようなベクトルの加重和によってｎ個の基本モデルを合成し、最終モデルを生成してよい。例えば、ｎが２であり、「犬」基本モデルの類似度が８０％、「猫」基本モデルの類似度が２０％と計算されたと仮定する。この場合、「犬」基本モデルに対する第１ベクトルと「猫」基本モデルに対する第２ベクトルに対し、それぞれの要素の加重和によって最終モデルに対する第３ベクトルが生成されてよい。例えば、第１ベクトルの１番目の要素がａであり、第２ベクトルの１番目の要素がｂであるとき、第３ベクトルの１番目の要素は（０．８ａ＋０．２ｂ）と計算されてよい。このとき、０．８と０．２は、類似度８０％と類似度２０％に基づいて決定された加重値であってよい。

実施形態によって、類似度が最も高い動物分類の基本モデルが、最終モデルとしてそのまま決定されてもよい。例えば、分析サーバ３３０は、図５の実施形態において第１位として選択された「犬」に対する基本モデルを最終モデルとして決定し、フロントサーバ３２０に伝達してよい。また他の実施形態において、分析サーバ３３０は、ｎ個の基本モデルそれぞれをカスタマイズしてフロントサーバ３２０に伝達し、フロントサーバ３２０がユーザ端末３１０と通信し、カスタマイズされたｎ個の基本モデルからユーザに１つを選択させるようにしてもよい。

図６は、本発明の一実施形態における、モデル合成過程の例を示した図である。図６は、図４で説明した「うさぎ」基本モデルと「猫」基本モデルが抽出されることにより、２つの基本モデルを合成する例について説明する。基本モデル「うさぎ」は、表１（４４０）に示された測定値集合によって実現されてよく、基本モデル「猫」は、表２（４５０）に示された測定値集合によって実現されてよい。このとき、ユーザの顔に対する測定値集合と表１（４４０）に示された「うさぎ」に対する測定値集合との類似度が８０％であり、ユーザの顔に対する測定値集合と表２（４５０）に示された「猫」に対する測定値集合との類似度が２０％であると仮定する。この場合、合成モデル「うさぎ＋猫」を生成するための測定値集合は、図６の表５（６１０）のように計算されてよい。このとき、フロントサーバ３２０は、計算された測定値集合に基づいて合成モデル「うさぎ＋猫」を生成し、最終モデルとしてユーザ端末３１０と共有してよい。ここで、合成モデル「うさぎ＋猫」は、図６の表５（６１０）に示された値によって新たに生成されたモデルであってよく、類似度が最も高い基本モデル「うさぎ」をベースとし、図６の表５（６１０）に示された値を適用して変形させたモデルであってもよい。

このように、本発明の実施形態によると、人間の顔が含まれたイメージを分析して、人間の顔に対応する動物形状のアバターを自動で生成することができる。

上述したシステムまたは装置は、ハードウェア構成要素、ソフトウェア構成要素、またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。前記コンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでよい。前記媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されたものであっても、コンピュータソフトウェア当業者に公知な使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を記録して実行するように特別に構成されたハードウェア装置が含まれる。このような記録媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されるのではなく、ネットワーク上に分散して存在するものであってもよい。プログラム命令の例には、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。

以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

Claims (20)

1. アバター生成装置であって、
   動物の顔を含む多数の動物イメージそれぞれに対し、前記動物の顔を数値化した第１測定値集合を生成する手段、
   前記多数の動物イメージから得られる動物分類ごとに対応する第１測定値集合をデータベースに記録する手段、
   前記動物分類ごとに基本モデルを生成する手段、
   人間の顔を数値化した第２測定値集合を受信して前記データベースに記録された第１測定値集合と比較することにより、前記人間の顔に対応する動物分類を決定する手段、
   前記決定された動物分類に対応して生成された基本モデルを確認する手段、および
   前記人間の顔に対応する動物形状のアバターを提供するために、前記確認された基本モデルを前記人間の顔に対応させて処理する手段
   を含む、アバター生成装置。
2. 前記第１測定値集合は、前記動物の顔に対する顔構成要素として予め定義された特徴それぞれに対して予め定義された測定項目ごとに測定値を抽出することにより生成され、
   前記第２測定値集合は、前記人間の顔に対する顔構成要素として、前記特徴それぞれに対して前記測定項目ごとに測定値を抽出することにより生成される、
   請求項１に記載のアバター生成装置。
3. 前記第１測定値集合を生成する手段は、
   ディープラーニングモデルを利用して前記多数の動物イメージを分析し、前記多数の動物イメージそれぞれが含む動物を分類して前記動物分類を決定する手段
   を含む、請求項１又は２に記載のアバター生成装置。
4. 前記基本モデルを生成する手段は、
   前記データベースにおいて同じ動物分類と連係されて記録された第１測定値集合で互いに対応する要素の平均値を計算し、前記計算された平均値の集合に基づいて前記基本モデルを生成する、請求項１～３のうちの何れか１項に記載のアバター生成装置。
5. 前記動物分類を決定する手段は、
   前記第２測定値集合を前記データベースに記録された第１測定値集合と順に比較し、類似度が高い順にｍ個の測定値集合に対応するｎ（ｎは自然数）個の動物分類を決定する手段
   を含み、
   前記基本モデルを確認する手段は、
   前記ｎ個の動物分類それぞれに対して生成されたｎ個の基本モデルを確認する、請求項１～４のうちの何れか１項に記載のアバター生成装置。
6. 前記確認されたｎ個の基本モデルを合成することによって最終モデルが生成される、請求項５に記載のアバター生成装置。
7. 前記確認された基本モデルを前記人間の顔に対応させて処理する手段は、
   前記確認された基本モデルに該当する数値を前記第２測定値集合に基づいて修正し、前記確認された基本モデルを前記人間の顔に合わせてカスタマイズする、請求項１～６のうちの何れか１項に記載のアバター生成装置。
8. アバター生成装置であって、
   ユーザ端末からネットワークを介して人間の顔が含まれたイメージを受信する手段、
   前記イメージに含まれた人間の顔を数値化して第１測定値集合を生成する手段、
   前記第１測定値集合を分析サーバに伝達する手段、
   動物イメージを分析して動物の顔を数値化することによって生成された第２測定値集合が動物分類ごとに記録されたデータベースと前記伝達された第１測定値集合に基づいて選択された動物分類に対する基本モデルを前記分析サーバから受信する手段、および
   前記人間の顔に対応する動物形状のアバターを提供するために、前記基本モデルまたは前記基本モデルによって生成される最終モデルを前記ユーザ端末と共有する手段
   を含む、アバター生成装置。
9. 前記第１測定値集合は、前記人間の顔に対する顔構成要素として予め定義された特徴それぞれに対して予め定義された測定項目ごとに測定値を抽出することにより生成され、
   前記第２測定値集合は、前記分析サーバにおいて、前記動物の顔に対する顔構成要素として、前記特徴それぞれに対し、前記測定項目ごとに測定値を抽出することにより生成される、請求項８に記載のアバター生成装置。
10. 前記動物分類は、前記分析サーバにおいて、前記第１測定値集合を前記データベースに記録された第２測定値集合と比較し、類似度が高い順に選択されたｍ個の第２測定値集合に対応するｎ（ｎは自然数）個の動物分類を含み、
    前記基本モデルは、前記ｎ個の動物分類それぞれに対して生成されたｎ個の基本モデルを含む、請求項８又は９に記載のアバター生成装置。
11. 前記ユーザ端末と共有する手段は、
    前記ｎ個の基本モデルを合成して前記最終モデルを生成する手段
    を含む、請求項１０に記載のアバター生成装置。
12. 前記基本モデルに対する第２測定値集合は、前記分析サーバで前記第１測定値集合を利用して修正され、
    前記基本モデルは、前記修正された第２測定値集合を利用して前記人間の顔に合わせてカスタマイズされる、請求項８～１１のうちの何れか１項に記載のアバター生成装置。
13. 前記共有する手段は、
    前記ユーザ端末においてレンダリングによって動物アバターが表現されるように、前記基本モデルまたは前記最終モデルをネットワークを介して前記ユーザ端末に送信する、請求項８～１２のうちの何れか１項に記載のアバター生成装置。
14. アバター生成方法をコンピュータに実行させるコンピュータプログラムであって、前記アバター生成方法は、
    動物の顔を含む多数の動物イメージそれぞれに対し、前記動物の顔を数値化した第１測定値集合を生成する段階、
    前記多数の動物イメージから得られる動物分類ごとに対応する第１測定値集合をデータベースに記録する段階、
    前記動物分類ごとに基本モデルを生成する段階、
    人間の顔を数値化した第２測定値集合を受信して前記データベースに記録された第１測定値集合と比較することにより、前記人間の顔に対応する動物分類を決定する段階、
    前記決定された動物分類に対応して生成された基本モデルを確認する段階、および
    前記人間の顔に対応する動物形状のアバターを提供するために、前記確認された基本モデルを前記人間の顔に対応させて処理する段階
    を含む、コンピュータプログラム。
15. アバター生成方法をコンピュータに実行させるコンピュータプログラムであって、前記アバター生成方法は、
    ユーザ端末からネットワークを介して人間の顔が含まれたイメージを受信する段階、
    前記イメージに含まれた人間の顔を数値化して第１測定値集合を生成する段階、
    前記第１測定値集合を分析サーバに伝達する段階、
    動物イメージを分析して動物の顔を数値化することによって生成された第２測定値集合が動物分類ごとに記録されたデータベースと前記伝達された第１測定値集合に基づいて選択された動物分類に対する基本モデルを前記分析サーバから受信する段階、および
    前記人間の顔に対応する動物形状のアバターを提供するために、前記基本モデルまたは前記基本モデルによって生成される最終モデルを前記ユーザ端末と共有する段階を含む、コンピュータプログラム。
16. アバター生成方法をコンピュータに実行させるコンピュータプログラムであって、
    前記アバター生成方法は、
    人間の顔が含まれたイメージを生成または選択する段階、
    前記選択されたイメージをネットワークを介してサーバに送信する段階、
    前記イメージが含む人間の顔を数値化して生成された第１測定値集合と動物イメージが含む動物の顔を数値化して生成された第２測定値集合との比較によって選択された動物モデルを前記サーバから受信する段階、および
    前記受信した動物モデルをレンダリングして生成された動物アバターを画面に表示する段階
    を含む、コンピュータプログラム。
17. 前記動物モデルは、前記第１測定値集合と前記第２測定値集合との比較によって選択された基本モデルに該当する数値を前記第２測定値集合に基づいて修正し、前記基本モデルを前記人間の顔に合わせてカスタマイズしたモデルを含む、請求項１６に記載のコンピュータプログラム。
18. 前記動物モデルは、前記第１測定値集合と前記第２測定値集合との比較によって選択されたｎ個の基本モデルを合成して生成される、請求項１６又は１７に記載のコンピュータプログラム。
19. 前記サーバは、動物の顔を含む多数の動物イメージそれぞれに対し、前記動物の顔を数値化した第２測定値集合を生成し、前記多数の動物イメージから得られる動物分類ごとに対応する前記生成された第２測定値集合を記録してデータベースを構築し、前記動物分類ごとに基本モデルを生成する、請求項１６～１８のうちの何れか１項に記載のコンピュータプログラム。
20. 前記動物モデルは、基本モデルによって生成され、
    前記基本モデルは、前記サーバにおいて、前記第２測定値集合に基づいて前記動物分類ごとに生成される、請求項１９に記載のコンピュータプログラム。

Images