JP6204315B2 - 似顔絵画像生成装置、似顔絵画像生成方法及び似顔絵画像生成プログラム - Google Patents

Description

本発明は、似顔絵画像を生成する技術に関する。

現在では、テレビ電話やビデオチャットを利用してコミュニケーションを行うことができる。しかし、プライバシー問題やセキュリティ問題、相手に顔が見られたくない、恥ずかしい、怖いなどの心理的な障壁が存在し、とりわけ第三者との間ではあまり利用されていない。

そこで、人の顔をそのまま再現するのではなく、人の顔に類似した似顔絵画像を表示して行うコミュニケーション方法がある。入力された人や背景の映像をモノクロ線画に変換し、その線画映像を相手端末の画面に表示することにより、プライバシーやセキュリティの問題を回避できる。

米村、外５名、"線画映像を用いてプライバシー保護に配慮したビジュアルサポートシステム"、画像電子学会誌、第39巻、第4号、2010年、p.481-489

しかしながら、線画映像を表示するため、下記の課題がある。第一に、人の外面（形や大きさ）をそのまま線に置き換えるため、似顔絵に特徴的なデフォルメが表現されておらず、利用者に興味を持たせることが難しい。第二に、いつも同じ画風の似顔絵が表示されるため、利用者が飽きてしまい継続して利用することが難しい。第三に、人の外面をそのまま線に置き換えるため、相手の内面性を伝えることが難しい。

本発明は、上記事情を鑑みてなされたものであり、遠隔地間でのコミュニケーションの質を改善することを目的とする。

以上の課題を解決するため、請求項１に記載の似顔絵画像生成装置は、顔の部位が撮影された画像の特徴量を算出する算出手段と、入力キーワードに対応する複数の画像の各特徴量を算出し、記憶手段に記憶させる算出手段と、算出された前者の特徴量と後者の各特徴量との類似度に基づき、前記入力キーワードに対応する複数の画像から画像を選択する選択手段と、前記顔の部位が撮影された画像を前記選択された画像で置換する置換手段と、を有することを要旨とする。

本発明によれば、顔の部位が撮影された画像の特徴量を算出し、入力キーワードに対応する複数の画像の各特徴量を算出し、算出された前者の特徴量と後者の各特徴量との類似度に基づき、入力キーワードに対応する複数の画像から画像を選択し、顔の部位が撮影された画像を当該選択された画像で置換するため、遠隔地間で行われるユーザ同士のコミュニケーションの質を向上できる。

請求項２に記載の似顔絵画像生成装置は、請求項１に記載の似顔絵画像生成装置において、前記入力キーワードは、利用者の発話を音声認識して得られた単語又は利用者のテキストに含まれる単語の使用頻度に基づき決定されることを要旨とする。

本発明によれば、入力キーワードは、利用者の発話を音声認識して得られた単語又は利用者のテキストに含まれる単語の使用頻度に基づき決定されるため、利用者の内面にある興味を可視化でき、より深いコミュニケーションを実現できる。

請求項３に記載の似顔絵画像生成装置は、請求項１又は２に記載の似顔絵画像生成装置において、顔の部位毎に類似度の閾値を設定可能であって、前記置換手段は、前記顔の部位に対する類似度の閾値に基づき置換するかを判定することを要旨とする。

本発明によれば、顔の部位毎に類似度の閾値を設定可能であって、顔の部位に対する類似度の閾値に基づき置換するかを判定するため、顔の再認性を考慮した似顔絵画像を生成でき、より深いコミュニケーションを実現できる。

請求項４に記載の似顔絵画像生成方法は、コンピュータにより、顔の部位が撮影された画像の特徴量を算出する算出ステップと、入力キーワードに対応する複数の画像の各特徴量を算出し、記憶手段に記憶させる算出ステップと、算出された前者の特徴量と後者の各特徴量との類似度に基づき、前記入力キーワードに対応する複数の画像から画像を選択する選択ステップと、前記顔の部位が撮影された画像を前記選択された画像で置換する置換ステップと、を有することを要旨とする。

請求項５に記載の似顔絵画像生成方法は、請求項４に記載の似顔絵画像生成方法において、前記入力キーワードは、利用者の発話を音声認識して得られた単語又は利用者のテキストに含まれる単語の使用頻度に基づき決定されることを要旨とする。

請求項６に記載の似顔絵画像生成方法は、請求項４又は５に記載の似顔絵画像生成方法において、顔の部位毎に類似度の閾値を設定可能であって、前記置換ステップでは、前記顔の部位に対する類似度の閾値に基づき置換するかを判定することを要旨とする。

請求項７に記載の似顔絵画像生成プログラムは、コンピュータに、顔の部位が撮影された画像の特徴量を算出する手順と、入力キーワードに対応する複数の画像の各特徴量を算出し、記憶手段に記憶させる手順と、算出された前者の特徴量と後者の各特徴量との類似度に基づき、前記入力キーワードに対応する複数の画像から画像を選択する手順と、前記顔の部位が撮影された画像を前記選択された画像で置換する手順と、を実行させることを要旨とする。

本発明によれば、遠隔地間でのコミュニケーションの質を向上できる。

似顔絵画像生成装置の機能ブロック構成を示す図である。 顔パーツのイラスト画像の収集処理フローを示す図である。 似顔絵画像の生成処理フローを示す図である。

本発明は、似顔絵画像の自動生成装置を提供する。異なる２地点以上でテレビ電話やビデオチャット等の動画又は静止画を介したコミュニケーションを行う際に、利用者の顔に類似した似顔絵画像を用いる。従来のようにモノクロ線画に置換するのではなく、下記の４つの特徴を用いて似顔絵画像を生成する。

第１の特徴は、人の外面（形や大きさ）をそのまま線に置き換えるのではなく、顔の各パーツ（例えば、目、鼻、口など）の形と大きさに類似した既存の異なる対象物（例えば、果物、文房具など）の画像を用いて似顔絵を生成する。以降、この画像の例として二次元で描かれたイラスト画像を用いる。

第２の特徴は、コミュニケーションを行う度に異なるイラストや異なる組み合わせのイラスト群を用いて似顔絵を生成する。

第３の特徴は、形や大きさのみで人の外見を似せるだけでなく、利用者の内面を反映させた似顔絵を生成する。つまり、利用者にとって興味のある自然物や人工物を含む様々な物で似顔絵を構成する。

第４の特徴は、顔の再認性を考慮した顔の各パーツの重要度に基づき顔の各パーツに重みを定義しておき、顔の各パーツについてイラスト画像と撮像画像との類似を判定する際に当該重みを閾値として利用する。この第４の特徴について引き続き詳述する。

似顔絵画像を生成する場合、できる限り利用者の顔に似た似顔絵を生成することが重要である。そこで、人間の顔の再認に関する特性を用いて顔の各パーツに重みを定義する。顔の再認に関する一つの研究結果によれば、「輪郭」を変えると顔の再認が妨げられ、続いて「目」，「口」の順に再認が難しくなる。それに対し鼻の違いは顔の再認にはほとんど影響しない。また、顔の各パーツの配置バランスも重要である。そこで、例えば、「輪郭」，「目」，「髪型」，「口」，「眉毛」，「鼻」，「耳」の順に小さくなる重みをそれぞれ定め、類似度の閾値として顔の各パーツに定義する。そして、予め収集していたイラスト画像とコミュニケーション開始時等に入力された顔の撮像画像との類似度を顔のパーツ毎にそれぞれ算出し、定義していた類似度の閾値に基づきイラスト画像に置き換えるか否かを判定する。閾値が低いパーツであれば撮像画像との類似度が低くてもイラスト画像に置き換え、閾値が高いパーツは撮像画像との類似度が高い場合にのみ置き換える。なお、顔の再認性については、例えば「Exploring recognition with interchanged facial features」（England、Perception、1986年、volume15(3)、p.235-247）を参照されたい。

以下、本発明を実施する一実施の形態について図面を用いて説明する。図１は、本実施の形態に係る似顔絵画像生成装置１の機能ブロック構成を示す図である。似顔絵画像生成装置１は、イラスト画像を収集するクローラ部１１と、利用者の顔の画像を入力する入力部１２と、顔の撮像画像をイラスト画像に置換する処理部１３と、置換後の似顔絵画像を出力する出力部１４と、を備えて構成される。これら各部の機能について引き続き詳述する。

クローラ部１１は、インターネット上の蓄積データ群からイラスト画像を収集し、顔パーツの置換候補として内部のデータベースに蓄積するように構成されている。例えば果物や文房具といった様々な物のイラスト画像を収集する。興味情報取得部１１ａでは、利用者のＩＤを入力とし、そのＩＤを元に利用者の関心の高い単語をインターネットから取得する。顔パーツ画像取得部１１ｂでは、興味情報取得部１１ａで取得された利用頻度の高い単語を入力とし、その単語に関連するイラスト画像をインターネットから取得する。顔パーツ特徴点抽出部１１ｃでは、顔パーツ画像取得部１１ｂで取得されたイラスト画像を入力とし、そのイラスト画像内で顔パーツに似た部分の認識を行い、その部分のイラスト画像の特徴量を算出する。顔パーツ画像データベース１１ｄでは、顔パーツ特徴点抽出部１１ｃで認識されたイラスト画像を顔パーツの置換候補として特徴量に関連付けて記憶する。

入力部１２は、Ｗｅｂカメラ等の撮像装置を用いて人の顔を撮影し、その撮像画像を取得するように構成されている。

処理部１３は、入力部１２で取得された人の顔の撮像画像を、クローラ部１１で収集していた顔パーツのイラスト画像で置換するように構成されている。例えば顔画像の口をバナナで置換した似顔絵画像を生成する。顔パーツ認識部１３ａでは、入力部１２で取得された人の顔の撮像画像から顔の各パーツを認識して取得し、各パーツの撮像画像の特徴量をそれぞれ算出する。顔パーツ画像選択部１３ｂでは、顔パーツ認識部１３ａで認識された顔の各パーツの撮像画像とクローラ部１１に蓄積されていた顔パーツのイラスト画像との類似度を特徴量を用いて算出し、人の顔の各パーツに類似した特徴を持つイラスト画像をクローラ部１１から選択する。似顔絵画像生成部１３ｃでは、顔パーツ認識部１３ａで認識された顔の各パーツを、顔パーツ画像選択部１３ｂで選択された顔パーツのイラスト画像で置換した似顔絵画像を生成する。

出力部１４は、処理部１３で生成された似顔絵画像を画面に出力するように構成されている。

次に、似顔絵画像を生成する処理動作を説明する。最初に、顔パーツのイラスト画像を収集する処理動作を説明する。図２は、顔パーツのイラスト画像の収集処理フローを示す図である。この処理はクローラ部１１で行われる。

まず、ステップＳ１０１において、興味情報取得部１１ａは、利用者により入力された利用者ＩＤを元に、その利用者の関心の高い単語をインターネットから取得する。例えば、音声認識で得られた利用者の文章、利用者自身が入力した文章、利用者の音声、利用者のＳＮＳ（Social Networking Service）に記載されたテキスト情報等から、利用者の発言頻度の高い単語を決定し抽出する。利用者の使用頻度が高い単語のように利用者の関心が高い単語であればその単語を取得する手段は問わない。

次に、ステップＳ１０２において、顔パーツ画像取得部１１ｂは、取得された利用頻度の高い単語に関連するイラスト画像をインターネットから取得する。例えば、利用頻度の高い単語が「茄子」の場合、その単語を検索キーワードとして検索ウェブサイトに入力して画像検索を行い、似顔絵画像の生成に必要な顔パーツとなるイラスト画像の候補を収集する。

次に、ステップＳ１０３において、顔パーツ特徴点抽出部１１ｃは、取得されたイラスト画像内で顔パーツに似た部分の認識を行う。例えば、テンプレートマッチング等を用いてイラスト画像の中から顔の各パーツの形と大きさに似た部分を取得する。顔のパーツとは、例えば、「輪郭」，「目」，「髪型」，「口」，「口髭」，「眉毛」，「鼻」，「耳」等である。その他、「ホクロ」，「眼鏡」，「頬」，「シミ」，「そばかす」等も考えられる。顔の中に含まれる構成要素であればこれらに限定されない。テンプレートマッチングでは、「輪郭」，「目」，「髪型」，「口」，「眉毛」，「鼻」，「耳」等の各エッジ画像を入力として、エッジ画像内の形と大きさが類似する部分をイラスト画像から取得する。例えば、顔のパーツと成り得るイラスト画像がスマートフォンの場合、スマートフォンのボタンの形が丸く、目の形と似ていればそのボタンは目の候補として認識する。

次に、ステップＳ１０４において、顔パーツ特徴点抽出部１１ｃは、認識した部分の特徴点を抽出し、ヒストグラムを作成する。例えばＨＯＧ特徴量やＳＨＩＦＴ特徴量等を用いて目の候補として認識されたイラスト画像の特徴点を抽出する。また、例えば「ｂａｇ ｏｆ ｗｏｒｄｓ」等を用いて特徴点のヒストグラムを生成する。なお、ヒストグラムは処理部１３で画像間の類似度を計算するために利用するものであり、類似度を計算できればヒストグラム以外を用いてもよい。

最後に、ステップＳ１０５において、顔パーツ画像データベース１１ｄは、顔パーツとして認識された部分のイラスト画像を顔パーツの置換候補として記憶し、その特徴点及びヒストグラムを関連付けて記憶する。

以上、顔パーツのイラスト画像を収集する処理動作を説明した。上記の処理は、ボタンのクリックといった利用者の何らかの行動に基づいて実行してもよいし、１日１回自動で定期的に繰り返し実行してもよい。

続いて、似顔絵画像を生成する処理動作を説明する。図３は、似顔絵画像の生成処理フローを示す図である。この処理は処理部１３で行われる。

まず、ステップＳ２０１において、顔パーツ認識部１３ａは、入力部１２で取得された人の顔の撮像画像から、ＯｐｅｎＣＶ（Open Source Computer Vision Library）等を用いて顔の各パーツを取得し、その各パーツについて「位置」と「形」，「色」，「明るさ」等の特徴点を抽出する。具体的には、ＯｐｅｎＣＶを用いて顔の中の「目」を取得すると、目の表示領域の左上と右上の座標を取得できる。次に、ＨＯＧ特徴量やＳＨＩＦＴ特徴量等を用いて、その表示領域中の「目」の「明るさ」といった特徴点を抽出する。なお、特徴点の抽出種別は他にあってもよい。また、顔の各パーツとは、前述したように「輪郭」，「目」，「髪型」，「口」，「口髭」，「眉毛」，「鼻」，「耳」等である。その他、「ホクロ」，「眼鏡」，「頬」等も考えられ、顔のパーツの中で抽出するものはこれらに限定されない。また、上記に挙げた全ての各パーツを取得できなくてもよい。

次に、ステップＳ２０２において、顔パーツ画像選択部１３ｂは、顔パーツ認識部１３ａで取得された人の顔の各パーツに類似した特徴を持つ顔パーツのイラスト画像を顔パーツ画像データベース１１ｄから選択する。その際、顔の各パーツの特徴点を用いて顔の各パーツの撮像画像とイラスト画像間の類似度を計算する。例えば「ｂａｇ ｏｆ ｗｏｒｄｓ」等を用いて撮像画像の特徴点のヒストグラムを生成し、距離関数を用いてイラスト画像のヒストグラムとの類似度をパーツ毎に算出する。また、例えば、「目」，「輪郭」，「髪型」，「口」，「眉毛」，「鼻」，「耳」の順に次第に小さくなる類似度の閾値を顔の各パーツに定義しておき、その閾値に基づきイラスト画像を選択するかしないかを判定する。具体的には、その閾値が低い顔のパーツほど、撮像画像との類似度が低くてもイラスト画像を選択する。逆に閾値が高い顔のパーツは、撮像画像との類似度が高い場合にのみイラスト画像を選択する。

最後に、ステップＳ２０３において、似顔絵画像生成部１３ｃは、顔パーツ認識部１３ａで認識された顔の各パーツの「位置」に、顔パーツ画像選択部１３ｂで選択された顔パーツのイラスト画像を配置する。各パーツはどの順番で配置されてもよく、顔の各パーツの全てに配置されなくてもよい。

以上、似顔絵画像を生成する処理動作を説明した。その後、出力部１４により、合成された似顔絵画像は、ディスプレイ等、電子ペーパーなどを表示可能な表示装置に表示される。利用者がテレビ電話やビデオチャット等を行う毎に上記の処理が実行され、過去に使用したイラスト画像や、過去に表示したパーツ間でのイラスト画像の組み合わせを利用しないことにより、コミュニケーションを行う度に異なる似顔絵画像を生成する。

以上より、本実施の形態によれば、顔の各パーツの形と大きさに類似したイラスト画像を用いて似顔絵画像を生成するので、利用者の顔の外見に似せた似顔絵画像を表示でき、遠隔地間で行われるユーザ同士のコミュニケーションの質を向上できる。

また、本実施の形態によれば、コミュニケーションを行う度に異なるイラスト画像や異なる組み合わせのイラスト画像を用いて似顔絵画像を生成するので、毎回異なる組み合わせのイラストの似顔絵画像を表示でき、利用者が飽きずに継続してテレビ電話等のコミュニケーション手段を使用できる。

また、本実施の形態によれば、利用者の顔のパーツが撮影された撮像画像の特徴量を算出し、入力キーワードに対応する複数のイラスト画像の各特徴量を算出し、算出された前者の特徴量と後者の各特徴量との類似度に基づき、入力キーワードに対応する複数のイラスト画像から所定のイラスト画像を選択し、利用者の顔の部位が撮影された撮像画像を当該選択されたイラスト画像で置換するので、遠隔地間で行われるユーザ同士のコミュニケーションの質をより向上できる。

また、本実施の形態によれば、上記入力キーワードは、利用者の発話を音声認識して得られた単語や利用者のテキストに含まれる単語の使用頻度に基づき決定されるので、似顔絵を描く対象の人物と関係の深いイラスト画像が用いられることから、利用者の顔の外見を似せるだけでなく、利用者の内面も反映した似顔絵画像を生成でき、より深いコミュニケーションを実現できる。

また、本実施の形態によれば、顔のパーツ毎に類似度の閾値を設定可能であって、顔のパーツに対する類似度の閾値に基づき置換するかを判定するので、顔の再認性を考慮した似顔絵画像を生成でき、より深いコミュニケーションを実現できる。

最後に、本実施の形態で説明した似顔絵画像生成装置１をプログラムとして構築し、コンピュータにインストールして実行させることや、通信ネットワークを介して流通させることも可能である。

１…似顔絵画像生成装置
１１…クローラ部
１１ａ…興味情報取得部
１１ｂ…顔パーツ画像取得部
１１ｃ…顔パーツ特徴点抽出部
１１ｄ…顔パーツ画像データベース
１２…入力部
１３…処理部
１３ａ…顔パーツ認識部
１３ｂ…顔パーツ画像選択部
１３ｃ…似顔絵画像生成部
１４…出力部
Ｓ１０１〜Ｓ１０５、Ｓ２０１〜Ｓ２０３…ステップ

Claims (6)

1. 顔の部位が撮影された画像の特徴量を算出する算出手段と、
   入力キーワードに対応する複数の画像の各特徴量を算出し、記憶手段に記憶させる算出手段と、
   算出された前者の特徴量と後者の各特徴量との類似度に基づき、前記入力キーワードに対応する複数の画像から画像を選択する選択手段と、
   前記顔の部位が撮影された画像を前記選択された画像で置換する置換手段と、を有し、
   前記入力キーワードは、
   利用者の発話を音声認識して得られた単語又は利用者のテキストに含まれる単語の使用頻度に基づき決定されることを特徴とする似顔絵画像生成装置。
2. 顔の部位が撮影された画像の特徴量を算出する算出手段と、
   入力キーワードに対応する複数の画像の各特徴量を算出し、記憶手段に記憶させる算出手段と、
   算出された前者の特徴量と後者の各特徴量との類似度に基づき、前記入力キーワードに対応する複数の画像から画像を選択する選択手段と、
   前記顔の部位が撮影された画像を前記選択された画像で置換する置換手段と、を有し、
   顔の部位毎に類似度の閾値を設定可能であって、
   前記置換手段は、
   前記顔の部位に対する類似度の閾値に基づき置換するかを判定することを特徴とする似顔絵画像生成装置。
3. コンピュータにより、
   顔の部位が撮影された画像の特徴量を算出する算出ステップと、
   入力キーワードに対応する複数の画像の各特徴量を算出し、記憶手段に記憶させる算出ステップと、
   算出された前者の特徴量と後者の各特徴量との類似度に基づき、前記入力キーワードに対応する複数の画像から画像を選択する選択ステップと、
   前記顔の部位が撮影された画像を前記選択された画像で置換する置換ステップと、を有し、
   前記入力キーワードは、
   利用者の発話を音声認識して得られた単語又は利用者のテキストに含まれる単語の使用頻度に基づき決定されることを特徴とする似顔絵画像生成方法。
4. コンピュータにより、
   顔の部位が撮影された画像の特徴量を算出する算出ステップと、
   入力キーワードに対応する複数の画像の各特徴量を算出し、記憶手段に記憶させる算出ステップと、
   算出された前者の特徴量と後者の各特徴量との類似度に基づき、前記入力キーワードに対応する複数の画像から画像を選択する選択ステップと、
   前記顔の部位が撮影された画像を前記選択された画像で置換する置換ステップと、を有し、
   顔の部位毎に類似度の閾値を設定可能であって、
   前記置換ステップでは、
   前記顔の部位に対する類似度の閾値に基づき置換するかを判定することを特徴とする似顔絵画像生成方法。
5. コンピュータに、
   顔の部位が撮影された画像の特徴量を算出する手順と、
   入力キーワードに対応する複数の画像の各特徴量を算出し、記憶手段に記憶させる手順と、
   算出された前者の特徴量と後者の各特徴量との類似度に基づき、前記入力キーワードに対応する複数の画像から画像を選択する手順と、
   前記顔の部位が撮影された画像を前記選択された画像で置換する手順と、を実行させ、
   前記入力キーワードは、
   利用者の発話を音声認識して得られた単語又は利用者のテキストに含まれる単語の使用頻度に基づき決定されることを特徴とする似顔絵画像生成プログラム。
6. コンピュータに、
   顔の部位が撮影された画像の特徴量を算出する手順と、
   入力キーワードに対応する複数の画像の各特徴量を算出し、記憶手段に記憶させる手順と、
   算出された前者の特徴量と後者の各特徴量との類似度に基づき、前記入力キーワードに対応する複数の画像から画像を選択する手順と、
   前記顔の部位が撮影された画像を前記選択された画像で置換する手順と、を実行させ、
   顔の部位毎に類似度の閾値を設定可能であって、
   前記置換する手順では、
   前記顔の部位に対する類似度の閾値に基づき置換するかを判定することを特徴とする似顔絵画像生成プログラム。

Images