JP6757297B2 - 画像表示方法 - Google Patents

Description

本発明の実施形態は、画像表示方法に関する。

美容室ならびに理容室は、着席したユーザの正面に鏡が据え付けられている。施術者は、鏡を介してユーザの髪型を確認しながら施術を行う。しかしながら、従来の美容室や理髪店は、ユーザが髪型のイメージを口頭で伝える必要があり、ユーザが好む髪型を的確に施術者に伝えることが難しい。

上述の懸念に対して、鏡と透明ディスプレイ一体になった鏡型ディスプレイと、画像入力部と、画像データを記憶する画像記憶部と、を備える画像表示装置が知られている。この画像表示装置の鏡型ディスプレイは、現在の画像と過去のユーザの双方がユーザの視覚に入るようにされている。現在の画像とともに表示される過去の画像は、過去の画像と現在の画像との外見的特徴を基に抽出される。しかしながら、この画像表示装置を美容室ならびに理容室に適用すると、来店した際の現在の画像と過去の画像が必ずしも一致せず、ユーザの望む過去の画像が表示されない可能性がある。従って、髪型が異なる場合でも過去の髪型を含む画像を適切に判別して、現在の髪型を過去の髪型に置換して表示する画像表示方法が求められている。

特許第５４３４２５０号公報 特許第４４７３７５４号公報

本発明の実施形態は、現在の髪型を過去の髪型に置換して表示する画像表示方法を提供する。

上記の課題を達成するために、実施形態の画像表示方法は、１以上のユーザに対して、髪型及び顔面を含む過去の画像を記憶する画像データベースと、画像データベース中の過去の画像ごとに対応する顔面の特徴ベクトルを記憶する特徴ベクトルデータベースとを備えた画像システムにおいて、髪型及び顔面を含むユーザの現在の画像を入力し、現在の画像からユーザの顔面の特徴ベクトルを算出し、特徴ベクトルと、特徴ベクトルデータベースに記憶された過去の特徴ベクトルとの類似度を算出し、類似度が閾値以上の場合、過去の特徴ベクトルに対応付いた過去の画像を画像データベースから選別し、選別された過去の画像から、髪型に対応する部分画像を抽出し、現在の画像の髪型を過去の画像の髪型に対応する部分画像で置換して表示する。

第１の実施形態の画像表示方法の概要を示す図。 第１の実施形態に係る画像表示方法を実行する画像表示システムを示すブロック図。 第１の実施形態に係る画像表示方法の髪型を部分画像に置換して表示するフローチャートを示す図。 第１の実施形態に係る画像表示方法で用いる記憶部に画像を記憶するフローチャートを示す図。

以下、実施形態に係る画像表示方法について図１、図２、並びに図３を用いて説明する。図１は、第１の実施形態の画像表示方法の概要を示す図であり、図２は、画像表示システムを示すブロック図であり、図３は、実施形態に係る画像表示方法のフローチャートである。

（第１の実施形態）
本実施形態に係る画像表示システムは、入力された現在の画像（図１（ａ））を自動認識して類似する画像を選別し（図１（ｂ））、選別した画像の髪型（部分画像）を抽出して（図１（ｃ））、ユーザ端末１０上で現在の画像の髪型と置換して表示する（図１（ｄ））。

図２に示すように、本実施形態に係る画像表示システムは、ユーザ端末１０と画像処理サーバ２０とを含む。ユーザ端末１０は、画像入力部１５と、表示部１６と、端末側送受信部１７を含む。

画像入力部１５は、例えばカメラといった撮影機器を指し、ユーザ端末１０に髪型及び顔面を含むユーザの現在の画像（画像Ａとする）を、入力する。ここで、現在の画像とは、ユーザがある現在時刻ｔにおいて、画像入力部１５から入力された画像である。

表示部１６は、画像Ａを表示するにあたり、現在の髪型を画像処理サーバ２０から送信された髪型（画像Ｄとする）に置換して表示する。この際、画像処理サーバ２０から送信された画像Ｄの位置や大きさを調整する。

端末側送受信部１７は、画像Ａを画像処理サーバ２０へ送信する一方で、画像処理サーバ２０から出力された画像Ｄを受信する。

画像処理サーバ２０は、サーバ側送受信部２５と、画像処理部３０と、記憶部４０を含む。

記憶部４０は、画像ＤＢ４１と、特徴ベクトルＤＢ４２を含む。画像ＤＢ４１は、あらかじめ、たとえばｉ番目（ｉ＝１，２、・・・、I)の画像Ｃを含むユーザの過去の画像を記憶する。Iとは、画像ＤＢ４１内に保存されている特定のユーザの画像の数でもよいし、複数のユーザの画像の総数でもよい。特徴ベクトルＤＢ４２は、これら過去の画像に対応するそれぞれの特徴ベクトルαi（i＝１，２、・・・、I)を記憶する。

サーバ側送受信部２５は、端末側送受信部１７と互いに画像を送受信する。

画像処理部３０は、画像解析部３１と、特徴ベクトル算出部３２と、類似度選別部３３と、髪型抽出部３４を含む。画像解析部３１は、サーバ側送受信部２５から送信された画像Ａを解析し、その一部、たとえば顔面だけを抽出する（抽出された画像を画像Ｂとする）。特徴ベクトル算出部３２は画像Ｂの特徴ベクトルαｂを算出する。

類似度選別部３３は、特徴ベクトル算出部３２が算出した特徴ベクトルαｂと、特徴ベクトルＤＢ４２に記憶された特徴ベクトルαi（ｉ＝１，２、・・・、Ｉ)との間の類似度Ｈｉ（i＝１，２、・・・、I)を算出する。

また、類似度選別部３３は類似度Ｈｉ（ｉ＝１，２、・・・、Ｉ)のそれぞれあらかじめ定めた閾値ＨＯと比較して、類似するかどうかを判別する。

類似度選別部３３は、類似すると判別した類似度Ｈｉに対応する画像Ｃを選別するように、髪型抽出部３４に指示する。画像Ｃは、保存された年月が最新のものでもよいし、直近３か月のものでもよい。

髪型抽出部３４は、記憶部４０から、類似すると判別した類似度Ｈｉに対応する画像Ｃを取り出して、髪型の部分領域のみ抽出して画像Ｄを生成し、サーバ側送受信部２５に送信する。

次に、図２を用いて画像表示システム１が現在の画像Ａの髪型を、過去の画像Ｃの部分画像Ｄに置換して表示するまでのフローを詳細に説明する。

画像表示システム１は、２つの動作モードが存在する。

まず、図２を用いて、画像Ａの髪型を画像Ｄに置換して表示する第1の動作モードを説明する。

Ｓ１…画像入力部１５は、外部からの信号を介してユーザ端末１０とユーザが対峙したことを検出した後に、画像Ａを入力する。画像入力部１５は、例えばカメラといった撮影機器を示し、少なくとも画像を撮影できればよい。画像入力部１５から入力された画像Ａは、画像入力部１５から端末側送受信部１７を介して画像処理サーバ２０のサーバ側送受信部２５へ送信される。

Ｓ２…サーバ側送受信部２５は、受信した画像Ａを画像解析部３１へ送信する。画像解析部３１は、画像Ａの画像認識を行った後に、画像Ａの顔面を抽出して画像Ｂを生成する。画像Ｂは、画像解析部３１から特徴ベクトル抽出部３２へ送信される。なお、画像認識とは、画像Ａの髪型や目、鼻等の各部位の位置関係を認識することである。

Ｓ３…特徴ベクトル抽出部３２は、画像Ｂの特徴点を検出し、画像Ｂの特徴ベクトルαｂを算出する。算出した特徴ベクトルαｂは、類似度選別部３３へ送信される。

Ｓ４…類似度選別部３３は、受信した特徴ベクトルαｂと、特徴ベクトルＤＢ４２に保存された特徴ベクトルαi（i＝１，２、・・・、I）との間の類似度Ｈｉを算出する。類似度の算出は、例えばαｂおよびαiの内積を算出すればよい。

なお、特徴ベクトルＤＢ４２に保存された特徴ベクトルαiは、i番目の画像Cについてあらかじめ算出しておいたもので、特徴ベクトル算出部３２が算出する特徴ベクトルと同じである。

Ｓ５…類似度選別部３３は、あらかじめ設定された類似度の閾値（Ｈ０とする）と、類似度Ｈｉを比較して画像Ｂと類似する過去の画像を選別する。本実施形態では、Ｈｉ≧Ｈ０の関係が成り立つ場合に「類似する」と評価できるとする。類似度選別部３３が「類似する」と評価した場合、つまりＨｉ≧Ｈ０の関係が成り立つ場合、類似度選別部３３は、任意の特徴ベクトルαiの内、閾値を超える特徴ベクトルαiに対応付けされた画像Ｃを髪型抽出部３４へ送信するよう指示する信号を画像ＤＢ４１へ送信する。一方、類似度選別部３３が「類似しない」と評価した場合、類似度選別部３３は、αｂと他の特徴ベクトルαiとの類似度を継続して算出する。このようにして、たとえば、閾値ＨＯを超えるものが複数ある場合には、もっとも大きいものを「類似する」と判別してもよいし、または複数個を「類似する」と判別してもよい。

なお、最終的に、閾値を超える特徴ベクトルαiが存在しない（Ｈｉ＜Ｈ０）、または類似度ＤＢ４２に特徴ベクトルαｉが保存されていない場合、類似度選別部３３は、サーバ側送受信部２５ならびに端末側送受信部１７を介して、表示部１６に「類似画像なし」と表示させるよう指示する画像を送信する。

Ｓ６…髪型抽出部３４は、「類似する」と評価された画像Ｃを複数の領域に分割し、髪型の領域のみの部分画像を抽出して画像Ｄを生成する。このように生成された画像Ｄは、サーバ側送受信部２５ならびに端末側送受信部１７を介して、表示部１６に送信される。

Ｓ７…表示部１６は、受信した画像Ｄの位置や大きさを調整し、画像Ａの髪型を画像Ｄに置換して表示する。ユーザが表示部１６をみて、過去の髪型画像Ｄへの施術を希望する場合には、そのように施術することができる。

次に、図３を用いて、施術完了後の髪型を含む画像を記憶部４０に記憶させる第２の動作モードを説明する。たとえば、施術完了後、美容室または理容室のユーザに対して、今回施術した髪型が気に入ったならば画像を保存してもよいか問い合わせし、ユーザが了解すれば、施術後の髪型を含む画像を新規に記憶部に記憶しておくことにより、ユーザが次回美容室または理容室を訪れた際の過去の画像として当該画像を選択することができるようになる。

Ｓ１１…施術後、画像入力部１５は、ユーザの施術後の髪型を含む画像Ａ１を入力する。画像入力部１５から入力された画像Ａ１は、画像入力部１５から端末側送受信部１７を介して画像処理サーバ２０のサーバ側送受信部２５へ送信される。

Ｓ１２…サーバ側送受信部２５は、受信した画像Ａ１を画像解析部３１および画像ＤＢ４１へ送信する。画像解析部３１は、画像Ａ１の顔面を抽出して画像Ｂ１を生成する。画像Ｂ１は、画像解析部３１から特徴ベクトル抽出部３２へ送信される。

Ｓ１３…特徴ベクトル抽出部３２は、画像Ｂ１の特徴点を検出し、画像Ｂの特徴ベクトルαI+1を算出する。算出した特徴ベクトルαI+1は、特徴ベクトルＤＢ４２へ送信される。

Ｓ１４…記憶部４０は、I+1番目の過去画像として画像Ａ１を画像ＤＢ４１に記憶し、また画像Ｂ１の特徴ベクトルベクトルαI+1を特徴ベクトルＤＢ４２に記憶する。

これにより、記憶部４０には新たな画像を追加して記憶するため、ユーザが選別可能な画像が増える。上述した２つの動作モードを繰り返していくことで、記憶部４０には、過去の画像及び特徴ベクトルが次第に蓄積していく。

上述した本実施形態によれば、画像表示システムは、記憶部に保存された過去のユーザの画像から、顔面の特徴ベクトルを抽出・比較して特徴ベクトルが近い画像を特定し、過去の画像の髪型のみを抽出し、表示部に現在の画像の髪型を過去の髪型に置換して表示する。このように、以前にユーザが美髪、理髪を受けたときの仕上がり画像が記憶されており、その画像を使用しながら今回所望する髪型のイメージを視覚的に伝えれば、言葉で伝えるよりもより的確に伝えることができる。

（第２の実施形態）
主に第１の実施形態と異なる点を説明する。

第１の実施形態に係る画像表示システムは、類似度選別部３３が、類似すると判別した複数の画像Ｃの内、自動で１つ選別して髪型抽出部３４に指示するのに対して、本実施形態に係る画像表示システムは、類似度選別部３３が、類似すると判別した複数の画像Ｃの内、ユーザが選別して髪型抽出部３４に指示することができる。そのため、ユーザの特徴ベクトルに近い別のユーザやモデルの髪型を選別することも可能となる。

具体的には、類似度選別部３３は、Ｈｉ≧Ｈ０の関係が成り立ち、類似すると判別された複数のαｉに対応付いた複数の画像Ｃをユーザに表示部１６を介して表示する。ユーザは、表示された複数の画像Ｃの中で選択して、その髪型を表示する。

上述したようにユーザの特徴ベクトルに近い別のユーザやモデルの髪型を選別して表示部１６に表示すれば、ユーザが似合う可能性のある別の髪型を提案することができる。そのため、美容師、理容師の提案の幅やユーザの選択の幅が広がる。

以上、本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、説明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０・・ユーザ端末、１５・・画像入力部、１６・・表示部、１７・・端末側送受信部、２０・・画像処理サーバ、２５・・サーバ側送受信部、３０・・画像処理部、３１・・画像解析部、３２・・特徴ベクトル算出部、３３・・類似度選別部、３４・・髪型抽出部、４０・・記憶部、４１・・画像ＤＢ、４２・・特徴ベクトルＤＢ

Claims (2)

1. １以上のユーザに対して、髪型及び顔面を含む過去の画像を記憶する画像データベースと、
   前記画像データベース中の前記過去の画像ごとに対応する顔面の特徴ベクトルを記憶する特徴ベクトルデータベースとを備えた画像システムにおいて、
   髪型及び顔面を含むユーザの現在の画像を入力し、
   前記現在の画像から前記ユーザの顔面の特徴ベクトルを算出し、
   当該特徴ベクトルと、前記特徴ベクトルデータベースに記憶された過去の特徴ベクトルとの類似度を算出し、
   前記類似度が閾値以上の場合、前記過去の特徴ベクトルに対応付いた過去の画像を前記画像データベースから選別し、
   選別された前記過去の画像から、髪型に対応する部分画像を抽出し、
   前記現在の画像の髪型を前記過去の画像の髪型に対応する部分画像で置換して表示する画像表示方法。
2. 前記現在の画像を前記画像データベースに追加するともに、前記現在の画像に関して計算した特徴ベクトルを対応づけて前記特徴ベクトルデータベースに追加する、請求項１に記載の画像表示方法。