JP7298763B2

JP7298763B2 - 画像評価装置、画像評価方法及びコンピュータプログラム

Info

Publication number: JP7298763B2
Application number: JP2022121018A
Authority: JP
Inventors: 聡田端; 太朗林; 大介福富
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2018-03-29
Filing date: 2022-07-28
Publication date: 2023-06-27
Anticipated expiration: 2038-03-29
Also published as: JP2022136278A

Description

本発明は、画像評価装置、画像評価方法及びコンピュータプログラムに関する。

従来、デジタルカメラなどにより撮像された撮像画像について、画像補正の要否判断、若しくは画像の取捨選択のために、撮像画像を自動的に評価する画像評価装置が存在する

例えば、特許文献１には、撮像画像の視覚特性（明度、彩度、色の偏り、明度の分散、彩度の分散、画像の粗さ、画像のぼけなど）に基づいて、撮像画像を評価する画像評価装置が記載されている。

また、特許文献２には、撮像時のブレや露出不良などが発生している箇所を画像解析により検出し、検出結果に応じて撮像画像を評価する画像評価装置が開示されている。

特開２００２－２７９４２１号公報特開２００５－３９５４１号公報

しかしながら、特許文献１及び２に開示されている評価手法は、デジタルカメラなどにより撮像された撮像画像について適用される手法であり、当該手法を、ユーザの手により描かれたデッサンやイラストに適用することは不可能である。

ユーザの手により描かれた画像に対する評価は、一般的には、人の主観的な判断により行われており、客観的な評価や安定した評価結果を得ることは困難であるという問題点を有している。また、人的作業を伴うため、コストを押し上げる要因となっていた。

本発明は、斯かる事情に鑑みてなされたものであり、ユーザにより描かれた画像について客観的な評価及び安定した評価結果を得ることができ、コストの上昇を抑えることができる画像評価装置、画像評価方法及びコンピュータプログラムを提供することを目的とする。

一態様に係る画像評価装置は、ユーザにより描画された骨格構造を有するオブジェクトの画像を取得する取得部と、該取得部により取得した画像から該画像における複数のキーポイントと、隣接するキーポイント間により定義される複数の方向ベクトルとを推定する姿勢推定部と、前記取得部により取得した画像の前記オブジェクトの骨格により区分される複数の部位を推定器を用いて推定する領域推定部と、前記姿勢推定部より推定された方向ベクトル及び前記領域推定部により推定された部位の情報と、前記画像に対する手本画像から得られる方向ベクトル及び部位の情報からなる教師データと、を比較して類似度及び比率の少なくとも一方を算出することにより前記画像の前記教師データからの差分を評価する評価部とを備える。

一態様に係る画像評価方法は、ユーザにより描画された骨格構造を有するオブジェクトの画像を取得し、取得した画像から該画像における複数のキーポイントと、隣接するキーポイント間により定義される複数の方向ベクトルとを推定し、取得した画像の前記オブジェクトの骨格により区分される複数の部位を推定器を用いて推定し、推定した方向ベクトル及び部位の情報と、前記画像に対する手本画像から得られる方向ベクトル及び部位の情報からなる教師データと、を比較して類似度及び比率の少なくとも一方を算出することにより前記画像の前記教師データからの差分を評価する処理をコンピュータにより実行する

一態様に係るコンピュータプログラムは、コンピュータに、ユーザにより描画された骨格構造を有するオブジェクトの画像を取得し、取得した画像から該画像における複数のキーポイントと、隣接するキーポイント間により定義される複数の方向ベクトルとを推定し、取得した画像の前記オブジェクトの骨格により区分される複数の部位を推定器を用いて推定し、推定した方向ベクトル及び部位の情報と、前記画像に対する手本画像から得られる方向ベクトル及び部位の情報からなる教師データと、を比較して類似度及び比率の少なくとも一方を算出することにより前記画像の前記教師データからの差分を評価する処理を実行させるためのコンピュータプログラムである。

本願によれば、ユーザにより描かれた画像について客観的な評価及び安定した評価結果を得ることができ、コストの上昇を抑えることができる。

本実施の形態に係る画像評価装置の内部構成を示すブロック図である。評価手法の概要を説明する説明図である。評価結果の出力例を示す模式図である。実施の形態１に係る画像評価装置が実行する処理の手順を説明するフローチャートである。実施の形態２に係る画像評価装置が実行する処理の手順を説明するフローチャートである。実施の形態３に係る画像評価装置が実行する処理の手順を説明するフローチャートである。

以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
（実施の形態１）
図１は本実施の形態に係る画像評価装置１の内部構成を示すブロック図である。本実施の形態に係る画像評価装置１は、パーソナルコンピュータ、タブレット端末等の情報処理装置であり、制御部１１、記憶部１２、入力部１３、通信部１４、操作部１５、表示部１６、及び推定器１７を備える。

制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを備える。制御部１１が備えるＲＯＭには、上記ハードウェア各部の動作を制御するための制御プログラム等が記憶される。制御部１１内のＣＰＵは、ＲＯＭに記憶された制御プログラム及び後述する記憶部１２に記憶された各種ログラムを実行し、上記ハードウェア各部の動作を制御することにより、装置全体を本願の画像評価装置として機能させる。制御部１１が備えるＲＡＭには、各種プログラムの実行中に一時的に利用されるデータが記憶される。

なお、制御部１１は上記の構成に限定されるものではなく、シングルコアＣＰＵ、マルチコアＣＰＵ、ＧＰＵ（Graphics Processing Unit）、マイコン、揮発性又は不揮発性のメモリ等を含む１又は複数の処理回路であればよい。また、制御部１１は、日時情報を出力するクロック、計測開始指示を与えてから計測終了指示を与えるまでの経過時間を計測するタイマ、数をカウントするカウンタ等の機能を備えていてもよい。

記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、フラッシュメモリ、ハードディスクなどを用いた記憶装置を備える。記憶部１２には、制御部１１に実行させる各種プログラム、及び各種プログラムの実行に必要なデータ等が記憶される。記憶部１２に記憶されるプログラムには、ユーザにより描かれた画像を評価するために必要な処理を画像評価装置１に実行させるためのコンピュータプログラムが含まれていてもよい。また、記憶部１２に記憶されるデータには、ユーザが画像を描く際の手本となる手本画像（以下、教師画像ともいう）に係る画像データが含まれていてもよい。

なお、記憶部１２に記憶されるプログラムは、当該プログラムを読み取り可能に記録した記録媒体Ｍにより提供されてもよい。記録媒体Ｍは、例えば、ＳＤ（Secure Digital）カード、マイクロＳＤカード、コンパクトフラッシュ（登録商標）などの可搬型のメモリである。この場合、制御部１１は、不図示の読取装置を用いて記録媒体Ｍからプログラムを読み取り、読み取ったプログラムを記憶部１２にインストールする。また、記憶部１２に記憶されるプログラムは、通信部１４を介した通信により提供されてもよい。この場合、制御部１１は、通信部１４を通じてプログラムを取得し、取得したプログラムを記憶部１２にインストールする。

入力部１３は、スキャナ装置、ペンタブレット装置などの画像入力デバイスを接続するインタフェースを備える。本実施の形態に係る画像評価装置１は、入力部１３に接続されたスキャナ装置、ペンタブレット装置などの画像入力デバイスを通じて、ユーザにより描かれた画像を取得する。

通信部１４は、インターネット網などの通信網（不図示）に接続するための通信インタフェースを備え、外部へ通知すべき各種情報を送信すると共に、外部から送信される各種情報を受信する。

操作部１５は、キーボード、タッチパネルなどの入力インタフェースを備えており、各種の操作情報や設定情報を受付ける。制御部１１は、操作部１５から入力される操作情報に基づき適宜の制御を行い、必要に応じて設定情報を記憶部１２に記憶させる。

表示部１６は、液晶表示パネル、有機ＥＬ（Electro Luminescence）表示パネル等の表示デバイスを備えており、制御部１１から出力される制御信号に基づいて、ユーザに通知すべき情報を表示する。

推定器１７は、後述する姿勢推定処理及び領域推定処理を実行する処理回路を備える。姿勢推定処理及び領域推定処理の具体的な処理内容については後に詳述することとするが、推定器１７では、入力部１３を通じて取得した画像に含まれる部位の推定を行い、推定結果を制御部１１に出力する。

なお、本実施の形態では、画像評価装置１の内部に推定器１７を備える構成としたが、画像評価装置１の外部に推定器１７を備える構成としてもよい。例えば、画像評価装置１の制御部１１は、通信部１４を介して推定器１７にアクセス可能であってもよい。また、本実施の形態では、制御部１１とは別に推定器１７を備える構成としたが、推定器１７で実行する姿勢推定処理及び領域推定処理を制御部１１の内部にて実行する構成であっても
よい。この場合、画像評価装置１は、ハードウェアとしての推定器１７を備えていなくてもよい。

また、本実施の形態では、推定器１７が姿勢推定処理及び領域推定処理の双方を実行する構成としたが、姿勢推定処理を実行する推定器と、領域推定処理を実行する推定器とを個別に設ける構成であってもよい。

本実施の形態に係る画像評価装置１は、例えば表示部１６に手本画像を表示させることにより、ユーザに手本画像を提示する。画像評価装置１は、手本画像を元に描かれたユーザによる画像を入力部１３を通じて取得し、取得した画像についての評価を行う。

以下、手本画像として人物を含む画像をユーザに提示し、ユーザによって描かれた画像（人物画像）について評価を行う構成について説明を行う。

図２は評価手法の概要を説明する説明図である。画像評価装置１は、（１）人物画像の取得処理、（２）姿勢推定処理、（３）領域推定処理、及び（４）人物画像の評価処理を順次実行することにより、ユーザによって描かれた人物画像の評価を行う。

（１）人物画像の取得処理
画像評価装置１は、入力部１３に接続された画像入力デバイスを通じて、ユーザにより描かれた人物画像を取得することが可能である。例えば、入力部１３に接続されたスキャナ装置を用いる場合、画像評価装置１は、記録紙に描かれた人物画像を光学的に読み取ることにより、各画素が階調値（ＲＧＢ）により記述されたデジタル形式の画像データとして人物画像を取得することができる。画像評価装置１は、取得した人物画像をＪＰＥＧ（Joint Photographic Experts Group）等の適宜のフォーマットで記憶部１２に記憶させる。

なお、本実施の形態では、入力部１３に接続された画像入力デバイスを通じてユーザにより描かれた画像を取得する構成としたが、通信部１４を介した通信により、ユーザにより描かれた画像を取得する構成であってもよい。また、画像評価装置１は、ユーザにより描かれた画像に係る画像データを記録した記録媒体（不図示）から画像データを読み取ることにより、画像を取得する構成であってもよい。更に、画像評価装置１が取得する画像
は、グラフィックソフト等を用いて装置内で生成される画像であってもよい。

（２）姿勢推定処理
推定器１７は、取得した人物画像に基づいて人物姿勢の推定処理を行う。人物姿勢の推定処理では、例えば「Zhe Cao, 他３名, Realtime Multi-Person 2D Pose Estimation using Part Affinity Fiealds, arXiv : 1611.08050 (2017)」に開示されている手法を含む既存の姿勢推定技術を用いることができる。

上記文献に開示されている人物姿勢推定技術では、まず、入力画像（本実施の形態では人物画像）を例えばＶＧＧ１９（VGG: Visual Geometry Group）と同じ構造を有する畳み込みニューラルネットワーク（CNN : Convolutional Neural Network）に通して、解像度を８分の１に圧縮した特徴マップを抽出する。次いで、人体の各キーポイントをヒートマップ形式で推定するブランチと、各キーポイントが繋がり得る可能性をベクトルマップにより推定するブランチとを併用して、人体の各キーポイント及びキーポイント間の繋がりを推定する。そして、２つのブランチにより推定した各キーポイント及びキーポイント間の繋がり、並びにＶＧＧ１９により抽出した特徴マップを連結し、再度２つのブランチに入力する。このような２つのブランチへの入力を繰り返し実行することにより、推定精度高めることができる。また、推定したキーポイント間の繋がりを基に、隣接するキーポイント同士を連結することにより、人体の骨格モデルを構築する。

図２に示した例は、入力された人物画像から頭部、首、肩、肘、手首、手、胸部、骨盤、股関節、膝、足首、足の部分をキーポイントとして推定し、隣接するキーポイント間を連結することにより構築された骨格モデルを示している。推定器１７は、人物姿勢の推定結果として、各キーポイントの座標Ｐi ＝（ｘi ，ｙi ）及び方向ベクトルＳｋｅｌｔｏｎk ＝Ｐi －Ｐj を取得する。ここで、ｉは１からＮ（Ｎはキーポイントの個数）までの整数値をとり、ｋは１からＫ（Ｋはスケルトンの個数）までの整数値をとる。

（３）領域推定処理
推定器１７は、取得した人物画像に基づいて人物領域の推定処理を行う。人物領域の推定処理では、例えば「Jonathan Long, 他２名, Fully Convolutional Networks for Semantic Segmentation, arXiv : 1411.4038 (2014)」に開示されている手法を含む既存の領域推定技術を用いることができる。

上記文献に開示されている領域推定技術では、ＶＧＧ又はＡｌｅｘＮｅｔの全結合層を畳み込み層に置き換えたＦＣＮ（Fully Convolutional Networks）に入力画像を入力することにより、入力画像を構成する各画素についてそれぞれが属する領域（セグメント）を推定する。

図２に示した例は、入力された人物画像から頭部、上腕、前腕、手、胴体、腰部、大腿部、脛部、足に該当する複数の領域に分類した例を示している。推定器１７は、人物領域の推定結果として、人物画像を構成する全画素について各画素が属する領域のラベルＳlを取得する。ここで、ｌは１からＬ（Ｌは分類されたセグメントの個数）までの整数値をとる。

（４）人物画像の評価処理
制御部１１は、推定器１７による人物姿勢及び人物領域の推定結果を利用して、ユーザによって描かれた人物画像に対する評価を行う。具体的には、人物画像に描かれている人物の上腕、前腕、手、胴体、腰部、大腿部、脛部、足など、骨格により区分される各部位の推定結果と、教師データと比較することにより、スコア（評価値）を求める。以下に示すスコアＡ～スコアＥは、取得した画像（すなわちユーザによって描かれた人物画像）の教師データからの差分を評価した値を表している。ここで、教師データは、推定器１７を用いた教師画像の推定結果であってもよい。また、教師データは、教師画像に係る画像データであってもよい。この場合、制御部１１は、教師画像に係る画像データについて、推定器１７による推定結果を取得する。

例えば、制御部１１は、人物画像に描かれている人物の全体のバランスを評価するために、次式により、ユーザによって描かれた人物画像から得られる方向ベクトルと、教師画像から得られる方向ベクトルとの間のコサイン類似度をスコア（スコアＡ）として算出してもよい。コサイン類似度は、ユーザによって描かれた人物画像が教師画像に類似している場合に１に近い値を出力し、類似していない場合に０に近い値を出力する。

ここで、Ｓｋｅｌｔｏｎk はユーザによって描かれた人物画像から得られる方向ベクトル、Ｓｋｅｌｔｏｎ’kは教師画像から得られる方向ベクトル、Ｋはスケルトンの個数を表している。教師画像の方向ベクトルＳｋｅｌｔｏｎ’kは、ユーザによる人物画像と同様に、姿勢推定処理により教師画像から得られるベクトルである。制御部１１は、人物画像を評価する際に、手本となった教師画像について姿勢推定処理を行い、得られた教師画
像の方向ベクトルＳｋｅｌｔｏｎ’k を用いてスコアを算出してもよい。また、制御部１１は、事前に教師画像から方向ベクトルＳｋｅｌｔｏｎ’k を求めて記憶部１２に記憶させておき、人物画像を評価する際に、手本となった教師画像の方向ベクトルＳｋｅｌｔｏｎ’k を記憶部１２から読み出してスコアを算出してもよい。

また、制御部１１は、人物画像に描かれている人物の顔と胴体とのバランスを評価するために、次式により、顔面積と胴体面積との比率に基づくスコア（スコアＢ）として算出してもよい。このスコアは、ユーザによって描かれた人物画像が教師画像に類似している場合に１に近く、類似していない場合に１より大きな（又は小さな）値を示す。

ここで、Ｓｉｚｅ（Ｓface）及びＳｉｚｅ（Ｓbody）は、それぞれユーザによって描かれた人物画像から推定される顔領域及び胴体領域の描画面積を表し、Ｓｉｚｅ（Ｓ’face）及びＳｉｚｅ（Ｓ’body）は、それぞれ教師画像から推定される顔領域及び胴体領域の描画面積を表している。なお、顔領域及び胴体領域の描画面積に代えて、領域推定処理により顔領域及び胴体領域に属すると推定された画素の個数をそれぞれ計数した値を用いてもよい。また、教師画像から推定される顔領域及び胴体領域の描画面積については、前述と同様に、人物画像を評価する際に教師画像から求めた値を用いてもよく、事前に求めておいた値を用いてもよい。

また、制御部１１は、人物画像に描かれている人物の腕の長さと太さとのバランスを評価するために、次式により、腕の長さと腕の描画面積との比率に基づくスコア（スコアＣ）を算出してもよい。このスコアは、ユーザによって描かれた人物画像が教師画像に類似している場合に１に近く、類似していない場合に１より大きな（又は小さな）値を示す。

ここで、Ｌｅｎｇｔｈ（Ｓｋｅｌｔｏｎarm ）は、ユーザによって描かれた人物画像から得られる腕部分（上腕及び前腕）の方向ベクトルの長さを表し、Ｓｉｚｅ（Ｓarm ）は、ユーザによって描かれた人物画像から推定される腕領域の描画面積を表している。また、Ｌｅｎｇｔｈ（Ｓｋｅｌｔｏｎ’arm ）は、教師画像から得られる腕部分（上腕及び前腕）の方向ベクトルの長さを表し、Ｓｉｚｅ（Ｓ’arm ）は、教師画像から推定される腕領域の描画面積を表している。なお、腕領域の描画面積に代えて、領域推定処理により腕領域に属すると推定された画素の個数を計数した値を用いてもよい。また、教師画像から得られる腕部分の方向ベクトルの長さ及び腕領域の描画面積については、前述と同様に、人物画像を評価する際に教師画像から求めた値を用いてもよく、事前に求めておいた値を用いてもよい。

また、制御部１１は、人物画像に描かれている人物の脚の長さと太さとのバランスを評価するために、次式により、脚の長さと脚の描画面積との比率に基づくスコア（スコアＤ）を算出してもよい。このスコアは、ユーザによって描かれた人物画像が教師画像に類似している場合に１に近く、類似していない場合に１より大きな（又は小さな）値を示す。

ここで、Ｌｅｎｇｔｈ（Ｓｋｅｌｔｏｎleg ）は、ユーザによって描かれた人物画像から得られる脚部分（大腿部及び脛部）の方向ベクトルの長さを表し、Ｓｉｚｅ（Ｓleg ）は、ユーザによって描かれた人物画像から推定される脚領域の描画面積を表している。また、Ｌｅｎｇｔｈ（Ｓｋｅｌｔｏｎ’leg ）は、教師画像から得られる脚部分（大腿部及び脛部）の方向ベクトルの長さを表し、Ｓｉｚｅ（Ｓ’leg ）は、教師画像から推定される脚領域の描画面積を表している。なお、脚領域の描画面積に代えて、領域推定処理により脚領域に属すると推定された画素の個数を計数した値を用いてもよい。また、教師画像から得られる脚部分の方向ベクトルの長さ及び脚領域の描画面積については、前述と同様に、人物画像を評価する際に教師画像から求めた値を用いてもよく、事前に求めておいた値を用いてもよい。

また、制御部１１は、人物画像に描かれている人物の身長に対する頭の大きさのバランスを評価するために、次式により、身長に対する頭の長さの比に基づくスコア（スコアＥ）を算出してもよい。このスコアは、ユーザによって描かれた人物画像が教師画像に類似している場合に１に近く、類似していない場合に１より大きな（又は小さな）値を示す。

ここで、Ｌｅｎｇｔｈ（Ｓｋｅｌｔｏｎhead）は、ユーザによって描かれた人物画像から得られる頭部に対応する方向ベクトルの長さを表し、Ｌｅｎｇｔｈ（Ｓｋｅｌｔｏｎheight）は、ユーザによって描かれた人物画像から得られる頭部、胴体部、脚部の方向ベクトルの長さ和を表している。また、Ｌｅｎｇｔｈ（Ｓｋｅｌｔｏｎ’head）は、ユーザによって描かれた教師画像から得られる頭部に対応する方向ベクトルの長さを表し、Ｌｅｎｇｔｈ（Ｓｋｅｌｔｏｎ’height）は、教師画像から得られる頭部、胴体部、脚部の方向
ベクトルの長さ和を表している。また、教師画像から得られる各方向ベクトルの長さについては、前述と同様に、人物画像を評価する際に教師画像から求めた値を用いてもよく、事前に求めておいた値を用いてもよい。

以上のように、本実施の形態では、上述した評価項目に基づきスコアＡ～スコアＥを算出する構成について説明したが、評価項目は上記に限定されるものではない。例えば、人物画像に描かれている人物の腕の曲がり具合、脚の曲がり具合、左右の腕の長さのバランス、左右の脚の長さのバランス等の適宜の評価項目を設定し、当該評価項目に基づいて人物画像を評価するために記述される演算式を用いてスコアを算出する構成としてもよい。

制御部１１は、上述した評価項目に基づき算出したスコアＡ～スコアＥを含む評価結果を出力する。図３は評価結果の出力例を示す模式図である。制御部１１は、算出したスコアＡ～スコアＥに基づきレーダーチャートを生成すると共に、ユーザにより描かれた人物画像に対する助言を含むメッセージを生成し、生成したレーダーチャート及びメッセージを表示部１６に表示することにより、評価結果を出力する。なお、制御部１１は、生成したレーダーチャート及びメッセージを表示部１６に表示する構成に代えて、通信部１４を通じてユーザが使用している端末装置へ送信する構成であってもよい。

また、評価結果の表示形態は、図３の例に限定されるものではなく、スコアの値自体を表示してもよく、棒グラフ、折れ線グラフ、円グラフ等のグラフ表示により評価結果を表示してもよい。

図４は実施の形態１に係る画像評価装置１が実行する処理の手順を説明するフローチャートである。画像評価装置１の制御部１１は、ユーザによって描かれた人物画像を例えば入力部１３を通じて取得する（ステップＳ１０１）。制御部１１は、入力部１３を通じて取得した人物画像を記憶部１２に記憶させる。

次いで、制御部１１は、取得した人物画像について、推定器１７を用いて姿勢推定処理及び領域推定処理を実行することにより、骨格により区分される複数の部位を人物画像上で推定する（ステップＳ１０２）。姿勢推定処理では、キーポイントの位置座標及び方向ベクトルにより各部位を推定し、領域推定処理では、人物画像を構成する各画素に割り当てるラベルにより各部位を推定する。なお、後述するステップＳ１０３において、姿勢推定処理で得られるキーポイントの位置座標及び方向ベクトルのみを用いて人物画像の評価を行う場合（例えばスコアＡ及びスコアＥのみを用いる場合）、制御部１１は、ステップＳ１０２で姿勢推定処理のみを実行してもよい。また、後述するステップＳ１０３において、領域推定処理で得られる領域の情報のみを用いて人物画像の評価を行う場合（例えばスコアＢのみを用いる場合）、制御部１１は、ステップＳ１０２で領域推定処理のみを実行してもよい。

次いで、制御部１１は、ステップＳ１０２の推定結果と教師データとを比較することにより、人物画像の評価を行う（ステップＳ１０３）。教師データは、記憶部１２に予め記憶された推定結果であってもよい。この場合、制御部１１は、教師画像の推定結果を記憶部１２から読み出し、ステップＳ１０２の推定結果と比較することにより、人物画像の評価を行う。また、教師データは、記憶部１２に予め記憶された教師画像の画像データであってもよい。この場合、制御部１１は、教師画像の画像データを記憶部１２から読み出し、ユーザによる人物画像と同様に、教師画像について、推定器１７を用いて姿勢推定処理及び領域推定処理を実行し、推定結果を取得する。そして、制御部１１は、ステップＳ１０２の推定結果と教師画像の推定結果とを比較することにより、人物画像の評価を行う。

制御部１１は、ステップＳ１０３において、例えば数１～数５の演算式に従ってスコアを算出することにより、ユーザによって描かれた人物画像に対する評価を行う。また、制御部１１は、算出したスコアに基づき、図３に示すようなレーダーチャートを生成してもよく、人物画像に対する助言を含むメッセージを生成してもよい。

次いで、制御部１１は、人物画像の評価結果を出力する（ステップＳ１０４）。例えば、制御部１１は、生成したレーダーチャート及びメッセージを表示部１６に表示させることにより、評価結果の出力を行う。また、制御部１１は、生成したレーダーチャート及びメッセージをユーザが使用している端末装置へ送信することによって、評価結果の出力を行ってもよい。

以上のように、本実施の形態では、ユーザによって描かれた人物画像を客観的な指標に基づいて評価することができ、絵を描くことに不慣れな者や初学者等に適切なアドバイスを行うことが可能となる。

（実施の形態２）
実施の形態１では、定められた教師画像を手本としてユーザが描いた画像を取得し、取得した画像について評価を行う構成としたが、複数の教師画像を用意しておき、ユーザが描いた画像を基に手本となった教師画像を選択する構成であってもよい。
なお、画像評価装置１の内部構成については実施の形態１と同様であるため、その説明を省略することとする。

図５は実施の形態２に係る画像評価装置１が実行する処理の手順を説明するフローチャートである。画像評価装置１の制御部１１は、ユーザによって描かれた人物画像を例えば入力部１３を通じて取得する（ステップＳ２０１）。制御部１１は、入力部１３を通じて取得した人物画像を記憶部１２に記憶させる。

次いで、制御部１１は、取得した人物画像について姿勢推定処理及び領域推定処理を実行することにより、骨格により区分される複数の部位を人物画像上で推定する（ステップＳ２０２）。

次いで、制御部１１は、ステップＳ２０２の推定結果を用いて、ユーザが人物画像を描いた際に手本としたと推察される教師画像を選択する（ステップＳ２０３）。本実施の形態では、複数種の教師画像（若しくは複数種の教師画像の推定結果）を記憶部１２に予め記憶させておき、ステップＳ２０２で得られた推定結果と、各教師画像から得られる推定結果とを比較し、ユーザによって描かれた人物画像の推定結果と最も近い推定結果を有する教師画像を選択する。

次いで、制御部１１は、ユーザによって描かれた人物画像の推定結果と、ステップＳ２０３で選択した教師画像の推定結果とを比較することにより、人物画像の評価を行う（ステップＳ２０４）。例えば、制御部１１は、数１～数５の演算式に従ってスコアを算出することにより、ユーザによって描かれた人物画像に対する評価を行う。また、制御部１１は、算出したスコアに基づき、図３に示すようなレーダーチャートを生成してもよく、人物画像に対する助言を含むメッセージを生成してもよい。

次いで、制御部１１は、人物画像の評価結果を出力する（ステップＳ２０５）。例えば、制御部１１は、生成したレーダーチャート及びメッセージを表示部１６に表示させることにより、評価結果の出力を行う。また、制御部１１は、生成したレーダーチャート及びメッセージをユーザが使用している端末装置へ送信することによって、評価結果の出力を行ってもよい。

以上のように、本実施の形態では、ユーザによって描かれた人物画像を客観的な指標に基づいて評価することができ、絵を描くことに不慣れな者や初学者等に適切なアドバイスを行うことが可能となる。また、教師画像が多数存在する場合であっても、適切な教師画像との比較が可能となる。

（実施の形態３）
実施の形態１では、定められた教師画像を手本としてユーザが描いた画像を取得し、取得した画像について評価を行う構成としたが、ユーザが描いた画像の属性を判別し、判別した属性に応じてユーザの画像を評価する構成であってもよい。なお、画像評価装置１の内部構成については実施の形態１と同様であるため、その説明を省略することとする。

図６は実施の形態３に係る画像評価装置１が実行する処理の手順を説明するフローチャートである。画像評価装置１の制御部１１は、ユーザによって描かれた人物画像を例えば入力部１３を通じて取得する（ステップＳ３０１）。制御部１１は、入力部１３を通じて取得した人物画像を記憶部１２に記憶させる。ステップＳ３０１で取得する人物画像は、教師画像を手本として描かれた人物画像である必要はなく、「立ち姿の男性」といった適宜の題目に沿って描かれた人物画像であってもよい。

次いで、制御部１１は、取得した人物画像について姿勢推定処理及び領域推定処理を実行することにより、骨格により区分される複数の部位を人物画像上で推定する（ステップＳ３０２）。

次いで、制御部１１は、ステップＳ３０２の推定結果を利用して、ユーザが描いた人物画像の属性を判別する（ステップＳ３０３）。ここでは、例えば姿勢推定処理の推定結果を用いて、人物画像に描かれている人物が年少者であるのか、青年であるのか、老人であるのかを判別してもよい。また、人物画像に描かれている人物がどのような姿勢をとっているのかを判別してもよい。

次いで、制御部１１は、ユーザによって描かれた人物画像の推定結果と、ステップＳ３０３で判別した属性を有する理想的な人物画像（教師画像）から得られる推定結果とを比較することにより、ユーザによって描かれた人物画像の評価を行う（ステップＳ３０４）。ステップＳ３０４では、理想的な人物画像（教師画像）を用意しておき、姿勢推定処理及び領域推定処理を実行することにより得られる理想的な人物画像の推定結果と、ユーザによって描かれた人物画像の推定結果とを比較すればよい。このとき、制御部１１は、数１～数５の演算式に従ってスコアを算出することにより、ユーザによって描かれた人物画像に対する評価を行うことができる。また、制御部１１は、算出したスコアに基づき、図３に示すようなレーダーチャートを生成してもよく、人物画像に対する助言を含むメッセージを生成してもよい。

次いで、制御部１１は、人物画像の評価結果を出力する（ステップＳ３０５）。例えば、制御部１１は、生成したレーダーチャート及びメッセージを表示部１６に表示させることにより、評価結果の出力を行う。また、制御部１１は、生成したレーダーチャート及びメッセージをユーザが使用している端末装置へ送信することによって、評価結果の出力を行ってもよい。

以上のように、本実施の形態では、ユーザによって描かれた人物画像を客観的な指標に基づいて評価することができ、絵を描くことに不慣れな者や初学者等に適切なアドバイスを行うことが可能となる。また、ユーザに教師画像を提示することなく、ユーザが描くべき人物の属性（年齢、姿勢等）のみを提示し、その属性に基づいてユーザが描いた人物画像を評価することにより、ユーザの技能発展に役立ててもよい。

今回開示された実施の形態は、全ての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。

例えば、実施の形態１～３では、ユーザによって描かれた人物画像を画像評価装置１を用いて評価する構成について説明したが、画像評価装置１による評価対象は人物画像に限定されるものではない。本実施の形態に係る画像評価装置１は、骨格構造を有する任意のオブジェクトが描かれた画像について、上述した手法を用いて評価することが可能である。すなわち、画像評価装置１は、犬や猫などの人物以外の生物が描かれた画像を評価する構成であってもよく、生物以外の構造物が描かれた画像を評価する構成であってもよい。更に、画像評価装置１は、ユーザによって書かれた文字画像を評価する構成であってもよい。

１画像評価装置
１１制御部
１２記憶部
１３入力部
１４通信部
１５操作部
１６表示部
１７推定器
Ｍ記録媒体

Claims

ユーザにより描画された骨格構造を有するオブジェクトの画像を取得する取得部と、
該取得部により取得した前記画像から該画像における複数のキーポイントと、隣接するキーポイント間により定義される複数の方向ベクトルとを推定する姿勢推定部と、
前記取得部により取得した画像の前記オブジェクトの骨格により区分される複数の部位を推定器を用いて推定する領域推定部と、
前記姿勢推定部より推定された第１の方向ベクトル及び前記領域推定部により推定された第１の部位の情報と、前記画像に対する教師画像から得られる第２の方向ベクトル及び第２の部位の情報からなる教師データと、を比較して、前記第１のベクトルと前記第２のベクトルとの間のコサイン類似度であるスコア、前記第１の部位と前記第２の部位とから得られる比率に基づくスコア、または前記第１の部位と前記第２の部位とから得られる比に基づくスコア、を算出することにより前記画像の前記教師データからの差分を評価する評価部と
を備える画像評価装置。
前記コサイン類似度であるスコアは、ユーザにより描画された前記画像である人物画像から得られる第１の方向ベクトルと、前記教師画像から得られる第２の方向ベクトルとの間のコサイン類似度をスコア（スコアＡ）として算出するものであり、
前記比率に基づくスコアは、、ユーザにより描画された前記画像である人物画像から得られる第１の部位における顔面積と胴体面積との比率および前記教師画像から得られる第２の部位における顔面積と胴体面積との比率に基づくスコア（スコアＢ）、
ユーザにより描画された前記画像である人物画像から得られる第１の部位における腕の長さと腕の描画面積との比率および前記教師画像から得られる第２の部位における腕の長さと腕の描画面積との比率に基づくスコア（スコアＣ）、または、
ユーザにより描画された前記画像である人物画像から得られる第１の部位における脚の長さと脚の描画面積との比率および前記教師画像から得られる第２の部位における脚の長さと脚の描画面積との比率に基づくスコア（スコアＤ）、を算出するものであり、
前記比に基づくスコアは、ユーザにより描画された前記画像である人物画像から得られる第１の部位における身長に対する頭の長さの比および前記教師画像から得られる第２の部位における身長に対する頭の長さの比に基づくスコア（スコアＥ）を算出するものである、請求項１に記載の画像評価装置。
スコアＡ（ＳｃｏｒｅＡ）、スコアＢ（ＳｃｏｒｅＢ）、スコアＣ（ＳｃｏｒｅＣ）、スコアＤ（ＳｃｏｒｅＤ）およびスコアＥ（ＳｃｏｒｅＥ）は、それぞれ以下の式によって算出され、ユーザにより描画された前記画像である人物画像が前記教師画像に類似しているほど１に近い値となる、請求項２に記載の画像評価装置。

Ｓｋｅｌｔｏｎ_k：ユーザによって描かれた人物画像から得られる方向ベクトル
Ｓｋｅｌｔｏｎ’_k：教師画像から得られる方向ベクトル
ｋ、Ｋ：スケルトンの個数
Ｓｉｚｅ（Ｓ_face）：ユーザによって描かれた人物画像から推定される顔領域の描画面積
Ｓｉｚｅ（Ｓ_body）：ユーザによって描かれた人物画像から推定される胴体領域の描画面積
Ｓｉｚｅ（Ｓ’_face）：教師画像から推定される顔領域の描画面積
Ｓｉｚｅ（Ｓ’_body）：教師画像から推定される胴体領域の描画面積
Ｌｅｎｇｔｈ（Ｓｋｅｌｔｏｎ_arm）：ユーザによって描かれた人物画像から得られる腕部分（上腕及び前腕）の方向ベクトルの長さ
Ｓｉｚｅ（Ｓ_arm）：ユーザによって描かれた人物画像から推定される腕領域の描画面積
Ｌｅｎｇｔｈ（Ｓｋｅｌｔｏｎ’_arm）：、教師画像から得られる腕部分（上腕及び前腕）の方向ベクトルの長さ
Ｓｉｚｅ（Ｓ’_arm）：教師画像から推定される腕領域の描画面積
Ｌｅｎｇｔｈ（Ｓｋｅｌｔｏｎ_leg）：ユーザによって描かれた人物画像から得られる脚部分（大腿部及び脛部）の方向ベクトルの長さ
Ｓｉｚｅ（Ｓ_leg）：、ユーザによって描かれた人物画像から推定される脚領域の描画面積
Ｌｅｎｇｔｈ（Ｓｋｅｌｔｏｎ’_leg）：教師画像から得られる脚部分（大腿部及び脛部）の方向ベクトルの長さ
Ｓｉｚｅ（Ｓ’_leg）：教師画像から推定される脚領域の描画面積
Ｌｅｎｇｔｈ（Ｓｋｅｌｔｏｎ_head）：ユーザによって描かれた人物画像から得られる頭部に対応する方向ベクトルの長さ
Ｌｅｎｇｔｈ（Ｓｋｅｌｔｏｎ_height）：ユーザによって描かれた人物画像から得られる頭部、胴体部、脚部の方向ベクトルの長さ和
Ｌｅｎｇｔｈ（Ｓｋｅｌｔｏｎ’_head）：教師画像から得られる頭部に対応する方向ベクトルの長さ
Ｌｅｎｇｔｈ（Ｓｋｅｌｔｏｎ’_height）：教師画像から得られる頭部、胴体部、脚部の方向ベクトルの長さ和
前記評価部による評価を出力する出力部
を備える請求項１から請求項３の何れか１つに記載の画像評価装置。
前記評価部による評価に基づき、前記画像に対する助言を含むメッセージを生成し、生成したメッセージを出力するメッセージ出力部
を備える請求項１から請求項３の何れか１つに記載の画像評価装置。
複数種の教師データを記憶する記憶部と、
前記推定部による推定結果に基づき、前記記憶部に記憶された複数種の教師データの中から、前記画像に対する教師データを選択する選択部と
を備える請求項１から請求項５の何れか１つに記載の画像評価装置。
前記推定部による推定結果を用いて、前記画像に描画されているオブジェクトの属性を判別する判別部を備え、
前記評価部は、前記判別部により判別された属性に応じて、前記画像を評価する
請求項１から請求項６の何れか１つに記載の画像評価装置。
前記オブジェクトは、人物を含む生物である
請求項１から請求項７の何れか１つに記載の画像評価装置。
ユーザにより描画された骨格構造を有するオブジェクトの画像を取得し、
取得した前記画像から該画像における複数のキーポイントと、隣接するキーポイント間により定義される複数の方向ベクトルとを推定し、
前記取得した画像の前記オブジェクトの骨格により区分される複数の部位を推定器を用いて推定し、
前記推定された前記複数の方向ベクトルのうちの第１の方向ベクトル及び前記推定された前記複数の部位のうちの第１の部位の情報と、前記画像に対する教師画像から得られる第２の方向ベクトル及び第２の部位の情報からなる教師データと、を比較して、前記第１のベクトルと前記第２のベクトルとの間のコサイン類似度であるスコア、前記第１の部位から得られる比率および前記第２の部位から得られる比率に基づくスコア、または前記第１の部位から得られる比および前記第２の部位から得られる比に基づくスコア、を算出することにより前記画像の前記教師データからの差分を評価する
処理をコンピュータにより実行する画像評価方法。
コンピュータに、
ユーザにより描画された骨格構造を有するオブジェクトの画像を取得し、
取得した前記画像から該画像における複数のキーポイントと、隣接するキーポイント間により定義される複数の方向ベクトルとを推定し、
前記取得した画像の前記オブジェクトの骨格により区分される複数の部位を推定器を用いて推定し、
前記推定された前記複数の方向ベクトルのうちの第１の方向ベクトル及び前記推定された前記複数の部位のうちの第１の部位の情報と、前記画像に対する教師画像から得られる第２の方向ベクトル及び第２の部位の情報からなる教師データと、を比較して、前記第１のベクトルと前記第２のベクトルとの間のコサイン類似度であるスコア、前記第１の部位から得られる比率および前記第２の部位から得られる比率に基づくスコア、または前記第１の部位から得られる比および前記第２の部位から得られる比に基づくスコア、を算出することにより前記画像の前記教師データからの差分を評価する
処理を実行させるためのコンピュータプログラム。