JP7239148B2 - 画像処理装置、パズル遊技システム、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、パズル遊技システム、画像処理方法及びプログラムに関する。

撮像画像から特定の領域を切り出す手法が知られている。例えば、特許文献１は、パズル画像を生成するために、撮像画像から予め設定された所定領域を切り出し、切り出した画像をパズル化する手法を開示している。また、非特許文献１は、人物の顔が写った撮像画像の色情報に基づき顔領域を検出し、撮像画像から顔領域を切り出した顔領域画像を得る手法を開示している。

特開２０１１－２５１００６号公報

武岡さおり、尾崎正弘、川田博美、足達義則、「学習者認識のための顔画像検出と顔の向き認識の基礎的実験」、名古屋女子大学紀要、第４９号（人文・社会編）、ｐ．１２９－１３６、２００３

例えば、画像処理によって対象物の顔が写った対象画像から当該顔の領域を主に切り出した画像（以下、顔画像と言う。）を得たい場合、特許文献１に開示された手法では、切り出し領域が予め設定された領域であるため、切り出し対象となる対象画像の態様（例えば、対象画像内における顔の位置）によっては、顔画像を取得することが困難である。また、非特許文献１に開示された手法では、顔領域を検出するために予め色情報のパラメータを設定しておく煩雑さが生じるとともに、対象画像における顔の色や背景の色によっては良好な精度で顔画像を取得することができない場合がある。

本発明は、上記実情に鑑みてなされたものであり、簡易に、良好な精度で対象画像から顔画像を取得することができる画像処理装置、パズル遊技システム、画像処理方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明の第１の観点に係る画像処理装置は、
顔を有する対象物が写った対象画像において、前記顔の推定中心点と前記顔の輪郭部の位置とを検出する検出手段と、
前記検出手段によって検出された前記推定中心点と前記輪郭部の所定位置における基準輪郭点とに基づき、前記基準輪郭点を領域内に含むとともに前記推定中心点を中心とした矩形であって、前記推定中心点と前記基準輪郭点とを通る直線と一対の辺が交差する矩形を算出し、算出した前記矩形に基づく矩形領域を決定する決定手段と、
前記決定手段によって決定された前記矩形領域で前記対象画像を切り出した画像である顔画像を取得する取得手段と、を備え、
前記検出手段は、前記対象画像の色情報を用いず、前記対象画像の輝度情報に基づいて前記推定中心点と前記輪郭部の位置とを検出する。

前記決定手段が算出する前記矩形は、前記一対の辺が前記対象画像における水平方向に平行となる、又は、前記一対の辺が前記直線と直交する、ようにしてもよい。

前記決定手段は、前記推定中心点を中心として前記基準輪郭点を９０°ずつ回転した３点を算出し、前記基準輪郭点と前記３点との各々が辺の中点となる正方形を算出し、算出した前記正方形に基づき、前記矩形を算出する、ようにしてもよい。

前記決定手段は、前記正方形が内接する前記矩形を算出する、ようにしてもよい。

前記決定手段は、前記推定中心点から前記顔の左側の輪郭部までの距離と、前記推定中心点から前記顔の右側の輪郭部までの距離との比を算出し、
前記矩形における前記顔の左右方向を前記比で内分する位置に前記推定中心点が位置するように前記矩形を調整することで前記矩形領域を決定する、ようにしてもよい。

前記対象物は人物であり、
前記推定中心点は、前記顔の眉間の位置を示し、
前記基準輪郭点は、前記顔の顎先の位置を示す、ようにしてもよい。

前記画像処理装置は、前記顔画像を、矩形の小領域で複数分割した上でパズル化したパズル画像を生成する生成手段を備える、ようにしてもよい。

前記画像処理装置は、画像を表示する表示手段の表示制御を行う表示制御手段を備え、
前記表示制御手段は、前記表示手段に表示した前記パズル画像が遊技者に認識されていないと特定した場合には前記パズル画像に代えて前記顔画像を前記表示手段に表示する、ようにしてもよい。

上記目的を達成するため、本発明の第２の観点に係るパズル遊技システムは、
前記画像処理装置と、
前記画像処理装置とネットワークを介して通信し、前記画像処理装置によって提供されるウェブアプリケーションを実行するウェブブラウザを有する端末装置と、を備え、
前記ウェブアプリケーションは、前記端末装置から前記対象画像の選択を受け付けたことに応じて、選択された前記対象画像の前記パズル画像を前記画像処理装置に生成させ、生成された前記パズル画像を前記端末装置に表示する。

上記目的を達成するため、本発明の第３の観点に係る画像処理方法は、
顔を有する対象物が写った対象画像において、前記顔の推定中心点と前記顔の輪郭部の位置とを検出する検出ステップと、
検出した前記推定中心点と前記輪郭部の所定位置における基準輪郭点とに基づき、前記基準輪郭点を領域内に含むとともに前記推定中心点を中心とした矩形であって、前記推定中心点と前記基準輪郭点とを通る直線と一対の辺が交差する矩形を算出し、算出した前記矩形に基づく矩形領域を決定するステップと、
決定した前記矩形領域で前記対象画像を切り出した画像である顔画像を取得するステップと、を備え、
前記検出ステップでは、前記対象画像の色情報を用いず、前記対象画像の輝度情報に基づいて前記推定中心点と前記輪郭部の位置とを検出する。

上記目的を達成するため、本発明の第４の観点に係るプログラムは、
コンピュータを、
顔を有する対象物が写った対象画像において、前記顔の推定中心点と前記顔の輪郭部の位置とを検出する検出手段、
前記検出手段によって検出された前記推定中心点と前記輪郭部の所定位置における基準輪郭点とに基づき、前記基準輪郭点を領域内に含むとともに前記推定中心点を中心とした矩形であって、前記推定中心点と前記基準輪郭点とを通る直線と一対の辺が交差する矩形を算出し、算出した前記矩形に基づく矩形領域を決定する決定手段、
前記決定手段によって決定された前記矩形領域で前記対象画像を切り出した画像である顔画像を取得する取得手段、として機能させ、
前記検出手段は、前記対象画像の色情報を用いず、前記対象画像の輝度情報に基づいて前記推定中心点と前記輪郭部の位置とを検出する。

本発明によれば、簡易に、良好な精度で対象画像から顔画像を取得することができる。

本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。 本発明の一実施形態に係るパズル遊技実行処理を示すフローチャートである。 本発明の一実施形態に係る顔画像取得処理を示すフローチャートである。 本発明の一実施形態に係るパズル画像生成処理を示すフローチャートである。 （ａ）～（ｃ）は、顔画像取得処理を説明するための模式図である。 （ａ）及び（ｂ）は、顔画像取得処理を説明するための模式図である。 （ａ）～（ｃ）は、パズル画像生成処理を説明するための模式図である。 ＧＵＩ画像の一例を示す図である。 （ａ）及び（ｂ）は、従来例と実施例との顔画像の切り出し成功率を示す図である。 変形例に係るパズル遊技システムの構成を示すブロック図である。

本発明の一実施形態について図面を参照して説明する。

図１に示す画像処理装置１００は、パズル化された画像を遊技者に提示し、遊技者がパズル化前の元画像を認識できるかを試す遊技（以下、パズル遊技と言う。）を行うためのものである。パズル遊技は、例えば、ケアホームやグループホーム（以下、支援施設と言う。）において、遊技者としての入居者（要介護者）の認識機能訓練のために行われる。

画像処理装置１００は、例えばパーソナルコンピュータから構成され、制御部１０と、記憶部２０と、操作部４０と、表示部５０とを備える。

制御部１０は、ＣＰＵ（Central Processing Unit）等から構成され、記憶部２０に格納されている動作プログラムを実行して、画像処理装置１００の各部の動作を制御する。また、制御部１０は、図５（ａ）に示すように、被写体として人物２が写った矩形の静止画である対象画像３に対し、後述の画像処理を実行する。なお、制御部１０は、対象画像３を、図示しないＩ／Ｆ（インターフェース）を介して撮像装置２００から取得することが可能となっている。また、制御部１０は、後述のように、機能部として、特徴量検出部１１と、領域決定部１２と、顔画像取得部１３と、パズル画像生成部１４と、表示制御部１５とを備える。

記憶部２０は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等から構成されている。記憶部２０のＲＯＭには、各種の動作プログラム（後述のパズル遊技実行処理を実行するためのプログラムＰＧを含む）のデータなどが予め記憶されている。記憶部２０のＲＡＭは、各種演算結果を示すデータや、外部装置から取得した対象画像３の画像データなどを一時的に記憶する。なお、画像処理対象となる対象画像３の画像データは、予めＲＯＭに記憶されていてもよい。

操作部４０は、ユーザの操作に応答して操作内容を示す信号を制御部１０に供給する。操作部４０は、例えば、キーボード、タッチパネル等のポインティングデバイスから構成されている。なお、操作者は限定されるものではないが、例えば、支援施設の職員等であればよい。

例えば、操作者は、操作部４０を用いて、図８に示すＧＵＩ（Graphical User Interface）画像６の項目を選択することにより、後述のパズル遊技実行処理における各種操作が可能となっている。ＧＵＩ画像６を用いた操作としては、パズル化する対象画像３を選択するファイル選択操作や、パズル遊技を行う際のパズル画像５（図７（ｃ）参照）のマス数を選択するマス数選択操作、パズル遊技の遊技者がパズル化された像の対象物を認識できなかった場合にマス数を減らして、パズル難易度を低くするための、「やさしく」選択操作や、パズル遊技の正解として顔画像４（図７（ａ）参照）を表示するための、「正解表示」操作などが予め設定されている。なお、ＧＵＩ画像６を用いた送信操作については後の変形例で述べる。その他、操作者は、操作部４０を操作することで、後述のパズル遊技実行処理の開始操作や終了操作を行うことが可能となっている。

表示部５０は、液晶ディスプレイ（ＬＣＤ）、有機ＥＬディスプレイ（ＯＥＬＤ）等から構成され、制御部１０の制御の下で所定の画像を表示する。例えば、表示部５０は、対象画像３、顔画像４、パズル画像５、ＧＵＩ画像６などを表示する。なお、表示部５０は、遊技者である支援施設の入居者が複数人でパズル遊技を楽しめるように、プロジェクタにより画像が投影されるスクリーンを含んでいてもよい。

撮像装置２００は、デジタルカメラから構成され、例えば、複数のレンズと、ＣＣＤ（Charged Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子と、シャッターと、撮像装置２００の動作を制御する撮像制御部とを含む。この実施形態では、撮像装置２００は、被写体として人物２を撮像し、当該撮像画像としての対象画像３の画像データを前記Ｉ／Ｆを介して制御部１０に送信することが可能となっている。なお、画像処理装置１００は、撮像装置２００を備えていてもよい。

パズル遊技システムの構成は以上である。続いて、制御部１０が実行するパズル遊技実行処理を、制御部１０の各機能部の説明と併せて説明する。図２は、パズル遊技実行処理のフローチャートである。

（パズル遊技実行処理）
パズル遊技実行処理の開始指示を受け付けると、制御部１０は、表示部５０に図８に示すＧＵＩ画像６を表示し、パズル化する対象画像３と、パズル化の際のマス数ｎ（ｎは２以上の自然数）とを操作者に選択させる（ステップＳ１０１）。なお、この実施形態では、マス数ｎは、最大値がｎ＝５に設定されているが、２以上の自然数であれば任意に変更することができる。また、選択対象の複数の対象画像３は、記憶部２０から読み込まれる。

前述のファイル選択操作によりパズル化する対象の対象画像３が選択され、且つ、マス数選択操作によりマス数が選択されると、制御部１０は、顔画像取得処理を実行する（ステップＳ２００）。顔画像取得処理では、図３に示すように、まず、ステップＳ１０１で選択された対象画像３から顔２ａの特徴点を検出する（ステップＳ２０１）。制御部１０は、特徴量検出部１１としての機能で特徴点を検出する。

特徴量検出部１１は、顔２ａの推定中心点と、顔２ａの輪郭部の位置とを検出する。例えば、特徴量検出部１１は、対象画像３をグレースケールで読み込み、読み込んだ対象画像３におけるＨＯＧ（Histogram of Oriented Gradients）特徴量を算出する。具体的には、特徴量検出部１１は、対象画像３を構成する各部毎に輝度の変化方向（勾配方向）及び輝度の差（勾配強度）をベクトルとして算出し、ベクトルのヒストグラムに基づいて、顔２ａの特徴を検出する。特徴量検出部１１は、ＨＯＧ特徴量に基づいて両目又は両眉の領域を検出し、検出した両目又は両眉の重心座標を点Ｐ０（推定中心点）として決定する。また、特徴量検出部１１は、ＨＯＧ特徴量に基づいて顔２ａの輪郭部の位置を検出し、検出した輪郭部の下端、つまり、顎先の座標を点Ｐ１（基準輪郭点）として決定する。以上のように、特徴量検出部１１は、対象画像３のＨＯＧ特徴量と、人物の顔２ａの対称性とを用いて、顔２ａの眉間位置を示す点Ｐ０と、顔２ａの顎先位置を示す点Ｐ１とを決定する。なお、特徴量検出部１１は、公知の手法であるＳＩＦＴ（Scale-Invariant Feature Transform）特徴量を用いた形状回帰モデルを用い、グレースケール化した対象画像３におけるピクセル間の差分に基づき、点Ｐ０（推定中心点）と、顔２ａの顎先位置を示す点Ｐ１（基準輪郭点）とを決定してもよい。また、特徴量の検出精度は、例えば、ＯｐｅｎＣＶ（Open Source Computer Vision Library）で利用可能なＳＶＭ（Support Vector Machine）を用いて適宜又は予め高めることができる。

ステップＳ２０２～Ｓ２０７の処理は、制御部１０の領域決定部１２としての機能で実行される。ステップＳ２０２で、領域決定部１２は、特徴量検出部１１が決定した点Ｐ０と点Ｐ１との間のユークリッド距離ｒを算出する。

続いて、領域決定部１２は、図５（ｂ）に示すように、点Ｐ０から距離ｒの位置にあり、且つ、点Ｐ０を中心に点Ｐ１を９０°ずつ回転させた３点（Ｐ２、Ｐ３、Ｐ４）の座標を算出する（ステップＳ２０３）。図示例では、点Ｐ０を中心とした回転角の増加方向を反時計周りとすると、点Ｐ２は点Ｐ１から９０°、点Ｐ３は点Ｐ１から１８０°、点Ｐ４は点Ｐ１から２７０°回転させたものとなっている。

続いて、領域決定部１２は、点Ｐ１、Ｐ２、Ｐ３、Ｐ４の各々が辺の中点となる正方形である第１正方形Ｓ１を算出する（ステップＳ２０４）。

続いて、領域決定部１２は、図５（ｃ）に示すように、第１正方形Ｓ１が内接する正方形であって、一対の辺（同図における上下の辺）が対象画像３における水平方向（同図における左右方向）と平行となる第２正方形Ｓ２を算出する（ステップＳ２０５）。

続いて、領域決定部１２は、図６（ａ）に示すように、対象画像３における水平方向に延びて点Ｐ０を通る水平直線Ｈと、ステップＳ２０１で特徴量検出部１１が検出した顔２ａの輪郭部の位置との交点である点ＰＬ、ＰＲの座標を求める。このように求めた点ＰＬは、顔２ａの左側の輪郭部に位置し、点ＰＲは、顔２ａの左側の輪郭部に位置することになる。そして、領域決定部１２は、点Ｐ０から点ＰＬまでの距離ＬＷと点Ｐ０から点ＰＲまでの距離ＲＷとの比（ＬＷ：ＲＷ）を算出する（ステップＳ２０６）。

続いて、領域決定部１２は、第２正方形Ｓ２の左右方向の幅を比（ＬＷ：ＲＷ）で内分する位置に点Ｐ０が位置するように、第２正方形Ｓ２を調整（水平方向に移動）した第３正方形Ｓ３を求め、当該第３正方形Ｓ３が示す領域を、切り出し領域Ｒｃとして決定する（ステップＳ２０７）。

以上のように、領域決定部１２は、点Ｐ０（推定中心点）と点Ｐ１（基準輪郭点）とに基づき、点Ｐ１を領域内に含むとともに点Ｐ０を中心とした第２正方形Ｓ２（矩形の一例）であって、一対の辺が対象画像３における水平方向と平行となる第２正方形Ｓ２を算出し、算出した第２正方形Ｓ２に基づく切り出し領域Ｒｃ（矩形領域の一例）を決定する。

続く、ステップＳ２０８では、制御部１０は、顔画像取得部１３としての機能で、切り出し領域Ｒｃで対象画像３を切り出した画像である、図６（ｂ）に示す顔画像４を取得し（ステップＳ２０８）、記憶部２０に記憶させる。

以上の顔画像取得処理（ステップＳ２００）に続いて、制御部１０は、パズル画像生成部１４としての機能で、パズル画像生成処理を実行する（ステップＳ３００）。パズル画像生成処理では、図４に示すように、まず、マス数ｎを５に設定する（ステップＳ３０１）。

続いて、パズル画像生成部１４は、記憶部２０に記憶された顔画像４を読み込み（ステップＳ３０２）、図７（ａ）に示すように、ｎ×ｎ個の正方形の小画像４ａに分割する（ステップＳ３０３）。なお、図７（ａ）は、ｎ＝３の例を示している。

続いて、パズル画像生成部１４は、図７（ｂ）に示すように、各小画像４ａをランダムにｉ（ｉ＝０，１，２，３）×９０°回転させる（ステップＳ３０４）。つまり、各小画像４ａは、分割時の状態から、０°、９０°、１８０°、２７０°のいずれかの回転角で回転される。また、パズル画像生成部１４は、各小画像４ａをランダムに回転させるのと併せて、各小画像４ａの配置もランダムに変更する。

続いて、パズル画像生成部１４は、ステップＳ３０４の処理後の各小画像４ａを組み合わせた画像である、図７（ｃ）に示すパズル画像５を生成する（ステップＳ３０５）。

続いて、パズル画像生成部１４は、生成したパズル画像５の画像データを、記憶部２０に記憶する（ステップＳ３０６）。

続いて、パズル画像生成部１４は、マス数ｎを１減算し（ステップＳ３０７）、マス数ｎ＝１であるか否かを判別する（ステップＳ３０８）。マス数ｎ＝１でない場合（ステップＳ３０８；Ｎｏ）、パズル画像生成部１４は、処理をステップＳ３０２に戻す。一方、マス数ｎ＝１である場合（ステップＳ３０８；Ｙｅｓ）、パズル画像生成処理を終了する。これにより、マス数ｎ＝５、４、３、２の各場合におけるパズル画像５が生成され、記憶部２０に保存される。

図２に戻って、パズル画像生成処理（ステップＳ３００）に続く、ステップＳ１０２～Ｓ１０６の処理は、制御部１０の表示制御部１５としての機能で実行される。ステップＳ１０２で、表示制御部１５は、ステップＳ１０１で設定されたマス数ｎの、ｎ×ｎのパズル画像５を表示部５０に表示する。例えば、ステップＳ１０１でマス数ｎがｎ＝３に設定されていれば、図７（ｃ）に示すマス数のパズル画像５が表示されることになる。なお、ここでのパズル画像５の表示は、遊技者である支援施設の入居者が複数人でパズル遊技を楽しめるように、プロジェクタによりスクリーンにパズル画像５を投影することで行われてもよい。

続いて、表示制御部１５は、操作部４０に対してなされる操作を待ち、操作がなされると当該操作内容を特定する（ステップＳ１０３）。

表示制御部１５は、前述の「やさしく」選択操作を特定した場合（ステップＳ１０３；やさしく）、マス数ｎ＝２であるか否かを判別する（ステップＳ１０４）。ｎ＝２でない場合（ステップＳ１０４；Ｎｏ）、表示制御部１５は、パズル難易度を低くすべく、マス数を１つ下げた、（ｎ－１）×（ｎ－１）のパズル画像５を表示部５０に表示する（ステップＳ１０５）。一方、ｎ＝２である場合（ステップＳ１０４；Ｙｅｓ）、表示制御部１５は、既にパズル難易度が最低であるため、正解としてパズル化前の顔画像４を表示部５０に表示する（ステップＳ１０６）。

表示制御部１５は、前述の「正解表示」操作を特定した場合（ステップＳ１０３；正解表示）、正解として顔画像４を表示部５０に表示する（ステップＳ１０６）。また、表示制御部１５は、前述のファイル選択操作を特定した場合（ステップＳ１０３；ファイルを選択）、処理をステップＳ１０１に戻す。制御部１０は、以上のパズル遊技処理を、例えば終了操作を受け付けるまで継続して実行する。

以上のパズル遊技処理におけるアルゴリズムは自動化されており、パズル遊技を利用したい利用者は、パズル化したい対象画像３を指定するだけで、適度な難易度のパズル画像５を作成することができる。

本願発明者らは、対象画像３の色情報を用いた、前記の非特許文献１による顔画像切り出し手法（従来例）と、以上の実施形態における顔画像取得処理（ステップＳ２００）による顔画像切り出し手法（実施例）とで、切り出しの成功率を比較する実験を行った。当該実験結果を図９（ａ）及び（ｂ）に示す。

実験では、以下に示す画像セットごとの切出し成功率（＝成功画像枚数／実験に用いた全枚数）を算出した。
・ランダム１、２：LFW Face Database （“LFW Face Database: Main,” http://vis-www.cs.umass.edu/lfw/ 参照Feb. 18，2018．）からランダムに抽出した、人物が写った画像（以下、人物画像と言う。）２００枚
・薄頭髪：LFW Face Databaseから選択した頭髪の薄い人物画像２００枚
・無地背景（日本人）：無地背景の日本人の人物画像２００枚
・無地背景（インド人）：無地背景のインド人の人物画像２００枚
なお、以上の画像セットのうち、無地背景(日本人)と無地背景(インド人)とは、顔の正面が写った、無地背景の人物画像である。

図９（ａ）に示す条件１は、切り出しの成功及び失敗を以下のように設定した条件である。
・成功：切り出し後の画像が顎先から頭髪(頭頂)を含む場合
・失敗：切り出し後の画像の正方形上辺で頭髪(頭頂)が途切れる、又は正方形下辺で顎先が途切れる場合

図９（ｂ）に示す条件２は、切り出しの成功及び失敗を以下のように条件１よりも緩和して設定した条件である。
・成功：切り出し後の画像において、眉、目、鼻、口の欠損がない場合
・失敗：切り出し後の画像において、眉、目、鼻、口の欠損がある場合

図９（ａ）及び（ｂ）を参照すると、全ての画像セットにおいて、本実施例のほうが従来例よりも、切り出しの成功率が向上していることが確認できる。

（変形例）
以上の実施形態では、画像処理装置１００が支援施設で使用される例を説明したが、これに限られない。画像処理装置１００は、図１０に示すように、クライアント端末８とネットワーク９を介してデータの送受信を行うことでパズル遊技実行処理を実行するパズル遊技システム１の一部として構成されてもよい。以下、パズル遊技システム１について説明する。

パズル遊技システム１は、支援施設以外の機関（大学や企業など）に設置された画像処理装置１００と、支援施設で使用されるクライアント端末８と、ネットワーク９とを備える。

クライアント端末８は、パーソナルコンピュータ、スマートフォン、タブレット端末等のウェブ（Ｗｅｂ）ブラウザ（以下、単にブラウザとも言う。）が搭載された情報処理端末から構成され、ネットワーク９を介して画像処理装置１００とデータの送受信を行う。また、クライアント端末８は、前記の操作部４０、表示部５０、撮像装置２００と同様の機能を有する。したがって、ユーザはクライアント端末８で任意の人物２を撮像し、対象画像３を得ることができる。

画像処理装置１００は、１又は複数台のコンピュータから構成され、ウェブアプリケーションを提供するウェブサーバとして機能する。画像処理装置１００は、前述のパズル遊技実行処理を行う機能の他、通信制御部１１０と、ウェブアプリケーション制御部１２０と、を備える。通信制御部１１０は、ネットワーク９を介して接続されているクライアント端末８とデータの送受信を行う。ウェブアプリケーション制御部１２０は、ウェブアプリケーションを実行する際のプラットフォームとして機能し、ウェブアプリケーションの実行に伴いパズル遊技実行処理を実行する。ウェブアプリケーション制御部１２０は、通信制御部１１０を介し、クライアント端末８から受信した画像データを記憶し、ブラウザからの要求に応じてクライアント端末８に画像データを送信する。また、ウェブアプリケーション制御部１２０は、クライアント端末８に搭載されたブラウザにウェブアプリケーションの操作画面として、前記のＧＵＩ画像６などを表示する。

以上のパズル遊技システム１において、支援施設の職員などのユーザは、クライアント端末８でブラウザを起動し、ウェブサーバのＵＲＬ（Uniform Resource Locator）を指定して、接続を要求する。当該接続要求に応じ、画像処理装置１００は、ウェブアプリケーションの操作画面（ＧＵＩ画像６）をブラウザに送信する。パズル遊技システム１におけるパズル遊技実行処理では、まず、ユーザは、クライアント端末８に表示されたＧＵＩ画像６により、パズル化する対象画像３とパズル化の際のマス数ｎとを選択し（ステップＳ１０１）、画像処理装置１００に送信する送信操作を行う。この際のパズル化対象の画像は、クライアント端末８に記憶された複数の対象画像３から選択することができる。そして、ウェブアプリケーションは、クライアント端末８から対象画像３の選択を受け付けたことに応じて、画像処理装置１００に顔画像取得処理（ステップＳ２００）及びパズル化画像生成処理（ステップＳ３００）を実行させ、選択された対象画像３のパズル画像５を生成し、生成したパズル画像５をクライアント端末８に送信する。そして、クライアント端末８において、パズル画像５の表示（ステップＳ１０２やＳ１０５）や、正解としてのパズル化前の顔画像４の表示（ステップＳ１０６）を行う。なお、ステップＳ１０３においては、支援施設内においてクライアント端末８に対してなされた操作内容を特定する。
以上に説明したパズル遊技システム１のように、パズル遊技処理を実行するためのソフトウェアをウェブアプリケーションとして実装すれば、利用者の端末に特別なプログラムを実装することなく、任意の場所から任意の端末でパズル画像５の作成を行うことができる。

本発明は以上の実施形態、変形例及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で、適宜、変更（構成要素の削除も含む）を加えることが可能である。

以上のパズル遊技実行処理では、顔画像取得処理（ステップＳ２００）とパズル画像生成処理（ステップＳ３００）とを併せて実行するものとして実行したが、顔画像４やパズル画像５が既に作成され、記憶部２０に保存されている場合には、顔画像取得処理とパズル画像生成処理との少なくともいずれかの処理を省略してもよい。例えば、既に顔画像４が作成されている場合には、パズル遊技実行処理におけるステップＳ１０１で対象画像３の代わりに顔画像４を選択可能とするとともに、顔画像取得処理をスキップしてもよい。

また、以上の顔画像取得処理においては、第１正方形Ｓ１に基づいて第２正方形Ｓ２を算出したが、第２正方形Ｓ２の代わりに、第１正方形Ｓ１が内接する矩形であって、一対の辺が対象画像３における水平方向と平行となる矩形を算出してもよい。当該矩形は、例えば、第２正方形Ｓ２の左右方向にマージンを加えた形状であればよい。したがって、第３正方形Ｓ３の代わりに矩形を算出してもよいし、切り出し領域Ｒｃも正方形でなく矩形領域であってもよい。

また、以上では、第１正方形Ｓ１に基づいて第２正方形Ｓ２を算出したが、これに限られない。例えば、第１正方形Ｓ１の代わりに、点Ｐ０を中心として点Ｐ１を通る円を算出し、算出した円が内接する正方形に所定量のマージンを加えることで第２正方形Ｓ２を算出することも可能である。

また、以上では、第２正方形Ｓ２を、第１正方形Ｓ１が内接する正方形であって、一対の辺が対象画像３における水平方向と平行となる正方形として算出したが、これに限られない。例えば、対象画像３として、顔２ａが対象画像３における水平方向に対して、かなり傾いて写った態様も想定される。当該態様の対象画像３から顔画像４を得る場合には、領域決定部１２は、第１正方形Ｓ１が内接する正方形であって、一対の辺が、点Ｐ０（推定中心点）と点Ｐ１（基準輪郭点）とを通る直線と直交する第２正方形Ｓ２を算出してもよい。そして、領域決定部１２は、第２正方形Ｓ２における顔２ａの左右方向（なお、当該顔２ａの左右方向は、顔２ａが水平方向に対してかなり斜めに写っている場合には対象画像３における左右方向と一致しない）を比（ＬＷ：ＲＷ）で内分する位置に点Ｐ０が位置するように、第２正方形Ｓ２を調整して、第３正方形Ｓ３及び切り出し領域Ｒｃを算出してもよい。

以上では、特徴量検出部１１は、対象画像３におけるＨＯＧ特徴量やＳＩＦＴ特徴量を用いて点Ｐ０、Ｐ１などの顔２ａの特徴を検出する例を説明したが、これに限られない。例えば、特徴量検出部１１は、ＬＢＰ（Local Binary Pattern）特徴量を用い、対象画像３を構成する各部の局所的な輝度の分布の組み合わせによって顔２ａの特徴を検出してもよい。特徴量検出部１１は、前記の非特許文献１のように色情報を用いずして、対象画像３の輝度情報に基づいて顔２ａの特徴を検出する構成であればよい。なお、特徴量検出部１１は、対象画像３の輝度情報のみだけでなく、Ｈａａｒ－Ｌｉｋｅ特徴量や色情報、パターンマッチング手法を用いて顔２ａの特徴を検出するようにしてもよい。

図面における対象画像３では、人物２の顔２ａの正面が理想的に写った態様を模式的に示したが、対象画像３内に顔２ａの両目と顎が写っていれば、特徴量検出部１１による顔２ａの特徴量検出は可能である。さらには、顔２ａが人物２の横顔であっても、点Ｐ０（推定中心点）と点Ｐ１（基準輪郭点）の決定手法を変更すれば、特徴量検出部１１による顔２ａの特徴量検出は可能である。例えば、横顔が対象画像３に写っている場合、検出した耳や鼻の領域内において点Ｐ０を決定し、顎先を点Ｐ１と決定した上で、上記と同様な処理を実行すれば、顔画像４の切り出しは可能である。つまり、対象画像３に写った顔２ａは、正面方向から撮像した顔２ａに限られず、良好に顔画像４を取得することができる限りにおいては、対象画像３における顔２ａの向きは任意である。

また、対象画像３に写った、顔を有する対象物は、人物に限られず、猿、犬などの動物であってもよい。さらには、当該対象物は、人物及び動物に限られず、車、電車などの乗り物や、建物などであってもよい。この場合の顔とは、比喩的に人物の顔に形が似た物体の面や、物体の種別を判別可能とする代表的な面であればよい。例えば、対象物が車である場合、左右ライト又は左右サイドミラーの重心を点Ｐ０（推定中心点）と決定し、フロントバンパーやナンバープレートの領域内を点Ｐ１（基準輪郭点）と決定した上で、上記と同様な処理を実行すれば、車の顔画像の切り出しは可能であると想定される。電車など他の物体についても、良好に顔画像を取得することができる限りにおいては、対象物の種類は任意である。

以上では、パズル遊技が、支援施設の入居者（要介護者）の認識機能訓練用に行われるとして説明したが、パズル遊技が実行される場所や遊技者の種類は、任意である。例えば、認識機能訓練用でない遊技目的として、家庭において健常者が画像処理装置１００を利用してパズル遊技を行ってもよい。

パズル画像５を構成する小画像４ａは、正方形に限られず、矩形であってもよい。また、各小画像４ａは、分割時の状態から回転されずに、パズル画像５を構成してもよい。また、上記のパズル遊技に、遊技者の操作によりパズル画像５から顔画像４を完成させる遊技を追加してもよい。

また、顔画像取得処理によって取得される顔画像４は、パズル画像５を生成する以外の目的で用いられてもよい。顔画像取得処理は、単に、対象画像３から顔画像４を得るため、例えば、自動で証明写真を作成するといった目的で実行してもよい。

以上に説明した各処理を実行する動作プログラム（プログラムＰＧ）は、記憶部２０に予め記憶されているものとしたが、着脱自在の記録媒体により配布・提供されてもよい。また、プログラムＰＧは、画像処理装置１００と接続された他の機器からダウンロードされるものであってもよい。また、画像処理装置１００は、他の機器と電気通信ネットワークなどを介して各種データの交換を行うことによりプログラムＰＧに従う各処理を実行してもよい。

（１）以上に説明した画像処理装置１００は、顔を有する対象物が写った対象画像３において、顔の推定中心点（点Ｐ０）と顔の輪郭部の位置とを検出する検出手段（特徴量検出部１１）と、検出手段によって検出された点Ｐ０と輪郭部の所定位置における基準輪郭点（点Ｐ１）とに基づき、点Ｐ１を領域内に含むとともに点Ｐ０を中心とした矩形であって、点Ｐ０と点Ｐ１とを通る直線と一対の辺が交差する矩形（例えば第２正方形Ｓ２）を算出し、算出した矩形に基づく矩形領域Ｒｃを決定する決定手段（領域決定部１２）と、決定手段によって決定された矩形領域Ｒｃで対象画像３を切り出した画像である顔画像４を取得する取得手段（顔画像取得部１３）と、を備える。
この構成により、前述のように、簡易に、良好な精度で対象画像３から顔画像４を取得することができる。

（２）具体的に、決定手段が算出する矩形（例えば第２正方形Ｓ２）は、一対の辺が対象画像３における水平方向に平行となる、又は、一対の辺が直線（点Ｐ０と点Ｐ１とを通る直線）と直交する。

（３）また、決定手段は、点Ｐ０を中心として点Ｐ１を９０°ずつ回転した３点（点Ｐ２、Ｐ３、Ｐ４）を算出し、点Ｐ１～Ｐ４の各々が辺の中点となる第１正方形Ｓ１を算出し、算出した第１正方形Ｓ１に基づき、矩形（例えば第２正方形Ｓ２）を算出する。

（４）また、決定手段は、第１正方形Ｓ１が内接する矩形（例えば第２正方形Ｓ２）を算出することが好ましい。
こうすれば、図５（ｃ）に示すように、顔領域と第２正方形Ｓ２の各辺との間にクリアランスを生じさせることができ、顔画像４を切り出した際に顔２ａの一部の像が欠けてしまうことを抑制することができる。

（５）また、決定手段は、点Ｐ０から顔の左側の輪郭部までの距離と、点Ｐ０から顔の右側の輪郭部までの距離との比（ＬＷ：ＲＷ）を算出し、矩形（例えば第２正方形Ｓ２）における顔２ａの左右方向を比（ＬＷ：ＲＷ）で内分する位置に点Ｐ０が位置するように矩形を調整することで矩形領域Ｒｃを決定することが好ましい。
こうすれば、図６（ａ）に示すように、矩形領域Ｒｃにおいて顔の像が偏在してしまうことを抑制することができ、画像領域内における顔の像のバランスが良い顔画像４を取得することができる。

（６）また、検出手段は、対象画像３における輝度情報に基づいて（つまり、前述のようにＨＯＧ特徴量、ＳＩＦＴ特徴量、ＬＢＰ特徴量などを用いて）、点Ｐ０と顔の輪郭部の位置（当該位置は点Ｐ１を含む）とを検出することが好ましい。

（７）また、対象物は人物２であり、点Ｐ０は、顔の眉間の位置を示し、点Ｐ１は、顔の顎先の位置を示すことが好ましい。

（８）また、画像処理装置１００は、顔画像４を、矩形（正方形を含む）の小画像４ａで複数分割した上でパズル化したパズル画像５を生成する生成手段（パズル画像生成部１４）を備えていてもよい。

（９）また、画像処理装置１００は、画像を表示する表示手段（表示部５０）の表示制御を行う表示制御手段（表示制御部１５）を備え、表示制御手段は、表示手段に表示したパズル画像５が遊技者に認識されていないと特定した場合にはパズル画像５に代えて顔画像４を表示手段に表示してもよい。

（１０）以上に説明したパズル遊技システム１は、画像処理装置１００と、画像処理装置１００とネットワーク９を介して通信し、画像処理装置１００によって提供されるウェブアプリケーションを実行するウェブブラウザを有する端末装置（クライアント端末８）と、を備え、ウェブアプリケーションは、端末装置から対象画像３の選択を受け付けたことに応じて、選択された対象画像３のパズル画像５を画像処理装置１００に生成させ、生成されたパズル画像５を端末装置に表示する。
この構成によれば、任意の場所から任意の端末でパズル遊技実行処理を行うことができる。

（１１）以上に説明した画像処理装置１００を利用した画像処理方法は、顔を有する対象物が写った対象画像３において、顔の推定中心点（点Ｐ０）と顔の輪郭部の位置とを検出するステップと、検出した点Ｐ０と輪郭部の所定位置における基準輪郭点（点Ｐ１）とに基づき、点Ｐ１を領域内に含むとともに点Ｐ０を中心とした矩形であって、点Ｐ０と点Ｐ１とを通る直線と一対の辺が交差する矩形（例えば第２正方形Ｓ２）を算出し、算出した矩形に基づく矩形領域Ｒｃを決定するステップと、決定した矩形領域Ｒｃで対象画像３を切り出した画像である顔画像４を取得するステップと、を備える。

（１２）また、以上に説明したプログラムＰＧは、コンピュータを、前述の検出手段、決定手段、取得手段として機能させる。この構成によれば、任意の場所から任意の端末でパズル遊技実行処理を行うことができる。

以上の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略した。

１００…画像処理装置
１０…制御部
１１…特徴量検出部
１２…領域決定部
１３…顔画像取得部
１４…パズル画像生成部
１５…表示制御部
２０…記憶部、ＰＧ…プログラム
４０…操作部、５０…表示部
２００…撮像装置
１…パズル遊技システム
２…人物、２ａ…顔
３…対象画像
４…顔画像、４ａ…小画像
５…パズル画像
６…ＧＵＩ画像
８…クライアント端末
９…ネットワーク
１１０…通信制御部
１２０…ウェブアプリケーション制御部

Claims (11)

1. 顔を有する対象物が写った対象画像において、前記顔の推定中心点と前記顔の輪郭部の位置とを検出する検出手段と、
   前記検出手段によって検出された前記推定中心点と前記輪郭部の所定位置における基準輪郭点とに基づき、前記基準輪郭点を領域内に含むとともに前記推定中心点を中心とした矩形であって、前記推定中心点と前記基準輪郭点とを通る直線と一対の辺が交差する矩形を算出し、算出した前記矩形に基づく矩形領域を決定する決定手段と、
   前記決定手段によって決定された前記矩形領域で前記対象画像を切り出した画像である顔画像を取得する取得手段と、を備え、
   前記検出手段は、前記対象画像の色情報を用いず、前記対象画像の輝度情報に基づいて前記推定中心点と前記輪郭部の位置とを検出する、
   画像処理装置。
2. 前記決定手段が算出する前記矩形は、前記一対の辺が前記対象画像における水平方向に平行となる、又は、前記一対の辺が前記直線と直交する、
   請求項１に記載の画像処理装置。
3. 前記決定手段は、前記推定中心点を中心として前記基準輪郭点を９０°ずつ回転した３点を算出し、前記基準輪郭点と前記３点との各々が辺の中点となる正方形を算出し、算出した前記正方形に基づき、前記矩形を算出する、
   請求項１又は２に記載の画像処理装置。
4. 前記決定手段は、前記正方形が内接する前記矩形を算出する、
   請求項３に記載の画像処理装置。
5. 前記決定手段は、前記推定中心点から前記顔の左側の輪郭部までの距離と、前記推定中心点から前記顔の右側の輪郭部までの距離との比を算出し、
   前記矩形における前記顔の左右方向を前記比で内分する位置に前記推定中心点が位置するように前記矩形を調整することで前記矩形領域を決定する、
   請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記対象物は人物であり、
   前記推定中心点は、前記顔の眉間の位置を示し、
   前記基準輪郭点は、前記顔の顎先の位置を示す、
   請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記顔画像を、矩形の小領域で複数分割した上でパズル化したパズル画像を生成する生成手段を備える、
   請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 画像を表示する表示手段の表示制御を行う表示制御手段を備え、
   前記表示制御手段は、前記表示手段に表示した前記パズル画像が遊技者に認識されていないと特定した場合には前記パズル画像に代えて前記顔画像を前記表示手段に表示する、
   請求項７に記載の画像処理装置。
9. 請求項７に記載の画像処理装置と、
   前記画像処理装置とネットワークを介して通信し、前記画像処理装置によって提供されるウェブアプリケーションを実行するウェブブラウザを有する端末装置と、を備え、
   前記ウェブアプリケーションは、前記端末装置から前記対象画像の選択を受け付けたことに応じて、選択された前記対象画像の前記パズル画像を前記画像処理装置に生成させ、生成された前記パズル画像を前記端末装置に表示する、
   パズル遊技システム。
10. 顔を有する対象物が写った対象画像において、前記顔の推定中心点と前記顔の輪郭部の位置とを検出する検出ステップと、
    検出した前記推定中心点と前記輪郭部の所定位置における基準輪郭点とに基づき、前記基準輪郭点を領域内に含むとともに前記推定中心点を中心とした矩形であって、前記推定中心点と前記基準輪郭点とを通る直線と一対の辺が交差する矩形を算出し、算出した前記矩形に基づく矩形領域を決定するステップと、
    決定した前記矩形領域で前記対象画像を切り出した画像である顔画像を取得するステップと、を備え、
    前記検出ステップでは、前記対象画像の色情報を用いず、前記対象画像の輝度情報に基づいて前記推定中心点と前記輪郭部の位置とを検出する、
    画像処理方法。
11. コンピュータを、
    顔を有する対象物が写った対象画像において、前記顔の推定中心点と前記顔の輪郭部の位置とを検出する検出手段、
    前記検出手段によって検出された前記推定中心点と前記輪郭部の所定位置における基準輪郭点とに基づき、前記基準輪郭点を領域内に含むとともに前記推定中心点を中心とした矩形であって、前記推定中心点と前記基準輪郭点とを通る直線と一対の辺が交差する矩形を算出し、算出した前記矩形に基づく矩形領域を決定する決定手段、
    前記決定手段によって決定された前記矩形領域で前記対象画像を切り出した画像である顔画像を取得する取得手段、として機能させ、
    前記検出手段は、前記対象画像の色情報を用いず、前記対象画像の輝度情報に基づいて前記推定中心点と前記輪郭部の位置とを検出する、
    プログラム。

Images