JP7401866B2

JP7401866B2 - 画像処理装置、端末、モニター方法

Info

Publication number: JP7401866B2
Application number: JP2022191870A
Authority: JP
Inventors: みゆき柏木; 駿平井
Original assignee: Morpho Inc
Current assignee: Morpho Inc
Priority date: 2021-12-17
Filing date: 2022-11-30
Publication date: 2023-12-20
Anticipated expiration: 2042-11-30
Also published as: JP2023090652A

Description

本開示は、画像処理装置、端末、モニター方法に関する。

例えば、被写体を人間とする画像の色情報に基づいて、その人間の肌の状態や肌年齢等を解析する画像処理装置が提案されている。例えば特許文献１には、顔領域検出の結果、顔領域が撮影領域内の目標領域に入っているか否かに応じて撮像部の位置または向きの補正を撮影者に指示する画像処理装置が開示されている。

特開２００８－１１８２７６号公報

本開示の一態様によれば、撮像画像に含まれる第１領域における第１色情報と、前記撮像画像に含まれる第２領域における第２色情報との差分に関する相対情報を算出する算出部と、異なるタイミングで撮像された複数の撮像画像について時系列の前記相対情報を出力する出力部と、を備える。

画像処理装置の機能構成の一例を示す図。色差の時系列変化の一例を示す図。画像処理（色情報処理）の流れの一例を示すフローチャート。実施例に係る端末の機能構成の一例を示す図。実施例に係る端末が実行する処理の流れの一例を示すフローチャート。実施例に係る端末の機能構成の別例を示す図。実施例に係るサーバの機能構成の一例を示す図。実施例に係る端末とサーバが実行する処理の流れの一例を示すフローチャート。実施例に係る端末の表示部に表示される表示画面の一例を示す図。実施例に係る端末の表示部に表示される表示画面の一例を示す図。実施例に係る端末の表示部に表示される表示画面の一例を示す図。実施例に係る端末の表示部に表示される表示画面の一例を示す図。実施例に係る端末の表示部に表示される表示画面の一例を示す図。実施例に係る端末の表示部に表示される表示画面の一例を示す図。実施例に係る端末の表示部に表示される表示画面の一例を示す図。実施例に係る端末の表示部に表示される表示画面の一例を示す図。記録媒体の一例を示す図。疲労度の時系列データが端末に表示されたことを示す図である。端末の構成例を示す図である。別の端末の構成例を示す図である。

以下、本開示を実施するための形態の一例について図面を参照して説明する。なお、図面の説明において同一の要素には同一の符号を付して、重複する説明を省略する場合がある。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本開示の範囲をそれらに限定する趣旨のものではない。

＜実施形態＞
以下、本開示の画像処理技術を実現するための実施形態の一例について説明する。

図１は、本実施形態の一態様に係る画像処理装置１の機能構成の一例を示すブロック図である。
画像処理装置１は、例えば、第１領域検出部１１と、第１色情報算出部１２と、第２領域検出部１３と、第２色情報算出部１４と、色相対情報算出部１５と、出力部１６とを備えて構成されるようにすることができる。これらは、例えば、画像処理装置１の不図示の処理部（処理装置）や制御部（制御装置）が有する機能部（機能ブロック）であり、ＣＰＵやＤＳＰ等のプロセッサーやＡＳＩＣ等の集積回路を有して構成されるようにすることができる。

第１領域検出部１１は、例えば、不図示の撮像部によって撮像された撮像画像に基づいて、その撮像画像における第１領域を検出する機能を有する。

撮像画像は、どのようなカメラで撮像された撮像画像としてもよい。
詳細は実施例で後述するが、撮像画像は、例えばフロントカメラで撮像された画像としてもよい。
フロントカメラとは、撮影者が撮影を行う際に、不図示の表示部によって、自身を確認可能であるカメラ、具体的には、例えば、装置の筐体の正面側（表示部を有する面側）に設けられるカメラ（インカメラ）とすることができる。

なお、撮像画像を、リアカメラで撮像された撮像画像としてもよい。
リアカメラとは、撮影者が撮影を行う際に、不図示の表示部によって、自身を確認することができないカメラ、具体的には、例えば、装置の筐体の背面側（表示部が形成される面の反対側）に設けられるカメラ（バックカメラ、アウトカメラ）とすることができる。

第１色情報算出部１２は、例えば、第１領域検出部１１によって検出された第１領域における画像情報に基づいて、例えば、ＨＳＬ色空間で定義される色相（Hue）・彩度（Saturation）・輝度（Lightness）で表現される色情報を算出する機能を有する。

第２領域検出部１３は、例えば、上記の撮像画像に基づいて、その撮像画像における第２領域を検出する機能を有する。

第２色情報算出部１４は、例えば、第２領域検出部１３によって検出された第２領域における画像情報に基づいて、例えば、上記のＨＳＬ色空間で定義される色情報を算出する機能を有する。

第１領域検出部１１は、例えば、あらかじめユーザによって設定された、またはプログラムで規定された領域を第１領域として、撮像画像から第１領域を検出するようにすることができる。第２領域検出部１３についても同様である。
第１領域や第２領域の具体例については後述する。

色相対情報算出部１５は、例えば、第１色情報算出部１２によって算出された第１色情報と、第２色情報算出部１４によって算出された第２色情報とに基づいて、その相対関係に関する情報である色相対情報を算出する機能を有する。

色相対情報には、１つの例として、第１色情報と第２色情報とに基づく色の距離である色差を含めることができる。色差はスカラー値であり、例えば、第１色情報と第２色情報とからユークリッド距離として算出することができる。

なお、色相対情報に、色差に加えて、またはこれに代えて、ベクトルで表される色相対ベクトルを含めるようにしてもよい。色相対ベクトルは、例えば、３次元（例えば、上記のＨＳＬ色空間の成分）の第１色情報と、３次元の第２色情報との差ベクトルとして算出するようにすることができる。

出力部１６は、色相対情報算出部１５によって算出された色相対情報を出力する機能を有する。
図示は省略するが、画像処理装置の内部に、またはその外部に、色相対情報算出部１５によって算出された色相対情報を蓄積して記憶するメモリを構成し、例えば、色相対情報をメモリに時系列に記憶させるようにすることができる。そして、出力部１６は、例えば、異なるタイミングで撮像された複数の撮像画像についてメモリに記憶された相対情報を、時系列に出力するようにすることができる。

なお、第１領域検出部１１と、第２領域検出部１３とは、同一の機能（画像が入力されると、その画像中の特定領域を検出（抽出）した画像が出力される機能）を持つ単一の領域検出部として構成してもよい。

また、第１色情報算出部１２と、第２色情報算出部１４とは、同一の機能（画像が入力されると、色情報が出力される機能）を持つ単一の色情報算出部として構成してもよい。

＜原理＞
第１領域および第２領域は、例えば、撮像画像に含まれる異なる２つの領域とすることができる。
また、あくまで一例であるが、第１領域および第２領域は、例えば、撮像画像に含まれる同一の被写体の異なる領域（同一の被写体に含まれる異なる領域）とすることができる。

撮像を行われる状況や環境は都度異なり得るため、光の影響などで、同じ被写体を撮像した場合であっても、その撮像画像からその被写体の色を特定することは難しい。つまり、撮像画像中に画像処理装置側で色が既知の物が存在しなければ、比較対象（基準）とすることのできる色がないため、撮像画像から被写体の色を特定することは難しい。カラーパッチやカラーチャートなどがあればよいが、ユーザにとっては面倒である。

そこで、本実施形態では、被写体の色を特定するのではなく、各々の撮像画像について、その撮像画像に含まれる同一の被写体について、上記の第１領域における第１色情報と、上記の第２領域における第２色情報との相対関係に関する相対情報（色相対情報）を算出する。そして、算出した相対情報から、第１領域の色が、第２領域の色からどれくらい乖離しているかを分析可能とする。
同一の被写体においては、撮像環境等による光の影響も同一、あるいは近いと想定することができる。このため、色相対情報は撮像環境等に影響されない、あるいは影響されにくい情報と言ってもよい。

図２は、出力部１６から出力される色相対情報として色差を用いる場合における、色差の時系列変化を示す図であり、横軸を時間軸（ｔ）とし、縦軸を色差として図示している。また、ここでは、色差を連続的な曲線のグラフとして図示している。
色差がゼロに近づくほど、第１領域の色が、第２領域の色に近いことを意味する。逆に、色差がゼロから離れるほど、第１領域の色が、第２領域の色から乖離していることを意味する。この用途については、以下に簡単に述べるとともに、実施例で詳細後述する。

被写体は、例えば、人間（ヒト、人、人物）を含む動物としてもよい（ただし、ここでは人間も動物に含めている。）。
ここでは、人間を被写体とする場合を例示する。この場合、第１領域と第２領域とは、例えば、撮像画像に含まれる同一の人間のうちの異なる領域とすることができる。

この場合、第１領域は、例えば、
・顔の領域
・首の領域
のいずれか、または両方とすることができる。

また、第２領域は、例えば、
・腕の内側の領域
とすることができる。
なお、腕とは、肩から手首までを指すものとする。

また、顔の領域は、例えば、
・頬の領域
とすることができる。

また、腕の内側の領域は、例えば、
・二の腕（上腕）の内側の領域
・手首の内側の領域
のいずれか、または両方とすることができる。

また、第１領域と第２領域の組合せは、上記の任意の組合せとすることができる。

なお、本明細書では、例えば、医学的な定義に基づき、人間の肘を境として、肩に近い方を「二の腕（上腕）」と称し、手に近い方を「前腕」と称することにする。
腕の内側の領域を例示しているのは、腕の内側は日焼けしにくい（肌の色が変化しにくい）と考えられるためである。ただし、腕の内側といっても、半袖の服を着用していると前腕の内側も日焼けする場合がある。このため、腕の内側として、二の腕（上腕）の内側を用いるようにしてもよい。また、手首は日焼けの影響を受けにくい可能性があるため、前腕であっても手首の内側は用いるようにしてもよい。

二の腕の内側や手首の内側は、特に日焼けしにくく、肌の色がキープされやすいと考えられる。そこで、詳細は実施例で後述するが、二の腕の内側や手首の内側の色を理想的な肌の色（日光等の外乱による影響を受ける前の肌の色）とし、この二の腕の内側や手首の内側の色に対して、日光等の影響を受けやすい顔（頬）や首の色がどれだけ乖離しているかを、上記の色相対情報によって分析可能とする。
昨今の美容化化粧品販売の傾向から、例えば、人間の顔（頬）の領域に限らず、人間の首の領域も、アンチエイジングなど美肌の対象領域とされる場合があり得る。

なお、顔の領域を、頬以外の領域としてもよい。
また、人間に限定されず、被写体を人間以外の動物としてもよい。
また、動物に限定されず、被写体を物としてもよい。

また、撮像画像に含まれる同一の被写体の領域のうちの異なる第１領域と第２領域とを対象とするのに限らず、例えば、撮像画像に含まれる任意の異なる第１領域と第２領域とを対象として色相対情報を算出し、色がどれくらい乖離しているかを分析可能としてもよい。例えば、一の被写体の一部の領域を第１領域とし、別の被写体の一部の領域を第２領域として、色がどれくらい乖離しているかを分析可能としてもよい。

＜画像処理の手順＞
図３は、本実施形態における画像処理の手順例を示すフローチャートである。
図３のフローチャートで示される処理は、例えば画像処理装置１の不図示の処理部が、不図示の記憶部に格納された画像処理プログラムのコードを不図示のＲＡＭ等に読み出して実行することにより実現される。

なお、図１では、記憶部を画像処理装置１の構成要素から除外して示しているが、記憶部を画像処理装置１の構成要素に含めてもよい。

また、以下説明するフローチャートは、あくまでも本実施形態における画像処理の手順の一例を示すものに過ぎず、他のステップを追加したり、一部のステップを削除したりしてもよい。

最初に、画像処理装置１は、撮像画像が入力されたか否かを判定する（Ａ１）。そして、入力されたと判定したならば（Ａ１：ＹＥＳ）、第１領域検出部１１が、入力された撮像画像から第１領域を検出する処理を行う（Ａ３）。この処理では、第１領域検出部１１は、例えば領域抽出処理を行って、第１領域を検出する。

領域抽出処理では、例えば、キーポイント検出（Key Point Detection）の手法を用いて、第１領域を検出することができる。また、ディープラーニングの一手法であるＦＣＮ（Fully Convolutional Network）やＳｅｇＮｅｔ、Ｕ－Ｎｅｔ等の手法を用いて、撮像画像に対してセマンティックセグメンテーションを実行するようにしてもよい。そして、第１領域として分類された画素の位置と、画素の色情報とを抽出結果とする。
例えば、第１領域を頬の領域とするのであれば、頬の領域として分類された画素の位置と、画素の色情報とを抽出結果とする。

なお、撮像画像から、例えばＨＯＧ（Histogram of Oriented Gradients）特徴量を用いて特徴抽出を行い、ＳＶＭ（Support Vector Machine）等の識別器を用いて第１領域の抽出を行うことも可能である。
また、第１領域が肌の場合には、色ヒストグラムを用いて画素の肌色らしさを評価し、撮像画像から第１領域を抽出することも可能である。ＳＶＭによる抽出結果に対して肌色らしさを評価してもよい。
また、ディープラーニングによる結果と、これらの結果を組み合わせて領域抽出を行ってもよい。

同様に、第２領域検出部１３は、撮像画像から第２領域を検出する（Ａ５）。これも、例えば、上記と同様の領域抽出処理によって実現することができる。例えば、第２領域を二の腕の内側の領域や手首の内側の領域とするのであれば、キーポイント検出（Key Point Detection）や、セマンティックセグメンテーションの手法等によって、これらの領域として分類された画素の位置と、画素の色情報とを抽出結果とする。

なお、画像処理装置１は、例えば、セマンティックセグメンテーションの結果に基づいて、第１領域の抽出と第２領域の抽出とを一括して実行するようにしてもよい。

次いで、画像処理装置１は、第１領域と第２領域との検出に成功したか否かを判定する（Ａ７）。この判定は、例えば、Ａ３の検出結果（抽出結果）に基づいて第１領域が撮像画像の設定割合を占めるか否かを判定し、Ａ５の検出結果（抽出結果）に基づいて第２領域が撮像画像の設定割合を占めるか否かを判定することによって実現することができる。
なお、第１領域と第２領域とが撮像画像の設定割合を占めるか否かを判定することによってＡ７の判定を行うようにしてもよい。

少なくともいずれか一方の検出に失敗したと判定したならば（Ａ７：ＮＯ）、画像処理装置１は、Ａ１に処理を戻す。
なお、この場合に、画像処理装置１が、何らかのエラー処理を行った後、Ａ１に処理を戻すようにしてもよい。撮像に問題がある可能性もあるため、その旨をユーザに注意喚起する情報を出力するなどしてもよい。

第１領域と第２領域との検出に成功した場合（Ａ７：ＹＥＳ）、第１色情報算出部１２が、Ａ３の検出結果に基づいて、第１色情報を算出する（Ａ９）。例えば、設定された大きさの画像パッチ（画像の小領域）ごとに、各画素の色情報の平均値を算出する。そして、その平均値に基づいて、例えば、所定の色空間での画像パッチごとの色情報（第１色情報）を算出する。

同様に、第２色情報算出部１４が、Ａ５の検出結果に基づいて、第２色情報を算出する（Ａ１１）。この手法は、例えばＡ９と同様とすることができる。

次いで、色相対情報算出部１５が、Ａ９で算出された第１色情報と、Ａ１１で算出された第２色情報とに基づいて、色相対情報を算出する（Ａ１３）。
例えば、色相対情報として色差を算出するのであれば、色相対情報算出部１５は、Ａ９で算出された第１色情報と、Ａ１１で算出された第２色情報とのユークリッド距離を算出するなどして色差を算出する。
また、例えば、色相対情報として色相対ベクトルを算出するのであれば、色相対情報算出部１５は、Ａ９で算出された３次元の色情報と、Ａ１１で算出された３次元の色情報との差のベクトル（３次元）を算出する。

次いで、画像処理装置１は、色相対情報の出力条件が成立したか否かを判定する（Ａ１５）。出力条件が成立していないと判定したならば（Ａ１５：ＮＯ）、画像処理装置１は、Ａ１に処理を戻す。一方、出力条件が成立したと判定したならば（Ａ１５：ＹＥＳ）、画像処理装置１は、処理を終了する。

出力条件は、例えば、撮影画像ごとに出力すること、設定された数の撮像画像について色相対情報を算出されたこと、設定された期間分の撮像画像について色相対情報が算出されたこと、など、種々の条件を定めておくことができる。

なお、画像処理装置１は、設定された数の撮影画像について色相対情報を算出する場合、例えば、各撮影画像に対して算出された各色相対情報の平均値や中央値等を出力するようにしてもよい。設定された期間分の撮像画像について色相対情報を算出する場合についても同様である。すなわち、画像処理装置１は、複数の撮影画像から一つの色相対情報を出力するようにしてもよい。複数の撮影画像から一つの色相対情報を出力することで、撮像環境の影響をより少なくできることが期待される。

また、本処理では、Ａ５のステップはＡ３のステップの後に実行されることとしたが、この順序を逆にしてもよい。Ａ９、Ａ１１のステップについても同様である。

［実施例］
（１）端末の実施例
上記の画像処理装置１を適用した、または上記の画像処理装置１を備える端末の実施例について説明する。端末は、例えば、スマートフォンを含む携帯電話機、カメラ、ＰＤＡ、パソコン、ナビゲーション装置、腕時計、各種のタブレット端末といった、ユーザが所持する端末装置とすることができる。
ここでは、一例として、カメラ機能付き（撮像機能付き）携帯電話機の一種であるスマートフォンの実施例について説明する。説明上では、端末１００として図示・説明する。
ただし、本開示を適用可能な実施例が、以下説明する実施例に限定されるわけでない。

＜機能構成＞
図４は、本実施例におけるスマートフォンである端末１００の一例である端末１００Ａの機能構成の一例を示す図である。
端末１００は、例えば、処理部１１０と、操作部１２０と、タッチパネル１２５と、表示部１３０と、音出力部１４０と、撮像部１５０と、環境情報検出部１６０と、時計部１７０と、通信部１８０と、記憶部１９０とを備える。

処理部１１０は、記憶部１９０に記憶されているシステムプログラム等の各種プログラムに従って端末１００の各部を統括的に制御したり、画像処理に係る各種の処理を行う処理装置であり、ＣＰＵやＤＳＰ等のプロセッサーやＡＳＩＣ等の集積回路を有して構成される。

処理部１１０は、例えば、第１領域検出部１１１と、第２領域検出部１１２と、第１色情報算出部１１３と、第２色情報算出部１１４と、色差算出部１１５と、表示制御部１１６とを有する。第１領域検出部１１１～第２色情報算出部１１４は、前述した第１領域検出部１１～第２色情報算出部１４に対応する。

色差算出部１１５は、前述した色相対情報算出部１５の一種であり、第１色情報と第２色情報との色差を算出する。

表示制御部１１６は、色差算出部１１５によって算出され、時系列に出力される色差の情報を表示部１３０に表示させる制御を行う。

例えば、処理部１１０が各種の制御（表示制御、音出力制御、通信制御等）を行うために色相対情報（この例では、色差）を各機能部に伝送することを出力と捉え、図１の画像処理装置１の出力部１６を、表示制御部１１６を含む処理部１１０と捉えてもよい。
また、例えば、図１の画像処理装置１の出力部１６を、表示部１３０や音出力部１４０、通信部１８０等の機能部と捉えてもよい。

操作部１２０は、操作ボタンや操作スイッチといった、ユーザが端末１００に対する各種の操作入力を行うための入力装置を有して構成される。また、操作部１２０は、表示部１３０と一体的に構成されたタッチパネル１２５を有し、このタッチパネル１２５は、ユーザと端末１００との間の入力インターフェースとして機能する。操作部１２０からは、ユーザ操作に従った操作信号が処理部に出力される。

表示部１３０は、ＬＣＤ（Liquid Crystal Display）等を有して構成される表示装置であり、表示制御部１１６から出力される表示信号に基づいた各種の表示を行う。本実施例では、表示部１３０は、タッチパネル１２５と一体的に構成されてタッチスクリーンを形成している。

音出力部１４０は、スピーカ等を有して構成される音出力装置であり、処理部１１０から出力される音出力信号に基づいた各種の音出力を行う。

撮像部１５０は、任意のシーンの画像を撮像可能に構成された撮像デバイスであり、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary MOS）イメージセンサ等の撮像素子（半導体素子）を有して構成される。撮像部１５０は、撮像対象物から発せられた光を、不図示のレンズによって撮像素子の受光平面に結像させ、光電変換によって、像の光の明暗を電気信号に変換する。変換された電気信号は、不図示のＡ／Ｄ（Analog Digital）変換器によってデジタル信号に変換されて、処理部に出力される。撮像部１５０は、例えば、端末１００のタッチパネル１２５が存在する側に配置される。フロントカメラと称してもよい。

なお、撮像部１５０を、端末１００のタッチパネル１２５が存在しない背面に配置され、撮像時に光源として利用可能なフラッシュ（ストロボ）を有する撮像部（リアカメラ）として構成してもよい。このフラッシュは、発光時の色温度が既知であるか、もしくは処理部によって色温度を調光可能なフラッシュとしてもよい。
また、上記のフロントカメラとリアカメラとの２つの撮像部を有するようにしてもよい。
また、これらの撮像部の撮像時には、表示制御部１１６は、ライブビュー画像を表示部１３０に表示させるようにしてもよい。

環境情報検出部１６０は、自装置の環境に関する情報（以下、「環境情報」と称する。）を検出する。環境情報には、例えば、温度と湿度とのうちの少なくともいずれか一方を含めることができる。

時計部１７０は、端末１００の内蔵時計であり、時刻情報（計時情報）を出力する。時計部１７０は、例えば、水晶発振器を利用したクロック等を有して構成される。
なお、時計部１７０は、、ＮＩＴＺ（Network Identity and Time Zone）規格等を適用したクロックを有して構成されてもよい。

通信部１８０は、装置内部で利用される情報を外部の情報処理装置との間で送受するための通信装置である。通信部１８０の通信方式としては、所定の通信規格に準拠したケーブルを介して有線接続する形式や、クレイドルと呼ばれる充電器と兼用の中間装置を介して接続する形式、無線通信を利用して無線接続する形式等、種々の方式を適用可能である。

記憶部１９０は、ＲＯＭやＥＥＰＲＯＭ、フラッシュメモリ、ＲＡＭ等の揮発性又は不揮発性のメモリや、ハードディスク装置等を有して構成される記憶装置である。

本実施例では、記憶部１９０には、例えば、色情報処理プログラム１９１と、色差算出処理プログラム１９３と、画像用バッファ１９５と、色差履歴データ１９７とが記憶される。

色情報処理プログラム１９１は、処理部１１０によって読み出され、色情報処理として実行されるプログラムである。
色差算出処理プログラム１９３は、処理部１１０によって読み出され、色差算出処理として実行されるプログラムである。

画像用バッファ１９５は、例えば、撮像部１５０によって撮像される撮像画像が記憶されるバッファである。

色差履歴データ１９７は、例えば、色差算出部１１５によって算出された色差が、時計部１７０によって計時された日時（または時刻）と関連付けて記憶されるデータである。

なお、これらの機能部の他に、例えば３軸の軸回りの角速度を検出するジャイロセンサ等を設けるようにしてもよい。

＜処理＞
図５は、本実施例において端末１００Ａの処理部１１０によって実行される色情報処理の流れの一例を示すフローチャートである。
まず、処理部１１０は、撮像部１５０によって撮像されたか否かを判定し（Ｂ１）、撮像されたと判定したならば（Ｂ１：ＹＥＳ）、撮像画像のデータを画像用バッファ１９５に記憶させる。そして、色差算出部１１５が、色差算出処理を行う（Ｂ３）。具体的には、図３に例示した処理等に基づいて、上記の撮像画像について色相対情報として色差を算出する。そして、処理部１１０は、算出した色差を、時計部１７０の計時情報（日時等）と関連付けて色差履歴データ１９７に記憶させる（Ｂ５）。

なお、処理部１１０は、撮像部１５０によって複数の撮像画像のデータを取得し、画像用バッファ１９５に記憶させた複数の撮像画像のデータに基づいて、色相対情報（色差）を算出するようにしてもよい。

その後、処理部１１０は、色差履歴情報を表示するか否かを判定する（Ｂ７）。具体的には、例えば、操作部１２０やタッチパネル１２５等を介して、色差履歴情報を表示するためのユーザによる入力がなされたか否かを判定する。
色差履歴情報を表示すると判定したならば（Ｂ７：ＹＥＳ）、処理部は、色差履歴データ１９７に記憶されている色差の履歴に基づいて、色差履歴情報を表示部１３０に表示させる（Ｂ９）。

次いで、処理部１１０は、処理を終了するか否かを判定し、処理を継続すると判定したならば（Ｂ１１：ＮＯ）、Ｂ１に処理を戻す。
一方、処理を終了すると判定したならば（Ｂ１１：ＹＥＳ）、処理部１１０は、処理を終了する。

撮像部１５０によって撮像されなかったと判定したならば（Ｂ１：ＮＯ）、処理部１１０は、Ｂ７に処理を進める。
また、色差履歴情報を表示しないと判定したならば（Ｂ７：ＮＯ）、処理部１１０は、Ｂ１１に処理を進める。

なお、端末１００Ａが、色差履歴情報を表示する際に、時計部１７０の計時情報に基づいて、撮像部１５０による撮像日時や撮像時刻と関連付けて色差を表示させるようにしてもよい。

また、端末１００Ａが、色差履歴情報を表示する際に、色差と、環境情報検出部１６０によって検出された環境情報とを関連付けて表示させるようにしてもよい。より具体的には、撮像部１５０による撮像日時や撮像時刻に対応する日時や時刻における環境情報検出部１６０の検出結果を用いて、日時や時刻を対応させて、色差と環境情報とを表示するようにしてもよい。
なお、環境情報として温度および湿度のうちのいずれか一方の情報を表示するようにしてもよい。また、環境情報は、通信部１８０を介して不図示の環境情報提供サーバから取得するようにしてもよい。

また、上記の処理では、色相対情報として色差（スカラー値）を算出して表示する例を示したが、これに限定されない。前述したように、色相対情報として色相対ベクトルを算出して表示するようにしてもよい。例えば、色空間において矢印で色相対ベクトルを表示するようにしてもよい。

なお、これらの表示画面例については、次の実施例において、肌解析アプリケーションの表示画面として図示・説明する。

（２）端末とサーバによる実施例
次に、上記の画像処理装置１を適用した、または上記の画像処理装置１を備えるサーバ、および、サーバと端末とを含むシステムの実施例について説明する。サーバは、例えば、前述したユーザの端末と通信するサーバ（例えば、クライアントサーバシステムにおけるサーバ）とすることができる。

ここでは、クライアントサーバシステムの一例として、ユーザの端末がサーバと通信を行い、人間の肌を解析するアプリケーション（以下、「肌解析アプリケーション」と称する。）によって色相対情報を表示する実施例について説明する。
なお、肌解析アプリケーション（アプリケーションのプログラム）は、サーバからダウンロードされ端末の記憶部に記憶されて実行されるアプリケーションとしてもよいし、ダウンロードする必要なく実行されるアプリケーション（例えばＷｅｂアプリケーション）としてもよい。

＜機能構成＞
図６は、本実施例における端末１００の一例である端末１００Ｂの機能構成の一例を示す図である。
なお、図４に示した端末１００Ａと同一の構成要素については同一の符号を付して、再度の説明を省略する。
本実施例において、端末１００Ｂの処理部１１０は、例えば、前述した表示制御部１１６を機能部として有する。

本実施例において、端末１００Ｂの通信部１８０は、ネットワーク３００を介して、肌解析アプリケーションに関する各種の情報を管理するサーバ２００と通信する。

本実施例において、端末１００Ｂの記憶部１９０には、例えば、処理部１１０によって読み出され、肌解析アプリケーション処理として実行される肌解析アプリケーション処理プログラム１９２と、その肌解析アプリケーションを利用する端末１００Ｂ、またはその端末１００Ｂのユーザのアカウントに関する情報であるアプリケーションＩＤ１９４と、前述した画像用バッファ１９５とが記憶される。

なお、本実施例において、端末１００Ｂが環境情報検出部１６０を備えず、例えば、サーバ２００から環境情報を取得するようにしてもよい。

図７は、本実施例におけるサーバ２００の機能構成の一例を示す図である。
サーバ２００は、例えば、処理部２１０と、表示部２３０と、環境情報取得部２６０と、時計部２７０と、通信部２８０と、記憶部２９０とを備え、これらがバスＢを介して接続される。
処理部２１０、表示部２３０、時計部２７０、通信部２８０、記憶部２９０のＨＷ構成については、端末１００と同様とすることができるため、説明を省略する。

環境情報取得部２６０は、例えば、自装置に備えられた環境情報検出部（温度センサ・湿度センサ等）によって検出された環境情報を取得する、または環境情報を提供する不図示の環境情報提供サーバから環境情報を取得する。環境情報提供サーバから取得する場合は、通信部を環境情報取得部としてもよい。

通信部２８０は、処理部２１０の制御のもと、ネットワーク３００を介して、端末１００Ｂを含む他の装置との間で情報（データ）の送受信を行う。

記憶部２９０には、例えば、肌解析アプリケーションを利用する端末１００Ｂ、または端末１００Ｂのユーザに関する管理用のデータが記憶される。
また、記憶部２９０には、例えば、各々のアプリケーションＩＤについて、時計部２７０の計時情報と関連付けて色差を記憶した色差履歴データが、データベース化されて記憶される。

なお、本実施例において、サーバ２００が環境情報取得部２６０を備えず、端末１００Ｂから環境情報を取得するようにしてもよい。

＜処理＞
図８は、本実施例において各装置が実行する処理の流れの一例を示すフローチャートである。この図では、向かって左側に端末１００Ｂの処理部１１０が実行する肌解析アプリケーション処理の一例を示し、向かって右側にサーバ２００の処理部２１０が実行する肌解析アプリケーションに関する管理処理の一例を示している。

まず、端末１００Ｂの処理部１１０は、肌解析アプリケーションによって撮像部１５０によって撮像が行われたか否かを判定する（Ｃ１）。そして、撮像されたと判定したならば（Ｃ１：ＹＥＳ）、端末１００Ｂの処理部１１０は、例えば、記憶部１９０に記憶されたアプリケーションＩＤ１９４と、撮像画像のデータとを含む撮像データを、通信部１８０によってサーバ２００に送信する（Ｃ３）。なお、端末１００Ｂの処理部１１０は、撮像部１５０によって撮像を繰り返し、複数の撮像画像のデータを含む撮像データを送信するようにしてもよい。

サーバ２００の処理部２１０は、通信部２８０によって端末１００Ｂから撮像データを受信したか否かを判定し（Ｓ１）、受信したと判定したならば（Ｓ１：ＹＥＳ）、記憶部２９０に記憶された不図示の色差算出処理プログラムに従って、端末１００Ｂから受信した撮像データに含まれる撮像画像から、例えば、第１色情報と第２色情報との色差を算出する処理を行う（Ｓ３）。そして、サーバ２００の処理部２１０は、算出した色差を、時計部２７０の計時情報（日時等）と関連付けて、受信した撮像データに含まれるアプリケーションＩＤに対応する色差履歴データとして記憶させる（Ｓ５）。

Ｃ３の後、端末１００Ｂの処理部１１０は、肌解析アプリケーションによって色差履歴情報を表示するか否かを判定する（Ｃ５）。具体的には、例えば、肌解析アプリケーションによって、操作部１２０やタッチパネル１２５等を介して、色差履歴情報を表示するためのユーザによる入力がなされたか否かを判定する。
色差履歴情報を表示すると判定したならば（Ｃ５：ＹＥＳ）、端末１００Ｂの処理部１１０は、例えば、記憶部１９０に記憶されたアプリケーションＩＤ１９４と、色差履歴情報の表示を要求する情報とを含む色差履歴情報表示要求を、通信部１８０によってサーバ２００に対して行う（Ｃ７）。

Ｓ５の後、サーバ２００の処理部２１０は、端末１００Ｂから色差履歴情報表示要求があったか否かを判定し（Ｓ７）、要求があったと判定したならば（Ｓ７：ＹＥＳ）、記憶部２９０に記憶されている、受信したアプリケーションＩＤ１９４に対応する色差履歴データに基づいて、例えば、設定された期間分の色差の履歴を含む色差履歴情報を、通信部２８０によって端末１００Ｂに送信する（Ｓ９）。

Ｃ７の後、通信部１８０によってサーバ２００から色差履歴情報を受信すると、端末１００Ｂの処理部１１０は、受信した色差履歴情報を、肌解析アプリケーションによって表示部１３０に表示させる（Ｃ９）。

その後、端末１００Ｂの処理部１１０は、処理を終了するか否かを判定し（Ｃ１１）、処理を継続すると判定したならば（Ｃ１１：ＮＯ）、Ｃ１に処理を戻す。
一方、処理を終了すると判定したならば（Ｃ１１：ＹＥＳ）、端末１００Ｂの処理部１１０は、肌解析アプリケーションの処理を終了する。

Ｓ９の後、サーバ２００の処理部２１０は、処理を終了するか否かを判定し（Ｓ１１）、処理を継続すると判定したならば（Ｓ１１：ＮＯ）、Ｓ１に処理を戻す。
一方、処理を終了すると判定したならば（Ｓ１１：ＹＥＳ）、サーバ２００の処理部２１０は、処理を終了する。

撮像部１５０によって撮像されなかったと判定したならば（Ｃ１：ＮＯ）、端末１００Ｂの処理部１１０は、Ｃ５に処理を進める。
また、色差履歴情報を表示しないと判定したならば（Ｃ５：ＮＯ）、端末１００Ｂの処理部１１０は、Ｃ１１に処理を進める。

撮像データを受信しなかったと判定したならば（Ｓ１：ＮＯ）、サーバ２００の処理部２１０は、Ｓ７に処理を進める。
また、色差履歴情報表示要求がなかったと判定したならば（Ｓ７：ＮＯ）、サーバ２００の処理部２１０は、Ｓ１１に処理を進める。

なお、本処理では、１つの端末１００Ｂについてのみ図示しているが、肌解析アプリケーションを利用する各々の端末１００が、同様の処理を行うようにすることができる。また、サーバ２００は、各々の端末１００に対して、同様の処理を行うようにすることができる。

＜表示画面＞
図９は、本実施例において端末１００の表示部１３０に表示される肌解析アプリケーションの画面の一例を示す図である。
この画面は、肌解析アプリケーションで撮像部１５０を起動するユーザ入力がなされた場合に表示されるナビゲーション画面の一例を示す図であり（図５のＢ１、図８のＣ１）、画面上部には、Ｓｔｅｐ．１の文字とともに、どのように撮影すればよいかをイラストで伝えるためのナビゲーション領域Ｒ１が表示されている。このイラストでは、女性が右手で端末１００を持ちながら反対の腕を上げて撮影を行う様子が示されている。また、イラストの下には、より詳細なナビゲーションとして、「頬と二の腕の内側がおさまるように撮影してください」の文字が表示され、その下に、次の画面に進むための「ＯＫ」ボタンＢＴ１が表示されている。

「ＯＫ」ボタンＢＴ１がタップされると、例えば、図１０のような画面に表示が切り替わる（図５のＢ１、図８のＣ１）。
この画面は、肌解析アプリケーションでユーザが撮像を行うための撮像画面の一例を示す図であり、例えば、フロントカメラのライブビュー画像と、撮像を行うための、例えば同心円で示される撮像ボタンＢＴ３とが配置されている。また、その下には、図９と同様に、「頬と二の腕の内側がおさまるように撮影してください」の文字が表示されている。ユーザは、この画面において、図９に示したポーズをとった上で、撮像ボタンＢＴ３を押して撮像部１５０に撮像を行わせるようにすることができる。

図１１は、肌解析アプリケーションで色差履歴情報を表示するためのユーザ入力がなされた場合に表示される色差履歴情報表示画面の一例を示す図である（図５のＢ９、図８のＣ５：ＹＥＳ～Ｃ９）。
この画面では、画面上部に設けられた肌解析アプリケーションでユーザが利用可能な複数の機能を含むタブのうち「肌グラフ」のタブがタップされた状態が示されている。
画面中央部には、過去所定期間（この例では「２０２１年１１月１日」～「２０２１年１１月７日」までの期間）における色差の履歴がグラフによって表示されている。この例では、上記の７日間の期間にユーザによって毎日撮影が行われ、日ごとの色差の推移が、横軸を日付とし、縦軸を色差とするグラフ（この例では、折れ線グラフ）で表示されている。
なお、折れ線グラフで表示するのに限らず、棒グラフ等で表示するようにしてもよい。また、グラフではなく、数値そのものを表示するようにしてもよい。

また、この例では、縦軸と関連付けて「お肌の調子」の文字が表示されている。また、縦軸の上部の横には、肌の状態が不良であることを示す不良アイコンＩＣ１（この例では、笑顔ではない顔のアイコン）が表示され、縦軸の下部の横には、肌の状態が良好であることを示す良好アイコンＩＣ２（この例では、笑顔のアイコン）が表示されている。そして、不良アイコンＩＣ１から良好アイコンＩＣ２に向かって、肌の状態が良くなっていくことを段階的に示すための複数の下三角形のマークが表示されている。

この例では、ユーザの頬の領域を判定対象領域（測定対象領域）とする。また、ユーザの二の腕の内側の領域を比較対象領域とする。そして、ユーザの頬の領域を第１領域とし、ユーザの二の腕の領域を第２領域として、前述した処理が行われる。

前述したように、二の腕の内側は、日光等の外乱の影響を受けにくく、肌の色がキープされやすいと考えられる。そこで、この例では、二の腕の内側の色をユーザが目標とする肌の色（理想値）とする。つまり、二の腕の内側の領域の色を美白のベンチマークとする。そして、ユーザによって撮像された撮像画像に基づいて、ユーザの頬の色が二の腕の内側の色からどれだけ乖離しているかを、色差を指標値としてユーザに報知する。
上記によれば、色差が小さいほど、ユーザの頬の色が理想値に近いことを示していると考えることができる。逆に、色差が大きいほど、ユーザの頬の色が理想値から離れていることを示していると考えることができる。

図１２は、図１１の色差履歴情報表示画面の別例を示す図である。
この画面では、図１１に示したグラフにおいて、色差の時系列のグラフと関連付けて、環境情報として温度および湿度の時系列のグラフが表示されている。つまり、タイミングを対応させて、色差の情報と環境情報とが表示されている。
このような表示を行うことで、時系列の色差と、時系列の温度や湿度とをユーザが対比することができ、どのような環境において肌の状態が良好となる傾向があり、逆に、どのような環境において肌の状態が悪くなる傾向があるのかを、ユーザが分析することが可能となる。
なお、環境情報として温度および湿度のうちのいずれか一方の情報を表示するようにしてもよい。

この場合、例えば、図８のＳ９のステップにおいて、サーバ２００の処理部２１０が、時系列の色差の情報とともに、環境情報取得部２６０によって取得された環境情報を端末１００に送信するようにすることができる。また、この場合、サーバ２００は、あらかじめ登録されたユーザが居住している地域の情報や、端末１００から送信される端末１００の位置の情報に基づいて、その地域や端末１００の位置における環境情報を取得して、端末１００に送信するようにしてもよい。つまり、この例では、端末１００は、サーバ２００から環境情報を取得するようにすることができる。

なお、このようにするのではなく、サーバ２００が、環境情報を含む撮像データを端末１００から受信し（図８のＣ３、Ｓ１：ＹＥＳ）、端末１００から受信した環境情報を記憶部２９０に記憶しておくようにしてもよい。そして、色差履歴情報と環境情報とを関連付けた情報を端末１００に送信するようにしてもよい（図８のＳ９）。

＜上記の実施例の作用・効果＞
上記の実施例において、端末（画像処理装置の一例）は、撮像画像に含まれる第１領域における第１色情報と、撮像画像に含まれる第２領域における第２色情報とを算出する。そして、端末は、算出した第１色情報と第２色情報との色相対情報（相対関係に関する相対情報の一例）を算出する。そして、端末は、異なるタイミングで撮像された複数の撮像画像について時系列の色差を出力する。
これにより、端末は、撮像画像に含まれる第１領域における第１色情報と、撮像画像に含まれる第２領域における第２色情報との相対関係に関する相対情報を算出することができる。また、異なるタイミングで撮像された複数の撮像画像について時系列の相対情報を出力することができる。

また、この場合、色相対情報は、例えば、色差の情報とすることができる。
これにより、端末は、異なるタイミングで撮像された複数の撮像画像について時系列の色差の情報を出力することができる。

また、この場合、第１領域および第２領域は、同一の被写体の異なる領域とすることができる。
これにより、同一の被写体の異なる領域の色情報に基づく色相対情報を算出することができる。また、例えば第２領域を比較対象領域として、同一の被写体の第１領域の色が、同一の被写体の第２領域の色からどの程度乖離しているかを判断する目安とすることができる。

また、この場合、第１領域は、顔の領域とすることができる。
これにより、同一の被写体の顔の領域の色が、同一の被写体の顔の領域とは異なる領域の色からどの程度乖離しているかを判断する目安とすることができる。

また、この場合、第１領域は、頬の領域とすることができる。
これにより、同一の被写体の頬の領域の色が、同一の被写体の顔の領域とは異なる領域の色からどの程度乖離しているかを判断する目安とすることができる。

また、この場合、第１領域は、首の領域とすることができる。
これにより、同一の被写体の首の領域の色が、同一の被写体の首の領域とは異なる領域の色からどの程度乖離しているかを判断する目安とすることができる。

また、この場合、第２領域は、腕の内側の領域とすることができる。
これにより、同一の被写体の腕の内側とは異なる領域の色が、同一の被写体の腕の内側の領域の色からどの程度乖離しているかを判断する目安とすることができる。

また、この場合、第２領域は、二の腕の内側の領域、または手首の内側の領域とすることができる。
これにより、同一の被写体の二の腕の内側の領域とは異なる領域の色が、同一の被写体の腕の内側の領域の色からどの程度乖離しているかを判断する目安とすることができる。また、同一の被写体の手首の内側の領域とは異なる領域の色が、同一の被写体の手首の内側の領域の色からどの程度乖離しているかを判断する目安とすることができる。

また、上記の実施例において、ユーザの端末は、上記のいずれかの画像処理装置と、上記の撮像画像を撮像する撮像部１５０と、色相対情報を表示する表示部１３０とを備えるようにすることができる。
これにより、撮像部によって撮像された撮像画像に基づいて算出された相対情報を表示部に表示して、ユーザに認識させることができる。

また、この場合、表示部１３０は、撮像日時や撮像時刻の情報（タイミングを特定可能な情報の一例）と関連付けて色相対情報を表示するようにすることができる。
これにより、撮像されたタイミングとともに、相対情報をユーザに認識させることができる。撮像されたタイミングを参照可能となるため、ユーザの利便性を向上させることができる。

また、この場合、ユーザの端末は、環境情報検出部１６０やサーバから環境情報を受信する通信部１８０（環境情報を取得する環境情報取得部の一例）をさらに備え、表示部１３０は、色相対情報と環境情報とを関連付けて表示するようにすることができる。
これにより、取得された環境情報とともに、相対情報をユーザに認識させることができる。環境情報を参照可能となるため、ユーザの利便性を向上させることができる。

また、上記の実施例において、サーバ（画像処理装置の一例）は、撮像画像に含まれる第１領域における第１色情報と、撮像画像に含まれる第２領域における第２色情報とを算出する。そして、サーバは、算出した第１色情報と第２色情報との色相対情報（相対関係に関する相対情報の一例）を算出する。そして、サーバは、異なるタイミングで撮像された複数の撮像画像について時系列の色差を出力する。
これにより、サーバは、撮像画像に含まれる第１領域における第１色情報と、撮像画像に含まれる第２領域における第２色情報との相対関係に関する相対情報を算出することができる。また、異なるタイミングで撮像された複数の撮像画像について時系列の相対情報を出力することができる。

また、上記の実施例において、サーバは、上記のいずれかの画像処置装置と、撮像画像を端末から受信し、算出した相対情報を端末に送信する通信部とを備える。
これにより、サーバは、端末から撮像画像を取得した上で、その撮像画像に基づいて相対情報を算出して、端末に送信することができる。端末側の視点では、端末は撮像画像をサーバに送信すれば済み、算出を行う必要がないため、処理負荷を軽減することができる。

［他の実施例］
以下、他の実施例（変形例）について説明する。

（１）モード
上記の実施例は、あくまでも一例であるが、ユーザがすっぴん（メークを行っていない）状態で撮像する場合に適用されるようにすることができる。
しかし、これに限定されるわけではなく、例えば、ユーザがファンデーションを塗った状態等で撮像する場合に適用されるようにすることも可能である。

例えば、すっぴんの状態で撮像するモードを「すっぴんモード」と称し、ファンデーションを塗った状態で撮像するモードを「ファンデーションモード」と称する。そして、例えば、「すっぴんモード」と「ファンデーションモード」とをユーザが選択して撮像を行うようにしてもよい。

この場合、図示は省略するが、例えば、図９に示した画面が表示される前に、または図９に示した画面内で、ユーザが「すっぴんモード」と「ファンデーションモード」とを選択可能なユーザインタフェイス（ＵＩ）を構成する。そして、「すっぴんモード」が選択された場合は、ユーザがすっぴんの状態で、図１０の撮像画面で撮像を行うようにする。また、「ファンデーションモード」が選択された場合は、ユーザがファンデーションを塗った状態で、図１０の撮像画面で撮像を行うようにすることができる。

そして、各々のモードについて、そのモードで撮像された撮像画像を対象として、上記と同様の処理が行われ、その結果が端末１００に表示されるようにすることができる。
この具体例については、次の実施例と絡めて例示する。

（２）ユーザに対する報知
端末１００が、色相対情報に基づいて、ユーザに対する報知を行うようにしてもよい。

図１３は、本実施例において端末１００の表示部１３０に表示される色差履歴情報表示画面の一例を示す図である。画面の見方は、図１１と同様である。
ここでは、１つの例として、上記の「（１）モード」で説明した「すっぴんモード」と「ファンデーションモード」との２つのモードについて、それぞれ異なる報知内容の報知を行う場合を例示する。

図１３の画面では、画面上部に設けられた肌解析アプリケーションでユーザが利用可能な複数の機能を含むタブが表示される領域の下に、「すっぴんモード」で撮像された撮像画像に基づく色差履歴情報を表示するためのタブと、「ファンデーションモード」で撮像された撮像画像に基づく色差履歴情報を表示するためのタブとを含むモード切替タブＭＴ１が設けられている。そして、この例では、モード切替タブＭＴ１のうちの「すっぴんモード」のタブがユーザによってタップされたことに基づき、「すっぴんモード」のタブが反転表示され、その下に、「すっぴんモード」で算出された色差の履歴情報が表示されている。

また、この例では、時系列の色差のグラフにおいて、色差が設定された値（閾値）以上、または設定された値を超えた場合を示している。この例では、「２０２１年１１月３日」に撮像された撮像画像に基づいて算出された色差が、設定された値以上、または設定された値を超えた状態が示されている。そして、この例では、色差の値の横に、注意マークＭＫ１が表示されている。この注意マークＭＫ１がユーザによってタップされると、例えば、図１４のような画面が表示される。

この画面では、注意マークＭＫ１がタップされたことに基づき、グラフが表示される領域の下に、サーバから送信された報知情報が表示される領域が構成されている。この例では、画面下部の天使のイラストからの吹き出しで表される領域Ｒ３内に、「お肌の調子があまりよくないですね乾燥し、肌荒れがおきやすい状態です」のテキストと、気を付けるべきポイントをユーザに伝えるテキストと、これらの表示を非表示とするための「ＯＫ」ボタンとを含む情報が表示されている。

つまり、この例では、色差が、第１設定値以上となる、または第１設定値超となる設定条件を満たしたことに基づき、ユーザに対する報知情報が表示部１３０に表示されている。
具体的には、報知情報として、第２色情報を理想として第１色情報が理想から乖離していることをユーザに注意喚起する情報、より具体的には、肌の状態をユーザに注意喚起する情報（肌の状態が良くないことを示すユーザに報知する情報）が表示されている。

なお、図示は省略するが、上記の例とは逆に、色差が、第２設定値未満となる、または第２設定値以下となる設定条件を満たしたことに基づき、ユーザに対する報知情報を表示部１３０に表示してもよい。第２設定値は、第１設定値よりも小さい値として設定しておくことができる。
具体的には、例えば、報知情報として、第２色情報を理想として第１色情報が理想に近いことをユーザに知らせる情報、より具体的には、肌の状態が良好であることをユーザに知らせる情報を表示させるようにしてもよい。

また、上記の報知の表示態様はあくまで一例に過ぎず、これに限定されない。
例えば、注意マークＭＫ１がタップされたことに基づいて、この注意マークＭＫ１や、その注意マークＭＫ１が付された色差の値から、吹き出しやバブル等によって、報知情報を表示させるようにしてもよい。
また、注意マークＭＫ１を表示させずに、報知情報を表示させるようにしてもよい。

また、上記の報知は、表示で行うのに限らず、音（音声を含む。）を音出力部１４０から音出力させることによって実現してもよい。つまり、報知情報は、音情報（音声情報を含む。）としてもよい。
例えば、色差が、第１設定値以上となる、または第１設定値超となる設定条件を満たしたことに基づき、注意音や注意喚起アナウンスを音出力部１４０から音出力させてもよい。注意喚起アナウンスは、図１４にテキストで示した内容と同様の内容としてもよいし、異なる内容としてもよい。

また、例えば、色差が、第２設定値未満となる、または第２設定値以下となる設定条件を満たしたことに基づき、ファンファーレ音や祝福アナウンスを音出力部１４０から音出力させてもよい。

また、上記のように「すっぴんモード」と「ファンデーションモード」とを設けず、基本的にすっぴんでの撮影を想定した設計とするのであれば、図１３および図１４の画面において、モード切替タブＭＴ１の表示は不要とすることができる。

図１５は、本実施例において端末１００の表示部１３０に表示される色差履歴情報表示画面の一例を示す図である。
この画面では、モード切替タブＭＴ１のうちのファンデーションモードのタブがユーザによってタップされたことに基づき、ファンデーションモードのタブが反転表示され、その下に、ファンデーションモードでの色差履歴情報が表示されている。

ここでは、図１３と同様の態様で、ファンデーションモードにおける時系列の色差のグラフにおいて、色差が設定された値以上、または設定された値を超えた場合を示している。この例では、「２０２１年１２月４日」にファンデーションモードで撮像された撮像画像に基づいて算出された色差が、設定された値以上、または設定された値を超えた状態が示されている。そして、この例では、その色差の横に、前述した注意マークＭＫ１が表示されている。この注意マークＭＫ１がユーザによってタップされると、例えば、図１６のような画面が表示される。

この画面では、グラフが表示されている領域の下に、サーバから送信された報知情報が表示される領域が構成されている。この例では、図１４と同様の画面下部の天使のイラストからの吹き出しで表される領域Ｒ５内に、「ファンデーションを変えましたか？お肌の色との差が大きくなりました」のテキストと、気を付けるべきポイントをユーザに伝えるテキストと、これらの表示を非表示とするための「ＯＫ」ボタンとを含む情報が表示されている。

「ファンデーションモード」であるため、図１４の「すっぴんモード」とは報知内容が異なっており、「ファンデーションモード」に対応した報知情報が表示されている。

つまり、この例では、「ファンデーションモード」で算出された色差が、第３設定値以上となる、または第３設定値超となる設定条件を満たしたことに基づき、ユーザに対する報知情報が表示部１３０に表示されている。
具体的には、報知情報として、第２色情報を理想として第１色情報が理想から乖離していることをユーザに注意喚起する情報、より具体的には、例えば、ファンデーション（ファンデーションの色）が合っていないことを注意喚起する情報等が表示されている。

なお、図示は省略するが、上記の例とは逆に、「ファンデーションモード」で算出された色差が、第４設定値未満となる、または第４設定値以下となる設定条件を満たしたことに基づき、ユーザに対する報知情報を表示部１３０に表示してもよい。第４設定値は、第３設定値よりも小さい値として設定しておくことができる。
具体的には、例えば、報知情報として、第２色情報を理想として第１色情報が理想に近いことをユーザに知らせる情報、より具体的には、例えば、ファンデーション（ファンデーションの色）が合っていることをユーザに知らせる情報を表示させるようにしてもよい。

また、上記の報知は、表示で行うのに限らず、音（音声を含む。）を音出力部１４０から音出力させることによって実現してもよい。つまり、報知情報は、音情報（音声情報を含む。）としてもよい。
例えば、色差が、第３設定値以上となる、または第３設定値超となる設定条件を満たしたことに基づき、注意音や注意喚起アナウンスを音出力部１４０から音出力させてもよい。注意喚起アナウンスは、図１６にテキストで示した内容と同様の内容としてもよいし、異なる内容としてもよい。

また、例えば、色差が、第４設定値未満となる、または第４設定値以下となる設定条件を満たしたことに基づき、ファンファーレ音や祝福アナウンスを音出力部１４０から音出力させてもよい。

なお、上記の表示画面に示したモード切替タブＭＴ１の「すっぴんモード」のタブがユーザによってタップされた場合は、「すっぴんモード」のタブが反転表示され、「すっぴんモード」での色差履歴情報が表示されるようにすることができる。また、この場合は、例えば前述した図１４のような画面が表示され、その画面に注意マークＭＫ１が含まれている場合は、その注意マークＭＫ１がタップされたことに基づいて、例えば前述した図１５のような画面が表示されるようにすることができる。

報知する内容（報知情報）は、例えば、端末１００やサーバ２００の記憶部に、設定値と関連付けてデータベース化して記憶しておくようにすることができる。そして、色差が、いずれの設定値に基づく閾値条件を満たすかに応じて、対応する報知情報をデータベースから読み出して、その報知情報を表示させるようにすることができる。

なお、「すっぴんモード」の色差履歴情報と、「ファンデーションモード」の色差履歴情報とを、タイミングを対応させて１つのグラフに表示させる（重ねて表示させる）ようにしてもよい。さらに、前述した環境情報も、タイミングを対応させて表示させる（重ねて表示させる）ようにしてもよい。

本実施例において、ユーザの端末の表示部１３０は、色差（相対情報の一例）が設定条件を満たす場合、ユーザに対する報知情報を表示する。
これにより、相対情報が設定条件を満たす場合に、報知情報の表示によってユーザに対する報知を行うことが可能となる。

また、この場合、設定条件は、色差が、第１設定値以上となる、または第１設定値超となることを含み、報知情報は、第２色情報を理想として第１色情報が理想から乖離していることをユーザに注意喚起する情報を含むようにすることができる。
これにより、色差がある程度大きい値となっている場合に、第１色情報が理想から乖離していることをユーザに注意喚起することができる。

また、この場合、報知情報は、ユーザの肌の状態をユーザに注意喚起する情報を含むようにすることができる。
これにより、色差がある程度大きい値となっている場合に、ユーザの肌の状態をユーザに注意喚起することができる。

また、上記において、設定条件は、色差が、第１設定値よりも小さい第２設定値未満となる、または第１設定値よりも小さい第２設定値以下となることを含み、報知情報は、第２色情報を理想として第１色情報が理想に近いことをユーザに知らせる情報を含むようにすることができる。
これにより、色差がある程度小さい値となっている場合に、第１色情報が理想に近いことをユーザに知らせることができる。

また、この場合、報知情報は、ユーザの肌の状態が良好であることをユーザに知らせる情報を含むようにすることができる。
これにより、色差がある程度小さい値となっている場合に、ユーザの肌の状態が良好であることをユーザに知らせることができる。

（３）段階的な報知
上記の報知に関して、例えば、設定値として段階的な設定値を設定しておき、色差が、いずれの設定値以上、または設定値超となったかに基づいて、異なる報知情報による報知を行うようにしてもよい。前述したように、報知は、表示によって行ってもよいし、音出力によって行ってもよい。

例えば、上記の「すっぴんモード」において、色差が、最も低い設定値として設定された設定値Ａ以上（または設定値Ａ超）となった場合、端末は、「肌の状態が少し悪くなっていること」を注意喚起する報知情報を表示するようにする。また、端末は、色差が、設定値Ａよりも大きい設定値Ｂ以上（または設定値Ｂ超）となった場合は、「肌の状態がさらに悪くなっていること」を注意喚起する報知情報を表示するようにしてもよい。

なお、これは、色差が、設定値未満（または設定値以下）となる場合についても同様に適用可能である。この場合、端末は、段階的な設定値に対して、色差が、より低い設定値未満（または設定値以下）となるほど、肌の状態がより良い状態になっていることに関する報知を行うようにすることができる。
また、これらの内容は、「ファンデーションモード」についても同様に適用可能である。

（４）領域の設定
どの領域を対象として処理を行うかを、例えば、端末１００のユーザが端末１００に対する設定入力を行って設定することを可能としてもよい。
例えば、ユーザが、第１領域を頬とし、第２領域を手首の内側とする場合の結果を知りたいのであれば、第１領域として頬を選択し、第２領域として手首の内側を選択して、端末１００に設定させるようにしてもよい。

また、例えば、ユーザが、第１領域を首とし、第２領域を二の腕の内側とする場合の結果を知りたいのであれば、第１領域として首を選択し、第２領域として二の腕の内側を選択して、端末１００に設定させるようにしてもよい。

端末１００が色差を算出する場合、端末１００は、上記のようにユーザ入力に基づいて設定した第１領域と第２領域とを撮像画像から検出した上で、上記と同様の処理を行うようにすることができる。
また、サーバ２００が処理を行う場合、端末１００は、上記のようにユーザ入力に基づいて設定した第１領域と第２領域の設定情報を撮像画像のデータとともにサーバ２００に送信し、サーバ２００が、受信した設定情報に含まれる第１領域と第２領域とを撮像画像から検出した上で、上記と同様の処理を行うようにすることができる。

（５）端末での処理
上記のように、例えばクライアントサーバシステムを適用した処理を行うのに限らず、端末１００で上記の全ての処理を行うようにしてもよい。この場合は、例えば、図４に示した端末１００Ａの構成例を適用した図５に示した色情報処理に対して、図８に示したサーバ２００の処理を同様に適用して、端末１００Ａで同様の処理を行うようにしてもよい。

（６）表色系
上記の実施形態では、色情報として、ＨＳＬ色空間で定義される色相（Hue）・彩度（Saturation）・輝度（Lightness）で表現される色情報を用いたが、これに限定されない。

具体的には、例えば、ＹＣｂＣｒで表示される色情報を用いるようにしてもよい。また、ＲＧＢで表現される色情報を用いるようにしてもよい。なお、各々の表色系は、写像関係にある。例えば、ＹＣｂＣｒとＲＧＢとは、線形変換によって変換可能である。いずれの表色系を用いる場合であっても、上記の実施形態と同様の手法を適用できる。

（７）端末
ユーザの端末１００としては、前述したように、スマートフォン等の携帯電話機の他にも、カメラ、ＰＤＡ、パソコン、ナビゲーション装置、腕時計、各種のタブレット端末といった各種の装置に適用可能である。

また、ユーザの端末１００は、必ずしも撮像部１５０を備えなくてもよい。この場合は、例えば、端末１００は、撮像部１５０を備える外部装置から撮像画像のデータを取得し、取得した撮像画像のデータに基づいて、上記の画像処理を行うようにすることができる。

（８）記録媒体
上記の実施形態では、画像処理に係る各種のプログラムやデータが、記憶部に記憶されており、処理部がこれらのプログラムを読み出して実行することで、上記の各実施形態における画像処理が実現された。この場合、各装置の記憶部は、ＲＯＭやＥＥＰＲＯＭ、フラッシュメモリ、ハードディスク、ＲＡＭといった内部記憶装置の他に、メモリカード（ＳＤカード）やコンパクトフラッシュ（登録商標）カード、メモリスティック、ＵＳＢメモリ、ＣＤ－ＲＷ（光学ディスク）、ＭＯ（光磁気ディスク）といった記録媒体（記録メディア、外部記憶装置、記憶媒体）を有していてもよく、これらの記録媒体に上記の各種のプログラムやデータを記憶させることとしてもよい。

図１７は、この場合における記録媒体の一例を示す図である。
この例において、画像処理装置１には、メモリカード４３０を挿入するためのカードスロット４１０が設けられており、カードスロット４１０に挿入されたメモリカード４３０に記憶された情報を読み取る又はメモリカード４３０に情報を書き込むためのカードリーダライタ（Ｒ／Ｗ）４２０が設けられている。

カードリーダライタ４２０は、処理部の制御に従って、記憶部に記録されたプログラムやデータをメモリカード４３０に書き込む動作を行う。メモリカード４３０に記録されたプログラムやデータは、画像処理装置１以外の外部装置で読み取ることで、当該外部装置において上記の実施形態における画像処理を実現することが可能に構成されている。

なお、上記の記録媒体は、例えば、上記の実施例で説明した端末やサーバ、電子装置（電子機器）、色情報解析装置、情報処理装置といった各種の装置に適用することもできる。

［その他］
上記の実施例において、画像処理装置１を、肌解析装置等の装置として構成してもよい。また、前述した画像処理装置１と報知部とを備える装置として、肌荒れ報知装置等の装置を構成してもよい。

被写体を人間とする画像の第１色情報と第２色情報から色相対情報を算出し、その色相対情報を時系列表示するという技術は、様々なモニター方法に応用できる。一例によれば、上述の技術は、労働者の疲労度計測のための非接触バイタルセンシング技術として応用できる。労働者とは、特に限定されないが、過労が事故を招くような業務に従事する者である。そのような労働者は例えば大型車両の運転手である。

図１８は、疲労度計測アプリケーションの画面の例を示す図である。一例によれば、端末１００は、スマートフォンであり、インカメラ１０１と表示部１３０を有する。労働者は、例えば毎日インカメラ１０１で自身の画像を撮影する。撮影日の異なる複数の画像について、上述の方法で色相対情報が算出される。算出された色相対情報は、端末操作者の操作に応じて、時系列表示される。図１８の例では、２０２２年１２月５日から２０２２年１２月１１日までの色相対情報の推移が図示されている。色相対情報は、色差や色相対ベクトルであり、その値が大きいほど疲労度が高く、小さいほど疲労度が低いことが端末操作者に報知される。この例では、一定の疲労が認められる程度の疲労度として第１閾値ＴＨ１が設定され、深刻な疲労に達している疲労度として第２閾値ＴＨ２が設定されている。閾値を１つにしたり、閾値を段階的に複数設定したりすることができる。図１８の例では、１２月８日に第１閾値ＴＨ１を超える疲労度が検知され、１２月９日に第２閾値ＴＨ２を超える疲労度が検知され、１２月１０日に第１閾値ＴＨ１を超える閾値が検知されている。一例によれば、閾値を超える疲労度が検知された場合には、端末１００の通信機能によって外部の管理者等に報知することとしたり、表示部１３０に疲労度が高まっているので休息するよう促すメッセージを表示したり、当該メッセージを音声で読み上げることとしたりすることができる。

別の例によれば、エステ、ジム、健康食品などでの効果確認に、上述の技術を用いることができる。さらに別の例によれば、認知症患者などの意思を確認するための検出条件のひとつとして、上述の技術を活用することができる。

色相対情報の時系列データを生成する機能は処理回路によって実現され得る。すなわち、処理回路によって、色情報を算出し、色相対情報を算出し、色相対情報の時系列データを生成する。処理回路は専用のハードウェアであっても、メモリに格納されるプログラムを実行するCPU(Central Processing Unit、中央処理回路、処理装置、演算回路、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰともいう)であってもよい。

処理回路が専用のハードウェアである場合、処理回路は例えば単一回路、複合回路、プログラム化したプロセッサー、並列プログラム化したプロセッサー、ASIC、FPGA、またはこれらを組み合わせたものが該当する。

図１９は端末の構成例を示す図である。画像処理回路１０Ｂでは、カメラ１０Ａで撮影されたデータからJPEGなどのデータを生成する。画像処理回路１０Ｂで生成された画像データが処理回路１０Ｃに提供される。処理回路１０Ｃでは、上述の色相対情報の時系列データが生成される。そして、端末利用者の操作に応じて、当該時系列データがディスプレイ１０Ｄに表示される。

図２０には、処理回路がＣＰＵの場合の構成例が示されている。この場合、処理回路の各機能は、ソフトウェアまたはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ１０ｃに格納される。プロセッサ１０ｂはメモリ１０ｃに記憶されたプログラムを読み出して実行することにより各機能を実現する。すなわち、図２０の処理回路により実行されるときに、上述の色相対情報の時系列データが結果的に生成されることになるプログラムを格納するメモリ１０ｃを備える。これらのプログラムは図３、５、８等の手順及び方法をコンピュータに実行させるものであるともいえる。ここでメモリとは、例えばＲＡＭ、ＲＯＭ、フラッシュメモリー、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の、不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク又はＤＶＤ等が該当する。当然ながら、上記各機能の一部をハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。

１画像処理装置
１００端末
２００サーバ
３００ネットワーク

Claims

撮像画像に含まれる第１領域における第１色情報と、前記撮像画像に含まれる第２領域における第２色情報との差分に関する相対情報を算出する算出部と、
異なるタイミングで撮像された複数の撮像画像について時系列の前記相対情報を出力する出力部と、を備え、
前記第１領域と前記第２領域は前記撮像画像に含まれる同一の人間の異なる領域である、画像処理装置。
前記相対情報は、前記第１色情報と前記第２色情報の色差の情報を含む、請求項１に記載の画像処理装置。
前記出力部は、前記時系列の前記相対情報に加えて、前記撮像画像が撮像されたときの温度又は湿度の情報を端末に表示させる、請求項１又は２に記載の画像処理装置。
前記第１領域は顔の領域、頬の領域、又は首の領域であり、前記第２領域は二の腕の内側の領域又は手首の内側の領域である、請求項１に記載の画像処理装置。
前記算出部は、複数の撮像画像から前記相対情報を算出する、請求項１に記載の画像処理装置。