TW202326608A - 圖像處理裝置、終端及監控方法 - Google Patents

Abstract

本發明的課題在於能夠輸出基於顏色資訊的資訊。本發明的圖像處理裝置包括：算出部，算出和攝像圖像所包括的第一區域中的第一顏色資訊與所述攝像圖像所包括的第二區域中的第二顏色資訊的差量相關的相對資訊；及輸出部，關於在不同的時機進行攝像所得的多個攝像圖像，輸出時間序列的所述相對資訊。

Description

圖像處理裝置、終端及監控方法

本發明是有關於一種圖像處理裝置、終端及監控方法。

例如提出有如下一種圖像處理裝置：基於將被攝物設為人類的圖像的顏色資訊，對該人類的皮膚狀態或皮膚年齡等進行解析。例如專利文獻1揭示有一種圖像處理裝置，該圖像處理裝置對臉部區域進行檢測，結果根據臉部區域是否進入拍攝區域內的目標區域而對拍攝者指示攝像部的位置或朝向的修正。 [現有技術文獻] [專利文獻]

[專利文獻1]日本專利特開2008-118276號公報

根據本發明的一態樣，包括：算出部，算出和攝像圖像所包括的第一區域中的第一顏色資訊與所述攝像圖像所包括的第二區域中的第二顏色資訊的差量相關的相對資訊；及輸出部，關於在不同的時機進行攝像所得的多個攝像圖像，輸出時間序列的所述相對資訊。

以下，參照圖式對用以實施本發明的形態的一例進行說明。再者，在圖式的說明中，有時對相同的要素標註相同的符號，而省略重複的說明。但該實施方式中所記載的結構要素終究為例示，並非將本發明的範圍限定於該等。

＜實施方式＞ 以下，對用以實現本發明的圖像處理技術的實施方式的一例進行說明。

圖1是表示本實施方式的一態樣的圖像處理裝置1的功能結構的一例的方塊圖。 圖像處理裝置1例如可包括第一區域檢測部11、第一顏色資訊算出部12、第二區域檢測部13、第二顏色資訊算出部14、顏色相對資訊算出部15、及輸出部16而構成。該些例如為圖像處理裝置1的未圖示的處理部（處理裝置）或控制部（控制裝置）所包括的功能部（功能區塊），可包括中央處理單元（central processing unit，CPU）或數位訊號處理器（digital signal processor，DSP）等處理器或特殊應用積體電路（Application Specific Integrated Circuits，ASIC）等積體電路而構成。

第一區域檢測部11具有例如基於由未圖示的攝像部進行攝像所獲得的攝像圖像對該攝像圖像中的第一區域進行檢測的功能。

攝像圖像可設為利用任意相機進行攝像所獲得的攝像圖像。 下文藉由實施例進行詳細說明，攝像圖像例如亦可設為利用前置相機進行攝像所獲得的圖像。 前置相機可設為在拍攝者進行拍攝時能夠藉由未圖示的顯示部確認自身的相機，具體而言，例如可設為設置於裝置的殼體的正面側（包括顯示部的面側）的相機（內置相機）。

再者，亦可將攝像圖像設為利用後置相機進行攝像所獲得的攝像圖像。 後置相機可設為在拍攝者進行拍攝時無法藉由未圖示的顯示部確認自身的相機，具體而言，例如可設為設置於裝置的殼體的背面側（形成顯示部的面的相反側）的相機（背部相機、外置相機）。

第一顏色資訊算出部12例如具有如下功能：基於藉由第一區域檢測部11所檢測到的第一區域中的圖像資訊，算出例如以根據HSL顏色空間所定義的色相（Hue）-彩度（Saturation）-亮度（Lightness）所表現的顏色資訊。

第二區域檢測部13例如具有基於所述攝像圖像對該攝像圖像中的第二區域進行檢測的功能。

第二顏色資訊算出部14例如具有如下功能：基於藉由第二區域檢測部13所檢測到的第二區域中的圖像資訊，算出例如所述由HSL顏色空間所定義的顏色資訊。

第一區域檢測部11例如可以預先由使用者設定或由程式規定的區域作為第一區域，而自攝像圖像檢測第一區域。第二區域檢測部13亦為同樣。 下文對第一區域或第二區域的具體例進行說明。

顏色相對資訊算出部15例如具有如下功能：基於藉由第一顏色資訊算出部12所算出的第一顏色資訊與藉由第二顏色資訊算出部14所算出的第二顏色資訊，算出作為與其相對關係相關的資訊的顏色相對資訊。

在顏色相對資訊中，作為一個例子而可包括基於第一顏色資訊與第二顏色資訊的顏色的距離即色差。色差為標量值，例如可根據第一顏色資訊與第二顏色資訊，作為歐氏距離而算出。

再者，除了色差以外或取而代之，顏色相對資訊可包括以向量表示的顏色相對向量。顏色相對向量例如可作為三維（例如所述HSL顏色空間的分量）的第一顏色資訊與三維的第二顏色資訊的差向量而算出。

輸出部16具有輸出藉由顏色相對資訊算出部15所算出的顏色相對資訊的功能。 雖然省略圖示，但可構成在圖像處理裝置的內部或其外部儲積藉由顏色相對資訊算出部15所算出的顏色相對資訊並記憶的記憶體，例如可使記憶體按照時間序列記憶顏色相對資訊。然後，輸出部16例如可對於在不同的時機進行攝像所獲得的多個攝像圖像，按照時間序列輸出在記憶體中記憶的相對資訊。

再者，第一區域檢測部11與第二區域檢測部13可構成為具有相同的功能（若輸入圖像則輸出對該圖像中的特定區域進行檢測（提取）所得的圖像的功能）的單一的區域檢測部。

而且，第一顏色資訊算出部12與第二顏色資訊算出部14可構成為具有相同的功能（若輸入圖像則輸出顏色資訊的功能）的單一的顏色資訊算出部。

＜原理＞ 第一區域及第二區域例如可設為攝像圖像所包括的不同的兩個區域。 而且，雖然終究為一例，但第一區域及第二區域例如可設為攝像圖像所包括的同一被攝物的不同區域（同一被攝物所包括的不同的區域）。

進行攝像的狀況或環境可能每次不同，因此由於光的影響等，即便在對相同的被攝物進行攝像的情況下，亦難以根據該攝像圖像確定所述被攝物的顏色。即，若在攝像圖像中在圖像處理裝置側存在顏色已知的物體，則不存在能夠設為比較對象（基準）的顏色，因此難以根據攝像圖像確定被攝物的顏色。雖然只要有色標或比色圖表等即可，但對使用者而言比較麻煩。

因此，在本實施方式中，並非確定被攝物的顏色，而是對於各攝像圖像，對於該攝像圖像所包括的同一被攝物，算出和所述第一區域中的第一顏色資訊與所述第二區域中的第二顏色資訊的相對關係相關的相對資訊（顏色相對資訊）。然後，可根據所算出的相對資訊，分析第一區域的顏色與第二區域的顏色背離何種程度。 在同一被攝物中，可假定攝像環境等引起的光的影響亦相同、或相近。因此，可認為顏色相對資訊是不會受到攝像環境等所影響、或不易受到影響的資訊。

圖2是表示使用色差作為自輸出部16輸出的顏色相對資訊的情況下的色差的時間序列變化的圖，以橫軸作為時間軸（t），以縱軸作為色差進行圖示。而且，此處將色差圖示為連續的曲線的圖表。 色差越接近零，意指第一區域的顏色越接近第二區域的顏色。反之，色差越遠離零，意指第一區域的顏色越與第二區域的顏色背離。以下對該用途進行簡單說明，並且下文在實施例中進行詳細說明。

被攝物例如可設為包括人類（人、人物）在內的動物（其中此處人類亦包括於動物中）。 此處例示以人類作為被攝物的情況。在該情況下，第一區域與第二區域例如可設為攝像圖像所包括的同一人類中的不同的區域。

在該情況下，第一區域例如可設為 ・臉部區域 ・頸部區域 的任一者或兩者。

而且，第二區域例如可設為 ・臂部的內側的區域。 再者，臂部是指肩至手腕。

而且，臉部區域例如可設為 ・面頰區域。

而且，臂部的內側的區域例如可設為 上臂（上臂部）的內側的區域 ・手腕的內側的區域 的任一者或兩者。

而且，第一區域與第二區域的組合可設為所述任意的組合。

再者，在本說明書中，例如基於醫學上的定義，以人類的肘為界，將靠近肩者稱為「上臂（上臂部）」，將靠近手者稱為「前臂」。 例示臂部的內側的區域的原因在於認為臂部的內側不易曬黑（膚色不易變化）。但即便為臂部的內側，若穿著半袖衣服，前臂的內側有時亦會曬黑。因此，作為臂部的內側，可使用上臂（上臂部）的內側。而且，手腕存在不易受到曬黑的影響的可能性，因此即便為前臂，亦可設為使用手腕的內側。

認為上臂的內側或手腕的內側尤其不易曬黑，而容易維持膚色。因此，下文利用實施例進行詳細說明，將上臂的內側或手腕的內側的顏色設為理想的膚色（受到日光等干擾引起的影響之前的膚色），可藉由所述顏色相對資訊分析相對於該上臂的內側或手腕的內側的顏色，容易受到日光等的影響的臉部（面頰）或頸部的顏色背離了何種程度。 就最近的美容化化妝品銷售的傾向而言，例如不限於人類的臉部（面頰）的區域，可能存在人類的頸部區域亦成為抗衰老等美膚的對象區域的情況。

再者，可將臉部區域設為面頰以外的區域。 而且，並不限定於人類，可將被攝物設為人類以外的動物。 而且，並不限定於動物，可將被攝物設為物體。

而且，並不限於以攝像圖像所包括的同一被攝物的區域中的不同的第一區域與第二區域作為對象，例如亦可以攝像圖像所包括的任意不同的第一區域與第二區域作為對象，算出顏色相對資訊，而分析顏色背離了何種程度。例如，可將一被攝物的一部分區域設為第一區域，將另一被攝物的一部分區域設為第二區域，而分析顏色背離了何種程度。

＜圖像處理的順序＞ 圖3是表示本實施方式中的圖像處理的順序例的流程圖。 圖3的流程圖所表示的處理可藉由例如圖像處理裝置1的未圖示的處理部使未圖示的隨機存取記憶體（random access memory，RAM）等讀取儲存於未圖示的記憶部中的圖像處理程式的程式碼並執行而實現。

再者，在圖1中將記憶部自圖像處理裝置1的結構要素中排除而表示，但亦可在圖像處理裝置1的結構要素中包括記憶部。

而且，以下所說明的流程圖終究僅表示本實施方式中的圖像處理的順序的一例，亦可追加其他步驟或刪除一部分步驟。

首先，圖像處理裝置1判定是否輸入了攝像圖像（A1）。然後，若判定為已輸入（A1：是），則第一區域檢測部11進行自所輸入的攝像圖像檢測第一區域的處理（A3）。在該處理中，第一區域檢測部11例如進行區域提取處理，並檢測第一區域。

在區域提取處理中，例如可使用關鍵點檢測（Key Point Detection）的方法檢測第一區域。而且，亦可使用作為深度學習的一方法的全卷積網路（Fully Convolutional Network，FCN）或SegNet、U-Net等方法，對攝像圖像執行語義分割。然後，以分類為第一區域的像素的位置與像素的顏色資訊作為提取結果。 例如，若將第一區域設為面頰區域，則以分類為面頰區域的像素的位置與像素的顏色資訊作為提取結果。

再者，亦可使用例如方向梯度直方圖（Histogram of Oriented Gradients，HOG）特徵量對攝像圖像進行特徵提取，使用支持向量機（Support Vector Machine，SVM）等識別器進行第一區域的提取。 而且，在第一區域為皮膚的情況下，亦可使用顏色直方圖對像素的膚色確定性進行評價，自攝像圖像提取第一區域。亦可對藉由SVM獲得的提取結果評價膚色確定性。 而且，亦可將深度學習的結果與該些結果組合而進行區域提取。

同樣地，第二區域檢測部13自攝像圖像檢測第二區域（A5）。此亦可藉由例如與所述同樣的區域提取處理而實現。例如，若將第二區域設為上臂的內側的區域或手腕的內側的區域，則藉由關鍵點檢測（Key Point Detection）或語義分割的方法等，以分類為該些區域的像素的位置與像素的顏色資訊作為提取結果。

再者，圖像處理裝置1例如可基於語義分割的結果，一次性執行第一區域的提取與第二區域的提取。

繼而，圖像處理裝置1判定第一區域與第二區域的檢測是否成功（A7）。該判定例如可藉由如下方式實現：基於A3的檢測結果（提取結果）判定第一區域是否佔據攝像圖像的設定比例，並基於A5的檢測結果（提取結果）判定第二區域是否佔據攝像圖像的設定比例。 再者，亦可藉由判定第一區域與第二區域是否佔據攝像圖像的設定比例進行A7的判定。

若判定至少任一檢測失敗（A7：否），則圖像處理裝置1使處理返回A1。 再者，在該情況下，圖像處理裝置1可進行某種錯誤處理後，使處理返回A1。由於亦存在攝像存在問題的可能性，故而亦可輸出提醒使用者注意該情況的資訊等。

在第一區域與第二區域的檢測成功的情況下（A7：是），第一顏色資訊算出部12基於A3的檢測結果算出第一顏色資訊（A9）。例如針對所設定的大小的每個圖像塊（圖像的小區域）算出各像素的顏色資訊的平均值。然後，基於該平均值，例如算出規定的顏色空間中的各圖像塊的顏色資訊（第一顏色資訊）。

同樣地，第二顏色資訊算出部14基於A5的檢測結果算出第二顏色資訊（A11）。該方法例如可設為與A9相同。

繼而，顏色相對資訊算出部15基於A9中所算出的第一顏色資訊與A11中所算出的第二顏色資訊而算出顏色相對資訊（A13）。 例如，若作為顏色相對資訊而計算色差，則顏色相對資訊算出部15算出A9中所算出的第一顏色資訊與A11中所算出的第二顏色資訊的歐氏距離等而算出色差。 而且，例如若作為顏色相對資訊而計算顏色相對向量，則顏色相對資訊算出部15算出A9中所算出的三維的顏色資訊與A11中所算出的三維的顏色資訊的差的向量（三維）。

繼而，圖像處理裝置1判定顏色相對資訊的輸出條件是否成立（A15）。若判定輸出條件不成立（A15：否），則圖像處理裝置1使處理返回A1。另一方面，若判定輸出條件成立（A15：是），則圖像處理裝置1結束處理。

輸出條件可預先確定各種條件，例如針對各拍攝圖像進行輸出、對所設定的數量的攝像圖像算出顏色相對資訊、對所設定的期間量的攝像圖像算出顏色相對資訊等。

再者，圖像處理裝置1在對所設定的數量的拍攝圖像算出顏色相對資訊的情況下，例如可輸出針對各拍攝圖像所算出的各顏色相對資訊的平均值或中央值等。在對所設定的期間量的攝像圖像算出顏色相對資訊的情況下亦為同樣。即，圖像處理裝置1可自多個拍攝圖像輸出一個顏色相對資訊。藉由自多個拍攝圖像輸出一個顏色相對資訊，而可期待能夠進一步減少攝像環境的影響。

而且，在本處理中，設為在A3的步驟後執行A5的步驟，但該順序亦可設為相反。A9、A11的步驟亦為同樣。

[實施例] （1）終端的實施例 對應用所述圖像處理裝置1或包括所述圖像處理裝置1的終端的實施例進行說明。終端例如可設為包括智慧型手機在內的行動電話、相機、個人數位助理（Personal Digital Assistant，PDA）、個人電腦、導航裝置、手錶、各種平板終端等使用者所擁有的終端裝置。 此處，作為一例，對作為附相機功能的（附攝像功能的）行動電話的一種的智慧型手機的實施例進行說明。在說明方面，圖示為終端100進行說明。 但能夠應用本發明的實施例並不限定於以下所說明的實施例。

＜功能結構＞ 圖4是表示作為本實施例中的作為智慧型手機的終端100的一例的終端100A的功能結構的一例的圖。 終端100例如包括處理部110、操作部120、觸控面板125、顯示部130、聲音輸出部140、攝像部150、環境資訊檢測部160、鐘錶部170、通訊部180、及記憶部190。

處理部110是依照記憶於記憶部190中的系統程式等各種程式總體控制終端100的各部、或進行與圖像處理相關的各種處理的處理裝置，包括CPU或DSP等處理器或者ASIC等積體電路而構成。

處理部110例如包括第一區域檢測部111、第二區域檢測部112、第一顏色資訊算出部113、第二顏色資訊算出部114、色差算出部115、及顯示控制部116。第一區域檢測部111～第二顏色資訊算出部114對應於上文所述的第一區域檢測部11～第二顏色資訊算出部14。

色差算出部115是上文所述的顏色相對資訊算出部15的一種，算出第一顏色資訊與第二顏色資訊的色差。

顯示控制部116進行控制以使顯示部130顯示藉由色差算出部115所算出且以時間序列輸出的色差的資訊。

例如可將處理部110為了進行各種控制（顯示控制、聲音輸出控制、通訊控制等）而將顏色相對資訊（該例中為色差）傳送至各功能部設為輸出，將圖1的圖像處理裝置1的輸出部16設為包括顯示控制部116的處理部110。 而且，例如亦可將圖1的圖像處理裝置1的輸出部16設為顯示部130或聲音輸出部140、通訊部180等功能部。

操作部120包括操作按鈕或操作開關等用以供使用者對終端100進行各種操作輸入的輸入裝置而構成。而且，操作部120包括與顯示部130一體構成的觸控面板125，該觸控面板125作為使用者與終端100之間的輸入介面而發揮功能。自操作部120向處理部輸出依照使用者操作的操作訊號。

顯示部130是包括液晶顯示器（Liquid Crystal Display，LCD）等所構成的顯示裝置，基於自顯示控制部116輸出的顯示訊號進行各種顯示。在本實施例中，顯示部130與觸控面板125一體構成而形成觸控螢幕。

聲音輸出部140是包括擴音器等所構成的聲音輸出裝置，基於自處理部110輸出的聲音輸出訊號進行各種聲音輸出。

攝像部150是以能夠對任意場景的圖像進行攝像的方式構成的攝像設備，包括電荷耦合元件（Charge Coupled Device，CCD）影像感測器或互補金屬氧化物半導體（Complementary MOS，CMOS）影像感測器等攝像元件（半導體元件）而構成。攝像部150藉由未圖示的透鏡使自攝像對象物發出的光在攝像元件的光接收平面成像，並藉由光電轉換將圖像的光的明暗轉換為電訊號。經轉換的電訊號藉由未圖示的模數（Analog Digital，A/D）轉換器而轉換為數位訊號，並被輸出至處理部。攝像部150例如配置於終端100的觸控面板125所存在一側。亦可稱為前置相機。

再者，亦可將攝像部150配置於不存在終端100的觸控面板125的背面，而構成為包括在攝像時能夠用作光源的閃光燈（閃光儀）的攝像部（後置相機）。該閃光燈可為發光時的顏色溫度已知，或設為能夠藉由處理部對顏色溫度進行調光的閃光燈。 而且，亦可包括所述前置相機與後置相機的兩個攝像部。 而且，在該些攝像部進行攝像時，顯示控制部116可使顯示部130顯示實時取景圖像。

環境資訊檢測部160檢測與自有裝置的環境相關的資訊（以下稱為「環境資訊」）。環境資訊例如可包括溫度與濕度中的至少任一者。

鐘錶部170為終端100的內置鐘錶，輸出時刻資訊（計時資訊）。鐘錶部170例如包括利用水晶振盪器的時鐘等而構成。 再者，鐘錶部170可包括應用網路標識及時區（Network Identity and Time Zone，NITZ）標準等的時鐘而構成。

通訊部180是用以在與外部的資訊處理裝置之間發送接收裝置內部所利用的資訊的通訊裝置。作為通訊部180的通訊方式，可應用經由依照規定的通訊標準的線纜進行有線連接的形式、或經由兼用作被稱為充電座的充電器的中間裝置而進行連接的形式、利用無線通訊進行無線連接的形式等各種方式。

記憶部190是包括唯讀記憶體（read only memory，ROM）或電子抹除式可複寫唯讀記憶體（electrically erasable programmable read only memory，EEPROM）、快閃記憶體、RAM等揮發性或不揮發性的記憶體或者硬碟裝置等而構成的記憶裝置。

在本實施例中，在記憶部190中記憶例如顏色資訊處理程式191、色差算出處理程式193、圖像用緩衝區195、及色差歷史資料197。

顏色資訊處理程式191是藉由處理部110進行讀取並作為顏色資訊處理而執行的程式。 色差算出處理程式193是藉由處理部110進行讀取並作為色差算出處理而執行的程式。

圖像用緩衝區195例如為記憶藉由攝像部150進行攝像的攝像圖像的緩衝區。

色差歷史資料197例如為將藉由色差算出部115所算出的色差與藉由鐘錶部170所計時的日期時間（或時刻）建立關聯而記憶的資料。

再者，除了該些功能部以外，例如亦可設置檢測三軸的繞軸角速度的陀螺儀感測器等。

＜處理＞ 圖5是表示本實施例中藉由終端100A的處理部110所執行的顏色資訊處理的流程的一例的流程圖。 首先，處理部110判定是否藉由攝像部150進行攝像（B1），若判定已進行攝像（B1：是），則將攝像圖像的資料記憶於圖像用緩衝區195中。然後，色差算出部115進行色差算出處理（B3）。具體而言，基於圖3所例示的處理等，對所述攝像圖像算出色差作為顏色相對資訊。然後，處理部110將所算出的色差與鐘錶部170的計時資訊（日期時間等）建立關聯並記憶於色差歷史資料197中（B5）。

再者，處理部110亦可藉由攝像部150獲得多個攝像圖像的資料，基於記憶於圖像用緩衝區195中的多個攝像圖像的資料，算出顏色相對資訊（色差）。

其後，處理部110判定是否顯示色差歷史資訊（B7）。具體而言，例如判定是否經由操作部120或觸控面板125等而由使用者進行輸入以顯示色差歷史資訊。 若判定顯示色差歷史資訊（B7：是），則處理部基於記憶於色差歷史資料197中的色差的歷史，使顯示部130顯示色差歷史資訊（B9）。

繼而，處理部110判定是否結束處理，若判定繼續處理（B11：否），則使處理返回B1。 另一方面，若判定結束處理（B11：是），則處理部110結束處理。

若判定未藉由攝像部150進行攝像（B1：否），則處理部110使處理進入B7。 而且，若判定不顯示色差歷史資訊（B7：否），則處理部110使處理進入B11。

再者，終端100A在顯示色差歷史資訊時，可基於鐘錶部170的計時資訊，與攝像部150的攝像日期時間或攝像時刻建立關聯而顯示色差。

而且，終端100A在顯示色差歷史資訊時，可將色差與藉由環境資訊檢測部160所檢測到的環境資訊建立關聯而顯示。更具體而言，使用與攝像部150的攝像日期時間或攝像時刻相對應的日期時間或時刻下的環境資訊檢測部160的檢測結果，使日期時間或時刻對應地顯示色差與環境資訊。 再者，作為環境資訊，可顯示溫度及濕度中的任一資訊。而且，環境資訊可經由通訊部180而自未圖示的環境資訊提供伺服器獲得。

而且，在所述處理中，示出算出色差（標量值）作為顏色相對資訊進行顯示的例子，但不限定於此。如上文所述，亦可算出顏色相對向量作為顏色相對資訊進行顯示。例如，在顏色空間中，可以箭頭表示顏色相對向量。

再者，關於該些顯示畫面例，在以下實施例中，圖示為皮膚解析應用程式的顯示畫面進行說明。

（2）終端與伺服器的實施例 繼而，對應用所述圖像處理裝置1或包括所述圖像處理裝置1的伺服器、及包括伺服器與終端的系統的實施例進行說明。伺服器例如可設為與上文所述的使用者的終端進行通訊的伺服器（例如客戶端伺服器系統中的伺服器）。

此處，作為客戶端伺服器系統的一例，而對使用者的終端與伺服器進行通訊並藉由對人類的皮膚進行解析的應用程式（以下稱為「皮膚解析應用程式」）顯示顏色相對資訊的實施例進行說明。 再者，皮膚解析應用程式（應用程式的程式）可設為自伺服器下載並記憶於終端的記憶部中而執行的應用程式，亦可設為無需下載而執行的應用程式（例如Web應用程式）。

＜功能結構＞ 圖6是表示作為本實施例中的終端100的一例的終端100B的功能結構的一例的圖。 再者，對與圖4所示的終端100A相同的結構要素標註相同的符號，並省略再次的說明。 在本實施例中，終端100B的處理部110例如包括上文所述的顯示控制部116作為功能部。

在本實施例中，終端100B的通訊部180經由網路300而和管理與皮膚解析應用程式相關的各種資訊的伺服器200進行通訊。

在本實施例中，在終端100B的記憶部190中例如記憶藉由處理部110進行讀取並作為皮膚解析應用程式處理所執行的皮膚解析應用程式處理程式192、作為與利用該皮膚解析應用程式的終端100B或該終端100B的使用者的賬戶相關的資訊的應用程式ID194、及上文所述的圖像用緩衝區195。

再者，在本實施例中，終端100B可不包括環境資訊檢測部160，而是例如自伺服器200獲得環境資訊。

圖7是表示本實施例中的伺服器200的功能結構的一例的圖。 伺服器200例如包括處理部210、顯示部230、環境資訊獲得部260、鐘錶部270、通訊部280、及記憶部290，該些經由匯流排B連接。 關於處理部210、顯示部230、鐘錶部270、通訊部280、記憶部290的HW結構，可設為與終端100相同，因此省略說明。

環境資訊獲得部260例如獲得藉由自有裝置所包括的環境資訊檢測部（溫度感測器、濕度感測器等）檢測到的環境資訊，或自提供環境資訊的未圖示的環境資訊提供伺服器獲得環境資訊。在自環境資訊提供伺服器獲得的情況下，可將通訊部設為環境資訊獲得部。

通訊部280基於處理部210的控制，經由網路300而在與包括終端100B在內的其他裝置之間接收發送資訊（資料）。

在記憶部290中記憶例如利用皮膚解析應用程式的終端100B、或與終端100B的使用者相關的管理用的資料。 而且，例如關於各應用程式ID，將與鐘錶部270的計時資訊建立關聯並記憶有色差的色差歷史資料進行資料庫化而記憶於記憶部290中。

再者，在本實施例中，伺服器200可不包括環境資訊獲得部260，而自終端100B獲得環境資訊。

＜處理＞ 圖8是表示本實施例中各裝置所執行的處理的流程的一例的流程圖。在該圖中，所面向的左側表示終端100B的處理部110所執行的皮膚解析應用程式處理的一例，所面向的右側表示與伺服器200的處理部210所執行的皮膚解析應用程式相關的管理處理的一例。

首先，終端100B的處理部110藉由皮膚解析應用程式判定是否已藉由攝像部150進行攝像（C1）。然後，若判定已進行攝像（C1：是），則終端100B的處理部110例如藉由通訊部180將包括記憶於記憶部190中的應用程式ID194與攝像圖像的資料的攝像資料發送至伺服器200（C3）。再者，終端100B的處理部110亦可藉由攝像部150重複進行攝像，並發送包括多個攝像圖像的資料的攝像資料。

伺服器200的處理部210判定是否藉由通訊部280自終端100B接收到攝像資料（S1），若判定為已接收（S1：是），則依照記憶於記憶部290中的未圖示的色差算出處理程式，根據自終端100B接收到的攝像資料所包括的攝像圖像，進行例如算出第一顏色資訊與第二顏色資訊的色差的處理（S3）。然後，伺服器200的處理部210將所算出的色差與鐘錶部270的計時資訊（日期時間等）建立關聯，作為與所接收到的攝像資料所包括的應用程式ID相對應的色差歷史資料而進行記憶（S5）。

在C3後，終端100B的處理部110判定是否藉由皮膚解析應用程式顯示色差歷史資訊（C5）。具體而言，例如判定是否藉由皮膚解析應用程式並經由操作部120或觸控面板125等而由使用者進行輸入以顯示色差歷史資訊。 若判定為顯示色差歷史資訊（C5：是），則終端100B的處理部110例如藉由通訊部180要求伺服器200顯示包括記憶於記憶部190中的應用程式ID194與要求顯示色差歷史資訊的資訊在內的色差歷史資訊（C7）。

在S5後，伺服器200的處理部210判定是否有來自終端100B的色差歷史資訊顯示要求（S7），若判定為有要求（S7：是），則基於記憶於記憶部290中且與所接收到的應用程式ID194相對應的色差歷史資料，例如藉由通訊部280將包括所設定的期間量的色差的歷史在內的色差歷史資訊發送至終端100B（S9）。

在C7後，若藉由通訊部180而自伺服器200接收色差歷史資訊，則終端100B的處理部110藉由皮膚解析應用程式將所接收到的色差歷史資訊顯示於顯示部130（C9）。

其後，終端100B的處理部110判定是否結束處理（C11），若判定繼續處理（C11：否），則使處理返回C1。 另一方面，若判定結束處理（C11：是），終端100B的處理部110結束皮膚解析應用程式的處理。

在S9後，伺服器200的處理部210判定是否結束處理（S11），若判定繼續處理（S11：否），則使處理返回S1。 另一方面，若判定結束處理（S11：是），則伺服器200的處理部210結束處理。

若判定未藉由攝像部150進行攝像（C1：否），則終端100B的處理部110使處理進入C5。 而且，若判定不顯示色差歷史資訊（C5：否），則終端100B的處理部110使處理進入C11。

若判定未接收攝像資料（S1：否），伺服器200的處理部210使處理進入S7。 而且，若判定無色差歷史資訊顯示要求（S7：否），則伺服器200的處理部210使處理進入S11。

再者，在本處理中，僅對一個終端100B進行圖示，但利用皮膚解析應用程式的各終端100可進行同樣的處理。而且，伺服器200可對各終端100進行同樣的處理。

而且，在所述處理中，示出算出色差（標量值）作為顏色相對資訊進行顯示的例子，但不限定於此。如上文所述，亦可算出顏色相對向量作為顏色相對資訊進行顯示。例如，在顏色空間中，可以箭頭表示顏色相對向量。

＜顯示畫面＞ 圖9是表示本實施例中顯示於終端100的顯示部130的皮膚解析應用程式的畫面的一例的圖。 該畫面是表示使用者進行了利用皮膚解析應用程式啟動攝像部150的輸入的情況下所顯示的導航畫面的一例的圖（圖5的B1、圖8的C1），在畫面上部顯示有文字步驟.1及用於以插圖傳達如何進行拍攝的導航區域R1。在該插圖中，示出女性以右手手持終端100並抬起相反的臂部進行拍攝的情況。而且，在插圖的下方顯示有文字「請以納入面頰與上臂的內側的方式進行拍攝」作為更詳細的導航，在其下方顯示有用以進入下一畫面的「OK」按鈕BT1。

若點擊「OK」按鈕BT1，則例如將顯示切換為如圖10的畫面（圖5的B1、圖8的C1）。 該畫面為表示用於使用者藉由皮膚解析應用程式進行攝像的攝像畫面的一例的圖，例如配置有前置相機的實時取景圖像、及用以進行攝像的例如以同心圓表示的攝像按鈕BT3。而且，與圖9同樣地，在其下方顯示有文字「請以納入面頰與上臂的內側的方式進行拍攝」。在該畫面中，使用者可採用圖9所示的姿勢後，按下攝像按鈕BT3而使攝像部150進行攝像。

圖11是表示用於使用者進行利用皮膚解析應用程式顯示色差歷史資訊的輸入的情況下所顯示的色差歷史資訊顯示畫面的一例的圖（圖5的B9、圖8的C5：是～C9）。 在該畫面中，示出點擊了設置於畫面上部的皮膚解析應用程式中具有使用者能夠利用的多個功能的標籤中的「皮膚圖表」的標籤的狀態。 在畫面中央部，以圖表表示過去規定期間（在該例中為「2021年11月1日」～「2021年11月7日」為止的期間）中的色差的歷史。在該例中，在所述7天期間由使用者每天進行拍攝，利用將橫軸設為日期、將縱軸設為色差的圖表（該例中為摺線圖）表示每天的色差的變化。 再者，並不限於以摺線圖表示，亦可以條形圖等表示。而且，亦可表示數值本身而非圖表。

而且，在該例中，與縱軸建立關聯而顯示文字「皮膚的情況」。而且，在縱軸的上部的一側顯示表示皮膚狀態不良的不良圖標IC1（該例中為並非笑臉的臉部圖標），在縱軸的下部的一側顯示表示皮膚狀態良好的良好圖標IC2（該例中為笑臉圖標）。並且，自不良圖標IC1朝向良好圖標IC2，顯示有用以階段性表示皮膚狀態變得良好的多個下三角形的標記。

在該例中，將使用者的面頰區域設為判定對象區域（測定對象區域）。而且，將使用者的上臂的內側的區域設為比較對象區域。並且，將使用者的面頰區域設為第一區域，將使用者的上臂的區域設為第二區域，進行上文所述的處理。

如上文所述，認為上臂的內側不易受到日光等干擾的影響，而容易維持膚色。因此，在該例中，將上臂的內側的顏色設為使用者作為目標的膚色（理想值）。即，將上臂的內側的區域的顏色設為美白的基準。然後，基於由使用者進行攝像所獲得的攝像圖像，以色差作為指標值，向使用者報知使用者的面頰的顏色自上臂的內側的顏色背離了何種程度。 根據所述，可認為色差越小，表示使用者的面頰的顏色越接近理想值。反之，可認為色差越大，使用者的面頰的顏色越偏離理想值。

圖12是表示圖11的色差歷史資訊顯示畫面的其他例的圖。 在該畫面中，在圖11所示的圖表中與色差的時間序列的圖表建立關聯而顯示了作為環境資訊的溫度及濕度的時間序列的圖表。即，使時機相對應，顯示色差的資訊與環境資訊。 藉由進行此種顯示，使用者可將時間序列的色差與時間序列的溫度或濕度進行對比，而能夠由使用者分析在何種環境下皮膚狀態有變得良好的傾向，相反地，在何種環境下皮膚狀態有變差的傾向。 再者，作為環境資訊，可顯示溫度及濕度中的任一資訊。

在該情況下，例如在圖8的S9的步驟中，伺服器200的處理部210可將時間序列的色差的資訊與藉由環境資訊獲得部260所獲得的環境資訊發送至終端100。而且，在該情況下，伺服器200可基於預先登錄的使用者所居住的地域的資訊或自終端100發送的終端100的位置的資訊，獲得該地域或終端100的位置中的環境資訊，並發送至終端100。即，在該例中，終端100可自伺服器200獲得環境資訊。

再者，亦可不為如上所述，而是伺服器200自終端100接收包括環境資訊的攝像資料（圖8的C3、S1：是），將自終端100接收到的環境資訊記憶於記憶部290中。然後，可將使色差歷史資訊與環境資訊建立關聯所得的資訊發送至終端100（圖8的S9）。

＜所述實施例的作用、效果＞ 在所述實施例中，終端（圖像處理裝置的一例）算出攝像圖像所包括的第一區域中的第一顏色資訊與攝像圖像所包括的第二區域中的第二顏色資訊。然後，終端算出所算出的第一顏色資訊與第二顏色資訊的顏色相對資訊（與相對關係相關的相對資訊的一例）。然後，終端關於在不同的時機進行攝像所獲得的多個攝像圖像，輸出時間序列的色差。 藉此，終端能夠算出和攝像圖像所包括的第一區域中的第一顏色資訊與攝像圖像所包括的第二區域中的第二顏色資訊的相對關係相關的相對資訊。而且，關於在不同的時機進行攝像所獲得的多個攝像圖像，可輸出時間序列的相對資訊。

而且，在該情況下，顏色相對資訊例如可設為色差的資訊。 藉此，終端能夠關於在不同的時機進行攝像所獲得的多個攝像圖像而輸出時間序列的色差的資訊。

而且，在該情況下，第一區域及第二區域可設為同一被攝物的不同區域。 藉此，能夠算出基於同一被攝物的不同區域的顏色資訊的顏色相對資訊。而且，例如可將第二區域設為比較對象區域，標準設為判斷同一被攝物的第一區域的顏色自同一被攝物的第二區域的顏色背離了何種程度。

而且，在該情況下，第一區域可設為臉部區域。 藉此，標準可設為判斷同一被攝物的臉部區域的顏色自與同一被攝物的臉部區域不同的區域的顏色背離了何種程度。

而且，在該情況下，第一區域可設為面頰區域。 藉此，標準可設為判斷同一被攝物的面頰區域的顏色自與同一被攝物的臉部區域不同的區域的顏色背離了何種程度。

而且，在該情況下，第一區域可設為頸部區域。 藉此，標準可設為判斷同一被攝物的頸部區域的顏色自與同一被攝物的頸部區域不同的區域的顏色背離了何種程度。

而且，在該情況下，第二區域可設為臂部的內側的區域。 藉此，標準可設為判斷與同一被攝物的臂部的內側不同的區域的顏色自同一被攝物的臂部的內側的區域的顏色背離了何種程度。

而且，在該情況下，第二區域可設為上臂的內側的區域、或手腕的內側的區域。 藉此，標準可設為判斷與同一被攝物的上臂的內側的區域不同的區域的顏色自同一被攝物的臂部的內側的區域的顏色背離了何種程度。而且，標準可設為判斷與同一被攝物的手腕的內側的區域不同的區域的顏色自同一被攝物的手腕的內側的區域的顏色背離了何種程度。

而且，在所述實施例中，使用者的終端可包括所述任一圖像處理裝置、對所述攝像圖像進行攝像的攝像部150、及顯示顏色相對資訊的顯示部130。 藉此，能夠將基於由攝像部進行攝像所獲得的攝像圖像所算出的相對資訊顯示於顯示部，而使使用者識別。

而且，在該情況下，顯示部130可與攝像日期時間或攝像時刻的資訊（能夠確定時機的資訊的一例）建立關聯而顯示顏色相對資訊。 藉此，能夠使使用者識別攝像的時機、及相對資訊。由於能夠參照攝像的時機，故而能夠提高使用者的便利性。

而且，在該情況下，使用者的終端可進而包括自環境資訊檢測部160或伺服器接收環境資訊的通訊部180（獲得環境資訊的環境資訊獲得部的一例），顯示部130可將顏色相對資訊與環境資訊建立關聯進行顯示。 藉此，能夠使使用者識別所獲得的環境資訊、及相對資訊。由於能夠參照環境資訊，故而能夠提高使用者的便利性。

而且，在所述實施例中，伺服器（圖像處理裝置的一例）算出攝像圖像所包括的第一區域中的第一顏色資訊與攝像圖像所包括的第二區域中的第二顏色資訊。然後，伺服器算出所算出的第一顏色資訊與第二顏色資訊的顏色相對資訊（與相對關係相關的相對資訊的一例）。然後，伺服器關於在不同的時機進行攝像所獲得的多個攝像圖像，輸出時間序列的色差。 藉此，伺服器能夠算出和攝像圖像所包括的第一區域中的第一顏色資訊與攝像圖像所包括的第二區域中的第二顏色資訊的相對關係相關的相對資訊。而且，關於在不同的時機進行攝像所獲得的多個攝像圖像，可輸出時間序列的相對資訊。

而且，在所述實施例中，伺服器包括所述任一圖像處置裝置、及自終端接收攝像圖像並將所算出的相對資訊發送至終端的通訊部。 藉此，伺服器在自終端獲得攝像圖像後，能夠基於該攝像圖像算出相對資訊並發送至終端。在終端側的視點下，終端將攝像圖像發送至伺服器即可，無需進行算出，因此能夠減輕處理負載。

[其他實施例] 以下，對其他實施例（變形例）進行說明。

（1）模式 所述實施例終究為一例，可應用於使用者以素顏（未化妝）狀態進行攝像的情況。 然而，並不限定於此，例如亦可應用於使用者以塗有粉底的狀態等進行攝像的情況。

例如將以素顏狀態進行攝像的模式稱為「素顏模式」，將以塗有粉底的狀態進行攝像的模式稱為「粉底模式」。並且，例如使用者可選擇「素顏模式」與「粉底模式」進行攝像。

在該情況下，雖然省略圖示，但例如在顯示圖9所示的畫面之前或在圖9所示的畫面內構成使用者能夠選擇「素顏模式」與「粉底模式」的使用者介面（User Interface，UI）。然後，在選擇了「素顏模式」的情況下，使用者在素顏狀態下以圖10的攝像畫面進行攝像。而且，在選擇了「粉底模式」的情況下，使用者可在塗有粉底的狀態下以圖10的攝像畫面進行攝像。

並且，對於各模式，可以在該模式下進行攝像所獲得的攝像圖像作為對象，進行與所述同樣的處理，並將其結果顯示於終端100。 結合以下實施例對該具體例進行例示。

（2）對使用者的報知 終端100可基於顏色相對資訊對使用者進行報知。

圖13是表示本實施例中顯示於終端100的顯示部130的色差歷史資訊顯示畫面的一例的圖。畫面的觀察方法與圖11相同。 此處，作為一個例子，例示關於所述「（1）模式」中所說明的「素顏模式」與「粉底模式」的兩個模式分別報知不同的報知內容的情況。

在圖13的畫面中，在設置於畫面上部的皮膚解析應用程式中顯示具有使用者能夠利用的多個功能的標籤的區域下方設置有模式切換標籤MT1，其包括用以顯示基於在「素顏模式」下進行攝像所獲得的攝像圖像的色差歷史資訊的標籤與用以顯示基於在「粉底模式」下進行攝像所獲得的攝像圖像的色差歷史資訊的標籤。並且，在該例中，基於由使用者點擊模式切換標籤MT1中的「素顏模式」的標籤，反轉顯示「素顏模式」的標籤，在其下方顯示在「素顏模式」下所算出的色差的歷史資訊。

而且，在該例中，在時間序列的色差的圖表中，示出色差為所設定的值（臨限值）以上、或超過所設定的值的情況。在該例中，示出基於在「2021年11月3日」進行攝像所獲得的攝像圖像所算出的色差為所設定的值以上、或超過所設定的值的狀態。並且，在該例中，在色差的值的一側顯示注意標記MK1。若使用者點擊該注意標記MK1，則例如顯示如圖14的畫面。

在該畫面中，基於點擊注意標記MK1，而在顯示圖表的區域的下方構成顯示自伺服器發送的報知資訊的區域。在該例中，在畫面下部的由來自天使插圖的對話框表示的區域R3內顯示包括文本「皮膚的情況不太好哦；皮膚處於容易乾燥、變得粗糙的狀態」、向使用者傳達注意點的文本、及用以使該些顯示不再顯示的「OK」按鈕的資訊。

即，在該例中，基於色差滿足成為第一設定值以上、或超過第一設定值的設定條件，將對使用者的報知資訊顯示於顯示部130。 具體而言，作為報知資訊，顯示以第二顏色資訊作為理想而提醒使用者注意第一顏色資訊背離了理想的資訊，更具體而言，顯示提醒使用者注意皮膚狀態的資訊（向使用者報知表示皮膚狀態欠佳的資訊）。

再者，雖然省略圖示，但亦可與所述例子相反，基於色差滿足未滿第二設定值、或成為第二設定值以下的設定條件，而將對使用者的報知資訊顯示於顯示部130。第二設定值可設定為小於第一設定值的值。 具體而言，例如作為報知資訊，可以第二顏色資訊作為理想而顯示通知使用者第一顏色資訊接近理想的資訊，更具體而言，可顯示通知使用者皮膚狀態良好的資訊。

而且，所述報知的顯示態樣終究僅為一例，並不限定於此。 例如，可基於點擊了注意標記MK1，並根據該注意標記MK1或標註有該注意標記MK1的色差的值，藉由對話框或氣泡等顯示報知資訊。 而且，亦可不顯示注意標記MK1，而顯示報知資訊。

而且，所述報知並不限於藉由顯示進行，亦可藉由自聲音輸出部140輸出聲音（包括聲響）而實現。即，報知資訊可設為聲音資訊（包括聲響資訊）。 例如，可基於色差滿足成為第一設定值以上、或超過第一設定值超的設定條件，自聲音輸出部140輸出注意音或提醒注意廣播。提醒注意廣播可設為與圖14中以文本表示的內容相同的內容，亦可設為不同的內容。

而且，例如亦可基於色差滿足未滿第二設定值、或成為第二設定值以下的設定條件，而自聲音輸出部140輸出號角聲或祝福廣播。

而且，如上所述，可不設置「素顏模式」與「粉底模式」，只要基本上設為假定素顏下的拍攝的設計，則在圖13及圖14的畫面中，不需要顯示模式切換標籤MT1。

圖15是表示本實施例中顯示於終端100的顯示部130的色差歷史資訊顯示畫面的一例的圖。 在該畫面中，基於由使用者點擊模式切換標籤MT1中的粉底模式的標籤，而反轉顯示粉底模式的標籤，在其下方顯示粉底模式下的色差歷史資訊。

此處，示出在與圖13相同的態樣中，在粉底模式下的時間序列的色差的圖表中，色差為所設定的值以上、或超過所設定的值的情況。在該例中，示出基於在「2021年12月4日」在粉底模式下進行攝像所獲得的攝像圖像所算出的色差為所設定的值以上、或超過所設定的值的狀態。並且，在該例中，在該色差的一側顯示上文所述的注意標記MK1。若使用者點擊該注意標記MK1，則例如顯示如圖16的畫面。

在該畫面中，在顯示有圖表的區域的下方構成顯示自伺服器發送的報知資訊的區域。在該例中，在與圖14同樣的畫面下部的由來自天使插圖的對話框表示的區域R5內顯示包括文本「換了粉底嗎？與膚色的差異變大了」、向使用者傳達注意點的文本、及用以使該些顯示不再顯示的「OK」按鈕的資訊。

由於為「粉底模式」，故而報知內容不同於圖14的「素顏模式」，而顯示與「粉底模式」相對應的報知資訊。

即，在該例中，基於「粉底模式」下所算出的色差滿足成為第三設定值以上、或超過第三設定值的設定條件，將對使用者的報知資訊顯示於顯示部130。 具體而言，作為報知資訊，以第二顏色資訊作為理想而顯示提醒使用者注意第一顏色資訊背離了理想的資訊，更具體而言，顯示例如提醒注意粉底（粉底的顏色）不相配的資訊等。

再者，雖然省略圖示，但亦可與所述例子相反，基於「粉底模式」下所算出的色差滿足未滿第四設定值、或成為第四設定值以下的設定條件，而將對使用者的報知資訊顯示於顯示部130。第四設定值可設定為小於第三設定值的值。 具體而言，例如作為報知資訊，可以第二顏色資訊作為理想而顯示通知使用者第一顏色資訊接近理想的資訊，更具體而言，例如可顯示通知使用者粉底（粉底的顏色）相配的資訊。

而且，所述報知的顯示態樣終究僅為一例，並不限定於此。 例如，可基於點擊了注意標記MK1，並根據該注意標記MK1或標註有該注意標記MK1的色差的值，藉由對話框或氣泡等顯示報知資訊。 而且，亦可不顯示注意標記MK1，而顯示報知資訊。

而且，所述報知並不限於藉由顯示進行，亦可藉由自聲音輸出部140輸出聲音（包括聲響）而實現。即，報知資訊可設為聲音資訊（包括聲響資訊）。 例如，可基於色差滿足成為第三設定值以上、或超過第三設定值的設定條件，自聲音輸出部140輸出注意音或提醒注意廣播。提醒注意廣播可設為與圖16中以文本表示的內容相同的內容，亦可設為不同的內容。

而且，例如亦可基於色差滿足未滿第四設定值、或成為第四設定值以下的設定條件，自聲音輸出部140輸出號角聲或祝福廣播。

再者，在使用者點擊了所述顯示畫面所示出的模式切換標籤MT1的「素顏模式」的標籤的情況下，可反轉顯示「素顏模式」的標籤，而顯示「素顏模式」下的色差歷史資訊。而且，在該情況下，例如顯示如上文所述的圖14的畫面，在該畫面包括注意標記MK1的情況下，可基於點擊了該注意標記MK1，而例如顯示如上文所述的圖15的畫面。

報知的內容（報知資訊）例如可與設定值建立關聯並資料庫化而記憶於終端100或伺服器200的記憶部中。並且，可根據色差是否滿足基於任一設定值的臨限值條件，自資料庫讀取對應的報知資訊，並顯示該報知資訊。

再者，亦可使「素顏模式」的色差歷史資訊與「粉底模式」的色差歷史資訊的時機相對應而顯示於一個圖表中（重合顯示）。進而，上文所述的環境資訊亦可使時機對應而顯示（重合顯示）。

在本實施例中，在色差（相對資訊的一例）滿足設定條件的情況下，使用者的終端的顯示部130顯示對使用者的報知資訊。 藉此，在相對資訊滿足設定條件的情況下，可藉由報知資訊的顯示對使用者進行報知。

而且，在該情況下，可為設定條件包括色差成為第一設定值以上、或超過第一設定值，報知資訊包括以第二顏色資訊作為理想而提醒使用者注意第一顏色資訊背離了理想的資訊。 藉此，在色差成為大至一定程度的值的情況下，可提醒使用者注意第一顏色資訊背離了理想。

而且，在該情況下，報知資訊可包括提醒使用者注意使用者的皮膚狀態的資訊。 藉此，在色差成為大至一定程度的值的情況下，可提醒使用者注意使用者的皮膚狀態。

而且，在所述中，可為設定條件包括色差未滿小於第一設定值的第二設定值、或成為小於第一設定值的第二設定值以下，報知資訊包括以第二顏色資訊作為理想而通知使用者第一顏色資訊接近理想的資訊。 藉此，在色差成為小至一定程度的值的情況下，可通知使用者第一顏色資訊接近理想。

而且，在該情況下，報知資訊可包括對使用者通知使用者的皮膚狀態良好的資訊。 藉此，在色差成為小至一定程度的值的情況下，可對使用者通知使用者的皮膚狀態良好。

（3）階段性的報知 關於所述報知，例如可設定階段性的設定值作為設定值，基於色差是否成為任一設定值以上、或超過設定值，進行不同的報知資訊下的報知。如上文所述，報知可藉由顯示進行，亦可藉由聲音輸出進行。

例如，在所述「素顏模式」下，在色差成為作為最低的設定值所設定的設定值A以上（或超過設定值A）的情況下，終端顯示提醒注意「皮膚狀態稍有變差」的報知資訊。而且，在色差成為大於設定值A的設定值B以上（或超過設定值B）的情況下，終端可顯示提醒注意「皮膚狀態進一步變差」的報知資訊。

再者，該情況亦可同樣地應用於色差未滿設定值（或成為設定值以下）的情況。在該情況下，終端對於階段性的設定值，可進行與如下相關的報知：色差越未滿更低的設定值（或越成為設定值以下），則皮膚狀態越成為更佳的狀態。 而且，該些內容亦可同樣地應用於「粉底模式」。

（4）區域的設定 例如可由終端100的使用者對終端100進行設定輸入而設定以哪個區域作為對象進行處理。 例如，若使用者欲獲知將第一區域設為面頰、將第二區域設為手腕的內側的情況下的結果，則可選擇面頰作為第一區域，選擇手腕的內側作為第二區域，對終端100進行設定。

而且，例如若使用者欲獲知將第一區域設為頸部、將第二區域設為上臂的內側的情況下的結果，則可選擇頸部作為第一區域，選擇上臂的內側作為第二區域，對終端100進行設定。

在終端100算出色差的情況下，終端100可自攝像圖像檢測出如上所述基於使用者輸入所設定的第一區域與第二區域後，進行與所述同樣的處理。 而且，在伺服器200進行處理的情況下，終端100可將如上所述基於使用者輸入所設定的第一區域與第二區域的設定資訊與攝像圖像的資料一起發送至伺服器200，伺服器200自攝像圖像檢測出所接收的設定資訊所包括的第一區域與第二區域後，進行與所述同樣的處理。

（5）終端中的處理 如上所述，並不限於例如進行應用客戶端伺服器系統的處理，亦可利用終端100進行所述全部處理。在該情況下，例如對於應用圖4所示的終端100A的結構例的圖5所示的顏色資訊處理，可同樣地應用圖8所示的伺服器200的處理，利用終端100A進行同樣的處理。

（6）表色系統 在所述實施方式中，作為顏色資訊，使用由根據HSL顏色空間所定義的色相（Hue）、彩度（Saturation）、亮度（Lightness）所表現的顏色資訊，但不限定於此。

具體而言，例如亦可使用以YCbCr表示的顏色資訊。而且，亦可使用以RGB表現的顏色資訊。再者，各表色系統為映射關係。例如，YCbCr與RGB可藉由線性轉換進行轉換。在使用任一表色系統的情況下，均可應用與所述實施方式同樣的方法。

（7）終端 作為使用者的終端100，如上文所述，除了智慧型手機等行動電話以外，亦可應用於相機、PDA、個人電腦、導航裝置、手錶、各種平板終端等各種裝置。

而且，使用者的終端100可未必包括攝像部150。在該情況下，例如終端100可自包括攝像部150的外部裝置獲得攝像圖像的資料，並基於所獲得的攝像圖像的資料進行所述圖像處理。

（8）記錄媒體 在所述實施方式中，與圖像處理相關的各種程式或資料記憶於記憶部中，處理部讀取該些程式並執行，藉此實現所述各實施方式中的圖像處理。在該情況下，除了ROM或EEPROM、快閃記憶體、硬碟、RAM等內部記憶裝置以外，各裝置的記憶部可包括記憶卡（安全數位（secure digital，SD）卡）或小型快閃（註冊商標）卡、記憶條、通用串列匯流排（universal serial bus，USB）記憶體、可重寫光碟（compact disc rewritable，CD-RW）（光碟）、磁光碟片（Magnetic Optical，MO）（磁光碟）等記錄媒體（記錄媒介、外部記憶裝置、記憶媒體），亦可在該些記錄媒體中記憶所述各種程式或資料。

圖17是表示該情況下的記錄媒體的一例的圖。 在該例中，在圖像處理裝置1設置有用以插入記憶卡430的卡槽410，且設置有用以讀取插入卡槽410中的記憶卡430所記憶的資訊或對記憶卡430寫入資訊的卡片讀寫器（R/W）420。

卡片讀寫器420依照處理部的控制，進行將記憶部所記錄的程式或資料寫入記憶卡430的動作。以藉由利用圖像處理裝置1以外的外部裝置讀取記憶卡430所記錄的程式或資料而能夠在該外部裝置中實現所述實施方式中的圖像處理的方式構成。

再者，所述記錄媒體例如亦可應用於所述實施例中所說明的終端或伺服器、電子裝置（電子機器）、顏色資訊解析裝置、資訊處理裝置等各種裝置。

[其他] 在所述實施例中，可將圖像處理裝置1構成為皮膚解析裝置等裝置。而且，作為包括上文所述的圖像處理裝置1與報知部的裝置，可構成皮膚粗糙報知裝置等裝置。

根據將被攝物設為人類的圖像的第一顏色資訊與第二顏色資訊算出顏色相對資訊並將該顏色相對資訊以時間序列顯示的技術可應用於各種監控方法。根據一例，上述技術可用作用以測量勞動者的疲勞度的非接觸式生命體徵感測技術。勞動者並無特別限定，為如從事過勞會導致事故的業務者。此種勞動者例如為大型車輛的駕駛者。

圖18是表示疲勞度測量應用程式的畫面的例子的圖。根據一例，終端100為智慧型手機，包括內置相機101與顯示部130。勞動者例如每天利用內置相機101拍攝自身的圖像。對於拍攝日不同的多個圖像，藉由上述方法算出顏色相對資訊。所算出的顏色相對資訊根據終端操作者的操作而以時間序列顯示。在圖18的例子中，圖示出2022年12月5日至2022年12月11日的顏色相對資訊的變化。顏色相對資訊為色差或顏色相對向量，對終端操作者報知該值越大則疲勞度越高、越小則疲勞度越低。在該例中，作為觀察到一定的疲勞的程度的疲勞度而設定第一臨限值TH1，作為達到深度疲勞的疲勞度而設定第二臨限值TH2。可將臨限值設為亦可，或可階段性地設定多個臨限值。在圖18的例子中，在12月8日偵測到超過第一臨限值TH1的疲勞度，在12月9日偵測到超過第二臨限值TH2的疲勞度，在12月10日偵測到超過第一臨限值TH1的臨限值。根據一例，在偵測到超過臨限值的疲勞度的情況下，可藉由終端100的通訊功能報知外部的管理者等，或在顯示部130顯示因疲勞度提高而提醒休息的訊息，或藉由聲音朗讀該訊息。

根據其他例，美容院、健身房、健康食品等中的效果確認可使用上述技術。根據進而其他例，作為用以確認癡呆症患者等的意思的檢測條件之一，可靈活利用上述技術。

生成顏色相對資訊的時間序列資料的功能可藉由處理電路實現。即，藉由處理電路算出顏色資訊，並算出顏色相對資訊，而生成顏色相對資訊的時間序列資料。處理電路可為專用的硬體，亦可為執行儲存於記憶體中的程式的CPU（Central Processing Unit，亦稱為中央處理電路、處理裝置、運算電路、微處理器、微電腦、DSP）。

在處理電路為專用的硬體的情況下，處理電路例如有單一電路、複合電路、經程式化的處理器、經平行程式化的處理器、ASIC、現場可編程門陣列（Field Programmable Gate Array，FPGA）、或將該些組合而成者。

圖19為表示終端的結構例的圖。在圖像處理電路10B中，由利用相機10A所拍攝的資料生成JPEG等資料。將圖像處理電路10B中所生成的圖像資料提供至處理電路10C。在處理電路10C中，生成上述顏色相對資訊的時間序列資料。然後，根據終端利用者的操作，將該時間序列資料顯示於顯示器10D。

圖20示出處理電路為CPU的情況下的結構例。在該情況下，處理電路的各功能藉由軟體或軟體與韌體的組合而實現。軟體或韌體以程式的形式記述，並儲存於記憶體10c中。處理器10b藉由讀取記憶體10c中所記憶的程式並執行而實現各功能。即，在藉由圖20的處理電路執行時，包括儲存最終生成上述顏色相對資訊的時間序列資料的程式的記憶體10c。該些程式亦可使電腦執行圖3、圖5、圖8等的順序及方法。此處，記憶體例如有RAM、ROM、快閃記憶體、抹除式可複寫唯讀記憶體（Erasable Programmable Read Only Memory，EPROM）、EEPROM等不揮發性或揮發性的半導體記憶體、磁碟、軟碟、光碟（optical disc）、壓縮光碟（compact disc）、迷你磁碟或數位多功能光碟（digital versatile disc，DVD）等。當然，亦可利用硬體實現所述各功能的一部分，利用軟體或韌體實現一部分。

1:圖像處理裝置 10A、10a:相機 10B:圖像處理電路 10C:處理電路 10D、10d:顯示器 10b:處理器 10c:記憶體 11、111:第一區域檢測部 12、113:第一顏色資訊算出部 13、112:第二區域檢測部 14、114:第二顏色資訊算出部 15:顏色相對資訊算出部 16:輸出部 100、100A、100B:終端 101:內置相機 110、210:處理部 115:色差算出部 116:顯示控制部 120:操作部 125:觸控面板 130、230:顯示部 140:聲音輸出部 150:攝像部 160:環境資訊檢測部 170、270:鐘錶部 180、280:通訊部 190、290:記憶部 191:顏色資訊處理程式 193:色差算出處理程式 195:圖像用緩衝區 197:色差歷史資料 200:伺服器 260:環境資訊獲得部 300:網路 410:卡槽 420:卡片讀寫器 430:記憶卡 B:匯流排 BT1:「OK」按鈕 BT3:攝像按鈕 IC1:不良圖標 IC2:良好圖標 MK1:注意標記 MT1:模式切換標籤 R1:導航區域 R3、R5:區域 TH1:第一臨限值 TH2:第二臨限值

圖1是表示圖像處理裝置的功能結構的一例的圖。 圖2是表示色差的時間序列變化的一例的圖。 圖3是表示圖像處理（顏色資訊處理）的流程的一例的流程圖。 圖4是表示實施例的終端的功能結構的一例的圖。 圖5是表示實施例的終端所執行的處理的流程的一例的流程圖。 圖6是表示實施例的終端的功能結構的其他例的圖。 圖7是表示實施例的伺服器的功能結構的一例的圖。 圖8是表示實施例的終端與伺服器所執行的處理的流程的一例的流程圖。 圖9是表示在實施例的終端的顯示部所顯示的顯示畫面的一例的圖。 圖10是表示在實施例的終端的顯示部所顯示的顯示畫面的一例的圖。 圖11是表示在實施例的終端的顯示部所顯示的顯示畫面的一例的圖。 圖12是表示在實施例的終端的顯示部所顯示的顯示畫面的一例的圖。 圖13是表示在實施例的終端的顯示部所顯示的顯示畫面的一例的圖。 圖14是表示在實施例的終端的顯示部所顯示的顯示畫面的一例的圖。 圖15是表示在實施例的終端的顯示部所顯示的顯示畫面的一例的圖。 圖16是表示在實施例的終端的顯示部所顯示的顯示畫面的一例的圖。 圖17是表示記錄媒體的一例的圖。 圖18是表示疲勞度的時間序列資料顯示於終端的圖。 圖19是表示終端的結構例的圖。 圖20是表示其他終端的結構例的圖。

1:圖像處理裝置

11:第一區域檢測部

12:第一顏色資訊算出部

13:第二區域檢測部

14:第二顏色資訊算出部

15:顏色相對資訊算出部

16:輸出部

Claims (11)

1. 一種圖像處理裝置，包括： 算出部，算出和攝像圖像所包括的第一區域中的第一顏色資訊與所述攝像圖像所包括的第二區域中的第二顏色資訊的差量相關的相對資訊；及 輸出部，關於在不同的時機進行攝像所得的多個攝像圖像，輸出時間序列的所述相對資訊。
2. 如請求項1所述的圖像處理裝置，其中所述相對資訊包括所述第一顏色資訊與所述第二顏色資訊的色差的資訊。
3. 如請求項1或2所述的圖像處理裝置，其中所述第一區域與所述第二區域為同一被攝物的不同區域。
4. 如請求項3所述的圖像處理裝置，其中所述第一區域為臉部區域、面頰區域、或頸部區域，所述第二區域為上臂的內側的區域或手腕的內側的區域。
5. 如請求項1所述的圖像處理裝置，其中所述算出部根據多個攝像圖像算出所述相對資訊。
6. 一種終端，包括： 相機； 處理電路，由利用所述相機所拍攝的圖像生成與人物的皮膚的美度相關的第一時間序列資料、或與人物的疲勞度相關的第二時間序列資料；及 顯示器，顯示所述第一時間序列資料或所述第二時間序列資料。
7. 如請求項6所述的終端，其中所述處理電路包括處理器及記憶體。
8. 如請求項6所述的終端，其中所述顯示器為觸控螢幕，根據終端利用者的操作將所述第一時間序列資料或所述第二時間序列資料顯示於所述顯示器。
9. 一種監控方法，包括： 對於同一人物，拍攝不同拍攝時刻的多個圖像；及 由所述多個圖像生成與所述人物的皮膚的美度相關的時間序列資料、或與所述人物的疲勞度相關的時間序列資料。
10. 如請求項9所述的監控方法，其中除了所述時間序列資料以外，向利用者報知所述拍攝時的環境資訊。
11. 如請求項9所述的監控方法，包括：除了所述時間序列資料以外，在所述時間序列資料中存在超過預先確定的臨限值的資料的情況下，向利用者報知訊息、插圖或聲響。

Images