JP6839391B2 - アイテム管理装置、アイテム管理方法及びアイテム管理プログラム - Google Patents

Description

本発明は、アイテム管理装置、アイテム管理方法及びアイテム管理プログラムに関し、特に撮影画像を使用してアイテムを管理する技術に関する。

スマートフォンやタブレットといった携帯端末を使用して、ユーザーが所有するアイテム（たとえば衣類）をデータベースで管理する技術が提案されている。具体的には、たとえば特許文献１は、住宅において衣装管理アプリによって衣服の管理をするための衣服の管理方法を提案している。この管理方法は、衣服データベースを作成する手順と、衣服データベース内を検索して該当する衣服データを抽出して収納欄を含むリストを作成する手順とを備えている。この衣服の管理方法によれば、衣服が収納されている衣装ケースなどを開けることなく、好みの衣服を選ぶことができるとともに、収納場所に迷うことなく、迅速に元の場所に衣類を収納することができるとしている。

特開２０１４−１４２８５７号公報

しかし、たとえば個人が新規にアイテムを購入する場合において、携帯端末を使用して個人が所有するアイテムを確認する際には、アイテムの正確な色を確認したいことがある。ユーザーは、たとえば購入候補のアイテムに近似する衣類を既に所有しているか否かの確認、あるいは所有している衣類とのコーディネートを望むことがあるからである。

本発明は、このような状況に鑑みてなされたものであり、携帯端末でアイテムの色を人間の視覚系に正確に認識させるための技術を提供することを目的とする。

本発明は、アイテムを表わす画像であるアイテム画像を使用して前記アイテムを管理するためのアイテム管理装置を提供する。前記アイテム管理装置は、前記アイテムを撮像して前記撮像時のアイテム画像である撮像時アイテム画像を表す撮像時画像データを生成する撮像部と、表示用画像データを使用して表示用アイテム画像を表示する操作表示部と、前記撮像時の環境光の色温度である撮像時色温度と、前記表示時の環境光の色温度である表示時色温度とを推定する色温度推定部と、前記撮像時画像データと前記撮像時色温度とを使用してアイテム管理用データを生成し、前記アイテム管理用データを登録して前記アイテムを管理するためのデータベースを管理するデータベース管理部と、前記撮像時色温度と前記表示時色温度とを使用して、前記操作表示部で表示される前記アイテムが前記表示時色温度の環境光に順応した人間の視覚系で認識される色に近づくように前記アイテム管理用データを処理して前記表示用画像データを生成する画像処理部とを備える。

本発明は、アイテムを表わす画像であるアイテム画像を使用して前記アイテムを管理するためのアイテム管理方法を提供する。前記アイテム管理方法は、前記アイテムを撮像して前記撮像時のアイテム画像である撮像時アイテム画像を表す撮像時画像データを生成する撮像工程と、表示用画像データを使用して表示用アイテム画像を表示する操作表示工程と、前記撮像時の環境光の色温度である撮像時色温度と、前記表示時の環境光の色温度である表示時色温度とを推定する色温度推定工程と、前記撮像時画像データと前記撮像時色温度とを使用してアイテム管理用データを生成し、前記アイテム管理用データを登録して前記アイテムを管理するためのデータベースを管理するデータベース管理工程と、前記撮像時色温度と前記表示時色温度とを使用して、前記操作表示工程で表示される前記アイテムが前記表示時色温度の環境光に順応した人間の視覚系で認識される色に近づくように前記アイテム管理用データを処理して前記表示用画像データを生成する画像処理工程とを備える。

本発明は、アイテムを撮像して前記撮像時のアイテム画像である撮像時アイテム画像を表す撮像時画像データを生成する撮像部と、表示用画像データを使用して表示用アイテム画像を表示する操作表示部とを有し、前記アイテムを表わす画像であるアイテム画像を使用して前記アイテムを管理するためのアイテム管理装置を制御するためのアイテム管理プログラムを提供する。前記アイテム管理プログラムは、前記撮像時の環境光の色温度である撮像時色温度と、前記表示時の環境光の色温度である表示時色温度とを推定する色温度推定部、前記撮像時画像データと前記撮像時色温度とを使用してアイテム管理用データを生成し、前記アイテム管理用データを登録して前記アイテムを管理するためのデータベースを管理するデータベース管理部、及び前記撮像時色温度と前記表示時色温度とを使用して、前記操作表示部で表示される前記アイテムが前記表示時色温度の環境光に順応した人間の視覚系で認識される色に近づくように前記アイテム管理用データを処理して前記表示用画像データを生成する画像処理部として前記アイテム管理装置を機能させる。

本発明によれば、携帯端末でアイテムの色を人間の視覚系に正確に認識させるための技術を提供することができる。

本発明の一実施形態に係る衣類管理装置１００の機能構成を示すブロックダイアグラムである。 一実施形態に係る衣類管理装置１００による撮像の様子を示す説明図である。 一実施形態に係る衣類管理処理の内容を示すフローチャートである。 一実施形態に係る衣類登録処理の内容を示すフローチャートである。 一実施形態に係る衣類データベースの内容及び光源の色温度を示すフローチャートである。 一実施形態に係る衣類対比処理の内容を示すフローチャートである。 一実施形態に係る衣類閲覧処理の内容を示すフローチャートである。

以下、本発明を実施するための形態（以下、「実施形態」という）を、図面を参照して説明する。

図１は、本発明の一実施形態に係る衣類管理装置１００の機能構成を示すブロックダイアグラムである。衣類管理装置１００は、たとえばスマートフォンやタブレットの作動モードの１つとして構成されている。

衣類管理装置１００は、制御部１１０と、操作表示部１３０と、記憶部１４０と、通信インターフェース部１５０と、撮像部１６０と、ＬＥＤ光源１７０とを備えている。操作表示部１３０は、タッチパネルとして機能し、様々なメニューを入力画面として表示し、ユーザーの操作入力を受け付ける。通信インターフェース部１５０は、Ｗｉ−Ｆｉや４Ｇ（第４世代携帯電話の無線通信技術）を介してネットワークに接続可能である。ＬＥＤ光源１７０は、撮像部１６０による撮像時において撮影対象の照射に利用することができる光源である。

制御部１１０は、ＲＡＭやＲＯＭ等の主記憶手段、及びＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の制御手段を備えている。また、制御部１１０は、各種Ｉ／Ｏ、ＵＳＢ（ユニバーサル・シリアル・バス）、バス、その他ハードウェア等のインターフェースに関連するコントローラ機能を備えている。制御部１１０は、衣類管理装置１００の全体を制御する。制御部１１０は、さらに、色温度推定部１１１、データベース管理部１１２、画像処理部１１３及び画像解析部１１４を備える。

記憶部１４０は、非一時的な記録媒体であるハードディスクドライブやフラッシュメモリー等からなる記憶装置で、それぞれ制御部１１０が実行する処理の制御プログラムやデータを記憶する。記憶部１４０には、スマートフォンやタブレットを衣類管理装置１００として機能させるためにインストールされている衣類管理アプリケーションプログラム１４１（単にアプリケーションとも呼ばれる。）が記憶されている。記憶部１４０は、さらに、衣類データベース１４２を記憶し、画像格納領域１４３を有している。

図２は、一実施形態に係る衣類管理装置１００による撮像の様子を示す説明図である。この撮像では、撮像部１６０は、環境光Ｌ１によって照射される衣服Ｇの画像である撮像時アイテム画像を撮像する。環境光Ｌ１は、所定の色温度の照射光で衣服Ｇを照射している。衣服Ｇは、所定の色温度の照射光の色と、衣服Ｇの色とに応じた色の光を反射する。すなわち、衣服Ｇは、照射光の色の色かぶりを有する色の光を反射する。この例では、衣服Ｇには、白色無地のシートに黒で文字が表記されている面を有する商品タグＴが付されているものとする。

撮像部１６０は、露出調整部１６１を備えている。露出調整部１６１は、撮影対象の光量に応じて、シャッター速度、絞り値及びＩＳＯ感度を操作して露出を調整することができる。シャッター速度は、撮像素子が光学系を通した光にさらされる時間（露光時間）である。絞り値は、光学系を通過する光の量の調整量であり、Ｆ値で表すことができる。ＩＳＯ感度は、撮像素子から出力される電気信号の増幅率に相当する。

撮像部１６０は、撮像素子から出力される電気信号に応じてＲＡＷ画像データ（Ｒａｗ ｉｍａｇｅ ｆｏｒｍａｔ）を生成する。ＲＡＷ画像データには、ＲＡＷ現像処理が実行される。ＲＡＷ現像処理は、自然界の画像を人間が視覚系で行っている処理に近似する処理を含んでいる。これにより、衣類管理装置１００は、撮像対象の画像表示を人間の視覚で認識される画像に近づけることができる。

ＲＡＷ現像処理には、露出調整（微調整）やホワイトバランス調整（ブラッドフォード変換あるいは白色点変換とも呼ばれる。）、コントラスト調整といった調整処理が含まれている。すなわち、ＲＡＷ画像データは、衣服Ｇの撮影状態を物理的に表しているデータであるのに対し、ＲＡＷ現像処理後の現像処理済み画像データ（たとえばＪＰＥＧデータ）は、予め設定されている基準状態（たとえば昼光色（晴天）や電球色の色温度）で色かぶりがなく視覚的に違和感を与えないように調整処理されているデータである。

人間の視覚は、色順応の機能を有している。色順応とは、晴天の屋外や、昼光色の蛍光ランプで照明された部屋から白熱電球で照明された部屋に入ると、はじめは空間全体がオレンジがかって見えるが、次第に色を感じなくなるといった現象である。色順応は、色のついたサングラスをかけた場合にも機能する。具体的には、色のついたサングラスをかけた場合には、はじめは視界がグラスの色を通した色に見えまるが、次第に意識されなくなる。

人間の視覚は、Ｌ錐体（長波長感受性錐体）、Ｍ錐体（中波長感受性錐体）及びＳ錐体（短波長感受性錐体）を有している。色順応は、環境を照明する光が色着いていた場合には、錐体の種類（Ｌ、Ｍ及びＳ）により異なった感度調整をして昼光での色の見え方を維持しようとする。たとえば、赤色光の下では、Ｌ錐状体の感度が低下することになる。

図３は、一実施形態に係る衣類管理処理の内容を示すフローチャートである。衣類管理処理では、ユーザーは、たとえば新規に衣類を購入する際に、購入候補の衣類に類似する衣類を所有しているか否かの確認や購入候補の衣類とのコーディネートのシミュレートを実現することができる。

ステップＳ１００では、ユーザーは、操作表示部１３０を介して衣類管理アプリケーションプログラム１４１を起動させることができる。ユーザーは、操作表示部１３０を介して衣類管理装置１００を操作し、衣類登録処理（ステップＳ２００）、衣類対比処理（ステップＳ３００）、衣類閲覧処理（ステップＳ４００）及び設定処理（ステップＳ５００）のいずれかの処理を選択することができる（操作内容選択処理）。

図４は、一実施形態に係る衣類登録処理（ステップＳ２００）の内容を示すフローチャートである。図５は、一実施形態に係る衣類データベース１４２の内容及び光源の色温度を示すフローチャートである。衣類登録処理は、新規に取得した衣類を衣類データベース１４２に登録する処理である。ユーザーは、たとえば操作表示部１３０に表示されているアイコン「登録」（図示略）をタッチすることによって衣類管理装置１００の作動モードを衣類登録処理とすることができる。この例では、ユーザーは、購入済みの衣服Ｇを自宅のリビングルームで登録している状況を想定している。

ステップＳ２１０では、ユーザーは、撮影光源Ｌ０設定処理を実行する。撮影光源Ｌ０設定処理では、ユーザーは、たとえば衣類管理装置１００（スマートフォン）の操作表示部１３０を介してマニュアルで色温度を設定することができる。ユーザーは、撮影時の光環境（図５（ｂ）参照）に基づいて撮影光源Ｌ０として撮像時色温度Ｔｃを設定する。撮像時色温度Ｔｃは、撮像時の環境光の色温度である。具体的には、ユーザーは、たとえば撮影場所が屋内（リビングルーム）であって、電球色のＬＥＤで照らされている場合には、操作表示部１３０で「電球」を示すアイコン（図示略）を選択して色温度を３０００Ｋ（電球色）とすることができる。

ユーザーは、たとえば衣類管理装置１００の操作表示部１３０を介して自動で色温度を設定することができる。ユーザーは、たとえば「自動」を示すアイコン（図示略）を選択し、無彩色（白またはグレー）の被写体として、たとえば白色の壁をファインダーの全体に捉えてシャッターボタン（図示略）を押すことによって色温度を設定することができる。

ステップＳ２２０では、ユーザーは、画像取得処理を実行する。画像取得処理では、ユーザーは、新規に購入した衣服Ｇを衣類管理装置１００の撮像部１６０を使用して撮影する。撮像部１６０は、衣服Ｇの画像を表すＲＡＷ画像データを生成する。ただし、衣類管理アプリケーションプログラム１４１は、撮像時においてＬＥＤ光源１７０の使用を禁止する。これにより、撮像部１６０は、環境光Ｌ１によって照射される衣服Ｇの画像を撮像することができる。この画像は、撮像時アイテム画像とも呼ばれる。ＲＡＷ画像データは、撮像時画像データとも呼ばれる。

ステップＳ２３０では、画像処理部１１３は、色補正処理を実行する。色補正処理では、画像処理部１１３は、予め設定されている基準となる色温度である基準色温度Ｔｒ（たとえば３０００ｋ）を想定してＲＡＷ現像処理を実行する。これにより、データベース管理部１１２は、基準画像データを取得することができる。

ステップＳ２４０では、画像解析部１１４は、アイテム種類推定処理を実行する。アイテム種類推定処理では、画像解析部１１４は、衣服Ｇの基準画像データに基づき、画像認識技術を使用してアイテムの種類を推定する。アイテムの種類には、予め設定されている複数の種類があって、画像解析部１１４は、複数の種類のいずれであるかを推定し、推定結果を操作表示部１３０に表示する。

ステップＳ２５０では、データベース管理部１１２は、アイテム種類確定処理を実行する。アイテム種類確定処理では、ユーザーは、推定結果が正しい場合には、ＯＫアイコン（図示略）をタッチしてアイテムの種類を確定し、推定結果が正しくない場合には、アイテムの種類を入力する。この例では、画像解析部１１４は、アウターを推定し、その推定結果が確認されたものとする。

ステップＳ２６０では、画像解析部１１４は、代表色抽出処理を実行する。代表色抽出処理では、画像解析部１１４は、衣服Ｇを表す基準画像データで認識され、確定された種類の衣類の代表的な色である代表色を抽出する。データベース管理部１１２は、予め設定されている複数の色分類のうち「黒・グレー」の分類に該当するものと判断し、代表色として「黒・グレー」を登録するものとする。

分類としては、たとえば黒・グレー、白、ベージュ・茶、ピンク、赤、黄・オレンジ、緑、青・紺、水色、紫、その他の１１種類の分類を設定することができる。各色の範囲は、たとえば有彩色については主として色相角に基づいて、無彩色については明度に基づいて設定することができる。

ステップＳ２７０では、データベース管理部１１２は、分類登録処理を実行する。分類登録処理では、データベース管理部１１２は、衣服Ｇのレコードを衣類データベース１４２に登録可能である。衣類データベース１４２のカラムには、種類、代表色、季節及び色温度が含まれている。種類は、アイテムの種類を意味している。季節は、衣服の使用が想定されている季節である。色温度は、撮影時の環境光の色温度である。

この例では、データベース管理部１１２は、レコード番号１１のレコードを衣類データベース１４２に新規に登録する。データベース管理部１１２は、さらに、種類としてアウターを自動的に登録し、「電球」の色温度として予め設定されている３０００Ｋ（ステップＳ２１０参照）を自動的に登録している。

ステップＳ２８０では、ユーザーは、関連情報登録処理を実行する。関連情報登録処理では、ユーザーは、操作表示部１３０を介して季節として「冬」を登録する。これにより、衣類データベース１４２には、レコード番号１１のデータレコードとして衣服Ｇのレコードを登録したことになる。

このように、ユーザーは、ステップＳ２２０乃至ステップＳ２８０の処理を繰り返すことによって、登録すべきアイテムの全てを登録することができる（Ｓ２９０）。データベース管理部１１２は、衣類データベース１４２の各レコードに紐づけて、ＲＡＷ画像データと、基準画像データとを画像格納領域１４３に格納する。なお、レコードの各カラムに登録されたデータ、ＲＡＷ画像データ及び基準画像データは、アイテム管理用データとも呼ばれる。

図６は、一実施形態に係る衣類対比処理の内容を示すフローチャートである。ユーザーは、操作表示部１３０を介して衣類管理アプリケーションプログラム１４１を起動させ、衣類閲覧処理（ステップＳ３００）を選択することができる（図３参照）。衣類対比処理は、取得候補（購入候補）の衣類と衣類データベース１４２に登録されている衣類との対比を行うための処理である。この例では、ユーザーは、商品タグＴが付された衣服Ｇの購入を販売店で検討している状況を想定している。

色温度推定部１１１は、衣類対比処理（ステップＳ３００）の選択に応じて、「白色の下地に黒色の文字が表示されている商品タグを撮影して下さい。」とのインストラクション表示（商品タグの撮影を要求する指示表示）を行うとともに、撮像部１６０を色温度推定処理の作動モードとする。

ステップＳ３１０では、ユーザーは、商品タグの画像を取得する。ユーザーは、撮像部１６０を使用して、特に商品タグの白い側（たとえば裏側）の画像を取得して画像データを生成する。商品タグは、必ずしも衣類対比処理の対象となる購入候補の衣類の商品タグＴである必要はなく、他の衣類の商品タグでも良い。商品タグは、白色の下地に黒色の文字が表示されているものが好ましい。

画像解析部１１４は、撮像部１６０によって生成された画像データを解析し、その画像データが商品タグを表していると判断（認識）した場合には、商品タグＴから白地部分を抽出する。具体的には、画像解析部１１４は、パターンマッチングその他の画像処理機能によって、商品タグＴの外形（たとえば矩形）を認識し、たとえば文字部分やトレードマークといった白以外の部分を排除することによって白地部分を抽出する。色温度推定部１１１は、抽出された白地部分を表している画像の画素値を使用して環境光の色温度（撮像時色温度Ｔｃ）を推定することができる。

ステップＳ３２０では、色温度推定部１１１は、画像データが商品タグを表しているとの認識に応じて起動され、環境光色温度推定処理を実行する。環境光色温度推定処理では、色温度推定部１１１は、商品タグＴの白地部分の色に基づいて色温度を推定する。具体的には、色温度推定部１１１は、商品タグＴの白地部分が環境光によって赤みがかっているときには低い色温度を推定し、商品タグＴの白地部分が環境光によって青みがかっているときには低い色温度を推定する。ただし、人間の視覚系は、色順応することができるので、環境光に起因する色かぶりを除去して白色に認識することができる。

色温度の推定は、デジタルカメラのホワイトバランスのプリセット処理でも可能ではあるが、ファインダーの全体に捉えられる白色基準板や白い壁の撮影が必要となるので容易ではない。しかしながら、本願発明者は、衣類の購入時には必ず、近くに存在して比較的に白いものが多い商品タグの白地部分を画像処理機能で抽出して色温度の推定に利用すれば、簡易に色温度を推定できる点に着目した。

ステップＳ３３０では、ユーザーは、撮像部１６０を使用して比較対象の画像を取得する。比較対象は、衣類データベース１４２に登録されている衣類との比較の対象となる購入候補としての衣類である。撮像部１６０は、比較対象を撮像してＲＡＷ画像データを生成する。

ステップＳ３４０では、画像処理部１１３は、現像処理を実行する。現像処理では、画像処理部１１３は、２種類の現像処理（ＲＡＷ現像処理）を実行する。第１の現像処理は、衣類データベース１４２に登録されている衣類の代表色と比較するための画像データである比較対象画像データを生成するための現像処理である。第２の現像処理は、操作表示部１３０に表示用アイテム画像を表示するための表示用画像データを生成するための現像処理である。

第１の現像処理は、ホワイトバランス調整や露光調整、シャープネスといった画像処理において、ホワイトバランス調整で使用される色温度を基準色温度Ｔｒとする現像処理である。すなわち、第１の現像処理は、基準色温度Ｔｒが色かぶりを生じない色温度であると設定してホワイトバランス調整（色補正）を実行する現像処理である。これにより、データベース管理部１１２は、基準色温度Ｔｒである同一の色温度環境における色味に基づいて正確な色の相対比較を可能とする。

第１の現像処理では、衣類データベース１４２で管理されている比較対象画像データが基準色温度Ｔｒ（３０００Ｋ）で色かぶりが認識されないように現像処理がなされている。しかしながら、基準色温度Ｔｒは撮像時色温度Ｔｃ（４２００ｋ：蛍光灯で照らされた店内）と相違するので、比較対象画像データは、撮像時色温度Ｔｃの環境下では、比較対象としての現実の衣類Ｇの色とは相違する色が認識されるように処理されたことになる。

第２の現像処理は、ホワイトバランス調整や露光調整、シャープネスといった画像処理において、ホワイトバランス調整で使用される色温度を撮像時色温度Ｔｃとする現像処理である。これにより、撮像時色温度Ｔｃに順応している人間の視覚において、実際に見えている通りの画像を再現することができる。

すなわち、比較対象としての衣類の色は、基準色温度Ｔｒ（３０００Ｋ）の環境光と比較すると撮像時色温度Ｔｃ（４２００ｋ）の環境光に起因して青色の色かぶりが発生していることになる。衣類は、環境光の反射によって発色するからである。一方、操作表示部１３０は、たとえば液晶や有機ＥＬのように自発光で画像を表示するので、環境光の反射によって発色する衣類と比較して色かぶりが顕著に少ない。よって、第２の現像処理は、環境光の反射によって色かぶりを発生する衣類と比較できるように、敢えて意図的に色かぶりを再現する（この例では残存させる）表示用画像データの生成を可能としている。

ステップＳ３５０では、操作表示部１３０は、第２の現像処理で現像された表示用画像データを使用して比較対象の衣類の画像であるアイテム画像を表示する。これにより、ユーザーは、視覚的に正確に比較対象を認識することができる。さらに、ユーザーは、比較対象の現実の衣類Ｇの色と操作表示部１３０に表示されている衣類Ｇの色が顕著に近いことを確認することができる。

ステップＳ３６０では、画像解析部１１４は、比較対象の衣類の代表色を抽出する。代表色の抽出は、第１の現像処理で現像された比較対象画像データを使用して行われる。これにより、画像解析部１１４は、基準色温度Ｔｒである同一の色温度環境における色味に基づく色の相対比較による色の近似性を正確に判断することができる。

ステップＳ３７０では、画像解析部１１４は、比較対象画像データを解析してアイテム種類推定処理を実行する。アイテム種類の推定は、たとえばパターンマッチングや機械学習によって行うことができる。

ステップＳ３８０では、衣類データベース１４２は、アイテム限定処理を実行する。アイテム限定処理では、衣類データベース１４２は、推定された種類と抽出された代表色とを使用して、比較対象画像データに色が近似するアイテムを登録しているレコードを検索して限定する。ユーザーは、検索結果の中から類似のアイテムを選択することができる。色の近似は、たとえば複数の色分類のうち同一の分類に該当する場合や色相が近似する分類に該当する場合を含んでいる。

ステップＳ３９０では、衣類データベース１４２は、類似アイテム表示処理を実行する。類似アイテム表示処理では、衣類データベース１４２は、ユーザーからの選択に応じて類似アイテムの画像を操作表示部１３０に表示させる。ただし、類似アイテム表示処理では、画像処理部１１３は、類似アイテムとしての衣類が現実に撮像時色温度Ｔｃの環境光を受けて、撮像時色温度Ｔｃの環境光に色順応した視覚系に認識される色を再現するようにＲＡＷ画像データを補正する。

具体的には、画像処理部１１３は、類似アイテムとしての衣類の撮像時の撮像時色温度Ｔｃと、類似アイテムとしての衣類の画像の操作表示部１３０への表示時の表示時色温度（この例では、４２００ｋ）の差を使用して、ブラッドフォード変換を実行する。すなわち、画像処理部１１３は、撮像時と表示の色温度の差分に応じて青かぶりを意図的に発生させるようにブラッドフォード変換を実行する。

この例では、画像処理部１１３は、レコード番号１１のＲＡＷ画像データを撮像時色温度Ｔｃ（４２００ｋ）を想定して現像処理を行い、操作表示部１３０に表示させることになる。これにより、ユーザーは、同一種類であって、代表色が同一分類に属する一方、使用される季節が相違する衣類を有していることを確認することができる。

このように、ユーザーは、購入時の環境光に色順応した視覚系によって、現実の購入候補の衣類の色と、操作表示部１３０に表示されている購入候補の衣類の色と、衣類データベース１４２に登録されている衣類の色とを正確に相対比較して購入するか否かの意思決定ができることになる。

図７は、一実施形態に係る衣類閲覧処理の内容を示すフローチャートである。ユーザーは、操作表示部１３０を介して衣類管理アプリケーションプログラム１４１を起動させ、衣類閲覧処理（ステップＳ４００）を選択することができる（ステップＳ１００）。この例では、ユーザーは、購入済みの衣服Ｇを操作表示部１３０で閲覧している状況を想定している。

ステップＳ４１０では、データベース管理部１１２は、操作表示部１３０に衣類閲覧処理用の入力画面（図示略）を表示する。データベース管理部１１２は、衣類データベース１４２の種類のカラムを参照し、種類のカラムに登録されている種類のリストである種類リスト（図示略）を表示する。

ユーザーは、操作表示部１３０に表示される種類リスト（図示略）のなかからアウターやカットソーといった衣類の種類のいずれかを選択する。この例では、ユーザーは、アウターを選択したものとする。データベース管理部１１２は、アウターの選択に応じて衣類データベース１４２の種類のカラムを参照してレコード０１，０８及び１１を抽出する。データベース管理部１１２は、レコード０１，０８及び１１の代表色のカラムを参照して、黒・グレー及び青・紺色を含むリストである代表色リスト（図示略）を表示する。

ステップＳ４２０では、ユーザーは、代表色リストを使用して衣類の代表色を選択する。ユーザーは、操作表示部１３０に表示される代表色リスト（図示略）の中から黒・グレー及び青・紺色のいずれかを選択する。この例では、ユーザーは、黒・グレーを選択したものとする。データベース管理部１１２は、黒・グレーの選択に応じて衣類データベース１４２の代表色のカラムを参照してレコード０１及び１１を抽出する。データベース管理部１１２は、レコード０１及び１１の季節のカラムを参照して、春・秋及び冬を含むリストである季節リスト（図示略）を表示する。

ステップＳ４３０では、ユーザーは、季節リストを使用して衣類の使用が想定されている季節を選択する。ユーザーは、操作表示部１３０に表示される季節リスト（図示略）の中から春・秋及び冬のいずれかを選択する。この例では、ユーザーは、冬を選択したものとする。データベース管理部１１２は、冬の選択に応じてレコード１１を選択する。

ステップＳ４４０では、データベース管理部１１２は、アイテムリスト表示処理を実行する。アイテムリスト表示処理では、データベース管理部１１２は、レコード番号１１のレコードを含むアイテムリスト（図示略）を表示する。

ステップＳ４５０では、色温度推定部１１１は、環境光推定処理を実行する。環境光推定処理では、色温度推定部１１１は、操作表示部１３０での閲覧処理における表示時の環境光の色温度である表示時色温度を推定する。具体的には、色温度推定部１１１は、たとえば閲覧処理の環境光として、たとえば初期値として予め設定されている基準色温度Ｔｒ（たとえば３０００ｋ）を閲覧処理における表示時色温度として推定する。なお、前述のように手動或いは自動で色温度を設定することも可能である。

ステップＳ４６０では、画像処理部１１３は、色補正処理を実行する。色補正処理では、画像処理部１１３は、表示時色温度Ｔｄと、レコード番号１１のレコードの撮像時色温度Ｔｃとを使用して、前述のように操作表示部１３０で表示されるアイテム（レコード番号１１のアウター）が表示時色温度Ｔｄの環境光に色順応した人間の視覚系で認識される色に近づくように補正する。

ステップＳ４７０では、操作表示部１３０は、衣類データベース１４２の閲覧時の環境光に色順応した視覚系によって、身の回りの現実の衣類の色と、衣類データベース１４２に登録されている衣類の色とを正確に比較可能な閲覧を実現することができる。これにより、ユーザーは、衣類のコーディネートのシミュレーションを行うこともできる。

なお、ユーザーは、操作表示部１３０を介して衣類管理アプリケーションプログラム１４１を起動させ、設定処理（ステップＳ５００）を選択することができる（ステップＳ１００）。ステップＳ１００では、ユーザーは、設定内容を変更することができる。

この例では、基準色温度Ｔｒは、環境光としてリビングルームにおける電球（又は電球色ＬＥＤ）の照射（３０００ｋ）を想定している。しかしながら、たとえばリビングルームの照明が蛍光灯である場合には、４２００Ｋに設定することもできる。さらに、ユーザーは、実際の衣類の色と操作表示部１３０上の画像の色とを比較して、操作表示部１３０上の画像の色が実際の衣類の色に近づくように微調整し、その調整値を使用して基準色温度Ｔｒを設定しても良い。

このように、本実施形態に係る衣類管理装置１００によれば、携帯端末である衣類管理装置１００の環境光の色温度が変化しても操作表示部１３０上の画像の色を人間の視覚系で認識される現実の色に近づけることができるので、人間の視覚による衣類の色の正確な相対比較を実現することができる。これにより、ユーザーは、たとえば同一色の同一衣類の購入を回避して無駄な消費を抑制することができる。

本発明は、上記各実施形態だけでなく、以下のような変形例でも実施することができる。

変形例１：上記実施形態では、衣類を表わす画像を使用して、衣類を管理するための衣類管理装置に適用されているが、管理対象は衣類に限定されず、たとえば建築資材等であってもよい。本発明は、一般にアイテムを表わす画像であるアイテム画像を使用して、アイテムを管理するためのアイテム管理装置に適用可能である。

変形例２：上記実施形態では、スマートフォンが使用されているが、本発明は、撮影が可能であればノートＰＣやタブレットといった携帯端末に適用可能である。

１００ 衣類管理装置
１１０ 制御部
１１１ 色温度推定部
１１２ データベース管理部
１１３ 画像処理部
１１４ 画像解析部
１３０ 操作表示部
１４０ 記憶部
１４１ 衣類管理アプリケーションプログラム
１４２ 衣類データベース
１４３ 画像格納領域
１５０ 通信インターフェース部
１６０ 撮像部
１７０ ＬＥＤ光源

Claims (7)

1. アイテムを表わす画像であるアイテム画像を使用して前記アイテムを管理するためのアイテム管理装置であって、
   前記アイテムを撮像して前記撮像時のアイテム画像である撮像時アイテム画像を表す撮像時画像データを生成する撮像部と、
   表示用画像データを使用して表示用アイテム画像を表示する操作表示部と、
   前記撮像時の環境光の色温度である撮像時色温度と、前記表示時の環境光の色温度である表示時色温度とを推定する色温度推定部と、
   前記撮像時画像データと前記撮像時色温度とを使用してアイテム管理用データを生成し、前記アイテム管理用データを登録して前記アイテムを管理するためのデータベースを管理するデータベース管理部と、
   前記撮像時色温度と前記表示時色温度とを使用して、前記操作表示部で表示される前記アイテムが前記表示時色温度の環境光に順応した人間の視覚系で認識される色に近づくように前記アイテム管理用データを処理して前記表示用画像データを生成する画像処理部と、
   を備えるアイテム管理装置。
2. 請求項１記載のアイテム管理装置であって、
   前記データベース管理部は、予め設定されている基準色温度の環境光を想定して前記撮像時画像データに対して色補正が行われた画像データを基準画像データとして管理し、
   前記撮像部は、比較対象のアイテムを撮像して画像データを生成し、
   前記画像処理部は、前記画像データに対して前記基準色温度の環境光を想定して色補正を実行して比較対象画像データを生成し、
   前記アイテム管理装置は、前記基準画像データのうち前記比較対象画像データに色が近似するアイテムを抽出して前記操作表示部に表示させる画像解析部を備えるアイテム管理装置。
3. 請求項２記載のアイテム管理装置であって、
   前記画像解析部は、前記比較対象画像データを解析して前記アイテムの種類を推定し、
   前記データベース管理部は、前記アイテムの種類を登録可能であり、前記アイテムの種類を使用して前記データベースから前記アイテムの種類に属するアイテムを抽出することが可能であるアイテム管理装置。
4. 請求項２又は３に記載のアイテム管理装置であって、
   前記画像解析部は、前記撮像部によって生成された画像データを解析し、前記画像データが商品タグを表していると判断した場合には、前記商品タグから白地部分を抽出し、
   前記色温度推定部は、前記画像データが前記商品タグを表しているとの認識に応じて起動され、前記抽出された白地部分の色に基づいて色温度を推定するアイテム管理装置。
5. 請求項４記載のアイテム管理装置であって、
   前記色温度推定部は、取得候補の衣類と衣類データベースに登録されている衣類との対比を行うための処理である衣類対比処理の選択に応じて、前記アイテムの商品タグの撮像を要求する指示を前記操作表示部に表示させるアイテム管理装置。
6. アイテムを表わす画像であるアイテム画像を使用して前記アイテムを管理するためのアイテム管理方法であって、
   前記アイテムを撮像して前記撮像時のアイテム画像である撮像時アイテム画像を表す撮像時画像データを生成する撮像工程と、
   表示用画像データを使用して表示用アイテム画像を表示する操作表示工程と、
   前記撮像時の環境光の色温度である撮像時色温度と、前記表示時の環境光の色温度である表示時色温度とを推定する色温度推定工程と、
   前記撮像時画像データと前記撮像時色温度とを使用してアイテム管理用データを生成し、前記アイテム管理用データを登録して前記アイテムを管理するためのデータベースを管理するデータベース管理工程と、
   前記撮像時色温度と前記表示時色温度とを使用して、前記操作表示工程で表示される前記アイテムが前記表示時色温度の環境光に順応した人間の視覚系で認識される色に近づくように前記アイテム管理用データを処理して前記表示用画像データを生成する画像処理工程と、
   を備えるアイテム管理方法。
7. アイテムを撮像して前記撮像時のアイテム画像である撮像時アイテム画像を表す撮像時画像データを生成する撮像部と、表示用画像データを使用して表示用アイテム画像を表示する操作表示部とを有し、前記アイテムを表わす画像であるアイテム画像を使用して前記アイテムを管理するためのアイテム管理装置を機能させるためのアイテム管理プログラムであって、
   前記撮像時の環境光の色温度である撮像時色温度と、前記表示時の環境光の色温度である表示時色温度とを推定する色温度推定部、
   前記撮像時画像データと前記撮像時色温度とを使用してアイテム管理用データを生成し、前記アイテム管理用データを登録して前記アイテムを管理するためのデータベースを管理するデータベース管理部、及び
   前記撮像時色温度と前記表示時色温度とを使用して、前記操作表示部で表示される前記アイテムが前記表示時色温度の環境光に順応した人間の視覚系で認識される色に近づくように前記アイテム管理用データを処理して前記表示用画像データを生成する画像処理部として前記アイテム管理装置を機能させるアイテム管理プログラム。