JPWO2020116490A1 - 情報処理装置、情報処理方法、学習済みモデルの生成方法及びプログラム - Google Patents

Abstract

情報処理装置（１）は、物体の匂いを計測した匂いデータを取得する第１取得部と、前記匂いデータの取得条件を取得する第２取得部と、物体の前記匂いデータ及び取得条件と、該匂いデータに対応する前記物体とを学習済みの学習済みモデルに基づき、前記第１及び第２取得部が取得した前記匂いデータ及び取得条件から前記物体を識別する識別部とを備えることを特徴とする。好適には、前記取得条件は、前記匂いのカテゴリを表すテキストデータであって、前記匂いの計測を行ったユーザが入力したテキストデータであることを特徴とする。

Description

本発明は、情報処理装置、情報処理方法、学習済みモデルの生成方法及びプログラムに関する。

物体の匂いに基づき物体識別を行う技術がある。例えば特許文献１では、車両のシートに着座した乗員を、シートに設置した臭い検出装置で検出した信号に基づき、ニューラルネットワークを用いて識別する乗り物用臭い判別システムが開示されている。

特開２０１７−１６１３００号公報

しかしながら、特許文献１に係る発明は、匂いを計測した際の条件を考慮して識別するに至っていない。

一つの側面では、物体の匂いから物体を好適に識別することができる情報処理装置等を提供することを目的とする。

一つの側面に係る情報処理装置は、物体の匂いを計測した匂いデータを取得する第１取得部と、前記匂いデータの取得条件を取得する第２取得部と、物体の前記匂いデータ及び取得条件と、該匂いデータに対応する前記物体とを学習済みの学習済みモデルに基づき、前記第１及び第２取得部が取得した前記匂いデータ及び取得条件から前記物体を識別する識別部とを備えることを特徴とする。

一つの側面では、物体の匂いから物体を好適に識別することができる。

匂い識別システムの構成例を示す模式図である。 サーバの構成例を示すブロック図である。 ユーザＤＢ、匂いＤＢ、ドメインＤＢ、学習ＤＢのレコードレイアウトの一例を示す説明図である。 端末の構成例を示すブロック図である。 識別モデルに関する説明図である。 識別モデルの生成処理の手順を示すフローチャートである。 物体識別処理の手順を示すフローチャートである。 計測画面の一例を示す説明図である。 匂いデータの一覧画面の一例を示す説明図である。 学習画面の一例を示す説明図である。 判定画面の一例を示す説明図である。 実施の形態２に係るサーバが実行する処理手順の一例を示すフローチャートである。

以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
図１は、匂い識別システムの構成例を示す模式図である。本実施の形態では、物体の匂いを計測した匂いデータを機械学習で学習済みの識別モデル１４１（学習済みモデル、図５参照）を用いて、匂いデータから物体を識別する匂い識別システムについて説明する。匂い識別システムは、情報処理装置（解析管理装置）１、端末２、匂いセンサ３を含む。情報処理装置１及び端末２は、インターネット等のネットワークＮに通信接続されている。

情報処理装置１は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばサーバコンピュータ、パーソナルコンピュータ等である。本実施の形態では情報処理装置１がサーバコンピュータであるものとし、以下では簡潔のためサーバ１と読み替える。サーバ１は、ユーザから任意にアップロードされる物体の匂いデータの解析及び管理を行うサーバコンピュータであり、当該匂いデータを学習する機械学習を行い、匂いデータから物体を識別する識別モデル１４１を生成する。そしてサーバ１は、生成済みの識別モデル１４１を用いて物体の識別を行う。例えば物体が人間である場合、当該人間の呼気の匂いを計測したデータに基づき、人物識別を行う。なお、人物識別は本システムの一利用例に過ぎず、その他の物体の識別に本システムを利用してもよい。

端末２は、本システムを利用するユーザが使用する端末装置であり、例えばパーソナルコンピュータ、タブレット端末、スマートフォン等である。サーバ１は、端末２を介して匂いセンサ３から物体の匂いデータを取得し、識別モデル１４１による識別を行って識別結果を端末２に出力する。

匂いセンサ３は、物体の匂いを計測するセンシングデバイスであり、匂い成分に相当する気体分子を、コンピュータが処理可能な数値に変換するデバイスである。例えば匂いセンサ３はＱＣＭ（Quartz Crystal Microbalance：水晶振動子マイクロバランス）法を用いた匂いセンサであり、水晶振動子の表面に気体分子が吸着した場合の水晶振動子の発振を利用して、匂い成分を周波数データに変換する。匂いセンサ３として水晶振動子を利用した匂いセンサを用いることで、半導体の抵抗値を計測する半導体式の匂いセンサや、ＦＥＴ（電界効果トランジスタ）を利用したバイオセンサ等と比較して、より人間の嗅覚に近い匂いデータを得ることができる。匂いセンサ３はユーザの端末２に接続されており、サーバ１は、匂いセンサ３で計測した匂いデータを取得する。

なお、匂いセンサ３自体に通信モジュールを搭載し、サーバ１は匂いセンサ３から直接的に匂いデータを取得可能としてもよい。また、匂いセンサ３は水晶振動子を有する匂いセンサに限定されず、半導体式の匂いセンサ、ＦＥＴバイオセンサ等であってもよい。

図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、主記憶部１２、通信部１３、及び補助記憶部１４を備える。
制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有し、補助記憶部１４に記憶されたプログラムＰを読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。

補助記憶部１４は、大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部１１が処理を実行するために必要なプログラムＰ、その他のデータを記憶している。また、補助記憶部１４は、識別モデル１４１、ユーザＤＢ１４２、匂いＤＢ１４３、ドメインＤＢ１４４、学習ＤＢ１４５を記憶している。識別モデル１４１は、匂いデータに基づく物体識別を行うモデルであり、例えば後述するように、ニューラルネットワークに係るモデルである。識別モデル１４１は、人工知能ソフトウェアの一部であるプログラムモジュールとしての利用が想定される。ユーザＤＢ１４２は、本システムを利用する各ユーザの情報を格納するデータベースである。匂いＤＢ１４３は、匂いセンサ３から取得した匂いデータを格納するデータベースである。ドメインＤＢ１４４は、後述するドメイン（匂いのカテゴリ）の情報を格納するデータベースである。学習ＤＢ１４５は、匂いデータを学習して得た学習済みパラメータであって、識別モデル１４１（ニューラルネットワーク）に設定される重み等のパラメータを格納するデータベースである。

なお、補助記憶部１４はサーバ１に接続された外部記憶装置であってもよい。また、サーバ１は複数のコンピュータからなるマルチコンピュータであっても良く、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。

また、本実施の形態においてサーバ１は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。また、サーバ１は、ＣＤ（Compact Disk）−ＲＯＭ、ＤＶＤ（Digital Versatile Disc）−ＲＯＭ等の可搬型記憶媒体１ａを読み取る読取部を備え、可搬型記憶媒体１ａからプログラムＰを読み取って実行するようにしても良い。あるいはサーバ１は、半導体メモリ１ｂからプログラムＰを読み込んでも良い。

図３は、ユーザＤＢ１４２、匂いＤＢ１４３、ドメインＤＢ１４４、学習ＤＢ１４５のレコードレイアウトの一例を示す説明図である。
ユーザＤＢ１４２は、ユーザＩＤ列、ユーザ名列、デバイス列を含む。ユーザＩＤ列は、各ユーザの識別子であるユーザＩＤを記憶している。ユーザ名列、及びデバイス列はそれぞれ、ユーザＩＤと対応付けて、ユーザ名、及びユーザが使用する匂いセンサ３の名称を記憶している。

匂いＤＢ１４３は、取得データＩＤ列、匂い名列、取得日時列、取得ユーザ列、取得センサ列、データ列、取得条件列を含む。取得データＩＤ列は、匂いセンサ３から取得した匂いデータの識別子である取得データＩＤを記憶している。匂い名列、取得日時列、取得ユーザ列、取得センサ列、データ列、及び取得条件列はそれぞれ、取得データＩＤと対応付けて、匂い名（物体名）、取得日時、取得元のユーザ名、取得元の匂いセンサ３の名称、匂いデータ、及び匂いデータの取得条件を記憶している。取得条件列には、例えば後述するドメイン名及びサブドメイン名、計測前に匂いセンサ３を洗浄した洗浄時間、匂い（気体）の吸引時間、匂いセンサ３内のガス室での滞留時間、計測後の匂いセンサ３の洗浄時間、匂いを計測した場所の位置情報、並びに当該場所の天候情報などが記憶されている。匂いデータの取得条件を定義する各種情報について、詳しくは後述する。

ドメインＤＢ１４４は、ドメインＩＤ列、作成日時列、作成ユーザ列、ドメイン名列、サブドメイン名列、取得条件列を含む。ドメインＩＤ列は、匂いのカテゴリを表すドメインの識別子であるドメインＩＤを記憶している。作成日時列、作成ユーザ列、ドメイン名列、サブドメイン列、及び取得条件列はそれぞれ、ドメインＩＤと対応付けて、ユーザが本システムに当該ドメインの情報を登録（作成）した日時、登録したユーザ名、ドメイン名、サブドメイン名、及び匂いセンサ３での計測条件（取得条件）を記憶している。取得条件列には、例えば匂い計測前の事前洗浄時間、吸引時間、滞留時間、匂い計測後の事後洗浄時間などが記憶されている。

学習ＤＢ１４５は、学習ＩＤ列、作成日時列、作成ユーザ列、匂い名列、ドメイン名列、サブドメイン名列、データ列を含む。学習ＩＤ列は、匂いデータを学習して得た学習済みパラメータ（ニューラルネットワークの重み等）の識別子である学習ＩＤを記憶している。作成日時列、作成ユーザ列、匂い名列、ドメイン名列、サブドメイン列、及びデータ列はそれぞれ、学習ＩＤと対応付けて、識別モデル１４１の学習（作成）を実行した作成日時、識別モデル１４１の学習を行わせたユーザ名、学習した匂い名、学習した匂いデータの取得条件を表すドメイン名、サブドメイン名、及び学習済みパラメータを記憶している。

図４は、端末２の構成例を示すブロック図である。制御部２１、主記憶部２２、補助記憶部２３、通信部２４、表示部２５、入力部２６を備える。
制御部２１は、ＣＰＵ等の演算処理装置を有し、補助記憶部２３に記憶されたプログラムを読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部２２はＲＡＭ等の一時記憶領域であり、制御部２１が演算処理を実行するために必要なデータを一時的に記憶する。補助記憶部２３は、ＲＯＭ（Read-Only Memory）等の不揮発性記憶領域であり、制御部２１が処理を実行するために必要なプログラム、その他のデータを記憶している。通信部２４は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。表示部２５は液晶ディスプレイ等の表示画面であり、制御部２１から与えられた画像を表示する。入力部２６は、メカニカルキー等の操作インターフェイスであり、ユーザから操作入力を受け付ける。

図５は、識別モデル１４１に関する説明図である。図５に基づき、本実施の形態の概要を説明する。
本実施の形態でサーバ１は、識別モデル１４１として、ディープラーニングにより生成されるニューラルネットワークモデルを用いる。具体的には、識別モデル１４１はＲＮＮ（Recurrent Neural Network）の一種であるＬＳＴＭ（Long-Short Term Memory）に係るモデルであり、複数時点のデータから成る時系列データを入力とするモデルである。

識別モデル１４１は、時系列データの入力を受け付ける入力層と、入力層に入力されたデータから特徴量を抽出する中間層（隠れ層）と、特徴量に基づく識別結果を出力する出力層とを有する。入力層は、連続する複数時点それぞれのデータの入力を受け付けるニューロンを有し、入力層のニューロンは、入力されたデータを中間層のニューロンに受け渡す。中間層は、入力層のニューロンから入力データを受け取り、入力データに基づく演算を行う。ＬＳＴＭでは、中間層のニューロンはＬＳＴＭブロックと呼ばれ、自らの演算結果を一時的に記憶し、次の時点の入力データに関する演算を行う場合に、前の時点の入力データに関する演算結果を参照して演算を行う。前の時点の演算結果を参照することで、直近時点までの時系列のデータから次の時点の演算を行う。出力層は、中間層での演算結果に基づき出力値を演算するニューロンを有し、物体を識別した識別結果を出力する。

なお、本実施の形態で識別モデル１４１は、複数の入力に対し出力が一のモデル（Many-To-One）であるものとするが、出力は複数であってもよい。また、識別モデル１４１は過去の時点から未来の時点へと一方向（One-directional）のみ中間層の演算結果を伝播していくものとするが、双方向（Bi-directional）に演算結果を伝播していくモデルであってもよい。

また、本実施の形態では識別モデル１４１がＬＳＴＭであるものとして説明するが、ＣＮＮ（Convolution Neural Network）等の他のディープラーニング、又はＳＶＭ（Support Vector Machine）、決定木など、その他の学習アルゴリズムに基づくモデルであってもよい。

本実施の形態でサーバ１は、物体の匂いを計測した匂いデータを入力として、入力された匂いデータに対応する物体の識別結果を出力とする識別モデル１４１を生成する。識別モデル１４１への入力とする匂いデータは、上述の匂いセンサ３で計測したデータであり、ＱＣＭ法により計測した周波数の時系列データである。例えば匂いセンサ３では、数秒〜数十秒の計測時間の間、匂いセンサ３内のガス室に吸入された気体（匂い）の計測を行い、当該計測時間に亘る周波数の時系列データを取得する。サーバ１は、当該データを匂いデータとして用いる。

例えばサーバ１は、各ユーザの端末２から、匂いセンサ３で計測した匂いデータのアップロードを受け、匂いを計測した物体を表す匂い名、及び後述の匂いデータの取得条件と対応付けて、匂いＤＢ１４３に匂いデータを記憶してある。サーバ１は、匂いＤＢ１４３に記憶されている匂いデータを訓練データとして用い、識別モデル１４１を生成する。

すなわち、サーバ１は、匂いセンサ３で計測された時系列の匂いデータを、その計測時点の時系列順序に従って識別モデル１４１の入力層の各ニューロンに順次入力し、中間層での演算を経て、物体の識別結果を表す出力値を出力層から取得する。本実施の形態でサーバ１は、入力層に入力された匂いデータに対応する物体が、学習対象である特定の物体に該当するか否かを判定する二クラス分類の問題と捉え、当該物体に該当するか否かを表す確率値を出力する。一の識別モデル１４１につき単一の物体の識別を行うようにすることで、一の識別モデル１４１で複数物体を識別する多クラス分類を行う場合と比較して、識別精度を向上させることができる。

なお、識別モデル１４１からの出力値は確率値ではなく、その物体に該当するか否かを二値（０又は１）で表現した値であってもよい。また、本実施の形態では一の物体に該当するか否かを判定する二クラス分類を行うものとするが、複数の物体の匂いデータを訓練データとして同時に学習し、多クラス分類を行うモデルとしてもよい。

ここでサーバ１は、匂いセンサ３で計測した匂いデータだけでなく、匂いデータの取得条件も識別モデル１４１への入力に用いて学習を行う。匂いデータの取得条件は、匂いデータを計測した際の条件を表す情報であり、例えば計測した匂いのカテゴリを表すテキストデータ、匂いデータの取得元である匂いセンサ３の状態を表す状態情報、匂いを計測した際の計測環境に関する環境情報などを含む。

匂いのカテゴリとは、例えば匂いを計測した物体の種類、あるいは匂い計測時の物体の状態（例えば物体が食品であれば、その食品を購入してからの日数など）を表す情報である。なお、これらは例示であって、匂いのカテゴリは任意に定義されてよい。本実施の形態で匂いのカテゴリは、物体の匂いを計測したユーザが任意のテキストを入力することで設定される。本システムでは、ユーザが任意に設定する匂いのカテゴリを「ドメイン」と呼称する。

例えばサーバ１は、端末２から匂いデータのアップロードを受ける際に、匂いのカテゴリを表すものとしてユーザが任意に入力したドメイン名を取得する。具体的には、サーバ１は、匂いのカテゴリを表すドメイン名と、ドメイン名よりも詳細なカテゴリを表すサブドメイン名とを取得する。一例としては、匂いを計測した物体の種類名（人物識別を例にすれば「人間」）をドメイン名として入力し、さらにドメイン名よりも詳細な種類名（例えば人物名）をサブドメイン名として入力する。このように、ドメインは、匂いデータをアップロードするユーザが任意のテキストを入力することで設定される。

状態情報は、物体の匂いを計測した匂いセンサ３の状態を表す情報であり、例えば上述の事前洗浄時間、吸引時間、滞留時間、事後洗浄時間を含む。事前洗浄時間は、匂い計測前に匂いセンサ３を洗浄する時間である。吸引時間は、匂いセンサ３で気体（匂い）を吸入する時間である。滞留時間は、匂いセンサ３内のガス室に気体を滞留させて計測を行う時間である。事後洗浄時間は、匂い計測後に匂いセンサ３を洗浄する時間である。このように、状態情報として、匂いデータの取得状態、及び匂いセンサ３のメンテナンス状態を表す情報を用いる。

環境情報は、匂いを計測した際の計測環境に関する情報であり、例えば位置情報、天候情報を含む。位置情報は、匂いを計測した場所の地域名やＧＰＳ（Global Positioning System）座標値などであり、計測場所の地理的な情報である。天候情報は、匂い計測時の計測場所の天候を示すデータであり、例えば「晴れ」、「雨」などの天気を表すデータである。

なお、環境情報は位置、天候のほかに、計測日時に関する情報（例えば季節）などを含んでもよい。

サーバ１は、匂いデータのほかに、ドメイン名や状態情報など、匂いデータの取得条件を識別モデル１４１に入力して学習させる。匂いデータの取得条件も併せて入力することで、より人間の感覚に近い学習を行わせることができる。例えば人間は、既知の物体（ドメイン）の匂いを嗅ぐ場合と未知の物体の匂いを嗅ぐ場合とでは、異なる判断（識別）をすると考えられる。また、その匂いを嗅ぐ環境（場所や天候など）によっては、異なる判断をすると考えられる。このように、匂いデータの取得条件を入力に用いることで、より人間の感覚に近い識別結果を再現させることができる。

例えばサーバ１は、匂いデータの取得条件を規定する各種情報をカテゴリ変数として識別モデル１４１に入力する。例えばサーバ１は、識別モデル１４１の入力層に、匂いデータ入力用のレイヤとは異なる、カテゴリ変数入力用のレイヤ（不図示）を設ける。サーバ１は、カテゴリ変数入力用のレイヤに、ドメイン名、サブドメイン名、状態情報、環境情報等を表すカテゴリ変数を入力し、匂いデータと共に学習させる。

サーバ１は、識別モデル１４１に訓練用の匂いデータ及び取得条件（カテゴリ変数）を入力し、物体の識別結果を出力層から取得する。サーバ１は、取得した識別結果を正解の物体（匂い名）と比較し、両者が近似するように、誤差逆伝播法でニューロン間の重み等のパラメータを最適化する。これによりサーバ１は、識別モデル１４１で物体を識別する上で最適なパラメータ、すなわち学習済みパラメータを取得する。

サーバ１は、上記の学習で得た学習済みパラメータを、学習対象とした物体（匂い名）、及び匂いデータの取得条件（ドメイン名等）と対応付けて学習ＤＢ１４５に記憶する。これにより、サーバ１は、機械学習で生成した識別モデル１４１（学習済みモデル）のデータを学習ＤＢ１４５に記憶する。

サーバ１は、各ユーザの端末２から種々の物体の匂いデータのアップロードを受け、ユーザからの要求に応じて上記の機械学習を行う。サーバ１は、各ユーザからの要求に応じて生成した識別モデル１４１の学習済みパラメータを、学習ＤＢ１４５に記憶しておく。このように、サーバ１は学習ＤＢ１４５において、異なる物体の匂いデータを学習した複数の識別モデル１４１のデータを管理する。

サーバ１は、端末２からの要求に応じて、識別モデル１４１に基づく物体の識別を行う。具体的には、まずサーバ１は、学習ＤＢ１４５に記憶されている各学習済みパラメータから、識別モデル１４１に設定する学習済みパラメータの選択入力を端末２から受け付ける。サーバ１は、選択された学習済みパラメータを識別モデル１４１に設定する。このように、サーバ１は、物体の識別に用いる識別モデル１４１の選択入力を端末２から受け付ける。

次にサーバ１は、匂いＤＢ１４３に記憶されている各匂いデータの内、識別対象とする物体の匂いデータを選択する選択入力を端末２から受け付ける。なお、サーバ１は、匂いＤＢ１４３に既に記憶されている匂いデータではなく、識別対象の物体の匂いデータをユーザの端末２から新規に取得するようにしてもよいことは勿論である。

サーバ１は、選択された匂いデータと、当該匂いデータの取得条件とを匂いＤＢ１４３から読み出し、学習済みパラメータを設定した識別モデル１４１に入力する。そしてサーバ１は、識別モデル１４１から、入力した匂いデータに対応する物体の識別結果を出力として取得する。具体的には上述の如く、サーバ１は、識別対象の物体が、識別モデル１４１において学習対象とした物体に該当するか否か、その確率値を取得する。サーバ１は、識別結果を端末２に出力し、表示させる。

以上より、本実施の形態によれば、匂いデータだけでなく、匂いデータの取得条件を識別モデル１４１への入力に用いることで、匂いに基づく物体の識別を好適に行うことができる。

図６は、識別モデル１４１の生成処理の手順を示すフローチャートである。図６に基づき、匂いデータを学習して識別モデル１４１を生成する処理について説明する。
サーバ１の制御部１１は、匂いＤＢ１４３から、識別モデル１４１を生成するための訓練データを取得する（ステップＳ１１）。訓練データは、匂いセンサ３で計測した物体の匂いデータ、及び当該匂いデータの取得条件に対し、正解の物体（匂い名）が対応付けられたデータである。取得条件は、匂いのカテゴリを表すテキストとしてユーザが任意に入力したドメイン名、サブドメイン名のほか、事前洗浄時間、吸引時間等の匂いセンサ３の状態を表す状態情報、及び匂いの計測環境に関連する位置情報、天候情報等の環境情報を含む。

制御部１１は訓練データに基づき、匂いデータ、及び匂いデータの取得条件を入力として、物体の識別結果を出力する識別モデル１４１を生成する（ステップＳ１２）。具体的には上述の如く、制御部１１は識別モデル１４１としてニューラルネットワーク（ＬＳＴＭ）を生成する。制御部１１は、匂いデータと、取得条件を表すカテゴリ変数とを識別モデル１４１に入力して、当該匂いデータに対応する物体を識別した識別結果を出力として取得する。制御部１１は、取得した識別結果を正解の物体と比較して、両者が近似するように、ニューロン間の重み等のパラメータ、すなわち学習済みパラメータを最適化して識別モデル１４１を生成する。

制御部１１は、生成した識別モデル１４１に係る学習済みパラメータを、学習対象とした物体（匂い名）、及び匂いデータの取得条件（ドメイン名等）と対応付けて学習ＤＢ１４５に記憶し（ステップＳ１３）、一連の処理を終了する。

図７は、物体識別処理の手順を示すフローチャートである。図７では、識別モデル１４１に基づく物体の識別処理について説明する。
サーバ１の制御部１１は、匂いＤＢ１４３に記憶されている各物体の匂いデータの内、識別対象とする物体の匂いデータを選択する選択入力を受け付ける（ステップＳ３１）。制御部１１は、選択された匂いデータと、当該匂いデータの取得条件を匂いＤＢ１４３から読み出す（ステップＳ３２）。

制御部１１は、物体の識別に用いる識別モデル１４１を選択する選択入力を端末２から受け付ける（ステップＳ３３）。具体的には上述の如く、制御部１１は、識別モデル１４１に設定する学習済みパラメータの選択入力を受け付ける。制御部１１は、選択された学習済みパラメータを識別モデル１４１に設定し、当該識別モデル１４１に物体の匂いデータ及び取得条件を入力して、物体を識別する（ステップＳ３４）。制御部１１は識別結果を端末２に出力し（ステップＳ３５）、一連の処理を終了する。

以上より、本実施の形態１によれば、匂いに基づく物体の識別を好適に行うことができる。

また、本実施の形態１によれば、匂いセンサ３の状態を表す状態情報をデータ取得条件として識別モデル１４１への入力に用いることで、より好適に物体の識別を行うことができる。

また、本実施の形態１によれば、水晶振動子を有する匂いセンサ３を用いることで、匂いによる識別をより好適に行うことができる。

また、本実施の形態１によれば、匂い計測時の計測環境を表す環境情報をデータ取得条件として識別モデル１４１への入力に用いることで、より好適に物体の識別を行うことができる。

また、本実施の形態１によれば、二クラス分類を行う識別モデル１４１を多数生成しておき、複数の識別モデル１４１から利用する識別モデル１４１を選択できるようにすることで、多様な選択肢（識別モデル１４１）をユーザに提供することができる。

（実施の形態２）
本実施の形態では、上述の匂い識別システムをユーザが利用するためのＵＩ（User Interface）画面に関する形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。

図８〜図１１に、端末２が表示するＵＩ画面例を図示する。端末２が表示するＵＩ画面には、画面左側に「計測」、「データ一覧」等のメニューバーが表示され、各メニューへの操作入力に応じて図８〜図１１の画面を切り換えて表示する。図８〜図１１に基づき、本実施の形態の概要を説明する。

図８は、計測画面の一例を示す説明図である。計測画面は、匂いセンサ３による匂いの計測を行う際の操作画面である。端末２は、計測画面での操作入力に応じて、自装置に接続されている匂いセンサ３と同期して匂いの計測を行う。

具体的には、端末２はセンサ選択欄８１で、匂いの計測に用いる匂いセンサ３の選択入力を受け付ける。匂いセンサ３が選択された場合、匂いデータの取得条件であるドメイン名、サブドメイン名などがデフォルトで表示される。例えばサーバ１は、ドメイン名やサブドメイン名、ユーザが使用する匂いセンサ３に対応する状態情報などの登録をユーザから事前に受け付け、ユーザＩＤと対応付けてドメインＤＢ１４４に記憶している。センサ選択欄８１でユーザの匂いセンサ３が選択された場合、ユーザが登録したドメイン名等が取得条件としてデフォルトで設定される。なお、図８の計測画面において、ユーザからドメイン名等の設定変更を受け付けてもよい。

また、端末２は、「ロケーション」、「ＧＰＳ情報」、「天気」などの各欄で、位置情報、天候情報などの環境情報について設定入力を受け付ける。最後に端末２は、匂い名入力欄８２で、これから計測を行う物体を表す匂い名の入力を受け付け、実行ボタン８３への操作入力に応じて匂いセンサ３による匂いの計測を開始する。

サーバ１は、上記で計測した匂いデータを、計測画面で設定された取得条件、匂い名（正解の物体）等と共に取得する。サーバ１は、取得した各データを匂いＤＢ１４３に記憶する。

図９は、匂いデータの一覧画面の一例を示す説明図である。図９の一覧画面は、匂いＤＢ１４３に記憶されている匂いデータを一覧で表示する表示画面である。ユーザは当該画面で、匂いＤＢ１４３に記憶されている匂いデータを確認することができる。例えば端末２は、図９に示すように、各匂いデータに対応する匂い名、ドメイン名、サブドメイン名、匂いデータの取得日時等を一覧表示する。また、一覧画面の上部に表示される「キーワード」、「ドメイン」、「サブドメイン」などの各入力欄への入力に応じて、匂いデータを検索することもできる。ユーザは一覧画面で表示される匂いデータを学習及び識別に用いることができる。

図１０は、学習画面の一例を示す説明図である。学習画面は、識別モデル１４１の学習をサーバ１に実行させるための操作画面である。端末２は、学習画面での操作入力に応じて、訓練データとする匂いデータの選択入力を受け付け、サーバ１に識別モデル１４１の生成処理を実行させる。

具体的には、端末２は、匂いデータ選択欄１０１への操作入力に基づき、匂いＤＢ１４３に記憶されている匂いデータから、学習対象とする匂いデータを選択する選択入力を受け付ける。例えば匂いデータ選択欄１０１への操作入力を受け付けた場合、端末２は、図９の一覧画面と同様の匂いデータの一覧をポップアップ表示する（不図示）。端末２は、ポップアップ表示された匂いデータの一覧から、学習対象とする一又は複数の匂いデータを選択する選択入力を受け付ける。

学習対象とする匂いデータが選択された場合、ドメイン選択欄１０２及びサブドメイン選択欄１０３に、選択された匂いデータに対応するドメイン名及びサブドメイン名がデフォルト表示される。端末２は、ドメイン選択欄１０２及びサブドメイン選択欄１０３への操作入力に応じて、デフォルトで表示されたドメイン名及びサブドメイン名を変更する設定変更を受け付ける。このように、端末２は、匂いデータと共に学習する匂いデータの取得条件（ドメイン名等）の選択入力を受け付ける。

さらに端末２は、匂い名入力欄１０４で、学習対象とする物体を表す匂い名のテキスト入力を受け付ける。これにより、端末２は、匂いデータ選択欄１０１で選択された匂いデータに対応する物体の正しい名称（正解の物体）の入力を受け付ける。

端末２は、実行ボタン１０５への操作入力に応じて、上記で入力された各種情報に基づく機械学習をサーバ１に要求する。端末２からの要求に応じて、サーバ１は、選択された匂いデータ及び取得条件と、当該匂いデータに対応する正解の物体とを学習する機械学習を行い、識別モデル１４１を生成する。サーバ１は、生成した識別モデル１４１の学習済みパラメータ（重み等）を、匂い名、ドメイン名等と対応付けて学習ＤＢ１４５に記憶する。

なお、図１０の学習画面において、画面上部の新規タブ１０６が選択されている場合、サーバ１は、新規の識別モデル１４１の学習（生成）を行う。一方で、再学習タブ１０７が選択されている場合、サーバ１は、既に学習済みの識別モデル１４１を更新する再学習を行う。この場合、端末２は、学習対象とする匂いデータや取得条件などのほかに、更新する学習済みパラメータ、すなわち再学習の対象とする識別モデル１４１を選択する選択入力を受け付ける。サーバ１は、選択された識別モデル１４１に係る再学習を行い、学習済みパラメータを更新する。このように、本システムでは識別モデル１４１の再学習も同様の画面操作で行うことができる。

図１１は、判定画面の一例を示す説明図である。判定画面は、上記で生成した識別モデル１４１に基づく物体の識別をサーバ１に実行させるための操作画面である。端末２は、判定画面での操作入力に応じて、識別モデル１４１を用いた物体の識別をサーバ１に実行させる。

具体的には、端末２は、学習済みパラメータ選択欄１１１において、識別モデル１４１に設定する学習済みパラメータの選択入力を受け付ける。例えば端末２は、学習済みパラメータ選択欄１１１への操作入力を受け付けた場合、学習ＤＢ１４５に記憶されている各学習済みパラメータの情報（各識別モデル１４１のデータ）をポップアップで一覧表示する。具体的には、端末２は、各学習済みパラメータと対応付けて学習ＤＢ１４５に記憶されている匂い名、ドメイン名、サブドメイン名等を一覧表示する。端末２は、一覧で表示した各学習済みパラメータから何れかを選択する選択入力を受け付ける。これにより、端末２は、物体の識別に用いる識別モデル１４１の選択入力を受け付ける。

次に端末２は、匂いデータ選択欄１１２で、識別対象とする一又は複数の匂いデータの選択入力を受け付ける。学習画面と同様に、匂いデータ選択欄１１２への操作入力を受け付けた場合、端末２は図９と同様の匂いデータの一覧をポップアップ表示して選択入力を受け付ける。

なお、識別対象とする匂いデータが選択された場合に、サーバ１は、当該匂いデータの取得条件（ドメイン名等）と、上記で選択された識別モデル１４１において学習対象とした匂いデータの取得条件とが一致するか否かを判定し、一致しない場合はエラーを出力すると好適である。これにより、例えば識別対象の物体とはドメイン名が異なる識別モデル１４１を使用してしまうような、不適切な事態を回避することができる。

端末２は、実行ボタン１１３への操作入力を受け付けて、サーバ１に物体の識別を要求する。サーバ１は、端末２からの要求に応じて、学習済みパラメータ選択欄１１１で選択された学習済みパラメータを識別モデル１４１に設定し、匂いデータ選択欄１１２で選択された匂いデータを識別モデル１４１に入力して物体の識別を行う。具体的には、サーバ１は、匂いデータ選択欄１１２で選択された一又は複数の匂いデータそれぞれについて識別を行い、各匂いデータの識別結果（確率値）を端末２に出力する。端末２は、サーバ１から出力された各匂いデータの識別結果を表示する。

なお、判定画面には画面上部に、識別タブ１１４と、検索タブ１１５とが表示されている。識別タブ１１４が選択されている場合、端末２は上記の手順で物体の識別をサーバ１に実行させる。一方で、検索タブ１１５が選択されている場合、端末２は、一又は複数の識別モデル１４１を用いた物体の識別（検索）をサーバ１に実行させる。

具体的には、端末２は、図１１とほぼ同様の判定画面において、学習済みパラメータ選択欄１１１への選択入力に応じて、一又は複数の学習済みパラメータを選択する選択入力を受け付ける。これにより、端末２は、物体の識別に用いる一又は複数の識別モデル１４１の選択入力を受け付ける。複数の識別モデル１４１が選択された場合、サーバ１は、選択された各識別モデル１４１に対し、匂いデータ選択欄１１２で選択された匂いデータを入力して、各識別モデル１４１から識別結果を取得する。これにより、サーバ１は、各識別モデル１４１で学習対象とした各物体に識別対象の物体が該当するか、複数物体について同時に識別を行う。

サーバ１は、各識別モデル１４１での識別結果に基づき、入力された匂いデータに対応する物体が、各識別モデル１４１に対応する各物体の何れに該当するか、識別結果（検索結果）を出力する。例えばサーバ１は、各識別モデル１４１から出力された確率値に応じて順位付けを行い、確率値が高い順に物体名を出力する。あるいはサーバ１は、確率値が最も高い物体名を検索結果として出力するようにしてもよい。

実施の形態１でも述べたように、一の識別モデル１４１に複数の物体の匂いデータを学習させて、多クラス分類が可能な識別モデル１４１を用意するようにしてもよいが、識別モデル１４１を、二クラス分類を行うモデルとすることで識別精度を向上させることができる。この識別モデル１４１を複数組み合わせることで、複数物体の何れに該当するか、すなわち多クラス分類を好適に行うことができる。

図１２は、実施の形態２に係るサーバ１が実行する処理手順の一例を示すフローチャートである。
サーバ１の制御部１１は、端末２での操作入力に応じて、匂いデータの計測を行うか否かを判定する（ステップＳ２０１）。匂いデータの計測を行うと判定した場合（Ｓ２０１：ＹＥＳ）、制御部１１は、計測対象である物体を表す匂い名（正解の物体）のほか、匂いデータの取得条件の設定入力を端末２から受け付ける（ステップＳ２０２）。端末２は、ユーザからの操作入力に応じて匂いセンサ３による計測を行い、サーバ１の制御部１１は、端末２を介して匂いセンサ３から匂いデータを取得して、ステップＳ２０２で設定された取得条件等と対応付けて匂いＤＢ１４３に匂いデータを記憶する（ステップＳ２０３）。

ステップＳ２０３の処理を実行後、又はステップＳ２０１でＮＯの場合、制御部１１は端末２での操作入力に応じて、匂いデータの学習を行うか否かを判定する（ステップＳ２０４）。学習を行うと判定した場合（Ｓ２０４：ＹＥＳ）、制御部１１は、学習対象とする匂いデータを選択する選択入力を端末２から受け付ける（ステップＳ２０５）。具体的には上述の如く、制御部１１は、学習対象とする匂いデータのほか、当該匂いデータの取得条件、正解の物体などの設定入力を受け付ける。

制御部１１は、選択された匂いデータ、及び当該匂いデータの取得条件と、入力された正解の物体とに基づく機械学習を行い、識別モデル１４１を生成する（ステップＳ２０６）。制御部１１は、生成した識別モデル１４１の学習済みパラメータを学習ＤＢ１４５に記憶する（ステップＳ２０７）。

ステップＳ２０７の処理を実行後、又はステップＳ２０４でＮＯの場合、制御部１１は、端末２での操作入力に応じて、匂いデータの識別を行うか否かを判定する（ステップＳ２０８）。匂いデータの識別を行うと判定した場合（Ｓ２０８：ＹＥＳ）、制御部１１は、匂いデータの識別に用いる識別モデル１４１を選択する選択入力を受け付ける（ステップＳ２０９）。具体的には上述の如く、制御部１１は、識別モデル１４１に設定する学習済みパラメータを選択する選択入力を受け付ける。

制御部１１は、識別対象とする匂いデータを選択する選択入力を受け付ける（ステップＳ２１０）。制御部１１は、ステップＳ２０９で選択された学習済みパラメータを識別モデル１４１に設定し、ステップＳ２１０で選択された匂いデータを入力して物体を識別する（ステップＳ２１１）。制御部１１は、識別結果を端末２に出力する（ステップＳ２１２）。ステップＳ２１２の処理を実行後、又はステップＳ２０８でＮＯの場合、制御部１１は一連の処理を終了する。

以上より、本実施の形態２によれば、簡便な操作で匂いデータの学習及び識別が可能なプラットフォームをユーザに提供することができる。

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１ サーバ（情報処理装置）
１１ 制御部
１２ 主記憶部
１３ 通信部
１４ 補助記憶部
Ｐ プログラム
１４１ 識別モデル
１４２ ユーザＤＢ
１４３ 匂いＤＢ
１４４ ドメインＤＢ
１４５ 学習ＤＢ
２ 端末
２１ 制御部
２２ 主記憶部
２３ 補助記憶部
２４ 通信部
２５ 表示部
２６ 入力部
３ 匂いセンサ

Claims (10)

1. 物体の匂いを計測した匂いデータを取得する第１取得部と、
   前記匂いデータの取得条件を取得する第２取得部と、
   物体の前記匂いデータ及び取得条件と、該匂いデータに対応する前記物体とを学習済みの学習済みモデルに基づき、前記第１及び第２取得部が取得した前記匂いデータ及び取得条件から前記物体を識別する識別部と
   を備えることを特徴とする情報処理装置。
2. 前記取得条件は、前記匂いのカテゴリを表すテキストデータであって、前記匂いの計測を行ったユーザが入力したテキストデータである
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記第１取得部は、前記匂いを計測する匂いセンサから前記匂いデータを取得し、
   前記取得条件は、前記匂いの計測時における前記匂いセンサの状態を表す状態情報である
   ことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記取得条件は、前記物体の匂いを計測した計測環境に関する環境情報である
   ことを特徴とする請求項１〜３のいずれか１項に記載の情報処理装置。
5. 異なる前記物体ごとに、前記匂いデータ及び取得条件と、前記物体とを夫々学習済みの複数の前記学習済みモデルのデータを記憶する記憶部と、
   前記複数の学習済みモデルから何れかを選択する選択入力を受け付ける受付部とを備え、
   前記識別部は、選択された前記学習済みモデルに基づき、前記物体を識別する
   ことを特徴とする請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記学習済みモデルは、前記匂いデータ及び取得条件を入力として、該匂いデータに対応する前記物体が、学習対象とした一の前記物体に該当するか否かを示す識別結果を出力するモデルであり、
   前記受付部は、前記複数の学習済みモデルから、一又は複数の前記学習済みモデルを選択する選択入力を受け付け、
   前記識別部は、選択された前記一又は複数の学習済みモデルに基づき、前記物体が、各前記学習済みモデルで学習対象とした各前記物体の何れに該当するかを識別する
   ことを特徴とする請求項５に記載の情報処理装置。
7. 前記第１取得部は、水晶振動子を用いた匂いセンサから前記匂いデータを取得する
   ことを特徴とする請求項１〜６のいずれか１項に記載の情報処理装置。
8. 物体の匂いを計測した匂いデータを取得し、
   前記匂いデータの取得条件を取得し、
   物体の前記匂いデータ及び取得条件と、該匂いデータに対応する前記物体とを学習済みの学習済みモデルに基づき、取得した前記匂いデータ及び取得条件から前記物体を識別する
   処理をコンピュータが実行することを特徴とする情報処理方法。
9. 物体の匂いを計測した匂いデータ、及び該匂いデータの取得条件と、前記匂いデータに対応する正解の物体とを含む訓練データを取得し、
   前記訓練データに基づき、前記匂いデータ及び取得条件を入力として、前記匂いデータに対応する物体を識別した識別結果を出力とする学習済みモデルを生成する
   処理をコンピュータが実行することを特徴とする学習済みモデルの生成方法。
10. ユーザからの操作入力に応じて、物体の匂いを計測した匂いデータと、該匂いデータの取得条件とを、前記匂いデータを管理する解析管理装置に出力し、
    前記解析管理装置が管理する前記匂いデータの一覧を前記解析管理装置から取得して表示部に表示し、
    前記一覧から、学習対象とする前記匂いデータを選択する選択入力を受け付け、
    選択された前記匂いデータに対応する正解の物体の入力を受け付け、
    選択された前記匂いデータ、及び該匂いデータの前記取得条件と、前記正解の物体とに基づく機械学習を前記解析管理装置に要求し、前記匂いデータ及び取得条件から前記物体を識別する学習済みモデルを生成させ、
    前記一覧から、識別対象とする前記匂いデータを選択する選択入力を受け付け、
    前記解析管理装置が生成済みの一又は複数の前記学習済みモデルから何れかを選択する選択入力を受け付け、
    選択された前記学習済みモデルに基づき、選択された前記匂いデータ、及び該匂いデータの前記取得条件から前記物体を識別するよう前記解析管理装置に要求する
    処理をコンピュータに実行させることを特徴とするプログラム。

Images