JP7074365B2 - 香り品質特定システム、高機能携帯端末及びプログラム - Google Patents

Description

特許法第３０条第２項適用 平成２９年１０月２３日、電通アイソバー株式会社が、ウェブサイト（ｈｔｔｐｓ：／／ｗｗｗ．ｍａｋｕａｋｅ．ｃｏｍ／ｐｒｏｊｅｃｔ／ｋｉｏｋｕｎｏｋａｏｒｉ／等）にて公表

本発明は、香りを放つ物体に関する名詞情報、形容詞情報、香り数値情報を相互に関連付けたデータに基づいて香りを有する物体を特定する香り品質特定システム、高機能携帯端末及びプログラムに関する。

従来、撮影した画像データと共に検知した香りに関する情報を記録する特許文献１のような技術が開示されている。特許文献１には、香り成分を検知して香り成分の検出値を香り情報として記録するＲＡＭと、被写体光を撮像した撮像信号を画像処理して画像ファイルを生成するＣＰＵと、を備え、ＣＰＵが、香り情報と画像ファイルとを関連付けて記録するカメラに関する発明が開示されている。

特に、特許文献１に記載の発明では、香り情報に相当する芳香剤名称と、香り情報に相当する芳香剤名称に含まれる香り成分の名称と、画像ファイルとが関連付けられている。そして、画像ファイルを再生するときに、表示された芳香剤名称を選択することによって芳香剤を噴霧する。このことから、特許文献１に記載の発明は、「画像ファイル」と「香り成分の名称」とが一緒に記録されることになる。

特開２０１０－８７９４０号公報

しかしながら、このような技術では、画像ファイルの画像中のどの物体が香りを放つのかまでは特定することができない場合がある。例えば、香りを放つ物体が画像中にある場合には、香りを放つ物体を視覚により特定することができるかもしれないが、香りを放つ物体が画像中にない場合には、香りを放つ物体を視覚により特定することができない。この場合に、「この香りを放つ物体が何」であるかがまず分からない。また、この場合に、芳香剤名称が分かっていても「香りを放つ物体とは無関係の画像データ」と「芳香剤名称」との関連付けが記録されるだけであり、「香りを放つ物体」と「芳香剤名称」との関連付けがされないことになる。この結果、前述のように香りを放つ物体が特定されないことになる。

この一方で、香りを放つ物体がある場合に、「この物体が何」であって「この物体の香りが何」であるかを知りたいニーズもある。例えば、雑貨屋に行って良い香りのエリアを通ったときに、この香りのする物体を手に取って良く見たとして、「この香りのする物体が石鹸」であって「この物体の香りがバラの品種のルージュロワイアル」であるということが分からない場合がある。この場合に、ユーザは、「この物体が何」というのが「石鹸」であり、「この物体の香りが何」というのが「ルージュロワイアルの香り」であるという情報を知りたくなるはずである。

そこで、本発明は、香りを放つ物体がある場合に、従来よりも「物体」と「香り」の関連付けの確実性を向上させて香りを放つ物体を特定し易くすることができる香り品質特定システムを提供することを目的とする。

上記目的を達成するため、本発明の香り品質特定システムは、物体の名詞、前記名詞を表す形容詞が入力可能な入力部と、前記物体から放たれる香り成分に基づく数値を測定する測定部と、前記入力部に入力された前記名詞、前記形容詞、および前記測定部が測定した数値のうちの少なくとも２つを組み合わせて組合せデータとして蓄積させるデータ蓄積部と、検索される物体の検索物名詞、前記検索物名詞を表す検索物形容詞が入力されると共に、検索される物体の前記数値である検索物数値を受信したときに、前記検索物名詞、前記検索物形容詞および前記検索物数値を前記組合せデータと照合し、前記組合せデータに基づいて、前記検索物形容詞および前記検索物数値の香りの品質を示す前記検索物名詞を有する物体を特定するデータ照合部と、を備えることを特徴とする。

本発明によれば、従来よりも「物体」と「香り」の関連付けの確実性を向上させて香りを放つ物体を特定し易くすることができる。

本発明の一実施例に係る香り品質特定システムの構成を示す模式図である。 水晶振動子センサの構成を示す概略図である。 水晶振動子センサの共振周波数の変化を示すグラフである。 水晶振動子センサの共振周波数の変化を示すグラフである。 水晶振動子センサの共振周波数の変化を示すグラフである。 各々の水晶振動子センサが検知したバラの香り毎の共振周波数の基準値と、複数の水晶振動子センサが検知したバラの香り毎の共振周波数の基準値の平均値と、を示す表である。 香り品質特定システムが処理する物体の名詞、形容詞、物体の香りの情報を送信する経路を示すブロック図である。 名詞と形容詞の物体との関係性の深層学習の手順を示すブロック図である。 名詞と香り数値の物体との関係性の深層学習の手順を示すブロック図である。 名詞情報、形容詞情報、香り数値情報の組合せデータである。 ユーザが検索用語を入力する前の入出力部に表示される検索画面である。 ユーザが検索用語を入力した後の入出力部に表示される検索画面である。 入力層が名詞、中間層が香り数値、出力層が形容詞の再帰型ニューラルネットワークを説明するための図である。 入力層が形容詞、中間層が香り数値、出力層が名詞の再帰型ニューラルネットワークを説明するための図である。 入力層が名詞、中間層が形容詞、出力層が香り数値の再帰型ニューラルネットワークを説明するための図である。 入力層が香り数値、中間層が形容詞、出力層が名詞の再帰型ニューラルネットワークを説明するための図である。 入力層が香り数値、中間層が名詞、出力層が形容詞の再帰型ニューラルネットワークを説明するための図である。 入力層が形容詞、中間層が名詞、出力層が香り数値の再帰型ニューラルネットワークを説明するための図である。

以下、本発明の香り品質特定システムについて、図面を参照しながら詳細に説明していく。なお、以下に示す実施形態は本発明の実施形態の一例であって、本発明は、以下の実施形態に限定して解釈されるものではない。また、本実施形態で参照する図面において、同一の構成または機能を有する部分には同一の符号を付し、説明を省略する場合がある。

図１Ａに示されるように、香り品質特定システム１００は、香り成分移動装置１０と、測定部３０と、人工知能部５０と、入出力部７０と、を備える。

（香り成分移動装置）
香り成分移動装置１０は、香りを有する物体１を収納可能な筐体１１と、測定部３０との間を繋ぐチューブ１２と、チューブ１２の途中に配置されるポンプ１３と、を備える。香り成分移動装置１０は、筐体１１の内部の気体を測定部３０に移動させることができる装置である。例えば、香り成分移動装置１０は、測定部３０の内部の圧力を低下させることにより、気体を測定部３０に移動させる。

（測定部）
測定部３０は、物体１から放たれる香り成分に基づく数値を測定する部分であり、複数のガスセンサ３１と、複数の水晶振動子センサ３２と、香り数値算出部３３と、を備える。

複数のガスセンサ３１の各々は、二酸化炭素、一酸化炭素、メタン、ブタン、アンモニア等の物体１から放たれるガスを検知するセンサである。動植物等がこれらのガスを放出するときには香り放つものもあれば香りを放たないものもあるが、どのようなガス成分が入った香りでも検知できるようにするために、複数のガスセンサ３１が設けられている。ガスセンサ３１のいずれかはアンモニア（匂いあり）を検知し、ガスセンサ３１のいずれかは二酸化炭素（無臭）を検知するというように、各々のガスセンサ３１は異なるガスを検知する。これらのガスセンサ３１は、物体１から放たれる香り分子と共に放出される気体を検知する。ガスセンサ３１としては、例えば、電気化学式センサが用いられる。電気化学式センサは、検知極と、対極と、検知極と対極との間に設けられたイオン伝導体と、を有し、検知極と対極とが電気的に接続された短絡電流を測定する構成になっており、検知対象ガスに曝されたときに、電流値の変化を検知する。この電流値変化のデータがガスの検知に用いられる。

複数の水晶振動子センサ３２の各々は、物体１から放たれる香り成分を検知するセンサである。各々の水晶振動子センサ３２ａ～３２ｇは、非特異的吸着性を有する薄膜により形成された水晶振動子３４（図１Ｂ参照）を有する。複数の水晶振動子センサ３２の各々は、香り成分が水晶振動子３４に付着していない状態から香り成分が水晶振動子３４に付着した状態になるまでの時間に対する共振周波数の変化を検知する。

水晶振動子センサ３２ａ～３２ｇが有する水晶振動子３４の各々には、複数の香り成分を検知することができる特定の化合物が蒸着されている。水晶振動子センサ３２ａ～３２ｇが有する水晶振動子３４の各々に蒸着されている化合物は、互いに異なる化合物である。従って、水晶振動子センサ３２ａ～３２ｇの各々が検知することができる香り成分も互いに異なる。水晶振動子センサ３２ａ～３２ｇが有する水晶振動子３４の各々に蒸着される化合物には、例えば、Ｄフェニルアラニン、Ｄ－チロシン、ＤＬ－セスチジン、Ｄグルコース、アデニン、ポリエチレンがある。

例えば、水晶振動子センサ３２ａが香り成分「Ａ、Ｂ、Ｃ、Ｄ、Ｅ」を検知し、水晶振動子センサ３２ｂが香り成分「Ａ、Ｂ、Ｆ、Ｇ、Ｈ」を検知し、水晶振動子センサ３２ｃが香り成分「Ａ、Ｂ」を検知する例を説明する。そして、バラの品種「ルージュロワイアル」の香り成分が「Ａ、Ｂ」であり、バラの品種「ローズマリー」の香り成分が「Ｃ、Ｄ、Ｅ」であり、バラの品種「デンティ・ベス」の香り成分が「Ｆ、Ｇ、Ｈ」であるとする。

この場合に、「ルージュロワイアル」の香り成分「Ａ、Ｂ」は、水晶振動子センサ３２ａ、３２ｂ、３２ｃによって検知することができる。しかし、「ローズマリー」の香り成分「Ｃ、Ｄ、Ｅ」は、水晶振動子センサ３２ａにより検知することができるが、水晶振動子センサ３２ｂ、３２ｃでは検知することができない。また、「デンティ・ベス」の香り成分「Ｆ、Ｇ、Ｈ」は、水晶振動子センサ３２ｂにより検知することができるが、水晶振動子センサ３２ａ、３２ｃでは検知することができない。このように、水晶振動子センサ３２ａ～３２ｃは、同じ香り成分を検知できることもあれば、同じ香り成分を検知できないこともある。なお、同じ香り成分を検知するとしても、各々の水晶振動子センサ３２ａ～３２ｃは、異なる共振周波数で検知することになる。また、同じ香り成分を検知できないとしても、各々の水晶振動子センサ３２ａ～３２ｃは、異なる香り成分を検知することになる。

香り数値算出部３３は、複数のガスセンサ３１が検知したガスに基づく電流値信号を受信すると共に、電流値信号に基づいた数値を電流値データとして保有する。香り数値算出部３３は、複数の水晶振動子センサ３２が検知した香り成分に基づく共振周波数信号を受信し、共振周波数信号に基づいた数値（以下、「香り数値」という場合もある）を共振周波数データ（以下、「香り数値情報」という場合もある）として保有する。この共振周波数データは、水晶振動子３４に香り分子が付着していない状態から水晶振動子３４に香り分子が付着する状態までの時間に対する共振周波数の変化を示す。

（入出力部）
入出力部７０は、ユーザが物体１の名詞とその名詞が表す形容詞を入力可能な部分であり、ユーザが香りを有する物体１の名詞、形容詞、香り数値、あるいは、名詞、形容詞、香り数値の特徴を有する物体１の画像等を出力可能な部分でもある。

図２Ａに示されるように、香り数値算出部３３は、水晶振動子センサ３２ａが検知する検知結果に基づいてグラフＫ１～Ｋ５に示される共振周波数データ（時間に対する共振周波数の変化を示すデータ）を保有する。図２Ｂに示されるように、香り数値算出部３３は、水晶振動子センサ３２ｂが検知する検知結果に基づいてグラフＫ１～Ｋ５に示される共振周波数データ（時間に対する共振周波数の変化を示すデータ）を保有する。図３に示されるように、香り数値算出部３３は、水晶振動子センサ３２ｃが検知する検知結果に基づいてグラフＫ１～Ｋ５に示される共振周波数データ（時間に対する共振周波数の変化を示すデータ）を保有する。

Ｋ１は、ルージュロワイアルの香り成分のデータであり、Ｋ２はジャンヌダルクの香り成分のデータであり、Ｋ３はシェドラーブルの香り成分のデータであり、Ｋ４はサダークレディの香り成分のデータであり、Ｋ５はウィッシングの香り成分のデータである。ルージュロワイア、ジャンヌダルク、シェドラーブル、サダークレディ、ウィッシングは、バラの品種である。水晶振動子センサ３２ｃ～３２ｇについても同様に香り成分のデータが計測された（図４参照）。

図４は、図２Ａ及び図２ＢのグラフＫ１～Ｋ５と図３のグラフＫ１～Ｋ３の基準値を示す表である。ここでは、１００秒経過後に共振周波数を安定して示す数値を、基準値と呼ぶ。例えば、水晶振動子センサ３２ａが検知したルージュロワイアルの共振周波数の基準値は、１９９０７６０Ｈｚである。水晶振動子センサ３２ｂが検知したルージュロワイアルの共振周波数の基準値は、１９７７２３０Ｈｚである。水晶振動子センサ３２ｃが検知したルージュロワイアルの共振周波数の基準値は、１９９４７８５Ｈｚである。香り数値算出部３３は、これらの水晶振動子センサ３２ａ～３２ｇが検知した検知結果をベクトルで表現される香り数値として保有する。図４の表は、ジャンヌダルク、シェドラーブル、サダークレディ、ウィッシングについても同様に見る。

（人工知能部）
ここで、図１Ａの説明に戻る。図１Ａに示されるように、人工知能部５０は、データ蓄積部５１と、データ照合部５２と、を有する。データ蓄積部５１は、入出力部７０（入力部・出力部）から入力された物体の名詞（名詞ラベル）の情報、その名詞を表す形容詞（形容表現）の情報、測定部３０が測定した香り数値の情報を受信する。そして、データ蓄積部５１は、これらの名詞の情報、形容詞の情報、香り数値の情報を組み合わせて組合せデータ（図６参照）として蓄積させる。データ蓄積部５１は、名詞、形容詞および香り数値の間で、名詞、形容詞および香り数値を再帰型ニューラルネットワークにより学習し、組合せデータを作成して蓄積させる。データ蓄積部５１は、入出力部７０に入力された名詞、形容詞、および測定部３０が測定した香り数値の全てを組み合わせて組合せデータとして蓄積させる場合が多いが、そのうちの２つを組み合わせて組合せデータとして蓄積させる場合もある（図６のＩＤ３、ＩＤ４参照）。名詞、形容詞、香り数値の全てが常に揃うとは限らないからである。

名詞の情報には、例えば、料理名（カレー）、花などの品種（ローズ、バラ）、生産者名（有佳子さん）、ロット番号（製品番号）、菓子名（プリングルスのサワークリーム＆オニオン）等が該当する。形容詞の情報には、名詞の物体に対して嗅覚、味覚、視覚によって得られる表現の情報が含まれる。

（データ蓄積部）（名詞情報と形容詞情報との間の深層学習について）
データ蓄積部５１は、物体１の名詞と形容詞とが同時に入力されて名詞情報と形容詞情報とを受信したときに、名詞情報と形容詞情報とを組み合わせた組合せデータを作成する。データ蓄積部５１は、入力層に名詞情報を用い、出力層に形容詞情報を用い、香り数値情報を受信した場合には中間層に香り数値情報を用いて、再帰型ニューラルネットワークにより深層学習する。データ蓄積部５１は、この再帰型ニューラルネットワークにより深層学習して得られたデータを組合せデータとして随時蓄積していく。

図６、図８Ａ、図８Ｂを用いながら、この内容を説明する。例えば、データ蓄積部５１は、図６のＩＤ１に記載される名詞情報「ルージュロワイアル」と形容詞情報「フルーティ」を受信する。この場合に、データ蓄積部５１は、名詞情報「ルージュロワイアル」と形容詞情報「フルーティ」とにより組合せデータを作成する。そして、データ蓄積部５１は、入力層に名詞「ルージュロワイアル」を用い、出力層に形容詞「フルーティ」を用い、香り数値情報を受信した場合には中間層に香り数値情報を用いて、名詞情報「ルージュロワイアル」から形容詞情報「フルーティ」に至る深層学習を行う。このように名詞→香り数値→形容詞の流れで深層学習することにより名詞と形容詞との間で、その形容詞がその名詞を表現する確率が向上するようにされている。

また、データ蓄積部５１は、入力層に名詞「バラ、生花、愛」を用い、出力層に形容詞「フルーティ、いい香り、甘い、濃厚な、いい匂い」を用い、中間層に香り数値情報を用いて、名詞情報から形容詞情報に至る深層学習を行う。このように名詞→香り数値→形容詞の流れで深層学習をする。前述の例は、中間層が香り数値情報のＩＤ１についての説明であるが、ＩＤ２、ＩＤ３、ＩＤ４に関しても同様に行っていく。

データ蓄積部５１は、前述のように名詞を入力部、形容詞を出力部、香り数値を中間層とした再帰型ニューラルネットワークにより深層学習をする（図８Ａ）と共に、これとは反対に形容詞を入力部、名詞を出力部、香り数値を中間層とした再帰型ニューラルネットワークにより深層学習をし（図８Ｂ）、名詞と形容詞との関係を学習していく。

（データ蓄積部）（名詞情報と香り数値情報との間の深層学習について）
データ蓄積部５１は、物体１の名詞が入力されて名詞情報を受信すると共に、測定部３０が測定した香り数値情報を受信したときに、名詞情報と香り数値情報とを組み合わせた組合せデータを作成する。データ蓄積部５１は、入力層に名詞情報を用い、出力層に香り数値情報を用い、形容詞情報を受信した場合には中間層に形容詞情報を用いて、再帰型ニューラルネットワークにより深層学習する。データ蓄積部５１は、この再起型ニューラルネットワークにより深層学習して得られたデータを組合せデータとして随時蓄積していく。

図６、図８Ｃ、図８Ｄを用いながら、この内容を説明する。例えば、データ蓄積部５１は、図６のＩＤ１に記載される名詞情報「ルージュロワイアル」の入力情報を受信すると共に、香り数値情報「１９９０７６０」を受信する。この場合に、データ蓄積部５１は、名詞情報「ルージュロワイアル」と香り数値情報「１９９０７６０」とにより組合せデータを作成する。そして、データ蓄積部５１は、入力層に名詞「ルージュロワイアル」を用い、出力層に香り数値情報「１９９０７６０」を用い、形容詞情報を受信した場合には中間層に形容詞情報を用いて、名詞情報「ルージュロワイアル」から香り数値情報「１９９０７６０」に至る深層学習を行う。このように名詞→形容詞→香り数値の流れで深層学習することにより名詞と香り数値との間で、その香り数値がその名詞を表現する確率が向上するようにされている。

また、データ蓄積部５１は、入力層に名詞「バラ、生花、愛」を用い、出力層に香り数値情報「１９７７２３０、１９７７２３０、１９９４７８５、・・・１９９６６２０、１９８８７６０」（ここでは、図６のｉｄ１の香り数値情報を例示））を用い、中間層に形容詞情報を用いて、名詞情報から形容詞情報に至る深層学習をする。出力層に設ける香り数値情報は、図６のｉｄ２、ｉｄ３が用いられても良い。また、前述の例は、出力層が香り数値情報のＩＤ１についての説明であるが、ＩＤ２、ＩＤ３、ＩＤ４に関しても同様に行っていく。

データ蓄積部５１は、前述のように名詞を入力部、香り数値を出力部、形容詞を中間層とした再帰型ニューラルネットワークにより深層学習をする（図８Ｃ）と共に、これとは反対に香り数値を入力部、名詞を出力部、形容詞を中間層とした再帰型ニューラルネットワークにより深層学習をし（図８Ｄ）、名詞と香り数値との関係を学習していく。

（データ蓄積部）（香り数値情報と形容詞情報との間の深層学習について）
データ蓄積部５１は、測定部が測定した香り数値情報を受信すると共に、物体１の形容詞が入力されて形容詞情報を受信したときに、香り数値情報と形容詞情報とを組み合わせた組合せデータを作成する。データ蓄積部５１は、入力層に香り数値情報を用い、出力層に形容詞情報を用い、名詞情報を受信した場合には中間層に名詞情報を用いて、再起型ニューラルネットワークにより深層学習をする。データ蓄積部５１は、この再帰型ニューラルネットワークにより深層学習して得られたデータを組合せデータとして随時蓄積していく。

図６、図８Ｅ、図８Ｆを用いながら、この内容を説明する。例えば、データ蓄積部５１は、図６のＩＤ１に記載される香り数値情報「１９９０７６０」（図６参照）を受信すると共に、形容詞情報「フルーティ」（図６参照）を受信する。この場合に、データ蓄積部５１は、香り数値情報「１９９０７６０」と形容詞情報「フルーティ」とにより組合せデータを作成する。そして、データ蓄積部５１は、入力層に香り数値情報「１９９０７６０」を用い、出力層に形容詞情報「フルーティ」を用い、名詞情報を受信した場合には中間層に名詞情報を用いて、香り数値情報「１９９０７６０」から形容詞情報「フルーティ」に至る深層学習を行う。このように香り数値→名詞→形容詞の流れで深層学習をすることにより香り数値と形容詞との間で、その形容詞がその香り数値を表現する確率が向上するようにされている。

また、データ蓄積部５１は、入力層に香り数値情報「１９７７２３０、１９７７２３０、１９９４７８５、・・・１９９６６２０、１９８８７６０」（ここでは、図６のｉｄ１の香り数値情報を例示））を用い、出力層に形容詞情報「フルーティ、いい香り、甘い、濃厚な、いい匂い」を用い、中間層に名詞情報を用いて、香り数値情報から形容詞情報に至る深層学習を行う。このように、香り数値情報→名詞情報→形容詞情報の流れで深層学習をする。入力層に設ける香り数値情報は、図６のｉｄ２、ｉｄ３が用いられても良い。また、前述の例は、入力層が香り数値情報のＩＤ１についての説明であるが、ＩＤ２、ＩＤ３、ＩＤ４に関しても同様に行っていく。

データ蓄積部５１は、前述のように香り数値を入力部、形容詞を出力部、名詞を中間層とした再帰型ニューラルネットワークにより深層学習をする（図８Ｅ）と共に、これとは反対に形容詞を入力部、香り数値を出力部、名詞を中間層とした再帰型ニューラルネットワークにより深層学習をし（図８Ｆ）、香り数値と形容詞との関係を学習していく。

データ蓄積部５１は、前述のような名詞、形容詞および香り数値の間の情報をインターネット情報から収集して、組合せデータを作成して随時蓄積させている。データ蓄積部５１は、名詞情報と形容詞情報との組み合わせ情報を、ツイッター（登録商標）で検索される組み合わせや、ツイッターでツイートされる文章等から収集して深層学習してデータ化し、蓄積している。データ蓄積部５１は、前述のような名詞、形容詞および香り数値の間の情報を、その他では、自動応答システム（チャットボット）をはじめとする香り品質特定システム１００の応答履歴を起点としたシステムから収集する。

次に、図５Ａ～Ｃを用いながら、香り品質特定システム１００の動作を説明する。図５Ａに示されるように、ユーザが、香り成分移動装置１０の中に、香り情報を測定する物体１を入れ、物体１の香りが筐体１１内に充満する（Ｍ１）。ユーザは、ポンプ１３を駆動させ（Ｍ２）、香り成分移動装置１０内の香り成分が含まれた空気を測定部３０に送り込む。

測定部３０の中では、ガスセンサ３１が空気内の一酸化炭素、二酸化炭素、アンモニア等を検知する（Ｍ３のＭ３１）。同時に、水晶振動子センサ３２が空気内の香り成分の共振周波数を検知する（Ｍ３のＭ３２）。ここでは、水晶振動子センサ３２が香り成分としてルージュロワイアルを検知した場合を想定する。

この一方で、名詞と形容詞（Ｍ４）は、インターネットを通じて（Ｍ５）、人工知能部５０のデータ蓄積部５１に送信され、特徴学習モデル（再起型のニューラルネットワークであるＬＳＴＭ）が実行される（Ｍ６）。または、ユーザが物体１の名詞と形容詞（Ｍ４）を高機能携帯端末（スマートフォン等）の入出力部７０を用いて（Ｍ５）人工知能部５０のデータ蓄積部５１に送信し、特徴学習モデル（再帰型ニューラルネットワークであるＬＳＴＭ）を実行させる（Ｍ６）。学習した物体１の名詞と形容詞との関係は、人工知能部５０のデータ照合部５２に送信される（Ｍ７）。

人工知能部５０は、名詞情報、形容詞情報、香り数値情報を組み合わせた組合せデータをデータ蓄積部５１に蓄積させる。

図５Ａの人工知能部５０のデータ蓄積部５１は、図５Ｂに示されるように、言語入力層（Ｍ１２）に名詞（Ｍ１１）を用い、言語出力層（Ｍ１６）に形容詞で表される物体の情報（Ｍ１５）を用い、特徴学習モデル（再帰型ニューラルネットワークであるＬＳＴＭ）（Ｍ１７）により名詞と形容詞との関係性を深層学習する。また、データ蓄積部５１は、言語入力層（Ｍ１４）に形容詞（Ｍ１３）を用い、言語出力層（Ｍ１６）に名詞で表される物体の情報（Ｍ１５）を用い、特徴学習モデル（再帰型ニューラルネットワークであるＬＳＴＭ）（Ｍ１７）により名詞と形容詞との関係性を深層学習する。

図５Ａの人工知能部５０のデータ蓄積部５１は、図５Ｃに示されるように、言語入力層（Ｍ２２）に名詞（Ｍ２１）を用い、香り数値出力層（Ｍ２６）に香り数値で表される物体の情報（Ｍ２５）を用い、特徴学習モデル（再帰型ニューラルネットワークであるＬＳＴＭ）（Ｍ２７）により名詞と香り数値との関係性を深層学習する。また、データ蓄積部５１は、香り数値入力層（Ｍ２４）に香り数値（Ｍ２３）を用い、言語出力層（Ｍ２６）に名詞で表される物体の情報（Ｍ２５）を用い、特徴学習モデル（再帰型ニューラルネットワークであるＬＳＴＭ）（Ｍ２７）により香り数値と名詞との関係性を深層学習する。

図６に示されるように、組合せデータは、複数の名詞情報と、複数の形容詞情報と、複数の香り数値情報と、を組み合わせた情報である。ＩＤ１の名詞情報には、「ルージュロワイアル」「バラ」「生花」「愛」が含まれている。データ蓄積部５１は、「ルージュロワイアル」「バラ」「生花」「愛」が使用頻度により互いに関連付けが強いものとして分類している。「ルージュロワイアル」は、「バラ」の品種であり、「生花」に用いられ、「愛」という花言葉を持つので、この関係が生じる。また、データ蓄積部５１に入力される名詞情報または形容詞情報または香り数値情報の入力内容ごとの入力の頻度によって、入力された名詞情報同士に関係が生じ、形容詞同士に関係が生じ、香り数値情報同士に関係が生じる。深層学習を行うに際して、組合せデータとして頻出される可能性のある「ルージュロワイアル、バラ」は強い関係をもつように深層学習され、「ルージュロワイアル、ご飯」のような入力の頻度が低い組合せデータについては、弱い関係しか有さないように深層学習が行われる。

次に、ＩＤ１の形容詞情報には、「フルーティ」「いい香り」「甘い」「濃厚な」「いい匂い」が含まれている。データ蓄積部５１は、「ルージュロワイアル」を表現する形容詞として「フルーティ」「いい香り」「甘い」「濃厚な」「いい匂い」が用いられると判断する。形容詞情報としては、「フルーティ」「いい香り」は１番の表現者により表現され、「甘い」「濃厚な」は２番の表現者により表現され、「いい匂い」は３番の表現者により表現されたことも記録されている。

次に、ＩＤ１の香り形容詞情報には、ＩＤと、timestamp（香り測定時間）、水晶振動子センサ３２ａ～３２ｇが検知した共振周波数、average（共振周波数の平均値）、ondition_ｉｄ（気温、湿度等の環境分類を示すｉｄ）が含まれている。図６中のｓ１は、水晶振動子センサ３２ａに対応し、ｓ２は、水晶振動子センサ３２ｂに対応し、ｓ３は、水晶振動子センサ３２ｃに対応し、ｓ４は、水晶振動子センサ３２ｄに対応し、ｓ５は、水晶振動子センサ３２ｅに対応し、ｓ６は、水晶振動子センサ３２ｆに対応し、ｓ７は、水晶振動子センサ３２ｇに対応する。

（データ照合部）
データ照合部５２は、ユーザが物体１を検索した物体１の名詞（検索物名詞）、この名詞を表す形容詞（検索物形容詞）の入力情報を受信し、ユーザが物体１を調査するために測定部３０が測定した物体１の香り数値（検索物数値）を受信する。例えば、データ照合部５２は、ユーザが検索する名詞「バラ」、形容詞「フルーティ」の入力情報を受信し、測定部３０が香り数値「１９９０７６０」を受信する。

そして、データ照合部５２は、検索された物体の名詞、形容詞および香り数値を、蓄積されている組合せデータと照合する。データ照合部５２は、その組合せデータに基づいて、検索物の形容詞および検索物の香り数値を示す検索物の名詞を有する物体１を特定する。例えば、前述の例で考えると、以下のようになる。データ照合部５２は、検索物の名詞「バラ」を、図６のＩＤ１の名詞情報「バラ」およびＩＤ２の名詞情報「バラ」と照合する。また、データ照合部５２は、検索物の形容詞「フルーティ」を、図６のＩＤ１の形容詞「フルーティ」およびＩＤ２の形容詞「フルーティ」と照合する。さらに、データ照合部５２は、検索物の香り数値「１９９０７６０」を、図６の香り数値の平均値「１９９０７６０」と照合する。

データ照合部５２は、検索物の名詞と形容詞から「バラ」であることを判断できても「ルージュロワイアル」であるか「ジャンヌダルク」であるかを判断できない。しかし、データ照合部５２は、香り数値の平均値から「ルージュロワイアル」であると判断する。データ照合部５２は、ルージュロワイアルのバラを入出力部７０に出力する。

（実施例１）
次に、ユーザが「良い香りがするもの」を花屋に行って見つけたが、「この香りと同等の香りがする新しい石鹸」を雑貨屋に行って探す場合を想定して、香り品質特定システム１００に関するユーザの使用態様と香り品質特定システム１００の動作を説明していく。また、実際には、雑貨屋であれば、石鹸の成分が石鹸の包装用紙に記載されている場合が多いため、「良い香りと同等の香り」が包装用紙で特定されるものであるが、ここでは、包装用紙に「良い香りと同等の香り」の内容が記載されていない石鹸が店内に並んでいる場合を想定して説明していく。

ユーザが花屋を歩いているときに、自分の気に入った香りがするものを見つける。ユーザは、スマートフォン８０の入出力部７０の画面上で「香りアプリ」を起動させる。ユーザは、香り成分移動装置１０の筐体１１に良い香りがするものを収納する。ユーザが、ポンプ１３を駆動させて筐体１１の空気を測定部３０に流入させる。測定部３０は、ガスセンサ３１と水晶振動子センサ３２により石鹸の香りを検知し、香り数値算出部３３により石鹸の香り数値を測定し、データ蓄積部５１に香り数値情報「１９９０７６０」を送信する。データ蓄積部５１は、形容詞情報「フルーティ、いい香り、甘い、濃厚な、いい匂い」と香り数値情報「１９９０７６０」との組合せデータを作成する。

それから、ユーザは、雑貨屋に行って石鹸を見ている。ユーザは、図７Ａに示されるように、画面中には、「何をお探しですか？」という文章と「その香りはどのような香りですか？その他に特徴はありますか？」という文章が表示される。図７Ｂに示されるように、ユーザが「何をお探しですか？」の入力欄に名詞「石鹸」を入力し、「その香りはどのような香りですか？その他に特徴はありますか？」の入力欄に形容詞「フルーティ 甘い」を入力する。入出力部７０は、名詞情報「石鹸」と形容詞情報「フルーティ 甘い」をデータ照合部５２に送信する。

データ照合部５２は、花屋で照合した形容詞情報「フルーティ、いい香り、甘い、濃厚な、いい匂い」と香り数値情報「１９９０７６０」との組合せデータの部分と、雑貨屋で検索した名詞情報「石鹸」と形容詞情報「フルーティ 甘い」との組合せデータの部分とを更に組み合わせる。そして、データ照合部５２は、名詞情報「石鹸」、形容詞情報「フルーティ、甘い」、香り数値情報「１９９０７６０」を導出する。データ照合部５２は、名詞情報から名詞が「石鹸」であり、形容詞情報と香り数値情報から香りが「ルージュロワイアル」であることを特定する。人工知能部５０は、画面上に、「ルージュロワイアルの石鹸」を表示しつつ、ルージュロワイアルという文字が包装用紙に記載された石鹸を表示する。ユーザは、石鹸が「ルージュロワイアルの石鹸」であることを認識する。

（実施例２）
次に、ユーザが「良い香りがするもの」を雑貨屋に行って見つけたが、それが何かわからない場合の香り品質特定システム１００に関するユーザの使用態様と香り品質特定システム１００の動作を説明していく。この場合は、実際には、良い香りがするものが何かは包装用紙に記載されている場合が多いため、物体が特定されるものであるが、ここでは、包装用紙で包装されていないものが店内に並んでいる場合を想定して説明していく。

ユーザが雑貨屋を歩いているときに、自分の気に入った香りがするものを見つける。ユーザは、香り成分移動装置１０の筐体１１に自分の気に入った香りがするものを収納する。ユーザが、ポンプ１３を駆動させて筐体１１の空気を測定部３０に流入させる。測定部３０は、ガスセンサ３１と水晶振動子センサ３２によりその香りがするものを検知し、香り数値算出部３３によりその香りがするものの香り数値を測定し、データ蓄積部５１に香り数値情報「１９９０７６０」を送信する。

この一方で、ユーザは、スマートフォンの入出力部７０の画面上で「香りアプリ」を起動させる。図７Ａに示されるように、画面中には、「何をお探しですか？」という文章と、「その香りはどのような香りですか？その他に特徴はありますか？」という文章と、が表示される。図７Ｂに示されるように、ユーザが「何をお探しですか？」の入力欄に名詞「不明」を入力し、「その香りはどのような香りですか？その他に特徴はありますか？」の入力欄に「フルーティ」を入力する。入出力部７０は、名詞情報「不明」、形容詞情報「フルーティ」をデータ照合部５２に送信する。

データ照合部５２は、名詞情報「不明」、形容詞情報「フルーティ」、香り数値情報「１９９０７６０」をデータ蓄積部５１の組合せデータと照合する。そして、人工知能部５０は、名詞情報からは名詞が特定されず、形容詞情報からも香りが特定されず、香り数値情報から香りが「ルージュロワイアル」であることを特定する。名詞情報は検索の段階では分からないが、データ照合部５２は、名詞情報「石鹸」、形容詞情報「フルーティ」、香り数値情報「１９９０７６０」の組合せデータに該当するものを有するのであれば、「ルージュロワイアルの石鹸」であると結論を出す可能性がある。ただし、「ルージュロワイアルのバラ」であると結論を出す可能性もある。

（実施例３）
実施例３では、実施例２の事例において、データ照合部５２は、組合せデータに形容詞情報と香り数値情報とを組み合わせたデータがあるもののこれらと名詞情報とを組み合わせた組合せデータが無い場合を想定して説明する。この場合には、名詞情報を特定するために、画面中に、「それは、四角いですか？」、「それは、固いですか？」、「それは、すべり易いですか？」、「それは、白いですか？」という文章が表示される。データ蓄積部５１は、「それは四角いですか？」に対するユーザの回答「四角い」、「それは固いですか？」に対するユーザの回答「固い」、「それは、すべり易いですか？」に対する回答「すべり易い」、「それは、白いですか？」に対するユーザの回答「白い」といった形容詞情報を中間層、香り数値情報「１９９０７６０」を入力層、名詞情報「不明」を出力層として、再帰型ニューラルネットワークにより名詞「石鹸」を特定する。ユーザは、知りたかったものが「ルージュロワイアルの石鹸」であることを認識する。

前述してきた香り品質特定システム１００によれば、従来よりも「物体」と「香り」の関連付けの確実性を向上させて香りを放つ物体１を特定し易くすることができる。例えば、ルージュロワイアルの石鹸がある場合に、名詞「石鹸」と香り数値「１９９０７６０」の関連付けの確実性が、形容詞「フルーティ、いい香り、甘い、濃厚な、いい匂い」等により向上し、香りを放つ物体１が特定され易くなる。

（変形例）
なお、上記実施形態では、水晶振動子センサが用いられて香り成分が検知される構成であったが、これに限定されず、香り分子まで細かく検知される構成、または半導体式センサ、接触燃焼式センサ、電気化学式センサ、光センサが用いられて香り成分または香り分子または香りを有する物体が発するガスが検知される構成であっても良い。

半導体式センサは、酸化物半導体の表面が可燃性ガスに曝されると、酸化物半導体の電気抵抗が変化するので、その抵抗値の変化を検知する。この抵抗値変化のデータが香り分子の検知に用いられる。接触燃焼式センサは、可燃性ガスに曝されると、可燃性ガスに対して反応する検知片と可燃性ガスに対して反応しない補償片のうち、検知片の方のみ抵抗上昇することでブリッジ回路のバランスが崩れて、不均衡電圧値の変化を検知する。この電圧値変化のデータが香り分子の検知に用いられる。

上記実施形態では、データ蓄積部５１は、IINIOI AI と名付けられた出願人が開発する独自のシステムであるが、その他の深層学習またはデータベースによるシステムであっても良い。

上記実施形態では、水晶振動子センサ３２が７つ用いられていたので香りデータが７次元の構成であったが、上記実施形態に限定されなくても良い。すなわち、水晶振動子センサ３２が８つ以上用いられた８次元以上の構成であっても良い。データ蓄積部５１は、水晶振動子センサ３２の種類が多くなればなる程、香り数値情報を細かく保有できることになる。また、データ照合部５２は、水晶振動子センサ３２の種類が多くなればなる程、香り数値を細かく照合できることになる。

上記実施形態では、データ蓄積部５１は、入力層に名詞情報、出力層に形容詞情報、中間層に香り数値情報を用いる構成であったが、この構成に限定されなくても良い。この場合に、中間層の訓練に、香り数値情報と名詞情報との間の学習済みネットワークが用いられて転移学習させたり、香り数値情報と形容詞情報との間の学習済みネットワークが用いられて転移学習させたりしても良い。これは、入力層に形容詞情報、出力層に名詞情報、中間層に香り数値情報を用いる構成であっても同様である。

上記実施形態では、データ蓄積部５１は、入力層に名詞情報、出力層に香り数値情報、中間層に形容詞情報を用いる構成であったが、この構成に限定されなくても良い。この場合に、中間層の訓練に、形容詞情報と名詞情報との間の学習済みネットワークが用いられて転移学習させたり、形容詞情報と香り数値情報との間の学習済みネットワークが用いられて転移学習させたりしても良い。これは、入力層に香り数値情報、出力層に名詞情報、中間層に形容詞情報を用いる構成でも同様である。

上記実施形態では、データ蓄積部５１は、入力層に香り数値情報、出力層に形容詞情報、中間層に名詞情報を用いる構成であったが、この構成に限定されなくても良い。この場合に、中間層の訓練に、名詞情報と香り数値情報との間の学習済みネットワークが用いられて転移学習させたり、名詞情報と形容詞情報との間の学習済みネットワークが用いられて転移学習させたりしても良い。これは、入力層に形容詞情報、出力層に香り数値情報、中間層に名詞情報を用いる構成でも同様である。

上記実施形態では、香り品質特定システム１００が香り成分移動装置１０を有する構成であったが、この構成に限定されなくても良い。香り品質特定システム１００に香りを吸入する香り吸入機構が設けられれば良い。

上記実施形態では、香り品質特定システム１００が、香り成分移動装置１０、香り測定部３０、人工知能部５０、入出力部７０が別体で構成される構成であったが、この構成に限定されなくても良い。全ての構成がスマートフォン等の高機能通信端末に内蔵される構成であっても良い。

上記実施形態では、データ照合部５２は、検索する物体１の香り数値情報を、データ蓄積部５１の香り数値情報の平均値と照合していたが、この構成に限定されなくても良い。例えば、データ蓄積部５１の香り数値情報の平均値の代わりに、各々の水晶振動子センサ３２ａ～３２ｇが検知した香り数値に重み付けをした数値を足し合わせた数値、各々の水晶振動子センサ３２ａ～３２ｇが検知した香り数値に重み付けをした数値を掛け合わせた数値、が用いられても良い。

上記実施形態では、香り品質特定システム１００が物体１の名詞、形容詞及び香り数値の関係性を学習する深層学習処理、及び深層学習により作成した組み合わせデータを用いて物体１を特定する物体特定処理の２つの処理を行ったが、香り品質特定システム１００は、２つの処理をそれぞれサーバ装置及びクライアントが行うサーバ／クライアントシステムとして構成されても良い。具体的には、サーバ装置が深層学習を行って組合せデータを作成し、インターネット等の公衆通信網を介してユーザの高機能携帯端末に「香りアプリ」（プログラム）及び組合せデータを配信し、インストールさせる。高機能携帯端末は、ユーザから検索対象の物体１の名詞、形容詞の入力を受け付けると共に、検索対象の物体１の香り数値を測定部３０から受信して組合せデータと照合し、物体１を特定する。このように、深層学習を行うハードウェア（データ蓄積部５１）と、物体１を特定するハードウェア（データ照合部５２）とは異なっていても良い。

なお、高機能携帯端末には組合せデータをインストールせず、サーバ装置が組合せデータを保持し、高機能携帯端末は物体１の特定時にサーバ装置にアクセスして組合せデータとの照合を行うようにしても良いことは勿論である。

１ 物体
１０ 香り成分移動装置
１００ 香り品質特定システム
１１ 筐体
１２ チューブ
１３ ポンプ
３０ 測定部
３１ ガスセンサ
３２ 水晶振動子センサ
３２ａ～３２ｇ 水晶振動子センサ
３３ 数値算出部
３４ 水晶振動子
５０ 人工知能部
５１ データ蓄積部
５２ データ照合部
７０ 入出力部
Ｋ１～Ｋ５ グラフ

Claims (4)

1. 物体の名詞、前記名詞を表す形容詞が入力可能な入力部と、
   前記物体から放たれる香り成分に基づく数値を測定する測定部と、
   ユーザにより前記入力部に入力された前記名詞及び前記形容詞と、前記ユーザの操作により前記測定部が測定した数値とを組み合わせて組合せデータとして蓄積させるデータ蓄積部と、
   前記ユーザにより前記入力部に入力された検索される物体の検索物名詞、前記検索物名詞を表す検索物形容詞が入力されると共に、前記ユーザの操作により前記測定部が測定した前記検索される物体のから放たれる香り成分に基づく数値である検索物数値を受信したときに、前記検索物名詞、前記検索物形容詞および前記検索物数値を前記組合せデータと照合し、前記組合せデータに基づいて、前記検索物形容詞および前記検索物数値の香りの品質を示す前記検索物名詞を有する物体、または前記検索物数値の香りの品質を示す前記検索物名詞を有する物体を特定するデータ照合部と、
   を備えることを特徴とする香り品質特定システム。
2. 前記データ蓄積部は、前記名詞、前記形容詞および前記数値の間で、前記名詞、前記形容詞および前記数値を再帰型ニューラルネットワークにより学習し、前記組合せデータを作成して蓄積させることを特徴とする請求項１に記載の香り品質特定システム。
3. 請求項１又は請求項２に記載の香り品質特定システムを備える高機能携帯端末。
4. ユーザから検索される物体の検索物名詞、前記検索物名詞を表す検索物形容詞の入力を受け付け、
   前記ユーザから検索される前記物体から放たれる香り成分に基づく数値である検索物数値を受信し、
   前記検索物名詞、前記検索物形容詞および前記検索物数値を、物体の名詞、前記名詞を表す形容詞、および物体から放たれる香り成分に基づく数値を組み合わせた組合せデータと照合し、前記組合せデータに基づいて、前記検索物形容詞および前記検索物数値の香りの品質を示す前記検索物名詞を有する物体、または前記検索物数値の香りの品質を示す前記検索物名詞を有する物体を特定する処理をコンピュータに実行させ、
   前記組合せデータは、予め前記ユーザから受け付けたものである
   プログラム。

Images