JP2024083264A - 情報処理方法、情報処理システム、情報処理装置、ディフューザ及びプログラム - Google Patents

Abstract

【課題】視覚等に応じたにおいを発生させることのできる情報処理方法等を提供する。
【解決手段】本発明の一態様によれば、情報処理方法が提供される。この情報処理方法は、次の各ステップを備える。取得ステップでは、ユーザに提示する提示情報を取得する。選択ステップでは、参照情報に基づいて、提示情報に含まれる物体を示す物体情報に応じたにおい情報を選択する。放出制御ステップでは、におい情報に応じたにおい成分を放出させる。
【選択図】図１

Description

本発明は、情報処理方法、情報処理システム、情報処理装置、ディフューザ及びプログラムに関する。

環境に応じて、におい物質等を拡散するための技術が提案されている（例えば、特許文献１を参照）。

特開２０２２－３２０６２号公報

上述の従来技術では、空気中のにおいに応じてにおいを発生させるが、におい以外の環境に応じたにおいの発生は想定されていない。

本発明では上記事情を鑑み、視覚等に応じたにおいを発生させることのできる情報処理方法等を提供することとした。

本発明の一態様によれば、情報処理方法が提供される。この情報処理方法は、次の各ステップを備える。取得ステップでは、ユーザに提示する提示情報を取得する。選択ステップでは、参照情報に基づいて、提示情報に含まれる物体を示す物体情報に応じたにおい情報を選択する。放出制御ステップでは、におい情報に応じたにおい成分を放出させる。

本発明の一態様によれば、視覚等に応じたにおいを発生させることが可能となる。

本発明の実施形態に係る情報処理システム１００の構成例を示した図である。 情報処理装置１の構成を示した図である。 ディフューザ３の構成を示した図である。 ディフューザ３の制御部３１の構成を示した図である。 ディフューザ３の制御部３１の機能的な構成を示した図である。 情報処理装置１の機能的な構成を示した図である。 ディフューザ３によって実行される情報処理（におい成分の放出処理）の流れを示すアクティビティ図である。

以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。

ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体（Ｎｏｎ－Ｔｒａｎｓｉｔｏｒｙ Ｃｏｍｐｕｔｅｒ－Ｒｅａｄａｂｌｅ Ｍｅｄｉｕｍ）として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。

また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０又は１で構成される２進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。

また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。

１．全体構成
図１は、本発明の実施形態に係る情報処理システム１００の構成例を示した図である。同図に示すように、情報処理システム１００は、情報処理装置１と、複数のディフューザ３と、複数の情報出力機器４とを備える。情報処理装置１及びディフューザ３は、それぞれ、ネットワーク２を介して接続される。ディフューザ３には、それぞれ情報出力機器４が接続されている。なお、ネットワーク２に接続されるディフューザ３の数に制限はない。

情報処理装置１は、ディフューザ３が動作する際に必要なデータの配信を行うか、ディフューザ３から静止画や動画、音声等の情報を取得して、これらに応じたにおい情報をディフューザ３に返すかのいずれかの動作を行う。

２．情報処理装置１の構成
次に、情報処理装置１の構成について説明する。図２は、情報処理装置１の構成を示した図である。同図に示すように、情報処理装置１は、処理部１１と、記憶部１２と、一時記憶部１３と、外部装置接続部１４と、通信部１５とを有しており、これらの構成要素が情報処理装置１の内部において通信バス１６を介して電気的に接続されている。

処理部１１は、例えば、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）により実現されるもので、記憶部１２に記憶された所定のプログラムに従って動作し、種々の機能を実現する。

記憶部１２は、様々な情報を記憶する不揮発性の記憶媒体である。これは、例えばハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ：ＨＤＤ）やソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスにより実現される。なお、記憶部１２は、情報処理装置１と通信可能な別の装置に配するようにすることも可能である。

一時記憶部１３は、揮発性の記憶媒体である。これは、例えばランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリにより実現され、処理部１１が動作する際に一時的に必要な情報（引数、配列等）を記憶する。

外部装置接続部１４は、例えばユニバーサルシリアルバス（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ：ＵＳＢ）や高精細度マルチメディアインターフェース（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ：ＨＤＭＩ（登録商標））といった規格に準じた接続部であり、キーボード等の入力装置やモニタ等の表示装置を接続可能としている。

通信部１５は、例えばローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ：ＬＡＮ）規格に準じた通信手段であり、情報処理装置１とローカルエリアネットワークやこれを介したインターネット等のネットワーク２との間の通信を実現する。

なお、情報処理装置１には、汎用のサーバ向けのコンピュータやパーソナルコンピュータ等を利用することが可能であり、複数のコンピュータを用いて情報処理装置１を構成することも可能である。

３．ディフューザ３の構成
図３は、ディフューザ３の構成を示した図である。同図に示すように、ディフューザ３は、制御部３１と、通信部３２と、接続部３３と、放出部３４と、におい成分格納部３５とを有している。図４は、ディフューザ３の制御部３１の構成を示した図である。同図に示すように、制御部３１は、処理部３１１と、記憶部３１２と、一時記憶部３１３とを有しており、これらの構成要素が制御部３１の内部において通信バス３１４を介して電気的に接続されている。また、通信バス３１４には、通信部３２と、接続部３３とが接続されている。

処理部３１１は、例えば、中央処理装置により実現されるもので、記憶部３１２に記憶された所定のプログラムに従って動作し、種々の機能を実現する。

記憶部３１２は、様々な情報を記憶する不揮発性の記憶媒体である。これは、例えばハードディスクドライブやソリッドステートドライブ等のストレージデバイスにより実現される。

一時記憶部３１３は、揮発性の記憶媒体である。これは、例えばランダムアクセスメモリ等のメモリにより実現され、処理部３１１が動作する際に一時的に必要な情報（引数、配列等）を記憶する。

通信部３２は、情報処理装置１との通信を行うように構成される。接続部３３は、主に情報出力機器４との接続を行う。情報出力機器４は、画像、音声、振動等を出力可能な各種のデバイス（ディスプレイ、スピーカ、振動発生機構等）を備えた装置である。

放出部３４は、におい成分の放出を行うように構成される。具体的には、におい成分格納部３５に格納されているにおい成分を一定の割合で混合して大気に放出する。

におい成分格納部３５は、放出部３４が放出するにおい成分を物理的に格納する。具体的には、におい成分格納部３５は、複数の種類の基準臭を発生させるにおい成分（気体、液体又は個体）を個別に収納している。これらのにおい成分は、基準臭の種類ごとに異なるにおいを発生させる。

４．ディフューザ３の制御部３１の機能的な構成
図５は、ディフューザ３の制御部３１の機能的な構成を示した図である。同図に示すように、制御部３１は、取得部３１１１と、選択部３１１２と、モデル記憶部３１１３と、放出制御部３１１４と、遅延部３１１５とを備える。

取得部３１１１は、後述する取得ステップを実行するもので、例えば、ユーザに提示する提示情報を取得する。選択部３１１２は、後述する選択ステップを実行するもので、例えば、参照情報に基づいて、取得部３１１１が取得した提示情報に含まれる物体を示す物体情報に応じたにおい情報を選択する。モデル記憶部３１１３は、選択部３１１２が動作する際に必要な学習済みモデルを記憶するもので、この学習済みモデルは、例えば、情報処理装置１から配信されるものである。放出制御部３１１４は、後述する放出制御ステップを実行するもので、例えば、選択部３１１２が選択したにおい情報に応じたにおい成分を放出させる。遅延部３１１５は、後述する遅延ステップを実行する。なお、遅延部３１１５は、省略することも可能である。

５．情報処理装置１の機能的な構成
情報処理装置１は、ディフューザ３が動作する際に必要な提示情報（静止画や動画、音声等の情報）等のデータの配信を行う。また、情報処理装置１は、ディフューザ３から提示情報を取得して、これらに応じたにおい情報をディフューザ３に通知することも可能である。図６は、情報処理装置１の機能的な構成を示した図である。同図に示すように、情報処理装置１は、取得部１０１と、選択部１０２と、モデル記憶部１０３と、通知部１０４とを備える。

取得部１０１は、後述する取得ステップを実行するもので、例えば、ネットワーク２を介して接続されたディフューザ３から、ユーザに提示する提示情報を取得する。選択部１０２は、後述する選択ステップを実行するもので、例えば、参照情報に基づいて、提示情報に含まれる物体を示す物体情報に応じたにおい情報を選択する。モデル記憶部１０３は、選択部１０２が動作する際に必要な学習済みモデルを記憶する。通知部１０４は、選択部１０２が選択したにおい情報を、ディフューザ３に通知する。

６．各機能部の動作
続いて、各機能部の動作について説明する。

<取得部３１１１>
取得部３１１１は、ユーザに提示する提示情報を取得するように構成される。提示情報とは、ユーザが視覚、聴覚又は触覚において認識可能な情報である。ユーザが視覚において認識可能な情報としては、文字情報、静止画又は動画が挙げられる。ユーザが聴覚において認識可能な情報としては、音声（動画に含まれる音声も含む）が挙げられる。ユーザが触覚において認識可能な情報としては、ユーザの指等を刺激するデバイスによって振動又は圧力として伝達される触覚刺激用信号が挙げられる。

提示情報は、例えば、ディフューザ３に接続される情報出力機器４から出力されることで、ユーザに提示される。取得部３１１１は、例えば、記憶部３１２に記憶された提示情報、又は情報処理装置１から配信された提示情報のうち、情報出力機器４に出力される提示情報を、におい情報を選択するための情報として取得する。

<選択部３１１２>
選択部３１１２は、参照情報に基づいて、提示情報に含まれる物体を示す物体情報に応じたにおい情報を選択するように構成される。「物体情報」には、物体そのものを表す情報（例えば、物体の名称を示す情報）と、物体を想起させる（物体と関連性のある）情報（例えば、物体を表す画像、音声等）とが含まれる。

提示情報が静止画又は動画である場合、選択部３１１２は、提示情報から物体の画像を抽出する。物体の画像の抽出は、例えば、モデル記憶部３１１３に記憶された物体抽出アルゴリズム（例えば、画像処理ＡＩ）によって行われる。

選択部３１１２は、提示情報に複数の物体の画像が含まれる場合、複数の画像のうち、サイズの大きい順から予め定めた数（第１画像数）の画像を複数の物体情報として抽出し、複数の物体情報それぞれに応じた複数のにおい情報を選択するとよい。これにより、ユーザが静止画又は動画において認識しやすい物体に関連したにおいを発生させることができる。第１画像数は、例えば、最大で１０であり、具体的には、２又は３である。また、第１画像数は１であってもよい。つまり、選択部３１１２は、最もサイズの大きい１つの画像を抽出してもよい。なお、選択部３１１２が判定に用いる画像のサイズは、抽出された物体の静止画又は動画における縦寸法と横寸法との積（つまり、物体を内包する最小長方形の面積）である。

選択部３１１２は、提示情報に複数の物体の画像が含まれる場合、複数の画像のうち、静止画又は動画の中心に近い順から予め定めた数（第２画像数）の画像を複数の物体情報として抽出し、複数の物体情報それぞれに応じた複数のにおい情報を選択してもよい。これによっても、ユーザが静止画又は動画において認識しやすい物体に関連したにおいを発生させることができる。第２画像数は、例えば、最大で１０であり、具体的には、２又は３である。また、第２画像数は１であってもよい。つまり、選択部３１１２は、最も中心に近い１つの画像を抽出してもよい。なお、選択部３１１２が判定に用いる画像と静止画又は動画の中心との近さは、静止画又は動画において抽出された物体と静止画又は動画の中心との最短距離によって決定される。

選択部３１１２は、提示情報に複数の物体の画像が含まれる場合、複数の画像のうち、静止画又は動画における占有割合が大きい順から予め定めた数（第３画像数）の画像を複数の物体情報として抽出し、複数の物体情報それぞれに応じた複数のにおい情報を選択してもよい。これによっても、ユーザが静止画又は動画において認識しやすい物体に関連したにおいを発生させることができる。第３画像数は、例えば、最大で１０であり、具体的には、２又は３である。また、第３画像数は１であってもよい。つまり、選択部３１１２は、最も占有割合の大きい１つの画像を抽出してもよい。なお、選択部３１１２が判定に用いる画像の占有割合は、静止画又は動画において抽出された物体自身の面積を、静止画又は動画の全体面積で除した値である。

また、選択部３１１２は、静止画又は動画に、静止画又は動画の内容を示すメタデータ（例えば字幕情報）が含まれる場合、このメタデータに基づいて静止画又は動画に含まれる物体を認識してもよい。この場合、物体に対応するテキストデータが物体情報として抽出される。

提示情報が音声である場合、選択部３１１２は、提示情報から効果音、人声、及び音楽を抽出する。効果音、人声、及び音楽の抽出は、例えば、モデル記憶部３１１３に記憶された音声抽出アルゴリズム（例えば、音声認識ＡＩ）によって行われる。

すなわち、選択部３１１２は、音声に効果音が含まれる場合、効果音を物体情報として抽出する。また、選択部３１１２では、音声に人声が含まれる場合には、人声を物体情報として抽出する。さらに、選択部３１１２は、音声に音楽が含まれる場合には、音楽を物体情報として抽出する。これらにより、音声からユーザが認識する物体に関連したにおいを発生させることができる。

効果音には、例えば、風、波等の自然現象によって発生する環境音、人工物（装置、機械等）が発生する人工音、動物、人間等が発生させる音などが含まれる。人声には、発話、歌声等が含まれる。

選択部３１１２は、物体情報の抽出後、参照情報に基づいて、物体情報に応じたにおい情報を選択する。におい情報とは、ディフューザ３の放出部３４に特定のにおいを放出させるための情報である。におい情報は、基準臭の混合比を含むとよい。これにより、基準臭の組合せによって、物体に対応するにおいを生成することができる。

具体的には、におい情報は、ディフューザ３が有する複数の種類の基準臭（つまり、におい成分格納部３５に格納された複数の種類のにおい成分）それぞれの、混合割合を含むとよい。例えば、におい成分格納部３５に格納されたにおい成分が、Ａ成分、Ｂ成分、及びＣ成分の場合、１つのにおい情報は、「Ａ成分３０％、Ｂ成分２０％、Ｃ成分５０％」のように、３つのにおい成分の割合で構成される。なお、基準臭の数は、３に限定されない。

また、基準臭には、それぞれ官能ラベルが付けられてもよい。官能ラベルは、においの専門家が、各基準臭を官能的に表現する名称を付したものである。選択部３１１２は、官能ラベルの組合せで構成されるにおい情報を選択してもよい。

におい情報は、物体のにおいを検出した際のセンサ出力に基づいて設定されてもよい。すなわち、におい情報は、物体から放出される実際のにおいをにおいセンサで電気信号に変換し、このときのセンサ出力（つまり電気信号）が再現されるにおいを放出部３４に放出させるように調整された情報であってもよい。これにより、物体から放出されるにおいの再現性を高めることができる。におい情報が上述のように基準臭の混合比を含む場合、におい情報は、ある物体のにおいに対するセンサ出力を再現する混合比として設定される。

選択部３１１２が参照する参照情報は、物体情報と、におい情報との対応関係が記述された情報である。参照情報は、例えば、モデル記憶部３１１３に記憶されている。参照情報は、物体情報を入力として、におい情報を出力可能なように構築された推定器である。参照情報は、例えば、物体情報とにおい情報とが対応付けられた、テーブルであってもよい。また、参照情報は、物体情報を入力とし、におい情報を出力とすることが可能なように学習されたにおい選択モデルであってもよい。これにより、物体のイメージにより近いにおい情報の選択が可能となる。この場合、選択部３１１２は、取得部３１１１が取得した物体情報をにおい選択モデルに入力し、におい選択モデルににおい情報を出力させる。

におい選択モデルは、学習用の物体情報と、それに対応するにおい情報とを教師データとして学習した学習モデルである。学習によって算出又はチューニングされたにおい選択モデルのパラメータが、物体情報と、におい情報との対応関係を記述する要素に相当する。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシン、ニューラルネットワークを利用した深層学習（ディープラーニング）等が挙げられる。におい選択モデルは、追加の学習を行うことが可能である。例えば、におい選択モデルは、新たな物体情報と対応するにおい情報とを新たな教師データとして、追加の学習を行ってファインチューニングされてもよい。これにより、におい選択モデルから出力されるにおい情報の精度が向上する。

具体例を説明すると、物体情報が物体の画像である場合、教師データとして、物体の画像と、この物体のにおいを再現するためのにおい情報（例えば、基準臭の混合比）との組合せを多数用意し、におい選択モデルに学習させる。学習済みのにおい選択モデルは、新たな物体の画像の入力を受けて、この物体のにおいを再現する可能性の高いにおい情報（基準臭の混合比）を予測し、出力する。

また、物体情報が音声である場合、教師データとして、音声と、この音声の発生源である物体のにおいを再現するためのにおい情報（例えば、基準臭の混合比）との組合せを多数用意し、におい選択モデルに学習させる。学習済みのにおい選択モデルは、新たな音声の入力を受けて、この音声の発生源である物体のにおいを再現する可能性の高いにおい情報（基準臭の混合比）を予測し、出力する。

選択部３１１２は、物体情報として、物体の画像又は音声を、物体を表すラベルに変換したものと、参照情報（におい選択モデル）とを用いて、におい情報を選択してもよい。例えば、提示情報から抽出された物体の画像が「みかん」であった場合、選択部３１１２は、物体情報として「みかん」を表すラベル（テキストデータ、ＩＤデータ等）に変換する。さらに、画像に基づいて、選択部３１１２は、「青いみかん」、「熟したみかん」、「切断されたみかん」等のように、物体を表すラベルをより細分化して分類してもよい。また、例えば、提示情報から抽出された音声が「波音」であった場合、選択部３１１２は、物体情報として「波」を表すラベルに変換する。これにより、予め「みかん」、「波」といったラベルに対する香りを定義し、この定義を利用してにおい情報を選択できる。

画像又は音声からラベルへの変換は、例えば、画像又は音声を入力とし、ラベルを出力とすることが可能なように学習されたラベル変換モデルを用いることができる。ラベル変換モデルは、学習用の画像又は音声と、それに対応するラベルとを教師データとして学習した学習モデルである。

さらに、選択部３１１２は、物体情報が示す物体の触覚に応じてにおい情報を選択してもよい。これにより、触覚で感じる物体のにおいをユーザに提供することができ、臨場感が高められる。選択部３１１２は、提示情報が触覚刺激信号である場合は、触覚刺激用信号の分析によって当該触覚刺激信号がユーザに仮想的に触らせようと想定している物体を推測し、この物体を示す物体情報に対応するにおい情報を選択する。また、選択部３１１２は、画像又は音声から抽出した物体の触覚を示す物体情報を設定し、参照情報に基づいてにおい情報を選択してもよい。画像又は音声からの物体の抽出方法は、上述のとおりである。

抽出された物体は、例えば、予め準備したテーブルによって、触覚を示す物体情報に変換される。触覚を示す物体情報は、例えば、「やわらかい」、「なめらか」、「湿った」、「スムース」、「ガサガサ」等のような官能評価ワードを含む。

触覚に応じてにおい情報を選択する場合、選択部３１１２は、例えば、提示情報から推測又は抽出された物体が「セーター」であった場合は、「やわらかい」という触覚を表す物体情報を設定する。選択部３１１２は、参照情報（におい選択モデル）を用いて、「やわらかい」という物体情報に対応したにおい情報を選択する。

触覚に応じてにおい情報を選択する際ににおい選択モデルを用いる場合、におい選択モデルは、教師データとして、物体の触覚を表す情報と、この物体のにおいを再現するためのにおい情報（例えば、基準臭の混合比）との組合せを多数用意し、におい選択モデルに学習させる。学習済みのにおい選択モデルは、新たな物体の触覚を表す情報の入力を受けて、この物体のにおいを再現する可能性の高いにおい情報（基準臭の混合比）を予測し、出力する。

<放出制御部３１１４>
放出制御部３１１４は、におい情報に応じたにおい成分を放出させる。放出制御部３１１４は、選択部３１１２が選択したにおい情報に基づき、例えば、におい情報に含まれる基準臭の割合となるように、放出部３４に各基準臭のにおい成分を放出させる。

提示情報から複数の物体情報（例えば複数の物体の画像）が抽出された場合は、選択部３１１２は、複数の物体情報それぞれに対応する複数のにおい情報を放出制御部３１１４に送る。また、選択部３１１２は、複数のにおい情報と共に、これらのにおい情報の優先比率を放出制御部３１１４に送ってもよい。優先比率は、各におい情報によって生成される、複数の香りの混合比率である。例えば、「みかん」という物体情報に基づくにおい情報と、「りんご」という物体情報に基づくにおい情報とが放出制御部３１１４に送信される場合を想定する。これらの優先比率が１：１であるときは、「みかん」のにおい情報で生成される香りと、「りんご」のにおい情報で生成される香りとは、１：１の比率でディフューザ３の放出部３４から放出される。一方、優先比率が２：１であるときは、「みかん」の香りが、「りんご」の香りの２倍の量で放出部３４から放出される。優先比率は、例えば、提示情報に含まれる画像のサイズ、画像の静止画又は動画の中心までの距離、画像の静止画又は動画における占有割合等の比率に応じて決められてもよい。

<遅延部３１１５>
遅延部３１１５は、提示情報のユーザへの提示を遅延時間に応じて遅延させる。遅延時間は、におい成分の放出に要する時間である。これにより、ユーザにおける提示情報の知覚と、におい成分の知覚とのタイムラグを低減することができる。遅延部３１１５は、放出制御部３１１４によるにおい情報に基づいたにおい成分の放出を放出部３４に指示した後、遅延時間が経過した後に、情報出力機器４に、当該におい情報に対応する物体を含む提示情報（静止画又は動画、音声、触覚刺激等）を出力させる。

遅延時間は、予め定められた一定の時間であってもよいし、放出部３４への放出指示後、センサ等によって放出部３４からにおい成分の放出が検出されるまでの時間であってもよい。

７．情報処理方法
本節では、ディフューザ３による情報処理方法について説明する。この情報処理方法は、ディフューザ３の各部が、各ステップとしてコンピュータにより実行される。

具体的には、この情報処理方法は、取得ステップと、選択ステップと、放出制御ステップとを備える。取得ステップでは、ユーザに提示する提示情報を取得する。選択ステップでは、参照情報に基づいて、提示情報に含まれる物体を示す物体情報に応じたにおい情報を選択する。放出制御ステップでは、におい情報に応じたにおい成分を放出させる。

図７は、ディフューザ３によって実行される情報処理（におい成分の放出処理）の流れを示すアクティビティ図である。以下では、このアクティビティ図の各アクティビティに沿って、情報処理を説明する。

におい成分の放出処理は、ディフューザ３の制御部３１が情報出力機器４によってユーザに提示される提示情報を取得することから開始される（アクティビティＡ１０１）。提示情報の取得後、制御部３１は、提示情報に含まれる少なくとも１つの物体を抽出又は推測し、当該物体を示す物体情報を生成する（アクティビティＡ１０２）。

物体情報の生成後、制御部３１は、参照情報（におい選択モデル）を用いて、少なくとも１つのにおい情報を選択する（アクティビティＡ１０３）。におい情報の選択後、制御部３１は、におい情報に基づいたにおい成分の放出を放出部３４に指示する（アクティビティＡ１０４）。これにより、ディフューザ３からにおい成分が放出される。

におい成分の放出指示後、制御部３１は、情報出力機器４に、におい情報の選択を行った提示情報の出力を指示する（アクティビティＡ１０５）。これにより、情報出力機器４から提示情報が、静止画又は動画、音声、触覚刺激等の形で出力される（アクティビティＡ１０６）。このとき、制御部３１は、におい成分が放出されるまで、提示情報の出力を遅延させてもよい。

８．作用
本実施形態の作用をまとめると、次の通りとなる。すなわち、提示情報に含まれる物体に合わせてにおい情報が選択されるので、提示情報とともに、物体をイメージしたにおいをユーザに提供することができる。

９．その他
以上説明した情報処理システムは、少なくとも１つの装置からなる情報処理システムである。この情報処理システムでは、前述した情報処理方法の各ステップがなされるようにプログラムを実行する少なくとも１つのプロセッサを備える。また、情報処理システムは、におい成分を放出する装置（ディフューザ３）を備えるように構成することもできる。情報処理システムが備えるプロセッサが実行するプログラムは、少なくとも１つのコンピュータに、前述した情報処理方法の各ステップを実行させるものである。

上記実施形態では、ディフューザ３の取得部３１１１、選択部３１１２、放出制御部３１１４及び遅延部３１１５が、それぞれ、取得ステップ、選択ステップ、放出制御ステップ、及び遅延ステップを実行したが、これらのステップのうち少なくとも１つは、情報処理装置１が実行してもよい。例えば、取得ステップ及び選択ステップは、それぞれ、情報処理装置１の取得部１０１及び選択部１０２で実行されてもよい。この場合、情報処理装置１の通知部１０４が、選択部１０２が選択したにおい情報をディフューザ３の制御部３１に通知する。また、情報処理装置１のモデル記憶部１０３に記憶された参照情報が選択ステップにおいて使用される。

上記実施形態では、情報処理装置１が種々の記憶・制御を行ったが、情報処理装置１に代えて、複数の外部装置が用いられてもよい。すなわち、種々の情報やプログラムは、ブロックチェーン技術等を用いて複数の外部装置に分散して記憶されてもよい。特に、参照情報（学習モデル）を記憶するモデル記憶部は、情報処理装置１及びディフューザ３の外部構成であってもよい。その場合、モデル記憶部は、情報処理装置１又はディフューザ３の各機能部から入力を受け付け、指示された出力を情報処理装置１又はディフューザ３に返すように構成される。

選択部３１１２は、提示情報から想起される感情を抽出してもよい。この場合、提示情報は感情を示す感情情報に変換される。選択部３１１２は、例えば、提示情報としての音声から推測された感情を表す感情情報を設定する。選択部３１１２は、参照情報（におい選択モデル）を用いて、感情情報に対応したにおい情報を選択する。

本発明は、次に記載の各態様で提供されてもよい。

（１）情報処理方法であって、次の各ステップを備え、取得ステップでは、ユーザに提示する提示情報を取得し、選択ステップでは、参照情報に基づいて、前記提示情報に含まれる物体を示す物体情報に応じたにおい情報を選択し、放出制御ステップでは、前記におい情報に応じたにおい成分を放出させる、情報処理方法。

（２）上記（１）に記載の情報処理方法において、前記参照情報は、前記物体情報を入力とし、前記におい情報を出力とすることが可能なように学習されたにおい選択モデルである、情報処理方法。

（３）上記（１）又は（２）に記載の情報処理方法において、前記提示情報は、静止画又は動画である、情報処理方法。

（４）上記（３）に記載の情報処理方法において、前記選択ステップでは、前記提示情報に複数の物体の画像が含まれる場合、複数の前記画像のうち、サイズの大きい順から予め定めた数の画像を複数の前記物体情報として抽出し、複数の前記物体情報それぞれに応じた複数の前記におい情報を選択する、情報処理方法。

（５）上記（３）に記載の情報処理方法において、前記選択ステップでは、前記提示情報に複数の物体の画像が含まれる場合、複数の前記画像のうち、前記静止画又は前記動画の中心に近い順から予め定めた数の画像を複数の前記物体情報として抽出し、複数の前記物体情報それぞれに応じた複数の前記におい情報を選択する、情報処理方法。

（６）上記（３）に記載の情報処理方法において、前記選択ステップでは、前記提示情報に複数の物体の画像が含まれる場合、複数の前記画像のうち、前記静止画又は前記動画における占有割合が大きい順から予め定めた数の画像を複数の前記物体情報として抽出し、複数の前記物体情報それぞれに応じた複数の前記におい情報を選択する、情報処理方法。

（７）上記（１）又は（２）に記載の情報処理方法において、前記提示情報は、音声である、情報処理方法。

（８）上記（７）に記載の情報処理方法において、前記選択ステップでは、前記音声に効果音が含まれる場合、前記効果音を前記物体情報として抽出する、情報処理方法。

（９）上記（７）に記載の情報処理方法において、前記選択ステップでは、前記音声に人声が含まれる場合には、前記人声を前記物体情報として抽出する、情報処理方法。

（１０）上記（７）に記載の情報処理方法において、前記選択ステップでは、前記音声に音楽が含まれる場合には、前記音楽を前記物体情報として抽出する、情報処理方法。

（１１）上記（１）から（１０）のいずれか１つに記載の情報処理方法において、前記選択ステップでは、前記物体情報が示す物体の触覚に応じて前記におい情報を選択する、情報処理方法。

（１２）上記（１）から（１１）のいずれか１つに記載の情報処理方法において、前記におい情報は、基準臭の混合比を含む、情報処理方法。

（１３）上記（１）から（１２）のいずれか１つに記載の情報処理方法において、前記におい情報は、前記物体のにおいを検出した際のセンサ出力に基づいて設定される、情報処理方法。

（１４）上記（１）から（１２）のいずれか１つに記載の情報処理方法において、遅延ステップをさらに備え、前記遅延ステップでは、前記提示情報の前記ユーザへの提示を遅延時間に応じて遅延させ、ここで、前記遅延時間は、前記におい成分の放出に要する時間である、情報処理方法。

（１５）少なくとも１つの装置からなる情報処理システムであって、上記（１）から（１４）のいずれか１つに記載の情報処理方法の各ステップがなされるようにプログラムを実行する少なくとも１つのプロセッサを備える、情報処理システム。

（１６）上記（１５）に記載の情報処理システムにおいて、前記におい成分を放出する装置をさらに備える、情報処理システム。

（１７）情報処理装置であって、取得部と、選択部と、通知部とを備え、前記取得部は、ネットワークを介して接続されたディフューザから、ユーザに提示する提示情報を取得し、前記選択部は、参照情報に基づいて、前記提示情報に含まれる物体を示す物体情報に応じたにおい情報を選択し、前記通知部は、前記におい情報を前記ディフューザに通知する、情報処理装置。

（１８）ディフューザであって、取得部と、選択部と、放出制御部とを備え、前記取得部は、ユーザに提示する提示情報を取得し、前記選択部は、参照情報に基づいて、前記提示情報に含まれる物体を示す物体情報に応じたにおい情報を選択し、前記放出制御部は、前記におい情報に応じたにおい成分を放出させる、ディフューザ。

（１９）プログラムであって、少なくとも１つのコンピュータに、上記（１）から（１４）のいずれか１つに記載の情報処理方法の各ステップを実行させる、プログラム。
もちろん、この限りではない。

１ ：情報処理装置
２ ：ネットワーク
３ ：ディフューザ
４ ：情報出力機器
１１ ：処理部
１２ ：記憶部
１３ ：一時記憶部
１４ ：外部装置接続部
１５ ：通信部
１６ ：通信バス
３１ ：制御部
３２ ：通信部
３３ ：接続部
３４ ：放出部
３５ ：におい成分格納部
１００ ：情報処理システム
１０１ ：取得部
１０２ ：選択部
１０３ ：モデル記憶部
１０４ ：通知部
３１１ ：処理部
３１２ ：記憶部
３１３ ：一時記憶部
３１４ ：通信バス
３１１１ ：取得部
３１１２ ：選択部
３１１３ ：モデル記憶部
３１１４ ：放出制御部
３１１５ ：遅延部

Claims (19)

1. 情報処理方法であって、
   次の各ステップを備え、
   取得ステップでは、ユーザに提示する提示情報を取得し、
   選択ステップでは、参照情報に基づいて、前記提示情報に含まれる物体を示す物体情報に応じたにおい情報を選択し、
   放出制御ステップでは、前記におい情報に応じたにおい成分を放出させる、
   情報処理方法。
2. 請求項１に記載の情報処理方法において、
   前記参照情報は、前記物体情報を入力とし、前記におい情報を出力とすることが可能なように学習されたにおい選択モデルである、情報処理方法。
3. 請求項１に記載の情報処理方法において、
   前記提示情報は、静止画又は動画である、情報処理方法。
4. 請求項３に記載の情報処理方法において、
   前記選択ステップでは、前記提示情報に複数の物体の画像が含まれる場合、複数の前記画像のうち、サイズの大きい順から予め定めた数の画像を複数の前記物体情報として抽出し、複数の前記物体情報それぞれに応じた複数の前記におい情報を選択する、情報処理方法。
5. 請求項３に記載の情報処理方法において、
   前記選択ステップでは、前記提示情報に複数の物体の画像が含まれる場合、複数の前記画像のうち、前記静止画又は前記動画の中心に近い順から予め定めた数の画像を複数の前記物体情報として抽出し、複数の前記物体情報それぞれに応じた複数の前記におい情報を選択する、情報処理方法。
6. 請求項３に記載の情報処理方法において、
   前記選択ステップでは、前記提示情報に複数の物体の画像が含まれる場合、複数の前記画像のうち、前記静止画又は前記動画における占有割合が大きい順から予め定めた数の画像を複数の前記物体情報として抽出し、複数の前記物体情報それぞれに応じた複数の前記におい情報を選択する、情報処理方法。
7. 請求項１に記載の情報処理方法において、
   前記提示情報は、音声である、情報処理方法。
8. 請求項７に記載の情報処理方法において、
   前記選択ステップでは、前記音声に効果音が含まれる場合、前記効果音を前記物体情報として抽出する、情報処理方法。
9. 請求項７に記載の情報処理方法において、
   前記選択ステップでは、前記音声に人声が含まれる場合には、前記人声を前記物体情報として抽出する、情報処理方法。
10. 請求項７に記載の情報処理方法において、
    前記選択ステップでは、前記音声に音楽が含まれる場合には、前記音楽を前記物体情報として抽出する、情報処理方法。
11. 請求項１に記載の情報処理方法において、
    前記選択ステップでは、前記物体情報が示す物体の触覚に応じて前記におい情報を選択する、情報処理方法。
12. 請求項１に記載の情報処理方法において、
    前記におい情報は、基準臭の混合比を含む、情報処理方法。
13. 請求項１に記載の情報処理方法において、
    前記におい情報は、前記物体のにおいを検出した際のセンサ出力に基づいて設定される、情報処理方法。
14. 請求項１に記載の情報処理方法において、
    遅延ステップをさらに備え、
    前記遅延ステップでは、前記提示情報の前記ユーザへの提示を遅延時間に応じて遅延させ、ここで、前記遅延時間は、前記におい成分の放出に要する時間である、情報処理方法。
15. 少なくとも１つの装置からなる情報処理システムであって、
    請求項１から請求項１４のいずれか１項に記載の情報処理方法の各ステップがなされるようにプログラムを実行する少なくとも１つのプロセッサを備える、情報処理システム。
16. 請求項１５に記載の情報処理システムにおいて、
    前記におい成分を放出する装置をさらに備える、情報処理システム。
17. 情報処理装置であって、
    取得部と、選択部と、通知部とを備え、
    前記取得部は、ネットワークを介して接続されたディフューザから、ユーザに提示する提示情報を取得し、
    前記選択部は、参照情報に基づいて、前記提示情報に含まれる物体を示す物体情報に応じたにおい情報を選択し、
    前記通知部は、前記におい情報を前記ディフューザに通知する、情報処理装置。
18. ディフューザであって、
    取得部と、選択部と、放出制御部とを備え、
    前記取得部は、ユーザに提示する提示情報を取得し、
    前記選択部は、参照情報に基づいて、前記提示情報に含まれる物体を示す物体情報に応じたにおい情報を選択し、
    前記放出制御部は、前記におい情報に応じたにおい成分を放出させる、ディフューザ。
19. プログラムであって、
    少なくとも１つのコンピュータに、請求項１から請求項１４のいずれか１項に記載の情報処理方法の各ステップを実行させる、プログラム。