WO2015025511A1

WO2015025511A1 - 匂い再生装置

Info

Publication number: WO2015025511A1
Application number: PCT/JP2014/004221
Authority: WO
Inventors: 渡邊　泰仁; 泰治佐々木
Original assignee: パナソニックインテレクチュアルプロパティコーポレーションオブアメリカ
Priority date: 2013-08-23
Filing date: 2014-08-19
Publication date: 2015-02-26
Also published as: US9804398B2; US20180017797A1; US20150241708A1; JPWO2015025511A1

Abstract

再生される動画像のタイミングに応じて、匂いを再生する装置であって、鼻にかける部分に匂いを通す通風孔と、匂いを送出する送出部と、通風孔から匂いを送出する送出部までを結ぶ管と、匂いの元となる容器をセットする匂いボックスと、匂いを一時的に充填する充填部を有し、ヘッドマウントディスプレイと一体となっていることを特徴とする匂い再生装置。

Description

匂い再生装置

　本発明は、動画像の再生タイミングに応じて匂いを発生する匂い発生装置に関するものである。

　近年バーチャルリアリティの分野において，ユーザに嗅覚情報を提示する試みが始まっている（例えば，下記の特許文献１参照）。図１５は、特許文献１に記載された従来の匂い発生装置である。

　図１５において，匂い発生装置５００は、複数の電気浸透流ポンプ５１０Ｘ，５１０Ｙ，５１０Ｚと、複数の配管５２０Ｘ，５２０Ｙ，５２０Ｚと、合流配管５３０と、複数の液体量センサ５４０Ｘ，５４０Ｙ，５４０Ｚと、電源部５５０と、スイッチ部５６０と、超音波振動子５７０と、ＲＦ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ）増幅器５８０と、送風部５９０と、制御部６００と、を備える。本構成により、ユーザに嗅覚情報を提示することが可能となっている。

　また、両目のそれぞれに対応するディスプレイに映像を提供する眼鏡に香り供給装置をつけた装置も提案されている（例えば、特許文献２参照）。図１６は前記特許文献２に記載された香り提供システムである。図１６において、音声付動画メディアを再生する再生システム６１０と、再生システム６１０から提供される香りを後出する香り提供装置６２０が設けられている。再生システム６１０には「香り特定情報」に基づいて香りを発生させるための制御信号を生成する香り情報処理部６１３と香り情報処理部６１３から出力された制御信号に基づいて所望の香りを発生させる香り発生部６１４と、空気中から回収した香りを洗浄する洗浄部６１５とが設けられている。

特開２０１１－１８４４８６号公報特開２０１３－７４４７６号公報

　しかしながら、前記従来の匂い再生装置の構成では，匂い再生装置が大きく一般ユーザが簡単に使用することができないという課題が生じる。

　本発明の目的は、ユーザの使用に適した小型の匂い再生装置を提供することである。

　上記課題を解決するために、本発明の匂い再生装置は、再生される動画像のタイミングに応じて、匂いを再生する装置であって、鼻にかける部分に匂いを通す通風孔と、匂いを送出する送出部と、通風孔から匂いを送出する送出部までを結ぶ管と、匂いの元となる容器をセットする匂いボックスと、匂いを一時的に充填する充填部を有し、ヘッドマウントディスプレイと一体となっていることを特徴とする。

　本構成によって、わずかな構成要素で匂い再生装置を構成できるため小型化が可能になる。

　また、本発明の匂い再生装置は、再生される動画像のタイミングに応じて、匂いを再生する装置であって、鼻にかける部分に匂いを通す通風孔と、匂いを送出する送出部と、通風孔から匂いを送出する送出部までを結ぶ管と、匂いの元となる容器をセットする匂いボックスと、匂いを一時的に充填する充填部と前記充填部の上部に充填部解放部を有し、ヘッドマウントディスプレイと一体となっていることを特徴とする。

　本構成によって、匂いを再生した後に匂いを排出し、匂いが残らないようにすることができる。

　また、本発明の匂い再生装置は、再生される動画像のタイミングに応じて、匂いを再生する装置であって、鼻にかける部分に匂いを通す通風孔と、匂いを送出する送出部と、通風孔から匂いを送出する送出部までを結ぶ管と、匂いの元となる容器をセットする匂いボックスと、匂いを一時的に充填する充填部と前記充填部の上部に充填部開閉部を有し、ヘッドマウントディスプレイと一体となっていることを特徴とする。

　また、本発明の匂い再生装置は、再生される動画像のタイミングに応じて、匂いを再生する装置であって、鼻にかける部分に匂いを通す通風孔と、匂いを送出する送出部と、通風孔から匂いを送出する送出部までを結ぶ管と、匂いの元となる容器をセットする匂いボックスと、匂いを一時的に充填する充填部と装着者の向いている方向を検知するジャイロを有し、ヘッドマウントディスプレイと一体となっていることを特徴とする。

　本構成によって装着者の向きに応じて、匂いの出力を変化させることが可能になる。

　また、本発明の匂い再生装置は、前記通風孔と送出部と管が左右独立であることを特徴とする。

　本構成によって、左右の鼻を独立に制御することが可能となる。

　また、本発明の匂い再生装置は、充填部と匂いボックスの間に開閉部があり、再生される動画像のタイミングに応じて開閉することを特徴とする。

　本構成によって、匂いボックスに充填されている匂いを再生タイミング時のみ外部に出力可能となる。

　また、本発明の匂い再生装置は、前記送出部が制御信号に応じて、送出開始・停止や送出出力を変化させることができることを特徴とする。

　本構成によって、再生タイミングに応じて匂いを再生することが可能になる。

　また、本発明の匂い再生装置は、前記制御信号が音声信号であることを特徴とする。

　本構成によって、再生タイミングを動画に含まれている音声信号を使用することで、特別な制御用の複雑な回路を不要とすることができる。

　また、本発明の匂い再生装置は、前記制御信号がＭＩＤＩ信号であることを特徴とする。

　本構成によって、再生タイミングに関する緻密な制御が可能になる。

　また、本発明の匂い再生装置は、前記制御信号に応じて、前記送出部および開閉部および充填部開閉部の動作タイミングや送出出力を制御する制御信号処理部を有することを特徴とする。

　また、本発明の匂い再生装置は、前記ジャイロより装着者の向いている方向を検知し、香りのする対象物と装着者の鼻との距離を計算する距離計算部と、前記距離計算部によって算出された距離に応じて、前記送出部の出力を変化させる香り制御部を有することを特徴とする。

　本構成によって、装着者の向きや香りのする対象物との距離に応じて、匂いの出力を変化させることが可能になる。

　本発明の匂い再生装置によれば、ヘッドマウントディスプレイに小型の匂い再生装置が実装されているため、小型で一般のユーザが簡単に使用可能となる。また匂いの方向性に関しても有用な情報となる。

図１は、本発明の実施の形態１における全体構成図である。図２は、本発明の実施の形態１における、匂い再生装置の構成図である。図３は、本発明の実施の形態１における、開閉部およびファンの動作のタイムチャートである。図４は、匂い制御用メタデータにより定義される信号を書き加えたタイムチャートである。図５は、異なる匂いを格納する場合の構成を説明する図である。図６は、匂いボックス設定値を説明する図である。図７は、二つ以上の匂いボックスを格納する場合の構成例を示した図である。図８は、複数の匂いの混ぜ合わせ方法を説明する図である。図９は、本発明の実施の形態２における、匂い再生装置の構成図である。図１０は、本発明の実施の形態２における、対象物と操作者の位置関係を示す図である。図１１は、本発明の実施の形態３における、匂い再生装置の構成図である。図１２は、本発明の実施の形態３における、開閉部および送出部、充填部開閉部の動作のタイムチャートである。図１３は、匂いを使った拡張現実感を提供する構成を説明する図である。図１４は、本発明の実施の形態３における、開閉部および送出部、充填部開閉部の動作のタイムチャートである。図１５は、従来の匂い再生装置の構成図である。図１６は、従来の香り再生システムの構成図である。

　以下本発明の実施の形態について、図面を参照しながら説明する。

　図１に匂い再生システムの構成を示す。匂い再生システムは、動画を再生する再生処理部１００と匂いを提供する匂い再生装置２００から構成されている。匂い再生装置２００はヘッドマウントディスプレイであり、表示された映像を拡大して目に導くためのレンズ１１を有していて、ユーザはこのレンズ１１を通して画像を見る。中央部１２は、ヘッドマウントディスプレイをユーザの鼻で係止するために凹ませてある部分である。テンプル部１８はヘッドマウントディスプレイを耳にかける部分である。再生処理部１００は、この匂い再生装置２００に再生すべき動画を提供する。再生すべき動画はＤＶＤやＢＤのようなメディアを再生することでなされてもよいし、ネットワーク上にある動画ファイルをダウンロードやストリーミングによって再生してもよい。また動画に限らずゲーム画像を提供してもよい。

　以下、本発明の匂い再生部について実施の形態１で説明する。

　（実施の形態１）
　図２に、本発明の匂い再生装置２００の構成を示す。図２は、本発明の実施の形態１におけるヘッドマウントディスプレイの構成図である。ヘッドマウントディスプレイは、液晶パネルのような画像表示部を具備している。それだけではなく本発明は特に、匂いを再生する匂い再生のための構成要件（通風孔１３、匂いボックス１４、開閉部１５、送出部１６）に特徴を有する。なお、本願の特徴部以外の構成については詳細に説明しないが、従来のヘッドマウントディスプレイの構成を使用可能である。

　なお、本願のヘッドマウントディスプレイは、図２で示した構成の匂い再生装置に限定されない。例えば、匂いボックスは一つでもよいし、送出部も最低１つあればよい。

　通風孔１３は管状になっており、鼻の上部付近に孔があるようになっている。

　匂いボックス１４には、香料を含んだ容器を設置できるようになっており、容器を変える等することにより、匂いを変化させることができる。

　開閉部１５は、通常は閉まっており、匂いボックス１４の匂いを発生させる際に開くように設計されている。

　送出部１６は例えば、回転により空気の流れを作るファンで構成されており、充填部１７にたまった匂いを通風孔１３より出力するように回転させる。送出部は左右の鼻に独立して制御できるように２つ搭載されていることが望ましいが１つでもよい。

　充填部１７は匂いボックス１４からの匂いが一部充填される場所である。

　以上のように構成された匂い再生装置の動作について図２、図３を用いて説明する。

　図３は、本発明の実施の形態１における、開閉部およびファンの動作のタイムチャートである。再生する動画等にフィッティングされた匂いの元となる容器を匂いボックス１４に設置する。動画が再生されると、匂いを発生するようなタイミング（香り再生開始時刻ｔ１）より数秒前に開閉部１５が開かれる。それと同時もしくは若干遅れて送出部１６が回転する。送出部１６のファンが回転することにより、空気の流れができ、匂いボックス１４から匂いが充填部１７を通り通風孔１３を通って鼻へ到達する。香り再生終了時刻（ｔ２）になる前に開閉部１５を閉じ、その後に送出部１６の回転を止める。このように先に開閉部１５を閉じることにより、充填部１７に匂いが入ることを止め、そのあと充填部１７にたまった匂いを送出部１６で排出することにより、匂いが継続的にすることを止める。またファンの回転を止めることにより空気の流れが止まるため、匂いはしなくなる。ファンの回転の制御には、例えば音声信号を使ってもよい。動画ファイルに付属するマルチチャンネルの音声信号の１チャンネルに低い周波数のサイン波信号を用いて送出部１６の制御用に使えば、特に香りの複雑な制御部は必要がなくなる。同様に開閉部１５の制御も別のチャンネルの音声信号を使ってもよいし、送出部１６と共通の制御信号を用いてもよい。例えば、制御用音声信号としては、開閉部１５用の信号をあらかじめ再生し、送出部１６の制御は開閉部１５用の信号に遅延処理を施して、送出部１６を制御してもよい。制御信号としては、他には例えばＭＩＤＩ信号を使用してもよい。ＭＩＤＩ信号を使用した場合は、再生処理部１００内もしくはヘッドマウントディスプレイに香り制御部を設け、ＭＩＤＩ信号に応じて、送出部１６および開閉部１５の制御によって匂いを制御すればよい。

　なお、ファンの回転の制御には、ファン制御のＯｎ／Ｏｆｆを示す匂い制御用メタデータを用意しても良い。この制御用メタデータの各エントリは、０：匂いなし、１：匂い有りを示す。ビデオストリームの各ビデオフレームに、制御用メタデータのエントリを設定することにより、該当ビデオフレームにおいて、匂いの送出の有無を判定することができる。図４は、メタデータの再生により得られる匂い制御信号を、図３のタイミングチャートに書き加えたものである。本図に示すように、香り再生開始時刻(ｔ１)、香り再生終了時刻(ｔ２)は、この匂い制御信号が、１になっている期間において規定されることがわかる。

　制御用メタデータは、例えば、ビデオストリームの各ビデオフレームの補足的なデータを格納する領域（例えば、ＭＰＥＧ－２の場合のｕｓｅｒｄａｔａ、ＭＰＥＧ－４ＡＶＣの場合はＳＥＩメッセージ）に格納しておいてもよい。このように構成すれば、ビデオストリームをデコードして表示するタイミングにおいて、匂い制御用メタデータに基づいて、ファンの回転制御をすることで、複雑な制御部が必要なく、映像に同期して匂いの送出を制御できる。なお、匂い制御用メタデータは、全てのビデオフレームに格納しなくても、ＧＯＰ先頭のフレームにのみ格納するようにしても良い。

　上述で説明した匂いの送出制御に利用するこれらの制御信号（音声チャンネル、ＭＩＤＩ信号、制御用メタデータ）のことを以下では、単に匂い制御信号と呼ぶことにする。

　(実施の形態１の応用例)
　図５は、異なる匂いを格納する場合の構成を説明する図である。複数の異なる匂いの送出を実現する場合には、図５上段に示すように、匂いボックス１４Ａと匂いボックス１４Ｂに異なる匂いの元となる香料を格納する。開閉部１５Ａ、１５Ｂは、これらの匂いボックス１４Ａ、匂いボックス１４Ｂの扉を開閉するものである。

　動画には、各香料を送出するタイミング情報が、別々に格納される。例えば、図５下段は制御用メタデータの構成の例であり、１４Ａの香りの再生タイミングを指定する匂い制御信号１と、１４Ｂの香りの再生タイミングを指定する匂い制御信号２の２つの制御データが用意され、再生装置は、それぞれの情報を参照することにより、１４Ａ、１４Ｂの匂い送出タイミングを判断する。再生装置は、匂い制御信号１を参照して匂いボックス１４Ａの香りの送出タイミングと判断した場合には開閉部１５Ａのみを開き、匂い制御信号２を参照して匂いボックス１４Ｂの香りの送出タイミングと判断した場合には開閉部１５Ｂのみを開く。このように構成することで、同一コンテンツにおいて、複数の異なる匂いをユーザに提供することが可能となる。匂いボックス１４と通風孔１３が直接つながっておらず、一時的に充填する充填部があることによって、異なる複数のにおいの提供を実現できる。なお、上述したとおり、動画ファイルに付属するマルチチャンネルの音声信号の１チャンネルに低い周波数のサイン波信号を格納する方式で開閉部の制御を行う場合には、複数の匂いごとに、チャンネルを用意すればよい。なお、ＭＩＤＩ信号の場合も同様に複数のＭＩＤＩ信号を格納するようにすれば良い。

　(装填状況に応じた匂いの送出)
　また実施の形態１では、動画に設定された制御信号に応じて、匂いの送出を制御するとしたが、ユーザの好みや匂いボックス１４の装填状況に応じて、匂いの送出を選択できるようにしても良い。具体的な構成を説明する。

　図６は、匂いボックス設定値を説明する図である。図６では、その右側に示すように、匂いボックス設定値と、香り制御部、再生処理部とが存在する。

　動画に格納される匂い制御情報には匂いごとに匂いＩＤが設定されており、匂い再生装置には動画に含まれる匂いの送出の要否を示す「匂いボックス設定値」が追加されている。例えば、動画には複数の匂いが用意され、匂いＩＤ＝０と匂いＩＤ＝１の制御データが格納されている。この場合に、装填された匂いボックス１４に、匂いＩＤ＝１の香料のみが格納されている場合には、匂い再生装置は匂いボックス設定値には、匂いＩＤ＝１のみがエントリされる。匂い再生装置は、匂いボックス設定値を参照して、指定される匂いＩＤの制御信号のみを参照して匂い送出を実現する。なお、匂いボックス設定値は、必要な匂いボックスが装填されている場合でもユーザがＧＵＩ等で設定できるようにしても良い。このように構成することで、複数の匂いの元が設定される動画においても、ユーザの好みや状況に応じた匂いの送出を実現できる。なお、匂いボックス設定値は、匂いボックスの装填時に自動で設定されるようにしても良い。その実現例としては、匂いボックスに該当の香りの匂いＩＤなどの情報を格納するＮＦＣのチップが埋め込まれており、匂い再生装置にＮＦＣの通信機能を有する構成が考えられる。ＮＦＣ通信を使って、匂い再生装置は、匂いボックス内のＮＦＣチップの情報を読み込むことで、装填された匂いボックスがどの香料を格納するのかを判断できる。匂いＩＤは、全ての匂いボックスにユニークであると好ましい。

　(においの数値化)
　匂いボックス設定値に格納される情報や、動画に格納される匂い制御信号においを数値化した情報が格納されていてもよい。においの数値化とは、例えば、島津製作所のにおい識別装置などがあり、様々な方法がある。ここで、匂い再生装置は、匂いボックス設定値に格納される数値化情報との近さ（差の絶対値が小さいと近い）に応じて、開閉する匂いボックスを選択するようにしてもよい。例えば、動画に含まれる匂いＩＤ＝０の匂い制御信号の匂い数値が１００、動画に含まれる匂いＩＤ＝１の匂い制御信号の匂い数値が２００、匂いボックス設定値に格納される匂い数値が１８０であれば、数値の差の絶対値の小さい匂いＩＤ＝１の匂い制御信号を利用して、匂い制御を行う。このように構成することで、動画に含まれる香りと同じでなくても、近い香りの匂いをユーザに提供することができるため、ユーザは匂いボックスを有効活用できる。

　なお、この場合には、近さに閾値が設定されてもよく、例えば、動画に含まれる匂いＩＤ＝０の匂い制御信号の匂い数値が１００、匂いＩＤ＝１の匂い制御信号の匂い数値が２００、匂いボックス設定値に格納される匂い数値が１０００であり、匂い閾値が５００であれば、差の絶対値がどちらの匂いにおいても、閾値５００を越えるため、この場合には匂いがかけ離れていると判断して、どちらの匂いも有効にしないとしてもよい。このように構成することで、イメージと異なる匂いをユーザに提供することがなくなる。

　なお、匂い制御信号は、動画に格納されているのではなく、別途ネットワークを通じて、伝送される構成にしても良い。このように構成することで、動画等の映像コンテンツを変えずに、匂い制御信号のみを変えることで、対象から送出される匂いだけを容易に変えることができる。

　(ボックスの拡張化)
　なお、ボックスは二つだけでなく、図７のように拡張していくことが可能であることはいうまでもない。図７は、二つ以上の匂いボックスを格納する場合の構成例を示す。例えば、この図７のように４種類の香りを格納している場合に、最初の再生時における匂い制御信号においては、１４Ａの匂いボックスの匂いの送出が設定されていたとする。その次の再生時において、１４Ｂの匂いボックスの匂いの送出が設定されている匂い制御信号のみをネットワーク経由で更新すれば、同一コンテンツにおいても送出される匂いを容易に変更することができる。これは、例えば、アイドルの動画コンテンツにおいて、アイドルがつけている香水の匂いを「匂い制御信号」として毎日更新すれば、ユーザは毎日、その日のアイドルのつけている香水と共にアイドルの動画コンテンツを楽しめるなどの応用が考えられる。

　(混合度合の追加)
　なお、匂い制御信号には、異なる匂いの匂いボックスの混合度合を示す情報であっても良い。図８は、複数の匂いの混ぜ合わせ方法を説明する図である。例えば、図８の動画での匂い制御信号においては、Ｘで示すフレーム群と、Ｙで示すフレーム群で、それぞれ匂いの送出が指示されている。各制御信号の値は、混合度合い示す情報であり、パーセンテージである。つまり、Ｘで示すフレーム群で送出する匂いは、匂いＩＤ＝０を３０％と匂いＩＤ＝２を７０％混ぜ合わせた匂いであることを示す。同様にＹで示すフレーム群で送出する匂いは、匂いＩＤ＝１を５０％と匂いＩＤ＝２を５０％混ぜ合わせた匂いであることを示す。この混合度合いで、においを混ぜ合わせるためには、匂い再生装置は、ファンの回転数を調整すればよい。このように構成することで、少ない匂いボックスであっても、様々な匂いの表現を実現可能とする。この匂いの混合度合いのパラメータの算出は、クラウド上で実現し、その結果だけを匂い制御信号としてネットワークで伝送することで、再生装置側で複雑な処理をしなくても、コンテンツの更新を行うことが可能となる。

　（実施の形態２）
　図９は、本発明の実施の形態２における匂い再生装置の構成図である。図９において図１、図２の匂い再生装置と同じ構成要素については同じ符号を用い、説明を省略する。

　図９において、図２の匂い装置部と異なるところはジャイロ１９がある点である。また再生処理部１００に距離計算部１０１、香り制御部１０２がある点が図２と異なる。以上のように構成された匂い再生装置の動作について図１０も交えて説明する。

　図１０は、本発明の実施の形態２における、対象物と操作者の位置関係を示す図である。再生される動画像には、匂いの元となる位置があらかじめ設定されている。たとえば図１０（ａ）に示すように匂い再生装置をかけた人の右方向に匂いを再生する対象物３００があったとする。匂い再生装置をかけた人は右方向を向き図１０（ｂ）のように対象物３００の方向を見る。この時、匂い再生装置についているジャイロ１９によってどちらの方向を向いたかが検出される。次に匂い再生装置をかけた人と対象物３００との距離を距離計算部１０１で算出する。距離が近くなるにつれ、香り制御部１０２は送出部１６の回転数をあげることにより、対象物３００から匂いがするように感じるようになる。距離計算部１０１は、左右の鼻を独立に計算することにより、左右の送出部１６の回転数を独立して制御してもよい。また時間差をつけてもよい。

　（実施の形態３）
　図１１は、本発明の実施の形態３における匂い再生装置の構成図である。図１１において図２の匂い再生装置と同じ構成要素については同じ符号を用い、説明を省略する。

　図１１において、図２の匂い装置部と異なるところは充填部開閉部２０がある点である。以上のように構成された匂い再生装置の動作について図１２も交えて説明する。

　図１２は、本発明の実施の形態３における、開閉部および送出部、充填部開閉部の動作のタイムチャートである。

　再生する動画等にフィッティングされた匂いの元となる容器を匂いボックス１４に設置する。動画が再生されると、匂いを発生するようなタイミング（香り再生開始時刻ｔ１）より数秒前に開閉部１５が開かれる。それと同時もしくは若干遅れて送出部１６を正回転させる。正回転により空気の流れは、通風孔１３にむけて流れる。送出部１６が回転することにより、空気の流れができ、匂いボックス１４から匂いが充填部１７を通り通風孔１３を通って鼻へ到達する。香り再生終了時刻（ｔ２）になる前に開閉部１５を閉じ、それと同時に充填部開閉部２０を開く。その後に送出部１６の回転を逆回転させる。このように先に開閉部１５を閉じ、さらに充填部開閉部２０開き、送出部１６の回転を逆回転させることにより、空気の流れは、通風孔１３と逆の方向になる。すなわち、充填部１７にたまった匂いは充填部開閉部２０から排出されることになる。送出部１６を逆回転させた後に、充填部開閉部２０を閉じ、さらに送出部１６の回転も止める。このようにすることで充填部１７にたまった匂いを排出可能となる。充填部開閉部は、上記のとおり、タイミングによって開閉可能としたが、充填部１７の上部に空気穴が開いている構成としてもよい。なお、ヘッドマウントディスプレイには、匂いＯｎ／Ｏｆｆボタンが用意され、匂い再生装置は匂いＯｎ／Ｏｆｆボタンの状態を参照して、匂いの送出制御をしても良い。この場合、匂い再生装置は、匂いがＯｆｆの場合は、匂い制御信号によって匂いの送出が指定されていたとしても、開閉部を閉じて、匂いの送出を禁止する。このように構成すれば、ユーザは、状況や好みに応じて、匂いのＯｎ／Ｏｆｆを容易に調整できる。これらのボタンは、ユーザの鼻の位置に近い、中央部１２付近に設置すると、ユーザにとって直感的で分かりやすい。Ｋｉｎｅｃｔ等のジェスチャ認識機能を使い、鼻をつまむジェスチャを、匂いＯｎ／Ｏｆｆの操作としてもよい。

　なお、ヘッドマウントディスプレイには、匂いボリュームを設定するボタンやスライドスイッチが用意され、匂い再生装置は匂いボリュームの状態を参照して、匂いの送出制御をしても良い。この場合、匂い再生装置は、匂いボリュームの量に応じて、匂いの量を調整する。具体的には送出部のファン回転数を調整する。このように構成すれば、ユーザは、状況や好みに応じて、匂いの量を容易に調整できる。これらのボタンは、ユーザの鼻の位置に近い、中央部１２付近に設置すると、ユーザにとって直感的で分かりやすい。なお、本実施の形態では、映像と同期させて匂いを送出するシステムを説明したが、必ずしも映像と同期した匂いの送出だけとは限らない。ユーザがＧＵＩのメニュー等で同期・非同期を選択でき、非同期の場合に送出する匂いボックスを選択できるようにすれば、映像と非同期な匂いの送出を実現できる。

　(実施の形態３の応用例)
　本応用は、リアルタイムの撮影動画との連動を意図したものである。

　(匂いを使った拡張現実感)
　図１３は、匂いを使った拡張現実感を提供する構成を説明する図である。特に、図１３上段に示すように、メガネ部分にカメラを搭載して、カメラで取得した撮影動画を、そのままヘッドマウントディスプレイのディスプレイ上に表示し、画面の内容に合わせて匂いを変更すれば拡張現実の効果を与えることなどが可能となる。具体的なシステム構成を図１３下段に示している。図１３下段においては、匂い再生装置には、小型カメラが追加されている。小型カメラは、ヘッドマウントディスプレイの目の位置にセットされて、ユーザが指定位置における映像を入力できる。小型カメラで撮影された映像は再生処理部に伝送されると共に、ビデオストリームとして圧縮し、匂い決定手段に伝送される。再生処理部は小型カメラから出力された映像を、そのままヘッドマウントディスプレイ上のディスプレイに表示する。匂い再生装置の香り制御部は、匂い決定手段から受け取った匂い制御信号を元に、匂いを送出する。

　匂い決定手段は物体認識処理部と匂い決定部から構成される。物体認識処理部は、入力されたビデオストリームを復号し、映像に対する画像認識処理を行い、映像上の物体を特定し、匂い決定部に物体の情報を入力する。匂い決定部は、匂いＤＢを参照し、該当物体における匂いを特定する。例えば、映像上に「バナナ」が映っていれば「バナナ」の香り、映像上に「アイドル」が映っていれば「さわやかな香水」といったように、該当物体に対応する香り情報を特定する。匂い決定部は、匂い制御信号を作成して、匂い再生装置に伝送する。

　このように構成することで、現実に見ている映像に応じて拡張効果を実現でき、強調した匂いをユーザに届けることができる。例えば、食べ物の匂いを増幅させることで、ユーザはおいしく料理を食べることができる。反対に食欲を減退させる匂いを送出することで、ダイエット効果をユーザに提供する応用も考えられる。

　また、物体認識処理部は、ＡＲマーカに対応しており、ＡＲマーカに表示すべきオブジェクトを決定し、その結果を匂い再生装置の再生処理部に伝送するように構成し、匂い再生装置の再生処理部は、３ＤＣＧ等オブジェクトを作成し、ヘッドマウントディスプレイに表示する映像に重畳表示しても良い。このようにすることで、図１４上段に示すようにＡＲマーカに対応するオブジェクトをユーザに表示すると共に、そのオブジェクトに対応する匂いを送出することが可能となる。また、香りの情報は、図１４上段の「レモンの香り」のように、画面上に文字情報や色などで表現しても良い。

　(香料との連動)
　味覚と香料の関係は密接に係っており、香料を変えることで、人間が感じる味も変わるということが良く知られている。例えば、味のしないガムを噛む場合に、それと同時にチョコレートの匂いを送ると、チョコレートのガムを噛んでいるようになる。

　そこで、飲み物や食べ物において、現実のものとは異なる匂いをユーザに提供することで様々な食べ物の触感をユーザに仮想体験させる。

　図１４は、本発明の実施の形態３における、開閉部および送出部、充填部開閉部の動作のタイムチャートである。図１４下段は小型カメラに撮影された映像において、コップにはレモンジュースとラベルが貼られているが、実際にはレモンジュースではなく、コップには砂糖水が入っている。匂い決定手段はこのラベルを検出し、レモンジュースと判定すると、レモンの匂い制御信号を伝送する。匂い再生装置は、レモンの匂いを送出することで、ユーザは擬似的にレモンジュースを飲んでいる感じを味わうことができる。また、同時に映像の水分部分はレモン色に変化させるなどすれば、より効果的である。なお、食べものや飲み物の擬似内容を決定する上で、レモンジュースのラベルを認識するとしたが、装填される匂いボックスの情報に基づいて自動的に決定するようにしても良い。
なお、本実施の形態において、距離計算部や匂い決定手段などの演算を処理する部はネットワーク上のサーバで計算するようにしてもよい。このようにすることで装置の小型化が可能となる。

　本発明にかかる匂い再生装置によれば、ヘッドマウントディスプレイに小型の匂い再生装置が実装されているため、小型で一般のユーザが簡単に使用可能となる。また匂いの方向性に関しても有用な情報となる。

１１　レンズ
１２　中央部
１３　通風孔
１４，１４Ａ，１４Ｂ　匂いボックス
１５，１５Ａ，１５Ｂ　開閉部
１６　送出部
１７　充填部
１８　テンプル部
１９　ジャイロ
２０　充填部開閉部
１００　再生処理部
１０２　香り制御部
２００　匂い再生装置
３００　対象物
５００　匂い発生装置
５１０Ｘ，５１０Ｙ，５１０Ｚ　電気浸透流ポンプ
５２０Ｘ，５２０Ｙ，５２０Ｚ　配管
５３０　合流配管
５４０Ｘ，５４０Ｙ，５４０Ｚ　液体量センサ
５５０　電源部
５６０　スイッチ部
５７０　超音波振動子
５８０　ＲＦ増幅器
５９０　送風部
６００　制御部
６１０　再生システム
６１３　香り情報処理部
６１４　香り発生部
６１５　洗浄部
６２０　香り提供装置

Claims

　再生される動画像のタイミングに応じて、匂いを再生する装置であって、
　鼻にかける部分に匂いを通す通風孔と、
匂いを送出する送出部と、
通風孔から匂いを送出する送出部までを結ぶ管と、
匂いの元となる容器をセットする匂いボックスと、
匂いを一時的に充填する充填部を有し、ヘッドマウントディスプレイと一体となっていることを特徴とする匂い再生装置。
　再生される動画像のタイミングに応じて、匂いを再生する装置であって、
　鼻にかける部分に匂いを通す通風孔と、
匂いを送出する送出部と、
通風孔から匂いを送出する送出部までを結ぶ管と、
匂いの元となる容器をセットする匂いボックスと、
匂いを一時的に充填する充填部と
前記充填部の上部に充填部解放部を有し、ヘッドマウントディスプレイと一体となっていることを特徴とする匂い再生装置。
　再生される動画像のタイミングに応じて、匂いを再生する装置であって、
　鼻にかける部分に匂いを通す通風孔と、
匂いを送出する送出部と、
通風孔から匂いを送出する送出部までを結ぶ管と、
匂いの元となる容器をセットする匂いボックスと、
匂いを一時的に充填する充填部と
前記充填部の上部に充填部開閉部を有し、ヘッドマウントディスプレイと一体となっていることを特徴とする匂い再生装置。
　再生される動画像のタイミングに応じて、匂いを再生する装置であって、
　鼻にかける部分に匂いを通す通風孔と、
匂いを送出する送出部と、
通風孔から匂いを送出する送出部までを結ぶ管と、
匂いの元となる容器をセットする匂いボックスと、
匂いを一時的に充填する充填部と
装着者の向いている方向を検知するジャイロを有し、ヘッドマウントディスプレイと一体となっていることを特徴とする匂い再生装置。
　前記通風孔と送出部と管が左右独立であることを特徴とする請求項１乃至請求項４に記載の匂い再生装置。
充填部と匂いボックスの間に開閉部があり、再生される動画像のタイミングに応じて開閉することを特徴とする請求項１乃至請求項５に記載の匂い再生装置。
　前記送出部が制御信号に応じて、送出開始・停止や送出出力を変化させることができる請求項１乃至請求項６に記載の匂い再生装置。
　前記制御信号が音声信号であることを特徴とする請求項７に記載の匂い再生装置。
　前記制御信号がＭＩＤＩ信号であることを特徴とする請求項７に記載の匂い再生装置。
　請求項６記載の開閉部、請求項３記載の充填部開閉部を制御する制御信号を生成する制御信号処理部を有することを特徴とする匂い再生装置。
　前記ジャイロより装着者の向いている方向を検知し、香りのする対象物と装着者の鼻との距離を計算する距離計算部と、
　前記距離計算部によって算出された距離に応じて、前記送出部の出力を変化させる香り制御部を有する、
　ことを特徴とする請求項４に記載の匂い再生装置。