JPWO2017094284A1 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
JPWO2017094284A1
JPWO2017094284A1 JP2017553646A JP2017553646A JPWO2017094284A1 JP WO2017094284 A1 JPWO2017094284 A1 JP WO2017094284A1 JP 2017553646 A JP2017553646 A JP 2017553646A JP 2017553646 A JP2017553646 A JP 2017553646A JP WO2017094284 A1 JPWO2017094284 A1 JP WO2017094284A1
Authority
JP
Japan
Prior art keywords
odor
information
spatial
user
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017553646A
Other languages
English (en)
Other versions
JP6513218B2 (ja
Inventor
洋一 西牧
洋一 西牧
平田 真一
真一 平田
祐一 町田
祐一 町田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JPWO2017094284A1 publication Critical patent/JPWO2017094284A1/ja
Application granted granted Critical
Publication of JP6513218B2 publication Critical patent/JP6513218B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F19/00Advertising or display means not otherwise provided for
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F19/00Advertising or display means not otherwise provided for
    • G09F19/005Scented advertising means
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082Virtual reality

Abstract

ユーザーに匂いを提示する匂い提示装置と接続され、再現対象の空間内における匂いを示す空間匂い情報を取得し、取得した空間匂い情報を用いて、再現対象の空間内で感じられると想定される匂いをユーザーに提示するよう前記匂い提示装置に指示する情報処理装置である。

Description

本発明は、ユーザーに匂いを提示する匂い提示装置を制御する情報処理装置、匂い提示装置の制御方法、及びプログラムに関する。
例えばビデオゲームなどにおいて、ユーザーに臨場感のある体験をしてもらうなどの目的で、特定の匂いをユーザーに提示する匂い提示装置を利用することが検討されている。匂い提示装置は、匂いを感じさせる物質(匂い物質)を空気中に放出することによって、ユーザーに匂いを提示する。
バーチャルリアリティなどの分野においては、より臨場感を高められる態様で匂いを提示することが望まれる。
本発明は上記実情を考慮してなされたものであって、その目的の一つは、匂い提示装置を用いて臨場感を高められる態様で匂いを提示することのできる情報処理装置、匂い提示装置の制御方法、及び制御プログラムを提供することにある。
本発明に係る情報処理装置は、ユーザーに匂いを提示する匂い提示装置と接続される情報処理装置であって、再現対象の空間内における匂いを示す空間匂い情報を取得する空間匂い情報取得部と、前記空間匂い情報を用いて、前記再現対象の空間内で感じられると想定される匂いをユーザーに提示するよう前記匂い提示装置に指示する匂い制御部と、を含むことを特徴とする。
また、本発明に係る匂い提示装置の制御方法は、ユーザーに匂いを提示する匂い提示装置の制御方法であって、再現対象の空間内における匂いを示す空間匂い情報を取得するステップと、前記空間匂い情報を用いて、前記再現対象の空間内で感じられると想定される匂いをユーザーに提示するよう前記匂い提示装置に指示するステップと、を含むことを特徴とする。
また、本発明に係るプログラムは、ユーザーに匂いを提示する匂い提示装置を制御するためのプログラムであって、再現対象の空間内における匂いを示す空間匂い情報を取得する取得部、及び、前記空間匂い情報を用いて、前記再現対象の空間内で感じられると想定される匂いをユーザーに提示するよう前記匂い提示装置に指示する匂い制御部、としてコンピュータを機能させるためのプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。
本発明の実施の形態に係る情報処理装置を含む匂い提示システムの構成ブロック図である。 本発明の実施の形態に係る情報処理装置の機能を示す機能ブロック図である。 匂いの計測の様子を説明する図である。 空間匂い情報の一例を示す図である。 本発明の実施の形態に係る情報処理装置が実行する処理の流れの一例を示す図である。
以下、本発明の実施形態について、図面に基づき詳細に説明する。
図1は、本発明の一実施形態に係る情報処理装置10を含む匂い提示システム1の構成を示す構成ブロック図である。同図に示されるように、匂い提示システム1は、情報処理装置10と、匂い提示装置2と、操作デバイス3と、表示装置4と、を含んで構成されている。
情報処理装置10は、例えば家庭用ゲーム機、携帯型ゲーム機、パーソナルコンピューター、スマートフォン、タブレット等であってよい。図1に示されるように、情報処理装置10は、制御部11と、記憶部12と、インタフェース部13と、を含んで構成される。
制御部11は、CPU等のプロセッサを少なくとも一つ含み、記憶部12に記憶されているプログラムを実行して各種の情報処理を実行する。なお、本実施形態において制御部11が実行する処理の具体例については、後述する。記憶部12は、RAM等のメモリデバイスを少なくとも一つ含み、制御部11が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。
インタフェース部13は、匂い提示装置2、操作デバイス3、及び表示装置4との間で各種のデータを授受するための通信インタフェースである。情報処理装置10は、インタフェース部13を介して匂い提示装置2、操作デバイス3、及び表示装置4のそれぞれと有線又は無線のいずれかで接続される。
匂い提示装置2は、ユーザーに匂いを提示するデバイスであって、匂い物質を放出することによってユーザーに特定の匂いを感じさせる。本実施形態において匂い提示装置2は、それぞれ特定の匂い物質を発生させる香料が封入された複数のカートリッジを着脱可能になっているものとする。匂い提示装置2は、情報処理装置10からの制御信号に応じて、特定のカートリッジから匂い物質を放出させる。これにより、匂い提示装置2は複数のカートリッジに対応する複数種類の匂いをユーザーに提示することができる。
匂い提示装置2は、ユーザーの身体(頭部等)に装着可能な構造になっていてもよい。この場合、ユーザーの鼻の近傍で匂い物質を放出させるようにすれば、ユーザーに明確に匂いを感じさせることができる。あるいは、匂い提示装置2は情報処理装置10の筐体内に内蔵されてもよい。また、匂い提示装置2は情報処理装置10とは独立にユーザーがいる室内に固定的に設置されてもよい。
匂い提示装置2は、カートリッジ内の匂い物質を各種の方式で放出させることができる。具体例として、匂い提示装置2はカートリッジ内の香料から揮発した匂い物質をファン等の送風機構によって外部に放出してもよい。また、匂い提示装置2がユーザーの身体に装着される場合、匂い提示装置2は液体を吸収可能な液体吸収素材(ろ紙等)にカートリッジ内の匂い物質を染みこませ、この液体吸収素材をユーザーの鼻の近くに移動させることによって、液体吸収素材から揮発する匂い物質の匂いをユーザーに提示してもよい。なお、匂い提示装置2は放出する匂い物質の量や匂い物質を染みこませた液体吸収素材のユーザーまでの距離を調整することによって、ユーザーに提示する匂いの強さを制御することとする。すなわち、ユーザーにより強く匂いを感じさせたい場合、匂い提示装置2は放出する匂い物質の量を増やしたり、匂い物質を染みこませた液体吸収素材をよりユーザーの鼻の近くまで移動させたりすればよい。
また、匂い提示装置2は、自身が発生させた匂いを消臭する消臭機能を備えてもよい。具体的に、例えば匂い提示装置2は、情報処理装置10からの指示に応じて内蔵している消臭剤を放出することによって、匂い物質を吸着するなどして匂いを消臭してもよい。また、外部の空気を吸気する機構を備え、これにより放出した匂い物質を吸い込んで消臭を行ってもよい。
操作デバイス3は、ユーザーからの操作入力を受け付けるためのデバイスであって、受け付けたユーザーの操作内容を示す信号を情報処理装置10に入力する。操作デバイス3は、例えば家庭用ゲーム機のコントローラやキーボード等であってよい。また、操作デバイス3は情報処理装置10の筐体表面に配置されたボタン等を含んでもよい。
表示装置4は、情報処理装置10から出力される映像信号に応じた映像を画面上に表示する。本実施形態では、表示装置4はヘッドマウントディスプレイなどのようにユーザーが頭部に装着して使用するタイプのデバイスであることとする。なお、表示装置4は情報処理装置10の筐体と一体的に構成されてもよい。また、匂い提示装置2は表示装置4の筐体内に内蔵されてもよい。これにより、ユーザーの鼻の近くで匂いを発生させることができ、ユーザーに明確に匂いを感じさせることができる。
次に、情報処理装置10が実現する機能について図2を用いて説明する。図2に示すように、情報処理装置10は、機能的に、空間匂い情報取得部21と、画像表示制御部22と、匂い制御部23と、を含む。これらの機能は、制御部11が記憶部12に記憶されたプログラムを実行することにより実現される。このプログラムは、インターネット等の通信ネットワークを介して情報処理装置10に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。
空間匂い情報取得部21は、空間匂い情報を取得する。ここで空間匂い情報とは、再現対象となる空間内における匂いの情報であって、空間内における位置または方向と、匂いの種類や強さなどの匂いの性質に関する情報と、が関連づけられた情報である。再現対象の空間は、現実の空間(実空間)であってもよいし、仮想的な空間であってもよい。以下では、実空間の空間匂い情報を取得する例について、説明する。
具体例として、実空間の空間匂い情報は、実際に匂いを計測した結果に基づいて生成される。この例では、計測対象となる場所(以下、基準位置Oという)に匂いセンサーSを配置し、実際に基準位置Oで感じられる匂いを計測する。この匂いセンサーSは、複数種類の匂い物質(匂い分子)について、そのそれぞれの空気中における量(濃度)を計測することによって、匂いの種類、及び強さを計測するものとする。以下では、匂いセンサーSが計測対象とする匂いを、基準匂いという。基準匂いは、人が知覚しやすい特徴的な匂いや、情報処理装置10による再現の対象としたい匂いなどであってよい。ここでは具体例として、匂いセンサーSは8種類の基準匂いF1〜F8を計測対象にするものとする。
さらにこの例では、複数の匂いセンサーSを互いに異なる複数の方向に向けて、それぞれの方向で発生している匂いを計測する。図3は、このような匂いセンサーSによる計測の様子を示す図であって、基準位置Oに配置された計測装置の周辺を天頂方向から見た様子を示している。この図の例では、一つの計測装置に8個の匂いセンサーS1〜S8が接続されており、8個の匂いセンサーS1〜S8は、前後左右、及び斜め方向の計8方向に向けられている。これにより、基準位置Oにおいて8方向のそれぞれから感じられる匂いを計測することができる。なお、複数の方向のそれぞれから感じられる匂いを計測するために、基準位置Oから計測対象の方向に所定距離だけ離れた場所に複数の匂いセンサーSを配置して計測を行うか、または特定方向からの匂いに強く反応する指向性を持ったセンサーを用いて計測を行うことが望ましい。
なお、ここでは平面内で互いに均等に離れた8方向の匂いを計測することとしたが、計測対象となる方向は8方向に限られず、任意の数であってよい。また、複数の方向は互いに均等に離れておらずともよく、例えば重要な方向については互いに近い間隔で匂いセンサーSを配置して計測を行ってもよい。また、上下方向(例えば天頂方向、及び天底方向)の匂いを併せて計測し、空間匂い情報に含めてもよい。また、ここでは複数の匂いセンサーSを互いに異なる方向に向けて配置し、同時に匂いを計測することとしたが、一つの匂いセンサーSを計測対象の方向のそれぞれに向けて計測を繰り返すことによって、複数方向の匂いを計測してもよい。また、ここでは一つの匂いセンサーSが複数の基準匂いのそれぞれを計測可能であることとしたが、それぞれ限られた数の基準匂いを計測可能な複数種類の匂いセンサーSを用いて、各方向から感じられる基準匂いの強さを計測してもよい。
図4は、図3に示した配置での計測によって得られる空間匂い情報の一例を示す図である。この図の例では、各匂いセンサーSの向けられた方向が方位角θによって表されている。ここでは、基準位置Oから見て匂いセンサーS1が向けられた方向をθ=0°として、天頂方向から見て時計回りの方向をθの正方向としている。すなわち、8個の匂いセンサーS1〜S8それぞれの計測方向は、θ=0°からθ=315°までの45°間隔の角度で表される。以下では、匂いセンサーS1が向けられているθ=0°の方向を基準方向Dという。また、各方向の匂い情報は、8種類の基準匂いF1〜F8それぞれの強さを示す数値によって表されている。以下では、匂いセンサーSの計測によって得られる各基準匂いの強さを示す数値を匂い強さ値という。
空間匂い情報取得部21は、情報処理装置10自身に接続された匂いセンサーSによって計測された値を空間匂い情報として取得してもよい。また、予め外部の装置によって計測された計測結果の情報を、通信ネットワーク等を介して受信することによって、空間匂い情報を取得してもよい。あるいは、空間匂い情報はコンピュータ読み取り可能な情報記憶媒体に格納されて情報処理装置10に提供されてもよい。
また、空間匂い情報取得部21は、基準位置Oにおける匂いを示す空間匂い情報だけでなく、当該基準位置Oから実空間内の様子を見た景色を示す空間画像を併せて取得するものとする。このような空間画像は、基準位置Oにカメラを設置し、このカメラにより周囲の景色を撮影することによって生成できる。この空間画像は、正距円筒図法などのフォーマットで記録される全天周の景色を含んだパノラマ画像であってもよいし、一部範囲の景色だけを含んだ画像であってもよい。また、空間画像は、広い画角での撮影が可能なパノラマカメラによって撮影された画像であってもよいし、互いに異なる撮影方向を撮影して得られる複数の撮影画像をつなぎ合わせて生成された画像であってもよい。以上説明したような撮影、及び匂いの計測を行うことにより、再現対象となる実空間の景色、及び匂いの情報が得られることになる。
さらに、空間匂い情報取得部21が取得する空間画像には、空間匂い情報に含まれる方向の情報との対応関係を示す情報(以下、対応情報という)が付加されるものとする。空間匂い情報がθ=0°を基準方向Dとした各方向の匂い情報を含んでいる場合、この空間匂い情報と空間画像を対応付けるためには、空間画像内におけるどの方向が基準方向Dに相当するかを示す対応情報が必要となる。例えば正距円筒図法の場合、空間画像は縦1:横2の矩形の画像であって、その左辺の中点と右辺の中点とを結ぶ直線(すなわち、画像を上下に分割する中心線)が、実空間の水平面に対応する。そして、この中心線のうちの1点が、基準位置Oから見た基準方向Dに対応する。そこで空間匂い情報取得部21は、空間画像内の基準方向Dに対応する点の座標値の情報を、空間画像とともに対応情報として取得する。対応情報は、匂いセンサーSによる匂いの計測、及び空間画像の撮影を実施したユーザーが手作業で設定してもよい。あるいは、カメラ、及び匂いセンサーSと接続された情報処理装置が、撮影時のカメラ、及び測定時の匂いセンサーSの向きを検出し、検出した情報を用いて対応情報を自動的に生成してもよい。
また、空間匂い情報取得部21は、外部から取得した匂いセンサーSの計測結果をそのまま空間匂い情報として取得するのではなく、計測結果を解析することによって得られる情報を、空間匂い情報として取得してもよい。例えば空間匂い情報取得部21は、計測された匂いを発生させている匂い源の基準位置Oから見た方向を推定し、空間匂い情報に含めてもよい。一例として図4では、基準匂いF4は、θ=0°の方向、及びθ=45°の方向からその匂いが強く感じられ、これらの方向から離れるにつれて匂いが弱くなっていることが示されている。この場合、その匂いの原因となる匂い源がθ=0°とθ=45°の間の方向に存在すると推定される。そこで、特定の基準匂いについて、各方向の匂い強さ値の分布から匂い源の存在する方向を推定し、その方向を示す情報を空間匂い情報に含めてもよい。また、計測された匂い強さ値から、匂い源までの距離、または匂い源が発する匂いの強さを推定し、空間匂い情報に含めてもよい。
また、空間匂い情報取得部21は、匂いセンサーSの計測結果から重要でない匂い情報を除去してもよい。例えば空間匂い情報取得部21は、匂い提示装置2が匂いを提示する際の匂いの強さの量子化単位に合わせて、匂いセンサーSの計測結果に含まれる匂い強さ値の下位のビットを切り捨ててもよい。具体例として、匂い提示装置2が8段階で匂いの強さを調整可能な場合、空間匂い情報取得部21は、計測された匂い強さ値の上位3ビットを残し、下位のビットを切り捨ててもよい。また、複数の基準匂いそれぞれの匂い強さ値のうち、所定値未満の匂い強さ値については0とみなしてもよい。また、前述した匂い源の推定によって、ある特定の基準匂いを発生させている匂い源の方向を推定した場合、その匂い源の方向から所定角度以上離れた方向で計測されたその基準匂いの匂い強さ値については、0とみなしてもよい。このような補正を行うことにより、空間匂い情報に含まれる情報量を圧縮することができる。
また、空間匂い情報取得部21は、感度の異なる複数の匂いセンサーSの計測結果を合成して、一つの匂いセンサーSだけでは計測できない広いレンジの匂いデータを生成してもよい。
画像表示制御部22は、空間匂い情報取得部21が取得した空間画像に基づいて生成した表示画像を表示装置4に表示させる。具体的に、画像表示制御部22は、再現対象となる空間内においてユーザーが注目する注目方向を特定する。そして、空間画像に含まれる景色のうち、当該注目方向を中心とした一部範囲の景色を表す表示画像を生成して、表示装置4に表示させる。さらに、注目方向が変化した場合には、その変化に応じて表示画像を再描画し、表示装置4に表示させる。このような処理を繰り返すことにより、ユーザーは空間画像に含まれる任意の範囲の景色を閲覧することができる。
注目方向は、再現対象となる空間内における観測者の視線方向に対応しており、例えば水平方向に沿った方位角θと垂直方向に沿った仰俯角φとによって定義される。ここでは画像表示制御部22は、ユーザーの頭部に装着された表示装置4の向きの変化に連動するように注目方向を変化させるものとする。このような制御を実現するために、匂い提示システム1は、表示装置4の向きの変化を特定する機能を備える。この特定機能は、例えば表示装置4に内蔵されたモーションセンサー(加速度センサー、ジャイロスコープ、地磁気センサーなど)によって実現できる。また、このようなモーションセンサーに代えて、またはこれに加えて、表示装置4に取り付けられたカメラが撮影する映像の変化に応じて表示装置4の向きの変化を特定してもよい。また、ユーザーと対面する位置に配置されたカメラによって表示装置4を含む映像を撮影し、その映像内における表示装置4の動きを特定することによって、表示装置4の向きの変化を特定してもよい。いずれにせよ、表示装置4の向きの変化を特定することによって、画像表示制御部22は、常に表示装置4の向きが注目方向に一致するように注目方向を更新することができる。これにより、ユーザーが顔を動かすとその動きに連動して見える景色が変化するように表示画像を制御できる。
画像表示制御部22が空間画像の表示を開始する際には、注目方向は例えばθ=0°、φ=0°の方向であってよい。さらに、この注目方向のうちの方位角θは、空間画像の撮影が行われた際の方位角θと対応づけられるものとする。すなわち、注目方向の方位角θが0°のときには、基準位置Oから基準方向Dを見た際の景色が表示装置4に表示される。この状態でユーザーが顔を右手方向に向けると、基準位置Oからθ=90°の方向を見た際の景色が表示され、左手方向に顔を向けると、基準位置Oからθ=270°の方向を見た際の景色が表示される。このような制御によれば、ユーザーはあたかも自分が基準位置Oにいるかのように景色を閲覧することができる。
匂い制御部23は、画像表示制御部22によって特定される注目方向の変化に応じて、ユーザーに提示する匂いを制御する。より具体的に、注目方向から感じられる匂いをユーザーに提示するように、匂い提示装置2に対して匂いの提示を指示する。ここで匂い制御部23は、実空間で感じられる匂いを再現するように匂い提示の指示内容を決定する。この指示内容は、空間匂い情報取得部21が取得した空間匂い情報に基づいて決定される。
ここで匂い提示装置2は、基準匂いF1〜F8に対応する8種類の匂い物質を放出するものとする。なお、匂い提示装置2が放出する匂い物質は、匂いセンサーS1〜S8が検出対象とする匂い物質と同じ物質であることが望ましいが、それに限らず近い匂いを人に感じさせるものであってもよい。また、匂い提示装置2は、匂い制御部23からの指示に応じた強さで、各種類の匂いを提示可能であるものとする。この場合、匂い制御部23は、空間匂い情報を用いて、8種類の匂い物質それぞれの匂いの強さを決定し、決定した内容で匂いを提示するよう匂い提示装置2に指示する。例えば図4に示す空間匂い情報が取得されている例において、注目方向の方位角がθ=90°になった場合、匂い制御部23は、θ=90°の空間匂い情報を参照して匂い提示装置2に対する指示内容を決定する。より具体的に、匂い制御部23は、基準匂いF4に対応する匂い物質を強さ30で、基準匂いF6に対応する匂い物質を強さ67で、基準匂いF7に対応する匂い物質を強さ42で、それぞれユーザーに提示するよう指示する。なお、ここでは匂いセンサーSによる計測値が10以下の基準匂いについては匂い提示の対象から除外されている。これにより、空間匂い情報の計測が行われたときにユーザーが基準位置Oに立ってθ=90°の向きを向いたとしたら感じたであろう匂いを、ユーザーに提示することができる。このとき、同時に表示装置4には基準位置Oからθ=90°の方向を見た際の景色が表示されている。これにより、ユーザーは視角、及び嗅覚の双方で、あたかも自分が現実に基準位置Oにいるかのような感覚を体験することができる。
なお、匂いセンサーSによる計測が行われた方向と一致しない方向が注目方向になっている場合、例えば匂い制御部23は、空間匂い情報に含まれる注目方向に最も近い方向の情報を参照して提示すべき匂いを決定する。一例として、匂い制御部23は、注目方向がθ=22.5°〜77.5°の範囲に含まれている間は、θ=45°の空間匂い情報に基づいて匂い提示の内容を決定する。あるいは匂い制御部23は、匂いセンサーSの計測方向と一致しない方向が注目方向になっている場合、補間処理を実行して各基準匂いの強さを決定してもよい。具体例として、注目方向がθ=100°の場合、θ=90°の空間匂い情報とθ=135°の空間匂い情報とを用いて補間処理を行うことにより、θ=100°の位置で感じられるであろう匂いの強さを算出し、算出した強さで匂いを提示するよう匂い提示装置2に指示する。これにより、注目方向がどの向きであっても、その向きで感じられる匂いをユーザーに提示することができる。また、空間匂い情報に前述した匂い源の方向、及び距離などの情報が含まれる場合、匂い制御部23はその匂い源から発生した匂いが基準位置Oで注目方向を向いたときにどの程度の強さで感じられるかを推定し、推定結果に基づいて匂い提示装置2への指示を行ってもよい。
匂い制御部23は、上述したような注目方向に応じた匂い提示の指示を、一定時間おきに繰り返し実行するものとする。また、注目方向の変化に応じてそれまで提示していた匂いを提示する必要がなくなった場合、消臭機能を動作させて一旦それまで提示していた匂いを消臭した後に、あらためて変化後の注目方向に応じた匂いを提示してもよい。
以下、本実施形態に係る情報処理装置10が実行する処理の流れの一例について、図5のフロー図を用いて説明する。
まず最初に、空間匂い情報取得部21が空間匂い情報及び空間画像を取得する(STEP1)。次に、画像表示制御部22が、ユーザーの指示等に応じて空間画像の表示を開始する(STEP2)。このとき画像表示制御部22は、例えば基準方向Dを注目方向として空間画像の初期の表示範囲を決定する。続いて匂い制御部23が、現在の注目方向に応じた匂いを提示するよう匂い提示装置2に指示する(STEP3)。
その後、所定時間の経過を待ってから、画像表示制御部22が現在時点での表示装置4の向きの情報を取得し(STEP4)、取得した情報に基づいて現在時点におけるユーザーの注目方向を特定する(STEP5)。そして、新たにSTEP5で特定された注目方向に応じて、表示装置4に表示すべき表示画像を更新する(STEP6)。さらに、匂い制御部23が、STEP5で特定された注目方向に応じた匂いを提示するよう匂い提示装置2に指示する(STEP7)。以下、画像表示制御部22及び匂い制御部23は、ユーザーの指示等により空間画像の表示を終了するまでの間、STEP4に戻ってSTEP4〜STEP7の処理を繰り返し実行する。
以上説明した本実施形態に係る情報処理装置10によれば、実空間における方向を考慮した空間匂い情報を用いてユーザーに提示する匂いの内容を決定することで、注目方向によって変化する匂いをユーザーに提示することができる。
なお、以上の説明では表示装置4は頭部装着型の表示装置であることとしたが、本発明の実施の形態はこのようなものに限られず、表示装置4は液晶ディスプレイ等の据え置き型のデバイスであってもよい。この場合、例えばユーザーは、操作デバイス3に対して方向を指示する入力を行うことによって、注目方向を変化させる。この注目方向の変化に応じて、画像表示制御部22が表示装置4の画面上に表示される景色を変化させるとともに、匂い制御部23が注目方向に応じた匂いを提示するよう匂い提示装置2に指示する。これにより、ユーザーは基準位置Oにおける景色と匂いを体験することができる。
また、空間匂い情報取得部21は、実際に匂いセンサーSの計測によって得られた情報に対して、仮想的な匂い源によって生じる匂いを付加して空間匂い情報を生成してもよい。具体的に空間匂い情報取得部21は、仮想的な匂い源が基準位置Oから所定方向に所定距離だけ離れた位置に存在する場合に、この匂い源によって生じる匂いが基準位置Oに到達した際に感じられる匂いの種類及び強さを算出し、匂いセンサーSの計測結果の数値に加算する。このような処理は、拡張現実(Augmented Reality)を実現するために利用できる。拡張現実の中には、実際には存在しないオブジェクトがあたかも実空間内に存在するかのような画像をユーザーに提示する手法がある。空間匂い情報取得部21が上述したような仮想的な匂い源の匂いを空間匂い情報に追加し、匂い制御部23がこのようにして得られた空間匂い情報を用いてユーザーに提示する匂いを制御することで、実際には存在しない匂い源が存在するかのようにユーザーに感じさせることができる。このとき画像表示制御部22は、注目方向が匂い源の方向に向けられた際には匂い源の外観を示す画像を空間画像に基づいて生成された景色に重畳して表示装置4に表示させる。
また、空間匂い情報取得部21は、仮想的な空間内において感じられるであろう匂いを空間匂い情報として取得してもよい。この場合、例えば空間匂い情報取得部21は、仮想空間内に配置された仮想的な匂い源によって、仮想空間内の基準位置Oにおいて複数の方向ごとに感じられる匂いの強さを計算し、空間匂い情報として記録する。このような演算は、前述した拡張現実の例と同様にして実現できる。匂い制御部23は、このような空間匂い情報を参照して匂い提示装置2に匂いを提示させる指示を行う。このような匂いの提示を、仮想空間の様子を示す画像の表示と組み合わせることにより、ユーザーに仮想空間内にいるかのように感じさせることができる。
また、以上の説明では空間画像は静止画像であることとしたが、これに限らず空間匂い情報取得部21は、時間とともに変化する景色を動画像として撮影して得られる空間画像を取得してもよい。この場合、空間匂い情報についても、ある一時点の匂いだけを計測して得られる情報ではなく、一定期間にわたって匂いの計測を継続し、匂いの強さの時間変化を記録して得られる情報であってよい。このような空間画像、及び空間匂い情報を用いて映像の表示、及び匂いの提示を行うことにより、ユーザーは時間とともに変化する再現空間の様子を体験することができる。また、空間匂い情報取得部21は、空間匂い情報、及び空間画像に加えて、基準位置Oで周囲の音声を録音して得られる音声データを取得してもよい。空間画像の表示を行う際には、このような音声を併せて再生することで、よりユーザーの臨場感を高めることができる。
また、以上の説明では空間匂い情報は複数の方向ごとにその方向から感じられる匂いの種類、及び強さを示す情報であることとしたが、空間匂い情報はこのようなものに限られない。例えば空間匂い情報は、複数種類の匂いについて、その匂い強さ値は含まず、匂いの有無だけを示す情報であってもよい。また、空間匂い情報は、再現対象とする特定の一種類の匂いの情報だけを含むものであってもよい。また、以上の説明では再現対象となる空間内の基準位置Oで感じられる匂いだけを再現対象としたが、複数地点のそれぞれで感じられる匂いを再現対象としてもよい。この場合、空間匂い情報は、再現対象の位置と、その位置で感じられる匂いの種類、及び/又は強さを示す情報を含んだ情報であってよい。
1 匂い提示システム、2 匂い提示装置、3 操作デバイス、4 表示装置、10 情報処理装置、11 制御部、12 記憶部、13 インタフェース部、21 空間匂い情報取得部、22 画像表示制御部、23 匂い制御部。

Claims (6)

  1. ユーザーに匂いを提示する匂い提示装置と接続される情報処理装置であって、
    再現対象の空間内における匂いを示す空間匂い情報を取得する空間匂い情報取得部と、
    前記空間匂い情報を用いて、前記再現対象の空間内で感じられると想定される匂いをユーザーに提示するよう前記匂い提示装置に指示する匂い制御部と、
    を含むことを特徴とする情報処理装置。
  2. 請求項1に記載の情報処理装置において、
    前記空間匂い情報は、前記再現対象の空間内における基準位置から見た方向と、当該方向から感じられる匂いとを対応づける情報であって、
    前記情報処理装置は、前記再現対象の空間内においてユーザーが注目する注目方向を特定する特定部をさらに含み、
    前記匂い制御部は、前記空間匂い情報と、前記特定される注目方向と、に基づいて、ユーザーに提示する匂いを決定する
    ことを特徴とする情報処理装置。
  3. 請求項2に記載の情報処理装置において、
    前記空間匂い情報取得部は、前記再現対象の空間内における景色を示す空間画像をさらに取得し、
    前記情報処理装置は、前記空間画像に基づいて、前記特定される注目方向の景色を示す画像を表示する画像表示制御部をさらに含む
    ことを特徴とする情報処理装置。
  4. 請求項1から3のいずれか一項に記載の情報処理装置において、
    前記再現対象の空間は現実の空間であって、
    前記空間匂い情報は、現実の空間内の基準位置に設置された匂いセンサーによって計測された匂いの種類及び/又は強さの情報である
    ことを特徴とする情報処理装置。
  5. ユーザーに匂いを提示する匂い提示装置の制御方法であって、
    再現対象の空間内における匂いを示す空間匂い情報を取得するステップと、
    前記空間匂い情報を用いて、前記再現対象の空間内で感じられると想定される匂いをユーザーに提示するよう前記匂い提示装置に指示するステップと、
    を含むことを特徴とする匂い提示装置の制御方法。
  6. ユーザーに匂いを提示する匂い提示装置を制御するためのプログラムであって、
    再現対象の空間内における匂いを示す空間匂い情報を取得する取得部、及び、
    前記空間匂い情報を用いて、前記再現対象の空間内で感じられると想定される匂いをユーザーに提示するよう前記匂い提示装置に指示する匂い制御部、
    としてコンピュータを機能させるためのプログラム。
JP2017553646A 2015-11-30 2016-07-15 情報処理装置 Active JP6513218B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015233566 2015-11-30
JP2015233566 2015-11-30
PCT/JP2016/070984 WO2017094284A1 (ja) 2015-11-30 2016-07-15 情報処理装置

Publications (2)

Publication Number Publication Date
JPWO2017094284A1 true JPWO2017094284A1 (ja) 2018-03-08
JP6513218B2 JP6513218B2 (ja) 2019-05-15

Family

ID=58796709

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017553646A Active JP6513218B2 (ja) 2015-11-30 2016-07-15 情報処理装置

Country Status (4)

Country Link
US (1) US10532278B2 (ja)
EP (1) EP3385817B1 (ja)
JP (1) JP6513218B2 (ja)
WO (1) WO2017094284A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102655187B1 (ko) * 2017-02-15 2024-04-05 삼성전자주식회사 전자 장치 및 그의 동작 방법
CN110634189B (zh) 2018-06-25 2023-11-07 苹果公司 用于在沉浸式混合现实体验期间用户警报的系统和方法
US10922376B2 (en) * 2018-11-26 2021-02-16 Nag Mun Song Perfume package accessory design system and method of operating perfume package accessory design system
WO2021059642A1 (ja) * 2019-09-25 2021-04-01 ソニー株式会社 情報処理装置、制御方法、プログラム
KR102293158B1 (ko) * 2019-10-22 2021-08-25 주식회사 딥센트 후각 환경 관리 시스템
US20230015224A1 (en) * 2020-01-14 2023-01-19 Hewlett-Packard Development Company, L.P. Face orientation-based cursor positioning on display screens
CN115039118A (zh) * 2020-02-28 2022-09-09 爱沛股份有限公司 信息管理系统、信息管理方法以及程序
US20230372571A1 (en) * 2020-10-22 2023-11-23 Sony Interactive Entertainment Inc. Gas sensor device, information processing apparatus, and odor presentation system

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0755742A (ja) * 1993-08-18 1995-03-03 Sharp Corp においの記録再生装置
JPH1066058A (ja) * 1996-06-11 1998-03-06 Masanobu Kujirada 実況映像提供システム
JPH10153946A (ja) * 1996-11-25 1998-06-09 Mitsubishi Electric Corp 感覚情報提示装置
JP2003220154A (ja) * 2002-01-30 2003-08-05 Matsushita Electric Ind Co Ltd 運動装置
JP2007079620A (ja) * 2005-09-09 2007-03-29 Tokai Univ 匂い提示システム
JP2008086741A (ja) * 2005-12-26 2008-04-17 Akira Tomono 呼吸検出型化学物質提示装置、および、呼吸検出装置
JP2011096171A (ja) * 2009-11-02 2011-05-12 National Institute Of Information & Communication Technology 多感覚インタラクションシステム
JP2011215462A (ja) * 2010-04-01 2011-10-27 Keio Gijuku 嗅覚情報制御装置、嗅覚情報制御方法及び香り発生システム
JP2013074476A (ja) * 2011-09-28 2013-04-22 Toppan Printing Co Ltd 香り提供装置
JP2015075752A (ja) * 2013-10-12 2015-04-20 純馬 青木 匂い呈示装置および方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050130747A1 (en) * 2003-12-10 2005-06-16 Xerox Corporation Video game system including a micromechanical dispensing device
US20080035764A1 (en) * 2004-04-20 2008-02-14 Xerox Corporation Environmental system including a micromechanical dispensing device
WO2009157187A1 (ja) 2008-06-23 2009-12-30 Murthy Prakash Sreedhar 化学物質に関連した情報を取り扱うためのシステム
KR100990994B1 (ko) 2008-10-31 2010-10-29 한국전자통신연구원 향기 재생정보를 갖는 컨텐츠 생성장치, 재생장치 및 그 재생방법
KR101844787B1 (ko) * 2011-12-19 2018-05-21 한국전자통신연구원 콘텐츠와 냄새인식장치 간의 상호협력 장치 및 방법
US20140115649A1 (en) * 2012-10-19 2014-04-24 Electronics And Telecommunications Research Institute Apparatus and method for providing realistic broadcasting
US9492739B2 (en) * 2012-10-19 2016-11-15 Electronics And Telecommunications Research Institute Virtual world processing apparatus
US9400766B2 (en) * 2013-04-26 2016-07-26 International Business Machines Corporation Determining combinations of odors to produce a target olfactory pleasantness
JPWO2015025511A1 (ja) * 2013-08-23 2017-03-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 匂い再生装置
WO2015116102A1 (en) * 2014-01-30 2015-08-06 Empire Technology Development Llc Odor sensors
US9691214B2 (en) * 2015-11-03 2017-06-27 International Business Machines Corporation Environmentally adaptive olfactory generation
US20190011700A1 (en) * 2017-07-05 2019-01-10 Bruce Reiner Customizable three-dimensional interactive visualization and multi-sensory system and method

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0755742A (ja) * 1993-08-18 1995-03-03 Sharp Corp においの記録再生装置
JPH1066058A (ja) * 1996-06-11 1998-03-06 Masanobu Kujirada 実況映像提供システム
JPH10153946A (ja) * 1996-11-25 1998-06-09 Mitsubishi Electric Corp 感覚情報提示装置
JP2003220154A (ja) * 2002-01-30 2003-08-05 Matsushita Electric Ind Co Ltd 運動装置
JP2007079620A (ja) * 2005-09-09 2007-03-29 Tokai Univ 匂い提示システム
JP2008086741A (ja) * 2005-12-26 2008-04-17 Akira Tomono 呼吸検出型化学物質提示装置、および、呼吸検出装置
JP2011096171A (ja) * 2009-11-02 2011-05-12 National Institute Of Information & Communication Technology 多感覚インタラクションシステム
JP2011215462A (ja) * 2010-04-01 2011-10-27 Keio Gijuku 嗅覚情報制御装置、嗅覚情報制御方法及び香り発生システム
JP2013074476A (ja) * 2011-09-28 2013-04-22 Toppan Printing Co Ltd 香り提供装置
JP2015075752A (ja) * 2013-10-12 2015-04-20 純馬 青木 匂い呈示装置および方法

Also Published As

Publication number Publication date
EP3385817A4 (en) 2019-07-31
EP3385817A1 (en) 2018-10-10
WO2017094284A1 (ja) 2017-06-08
JP6513218B2 (ja) 2019-05-15
US20180318706A1 (en) 2018-11-08
US10532278B2 (en) 2020-01-14
EP3385817B1 (en) 2020-08-19

Similar Documents

Publication Publication Date Title
JP6513218B2 (ja) 情報処理装置
US11504609B2 (en) Head mounted display
US20180095534A1 (en) Head mounted display with heat image generation
EP2662838B1 (en) Apparatus and method for augmented reality
JP5039808B2 (ja) ゲーム装置、ゲーム装置の制御方法、及びプログラム
US9509907B2 (en) Information processing device, storage medium having moving image data stored thereon, information processing system, storage medium having moving image reproduction program stored thereon, and moving image reproduction method
JP2005165848A5 (ja)
US10521009B2 (en) Method and apparatus for facilitating interaction with virtual reality equipment
US10169920B2 (en) Virtual guard rails
US10062211B2 (en) Computer-readable recording medium recording information processing program, information processing apparatus, information processing system, and information processing method
JP2018198063A (ja) 情報処理装置
CN108377361B (zh) 一种监控视频的显示控制方法及装置
JP6908053B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2017000545A (ja) 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
WO2012176098A1 (en) Adapting patient room ambient stimuli to patient healing status
JP2018147151A (ja) 端末装置およびその制御方法、並びにプログラム
US20170150127A1 (en) Virtual Training System
JPWO2018105552A1 (ja) 音声制御装置、音声制御方法及びプログラム
TWI718331B (zh) 休閒裝置
WO2016072327A1 (ja) ヘッドマウントディスプレイおよび情報処理方法
JP6457989B2 (ja) ゲームプログラム及びゲーム装置
JP7304602B2 (ja) 制御システム、及び、制御方法
TW201320756A (zh) 內容處理裝置、內容處理方法、及記錄媒體
TW201426403A (zh) 顯示裝置、可攜式裝置及虛擬情境控制方法
JP2021096743A (ja) 香り発生システム、制御装置、及び、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181009

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190409

R150 Certificate of patent or registration of utility model

Ref document number: 6513218

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250