次に本発明の実施の形態について図面を参照して詳細に説明する。
[第1の実施の形態:珈琲を淹れる場合に形成される色や模様を用いて音声情報を提供する例]
[珈琲抽出器及び電子機器の外観構成例]
図1は、第1の実施の形態における電子機器20が取り付けられる珈琲抽出器1の外観構成の一例を示す図である。図1(1)には、電子機器20が取り付けられる珈琲抽出器1の斜視図を示し、図1(2)には、電子機器20が取り付けられる珈琲抽出器1の側面図を示す。
図2は、第1の実施の形態におけるドリッパー10と、電子機器20と、容器30との外観構成の一例を示す図である。図2(1)には、図1に示す珈琲抽出器1から電子機器20を取り外した場合の斜視図を示し、図2(2)には、ドリッパー10の側面図を示す。
図3は、第1の実施の形態におけるドリッパー10及び電子機器20の外観構成の一例を示す図である。図3(1)には、フランジ部12の下部に電子機器20を取り付けた状態のドリッパー10及び電子機器20の上面図を示し、図3(2)には、フランジ部12の下部に電子機器20を取り付けた状態のドリッパー10及び電子機器20の下面図を示す。また、図3(3)には、電子機器20の上面図を示し、図3(4)には、電子機器20の下面図を示す。
珈琲抽出器1は、ドリッパー10と、電子機器20と、容器30とを有する。また、珈琲抽出器1は、飲み物抽出器、飲み物を濾す機器、飲み物生成機器等と称することができる。
ドリッパー10は、収容部11と、フランジ部12と、脚部13とを有し、容器30の開口部32に配置して使用される珈琲ドリッパーである。また、フランジ部12の下部には、電子機器20が取り付けられる。
収容部11は、珈琲豆を粉砕した粉を内部に収容する収容部であり、底部には、収容部11内に注がれたお湯を流下させるための孔14(鉛直方向に貫通する孔14)が設けられている。このように、収容部11は、上側から粉(珈琲豆を粉砕した粉)にお湯を注ぐための上部開口部と、粉(珈琲豆を粉砕した粉)に注がれたお湯を容器30に落とすための孔14(下部開口部、抽出口)とを備える。また、収容部11は、内部に収容された粉(珈琲豆を粉砕した粉)に注がれたお湯を、その粉を経由して収容部11の下側に配置される容器30に注ぐ器具である。なお、図1では、図示を省略するが、収容部11の外側面には取手等の各種の部材を設けるようにしてもよい。
例えば、収容部11は、漏斗状に形成され、珈琲豆から抽出される(漉し出される)液体をろ過する紙フィルターを保持する収容部とすることができる。また、収容部11を金属フィルターとするようにしてもよく、ネルフィルターを保持する収容部とするようにしてもよい。また、収容部11の形状は、台形型、円錐型、バスケット型などのように各種の形状とすることができる。
フランジ部12は、水平方向において、収容部11の下部から外側に向かって広がる円盤状のフランジ部である。また、フランジ部12は、収容部11の下部に設けられ、収容部11を容器30の開口部32に設置した場合に収容部11を安定的に支持する。
脚部13は、フランジ部12の下面に設けられるリング状の突起であり、ドリッパー10を容器30の開口部32以外の部分に直接おく場合にドリッパー10を支持するものである。なお、脚部13は、陶器(例えば、茶碗、お椀)の底、糸底、糸尻に相当する。また、図2、図3では、脚部13をリング状の突起とする例を示すが、脚部13は、ドリッパー10を支持することができるように、3点以上の複数の突起(例えば、円周上に並ぶ複数の突起)とするようにしてもよい。
なお、収容部11と、フランジ部12と、脚部13とを耐熱ガラス、陶器、樹脂等により一体で構成するようにしてもよく、収容部11と、フランジ部12と、脚部13とを個別に構成して接合するようにしてもよい。なお、脚部13については、省略するようにしてもよい。
容器30は、ドリッパー10から流下される珈琲豆の抽出液を溜める容器(珈琲サーバー)である。また、容器30は、ドリッパー10から流下される珈琲豆の抽出液を入れるための開口部32を有し、開口部32に配置されるドリッパー10を支持する。なお、容器30は、耐熱ガラスにより構成することができる。また、容器30を、保温性を高めた部材により構成するようにしてもよく(例えば、ステンレスサーバー)、陶器製のものを用いるようにしてもよい。また、容器30の形状は、図1に示す形状以外でも、各種の形状とすることができる。なお、図1では、図示を省略するが、容器30の外側面には取手等の各種の部材を設けるようにしてもよい。
電子機器20は、ドリッパー10のフランジ部12と、容器30の開口部32との間に挟むように取り付けられる電子機器や情報処理装置である。すなわち、電子機器20は、ドリッパー10のフランジ部12と、容器30の開口部32との間に挟んで使用される電子機器や情報処理装置である。また、例えば、電子機器20は、耐熱ガラス、陶器、金属、セラミック、樹脂、木等により構成される筐体(ケース)に各機器(図4に示す各部)を内蔵することにより実現される。
電子機器20は、方形状(平板状)の部分(把持部27)と、リング状(環状)の部分(環状部28)とにより構成される。環状部28は、上面視においてリング状(環状)となる形状であり、ドリッパー10が設置される上面(上部)71と、容器30の開口部32に設置される下面(下部)72と、フランジ部12の下面における脚部13に対向する内側面(内壁)73と、外側面(外壁、周壁)74とを有する。このように、環状部28は、中空部(孔29)を有するドーナツ形状であり、上面(上部)71とドリッパー10とが接し、下面(下部)72と容器30の開口部32の口縁とが接するように、ドリッパー10のフランジ部12と、容器30の開口部32との間に挟まれるように配置される。また、電子機器20は、リング状(環状)の部分(環状部28)に方形状の部分(把持部27)が接合されているような形状であり、例えば、虫メガネや、金魚すくいのような形状を有する。また、環状部28は、ドリッパー10のフランジ部12の下面における脚部13の直径(外径)よりも大きいサイズの内径(孔29の直径のサイズ)を有する。また、環状部28は、ドリッパー10のフランジ部12の下面の直径よりも小さいサイズの外径を有する。
また、図3(2)に示すように、電子機器20は、フランジ部12の脚部13が環状部28の孔29に入るように、ドリッパー10のフランジ部12と、容器30の開口部32との間に挟むように取り付けられる。すなわち、電子機器20は、容器30の開口部32により支持され、ドリッパー10は、電子機器20の環状部28により支持される。例えば、図1(2)、図3(2)に示すように、電子機器20の環状部28の形状を、容器30の開口部32(口縁)の形状に合うように設定するとともに、ドリッパー10のフランジ部12の形状に合うように設定することにより、電子機器20を、ドリッパー10のフランジ部12と、容器30の開口部32との間に挟むように取り付けた場合でも、容器30により電子機器20及びドリッパー10が安定的に支持される。
このように、環状部28は、フランジ部12の環状の形状と、容器30の開口部32の環状の形状とに対応する形状である。また、環状部28の上面71にフランジ部12の下面が接するとともに、環状部28の下面72に容器30の開口部32の口縁が接し、レンズ21が開口部32内に配置されるように、電子機器20が設置される。
また、電子機器20の取り付け作業や取り外し作業をする場合には、ユーザは把持部27を手で持って、各作業を行うことができる。このため、把持部27は、電子機器20の把持部として機能する。また、把持部27には、操作部26を備えるため、把持部27は、電子機器20の操作部としても機能する。また、把持部27には、音声出力部25を備えるため、把持部27は、電子機器20の出力部としても機能する。
このように、電子機器20を虫メガネや、金魚すくいのような形状とすることにより、電子機器20の取り付け及び取り外しが容易である。また、電子機器20を珈琲抽出器1に安定的に設置することができる。
なお、把持部27及び環状部28の形状は、これらに限定されない。例えば、環状部28の外径を、ドリッパー10のフランジ部12の下面の直径よりも大きいサイズとするようにしてもよい。また、容器30の開口部32に安定的に配置することができ、ドリッパー10を安定的に支持することができれば、環状部28の形状を他の形状とするようにしてもよい。例えば、リング状の部分の一部が欠けているような形状でもよく、上面視において、U字型の形状でもよく、Y字型の形状でもよく、多角形、台形、楕円等の形状(少なくとも脚部13の直径(外径)よりも大きいサイズの孔に相当する部分を有する)としてもよい。なお、環状部28の変形例を図38に示す。
また、電子機器20は、レンズ21と、音声出力部25と、操作部26とを有する。なお、レンズ21と、音声出力部25と、操作部26との機能構成については、図4を参照して詳細に説明する。
また、電子機器20のレンズ21は、環状部28の下部(下側の面(下面72))に配置される。また、電子機器20のレンズ21は、ドリッパー10及び電子機器20を容器30にセットした場合に、レンズ21の光軸方向が容器30に溜まる珈琲抽出液の表面に向く位置に配置される。
また、ドリッパー10に熱湯が注がれた場合や電子機器20の取り外し作業を行う場合等には、電子機器20の全体や各部(レンズ21、音声出力部25、操作部26)に水等が付着することも想定される。そこで、電子機器20の全体や各部(レンズ21、音声出力部25、操作部26)に防水加工処理を施すことが好ましい。
また、ドリッパー10に熱湯が注がれた場合に、ドリッパー10及び容器30が熱を持つことが想定される。そこで、電子機器20に内蔵される各機器については、ドリッパー10及び容器30からの熱の影響を受けないように、断熱性部材等により内包するか、断熱処理を施すことが好ましい。例えば、発泡材系、フェルト系等の断熱材を使用するようにしてもよく、これらのうちの2種以上の部材を組み合わせるようにしてもよい。また、例えば、ドリッパー10及び容器30からの熱の影響を受けないように、レンズ21、画像取得部22以外の各機器(図4に示す各部)を把持部27の内部に設置することができる。
また、ドリッパー10に熱湯が注がれた場合に、容器30に溜まる珈琲(液体)から湯気が発生し、レンズ21が曇ることが想定される。そこで、レンズ21の表面に曇り止め処理を施すことが好ましい。または、曇り止め処理が施された透明部材でレンズ21全体を覆うようにしてもよい。また、熱の影響を防止するため、レンズ21自体、または、曇り止め処理が施された透明部材にも、断熱処理を施すことが好ましい。
[電子機器の機能構成例]
図4は、第1の実施の形態における電子機器20の機能構成例を示すブロック図である。
電子機器20は、レンズ21と、画像取得部22と、制御部23と、記憶部24と、音声出力部25と、操作部26とを有する。なお、電子機器20は、バッテリを内蔵または装着してバッテリを電源として用いるようにしてもよく、バッテリを内蔵せずに外部からの電源を用いるようにしてもよい。
レンズ21は、被写体からの光を集光する複数のレンズにより構成される。また、レンズ21により集光された被写体からの光が撮像素子(画像取得部22が備える)に入射される。
画像取得部22は、制御部23の制御に基づいて、被写体を撮像して画像(画像データ)を生成するものであり、生成された画像を制御部23に出力する。画像取得部22は、例えば、レンズ21により集光された被写体からの光を入射する撮像素子(イメージセンサ、画像センサ)、その撮像素子により生成された画像データについて所定の画像処理を施す画像処理部により構成される。撮像素子として、例えば、CCD(Charge Coupled Device)型やCMOS(Complementary Metal Oxide Semiconductor)型の撮像素子を用いることができる。なお、レンズ21は、制御部23の制御に基づいて、各部(例えば、ズームレンズ、フォーカスレンズ、絞り)が制御されるようにしてもよい。
制御部23は、記憶部24に記憶されている制御プログラムに基づいて電子機器20の各部を制御するものである。制御部23は、例えば、CPU(Central Processing Unit)により実現される。なお、CPUは、制御装置(制御回路)及び演算装置(演算回路)からなる中央処理装置(電子機器)である。
記憶部24は、各種情報を記憶するメモリである。例えば、記憶部24には、電子機器20が各種処理を行うために必要となる各種情報(例えば、制御プログラム、出力対象となる情報を決定するための情報(例えば、図6(1)(2)、図7に示す各情報))が記憶される。また、記憶部24には、画像取得部22により取得された画像(画像データ)に基づいて決定される情報(例えば、図9(1)に示す)が記憶される。
音声出力部25は、制御部23の制御に基づいて、各種音声を出力する音声出力部(例えば、スピーカ)である。
操作部26は、電子機器20を操作するための操作入力を受け付けるものである。第1の実施の形態では、説明を容易にするため、操作部26は、電子機器20の電源をオンするためのスイッチであるものとする。なお、図1~図3では、簡易的な操作部26のみを示すが、他の操作部材を設けるようにしてもよい。
[容器に溜まる珈琲の表面の遷移例]
図5は、第1の実施の形態における電子機器20により取得が可能な画像(容器30に溜まる珈琲の表面の画像)の遷移の一例を示す図である。なお、図5では、説明を容易にするため、珈琲の液体及び珈琲の表面に発生する泡等を円形等で簡略化して示す。
図5(1)には、容器30の底31に、抽出された珈琲(液体)41が落ちた状態を示す。最初に、ユーザは、容器30の上部にドリッパー10をセットし、ドリッパー10の収容部11の内部に紙フィルターを装着し、その紙フィルターに珈琲豆の粉を入れる。次に、ユーザは、沸騰させた後に90度程度に冷やしたお湯を、ドリッパー10にセットされた珈琲豆の粉に少量注ぎ、20秒乃至30秒程度蒸らす。この蒸らしの状態では、珈琲豆の粉に注がれるお湯は少量であり、注がれたお湯は珈琲豆の粉が吸収するため、容器30の底31には、抽出された珈琲(液体)41は落ちないことが多い。
蒸らしの期間が終了したら、ユーザは、蒸らされた状態の珈琲豆の粉(ドリッパー10にセットされた珈琲豆の粉)にお湯を好みの量だけユーザの好みのタイミングで順次注いでいく。このように、珈琲豆の粉にお湯が注がれると、図5(1)に示すように、珈琲豆の粉がお湯を吸収しきれず、珈琲(液体)41が容器30の底31に落ちるようになる。この場合には、珈琲豆の粉に注がれるお湯の量や注がれる位置(ドリッパー10にセットされた珈琲豆の粉の位置)によって、容器30の底31に落ちる珈琲(液体)41の位置(底31における位置)、サイズ(底31におけるサイズ)、形状(底31における平面形状)が変化する。例えば、図5(1)(2)に示すように、容器30の底31における中央付近に最初の珈琲(液体)41が落ち、この後、何れかの方向に珈琲(液体)41が広がるように溜まってく。
また、図5(3)に示すように、抽出された珈琲(液体)41が容器30の底31にある程度溜まってくると、容器30に溜まった珈琲(液体)41の表面に泡42が現れることが多い。なお、図5では、泡42を白抜きで簡略化して示す。また、ユーザが、好みの量となるまで珈琲豆の粉にお湯を順次注いでいくと、図5(3)~(8)に示すように、容器30の形状に合わせて、珈琲(液体)41の表面が小さくなっていく。
このように、ドリッパー10にセットされた珈琲豆の粉にお湯が注がれると、図5(1)~(8)に示すように、容器30の底31(容器30に溜まった珈琲(液体)41の表面を含む)には、珈琲の色(黒っぽい色)や泡の色(白っぽい色)などの様々な色や模様が形成される。このように形成される色や模様は、珈琲を淹れる人や珈琲を淹れる環境などによって異なることが多い。また、このように形成される色や模様は、同一人が同一の環境で珈琲を淹れたとしても同一または略同一となることは少ないと想定される。そこで、第1の実施の形態では、珈琲を淹れる場合に形成される色や模様を用いて各種の情報を提供する例を示す。
[珈琲を淹れる場合に形成される色や模様を用いて出力対象の情報を決定するための判定情報の例]
図6、図7は、第1の実施の形態における電子機器20により出力対象の情報を決定する場合に用いられる各種情報の一例を示す図である。
図6(1)には、容器30に溜まる珈琲に関する情報(例えば、容器30に溜まった珈琲(液体)41の表面)を取得する場合に用いる領域A~Iの一例を示す。図6(1)に示す円形状の領域は、電子機器20の画像取得部22により取得される画像(例えば、撮像素子により取得される矩形状の画像)のうちの容器30の底31の円形状に対応する領域である。また、図6(1)に示す円形状の領域を9領域に分割して領域A~Iとする。例えば、各面積が略同一となるように領域A~Iを設定することができる。なお、図6(1)に示す円形状の領域の分割は、一例であり、他の分割方法により円形領域を複数の領域に分割するようにしてもよい。例えば、円の中心を通る2つの直線(直径と同じ直線)により円形領域を4つ領域に分割するようにしてもよく、円の中心を通る3つの直線(直径と同じ直線)により円形領域を6つ領域に分割するようにしてもよく、円の中心を通る4つの直線(直径と同じ直線)により円形領域を8つ領域に分割するようにしてもよい。または、不規則な形状(例えば、多角形(例えば、三角形、四角形、五角形)、円形、楕円形)の領域(閉じた領域)を円形領域に重複しないように複数配置し、これらの各領域(閉じた領域、閉じた領域の外側の領域)により複数の領域を設定することができる。
図6(2)には、図6(1)に示す領域A~Iを用いて取得された情報に基づいて出力対象となる情報を決定する場合に用いる判定情報(テーブル)の一例を示す。図6(2)に示す判定情報は、容器30に溜まる珈琲に関する情報(例えば、容器30に溜まった珈琲(液体)41の表面)の遷移と、出力対象となる情報OIとの対応関係を示す情報である。例えば、図6(2)に示す判定情報には、A~Iの全ての組み合わせ(パターン)が定義される。例えば、出力対象となる情報OI1には全てAのパターン「A、A、…、A、A」が定義される。また、出力対象となる情報OI2には、1つ(時間t2が「B」)以外は全てAのパターン「A、B、A、…、A、A」が定義される。また、出力対象となる情報OI2には、2つ(時間t2、t3が「B」)以外は全てAのパターン「A、B、B、A、…、A、A」が定義される。以降も同様に定義され、出力対象となる情報OIMには全てIのパターン「I、I、…、I、I」が定義される。
図6(2)において、時間t1、…、tn(ただし、nは正の整数)は、珈琲抽出器1を用いて珈琲を抽出する際における経過時間を示す値である。例えば、容器30に溜まる珈琲に関する情報を取得する間隔を20秒とする場合には、時間t1=20秒経過、時間t2=40秒経過、時間t3=60秒経過、…と20秒間隔とする。そして、制御部23(図4に示す)は、時間t1、…、tnのそれぞれにおいて、図6(1)に示す領域A~Iのうち、最も黒の割合が多い領域を順次判定し、その判定結果に基づいて、出力対象となる情報OI(OI1~OIM(ただし、Mは正の整数))を決定する。例えば、制御部23は、時間t1、…、tnのそれぞれにおいて、図6(1)に示す領域A~Iのうち、最も黒の割合が多い領域が全てA(図6(1)に示す領域A)であった場合には、出力対象となる情報OIとしてOI1を決定する。また、例えば、制御部23は、時間t1、…、tnのそれぞれにおいて、図6(1)に示す領域A~Iのうち、最も黒の割合が多い領域が全てI(図6(1)に示す領域I)であった場合には、出力対象となる情報OIとしてOIMを決定する。
なお、時間t1、…、tnの間隔、nの値については、予め設定しておくようにしてもよく、ユーザ操作によりユーザの好みの値を設定するようにしてもよい。また、Mの値については、容器30に溜まった珈琲(液体)41の表面に対応する円形状を分割する領域の数と、nの値とに基づいて決定される。例えば、円形状を分割する領域が4でnの値が4の場合には、256(=4×4×4×4)に決定される。ただし、領域の数とnの値とによっては、Mの値が大きくなりすぎ、出力対象となる情報(例えば、図7に示す音声情報61)を用意できないことも想定される。このため、Mの値が、出力対象となる情報(例えば、図7に示す音声情報61)の数よりも多い場合には、同一の音声情報61を、異なる情報(出力対象となる情報OI)に割り当てるようにしてもよい。
図7には、図6(2)に示す判定情報を用いて決定された出力対象となる情報OIと、出力対象情報(音声情報61)との対応関係の一例を示す。例えば、出力対象となる情報OIとしてOI1が決定された場合には、音声情報61としてサンタに関する情報が出力対象となる。サンタに関する情報は、例えば、「今日はあこがれのサンタの夢をみよう」の音声を出力するための情報である。なお、図7では、説明を容易にするため、音声出力の対象となる文字のみを簡易的に示す。なお、これらの出力例については、図10を参照して説明する。
[珈琲を淹れる場合に形成される色や模様を用いて出力対象の情報を決定する例]
図8は、第1の実施の形態における電子機器20により取得が可能な画像(容器30に溜まる珈琲の表面の画像)と、図6(1)に示す領域A~Iとの関係を示す図である。なお、図8(1)~(8)に示す容器30に溜まる珈琲の表面の画像は、図5(1)~(8)に示す各画像と同一である。
図9は、第1の実施の形態における電子機器20により出力対象の情報を決定する決定例を示す図である。図8、図9では、珈琲抽出器1を用いて珈琲を抽出する際における経過時間として、時間t1~t8を用いる場合の例を示す。この場合には、Mの値が、43046721となるため、この数だけの音声情報61を用意できない(また、記憶部24に記憶できない)ことも想定される。このような場合には、同一の出力対象情報OIについて、音声情報61のうち一部を重複して関連付けるようにすることができる。
図8(1)~(8)に示す容器30に溜まる珈琲の表面の画像は、時間t1~t8に取得されたものとする。
図9(1)には、時間t1~t8のそれぞれにおいて、図6(1)に示す領域A~Iのうち、最も黒の割合が多い領域を時間t1~t8に関連付けて記憶する場合の記憶例を示す。
最初に、電子機器20の電源がオンされる。この電源オンオフは、電子機器20に電源のオンオフをするためのスイッチ(操作部26)を設け、ユーザの手動操作により行うことができる。また、何らかのセンサ(例えば、音センサ)を電子機器20に設け、そのセンサにより電源オンオフを自動で行うようにしてもよい。また、無線通信部を電子機器20に設け、外部機器(例えば、スマートフォン)の操作に基づいて電源オンオフを行うようにしてもよい。
このように、電子機器20の電源がオンされた後に、電子機器20の画像取得部22(図4に示す)は、電子機器20の制御部23(図4に示す)に基づいて、容器30に溜まる珈琲が撮像された画像(画像データを含む)を順次取得する。
また、電子機器20の制御部23(図4に示す)は、電子機器20の画像取得部22(図4に示す)により取得された画像(容器30に溜まる珈琲が撮像された画像(画像データを含む))を順次取得する。
ここで、電子機器20の電源がオンされた後に、最初の判定対象とする情報(容器30に溜まる珈琲の表面の画像)は、時間の経過に基づいて決定するようにしてもよく、画像の変化に基づいて決定してもよく、外部からの操作に基づいて決定するようにしてもよい。例えば、電子機器20の電源がオンされた後に、容器30に溜まる珈琲の表面の画像に変化が生じてから所定時間(例えば、1秒~20秒、蒸らしの時間)が経過したタイミングを、時間t1とすることができる。なお、容器30に溜まる珈琲の表面の画像に変化は、例えば、容器30の底31に珈琲の液体が最初に落下したことによる変化(言い換えると、珈琲の液体の色(黒色)の発生による変化)である。
このように、制御部23は、時間t1のタイミングで取得した画像(容器30に溜まる珈琲の表面の画像)を、最初の判定対象とする。そして、制御部23は、時間t1のタイミングで取得した画像における円形領域(容器30に溜まった珈琲(液体)41の表面に相当する円形領域)を決定する。なお、時間t1のタイミングで取得した画像における円形領域は、容器30には珈琲がほとんど溜まっていないことが多いため、容器30の底31のサイズと同一(または略同一)となることが多い。
ここで、制御部23により取得される画像における円形領域は、時間の経過に応じて小さくなる。すなわち、容器30に溜まっていく珈琲(液体)41の量が増加するのに応じて、珈琲(液体)41の表面が高くなるため、容器30の形状に合わせて、珈琲(液体)41の表面の領域(円形領域)は小さくなる。このため、図8(1)~(8)に示すように、制御部23は、その決定した円形領域(容器30に溜まった珈琲(液体)41の表面に相当する円形領域)に合わせて、領域A~Iのサイズを変更する。なお、領域A~Iのサイズについては、変更せずに、固定として判定処理を行うようにしてもよい。
次に、制御部23は、時間t1のタイミングで取得した画像における円形領域(容器30に溜まった珈琲(液体)41の表面に相当する円形領域)に含まれる画像について特徴量を取得する。具体的には、制御部23は、時間t1のタイミングで取得した画像における円形領域に含まれる各画像(図6(1)に示す領域A~Iに含まれる各画像)について特徴量を取得する。例えば、制御部23は、領域A~Iに含まれる各画像について、珈琲の色に関する情報を特徴量として求める。例えば、制御部23は、画像取得部22により取得された画像に含まれる各画像における各画素を黒領域及び白領域の何れかに決定する。例えば、2値化処理(例えば、予め閾値を設定しておき、画素の値が閾値よりも大きければ白と判定し、小さければ黒に判定する処理)により決定することができる。なお、2値化処理に用いる閾値は、珈琲と泡を区別できる程度の値を設定することが好ましい。そして、制御部23は、領域A~Iに含まれる各画像における黒領域及び白領域の割合を特徴量として求める。
次に、制御部23は、領域A~Iに含まれる各画像のうちから、黒領域の割合が最も高い領域を決定する。図8(1)に示す例では、領域A~Iに含まれる各画像のうち、黒領域の割合が最も高い領域は、領域Aである。このため、制御部23は、時間t1のタイミングで取得した画像について、黒領域の割合が最も高い領域として領域Aを決定する。
以降も同様に、制御部23は、時間t2~t8のタイミングで取得した各画像(容器30に溜まる珈琲の表面の画像)について、黒領域の割合が最も高い領域を決定する。そして、制御部23は、時間t1~t8のタイミングで取得した各画像について決定された特徴量(黒領域の割合が最も高い領域)を、時間t1~t8に関連付けて記憶部24に順次記憶する。この記憶例を図9(1)に示す。すなわち、図9(1)に示す記憶例は、図8(1)~(8)に示す例についての記憶例である。
図9(2)には、図9(1)に示す特徴量(時間t1~t8と領域A~Iとを関連付けた情報)と一致する特徴量を図6(2)に示す判定情報から抽出する場合の抽出例を示す。なお、図9(2)に示す判定情報は、図6(2)に示す判定情報と同一であり、図6(2)に示す判定情報のうちの一部を省略して示す。
次に、制御部23は、その取得した特徴量に基づいて、音声出力部25からの出力対象となる情報を決定する。具体的には、制御部23は、その取得した特徴量(図9(1)に示す時間t1~t8と領域A~Iとを関連付けた情報)と一致する特徴量を、図6(2)に示す判定情報から抽出する。例えば、図9(2)に示すように、図9(1)に示す特徴量は、破線の矩形51内に示す特徴量と一致する。このため、制御部23は、図9(2)に示す判定情報から、図9(1)に示す特徴量と一致する特徴量として、破線の矩形51内に示す特徴量を抽出する。また、制御部23は、その抽出された特徴量に対応する情報(出力対象となる情報)OIとしてOIX1を決定する。
次に、制御部23は、出力対象となる情報OIとして決定されたOIX1に関連付けて記憶部24に記憶されている音声情報61に基づいて、音声出力部25から音声を出力させる。例えば、図9(3)に示すように、OIX1に関連付けられている音声情報61(破線の矩形52内に示す)に基づいて、「今日は雪だるまのようにじっくり待とう」の音声が音声出力部25から出力される。この出力例については、図10に示す。
[珈琲を淹れる場合に電子機器から音声情報を出力する例]
図10は、第1の実施の形態における電子機器20から音声情報を出力する場合の例を簡略化して示す図である。なお、図10に示す例は、図8、図9に示す例により決定された音声情報を出力する例を示す。
上述したように、制御部23は、OIX1に関連付けられている音声情報(図9(3)に示す破線の矩形52内)に基づいて、「今日は雪だるまのようにじっくり待とう」の音声を音声出力部25から出力させる。これにより、珈琲抽出器1を用いて珈琲を淹れているユーザP1は、自ら理想とする珈琲を淹れ終わった後に、その抽出により取得された特徴量に基づく音声を聞くことができる。例えば、ユーザP1が珈琲を淹れる達人であっても、素人であっても、容器30に溜まる珈琲の表面に表れる色や模様は、毎回異なることが多いと考えられる。そこで、このような珈琲の特徴を利用して、珈琲を抽出する場合に、抽出された珈琲を飲む楽しみとともに、その抽出時に取得された特徴量に基づく音声情報(珈琲やその抽出とは無関係の情報)を楽しむことができる。
[音声情報を出力する動作例]
図11は、第1の実施の形態における電子機器20による音声出力処理の一例を示すフローチャートである。図11では、操作部26の操作により電子機器20の電源がオンされた後に、容器30に溜まる珈琲の表面の画像に変化が生じた後の動作例を示す。
最初に、電子機器20の画像取得部22(図4に示す)は、電子機器20の制御部23(図4に示す)に基づいて、容器30に溜まる珈琲が撮像された画像(画像データを含む)を順次取得する(ステップS101)。また、制御部23は、画像取得部22により取得された画像(容器30に溜まる珈琲が撮像された画像(画像データを含む))を順次取得する(ステップS101)。
次に、制御部23は、取得した画像情報を解析して特徴量を取得する(ステップS102)。例えば、制御部23は、取得した画像における円形領域(容器30に溜まった珈琲(液体)41の表面に相当する円形領域)を決定する。次に、制御部23は、その決定した円形領域に含まれる画像について特徴量を取得する。具体的には、制御部23は、取得した画像における円形領域に含まれる各画像(図6(1)に示す領域A~Iに含まれる各画像)について特徴量(黒領域及び白領域の割合)を取得する。次に、制御部23は、領域A~Iに含まれる各画像のうちから、黒領域の割合が最も高い領域を決定する。
次に、制御部23は、取得した特徴量を経過時間に関連付けて記憶部24に記憶する(ステップS103)。例えば、図9(1)に示すように、制御部23は、時間t1~t8のタイミングで取得した各画像について決定された特徴量(黒領域の割合が最も高い領域)を、時間t1~t8に関連付けて記憶部24に記憶する。
次に、制御部23は、終了条件を満たすか否かを判断する(ステップS104)。そして、終了条件を満していない場合には、ステップS101に戻り、終了条件を満たす場合には、ステップS105に進む。
ここで、終了条件を満たすか否かを判断する判断基準として、例えば、所定時間が経過したか否かや、取得した画像情報に変化が生じない(または、ほとんど生じない)か否かを用いることができる。なお、所定時間は、例えば、電子機器20の電源がオンされてからの経過時間や、電子機器20の電源がオンされた後に、容器30に溜まる珈琲の表面の画像に変化が生じてからの経過時間に基づいて判断することができる。また、所定時間は、予め設定されている時間とするようにしてもよく、ユーザ操作によりユーザの好みに応じた時間を設定するようにしてもよい。例えば、図8、図9に示す例のように、時間t1~t8のタイミングで画像情報を取得する場合には、所定時間は時間t8(または時間t8の経過後)となる。また、取得した画像情報の変化が生じないことは、例えば、取得した画像情報を解析して、時系列で連続する画像同士を比較して差分が所定値以下となる時間が所定期間継続したことに基づいて判断することができる。すなわち、取得した画像情報の変化が生じないことは、容器30に溜まる珈琲の表面の画像に変化がない時間が所定時間経過したか否かにより判断することができる。なお、レンズ21が曇ることにより、変化が生じないと判断される可能性もある。
終了条件を満たす場合には(ステップS104)、制御部23は、その取得した特徴量に基づいて、音声出力部25からの出力対象となる情報を決定する(ステップS105)。例えば、制御部23は、その取得した特徴量(例えば、図9(1)に示す時間t1~t8と領域A~Iとを関連付けた情報)と一致する特徴量を、図6(2)に示す判定情報から抽出する。次に、制御部23は、その抽出された特徴量に対応する情報(出力対象となる情報)OIを決定し、決定された情報(出力対象となる情報OI)に関連付けて記憶部24に記憶されている音声情報61(図7に示す)を決定する。
次に、制御部23は、その決定した音声情報に基づいて、音声出力部25から音声を出力させる(ステップS106)。例えば、図10に示すように、音声出力部25から音声が出力される。
[他の判定情報を用いる例]
以上では、図6に示す判定情報を用いて、出力対象となる音声情報を決定する例を示したが、他の判定情報を用いて、出力対象となる音声情報を決定するようにしてもよい。そこで、ここでは、他の判定情報を用いる例を示す。
図12は、第1の実施の形態における電子機器20により出力対象の情報を決定する場合に用いられる各種情報の一例を示す図である。
図12(1)には、容器30に溜まる珈琲の表面に関する画像パターンの一例を示す。図12(1)に示すように、容器30に溜まる珈琲の表面に発生すると想定される画像のパターンを、判定情報として記憶部24に保持しておく。なお、図12(1)では、説明を容易にするため、画像パターンを簡略化して示す。また、画像パターンの数N(ただし、Nは正の整数)は、記憶部24の記憶容量に応じて増減するようにしてもよい。
図12(2)には、図12(1)に示す判定情報(画像パターンPA1~PAN)を用いて取得された情報に基づいて出力対象となる情報を決定する場合に用いる判定情報(テーブル)の一例を示す。図12(2)に示す判定情報は、容器30に溜まる珈琲に関する情報(例えば、容器30に溜まった珈琲(液体)41の表面)の遷移と、出力対象となる情報OIとの対応関係を示す情報である。なお、図12(2)に示す判定情報は、図6(2)に示す判定情報に対応するものであり、図6(2)と共通するものについては、図6(2)と同様であるため、ここでの説明を省略する。
例えば、制御部23(図4に示す)は、画像取得部22(図4に示す)から取得した画像における円形領域(容器30に溜まった珈琲(液体)41の表面に相当する円形領域)を決定する。次に、制御部23は、その決定した円形領域に含まれる画像と、図12(1)に示す判定情報における各画像パターンPA1~PANとを比較し、類似の程度が最も高い画像パターンを特徴量として抽出する。
例えば、各画像パターンPA1~PANの各画素は2値(黒、白)を表すものとする。また、制御部23は、その決定した円形領域に含まれる画像における各画素を黒領域及び白領域の何れかに決定する(例えば、2値化処理)。次に、制御部23は、その決定した円形領域に含まれる画像における各画素(黒、白)と、各画像パターンPA1~PANの各画素(黒、白)とについて、対応する画素同士(円形領域における同じ位置の画素同士)を比較し、一致する画素の数を、画像パターンPA1~PAN毎に算出する。次に、制御部23は、一致する画素の数が最も多い画像パターンPA1~PANを、類似の程度が最も高い画像パターンとして抽出する。
次に、制御部23は、抽出した画像パターンPA1~PANを経過時間に関連付けて記憶部24に記憶する。例えば、制御部23は、時間t1~t8のタイミングで取得した各画像について決定された特徴量(画像パターンPA1~PAN)を、時間t1~t8に関連付けて記憶部24に記憶する。
次に、制御部23は、その取得した特徴量に基づいて、音声出力部25からの出力対象となる情報を決定する。例えば、制御部23は、その取得した特徴量(例えば、時間t1~t8と画像パターンPA1~PANとを関連付けた情報)と一致する特徴量を、図12(2)に示す判定情報(テーブル)から抽出する。次に、制御部23は、その抽出された特徴量に対応する情報(出力対象となる情報)OIを決定し、決定された情報(出力対象となる情報OI)に関連付けて記憶部24に記憶されている音声情報を決定する。
[ドリップの速さを判定情報として用いる例]
例えば、容器30に溜まる珈琲(液体)41の表面に相当する円形領域のサイズの遷移を判定情報として用いることができる。すなわち、ドリップの速さを判定情報として用いることができる。
例えば、容器30に溜まる珈琲(液体)41の表面に相当する円形領域の複数のサイズを、判定情報として記憶部24に保持しておく。そして、制御部23(図4に示す)は、画像取得部22(図4に示す)から取得した画像における円形領域(容器30に溜まった珈琲(液体)41の表面に相当する円形領域)のサイズと、記憶部24に保持されている複数のサイズとを比較し、類似の程度が最も高いサイズを特徴量として抽出する。次に、制御部23は、抽出したサイズを経過時間に関連付けて記憶部24に記憶する。次に、制御部23は、その取得した特徴量に基づいて、音声出力部25からの出力対象となる情報を決定する。例えば、制御部23は、その取得した特徴量(例えば、時間t1~t8とサイズとを関連付けた情報)と一致する特徴量を、図6(2)、図12(2)に相当する判定情報から抽出する。次に、制御部23は、その抽出された特徴量に対応する情報(出力対象となる情報)OIを決定し、決定された情報(出力対象となる情報OI)に関連付けて記憶部24に記憶されている音声情報を決定する。
また、容器30に溜まる珈琲(液体)41の高さを判定情報として用いるようにしてもよい。この場合には、容器30に溜まる珈琲(液体)41の高さを取得するためのセンサ(例えば、超音波距離センサ、透明の容器30の側面の画像を取得する画像センサ)を電子機器20または珈琲抽出器1に設け、このセンサを用いて容器30に溜まる珈琲(液体)41の高さを取得するようにする。
[落ちた波紋、水滴の進む向きを判定情報として用いる例]
例えば、容器30に溜まる珈琲(液体)41の表面に落ちる水滴(珈琲)の波紋や、容器30に溜まる珈琲(液体)41の表面に落ちた水滴(珈琲)が進む向き(表面を進む向き)、その進む長さ、容器30に溜まる珈琲(液体)41の表面に落ちる水滴(珈琲)により発生する泡の量等の各種情報を判定情報として用いることができる。すなわち、ドリップ中に発生する自然現象を判定情報として用いることができる。
例えば、容器30に溜まる珈琲(液体)41の表面に落ちる水滴(珈琲)の波紋を検出する場合には、波紋を特定するための1または複数の波紋画像パターンを記憶部24に保持しておく。そして、制御部23(図4に示す)は、画像取得部22(図4に示す)から取得した画像における円形領域(容器30に溜まった珈琲(液体)41の表面に相当する円形領域)の画像の中から、波紋画像パターンに一致する画像が検出された場合に、波紋が発生したことを検出する。この場合に、制御部23は、波紋の種類(波紋画像パターンにより特定可能)、波紋が発生した位置(容器30に溜まった珈琲(液体)41の表面に相当する円形領域における位置)、波紋が発生したタイミング(経過時間)などを経過時間に関連付けて記憶部24に記憶することができる。次に、制御部23は、その取得した特徴量に基づいて、音声出力部25からの出力対象となる情報を決定する。例えば、波紋の発生の有無、波紋の発生した回数、波紋の種類、波紋の発生時間、波紋の位置などの各種情報を、出力対象となる情報OIと関連付けて記憶しておき、その各種情報に基づいて出力対象となる情報OIを決定し、決定された情報(出力対象となる情報OI)に関連付けて記憶部24に記憶されている音声情報を決定することができる。
また、例えば、容器30に溜まる珈琲(液体)41の表面に落ちた水滴(珈琲)の進む向き、その進む長さを検出する場合には、その水滴を検出するための判定情報(例えば、時系列で連続する各画像において直線状に進む対象物を検出するための情報)を記憶部24に保持しておく。そして、制御部23(図4に示す)は、画像取得部22(図4に示す)から取得した画像における円形領域(容器30に溜まった珈琲(液体)41の表面に相当する円形領域)の画像の中から、表面を進む水滴が発生したことを検出する。この場合に、制御部23は、表面を進む水滴が発生した位置(容器30に溜まった珈琲(液体)41の表面に相当する円形領域における位置)、表面を進んだ水滴の長さ、表面を進む水滴が発生したタイミング(経過時間)などを経過時間に関連付けて記憶部24に記憶することができる。次に、制御部23は、その取得した特徴量に基づいて、音声出力部25からの出力対象となる情報を決定する。例えば、表面を進む水滴の発生の有無、表面を進む水滴の発生した回数、表面を進む水滴の長さの合計、表面を進む水滴の発生時間、表面を進む水滴の位置などの各種情報を、出力対象となる情報OIと関連付けて記憶しておき、その各種情報に基づいて出力対象となる情報OIを決定し、決定された情報(出力対象となる情報OI)に関連付けて記憶部24に記憶されている音声情報を決定することができる。
また、例えば、容器30に溜まる珈琲(液体)41の表面に落ちる水滴(珈琲)により発生する泡の量を検出する場合には、図12(1)に示す画像パターンの代わりに、泡の量を検出するための複数の画像パターンを記憶部24に保持しておく。そして、図12(1)に示す判定情報を用いた決定方法と同様に、音声情報を決定することができる。
なお、以上で示した各判定情報は、一例であり、他の判定情報を用いるようにしてもよい。例えば、容器30に溜まる珈琲(液体)41の表面に落ちる水滴(珈琲)の位置(表面における位置)、その水滴の表面における広がりの程度、容器30に溜まる珈琲(液体)41の表面の濃さ(例えば、珈琲色の程度)、容器30に溜まる珈琲(液体)41の表面に落ちる水滴(珈琲)により発生する泡の分布、その泡の表面に占める割合、これらの各遷移等のドリップ中に発生する自然現象を判定情報として用いることができる。また、以上で示した各判定情報を組み合わせて判定を行うようにしてもよい。例えば、落ちた波紋、水滴の進む向きを組み合わせて判定を行うことができる。
また、第1の実施の形態では、電子機器20を一体で構成する例を示したが、複数の部材により電子機器20を構成するようにしてもよい。例えば、レンズ21及び画像取得部22と、他の部分とを別体で構成し、画像取得部22から制御部23への画像情報の送信を有線または無線で行うようにしてもよい。また、電子機器20を設置する位置は、図1及び図3に示す位置に限定されない。例えば、容器30に溜まる珈琲(液体)41の表面の画像をレンズ21を介して取得することができれば、他の位置に設けるようにしてもよい。例えば、容器30に溜まる珈琲(液体)41の表面にレンズ21が向くように、透明の容器30の外側に電子機器20を設置するようにしてもよい。ただし、容器30に生じる熱の影響を防ぐため、断熱性部材等により断熱処理を施すことが好ましい。
[第2の実施の形態:珈琲を淹れる場合に形成される色や模様を用いて音声情報及び画像情報を提供する例]
第1の実施の形態では、珈琲を淹れる場合に形成される色や模様を用いて音声情報を提供する例を示したが、他の情報を提供することも可能である。そこで、第2の実施の形態では、珈琲を淹れる場合に形成される色や模様を用いて音声情報及び画像情報を提供する例を示す。なお、第2の実施の形態は、第1の実施の形態の変形例であり、第1の実施の形態と共通する部分については、その説明の一部を省略する。
[珈琲抽出器の外観構成例]
図13は、第2の実施の形態における電子機器220が取り付けられる珈琲抽出器200の外観構成の一例を示す斜視図である。図13(1)には、珈琲抽出器200の側面図を示し、図13(1)には、珈琲抽出器200の側面図(図13(1)に示す矢印Aの方向から見た場合の側面図)を示す。
珈琲抽出器200は、ドリッパー210と、電子機器220(図14に示す)と、容器230と、スタンド240とを有する。なお、珈琲抽出器200は、図1に示す珈琲抽出器1において、電子機器20をドリッパー10に設ける代わりに、電子機器220をスタンド240に設けたものである。また、容器230は、図1に示す容器30と同様である。また、ドリッパー210は、図1、図3に示すドリッパー10と略同様である。また、ここでは、第1の実施の形態における珈琲抽出器1と異なる点を中心に説明する。
スタンド240は、ドリッパー210を支持するための支持台であり、平板状の部材をコの字形状(図13(1)に示す)として形成することができる。例えば、スタンド240の上部(図13(1)に示すフランジ部212が設置される部分)には、ドリッパー210の下部の脚部213の直径よりも大きく、ドリッパー210のフランジ部212の直径よりも小さい形状(例えば、円形状)の孔が設けられている。ドリッパー210をスタンド240に設置する場合には、ドリッパー210の下部の脚部213が、スタンド240の孔に入るようにして設置することができる。
また、スタンド240の上部(図13(1)に示すフランジ部212が設置される部分)の孔よりも外側には、レンズ221が配置される。なお、ドリッパー210の孔(脚部213の内側)から落下する液体(珈琲)がかからない位置であって、その液体の熱の影響をあまり受けない位置にレンズ221を設置することが好ましい。
また、スタンド240の中部(背面)には、ユーザインタフェース229が配置される。ユーザインタフェース229は、例えば、各種情報を表示するとともに、ユーザ操作を受け付けるタッチパネルにより構成することができる。なお、スタンド240の素材として、例えば、耐熱ガラス、陶器、金属、セラミック、樹脂、木等を用いることができる。
[電子機器の機能構成例]
図14は、第2の実施の形態における電子機器220の機能構成例を示すブロック図である。
電子機器220は、レンズ221と、画像取得部222と、制御部223と、記憶部224と、音声出力部225と、ユーザインタフェース229とを有する。なお、電子機器220は、図4に示す電子機器20においてユーザインタフェース229を追加したものであり、他の部分は、図4に示す電子機器20に共通する。このため、ここでは、図4に示す電子機器20と異なる点を中心に説明する。なお、図13に示すように、レンズ221及び画像取得部222は、スタンド240の上部に設置され、ユーザインタフェース229は、スタンド240の中部(背面)に設置される。また、他の部分については、ユーザインタフェース229と一体として、スタンド240の中部(背面)に設置するようにしてもよく、スタンド240の底部や上部に設置するようにしてもよい。
ユーザインタフェース229は、入力部(操作受付部)226及び表示部227により構成される。
入力部226は、ユーザにより行われた操作入力を受け付ける操作受付部であり、受け付けられた操作入力に応じた操作情報を制御部223に出力する。入力部226は、例えば、タッチパネル、キーボード、マウス、センサ(例えば、タッチインタフェース)により実現される。
表示部227は、制御部223の制御に基づいて各種情報を出力する表示部である。表示部227として、例えば、有機EL(Electro Luminescence)パネル、LCD(Liquid Crystal Display)パネル等の表示パネルを用いることができる。このように、入力部226及び表示部227については、使用者がその指を表示面に接触または近接することにより操作入力を行うことが可能なタッチパネルを用いて一体で構成することができる。ただし、入力部226及び表示部227については、別体で構成するようにしてもよく、入力部226については、操作部材により操作を受け付けるようにしてもよい。また、タッチパネル等のユーザインタフェース229とは別体の操作部材を設け、この操作部材により操作を受け付けるようにしてもよい。
[出力対象の情報例]
図15は、第2の実施の形態における電子機器220により出力対象となる情報の一例を示す図である。なお、この例では、図6(1)(2)に示す判定情報を用いる例を示す。
図15には、図6(2)に示す判定情報を用いて決定される出力対象情報(出力対象となる情報)の一例を示す。例えば、出力対象となる情報OIとしてOI1が決定された場合には、サンタに関する情報(音声情報61、画像情報62)が出力対象となる。サンタに関する情報は、例えば、「今日はあこがれのサンタの夢をみよう」の音声を出力するための情報(音声情報61)や、サンタの写真や図形化された画像を表示するための情報(画像情報62)である。なお、図15では、説明を容易にするため、音声出力の対象となる文字、表示対象となる画像を簡易的に示す。なお、これらの出力例については、図17を参照して説明する。
[珈琲を淹れる場合に形成される色や模様を用いて出力対象の情報を決定する例]
図16は、第2の実施の形態における電子機器220により出力対象の情報を決定する決定例を示す図である。なお、図16に示す例は、図9に示す例と同様に、珈琲抽出器200を用いて珈琲を抽出する際における経過時間として、時間t1~t8を用いる場合の例を示す。また、図16(1)(2)は、図9(1)(2)と同一である。
第1の実施の形態で示したように、制御部223(図14に示す)は、図16(2)に示す判定情報から、図16(1)に示す特徴量と一致する特徴量として、破線の矩形51内に示す特徴量を抽出する。また、制御部223は、その抽出された特徴量に対応する情報(出力対象となる情報)OIとしてOIX1を決定する。
次に、制御部223は、出力対象となる情報OIとして決定されたOIX1に関連付けて記憶部224に記憶されている音声情報61に基づいて、音声出力部225から音声を出力させる。また、制御部223は、出力対象となる情報OIとして決定されたOIX1に関連付けて記憶部224に記憶されている画像情報62に基づいて、表示部227に画像を表示させる。
例えば、図16(3)に示すように、OIX1に関連付けられている音声情報61(破線の矩形54内に示す)に基づいて、「今日は雪だるまのようにじっくり待とう」の音声が音声出力部225から出力される。また、例えば、図16(3)に示すように、OIX1に関連付けられている画像情報62(破線の矩形54内に示す)に基づいて、サンタの画像が表示部227に表示される。この出力例については、図17に示す。
[珈琲を淹れる場合に電子機器から音声情報及び画像情報を出力する例]
図17は、第2の実施の形態における電子機器220から音声情報及び画像情報を出力する場合の例を簡略化して示す図である。なお、図17に示す例は、図8、図16に示す例により決定された音声情報を出力する例を示す。
上述したように、制御部223は、OIX1に関連付けられている音声情報61(図16(3)に示す破線の矩形54内)に基づいて、「今日は雪だるまのようにじっくり待とう」の音声を音声出力部25から出力させる。また、制御部223は、OIX1に関連付けられている画像情報62(図16(3)に示す破線の矩形54内)に基づいて、サンタの画像を表示部227に表示させる。これにより、珈琲抽出器200を用いて珈琲を淹れているユーザP1は、自ら理想とする珈琲を淹れ終わった後に、その抽出により取得された特徴量に基づく音声や画像を楽しむことができる。このように、音声とともに、画像を表示させることにより、ユーザP1は、その抽出により取得された特徴量に基づく情報を視覚的にも楽しむことができる。なお、図17では、音声及び画像を同時に出力する例を示すが、音声及び画像を異なるタイミングで出力するようにしてもよく、画像のみを出力するようにしてもよい。
[音声情報及び画像情報を出力する動作例]
図18は、第2の実施の形態における電子機器220による情報出力処理の一例を示すフローチャートである。なお、図18に示すステップS112~S115は、図11に示すステップS101~S104に対応する。このため、ここでは、図11に示す例と異なる点を中心に説明する。
最初に、電子機器220の制御部223は、開始操作があったか否かを判断する(ステップS111)。例えば、ユーザインタフェース229において開始ボタン(図13(2)に示す)のタッチ操作があったか否かが判断される。開始操作があった場合には(ステップS111)、ステップS112に進む。開始操作がない場合には(ステップS111)、監視を継続して行う。
上述したように、ステップS112~S115は、図11に示すステップS101~S104に対応する。
ここで、ステップS115の終了条件を満たすか否かを判断する判断基準として、第1の実施の形態で示した判断基準以外に、例えば、ユーザによる終了操作があったか否かを判断するようにしてもよい。例えば、ユーザインタフェース229において開始ボタン(図13(2)に示す)のタッチ操作があった後に終了ボタンを表示させ、この終了ボタンのタッチ操作があった場合に終了条件を満たすと判断するようにしてもよい。
終了条件を満たす場合には(ステップS115)、制御部223は、その取得した特徴量に基づいて、出力対象となる情報を決定する(ステップS116)。すなわち、制御部223は、決定された情報(出力対象となる情報OI)に関連付けて記憶部224に記憶されている音声情報及び画像情報を決定する。
次に、制御部223は、その決定した音声情報に基づいて、音声出力部225から音声を出力させるとともに、その決定した画像情報に基づいて、ユーザインタフェース229(表示部227)に画像を表示させる(ステップS117)。例えば、図17に示すように、音声出力部225から音声が出力され、ユーザインタフェース229(表示部227)に画像が表示される。
[第3の実施の形態:外部の機器において音声情報及び画像情報を出力する例]
第1、2の実施の形態では、珈琲抽出器に取り付けられる電子機器により音声情報及び画像情報を出力する例を示した。ただし、珈琲抽出器以外の機器から音声情報及び画像情報を出力するようにしてもよい。これにより、珈琲抽出器に取り付けられる電子機器には、音声出力部及び表示部等を設けなくてもよいため、電子機器の製造コストを低減させることができる。なお、第3の実施の形態は、第1、2の実施の形態の変形例であり、第1、2の実施の形態と共通する部分については、その説明の一部を省略する。
[電子機器の機能構成例]
図19は、第3の実施の形態における電子機器320の機能構成例を示すブロック図である。
電子機器320は、レンズ321と、画像取得部322と、制御部323と、記憶部324と、通信部325とを有する。なお、電子機器320は、図4に示す電子機器20において通信部325を追加するとともに、音声出力部25を省略したものであり、他の部分は、図4に示す電子機器20、図14に示す電子機器220に共通する。このため、ここでは、図4に示す電子機器20、図14に示す電子機器220と異なる点を中心に説明する。なお、図19では、図示を省略するが、音声出力部やユーザインタフェースを設けるようにしてもよい。
通信部325は、制御部323の制御に基づいて、他の機器との間で、有線回線または無線回線を介して、各種情報のやりとりを行うものである。例えば、無線通信を利用して各種情報のやりとりを行う場合には、通信部325は、アンテナ(図示せず)を介して、電波の送受信を行う。例えば、通信部325は、無線LAN(Local Area Network)(例えば、Wi-Fi(Wireless Fidelity))、NFC(Near Field Communication)、Bluetooth(登録商標)、赤外線、携帯電波等により無線通信を行うことができる。なお、通信部325は、例えば、アンテナを備え、無線通信機能を備える通信モジュールや、有線通信機能を備える通信モジュールにより実現される。
[外部の機器の外観構成例]
図20は、第3の実施の形態における外部の機器(電子機器350、360)の外観構成の一例を示す斜視図である。図20(1)には、携帯型の電子機器350を示す。電子機器350は、携帯型の情報処理装置であり、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ等である。図20(2)には、据え置き型の電子機器360を示す。電子機器360は、据え置き型のスピーカ装置であり、例えば、人工知能(AI(Artificial Intelligence))を搭載したAIスピーカ、無線通信機能を有するスピーカ等である。
[電子機器の機能構成例]
図21は、第3の実施の形態における電子機器350の機能構成例を示すブロック図である。なお、図20に示す電子機器360の機能構成については、電子機器350と略同様であるため、ここでの説明を省略する。
電子機器350は、通信部351と、制御部352と、記憶部353と、音声出力部354と、ユーザインタフェース357(入力部355、表示部356)と、位置情報取得部358とを有する。なお、電子機器350における各部は、図4に示す電子機器20、図14に示す電子機器220における同一名称の各部に対応するものである。このため、ここでは、図4に示す電子機器20、図14に示す電子機器220と異なる点を中心に説明する。なお、電子機器350における通信部351は、所定範囲内に存在する電子機器との間で無線通信を行うとともに、携帯電話会社等の通信事業者が設置する基地局を介して所定のネットワーク(例えば、インターネット)に接続して無線通信を行うことができる。
位置情報取得部358は、電子機器350が存在する位置に関する位置情報を取得するものであり、取得した位置情報を制御部352に出力する。位置情報取得部358は、例えば、GPS(Global Positioning System:全地球測位システム)信号を受信してそのGPS信号に基づいて位置情報を算出するGPS受信機により実現することができる。また、その算出された位置情報には、GPS信号の受信時における緯度、経度、高度等の位置に関する各データが含まれる。また、他の位置情報の取得方法により位置情報を取得する位置情報取得装置を用いるようにしてもよい。例えば、周囲に存在する無線LAN(Local Area Network)によるアクセスポイント情報を用いて位置情報を導き出し、この位置情報を取得する位置情報取得装置を用いるようにしてもよい。
[電子機器以外の外部機器から音声情報及び画像情報を出力する場合の通信]
図22は、第3の実施の形態における電子機器320及び電子機器350による通信処理例を示すフローチャートである。なお、図22に示すステップS122~S126は、図18に示すステップS112~S116に対応する。このため、ここでは、図18に示す例と異なる点を中心に説明する。また、電子機器320、350には、図22に示す各処理を実現するためのアプリケーション(プログラム)が予め設定されているものとする。
最初に、電子機器320の制御部323は、開始指示を検出する(ステップS121)。この開始指示は、電子機器320に開始操作部材(図示せず)を設ける場合には、その開始操作部材をユーザが操作したことにより検出される。また、ユーザが電子機器350を用いて開始操作を行い、この開始操作に応じて電子機器350から電子機器320に開始指示情報を送信することも可能である。この場合には、電子機器350からの開始指示情報を受信したことにより開始指示が検出される。また、開始指示を検出するためのセンサ(例えば、人検知センサ、温度センサ、水滴センサ、振動センサ)を電子機器320に設け、このセンサにより自動で開始指示を検出するようにしてもよい。
上述したように、ステップS122~S126は、図18に示すステップS112~S116に対応する。
制御部323は、出力対象となる情報(音声情報及び画像情報)を決定する(ステップS126)。次に、通信部325は、制御部323の制御に基づいて、その決定した音声情報及び画像情報を電子機器350に送信する(ステップS127)。
電子機器350の通信部351は、電子機器320から送信された情報(音声情報及び画像情報)を受信する(ステップS128)。次に、電子機器350の制御部352は、受信した情報(音声情報及び画像情報)を記憶部353に記憶する(ステップS129)。そして、電子機器350の制御部352は、受信した情報(音声情報及び画像情報)を出力する(ステップS129)。すなわち、電子機器350の制御部352は、受信した音声情報に基づいて、音声出力部354から音声を出力させるとともに、受信した画像情報に基づいて、ユーザインタフェース357(表示部356)に画像を表示させる(ステップS129)。例えば、図23(1)に示すように、音声出力部354から音声が出力され、ユーザインタフェース357(表示部356)に画像が表示される。
[珈琲抽出器に取り付けられる電子機器以外の機器から音声情報及び画像情報を出力する例]
図23は、第3の実施の形態における電子機器220以外の機器(電子機器350、360)から音声情報及び画像情報を出力する場合の例を簡略化して示す図である。図23(1)には、電子機器350から音声情報及び画像情報を出力する場合の例を示す。また、図23(2)には、電子機器360から音声情報及び画像情報を出力する場合の例を示す。なお、図23に示す例は、図8、図16に示す例により決定された音声情報を出力する例を示す。
また、電子機器350、360には、図22に示す各処理を実現するためのアプリケーション(プログラム)が予め設定されているものとする。
第2の実施の形態で示したように、電子機器320の制御部323は、OIX1に関連付けられている音声情報61(図16(3)に示す破線の矩形54内)及び画像情報62(図16(3)に示す破線の矩形54内)を、出力対象の情報として決定する。次に、電子機器320の制御部323は、出力対象の情報として決定した音声情報61(図16(3)に示す破線の矩形54内)及び画像情報62(図16(3)に示す破線の矩形54内)を、通信部325から外部の機器に無線送信するための制御を行う。
例えば、電子機器350から音声情報及び画像情報を出力させる場合には、電子機器320の制御部323は、出力対象の情報として決定した音声情報61(図16(3)に示す破線の矩形54内)及び画像情報62(図16(3)に示す破線の矩形54内)を、通信部325から電子機器350に無線送信するための制御を行う。これらの各情報を受信した電子機器350の制御部352は、受信した音声情報に基づいて、「今日は雪だるまのようにじっくり待とう」の音声を音声出力部354から出力させる。また、制御部352は、受信した画像情報に基づいて、サンタの画像をユーザインタフェース357(表示部356)に表示させる。これにより、珈琲抽出器300を用いて珈琲を淹れているユーザP1は、自ら理想とする珈琲を淹れ終わった後に、その珈琲を味わいながら、珈琲抽出器300から離れた場所でも、その抽出により取得された特徴量に基づく音声や画像を楽しむことができる。また、例えば、ユーザP1は、音声出力された音声や、表示されたサンタの画像を電子機器350の記憶部353に記憶しておき、後でも楽しむことができる。
また、例えば、電子機器360から音声情報を出力させる場合には、電子機器320の制御部323は、出力対象の情報として決定した音声情報61(図16(3)に示す破線の矩形54内)を、通信部325から電子機器360に無線送信するための制御を行う。この音声情報を受信した電子機器360の制御部は、受信した音声情報に基づいて、「今日は雪だるまのようにじっくり待とう」の音声を音声出力部から出力させる。これにより、珈琲抽出器300を用いて珈琲を淹れているユーザP1は、自ら理想とする珈琲を淹れ終わった後に、その珈琲を味わいながら、珈琲抽出器300から離れた場所でも、その抽出により取得された特徴量に基づく音声を楽しむことができる。
以上では、電子機器320との間で無線通信を直接行うことができる電子機器350、360から音声や画像を出力させる例を示した。ただし、電子機器320との間で無線通信を直接行うことができない機器から音声や画像を出力させるようにしてもよい。例えば、電子機器320において、出力対象の情報として決定された各情報(音声情報、画像情報)を、通信部325から電子機器350、360に無線送信し、その各情報(音声情報、画像情報)を受信した電子機器350、360は、所定の機器(例えば、電子機器320から送信先として指示された機器や、送信先として予め設定されている機器)に対して、電子機器320から受信した各情報(音声情報、画像情報)を転送する。例えば、電子機器350、360は、無線通信を利用して、所定のネットワーク(例えば、インターネット)に接続して、電子機器320から受信した各情報(音声情報、画像情報)を所定の送信先に送信することができる。これにより、例えば、珈琲抽出器300を用いて珈琲を淹れているユーザP1は、自ら理想とする珈琲を淹れ終わった後に、珈琲抽出器300から遠く離れた場所にいる人物に対して、その抽出により取得された特徴量に基づく音声や画像を提供(例えば、その人物が所持する電子機器から提供)することができる。
[第4の実施の形態:珈琲抽出器に取り付けられる電子機器で行う処理の一部を他の電子機器で処理させる例]
第1乃至第3の実施の形態では、珈琲抽出器に取り付けられる電子機器により、出力対象となる情報を決定する例を示した。ここで、珈琲抽出器に取り付けられる電子機器には、比較的簡易的な処理のみを行わせ、他の処理については、処理能力が高い他の機器に行わせることも考えられる。そこで、第4の実施の形態では、珈琲抽出器に取り付けられる電子機器で行う処理の一部を他の電子機器で処理させる例を示す。
第4の実施の形態では、第3の実施の形態で示した電子機器320(図19に示す)及び電子機器350(図21に示す)を参照して説明する。
例えば、珈琲抽出器300(図23に示す)に取り付けられる電子機器320(図19に示す)は、容器330(図23に示す)に溜まる珈琲(液体)の表面の画像を取得する処理を行う。そして、電子機器320は、取得した画像情報(容器330に溜まる珈琲(液体)の表面の画像)を、定期的または不定期に通信部325(図19に示す)から電子機器350に順次送信する。
電子機器350の記憶部353(図21に示す)には、第1乃至第3の実施の形態で示した判定情報(例えば、図6(1)(2)に示す各判定情報、図12(1)(2)に示す各判定情報)及び出力対象情報(例えば、図7に示す出力対象情報、図15に示す出力対象情報)を記憶させておく。また、電子機器350の制御部352(図21に示す)は、通信部351を介して電子機器320から受信した画像情報(容器330に溜まる珈琲(液体)の表面の画像)を記憶部353に順次記憶する。次に、電子機器350の制御部352(図21に示す)は、記憶部353に記憶されている判定情報を用いて、電子機器320から受信した画像情報(容器330に溜まる珈琲(液体)の表面の画像)についての出力対象情報の決定処理を行う。次に、電子機器350の制御部352は、決定処理により決定された各情報の出力を行う。
例えば、図23(1)に示すように、電子機器350の制御部352は、決定処理により決定された音声情報に基づいて、「今日は雪だるまのようにじっくり待とう」の音声を音声出力部354から出力させる。また、制御部352は、決定処理により決定された画像情報に基づいて、サンタの画像をユーザインタフェース357(表示部356)に表示させる。
[複数の電子機器において一連の処理を行う場合の通信例]
図24は、第4の実施の形態における電子機器320及び電子機器350による通信処理例を示すフローチャートである。なお、図24に示すステップS131、S133、S135、S143~S146は、図22に示すステップS121~S126に対応する。このため、ここでは、図22に示す例と異なる点を中心に説明する。
電子機器320の制御部323は、開始指示を検出した場合には(ステップS131)、動作の開始を通知するための開始情報を通信部325から電子機器350に送信する(ステップS132)。
電子機器350の制御部352は、その開始情報を通信部351を介して受信すると、電子機器320の動作の開始を把握する(ステップS141)。
電子機器320の制御部323は、画像取得部322により取得された画像(容器330に溜まる珈琲が撮像された画像(画像データを含む))を取得し(ステップS133)、取得した画像情報を電子機器350に送信する(ステップS134)。この場合に、電子機器320から電子機器350への画像情報の送信は、定期的に行うようにしてもよく、不定期に行うようにしてもよい。
図24に示すステップS135は、図22に示すステップS125に対応する。
電子機器350の制御部352は、電子機器320から画像情報を受信すると(ステップS142)、受信した画像情報を解析して特徴量を取得する(ステップS143)。なお、図24に示すステップS143~S146は、図22に示すステップS123~S126に対応する。
ここで、ステップS145の終了条件を満たすか否かを判断する判断基準として、第1乃至第3の実施の形態で示した判断基準以外に、例えば、画像情報の受信を所定時間以上継続して電子機器320から受信していないことを判断基準とするようにしてもよい。例えば、画像情報の受信を所定時間以上継続して電子機器320から受信していない場合には、電子機器350の制御部352は、終了条件を満たすと判断することができる(ステップS145)。
電子機器350の制御部352は、出力対象となる情報(音声情報及び画像情報)を決定する(ステップS146)。次に、電子機器350の制御部352は、その決定した音声情報及び画像情報を出力する(ステップS147)。すなわち、電子機器350の制御部352は、その決定した音声情報に基づいて、音声出力部354から音声を出力させるとともに、その決定した画像情報に基づいて、ユーザインタフェース357(表示部356)に画像を表示させる(ステップS147)。例えば、図23に示すように、音声出力部354から音声が出力され、ユーザインタフェース357(表示部356)に画像が表示される。
なお、以上では、図6、図12に示す各判定情報、図7、図15に示す出力対象情報を電子機器20、220、320の記憶部24、224、324に予め記憶しておく例を示した。ただし、これらの各情報を外部から取得して用いるようにしてもよい。例えば、有線回線または無線回線を介して他の機器との通信が可能な通信部(例えば、図19に示す通信部325)を電子機器に設け、この通信部を介して外部機器(または、所定のネットワーク(例えば、インターネット))に接続し、その各情報の全部または一部を外部機器から取得するようにしてもよい。この場合に、珈琲抽出器(電子機器)を使用する毎に、各情報を取得して用いるようにしてもよく、定期的または不定期に各情報を取得して用いるようにしてもよい。
また、以上では、図6、図12に示す各判定情報、図7、図15に示す出力対象情報を電子機器20、220、320(または近接する他の機器)の記憶部24、224、324に予め記憶しておき、電子機器20、220、320(または近接する他の機器)がコンテンツを出力するための各処理を行う例を示した。ただし、これらの各情報を遠隔地に存在する外部機器(例えば、サーバ)に記憶させておき、その外部機器にコンテンツを出力するための各処理を行わせ、電子機器20、220、320(または近接する他の機器)には、珈琲の抽出に関する情報の取得と、コンテンツの出力のみを行わせるようにしてもよい。
また、例えば、特定の義業者(例えば、特定のコンテンツや割引クーポンを提供する会社)と提携し、出力対象画像を出力するようにしてもよい。例えば、特定の義業者から、特定の画像の遷移(例えば、画像パターン(図12(1)に示す))の提供を受け、これと一致した場合に、特定の義業者から提供される情報(例えば、割引クーポン、特定コンテンツ)を、電子機器から出力するようにしてもよい。この表示例を図45に示す。
また、ユーザが出力対象情報を登録しておき、登録されている出力対象情報の中から、出力対象となる情報を決定処理により決定するようにしてもよい。例えば、珈琲抽出器を用いて珈琲を淹れた日の出力対象情報(例えば、サンタ)と、その日の行動履歴(例えば、遊園地に行った、英語の試験を受けた等)とを関連付けて登録(記憶)しておく。そして、後日に、珈琲抽出器を用いて珈琲を淹れた際に出力対象として決定された情報がその登録された出力対象情報(例えば、サンタ)と同一となる場合には、その出力対象情報(例えば、サンタ)及び登録した日の行動履歴に関する情報(例えば、遊園地に行った、英語の試験を受けた等)を出力するようにする。これにより、過去に同一のパターンとなる珈琲を淹れた日に何をしたのかを思い出しながら、珈琲の味を楽しむことができる。また、過去に同一のパターンとなる珈琲を入れた日と同じ気持ちになり、いろいろなことを思いながら、珈琲を楽しむことができる。
また、人工知能(AI(Artificial Intelligence))を利用して出力対象となるコンテンツを決定するようにしてもよい。例えば、珈琲抽出器を用いて珈琲を淹れた際のパターン(例えば、珈琲の表面の遷移のパターン)と、その日の気分や体調(例えば、スマートフォン等の検索や移動履歴により判定)とについて機械学習を利用して判定情報を生成し、この生成された判定情報を用いて出力対象となるコンテンツを決定することができる。例えば、気分の良いときには笑顔のコンテンツを出力し、気分の悪いときには元気がでるコンテンツを出力させることができる。このように、例えば、気分の良いときに淹れた珈琲の表面と、気分の悪いときに淹れた珈琲の表面とに関する何らかの特徴量を利用してコンテンツを出力し、そのときの気分を推定することができる。
[第5の実施の形態:複数の珈琲抽出器からの情報を集計する例]
第1乃至第4の実施の形態では、1台の珈琲抽出器により取得された情報(珈琲の抽出に関する情報)を用いて音声情報や画像情報の出力を行う例を示した。近年では、世界各地の家庭等において珈琲抽出器が広く普及している。そして、各家庭において、各家庭好みの珈琲が淹れられている。そこで、各家庭において淹れられた珈琲に関する情報を収集して、この情報に基づいて、各家庭に何らかの情報を提供することができれば、珈琲を淹れる楽しみを高めることができると考えられる。同様に、家庭以外でも職場や学校等で淹れられた珈琲に関する情報を収集して、この情報に基づいて、各関係者に何らかの情報を提供することができれば、珈琲を淹れる楽しみを高めることができると考えられる。そこで、第5の実施の形態では、複数の珈琲抽出器からの情報を集計して用いる例を示す。
[通信システムの構成例]
図25は、第5の実施の形態における通信システム400のシステム機能構成例を示す図である。
通信システム400は、サーバ410と、ネットワーク420と、電子機器431、441、442、451、452とを有する。なお、通信システム400を構成する機器として、無線通信を行うための基地局やアクセスポイント等も想定されるが、ここでの図示及び説明を省略する。
サーバ410は、電子機器431、441、451のそれぞれから送信される情報を集計して管理するサーバ(情報処理装置)であり、管理する情報を用いて各種の情報を電子機器431、441、442、451、452のそれぞれに提供する。
ネットワーク420は、公衆回線網、インターネット等のネットワークである。
電子機器431は、珈琲抽出器430に取り付けられ、電子機器441は、珈琲抽出器440に取り付けられ、電子機器451は、珈琲抽出器450に取り付けられる。また、電子機器442は、電子機器441との間で無線通信を行い、電子機器452は、電子機器451との間で無線通信を行う。
また、電子機器431は、通信部(図19に示す通信部325に相当)を有し、無線通信を利用してネットワーク420に接続して各情報のやり取りを行うことができる。また、電子機器441、451のそれぞれは、通信部(図19に示す通信部325に相当)を有し、無線通信を利用して他の機器(電子機器442、452)との間で情報のやり取りを行うことができる。そして、電子機器441、451のそれぞれは、無線通信を利用して他の機器(電子機器442、452)を経由してネットワーク420に接続して各情報のやり取りを行うことができる。
[電子機器の機能構成例]
図26は、第5の実施の形態における電子機器431の機能構成例を示すブロック図である。なお、図25に示す電子機器441、451の機能構成については、ユーザインタフェースを備えない点以外は、電子機器431と略同様であるため、ここでの説明を省略する。また、図25に示す電子機器442、452の機能構成についても、電子機器431と略同様であるため、ここでの説明を省略する。
電子機器431は、レンズ481と、画像取得部482と、制御部483と、記憶部484と、音声出力部485と、ユーザインタフェース488(入力部486、表示部487)と、通信部489と、を有する。なお、電子機器431における各部は、図4に示す電子機器20、図14に示す電子機器220、図19に示す電子機器320における同一名称の各部に対応するものである。このため、ここでは、図4に示す電子機器20、図14に示す電子機器220、図19に示す電子機器320と異なる点を中心に説明する。なお、電子機器431における通信部489は、所定範囲内に存在する電子機器との間で無線通信を行うとともに、携帯電話会社等の通信事業者が設置する基地局を介して所定のネットワーク(例えば、インターネット)に接続して通信をすることができる。
位置情報設定部490は、電子機器431が存在する位置に関する位置情報を設定するものであり、設定された位置情報を制御部483に出力する。位置情報設定部490は、例えば、電子機器431が取り付けられている珈琲抽出器430が設置されている位置に関する位置情報(例えば、緯度及び経度、地域名(国、行政区画))を記憶する。例えば、ユーザ操作や位置情報取得部(例えば、GPS受信機を内蔵)により珈琲抽出器430が設置されている位置に関する位置情報が取得される。
[サーバの機能構成例]
図27は、第5の実施の形態におけるサーバ410の機能構成例を示すブロック図である。
サーバ410は、通信部411と、制御部412と、記憶部413とを有する。
通信部411は、制御部412の制御に基づいて、他の機器との間で、有線回線または無線回線を介して、各種情報のやりとりを行うものである。例えば、通信部411は、ネットワーク420を介して、電子機器431、441、442、451、452との間で各種情報のやりとりを行う。
制御部412は、記憶部413に記憶されている制御プログラムに基づいてサーバ410の各部を制御するものである。制御部412は、例えば、CPU(Central Processing Unit)により実現される。
記憶部413は、各種情報を記憶するメモリである。例えば、記憶部413には、サーバ410が各種処理を行うために必要となる各種情報(例えば、制御プログラム)が記憶される。また、記憶部413には、ネットワーク420を介して、通信部411により取得された各情報(電子機器431、441、451から送信された情報)を管理するための管理情報が記憶される。また、記憶部413には、ネットワーク420を介して接続される各電子機器(電子機器431、441、451)に提供するコンテンツが記憶される。
[管理情報の構成例]
図28は、第5の実施の形態における記憶部413に記憶される管理情報の例を示す図である。図28(1)には、サーバ410の管理対象となる管理情報の一例を示す。また、図28(2)には、サーバ410から各電子機器に提供されるコンテンツの一例を示す。
図28(1)に示す管理情報は、端末識別情報461と、受信時刻462と、受信情報463と、判定結果情報464と、提供コンテンツ情報465とにより構成される。これらの情報(端末識別情報461、受信時刻462、受信情報463)は、サーバ410に接続される各電子機器から送信され、制御部412により記憶部413に順次記憶される。
端末識別情報461は、各電子機器を識別するための識別情報(例えば、機器固有ID(identification)、MAC(Media Access Control)アドレス)である。例えば、端末識別情報461は、コンテンツの送信先となる電子機器を特定するための識別情報である。なお、図28では、説明を容易にするため、端末識別情報を簡易的な文字と数字の組み合わせで表す。
受信時刻462は、サーバ410に接続される各電子機器から情報を受信した時刻に関する情報である。図28(1)に示す管理情報には、例えば、所定の時間帯(例えば、地球上のある地点を基準とした場合の1日)に受信した各情報を順次記憶していく。
受信情報463は、サーバ410に接続される各電子機器から送信された情報である。この受信情報は、例えば、所定の規則に基づいて各電子機器から送信された情報である。例えば、所定の規則として、図6に示す判定情報を用いた判定処理を行う場合には、図9(2)の破線の矩形51内に示す各情報のうちの一部(例えば、出力対象となる情報OI(OIX1))が送信される。この場合には、出力対象となる情報OI(OIX1)が受信情報463として記憶される。なお、他の情報(例えば、図9(1)に示す各情報(A、A、D、E、F、E、I、Fの各文字とその順序))についても送信対象として、受信情報463に記憶するようにしてもよい。
判定結果情報464は、受信情報463に記憶されている情報に基づいて、制御部412により判定された結果が記憶される。例えば、サーバ410の制御部412(図27に示す)は、受信情報463に記憶された情報に基づいて、各電子機器に付与する識別情報(例えば、通し番号)を決定する。例えば、制御部412は、所定の規則に基づいて、受信情報463に記憶された情報(各電子機器の受信情報)を比較可能な数値(例えば、図6(2)に示す出力対象となる情報OIの順序(OI1、OI2、OI3、…)の数値(1、2、3、…))に変換し、この数値の比較に基づいて、各電子機器に付与する識別情報(例えば、通し番号)を決定することができる。
また、他の規則に基づいて、各電子機器に付与する識別情報(例えば、通し番号)を決定するようにしてもよい。例えば、制御部412は、受信時刻462及び受信情報463に記憶された情報に基づいて、各電子機器に付与する識別情報(例えば、通し番号)を決定することができる。例えば、制御部412は、受信時刻462に基づいて、受信情報463により特定される数値に乗算する値(例えば、受信時刻の早い順に、1、2、3、…)を決定し、これらの演算結果に基づいて、各電子機器に付与する識別情報(例えば、通し番号)を決定することができる。また、例えば、制御部412は、所定の規則に基づいて、受信時刻462に記憶された情報について演算処理(例えば、20171204 07:56の場合には、各桁の数値を単純に加算した「35」)を行い、この演算結果の数値と、受信情報463により特定される数値との演算結果(例えば、乗算、加算、減算、除算)に基づいて、各電子機器に付与する識別情報(例えば、通し番号)を決定することができる。このように、各電子機器に識別情報(例えば、通し番号)を付与することができる規則を設定しておき、この規則に基づいて、各電子機器に付与する識別情報(例えば、通し番号)を決定するようにする。このように、各電子機器に付与する識別情報(例えば、通し番号)は、電子機器(または、そのユーザ、そのユーザの淹れた珈琲)の優位さを示すものではなく、コンテンツを付与するための識別情報を意味するものとする。
提供コンテンツ情報465は、判定結果情報464に記憶された情報に基づいて決定されるコンテンツを識別するための情報である。なお、管理対象となる電子機器の数と、管理対象となる電子機器に提供可能なコンテンツの数とが同じである場合、または、管理対象となる電子機器の数よりも、管理対象となる電子機器に提供可能なコンテンツの数が多い場合には、判定結果情報464の値と、提供コンテンツ情報465の情報とは一対一対応となる。ただし、管理対象となる電子機器の数よりも、管理対象となる電子機器に提供可能なコンテンツの数が少ない場合には、判定結果情報464における複数の値に対して、提供コンテンツ情報465における1つの情報が対応することになる。すなわち、複数の電子機器に対して、同一のコンテンツが提供されることもある。なお、提供コンテンツ情報465は、図28(2)に示す提供コンテンツ情報471に対応する。
図28(2)に示すコンテンツ管理情報は、提供コンテンツ情報471と、コンテンツ472とにより構成される。
コンテンツ472には、受信情報463に格納すべき情報を送信した電子機器に対して、提供されるコンテンツである。コンテンツは、例えば、音声のみで構成されるコンテンツ、音声及び画像で構成されるコンテンツ、音声及び動画で構成されるコンテンツ、臭い、味覚、接触に関するコンテンツなどとすることができる。また、コンテンツは、図28(2)に示すように、複数種類のキャラクターを有するアニメの各キャラクターA、B、C、…、XYZとすることができる。この場合には、異なる電子機器には、同一のキャラクターが提供されないように、各キャラクターが重複して提供されないようにしてもよく、一部の電子機器には、同一のキャラクターが提供されるように、一部のキャラクターを重複して提供するようにしてもよい。
また、複数種類の映画情報(例えば、映画宣伝の動画、パンフレット)のうちの少なくとも1つの映画に関する情報をコンテンツとして提供するようにしてもよい。また、複数の音楽(例えば、歌手の動画、演奏会の動画)のうちの少なくとも1つの音楽に関する情報をコンテンツとして提供するようにしてもよい。また、複数の旅先情報(場所、名所、交通手段、割引券等)のうちの少なくとも1つの旅先(例えば、草津温泉、伊香保温泉)に関する情報をコンテンツとして提供するようにしてもよい。また、インターネット上で使用可能な複数の割引券、優待券、割引クーポンのうちの少なくとも1つをコンテンツとして提供するようにしてもよい。また、複数の店の割引券、優待券、割引クーポンのうちの少なくとも1つの店に関するものをコンテンツとして提供するようにしてもよい。また、複数の店のポイント付与のうちの少なくとも1つの店のポイント付与に関する情報をコンテンツとして提供するようにしてもよい。また、占いに関する情報(例えば、今日の珈琲占い)をコンテンツとして提供するようにしてもよい。このように、コンテンツは、アニメのキャラクター、動物(例えば、映画の登場動物、旅先の遊園地)、人物(例えば、映画の登場人物、旅先の有名人)、植物(例えば、旅先の名産物、見どころの花)、地物(例えば、旅先の地図、旅先の建物、旅先の観光地)、音楽等のうちの1または複数に関する情報とすることができる。また、例えば、AR(Augmented Reality)(拡張現実)を適用してコンテンツを提供するようにしてもよい。例えば、電子機器のカメラ(例えば、スマートフォンのカメラ)により生成された画像(写真)上に、各コンテンツを重ねて表示することができる。なお、これらの各コンテンツは、第1乃至第4の実施の形態において出力対象としてもよい。
[各電子機器に関する情報の記憶例及び各電子機器に提供するコンテンツ例]
図29は、第5の実施の形態における電子機器431、441、451に関する情報の記憶例と、電子機器431、441、451に提供するコンテンツの例を示す図である。なお、図29(1)は、図28(1)に対応し、図29(2)は、図28(2)に対応する。
図29(1)に示す記憶例において、端末識別情報461「EX0431」は、電子機器431の端末識別情報を示し、端末識別情報461「EX0441」は、電子機器441の端末識別情報を示し、端末識別情報461「EX0451」は、電子機器451の端末識別情報を示すものとする。また、図29に示す各情報については、図30~図32を参照して説明する。
[電子機器431からの情報をサーバ410が取得する場合の通信例]
図30は、第5の実施の形態における電子機器431及びサーバ410による通信処理例を示すフローチャートである。なお、図30に示すステップS151~S155は、図22に示すステップS121~S125に対応する。このため、ここでは、図22に示す例と異なる点を中心に説明する。また、電子機器431には、サーバ410にアクセスしてサーバ410との間で各種の通信を行うためのプログラムが予め設定されているものとする。すなわち、電子機器431には、図30に示す各処理を実現するためのアプリケーション(プログラム)が予め設定されているものとする。
上述したように、ステップS151~S155は、図22に示すステップS121~S125に対応する。
電子機器431の制御部483(図26に示す)は、出力対象となる情報(例えば、図9(2)に示す出力対象となる情報OI(OIX1))を決定する(ステップS156)。次に、通信部489(図26に示す)は、制御部483の制御に基づいて、その決定した情報をサーバ410に送信する(ステップS157)。
サーバ410の通信部411は、電子機器431から送信された情報を受信する(ステップS158)。次に、サーバ410の制御部412は、受信した情報を記憶部413に記憶する(ステップS159)。例えば、図29(1)に示すように、端末識別情報461「EX0431」に関連付けて、受信した情報(OIX1(図29(1)では「X1」で示す))が受信情報463として記憶される。また、図29(1)に示すように、端末識別情報461「EX0431」に関連付けて、その情報(OIX1)を電子機器431から受信した時刻に関する情報が受信時刻462として記憶される。
なお、図25に示すように、電子機器441に関する情報は、電子機器442を経由して電子機器441からサーバ410に送信される。この場合には、電子機器442は、電子機器441が送信した情報(Y3)とともに、電子機器441に関する端末識別情報をサーバ410に送信する。そして、図29(1)に示すように、端末識別情報461「EX0441」に関連付けて、電子機器441が送信した情報(Y3)が受信情報463として記憶され、その情報(Y3)を電子機器441から受信した時刻に関する情報が受信時刻462として記憶される。
また、図25に示すように、電子機器451に関する情報は、電子機器452を経由して電子機器451からサーバ410に送信される。この場合には、電子機器452は、電子機器451が送信した情報(Z7)とともに、電子機器451に関する端末識別情報をサーバ410に送信する。そして、図29(1)に示すように、端末識別情報461「EX0451」に関連付けて、電子機器451が送信した情報(Z7)が受信情報463として記憶され、その情報(Z7)を電子機器451から受信した時刻に関する情報が受信時刻462として記憶される。
なお、電子機器441に関する情報は、電子機器442を経由してサーバ410に送信されるため、端末識別情報461には、「EX0441」の代わりに、電子機器442に関する端末識別情報を記録するようにしてもよい。また、「EX0441」の代わりに、電子機器441及び電子機器442に関する端末識別情報(電子機器441及び電子機器442の双方の識別情報、または、電子機器441の情報を電子機器442が転送した旨の情報)を記録するようにしてもよい。また、電子機器451に関する情報についても同様である。
[サーバ410が電子機器431にコンテンツを提供する場合の通信例]
図31は、第5の実施の形態における電子機器431及びサーバ410による通信処理例を示すフローチャートである。なお、サーバ410は、端末識別情報461(図29(1)に示す)に基づいて、電子機器431に情報の送信を行うものとする。
最初に、サーバ410の制御部412は、送信条件を満たすか否かを判断する(ステップS161)。そして、送信条件を満たさない場合には、送信条件を満たすまで待機する(ステップS161)。
ここで、送信条件は、例えば、1日単位でコンテンツの提供を行う場合には、世界のある地点において午後12時(24時)になったことを条件とすることができる。例えば、サーバ410を日本に設置している場合には、日本時間の午後12時(24時)になった場合に、送信条件を満たすと判断することができる。また、限られた地域内でのみコンテンツの提供を行う場合には、この地域における活動時間の終了時間帯(例えば、午後9時)になったことを条件とすることができる。ただし、珈琲を淹れた後に、この珈琲に関するキャラクターをすぐに見たいと考えるユーザもいると想定される。そこで、例えば、1日単位でコンテンツの提供を行う場合でも、細かい間隔(例えば、1分間隔、10分間隔。1時間間隔)で送信条件を満たすと判断して、コンテンツの提供を行うようにしてもよい。これにより、朝に珈琲を淹れたユーザは、その朝のうちにキャラクターを見ることができる。
送信条件を満たす場合には(ステップS161)、サーバ410の制御部412は、管理情報に記憶されている各情報に基づいて、各電子機器に提供するコンテンツを決定する(ステップS162)。具体的には、サーバ410の制御部412は、受信情報463に記憶されている情報に基づいて、各電子機器に付与する識別情報(例えば、通し番号)を決定し、その結果を判定結果情報464に記憶する。そして、サーバ410の制御部412は、判定結果情報464に記憶された情報に基づいて、各電子機器に提供するコンテンツを決定し、そのコンテンツを識別するための情報を提供コンテンツ情報465に記憶する。
例えば、細かい間隔(例えば、1分間隔、10分間隔。1時間間隔)で送信条件を満たすと判断する場合には、その間に情報を送信した各電子機器を対象として、識別情報(例えば、通し番号)を順位決定する。例えば、10分間隔で送信条件を満たすと判断する場合を想定する。この場合に、最初の10分間に情報を送信した電子機器が3台であり、次の10分間に情報を送信した電子機器が5台であり、その次の10分間に情報を送信した電子機器が4台であるものとする。この場合には、最初の10分間に情報を送信した各電子機器には、1~3の識別情報(例えば、通し番号)を決定し、次の10分間に情報を送信した各電子機器には、4~8の識別情報(例えば、通し番号)を決定し、その次の10分間に情報を送信した各電子機器には、9~12の識別情報(例えば、通し番号)を決定する。
次に、サーバ410の通信部411は、制御部412の制御に基づいて、提供コンテンツ情報465に記憶されている情報に対応するコンテンツを、各電子機器に送信する(ステップS163)。例えば、図29に示すように、提供コンテンツ情報465に記憶されている情報「CT67」に対応するコンテンツ(「キャラクターABC」に関するコンテンツ)が電子機器431に送信される。また、提供コンテンツ情報465に記憶されている情報「CT217」に対応するコンテンツ(「キャラクターEFG」に関するコンテンツ)が電子機器442(電子機器441)に送信される。また、提供コンテンツ情報465に記憶されている情報「CT347」に対応するコンテンツ(「キャラクターHIJK」に関するコンテンツ)が電子機器452(電子機器451)に送信される。
電子機器431の通信部489は、サーバ410から送信されたコンテンツを受信する(ステップS164)。次に、電子機器431の制御部483は、受信したコンテンツを記憶部484に記憶する(ステップS165)。次に、電子機器431の制御部483は、受信したコンテンツを出力する(ステップS166)。この出力例については、図32に示す。
[サーバ410が電子機器431、442、443、452にコンテンツを提供する例]
図32は、第5の実施の形態におけるサーバ410が電子機器431、442、443、452にコンテンツを提供する例を示す図である。
サーバ410は、図29(1)に示す管理情報に基づいて、各電子機器にコンテンツを送信する。例えば、図29(1)に示すように、端末識別情報461「EX0431」に関連付けられている提供コンテンツ情報465「CT67」に基づいて、サーバ410は、電子機器431に「キャラクターABC」に関するコンテンツを送信する。また、端末識別情報461「EX0441」に関連付けられている提供コンテンツ情報465「CT217」に基づいて、サーバ410は、電子機器441(または、電子機器442)に「キャラクターEFG」に関するコンテンツを送信する。また、端末識別情報461「EX0441」に関連付けられている提供コンテンツ情報465「CT347」に基づいて、サーバ410は、電子機器451(または、電子機器452)に「キャラクターHIJK」に関するコンテンツを送信する。
コンテンツを受信した電子機器は、受信したコンテンツに関する出力を行う。例えば、図32に示すように、「キャラクターABC」に関するコンテンツを受信した電子機器431は、「キャラクターABC」に関する画像をユーザインタフェース488(表示部487)(図26に示す)に表示させる。また、電子機器431は、「キャラクターABC」に関する音声を音声出力部485(図26に示す)から出力させる。また、「キャラクターEFG」に関するコンテンツを受信した電子機器442は、そのコンテンツを電子機器443(表示部を備える)に送信し、「キャラクターEFG」に関する画像を電子機器443の表示部に表示させる。また、電子機器442は、「キャラクターEFG」に関する音声を音声出力部から出力させる。また、「キャラクターHIJK」に関するコンテンツを受信した電子機器452は、「キャラクターHIJK」に関する画像を表示部に表示させる。また、電子機器452は、「キャラクターHIJK」に関する音声を音声出力部から出力させる。
[取得した情報をサーバに送信する動作例]
図33は、第5の実施の形態における電子機器431による送信処理の一例を示すフローチャートである。なお、図33に示すステップS171~S177は、図30に示すステップS151~S157に対応する。このため、ここでは、図30に示す例と異なる点を中心に説明する。
最初に、電子機器431の制御部483は、開始指示が検出されたか否かを判断する(ステップS171)。開始指示が検出された場合には(ステップS171)、ステップS172に進む。また、開始指示が検出されない場合には(ステップS171)、監視を継続して行う。
[サーバから提供されたコンテンツを出力する動作例]
図34は、第5の実施の形態における電子機器431によるコンテンツ出力処理の一例を示すフローチャートである。なお、図34に示すステップS181~S183は、図31に示すステップS164~S166に対応する。このため、ここでは、図31に示す例と異なる点を中心に説明する。
最初に、電子機器431の制御部483は、サーバ410からコンテンツを受信したか否かを判断する(ステップS181)。サーバ410からコンテンツを受信した場合には(ステップS181)、ステップS182に進む。また、サーバ410からコンテンツを受信していない場合には(ステップS181)、監視を継続して行う。
[各電子機器にコンテンツを提供する動作例]
図35は、第5の実施の形態におけるサーバ410によるコンテンツ提供処理の一例を示すフローチャートである。なお、図35に示すステップS193~S197は、図30、図31に示すステップS158、S159、S161~S163に対応する。このため、ここでは、図30、図31に示す例と異なる点を中心に説明する。
最初に、サーバ410の制御部412は、開始条件を満たすか否かを判断する(ステップS191)。開始条件を満たす場合には(ステップS191)、ステップS192に進む。また、開始条件を満たさない場合には(ステップS191)、ステップS193に進む。
ここで、開始条件は、例えば、1日単位でコンテンツの提供を行う場合には、世界のある地点において午前0時になったことを条件とすることができる。例えば、サーバ410を日本に設置している場合には、日本時間の午前0時になった場合に、開始条件を満たすと判断することができる。また、限られた地域内でのみコンテンツの提供を行う場合には、この地域における活動時間の開始時間帯(例えば、午前4時)になったことを条件とすることができる。
開始条件を満たす場合には(ステップS191)、サーバ410の制御部412は、記憶部413における管理情報の内容を消去する(ステップS192)。これにより、新たな情報に基づいて、各電子機器に新たなコンテンツ(キャラクター)を提供することができる。
次に、サーバ410の制御部412は、電子機器から情報(例えば、決定処理により決定された出力対象となる情報(例えば、図9(2)に示す出力対象となる情報OI(OIX1)))を受信したか否かを判断する(ステップS193)。電子機器から情報を受信した場合には(ステップS193)、ステップS194に進む。また、電子機器から情報を受信していない場合には(ステップS193)、監視を継続して行う。
電子機器から情報を受信した場合には(ステップS193)、サーバ410の制御部412は、受信した情報を、その情報を送信した電子機器に関連付けて記憶部413に記憶する(ステップS194)。
次に、サーバ410の制御部412は、送信条件を満たすか否かを判断する(ステップS195)。そして、送信条件を満たさない場合には、ステップS193に戻る。
送信条件を満たす場合には(ステップS195)、サーバ410の制御部412は、管理情報に記憶されている各情報に基づいて、各電子機器に提供するコンテンツを決定する(ステップS196)。
次に、サーバ410の通信部411は、制御部412の制御に基づいて、提供コンテンツ情報465に記憶されている情報に対応するコンテンツを、各電子機器に送信する(ステップS197)。
[サーバが各処理を行う場合の動作例]
以上では、珈琲抽出器に取り付けられる電子機器が出力対象となる情報を決定するための決定処理を行い、この決定処理により決定された情報をサーバ410に送信する例を示した。ここで、第4の実施の形態で示したように、珈琲抽出器に取り付けられる電子機器には、比較的簡易的な処理のみを行わせ、他の処理については、処理能力が高いサーバ410に行わせることも考えられる。そこで、図36では、珈琲抽出器に取り付けられる電子機器では、容器に溜まる珈琲の表面の画像情の取得及び送信のみを行わせ、他の処理については、サーバ410で行う例を示す。
[複数の電子機器において一連の処理を行う場合の通信例]
図36は、第5の実施の形態におけるサーバ410及び電子機器431による通信処理例を示すフローチャートである。なお、図36に示すステップS501~S504は、図24に示すステップS131、S133~S135に対応する。また、図36に示すステップS515、S516は、図31に示すステップS161、S162に対応する。このため、ここでは、図24、図31に示す例と異なる点を中心に説明する。
電子機器431の制御部483は、開始指示を検出した場合には(ステップS501)、画像取得部482により取得された画像(容器に溜まる珈琲が撮像された画像(画像データを含む))を取得し(ステップS502)、取得した画像情報をサーバ410に送信する(ステップS503)。この場合に、電子機器431からサーバ410への画像情報の送信は、定期的に行うようにしてもよく、不定期に行うようにしてもよい。
図36に示すステップS504は、図24に示すステップS135に対応する。
サーバ410の制御部412は、電子機器431から画像情報を受信すると(ステップS511)、受信した画像情報を解析して特徴量を取得する(ステップS512)。次に、サーバ410の制御部412は、取得した特徴量を電子機器431に関連付けて記憶部413に記憶する(ステップS513)。このように、終了条件を満たすまでの間、受信した画像情報について解析処理を行い、この解析処理により取得した特徴量(例えば、図9(1)に示す各情報、図16(1)に示す各情報)を電子機器431に関連付けて記憶部413に順次記憶する(ステップS511~S514)。例えば、第1乃至第4の実施の形態で示した各処理(例えば、図11に示すステップS102~S105の各処理、図18に示すステップS112~S115の各処理、図22に示すステップS123~S126の各処理、図24に示すステップS143~S146、図30に示すステップS153~S156、図33に示すステップS173~S176)を行い、その処理結果(特徴量)を経過時間に関連付けるとともに、電子機器431に関連付けて記憶部413に記憶する(例えば、図9(1)に示す各情報、図16(1)に示す各情報)。
また、送信条件を満たす場合には(ステップS515)、サーバ410の制御部412は、管理情報に記憶されている各情報に基づいて、各電子機器に提供するコンテンツを決定する(ステップS516)。
次に、サーバ410の通信部411は、制御部412の制御に基づいて、コンテンツの提供がある旨の通知を電子機器431に送信する(ステップS517)。例えば、電子メール、SNS(Social Networking Service)、インターネット上での通知等の通知手段を用いることができる。また、ステップS517において、コンテンツの全部または一部を送信(例えば、電子メールに添付して送信、SNSでの送信、インターネット上での送信)するようにしてもよい。
また、電子機器431の通信部489は、サーバ410からの通知を受信すると、その旨をユーザに通知する(ステップS505)。例えば、その旨のメッセージによる音声出力、その旨のメッセージの表示、振動、ランプの点灯、点滅等により通知することができる。この通知を見たユーザは、電子機器431(または、他の電子機器)を操作してサーバ410にアクセスし、電子機器431(または、他の電子機器)及びサーバ410を接続して、サーバ410からコンテンツの提供を受けることができる(ステップS518、S506)。これにより、電子機器431の制御部483は、提供されるコンテンツに基づいて、音声出力部485から音声を出力させるとともに、提供されるコンテンツに基づいて、ユーザインタフェース488(表示部487)に画像を表示させることができる(ステップS506)。例えば、図32に示すように、音声出力部から音声が出力され、ユーザインタフェースに画像が表示される。
なお、図36に示す例において、何らかの原因(例えば、レンズの曇り、無線通信の中断)により電子機器431からの画像情報を全て受信できないことも想定される。また、抽出時間の異なる情報が複数の電子機器から送信されることも想定される。また、複数の電子機器から送信される画像情報が、統一された規則に基づいて送信されないことも想定される。
例えば、電子機器431からは5枚の画像に関する画像情報が送信され、電子機器441からは3枚の画像に関する画像情報が送信され、電子機器451からは1枚の画像に関する画像情報が送信されることも想定される。このような場合には、サーバ410の制御部412は、電子機器431、441、451から受信した各画像情報を解析して、各画像情報に基づく特徴量を比較可能な情報とする。例えば、図6(1)(2)に示す判定情報を用いる場合には、サーバ410の制御部412は、電子機器431、441、451から受信した各画像情報を解析して、各画像情報に基づく特徴量(A~I)を求める。そして、サーバ410の制御部412は、求められた特徴量(A~I)と、受信した画像の数とに基づいて、比較可能な数値を算出する。例えば、電子機器431から受信した5枚の画像に基づく特徴量が、受信順にA、A、B、C、Aであり、電子機器441から受信した3枚の画像に基づく特徴量が、受信順にA、C、Dであり、電子機器451から受信した1枚の画像に基づく特徴量が、Gである場合を想定する。この場合に、最大の受信数(5)に基づいて乗数(5~1)を決定し、これを各特徴量に乗算して比較可能な数値を算出する。具体的には、特徴量A~Iを数値化して、電子機器431に関する特徴量A、A、B、C、Aを、1、1、2、3、1に変換し、電子機器441に関する特徴量A、C、Dを、1、3、4に変換し、電子機器451に関する特徴量Gを7に変換する。そして、受信順に乗数(5~1)をかけて加算して比較可能な数値を算出する。具体的には、電子機器431については、22(=1×5+1×4+2×3+3×2+1×1)を算出し、電子機器441については、29(=1×5+3×4+4×3)を算出し、電子機器451については、35(=7×5)を算出する。この場合には、22(電子機器431)<29(電子機器441)<35(電子機器451)となるため、この順番に識別番号(通し番号)が決定される。すなわち、電子機器431には1が決定され、電子機器441には2が決定され、電子機器451には3が決定される。なお、比較可能な数値として算出された値が複数の電子機器同士で同一となることも想定される。この場合には、例えば、受信時刻に基づいて、識別番号(通し番号)を決定することができる。例えば、受信時刻が早い電子機器から順番に番号を付与することができる。
このように、複数の電子機器から送信される画像情報が、統一された規則に基づいて送信されないような場合でも、各電子機器に付与する識別情報(例えば、通し番号)を決定することができ、各電子機器にコンテンツを提供することができる。これにより、例えば、珈琲ショップにおいて、珈琲の表面を電子機器(例えば、スマートフォン)等で撮影して、その画像をサーバ410に送信したようなユーザに対しても、コンテンツを提供することが可能となる。すなわち、家庭や職場において珈琲抽出器を用いて淹れた珈琲を飲むユーザ、インスタントコーヒーを用いて淹れた珈琲を飲むユーザ、珈琲ショップにおいて他人が淹れた珈琲を飲むユーザなどの各ユーザが、複数のコンテンツのうちから少なくとも1つのコンテンツの提供を受けるというサービスに参加して、提供されたコンテンツを楽しむことができる。このように、第5の実施の形態では、相対的な情報の比較によりコンテンツを決定して提供することができる。
また、複数の電子機器から送信される画像情報が、同一(または同一のパターン)または類似(近似)(または類似(近似)のパターン)となることも想定される。このような場合には、同一(または同一のパターン)または類似(近似)(または類似(近似)のパターン)の画像情報を送信した各電子機器には、上述した各処理により決定したコンテンツ以外にも、何らかの特典や優待を与えるようにすることができる。例えば、サーバ410の制御部412は、1日単位でコンテンツの提供を行う場合には、基準地点において午後12時(24時)になったときに、同一(または同一のパターン)または類似(または類似のパターン)の画像情報を送信した電子機器が存在するか否かを管理情報に記憶されている各情報に基づいて判断することができる。そして、サーバ410の制御部412は、同一(または同一のパターン)または類似(または類似のパターン)の画像情報を送信した電子機器が存在する場合には、その各電子機器に対して、決定されているコンテンツ以外にも、他のコンテンツ(例えば、特別のキャラクター、アニメの主人公級のキャラクター、特定のサービス)を提供することができる。これにより、通常のコンテンツの提供を受けたユーザは、そのコンテンツ以外の他のコンテンツ(何らかの特典や優待)を受けることにより、さらに楽しみが増加する。
なお、図36に示す例では、電子機器431から画像情報に基づいてサーバ410が一連の処理を行う例を示した。ただし、サーバ410が行う処理の一部を他の機器(1または複数の機器)において行うようにしてもよい。この場合は、複数の機器により構成される情報処理システムが、図36に示す各処理(サーバ410が行う各処理)を行うことになる。
このように、サーバ410(または、これを構成する複数の機器)は、珈琲を生成するための物質(例えば、珈琲豆、これを粉砕した粉、インスタントコーヒー)とお湯とにより生成される珈琲を容器に溜める場合の、その生成の際、その生成された珈琲を容器に入れる際、または、その生成された珈琲を容器に入れた後に、その生成された珈琲に関して取得される情報(その珈琲から取得される情報)を、複数の容器に入れられた各珈琲について取得し、その取得された各情報に基づいて、複数の容器に関連する各人物に提供するコンテンツ(例えば、その珈琲とは無関係の情報)を決定する情報処理装置、情報処理システム、通信システムの一例である。
また、サーバ410(または、これを構成する複数の機器)は、抽出された珈琲を容器に入れる際、または、抽出された珈琲を容器に入れた後に、その抽出された珈琲に関して取得される情報を複数の容器に入れられた各珈琲について取得し、その取得された各情報に基づいて、複数の容器に関連する各人物に提供するコンテンツを決定する情報処理装置、情報処理システム、通信システムの一例である。
また、サーバ410(または、これを構成する複数の機器)は、抽出された珈琲に関する情報として、例えば、その抽出された珈琲を容器に入れる際、または、その抽出された珈琲を容器に入れた後の容器におけるその抽出された珈琲の表面の変化(例えば、色、模様、泡の発生)に関する特徴量を用いることができる。また、サーバ410(または、これを構成する複数の機器)は、例えば、複数の容器に入れられた各珈琲について取得された各情報を比較することにより、複数の容器に関連する各人物に付与するコンテンツを決定することができる。
[他のセンサを用いる例]
なお、以上では、主に、画像センサ(イメージセンサ、撮像素子)を用いて、珈琲を生成する際、または、珈琲を生成した後に、各種の情報(例えば、表面の遷移)を取得する例を示したが、他のセンサを用いて、珈琲を生成する際、または、珈琲を生成した後に、各種の情報を取得するようにしてもよい。図37には、各種のセンサを珈琲抽出器(電子機器)に取り付ける例を示す。
図37は、第1乃至第5の実施の形態における珈琲抽出器または電子機器に取り付けるセンサの取付例を示す図である。なお、図37(1)~(5)に示す珈琲抽出器600、610、620、630、640は、図13に示す珈琲抽出器200と略同様にスタンド602、612、622、632、642を有するものである。また、図37(6)に示す珈琲抽出器650は、図1に示す珈琲抽出器1と略同様にスタンドを有さないものである。また、珈琲抽出器600、610、620、630、640、650は、ドリッパー601、611、621、631、641、651と、容器603、613、623、633、643、652とを有する。なお、各センサ604、614、624、634、644、661については、以下の各センサの説明で説明する。また、液体(珈琲)の中に入るセンサ634や湯気を受ける可能性があるセンサ624については、防水加工を施すことが好ましい。また、お湯の温度の影響があるセンサについては、断熱処理、耐熱処理を施すことが好ましい。
例えば、温度の計測が可能な温度センサを用いることができる。例えば、珈琲抽出器における容器に溜まる液体(珈琲)の温度を計測可能な位置に温度センサを取り付け、この温度センサにより珈琲抽出の開始から終了までの温度の遷移を取得することができる。例えば、図37(1)~(5)に示す各センサ604、614、624、634、644の位置に温度センサを取り付けることができる。そして、その温度の遷移に基づいて、出力対象となるコンテンツを決定することができる。
また、例えば、匂いの計測が可能な匂いセンサ(臭気センサ)を用いることができる。この匂いセンサは、例えば、特定の匂いを検出することが可能なセンサでもよく、匂いに応じて何らかの情報を出力することができる程度のセンサでもよい。例えば、珈琲抽出器における容器に溜まる液体(珈琲)の匂いを計測可能な位置に匂いセンサを取り付け、この匂いセンサにより珈琲抽出の開始から終了までの匂いの遷移を取得することができる。匂いセンサを取り付ける位置は、例えば、容器の内部、ドリッパーの下部(容器の内部に入るように)とすることができる。例えば、図37(3)(4)に示す各センサ624、634の位置に匂いセンサを取り付けることができる。そして、その匂いの遷移に基づいて、出力対象となるコンテンツを決定することができる。例えば、時系列で取得された各匂いに関する情報を数値化して演算(例えば、加算、乗算)し、比較可能な数値を算出し、この数値を比較することにより、出力対象となるコンテンツを決定することができる。
また、例えば、音の計測が可能な音センサ(例えば、マイク)を用いることができる。例えば、珈琲抽出器における容器に溜まる液体(珈琲)から発する音を計測可能な位置に音センサを取り付け、この音センサにより珈琲抽出の開始から終了まで発生する音の遷移を取得することができる。音センサを取り付ける位置は、例えば、容器の内部、ドリッパーの下部(容器の内部に入るよう)、容器の外部とすることができる。例えば、図37(1)~(5)に示す各センサ604、614、624、634、644の位置に音センサを取り付けることができる。そして、その音の遷移に基づいて、出力対象となるコンテンツを決定することができる。例えば、時系列で取得された各音に関する情報を数値化して演算(例えば、加算、乗算)し、比較可能な数値を算出し、この数値を比較することにより、出力対象となるコンテンツを決定することができる。
また、例えば、重さの計測が可能な重さセンサを用いることができる。例えば、珈琲抽出器における容器に溜まる液体(珈琲)の重さを計測可能な位置(例えば、容器の底)に重さセンサを取り付け、この重さセンサにより珈琲抽出の開始から終了までの重さの遷移を取得することができる。重さセンサを取り付ける位置は、例えば、容器の底とすることができる。例えば、図37(5)に示すセンサ644の位置に重さセンサを取り付けることができる。そして、その重さの遷移に基づいて、出力対象となるコンテンツを決定することができる。例えば、時系列で取得された各重さの数値を演算(例えば、加算、乗算)して、比較可能な数値を算出し、この数値を比較することにより、出力対象となるコンテンツを決定することができる。
また、例えば、味覚の計測が可能な味覚センサを用いることができる。例えば、珈琲抽出器における容器に溜まる液体(珈琲)の味覚を計測可能な位置に味覚センサを取り付け、この味覚センサにより珈琲抽出の開始から終了までの味覚の遷移を取得することができる。味覚センサを取り付ける位置は、例えば、容器の内部、ドリッパーの下部(容器の内部に入るように)とすることができる。例えば、図37(4)に示すセンサ634(例えば、クリップ形式で容器633の開口部に取り付けるセンサ)の位置に味覚センサを取り付けることができる。そして、その味覚の遷移に基づいて、出力対象となるコンテンツを決定することができる。例えば、時系列で取得された各味覚に関する情報を数値化して演算(例えば、加算、乗算)し、比較可能な数値を算出し、この数値を比較することにより、出力対象となるコンテンツを決定することができる。
なお、以上で示した各センサは、一例であり、他の情報を取得するセンサを用いるようにしてもよい。また、使用される各センサについては、何らかの情報(例えば、温度が75度以上か否か、特定の匂いの有無、特定音の有無、特定の味の有無)を取得可能な程度の性能を有するものでも使用可能である。すなわち、各抽出について比較可能な情報を取得することが可能な程度のセンサについても用いることができる。また、図37(6)に示すように、珈琲抽出器650の外部に設置する電子機器660が備えるセンサ661を用いるようにしてもよい。例えば、珈琲抽出器650の容器652に溜まる液体(珈琲)に関する画像情報を取得できるように、容器652の外側に電子機器660(例えば、スマートフォン)を設置することができる。そして、電子機器660のセンサ661(例えば、カメラ)を用いて、珈琲抽出器650の容器652に溜まる液体(珈琲)に関する画像情報を取得し、この画像情報を用いることができる。この場合には、電子機器660は、第1乃至第5の実施の形態で示した電子機器(珈琲抽出器に取り付けられる電子機器)として機能する。また、容器652を設置する台(設置台653)に電子機器660を設置するための取付部(例えば、スマートフォン取付部)を設け、この取付部に電子機器660を取り付けるようにしてもよい。また、電子機器660(例えば、スマートフォン)の他のセンサ(例えば、振動を検知するセンサ、マイク)を用いて、珈琲抽出器650の容器652に溜まる液体(珈琲)に関する各情報(例えば、落下する液体により発生する振動、落下する液体により発生する音)を取得し、この各情報を用いるようにしてもよい。これにより、誰でも簡単に電子機器660の設置をすることができ、第1乃至第5の実施の形態で示したコンテンツの出力を楽しむことができる。
[複数のセンサを用いる例]
なお、以上では、各種のセンサを用いて、珈琲を生成する際、または、珈琲を生成した後に、各種の情報を取得する例を示したが、各種のセンサのうちの複数のセンサを用いて、珈琲を生成する際、または、珈琲を生成した後に、各種の情報を取得するようにしてもよい。図38には、複数のセンサを電子機器に取り付ける例を示す。
図38は、第1乃至第5の実施の形態における電子機器700、710、720、725に取り付けるセンサの取付例を示す図である。なお、図38(1)~(4)に示す電子機器700、710、720、725は、図1~図3に示す電子機器20の変形例である。また、図38(1)に示す電子機器700は、電子機器20の把持部27の形状を変形したものである。また、図38(2)(3)に示す電子機器710、720は、電子機器20の環状部28の形状を変形したものである。また、図38(4)に示す電子機器725は、電子機器20の把持部27を省略し、環状部28の形状を変形したものである。また、図38(1)~(4)には、図3(4)と同様に、電子機器700、710、720、725の下面図を示す。
図38(1)に示す電子機器700は、図3(4)に示す電子機器20のレンズ21の代わりに、4つのセンサ701~704を設けたものである。また、ユーザが電子機器700を持ちやすいように、把持部に凹部705(くぼみ)を設けたものである。
図38(2)に示す電子機器710は、図3(4)に示す電子機器20の環状部28の形状をU字型の形状としたものであり、3つのセンサ711~713を設けたものである。
図38(3)に示す電子機器720は、図3(4)に示す電子機器20の環状部28の形状を矩形状としたものであり、4つのセンサ721~724を設けたものである。
図38(4)に示す電子機器725は、図3(4)に示す電子機器20の環状部28の形状を楕円形状としたものであり、4つのセンサ726~729を設けたものである。また、電子機器20の把持部27を省略したものである。なお、電子機器20の把持部27に備えられる各部(例えば、操作部26、音声出力部25)については、他の部分(例えば、側面、フランジ部から出る部分(例えば、符号706で示す部分))に設けることができる。
なお、図38(1)に示すセンサ701~704については、同種のセンサを複数設けるようにしてもよく、全てを異なるセンサとしてもよい。例えば、センサ701~704については、上述したセンサのうちの少なくとも1つとすることができる。また、同種のセンサ(例えば、画像センサ)を複数設け、センサの精度を高めるようにしてもよい。また、図38(2)に示すセンサ711~713、図38(3)に示すセンサ721~724、図38(4)に示すセンサ726~729についても同様である。また、センサを設ける位置については、図38に示す例に限定されず、センサの性能を発揮することが可能な位置に設置することができる。また、珈琲抽出器に取り付ける電子機器については、センサ以外の制御部等の構成を省略してもよい。この場合には、センサからの情報を有線回線等により他の電子機器に送信して用いることができる。
[珈琲抽出器の変形例]
図39、図40は、第1の実施の形態における珈琲抽出器1の変形例(珈琲抽出器730)の外観を示す図である。図39には、珈琲抽出器1の斜視図を示す。また、図40(1)には、電子機器750をフランジ部742に取り付けた状態のドリッパー740の上面図を示し、図40(2)には、電子機器750をフランジ部742に取り付けた状態のドリッパー740の下面図を示す。なお、図40(1)では、説明を容易にするため、収容部741を省略して示す。また、図40(3)には、フランジ部742から取り外した状態の電子機器750の下面図を示し、図40(4)には、フランジ部742から取り外した状態の電子機器750の下面図を示す。
珈琲抽出器730は、ドリッパー740と、電子機器750と、容器760とを有する。なお、ドリッパー740、電子機器750、容器760は、それぞれ図1~図3に示すドリッパー10、電子機器20、容器30に対応するものである。このため、以下では、ドリッパー10、電子機器20、容器30と異なる点を中心に説明する。
ドリッパー740は、収容部741及びフランジ部742を有し、容器760の開口部に配置して使用される珈琲ドリッパーである。また、フランジ部742には、電子機器750が取り付けられる。
電子機器750は、フランジ部742に取り外し可能に取り付けられる電子機器であり、音声出力部755と、レンズ751と、取付部757とを有する。また、電子機器750は、フランジ部742の取付部745の凹部(取付部757の凸部の形状に対応する凹部)にスライドして取り付けられる。また、例えば、電子機器750は、耐熱ガラス、陶器、金属、セラミック、樹脂、木等により構成される筐体(ケース)に各機器(例えば、図4に示す各部)を内蔵することにより実現される。
取付部757は、フランジ部742の一部に設けられる切欠き部(取付部745)に取り付けるための部分である。また、取付部757は、取付部745の凹部の形状に対応する凸部であり、取付部745の凹部に嵌るように形成される。なお、図40に示す例とは逆に、取付部757を凹部の形状とし、フランジ部742の取付部745を凸部の形状(取付部757の凹部の形状に対応する凸部)とし、取付部757を取付部745の凸部に嵌るように形成するようにしてもよい。また、この例では、フランジ部742の一部を切欠き部(取付部745)として、取付部745に電子機器750を取り付ける例を示すが、これ以外の取付方法を用いるようにしてもよい。
例えば、電子機器750をフランジ部742に取り付ける場合には、フランジ部742の取付部745の凹部に取付部757の凸部を合わせて、電子機器750を矢印2(図40(3))の方向に押し込みスライドさせる。また、電子機器750をフランジ部742から取り外す場合には、フランジ部742の外側(矢印3(図40(3))の方向)に電子機器750を引っ張るようにスライドさせる。なお、フランジ部742の取付部745と、電子機器750の取付部757との少なくとも一方に、電子機器750をフランジ部742に係止するための係止部材を設けるようにしてもよい。
このように、電子機器750の取付をスライド式とすることにより、電子機器750の取り付け及び取り外しが容易である。
また、電子機器750のレンズ751は、フランジ部742の下側の面に配置される。また、電子機器750のレンズ751は、ドリッパー740を容器760にセットした場合に、レンズ751の光軸方向が容器760に溜まる珈琲抽出液の表面に向くように配置される。
また、電子機器750に内蔵される各機器については、断熱処理、防水加工処理を施すことが好ましい。また、レンズ751については、曇り止め処理を施すことが好ましい。
このように、珈琲抽出器への電子機器の取付方法として、各種の方法を用いることができる。
[液体(珈琲)に関する他の情報を取得して用いる例]
なお、以上では、珈琲抽出器の容器に溜まる液体(珈琲)に関する情報を取得して用いる例を示した。ただし、液体(珈琲)に関する他の情報を取得して用いるようにしてもよい。例えば、珈琲の粉を収容するドリッパーに液体(お湯)を注いだ場合には、その注ぎ具合に応じて、ドリッパーの収容部における珈琲の粉や液体(お湯)が遷移する。例えば、珈琲豆を細かく砕いた場合と、荒く砕いた場合とでは異なる遷移(例えば、真ん中にくぼみできたり山になったりする等)となることがある。また、液体(お湯)を注ぐスピードに応じて、異なる遷移(例えば、お湯で満たされる、粉のくぼみにのみお湯が存在等)となることがある。例えば、その注ぎ具合や粉の粉砕の程度に応じて、ドリッパーの収容部における珈琲の粉が液体(お湯)で満たされ、その後、泡が発生することがある。例えば、粉の粉砕の程度に応じて、ドリッパーの収容部における珈琲の粉が膨らんだり、平面上になったりすることがある。そこで、珈琲を生成する際、または、珈琲を生成した後に、各種センサを用いて、珈琲の粉を収容するドリッパーの収容部における珈琲の粉や液体(お湯)に関する各種の情報を取得するようにしてもよい。例えば、図37(3)に示すように、画像センサ(イメージセンサ、撮像素子)をドリッパーの収容部の上側に設置し、ドリッパーの収容部における珈琲の粉や液体(お湯)に関する画像情報を取得して用いることができる。
また、液体(珈琲)に関する他の情報として、例えば、コーヒーミル(珈琲豆を挽く機器)により珈琲豆を挽く場合に関する情報を取得して用いるようにしてもよい。例えば、コーヒーミルにより珈琲豆を挽く場合に発しする音等に関する情報を取得して用いることができる。また、コーヒーミルに関して取得した情報と、珈琲抽出器により取得した情報とを組み合わせて用いるようにしてもよい。
[液体(珈琲)に関する情報とともに時刻情報や位置情報を用いる例]
なお、以上では、液体(珈琲)に関する各種の情報を取得し、これを用いて提供対象となるコンテンツを決定する例を示した。また、液体(珈琲)に関する画像情報と時刻情報とに基づいて提供対象となるコンテンツを決定する例を示した。ただし、電子機器が位置情報を用いることができる場合(例えば、図21に示す位置情報取得部358や、図26に示す位置情報取得部490を電子機器が備える場合)には、その位置情報を用いることができる。例えば、電子機器(珈琲抽出器に取り付けられる電子機器、珈琲抽出器に取り付けられる電子機器からの情報を転送する電子機器)は、液体(珈琲)に関する情報ととともに、自機に関する位置情報(例えば、緯度経度、地域を特定するための情報)をサーバ410に送信することができる。この場合には、サーバ410の制御部412は、液体(珈琲)に関する情報(例えば、画像情報、音情報等)と位置情報とに基づいて提供対象となるコンテンツを決定することができる。例えば、複数のコンテンツを複数のグループ(例えば、コンテンツを提供する国の数)に分類し、日が変わるごとに、各国に割り振るグループを順次変更するようにする。そして、例えば、ある国Aに存在する各電子機器には、その日に国Aに割り振られたグループに属するコンテンツから選択されたコンテンツが提供される。
また、サーバ410の制御部412は、液体(珈琲)に関する情報とともに、位置情報及び時刻情報に基づいて提供対象となるコンテンツを決定するようにしてもよい。例えば、サーバ410の制御部412は、液体(珈琲)に関する情報を数値化するとともに、位置情報及び時刻情報の双方を数値化し、これらの各数値の演算(例えば、四則演算)を行うことにより、比較可能な数値を算出し、提供対象となるコンテンツを決定することができる。位置情報は、例えば、A国は1、B国は2、…などのように、国単位で数値を当てはめるようにしてもよく、国における地域(例えば、都道府県)単位で数値を当てはめるようにしてもよい。また、緯度及び経度についての演算(例えば、四則演算(例えば、各数値を単純加算))を行うことにより、数値を算出するようにしてもよい。
[珈琲以外の飲み物に関する情報を取得して用いる例]
以上では、抽出された珈琲を容器に入れる際、または、抽出された珈琲を容器に入れた後に、その抽出された珈琲に関して取得される情報を用いてコンテンツを出力する例を示した。すなわち、挽いた豆を液体が美味しくなるまで浸しておく場合に取得される情報を用いてコンテンツを出力する例を示した。ただし、珈琲以外の飲み物についても、第1乃至第5の実施の形態を適用することができる。例えば、珈琲豆以外の物質を液体が美味しくなるまで浸しておく場合に取得される情報を用いてコンテンツを出力することができる。例えば、紅茶、日本茶(例えば、緑茶、ほうじ茶、玄米茶、煎茶、番茶、玉露)、中国茶(例えば、杜仲茶、烏龍茶)、ハーブティ、薬膳茶などの各種のお茶、ココア、ホットチョコレートなどの各種の飲み物についても、第1乃至第5の実施の形態を適用することができる。例えば、お茶を茶器(例えば、急須、ティーポット)で抽出する場合に、茶葉に注がれたお湯が茶器に入れられる際、または、茶葉に注がれたお湯が茶器に入った後に、その茶葉に注がれたお湯(お茶)に関して取得される情報を用いてコンテンツを出力することができる。この場合には、上述した各センサのうちの少なくとも1つを、茶器またはその付近に取り付け、上述した各情報を取得することができる。また、サーバ410は、飲み物の種類(カテゴリー)毎に管理情報を保持し、飲み物の種類(カテゴリー)毎に上述した各処理を行い、飲み物の種類(カテゴリー)毎にコンテンツの提供処理を行うことができる。この場合には、例えば、珈琲に関する情報を送信した電子機器と、紅茶に関する情報を送信した電子機器とには、同一のコンテンツが提供されることもある。また、サーバ410は、飲み物の種類(カテゴリー)とは無関係に、飲み物に関する情報を送信した電子機器について上述した各処理を行い、コンテンツの提供処理を行うことができる。この場合には、例えば、異なる飲み物に関する情報を送信した各電子機器についても、同一の判定処理、決定処理等を行い、異なるコンテンツを提供することができる。
[第6の実施の形態:飲み物に関する情報を取得して出力する例]
以上では、抽出された飲み物を容器に入れる際、または、抽出された飲み物を容器に入れた後に、その抽出された飲み物に関して取得される情報を用いてコンテンツを出力する例を示した。ただし、抽出された飲み物を容器に入れる際、または、抽出された飲み物を容器に入れた後に、その抽出された飲み物に関して取得された情報自体(または、何らかの処理(例えば、音声の増幅処理)を施した情報)を出力するようにしてもよい。そこで、第6の実施の形態では、抽出された飲み物を容器に入れる際、または、抽出された飲み物を容器に入れた後に、その抽出された飲み物に関して取得された情報自体を出力する例を示す。
上述したように、従来技術では、各種の機器を用いて、個人の好みに応じた飲み物を淹れることができる。また、各種の機器を用いて飲み物を淹れる場合にはある程度の時間を要する。そこで、各種の機器を用いて飲み物を淹れる場合(抽出する場合)に、その飲み物を淹れるタイミングで各種の情報を取得し、この情報を飲み物を淹れた人に提供することができれば、飲み物を淹れる楽しみが増加すると考えられる。そこで、第6の実施の形態では、飲み物を淹れる楽しみを提供することを目的とする。
図41は、第6の実施の形態における電子機器700により取得された情報を出力する場合の例を簡略化して示す図である。なお、電子機器700は、図38(1)に示す電子機器700に対応する。ただし、電子機器700は、通信部(図19に示す通信部325に相当)を備えるものとする。
図41(1)には、電子機器700により取得された情報を電子機器700から出力する場合の例を示す。なお、図38(1)に示すように、電子機器700には、4つのセンサ701~704を設ける。4つのセンサ701~704は、例えば、音センサ、画像センサ、温度センサ、匂いセンサであるものとする。
例えば、電子機器700の制御部は、各センサ701~704により取得された情報を電子機器700から出力することができる。例えば、電子機器700が音声出力部を備える場合には、図41(1)に示すように、音センサにより取得された珈琲の抽出時に発生する音を、増幅して出力することができる。これにより、珈琲抽出器760を用いて珈琲を淹れているユーザP1は、珈琲を淹れている間に発生する音(例えば、珈琲の水滴が容器に落ちる音が増幅された音)を聞きながら、珈琲を淹れることができる。また、ユーザP1は、珈琲を淹れ終わった後には、その珈琲を味わいながら、その抽出により取得された特徴量に基づくコンテンツを楽しむことができる。
また、例えば、電子機器700が表示部を備える場合には、画像センサにより取得された珈琲の抽出時における画像(容器における珈琲の表面)を表示部に表示することができる。これにより、珈琲抽出器760を用いて珈琲を淹れているユーザP1は、珈琲を淹れている間における遷移(容器における珈琲の表面の遷移)を見ながら、珈琲を淹れることができる。また、ユーザP1は、珈琲を淹れ終わった後には、その珈琲を味わいながら、その抽出により取得された特徴量に基づくコンテンツを楽しむことができる。
また、例えば、電子機器700が音声出力部及び表示部を備える場合には、音センサにより取得された珈琲の抽出時に発生する音を、増幅して出力するとともに、画像センサにより取得された珈琲の抽出時における画像(容器における珈琲の表面)を表示部に表示することができる。温度センサにより取得された珈琲の抽出時における温度の値の表示、音声出力や、匂いセンサにより取得された珈琲の抽出時における匂いに関する表示、音声出力をするようにしてもよい。これにより、珈琲抽出器760を用いて珈琲を淹れているユーザP1は、珈琲の抽出をさらに楽しむことができる。また、他のセンサを用いた場合についても同様に出力を行うことができる。
図41(2)には、電子機器700により取得された情報を他の電子機器(電子機器350)から出力する場合の例を示す。なお、図41(2)に示す例は、電子機器700により取得された情報を他の電子機器(電子機器350)から出力する点以外は、図41(1)に示す例と同様である。
図41(3)には、電子機器700により取得された情報を他の電子機器(電子機器360)から出力する場合の例を示す。なお、図41(3)に示す例は、電子機器700により取得された情報を他の電子機器(電子機器360)から出力する点以外は、図41(1)に示す例と同様である。
なお、以上では、1または複数のセンサにより取得された珈琲の抽出時に関する情報について所定処理(例えば、音の増幅、表示画像(動画)の生成)を施して出力する例を示した。ただし、複数のセンサにより取得された珈琲の抽出時に関する情報について所定処理(例えば、音の増幅、表示画像(動画)の生成)を施して1の情報として出力するようにしてもよい。例えば、各センサにより取得された情報と、ドレミファソラシド等の音階とを数値化(例えば、0、1、2、…)し、各センサにより取得された情報に所定の演算処理を施してその演算結果に基づいて算出される値を、音階の数値に順次当てはめていき、音声出力するようにしてもよい。例えば、画像センサにより取得された画像情報について、円形画像における黒の割合を数値化(例えば、0、1、2、…)し、音センサにより取得された音声情報について、音の大きさを数値化(例えば、0、1、2、…)し、温度センサにより取得された温度情報について、温度の数値(または他の数値)に変換(例えば、0、1、2、…)し、匂いセンサにより取得された匂い情報について、匂いの強さを数値化(例えば、0、1、2、…)する。次に、これらの各センサについて算出された各数値に所定の演算(例えば、四則演算)を行い、音階に変換するための数値を算出する。次に、算出された数値(音階)に基づいて、音声を出力するようにする。また、画像出力についても、各センサにより取得された情報に所定の演算処理を施してその演算結果に基づいて算出される値に基づいて行うことができる。なお、これらの音声出力、画像出力は、第1乃至第5の実施の形態と同様に、各センサにより取得された情報に基づいてコンテンツを出力する例としても把握することができる。また、これらの各処理を他の機器に行わせ、他の機器において出力させるようにしてもよい。例えば、図41(2)(3)に示すように、複数のセンサにより取得された珈琲の抽出時に関する情報を電子機器350、360に順次送信し、各処理を電子機器350、360に行わせ、電子機器350、360において各情報を出力させるようにしてもよい。また、第5の実施の形態で示したように、複数のセンサにより取得された珈琲の抽出時に関する情報をネットワーク420を介してサーバ410に順次送信し、各処理をサーバ410に行わせ、その処理に基づく出力情報をサーバ410から順次受信して自機器(または、他の機器)において出力するようにしてもよい。
[第7の実施の形態:他の食品を入れた飲み物に関する情報を取得して用いる例]
以上では、飲み物に関して取得される情報を用いてコンテンツを出力する例を示した。ここで、生成された飲み物には他の食品が入れられることが多い。例えば、珈琲や紅茶には、個人の好みに応じて、ミルクや砂糖等が入れられることが多い。また、このように、飲み物に他の食品が入れられた場合には、その飲み物に関する情報(例えば、表面、匂い)が変化することが多い。この例を図42に示す。なお、第7の実施の形態は、第1~第6の実施の形態の一部を変形した例であり、第1~第6の実施の形態と共通する部分についてはその説明の一部を省略する。
[ミルクが注がれた珈琲の表面の遷移例]
図42は、第7の実施の形態における電子機器により取得が可能な画像(珈琲カップ内の珈琲にミルクが注がれた場合の珈琲の表面の画像)の遷移の一例を示す図である。なお、図42では、珈琲カップ内の珈琲の表面を上側から見た場合の例を示す。また、図42では、説明を容易にするため、珈琲カップ内の珈琲の表面を円形で簡略化して示すとともに、珈琲の表面及びミルク等も簡略化して示す。
図42(1)には、珈琲カップ内の珈琲800にミルク801が注がれた場合を示す。例えば、ユーザが、珈琲カップ内の珈琲800をスプーン等でかき混ぜた状態(回転させた状態)で、珈琲800の一部にミルク801を注ぐ場合の例を示す。
このように、珈琲800が珈琲カップ内で回転している状態でミルク801が注がれると、図42(2)に示すように、珈琲カップ内の珈琲800の流れに沿ってミルク801が流れるようになる。そして、図42(3)~(6)に示すように、珈琲800の表面にミルク801が拡大していく。また、珈琲800において、ミルク801の拡大とともに、珈琲800及びミルク801が混ざり合い、珈琲800の表面の色が黒から白っぽく変化する。
このように、珈琲カップ内の珈琲800にミルク801が注がれると、図42(1)~(6)に示すように、珈琲カップ内の珈琲800の表面には、珈琲の色(黒っぽい色)やミルクの色(白っぽい色)などの様々な色や模様が形成される。このように形成される色や模様は、ミルクを注ぐ人やミルクを注ぐ環境などによって異なることが多い。また、このように形成される色や模様は、同一人が同一の環境でミルクを注いだとしても同一または略同一となることは少ないと想定される。そこで、第7の実施の形態では、珈琲カップ内の珈琲800にミルク801が注がれる場合に形成される色や模様を用いて各種の情報を提供する例を示す。
[判定情報の例]
図43は、第7の実施の形態における電子機器により出力対象の情報を決定する場合に用いられる各種情報の一例を示す図である。
図43(1)には、珈琲カップ内の珈琲にミルクが注がれた場合の珈琲の表面に関する画像パターンの一例を示す。図43(1)に示すように、珈琲カップ内の珈琲にミルクが注がれた場合の珈琲の表面に発生すると想定される画像のパターンを、判定情報として電子機器の記憶部に保持しておく。なお、図43(1)では、説明を容易にするため、画像パターンを簡略化して示す。また、画像パターンの数N(ただし、Nは正の整数)は、電子機器の記憶部の記憶容量に応じて増減するようにしてもよい。なお、図43(1)に示す画像パターンは、図12(1)に示す画像パターンに対応するものである。
図43(2)には、図43(1)に示す判定情報(画像パターンPPA1~PPAN)を用いて取得された情報に基づいて出力対象となる情報を決定する場合に用いる判定情報(テーブル)の一例を示す。図43(2)に示す判定情報は、珈琲に関する情報(例えば、珈琲カップ内の珈琲にミルクが注がれた場合の珈琲の表面)の遷移と、出力対象となる情報OIとの対応関係を示す情報である。なお、図43(2)に示す判定情報は、図12(2)に示す判定情報に対応するものである。
[設置機器の外観構成例]
図44は、第7の実施の形態における電子機器810を設置する設置機器830の外観構成の一例を示す側面図である。なお、電子機器810は、スマートフォンやタブレット端末等の電子機器、情報処理装置である。また、画像取得部811は、電子機器810に備えられるカメラ(例えば、動画、静止画を取得可能なカメラ)である。また、表示部812は、電子機器810に備えられるユーザインタフェース(例えば、表示とともに操作入力が可能なタッチパネル)である。
設置機器830は、下部に珈琲カップ820を設置し、その上部に電子機器810を設置して、珈琲カップ820内の珈琲の表面に関する情報を取得するための機器である。すなわち、設置機器830は、電子機器810を支持するための支持台であり、平板状の部材を側面視でコの字形状として形成することができる。また、例えば、設置機器830の上部(電子機器810が設置される部分)には、電子機器810の画像取得部811のレンズの直径よりも大きく、電子機器810の筐体よりも小さい形状(例えば、円形状)の孔が設けられている。この孔には、防水等のために、透明部材(例えば、ガラス)を設けるようにしてもよい。そして、ユーザは、その孔を通して電子機器810の画像取得部811のレンズが珈琲カップ820内の珈琲の表面を向くように電子機器810を設置する。ユーザは、例えば、電子機器810の表示部812を見ながら電子機器810を設置することができる。
また、設置機器830には、ミルク補充機831を設けることができる。ミルク補充機831は、ミルク収容部832、操作部材833、ミルク供給部834を備える。ミルク収容部832には、設置機器830に設置された珈琲カップ820内の珈琲に注がれるミルクが収容される。操作部材833は、管を通してミルク収容部832からミルク供給部834に供給されるミルクの量を調整するための調整バルブである。ミルク供給部834は、ミルク収容部832から管を通して供給されるミルクを、設置機器830に設置された珈琲カップ820内の珈琲に供給する注ぎ口である。なお、ミルク供給部834は、設置機器830に設置される珈琲カップ820に対して移動可能とすることが好ましい。そして、ユーザは、珈琲が入れられた珈琲カップ820を設置機器830に設置し、操作部材833を操作することにより、珈琲カップ820内の珈琲に所望のミルクを注ぐことができる。この場合に、設置機器830に設置される珈琲カップ820の位置(または、ミルク供給部834の注ぎ口の位置)や、ミルク補充機831から注がれるミルクの量(ユーザによる操作部材833の操作で決定される)により、珈琲カップ820内の珈琲の表面に広がるミルクが異なる。すなわち、ユーザが、設置機器830に設置される珈琲カップ820の位置(または、ミルク供給部834の注ぎ口の位置)や、ミルク補充機831から注がれるミルクの量(ユーザによる操作部材833の操作で決定される)を調整することにより、珈琲カップ820内の珈琲の表面に広がるミルクの遷移を楽しむことができる。なお、設置機器830の素材として、例えば、耐熱ガラス、陶器、金属、セラミック、樹脂、木等を用いることができる。
例えば、電子機器810の制御部は、画像取得部811から取得した画像における円形領域(珈琲カップ820内の珈琲(液体)の表面に相当する円形領域)を決定する。次に、電子機器810の制御部は、その決定した円形領域に含まれる画像と、図43(1)に示す判定情報における各画像パターンPPA1~PPANとを比較し、類似の程度が最も高い画像パターンを特徴量として抽出する。
例えば、各画像パターンPPA1~PPANの各画素は2値(黒、白)を表すものとする。また、電子機器810の制御部は、その決定した円形領域に含まれる画像における各画素を黒領域及び白領域の何れかに決定する(例えば、2値化処理)。次に、電子機器810の制御部は、その決定した円形領域に含まれる画像における各画素(黒、白)と、各画像パターンPPA1~PPANの各画素(黒、白)とについて、対応する画素同士(円形領域における同じ位置の画素同士)を比較し、一致する画素の数を、画像パターンPPA1~PPAN毎に算出する。次に、電子機器810の制御部は、一致する画素の数が最も多い画像パターンPPA1~PPANを、類似の程度が最も高い画像パターンとして抽出する。
次に、電子機器810の制御部は、抽出した画像パターンPPA1~PPANを経過時間に関連付けて電子機器810の記憶部に記憶する。例えば、電子機器810の制御部は、時間t1~t8のタイミングで取得した各画像について決定された特徴量(画像パターンPPA1~PPAN)を、時間t1~t8に関連付けて電子機器810の記憶部に記憶する。
次に、電子機器810の制御部は、その取得した特徴量に基づいて、音声出力部からの出力対象となる情報を決定する。例えば、電子機器810の制御部は、その取得した特徴量(例えば、時間t1~t8と画像パターンPPA1~PPANとを関連付けた情報)と一致する特徴量を、図43(2)に示す判定情報(テーブル)から抽出する。次に、電子機器810の制御部は、その抽出された特徴量に対応する情報(出力対象となる情報)OIを決定し、決定された情報(出力対象となる情報OI)に関連付けて電子機器810の記憶部に記憶されている音声情報を決定する。
このように、珈琲カップ内の珈琲にミルクが注がれた場合の珈琲の表面に関する情報を取得する場合には、例えば、画像取得部811を備える電子機器810(例えば、スマートフォン、タブレット端末等の機器)を用いることができる。例えば、ミルクを注ぐタイミング(注ぐ前、注ぐ瞬間または注いだ後)でユーザが電子機器810を用いて、ミルクが注がれた珈琲の表面に関する情報を取得することができる。なお、図44では、設置機器830を用いて電子機器810を固定した状態で画像情報を取得する例を示すが、ユーザが電子機器810を手に持った状態で画像情報を取得するようにしてもよい。
また、以上では、図43に示す判定情報を用いる例を示したが、他の判定情報(例えば、第1~第6の実施の形態で示した判定情報)を用いるようにしてもよい。また、以上では、画像情報を取得した電子機器810がコンテンツを出力する例を示したが、第3、第4の実施の形態で示したように、他の機器からコンテンツを出力させるようにしてもよい。また、第5の実施の形態で示したように、複数の電子機器からの情報を集計してその集計結果に基づいて各機器からコンテンツを出力させるようにしてもよい。また、第6の実施の形態で示したように、飲み物に関して取得された情報自体を出力するようにしてもよい。また、以上では、他の食品(例えば、ミルク)が入れられた飲み物に関する画像情報を取得して用いる例を示したが、上述した他のセンサ(例えば、音センサ、温度センサ、匂いセンサ)により、他の食品が入れられた飲み物に関する情報(例えば、音、温度、匂い)を取得して用いるようにしてもよい。また、これらのセンサのうちの2つ以上、または、2種類以上のセンサを用いるようにしてもよい。
[第8の実施の形態:電子機器から特定のコンテンツや割引クーポンを出力する例]
上述したように、特定の義業者(例えば、特定のコンテンツや割引クーポンを提供する会社)と提携し、出力対象画像を出力することができる。例えば、特定の義業者から、特定の画像の遷移(例えば、画像パターン(図12(1)、図43(1)に示す))の提供を受け、これと一致した場合に、特定の義業者から提供される情報(例えば、割引クーポン、特定コンテンツ)を、電子機器から出力することができる。そこで、図45では、その出力例を示す。なお、第8の実施の形態は、第1~第7の実施の形態の一部を変形した例であり、第1~第7の実施の形態と共通する部分についてはその説明の一部を省略する。
図45は、第8の実施の形態における電子機器840からコンテンツを出力する場合の例を簡略化して示す図である。なお、電子機器840は、スマートフォンやタブレット端末等の電子機器、情報処理装置である。また、電子機器840は、飲み物に関する情報(例えば、画像情報)を自機に備えるセンサにより取得して用いるようにしてもよく、他の機器により取得された情報を用いるようにしてもよい。
ここで、飲食店に入る場合には、自己の嗜好、予算、店のメニューなどを考慮して、入るか否かを決めることが多い。また、飲食店に入った後も同様に、自己の嗜好、予算、店のメニューなどを考慮して、どのメニューを注文するかを決めることが多い。そこで、各ユーザの好みに合うように、図45に示すように、複数の段階に分けてコンテンツを提供するようにしてもよい。
図45(1)には、電子機器840がA店に関する割引クーポン(コンテンツ(表示画面及び音声情報))を出力する場合の一例を示す。
図45(1)に示すように、電子機器840の制御部は、飲み物に関する情報に基づいて決定された音声情報(図示を省略)に基づいて、「いらっしゃいませ。本日の優待準備ができました。」の音声を音声出力部841から出力させる。また、電子機器840の制御部は、飲み物に関する情報に基づいて決定された画像情報(図示を省略)に基づいて、「いらっしゃいませ。本日の優待準備ができました。」の文字と、「優待出力」ボタン851と、「戻る」ボタン852とを表示部850に表示させる。
図45(1)に示すように、音声情報及び画像情報により優待(コンテンツ)を出力することができる旨をユーザに通知することができる。この通知をユーザが把握して、ユーザが「優待出力」ボタン851を押下すると、図45(2)に示す表示画面が表示される。なお、「戻る」ボタン852が押下された場合には、元の画面に戻る。例えば、待機画面や再度の優待決定処理を行うための画面に戻ることができる。
図45(2)には、図45(1)に示す表示画面において、「優待出力」ボタン851が押下された後に出力されるコンテンツ(表示画面及び音声情報)の一例を示す。
図45(2)に示すように、電子機器850の制御部は、飲み物に関する情報に基づいて決定された音声情報に基づいて、「いらっしゃいませ。本日はシラス丼が半額です。」の音声を音声出力部841から出力させる。また、電子機器850の制御部は、飲み物に関する情報に基づいて決定された画像情報に基づいて、「いらっしゃいませ。本日はシラス丼が半額です。」の文字と、A店に関する画像やA店のメニュー(シラスを示す画像)と、「もっと優待」ボタン853と、「終了」ボタン854とを表示部850に表示させる。
図45(2)に示すコンテンツの出力がされた後に、ユーザが「もっと優待」ボタン853を押下すると、図45(3)に示す表示画面が表示される。なお、「終了」ボタン854が押下された場合には、コンテンツ出力処理が終了し、通常の表示画面に戻る。
図45(3)には、図45(2)に示す表示画面において、「もっと優待」ボタン853が押下された後に出力されるコンテンツ(表示画面及び音声情報)の一例を示す。
図45(3)に示すように、電子機器850の制御部は、飲み物に関する情報に基づいて決定された音声情報に基づいて、「A店名物の割引券です。」の音声を音声出力部841から出力させる。また、電子機器840の制御部は、飲み物に関する情報に基づいて決定された画像情報に基づいて、「A店名物の割引券です。」の文字と、「セロリ漬け3割引き」ボタン855と、「エビカレー3割引き」ボタン856と、「保存」ボタン857と、「終了」ボタン858とを表示部850に表示させる。なお、「セロリ漬け3割引き」ボタン855は、A店が提供する飲食物「セロリ漬け」について優待(3割引き)を受けるための操作を開始するボタンである。また、「エビカレー3割引き」ボタン856は、A店が提供する飲食物「エビカレー」について優待(3割引き)を受けるための操作を開始するボタンである。
例えば、「セロリ漬け3割引き」ボタン855と、「エビカレー3割引き」ボタン856とのうちの少なくとも1つが押下されると、押下されたボタンが選択状態(例えば、ボタンの色が変化)となる。そして、その選択状態で、「保存」ボタン857が押下されると、選択状態のボタンに対応する飲食物について優待を受けるための処理が開始される。例えば、セロリ漬け3割引きを示す画像や、エビカレー3割引きを示す画像が保存される。そして、ユーザは、A店に行き、その保存された画像を見せることにより、各優待を受けることができる。なお、「もっと優待」ボタン853の押下後に表示されるボタン(例えば、「セロリ漬け3割引き」ボタン855、「エビカレー3割引き」ボタン856)については、「もっと優待」ボタン853とともに表示されているコンテンツ(例えば、シラス丼に関するコンテンツ)に関連するもの(例えば、シラス丼とともに食べたい食材)でもよく、そのコンテンツとは無関係のもの(例えば、本日のおすすめ品)でもよい。また、「もっと優待」ボタン853の押下後に表示されるボタン(例えば、「セロリ漬け3割引き」ボタン855、「エビカレー3割引き」ボタン856)を表示させる情報についても提供情報として記憶されている。
このように、ユーザがA店に入った場合には、A店に関連するコンテンツの提供を受けることができる。この場合に、ユーザが入れた珈琲によって、提供対象となる情報が変わる可能性があるため、意外性のあるコンテンツの出力を楽しむことができる。
なお、図45では、3段階でコンテンツを出力する例を示したが、1または2段階でコンテンツを出力するようにしてもよく、4段階以上でコンテンツを出力するようにしてもよい。また、図45(3)では、選択対象となるボタンが2の場合を例にして説明したが、選択対象となるボタンの数はこれに限定されず、1でもよく、3以上でもよい。
[第9の実施の形態:ゲームへの応用例]
上述した技術を適用して、例えば、ゲームを行う場合において、そのゲームに関連する各種情報を提供することが考えられる。そこで、第9の実施の形態では、ゲームを行う場合において、そのゲームに関連する各種情報を提供する例を示す。なお、第9の実施の形態は、第1~第8の実施の形態の一部を変形した例であり、第1~第8の実施の形態と共通する部分についてはその説明の一部を省略する。
[屋外に設置されている表示装置に表示されるキャラクターの対戦ゲームに関連する情報を提供する例]
図46は、第9の実施の形態における通信システム40の構成例を簡略化して示す図である。図46では、電子機器900、901~904、表示装置910間で無線通信を行う例を示す。また、電子機器900、901~904は、ユーザP0~P4により所持され、表示装置910は、固定して設置されている例を示す。
電子機器900、901~904は、表示装置910の表示部911にキャラクターを表示させ、ユーザ操作に基づいて、各キャラクターを制御することが可能な電子機器である。電子機器900、901~904は、例えば、スマートフォン、タブレット端末、ゲーム機器である。
また、キャラクターAは、電子機器900により制御されるキャラクターであり、キャラクターBは、電子機器901により制御されるキャラクターであり、キャラクターCは、電子機器902により制御されるキャラクターであり、キャラクターDは、電子機器903により制御されるキャラクターであるものとする。なお、電子機器904により制御されるキャラクターは、まだ、表示装置910の表示部911に表示されていないものとする。
表示装置910は、無線通信が可能な通信部(図示せず)と、各部の制御を行う制御部(図示せず)と、表示部911とを備える表示装置(情報処理装置、電子機器)である。例えば、表示装置910の制御部(図示せず)は、電子機器900、901~904から送信される情報に基づいて、表示部911の表示制御を行う。具体的には、表示装置910の制御部(図示せず)は、電子機器900から送信される情報に基づいて、表示部911にキャラクターAを表示させ、電子機器901から送信される情報に基づいて、表示部911にキャラクターBを表示させ、電子機器902から送信される情報に基づいて、表示部911にキャラクターCを表示させ、電子機器903から送信される情報に基づいて、表示部911にキャラクターDを表示させる。また、表示装置910の制御部(図示せず)は、電子機器900から送信される情報に基づいて、表示部911におけるキャラクターAの動作制御を行い、電子機器901から送信される情報に基づいて、表示部911におけるキャラクターBの動作制御を行い、電子機器902から送信される情報に基づいて、表示部911におけるキャラクターCの動作制御を行い、電子機器903から送信される情報に基づいて、表示部911におけるキャラクターDの動作制御を行う。
また、表示装置910の制御部(図示せず)は、電子機器900、901~903から送信される情報に基づいて、表示部911におけるキャラクターA~Dに各種情報を付加して表示させる。例えば、表示装置910の制御部(図示せず)は、電子機器900から送信される情報に基づいて、表示部911におけるキャラクターAに道具71を付加して表示させ、電子機器901から送信される情報に基づいて、表示部911におけるキャラクターBに道具72を付加して表示させ、電子機器902から送信される情報に基づいて、表示部911におけるキャラクターCに道具73を付加して表示させ、電子機器903から送信される情報に基づいて、表示部911におけるキャラクターDに道具74を付加して表示させる。
[対戦ゲームのキャラクターに提供する情報の例]
図47は、第9の実施の形態における電子機器900、901~904により判定情報を用いて決定された提供情報OIと、提供情報921との対応関係の一例を示す図である。なお、提供情報を決定する場合に用いる判定情報(テーブル)は、上述した各判定情報(図6、図12、図43)を用いることができる。これらの各情報は、各電子機器の記憶部に記憶される。
なお、図47では、提供情報として、各キャラクターが用いる道具を決定する例を示すが、他の情報(例えば、各キャラクターに付与する経験値、属性等)を決定するようにしてもよい。また、複数の情報を提供するようにしてもよい。
例えば、提供情報OIとしてOIXY1が決定された場合には、道具71(図46に示すキャラクターAが所持)が提供対象となる。また、提供情報OIとしてOIYY2が決定された場合には、道具74(図46に示すキャラクターDが所持)が提供対象となる。また、提供情報OIとしてOIYZ1が決定された場合には、道具72(図46に示すキャラクターBが所持)が提供対象となる。また、提供情報OIとしてOIZZ7が決定された場合には、道具73(図46に示すキャラクターCが所持)が提供対象となる。
[表示装置に表示されるキャラクターが道具を取得する場合の操作例]
図48は、第9の実施の形態における電子機器900を用いて表示装置910の表示部911に表示されるキャラクターAに道具75を追加表示させるための操作例を示す図である。
図48(1)には、新たな道具を取得することが可能である旨をユーザに通知するための通知情報を出力する場合の出力例を示す。電子機器900の表示部950には、新たな道具を取得することが可能である旨が表示されるとともに、音声出力部960から、新たな道具を取得することが可能である旨が音声出力される。また、電子機器900の表示部950には、操作ボタン群81及び「取得」ボタン82が表示される。
操作ボタン群81は、表示装置910の表示部911に表示されるキャラクターAを操作するためのボタン(○と△で示す)である。例えば、ユーザP0が操作ボタン群81のうちの所望のボタンの押下操作等を行うことにより、表示装置910の表示部911に表示されるキャラクターAに所定の動作(例えば、進む、下がる、攻撃、防御)をさせることができる。
「取得」ボタン82は、新たな道具を取得可能なタイミングで表示されるボタンである。ユーザP0により「取得」ボタン82が押下されると、図48(2)に示す表示画面が電子機器900の表示部950に表示される。
図48(2)には、新たな道具を取得した旨をユーザに通知するための通知情報を出力する場合の出力例を示す。電子機器900の表示部950には、新たな道具を取得した旨と、新たに取得された道具を示す画像とが表示されるとともに、音声出力部960から、新たな道具を取得した旨が音声出力される。また、電子機器900の表示部950には、操作ボタン群81及び「使用」ボタン83が表示される。
「使用」ボタン83は、「取得」ボタン82の押下操作により、新たな道具が取得された場合に表示されるボタンである。なお、新たに取得した道具については、すぐに使用するようにしてもよく、所望のタイミング(例えば、ゲームでの実際の使用時)で使用するようにしてもよい。
ユーザP0により「使用」ボタン83が押下されると、図48(3)に示すように、表示装置910の表示部911におけるキャラクターAに道具75が追加表示される。すなわち、電子機器900の制御部は、「使用」ボタン83の押下操作に基づいて、取得した提供情報(道具75)に関する情報(表示装置910の表示部911に道具75を表示させ、キャラクターAが使用可能とするための情報)を表示装置910に送信する。そして、表示装置910の制御部は、電子機器900から受信した情報に基づいて、表示部911におけるキャラクターAに道具75を追加表示させる。
図48(3)に示すように、表示装置910の表示部911におけるキャラクターAに道具75が追加表示されることにより、キャラクターAは、道具71及び道具75を所持することができ、他のキャラクターとの対戦を有利にすることができる。なお、この例では、外部装置(表示装置910)にキャラクターが表示される例を示したが、各電子機器の表示部にキャラクターを表示させて、各電子機器のユーザにより行われるゲームについても同様に適用することができる。
[物語ゲームに関連する情報を提供する例]
図49は、第9の実施の形態における電子機器900の表示部950に表示される物語ゲームの一例を簡略化して示す図である。図49では、ユーザが、電子機器900の表示部950に物語ゲームを表示させ、物語ゲームを行う例を示す。
ここで、物語ゲームは、所定の目的を達成するため、所定の標識を用いて行うゲームである。例えば、物語ゲームは、各役割を演じるキャラクター(所定の標識)が、各種の経験(例えば、冒険、探検、対戦)を行いながら、目的地まで進行するゲームである。図49では、キャラクターX(下部分に示す)が○○城(上部分に示す)を目的地として、各種の経験(例えば、他のキャラクターとの対戦、各道の進行)をしながら○○城まで進行するゲームを例にして説明する。なお、図49では、説明を容易にするため、電子機器900の表示部950の表示画面に物語ゲームの全体を表示する例を示すが、表示部950の表示画面よりも広い領域を物語ゲームの領域とするようにしてもよく、複数の画面(例えば、階層構造の画面)を用いて物語ゲームを行うようにしてもよい。このように、物語ゲームは、目的達成ゲーム、キャラクター進行ゲーム、冒険ゲーム、探検ゲームなどと称することができる。
電子機器900の制御部は、記憶部に記憶されているプログラム(例えば、物語ゲームのアプリケーション)に基づいて、表示部950に物語ゲームを表示させる。また、電子機器900の制御部は、ユーザ操作(例えば、操作部におけるユーザ操作、ユーザの音声入力に基づくユーザ操作、電子機器900の姿勢の変化に基づく操作)に基づいて、キャラクターXの各種動作を制御する。
また、電子機器900の制御部は、飲み物に関する情報に基づいて、表示部950におけるキャラクターXに各種情報を付加して表示させる。例えば、電子機器900の制御部は、飲み物に関する複数の情報に基づいて、表示部950におけるキャラクターXに道具933、934(図51に示す)を付加して表示させる。
[物語ゲームのキャラクターに提供する情報の例]
図50は、第9の実施の形態における電子機器900により判定情報を用いて決定された提供情報OIと、提供情報941、942、943との対応関係の一例を示す図である。なお、提供情報を決定する場合に用いる判定情報(テーブル)は、上述した各判定情報(図6、図12、図43)を用いることができる。これらの各情報は、電子機器900の記憶部に記憶される。
なお、図50では、提供情報として3以上の情報を提供する例を示すが、1、2の情報を提供するようにしてもよい。
例えば、提供情報OIとしてOIJK1が決定された場合には、「道具(矩形状の道具)」と、「家108」と、「お金99」とが提供対象となる。また、提供情報OIとしてOIGT3が決定された場合には、「経験値89」と、「道具(T字型の道具)」と、「お金67」とが提供対象となる。また、提供情報OIとしてOIMU9が決定された場合には、「道具(剣型の道具)」と、「お金678」と、「経験値2」とが提供対象となる。また、提供情報OIとしてOIPO6が決定された場合には、「戦車7」と、「お金100」と、「道具(棒状の道具)」とが提供対象となる。
例えば、提供情報が道具の場合には、その道具がキャラクターXに提供され、キャラクターXは、その道具を用いることができる。また、例えば、提供情報が経験値の場合には、その経験値の数値の演算(例えば、加算)が順次行われ、キャラクターXは、その演算結果に基づく経験値に基づいて、各種動作を行うことができる。また、例えば、提供情報がお金の場合には、そのお金の数値の演算(例えば、加算)が順次行われ、キャラクターXは、その演算結果に基づく合計額に基づいて、各種の買い物等を行うことができる。また、例えば、提供情報が車、家、戦車、飛行機の場合には、その項目の数値の演算(例えば、加算)が順次行われ、キャラクターXは、その演算結果に基づく各項目の合計値に基づいて、各種の乗り物、物件等を用いることができる。
[提供情報の表示例]
図51は、第9の実施の形態における電子機器900の表示部950に提供情報を表示する場合の表示例を示す図である。図51では、電子機器900の表示部950における物語ゲームの画面において、所定期間に取得された提供情報を表示させる例を示す。
電子機器900の制御部は、所定の出力タイミング(例えば、物語ゲームが起動された場合、ユーザ操作により指示された場合、所定の時刻になった場合)で、所定期間(例えば、前回の提供情報表示からの期間)に取得された提供情報を出力(例えば、音声出力、画像表示、他の機器への送信)させることができる。例えば、電子機器900の制御部は、所定期間に取得された提供情報を記憶部に順次記憶させる。そして、電子機器900の制御部は、所定の出力タイミングになった場合に、所定期間に取得された提供情報の一覧を提供情報表示領域932に表示させることができる。例えば、経験値、お金、家、乗り物などについては、各項目とともに各演算結果(例えば、合計値)が表示される。また、道具については、道具を表す画像が表示される。
[育てるゲームに関連する情報を提供する例]
図52は、第9の実施の形態における電子機器900の表示部950に表示される育てるゲームの遷移例を簡略化して示す図である。図52では、電子機器900の表示部950に表示される魚を育てるゲームにおいて、その魚が育つ遷移を時系列で示す。
ここで、育てるゲームは、動物、植物等を育てるゲームである。例えば、育てるゲームは、動物、植物等のキャラクタ(所定の標識)が、各種の役割を担ったり、各種の経験(例えば、冒険、探検、対戦)を行ったりしながら、成長をしていくゲームである。図52では、魚が成長するゲームを示す。
図52(1)には、育てるゲームにおいて、生まれたばかりの魚(稚魚)が表示されている例を示す。また、図52(2)には、育てるゲームにおいて、少し成長した魚が表示されている例を示す。また、図52(3)には、育てるゲームにおいて、大きく成長した魚が表示されている例を示す。なお、図52では、説明を容易にするため、電子機器900の表示部950の表示画面に育てるゲームの全体を表示する例を示すが、育てるゲームのフィールドを表示部950の表示画面よりも広い領域とするようにしてもよく、複数の画面(例えば、階層構造の画面)を用いて育てるゲームを行うようにしてもよい。また、図52では、1匹の魚を育てるゲームの例を示すが、複数の魚を育てるようにしてもよく、複数種類の魚や、異なる種別の動物、植物などを育てるようにしてもよい。また、育てる途中で変位(例えば、魚から牛に変位)するようにしてもよい。このように、育てるゲームは、育成ゲーム、見守りゲーム、飼育ゲーム、ペットゲームなどと称することができる。
電子機器900の制御部は、記憶部に記憶されているプログラム(例えば、育てるゲームのアプリケーション)に基づいて、表示部950に育てるゲームを表示させる。また、電子機器900の制御部は、ユーザ操作(例えば、操作部におけるユーザ操作、ユーザの音声入力に基づくユーザ操作、電子機器900の姿勢の変化に基づく操作)に基づいて、魚を育てるための各種動作を制御する。
また、電子機器900の制御部は、飲み物に関する情報に基づいて、表示部950における魚に各種情報を付加して表示させる。例えば、電子機器900の制御部は、飲み物に関する複数の情報に基づいて、表示部950における魚に餌や外敵を付加して表示させる。
[育てるゲームのキャラクターに提供する情報の例]
図53は、第9の実施の形態における電子機器900により判定情報を用いて決定された提供情報OIと、提供情報961、962、963との対応関係の一例を示す図である。なお、提供情報を決定する場合に用いる判定情報(テーブル)は、上述した各判定情報(図6、図12、図43)を用いることができる。これらの各情報は、電子機器900の記憶部に記憶される。
なお、図53では、提供情報として3以上の情報を提供する例を示すが、1、2の情報を提供するようにしてもよい。
例えば、提供情報OIとしてOIHH1が決定された場合には、「サメに襲われる」と、「釣られる」と、「タイヤキになる」とが提供対象となる。この場合には、3の提供情報のうちからユーザ操作により1または2の提供情報を選択するようにしてもよく、3の提供情報の全て(例えば、第1~第3の順番で)を魚に経験させるようにしてもよい。例えば、「サメに襲われる」の提供情報を魚に経験させる場合には、育てる対象の魚とともにサメを表示部950に表示させ、育てる対象の魚がサメから逃げる様子が順次表示させる。また、例えば、「釣られる」の提供情報を魚に経験させる場合には、育てる対象の魚が人に釣られる様子を表示部950に表示させ、育てる対象の魚が竿から逃げる様子が順次表示させる。また、例えば、「タイヤキになる」の提供情報を魚に経験させる場合には、育てる対象の魚がタイヤキになる様子を表示部950に表示させ、育てる対象の魚がタイヤキの夢から覚める様子が順次表示させる。
このように、魚を育てるゲームにおいて、提供情報に関連する画像が同時または順次表示される。または、魚を育てるゲームにおいて、提供情報に関連する音声情報を同時または順次出力するようにしてもよい。
例えば、育てるゲームは、ゲームを開始するためのユーザ操作が行われると、育てる対象の魚の卵または稚魚が表示部950に表示される。その後は、魚が大きくなるまで自動で育てることができる。例えば、ユーザが、毎日、珈琲を抽出すると、その抽出に応じて、提供情報が順次取得されていく。そして、ユーザが育てるゲームの表示指示操作を行うと、その取得された提供情報に基づいて成長した魚が表示部950に表示される。または、ユーザが育てるゲームの表示指示操作を行った後に、取得された提供情報に基づく魚の成長する遷移を表示部950に順次表示するようにしてもよい。また、ユーザ操作に基づいて、魚を成長させるようにしてもよい。
電子機器900の制御部は、所定のタイミング(例えば、育てるゲームの表示指示操作が行われた場合、所定の時刻になった場合)で、所定期間(例えば、前回の育てるゲームの表示からの期間)に取得された提供情報に基づく処理(例えば、身長が伸びる、友達ができる)を行うことができる。例えば、電子機器900の制御部は、所定期間に取得された提供情報を記憶部に順次記憶させる。そして、電子機器900の制御部は、所定の出力タイミングになった場合に、所定期間に取得された提供情報に基づく処理を行う。
[放浪ゲームに関連する情報を提供する例]
図54は、第9の実施の形態における電子機器900の表示部950に表示される放浪ゲームの遷移例を簡略化して示す図である。図54では、電子機器900の表示部950に表示される放浪ゲームにおいて、主役の羊が世界各地を旅する遷移を時系列で示す。
ここで、放浪ゲームは、動物、植物等を育てたり、移動させたりする様子をユーザが楽しむゲームである。例えば、放浪ゲームは、動物、植物等のキャラクタ(所定の標識)が、各種の役割(例えば、旅人)を担ったり、各種の経験(例えば、観光地での記念撮影、観光地での観光)を行ったりしながら、世界各地を旅するゲームである。図54では、羊が旅するゲームを示す。
図54(1)には、放浪ゲームにおいて、主人公の羊が表示されている例を示す。また、図54(2)(3)には、放浪ゲームにおいて、所定の場所に旅した後の羊が表示されている例を示す。なお、図54では、説明を容易にするため、電子機器900の表示部950の表示画面に放浪ゲームの全体を表示する例を示すが、放浪ゲームのフィールドを表示部950の表示画面よりも広い領域とするようにしてもよく、複数の画面(例えば、階層構造の画面)を用いて放浪ゲームを行うようにしてもよい。また、図54では、1頭の羊を放浪させるゲームの例を示すが、複数の羊を放浪させるようにしてもよく、複数種類の動物や、異なる種別の動物、植物などを育てるようにしてもよい。また、放浪の途中で変位(例えば、羊から牛に変位)するようにしてもよい。このように、放浪ゲームは、放置ゲームなどと称することができる。
電子機器900の制御部は、記憶部に記憶されているプログラム(例えば、放浪ゲームのアプリケーション)に基づいて、表示部950に放浪ゲームを表示させる。また、電子機器900の制御部は、ユーザ操作(例えば、操作部におけるユーザ操作、ユーザの音声入力に基づくユーザ操作、電子機器900の姿勢の変化に基づく操作)に基づいて、羊を放浪させるための各種動作を制御する。
また、電子機器900の制御部は、飲み物に関する情報に基づいて、表示部950における羊に各種情報を付加して表示させる。例えば、電子機器900の制御部は、飲み物に関する複数の情報に基づいて、表示部950における羊に餌、旅支度、食料、放浪地での記念品、放浪地での写真を付加して表示させる。
[放浪ゲームのキャラクターに提供する情報の例]
図55は、第9の実施の形態における電子機器900により判定情報を用いて決定された提供情報OIと、提供情報971、972、973との対応関係の一例を示す図である。なお、提供情報を決定する場合に用いる判定情報(テーブル)は、上述した各判定情報(図6、図12、図43)を用いることができる。これらの各情報は、電子機器900の記憶部に記憶される。
なお、図55では、提供情報として3以上の情報を提供する例を示すが、1、2の情報を提供するようにしてもよい。
例えば、提供情報OIとしてOIHK9が決定された場合には、「カメラを獲得」と、「10kgの草を獲得」と、「毛の一部を刈られる」とが提供対象となる。この場合には、3の提供情報のうちからユーザ操作により1または2の提供情報を選択するようにしてもよく、3の提供情報の全て(例えば、第1~第3の順番で)を所定規則(例えば、第1提供情報→第2提供情報→第3提供情報)に基づいて羊に経験させるようにしてもよい。例えば、「カメラを獲得」の提供情報を羊に経験させる場合には、獲得したカメラを首にかけた羊を表示部950に表示させる。そして、これ以降に羊が旅に出る場合には、そのカメラにより撮影された写真を取得して帰るように設定することができる。また、例えば、「10kgの草を獲得」の提供情報を羊に経験させる場合には、獲得した草を家で羊が食べる様子を表示部950に表示させる。そして、残った草を旅の弁当にする選択をユーザにさせるようにしてもよい。また、例えば、「毛の一部を刈られる」の提供情報を羊に経験させる場合には、誰かに羊の毛が刈られる様子を表示部950に表示させ、これ以降、所定時間が経過するまでの間、毛の一部がない羊の様子が順次表示させる。
このように、放浪ゲームにおいて、提供情報に関連する画像が同時または順次表示される。または、放浪ゲームにおいて、提供情報に関連する音声情報を同時または順次出力するようにしてもよい。
例えば、放浪ゲームは、ゲームを開始するためのユーザ操作が行われると、主役の羊が表示部950に表示される。その後は、羊に付加される各種情報に基づいて、羊が自動で世界各地に放浪の旅にでることができる。例えば、ユーザが、毎日、珈琲を抽出すると、その抽出に応じて、提供情報が順次取得されていく。そして、ユーザが放浪ゲームの表示指示操作を行うと、その取得された提供情報に基づいて、放浪している地域での羊や自宅に戻った羊が表示部950に表示される。または、ユーザが放浪ゲームの表示指示操作を行った後に、取得された提供情報に基づいて羊が過去に移動した各地の履歴情報(例えば、観光地での記念撮影写真)を表示部950に順次表示するようにしてもよい。例えば、図54(2)(3)に示す「旅履歴」ボタン981の押下操作が行われた場合には、羊が過去に旅した履歴情報(例えば、旅をした場所(例えば、観光地名、地名、国名)、旅をした日時)が表示部950に表示される。また、例えば、図54(2)(3)に示す「旅写真」ボタン982の押下操作が行われた場合には、羊が過去に旅した場所における写真情報(例えば、旅をした場所での記念撮影写真)が表示部950に表示される。また、例えば、図54(2)(3)に示す「お土産」ボタン983の押下操作が行われた場合には、羊が過去に旅した場所におけるお土産情報(例えば、旅をした場所の特産物、名産等の画像、お土産の説明文)が表示部950に表示される。また、ユーザ操作に基づいて、羊を旅させるようにしてもよい。
電子機器900の制御部は、所定のタイミング(例えば、放浪ゲームの表示指示操作が行われた場合、所定の時刻になった場合)で、所定期間(例えば、前回の放浪ゲームの表示からの期間)に取得された提供情報に基づく処理(例えば、群馬に旅する、沖縄に旅する)を行うことができる。例えば、電子機器900の制御部は、所定期間に取得された提供情報を記憶部に順次記憶させる。そして、電子機器900の制御部は、所定の出力タイミングになった場合に、所定期間に取得された提供情報に基づく処理を行う。
[ゲームの動作例]
図56は、第9の実施の形態における電子機器900による提供情報決定処理の一例を示すフローチャートである。なお、この動作例では、上述した各処理により飲み物に関する情報が電子機器900の記憶部に保持されている場合の例を示す。例えば、電子機器900が自機のセンサ等により飲み物に関する情報(例えば、画像情報)を取得して保持するようにしてもよく、他の機器により取得された情報(飲み物に関する情報(例えば、画像情報))を電子機器900が取得して保持するようにしてもよい。
最初に、電子機器900の制御部は、ユーザ操作が行われたか否かを判断する(ステップS1001)。例えば、図48(1)に示す操作ボタン群81の何れかの押下操作があった場合には、ユーザ操作が行われたと判断される。なお、ユーザ操作が行われない場合には、ステップS223に進む。
ユーザ操作が行われた場合には(ステップS1001)、電子機器900の制御部は、そのユーザ操作に基づく処理を行う(ステップS1002)。例えば、図48(1)に示す操作ボタン群81の何れかの押下操作があった場合には、電子機器900の制御部は、その押下操作されたボタンに対応する動作をキャラクターAにさせるための情報を表示装置910に送信する。
次に、電子機器900の制御部は、提供条件を満たすか否かを判断する(ステップS1003)。そして、提供条件を満していない場合には、動作を終了し、提供条件を満たす場合には、ステップS1004に進む。
ここで、提供条件を満たすか否かを判断する判断基準として、例えば、所定時間が経過したか否か、所望の提供情報(例えば、所望の道具、所望の経験)が提供対象として決定可能となったか否か、所定のユーザ操作(例えば、図48(1)に示す「取得」ボタン82の押下操作)が行われたか否か、新たな提供情報(例えば、所望の道具、所望の経験)を取得可能か否かを用いることができる。なお、所定時間は、例えば、電子機器900の電源がオンされてからの経過時間や、電子機器900の電源がオンされた後に、直前の情報(提供情報)が提供されてからの経過時間に基づいて判断することができる。また、所定時間は、予め設定されている時間とするようにしてもよく、ユーザ操作によりユーザの好みに応じた時間を設定するようにしてもよい。
提供条件を満たす場合には(ステップS1003)、電子機器900の制御部は、記憶部に保持されている情報(飲み物に関する情報)に基づいて、提供対象となる情報を決定する(ステップS1004)。
次に、電子機器900の制御部は、提供対象として決定した情報を記憶部に記憶する(ステップS1005)。このように、記憶部に記憶した提供情報については、例えば、ユーザ操作に基づいて使用することが可能である。例えば、図48(2)に示す「使用」ボタン83の押下操作を行うことにより、取得した道具を使用することができる。
このように、電子機器900の制御部は、飲み物に関する情報に基づいて、複数のコンテンツ(例えば、対戦ゲームのキャラクターに付与する複数の情報、物語ゲームのキャラクターに付与する複数の情報、育てるゲームのキャラクターに付与する複数の情報、放浪ゲームのキャラクターに付与する複数の情報)のうちからユーザに提供する少なくとも1つのコンテンツを決定することができる。
また、電子機器900の制御部は、飲み物に関する情報に基づいて、当該飲み物に関する処理(例えば、抽出処理)とは異なる複数の処理(例えば、ゲームを進行させる処理、ゲームのキャラクターに情報を付与する処理)のうちから少なくとも1つの処理を選択して実行することができる。なお、これらの各ゲームは、一例であり、他のゲームについても同様に適用することができる。
なお、第5の実施の形態で示したように、複数の電子機器からの情報をサーバが集計してその集計結果に基づいて各機器の提供対象となる情報を決定するようにしてもよい。
[第10の実施の形態:他の飲食物への応用例]
以上では、主に、飲み物に関して取得された情報に基づいて各処理(例えば、コンテンツ出力、ゲーム処理)を行う例を示した。ただし、他の飲食物に関して取得された情報に基づいて各処理(例えば、コンテンツ出力、ゲーム処理)を行うようにしてもよい。そこで、以下では、飲食物に関して取得された情報に基づいて各処理(例えば、コンテンツ出力、ゲーム処理)を行う例を示す。なお、第10の実施の形態は、第1~第9の実施の形態の一部を変形した例であり、第1~第9の実施の形態と共通する部分についてはその説明の一部を省略する。
例えば、料理中の鍋の中を対象として、その鍋の中に入っている具材に関する情報を取得して用いることができる。例えば、その鍋の中に入っている具材に関する画像情報を順次取得し、その画像情報(または、その画像情報の遷移)に基づいて、各処理(例えば、コンテンツ出力、ゲーム処理)を行うことができる。例えば、画像取得部を備える電子機器(例えば、スマートフォン、タブレット端末)により、料理中の鍋の中を撮影する。この場合に、撮影範囲は、料理中の鍋の具材であり、撮影期間は、ユーザの好みで決定することができる。この場合に、例えば、丸い鍋である場合には、上述した各判定情報(図6、図12、図43)を用いることができる。また、他の判定情報(例えば、白、黒の判定の代わりに各種の色を用いた判定、各色の配置を用いた判定)を用いて各処理(例えば、コンテンツ出力、ゲーム処理)を行うようにしてもよい。
また、例えば、テーブルに並べられた複数の料理(または、準備中のテーブル上の料理)を対象として、その各料理に関する情報を取得して用いることができる。例えば、その各料理に関する画像情報を順次取得し、その画像情報(または、その画像情報の遷移)に基づいて、各処理(例えば、コンテンツ出力、ゲーム処理)を行うことができる。例えば、画像取得部を備える電子機器(例えば、スマートフォン、タブレット端末)により、テーブルに並べられた複数の料理(または、準備中のテーブル上の料理)を撮影する。この場合に、撮影範囲は、ユーザの好みの範囲であり、撮影期間は、ユーザの好みで決定することができる。この場合に、例えば、撮影範囲を丸い範囲とする場合には、上述した各判定情報(図6、図12、図43)を用いることができる。また、他の判定情報(例えば、白、黒の判定の代わりに各種の色を用いた判定、各色の配置を用いた判定)を用いて各処理(例えば、コンテンツ出力、ゲーム処理)を行うようにしてもよい。また、例えば、撮影範囲を矩形範囲とする場合には、上述した各判定情報(図6、図12、図43)の代わりに矩形範囲の画像情報を用いることができる。この例を図57~図60に示す。なお、図57~図60に示す例は、図5~図12に示す例の変形例であり、共通する部分についてはその説明の一部を省略する。
[テーブルに並べられる飲食物の遷移例]
図57は、第10の実施の形態における電子機器により取得が可能な画像(テーブル1010に並べられる飲食物の画像)の遷移の一例を示す図である。なお、図57では、説明を容易にするため、テーブル1010を矩形で簡略化して示すとともに、テーブル1010に並べられる飲食物等も簡略化して示す。
図57(1)には、テーブル1010に調味料の容器1016以外の飲食物が存在しない状態を示す。図57(2)には、テーブル1010において、容器1016が下げられ、皿1011に盛り付けられた料理(目玉焼きと海苔)と、皿1012に盛り付けられた料理(食パン)とが並べられた状態を示す。図57(3)には、テーブル1010において、皿1013に盛り付けられた料理(サラダ)と、皿1014に盛り付けられた料理(スープ)とがさらに並べられた状態を示す。図57(4)には、テーブル1010において、皿1014に盛り付けられた料理(イカ墨パスタ)がさらに並べられた状態を示す。
図57(5)には、テーブル1010に並べられた各種の料理のうちの一部が食べられた状態を示す。図57(6)には、テーブル1010に並べられた各種の料理のうちのほとんどが食べられた状態を示す。
[テーブルに並べられる飲食物に関する画像情報を用いて出力対象の情報を決定するための判定情報の例]
図58は、第10の実施の形態における電子機器により出力対象の情報を決定する場合に用いられる各種情報の一例を示す図である。
図58(1)には、テーブルに並べられる飲食物に関する情報(例えば、テーブル1010に並べられる飲食物の画像情報)を取得する場合に用いる領域A~Pの一例を示す。図58(1)に示す矩形の領域は、電子機器の画像取得部により取得される画像(例えば、撮像素子により取得される矩形状の画像)のうちのテーブルの矩形に対応する領域である。また、図58(1)に示す矩形の領域を16領域に分割して領域A~Pとする。例えば、各面積が略同一となるように領域A~Pを設定することができる。なお、図58(1)に示す矩形の領域の分割は、一例であり、他の分割方法により矩形領域を複数の領域に分割するようにしてもよい。例えば、矩形領域を4つ領域に分割するようにしてもよく、矩形領域を6つ領域に分割するようにしてもよく、矩形領域を8つ領域に分割するようにしてもよい。または、不規則な形状(例えば、多角形(例えば、三角形、四角形、五角形)、円形、楕円形)の領域(閉じた領域)を矩形領域に重複しないように複数配置し、これらの各領域(閉じた領域、閉じた領域の外側の領域)により複数の領域を設定することができる。
図58(2)には、図58(1)に示す領域A~Pを用いて取得された情報に基づいて出力対象となる情報を決定する場合に用いる判定情報(テーブル)の一例を示す。図58(2)に示す判定情報は、テーブルに並べられる飲食物に関する情報(例えば、テーブル1010に並べられる飲食物の画像情報)の遷移と、出力対象となる情報OIとの対応関係を示す情報である。例えば、図58(2)に示す判定情報には、A~Pの全ての組み合わせ(パターン)が定義される。例えば、出力対象となる情報OI1には全てAのパターン「A、A、…、A、A」が定義される。また、出力対象となる情報OI2には、1つ(時間t2が「B」)以外は全てAのパターン「A、B、A、…、A、A」が定義される。また、出力対象となる情報OI2には、2つ(時間t2、t3が「B」)以外は全てAのパターン「A、B、B、A、…、A、A」が定義される。以降も同様に定義され、出力対象となる情報OIMには全てPのパターン「P、P、…、P、P」が定義される。
図58(2)において、時間t1、…、tn(ただし、nは正の整数)は、電子機器の画像取得部を用いて画像情報を取得する際における経過時間を示す値である。例えば、画像情報を取得する間隔を20秒とする場合には、時間t1=20秒経過、時間t2=40秒経過、時間t3=60秒経過、…と20秒間隔とする。そして、電子機器の制御部は、時間t1、…、tnのそれぞれにおいて、図58(1)に示す領域A~Pのうち、最も黒の割合が多い領域を順次判定し、その判定結果に基づいて、出力対象となる情報OI(OI1~OIM(ただし、Mは正の整数))を決定する。例えば、電子機器の制御部は、時間t1、…、tnのそれぞれにおいて、図58(1)に示す領域A~Pのうち、最も黒の割合が多い領域が全てA(図58(1)に示す領域A)であった場合には、出力対象となる情報OIとしてOI1を決定する。また、例えば、電子機器の制御部は、時間t1、…、tnのそれぞれにおいて、図58(1)に示す領域A~Pのうち、最も黒の割合が多い領域が全てP(図58(1)に示す領域P)であった場合には、出力対象となる情報OIとしてOIMを決定する。
なお、時間t1、…、tnの間隔、nの値については、予め設定しておくようにしてもよく、ユーザ操作によりユーザの好みの値を設定するようにしてもよい。また、Mの値については、飲食物が並べられるテーブルに対応する矩形を分割する領域の数と、nの値とに基づいて決定される。
[テーブルに並べられる飲食物に関する画像情報を用いて出力対象の情報を決定する例]
図59は、第10の実施の形態における電子機器により取得が可能な画像(テーブル1010に並べられる飲食物の画像)と、図58(1)に示す領域A~Pとの関係を示す図である。なお、図59(1)~(6)に示すテーブル1010に並べられる飲食物の画像は、図57(1)~(6)に示す各画像と同一である。
図60は、第10の実施の形態における電子機器により出力対象の情報を決定する決定例を示す図である。図59、図60では、電子機器の画像取得部を用いて画像情報を取得する際における経過時間として、時間t1~t6を用いる場合の例を示す。
図59(1)~(6)に示すテーブル1010に並べられる飲食物の画像は、時間t1~t6に取得されたものとする。
図60(1)には、時間t1~t6のそれぞれにおいて、図58(1)に示す領域A~Pのうち、最も黒の割合が多い領域を時間t1~t6に関連付けて記憶する場合の記憶例を示す。
電子機器の制御部は、時間t1のタイミングで取得した画像における矩形領域(テーブル1010に相当する矩形領域)に含まれる画像について特徴量を取得する。具体的には、電子機器の制御部は、時間t1のタイミングで取得した画像における矩形領域に含まれる各画像(図58(1)に示す領域A~Pに含まれる各画像)について特徴量を取得する。例えば、電子機器の制御部は、領域A~Pに含まれる各画像について、特定色(例えば、黒)に関する情報を特徴量として求める。例えば、電子機器の制御部は、画像取得部により取得された画像に含まれる各画像における各画素を黒領域及び白領域の何れかに決定する。例えば、2値化処理(例えば、予め閾値を設定しておき、画素の値が閾値よりも大きければ白と判定し、小さければ黒に判定する処理)により決定することができる。そして、電子機器の制御部は、領域A~Pに含まれる各画像における黒領域及び白領域の割合を特徴量として求める。
次に、電子機器の制御部は、領域A~Pに含まれる各画像のうちから、黒領域の割合が最も高い領域を決定する。図59(1)に示す例では、領域A~Pに含まれる各画像のうち、黒領域の割合が最も高い領域は、テーブル1010には容器1016のみが存在するため、領域Mである。このため、電子機器の制御部は、時間t1のタイミングで取得した画像について、黒領域の割合が最も高い領域として領域Mを決定する。
以降も同様に、電子機器の制御部は、時間t2~t6のタイミングで取得した各画像(テーブル1010に並べられる飲食物の画像)について、黒領域の割合が最も高い領域を決定する。そして、電子機器の制御部は、時間t1~t6のタイミングで取得した各画像について決定された特徴量(黒領域の割合が最も高い領域)を、時間t1~t6に関連付けて記憶部に順次記憶する。この記憶例を図60(1)に示す。すなわち、図60(1)に示す記憶例は、図59(1)~(6)に示す例についての記憶例である。
図60(2)には、図60(1)に示す特徴量(時間t1~t6と領域A~Pとを関連付けた情報)と一致する特徴量を図58(2)に示す判定情報から抽出する場合の抽出例を示す。なお、図60(2)に示す判定情報は、図58(2)に示す判定情報と同一であり、図58(2)に示す判定情報のうちの一部を省略して示す。
次に、電子機器の制御部は、その取得した特徴量に基づいて、出力対象となる情報を決定する。具体的には、電子機器の制御部は、その取得した特徴量(図60(1)に示す時間t1~t6と領域A~Pとを関連付けた情報)と一致する特徴量を、図58(2)に示す判定情報から抽出する。例えば、図60(2)に示すように、図60(1)に示す特徴量は、破線の矩形1021内に示す特徴量と一致する。このため、電子機器の制御部は、図60(2)に示す判定情報から、図60(1)に示す特徴量と一致する特徴量として、破線の矩形1021内に示す特徴量を抽出する。また、電子機器の制御部は、その抽出された特徴量に対応する情報(出力対象となる情報)OIとしてOITT1を決定する。
次に、電子機器の制御部は、出力対象となる情報OIとして決定されたOITT1に関連付けて記憶部に記憶されている情報に基づいて、コンテンツを出力させる。
以上では、特定色として黒を用いる例を示したが、他の色を用いるようにしてもよい。また、複数の色を識別可能な場合には、複数の色を用いて出力対象となる情報を決定するようにしてもよい。例えば、時間t1のタイミングで取得した画像(テーブル1010に並べられる飲食物の画像)については、第1色(例えば、赤色)の領域の割合が最も高い領域を決定し、時間t2のタイミングで取得した画像については、第2色(例えば、緑色)の領域の割合が最も高い領域を決定し、時間t3のタイミングで取得した画像については、第3色(例えば、青色)の領域の割合が最も高い領域を決定し、時間t4のタイミングで取得した画像については、第4色(例えば、黄色)の領域の割合が最も高い領域を決定するようにしてもよい。以下も同様に、異なる色や同一の色を用いて特定色の領域を決定することができる。
また、他の判定情報を用いて、出力対象となる音声情報を決定するようにしてもよい。例えば、図12、図43に示すような画像パターンを用いるようにしてもよい。また、珈琲豆、紅茶等の物質を液体が美味しくなるまで浸しておくことにより生成される飲み物(例えば、珈琲、紅茶)以外に、他の飲み物(例えば、清涼飲料水、炭酸飲料、ビール、酒)について取得される情報を用いてコンテンツを出力するようにしてもよい。例えば、容器(コップ)に注がれる飲み物に関する画像情報(例えば、表面の画像、側面の画像)の遷移に基づいてコンテンツを決定することができる。
また、以上では、主に、画像センサ(イメージセンサ、撮像素子)を用いて、飲食物に関する情報(例えば、表面の遷移)を取得する例を示したが、他のセンサを用いて、飲食物に関する情報を取得するようにしてもよい。例えば、図37を用いて説明したように、各種のセンサ(例えば、温度の計測が可能な温度センサ、匂いの計測が可能な匂いセンサ(臭気センサ)、音の計測が可能な音センサ(例えば、マイク)、重さの計測が可能な重さセンサ、味覚の計測が可能な味覚センサ)を用いて、飲食物に関する情報を取得して用いるようにしてもよい。例えば、取得された各情報の遷移に基づいて、出力対象となるコンテンツを決定することができる。
このように、第1~第10の実施の形態で示した電子機器、情報処理装置(例えば、サーバ410(または、これを構成する複数の機器))は、飲食物に関する情報の遷移を利用して出力部からコンテンツを出力させるための制御を行う情報処理装置、情報処理システム、通信システムの一例である。また、第1~第10の実施の形態で示した電子機器、情報処理装置(例えば、サーバ410(または、これを構成する複数の機器))は、飲食物に関する情報の遷移を利用して、飲食物の評価に関する処理(例えば、美味しい、見栄えが良い、盛り付けがきれい等の評価情報を生成する処理、その評価情報を出力する処理)及び飲食物の生成に関する処理(例えば、調理のアドバイスをするための情報を生成する処理、そのアドバイスを出力する処理)とは異なる複数の処理(例えば、コンテンツ出力、ゲーム処理)のうちから少なくとも1つの処理を実行させるための制御を行う情報処理装置、情報処理システム、通信システムの一例である。これらの制御は、例えば、各機器が備える制御部により行われる。
また、第5の実施の形態で示したように、複数の電子機器からの情報をサーバが集計してその集計結果に基づいて各機器の提供対象となる情報を決定するようにしてもよい。例えば、1つの容器に入れられた料理(例えば、丼に入れられたラーメンや牛丼、皿に盛りつけられた料理(例えば、パスタ、肉料理、魚料理))に関する画像情報をユーザが電子機器を用いて取得してサーバに送信し、サーバは、その画像情報に基づいてそのユーザに提供するコンテンツを決定してその電子機器に送信することができる。この場合に、サーバは、複数のユーザから送信された画像情報に基づいて、各ユーザに提供するコンテンツを決定して各ユーザの電子機器に送信することができる。すなわち、第1~第10の実施の形態で示した電子機器、情報処理装置(例えば、サーバ410(または、これを構成する複数の機器))は、飲食物に関する情報を複数の容器に入れられた各飲食物について取得し、当該取得された各情報に基づいて決定されたコンテンツを、複数の容器に関連する各人物の電子機器に提供するための制御を行う電子機器、情報処理装置、情報処理システム、通信システムの一例である。また、第1~第10の実施の形態で示した電子機器、情報処理装置(例えば、サーバ410(または、これを構成する複数の機器))は、飲食物に関する情報を複数の容器に入れられた各飲食物について取得し、当該取得された各情報に基づいて決定された処理を、複数の容器に関連する各人物の電子機器に実行させるための制御を行う電子機器、情報処理装置、情報処理システム、通信システムの一例である。
以上で示したように、第1乃至第10の実施の形態で示した各電子機器、情報処理装置(例えば、サーバ410)は、飲み物を生成するための物質(例えば、粉末状の物質、液体状の物質、固体状の物質)と液体とにより生成される飲み物を容器に溜める場合の、その生成の際、その生成された飲み物を容器に入れる際、または、その生成された飲み物を容器に入れた後に、その生成された飲み物に関して取得される情報(その飲み物から取得される情報)に基づいて、コンテンツ(例えば、その飲み物とは無関係の情報)を決定する電子機器、情報処理装置、情報処理システム、通信システムの一例である。
また、第1乃至第10の実施の形態で示した各電子機器、情報処理装置(例えば、サーバ410)は、飲み物を抽出するための抽出器具から落ちる液体を溜める容器に溜められる、その液体に関する情報を取得して使用する電子機器、情報処理装置、情報処理システム、通信システムの一例である。例えば、その液体に関する情報を、ユーザへの提供対象となるコンテンツの決定に用いることができる。
また、第5の実施の形態で示したサーバ410(または、これを構成する複数の機器)は、飲み物を生成するための物質(例えば、粉末状の物質、液体状の物質、固体状の物質)と液体とにより生成される飲み物を容器に溜める場合の、その生成の際、その生成された飲み物を容器に入れる際、または、その生成された飲み物を容器に入れた後に、その生成された飲み物に関して取得される情報(その飲み物から取得される情報)を、複数の容器に入れられた各飲み物について取得し、その取得された各情報に基づいて、複数の容器に関連する各人物に提供するコンテンツ(例えば、その飲み物とは無関係の情報)を決定する情報処理装置、情報処理システム、通信システムの一例である。
また、第5の実施の形態で示したサーバ410(または、これを構成する複数の機器)は、抽出された飲み物を容器に入れる際、または、抽出された飲み物を容器に入れた後に、その抽出された飲み物に関して取得される情報を複数の容器に入れられた各飲み物について取得し、その取得された各情報に基づいて、複数の容器に関連する各人物に提供するコンテンツを決定する情報処理装置、情報処理システム、通信システムの一例である。
なお、第1乃至第10の実施の形態で示した各制御動作は、各処理手順をコンピュータに実行させるためのプログラムに基づいて実行されるものであり、その各制御動作は、方法、プログラムの発明としても把握することができる。例えば、第1乃至第10の実施の形態で示した各制御動作に係るプログラムを電子機器、サーバ等の情報処理装置の記憶媒体に記憶させ、この記憶媒体からそのプログラムを読み出し、読み出したプログラムをその情報処理装置に実行させることにより、第1乃至第10の実施の形態で示した各制御動作を実現することができる。また、その情報処理装置の外部の記憶媒体(例えば、CD(Compact Disc)、DVD(Digital Versatile Disc)、メモリカード)等にそのプログラムを記憶させ、用いるようにしてもよい。
なお、第1乃至第10の実施の形態は、請求の範囲に記載の発明を実現するための一例を示したものであり、これらに限定されるものではなく、その要旨を逸脱しない範囲において種々の変形を施すことができる。