JP6989683B2 - 音声制御調理器具プラットフォーム - Google Patents

音声制御調理器具プラットフォーム Download PDF

Info

Publication number
JP6989683B2
JP6989683B2 JP2020204276A JP2020204276A JP6989683B2 JP 6989683 B2 JP6989683 B2 JP 6989683B2 JP 2020204276 A JP2020204276 A JP 2020204276A JP 2020204276 A JP2020204276 A JP 2020204276A JP 6989683 B2 JP6989683 B2 JP 6989683B2
Authority
JP
Japan
Prior art keywords
information
control
cookware
voice
cooking utensil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020204276A
Other languages
English (en)
Other versions
JP2021181878A (ja
Inventor
率 和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Remy Inc
Original Assignee
Remy Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Remy Inc filed Critical Remy Inc
Publication of JP2021181878A publication Critical patent/JP2021181878A/ja
Application granted granted Critical
Publication of JP6989683B2 publication Critical patent/JP6989683B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Electric Stoves And Ranges (AREA)
  • Electric Ovens (AREA)

Description

本発明は、音声指示(キッチンでの人の立居振る舞いや手話による指示を含む)に従って調理器具を制御することで自動調理するシステムである音声制御調理器具プラットフォームに関する。
音声指示によって動作制御を行う電子機器が近年増えてきている。さらに、AIスピーカーを通じて体系的に電子機器を制御するシステムも提供されている。
特開2014−142113号
しかし、調理器具内で完結されたシステムではなく外部サーバを介して調理器具メーカーの種類を問わずに調理器具を制御するためのプラットフォームが提供されていなかった。
通常の家庭のキッチンでは、例えば冷蔵庫、電子レンジ、オーブン、食洗器、レンジフード、魚焼グリル、トースター、ミキサー、ガスコンロ、IH調理器具、水栓、米びつ、炊飯器、ホットプレート、フライヤー、など多種の調理器具がある。これらのメーカーが単一であることは極めてまれであり、複数のメーカーの調理器具が一か所のキッチンに備えられている。
もし、これらの調理器具の音声による制御がメーカーごとに行われることになれば、調理器具間での音声の取違いなどが発生し得る。例えば、「中火にして」と一言いう場合でも、ガスコンロが複数あるような場合や、ガスコンロでなくても、加熱調理器具が複数あるような場合には、それらが一斉に中火での加熱開始、又は強火から中火へのコントロールを始めるなどの事態が発生しうる。食事の提供という最終点に向けて行われる調理器具による調理に混乱や衝突が発生するので実用的なキッチンとはもはや言えなくなる。
この問題を解決しようとすればメーカーごとにユニークな名称や愛称を設定して、その名称、愛称で呼びかけることでメーカーを識別させるということも考えられなくはない。しかしその場合にはキッチンで調理する者は複数種類のメーカーごとにその名称、愛称を記憶しなければならず、種類が多くなると煩雑になったり、忘れてしまったりすることが考えられる。特に日ごろキッチンに立たない人がキッチンで調理をしようとするときには、そもそもその名称、愛称すら聞いたことがない場合もあり得る。
そこで、これらの問題を解決するためには、異なるメーカーの調理器具が同居するキッチンにおいてもこのような問題を発生せず、統一的に全体管理可能な音声による調理器具の制御が求められる。
上記課題を解決するために本願発明において、以下の音声制御調理器具プラットフォームを提供する。すなわち、第一の発明として、調理器具を制御するための音声情報である制御音声情報を取得する制御音声情報取得部Sと、取得した制御音声情報に基づいて調理器具を識別する情報である調理器具識別情報を取得する調理器具識別情報取得部Sと、取得した制御音声情報に基づいて調理器具識別情報で識別される調理器具を制御する情報である調理器具制御情報を取得する調理器具制御情報取得部Sと、取得した制御音声情報に基づいて応答のための応答音声の情報である応答音声情報を取得する応答音声情報取得部Sと、取得した制御音声情報に基づいて応答のための応答テキストの情報である応答テキスト情報を取得する応答テキスト情報取得部Sと、取得した調理器具制御情報を取得した調理器具識別情報と関連付けて調理器具識別情報で識別される調理器具に向けて出力する調理器具制御情報出力部Sと、取得した応答音声情報を出力する応答音声情報出力部Sと、 取得した応答テキスト情報を出力する応答テキスト情報出力部Sと、を有する調理器具制御サーバ装置と、調理器具識別情報を保持する調理器具識別情報保持部Cと、調理をするための調理部Cと、調理部を調理器具制御情報に基づいて制御する調理制御部Cと、調理器具制御情報を調理器具識別情報と関連付けて取得する調理器具制御情報取得部Cと、を有する調理器具と、前記調理器具と一体、又は別体の入出力装置であって、マイクからの制御音声情報であるマイク制御音声情報を取得するマイク制御音声情報取得部と、取得したマイク制御音声情報を制御音声情報として出力する制御音声情報出力部と、前記出力された応答音声情報を取得する応答音声情報取得部と、前記出力された応答テキスト情報を取得する応答テキスト情報取得部と、取得した応答テキスト情報の履歴情報である応答テキスト履歴情報を保持する応答テキスト履歴情報保持部と、保持されている応答テキスト履歴情報を出力する応答テキスト履歴情報出力部と、取得した応答音声情報を出力する応答音声情報出力部と、取得した応答テキスト情報を出力する応答テキスト情報出力部と、有する入出力装置と、を有する音声制御調理器具プラットフォームを提供する。
次に、第二の発明として、前記調理器具制御サーバ装置は、出力した調理器具制御情報を受信した調理器具からの制御結果を含む応答情報である制御結果応答情報を取得する制御結果応答情報取得部Sと、取得した制御結果応答情報に基づいて制御結果を告知するための告知音声の情報である制御結果告知音声情報を取得する制御結果告知音声情報取得部Sと、取得した制御結果告知音声情報を出力する制御結果告知音声情報出力部Sと、をさらに有し、前記調理器具は、取得した調理器具制御情報に基づいた制御の結果を含む応答である制御結果応答情報を出力する制御結果応答情報出力部Cを、さらに有する音声制御調理器具プラットフォームを提供する。
次に、第三の発明として、調理器具制御サーバ装置は、調理器具制御情報を保持する調理器具制御情報保持部Sをさらに有する第一の発明に記載の音声制御調理器具プラットフォームを提供する。
次に、第四の発明として、調理器具制御サーバ装置は、調理器具制御情報を調理器具制御情報保持部Sに外部ネットワークを介して記録する調理器具制御情報記録部Sをさらに有する音声制御調理器具プラットフォームを提供する。
次に、第五の発明として、調理器具制御サーバ装置は、取得された制御音声情報が出力された応答音声情報に基づく返事に対応する制御音声情報である上書制御音声か判断する上書制御音声判断部Sを有するとともに、調理器具制御情報出力部Sは、上書制御音声判断部Sでの判断結果が上書制御音声であるとの判断結果である場合には、その上書制御音声の由来となった制御音声情報に基づいて取得された調理器具識別情報に関連付けて取得した調理器具制御情報を出力する上書調理器具制御情報出力手段Sを有する音声制御調理器具プラットフォームを提供する。
次に、第六の発明として、調理器具制御サーバ装置は、取得した制御音声情報に基づいて調理器具識別情報を取得できない、又は/及び調理器具制御情報を取得できない場合である趣旨不明瞭ケースであるか判断する趣旨明瞭性判断部Sを有するとともに、応答音声情報取得部Sは、趣旨明瞭性判断部Sでの判断結果が趣旨不明瞭ケースであるとの判断結果である場合に不明瞭な趣旨を質すための返事を構成する質問応答音声の情報であり応答音声情報である質問応答音声情報を取得する質問応答音声情報取得手段Sを有する音声制御調理器具プラットフォームを提供する。
次に、第七の発明として、調理器具制御サーバ装置の、調理器具制御情報取得部Sは、取得した制御音声情報に基づいて時系列に制御に利用されるべき時系列調理器具制御情報を取得する時系列調理器具制御情報取得手段S、を有する音声制御調理器具プラットフォームを提供する。
次に、第八の発明として、調理器具制御サーバ装置の調理器具制御情報取得部Sは、制御音声情報に含まれる調理対象を示す情報に基づいて調理器具を制御する調理器具制御情報である調理対象依存調理器具制御情報を取得する調理対象依存調理器具制御情報取得手段S、を有する音声制御調理器具プラットフォームを提供する。
次に、第九の発明として、調理器具は、制御音声情報を取得するための制御音声情報取得部Cと、取得した制御音声情報を出力する制御音声情報出力部Cと、応答音声情報を取得する応答音声情報取得部Cと、取得した応答音声情報に基づいて応答音声を出力する音声出力部Cと、をさらに有する音声制御調理器具プラットフォームを提供する。
次に、第十の発明として、調理器具は、調理器具又は調理器具に併せて利用されている調理器財の状況を示す情報である状況情報を取得する状況情報取得部Cと、取得した状況情報を調理器具識別情報と関連付けて出力する状況情報出力部Cと、をさらに有し、調理器具制御サーバ装置は、状況情報とそれに関連付けられている調理器具識別情報を取得する状況情報取得部Sを有するとともに、応答音声情報取得部Sは、取得した状況情報に基づいて応答のための応答音声の情報である応答音声情報を取得する状況依存応答音声情報取得手段Sを有し、調理器具制御情報取得部Sは、取得した状況情報に基づいて調理器具識別情報で識別される調理器具を制御する調理器具制御情報である状況依存調理器具制御情報を取得する状況依存調理器具制御情報取得手段Sを有する音声制御調理器具プラットフォームを提供する。
次に、第十一の発明として、調理器具制御サーバ装置の、調理器具制御情報取得部Sは、制御音声の発声者を識別する情報である発声者識別情報と、発声者識別情報に関連付けて制御情報を取得してもよいかを示す許可情報を保持する許可情報保持手段Sと、取得した制御音声の発声者の識別情報を制御音声に基づいて取得する発声者識別情報取得手段Sと、取得した発声者識別情報に関連付けられている許可情報を取得する許可情報取得手段Sと、許可情報に基づいて調理器具制御情報を取得し、又は取得しない許可情報依存調理器具制御情報取得手段Sと、を有する音声制御調理器具プラットフォームを提供する。
次に、第十二の発明として、調理器具制御サーバ装置の調理器具制御情報取得部Sは、取得した制御音声情報の音声が重畳している場合には、重畳している制御音声情報をそれぞれの発声者別に分離する重畳音声分離手段Sをさらに有する音声制御調理器具プラットフォームを提供する。
次に、第十三の発明として、調理器具制御サーバ装置は、後記入出力装置の後記映像情報出力部から出力される調理器具の映像、調理器具によって調理されている食材の映像、又は、前記食材を保持する器の映像のいずれか一以上を調理器具識別情報と関連付けた情報である映像情報を取得する映像情報取得部Sを有し、調理器具制御情報取得部Sは、取得した映像情報に基づいて調理器具制御情報である映像由来調理器具制御情報を取得する映像由来調理器具制御情報取得手段Sを有し、前記入出力装置は、調理器具の映像、調理器具によって調理されている食材の映像、又は、前記食材を保持する器の映像のいずれか一以上を調理器具識別情報と関連付けた情報である映像情報として取得する映像情報取得部と、取得した映像情報を出力する映像情報出力部と、をさらに有する音声制御調理器具プラットフォームを提供する。
次に、第十四の発明として、調理器具映像情報取得部Sは、調理器具を制御するための映像情報として調理器具又は/及び調理器具で調理されている食材の状態を示す調理器具食材映像情報、キッチンでの人の立居振る舞いを示す情報である人アクション情報の一以上を取得する詳細情報取得手段と、詳細情報取得手段で取得された映像情報が人アクション情報である場合に、その人アクション情報を解釈するための手話解釈データを保持する手話解釈データベース手段と、取得された映像情報が人アクション情報である場合に、その人アクション情報と保持されている手話解釈データに基づいてその手話で示される意図を示す情報である意図情報を取得する意図情報取得手段と、取得された意図情報に基づいて調理器具制御情報である意図情報由来調理器具制御情報を取得する意図情報由来調理器具制御情報取得手段と、をさらに有する音声制御調理器具プラットフォームを提供する。
次に、第十五の発明として、前記調理器具は加熱部を有する加熱調理器具であり、前記映像由来調理器具制御情報は加熱部による加熱加減を制御するための情報である映像由来加熱加減制御情報である音声制御調理器具プラットフォームを提供する。
次に、第十六の発明として、前記調理器具映像情報取得部Sは、取得した映像情報の中から蒸気の流速、流量を識別した情報である蒸気関連情報を取得する蒸気関連情報取得手段Sを有し、前記調理器具映像情報取得部の映像由来調理器具制御情報取得手段は、蒸気関連情報に基づいた映像由来調理器具制御情報である蒸気関連映像由来調理器具制御情報を取得する蒸気関連映像由来調理器具制御情報取得器Sをさらに有する音声制御調理器具プラットフォームを提供する。
次に、第十七の発明として、前記調理器具映像情報取得部Sは、取得した映像情報の中から被加熱物から放射される赤外線を識別した情報に基づいて被加熱物の熱分布を示す情報である熱分布関連情報を取得する熱分布関連情報取得手段Sを有し、前記調理器具映像情報取得部の映像由来調理器具制御情報取得手段は、熱分布関連情報に基づいた映像由来調理器具制御情報である熱分布関連映像由来調理器具制御情報を取得する熱分布関連映像由来調理器具制御情報取得器Sをさらに有する音声制御調理器具プラットフォームを提供する。
次に、第十八の発明として、前記調理器具映像情報取得部Sは、取得した映像情報に基づいて調理対象の熱による形態変化を示す情報である形態変化関連情報を取得する形態変化関連情報取得手段Sを有し、前記調理器具映像情報取得部の映像由来調理器具制御情報取得手段は、形態変化関連情報に基づいた映像由来調理器具制御情報である形態変化関連映像由来調理器具制御情報を取得する形態変化関連映像由来調理器具制御情報取得器Sをさらに有する音声制御調理器具プラットフォームを提供する。
次に、第十九の発明として、前記調理器具映像情報取得部Sは、取得した映像情報に基づいて調理対象の熱による色変化を示す情報である色変化関連情報を取得する色変化関連情報取得手段Sを有し、前記調理器具映像情報取得部の映像由来調理器具制御情報取得手段は、色変化関連情報に基づいた映像由来調理器具制御情報である色変化関連映像由来調理器具制御情報を取得する色変化関連映像由来調理器具制御情報取得器Sをさらに有する音声制御調理器具プラットフォームを提供する。
次に、第二十の発明として、前記調理器具映像情報取得部Sは、取得した映像情報に基づいて調理対象を載置している調理器具上の水分状態を示す情報である水分状態関連情報を取得する水分状態関連情報取得手段Sを有し、前記調理器具映像情報取得部の映像由来調理器具制御情報取得手段は、水分状態関連情報に基づいた映像由来調理器具制御情報である水分状態関連映像由来調理器具制御情報を取得する水分状態関連映像由来調理器具制御情報取得器Sをさらに有する音声制御調理器具プラットフォームを提供する。
次に、第二十一の発明として、前記調理器具映像情報取得部Sは、取得した映像情報に基づいて調理対象を載置している調理器具上の油分状態を示す情報である油分状態関連情報を取得する油分状態関連情報取得手段Sを有し、前記調理器具映像情報取得部の映像由来調理器具制御情報取得手段は、油分状態関連情報に基づいた映像由来調理器具制御情報である油分状態関連映像由来調理器具制御情報を取得する油分状態関連映像由来調理器具制御情報取得器Sをさらに有する音声制御調理器具プラットフォームを提供する。
次に、第二十二の発明として、前記調理器具映像情報取得部Sは、取得した映像情報に基づいて調理対象(調理器具も含む)からの発煙状態を示す情報である発煙状態関連情報を取得する発煙状態関連情報取得手段Sを有し、前記調理器具映像情報取得部の映像由来調理器具制御情報取得手段は、発煙状態関連情報に基づいた映像由来調理器具制御情報である発煙状態関連映像由来調理器具制御情報を取得する発煙状態関連映像由来調理器具制御情報取得器Sをさらに有する音声制御調理器具プラットフォームを提供する。
次に、第二十三の発明として、前記調理器具映像情報取得部Sは、取得した映像情報に基づいて調理対象(調理器具も含む)からの発火状態を示す情報である発火状態関連情報を取得する発火状態関連情報取得手段Sを有し、前記調理器具映像情報取得部の映像由来調理器具制御情報取得手段は、発火状態関連情報に基づいた映像由来調理器具制御情報である発火状態関連映像由来調理器具制御情報を取得する発火状態関連映像由来調理器具制御情報取得器Sをさらに有する音声制御調理器具プラットフォームを提供する。
次に、第二十四の発明として、前記調理器具に代えて、ローカル制御装置と、調理器具Bとし、ローカル制御装置は、調理器具識別情報を保持する調理器具識別情報保持部Cと、調理部を調理器具制御情報に基づいて制御する調理制御部Cと、調理器具制御情報を調理器具識別情報と関連付けて取得する調理器具制御情報取得部Cと、を有し、調理器具Bは、ローカル制御装置の調理制御部によって制御される調理をするための調理部Cを有する音声制御調理器具プラットフォームを提供する。
次に、第二十五の発明として、調理器具制御サーバ装置は、調理器具を制御するための温度を調理器具を識別する調理器具識別情報と関連付けた情報である温度情報を取得する温度情報取得部Sを有し、温度情報取得部Sは、取得した温度情報に基づいて調理器具制御情報である温度由来調理器具制御情報を取得する温度由来調理器具制御情報取得手段Sを有し、前記入出力装置は、調理器具の温度、調理器具によって調理されている食材の温度、又は、前記食材を保持する器の温度のいずれか一以上を調理器具識別情報と関連付けた情報である温度情報を取得する温度情報取得部と、取得した温度情報を出力する温度情報出力部と、をさらに有する音声制御調理器具プラットフォームを提供する。
次に、第二十六の発明として、調理器具制御サーバ装置の調理器具制御情報取得部Sは、映像情報取得部Sで取得した映像情報である制御音声の発声者を識別する情報である発声者顔識別情報と、発声者顔識別情報に関連付けて制御情報を取得してもよいかを示す許可情報を保持する許可情報保持手段Sと、取得した制御音声の発声者の顔識別情報を顔の映像に基づいて取得する発声者顔識別情報取得手段Sと、取得した発声者顔識別情報に関連付けられている許可情報を取得する許可情報取得手段Sと、許可情報に基づいて調理器具制御情報を取得し、又は取得しない許可情報依存調理器具制御情報取得手段Sと、を有する音声制御調理器具プラットフォームを提供する。
次に、第二十七の発明として、第一の発明から第二十六の発明のいずれか一に記載の調理器具制御サーバ装置を提供する。
次に、第二十八の発明として、第一の発明から第二十六の発明のいずれか一に記載の調理器具を提供する。
次に、第二十九の発明として、調理器具制御サーバ装置と、調理器具識別情報を保持する調理器具制御情報保持部Cを有する調理器具と、前記調理器具と一体、又は別体の入出力装置と、を有する音声制御調理器具プラットフォームの動作プログラムであって、調理器具制御サーバ装置を動作させる動作プログラムは、調理器具を制御するための音声である制御音声情報を取得する制御音声情報取得Sステップと、取得した制御音声情報に基づいて調理器具を識別する情報である調理器具識別情報を取得する調理器具識別情報取得Sステップと、取得した制御音声情報に基づいて調理器具識別情報で識別される調理器具を制御する情報である調理器具制御情報を取得する調理器具制御情報取得Sステップと、取得した制御音声情報に基づいて応答のための応答音声の情報である応答音声情報を取得する応答音声情報取得Sステップと、取得した制御音声情報に基づいて応答のための応答テキストの情報である応答テキスト情報を取得する応答テキスト情報取得Sステップと、取得した調理器具制御情報を取得した調理器具識別情報と関連付けて調理器具識別情報で識別される調理器具に向けて出力する調理器具制御情報出力Sステップと、取得した応答音声情報を出力する応答音声情報出力Sステップと、取得した応答テキスト情報を出力する応答テキスト情報出力Sステップと、をメモリに記録されたプログラムをCPUに展開することで実行可能なプログラムであり、調理器具を動作させる動作プログラムは、調理をするための調理Cステップと、調理部を調理器具制御情報に基づいて制御する調理制御Cステップと、調理器具制御情報を調理器具識別情報と関連付けて取得する調理器具制御情報取得Cステップと、をメモリに記録されたプログラムをCPUに展開することで実行可能なプログラムであり、入出力装置を動作させる動作プログラムは、マイクからの制御音声情報であるマイク制御音声情報を取得するマイク制御音声情報取得ステップと、取得したマイク制御音声情報を制御音声情報として出力する制御音声情報出力ステップと、前記出力された応答音声情報を取得する応答音声情報取得ステップと、前記出力された応答テキスト情報を取得する応答テキスト情報取得ステップと、取得した応答テキスト情報の履歴情報である応答テキスト履歴情報を保持する応答テキスト履歴情報保持ステップと、保持されている応答テキスト履歴情報を出力する応答テキスト履歴情報出力ステップと、取得した応答音声情報を出力する応答音声情報出力ステップと、取得した応答テキスト情報を出力する応答テキスト情報出力ステップと、をメモリに記録されたプログラムをCPUに展開することで実行可能なプログラムである電気計算機に読取実行可能な音声制御調理器具プラットフォームの動作プログラムを提供する。
次に、第三十の発明として、調理器具制御サーバ装置を動作させる動作プログラムは、調理器具を制御するための映像を調理器具を識別する調理器具識別情報と関連付けた情報である映像情報として取得する映像情報取得Sステップをメモリに記録されたプログラムをCPUに展開することで実行するとともに、調理器具制御情報取得Sステップは、取得した映像情報に基づいて調理器具制御情報である映像由来調理器具制御情報を取得する映像由来調理器具制御情報取得Sサブステップをメモリに記録されたプログラムをCPUに展開することで実行可能なプログラムであり、前記入出力装置を動作させる動作プログラムは、調理器具の映像、調理器具によって調理されている食材の映像、又は、前記食材を保持する器の映像のいずれか一以上を調理器具識別情報と関連付けた情報である映像情報として取得する映像情報取得Sステップと、取得した映像情報を出力する映像情報出力Sステップと、をメモリに記録されたプログラムをCPUに展開することで実行可能なプログラムである電気計算機に読取実行可能な音声制御調理器具プラットフォームの動作プログラムを提供する。
次に、第三十一の発明として、調理器具制御サーバ装置を動作させる動作プログラムは、調理器具を制御するための温度を調理器具を識別する調理器具識別情報と関連付けた情報である温度情報を取得する温度情報取得Sステップをメモリに記録されたプログラムをCPUに展開することで実行可能なプログラムであり、調理器具制御情報取得Sステップは取得した温度情報に基づいて調理器具制御情報である温度由来調理器具制御情報を取得する温度由来調理器具制御情報取得Sサブステップをメモリに記録されたプログラムをCPUに展開することで実行可能なプログラムであり、前記入出力装置を動作させる動作プログラムは、調理器具の温度、調理器具によって調理されている食材の温度、又は、前記食材を保持する器の温度のいずれか一以上を調理器具識別情報と関連付けた情報である温度情報を取得する温度情報取得ステップと、取得した温度情報を出力する温度情報出力ステップと、メモリに記録されたプログラムをCPUに展開することで実行可能なプログラムである電気計算機に読取実行可能な音声制御調理器具プラットフォームの動作プログラムを提供する。
次に、第三十二の発明として、調理器具制御サーバ装置と、調理器具識別情報を保持する調理器具制御情報保持部Cを有する調理器具と、前記調理器具と一体、又は別体の入出力装置と、を有する音声制御調理器具プラットフォームの動作方法であって、調理器具制御サーバ装置は、調理器具を制御するための音声である制御音声情報を取得する制御音声情報取得Sステップと、取得した制御音声情報に基づいて調理器具を識別する情報である調理器具識別情報を取得する調理器具識別情報取得Sステップと、取得した制御音声情報に基づいて調理器具識別情報で識別される調理器具を制御する情報である調理器具制御情報を取得する調理器具制御情報取得Sステップと、取得した制御音声情報に基づいて応答のための応答音声の情報である応答音声情報を取得する応答音声情報取得Sステップと、取得した制御音声情報に基づいて応答のための応答テキストの情報である応答テキスト情報を取得する応答テキスト情報取得Sステップと、取得した調理器具制御情報を取得した調理器具識別情報と関連付けて調理器具識別情報で識別される調理器具に向けて出力する調理器具制御情報出力Sステップと、取得した応答音声情報を出力する応答音声情報出力Sステップと、取得した応答テキスト情報を出力する応答テキスト情報出力Sステップと、を実行し、調理器具は、調理をするための調理Cステップと、調理部を調理器具制御情報に基づいて制御する調理制御Cステップと、調理器具制御情報を調理器具識別情報と関連付けて取得する調理器具制御情報取得Cステップと、を実行し、入出力装置は、マイクからの制御音声情報であるマイク制御音声情報を取得するマイク制御音声情報取得ステップと、取得したマイク制御音声情報を制御音声情報として出力する制御音声情報出力ステップと、前記出力された応答音声情報を取得する応答音声情報取得ステップと、前記出力された応答テキスト情報を取得する応答テキスト情報取得ステップと、取得した応答テキスト情報の履歴情報である応答テキスト履歴情報を保持する応答テキスト履歴情報保持ステップと、保持されている応答テキスト履歴情報を出力する応答テキスト履歴情報出力ステップと、取得した応答音声情報を出力する応答音声情報出力ステップと、取得した応答テキスト情報を出力する応答テキスト情報出力ステップと、を実行する、音声制御調理器具プラットフォームの動作方法を提供する。
次に、第三十三の発明として、調理器具制御サーバ装置は、調理器具を制御するための映像情報を調理器具を識別する調理器具識別情報と関連付けて取得する調理器具映像情報取得Sステップをさらに実行し、調理器具制御情報取得Sステップは、取得した調理器具映像情報に基づいて調理器具制御情報である映像由来調理器具制御情報を取得する映像由来調理器具制御情報取得Sサブステップを実行し、前記入出力装置は、調理器具の映像、調理器具によって調理されている食材の映像、又は、前記食材を保持する器の映像のいずれか一以上を調理器具識別情報と関連付けた情報である映像情報として取得する映像情報取得Sステップと、取得した映像情報を出力する映像情報出力Sステップと、をさらに実行する音声制御調理器具プラットフォームの動作方法を提供する。
次に、第三十四の発明として、調理器具制御サーバ装置は、調理器具を制御するための温度を調理器具を識別する調理器具識別情報と関連付けた情報である温度情報を取得する温度情報取得Sステップを実行し、調理器具制御情報取得Sステップは取得した温度情報に基づいて調理器具制御情報である温度由来調理器具制御情報を取得する温度由来調理器具制御情報取得Sサブステップを実行し、前記入出力装置は、調理器具の温度、調理器具によって調理されている食材の温度、又は、前記食材を保持する器の温度のいずれか一以上を調理器具識別情報と関連付けた情報である温度情報を取得する温度情報取得ステップと、取得した温度情報を出力する温度情報出力ステップと、をさらに実行する音声制御調理器具プラットフォームの動作方法を提供する。
本発明により、調理器具メーカーの種類を問わずに調理器具を制御するためのプラットフォームが提供可能となる。
音声制御調理器具プラットフォームを用いて調理を行う場合のイメージ図 音声制御調理器具プラットフォームの各ハードウェアの接続の一例を示す図 音声制御調理器具プラットフォームの各ハードウェアの接続の具体例を示す図 実施形態1の音声制御調理器具プラットフォームの調理器具制御サーバ装置の基礎となる構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームの調理器具の基礎となる構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームの入出力装置の基礎となる構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームの調理器具制御サーバ装置の主たるハードウェア構成及び動作プログラムの発明の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームの調理器具の主たるハードウェア構成及び動作プログラムの発明の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームの入出力装置の主たるハードウェア構成及び動作プログラムの発明の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームの主たる処理の流れ及び動作方法の発明の構成の一例を示すフロー図 実施形態1の音声制御調理器具プラットフォームのその他の構成1の調理器具制御サーバ装置の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成1の調理器具の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成1の調理器具制御サーバ装置のハードウェア構成及び動作プログラムの発明の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成1の調理器具のハードウェア構成及び動作プログラムの発明の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成1の処理の流れ及び動作方法の発明の構成の一例を示すフロー図 実施形態1の音声制御調理器具プラットフォームのその他の構成2の調理器具制御サーバ装置の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成2の調理器具制御サーバ装置のハードウェア構成及び動作プログラムの発明の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成2の調理器具制御サーバ装置の処理の流れ及び動作方法の発明の構成の一例を示すフロー図 実施形態1の音声制御調理器具プラットフォームのその他の構成3の調理器具制御サーバ装置の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成3の調理器具制御サーバ装置のハードウェア構成及び動作プログラムの発明の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成3の処理の流れ及び動作方法の発明の構成の一例を示すフロー図 実施形態1の音声制御調理器具プラットフォームのその他の構成4の調理器具制御サーバ装置の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成4の調理器具制御サーバ装置のハードウェア構成及び動作プログラムの発明の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成4の処理の流れ及び動作方法の発明の構成の一例を示すフロー図 実施形態1の音声制御調理器具プラットフォームのその他の構成5の調理器具制御サーバ装置の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成5の調理器具制御サーバ装置のハードウェア構成及び動作プログラムの発明の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成5の処理の流れ及び動作方法の発明の構成の一例を示すフロー図 実施形態1の音声制御調理器具プラットフォームのその他の構成6の調理器具制御サーバ装置の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成6の調理器具制御サーバ装置のハードウェア構成及び動作プログラムの発明の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成6の処理の流れ及び動作方法の発明の構成の一例を示すフロー図 実施形態1の音声制御調理器具プラットフォームのその他の構成7の調理器具制御サーバ装置の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成7の調理器具制御サーバ装置のハードウェア構成及び動作プログラムの構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成7の処理の流れ及び動作方法の発明の構成の一例を示すフロー図 実施形態1の音声制御調理器具プラットフォームのその他の構成8の調理器具の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成8の調理器具のハードウェア構成及び動作プログラムの発明の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成8の処理の流れ及び動作方法の発明の構成の一例を示すフロー図 実施形態1の音声制御調理器具プラットフォームのその他の構成9の調理器具の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成9の調理器具制御サーバ装置の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成9の調理器具のハードウェア構成及び動作プログラムの発明の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成9の調理器具制御サーバ装置のハードウェア構成及び動作プログラムの構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成9の処理の流れ及び動作方法の発明の構成の一例を示すフロー図 実施形態1の音声制御調理器具プラットフォームのその他の構成10の調理器具制御サーバ装置の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成10の調理器具制御サーバ装置のハードウェア構成及び動作プログラムの構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成10の処理の流れ及び動作方法の発明の構成の一例を示すフロー図 実施形態1の音声制御調理器具プラットフォームのその他の構成11の調理器具制御サーバ装置の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成11の調理器具制御サーバ装置のハードウェア構成及び動作プログラムの発明の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成11の調理器具制御サーバ装置の処理の流れ及び動作方法の発明の構成の一例を示すフロー図 実施形態1の音声制御調理器具プラットフォームのその他の構成11における調理器具制御情報取得部で行われる処理の流れ及び動作方法の発明の構成の一例を示すフロー図 実施形態1の音声制御調理器具プラットフォームのその他の構成12の調理器具制御サーバ装置の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成12の調理器具制御サーバ装置のハードウェア構成及び動作プログラムの発明の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成12の処理の流れ及び動作方法の発明の構成の一例を示すフロー図 実施形態1の音声制御調理器具プラットフォームのその他の構成13の調理器具制御サーバ装置の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成13の調理器具の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成13の調理器具制御サーバ装置のハードウェア構成及び動作プログラムの発明の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成14の調理器具制御サーバ装置の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成14の入出力装置の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成14の調理器具制御サーバ装置のハードウェア構成及び動作プログラムの構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成14の入出力装置のハードウェア構成及び動作プログラムの発明の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成14の処理の流れ及び動作方法の発明の構成の一例を示すフロー図 実施形態1の音声制御調理器具プラットフォームのその他の構成15の調理器具制御サーバ装置の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成15の調理器具制御サーバ装置のハードウェア構成及び動作プログラムの構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成15の処理の流れ及び動作方法の発明の構成の一例を示すフロー図 実施形態1の音声制御調理器具プラットフォームのその他の構成16の調理器具の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成17の調理器具制御サーバ装置の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成17の調理器具制御サーバ装置のハードウェア構成及び動作プログラムの構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成17の処理の流れ及び動作方法の発明の構成の一例を示すフロー図 実施形態1の音声制御調理器具プラットフォームのその他の構成18の調理器具制御サーバ装置の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成18の調理器具制御サーバ装置のハードウェア構成及び動作プログラムの構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成18の処理の流れ及び動作方法の発明の構成の一例を示すフロー図 実施形態1の音声制御調理器具プラットフォームのその他の構成19の調理器具制御サーバ装置の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成19の調理器具制御サーバ装置のハードウェア構成及び動作プログラムの構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成19の処理の流れ及び動作方法の発明の構成の一例を示すフロー図 実施形態1の音声制御調理器具プラットフォームのその他の構成20の調理器具制御サーバ装置の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成20の調理器具制御サーバ装置のハードウェア構成及び動作プログラムの構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成20の処理の流れ及び動作方法の発明の構成の一例を示すフロー図 実施形態1の音声制御調理器具プラットフォームのその他の構成21の調理器具制御サーバ装置の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成21の調理器具制御サーバ装置のハードウェア構成及び動作プログラムの構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成21の処理の流れ及び動作方法の発明の構成の一例を示すフロー図 実施形態1の音声制御調理器具プラットフォームのその他の構成22の調理器具制御サーバ装置の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成22の調理器具制御サーバ装置のハードウェア構成及び動作プログラムの構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成22の処理の流れ及び動作方法の発明の構成の一例を示すフロー図 実施形態1の音声制御調理器具プラットフォームのその他の構成23の調理器具制御サーバ装置の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成23の調理器具制御サーバ装置のハードウェア構成及び動作プログラムの構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成23の処理の流れ及び動作方法の発明の構成の一例を示すフロー図 実施形態1の音声制御調理器具プラットフォームのその他の構成24の調理器具制御サーバ装置の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成24の調理器具制御サーバ装置のハードウェア構成及び動作プログラムの構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成24の処理の流れ及び動作方法の発明の構成の一例を示すフロー図 実施形態1の音声制御調理器具プラットフォームのその他の構成25のローカル制御装置の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成26の調理器具制御サーバ装置の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成26入出力装置の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成26の調理器具制御サーバ装置のハードウェア構成及び動作プログラムの構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成26の入出力装置のハードウェア構成及び動作プログラムの発明の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成26の処理の流れ及び動作方法の発明の構成の一例を示すフロー図 実施形態1の音声制御調理器具プラットフォームのその他の構成27の調理器具制御サーバ装置の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成27の調理器具制御サーバ装置のハードウェア構成及び動作プログラムの発明の構成の一例を示す図 実施形態1の音声制御調理器具プラットフォームのその他の構成27の調理器具制御サーバ装置の処理の流れ及び動作方法の発明の構成の一例を示すフロー図 実施形態1の音声制御調理器具プラットフォームのその他の構成27における調理器具制御情報取得部で行われる処理の流れ及び動作方法の発明の構成の一例を示すフロー図 実施形態1の情報通信方法であるパケットの構成の一例を示す図 実施形態1の各種情報をパケットの構成に変換するための対応表の一例 ハードウェア構成を説明するための図
以下、本発明の実施形態について、添付図面を用いて説明する。以下の説明は、主に実施形態1は請求項1から請求項25に概ね対応する。「基礎となる構成」は請求項1に、「その他の構成1」は請求項2に、「その他の構成2」は請求項3に、「その他の構成3」は請求項4に、「その他の構成4」は請求項5に、「その他の構成5」は請求項6に、「その他の構成6」は請求項7に、「その他の構成7」は請求項8に、「その他の構成8」は請求項9に、「その他の構成9」は請求項10に、「その他の構成10」は請求項10に、「その他の構成11」は請求項11に、「その他の構成12」は、請求項11に、「その他の構成13」は、請求項12に、「その他の構成14」は請求項13に、「その他の構成15」は請求項14に、「その他の構成16」は請求項15に、「その他の構成17」は請求項16に、「その他の構成18」は請求項17に、「その他の構成19」は請求項18に、「その他の構成20」は請求項19に、「その他の構成21」は請求項20に、「その他の構成22」は請求項21に、「その他の構成23」は請求項22に、「その他の構成24」は請求項23に、「その他の構成25」は請求項24に、「その他の構成26」は請求項25に、「その他の構成27」は請求項26に概ね対応する。
<本件発明 前提:ハードとソフトについて>
また、本件発明は原則的に調理器具と電子計算機(調理器具内の端末、公衆ネットワーク上のサーバ、専用線に存在するサーバ、ルータ(ダイナミック)、リピーターなど)を利用する発明であるが、ソフトウェア(プログラム)によって実現され、ハードウェアによっても実現され、ソフトウェアとハードウェアの協働によっても実現される。本件発明の各構成要件の全部又は一部を実現するハードウェアでは、コンピュータの基本的構成であるCPU、メモリ、バス、入出力装置、各種周辺機器、ユーザーインターフェースなどによって構成される。各種周辺機器には、記憶装置、インターネット等インターフェース、インターネット等機器、ディスプレイ(液晶ディスプレイ、有機ELディスプレイ等)、タッチパネル、タッチパネル付きディスプレイ、キーボード、マウス、スピーカー、カメラ(写真用、スキャナ用)、カメラの写真のスキャナ、ビデオ、テレビ、CD装置、DVD装置、ブルーレイ装置、USBメモリ、USBメモリインターフェース、着脱可能タイプのハードディスク、一般的なハードディスク、プロジェクタ装置、SSD、電話、ファックス、コピー機、コピー機能構成、印刷装置、ムービー編集装置、各種センサー装置、情報入力のための方眼紙、情報入力のための原稿用紙、ペン入力装置(ディスプレイをペンでなぞるとその軌跡が情報として計算機に取得される。)などが含まれる。また本発明装置は必ずしも一つの筐体によって構成されている必要はなく、複数の筐体を通信で結合して構成されるものであってもよい。また通信はLANであってもWANであってもよく、また、一部が国境を跨いで設置されていてもよい。
さらに、複数の筐体のそれぞれが異なる主体によって運営されていてもよく、一の主体によって運営されていてもよい。本件発明のシステムの運用主体が単数であるか、複数であるかは問わない。また、本発明システムの他に後述する他の登場企業の利用する端末を含むシステムとしても発明を構成することができる。またこれらの端末は国境を越えて設置されていてもよい。さらに本システムや前記端末の他に他の企業の登録のために利用される装置、登録の内容を記録するためのデータベースに利用される装置などが用意されてもよい。これらは本発明装置内に備えてもよいし、本発明装置外に備えてこれらの情報を利用可能なように本装置を構成してもよい。
なお、スマートフォン等にプログラムサーバからプログラムをダウンロードする際の形態は圧縮されている場合、圧縮されていない場合、暗号化されている場合、暗号化されていない場合などいずれのケースでもプログラムのダウンロードとして扱われる。この場合にプログラムのダウンロードは本願プログラムクレームの発明の実施に該当する。またそのダウンロードをさせるサーバにはそのプログラムが記録された記録媒体があるので、そのサーバの記録媒体は、本願発明の記録媒体クレームの発明の実施に該当する。なお、スマートフォン等にダウンロードするサーバが一のプログラムについて複数サーバからの部分ダウンロードを組み合わせて構成するのか否かは本願プログラム発明の実施に該当することは言うまでもない。
<本件発明 前提:ビジネスモデルについて>
本明細書にて説明する発明は、ビジネスモデルとして成立する。ビジネスモデルであるので、収益は広告型、課金型、両者の混合型、部材のくり返し販売型、などによって挙げられる。従って、最終消費者、この場合には調理器具によって利益を受ける者は、本発明の音声制御調理器具プラットフォーム内にて一意に特定される必要がある。特定は、階層的に特定されるようなものでもよい。階層的とは、世帯、世帯の中の各個人のようなものや、さらには各個人と利用した調理器具ないしは、世帯を特定するために調理器具の識別情報を流用することもできる。請求項に記載した構成要件ではこれらは特に限定しないが、何らかの方法によってユーザー(最終消費者)が特定されるようにしなければならない。一例としては、前述の通り調理器具の識別情報を用いてユーザを特定する方法、制御音声情報を取得するために利用される音声を集音するマイクに付与されているマイクの識別情報を利用して特定する方法(音声に伴ってこの識別情報がサーバ(音声処理サーバ(ジーニー)、調理器具制御サーバ装置のいずれか又は両者)に渡される)、あるいは、マイクにその世帯等を特定する情報が保持されて同じように前述のような処理によって特定する方法、が考えられる。
<本件発明 前提:音声処理>
本件発明は調理器具をユーザの音声によって制御するというものであるが、調理器具は人の生命に危険を与える場合があることから、ユーザの音声の処理は厳格に行われるべきである。そのため、一旦マイクから集音され音声ファイルとなった情報がスペクトラム分析に掛けられて声紋を判別するレベルで分析される。声紋を判別するレベルでは、テキスト化が正確に行われたり、声の主がユーザ識別情報で識別される特定のユーザの声紋と合致するかなどが判定されたりする。テキスト化はスペクトラム分析を介さないで、人工知能によって行われるように構成してもよい。これらの音声分析機能は、調理器具に持たせる場合の他に、キッチンに配置され、公衆ネットワークと通信可能なネットワークスピーカー等に持たせる場合、ネットワークスピーカー等が通信をする音声処理サーバ(ジーニー)に持たせる場合、あるいは音声処理サーバでなく、音声ファイルを受け取った調理器具制御サーバ装置に持たせる場合、ネットワークスピーカーが接続されているキッチンサーバやホームサーバに持たせる場合など各種のケースが考えられる。この点は本件発明のすべての実施形態について矛盾しない限り適用される。
<実施形態1>
<実施形態1 概要>
本実施形態における発明は、音声指示を利用して調理器具を制御するためのプラットフォームである。
図1は、音声制御調理器具プラットフォームを用いて調理をする場合のイメージ図である。図に示す様に、キッチンで調理をする者(0101)が制御音声を与えると、指定された調理器具が、例えば、レンジフード0128に設けられている入出力装置(0126)の一部を構成する例えば、ネットワークスピーカー(0120)を通して取得した指示に従った調理動作を行う。例えば、「シェフ!1番コンロ弱火にして!」との制御音声(0102)が出された場合に、これに対応する調理機器であるコンロ(0103)が「ピピッ1番コンロ弱火にします」との応答音声情報(0104)を出力して、制御音声(0102)に従って火力を弱くする。同様に、オーブン(0105)に対する制御音声(0106)に従って、オーブンが制御され(0107)、シンクの水道栓(0108)に対する制御音声(0109)に従って、水道栓が制御される。
図2Aは、音声制御調理器具プラットフォームのハードウェア同士の繋がりを概念的に示す図である。図2Aに示す様に、キッチン(HOME)に配置された調理器具(0202a、0202b、0202c、0202d)は、家庭内ルータ(0203)及びネットワーク(0201)を介して音声分析機能を有する調理器具制御サーバ装置(0205)と接続されており、さらに各メーカーの調理器具制御情報を保持・更新する各メーカーサーバ(0204a、0204b、0204c、0204d)が、ネットワーク(0201)を介して調理器具制御サーバ装置(0205)と接続されている。この場合、キッチンの調理器具(0202a、0202b、0202c、0202d)の近傍には、調理器具と別体を成して接続する入出力装置(0226)が配置されており、この入出力装置(0226)は、家庭内ルータ(0203)及びネットワーク(0201)を介して調理器具制御サーバ装置(0205)と接続されている。また、入出力装置の一部を構成するネットワークスピーカー(0220)が調理器具制御サーバ装置(0205)に接続されている。なお、この入出力装置(0206)は、各メーカーサーバ(0204a、0204b、0204c、0204d)に接続されていてもよい。
入出力装置(0226)は、図2Bにも示す様に、例えば、レンジフード0228上に設けられていてもよく、例えば、ネットワークスピーカー(0220)及び調理器具制御サーバ装置(0205)を経て取得した制御音声に係る制御情報(ID01〜ID04)を該当する調理器具、図2Bではオーブン(0202b)、左側ガスコンロ(0202aL)、中央ガスコンロ(0202aC)、右側ガスコンロ(0202aR)に出力する。
なお、調理器具(図2Bではオーブン(0202b)、左側ガスコンロ(0202aL)、中央ガスコンロ(0202aC)、右側ガスコンロ(0202aR))のそれぞれが、ネットワークスピーカー(0220)の機能を含む入出力装置(0226)の機能を有していてもよい。
また、各メーカーの調理器具制御情報は、調理器具制御サーバ装置(0205)内に格納されていても構わない。あるいは調理器具制御サーバ装置が各メーカーのメーカーサーバにその都度、又は所定のインターバル、又はメーカーサーバからのプッシュによって調理器具制御情報又は調理器具制御情報セットを取得するように構成してもよい。さらに、この図の例では調理器具制御サーバ装置と、入出力装置及び各調理器具が家庭内ルータを介して通信するように構成したが、必ずしもこれに限定されず、調理器具制御サーバ装置と、入出力装置及び各調理器具とは、ルータを介さないで、インターネットのURLを利用して直接的に通信するように構成してもよい。なお、各メーカーサーバもネットワーク(0201)を介して直接的に又は家庭内ルータを介して調理器具と通信をするように構成されていることが好ましい。これは調理器具のメンテナンス、調理器具内のプログラムのアップデートなどをするためである。
<実施形態1 音声制御調理器具プラットフォームの発明>
<実施形態1 発明の構成:基礎となる構成>
<基礎となる構成の意味>
この明細書においては「基礎となる構成」は、基礎の発明以外の発明において共通に利用される構成である。基礎となる構成に他の構成が付加されて基礎となる構成にバリエーションが施されその他の構成を有する他のバリエーション発明が説明される。
<基礎となる構成>
<主に請求項1に関する>
図2Aで示した様に、本実施形態における音声制御調理器具プラットフォームは、調理器具制御サーバ(0205)と、調理器具(0202a、0202b、0202c、0202d)と、この調理器具と一体又は別体に設けられる入出力装置(0226,0220)とからなる。
図3〜図5は、実施形態1における基礎となる構成の一例を示す図である。
図3に示す様に、調理器具制御サーバ装置(0300)は、制御音声情報取得部S(0301)と、調理器具識別情報取得部S(0302)と、調理器具制御情報取得部S(0303)と、応答音声情報取得部S(0304V)と、調理器具制御情報出力部S(0305)と、応答音声情報出力部S(0306V)と、応答テキスト情報取得部S(0304T)と、応答テキスト情報出力部S(0306T)と、を有する。
さらに、図4に示す様に、調理器具(0400)は、調理器具識別情報保持部C(0401)と、調理部C(0402)と、調理制御部C(0403)と、調理器具制御情報取得部C(0404)と、を有する。
さらにまた、図5に示す様に、入出力装置(0500)は、マイク制御音声情報取得部(0501)と、制御音声情報出力部(0502)と、応答音声情報取得部(0503)と、応答テキスト情報取得部(0504)と、応答テキスト履歴情報保持部(0505)と、応答テキスト履歴情報出力部(0506)と、応答音声情報出力部(0507)と、応答テキスト情報出力部(0508)と、を有し、調理器具サーバ装置と調理器具と入出力装置は、インターネットを介して相互に情報の送受信を行うことで、音声指示による自動調理を実現する。
<実施形態1 構成の説明>
<実施形態1 調理器具制御サーバ装置>
調理器具制御サーバ装置は、音声分析機能を有する調理器具制御サーバ装置であって、キッチンから送信された情報を、例えば、入出力装置の一部又は全部であるネットワークスピーカー等を介して受信して、調理器具に利用可能な情報、あるいはユーザに対する応答会話の音声情報やテキスト情報を送信することが可能なサーバ装置である。キッチンから送信される情報には、ユーザの発声に基づく音声情報や、調理器具自身が出力する調理器具の状況情報などをあげることができる。
<実施形態1 調理器具制御サーバ装置:制御音声情報取得部S>
「制御音声情報取得部S」は、調理器具を制御するための音声情報である制御音声情報を取得する。調理器具を制御するための音声情報とは、調理器具にこれから実行して欲しい調理動作を内容に含む音声情報である。音声情報は、ユーザの発声に基づいて生成される情報であり、音声スペクトルを示す情報であってもよいし、単に音(音の高さと音色)を示す情報であってもよい。さらには、音声をテキストに変換したテキスト情報であってもよい。また、この音声情報には、少なくとも家庭や店舗(レストラン等)、代表ユーザ、キッチンのいずれか一以上であるキッチン等を識別するキッチン等識別情報又は、集音したマイクを識別するマイク識別情報、あるいは、発声者を識別する発声者識別情報が含まれるように構成することが好ましい。これらは、キッチンに置かれたネットワークスピーカー、キッチンサーバ、ホームサーバ、調理器具などに保持されており、音声又は制御音声情報と関連付けられて調理器具制御サーバ装置に送信される。又は、発声者を識別する情報は送信されてきた音声を分析することで取得されるように構成されてもよい。このように、調理器具が配置されているユーザの自宅や店舗の調理場から取得された音声が、調理器具制御サーバ装置に送信されて、又は音声が調理器具、ネットワークスピーカー、キッチンサーバ、ホームサーバ等で制御音声情報に変換されて調理器具制御サーバ装置に送信され、調理器具制御サーバ装置の制御音声情報取得部Sによって取得される。本明細書においては、取得は、生成を意味する場合があり、調理器具制御サーバ装置内において制御音声情報を生成する場合もある。なぜなら、キッチンからの音には、ユーザが調理器具を制御することを意図した発声に基づく音の他に、無関係な音も多く含まれているからである。キッチンで集音された音が途中でテキスト化されて調理器具制御サーバ装置に取得される場合も、そのテキストの分析を行って、制御音声情報と、非制御音声情報(意味取得可能音声又は、意味取得不能音声からなる)とに区別する処理が必要となる。なお、キッチンで集音された音であってテキスト文章化、テキスト単語化できない音に関しては特定の文字や記号、符号、アルファベットなどを割り当ててテキスト化することが考えられる。割り当てられたテキストからも特定の意味を取得できるように構成するとよい。特定の意味とは、例えば調理中の食材から発せられる音や、調理器具から発せられる音(例えば沸騰音、警告音、焼き付き音など)をも調理器具の制御に利用するように構成することができる。テキストからの制御音声情報の取得は、構文解析、文脈解析、意味解析、形態素解析などを用いる。
また、キッチン用語データベースを用いる。特殊な用語も含めたキッチン関連用語を充実させておく必要がある。さらに人工知能などもテキストからの制御音声情報の取得に利用可能であり、人口知能を用いた場合にはキッチン用語データベースもこれによって常時進化させることができる。人工知能は、取得、生成した制御音声情報に基づいて取得した調理器具制御情報にさらに基づいた応答音声情報に対応するユーザからの制御音声情報によって、判断した制御音声情報が的確であったかをフィードバック(制御音声情報によるフィードバック又は/及びタッチパネルや、キーボード、操作ボタンなどからのフィードバックを言う。以下同じ。)によって成長させるように構成する。フィードバックがネガティブであれば、制御音声情報の取得、生成のアルゴリズムを修正し、ないしは信頼度を低下させ、フィードバックがポジティブであればその制御音声情報の取得、生成のアルゴリズムの信頼度を向上させるようにする。なお、ここで信頼度とは、所定の音声(テキストも含む)に基づいて制御音声情報を取得、生成するのに用いるべきアルゴリズムを多数のアルゴリズムの中から採用するために用いられる確率と同等のものである。
非制御音声情報に関しては、これに基づいて調理器具制御情報を取得することはない。さらにこの非制御音声情報に基づいて応答音声情報を生成しなくてもよいし、生成するように構成してもよい。
制御音声情報は、調理器具にこれから実行して欲しい調理動作を含む音声によって発せられる指示である。例えば、「コンロの火を止めて」「弱火にして」「強火にして」「中火にして」「コンロに火をつけて」「カットして」「洗って」「みじん切りにして」「冷やして」「常温にして」「混ぜて」等の指示が制御音声情報の具体例の一部である。後述にて詳細に説明するが、質問音声情報取得部Sは、制御音声情報に加えて「質問応答音声情報」を取得するように構成してもよいし(質問応答音声情報取得手段S)、「時系列調理器具制御情報」を取得するように構成してもよいし(時系列調理器具制御譲歩取得手段S)、「調理対象依存調理器具制御情報」を取得するように構成してもよい(調理対象依存調理器具制御情報取得手段S)。
<実施形態1 調理器具制御サーバ装置:調理器具識別情報取得部S>
「調理器具識別情報取得部S」は、取得した制御音声情報に基づいて調理器具を識別する情報である調理器具識別情報を取得する。「調理器具識別情報」は、制御音声情報にデータとして含まれているものではなく、制御音声情報を分析することで取得されるものであってもよいし、制御音声情報に含まれるものであってもよい。又は制御音声情報に関連付けられて受信することで取得するように構成することもできる。
例えば「平野レミ」さんがキッチンからマイクに向かって発した音声に基づく制御音声情報がテキストで「1台目の電子レンジ」+「加熱強め」というテキストデータである場合には、「1台目の電子レンジ」というテキスト情報(制御音声情報)から調理器具識別情報として「PST13−4521W」という調理器具識別情報を取得する。そのためには、「平野レミ」さんのキッチンの「1台目の電子レンジ」の調理器具IDが「PST13−4521W」であるということが調理器具制御サーバ装置、ないしは調理器具制御サーバ装置がアクセス可能なデータベースに記録、保存されていなければならない。この記録、保存は、「1台目の電子レンジ」という呼び名と、「PST13−4521W」という調理器具識別情報とを本願発明の音声制御調理器具プラットフォームに調理器具使用開始時に登録しておくことで準備される。この登録は、例えば調理器具を新規に購入した際に、調理器具に付されている暗号化されたQRコード(登録商標)や暗号化された数列コードなどを、音声制御調理器具プラットフォームのホームぺージにてユーザの識別情報と関連付けて入力するとともに、その調理器具の呼び名を複数の候補を挙げて記入し登録すること等で実行可能である。 また、この最初の登録は、新規な調理器具制御サーバ装置にて制御可能な調理器具を初めて調理器具制御サーバ装置に通信可能に設置した際に、調理器具制御サーバ装置からの指示に従って利用者が登録するように構成することができる。例えば新規な調理器具がキッチンに設置され、電源が入れられると、調理器具が自動的に登録されている調理器具制御サーバ装置と通信を試み、通信が成功すると、調理器具制御サーバ装置に対して自己の識別情報や、そのキッチンにて通信を可能とするルータやホームサーバの識別情報を送信する。そうすると調理器具制御サーバ装置は、その調理器具が新規に登録されるべき調理器具であると判別し(自身の調理器具データベース上にない新たな調理器具識別情報であるから)その調理器具の近辺にいるであろう利用者に対して質問を発するように構成する。例えば、利用者に対して「その調理器具を何と呼びますか」とか、「その調理器具は2代目の電子レンジと呼んでいいですか?」などである。それに対して利用者が、「最新の電子レンジと呼びます」とか、「2代目の電子レンジでいいです。」などと回答すると、調理器具制御サーバ装置は、その構文解釈によって、送信されてきた調理器具識別情報と、「最新の電子レンジ」という呼び名とを関連付けるように登録するように構成することができきる。
調理器具識別情報は、調理器具の種類を示す情報、調理器具の製造元を示す情報、調理器具の販売元を示す情報、調理器具の製造年月日を示す情報、調理器具の品番を示す情報、調理器具の容量を示す情報、調理器具の電圧を示す情報、調理器具の消費電力を示す情報、その調理器具の保守条件、デバイスドライバ、管理プログラム、アップデート情報などを含んでもよいし、これらの情報を取得できるサーバのアドレス(例えば調理器具メーカーのサーバアドレス)やそのサーバにアクセスして情報を取得するためのパスワードなどを示す情報等の一以上を含むように構成することができる。これの利用方法としては例えば、「最新の電子レンジの温め機能」「最新の電子レンジのリモコン」などがそれぞれ最新の電子レンジを識別する調理器具識別情報に関連付けて階層的な機能識別情報などとして登録されている状態である。
調理器具識別情報は、さらに、1つの調理器具内に複数の調理手段が混在している場合(例えば、複数の五徳がある場合、IHヒーター及びラジアントヒーターがある場合、五徳と魚焼きのためのグリルがある場合、電子レンジとオーブン機能が併存している場合、炊飯器とパン焼き機の機能が併存している場合、カット方法に合わせた刃の形状が選択できる場合等)に、それぞれの手段を特定するためのユニークな情報を調理器具識別情報に付随する枝情報として有するように構成してもよい。
調理器具識別情報取得部Sが取得した制御音声情報に基づいて調理器具識別情報を取得することから、制御音声情報取得部Sが取得する制御音声情報は、「制御内容を特定するための情報」と「制御音声の取得元又は/及び制御音声情報に基づき動作する先」を特定することが可能な情報(プロトコル)によって構成されることが好ましい。
<実施形態1 調理器具制御サーバ装置:調理器具制御情報取得部S>
「調理器具制御情報取得部S」は、取得した制御音声情報に基づいて調理器具識別情報で識別される調理器具を制御する情報である調理器具制御情報を取得する。
「調理器具制御情報」とは、その名のとおり、調理器具を制御するための情報であって、コンピュータである調理器具に読取り実行可能な形で記述される命令である。特に調理器具の制御対象となるデバイスを制御する。デバイスの例としては、調理器具毎のガス・水道供給バルブの制御アクチュエータ、IH調理器や電子レンジの電磁波出力系統のコンバータ、インバータ、電気オーブンのヒーター投入電力調整器、冷蔵庫の冷気を作るコンプレッサーのモーター、トースターの電熱線への投入電力調整器、換気扇のモーター、フードプロセッサーのモーター、電気フライヤーやホットプレートのヒーターへの投入電力調整器などである。これらは集積回路や電気回路、電子回路などで構成された制御盤によって制御されるが、その制御盤を制御するソフトがいわゆるデバイスドライバである。従って調理器具制御情報は、このデバイスドライバを介して上記制御盤を制御し、前記各ハードウェアを制御することで最終的に調理器具の調理を制御することとなる。
調理器具制御情報の具体的な構成は、調理器具識別情報に則して、適切なプロトコルに各メーカー間で統一的に利用できる信号列を変換することで取得するように構成することが可能である。
一方、本発明の音声制御調理器具プラットフォームに接続可能な調理器具が共通して所持するプログラムによって読取実行可能なプロトコルによって構成することも可能である。
つまり、各メーカーの各調理器具は、共通言語によって制御されるようにしてもよいし、方言によって制御されるようにしてもよい。共通言語で制御されるようにする場合には、その通信プロトコルで利用される流通情報単位(例えばパケットや、音声制御調理器具プラットフォーム用に規格統一されたパケット)に各メーカーが自由に使用できるオプション領域を大きく(例えば32ビット、64ビットの信号列を100以上)設けることが好ましい。
本発明がプラットフォームとしての機能を果たすことを重視する場合、後者の構成にすることで、自動音声調理システムの統一規格を提供する構造とすることが好ましい。統一規格によって調理器具の制御を行うことで、調理器具毎の差異や特徴が動作の結果に与える影響を小さくすることが可能である。
調理器具制御情報取得部Sは、調理器具制御情報を外部の調理器具制御情報保持部Sを有するサーバ又は/及び調理器具制御サーバ装置内の調理器具制御情報保持部Sから調理器具制御情報を取得する構成とすることができる。調理器具のメーカーは複数あることから、調理器具制御情報は調理器具メーカー自身によって管理させるように構成しておくことが好ましい。その管理を音声制御調理器具プラットフォームの管理者と明確に区別するためには、調理器具制御情報保持部Sを有するサーバを調理器具制御サーバ装置の外に配置することが好ましい。あるいは、調理器具制御情報を外部のメーカーのサーバと、音声制御調理器具プラットフォームの調理器具制御サーバ装置内の両方に置いておき、定期的に調理器具制御サーバ装置に置かれた調理器具制御情報をメーカーのサーバに置かれる調理器具制御情報と同期するように構成してもよい。同期の時期は一般に家庭内でキッチンを利用していない夜中の時間帯が好ましい。例えば、一日に一回同期するように構成する。すでに利用されている調理器具制御情報のアップデートや、新規の調理器具制御情報の追加を柔軟に行うことができる。
調理器具制御情報保持部Sを調理器具制御サーバ装置の外部に構成する場合には、調理器具制御情報取得時におけるアクセス権限のセキュリティ管理が重要な課題となる。調理器具は、多くの場合消費電力及び発生熱量が大きく、外部からコントロールされた場合に大事故につながる危険性がある。そこで、調理器具制御サーバ装置と調理器具制御情報保持部Sの間のアクセス時には、必ずセキュリティチェックを行うように構成しておくことが好ましい。
さらに、外部サーバの調理器具制御情報保持部Sと調理器具制御サーバ装置の間が調理器具制御情報の送受信中に通信遮断された場合、あるいは、調理器具制御サーバ装置と家庭等に置かれている調理器具との通信遮断が調理の途中で起こると調理器具の制御が止まってしまう、ないしは暴走してしまう可能性がある。このような事態を防ぐために、調理器具制御情報の通信接続が切断された、あるいは不調になった場合には、調理器具から警告音が出たり、警告ランプが点滅したりするように設定しておく、調理器具の制御が中止されその時点で取得している制御情報に基づく調理行為が終了した時点で調理器具が動作しなくなる、というような構成にしておくことが好ましい。
また、調理器具の種別に応じて調理器具スタンドアローンで緊急処理手順を実行するように構成することもできる。例えば加熱をするための調理器具であれば加熱を中止する、水道栓を制御する調理器具の場合には水道栓を閉止する、機械的な動きをする調理器具の場合にはその機械的な動きを中止する、などである。逆に、無制御になっても問題を生じない調理器具の場合には無制御状態でも稼働を続行させるように構成してもよい。例えば、冷蔵庫、換気扇、米びつ等については稼働を続行するように構成することも考えられる。
さらに、調理器具制御情報は、制御音声毎を単位として、単位毎に制御情報の所定のまとまり(一制御情報セット)が調理器具に取得されなければ、調理器具の制御を開始しないように構成しておくことも考えられる。制御情報が複数のパケット等に分けられて調理器具に取得される構成の場合には一制御情報セットの先頭を構成するパケットには一制御情報セットを構成する制御情報の数、識別情報、量などを記録しておき、一制御情報セットの受信と処理が終了するまでは、その制御情報による調理器具の制御を行わないようにする。応答音声情報は、調理器具識別情報と関連付けて取得してもよいし、関連付けないでその調理器具が置かれているキッチンないしは家庭、建物、を識別情報のみと関連付けられて取得されてもよい。応答音声情報が調理器具識別情報と関連付けられて取得される場合には、その応答音声情報に基づく応答音声は調理器具に個別にスピーカーが設けられている場合には、調理器具のスピーカーから音声が出力されるように構成してもよい。このように構成すると、キッチンで料理をしているユーザに対して音の方向からも自身の音声による指示が正しく処理されたか判断することができる。もちろん、キッチンに据えられた一組のスピーカーからすべての調理器具に対する音声指示に対応する音声応答が出力されるように構成してもよい。
<実施形態1 調理器具制御サーバ装置:応答音声情報取得部S>
「応答音声情報取得部S」は、取得した調理器具制御情報に基づいて応答のための応答音声の情報である応答音声情報を取得する。応答のための応答音声は、ユーザが発声した制御音声に対して、これを正しく受領したか、正しく受領していないか、を確認するために出力される。例えば、「はい。」「はい、弱火にします。」「はい、点火します。」といった音声を出力させるための情報である。応答音声情報は、制御音声に基づいて特定の動作の実行を指示されていることが特定できた場合にのみ、その内容をユーザに確認させるために生成される情報として構成することができる。あるいは、なにかしらの音を取得した時に、それが制御音声であって特定の動作を指示されている場合にはその指示の内容をユーザに確認するために生成し、制御音声情報ではあると判断できるが、その内容の一部に不鮮明な部分がある場合に鮮明にするために再度制御音声の入力を促すために生成する様に構成してもよい。
なお、応答音声情報は音声そのものに直ちに変換できる情報であってもよいし、音声を間接的に生成するための情報であってもよい。例えば音声そのものに直ちに変換できるファイル形式として、非圧縮音声フォーマットであるPCMそのもの。例えば、WINDOWS(登録商標)では.WAV、MACOSでは.aiffである。その他、BWF(Broadcast Wave Format)でもよい。非可逆圧縮音声フォーマットでは、mp3、VorbisOggフォーマット、Opusフォーマット、AACフォーマットでもよい。さらに、可逆圧縮音声フォーマットでは、TAKフォーマット、FLACフォーマット、WavPackフォーマット、MPEG−4 SLS MPEG−4 可逆フォーマットでもよい。さらにはApple Lossless(ALAC)、ATRAC Advanced Lossless(AAL)、WMA Losslessでもよい。
音声を間接的に生成するための情報としては、テキスト情報が考えられる。ここでテキストとは、文字コードだけで構成された文字列や文書のデータをいう。ただし、応答音声情報は、テキストのみでなく付加的な情報が含まれていてもよい。例えば発声の際の抑揚を示す情報や、方言としてどの地方の方言を用いるかを示す情報、声のタイプを示す情報(例えば女性の声、男性の声、アニメキャラクターの声、声優の声、俳優、女優の声)などを含んでいてもよい。
<実施形態1 調理器具制御サーバ装置:応答テキスト情報取得部S>
「応答テキスト情報取得部S」は、取得した制御音声情報に基づいて応答のための応答テキストの情報である応答テキスト情報を取得する。応答のための応答テキストは、応答音声と同じく、ユーザが発声した制御音声に対して、これを正しく受領したか、正しく受領していないか、を確認するために出力される。例えば、「はい。」「はい、弱火にします。」「はい、点火します。」といったテキストを出力させるための情報である。応答テキスト情報は、制御音声に基づいて特定の動作の実行を指示されていることが特定できた場合にのみ、その内容をユーザに確認させるために生成される情報として構成することができる。あるいは、なにかしらの音を取得した時に、それが制御音声であって特定の動作を指示されている場合にはその指示の内容をユーザに確認するために生成し、制御音声情報ではあると判断できるが、その内容の一部に不鮮明な部分がある場合に鮮明にするために再度制御音声の入力を促すために生成する様に構成してもよい。
この応答テキスト情報も、調理器具識別情報と関連付けて取得してもよいし、関連付けないでその調理器具が置かれているキッチンないしは家庭、建物、を識別情報のみと関連付けられて取得されてもよい。応答テキスト情報が調理器具識別情報と関連付けられて取得される場合には、その応答テキスト情報に基づく応答テキストは調理器具に個別にディスプレイが設けられている場合には、調理器具のディスプレイに応答テキストが表示されるように構成してもよい。このように構成すると、キッチンで料理をしているユーザ自身の音声による指示が正しく処理されたかを目視により判断することができる。もちろん、キッチンに据えられた、例えば、TVモニターやPCからすべての調理器具に対する音声指示に対応するテキスト応答が出力されるように構成してもよい。なお、TVモニターやPCは必ずしもキッチンにあるものだけでなく、寝室や居間、勉強部屋、書斎、風呂、洗面所、自動運転される自動車のモニターなどに出力されるように構成してもよい。調理器具制御サーバ装置によって制御されて調理している際に利用者が必ずしもそこに張り付いているとは限らず例えば居間などでテレビを見ているようなことも考えられるからである。また、子供がキッチンで調理しているが、親が自動運転自動車で移動中のような場合には、子供の調理の様子を自動車の中から観察して子供に対して指示を出したり、親が子供の調理を自動車の中から手伝うようにしたりすることも可能であるように構成することが好ましい。
テキストを構成する文字コードとしては、例えばUS-ASCII (ASCII[ANSI INCITS4]対応)ISO/IEC 646、ISO646-JP、ISO/IEC 8859 (ISO/IEC 8859-1〜ISO/IEC 8859-16)、ISO-8859-1 (ISO/IEC 8859-1 対応)、ISO-8859-5 (ISO/IEC 8859-5 対応)、ISO-8859-6 (ISO/IEC 8859-6 対応)、ISO-8859-7 (ISO/IEC 8859-7 対応)、ISO-8859-11 (ISO/IEC 8859-11 対応)、ISO-8859-15 (ISO/IEC 8859-15 対応)、windows-1252 (Microsoft Windows Codepage 1252 対応)、macintosh (MacRoman 対応)、KOI8-R、KOI8-UF、TIS-620、EBCDIC、JIS X 0201 (JIS ローマ字、カタカナ)JIS X 0208 (第一・第二水準漢字など)、JIS X 0212 (補助漢字など)JIS X 0213 (JIS X 0208 に第三・第四水準漢字などを追加した文字集合。JIS X 0213:2004 は JIS2004 とも呼ばれる)、GB 2312、GB 18030、KS X 1001 (KS C 5601)、Big5、CNS 11643、ISO/IEC 2022 系(ISO/IEC 2022自体は文字符号化方式というより、そのフレームワークのようなものである)、ISO-2022-JP (RFC 1468、俗に「JIS コード」と呼ばれる文字コード。JIS X 0208 対応)、ISO-2022-JP-1 (RFC 2237、JIS X 0208 と JIS X 0212 に対応)、ISO-2022-JP-2 (RFC 1554、多言語拡張。JIS X 0208、JIS X 0212、GB 2312、KS X 1001、ISO/IEC 8859-1、ISO/IEC 8859-7 対応)、ISO-2022-JP-3 (JIS X 0213:2000 対応)、ISO-2022-JP-2004 (JIS X 0213:2004 対応)、ISO-2022-CN (RFC 1922、GB 2312、CNS 11643 [第一字面・第二字面]対応)、ISO-2022-CN-EXT (RFC 1922、GB 2312、ISO-IR-165、CNS 11643 [第一字面から第七字面]対応)、ISO-2022-KR (RFC 1557、KS X 1001 対応)、EUC ……拡張 UNIX(登録商標) コード (EUC) 文字符号化方式を用いた8ビットの文字コード。ISO/IEC 2022 の8ビット符号化表現に相当する。
EUC-JP (JIS X 0208 対応)、EUC-JISX0213 (JIS X 0213:2000 対応)、EUC-JIS-2004 (JIS X 0213:2004 対応)、EUC-KR (RFC 1557、KS X 1001 対応)、GB2312 (別名 EUC-CN。GB 2312 対応)、GBK (Microsoft Windows Codepage 936 対応)、Shift_JIS (JIS X 0208 対応)、Shift_JISX0213 (JIS X 0213:2000 対応)、Shift_JIS-2004 (JIS X 0213:2004 対応)、Windows-31J (Microsoft Windows Codepage 932 対応)、x-Mac-Japanese (MacJapanese 対応)、HZ-GB-2312 (RFC 1842、RFC 1843、GB 2312 対応)などを挙げることができる。
<実施形態1 調理器具制御サーバ装置:調理器具制御情報出力部S>
「調理器具制御情報出力部S」は、取得した調理器具制御情報を取得した調理器具識別情報と関連付けて調理器具識別情報で識別される調理器具に向けて出力する。通信の最終目的地は調理器具識別情報で識別される調理器具であるが、必ずしもすべての調理器具制御情報が最終目的地に到達しなくてもよい。調理器具制御情報の一部が途中で削除されたり、解釈されたりして別の情報に置き換えられるように構成してもよい。
調理器具制御情報出力部Sは、調理器具制御情報をパケット通信にて出力する。図92は、本実施形態によって調理器具識別情報を出力する際のパケットの構成の一例を示している。図に示す様に、パケットはヘッダーと言われる部分とペイロードと呼ばれる情報の部分によって構成されている。
ヘッダーに記載する内容は一般的には既定である。具体的には、「バージョン」「ヘッダ長」「サービス・タイプ」「データグラム長」「ID」「フラグ」「フラグメントオセット」「TTL」「プロトコル番号」「ヘッダチェックサム」「送信元IPアドレス」「宛先IPアドレス」「オプション(調理器具アドレス)」、によって構成されており、「オプション」の内容については自由に構成が可能である。これに対してペイロードは、通信を利用して届けたい情報そのものであり、送信毎にその具体的な内容は異なる。図では、例えばA社のコンロを利用しているユーザが「1番コンロを中火にする」との制御音声を発した場合に調理器具制御情報出力部Sによって出力される調理器具制御情報のパケットの形態を示したものである。
ペイロードは、調理器具をこのシステム内で一意に識別する「調理器具ID」、調理器具に対する制御内容を示す「Controll種別」、コントロール種別で定められる調理器具に対する制御がなされた場合に次の制御情報が来ない場合に調理器具の調理を停止させるまでの時間である「制限時間」、調理器具に対する制御が単位時間当たりの量で測ることができる場合に、その量を変化させる際の単位時間当たり速度変化を示す「加速度」、調理器具の正常動作を中止すべき調理器具の調理状況と、その中止処理種別を示す「緊急対応1」「緊急対応2」、調理器具制御情報をシステム内で一意に識別する調理器具制御情報識別子であり、場合によりその調理器具制御情報識別子で識別される調理器具制御情報と、他の調理器具制御情報識別子で識別される調理器具制御情報との制御順位を示す情報をも含みうる「調理器具制御情報ID」、調理器具のユーザを一意に識別する「会員ID」この調理器具制御情報を出力した調理器具制御サーバ装置のIDである「SRVID」、制御結果を示す制御結果応答情報を送信すべき先のURLである「ReturnURL」、この調理にて調理されている調理対象を示す識別情報である「調理対象」によって構成されている。具体的には、「調理器具ID」は「メーカー名:製造番号:製造ID」によって構成されており「A社:GCA012:20210913AB」という情報を0と1の数字によって表現した情報に置き換えられる。他のペイロードに含まれる情報についても、図92に示す様に同様に置き換えられる。パケットの構成は、図に示す構成に限定されずその他の構成であってもよい。
その他に構成し得る情報としては、例えば、コントロール種別として、加熱調理器具の場合には、「着火」「加熱開始」「火力強める」「加熱強める」「火力一定」「加熱一定」「火力弱める」「加熱弱める」「消火」「加熱終了」等があり、水道栓の制御の場合には「水道栓開」「水道栓開度小」「水道栓開度・・%」「水道栓閉止」等がある。また冷蔵庫の場合には「急速冷凍」「冷凍温度低下」「解凍開始」「解凍終了」「・・度維持」などがある。ミキサーなどの機械的回転や振動、その他の動きをする調理器具に関しては「動作開始」「動作量上昇」「動作量減少」「動作量一定維持」「動作終了」等がある。緊急対応に関しては、加熱調理器具の場合には「消火」「加熱終了」場合により、「消火剤散布開始」があってもよい。ミキサーなどの回転や振動その他の機械的動きをする調理器具に関しては「動作終了」あるいは調理器具の種類によっては動作開始位置に機械の全部又は一部を復帰させる「原点位置回帰」、調理器具種類によっては複数の機械部品を組み合わせて行っていた調理動作を中止して機械部品の組合せを解除する「組合せ解除」などがあってもよい。緊急事態の種別としては、図に記載したもののほかに「発火」、「火災警報発令」、「地震発生」、「風力所定値以上」、「避難指示受信」、「ガス漏れ(検知)」、「ガス供給なし」、「停電」、「ユーザ不滞在時間所定値超過」、「室内温度が所定範囲外」、「外部から節電要請あり」、「調理器具制御サーバ装置との通信途絶(遮断)」、「調理器具サーバ装置との通信不安定」等がある。
緊急事態に対応する手段として調理器具内に設けられている通常の制御対象にて対応可能なものはそれによって対応する。それ以外に通常の制御対象ではないが、調理器具に緊急事態用に設けられている機能を制御してもよい。例えば、調理器具に消火剤の噴射装置が付随させて、「発火」の際に調理器具の消火剤噴射装置を起動する消火剤噴射装置起動手段を設けるように構成することができる。また、「ガス漏れ」の場合には、防爆型のモーターによって駆動される換気扇を起動する緊急喚起手段を備えるように構成することも考えられる。さらには「ガス漏れ」の場合には、ガス漏れ警報を発令するガス漏れ警報発令手段を調理器具が有するように構成することも考えられる。「停電」の場合には予備電源に切り換えて区切りが良いところまで調理を続行するようにしたり(例えば生焼けの肉が残ると室温が上がることで腐敗しやすくなる)、安全に終了するようにしたりすることが考えられる。
上記パケット構成は、TCP/IP層のパケット構成でもよいし、これとは別に音声制御調理器具プラットフォームで利用される固有のパケットの構造であってもよい。このパケットに載せられた情報は、原則的にはインターネットを経由して送信される情報である。ただし、多重にネットワークを構成することは可能である。例えば、調理器具制御情報出力部から出力された時にAという構成であった調理器具制御情報は調理器具制御サーバ装置の内部を移動するときには、B+A+B(B+・・・+Bは、情報・・・がBというプロトコルのパケットに入れられた状態を表す。以下同じ。)の構成となる。そして、B+A+Bの調理器具制御情報が調理器具制御サーバ装置から出力してインターネット通信に侵入した段階で、C+B+A+B+Cの構成となる。さらに、インターネット通信を介してD+C+B+A+B+C+Dの構成となる。追加される構成部分には、各通信区間内でのヘッダー情報である。一つ前の区間のヘッダー情報は、新しいヘッダーが追加されることで、追加されたヘッダーに連続するペイロードとなる。
<実施形態1 調理器具制御サーバ装置:応答音声情報出力部S>
「応答音声情報出力部S」は、取得した応答音声情報を出力する。応答音声情報は、調理器具制御サーバから出力されて、入出力装置或いはこの入出力装置の一部を構成する、例えば、ネットワークスピーカーに取得される。応答音声情報は、音声出力装置によって音として出力するための音声を構成する情報である。なお、プラットフォームを含むシステムの構成によって応答音声情報の出力先(情報の宛先)は、調理器具であってもよいし、前述のようにその調理器具が置かれているキッチンに配置される入出力装置或いはこの入出力装置の一部を構成するインターネットスピーカー等(ネットワーク上の音声処理サーバ(「ジーニー」等)を含む場合もある。)でもよい。また関連付けられている調理器具識別情報に応じて両者に送信してもよいし、その都度定められた側に送信されるように構成されていてもよい。例えばある調理器具識別情報と関連付けられている応答音声情報の場合には応答音声情報は調理器具に対して送信され、別の調理器具識別情報と関連付けられている応答音声情報は、調理器具でなく、その調理器具が置かれているキッチンのインターネットスピーカーに送信されるように構成してもよい。宛先をどこにするかは調理器具識別情報と宛先のアドレスとを関連付けた表によって決し、この応答先対応表を調理器具制御サーバ装置がユーザ識別情報と関連付けて保持するように構成することもできる。応答音声情報の具体的な内容及び種類については、既述である。なお、応答音声情報の調理器具制御サーバ装置からの出力先は、また自動運転中の自動車や、キッチンとは別室の寝室、居室、書斎、バス、トイレなどの音声出力装置に対しても出力されるように構成できる。前述のように、調理をする人物や、これを監督する人物が必ずしもキッチンやその周辺にしかいないとは言えないからである。さらに、特定の電話番号のスマートフォンへの電話発信や、特定のIDのSNSを利用した無料通話アプリを介したスマートフォンへの発信などを行うように構成してもよい。さらには、動画アプリ(例えばYOUTUBU:登録商標)のライブ放送などのインターフェースへ出力することも考えられる。これは、ユーチューバーで料理の研究家などが実演を視聴者に視聴させる場合などに利用可能である。
<実施形態1 調理器具制御サーバ装置:応答テキスト情報出力部S>
「応答テキスト情報出力部S」は、取得した応答テキスト情報を出力する。応答テキスト情報は、調理器具制御サーバから出力されて、入出力装置或いはこの入出力装置の一部を構成する、例えば、調理器具のディスプレイに取得される。応答テキスト情報は、テキスト出力装置によって文字列として出力するための文字を構成する情報である。この場合、プラットフォームを含むシステムの構成によって応答テキスト情報の出力先(情報の宛先)は、調理器具のディスプレイの他、調理器具が置かれているキッチンに配置されるTVモニターやPCでもよい。また関連付けられている調理器具識別情報に応じて両者に送信してもよいし、その都度定められた側に送信されるように構成されていてもよい。例えばある調理器具識別情報と関連付けられている応答テキスト情報の場合には応答テキスト情報は調理器具に対して送信され、別の調理器具識別情報と関連付けられている応答テキスト情報は、調理器具でなく、その調理器具が置かれているTVモニターやPCに送信されるように構成してもよい。宛先をどこにするかは調理器具識別情報と宛先のアドレスとを関連付けた表によって決し、この応答先対応表を調理器具制御サーバ装置がユーザ識別情報と関連付けて保持するように構成することもできる。応答テキスト情報の具体的な内容及び種類についても、既述である。
なお、応答テキスト情報の調理器具制御サーバ装置からの出力先は、また自動運転中の自動車や、キッチンとは別室の寝室、居室、書斎、バス、トイレなどの音声出力装置に対しても出力されるように構成できる。前述のように、調理をする人物や、これを監督する人物が必ずしもキッチンやその周辺にしかいないとは言えないからである。さらに、特定の電話番号のスマートフォンへのテキスト発信や、特定のIDのSNSを利用した無料通話アプリを介したスマートフォンへのテキスト発信などを行うように構成してもよい。さらには、動画アプリ(例えばYOUTUBU:登録商標)のライブ放送などのインターフェースへテキスト出力することも考えられる。これは、ユーチューバーで料理の研究家などが実演を視聴者に視聴させる場合などに利用可能である。
<実施形態1:キッチン側音声>
以下にキッチン側の音声情報の取得、出力に関して複数の構成例を説明する。これらに関しては、本明細書で説明するすべての実施形態にて適用可能である。
<キッチン側音声の基本構造>
キッチン側の音声情報は、調理器具の制御を目的とした音に基づく情報である。キッチン等に設置されたマイク等から取得される音声には調理器具の制御を意図した者のみならず、一般的な会話や、生活音(歩く音、ドアの開閉音、電話の着信音、玄関などから呼び鈴)、調理音、調理器具自体が発する音、近くのテレビやオーディオが発する音、などが含まれるが、これらを調理器具の制御を目的とした音声と区別するためにユーザには、最初に特有のワードを含む呼びかけを発声させるようにし、それによってシステムでは、調理器具の制御を目的とした発声であると認識して、その発声に基づいて制御音声情報を取得、生成するように構成する。特有のワードの例としては、「レミ」、「シェフ」、「ミセスレミー」など日常の会話では使用されない単語からなるものが適している。例えば、「レミ、ガスコンロAを強火にして!」という場合には、「レミ」と「ガスコンロAを強火にして!」とが同じ人物の発声であり(音声分析に基づく)、かつ最初にキーワードであり、調理器具制御サーバ装置のこの家庭での呼び名である「レミ」があることから、調理器具制御サーバ装置、ないしは調理器具ないしは入出力装置では、この一連の発声は、調理器具を制御するために発せられた音声であると認識される。なお、この識別を調理器具制御サーバ装置以外で行う場合には、制御音声情報をその他のいわゆるノイズとなる音から切り出して調理器具制御サーバ装置に送信するように構成することができる。このように構成することで通信量を節約できるという効果を奏する。ただし、キッチン側の情報処理が複雑化するために信頼性が落ちる場合には制御音声情報取得部Sが取得した全音声を調理器具制御サーバ装置に送信するように構成してもよい。
特有のワードが発せられた場合にはキッチン側のシステム(ネットワークスピーカーを含む入出力装置、調理器具、ホームサーバなど)は、その音声に基づいて制御音声情報を取得(本明細書においては「取得」には生成である場合も含まれる。)し調理器具制御サーバ装置に対してこれを出力するが、調理器具サーバ装置は、その制御音声情報に基づいて応答音声情報又は/及び応答テキスト情報を返信してくるので、その返信された応答音声情報又は/及び応答テキスト情報に対してユーザが応答して発声する場合がある。その発声は最初にしたユーザの発声に端を発した一連の会話であるので(音声分析によって同一人物の発声であることを分析することが好ましい。)、ユーザが一連の会話を連続している間は、前記特有のワードを発声しなくともシステムではその発声に基づいて制御音声情報を生成し、取得するように構成することが好ましい。
一連の会話であるかの識別は、例えば調理器具制御サーバ装置からの応答音声情報又は/及び応答テキスト情報に基づく発話から所定時間内にユーザからの発声がある場合には、それは一連の会話に属する発声であると判断して、その発声に基づいて制御音声情報を取得するように構成する。あるいは、応答音声情報又は/及び応答テキスト情報に基づく発話から所定時間内に関連するキーワードを含む発声がある場合には、それは一連の会話に属する発声であると判断して制御音声情報を取得する。関連するキーワードは、調理器具制御サーバ装置の応答音声情報又は/及び応答テキスト情報に応じて定めてもよい。例えば着火、消火に関する応答音声情報又は/及び応答テキスト情報に対するキーワードとしては、火ないしは火を利用する調理器具に関連するキーワードないしは、中止、中断、停止、延期に関するキーワード、あるいは肯定的な意味を表すキーワードである。あるいは、火加減、水の出し加減に関する応答音声情報に対するキーワードとしては、程度を表すキーワード、ないしは中止、中断、停止、延期に関するキーワード、あるいは肯定的な意味を表すキーワードである。
<実施形態1:キッチン側音声:キッチン(調理器具外)に備えられたネットワークスピーカー/マイク(入出力装置)>
(スピーカー)
キッチン側での調理器具制御サーバ装置からの音声情報を取得し、出力するスピーカーとして、キッチンに配置されるネットワークに接続可能な入出力装置の一部を構成するネットワークスピーカーを挙げることができる。この場合に、ネットワークスピーカーのインターネット上のアドレスと調理器具識別情報とは、調理器具制御サーバ装置内にて関連付けられて保持され、本スピーカーとの応答音声情報の送信等の際に参照されるように構成される。このネットワークスピーカーは、スピーカー機能のみならずマイク機能をも有し、キッチンでのユーザからの音声を常時拾うように構成することもできる。あるいは、自身に付されたニックネームなどが発声されると所定時間聞き耳を立てるように構成することができる。従って、この場合は、ネットワークスピーカーが入出力装置の体を成して、音声取得部NSと、制御音声情報生成部NSと、制御音声情報出力部NS、応答音声情報取得部NSと、応答音声取得部NSと、制御結果告知音声情報取得部NS、制御結果告知音声取得部NSと、応答音声情報出力部NSと、制御結果告知音声出力部NSと、を有することとなり、これは調理器具通信部NSを介して行われることとなる。またさらにネットワークスピーカーはネットワークで音声処理サーバ(例えばニックネーム「ジーニー」)につながっている場合があるが、この場合にはキッチンに備えられたスピーカーであって、スピーカー部NS、マイク部NSとその制御部NSさらに音声処理部NSを有するネットワークスピーカーキッチン部NSと、音声処理サーバNSとを含めてネットワークスピーカーということとする。なお、入出力装置の一部であるネットワークスピーカーは、ネットワークを介して調理器具と通信をするように構成されてもよい。例えば調理器具制御情報を調理器具制御サーバ装置から調理器具に送信する際にネットワークスピーカーを介して送信するように構成してもよい。この通信はWifiなどの無線通信で行うように構成すると便利である。調理器具毎に有線接続をするのは煩雑だからである。
(マイク)
キッチン側での調理器具制御サーバ装置への音声を取得し、制御音声情報として調理器具制御サーバ装置へ出力するマイクとして上記入出力装置の一部であるネットワークスピーカーが利用されるように構成することができる。マイクに取得された音声は、そのまま音声を変換したアナログ信号が制御音声情報として調理器具制御サーバ装置に出力されるように構成されてもよいし、取得された音声を周波数分解してスペクトル情報からなる制御音声情報として調理器具制御サーバ装置に出力してもよいし、あるいはテキスト化してこれを制御音声情報として出力してもよい。ネットワークスピーカーのスピーカーとマイクとは同じ筐体に収められていてもよいし、別体であってもよい。
<実施形態1:キッチン側音声:調理器具に備えられたスピーカー/マイク(入出力装置)>
(スピーカー)
また、ネットワークスピーカーでなく、あるいはネットワークスピーカーとともに調理器具がスピーカー(入出力装置)の機能を有するように構成してもよい。調理器具がスピーカー(入出力装置)の機能を有するように構成した場合には応答音声情報は、ネットワークを介して調理器具に取得され、応答音声をそのスピーカーから出力することとなる。スピーカーとマイクが対になっている場合には調理器具制御情報も調理器具が取得するために応答音声情報と調理器具制御情報の両者が調理器具に取得されることとなる。また調理器具から音声が出力されるように構成すると、キッチンのどの領域から音声がしたかを体感できるので、調理器具名をキッチンで調理する人が確認する労力が軽減される。なお、調理器具の音声の出力の際に、調理器具の名称を音声出力するように構成してもよい。例えば「ガスコンロ、一番右端、火力を弱めて中火とします。」などである。さらに、音声出力とともに、あるいは音声出力が別の装置によって行われる場合であっても、音声出力に併せて調理器具に備えられたランプ等が点滅するように構成することも考えられる。従って、調理器具は、入出力装置の機能部である音声取得部Cと、制御音声情報生成部Cと、制御音声情報出力部C、応答音声情報取得部Cと、応答テキスト情報取得部Cと、制御結果告知音声情報取得部C、制御結果告知音声取得部Cと、応答音声情報出力部Cと、応答テキスト情報出力部Cと、制御結果告知音声出力部Cと、を有することとなる。
(マイク)
また、ネットワークスピーカーのマイクでなく、あるいはネットワークスピーカーのマイクとともに調理器具に入出力装置の一部であるマイクを備えるように構成してもよい。調理器具にマイクを備えるように構成した場合には制御音声情報を生成するための音声は、ネットワークを介して調理器具から調理器具制御サーバ装置に出力され、調理器具制御サーバ装置にて調理器具制御情報を取得するために利用される。また調理器具にマイクを備えるように構成すると、ユーザの位置に応じて音声が拾われるので、どの調理器具に対する音声による制御を目的としているかを判断する材料として利用できる。
例えば複数のガスコンロがあり、かつ、複数のガスコンロが着火中である場合でも「ガスコンロ、火力を弱めて中火にして。」という音声が、複数のガスコンロに拾われるが、ガスコンロに拾われた音声の強度を比較して、最も音声の強度の強いガスコンロであると推定し、それを確認するように構成することができる。この場合には一旦音声が調理器具制御サーバ装置に出力され、応答音声情報として、「ガスコンロ、火を弱めて中火にするのは一番右側のコンロですね?」などと応答音声情報にて確認したり、応答テキスト情報として、「ガスコンロ、火を弱めて中火にするのは一番右側のコンロですね?」などと応答テキスト情報にて確認したりすることができる。なお、このような場合には調理器具間の音声強度を比較するためにLANでお互いに通信可能な調理器具が拾った音声強度を比較する音声強度比較部Cにて音声強度を比較し、その比較結果を関連付けて制御音声情報を調理器具制御サーバ装置に出力するように構成することができる。又は、全ての調理器具が拾った音声を調理器具制御サーバ装置に出力して調理器具制御サーバ装置側で音声強度の比較を行い、推定をして応答音声情報或いは応答テキスト情報を取得するように構成することもできる。なお取得した音声を制御音声情報として調理器具制御サーバ装置に出力する際にどのようなデータとするかは前述の場合と同様である。
<実施形態1:キッチン側音声:スマートフォン、タブレット、携帯電話、PC、スマートウォッチ、コード付ヘッドフォン、ワイヤレスヘッドホンに備えられたスピーカー/マイク(入出力装置)>
(スピーカー)
また、ネットワークスピーカーにも調理器具にもスピーカーを備えるように構成しない又は構成する場合でもユーザのスマートフォン等の携帯端末のスピーカーを入出力装置の一部として利用するように構成することも考えられる。この場合には、携帯端末に音声出力アプリケーションを準備し、これを利用して応答音声情報に基づく音声を出力するように構成できる。この出力の形式としては、応答音声情報を受信した場合に、自動的にアプリケーションを立ち上げて、応答音声が出力されるように構成する場合、あるいは、音声出力アプリを立ち上げている場合にのみ受信した応答音声情報に基づいて応答音声を出力する場合、携帯端末から着信信号(着信音や通知音、バイブレーション、光の点滅など)があり、その着信信号に基づいて着信をとった場合に、その電話音声を介して応答音声情報に基づく応答音声が出力されるようにする場合、などが考えられる。従って、スマートフォン、タブレット、携帯電話、PC、スマートウォッチ、コード付ヘッドフォン、ワイヤレスヘッドホンに備えられたスピーカーは、入出力装置として音声取得部SPと、制御音声情報生成部SPと、制御音声情報出力部SPと、応答音声情報取得部SPと、応答音声取得部SPと、制御結果告知音声情報取得部SPと、制御結果告知音声取得部SPと、応答音声情報出力部SPと、制御結果告知音声出力部SPと、を有することとなる。なお、ヘッドフォンを使用する形態においてはキッチンに備えられたマイクからキッチンの調理音を収集して、無線を介してヘッドフォンに調理音を送信し、音楽などとともに視聴できるように構成することもできる。このような処理はホームサーバにおいてすることもできるし、拾われたキッチンの調理音声が調理器具制御サーバ装置にいったん送信され、その後ヘッドフォンないしはヘッドフォンに接続された携帯端末本体に送信されるように構成することができる。この場合に、携帯端末等のインターネット上のアドレス、ないしは電話回線上の電話番号と調理器具識別情報とは、調理器具制御サーバ装置内にて関連付けられて保持され、携帯端末等との応答音声情報の送信等の際に参照されるように構成される。
(マイク)
また、ネットワークスピーカーにも調理器具にもマイクを備えるように構成しない又は構成する場合でもユーザのスマートフォン等の携帯端末のマイクを入出力装置の一部として利用するように構成することも考えられる。
この場合には、携帯端末に音声取得アプリケーションを準備し、これを利用してユーザの発声に基づく音声を取得し、制御音声情報として調理器具制御サーバ装置に出力するように構成できる。
この出力の形式としては、ユーザの音声を取得した場合に、自動的に音声取得アプリケーションを立ち上げて、音声を制御音声情報に変換して調理器具制御サーバ装置に出力するように構成する場合、あるいは、音声取得アプリケーションを立ち上げている場合にのみ音声を取得し、その音声を制御音声情報に変換して調理器具制御サーバ装置に出力するように構成してもよい。音声取得アプリケーションが取得した音声を制御音声情報に変換する。
<実施形態1:キッチン側音声:シェフロボットや、汎用ロボットに備えられたネットワークスピーカー/マイク(入出力装置)>
(スピーカー)
また、ネットワークスピーカーにも調理器具にもスピーカーを備えるように構成しない又は構成する場合でもシェフロボットや、汎用ロボットに備えられたネットワークスピーカーを入出力装置の一部として音声出力に利用することができる。
この場合に声色は、そのロボットが普段しゃべっている声色に変換してしゃべらせるように構成することもできる。
この場合に、シェフロボットや、汎用ロボット又は、シェフロボットや、汎用ロボットのネットワークスピーカーのインターネット上のアドレスと調理器具識別情報とは、調理器具制御サーバ装置内にて関連付けられて保持され、本スピーカーとの応答音声情報の送信等の際に参照されるように構成される。
ロボットは、入出力装置として音声取得部RBと、制御音声情報生成部RBと、制御音声情報出力部RB、応答音声情報取得部RBと、応答テキスト情報取得部RBと、応答音声取得部RBと、制御結果告知音声情報取得部RB、制御結果告知音声取得部RBと、応答音声情報出力部RBと、応答テキスト情報出力部RBと、制御結果告知音声出力部RBと、を有することとなる。
(マイク)
また、ネットワークスピーカーにも調理器具にもマイクを備えるように構成しない又は構成する場合でもシェフロボットや、汎用ロボットに備えられたマイクを入出力装置の一部として音声取得に利用することができる。この場合には、ロボットの人識別機能を利用して誰からの音声であるか判別するように構成することもできる。ロボットはまた言語分析能力を有している場合があり、そのような場合には、その音声が調理器具の制御を目的としている音声であるか、そうでないか判別し、調理器具の制御を目的としている音声であると判別できる場合にのみその音声を制御音声情報に変換して調理器具制御サーバ装置に出力するように構成することができる。
<実施形態1:キッチン側音声:インターフォン、室内通話セットに備えられたネットワークスピーカー/マイク(入出力装置)>
(スピーカー)
また、ネットワークスピーカーにも調理器具にも、ロボットにもスピーカーを備えるように構成しない又は構成する場合でもインターフォン、室内通話セットに備えられたネットワークスピーカーを入出力装置の一部として音声出力に利用することができる。
この場合に、これらのネットワークスピーカーのインターネット上のアドレスと調理器具識別情報とは、調理器具制御サーバ装置内にて関連付けられて保持され、本スピーカーとの応答音声情報の送信等の際に参照されるように構成される。
インターフォン、室内通話セットに備えられたネットワークスピーカー又は、インターフォン、室内通話セットは、入出力装置として音声取得部IPと、制御音声情報生成部IPと、制御音声情報出力部IPと、応答音声情報取得部IPと、応答音声取得部IPと、応答テキスト情報取得部IPと、制御結果告知音声情報取得部IPと、制御結果告知音声取得部IPと、応答音声情報出力部IPと、応答テキスト情報出力部IPと、制御結果告知音声出力部IPと、を有することとなる。室内通話セットなので、必ずしもキッチンにいる必要はなく、他の部屋からでもスピーカーからの応答音声を視聴することができる。
(マイク)
また、ネットワークスピーカーにも調理器具にも、ロボットにもマイクを備えるように構成しない又は構成する場合でもインターフォン、室内通話セットに備えられたマイクを入出力装置の一部として音声取得に利用することができる。室内通話セットなので、必ずしもキッチンにいる必要はなく、他の部屋からでもスピーカーからの応答音声を視聴することができる。このようにキッチン以外の他の部屋に備えられているマイクを利用して制御音声情報を出力するシーンとしては、調理器具制御サーバ装置からの応答音声情報に応じて制御音声情報を返信するような場合である。例えば、調理の完了を示す応答音声情報に対して、コンロの火を止める制御音声情報を出力する場合や、キッチンでの不測の事態が調理器具制御サーバ装置の応答音声情報によって伝えられた場合に、それに対する対応を指示する制御音声情報を出力するような場合である。例えば、にこぼれが発生したと伝えられた場合に、火を止める指示をするような場合である。
<実施形態1:キッチン側音声:マイク(入出力装置)の他の実施例>
マイクの特殊な実施として、振動受け取り装置を入出力装置の一部を構成するものとして挙げることができる。これは声を出すのが不自由なユーザのためのもので、調理器具を指でたたくことなどで声に代えるものである。従って、調理器具や、キッチン周辺のネットワークスピーカー、サーバ、調理器具制御サーバ装置は、ユーザの指でたたかれた振動でどのような調理指示なのかを判断するように構成する。そのために調理器具に振動読取部を設ける。これは圧電素子からなるセンサーなどによって構成可能である。
<実施形態1:調理器具制御サーバ装置:応答テキスト情報の出力先(情報の宛先)の実施例>
(情報の宛先)
応答テキスト情報の出力先(情報の宛先)は、調理器具個々が有するディスプレイの他、調理器具が置かれているキッチンに配置されるTVモニターやPCが考えられ、関連付けられている調理器具識別情報に応じて両者に送信してもよいし、その都度定められた側に送信されるように構成されていてもよい。例えば、ある調理器具識別情報と関連付けられている応答テキスト情報の場合において、応答テキスト情報は、調理器具に対して送信されてそのディスプレイに表示されるように構成してもよく、別の調理器具識別情報と関連付けられている応答テキスト情報は、調理器具でなくその調理器具が配置されているキッチンに置かれているTVモニターやPCに送信されて表示されるように構成してもよい。TVモニターやPCに送信されるように構成すると、複数の調理器具で共有することができ、調理器具個々のディスプレイを確認する必要がない分だけ、労力が軽減される。
またTVモニターやPCに応答テキスト情報が表示されるように構成する場合には、一つの画面に複数のウインドウを用意して、各ウインドウが各調理器具に一対一に対応するように表示すると便利である。例えば複数の加熱調理器具を利用している場合に、どの調理器具に対する応答テキスト情報であるかを一目で判別できるからである。
<実施形態1 調理器具>
「調理器具」は、調理を行うための動作を実行する装置である。例えば、ガスコンロ(固定、もち運び型)、電気コンロ(固定、もち運び型)、オーブン(固定、もち運び型)、電子レンジ、トースター、電気ケトル、電気ポット、フードプロセッサー、ジューサー、ミキサー、冷蔵庫、冷凍庫、炊飯器、食器洗い機、米びつ、コーヒーメーカー、ホットプレート、レンジフード、魚焼グリル、トースター、IH調理器具、水栓、米びつ、フライヤー、料理の作り方などを伝えるコンピュータやディスプレイ、自動調理器(材料を投入しておくと自動でシチューやカレーなどを作ってくれる。)、バーベキューグリル、ウォーターサーバ、スチームコンベクション、鉄板グリル、串焼きグリル、焼き肉グリル、薫製調理器、蒸し器、天日干し調理器、ターンテーブル(中華料理などで用いられる丸いテーブル)、キッチン照明、キッチンエアコン、ワインセラー、ビールサーバ、炭酸水製造機、製氷機、飲料自動抽出器、キッチンの窓盛漁期、餅つき機、パン製造機、タコ焼き器、タイ焼き器、鍋調理器、ピザ焼き器、解凍機、など多種の調理器具を挙げることができる。なお、調理器具はこれらのものに限定される物ではなく、調理に関連して利用される器具は全て調理器具と称することとする。
<実施形態1 調理器具:調理器具識別情報保持部C>
「調理器具識別情報保持部C」は、調理器具識別情報を保持する。調理器具識別情報は、調理器具の固体を識別するためのユニークな情報である。調理器具識別情報を構成する情報としては、前述するように例えば、調理器具の種類を示す情報、調理器具の製造元を示す情報、調理器具の製造工場を示す情報、調理器具の製造ラインを示す情報、調理器具の販売元、販売店舗、修理サービス社、調理器具の購入日を示す情報、調理器具の保証識別情報(保証書の代わり)を示す情報、調理器具の製造年月日を示す情報、調理器具の品番を示す情報、調理器具の容量を示す情報、調理器具の電圧を示す情報、調理器具の消費電力を示す情報等の一以上を含むように構成することができる。調理器具識別情報保持部Cに保持された調理器具識別情報は、調理器具から情報を調理器具制御サーバ装置に出力する際に関連付けるために利用される。なお、調理器具識別情報は、キッチンにおいてユーザが他の調理器具と識別するための情報を含むように構成することもできる。例えばコンロが複数台ある場合に、キッチンでのコンロの位置を示す情報などである。このユーザが調理器具を識別するための情報として、位置以外に、高さ、順番、大きさ、色、調理器具の名称・愛称(ユーザが名付けた者であってもよい)などを含むものであってもよい。
<実施形態1 調理器具:調理部C>
「調理部C」は、調理をする。調理とは、食材を炒める、食材を加熱する、食材を茹でる、食材を蒸らす、食材を冷やす、食材を切る、食材を潰す、食材を混ぜる、食材を保管する、食材を保温する、食器を洗う、食器を乾かす、等の調理のために行われる各種の動作である。現段階で最も代表的な調理動作は、各種の加熱制御(電気、ガス、電子レンジ、IH)、鍋やフライパンなどの揺動制御、蓋つき鍋の蒸気抜き穴の開閉・調節制御、湯沸かしポッドの保温温度の制御、油の調理器具へそそぐ量の制御、自動野菜カッターの野菜カット幅の制御、自動野菜皮むき器の皮の厚さの制御、食材の投入量の制御(米、各種穀物、調味料(砂糖、塩、コショウ、ドレッシング、ワサビ、食酢、酒、みりん、ソース、七味、一味、さんしょう、カレー粉等)、小麦粉(強力粉、中力粉、薄力粉)、パン粉、デンプン、界面活性剤、牛肉(ミンチを含む以下同じ)、鶏肉、豚肉、あいびきミンチ、各種野菜、各種魚介類、麺類、パスタ等)、レンジフードの駆動、水栓の開閉、食洗器の稼働、照明の制御、冷暖房の制御、各種警報の動作・制御、物流動作(例えばベルトコンベアーや、家政婦ロボットの動作)、である。ただし、これらに加えて動作を含むものもプロ用途では次のようなものがある。食材の炒め、茹で、米とぎ、刻み、皮むき、ころも付け、揚げ、練る、なども挙げることができる。これらは実際に調理器具が自動で行うことができる動作である。
<実施形態1 調理器具:調理制御部C>
「調理制御部C」は、調理部を調理器具制御情報に基づいて制御する。調理部の制御とは、調理部をどの程度の時間、どの程度の強さ、頻度、強度、どの程度の回転速度、回転頻度、回転の大きさ、等の調理部の動きを調整する。調理制御情報は、例えば、強火であるとか、弱火であるとか、火力の大きさなどの量的情報を含んでおり、量を示す数値情報に従って、調理制御部Cが調理部を制御する。調理制御部は所定の通信パケットに保持される調理器具制御情報を取得し、定められたルールに従ってその制御情報を解読し、調理制御部のコンピュータを通じて調理部Cを構成するデバイスドライバに対して制御命令を送信する。デバイスドライバは、調理器具の調理部Cを構成するデバイス(電源、電流調整器、電力調整器、電圧調整器、周波数調整器、バルブ調整器、モーター回転調整器、火花発生器など)を制御する。電源、電流調整器、電力調整器、電圧調整器は、ほとんどすべての調理器具に用いられている。代表的な例としては、電子レンジ、IH調理機、冷蔵庫、冷凍庫、レンジフード、ガスコンロ等である。周波数調整器は、IH調理機などに利用される。バルブ調整器は、ガスコンロ、冷蔵庫、冷凍庫、水栓、食洗器、などに利用される。モーター回転調整器は、レンジフード、食洗器、冷蔵庫、冷凍庫、水栓、その他、プロ用途に近い調理機の、食材の炒めのためのアーム、米とぎのためのプロペラ、刻みのためのアーム、皮むきのための刃、ころも付けのためのアーム、揚げのためのアーム、練るためのアーム、なども利用する。
調理器具の調理制御は一般的には調理器具制御サーバ装置からの調理器具制御情報に基づいて制御されるが、自律的に緊急時の安全制御がなされるように構成されることが好ましい。緊急時の安全制御とは、第一に火力(電気、ガス)などの出力の中止、水道などを出すことの中止、あるいは調理器具に対する電源の遮断、スプリンクラーの稼働、消火剤の噴霧、警報機(キッチン全体に設置されているものの他、調理器具一つ一つに設置されているものも含まれる)の発報、緊急事態の発生についての通報(この場合には端末も調理器具とみなす。)などである。緊急時の検知は、キッチンの映像(可視光映像でも赤外線映像(サーモグラフィ)でもよい)、調理器に備えられた温度計、調理器やキッチンに備えられた電流計、電圧計、キッチンに備えられた湿度計(沸騰した食材の蒸気の充満等によるもの)、キッチンに備えられた振動計(例えば地震の発生、揺れを検知)、キッチンに備えられた粉塵センサー(例えば小麦粉がキッチンに充満)、ガス漏れセンサーなどによる。
<実施形態1 調理器具:調理器具制御情報取得部C>
「調理器具制御情報取得部C」は、調理器具制御情報を調理器具識別情報と関連付けて取得する。調理器具制御情報取得部Cは、調理器具制御サーバから出力された調理器具制御情報を取得する。この調理器具制御情報は、調理器具を直接的に制御する情報である。この点で現在徐々に広まっているAIスピーカーによる家電製品の制御とは異なる。現在徐々に広まっている家電製品の制御は、家電製品に後付けでAIスピーカーが情報を受け取ったりAIスピーカーから情報を受け取ったりするサーバであるAIスピーカーサーバが識別できる家電製品制御ボックスを設けて、AIスピーカーからの音声を分析して家電製品を制御するように構成されている。調理器具制御情報取得部Cは、TCP階層での受信装置ではポート番号を利用して処理のためのプログラムに調理器具制御情報が渡されるように構成することができる。この場合にはTCP/IPプロトコルに基づいて調理器具制御情報を取得する。従って、リモコンなどを介して制御情報を機器に渡す場合に比べて通信の安全性や確実性を担保することができる。リモコンなどによる制御は、簡単にハッキング可能だからである。例えば、隣室からリモコン信号を送信することで調理器具の乗っ取りが可能となるが、TCP/IPプロトコルを利用する倍にはこのような乗っ取りが発生しづらいという特徴がある。従って、調理器具という人の安全性に大きくかかわる機器に対する通信プロトコルとして最適であるといえる。
なお、調理器具制御情報の取得は、イーサネット(登録商標)プラグ、ホームサーバや、ホームルータなどから有線で取得するように構成することが好ましい。またこれらのホームサーバや、ホームルータも有線でインターネットに接続されていることが好ましい。無線であると外部からの侵入やなりすまし、干渉、妨害を受けやすいからである。有線としてはイーサネット(登録商標)回線を利用するのが好ましい。
<実施形態1 入出力装置>
「入出力装置」は、マイクから取得した制御音声に係る制御情報を調理器具制御サーバ装置に出力し、その一方で、調理器具制御サーバ装置から取得した応答音声情報又は/及び応答テキスト情報を取得して出力する装置である。
この「入出力装置」は、上述したように、調理器具と一体、又は別体に設けられる装置であって、複数の調理器具のそれぞれが、例えば、ネットワークスピーカーの機能を含む入出力装置の機能を有していてもよく、或いは、調理器具と別体にキッチンの適宜位置に設けられていてもよい。この「入出力装置」を調理器具と別体に設ける場合には、その制御機器に調理中のガスコンロやオーブン等の調理器具から発せられる熱による影響が及ばないようにするために、例えば、調理の邪魔にならないレンジフード上に設置することが望ましい。
<実施形態1 入出力装置:マイク制御音声情報取得部>
「マイク制御音声情報取得部」は、マイクに集音された制御音声情報であるマイク制御音声情報を取得する。入出力装置は、マイクを内蔵又は外接、あるいは接続可能(有線・無線を問わず)に構成されている。ここで「マイク制御音声情報」とは、調理器具の制御を目的として発せられた音声のみならず、それに利用されるマイクに集音されたすべての音をマイク制御音声情報としてよい。
ここで、キッチンでのユーザの音声から制御音声情報が取得されて、そこから調理器具制御情報と応答音声情報或いは応答テキスト情報が取得されるまでの情報変換の経緯を説明する。
例えば、図90に示す様な変換方法に倣って変換することが考えられる。制御音声として「左のコンロを強火にしてください」との指示があった場合には、「左のコンロ:ID001」「強火:INPUT5」となり、制御音声情報として「ID001:INPUT5」が取得される。あるいは、直接的に「左のコンロを強火にしてください」との音声情報が取得されてもよいし、さらには「左のコンロを強火にしてください」との音声情報と、その音声スペクトル情報が同時に取得されるように構成してもよい。音声情報は通信経路内における伝送によって変質するので、予めキッチンやその近くの通信距離が短い範囲内で音声スペクトル情報に変換することで、音声情報を正確に調理器具制御サーバ装置に送信することができる。
調理器具制御サーバ装置からは、この制御音声情報に応じた調理器具制御情報が調理器具に対して出力される。また、この調理器具制御情報と対応する応答音声情報或いは応答テキスト情報も調理器具制御サーバ装置から出力されてキッチン等に置かれている入出力装置を構成するネットワークスピーカー或いはディスプレイ等から出力される。例えば、応答音声情報の場合は、調理器具サーバ装置からは、応答音声情報として、「ID001」に対応して「左のコンロ」、また「INPUT5」に対応して「強火にします」が取得され、続けて「左のコンロ強火にします。」が音声としてスピーカーから出力される。あるいは明瞭性等を判断して、明瞭であるとの判断結果の場合には、明確に「はい、左のコンロを強火にします」との応答音声情報が取得されるように構成してもよい。
キッチンでのユーザの音声として、「右のコンロを弱火にしてください」との指示があった場合には、「右のコンロ:ID002」「弱火:INPUT2」となり、制御音声情報として「ID002:INPUT2」が取得され、調理器具制御情報として、調理器具サーバ装置内にて取得された調理器具制御情報として「00202」が出力される。あるいは、直接的に「右のコンロを弱火にしてください」との音声情報が取得されてもよいし、さらには「右のコンロを弱火にしてください」との音声情報と、その音声スペクトル情報が同時に取得されるように構成してもよい。
この調理器具制御情報に対応する応答音声情報として「ID002」に対応して「右のコンロ」、さらに「INPUT2」に対応して「弱火にします」が取得され、「右のコンロを弱火にします」と応答音声情報が取得される。なお、キッチンでのユーザの音声を制御音声情報へ変換する処理は、この実施形態のように入出力装置で行われるように構成することもできるし、調理器具制御サーバ装置にて処理するように構成することもできる。前者の形態のメリットは、ユーザの音声を制御音声情報に変換するという処理を各調理器具で分散処理するのではなく一括して処理することができる点にある。
制御音声は数字や文字、記号等に置き換えられることによって制御音声情報に組み替えられることになる。そして、数字にした場合に頭X桁までが調理器具識別情報、頭X+1からY桁までが制御情報、の様に変換すべき情報の種対ごとに桁数は定められておくことで、表と配列の順番を記憶させておけば調理器具の種類によらず、また情報の内容によらず、コンピュータが適切に情報を処理することが可能となる。
<実施形態1 入出力装置:制御音声情報出力部>
「制御音声情報出力部」は、マイク制御音声情報取得部で取得したマイク制御音声情報を調理器具制御サーバ装置に向けた制御音声情報として出力する。ここでマイク制御音声情報は、利用者の意図が調理器具を制御するという意図のもとに発せられた音声のみでなく、キッチンに備えられているマイクによって集音された音はすべてマイク制御音声情報として取得され、制御音声情報として出力されるように構成できる。入出力装置側で音声分析に大きな計算負荷がかかる場合には、このように構成するメリットがある。ただし、音声分析はその発声者に固有のパラメータを用いてその発声者にカスタマイズしたアルゴリズムで処理される場合があるので、各家庭でマイク制御音声情報の固有範囲は家族に一般に限定されることから各家庭の入出力装置において、固有の前処理を施してから制御音声情報として出力するように構成してもよい。固有の前処理とは、マイク制御音声情報の分析を行って調理器具を制御する意図の音声のみを抽出してそれのみを調理器具サーバ装置に送信するように構成することである。この分析はディープラーニングによって分析処理を経時的に高度化するように構成することができる。そのために入出力装置においてもマイク制御音声情報が調理器具を制御することを意図しているのか不明である場合には、その発声者に対して質問を投げかけてその意図を明確化し、分析エンジンを常時改良するように構成することもできる。
<実施形態1 入出力装置:応答音声情報取得部>
「応答音声情報取得部」は、応答音声情報を取得する。応答音声情報取得部は、調理器具制御サーバ装置の応答音声情報出力部Sから出力された応答音声情報を取得する。応答音声情報を取得した入出力装置は、応答音声情報から取得される音声を応答音声情報出力部から出力する。応答音声情報は音声情報のみからなるのでなく、振動子を制御する振動子制御情報(例えば耳が聞こえない人に調理器具の反応を伝える)を含んでいてもよい。応答音声情報で構成される音声は原則的にコンピュータが生成する人工的な人の声である。この声は、制御音声を発した人に応じて定められる声であってもよい。例えば主婦が制御音声情報を発声した場合には、その妻があらかじめ登録した音声で応答音声が調理器具サーバ装置から発せられるように構成することができる。また、夫の音声である場合には、夫があらかじめ登録した音声の応答があるように構成することができる。また、制御の対象となる調理器具ごとに音声を対応させるように構成することもできる。さらには、音声を発していると仮想している調理器具サーバ装置内でのキャラクターに人格を持たせてその人格に応じて言い回しを変化させるように構成することもできる。さらには、人格に感情の変化を加えて、その際の感情に応じて言い回しや声色を変化させるように構成することもできる。この場合には、制御音声情報から発声者の感情を読み取って、その感情に応じて調理器具制御サーバ側のキャラクターの感情を選択するように構成することもできる。なお、言語の種類に関しては、制御音声情報のもととなった音声の言語に対応する言語であることが好ましい。例えば発声が日本語であれば応答音声情報の言語も日本語に、発声が英語ならば、応答音声情報の言語も英語にするように言語を合わせるように構成するのが好ましい。
<実施形態1 入出力装置:応答テキスト情報取得部>
「応答テキスト情報取得部」は、応答音声情報取得部と同じく調理器具制御サーバ装置の応答テキスト情報出力部Sから出力された応答テキスト情報を取得する。応答テキスト情報を取得した入出力装置は、応答テキスト情報から取得されるテキストを応答テキスト情報出力部から出力する。応答テキスト情報はテキストのみからなるのでなく、画像、映像などの情報を含んでいてもよい。例えば、アニメのキャラクターが応答テキストを発しているように見せかける構成としてもよい。さらには、このキャラクターを選択できるようにキャラクター選択部を設けてもよい。
<実施形態1 入出力装置:応答テキスト履歴情報保持部>
「応答テキスト履歴情報保持部」は、応答テキスト情報取得部で取得した応答テキスト情報の履歴情報である応答テキスト履歴情報を保持する。応答テキスト履歴情報とは、応答の内容を時系列で表すことができる情報である。また、応答テキスト履歴情報としては単に応答テキストの履歴だけでなく、この応答の原因となった制御音声情報で示される発声のテキスト履歴や、制御音声情報と応答テキスト情報と、これらによって行われた制御内容(テキストあるいは記号、あるいはロゴ、アイコンタクトなどで表示)が時系列に調理器具ごとに保持されるように構成してもよい。
<実施形態1 入出力装置:応答テキスト履歴情報出力部>
「応答テキスト履歴情報出力部」は、応答テキスト履歴情報保持部で保持されている応答テキスト履歴情報を出力する。応答テキスト情報は、一過性の応答音声情報とは違って蓄積が可能であり、応答音声を聞き逃した場合には有効な情報である。この出力は各種のインデックスで抽出されるように構成することが好ましい。各種のインデックスとは、調理器具別、発声者別、年月日時などの時間別、あるいは、調理器具を利用して調理されていた料理別(発声により自動判別ないしは調理器具サーバ装置からの料理種別の問いかけによって料理種別の回答があったものを登録)などのキーをもとに応答テキスト履歴情報などを抽出し表示するように構成することができる。また、これは音声によって出力されるように構成してもよい。もちろん両者の出力であってもよい。さらにプリントアウトされるように構成することもできる。さらにこの応答テキスト履歴情報は出力された情報に対してメモなどを残せるように構成してもよい。例えばその制御は火力が弱過ぎた、あるいは強すぎた、時間が長すぎた、短すぎたなどである。そして、そのメモを調理器具制御サーバ装置に応答テキスト情報識別情報と関連付けてフィードバックすることにより、次回以降の調理器具制御情報の修正に利用可能とするように構成することができる。このようなフィードバックの蓄積と修正は、発声者を識別する情報である発声者識別情報に関連付けて行われるのが好ましい。調理の嗜好は人によって異なるからである。
<実施形態1 入出力装置:応答音声情報出力部>
「応答音声情報出力部」は、応答音声情報取得部で取得した応答音声情報を出力する。応答音声情報はスピーカーなどの音声発生装置によって出力される。入出力装置は、音声発生装置を内蔵又は外接、あるいは接続可能(有線・無線を問わず)に構成されている。なお、音声の出力は一般にはキッチンに備えられたスピーカーからであるが、これに限定されない。例えば住宅内で発声者が移動する移動先を検知してその移動先に設けられているスピーカーに切り替えて出力するように構成することができる。また、応答音声の出力を複数の人が共有する場合には、その複数の人がいる場所に配置されているスピーカーから出力されるように構成することが好ましい。そのためには、どの人物が住宅内のどこにいるかを検知できるようにする。これは住宅内に設けられているカメラ画像から人物を認識して処理することができる。
<実施形態1 入出力装置:応答テキスト情報出力部>
「応答テキスト情報出力部」は、応答テキスト情報取得部で取得した応答テキスト情報を出力する。応答テキスト情報はディスプレイなどの映像表示装置によって出力される。入出力装置は、映像表示装置を内蔵又は外接、あるいは接続可能(有線・無線を問わず)に構成されている。例えば、映像表示装置としてのディスプレイは、キッチンに一台あればよいので、複数の調理器具で共有するように構成することができる。なお、テキストの出力は一般にはキッチンに備えられたディスプレイからであるが、これに限定されない。例えば住宅内で発声者が移動する移動先を検知してその移動先に設けられているディスプレイに切り替えて出力するように構成することができる。また、応答音声の出力を複数の人が共有する場合には、その複数の人がいる場所に配置されているディスプレイから出力されるように構成することが好ましい。そのためには、どの人物が住宅内のどこにいるかを検知できるようにする。これは住宅内に設けられているカメラ画像から人物を認識して処理することができる。
<実施形態1 調理器具制御サーバ:その他の構成1:制御結果応答情報取得部S,制御結果告知音声情報取得部S及び制御結果告知音声情報出力部S>
<主に請求項1,2に関する>
また、図8に示す様に、調理器具制御サーバ装置(0800)は、制御結果の応答情報を取得する制御結果応答情報取得部S(0807)と、制御結果告知音声情報を取得する制御結果告知音声情報取得部S(0808)と、制御結果告知音声情報を出力する制御結果告知音声情報出力部S(0809)と、をさらに有する基礎となる構成の発明に記載の音声制御調理器具プラットフォームとして構成してもよい。
さらに、図9に示す様に、調理器具(0900)は、制御結果応答情報出力部C(0905)と、をさらに有する基礎となる構成の発明に記載の音声制御調理器具プラットフォームとして構成してもよい。
<実施形態1 調理器具制御サーバ:その他の構成1:制御結果応答情報取得部S>
「制御結果応答情報取得部S」は、出力した調理器具制御情報を受信した調理器具からの制御結果を含む応答情報である制御結果応答情報を取得する。調理器具から取得する制御結果とは、例えば調理器具制御情報が「1番コンロを中火にする」であった場合には、「1番コンロを中火にした」「1番コンロを強火にした」「調理をしませんでした」等の結果についての情報である。上記の例でいうと、「1番コンロを中火にした」は調理器具制御情報に従って制御が行われたことを示している。「1番温コンロを強火にした」は、調理器具制御情報に対して誤った制御を行っていることを示している。「調理をしませんでした」は、そもそも調理器具制御情報に対してこれに対応するような制御動作が行われなかったことを示している。制御結果応答情報は、制御情報識別子を含むように構成する。どの制御情報に対応する制御結果応答情報であるかを識別するためである。取得した制御結果応答情報に対して、調理器具制御サーバ装置が次に行う処理については、後述する。
<実施形態1 調理器具制御サーバ装置:その他の構成1:制御結果告知音声情報取得部S>
「制御結果告知音声情報取得部S」は、取得した制御結果応答情報に基づいて制御結果を告知するための告知音声の情報である制御結果告知音声情報を取得する。「制御結果告知音声情報」は、調理器具制御情報に対して行われた制御動作が、ユーザの指示した動作を確かに実行したものであることを報告する、あるいは、ユーザが指示した動作と異なる処理をしていないかを確認するために、制御結果をユーザに告知する音声情報である。特に調理器具は、その性質からユーザの身の安全を脅かす事態を引き起こしえるものであり、ユーザの意図が正しく調理器具に反映されているかの確認は非常に重要である。例えば調理器具は火災の原因になったり、ガス中毒の原因となったりする。この点で、同じ遠隔操作器具であっても、エアコンや照明、オーディオ、掃除機、テレビ、レコーダー、洗濯機、乾燥機などとは異なる。調理器具の制御結果をユーザに調理器具側から伝え、これをユーザに認知させることが重要となる。特に、調理器具制御サーバ装置の制御情報が調理器具にて誤って処理された場合には、調理器具サーバ装置は調理器具の不調であるとしてユーザにそのことを伝えるように構成すべきである。また、このような場合には調理器具制御サーバ装置は、その誤った処理を行った調理器具のコンピュータの内部チェックをするように構成することが好ましい。内部チェックとは、調理器具内部のコンピュータが調理器具制御情報を制御のために処理するプログラムとデータの部分のチェックである。内部チェック中は、調理器具制御サーバから調理器具の内部チェック中であることをユーザに対して音声告知するように構成することが好ましい。これは調理器具制御サーバの制御結果告知音声出力部Sにチェック中告知手段を設けることによって構成される。内部チェック中にはユーザからの音声制御を行わないように調理器具制御サーバ装置を構成する。これは調理器具制御情報取得部Sが調理器具制御情報を取得しないように構成するか、又は調理器具制御情報出力部Sが調理器具制御情報を出力しないように構成する。さらに、調理器具のコンピュータに欠陥が見つかった場合には、調理器具制御サーバ装置が調理器具に対して調理器具制御情報を適切に処理できるように内部プログラムや、内部データを書き換えるように構成するのが好ましい。これは、調理器具制御サーバ装置に調理器具修正部Sを設けることで行われる。なお、調理器具修正部Sにて調理器具の内部プログラムや、内部データの修正が終わった後には、制御結果告知音声情報にてその旨をユーザに告知するように構成する。これは制御結果告知音声情報取得部Sに修正完了時告知取得手段Sを設けることによって実現できる。
<実施形態1 調理器具制御サーバ装置:その他の構成1:制御結果告知音声情報出力部S>
「制御結果告知音声情報出力部S」は、取得した制御結果告知音声情報を出力する。制御結果告知音声情報をユーザに対して出力する。出力先は、入出力装置の一部を構成する、例えば、ネットワークスピーカーや、家庭内ルータに接続されている、又は自身がインターネット上の固定URLを有するスピーカーを有する機器である。本音制御調理器具プラットフォームを利用するために制御音声を取得したり応答音声を出力したりするのに利用されるAIスピーカー等がその代表例である。
<実施形態1 調理器具:その他の構成1:制御結果応答情報出力部C>
「制御結果応答情報出力部C」は、取得した調理器具制御情報に基づいた制御の結果を含む応答である制御結果応答情報を出力する。「制御の結果」に含まれる情報としては、どの調理器具制御情報に基づいてどの調理器具がどのように制御されたかを示す情報であり、パケットの形で出力される。図93に示すパケットと同様の構造をしており、Controll種別の欄が制御の結果を示す情報となる。制御情報IDには制御結果応答情報IDが入り、さらにこの制御結果応答情報の発生原因となる調理器具制御情報IDが含まれるように構成される。その他、会員ID、調理器具ID、ReturnURL(調理器具のURLないしはアドレス)、調理対象を示す情報などが含まれていてよい。
制御結果応答情報の出力は調理器具の通信機能からLANを介して入出力装置の一部を構成する、例えば、ネットワークスピーカーに出力され、ネットワークスピーカー経由で調理器具制御サーバ装置に出力されてもよいし、調理器具の通信機能からホームサーバなどに出力されホームサーバから調理器具制御サーバ装置に出力されるように構成してもよい。さらには、調理器具にスピーカーが内蔵ないしは外付けされている場合には、スピーカーからの音声によってネットワークスピーカーのマイクから集音されネットワークスピーカーを介して調理器具制御サーバ装置に出力されるように構成してもよい。さらにまた、調理器具にディスプレイが装備されている場合には、テキストをディスプレイに表示されるように構成してもよい。なお、調理器具制御サーバ装置からの調理器具制御情報と、制御結果応答情報とは、異なる通信ルートで運ばれてもよいし、同じ通信ルートで運ばれてもよい。また調理器具制御情報と制御結果応答情報とは、イーサネット(登録商標)等のLANを介してWANにでて公衆ネットワークを介して調理器具制御サーバ装置に到達し、制御音声情報や、応答音声情報、制御結果告知音声情報とは異なる通信ルートで通信されてもよい。特に、音声情報は、キッチンのスピーカーから音声ファイルで公衆ネットワーク上にある音声テキスト変換機能を有する音声処理サーバ(ジーニー)に渡され、音声処理サーバ(ジーニー)にてテキスト情報に変換され、そこから調理器具制御サーバ装置に専用線、又は公衆ネットワークを介して到達したり逆向きに情報が流れたりしてもよい。音声処理サーバでのテキスト変換と同時に音声制御情報へ変換してもよいし、変換しなくともよい。
<実施形態1 調理器具制御サーバ:その他の構成2:調理器具制御情報保持部S>
<主に請求項1〜3に関する>
さらに、図12に示す様に、調理器具制御サーバ装置(1200)は、調理器具制御情報を保持する調理器具制御情報保持部S(1201)をさらに有する基礎となる構成の発明に記載の音声制御調理器具プラットフォームとして構成してもよい。「調理器具制御情報保持部S」は、調理器具制御情報を保持する。調理器具制御情報を、制御音声情報のプロトコルと対になるように予め保持しておくことで、制御音声を分析して指示内容を特定することで、対となる調理器具制御情報が即時に決定される。したがって、音声によって指示したあと、調理器具制御情報に従って調理器具が調理を行うまでの間隔を短縮することができる。すでに説明した通り、調理器具制御情報は原則的にはその調理器具メーカーが自社の調理器具を制御するために開発し、提供するものである。従って、調理器具制御情報保持部に保持される調理器具制御情報は、各調理器具メーカーの調理器具制御情報サーバ(各メーカーサーバ)からアップロードされる情報である。しかし、この調理器具制御情報は更新されたり、修正されたり、あるいは追加されたりするので保持されている調理器具制御情報は調理器具制御サーバ装置の管理タイミングにて各調理器具制御情報サーバに最新の調理器具制御情報を取得に行くように構成することもできる。このプロトコルとしては、誤作動などの原因、あるいはネットワークを介して外部から侵入される恐れがある脆弱性の補修など、緊急性がある場合には調理器具制御情報サーバからのアップロードを自発的に認め、定期更新や、調理器具制御情報の追加などは調理器具制御サーバ装置の手動で定期的に実施するように構成することが望ましい。なお、この調理器具制御情報には、調理器具制御情報を用いて調理器具を制御するためのアプリケーションプログラムや、調理器具のデバイスドライバ、調理器具の制御パラメータなども含むものとする。
<実施形態1 調理器具制御サーバ装置:その他の構成3:調理器具制御情報記録部S>
<主に請求項1〜4に関する>
さらに、図15に示す様に、調理器具制御サーバ装置(1500)は、調理器具制御情報を調理器具制御情報保持部Sに外部ネットワークを介して記録する調理器具制御情報記録部S(1501)をさらに有するその他の構成2の発明に記載の音声制御調理器具プラットフォームとして構成してもよい。「調理器具制御情報記録部S」は、調理器具制御情報を調理器具制御情報保持部Sに外部ネットワークを介して記録する。外部から調理器具制御情報保持部Sに新たな調理器具制御情報を記録する。したがって、調理器具制御情報保持部Sが保持している制御情報の内容を追加、変更、することが可能となる。これによって、例えば、中華料理用の調理器具制御情報セットが保持されている音声調理器具制御サーバ装置に対して、中華料理に飽きたときにはフランス料理の調理器具制御情報の新たな記録を行うということが可能となる。季節の料理や、イベント用の料理、流行りの料理、新たな創作料理、といったように随時好ましい調理器具制御情報を記録することが可能となる。あるいは、ユーザが自身の専用のレシピを記録する、あるいはユーザが本プラットフォーム以外の情報源からのレシピを記録することも考えられる。
ユーザが自身の専用レシピを記録する場合には、その調理器具制御情報は、ユーザ識別情報及び調理器具識別情報と関連付けられていることが好ましい。ユーザが作ったレシピが他のユーザにも好まれるとは限らないからである。一方、有名な料理家や、フォロワーが付くようなユーザのレシピは公開されるように構成してもよい。レシピの公開、非公開は、ユーザ自身が決定できるようにしてもよいし、又は/及び、音声制御調理器具プラットフォームの調理器具制御情報危険性検査部Sにて検査して公開・非公開を決定できるようにしてもよい。ユーザが調理器具制御情報を作成するためには、調理器具に調理器具制御情報を記録する調理器具制御情報記録部Sを設け、ユーザのマニュアル操作又は/及び調理器具制御サーバ装置からの調理器具制御情報によって調理器具が制御されたときに、その調理器具制御情報を履歴(時間情報も含めて)として一定蓄積し、ユーザの記録終了指示によって一つの調理器具制御情報(セット)が完成するように構成するとよい。
<実施形態1 調理器具制御サーバ装置:その他の構成4:上書制御音声判断部S及び上書調理器具制情報出力手段S>
<主に請求項1〜3,5に関する>
さらに、図18に示す様に、調理器具制御サーバ装置(1800)は、取得された制御音声情報が出力された応答音声情報又は/及び応答テキスト情報に基づく返事に対応する制御音声情報である上書制御音声か判断する上書制御音声判断部S(1801)を有するとともに、調理器具制御情報出力部Sは、上書制御音声判断部Sでの判断結果が上書制御音声であるとの判断結果である場合には、その上書制御音声の由来となった制御音声情報に基づいて取得された調理器具識別情報に関連付けて取得した調理器具制御情報を出力する上書調理器具制御情報出力手段S(1802)を有する基礎となる構成からその他の構成3の発明のいずれか一に記載の音声制御調理器具プラットフォームとして構成してもよい。
<実施形態1 調理器具制御サーバ装置:その他の構成4:上書制御音声判断部S>
「上書制御音声判断部S」は、取得された制御音声情報が出力された応答音声情報又は/及び応答テキスト情報に基づく返事に対応する制御音声情報である上書制御音声か判断する。上書制御音声とは、前に取得した制御音声情報に対する音声制御サーバ装置の応答音声情報又は/及び応答テキスト情報に対して、その応答情報によって特定されるこれから行われる調理器具の制御のための調理器具制御情報を上書きして変更するための新たな制御音声情報である。
上書される調理器具制御情報は、すでに調理器具制御サーバ装置から調理器具に対して出力済であってもよいし、出力していない状態であってもよい。従ってすでに調理器具に対して応答音声情報又は/及び応答テキスト情報で特定される調理器具制御情報が出力済の場合には上書すべき新たな制御音声情報は、調理器具内で上書処理される。ただし、必ずしも上書処理されるとは限らず無効処理や、取消処理してもよい。調理器具に対して出力されていないが調理器具制御サーバ装置が既に出力のために保持している場合には、その保持されている調理器具制御情報を出力しないで、新たに取得された調理器具制御情報を出力するように処理する。この場合に、調理器具制御サーバ内で実際に上書処理がされるかどうかは問わない。
上書制御音声は、たとえば、間違った指示をしてしまったとき、あるいは、音声制御サーバ装置が誤った応答音声情報又は/及び応答テキスト情報を出力している場合に、すぐに調理部の制御を止めるために行う指示や、別の動作で調理部Cを制御するための指示のことをいう。
上書制御音声判断部Sが行う判断とは、ユーザから発せられた音声が、制御音声であるか上書制御音声であるかの判断である。上書制御音声であるか否かの判断方法は、例えば、応答音声情報出力から一定時間内にユーザが発声した音声であれば上書制御音声であり、一定時間経過後に発生した音声であれば制御音声である、とする判断方法が考えられる。あるいは、上書であることを示す特定の言語を付与してユーザが発声した場合には上書制御音声であり、上書であることを示す特定の言語を付与しないでユーザが発声した場合には制御音声である、とする判断方法が考えられる。あるいは、「上書きしますか?」の様に応答音声情報中に上書を行うか否かを確認する情報を含ませ、これに対して肯定的な応答を行った場合には、その後にユーザが発声する音声が上書制御音声であり、否定的な応答を行った場合には、その後にユーザが発声する音声が制御音声である、とする判断方法が考えられる。
例えば、上書制御音声であるかの判断は、制御音声情報に所定のキーワードが含まれているかによって判断するように構成することができる。所定のキーワードの例としては、「違う」「違います」「じゃなくて」「間違ってる」「間違い」「やめて」「だめ」「止めて」「どーして」「なぜ」「なんで」「ばか」「あほ」「まぬけ」「しないで」「やらないで」「中止」「ストップ」「まって」「待て」「ちゃう」「中断」「停止」「そうじゃない」「そうじゃなくて」「そんなこと言ってない」「キャンセル」「取消」などである。これを類型的には、打消し、中断、中止、疑問、非難を意味する言葉であり上記の例に限定されるものではない。もちろん言語は日本語に限定されず、外国語であっても同様である。
<実施形態1 調理器具制御サーバ装置:その他の構成4:上書調理器具制御情報出力手段S>
「上書調理器具制御情報出力手段S」は、上書制御音声判断部Sでの判断結果が上書制御音声であるとの判断結果である場合には、その上書制御音声の由来となった制御音声情報に基づいて取得された調理器具識別情報に関連付けて取得した調理器具制御情報を出力する。上書制御音声判断部Sでの判断結果が上書制御音声であると判断された場合には、どの制御音声に対しての上書であるかを明確にする必要がある。そこで、その上書制御音声の由来となった制御音声情報に基づいて取得された調理器具識別情報に関連付けて取得した上書のための調理器具制御情報を調理器具に出力する。上書制御音声判断部Sでの判断結果が上書制御音声であると判断した場合には、その音声情報を制御音声情報とし、これに基づいて調理器具制御情報を取得する。取得した調理器具制御情報として上書調理器具制御情報出力手段Sから出力される。
上書制御音声から上書調理器具制御情報を取得するためには、上書制御音声の内容を分析して上書調理器具制御情報に変換する必要がある。このとき、上書制御音声から上書調理器具制御情報は一段階で変換されてもよい。あるいは、上書制御音声から、上書のために既に与えられた指示を一旦取り消すための調理器具制御情報を生成し、その後、上書の具体的な内容である調理器具制御情報を生成するような二段階で変換を行う構成も考えられる。
上書制御音声から上書調理器具制御情報を取得するのに時間を要する場合には、その分行って欲しくない調理動作が進んでしまうことから、上書制御音声から上書調理器具制御情報を取得する時間はできるだけ短い方がよい。そのため、まずその時点で与えられている動作を中断する指示のみを優先して(上書用の)調理器具制御情報を取得、出力するよう二段階で上書制御音声から(上書用の)調理器具制御情報への変換を行うように構成することが好ましい。
<実施形態1 調理器具制御サーバ装置:その他の構成5:趣旨明瞭性判断部S及び質問応答音声情報取得手段S>
<主に請求項1,2,6に関する>
さらに、図21に示す様に、調理器具制御サーバ装置(2100)は、取得した制御音声情報に基づいて調理器具識別情報を取得できない、又は/及び調理器具制御情報を取得できない場合である趣旨不明瞭ケースであるか判断する趣旨明瞭性判断部S(2101)を有するとともに、趣旨明瞭性判断部Sでの判断結果が趣旨不明瞭ケースであるとの判断結果である場合において、不明瞭な趣旨を質すための返事を構成する質問応答音声の情報であり応答音声情報である質問応答音声情報を取得する質問応答音声情報取得手段S(2102)を有する基礎となる構成、その他の構成2、その他の構成3、その他の構成4の発明のいずれか一に記載の音声制御調理器具プラットフォームとして構成してもよい。
<実施形態1 調理器具制御サーバ装置:その他の構成5:趣旨明瞭性判断部S>
「趣旨明瞭性判断部S」は、取得した制御音声情報に基づいて調理器具識別情報を取得できない、又は/及び調理器具制御情報を取得できない場合である趣旨不明瞭ケースであるか判断する。取得した制御音声情報には、調理器具識別情報が含まれており、指示を出した調理器具及び調理動作を実行すべき対象となる調理器具識別情報が特定できるようになっていることから、適切な調理器具を動作させて調理を行うことが可能となる。したがって、制御音声情報から調理すべき調理器具が特定できない場合には、適切に制御情報を出力することができない。そこで、趣旨明瞭性判断部Sでは趣旨が明瞭であるか否かを判断し、その後の動作が可能であるか否かを分岐させる情報を取得する。
調理器具制御サーバ装置では、まず制御音声情報を取得し、その後に制御音声情報から調理器具識別情報取得部Sが調理器具識別情報を取得するように構成されている。しかし、制御音声情報を取得する段階では、それに基づいて調理器具識別情報が取得できることを必須の条件としていないので、調理器具識別情報が含まれない、ないしはそれに基づいて調理器具識別情報を取得することができない制御音声情報が取得されるケースがある。このような場合にはすでに取得されている制御音声情報の有効部分は保持したまま調理器具識別情報を補えば、調理器具制御情報を取得することが可能となる。そこで調理器具制御サーバ装置では、再度完全な形で調理器具識別情報を含む制御音声情報を要求するのではなく、追加で調理器具識別情報のみを要求するように処理するのが適している。そこで、制御音声情報に基づいて調理器具識別情報を取得できない場合には、それを趣旨不明瞭ケースとし、不明瞭な趣旨、つまり、調理器具識別情報の欠落部を補うための質問として質問応答音声情報を取得するように処理を進める。
逆に、制御音声情報に基づいて調理器具識別情報は取得できたが、調理器具をどのように制御すべきかである調理器具制御情報を取得できない場合がある。前述のように制御音声情報は、その取得に際して調理器具制御情報が取得できる情報であることを必須の条件として取得されないからである。従って取得した制御音声情報から調理器具識別情報は取得できるが、調理器具制御情報が取得できない場合には、取得できた調理器具識別情報を保持して生かしたまま、取得できなかった調理器具制御情報を取得する処理をすることが効率的である。そこで、このようなケースは趣旨明瞭性判断部Sによって調理器具制御情報に関する指示が趣旨不明瞭であると判断されて質問応答音声情報取得手段に処理が渡される。
<実施形態1 調理器具制御サーバ装置:その他の構成5:質問応答音声情報取得手段S>
「質問応答音声情報取得手段S」は、趣旨明瞭性判断部Sでの判断結果が趣旨不明瞭ケースであるとの判断結果である場合に不明瞭な趣旨を質すための返事を構成する質問応答音声の情報であり応答音声情報である質問応答音声情報を取得する。
趣旨明瞭性判断部Sで趣旨が不明瞭であると判断される主要なケースは、調理器具識別情報が不明瞭、調理器具制御情報のいずれか、又は両者が不明瞭なケースである。従って、質問応答音声情報取得手段は、趣旨明瞭性判断部Sで趣旨が不明瞭であると判断された情報について、その内容をユーザに質す質問をするための質問応答音声を発声するための情報である質問応答音声情報を取得する。調理器具識別情報が趣旨不明瞭であると趣旨明瞭性判断部で判断された場合には、それを質す質問を発声するための情報で、例えば、「すみません、もう一度お願いします。」「どのコンロですか?」「よく聞き取れませんでした」「何か言いましたか?」「どの調理器具ですか?」等の識別情報の再発信を要求する内容である。
調理器具制御情報が趣旨不明瞭であると趣旨明瞭性判断部で判断された場合には、それを質す質問を発声するための情報で、例えば、「すみません、もう一度お願いします。」「どの程度の火力ですか?」「よく聞き取れませんでした」「何か言いましたか?」「着火しますか?」等の調理器具制御情報の再発信を要求する内容となる。
取得した質問応答音声情報に対するユーザの応答(制御音声情報)について、趣旨が不明瞭であるか再度判断を行うように構成する。
<実施形態1 調理器具制御サーバ装置:その他の構成6:時系列調理器具制御情報取得手段S>
<主に請求項1,2,7に関する>
さらに、図24に示す様に、調理器具制御サーバ装置(2400)の調理器具制御情報取得部Sは、取得した制御音声情報に基づいて時系列に制御に利用されるべき時系列調理器具制御情報を取得する時系列調理器具制御情報取得手段S(2401)、を有する基礎となる構成、その他の構成2からその他の構成5の発明のいずれか一に記載の音声制御調理器具プラットフォームとして構成してもよい。「時系列調理器具制御情報取得手段」は、取得した制御音声情報に基づいて時系列に制御に利用されるべき時系列調理器具制御情報を取得する。時系列に制御するとは、複数の調理器具制御情報を事前に調理器具制御サーバに出力させておくことで、直前の調理器具制御情報にて特定されるある条件の満了をもって次の調理器具制御情報にしたがった制御を行うことをいう。具体的には、制御音声が「5分強火のあと3分弱火」であれば、強火での加熱時間が5分経過した時点で直前の調理器具制御情報にて特定される測定時間の条件が満了することから、その後3弱火に変更して、さらに3分間の加熱を行うという時系列に沿って調理器具を制御することが考えられる。あるいは、制御音声が「余熱」であれば、調理器具にのせられた材料ののっていない調理器財(例えば空の鍋)に対して加熱して、加熱対象が十分に温まった時点で(この条件を160度、170度、200度などと設定することも可能である。)条件が満了したものとして余熱を終了して加熱をやめる、という時系列に沿って調理器具を制御することが考えられる。あるいは、制御音声が「1時間後に加熱してくれ」であれば、1時間の間調理器具を動作させずに、1時間経過後に加熱を始めるという時系列に沿って調理器具を制御することが考えられる。
時系列調理器具制御情報取得手段Sは、一の調理器具の時系列制御の他に複数の調理器具の時系列制御をするように構成してもよい。時系列制御は、時間をパラメータとして行ってもよいし、調理の進み具合を検知して制御を行ってもよい。調理の進み具合の検知に関しては実施形態1その他の構成8にて詳述する。音声制御情報に基づいて取得された調理器具制御情報が、時系列調理器具制御情報であるかの判断は、その調理器具制御情報中に複数の調理器具制御情報が時系列に実行すべき処理として含まれている場合に行われる。そして、時系列に実行すべき処理を所定の書式にて記述して調理器具制御情報出力部Sから時系列に出力されるように構成する。そのために、所定の書式で記述された一連の調理器具制御情報である時系列調理器具制御情報は、調理器具制御情報出力部Sの時系列調理器具制御情報保持手段Sにて保持される。そして、計時部の計時に従って、時系列調理器具制御情報保持手段Sに保持されている時系列調理器具制御情報を構成する各調理器具制御情報が順次出力される。
<実施形態1 調理器具制御サーバ装置:その他の構成7:調理対象依存調理器具制御情報取得手段S>
<主に請求項1,2,8に関する>
さらに、図27に示す様に、調理器具制御サーバ装置(2700)の調理器具制御情報取得部Sは、制御音声情報に含まれる調理対象を示す情報に基づいて調理器具を制御する調理器具制御情報である調理対象依存調理器具制御情報を取得する調理対象依存調理器具制御情報取得手段S(2701)、を有する基礎となる構成、その他の構成2からその他の構成6の発明のいずれか一に記載の音声制御調理器具プラットフォームとして構成してもよい。「調理対象依存調理器具制御情報手段S」は、制御音声情報に含まれる調理対象を示す情報に基づいて調理器具を制御する調理器具制御情報である調理対象依存調理器具制御情報を取得する。「調理対象」とは、食材や、調味料、油、水又は、これらの組合せや、料理などのことである。調理対象に依存するということは、調理対象と調理対象に対して行いたい調理方法のユーザの音声に基づく制御音声情報とすると、調理対象に適した調理器具制御情報を自動的に取得する。そして、取得された調理対象に適した調理器具制御情報にしたがって調理器具の制御が行われる。この調理器具の制御には時系列の制御も含まれてよい。従って、調理対象依存調理器具制御情報取得手段は、調理対象ごとに関連付けられた適切な調理器具制御情報データベースを使用可能であるように構成してもよい。この調理器具制御情報データベースは、調理器具のメーカー別に調理器具毎に用意されていることが好ましい。
また、調理対象ごとにユーザに対してどの調理方法、調理手順を選ぶか選択可能に構成することもできる。つまり、一の調理対象について複数の調理器具制御情報が選択可能に関連付けられてよい。
例えば、「ブロッコリーを茹でる」という制御音声を与えた場合、ブロッコリーの一般的に適切とされる茹で時間である3分を、一般的に適切とされる火加減の中火を自動的に選択して、調理器具の制御を行う。例えば、「素麺を茹でる」という制御音声を与えた場合、素麺の一般的な茹で時間である1分30秒、一般的に適切とされる火加減の中火を自動的に選択して、調理器具の制御を行う。
<実施形態1 調理器具:その他の構成8>
<主に請求項1,2,9に関する>
さらに、図30に示す様に、調理器具(3000)は、制御音声情報を取得するための制御音声情報取得部C(3001)と、取得した制御音声情報を出力する制御音声情報出力部C(3002)と、応答音声情報を取得する応答音声情報取得部C(3003)と、取得した応答音声情報に基づいて応答音声を出力する音声出力部C(3004)と、をさらに有する基礎となる構成、その他の構成2からその他の構成7の発明のいずれか一に記載の音声制御調理器具プラットフォームとして構成することもできる。
<実施形態1 調理器具:その他の構成8:制御音声情報取得部C>
「制御音声情報取得部C」は、制御音声情報を取得する。制御音声情報取得部Cを有する調理器具に向かって制御音声を発生して、これを制御音声情報取得部Cが取得する。したがって、調理器具は、集音装置を内蔵又は外接、あるいは接続可能(有線・無線を問わず)に構成されている。集音装置で収音された制御音声を情報に変換した制御音声情報は、テキスト情報であってもよいし、音声情報のままであってもよい。
ここで、キッチンでのユーザの音声から制御音声情報が取得されて、そこから調理器具制御情報と応答音声情報が取得されるまでの情報変換の経緯を説明する。
例えば、図90に示す様な変換方法に倣って変換することが考えられる。制御音声として「左のコンロを強火にしてください」との指示があった場合には、「左のコンロ:ID001」「強火:INPUT5」となり、制御音声情報として「ID001:INPUT5」が取得される。調理器具制御サーバ装置からは、この制御音声情報に応じた調理器具制御情報が調理器具に対して出力される。また、この調理器具制御情報と対応する応答音声情報も調理器具制御サーバ装置から出力されてキッチン等に置かれているネットワークスピーカー等から出力される。例えば、調理器具サーバ装置からは、応答音声情報として、「ID001」に対応して「左のコンロ」、また「INPUT5」に対応して「強火にします」が取得され、続けて「左のコンロ強火にします。」が音声としてスピーカーから出力される。あるいは明瞭正当を判断して、明瞭であるとの判断結果の場合には、明確に「はい、左のコンロを強火にします」との応答音声情報が取得される。
キッチンでのユーザの音声として、「右のコンロを弱火にしてください」との指示があった場合には、「右のコンロ:002」「弱火:INPUT2」となり、制御音声情報として「ID002:INPUT2」が取得され、調理器具制御情報として、調理器具サーバ装置内にて取得された調理器具制御情報として「00202」が出力され、この調理器具制御情報に対応する応答音声情報として「ID002」に対応して「右のコンロ」、さらに「INPUT2」に対応して「弱火にします」が取得され、「右のコンロを弱火にします」と応答音声情報が取得される。なお、キッチンでのユーザの音声を制御音声情報へ変換する処理は、この実施形態では調理器具で行われる。この形態のメリットは、ユーザの音声を制御音声情報に変換するという比較的重ための処理を各調理器具で分散処理することができ、一のコンピュータで集中処理する必要がないため、一のコンピュータの負荷を軽くすることができるからである。さらに、各調理器具は、自身を識別するユーザの発声を識別し、自身に向けられた発声の場合にのみ音声制御情報を生成、取得するように構成できる。自身を識別する音声とは例えば、「右のコンロ」、「左のコンロ」「真ん中のコンロ」「魚焼きグリル」「後ろのコンロ」、「大きい方の電子レンジ」、「小さい方の電子レンジ」などである。キッチンにてユーザが発する音声にて調理器具が制御音声情報に変換する処理は、特に異なるメーカーが混在しているキッチンでは、他のメーカーの制御音声情報への音声からの変換は一般に困難となるために自身に向けられた音声の場合にのみ音声から制御音声情報への変換処理が行われるように構成する。
しかし、ネットワークスピーカー等のスピーカーあるいは、マイク、キッチンにあるキッチン専門のコンピュータ(キッチンサーバ装置:キッチンに配置されている電子機器を統括的に管理する:制御管理、情報管理、メンテナンス、情報取得)、あるいはキッチンを含むホームの全体の電子機器等を管理するホームサーバ装置、あるいは、前述の音声処理サーバ(ジーニー)、さらには、調理器具制御サーバ装置のいずれかで、あるいはこれらが協調して変換するように構成することもできる。
制御音声は数字や文字、記号等に置き換えられることによって制御音声情報に組み替えられることになる。そして、数字にした場合に頭X桁までが調理器具識別情報、頭X+1からY桁までが制御情報、の様に変換すべき情報の種対ごとに桁数は定められておくことで、表と配列の順番を記憶させておけば調理器具の種類によらず、また情報の内容によらず、コンピュータが適切に情報を処理することが可能となる。
<実施形態1 調理器具:その他の構成8:制御音声情報出力部C>
「制御音声情報出力部C」は、取得した制御音声情報を出力する。制御音声情報出力部Cは、調理器具制御サーバ装置に取得した制御音声情報を出力する。
<実施形態1 調理器具:その他の構成8:応答音声情報取得部C>
「応答音声情報取得部C」は、応答音声情報を取得する。応答音声情報取得部Cは、調理器具制御サーバ装置の応答音声情報出力部Sから出力された応答音声情報を取得する。応答音声情報を取得した調理器具は、応答音声情報から取得される音声を音声出力部Cから出力する。応答音声情報は、前述のように音声ファイルであってもよいしテキストなどであって、調理器具側で音声に変換するように構成することもできる。この場合には応答音声情報を音声に変換する応答音声変換部を調理器具が有する。
また、応答音声情報は音声情報のみからなるのでなく、振動子を制御する振動子制御情報(例えば耳が聞こえない人に調理器具の反応を伝える)や、画像、映像などの情報を含んでいてもよい。例えば、アニメのキャラクターが応答音声を発しているように見せかける構成としてもよい。さらには、このキャラクターを選択できるように発声キャラクター選択部を設けてもよい。
<実施形態1 調理器具:その他の構成8:音声出力部C>
「音声出力部C」は、応答音声情報取得部Cが取得した応答音声情報に基づいて応答音声を出力する。音声出力部はスピーカーなどの音声発生装置によって出力される。調理器具は、音声発生装置を内蔵又は外接、あるいは接続可能(有線・無線を問わず)に構成されている。なお映像などを出力させるように構成する場合には、ディスプレイなどを備えるように構成する。ディスプレイは、キッチンに一台あればよいので、複数の調理器具で共有するように構成することができる。
<実施形態1 その他の構成9>
<主に請求項1,2,10に関する>
さらに、図33に示す様に、調理器具(3300)は、調理器具又は調理器具に併せて利用されている調理器財の状況を示す情報である状況情報を取得する状況情報取得部C(3301)と、取得した状況情報を調理器具識別情報と関連付けて出力する状況情報出力部C(3302)と、をさらに有し、調理器具制御サーバ装置は、図34に示す様に、状況情報とそれに関連付けられている調理器具識別情報を取得する状況情報取得部S(3401)を有するとともに、応答音声情報取得部Sは、取得した状況情報に基づいて応答のための応答音声の情報である応答音声情報を取得する状況依存応答音声情報取得手段S(3402)を有し、調理器具制御情報取得部Sは、取得した状況情報に基づいて調理器具識別情報で識別される調理器具を制御する調理器具制御情報である状況依存調理器具制御情報を取得する状況依存調理器具制御情報取得手段S(3403)を有する基礎となる構成、その他の構成2からその他の構成8の発明のいずれか一に記載の音声制御調理器具プラットフォームとして構成してもよい。
<実施形態1 その他の構成9:調理器具:状況情報取得部C>
「状況情報取得部C」は、調理器具又は調理器具に併せて利用されている調理器財の状況を示す情報である状況情報を取得する。「状況情報」は、調理器具又は調理器財での調理状況についての情報である。取得する状況情報の種類としては、調理器具、調理器財(鍋、フライパン、鉄板、土なべ、等)又は調理器具に入っている食材、食材調理用材の温度や温度変化や温度分布、重量や重量変化、量や量変化、発する音、収縮率、膨張率、火力、水・調味材料・油などの流量や流量変化、水分含有率、調理経過時間、煙の量や煙の量の変化、臭気の種類、キッチン空間のガス分析結果(ガスクロマトグラフィー)、レンジフードからの排気の分析結果、室温や室温変化などである。例えば、調理器具については、着火中、強火、弱火、5分継続、などが状況情報として取得される。例えば調理器財については、余熱中の鍋であれば、なべ底の温度が140度とか、材料を煮詰めている時には、当初より全体の重さが20グラム減少とか、揚げ物をしている時には揚げ音の変化有、などが状況情報として取得される。状況情報を取得するためには、各種のセンサーを利用する方法や、その調理器具に対して出力されている調理器具制御情報から取得する方法が考えられる。
<実施形態1 その他の構成9:調理器具:状況情報出力部C>
「状況情報出力部C」は、取得した状況情報を調理器具識別情報と関連付けて出力する。取得した状況情報は、調理器具制御サーバ装置に出力される。
<実施形態1 その他の構成9:調理器具制御サーバ装置:状況情報取得部S>
「状況情報取得部S」は、状況情報とそれに関連付けられている調理器具識別情報を取得する。状況情報取得部Sは、調理器具の状況情報出力部Cから出力された状況情報を取得する。
<実施形態1 その他の構成9:調理器具制御サーバ装置:状況依存応答音声情報取得手段S>
「状況依存応答音声情報取得手段S」は、応答音声情報取得部Sが有する手段である。取得した状況情報に基づいて応答のための応答音声の情報である応答音声情報を取得する。どのような状況情報のときにどのような応答音声情報を取得するかに関しては状況依存応答音声情報データベースが備えられているとよい。また状況情報を変数として、状況依存応答音声情報を生成し、又は取得する状況依存応答音声情報生成ルールを状況依存応答音声情報生成ルール保持部に保持するように構成することができる。さらに状況依存応答音声情報データベースや、状況依存応答音声情報生成ルールは、人工知能などによって応答精度を向上させるように構成することができる。これは、状況依存応答音声情報に基づいて発せられる状況依存応答音声に応じてキッチン等にいるユーザからの返答である制御音声情報に基づいてその状況依存応答音声情報の取得と出力が適正であったか人工知能に判断させ、不適切であると判断された場合には状況依存応答音声情報データベースを修正したり、状況依存応答音声情報生成ルールを修正し、あるいは、その情報やルールの信頼度を下げて採用率を低下させたりする。不適切でないと判断された場合、あるいは適切であると判断された場合には、情報源の信頼度を高めて採用率が上がるように設計することができる。例えば、「あと5分で完成です」とか、「加熱時間を追加します」とか、「味見をしてください」とか、「次の材料を投入してください。」とか、「かき混ぜてください」などの、指示された制御動作の終了時刻の通知、調理完了までの残り時間の通知、ユーザに所定の行動を求める通知、等である。これらに対するユーザからの反応としては、「わかりました!」「まだ早くないですか?」「かき混ぜました〜!」などの返答がある。また、状況情報が吹きこぼれや、空焚きなどのユーザの身に危険を及ぼす状況である場合には、ユーザに対して危険があることを強く警告したり、直ちに適切な行動をとるように促したりする状況依存応答音声情報を取得するようにする。
<実施形態1 その他の構成9:調理器具制御サーバ装置:状況依存調理器具制御情報取得手段S>
「状況依存調理器具制御情報取得手段S」は、調理器具制御情報取得部Sが有する手段である。取得した状況情報に基づいて調理器具識別情報で識別される調理器具を正誤する調理器具制御情報である状況依存調理器具制御情報を取得する。取得した状況情報に基づいて、次に行うべき工程を取得し、これに対応する調理器具制御情報を取得する。
どのような状況情報のときにどのような状況依存調理器具制御情報を取得するかに関しては状況依存調理器具制御情報データベースが備えられているとよい。また状況情報を変数として、状況依存調理器具制御情報を生成し、又は取得する状況依存調理器具制御情報生成ルールを状況依存調理器具制御情報生成ルール保持部に保持するように構成することができる。さらに状況依存調理器具制御情報データベースや、状況依存調理器具制御情報生成ルールは、人工知能などによって取得精度を向上させるように構成することができる。
これは、状況依存調理器具制御情報に基づいて制御される調理器具の状況に応じてキッチン等にいるユーザからの返答である制御音声情報に基づいてその状況依存調理器具制御情報の取得と出力が適正であったか人工知能に判断させ、不適切であると判断された場合には状況依存調理器具制御情報データベースを修正したり、状況依存調理器具制御情報生成ルールを修正し、あるいは、その情報やルールの信頼度を下げて採用率を低下させたりする。不適切でないと判断された場合、あるいは適切であると判断された場合には、情報源の信頼度を高めて採用率が上がるように設計することができる。
状況依存調理器具制御情報とは、仕上がった後に配膳までの間完成した調理が冷めないように保温目的で点火を継続させるとか、加熱時間を勝手に追加するとか、新たな材料の追加や味見の有無を確認(例えば重量センサーなどによって確認可能である)できるまで、一旦火を止めるとか、火力を抑えて待機する、といった制御を行う。また、状況情報が吹きこぼれや、空焚きなどのユーザの身に危険を及ぼす状況である場合にはユーザの了承を得たり、返事をもらったりすることなく、その危険を回避するための処理を調理器具にさせるための調理器具制御情報を取得し、調理器具に対して直ちに出力するように構成する。
<実施形態1 調理器具制御サーバ装置:その他の構成10:他調理器具制御情報取得手段S>
<主に請求項1,2,10に関する>
さらに、その他の構成9の構成に加えて、図38に示す様に、調理器具制御サーバ装置(3800)の調理器具制御情報取得部Sは、取得した状況情報に基づいて、その状況情報に関連付けられている調理器具識別情報で識別される調理器具と異なる調理器具を制御するための調理器具制御情報である他調理器具制御情報を取得する他調理器具制御情報取得手段S(3801)を有する構成とすることが可能である。「他調理器具制御情報取得手段S」は、取得した状況情報に基づいて、その状況情報に関連付けられている調理器具識別情報で識別される調理器具と異なる調理器具を制御するための調理器具制御情報である他調理器具制御情報を取得する。他調理器具制御情報取得手段Sは、他の調理器具の調理状況についての情報を取得することで、他の調理器具の調理の状に合わせて調理器具の制御をする。
状況情報を取得した調理器具は、状況情報から想定される今後の調理工程に基づいて、調理器具の制御を行う。調理器具の制御とは、例えば、各調理器具手の調理完了時間を想定して、ほぼ同時に完了するように時間の調整をするとか、先に完成した料理を後にもう一度温めるといったものが考えられる。あるいは、オーブンの仕上がりタイミングに合わせてその他の調理を完成させるとか、電力の消費量が多い調理器具を利用する時には、ブレーカーが落ちないようにタイミングをずらすといったことが考えられる。
<実施形態1 調理器具制御サーバ装置:その他の構成11:許可情報保持手段S,発声者識別情報取得手段S,許可情報取得手段S及び許可情報依存調理器具制御情報取得手段S>
<主に請求項1,2,11に関する>
さらに、図41に示す様に、調理器具制御サーバ装置(4100)の調理器具制御情報取得部Sは、制御音声の発声者を識別する情報である発声者識別情報と、発声者識別情報に関連付けて制御情報を取得してもよいかを示す許可情報を保持する許可情報保持手段S(4101)と、取得した制御音声の発声者の識別情報を制御音声に基づいて取得する発声者識別情報取得手段S(4102)と、取得した発声者識別情報に関連付けられている許可情報を取得する許可情報取得手段S(4103)と、許可情報に基づいて調理器具制御情報を取得し、又は取得しない許可情報依存調理器具制御情報取得手段S(4104)と、を有する基礎となる構成、その他の構成2からその他の構成9の発明のいずれか一に記載の音声制御調理器具プラットフォームとして構成することができる。
<実施形態1 調理器具制御サーバ装置:その他の構成11:許可情報保持手段S>
「許可情報保持手段S」は、制御音声の発声者を識別する情報である発声者識別情報と、発声者識別情報に関連付けて制御情報を取得してもよいかを示す許可情報を保持する。「発声者識別情報」は、あらかじめ登録してある発声者を識別するためのユニークな情報である。発声者識別情報に関連付けて調理器具制御情報の取得可否を定める許可情報は、キッチン等にいるユーザの音声に基づいて制御音声情報を取得してもよいかを定める。例えば発声者識別情報に許可フラグを立てる構成が考えられる。あるいは、許可するユーザと許可しないユーザにそれぞれ符号を付す構成が考えられる。さらに、調理器具制御情報の取得可否は、取得されるキッチン等にいるユーザの音声に基づいて取得されるべき調理器具制御情報ごとに定めるように構成できる。例えば、その音声の発声主が子供と設定されている場合には、水の水栓の制御、電子レンジなどの火災等の発生につながらない調理器具の制御に関する調理器具制御情報については許可して取得し、出力し、調理器具を制御するが、火に関係するコンロなどの制御に関する調理器具制御情報がその音声から取得されるべき調理器具制御情報であると判断される場合にはその音声に基づいては調理器具制御情報の取得を拒否して、取得しない、というように構成することが好ましい。つまり、許可情報は発声者識別情報で識別されるユーザごとで、調理器具制御情報ごとに関連付けられて保持されていることが好ましい。なお、拒否する場合でも応答音声情報は取得して、音声による要請に答えられない理由を応答音声情報として取得し、キッチン側のネットワークスピーカー等に出力するように構成することが好ましい。なお、状況情報などから(状況情報にはキッチンにいるユーザの情報も含まれる。)そのユーザ(子供)が主導で調理器具を制御しようとしても制御できないように調理器具制御情報(手動操作に制御を無効とする制御情報)を取得して調理器具に出力するように構成することもできる。
また、許可情報を発声者識別情報で識別されるユーザごとで、調理器具制御情報ごとに登録するための登録部を調理器具制御サーバ装置が有しており、これは、権限を有する者にのみ登録を認めるように構成することが好ましい。具体的には権限を有する者とは調理器具制御サーバ装置の管理権限を有するものか、あるいはユーザの家庭の権限者である。ユーザの家庭の権限者は、調理器具制御サーバ装置の運営者から送付されるパスワードやID等を利用してユーザの端末からアクセスする者とすることができる。このユーザの端末は調理器具、ネットワークスピーカー、ホームサーバ、キッチンサーバ、ユーザの所持しているスマートフォンなどを利用できるように構成することが好ましい。
<実施形態1 調理器具制御サーバ装置:その他の構成11:発声者識別情報取得手段S>
「発声者識別情報取得手段S」は、取得した音声の発声者の識別情報を音声に基づいて取得する。音声から、発声者の声紋、声質、音質等を分析(音声スペクトル解析等)することで取得し、発声者識別情報と関連付けて取得する。制御情報が発生されると、取得した制御情報の声紋、声質、音質等を分析取得し、発声者識別情報と関連付けられている発声者の声紋、声質、音質等と比較することで、音声の発声者の発声者識別情報を取得する。制御音声情報に、又は発声に関連付けてキッチン等を識別するキッチン等識別情報又は、集音したマイクを識別するマイク識別情報(これらは、キッチンに置かれたネットワークスピーカー、キッチンサーバ、ホームサーバ、調理器具などに保持されており、音声又は制御音声情報と関連付けられて調理器具制御サーバ装置に送信される。)、あるいは、発声者を識別する発声者識別情報が含まれるように構成されている場合には、その識別情報に関連付けて発声者を識別する者の声のサンプル、又は識別するための情報、を絞り込むことができるので、識別ミスが少なくなり好ましい。発声者を識別するための発声サンプルは、調理器具制御サーバ装置の利用開始の際に所定のパターンの発声を利用者に発声させて構成することができる。この発声者識別用サンプル、又は識別するための情報は、キッチン等識別情報等に関連付けられて保持されるように構成する。例えば発声者識別用情報として、発声者識別用情報保持手段等に保持させる。
<実施形態1 調理器具制御サーバ装置:その他の構成11:許可情報取得手段S>
「許可情報取得手段S」は、取得した発声者識別情報に関連付けられている許可情報を取得する。制御音声を分析することで取得される発声者の発声者識別情報を取得する。取得した発声者識別情報から、これに関連付けられている許可情報を取得する。取得した許可情報から、制御音声の発声者の制御情報を取得してよい発声者識別情報に該当するか、制御音声の発声者の制御情報を取得してはいけない発声者識別情報に該当するかを判断することで、許可情報を取得する。
許可情報取得手段を有する構成にすることで、テレビの音、ラジオの音、制御情報ではない会話情報、犬の鳴き声、猫の鳴き声、車の音、電車の音、その他の電子機器の音、等の制御音声以外の音声に反応することを防ぐことができる。さらに、子供がいたずらで制御音声としての機能を果たす音声を発生した場合に、誤った調理器具の制御が行われて事故が発生するようなことを防ぐことができる。
さらに、制御音声の発声者を識別できることから、発声者毎に好みの調理加減やメニューを登録できるようにしておくことで、完成する料理を制御音声の発声者の好みの仕上がりにすることができる。
<実施形態1 調理器具制御サーバ装置:その他の構成11:許可情報依存調理器具制御情報取得手段S>
「許可情報依存調理器具制御情報取得手段S」は、許可情報に基づいて調理器具制御情報を取得し、又は取得しないことを判断する。許可情報取得手段Sによって許可をするとの判断結果が取得された場合には、許可情報依存調理器具制御情報取得手段Sによって調理器具制御情報が取得される。許可情報取得手段Sによって許可しないとの判断結果が取得された場合には、許可情報依存調理器具制御情報取得手段Sによって調理器具制御情報が取得されない。また、許可情報は、調理器具単位で許可する、許可しない、というもののほかに、一の調理器具内でも許可する動作と許可しない動作を区別するように構成されてもよい。
あるいは、危険を回避して安全性を高める方向の動作を指示する場合には、許可情報と関連付けられていないユーザからの発声を受付けるように、許可情報取得手段Sが危険回避許可情報取得器Sを有するように構成することも可能である。例えば「コンロを消してください」という点火中の火を消すための指示、「コンロを弱火にしてください」という火力を弱めるための指示、等については許可情報が関連付けられていないユーザからの発声であっても制御音声情報として取得し、一方で、「コンロに火をつけてください」という新たな着火の指示、「コンロの火を強火にしてください」という火力を強めるための指示、等については許可情報が関連付けられているユーザからの発声しか制御音声情報として受け付けない、とすることが考えられる。このように、一部の指示については許可情報と関連付けられた発声者識別情報によって識別されるユーザからの発声はなくても制御情報の受付を認める構成は、緊急事態を回避するために必要な動作を適宜実行するこが可能となるので、調理器具の安全性を高める効果を有する。このように構成する場合、許可情報を有していなくても制御情報として受け付ける処理手順を選択して処理させるために、そのための出力であることを発声の冒頭に付すことを必要とするように構成してもかまわない。例えば、「緊急」「回避」「急ぎ」「危険回避」「緊急回避」「安全のために」等を発声の冒頭に付すことを必要とするように構成することが考えられる。
<実施形態1 その他の構成12>
<主に請求項1,2,11に関する>
さらに、図44に示す様に、調理器具制御サーバ装置(4400)の応答音声情報出力部Sは、応答音声情報に基づく応答音声を取得する応答音声取得手段S(4401)と、取得した応答音声を電話網又は/及びインターネットを介して出力する電話網・インターネット出力手段S(4402V)と、をさらに有し、応答テキスト情報出力部Sは、応答テキスト情報に基づく応答テキストを取得する応答テキスト取得手段S(4403)と、取得した応答テキストを電話網又は/及びインターネットを介して出力する電話網・インターネット出力手段S(4402T)と、をさらに有する基礎となる構成、その他の構成2からその他の構成11の発明のいずれか一に記載の音声制御調理器具プラットフォームとして構成してもよい。
<実施形態1 その他の構成12:応答音声取得手段S>
「応答音声取得手段S」は、応答音声情報に基づく応答音声を取得する。応答音声情報が応答音声として取得される。
<実施形態1 その他の構成12:応答テキスト取得手段S>
「応答テキスト取得手段S」は、応答テキスト情報に基づく応答テキストを取得する。応答テキスト情報が応答テキストとして取得される。
<実施形態1 その他の構成12:電話網・インターネット出力手段S>
「電話網・インターネット出力手段S」は、取得した応答音声又は/及びテキストを電話網又は/及びインターネットを介して出力する。電話網を介して応答音声を出力する先は、ユーザの通話可能な端末(例えば、固定電話、携帯電話、スマートフォン等)である。インターネットを介して応答音声を出力する先は、ユーザの通信可能な端末(例えば、スマートフォン、インターネット電話等)である。電話網を介してテキストを出力する先は、ユーザの通信可能な端末(例えば、FAX、ショートメール等)である。インターネットを介してテキストを出力する先は、ユーザの通信可能な端末(例えば、メール、SNSメッセンジャー等)である。調理器具制御サーバ装置には、ユーザの通話可能な端末(例えば、固定電話、携帯電話、スマートフォン等)の電話番号、メールアドレス、SNSのID等を登録可能に構成し、この番号を利用するようにすることが好ましい。SNSを利用する場合には調理器具制御サーバ装置は、シェフ等の擬人化したキャラクターを利用するように構成することもできる。
<実施形態1 その他の構成13>
<調理器具制御サーバ装置:重畳音声分離手段S>
<主に請求項1,2,12に関する>
さらに、図47に示す様に、調理器具制御サーバ装置(4700)の調理器具制御情報取得部Sは、取得した制御音声情報の音声が重畳している場合には、重畳している制御音声情報をそれぞれの発声者別に分離する重畳音声分離手段S(4701)をさらに有する、基礎となる構成、その他の構成2からその他の構成12の発明のいずれか一に記載の音声制御調理器具プラットフォームとして構成してもよい。
「重畳音声分離手段S」は、取得した制御音声情報の音声が重畳している場合に、取得した音声から、声紋、声質、音質等を分析(音声スペクトル解析等)することで重畳している音声の数(発声者の数)を認識して、重畳している音声を発声者別に分離する。
発声者別に分離することで調理器具制御サーバ装置の制御音声情報取得部は、それぞれの発声者毎に制御音声情報を取得できる。制御音声情報は、発声者別に認識することで言葉の意味を取得することができるからである。そして、発声者毎に制御音声情報を取得することで調理器具制御情報も取得できる。例えばキッチンに料理をする人が二人いて、利用している調理器具が異なるような状況は想定でき、それぞれの人の発声が同時に行われる場合もある。そのような場合に適切に調理器具制御情報を取得するためには、この重畳音声分離手段が必要となる。また、その他の構成11に記載した発声者を識別して許可情報を取得する場合にも同時になされた発声を分離してその発声者別にこの許可情報を取得することで許可情報依存調理器具制御情報取得手段が、調理器具制御情報を取得したり、取得しなかったりという処理を可能とする。
<実施形態1 その他の構成14>
<主に請求項1,2,13に関する>
<機能的説明>
本実施形態のその他の構成14では、調理器具制御サーバ装置、入出力装置、調理器具の夫々は、以下のような機能を有する。
さらに、図50に示す様に、調理器具制御サーバ装置(5000)は、調理器具を制御するための映像情報を取得する映像情報取得部S(5001)を有し、調理器具制御情報取得部Sは、取得した調理器具映像情報に基づいて調理器具制御情報である映像由来調理器具制御情報を取得する映像由来調理器具制御情報取得手段S(5002)を有する、基礎となる構成、その他の構成2からその他の構成13の発明のいずれか一に記載の音声制御調理器具プラットフォームとして構成することができる。
さらに、図51に示す様に、入出力装置(5100)は、調理器具の映像、調理器具によって調理されている食材の映像、又は、前記食材を保持する器の映像のいずれか一以上を調理器具識別情報と関連付けた情報である映像情報として取得する映像情報取得部(5101)と、取得した映像情報を出力する映像情報出力部(5102)と、をさらに有する基礎となる構成、その他の構成2からその他の構成13の発明のいずれか一に記載の入出力装置として構成することができる。
調理器具に関しては従前の実施形態の説明にあったように、調理器具識別情報保持部と、調理部と、調理制御部と、調理器具制御情報取得部と、からなっている。以下では、すでに説明した構成要件に関しては説明を省略し、新たに設けた構成要件に関してのみ説明する。
<実施形態1 その他の構成14 構成の説明>
<調理器具制御サーバ装置:映像情報取得部S>
「映像情報取得部S」は、調理器具を制御するための映像情報を取得する。この映像情報取得部Sとしては、小型カメラや赤外線カメラやサーモグラフィィカメラを用いることができるが、調理器具及びその内容物の熱分布を把握するうえで、小型カメラに加えてサーモグラフィィカメラを備えることが望ましい。
例えば、小型カメラ及びサーモグラフィィカメラを採用する場合は、キッチンにおけるレンジフードや壁面に配置されて、調理器具制御サーバ装置への映像を取得する。
この映像情報取得部Sが取得する調理器具映像情報は、調理器具における調理状況についての映像情報である。取得する映像情報の種類としては、調理器具(鍋、フライパン、鉄板、土鍋等)及び調理器具に入っている内容物(食材、食材調理用材)の変化情報である。
調理器具の映像には、例えば調理器具がガスコンロである場合には、火力を示す映像(ガスの炎の大きさや高さ、ガスの炎の色など)や、吹きこぼれが存在する調理器具の映像など出力した調理器具制御情報と整合性がないような映像を取得することもできる。例えば、調理器具制御情報は火力は弱火であるのに実際の調理器具の映像はフライパンの側面をガスの炎がなめるような映像であると、調理器具に何らかの異常が発生している可能性があり、調理器具を緊急停止する処理などを実行可能とする。調理器具の緊急停止は、調理制御部に対して最優先の命令となるように調理制御部を構成するのが好ましい。つまり割り込み処理によって調理器具制御部を駆動するように構成する。そのためには、調理器具制御サーバ装置から送信され、調理器具の調理器具制御情報取得部が取得する調理器具制御情報に優先度を示す情報が付加されるように構成する。最優先の調理器具制御情報として、調理器具を緊急停止するための命令などを構成する。
また調理器具によって調理されている食材の映像としては、食材が煮立っている映像、食材が焦げている映像、食材が沸騰している映像、食材が溶けている映像、食材の色の映像(ちょうどよい加熱度合などを見る)食材であるスープのそのスープを入れている器内での液面の高さを示す映像、食材の泡立ちの映像、食材から立ち上る湯気の映像、食材の形態の映像(例えば冷凍食品が加熱されて変形してゆく際の映像)などを挙げることができる。なお、調理器具は、鍋やフライパンなどを含むが、手で使用する道具である包丁や、皮むき器なども含んでよい。例えば調理器具が包丁である場合には、包丁で人が調理する様子なども映像として取得し、調理器具制御情報としてガスコンロなどの調理器具制御情報を取得し調理器具に対して送信するように構成してもよい。これは、例えば、ガスコンロで加熱されているスープに入れる具材の準備がほぼ整ったことを包丁の映像から取得し、その映像に基づいてガスコンロの火力を強めにするなどの制御をする例が考えられる。つまり、取得する調理器具の映像と制御対象となる調理器具が必ずしも同一である必要はなく、取得する調理器具の映像情報に基づいて異なる調理器具を制御するための映像由来調理器具制御情報を取得し、該当する調理器具に送信するように調理器具制御サーバ装置の映像由来調理器具制御情報取得手段を構成することが出来る。
器の映像としては、鍋の蓋の鍋本体に対しておかれている様子を示す映像(少し蓋がずれて鍋本体にかかっていない部分があるなど)、圧力なべの圧力抜き口の振動の様子を示す映像、吹き出す蒸気の様子を示す映像、温度や圧力をしめす色などを表示する鍋の場合などにその色を示す映像、加熱中のフライパンなどの容器に対して落し蓋がかかっているか、かかっていないかを示す映像などを挙げることができる。
<実施形態1:その他の構成14 構成の説明>
<調理器具制御サーバ装置:映像由来調理器具制御情報取得手段S>
調理器具制御サーバ装置の調理器具制御情報取得部は、映像由来調理器具制御情報取得手段を有している。
「映像由来調理器具制御情報取得手段S」は、取得した調理器具映像情報に基づいて調理器具制御情報である映像由来調理器具制御情報を取得する。例えば、取得した調理器具映像情報が、鍋が沸騰している水分状態を映し出している映像である場合には、この鍋の沸騰を停止するためにコンロの火力を弱めるなどの映像由来調理器具制御情報を映像由来調理器具制御情報取得手段Sが調理器具制御情報として取得する。
この場合、取得した状況の映像情報に基づいて、これに対応する調理器具制御情報を取得するが、どのような映像情報のときにどのような調理器具制御情報を取得するかを人工知能に判断させるように構成することができる。
<実施形態1 その他の構成14 構成の説明>
<入出力装置I/O:映像情報取得部>
入出力装置I/Oの「映像情報取得部」は、調理器具の映像、調理器具によって調理されている食材の映像、又は、前記食材を保持する器の映像のいずれか一以上を調理器具識別情報と関連付けた情報である映像情報として取得する。これは調理器具制御サーバ装置に送信するために取得するものである。なお、調理人の調理の様子を示す映像や、調理人の周辺で動き回る子供やペットの映像など、調理に直接関係しない映像が含まれていてよく、これらの映像を調理器具制御情報を取得するために利用するように調理器具制御サーバ装置を構成してもよい。例えば子供が調理人の周辺ではしゃいでいる状況ではコンロの火力を弱めにして子供がやけどしないようにするなどの制御をすることが考えられる。また、やたらと台の上に上りたがる猫などを周辺で観察した場合には、台の上が危険でない状態にすることが好ましいので、例えば大きく蛇口を開いて給水していた水道の栓を絞るように制御することも考えられる。
<実施形態1:その他の構成14 構成の説明>
<入出力装置I/O:映像情報出力部>
入出力装置の「映像情報出力部」は、取得した映像情報を出力する。出力先は調理器具制御情報を取得する調理器具制御サーバ装置である。ただし、途中で、他のサーバ装置などを経由しても構わない。例えば、映像情報を前処理するサーバ装置などである。また、映像情報は、出力先として、入出力装置の周辺に備えられる映像蓄積サーバ装置に同時に送信されてそこで映像情報が蓄積されるように構成してもよい。これによって家庭の味の伝承が可能となる。また映像蓄積サーバ装置は、蓄積された映像に基づいて実際に調理した本人以外にたいして、その映像に基づく調理指導をするように構成してもよい。
この実施形態1の音声制御調理器具プラットフォームの調理器具制御サーバ装置におけるその他の構成14、すなわち、基礎となる構成、その他の構成2からその他の構成13のいずれか一に記載の構成において、キッチンで調理をする者が制御音声を与えると、指定された調理器具が指示にしたがった調理動作を行う。例えば、「1番コンロ、沸騰したら教えて!」との制御音声が出されている場合に、調理器具映像情報取得部Sが、1番コンロを識別する調理器具識別情報と関連付けて1番コンロ上の鍋が沸騰している水分状態を映し出している映像情報を取得すると、この鍋が沸騰している映像情報を調理器具制御情報取得部Sが取得する調理器具制御情報として映像由来調理器具制御情報取得手段Sが取得する。
これと同時に、対応する調理機器であるコンロから「ピピッ1番コンロ沸騰しました。次はどうしますか?」との応答音声情報が出力されると、これを受けたユーザが「優しく沸騰させてそのままにしておいて。」との制御音声が出されると、調理器具制御情報取得部Sが取得する調理器具制御情報にしたがって、コンロの加熱加減が調整される。
したがって、安全で且つ使い勝手が良いものとなる。
<実施形態1 その他の構成15>
<機能的構成>
<主に請求項1,2,13,14に関する>
本実施形態は、実施形態1その他の構成14を基礎とする実施形態である。調理器具制御サーバ装置、入出力装置、調理器具がそれぞれ有する機能的構成は、その他の構成14と基本的に同様であり、異なる点は、調理器具制御サーバ装置の映像情報取得部が新たな機能を有する点にある。
図55に示す様に、調理器具制御サーバ装置(5500)の映像情報取得部が有する新たな機能は、映像情報取得部に備えられる詳細映像情報取得手段S(5501),手話解釈データベース手段S(5502),意図情報取得手段S(5503)及び意図情報由来調理器具制御情報取得手段S(5504)によって実現される。以下、新たに加えられる構成に関して順に説明する。
<実施形態1 その他の構成15 構成の説明>
<調理器具制御サーバ装置:映像情報取得部:詳細映像情報取得手段S>
「詳細映像情報取得手段S」は、調理器具制御サーバ装置の映像情報取得部に設けられる。これは、映像情報として調理器具食材映像情報やキッチンにおける人の立居振る舞いを示す人アクション情報等の一つ以上の詳細映像情報を取得する。
「調理器具食材映像情報」とは、調理器具又は調理器具で調理されている食材の状態を示す映像であり、最も代表的な映像は、可視光線で撮影された映像である。その他赤外線映像などを含んでいてもよい。またレーザーなどでスキャニングした3D情報を含む映像であってもよい。
「人アクション情報」とは、キッチンでの人の立居振舞を示す情報であり、前述のように調理している人のみならず、その人の周辺を動く人や、ペットの動きを示す情報が含まれていてもよい。さらにモーションキャプチャ情報を含む映像であってもよい。
<実施形態1 その他の構成15 構成の説明>
<調理器具制御サーバ装置:映像情報取得部:手話解釈データベース手段S>
「手話解釈データベース手段S」も調理器具制御サーバ装置の映像情報取得部に設けられ、詳細映像情報取得手段Sで取得された詳細映像情報が人アクション情報である場合に、その人アクション情報を解釈するための手話解釈データを保持する。人アクション情報を人のモーションを識別する情報に変換し、手話解釈データベース手段Sに保持されている手話解釈データと比較する。手話解釈データはあらゆる種類の手話を解釈するためのデータをそろえており、照合することによって、テキスト情報に変換する。
例えば手話で「一番左端のコンロの火力を弱火にしてください」という手話である場合には、文字通り、「一番左端のコンロの火力を弱火にしてください」とのテキストに変換する処理をするためのデータを保持する。
<実施形態1 その他の構成15 構成の説明>
<調理器具制御サーバ装置:映像情報取得部:意図情報取得手段S>
「意図情報取得手段S」も調理器具制御サーバ装置の映像情報取得部に設けられ、取得された映像情報が人アクション情報である場合に、その人アクション情報と保持されている手話解釈データに基づいてその手話で示される意図を示す情報である意図情報を取得する。上記に照らして言えば、「一番左端のコンロの火力を弱火にしてください」とのテキスト情報が解釈された意図を示す情報となる。
<実施形態1 その他の構成15 構成の説明>
<調理器具制御サーバ装置:映像情報取得部:意図情報由来調理器具制御情報取得手段S>
「意図情報由来調理器具制御情報取得手段S」も調理器具制御サーバ装置の映像情報取得部に設けられ、取得された意図情報に基づいて調理器具制御情報である意図情報由来調理器具制御情報を取得する。これは上記に照らして言えば、一番左端のコンロがコンロNo.1である場合で、弱火の火力がこれまでの調理の経過情報に鑑みて解釈する履歴解釈処理を介して火力2/10である場合に、「No.1コンロ火力2/10」のような情報が意図情報由来調理器具制御情報となる。ただし、意図情報と、意図情報由来調理器具制御情報が同一であることを妨げるものでない。
<実施形態1 その他の構成16 >
<実施形態1:その他の構成16 機能的構成>
<主に請求項1,2,13,15に関する>
本実施形態は、実施形態1その他の構成14を基礎とする実施形態である。調理器具制御サーバ装置、入出力装置、調理器具がそれぞれ有する機能的構成は、その他の構成14と基本的に同様であり、異なる点は、調理器具Cが新たな機能を有する点にある。
調理器具Cの新たな機能とは、図58に示す様に、調理器具C(5800)が加熱部C(5801)を有する加熱調理器具Cであるようにすることによって実現される。以下、新たに加えられる構成に関して説明する。
<実施形態1 その他の構成16 構成の説明>
<調理器具:加熱部C>
調加熱調理器具である理器具Cの「加熱部C」は、上記映像由来調理器具制御情報取得手段Sが取得する蒸気や煙等の調理器具映像情報に基づいて加熱加減を制御する。このために調理器具制御サーバ装置には、調理のそれまでの過程に応じて調理器具の加熱加減をどの程度にすれば適切であるかを映像情報に基づいて取得することが出来るように構成されている。そのためには、調理の種別が何であるかや、その調理人の好みがその調理の種別においてどのような好みであるか、などの前提情報が映像や、調理人との会話の中で取得されるように構成し、過去の同様の調理とその時間経過に応じた映像情報で示される映像の変化に応じてどのような加熱調整が行われてきたかという過去の蓄積情報に基づいて最適な加熱加減とするための処理がなされるように構成されている。この過去の蓄積情報は、そのキッチンで行われた調理の蓄積だけでなく、広く本システムを利用するキッチンで収集された過去の蓄積情報も加味して取得されるように構成することが好ましい。これは、ビックデータを統計処理したり、人工知能を利用して最適解を導き出すなどによって最適な映像由来調理器具制御情報が取得されるようにしたり構成することが好ましい。
<実施形態1:その他の構成17>
<実施形態1:その他の構成17 機能的構成>
<主に請求項13,15,16に関する>
本実施形態は、実施形態1その他の構成14,16を基礎とする実施形態である。調理器具制御サーバ装置、入出力装置、調理器具がそれぞれ有する機能的構成は、その他の構成14,16と基本的に同様であり、異なる点は、調理器具制御サーバ装置が新たな機能を有する点にある。
図59に示す様に、調理器具制御サーバ装置(5900)の新たな機能は、映像情報取得部Sに備えられる蒸気関連情報取得手段S(5901)、及び、調理器具制御情報取得部Sの映像由来調理器具制御情報取得手段Sに備えられる蒸気関連映像由来調理器具制御情報取得器S(5902)によって実現される。以下、新たに加えられる構成に関して説明する。
<実施形態1 その他の構成17 構成の説明>
<調理器具制御サーバ装置:蒸気関連情報取得手段S>
「蒸気関連情報取得手段S」は、取得した映像情報の中から蒸気の流速、流量を識別した情報である蒸気関連情報を取得する。
「蒸気の流速、流量を識別した情報」とは、例えば、鍋の蓋の孔や食材から出る蒸気の有無ないし量に係る情報である。この蒸気に関する映像は、可視光の映像のみならず、赤外光の映像を合わせて取得するように構成することが好ましい。赤外光の映像であると熱の量を推測することが出来るので、蒸気の噴出している熱量を推測できより、調理の実態を正確に把握することができる。また赤外線のサーモグラフィを利用して熱の分布を示す映像を合わせて利用することも考えられる。調理の進行度合いに応じて熱分布も変化するので熱分布の蓄積データを用いて現在の熱分布から推定される調理の進行度合いを推定して映像由来加熱加減制御情報を取得するように構成することが考えられる。
<実施形態1 その他の構成17 構成の説明>
<調理器具制御サーバ装置:蒸気関連映像由来調理器具制御情報取得器S>
「蒸気関連映像由来調理器具制御情報取得器S」は、蒸気関連情報に基づいた映像由来調理器具制御情報である蒸気関連映像由来調理器具制御情報を取得する。詳細に関しては上述の通りである。
<実施形態1:その他の構成18>
<実施形態1:その他の構成18 機能的構成>
<主に請求項13,15,17に関する>
本実施形態は、実施形態1その他の構成14,16を基礎とする実施形態である。調理器具制御サーバ装置、入出力装置、調理器具がそれぞれ有する機能的構成は、その他の構成14,16と基本的に同様であり、異なる点は、調理器具制御サーバ装置が新たな機能を有する点にある。
図62に示す様に、調理器具制御サーバ装置(6200)の新たな機能は、映像情報取得部Sに備えられる熱分布関連情報取得手段S(6201)、及び、調理器具制御情報取得部Sの映像由来調理器具制御情報取得手段Sに備えられる熱分布関連映像由来調理器具制御情報取得器S(6202)によって実現される。以下、新たに加えられる構成に関して説明する。
<実施形態1 その他の構成18 構成の説明>
<調理器具制御サーバ装置:熱分布関連情報取得手段S>
「熱分布関連情報取得手段S」は、取得した映像情報の中から被加熱物から放射される赤外線を識別した情報に基づいて被加熱物の熱分布を示す情報である熱分布関連情報を取得する。
「被加熱物から放射される赤外線を識別した情報」とは、例えば、鍋や食材の温度変化等の熱分布に係る情報である。前述の通り熱分布情報はサーモグラフィ情報を利用することが好ましい。ただし、サーモグラフィを取得するサーモグラフィ装置のセンサーの感度はその用途に応じてまちまちであるので、感度のよい範囲が調理で利用される温度範囲に最適化された装置が適している。温度範囲としては−60度から+250程度がよいが、音声制御調理器具プラットフォームの調理器具制御サーバ装置で会話等によって調理種別を調理人に回答させその調理で利用される調理温度範囲をデータベースから取得して、その調理温度範囲に感度がよい領域を設定するように構成してもよい。これは、映像情報取得部の検量情報の解像度を調理器具制御サーバ装置からの制御情報によって調節するように構成することで可能となる。
<実施形態1 その他の構成18 構成の説明>
<調理器具制御サーバ装置:熱分布関連映像由来調理器具制御情報取得器S>
「熱分布関連映像由来調理器具制御情報取得器S」は、熱分布関連情報に基づいた映像由来調理器具制御情報である熱分布関連映像由来調理器具制御情報を取得する。上述のように調理の過去の情報蓄積を利用して、その調理種別や、調理人の好みなどによって適切な熱分布関連映像由来調理器具制御情報を取得するように構成する。
<実施形態1:その他の構成19>
<実施形態1:その他の構成19 機能的構成>
<主に請求項13,15,18に関する>
本実施形態は、実施形態1その他の構成14,16を基礎とする実施形態である。調理器具制御サーバ装置、入出力装置、調理器具がそれぞれ有する機能的構成は、その他の構成14,16と基本的に同様であり、異なる点は、調理器具制御サーバ装置が新たな機能を有する点にある。
図65に示す様に、調理器具制御サーバ装置(6500)の新たな機能は、映像情報取得部Sに備えられる形態変化関連情報取得手段S(6501)、及び、調理器具制御情報取得部Sの映像由来調理器具制御情報取得手段Sに備えられる形態変化関連映像由来調理器具制御情報取得器S(6502)によって実現される。以下、新たに加えられる構成に関して説明する。
<実施形態1 その他の構成19 構成の説明>
<調理器具制御サーバ装置:形態変化関連情報取得手段S>
「形態変化関連情報取得手段S」は、取得した映像情報に基づいて調理対象の熱による形態変化を示す情報である形態変化関連情報を取得する。
「調理対象の熱による形態変化を示す情報」とは、食材の膨張・収縮による煮崩れ等の形態の変化に係る情報である。これは通常の映像情報のみから取得することも可能であるが、さらにレーザースキャンなどを用いて映像情報に3D情報を付加して映像情報としてもよい。
<実施形態1 その他の構成19 構成の説明>
<調理器具制御サーバ装置:形態変化関連映像由来調理器具制御情報取得器S>
「形態変化関連映像由来調理器具制御情報取得器S」は、形態変化関連情報に基づいた映像由来調理器具制御情報である形態変化関連映像由来調理器具制御情報を取得する。前述のように、調理器具制御サーバ装置によって調理人に対して調理種別をヒアリングし、その調理種別や、食材量、何人分の食事用かなどの情報と、過去に蓄積された同種、同量の調理の各ステップでの形態情報とその時の調理器具制御情報と、その調理の出来栄えと、のフィードバック情報に基づいて最適な調理の各ステップにおける形態変化関連映像由来調理器具制御情報を取得するように構成する。
<実施形態1:その他の構成20>
<実施形態1:その他の構成20 機能的構成>
<主に請求項13,15,19に関する>
本実施形態は、実施形態1その他の構成14,16を基礎とする実施形態である。調理器具制御サーバ装置、入出力装置、調理器具がそれぞれ有する機能的構成は、その他の構成14,16と基本的に同様であり、異なる点は、調理器具制御サーバ装置が新たな機能を有する点にある。
図68に示す様に、調理器具制御サーバ装置(6800)の新たな機能は、映像情報取得部Sに備えられる色変化関連情報取得手段S(6801)、及び、調理器具制御情報取得部Sの映像由来調理器具制御情報取得手段Sに備えられる色変化関連映像由来調理器具制御情報取得器S(6802)によって実現される。以下、新たに加えられる構成に関して説明する。
<実施形態1 その他の構成20 構成の説明>
<調理器具制御サーバ装置:色変化関連情報取得手段S>
「色変化関連情報取得手段S」は、取得した映像情報に基づいて調理対象の熱による色変化を示す情報である色変化関連情報を取得する。
「調理対象の熱による色変化を示す情報」とは、食材の焦げ目等の色変化に係る情報である。例えば、食材が野菜である場合には、野菜に含まれるクロロフィル、カロチノイド,フラボノイド、アントシアンなどの色素の熱による色変化に係る情報であり、食材が肉である場合には、肉に含まれるタンパク質と糖が熱に反応して褐色物質を生み出すメイラード反応による色変化に係る情報である。色彩が変化する食材や料理の例としては、その他にパン、ケーキ、ゆでる麺類、お好み焼き、たこ焼き、もんじゃ焼き、親子丼、玉子焼き、鶏のから揚げ、肉じゃが、天ぷら、きんぴらいため、鶏の照り焼き、五目炊き込みごはん、筍ごはん、おでん、すき焼き、切り干し大根の煮物、ひじきの煮物、ブリ大根、さばの味噌煮、生姜焼き、牛丼、筑前煮、さといもの煮ころがし、ぬた和え、ふろふき大根、肉豆腐、わかめの酢の物、かぼちゃの煮物、卯の花、イカ大根、ほうれん草のごまあえ、カレイの煮付け、豚汁、鶏の竜田揚げ、ゴーヤチャンプルー、黒豆艶煮、西京焼き、ちりめん山椒、金目鯛の煮付け、茄子の旨煮、揚げ桜海老、青菜のおひたし、エビ天そば、きつねそば、叩きごぼう、なます、数の子、オムライス、エビフライ、ローストビーフ、マカロニグラタン、ポテトコロッケ、ロールキャベツ、ナポリタン、エビピラフ、ハンバーグステーキ、ドライカレー、カニクリームコロッケ、クリームシチュー、メンチカツ、エッグベネディクト、スモークチキン、フライドチキン、ミートローフ、粗挽きソーセージ、エビチリ、酢豚、かに玉、にらたま、チャーハン、青椒肉絲、坦々麺、豚の角煮、肉だんご、春巻き、麻婆豆腐、回鍋肉 、焼きそば、麻婆春雨、麻婆茄子、卵とトマトの炒めもの、八宝菜、茹でワンタン、揚げワンタン、テリーヌ、ムニエル、ビーフシチュー、ビーフストロガノフ、ポ・ト・フー、レバーペースト、ポークソテー、オニオングラタンスープ、ブイヤベース、白身魚のポワレ、ホタテと春野菜のエチュベ、牛肉の赤ワイン煮込み、チーズスフレ、ペペロンチーノ、バーニャカウダ、カルボナーラ、ジェノベーゼ、ミネストローネ、野菜のフリット、ボンゴレ ビアンコ、ペンネアラビアータ、ピッツァマルゲリータ、パエリア、アヒージョ、チキンライス、ビビンパ、スウドゥブチゲ、トムヤムクン、サムゲタン、キーマカレー、ナン、ケバブジュージェ、ポークカレー、マドレーヌ、チョコチップクッキー、バナナケーキ、チョコレートケーキ、生チョコレート、レアチーズケーキ、プリン、ロールケーキ、アップルパイ、みたらし団子、ベイクドチーズケーキ、クッキー、シフォンケーキ、パウンドケーキ、ミルティーユ、ショートケーキ、フレンチトースト、ワッフル、カスタードプリンなどが挙げられる。
<実施形態1 その他の構成20 構成の説明>
<調理器具制御サーバ装置:色変化関連映像由来調理器具制御情報取得器S>
「色変化関連映像由来調理器具制御情報取得器S」は、色変化関連情報に基づいた映像由来調理器具制御情報である色変化関連映像由来調理器具制御情報を取得する。食材の色の変化に応じてどのような調理器具制御情報を取得するかは、料理や食材ごとに色の変化に対応させてあらかじめ適用すべき調理器具制御情報である色変化関連映像由来調理器具制御情報をデータベースとして保持しておき、実際に取得された色の変化に対応する調理器具制御情報をこのデータベースから検索することで取得することができる。また、初期段階のデータベースは作りこむが、その後の膨大な色変化関連情報の集積と、その際に利用した調理器具制御情報と、その調理がどのような評価を受けたかなどの情報に応じて人工知能を利用しデータベースをブラッシュアップしていってもよい。この明細書の全体を通じて人工知能を利用する場合にはその調理結果に関するフィードバックが必要であるために、調理器具制御サーバがそのフィードバックを取得できるよう構成する必要がある。そのために例えば食卓にマイクとスピーカーのセットを配置し、調理器具制御サーバ装置からの信号によって調理の講評を取得するように構成することができる。これは、いわゆるAIスピーカーでもよい。会話としては、例えば、「今日のケーキの焼き加減はいかがですか?」と問いかけさせて、回答として「とてもふんわりと焼けています。」などを得る。これは調理に際して適用した色変化関連映像由来調理器具制御情報が適切であったことを示すものであり、今回採用した調理器具制御情報の採用率を向上させるように人工知能を修正する。逆の場合には採用率を下げるように修正する。
<実施形態1:その他の構成21>
<実施形態1:その他の構成21 機能的構成>
<主に請求項13,15,20に関する>
本実施形態は、実施形態1その他の構成14,16を基礎とする実施形態である。調理器具制御サーバ装置、入出力装置、調理器具がそれぞれ有する機能的構成は、その他の構成14,16と基本的に同様であり、異なる点は、調理器具制御サーバ装置が新たな機能を有する点にある。
図71に示す様に、調理器具制御サーバ装置(7100)の新たな機能は、映像情報取得部Sに備えられる水分状態関連情報取得手段S(7101)、及び、調理器具制御情報取得部Sの映像由来調理器具制御情報取得手段Sに備えられる水分状態関連映像由来調理器具制御情報取得器S(7102)によって実現される。以下、新たに加えられる構成に関して説明する。
<実施形態1 その他の構成21 構成の説明>
<調理器具制御サーバ装置:水分状態関連情報取得手段S>
「水分状態関連情報取得手段S」は、取得した映像情報に基づいて調理対象を載置している調理器具上の水分状態を示す情報である水分状態関連情報を取得する。
「調理対象を載置している調理器具上の水分状態を示す情報」とは、調理器具上の水分の沸騰・蒸発等の状態変化に係る情報である。例えば沸騰は、吹き出す蒸気の泡や、吹き出す白い蒸気などの情報によって取得される。また、鍋などの容器の液面を観察することでも水分状態関連情報を取得することができる。また食材中に分布する水分量は、非接触の赤外線水分量計で測定することもできる。また、重量センサで蒸発した水分量を推定することもできる。
<実施形態1 その他の構成21 構成の説明>
<調理器具制御サーバ装置:水分状態関連映像由来調理器具制御情報取得器S>
「水分状態関連映像由来調理器具制御情報取得器S」は、水分状態関連情報に基づいた映像由来調理器具制御情報である水分状態関連映像由来調理器具制御情報を取得する。料理の種類や食材の種類におうじて、各調理段階で最適な水分量が定められたデータベースを有し、料理の種類や食材の種類に応じてその水分量をキープするようにあるいはその水分量変化をキープするように水分状態関連映像由来調理器具制御情報がデータベースから取得される。前述のようにフィードバック情報を利用してこれを人工知能などでブラッシュアップしてゆくことができる。
<実施形態1:その他の構成22>
<実施形態1:その他の構成22 機能的構成>
<主に請求項13,15,21に関する>
本実施形態は、実施形態1その他の構成14,16を基礎とする実施形態である。調理器具制御サーバ装置、入出力装置、調理器具がそれぞれ有する機能的構成は、その他の構成14,16と基本的に同様であり、異なる点は、調理器具制御サーバ装置が新たな機能を有する点にある。
図74に示す様に、調理器具制御サーバ装置(7400の新たな機能は、映像情報取得部Sに備えられる油分状態関連情報取得手段S(7401)、及び、調理器具制御情報取得部Sの映像由来調理器具制御情報取得手段Sに備えられる油分状態関連映像由来調理器具制御情報取得器S(7402)によって実現される。以下、新たに加えられる構成に関して説明する。
<実施形態1 その他の構成22 構成の説明>
<調理器具制御サーバ装置:油分状態関連情報取得手段S>
「油分状態関連情報取得手段S」は、取得した映像情報に基づいて調理対象を載置している調理器具上の油分状態を示す情報である油分状態関連情報を取得する。
調理において油分を用いる理由としては、調味のためや、ビタミンAなどの脂肪性ビタミンの添加や摂取容易化を図ることが挙げられる。この他、火力を使う調理において、調理器具、例えば、フライパンの鍋肌に調理対象が焦げ付くのを防いだり、調理対象の表面が調理熱によって乾いて硬くなるのを防いだりするのにも、油分が用いられる。
つまり、火力を使う調理には、大半の場合、調理器具上や調理対象の表面における油分が蒸発により減少するなどといった油分状態を把握することが重要であり、「調理対象を載置している調理器具上の油分状態を示す情報」とは、調理器具上や調理対象の表面における油分の蒸発等の状態を把握するために使われる情報である。また、天ぷらなどの揚げ上がりを検知するために衣をつけた具材を油中にいれた直後から時間経過につれて油中の泡の大きさや、泡が発する音の変化を分析すると揚げ上がりに適切なタイミングを取得することができる。例えば、全自動の天ぷら調理器の場合には油を観察することで油に浸漬したかごの引き上げタイミングを取得できる。つまりこの場合には油分状態関連情報を取得することで天ぷらの具材の入ったかごの引き上げタイミングを決定する油分状態関連映像由来調理器具制御情報を取得することができる。また天ぷら以外でもフライ、から揚げ、素揚げなどでも同様である。
<実施形態1 その他の構成22 構成の説明>
<調理器具制御サーバ装置:油分状態関連映像由来調理器具制御情報取得器S>
「油分状態関連映像由来調理器具制御情報取得器S」は、油分状態関連情報に基づいた映像由来調理器具制御情報である油分状態関連映像由来調理器具制御情報を取得する。油分状態関連映像由来調理器具制御情報の例としては、全自動の天ぷら調理装置や全自動のフライヤー、から揚げ装置、素揚げ装置の動作で具材が入れられているかごの引き上げタイミングを決定する情報や、フライパン調理における火力の調整をするための情報や、自動の焼き飯調理装置の火力調整や、鍋の回転調整などをするための情報などを挙げることが出来る。
<実施形態1:その他の構成23>
<実施形態1:その他の構成23 機能的構成>
<主に請求項13,15,22に関する>
本実施形態は、実施形態1その他の構成14,16を基礎とする実施形態である。調理器具制御サーバ装置、入出力装置、調理器具がそれぞれ有する機能的構成は、その他の構成14,16と基本的に同様であり、異なる点は、調理器具制御サーバ装置が新たな機能を有する点にある。
図77に示す様に、調理器具制御サーバ装置(7700の新たな機能は、映像情報取得部Sに備えられる発煙状態関連情報取得手段S(7701)、及び、調理器具制御情報取得部Sの映像由来調理器具制御情報取得手段Sに備えられる発煙状態関連映像由来調理器具制御情報取得器S(7702)によって実現される。以下、新たに加えられる構成に関して説明する。
<実施形態1 その他の構成23 構成の説明>
<調理器具制御サーバ装置:発煙状態関連情報取得手段S>
「発煙状態関連情報取得手段S」は、取得した映像情報に基づいて調理対象(調理器具も含む)からの発煙状態を示す情報である発煙状態関連情報を取得する。
調理における発煙には、火力の使用に伴って生じる煙、例えば、食材の焼け焦で立ち上る煙や、フライパン等の調理器具の空焼きによる金属や陶器が焼け付くことで生じる煙があるほか、例えば、ボールに入れたり調理対象の表面に塗したりした薄力粉等の粉体が扇風機による風や窓から吹き込む風によって舞い上がる煙があり、「調理対象(調理器具も含む)からの発煙状態を示す情報」とは、これらの煙全般の状態に係る情報である。また、加熱した何も入っていないフライパンに油を注いだ直後の油の蒸発による煙や、炒め物をしている際に立ち上がる油の煙、なども挙げることが出来る。加熱されたフライパンから立ち上がる煙によってフライパンの加熱状態や、炒め物の場合には炒め物の炒め具合などの情報を取得することができ、これらの情報に基づいて発煙状態関連映像由来調理器具制御情報を取得して調理器具を制御することに利用することができる。
<実施形態1 その他の構成23 構成の説明>
<調理器具制御サーバ装置:発煙状態関連映像由来調理器具制御情報取得器S>
「発煙状態関連映像由来調理器具制御情報取得器S」は、発煙状態関連情報に基づいた映像由来調理器具制御情報である発煙状態関連映像由来調理器具制御情報を取得する。主要な制御は火力調整であるが、その他に換気扇の制御や窓の開閉制御、空調の制御、照明の制御にこの制御情報を利用することができる。これらの被制御機器も本願発明においては調理器具に含めて考えるものとする。
<実施形態1:その他の構成24>
<実施形態1:その他の構成24 機能的構成>
<主に請求項13,15,23に関する>
本実施形態は、実施形態1その他の構成14,16を基礎とする実施形態である。調理器具制御サーバ装置、入出力装置、調理器具がそれぞれ有する機能的構成は、その他の構成14,16と基本的に同様であり、異なる点は、調理器具制御サーバ装置が新たな機能を有する点にある。
図80に示す様に、調理器具制御サーバ装置(8000の新たな機能は、映像情報取得部Sに備えられる発火状態関連情報取得手段S(8001)、及び、調理器具制御情報取得部Sの映像由来調理器具制御情報取得手段Sに備えられる発火状態関連映像由来調理器具制御情報取得器S(8002)によって実現される。以下、新たに加えられる構成に関して説明する。
<実施形態1 その他の構成24 構成の説明>
<調理器具制御サーバ装置:発火状態関連情報取得手段S>
「発火状態関連情報取得手段S」は、取得した映像情報に基づいて調理対象(調理器具も含む)からの発火状態を示す情報である発火状態関連情報を取得する。
「調理対象(調理器具も含む)からの発火状態を示す情報」とは、例えば、調理器具内の食材の燃え上がり等の発火状態に係る情報である。例えば、フランベによる発火状態を観察することでフランベの完成度合を取得することができる。また本来発火してはならない食材の発火を示す発火状態関連情報を取得することで緊急事態が発生したとの情報を取得し、緊急に火力をゼロにしたり、スプリンクラー(調理器具の一種ととらえる。)を起動したり、警報器(調理器具の一種ととらえる。)から警報を出力したりするために利用することもできる。さらに調理器具が火を利用する調理器具である場合には、調理器具の例えばガスバーナーの発火状態を示す発火状態関連情報を取得することによって火力を知ることが出来、調理に最適な火力となるように火力調整をするためにその情報を利用することが出来る。また例えば、中華コンロのような火力が強力な調理器具の場合には、中華鍋に隠れて見えなかった炎が料理の完成によって中華コンロから鍋が外されたことを炎の映像をによって判断し、中華コンロの火力を弱める、ないしは種火のみに切り替えるなどの制御のために利用することができる。
<実施形態1 その他の構成24 構成の説明>
<調理器具制御サーバ装置:発火状態関連映像由来調理器具制御情報取得器S>
「発火状態関連映像由来調理器具制御情報取得器S」は、発火状態関連情報に基づいた映像由来調理器具制御情報である発火状態関連映像由来調理器具制御情報を取得する。取得された発火状態関連映像由来調理器具制御情報は、コンロなどの火力を用いて調理を行う調理器具の火力調整や、前述の通り想定外の発火の検知の場合の安全装置の稼働などに利用される。
<実施形態1 その他の構成25 >
<実施形態1:その他の構成25 機能的構成>
<主に請求項1〜24に関する>
本実施形態は、実施形態1基礎となる構成、その他の構成2からその他の構成24の構成のいずれか一に記載の構成を基礎とする実施形態である。調理器具制御サーバ装置、入出力装置、調理器具がそれぞれ有する機能的構成は、基礎となる構成、その他の構成2からその他の構成24の構成のいずれか一に記載の構成と基本的に同様であり、異なる点は、調理器具Cが新たな機能を有する点にある。
調理器具Cの新たな機能は、図83に示す様に、調理器具に代えて、ローカル制御装置Lと、調理器具Bとし、ローカル制御装置L(8300は、調理器具識別情報を保持する調理器具識別情報保持部Cと、調理部を調理器具制御情報に基づいて制御する調理制御部Cと、調理器具制御情報を調理器具識別情報と関連付けて取得する調理器具制御情報取得部Cと、を有し、調理器具Bは、ローカル制御装置Lの調理制御部Cによって制御される調理をするための調理部Cを有するようになすことによって実現される。以下、新たに加えられる構成に関して説明する。
<実施形態1 その他の構成25 構成の説明>
<ローカル制御装置L:調理器具識別情報保持部C>
「調理器具識別情報保持部C」は、調理器具識別情報を保持する。調理器具制御情報に関してはすでに説明済みであり説明を省略する。
<実施形態1 その他の構成25 構成の説明>
<ローカル制御装置L:調理制御部C>
「調理制御部C」は、調理部を調理器具制御情報に基づいて制御する。このような構成は、調理器具が勝利器具制御情報を取得しないで調理器具制御情報を調理器具そのものの手前に位置づけられるローカル制御装置で処理して、調理器具は、その処理に基づいて制御を受ける構成を想定したものである。例えばキッチンに置かれた各調理器具は、キッチン全体の調理器具を束ねるローカル制御装置Lによって制御されるように構成され、キッチンには一台のローカル制御装置が置かれているようなタイプのキッチンを想定したものである。
<実施形態1 その他の構成25 構成の説明>
<ローカル制御装置L:調理器具制御情報取得部C>
「調理器具制御情報取得部C」は、調理器具制御情報を調理器具識別情報と関連付けて取得する。調理器具制御情報に関してはこれまで説明したとおりである。
<実施形態1 その他の構成25 構成の説明>
<調理器具B:調理部C>
「調理部C」は、ローカル制御装置Lの調理制御部Cによって制御される調理をする。全中のようにこのような構成は調理器具自体は調理器具制御情報を直接的には取得しないでローカル制御装置Lが調理器具制御情報を取得し、これによって各調理器具が制御されるような構成である。
なお、以上のような構成においても、一のローカル制御装置が複数の調理器具の一部をそれぞれ構成しているように法的に解釈することも本願発明で想定してもよい。このような記載は特許権侵害者によって特許請求の範囲に記載されている発明を構成する構成要件を限定的に解釈される場合を想定して記述するものである。
<実施形態1 その他の構成26>
<主に請求項1,2,25に関する>
<機能的説明>
本実施形態のその他の構成26では、調理器具制御サーバ装置、入出力装置、調理器具の夫々は、以下のような機能を有する。
図84に示す様に、調理器具制御サーバ装置(8400は、調理器具を制御するための温度情報を取得する温度情報取得部S(8401)を有し、調理器具制御情報取得部Sは、取得した温度情報に基づいて調理器具制御情報である温度由来調理器具制御情報を取得する温度由来調理器具制御情報取得手段S(8402)を有する、基礎となる構成、その他の構成2からその他の構成25の発明のいずれか一に記載の音声制御調理器具プラットフォームとして構成することができる。
さらに、図85に示す様に、入出力装置(8500は、調理器具の温度、調理器具によって調理されている食材の温度、又は、前記食材を保持する器の温度のいずれか一以上を調理器具識別情報と関連付けた情報である温度情報として取得する温度情報取得部I/O(8501)と、取得した温度情報を出力する温度情報出力部I/O(8502)と、をさらに有する基礎となる構成、その他の構成2からその他の構成25の発明のいずれか一に記載の入出力装置として構成することができる。
調理器具に関しては従前の実施形態の説明にあったように、調理器具識別情報保持部と、調理部と、調理制御部と、調理器具制御情報取得部と、からなっている。以下では、すでに説明した構成要件に関しては説明を省略し、新たに設けた構成要件に関してのみ説明する。
<実施形態1 その他の構成26 構成の説明>
<調理器具制御サーバ装置:温度情報取得部S>
「温度情報取得部S」は、調理器具を制御するための温度情報を取得する。この温度情報取得部Sとしては、温度計や熱電対を用いることができるほかサーモグラフィを用いることができる。例えば、温度計や熱電対を用いる場合は、調理器具に配置して、調理器具の温度、調理器具によって調理されている食材の温度、又は、前記食材を保持する器の温度のいずれか一以上を取得し、サーモグラフィを用いる場合は、キッチンにおけるレンジフードや壁面に配置して、調理器具の温度、調理器具によって調理されている食材の温度、又は、前記食材を保持する器の温度のいずれか一以上を取得する。
この温度情報取得部Sが取得する温度情報は、調理器具における調理状況についての温度情報である。取得する温度情報の種類としては、調理器具(鍋、フライパン、鉄板、土鍋等)の温度情報、調理器具に入っている食材、食材調理用材の温度情報及び食材を保持する器の温度情報である。
<実施形態1:その他の構成26 構成の説明>
<調理器具制御サーバ装置:温度由来調理器具制御情報取得手段S>
調理器具制御サーバ装置の調理器具制御情報取得部は、温度由来調理器具制御情報取得手段Sを有している。
「温度由来調理器具制御情報取得手段S」は、取得した温度情報に基づいて調理器具制御情報である温度由来調理器具制御情報を取得する。例えば、取得した温度情報が、鍋が沸騰している水分の温度である場合には、この鍋の沸騰を停止するためにコンロの火力を弱めるなどの温度由来調理器具制御情報を温度由来調理器具制御情報取得手段Sが調理器具制御情報として取得する。
この場合、取得した温度情報に基づいて、これに対応する調理器具制御情報を取得するが、どのような温度情報のときにどのような調理器具制御情報を取得するかを人工知能に判断させるように構成することができる。
<実施形態1 その他の構成26 構成の説明>
<入出力装置I/O:温度情報取得部>
入出力装置I/Oの「温度情報取得部」は、調理器具の温度、調理器具によって調理されている食材の温度、又は、前記食材を保持する器の温度のいずれか一以上を調理器具識別情報と関連付けた情報である温度情報として取得する。これは映像情報と同じく調理器具制御サーバ装置に送信するために取得するものである。
<実施形態1:その他の構成26 構成の説明>
<入出力装置I/O:温度情報出力部>
入出力装置の「温度情報出力部」は、取得した温度情報を出力する。出力先は調理器具制御情報を取得する調理器具制御サーバ装置である。ただし、途中で、他のサーバ装置などを経由しても構わない。例えば、温度情報を前処理するサーバ装置などである。また、温度情報は、出力先として、入出力装置の周辺に備えられる温度情報蓄積サーバ装置に同時に送信されてそこで温度情報がテキスト化されて蓄積されるように構成してもよい。これによって調理時における食材の時系列的温度変化の伝承が可能となる。
<実施形態1 調理器具制御サーバ装置:その他の構成27:許可情報保持手段S,発声者顔識別情報取得手段S,許可情報取得手段S及び許可情報依存調理器具制御情報取得手段S>
<主に請求項1,2,13,26に関する>
さらに、図89に示す様に、調理器具制御サーバ装置(8900)の調理器具制御情報取得部Sは、映像情報取得部Sで取得した映像情報である制御音声を発するユーザの顔識別情報とこの顔識別情報に関連付けて制御情報を取得してもよいかを示す許可情報を保持する許可情報保持手段S(8901)と、取得した制御音声の発声者の顔識別情報を顔の映像に基づいて取得する発声者顔識別情報取得手段S(8902)と、取得した発声者顔識別情報に関連付けられている許可情報を取得する許可情報取得手段S(8903)と、許可情報に基づいて調理器具制御情報を取得し、又は取得しない許可情報依存調理器具制御情報取得手段S(8904)と、を有する基礎となる構成、その他の構成2からその他の構成26の発明のいずれか一に記載の音声制御調理器具プラットフォームとして構成することができる。
<実施形態1 調理器具制御サーバ装置:その他の構成27:許可情報保持手段S>
「許可情報保持手段S」は、キッチンにいる人間の顔を識別する情報である顔識別情報とこの顔識別情報に関連付けて制御情報を取得してもよいかを示す許可情報を保持する。「顔識別情報」は、あらかじめ登録してある人間の顔を識別するためのユニークな情報である。顔識別情報に関連付けて調理器具制御情報の取得可否を定める許可情報は、キッチン等にいるユーザの顔の映像に基づいて制御音声情報を取得してもよいかを定める。例えば顔識別情報に許可フラグを立てる構成が考えられる。あるいは、許可するユーザと許可しないユーザにそれぞれ符号を付す構成が考えられる。さらに、調理器具制御情報の取得可否は、取得されるキッチン等にいるユーザの顔の映像に基づいて取得されるべき調理器具制御情報ごとに定めるように構成できる。例えば、その顔の主が子供と設定されている場合には、水の水栓の制御、電子レンジなどの火災等の発生につながらない調理器具の制御に関する調理器具制御情報については許可して取得し、出力し、調理器具を制御するが、火に関係するコンロなどの制御に関する調理器具制御情報がその顔の映像から取得されるべき調理器具制御情報であると判断される場合にはその顔の映像に基づいては調理器具制御情報の取得を拒否して、取得しない、というように構成することが好ましい。つまり、許可情報は顔者識別情報で識別されるユーザごとで、調理器具制御情報ごとに関連付けられて保持されていることが好ましい。このようにすることで、例えば、子供のいたずらによる事故を未然に防ぐことができる。
また、許可情報を顔識別情報で識別されるユーザごとで、調理器具制御情報ごとに登録するための登録部を調理器具制御サーバ装置が有しており、これは、権限を有する者にのみ登録を認めるように構成することが好ましい。具体的には権限を有する者とは調理器具制御サーバ装置の管理権限を有するものか、あるいはユーザの家庭の権限者である。ユーザの家庭の権限者は、調理器具制御サーバ装置の運営者から送付されるパスワードやID等を利用してユーザの端末からアクセスする者とすることができる。このユーザの端末は調理器具、ネットワークスピーカー、ホームサーバ、キッチンサーバ、ユーザの所持しているスマートフォンなどを利用できるように構成することが好ましい。
<実施形態1 調理器具制御サーバ装置:その他の構成27:発声者顔識別情報取得手段S>
「発声者顔識別情報取得手段S」は、取得した制御音声の発声者の顔識別情報を顔の映像に基づいて取得する。例えば、発声者顔識別情報が、「ID57126684AG」だとすると、その「ID57126684AG」にその者が発する制御音声情報を利用可能であるかどうかのフラグや許否情報が関連付けられているかを判断することとなる。そのために発声者顔識別情報を取得する。発声者顔識別情報は、発声者の顔の映像そのものであっても良いし、発声者の顔の映像から特徴情報(特徴量)を抽出したものであってもよい。ここで「特徴情報(特徴量)」の一例としては、目、鼻および口等の顔パーツの相対的な位置、形状、大きさ、顔の輪郭線の形状等と顔の各パーツとの相対位置などの情報から構成されるもので、画像中の対応する画素の位置に基づくスカラー量として、あるいは、各画素の位置を要素とするベクトル値として抽出することができる。
<実施形態1 調理器具制御サーバ装置:その他の構成27:許可情報取得手段S>
「許可情報取得手段S」は、取得した顔識別情報に関連付けられている許可情報を取得する。取得した発声者顔識別情報から、これに関連付けられている許可情報を取得する。取得した許可情報から、制御音声の発声者の調理器具制御音声情報を取得してよいか、調理器具制御情報を取得するのに利用してよいかを判断する。発声者顔識別情報に調理器具制御情報を取得するのに用いてはならない旨のフラグや情報が関連付けられている場合には、調理器具制御情報を取得するのにその制御音声情報を利用してはならない。
<実施形態1 調理器具制御サーバ装置:その他の構成27:許可情報依存調理器具制御情報取得手段S>
「許可情報依存調理器具制御情報取得手段S」は、取得した顔識別情報に関連付けられている許可情報に基づいて調理器具制御情報を取得し、又は取得しないことを判断する。許可情報取得手段Sによって許可をするとの判断結果が取得された場合には、許可情報依存調理器具制御情報取得手段Sによって調理器具制御情報が取得される。許可情報取得手段Sによって許可しないとの判断結果が取得された場合には、許可情報依存調理器具制御情報取得手段Sによって調理器具制御情報が取得されない。また、許可情報は、調理器具単位で許可する、許可しない、というもののほかに、一の調理器具内でも許可する動作と許可しない動作を区別するように構成されてもよい。
ここで、危険を回避して安全性を高める方向の動作を指示する場合には、許可情報と関連付けられた発声者顔識別情報によって識別されるユーザ以外のユーザからの発声を受付けるように、許可情報取得手段Sが危険回避許可情報取得器Sを有するように構成することも可能である。例えば「コンロを消してください」という点火中の火を消すための指示、「コンロを弱火にしてください」という火力を弱めるための指示、等については許可情報が関連付けられていないユーザからの発声であっても制御音声情報として取得し、一方で、「コンロに火をつけてください」という新たな着火の指示、「コンロの火を強火にしてください」という火力を強めるための指示等については、許可情報が関連付けられた発声者顔識別情報によって識別されるユーザからの発声しか制御音声情報として受け付けない、とすることが考えられる。このように、一部の指示については許可情報と関連付けられたユーザからの発声はなくても制御情報の受付を認める構成は、緊急事態を回避するために必要な動作を適宜実行するこが可能となるので、調理器具の安全性を高める効果を有する。このように構成する場合、許可情報を有していなくても制御情報として受け付ける処理手順を選択して処理させるために、そのための出力であることを発声の冒頭に付すことを必要とするように構成してもかまわない。例えば、「緊急」「回避」「急ぎ」「危険回避」「緊急回避」「安全のために」等を発声の冒頭に付すことを必要とするように構成することが考えられる。また、キッチンに人が立ち入った場合に、許可情報が関連付けられた発声者顔識別情報によって識別されるユーザであるなしにかかわらず音声制御調理器具プラットフォームの主電源スイッチや、キッチンの電灯スイッチ等が自動的にオンになるように構成することができる。
<実施形態1 その他の構成28>
さらに、実施形態1にて記載したいずれかの機能を有する調理器具制御サーバ装置又/及び調理器具についても発明としてもよい。
<実施形態1 音声制御調理器具プラットフォームのハードウェア構成及び動作プログラムの発明>
<音声制御調理器具プラットフォームのハードウェア構成及び動作プログラムの発明の説明の前提>
これ以降に説明する音声制御調理器具プラットフォーム動作プログラムの発明で使用される用語の意味について、すでに説明済みの用語の意味は特に別の意味でつかわれることを意図しない場合には同様の意味を有する単語として理解しなければならない。例えば「・・・部」と従前に表記された用語は、音声制御調理器具プラットフォーム動作プログラムの説明では「・・・プログラム」ないしは「・・・ステップ」と表記されるが、その果たす機能は、従前の説明にて「・・・部」が果たす機能として説明されていたものがコンピュータ上でプログラムによって実現されるものと同等であると解釈されなければならない。
<実施形態1 音声制御調理器具プラットフォームのハードウェア構成及び動作プログラムの発明:基礎となる構成>
<主に請求項1,28等に関係する>
図6Aは実施形態1の基礎となる構成の調理器具制御サーバ装置のハードウェア構成及び動作プログラムの発明の構成を示す図である。図6Bは実施形態1の基礎となる構成の調理器具のハードウェア構成及び動作プログラムの発明の構成を示す図である。図6Cは実施形態1の基礎となる構成の入出力装置のハードウェア構成及び動作プログラムの発明の構成を示す図である。実施形態1における調理器具制御サーバ装置及び調理器具を動作させるための音声制御調理器具プラットフォーム動作プログラム、情報をハードウェアであるコンピュータ上に配置して音声制御調理器具プラットフォームを実行することが可能な状態を示す図である。以上説明した機能は具体的には以下のようにコンピュータ資源を利用して実行されるものである。本発明は基本的に汎用コンピュータ(パーソナルコンピュータ、スマートフォンや携帯端末上のコンピュータ、タブレット端末上のコンピュータ、携帯型ゲーム専用機上のコンピュータ等やこれらに連携するスマートウォッチ、VRビューワー等、その他の携帯デバイス)や専用コンピュータ、プログラム、各種デバイスで構成することが可能である。
特に調理器具制御サーバ装置は、大型の汎用コンピュータが利用される。この大型の汎用コンピュータは、クラウド上のサーバ装置を利用して構成してもよい。従って、必ずしも一の筐体にすべての機能が収容されている必要はない。複数のコンピュータによって調理器具制御サーバ装置が構成されてもよい。調理器具もコンピュータで構成される部分を有するが、調理器具のコンピュータは、汎用コンピュータでなく専用のコンピュータで構成する方が安全である。この調理器具の専用コンピュータは、汎用コンピュータのようなオペレーティングシステムを有さずに、専用のファームウエアを用いて堅牢な計算機を構成する。不揮発性のメモリはディスクを用いてもよいがフラッシュメモリを利用する方が堅牢な観点から好ましい。また専用のファームウエアに代えて場合によりオープンソースのオペレーティングシステムで堅牢なものを利用することもできる。多少オーバースペックになるがLINAX系のものを利用することもできる。さらにはオペレーティングシステムを利用しないでプログラマブルロジックコントローラを利用するように構成してもよい。最後に入出力装置としては、代表的にはホームサーバのようなものが想定されるが、これには汎用コンピュータを割り当ててもよい。ただし、パーソナルコンピュータのようなものはオペレーティングシステムのバージョンアップのたびにプログラムの更新が必要となって煩雑であるためにリモートでプログラムの更新が可能な機能を備えるように構成することが好ましい。このリモートでの作業は、調理器具制御サーバ装置の運営側にゆだねるようにビジネスモデルを構築するのが好ましい。また入出力装置は、複数の筐体に分割されて構成されてもよい。例えば、一部は卓上に配置されるデスクトップ型の筐体に構成し、他の一部は調理器具の内部に構成してもよい。さらに、クラウド上に一部を又は全部を構成するようにしてもよい。
コンピュータの動作は、特に汎用コンピュータやサーバ装置では、基本的に不揮発性メモリに記録されているプログラムと情報(データ等)を主メモリ(メインメモリ)に読み込み展開して、主メモリ(メインメモリ)とCPUと各種デバイスとで処理を実行して行く形態をとる。デバイスとの通信はバス線(外部バス線を含みうる)とつながったインターフェース、ノースブリッジチップセット、サウスブリッジチップセット、又はノースブリッジチップセットとサウスブリッジチップセットとを統合したチップセット、さらにはノースブリッジ機能を吸収したCPUと、サウスブリッジセット、さらにはブリッジ機能を完全に吸収したCPU等を介して行われる。各機能部分とのCPUとの内部通信はバスを介して行われ、シリアルバス、パラレルバスを採用可能である。高速性を必要とする情報処理はパラレルバスを利用するように構成することが好ましい。インターフェースには、音声インターフェース、ディスプレイインターフェース、タッチパネル、マウス、キーボード、点字インターフェース、振動インターフェース(振動の種類によって情報伝達を行う。)通信バッファ等が考えられる。
この図にあるように、実施形態1の音声制御調理器具プラットフォームの調理器具制御サーバ装置は、図6Aに示す様に、調理器具を制御するための音声情報である制御音声情報を取得する「制御音声情報取得Sプログラム」と、取得した制御音声情報に基づいて調理器具を識別する情報である調理器具識別情報を取得する「調理器具識別情報取得Sプログラム」と、取得した制御音声情報に基づいて調理器具識別情報で識別される調理器具を制御する情報である調理器具制御情報を取得する「調理器具制御情報取得Sプログラム」と、取得した制御情報に基づいて応答のための応答音声の情報である応答音声情報を取得する「応答音声情報取得Sプログラム」と、取得した制御音声情報に基づいて応答のための応答テキストの情報である応答テキスト情報を取得する「応答テキスト情報取得Sプログラム」と、取得した調理器具制御情報を取得した調理器具識別情報と関連付けて調理器具識別情報で識別される調理器具に向けて出力する「調理器具制御情報出力Sプログラム」と、取得した応答音声情報を出力する「応答音声情報出力Sプログラム」と、取得した応答テキスト情報を出力する「応答テキスト情報出力Sプログラム」と、を保持し、音声制御調理器具プラットフォームの調理器具は、図6Bに示す様に、調理器具識別情報を保持する「調理器具識別情報保持Cプログラム」と、調理をするための「調理Cプログラム」と、調理部を調理器具制御情報に基づいて制御する「調理制御Cプログラム」と、調理器具制御情報を調理器具識別情報と関連付けて取得する「調理器具制御情報取得Cプログラム」と、を保持している。また、この調理器具と一体、又は別体を成す入出力装置は、図6Cに示す様に、マイクからの制御音声情報であるマイク制御音声情報を取得する「マイク制御音声情報取得I/Oプログラム」と、取得したマイク制御音声情報を制御音声情報として出力する「制御音声情報出力I/Oプログラム」と、出力された応答音声情報を取得する「応答音声情報取得I/Oプログラム」と、出力された応答テキスト情報を取得する「応答テキスト情報取得I/Oプログラム」と、取得した応答テキスト情報の履歴情報である応答テキスト履歴情報を保持する「応答テキスト履歴情報保持I/Oプログラム」と、保持されている応答テキスト履歴情報を出力する「応答テキスト履歴情報出力I/Oプログラム」と、取得した応答音声情報を出力する「応答音声情報出力部I/Oプログラム」と、取得した応答テキスト情報を出力する「応答テキスト情報出力I/Oプログラム」と、を有する入出力装置と、を保持している。
音声制御調理器具プラットフォーム動作プログラムの開始命令であるプログラムの実行命令に基づいて、調理器具制御サーバ装置では、前述のプログラムが主メモリ(メインメモリ)に読み込まれ展開されて、各ステップの動作開始命令に基づいてこれらのプログラムが実行される。同様に、調理器具では、前述のプログラムが主メモリ(メインメモリ)に読み込まれ展開されて、各ステップの動作開始命令に基づいてこれらのプログラムが実行される。同様に、入出力装置でも、前述のプログラムが主メモリ(メインメモリ)に読み込まれ展開されて、各ステップの動作開始命令に基づいてこれらのプログラムが実行される。なお、データとしては、プログラム同様に、制御音声情報、調理器具識別情報、調理器具制御情報、応答音声情報、応答テキスト情報、マイク制御音声情報、応答テキスト履歴情報、図示しない通信などの各種の設定情報などが不揮発性メモリに保持され、主メモリ(メインメモリ)に読み込み展開され、一連のプログラム実行に際して参照され、利用される。
<実施形態1 音声制御調理器具プラットフォームのハードウェア構成及び動作プログラムの発明:その他の構成1>
<主に請求項2等に関係する>
さらに、実施形態1の基礎となる構成のハードウェア構成及び動作プログラムの発明の構成に加えて、図10Aに示すように、調理器具制御サーバ装置が、出力した調理器具制御情報を受信した調理器具からの制御結果を含む応答情報である制御結果応答情報を取得する「制御結果応答情報取得Sプログラム」と、取得した制御結果応答情報に基づいて制御結果を告知するための告知音声の情報である制御結果告知音声情報を取得する「制御結果告知音声情報取得Sプログラム」と、取得した制御結果告知音声情報を出力する「制御結果告知音声情報出力Sプログラム」と、を有するように構成してもよく、メモリに記録された「制御結果応答情報取得Sプログラム」、「制御結果告知音声情報取得Sプログラム」及び「制御結果告知音声情報出力Sプログラム」をメインメモリに読み込み展開することで、制御結果応答情報取得部S、制御結果告知音声情報取得部S及び制御結果告知音声情報出力部Sの機能が実行される。
また、実施形態1の基礎となる構成のハードウェア構成及び動作プログラムの発明の構成に加えて、図10Bに示すように、調理器具が、取得した調理器具制御情報に基づいた制御の結果を含む応答である制御結果応答情報を出力する「制御結果応答情報出力Cプログラム」を有するように構成してもよく、メモリに記録された「制御結果応答情報出力Cプログラム」をメインメモリに読み込み展開することで、制御結果応答情報出力部Cの機能が実行される。
<実施形態1 音声制御調理器具プラットフォームのハードウェア構成及び動作プログラムの発明:その他の構成2>
<主に請求項3等に関する>
さらに、実施形態1の基礎となる構成又はその他の構成1のいずれかに記載のハードウェア構成及び動作プログラムの発明の構成に加えて、図13に示すように、調理器具制御情報を保持するための「調理器具制御情報保持Sプログラム」を有するように構成してもよい。メモリに記録された「調理器具制御情報保持Sプログラム」をメインメモリに読み込み展開することで、調理器具制御情報保持部Sの機能が実行される。
<実施形態1 音声制御調理器具プラットフォームのハードウェア構成及び動作プログラムの発明:その他の構成3>
<主に請求項4等に関係する>
さらに、実施形態1の基礎となる構成〜その他の構成2のいずれかに記載のハードウェア構成および動作プログラムの発明の構成に加えて、図16に示す様に、調理器具制御情報を調理器具制御情報保持部Sに外部ネットワークを介して記録する「調理器具制御情報記録Sプログラム」を有するように構成してもよい。メモリに記録された「調理器具制御情報記記録Sプログラム」をメインメモリに読み込み展開することで、調理器具制御情報記録部Sの機能が実行される。
<実施形態1 音声制御調理器具プラットフォームのハードウェア構成及び動作プログラムの発明:その他の構成4>
<主に請求項5等に関係する>
さらに、実施形態1の基礎となる構成〜その他の構成3のいずれかに記載のハードウェア構成及び動作プログラムの発明の構成に加えて、図19に示す様に、取得された制御音声情報が出力された応答音声情報に基づく返事に対応する制御音声情報である上書制御音声か判断する「上書制御音声判断Sプログラム」、上書制御音声判断部Sでの判断結果が上書制御音声であるとの判断結果である場合には、その上書制御音声の由来となった制御音声情報に基づいて取得された調理器具識別情報に関連付けて取得した調理器具制御情報を出力する「上書調理器具制御情報出力Sサブプログラム」を有するように構成してもよい。メモリに記録された「上書制御音声判断Sプログラム」をメインメモリに読み込み展開することで、上書制御音声判断部Sの機能が実行される。メモリに記録された「上書調理器具制御情報出力Sサブプログラム」をメインメモリに読み込み展開することで、上書調理器具制御情報出力手段Sの機能が実行される。
<実施形態1 音声制御調理器具プラットフォームのハードウェア構成及び動作プログラムの発明:その他の構成5>
<主に請求項6等に関係する>
さらに、実施形態1の基礎となる構成〜その他の構成4のいずれか一に記載のハードウェア構成及び動作プログラムの発明の構成に加えて、図22に示す様に、取得した制御音声情報に基づいて調理器具識別情報を取得できない、又は/及び調理器具制御情報を取得できない場合である趣旨不明瞭ケースであるか判断する「趣旨明瞭性判断Sプログラム」、趣旨明瞭性判断部Sでの判断結果が趣旨不明瞭ケースであるとの判断結果である場合に不明瞭な趣旨を質すための返事を構成する質問応答音声の情報であり応答音声情報である質問応答音声情報を取得する「質問応答音声情報取得Sサブプログラム」を有するように構成してもよい。メモリに記録された「趣旨明瞭性判断Sプログラム」をメインメモリに読み込み展開することで、趣旨明瞭性判断部Sの機能が実行される。「質問応答音声情報取得Sサブプログラム」は、「調理器具制御情報取得Sプログラム」の実行に際して実行される。メモリに記録された「質問応答音声情報取得Sサブプログラム」をメインメモリに読み込み展開することで、質問応答音声情報取得手段Sの機能が実行される。
<実施形態1 音声制御調理器具プラットフォームのハードウェア構成及び動作プログラムの発明:その他の構成6>
<主に請求項7等に関係する>
さらに、さらに、実施形態1の基礎となる構成〜その他の構成5のいずれか一に記載のハードウェア構成及び動作プログラムの発明の構成に加えて、図25に示す様に、取得した制御音声情報に基づいて時系列に制御に利用されるべき時系列調理器具制御情報を取得する「時系列調理器具制御情報取得Sサブプログラム」を有するように構成してもよい。「時系列調理器具制御情報取得Sサブプログラム」は、調理器具制御情報取得Sプログラムの実行に際して実行される。メモリに記録された「時系列調理器具制御情報取得Sサブプログラム」をメモリに読み込み展開することで、時系列調理器具制御情報取得手段Sの機能が実行される。
<実施形態1 音声制御調理器具プラットフォームのハードウェア構成及び動作プログラムの発明:その他の構成7>
<主に請求項8等に関係する>
さらに、実施形態1の基礎となる構成〜その他の構成6のいずれか一に記載のハードウェア構成及び動作プログラムの発明の構成に加えて、図28に示すように、制御音声情報に含まれる調理対象を示す情報に基づいて調理器具を制御する調理器具制御情報である調理対象依存調理器具制御情報を取得する「調理対象依存調理器具制御情報取得Sサブプログラム」を有するように構成してもよい。「調理対象依存調理器具制御情報取得Sサブプログラム」は、調理器具制御情報取得Sプログラムの実行に際して実行される。メモリに記録された「調理対象依存調理器具制御情報取得Sサブプログラム」をメモリに読み込み展開することで、調理対象依存調理器具制御情報取得手段Sの機能が実行される。
<実施形態1 音声制御調理器具プラットフォームのハードウェア構成及び動作プログラムの発明:その他の構成8>
<主に請求項9等に関係する>
さらに、実施形態1の基礎となる構成〜その他の構成7のいずれか一に記載のハードウェア構成及び動作プログラムの発明の構成に加えて、図31に示す様に、制御音声情報を取得するための「制御音声情報取得Cプログラム」、取得した制御音声情報を出力する「制御音声情報出力Cプログラム」、応答音声情報を取得する「応答音声情報取得Cプログラム」、取得した応答音声情報に基づいて応答音声を出力する「音声出力Cプログラム」を有するように構成してもよい。メモリに記録された「制御音声情報取得Cプログラム」をメモリに読み込み展開することで、制御音声情報取得部Cの機能が実行される。メモリに記録された「制御音声情報出力Cプログラム」をメモリに読み込み展開することで、制御音声情報出力部Cの機能が実行される。「応答音声情報取得Cプログラム」をメモリに読み込み展開することで、応答音声情報取得部Cの機能が実行される。メモリに記録された「音声出力Cプログラム」をメモリに読み込み展開することで、音声出力部Cの機能が実行される。
<実施形態1 音声制御調理器具プラットフォームのハードウェア構成及び動作プログラムの発明:その他の構成9>
<主に請求項10等に関係する>
さらに、実施形態1の基礎となる構成、その他の構成2からその他の構成8のいずれか一に記載のハードウェア構成及び動作プログラムの発明の構成に加えて、図35に示す様に、調理器具が、調理器具又は調理器具に併せて利用されている調理器財の状況を示す情報である状況情報を取得する「状況情報取得Cプログラム」、取得した状況情報を調理器具識別情報と関連付けて出力する「状況情報出力Cプログラム」を有するように、図36に示すように、調理器具制御サーバ装置が、状況情報とそれに関連付けられている調理器具識別情報を取得する「状況情報取得Sプログラム」、取得した状況情報に基づいて応答のための応答音声の情報である応答音声情報を取得する「状況依存応答音声情報取得Sサブプログラム」、取得した状況情報に基づいて調理器具識別情報で識別される調理器具を制御する調理器具制御情報である状況依存調理器具制御情報を取得する「状況依存調理器具制御情報取得Sサブプログラム」、を有するように構成してもよい。メモリに記録された「状況情報取得Cプログラム」をメモリに読み込み展開することで、状況情報取得部Cの機能が実行される。メモリに記録された「状況情報出力Cプログラム」をメモリに読み込み展開することで、状況情報出力部Cの機能が実行される。メモリに記録された「状況情報取得Sプログラム」をメモリに読み込み展開することで、状況情報取得手段Sの機能が実行される。メモリに記録された「状況依存応答音声情報取得Sサブプログラム」をメモリに読み込み展開することで、状況依存応答音声情報取得手段Sの機能が実行される。メモリに記録された「状況依存調理器具制御情報取得Sサブプログラム」をメモリに読み込み展開することで状況依存調理器具制御情報取得手段Sの機能が実行される。
<実施形態1 音声制御調理器具プラットフォームのハードウェア構成及び動作プログラムの発明:その他の構成10>
<主に請求項1〜10等に関係する>
さらに、実施形態1のその他の構成9のハードウェア構成及び動作プログラムの発明の構成に加えて、図39に示す様に、取得した状況情報に基づいてその状況情報に関連付けられている調理器具識別情報で識別される調理器具と異なる調理器具を制御するための調理器具制御情報である他調理器具制御情報を取得する「他調理器具制御情報取得Sサブプログラム」を有するように構成してもよい。「他調理器具制御情報取得Sサブプログラム」は、調理器具制御情報取得Sプログラムの実行に際して実行される。メモリに記録された「他調理器具制御情報取得Sサブプログラム」をメモリに読み込み展開することで、他調理器具制御情報取得部Sの機能が実行される。
<実施形態1 音声制御調理器具プラットフォームのハードウェア構成及び動作プログラムの発明:その他の構成11>
<主に請求項11等に関係する>
さらに、実施形態1の基礎となる構成〜その他の構成10のいずれか一に記載のハードウェア構成及び動作プログラムの発明の構成に加えて、図42に示す様に、制御音声の発声者を識別する情報である発声者識別情報と、発声者識別情報に関連付けられて制御情報を取得してもよいかを示す許可情報を保持する「許可情報保持Sサブプログラム」、取得した発声者識別情報い関連付けられている許可情報を取得する「発声者識別情報取得Sサブプログラム」、取得した発声者識別情報に関連付けられている許可情報を取得する「許可情報取得Sサブプログラム」、許可情報に基づいて調理器具制御情報を取得し、又は取得しない「許可情報依存調理器具制御情報取得Sサブプログラム」、を有するように構成してもよい。「許可情報取得Sサブプログラム」、「発声者識別情報取得Sサブプログラム」、「許可情報取得Sサブプログラム」、「許可情報依存調理器具制御情報取得Sサブプログラム」は、調理器具制御情報取得Sプログラムの実行に際して実行される。メモリに記録された「許可情報保持Sサブプログラム」をメモリに読み込み展開することで、許可情報保持手段Sの機能が実行される。メモリに記録された「発声者識別情報取得Sサブプログラム」をメモリに読み込み展開することで、発声者識別情報取得手段Sの機能が実行される。メモリに記録された「許可情報取得Sサブプログラム」をメモリに読み込み展開することで、許可情報取得手段Sの機能が実行される。メモリに記録された「許可情報依存調理器具制御情報取得Sサブプログラム」をメモリに読み込み展開することで、許可情報依存調理器具制御情報取得手段Sの機能が実行される。
<実施形態1 音声制御調理器具プラットフォームのハードウェア構成及び動作プログラムの発明:その他の構成12>
<主に請求項1〜11等に関係する>
さらに、実施形態1の基礎となる構成〜その他の構成11のいずれか一に記載のハードウェア構成及び動作方法プログラムに加えて、図45に示す様に、応答音声情報に基づく応答音声又は/及びテイストを取得する「応答音声テキスト取得Sサブプログラム」、取得した応答音声又は/及びテキストを電話網又は/及びインターネットを介して出力する「電話網・インターネット出力Sサブプログラム」を有するように構成してもよい。「応答音声テキスト取得Sサブプログラム」、電話網・インターネット出力Sサブプログラム」は、応答音声情報出力Sプログラムの実行に際して実行される。メモリに記録された「応答音声テキスト取得Sサブプログラム」をメインメモリに読み込み展開することで、応答音声テキスト取得手段Sの機能が実行される。メモリに記録された「電話網・インターネット出力Sサブプログラム」をメモリに読み込み展開することで、電話網・インターネット出力手段の機能が実行される。
<実施形態1 音声制御調理器具プラットフォームのハードウェア構成及び動作プログラムの発明:その他の構成13>
<主に請求項12等に関係する>
さらに、実施形態1の基礎となる構成〜その他の構成12のいずれか一に記載のハードウェア構成及び動作方法プログラムに加えて、図48に示す様に、取得した制御音声情報の音声が重畳している場合には、重畳している制御音声情報をそれぞれの発声者別に分離する「重畳音声分離Sサブプログラム」をさらに有するように構成してもよい。「重畳音声分離Sサブプログラム」は、調理器具制御情報取得Sプログラムの実行に際して実行される。メモリに記録された「重畳音声分離Sサブプログラム」をメインメモリに読み込み展開することで、重畳音声分離手段Sの機能が実行される。
<実施形態1 音声制御調理器具プラットフォームのハードウェア構成及び動作プログラムの発明:その他の構成14>
<主に請求項13、29等に関係する>
さらに、実施形態1の基礎となる構成〜その他の構成13のいずれか一に記載のハードウェア構成及び動作プログラムの発明の構成に加えて、図52に示す様に、調理器具制御サーバ装置が、入出力装置から出力される調理器具の映像、調理器具によって調理されている食材の映像、又は、食材を保持する器の映像のいずれか一以上を調理器具識別情報と関連付けた情報である映像情報を取得する「映像情報取得Sプログラム」を有し、調理器具制御情報取得Sプログラムは、取得した映像情報に基づいて調理器具制御情報である映像由来調理器具制御情報を取得する「映像由来調理器具制御情報取得Sサブプログラム」を有し、図53に示す様に、入出力装置が、調理器具の映像、調理器具によって調理されている食材の映像、又は、食材を保持する器の映像のいずれか一以上を調理器具識別情報と関連付けた情報である映像情報として取得する「映像情報取得I/Oプログラム」と、取得した映像情報を出力する「映像情報出力I/Oプログラム」と、をさらに有する構成してもよい。メモリに記録された「映像情報取得Sプログラム」をメインメモリに読み込み展開することで、映像情報取得部Sの機能が実行される。「映像由来調理器具制御情報取得Sサブプログラム」は、調理器具制御情報取得Sプログラムの実行に際して実行され、メモリに記録された「映像由来調理器具制御情報取得Sサブプログラム」をメインメモリに読み込み展開することで、映像由来調理器具制御情報取得手段Sの機能が実行される。また、メモリに記録された「映像情報取得I/Oプログラム」をメインメモリに読み込み展開することで、映像情報取得部I/Oの機能が実行され、メモリに記録された「映像情報出力I/Oプログラム」をメインメモリに読み込み展開することで、映像情報出力部I/Oの機能が実行される。
<実施形態1 音声制御調理器具プラットフォームのハードウェア構成及び動作プログラムの発明:その他の構成15>
<主に請求項14等に関係する>
さらに、実施形態1のその他の構成14のハードウェア構成及び動作プログラムの発明の構成に加えて、図56に示す様に、映像情報として調理器具又は/及び調理器具で調理されている食材の状態を示す調理器具食材映像情報、キッチンでの人の立居振る舞いを示す情報である人アクション情報の一以上である詳細映像情報を取得する「詳細映像情報取得Sサブプログラム」と、詳細映像情報が人アクション情報である場合に、その人アクション情報を解釈するための手話解釈データを保持する「手話解釈データベースSサブプログラム」と、取得された映像情報が人アクション情報である場合に、その人アクション情報と保持されている手話解釈データに基づいてその手話で示される意図を示す情報である意図情報を取得する「意図情報取得Sサブプログラム」と、取得された意図情報に基づいて調理器具制御情報である意図情報由来調理器具制御情報を取得する「意図情報由来調理器具制御情報取得Sサブプログラム」と、をさらに有する構成してもよい。「詳細映像情報取得Sサブプログラム」、「手話解釈データベースSサブプログラム」、「意図情報取得Sサブプログラム」及び「意図情報由来調理器具制御情報取得Sサブプログラム」は、映像情報取得Sプログラムの実行に際して実行され、メモリに記録された「詳細映像情報取得Sサブプログラム」、「手話解釈データベースSサブプログラム」、「意図情報取得Sサブプログラム」及び「意図情報由来調理器具制御情報取得Sサブプログラム」をメインメモリに読み込み展開することで、詳細映像情報取得手段S、手話解釈データベース手段S、意図情報取得手段S及び意図情報由来調理器具制御情報取得手段Sの各機能が実行される。
<実施形態1 音声制御調理器具プラットフォームのハードウェア構成及び動作プログラムの発明:その他の構成16>
<主に請求項15等に関係する>
さらに、実施形態1のその他の構成14のハードウェア構成及び動作プログラムの発明の構成に加えて、調理をするための「調理Cプログラム」として「加熱Cプログラム」、を有するように構成してもよい。メモリに記録された「加熱Cプログラム」をメインメモリに読み込み展開することで、加熱部Cの機能が実行される。
<実施形態1 音声制御調理器具プラットフォームのハードウェア構成及び動作プログラムの発明:その他の構成17>
<主に請求項16等に関係する>
さらに、実施形態1のその他の構成16のハードウェア構成及び動作プログラムの発明の構成に加えて、図60に示す様に、取得した映像情報の中から蒸気の流速、流量を識別した情報である蒸気関連情報を取得する「蒸気関連情報取得Sサブプログラム」を有し、蒸気関連情報に基づいた映像由来調理器具制御情報である蒸気関連映像由来調理器具制御情報を取得する「蒸気関連映像由来調理器具制御情報取得Sサブサブプログラム」をさらに有する構成してもよい。「蒸気関連情報取得Sサブプログラム」は、映像情報取得Sプログラムの実行に際して実行され、メモリに記録された「蒸気関連情報取得Sサブプログラム」をメインメモリに読み込み展開することで、蒸気関連情報取得手段Sの機能が実行される。「蒸気関連映像由来調理器具制御情報取得SSサブサブプログラム」は、映像由来調理器具制御情報取得Sサブプログラムの実行に際して実行される。
<実施形態1 音声制御調理器具プラットフォームのハードウェア構成及び動作プログラムの発明:その他の構成18>
<主に請求項17等に関係する>
さらに、実施形態1のその他の構成16又はその他の構成17のハードウェア構成及び動作プログラムの発明の構成に加えて、図63に示す様に、取得した映像情報の中から被加熱物から放射される赤外線を識別した情報に基づいて被加熱物の熱分布を示す情報である熱分布関連情報を取得する「熱分布関連情報取得Sサブプログラム」を有し、熱分布関連情報に基づいた映像由来調理器具制御情報である熱分布関連映像由来調理器具制御情報を取得する「熱分布関連映像由来調理器具制御情報取得Sサブサブプログラム」をさらに有する構成してもよい。「熱分布関連情報取得Sサブプログラム」は、映像情報取得Sプログラムの実行に際して実行され、メモリに記録された「熱分布関連情報取得Sサブプログラム」をメインメモリに読み込み展開することで、熱分布関連情報取得手段Sの機能が実行される。「熱分布関連映像由来調理器具制御情報取得Sサブサブプログラム」は、映像由来調理器具制御情報取得Sサブプログラムの実行に際して実行される。
<実施形態1 音声制御調理器具プラットフォームのハードウェア構成及び動作プログラムの発明:その他の構成19>
<主に請求項18等に関係する>
さらに、実施形態1のその他の構成16〜その他の構成18のいずれか一に記載のハードウェア構成及び動作プログラムの発明の構成に加えて、図66に示す様に、取得した映像情報に基づいて調理対象の熱による形態変化を示す情報である形態変化関連情報を取得する「形態変化関連情報取得Sサブプログラム」を有し、形態変化関連情報に基づいた映像由来調理器具制御情報である形態変化関連映像由来調理器具制御情報を取得する「形態変化関連映像由来調理器具制御情報取得Sサブサブプログラム」をさらに有する構成してもよい。「形態変化関連情報取得Sサブプログラム」は、映像情報取得Sプログラムの実行に際して実行され、メモリに記録された「形態変化関連情報取得Sサブプログラム」をメインメモリに読み込み展開することで、形態変化関連情報取得手段Sの機能が実行される。「形態変化関連映像由来調理器具制御情報取得Sサブサブプログラム」は、映像由来調理器具制御情報取得Sサブプログラムの実行に際して実行される。
<実施形態1 音声制御調理器具プラットフォームのハードウェア構成及び動作プログラムの発明:その他の構成20>
<主に請求項19等に関係する>
さらに、実施形態1のその他の構成16〜その他の構成19のいずれか一に記載のハードウェア構成及び動作プログラムの発明の構成に加えて、図69に示す様に、取得した映像情報に基づいて調理対象の熱による色変化を示す情報である色変化関連情報を取得する「色変化関連情報取得Sサブプログラム」を有し、色変化関連情報に基づいた映像由来調理器具制御情報である色変化関連映像由来調理器具制御情報を取得する「色変化関連映像由来調理器具制御情報取得Sサブサブプログラム」をさらに有する構成してもよい。「色変化関連情報取得Sサブプログラム」は、映像情報取得Sプログラムの実行に際して実行され、メモリに記録された「色変化関連情報取得Sサブプログラム」をメインメモリに読み込み展開することで、色変化関連情報取得手段Sの機能が実行される。「色変化関連映像由来調理器具制御情報取得Sサブサブプログラム」は、映像由来調理器具制御情報取得Sサブプログラムの実行に際して実行される。
<実施形態1 音声制御調理器具プラットフォームのハードウェア構成及び動作プログラムの発明:その他の構成21>
<主に請求項20等に関係する>
さらに、実施形態1のその他の構成16〜その他の構成20のいずれか一に記載のハードウェア構成及び動作プログラムの発明の構成に加えて、図72に示す様に、取得した映像情報に基づいて調理対象を載置している調理器具上の水分状態を示す情報である水分状態関連情報を取得する「水分状態関連情報取得Sサブプログラム」を有し、水分状態関連情報に基づいた映像由来調理器具制御情報である水分状態関連映像由来調理器具制御情報を取得する「水分状態関連映像由来調理器具制御情報取得Sサブサブプログラム」をさらに有する構成してもよい。「水分状態関連情報取得Sサブプログラム」は、映像情報取得Sプログラムの実行に際して実行され、メモリに記録された「水分状態関連情報取得Sサブプログラム」をメインメモリに読み込み展開することで、水分状態関連情報取得手段Sの機能が実行される。「水分状態関連映像由来調理器具制御情報取得Sサブサブプログラム」は、映像由来調理器具制御情報取得Sサブプログラムの実行に際して実行される。
<実施形態1 音声制御調理器具プラットフォームのハードウェア構成及び動作プログラムの発明:その他の構成22>
<主に請求項21等に関係する>
さらに、実施形態1のその他の構成16〜その他の構成21のいずれか一に記載のハードウェア構成及び動作プログラムの発明の構成に加えて、図75に示す様に、取得した映像情報に基づいて調理対象を載置している調理器具上の油分状態を示す情報である油分状態関連情報を取得する「油分状態関連情報取得Sサブプログラム」を有し、油分状態関連情報に基づいた映像由来調理器具制御情報である油分状態関連映像由来調理器具制御情報を取得する「油分状態関連映像由来調理器具制御情報取得Sサブサブプログラム」をさらに有する構成してもよい。「油分状態関連情報取得Sサブプログラム」は、映像情報取得Sプログラムの実行に際して実行され、メモリに記録された「油分状態関連情報取得Sサブプログラム」をメインメモリに読み込み展開することで、油分状態関連情報取得手段Sの機能が実行される。「油分状態関連映像由来調理器具制御情報取得Sサブサブプログラム」は、映像由来調理器具制御情報取得Sサブプログラムの実行に際して実行される。
<実施形態1 音声制御調理器具プラットフォームのハードウェア構成及び動作プログラムの発明:その他の構成23>
<主に請求項22等に関係する>
さらに、実施形態1のその他の構成16〜その他の構成22のいずれか一に記載のハードウェア構成及び動作プログラムの発明の構成に加えて、図78に示す様に、取得した映像情報に基づいて調理対象(調理器具を含む)からの発煙状態を示す情報である発煙状態関連情報を取得する「発煙状態関連情報取得Sサブプログラム」を有し、発煙状態関連情報に基づいた映像由来調理器具制御情報である発煙状態関連映像由来調理器具制御情報を取得する「発煙状態関連映像由来調理器具制御情報取得Sサブサブプログラム」をさらに有する構成してもよい。「発煙状態関連情報取得Sサブプログラム」は、映像情報取得Sプログラムの実行に際して実行され、メモリに記録された「発煙状態関連情報取得Sサブプログラム」をメインメモリに読み込み展開することで、発煙状態関連情報取得手段Sの機能が実行される。「発煙状態関連映像由来調理器具制御情報取得Sサブサブプログラム」は、映像由来調理器具制御情報取得Sサブプログラムの実行に際して実行される。
<実施形態1 音声制御調理器具プラットフォームのハードウェア構成及び動作プログラムの発明:その他の構成24>
<主に請求項23等に関係する>
さらに、実施形態1のその他の構成16〜その他の構成23のいずれか一に記載のハードウェア構成及び動作プログラムの発明の構成に加えて、図81に示す様に、取得した映像情報に基づいて調理対象(調理器具を含む)からの発火状態を示す情報である発火状態関連情報を取得する「発火状態関連情報取得Sサブプログラム」を有し、発火状態関連情報に基づいた映像由来調理器具制御情報である発火状態関連映像由来調理器具制御情報を取得する「発火状態関連映像由来調理器具制御情報取得Sサブサブプログラム」をさらに有する構成してもよい。「発火状態関連情報取得Sサブプログラム」は、映像情報取得Sプログラムの実行に際して実行され、メモリに記録された「発火状態関連情報取得Sサブプログラム」をメインメモリに読み込み展開することで、発火状態関連情報取得手段Sの機能が実行される。「発火状態関連映像由来調理器具制御情報取得Sサブサブプログラム」は、映像由来調理器具制御情報取得Sサブプログラムの実行に際して実行される。
<実施形態1 音声制御調理器具プラットフォームのハードウェア構成及び動作プログラムの発明:その他の構成25>
<主に請求項24等に関係する>
さらに、実施形態1のその他の構成16〜その他の構成24のいずれか一に記載のハードウェア構成及び動作プログラムの発明の構成に加えて、調理器具に代えて、ローカル制御装置Lと、調理器具Bとして、ローカル制御装置Lが、調理器具識別情報を保持する「調理器具識別情報保持Cプログラム」と、調理部を調理器具制御情報に基づいて制御する「調理制御Cプログラム」と、調理器具制御情報を調理器具識別情報と関連付けて取得する「調理器具制御情報取得Cプログラム」と、を有し、調理器具Bが、ローカル制御装置Lの調理制御Cプログラムによって制御される調理をするための「調理Cプログラム」を有するように構成してもよい。メモリに記録された「調理器具識別情報保持Cプログラム」をメインメモリに読み込み展開することで、調理器具識別情報保持部Cの機能が実行され、メモリに記録された「調理制御Cプログラム」をメインメモリに読み込み展開することで、調理制御部Cの機能が実行され、メモリに記録された「調理器具制御情報取得Cプログラム」をメインメモリに読み込み展開することで、調理器具制御情報取得部Cの機能が実行される。また、調理器具Bのメモリに記録された「調理Cプログラム」をメインメモリに読み込み展開することで、調理部Cの機能が実行される。
<実施形態1 音声制御調理器具プラットフォームのハードウェア構成及び動作プログラムの発明:その他の構成26>
<主に請求項25、30等に関係する>
さらに、実施形態1の基礎となる構成〜その他の構成25のいずれか一に記載のハードウェア構成及び動作プログラムの発明の構成に加えて、図86に示す様に、調理器具制御サーバ装置が、入出力装置から出力される調理器具の温度、調理器具によって調理されている食材の温度、又は、食材を保持する器の温度のいずれか一以上を調理器具識別情報と関連付けた情報である温度情報を取得する「温度情報取得Sプログラム」を有し、調理器具制御情報取得Sプログラムは、取得した温度情報に基づいて調理器具制御情報である温度由来調理器具制御情報を取得する「温度由来調理器具制御情報取得Sサブプログラム」を有し、図87に示す様に、入出力装置が、調理器具の温度、調理器具によって調理されている食材の温度、又は、食材を保持する器の温度のいずれか一以上を調理器具識別情報と関連付けた情報である温度情報として取得する「温度情報取得I/Oプログラム」と、取得した温度情報を出力する「温度情報出力I/Oプログラム」と、をさらに有する構成してもよい。メモリに記録された「温度情報取得Sプログラム」をメインメモリに読み込み展開することで、温度情報取得部Sの機能が実行される。「温度由来調理器具制御情報取得Sサブプログラム」は、調理器具制御情報取得Sプログラムの実行に際して実行され、メモリに記録された「温度由来調理器具制御情報取得Sサブプログラム」をメインメモリに読み込み展開することで、温度由来調理器具制御情報取得手段Sの機能が実行される。また、メモリに記録された「温度情報取得I/Oプログラム」をメインメモリに読み込み展開することで、温度情報取得部I/Oの機能が実行され、メモリに記録された「温度情報出力I/Oプログラム」をメインメモリに読み込み展開することで、温度情報出力部I/Oの機能が実行される。
<実施形態1 音声制御調理器具プラットフォームのハードウェア構成及び動作プログラムの発明:その他の構成27>
<主に請求項13,26等に関係する>
さらに、実施形態1の基礎となる構成〜その他の構成26のいずれか一に記載のハードウェア構成及び動作プログラムの発明の構成に加えて、図90に示す様に、制御音声の発声者を識別する情報である発声者顔識別情報と、発声者顔識別情報に関連付けられて制御情報を取得してもよいかを示す許可情報を保持する「許可情報保持Sサブプログラム」、取得した発声者顔識別情報い関連付けられている許可情報を取得する「発声者顔識別情報取得Sサブプログラム」、取得した発声者顔識別情報に関連付けられている許可情報を取得する「許可情報取得Sサブプログラム」、許可情報に基づいて調理器具制御情報を取得し、又は取得しない「許可情報依存調理器具制御情報取得Sサブプログラム」、を有するように構成してもよい。「許可情報保持Sサブプログラム」、「発声者顔識別情報取得Sサブプログラム」、「許可情報取得Sサブプログラム」、「許可情報依存調理器具制御情報取得Sサブプログラム」は、調理器具制御情報取得Sプログラムの実行に際して実行される。メモリに記録された「許可情報保持Sサブプログラム」をメモリに読み込み展開することで、許可情報保持手段Sの機能が実行される。メモリに記録された「発声者顔識別情報取得Sサブプログラム」をメモリに読み込み展開することで、発声者顔識別情報取得手段Sの機能が実行される。メモリに記録された「許可情報取得Sサブプログラム」をメモリに読み込み展開することで、許可情報取得手段Sの機能が実行される。メモリに記録された「許可情報依存調理器具制御情報取得Sサブプログラム」をメモリに読み込み展開することで、許可情報依存調理器具制御情報取得手段Sの機能が実行される。
<実施形態1 音声制御調理器具プラットフォームのハードウェア構成及び動作プログラムの発明:その他の構成28>
<主に請求項27,28等に関係する>
さらに、実施形態1の各種構成の調理器具制御サーバ装置又は/及び調理器具は、実施形態1の各種構成のハードウェア構成及び動作プログラム構成のいずれか一の構成である。
<実施形態1>
<実施形態1 記録媒体の発明>
実施形態1の音声制御調理器具プラットフォームのハードウェアの構成及び動作プログラムの発明にて説明したすべてのプログラムをコンピュータである調理器具制御サーバ装置及び、調理器具に読取り実行可能に記録した各種記録媒体を提供することができる。
記録媒体とは、代表的にはサーバなどの場合にはハードディスク、メインメモリ、磁気テープ、DVD装置などであり、スマートフォンなどの端末の場合にはROM、マイクロカード、SDカード、マイクロSDカード、RAM(主メモリ(メインメモリ))、ミニハードディスクなどである。ゲーム専用機などの端末の場合にはDVDROM、書換可能DVD、ROM、マイクロカード(フラッシュメモリ)、SDカード(フラッシュメモリ)、マイクロSDカード(フラッシュメモリ)、RAM(主メモリ(メインメモリ))、ミニハードディスク、クラウド上の保存領域などである。
なお、記録媒体に記録される目的としては、音声制御調理器具プラットフォームの調理器具制御サーバ装置及び調理器具へのダウンロード、又は媒体からの直接読取と音声制御調理器具プラットフォーム動作プログラム(調理器具の調理部を直接調理器具制御サーバ装置が制御するような場合)のサーバからの通信による端末への提供の大きく三種類に分けられる。またサーバ上での記録媒体への記録は、一のサーバのみに全体が記録されている必要は必ずしもなく分散記録されるような形態であってもよい。クラウドでの記録もこの記録媒体発明の実施に該当する。また記録媒体としてはサーバ上の記録媒体に記録されたプログラムと、端末の記録媒体に記録されたプログラムとの共同作業で調理器具の制御が進行される場合がある。
<実施形態1 音声制御調理器具プラットフォームの処理の流れ及び動作方法の発明>
<実施形態1 音声制御調理器具プラットフォームの処理の流れ及び動作方法の発明:主たる処理の流れ:基礎となる構成>
<主に請求項1,31等に関係する>
図7は、実施形態1の基礎となる構成における処理の流れ及び動作方法の発明の構成の一例を示す図である。図に示す様に、調理器具制御サーバ装置が音声制御調理器具プラットフォームの利用要請を受け(0701)、制御音声情報を取得(0702)した場合には、制御音声に関連付けられた調理器具識別情報の取得(0703)ができると、調理器具制御情報が取得(0704)され、取得した調理器具制御情報から応答音声情報が取得(0705V)されると共に、取得した調理器具制御情報から応答テキスト情報が取得(0705T)され、取得した調理器具制御情報と応答音声情報と応答テキスト情報とがそれぞれ出力(0706、0707V、0707T)される。
調理器具制御サーバ装置から出力された調理器具制御情報は、調理器具で取得(0708)され、調理器具は制御(0709)を行うことで調理を実行(0710)する。
一方、入出力装置は、マイクからの制御音声情報であるマイク制御音声情報を取得(0720)し、この取得したマイク制御音声情報を制御音声情報として調理器具制御サーバ装置に出力(0721)する(制御音声情報は、図中×印同士を結ぶ経路で出力される。以降の他の構成におけるフロー図も同様。)。この際、入出力装置は、調理器具制御サーバ装置から出力された応答音声情報及び応答テキスト情報をそれぞれ取得(0722V、0722T)し、応答音声情報は、応答音声情報出力ステップ(0723V)において出力されてキッチン側に配置されているスピーカーによって取得(0715)され、ユーザに向けて出力(0716)される。応答テキスト情報は、応答テキスト情報出力ステップ(0723T1)において出力されてキッチン側に配置されているディスプレイによって取得(0724)され、ユーザに向けて出力(0725)される。このとき、応答テキスト履歴情報も応答テキスト履歴情報出力ステップ(0723T2)において出力されてディスプレイによって取得(0724)され、必要に応じてユーザに向けて出力(0725)される。
<実施形態1 音声制御調理器具プラットフォームの処理の流れ及び動作方法の発明:その他の構成1>
<主に請求項2等に関係する>
さらに、実施形態1の基礎となる構成の処理の流れ及び動作方法の発明の構成に加えて、図11に示す様に、調理器具制御情報に基づく調理結果を含む制御結果応答情報を調理器具から調理器具制御サーバ装置に出力(1111)し、制御結果応答情報を取得(1112)した調理器具制御サーバ装置が、取得した制御結果応答情報に対する応答である制御結果応答音声情報を生成して取得(1113)して、制御結果告知音声情報を出力(1114)するように構成してもよく、この場合、調理器具制御サーバ装置から出力された制御結果告知音声情報は、キッチン側のスピーカーによって取得されてユーザに向けて出力される。
<実施形態1 音声制御調理器具プラットフォームの処理の流れ及び動作方法の発明:その他の構成2>
<主に請求項3等に関係する>
さらに、実施形態1の基礎となる構成の処理の流れ及び動作方法の発明の構成に加えて、図14に示す様に、調理器具識別情報の取得後、保持されている調理器具制御情報を検索(1401)することで調理器具制御情報を取得する処理を実行するように構成してもよい。
<実施形態1 音声制御調理器具プラットフォームの処理の流れ及び動作方法の発明:その他の構成3>
<主に請求項4等に関係する>
さらに、実施形態1の基礎となる構成、その他の構成1、その他の構成2のいずれか一に記載の処理の流れ及び動作方法の発明の構成に加えて、図17に示す様に、調理器具制御情報を追加する処理経路を有する。調理器具制御情報の追加をする処理では、まず調理器具制御情報を追加しようとする者に各メーカーのサーバに対する調理器具制御情報追加記録のための権限があるかを判断(1701)する。権限があると認められる場合には、自社のサーバにある調理器具制御情報記録保持部へアクセス(1702)する。アクセス後、新規の調理器具制御情報が終了したかを判断(1703)し、終了している場合にはアップロード済の新規調理器具制御情報を上書するのか、追加するのか選択(1704)し、選択した方法に従って追記(1705)する。追加の追記が圧のか否かを判断(1706)し、追加の追記が無ければ終了する。
<実施形態1 音声制御調理器具プラットフォームの処理の流れ及び動作方法の発明:その他の構成4>
<主に請求項5等に関係する>
さらに、実施形態1の基礎となる構成、その他の構成1からその他の構成3のいずれか一に記載の処理の流れ及び動作方法の発明の構成に加えて、図20に示す様に取得した制御音声情報が上書制御音声に該当するかを判断し(2001)、上書制御音声に該当する場合には上書調理器具制御音声情報の出力(2002)を行う処理を実行するように構成してもよい。取得した制御音声情報が上書制御音声に該当しない場合には、単に制御音声を取得したものとして処理を進める。
<実施形態1 音声制御調理器具プラットフォームの処理の流れ及び動作方法の発明:その他の構成5>
<主に請求項6等に関係する>
さらに、実施形態1の基礎となる構成、その他の構成1からその他の構成4のいずれか一に記載の処理の流れ及び動作方法の発明の構成に加えて、図23に示す様に、取得した制御音声の趣旨が明瞭であるか否かを判断(2301)する処理を実行し、趣旨が不明瞭であれば趣旨を明確化するために質問応答音声情報の出力(2302)を行う処理を実行するように構成してもよい。さらに、キッチン側にあるマイクに対してユーザが発声をしている場合には、質問応答音声情報に対してユーザが発する制御音声をマイクが取得して、取得した音声を調理器具制御装置に制御音声情報として出力し、趣旨不明瞭性の判断において、趣旨が不明瞭ではないと判断された場合には、制御音声情報から調理器具制御情報が取得されるように構成してもよい。
<実施形態1 音声制御調理器具プラットフォームの処理の流れ及び動作方法の発明:その他の構成6>
<主に請求項7等に関係する>
さらに、実施形態1の基礎となる構成、その他の構成1からその他の構成5のいずれか一に記載の処理の流れ及び動作方法の発明の構成に加えて、図26に示す様に、調理器具制御情報取得ステップの実行に際して、時系列調理器具制御情報を取得するためのサブステップ(2601)を実行するように構成してもよい。
<実施形態1 音声制御調理器具プラットフォームの処理の流れ及び動作方法の発明:その他の構成7>
<主に請求項8等に関係する>
さらに、実施形態1の基礎となる構成、その他の構成1からその他の構成6のいずれか一に記載の処理の流れ及び動作方法の発明の構成に加えて、図29に示す様に、調理器具制御情報取得ステップの実行に際して、調理対象依存調理器具制御情報取得サブステップ(2901)を実行するように構成してもよい。
<実施形態1 音声制御調理器具プラットフォームの処理の流れ及び動作方法の発明:その他の構成8>
<主に請求項9等に関係する>
さらに、実施形態1の基礎となる構成、その他の構成1からその他の構成7のいずれか一に記載の処理の流れ及び動作方法の発明の構成に加えて、図32に示す様に、調理器具が制御音声情報を取得(3201)し、取得した調理器具制御情報を調理器具制御サーバ装置に出力(3202)する処理を実行し、調理器具制御サーバ装置から取得した応答音声情報を調理器具が取得(3203)し、取得した応答音声情報を音声出力(3204)する処理を実行するように構成してもよい。
<実施形態1 音声制御調理器具プラットフォームの処理の流れ及び動作方法の発明:その他の構成9>
<主に請求項10等に関係する>
さらに、実施形態1の基礎となる構成、その他の構成1からその他の構成8のいずれか一に記載の処理の流れ及び動作方法の発明の構成に加えて、図37に示す様に、調理器具が状況情報を取得したか否かを判断(3701)し、取得した場合には、状況依存調理器具制御情報取得サブステップ(3702)を処理して調理器具制御情報の取得が行われ、状況依存応答音声情報取得サブステップ(3703)が処理されて、取得した状況情報に依存した調理器具制御情報に基づいた応答音声情報が取得され、応答音声情報として調理器具に出力されるように構成してもよい。状況情報が取得されなかった場合には、状況に依存しない調理器具制御情報が取得され(3704)、取得した調理器具制御情報に基づいて応答音声情報が取得(3705)される。取得された応答音声情報は、調理器具に出力されるように構成してもよい。
<実施形態1 音声制御調理器具プラットフォームの処理の流れ及び動作方法の発明:その他の構成10>
<主に請求項10等に関係する>
さらに、実施形態1のその他の構成9の処理の流れ及び動作方法の発明の構成に加えて、図40に示す様に、調理器具制御情報出力ステップの実行に際し、他調理器具制御情報取得サブステップ(4001)を実行するように構成してもよい。
<実施形態1 音声制御調理器具プラットフォームの処理の流れ及び動作方法の発明:その他の構成11>
<主に請求項11等に関係する>
さらに、実施形態1の基礎となる構成及びその他の構成1からその他の構成10のいずれか一に記載の処理の流れ及び動作方法の発明の構成に加えて、図43Aに示す様に、調理器具制御情報取得ステップの実行に際し、許可情報取得サブステップ(4301)、発声者識別情報取得サブステップ(4302)、許可情報依存調理器具制御情報取得サブステップ(4303)、を実行するように構成してもよい。調理器具制御情報取得ステップにおける具体的な処理を図43Bに示している。図に示す様に、制御音声情報の取得があるかを判断(4305)し、制御音声情報が取得されている場合には、発声者識別情報の取得が有るかを判断(4306)し、発声者識別情報が取得された場合には、発声者識別情報に基づいて許可情報が取得(4307)される。許可情報と制御音声に基づいて、調理器具制御情報を取得したか否かを判断(4308)し、調理器具制御情報が取得(4309)された場合には、応答音声情報が取得(4310)され、応答音声情報が調理器具に出力(4311)するように構成することが可能である。許可情報と制御音声情報とに基づいて調理器具制御情報が取得されなかった場合には、許否応答音声情報を取得(4312)し、応答音声情報として出力(4311)するように構成することが可能である。
<実施形態1 音声制御調理器具プラットフォームの処理の流れ及び動作方法の発明:その他の構成12>
<主に請求項1〜11等に関係する>
さらに、実施形態1の基礎となる構成、その他の構成2からその他の構成11のいずれか一に記載の処理の流れ及び動作方法の発明の構成に加えて、図46に示す様に、応答音声情報出力ステップの実行に際して、応答音声取得サブステップ(4601)が実行されるのに続いて、電話網サブステップ(4602V)が処理され、電話機能を有する端末にて応答音声が取得されたか否かが判断(4604)され、取得した場合には、受話されたか判断か否かが(4605)され、受話された場合には応答音声が出力(4606)され、処理を終了するか判断(4607)するように構成することが可能である。
一方、応答テキスト情報出力ステップの実行に際しては、応答テキスト取得サブステップ(4603)が実行されるのに続いて、インターネット出力サブステップ(4602T)が処理され、テキストを受信する機能を有する端末にてテキストが取得されたか否かが判断(4608)され、取得した場合には、テキスト表示を実行する指示があるか否かが判断(4609)され、表示指示がある場合には、応答テキストが表示(4610)され、処理を終了させるか判断(4611)するように構成することが可能である。
<実施形態1 音声制御調理器具プラットフォームの処理の流れ及び動作方法の発明:その他の構成13>
<主に請求項12等に関係する>
さらに、実施形態1の基礎となる構成、その他の構成2からその他の構成12のいずれか一に記載の処理の流れ及び動作方法の発明の構成に加えて、図49に示す様に、調理器具制御情報取得Sステップの実行に際して、取得した制御音声情報の音声が重畳している場合には、重畳している制御音声情報をそれぞれの発声者別に分離する重畳音声分離Sサブステップ(4901)を実行するように構成してもよい。
<実施形態1 音声制御調理器具プラットフォームの処理の流れ及び動作方法の発明:その他の構成14>
<主に請求項13、32等に関係する>
さらに、実施形態1の基礎となる構成、その他の構成2からその他の構成13のいずれか一に記載の処理の流れ及び動作方法の発明の構成に加えて、図54に示す様に、調理器具を制御するための映像を調理器具を識別する調理器具識別情報と関連付けた情報である映像情報として取得する映像情報取得Sステップ(5401)をさらに実行し、調理器具制御情報取得Sステップは、取得した調理器具映像情報に基づいて調理器具制御情報である映像由来調理器具制御情報を取得する映像由来調理器具制御情報取得Sサブステップ(5402)を実行し、調理器具の映像、調理器具によって調理されている食材の映像、又は、食材を保持する器の映像のいずれか一以上を調理器具識別情報と関連付けた情報である映像情報として取得する映像情報取得Sステップ(5403)と、取得した映像情報を出力する映像情報出力Sステップ(5404)と、を実行するように構成してもよい。
<実施形態1 音声制御調理器具プラットフォームの処理の流れ及び動作方法の発明:その他の構成15>
<主に請求項14等に関係する>
さらに、実施形態1のその他の構成14に記載の処理の流れ及び動作方法の発明の構成に加えて、図57に示す様に、映像情報取得Sステップの実行に際して、映像情報として調理器具又は/及び調理器具で調理されている食材の状態を示す調理器具食材映像情報、キッチンでの人の立居振る舞いを示す情報である人アクション情報の一以上である詳細映像情報を取得する詳細映像情報取得Sサブステップ(5701)と、詳細映像情報取得Sサブステップで取得された詳細映像情報が人アクション情報である場合に、その人アクション情報を解釈するための手話解釈データを保持する手話解釈データベースSサブステップ(5702)と、取得された映像情報が人アクション情報である場合に、その人アクション情報と保持されている手話解釈データに基づいてその手話で示される意図を示す情報である意図情報を取得する意図情報取得Sサブステップ(5703)と、取得された意図情報に基づいて調理器具制御情報である意図情報由来調理器具制御情報を取得する意図情報由来調理器具制御情報取得Sサブステップ(5704)と、をさらに実行するように構成してもよい。
<実施形態1 音声制御調理器具プラットフォームの処理の流れ及び動作方法の発明:その他の構成16>
<主に請求項15等に関係する>
さらに、実施形態1のその他の構成14に記載の処理の流れ及び動作方法の発明の構成に加えて、加熱調理器具において、加熱部Cによる加熱加減を制御するための情報を映像由来調理器具制御情報とするように構成してもよい。
<実施形態1 音声制御調理器具プラットフォームの処理の流れ及び動作方法の発明:その他の構成17>
<主に請求項16等に関係する>
さらに、実施形態1のその他の構成16に記載の処理の流れ及び動作方法の発明の構成に加えて、図61に示す様に、映像情報取得Sステップの実行に際して、取得した映像情報の中から蒸気の流速、流量を識別した情報である蒸気関連情報を取得する蒸気関連情報取得Sサブステップ(6101)をさらに実行し、映像由来調理器具制御情報取得Sサブステップの実行に際して、蒸気関連情報に基づいた映像由来調理器具制御情報である蒸気関連映像由来調理器具制御情報を取得する蒸気関連映像由来調理器具制御情報取得Sサブサブステップ(6102)をさらに実行するように構成してもよい。
<実施形態1 音声制御調理器具プラットフォームの処理の流れ及び動作方法の発明:その他の構成18>
<主に請求項15〜17等に関係する>
さらに、実施形態1のその他の構成16、その他の構成17に記載の処理の流れ及び動作方法の発明の構成に加えて、図64に示す様に、映像情報取得Sステップの実行に際して、取得した映像情報の中から被加熱物から放射される赤外線を識別した情報に基づいて被加熱物の熱分布を示す情報である熱分布関連情報を取得する熱分布関連情報取得Sサブステップ(6401)をさらに実行し、映像由来調理器具制御情報取得Sサブステップの実行に際して、熱分布関連情報に基づいた映像由来調理器具制御情報である熱分布関連映像由来調理器具制御情報を取得する熱分布関連映像由来調理器具制御情報取得Sサブサブステップ(6402)をさらに実行するように構成してもよい。
<実施形態1 音声制御調理器具プラットフォームの処理の流れ及び動作方法の発明:その他の構成19>
<主に請求項15〜18等に関係する>
さらに、実施形態1のその他の構成16〜その他の構成18に記載の処理の流れ及び動作方法の発明の構成に加えて、図67に示す様に、映像情報取得Sステップの実行に際して、取得した映像情報に基づいて調理対象の熱による形態変化を示す情報である形態変化関連情報を取得する形態変化関連情報取得Sサブステップ(6701)をさらに実行し、映像由来調理器具制御情報取得Sサブステップの実行に際して、形態変化関連情報に基づいた映像由来調理器具制御情報である形態変化関連映像由来調理器具制御情報を取得する形態変化関連映像由来調理器具制御情報取得Sサブサブステップ(6702)をさらに実行するように構成してもよい。
<実施形態1 音声制御調理器具プラットフォームの処理の流れ及び動作方法の発明:その他の構成20>
<主に請求項15〜19等に関係する>
さらに、実施形態1のその他の構成16〜その他の構成19に記載の処理の流れ及び動作方法の発明の構成に加えて、図70に示す様に、映像情報取得Sステップの実行に際して、取得した映像情報に基づいて調理対象の熱による色変化を示す情報である色変化関連情報を取得する色変化関連情報取得Sサブステップ(7001)をさらに実行し、映像由来調理器具制御情報取得Sサブステップの実行に際して、色変化関連情報に基づいた映像由来調理器具制御情報である色変化関連映像由来調理器具制御情報を取得する色変化関連映像由来調理器具制御情報取得Sサブサブステップ(7002)をさらに実行するように構成してもよい。
<実施形態1 音声制御調理器具プラットフォームの処理の流れ及び動作方法の発明:その他の構成21>
<主に請求項15〜20等に関係する>
さらに、実施形態1のその他の構成16〜その他の構成20に記載の処理の流れ及び動作方法の発明の構成に加えて、図73に示す様に、映像情報取得Sステップの実行に際して、取得した映像情報に基づいて調理対象を載置している調理器具上の水分変化を示す情報である水分変化関連情報を取得する水分変化関連情報取得Sサブステップ(7301)をさらに実行し、映像由来調理器具制御情報取得Sサブステップの実行に際して、水分変化関連情報に基づいた映像由来調理器具制御情報である水分変化関連映像由来調理器具制御情報を取得する水分変化関連映像由来調理器具制御情報取得Sサブサブステップ(7302)をさらに実行するように構成してもよい。
<実施形態1 音声制御調理器具プラットフォームの処理の流れ及び動作方法の発明:その他の構成22>
<主に請求項15〜21等に関係する>
さらに、実施形態1のその他の構成16〜その他の構成21に記載の処理の流れ及び動作方法の発明の構成に加えて、図76に示す様に、映像情報取得Sステップの実行に際して、取得した映像情報に基づいて調理対象を載置している調理器具上の油分変化を示す情報である油分変化関連情報を取得する油分変化関連情報取得Sサブステップ(7601)をさらに実行し、映像由来調理器具制御情報取得Sサブステップの実行に際して、油分変化関連情報に基づいた映像由来調理器具制御情報である油分変化関連映像由来調理器具制御情報を取得する油分変化関連映像由来調理器具制御情報取得Sサブサブステップ(7602)をさらに実行するように構成してもよい。
<実施形態1 音声制御調理器具プラットフォームの処理の流れ及び動作方法の発明:その他の構成23>
<主に請求項15〜22等に関係する>
さらに、実施形態1のその他の構成16〜その他の構成22に記載の処理の流れ及び動作方法の発明の構成に加えて、図79に示す様に、映像情報取得Sステップの実行に際して、取得した映像情報に基づいて調理対象(調理器具も含む)からの発煙状態を示す情報である発煙状態関連情報を取得する発煙状態関連情報取得Sサブステップ(7901)をさらに実行し、映像由来調理器具制御情報取得Sサブステップの実行に際して、発煙状態関連情報に基づいた映像由来調理器具制御情報である発煙状態関連映像由来調理器具制御情報を取得する発煙状態関連映像由来調理器具制御情報取得Sサブサブステップ(7902)をさらに実行するように構成してもよい。
<実施形態1 音声制御調理器具プラットフォームの処理の流れ及び動作方法の発明:その他の構成24>
<主に請求項15〜23等に関係する>
さらに、実施形態1のその他の構成16〜その他の構成23に記載の処理の流れ及び動作方法の発明の構成に加えて、図82に示す様に、映像情報取得Sステップの実行に際して、取得した映像情報に基づいて調理対象(調理器具も含む)からの発火状態を示す情報である発火状態関連情報を取得する発火状態関連情報取得Sサブステップ(8201)をさらに実行し、映像由来調理器具制御情報取得Sサブステップの実行に際して、発火状態関連情報に基づいた映像由来調理器具制御情報である発火状態関連映像由来調理器具制御情報を取得する発火状態関連映像由来調理器具制御情報取得Sサブサブステップ(8202)をさらに実行するように構成してもよい。
<実施形態1 音声制御調理器具プラットフォームの処理の流れ及び動作方法の発明:その他の構成25>
<主に請求項1〜24等に関係する>
さらに、実施形態1の基礎となる構成、その他の構成1からその他の構成24のいずれか一に記載の処理の流れ及び動作方法の発明の構成に加えて、調理器具に代えて、ローカル制御装置Lと、調理器具Bとし、ローカル制御装置Lにおいて、調理器具識別情報を保持するステップと、調理部を調理器具制御情報に基づいて制御する調理制御ステップと、調理器具制御情報を調理器具識別情報と関連付けて取得する調理器具制御情報取得ステップと、を実行し、調理器具Bにおいて、ローカル制御装置Lの調理制御ステップによって制御される調理をするための調理ステップをさらに実行するように構成してもよい。
<実施形態1 音声制御調理器具プラットフォームの処理の流れ及び動作方法の発明:その他の構成26>
<主に請求項1〜25等に関係する>
さらに、実施形態1の基礎となる構成、その他の構成1からその他の構成25のいずれか一に記載の処理の流れ及び動作方法の発明の構成に加えて、図88に示す様に、調理器具を制御するための温度を調理器具を識別する調理器具識別情報と関連付けた情報である温度情報として取得する温度情報取得Sステップ(8801)をさらに実行し、調理器具制御情報取得Sステップは、取得した調理器具温度情報に基づいて調理器具制御情報である温度映像由来調理器具制御情報を取得する映像由来調理器具制御情報取得Sサブステップ(8802)を実行し、調理器具の温度、調理器具によって調理されている食材の温度、又は、食材を保持する器の温度のいずれか一以上を調理器具識別情報と関連付けた情報である温度情報として取得する温度情報取得Sステップ(8803)と、取得した温度情報を出力する温度情報出力Sステップ(8804)と、を実行するように構成してもよい。
<実施形態1 音声制御調理器具プラットフォームの処理の流れ及び動作方法の発明:その他の構成27>
<主に請求項13,26等に関係する>
さらに、実施形態1の基礎となる構成及びその他の構成1からその他の構成26のいずれか一に記載の処理の流れ及び動作方法の発明の構成に加えて、図91Aに示す様に、調理器具制御情報取得ステップの実行に際し、許可情報取得サブステップ(9101)、発声者顔識別情報取得サブステップ(9102)、許可情報依存調理器具制御情報取得サブステップ(9103)、を実行するように構成してもよい。調理器具制御情報取得ステップにおける具体的な処理を図91Bに示している。図に示す様に、制御音声情報の取得があるかを判断(9105)し、制御音声情報が取得されている場合には、発声者顔識別情報の取得が有るかを判断(9106)し、発声者顔識別情報が取得された場合には、発声者顔識別情報に基づいて許可情報が取得(9107)される。許可情報と制御音声に基づいて、調理器具制御情報を取得したか否かを判断(9108)し、調理器具制御情報が取得(9109)された場合には、応答音声情報が取得(9110)され、応答音声情報を調理器具に出力(9111)するように構成することが可能である。許可情報と制御音声情報とに基づいて調理器具制御情報が取得されなかった場合には、許否応答音声情報を取得(9112)し、応答音声情報として出力(9111)するように構成することが可能である。
<実施形態1 音声制御調理器具プラットフォームの処理の流れ及び動作方法の発明:その他の構成28>
さらに、実施形態1の各種構成の調理器具制御サーバ装置又は/及び調理器具は、実施形態1の各種構成の処理の流れ及び動作方法のいずれか一の方法によって処理を行う。
<ハードウェアの説明:追記>
以下に記載する本発明の計算機は、図94に示すように、一例としてマザーボード上などに備えられる、CPU、不揮発性メモリ、メインメモリ、グラフィックカード、さらにI/Oコントローラ、USBやIEEE。LANなどのインターフェースや、BIOS、PCIスロット、リアルタイムクロックなど、及び、これらを相互に接続するバス並びにバスを接続するチップセット(ノースブリッジ、サウスブリッジ)から構成される。
「バス」は、CPU(MPU)と、周辺機器や各種制御部を繋ぐために備えられる。又、バスは前述のチップセットによって連結される。
「CPU」(MPU)は、メインメモリ上にあるプログラムと呼ばれる命令列を順に読み込んで解釈・実行することで信号からなる情報を同じくメインメモリ上に出力する。この「CPU」は計算機内での演算を行なう中心として機能する。
「不揮発性メモリ」(HDD)の一例はハードディスクドライブである。基本構造は、磁気ディスク、磁気ヘッド、および磁気ヘッドを搭載するアームから構成される。
なお、不揮発性メモリとしては「NANDフラッシュ」から構成されるSSDをHDDとともに採用してもよいし、HDDに置き換えて採用してもよい。
メインメモリは、揮発性のメモリで構成される。最も代表的なものはダイナミックラムである。
I/Oコントローラは、外部機器との接続に利用される。USBコネクタもその一例である。
IEEE1394コネクタは、最も代表的な通信規格のインターフェースである。
OS(オペレーティングシステム)は、コンピュータを稼働するための基本ソフトウェアである。ユーザやアプリケーションプログラムに対してインターフェースを提供し、ハードウェアなどの機能部や、各リソースに対して効率的な管理を行う役割を果たす。
デバイスドライバは、オペレーティングシステムを介して計算機に付属する各種のデバイスをユーザやアプリケーションに利用可能等するためのデバイスのハードウェアを制御するためのプログラムである。
0300 調理器具制御サーバ装置
0301 制御音声情報取得部
0302 調理器具識別情報取得部
0303 調理器具制御情報取得部
0304V 応答音声情報取得部
0304T 応答テキスト情報取得部
0305 調理器具制御情報出力部
0306V 応答音声情報出力部
0306T 応答テキスト情報出力部
0400 調理器具
0401 調理器具識別情報保持部
0402 調理部
0403 調理制御部
0404 調理器具制御情報取得部
0500 入出力装置
0501 マイク制御音声情報取得部
0502 マイク制御音声情報出力部
0503 応答音声情報取得部
0504 応答テキスト情報取得部
0505 応答テキスト履歴情報取得部
0506 応答テキスト履歴情報出力部
0507 応答音声情報出力部
0508 応答テキスト情報出力部

Claims (34)

  1. 一以上の調理器具を制御するための音声情報である制御音声情報を取得する制御音声情報取得部Sと、
    取得した制御音声情報に基づいて調理器具を識別する情報である調理器具識別情報を取得する調理器具識別情報取得部Sと、
    取得した制御音声情報に基づいて調理器具識別情報で識別される調理器具を制御する情報である調理器具制御情報を取得する調理器具制御情報取得部Sと、
    取得した制御音声情報に基づいて応答のための応答音声の情報である応答音声情報を取得する応答音声情報取得部Sと、
    取得した制御音声情報に基づいて応答のための応答テキストの情報である応答テキスト情報を取得する応答テキスト情報取得部Sと、
    取得した調理器具制御情報を取得した調理器具識別情報と関連付けて調理器具識別情報で識別される調理器具に向けて出力する調理器具制御情報出力部Sと、
    取得した応答音声情報を出力する応答音声情報出力部Sと、
    取得した応答テキスト情報を出力する応答テキスト情報出力部Sと
    を有する調理器具制御サーバ装置と、
    調理器具識別情報を保持する調理器具識別情報保持部Cと、
    調理をするための調理部Cと、
    調理部を調理器具制御情報に基づいて制御する調理制御部Cと、
    調理器具制御情報を調理器具識別情報と関連付けて取得する調理器具制御情報取得部Cと、
    を有する一以上の調理器具と、
    前記調理器具と一体、又は別体の入出力装置であって、
    マイクからの制御音声情報であるマイク制御音声情報を取得するマイク制御音声情報取得部I/Oと、
    取得したマイク制御音声情報を制御音声情報として出力する制御音声情報出力部I/Oと、
    前記出力された応答音声情報を取得する応答音声情報取得部I/Oと、
    前記出力された応答テキスト情報を取得する応答テキスト情報取得部I/Oと、
    取得した応答テキスト情報の履歴情報である応答テキスト履歴情報を保持する応答テキスト履歴情報保持部I/Oと、
    保持されている応答テキスト履歴情報を出力する応答テキスト履歴情報出力部I/Oと、
    取得した応答音声情報を出力する応答音声情報出力部I/Oと、
    取得した応答テキスト情報を出力する応答テキスト情報出力部I/Oと、
    を有する入出力装置と、
    を有する音声制御調理器具プラットフォーム。
  2. 前記調理器具制御サーバ装置は、
    出力した調理器具制御情報を受信した調理器具からの制御結果を含む応答情報である制御結果応答情報を取得する制御結果応答情報取得部Sと
    取得した制御結果応答情報に基づいて制御結果を告知するための告知音声の情報である制御結果告知音声情報を取得する制御結果告知音声情報取得部Sと、
    取得した制御結果告知音声情報を出力する制御結果告知音声情報出力部Sと、
    をさらに有し、
    前記調理器具は、
    取得した調理器具制御情報に基づいた制御の結果を含む応答である制御結果応答情報を出力する制御結果応答情報出力部Cをさらに有する請求項1に記載の音声制御調理器具プラットフォーム。
  3. 調理器具制御サーバ装置は、
    調理器具制御情報を保持する調理器具制御情報保持部Sをさらに有する請求項1又は2に記載の音声制御調理器具プラットフォーム。
  4. 調理器具制御サーバ装置は、
    調理器具制御情報を調理器具制御情報保持部Sに外部ネットワークを介して記録する調理器具制御情報記録部Sをさらに有する請求項3に記載の音声制御調理器具プラットフォーム。
  5. 調理器具制御サーバ装置は、
    取得された制御音声情報が出力された応答音声情報に基づく返事に対応する制御音声情報である上書制御音声か判断する上書制御音声判断部Sを有するとともに、
    調理器具制御情報出力部Sは、
    上書制御音声判断部Sでの判断結果が上書制御音声であるとの判断結果である場合には、その上書制御音声の由来となった制御音声情報に基づいて取得された調理器具識別情報に関連付けて取得した調理器具制御情報を出力する上書調理器具制御情報出力手段Sを有する請求項1から請求項4のいずれか一に記載の音声制御調理器具プラットフォーム。
  6. 調理器具制御サーバ装置は、
    取得した制御音声情報に基づいて調理器具識別情報を取得できない、又は/及び調理器具制御情報を取得できない場合である趣旨不明瞭ケースであるか判断する趣旨明瞭性判断部Sを有するとともに、
    応答音声情報取得部Sは、趣旨明瞭性判断部Sでの判断結果が趣旨不明瞭ケースであるとの判断結果である場合に不明瞭な趣旨を質すための返事を構成する質問応答音声の情報であり応答音声情報である質問応答音声情報を取得する質問応答音声情報取得手段Sを有
    する請求項1から請求項5のいずれか一に記載の音声制御調理器具プラットフォーム。
  7. 調理器具制御サーバ装置の調理器具制御情報取得部Sは、
    取得した制御音声情報に基づいて時系列に制御に利用されるべき時系列調理器具制御情報を取得する時系列調理器具制御情報取得手段Sを有する請求項1から請求項6のいずれか一に記載の音声制御調理器具プラットフォーム。
  8. 調理器具制御サーバ装置の調理器具制御情報取得部Sは、
    制御音声情報に含まれる調理対象を示す情報に基づいて調理器具を制御する調理器具制御情報である調理対象依存調理器具制御情報を取得する調理対象依存調理器具制御情報取得手段Sを有する請求項1から請求項7のいずれか一に記載の音声制御調理器具プラットフォーム。
  9. 調理器具は、
    制御音声情報を取得するための制御音声情報取得部Cと、
    取得した制御音声情報を出力する制御音声情報出力部Cと、
    応答音声情報を取得する応答音声情報取得部Cと、
    取得した応答音声情報に基づいて応答音声を出力する音声出力部Cと、
    をさらに有する請求項1から請求項8のいずれか一に記載の音声制御調理器具プラットフォーム。
  10. 調理器具は、
    調理器具又は調理器具に併せて利用されている調理器財の状況を示す情報である状況情報を取得する状況情報取得部Cと、
    取得した状況情報を調理器具識別情報と関連付けて出力する状況情報出力部Cと、
    をさらに有し、
    調理器具制御サーバ装置は、
    状況情報とそれに関連付けられている調理器具識別情報を取得する状況情報取得部Sを有するとともに、
    応答音声情報取得部Sは、取得した状況情報に基づいて応答のための応答音声の情報である応答音声情報を取得する状況依存応答音声情報取得手段Sを有し、
    調理器具制御情報取得部Sは、取得した状況情報に基づいて調理器具識別情報で識別される調理器具を制御する調理器具制御情報である状況依存調理器具制御情報を取得する状況依存調理器具制御情報取得手段Sを有する請求項1から請求項9のいずれか一に記載の音声制御調理器具プラットフォーム。
  11. 調理器具制御サーバ装置の調理器具制御情報取得部Sは、
    制御音声の発声者を識別する情報である発声者識別情報と、発声者識別情報に関連付けて制御情報を取得してもよいかを示す許可情報を保持する許可情報保持手段Sと、
    取得した制御音声の発声者の識別情報を制御音声に基づいて取得する発声者識別情報取得手段Sと、
    取得した発声者識別情報に関連付けられている許可情報を取得する許可情報取得手段Sと、
    許可情報に基づいて調理器具制御情報を取得し、又は取得しない許可情報依存調理器具制御情報取得手段Sと、
    を有する請求項1から請求項10のいずれか一に記載の音声制御調理器具プラットフォーム。
  12. 調理器具制御サーバ装置の調理器具制御情報取得部Sは、取得した制御音声情報の音声が重畳している場合には、重畳している制御音声情報をそれぞれの発声者別に分離する重畳音声分離手段Sをさらに有する請求項1から請求項11のいずれか一に記載の音声制御調理器具プラットフォーム。
  13. 調理器具制御サーバ装置は、
    後記入出力装置の後記映像情報出力部I/Oから出力される調理器具の映像、調理器具によって調理されている食材の映像、又は、前記食材を保持する器の映像のいずれか一以上を調理器具識別情報と関連付けた情報である映像情報を取得する映像情報取得部Sを有し、
    調理器具制御情報取得部Sは、取得した映像情報に基づいて調理器具制御情報である映像由来調理器具制御情報を取得する映像由来調理器具制御情報取得手段Sを有し、
    前記入出力装置は、
    調理器具の映像、調理器具によって調理されている食材の映像、又は、前記食材を保持する器の映像のいずれか一以上を調理器具識別情報と関連付けた情報である映像情報として取得する映像情報取得部I/Oと、
    取得した映像情報を出力する映像情報出力部I/Oと、
    をさらに有する請求項1から請求項12のいずれか一に記載の音声制御調理器具プラットフォーム。
  14. 調理器具制御サーバ装置の映像情報取得部Sは、
    映像情報として調理器具又は/及び調理器具で調理されている食材の状態を示す調理器具食材映像情報、キッチンでの人の立居振る舞いを示す情報である人アクション情報の一以上である詳細映像情報を取得する詳細映像情報取得手段Sと、
    詳細映像情報取得手段Sで取得された詳細映像情報が人アクション情報である場合に、その人アクション情報を解釈するための手話解釈データを保持する手話解釈データベース手段Sと、
    取得された映像情報が人アクション情報である場合に、その人アクション情報と保持されている手話解釈データに基づいてその手話で示される意図を示す情報である意図情報を取得する意図情報取得手段Sと、
    取得された意図情報に基づいて調理器具制御情報である意図情報由来調理器具制御情報を取得する意図情報由来調理器具制御情報取得手段Sと、をさらに有する請求項13に記載の音声制御調理器具プラットフォーム。
  15. 前記調理器具は加熱部Cを有する加熱調理器具であり、
    前記映像由来調理器具制御情報は加熱部Cによる加熱加減を制御するための情報である映像由来加熱加減制御情報である請求項13に記載の音声制御調理器具プラットフォーム。
  16. 前記映像情報取得部Sは、取得した映像情報の中から蒸気の流速、流量を識別した情報である蒸気関連情報を取得する蒸気関連情報取得手段Sを有し、
    前記調理器具制御情報取得部Sの映像由来調理器具制御情報取得手段Sは、蒸気関連情報に基づいた映像由来調理器具制御情報である蒸気関連映像由来調理器具制御情報を取得する蒸気関連映像由来調理器具制御情報取得器Sをさらに有する請求項15に記載の音声制御調理器具プラットフォーム。
  17. 前記映像情報取得部Sは、取得した映像情報の中から被加熱物から放射される赤外線を識別した情報に基づいて被加熱物の熱分布を示す情報である熱分布関連情報を取得する熱分布関連情報取得手段Sを有し、
    前記調理器具制御情報取得部Sの映像由来調理器具制御情報取得手段Sは、熱分布関連情報に基づいた映像由来調理器具制御情報である熱分布関連映像由来調理器具制御情報を取得する熱分布関連映像由来調理器具制御情報取得器Sをさらに有する請求項15又は請求項16に記載の音声制御調理器具プラットフォーム。
  18. 前記映像情報取得部Sは、取得した映像情報に基づいて調理対象の熱による形態変化を示す情報である形態変化関連情報を取得する形態変化関連情報取得手段Sを有し、
    前記調理器具制御情報取得部Sの映像由来調理器具制御情報取得手段Sは、形態変化関連情報に基づいた映像由来調理器具制御情報である形態変化関連映像由来調理器具制御情報を取得する形態変化関連映像由来調理器具制御情報取得器Sをさらに有する請求項15から請求項17のいずれか一に記載の音声制御調理器具プラットフォーム。
  19. 前記映像情報取得部Sは、取得した映像情報に基づいて調理対象の熱による色変化を示す情報である色変化関連情報を取得する色変化関連情報取得手段Sを有し、
    前記調理器具制御情報取得部Sの映像由来調理器具制御情報取得手段Sは、色変化関連情報に基づいた映像由来調理器具制御情報である色変化関連映像由来調理器具制御情報を取得する色変化関連映像由来調理器具制御情報取得器Sをさらに有する請求項15から請求項18のいずれか一に記載の音声制御調理器具プラットフォーム。
  20. 前記映像情報取得部Sは、取得した映像情報に基づいて調理対象を載置している調理器具上の水分状態を示す情報である水分状態関連情報を取得する水分状態関連情報取得手段Sを有し、
    前記調理器具制御情報取得部Sの映像由来調理器具制御情報取得手段Sは、水分状態関連情報に基づいた映像由来調理器具制御情報である水分状態関連映像由来調理器具制御情報を取得する水分状態関連映像由来調理器具制御情報取得器Sをさらに有する請求項15から請求項19のいずれか一に記載の音声制御調理器具プラットフォーム。
  21. 前記映像情報取得部Sは、取得した映像情報に基づいて調理対象を載置している調理器具上の油分状態を示す情報である油分状態関連情報を取得する油分状態関連情報取得手段Sを有し、
    前記調理器具制御情報取得部Sの映像由来調理器具制御情報取得手段Sは、油分状態関連情報に基づいた映像由来調理器具制御情報である油分状態関連映像由来調理器具制御情報を取得する油分状態関連映像由来調理器具制御情報取得器Sをさらに有する請求項15から請求項20のいずれか一に記載の音声制御調理器具プラットフォーム。
  22. 前記映像情報取得部Sは、取得した映像情報に基づいて調理対象(調理器具も含む)からの発煙状態を示す情報である発煙状態関連情報を取得する発煙状態関連情報取得手段Sを有し、
    前記調理器具制御情報取得部Sの映像由来調理器具制御情報取得手段Sは、発煙状態関連情報に基づいた映像由来調理器具制御情報である発煙状態関連映像由来調理器具制御情報を取得する発煙状態関連映像由来調理器具制御情報取得器Sをさらに有する請求項15から請求項21のいずれか一に記載の音声制御調理器具プラットフォーム。
  23. 前記映像情報取得部Sは、取得した映像情報に基づいて調理対象(調理器具も含む)からの発火状態を示す情報である発火状態関連情報を取得する発火状態関連情報取得手段Sを有し、
    前記調理器具制御情報取得部Sの映像由来調理器具制御情報取得手段Sは、発火状態関連情報に基づいた映像由来調理器具制御情報である発火状態関連映像由来調理器具制御情報を取得する発火状態関連映像由来調理器具制御情報取得器Sをさらに有する請求項15から請求項22のいずれか一に記載の音声制御調理器具プラットフォーム。
  24. 前記調理器具に代えて、ローカル制御装置Lと、調理器具Bとし、
    ローカル制御装置Lは、
    調理器具識別情報を保持する調理器具識別情報保持部Cと、
    調理部を調理器具制御情報に基づいて制御する調理制御部Cと、
    調理器具制御情報を調理器具識別情報と関連付けて取得する調理器具制御情報取得部Cと、を有し、
    調理器具Bは、ローカル制御装置Lの調理制御部Cによって制御される調理をするための調理部Cを有する請求項1から23のいずれか一に記載の音声制御調理器具プラットフォーム。
  25. 調理器具制御サーバ装置は、
    後記入出力装置の後記温度情報出力部から出力される調理器具の温度、調理器具によって調理されている食材の温度、又は、前記食材を保持する器の温度のいずれか一以上を調理器具識別情報と関連付けた情報である温度情報を取得する温度情報取得部Sを有し、
    調理器具制御情報取得部Sは、取得した温度情報に基づいて調理器具制御情報である温度由来調理器具制御情報を取得する温度由来調理器具制御情報取得手段Sを有し、
    前記入出力装置は、
    調理器具の温度、調理器具によって調理されている食材の温度、又は、前記食材を保持する器の温度のいずれか一以上を調理器具識別情報と関連付けた情報である温度情報として取得する温度情報取得部I/Oと、
    取得した温度情報を出力する温度情報出力部I/Oと、
    をさらに有する請求項1から請求項24のいずれか一に記載の音声制御調理器具プラットフォーム。
  26. 調理器具制御サーバ装置の調理器具制御情報取得部Sは、
    映像情報取得部Sで取得した映像情報である制御音声の発声者を識別する情報である発声者顔識別情報と、発声者顔識別情報に関連付けて制御情報を取得してもよいかを示す許可情報を保持する許可情報保持手段Sと、
    取得した制御音声の発声者の顔識別情報を顔の映像に基づいて取得する発声者顔識別情報取得手段Sと、
    取得した発声者顔識別情報に関連付けられている許可情報を取得する許可情報取得手段Sと、
    許可情報に基づいて調理器具制御情報を取得し、又は取得しない許可情報依存調理器具制御情報取得手段Sと、
    を有する請求項13から請求項25のいずれか一に記載の音声制御調理器具プラットフォーム。
  27. 請求項1から請求項26のいずれか一に記載の調理器具制御サーバ装置。
  28. 一以上の調理器具を制御するための音声情報である制御音声情報を取得する制御音声情報取得部Sと、
    取得した制御音声情報に基づいて調理器具を識別する情報である調理器具識別情報を取得する調理器具識別情報取得部Sと、
    取得した制御音声情報に基づいて調理器具識別情報で識別される調理器具を制御する情報である調理器具制御情報を取得する調理器具制御情報取得部Sと、
    取得した制御音声情報に基づいて応答のための応答音声の情報である応答音声情報を取得する応答音声情報取得部Sと、
    取得した制御音声情報に基づいて応答のための応答テキストの情報である応答テキスト情報を取得する応答テキスト情報取得部Sと、
    取得した調理器具制御情報を取得した調理器具識別情報と関連付けて調理器具識別情報で識別される調理器具に向けて出力する調理器具制御情報出力部Sと、
    取得した応答音声情報を出力する応答音声情報出力部Sと、
    取得した応答テキスト情報を出力する応答テキスト情報出力部Sと
    を有する調理器具制御サーバ装置によって制御される請求項1から請求項26のいずれか一に記載の調理器具。

  29. 調理器具制御サーバ装置と、
    調理器具識別情報を保持する調理器具制御情報保持部Cを有する一以上の調理器具と、
    調理器具と一体、又は別体の入出力装置と、
    を有する音声制御調理器具プラットフォームの動作プログラムであって、
    調理器具制御サーバ装置を動作させる動作プログラムは、
    調理器具を制御するための音声である制御音声情報を取得する制御音声情報取得Sステップと、
    取得した制御音声情報に基づいて調理器具を識別する情報である調理器具識別情報を取得する調理器具識別情報取得Sステップと、
    取得した制御音声情報に基づいて調理器具識別情報で識別される調理器具を制御する情報である調理器具制御情報を取得する調理器具制御情報取得Sステップと、
    取得した調理器具制御情報に基づいて応答のための応答音声の情報である応答音声情報を取得する応答音声情報取得Sステップと、
    取得した制御音声情報に基づいて応答のための応答テキストの情報である応答テキスト情報を取得する応答テキスト情報取得Sステップと、
    取得した調理器具制御情報を取得した調理器具識別情報と関連付けて調理器具識別情報で識別される調理器具に向けて出力する調理器具制御情報出力Sステップと、
    取得した応答音声情報を出力する応答音声情報出力Sステップと、
    取得した応答テキスト情報を出力する応答テキスト情報出力Sステップと、
    をメモリに記録されたプログラムをCPUに展開することで実行可能なプログラムであり、
    調理器具を動作させる動作プログラムは、
    調理をするための調理Cステップと、
    調理部を調理器具制御情報に基づいて制御する調理制御Cステップと、
    調理器具制御情報を調理器具識別情報と関連付けて取得する調理器具制御情報取得Cステップと、
    をメモリに記録されたプログラムをCPUに展開することで実行可能なプログラムであり、
    前記調理器具と一体、又は別体の入出力装置を動作させる動作プログラムは、
    マイクからの制御音声情報であるマイク制御音声情報を取得するマイク制御音声情報取得ステップと、
    取得したマイク制御音声情報を制御音声情報として出力する制御音声情報出力ステップと、
    前記出力された応答音声情報を取得する応答音声情報取得ステップと、
    前記出力された応答テキスト情報を取得する応答テキスト情報取得ステップと、
    取得した応答テキスト情報の履歴情報である応答テキスト履歴情報を出力する応答テキスト履歴情報出力ステップと、
    取得した応答音声情報を出力する応答音声情報出力ステップと、
    取得した応答テキスト情報を出力する応答テキスト情報出力ステップと、
    をメモリに記録されたプログラムをCPUに展開することで実行可能なプログラムである電気計算機に読取実行可能な音声制御調理器具プラットフォームの動作プログラム。
  30. 調理器具制御サーバ装置を動作させる動作プログラムは、
    調理器具を制御するための映像を調理器具を識別する調理器具識別情報と関連付けた情報である映像情報として取得する映像情報取得Sステップをメモリに記録されたプログラムをCPUに展開することで実行するとともに、
    調理器具制御情報取得Sステップは、取得した映像情報に基づいて調理器具制御情報である映像由来調理器具制御情報を取得する映像由来調理器具制御情報取得Sサブステップをメモリに記録されたプログラムをCPUに展開することで実行可能なプログラムであり、
    前記入出力装置を動作させる動作プログラムは、
    調理器具の映像、調理器具によって調理されている食材の映像、又は、前記食材を保持する器の映像のいずれか一以上を調理器具識別情報と関連付けた情報である映像情報として取得する映像情報取得Sステップと、
    取得した映像情報を出力する映像情報出力Sステップと、
    をメモリに記録されたプログラムをCPUに展開することで実行可能なプログラムである請求項29に記載の電気計算機に読取実行可能な音声制御調理器具プラットフォームの動作プログラム。
  31. 調理器具制御サーバ装置を動作させる動作プログラムは、
    調理器具を制御するための温度を調理器具を識別する調理器具識別情報と関連付けた情報である温度情報を取得する温度情報取得Sステップをメモリに記録されたプログラムをCPUに展開することで実行可能なプログラムであり、
    調理器具制御情報取得Sステップは取得した温度情報に基づいて調理器具制御情報である温度由来調理器具制御情報を取得する温度由来調理器具制御情報取得Sサブステップをメモリに記録されたプログラムをCPUに展開することで実行可能なプログラムであり、
    前記入出力装置を動作させる動作プログラムは、調理器具の温度、調理器具によって調理されている食材の温度、又は、前記食材を保持する器の温度のいずれか一以上を調理器具識別情報と関連付けた情報である温度情報を取得する温度情報取得ステップと、
    取得した温度情報を出力する温度情報出力ステップと、
    をメモリに記録されたプログラムをCPUに展開することで実行可能なプログラムである請求項29又は請求項30に記載の音声制御調理器具プラットフォームの動作プログラム。
  32. 調理器具制御サーバ装置と、
    調理器具識別情報を保持する調理器具制御情報保持部Cを有する一以上の調理器具と、
    調理器具と一体、又は別体の入出力装置と、
    を有する音声制御調理器具プラットフォームの動作方法であって、
    調理器具制御サーバ装置は、
    調理器具を制御するための音声である制御音声情報を取得する制御音声情報取得Sステップと、
    取得した制御音声情報に基づいて調理器具を識別する情報である調理器具識別情報を取得する調理器具識別情報取得Sステップと、
    取得した制御音声情報に基づいて調理器具識別情報で識別される調理器具を制御する情報である調理器具制御情報を取得する調理器具制御情報取得Sステップと、
    取得した調理器具制御情報に基づいて応答のための応答音声の情報である応答音声情報を取得する応答音声情報取得Sステップと、
    取得した制御音声情報に基づいて応答のための応答テキストの情報である応答テキスト情報を取得する応答テキスト情報取得Sステップと、
    取得した調理器具制御情報を取得した調理器具識別情報と関連付けて調理器具識別情報で識別される調理器具に向けて出力する調理器具制御情報出力Sステップと、
    取得した応答音声情報を出力する応答音声情報出力Sステップと、
    取得した応答テキスト情報を出力する応答テキスト情報出力Sステップと、
    を実行し、
    調理器具は
    調理をするための調理Cステップと、
    調理部を調理器具制御情報に基づいて制御する調理制御Cステップと、
    調理器具制御情報を調理器具識別情報と関連付けて取得する調理器具制御情報取得Cステップと、
    を実行し、
    前記調理器具と一体、又は別体の入出力装置は、
    マイクからの制御音声情報であるマイク制御音声情報を取得するマイク制御音声情報取得ステップと、
    取得したマイク制御音声情報を制御音声情報として出力する制御音声情報出力ステップと、
    前記出力された応答音声情報を取得する応答音声情報取得ステップと、
    前記出力された応答テキスト情報を取得する応答テキスト情報取得ステップと、
    取得した応答テキスト情報の履歴情報である応答テキスト履歴情報を出力する応答テキスト履歴情報出力ステップと、
    取得した応答音声情報を出力する応答音声情報出力ステップと、
    取得した応答テキスト情報を出力する応答テキスト情報出力ステップと、
    を実行する、
    音声制御調理器具プラットフォームの動作方法。
  33. 調理器具制御サーバ装置は、
    調理器具を制御するための映像を調理器具を識別する調理器具識別情報と関連付けた情報である映像情報として取得する映像情報取得Sステップをさらに実行し、
    調理器具制御情報取得Sステップは、取得した映像情報に基づいて調理器具制御情報である映像由来調理器具制御情報を取得する映像由来調理器具制御情報取得Sサブステップを実行し、
    前記入出力装置は、調理器具の映像、調理器具によって調理されている食材の映像、又は、前記食材を保持する器の映像のいずれか一以上を調理器具識別情報と関連付けた情報である映像情報として取得する映像情報取得Sステップと、
    取得した映像情報を出力する映像情報出力Sステップと、
    をさらに実行する請求項32に記載の音声制御調理器具プラットフォームの動作方法。
  34. 調理器具制御サーバ装置は、
    調理器具を制御するための温度を調理器具を識別する調理器具識別情報と関連付けた情報である温度情報を取得する温度情報取得Sステップを実行し、
    調理器具制御情報取得Sステップは取得した温度情報に基づいて調理器具制御情報である温度由来調理器具制御情報を取得する温度由来調理器具制御情報取得Sサブステップを実行し、
    前記入出力装置は、調理器具の温度、調理器具によって調理されている食材の温度、又は、前記食材を保持する器の温度のいずれか一以上を調理器具識別情報と関連付けた情報である温度情報を取得する温度情報取得ステップと、
    取得した温度情報を出力する温度情報出力ステップと、
    をさらに実行する請求項32又は請求項33に記載の音声制御調理器具プラットフォームの動作方法。
JP2020204276A 2020-05-17 2020-12-09 音声制御調理器具プラットフォーム Active JP6989683B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020086377 2020-05-17
JP2020086377 2020-05-17

Publications (2)

Publication Number Publication Date
JP2021181878A JP2021181878A (ja) 2021-11-25
JP6989683B2 true JP6989683B2 (ja) 2022-01-05

Family

ID=78606400

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020204276A Active JP6989683B2 (ja) 2020-05-17 2020-12-09 音声制御調理器具プラットフォーム

Country Status (1)

Country Link
JP (1) JP6989683B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114811683B (zh) * 2022-04-08 2023-06-20 宁波方太厨具有限公司 一种烹饪装置的控制方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3927819B2 (ja) * 2002-01-22 2007-06-13 株式会社東芝 情報端末装置、調理情報システム、自動調理器
JP6226911B2 (ja) * 2015-06-04 2017-11-08 シャープ株式会社 サーバ装置、システム、音声認識機能を管理するための方法、および、情報通信端末を制御するためのプログラム
JPWO2018163451A1 (ja) * 2017-03-10 2020-01-09 シャープ株式会社 加熱調理器および加熱調理システム
EP4036710A1 (en) * 2017-07-14 2022-08-03 Daikin Industries, Ltd. Air conditioning management system
JP7117179B2 (ja) * 2018-07-04 2022-08-12 シャープ株式会社 ネットワークシステム、サーバおよび情報処理方法

Also Published As

Publication number Publication date
JP2021181878A (ja) 2021-11-25

Similar Documents

Publication Publication Date Title
US9316400B2 (en) Appliance control method, speech-based appliance control system, and cooking appliance
US20210043108A1 (en) Recipe conversion system
JP5657066B1 (ja) 加熱調理器
CN109683516B (zh) 辅助烹饪方法、家电设备及计算机存储介质
CN108846680A (zh) 一种外卖食品监控方法
US20090258331A1 (en) Interactive recipe preparation using instructive device with integrated actuators to provide tactile feedback
US20220167788A1 (en) Cooking Appliance, Method and System
US20200043156A1 (en) Food preparation assistance using image processing
US20220273139A1 (en) System and Method for Optimal Food Cooking or Heating Operations
JP6989683B2 (ja) 音声制御調理器具プラットフォーム
WO2022178154A1 (en) Camera-enabled machine learning for device control in a kitchen environment
KR20180067075A (ko) 요리 레시피 제작 시스템 및 방법
JP5897088B2 (ja) 加熱調理器
JP2016136085A (ja) システム
EP3865032B1 (en) Food preparation system, method for controlling food preparation system, and program
KR101990742B1 (ko) 요리 레시피 제작 시스템 및 방법
JP2021026121A (ja) 音声制御調理器具プラットフォーム
US11983643B2 (en) Cooking result inference system
EP3595409A1 (en) Method for operating a cooking appliance
JP2021140711A (ja) レシピ情報作成支援システム、情報処理装置、レンジフード、および方法
Xiaoguang et al. Design and implementation of smart cooking based on amazon echo
JP2021139611A (ja) レンジフード、レンジフード情報システム、油煙捕獲システム、および方法
CN112394149A (zh) 食材成熟度检测提示的方法及装置、厨电设备
CN113303665B (zh) 一种儿童友好型的料理机控制方法及系统
CN114688565A (zh) 灶具控制方法、灶具及计算机可读存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201209

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20201209

AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20210113

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210203

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210510

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210810

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211202

R150 Certificate of patent or registration of utility model

Ref document number: 6989683

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150