JP7381079B2 - レンジフード、レンジフード情報システム、油煙捕獲システム、および方法 - Google Patents

レンジフード、レンジフード情報システム、油煙捕獲システム、および方法 Download PDF

Info

Publication number
JP7381079B2
JP7381079B2 JP2020078260A JP2020078260A JP7381079B2 JP 7381079 B2 JP7381079 B2 JP 7381079B2 JP 2020078260 A JP2020078260 A JP 2020078260A JP 2020078260 A JP2020078260 A JP 2020078260A JP 7381079 B2 JP7381079 B2 JP 7381079B2
Authority
JP
Japan
Prior art keywords
information
cooking
range hood
oil smoke
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020078260A
Other languages
English (en)
Other versions
JP2021139611A (ja
Inventor
友 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Industrial Co Ltd
Original Assignee
Fuji Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Industrial Co Ltd filed Critical Fuji Industrial Co Ltd
Publication of JP2021139611A publication Critical patent/JP2021139611A/ja
Application granted granted Critical
Publication of JP7381079B2 publication Critical patent/JP7381079B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B30/00—Energy efficient heating, ventilation or air conditioning [HVAC]
    • Y02B30/70—Efficient control or regulation technologies, e.g. for control of refrigerant flow, motor or heating

Landscapes

  • Ventilation (AREA)
  • Air Conditioning Control Device (AREA)

Description

本発明は、レンジフード、レンジフード情報システム、油煙捕獲システムおよび方法に関する。
従来から、調理に伴い発生する油煙等を捕獲排気するために、調理時に検出されるデータに基づきレンジフードの風量制御を行う技術が知られている。たとえば、特許文献１は、加熱調理器の種類に依存することなく、使用する加熱調理器に応じて最適な運転をするレンジフードを開示する。このレンジフードは、ガス調理器や電気調理器等の加熱調理器の上方に設置され、調理の際に発生する油煙等を室外に排気するファンと加熱調理器上の熱源自体の温度を検出する温度検出手段と、温度検出手段により検出された値から所定時間の温度勾配を演算する演算手段と、ファンを運転または停止する制御手段とを備え、演算手段により導き出された結果から使用している加熱調理器を識別し、識別された加熱調理器に応じて設定されている制御アルゴリズムを選択し、この制御アルゴリズムに従ってファンによる自動運転制御を行う。
また、特許文献２は、調理物の温度を精度よく検知することができるレンジフードを開示する。このレンジフードは、加熱調理器のバーナーやヒーターなどの加熱部による調理物温度と加熱部以外の調理物周囲温度との平均温度を検出する赤外線センサと、室内温度を検出する温度センサと、送風機の風量を変更する風量制御部を備え、赤外線センサの検知範囲を、加熱部の配置に合わせた形状とし、風量制御部では、室内温度を調理物周囲温度として、赤外線センサで検出される平均温度から調理物温度を算出し、算出した調理物温度から送風機の風量を決定する。
また、特許文献３は、食材等の負荷の判定を適切に行い、その負荷判定に基づいた加熱を行う加熱調理器を開示する。この加熱調理器は、天板と、加熱部と、天板の上方に設けられ、天板上の被写体を撮影し、被写体画像を取得するカメラと、制御部と、を有し、制御部は、被写体画像に基づいて、被写体を識別する被写体識別手段と、被写体識別手段の識別結果に基づいて、加熱部の火力を制御する火力制御手段と、を有し、撮像した被加熱物の種類、温度、量に応じて火力を制御する。
特開２００９－１４４９６４号公報 特開２０１２－１７７４９６号公報 特開２０１５－０６８５４２号公報
上記の特許文献１および特許文献２の従来技術では、主に検出された温度情報に基づきレンジフードの風量制御を行うことにより調理により発生する油煙等を捕獲し、屋外に排気する。しかし、水分が付着した野菜をフライパンに投入するような場合、油煙は、調理物（野菜）の温度が上昇するのに先んじて発生し、ほぼ瞬時に上方へ拡散する。このため、この従来技術のように温度情報を検出してから風量を上げたとしてもフードでの吸引力にはどうしても遅延が生ずるため、瞬時に拡散する油煙を十分に捕集することができず、室内に油煙が拡散するおそれがある。また、温度情報の検出だけでなく、特許文献３では、赤外線カメラにより取得された調理情報に基づき機器を制御する技術を開示する。しかし、油煙等の発生量は、食材、料理方法、投入タイミング等によっても異なるため、特許文献１と２に特許文献３を適用したとしても、食材等で異なる油煙等の発生量に対応して油煙等を捕集排気するのには十分ではない。このため、好適なタイミングで食材や料理方法等に合わせて油煙等を捕集し、排気する能力を適合させるレンジフードが望まれている。
そこで、本件発明は、好適なタイミングで食材や料理方法等に合わせて油煙等を捕集し、排気する能力を適合させるレンジフード情報システム、レンジフード、油煙捕獲システムおよび方法を提供することを目的とする。
上記課題を解決するために、下方にあるコンロを撮像する撮像部と、撮像部が撮像した画像から、被撮像物中の料理材料の温度を含む調理情報データとその被撮像物中の調理者が容器内のまたは容器に投入される前の料理材料に対して行う動作を含む調理動作データを抽出する情報抽出部と、情報抽出部が抽出する調理情報データおよび調理動作データに基づき、油煙の捕獲能力を制御する運転制御部と、を備えるレンジフードが提供される。
これによれば、画像から分別して抽出した調理情報データと調理動作データに基づいて油煙の捕獲能力を制御することで、好適なタイミングで食材や料理方法等に合わせて油煙等を捕集し、排気する能力を適合させるレンジフードを提供することができる。
さらに、情報抽出部が、被撮像物が所定温度以上である旨を含む調理情報データと、その所定温度以上の被撮像物に対して所定の動作を行った旨を含む調理動作データとを抽出した場合、運転制御部は、油煙の捕獲能力を向上させることを特徴としてもよい。
これによれば、画像から分別して抽出した調理情報データと調理動作データにおいて、所定温度以上の被撮像物に対して所定の動作を行った場合に油煙の捕獲能力を向上させることで、好適なタイミングで食材や料理方法等に合わせて油煙等を捕集し、排気する能力を適合させるレンジフードを提供することができる。
さらに、音を集音する集音部をさらに備え、情報抽出部は、集音部が集音した音を含む調理情報データを抽出することを特徴としてもよい。
これによれば、音から調理情報データを抽出することで、画像だけでは不明瞭な情報をより明確にして、高い精度で、好適なタイミングで食材や料理方法等に合わせて油煙等を捕集し、排気する能力を適合させることができる。
さらに、情報抽出部は、撮像部が撮像した画像および集音部が集音した音から、料理材料の種類と量を含む調理情報データと、料理材料に対して行う動作を含む調理動作データを抽出することを特徴としてもよい。
これによれば、画像と音声の両方から抽出された調理情報データと調理動作データを抽出することで、より高い精度で捕集排気能力を適合させることができる。
さらに、油煙を検知する油煙センサと、油煙センサが検知した油煙情報と、情報抽出部が抽出した調理情報データおよび調理動作データとを時刻情報と関連付けて記憶する調理記憶部と、調理記憶部に記憶された油煙情報と、調理情報データおよび調理動作データとの相関モデルを機械学習する学習部と、情報抽出部が抽出する調理情報データおよび調理動作データと、学習部が学習した相関モデルに基づき、発生する油煙の情報を予測する油煙発生情報予測部と、をさらに備え、運転制御部は、油煙発生情報予測部が予測した油煙情報に基づき油煙の捕獲能力を制御することを特徴としてもよい。
これによれば、調理情報データおよび調理動作データと油煙情報との相関を予測するように学習し、抽出した調理情報データおよび調理動作データに対して予測される油煙情報に基づいて油煙の捕獲能力を制御することで、瞬時に拡散する油煙をも捕集することができ、室内に油煙が拡散することを防止することができる。
さらに、調理情報データおよび調理動作データと捕獲能力の相関を定義する捕獲能力相関ルールを記憶する相関ルール記憶部と、情報抽出部が抽出する調理情報データおよび調理動作データと、相関ルール記憶部に記憶された捕獲能力相関ルールに基づき、必要な捕獲能力を予測する捕獲能力予測部をさらに備え、運転制御部は、捕獲能力予測部が予測した捕獲能力に基づき油煙の捕獲能力を制御することを特徴としてもよい。
これによれば、調理情報データおよび調理動作データと捕獲能力の相関を予め定義した捕獲能力相関ルールに基づき必要な捕獲能力を予測し制御することで、瞬時に拡散する油煙をも捕集することができ、室内に油煙が拡散することを防止することができる。
さらに、調理情報データおよび調理動作データと油煙情報の相関を定義する油煙情報相関ルールを記憶する相関ルール記憶部と、情報抽出部が抽出した調理情報データおよび調理動作データと、相関ルール記憶部に記憶された油煙情報相関ルールに基づき、発生する油煙情報を予測する油煙発生情報予測部をさらに備え、運転制御部は、油煙発生情報予測部が予測した油煙情報に基づき油煙の捕獲能力を制御することを特徴としてもよい。
これによれば、調理情報データおよび調理動作データと油煙情報の相関を予め定義した油煙情報相関ルールに基づき発生する油煙情報を予測し、油煙の捕獲能力を制御することで、瞬時に拡散する油煙をも捕集することができ、室内に油煙が拡散することを防止することができる。
上記課題を解決するために、レンジフード情報サーバと、レンジフード情報サーバと電気通信を介して接続されたレンジフードとを備えるレンジフード情報システムであって、レンジフードは、下方にあるコンロを撮像する撮像部と、油煙を検知する油煙センサと、撮像部が撮像した画像および油煙センサが検知した油煙情報をレンジフード情報サーバに送信する送信装置と、油煙の捕獲能力を制御する運転制御部と、レンジフード情報サーバから捕獲能力に関する情報を受信する受信装置と、を備え、レンジフード情報サーバは、レンジフードの送信装置が送信した画像と油煙情報を受信する受信部と、受信部が受信した画像と油煙情報を時刻情報と関連付けて記憶する記憶部と、記憶部が記憶した画像から、被撮像物中の料理材料の温度を含む調理情報データとその被撮像物中の調理者が容器内のまたは容器に投入される前の料理材料に対して行う動作を含む調理動作データを抽出する情報抽出部と、記憶部に記憶された油煙情報と、調理情報データおよび調理動作データとの相関モデルを機械学習する油煙学習部と、受信部が受信した画像から情報抽出部が抽出する調理情報データおよび調理動作データと、油煙学習部が学習した相関モデルに基づき、発生する油煙の情報を予測する油煙発生情報予測部と、油煙発生情報予測部が予測した油煙発生情報に基づいて、油煙の捕獲能力に関する情報をレンジフードの受信装置に送信する送信部と、を備え、運転制御部は、受信した捕獲能力に関する情報に基づき捕獲能力を制御するレンジフード情報システムが提供される。
これによれば、画像から分別して抽出した調理情報データと調理動作データにおいて、所定温度以上の被撮像物に対して所定の動作を行った場合に油煙の捕獲能力を向上させることで、好適なタイミングで食材や料理方法等に合わせて油煙等を捕集し、排気する能力を適合させるレンジフード情報システムを提供することができる。
上記課題を解決するために、情報処理装置と、情報処理装置と電気通信を介して接続された油煙捕獲機器と、撮像部と、油煙情報を検知する油煙センサと、撮像部が撮像した画像および油煙センサが検知した油煙情報を情報処理装置に送信する送信装置と、を備える油煙捕獲システムであって、油煙捕獲機器は、油煙の捕獲能力を制御する運転制御部と、情報処理装置から捕獲能力に関する情報を受信する受信装置と、を備え、情報処理装置は、受信した画像と油煙情報を時刻情報と関連付けて記憶する記憶部と、記憶部が記憶した画像から、被撮像物中の料理材料の温度を含む調理情報データと該被撮像物中の調理者が容器内のまたは容器に投入される前の料理材料に対して行う動作を含む調理動作データを抽出する情報抽出部と、記憶部に記憶された油煙情報と、調理情報データおよび調理動作データとの相関モデルを機械学習する油煙学習部と、受信した画像から情報抽出部が抽出する調理情報データおよび調理動作データと、油煙学習部が学習した相関モデルに基づき、発生する油煙情報を予測する油煙発生情報予測部と、油煙発生情報予測部が予測した油煙発生情報に基づいて、油煙の捕獲能力に関する情報を油煙捕獲機器の受信装置に送信する送信部と、を備え、運転制御部は、受信した捕獲能力に関する情報に基づき捕獲能力を制御する油煙捕獲システムが提供される。
これによれば、画像から分別して抽出した調理情報データと調理動作データにおいて、所定温度以上の被撮像物に対して所定の動作を行った場合に油煙の捕獲能力を向上させることで、好適なタイミングで食材や料理方法等に合わせて油煙等を捕集し、排気する能力を適合させる油煙捕獲システムを提供することができる。
上記課題を解決するために、下方にあるコンロを撮像し、撮像した画像から、被撮像物中の料理材料の温度を含む調理情報データとその被撮像物中の調理者が容器内のまたは容器に投入される前の料理材料に対して行う動作を含む調理動作データを抽出し、抽出した調理情報データおよび調理動作データに基づき、油煙の捕獲能力を制御する方法が提供される。
これによれば、画像から分別して抽出した調理情報データと調理動作データに基づいて油煙の捕獲能力を制御することで、好適なタイミングで食材や料理方法等に合わせて油煙等を捕集し、排気する能力を適合させる方法を提供することができる。
以上説明したように、本発明によれば、好適なタイミングで食材や料理方法等に合わせて油煙等を捕集し、排気する能力を適合させるレンジフード情報システム、レンジフード、油煙捕獲システム、および方法を提供することができる。
本発明に係るレンジフードシステムの全体システム構成図。 本発明に係るレンジフードシステムの全体システム構成図（複数のホームネットワークがある場合）。 本発明に係るレンジフードシステムが建物に設置された場合を示す図。 本発明に係るレンジフードシステムにおけるレンジフードサーバのハードウェア構成図。 本発明に係るレンジフードシステムにおけるレンジフードサーバのブロック構成図。 本発明に係るレンジフードシステムにおけるレンジフードの断面図。 本発明に係るレンジフードシステムにおけるホームネットワークおよびレンジフードのブロック構成図。 本発明に係るレンジフードシステムにおけるレンジフードの操作部を示す図。 本発明に係るレンジフードシステムにおけるレンジフードのプロパティ情報を示す図。 本発明に係るレンジフードシステムにおけるレンジフードを設置したキッチン空間の人体検知エリアを示す図。 本発明に係る第一実施例の料理教室システムにおける制御方法を示すシーケンス図。 本発明に係る第一実施例の料理教室システムにおける料理教室サーバの制御フローを示すフローチャート。 本発明に係る第一実施例の料理教室システムにおけるレンジフード端末の制御フローを示すフローチャート。 本発明に係る第一実施例の料理教室システムにおける、（Ａ）教師側レンジフード端末の料理状況記録処理を示すフローチャート、（Ｂ）生徒側レンジフード端末の料理状況記録処理を示すフローチャート。 本発明に係る第一実施例の料理教室システムにおける教師側レンジフード端末と生徒側レンジフード端末の間の制御方法を示すタイミングチャート。 本発明に係る第一実施例の料理教室システムにおける、（Ａ）教師側レンジフード端末のディスプレイにおける表示例を示す図、（Ｂ）生徒側レンジフード端末のディスプレイにおける表示例を示す図。 本発明に係る第一実施例の料理教室システムにおける料理状況解析判定処理の例を示す図。 本発明に係る第一実施例の料理教室システムにおける予め定められた完了マーカの例を示す図。 本発明に係る第二実施例のレシピ情報作成支援システムにおける調理情報データ等の情報抽出を示す図。 本発明に係る第二実施例のレシピ情報作成支援システムにおける撮像エリアの特定器具に関連付けられた調理情報データから文章を生成する例を示す図。 本発明に係る第二実施例のレシピ情報作成支援システムにおける調理情報データ等を記憶するテーブルを示す図。 本発明に係る第二実施例のレシピ情報作成支援システムにおける工程と工程区切りに参照されるプロパティ情報を示す図。 本発明に係る第二実施例のレシピ情報作成支援システムにおける工程とプロパティ情報の送信タイミングを示す図。 本発明に係る第二実施例のレシピ情報作成支援システムにおけるレンジフード端末のディスプレイにおける表示例を示す図。 本発明に係る第二実施例のレシピ情報作成支援システムにおけるレンジフード端末とレシピ情報サーバの間の制御方法を示すタイミングチャート。 本発明に係る第二実施例のレシピ情報作成支援システムにおけるレシピ情報生成の制御フローを示すフローチャート。 本発明に係る第二実施例のレシピ情報作成支援システムにおける工程区切時刻情報設定処理の制御フローを示すフローチャート。 本発明に係る第三実施例のレンジフード情報システムにおける学習フェーズの制御方法を示すシーケンス図。 本発明に係る第三実施例のレンジフード情報システムにおける学習フェーズの調理状況を検出する処理を示すフローチャート。 本発明に係る第三実施例のレンジフード情報システムにおける学習フェーズの学習処理を示すフローチャート。 本発明に係る第三実施例のレンジフード情報システムにおける通常運転時の制御方法を示すシーケンス図。 本発明に係る第三実施例のレンジフード情報システムにおける通常運転時の調理状況を検出する処理を示すシーケンス図。 本発明に係る第三実施例のレンジフード情報システムにおける通常運転時の油煙相関判定処理を示すフローチャート。 本発明に係る第三実施例の変形例１のレンジフード情報システムにおける通常運転時の制御方法を示すシーケンス図。 本発明に係る第三実施例の変形例２のレンジフードにおける通常運転時の制御方法を示すフローチャート。 本発明に係る第三実施例の変形例２のレンジフードにおける通常運転時の調理状況検出処理を示すフローチャート。 本発明に係る第三実施例の変形例２のレンジフードにおける通常運転時の油煙相関判定処理を示すフローチャート。 本発明に係る第三実施例の変形例２のレンジフードにおける相関ルール記憶部に記憶された油煙濃度相関ルールと捕獲能力相関ルールの例を示す図。 本発明に係る第三実施例の変形例２のレンジフードにおける、抽出した調理情報データおよび調理動作データと、油煙濃度レベル・捕獲能力（風量指示フラグ）の例を示す図。 本発明に係る第三実施例の風量変更制御による効果を示す模式図。 調理動作の予備動作の例を示す図。 油煙拡散範囲を示す図。 本発明に係る第四実施例の情報処理システムの全体システム構成図。 本発明に係る第四実施例の情報処理システムにおける情報処理サーバのブロック構成図。 本発明に係る第四実施例の情報処理システムにおける情報処理サーバのハードウェア構成図。 本発明に係る第四実施例の情報処理システムにおける情報処理端末のブロック構成図。 本発明に係る第四実施例の料理教室システムにおける制御方法を示すシーケンス図。
以下では、図面を参照しながら、本発明に係る各実施例について説明する。
＜基本構成＞
まず、図１～図９を参照し、レンジフードシステム１において、各実施例に亘って共通する基本構成を説明する。レンジフードシステム１は、図１に示すように、ネットワーク３００に接続されたレンジフードサーバ１００と、ネットワーク３００に接続され、レンジフードサーバ１００と通信を行うホームネットワーク１０００を備える。
＜ネットワークと構成要素について＞
ネットワーク３００は、レンジフードサーバ１００とホームネットワーク１０００間の、情報処理やデータに係る通信を可能にする任意の電気通信回線または電気通信網である。ネットワーク３００は、有線／無線ネットワーク、ＷＡＮ／ＬＡＮ（ワイドエリアネットワーク／ローカルエリアネットワーク）、あらゆる電気通信ネットワーク、またはそれらの任意の適切な組み合わせであり得る。ネットワーク３００は、プライベートネットワーク、パブリックネットワーク（たとえば、インターネット）の１つ以上の部分、またはそれらの任意の適切な組み合わせを含み得る。なお、これらは例示であり、これらに限定されることはない。
ホームネットワーク１０００は、様々の種類のデバイス機器（リソース）と、これらのデバイスを管理すると共に、デバイス間およびデバイスとネットワーク３００間の通信を制御するゲートウェイ４００と、デバイス群とゲートウェイ４００を接続するホームドメイン内ネットワーク３０１を備える。デバイス間およびデバイスとネットワーク３００間の通信においては、様々なデバイスがゲートウェイ４００と通信を行うため、規格化された通信プロトコルにより通信が行われることが好ましく、たとえばこのような通信プロトコルとしては、ＥＣＨＯＮＥＴＬｉｔｅ（登録商標）がある。
ＥＣＨＯＮＥＴＬｉｔｅでは、その中に設置されるデバイスをシステム化し、ゲートウェイ４００内のゲートウェイコントローラ４０１が扱う範囲をドメインと呼び、ホームネットワーク１０００の範囲に存在する管理対象とするデバイスの範囲を規定する。デバイスは、住設製品、家電製品、センサ、コントローラ、リモコンなどであり、レンジフード２００を始め、たとえば、家電機器５００、住宅設備機器６００がある。ゲートウェイコントローラ４０１は、ホームドメイン内ネットワーク３０１に接続されたデバイスがネットワーク３００に接続することを制御する。ホームドメイン内ネットワーク３０１は、ゲートウェイコントローラ４０１と各デバイス間の情報処理やデータに係る通信を可能にする任意の通信方式である。
ホームドメイン内ネットワーク３０１は、レンジフード２００などのデバイスとゲートウェイコントローラ４０１が接続されるルータ（図示せず）を備える。たとえば、レンジフード２００とルータ間およびゲートウェイコントローラ４０１とルータ間は、無線通信（ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線等の近距離無線通信）または有線通信（ＬＡＮケーブル、光ファイバ等）のいずれであってもよく、特に限定されない。ゲートウェイコントローラ４０１は、ルータを介して、レンジフード２００等にアクセスする。また、ゲートウェイコントローラ４０１がルータ機能を有していてもよい。なお、レンジフード２００は、本明細書では、ホームネットワーク１０００に存在する管理対象の１つとしてのデバイスであるが、これに限定されることはない。たとえば、レンジフード２００は、ゲートウェイコントローラ４０１と同様に、自らネットワーク３００に接続し、レンジフードサーバ１００と通信可能な通信装置を有していてもよい。
ＥＣＨＯＮＥＴＬｉｔｅは、ＯＳＩ参照モデルの第５層および第６層に相当する通信ミドルウェアの仕様を規定する。また、ＥＣＨＯＮＥＴＬｉｔｅは、デバイスの種別ごとに機器クラスを規定し、そのデバイスに関するパラメータをプロパティとして機器クラスごとに規定する。ゲートウェイ４００は、ＥＣＨＯＮＥＴＬｉｔｅ通信規格としてレンジフード２００等の機器クラスのプロパティ情報を有する。ゲートウェイ４００は、これにより、ホームドメイン内ネットワーク３０１を介してレンジフード２００等のネットワーク接続機器に対して状態認識と運転制御を行うことができる。
図２に示すように、１つのレンジフードサーバ１００は、ネットワーク３００を介して、複数のホームドメインＡ～Ｄと接続される。接続されるホームドメインは、それぞれ異なるデバイスを有していてもよい。たとえば、ホームドメインＡは、レンジフード２００、家電機器５００、住宅設備機器６００を有し、ホームドメインＢとホームドメインＤは、レンジフード２００と住宅設備機器６００を有し、ホームドメインＣは、レンジフード２００と家電機器５００を有する。それぞれのデバイスは、ゲートウェイ４００を介してネットワーク３００に接続され、レンジフードサーバ１００と通信することが可能である。また、レンジフードサーバ１００は、ホームネットワーク１０００を利用する者が使用するスマートフォンと、ホームネットワーク１０００を経由せずに通信を行ってもよい。
図３に示すように、ホームネットワーク１０００は、ゲートウェイコントローラ４０１と共に、レンジフード２００、家電機器５００、住宅設備機器６００などのデバイスが設置される住宅や店舗などの建物ＨＳに設置される。家電機器５００としては、エアコン５０１、テレビセット５０２、除湿加湿器５０３、コンロＢＮ、屋内検知器５０４、屋外検知器５０５などが設置され、これらが、レンジフード／レンジフード端末２００の給排気機能や情報入出力機能に連動して機能することができる。たとえば、レンジフード２００は、エアコン５０１、除湿加湿器５０３、屋内検知器５０４、屋外検知器５０５などと協働することにより、建物ＨＳ内の空気質を改善することができる。また、レンジフード端末２００は、テレビセット５０２と協働することにより、レンジフード２００が出力する情報をテレビセット５０２の大画面に映しだすことができる。なお、レンジフード端末２００とは、レンジフード２００が基本的に有する給排気機能や油煙除去機能を有することはもとより、他機器と接続して通信を行う通信機能に加え、情報を出力するための出力機能や情報を入力するための入力機能を有するレンジフードである。
なお、屋内検知器５０４は、屋内の空気の空気質を検知する検知器（センサ）である。屋外検知器５０５は、屋外の空気の空気質を検知する検知器（センサ）であり、典型的には、空調機器の室外機や建物ＨＳの外壁などに設置される。なお、空気質とは、空気を構成する物質（たとえば、酸素、一酸化炭素、二酸化炭素など）、空気に含まれる物質（たとえば、水分、油分、塵埃、におい物質などが微粒子状或いはガス状となったもの）、空気の運動エネルギーを示す指標（温度）などを言い、人間が感じ得るまたは影響を受け得る空気の質を示す概念である。空気質は、一般的には、温度、湿度、一酸化炭素濃度、汚染物質濃度などとして、それぞれの空気質に対応した検知器（センサ）を用いて測定される。
住宅設備機器６００としては、建物ＨＳの給排気口６０２や窓６０１に設置され、レンジフード２００の給排気機能に連動して機能することができる。たとえば、レンジフード２００が、大きな給排気風量で屋外と屋内の空気を入れ替えようとする場合、建物ＨＳの給排気口６０２や窓６０１を開放することで、円滑に入れ替えを行うことができる。レンジフード２００は、家電機器５００や住宅設備機器６００と連動する場合、ゲートウェイコントローラ４０１を介して通信を行い、協働する。なお、ゲートウェイコントローラ４０１は、典型的には、レンジフード２００が設けられる建物ＨＳと同じ建物に設けられるが、通信できる限り、特に限定はされない。また、レンジフード２００は、住宅や店舗などのコンロＢＮや調理台ＣＴの上方または近傍に設けられる。
＜レンジフードサーバについて＞
レンジフードサーバ１００は、ゲートウェイ４００およびネットワーク３００を介して、レンジフード２００と制御やデータに係る通信を行う。図４は、レンジフードサーバ１００のハードウェア構成の一例を示す。レンジフードサーバ１００は、たとえばサーバコンピュータであり、１以上のレンジフード／レンジフード端末２００からアクセスされて、様々な制御情報やデータを受け付け、処理し、それらに対して制御情報やデータを提供する。また、レンジフードサーバ１００は、ゲートウェイ４００などの他の機器や、スマートフォン／パーソナルコンピュータなどの一般的な情報機器からアクセスされて、同様の制御情報やデータを提供してもよい。レンジフードサーバ１００は、一般的な情報機器と通信する場合、所謂ウェブサーバとして機能し、ブラウザを通じてこれらの機器に対して情報等を提供してもよい。
レンジフードサーバ１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）から構成される演算装置２０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリ３１およびハードディスクやストレージ等の外部記憶装置３２から構成される記憶装置３０、上記のネットワーク３００と繋がるネットワークインターフェイスの通信装置１０と、サーバの管理者等が指令等を入力するためのキーボードやマウス、カメラやマイク等の入力装置４０と、様々な情報を出力するためのディスプレイ、スピーカやプリンタ等の出力装置５０と、を含み、これらが、内部バス、外部バス、拡張バス等を含むシステムバスといった伝送路６０を介して互いに接続されたものである。ＲＯＭには、一般に、電源投入後、最初に実行されるＩＰＬ（Ｉｎｉｔｉａｌ Ｐｒｏｇｒａｍ Ｌｏａｄｅｒ）が記録されており、これが実行されることにより、記憶装置３０に記憶されたプログラムやデータが、演算装置２０によって一旦これらを一時的に記憶するためのＲＡＭに書き出され、それらのプログラムが演算装置２０によって実行される。なお、記憶装置３０は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）やＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの一時的でないコンピュータ読み取り可能な記録媒体を駆動し、当該記録媒体に記録されたソフトウェアやプログラムを読み書きする媒体駆動装置（図示せず）を含んでもよい。演算装置２０にロードされるプログラムや記憶装置３０に記憶されるデータは、ネットワーク３００経由または媒体駆動装置経由で配置されてもよく、レンジフード２００などのアクセスする機器により適宜変更される。
図５は、レンジフードサーバ１００のブロック構成図を示す。レンジフードサーバ１００は、ネットワーク３００を経由して、１以上のレンジフード／レンジフード端末２００と通信を行う。レンジフードサーバ１００は、ネットワーク３００との通信インターフェイスである通信部１１０と、レンジフードサーバ１００全体の制御を行う制御部１２０と、制御部１２０が実行するプログラムやデータを記憶する記憶部１３０と、レンジフードサーバ１００に指示やデータを入力する入力部１４０と、情報等を出力する出力部１５０とを有する。
制御部１２０は、演算装置２０（ＣＰＵ）によりその機能が実現され、レンジフードサーバ１００を統括的に制御する。制御部１２０は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム・各種の処理手順等を規定したプログラム・所要データなどを格納するための内部メモリを有し、格納されているこれらのプログラムに基づいて種々の情報処理を実行する。ＯＳは、たとえば、ＭＩＣＲＯＳＯＦＴ（登録商標）ＷＩＮＤＯＷＳ（登録商標）、ＬＩＮＵＸ（登録商標）、ＵＮＩＸ（登録商標）などであり、本発明に係るプログラムが実行され得る限り特に限定されない。
記憶部１３０は、メモリ３１および外部記憶装置３２によりその機能が実現され、各種のデータベース、テーブル、およびファイルなどを格納する。記憶部１３０には、ＯＳと協働して制御部１２０に命令を与えて各種処理を行うためのコンピュータプログラムが記録される。これらのコンピュータプログラムは、ウェブサイト提供に用いる各種のプログラムや、レンジフードサーバ１００がレンジフード２００のために提供するサービス／アプリケーションの機能を実現するプログラムである。
例えば、レンジフードサーバ１００が備える処理機能、特に制御部１２０にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵおよび当該ＣＰＵにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。なお、プログラムは、実施例で説明する処理をＣＰＵに実行させるためのプログラム化された命令を含む一時的でないコンピュータ読み取り可能な記録媒体に記録されていてもよく、必要に応じて媒体駆動装置を介してレンジフードサーバ１００に読み取られる。記録媒体とは、ＤＶＤ等の任意の「可搬用の物理媒体」を含むものとする。したがって、本明細書で説明する処理または処理方法を実行するためのプログラムを格納した記録媒体もまた本発明を構成することとなる。このコンピュータプログラムは、メモリ３１にロードされることによって実行され、ＣＰＵと協働して制御部１２０を構成する。
また、プログラムは、レンジフードサーバ１００に対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。また、「プログラム」とは、任意の言語または記述方法にて記述されたデータ処理方法であり、ソースコードまたはバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳに代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、上述した各装置において記録媒体を読み取るための具体的な構成および読み取り手順ならびに読み取り後のインストール手順等については、周知の構成や手順を用いることができる。
また、レンジフードサーバ１００は、既知のパーソナルコンピュータまたはワークステーション等の、多数の端末からのアクセスを受け付ける汎用的な情報処理装置（所謂サーバ）として構成してもよく、また、任意の周辺装置が接続された当該情報処理装置として構成してもよい。また、レンジフードサーバ１００は、上述したように処理を実現させるソフトウェア（プログラムまたはデータ等を含む）を実装することにより実現してもよい。レンジフードサーバ１００の具体的形態は図示するものに限られず、その全部または一部を、機能の負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
通信部１１０は、通信装置１０によりその機能が実現され、ネットワーク３００を介してレンジフード／レンジフード端末２００からデータ等を受信して制御部１２０へ送り、制御部１２０が生成したデータ等を、ネットワーク３００を介してレンジフード／レンジフード端末２００へ送信する。通信部１１０は、ネットワーク３００を介してレンジフード／レンジフード端末２００と繋がるためのネットワークインターフェイスであり、より具体的には、たとえばＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）カード等の通信デバイスである。
入力部１４０と出力部１５０は、入力装置４０と出力装置５０により機能が実現され、入出力インターフェイスを介して制御部１２０により制御される。制御部１２０は、入力部１４０からデータ等を取得し、出力部１５０に対して生成したデータ等を出力する。入力部１４０は、典型的にはキーボードやマウス、タッチパネルなどのサーバに直接ローカル接続された装置であるが、ネットワーク３００を経由してリモートからアクセスしてレンジフードサーバ１００を操作する装置であってもよい。出力部１５０は、同様に、典型的にはディスプレイやプリンタなどのサーバに直接ローカル接続された装置であるが、ネットワーク３００を経由してリモート接続された装置であってもよい。各部の詳細については、以下の実施例において説明する。
＜レンジフード／レンジフード端末（ホームネットワーク接続機器）について＞
図６および図７に示すように、レンジフード２００（およびレンジフード端末２００）は、住宅や店舗などのコンロＢＮや調理台ＣＴの上方または近傍に設けられる。レンジフード２００は、下方のコンロＢＮで調理される際に発生する油煙等を捕獲するフード２０１と、捕獲する油煙等を吸引し屋外へ排気するために空気の流れを発生させるファン２０２と、ファン２０２を駆動する駆動装置２７０（給排気モータ２７１）と、駆動装置２７０を制御し、全体の制御を行うマイクロプロセッサ２２０と、マイクロプロセッサ２２０で実行するプログラムおよび自身のプロパティを記憶するメモリ２３０と、ゲートウェイコントローラ４０１と通信を行う通信装置２１０と、周囲の状態を検知する検知装置２６０と、レンジフード２００への入力を受け付ける入力装置２４０と、レンジフード２００からの情報を出力する出力装置２５０とを備える。
フード２０１は、油煙を吸い込み易くするため空気の流速を上げる整流板２０３や、油煙を屋外に排気するダクトに連通する吸気口を備え、油煙を屋外に排出し、屋内の空気質を改善する。ファン２０２は、軸流ファンやシロッコファンであり、特に限定はされない。駆動装置２７０は、ファン２０２を回転駆動する排気モータだけでなく、屋外や屋内からレンジフード２００付近で給排気を行うや給排気モータ２７１や、給排気のための開口部（図示せず）を開閉するための給排気ダンパを含む駆動装置を備えることが好ましい。また、駆動装置２７０は、円盤状の回転フィルタ２０４を回転させて油煙を捕獲するためのフィルタモータを備えてもよい。
通信装置２１０は、ホームドメイン内ネットワーク３０１と通信を行うための送信装置と受信装置を含む通信インターフェイスであり、ＥＣＯＮＥＴＬｉｔｅ通信規格に準拠した通信プロトコルに基づきゲートウェイコントローラ４０１と通信を行う。通信装置２１０は、近傍に設けられるコンロＢＮと通信を行うための赤外線通信部を備えてもよい。検知装置２６０は、油煙の量を検知するための油煙センサ２６１、周囲の人の存否を検知するための人感センサ２６２（人体検知部）、ガスや臭いの成分を検出するＣＯ２／臭いセンサ２６３、周囲の空気の温度や湿度を検知する温湿度センサ２６４などを含む。検知装置２６０は、レンジフード２００の周囲の温度、湿度、一酸化炭素濃度、汚染物質濃度などの空気質を検知すると共に、料理をする人の有無を検知する。
入力装置２４０は、料理する人の音声や料理から発生する音などを集音するマイク２４２（集音装置、集音部）、下方のコンロＢＮや斜め下方の調理台ＣＴで行われる料理の様子を撮像したり、鍋や具材の温度を測定するカメラ２４１（赤外線撮像素子付き）、レンジフード２００の運転についてマイクロプロセッサ２２０に対して指示するため料理者等が操作する操作部２４３と、を含む。操作部２４３は、図８が示すように、レンジフード２００の電源をオンオフする「運転入／切」ボタン、ファン２０２が発生させる排気流量を指示する「風量弱／中／強」ボタン、回転フィルタ２０４の回転速度を指示する「回転フィルタ弱／中／強」ボタン、照明２５３をオンオフする「照明入／切」ボタン、カメラ２４１をオンオフする「カメラ入／切」ボタン、マイク２４２をオンオフする「マイク入／切」ボタン、通常モードとメンテナンスモードを切り替える「モード設定」ボタンを含む。
出力装置２５０は、様々な情報を表示するディスプレイ２５１（表示装置）と、様々な情報を鳴動させるスピーカ２５２（音出力装置、音声出力装置）と、照明２５３を含む。なお、マイク２４２、カメラ２４１（撮像装置、撮像部）、ディスプレイ２５１、スピーカ２５２は、レンジフード２００に物理的に組み込まれてもよいし、近距離無線通信を利用する別体として設けられてもよい。また、ディスプレイ２５１は、タッチパネルを備えた入力機能を兼ね備えたものであることが好ましい。
メモリ２３０は、ＲＯＭやＲＡＭであり、たとえばＥＣＯＮＥＴＬｉｔｅ通信規格におけるレンジフード２００の機器クラスのプロパティ情報（プロパティ値）を記憶する。このプロパティ情報は、通信装置２１０を介してゲートウェイコントローラ４０１と送受信する電文に含まれる。マイクロプロセッサ２２０内のＲＨ制御部２２９（運転制御部）は、このプロパティ情報に基づき、ゲートウェイコントローラ４０１からの設定要求または読み出し要求に対応する。
図９を参照し、ホームドメイン内ネットワーク３０１におけるレンジフード２００のプロパティ情報を説明する。なお、本図では、レンジフード２００のプロパティ情報の一部を示す。ゲートウェイコントローラ４０１がレンジフード２００に対して読み出し要求できるプロパティ（アクセスがＧｅｔ）の情報として、レンジフード２００の動作状態に関する情報、レンジフード２００の換気風量に関する情報、レンジフード２００が計測した温度に関する情報、レンジフード２００が計測した相対湿度に関する情報、レンジフード２００が検知した人体動作に関する情報、レンジフード２００が計測したＣＯ２濃度に関する情報、レンジフード２００が計測したガスに関する情報、ディスプレイ２５１等のメディア機器の動作状態に関する情報と、メディア機器との転送設定に関する情報、レンジフード２００が計測した油煙計測値に関する情報がある。
また、ゲートウェイコントローラ４０１がレンジフード２００に対して設定要求できるプロパティ（アクセスがＳｅｔ）の情報として、レンジフード２００の動作状態に関する情報、レンジフード２００の換気風量に関する情報、ディスプレイ２５１等のメディア機器の動作状態に関する情報と、メディア機器との転送設定に関する情報がある。このように、読み出し要求のプロパティの情報および設定要求のプロパティの情報としてこれらのプロパティ情報を管理することで、ゲートウェイコントローラ４０１は、レンジフード２００のこれらのプロパティに関する情報を認識および制御できる。
また、ゲートウェイコントローラ４０１からの設定要求および読み出し要求に応じて返答するだけでなく、レンジフード２００自身の状態の変化を情報として通知（状変通知）することも可能である。状変通知の対象となるプロパティは、レンジフード動作状態（ファン回転のオン／オフ状態）、人体検知状態（人体動作の有無状態）、ガス検知状態（ガス発生の有無状態）などである。このように、レンジフード２００自身の状態の変化を情報としてレンジフード２００が自らゲートウェイコントローラ４０１に通知することで、レンジフード２００にとって重要な情報をゲートウェイコントローラ４０１に知らせることができ、この通知を受けたゲートウェイコントローラ４０１は、適切にレンジフード２００を認識・制御できる。
レンジフード２００の動作状態は、レンジフード２００の運転中／停止中を示す。運転／停止にそれぞれ、0x30／0x31のプロパティ値が対応するものとする。
レンジフード２００の換気風量は、換気風量レベルおよび換気風量自動状態の設定を示す。換気風量自動状態の場合、レンジフード２００は、コンロＢＮでの使用状況に応じて換気風量を自動的に調整する。換気風量自動状態のプロパティの値は0x41とする。風量レベルを８段階で設定し、0x31～0x38のプロパティ値を取るものとする。各風量レベルの具体的な値は、規定しないが、0x31を風量最小、0x38を風量最大とする。また、機器により風量設定が８段階より少ない場合、もしくは、８段階より多い場合も、本プロパティで規定する８段階のプロパティ値に実機器のプロパティを割り当てるものとする。
レンジフード２００の照度レベルは、レンジフード２００に設けられた照明２５３の照度のレベルを示す。プロパティの値域は、0x00～0x64（０％～１００％）とする。
レンジフード２００（温湿度センサ２６４）が計測した温度は、温度計測値を０．１℃の単位で示す。プロパティの値域は、0xF554～0x7FFE（－２７３．２℃～３２７６．６℃）とする。相対湿度は、相対湿度計測値を％の単位で示す。プロパティの値域は、0x00～0x64（０～１００％）とする。
レンジフード２００（人感センサ２６２）が検知した人体動作は、人体動作有、無状態を示す。本プロパティ値は状態が変化するまで保持される。人体動作有=0x41、人体動作無=0x42の値を示す。また、人感センサ２６２は、図１０に示すような、キッチン空間における人体を検出するエリア別に人体動作の有無を検知することが好ましい。コンロの前付近であるコンロエリアを示すエリアＧ=0x31、0x35、調理台の前付近である調理台エリアを示すエリアＫ=0x32、0x36、流し台の前付近である流し台エリアを示すエリアＳ=0x33、0x37、冷蔵庫の前付近である冷蔵庫エリアを示すエリアＲ=0x34、0x38の値を示す。
レンジフード２００（ＣＯ２／臭いセンサ２６３）が計測したＣＯ２濃度は、ＣＯ２濃度計測値をｐｐｍの単位で示す。プロパティの領域は、0x0000～0xFFFD（０～６５５３３ｐｐｍ）とする。レンジフード２００（ＣＯ２／臭いセンサ２６３）が計測したガスは、ガス検知の有（0x41）、無（0x42）状態を示す。
レンジフード２００におけるメディア機器動作状態は、レンジフード２００に設けられるまたは接続されるマイク２４２、カメラ２４１、ディスプレイ２５１、スピーカ２５２のメディア機器のオンオフ状態を示す。オンオフ状態にそれぞれ、0x50／0x51のプロパティ値が対応するものとする。
レンジフード２００におけるメディア転送設定は、メディア機器が取得したメディアデータの転送方法を設定する。メディア機器から直接外付けのハードディスクに転送する場合はローカルストレージ転送（0x60）、メディア機器からネットワークを介してサーバの記憶装置に転送する場合はリモートストレージ転送（0x61）、メディア機器からメールサービスを介して転送する場合はメール転送（0x62）とする。
レンジフード２００（油煙センサ２６１）が計測した油煙計測値は、油煙の量をｍｇ／ｍ３単位で示す。プロパティの値域は、0x0000～0xFFFD（０～６５５３３ｍｇ／ｍ３）とする。
＜第一実施例＞
図５、図７、図１１乃至図１８を参照し、本実施例におけるレンジフードシステム１の１形態である料理教室システム１Ａを説明する。料理教室システム１Ａは、料理の指導者（教師）と料理を習いたい者（生徒）が使用するシステムであり、料理教室サーバ１００Ａと、料理教室サーバ１００Ａと電気通信を介して接続され、料理の指導を行う教師が使用する教師側レンジフード端末２００Ｔと、料理教室サーバ１００Ａと電気通信を介して接続され、教師から料理の指導を受ける生徒が使用する生徒側レンジフード端末２００Ｓと、を備える。教師側レンジフード端末２００Ｔと生徒側レンジフード端末２００Ｓは、１対１であってもよいし、１対多であってもよい。
教師側レンジフード端末２００Ｔは、上述したレンジフード２００が有する構成に加え、下方にあるコンロＢＮおよび調理台ＣＴの内少なくともコンロＢＮで行われる教師による料理の様子を撮像するカメラ２４１と、教師の音声等を集音するマイク２４２と、カメラ２４１が撮像した画像およびマイク２４２が集音した音を料理教室サーバ１００Ａに送信する送信装置２１１と、生徒側レンジフード端末２００Ｓの送信装置２１１が送信した画像および音を料理教室サーバ１００Ａから受信可能な受信装置２１２と、受信装置２１２が受信した画像を教師に対して表示可能なディスプレイ２５１と、受信装置２１２が受信した音声を教師に対して出力可能なスピーカ２５２と、を備える。
生徒側レンジフード端末２００Ｓは、上述したレンジフード２００が有する構成に加え、下方にあるコンロＢＮおよび調理台ＣＴの内少なくともコンロＢＮで行われる生徒による料理の様子を撮像するカメラ２４１と、生徒の音声等を集音するマイク２４２と、カメラ２４１が撮像した画像およびマイク２４２が集音した音を料理教室サーバ１００Ａに送信する送信装置２１１と、教師側レンジフード端末２００Ｔの送信装置２１１が送信した画像および音を料理教室サーバ１００Ａから受信する受信装置２１２と、受信装置２１２が受信した画像を生徒に対して表示可能なディスプレイ２５１と、受信装置２１２が受信した音声を生徒に対して出力可能なスピーカ２５２と、を備える。
料理教室サーバ１００Ａは、上述したレンジフードサーバ１００が有する構成に加え、教師側レンジフード端末２００Ｔおよび生徒側レンジフード端末２００Ｓのカメラ２４１が撮像した画像およびマイク２４２が集音した音を受信する受信部１１２と、受信部１１２が受信した画像および音を記憶する画像音記憶部１３１と、受信部１１２が受信したまたは画像音記憶部１３１が記憶した画像および音を送信する送信部１１１と、受信部１１２が受信したまたは画像音記憶部１３１が記憶した画像および／または音に基づき工程の区分を判定する判定部１２５と、を備える。画像音記憶部１３１は、画像や音のデータ量が多いため外部記憶装置３２に設けられることが好ましい。判定部１２５は、制御部１２０で実行されるプログラムとして提供される機能である。
図１１を参照して、料理教室システム１Ａの制御方法の概略について説明する。前提として、料理の指導を行う教師は、料理教室サーバ１００Ａに自分が行う料理教室の内容、必要な材料、所要時間や開始終了スケジュールなどを登録しておき、生徒はそれらの情報にアクセスできる状態になっている。生徒は、ＳＴ１００において、スマートフォンで料理教室サーバ１００Ａに直接アクセスし、受講したい料理教室の申し込み登録を行うと、スマートフォンから料理教室サーバ１００Ａに当該生徒のユーザ情報が送信される。ユーザ情報には、料理教室を受講する際のレンジフード端末２００をホームドメイン内ネットワーク３０１に有するゲートウェイコントローラ４０１のネットワーク３００における識別情報（ＩＰアドレスなど）が含まれるものとする。
料理教室サーバ１００Ａは、料理教室が開始する時間になると、ＳＴ２００において、生徒のスマートフォンに開始通知を行うと共に、教師側レンジフード端末２００Ｔと生徒側レンジフード端末２００Ｓに対して料理教室モードの設定を行うためにセットアップの指示を送信する。教師側レンジフード端末２００Ｔおよび生徒側レンジフード端末２００Ｓのゲートウェイコントローラ４０１は、セットアップ指示を受信すると、ＳＴ３００において、教師側レンジフード端末２００Ｔと生徒側レンジフード端末２００Ｓにそれぞれ、動作状態をＯＮ、メディア機器動作状態をＯＮにする設定要求を行う。教師側レンジフード端末２００Ｔおよび生徒側レンジフード端末２００Ｓは、それぞれ、ＳＴ４００において、ゲートウェイコントローラ４０１からの設定要求に従い、オン状態となり、カメラ２４１やディスプレイ２５１等のメディア機器をオン状態にする。
教師側レンジフード端末２００Ｔおよび生徒側レンジフード端末２００Ｓは、メディア機器がオン状態になると、ＳＴ４５０において、料理状況を記録すると共に、料理教室サーバ１００Ａに料理状況データ（画像／音）を送信し、さらに相手（料理教室サーバ１００Ａ）からの料理状況データを受信する。料理教室サーバ１００Ａは、ＳＴ２５０において、受信部１１２が教師側レンジフード端末２００Ｔおよび生徒側レンジフード端末２００Ｓから料理状況データを受信すると、その料理状況データを解析し、料理工程の区分を判定すると共に、料理工程を生成し、区分された料理状況データを出力する。ＳＴ２５０とＳＴ４５０の処理については、より詳しく後述する。
すべての工程が終了し、その料理教室が完了すると、料理教室サーバ１００Ａは、ＳＴ２９０において、生徒のスマートフォンに終了通知を行うと共に、教師側レンジフード端末２００Ｔと生徒側レンジフード端末２００Ｓに対して料理教室モードの終了を行うために終了指示を送信する。ゲートウェイコントローラ４０１は、終了指示を受信すると、ＳＴ３９０において、教師側レンジフード端末２００Ｔと生徒側レンジフード端末２００Ｓにそれぞれ、動作状態をＯＦＦ、メディア機器動作状態をＯＦＦにする設定要求を行う。教師側レンジフード端末２００Ｔおよび生徒側レンジフード端末２００Ｓは、それぞれ、ＳＴ４９０において、ゲートウェイコントローラ４０１からの設定要求に従い、オフ状態となり、メディア機器をオフ状態にする。
図１２乃至図１４を参照して、料理教室サーバ１００Ａおよび教師側レンジフード端末２００Ｔと生徒側レンジフード端末２００Ｓの制御について説明する。料理教室サーバ１００Ａは、料理教室が開始する時間になると、ＳＴ２００において、教師側レンジフード端末２００Ｔと生徒側レンジフード端末２００Ｓに対して料理教室モードの設定を行う。料理教室モードの設定とは、開始時間になった料理教室の講座の教師および申し込んだ生徒を検索し、該当する教師の教師側レンジフード端末２００Ｔおよび生徒側レンジフード端末２００Ｓに対して開始をするためのセットアップ指示をそれぞれの端末に行う。
受信装置２１２がセットアップ指示を受信すると、教師側レンジフード端末２００Ｔと生徒側レンジフード端末２００Ｓは、ＳＴ４００において、ゲートウェイコントローラ４０１からの設定要求に従い、自己をオン状態にし、カメラ２４１やディスプレイ２５１等のメディア機器をオン状態にする。上述したＳＴ４５０はＳＴ４１０～ＳＴ４２０に分けて説明される。メディア機器がオン状態になり、撮像・集音可能になると、教師側レンジフード端末２００Ｔと生徒側レンジフード端末２００Ｓは、ＳＴ４１０において、料理状況を記録する。
ＳＴ４１０は、図１４（Ａ）に示すように、教師側レンジフード端末２００ＴではＳＴ４１０Ｔであり、具体的には教師側レンジフード端末２００Ｔは、ＳＴ４１２Ｔにおいて教師の料理状況を撮像集音する。教師側レンジフード端末２００Ｔは、ＳＴ４２０において、撮像集音した教師による料理指導の料理状況を音付き動画で料理教室サーバ１００Ａに送信する。教師側レンジフード端末２００Ｔは、最終の工程が完了するまでＳ４１０とＳＴ４２０を繰り返す（ＳＴ４４０）。
上述したＳＴ２５０はＳＴ２０２～ＳＴ２１２に分けて説明される。料理教室サーバ１００Ａ（受信部１１２）は、ＳＴ２０２において、教師側レンジフード端末２００Ｔ（送信装置２１１）から教師による料理状況の画像／音（音付き動画）を受信する。料理教室サーバ１００Ａの制御部１２０の判定部１２５は、ＳＴ２０４において、受信した画像と音の一方または両方に基づいて料理工程の区分を判定する。なお、判定部１２５は、受信部１１２が受信した画像／音を直接判定するのではなく、受信部１１２が受信した画像／音を画像音記憶部１３１に一旦記憶し、そこから読み出した画像／音を判定してもよい。ここで、料理の工程とは、料理の材料をどのようにするのかを一纏まりにした１または複数の目的語と動詞を含む文章から構成されるものである。工程の区分とは、一纏まりと一纏まりの間にある区切りである。なお、工程の区分を表す画像や音の標識として、後述する完了マーカや開始マーカなどの工程区分マーカを用いることが工程の区分が明確になるので好ましい。
図１７を参照し、判定部１２５による画像と音に基づく料理工程の解析判定処理の例を説明する。この解析判定処理は、公知の画像（動画）認識技術と音声認識技術により行われる。レンジフード端末２００のカメラ２４１（赤外線撮像素子付き）は、コンロＢＮを上方から撮像することにより、バーナーの上に置かれた鍋、フライパン、中華鍋など（以下鍋等と言う）の種類・形状・大きさ；菜箸、お玉、フライ返し、計量スプーン・カップなどの鍋等内の食材に対する料理道具の種類；鍋等内の食材の種類・形状・大きさ・色・温度；鍋等の縁・底・蓋・縁の周囲の温度；鍋等、料理道具、食材に対する人の動作などの画像情報を取得する。また、レンジフード端末２００のマイク２４２は、周囲の人の音声、コンロＢＮでの料理の音などの音情報を取得する。判定部１２５は、画像内の対象において基本的な上記画像情報をラベル付けして機械学習された料理画像判別器と、画像情報に伴う音情報において音声認識器と料理音判別器を含む。料理音とは、鍋で煮る音、フライパンで炒める音、油で揚げる音、食材を切る音、食材を洗う音などを言う。
判定部１２５は、料理画像判別器、音声認識器、料理音判別器の出力を統合し、どのような鍋と料理道具を用い、どの食材をどのような温度で何をしているのかを認識する。たとえば、判定部１２５は、バーナーにフライパンが置かれてフライパンの周囲が高温になった画像情報から、点火されてフライパンを使う料理工程が開始した（開始マーカ）ことを判定する。また、フライパンを使う料理工程は、通常油を敷くことから「サラダ油を入れてください」の音声情報を判定要素に加えてもよい。このように、判定部１２５は、教師側レンジフード端末２００Ｔにおいて料理指導の間の撮像した画像および／または集音した音における１工程の開始を示す開始マーカを認識することにより工程の開始を判定することが好ましい。
判定部１２５は、その後、フライパンの底が高温になった画像情報、「玉葱を入れてください」という音声情報、玉葱がフライパンに投入された音情報に基づき、料理する人が実際に玉葱を炒め始めたことを認識する。判定部１２５は、フライパン内の玉葱の色は白、玉葱の断片の輪郭は明確、断片の温度はフライパンの底に比べて低いという画像情報と油ハネ音が大きいという音情報に基づき、玉葱の炒め具合はまだ不十分であると認識する。
判定部１２５は、その後、「よく炒めてください」という音声情報、大きい油ハネ音と小さい油ハネ音が繰り返されるかき混ぜ音の音情報、玉葱と菜箸が繰り返して移動する画像情報に基づき、料理する人が実際に玉葱を炒める動作をしていることを認識する。次いで、判定部１２５は、フライパン内の玉葱の色は茶、玉葱の断片の輪郭は不明確、断片の温度は高い（フライパンの底の温度と同程度）という画像情報と油ハネ音が小さいという音情報（完了マーカ）に基づき、玉葱の炒め具合は十分であると認識する。判定部１２５は、フライパンを使って玉葱を炒めるという料理工程が終了したと判定する。また、判定部１２５は、料理する人の動作を伴うレシピ情報として区切りの良い区分として、かき混ぜ動作、かき混ぜ音、「炒めてください」という音声（完了マーカ）を以ってレシピの１工程が終了したことを判定してもよい。
このように、判定部１２５は、教師側レンジフード端末２００Ｔにおいて料理指導の間の撮像した画像および／または集音した音における１工程の完了を示す完了マーカを認識することにより工程の区分を判定することが好ましい。これによれば、１工程の完了を明確にすることで工程の区分を正しく判定できるようになり、工程ごとの料理指導とその学習の完了を徹底することが可能になる。
上述したように料理状況の解析判定を行った後、料理教室サーバ１００Ａ（制御部１２０）は、ＳＴ２０６において、１工程（開始マーカから完了マーカの間）に区分された画像情報と音情報（音声情報含む）を生成し、画像音記憶部１３１に記憶する。料理教室サーバ１００Ａ（送信部１１１）は、ＳＴ２０８において、区分された工程の画像／音データを相手方（ここでは生徒側レンジフード端末２００Ｓ）へ出力する。また、料理教室サーバ１００Ａ（制御部１２０）は、ＳＴ２１０において、出力する工程が当該料理教室において何番目の工程であるかを認識し、送信部１１１は、画像情報と共に送信する。なお、第Ｎ工程（Ｎは自然数）の完了マーカと第Ｎ＋１工程の開始マーカは、その間に時間的な差異がほとんどない場合は同じであってもよいし、差異が大きい場合（たとえば何らかの事由で中断がある場合）は異なるものであってもよい。これにより、教師は、生徒が何らかの理由で工程を中断していること、中断後に工程を再開したこと等、生徒が実行している工程を正確に認識できるようになる。
料理教室サーバ１００Ａは、ＳＴ２１２において、当該料理教室の最終の工程を出力したか否かを判断する。最終の工程か否かは、工程を所定の工程数と予め設定してもよいし、最終と判定できる特別な完了マーカを用いてもよい。最終工程と判断しない場合、ＳＴ２５０（ＳＴ２０２～ＳＴ２１０）が繰り返される。したがって、料理教室サーバ１００Ａ（送信部１１１）は、受信部１１２が受信したまたは画像音記憶部１３１が記憶した画像および音を判定部１２５が判定した工程の区分毎に相手方へ送信する。
図１３のＳＴ４１０として示される生徒側レンジフード端末２００Ｓの調理状況記録処理は、図１４（Ｂ）のＳＴ４１０Ｓである。具体的には、生徒側レンジフード端末２００Ｓは、ＳＴ４１２Ｓにおいて、教師側レンジフード端末２００Ｔから料理教室サーバ１００Ａに送信され、料理教室サーバ１００Ａから生徒側レンジフード端末２００Ｓに区分毎に送信されている工程ｎ（ｎは自然数）の出力が完了したか否か、具体的には、その時点で受信している工程の完了マーカを含む画像／音を受信し、メディア機器に出力したか否かを確認する。
その工程の完了マーカを含む画像／音をまだ出力していない場合、生徒側レンジフード端末２００Ｓ（マイクロプロセッサ２２０）は、ＳＴ４１４Ｓにおいて、カメラ２４１で撮像する画像において調理動作が検出されるか否かを確認する。これは、上述した料理教室サーバ１００Ａが備える判定部１２５と同等の機能により判定できる。したがって、マイクロプロセッサ２２０は、判定部１２５と同等の機能を有する判定部２２５を有してもよい。調理動作が検出されない場合、生徒側レンジフード端末２００Ｓの料理状況記録処理は終了する。調理動作が検出される場合、生徒側レンジフード端末２００Ｓ（マイクロプロセッサ２２０）は、ＳＴ４１６Ｓにおいて、区分毎に送信される工程ｎの開始マーカを受信したか否か、すなわち工程ｎが開始しているか否かを確認する。開始マーカをまだ受信していない場合、生徒側レンジフード端末２００Ｓの料理状況記録処理は終了する。
ＳＴ４１２Ｓにおいてその工程の完了マーカを含む画像／音を出力した場合、または、その工程が開始されていて生徒の調理動作が検出される場合、生徒側レンジフード端末２００Ｓのカメラ２４１とマイク２４２は、ＳＴ４１８Ｓにおいて、生徒の料理状況を撮像集音する。完了マーカを含む画像／音を出力した場合に撮像集音するのは、教師の指導内容が一区切りするタイミングで、生徒がその指導内容に従って料理を開始するからである。工程が開始されまだ完了はしていないが生徒の調理動作が検出される場合に撮像集音するのは、１工程内であっても生徒が並行して調理動作を行う場合があり、その場合であっても料理状況を記録するためである。
生徒側レンジフード端末２００Ｓは、ＳＴ４２０において、撮像集音した生徒の料理状況を音付き動画で料理教室サーバ１００Ａに送信する。生徒側レンジフード端末２００Ｓは、最終の工程が完了するまでＳ４１０とＳＴ４２０を繰り返す（ＳＴ４４０）。生徒側レンジフード端末２００Ｓが料理教室サーバ１００Ａに送信した画像／音は、料理教室サーバ１００Ａ（受信部１１２）によって受信され（ＳＴ２０２）、生徒の料理状況について解析判定処理（ＳＴ２０４）が行われる。すなわち、判定部１２５は、生徒の料理状況についての画像と音の一方または両方に基づいて料理工程の区分を判定する。
生徒の料理状況における工程の区分の判定方法は、教師の指導内容の画像と音に基づく料理工程の解析判定処理の判定方法と同じであってよい。たとえば、図１７の例で言えば、判定部１２５は、生徒の料理状況の画像において、フライパン内の玉葱の色は茶、玉葱の断片の輪郭は不明確、断片の温度は高い（フライパンの底の温度と同程度）という画像情報と油ハネ音が小さいという音情報に基づき、玉葱の炒め具合は十分であると認識することで、フライパンを使って玉葱を炒めるという料理工程が終了したと判定する。すなわち、判定部１２５は、生徒の料理状況についての解析判定においては、教師側レンジフード端末２００Ｔが送信した画像および音に基づき判定した工程の完了マーカ（区分）と同じ完了マーカ（区分）を生徒側レンジフード端末２００Ｓが送信した画像および音に認識した場合、当該工程が生徒側でも完了したと判定する。
このような完了マーカは、教師が１工程の完了であることを指示した際の教師側レンジフード端末２００Ｔのカメラ２４１が撮像している画像およびマイク２４２が集音している音声の特徴量に基づいて作成される。教師による完了指示は、たとえば「工程１終了」と発声することである。「工程１終了」と発声することは、そのまま音情報の特徴量となり得るし、フライパン内の玉葱の色は茶、玉葱の断片の輪郭は不明確、断片の温度は高いという画像情報から得られる特徴量であってもよい。このように、教師が１工程の完了であることを指示した際の画像等の特徴量を完了マーカとすることで、柔軟な完了マーカを設定することができる。
なお、完了マーカは、教師と生徒の間で予め定めた画像／音を完了マーカにすることで、１工程の完了を確実かつ容易に判定することができる。たとえば、図１８に示すような「工程１終了」や「工程２終了」を示す二次元コードを工程終了時に双方のカメラ２４１で撮像したり、「工程１終了」とマイク２４２に発声することで、共通の完了マーカとして容易に判定できる。
判定部１２５が、教師側レンジフード端末２００Ｔが送信した画像および音に基づき判定した工程の区分と同じ区分を生徒側レンジフード端末２００Ｓが送信した画像および音に基づき判定した場合、料理教室サーバ１００Ａ（制御部１２０）は、ＳＴ２０６において１工程に区分された画像情報と音情報を生成し、ＳＴ２０８において区分された工程の画像／音情報を相手方（ここでは教師側レンジフード端末２００Ｔ）へ出力する。料理教室サーバ１００Ａ（送信部１１１）は、ＳＴ２１０において、完了マーカを判定した画像および音を送信した生徒側レンジフード端末２００Ｓを使用する生徒は送信した工程を完了した旨（判定結果）の通知を教師側レンジフード端末２００Ｔに送信する。送信部１１１は、画像情報と共にこの通知を送信してもよい。
上述したように、通常高い位置に設置されるレンジフード端末２００を利用することにより、生徒の料理状況をモニターするメディア機器を新たに設ける必要がないと共に、教師側が設定した各工程を生徒側で完了したことを判定することで、生徒の料理の進行状況を確認できる料理教室システム１Ａを提供することができる。このように、料理教室システム１Ａは、自動的に生徒側の料理の進行状況を判定できるので、教師がリアルタイムに生徒を指導する必要がなくなる。したがって、生徒の時間に合わせて料理指導コンテンツとして配信することが可能になるため、生徒にとって時間的に融通性がある利便性の高い料理教室システム１Ａを提供することができる。
図１５を参照し、教師側レンジフード端末２００Ｔと生徒側レンジフード端末２００Ｓの間において、判定部１２５により区分化された工程の送受信に関する制御方法を説明する。本図は、教師一人に対して、生徒が３人いる例であり、第１工程の完了を十字マークで、第２工程の完了を菱型マークで、各工程の開始を円マークで示している。また、実線矢印は、その時点での完了マーカの通知を表し、点線矢印は、当該工程における音付き動画の送信を表す。また、説明を簡略化するため、完了マーカは、図１８に示すような各工程の完了を表す予め定められた二次元コードの完了マーカを用いるものとする。
教師側レンジフード端末２００Ｔでは、料理教室モードの設定後、カメラ２４１やマイク２４２が画像／音として料理指導の料理状況を記録し、送信装置２１１がその画像／音を第１工程の指導内容として料理教室サーバ１００Ａに送信する。料理教室サーバ１００Ａは、これを受信部１１２で受信し、第１工程の指導内容を送信部１１１で生徒Ａ～Ｃの生徒側レンジフード端末２００Ｓにそれぞれ配信する。生徒側レンジフード端末２００Ｓは、受信装置２１２でその画像／音を受信し、ディスプレイ２５１などのメディア機器で受信した工程の画像等を出力する。これにより、生徒Ａ～Ｃは、配信されている指導内容をそれぞれの生徒側レンジフード端末２００Ｓで視聴する。
教師が指導中に第１工程の完了を表す二次元コードをカメラ２４１に撮像させると、その二次元コードが写った画像を受信した料理教室サーバ１００Ａは、判定部１２５で最初の工程（第１工程）が完了したと判定する。料理教室サーバ１００Ａは、第１工程の完了を判定すると、それぞれの生徒側レンジフード端末２００Ｓに第１工程が完了した旨の信号を送信すると共に、次の工程（第２工程）の指導内容の画像／音の送信を延期する。第１工程が完了した旨の信号を受信した生徒側レンジフード端末２００Ｓは、ディスプレイ２５１等で第１工程の画像等を出力した後に、カメラ２４１とマイク２４２で生徒の料理状況を撮像集音する。生徒側レンジフード端末２００Ｓは、撮像等された画像等を送信装置２１１で料理教室サーバ１００Ａに送信し、受信した料理教室サーバ１００Ａは、それぞれの生徒の料理状況としてその画像等を送信部１１１で教師側レンジフード端末２００Ｔに送信する。教師側レンジフード端末２００Ｔは、ディスプレイ２５１等に生徒の料理状況を出力し、これにより教師は各生徒の料理の進行状況をモニターできる。
生徒の料理の進行状況の中で第１工程の完了を表す二次元コードをカメラ２４１に撮像させると、その二次元コードが写った画像を受信した料理教室サーバ１００Ａは、判定部１２５でその生徒では第１工程が完了したと判定する。本図の例では、生徒Ａが最も早く第１工程が完了した旨を表す二次元コードを撮像したことで、料理教室サーバ１００Ａは、生徒Ａが最も早く第１工程が完了した旨の信号を教師側レンジフード端末２００Ｔに送信部１１１で送信し、次いで生徒Ｂ、最後に生徒Ｃが第１工程を完了した旨の信号を教師側レンジフード端末２００Ｔに送信する。
教師側レンジフード端末２００Ｔは、第１工程が完了した旨の信号を受信すると、生徒側レンジフード端末２００Ｓに対して次の工程（第２工程）の指導内容の画像／音を送信する。本図の例では、教師側レンジフード端末２００Ｔは、最も早く第１工程が完了した生徒Ａに合わせて第２工程の指導内容の画像／音を料理教室サーバ１００Ａに送信し、受信した料理教室サーバ１００Ａは、直ぐにその画像／音を生徒Ａの生徒側レンジフード端末２００Ｓに配信する。一方、生徒Ａより遅れて第１工程が完了した生徒Ｂと生徒Ｃに対しては、二次元コードの完了マーカを判定するまで料理教室サーバ１００Ａで第２工程の指導内容の画像／音をバッファリングし、完了マーカを判定できた時にそれぞれの生徒側レンジフード端末２００Ｓに第２工程の指導内容の画像／音を送信する。
生徒側レンジフード端末２００Ｓが第２工程の指導内容の画像／音を受信すると、ディスプレイ２５１等に出力する。これにより、生徒Ａ～Ｃは、それぞれの時間で、配信されている指導内容をそれぞれの生徒側レンジフード端末２００Ｓで視聴する。教師が指導中に第２工程の完了を表す二次元コードをカメラ２４１に撮像させると、その二次元コードが写った画像を受信した料理教室サーバ１００Ａは、判定部１２５で第２工程が完了したと判定する。料理教室サーバ１００Ａは、第２工程の完了を判定すると、生徒Ａの生徒側レンジフード端末２００Ｓに教師の指導内容の第２工程が完了した旨の信号を送信すると共に、次の工程（第３工程）の指導内容の画像／音の送信を延期する。生徒Ｂと生徒Ｃの生徒側レンジフード端末２００Ｓには、視聴が終わるタイミングで教師の指導内容の第２工程が完了した旨の信号を送信する。
本図では、その後工程が進行し、右上の大矢印の時点では、生徒Ａが第２工程を完了したので、教師側レンジフード端末２００Ｔは、指導内容の第３工程の画像／音を配信しており、生徒Ａと生徒Ｂは第３工程の指導内容を視聴中である。生徒Ｃは、料理状況の進行が遅れており、第２工程の指導内容を視聴している最中である。図１６は、このような状態の時の、（Ａ）教師側レンジフード端末２００Ｔのディスプレイ２５１が表示しているもの、（Ｂ）生徒Ｃの生徒側レンジフード端末２００Ｓのディスプレイ２５１に表示されているものを例として示している。
教師側レンジフード端末２００Ｔでは、指導内容として現在どの工程まで進んでいるか（右上の第１工程、第２工程、第３工程の表示）、生徒Ａ～Ｃがどの工程まで完了しているかを表示している。生徒Ａは第２工程まで、生徒Ｂは第２工程まで、生徒Ｃは第１工程まで完了していることを示している。このように、教師側レンジフード端末２００Ｔのディスプレイ２５１は、完了した旨（判定結果）を生徒毎に表示する。このように、教師側で各工程を完了したことを生徒毎に表示することで各生徒の進行状況を確認でき、教師にとって１対多で指導ができる。つまり教師は各生徒の進行状況を確認することで各生徒の工程に合わせた指導を行うことができる。
生徒Ｃの生徒側レンジフード端末２００Ｓでは、第１工程まで完了しており（右上の第１工程）、自分は現在指導内容の第２工程を視聴中であることを示している。また、このディスプレイ２５１はタッチパネルになっていて、「教師への停止要求を出す」ボタンを押して、教師側レンジフード端末２００Ｔにその旨を料理教室サーバ１００Ａを介して送信することができる。進行が速すぎる場合や不明な点があって前に進めないような場合に有効である。料理教室サーバ１００Ａは、このボタンが押されると、教師側レンジフード端末２００Ｔのディスプレイ２５１の生徒Ｃの欄にその旨を表示する。また、生徒Ｃは、「工程〇〇を再生する」ボタンを押して、前に戻って自分で学ぶため第１工程の指導内容の画像等を再生することを料理教室サーバ１００Ａに要求することができる。料理教室サーバ１００Ａは、この要求を受信すると、画像音記憶部１３１に記憶されているその工程部分の画像等を生徒Ｃの生徒側レンジフード端末２００Ｓに送信する。
料理教室サーバ１００Ａの画像音記憶部１３１は、１工程の開始を示す開始マーカから１工程の終了を示す完了マーカまでの間を１工程として記憶し、生徒側レンジフード端末２００Ｓから料理指導の一連の工程を区分毎に閲覧可能なように記憶することが好ましい。このように、１工程の完了と共にその開始も明確にして、料理指導の一連の工程を区分毎に閲覧可能なように記憶することで、料理指導を再現して学習することができる。
上述したように、料理教室サーバ１００Ａは、教師側レンジフード端末２００Ｔから受信部１１２が受信したまたは記憶部１３０が記憶した画像および音を判定部１２５が判定した工程の区分毎に生徒側レンジフード端末２００Ｓに送信する。生徒側レンジフード端末２００Ｓは、各工程の画像等を受信し、メディア機器に出力した後、生徒の料理状況を撮像等し、料理教室サーバ１００Ａに送信する。料理教室サーバ１００Ａは、判定部１２５で教師側レンジフード端末２００Ｔが送信した画像等に基づき判定した工程の区分と同じ区分を生徒側レンジフード端末２００Ｓが送信した画像等に基づき判定した場合、教師側レンジフード端末２００Ｔに対して、当該画像等を送信した生徒側レンジフード端末２００Ｓを使用する生徒がその工程を完了した旨を送信する。
これによれば、通常高い位置に設置されるレンジフード端末２００を利用することにより、生徒の料理状況をモニターする撮像装置を新たに設ける必要がないと共に、教師側が設定した各工程を生徒側で完了したことを判定することで、生徒の料理の進行状況を確認できる料理教室システム１Ａを提供することができる。このように、料理教室システム１Ａは、自動的に生徒側の料理の進行状況を判定できるので、教師がリアルタイムに生徒を指導する必要がなくなる。したがって、生徒の時間に合わせて料理指導コンテンツとして配信することが可能になるため、生徒にとって時間的に融通性がある利便性の高い料理教室システム１Ａを提供することができる。
＜第一実施例の変形例１＞
上記実施例では、教師側レンジフード端末２００Ｔと生徒側レンジフード端末２００Ｓは、料理教室サーバ１００Ａを介して電気通信により接続されているが、これに限定されず、教師と生徒が１対１である場合、料理教室サーバ１００Ａを介さずに直接通信してもよい。この場合、上記実施例の判定部１２５は料理教室サーバ１００Ａの制御部１２０で実行されるプログラムとして提供される機能であるが、同等の機能が、判定部２２５として、教師側レンジフード端末２００Ｔまたは教師側レンジフード端末２００Ｔのゲートウェイ４００に備えられていてもよい。また、この場合、教師側レンジフード端末２００Ｔは、カメラ２４１が撮像した画像やマイク２４２が集音した音を記憶する記憶部をメモリ２３０に備えることが好ましい。これによれば、通常高い位置に設置されるレンジフード端末２００を利用することにより、生徒の料理状況をモニターする撮像装置を新たに設ける必要がないと共に、教師側が設定した各工程を生徒側で完了したことを教師側レンジフード端末２００Ｔが判定することで、生徒の料理の進行状況を教師が確認できる料理教室システム１Ａを提供することができる。
＜第一実施例の変形例２＞
上記実施例では、料理教室サーバ１００Ａには教師側レンジフード端末２００Ｔと生徒側レンジフード端末２００Ｓが電気通信により接続されているが、これに限定されない。本変形例では、教師側レンジフード端末２００Ｔと生徒側レンジフード端末２００Ｓの代わりに、料理の指導を行う教師が使用する教師側情報処理装置と教師から料理の指導を受ける生徒が使用する生徒側情報処理装置が使用される。
教師側情報処理装置および生徒側情報処理装置は、撮像した画像および集音した音を料理教室サーバに送信する送信部を備える、所謂高機能なスマートフォンなどの汎用的な端末であってよい。料理教室サーバは、これらの多数の端末装置からのアクセスを受け付ける情報処理装置（所謂サーバ）である。料理教室サーバは、これらの端末装置から受信した画像および音に基づき工程の区分を判定する判定部を備える。
判定部が、生徒側情報処理装置が送信した画像および音の中に、教師側情報処理装置が送信した画像および音に基づき判定した工程の区分と同じ区分が有ると判定した場合、料理教室サーバは、判定結果を教師側情報処理装置に送信する。これによれば、教師側が設定した各工程を生徒側で完了したことを料理教室サーバが判定し、この判定結果を教師側に通知することで、生徒の料理の進行状況を教師が確認できる料理教室システムを提供することができる。また、料理教室システムは、自動的に生徒側の料理の進行状況を判定できるので、１対１ではない場合であっても教師は各生徒の進行状況を確認できる。１対多での指導が可能な効率性及び利便性の高い料理教室システムの提供が可能となる。
＜第一実施例の変形例３＞
上述したことは、料理の指導を行う教師が使用する教師側レンジフード端末２００Ｔと、教師側レンジフード端末２００Ｔと電気通信を介して直接的または間接的に接続され、教師から料理の指導を受ける生徒が使用する生徒側レンジフード端末２００Ｓと、を備える料理教室システム１Ａにおける方法でもある。この方法は、
教師側レンジフード端末２００Ｔにおいて、撮像した画像および集音した音に基づき工程の区分を判定し、この工程の区分毎に画像および音を生徒側レンジフード端末２００Ｓに送信し、
生徒側レンジフード端末２００Ｓにおいて、教師側レンジフード端末２００Ｔから受信した画像および音を出力し、この出力と並行してまたはこの出力の後に撮像した画像および集音した音を教師側レンジフード端末２００Ｔに送信し、
教師側レンジフード端末２００Ｔにおいて、生徒側レンジフード端末２００Ｓが送信した画像および／または音の中に、教師側レンジフード端末２００Ｔが送信した画像および音に基づき判定した工程の区分と同じ区分の有無を判定する、
方法である。これによれば、教師側が設定した各工程を生徒側で完了したことを判定することで、生徒の料理の進行状況を教師が容易に確認できる料理教室システム１Ａの方法を提供することができる。
＜第二実施例＞
図１９乃至図２７を参照し、本実施例におけるレンジフードシステム１の一形態であるレシピ情報作成支援システム１Ｂを説明する。レシピ情報作成支援システム１Ｂは、レンジフードサーバ１００の一形態であるレシピ情報サーバ１００Ｂと、レシピ情報サーバ１００Ｂと電気通信を介して接続されたレンジフード端末２００を備える。
レンジフード端末２００は、図１０に示すような、下方にあるコンロＢＮ、調理台ＣＴ、流し台ＳＫ、冷蔵庫ＲＦなどを撮像するカメラ２４１と、カメラ２４１が撮像した画像をレシピ情報サーバ１００Ｂに送信する送信装置２１１とを少なくとも備える。レンジフード端末２００は、コンロＢＮ、調理台ＣＴ、流し台ＳＫ、冷蔵庫ＲＦなどに亘って調理者によって行われる調理の状況を上方からカメラ２４１で撮像し、撮像した画像（動画）を通信装置２１０とゲートウェイコントローラ４０１を介してレシピ情報サーバ１００Ｂに送信する。なお、カメラはコンロＢＮのまっすぐ上の方（垂直上方向）に設置されるものに限られない。キッチン空間での調理情報データ及び調理動作データを取得できる任意の位置に設置できればよい。例えば、調理台ＣＴの上部、流し台ＳＫの上部にそれぞれ設けるようにしてもよい。また、本実施例においてカメラ（撮像装置）との関係で「上方」や「下方」という用語は、まっすぐ上の方やまっすぐ下の方だけではなく、斜め上方や斜め下方も含む広い領域を含むものとする。
また、レンジフード端末２００は、音声を集音するマイク２４２をさらに備え、送信装置２１１は、マイク２４２が集音した音声をレシピ情報サーバ１００Ｂに送信することが好ましい。画像情報に加えて音声情報も含めてレシピ情報を作成することができるからである。また、レンジフード端末２００は、レシピ情報サーバ１００Ｂの送信部１１１が送信したレシピ情報と画像や音声を受信する受信装置２１２と、受信装置２１２が受信した画像を表示可能なディスプレイ２５１と、受信装置２１２が受信した音声を出力可能なスピーカ２５２と、を備えることが好ましい。別途情報処理装置を用意せずに、レシピ情報サーバ１００Ｂに格納されているレシピ情報をレンジフード端末２００で再生することができ、レシピを見ながらコンロや料理台で調理をすることができるからである。
レシピ情報サーバ１００Ｂは、レンジフード端末２００の送信装置２１１が送信した画像をネットワーク３００を介して受信する受信部１１２と、受信部１１２が受信した画像から、料理材料の種類を含む調理情報データと料理材料に対して行う動作を含む調理動作データを抽出する情報抽出部１２１と、調理情報データと調理動作データを時刻情報と関連付けて記憶する記憶部１３０と、記憶部１３０に記憶された調理情報データと調理動作データに基づき、目的語と述語を含む文章を生成する文章生成部１２２と、文章生成部１２２が生成した文章を１工程として構成する工程作成部１２３と、工程作成部１２３が構成した工程を、時刻情報に基づき時系列の複数の工程を含むレシピ情報として構成するレシピ情報作成部１２４と、を備える。
情報抽出部１２１は、画像認識技術と音声認識技術を用いて、レンジフード端末２００から送信されてきた画像と音声の一方または両方から調理情報データと調理動作データを抽出する。なお、調理情報データとは、料理材料の種類所謂食材、その分量、その状態や動きなどを含むものであり、調理動作データとは、調理者が料理材料に対して行う動作、その動作に用いる道具、その動作の時間などを含むものである。また、情報抽出部１２１がデータを抽出する、レンジフード端末２００から送信されてきて受信部１１２が受信した画像と音声は、受信部１１２が受信した画像や音声から直接抽出してもよいし、受信後一旦記憶部１３０に格納した画像音声から抽出してもよい。
情報抽出部１２１に用いる画像認識技術は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などの多層ニューラルネットワークを使用する深層学習手法（ディープラーニング）の公知の技術を使用する。しかし、これに限定されず、サポートベクトルマシンやベイジアンネットワークなどの公知の技術を使用してもよい。情報抽出部１２１は、画像と音声（音）から調理情報データと調理動作データを検出できる学習済みモデルを備える。画像の学習済みモデルは、２次元の画像データを１ピクセルごとの色情報（色調や階調）に分解し、１ピクセルのそれぞれに対応した入力層に画像を入力すると、出力層においてその画像が何を写した画像なのかを物体認識をするように学習されており、認識した物体を確率情報付きテキスト情報で出力する。また、画像の学習済みモデルは、認識した物体が画像の中でどの位置にあるのかを予測する物体検出を行うように学習されている。音声の学習済みモデルは、発音辞書を含む音響モデルと言語モデルを有し、音声情報を確率情報付きテキスト情報に変換する。
画像の学習済みモデルにおける食材認識は、調理者の手や道具と認識される物体により取り上げられたり、放されたりしたタイミングなど、その食材の特徴量が明瞭に表れた際の画像（動画の１フレーム）に基づき行われてもよいし、近接して連続する複数の画像に基づき候補となる食材の中から該当する食材として最もスコアの高い食材を選択することにより行われてもよい。食材認識の学習は、予め特徴の出やすいまな板に置いた状態を撮像した画像で行われることが好ましい。たとえば、同じ薄切りした豚肉であっても、まな板の上に置いた状態で、こま切れ、ロース、もも、バラなどの部位の画像を教師画像として学習させたモデルは、これらを識別して認識できる。なお、同じもも肉でも、鶏肉のもも肉は、牛肉のもも肉・豚肉のもも肉に対して認識容易であるが、牛肉のもも肉と豚肉のもも肉は画像だけは認識が難しい場合がある。このような場合、レシピを作成するために調理の様子を撮像集音する際、調理者が「牛肉のもも肉」と発声することで、そのような音声情報を利用して食材を認識することが可能になる。
また、画像の学習済みモデルにおける動作認識は、連続した画像に基づき、調理者が調理者の手や道具と認識される物体により食材などに対して行う動作を直接的に認識し、または、食材の移動や食材の状態の変化を通じて食材に対して行う動作を間接的に認識する。たとえば、レシピ情報に含まれるコンロＢＮ上での料理の動作としては、加える・混ぜる・掛ける、焼く・炒める・揚げる、茹でる・煮る・蒸すなどが挙げられる。動作認識は、近接した連続画像だけでなく、後述する工程を跨いだ程度の時間的に離れた画像との文脈を考慮して認識されることが好ましい。
たとえば、加える・混ぜる・掛けると認識するためには、この行為以前に別の食材が認識され、その食材に新たな食材を容器などに追加する行為である。また、焼く・炒める・揚げるという行為は、この行為以前に油が容器などに追加されていて、通常その油が熱せられ、その状態で食材に加えられる行為である。また、茹でる・煮る・蒸すという行為は、この行為以前に水や湯が容器などに追加されていて、その状態で食材に加えられる行為である。焼く・炒める・揚げるという行為の区別は、それぞれの音が異なるので、集音した音を補助的に利用してもよい。また、加える・混ぜる・掛ける、茹でる・煮る・蒸すなどの行為は、画像認識だけでは難しい場合があるので、音声情報を利用して行為を認識することが可能になる。また、類似する概念でもレシピ情報として豊かな表現を生成する場合、たとえば、焼くという概念でも、あぶる、網焼き、直火焼き、きつね色に焼く、焦げ目を付ける、表面を焼く、ソテーするなどの音声情報と組み合わせることで可能となる。なお、情報抽出部１２１は、調理分野特有の固有表現を含む音声辞書を有しておくと精度が向上する。
また、情報抽出部１２１の抽出精度を向上させるために、レンジフード端末２００に設けられた照明２５３を利用することができる。画像認識においては、対象物までの撮影距離、照度条件等が画像認識の精度にかかわってくる。ここで、キッチンに固定設置されるレンジフード端末２００の場合、対象物までの距離（例えば、カメラから鍋に入っている食材までの距離）が一定であることから撮影距離の条件を一定にでき、レンジフード端末２００に備えられた照明２５３を制御することで画像認識の精度向上の補助をすることができる。例えば、レンジフード端末２００が人体の移動を考慮して照度を変更したり、キッチン空間の他の照明の状態を考慮してゲートウェイコントローラ４０１がレンジフード端末２００の照明２５３に照度変更の指示を出したり、調理台エリアＫにおいて認識が難しい食材投入が予想されるときには予め照度を上げておくといった制御が考えられる。なお、ゲートウェイコントローラ４０１を利用して照度変更を行う場合は、照明レベル設定プロパティを用いて制御されることが好ましい。照明レベル設定プロパティでは0x00～0x64(0～100%)を指定して照度レベルの設定が可能である。
図１９と図２０を参照して、情報抽出部１２１の画像認識と音声認識により調理情報データと調理動作データを抽出する方法を具体的に説明する。なお、カメラ２４１は、赤外線撮像素子を備え、コンロＢＮに配置されたフライパンや鍋などの容器とその容器内の食材である料理材料の温度を検出できるものとする。図１９は、かつ丼の調理を想定したものを示す。図１９の左欄は、カメラ２４１が撮像した画像とマイク２４２が集音した音声を示す。なお、この左欄の画像は、コンロＢＮ全体をカバーして写す図１０で示される３口のコンロＢＮの画像の中から、３口の内の１つの五徳に載せられたフライパンを物体検出した状態の画像である。左欄上段の画像は、油が薄く引かれた後にフライパンに玉葱の薄切り片が多数投入されて、菜箸で炒められている状態の画像（動画の１フレーム）である。
右欄上段の画像は、情報抽出部１２１が左欄上段の画像を画像認識し、多数の玉葱片と菜箸を物体検出した状態を示す（太枠部分）。情報抽出部１２１は、物体検出されたフライパンの上に複数の玉葱薄切り片が載せられた画像に基づき、食材として玉葱の薄切り片があることを画像認識により調理情報データとして抽出する。この際、情報抽出部１２１は、画像から得られる薄切り片の分量から、たとえば中玉の玉葱１／２個程度であることを推測してもよい。なお、食材によってその分量を推測することが困難な場合には、後述するように音声情報から補充して調理情報データとして抽出してもよい。また、カメラ２４１は赤外線撮像素子を備えているので、情報抽出部１２１は、フライパンの温度（この例では１６０℃）を調理情報データとして抽出する。
また、情報抽出部１２１は、近接した連続画像に基づき、菜箸の先端が行ったり来たり移動すると共にその動きに合わせてその先端近傍の玉葱片が行ったり来たり移動することを認識し、調理動作データとして菜箸で炒めることを抽出する。なお、前提として、フライパンに玉葱片を投入する前に油が投入されていることを画像認識しているものとする。また、情報抽出部１２１は、炒めていることを画像だけからではなく、炒めている音や調理者の「炒める」との発声音（音声情報）に基づき料理材料に対して行う動作を調理動作データとして抽出してもよい
左欄中段の画像は、炒められた玉葱片の上に４切れのとんかつが載せられ、計量カップから液体がフライパンに加えられる状態の画像（動画の１フレーム）である。玉葱片が炒められたことは、情報抽出部１２１が赤外線撮像素子付きのカメラ２４１により玉葱片の温度情報を読み取ったり、玉葱片の色の変化を読み取ったりすることにより抽出可能である。このように、情報抽出部１２１は、コンロＢＮに配置されたフライパンなどの容器に加えその容器内の料理材料の温度情報を調理情報データとして抽出してもよい。このように、コンロＢＮに配置された容器とその容器内の料理材料の温度情報を調理情報データとして抽出することで、温度情報を含む文章を生成することができる。
右欄中段の画像は、情報抽出部１２１が左欄中段の画像を画像認識し、玉葱片の上に載せられた４切れのとんかつを物体検出し、さらに計量カップを物体検出した状態を示す（太枠部分）。情報抽出部１２１は、物体認識された４切れのとんかつの画像に基づき、食材として４切れのとんかつがあることを画像認識により調理情報データとして抽出する。さらに、情報抽出部１２１は、物体認識された計量カップに入れられた液体が投入される画像に基づき、食材として何らかの液体調味料が加えられたことを画像認識により調理情報データとして抽出する。
図２０を参照して、画像認識により調理情報データとして調味料の種類と分量の情報を抽出する方法を説明する。調味料は、計量カップや計量スプーンにより分量を量られて食材に加えられることが多く、レシピ情報を作成する上ではその分量を明確にすることは重要である。本図では、たとえば、調味料などの種類と分量を表す特定器具を用いる例を示す。小さじ（５ｍｌ）の柄にはカメラ２４１が撮像し易い位置である上面に５ｍｌの分量を示すマーク（黒丸が１つ）が付されている。これにより、このマークが付いた小さじで加えられる調味料は、情報抽出部１２１の画像認識により５ｍｌの分量であることが明確になる。同様に、大さじ（１５ｍｌ）の柄には１５ｍｌの分量を示すマーク（黒丸が２つ）が付されている。これにより、このマークが付いた大さじで加えられる調味料は、情報抽出部１２１の画像認識により１５ｍｌの分量であることが明確になる。また、計量カップの側面には三角マークが１以上付されており、調理者が三角マークをカメラ２４１に撮像されるように上に向けて調味料を加えることで、情報抽出部１２１の画像認識によりその三角マークの個数によりその調味料の分量が明確になる。本例では、三角マーク１つにつき、１００ｍｌを意味している。
また、この特定器具では、調味料の種類を表すマーク（醤油は三日月形、水は稲妻形など）が決められており、カメラ２４１がこれらのマークを撮像し、情報抽出部１２１が画像認識することにより、特定器具により加えられる調味料などの種類が明確になる。このような画像認識できる特定器具を用いることで、調味料の種類と分量が明確に認識可能となる。本図の上段左の画像データ（１２２．ｊｐｇ）では、三角マークが２つと三日月形マークを画像認識により検出できるので、情報抽出部１２１は、この画像から、２つの三角マークに関連付けられた２００ｍｌという情報と、三日月形マークに関連付けられた醤油という情報に基づいて、フライパンに２００ｍｌの醤油が加えられることを認識し、調理情報データとして抽出する。
また、本図の上段中央の画像データ（１２３．ｊｐｇ）では、黒丸マークが２つと三日月形マークを画像認識により検出できるので、情報抽出部１２１は、この画像から、２つの黒丸マークに関連付けられた大さじ１杯という情報と、三日月形マークに関連付けられた醤油という情報に基づいて、フライパンに大さじ１杯の醤油が加えられることを認識し、調理情報データとして抽出する。また、本図の上段右の画像データ（１２４．ｊｐｇ）では、三角マークが３つと稲妻形マークを画像認識により検出できるので、情報抽出部１２１は、この画像から、３つの三角マークに関連付けられた３００ｍｌという情報、稲妻形マークに関連付けられた水という情報に基づいて、フライパンに３００ｍｌの水が加えられることを認識し、調理情報データとして抽出する。このように、特定の器具を認識しそれから得られる情報を含むことで、調味料等、画像から料理材料の種類と量を抽出するのが困難なものであっても、調理情報データ情報の抽出が容易になり、精度の高いレシピが作成可能になる。なお、特定器具は、これに限定されず、器具の形状、大きさ、色、材質などにより、調味料などの種類と分量を示してもよい。
図１９の右欄中段の画像から計量カップに入れられた液体がたとえば醤油だしと認識され、それが食材として加えられたことを調理情報データとして抽出する。さらに、情報抽出部１２１は、この画像に近接した連続画像に基づき、計量カップがとんかつの周囲を回るように移動すると共にその動きに合わせて液体が流しかけられるように移動することを認識し、調理動作データとして計量カップで調味料が回しかけられることを抽出する。また、情報抽出部１２１は、回しかけていることを画像だけからではなく、「回し掛ける」との発声音に基づき料理材料に対して行う動作を調理動作データとして抽出してもよい。なお、本例ではこの中段の１つの画像に基づき、とんかつという食材と計量カップによる醤油だしという食材を投入する画像認識を行っているが、とんかつ投入時にとんかつという食材を認識し、計量カップによる醤油だしの投入時に醤油だしという食材を認識してもよい。
左欄下段の画像は、炒められた玉葱片の上に載せられ醤油だしに浸った４切れのとんかつに、カップから溶き卵がフライパンに加えられる状態の画像（動画の１フレーム）である。醤油だしやとんかつが熱くなっていることは、情報抽出部１２１が赤外線撮像素子付きのカメラ２４１によりそれらの温度情報を読み取ることで抽出可能である。このように、情報抽出部１２１は、コンロＢＮに配置されたフライパンなどの容器に加えその容器内の料理材料の温度情報を調理情報データとして抽出してもよい。
右欄下段の画像は、情報抽出部１２１が左欄下段の画像を画像認識し、炒められた玉葱片の上に載せられ醤油だしに浸った４切れのとんかつの周りに流動物をかけるカップを物体検出した状態を示す（太枠部分）。情報抽出部１２１は、物体認識されたカップの画像と、同じタイミングに調理者が発声した「卵を回しかけて」という音声情報に基づき、食材として卵があることを調理情報データとして抽出する。また、調理者は、「１個分の溶き卵」と発声することで、卵の分量と状態を抽出してもよい。また、情報抽出部１２１は、右欄中段の画像と同様に、近接した連続画像に基づき、カップがとんかつの周囲を回るように移動すると共にその動きに合わせて流動物が流しかけられるように移動することを認識し、調理動作データとしてカップで溶き卵が回しかけられることを抽出する。また、情報抽出部１２１は、回しかけていることを画像だけからではなく、「回し掛ける」との発声音に基づき料理材料に対して行う動作を調理動作データとして抽出してもよい。
情報抽出部１２１の画像と音声の学習済みモデルは、認識した物体を確率情報付きテキスト情報で出力するが、その確率が高くない場合は、その物体の認識精度が高くないことを示している。物体の認識精度が高くない場合、情報抽出部１２１が抽出する情報の抽出精度も悪くなり、正確なレシピ情報を作成できない。そこで、レシピ情報サーバ１００Ｂは、情報抽出部１２１が抽出した情報の抽出精度を評価する評価部１２７を制御部１２０に備えて、画像に写った物体から抽出した情報の抽出精度を評価することが好ましい。レシピ情報サーバ１００Ｂは、評価部１２７により抽出した情報の抽出精度が所定の閾値以下であると評価された場合にその評価結果を送信部１１１からレンジフード端末２００へ送信する。所定の閾値は、たとえば認識した物体の確率情報が７０％以下としてもよいし、画像と音声の認識精度と組み合わせた閾値としてもよい。
レンジフード端末２００は、受信装置２１２でその評価結果を受信した場合、評価結果に応じた催促情報を報知する報知部を備えることが好ましい。評価結果に応じた催促情報とは、物体をほとんど認識できない場合（たとえば確率情報が１０％以下）にはその旨、物体を認識できたが間違っている可能性が大きい場合（たとえば確率情報が５０％以下）にはその旨を示す情報である。なお、報知部は、スピーカ２５２にビープ音などを鳴動させることで催促情報を報知してもよいし、ディスプレイ２５１にメッセージを表示することで催促情報を報知してもよい。たとえば、物体をほとんど認識できない場合、スピーカ２５２は継続的なビープ音を鳴動し、ディスプレイ２５１は警告メッセージを表示し、物体が認識できたが間違っている可能性が大きい場合、スピーカ２５２は断続的なビープ音を鳴動し、ディスプレイ２５１は注意メッセージを表示する。このような催促情報を受けた調理者は、情報抽出部１２１が認識しやすいように食材を置き直したり、動作をやり直したり、発話をし直したりする。このように、画像だけでは料理の材料や動作の抽出精度が低い場合、レシピ情報作成支援システム１Ｂは、調理者へ催促情報を報知することで、再度認識しやすい調理状態を再現したり、明瞭な音声を発するように促すことができ、精度の高いレシピを作成することができる。
図２１を参照して、記憶部１３０が調理情報データおよび調理動作データとして記憶するテーブル（調理情報等記憶テーブル）を説明する。記憶部１３０は、情報抽出部１２１が抽出した調理情報データと調理動作データを時刻情報と関連付けて記憶する。調理情報等記憶テーブルは、第１カラムにユーザＩＤを記憶する。本例では、ユーザＩＤにはすべてＦ００１というユーザの識別番号が記憶されている。第２カラムは、情報抽出部１２１が画像認識や音声認識により食材や調理者の動作を認識した時刻を記憶し、上から下に向けて時間が経過している。第３カラムは、情報抽出部１２１がその時刻に物体認識した食材の種類、第４カラムは、その食材の分量、第５カラムは、情報抽出部１２１の音声認識によりその時刻に得られた食材に関する補足情報、第６カラムは、情報抽出部１２１の画像認識によりその時刻に認識した動作、第７カラムは、情報抽出部１２１の音声認識によりその時刻に得られた動作に関する補足情報、第８カラムは、情報抽出部１２１が物体認識したフライパンなどの鍋の温度の情報、第９カラムは、物体認識した食材の容器の種類（鍋、フライパン等）、第１０カラムは、食材と動作を取得したカメラ２４１のＩＤをそれぞれ記憶する。
本例の調理情報等記憶テーブルの最初のレコードは、調理台ＣＴの上（図１０におけるエリアＫ）を撮像するカメラＩＤがＫのカメラ２４１により12/26 16:39に撮像された情報を格納している。このレコードは、カメラ２４１（カメラＩＤがＫ）は、食材である半分の玉葱に対して切るという動作が行われているところ撮像し、マイク２４２は、同時刻に切るという動作を補充するために発生された「薄切りにする」という内容が補充されていることを示している。また、１分後の次のレコードは、同じことが継続していることを示している。
次の一連のレコードは、コンロＢＮの上（図１０におけるエリアＧ）を撮像するカメラＩＤがＧのカメラ２４１が撮像した内容を格納している。これらの最初のレコードは、図１９の右欄上段で示した画像認識により、情報抽出部１２１が12/26 16:43に食材として１／２個の分量の玉葱の薄切りを物体認識したことを示し、食材の容器を物体認識したフライパンのその時の温度が１６０℃であることを示している。そして、調理情報等記憶テーブルは、２分後の12/26 16:45に情報抽出部１２１が玉葱の薄切りを菜箸で炒める動作を認識したことを示している。
また、調理情報等記憶テーブルは、図１９の右欄中段で示した画像認識により、情報抽出部１２１が12/26 16:53に食材として４切れのとんかつを物体認識したことを示し、その時のフライパンの温度が１３０℃であることを示している。そして、調理情報等記憶テーブルは、１分後の12/26 16:54に情報抽出部１２１が調味料を入れた計量カップを物体認識し、その計量カップから液体の調味料が流れ出て回し掛ける動作を認識したことを示している。
また、調理情報等記憶テーブルは、図１９の右欄下段で示した画像認識により、情報抽出部１２１が12/26 17:01に食材として卵１個を入れたカップを物体認識し、そのカップは回るように移動し、そのカップから流動物が流れ出て回る動作を認識することを示している。また、それと共に、調理情報等記憶テーブルは、音声情報を補足情報として用いることでその流動物は卵（溶き卵）であり、カップが回る動作は、卵を回し掛ける動作であることを示している。
文章生成部１２２は、上述したように画像および音声から抽出され、記憶部１３０に記憶された調理情報データと調理動作データに基づき文章を生成する。文章生成部１２２による文章の生成方法は、公知の技術を用い、特に限定されない。レシピ情報では、文章の主体は重要でないため省略されるのが普通である。文章生成部１２２は、食材をどう処理する、食材にどのような動作を加える、容器に食材を入れる、食材に別の食材を加えるといった、少なくとも、目的語に食材（分量を含む）または容器と、述語に動作や状態変化を含む文章を生成する。より好ましくは、文章生成部１２２は、動作が継続する時間や、動作に使用される道具・器具が動作等に係る文章を生成する。このような単純な文章の場合、文章生成部１２２は、調理情報等記憶テーブルに記憶された食材の種類と分量のカラムと、動作の種類のカラムから、所定時刻における食材・分量と動作を読み出して、文章のテンプレートに当てはめることで、所謂その時刻の画像のキャプションを文章として生成する。
文章生成部１２２は、深層学習を用いて、動画や音声といった時系列のデータから特徴量を学習することに優れたＬＳＴＭ（Ｌｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ）を利用して作成したニューラルネットワークを含むモデルを有していてもよい。この場合、レシピに関連したテキストを格納したコーパスを備えることで、文章生成部１２２は、レンジフード端末２００が送信した画像音声に基づき直接その画像のキャプションを生成してもよい。また、文章生成部１２２は、記憶部１３０に記憶するための食材の種類や動作を画像音声から抽出しテキスト化すなわちキャプション生成するために、情報抽出部１２１の一部として機能してもよい。
図２２を参照して、文章生成部１２２が生成する文章を説明する。文章生成部１２２は、図２１に示す調理情報等記憶テーブルのレコードの内容に基づきテンプレートに当てはめるようにして文章を生成する。文章生成部１２２は、第３カラムの食材の種類と第４カラムの食材の分量の内容を目的語に、第６カラムの動作の内容を述語に基本的に当てはめる。文章生成部１２２は、第５カラムの食材に関する音声補足情報や第７カラムの動作に関する音声補足情報が存在する場合は、第３カラムの食材の種類や第４カラムの食材の分量の内容、第６カラムの動作の内容を、第５カラムの食材に関する音声補足情報、第７カラムの動作に関する音声補足情報の内容に置き換えて当てはめる。文章生成部１２２は、赤外線撮像素子を備えたカメラ２４１から得られる温度情報、特定器具に関連付けられた調理情報データから得られる情報がある場合、それを含む文章を生成する。文章生成部１２２は、容器の情報がある場合、食材や調味料の場所として当てはめ、動作の情報がない場合は、その場所に「入れる」や「加える」の述語を当てはめる。
最初のレコードは、第３カラムの食材の種類に「玉葱」、第４カラムの食材の分量に「１／２個」、第６カラムの動作に「切る」、第７カラムの動作に関する音声補足情報に「薄切りにする」と記憶しているので、文章生成部１２２は、「玉葱 １／２個 を 薄切り にします」という文章を生成する。次の一連のレコードには、第３カラムの食材の種類に「玉葱薄切り」、第４カラムの食材の分量に「１／２個」、第６カラムの動作にブランク、第８カラムの容器の温度に「１６０℃」、第９カラムの容器に「フライパン」と記憶しているので、文章生成部１２２は、「フライパン を １６０℃に 加熱 します」という文章を生成する。
次の一連のレコードには、第３カラムの食材の種類に「玉葱薄切り」、第４カラムの食材の分量に「１／２個」、第６カラムの動作にブランク、第８カラムの容器の温度に「１６０℃」、第９カラムの容器に「フライパン」と記憶しているので、文章生成部１２２は、「フライパン に 玉葱 １／２個を 入れます」という文章を生成する。さらに次の２つのレコードには、第６カラムの動作に「菜箸で炒める」、他のカラムは同じ内容を記憶しているので、文章生成部１２２は、「フライパン に 玉葱 １／２個を、菜箸で ２分 炒め ます」という文章を生成する。なお、「２分」は、画像等の取得日時から計算する。
次の一連のレコードには、第３カラムの食材の種類に「とんかつ」、第４カラムの食材の分量に「４切れ」、第６カラムの動作にブランク、第８カラムの容器の温度に「１３０℃」、第９カラムの容器に「フライパン」と記憶しているので、文章生成部１２２は、「フライパン に とんかつ ４切れ を 入れ ます」という文章を生成する。次のレコードには、第３カラムの食材の種類に「とんかつ、調味料」、第４カラムの食材の分量に「４切れ、１カップ」、第６カラムの動作に「カップ回し掛ける」、第８カラムの容器の温度に「１３０℃」、第９カラムの容器に「フライパン」と記憶しているので、文章生成部１２２は、「フライパン に 調味料 １カップ を 回し入れ ます」という文章を生成する。
次の一連のレコードには、第３カラムの食材の種類に「とんかつ」、第４カラムの食材の分量に「４切れ」、第６カラムの動作にブランク、第８カラムの容器の温度に「１４０℃」、第９カラムの容器に「フライパン」と記憶しているので、文章生成部１２２は、「フライパン を 中火 に 加熱 して ５分 熱し ます」という文章を生成する。なお、「５分」は、画像等の取得日時から計算する。また、「中火」については後述する。次のレコードには、第３カラムの食材の種類に「とんかつ、卵」、第４カラムの食材の分量に「４切れ、一個」、第５カラムの食材に関する音声補足情報に「溶き卵」、第６カラムの動作に「卵回し掛ける」、第７カラムの動作に関する音声補足情報に「回しかけて」、第８カラムの容器の温度に「１４０℃」、第９カラムの容器に「フライパン」と記憶しているので、文章生成部１２２は、「溶き卵 を 回しかけ ます」という文章を生成する。
工程作成部１２３は、文章生成部１２２が生成した文章を１工程として構成する。１工程とは、レシピ情報に従い調理を遂行する上での１つのまとまった作業単位（ステップ）であり、表現としては通常１または複数の述語を含むものを言う。工程作成部１２３は、１つの述語を含む文章を１工程としてもよい。上述した文章生成部１２２が生成した文章は全部で８つの文章からなるので、工程作成部１２３は、１つの述語を含む１つの文章を１工程として、８つの工程を作成してもよい。すなわち、この場合、工程作成部１２３は、
「玉葱 １／２個 を 薄切り にします」という文章を第１工程とし、
「フライパン を １６０℃に 加熱 します」という文章を第２工程とし、
「フライパン に 玉葱 １／２個を 入れます」という文章を第３工程とし、
「フライパン に 玉葱 １／２個を、菜箸で ２分 炒め ます」という文章を第４工程とし、
「フライパン に とんかつ ４切れ を 入れ ます」という文章を第５工程とし、
「フライパン に 調味料 １カップ を 回し入れ ます」という文章を第６工程とし、
「フライパン を 中火 に 加熱 して ５分 熱し ます」という文章を第７工程とし、
「溶き卵 を 回しかけ ます」という文章を第８工程として構成する。
一方、文章は分かれていても調理を行う作業としてはまとまっている場合、複数の工程に分けて表現するより、１つの工程（作業単位）として表現する方が分かり易い。たとえば、前段落では第３工程と第４工程とした「フライパン に 玉葱 １／２個を 入れます」と「フライパン に 玉葱 １／２個を、菜箸で ２分 炒め ます」という２つの工程は、一連の１つのまとまった作業単位として表現する方がレシピ情報を読みながら料理を遂行する者にとって分かり易い。したがって、文章生成部１２２が生成した文章の区切りと、実際の１つのまとまった作業単位としての工程の区切りとは一致しない場合がある。したがって、工程作成部１２３は、以下のように工程を区切り、文章生成部１２２が生成した複数の文章を１工程として構成することが好ましい。
このために、レンジフード端末２００は、図１０に示す調理エリアにおける人体を検知する人感センサ２６２と、調理時に発生する臭いの基となる化学物質や都市ガスが燃焼した際に発生する二酸化炭素（ＣＯ２）などの調理雰囲気情報を検知するＣＯ２／臭いセンサ２６３（調理雰囲気情報検知部）と、を備えることが好ましい。人感センサ２６２は、コンロエリア（エリアＧ）、調理台エリア（エリアＫ）、流し台エリア（エリアＳ）、冷蔵庫エリア（エリアＲ）に存在する人を区別して検知する公知のセンサである。また、ＣＯ２／臭いセンサ２６３は、特定の化学物質やＣＯ２を検知する公知のセンサである。レンジフード端末２００の送信装置２１１は、人感センサ２６２とＣＯ２／臭いセンサ２６３が検知した検知結果をレシピ情報サーバ１００Ｂに送信する。なお、送信装置２１１は、当該検知結果を送信する際、レンジフード端末２００の動作状態や換気風量設定などの制御情報を送信することが好ましい。送信装置２１１は、図９に示すプロパティ情報として、これらの情報を送信することが好ましい。
これらのプロパティ情報を受信したレシピ情報サーバ１００Ｂは、記憶部１３０においてこれらの検知結果や制御情報を時刻情報と関連付けて記憶する。そうすると、レシピ情報サーバ１００Ｂは、人の移動やＣＯ２等の検知結果およびレンジフード端末２００の制御情報と、調理情報等記憶テーブルに格納されているレシピ情報とを時間軸により照合することができる。
たとえば、図２１の調理情報等記憶テーブルでは、文章生成部１２２はカメラＩＤがＫのカメラ２４１が調理台ＣＴの上を12/26 16:39から12/26 16:40の間に撮像した画像などにより「玉葱 １／２個 を 薄切り にします」という文章を作成すると共に、人感センサ２６２は調理者が調理台ＣＴ付近にいることを検知する。調理情報等記憶テーブルでは、次の作業としてフライパンを加熱することが示されているが、実際は、調理者は、調理台ＣＴの前からコンロＢＮの前に移動し、レンジフード端末２００の運転を開始し、コンロＢＮを点火するという行為と作業を行う。
レンジフード端末２００は、人感センサ２６２により調理者が調理台ＣＴ付近からコンロＢＮ付近に移動したことを検知し、その検知結果をプロパティ情報としてレシピ情報サーバ１００Ｂに送信することで、工程作成部１２３は工程を区切る契機にすることが可能になる。また、レンジフード端末２００は、ＣＯ２／臭いセンサ２６３により調理者がコンロＢＮを点火したことを検知し、その検知結果をプロパティ情報としてレシピ情報サーバ１００Ｂに送信することで、工程作成部１２３は工程を区切る契機にすることが可能になる。また、レンジフード端末２００は、自分の制御情報により運転開始を検知し、その検知結果をプロパティ情報としてレシピ情報サーバ１００Ｂに送信することで、工程作成部１２３は工程を区切る契機にすることが可能になる。このような調理者の場所の移動、作業の変化、状態の変化、関連する機器の作動状況の変化などを工程を区切る契機（サイン）として用いることで、工程の区切りを明確化することが可能となり、レシピを見ながら料理を行う者にとって分かり易い工程を含むレシピを作成することが可能になる。
図２２では、「玉葱 １／２個 を 薄切り にします」という文章と「フライパン を １６０℃に 加熱 します」という文章の間には上述した契機が存在しているので、工程作成部１２３はこの間に工程の区切りがあると判断し、「玉葱 １／２個 を 薄切り にします」という文章を１つの工程（工程１）としていることを示す。また、「フライパン を １６０℃に 加熱 します」という文章と「フライパン に 玉葱 １／２個を 入れます」という文章の間には、調理者の移動はないもののフライパンの温度変化が生じているので、工程作成部１２３はこの間に工程の区切りがあると判断し、「フライパン を １６０℃に 加熱 します」という文章を１つの工程（工程２）としている。
また、「フライパン に 玉葱 １／２個を 入れます」という文章と「フライパン に 玉葱 １／２個を、菜箸で ２分 炒め ます」という文章の間には、調理者の移動はなく、また「入れる」作業から「炒める」作業は一連として続くものであり、また目的語も共通するため、工程作成部１２３はこの間に工程の区切りがあると判断しない。そのため、図２２は、第３工程とした「フライパン に 玉葱 １／２個を 入れます」と、第４工程とした「フライパン に 玉葱 １／２個を、菜箸で ２分 炒め ます」を１つの工程（工程３）として併合し、この２つの文章を２つの述語を含む１つの文章「フライパン に 玉葱 １／２個 を 入れ、菜箸で ２分 炒め ます」にしたことを示す。
また、「フライパン に 玉葱 １／２個 を 入れ、菜箸で ２分 炒め ます」という文章と「フライパン に とんかつ ４切れ を 入れ ます」という文章の間には、とんかつという食材を手に取るために調理者はコンロＢＮの前（図１０におけるエリアＧ）から調理台ＣＴの周辺（同図におけるエリアＫ）に移動し、またコンロＢＮの火力を弱めるので、工程作成部１２３はこの間に工程の区切りがあると判断し、「フライパン に 玉葱 １／２個 を 入れ、菜箸で ２分 炒め ます」という文章を１つの工程（工程３）としている。また、「フライパン に とんかつ ４切れ を 入れ ます」という文章と「フライパン に 調味料 １カップ を 回し入れ ます」という文章の間には、調味料（醤油だし）を冷蔵庫から取り出すため調理者はコンロＢＮの前から冷蔵庫ＲＦの周辺に移動するので、工程作成部１２３はこの間に工程の区切りがあると判断し、「フライパン に とんかつ ４切れ を 入れ ます」という文章を１つの工程（工程４）としている。
また、「フライパン に 調味料 １カップ を 回し入れ ます」という文章と「フライパン を 中火 に 加熱 して ５分 熱し ます」という文章の間には、調理者はコンロＢＮの火力を強める作業をするので、工程作成部１２３はこの間に工程の区切りがあると判断し、「フライパン に 調味料 １カップ を 回し入れ ます」という文章を１つの工程（工程５）としている。また、「フライパン を 中火 に 加熱 して ５分 熱し ます」という文章と「溶き卵 を 回しかけ ます」という文章の間には、卵を冷蔵庫から取り出すため調理者はコンロＢＮの前から冷蔵庫ＲＦの周辺に移動し、コンロＢＮの火力を弱める作業をするので、工程作成部１２３はこの間に工程の区切りがあると判断し、「フライパン を 中火 に 加熱 して ５分 熱し ます」という文章を１つの工程（工程６）としている。「溶き卵 を 回しかけ ます」という文章は、最後の文章なので、最後の工程（工程７）としている。
図２３に示すように、レンジフード端末２００は、人感センサ２６２で検知した人の移動情報を契機プロパティＰ１として、コンロＢＮの火力の代用値であるＣＯ２／臭いセンサ２６３が検知したＣＯ２の濃度情報および自身の動作状態などの制御情報を契機プロパティＰ２として、レシピ情報サーバ１００Ｂに送信する。契機プロパティＰ１／Ｐ２は、調理情報データおよび調理動作データと同様に時刻情報と関連付けられており、調理情報データおよび調理動作データから生成された文章と時系列的に整合性を有するため、工程の区切りとして機能する。なお、コンロＢＮのオン／オフ、火力の強中弱などの程度は、ＣＯ２／臭いセンサ２６３が検知する都市ガスが燃焼した際に発生する二酸化炭素（ＣＯ２）の濃度により間接的に検知してもよい。これにより、ＣＯ２濃度の情報に基づくコンロＢＮの操作情報を含む文章を生成し、かかる情報も含めたレシピ情報を作成することができる。
レシピ情報作成部１２４は、工程作成部１２３が構成した工程を、時刻情報に基づき時系列の複数の工程を含むレシピ情報として構成する。図２２の例によれば、レシピ情報作成部１２４は、時刻の古い方から工程１⇒工程２⇒工程３⇒工程４⇒工程５⇒工程６⇒工程７の順序に並んだレシピ情報を構成し、１つのレシピを作成する。また、レシピ情報を構成する際の工程の区分は、時刻情報によって細かくも粗くもすることが可能である。例えば、図２２で１工程とされている工程６を「フライパンを中火にします」と「フライパンを５分加熱します」に細かく区分することも可能であるし、工程２と工程３と工程４を１工程にして「フライパンに玉葱ととんかつと調味料１カップを入れます」のように粗く区分して生成してもよい。この場合、サーバが家庭独自のレシピを把握し、レシピの骨格部分である場合は細かく生成、一般的な調理工程の場合は粗く生成するようにすることで実現できる。家庭独自のレシピを把握するには、例えば、年配者ＩＤが付与された画像に関しては家庭独自のレシピとして記憶することにより実現できる。
上述したように、画像から分別して抽出した調理情報データと調理動作データに基づき文章を生成し、その文章を１工程として構成すると共に構成した１工程を時系列に順序化し、料理の材料や複数の工程を含む調理法を記したレシピ情報として構成することで、レシピの手順を自分で入力するなどの面倒な作業を伴うことなく、調理動作を含む調理工程全体をとらえたレシピを容易に作成できるレシピ情報作成支援システム１Ｂを提供することができる。また、音声からも調理情報データと調理動作データを分別して抽出し、画像および音声の両方から抽出された調理情報データと調理動作データに基づき文章を生成することで、画像だけでは不明瞭な料理の材料や動作をより明確にして、精度の高いレシピを作成することができる。
レシピ情報サーバ１００Ｂは、記憶部１３０に、受信部１１２が受信した動画（一連の画像）と音声の一方または両方を記憶する画像音記憶部１３１を備えてもよい。画像音記憶部１３１は、大容量の動画と音声を格納するため、ストレージ等の外部記憶装置３２から構成することが好ましい。レンジフード端末２００から要求がある場合、レシピ情報サーバ１００Ｂは、送信部１１１から記憶している動画および／または音声と作成したレシピ情報をそのレンジフード端末２００に送信する。レンジフード端末２００は、受信装置２１２でそのレシピ情報と動画および／または音声を受信すると、ディスプレイ２５１は動画に合わせてレシピ情報を表示し、および／または、スピーカ２５２は、レシピ情報に合わせて音声を出力する。図２４は、ディスプレイ２５１が工程７の動画と、それに対応するレシピ情報「溶き卵を回しかけます」という文章を表示している例を示す。このように、レシピ情報サーバ１００Ｂに格納されているレシピ情報を、ディスプレイ２５１およびスピーカ２５２を備えるレンジフード端末２００で再生することで、別途情報処理装置を用意せずにレシピを参照しながらコンロＢＮや調理台ＣＴで調理を行うことができる。また、ディスプレイ２５１は、調理の工程をタイムラプス画像または倍速またはスローモーションで表示してもよい。これにより、要点だけを手短に工程を理解することができ、また分かりにくい部分をゆっくり見ることができる。
また、工程作成部１２３は、１工程の時間内に含まれる画像（動画の１フレーム）を文章生成部１２２が生成した文章と共に含めてその１工程として構成してもよい。図２４は、ディスプレイ２５１が工程７のレシピ情報を工程７に含まれる画像と共に表示している例でもある。このように、１工程の時間内に含まれる画像を文章と共にその１工程として構成することで、自ら料理状況の表す写真を撮るなどの面倒な作業を伴うことなく、レシピを使用する者にとって分かり易いレシピを作成することができる。
図２５～図２７を参照し、レシピ情報作成支援システム１Ｂの制御方法を説明する。なお、ＳＴはステップを意味する。レンジフード端末２００は、ＳＴ５００において、調理者により、レシピを作るためのレシピ生成モードに設定される。レンジフード端末２００は、レシピ生成モードになるとゲートウェイコントローラ４０１に信号を送信し、ゲートウェイコントローラ４０１は、レンジフード端末２００の動作状態とメディア機器の動作状態について読み出し要求を行う。レンジフード端末２００は、読み出し要求を受信すると、動作状態がオンであることを示すプロパティ情報（プロパティＩＤ0x80における0x30のプロパティ値）と、カメラ２４１などのメディア機器の動作がオンであることを示すプロパティ情報（プロパティＩＤ0xB9における0x50）を送信する。
ゲートウェイコントローラ４０１は、ＳＴ５０２において、レンジフード端末２００の状態が準備できていると判断し、レシピ生成モードをセットアップし、レシピ情報サーバ１００Ｂにセットアップ指示を送信する。レシピ情報サーバ１００Ｂは、ＳＴ５０４において、レシピ情報の生成に向けた、制御部１２０の必要なコンポーネントの起動や画像音記憶部１３１の領域確保などの準備を行い、レシピ生成モードを開始し、準備が完了した旨をゲートウェイコントローラ４０１を介してレンジフード端末２００に送信する。
レンジフード端末２００は、ＳＴ５０６において料理状況を撮像集音すると共に契機プロパティなどのプロパティ情報を収集する。レンジフード端末２００は、ＳＴ５０８において、ゲートウェイコントローラ４０１を介して、撮像集音した画像音声とプロパティ情報を含む料理状況データをレシピ情報サーバ１００Ｂに定期的に送信する。レシピ情報サーバ１００Ｂは、料理状況データを受信すると、ＳＴ５１０において、レシピ情報を生成する。レシピ情報の生成の詳細は、図２６に示される。
レシピ情報サーバ１００Ｂの受信部１１２は、ＳＴ５１０２において、料理状況の画像音声とプロパティ情報を含む料理状況データを受信する。レシピ情報サーバ１００Ｂの情報抽出部１２１は、ＳＴ５１０４において、受信した画像音声から調理情報データと調理動作データを抽出する。レシピ情報サーバ１００Ｂの評価部１２７は、ＳＴ５１０６において、情報抽出部１２１が抽出したデータの抽出精度が所定の閾値以下か否かを評価し、その閾値以下であると評価すると、評価結果をレンジフード端末２００に送信する。レンジフード端末２００は、ＳＴ５１２において、評価結果を受信するか否かを確認しており、評価結果を受信すると、ＳＴ５１４において報知部で報知する。
評価部１２７がデータの抽出精度が所定の閾値を超えると評価した場合、記憶部１３０は、ＳＴ５１０８において、受信した画像音声とプロパティ情報、抽出した調理情報データと調理動作データを記憶する。文章生成部１２２は、ＳＴ５１１０において、記憶した調理情報データと調理動作データに基づき、目的語と述語を含む文章を生成する。工程作成部１２３は、ＳＴ５１１２において、文章生成部１２２が生成した文章を１工程として構成する。工程作成部１２３は、図２７に示す工程区切時刻情報設定処理ＳＴ５２０を実行する。
工程作成部１２３は、ＳＴ５２２において、記憶したプロパティ情報の中から契機プロパティを読み出す。契機プロパティは、人感センサ２６２で検知した人の移動情報を含む契機プロパティ（その他）Ｐ１と、ＣＯ２／臭いセンサ２６３が検知したＣＯ２の濃度情報や自身の動作状態などの制御情報を含む契機プロパティ（エリア移行検知等）Ｐ２である。工程作成部１２３は、ＳＴ５２４において、契機プロパティ（その他）Ｐ１が工程区切条件を満たすか否かを確認する。この工程区切条件とは、関連する機器の作動状況に変化が生じたことである。工程区切条件を満たす場合、工程作成部１２３は、ＳＴ５３２において、工程区切りを満たした契機プロパティ（その他）Ｐ１が発生したまたは受信した時刻を時刻情報としてセットし、工程と工程の間の該当する区切として採用し、工程を作成する。
工程区切条件を満たさなかった場合、工程作成部１２３は、ＳＴ５２６において、契機プロパティ（その他）Ｐ１の時刻と同じ時間帯の契機プロパティ（エリア移行検知等）Ｐ２を検索する。また、工程作成部１２３は、ＳＴ５２８において、記憶した画像の中から契機プロパティ（エリア移行検知等）Ｐ２の時刻の近傍の時刻の画像を検索する。工程作成部１２３は、ＳＴ５３０において、契機プロパティ（エリア移行検知等）Ｐ２の変化および検索した画像における変化の程度が所定の閾値以上か否かを確認する。契機プロパティ（エリア移行検知等）Ｐ２の変化とは、調理者の場所の移動などを言い、たとえば調理者が調理台ＣＴの前からコンロＢＮの前に移動するなど図１０に示すエリアを跨いで移動した場合、所定の閾値以上であると判定する。また、画像における変化とは、調理者の作業の変化などを言い、例えばフライパンに加え計量カップを新たに物体認識したような場合、所定の閾値以上であると判定する。
変化の程度が所定の閾値以上であると判定した場合、工程作成部１２３は、ＳＴ５３２において、工程区切りを満たした契機プロパティ（エリア移行検知等）Ｐ２が発生したまたは受信した時刻を時刻情報としてセットし、工程と工程の間の該当する区切として採用し、工程を作成する。変化の程度が所定の閾値以上であると判定しなかった場合、工程作成部１２３は、工程区切時刻情報設定処理ＳＴ５２０においては工程を作成しない。この場合、工程作成部１２３は、ＳＴ５１１２において、文章生成部１２２が生成した１文章を１工程として構成してもよい。レシピ情報作成部１２４は、ＳＴ５１１４において、工程作成部１２３が構成した工程を、時刻情報に基づき時系列の複数の工程を含むレシピ情報として構成する。
レシピ情報の生成が完了すると、レシピ情報サーバ１００Ｂは、レシピ生成モードから通常のモードに戻り、レンジフード端末２００へレシピ情報の完了を通知する。レンジフード端末２００近傍にいる調理者は、その通知を認識して、レシピ情報の内容を確認するため、レンジフード端末２００に完了したレシピ情報を出力するように要求する。レンジフード端末２００は、ＳＴ５１６において、調理者からその要求を受け付けると、レシピ情報出力要求をレシピ情報サーバ１００Ｂへ送信する。レシピ情報サーバ１００Ｂは、その要求を受信すると、上述したように工程に区分されたレシピ情報をレンジフード端末２００へ送信する。レンジフード端末２００は、ＳＴ５１８において、ディスプレイ２５１などにレシピ情報を表示する。調理者は、自分が実演した調理のレシピが作成されているか検査することができる。上述してきたように、調理者は、レシピの手順を自分で入力するなどの面倒な作業を伴うことなく、調理動作を含む調理工程全体をとらえたレシピを容易に作成できる。
＜第二実施例の変形例１＞
上述したレシピ情報作成支援システム１Ｂは、下記のような情報処理装置によっても実施可能である。かかる情報処理装置は、コンロＢＮおよび調理台ＣＴの上方に配置されコンロＢＮおよび調理台ＣＴの内少なくともコンロを撮像するカメラと、カメラが撮像した画像から、料理材料の種類を含む調理情報データと料理材料に対して行う動作を含む調理動作データを抽出する情報抽出部と、調理情報データと調理動作データを時刻情報と関連付けて記憶する記憶部と、記憶部に記憶された調理情報データと調理動作データに基づき、目的語と述語を含む文章を生成する文章生成部と、文章生成部が生成した文章を１工程として構成する工程作成部と、工程作成部が構成した工程を、時刻情報に基づき時系列の複数の工程を含むレシピ情報として構成するレシピ情報作成部と、を備える。なお、これらの各構成要素は、上述した対応する各構成要素と同じ機能を有する。このように、画像から分別して抽出した調理情報データと調理動作データに基づき文章を生成し、その文章を１工程として構成すると共に構成した１工程を時系列に順序化し、料理の材料や複数の工程を含む調理法を記したレシピ情報として構成することで、レシピの手順を自分で入力するなどの面倒な作業を伴うことなく、調理動作を含む調理工程全体をとらえたレシピを容易に作成できる情報処理装置を提供することができる。
＜第二実施例の変形例２＞
また、上述したレシピ情報作成支援システム１Ｂは、下記のようなレンジフード端末２００によっても実施可能である。かかるレンジフード端末２００は、下方にあるコンロＢＮおよび調理台ＣＴの内少なくともコンロＢＮを撮像するカメラ２４１と、カメラ２４１が撮像した画像から、料理材料の種類を含む調理情報データと料理材料に対して行う動作を含む調理動作データを抽出する情報抽出部２２１と、調理情報データと調理動作データを時刻情報と関連付けて記憶するメモリ２３０と、メモリ２３０に記憶された調理情報データと調理動作データに基づき、目的語と述語を含む文章を生成する文章生成部２２２と、文章生成部２２２が生成した文章を１工程として構成する工程作成部２２３と、工程作成部２２３が構成した工程を、時刻情報に基づき時系列の複数の工程を含むレシピ情報として構成するレシピ情報作成部２２４と、を備える。なお、これらの各構成要素は、上述した対応する各構成要素と同じ機能を有する。このように、画像から分別して抽出した調理情報データと調理動作データに基づき文章を生成し、その文章を１工程として構成すると共に構成した１工程を時系列に順序化し、料理の材料や複数の工程を含む調理法を記したレシピ情報として構成することで、レシピの手順を自分で入力するなどの面倒な作業を伴うことなく、調理動作を含む調理工程全体をとらえたレシピを容易に作成できるレンジフード端末２００を提供することができる。
＜第二実施例の変形例３＞
上述したことは、レシピ情報の作成を支援する方法でもある。この方法は、コンロＢＮおよび調理台ＣＴの内少なくともコンロＢＮを撮像する撮像し、撮像した画像から、料理材料の種類を含む調理情報データと料理材料に対して行う動作を含む調理動作データを抽出し、調理情報データと調理動作データを時刻情報と関連付けて記憶し、記憶された調理情報データと調理動作データに基づき、目的語と述語を含む文章を生成し、生成した文章を１工程として構成し、構成した工程を、時刻情報に基づき時系列の複数の工程を含むレシピ情報として構成する。これによれば、レシピの手順を自分で入力するなどの面倒な作業を伴うことなく、調理動作を含む調理工程全体をとらえたレシピを容易に作成できる方法を提供できる。
＜第三実施例＞
図２８乃至図３４を参照し、本実施例におけるレンジフードシステム１の一形態であるレンジフード情報システム１Ｃを説明する。レンジフード情報システム１Ｃは、レンジフードサーバ１００の一形態であるレンジフード情報サーバ１００Ｃと、電気通信のネットワーク３００を介してレンジフード情報サーバ１００Ｃと接続されたレンジフード２００とを備える。
図７に示すように、レンジフード２００は、下方にあるコンロＢＮを撮像する赤外線撮像素子付きのカメラ２４１と、レンジフード２００近傍にいる調理者の音声やコンロＢＮで行われる調理の音を集音するマイク２４２と、コンロＢＮで行われる調理により発生する油煙濃度を検知する油煙センサ２６１と、カメラ２４１が撮像した画像、マイク２４２が集音した音、および油煙センサ２６１が検知した油煙濃度をレンジフード情報サーバ１００Ｃにネットワーク３００を介して送信する送信装置２１１と、レンジフード情報サーバ１００Ｃから捕獲能力に関する情報をネットワーク３００を介して受信する受信装置２１２と、受信装置２１２が受信した油煙の捕獲能力に関する情報に基づき油煙の捕獲能力を制御するＲＨ制御部２２９と、を備える。
また、図５に示すように、レンジフード情報サーバ１００Ｃは、レンジフード２００の送信装置２１１が送信した画像、音と油煙濃度を受信する受信部１１２と、受信部１１２が受信した画像、音と油煙濃度を時刻情報と関連付けて記憶する記憶部１３０と、記憶部１３０が記憶した画像や音から、被撮像物の温度や音を含む調理情報データと該被撮像物に対して行う動作を含む調理動作データを抽出する情報抽出部１２１と、記憶部１３０に記憶された油煙濃度と調理情報データおよび調理動作データとの相関モデルを機械学習する油煙学習部１２６１と、受信部１１２が受信した画像や音から情報抽出部１２１が抽出する調理情報データおよび調理動作データと油煙学習部１２６１が学習した相関モデルに基づき、発生する油煙濃度を予測する油煙発生情報予測部１２８１と、油煙発生情報予測部１２８１が予測した油煙発生情報に基づいて、油煙の捕獲能力に関する情報をレンジフード２００の受信装置２１２に送信する送信部１１１と、を備える。
油煙センサ２６１は、コンロＢＮの火力を使って調理をする際に発生する油煙を検知する。なお、調理に油を使うと油煙は発生するので、コンロＢＮは、火を使わないＩＨ調理器（Ｉｎｄｕｃｔｉｏｎ Ｈｅａｔｉｎｇ、電磁調理器）や電熱線を使ったものも含むものとする。油煙センサ２６１は、コンロＢＮ上のたとえばフライパン等の容器から立ち上りファン２０２により吸い込まれる油煙を含む空気に含まれる油分の情報（油煙情報）を検知する。油煙センサ２６１が検知する油煙情報とは、油煙を含む空気に含まれる油分の量、油分の濃度、油煙粒子の形状・大きさ・個数、油煙の分布、油煙の拡散範囲の内のいずれか１つまたはこれらの任意の組み合わせである。検知方法は、光散乱式、ピエゾバランス式といった粒子計測、重量検知式などの公知の検知技術を用いる。
油煙センサ２６１は、本実施例では、図６に示すように、コンロＢＮの上方に設けられたフード２０１の下面であって、カメラ２４１の近傍に備えられる。この例における油煙センサ２６１は、光散乱式が好ましく、カメラ２４１の撮像領域と同じ領域にある油煙濃度や油煙の油煙拡散範囲を検知することができる。別の検知方式による油煙センサ２６１は、油煙を含む空気の流路上にあってもよい。また、本実施例においてカメラ２４１との関係で「上方」や「下方」という用語は、まっすぐ上の方やまっすぐ下の方だけではなく、斜め上方や斜め下方も含む広い領域を含むものとする。
ＲＨ制御部２２９は、レンジフード情報サーバ１００Ｃから得られる油煙の捕獲能力に関する情報に基づき油煙の捕獲能力を制御する。油煙の捕獲能力とは、コンロＢＮから立ち上る油煙を含む空気をフード２０１で捕集・捕獲し、屋外に排気する能力であり、ＲＨ制御部２２９は、たとえばファン２０２を回転駆動する給排気モータ２７１の回転速度を制御する。これによる油煙の捕獲能力に関する情報とは、典型的にはレンジフード２００の排気風量の強中弱などのレベルである。また、レンジフード２００が油分を捕獲するための回転フィルタ２０４を備える場合、油煙の捕獲能力とは、油煙を含む空気をフード２０１で捕集・捕獲し、その空気から油分を取り除く能力であり、ＲＨ制御部２２９は、たとえば回転フィルタ２０４を回転駆動するフィルタモータ２７２の回転速度を制御する。これによる油煙の捕獲能力に関する情報とは、典型的には回転フィルタ２０４の回転速度の高低のレベルである。ＲＨ制御部２２９は、マイクロプロセッサ２２０に記憶され実行されるマイクロソフトウェアであってもよい。
レンジフード情報サーバ１００Ｃは、受信部１１２でレンジフード２００が送信した一連の画像（動画）、音と油煙濃度を受信すると、その画像、音と油煙濃度を時刻情報と関連付けて記憶部１３０に記憶する。記憶部１３０は、これらの画像と音声の一方または両方を記憶するストレージ等の外部記憶装置３２から構成される画像音記憶部１３１を備えてもよい。なお、時刻情報は、その画像、音と油煙濃度をレンジフード情報サーバ１００Ｃで受信した時刻でもよいし、レンジフード２００でその画像を撮像、音を集音、油煙を検知した時刻であってもよい。後者の場合は、レンジフード２００から画像等に合わせて時刻情報も送信する。時刻情報は、いずれであってもよいが、いずれかに統一されている。以降では、時刻情報は、その画像、音と油煙濃度をレンジフード情報サーバ１００Ｃで受信した時刻として説明する。
情報抽出部１２１は、画像認識技術と音声認識技術を用いて、記憶部１３０が記憶した画像や音から調理情報データと画像に写った撮像物に対して行う動作を含む調理動作データを抽出する。情報抽出部１２１が赤外線撮像素子付きのカメラ２４１により被撮像物の温度情報を読み取ることで抽出可能である。このように、情報抽出部１２１は、コンロＢＮに配置されたフライパンなどの容器や、その容器内の料理材料の温度情報を調理情報データとして抽出する。また、情報抽出部１２１は、調理情報データとして、食材や調味料（油を含む）、その分量、その状態や動きなど、調理動作データとして、調理者が料理材料に対して行う動作、その動作に用いる道具、その動作の時間などを抽出する。情報抽出部１２１における調理情報データおよび調理動作データの抽出方法の詳細は、上記実施例を参照されたい。
調理動作データは、加える・混ぜる・掛ける、焼く・炒める・揚げるなどの料理の動作だけではなく、図４１に示すような、食材を容器の中に開放するような動作や食材を容器の上で把持している動作など、食材を容器に投入するための予備動作を含むことが好ましい。このような予備動作の直後に実際に食材が容器に投入されて、油煙が発生する可能性が大きいからである。また、同じ食材でも水分が付着した物と付着していない物とでは、投入した時に油煙の発生量が大きく異なる場合があるが、画像認識だけでは水分付着の有無を認識することが困難な場合、投入時の音の大きさを検知することにより油煙の発生をいち早く検知することが可能になる。このように、音から調理情報データを抽出することで、画像だけでは不明瞭な情報をより明確にして、高い精度で、好適なタイミングで食材や料理方法等に合わせて油煙等を捕集し、排気する能力を適合させることができる。また、光散乱式の油煙センサ２６１は、油煙濃度だけでなく油煙の油煙拡散範囲を検知することができる。油煙拡散範囲は、図４２に示すように、狭域、中域、広域などのように検知可能であり、フード２０１で油煙を捕獲し室内に拡散させないためには重要な情報となる。
油煙学習部１２６１は、レンジフード２００の油煙センサ２６１で検知され、記憶部１３０に記憶された油煙濃度と、情報抽出部１２１で抽出された調理情報データおよび調理動作データとの相関モデルを機械学習により生成する。この相関モデルの生成には、機械学習アルゴリズムとしてディープラーニングを用いることが好ましいが、特にこれに限定されるものではない。この相関モデルの学習フェーズにおいて、情報抽出部１２１で抽出された調理情報データおよび調理動作データと、その調理情報データ等を受信した時刻から数秒間の時刻情報を有する油煙濃度が、教師データとして用いられる。調理情報データ等の時刻以降数秒間の油煙濃度とするのは、調理動作データの事象が原因となる油煙が発生し始めてから、上昇拡散し、油煙センサ２６１が検知することができる時間がその程度の時間がかかる場合があるからである。
調理情報データは、フライパンなどの容器の温度、容器内の油の有無または分量、その容器に入れられる／入れられた食材の温度、食材の種類、食材分量、食材状態（塊り状態、小断片状態など）などである。調理動作データは、容器自体または容器内の食材に対して行う動作、その動作に用いる道具、その動作の時間などである。調理情報データと調理動作データにおいて数値情報ではないものについては、ベクトル化しておく。たとえば、食材種類ベクトルとして、
（鶏肉、豚肉、牛肉、・・・、玉葱、キャベツ、人参、・・・、油、醤油、・・・）
と定義した場合において、情報抽出部１２１が豚肉と玉葱と油の存在を抽出した場合、
（０、１、０、・・・、１、０、０、・・・、１、０、・・・）
と油煙学習部１２６１に入力される。
油煙学習部１２６１は、ある時刻におけるこれらの調理情報データ／調理動作データと、目標とするラベルとしてその時刻以降の数秒間に検知した油煙濃度とを学習用データセットとして入力を受け付ける。油煙学習部１２６１は、調理情報データ／調理動作データからマップされる予想油煙濃度とラベルの油煙濃度の最大値との誤差が生ずると、監修により予測モデルのニューラルネットワークにおけるパラメータを修正していくことにより学習を行う。この学習は、所謂教師あり学習だが、これに限定されず、たとえば誤差が所定値以内だと大きな報酬を与え所定値以上だと報酬を与えないなどの所謂強化学習により学習してもよい。
油煙発生情報予測部１２８１は、受信部１１２が受信するリアルタイムの画像・音情報から情報抽出部１２１が抽出する調理情報データおよび調理動作データと、油煙学習部１２６１が学習した相関モデルに基づき、発生する油煙濃度を予測する。すなわち、油煙発生情報予測部１２８１は、受信部１１２で受信した画像等を入力された情報抽出部１２１が出力する調理情報データおよび調理動作データを入力データセットとして受け付け、油煙学習部１２６１が学習した相関モデルを用いて、発生する油煙濃度を予測して出力する。油煙発生情報予測部１２８１は、後述する捕獲能力予測部２２８２と同様、油煙濃度の予測に加えて、その予測油煙濃度に対応するために必要な捕獲能力を予測してもよい。
図２８～図３０を参照して、油煙学習部１２６１の学習フェーズにおけるレンジフード情報システム１Ｃの制御を説明する。レンジフード２００は、ＳＴ６０１において、調理する食材と動作によりどの程度の油煙が発生するか学習させるために、自動的に風量が変更されないよう手動モードで所定風量（たとえば「弱」）にセットされる。コンロＢＮは、ＳＴ６９１において料理のために点火され、点火したことを示すデータをレンジフード２００に送信する。この状態で、調理者は、料理を開始する。なお、レンジフード２００が学習フェーズに移行する契機は、上述のように所定風量にセットされたときに移行するだけでなく、操作部２４３のモード設定により移行してもよいし、レンジフード２００がホームドメインに接続されてから所定期間を学習フェーズとしてセットするようにしてもよい。
レンジフード２００は、ＳＴ６２０Ｇにおいて、調理状況を検出する。図２９に示すように、レンジフード２００は、ＳＴ６２０４において、コンロＢＮがオンされた否かを確認し、オンされていなければ処理を終了する。オンされていれば、レンジフード２００は、ＳＴ６２０６において、カメラ２４１やマイク２４２などのメディア機器により画像や音を撮像集音する。レンジフード２００は、ＳＴ６２０８において、油煙センサ２６１により調理により発生した油煙濃度や油煙拡散範囲を検知する。レンジフード２００は、ＳＴ６２１０において、メディア機器と油煙センサ２６１で取得したデータをレンジフード情報サーバ１００Ｃに送信する。
レンジフード情報サーバ１００Ｃは、ＳＴ６３０において、学習処理を行う。図３０に示すように、レンジフード情報サーバ１００Ｃは、ＳＴ６３１において、レンジフード２００からのデータを受信部１１２で受信し、記憶部１３０でそのデータを記憶する。レンジフード情報サーバ１００Ｃの情報抽出部１２１は、ＳＴ６３２において、記憶部１３０から画像や音を読み出し、調理情報データおよび調理動作データを抽出する。レンジフード情報サーバ１００Ｃの油煙学習部１２６１は、ＳＴ６３４において、時系列に順次抽出した調理情報データおよび調理動作データと、その調理情報データ等の時刻情報以降の記憶部１３０に記憶された油煙濃度等を教師データセットとして入力を受け付け、ニューラルネットワークのパラメータを修正し、相関モデルを生成する。油煙学習部１２６１は、ＳＴ６３６において、レンジフード２００から送られてきたデータをすべて入力されたか否か確認し、まだデータが残っている場合にはＳＴ６３２とＳＴ６３４をデータがなくなるまで繰り返す。データがなくなったら、レンジフード情報サーバ１００Ｃは、ＳＴ６３７において、学習が完了したことをレンジフード２００に送信して、終了する。
レンジフード２００は、ＳＴ６３８において、ディスプレイ２５１やスピーカ２５２等のメディア機器に学習完了を出力する。コンロＢＮは、ＳＴ６９２において、調理者により消火されると消化したことを示すデータを送信する。レンジフード２００は、その消化の旨のデータを受信すると、ＳＴ６０９において風量をオフにして、運転を終了する。なお、レンジフード情報サーバ１００Ｃで実行される学習処理は、レンジフード情報サーバ１００Ｃに接続されている多数のホームドメイン内のレンジフード２００から受信するデータに基づいて学習を行うことが可能である。このようにして生成される相関モデルは、大規模データ（所謂ビッグデータ）に基づき学習できるため確度の高いモデルとなる。
図３１～図３３を参照して、レンジフード２００が通常運転時のレンジフード情報システム１Ｃの制御を説明する。レンジフード２００は、ＳＴ６０３において、通常の料理をするため、油煙濃度に応じて自動的に風量が変更されるよう風量オートモードにセットされる。コンロＢＮは、ＳＴ６９１において料理のために点火され、点火したことを示すデータをレンジフード２００に送信する。この状態で、調理者は、料理を開始する。
レンジフード２００は、ＳＴ６２０において、調理状況を検出する。図３２に示すように、レンジフード２００は、ＳＴ６２０２において、風量オートモードにあるか否かを確認する。レンジフード２００が油煙の発生の状況に応じて風量を自動的に制御できることを確認するためである。風量オートモードでなければ処理を終了する。レンジフード２００は、ＳＴ６２０４において、コンロＢＮがオンされた否かを確認し、オンされていなければ処理を終了する。オンされていれば、レンジフード２００は、ＳＴ６２０６において、カメラ２４１やマイク２４２などのメディア機器により画像や音を撮像集音する。レンジフード２００は、ＳＴ６２１０において、メディア機器で取得した画像や音のデータをレンジフード情報サーバ１００Ｃに送信する。
レンジフード情報サーバ１００Ｃは、ＳＴ６４０において、油煙相関判定処理を行う。図３３に示すように、レンジフード情報サーバ１００Ｃは、ＳＴ６４０２において、風量を指示するための風量指示フラグを初期設定（クリア）する。レンジフード情報サーバ１００Ｃは、ＳＴ６４０４において、レンジフード２００からのデータを受信部１１２で受信する。レンジフード情報サーバ１００Ｃの情報抽出部１２１は、ＳＴ６４０６において、受信部１１２から画像や音のデータを受け付け、調理情報データおよび調理動作データを抽出する。
油煙発生情報予測部１２８１は、ＳＴ６４０８において、受信した画像・音情報から情報抽出部１２１がリアルタイムに抽出した調理情報データおよび調理動作データを油煙学習部１２６１が生成した相関モデルに入力することにより、受信した調理状況において数秒以内に発生するであろう油煙濃度を予測する。油煙発生情報予測部１２８１は、ＳＴ６４１０において、予想した油煙濃度に対応する風量指示フラグを決定する。油煙発生情報予測部１２８１は、たとえば、予想油煙濃度が所定第１値以上の場合は風量指示フラグを３（「風量強」を示す）に、予想油煙濃度が所定第１値未満所定第２値以上の場合は風量指示フラグを２（「風量中」を示す）に、予想油煙濃度が所定第２値未満の場合は風量指示フラグを１（「風量弱」を示す）に、決定する。なお、所定第１値＞所定第２値である。油煙発生情報予測部１２８１は、ＳＴ６４１２において、決定した風量指示フラグをレンジフード２００に送信する。
レンジフード２００は、ＳＴ６６０において、油煙の捕獲能力に関する情報として受信装置２１２で風量指示フラグを受信し、ＲＨ制御部２２９で風量指示フラグに基づき風量を制御し、コンロＢＮから立ち上り始める油煙を含む空気を捕集・捕獲する。レンジフード２００は、調理者が調理している間、調理状況検出処理（ＳＴ６２０）と風量制御処理（ＳＴ６６０）を行う。このように、リアルタイムの画像等から分別して抽出した調理情報データおよび調理動作データと学習済みの油煙の相関モデルに基づいて油煙の捕獲能力を制御することで、油煙が立ち上る前に先回りするなど好適なタイミングで食材や料理方法等に合わせて油煙等を捕集し、排気する能力を適合させるレンジフード情報システム１Ｃを提供することができる。
情報抽出部１２１が赤外線撮像素子付きのカメラ２４１から得られるフライパンなどの容器や容器の中の食材の温度が所定温度（たとえば１２０℃）以上である旨を含む調理情報データを抽出し、また、その所定温度以上の容器や食材に対して所定の動作を行った旨を含む調理動作データを抽出した場合、油煙発生情報予測部１２８１は、大きな油煙濃度を予測し、それに対応して大きな風量を決定するので、ＲＨ制御部２２９は、油煙の捕獲能力を向上させる。容器や食材に対する所定の動作とは、加える・混ぜる・掛けるなどの料理の動作だけではなく、食材を容器の中に開放するような動作や食材を容器の上で把持している動作などの食材を容器に投入するための予備動作を含むものである。
このように、画像から分別して抽出した調理情報データと調理動作データにおいて、所定温度以上の被撮像物に対して所定の動作を行った場合に油煙の捕獲能力を向上させることで、大量の油煙が発生する場合であっても、そのような油煙に先回りして好適なタイミングで食材や料理方法等に合わせて油煙等を捕集し、排気する能力を適合させることができる。
また、情報抽出部１２１は、カメラ２４１が撮像した画像およびマイク２４２が集音した音から、料理材料の種類と量を含む調理情報データと、料理材料に対して行う動作を含む調理動作データを抽出する。料理材料が油分の多い食材であったり、その量が多い場合には、油煙が多く発生したりする可能性が大きい。このように、画像と音声の両方から抽出された調理情報データと調理動作データを抽出することで、捕集排気能力をいつもより増強するなどより高い精度で適合させることができる。
料理が終わると、コンロＢＮは、ＳＴ６９２において、調理者により消火されると消化したことを示すデータを送信する。レンジフード２００は、その消化の旨のデータを受信すると、ＳＴ６８０において、風量のモードを手動モードに変更し、運転を終了する。また、調理後であっても、たとえば、ゲートウェイコントローラ４０１に接続されたキッチン室内の臭いセンサなどが、ＳＴ６９３において、換気をした方がよい程度の臭いを検知すると、ゲートウェイコントローラ４０１を介してレンジフード情報サーバ１００Ｃへセンサ値の情報を送信してもよい。レンジフード情報サーバ１００Ｃは、このセンサ値情報を受信すると、ＳＴ６９４においてレンジフード２００の排気運転をするか否かを判定し、必要な場合には排気運転の指示を送信する。レンジフード２００は、ゲートウェイコントローラ４０１を介してその排気運転指示を受信すると、ＳＴ６９５において、ファン２０２を回転させて臭いを室外に排気する残置運転を行う。
なお、図３１では、レンジフード２００が取得した調理状況の画像等をレンジフード情報サーバ１００Ｃへ送信し、レンジフード情報サーバ１００Ｃの油煙発生情報予測部１２８１が発生する油煙濃度を予測する例を述べた。しかし、これに限定されず、図３４のように、レンジフード情報サーバ１００Ｃで学習させた相関モデルをレンジフード２００にダウンロードしておき、レンジフード２００のマイクロプロセッサ２２０上で実行される情報抽出部２２１と油煙発生情報予測部２２８１が、ダウンロードした相関モデルを用いて、取得した調理状況の画像等に基づき油煙濃度を予測してもよい。
図３４が示すように、レンジフード情報サーバ１００Ｃは、学習処理（ＳＴ６３０）を行った後、学習済み相関モデルをレンジフード２００に送信する。レンジフード２００は、ＳＴ６０４において、受信した相関モデルをメモリ２３０に記憶する。風量オートモードにセットし（ＳＴ６０２）、コンロＢＮが点火し（ＳＴ６９１）、調理が開始されると、レンジフード２００は、調理状況検出処理（ＳＴ６２０）を実行する。メディア機器が調理状況の画像や音のデータを取得すると、レンジフード２００はそのデータをレンジフード情報サーバ１００Ｃに送信せず、レンジフード２００上で油煙相関判定処理（ＳＴ６４０）を行う。ＲＨ制御部２２９は、油煙相関判定処理で出力される風量指示フラグを直接受け付け、風量を制御する。
この場合、レンジフード２００は、カメラ２４１と、マイク２４２と、油煙センサ２６１と、カメラ２４１が撮像した画像、マイク２４２が集音した音、および油煙センサ２６１が検知した油煙濃度をレンジフード情報サーバ１００Ｃにネットワーク３００を介して送信する送信装置２１１と、レンジフード情報サーバ１００Ｃから油煙濃度と調理情報データおよび調理動作データとの学習済み相関モデルをネットワーク３００を介して受信する受信装置２１２と、カメラ２４１等が取得した画像等から調理情報データと調理動作データを抽出する情報抽出部２２１と、抽出した調理情報データおよび調理動作データと学習済み相関モデルに基づき、発生する油煙濃度を予測する油煙発生情報予測部２２８１と、油煙発生情報予測部２２８１が予測した油煙の捕獲能力に関する情報に基づき油煙の捕獲能力を制御するＲＨ制御部２２９と、を備える。これによれば、レンジフード２００は、通常運転時にはネットワーク３００を介してレンジフード情報サーバ１００Ｃと通信する必要がなく、より迅速に油煙濃度を予測することができる。
＜第三実施例の変形例１＞
第三実施例では、少なくとも油煙学習部１２６１を有するレンジフード情報サーバ１００Ｃと、レンジフード２００とを備えるレンジフード情報システム１Ｃについて述べた。本変形例は、レンジフード２００が学習処理を行う例である。
この場合、レンジフード２００は、カメラ２４１と、マイク２４２と、油煙センサ２６１と、カメラ２４１が撮像した画像から被撮像物（容器や食材など）の温度や食材などの種類や分量および／またはマイク２４２が集音した音を含む調理情報データとその被撮像物に対して行う動作を含む調理動作データを抽出する情報抽出部２２１と、油煙センサ２６１が検知した油煙濃度と情報抽出部２２１が抽出した調理情報データおよび調理動作データとを時刻情報と関連付けて記憶する調理記憶部２３１と、調理記憶部２３１に記憶された油煙濃度と調理情報データおよび調理動作データとの相関モデルを機械学習する油煙学習部２２６１と、カメラ２４１等のメディア機器が取得した画像等から情報抽出部２２１がリアルタイムに抽出する調理情報データおよび調理動作データと油煙学習部２２６１が学習した相関モデルに基づき、発生する油煙濃度を予測する油煙発生情報予測部２２８１と、取得した画像等から情報抽出部２２１がリアルタイムに抽出する調理情報データおよび調理動作データにより油煙発生情報予測部２２８１が予測した油煙濃度に基づき油煙の捕獲能力を制御し、レンジフード２００の運転を制御するＲＨ制御部２２９と、を備える。
油煙学習部２２６１と油煙発生情報予測部２２８１は、上述したレンジフード情報サーバ１００Ｃの油煙学習部１２６１と油煙発生情報予測部１２８１と同等の機能を備える。このように、調理情報データおよび調理動作データと油煙濃度との相関を予測するように学習し、リアルタイムに抽出した調理情報データおよび調理動作データに対して予測される油煙濃度に基づいて油煙の捕獲能力を制御することで、瞬時に拡散する油煙をも捕集することができ、室内に油煙が拡散することを防止することができる。
＜第三実施例の変形例２＞
図３５乃至図３９を参照し、本変形例のレンジフード２００について説明する。このレンジフード２００は、カメラ２４１と、マイク２４２と、カメラ２４１が撮像した画像から被撮像物（容器や食材など）の温度や食材などの種類や分量および／またはマイク２４２が集音した音を含む調理情報データとその被撮像物に対して行う動作を含む調理動作データを抽出する情報抽出部２２１と、調理情報データおよび調理動作データと油煙濃度の相関を予め定義する油煙濃度相関ルール（油煙情報相関ルール）を記憶する相関ルール記憶部２３２と、情報抽出部２２１が画像等からリアルタイムに抽出した調理情報データおよび調理動作データと相関ルール記憶部２３２に記憶された油煙濃度相関ルールに基づき、発生する油煙濃度を予測する油煙発生情報予測部２２８１と、油煙発生情報予測部２２８１が予測した油煙濃度に基づき油煙の捕獲能力を制御し、レンジフード２００の運転を制御するＲＨ制御部２２９と、を備える。
図３８に示すように、相関ルール記憶部２３２は、食材やその温度などの調理情報データを含むテーブル、予備動作を含む調理動作の調理動作データを含むテーブル、およびこれらと油煙濃度の相関を予め定めた油煙濃度設定テーブル（油煙濃度相関ルール）を記憶する。たとえば、本図に示す例では、調理情報テーブルは、調理物（食材）と調理物の温度により、Ａ／Ｂ／Ｃの３つのグループに分類されている。Ａグループは、発生する油煙濃度が比較的低いもの、Ｂグループは、発生する油煙濃度が中程度のもの、Ｃグループは、発生する油煙濃度が高いものが含まれている。たとえば、Ａグループは、食材としては油・鶏肉、温度としては１２０℃以下を含む。Ｂグループは、食材としては油・豚肉、温度としては１２１℃～２００℃を含む。Ｃグループは、食材としては油・牛肉、温度としては２０１℃以上を含む。
また、調理動作テーブルは、予備動作と調理動作により、ライト／ミドル／ヘビーの３つのグループに分類されている。同様に、ライトは、発生する油煙濃度が比較的低いもの、ミドルは、発生する油煙濃度が中程度のもの、ヘビーは、発生する油煙濃度が高いものが含まれている。たとえば、ライトは、予備動作としてはナシ、調理動作としてはナシ（すなわち動作を伴わない）を含む。ミドルは、予備動作としては「把持する」、調理動作としては「混ぜる」を含む。ヘビーは、予備動作としては「開放する」、調理動作としては「炒める」を含む。
図３９は、抽出した調理情報データおよび調理動作データの例を示す。第１カラムは第２カラム以降のデータを取得した時刻、第２カラムは手動で設定した風量、第３カラムはコンロＢＮの火力の設定、第４カラムはカメラ２４１が撮像したエリアＡの画像名、第５カラムは第４カラムの画像から抽出した食材、第６カラムは第４カラムの画像から抽出した予備動作、第７カラムはカメラ２４１が撮像したエリアＢの画像名、第８カラムは第７カラムの画像から抽出した食材、第９カラムは第７カラムの画像から抽出した調理動作、第１０カラムは第７カラムの画像から抽出された食材の分量、第１１カラムは第７カラムの画像から抽出された食材の温度、第１２カラムは第７カラムの画像から抽出された鍋等の容器の温度を示す。なお、図６に示すように、エリアＢとは、コンロＢＮ上の容器や食材にフォーカスした領域であり、エリアＡとは、コンロＢＮだけでなくより広範囲の領域を言う。予備動作は、エリアＡで行われることが多いため、エリアＡで撮像する画像から抽出される。
油煙発生情報予測部２２８１は、情報抽出部２２１が抽出した調理情報データおよび調理動作データと、相関ルール記憶部２３２に記憶された油煙濃度設定テーブル（油煙濃度相関ルール）に基づき、発生する油煙濃度を予測する。油煙濃度設定テーブルは、調理情報テーブルの分類と調理動作テーブルの分類のマトリックスになっていて、互いの分類が交わるセルに対応する油煙濃度のレベルが定められている。たとえば、情報抽出部２２１が、調理情報がＡグループに属し、調理動作がライトに属する情報を抽出した場合、油煙濃度のレベルはＬＶ０（油煙濃度は極小）と設定されている。また、情報抽出部２２１が、調理情報がＢグループに属し、調理動作がミドルに属する情報を抽出した場合、油煙濃度のレベルはＬＶ２（油煙濃度は中程度）と設定されている。また、情報抽出部２２１が、調理情報がＣグループに属し、調理動作がヘビーに属する情報を抽出した場合、油煙濃度のレベルはＬＶ３（油煙濃度は大）と設定されている。
図３９の例では、時刻17:54:05から18:03:55の間のデータが示されている。情報抽出部２２１が、鍋温度上昇中である17:54:15に油を手に持ち（把持し）、17:54:16に油を鍋の中に注いだ（開放した）ことを抽出したことから、油煙発生情報予測部２２８１は、油煙がＬＶ１で発生すると予測する。次いで17:56:31に、情報抽出部２２１が、豚肉を鍋の中に投入（開放）することを抽出したことから、油煙発生情報予測部２２８１は、油煙濃度が上がる（ＬＶ２）と予測する。次いで17:56:45に、情報抽出部２２１が、豚肉炒め工程を抽出するが、この場合油煙がやや落ち着くため、油煙発生情報予測部２２８１は、油煙濃度は同レベル（ＬＶ２）と予測する。次いで18:03:01に、情報抽出部２２１が、水分を含む野菜を投入することを抽出したことから、油煙発生情報予測部２２８１は、油煙濃度が上がる（ＬＶ３）ことを予測する。次いで18:03:50になると、情報抽出部２２１が、豚肉や玉葱が十分炒められたことを抽出したことから、油煙発生情報予測部２２８１は、油煙濃度が下がる（ＬＶ２）と予測する。
ＲＨ制御部２２９は、油煙発生情報予測部２２８１が予測した油煙濃度のレベルに基づき油煙の捕獲能力を制御し、レンジフード２００の運転を制御する。たとえば、高温になった油が引かれたフライパンに食材を投入してから油煙が発生してレンジフード２００に届くまでには通常１秒程度の時間があり、把持や開放などの予備動作から油煙が届くまでは通常２～５秒程度の時間がある。この時間を利用して、ＲＨ制御部２２９は、画像等から抽出した情報に基づき油煙濃度相関ルールで予測した油煙濃度により捕獲能力を向上させるよう制御する。これにより、レンジフード２００は、瞬時に拡散する油煙をも捕集することができ、室内に油煙が拡散することを防止することができる。
また、図３８に示すように、相関ルール記憶部２３２は、油煙濃度設定テーブルに代えて、風量指示フラグ設定テーブルを備えてもよい。風量指示フラグ設定テーブルは、調理情報テーブルの分類と調理動作テーブルの分類のマトリックスになっていて、互いの分類が交わるセルに対応する油煙捕獲能力を示す風量指示フラグが定められている。たとえば、情報抽出部２２１が、調理情報がＡグループに属し、調理動作がライトに属する情報を抽出した場合、捕獲能力を示す風量指示フラグは０（風量変更なし）と設定されている。また、情報抽出部２２１が、調理情報がＢグループに属し、調理動作がミドルに属する情報を抽出した場合、捕獲能力を示す風量指示フラグは２（風量「中」）と設定されている。また、情報抽出部２２１が、調理情報がＣグループに属し、調理動作がヘビーに属する情報を抽出した場合、風量指示フラグは３（風量「強」）と設定されている。
この場合、相関ルール記憶部２３２は、調理情報データおよび調理動作データと捕獲能力の相関を予め定義する捕獲能力相関ルールを記憶する。また、捕獲能力予測部２２８２は、情報抽出部２２１が抽出した調理情報データおよび調理動作データと、相関ルール記憶部２３２に記憶された捕獲能力相関ルールに基づき、必要な捕獲能力を予測する。また、ＲＨ制御部２２９は、捕獲能力予測部２２８２が予測した捕獲能力に基づき油煙の捕獲能力を制御する。
図３９の例では、同様に、情報抽出部２２１が油を鍋の中に注いだ（開放した）ことを抽出したことから、捕獲能力予測部２２８２は、捕獲能力を向上させる（２＝「中」）必要があると予測する。次いで、情報抽出部２２１が、水分を含む野菜を投入したことを抽出したことから、捕獲能力予測部２２８２は、捕獲能力を向上させる（３＝「強」）必要があることを予測する。次いで、情報抽出部２２１が、豚肉や野菜が十分炒められたことを抽出したことから、捕獲能力予測部２２８２は、捕獲能力を下げてもよい（２＝「中」）と予測する。このように、調理情報データおよび調理動作データと捕獲能力の相関を予め定義した捕獲能力相関ルールに基づき必要な捕獲能力を予測し制御することで、瞬時に拡散する油煙をも捕集することができ、室内に油煙が拡散することを防止することができる。
図３５～図３７を参照して、本変形例におけるレンジフード２００の制御について説明する。レンジフード２００は、ＳＴ６００において、料理中、発生する油煙濃度に応じて自動的に風量が変更されるよう風量オートモードにセットされる。この状態で、調理者は、料理を開始する。レンジフード２００は、ＳＴ６２０Ｒにおいて、調理状況を検出する。図３６に示すように、レンジフード２００は、ＳＴ６２５２において、風量オートモードにあるか否かを確認する。風量オートモードでなければ処理を終了する。風量オートモードであれば、レンジフード２００は、ＳＴ６２５６において、カメラ２４１やマイク２４２などのメディア機器により画像や音を撮像集音する。
レンジフード２００は、ＳＴ６４０Ｒにおいて、油煙相関判定処理を行う。図３７に示すように、レンジフード２００は、ＳＴ６４５２において、風量を指示するための風量指示フラグを初期設定（クリア）する。レンジフード２００の情報抽出部２２１は、ＳＴ６４５４において、撮像集音した画像／音のデータの入力を受け付ける。レンジフード２００は、ＳＴ６４５６において、調理情報データおよび調理動作データを抽出する。
油煙発生情報予測部２２８１は、ＳＴ６４５８において、油煙濃度相関ルールを参照して、撮像集音したリアルタイムの画像・音情報から抽出した調理情報データおよび調理動作データに基づいて発生する油煙濃度を予測する。油煙発生情報予測部２２８１は、ＳＴ６４６０において、予想した油煙濃度に対応する風量指示フラグを決定する。油煙発生情報予測部２２８１は、ＳＴ６４６２において、風量指示フラグが「０」か否か確認する。「０」ならば風量指示フラグをセットせず、すなわち風量を変更せずに処理を終了する。「０」以外ならば、油煙発生情報予測部２２８１は、ＳＴ６４６４において、その値と現在設定中の風量を比較し、同じか否かを確認する。同じならば風量指示フラグをセットしない。同じでないならば、油煙発生情報予測部２２８１は、ＳＴ６４６６において、決定した風量指示フラグをセット、すなわち風量を変更するようにする。
ＲＨ制御部２２９は、ＳＴ６６０において、油煙の捕獲能力に関する情報として風量指示フラグを取得し、風量指示フラグに基づき風量を制御し、コンロＢＮから立ち上り始める油煙を含む空気を捕集・捕獲する。レンジフード２００は、ＳＴ６８０において、風量のモードを手動モードに変更し、運転を終了する。レンジフード２００は、調理者が調理している間、調理状況検出処理（ＳＴ６２０Ｒ）、油煙相関判定処理（ＳＴ６４０Ｒ）、風量制御処理（ＳＴ６６０）を繰り返し実行する。このように、リアルタイムの画像等から分別して抽出した調理情報データおよび調理動作データと予め定められた油煙濃度相関ルールに基づいて油煙の捕獲能力を制御することで、油煙が立ち上る前に先回りするなど好適なタイミングで食材や料理方法等に合わせて油煙等を捕集し、排気する能力を適合させるレンジフード２００を提供することができる。なお、本変形例では、油煙濃度相関ルールと捕獲能力相関ルールを記憶する相関ルール記憶部２３２がレンジフード２００に備えられる例を述べたが、レンジフード情報サーバ１００Ｃに備えられてもよい。
図４０を参照して、変形例を含む本実施例の効果を説明する。調理者が料理を開始し、まずフライパンに油を注いだ（開放した）。カメラ２４１はその調理状況を撮像し、その撮像画像に基づいて情報抽出部２２１は、調理状況検出処理において「油 開放」という情報を抽出する。そうすると、油煙発生情報予測部２２８１は、油煙相関判定処理において、ほぼ即時に風量指示フラグの値を”１＝「弱」“と判定する。ここで、設定風量と風量フラグが示す風量が同じであるため、設定風量の変更は行わない。実際に発生する油煙の量は、油煙検知量（実線の曲線）で示すように、油を注いだ後しばらくして増加し始める。したがって、注いだ油に起因して発生した油煙が増加するより前にレンジフード２００の風量は増加しているため、フード２０１で油煙を漏らすことなく捕集できる。
次いで、調理者は油を引いたフライパンに豚肉を投入した（開放した）。その撮像画像に基づいて情報抽出部２２１は、調理状況検出処理において「豚肉 開放」という情報を抽出する。そうすると、油煙発生情報予測部２２８１は、油煙相関判定処理において、風量指示フラグの値が”２＝「中」“であると判定し、ほぼ即時に設定風量を「中」に変更する。実際に発生する油煙の量は、豚肉を投入した後しばらくして増加し始める。したがって、投入した豚肉に起因して発生した油煙が増加するより前にレンジフード２００の風量は増加しているため、フード２０１で油煙を漏らすことなく捕集できる。
次いで、調理者は豚肉に加えて玉葱をフライパンに投入するため、玉葱を手に掴んだ（把持した）。その撮像画像に基づいて情報抽出部２２１は、調理状況検出処理において「玉葱 把持」という情報を抽出する。そうすると、油煙発生情報予測部２２８１は、油煙相関判定処理において、風量指示フラグの値が”３＝「強」“であると判定し、ほぼ即時に設定風量を「強」に変更する。実際に発生する油煙の量は、玉葱を掴んだ後しばらくして増加し始める。したがって、投入した玉葱に起因して発生した油煙が増加するより前にレンジフード２００の風量は増加しているため、フード２０１で油煙を漏らすことなく捕集できる。
このように、リアルタイムの画像等から分別して抽出した調理情報データおよび調理動作データと、学習済みの相関モデルや予め定められた油煙濃度相関ルールに基づいて油煙の捕獲能力を制御することで、油煙が立ち上る前に風量を増加させるなど好適なタイミングで食材や料理方法等に合わせて油煙等を捕集し、排気する能力を適合させることができる。
上述したレンジフード２００は、少なくとも、カメラ２４１と、カメラ２４１が撮像した画像から、被撮像物の温度を含む調理情報データとその被撮像物に対して行う動作を含む調理動作データを抽出する情報抽出部２２１と、情報抽出部２２１が抽出する調理情報データおよび調理動作データに基づき、油煙の捕獲能力を制御するＲＨ制御部２２９と、を備えることにより、好適なタイミングで食材や料理方法等に合わせて油煙等を捕集し、排気する能力を適合させることが可能である。
また、レンジフード２００は、情報抽出部２２１が被撮像物が所定温度以上である旨を含む調理情報データと、その所定温度以上の被撮像物に対して所定の動作を行った旨を含む調理動作データとを抽出した場合、ＲＨ制御部２２９によって油煙の捕獲能力を向上させることにより、好適なタイミングで食材や料理方法等に合わせて油煙等を捕集し、排気する能力を適合させることができる。
＜第三実施例の変形例３＞
上述したことは、被撮像物に応じて油煙の捕獲能力を制御する方法でもある。この方法は、下方にあるコンロＢＮを撮像し、撮像した画像から、被撮像物の温度を含む調理情報データとその被撮像物に対して行う動作を含む調理動作データを抽出し、抽出した調理情報データおよび調理動作データに基づき油煙の捕獲能力を制御する方法である。これによれば、好適なタイミングで食材や料理方法等に合わせて油煙等を捕集し、排気する能力を適合させる方法を提供することができる。
＜第三実施例の変形例４＞
上述した第三実施例では、油煙学習部１２６１などを有するレンジフード情報サーバ１００Ｃと、レンジフード２００とを備えるレンジフード情報システム１Ｃについて述べた。本変形例は、レンジフード情報システム１Ｃと同様な機能を有する油煙捕獲システムである。油煙捕獲システムは、レンジフード情報サーバ１００Ｃと同等の機能を有する情報処理装置と、この情報処理装置と電気通信を介して接続された油煙捕獲機器と、カメラなどの撮像機器（撮像部）と、油煙情報を検知する油煙センサと、撮像機器が撮像した画像および油煙センサが検知した油煙情報を情報処理装置に送信する送信装置とを備える。なお、撮像機器や油煙センサは、独立して設置されてもよいし、油煙捕獲機器に組み込まれてもよい。
情報処理装置は、送信装置から受信した画像と油煙情報を時刻情報と関連付けて記憶する記憶部と、記憶部が記憶した画像から、被撮像物の温度を含む調理情報データと該被撮像物に対して行う動作を含む調理動作データを抽出する情報抽出部と、記憶部に記憶された油煙情報と、調理情報データおよび調理動作データとの相関モデルを機械学習する油煙学習部と、受信した画像から情報抽出部が抽出する調理情報データおよび調理動作データと、油煙学習部が学習した相関モデルに基づき、発生する油煙情報を予測する油煙発生情報予測部と、油煙発生情報予測部が予測した油煙発生情報に基づいて、油煙の捕獲能力に関する情報を油煙捕獲機器の受信装置に送信する送信部と、を備える。情報処理装置は、汎用的な所謂サーバや高機能な所謂スマートフォンなど、様々なアプリケーションソフトウェアをインストールして実行する能力を有するコンピュータやマイクロコンピュータを言う。
油煙捕獲機器は、油煙の捕獲能力を制御する運転制御部と、情報処理装置から捕獲能力に関する情報を受信する受信装置とを備える。運転制御部は、受信装置が受信した捕獲能力に関する情報に基づき捕獲能力を制御する。油煙捕獲機器は、具体的には、レンジフード、油煙を捕獲する局所換気装置、空気清浄機、集塵機などである。これによれば、画像から分別して抽出した調理情報データと調理動作データに基づいて油煙の捕獲能力を制御することで、好適なタイミングで食材や料理方法等に合わせて油煙等を捕集し、排気する能力を適合させる油煙捕獲システムを提供することができる。
＜第四実施例＞
図４３乃至図４７を参照し、本実施例における情報処理システム２の一形態である料理教室システム２Ａを説明する。まず、情報処理システム２は、図４３に示すように、ネットワーク３００に接続された情報処理サーバ２１００と、ネットワーク３００に接続され、情報処理サーバ２１００と通信を行う情報処理端末２２００を備える。ネットワーク３００は、上述したように、情報処理サーバ２１００と情報処理端末２２００間の、情報処理やデータに係る通信を可能にする任意の電気通信回線または電気通信網である。
上記の実施例ではレンジフード（レンジフード端末）２００はホームネットワーク１０００内に存し、ゲートウェイ４００を通してネットワーク３００に接続されていたが、情報処理端末２２００は、それに限定されず、直接公衆回線にまたはルータを介してネットワーク３００に接続される。また、本図内のデバイス２２００１は、上記実施例で説明したレンジフード端末２００や油煙捕獲機器としての機能を有すると共に直接ネットワーク３００に接続できるネットワークインターフェイスを有するものである。
情報処理サーバ２１００は、ネットワーク３００を介して、情報処理端末２２００と制御やデータに係る通信を行う所謂汎用的なサーバコンピュータであり、１以上の情報処理端末２２００からアクセスされて、様々な制御情報やデータを受け付け、処理し、それらに対して制御情報やデータを提供する。情報処理サーバ２１００は、図４に示すような、上述したハードウェア構成と同様の構成を有する。
図４４は、情報処理サーバ２１００のブロック構成図を示す。情報処理サーバ２１００は、ネットワーク３００との通信インターフェイスである通信部１１０と、情報処理サーバ２１００全体の制御を行う制御部１２０と、制御部１２０が実行するプログラムやデータを記憶する記憶部１３０と、情報処理サーバ２１００に指示やデータを入力する入力部１４０と、情報等を出力する出力部１５０とを有する。なお、上記実施例と同じ機能を有する構成要素には同じ符号を付し、説明を省略する。それぞれの構成要素は、内部にさらに特定の機能を有するが、同じ符号を有する要素は、上述した同じ機能を有するものと理解されたい。
情報処理端末２２００は、図４５が示すように、ＣＰＵ２０Ｍ（ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）も含む）と、ＲＯＭ／ＲＡＭ等のメモリ３１Ｍと、ネットワーク３００と繋がるための通信インターフェイス１０Ｍと、情報を表示し入力するための表示／タッチパネル７０Ｍと、カメラ、マイク、スピーカ等のオーディオ／カメラ８０Ｍと、を含み、これらが、バスといった伝送路６０Ｍを介して互いに接続されている。情報処理端末２２００は、典型的にはスマートフォンやタブレットコンピュータであるが、同様の機能を有するパーソナルコンピュータであってもよい。
情報処理端末２２００は、ｉＯＳ、ＷＩＮＤＯＷＳＭＯＢＩＬＥ（登録商標）、ＧＯＯＧＬＥ（登録商標）ＡＮＤＲＯＩＤ（登録商標）、ＭＯＢＩＬＥＬＩＮＵＸ（登録商標）等を含む任意の他のモバイルオペレーティングシステムをサポートし、実行し得る。なお、これらは例示であり、本発明に係るプログラムが実行され得る限り、これらに限定されることはない。情報処理端末２２００は、本発明に関連するプログラムを所定のプログラムサーバからダウンロードし、インストールしてメモリ３１Ｍに記憶する。そのプログラムは、ＣＰＵ２０Ｍで起動されることにより、ＣＰＵ２０Ｍと協働して、本発明を構成する。
情報処理端末２２００は、図４６が示すように、制御部２２０Ｍ、記憶部２３０Ｍ、通信部２１０Ｍ、入力部２４０Ｍ、出力部２５０Ｍを備える。制御部２２０Ｍは、ＣＰＵ２０Ｍによりその機能が実現され、上述したモバイルオペレーティングシステムを実行し情報処理端末２２００を統括的に制御すると共に、各種の処理手順等を規定したプログラムを実行し、種々の情報処理を実行する。制御部２２０Ｍは、内部に特定の機能を有する。具体的には、制御部２２０Ｍは、情報抽出部２２１Ｍ、文章生成部２２２Ｍ、工程作成部２２３Ｍ、レシピ情報作成部２２４Ｍ、判定部２２５Ｍ、油煙学習部２２６１Ｍ、油煙発生情報予測部２２８１Ｍ、捕獲能力予測部２２８２Ｍを有する。これらは、上述した、情報抽出部２２１、文章生成部２２２、工程作成部２２３、レシピ情報作成部２２４、判定部２２５、油煙学習部２２６１、油煙発生情報予測部２２８１、捕獲能力予測部２２８２とそれぞれ同等の機能を有する。
記憶部２３０Ｍは、メモリ３１Ｍによりその機能が実現され、各種のデータやファイルなどを格納する。記憶部１３０Ｍには、モバイルオペレーティングシステムと協働して制御部１２０Ｍに命令を与えて各種処理を行うためのコンピュータプログラムが記録される。これらのコンピュータプログラムは、情報処理サーバ２１００が情報処理端末２２００のために提供するサービス／アプリケーションに対応した機能を実現するプログラムである。また、これらのコンピュータプログラムは、ネットワーク３００を介して情報処理端末２２００とレンジフード端末などのデバイス２２００１とを接続し、デバイス２２００１に対して情報処理サーバ２１００の機能の一部を実行するものであってもよい。
通信部２１０Ｍは、通信インターフェイス１０Ｍによりその機能が実現され、ネットワーク３００を介して情報処理サーバ２１００やデバイス２２００１と送受信を行うための、送信部２１１Ｍと受信部２１２Ｍを有する。入力部２４０Ｍと出力部２５０Ｍは、オーディオ・カメラ８０Ｍと表示／タッチパネル７０Ｍにより機能が実現される。入力部２４０Ｍは、典型的にはタッチパネル（操作部２４３Ｍ）、マイク２４２Ｍ、カメラ２４１Ｍである。出力部２５０Ｍは、同様に、典型的にはタッチパネル兼用のディスプレイ２５１Ｍやスピーカ２５２Ｍである。
料理教室システム２Ａは、情報処理システム２において、情報処理サーバ２１００の１形態である料理教室サーバ２１００Ａと、情報処理端末２２００である教師側情報処理端末２２００Ｔと生徒側情報処理端末２２００Ｓから構成され、上述した第一実施例の料理教室システム１Ａと同等の機能を備える。すなわち、料理教室システム２Ａは、料理の指導者（教師）と料理を習いたい者（生徒）が使用するシステムであり、料理教室サーバ２１００Ａと、これと電気通信を介して接続され、料理の指導を行う教師が使用する教師側情報処理端末２２００Ｔおよび教師から料理の指導を受ける生徒が使用する生徒側情報処理端末２２００Ｓと、を備える。
教師側情報処理端末２２００Ｔは、カメラ２４１ＭがコンロＢＮおよび調理台ＣＴの内少なくともコンロＢＮで行われる教師による料理の様子を撮像すると共に、教師がディスプレイ２５１Ｍを見ることのできる位置に配置される。教師側情報処理端末２２００Ｔは、カメラ２４１Ｍが撮像した画像およびマイク２４２Ｍが集音した音を送信部２１１Ｍで料理教室サーバ２１００Ａに送信する。また、教師側情報処理端末２２００Ｔは、生徒側情報処理端末２２００Ｓの送信部２１１Ｍが送信した画像および音を受信部２１２Ｍで料理教室サーバ２１００Ａから受信し、ディスプレイ２５１Ｍで受信した画像を教師に対して表示すると共に、スピーカ２５２Ｍで受信した音声を出力する。
生徒側情報処理端末２２００Ｓは、カメラ２４１ＭがコンロＢＮおよび調理台ＣＴの内少なくともコンロＢＮで行われる生徒による料理の様子を撮像すると共に、生徒がディスプレイ２５１Ｍを見ることのできる位置に配置される。生徒側情報処理端末２２００Ｓは、カメラ２４１Ｍが撮像した画像およびマイク２４２Ｍが集音した音を送信部２１１Ｍで料理教室サーバ２１００Ａに送信する。また、生徒側情報処理端末２２００Ｓは、教師側情報処理端末２２００Ｔの送信部２１１Ｍが送信した画像および音を受信部２１２Ｍで料理教室サーバ２１００Ａから受信し、ディスプレイ２５１Ｍで受信した画像を生徒に対して表示すると共に、スピーカ２５２Ｍで受信した音声を出力する。
料理教室サーバ２１００Ａは、教師側情報処理端末２２００Ｔおよび生徒側情報処理端末２２００Ｓのカメラ２４１Ｍが撮像した画像およびマイク２４２Ｍが集音した音を受信部１１２で受信する。料理教室サーバ２１００Ａは、受信部１１２が受信した画像および音を記憶する画像音記憶部１３１を備える。送信部１１１は、受信部１１２が受信したまたは画像音記憶部１３１が記憶した画像および音を教師側情報処理端末２２００Ｔおよび生徒側情報処理端末２２００Ｓに送信する。また、料理教室サーバ２１００Ａは、受信部１１２が受信したまたは画像音記憶部１３１が記憶した画像および／または音に基づき工程の区分を判定する判定部１２５を備える。判定部１２５は、制御部１２０で実行されるプログラムとして提供される機能である。
図４７を参照して、料理教室システム２Ａの制御方法について説明する。前提として、料理の指導を行う教師は、料理教室サーバ２１００Ａに自分が行う料理教室の内容、必要な材料、所要時間や開始終了スケジュールなどを登録しておき、生徒はそれらの情報にアクセスできる状態になっている。生徒は、ＳＴ１００において、生徒側情報処理端末２２００Ｓから料理教室サーバ２１００Ａに直接アクセスし、受講したい料理教室の申し込み登録を行うと、生徒側情報処理端末２２００Ｓから料理教室サーバ２１００Ａに当該生徒のユーザ情報が送信される。ユーザ情報には、料理教室を受講する際の生徒側情報処理端末２２００Ｓの識別情報（ＩＰアドレスなど）が含まれるものとする。
料理教室サーバ２１００Ａは、料理教室が開始する時間になると、ＳＴ２００において、生徒側情報処理端末２２００Ｓに開始通知を行うと共に、教師側情報処理端末２２００Ｔと生徒側情報処理端末２２００Ｓに対して料理教室モードの設定を行うためにセットアップの指示を送信する。教師側情報処理端末２２００Ｔおよび生徒側情報処理端末２２００Ｓは、セットアップ指示を受信すると、ＳＴ４００において、相手方の画像や音を受信してディスプレイ２５１Ｍなどに出力可能な状態および画像や音を取得して相手方に送信可能な状態にする。
教師側情報処理端末２２００Ｔおよび生徒側情報処理端末２２００Ｓは、互いに出力および送信可能な状態になると、ＳＴ４５０において、料理状況を記録すると共に、料理教室サーバ２１００Ａに料理状況データ（画像／音）を送信し、さらに料理教室サーバ２１００Ａからの相手側の料理状況データを受信する。料理教室サーバ２１００Ａは、ＳＴ２５０において、受信部１１２が教師側情報処理端末２２００Ｔおよび生徒側情報処理端末２２００Ｓから料理状況データを受信すると、その料理状況データを解析し、料理工程の区分を判定すると共に、料理工程を生成し、区分された料理状況データを出力する。ＳＴ２５０とＳＴ４５０の処理については、第一実施例の図１２と図１３で説明した通りである。
また、料理教室サーバ２１００Ａを介した送受信に関する制御方法は第一実施例の図１５に示した通りである。教師側情報処理端末２２００Ｔおよび生徒側情報処理端末２２００Ｓが記録した料理状況は料理教室サーバ２１００Ａを介して配信される。この際、教師側情報処理端末２２００Ｔの指導内容の画像や音は複数の生徒のそれぞれの生徒側情報処理端末２２００Ｓに配信される。一方、生徒側情報処理端末２２００Ｓからの料理状況に関する情報は料理教室サーバ２１００Ａを介して教師側情報処理端末２２００Ｔにのみ配信され、料理教室に参加している各生徒の生徒側情報処理端末２２００Ｓには配信されない構成となっている。このため、生徒側情報処理端末２２００Ｓが撮像した画像および集音した音は、教師側情報処理端末２２００Ｔのみで出力され、生徒間ではシェアされないので、他人と比較されることもなく、プライバシーも保護される料理教室システム２Ａの提供が可能となる。
生徒側情報処理端末２２００Ｓは、教師側情報処理端末２２００Ｔが撮像した画像および集音した音を出力する。生徒はそれを見ながら自分でも料理をし、料理の仕方を学習する。生徒側情報処理端末２２００Ｓは、生徒の料理状況をカメラ２４１Ｍ等で画像／音を取得し、料理教室サーバ２１００Ａに送信する。料理教室サーバ２１００Ａの制御部１２０の判定部１２５は、受信した画像と音の一方または両方に基づいて料理工程の区分を判定する。判定部１２５が、教師側情報処理端末２２００Ｔが先に送信した画像および音に基づき判定した工程の区分と同じ区分を生徒側情報処理端末２２００Ｓが送信した画像および音の中にあると判定した場合、料理教室サーバ２１００Ａは、工程が完了したと判定した画像および音を送信した生徒側情報処理端末２２００Ｓを使用する生徒はその工程を完了した旨（判定結果）の通知を教師側情報処理端末２２００Ｔに送信する。教師側情報処理端末２２００Ｔは、その判定結果を生徒毎にディスプレイ２５１Ｍに表示する。
これによれば、教師側が設定した各工程を生徒側で完了したことを料理教室サーバ２１００Ａが判定し、この判定結果を教師側に通知し、教師側情報処理端末２２００Ｔで生徒毎に判定結果を表示することで、生徒の料理の進行状況を教師が確認できる料理教室システム２Ａを提供することができる。また、教師として自動的に生徒側の料理の進行状況を判定できるので、１対１ではない場合であっても教師は各生徒の進行状況を確認でき、１対多での指導が可能な効率性及び利便性の高い料理教室システム２Ａの提供が可能となる。また、生徒側情報処理端末２２００Ｓが撮像した画像および集音した音は、教師側情報処理端末２２００Ｔのみで出力され、生徒間ではシェアされないので、他人と比較されることもなく、プライバシーも保護される料理教室システム２Ａの提供が可能となる。
＜第四実施例の変形例１＞
上記第四実施例では、情報処理サーバ２１００と情報処理端末２２００を備える情報処理システム２において、第一実施例で記載した料理教室システム１Ａを稼働させる料理教室システム２Ａを記載した。本変形例では、情報処理システム２において、上記＜第三実施例の変形例４＞の油煙捕獲システムを稼働させる例である。本変形例における油煙捕獲システムは、レンジフード情報サーバ１００Ｃと同等の機能を有する情報処理端末２２００と、情報処理端末２２００と電気通信を介して接続されたデバイス２２００１から構成される。
デバイス２２００１は、油煙捕獲器と、カメラなどの撮像機器（撮像部）と、油煙情報を検知する油煙センサと、撮像機器が撮像した画像および油煙センサが検知した油煙情報を情報処理端末２２００に送信する送信装置などを備える。デバイス２２００１が送信装置から撮像した画像および検知した油煙情報を送信すると、情報処理端末２２００は、受信部２１２Ｍで受信し、受信した画像と油煙情報を時刻情報と関連付けて記憶部２３０Ｍに記憶する。情報抽出部２２１Ｍは、記憶した画像から、被撮像物の温度を含む調理情報データと該被撮像物に対して行う動作を含む調理動作データを抽出する。油煙学習部２２６１Ｍは、記憶された油煙情報と、調理情報データおよび調理動作データとの相関モデルを機械学習する。油煙発生情報予測部２２８１Ｍは、受信した画像から情報抽出部２２１Ｍが抽出する調理情報データおよび調理動作データと、油煙学習部２２６１Ｍが学習した相関モデルに基づき、発生する油煙情報を予測する。情報処理端末２２００の送信部２１１Ｍは、油煙発生情報予測部２２８１Ｍが予測した油煙の捕獲能力に関する情報を油煙捕獲機器の受信装置に送信する。
なお、本変形例では、情報処理端末２２００とデバイス２２００１はネットワーク３００を経由して接続されるが、これに限定されず、情報処理端末２２００とデバイス２２００１が同じルータの配下（互いにローカル）に存する場合は、ネットワーク３００を経由せずにそのルータを経由して接続されてもよい。これによれば、より簡便な構成により、画像から分別して抽出した調理情報データと調理動作データに基づいて油煙の捕獲能力を制御することで、好適なタイミングで食材や料理方法等に合わせて油煙等を捕集し、排気する能力を適合させる油煙捕獲システムを提供することができる。
なお、本発明は、例示した実施例に限定するものではなく、特許請求の範囲の各項に記載された内容から逸脱しない範囲の構成による実施が可能である。すなわち、本発明は、主に特定の実施形態に関して特に図示され、かつ説明されているが、本発明の技術的思想および目的の範囲から逸脱することなく、以上述べた実施形態に対し、数量、その他の詳細な構成において、当業者が様々な変形を加えることができるものである。たとえば、第一実施例～第四実施例のそれぞれに記載された構成要素や機能は、自己の実施例だけでなく、他の実施例にも適用できるものとする。
１ レンジフードシステム
１Ａ 料理教室システム
１Ｂ レシピ情報作成支援システム
１Ｃ レンジフード情報システム
２ 情報処理システム
２Ａ 料理教室システム
１０ 通信Ｉ／Ｆ
２０ ＣＰＵ（演算装置）
３０ 記憶装置
３１ メモリ
３２ 外部記憶装置
４０ 入力装置
５０ 出力装置
６０ バス
１０００ ホームネットワーク（ホームドメイン）
１００ レンジフードサーバ
２１００ 情報処理サーバ
１００Ａ 料理教室サーバ
１００Ｂ レシピ情報サーバ
１００Ｃ レンジフード情報サーバ
２１００Ａ 料理教室サーバ
１１０ 通信部
１１１ 送信部
１１２ 受信部
１２０ ＣＰＵ（制御部）
１２１ 情報抽出部
１２２ 文章生成部
１２３ 工程作成部
１２４ レシピ情報作成部
１２５ 判定部
１２６ 学習器
１２６１ 油煙学習器
１２７ 評価部
１２８１ 油煙発生情報予測部
１３０ 記憶部
１３１ 画像音記憶部
１４０ 入力部
１５０ 出力部
２００ レンジフード（レンジフード端末）
２０１ フード
２０２ ファン
２０３ 整流板
２０４ 回転フィルタ
２１０ 通信装置
２１１ 送信装置
２１２ 受信装置
２２０ マイクロプロセッサ（制御装置）
２２１ 情報抽出部
２２２ 文章生成部
２２３ 工程作成部
２２４ レシピ情報作成部
２２５ 判定部
２２６ 学習器
２２６１ 油煙学習器
２２８１ 油煙発生情報予測部
２２８２ 捕獲能力予測部
２２９ ＲＨ制御部（運転制御部）
２３０ メモリ（ＲＯＭ、記憶装置）
２３１ 調理記憶部
２３２ 相関ルール記憶部
２４０ 入力装置
２４１ カメラ（撮像装置、撮像部）（赤外線撮像素子付き）
２４２ マイク（集音装置、集音部）
２４３ 操作スイッチ（操作部）
２５０ 出力装置
２５１ ディスプレイ（表示装置）
２５２ スピーカ（音出力装置、音声出力装置）
２５３ 照明
２５４ 報知部
２６０ 検知装置
２６１ 油煙センサ
２６２ 人感センサ（人体検知部）
２６３ 臭いセンサ（調理雰囲気情報検知部）
２６４ 温湿度センサ
２７０ 駆動装置
２７１ 給排気モータ
２７２ フィルタモータ
２７３ 給排気ダンパ
２００Ｔ 教師側レンジフード端末
２００Ｓ 生徒側レンジフード端末
２２００ 情報処理端末
２２００Ｔ 教師側情報処理端末
２２００Ｓ 生徒側情報処理端末
３００ ネットワーク
３０１ ホームドメイン内ネットワーク
４００ ゲートウェイ
４０１ ゲートウェイコントローラ
５００ 家電機器ノード
５０１ エアコン
５０２ テレビ
５０３ 除湿加湿器
５０４ 屋内検知器
５０５ 屋外検知器
６００ 住宅設備機器ノード
６０１ 窓
６０２ 給排気口
ＢＮ コンロ
ＣＴ 調理台
ＳＫ 流し台
ＲＦ 冷蔵庫
ＨＳ 建物

Claims (10)

  1. 下方にあるコンロを撮像する撮像部と、
    前記撮像部が撮像した画像から、被撮像物中の料理材料の温度を含む調理情報データと該被撮像物中の調理者が容器内のまたは容器に投入される前の料理材料に対して行う動作を含む調理動作データを抽出する情報抽出部と、
    前記情報抽出部が抽出する調理情報データおよび調理動作データに基づき、油煙の捕獲能力を制御する運転制御部と、
    を備えるレンジフード。
  2. 前記情報抽出部が、前記被撮像物が所定温度以上である旨を含む前記調理情報データと、該所定温度以上の前記被撮像物に対して所定の動作を行った旨を含む前記調理動作データとを抽出した場合、前記運転制御部は、油煙の捕獲能力を向上させる、
    ことを特徴とする請求項１に記載のレンジフード。
  3. 音を集音する集音部をさらに備え、
    前記情報抽出部は、前記集音部が集音した音を含む前記調理情報データを抽出することを特徴とする請求項１または２に記載のレンジフード。
  4. 前記情報抽出部は、前記撮像部が撮像した画像および前記集音部が集音した音から、料理材料の種類と量を含む前記調理情報データと、前記料理材料に対して行う動作を含む調理動作データを抽出することを特徴とする請求項３に記載のレンジフード。
  5. 油煙を検知する油煙センサと、
    前記油煙センサが検知した油煙情報と、前記情報抽出部が抽出した前記調理情報データおよび前記調理動作データとを時刻情報と関連付けて記憶する調理記憶部と、
    前記調理記憶部に記憶された油煙情報と、前記調理情報データおよび前記調理動作データとの相関モデルを機械学習する学習部と、
    前記情報抽出部が抽出する前記調理情報データおよび前記調理動作データと、前記学習部が学習した相関モデルに基づき、発生する油煙の情報を予測する油煙発生情報予測部と、
    をさらに備え、
    前記運転制御部は、前記油煙発生情報予測部が予測した油煙情報に基づき油煙の捕獲能力を制御することを特徴とする請求項１乃至４のいずれかに記載のレンジフード。
  6. 前記調理情報データおよび前記調理動作データと捕獲能力の相関を定義する捕獲能力相関ルールを記憶する相関ルール記憶部と、
    前記情報抽出部が抽出する前記調理情報データおよび前記調理動作データと、前記相関ルール記憶部に記憶された捕獲能力相関ルールに基づき、必要な捕獲能力を予測する捕獲能力予測部をさらに備え、
    前記運転制御部は、前記捕獲能力予測部が予測した捕獲能力に基づき油煙の捕獲能力を制御することを特徴とする請求項１乃至４のいずれかに記載のレンジフード。
  7. 前記調理情報データおよび前記調理動作データと油煙情報の相関を定義する油煙情報相関ルールを記憶する相関ルール記憶部と、
    前記情報抽出部が抽出した前記調理情報データおよび前記調理動作データと、前記相関ルール記憶部に記憶された油煙情報相関ルールに基づき、発生する油煙の情報を予測する油煙発生情報予測部をさらに備え、
    前記運転制御部は、前記油煙発生情報予測部が予測した油煙情報に基づき油煙の捕獲能力を制御することを特徴とする請求項１乃至４のいずれかに記載のレンジフード。
  8. レンジフード情報サーバと、前記レンジフード情報サーバと電気通信を介して接続されたレンジフードとを備えるレンジフード情報システムであって、
    前記レンジフードは、
    下方にあるコンロを撮像する撮像部と、
    油煙を検知する油煙センサと、
    前記撮像部が撮像した画像および前記油煙センサが検知した油煙情報を前記レンジフード情報サーバに送信する送信装置と、
    油煙の捕獲能力を制御する運転制御部と、
    前記レンジフード情報サーバから捕獲能力に関する情報を受信する受信装置と、
    を備え、
    前記レンジフード情報サーバは、
    前記レンジフードの前記送信装置が送信した画像と油煙情報を受信する受信部と、
    前記受信部が受信した画像と油煙情報を時刻情報と関連付けて記憶する記憶部と、
    前記記憶部が記憶した画像から、被撮像物中の料理材料の温度を含む調理情報データと該被撮像物中の調理者が容器内のまたは容器に投入される前の料理材料に対して行う動作を含む調理動作データを抽出する情報抽出部と、
    前記記憶部に記憶された油煙情報と、前記調理情報データおよび前記調理動作データとの相関モデルを機械学習する油煙学習部と、
    前記受信部が受信した画像から前記情報抽出部が抽出する前記調理情報データおよび前記調理動作データと、前記油煙学習部が学習した相関モデルに基づき、発生する油煙の情報を予測する油煙発生情報予測部と、
    前記油煙発生情報予測部が予測した油煙発生情報に基づいて、油煙の捕獲能力に関する情報を前記レンジフードの前記受信装置に送信する送信部と、
    を備え、
    前記運転制御部は、受信した捕獲能力に関する情報に基づき捕獲能力を制御する、
    レンジフード情報システム。
  9. 情報処理装置と、
    前記情報処理装置と電気通信を介して接続された油煙捕獲機器と、
    撮像部と、
    油煙情報を検知する油煙センサと、
    前記撮像部が撮像した画像および前記油煙センサが検知した油煙情報を前記情報処理装置に送信する送信装置と、
    を備える油煙捕獲システムであって、
    前記油煙捕獲機器は、
    油煙の捕獲能力を制御する運転制御部と、
    前記情報処理装置から捕獲能力に関する情報を受信する受信装置と、を備え、
    前記情報処理装置は、
    受信した画像と油煙情報を時刻情報と関連付けて記憶する記憶部と、
    前記記憶部が記憶した画像から、被撮像物中の料理材料の温度を含む調理情報データと該被撮像物中の調理者が容器内のまたは容器に投入される前の料理材料に対して行う動作を含む調理動作データを抽出する情報抽出部と、
    前記記憶部に記憶された油煙情報と、前記調理情報データおよび前記調理動作データとの相関モデルを機械学習する油煙学習部と、
    受信した画像から前記情報抽出部が抽出する前記調理情報データおよび前記調理動作データと、前記油煙学習部が学習した相関モデルに基づき、発生する油煙情報を予測する油煙発生情報予測部と、
    前記油煙発生情報予測部が予測した油煙発生情報に基づいて、油煙の捕獲能力に関する情報を前記油煙捕獲機器の前記受信装置に送信する送信部と、
    を備え、
    前記運転制御部は、受信した捕獲能力に関する情報に基づき捕獲能力を制御する、
    油煙捕獲システム。
  10. 下方にあるコンロを撮像し、
    撮像した画像から、被撮像物中の料理材料の温度を含む調理情報データと該被撮像物中の調理者が容器内のまたは容器に投入される前の料理材料に対して行う動作を含む調理動作データを抽出し、
    抽出した調理情報データおよび調理動作データに基づき、油煙の捕獲能力を制御する、
    方法。
JP2020078260A 2020-03-02 2020-04-27 レンジフード、レンジフード情報システム、油煙捕獲システム、および方法 Active JP7381079B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020035344 2020-03-02
JP2020035344 2020-03-02

Publications (2)

Publication Number Publication Date
JP2021139611A JP2021139611A (ja) 2021-09-16
JP7381079B2 true JP7381079B2 (ja) 2023-11-15

Family

ID=77668212

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020078260A Active JP7381079B2 (ja) 2020-03-02 2020-04-27 レンジフード、レンジフード情報システム、油煙捕獲システム、および方法

Country Status (1)

Country Link
JP (1) JP7381079B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115095913B (zh) * 2022-05-31 2024-06-11 北京小米移动软件有限公司 通风组件、送风装置和通风降噪控制方法
CN115372045B (zh) * 2022-10-25 2023-07-25 佛山市顺德区美的洗涤电器制造有限公司 直接捕集效率的测定方法、装置、吸油烟机、介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108006889A (zh) 2017-12-21 2018-05-08 珠海格力电器股份有限公司 空调控制方法和装置
JP2018105568A (ja) 2016-12-27 2018-07-05 富士工業株式会社 レンジフード
CN109712713A (zh) 2018-12-29 2019-05-03 佛山市云米电器科技有限公司 一种能对使用油品与历史数据对进行健康等级划分的油烟机
JP2019190797A (ja) 2018-04-27 2019-10-31 リンナイ株式会社 換気システム
JP2019190779A (ja) 2018-04-27 2019-10-31 富士工業株式会社 レンジフードおよびレンジフードシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018105568A (ja) 2016-12-27 2018-07-05 富士工業株式会社 レンジフード
CN108006889A (zh) 2017-12-21 2018-05-08 珠海格力电器股份有限公司 空调控制方法和装置
JP2019190797A (ja) 2018-04-27 2019-10-31 リンナイ株式会社 換気システム
JP2019190779A (ja) 2018-04-27 2019-10-31 富士工業株式会社 レンジフードおよびレンジフードシステム
CN109712713A (zh) 2018-12-29 2019-05-03 佛山市云米电器科技有限公司 一种能对使用油品与历史数据对进行健康等级划分的油烟机

Also Published As

Publication number Publication date
JP2021139611A (ja) 2021-09-16

Similar Documents

Publication Publication Date Title
US12102259B2 (en) System and method for collecting and annotating cooking images for training smart cooking appliances
KR102329592B1 (ko) 재료 인식을 기반으로 하는 음식 준비 방법 및 시스템
CN104595949B (zh) 实现美食分享的家用智能烹饪系统
JP7381079B2 (ja) レンジフード、レンジフード情報システム、油煙捕獲システム、および方法
JP2022101582A (ja) ロボット調理キッチン内の食品調製のための方法及びシステム
US11069045B2 (en) Food preparation assistance using image processing
WO2018024913A1 (en) Cooking system having inductive heating and wireless powering of kitchen appliances
US20090258331A1 (en) Interactive recipe preparation using instructive device with integrated actuators to provide tactile feedback
JP7503292B2 (ja) レシピ情報作成支援システム、情報処理装置、レンジフード、および方法
JP2016103042A (ja) 調理スキル評価方法、調理スキル評価システム及び調理スキル評価システムを制御する制御プログラム
AU2020242044A1 (en) Cooking appliance, method, and system
KR101286688B1 (ko) 식품위생 관리 시스템
WO2014199584A1 (ja) 調理スキル評価方法、調理スキル評価システム及び調理スキル評価システムを制御する制御プログラム
CN109085770A (zh) 智慧厨房复制火候和复制过程的系统及方法
CN109507962A (zh) 厨房家居控制方法、装置、终端及计算机存储介质
CN111459054A (zh) 食谱推送方法、设备、存储介质和厨房电器
US20210082308A1 (en) System and method for providing intelligent assistance for food preparation
JP6989683B2 (ja) 音声制御調理器具プラットフォーム
JP7402516B2 (ja) 料理教室システムおよび方法
US11307877B2 (en) Information processing apparatus and information processing method
Wagner et al. Guidance and support for healthy food preparation in an augmented kitchen
CN109446228A (zh) 信息提示方法、装置、终端及计算机存储介质
CN117859147A (zh) 信息处理装置、信息处理方法和程序
CN112013441A (zh) 吸油烟机及基于吸油烟机的烹饪控制方法
WO2021095530A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230815

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231026

R150 Certificate of patent or registration of utility model

Ref document number: 7381079

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150