JP7407075B2 - 加熱調理システム、加熱調理方法、学習装置、学習方法 - Google Patents
加熱調理システム、加熱調理方法、学習装置、学習方法 Download PDFInfo
- Publication number
- JP7407075B2 JP7407075B2 JP2020101284A JP2020101284A JP7407075B2 JP 7407075 B2 JP7407075 B2 JP 7407075B2 JP 2020101284 A JP2020101284 A JP 2020101284A JP 2020101284 A JP2020101284 A JP 2020101284A JP 7407075 B2 JP7407075 B2 JP 7407075B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- information
- heating
- approach
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010411 cooking Methods 0.000 title claims description 106
- 238000000034 method Methods 0.000 title claims description 46
- 238000010438 heat treatment Methods 0.000 claims description 299
- 238000013459 approach Methods 0.000 claims description 292
- 238000012545 processing Methods 0.000 claims description 40
- 238000010801 machine learning Methods 0.000 claims description 31
- 230000037237 body shape Effects 0.000 claims description 28
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 description 72
- 210000002569 neuron Anatomy 0.000 description 29
- 238000010191 image analysis Methods 0.000 description 20
- 238000013527 convolutional neural network Methods 0.000 description 17
- 230000004048 modification Effects 0.000 description 15
- 238000012986 modification Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 15
- 230000036760 body temperature Effects 0.000 description 13
- 239000000284 extract Substances 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000010365 information processing Effects 0.000 description 6
- 238000011176 pooling Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000002485 combustion reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 208000002173 dizziness Diseases 0.000 description 2
- 238000010304 firing Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 239000004278 EU approved seasoning Substances 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 235000011194 food seasoning agent Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007665 sagging Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Images
Landscapes
- Electric Stoves And Ranges (AREA)
- Regulation And Control Of Combustion (AREA)
Description
図1は、一側面に係る実施形態の加熱調理システム2を模式的に示した斜視図である。図1に示されるように、加熱調理システム2は、レンジフード4と、加熱調理器10を備えている。加熱調理器10は、システムキッチンに組み込んで使用されるガス燃焼式のビルトインコンロである。レンジフード4は、加熱調理器10の上方に配置された換気装置である。
図3を参照して、加熱調理システム2が備えている制御構成について説明する。なお、図3では、第1コンロ11aの第1コンロバーナ12aのみを記載して、第2コンロバーナ12bと第3コンロバーナ12cの記載を省略している。同様に、図3では、第1コンロ11aの第1センサ14aのみを記載して、第2センサ14bと第3センサ14cの記載を省略している。電源スイッチ24がオンされると、コンロ操作部20、パネル操作部22、制御装置40等が起動する。
4 :レンジフード
6 :レンジカバー
8 :カメラカバー
9a :加熱対象物カメラ
9b :ユーザカメラ
9c :スピーカ
9d :体温計
10 :加熱調理器
11a :第1コンロ
12a :第1コンロバーナ
14a :第1センサ
16a :五徳
24 :電源スイッチ
28 :グリル
29a :グリルバーナ
30 :学習装置
30m :記憶媒体
31 :学習データ取得部
32 :記憶部
32r :学習結果データ
33 :学習処理部
34i :入力装置
34о :出力装置
36 :制御部
38 :通信インターフェース
39 :ドライブ
40 :制御装置
42 :外部インターフェース
46 :学習記憶部
48 :加熱量記憶部
51 :画像取得部
52 :画像解析部
54 :加熱量情報取得部
55 :生体情報取得部
57 :加熱量制御部
59 :接近安全度推定部
70、70t :ニューラルネットワーク
84a、84b :被調理物
86a、86b :鍋
90 :手
92 :ミトン
94 :菜箸
96 :おたま
97 :袖
98 :肩
99 :視線
100 :ユーザ
Claims (20)
- 加熱対象物を加熱する加熱部と、
前記加熱対象物に接近しているユーザの状態を含む画像であるユーザ接近画像を撮像可能に構成されている撮像装置から、前記ユーザ接近画像を取得する画像取得部と、
前記ユーザが、前記加熱対象物に対して意図して接近しているか否かの度合いとして、前記加熱対象物に接近している前記ユーザの状態に対する接近安全度を、前記ユーザ接近画像に基づいて推定するための機械学習を行った学習済みの学習器に、前記画像取得部が取得した前記ユーザ接近画像を入力し、前記学習済みの学習器の演算処理を実行することで、前記接近安全度を前記学習器から取得する接近安全度推定部と、
前記接近安全度推定部が推定した前記接近安全度に基づいて、前記加熱部の加熱量を制御する加熱量制御部と、を備えている、加熱調理システム。 - 前記ユーザに関する情報であるユーザ情報を取得するユーザ情報取得部をさらに備えており、
前記学習器は、前記ユーザ情報にも基づいて前記接近安全度を推定するための機械学習を行っており、
前記接近安全度推定部は、前記ユーザ情報取得部が取得した前記ユーザ情報も前記学習器に入力し、前記学習済みの学習器の演算処理を実行することで、前記接近安全度を前記学習器から取得する、請求項1に記載の加熱調理システム。 - 前記ユーザ情報は、前記ユーザ接近画像に基づいて解析される、前記ユーザが所持している所持物に関する情報であるユーザ所持物情報と、前記ユーザの服装に関する情報であるユーザ服装情報と、前記ユーザの体勢に関する情報であるユーザ体勢情報と、前記ユーザの体型に関する情報であるユーザ体型情報と、のうちの少なくとも一つを含む、請求項2に記載の加熱調理システム。
- 前記ユーザの生体に関する情報であるユーザ生体情報を測定可能に構成されている測定装置から、前記ユーザ生体情報を取得するユーザ生体情報取得部をさらに備えており、
前記ユーザ情報は、前記ユーザ生体情報取得部が取得した前記ユーザ生体情報を含む、請求項2または3に記載の加熱調理システム。 - 前記加熱部は、複数の加熱装置を備えており、
前記ユーザ情報は、前記ユーザ接近画像に基づいて解析される、前記複数の加熱装置のうち、前記ユーザが意図して接近している前記加熱対象物を加熱している加熱装置を特定する情報であるユーザ接近加熱装置情報を含んでおり、
前記接近安全度推定部は、前記複数の加熱装置のそれぞれに対する前記接近安全度を前記学習器から取得し、
前記加熱量制御部は、前記接近安全度推定部が推定した前記複数の加熱装置のそれぞれに対する前記接近安全度に基づいて、前記複数の加熱装置の加熱量を、それぞれに制御する、請求項2から4のいずれか一項に記載の加熱調理システム。 - コンピュータが、
加熱部により加熱されている加熱対象物に接近しているユーザの状態を含む画像であるユーザ接近画像を撮像可能に構成されている撮像装置から、前記ユーザ接近画像を取得する画像取得ステップと、
前記ユーザが、前記加熱対象物に対して意図して接近しているか否かの度合いとして、前記加熱対象物に接近している前記ユーザの状態に対する接近安全度を、前記ユーザ接近画像に基づいて推定するための機械学習を行った学習済みの学習器に、前記画像取得ステップにおいて取得した前記ユーザ接近画像を入力し、前記学習済みの学習器の演算処理を実行することで、前記接近安全度を前記学習器から取得する接近安全度推定ステップと、
前記接近安全度推定ステップにおいて推定した前記接近安全度に基づいて、前記加熱部の加熱量を制御する加熱量制御ステップと、を実行する、加熱調理方法。 - 前記コンピュータが、前記ユーザに関する情報であるユーザ情報を取得するユーザ情報取得ステップをさらに実行し、
前記学習器は、前記ユーザ情報にも基づいて前記接近安全度を推定するための機械学習を行っており、
前記コンピュータは、前記接近安全度推定ステップにおいて、前記ユーザ情報取得ステップで取得した前記ユーザ情報も前記学習器に入力し、前記学習済みの学習器の演算処理を実行することで、前記接近安全度を前記学習器から取得する、請求項6に記載の加熱調理方法。 - 前記ユーザ情報は、前記ユーザ接近画像に基づいて解析される、前記ユーザが所持している所持物に関する情報であるユーザ所持物情報と、前記ユーザの服装に関する情報であるユーザ服装情報と、前記ユーザの体勢に関する情報であるユーザ体勢情報と、前記ユーザの体型に関する情報であるユーザ体型情報と、のうちの少なくとも一つを含む、請求項7に記載の加熱調理方法。
- 前記コンピュータが、前記ユーザの生体に関する情報であるユーザ生体情報を測定可能に構成されている測定装置から前記ユーザ生体情報を取得するユーザ生体情報取得ステップをさらに実行し、
前記ユーザ情報は、前記ユーザ生体情報取得ステップで取得される前記ユーザ生体情報を含む、請求項7または8に記載の加熱調理方法。 - 前記加熱部は、複数の加熱装置を備えており、
前記ユーザ情報は、前記ユーザ接近画像に基づいて解析される、前記複数の加熱装置のうち、前記ユーザが意図して接近している前記加熱対象物を加熱している加熱装置を特定する情報であるユーザ接近加熱装置情報を含んでおり、
前記コンピュータは、
前記接近安全度推定ステップにおいて、前記複数の加熱装置のそれぞれに対する前記接近安全度を前記学習器から取得し、
前記加熱量制御ステップにおいて、前記接近安全度推定ステップで推定した前記複数の加熱装置のそれぞれに対する前記接近安全度に基づいて、前記複数の加熱装置の加熱量を、それぞれに制御する、請求項7から9のいずれか一項に記載の加熱調理方法。 - 加熱部により加熱されている加熱対象物に接近しているユーザの状態に対する接近安全度であって、前記ユーザが、前記加熱対象物に対して意図して接近しているか否かの度合いである前記接近安全度と、前記接近安全度に対応付けられており、前記ユーザの状態を含む画像であるユーザ接近画像を撮像可能に構成されている撮像装置から取得する前記ユーザ接近画像と、を含む学習データを取得する学習データ取得部と、
前記ユーザ接近画像を含む入力に対して、前記接近安全度に対応する出力値を含む出力を得るように学習器の機械学習を行う学習処理部と、を備えている、学習装置。 - 前記学習データは、前記接近安全度に対応付けられており、前記ユーザに関する情報であるユーザ情報をさらに含んでおり、
前記学習器の前記機械学習における前記入力が、前記ユーザ情報も含む、請求項11に記載の学習装置。 - 前記ユーザ情報は、前記ユーザ接近画像に基づいて解析される、前記ユーザが所持している所持物に関する情報であるユーザ所持物情報と、前記ユーザの服装に関する情報であるユーザ服装情報と、前記ユーザの体勢に関する情報であるユーザ体勢情報と、前記ユーザの体型に関する情報であるユーザ体型情報と、のうちの少なくとも一つを含む、請求項12に記載の学習装置。
- 前記ユーザ情報は、前記ユーザの生体に関する情報であるユーザ生体情報を測定可能に構成されている測定装置から取得する前記ユーザ生体情報を含む、請求項12または13に記載の学習装置。
- 前記加熱部は、複数の加熱装置を備えており、
前記ユーザ情報は、前記ユーザ接近画像に基づいて解析される、前記複数の加熱装置のうち、前記ユーザが意図して接近している前記加熱対象物を加熱している加熱装置を特定する情報であるユーザ接近加熱装置情報を含んでおり、
前記学習処理部は、前記複数の加熱装置のそれぞれに対する前記接近安全度に対応する出力値を含む出力を得るように学習器の機械学習を行う、請求項12から14のいずれか一項に記載の学習装置。 - コンピュータが、
加熱部により加熱されている加熱対象物に接近しているユーザの状態に対する接近安全度であって、前記ユーザが、前記加熱対象物に対して意図して接近しているか否かの度合いである前記接近安全度と、前記接近安全度に対応付けられており、前記ユーザの状態を含む画像であるユーザ接近画像を撮像可能に構成されている撮像装置から取得する前記ユーザ接近画像と、を含む学習データを取得する学習データ取得ステップと、
前記ユーザ接近画像を含む入力に対して、前記接近安全度に対応する出力値を含む出力を得るように学習器の機械学習を行う学習処理ステップと、を実行する、学習方法。 - 前記学習データは、前記接近安全度に対応付けられており、前記ユーザに関する情報であるユーザ情報をさらに含んでおり、
前記学習器の前記機械学習における前記入力が、前記ユーザ情報も含む、請求項16に記載の学習方法。 - 前記ユーザ情報は、前記ユーザ接近画像に基づいて解析される、前記ユーザが所持している所持物に関する情報であるユーザ所持物情報と、前記ユーザの服装に関する情報であるユーザ服装情報と、前記ユーザの体勢に関する情報であるユーザ体勢情報と、前記ユーザの体型に関する情報であるユーザ体型情報と、のうちの少なくとも一つを含む、請求項17に記載の学習方法。
- 前記ユーザ情報は、前記ユーザの生体に関する情報であるユーザ生体情報を測定可能に構成されている測定装置から取得する前記ユーザ生体情報を含む、請求項17または18に記載の学習方法。
- 前記加熱部は、複数の加熱装置を備えており、
前記ユーザ情報は、前記ユーザ接近画像に基づいて解析される、前記複数の加熱装置のうち、前記ユーザが意図して接近している前記加熱対象物を加熱している加熱装置を特定する情報であるユーザ接近加熱装置情報を含んでおり、
前記コンピュータは、前記学習処理ステップにおいて、前記複数の加熱装置のそれぞれに対する前記接近安全度に対応する出力値を含む出力を得るように学習器の機械学習を行う、請求項17から19のいずれか一項に記載の学習方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020101284A JP7407075B2 (ja) | 2020-06-10 | 2020-06-10 | 加熱調理システム、加熱調理方法、学習装置、学習方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020101284A JP7407075B2 (ja) | 2020-06-10 | 2020-06-10 | 加熱調理システム、加熱調理方法、学習装置、学習方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021196088A JP2021196088A (ja) | 2021-12-27 |
JP7407075B2 true JP7407075B2 (ja) | 2023-12-28 |
Family
ID=79197739
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020101284A Active JP7407075B2 (ja) | 2020-06-10 | 2020-06-10 | 加熱調理システム、加熱調理方法、学習装置、学習方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7407075B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015230148A (ja) | 2014-06-06 | 2015-12-21 | 東京瓦斯株式会社 | 加熱制御装置、加熱調理システム、及びプログラム |
JP2017224171A (ja) | 2016-06-15 | 2017-12-21 | パナソニックIpマネジメント株式会社 | 調理支援方法および調理支援システム |
JP2018204888A (ja) | 2017-06-06 | 2018-12-27 | リンナイ株式会社 | 加熱調理器 |
-
2020
- 2020-06-10 JP JP2020101284A patent/JP7407075B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015230148A (ja) | 2014-06-06 | 2015-12-21 | 東京瓦斯株式会社 | 加熱制御装置、加熱調理システム、及びプログラム |
JP2017224171A (ja) | 2016-06-15 | 2017-12-21 | パナソニックIpマネジメント株式会社 | 調理支援方法および調理支援システム |
US20170367151A1 (en) | 2016-06-15 | 2017-12-21 | Panasonic Intellectual Property Management Co., Ltd. | Cooking support method and cooking support system |
JP2018204888A (ja) | 2017-06-06 | 2018-12-27 | リンナイ株式会社 | 加熱調理器 |
Also Published As
Publication number | Publication date |
---|---|
JP2021196088A (ja) | 2021-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6704125B2 (ja) | 加熱調理器 | |
WO2020077501A1 (en) | System and method for collecting and annotating cooking images for training smart cooking appliances, locating food items in smart cooking appliances, and determining cooking progress of food items in smart cooking appliances | |
CN103874976B (zh) | 电子设备 | |
US8530842B2 (en) | Cooking hob device | |
JP2019070516A (ja) | 高度調理器具による自動調理制御 | |
CN207666471U (zh) | 一种具有食物重量及厚度识别功能的煎烤器 | |
WO2018217230A1 (en) | Thermal imaging cooking system | |
JP6865536B2 (ja) | 加熱調理システム | |
CN110488696B (zh) | 一种智能防干烧方法及系统 | |
CN106574783A (zh) | 用于通过移动计算机设备与家用电器数据通信的方法、移动计算机设备和家用电器 | |
CN107296507A (zh) | 烹调辅助方法以及烹调辅助系统 | |
JP2016018761A (ja) | 火力制御装置、火力制御方法およびコンピュータプログラム | |
JP2017194449A (ja) | 調理支援方法および調理支援システム | |
JP3036671U (ja) | 加熱調理器 | |
CN109812840B (zh) | 烹饪温度检测方法、装置及灶具 | |
JP2016148997A (ja) | 調理支援装置、調理支援システムおよび調理支援方法 | |
CN107831692B (zh) | 厨具控制方法、装置和电子设备 | |
JP2016143105A (ja) | 監視装置 | |
JP2016188722A (ja) | 調理・換気連動システム及びこれに用いるガスコンロ | |
JP7407075B2 (ja) | 加熱調理システム、加熱調理方法、学習装置、学習方法 | |
JP7482690B2 (ja) | 加熱調理システム、加熱調理方法、学習装置および学習方法 | |
JP7300648B2 (ja) | 加熱調理器 | |
JP2021063608A (ja) | 加熱調理システム | |
CN108348088A (zh) | 烹饪装置及其控制方法 | |
JP7482683B2 (ja) | 加熱調理システムおよび加熱調理方法、学習装置および学習方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230525 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231124 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231218 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7407075 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |