本開示の一態様に係る調理支援方法は、コンピュータが行う調理支援方法であって、調理板にかかる荷重に応じて変化する数値を示す信号をセンサから継続的に取得し、前記調理板を用いた調理作業を行う第1の調理工程に関する第1の画像を出力装置に表示させ、前記第1の画像が表示されている間、取得される前記信号によって示される数値を荷重に変換し、前記出力装置に表示されている前記第1の画像を、前記調理板を用いて前記第1の調理工程とは異なる調理作業を行う第2の調理工程に関する第2の画像に切り替えさせ、前記第1の画像が前記第2の画像に切り替えられるときに取得される前記信号によって示される数値を0の荷重に設定するゼロリセットを行い、前記第2の画像が表示されている間、0の荷重に設定された数値を基準に、取得される前記信号によって示される数値を荷重に変換する。
これにより、例えば、出力装置のユーザが、その出力装置から出力される第1の画像にしたがって第1の調理工程の調理作業を行うと、その調理作業に応じて調理板にかかる荷重が導出される。したがって、その荷重に基づいて第1の調理工程における調理作業の結果を特定することができる。また、その第1の画像が第2の画像に切り替えられた後には、ユーザが、その第2の画像にしたがって第2の調理工程の調理作業を行うと、その調理作業に応じて調理板にかかる荷重が導出される。したがって、第2の調理工程においてもその荷重に基づいて調理作業の結果を特定することができる。さらに、第1の画像から第2の画像への切り替えのタイミングでセロリセットが行われるため、第2の調理工程において導出される荷重が第1の調理工程の調理作業によって受ける影響を抑制することができる。その結果、第2の調理工程において導出される荷重の精度を高めることができ、第2の調理工程における調理作業の結果を適切に特定することができる。また、画像の切り替えのタイミングでゼロリセットが行われるため、切り替え前後の各画像によって促される各調理工程の調理作業を高い確度でユーザに行わせながら、それらの調理作業の合間に適切にゼロリセットを行うことができる。したがって、調理の支援を適切に行うことができる。
また、前記第1の調理工程では、前記調理板上に食材を置く調理作業が行われ、前記第2の調理工程では、前記調理板上で前記食材を切断する調理作業が行われてもよい。
これにより、第2の調理工程において調理板上で食材を切断するときには、事前にゼロリセットが行われるため、その調理板にかかる荷重に基づいて、第2の調理工程における調理作業の結果として例えば食材の切断を適切に検知することができる。
また、前記第1の調理工程では、前記調理板上で第1の調理素材の重さを計る調理作業が行われ、前記第2の調理工程では、前記調理板上で第2の調理素材の重さを計る調理作業が行われてもよい。
これにより、第2の調理工程において調理板上で第2の調理素材の重さを計るときには、第1の調理工程で計量された第1の調理素材が調理板上にあっても、事前にゼロリセットが行われる。したがって、第2の調理工程における調理作業の結果として第2の調理素材の重さを適切に計ることができる。
また、前記第1の調理工程では、前記調理板上に、食材または調理素材を入れるための容器を置く調理作業が行われ、前記第2の調理工程では、前記調理板上に置かれた前記容器に前記食材または調理素材を入れながら前記食材または調理素材の重さを計る調理作業が行われてもよい。
これにより、第2の調理工程において重さを計るときには、第1の調理工程で容器が調理板上に置かれていても、事前にゼロリセットが行われる。したがって、第2の調理工程における調理作業の結果として食材などの重さを適切に計ることができる。
また、前記第1の調理工程では、前記調理板上で食材を切断する調理作業が行われ、前記第2の調理工程では、前記調理板上で食材、容器または調理素材の重さを計る調理作業が行われてもよい。
これにより、第2の調理工程において重さを計るときには、第1の調理工程で切断された食材が調理板上に置かれていても、事前にゼロリセットが行われる。したがって、第2の調理工程における調理作業の結果として食材などの重さを適切に計ることができる。
また、前記第1の調理工程では、前記調理板上に置かれている食材または容器を片付ける作業が行われ、前記第2の調理工程では、前記調理板上で食材を切断する調理作業、または、前記調理板上で食材、容器もしくは調理素材の重さを計る調理作業が行われてもよい。
これにより、第2の調理工程において食材の切断または計量が行われるときには、第1の調理工程で片付けられたはずの食材が調理板上に残っていても、事前にゼロリセットが行われる。したがって、第2の調理工程における調理作業の結果として、食材の切断を適切に検知することができたり、重さを適切に計ることができる。
また、前記調理支援方法では、さらに、前記調理板を用いて前記第1の調理工程および前記第2の調理工程とは異なる調理作業を行う第3の調理工程に関する第3の画像を前記出力装置に表示させ、前記第3の画像が表示されている間、取得される前記信号によって示される数値の変化が予め定められた条件を満たしたときに前記信号によって示される数値を0の荷重に設定するゼロリセットを行い、前記条件が満たされた後には、0の荷重に設定された数値を基準に、取得される前記信号によって示される数値を荷重に変換してもよい。
例えば、第3の調理工程では、調理板上で第3の調理素材の重さを計る調理作業と、調理板上で第4の調理素材の重さを計る調理作業とが行われ、第3の画像は、それらの調理作業をユーザに促すための画像である。このような第3の画像が出力装置から出力されているときには、ユーザは、その第3の画像にしたがって、第3の調理素材の重さを計る調理作業を行い、次に、第4の調理素材の重さを計る調理作業を行う。ここで、予め定められた条件が、第3の調理素材の計量の終了条件である場合には、その第3の調理素材の計量の終了を検知することができ、その後に、ゼロリセットを行うことができる。したがって、調理板上で第4の調理素材の重さを計るときに、先に計量された第3の調理素材が調理板上にあっても、事前にゼロリセットが行われるため、その第4の調理素材の重さを適切に計ることができる。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。また、以下の実施の形態において、略同じなどの表現を用いている。例えば、略同じは、完全に同じであることを意味するだけでなく、実質的に同じである、すなわち、例えば数%程度の誤差を含むことも意味する。また、略同じは、本開示による効果を奏し得る範囲において同じという意味である。他の「略」を用いた表現についても同様である。
(実施の形態)
図1は、本実施の形態における調理支援システムの外観を示す。
なお、本開示において、鉛直方向をZ軸方向または上下方向と称し、鉛直方向に対して垂直な面における一方向をY軸方向または奥行き方向と称し、その垂直な面においてY軸方向と垂直な方向をX軸方向、左右方向または横方向と称す。また、本開示において、Z軸方向のプラス側は、上向きまたは上であり、Z軸方向のマイナス側は、下向きまたは下である。また、本開示において、Y軸方向のプラス側は、奥側または奥であり、Y軸方向のマイナス側は、手前側または手前である。また、本開示において、X軸方向のプラス側は、右側または右であり、X軸方向のマイナス側は左側または左である。また、なお、本実施の形態における荷重および時間などの数値は、何れも一例であって、他の数値であってもよい。
本実施の形態における調理支援システム100は、図1に示すように、例えばシステムキッチンに配設される調理支援装置10および出力装置20を備える。
調理支援装置10は、例えばシステムキッチンの調理台に載置され、まな板として用いられる。なお、この調理支援装置10は、調理台に組み込まれていてもよく、調理台とは独立して構成されていてもよい。
出力装置20は、例えばシステムキッチンの調理台に載置され、調理に関する画像および音の少なくとも一方を出力する。例えば、出力装置20は、液晶ディスプレイ、プラズマディスプレイ、または有機EL(Electro-Luminescence)ディスプレイなどのディスプレイである。出力装置20は、さらにスピーカーを備えても良い。なお、出力装置20は、調理支援装置10と同様、調理台に組み込まれていてもよく、調理台とは独立して構成されていてもよい。例えば、出力装置20は、電子レンジ、冷蔵庫などを含む電子機器に含まれていても良い。
また、調理支援システム100は、例えばカメラとして構成されている第2のセンサ30を備えていてもよい。この第2のセンサ30は、上側から調理支援装置10を撮影し、その撮影によって得られる画像を調理支援装置10に出力する。
図2Aは、本実施の形態における調理支援システム100の構成の一例を示すブロック図である。
調理支援装置10は、調理板11と、制御部12と、第1のセンサ13と、メモリ14とを備える。なお、調理支援システム100は、第1のセンサ13に代えて、第2のセンサ30を備えても良い。
調理板11には、調理に用いられる食材、調理素材および調理器具の少なくとも一方が載置物として載置される。食材は、例えば大根、ニンジン、玉ねぎ、または肉などである。調理素材は、例えば水、牛乳、醤油、みりん、塩、または砂糖などである。調理器具は、例えば鍋、カップまたはボールなどの容器であってもよく、他の器具であってもよい。
第1のセンサ13は、例えば圧力センサであって、調理板11にかかる荷重に応じて変化する電圧値などの数値を示す信号を圧力信号として制御部12に継続的に出力する。
メモリ14は、例えば、料理品ごとに、その料理品を作るための少なくとも1つの調理工程のそれぞれに関する情報を示す調理データを保持している。すなわち、調理データは、料理品のレシピである。また、この調理データは、その少なくとも1つの調理工程のそれぞれについて、その調理工程における調理作業を示す提示情報であって、出力装置20から出力される画像および音を含む。メモリ14は、RAM(Read Only Memory)、ROM(Random Access Memory)、または半導体メモリなどである。なお、このようなメモリ14は、揮発性であっても不揮発性であってもよい。
制御部12は、例えばCPU(Central Processing Unit)またはプロセッサであって、第1のセンサ13、メモリ14、出力装置20、および第2のセンサ30のうちの少なくとも1つ制御する。本実施の形態における制御部12は、メモリ14に保持されている上述の調理データを読み出し、その調理データに示される少なくとも1つの調理工程のそれぞれの提示情報を順に出力装置20から出力させる。調理支援システム100のユーザは、その出力装置20から出力される提示情報にしたがって、その提示情報によって示される調理工程の作業、すなわち調理作業を行う。
図2Bは、本実施の形態における調理支援システム100の構成の他の例を示すブロック図である。
図2Aに示す例では、調理支援装置10は、制御部12およびメモリ14を備えているが、図2Bに示すように、その制御部12およびメモリ14は、出力装置20に備えられていてもよい。この場合には、調理支援装置10は、第1のセンサ13から出力される圧力信号を処理して出力装置20に出力する処理部15を備える。
図2Cは、本実施の形態における調理支援システム100の構成のさらに他の例を示すブロック図である。
調理支援システム100は、図2Cに示すように、例えばインターネットなどの通信ネットワークを介して調理支援装置10、出力装置20および第2のセンサ30に接続されたクラウドサーバ200を備えていてもよい。この場合には、図2Cには図示されていないが、調理支援装置10、出力装置20および第2のセンサ30は、そのクラウドサーバ200と通信するための通信インターフェースを備える。また、図2Cに示す例では、調理支援装置10の代わりに、クラウドサーバ200が、制御部12およびメモリ14を備えている。
このように、制御部12およびメモリ14は、調理支援装置10に備えられていてもよく、出力装置20に備えられていてもよく、他の外部機器に備えられていてもよい。他の外部機器は、クラウドサーバ200であってもよい。また、制御部12は、複数のCPUまたはプロセッサから構成されていてもよく、メモリ14は、複数のメモリから構成されていてもよい。この場合には、複数のプロセッサは、互に異なる装置または上述の外部機器に備えられ、互に通信することによって、制御部12としての機能を実現してもよい。同様に、複数のメモリは、互に異なる装置または上述の外部機器に備えられてもよい。また、制御部12は、メモリ14に格納されている例えばコンピュータプログラムを実行することによって本実施の形態における機能を実現してもよい。また、メモリ14がクラウドサーバ200以外の機器に備えられている場合には、上述の調理データ、後述の変更追加データ、およびそのコンピュータプログラムなどは、そのクラウドサーバ200などからダウンロードされてメモリ14に格納されてもよい。
図3は、本実施の形態における調理支援装置10の外観を示す。具体的には、図3の(a)は、調理支援装置10の上面を示し、図3の(b)は、調理支援装置10の側面を示す。
例えば、調理支援装置10の調理板11は、図3の(b)に示すように、Z軸方向に互いに対向するように配置された第1のボード11aと第2のボード11bとを含む。第1のボード11aおよび第2のボード11bは、それぞれ略矩形であって、互に略同じサイズである。
第1のセンサ13は、例えば4つの圧力センサ13aであり、第1のボード11aと第2のボード11bとの間に挟まれるように配置される。また、これらの4つの圧力センサ13aは、調理板11における四隅にそれぞれ配置される。4つの圧力センサ13aのそれぞれは、例えば、調理板11から受ける圧力を検出し、その検出された圧力に応じた電圧値を示す信号を圧力信号として制御部12に出力する。
なお、制御部12およびメモリ14は、第1のボード11aと第2のボード11bの間のスペースに配置されていてもよく、その他の位置に配置されていてもよい。
このような調理支援装置10は、第2のボード11bが調理台に接するように載置される。例えば、第1のボード11aのZ軸方向プラス側の面である上面には食材が置かれ、その食材は包丁などによって切断される。また、例えば、第1のボード11aの上面には、鍋、カップまたはボールなどの容器が置かれ、その容器に水または調味料などの調理素材を投入することよって、出し汁などが作られる。
したがって、第1のセンサ13の4つの圧力センサ13aのそれぞれは、第1のボード11aの上面、すなわち調理板11上で調理作業が行われるときには、調理板11から受ける圧力を検出する。そして、4つの圧力センサ13aのそれぞれは、その検出結果、すなわちセンシング結果を示す圧力信号を制御部12に出力する。
制御部12は、その4つの圧力センサ13aからの圧力信号を受信する。つまり、制御部12は、4つの圧力センサ13aのそれぞれから調理板11に加わる圧力を取得する。制御部12は、その圧力に基づいて、調理板11にかかる荷重を導出する。例えば、制御部12は、4つの圧力センサ13aのそれぞれの圧力信号によって示される電圧値を積算し、積算された電圧値に比例係数を乗算し、さらに、定数を加算することによって、その荷重を算出する。この荷重によって、第1のボード11aの上面に置かれた食材の重さもしくは硬さ、または、その上面に置かれた容器に投入された調理素材の重さなどが得られる。また、その荷重の変化によって、食材の切断が検知され、荷重の重心の変化によって、切断された食材の厚みが導出される。また、荷重の変化によって、切断された食材の火の通りやすさが導出されてもよい。つまり、制御部12は、第1の食材の切断回数、切断後の第1の食材の状態の少なくとも一方を取得する。
なお、本開示において、切断された食材、切断される食材、および、切断後の食材は、食材を切断することによってその食材の一端側の部分から切り離された他端側の一部である。また、切断された食材の厚みは、Z軸方向に垂直な方向の厚みであって、食材がYZ平面に沿って切断される場合には、X軸方向の厚みである。
本実施の形態における制御部12は、調理作業の結果として上述のように導出される重さ、硬さ、および厚みなどに応じて、後の調理工程の内容を変更する。つまり、本実施の形態における制御部12は、第1の食材を切断する第1の調理工程の情報を出力装置20から出力させる。そして、制御部12は、その第1の調理工程において、調理板11上で第1の食材が切断される時に調理板11に加わる圧力、第1の食材の切断回数、および切断後の第1の食材の状態の少なくとも1つを取得する。例えば、切断後の第1の食材の状態は、上述の重さ、硬さ、および厚みなどであってもよい。制御部12は、その圧力、切断回数、及び切断後の第1の食材の状態の少なくとも1つに基づく情報を用いて、第1の調理工程の後に行われる第2の調理工程の内容を変更する。そして、制御部12は、変更された第2の調理工程の情報を出力装置20から出力させる。例えば、第1の調理工程の情報および第2の調理工程の情報は、それぞれ上述の提示情報である。このように、後の調理工程である第2の調理工程の内容が変更されて、その第2の調理工程の情報が出力されるため、後述のように、調理の支援を適切に行うことができる。
[食材の切断の検知]
図4は、食材の切断時における荷重とその微分値のそれぞれの変化の例を示す。なお、図4のグラフの横軸は時間[s]を示し、縦軸は荷重f[gf]および荷重fの微分値df[g/s]を示す。
図4に示すように、調理板11上に置かれた食材を切断するときには、その調理板11にかかる荷重fは時間の経過とともに変化する。さらに、その荷重fを時間で微分することによって得られる微分値dfも時間の経過とともに変化する。なお、図4に示すグラフでは、調理板11に食材が置かれてその食材に包丁が当てられていないときの荷重は0gfである。
制御部12は、荷重の変化に基づいて食材の切断を検知する。具体的には、制御部12は、0よりも大きい微分値dfが継続して生じている時間、すなわち調理板11に力が連続してかかっている時間t1を特定し、その時間t1が閾値thよりも長いか否かを判定する。さらに、制御部12は、その時間t1内において荷重fが閾値fhを超えるか否かを判定する。さらに、制御部12は、その閾値fhを超えた荷重fがその時間t1経過後に閾値fh未満に低下するか否かを判定する。
その結果、制御部12は、時間t1が閾値thよりも長く、かつ、荷重fがその時間t1内に閾値fhを超え、時間t1経過後に、閾値fh未満に低下する場合に、調理板11に置かれた食材の切断を検知する。つまり、制御部12は、荷重fの変化が切断条件を満たす場合に、食材の切断を検知する。その切断条件は、t1>thかつf>fhが満たされた後にf<fhが満たされるという条件である。
また、調理支援システム100が第2のセンサ30を備える場合には、制御部12は、その第2のセンサ30による撮影によって得られる画像に基づいて、食材の切断を検知してもよい。さらに、制御部12は、その検知結果に基づいて第1の食材の切断回数を取得してもよく、切断後の第1の食材の状態を取得してもよい。この場合に取得される切断後の第1の食材の状態は、例えば切断後の第1の食材の厚みなどであってもよい。
[食材の硬さの導出]
図5は、食材の切断時における荷重の変化と最大荷重とを示す。なお、図5のグラフの横軸は時間[s]を示し、縦軸は荷重f[gf]を示す。
図5に示すように、調理板11に置かれた食材を切断するときには、その調理板11にかかる荷重fは時間の経過とともに変化する。
制御部12は、図4に示すように食材の切断を検知すると、切断検知区間における荷重fの最大値である最大荷重fmaxを特定する。この切断検知区間は、上述の時間t1の期間を含み、その期間から荷重fが0に達するまでの区間であってもよい。制御部12は、その最大荷重fmaxと、その食材の種類とに応じて、その食材の硬さを導出する。
図6は、食材の硬さの導出例を示す。
例えば、メモリ14には、図6に示す標準データが格納されている。標準データは、複数の食材の種類のそれぞれについて、その種類の食材の標準最大荷重を示す。
制御部12は、調理板11に置かれた食材の種類に対応する標準最大荷重を、そのメモリ14に格納された標準データから読み出す。そして、制御部12は、図5に示すように特定された最大荷重fmaxと、その読み出された標準最大荷重とを用いて、調理板11に置かれた食材の硬さ指数を算出する。その硬さ指数は、食材が硬いほど大きな値を示し、逆に、食材が柔らかいほど小さい値を示す。
具体的な一例として、制御部12は、調理データに示される調理工程で食材「ニンジン」の切断が行われる場合、その食材「ニンジン」に対応する標準最大荷重「100gf」を標準データから読み出す。そして、制御部12は、その標準最大荷重「100gf」で、特定された最大荷重fmax=120gfを除算することによって、その食材「ニンジン」の硬さ指数「1.2」を算出する。この場合、制御部12は、その食材「ニンジン」の硬さは許容範囲内であると判定する。なお、制御部12は、食材の硬さとして硬さ指数を用いてもよく、その硬さ指数によって分類される硬さのレベルを用いてもよい。
このように、本実施の形態における制御部12は、圧力に基づいて、切断後の第1の食材の第1の硬さを推定する。つまり、第1の硬さが導出される。そして、制御部12は、その圧力に基づく情報として、第1の食材の第1の硬さを用いて、第2の調理工程の内容を変更する。
また、食材の切断を例に説明したが、食材を切断せずに、食材に圧力を加える動作が行われるときも同様に、その食材の硬さなどを導出してもよい。つまり、圧力を加える動作により、調理板11に圧力が加わることで、食材の切断時と同様に硬さを導出することができる。食材を切断せずに、食材に圧力を加える動作の例は、肉などを叩いて柔らかくすることを含む食材を叩く動作、生地を伸ばす動作、生地を混ぜる動作、または生地を捏ねる動作などである。制御部12は、食材に圧力を加える動作も、調理板11に加わる圧力に応じて、食材の切断と同様に検知することができる。例えば、調理板11の上に置かれた食材を叩くことで、食材に加えた圧力が調理板11にも加わるため、制御部12は、その調理板11に加わる圧力によって、食材を叩く動作を検知することができる。また、生地を伸ばすときに、生地と調理板11とがぶつかることで、調理板11に圧力が加わるため、制御部12は、その調理板11に加わる圧力によって、生地を伸ばす動作を検知することができる。また、生地を混ぜる動作または生地を捏ねる動作が調理板11の上で行われることで、食材に加えた圧力が調理板11にも加わるため、制御部12は、その調理板11に加わる圧力によって、それらの動作を検知することができる。
したがって、本実施の形態における制御部12は、第1の食材を切断する、又は第1の食材に圧力を加える第1の調理工程の情報を出力装置20から出力させる。そして、制御部12は、その第1の調理工程において、調理板11上で第1の食材が切断される時、又は調理板11上で第1の食材に圧力が加わる時に、調理板11に加わる圧力、第1の食材の切断回数、および切断後の第1の食材の状態の少なくとも1つを取得する。制御部12は、その圧力、切断回数、及び切断後の第1の食材の状態の少なくとも1つに基づく情報を用いて、第1の調理工程の後に行われる第2の調理工程の内容を変更する。そして、制御部12は、変更された第2の調理工程の情報を出力装置20から出力させる。
[Z軸方向に垂直な方向の厚みの導出]
図7は、食材の厚みの導出例を示す。なお、図7は、調理板11上に置かれた食材1をZ軸方向プラス側から見た状態を示す。
例えば、ユーザは、図7の(a)に示すように、調理板11に置かれた食材1を固定させて、手に持った包丁をX軸方向に移動させながら、その食材1を複数回切断する。その切断によって生成される複数の切断線a1のそれぞれは、Y軸方向に沿い、X軸方向に沿って配列される。また、互に隣り合う切断線a1の間の距離は、切断された食材1のX軸方向の厚みに相当する。
このとき、制御部12は、食材1の切断が行われるごとに、4つの圧力センサ13aのそれぞれの圧力信号によって示される数値に基づいて、その調理板11にかかる荷重の重心を特定する。この重心は、食材1の切断が行われた位置、すなわち切断線a1の位置に応じて異なる。したがって、制御部12は、その荷重の重心の移動量から、その切断された食材1の厚みを導出する。
または、ユーザは、図7の(b)に示すように、手に持った包丁をX軸方向に移動させずに、調理板11に置かれた食材1をX軸方向に移動させながら、その食材1を複数回切断する。この場合、切断のために移動される食材1のX軸方向の移動距離は、切断された食材1のX軸方向の厚みに相当する。
このとき、制御部12は、食材1が移動されるごとに、4つの圧力センサ13aのそれぞれの圧力信号によって示される数値に基づいて、その調理板11にかかる荷重の重心を特定する。したがって、制御部12は、その荷重の重心の移動量から、その切断された食材1の厚みを導出する。
図8は、第2のセンサ30によって得られる画像の一例を示す。
調理支援システム100が第2のセンサ30を備えている場合には、制御部12は、第2のセンサ30による撮影によって得られる画像に基づいて、食材の厚みを導出してもよい。
例えば、制御部12は、図8の(a)に示す画像P1を第2のセンサ30から取得する。制御部12は、その画像P1に、調理板11の上に載置されている食材1と、包丁a2とが映し出されていることを、その画像P1に対する画像処理によって検出する。具体的には、制御部12は、画像P1に対してエッジ検出を画像処理として行い、その検出されたエッジによって表現される少なくとも1つの輪郭に、包丁a2の輪郭が含まれているか否かを例えばパターンマッチングによって判定する。制御部12は、包丁a2の輪郭が含まれていると判定する場合に、画像P1に包丁a2が映し出されていることを検出する。さらに、その包丁a2の輪郭の周囲に他の物体の輪郭が存在する場合には、制御部12は、その物体が食材1として画像P1に映し出されていることを検出する。これにより、制御部12は、食材1の切断を画像P1から検知する。
次に、制御部12は、図8の(b)に示す画像P2を第2のセンサ30から取得する。制御部12は、その画像P2に映し出されている切断された食材1のX軸方向の厚みを、その画像P2に対する画像処理によって検出する。具体的には、制御部12は、画像P2に対してエッジ検出を画像処理として行い、その検出されたエッジによって表現される切断された食材1の輪郭のX軸方向の幅を、その切断された食材1のX軸方向の厚みとして導出する。
なお、上述の例では、制御部12は、画像処理としてエッジ検出を用いたが、他の画像処理を用いて、食材1の切断の検知と、切断された食材1の厚みの導出とを行ってもよい。また、制御部12は、ディープラーニングなどの機械学習を用いて、切断の検知と厚みの導出とを行ってもよい。
また、制御部12は、調理データに示される調理工程で食材の切断が行われる場合、その食材の標準長さをメモリ14から読み出し、その標準長さを切断回数で除算することによって、切断された食材の厚みを導出してもよい。
なお、制御部12は、食材の長さを推定してもよい。例えば、制御部12は、調理データに示される調理工程で食材の切断が行われる場合、その食材の標準長さ及び標準重量をメモリ14から読み出す。次に、制御部12は、その標準重量に対する、第1のセンサ13の圧力信号値に基づく食材の重さの比率を算出し、その比率を標準長さに乗じることで食材の長さを推定する。そして、制御部12は、推定した食材の長さを切断回数で除算することによって、切断された食材の厚みを導出してもよい。
この場合には、本実施の形態における制御部12は、切断回数に基づいて、切断後の第1の食材の第1の厚みを推定する。つまり、第1の厚みが導出される。そして、制御部12は、切断回数に基づく情報として、その第1の食材の第1の厚みを用いて、第2の調理工程の内容を変更する。これにより、第1の食材を切断する調理工程で、切断後の第1の食材の厚みが想定されている厚みから外れていても、そのことによる料理品への影響を後の第2の調理工程で低減することができる。
[火の通りやすさの導出]
図9は、食材の切断時における荷重の変化と火の通りやすさを示す。なお、図9のグラフの横軸は時間[s]を示し、縦軸は荷重f[gf]を示す。
図9に示すように、調理板11上に置かれた食材を切断するときには、その調理板11にかかる荷重fは時間の経過とともに変化する。
制御部12は、図4に示すように食材の切断を検知すると、切断検知区間における荷重fを時間積分することによって得られる積分値を、切断された食材の火の通りやすさとして算出する。この積分値は、図9に示すハッチングされた領域の面積に相当する。また、この積分値は、食材の硬さとZ軸方向の厚みとの積にも相当する。
なお、制御部12は、上述の硬さと同様、標準データに基づいて、火の通りやすさを算出してもよい。例えば、メモリ14には、火の通りやすさに関する標準データが格納されている。具体的には、標準データは、複数の食材の種類のそれぞれについて、その種類の食材の切断検知区間における荷重fを時間積分することによって得られる積分値についての標準値を示す。
制御部12は、調理板11に置かれた食材の種類に対応する標準値、すなわち、切断検知区間における荷重fを時間積分することによって得られる積分値についての標準値を、そのメモリ14に格納された標準データから読み出す。そして、制御部12は、切断検知区間における荷重fを時間積分することによって得られる積分値と、その標準値とを用いて、調理板11に置かれた食材の火の通りやすさに関する指数を算出する。その火の通りやすさに関する指数は、食材に火が通りやすいほど大きな値を示し、逆に、食材に火が通り難いほど小さい値を示す。
[出力装置20に表示される画像]
図10は、本実施の形態における出力装置20によって表示される画像の一例を示す。
例えば、料理品が「豚バラ大根」である場合、その料理品の調理データは、大根を切る調理工程kと、だしを作る調理工程(k+1)とを含む。
制御部12は、その料理品の調理データをメモリ14から読み出し、図10の(a)に示すように、その調理データに含まれる調理工程kに関する画像を出力装置20に表示させる。その調理工程kに関する画像には、例えば「大根を半分に切ってください」という調理作業をユーザに促すメッセージが含まれている。したがって、その画像を見たユーザは、そのメッセージにしたがって、調理板11上に置かれた大根を、包丁を使って半分に切断する調理作業を実行する。
このとき、制御部12は、その大根の切断を検知する。その結果、制御部12は、図10の(b)に示すように、調理工程kに関する他の画像を出力装置20に表示させる。その調理工程kに関する他の画像には、例えば「半分の大根をさらに半分に切ってください」という調理作業をユーザに促すメッセージが含まれている。さらに、その調理工程kに関する他の画像には、調理工程kの進捗が示されていてもよい。例えば、調理工程kには、大根を半分に切る第1のサブ工程と、その半分の大根をさらに半分に切る第2のサブ工程とが含まれている。この場合、制御部12は、上述の大根の切断の検知によって、その第1のサブ工程と第2のサブ工程とのうち第1のサブ工程が完了したと判定する。そして、制御部12は、調理工程kのうちの第1のサブ工程が完了したことを示すプログレスバーまたはプログレスメーターを出力装置20に表示させる。
次に、調理工程kに関する他の画像を見たユーザは、そのメッセージにしたがって、調理板11上に置かれた半分の大根を、包丁を使ってさらに半分に切断する調理作業を実行する。このとき、制御部12は、その大根の切断を検知することによって、第2のサブ工程、すなわち、調理工程kが終了したと判定する。
その結果、制御部12は、図10の(c)に示すように、上述の調理データにしたがって、調理工程kの後の調理工程であって、だしを作る調理工程(k+1)に関する画像を出力装置20に表示させる。その調理工程(k+1)に関する画像には、例えば「鍋に水200gを入れてください」という調理作業をユーザに促すメッセージが含まれている。したがって、その画像を見たユーザは、そのメッセージにしたがって、調理板11に鍋を置き、その鍋に調理素材である水を投入する。
このとき、制御部12は、その水の重さを導出する。その結果、制御部12は、水200gに対して実際に投入された水の重さを示すプログレスリングまたはプログレスメーターを出力装置20に表示させる。
ここで、本実施の形態における制御部12は、調理工程kにおける調理作業の結果に応じて、例えば、その調理工程kの後の調理工程(k+1)の内容を変更する。調理工程kにおける調理作業の結果は、例えば、大根の切断回数、切断された大根の重さ、硬さ、または厚みなどである。
なお、本実施形態における出力装置20に表示される画像は、HTML上におけるJavaScript(登録商標)の記載に基づく画像であってもよく、HTML上で指定された画像ファイルに基づく画像であってもよく、その他の画像であってよい。
なお、図10に示す例では、制御部12は、「大根を半分に切ってください」などのメッセージを含む画像を出力装置200に表示させるが、さらに、調理作業の結果として導出または算出された情報を出力装置200に表示させてもよい。例えば、制御部12は、図10の(a)のように、「大根を半分に切ってください」などのメッセージを含む画像を表示させる。そして、その画像を見たユーザは、そのメッセージにしたがって、調理板11上に置かれた大根を、包丁を使って半分に切断する調理作業を実行する。このとき、制御部12は、その調理作業の結果として導出される、切断された大根の重さ、硬さ、または厚みなどを、図10の(b)に示す画像が表示される前に、出力装置200に表示させてもよい。例えば、制御部12は、切断された大根の硬さとして、図6に示す硬さ指数を出力装置200の画面の一番下に表示させてもよい。硬さ指数の具体的な一例として、制御部12は、「大根の硬さは、1.2でした」などのメッセージを表示させてもよい。また、制御部12は、硬さ指数の代わりに、図6に示す硬さのレベルを出力装置200に表示させてもよく、硬さ指数および硬さのレベルを出力装置200に表示させてもよい。
[処理の流れ]
図11は、調理支援システム100の処理動作を示すシーケンス図である。
調理支援システム100は、調理データに示される調理工程1~N(Nは2以上の整数)のそれぞれの調理工程を順に支援する。
具体的には、まず、調理支援システム100は、ステップS101、S102、およびS105~S107の処理を行うことによって、調理工程1を支援する。
(ステップS101)
例えば、制御部12は、メモリ14に保持されている調理データの調理工程1に関連付けられている画像1の表示を出力装置20に指示する。このとき、制御部12は、その調理工程1に音が関連付けられている場合には、その音の出力も出力装置20に指示する。
(ステップS102)
出力装置20は、制御部12からの指示に基づいて、その画像1を表示する。また、出力装置20は、音の出力も指示されている場合には、その音も出力する。
(ステップS103)
ユーザは、出力装置20に表示される画像1を視認する。また、出力装置20から音が出力されている場合には、ユーザはその音を聴く。
(ステップS104)
ユーザは、その画像1の視認結果に基づいて、その画像1に示される調理作業を少なくとも1回実行する。
(ステップS105)
第1のセンサ13は、ステップS104で調理作業が行われるたびに、その調理作業のセンシング結果を示す圧力信号を制御部12に出力する。
(ステップS106)
制御部12は、その圧力信号によって示される調理作業のセンシング結果に基づいて、調理工程1に含まれる全ての調理作業が全て終了したか否かを判断する。
例えば、調理データには、調理工程1の調理作業として食材のM回(Mは1以上の整数)の切断が示されている。このような場合には、制御部12は、第1のセンサ13からの圧力信号に基づいて検知される切断の回数をカウントし、その回数がM回に達したか否かを判断することによって、全ての調理作業が終了したか否かを判断する。または、調理データには、調理工程1の調理作業として食材のQcm(Qは0より大きい数)間隔の切断が示されている。このような場合には、制御部12は、第1のセンサ13からの圧力信号、または第2のセンサ30からの画像に基づいて、各切断後の食材の厚みを導出する。そして、制御部12は、それらの全ての厚みがQcmに達したか否かを判断することによって、全ての調理作業が終了したか否かを判断してもよい。または、調理データには、調理工程1における調理作業の作業時間が示されている。例えば、その作業時間は煮込み時間である。このような場合、制御部12は、調理工程1の画像1の表示が開始されてからの経過時間を計測し、その経過時間がその作業時間に達したか否かを判断することによって、全ての調理作業が終了したか否かを判断してもよい。または、制御部12は、調理工程1の調理作業として玉ねぎのみじん切りが調理データに示されている場合には、玉ねぎを切断するときの圧力信号の最大値が閾値未満になったときに、その調理作業が終了したと判断してもよい。
あるいは、制御部12は、第1のセンサ13から出力される圧力信号によって示される数値が安定している時間、すなわちその数値が所定範囲内にある時間が、予め定められている時間以上になったときに、全ての調理作業が終了したと判断してもよい。
あるいは、制御部12は、ユーザのジェスチャによって、全ての調理作業が終了したか否かを判断してもよい。例えば、そのジェスチャは、包丁で調理板11を2回連続して叩く行為である。このとき、第1のセンサ13は、その包丁で調理板11を2回連続して叩くことによって得られる圧力信号を制御部12に出力する。制御部12は、その圧力信号を受信することによって、全ての調理作業が終了したと判断する。
あるいは、調理支援システム100は、ユーザの操作を物理的に受け付ける操作部を備えていてもよい。このような場合には、制御部12は、その操作部に対して操作が行われたときに、全ての調理作業が終了したと判断してもよい。
(ステップS107)
そして、制御部12は、ステップS106において調理工程1に含まれる全ての調理作業が終了したと判断すると、その調理作業の結果に基づいて、調理工程1の後の調理工程の内容を変更する。例えば、調理工程1の直後の調理工程2の内容が変更される。例えば、調理工程1の調理作業の結果として、大根が硬いことが得られた場合には、制御部12は、その大根が柔らかくなるように調理工程2の内容を変更する。
次に、調理支援システム100は、調理工程1の支援と同様、ステップS201、S202、およびS205~S207の処理を行うことによって、調理工程2を支援する。調理支援システム100は、このような調理工程の支援を繰り返し、最後の調理工程である調理工程Nを支援する。
(ステップS1001)
調理工程Nの支援が終了すると、制御部12は、終了画像の表示を出力装置20に指示する。
(ステップS1002)
出力装置20は、制御部12からの指示に基づいて、その終了画像を表示する。
図12は、制御部12の処理動作を示すフローチャートである。
(ステップS1)
まず、制御部12は、変数kを1に初期化する。
(ステップS2)
次に、制御部12は、調理データに示される調理工程kの画像の表示を出力装置20に指示する。
(ステップS3)
次に、制御部12は、第1のセンサ13から圧力信号を受信する。
(ステップS4)
次に、制御部12は、そのステップS3で受信された圧力信号に基づいて、調理工程kに含まれる全ての調理作業が終了したか否かを判定する。
(ステップS5)
次に、制御部12は、変数kが最大値N未満であるか否かを判定する。
(ステップS6)
ここで、制御部12は、ステップS5において変数kが最大値N未満であると判定すると(ステップS5のYes)、変数kに対するインクリメントを行う。
(ステップS9)
一方、制御部12は、ステップS5において変数kが最大値N未満でないと判定すると(ステップS5のNo)、すなわち、変数kが最大値Nであると判定すると、終了画像の表示を出力装置20に指示する。
(ステップS7)
ステップS6において変数kのインクリメントが行われた後には、制御部12は、ステップS3で受信された圧力信号に基づいて、直前に終了された調理作業の結果を特定する。そして、制御部12は、その調理作業の結果に基づいて、調理工程k以降の調理工程の内容を変更するか否かを判定する。なお、直前に終了された調理作業は、インクリメントが行われる前の調理工程kの調理作業であり、内容の変更が判定される調理工程は、インクリメントが行われた後の調理工程k、または調理工程kの後の調理工程である。ここで、制御部12は、ステップS7において調理工程の内容を変更しないと判定すると(ステップS7のNo)、ステップS2からの処理を繰り返し実行する。
(ステップS8)
一方、制御部12は、ステップS7において調理工程の内容を変更すると判定すると(ステップS7のYes)、その調理工程の内容を変更する。これにより、後のステップS2における指示によって出力装置20に表示されるその調理工程の画像は、変更された内容を示す画像になる。
[調理工程の変更および追加]
図13Aは、メモリ14に保持されている調理データの一例を示す。
メモリ14には、上述のように、複数の料理品のそれぞれについて、その料理品を作るための調理データが格納されている。例えば、調理データは、図13Aに示すように、その料理品を作るための調理工程1~調理工程Nのそれぞれに関する情報を示す。具体的には、調理データは、調理工程1~調理工程Nのそれぞれについて、その調理工程の種類と、その調理工程の内容と、その調理工程に対応する提示情報とを示す。ここで、調理工程の内容は、その調理工程に用いられる調理対象と調理方法とを示す。また、提示情報は、その調理工程における調理作業をユーザに促すために、出力装置20によって表示される画像と、出力装置20から出力される音とを含む。
調理工程の種類には、例えば、切断工程、準備工程、および加熱冷却工程などがある。切断工程は、調理板11上で食材を例えば包丁で切断する工程である。この切断工程では、制御部12は、第1のセンサ13から出力される圧力信号に基づいて、食材の切断とその切断の回数とを検知する。さらに、制御部12は、切断された食材の硬さ、切断された食材の厚み、切断された食材の重さ、および切断された食材の体積のうちの少なくとも1つを導出してもよい。
加熱冷却工程は、食材を加熱する加熱工程と、食材を冷却する冷却工程とのうちの少なくとも一方を含む。加熱は、焼く、蒸す、煮る、および炙るのうちの少なくとも1つの処理である。冷却は、冷凍および冷蔵のうちの少なくとも1つの処理である。
準備工程は、切断工程および加熱冷却工程以外の工程である。例えば、準備工程は、調理板11上に食材または調理器具を配置する工程、調理板11上に配置された調理器具である容器に食材および調理素材のうちの少なくとも一方を入れる工程、食材を柔らかくする工程、または、食材に火が通りやすくする工程などである。
例えば、図13Aに示す調理データは、調理工程1について、その調理工程の種類「切断工程」と、その調理工程の内容である調理対象「ニンジン」および調理方法「乱切り」と、その調理工程に対応する提示情報「画像1、音1」とを示す。
制御部12は、ユーザによって料理品が選択されると、その料理品に対応する調理データをメモリ14から読み出す。そして、制御部12は、その調理データに示される複数の調理工程の順にしたがって、調理工程ごとに、その調理工程に関する情報に基づく処理を行う。例えば、制御部12は、調理工程1における提示情報が「画像1、音1」であるため、出力装置20に対して画像1の表示と音1の出力とを指示する。さらに、制御部12は、調理工程1における調理工程の種類が「切断工程」であるため、第1のセンサ13から出力される圧力信号に基づいて調理対象である食材「ニンジン」の切断を検知し、さらに、その切断されたニンジンの硬さおよび厚みなどを導出する。
図13Bは、メモリ14に保持されている変更追加データの一例を示す。
メモリ14には、複数の料理品のそれぞれについて、調理工程の内容を変更または追加するための変更追加データが格納されている。例えば、変更追加データは、図13Bに示すように、調理工程1~調理工程Nのそれぞれについて、導出対象と、基準範囲と、導出対象の値が基準外のときの変更処理とを示す。導出対象は、第1のセンサ13から出力される圧力信号に基づいて導出されるパラメータであって、例えば、硬さ、厚み、火の通りやすさ、または重さなどである。基準範囲は、その導出対象の数値に対して基準となる数値範囲である。導出対象の値が基準外のときの変更処理には、例えば、切断工程の追加、切断工程の変更、準備工程の追加、加熱冷却工程の変更、および、別の料理品の提案などがある。この変更処理は、調理工程において導出された導出対象の値が基準外のときに、その調理工程の後の調理工程に対して適用される。また、この変更処理は、図13Aに示す調理データに示されている、上述の後の調理工程に関する例えば提示情報などの情報を変更する処理である。
本実施の形態では、制御部12は、導出対象の値が基準外のときには、後の調理工程に変更処理を適用するが、そのとき、または事前に、その変更処理の適用の理由と、その変更処理の内容とを、出力装置200に表示させてもよい。変更処理の適用の理由は、導出対象の値であってもよい。例えば、導出対象が硬さの場合には、変更処理の適用の理由は、図6に示す硬さ指数、または硬さのレベルであってもよい。変更処理の内容は、例えば、切断工程の追加、準備工程の追加、または、加熱冷却工程の変更などである。具体的には、制御部12は、「調理工程1の大根が硬いため、調理工程2に切断工程を追加しました」というメッセージを出力装置200に表示させてもよい。さらに、制御部12は、そのメッセージと共に、変更される前の調理工程の内容を出力装置200に表示させてもよい。
なお、本実施の形態では、図13Aに示す調理データと、図13Bに示す変更追加データとが分離されているが、調理データに変更追加データが含まれていてもよい。
例えば、図13Bに示す変更追加データは、調理工程1について、導出対象「硬さ」と、基準範囲Aとを示す。したがって、制御部12は、調理工程1では、切断された食材の硬さを導出する。この硬さは、例えば、図6に示す硬さ指数として導出される。また、基準範囲Aは、例えば、図6に示す許容範囲である。そして、制御部12は、その硬さ指数と許容範囲とを比較し、その硬さ指数が許容範囲から外れていれば、すなわち、導出対象の値が基準外であれば、調理工程1の後の調理工程に対して、変更追加データに示される変更処理を行う。図13Bに示す変更追加データは、調理工程1について、導出対象の値が基準を超える場合の変更処理として、切断工程の追加、準備工程の追加、および加熱冷却工程の変更を示す。また、図13Bに示す変更追加データは、調理工程1について、導出対象の値が基準を下回る場合の変更処理として、別の料理品の提案を示す。したがって、制御部12は、上述の硬さ指数が許容範囲よりも大きければ、切断工程の追加、準備工程の追加、および加熱冷却工程の変更のうちの少なくとも1つを、調理工程1の後の調理工程に対して行う。これらの3つの変更処理には予め優先度が決められて、制御部12は、優先度が高い変更処理を優先的選択し、その選択された変更処理を行ってもよい。一方、制御部12は、上述の硬さ指数が許容範囲よりも小さければ、別の料理品の提案を、調理工程1の後の調理工程に対して行う。例えば、制御部12は、調理工程1の後の調理工程2において、別の料理品の画像と、その別の料理品への変更をユーザに促すメッセージとを出力装置20に表示させることによって、その別の料理品の提案を行う。
ここで、上述の各変更処理の具体的な例は、以下のとおりである。
切断工程の追加は、切断工程の後に行われる調理工程に対して、その切断工程において切断された食材をさらに細かく切断する工程を追加する処理である。このような切断工程の追加は、先の切断工程において切断された食材の硬さまたは厚みが、基準範囲を超える場合に行われる。
例えば、制御部12は、図13Bに示す変更追加データを参照し、調理工程1または2であるニンジンの切断工程において、切断されたニンジンの硬さまたは厚みを導出する。そして、制御部12は、その硬さまたは厚みを示す数値(例えば硬さ指数)が基準範囲AまたはBを超えると判定すると、その切断工程の後に行われる調理工程に対して、切断されたニンジンをさらに細かく切る切断工程を追加する。このように、本実施の形態における制御部12は、第1の調理工程に対応付けられている第2の厚みを取得し、第1の調理工程で導出された第1の厚みと第2の厚みとの比較結果を用いて、第2の調理工程の内容を変更する。また、制御部12は、第1の調理工程に対応付けられている第2の硬さを取得し、第1の調理工程で導出された第1の硬さと第2の硬さとの比較結果を用いて、第2の調理工程の内容を変更する。例えば、第2の厚みまたは第2の硬さは、変更追加データに示される基準範囲である。これにより、一度切断された食材の硬さまたは厚みが、予め定められた基準範囲から外れていても、その後に、その硬さまたは厚みを、その基準範囲内に収めることができる。
切断工程の変更は、食材1の切断工程の後に行われる食材2の切断工程において、先の切断工程において切断された食材1の大きさに合わせるように、切断される食材2の大きさを変更する処理である。つまり、食材2の切断工程において切断される食材2の大きさは、食材1の切断工程において切断される食材1と略同じ大きさに変更される。このような切断工程の変更は、食材1の切断工程において切断された食材1の大きさが、基準範囲から外れる場合に行われる。なお、その切断された食材の大きさは、切断された食材の厚みであってもよい。
例えば、制御部12は、図13Bに示す変更追加データを参照し、調理工程2である大根の切断工程において、切断された大根の厚みを導出する。そして、制御部12は、その厚みが基準範囲外であると判定すると、その切断工程の後に行われるジャガイモの切断工程において予め定められている切断後のジャガイモの厚みを、先に切断された大根の厚みに変更する。これにより、料理品の大根とジャガイモとを口に入れたときの食感、または、ごろごろ感を適切に調整することができる。このように、本実施の形態における制御部12は、第1の調理工程で導出された第1の厚みと第2の厚み(例えば上述の基準範囲)との比較結果に応じて、第2の調理工程に用いられる例えば上述のジャガイモなどの第2の食材の切り方を、第2の調理工程の内容として変更する。これにより、上述のような食感を適切に調整することができる。
なお、厚みなどの大きさが略同じになるように調整される切断後の食材1と食材2との組み合わせ(つまり第1の食材と第2の食材との組み合わせ)は、予め定められている。具体的には、ニンジンと大根の組み合わせと、大根とジャガイモの組み合わせとが予め定められていてもよい。例えば、このような組み合わせを示す組み合わせデータがメモリ14に格納され、制御部12は、その組み合わせデータを参照することによって、複数の変更処理の中から、切断工程の変更を選択してもよい。
準備工程の追加は、切断工程の後に行われる調理工程に対して、切断工程において切断された食材を柔らかくする工程、または、その食材に火が通りやすくするための工程を追加する処理である。このような準備工程の追加は、切断工程において切断された食材の硬さまたは厚みが、基準範囲から外れる場合に行われる。
例えば、制御部12は、図13Bに示す変更追加データを参照し、調理工程1であるニンジンの切断工程において、切断されたニンジンの硬さを導出する。そして、制御部12は、その硬さを示す数値(例えば硬さ指数)が基準範囲Aを超えると判定すると、その切断工程の後に行われる調理工程に対して、切断されたニンジンを、電子レンジを使って柔らかくする工程を準備工程として追加する。また、調理工程1が肉の切断工程の場合には、制御部12は、その切断工程の後に行われる調理工程に対して、切断された肉に酒を加えて揉み込む工程を準備工程として追加する。これにより、切断された食材の硬さが、予め定められた範囲から外れていても、その後に、その硬さを、予め定められた範囲内に収めることができる。
このように、本実施の形態における制御部12は、第1の調理工程で導出された第1の硬さが第2の硬さ(例えば上述の基準範囲)よりも硬い場合には、切断後の第1の食材に対する加工を第2の調理工程に追加することによって、第2の調理工程の内容を変更する。例えば、その第1の食材に対する加工は、上述の電子レンジを使って第1の食材を柔らかくする工程などである。これにより、切断された第1の食材の硬さが、想定どおりの硬さでなくても、その硬さを想定どおりの硬さに近づけることができる。すなわち、切断された第1の食材の硬さが、予め定められた範囲から外れていても、その後に、その硬さを、予め定められた範囲内に収めることができる。
加熱冷却工程の変更は、切断工程の後に行われる加熱冷却工程に用いられる、加熱または冷却の温度と時間との関係を示す温度パターンを変更する処理である。このような加熱冷却工程の変更は、切断工程において切断された食材の硬さまたは厚みが、基準範囲から外れる場合に行われる。
例えば、制御部12は、図13Bに示す変更追加データを参照し、調理工程1である玉ねぎの切断工程において、切断された玉ねぎの硬さを導出する。そして、制御部12は、その硬さを示す数値(例えば硬さ指数)が基準範囲Aから外れると判定すると、その切断工程の後に行われる加熱工程である玉ねぎを鍋で炒める工程に用いられる温度パターンを変更する。また、玉ねぎの硬さを示す数値が基準範囲Aよりも大きく、かつ、その加熱工程が、玉ねぎと肉とを鍋で炒める工程である場合には、制御部12は、その加熱工程において玉ねぎだけの炒め時間が長くなるように、肉を炒めるタイミングを変更する。つまり、制御部12は、肉を炒めるタイミングを予め定められたタイミングから遅らせる。これにより、切断された食材の硬さが、予め定められた範囲から外れていても、その後に、その硬さを、予め定められた範囲内に収めることができる。なお、上述の例では、制御部12は、玉ねぎの硬さを導出し、その硬さに応じて加熱工程を変更したが、その硬さと同様に、玉ねぎの厚みを導出し、その厚みに応じて加熱工程を変更してもよい。
また、上述の例では、調理工程1は、玉ねぎの切断工程であるが、肉の切断工程であってもよい。この場合、制御部12は、図13Bに示す変更追加データを参照し、調理工程1である肉の切断工程において、切断された肉の硬さを導出する。そして、制御部12は、その硬さを示す数値(例えば硬さ指数)が基準範囲Aから外れると判定すると、その切断工程の後に行われる加熱工程である肉を鍋で炒める工程に用いられる温度パターンを変更する。また、肉の硬さを示す数値が基準範囲Aよりも大きく、かつ、その加熱工程が、肉と野菜とを鍋で炒める工程である場合には、制御部12は、その加熱工程において肉だけの炒め時間が長くなるように、野菜を炒めるタイミングを変更してもよい。つまり、制御部12は、野菜を炒めるタイミングを予め定められたタイミングから遅らせる。または、肉と野菜とを鍋で炒める工程において、炒められる食材の順番が既定されている場合には、制御部12は、その順番を入れ替えてもよい。例えば、野菜を鍋で炒めて、その後に肉をその鍋に入れて炒めるように、野菜と肉とを炒める順番が既定されている。このような場合に、制御部12は、肉の硬さを示す数値が基準範囲Aよりも大きいと判定すると、その野菜と肉を炒める順番を入れ替えてもよい。
また、肉の硬さを示す数値が基準範囲Aよりも小さく、かつ、その加熱工程が、その肉を鍋で炒める工程である場合には、制御部12は、その加熱工程において肉に火が通り難くするために、野菜が鍋に加えられるようにその加熱工程を変更する。つまり、制御部12は、野菜を鍋に加えるメッセージを文字または音によって出力装置20から出力させる。なお、上述の例では、制御部12は、肉の硬さを導出し、その硬さに応じて加熱工程を変更したが、その硬さと同様に、肉の厚みを導出し、その厚みに応じて加熱工程を変更してもよい。
また、上述の例では、加熱工程は、食材を炒める工程であるが、食材を煮込む工程であってもよい。この場合、制御部12は、図13Bに示す変更追加データを参照し、調理工程1である食材の切断工程において、切断された食材の硬さを導出する。そして、制御部12は、その硬さを示す数値(例えば硬さ指数)が基準範囲Aから外れると判定すると、その切断工程の後に行われる加熱工程であるその食材を煮込む工程に用いられる温度パターンを変更する。その加熱工程において灰汁を取るタイミングが予め定められている場合には、制御部12は、温度パターンだけでなく、そのタイミングも変更してもよい。また、制御部12は、温度パターンの変更によって、煮込み時間が予め定められた時間から変更される場合には、その加熱工程の煮込みに用いられる水の量を変更してもよい。つまり、その加熱工程において予め定められている水の量が変更される。また、制御部12は、その食材が肉であって、肉の硬さを示す数値が基準範囲Aよりも大きいと判定すると、その切断工程の後に行われる加熱工程であるその食材を煮込む工程に用いられる水の一部を、赤ワインに変更してもよい。
このように、本実施の形態における制御部12は、第1の調理工程で導出された第1の厚みと第2の厚み(例えば上述の基準範囲)との比較結果に応じて、または、第1の調理工程で導出された第1の硬さと第2の硬さ(例えば上述の基準範囲)との比較結果に応じて、第2の調理工程に用いられる切断後の第1の食材の加熱方法を、第2の調理工程の内容として変更する。これにより、切断後の第1の食材の硬さが想定どおりの硬さでなくても、その硬さを想定どおりの硬さに近づけることができる。
別の料理品の提案は、切断工程の後に行われる調理工程に対して、その切断工程および調理工程によって作られる料理品とは異なる別の料理品の提案を追加する処理である。この別の料理品の提案は、出力装置20による画像の表示または音の出力によって行われる。また、このような別の料理品の提案は、切断工程において切断された食材の硬さまたは厚みを示す値が、基準範囲よりも小さい場合に行われる。別の料理品の情報は、例えばスープ系の料理品を示す情報であって、予めメモリ14に保持されていてもよい。
例えば、制御部12は、図13Bに示す変更追加データを参照し、例えば料理品「カレー」の調理工程2である大根の切断工程において、切断された大根の厚みを導出する。そして、制御部12は、その厚みが基準範囲よりも小さいと判定すると、その切断された大根を用いた別の料理品、例えば料理品「スープ」をメモリ14から検索する。制御部12は、調理工程2の後の例えば調理工程3において、その検索された別の料理品「スープ」の提案を、出力装置20を用いて行う。これにより、料理品「カレー」では、細かくし過ぎた大根の食感が失われるが、別の料理品「スープ」ではその大根を有効に用いることができる。
図14は、温度パターンの変更の一例を示す。なお、図14のグラフの横軸は時間[s]を示し、縦軸は温度[℃]を示す。また、その温度は、食材を加熱するためのコンロまたはヒータの設定温度または火力の度合いである。
制御部12は、例えば、切断された食材の硬さが基準範囲を超えるために、後の加熱工程に用いられる温度パターンを変更する場合には、図14に示すように、温度パターンpt1を、温度パターンpt2またはpt3に変更する。つまり、制御部12は、温度パターンpt1の最大温度h1を最大温度h2に上げることによって、その温度パターンpt1を温度パターンpt2に変更する。あるいは、制御部12は、温度パターンpt1の加熱時間t01を加熱時間t02に延長することによって、その温度パターンpt1を温度パターンpt3に変更する。
このような変更前の温度パターンpt1は、図13Aに示す調理データに示され、変更後の温度パターンpt2またはpt3は、図13Bに示す変更追加データに示されていてもよい。制御部12は、その変更追加データを参照することによって、その温度パターンpt1を変更する。
また、制御部12は、変更後の温度パターンpt2またはpt3が変更追加データに示されていない場合には、変更後の温度パターンを生成してもよい。例えば、制御部12は、調理データに示される温度パターンpt1の最大温度h1に、上述の硬さ指数を乗算することによって、最大温度h2を有する温度パターンpt2を生成する。または、制御部12は、調理データに示される温度パターンpt1の加熱時間t01に、上述の硬さ指数を乗算することによって、加熱時間t02を有する温度パターンpt3を生成する。また、上述の例では、変更後の温度パターンの生成に硬さ指数を用いたが、その硬さ指数の代わりに図6に示す硬さレベルを用いてもよい。この場合には、各硬さレベルに係数が予め割り当てられてあり、制御部12は、その係数を温度パターンpt1の最大温度h1または加熱時間t01に乗算することによって、変更後の温度パターンを生成してもよい。なお、上述の例では、切断後の食材の硬さに応じて温度パターンが変更されるが、これと同様に、切断後の食材の厚みに応じて温度パターンが変更されてもよい。このように、切断後の食材の硬さが硬いほど、または厚み大きいほど、高い温度または長い時間においてその食材の加熱が行われる。逆に、切断後の食材の硬さが柔らかいほど、または厚み小さいほど、低い温度または短い時間においてその食材の加熱が行われる。これにより、食材の硬さを適切にコントロールすることができる。
図15は、料理品「カレー」の調理データと変更追加データとを組み合わせて概念的に示す。
例えば、料理品「カレー」を作る工程は、図15に示すように、調理工程1~Nを含む。調理工程1は、ニンジンを切る切断工程であり、その切断工程において導出される硬さなどのパラメータに応じて、ニンジンの再加工、加熱工程の変更、または別の料理品の提案が、調理工程1の後の調理工程で行われる。ニンジンの再加工は、その切断工程で切断されたニンジンに対する上述の切断工程の追加または準備工程の追加である。同様に、調理工程2は、ジャガイモを切る切断工程であり、その切断工程において導出される硬さなどのパラメータに応じて、ジャガイモの再加工、加熱工程の変更、または別の料理品の提案が、調理工程2の後の調理工程で行われる。ジャガイモの再加工は、その切断工程で切断されたジャガイモに対する上述の切断工程の追加または準備工程の追加である。
[実施の形態1のまとめ]
以上のように、本実施の形態における調理支援システム100は、調理工程における調理作業の結果に応じて、その後の調理工程の内容を変更する。つまり、本実施の形態における制御部12は、図16に示す処理を行う。
図16は、本実施の形態における制御部12が調理工程の内容を変更する処理動作を示すフローチャートである。
(ステップSa1)
まず、制御部12は、第1の食材を切断する、又は第1の食材に圧力を加える第1の調理工程の情報を出力装置20から出力させる。その情報は、例えば、第1の食材の切断をユーザに促すための画像または音である。
(ステップSa2)
次に、制御部12は、第1の調理工程において、調理板11上で第1の食材が切断される時、又は調理板11上で第1の食材に圧力が加わる時に、その調理板11に加わる圧力、第1の食材の切断回数、および切断後の第1の食材の状態の少なくとも1つを取得する。
(ステップSa3)
次に、制御部12は、その圧力、切断回数、及び切断後の第1の食材の状態の少なくとも1つに基づく情報を用いて、第1の調理工程の後に行われる第2の調理工程の内容を変更する。
(ステップSa4)
そして、制御部12は、変更された第2の調理工程の情報を出力装置20から出力させる。
これにより、例えば、出力装置20のユーザは、その出力装置20から出力される第1の調理工程の情報にしたがって調理作業を行う。そして、その調理作業によって、上述の圧力、切断回数、および第1の食材の状態の少なくとも1つ、またはその少なくとも1つに基づく情報が、調理作業の結果として取得される。その調理作業の結果が、第1の調理工程で想定されている結果と異なっていても、その調理作業の結果を用いて第2の調理工程の内容が変更される。したがって、第1の調理工程における調理作業の結果が想定から外れていても、そのことによる料理品への影響を第2の調理工程で低減することができる。その結果、調理の支援を適切に行うことができる。
また、制御部12は、ステップSa3では、切断回数に基づいて、切断後の第1の食材の第1の厚みを推定する。そして、制御部12は、その切断回数に基づく情報として、第1の食材の第1の厚みを用いて、第2の調理工程の内容を変更する。例えば、制御部12は、第1の調理工程に対応付けられている第2の厚みを取得し、第1の厚みとその第2の厚みとの比較結果を用いて、第2の調理工程の内容を変更する。
これにより、第1の調理工程における調理作業の結果として第1の厚みが取得され、その第1の厚みを用いて第2の調理工程の内容が変更される。したがって、その第1の厚みが、第1の調理工程で想定されている第2の厚みから外れていても、そのことによる料理品への影響を第2の調理工程で低減することができる。
また、制御部12は、ステップSa3では、圧力に基づいて、切断後の第1の食材の第1の硬さ、又は圧力を加えた後の第1の食材の第1の硬さを推定し、その圧力に基づく情報として、第1の食材の第1の硬さを用いて、第2の調理工程の内容を変更する。例えば、制御部12は、第1の調理工程に対応付けられている第2の硬さを取得し、第1の硬さとその第2の硬さとの比較結果を用いて、第2の調理工程の内容を変更する。
これにより、第1の調理工程における調理作業の結果として第1の硬さが取得され、その第1の硬さを用いて第2の調理工程の内容が変更される。したがって、その第1の硬さが、第1の調理工程で想定されている第2の硬さから外れていても、そのことによる料理品への影響を第2の調理工程で低減することができる。
また、制御部12は、ステップSa3では、その比較結果に応じて、第2の調理工程に用いられる第2の食材の切り方、および、第2の調理工程に用いられる切断後の第1の食材の加熱方法のうちの少なくとも一方を、第2の調理工程の内容として変更する。
これにより、例えば、第1の厚みが第2の厚みよりも大きいために、その第1の厚みが、第2の調理工程において切断される第2の食材の厚みより大きくなってしまう場合には、その第2の食材の切り方が変更される。したがって、第1の厚みが大きくなってしまっても、切断後の第1の食材と切断後の第2の食材とをそれぞれ同じ厚みにすることができる。また、例えば、切断後の第1の食材の第1の硬さが第2の硬さよりも硬い場合には、その第1の食材の加熱方法が変更される。したがって、その加熱方法の変更によって、切断後の第1の食材の硬さを第2の硬さに近づけることができる。
また、制御部12は、ステップSa3では、第1の硬さが第2の硬さよりも硬い場合には、切断後の第1の食材に対する加工を第2の調理工程に追加することによって、第2の調理工程の内容を変更する。
これにより、切断後の第1の食材の第1の硬さが第2の硬さよりも硬い場合には、その第1の食材に対する加工が追加される。例えば、その追加される加工は、切断後の第1の食材をさらに切断する加工、または、切断後の第1の食材を電子レンジで加熱する加工である。したがって、その加工の追加によって、切断後の第1の食材の硬さを第2の硬さに近づけることができる。
なお、本実施の形態では、第1の厚みと第2の厚みとの比較結果、または、第1の硬さと第2の硬さとの比較結果を用いて、第2の調理工程の内容を変更する。つまり、図13Bに示すように、制御部12は、調理工程1で導出された硬さと基準範囲Aとを比較し、その比較結果に基づいて、後の調理工程の内容を変更する。しかし、制御部12は、このような比較結果を用いなくてもよい。例えば、制御部12は、調理工程で導出された硬さまたは厚みの数値ごとに、その数値に対して後の調理工程の変更が設定されているか否かを判定し、その変更が設定されている場合に、後の調理工程の内容を変更してもよい。または、制御部12は、調理工程で導出された硬さまたは厚みのレベルごとに、そのレベルに対して後の調理工程の変更が設定されているか否かを判定し、その変更が設定されている場合に、後の調理工程の内容を変更してもよい。その数値またはレベルに対する後の調理工程の変更は、例えば、図13Bに示す変更追加データにおいて設定されていてもよい。
また、本実施の形態における準備工程の追加は、切断工程の後に行われる調理工程に対して、切断工程において切断された食材を柔らかくする工程などを追加する処理である。しかし、この準備工程の追加は、先の準備工程の後に行われる調理工程に対して、調理素材を投入する工程などを追加する処理であってもよい。例えば、先の準備工程において、ボール内の水に塩を入れ過ぎた場合には、その後の調理工程に対して、ボール内にさらに水を投入する工程を追加する処理が、その準備工程の追加として行われる。
また、本実施の形態では、制御部12は、調理作業の結果として食材の重さ、硬さ、および厚みを導出するが、体積を導出してもよい。例えば、調理支援システム100が第2のセンサ30を備えている場合には、制御部12は、その第2のセンサ30の撮影によって得られる画像に映し出されている食材のXY平面における面積およびZ軸方向の高さに基づいて、その食材の体積を導出してもよい。なお、そのZ軸方向の高さは、調理データにおいて食材ごとに予め定め示されていてもよい。また、制御部12は、その食材の体積に対してその食材の密度を乗算することによって、その食材の重さを導出してもよい。なお、その密度も、調理データにおいて食材ごとに予め示されていてもよい。
(実施の形態2)
本実施の形態における調理支援システム100の制御部12は、出力装置20に表示される画像が切り替えられるタイミングでゼロリセットを行う。ゼロリセットは、第1のセンサ13から出力される圧力信号に基づいて導出される荷重をゼロにリセットする処理である。なお、本実施の形態における荷重および時間などの数値は、何れも一例であって、他の数値であってもよい。
図17は、出力装置20の画面遷移およびゼロリセットのタイミングの一例を示す。なお、図17に示す画像d1~d11は、調理データに示される調理工程1~11にそれぞれ関連付けられている画像である。
まず、制御部12は、上述の調理データにしたがって、料理品を作るための前準備の画像d1を出力装置20に表示させる。前準備の画像d1は、食材1を調理板11上に置いて、食材1に対して前工程の作業を行い、かつ、食材2を調理板11上に置いて、調味料A~Cを準備する作業を、ユーザに促すための画像である。なお、前工程は、例えば、食材1を洗う工程、食材1の皮をむく工程、および食材1のひげを取る工程のうちの少なくとも1つを含む。また、本実施の形態における作業は、実施の形態1と同様の調理作業である。
次に、制御部12は、出力装置20に表示されている画像d1を画像d2に切り替えさせる。画像d2は、前準備の完了の合図をユーザに促すための画像である。ユーザは、例えば包丁で調理板11を2回連続して叩くことによって、その合図を行う。第1のセンサ13は、その包丁で調理板11を2回連続して叩くことによって得られる圧力信号を制御部12に出力する。制御部12は、その圧力信号を受信することによって、前準備が完了したことを認識する。その結果、制御部12は、出力装置20に表示されている画像d2を画像d3に切り替えさせるとともに、ゼロリセットを行う。画像d3は、調理板11上で食材1を切断する作業をユーザに促すための画像である。このようなゼロリセットによって、制御部12は、その後の調理工程において、圧力信号から導出される荷重に基づいて、食材1の切断と、次の食材2の切断と、食材1および食材2の片付けとを適切に検知することができる。
次に、制御部12は、出力装置20に表示されている画像d3を画像d4に切り替えさせ、さらに、その画像d4を画像d5に切り替えさせる。画像d4は、調理板11上で食材2を切断する作業をユーザに促すための画像であり、画像d5は、調理板11上の食材1および食材2を片付ける作業をユーザに促すための画像である。
次に、制御部12は、出力装置20に表示されている画像d5を画像d6に切り替えさせるとともに、ゼロリセットを行う。画像d6は、調理板11上にカップを置く作業をユーザに促すための画像である。このようなゼロリセットによって、制御部12は、圧力信号から導出される荷重に基づいて、カップが置かれたことを適切に検知することができる。
次に、制御部12は、出力装置20に表示されている画像d6を画像d7に切り替えさせるとともに、ゼロリセットを行う。画像d7は、調理板11上のカップに水100gfを入れる作業をユーザに促すための画像である。このようなゼロリセットによって、制御部12は、圧力信号から導出される荷重に基づいて、カップに水100gfが入れられたことを適切に検知することができる。
次に、制御部12は、出力装置20に表示されている画像d7を画像d8に切り替えさせるとともに、ゼロリセットを行う。画像d8は、調理板11上のカップにみりん10gfを入れる作業をユーザに促すための画像である。このようなゼロリセットによって、制御部12は、圧力信号から導出される荷重に基づいて、カップにみりん10gが入れられたことを適切に検知することができる。
次に、制御部12は、出力装置20に表示されている画像d8を画像d9に切り替えさせるとともに、ゼロリセットを行う。画像d9は、調理板11上のカップに塩大さじ2杯を入れる作業をユーザに促すための画像である。このようなゼロリセットによって、制御部12は、圧力信号から導出される荷重に基づいて、カップに塩大さじ2杯が入れられたことを適切に検知することができる。
そして、制御部12は、出力装置20に表示されている画像d9を画像d10に切り替えさせ、さらに、その画像d10を画像d11に切り替えさせるとともに、ゼロリセットを行う。画像d10は、調理板11上のカップ内にある各調理素材を鍋に入れる作業をユーザに促すための画像である。画像d11は、調理板11上で食材1を切断する作業をユーザに促すための画像である。このようなゼロリセットによって、制御部12は、圧力信号から導出される荷重に基づいて、食材1の切断を適切に検知することができる。
このように、本実施の形態における制御部12は、出力装置20に表示されている画像を次の画像に切り替えるときに、ゼロリセットを行う。つまり、本実施の形態における制御部12は、調理板11にかかる荷重に応じて変化する数値を示す信号を第1のセンサ13から継続的に取得する。そして、制御部12は、調理板11を用いた調理作業を行う第1の調理工程に関する第1の画像を出力装置20に表示させる。制御部12は、その第1の画像が表示されている間、取得される上述の信号によって示される数値を荷重に変換する。さらに、制御部12は、出力装置20に表示されている第1の画像を、調理板11を用いて第1の調理工程とは異なる調理作業を行う第2の調理工程に関する第2の画像に切り替えさせる。ここで、制御部12は、第1の画像が第2の画像に切り替えられるときに取得される上述の信号によって示される数値を0の荷重に設定するゼロリセットを行い、第2の画像が表示されている間、0の荷重に設定された数値を基準に、取得される上述の信号によって示される数値を荷重に変換する。
このゼロリセットを行うタイミングは、上述の調理データに示されていてもよい。例えば、調理データは、調理工程1の次に調理工程2が行われることを示すとともに、その調理工程2の最初にゼロリセットを行うことを示す。制御部12は、この調理データにしたがってゼロリセットを行う。これにより、第2の調理工程において導出される荷重の精度を高めることができ、第2の調理工程における調理作業の結果を適切に特定することができる。したがって、調理の支援を適切に行うことができる。
図18は、料理品「から揚げ」を作るときの出力装置20の画面遷移および処理内容の遷移の一例を示す。なお、図18に示す画像d101、d111~d115、d103、およびd104は、料理品「から揚げ」の調理データの調理工程1~8にそれぞれ関連付けられている画像である。
まず、制御部12は、料理品「から揚げ」の調理データにしたがって、料理品「から揚げ」に用いられる肉を調理板11上で切断する作業をユーザに促すための画像d101を出力装置20に表示させる。そして、制御部12は、その作業が終了したと判断すると、出力装置20に表示されている画像d101を画像d111に切り替えさせる。画像d111は、調理板11上の肉を片付ける作業をユーザに促すための画像である。
次に、制御部12は、出力装置20に表示されている画像d111を画像d112に切り替えさせるとともに、ゼロリセットを行う。画像d112は、調理板11上にボールを置く作業をユーザに促すための画像である。具体的には、制御部12は、圧力信号に基づいて導出される荷重が例えば5gf未満になったとき、すなわち肉の片付けが終了したときにゼロリセットを行い、画像の切の替えを行う。このようなゼロリセットによって、制御部12は、次の調理工程で、調理板11上にボールが置かれたことを適切に検知することができる。
次に、制御部12は、出力装置20に表示されている画像d112を画像d113に切り替えさせるとともに、ゼロリセットを行う。画像d113は、調理板11上のボールに水100gfを入れる作業をユーザに促すための画像である。具体的には、制御部12は、圧力信号に基づいて導出される荷重が例えば10gfを超えて0.5s以上変化しないとき、すなわちボールの設置が終了したときにゼロリセットを行い、画像の切り替えを行う。このようなゼロリセットによって、制御部12は、次の調理工程で、ボールに水100gfが入れられたことを適切に検知することができる。
次に、制御部12は、出力装置20に表示されている画像d113を画像d114に切り替えさせるとともに、ゼロリセットを行う。画像d114は、調理板11上のボールに醤油10gfを入れる作業をユーザに促すための画像である。具体的には、制御部12は、圧力信号に基づいて導出される荷重、すなわち水の重さが例えば100gf以上になったときにゼロリセットを行い、画像の切り替えを行う。このようなゼロリセットによって、制御部12は、次の調理工程で、ボールに醤油10gfが入れられたことを適切に検知することができる。
次に、制御部12は、出力装置20に表示されている画像d114を画像d115に切り替えさせるとともに、ゼロリセットを行う。画像d115は、調理板11上のボールに塩小さじ2杯を入れる作業をユーザに促すための画像である。具体的には、制御部12は、圧力信号に基づいて導出される荷重、すなわち醤油の重さが例えば10gf以上になったときにゼロリセットを行い、画像の切り替えを行う。このようなゼロリセットによって、制御部12は、次の調理工程で、ボールに塩小さじ2杯が入れられたことを適切に検知することができる。そして、この作業によって、ボール内でたれが生成される。
そして、制御部12は、出力装置20に表示されている画像d115を画像d103に切り替え、さらに、その画像d103を画像d104に切り替えさせる。画像d103は、ボール内のたれに切断された肉を3時間の間漬けておく作業をユーザに促すための画像である。画像d104は、たれに漬けられていた肉に衣を付けてその肉を揚げる作業をユーザに促すための画像である。
このように図18に示す例では、画像の切り替えのタイミングでゼロリセットが行われるため、切り替え前後の各画像によって促される各調理工程の作業を高い確度でユーザに行わせながら、それらの作業の合間に適切にゼロリセットを行うことができる。
図18に示す例では、画像の切り替えのときにゼロリセットが行われるが、その切り換えのときではなく、画像が表示されているときにゼロリセットを行ってもよい。
図19は、料理品「から揚げ」を作るときの出力装置20の画面遷移および処理内容の他の例を示す。
図19に示す例では、制御部12は、図18に示す画像d111~d115のそれぞれの内容を含む画像d110を、画像d111~d115の代わりに出力装置20に表示させる。この画像d110が表示されているときには、制御部12は、複数回のゼロリセットを行う。つまり、制御部12は、圧力信号に基づいて導出される荷重が5gf未満になると1回目のゼロリセットを行う。次に、制御部12は、その荷重がボールの重さに相当する値になって0.5s以上変化しないときに2回目のゼロリセットを行う。例えば、制御部12は、その荷重が10gfを超えて0.5s以上変化しないときに2回目のゼロリセットを行う。次に、制御部12は、その荷重が100gf増加して0.5s以上変化しないときに3回目のゼロリセットを行う。そして、制御部12は、その荷重が10gf増加して0.5s以上変化しないときに4回目のゼロリセットを行う。
例えば、ユーザは、出力装置20に表示されている画像d110を見ると、その画像d110に示されている各作業を行う。つまり、ユーザは、調理板11上で切断された肉を片付けて、調理板11上にボールを置き、そのボールに水100gfを入れ、さらに、醤油10gfを入れ、さらに、塩小さじ2杯を入れる。制御部12は、ユーザがそれらの作業を行うことを前提に、荷重が5gf未満になると、肉の片付けが終了したと判定して、1回目のゼロリセットを行う。さらに、制御部12は、荷重がボールの重さに相当する値になって0.5s以上変化しないと、ボールの設置が終了したと判定して、2回目のゼロリセットを行う。さらに、制御部12は、荷重が100gf増加して0.5s以上変化しないと、水100gfの投入が終了したと判定して、3回目のゼロリセットを行う。さらに、制御部12は、荷重が10gf増加して0.5s以上変化しないと、醤油10gfの投入が終了したと判定して、4回目のゼロリセットを行う。これらのゼロリセットによって、ボールの配置の検知、水100gfの投入の検知、醤油10gfの投入の検知、および塩小さじ2杯の投入の検知を適切に行うことができる。
図18に示す例では、画像の切り替えのときにゼロリセットが行われ、図19に示す例では、画像が表示されているときにゼロリセットが行われるが、画像の切り替えのときにも、画像が表示されているときにもゼロリセットが行われてもよい。
図20は、料理品「から揚げ」を作るときの出力装置20の画面遷移および処理内容の遷移の他の例を示す。
図20に示す例では、制御部12は、図18に示す画像d113~d115のそれぞれの内容を含む画像d120を、画像d113~d115の代わりに出力装置20に表示させる。この画像d120が表示されているときには、制御部12は、複数回のゼロリセットを行う。つまり、制御部12は、圧力信号に基づいて導出される荷重が100gf増加して0.5s以上変化しないときに1回目のゼロリセットを行う。そして、制御部12は、その荷重が10gf増加して0.5s以上変化しないときに2回目のゼロリセットを行う。
このような図20に示す例であっても、ゼロリセットによって、ボールの配置の検知、水100gfの投入の検知、醤油10gfの投入の検知、および塩小さじ2杯の投入の検知を適切に行うことができる。
このように、本実施の形態における制御部12は、調理板11を用いて調理作業を行う第3の調理工程に関する第3の画像として例えば画像d120を出力装置20に表示させる。そして、制御部12は、第3の画像が表示されている間、取得される圧力信号によって示される数値の変化が予め定められた条件を満たしたときに圧力信号によって示される数値を0の荷重に設定するゼロリセットを行い。制御部12は、その条件が満たされた後には、0の荷重に設定された数値を基準に、取得される圧力信号によって示される数値を荷重に変換する。
例えば、第3の調理工程では、調理板11上で水の重さ100gfを計る調理作業と、調理板11上で醤油の重さ10gfを計る調理作業とが行われ、第3の画像である画像d120は、それらの調理作業をユーザに促すための画像である。このような画像d120が出力装置20から出力されているときには、ユーザは、その画像d120にしたがって、水の重さ100gfを計る調理作業を行い、次に、醤油の重さ10gを計る調理作業を行う。ここで、予め定められた条件が、水の計量の終了条件である場合には、その水の計量の終了を検知することができ、その後に、ゼロリセットを行うことができる。図20に示す例では、その終了条件は、圧力信号から導出される荷重が100gf増加して0.5s不変であるという条件である。したがって、調理板11上で醤油の重さ10gfを計るときに、先に計量された水が調理板11上にあっても、水の計量が行われた後にはゼロリセットが行われるため、その醤油の重さ10gfを適切に計ることができる。
ここで、上述の料理品「から揚げ」を作るときの画面遷移には、それぞれ食材を切断する作業をユーザに促すための複数の画像が順に表示されないが、それらの複数の画像が順に表示されてもよい。この場合でも、制御部12はゼロリセットを行ってもよい。
図21は、食材を切断する作業を複数回行って料理品を作るときの出力装置20の画面遷移および処理内容の遷移の一例を示す。なお、図21に示す画像d211~d215、d221、d222、およびd201は、上述の料理品の調理データの調理工程1~8にそれぞれ関連付けられている画像である。
まず、制御部12は、上述の調理データにしたがって、料理品に用いられる大根を調理板11上に置く作業をユーザに促すための画像d211を出力装置20に表示させる。そして、制御部12は、出力装置20に表示されている画像d211を画像d212に切り替えさせるとともに、ゼロリセットを行う。画像d212は、調理板11上に置かれた大根を半分に切断する作業をユーザに促すための画像である。具体的には、制御部12は、圧力信号に基づいて導出される荷重が例えば200gfを超えて0.5s以上変化しないとき、すなわち大根の配置が終了したときにゼロリセットを行い、画像の切り替えを行う。このようなゼロリセットによって、制御部12は、次の調理工程で、大根が半分に切断されたことを適切に検知することができる。
次に、制御部12は、荷重の変化に基づいて大根の切断を1回検知すると、出力装置20に表示されている画像d212を画像d213に切り替えさせる。画像d213は、調理板11上で半分に切断された大根のそれぞれをさらに半分に切断する作業をユーザに促すための画像である。
次に、制御部12は、荷重の変化に基づいて大根の切断を2回検知すると、出力装置20に表示されている画像d213を画像d214に切り替えさせる。画像d214は、調理板11上で切断された大根を2cm間隔でさらに切断する作業をユーザに促すための画像である。つまり、その作業は大根を2cmの厚みで複数回切断する作業である。
次に、制御部12は、荷重の変化に基づいて大根の切断をM回検知すると、出力装置20に表示されている画像d214を画像d215に切り替えさせる。M回は、メモリ14に格納されている大根の標準長さを2cmで除算することによって得られる商である。制御部12は、このようなM回を算出してもよい。また、画像d215は、調理板11上で切断された大根を片付ける作業をユーザに促すための画像である。
次に、制御部12は、出力装置20に表示されている画像d215を画像d221に切り替えさせるとともに、ゼロリセットを行う。画像d221は、調理板11上に山芋を置く作業をユーザに促すための画像である。具体的には、制御部12は、圧力信号に基づいて導出される荷重が例えば-200gf未満になって0.5s以上変化しないとき、すなわち大根の片付けが終了したときにゼロリセットを行い、画像の切の替えを行う。このようなゼロリセットによって、制御部12は、次の調理工程で、調理板11上に山芋が置かれたことを適切に検知することができる。
次に、制御部12は、出力装置20に表示されている画像d221を画像d222に切り替えさせるとともに、ゼロリセットを行う。画像d222は、調理板11上に置かれた山芋を5mm間隔で輪切りにする作業をユーザに促すための画像である。その作業は山芋を5mmの厚みで複数回切断する作業である。具体的には、制御部12は、圧力信号に基づいて導出される荷重が例えば100gfを超えて0.5s以上変化しないとき、すなわち山芋の配置が終了したときにゼロリセットを行い、画像の切の替えを行う。このようなゼロリセットによって、制御部12は、次の調理工程で、山芋が輪切りにされたことを適切に検知することができる。
次に、制御部12は、荷重の変化に基づいて山芋の切断をL回(Lは1以上の整数)検知すると、出力装置20に表示されている画像d222を画像d201に切り替えさせる。L回は、メモリ14に格納されている山芋の標準長さを2cmで除算することによって得られる商である。制御部12は、このようなL回を算出してもよい。また、画像d201は、調理板11上で輪切りにされた山芋を片付ける作業をユーザに促すための画像である。
このように図21に示す例では、画像の切り替えのタイミングでゼロリセットが行われるため、切り替え前後の各画像によって促される各調理工程の作業を高い確度でユーザに行わせながら、それらの作業の合間に適切にゼロリセットを行うことができる。
図21に示す例では、画像の切り替えのときにゼロリセットが行われるが、その切り換えのときではなく、画像が表示されているときにゼロリセットを行ってもよい。
図22は、食材を切断する作業を複数回行って料理品を作るときの出力装置20の画面遷移および処理内容の遷移の他の例を示す。
図22に示す例では、制御部12は、図21に示す画像d211~d215のそれぞれの内容を含む画像d210を、画像d211~d215の代わりに出力装置20に表示させる。この画像d210が表示されているときには、制御部12は、複数回のゼロリセットを行う。つまり、制御部12は、圧力信号に基づいて導出される荷重が200gfを超えて0.5s以上変化しないときに1回目のゼロリセットを行う。次に、制御部12は、圧力信号に基づいて導出される荷重が例えば-200gf未満になって0.5s以上変化しないときに2回目のゼロリセットを行い、出力装置20に表示されている画像d210を画像d220に切り替えさせる。
例えば、ユーザは、出力装置20に表示されている画像d210を見ると、その画像d210に示されている各作業を行う。つまり、ユーザは、調理板11上に大根を置いて、その大根を半分に切断し、半分に切断された大根のそれぞれをさらに半分に切断し、その大根を2cm間隔でさらに切断し、切断された各大根を片付ける。制御部12は、ユーザがそれらの作業を行うことを前提に、荷重が200gfを超えて0.5s以上変化しないと、大根の配置が終了したと判定して、1回目のゼロリセットを行う。さらに、制御部12は、荷重が-200gf未満になって0.5s以上変化しないと、切断された大根の片付けが終了したと判定して、2回目のゼロリセットを行う。これらのゼロリセットによって、大根の切断の検知と、次の調理工程で行われる山芋の配置の検知とを適切に行うことができる。
画像d220は、図21に示す画像d221~d222のそれぞれの内容を含み、画像d221~d222の代わりに出力装置20に表示される。この画像d210が表示されているときには、制御部12は、圧力信号に基づいて導出される荷重が例えば100gfを超えて0.5s以上変化しないときにゼロリセットを行う。つまり、制御部12は、荷重が100gfを超えて0.5s以上変化しないと、山芋の配置が終了したと判定して、ゼロリセットを行う。その後、制御部12は、荷重の変化に基づいて山芋の切断をL回検知すると、出力装置20に表示されている画像d220を画像d201に切り替えさせる。上述のゼロリセットによって、山芋の切断の検知を適切に行うことができる。
図21に示す例では、画像の切り替えのときにゼロリセットが行われ、図22に示す例では、画像が表示されているときにゼロリセットが行われるが、画像の切り替えのときにも、画像が表示されているときにもゼロリセットが行われてもよい。
図23は、食材を切断する作業を複数回行って料理品を作るときの出力装置20の画面遷移および処理内容の遷移の他の例を示す。
図23に示す例では、制御部12は、図21に示す画像d211~d213のそれぞれの内容を含む画像d210aを、画像d211~d213の代わりに出力装置20に表示させる。この画像d210aが表示されているときには、制御部12は、圧力信号に基づいて導出される荷重が200gfを超えて0.5s以上変化しないときにゼロリセットを行う。これにより、その後に行われる大根の切断を適切に検知することができる。制御部12は、荷重の変化に基づいて大根の切断を1回検知し、さらにその切断を2回検知すると、出力装置20に表示されている画像d210aを画像d214に切り替えさせる。
図24Aおよび図24Bは、本実施の形態における制御部12の処理動作を示すフローチャートである。なお、図24Aおよび図24Bに示すフローチャートは、図17の画像d1~d7が表示されるまでの処理動作を示す。
(ステップS11)
まず、制御部12は、前準備の画像d1と、準備完了の合図を促すための画像d2と出力装置20に表示させる。
(ステップS12)
次に、制御部12は、第1のセンサ13から圧力信号を受信し、その圧力信号に基づくセンシング処理を行う。
(ステップS13)
次に、制御部12は、ステップS13のセンシング処理によって、ユーザからの合図があったか否かを判定する。例えば、圧力信号から導出される荷重の変化のパターンが、予め定められたパターンに一致する場合に、制御部12は、ユーザからの合図があったと判定する。ここで、制御部12は、ユーザからの合図がないと判定すると(ステップS13のNo)、ステップS12からの処理を繰り返し実行する。
(ステップS14)
一方、制御部12は、ステップS13においてユーザからの合図があったと判定すると(ステップS13のYes)、ゼロリセットを行う。
(ステップS16)
そして、制御部12は、食材1を切断する作業をユーザに促すための画像d3を出力装置20に表示させる。このとき、制御部12は、図10の(b)に示すように、その作業の進捗を示すプログレスバーなどを表示させてもよい。
(ステップS17)
次に、制御部12は、圧力信号から導出される荷重の変化に基づいて食材1の切断を検知する。
(ステップS18)
次に、制御部12は、検知された切断の回数が、食材1の切断工程に対して予め定められている回数に達したか否かを判定する。ここで、制御部12は、その切断の回数が予め定められている回数に達していないと判定すると(ステップS18のNo)、ステップS16からの処理を継続して行う。
(ステップS19)
一方、制御部12は、ステップS18において切断の回数が予め定められている回数に達していると判定すると(ステップS18のYes)、ゼロリセットを行う。
(ステップS20)
そして、制御部12は、食材2を切断する作業をユーザに促すための画像d4を出力装置20に表示させる。このとき、制御部12は、図10の(b)に示すように、その作業の進捗を示すプログレスバーなどを表示させてもよい。
(ステップS21)
次に、制御部12は、圧力信号から導出される荷重の変化に基づいて食材2の切断を検知する。
(ステップS22)
次に、制御部12は、検知された切断の回数が、食材2の切断工程に対して予め定められている回数に達したか否かを判定する。ここで、制御部12は、その切断の回数が予め定められている回数に達していないと判定すると(ステップS22のNo)、ステップS20からの処理を継続して行う。
(ステップS23)
一方、制御部12は、ステップS22において切断の回数が予め定められている回数に達していると判定すると(ステップS22のYes)、ゼロリセットを行う。
(ステップS24)
そして、図24Bに示すように、制御部12は、調理板11上の食材1および食材2を片付ける作業をユーザに促すための画像d5を出力装置20に表示させる。
(ステップS26)
次に、制御部12は、上述のセンシング処理を行うことによって調理板11が受ける荷重を導出する。
(ステップS27)
次に、制御部12は、ステップS26で導出された荷重が-5gf未満になったか否かを判定する。ここで、制御部12は、その荷重が-5gf未満になっていないと判定すると(ステップS26のNo)、ステップS26からの処理を繰り返し実行する。
(ステップS28)
一方、制御部12は、ステップS27において荷重が-5gf未満になったと判定すると(ステップS27のYes)、ゼロリセットを行う。
(ステップS29)
そして、制御部12は、調理板11上にカップを置く作業をユーザに促すための画像d6を出力装置20に表示させる。
(ステップS30)
次に、制御部12は、上述のセンシング処理を行うことによって調理板11が受ける荷重を導出する。
(ステップS31)
次に、制御部12は、ステップS30で導出された荷重が10gfを超えたか否かを判定する。ここで、制御部12は、その荷重が10gfを超えていないと判定すると(ステップS31のNo)、ステップS30からの処理を繰り返し実行する。
(ステップS32)
一方、制御部12は、ステップS31において荷重が10gfを超えたと判定すると(ステップS31のYes)、ゼロリセットを行う。
(ステップS33)
そして、制御部12は、調理板11上のカップに水100gfを入れる作業をユーザに促すための画像d7を出力装置20に表示させる。このとき、制御部12は、図10の(c)に示すように、その作業の進捗を示すプログレスリングなどを表示させてもよい。
(ステップS34)
次に、制御部12は、上述のセンシング処理を行うことによって、カップに入れられた水の重さを導出する。
(ステップS35)
次に、制御部12は、ステップS34で導出された水の重さが、カップに水を入れる準備工程に対して予め定められている重さに達したか否かを判定する。ここで、制御部12は、水の重さが予め定められている重さに達していないと判定すると(ステップS35のNo)、ステップS33からの処理を繰り返し実行する。一方、制御部12は、ステップS35において水の重さが予め定められている重さに達したと判定すると(ステップS35のYes)、処理を終了する。
[実施の形態2のまとめ]
以上のように、本実施の形態における調理支援システム100は、画像の切り替えのタイミングでゼロリセットを行う。つまり、本実施の形態における制御部12は、図25に示す処理を行う。
図25は、本実施の形態における制御部12がゼロリセットを行う処理動作を示すフローチャートである。
(ステップSb1)
まず、制御部12は、調理板11にかかる荷重に応じて変化する数値を示す圧力信号を第1のセンサ13から継続的に取得する。
(ステップSb2)
次に、制御部12は、調理板11を用いた調理作業を行う第1の調理工程に関する第1の画像を出力装置20に表示させる。
(ステップSb3)
次に、制御部12は、その第1の画像が表示されている間、取得される圧力信号によって示される数値を荷重に変換する。
(ステップSb4)
次に、制御部12は、出力装置20に表示されている第1の画像を、調理板11を用いて第1の調理工程とは異なる調理作業を行う第2の調理工程に関する第2の画像に切り替えさせる。例えば、制御部12は、調理板11を用いて得られた圧力信号を基に、第1の画像を第2の画像に切り替えさせる。
(ステップSb5)
制御部12は、第1の画像が第2の画像に切り替えられるときに取得される圧力信号によって示される数値を0の荷重に設定するゼロリセットを行う。
(ステップSb6)
そして、制御部12は、第2の画像が表示されている間、0の荷重に設定された数値を基準に、取得される圧力信号によって示される数値を荷重に変換する。
これにより、例えば、出力装置20のユーザが、その出力装置20から出力される第1の画像にしたがって第1の調理工程の調理作業を行うと、その調理作業に応じて調理板11にかかる荷重が導出される。したがって、その荷重に基づいて第1の調理工程における調理作業の結果を特定することができる。また、その第1の画像が第2の画像に切り替えられた後には、ユーザが、その第2の画像にしたがって第2の調理工程の調理作業を行うと、その調理作業に応じて調理板にかかる荷重が導出される。したがって、第2の調理工程においてもその荷重に基づいて調理作業の結果を特定することができる。さらに、第1の画像から第2の画像への切り替えのタイミングでゼロリセットが行われるため、第2の調理工程において導出される荷重が第1の調理工程の調理作業によって受ける影響を抑制することができる。その結果、第2の調理工程において導出される荷重の精度を高めることができ、第2の調理工程における調理作業の結果を適切に特定することができる。また、画像の切り替えのタイミングでゼロリセットが行われるため、切り替え前後の各画像によって促される各調理工程の調理作業を高い確度でユーザに行わせながら、それらの調理作業の合間に適切にゼロリセットを行うことができる。したがって、調理の支援を適切に行うことができる。
例えば、第1の調理工程では、調理板11上に食材を置く調理作業が行われ、第2の調理工程では、調理板11上で食材を切断する調理作業が行われる。
これにより、第2の調理工程において調理板11上で食材を切断するときに、事前にゼロリセットが行われるため、その調理板11にかかる荷重に基づいて、第2の調理工程における調理作業の結果として例えば食材の切断を適切に検知することができる。
また、第1の調理工程では、調理板11上で第1の調理素材の重さを計る調理作業が行われ、第2の調理工程では、調理板11上で第2の調理素材の重さを計る調理作業が行われる。
これにより、第2の調理工程において調理板11上で第2の調理素材の重さを計るときには、第1の調理工程で計量された第1の調理素材が調理板11上にあっても、事前にゼロリセットが行われる。したがって、第2の調理工程における調理作業の結果として第2の調理素材の重さを適切に計ることができる。
また、第1の調理工程では、調理板11上に、食材または調理素材を入れるための容器を置く調理作業が行われ、第2の調理工程では、調理板11上に置かれた容器に食材または調理素材を入れながらその食材または調理素材の重さを計る調理作業が行われる。
これにより、第2の調理工程において重さを計るときには、第1の調理工程で容器が調理板11上に置かれていても、事前にゼロリセットが行われる。したがって、第2の調理工程における調理作業の結果として食材などの重さを適切に計ることができる。
また、第1の調理工程では、調理板11上で食材を切断する調理作業が行われ、第2の調理工程では、調理板11上で食材、容器または調理素材の重さを計る調理作業が行われる。
これにより、第2の調理工程において重さを計るときには、第1の調理工程で切断された食材が調理板11上に置かれていても、事前にゼロリセットが行われる。したがって、第2の調理工程における調理作業の結果として食材などの重さを適切に計ることができる。
また、第1の調理工程では、調理板11上に置かれている食材または容器を片付ける作業が行われ、第2の調理工程では、調理板11上で食材を切断する調理作業、または、調理板11上で食材、容器もしくは調理素材の重さを計る調理作業が行われる。
これにより、第2の調理工程において食材の切断または計量が行われるときには、第1の調理工程で片付けられたはずの食材が調理板11上に残っていても、事前にゼロリセットが行われる。したがって、第2の調理工程における調理作業の結果として、食材の切断を適切に検知することができたり、重さを適切に計ることができる。
(実施の形態3)
本実施の形態における調理支援システム100の制御部12は、出力装置20に表示される画像が切り替えられるタイミングで計測モードも切り替える。計測モードは、調理板11にかかる荷重を計測するモードである。なお、本実施の形態における荷重および時間などの数値は、何れも一例であって、他の数値であってもよい。
図26は、硬い食材を切断するとき、柔らかい食材を切断するとき、および、調理素材の重さを計るときのそれぞれにおいて調理板11にかかる荷重の変化の一例を示す。なお、図26のグラフの横軸は時間[s]を示し、縦軸は荷重f[gf]を示す。
図26に示すように、調理板11上で硬い食材を切断するとき、および、柔らかい食材を切断するときには、調理板11上で調理素材の重さを計るときと比べて、調理板11上に大きな荷重がかかる。
また、調理板11上で硬い食材を切断するとき、および、柔らかい食材を切断するときには、調理板11上で調理素材の重さを計るときと比べて、調理板11上にかかる荷重の単位時間当たりの変化量が大きい。
そのため、硬い食材の切断と、柔らかい食材の切断とを、適切に検知するためには、広い範囲の荷重レンジが必要であり、逆に、調理素材の重さを適切に計るためには、広い範囲の荷重レンジは不要となる。
なお、荷重レンジとは、第1のセンサ13の圧力信号に基づいて算出される最大値と最小値との差分である。
また、硬い食材の切断と、柔らかい食材の切断とを、適切に検知するためには、荷重の細かい変化を捉えることが可能な小さい荷重分解能は不要であるが、調理素材の細かい重さを適切に計るためには、小さい荷重分解能が必要である。
なお、荷重分解能は、理論上の荷重分解能のみを意味せず、荷重を識別し得る最小の変化量である。ここで、理論上の荷重分解能とは、荷重の出力範囲(例えば0~2kgf)を、AD変換時のビット数(例えば24bit)で除した値を意味する。
すなわち、荷重分解能が高いとは、同一荷重が連続してかかっている際の荷重の出力値の安定性が高いと同義である。例えば、ある工程で得られる荷重について、出力値に対して移動平均の処理を施すことで、同一荷重が連続してかかっている際の出力値の安定性は高くなる。すなわち、出力値に対して移動平均の処理を施すことでも、荷重分解能を高めることが出来る。
また、硬い食材の切断と柔らかい食材の切断とを、適切に検知するために、短時間での荷重の変化を捉えることが求められる。例えば、硬い食材の切断後、柔らかい食材を切断する場合、可能な短い時間分解能が必要であるが、逆に、調理素材の重さを適切に計るためには、その短い時間分解能は不要である。
なお、時間分解能は、第1のセンサ13から得られる圧力信号の値を取得するサンプリング周期に加えて、荷重を算出するために用いる圧力信号の値の最小サンプリング周期である。このサンプリング周期では、荷重の平滑化が行われていてもよい。
すなわち、第1のセンサ13から出力される圧力信号の周期が同一でも、測定値を出力する際の平滑化時間を長くすることで、時間分解能を長くすることができる。なお、そうすることで、時間分解能は長くなるがその分前述の荷重分解能を高めることが出来る。
したがって、本実施の形態における制御部12は、食材の切断を検知するときと、調理素材の重さを計るときとでは、荷重レンジ、荷重分解能、および時間分解能を異ならせる。つまり、制御部12は、荷重レンジ、荷重分解能、および時間分解能を含む荷重の計測モードを、切断用の計測モードと計り用の計測モードとに切り替える。
また、調理板11上で硬い食材を切断するときには、柔らかい食材を切断するときと比べて、調理板11上にかかる荷重と、その荷重の単位時間当たりの変化量とが大きい。したがって、本実施の形態における制御部12は、硬い食材の切断を検知するときと、柔らかい食材の切断を検知するときとでも、荷重レンジ、荷重分解能、および時間分解能を異ならせてもよい。つまり、制御部12は、荷重の計測モードを、硬い食材を切断するための計測モードと、柔らかい食材を切断するための計測モードと、計り用の計測モードとに切り替えてもよい。以下、その硬い食材を切断するための計測モードを、第1の切断用の計測モードと言い、柔らかい食材を切断するための計測モードを、第2の切断用の計測モードと言う。
なお、同一の食材であれば、その食材が大きいほどその食材は硬く、逆に、その食材が小さいほどその食材は柔らかい。したがって、硬い食材を切断するときの荷重の変化と、大きい食材を切断するときの荷重の変化とは同様の特徴を示す。同様に、柔らかい食材を切断するときの荷重の変化と、小さい食材を切断するときの荷重の変化とは同様の特徴を示す。そのため、第1の切断用の計測モードは、大きい食材を切断する調理工程で用いられてもよく、第2の切断用の計測モードは、小さい食材を切断する調理工程で用いられてもよい。
なお、図示省略するが、重い食材を計量する調理工程と、軽い食材を計量する調理工程が連続して行われる際にも、荷重の計測モードを切り替えても良い。そうすることで、例えば、水100gを計量する工程と、調味料2gを計量する工程といったように、求められる荷重分解能および時間分解能の少なくとも一方が異なる場合が想定される場合においても、同一のセンサを用いたまま双方の要求を満たすことが出来る。
図27は、各計測モードの荷重レンジ、荷重分解能、および時間分解能を比較して示す。
荷重レンジについては、第1の切断用の計測モードが最も広く、その次に第2の切断用の計測モードが広い。計り用の計測モードの荷重レンジは、他の何れの計測モードよりも狭い。
荷重分解能については、第1の切断用の計測モードが最も大きく、その次に第2の切断用の計測モードが大きい。計り用の計測モードの荷重分解能は、他の何れの計測モードよりも小さい。
時間分解能については、第1の切断用の計測モードが最も短く、その次に第2の切断用の計測モードが短い。計り用の計測モードの時間分解能は、他の何れの計測モードよりも長い。
図28は、第1の切断用の計測モードで計測された、硬い食材の切断時の荷重の変化を示す。なお、図28のグラフの横軸は時間[s]を示し、縦軸は荷重f[gf]を示す。
例えば、荷重レンジは、図28に示すように0~5000gfであって、時間分解能は、1/50秒以下である。これにより、制御部12は、切断時の荷重の変化を適切に計測することができ、その切断の検知の精度を高めることができる。一方、図示省略するが、この時の荷重分解能は1gf程度であり、この第1の切断用の計測モードは、例えば細かい精度が求められる調味料の計量等には十分な荷重分解能を備えていない。
図29は、計り用の計測モードで計測された、例えば水の重さの変化を示す。なお、図29のグラフの横軸は時間[s]を示し、縦軸は荷重f[gf]を示す。
例えば、荷重レンジは、図29に示すように0~50gfであって、荷重分解能は、0.5gf以下である。
これにより、制御部12は、水の重さの変化を適切に計測することができ、その計測される重さの精度を高めることができる。例えば、図29における21~22秒の間における水の重さを正確に計測することができる。
なお、この例では、計り用の計測モードでは、第1の切断用の計測モードおよび第2の切断用の計測モードよりも、第1のセンサ13からの圧力信号に対するゲインが大きく設定されている。そうすることで、荷重分解能を細かくすることが出来る。
なお、ゲインの切替は、第1のセンサ13から得られるアナログ信号をデジタル信号に変換する際に用いる変換機に与える信号を切り替える方法を用いても良い。
なお、荷重分解能を細かくするために、時間分解能を粗くする方法を用いても良い。時間分解能の切替は、第1のセンサ13から得られるアナログ信号をデジタル信号に変換する際に用いる変換機に与える信号を切り替える方法を用いても良いし、第1のセンサ13から得られる信号の周期はそのままにして、荷重の測定値を出力する際の平滑化時間を切り替えても良い。
図30は、制御部12の計測モードの切り替えに伴う処理動作を示すフローチャートである。
(ステップS51)
まず、制御部12は、出力装置20に表示される画像によってユーザが行う作業に応じた計測モードを選択する。
(ステップS52)
次に、制御部12は、その選択された計測モードが、第1の切断用の計測モード、第2の切断用の計測モード、および計り用の計測モードのうちの何れのモードであるかを判定する。
(ステップS53)
ここで、制御部12は、ステップS52において、選択された計測モードが第1の切断用の計測モードであると判定すると(ステップS52の第1の切断用)、調理板11が受ける荷重の変化を表すための荷重レンジ、荷重分解能、および時間分解能を、第1の切断用の荷重レンジ、荷重分解能、および時間分解能に設定する。
(ステップS54)
そして、制御部12は、第1のセンサ13から圧力信号を取得する。
(ステップS55)
制御部12は、その圧力信号から、調理板11が受ける荷重を導出し、その荷重の変化が切断条件を満たすか否かを判定する。ここで、制御部12は、その荷重の変化が切断条件を満たしていないと判定すると(ステップS55のNo)、ステップS54からの処理を繰り返し実行する。
(ステップS56)
一方、制御部12は、ステップS55において、その荷重の変化が切断条件を満たしていると判定すると(ステップS55のYes)、食材の切断を検知する。
(ステップS57)
また、制御部12は、ステップS52において、選択された計測モードが第2の切断用の計測モードであると判定すると(ステップS52の第2の切断用)、調理板11が受ける荷重の変化を表すための荷重レンジ、荷重分解能、および時間分解能を、第2の切断用の荷重レンジ、荷重分解能、および時間分解能に設定する。
(ステップS58)
そして、制御部12は、第1のセンサ13から圧力信号を取得する。
(ステップS59)
制御部12は、その圧力信号から、調理板11が受ける荷重を導出し、その荷重の変化が切断条件を満たすか否かを判定する。ここで、制御部12は、その荷重の変化が切断条件を満たしていないと判定すると(ステップS59のNo)、ステップS58からの処理を繰り返し実行する。
(ステップS60)
一方、制御部12は、ステップS59において、その荷重の変化が切断条件を満たしていると判定すると(ステップS59のYes)、食材の切断を検知する。
(ステップS61)
また、制御部12は、ステップS52において、選択された計測モードが計り用の計測モードであると判定すると(ステップS52の計り用)、調理板11が受ける荷重の変化を表すための荷重レンジ、荷重分解能、および時間分解能を、計り用の荷重レンジ、荷重分解能、および時間分解能に設定する。
(ステップS62)
そして、制御部12は、第1のセンサ13から圧力信号を取得する。
(ステップS63)
制御部12は、その圧力信号から、調理板11が受ける荷重を導出し、その荷重が安定したか否かを判定する。例えば、制御部12は、荷重の変化量が予め定められた範囲(例えば、0.5gf)内に一定時間収まっている場合に、その荷重が安定していると判定する。ここで、制御部12は、その荷重が安定していないと判定すると(ステップS63のNo)、ステップS62からの処理を繰り返し実行する。
(ステップS64)
一方、制御部12は、ステップS63において、その荷重が安定していると判定すると(ステップS63のYes)、食材の重さを導出する。つまり、その安定している荷重が食材などの重さとして導出される。
また、制御部12は、第1の切断用の計測モードで用いられる切断条件と、第2の切断用の計測モードで用いられる切断条件とを異ならせてもよい。つまり、制御部12は、出力装置20に表示される画像が切り替えられるタイミングで、切断条件を切り替えてもよい。例えば、硬い食材を切断する調理工程に関する画像が、柔らかい食材を切断する調理工程に関する画像に切り替えられるタイミングで、切断条件が切り替えられる。同様に、大きい食材を切断する調理工程に関する画像が、小さい食材を切断する調理工程に関する画像に切り替えられるタイミングで、切断条件が切り替えられる。例えば、図4に示す切断条件において、第1の切断用の計測モードで用いられる切断条件の閾値thおよびfhは、第2の切断用の計測モードで用いられる切断条件の閾値thおよびfhよりも大きい。
図31は、出力装置20の画面遷移および処理内容の遷移の一例を示す。なお、この図31に示す例では、図21の画面遷移および処理内容の遷移に、計測モードの切り替えが追加されている。
制御部12は、出力装置20に表示されている画像d213を画像d214に切り替えさせるタイミングで、計測モードを切り替える。例えば、制御部12は、第1の切断用の計測モードを第2の切断用の計測モードに切り替える。これにより、その後に行われる大根の2cm間隔の切断を適切に検知することができる。
さらに、制御部12は、出力装置20に表示されている画像d214を画像d215に切り替えさせるタイミングで、計測モードを切り替える。例えば、制御部12は、第2の切断用の計測モードを第1の切断用の計測モードに切り替える。これにより、その後に行われる山芋の配置と、山芋の2cm間隔の輪切りとを適切に検知することができる。
また、図31に示す例では、画像の切り替えのタイミングで、計測モードの切り替えも行われるため、切り替え前後の各画像によって促される各調理工程の調理作業を高い確度でユーザに行わせながら、それらの調理作業の合間に適切に計測モードの切り替えを行うことができる。
なお、図31に示す計測モードの切り替えのタイミングは、一例であって、他のタイミングで計測モードの切り替えが行われてもよい。また、第1の切断用の計測モードおよび第2の切断用の計測モードのうちの何れかの計測モードと、計り用の計測モードとの間で切り替えが行われてもよい。
図32は、出力装置20の画面遷移および処理内容の遷移の他の例を示す。なお、この図32に示す例では、図22の画面遷移および処理内容の遷移に、計測モードの切り替えが追加されている。
制御部12は、出力装置20に画像d210が表示されているときに、大根の切断を1回検知し、さらにその切断を2回検知すると、計測モードを切り替える。例えば、制御部12は、第1の切断用の計測モードを第2の切断用の計測モードに切り替える。これにより、その後に行われる大根の2cm間隔の切断を適切に検知することができる。
さらに、制御部12は、大根の2cm間隔の切断をM回検知すると、計測モードを切り替える。例えば、制御部12は、第2の切断用の計測モードを第1の切断用の計測モードに切り替える。これにより、その後に行われる山芋の配置と、山芋の2cm間隔の輪切りとを適切に検知することができる。
なお、図32に示す計測モードの切り替えのタイミングは、一例であって、他のタイミングで計測モードの切り替えが行われてもよい。また、第1の切断用の計測モードおよび第2の切断用の計測モードのうちの何れかの計測モードと、計り用の計測モードとの間で切り替えが行われてもよい。
図33は、出力装置20の画面遷移および処理内容の遷移の他の例を示す。なお、この図33に示す例では、図23の画面遷移および処理内容の遷移に、計測モードの切り替えが追加されている。
制御部12は、出力装置20に画像d210aが表示されているときに、大根の切断を1回検知し、さらにその切断を2回検知すると、計測モードを切り替える。例えば、制御部12は、第1の切断用の計測モードを第2の切断用の計測モードに切り替える。
さらに、制御部12は、出力装置20に表示されている画像d214を画像d215に切り替えさせるタイミングで、計測モードを切り替える。例えば、制御部12は、第2の切断用の計測モードを第1の切断用の計測モードに切り替える。
なお、図33に示す計測モードの切り替えのタイミングは、一例であって、他のタイミングで計測モードの切り替えが行われてもよい。また、第1の切断用の計測モードおよび第2の切断用の計測モードのうちの何れかの計測モードと、計り用の計測モードとの間で切り替えが行われてもよい。
図34Aおよび図34Bは、本実施の形態における制御部12の処理動作を示すフローチャートである。なお、図34Aおよび図34Bに示すフローチャートは、図17の画像d1~d7が表示されるまでの処理動作を示し、図24Aおよび図24Bに示すフローチャートに、計測モードの切り替えが追加されている。
(ステップS15)
例えば、制御部12は、図34Aに示すように、ステップS14でゼロリセットが行われた後に、計測モードを切断用の計測モードに切り替える。これにより、ステップS17において切断を適切に検知することができる。
(ステップS26)
例えば、制御部12は、図34Bに示すように、ステップS24で画像の表示が行われた後に、計測モードを計り用の計測モードに切り替える。これにより、ステップS34などにおいて水の重さを適切に導出することができる。
[実施の形態3のまとめ]
以上のように、本実施の形態における調理支援システム100は、画像の切り替えのタイミングで計測モードの切り替えも行う。つまり、本実施の形態における制御部12は、図35に示す処理を行う。
図35は、本実施の形態における制御部12の処理動作を示すフローチャートである。
(ステップSc1)
まず、制御部12は、調理板11を用いた調理作業を行う第1の調理工程に関する第1の画像を出力装置20に表示させる。
(ステップSc2)
次に、制御部12は、第1の画像が表示されている間、調理板11にかかる荷重を第1の時間分解能で取得する。
(ステップSc3)
次に、制御部12は、出力装置20に表示されている第1の画像を、調理板11を用いて第1の調理工程とは異なる調理作業を行う第2の調理工程に関する第2の画像に切り替えさせる。
(ステップSc4)
次に、制御部12は、第1の画像が第2の画像に切り替えられるときに、荷重の取得に用いられる時間分解能を、第1の時間分解能から、第1の時間分解能とは異なる第2の時間分解能に切り替える。
(ステップSc5)
そして、制御部12は、第2の画像が表示されている間、調理板11にかかる荷重を第2の時間分解能で取得する。
例えば、第1の調理工程では、調理板11上で食材を切断する調理作業が行われ、第2の調理工程では、調理板11上で調理素材の重さを計る調理作業が行われる場合、第1の時間分解能は第2の時間分解能よりも短い。
これにより、出力装置20のユーザが、その出力装置20から出力される第1の画像にしたがって第1の調理工程の調理作業を行うと、その調理作業に応じて調理板11にかかる荷重が取得される。したがって、その荷重に基づいて第1の調理工程における調理作業の結果を特定することができる。また、その第1の画像が第2の画像に切り替えられた後には、ユーザが、その第2の画像にしたがって第2の調理工程の調理作業を行うと、その調理作業に応じて調理板11にかかる荷重が取得される。したがって、第2の調理工程においてもその荷重に基づいて調理作業の結果を特定することができる。さらに、第1の調理工程が行われているときには、第1の時間分解能で荷重が取得され、第2の調理工程が行われているときには、第2の時間分解能で荷重が取得される。したがって、第1の調理工程では、その第1の調理工程における調理作業に適した時間分解能で荷重の変化を取得することができ、第1の調理工程における調理作業の結果を適切に特定することができる。同様に、第2の調理工程では、その第2の調理工程における調理作業に適した時間分解能で荷重の変化を取得することができ、第2の調理工程における調理作業の結果を適切に特定することができる。また、画像の切り替えのタイミングで、荷重の取得に用いられる時間分解能の切り替えも行われるため、切り替え前後の各画像によって促される各調理工程の調理作業を高い確度でユーザに行わせながら、それらの調理作業の合間に適切に時間分解能の切り替えを行うことができる。したがって、調理の支援を適切に行うことができる。
また、制御部12は、第1の画像が表示されている間に荷重を取得するときには、第1の荷重レンジを用いてその荷重を取得し、第1の画像が第2の画像に切り替えられるときには、さらに、第1の荷重レンジを、第1の荷重レンジとは異なる第2の荷重レンジに切り替える。そして、制御部12は、第2の画像が表示されている間に荷重を取得するときには、第2の荷重レンジを用いてその荷重を取得する。
例えば、第1の調理工程では、調理板11上で食材を切断する調理作業が行われ、第2の調理工程では、調理板11上で調理素材の重さを計る調理作業が行われる場合、第1の荷重レンジは第2の荷重レンジよりも広い。
これにより、第1の調理工程が行われているときには、第1の荷重レンジを用いて荷重が取得され、第2の調理工程が行われているときには、第2の荷重レンジを用いて荷重が取得される。したがって、第1の調理工程では、その第1の調理工程における調理作業に適した荷重レンジで荷重を取得することができ、第1の調理工程における調理作業の結果を適切に特定することができる。同様に、第2の調理工程では、その第2の調理工程における調理作業に適した荷重レンジで荷重を取得することができ、第2の調理工程における調理作業の結果を適切に特定することができる。
また、制御部12は、第1の画像が表示されている間に荷重を取得するときには、第1の荷重分解能でその荷重を取得し、第1の画像が第2の画像に切り替えられるときには、さらに、第1の荷重分解能を、第1の荷重分解能とは異なる第2の荷重分解能に切り替える。そして、制御部12は、第2の画像が表示されている間に荷重を取得するときには、第2の荷重分解能でその荷重を取得する。
例えば、第1の調理工程では、調理板11上で食材を切断する調理作業が行われ、第2の調理工程では、調理板11上で調理素材の重さを計る調理作業が行われる場合、第1の荷重分解能は第2の荷重分解能よりも大きい。
これにより、第1の調理工程が行われているときには、第1の荷重分解能で荷重が取得され、第2の調理工程が行われているときには、第2の荷重分解能で荷重が取得される。したがって、第1の調理工程では、その第1の調理工程における調理作業に適した荷重分解能で荷重の変化を取得することができ、第1の調理工程における調理作業の結果を適切に特定することができる。同様に、第2の調理工程では、その第2の調理工程における調理作業に適した荷重分解能で荷重の変化を取得することができ、第2の調理工程における調理作業の結果を適切に特定することができる。
また、制御部12は、第1の画像が表示されている間に荷重を取得するときには、荷重に応じて第1のセンサ13から出力される出力値に対する第1の時間での平均化によって、第1の荷重分解能で表現される荷重を取得する。そして、制御部12は、その第1の画像が第2の画像に切り替えられるときには、さらに、その第1の時間を、第1の時間とは異なる第2の時間に切り替える。制御部12は、第2の画像が表示されている間に荷重を取得するときには、荷重に応じて第1のセンサ13から出力される出力値に対する第2の時間での平均化によって、第1の荷重分解能とは異なる第2の荷重分解能で表現される荷重を取得する。なお、上述の出力値は、圧力信号によって示される値である。
これにより、移動平均に用いられる時間として第1の時間を第2の時間に切り替えることによって、荷重分解能を切り替えることができる。例えば、第1の時間よりも第2の時間が長ければ、取得される荷重の安定性を高めることができる。つまり、荷重分解能を高めることができる。なお、第1の時間および第2の時間の何れか一方は、1であってもよく、その一方の時間では移動平均が行われなくてもよい。
また、第1の調理工程では、調理板11上で第1の食材を切断する調理作業が行われ、第2の調理工程では、硬さおよび大きさのうちの少なくとも一方が第1の食材と異なる第2の食材を調理板11上で切断する調理作業が行われる場合、制御部12は、第1の画像が表示されている間には、さらに、取得される荷重の変化が第1の条件を満たしているときに、第1の食材の切断を検知する。そして、制御部12は、第1の画像が第2の画像に切り替えられるときには、さらに、第1の条件を、第1の条件とは異なる第2の条件に切り替える。制御部12は、第2の画像が表示されている間には、さらに、取得される荷重の変化が第2の条件を満たしているときに、第2の食材の切断を検知する。
例えば、その第1の条件および第2の条件は、荷重の時間微分値が正である期間が第1の閾値よりも長く、かつ、荷重が第2の閾値よりも大きくなった後に、その荷重が第2の閾値未満になることであって、第1の条件と第2の条件とでは、第1の閾値および第2の閾値のうちの少なくとも一方が互いに異なる。
これにより、第1の調理工程が行われているときには、第1の条件で第1の食材の切断が検知され、第2の調理工程が行われているときには、第2の条件で第2の食材の切断が検知される。したがって、第1の調理工程では、その第1の調理工程における食材に適した条件でその食材の切断を検知することができ、第1の調理工程における調理作業の結果を適切に特定することができる。同様に、第2の調理工程では、その第2の調理工程における食材に適した条件でその食材の切断を検知することができ、第2の調理工程における調理作業の結果を適切に特定することができる。
なお、本実施の形態では、切断用の計測モードに、第1の切断用の計測モードと、第2の切断用の計測モードとが含まれているが、計り用の計測モードにも、第1の計り用の計測モードと、第2の計り用の計測モードとが含まれていてもよい。例えば、第1の計り用の計測モードは、重い食材、または鍋に入れられる水などの重い調理素材の重さを計る調理工程で用いられ、逆に、第2の計り用の計測モードは、軽い食材、または塩などの軽い調味料の重さを計る調理工程で用いられる。これにより、食材または調理素材の重さをより適切に計ることができる。
(変形例)
以上、一つまたは複数の態様に係る調理支援システム、調理支援装置、および調理支援方法について、各実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を各実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれてもよい。
例えば、上記各実施の形態では、第1のセンサ13は4つの圧力センサからなるが、第1のセンサ13に含まれる圧力センサの数は、4つに限らず、他の数であってもよい。
また、本開示において、ユニット、デバイスの全部又は一部、又は図2に示されるブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路(IC)、又はLSI(large scale integration)を含む一つ又は一つ以上の電子回路によって実行されてもよい。LSI又はICは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、LSIやICと呼んでいるが、集積の度合いによって呼び方が変わり、システムLSI、VLSI(very large scale integration)、若しくはULSI(ultra large scale integration)と呼ばれるかもしれない。LSIの製造後にプログラムされる、Field Programmable Gate Array(FPGA)、又はLSI内部の接合関係の再構成又はLSI内部の回路区画のセットアップができるreconfigurable logic deviceも同じ目的で使うことができる。
さらに、ユニット、装置、又は装置の一部の、全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は一つ以上のROM、光学ディスク、ハードディスクドライブ、などの非一時的記録媒体に記録され、ソフトウエアが、処理装置(processor)によって実行された場合に、ソフトウエアは、ソフトウエア内の特定の機能を、処理装置(processor)と周辺のデバイスに実行させる。システム又は装置は、ソフトウエアが記録されている一つ又は一つ以上の非一時的記録媒体、処理装置(processor)、及び必要とされるハードウエアデバイス、例えばインターフェース、を備えていても良い。