(本発明の一態様を得るに至った経緯)
鍋などの調理器具から内容物がふきこぼれたことを検知する方法が提案されている(例えば、特許文献1参照)。
特許文献1では、ガスや火を使用せず、電力のみで動作する電磁調理器に重量検出する手段を備え、電磁調理器より加熱される調理器具の重心位置および重量の変化から調理器具のふきこぼれを検知する方法が開示されている。
しかしながら、特許文献1に開示される技術では、調理器具のふきこぼれが発生してからしか対処できないという問題がある。そのため、電磁調理器にふきこぼれた内容物等のふき掃除も煩雑である。
それに対して、例えば特許文献2では、調理器具の温度を検出する赤外線センサを用いて、電磁調理器により加熱される調理器具のふきこぼれを、発生前に検知する方法が開示されている。
しかしながら、特許文献2に開示される技術では、赤外線センサの設置位置と調理器具が置かれる位置との位置関係から、調理器具の片側の表面の温度情報しか取得できないという問題がある。したがって、調理器具がステンレス製の鍋である場合、赤外線センサでは内容物の温度情報を取得できない。また、特許文献2に開示される技術では、調理器具を検知するセンサが調理器具の温度を検出する赤外線センサとは別に設置されているため、これらのセンサの設置および設定が難しく導入が現実的でないという問題もある。
以上の問題点を鑑み、本発明者らは、以下の発明の各態様を想到するに至った。
即ち、本発明の一態様に係る調理支援方法は、加熱調理中の調理器具を含む領域の熱画像を撮影する熱画像カメラと、ユーザへ情報を通知可能な通知装置とにネットワークを介して接続し、ユーザの調理を支援する調理支援システムにおける調理支援方法であって、前記ネットワークを介して、前記調理器具の斜め上方からの熱画像を撮影可能に取り付けられた前記熱画像カメラから、所定時間毎の前記調理器具を含む領域の熱画像を取得し、取得した前記熱画像から、前記調理器具における内容物の水位の変化を示す値を算出し、算出した前記水位の変化を示す値が所定の閾値以上であるか否かを判定し、算出した前記水位の変化を示す値が所定の閾値以上であると判定した場合、加熱調理中の前記調理器具において前記内容物のふきこぼれが生じるおそれがあると判定して、前記通知装置に対して、前記ふきこぼれが生じるおそれがある旨を前記ユーザへ通知する情報を示す通知情報を送信する。
この態様によれば、調理器具の材質によらずに、調理器具からのふきこぼれが発生することを事前に検知して防止することができる。
ここで、例えば、前記調理支援システムは、さらに、前記ネットワークを介して、前記調理器具を用いた加熱調理が可能な加熱調理装置と接続しており、前記調理支援方法は、さらに、算出した前記水位の変化を示す値が所定の閾値以上であると判定した場合、前記加熱調理装置に対して、当該加熱調理装置の出力を弱める指示を示す制御信号を送信するとしてもよい。
さらに、例えば、前記制御信号は、前記加熱調理装置の加熱動作を停止させる指示を示すとしてもよい。
また、例えば、前記調理支援方法は、前記水位の変化を示す値として、所定時間毎の前記調理器具の前記熱画像における所定温度以上の領域である所定温度領域の面積の変化を示す値を算出するとしてもよい。
また、例えば、前記調理支援方法は、さらに、前記熱画像に基づいて、加熱調理中の前記調理器具にフタが取り付けられているか否かを判定し、前記フタが取り付けられていないと判定した場合には、前記水位の変化を示す値が所定の閾値以上であるか否かを判定し、前記フタが取り付けられていると判定した場合には、前記熱画像に基づいて前記調理器具の前記フタの縁端部を検出し、前記水位の変化を示す値として、前記縁端部の温度変化の値を算出し、前記縁端部の温度変化の値が所定の閾値以上であるか否かを判定するとしてもよい。
また、例えば、前記調理支援方法は、前記縁端部の温度変化の値として、所定時間毎の前記調理器具の前記熱画像における前記縁端部の近傍に存在する所定温度以上の領域の面積の変化を示す値を算出するとしてもよい。
また、例えば、前記調理支援方法は、さらに、取得した前記熱画像の前記領域のうち前記調理器具を含む所定領域である調理器具領域以外の背景領域に人を示す温度領域である人温度領域が存在するか否かを確認し、前記背景領域に前記人温度領域が存在すると確認した場合には、前記水位の変化を示す値を初期化するとしてもよい。
また、例えば、前記通知装置は、前記ユーザが携行可能であり、前記ユーザが視認可能な表示部を備え、前記調理支援方法は、算出した前記水位の変化を示す値が所定の閾値以上であると判定した場合、前記通知装置に対して、電子メールで前記通知情報を送信するとしてもよい。
また、本発明の一態様に係る調理支援システムは、加熱調理中の調理器具を含む領域の熱画像を撮影する熱画像カメラと、ユーザへ情報を通知可能な通知装置とにネットワークを介して接続し、ユーザの調理を支援する調理支援システムであって、前記ネットワークを介して、前記調理器具の斜め上方からの熱画像を撮影可能に取り付けられた前記熱画像カメラから、所定時間毎の前記調理器具を含む領域の熱画像を取得するデータ取得部と、取得した前記熱画像から、前記調理器具における内容物の水位の変化を示す値を算出する変化量算出部と、算出した前記水位の変化を示す値が所定の閾値以上であるか否かを判定し、算出した前記水位の変化を示す値が所定の閾値以上であると判定された場合、加熱調理中の前記調理器具において前記内容物のふきこぼれが生じるおそれがあると判定するふきこぼれ判定部と、前記ふきこぼれ判定部が前記内容物のふきこぼれが生じるおそれがあると判定した場合に、前記通知装置に対して、前記ふきこぼれが生じるおそれがある旨を前記ユーザへ通知する情報を示す通知情報を送信する通知部とを備える。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なCD−ROM等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、本発明の一態様に係る調理支援方法等について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態1)
[全体構成]
以下、実施の形態1における調理支援システムについて、図面を参照しながら説明する。
図1は、実施の形態1における全体構成の一例を示す概念図である。図2は、図1に示す熱画像カメラ2と調理器具5との位置関係を示す概念図である。
調理支援システム1は、図1に示すようにネットワーク7を介して、熱画像カメラ2と、加熱調理装置3と通知装置6とに接続され、調理器具5を用いたユーザの調理を支援する。
加熱調理装置3は、調理器具5を用いた加熱調理が可能な装置である。加熱調理装置3は、例えば、ガスや火を使用せず、電力のみで動作して調理器具5を加熱することで調理器具5の内容物の加熱調理を行うIH調理器である。なお、加熱調理装置3は、IH調理器に限らず、後述するが調理支援システム1からの制御信号に従って、加熱調理を停止できればガスや火を使用して調理器具5を用いた加熱調理を行う調理器であってもよい。
調理器具5は、例えば鍋など、加熱調理装置3によりその内容物が加熱調理されるものである。
熱画像カメラ2は、調理器具5の斜め上方からの熱画像を撮影可能に取り付けられ、内容物の加熱調理中の調理器具5を含む領域の熱画像を撮影する。本実施の形態では、熱画像カメラ2は、図2に示すように、加熱調理装置3の上方の例えばレンジフード4などに設置されることで調理器具5の斜め上方からの熱画像を撮影可能に取り付けられ、所定時間毎の調理器具5を含む領域の熱画像を撮影する。
通知装置6は、ユーザへ情報を通知可能な装置である。本実施の形態では、通知装置6は、例えばスマートホンや携帯電話など、ユーザが携行可能であり、ユーザが視認可能な表示部を備える装置である。なお、通知装置6は、ユーザが携行可能であり、ユーザが視認可能な表示部を備える装置に限らず、音を発することでユーザに警告などの情報を通知可能な音発生装置でもよい。
ネットワーク7は、例えばbluetooth(登録商標)、wifiなどの無線通信ネットワークや、無線または有線のLAN等のネットワークである。
[調理支援システム1の構成]
図3は、本実施の形態における調理支援システム1の構成の一例を示すブロック図である。
調理支援システム1は、図3に示すように、ふきこぼれ検知部10と、通知部20と、加熱制御部30とを備える。
通知部20は、ふきこぼれ検知部10によりふきこぼれが生じる(ふきこぼれ発生の)おそれが検知された場合に、通知装置6に対して、ふきこぼれが生じるおそれがある旨をユーザへ通知する情報を示す通知情報を送信する。本実施の形態では、例えば、通知部20は、ふきこぼれが生じるおそれがある旨を通知装置6に対して、例えば電子メールで通知情報を送信する。
加熱制御部30は、ふきこぼれ検知部10によりふきこぼれ発生のおそれが検知された場合に、加熱調理装置3に対して、加熱調理装置3の出力を弱める指示を示す制御信号を送信する。ここで、制御信号は、例えば、加熱調理装置の加熱動作を停止させる指示を示すとしてもよい。
[ふきこぼれ検知部10の構成]
ふきこぼれ検知部10は、図3に示すように、データ取得部11と、高温部分検出部12と、調理器具検出部13と、記憶部14と、変化量算出部15と、ふきこぼれ判定部16とを備え、熱画像カメラ2から取得した熱画像に基づいて調理器具5における内容物のふきこぼれが生じるおそれを検知する。
データ取得部11は、熱画像カメラ2から、所定時間毎の調理器具5を含む領域の熱画像を取得する。
調理器具検出部13は、データ取得部11が取得した熱画像から、調理器具5が存在するか否かを検出する。本実施の形態では、調理器具検出部13は、データ取得部11が取得した熱画像を2値化し平滑化する画像処理を行い、画像処理を行った熱画像において、調理器具5のフチ(縁)の検出処理を行うことで、調理器具5が存在するか否かを検出する。調理器具検出部13は、検出処理が成功した場合、データ取得部11が取得した熱画像中の調理器具5の位置情報と、当該調理器具5に対応する熱画像から取得できる温度情報とを記憶部14に記憶する。
高温部分検出部12は、データ取得部11が取得した熱画像から、調理器具5の高温部分を検出する。本実施の形態では、高温部分検出部12は、データ取得部11が取得した熱画像における例えば70℃以上の高温領域を検出し、検出した高温領域を温度情報として記憶部14に記憶する。
記憶部14は、例えばSDカードやフラッシュメモリによって構成され、上述した温度情報(高温領域の熱画像)やデータ取得部11が取得した熱画像中の調理器具5の位置情報を記憶する。
変化量算出部15は、データ取得部11が取得した熱画像から、調理器具5における内容物の水位の変化を示す値を算出する。ここで、変化量算出部15は、例えば、水位の変化を示す値として、所定時間毎の調理器具5の熱画像における所定温度以上の領域である所定温度領域の面積の変化を示す値を算出する。
本実施の形態では、変化量算出部15は、調理器具検出部13により検出された熱画像中の調理器具5の中の例えば70℃以上の高温領域から調理器具51および調理器具5の内容物の水位を検出する。
また、変化量算出部15は、検出した調理器具5の内容物の水位(高温領域の上縁)と、調理器具検出部13により検出された調理器具5のフチ(上縁)との間の差分距離を算出する。
変化量算出部15は、検出した内容物の水位を示す情報(高温領域の上縁)と算出した差分距離とを記憶部14に記憶する。変化量算出部15は、記憶部14に所定時間前に検出した内容物の水位を示す情報が記憶されている場合には、検出した内容物の水位の増加率を算出する。ここで、変化量算出部15は、内容物の水位の増加率として、所定時間毎の調理器具5の熱画像における例えば70℃以上の領域である高温領域の面積の変化を示す増加率を算出する。
なお、変化量算出部15は、調理器具5における内容物の水位の変化を示す値として、調理器具5を示す熱画像の領域に対する調理器具5の内容物を示す熱画像の高温領域の割合を算出してもよい。
ふきこぼれ判定部16は、変化量算出部15が算出した水位の変化を示す値が所定の閾値以上であるか否かを判定する。ふきこぼれ判定部16は、変化量算出部15が算出した水位の変化を示す値が所定の閾値以上であると判定した場合、加熱調理中の調理器具5において内容物のふきこぼれが生じるおそれがあると判定する。
本実施の形態では、ふきこぼれ判定部16は、変化量算出部15が算出した増加率が所定の閾値(以下、第1閾値と称する)以上にあるかどうかを判定する。ふきこぼれ判定部16は、変化量算出部15が算出した増加率が第1閾値以上であると判定したときには、加熱調理中の調理器具5において内容物のふきこぼれが生じるおそれがあると判定する。
なお、ふきこぼれ判定部16は、変化量算出部15が算出した増加率が第1閾値以上であると判定したときには、さらに、算出した増加率が第2閾値以上であるか否かを判定してもよい。
ふきこぼれ判定部16は、算出した増加率が第2閾値以上であると判定した場合、例えば数秒以内に、加熱調理中の調理器具5において内容物のふきこぼれが実際に発生するというふきこぼれ発生を判定してもよい。また、ふきこぼれ判定部16は、算出した増加率が第2閾値より小さいと判定した場合、例えば数十秒ないし数分以内に、加熱調理中の調理器具5において内容物のふきこぼれが発生するおそれがあるというふきこぼれ予知を判定してもよい。
また、上述したように、変化量算出部15が、調理器具5における内容物の水位の変化を示す値として、調理器具5を示す熱画像の領域に対する調理器具5の内容物を示す熱画像の高温領域の割合を算出してもよい。この場合、ふきこぼれ判定部16は、加熱調理中の調理器具5の内容物を示す熱画像の高温領域が、調理器具5を示す熱画像の領域の50%〜80%のときに、ふきこぼれ予知を判定してもよい。そして、ふきこぼれ判定部16は、加熱調理中の調理器具5の内容物を示す熱画像の高温領域が、調理器具5を示す熱画像の領域の80%を超えたときに、ふきこぼれ発生を判定してもよい。
[調理支援システム1の動作]
次に、上記のように構成された調理支援システム1の動作について説明する。
図4は、実施の形態1における調理支援システム1の動作の一例を示すフローチャートである。
まず、調理支援システム1は、ネットワーク7を介して、熱画像カメラ2から、所定時間毎の調理器具5を含む領域の熱画像を取得する熱画像取得処理を行う(S1)。
次に、調理支援システム1は、S1で取得した熱画像に基づいて、調理器具5を検出する調理器具検出処理を行う(S3)。ここで、図5を用いて、調理器具検出処理の詳細について説明する。図5は、図4におけるS3の詳細動作の一例を示すフローチャートである。
調理支援システム1は、図5に示すように、まず、取得した熱画像の2値化処理を行い(S32)、平滑化処理を行う(S33)。なお、2値化処理および平滑化処理の画像処理は既知であるためここでの説明は省略する。次いで、調理支援システム1は、S32およびS33で画像処理を行った熱画像において、調理器具5のフチ(縁)の検出処理を行う(S34)。ここで、調理器具5が例えば鍋ならそのフチは例えば円形である。すなわち、調理器具5のフチは、円形、楕円、直線など調理器具5エッジの特徴により検出できる。なお、調理器具5が複数あってもエッジの特徴によりそれぞれを検出できる。次いで、調理支援システム1は、調理器具5のフチの検出処理が成功した場合(S35でYes)、検出処理が成功した調理器具5(該当調理器具5)の取得した熱画像中の位置情報と、該当調理器具5に対応する熱画像から取得できる温度情報とを記憶部14に記憶する(S36)。ここで、記憶部14に記憶される温度情報は、該当調理器具5に対応する位置の熱画像であってもよい。なお、調理支援システム1は、調理器具5のフチの検出処理が失敗した場合(S35でNo)、S1に戻って熱画像取得処理からやり直す。
次に、調理支援システム1は、ふきこぼれ判定処理を行う(S5)。ここで、図6を用いて、ふきこぼれ判定処理の詳細について説明する。図6は、図4におけるS5の詳細動作の一例を示すフローチャートである。図7は、実施の形態1における調理器具中の高温部分の一例を示す図である。図8Aおよび図8Bは、比較例における調理器具中の高温部分の一例を示す図である。図7〜図8Bにおいて、調理器具51および調理器具52は、調理器具5の一例であり、それぞれステンレス製の鍋およびホーロー製の鍋を示している。
調理支援システム1は、図6に示すように、まず、S1で取得した熱画像に基づいて、調理器具5中の高温部分から内容物の水位を検出する(S51)。
本実施の形態では、調理支援システム1は、例えば図7に示すように、S3において検出した熱画像中の調理器具51および調理器具52の中(鍋の中)の例えば70℃以上の高温領域(図中のハッチング部分)から調理器具51および調理器具52の内容物の水位を検出することができる。これは、熱画像カメラ2が調理器具51、52の斜め上方からの熱画像を撮影可能に取り付けられ、加熱調理中の調理器具51および52を含む領域の熱画像を撮影することから、70℃以上の高温領域の周縁から調理器具51および調理器具52の内容物の水位を検出することができる。一方、例えば、図8Aに示すように、調理器具51および調理器具52を側面から撮影した比較例の熱画像では、ホーロー製の鍋である調理器具52から70℃以上の高温領域(図中のハッチング部分)を認識できるので内容物の水位を検出できる。しかし、ステンレス製の鍋である調理器具51から70℃以上の高温領域を認識できないので内容物の水位を検出できない。また、例えば、図8Bに示すように、調理器具51および調理器具52を上面から撮影した比較例の熱画像では、調理器具51および調理器具52から70℃以上の高温領域(図中のハッチング部分)を認識できる。しかし、高温領域の周縁と調理器具51および調理器具52のフチとの高さに差がないため、これらの内容物の水位を正確に検出することができない。
次いで、調理支援システム1は、S51で検出した調理器具5の内容物の水位と、調理器具5のフチ(上縁)との間の差分距離を算出する(S52)。本実施の形態では、調理支援システム1は、S51で検出した調理器具5の内容物の水位を示す70℃以上の高温領域の周縁と、S3で検出され記憶部14に記憶された調理器具5の位置情報に示される調理器具5のフチとの間の差分距離を算出する。
次いで、調理支援システム1は、記憶部14に所定時間前に検出した内容物の水位を示す情報が記憶されているか否かを確認する(S53)。ここで、所定時間前に検出した内容物の水位を示す情報は、例えば70℃以上の高温領域の周縁を示す熱画像である。なお、調理支援システム1は、記憶部14に所定時間前に検出した内容物の水位を示す情報が記憶されていないことを確認した場合には(S53でNo)、S51で検出した内容物の水位を示す情報とS52で算出した差分距離とを記憶部14に記憶する(S55)。
S53において、調理支援システム1は、記憶部14に所定時間前に検出した内容物の水位を示す情報が記憶されていることを確認した場合には(S53でYes)、S51で検出した内容物の水位の増加率を算出する(S54)。ここで、S51で検出した内容物の水位の増加率は、調理器具5における内容物の水位の変化を示す値に該当し、所定時間毎の調理器具5の熱画像における例えば70℃以上の高温領域の面積の変化を示す増加率から算出される。
次いで、調理支援システム1は、S54で算出した増加率が第1閾値(所定の閾値)以上にあるかどうかを判定する(S56)。なお、S54で算出した増加率が第1閾値より小さいときには(S56でNo)、S55に進み、S51で検出した内容物の水位を示す情報とS52で算出した差分距離とを記憶部14に記憶する。
次いで、S56において、調理支援システム1は、S54で算出した増加率が第1閾値以上であると判定したときには(S56でYes)、加熱調理中の調理器具5において内容物のふきこぼれが生じるおそれがあると判定して、さらに、S54で算出した増加率が第2閾値以上であるか否かを判定する(S57)。
調理支援システム1は、S54で算出した増加率が第2閾値以上であると判定した場合(S57でYes)、ふきこぼれ発生を判定する(S58)。ここで、ふきこぼれ発生とは、上述したように、例えば数秒以内に、加熱調理中の調理器具5において内容物のふきこぼれが発生することを意味する。
一方、調理支援システム1は、S54で算出した増加率が第2閾値より小さいと判定した場合(S57でNo)、ふきこぼれ予知を判定する(S59)。なお、ふきこぼれ予知とは、上述したように、例えば数十秒ないし数分以内に、加熱調理中の調理器具5において内容物のふきこぼれが発生するおそれ(可能性)があることを意味する。
以下、図4に戻って説明を続ける。
次に、調理支援システム1は、S5において、ふきこぼれの生じるおそれがあることが判定された場合、通知装置6に対して、吹きこぼれが生じるおそれがある旨をユーザへ通知する情報を示す通知情報を送信する通知処理を行う(S7)。
次に、調理支援システム1は、S5において、ふきこぼれの生じるおそれがあることが判定された場合、加熱調理装置3に対して、加熱調理装置3の出力を弱める指示を示す制御信号を送信する加熱制御処理を行う(S9)。ここで、図9を用いて、加熱制御処理の詳細について説明する。図9は、図4におけるS9の詳細動作の一例を示すフローチャートである。
調理支援システム1は、図9に示すように、まず、S5のふきこぼれ判定処理において、ふきこぼれ発生が判定されたか否かを確認する(S91)。
S91において、調理支援システム1は、ふきこぼれ発生が判定されたことを確認した場合(S91でYes)、加熱調理装置3の加熱動作を停止させ(S92)、加熱調理装置3のユーザにふきこぼれが発生する旨を通知する(S93)。本実施の形態では、調理支援システム1は、加熱調理装置3に対して、加熱調理装置3の加熱動作を停止させる指示を示す制御信号を送信し、加熱調理装置3の加熱動作を停止させる。また、調理支援システム1は、通知装置6に対して、ふきこぼれが発生する旨をユーザへ通知する情報を示す通知情報を送信することで、ユーザにふきこぼれが発生する旨を通知する。なお、S92とS93とはどちらを先に行ってもよい。
S91において、調理支援システム1は、ふきこぼれ発生が判定されていないことを確認した場合(S91でNo)、S5のふきこぼれ判定処理においてふきこぼれ予知が判定されたか否かを確認する(S94)。S94において、調理支援システム1は、ふきこぼれ予知が判定されたことを確認した場合(S94でYes)、加熱調理装置3の火力を制御し(S95)、加熱調理装置3のユーザにふきこぼれ予知を通知する(S96)。本実施の形態では、調理支援システム1は、加熱調理装置3に対して、加熱調理装置3の出力を弱める指示を示す制御信号を送信し、加熱調理装置3の火力を制御する。また、調理支援システム1は、通知装置6に対して、ふきこぼれ予知をユーザへ通知する情報を示す通知情報を送信することで、ユーザにふきこぼれ予知を通知する。なお、S95とS96とはどちらを先に行ってもよい。また、S94において、調理支援システム1は、ふきこぼれ予知が判定されていないことを確認した場合(S94でNo)、S1に進み熱画像取得処理からやり直す。
[実施の形態1の効果等]
以上のように、本実施の形態の調理支援システムおよび調理支援方法によれば、調理器具5の斜め上方から撮影した熱画像を用いることにより、調理器具5の材質によらずに、調理器具5における内容物のふきこぼれが発生することを事前に検知して防止することができる。
比較例として、例えば、調理器具5を側面から撮影した熱画像を用いる場合、調理器具5がステンレス製の鍋など熱伝導率が低いものであった場合、熱画像から温度情報が取得できないので、内容物の水位を検出できずふきこぼれ判定を行うことはできない。さらに、調理器具5がホーロー製の鍋など熱伝導率が高いものであったとしても、加熱調理装置3に複数の調理器具5が熱画像カメラ2からみて並列に並べられた場合、複数の調理器具5のそれぞれの温度情報を熱画像から取得できないので内容物の水位を検出できない。
また、例えば、調理器具5を真上(上方)から撮影した熱画像を用いる場合、調理器具5がステンレス製の鍋など熱伝導率が低いものであったとしても、内容物の温度情報を検出できる。しかし、内容物の温度が低い初期撮影時には、取得した熱画像における加熱調理装置3と調理器具5との区別が難しいため、調理器具5のフチの検出精度が悪くなり、正確に調理器具5の内容物の温度情報を取得できない。さらに、調理器具5を真上(上方)から撮影した熱画像を用いる場合、内容物の上縁と調理器具5のフチとの区別がつきにくいため、熱画像から精度よく内容物の水位を検出できない。そのため、調理器具5を真上(上方)から撮影した熱画像を用いる場合、精度よくふきこぼれ判定を行うことはできない。
それに対して、本実施の形態の調理支援システムおよび調理支援方法によれば、調理器具5を斜め上方(上ななめ角度)から撮影した熱画像を用いるので、調理器具5の材質によらずに、内容物の上縁と調理器具5のフチとの区別がつきやすい。そのため、内容物の水位をより正確に検出しやすく、内容物の水位の変化量(水位の動き)も算出しやすいので、精度よくふきこぼれ判定を行うことができる。それにより、調理器具5の材質によらずに、調理器具5における内容物のふきこぼれが発生することを事前に検知して防止することができる。
(実施の形態2)
実施の形態1では、例えば鍋などの調理器具5にフタがされていない場合の調理支援方法および調理支援システムについて説明したが、これに限らない。実施の形態2では、調理器具5にフタがされる場合を考慮した調理支援方法および調理支援システムについて説明する。以下では、実施の形態1と同じ点は説明を省略し、異なる点を中心に説明する。
[調理支援システム1Aの構成]
図10は、実施の形態2における調理支援システム1Aの構成の一例を示すブロック図である。図3と同様の要素には同一の符号を付しており、詳細な説明は省略する。
調理支援システム1Aは、図10に示すように、ふきこぼれ検知部10Aと、通知部20と、加熱制御部30とを備える。図10に示す調理支援システム1Aは、実施の形態1における調理支援システム1に対して、ふきこぼれ検知部10Aの構成が異なる。その他の構成については実施の形態1と同様のためここでの説明は省略する。
[ふきこぼれ検知部10Aの構成]
ふきこぼれ検知部10Aは、図10に示すように、データ取得部11と、高温部分検出部12と、調理器具検出部13と、記憶部14と、変化量算出部15Aと、ふきこぼれ判定部16Aと、フタ判定部17とを備え、熱画像カメラ2から取得した熱画像に基づいて調理器具5における内容物のふきこぼれが生じるおそれを検知する。より具体的には、図10に示すふきこぼれ検知部10Aは、実施の形態1におけるふきこぼれ検知部10に対して、フタ判定部17が追加され、変化量算出部15Aおよびふきこぼれ判定部16Aの構成が異なる。
フタ判定部17は、熱画像に基づいて、加熱調理中の調理器具5にフタが取り付けられているか否かを判定する。フタ判定部17は、加熱調理中の調理器具5にフタが取り付けられていると判定した場合には、さらに、熱画像に基づいて調理器具5のフタの縁端部を検出する。
変化量算出部15Aは、フタ判定部17が加熱調理中の調理器具5にフタが取り付けられていると判定した場合には、調理器具5の内容物の水位の変化を示す値として、フタ判定部17により検出された縁端部の温度変化の値を算出する。ここで、変化量算出部15Aは、縁端部の温度変化の値として、所定時間毎の調理器具5の熱画像における縁端部の近傍に存在する所定温度以上の領域の面積の変化を示す値を算出する。
ふきこぼれ判定部16Aは、変化量算出部15が算出した水位の変化を示す値が所定の閾値以上であるか否かを判定する。より具体的には、ふきこぼれ判定部16Aは、フタ判定部17により加熱調理中の調理器具5にフタが取り付けられていないと判定された場合には、変化量算出部15Aにより算出された縁端部の温度変化の値が所定の閾値(第4閾値)以上であるか否かを判定する。ふきこぼれ判定部16Aは、変化量算出部15Aが算出した縁端部の温度変化の値が所定の閾値(第4閾値)以上であると判定した場合、加熱調理中の調理器具5において内容物のふきこぼれが生じるおそれがあると判定する。
[調理支援システム1Aの動作]
次に、上記のように構成された調理支援システム1Aの動作について説明する。
図11は、実施の形態2における調理支援システム1Aの動作の一例を示すフローチャートである。図4と同様の要素には同一の符号を付しており、詳細な説明は省略する。
まず、調理支援システム1Aは、ネットワーク7を介して、熱画像カメラ2から、所定時間毎の調理器具5を含む領域の熱画像を取得する熱画像取得処理を行う(S1)。
次に、調理支援システム1Aは、S1で取得した熱画像に基づいて、調理器具5を検出する調理器具検出処理を行う(S3)。
次に、調理支援システム1Aは、S1で取得した熱画像に基づいて、調理器具5のフタ検出処理を行う(S4)。ここで、図12を用いて、フタ検出処理の詳細について説明する。図12は、図11におけるS4の詳細動作の一例を示すフローチャートである。
調理支援システム1Aは、図12に示すように、まず、記憶部14から、S3で記憶された調理器具5の位置情報と温度情報とを取得する(S41)。調理支援システム1Aは、所定時間経過後(S42でYes)、調理器具5の最新の温度情報を取得する(S43)。本実施の形態では、調理器具5の最新の温度情報は、高温部分検出部12が検出して記憶部14に記憶した最新の高温領域の熱画像である。次いで、調理支援システム1Aは、前回温度と最新温度との差分である変化量を算出する(S44)。より具体的には、調理支援システム1Aは、S41およびS43で取得した調理器具5の所定時間前の高温領域の熱画像(前回の温度情報)と、調理器具5の所定時間後の高温領域の熱画像(最新の温度情報)とから、前回の温度情報と、最新の温度情報との差分である変化量を算出する。次いで、調理支援システム1Aは、算出した変化量が閾値(第3閾値)以上にあるかどうかを判定する(S45)。S45において、調理支援システム1Aは、S44で算出した変化量が第3閾値以上であると判定したときには(S45でYes)、フタなし判定すなわち調理器具5にフタ(蓋)がされていないと判定する(S46)。一方、S44で算出した変化量が第3閾値よりも小さいと判定したときには(S45でNo)、フタあり判定すなわち調理器具5にフタ(蓋)がされていると判定する(S47)。最後に、調理支援システム1Aは、S45の判定結果すなわち調理器具5のフタ情報を記憶部14に記憶する(S48)。
次に、調理支援システム1Aは、ふきこぼれ判定処理を行う(S5A)。ここで、図13を用いて、調理支援システム1Aが行うふきこぼれ判定処理の詳細について説明する。図13は、図11におけるS5Aの詳細動作の一例を示すフローチャートである。
調理支援システム1Aは、図13に示すように、まず、記憶部14から、S4で記憶された調理器具5のフタ情報を取得し(S501)、調理器具5にフタがされているか否かを判定する(S502)。
S501において、調理支援システム1Aは、調理器具5にフタがされていないと判定した場合(S502でNo)、図6に示すS51に進み、図6に示すS51〜S59で説明したふきこぼれ判定処理を行う。
一方、S501において、調理支援システム1Aは、調理器具5にフタがされてると判定した場合(S502でYes)、記憶部14に調理器具5のフチの温度情報を記憶する(S503)。本実施の形態では、調理支援システム1Aは、記憶部14から取得した調理器具5の位置情報に基づき、熱画像における調理器具5のフチ(縁端部)の位置を特定する。そして、調理支援システム1Aは、記憶部14から取得した温度情報(熱画像)から調理器具5の当該フチの位置での温度情報(熱画像)を抽出し、記憶部14に調理器具5のフチの温度情報(熱画像)として記憶する。なお、調理器具5の当該フチ(縁端部)の位置は、当該フチを含む当該フチ近傍の位置であればよく、当該フチを含む前記フチの外側、内側および前記フチから若干離れた外側でもよい。
次いで、調理支援システム1Aは、記憶部14に所定時間前の当該フチの温度情報が記憶されているか否かを確認する(S504)。なお、S504において、調理支援システム1Aは、記憶部14に所定時間前の当該フチの温度情報が記憶されていないことを確認した場合には(S504でNo)、図11に示すS1に進み、熱画像取得処理からやり直す。
一方、S504において、調理支援システム1Aは、記憶部14に所定時間前の当該フチの温度情報が記憶されていることを確認した場合には(S504でYes)、当該フチの前回温度からの変化量を算出する(S505)。より具体的には、調理支援システム1Aは、所定時間前の当該フチの熱画像(前回温度)と、所定時間後の当該フチの熱画像(最新温度)とから、前回温度と最新温度との差分である変化量を算出する。
次いで、調理支援システム1Aは、算出した変化量が閾値(第4閾値)以上にあるかどうかを判定する(S506)。S505で算出した変化量が第4閾値よりも小さいと判定したときには(S506でNo)、図11に示すS1に進み熱画像取得処理からやり直す。
一方、S506において、調理支援システム1Aは、S505で算出した変化量が第4閾値以上であると判定したときには(S506でYes)、ふきこぼれ発生を判定する(S507)。このふきこぼれ発生は、上述した通り、例えば数秒以内に、加熱調理中の調理器具5において内容物のふきこぼれが発生することを意味する。なお、調理支援システム1Aは、当該フチ(縁端部)の位置近傍の熱画像において75℃以上の温度領域が発現した場合に、S505で算出した変化量が第4閾値以上であると判定してもよい。また、調理器具5の材質によっては、当該フチ(縁端部)の位置近傍の熱画像において75℃以上の温度領域の形がくずれた(円形でなくなる)場合にS505で算出した変化量が第4閾値以上であると判定してもよい。
ここで、このように判定できる理由について、図14と図15を用いて説明する。
図14および図15は、実施の形態2における調理器具にフタがされてる場合にふきこぼれが発生するまでの様子の一例を示す熱画像図である。図14および図15において、調理器具51および調理器具52は、上述同様に、調理器具5の一例であり、それぞれステンレス製の鍋およびホーロー製の鍋を示している。また、調理器具51にはフタ51aがされており、調理器具52にはフタ52aがされている。
例えば、図14の(a)に示すように、沸騰前には、調理器具51にフタ51aがされてると、熱画像中に70℃以上の高温領域が現われていない。一方、図14の(b)に示すように、ふきこぼれ発生のおそれがある時には、フタ51aのフチ(縁端部)の近傍の一部に70℃以上の高温領域(図中のハッチング部分)が現れている。なお、この高温領域は、調理器具51とフタ51aとの隙間からの泡こぼれに該当する。その後、図14の(c)(d)に示すように、フチの一部の70℃以上の高温領域(図中のハッチング部分)が大きくなっていき、泡こぼれの程度が大きくなりふきこぼれが実際に発生する。このように、ふきこぼれが発生して進行していくことから、フタ51aのフチの近傍に75℃以上の温度領域が発現した場合に、ふきこぼれ発生を判定することができる。
なお、同様のことは、図15に示すホーロー製の鍋であるフタ52aがされた調理器具52にも言える。しかし、ホーロー製の場合には、調理器具5の温度変化が熱画像からわかる。より具体的には、例えば図15の(a)に示すように、沸騰前には、調理器具52にフタ52aがされてると、熱画像中に70℃以上の高温領域が現われていない。一方、図15の(b)に示すように、蒸気発生時点では、調理器具52内の蒸気によりフタ52aの一部が加熱されて、フタ52aの一部に70℃以上の高温領域(図中のハッチング部分)が現われる。そして、図15の(c)に示すように、ふきこぼれ発生のおそれがある時には、フタ52aの全体に70℃以上の高温領域(図中のハッチング部分)が現れている。これは、調理器具52内の内容物の水位が、フタ52a近くまで上がっており、ふきこぼれが発生する直前であるからである。その後、図15の(d)に示すように、フタ52aの全体にわたる70℃以上の高温領域(図中のハッチング部分)の形がくずれて、ふきこぼれが実際に発生している。このような熱画像上での形のくずれは、調理器具52とフタ52aとの隙間からの泡こぼれの程度が大きくなり、フタ52aを押し上げて調理器具52から内容物の一部がふきこぼれているからである。このように、ふきこぼれが発生することから、フタ52aのフチの位置近傍に75℃以上の温度領域が発現した場合に限らず、当該フチの位置近傍の所定温度以上の領域の形がくずれた(円形でなくなる)場合に、ふきこぼれ発生を判定することができる。
[実施の形態2の効果等]
以上のように、例えばステンレス製の鍋などの熱伝導率が低い調理器具5では、蓋がされてしまうと、内容物の水位を熱画像から直接検出してふきこぼれ判定を行うことはできない。しかし、本実施の形態の調理支援システムおよび調理支援方法によれば、内容物の水位として、蓋のフチ(縁端部分)に出現する泡こぼれを示す熱画像の高温部分や蓋の全体に出現する熱画像の高温部分の形くずれを検出することで、ふきこぼれ判定を行うことができる。それにより、調理器具5の材質によらずに、調理器具5における内容物のふきこぼれが発生することを事前に検知して防止することができる。
(実施の形態3)
実施の形態1および2では、調理器具5のふきこぼれが発生するまで、人が関与しない場合の調理支援方法および調理支援システムについて説明したが、これに限らない。実施の形態3では、ユーザ(人)が内容物をかき混ぜたり、フタを開けたりして調理器具5に関与する場合を考慮した調理支援方法および調理支援システムについて説明する。以下では、実施の形態1および2と同じ点は説明を省略し、異なる点を中心に説明する。
[調理支援システム1Bの構成]
図16は、実施の形態3における調理支援システム1Bの構成の一例を示すブロック図である。図3および図10と同様の要素には同一の符号を付しており、詳細な説明は省略する。
調理支援システム1Bは、図16に示すように、ふきこぼれ検知部10Bと、通知部20と、加熱制御部30とを備える。図16に示す調理支援システム1Bは、実施の形態2における調理支援システム1Aに対して、ふきこぼれ検知部10Bの構成が異なる。その他の構成については実施の形態2と同様のためここでの説明は省略する。
[ふきこぼれ検知部10Bの構成]
ふきこぼれ検知部10Bは、図16に示すように、データ取得部11と、高温部分検出部12と、調理器具検出部13と、記憶部14と、変化量算出部15Aと、ふきこぼれ判定部16Bと、フタ判定部17と、人有無検出部18とを備え、熱画像カメラ2から取得した熱画像に基づいて調理器具5における内容物のふきこぼれが生じるおそれを検知する。より具体的には、図16に示すふきこぼれ検知部10Bは、実施の形態2におけるふきこぼれ検知部10Aに対して、人有無検出部18が追加され、ふきこぼれ判定部16Bの構成が異なる。
人有無検出部18は、データ取得部11が取得した熱画像の当該領域のうち、調理器具5を含む所定領域である調理器具領域以外の背景領域に人を示す温度領域である人温度領域が存在するか否かを確認する。このようにして、人有無検出部18は、データ取得部11が取得した熱画像の背景領域における人の有無を検出する。
ふきこぼれ判定部16Bは、変化量算出部15が算出した水位の変化を示す値が所定の閾値以上であるか否かを判定する。より具体的には、ふきこぼれ判定部16Bは、人有無検出部18が背景領域に人温度領域が存在すると確認した場合には、調理器具5における内容物の水位の温度変化を示す値を初期化する。なお、人有無検出部18が背景領域に人温度領域が存在すると確認できない場合、すなわち、背景領域に人がいないことを確認した場合のふきこぼれ判定部16Bの動作は、実施の形態2で説明したふきこぼれ判定部16Aと同様であるためここでの説明は省略する。
[調理支援システム1Bの動作]
次に、上記のように構成された調理支援システム1Bの動作について説明する。
図17は、実施の形態3における調理支援システム1Bの動作の一例を示すフローチャートである。図4および図11と同様の要素には同一の符号を付しており、詳細な説明は省略する。
まず、調理支援システム1Bは、熱画像取得処理を行う(S1B)。より具体的には、調理支援システム1Bは、ネットワーク7を介して、熱画像カメラ2から、所定時間毎の調理器具5を含む領域の熱画像を取得し(S11)、領域別熱画像生成処理を行う(S12)。ここで、図18および図19を用いて、領域別熱画像生成処理の詳細について説明する。図18は、図17におけるS12の詳細動作の一例を示すフローチャートである。図19は、図17におけるS12で生成する領域別熱画像を説明するための図である。調理支援システム1Bは、図18に示すように、まず、S11で取得した所定時間毎の調理器具5を含む領域の熱画像を、調理器具5を含む所定領域である調理器具領域と調理器具領域以外の背景領域とに分離する(S121)。図19に示す例では、調理支援システム1Bは、S11で取得した調理器具5(不図示)を含む領域の熱画像200を、調理器具領域201と背景領域202に分離する。次いで、調理支援システム1Bは、調理器具領域内と背景領域内の平均温度を算出する(S122)。次いで、調理支援システム1Bは、調理器具領域の熱画像と、背景領域の熱画像とを作成する(S123)。なお、S122とS123との処理の順番は逆でもよい。
次に、調理支援システム1Bは、S1Bで作成した背景領域の熱画像を用いて人検出処理を行う(S2B)。ここで、図20を用いて、人検出処理の詳細について説明する。図20は、図17におけるS2Bの詳細動作の一例を示すフローチャートである。調理支援システム1Bは、図20に示すように、まず、S12で作成した所定時間毎の背景領域の熱画像を取得する(S201)。次いで、調理支援システム1Bは、取得した背景領域の熱画像に、人の体温に近い温度領域であって人を示す温度領域があるか確認する(S202)。
S202において、調理支援システム1Bは、取得した背景領域の熱画像に人を示す温度領域がなかった場合(S202でNo)、S3の処理に進む。一方、S202において、調理支援システム1Bは、取得した背景領域の熱画像に人を示す温度領域があることを確認した場合(S202でYes)、さらに、ふきこぼれ予知の判定後かを確認する(S203)。
S203において、調理支援システム1Bは、ふきこぼれ予知の判定後でないことを確認した場合(S203でNo)、S1Bに戻って熱画像取得処理を行う。一方、S203において、調理支援システム1Bは、ふきこぼれ予知の判定後であることを確認した場合(S203でYes)、ふきこぼれ判定に用いる情報を初期化し(S204)、S1Bに戻り、熱画像取得処理をやり直す。本実施の形態では、S204において、調理支援システム1Bは、記憶部14に記憶されている調理器具5における内容物の水位の温度変化を示す値を初期化する。所定時間前に検出した調理器具5における内容物の水位を示す情報として、例えば調理器具5における所定時間前の高温部分の熱画像が記憶部14に記憶されている場合には、当該所定時間前の高温部分の熱画像を削除してもよい。また、調理器具5における内容物の水位の温度変化を示す値として例えば調理器具5の内容物の水位の増加率が記憶部14に記憶されている場合には、当該増加率を0にするとしてもよい。また、調理器具5における内容物の水位の温度変化を示す値として記憶部14に所定時間前の当該フチの温度情報(熱画像)が記憶されている場合には、所定時間前の当該フチの温度情報を削除してもよい。
以下、図17に戻って説明を続ける。
次に、調理支援システム1Bは、S1Bで作成した背景領域の熱画像に基づいて、調理器具5を検出する調理器具検出処理を行う(S3B)。ここで、図21を用いて、S3Bの調理器具検出処理の詳細について説明する。図21は、図17におけるS3Bの詳細動作の一例を示すフローチャートである。調理支援システム1Bは、図21に示すように、まず、S1Bにおいて作成した調理器具領域の熱画像を取得する(S301)。次いで、S301で取得した調理器具領域の熱画像の2値化処理を行い(S301)、平滑化処理を行う(S302)。なお、S301とS302の処理は、実施の形態1で説明した図5のS31とS32と同様である。また、S303〜306の処理も実施の形態1で説明した図5のS33〜S36と同様であるので、ここでの説明は省略する。
次に、調理支援システム1B、S1Bにおいて作成した調理器具領域の熱画像に基づいて、調理器具5のフタ検出処理を行う(S4)。S4〜S9の処理は実施の形態2で説明した通りであるので、以降の説明は省略する。
[実施の形態3の効果等]
以上のように、本実施の形態の調理支援システムおよび調理支援方法によれば、ユーザ(人)が内容物をかき混ぜたり、フタを開けたりして調理器具5に関与する場合を考慮した上で、調理器具5の材質によらずに、調理器具5における内容物のふきこぼれが発生することを事前に検知して防止することができる。
なお、上記の実施の形態では、熱画像カメラ2が撮影した熱画像中の調理器具5を含む所定領域を調理器具領域とし、調理器具領域以外の領域を背景領域として説明したが、これに限らない。背景領域は、熱画像中の加熱調理装置3を示す領域を調理器具領域とし、加熱調理装置3を示す領域以外の領域を背景領域としてもよい。
以上、本発明の一つまたは複数の態様に係る調理支援方法および調理支援システムについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。例えば、以下のような場合も本発明に含まれる。
(1)上記の実施の形態1〜3では、調理支援システムおよび調理支援方法が、熱画像カメラ2から、所定時間毎の調理器具5を含む領域の熱画像を取得して、ふきこぼれが発生するおそれを判定するとして説明したが、これに限らない。
例えば、調理器具5における内容物が沸騰しはじめたら、上記の所定時間よりも短い時間間隔で調理器具5を含む領域の熱画像を取得して、ふきこぼれが発生するおそれを判定してもよい。これにより、ふきこぼれ発生の判定精度をより向上させることができる。
(2)また、調理器具5の種類、材質により内容物の温度の変化や内容物の水位の変化のパターンが異なることも考えられる。そのため、調理器具5の内容物の温度や水位の変化のパターンと調理器具5の加熱状態との対応を、予め学習させた学習データを用いて、ふきこぼれが発生するおそれを判定するとしてもよい。特に、調理器具5にフタがされている場合には、ふきこぼれが発生する直前における、フタの縁端に付着する泡の大きさや動きは一様でない。そのため、調理器具5の内容物の温度や水位の変化のパターンと調理器具5の加熱状態との対応を予め学習するによりふきこぼれ発生の判定精度の向上が見込める。
なお、学習データは、ローカルすなわち調理支援システムに配置された特定の装置内に記憶されているとしてもよい。またローカルの装置と異なる場所に配置されているクラウドサーバなどから取得されるとしてもよい。
また、学習データを用いる場合には、熱画像に限らず通常の画像を用いてふきこぼれが発生するおそれを判定することもできると考えられる。調理器具5の内容物の温度や水位の変化のパターンと通常の画像における調理器具5の加熱状態との対応を予め学習することができるからである。
(3)上記の各装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記RAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
(4)上記の各装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。
(5)上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。前記ICカードまたは前記モジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。前記ICカードまたは前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカードまたは前記モジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
(6)本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu-ray(登録商標) Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
(7)上記実施の形態をそれぞれ組み合わせるとしてもよい。