JP6610416B2 - 調理レシピ提供システム - Google Patents

Description

この発明は、調理レシピ提供システムに関するものである。

料理を作る際に用いられる調理レシピを自動的に作成する技術が、ＷＯ２００５／０８８５４２（特許文献１）、および特開２０１０−６１３８１号公報（特許文献２）に開示されている。

特許文献１に開示の調理操作認識システムは、センシング手段と、特徴量テンプレートと、調理フロー作成手段と、一次確信度算出手段と、調理操作認識手段とを備える。センシング手段は、調理操作を行っている調理者の手元の画像と、その調理操作によって生じる環境音との少なくともいずれか一方を含む観測データを取得する。特徴量テンプレートは、種々の食材に対して予め想定された種々の調理操作を、各食材に対する調理操作毎に予め定められた確信度であるテンプレート確信度を併せてテーブル形式で記憶する。調理フロー作成手段は、センシング手段により取得された観測データを基に、調理者が調理している食材及びその食材に対する調理操作の少なくともいずれか一方の確信度を示す観測確信度を算出し、算出した観測確信度を基に、調理者が調理している料理の調理フローを作成する。一次確信度算出手段は、テンプレート確信度と観測確信度とを基に、調理フロー作成手段により作成された調理フローを構成する各オブジェクトに対する確信度である一次確信度を算出する。調理操作認識手段は、一次確信度算出手段により算出された一次確信度を基に、最終確信度を算出し、算出した最終確信度を新たなテンプレート確信度として、特徴量テンプレートを更新し、更新した特徴量テンプレートを基に、センシング手段により取得された観測データに対する食材及び調整操作を認識する。特許文献１に開示の調理操作認識システムは、これらのような構成を特徴としている。

特許文献２に開示の自動レシピ作成装置は、被写体画像を撮影する撮像手段と、人物画像の外見的特徴を認識する人物認識手段と、人物の外見的特徴毎にそれぞれ適したレシピを記憶するレシピデータベースと、撮像手段で撮影した人物画像から人物認識手段が認識した外見的特徴に適したレシピをレシピデータベースの中から検索するレシピ検索手段と、レシピ検索手段により検索されたレシピ内容を表示するレシピ表示手段とを有することを特徴としている。

ＷＯ２００５／０８８５４２ 特開２０１０−６１３８１号公報

特許文献１に開示の技術は、調理者が調理している食材及びその食材に対する調理操作の少なくともいずれか一方の確信度を示す観測確信度を算出し、算出した観測確信度を基に、調理者が調理している料理の調理フローを作成することとしている。しかし、このような手法では、単に調理レシピを推定するに留まるものであり、精度よく調理レシピを生成して提供することができない。また、特許文献２に開示の自動レシピ作成装置は、あくまで人物画像の外見的特徴からレシピを生成するものであり、レシピデータベースの中から検索するものである。よって、特許文献２に開示の技術においても、精度よく調理レシピを生成して提供することができるとはいえないものである。

この発明の目的は、より容易に、かつ、精度よく調理レシピを生成して提供することができる調理レシピ提供システムを提供することである。

この発明に係る調理レシピ提供システムは、調理者が調理したレシピを提供する調理レシピ提供システムである。調理レシピ提供システムは、情報を処理する情報処理装置と、画像データ取得用ウェアラブル端末と、動作データ取得用ウェアラブル端末とを含む。画像データ取得用ウェアラブル端末は、情報処理装置と通信可能であり、調理者に装着されて調理者の視界の情報を取得する。動作データ取得用ウェアラブル端末は、情報処理装置と通信可能であり、調理者に装着されて調理者の動作の情報を取得する。画像データ取得用ウェアラブル端末は、画像データ取得部と、画像データ取得用ウェアラブル端末送信部とを備える。画像データ取得部は、調理者の視界の情報を画像データとして取得する。画像データ取得用ウェアラブル端末送信部は、画像データ取得部により取得された画像データを情報処理装置に送信する。動作データ取得用ウェアラブル端末は、動作データ取得部と、動作データ取得用ウェアラブル端末送信部とを備える。動作データ取得部は、調理者の動作の情報を動作データとして取得する。動作データ取得用ウェアラブル端末送信部は、動作データ取得部により取得された動作データを情報処理装置に送信する。情報処理装置は、受信部と、調理レシピ生成部と、出力部と、修正受け付け部と、ターム開始動作検知部と、ターム終了動作検知部とを備える。受信部は、画像データ取得用ウェアラブル端末送信部により送信された画像データ、および動作データ取得用ウェアラブル端末送信部により送信された動作データを受信する。調理レシピ生成部は、受信部により受信した画像データ、および動作データから、調理レシピを生成する。出力部は、調理レシピ生成部により生成された調理レシピを出力する。修正受け付け部は、調理レシピ生成部により生成された調理レシピの修正を受け付ける。ターム開始動作検知部は、受信部により受信された動作データが、調理の一連の区切りであるタームの開始の動作であるか否かを検知する。ターム終了動作検知部は、ターム開始動作検知部によりタームの開始の動作であると検知した後、受信部により受信された動作データが、タームの終了の動作であるか否かを検知する。画像データ取得用ウェアラブル端末は、調理者の頭部に装着されるメガネ型ウェアラブル端末を含む。動作データ取得用ウェアラブル端末は、調理者の腕に装着されるリストバンド型ウェアラブル端末を含む。ターム開始動作検知部およびターム終了動作検知部のうちの少なくともいずれか一方は、調理者の手を叩く動作を検知すれば、タームの開始または終了を検知する。調理レシピ生成部は、全てのタームについてデータ取得を行った後に調理レシピを生成する。修正受け付け部は、修正の候補を表示する修正候補表示部を含む。修正受け付け部は、完成された料理の写真画像、準備する食材に関する文字画像、準備する機材に関する文字画像、最初の手順の文字画像および写真画像、および次の手順の文字画像および写真画像を表示して修正を受け付ける。修正受け付け部は、準備する食材の確認を促すキーを表示する。修正候補表示部は、キーの押下を検知すると、修正の候補を文字画像で縦方向に並べて表示する。

このような調理レシピ提供システムによれば、画像データ取得用ウェアラブル端末により取得された調理者の視界の画像データ、および動作データ取得用ウェアラブル端末により取得された調理者の動作データを情報処理装置が受信して調理レシピを生成し、出力することとしている。このように生成された調理レシピは、調理者の実際の動作を取得し、実際に調理者の見た画像を基にして生成されているため、より精度のよいものである。また、調理者は、画像データ取得用ウェアラブル端末、および動作データ取得用ウェアラブル端末を装着して実際に調理を行うのみでよい。したがって、このような調理レシピ提供システムは、より容易に、かつ、精度よく調理レシピを生成して提供することができる。

この発明の一実施形態に調理レシピ提供システムの外観を示す概略図である。 図１に示す調理レシピ提供システムの構成を示すブロック図である。 印刷装置制御部の構成を示すブロック図である。 調理レシピ提供システムを用いて調理レシピを生成する際の各種のデータを取得する場合の処理の流れを示すフローチャートである。 タームの開始および終了の動作を示す概念図である。 画像データ取得部により取得される画像データの一例を示す図である。 動作データ取得部により取得される動作データの一例を示す図である。 ターム内の調理動作のデータを取得する場合を示す図である。 取得したデータから調理レシピを生成する際の処理の流れを示すフローチャートである。 表示画面に表示されたレシピの情報の一例を示す図である。 写真画像を修正する場合の表示画面の一例を示す図である。 写真画像が差し替えられて修正された場合の表示画面の一例を示す図である。 文字画像を修正する場合の表示画面の一例を示す図である。 修正の候補が表示された表示画面の一例を示す図である。 修正を受け付けた場合の表示画面の一例を示す図である。 この発明の他の実施形態に係る調理レシピ提供システムの構成を示すブロック図である。

以下、この発明の実施の形態を説明する。図１は、この発明の一実施形態に調理レシピ提供システムの外観を示す概略図である。図２は、図１に示す調理レシピ提供システムの構成を示すブロック図である。

図１および図２を参照して、調理レシピ提供システム１０は、調理者が調理したレシピを提供する調理レシピ提供システムである。調理レシピ提供システム１０は、情報を処理する情報処理装置としての印刷装置１１と、画像データ取得用ウェアラブル端末としてのメガネ型ウェアラブル端末３１と、動作データ取得用ウェアラブル端末としてのリストバンド型ウェアラブル端末４１とを含む。なお、動作としては、いわゆるジェスチャも含むものである。

ここでまず、印刷装置１１の構成について説明する。印刷装置１１は、印刷装置制御部１２と、操作部１３と、画像読み取り部１４と、印刷部としての画像形成部１５と、給紙カセット１６と、ハードディスク１７と、ネットワーク２０と接続するための印刷装置ネットワークインターフェース部１８と、受信部としての印刷装置通信部１９とを備える。

印刷装置制御部１２は、印刷装置１１全体の制御を行う。操作部１３は、印刷装置１１側から発信する情報やユーザーの入力内容を表示する表示画面２１を含む。表示画面２１は、タッチパネル型式であり、印刷装置１１の情報を表示すると共に、入力のインターフェースとなる。操作部１３は、印刷部数や階調等の画像形成の条件や電源のオンまたはオフをユーザーに入力させる。画像読み取り部１４は、セット位置にセットされた原稿を読み取り位置に搬送する原稿搬送装置としてのＡＤＦ（Ａｕｔｏ Ｄｏｃｕｍｅｎｔ Ｆｅｅｄｅｒ）２２を含む。画像読み取り部１４は、ＡＤＦ２２または不図示の載置台上にセットされた原稿の画像データを読み取る。給紙カセット１６は、複数設けられており、それぞれ複数枚の用紙をそれらの内部に収納可能である。画像形成部１５は、画像読み取り部１４により読み取られた画像データやネットワーク２０を介して送信された画像データを基に、給紙カセット１６から搬送されてきた用紙に画像を形成する。ハードディスク１７は、送信された画像データや入力された画像形成条件等の格納を行う。印刷装置通信部１９は、外部装置、具体的には、メガネ型ウェアラブル端末３１や、リストバンド型ウェアラブル端末４１との接続を行うためのインターフェースである。印刷装置１１は、印刷装置通信部１９を通じて、外部装置から通信時に送信された種々のデータや印刷要求の命令を受信する。

印刷装置１１は、画像読み取り部１４により読み取られた原稿の画像データを用いて画像形成部１５において画像を形成することにより、複写機として作動する。また、印刷装置１１は、ネットワーク２０に接続されたコンピューター（図示せず）等から送信された画像データを用いて、画像形成部１５において画像を形成して印刷することにより、プリンターとして作動する。

次に、メガネ型ウェアラブル端末３１の構成について説明する。メガネ型ウェアラブル端末３１は、印刷装置１１と通信可能であり、調理者に装着されて調理者の視界の情報を取得する。具体的には、メガネ型ウェアラブル端末３１は、頭部に装着されて、メガネ型ウェアラブル端末３１に設けられたレンズ越しに調理者によって見られた景色の情報を画像データとして取得する。

メガネ型ウェアラブル端末３１は、メガネ型ウェアラブル端末制御部３２と、メガネ型ウェアラブル端末記憶部３３と、画像データ取得部３４と、メガネ型ウェアラブル端末通信部３５と、タイマー３６とを備える。メガネ型ウェアラブル端末制御部３２は、メガネ型ウェアラブル端末３１全体の制御を行う。メガネ型ウェアラブル端末記憶部３３は、画像データや種々のデータを記憶する。画像データ取得部３４は、調理者の視界の情報を画像データとして取得する。画像データ取得部３４は、備え付けられたカメラ（図示せず）等により、料理の材料や調理器具を撮像することにより画像データを取得している。メガネ型ウェアラブル端末通信部３５は、画像データ取得部３４により取得された画像データを印刷装置１１に送信する。タイマー３６は、例えば、画像データを取得した時間等、種々の時間を計測する。

次に、リストバンド型ウェアラブル端末４１の構成について説明する。リストバンド型ウェアラブル端末４１は、印刷装置１１と通信可能であり、調理者に装着されて調理者の動作の情報を取得する。具体的には、リストバンド型ウェアラブル端末４１は、調理者の腕に装着されて、調理時における調理者の腕の振動や定期的なリズムといった動作の情報を動作データとして取得する。なお、必要に応じて、リストバンド型ウェアラブル端末４１は、二つ準備して、右腕と左腕の双方に装着するようにしてもよい。

リストバンド型ウェアラブル端末４１は、リストバンド型ウェアラブル端末制御部４２と、リストバンド型ウェアラブル端末記憶部４３と、動作データ取得部４４と、リストバンド型ウェアラブル端末通信部４５と、タイマー４６とを備える。リストバンド型ウェアラブル端末制御部４２は、リストバンド型ウェアラブル端末４１全体の制御を行う。リストバンド型ウェアラブル端末記憶部４３は、動作データや種々のデータを記憶する。動作データ取得部４４は、調理者の動作の情報を動作データとして取得する。動作データ取得部４４は、備え付けられた振動センサー（図示せず）等により、調理者の腕の上下動の動作データや回転運動の動作データを取得する。リストバンド型ウェアラブル端末通信部４５は、動作データ取得部４４により取得された動作データを印刷装置１１に送信する。タイマー４６は、例えば、動作データの検知を開始した時間や検知を終了した時間等、種々の時間を計測する。

次に、印刷装置制御部１２の構成について説明する。図３は、印刷装置制御部１２の構成を示すブロック図である。図３を参照して、印刷装置制御部１２は、調理レシピ生成部２４と、ターム開始動作検知部２５と、ターム終了動作検知部２６と、修正受け付け部２７とを備える。

調理レシピ生成部２４は、印刷装置通信部１９により受信した画像データ、および動作データから、調理レシピを生成する。調理レシピ生成部２４は、調理動作判別部２８を含む。調理動作判別部２８は、印刷装置通信部１９により同じ所定の時間内に受信した画像データ、および動作データから調理者の調理動作を判別する。なお、調理レシピの生成の詳細については、後述する。

ターム開始動作検知部２５は、印刷装置通信部１９により受信された動作データが、調理の一連の区切りであるタームの開始の動作であるか否かを検知する。ターム終了動作検知部２６は、ターム開始動作検知部２５によりタームの開始の動作であると検知した後、印刷装置通信部１９により受信された動作データが、タームの終了の動作であるか否かを検知する。なお、タームについては、例えば、「食材を切る」とか、「食材をゆでる」といった単位で区切られるものである。また、調理は、複数のタームによって構成されており、全てのタームが終了した時点で、料理が完成したことになる。

修正受け付け部２７は、調理レシピ生成部２４により生成された調理レシピの修正を受け付ける。修正受け付け部２７は、修正の候補を表示する修正候補表示部２９を含む。修正受け付け部２７は、修正候補表示部２９により表示された候補の中から選択された候補に修正する。これについては、後述する。

次に、この発明の一実施形態に係る調理レシピ提供システム１０を用いて、調理レシピを生成して提供する場合について説明する。調理レシピを生成して提供する流れについては、大きく分けると二つのフェーズから構成されている。まず、調理レシピを生成する際の各種のデータの取得の流れについて説明する。この流れについては、種々のデータを取得する第一のフェーズとなるデータ取得フェーズとなる。

図４は、調理レシピ提供システム１０を用いて調理レシピを生成する際の各種のデータを取得する場合の処理の流れを示すフローチャートである。図４を参照して、まず、印刷装置通信部１９と、メガネ型ウェアラブル端末通信部３５、およびリストバンド型ウェアラブル端末通信部４５の各々との通信を開始して、メガネ型ウェアラブル端末３１、リストバンド型ウェアラブル端末４１の双方からのデータの取得を開始する（図４において、ステップＳ１１、以下、「ステップ」を省略する）。

そして、ターム開始動作検知部２５は、ターム開始を検知したか否かを判断する（Ｓ１２）。図５は、タームの開始および終了の動作を示す概念図である。図５を参照して、ターム開始の動作としては、調理者５１による手を叩く動作とする。手を叩く動作は、動作データ取得部４４により取得され、印刷装置通信部１９に送信される。ターム開始動作検知部２５は、調理者５１の手を叩く動作を検知すれば、タームの開始を検知する（Ｓ１２において、ＹＥＳ）。なお、ここでは、調理者５１による手の叩く動作をメガネ型ウェアラブル端末３１において撮影し、画像データ取得部３４により画像データとして取得することでも、タームの開始を検知することとしている。また、タームを終了する動作についても、調理者５１による手を叩く動作としてもよい。すなわち、ターム終了動作検知部２６は、ターム開始動作検知部２５によりタームの開始の動作であると検知した後、印刷装置通信部１９により受信された動作データが手を叩く動作であれば、タームの終了の動作であることを検知する。こうすることにより、二回の手を叩く動作の間に取得した画像データおよび動作データを、そのタームにおいて取得した画像データおよび動作データとして認識することができる。また、このような手を叩く動作については、調理者５１が実際の調理時にほぼ行わない動作であるため、より明確にタームの開始と終了とを検知することができる。なお、タームの開始時は、手を一回だけ叩く動作とし、タームの終了時には手を二回叩く動作とする等、タームの開始時とタームの終了時における手を叩く回数を変更することにしてもよい。

このようにして、印刷装置１１は、このタームにおけるメガネ型ウェアラブル端末３１、およびリストバンド型ウェアラブル端末４１からのデータを取得する（Ｓ１３）。図６は、画像データ取得部３４により取得される画像データの一例を示す図である。図６を参照して、例えば、調理者５１によって見られた食材５２として「にんじん」が撮影される。そうすると、メガネ型ウェアラブル端末３１に備えられる画像データ取得部３４により、撮影された画像が画像データとして取得される。また、調理者５１の行っている調理状況５３として「鍋」で「かきまぜる調理器具」により調理されている状況が撮影される。そうすると、メガネ型ウェアラブル端末３１に備えられる画像データ取得部３４により、撮影された画像が画像データとして取得される。この撮影については、例えば、メガネ型ウェアラブル端末３１に備えられた図示しないスイッチやシャッターを押下して行われる。その後、印刷装置通信部１９は、画像データ取得部３４により取得され、メガネ型ウェアラブル端末通信部３５によって送信された画像データを受信する。なお、調理に要する機材についても、適用させることができる。すなわち、機材として、ガスコンロの数、作業場、いわゆるキッチンのスペース、お皿の数、フライパンの数といった情報も画像データとして取得して、調理レシピを生成する際に利用する。

図７は、動作データ取得部４４により取得される動作データの一例を示す図である。図７を参照して、例えば、調理者５１の行っている調理動作５４として「包丁によって切られる動作」に起因する腕の上下動の動作が検知される。そうすると、リストバンド型ウェアラブル端末４１に備えられる動作データ取得部４４により、検知された動作が動作データとして取得される。また、調理者５１の行っている調理動作５５として「篩にかける動作」に起因した定期的な腕の左右方向や上下方向の動作が検知される。そうすると、リストバンド型ウェアラブル端末４１に備えられる動作データ取得部４４により、検知された動作が動作データとして取得される。この検知についても、例えば、リストバンド型ウェアラブル端末４１に備えられた図示しないスイッチ等を押下して検知させる。その後、印刷装置通信部１９は、動作データ取得部４４により取得され、リストバンド型ウェアラブル端末通信部４５によって送信された動作データを受信する。

図８は、調理動作のデータを取得する場合を示す図である。図８を参照して、調理動作として、例えば、たまねぎをみじん切りにする調理動作５６の場合、メガネ型ウェアラブル端末３１における画像データ取得部３４においては、調理者５１によって見られた食材としての「たまねぎ」の画像および調理器具としての「包丁」の画像が画像データとして取得される。そして、リストバンド型ウェアラブル端末４１における動作データ取得部４４においては、調理者５１による「みじん切り」を行う時に生じる定期的に上下動される腕の動作が動作データとして取得される。

このようにしてメガネ型ウェアラブル端末３１、およびリストバンド型ウェアラブル端末４１から画像データおよび動作データを取得した後、タームの終了を検知すれば（Ｓ１４において、ＹＥＳ）、一連のこのタームにおけるデータ取得を終了する（Ｓ１５）。このデータ取得を、全てのタームについて行う。そして、完成された料理の画像データを取得し、調理の完成の情報を検知すれば（Ｓ１６において、ＹＥＳ）、メガネ型ウェアラブル端末３１、およびリストバンド型ウェアラブル端末４１からのデータの取得を終了する（Ｓ１７）。なお、調理の完成の情報については、上記した手を叩く動作の検知等であってもよい。

次に、取得したデータから調理レシピを生成する際の処理の流れについて説明する。この流れについては、取得したデータから調理レシピを生成する調理レシピ生成フェーズとなる。

図９は、取得したデータから調理レシピを生成する際の処理の流れを示すフローチャートである。図９を参照して、ターム毎に取得した画像データおよび動作データから、調理レシピ生成部２４は、調理レシピを生成する（Ｓ２１）。

この場合、調理動作判別部２８は、印刷装置通信部１９により同じ所定の時間内に受信した画像データ、および動作データから調理者５１の調理動作を判別する。具体的には、ある一定のリズムでの腕の上下動の動作を検知して材料を切るといった動作と判別する。そして、その時に取得した画像データが、食材としての「肉」と調理器具としての「包丁」であれば、調理器具としての「包丁」を用いて食材としての「肉」を、調理動作として「材料を切る」という調理動作として判別する。

なお、材料の特定として、例えば、予め撮影され、ハードディスク１７に格納された材料の画像データと、画像データ取得部３４により取得した画像データとをマッチングさせて、その時にどの材料を使用して調理を行っているのかを判断するようにしてもよい。なお、各タームについては、撮影した画像データのうちの一つをランダムに抽出して、そのタームの代表の画像として調理レシピを生成する。

そして、全てのタームについて、調理レシピが生成されれば（Ｓ２２において、ＹＥＳ）、生成された調理レシピを表示する（Ｓ２３）。この場合、印刷装置１１に備えられる表示画面２１に表示する。

図１０は、表示画面２１に表示された調理レシピの情報の一例を示す図である。図１０を参照して、表示画面２１には、完成された料理の写真画像６１と、「準備する食材」に関する文字画像６２と、「準備する機材」に関する文字画像６３と、「手順」として最初の手順である手順１の文字画像６４および写真画像６５と、次の手順である手順２の文字画像６６および写真画像６７とが示されている。調理者５１は、この表示画面２１に表示された内容を見て、調理レシピが正しく生成されているかを確認する。

次に、生成された調理レシピの内容を修正する場合について説明する。調理者は、表示画面２１に表示された生成された調理レシピの内容を見て、内容を修正したい場合、修正を行う（Ｓ２４において、ＹＥＳ）。この場合、具体的には、修正する箇所にある画像をタッチして指定する。

調理者は、写真画像６５を別のものに差し替えて修正しようとする場合、写真画像６５をタッチする。そうすると、修正受け付け部２７は、調理レシピの修正を受け付ける。そして、修正候補表示部２９は、修正の候補を表示する。

図１１は、写真画像６５を修正する場合の表示画面２１の一例を示す図である。図１１を参照して、表示画面２１には、完成した料理の写真画像６１の他に、写真画像６５のタッチ時において、吹き出し６８が表示されている。そして、吹き出し６８の中には、写真画像６５と、たまねぎをみじん切りした状態を撮影した写真画像６９とが表示されている。この写真画像６９については、写真画像６５と同一のターム内で撮影されたものである。その他の候補の写真画像については、表示を割愛する。

調理者は、写真画像６９を、手順１を示す画像として適切であると考えた場合、写真画像６９をタッチして指定する。そうすると、手順１を示す画像として写真画像６９が選択され、差し替えられる。

図１２は、写真画像６５が差し替えられて修正された場合の表示画面２１の一例を示す図である。図１２を参照して、表示画面２１には、写真画像６１、６７と、文字画像６２、６３、６４、６６の他に、写真画像６５と差し替えられて写真画像６９が示されている。このようにして修正を反映させる（Ｓ２５）。

なお、修正については、塩と砂糖等、画像として区別がつきにくい場合には、確認を促すメッセージを表示画面２１に表示するようにしてもよい。さらに、食材や調理器具等の判別において判別がつきにくい場合、以下のようにしてもよい。図１３は、文字画像を修正する場合の表示画面２１の一例を示す図である。

図１３を参照して、表示画面２１には、「準備する食材」として、縦方向に並べられた「・薄力粉」、「・水」、「・キャベツ」の文字画像７１が示されている。また、「・薄力粉」の表示の横には、矢印が表示されている。そして、「・薄力粉」の表示の横に、「チェック！」と示された押下キー７２が表示されている。この押下キー７２については、調理レシピ生成部２４により調理レシピとして画像データや動作データから一旦「薄力粉」と判別して抽出したが、他の食材と判別がつきにくいものと判断され、表示されるものである。

そうすると、調理者は、この「チェック！」と表示された押下キー７２をタッチする。このタッチを検知すると、修正候補表示部２９は、修正の候補を表示する。

図１４は、修正の候補が表示された表示画面２１の一例を示す図である。図１４を参照して、表示画面２１には、文字画像７３の横に、修正の候補欄７４が表示される。なお、文字画像７３において、「・薄力粉」の文字の横に「修正中」との表示がなされる。これにより、どの文字を修正しているか否かを容易に認識することができる。また、修正の候補欄７４には、既に選択がなされている「薄力粉（選択）」の他に、同じ白色の粉末状の食材として「中力粉」という表示、「強力粉」という表示、そして、「その他」という表示がなされている。すなわち、判別がつきにくい他の食材を候補として選択可能に表示されている。

調理者は、調理レシピ生成部２４により生成された「薄力粉」が「強力粉」の誤りであった場合、「強力粉」を選択して、修正を行う。修正受け付け部２７は、この修正を受け付ける。

図１５は、修正を受け付けた場合の表示画面２１の一例を示す図である。図１５を参照して、表示画面２１には、「準備する食材」として、縦方向に並べられた「・強力粉」、「・水」、「・キャベツ」との文字画像７５が示されている。この文字画像７５については、「薄力粉」を「強力粉」として修正されたものである。このようにして修正を行い、修正を反映させる（Ｓ２５）。

そして、修正を反映後、完成した調理レシピを印刷する（Ｓ２６）。修正がなかった場合には、（Ｓ２４において、ＮＯ）、生成して表示した調理レシピを印刷する。この場合、印刷部としての画像形成部１５を利用して用紙に調理レシピを印刷し、出力する。

このような調理レシピ提供システム１０によれば、メガネ型ウェアラブル端末３１により取得された調理者の視界の画像データ、およびリストバンド型ウェアラブル端末４１により取得された調理者の動作データを印刷装置１１が受信して調理レシピを生成し、出力することとしている。このように生成された調理レシピは、調理者の実際の動作を取得し、実際に調理者の見た画像を基にして生成されているため、より精度のよいものである。また、調理者は、メガネ型ウェアラブル端末３１、およびリストバンド型ウェアラブル端末４１を装着して実際に調理を行うのみでよい。したがって、このような調理レシピ提供システム１０は、より容易に、かつ、精度よく調理レシピを生成して提供することができる。

この発明に係る調理レシピ提供システム１０は、特に、オリジナルの料理、すなわち、調理レシピとして存在しない料理を行う場合に、実際に料理を行うのみでよいため、より容易に、調理者の望む調理レシピを生成して提供することができる。特に調理実習や料理教室といった教育現場において事前準備としての試行として調理することで、上記した調理レシピの生成することができるため、このような状況で使用されることが好適である。そして、火加減や煮込み具合といった言葉では表現しにくいものが写真画像で掲載されるよう調理レシピが生成されるため、より具体的な調理レシピを生成することができる。

この場合、調理の一連の区切りとなるタームの単位で調理レシピを生成するので、調理レシピを効率的に生成することができる。また、この場合、タームの開始および終了の動作を認識しやすい明確な動作とすることで、タームの開始を容易に認識して、精度の高い調理レシピを生成することができる。

また、調理レシピ生成部２４は、印刷装置通信部１９により同じ所定の時間内に受信した画像データ、および動作データから調理者の調理動作を判別する調理動作判別部２８を含むため、取得した画像データ、および取得した動作データの双方から調理レシピを生成して、さらに精度よく調理レシピを生成することができる。

また、この場合、調理レシピ生成部２４により生成された調理レシピの修正を受け付ける修正受け付け部２７を備えるため、調理者の修正による精度の高い調理レシピを生成することができる。さらに、修正受け付け部は、修正の候補を表示する修正候補表示部を含むため、調理者によるレシピの修正を容易に行うことができる。

なお、画像データ取得部３４は、定期的に調理者の視界の画像データを撮影して画像データを取得するように構成してもよい。こうすることにより、調理レシピを生成する上で重要度の高い時系列を明確にして、精度よく調理レシピを生成することができる。

また、メガネ型ウェアラブル端末３１およびリストバンド型ウェアラブル端末４１のうちの少なくともいずれか一方は、調理者による調理時の音声の情報を音声データとして取得する音声データ取得部を備える構成としてもよい。

図１６は、この場合の調理レシピ提供システムの構成を示すブロック図である。図１６は、図２に対応するものであり、図２に示す構成と同様の構成については、同一の符号を付して、それらの説明を省略する。

図１６を参照して、この発明の他の実施形態に係る調理レシピ提供システム７６に備えられるリストバンド型ウェアラブル端末７７は、音声のデータを取得する音声データ取得部７８を備える。そして、印刷装置通信部１９は、音声データ取得部７８により取得された音声データを受信し、調理レシピ生成部２４は、印刷装置通信部１９により受信された音声データから、調理レシピを生成する。こうすることにより、音声データも踏まえて調理レシピを生成するため、より精度の高い調理レシピを生成することができる。

特に、画像データでは見極めの難しい食材や調理器具を判別する場合、調理者の声により食材の名前や調理器具の名前を発して、音声データとして取得するようにする。そして、音声データも併せた上で、調理レシピを生成する。こうすることにより、より精度よく調理レシピを生成することができる。

なお、上記の実施の形態において、ターム開始動作検知部２５およびターム終了動作検知部２６のうちの少なくともいずれか一方は、調理者の手を叩く動作を検知すれば、タームの開始または終了を検知するよう構成してもよい。また、上記の実施の形態において、ターム開始動作検知部２５およびターム終了動作検知部２６は、それぞれ異なる動作をタームの開始またはタームの終了として検知することにしてもよい。

また、上記の実施の形態において、情報処理装置として印刷装置１１を適用することとしたが、これに限らず、情報処理装置として、印刷部を含まず、情報を処理する装置を採用することにしてもよい。また、画像データを上記した印刷装置１１に備えられるＡＤＦ２２にセットし、画像読み取り部１４により読み取らせて取得させ、この取得された画像データを調理レシピの生成に反映させることにしてもよい。具体的には、予め使用する食材や調理器具、機材に関する画像データを用紙により準備しておき、画像読み取り部１４により読み取らせることとする。このように構成することにより、判別が難しい食材等の判別を精度よく行うことができ、生成される調理レシピの精度を高めることができる。

なお、調理レシピ生成部２４は、画像データ取得部３４により取得された機材の画像データを踏まえ、作業場に応じた手順となるよう、手順を入れ替え可能な構成としてもよい。こうすることにより、より最適な調理レシピを生成することができる。この場合、タームの最初に取得した機材の情報に応じて、手順を入れ替えるようにしてもよい。

また、調理レシピ生成部２４は、画像データ取得部３４、および動作データ取得部４４等により取得した種々のデータを基に、作業手順書、すなわち、料理に限らない作業手順書を生成することにしてもよい。こうすることにより、より汎用性の高い出力を提供することができる。

なお、調理者が生成された調理レシピのマージを行う際に調理レシピのマージを受け付け、調理レシピ提供システム１０、７６は、これを参考解答例として学習させるよう提供することにしてもよい。

また、上記の実施の形態において、修正受け付け部２７による修正や生成された料理レシピの編集について、調理者に限らず、他の者、例えば、料理を食べる者等に応じて、編集可能な構成としてもよい。具体的には、料理を食べる人に合わせた調味料の分量や調理後に追加しておくべきと気付いた食材の追加等の編集を実行可能な構成としてもよい。

今回開示された実施の形態はすべての点で例示であって、どのような面からも制限的なものではないと理解されるべきである。本発明の範囲は上記した説明ではなく、特許請求の範囲によって規定され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

この発明に係る調理レシピ提供システムは、より容易であって、かつ、精度のよい調理レシピの生成の提供が要求される場合に、特に有効に利用される。

１０，７６ 調理レシピ提供システム、１１ 印刷装置、１２ 印刷装置制御部、１３ 操作部、１４ 画像読み取り部、１５ 画像形成部、１６ 給紙カセット、１７ ハードディスク、１８ 印刷装置ネットワークインターフェース部、１９ 印刷装置通信部、２０ ネットワーク、２１ 表示画面、２２ ＡＤＦ、２４ 調理レシピ生成部、２５ ターム開始動作検知部、２６ ターム終了動作検知部、２７ 修正受け付け部、２８ 調理動作判別部、２９ 修正候補表示部、３１ メガネ型ウェアラブル端末、３２ メガネ型ウェアラブル端末制御部、３３ メガネ型ウェアラブル端末記憶部、３４ 画像データ取得部、３５ メガネ型ウェアラブル端末通信部、３６ タイマー、４１，７７ リストバンド型ウェアラブル端末、４２ リストバンド型ウェアラブル端末制御部、４３ リストバンド型ウェアラブル端末記憶部、４４ 動作データ取得部、４５ リストバンド型ウェアラブル端末通信部、５１ 調理者、５２ 食材、５３ 調理状況、５４，５５，５６ 調理動作、６１，６２，６３，６４，６５，６６，６７，６９，７１，７３，７５ 画像、６８ 吹き出し、７２ 押下キー、７４ 候補欄、７８ 音声データ取得部。

Claims (9)

1. 調理者が調理したレシピを提供する調理レシピ提供システムであって、
   情報を処理する情報処理装置と、
   前記情報処理装置と通信可能であり、前記調理者に装着されて前記調理者の視界の情報を取得する画像データ取得用ウェアラブル端末と、
   前記情報処理装置と通信可能であり、前記調理者に装着されて前記調理者の動作の情報を取得する動作データ取得用ウェアラブル端末とを含み、
   前記画像データ取得用ウェアラブル端末は、
   前記調理者の視界の情報を画像データとして取得する画像データ取得部と、
   前記画像データ取得部により取得された前記画像データを前記情報処理装置に送信する画像データ取得用ウェアラブル端末送信部とを備え、
   前記動作データ取得用ウェアラブル端末は、
   前記調理者の動作の情報を動作データとして取得する動作データ取得部と、
   前記動作データ取得部により取得された前記動作データを前記情報処理装置に送信する動作データ取得用ウェアラブル端末送信部とを備え、
   前記情報処理装置は、
   前記画像データ取得用ウェアラブル端末送信部により送信された前記画像データ、および前記動作データ取得用ウェアラブル端末送信部により送信された前記動作データを受信する受信部と、
   前記受信部により受信した前記画像データ、および前記動作データから、前記調理レシピを生成する調理レシピ生成部と、
   前記調理レシピ生成部により生成された前記調理レシピを出力する出力部と、
   前記調理レシピ生成部により生成された前記調理レシピの修正を受け付ける修正受け付け部と、
   前記受信部により受信された前記動作データが、前記調理の一連の区切りであるタームの開始の動作であるか否かを検知するターム開始動作検知部と、
   前記ターム開始動作検知部により前記タームの開始の動作であると検知した後、前記受信部により受信された前記動作データが、前記タームの終了の動作であるか否かを検知するターム終了動作検知部とを備え、
   前記画像データ取得用ウェアラブル端末は、前記調理者の頭部に装着されるメガネ型ウェアラブル端末を含み、
   前記動作データ取得用ウェアラブル端末は、前記調理者の腕に装着されるリストバンド型ウェアラブル端末を含み、
   前記ターム開始動作検知部および前記ターム終了動作検知部のうちの少なくともいずれか一方は、前記調理者の手を叩く動作を検知すれば、前記タームの開始または終了を検知し、
   前記調理レシピ生成部は、全ての前記タームについてデータ取得を行った後に前記調理レシピを生成し、
   前記修正受け付け部は、前記修正の候補を表示する修正候補表示部を含み、
   前記修正受け付け部は、完成された料理の写真画像、準備する食材に関する文字画像、準備する機材に関する文字画像、最初の手順の文字画像および写真画像、および次の手順の文字画像および写真画像を表示して修正を受け付け、
   前記修正受け付け部は、準備する食材の確認を促すキーを表示し、
   前記修正候補表示部は、前記キーの押下を検知すると、修正の候補を文字画像で縦方向に並べて表示する、調理レシピ提供システム。
2. 前記調理レシピ生成部は、前記受信部により同じ所定の時間内に受信した前記画像データ、および前記動作データから前記調理者の調理動作を判別する調理動作判別部を含む、請求項１に記載の調理レシピ提供システム。
3. 前記出力部は、用紙に印刷して前記調理レシピを出力する印刷部を含む、請求項１または２に記載の調理レシピ提供システム。
4. 前記画像データ取得用ウェアラブル端末、および前記動作データ取得用ウェアラブル端末のうちの少なくともいずれか一方は、時間データを取得する時間データ取得部を備える、請求項１〜３のいずれか１項に記載の調理レシピ提供システム。
5. 前記画像データ取得部は、定期的に前記調理者の視界の画像データを撮影して前記画像データを取得する、請求項１〜４のいずれか１項に記載の調理レシピ提供システム。
6. 前記画像データ取得用ウェアラブル端末および前記動作データ取得用ウェアラブル端末のうちの少なくともいずれか一方は、前記調理者による調理時の音声の情報を音声データとして取得する音声データ取得部を備え、
   前記受信部は、前記音声データ取得部により取得された前記音声データを受信し、
   前記調理レシピ生成部は、前記受信部により受信された前記音声データから、前記調理レシピを生成する、請求項１〜５のいずれか１項に記載の調理レシピ提供システム。
7. 前記情報処理装置は、用紙の画像データを読み取る画像読み取り部を備え、
   前記調理レシピ生成部は、前記画像読み取り部により読み取られた画像データを基に、前記調理レシピを生成する、請求項１〜６のいずれか１項に記載の調理レシピ提供システム。
8. 前記調理レシピ生成部は、前記画像データ取得部および前記動作データ取得部のうちの少なくともいずれか一方により取得した種々のデータを基に、料理に限らない作業手順書を生成する、請求項１〜７のいずれか１項に記載の調理レシピ提供システム。
9. 前記調理レシピ提供システムは、調理者が生成された調理レシピのマージを行う際に調理レシピのマージを受け付けて提供する、請求項１〜８のいずれか１項に記載の調理レシピ提供システム。

Images