JP6898803B2 - 表示装置、表示方法及びプログラム - Google Patents

Description

本開示は、表示装置、表示方法及びプログラムに関する。

従来、調理台に置かれた食材を撮影することで食材の種類を識別し、調理台に置かれた食材に調理レシピから決定した調理方法（例えば切り方）を示すガイダンス画像を重畳する技術が開示されている（例えば特許文献１）。これにより、調理者は、食材に重畳されたガイダンス画像を見ながら調理を行うことで、容易に調理をできるようになる。

特開２０１０−１９１７４５号公報

しかしながら、従来の表示装置では、ガイダンス画像を重畳可能な領域外に食材が存在している場合、当該食材にガイダンス画像を重畳して表示することができず、調理者の調理行動を補助することができなかった。

本開示は、上記の課題を解決するためになされたものであり、重畳可能な領域外に食材が存在している場合であっても調理者の調理行動を補助することができる表示装置、表示方法及びプログラムを提供することを目的とするものである。

本開示の一態様に係る表示装置は、調理者の調理行動を補助するための第１画像を表示する表示部と、カメラから得られる撮影画像に基づく、調理対象の食材の認識結果を取得する取得部と、前記認識結果の示す認識された食材が、前記表示部が表示可能な領域のうち、前記第１画像を前記認識された食材に重畳可能な領域内に存在しているか否かを判定する判定部と、前記表示部に、（ｉ）前記認識された食材が前記重畳可能な領域内に存在していると前記判定部が判定した場合、前記認識された食材に前記第１画像を重畳させ、（ｉｉ）前記認識された食材が前記重畳可能な領域内に存在していないと前記判定部が判定した場合、前記カメラから得られる前記撮影画像に映る前記認識された食材に基づいて生成される第２画像を表示させ、前記第２画像に前記第１画像を重畳させる表示制御部と、を備える。

なお、これらの包括的又は具体的な側面は、システム、装置、方法、記録媒体、又は、コンピュータプログラムで実現されてもよく、システム、装置、方法、記録媒体、及び、コンピュータプログラムの任意な組み合わせで実現されてもよい。

本開示の一態様に係る表示装置、表示方法及びプログラムによれば、重畳可能な領域外に食材が存在している場合であっても調理者の調理行動を補助することができる。

実施の形態１における表示装置の概略を示す図である。 実施の形態１における表示装置の構成の一例を示す図である。 撮影可能な領域の一例を示す図である。 表示可能な領域及び重畳可能な領域の一例を示す図である。 実施の形態における表示装置の動作の一例を示すフローチャートである。 実施の形態１における食材に重畳された第１画像の一例を示す図である。 実施の形態１における第２画像に重畳された第１画像の一例を示す図である。 実施の形態１における食材に重畳された第１画像の他の一例を示す図である。 実施の形態１における第２画像に重畳された第１画像の他の一例を示す図である。 撮影可能な領域の外縁及び重畳可能な領域の外縁の一例を示す図である。 実施の形態２における縮小処理された第２画像の一例を示す図である。 実施の形態３における切り方を示す画像の一例を示す図である。

（本発明の基礎となった知見）
調理者の調理行動を補助するための画像を重畳して表示するためのプロジェクタが固定して設置されている場合に、重畳可能な領域外に食材が存在しているときには、調理者は調理行動の補助を受けるために食材を重畳可能な領域内に移動させる必要がある。しかし、調理台におけるスペースの都合上、食材を重畳可能な領域内に移動させられないことがある。また、当該プロジェクタがポータブル装置の場合であっても、調理台におけるスペースの都合上、食材が重畳可能な領域内に含まれるように、プロジェクタを移動させられないことがある。

また、食材に重畳された調理者の調理行動を補助するための画像を邪魔に感じるため、重畳可能な領域外に食材を置いて調理をしたいが、当該画像の食材への重畳に依らない調理行動の補助を受けたいという調理者もいる。

このような課題を解決するために、本開示の表示装置は、調理者の調理行動を補助するための第１画像を表示する表示部と、カメラから得られる撮影画像に基づく、調理対象の食材の認識結果を取得する取得部と、前記認識結果の示す認識された食材が、前記表示部が表示可能な領域のうち、前記第１画像を前記認識された食材に重畳可能な領域内に存在しているか否かを判定する判定部と、前記表示部に、（ｉ）前記認識された食材が前記重畳可能な領域内に存在していると前記判定部が判定した場合、前記認識された食材に前記第１画像を重畳させ、（ｉｉ）前記認識された食材が前記重畳可能な領域内に存在していないと前記判定部が判定した場合、前記カメラから得られる前記撮影画像に映る前記認識された食材に基づいて生成される第２画像を表示させ、前記第２画像に前記第１画像を重畳させる表示制御部と、を備える。

これによれば、食材が重畳可能な領域内に存在している場合、食材に調理者の調理行動を補助するための第１画像が重畳して表示され、食材が重畳可能な領域内に存在していない場合、第２画像に第１画像が重畳して表示される。したがって、食材が重畳可能な領域内に存在していなくても、調理者はカメラから得られる撮影画像に映る食材に基づいて生成される第２画像（例えば写真又はコンピュータグラフィックス画像等）に重畳している第１画像を見ながら調理を行うことができる。よって、重畳可能な領域外に食材が存在している場合であっても調理者の調理行動を補助することができる。

また、前記表示部は、プロジェクタを含んでいてもよい。

これによれば、プロジェクタによって、容易に第１画像を食材または第２画像に重畳させることができる。このため、調理行動をユーザに直観的に把握させることが可能となる。

また、表示部は、プロジェクタおよびディスプレイを含み、前記表示制御部は、前記（ｉ）の場合、前記プロジェクタに、前記認識された食材に前記第１画像を重畳させ、前記（ｉｉ）の場合、前記ディスプレイに、前記第２画像に前記第１画像が重畳させられた画像を表示させてもよい。

これによれば、プロジェクタによって、容易に第１画像を食材に重畳させることができ、また、ディスプレイによって、容易に第２画像に第１画像が重畳させられた画像を表示できる。このため、プロジェクタで第１画像を投影できない場合であっても、第１画像をユーザに提示することが可能となる。

また、前記表示制御部は、前記表示部が前記認識された食材に前記第１画像を重畳した後に、前記認識された食材が前記重畳可能な領域内に存在しないと前記判定部が判定した場合、前記第２画像に前記第１画像を重畳させ、前記表示部が前記第２画像に前記第１画像を重畳した後に、前記認識された食材が前記重畳可能な領域内に存在すると前記判定部が判定した場合、前記認識された食材に前記第１画像を重畳させてもよい。

これによれば、食材が重畳可能な領域内から重畳可能な領域外に移動されたり、重畳可能な領域外から重畳可能な領域内に移動されたりした場合に、食材に第１画像を重畳するか、第２画像に第１画像を重畳するかを切り替えることができる。したがって、調理者は、調理中に重畳可能な領域内及び重畳可能な領域外の一方から他方へと食材を移動させることで、第１画像を重畳させる対象を食材と第２画像とで切り替えることができる。例えば、食材に重畳された第１画像を邪魔に感じる場合には食材を重畳可能な領域内から重畳可能な領域外へ移動させることで、第２画像に重畳された第１画像による調理行動の補助を受けることができ、また、食材を重畳可能な領域外から重畳可能な領域内へ移動させることで、食材に重畳された第１画像による調理行動の補助を受けることができる。

また、前記第２画像は、前記カメラの撮影により得られる前記認識された食材の写真であってもよい。

これによれば、第２画像として、これから調理しようとしている実際の食材の写真に第１画像が重畳されるため、調理者は、第１画像が示す調理行動の補助を実際の食材に適用しやすくなる。

また、前記第２画像は、前記認識された食材を示すコンピュータグラフィックス画像であってもよい。

これによれば、第２画像として、これから調理しようとしている実際の食材を示すコンピュータグラフィックス画像に第１画像が重畳されるため、調理者は、第１画像が示す調理行動の補助を実際の食材に適用しやすくなる。

また、前記第２画像の表示サイズは、前記認識された食材のサイズと同等であってもよい。

これによれば、これから調理しようとしている実際の食材と同等の表示サイズの第２画像に第１画像が重畳されるため、調理者は、第１画像が示す調理行動の補助を実際の食材に適用しやすくなる。

また、前記判定部は、さらに、前記認識された食材が、前記表示可能な領域内に存在するか否かを判定し、前記表示制御部は、前記認識された食材が前記表示可能な領域内に存在しないと前記判定部が判定した場合で、前記認識された食材の位置と前記表示可能な領域であって前記認識された食材に近い側の端部との距離が所定の距離よりも短いときには、前記表示部に、前記表示可能な領域における前記端部の近傍に、前記第１画像に基づく画像を表示させてもよい。

これによれば、食材が表示部の表示可能な領域内に存在していない場合に、食材の位置と表示可能な領域の食材の位置側の端部との距離が所定の距離（例えば５ｃｍ等）よりも短いときには、表示可能な領域における当該端部の近傍（つまり、食材の近傍）に第１画像に基づく画像が表示される。したがって、調理者は、食材の近傍に表示される第１画像に基づく画像に合わせて調理をより正確に行うことができる。

また、前記第１画像に基づく画像は、前記認識された食材の切り方を示す画像を含んでいてもよい。

これによれば、調理者は、食材の近傍に表示される第１画像に基づく画像として、食材の切り方を示す画像に合わせて、カット等の調理をより正確に行うことができる。

また、前記表示部は、さらに、前記カメラが撮影可能な領域の外縁、及び、前記重畳可能な領域の外縁を表示してもよい。

これによれば、カメラが撮影可能な領域の外縁が表示されるため、調理者はどこに食材を置けば食材を撮影できるかわかる。また、重畳可能な領域の外縁が表示されるため、調理者はどこに食材を置けば食材に重畳された第１画像、又は、第２画像に重畳された第１画像による調理行動の補助を受けることができるかわかる。

また、表示装置は、前記カメラと、前記カメラから得られる撮影画像に基づいて、調理対象の食材を認識する認識部と、を備えていてもよい。また、表示装置は、前記カメラと、前記カメラから得られた撮影画像をサーバへ送信し、前記認識結果を前記サーバから受信する通信部と、を備えていてもよい。

このように、表示装置は、自身で行った調理対象の食材の認識結果を取得してもよいし、外部のサーバによって行われた調理対象の食材の認識結果をサーバから取得してもよい。

また、本開示の表示方法は、調理者の調理行動を補助するための第１画像を表示する表示部を備える表示装置の表示方法であって、カメラから得られる撮影画像に基づく、調理対象の食材の認識結果を取得する取得ステップと、前記認識結果の示す認識された食材が、前記表示部が表示可能な領域のうち、前記第１画像を前記認識された食材に重畳可能な領域内に存在しているか否かを判定する判定ステップと、前記表示部に、（ｉ）前記認識された食材が前記重畳可能な領域内に存在していると前記判定ステップで判定した場合、前記認識された食材に前記第１画像を重畳させ、（ｉｉ）前記認識された食材が前記重畳可能な領域内に存在していないと前記判定ステップで判定した場合、前記カメラから得られる前記撮影画像に映る前記認識された食材に基づいて生成される第２画像を表示させ、前記第２画像に前記第１画像を重畳させる表示制御ステップと、を含む。

これによれば、重畳可能な領域外に食材が存在している場合であっても調理者の調理行動を補助することができる表示方法を提供できる。

また、本開示のプログラムは、調理者の調理行動を補助するための第１画像を表示する表示部を備える表示装置の動作を制御するプログラムであって、カメラから得られる撮影画像に基づく、調理対象の食材の認識結果を取得する取得ステップと、前記認識結果の示す認識された食材が、前記表示部が表示可能な領域のうち、前記第１画像を前記認識された食材に重畳可能な領域内に存在しているか否かを判定する判定ステップと、前記表示部に、（ｉ）前記認識された食材が前記重畳可能な領域内に存在していると前記判定ステップで判定した場合、前記認識された食材に前記第１画像を重畳させ、（ｉｉ）前記認識された食材が前記重畳可能な領域内に存在していないと前記判定ステップで判定した場合、前記カメラから得られる前記撮影画像に映る前記認識された食材に基づいて生成される第２画像を表示させ、前記第２画像に前記第１画像を重畳させる表示制御ステップと、を含む。

これによれば、重畳可能な領域外に食材が存在している場合であっても調理者の調理行動を補助することができるプログラムを提供できる。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
図１から図７を用いて、本開示の実施の形態１について説明する。

［１．表示装置の構成］
図１は、実施の形態における表示装置１００の概略を示す図である。

図１に示されるように、表示装置１００は、システムキッチン等に設けられる。表示装置１００は、例えば、調理台（図１に示されるまな板）に載置された食材の切り方等の調理方法を調理者に案内する装置であり、すなわち、調理者の調理行動を補助するための装置である。例えば、表示装置１００は、ポータブル装置であり、調理者の立ち位置側（図１の手前側）から見て、調理台よりも奥側に設置される。なお、表示装置１００は、ポータブル装置でなくてもよく、例えば、システムキッチン等に内蔵されていてもよい。

表示装置１００は、表示部２００とカメラ３００とを備える。

表示部２００は、調理台周辺に調理者の調理行動を補助するための第１画像を表示する。表示部２００は、例えば、プロジェクタを含み、プロジェクタによって第１画像を投影する。なお、表示部２００は、ディスプレイを含んでいてもよく、第１画像及び後述する第２画像をディスプレイに表示してもよい。カメラ３００は、調理台周辺における食材を撮影する。カメラ３００の調理台周辺の撮影により得られたデータに基づいて生成された画像が表示部２００から投影されることで、調理者は調理行動の補助（調理支援）を受けることができる。

なお、表示装置１００は、カメラ３００を備えていなくてもよく、カメラ３００は、表示装置１００とは別体に設けられていてもよい。

次に、表示装置１００の機能構成について図２を用いて説明する。

図２は、実施の形態１における表示装置１００の構成の一例を示す図である。

図２に示されるように、表示装置１００は、機能構成要素として、認識部１１０、取得部１２０、判定部１３０及び表示制御部１４０を備える。また、表示装置１００は、記憶部（図示せず）を備える。図２には示されていないが、表示装置１００は、例えば通信部（図示せず）を備え、有線又は無線により外部サーバや携帯端末等と通信可能である。認識部１１０、取得部１２０、判定部１３０及び表示制御部１４０は、例えば、記憶部に記憶されたプログラムを実行するプロセッサ等により実現されるが、マイクロコンピュータ又は専用回路等により実現されてもよい。

記憶部は、プログラム及びデータを保持しているＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラムの実行に際してデータ等の記憶に利用するためのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリである。また、記憶部は、調理レシピ、第１画像及び第２画像等を記憶する。第１画像は、調理者の調理行動を補助するための画像であり、例えば、食材をカットする際のガイド線を示す画像である。第１画像は、各調理レシピにおける食材の調理方法毎に記憶されている。具体的には、記憶部には、魚、野菜、肉等の様々な種類の食材毎に輪切り、乱切り、三枚おろし等の様々な切り方（調理方法）を表すガイド線を示す第１画像が記憶されている。例えば、これらの第１画像が食材に重畳されることで、調理者は、当該食材を容易に調理（カット等）することができる。第２画像は、カメラ３００から得られる撮影画像に映る認識された食材に基づいて生成される画像であり、例えば食材を示すコンピュータグラフィックス画像又は写真等であり、食材の種類毎に記憶される。具体的には、記憶部には、魚、野菜、肉等の様々な種類の食材を表すコンピュータグラフィックス画像又は写真等の第２画像が記憶される。

認識部１１０は、カメラ３００から得られる撮影画像に基づいて、調理対象の食材を認識する。調理対象の食材は、例えば、調理者等によって準備され、カメラ３００が撮影可能な領域内に載置される。例えば、認識部１１０は、カメラ３００による当該領域内の撮影により得られる撮影画像を画像認識することで、食材を認識する。このとき、認識部１１０は、食材の形状、色、模様、大きさ等に基づいて食材の種類を認識する。なお、カメラ３００が撮影可能な領域については、後述する図３Ａで説明する。

取得部１２０は、カメラ３００から得られる撮影画像に基づく、調理対象の食材の認識結果を取得する。取得部１２０は、例えば、認識部１１０の認識結果を取得する。なお、表示装置１００は、認識部１１０を備えていなくてもよい。この場合、表示装置１００は、カメラ３００から得られた撮影画像をサーバへ送信し、認識結果をサーバから受信する通信部を備えていてもよく、取得部１２０は、サーバから受信した認識結果を取得してもよい。

判定部１３０は、認識結果の示す認識された食材が、表示部２００が表示可能な領域のうち、第１画像を認識された食材に重畳可能な領域内に存在しているか否かを判定する。判定部１３０の動作の詳細については、後述する図４で説明する。また、表示可能な領域及び重畳可能な領域については、後述する図３Ｂで説明する。

表示制御部１４０は、判定部１３０の判定結果に応じて、表示部２００を制御する。具体的には、表示制御部１４０は、認識された食材が重畳可能な領域内に存在していると判定部１３０が判定した場合、表示部２００に、認識された食材に第１画像を重畳させる。また、表示制御部１４０は、認識された食材が重畳可能な領域内に存在していないと判定部１３０が判定した場合、表示部２００に、カメラ３００から得られる撮影画像に映る認識された食材に基づいて生成される第２画像を表示させ、第２画像に第１画像を重畳させる。表示制御部１４０の動作の詳細については、後述する図４から図５Ｂで説明する。

［２．撮影可能な領域、表示可能な領域及び重畳可能な領域］
次に、カメラ３００が撮影可能な領域、表示部２００が表示可能な領域及び重畳可能な領域について、図３Ａ及び図３Ｂを用いて説明する。

図３Ａは、撮影可能な領域３０１の一例を示す図である。図３Ｂは、表示可能な領域２０１及び重畳可能な領域２０２の一例を示す図である。図３Ｂには、表示可能な領域２０１及び重畳可能な領域２０２の他に撮影可能な領域３０１も示されている。なお、以降説明する図面も含めて、撮影可能な領域３０１、表示可能な領域２０１及び重畳可能な領域２０２にはハッチングが付されているが、実際にはこれらの領域にはこのようなハッチングは現れない。ただし、後述する図７で説明するが、調理者はこれらの領域の境界を認識し得る。

撮影可能な領域３０１に食材が載置され、カメラ３００が撮影可能な領域３０１を撮影することで、取得部１２０は、カメラ３００から得られる撮影画像に基づく、調理対象の食材の認識結果を取得できる。

表示可能な領域２０１は、例えば、表示部２００に含まれるプロジェクタによって画像等を投影できる領域である。例えば、図３Ｂに示されるように、表示可能な領域２０１は、撮影可能な領域３０１よりも狭く、撮影可能な領域３０１内にある。

重畳可能な領域２０２は、第１画像を食材に重畳可能な領域である。例えば、表示可能な領域２０１内であっても、食材と表示部２００との位置関係によっては、正確に第１画像を食材に重畳できない領域がある。したがって、重畳可能な領域２０２は、表示可能な領域２０１よりも狭くなっている。なお、表示可能な領域２０１と重畳可能な領域２０２とが一致していてもよい。

［３．表示装置の動作］
次に、実施の形態１における表示装置１００の動作について説明する。

図４は、実施の形態１における表示装置１００の動作の一例を示すフローチャートである。

図４に示されていないが、記憶部に記憶された調理レシピの中から調理者がこれから行う調理のレシピが決定されているとする。例えば、調理者が、表示装置１００が備える入力部又は携帯端末等に調理レシピを入力することで、調理レシピが決定されてもよい。また、例えば、表示部２００（プロジェクタ）は複数の調理レシピが記載された画像を調理台に投影し、調理者は投影された複数の調理レシピのうちこれから行う調理のレシピ上に手をかざす。そして、例えば認識部１１０は、カメラ３００により撮影された、調理者が調理レシピ上に手をかざしている画像に基づいて、投影された複数の調理レシピのうちのどの調理レシピに調理者が手をかざしているかを判定する。このように、調理者のジェスチャーにより、記憶部に記憶された調理レシピの中から調理者がこれから行う調理のレシピが決定されてもよい。調理者の手には食材がついていたり水で濡れていたりするため、この場合には、携帯端末等を汚さずに調理レシピを決定することができる。

取得部１２０は、カメラ３００から得られる撮影画像に基づく、調理対象の食材の認識結果を取得する（ステップＳ１１）。例えば、認識部１１０は、撮影可能な領域３０１に食材が存在しているか否かを判定し、存在している場合に当該食材を認識し、取得部１２０は、認識部１１０の認識結果を取得する。なお、当該認識結果には、食材の形状、色、模様、大きさ等に基づいて認識された食材の種類が含まれる。これにより、決定された調理レシピにおける当該種類の食材に関して、調理者の調理行動を補助するための第１画像が決定される。例えば、調理レシピが鯖の煮つけの場合に、食材の種類に関する認識結果が鯖のときには、鯖の切り方（例えば頭の落とし方）を示す第１画像が決定される。

次に、判定部１３０は、取得部１２０が取得した認識結果の示す認識された食材が、重畳可能な領域２０２内に存在しているか否かを判定する（ステップＳ１２）。具体的には、カメラ３００から得られる撮影画像において、重畳可能な領域２０２に対応する領域が予め定められており、判定部１３０は、当該領域内に食材が写っているか否かを判定する。

食材が重畳可能な領域２０２内に存在していると判定部１３０が判定した場合（ステップＳ１２でＹＥＳ）、表示制御部１４０は、表示部２００に、認識された食材に第１画像を重畳させる（ステップＳ１３）。ステップＳ１３での処理について、図５Ａを用いて説明する。

図５Ａは、実施の形態１における食材４００に重畳された第１画像２１０の一例を示す図である。

図５Ａに示されるように、鯖と認識された食材４００は、重畳可能な領域２０２内に存在しており、表示部２００は、表示制御部１４０からの指示に基づき、食材４００に第１画像２１０（例えば頭の落とし方を示す画像）を重畳する。これにより、調理者は、食材４００に重畳された第１画像２１０に沿って食材４００を切ることで、容易に食材４００を調理することができる。

一方、食材が重畳可能な領域２０２内に存在していないと判定部１３０が判定した場合（ステップＳ１２でＮＯ）、表示制御部１４０は、表示部２００に、認識された食材に基づいて生成される第２画像を表示させ、第２画像に第１画像を重畳させる（ステップＳ１４）。第２画像は、例えば、認識された食材を示すコンピュータグラフィックス画像である。上述したように、例えば、認識部１１０は、カメラ３００による食材の撮影により、当該食材の種類を認識する。記憶部には、様々な種類の食材を表すコンピュータグラフィックス画像が記憶されており、認識部１１０が認識した種類の食材に対応するコンピュータグラフィックス画像が、第２画像となる。ステップＳ１４での処理について、図５Ｂを用いて説明する。

図５Ｂは、実施の形態１における第２画像２２０に重畳された第１画像２１０の一例を示す図である。

図５Ｂに示されるように、食材４００は、重畳可能な領域２０２外に存在しており、表示部２００は、表示制御部１４０からの指示に基づき、第２画像２２０（例えば鯖を表すコンピュータグラフィックス画像）を表示し、第２画像２２０に第１画像２１０を重畳する。これにより、調理者は、第２画像２２０に重畳された第１画像２１０を見ながら食材４００を切ることで、容易に食材４００を調理することができる。

なお、認識された食材の一部が、重畳可能な領域２０２内に存在している場合に、判定部１３０は、認識された食材が重畳可能な領域２０２内に存在していると判定してもよい。

図６Ａは、実施の形態１における食材４００に重畳された第１画像２１０の他の一例を示す図である。図６Ａに示されるように、認識された食材４００の一部が、重畳可能な領域２０２内に存在している場合に、食材４００のうちの重畳可能な領域２０２内に存在している部分に第１画像２１０が重畳されてもよい。

これに対して、認識された食材の一部が、重畳可能な領域２０２内に存在している場合に、判定部１３０は、認識された食材が重畳可能な領域２０２内に存在していないと判定してもよい。

図６Ｂは、実施の形態１における第２画像２２０に重畳された第１画像２１０の他の一例を示す図である。図６Ｂに示されるように、認識された食材４００の一部が、重畳可能な領域２０２内に存在している場合には、第２画像２２０に第１画像２１０が重畳されてもよい。

ところで、食材が重畳可能な領域２０２内に存在している場合に、調理者は食材に重畳された第１画像を邪魔に感じ、第１画像を重畳させる対象を食材から第２画像（コンピュータグラフィックス画像）に切り替えたいと感じることがあり得る。また、食材が重畳可能な領域２０２内に存在していない場合に、調理者は第２画像に重畳された第１画像では調理方法がわかりにくいと感じ、第１画像を重畳させる対象を第２画像から食材に切り替えたいと感じることがあり得る。そこで、表示制御部１４０は、表示部２００が食材に第１画像を重畳しているときに、食材が重畳可能な領域２０２内に存在していないと判定部１３０が判定した場合、第２画像に第１画像を重畳するように表示部２００に指示してもよい。また、表示制御部１４０は、表示部２００が第２画像に第１画像を重畳しているときに、食材が重畳可能な領域２０２内に存在していると判定部１３０が判定した場合、食材に第１画像を重畳するように表示部２００に指示してもよい。これにより、食材に重畳された第１画像を邪魔に感じる場合には食材を重畳可能な領域２０２内から重畳可能な領域２０２外へ移動させることで、第２画像に重畳された第１画像による調理行動の補助を受けることができ、また、食材を重畳可能な領域２０２外から重畳可能な領域２０２内へ移動させることで、食材に重畳された第１画像による調理行動の補助を受けることができる。

しかしながら、調理者は、重畳可能な領域２０２内及び重畳可能な領域２０２外の一方から他方へ食材を移動させるためには、重畳可能な領域２０２の外縁を認識する必要がある。また、調理者は、食材に重畳された第１画像、又は、第２画像に重畳された第１画像によって調理行動の補助を受けるためには、食材を撮影可能な領域３０１内へ載置する必要があり、撮影可能な領域３０１の外縁を認識する必要がある。そこで、表示部２００は、さらに、撮影可能な領域３０１の外縁、及び、重畳可能な領域２０２の外縁を表示してもよい。

図７は、撮影可能な領域３０１の外縁３０１ａ及び重畳可能な領域２０２の外縁２０２ａの一例を示す図である。

例えば、表示部２００は、外縁３０１ａ及び２０２ａをプロジェクタ又はレーザ光源等によって表示する。レーザ光源等は、表示装置１００に備えられていてもよいし、表示装置１００とは別体に設けられたものでもよい。撮影可能な領域３０１が表示可能な領域２０１よりも狭い場合には、表示部２００は、外縁３０１ａ及び２０２ａを例えばプロジェクタによって表示する。撮影可能な領域３０１が表示可能な領域２０１よりも広い場合には、表示部２００は、外縁３０１ａ及び２０２ａを例えばレーザ光源等によって表示する。これにより、撮影可能な領域３０１の外縁３０１ａが表示されるため、調理者はどこに食材を置けばカメラ３００が食材を撮影可能かわかる。また、重畳可能な領域２０２の外縁２０２ａが表示されるため、調理者はどこに食材を置けば食材に重畳された第１画像、又は、第２画像に重畳された第１画像による調理行動の補助を受けることができるかわかる。また、調理者は外縁２０２ａを認識できるため、重畳可能な領域２０２内及び重畳可能な領域２０２外の一方から他方へ食材を移動させることができ、第１画像を重畳させる対象を、食材と第２画像とで切り替えることができる。

なお、第２画像は、コンピュータグラフィックス画像に限らず、カメラ３００の撮影により得られる認識された食材の写真であってもよい。具体的には、カメラ３００による撮影により得られる画像に含まれる食材の部分が抽出され、表示されてもよい。これにより、コンピュータグラフィックス画像ではなく、食材そのものを表す臨場感のある写真に第１画像が重畳される。したがって、これから調理しようとしている実際の食材の写真に第１画像が重畳されるため、調理者は、第１画像が示す調理行動の補助を実際の食材に適用しやすくなる。

また、表示部２００がプロジェクタを含む例を説明したが、表示部２００は、さらに、ディスプレイを含んでいてもよい。このとき、表示制御部１４０は、認識された食材が重畳可能な領域２０２内に存在していると判定部１３０が判定した場合、プロジェクタに、認識された食材に第１画像を重畳させる。一方、表示制御部１４０は、認識された食材が重畳可能な領域２０２内に存在していないと判定部１３０が判定した場合、ディスプレイに、第２画像に第１画像が重畳させられた画像を表示させる。これにより、調理者は、第２画像に第１画像が重畳させられた画像が表示されたディスプレイを見ながら、調理を行うことができる。

以上説明したように、食材が重畳可能な領域２０２内に存在している場合、食材に第１画像が重畳して表示され、食材が重畳可能な領域２０２内に存在していない場合、第２画像に第１画像が重畳して表示される。したがって、食材が重畳可能な領域２０２内に存在していなくても、調理者は第２画像に重畳している第１画像を見ながら調理を行うことができる。よって、重畳可能な領域２０２外に食材が存在している場合であっても調理者の調理行動を補助することができる。

（実施の形態２）
次に、実施の形態２について、図８を用いて説明する。なお、実施の形態２における表示装置の構成は実施の形態１と同じであるため、説明を省略する。実施の形態２では、第２画像（例えばコンピュータグラフィックス画像）の表示サイズは、認識された食材のサイズと同等である点が実施の形態１と異なる。これについて、図８を用いて説明する。

図８は、実施の形態２における縮小処理された第２画像２３０の一例を示す図である。図８に示されるように、食材４００は、重畳可能な領域２０２外に存在しており、表示部２００は、表示制御部１４０からの指示に基づき、第２画像２３０に第１画像２１０を重畳する。実施の形態１では、第２画像２２０のサイズは、図５Ｂに示されるように、食材４００のサイズよりも大きかったが、実施の形態２では、食材４００のサイズが認識され、第２画像２２０の表示サイズが縮小処理されることで、表示部２００は、表示サイズが食材４００のサイズと同等のサイズの第２画像２３０を表示する。これにより、これから調理しようとしている実際の食材４００と同等のサイズの第２画像２３０に第１画像２１０が重畳されるため、調理者は、第１画像２１０が示す調理行動の補助を実際の食材４００に適用しやすくなる。

なお、表示サイズが、食材のサイズと同等のサイズとなるように拡大あるいは縮小処理される画像は、コンピュータグラフィックス画像でなくてもよく、カメラ３００の撮影により得られる食材の写真であってもよい。

（実施の形態３）
次に、実施の形態３について、図９を用いて説明する。なお、実施の形態３における表示装置の構成は実施の形態１と同じであるため、説明を省略する。実施の形態３では、判定部１３０は、さらに、認識された食材が、表示可能な領域２０１内に存在するか否かを判定する。また、表示制御部１４０は、認識された食材が表示可能な領域２０１内に存在しないと判定部１３０が判定した場合で、認識された食材の位置と表示可能な領域２０１であって認識された食材に近い側の端部との距離が所定の距離よりも短いときには、表示部２００に、表示可能な領域２０１における端部の近傍に、第１画像に基づく画像を表示させる点が実施の形態１と異なる。これについて、図９を用いて説明する。

図９は、実施の形態３における切り方を示す画像２４０の一例を示す図である。図９に示されるように、食材４１０（例えばニンジン）は、重畳可能な領域２０２外に存在しており、表示部２００は、表示制御部１４０からの指示に基づき、第２画像２３０ａに第１画像２１０ａ（例えば輪切りを示す画像）を重畳する。

また、食材４１０は表示可能な領域２０１内に存在していないため、判定部１３０は、食材４１０が表示可能な領域２０１内に存在していないと判定する。さらに、判定部１３０は、食材４１０の位置と表示可能な領域２０１の食材４１０の位置側の端部との距離が所定の距離ｔよりも短いか否か判定する。所定の距離ｔは、調理者が互いに離れている複数の対象を同時に視認できる距離であり、例えば、５ｃｍ等である。表示制御部１４０は、食材４１０の位置と表示可能な領域２０１の食材４１０の位置側の端部との距離が所定の距離ｔよりも短いときには、表示可能な領域２０１における当該端部の近傍に、第１画像に基づく画像として、食材を調理するための切り方を示す画像２４０を表示するように表示部２００に指示することで、切り方を示す画像２４０が表示される。なお、切り方を示す画像２４０を説明するための説明画像２５０も表示されてもよい。

これにより、食材が表示部２００の表示可能な領域２０１内に存在していない場合に、食材の位置と表示可能な領域２０１の食材の位置側の端部との距離が所定の距離（例えば５ｃｍ等）よりも短いときには、表示可能な領域２０１における当該端部の近傍（つまり、食材の近傍）に第１画像に基づく画像が表示される。したがって、調理者は、食材の近傍に表示される第１画像に基づく画像に合わせて調理をより正確に行うことができる。例えば、調理者は、食材の近傍に表示される第１画像に基づく画像として、食材の切り方を示す画像に合わせて、カット等の調理をより正確に行うことができる。

なお、第１画像に基づく画像は、食材の切り方を示す画像２４０に限らず、例えば、目盛り示す画像等であってもよい。

（その他の実施の形態）
以上、本開示の表示装置について、実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、及び、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれる。

例えば、表示装置は、サーバ装置として実現されてもよい。そして、表示部２００及びカメラ３００等がクライアント装置として実現されることで、サーバ装置とクライアント装置とでクライアントサーバシステムが構成されてもよい。

また、例えば、表示装置は、カメラ３００を備えなくてもよく、カメラ３００と情報の授受を行う装置であってもよい。

また、本開示は、表示装置として実現できるだけでなく、表示装置を構成する各構成要素が行うステップ（処理）を含む表示方法として実現できる。

例えば、それらのステップは、コンピュータ（コンピュータシステム）によって実行されてもよい。そして、本開示は、それらの方法に含まれるステップを、コンピュータに実行させるためのプログラムとして実現できる。さらに、本開示は、そのプログラムを記録したＣＤ−ＲＯＭ等である非一時的なコンピュータ読み取り可能な記録媒体として実現できる。

例えば、本開示が、プログラム（ソフトウェア）で実現される場合には、コンピュータのＣＰＵ、メモリおよび入出力回路等のハードウェア資源を利用してプログラムが実行されることによって、各ステップが実行される。つまり、ＣＰＵがデータをメモリまたは入出力回路等から取得して演算したり、演算結果をメモリまたは入出力回路等に出力したりすることによって、各ステップが実行される。

また、上記実施の形態の表示装置に含まれる複数の構成要素は、それぞれ、専用または汎用の回路として実現されてもよい。これらの構成要素は、１つの回路として実現されてもよいし、複数の回路として実現されてもよい。

また、上記実施の形態の表示装置に含まれる複数の構成要素は、集積回路（ＩＣ：Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現されてもよい。これらの構成要素は、個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ＬＳＩは、集積度の違いにより、システムＬＳＩ、スーパーＬＳＩまたはウルトラＬＳＩと呼称される場合がある。

また、集積回路はＬＳＩに限られず、専用回路または汎用プロセッサで実現されてもよい。プログラム可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、ＬＳＩ内部の回路セルの接続および設定が再構成可能なリコンフィギュラブル・プロセッサが、利用されてもよい。

その他、実施の形態に対して当業者が思いつく各種変形を施して得られる形態や、本開示の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。

１００ 表示装置
１１０ 認識部
１２０ 取得部
１３０ 判定部
１４０ 表示制御部
２００ 表示部
２０１ 表示可能な領域
２０２ 重畳可能な領域
２０２ａ、３０１ａ 外縁
２１０、２１０ａ 第１画像
２２０、２３０、２３０ａ 第２画像
２４０ 切り方を示す画像
２５０ 説明画像
３００ カメラ
３０１ 撮影可能な領域
４００、４１０ 食材
ｔ 所定の距離

Claims (14)

1. 調理者の調理行動を補助するための第１画像を表示する表示部と、
   カメラから得られる撮影画像に基づく、調理対象の食材の認識結果を取得する取得部と、
   前記認識結果の示す認識された食材が、前記表示部が表示可能な領域のうち、前記第１画像を前記認識された食材に重畳可能な領域内に存在しているか否かを判定する判定部と、
   前記表示部に、
   （ｉ）前記認識された食材が前記重畳可能な領域内に存在していると前記判定部が判定した場合、前記認識された食材に前記第１画像を重畳させ、
   （ｉｉ）前記認識された食材が前記重畳可能な領域内に存在していないと前記判定部が判定した場合、前記カメラから得られる前記撮影画像に映る前記認識された食材に基づいて生成される第２画像を表示させ、前記第２画像に前記第１画像を重畳させる表示制御部と、を備える、
   表示装置。
2. 前記表示部は、プロジェクタを含む、
   請求項１に記載の表示装置。
3. 前記表示部は、プロジェクタおよびディスプレイを含み、
   前記表示制御部は、
   前記（ｉ）の場合、前記プロジェクタに、前記認識された食材に前記第１画像を重畳させ、
   前記（ｉｉ）の場合、前記ディスプレイに、前記第２画像に前記第１画像が重畳させられた画像を表示させる、
   請求項１又は２に記載の表示装置。
4. 前記表示制御部は、
   前記表示部が前記認識された食材に前記第１画像を重畳した後に、前記認識された食材が前記重畳可能な領域内に存在しないと前記判定部が判定した場合、前記第２画像に前記第１画像を重畳させ、
   前記表示部が前記第２画像に前記第１画像を重畳した後に、前記認識された食材が前記重畳可能な領域内に存在すると前記判定部が判定した場合、前記認識された食材に前記第１画像を重畳させる、
   請求項１〜３のいずれか１項に記載の表示装置。
5. 前記第２画像は、前記カメラの撮影により得られる前記認識された食材の写真である、
   請求項１〜４のいずれか１項に記載の表示装置。
6. 前記第２画像は、前記認識された食材を示すコンピュータグラフィックス画像である、
   請求項１〜４のいずれか１項に記載の表示装置。
7. 前記第２画像の表示サイズは、前記認識された食材のサイズと同等である、
   請求項１〜６のいずれか１項に記載の表示装置。
8. 前記判定部は、さらに、前記認識された食材が、前記表示可能な領域内に存在するか否かを判定し、
   前記表示制御部は、前記認識された食材が前記表示可能な領域内に存在しないと前記判定部が判定した場合で、前記認識された食材の位置と前記表示可能な領域であって前記認識された食材に近い側の端部との距離が所定の距離よりも短いときには、前記表示部に、前記表示可能な領域における前記端部の近傍に、前記第１画像に基づく画像を表示させる、
   請求項１〜７のいずれか１項に記載の表示装置。
9. 前記第１画像に基づく画像は、前記認識された食材の切り方を示す画像を含む、
   請求項８に記載の表示装置。
10. 前記表示部は、さらに、前記カメラが撮影可能な領域の外縁、及び、前記重畳可能な領域の外縁を表示する、
    請求項１〜９のいずれか１項に記載の表示装置。
11. 前記カメラと、
    前記カメラから得られる撮影画像に基づいて、調理対象の食材を認識する認識部と、を備える、
    請求項１〜１０のいずれか１項に記載の表示装置。
12. 前記カメラと、
    前記カメラから得られた撮影画像をサーバへ送信し、前記認識結果を前記サーバから受信する通信部と、を備える、
    請求項１〜１０のいずれか１項に記載の表示装置。
13. 調理者の調理行動を補助するための第１画像を表示する表示部を備える表示装置の表示方法であって、
    カメラから得られる撮影画像に基づく、調理対象の食材の認識結果を取得する取得ステップと、
    前記認識結果の示す認識された食材が、前記表示部が表示可能な領域のうち、前記第１画像を前記認識された食材に重畳可能な領域内に存在しているか否かを判定する判定ステップと、
    前記表示部に、
    （ｉ）前記認識された食材が前記重畳可能な領域内に存在していると前記判定ステップで判定した場合、前記認識された食材に前記第１画像を重畳させ、
    （ｉｉ）前記認識された食材が前記重畳可能な領域内に存在していないと前記判定ステップで判定した場合、前記カメラから得られる前記撮影画像に映る前記認識された食材に基づいて生成される第２画像を表示させ、前記第２画像に前記第１画像を重畳させる表示制御ステップと、を含む、
    表示方法。
14. 調理者の調理行動を補助するための第１画像を表示する表示部を備える表示装置の動作を制御するプログラムであって、
    カメラから得られる撮影画像に基づく、調理対象の食材の認識結果を取得する取得ステップと、
    前記認識結果の示す認識された食材が、前記表示部が表示可能な領域のうち、前記第１画像を前記認識された食材に重畳可能な領域内に存在しているか否かを判定する判定ステップと、
    前記表示部に、
    （ｉ）前記認識された食材が前記重畳可能な領域内に存在していると前記判定ステップで判定した場合、前記認識された食材に前記第１画像を重畳させ、
    （ｉｉ）前記認識された食材が前記重畳可能な領域内に存在していないと前記判定ステップで判定した場合、前記カメラから得られる前記撮影画像に映る前記認識された食材に基づいて生成される第２画像を表示させ、前記第２画像に前記第１画像を重畳させる表示制御ステップと、を含む、
    プログラム。

Images