JP6495514B1 - 情報処理システム、情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理システム、情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP6495514B1
JP6495514B1 JP2018102722A JP2018102722A JP6495514B1 JP 6495514 B1 JP6495514 B1 JP 6495514B1 JP 2018102722 A JP2018102722 A JP 2018102722A JP 2018102722 A JP2018102722 A JP 2018102722A JP 6495514 B1 JP6495514 B1 JP 6495514B1
Authority
JP
Japan
Prior art keywords
store
information
terminal
service providing
cooking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018102722A
Other languages
English (en)
Other versions
JP2019207564A (ja
Inventor
敦士 今田
敦士 今田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cookpad Inc
Original Assignee
Cookpad Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cookpad Inc filed Critical Cookpad Inc
Priority to JP2018102722A priority Critical patent/JP6495514B1/ja
Application granted granted Critical
Publication of JP6495514B1 publication Critical patent/JP6495514B1/ja
Publication of JP2019207564A publication Critical patent/JP2019207564A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】店舗側の集客力を向上させ商品の販売につなげることができる情報処理システム、情報処理装置、情報処理方法、およびプログラムを提供することを目的とする。
【解決手段】情報処理システムは、調理が行われている様子を撮影して調理動画をサービス提供装置に送信するキッチンスタジオと、キッチンスタジオから受信した調理動画を複数の店舗端末に配信するサービス提供装置と、複数の店舗それぞれに設置され、サービス提供装置から配信された調理動画を表示し、調理動画を視聴している来店客に関する情報に店舗端末が設置されている店舗情報を付与してサービス提供装置に送信する店舗端末と、を備え、サービス提供装置は、店舗端末から受信した来店客に関する情報に付与されている店舗情報に基づいて、来店客に関する情報に店舗を紐付けてキッチンスタジオに送信し、キッチンスタジオは、店舗が紐付けられた来店客に関する情報を表示装置に表示する。
【選択図】図2

Description

本発明は、情報処理システム、情報処理装置、情報処理方法、およびプログラムに関する。
インターネットを介して、調理手順(レシピ)を動画で提供するサービスが知られている。例えば、特許文献1には、会員が料理本から選択した料理コード番号を入力すると、料理コード番号に対応する料理実演動画がインターネットを通じて会員の端末の画面に放映されるようにした料理実演動画提供システムが開示されている。
また、店舗側には、顧客を集客し、より多くの商品を販売したいという要望がある。例えば、スーパーマーケット等の店舗において、食品の売り場毎に端末装置を設置し、当該端末装置で売り場の商品に関連する料理の調理動画を再生し、販売促進に活用することが検討されている。
特開2003−219066号公報
しかしながら、特許文献1に記載の技術では、売り場で商品に合わせてメニューを検索して調理動画を検索して見るため手間がかかる。また、売り場に端末装置を設置して調理動画を再生する場合、買い物中の客は、長時間調理動画を注視しないことが想定されるため、より短時間で客の購買意欲を高めるような調理動画を提供することが求められている。
このように、従来技術では、顧客を店舗へ集客し、商品を紹介して販売につなげることの両立が困難であった。
本発明は、上記の問題点に鑑みてなされたものであって、店舗側の集客力を向上させ、商品の販売につなげることができる情報処理システム、情報処理装置、情報処理方法、およびプログラムを提供することを目的とする。
上記目的を達成するため、本発明の一態様に係る情報処理システムは、表示装置が設置され、調理が行われている様子を撮影して、撮影した調理動画をサービス提供装置に送信するキッチンスタジオと、前記キッチンスタジオから受信した前記調理動画を、複数の店舗端末に配信するサービス提供装置と、複数の店舗それぞれに設置され、前記サービス提供装置から配信された前記調理動画を表示し、前記調理動画を視聴している来店客に関する情報に前記店舗端末が設置されている店舗情報を付与して前記サービス提供装置に送信する店舗端末と、を備え、前記店舗端末は、音声入力部を備え、前記調理動画を受信する前に、収音した音声に前記店舗端末の識別情報を付与して前記サービス提供装置に送信し、前記サービス提供装置は、受信した音声に対して音声認識処理を行って前記店舗端末の前記店舗情報を決定し、決定した前記店舗情報を前記店舗端末に送信し、前記店舗端末から受信した前記来店客に関する情報に付与されている前記店舗情報に基づいて、前記来店客に関する情報に前記店舗を紐付け、前記店舗を紐付けた前記来店客に関する情報を前記キッチンスタジオに送信し、前記キッチンスタジオは、前記店舗が紐付けられた前記来店客に関する情報を前記表示装置に表示する。
また、本発明の一態様は、調理が行われている様子が撮影された調理動画をキッチンスタジオから受信し、受信した前記調理動画を複数の店舗それぞれに設置されている店舗端末に配信し、前記調理動画を視聴している来店客に関する情報に前記店舗端末が設置されている店舗情報が付与されている情報を前記店舗端末から受信し、前記調理動画を送信する前に、前記店舗端末によって収音された音声に前記店舗端末の識別情報が付与されている情報を前記店舗端末から受信し、前記受信した音声に対して音声認識処理を行って前記店舗端末の前記店舗情報を決定し、決定した前記店舗情報を前記店舗端末に送信し、前記店舗端末から受信した前記来店客に関する情報に付与されている前記店舗情報に基づいて、前記来店客に関する情報に前記店舗を紐付け、前記店舗を紐付けた前記来店客に関する情報を前記キッチンスタジオに送信する、情報処理装置である
また、本発明の一態様は、表示装置が設置されているキッチンスタジオと、複数の店舗それぞれに設置され、音声入力部を備える店舗端末と、サービス提供装置とを備える情報処理システムにおける情報処理方法であって、前記キッチンスタジオが、調理が行われている様子を撮影して、撮影した調理動画を前記サービス提供装置に送信するステップと、前記サービス提供装置が、前記キッチンスタジオから受信した前記調理動画を、複数の店舗端末に配信するステップと、前記店舗端末が、前記サービス提供装置から配信された前記調理動画を表示し、前記調理動画を視聴している来店客に関する情報に前記店舗端末が設置されている店舗情報を付与して前記サービス提供装置に送信するステップと、前記店舗端末が、前記前記調理動画を受信する前に、収音した音声に前記店舗端末の識別情報を付与して前記サービス提供装置に送信するステップと、前記サービス提供装置が、受信した音声に対して音声認識処理を行って前記店舗端末の前記店舗情報を決定し、決定した前記店舗情報を前記店舗端末に送信するステップと、前記サービス提供装置が、前記店舗端末から受信した前記来店客に関する情報に付与されている前記店舗情報に基づいて、前記来店客に関する情報に前記店舗を紐付けるステップと、前記サービス提供装置が、前記店舗を紐付けた前記来店客に関する情報を前記キッチンスタジオに送信するステップと、前記キッチンスタジオが、前記店舗が紐付けられた前記来店客に関する情報を前記表示装置に表示するステップと、を有する情報処理方法である。
また、本発明の一態様は、サービス提供装置のコンピュータに、調理が行われている様子を撮影された調理動画をキッチンスタジオから受信させ、受信した前記調理動画を複数の店舗端末に配信させ、店舗情報が付与されている来店客に関する情報を前記店舗端末から受信させ、前記調理動画を配信させる前に、前記店舗端末が収音した音声に前記店舗端末の識別情報を付与した情報を前記店舗端末から受信させ、受信した音声に対して音声認識処理を行って前記店舗端末の前記店舗情報を決定させ、決定した前記店舗情報を前記店舗端末に送信させ、受信した前記来店客に関する情報に付与されている前記店舗情報に基づいて、前記来店客に関する情報に店舗を紐付けさせ、前記店舗を紐付けた前記来店客に関する情報を前記キッチンスタジオに送信させる、処理を実行させる、プログラムである。
本発明の一態様によれば、店舗側の集客力を向上させ、商品の販売につなげることができる。
本実施形態に係る情報処理システムの概要を示す図である。 本実施形態に係る情報処理システムの一例を示すブロック図である。 本実施形態に係るキッチンスタジオが備える構成要素の一例を示すブロック図である。 本実施形態に係る店舗端末の構成の一例を示すブロック図である。 本実施形態に係るサービス提供装置の構成の一例を示すブロック図である。 本実施形態に係るユーザ端末の構成の一例を示すブロック図である。 本実施形態のストレージサーバが記憶する情報例を示す図である。 本実施形態のストレージサーバが記憶する情報例を示す図である。 本実施形態に係る店舗端末の設置例を示す図である。 表示部の形状が縦長の場合と横長の場合を示す図である。 本実施形態に係るサービス提供装置から店舗端末へ配信される調理動画や画像例を示す図である。 1つの店舗に3つの店舗端末が設置されている場合に表示される調理動画や画像の例を示す図である。 本実施形態に係る情報処理システムの処理手順例のシーケンス図である。 本実施形態に係る店舗端末が操作されて質問が行われ調理者が返答を行う例を示す図である。 本実施形態に係る店舗端末が操作された場合の情報処理システムの他の動作例を示す図である。 本実施形態に係る店舗端末によってお気に入りが選択された場合の情報処理システムの処理手順のシーケンス図である。 お気に入りボタンが押された際に、キッチンスタジオへも画像を送信した際に表示装置上に表示される画像例を示す図である。 本実施形態に係るサービス提供装置が動画をユーザ端末に配信する処理手順例のシーケンス図である。 本実施形態に係るサービス提供装置が質問に紐付ける情報例を示す図である。 本実施形態に係るサービス提供装置が指示に紐付ける情報例を示す図である。 本実施形態に係るユーザ端末の表示部上に表示されるボタン画像例を示す図である。 ユーザ端末から切り替え指示を受信した場合に配信される動画例を示す図である。 本実施形態に係る録画された動画を配信する際の情報処理システムの処理手順例のシーケンス図である。 本実施形態に係るユーザ端末で録画された動画を見る手順例を示す図である。 本実施形態に係るストレージサーバが記憶する情報例を示す図である。 本実施形態に係るサービス提供装置が配信する動画の配信例を示す図である。
以下、本発明を適用した情報処理システム、情報処理装置、情報処理方法、およびプログラムを、図面を参照して説明する。
<実施形態の概要>
図1は、本実施形態に係る情報処理システム1の概要を示す図である。
図1に示すように、情報処理システム1のサービス提供装置4(情報処理装置)は、キッチンスタジオ2で調理人が調理を行っている様子を撮影した調理動画を、ネットワークNWを介して、例えば店舗3のイベント会場に設置されている店舗端末31に配信する。なお、サービス提供装置4は、配信対象の複数の店舗3それぞれに設置されている店舗端末31に調理動画を配信する。ここで、調理人は、料理人や料理研究家や芸能人等の有名人や著名人であることが、集客の向上のために好ましい。サービス提供装置4は、来店客に関する情報と店舗とを紐付ける。サービス提供装置4は、店舗端末31から来店客の質問の音声を受信し、受信した音声に対して音声認識処理してキッチンスタジオ2の表示装置203に表示させる。店舗端末31は、質問した来店客に関する情報に紐付けられた店舗に関する情報(以下、店舗情報という)も質問と一緒に表示する。調理者は、表示装置203に表示された質問に対して音声で回答する。情報処理システム1は、この回答を店舗端末31に配信する。これにより、店舗3に来店している会員は、調理者とコミュニケーションを行うことができる。なお、サービス提供装置4は、キッチンスタジオ2(サービス提供装置)に備え付けられていてもよい。
また、店舗3では、調理で用いられる食材等をイベント会場で販売する。なお、食材は、1人用セット、2人用セット等、調理に使用された食材をパッケージにしたものであってもよい。また、イベント会場では、調理に使った食器や調理器具等の販売も行うようにしてもよい。なお、店舗3では、食材を店舗端末31の付近で販売するだけでなく、例えば調理動画の配信後に予め調理しておいた料理を試食品として提供するようにしてもよい。
<情報処理システム1の概略構成>
次に、情報処理システム1の概略構成について図1を参照しつつ、図2を用いて説明する。
図2は、本実施形態に係る情報処理システム1の一例を示すブロック図である。図2に示すように、情報処理システム1は、キッチンスタジオ2、店舗3(店舗3A、店舗3B、・・・)に設置される店舗端末31(店舗端末31A、店舗端末31B、・・・)、サービス提供装置4、ストレージサーバ5、およびユーザ端末61(ユーザ端末61A、ユーザ端末61B、ユーザ端末61C、ユーザ端末61D、・・・)を含んで構成される。
なお、実施形態では、店舗3A、店舗3B、・・・のうち1つを特定しない場合、単に店舗3という。また、実施形態では、店舗端末31A、店舗端末31B、・・・のうち1つを特定しない場合、単に店舗端末31という。また、実施形態では、ユーザ端末61A、ユーザ端末61B、ユーザ端末61C、ユーザ端末61D、・・・のうち1つを特定しない場合、単にユーザ端末61という。
キッチンスタジオ2、店舗端末31、サービス提供装置4、ストレージサーバ5、およびユーザ端末61は、ネットワークNWを介して接続されている。ネットワークNWは、例えば移動体通信網であり、例えば、無線基地局、Wi−Fiアクセスポイント、通信回線、プロバイダ、インターネットなどを含む。また、ネットワークNWに接続される各装置は、NIC(Network Interface Card)や無線通信モジュールなどの通信インターフェースを備えている(図2では不図示)。
キッチンスタジオ2は、キッチン、調理道具、食材等を備えた施設である。また、キッチンスタジオ2は、後述するように撮影装置、音声入力部、表示装置等の構成要素を備える。キッチンスタジオ2は、調理が行われる様子を撮影した動画と収音した音声をサービス提供装置4へ送信する。また、キッチンスタジオ2は、サービス提供装置4から受信したテキストを表示部に表示させる。このテキストには、店舗3の来店客から質問等(含む感想)と店舗情報が含まれる。調理者は、表示装置に表示された質問等に音声で返答する。
店舗3は、例えばスーパーマーケット、デパート等である。なお、店舗3は、例えばドラッグストア、コンビニエンスストア等であってもよく、あるいは、乗り物の中であってもよい。店舗3には、店舗端末31が設置されている。図2の例では、店舗3Aに店舗端末31Aが設置され、店舗3Bに店舗端末31Bが設置されている。店舗数は、例えば数十店、または百店舗以上であってもよい。
店舗端末31は、店舗端末31の識別情報と店舗情報を、ネットワークNWを介してサービス提供装置4に送信する。店舗情報は、店員が設定した店舗名や店舗番号であってもよく、店員が発話した店舗名の音声であってもよい。店舗端末31は、サービス提供装置4から配信された調理画像を表示し、調理画像に含まれる音声を再生する。店舗端末31は、後述するように撮影装置、音声入力部、操作部等を備えている。店舗端末31は、来店客の音声を収音し、収音した音声の音声を、ネットワークNWを介してサービス提供装置4に送信する。また、店舗端末31は、イベント会場を撮影し、撮影した画像を、ネットワークNWを介してサービス提供装置4に送信する。なお、店舗端末31が送信する音声や画像には、店舗端末31の識別情報が含まれている。なお、店舗端末31は、ビーコン信号を送信するようにしてもよい。このビーコン信号には、店舗端末31の識別情報が含まれている。
サービス提供装置4は、調理動画が配信される日時と店舗を示す情報を、例えば本サービスの会員が所持するユーザ端末61に送信する。サービス提供装置4は、店舗端末31から受信した店舗端末31の識別情報と店舗情報に基づいて、店舗端末31に店舗を紐付ける。また、サービス提供装置4は、ユーザ端末61から受信した情報に基づいて、ユーザ端末61に店舗を紐付ける。サービス提供装置4は、キッチンスタジオ2から受信した画像と音声とを調理動画として、ネットワークNWを介して店舗端末31へ配信する。なお、サービス提供装置4は、複数の店舗端末31へ調理画像を配信する。また、サービス提供装置4は、店舗端末31が送信した音声を受信し、受信した音声に対して音声認識処理を行ってテキスト変換する。サービス提供装置4は、受信した音声に含まれる店舗端末31の識別情報に基づいて、変換したテキストに店舗情報を紐付ける。これにより、サービス提供装置4は、発話した来店客と、その来店客が来店している店舗3とを紐付ける。サービス提供装置4は、店舗情報を含むテキストをキッチンスタジオ2に送信する。なお、サービス提供装置4は、リアルタイムで配信した調理動画を録画し、調理動画をリアルタイムで店舗端末31に配信していない時間に録画した調理動画を繰り返し配信してもよい。または、サービス提供装置4は、調理動画をリアルタイムで配信していない時間に、ユーザによって登録されたレシピの動画や、広告のうち少なくとも1つを配信するようにしてもよい。
なお、サービス提供装置4は、キッチンスタジオ2に設置されていてもよい。この場合は、図2に示すように、例えばキッチンスタジオ2’(サービス提供装置)が、少なくともサービス提供装置4を含むようにしてもよい。なお、以下の例では、キッチンスタジオ2とサービス提供装置4がネットワークNWを介して接続されている例を説明する。
ストレージサーバ5は、本サービスを利用する会員に関する情報を記憶する。会員に関する情報とは、例えばユーザ端末61の識別情報、会員の識別情報(会員番号、氏名またはハンドル名、性別等)、会員種別(有料会員、無料会員)等である。ストレージサーバ5は、複数の料理それぞれのレシピを記憶する。ストレージサーバ5は、撮影された調理動画をレシピに関連付けて記憶する。ストレージサーバ5は、店舗端末31の識別情報を記憶する。ストレージサーバ5は、調理動画に対する利用者の感想等をユーザ端末61から受信して、受信した感想を調理動画に関連づけて記憶する。
ユーザ端末61は、例えばスマートフォンやタブレット端末等の携帯端末等である。図2に示す例では、店舗3Aに来店した来店客のユーザ端末がユーザ端末61A、61B、・・・であり、店舗3Bに来店した来店客のユーザ端末がユーザ端末61C、61D、・・・である。来店客は、来店客が所持するユーザ端末61を操作して、本サービスのアプリケーションを選択する。ユーザ端末61は、アプリケーションを起動して、本サービスのログイン要求をサービス提供装置4に送信する。ユーザ端末61は、後述するようにイベント会場で購入した商品等に添付されている二次元コードを読み取り、読み取った情報をサービス提供装置4に送信する。二次元コードには、店舗情報が含まれている。ログイン要求には、例えばユーザ端末61の識別情報、会員の識別情報(会員番号、氏名またはハンドル名、性別等)が含まれている。なお、ユーザ端末61は、店舗端末31からビーコン信号を受信した場合、ビーコン信号に含まれる店舗情報もサービス提供装置4に送信する。
なお、図2に示した構成要素の全ての組み合わせが相互に通信可能である必要はなく、ネットワークNWは、一部にローカルなネットワークを含んでもよい。サービス提供装置4とストレージサーバ5とは、一部または全部は、統合されて一つの装置とされてもよい。ストレージサーバ5は、サービス提供装置4に通信可能に接続されているが、これに限定されず、ネットワークNWを介してサービス提供装置4に接続されていてよい。
<キッチンスタジオの構成要素例>
次に、キッチンスタジオ2が備える構成要素例を説明する。
図3は、本実施形態に係るキッチンスタジオ2が備える構成要素の一例を示すブロック図である。図3に示すように、キッチンスタジオ2は、構成要素として撮影装置201A、201B、・・・、音声入力部202、表示装置203、操作部204、および通信部205を備える。
撮影装置201A、201B、・・・は、撮影した動画を通信部205に出力する。なお、撮影装置201A、201B、・・・を区別しない場合、撮影装置201という。撮影装置201A、201B、・・・のそれぞれの撮影範囲は、キッチンスタジオ2において調理者が調理を行う様子を撮影可能な範囲である。撮影装置201Aの撮影範囲は、例えば、調理者の頭部から手元を含む範囲である。撮影装置201Bの撮影範囲は、例えば、調理者の手元を含む範囲である。以下の説明では、説明を簡単にするため、撮影装置201が2つの場合を説明する。また、撮影装置201Aが撮影した動画を動画Aといい、撮影装置201Bが撮影した動画を動画Bという。なお、撮影装置201が撮影する動画の縦横比は、例えば1:1である。
音声入力部202は、マイクロフォンであり、収音した音声を通信部205に出力する。なお、音声には、調理時の音(刻む音、洗う音、炒めたり焼いたりするときに発生する音)等も含まれる。なお、音声入力部202は、複数のマイクロフォンを備えていてもよい。このように複数のマイクロフォンを備える場合は、第1のマイクロフォンが調理者の声を収音し、第2のマイクロフォンが作業スペースの音を収音するようにしてもよい。
表示装置203は、通信部205が出力する画像を表示する。画像には、テキストと店舗情報が含まれる。表示装置203は、例えば液晶表示装置、有機EL(Electro−Luminescence)表示装置、電子インク表示装置等である。
操作部204は、例えば表示装置203上に設けられたタッチパネルセンサである。操作部204は、利用者(調理者)の操作を検出し、検出した操作結果を通信部205に出力する。
通信部205は、撮影装置201が出力する動画(動画A、動画B)と、音声入力部202が出力する音声に店舗情報を付与した動画を、ネットワークNW(図2)を介してサービス提供装置4(図2)へ送信する。通信部205は、サービス提供装置4が送信した画像を取得し、取得した画像を表示装置203に出力する。通信部205は、操作部204が出力する操作結果を、ネットワークNWを介してサービス提供装置4へ送信する。
<店舗端末の構成例>
次に、店舗端末31の構成例を説明する。
図4は、本実施形態に係る店舗端末31の構成の一例を示すブロック図である。図4に示すように店舗端末31は、通信部301、操作部302、表示部303、音声入力部304、撮影部305、音声再生部306、記憶部307、および制御部308を備える。
通信部301は、サービス提供装置4が送信した調理動画を受信し、受信した調理動画を制御部308に出力する。通信部301は、制御部308が出力する音声を店舗音声として、ネットワークNW(図2)を介してサービス提供装置4へ送信する。通信部301は、制御部308が出力する画像を店舗画像として、ネットワークNWを介してサービス提供装置4へ送信する。通信部301は、制御部308が出力する操作結果に動画の切り替え指示が含まれている場合に、動画の切り替え指示を、ネットワークNWを介してサービス提供装置4へ送信する。なお、通信部301は、サービス提供装置4に送信する情報に店舗端末31の識別情報を付与する。
操作部302は、例えば機械式のボタンまたは表示部303上に設けられたタッチパネルセンサである。操作部302は、店員や来店客の操作を検出し、検出した操作結果を制御部308に出力する。
表示部303は、制御部308が出力する動画を表示する。表示部303は、例えば液晶表示装置、有機EL表示装置、電子インク表示装置等である。
音声入力部304は、マイクロフォンであり、収音した音声を制御部308に出力する。なお、音声入力部304が収音する音声は、店舗3で店舗端末31の調理動画を見ている来店客の発話や店員の発話である。
撮影部305は、撮影した画像を制御部308に出力する。なお、画像は静止画であっても動画であってもよい。なお、撮影部305が撮影する画像は、店舗3で店舗端末31に所定範囲にいる来店客を含む画像である。
音声再生部306は、制御部308が出力する調理動画に含まれる音声を再生する。音声再生部306は、スピーカーである。
記憶部307は、店舗端末31の識別情報を記憶する。記憶部307は、店舗情報を記憶する。なお、制御部308は、操作部302を例えば店舗の店員が操作した結果に基づいて店舗名または店舗番号を記憶部307に記憶させてもよい。または、制御部308は、店舗端末31の設置時に店員の発話を収音し、収音した音声に店舗端末31の識別情報を付与して、通信部301を介してサービス提供装置4へ送信するようにしてもよい。この場合、サービス提供装置4は、受信した音声に対して音声認識処理を行い、音声認識処理した結果に基づいて店舗情報を決定し、決定した店舗情報を店舗端末31へ送信するようにしてもよい。そして、制御部308は、サービス提供装置4から受信した店舗情報を記憶部307に記憶させるようにしてもよい。これにより、店員は、店舗端末31を操作せずに、音声によって店舗情報を店舗端末31に登録することができる。
制御部308は、通信部301が出力する調理動画に含まれる動画を表示部303に出力する。制御部308は、通信部301が出力する調理動画に含まれる音声を音声再生部306に出力する。制御部308は、操作部302が出力する操作結果を通信部301に出力する。制御部308は、音声入力部304が出力する音声を通信部301に出力する。制御部308は、撮影部305が出力する画像を通信部301に出力する。なお、制御部308は、通信部301に出力する動画、音声、操作結果に記憶部307が記憶する店舗情報を付与する。
<サービス提供装置の構成例>
次に、サービス提供装置4の構成例を説明する。
図5は、本実施形態に係るサービス提供装置4の構成の一例を示すブロック図である。図5に示すように、サービス提供装置4は、通信部401、操作部402、表示部403、記憶部404、および制御部410を備える。
また、制御部410は、画像切替部411、音声認識部412、および配信ファイル生成部413を備える。
通信部401は、キッチンスタジオ2が送信した動画(動画A、動画B)を受信し、受信した動画(動画A、動画B)を制御部410に出力する。通信部401は、キッチンスタジオ2が送信した操作結果を受信し、受信した操作結果を制御部410に出力する。通信部401は、店舗端末31が送信した店舗画像を受信し、受信した店舗画像を制御部410に出力する。通信部401は、店舗端末31が送信した店舗音声を受信し、受信した店舗音声を制御部410に出力する。通信部401は、店舗端末31が送信した動画の切り替え指示を受信し、動画の切り替え指示を制御部410に出力する。通信部401は、店舗端末31が送信した店舗端末31の識別情報と店舗情報を受信し、受信した店舗端末31の識別情報と店舗情報を制御部410に出力する。なお、上述したように、店舗音声、店舗画像、動画の切り替え指示、および店舗端末31の識別情報と店舗情報それぞれには、店舗端末31の識別情報が付与されている。通信部401は、制御部410が出力する調理動画を通信部401に出力する。なお、制御部410が出力する調理動画には、送信先の店舗端末31の識別情報が含まれている。通信部401は、制御部410が出力する画像をキッチンスタジオ2に送信する。なお、制御部410が出力する画像には、店舗画像およびテキストのうち少なくとも1つが含まれている。
操作部402は、例えば機械式のボタン、または表示部403上に設けられたタッチパネルセンサ、あるいはキーボードやマウスである。操作部402は、サービス提供装置4の利用者の操作を検出し、検出した操作結果を制御部410に出力する。
表示部403は、制御部410が出力する画像を表示する。表示部403は、例えば液晶表示装置、有機EL表示装置、電子インク表示装置等である。
記憶部404は、音声認識処理やテキスト化に用いられる学習モデルや辞書データを記憶する。記憶部404は、画像認識処理に用いられる調理者が調理を行っている画像を切り取るための画像モデル、手元の画像モデル、調理器具の画像モデル、食器の画像モデル、食材の画像モデル等を記憶する。記憶部404は、店舗情報(店舗名または店舗番号等)を記憶する。記憶部404は、店舗端末31の識別情報に店舗情報を関連づけて記憶する。記憶部404は、ユーザ端末61の識別情報に店舗情報を関連づけて記憶する。
制御部410は、操作部402が出力する操作結果を取得する。制御部410は、通信部401が出力する動画Aと動画Bを取得する。制御部410は、通信部401が出力する音声を取得する。制御部410は、取得した動画Aと動画Bを表示部403上に、例えば左右に並べて表示させる。または、表示部403が複数の場合、制御部410は、取得した動画Aを第1の表示部403上に表示させ、動画Bを第2の表示部403上に表示させるようにしてもよい。制御部410は、通信部401が出力する動画の切り替え指示を取得する。制御部410は、通信部401が出力する店舗画像を取得する。制御部410は、取得した店舗画像を、表示部403上に表示させる。なお、制御部410は、店舗画像を、動画Aや動画Bに重ねて表示してもよく、操作部402の操作に基づいて切り替えて表示させてもよい。また、制御部410は、取得した店舗画像を通信部401に出力する。
制御部410は、取得した動画Aと動画Bのうち、初期設定において例えば調理者の頭部から手元を含む範囲の動画Aを選択する。また、制御部410は、通信部401が出力する店舗操作結果またはサービス提供装置4の操作結果に基づいて通信部401が出力する動画Aと動画Bのうち一方の動画を選択する。制御部410は、選択した1:1の動画に対して、記憶部404が記憶する画像モデルを用いて周知の手法の画像認識処理(パターンマッチング、特徴量抽出等)によって調理者の頭部から手元を含む範囲を抽出して、例えば横:縦の比が9:16の縦長の動画にリサイズする。なお、横と縦との比の9:16は一例であり、縦が横より長ければよい。また、制御部410は、ユーザ端末61に動画を配信する場合、ユーザ端末61の表示部603の縦横比を取得し、取得した縦横比に合わせてリサイズするようにしてもよい。制御部410は、選択した動画に、通信部401が出力する音声と、ストレージサーバ5が記憶する情報を参照して動画の配信先の複数の店舗端末31(例えば31A、31B)それぞれの識別情報を付加して通信部401に出力する。
制御部410は、通信部401が出力する店舗音声を取得し、取得した店舗音声に対して記憶部404が記憶する学習モデルや辞書データを用いて、周知の手法で音声認識処理を行ってテキストに変換する。制御部410は、変換したテキストを通信部401に出力する。制御部410は、通信部401が出力する店舗端末31の識別情報と店舗情報と、記憶部404が記憶する情報に基づいて、店舗端末31に店舗情報を対応付けて記憶部404に記憶させることで、店舗端末31に店舗を紐付ける。
制御部410は、通信部401が出力するユーザ端末61の識別情報と、店舗情報と、記憶部404が記憶する情報に基づいて、ユーザ端末61に店舗情報を対応付けて記憶部404に記憶させることで、ユーザ端末61に店舗を紐付けて記憶する。なお、制御部410は、ユーザ端末61から位置情報を受信した場合、受信した位置情報に基づいて来店客が来店した店舗3を推定し、推定した店舗3に基づく店舗情報をユーザ端末61に紐付けて記憶させるようにしてもよい。
画像切替部411は、動画の切り替え指示に応じて、キッチンスタジオ2から受信した動画を切り替える。例えば、画像切替部411は、動画Aから動画Bに切り替える。
音声認識部412は、取得した店舗音声に対して記憶部404が記憶する学習モデルや辞書データを用いて、周知の手法で音声認識処理を行ってテキストに変換する。
配信ファイル生成部413は、画像切替部411が切り替えた動画に音声(キッチンスタジオ2から受信した音声)をあわせて調理動画を生成する。また、配信ファイル生成部413は、生成した調理動画を用いて、後述するように各画質およびレートの調理動画を生成する。
<ユーザ端末の構成例>
次に、ユーザ端末61の構成例を説明する。
図6は、本実施形態に係るユーザ端末61の構成の一例を示すブロック図である。図6に示すようにユーザ端末61は、通信部601、操作部602、表示部603、音声入力部604、撮影部605、音声再生部606、記憶部607、および制御部608を備える。
通信部601は、制御部608が出力した情報を、ネットワークNW(図2)を介してサービス提供装置4へ送信する。通信部601は、サービス提供装置4から受信した情報を制御部608に出力する。制御部608が出力した情報には、操作部602が操作されたユーザ操作結果、ユーザ端末61の識別情報、ログイン情報、会員情報、店舗情報等が含まれている。なお、通信部601は、GPS(Global Positioning System; 全地球無線測位システム)受信部を備えていてもよい。この場合、通信部601は受信した測位情報を制御部608に出力する。通信部601は、制御部608が出力する位置情報をサービス提供装置4に送信する。
操作部602は、例えば機械式のボタンまたは表示部603上に設けられたタッチパネルセンサである。操作部602は、ユーザ端末61の利用者の操作を検出し、検出したユーザ操作結果を制御部608に出力する。操作結果は、例えば、サービス提供装置4へのログイン要求、来店した店舗3の店舗情報等である。
表示部603は、制御部608が出力する情報を表示する。表示部603は、例えば液晶表示装置、有機EL表示装置、電子インク表示装置等である。制御部608が出力する情報は、例えば、調理の実演がリアルタイムで配信される店舗に関する情報(店舗名、場所)、日時、調理者名等の情報である。表示部603は、アプリケーションの画面を表示する。表示部603は、制御部608が出力する調理動画に含まれる動画を表示する。
音声入力部604は、マイクロフォンであり、収音した音声を制御部608に出力する。なお、音声入力部604が収音する音声は、ユーザ端末61の利用者の発話である。
撮影部605は、撮影した二次元コードの画像を制御部608に出力する。なお、二次元コードは、例えばイベント会場で販売される商品に貼られている商品ラベルに印字されている。
音声再生部606は、制御部608が出力する調理動画に含まれる音声を再生する。音声再生部606は、スピーカーである。
記憶部607は、ユーザ端末61の識別情報を記憶する。記憶部607は、本サービスを利用するためのアプリケーションを記憶する。記憶部607は、ユーザ端末61の利用者に関する情報を記憶する。
制御部608は、通信部601が出力する情報を表示部603に出力する。制御部608は、利用者が操作部602を操作したユーザ操作結果に基づいて、記憶部607が記憶するアプリケーションを起動する。制御部608は、操作部602が出力する操作結果に基づいて、ログイン要求、来店した店舗情報等をユーザ操作結果として生成し、生成したユーザ操作結果を通信部601に出力する。制御部608は、音声入力部604が出力する音声を通信部601に出力する。制御部608は、撮影部605が出力した二次元コードの画像に対して周知の手法で画像処理を行い、画像処理した結果に基づいて、二次元コードに埋め込まれているurl(uniform resource locator)アドレスに通信部601を制御してアクセスして、後述するように調理動画を再生する。また、制御部608は、二次元コードに含まれている店舗情報を抽出して、抽出した店舗情報にユーザ端末61の識別情報を関連づけて通信部601に出力する。制御部508は、通信部601が出力する測位情報を取得できた場合、取得した測位情報に基づいて位置情報を生成する。制御部608は、生成した位置情報を通信部601に出力する。
なお、ユーザ端末61によって、調理動画を再生する例や質問や感想をサービス提供装置4へ送信する例や店舗端末31の画像を切り替える例については、後述する。
<ストレージサーバが記憶する情報例>
次に、ストレージサーバ5が記憶する情報例を説明する。
図7と図8は、本実施形態のストレージサーバ5が記憶する情報例を示す図である。なお、図7、図8に示す情報は一例であり、これに限らない。
図7に示すように、ストレージサーバ5は、店舗情報、会員情報、レシピ情報、調理者情報等を記憶する。
店舗情報は、例えば、店舗の識別情報、店舗番号、店舗名、店舗の所在地等の情報を含む。
会員情報は、本サービスを利用する会員に関する情報であり、例えば、会員の識別情報、氏名、利用店舗、住んでいる場所の住所、性別、年齢、好みのレシピ、会員レベル等の情報を含む。会員種別とは、有料会員、または無料会員である。
レシピ情報は、調理方法、材料等の情報を含む。
調理者情報は、キッチンスタジオ2(図2)で調理を行う調理者に関する情報であり、例えば、調理者の氏名、経歴、著書、得意な料理等の情報を含む。
図8に示すように、ストレージサーバ5は、利用者(来店客)の識別情報に、利用店舗の識別情報と、会員種別(来店客の種別)と、好みのレシピとを関連付けて記憶する。例えば、利用者の識別情報「ID001」に、利用店舗の識別情報「ST001」と会員種別「有料会員」と好みのレシピとを関連付けて記憶する。なお、利用者の利用店舗が複数の場合、ストレージサーバ5は、優先順位を付けて複数の利用店舗の識別情報を利用者の識別情報に関連付けてもよい。同様に、ストレージサーバ5は、優先順位を付けて複数の好みのレシピを利用者の識別情報に関連付けてもよい。
なお、来店客が会員ではない場合、来店客の種別は「非会員」である。
<店舗端末の設置例>
次に、店舗端末31の設置例を説明する。
図9は、本実施形態に係る店舗端末31の設置例を示す図である。図9(A)と図9(B)において、水平方向をx軸方向、高さ方向をy軸方向とする。図9(A)は、第1の設置例であり、設置台391に店舗端末31を取り付けて設置する例である。図9(B)は、第2の設置例であり、例えば店舗の柱392に店舗端末31を取り付けて設置する例である。なお、図9に示した設置例は一例であり、これに限らない。例えば、店舗端末31は、店舗3の壁や天井等に設置してもよい。
また、図9に示すように、店舗端末31の表示部303は、y軸方向が長手である縦長の形状である。このように表示部303が縦長の理由を説明する。
図10は、表示部の形状が縦長の場合と横長の場合を示す図である。図10(A)は、実施形態の表示部303の形状が縦長の例である、図10(B)は、比較例であり表示部903の形状が横長の例である。図10において、画面サイズは同じであり、縦長の表示部303の画面サイズは、縦がH(cm)、横がL(cm)である。なお、Hの方がLより長く、例えば40インチであればHが88.39(cm)、Lが49.78(cm)である。また、横長の表示部903の画面サイズは、縦がL(cm)、横がH(cm)である。
図10(A)に示すように、表示部303の形状が縦長の場合は、調理者の頭部から手元の範囲を、y軸方向に長さHで表示することができる。このため、調理者の表示部303に占める面積は、画面サイズが40インチの場合に最大で約4400cm(=88.39×49.78)となる。
実施形態に対して、図10(B)に示す比較例の表示部903の形状が横長の場合は、調理者の頭部から手元の範囲を、y軸方向に長さHより短いLでしか表示できない。このため、調理者の表示部903に占める面積は、画面サイズが40インチの場合に表示部303と同じ比率であるとすれば、88.39:49.78=49.78:x1より、横幅x1が28.04(cm)となるので、最大で約1396cm(=49.78×28.04)となる。
このように、表示部303が縦長の形状の場合、画面サイズが同じ横長の形状の表示部903に比べて、調理者の表示面積を約3倍(=4400÷1396)の大きさで表示することができる。
また、上述したように、キッチンスタジオ2の撮影装置201が撮影する動画の縦横比は、例えば1:1である。サービス提供装置4の制御部410は、キッチンスタジオ2から受信した動画に対して、図10(A)に示すように、画像認識処理によって調理者の頭部から手元を含む範囲を抽出して縦長の動画にリサイズとする。また、撮影装置201が撮影する調理動画では、手元が動画の中心あたりになるように撮影することが好ましい。サービス提供装置4の制御部410は、キッチンスタジオ2から受信した調理動画から動画Aをリサイズするとき、手元が動画の中心あたりになるようにしてもよい。
<店舗端末に配信される動画例>
次に、サービス提供装置4から店舗端末31へ配信される調理動画例を説明する。
図11は、本実施形態に係るサービス提供装置4から店舗端末31へ配信される調理動画や画像例を示す図である。
符号g101は、調理者の頭部から手元を含む範囲の動画Aの例である。動画がリアルタイムで配信されている場合、動画には符号g102のように「生放送」であることを示す情報が含まれる。
符号g111、g121およびg131は、店舗端末31の操作部302(図4)が来店客によって操作された場合に、またはサービス提供装置4の操作部402がサービス提供装置4の操作者によって操作された場合に、配信される動画である。
符号g111は、調理者の手元を含む範囲の動画Bの例である。
符号g121は、調理者の紹介の画像である。なお、紹介の画像には静止画、動画、テキストのうち少なくとも1つが含まれる。サービス提供装置4は、紹介する情報が多い場合、例えば氏名以外の紹介文(符号g112)を縦方向にスクロールさせて表示するような動画として配信する。
符号g131は、調理を行っている材料(含む調味料)やレシピの説明画面である。なお、説明画面には、静止画、動画、テキストのうち少なくとも1つが含まれる。
なお、サービス提供装置4は、後述するように、符号g101、g111、g121、およびg131の動画や画像を、店舗3(図2)に来店した客が所持するユーザ端末61にも配信するようにしてもよい。
なお、図11に示した例では、店舗3(図2)に1つの店舗端末31が設置されている場合を例に説明したが、店舗3に複数の店舗端末31が設置されている場合、符号g101、g111、g121、およびg131の動画や画像を店舗端末31それぞれに表示させるようにしてもよい。
なお、例えばレシピの画像(符号g131)は、店舗毎に異なっていてもよい。例えば調理動画を配信する先がスーパーA系列とスーパーB系列の場合、サービス提供装置4は、スーパーA系列の店舗に配信するレシピのみに「本日の特売」等の情報を付加してもよい。
図12は、1つの店舗に3つの店舗端末31A1〜31A3が設置されている場合に表示される調理動画や画像の例を示す図である。
サービス提供装置4(図2)は、店舗に設置される店舗端末31A1〜31A3それぞれの識別情報を取得する。サービス提供装置4は、店舗端末31の操作部302(図4)が操作された結果に基づいて店舗端末31の識別情報と店舗情報を取得してもよい。または、サービス提供装置4は、店舗端末31がGPS(Global Positioning System;全地球測位システム)の受信装置(不図示)を備えている場合、所定範囲内の位置情報を有する複数の店舗端末31が同一店舗3に設置されていると判定するようにしてもよい。
図12に示す例において、サービス提供装置4は、符号g101のように第1の店舗端末31A1に動画Aを配信し、符号g111のように第2の店舗端末31A2に動画Bを配信し、符号g131のように第3の店舗端末31A3にレシピの画像を配信する。
この結果、店舗端末31A1が調理動画である動画Aを表示し、店舗端末31A2は調理動画である動画Bを表示し、店舗端末31A3はレシピの画像を表示する。
なお、図12のように、1つの店舗3に複数の店舗端末31が設置されている場合であっても、全ての店舗端末31A1〜31A3に同じ調理動画や画像を表示させるようにしてもよい。
<情報処理システムの処理手順例>
次に、情報処理システム1の処理手順例を説明する。
図13は、本実施形態に係る情報処理システム1の処理手順例のシーケンス図である。なお、以下の例では、調理を実演している様子をリアルタイムで配信するイベントを、店舗端末31Aが設置される店舗3A(図2)、店舗端末31Bが設置される店舗3B(図2)に配信する例である。なお、図13に示す処理手順は一例であり、これに限らない。
(ステップS1)サービス提供装置4の制御部410は、調理を実演して、その様子を配信するイベント開催に関する通知を複数のユーザ端末61へ送信する。イベント開催の通知には、開催する店舗、店舗の場所、開催日時、調理者に関する情報、調理される料理名等が含まれる。また、通知を送信するユーザ端末61は、例えば本サービスを利用している有料会員と無料会員それぞれが所持する端末である。なお、制御部410は、イベントの通知を、SNS(social networking service;ソーシャル・ ネットワーキング・サービス)等によって行ってもよい。
(ステップS2)ユーザ端末61の制御部608は、サービス提供装置4が送信した通知を受信し、受信した通知を表示部603上に表示させる。
(ステップS3)ユーザ端末61の利用者(来店客)は、通知に記載された日時に、イベントが開催される店舗に来店する。続けて、ユーザ端末61の制御部608は、来店客が操作部602を操作したユーザ操作結果に基づいてアプリケーションを起動する。続けて、制御部608は、アプリケーションに応じて、ログイン要求をサービス提供装置4へ送信する。
(ステップS4)サービス提供装置4の制御部410は、ユーザ端末61が送信したログイン要求を受信する。なお、ログイン要求には、ユーザ端末61の識別情報、利用者の識別情報、位置情報等が含まれている。続けて、制御部410は、受信したログイン要求に含まれる利用者の識別情報や位置情報に基づいて、イベントを開催する店舗に来店した来店客を把握する。
(ステップS5A)店舗端末31Aの制御部308は、店舗端末31Aの識別情報と店舗情報(店舗に関する情報)をサービス提供装置4へ送信する。
(ステップS5B)店舗端末31Bの制御部308は、店舗端末31Bの識別情報と店舗情報をサービス提供装置4へ送信する。
(ステップS6)サービス提供装置4の制御部410は、店舗端末31Aから受信した情報と記憶部404が記憶する情報に基づいて、店舗端末31Aと店舗3Aを紐付ける。また、制御部410は、店舗端末31Bから受信した情報と記憶部404が記憶する情報に基づいて、店舗端末31Bと店舗3Bを紐付ける。
(ステップS7)キッチンスタジオ2の撮影装置201は、調理者が調理を行っている様子を撮影する。キッチンスタジオ2の音声入力部202は、調理者が調理を行っている様子の音声を収音する。続けて、キッチンスタジオ2の通信部205は、撮影した動画と、収音した音声をサービス提供装置4へ送信する。
(ステップS8)サービス提供装置4の制御部410は、キッチンスタジオ2から受信した動画を縦長にリサイズし、リサイズした動画と音声を調理動画として店舗端末31Aと店舗端末31Bに配信する。なお、制御部410は、受信した動画と音声を、ストレージサーバ5に記憶させる。
(ステップS9A)店舗端末31Aの制御部308は、サービス提供装置4から受信した調理動画を表示部303に表示させ、調理動画に含まれる音声を音声再生部306で再生する。
(ステップS9B)店舗端末31Bの制御部308は、サービス提供装置4から受信した調理動画を表示部303に表示させ、調理動画に含まれる音声を音声再生部306で再生する。
(ステップS10A)店舗端末31Aの制御部308は、撮影部305が撮影した店舗画像Aをサービス提供装置4に送信する。なお、店舗画像Aには、店舗端末31Aの所定範囲にいる来店客の画像と店舗端末31Aの識別情報が含まれている。
(ステップS10B)店舗端末31Bの制御部308は、撮影部305が撮影した店舗画像Bをサービス提供装置4に送信する。なお、店舗画像Bには、店舗端末31Bの所定範囲にいる来店客の画像と店舗端末31Bの識別情報が含まれている。
(ステップS11)サービス提供装置4の制御部410は、店舗端末31Aが送信した店舗画像Aを受信する。制御部410は、店舗端末31Bが送信した店舗画像Bを受信する。続けて、制御部410は、店舗端末31Aから受信した店舗画像Aに店舗3Aの店舗情報を付与し、店舗端末31Bから受信した店舗画像Bに店舗3Bの店舗情報を付与してキッチンスタジオ2に送信する。
(ステップS12)キッチンスタジオ2の通信部205は、サービス提供装置4が送信した店舗画像Aと店舗画像Bを受信する。続けて、キッチンスタジオ2の表示装置203は、受信された店舗画像Aと店舗画像Bを表示する。
(ステップS13A)店舗端末31Aの制御部308は、収音した店舗音声Aをサービス提供装置4に送信する。なお、店舗音声Aには、店舗3Aの店舗情報が含まれている。
(ステップS13B)店舗端末31Bの制御部308は、収音した店舗音声Bをサービス提供装置4に送信する。なお、店舗音声Bには、店舗3Bの店舗情報が含まれている。
(ステップS14)サービス提供装置4の制御部410は、店舗端末31Aが送信した店舗音声Aを取得し、取得した店舗音声Aに対して音声認識処理を行いテキストに変換する。制御部410は、店舗端末31Bが送信した店舗音声Bを取得し、取得した店舗音声Bに対して音声認識処理を行いテキストに変換する。なお、制御部410は、変換したテキストに、受信した店舗端末31に紐付けられている店舗情報を付与する。続けて、制御部410は、店舗端末31Aから受信した店舗音声Aに基づくテキストAと、店舗端末31Bから受信した店舗音声Bに基づくテキストBと、をキッチンスタジオ2へ送信する。
(ステップS15)キッチンスタジオ2の通信部205は、サービス提供装置4が送信したテキストAとテキストBを受信する。続けて、表示装置203は、受信されたテキストA(含む店舗3Aの店舗情報)とテキストB(含む店舗3Bの店舗情報)を表示する。続けて、調理者は、表示装置203上に表示されたテキストの中から質問に答えるテキストを、操作部204を操作して選択する。続けて、通信部205は、選択されたテキストをサービス提供装置4へ送信するようにしてもよい。
(ステップS16)サービス提供装置4の制御部410は、キッチンスタジオ2から受信したテキストを店舗端末31A、31Bへ送信する。店舗端末31A、31Bの制御部308それぞれは、受信したテキストをそれぞれの表示部303上に表示させる。これにより、店舗3Aおよび店舗3Bそれぞれの来店客は、どの店舗からの質問に調理者が答えているかを知ることができる。
(ステップS17)店舗端末31Aの制御部308は、操作部302が来店客によって操作された操作結果に動画の切り替え指示が含まれている場合、この動画の切り替え指示をサービス提供装置4へ送信する。送信する動画の切り替え指示には、店舗端末31Aの識別情報が含まれている。
(ステップS18)サービス提供装置4の制御部410は、店舗端末31Aが送信した動画の切り替え指示をキッチンスタジオ2へ送信する。送信する動画の切り替え指示には、動画の切り替え指示を送信した店舗端末31Aの識別情報が含まれている。
(ステップS19)キッチンスタジオ2の通信部205は、サービス提供装置4が送信した動画の切り替え指示に基づいて、配信する動画を、例えば、調理者の頭部から手元を含む範囲の動画Aから、調理者の手元を含む範囲の動画Bに切り替える。続けて、通信部205は、撮影した動画と、収音した音声をサービス提供装置4へ送信する。送信する動画には、動画の切り替え指示を送信した店舗端末31Aの識別情報が含まれている。
(ステップS20)サービス提供装置4の制御部410は、キッチンスタジオ2から受信した動画と音声を店舗端末31Aと店舗端末31Bそれぞれに配信する。なお、制御部410は、キッチンスタジオ2から受信した動画と音声を、切り替え指示を受けた店舗端末31Aのみに配信するようにしてもよい。
以下、店舗端末31A、31Bの制御部308は、ステップS7A,S7Bと同様に、受信した動画を表示させ、受信した音声を再生する。
<動作例>
ここで、図13に示した処理を行った場合の情報処理システム1の動作例を説明する。
まず、サービス提供者は、イベントを実施する日時と、そのイベントの動画を配信する店舗を決定する。
次に、サービス提供装置4は、決定した情報を、例えばその店舗を利用している会員のユーザ端末61に通知する。
次に、ユーザ端末61の利用者は、通知された情報に基づいて、イベントが行われる店舗へ来店し、ユーザ端末61を操作してアプリケーションを起動する。これにより、ログイン処理が行われる。
次に、サービス提供装置4は、キッチンスタジオ2で撮影された調理動画を配信先の店舗端末31それぞれに配信する。初期状態では、配信する調理動画は、調理者の頭部から手先までの範囲を含む動画Aである。
動画の配信中、サービス提供装置4は、店舗端末31が撮影した店舗にいる客の様子の画像をキッチンスタジオ2へ送信する。この画像は、キッチンスタジオ2の表示装置203上に表示され、調理者が確認することができる。
また、動画の撮影中、来店客が店舗端末31の操作部302を操作して、調理者へ質問を音声で行う。サービス提供装置4は、この音声に対して音声認識処理を行ってテキストに変換し、変換したテキストをキッチンスタジオ2へ送信する。このテキストは、キッチンスタジオ2の表示装置203上に表示され、調理者が確認することができる。また、テキストには、どの店舗にいる来店客からの質問であるかを示す情報(例えば店舗名)が付与されて表示される。なお、実施形態において、質問には感想を含む。
調理者は、表示装置203上に表示されたテキストの中から質問に答えるテキストを、操作部204を操作して選択する。キッチンスタジオ2は、選択されたテキストをサービス提供装置4へ送信する。そして、サービス提供装置4は、キッチンスタジオ2から受信したテキストを店舗端末31A、31Bへ送信する。
店舗端末31A、31Bそれぞれは、受信したテキストをそれぞれの表示部303上に表示させる。調理者は、選択した質問に音声で答える。この音声は、店舗端末31A、31Bそれぞれに調理動画と一緒に配信される。これにより、本実施形態によれば、各店舗3に来店している客は、どの質問に調理者が答えているかを知ることができる。
店舗端末31Aは、店舗3に来店している来店客が操作部302を操作された結果に基づいて、画面の切り替え指示をサービス提供装置4へ送信する。この画面切り替え指示には、操作された店舗端末31の識別情報が含まれている。サービス提供装置4は、受信した画面の切り替え指示に基づいて、動画Aから動画Bに切り替え、切り替えた動画Bを店舗端末31それぞれに配信するようにしてもよい。これにより、本実施形態によれば、同時に配信している複数の店舗のうちのいずれか1つの店舗端末31から受けた指示に応じて、その結果を同時に配信している全ての店舗端末31に反映して配信することができる。
<店舗端末の操作部が操作された場合の情報処理システムの動作例>
次に、店舗端末31が操作された場合の情報処理システムの動作例を説明する。
図14は、本実施形態に係る店舗端末31が操作されて質問が行われ調理者が返答を行う例を示す図である。
図14に示す例では、来店客が店舗端末31の操作部302を操作して音声で質問を行う。質問内容は「お皿の大きさは?」である。店舗端末31は、収音した音声をサービス提供装置4へ送信する。サービス提供装置4は、音声認識処理を行ってテキストに変換し、変換したテキストに店舗3を示す情報を付与してキッチンスタジオ2へ送信する。なお、店舗端末31は、操作部302が操作されたとき、撮影部305(図4)が撮影した画像を音声に関連付けてサービス提供装置4へ送信するようにしてもよい。この場合、サービス提供装置4は、受信した画像から操作部302を操作している来店客の画像を周知の画像処理手法で抽出し、テキストに抽出した画像を関連付けてキッチンスタジオ2へ送信するようにしてもよい。そしてキッチンスタジオ2は、受信したテキストに画像を対応付けて表示するようにしてもよい。これにより、調理者は、例えば質問者が子供の場合に優先的に回答する等の対応ができるので、より調理者と来店客とのコミュニケーションを取ることができる。
店舗端末31は、受信したテキストを表示装置203上に表示させる。符号g201は、表示装置203上に表示される画像(含むテキスト)の例である。符号g211は、店舗端末31から受信した店舗内を撮影した画像である。また、符号g221〜g223は、各店舗3の来店客からの質問のテキストである。また、符号g221〜g223は、ボタンになっており、調理者が表示装置203上の操作部204を操作することで選択可能になっている。図14の例では、符号g223の質問を選択した例である。
キッチンスタジオ2は選択されたテキストと、その質問に対する回答の音声と、撮影した動画をサービス提供装置4へ送信する。
サービス提供装置4は、受信した選択されたテキストと、その質問に対する回答の音声を含む調理動画を各店舗の店舗端末31に送信する。
この結果、店舗端末31の表示部303上には、符号g301のような動画が表示される。この動画には、符号g311のように、キッチンスタジオ2で調理者によって選択されたテキストが含まれていてもよい。また、店舗端末31は、受信した音声を音声再生部306から再生する。
なお、符号g311を表示させる位置は、表示部303の画面の下側が好ましく、手元が隠れない位置にサービス提供装置4が画像を解析して配置する。また、サービス提供装置4は、例えば黒色の背景に白抜きの文字でテキストを表示させる。
なお、図14に示した処理内容、処理手順は一例であり、これに限られない。例えば、回答する質問の選択は、キッチンスタジオ2にいる関係者が選択してもよく、またはサービス提供装置4を操作するサービス提供者が選択するようにしてもよい。
また、サービス提供装置4は、質問内容である符号g311の画像を店舗端末31に送信しなくてもよい。この場合、調理者が選択した質問を読み上げてもよい。例えば、調理者は、「3A店からの質問にお答えします。」と発話した後に、回答の「25cm位です」を発話するようにしてもよい。
次に、店舗端末31が操作された場合の情報処理システムの他の動作例を説明する。
図15は、本実施形態に係る店舗端末31が操作された場合の情報処理システムの他の動作例を示す図である。
図15に示す例では、店舗3の来店客が、操作部302を操作して、配信されている番組のシーンが気に入ったことを意思表示した際に表示部303上に表示される画像の例である。
配信されている番組のシーンが気に入ったことを意思表示したいとき、来店客は操作部302を操作する。なお、操作部302は、質問用のボタンと、お気に入りボタン等を備えていてもよい。
店舗端末31は、この操作結果をサービス提供装置4へ送信する。
サービス提供装置4は、受信した操作結果に基づいて、表示部303に表示させる画像を生成する。図15に示す例では、画像は、ハートマークg321が表示部303の下側から上側にy軸方向に上昇していくアニメーションである。なお、ストレージサーバ5または記憶部404が、このようなハートマークの画像を記憶している。
図15に示した処理手順例を説明する。
図16は、本実施形態に係る店舗端末31によってお気に入りが選択された場合の情報処理システムの処理手順のシーケンス図である。
(ステップS101)来店客は、店舗端末31Aの操作部302のお気に入りボタンを操作する。店舗端末31Aの制御部308は、操作結果をサービス提供装置4へ送信する。なお、操作結果には、店舗端末31Aの識別情報が含まれている。
(ステップS102)サービス提供装置4の制御部410は、受信した操作結果に基づいて、表示部303に表示させる画像(例えばアニメーション画像)を生成する。続けて、制御部410は、生成したアニメーション画像を、店舗端末31Aと31Bへ送信する。なお、制御部410は、アニメーション画像を、お気に入りボタンが押された店舗端末31Aのみに送信するようにしてもよい。
(ステップS103A)店舗端末31Aの制御部308は、受信したアニメーション画像を表示部303上に表示させる。
(ステップS103B)店舗端末31Bの制御部308は、受信したアニメーション画像を表示部303上に表示させる。
なお、サービス提供装置4の制御部410は、受信した操作結果であるお気に入りボタンが選択されたことを示す情報に基づきキッチンスタジオ2の表示装置203上に表示させる画像も生成し、生成した画像をキッチンスタジオ2に送信するようにしてもよい(ステップS111)。
図17は、店舗端末31のお気に入りボタンが押された際に、キッチンスタジオ2へも画像を送信した際に表示装置203上に表示される画像例を示す図である。
符号g202は、表示装置203上に表示される画像(含むテキスト)の例である。符号g211、g221〜g223は、図14と同じである。符号g231は、お気に入りボタンが選択されたことに基づいて表示される画像例である。図17に示す例では、例えばお気に入りボタンが選択された回数に応じて、ハートマークの個数が増えていく。
これにより、調理者は、調理を行っている様子をリアルタイムで視聴している来店客の反応を知ることができる。調理者は、反応が悪い(ハートマークが少ない)場合、説明を詳しくする等、調理中に演出を変更することができる。
また、符号g223の左横のマイクのマーク(符号g232)は、この質問が店舗端末31の音声入力部304によって収音された質問であることを表している。符号g221とg222は、例えばユーザ端末61から受信した質問である。なお、ユーザ端末61からの質問は、音声であってもテキストであってもよい。なお、ユーザ端末61からの質問が音声の場合、サービス提供装置4が音声認識処理を行ってテキストに変換する。なお、マイクのマークの画像は、サービス提供装置4の制御部410が付与する。また、制御部410は、ユーザ端末61から受信した質問に対して、ユーザ端末61を示すマークを付与するようにしてもよい。なお、このようなマイクのマーク等の画像は、記憶部404が記憶している。
調理者は、このように、質問の横に表示されるマークによって、質問が店舗端末31からなのかユーザ端末61からなのかを認識できる。調理者は、例えば、このマークを見て店舗端末31からの質問を優先して答えるようにしてもよい。
なお、図17に示した例は一例であり、これに限らない。例えば、表示装置203上に表示させるマークの画像は、店舗端末31の表示部303上に表示させる画像と同じでもよく、異なっていてもよい。
また、表示装置203は、来店客からの質問を図17のように受信した時系列で表示してもよく、または、店舗毎に分類して表示するようにしてもよい。なお、分類は、サービス提供装置4が分類して送信してもよく、表示装置203が分類を行ってもよい。
<ユーザ端末に表示させる例>
上述した例では、サービス提供装置4が調理動画を店舗端末31に配信する例を説明したが、ユーザ端末61にリアルタイムで配信するようにしてもよい。なお、以下の例では、本サービスの会員に配信する例を説明する。
図18は、本実施形態に係るサービス提供装置4が動画をユーザ端末61に配信する処理手順例のシーケンス図である。なお、以下の処理は、図13において、例えばステップS6の処理が行われた後に行われる。
(ステップS201)来店客は、ユーザ端末61の操作部602を操作してアプリケーションを選択する。ユーザ端末61の制御部608は、アプリケーションを起動して、ユーザ端末61の識別情報と位置情報をサービス提供装置4へ送信する。
(ステップS202)サービス提供装置4の制御部410は、ユーザ端末61から受信した情報に基づいて、来店客が来店している店舗3を推測する。続けて、制御部410は、ユーザ端末61と店舗情報を紐付ける。本実施形態では、このようにユーザ端末61と店舗情報とを紐付けるとこと、来店客に関する情報と店舗とを紐付けている。この場合、来店客に関する情報はユーザ端末である。
(ステップS203)来店客は、ユーザ端末61の操作部602を操作して動画の配信リクエストを選択する。続けて、制御部608は、操作部602が操作された操作結果に基づいて、配信リクエストをサービス提供装置4へ送信する。なお、配信リクエストには、利用者の識別情報、ユーザ端末61の識別情報が含まれている。
(ステップS204)サービス提供装置4の制御部410は、調理動画(動画、音声)を、配信リクエストを受信したユーザ端末61へ配信する。
(ステップS205)ユーザ端末61の制御部608は、サービス提供装置4から受信した調理動画を表示部603に表示させ、調理動画に含まれる音声を音声再生部606で再生する。
(ステップS206)来店客は、ユーザ端末61の操作部602を操作して、動画の切り替え指示を選択する。続けて、制御部608は、操作部602が操作された操作結果に基づいて、切り替え指示をサービス提供装置4へ送信する。なお、切り替え指示には、利用者の識別情報、ユーザ端末61の識別情報が含まれている。
(ステップS207)サービス提供装置4の制御部410は、ユーザ端末61から受信した切り替え指示に基づいて、配信する調理動画を、例えば、調理者の頭部から手元を含む範囲の動画Aから、調理者の手元を含む範囲の動画Bに切り替える。続けて、サービス提供装置4の制御部410は、キッチンスタジオ2から受信した動画のうち配信する動画を切り替え、切り替えた動画を含む調理動画をユーザ端末61に配信する。
(ステップS208)ユーザ端末61の制御部608は、サービス提供装置4から受信した動画を表示部603に表示させ、音声を音声再生部606で再生する。
(ステップS209)来店客は、ユーザ端末61の操作部602を操作して、質問リクエストを選択する。続けて、制御部608は、操作部602が操作された操作結果に基づいて、質問リクエストをサービス提供装置4へ送信する。なお、質問リクエストには、利用者の識別情報、ユーザ端末61の識別情報が含まれている。
(ステップS210)ユーザ端末61の制御部608は、収音したユーザ音声(質問)をサービス提供装置4へ送信する。なお、制御部608は、ユーザ音声に、ユーザ端末61の識別情報を付与して送信する。
(ステップS211)サービス提供装置4の制御部410は、ユーザ端末61が送信したユーザ音声を取得し、取得したユーザ音声に対して音声認識処理を行いテキストに変換する。なお、サービス提供装置4の制御部410は、変換したテキストに、紐付けた店舗情報を付与する。続けて、制御部410は、ユーザ端末61から受信したユーザ音声に基づくテキストをキッチンスタジオ2へ送信する。なお、送信する情報には、店舗情報が含まれている。
(ステップS212)キッチンスタジオ2の通信部205は、サービス提供装置4が送信したテキストを受信する。続けて、表示装置203は、受信されたテキストを表示する。なお、表示されるテキストには、店舗情報が含まれる。続けて、調理者は、表示装置203上に表示されたテキストの中から質問に答えるテキストを、操作部204を操作して選択する。
(ステップS213)キッチンスタジオ2の通信部205は、質問に対する返答の音声、撮影した動画をサービス提供装置4へ送信する。
(ステップS214)サービス提供装置4の制御部410は、キッチンスタジオ2から受信した動画と音声を調理動画とし、かつユーザ端末61に適した画質とレートで配信する。また、制御部410は、キッチンスタジオ2から受信した動画と音声を調理動画とし、かつ店舗端末31に適した画質とレートで配信する。
(ステップS215)来店客は、ユーザ端末61の操作部602を操作して、お気に入りを示す、例えば「いいね!」ボタン画像(図21参照)を選択する。続けて、制御部608は、操作部602が操作された操作結果に基づいて、お気に入りを示す情報をサービス提供装置4へ送信する。また、お気に入りを示す情報には、ユーザ端末61の識別情報が含まれている。
(ステップS216)サービス提供装置4の制御部410は、受信した操作結果に基づいて、表示部303に表示させる画像(例えばアニメーション画像)を生成する。続けて、制御部410は、生成したアニメーション画像を、ユーザ端末61と店舗端末31へ送信する。
なお、ユーザ端末61の制御部608は、来店客に関する情報も合わせて送付するようにしてもよい。この場合、サービス提供装置4の制御部410は、受信した情報に基づいて、来店客の会員種別を判別するようにしてもよい。そして、制御部410は、ユーザ端末61から質問を受信した、ストレージサーバ5が記憶する情報を参照してその来店客の会員の種類を確認する。確認した結果、例えば質問者が有料会員の場合、制御部410は、質問の横に有料会員であることを示すマーク、または質問のテキストの色を変えてキッチンスタジオ2へ送信するようにしてもよい。これにより、調理者は、例えば有料会員からの質問を優先的に回答することができる。
なお、このように、ユーザ端末61から質問を行う場合、後述するようにユーザ端末61は、商品に添付等されている二次元コードを読み込み、二次元コードに含まれる店舗情報をサービス提供装置4に送信するようにしてもよい。なお、二次元コードについては、図24を用いて後述する。
<サービス提供装置4が紐付ける情報>
ここで、サービス提供装置4が紐付ける情報例を説明する。
図19は、本実施形態に係るサービス提供装置4が質問に紐付ける情報例を示す図である。
図19に示す例において、サービス提供装置4の制御部410は、例えば、店舗3Bに来店している来店客Aが所持するユーザ端末61から質問を受信する。質問は、ユーザ端末61が収音した音声であってもよく、ユーザ端末61の操作部602が操作されて入力されたテキストであってもよい。そして、質問の情報には、来店客が来店した店舗3Bに関する情報が含まれている。ここで、店舗3Bに関する情報は、例えば、位置情報、二次元バーコードに含まれる店舗情報のうちの少なくとも1つである。
ユーザ端末61は、例えばイベント会場で販売される商品に添付される商品ラベルに印字されている二次元コードを撮影部605(図6)によって読み込むことでこの店舗3Bに関する情報を取得する。制御部410は、受信した質問に含まれる店舗3Bに関する情報に基づいて、受信した質問に、店舗3Bに対応する店舗情報を関連付ける。このように、サービス提供装置4は、来店客に関する情報と店舗とを紐付ける。なお、この例において、来店客に関する情報には、質問、ユーザ端末61の識別情報、来店客の識別情報、来店客の会員種別、端末の種類(店舗端末31またはユーザ端末61)のうち、少なくとも1つである。
あるいは、制御部410は、店舗3Aに設置されている店舗端末31から質問を受信する。受信した質問の情報には、店舗3Aに関する情報が含まれている。制御部410は、受信した質問に含まれる店舗3Aに関する情報に基づいて、受信した質問に、店舗3Aに対応する店舗情報を関連付ける。このように、サービス提供装置4は、来店客に関する情報と店舗とを紐付ける。なお、この例において、来店客に関する情報には、来店客の質問である。
実施形態では、図1等を用いて説明したように複数の店舗3それぞれに設置される店舗端末31にリアルタイムで調理動画の配信を行う。この結果、店舗3それぞれに来店客が来店し、店舗3それぞれから質問が送信される。例えば、店舗3Aの店舗端末31A(図2参照)から第1の質問が送信され、店舗3Bの店舗端末31B(図2参照)から第2の質問が送信される。これに加えて、店舗3Aに来店している第1の来店客が所持するユーザ端末61A(図2参照)から第3の質問が送信され、店舗3Bに来店している第2の来店客が所持するユーザ端末61C(図2参照)から第3の質問が送信される。このように、制御部410は、複数の店舗端末31からの質問と、複数のユーザ端末61から受信することになる。
このため、サービス提供装置4の制御部410は、来店客に関する情報と店舗情報を紐付けて、キッチンスタジオ2へ送信する。キッチンスタジオ2は、受信した情報を表示装置203に表示させる。この結果、例えば図17に示したように、調理者は、表示装置203に表示された画像によって、どの店舗からの質問であるかを把握することができる。
ここで、仮に複数のユーザ端末61それぞれから店舗3の識別情報を含んでいない質問をサービス提供装置4へ送信した場合を説明する。
この場合、サービス提供装置4が受信した質問をキッチンスタジオ2へ送信した場合は、単に来店客から質問が表示装置203上に表示される。表示装置203上に表示された質問を見ても、調理者は、どの店舗3の来店客からの質問であるかを把握できない。このような質問に調理者が回答しても、質問した来店客には、自分が行った質問への回答であるのか他の人が行った質問への回答であるかがわからない。このように質問がどの店舗からのものであるかが不明の場合は、来店客と調理者との間に一体感や親近感が生まれにくい。
一方、本実施形態では、質問がどの店舗からのものであるかが明確であるので、来店客と調理者との間に一体感や親近感が生まれやすい。
図20は、本実施形態に係るサービス提供装置4が指示に紐付ける情報例を示す図である。図20において、操作部602は、表示部603上に取り付けられているタッチパネルセンサである。
図20に示す例は、店舗3Bの来店客が所持するユーザ端末61から画面の切り替え指示を受信し、店舗3Bに設置されている店舗端末31Bから画面の切り替え指示を受信し、店舗3Aに設置されている店舗端末31Aから画面の切り替え指示を受信した例である。
図20の場合、サービス提供装置4の制御部410は、受信した指示に含まれる情報が店舗端末31の識別情報の場合、店舗端末31に店舗情報を紐付ける。また、制御部410は、受信した指示に含まれる情報がユーザ端末61の識別情報の場合、ユーザ端末61に店舗情報を紐付ける。図20における例では、来店客に関する情報は、店舗端末31またはユーザ端末61である。
この例においても、サービス提供装置4が、来店客に関する情報と店舗情報を紐付けている。これにより、サービス提供装置4は、どの店舗3から画面の切り替え指示を受信したのかを把握することができる。
<ユーザ端末61の表示部603上に表示されるボタン画像例>
次に、ユーザ端末61の表示部603上に表示されるボタン画像例を説明する。
図21は、本実施形態に係るユーザ端末61の表示部603上に表示されるボタン画像例を示す図である。
図21に示す例は、アプリケーション起動後、ログインした後に表示される画面例である。符号g601は、「配信リクエスト」のボタン画像である。符号g602は、「切り替え指示」のボタン画像である。符号g603は、「質問リクエスト」のボタン画像である。符号g604は、「いいね!」のボタン画像である。符号g605は、二次元コードを読み取る「二次元コード」のボタン画像である。符号g606は、「ログアウト」のボタン画像である。
なお、図21に示した画像は一例であり、ボタンの配置、ボタンの数はこれに限らない。
<ユーザ端末に配信される調理画像例>
次に、ユーザ端末61に配信される調理画像例を説明する。
図22は、ユーザ端末61から切り替え指示を受信した場合に配信される動画例を示す図である。図22に示す例は、ユーザ端末61から切り替え指示を受信した場合に、切り替えた動画をユーザ端末61のみに配信する例である。
図22に示す例では、ユーザ端末61から切り替え指示を受信しても、サービス提供装置4は、調理画像を切り替えずに調理者の頭部から手先の範囲の動画Aを店舗端末31へ送信する例である。この結果、店舗端末31は、符号g311に示すように動画Aを表示する。なお、サービス提供装置4は、店舗端末31の通信環境に応じた画質とレートの調理画像を配信する。
一方、サービス提供装置4は、切り替え指示に基づいて、ユーザ端末61へ配信する動画を動画Aから調理者の手先の範囲の動画Bに切り替え、動画Bをユーザ端末61へ配信する。この結果、ユーザ端末61は、符号g631に示すように動画Bを表示する。これにより、会員である利用者は、自分が所持するユーザ端末61によって店舗端末31とは異なる動画、例えば調理者の紹介画像やレシピの画像などを、好きなタイミングで見ることができる。なお、サービス提供装置4は、ユーザ端末61の通信環境に応じた画質とレートの調理画像を配信する。このため、同じ店舗3において、来店客Aがユーザ端末61Aで調理動画を視聴し、来店客Bがユーザ端末61Bで調理動画を視聴する場合は、ユーザ端末61Aの画質およびレートと、ユーザ端末61Bの画質およびレートと、が異なる場合もあり得る。
<録画された動画の配信>
上述した例では、キッチンスタジオ2で撮影された調理動画をリアルタイムで店舗端末31またはユーザ端末61へ配信する例を説明したが、以下の例では録画された調理動画を配信する例を説明する。なお、キッチンスタジオ2で撮影された動画、収音された音声、リアルタイムで配信したときの質問等は、ストレージサーバ5が関連付けて記憶する。
図23は、本実施形態に係る録画された動画を配信する際の情報処理システムの処理手順例のシーケンス図である。
(ステップS301)サービス提供装置4の制御部410は、配信する調理動画(含む音声)を選択する。
(ステップS302)サービス提供装置4の制御部410は、選択した調理動画を店舗端末31A、31Bに配信する。
(ステップS303A)店舗端末31Aの制御部308は、サービス提供装置4から受信した調理動画を表示部303に表示させ、音声を音声再生部306で再生する。
(ステップS303B)店舗端末31Bの制御部308は、サービス提供装置4から受信した調理動画を表示部303に表示させ、音声を音声再生部306で再生する。
(ステップS304)店舗端末31Aの制御部308は、操作部302が利用者によって操作された操作結果に動画の切り替え指示が含まれている場合、この動画の切り替え指示をサービス提供装置4へ送信する。この切り替え指示には、店舗端末31Aの識別情報が含まれている。
(ステップS305)サービス提供装置4の制御部410は、店舗端末31Aから受信した切り替え指示に基づいて、配信する動画を、例えば、調理者の頭部から手元を含む範囲の動画Aから、調理者の手元を含む範囲の動画Bに切り替える。続けて、サービス提供装置4の制御部410は、キッチンスタジオ2から受信した動画のうち配信する動画を切り替え、切り替えた動画と音声を店舗端末31A、31Bに配信する。
このように、録画した動画を配信する場合は、店舗3からの音声による質問は受け付けないが、画面に切り替え指示やお気に入りボタンの選択は受け付けるようにしてもよい。
なお、図13、図23において、切り替え指示を受信した場合に、切り替え指示を受信した店舗端末31とは異なる店舗端末31へも切り替えた動画を配信する例を説明したが、サービス提供装置4は切り替え指示を受け取った店舗端末31のみに切り替えた動画を配信するようにしてもよい。
また、図23では、録画した調理動画を店舗端末31へ配信する例を説明したが、これに限らない。サービス提供装置4は、録画した調理動画をユーザ端末61にも配信するようにしてもよい。
この場合、サービス提供装置4は、ユーザ端末61の利用者が有料会員のみに配信を許可するようにしてもよい。また、サービス提供装置4は、ユーザ端末61の利用者が、イベント当日に店舗で指定の商品(レシピに使用される食材)を購入した場合、その商品に添付されている二次元コードをユーザ端末61で読み込んだ場合に、録画した動画の配信を許可するようにしてもよい。
図24は、本実施形態に係るユーザ端末61で録画された調理動画を見る手順例を示す図である。
図24において、符号700は、例えば商品に貼られている商品ラベルの画像例である。商品ラベルには、二次元コード701が印字されている。この二次元コードには、調理動画の配信サイトのurlアドレス、販売された店舗3に関する情報等が埋め込まれている。
ユーザ端末61の利用者は、ユーザ端末61の操作部602を操作してアプリケーションを選択する。利用者は、アプリケーションの起動後、「二次元コード」のボタン画像(図21、符号g605)を選択する。ユーザ端末61の制御部608は、商品ラベルの二次元コードを撮影部605(図6)によって撮影する。制御部608は、撮影された二次元バーコードの画像に対して画像認識処理を行い、画像認識処理した結果に基づいて二次元バーコードの画像に埋め込まれているurlアドレスに通信部601を制御してアクセスする(ステップS301)。なお、送信される情報には、店舗3に関する情報も含まれている。
サービス提供装置4の制御部410は、ユーザ端末61から受信した結果に基づいて、録画されている調理動画(含む音声)を、ユーザ端末61に配信する(ステップS302)。ユーザ端末61の制御部608は、受信した調理動画を再生する(ステップS303)。なお、録画された調理動画の配信において、制御部410は、録画された調理動画であることを示す「録画」マーク(符号g151)を調理動画に付加して配信するようにしてもよい。
なお、制御部410は、図24のステップS302のように、画面の下側と調理者の手元とに例えば文字入力のキーボードが表示できるスペースを確保した動画を抽出してユーザ端末61に調理動画を再配信するようにしてもよい。これにより、利用者がユーザ端末61で感想をテキストで入力する際、ソフトウェアキーボードの画像が調理者の画像に重なって調理動画が見づらくなることを防ぐことができる。
なお、二次元コードは、商品に貼る以外に、商品に添付してもよい。または、イベント会場に来店した来店客に二次元コードが印刷されたカードを配布するようにしてもよい。あるいは、会場の所定位置に貼ってあるポスターに二次元コードを印刷しておき、イベント開催時にユーザ端末61で読み込ませるようにしてもよい。これにより、イベントに参加した来店客は、例えば帰宅後に調理動画を再度、ユーザ端末61上で視聴することができる。
なお、二次元コードを読み込んだユーザ端末61で視聴できる調理動画は、調理動画の再配信に限られず、イベント会場で配信されなかった動画、例えば調理者がインタビューに答えたスペシャル動画等であってもよい。
また、この二次元コードには、イベントで調理された料理名や商品情報が埋め込まれているようにしてもよい。これにより、サービス提供装置4は、二次元コードを読み込んだ後に、ユーザ端末61から調理動画を再生した来店客を店舗毎に把握することができる。また、サービス提供装置4は、どの商品が何個売れたのか把握することができる。サービス提供装置4は、このように把握した情報を各店舗に提供するようにしてもよい。
また、イベント当日にイベント会場で来店客が食材を購入し、購入した食材を用いて来店客が料理をしたレポート(調理感想;「つくレポ」ともいう)を、ユーザ端末61からサービス提供装置4へ送信するようにしてもよい。なお、「つくレポ」には、調理した料理の画像、感想のうち少なくとも1つが含まれている。
この場合、サービス提供装置4は、二次元コードを読み込んだユーザ端末61からの「つくレポ」を受け付けるようにしてもよい。これにより、サービス提供装置4は、どの店舗3の来店客からのレポートであるかを把握することができる。
また、サービス提供装置4は、このように複数のユーザ端末61から受信した「つくレポ」を調理毎に分類し、店舗端末31でイベントが行われていない時間に流す調理動画に分類した結果を付加して再配信するようにしてもよい。または、ユーザ端末61に分類した結果を付加して調理動画を再配信するようにしてもよい。
さらに、サービス提供装置4は、このように複数のユーザ端末61から受信した「つくレポ」を調理毎かつ店舗毎に分類してもよい。本実施形態によれば、このように分類した情報を付加して店舗端末31またはユーザ端末61に再配信することで、「つくレポ」を投稿した来店客は、自分が参加した他の来店客との一体感を感じることができる。
このように、サービス提供装置4は、調理動画の再配信においても、店舗端末31と店舗を紐付け、またはユーザ端末61と店舗を紐付けるようにした。この結果、サービス提供装置4は、調理動画の再配信の際、店舗3に紐付くユーザ端末61毎に、または店舗3に紐付く店舗端末31毎に異なる調理動画を再配信することができる。例えば、店舗3Aの店舗端末31Aおよび店舗3Aの来店客のユーザ端末61に、店舗3Aで購入された商品に基づく「つくレポ」を添付して再送信する。これにより、店舗3Aの来店客は、自分が来店している店舗3A特有の情報を得ることができる。
なお、「つくレポ」の送信は、利用者が有料会員の場合に制限してもよい。また、調理動画の再配信の視聴も、利用者が有料会員の場合に制限してもよい。また、イベント会場でユーザ端末61からの質問や画面の切り替え指示は、利用者が有料会員の場合に制限してもよい。
このように、サービス提供装置4は、利用者の会員の種類に応じて異なるサービスを提供するようにしてもよい。
図25は、本実施形態に係るストレージサーバ5が記憶する情報例を示す図である。なお、図25に示す例は、すでに複数の調理動画(含む音声)が記憶されている状態である。
図25に示すように、ストレージサーバ5は、動画名に、urlアドレスと調理動画を関連付けて記憶する。例えば、ストレージサーバ5は、動画名「調理者Aの春野菜のパスタ」に、urlアドレス「https//cookxxx.com/rec/kondares/00001」と動画「動画00001」を関連付けて記憶する。
なお、ストレージサーバ5は、上記に加えて、録画した店舗名、日時等の情報も記憶するようにしてもよい。
なお、動画のファイルには、異なるビットレートの動画が含まれる。例えば、動画00001には、例えば、第1のレートの動画のファイルと、第2のレートの動画のファイルと、第3のレートの動画のファイルとが含まれている。なお、各動画のファイルには音声も含まれている。
<配信される動画の配信方式>
ここで、サービス提供装置4が配信する動画の配信方式について説明する。
図26は、本実施形態に係るサービス提供装置4が配信する動画の配信例を示す図である。
サービス提供装置4は、例えばHTTP Live Streaming(以下、HLSという)方式のプロトコルを用いて動画を配信する。HLS方式で動画を配信することで、店舗端末31の通信環境、ユーザ端末61の通信環境に応じた動画を配信することができる。例えば店舗3に設置されている店舗端末31の通信環境が光通信等である場合、サービス提供装置4は、例えば第1のビットレートの4K画質の2160p(3840×2160)の動画を店舗端末31へ配信する。一方、ユーザ端末61の通信環境が、通信容量を節約する低速度通信の場合、サービス提供装置4は、例えば第3のビットレートのSD画質の480p(640×480)の動画をユーザ端末61へ配信する。
図25を用いたように、ストレージサーバ5は、異なるビットレートの動画を記憶している。サービス提供装置4の配信ファイル生成部413は、キッチンスタジオ2から受信した動画に対して、まず所定のフォーマットの動画ファイルに変換し、変換した動画ファイルを異なるビットレートのファイルに変換する。そして、配信ファイル生成部413は、生成した各ビットレートの動画ファイルそれぞれを、時間幅が均等なメディアファイルの連続体にセグメント化して分割する。配信ファイル生成部413は、このようにして生成した動画ファイルをストレージサーバ5に記憶させる。
なお、上述した例では、サービス提供装置4がHLS方式のプロトコルで動画を配信する例を説明したが、配信方式はこれに限られない。配信方式は、例えば、HDS(HTTP Dynamic Streaming)、SmoothStreaming等であってもよい。
以上のように、本実施形態では、店舗端末31に店舗情報を紐付けることで、来店客に関する情報に店舗を紐付けるようにした。また、本実施形態では、ユーザ端末61に店舗情報を紐付けることで、来店客に関する情報に店舗を紐付けるようにした。そして、店舗3に来店した来店客が、イベント会場で配信されている調理動画を視聴している際に行った質問や画面の切り替え指示に、紐付けられている店舗情報を付与してキッチンスタジオ2へ送信するようにした。
これにより、本実施形態では、キッチンスタジオ2にいる調理者が、どの店舗3の来店客からの質問であるか判断することができる。このため、複数の店舗3それぞれに店舗端末31が設置され、複数の店舗から質問が来た場合であっても、本実施形態によれば、調理者が選んだ質問に回答する際、どの店舗3からの質問であるかを回答に盛り込むことで、調理者と来店客との一体感を演出することができる。
この結果、本実施形態によれば、イベント開催時に店舗3への集客の向上を行うことができる。
また、本実施形態では、イベント会場で購入された製品等に添付された二次元コードをユーザ端末61で読み込むことで、利用者が調理動画の再配信をユーザ端末61で再視聴することができる。これにより、本実施形態によれば、店舗側の売り上げ向上につなげることができる。
なお、本発明における情報処理システム1の全てまたは一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより情報処理システム1が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。
(付記)
以上の記載から本発明の複数の態様は例えば以下のように把握される。
(1)表示装置が設置され、調理が行われている様子を撮影して、撮影した調理動画をサービス提供装置に送信するキッチンスタジオと、前記キッチンスタジオから受信した前記調理動画を、複数の店舗端末に配信するサービス提供装置と、複数の店舗それぞれに設置され、前記サービス提供装置から配信された前記調理動画を表示し、前記調理動画を視聴している来店客に関する情報に前記店舗端末が設置されている店舗情報を付与して前記サービス提供装置に送信する店舗端末と、を備え、前記サービス提供装置は、前記店舗端末から受信した前記来店客に関する情報に付与されている前記店舗情報に基づいて、前記来店客に関する情報に前記店舗を紐付け、前記店舗を紐付けた前記来店客に関する情報を前記キッチンスタジオに送信し、前記キッチンスタジオは、前記店舗が紐付けられた前記来店客に関する情報を前記表示装置に表示する、情報処理システム。
(2)サービス提供装置は、前記キッチンスタジオから受信した前記調理動画を縦の長さが横の長さより長くなるようにリサイズして前記店舗端末に送信する、(1)に記載の情報処理システム。
(3)前記店舗端末は、音声入力部を備え、収音した音声を前記来店客に関する情報として前記サービス提供装置に送信し、前記サービス提供装置は、受信した音声に対して音声認識処理を行ってテキストに変換して、変換したテキストに前記店舗情報を付与してキッチンスタジオに送信し、前記キッチンスタジオは、受信した前記テキストと前記店舗情報を関連付けて前記表示装置に表示させる、(1)または(2)に記載の情報処理システム。
(4)前記店舗端末は、前記調理動画を受信する前に、収音した音声に前記店舗端末の識別情報を付与して前記サービス提供装置に送信し、前記サービス提供装置は、受信した音声に対して音声認識処理を行って前記店舗端末の前記店舗情報を決定し、決定した前記店舗情報を前記店舗端末に送信する、(3)に記載の情報処理システム。
(5)前記店舗端末は、操作部を備え、前記操作部が操作された結果に画面の切り替え指示が含まれている場合、前記画面の切り替え指示に前記店舗端末の識別情報を付与して前記サービス提供装置へ送信し、前記サービス提供装置は、前記店舗端末から受信した前記画面の切り替え指示に応じて配信する前記調理動画を切り替え、切り替えた前記調理動画を、前記画面の切り替え指示に含まれる前記店舗情報に対応する前記店舗端末に配信する、(1)から(4)のいずれか1つに記載の情報処理システム。
(6)前記サービス提供装置は、前記調理動画を前記店舗端末の回線環境に基づいた画質で配信する、(1)から(5)のいずれか1つに記載の情報処理システム。
(7)前記来店客が所持するユーザ端末、を備え、前記ユーザ端末は、前記店舗において、前記ユーザ端末の識別情報を前記来店客に関する情報とし、前記来店客に関する情報に前記店舗情報を付与して前記サービス提供装置に送信する、(1)から(6)のいずれか1つに記載の情報処理システム。
(8)前記サービス提供装置は、前記調理動画を前記ユーザ端末の回線環境に基づいた画質で配信する、(7)に記載の情報処理システム。
(9)前記ユーザ端末は、前記ユーザ端末の位置情報を前記ユーザ端末の識別情報と、を前記サービス提供装置へ送信し、前記サービス提供装置は、受信した前記位置情報に基づいて、前記ユーザ端末を所持する前記来店客が来店している前記店舗の前記店舗情報を推定し、推定した前記店舗情報を前記ユーザ端末に送信する、(7)または(8)に記載の情報処理システム。
(10)前記ユーザ端末は、撮影部を備え、前記ユーザ端末の撮影部は、店舗情報、前記調理動画で調理された料理名を含む二次元コードを撮影し、前記ユーザ端末は、撮影した二次元コードの画像に含まれる前記店舗情報を抽出し、抽出した店舗情報に前記ユーザ端末の識別情報を前記サービス提供装置へ送信し、前記サービス提供装置は、前記調理動画を録画し、録画した前記調理動画を前記二次元コードの画像に含まれる前記店舗情報を送信した前記ユーザ端末に再配信する、(7)から(9)のいずれか1つに記載の情報処理システム。
(11)前記ユーザ端末は、撮影した二次元コードの画像に含まれる前記料理名を抽出し、前記料理名に対応する調理を行った調理感想に前記店舗情報と前記料理名を付与して、前記サービス提供装置へ送信し、前記サービス提供装置は、前記ユーザ端末から受信した前記調理感想を、前記調理感想に含まれる前記店舗情報に基づいて店舗毎に分類し、録画した前記調理動画を再配信する際に前記店舗端末が設置されている前記店舗の前記調理感想を付与して前記店舗端末に配信する、(10)に記載の情報処理システム。
(12)前記二次元コードは、前記調理動画の配信時に前記店舗で販売された商品に添付され、または前記調理動画の配信時に前記店舗で配布された用紙に印字され、あるいは前記調理動画の配信時に前記店舗に貼られていたポスターに印字されている、(10)または(11)に記載の情報処理システム。
(13)前記サービス提供装置は、前記ユーザ端末から受信した情報を前記店舗毎に集計し、集計した結果を前記店舗端末に送信する、(7)から(12)のいずれか1つに記載の情報処理システム。
(14)調理が行われている様子が撮影された調理動画をキッチンスタジオから受信し、受信した前記調理動画を複数の店舗それぞれに設置されている店舗端末に配信し、
前記調理動画を視聴している来店客に関する情報に前記店舗端末が設置されている店舗情報が付与されている情報を前記店舗端末から受信し、前記店舗端末から受信した前記来店客に関する情報に付与されている前記店舗情報に基づいて、前記来店客に関する情報に前記店舗を紐付け、前記店舗を紐付けた前記来店客に関する情報を前記キッチンスタジオに送信する、情報処理装置。
(15)表示装置が設置されているキッチンスタジオと、複数の店舗それぞれに設置されている店舗端末と、サービス提供装置とを備える情報処理システムにおける情報処理方法であって、前記キッチンスタジオが、調理が行われている様子を撮影して、撮影した調理動画を前記サービス提供装置に送信するステップと、前記サービス提供装置が、前記キッチンスタジオから受信した前記調理動画を、複数の店舗端末に配信するステップと、前記店舗端末が、前記サービス提供装置から配信された前記調理動画を表示し、前記調理動画を視聴している来店客に関する情報に前記店舗端末が設置されている店舗情報を付与して前記サービス提供装置に送信するステップと、前記サービス提供装置が、前記店舗端末から受信した前記来店客に関する情報に付与されている前記店舗情報に基づいて、前記来店客に関する情報に前記店舗を紐付けるステップと、前記サービス提供装置が、前記店舗を紐付けた前記来店客に関する情報を前記キッチンスタジオに送信するステップと、前記キッチンスタジオが、前記店舗が紐付けられた前記来店客に関する情報を前記表示装置に表示するステップと、を有する情報処理方法。
(16)サービス提供装置のコンピュータに、調理が行われている様子を撮影された調理動画をキッチンスタジオから受信させ、受信した前記調理動画を複数の店舗端末に配信させ、店舗情報が付与されている来店客に関する情報を前記店舗端末から受信させ、受信した前記来店客に関する情報に付与されている前記店舗情報に基づいて、前記来店客に関する情報に店舗を紐付けさせ、前記店舗を紐付けた前記来店客に関する情報を前記キッチンスタジオに送信させる、処理を実行させる、プログラム。
1…情報処理システム、2…キッチンスタジオ、3…店舗、31,31A,31B…店舗端末、4…サービス提供装置、5…ストレージサーバ、61,61A,61B,61C,61D…ユーザ端末、NW…ネットワーク、201A,201B…撮影装置、202…音声入力部、203…表示装置、204…操作部、205…通信部、301…通信部、302…操作部、303…表示部、304…音声入力部、305…撮影部、306…音声再生部、307…記憶部、308…制御部、401…通信部、402…操作部、403…表示部、404…記憶部、410…制御部、411…画像切替部、412…音声認識部、413…配信ファイル生成部、601…通信部、602…操作部、603…表示部、604…音声入力部、605…撮影部、606…音声再生部、607…記憶部、608…制御部

Claims (15)

  1. 表示装置が設置され、調理が行われている様子を撮影して、撮影した調理動画をサービス提供装置に送信するキッチンスタジオと、
    前記キッチンスタジオから受信した前記調理動画を、複数の店舗端末に配信するサービス提供装置と、
    複数の店舗それぞれに設置され、前記サービス提供装置から配信された前記調理動画を表示し、前記調理動画を視聴している来店客に関する情報に前記店舗端末が設置されている店舗情報を付与して前記サービス提供装置に送信する店舗端末と、
    を備え、
    前記店舗端末は、音声入力部を備え、前記調理動画を受信する前に、収音した音声に前記店舗端末の識別情報を付与して前記サービス提供装置に送信し、
    前記サービス提供装置は、受信した音声に対して音声認識処理を行って前記店舗端末の前記店舗情報を決定し、決定した前記店舗情報を前記店舗端末に送信し、
    前記店舗端末から受信した前記来店客に関する情報に付与されている前記店舗情報に基づいて、前記来店客に関する情報に前記店舗を紐付け、前記店舗を紐付けた前記来店客に関する情報を前記キッチンスタジオに送信し、
    前記キッチンスタジオは、前記店舗が紐付けられた前記来店客に関する情報を前記表示装置に表示する、情報処理システム。
  2. サービス提供装置は、前記キッチンスタジオから受信した前記調理動画を縦の長さが横の長さより長くなるようにリサイズして前記店舗端末に送信する、請求項1に記載の情報処理システム。
  3. 前記店舗端末は収音した音声を前記来店客に関する情報として前記サービス提供装置に送信し、
    前記サービス提供装置は、受信した音声に対して音声認識処理を行ってテキストに変換して、変換したテキストに前記店舗情報を付与してキッチンスタジオに送信し、
    前記キッチンスタジオは、受信した前記テキストと前記店舗情報を関連付けて前記表示装置に表示させる、請求項1または請求項2に記載の情報処理システム。
  4. 前記店舗端末は、操作部を備え、前記操作部が操作された結果に画面の切り替え指示が含まれている場合、前記画面の切り替え指示に前記店舗端末の識別情報を付与して前記サービス提供装置へ送信し、
    前記サービス提供装置は、前記店舗端末から受信した前記画面の切り替え指示に応じて配信する前記調理動画を切り替え、切り替えた前記調理動画を、前記画面の切り替え指示に含まれる前記店舗情報に対応する前記店舗端末に配信する、請求項1から請求項のいずれか1項に記載の情報処理システム。
  5. 前記サービス提供装置は、前記調理動画を前記店舗端末の回線環境に基づいた画質で配信する、請求項1から請求項のいずれか1項に記載の情報処理システム。
  6. 前記来店客が所持するユーザ端末、を備え、
    前記ユーザ端末は、前記店舗において、前記ユーザ端末の識別情報を前記来店客に関する情報とし、前記来店客に関する情報に前記店舗情報を付与して前記サービス提供装置に送信する、請求項1から請求項のいずれか1項に記載の情報処理システム。
  7. 前記サービス提供装置は、前記調理動画を前記ユーザ端末の回線環境に基づいた画質で配信する、請求項に記載の情報処理システム。
  8. 前記ユーザ端末は、前記ユーザ端末の位置情報を前記ユーザ端末の識別情報と、を前記サービス提供装置へ送信し、
    前記サービス提供装置は、受信した前記位置情報に基づいて、前記ユーザ端末を所持する前記来店客が来店している前記店舗の前記店舗情報を推定し、推定した前記店舗情報を前記ユーザ端末に送信する、請求項または請求項に記載の情報処理システム。
  9. 前記ユーザ端末は、撮影部を備え、
    前記ユーザ端末の撮影部は、店舗情報、前記調理動画で調理された料理名を含む二次元コードを撮影し、
    前記ユーザ端末は、撮影した二次元コードの画像に含まれる前記店舗情報を抽出し、抽出した店舗情報に前記ユーザ端末の識別情報を前記サービス提供装置へ送信し、
    前記サービス提供装置は、前記調理動画を録画し、録画した前記調理動画を前記二次元コードの画像に含まれる前記店舗情報を送信した前記ユーザ端末に再配信する、請求項から請求項のいずれか1項に記載の情報処理システム。
  10. 前記ユーザ端末は、撮影した二次元コードの画像に含まれる前記料理名を抽出し、前記料理名に対応する調理を行った調理感想に前記店舗情報と前記料理名を付与して、前記サービス提供装置へ送信し、
    前記サービス提供装置は、前記ユーザ端末から受信した前記調理感想を、前記調理感想に含まれる前記店舗情報に基づいて店舗毎に分類し、録画した前記調理動画を再配信する際に前記店舗端末が設置されている前記店舗の前記調理感想を付与して前記店舗端末に配信する、請求項に記載の情報処理システム。
  11. 前記二次元コードは、前記調理動画の配信時に前記店舗で販売された商品に添付され、または前記調理動画の配信時に前記店舗で配布された用紙に印字され、あるいは前記調理動画の配信時に前記店舗に貼られていたポスターに印字されている、請求項または請求項10に記載の情報処理システム。
  12. 前記サービス提供装置は、前記ユーザ端末から受信した情報を前記店舗毎に集計し、集計した結果を前記店舗端末に送信する、請求項から請求項11のいずれか1項に記載の情報処理システム。
  13. 調理が行われている様子が撮影された調理動画をキッチンスタジオから受信し、受信した前記調理動画を複数の店舗それぞれに設置されている店舗端末に配信し、
    前記調理動画を視聴している来店客に関する情報に前記店舗端末が設置されている店舗情報が付与されている情報を前記店舗端末から受信し、
    前記調理動画を送信する前に、前記店舗端末によって収音された音声に前記店舗端末の識別情報が付与されている情報を前記店舗端末から受信し、
    前記受信した音声に対して音声認識処理を行って前記店舗端末の前記店舗情報を決定し、決定した前記店舗情報を前記店舗端末に送信し、
    前記店舗端末から受信した前記来店客に関する情報に付与されている前記店舗情報に基づいて、前記来店客に関する情報に前記店舗を紐付け、
    前記店舗を紐付けた前記来店客に関する情報を前記キッチンスタジオに送信する、
    情報処理装置。
  14. 表示装置が設置されているキッチンスタジオと、複数の店舗それぞれに設置され、音声入力部を備える店舗端末と、サービス提供装置とを備える情報処理システムにおける情報処理方法であって、
    前記キッチンスタジオが、調理が行われている様子を撮影して、撮影した調理動画を前記サービス提供装置に送信するステップと、
    前記サービス提供装置が、前記キッチンスタジオから受信した前記調理動画を、複数の店舗端末に配信するステップと、
    前記店舗端末が、前記サービス提供装置から配信された前記調理動画を表示し、前記調理動画を視聴している来店客に関する情報に前記店舗端末が設置されている店舗情報を付与して前記サービス提供装置に送信するステップと、
    前記店舗端末が、前記前記調理動画を受信する前に、収音した音声に前記店舗端末の識別情報を付与して前記サービス提供装置に送信するステップと、
    前記サービス提供装置が、受信した音声に対して音声認識処理を行って前記店舗端末の前記店舗情報を決定し、決定した前記店舗情報を前記店舗端末に送信するステップと、
    前記サービス提供装置が、前記店舗端末から受信した前記来店客に関する情報に付与されている前記店舗情報に基づいて、前記来店客に関する情報に前記店舗を紐付けるステップと、
    前記サービス提供装置が、前記店舗を紐付けた前記来店客に関する情報を前記キッチンスタジオに送信するステップと、
    前記キッチンスタジオが、前記店舗が紐付けられた前記来店客に関する情報を前記表示装置に表示するステップと、
    を有する情報処理方法。
  15. サービス提供装置のコンピュータに、
    調理が行われている様子を撮影された調理動画をキッチンスタジオから受信させ、
    受信した前記調理動画を複数の店舗端末に配信させ、
    店舗情報が付与されている来店客に関する情報を前記店舗端末から受信させ、
    前記調理動画を配信させる前に、前記店舗端末が収音した音声に前記店舗端末の識別情報を付与した情報を前記店舗端末から受信させ、
    受信した音声に対して音声認識処理を行って前記店舗端末の前記店舗情報を決定させ、決定した前記店舗情報を前記店舗端末に送信させ、
    受信した前記来店客に関する情報に付与されている前記店舗情報に基づいて、前記来店客に関する情報に店舗を紐付けさせ、
    前記店舗を紐付けた前記来店客に関する情報を前記キッチンスタジオに送信させる、
    処理を実行させる、プログラム。
JP2018102722A 2018-05-29 2018-05-29 情報処理システム、情報処理装置、情報処理方法、およびプログラム Active JP6495514B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018102722A JP6495514B1 (ja) 2018-05-29 2018-05-29 情報処理システム、情報処理装置、情報処理方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018102722A JP6495514B1 (ja) 2018-05-29 2018-05-29 情報処理システム、情報処理装置、情報処理方法、およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019039804A Division JP2019207679A (ja) 2019-03-05 2019-03-05 情報処理システム、情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP6495514B1 true JP6495514B1 (ja) 2019-04-03
JP2019207564A JP2019207564A (ja) 2019-12-05

Family

ID=65999192

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018102722A Active JP6495514B1 (ja) 2018-05-29 2018-05-29 情報処理システム、情報処理装置、情報処理方法、およびプログラム

Country Status (1)

Country Link
JP (1) JP6495514B1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7175025B2 (ja) * 2020-11-20 2022-11-18 株式会社アットロボティクス 情報処理装置、情報処理システム、情報処理方法及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002325248A (ja) * 2001-02-26 2002-11-08 Cosmo Summit Co Ltd 画像配信方法
WO2006088181A1 (ja) * 2005-02-18 2006-08-24 Masahiro Hirono ストリーミング配信システム及びこれに用いられる中継センタ
JP5422157B2 (ja) * 2008-08-27 2014-02-19 ヤフー株式会社 動画広告を配信する方法
JP5897277B2 (ja) * 2011-08-03 2016-03-30 株式会社 資生堂 カウンセリングシステム、カウンセリング装置、クライアント端末、及びカウンセリングプログラム
JP2013150096A (ja) * 2012-01-18 2013-08-01 Digital Sensation Co Ltd 情報処理装置、情報処理方法、およびプログラム
JP2017021627A (ja) * 2015-07-13 2017-01-26 船井電機株式会社 コンテンツ配信装置、コンテンツ配信方法およびコンテンツ受信装置
JP6310135B1 (ja) * 2017-10-25 2018-04-11 クックパッド株式会社 情報処理システム、情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
JP2019207564A (ja) 2019-12-05

Similar Documents

Publication Publication Date Title
JP2022023867A (ja) 対話型トレーニング及びデモンストレーション用の反射ビデオディスプレイ機器及びその使用方法
KR101921926B1 (ko) 컨텐츠 제공 시스템 및 동작 방법
US9576297B1 (en) Controlling a crowd of multiple mobile station devices
WO2014057704A1 (ja) 商品情報提供システム、商品情報提供装置、及び商品情報出力装置
US20150288927A1 (en) Interactive Two-Way Live Video Communication Platform and Systems and Methods Thereof
US9094489B1 (en) Controlling a crowd of multiple mobile station devices
JP2014081693A (ja) 商品情報提供システム、商品情報提供装置、及び商品情報出力装置
JP5220953B1 (ja) 商品情報提供システム、商品情報提供装置、及び商品情報出力装置
CN107409230A (zh) 基于视频的社交互动系统
JP6495514B1 (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
US20060190542A1 (en) Simplified email system
JP6130985B1 (ja) メッセージ動画提供装置、メッセージ動画提供方法及びメッセージ動画提供プログラム
TW201222276A (en) Server device for collecting survey responses
US20150121254A1 (en) Food feedback interface systems and methods
JP2019207679A (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
JPWO2015182183A1 (ja) 情報処理装置、情報処理システム、情報処理方法およびプログラム
US20190012834A1 (en) Augmented Content System and Method
JP2022018875A (ja) コンピュータプログラム、情報処理方法及び情報処理装置
US20220036753A1 (en) Lesson system, lesson method, and program
JP6251800B1 (ja) 授業システム及び授業支援方法
CN108305573A (zh) 智能画框系统及其控制方法
JP7044337B1 (ja) コンテンツ利用記録分析システム、コンテンツ利用記録分析方法及びコンテンツ利用記録分析プログラム
WO2017135039A1 (ja) メッセージ動画提供装置、メッセージ動画提供方法及びメッセージ動画提供プログラム
US20230421866A1 (en) Server apparatus of distribution system
JP5204253B2 (ja) トレーニング装置、トレーニングシステムおよびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180529

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180608

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180611

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190306

R150 Certificate of patent or registration of utility model

Ref document number: 6495514

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250