JP6988607B2 - フォトブック作製システム及びサーバ装置 - Google Patents

Description

本発明は、フォトブック作製システム及びサーバ装置に関する。

デジタルカメラやスマートフォン等で撮影した画像を、ネットワーク上にアップロードして保存することが行われている。また、アップロードした画像をプリントして、フォトブックやポスター等の印画物を作製するサービスが知られている（例えば特許文献１参照）。

従来、アップロードした画像を用いてフォトブックを注文する場合、パーソナルコンピューターやスマートフォンを操作して画像の選択、配置、コメントの入力等を行っていた。

近年、対話型の音声操作に対応したＡＩアシスタントを利用可能なスマートスピーカが普及している。ユーザがスマートスピーカに話しかけることで、検索エンジンを用いた調べ物、ニュースの読み上げ、音楽や動画の再生、家電の操作など、様々なアクションを実行できる。

特開２００５−３３９２１４号公報

本発明は、スマートスピーカに話しかけることでフォトブックの編集や注文を行うことができるフォトブック作製システム及びサーバ装置を提供することを課題とする。

本発明によるフォトブック作製システムは、ユーザ端末から受信した画像データを保存するサーバ装置と、前記サーバ装置と通信可能に接続され、音声の出力及びユーザの発話の集音を行うスマートスピーカと、を備え、前記サーバ装置は、前記画像データの解析を行い、画像内の物体又はテキストを検出する画像解析部と、前記スマートスピーカを介して入力されたユーザの音声を理解し、ユーザに対する応答文を生成し、前記スマートスピーカを介して前記応答文を前記ユーザへ出力する対話処理部と、前記ユーザの音声がフォトブック作製指示である場合に、保存する画像の中から複数の画像を選択する画像選択部と、前記選択された画像に対し、前記画像解析部が検出した物体又はテキストに基づくコメントを生成して付与するコメント生成部と、前記画像選択部により選択された画像と、前記コメントとを用いてフォトブックデータを生成する編集処理部と、を有し、前記フォトブックデータのプレビュー画面を前記ユーザ端末へ送信するものである。

本発明の一態様によるフォトブック作製システムにおいて、前記ユーザの音声にフォトブック作製指示と共にフォトブックのテーマが含まれている場合、前記コメント生成部は、前記テーマに基づいて前記画像解析部が検出した物体又はテキストを選択し、コメントを生成する。

本発明の一態様によるフォトブック作製システムにおいて、前記サーバ装置は、前記ユーザの音声にコメント変更指示及び変更後のコメントが含まれている場合、前記プレビュー画面で表示しているページの画像に対応するコメントを変更する。

本発明の一態様によるフォトブック作製システムにおいて、前記サーバ装置は、フォトブック注文前の最終確認画面を作成して前記ユーザ端末へ送信し、前記最終確認画面はページ毎のコメントの一覧を含み、前記一覧では、前記コメント生成部が生成したコメントのままであるページ部分が強調表示されている。

本発明の一態様によるフォトブック作製システムにおいて、前記サーバ装置は、前記ユーザの音声に、前記フォトブックデータ内の画像変更指示、及び前記ユーザ端末内の画像の利用指示が含まれている場合、保存している画像を用いた画像一覧画面を作成して表示するように前記ユーザ端末へ指示を送信し、前記画像一覧画面を介して選択された画像の画像データを前記ユーザ端末から受信し、受信した画像に対してコメントを生成し、このコメントを用いて前記フォトブックデータ及び前記プレビュー画面を更新する。

本発明によるサーバ装置は、音声の出力及びユーザの発話の集音を行うスマートスピーカと通信可能に接続されたサーバ装置であって、ユーザ端末から受信した画像データを保存する記憶部と、前記画像データの解析を行い、画像内の物体又はテキストを検出する画像解析部と、前記スマートスピーカを介して入力されたユーザの音声を理解し、ユーザに対する応答文を生成し、前記スマートスピーカを介して前記応答文を前記ユーザへ出力する対話処理部と、前記ユーザの音声がフォトブック作製指示である場合に、保存する画像の中から複数の画像を選択する画像選択部と、前記選択された画像に対し、前記画像解析部が検出した物体又はテキストに基づくコメントを生成して付与するコメント生成部と、前記画像選択部により選択された画像と、前記コメントとを用いてフォトブックデータを生成する編集処理部と、を有し、前記フォトブックデータのプレビュー画面を前記ユーザ端末へ送信するものである。

本発明によれば、スマートスピーカに話しかけることでフォトブックの編集や注文を行うことができる。

本発明の実施形態に係るフォトブック作製システムの概略構成図である。 フォトブック作製指示の例を示す図である。 フォトブックのプレビュー画面の例を示す図である。 フォトブック編集指示の例を示す図である。 フォトブック編集指示の例を示す図である。 フォトブック編集指示の例を示す図である。 フォトブック注文指示の例を示す図である。 フォトブック作製システムのブロック構成図である。 変形例によるユーザ端末の例を示す図である。

以下、本発明の実施の形態を図面に基づいて説明する。

図１に示すように、本発明の実施形態に係るフォトブック作製システムは、サーバ装置１及びスマートスピーカ２を備える。サーバ装置１は、インターネット等の通信ネットワークを介して、スマートスピーカ２及びユーザ端末３と通信可能となっている。

ユーザ端末３は、スマートフォン、タブレット端末等である。サーバ装置１には、ユーザからアップロードされた画像データが保存されている。スマートスピーカ２は、通信機能と対話型音声操作のアシスタント機能とを有するスピーカであり、ユーザの自宅等に設置されている。

スマートスピーカ２及びユーザ端末３には、サーバ装置１から、ユーザを識別する同一の識別情報（ユーザＩＤ）が付与されている。従って、サーバ装置１は、スマートスピーカ２及びユーザ端末３が、同一のユーザが使用するものであることを認識している。上述した画像のアップロードは、ユーザ端末３から行われてもよいし、同じユーザＩＤでログインした他の端末から行われてもよい。

サーバ装置１は、画像解析機能を有し、ユーザからアップロードされた画像の解析を行う。画像解析は、例えば、画像内の物体やテキストの検出、公序良俗に反するおそれのある画像の検出、著名人や有名キャラクター等が写った著作権を侵害する可能性のある画像の検出である。例えば、サーバ装置１はウェブ上で類似している画像を検索して、著作権侵害の有無を判定する。サーバ装置１は、公序良俗に反する画像や著作権を侵害する可能性のある画像については、フォトブックに使用すべきでない不適切画像と判定し、その他の画像についてはフォトブックに使用可能な画像と判定する。

本実施形態において、ユーザは、スマートスピーカ２に話しかけることでフォトブックの編集を行い、ユーザ端末３に表示されるプレビュー画面を確認する。

例えば、図２に示すように、ユーザは「ＯＫ、スピーカ」のような所定のウェイクワード（コマンドワード）でスマートスピーカ２に呼びかけ、アシスタント機能を起動させる。続いて、ユーザはフォトブックを作製するようにスマートスピーカ２に話かける。例えば「１２月の旅行の写真でフォトブック作って」と話しかける。

スマートスピーカ２は、ウェイクワード以降のユーザの発話の音声データをサーバ装置１へ送信する。サーバ装置１は、ユーザの発話文を解釈し、フォトブックの作製処理を開始する。サーバ装置１は、このユーザによりアップロードされている画像を選択し、フォトブックのテンプレートに配置する。例えば、サーバ装置１は、保存している画像のＥＸＩＦデータを参照し、撮影日や撮影場所の情報から、１２月の旅行の写真を絞り込み、フォトブックに好適な画像を選択する。なお、選択される画像は、画像解析によりフォトブックに使用可能と判定された画像である。

サーバ装置１は、選択した画像をレイアウトしてフォトブックデータを作成すると、応答文（音声データ）を生成してスマートスピーカ２へ送信する。スマートスピーカ２は、フォトブックデータをユーザ端末３から確認するように音声を出力する。例えば、スマートスピーカ２は「スマートフォンの通知を確認してください」という音声を出力する。

ユーザ端末３には、サーバ装置１からフォトブックデータが生成されたことを通知するメッセージが届いている。ユーザがメッセージにタッチすると、ユーザ端末３はサーバ装置１からフォトブックのプレビュー画面を取得する。例えば、図３に示すように、ユーザ端末３のタッチパネル３Ａにフォトブックのプレビュー画面が表示される。

例えば、プレビュー画面の下部には、複数ページの画像がサムネイル表示され、画面上部には、選択したページの画像が大きく表示される。ページ切替ボタンＢ１、Ｂ２を押して、サムネイル表示するページを切り替えることができる。

発話により選択ページを切り替えることもできる。例えば、ユーザが「５ページ見せて」とスマートスピーカ２に話かける。サーバ装置１は、スマートスピーカ２を介してユーザの発話文を取得して解釈し、プレビュー画面の選択ページを５ページに切り替える。

発話によりページ順の入れ替えを行うことができる。例えば、図４に示すように、ユーザが「２ページと３ページを入れ替えて」とスマートスピーカ２に話しかける。サーバ装置１は、スマートスピーカ２を介してユーザの発話文を取得して解釈し、２ページの画像と３ページの画像とを入れ替え、プレビュー画面を更新する。ページ入れ替えの音声指示には、少なくとも「入れ替え」というワードと、入れ替え対象の２つのページ番号が含まれている必要がある。

サーバ装置１は、ページ入れ替え後、応答文を生成してスマートスピーカ２へ送信する。スマートスピーカ２は「ページを入れ替えました」のように、ページを入れ替えたことを知らせる音声を出力する。

ユーザが単に「ページを入れ替えて」とスマートスピーカ２に話しかけた場合、サーバ装置１は、所定の行動選択規則に基づいて、入れ替えるページを質問する応答文を生成してスマートスピーカ２へ送信する。あるいはまた、「“３ページと４ページを入れ替える”のように指示してください」と、所定の言葉の順番で指示を出すように知らせる音声をスマートスピーカ２から出力してもよい。

プレビュー画面のページ入れ替えボタンＢ３を押し、入れ替えるページをドラッグアンドドロップすることでも、ページ順の入れ替えを行うことができる。

フォトブックに使用する画像を変更する場合は、発話により画像の変更を指示する。例えば、図５に示すように、ユーザが「６ページの写真を変更」とスマートスピーカ２に話しかける。サーバ装置１は、スマートスピーカ２を介してユーザの発話文を取得して解釈し、画像の一覧画面をユーザ端末３へ送信する。サーバ装置１は、画像一覧画面の送信後、応答文を生成してスマートスピーカ２へ送信する。スマートスピーカ２は「端末の画面から写真を選んでください」等の音声を出力する。

ユーザが単に「写真を変更」とスマートスピーカ２に話しかけた場合、サーバ装置１は、所定の行動選択規則に基づいて、どのページの画像を変更するか質問する応答文を生成してスマートスピーカ２へ送信する。

ユーザが、ユーザ端末３を操作して画像一覧画面から画像を選択すると、サーバ装置１は画像を変更し、フォトブックデータ及びプレビュー画面を更新する。

画像の一覧画面には、ユーザがアップロードした全ての画像（「１２月の旅行」のようにフォトブックの目的が設定されている場合は、その目的に合う全画像）が含まれる。すなわち、サーバ装置１の画像解析により、フォトブックに使用すべきでないと判定された不適切画像も含まれる。ユーザが一覧画面から不適切画像を選択した場合、サーバ装置１は、画像の出所を質問する応答文を生成してスマートスピーカ２へ送信する。例えば、スマートスピーカ２は「６ページの写真にキャラクターコンテンツが含まれますが、ご自身で撮影された写真ですか」のような音声を出力する。

ユーザが「はい、そうです」のような肯定的な返答をした場合、サーバ装置１は、選択した画像の使用を承認する応答文を生成し、スマートスピーカ２へ送信する。一方、ユーザが「いいえ」のような否定的な応答をした場合、サーバ装置１はこの画像の使用には問題があることを説明する応答文を生成してスマートスピーカ２から音声を出力し、ユーザ端末３の表示を画像一覧画面に戻す。

プレビュー画面の画像変更ボタンＢ４（図３参照）を押して画像一覧画面を表示させ、画像一覧画面から画像を選択することでも、画像の変更を行うことができる。

サーバ装置１は、画像を選択してフォトブックデータを作成する際に、選択した画像に対し、コメント（又はタイトル）を生成して付与できる。サーバ装置１は、画像解析により検出された画像内の物体やテキスト、フォトブックの目的等に基づいて、コメントを生成する。例えば、サーバ装置１は、特徴的な物体が検出された画像に対してコメントを生成して付与する。

図６に示すように、コメントを付与したページを表示する場合、サーバ装置１は、コメントを生成・付与したこと及びコメント内容を知らせる応答文を生成してスマートスピーカ２へ送信する。スマートスピーカ２は、コメントを音声で読み上げる。ユーザは、スマートスピーカ２から出力される音声を聞いて、コメントを確認する。

コメントを変更する場合は、発話によりコメントの変更を指示する。例えば、図６に示すように、ユーザが「コメント変更」とスマートスピーカ２に話しかけ、続いて変更後のコメントを発話する。サーバ装置１は、スマートスピーカ２を介してユーザの発話文を取得して解釈し、現在表示している画像のコメントを変更し、フォトブックデータ及びプレビュー画面を更新する。

サーバ装置１は、コメント変更後、応答文を生成してスマートスピーカ２へ送信する。スマートスピーカ２は「コメントを変更しました」のように、コメントを変更したことを知らせる音声を出力する。

プレビュー画面のコメント変更ボタンＢ６を押し、ユーザ端末３のタッチキーを操作してコメントを入力することでも、コメントの変更を行うことができる。

ユーザがフォトブックのプレビュー画面を一通り確認して「注文します」等の所定のワードを発するか、又はプレビュー画面の確定ボタンＢ５（図３参照）を押すと、サーバ装置１は最終確認画面を生成してユーザ端末３へ送信し、応答文を生成してスマートスピーカ２へ送信する。スマートスピーカ２は「端末画面で、写真とコメントの最終確認をお願いします」等の音声を出力する。

ユーザ端末３には、図７に示すような最終確認画面ＦＣが表示される。例えば、画面の下部には、各ページの画像選択者、コメント作成者、コメント内容を含む編集一覧が表示され、画面の上部には選択したページが表示される。編集一覧の画像選択者及びコメント作成者における“ＡＩ自動選択”、“ＡＩ自動作成”は、サーバ装置１に相当する。

上述したように、サーバ装置１は、画像の選択、配置、コメントの作成等を自動で行う。そのため、図７に示すように、編集一覧では、サーバ装置１が画像を選択し、かつコメントもサーバ装置１が作成したか又はコメントの無いページについては、ページ番号を強調表示する。これらのページは、ユーザが見落としている可能性があるためである。

ユーザが画像を選択（変更、入れ替え）したり、コメントを作成したりしたページは、既にユーザが目を通しているページであるため、強調表示する必要はない。

ユーザが、強調表示されているページを確認した後、「注文します」等の所定のワードを発するか、又は最終確認画面の確定ボタンＢ７を押すと、サーバ装置１は決済画面を生成してユーザ端末３へ送信し、応答文を生成してスマートスピーカ２へ送信する。スマートスピーカ２は「決済処理に進みます。ここからは端末より入力をお願いします」等の音声を出力する。決済画面では、フォトブックの配送先やクレジットカード番号の入力が必要となり、スマートスピーカ２を用いた音声入力より、ユーザ端末３の操作による手入力の方が好ましい。

サーバ装置１は、ユーザ（ユーザ端末３）から決済情報が入力され、フォトブックの注文を受け付けると、フォトブックデータ及び注文内容を工場５へ送信する。

工場５に設置されたプリンタ（図示略）は、受信したフォトブックデータに基づいて印画処理を行い、フォトブック６を作製する。工場５で作製されたフォトブック６は、ユーザへ配送される。

工場５へ送信されるフォトブックデータを考査端末４へ送信し、考査端末４で人手による考査を行ってもよい。これにより、サーバ装置１の画像解析で見落とした不適切画像を検出できる。

このように、本実施形態によれば、スマートスピーカ２を介して、音声によりフォトブックの作製を指示できる。また、自動レイアウトされた画像のページ順の入れ替えや、自動作成されたコメントの変更も、スマートスピーカ２を介して音声指示により行うことができる。画像の変更に関しては、画像一覧画面から選択する必要があるため、ユーザ端末３を使用する。

サーバ装置１は、ユーザからアップロードされた画像の解析を行い、公序良俗に反するおそれがある画像や著作権を侵害するおそれがある画像等の不適席画像を予め特定している。サーバ装置１は、フォトブックの作製にあたり、不適切画像以外の、フォトブックでの使用に問題無い画像から画像を選択できる。

また、画像変更処理において、ユーザにより、画像一覧画面から不適切画像が選択された場合、スマートスピーカ２を介してユーザに画像の出所等を質問し、問題無いことが確認されると、フォトブックに使用する。

サーバ装置１は、ユーザからのフォトブック作製を指示する音声に日付が含まれている場合は、画像データに含まれる撮影日情報を確認し、指定された日付に撮影された画像を選択してフォトブックを作製する。そのため、ユーザが意図しない画像がフォトブックに含まれることを防止できる。

図８は、フォトブック作製システムのブロック構成図である。図８に示すように、スマートスピーカ２は、制御部２０、集音部（マイク）２１、音声出力部（スピーカ）２２及び通信部２３を有する。

制御部２０は、音声認識の機能を有し、集音部２１を介して所定のウェイクワードが入力されると、ウェイクワード以降の音声を、通信部２３を用いてサーバ装置１へ送信する。

音声出力部２２は、通信部２３を介してサーバ装置１から受信した応答文の音声データを出力する。

サーバ装置１は、対話処理部１０及びフォトブック編集部１００を備える。

対話処理部１０は、ユーザからの音声指示を理解し、ユーザに対する適切な応答文を生成するものであり、入力理解部１１、対話管理部１２及び出力生成部１３を有する。入力理解部１１は、スマートスピーカ２から受け取ったユーザの発話文からユーザの意図（タスク）を推定する意図推定と、人名や地名等の固有名詞、日付、時間等の表現を発話文から抽出する固有表現抽出の機能を有する。

対話管理部１２は、入力理解部１１から受け取った結果情報をデータベースに相当する内部状態に書き込んで更新する内部状態更新と、内部状態及び対話戦略（行動選択規則）に基づいて次の行動を選択する行動選択の機能を有する。

出力生成部１３は、対話管理部１２の行動選択が出した指示に合う応答文を生成し、スマートスピーカ２へ送信する。

対話処理部１０は、フォトブック編集部１００と連携し、フォトブック編集部１００の処理結果を応答文に反映させることができる。

フォトブック編集部１００は、画像ＤＢ、解析結果ＤＢ、フォトブックデータＤＢ、及び注文内容ＤＢを有する記憶部１１０を備える。

ＣＰＵ（中央処理装置）が記憶部１１０に記憶されているプログラムを実行することで、画像受信部１０１、画像解析部１０２、画像選択部１０３、編集処理部１０４、コメント生成部１０５及び注文処理部１０６の機能が実現される。

画像受信部１０１は、ユーザ端末３からアップロードされた画像データを受信し、画像ＤＢに格納する。

画像解析部１０２は、ユーザ端末３からアップロードされた画像の解析を行う。画像解析は、例えば、画像内の物体やテキストの検出、公序良俗に反するおそれのある画像の検出、著名人や有名キャラクター等が写った著作権を侵害する可能性のある画像の検出である。画像解析部１０２は、公序良俗に反する画像や著作権を侵害する可能性のある画像については、フォトブックに使用すべきでない不適切画像と判定し、判定結果を画像ＤＢ内の画像データに紐付ける。画像解析部１０２は、画像毎に、画像から検出した物体やテキスト、画像データに含まれる撮影日情報、撮影場所情報等をタグとして解析結果ＤＢに格納する。

画像選択部１０３は、対話処理部１０がユーザの発話からフォトブックの作製というタスクを抽出すると、画像ＤＢ内の画像（不適切画像を除く）からフォトブックに好適な画像を選択する。ユーザの発話に日時が含まれている場合は、画像データに含まれる撮影日情報を参照し、画像を選択する。

編集処理部１０４は、画像選択部１０３により選択された画像を所定のテンプレートに配置し、フォトブックデータを生成し、プレビュー画面をユーザ端末３へ送信する。生成したフォトブックデータは、フォトブックデータＤＢに格納される。

編集処理部１０４は、対話処理部１０がユーザの発話からページの入れ替えというタスクを抽出すると、ページを入れ替えて、フォトブックデータ及びプレビュー画面を更新する。

編集処理部１０４は、対話処理部１０がユーザの発話から画像の変更というタスクを抽出すると、画像ＤＢ内の画像を用いて画像一覧画面を作成し、ユーザ端末３へ送信する。画像一覧画面を介して画像が選択されると、編集処理部１０４は、画像を変更してフォトブックデータ及びプレビュー画面を更新する。

画像一覧画面から不適切画像が選択された場合、不適切画像が選択されたことを対話処理部１０に通知する。対話処理部１０は、不適切画像の出所等を問う質問文を生成し、スマートスピーカ２から出力させる。

編集処理部１０４は、対話処理部１０がユーザの発話からコメントの変更というタスクを抽出すると、ユーザから音声入力されたコメントに変更し、フォトブックデータ及びプレビュー画面を更新する。

また、編集処理部１０４は、図７に示すような最終確認画面ＦＣを作成する。

コメント生成部１０５は、フォトブックに使用している画像に対して、コメントを自動生成し、付与する。各画像には、画像解析により画像から検出された物体やテキスト、画像データに含まれる撮影日情報、撮影場所情報等がタグとして付与されている。コメント生成部１０５はこれらのタグを用いて、コメントを生成する。

ユーザからのフォトブック作製開始の音声コマンドに「〇△□のフォトブック」のようにフォトブックのテーマ（シーン）に相当する文言「〇△□」が含まれている場合、目的に応じて、コメント生成に参照するタグの優先順位を設定する。

例えば、フォトブックのテーマが旅行である場合、以下の優先順位でタグを用いてコメントを生成する。
１：地名（位置情報）
２：ランドマーク（有名な建造物など）
３：乗り物
４：食べ物

また、例えばフォトブックのテーマがスポーツである場合、以下の優先順位でタグを用いてコメントを生成する。
１：撮影部
２：表情（うれしい、苦しい、楽しい、悲しいなど）
３：道具（サッカーボール、バット、ラケットなど）

優先順位はユーザからの指示で変更可能となっていてもよい。

注文処理部１０６は、ユーザ端末３から、フォトブックのプリント冊数等の注文を受け付ける。注文処理部１０６が決済情報の入力を受け付けて決済処理を行うと、プリント注文が完了する。注文処理部１０６はフォトブックのプリント冊数や配送先住所等を含む注文内容を注文内容ＤＢに格納する。

プリント注文されたフォトブックデータと、注文内容とが工場５へ送信され、フォトブック６が製造される。

このように、本実施形態によれば、スマートスピーカ２に話しかけることで、フォトブックの編集や注文を行うことができる。

ユーザ端末３はスマートフォンやタブレット端末に限定されず、図９に示すような大画面のテレビ（ディスプレイ）３Ａ及びコントローラ３Ｂであってもよい。これにより、複数人で大型ディスプレイに表示されたプレビュー画面を確認しながら、スマートスピーカ２に話しかけてフォトブックの編集を行うことができる。

図５に示すような画像変更処理では、サーバ装置１に保存されている画像だけでなく、ユーザ端末３に保存されている画像を利用・選択できるようにしてもよい。例えば、サーバ装置１に保存されている画像の一覧画面がユーザ端末３に表示されている状態で、ユーザが「スマホの写真から選ぶ」とスマートスピーカ２に話しかける。サーバ装置１は、スマートスピーカ２を介してユーザの発話文を取得して解釈し、ユーザ端末３内の画像の一覧画面を作成して表示するように、ユーザ端末３に指示する。

ユーザが、ユーザ端末３を操作して、端末内画像の一覧画面から画像を選択すると、ユーザ端末３は選択された画像の画像データをサーバ装置１へ送信（アップロード）する。サーバ装置１は、受信した画像の解析を行い、フォトブックに使用可能な画像か、又はフォトブックに使用すべきでない不適切画像であるかを判定する。フォトブックに使用可能な画像と判定した場合、サーバ装置１は、フォトブックデータ及びプレビュー画面を更新する。

不適切画像と判定した場合、サーバ装置１は、画像の出所を質問する応答文を生成してスマートスピーカ２へ送信する。ユーザからの返答の結果、問題無いことが確認されると、サーバ装置１は、この画像を利用してフォトブックデータ及びプレビュー画面を更新する。

また、ユーザ端末３の端末内画像の一覧画面から選択された画像がサーバ装置１にアップロードされると、サーバ装置１がこの画像に対してコメントを自動生成してもよい。サーバ装置１は、生成したコメントと共に、フォトブックデータ及びプレビュー画面を更新する。アップロードされた画像に対し、コメントを自動生成するか否かをユーザが選択できるようにしてもよい。

本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１ サーバ装置
２ スマートスピーカ
３ ユーザ端末
４ 考査端末
５ 工場
６ フォトブック

Claims (6)

1. ユーザ端末から受信した画像データを保存するサーバ装置と、
   前記サーバ装置と通信可能に接続され、音声の出力及びユーザの発話の集音を行うスマートスピーカと、
   を備え、
   前記サーバ装置は、
   前記画像データの解析を行い、画像内の物体又はテキストを検出する画像解析部と、
   前記スマートスピーカを介して入力されたユーザの音声を理解し、ユーザに対する応答文を生成し、前記スマートスピーカを介して前記応答文を前記ユーザへ出力する対話処理部と、
   前記ユーザの音声がフォトブック作製指示である場合に、保存する画像の中から複数の画像を選択する画像選択部と、
   前記選択された画像に対し、前記画像解析部が検出した物体又はテキストに基づくコメントを生成して付与するコメント生成部と、
   前記画像選択部により選択された画像と、前記コメントとを用いてフォトブックデータを生成する編集処理部と、
   を有し、前記フォトブックデータのプレビュー画面を前記ユーザ端末へ送信することを特徴とするフォトブック作製システム。
2. 前記ユーザの音声にフォトブック作製指示と共にフォトブックのテーマが含まれている場合、前記コメント生成部は、前記テーマに基づいて前記画像解析部が検出した物体又はテキストを選択し、コメントを生成することを特徴とする請求項１に記載のフォトブック作製システム。
3. 前記サーバ装置は、前記ユーザの音声にコメント変更指示及び変更後のコメントが含まれている場合、前記プレビュー画面で表示しているページの画像に対応するコメントを変更することを特徴とする請求項１又は２に記載のフォトブック作製システム。
4. 前記サーバ装置は、フォトブック注文前の最終確認画面を作成して前記ユーザ端末へ送信し、
   前記最終確認画面はページ毎のコメントの一覧を含み、前記一覧では、前記コメント生成部が生成したコメントのままであるページ部分が強調表示されていることを特徴とする請求項３に記載のフォトブック作製システム。
5. 前記サーバ装置は、前記ユーザの音声に、前記フォトブックデータ内の画像変更指示、及び前記ユーザ端末内の画像の利用指示が含まれている場合、保存している画像を用いた画像一覧画面を作成して表示するように前記ユーザ端末へ指示を送信し、前記画像一覧画面を介して選択された画像の画像データを前記ユーザ端末から受信し、受信した画像に対してコメントを生成し、このコメントを用いて前記フォトブックデータ及び前記プレビュー画面を更新することを特徴とする請求項１乃至４のいずれか１項に記載のフォトブック作製システム。
6. 音声の出力及びユーザの発話の集音を行うスマートスピーカと通信可能に接続されたサーバ装置であって、
   ユーザ端末から受信した画像データを保存する記憶部と、
   前記画像データの解析を行い、画像内の物体又はテキストを検出する画像解析部と、
   前記スマートスピーカを介して入力されたユーザの音声を理解し、ユーザに対する応答文を生成し、前記スマートスピーカを介して前記応答文を前記ユーザへ出力する対話処理部と、
   前記ユーザの音声がフォトブック作製指示である場合に、保存する画像の中から複数の画像を選択する画像選択部と、
   前記選択された画像に対し、前記画像解析部が検出した物体又はテキストに基づくコメントを生成して付与するコメント生成部と、
   前記画像選択部により選択された画像と、前記コメントとを用いてフォトブックデータを生成する編集処理部と、
   を有し、
   前記フォトブックデータのプレビュー画面を前記ユーザ端末へ送信することを特徴とするサーバ装置。

Images