JP7147295B2 - フォトブック作製システム及びサーバ装置 - Google Patents

Description

本発明は、フォトブック作製システム及びサーバ装置に関する。

デジタルカメラやスマートフォン等で撮影した画像を、ネットワーク上にアップロードして保存することが行われている。また、アップロードした画像をプリントして、フォトブックやポスター等の印画物を作製するサービスが知られている（例えば特許文献１参照）。

従来、アップロードした画像を用いてフォトブックを注文する場合、パーソナルコンピューターやスマートフォンを操作して画像の選択、配置、コメントの入力等を行っていた。

近年、対話型の音声操作に対応したＡＩアシスタントを利用可能なスマートスピーカが普及している。ユーザがスマートスピーカに話しかけることで、検索エンジンを用いた調べ物、ニュースの読み上げ、音楽や動画の再生、家電の操作など、様々なアクションを実行できる。

特開２００５－３３９２１４号公報

本発明は、スマートスピーカに話しかけることでフォトブックの編集や注文を行うことができるフォトブック作製システム及びサーバ装置を提供することを課題とする。

本発明によるフォトブック作製システムは、ユーザ端末から受信した画像データを保存するサーバ装置と、前記サーバ装置と通信可能に接続され、音声の出力及びユーザの発話の集音を行うスマートスピーカと、を備え、前記サーバ装置は、前記スマートスピーカを介して入力されたユーザの音声を理解し、ユーザに対する応答文を生成し、前記スマートスピーカを介して前記応答文を前記ユーザへ出力する対話処理部と、前記ユーザの音声がフォトブック作製指示である場合に、保存する画像の中から複数の画像を選択する画像選択部と、前記画像選択部により選択された画像を用いてフォトブックデータを生成する編集処理部と、を有し、前記フォトブックデータのプレビュー画面を前記ユーザ端末へ送信し、前記ユーザの音声が前記フォトブックデータ内の画像変更指示である場合、保存している画像を用いた画像一覧画面を前記ユーザ端末へ送信し、前記ユーザ端末の表示部で前記画像一覧画面に含まれる画像が識別番号と共に表示されるように制御し、前記ユーザの音声が前記識別番号を含む画像選択指示である場合、選択された画像を用いて前記フォトブックデータ内の画像を変更し、前記フォトブックデータ及び前記プレビュー画面を更新するものである。

本発明の一態様によるフォトブック作製システムにおいて、前記画像一覧画面の画像には、前記表示部での表示位置に応じた識別番号が付与される。

本発明の一態様によるフォトブック作製システムにおいて、前記画像一覧画面に含まれる複数の画像のうち、前記表示部で表示中の画像にのみ識別番号が付与される。

本発明の一態様によるフォトブック作製システムにおいて、前記識別番号の付与は前記ユーザ端末により行われ、前記サーバ装置は、前記ユーザから音声による画像選択指示を受け付けると、前記画像選択指示に含まれる識別番号に対応する画像を前記ユーザ端末に問い合わせる。

本発明によるサーバ装置は、音声の出力及びユーザの発話の集音を行うスマートスピーカと通信可能に接続されたサーバ装置であって、ユーザ端末から受信した画像データを保存する記憶部と、前記スマートスピーカを介して入力されたユーザの音声を理解し、ユーザに対する応答文を生成し、前記スマートスピーカを介して前記応答文を前記ユーザへ出力する対話処理部と、前記ユーザの音声がフォトブック作製指示である場合に、保存する画像の中から複数の画像を選択する画像選択部と、前記画像選択部により選択された画像を用いてフォトブックデータを生成する編集処理部と、を有し、前記フォトブックデータのプレビュー画面を前記ユーザ端末へ送信し、前記ユーザの音声が前記フォトブックデータ内の画像変更指示である場合、保存している画像を用いた画像一覧画面を前記ユーザ端末へ送信し、前記ユーザ端末の表示部で前記画像一覧画面に含まれる画像が識別番号と共に表示されるように制御し、前記ユーザの音声が前記識別番号を含む画像選択指示である場合、選択された画像を用いて画像を変更し、前記フォトブックデータ及び前記プレビュー画面を更新するものである。

本発明によるサーバ装置は、音声の出力及びユーザの発話の集音を行うスマートスピーカと通信可能に接続されたサーバ装置であって、ユーザ端末から受信した画像データを保存する記憶部と、前記スマートスピーカを介して入力されたユーザの音声を理解し、ユーザに対する応答文を生成し、前記スマートスピーカを介して前記応答文を前記ユーザへ出力する対話処理部と、を備え、前記ユーザの音声がフォトブック作製指示である場合、前記フォトブック作製指示を前記ユーザ端末に通知し、前記ユーザの音声が、前記フォトブック作製指示に応じて前記ユーザ端末が前記記憶部に保存している画像を用いて生成したフォトブックデータ内の画像変更指示である場合、前記記憶部に保存している画像を用いた画像一覧画面が前記ユーザ端末の表示部で表示されると共に、前記画像一覧画面に含まれる画像が識別番号と共に表示されるように制御し、前記ユーザの音声が前記識別番号を含む画像選択指示である場合、前記フォトブックデータ内の画像が変更され、前記フォトブックデータ及び前記プレビュー画面が更新されるように、選択された画像の識別番号を前記ユーザ端末に通知するものである。

本発明によれば、スマートスピーカに話しかけることでフォトブックの編集や注文を行うことができる。

本発明の実施形態に係るフォトブック作製システムの概略構成図である。 フォトブック作製指示の例を示す図である。 フォトブックのプレビュー画面の例を示す図である。 フォトブック編集指示の例を示す図である。 フォトブック編集指示の例を示す図である。 フォトブック編集指示の例を示す図である。 フォトブック注文指示の例を示す図である。 フォトブック作製システムのブロック構成図である。 変形例によるユーザ端末の例を示す図である。 フォトブック編集指示の例を示す図である。 フォトブック編集指示の例を示す図である。 画像検索キーワードの例を示す図である。

以下、本発明の実施の形態を図面に基づいて説明する。

図１に示すように、本発明の実施形態に係るフォトブック作製システムは、サーバ装置１及びスマートスピーカ２を備える。サーバ装置１は、インターネット等の通信ネットワークを介して、スマートスピーカ２及びユーザ端末３と通信可能となっている。

ユーザ端末３は、スマートフォン、タブレット端末等である。サーバ装置１には、ユーザからアップロードされた画像データが保存されている。スマートスピーカ２は、通信機能と対話型音声操作のアシスタント機能とを有するスピーカであり、ユーザの自宅等に設置されている。

スマートスピーカ２及びユーザ端末３には、サーバ装置１から、ユーザを識別する同一の識別情報（ユーザＩＤ）が付与されている。従って、サーバ装置１は、スマートスピーカ２及びユーザ端末３が、同一のユーザが使用するものであることを認識している。上述した画像のアップロードは、ユーザ端末３から行われてもよいし、同じユーザＩＤでログインした他の端末から行われてもよい。

サーバ装置１は、画像解析機能を有し、ユーザからアップロードされた画像の解析を行う。画像解析は、例えば、画像内の物体やテキストの検出、公序良俗に反するおそれのある画像の検出、著名人や有名キャラクター等が写った著作権を侵害する可能性のある画像の検出である。例えば、サーバ装置１はウェブ上で類似している画像を検索して、著作権侵害の有無を判定する。サーバ装置１は、公序良俗に反する画像や著作権を侵害する可能性のある画像については、フォトブックに使用すべきでない不適切画像と判定し、その他の画像についてはフォトブックに使用可能な画像と判定する。

本実施形態において、ユーザは、スマートスピーカ２に話しかけることでフォトブックの編集を行い、ユーザ端末３に表示されるプレビュー画面を確認する。

例えば、図２に示すように、ユーザは「ＯＫ、スピーカ」のような所定のウェイクワード（コマンドワード）でスマートスピーカ２に呼びかけ、アシスタント機能を起動させる。続いて、ユーザはフォトブックを作製するようにスマートスピーカ２に話かける。例えば「１２月の旅行の写真でフォトブック作って」と話しかける。

スマートスピーカ２は、ウェイクワード以降のユーザの発話の音声データをサーバ装置１へ送信する。サーバ装置１は、ユーザの発話文を解釈し、フォトブックの作製処理を開始する。サーバ装置１は、このユーザによりアップロードされている画像を選択し、フォトブックのテンプレートに配置する。例えば、サーバ装置１は、保存している画像のＥＸＩＦデータを参照し、撮影日や撮影場所の情報から、１２月の旅行の写真を絞り込み、フォトブックに好適な画像を選択する。なお、選択される画像は、画像解析によりフォトブックに使用可能と判定された画像である。

サーバ装置１は、選択した画像をレイアウトしてフォトブックデータを作成すると、応答文（音声データ）を生成してスマートスピーカ２へ送信する。スマートスピーカ２は、フォトブックデータをユーザ端末３から確認するように音声を出力する。例えば、スマートスピーカ２は「スマートフォンの通知を確認してください」という音声を出力する。

ユーザ端末３には、サーバ装置１からフォトブックデータが生成されたことを通知するメッセージが届いている。ユーザがメッセージにタッチすると、ユーザ端末３はサーバ装置１からフォトブックのプレビュー画面を取得する。例えば、図３に示すように、ユーザ端末３のタッチパネル３Ａにフォトブックのプレビュー画面が表示される。

例えば、プレビュー画面の下部には、複数ページの画像がサムネイル表示され、画面上部には、選択したページの画像が大きく表示される。ページ切替ボタンＢ１、Ｂ２を押して、サムネイル表示するページを切り替えることができる。

発話により選択ページを切り替えることもできる。例えば、ユーザが「５ページ見せて」とスマートスピーカ２に話かける。サーバ装置１は、スマートスピーカ２を介してユーザの発話文を取得して解釈し、プレビュー画面の選択ページを５ページに切り替える。

発話によりページ順の入れ替えを行うことができる。例えば、図４に示すように、ユーザが「２ページと３ページを入れ替えて」とスマートスピーカ２に話しかける。サーバ装置１は、スマートスピーカ２を介してユーザの発話文を取得して解釈し、２ページの画像と３ページの画像とを入れ替え、プレビュー画面を更新する。ページ入れ替えの音声指示には、少なくとも「入れ替え」というワードと、入れ替え対象の２つのページ番号が含まれている必要がある。

サーバ装置１は、ページ入れ替え後、応答文を生成してスマートスピーカ２へ送信する。スマートスピーカ２は「ページを入れ替えました」のように、ページを入れ替えたことを知らせる音声を出力する。

ユーザが単に「ページを入れ替えて」とスマートスピーカ２に話しかけた場合、サーバ装置１は、所定の行動選択規則に基づいて、入れ替えるページを質問する応答文を生成してスマートスピーカ２へ送信する。あるいはまた、「“３ページと４ページを入れ替える”のように指示してください」と、所定の言葉の順番で指示を出すように知らせる音声をスマートスピーカ２から出力してもよい。

プレビュー画面のページ入れ替えボタンＢ３を押し、入れ替えるページをドラッグアンドドロップすることでも、ページ順の入れ替えを行うことができる。

フォトブックに使用する画像を変更する場合は、発話により画像の変更を指示する。例えば、図５に示すように、ユーザが「６ページの写真を変更」とスマートスピーカ２に話しかける。サーバ装置１は、スマートスピーカ２を介してユーザの発話文を取得して解釈し、画像の一覧画面をユーザ端末３へ送信する。サーバ装置１は、画像一覧画面の送信後、応答文を生成してスマートスピーカ２へ送信する。スマートスピーカ２は「端末の画面から写真を選んでください」等の音声を出力する。

ユーザが単に「写真を変更」とスマートスピーカ２に話しかけた場合、サーバ装置１は、所定の行動選択規則に基づいて、どのページの画像を変更するか質問する応答文を生成してスマートスピーカ２へ送信する。

ユーザが、ユーザ端末３を操作して画像一覧画面から画像を選択すると、サーバ装置１は画像を変更し、フォトブックデータ及びプレビュー画面を更新する。

画像の一覧画面には、ユーザがアップロードした全ての画像（「１２月の旅行」のようにフォトブックの目的が設定されている場合は、その目的に合う全画像）が含まれる。すなわち、サーバ装置１の画像解析により、フォトブックに使用すべきでないと判定された不適切画像も含まれる。ユーザが一覧画面から不適切画像を選択した場合、サーバ装置１は、画像の出所を質問する応答文を生成してスマートスピーカ２へ送信する。例えば、スマートスピーカ２は「６ページの写真にキャラクターコンテンツが含まれますが、ご自身で撮影された写真ですか」のような音声を出力する。

ユーザが「はい、そうです」のような肯定的な返答をした場合、サーバ装置１は、選択した画像の使用を承認する応答文を生成し、スマートスピーカ２へ送信する。一方、ユーザが「いいえ」のような否定的な応答をした場合、サーバ装置１はこの画像の使用には問題があることを説明する応答文を生成してスマートスピーカ２から音声を出力し、ユーザ端末３の表示を画像一覧画面に戻す。

プレビュー画面の画像変更ボタンＢ４（図３参照）を押して画像一覧画面を表示させ、画像一覧画面から画像を選択することでも、画像の変更を行うことができる。

サーバ装置１は、画像を選択してフォトブックデータを作成する際に、選択した画像に対し、コメント（又はタイトル）を生成して付与できる。サーバ装置１は、画像解析により検出された画像内の物体やテキスト、フォトブックの目的等に基づいて、コメントを生成する。例えば、サーバ装置１は、特徴的な物体が検出された画像に対してコメントを生成して付与する。

図６に示すように、コメントを付与したページを表示する場合、サーバ装置１は、コメントを生成・付与したこと及びコメント内容を知らせる応答文を生成してスマートスピーカ２へ送信する。スマートスピーカ２は、コメントを音声で読み上げる。ユーザは、スマートスピーカ２から出力される音声を聞いて、コメントを確認する。

コメントを変更する場合は、発話によりコメントの変更を指示する。例えば、図６に示すように、ユーザが「コメント変更」とスマートスピーカ２に話しかけ、続いて変更後のコメントを発話する。サーバ装置１は、スマートスピーカ２を介してユーザの発話文を取得して解釈し、現在表示している画像のコメントを変更し、フォトブックデータ及びプレビュー画面を更新する。

サーバ装置１は、コメント変更後、応答文を生成してスマートスピーカ２へ送信する。スマートスピーカ２は「コメントを変更しました」のように、コメントを変更したことを知らせる音声を出力する。

プレビュー画面のコメント変更ボタンＢ６を押し、ユーザ端末３のタッチキーを操作してコメントを入力することでも、コメントの変更を行うことができる。

ユーザがフォトブックのプレビュー画面を一通り確認して「注文します」等の所定のワードを発するか、又はプレビュー画面の確定ボタンＢ５（図３参照）を押すと、サーバ装置１は最終確認画面を生成してユーザ端末３へ送信し、応答文を生成してスマートスピーカ２へ送信する。スマートスピーカ２は「端末画面で、写真とコメントの最終確認をお願いします」等の音声を出力する。

ユーザ端末３には、図７に示すような最終確認画面ＦＣが表示される。例えば、画面の下部には、各ページの画像選択者、コメント作成者、コメント内容を含む編集一覧が表示され、画面の上部には選択したページが表示される。編集一覧の画像選択者及びコメント作成者における“ＡＩ自動選択”、“ＡＩ自動作成”は、サーバ装置１に相当する。

上述したように、サーバ装置１は、画像の選択、配置、コメントの作成等を自動で行う。そのため、図７に示すように、編集一覧では、サーバ装置１が画像を選択し、かつコメントもサーバ装置１が作成したか又はコメントの無いページについては、ページ番号を強調表示する。これらのページは、ユーザが見落としている可能性があるためである。

ユーザが画像を選択（変更、入れ替え）したり、コメントを作成したりしたページは、既にユーザが目を通しているページであるため、強調表示する必要はない。

ユーザが、強調表示されているページを確認した後、「注文します」等の所定のワードを発するか、又は最終確認画面の確定ボタンＢ７を押すと、サーバ装置１は決済画面を生成してユーザ端末３へ送信し、応答文を生成してスマートスピーカ２へ送信する。スマートスピーカ２は「決済処理に進みます。ここからは端末より入力をお願いします」等の音声を出力する。決済画面では、フォトブックの配送先やクレジットカード番号の入力が必要となり、スマートスピーカ２を用いた音声入力より、ユーザ端末３の操作による手入力の方が好ましい。

サーバ装置１は、ユーザ（ユーザ端末３）から決済情報が入力され、フォトブックの注文を受け付けると、フォトブックデータ及び注文内容を工場５へ送信する。

工場５に設置されたプリンタ（図示略）は、受信したフォトブックデータに基づいて印画処理を行い、フォトブック６を作製する。工場５で作製されたフォトブック６は、ユーザへ配送される。

工場５へ送信されるフォトブックデータを考査端末４へ送信し、考査端末４で人手による考査を行ってもよい。これにより、サーバ装置１の画像解析で見落とした不適切画像を検出できる。

このように、本実施形態によれば、スマートスピーカ２を介して、音声によりフォトブックの作製を指示できる。また、自動レイアウトされた画像のページ順の入れ替えや、自動作成されたコメントの変更も、スマートスピーカ２を介して音声指示により行うことができる。画像の変更に関しては、画像一覧画面から選択する必要があるため、ユーザ端末３を使用する。

サーバ装置１は、ユーザからアップロードされた画像の解析を行い、公序良俗に反するおそれがある画像や著作権を侵害するおそれがある画像等の不適席画像を予め特定している。サーバ装置１は、フォトブックの作製にあたり、不適切画像以外の、フォトブックでの使用に問題無い画像から画像を選択できる。

また、画像変更処理において、ユーザにより、画像一覧画面から不適切画像が選択された場合、スマートスピーカ２を介してユーザに画像の出所等を質問し、問題無いことが確認されると、フォトブックに使用する。

サーバ装置１は、ユーザからのフォトブック作製を指示する音声に日付が含まれている場合は、画像データに含まれる撮影日情報を確認し、指定された日付に撮影された画像を選択してフォトブックを作製する。そのため、ユーザが意図しない画像がフォトブックに含まれることを防止できる。

図８は、フォトブック作製システムのブロック構成図である。図８に示すように、スマートスピーカ２は、制御部２０、集音部（マイク）２１、音声出力部（スピーカ）２２及び通信部２３を有する。

制御部２０は、音声認識の機能を有し、集音部２１を介して所定のウェイクワードが入力されると、ウェイクワード以降の音声を、通信部２３を用いてサーバ装置１へ送信する。

音声出力部２２は、通信部２３を介してサーバ装置１から受信した応答文の音声データを出力する。

サーバ装置１は、対話処理部１０及びフォトブック編集部１００を備える。

対話処理部１０は、ユーザからの音声指示を理解し、ユーザに対する適切な応答文を生成するものであり、入力理解部１１、対話管理部１２及び出力生成部１３を有する。入力理解部１１は、スマートスピーカ２から受け取ったユーザの発話文からユーザの意図（タスク）を推定する意図推定と、人名や地名等の固有名詞、日付、時間等の表現を発話文から抽出する固有表現抽出の機能を有する。

対話管理部１２は、入力理解部１１から受け取った結果情報をデータベースに相当する内部状態に書き込んで更新する内部状態更新と、内部状態及び対話戦略（行動選択規則）に基づいて次の行動を選択する行動選択の機能を有する。

出力生成部１３は、対話管理部１２の行動選択が出した指示に合う応答文を生成し、スマートスピーカ２へ送信する。

対話処理部１０は、フォトブック編集部１００と連携し、フォトブック編集部１００の処理結果を応答文に反映させることができる。

フォトブック編集部１００は、画像ＤＢ、解析結果ＤＢ、フォトブックデータＤＢ、及び注文内容ＤＢを有する記憶部１１０を備える。

ＣＰＵ（中央処理装置）が記憶部１１０に記憶されているプログラムを実行することで、画像受信部１０１、画像解析部１０２、画像選択部１０３、編集処理部１０４、コメント生成部１０５及び注文処理部１０６の機能が実現される。

画像受信部１０１は、ユーザ端末３からアップロードされた画像データを受信し、画像ＤＢに格納する。

画像解析部１０２は、ユーザ端末３からアップロードされた画像の解析を行う。画像解析は、例えば、画像内の物体やテキストの検出、公序良俗に反するおそれのある画像の検出、著名人や有名キャラクター等が写った著作権を侵害する可能性のある画像の検出である。画像解析部１０２は、公序良俗に反する画像や著作権を侵害する可能性のある画像については、フォトブックに使用すべきでない不適切画像と判定し、判定結果を画像ＤＢ内の画像データに紐付ける。画像解析部１０２は、画像毎に、画像から検出した物体やテキスト、画像データに含まれる撮影日情報、撮影場所情報等をタグとして解析結果ＤＢに格納する。

画像選択部１０３は、対話処理部１０がユーザの発話からフォトブックの作製というタスクを抽出すると、画像ＤＢ内の画像（不適切画像を除く）からフォトブックに好適な画像を選択する。ユーザの発話に日時が含まれている場合は、画像データに含まれる撮影日情報を参照し、画像を選択する。

編集処理部１０４は、画像選択部１０３により選択された画像を所定のテンプレートに配置し、フォトブックデータを生成し、プレビュー画面をユーザ端末３へ送信する。生成したフォトブックデータは、フォトブックデータＤＢに格納される。

編集処理部１０４は、対話処理部１０がユーザの発話からページの入れ替えというタスクを抽出すると、ページを入れ替えて、フォトブックデータ及びプレビュー画面を更新する。

編集処理部１０４は、対話処理部１０がユーザの発話から画像の変更というタスクを抽出すると、画像ＤＢ内の画像を用いて画像一覧画面を作成し、ユーザ端末３へ送信する。画像一覧画面を介して画像が選択されると、編集処理部１０４は、画像を変更してフォトブックデータ及びプレビュー画面を更新する。

画像一覧画面から不適切画像が選択された場合、不適切画像が選択されたことを対話処理部１０に通知する。対話処理部１０は、不適切画像の出所等を問う質問文を生成し、スマートスピーカ２から出力させる。

編集処理部１０４は、対話処理部１０がユーザの発話からコメントの変更というタスクを抽出すると、ユーザから音声入力されたコメントに変更し、フォトブックデータ及びプレビュー画面を更新する。

また、編集処理部１０４は、図７に示すような最終確認画面ＦＣを作成する。

コメント生成部１０５は、フォトブックに使用している画像に対して、コメントを自動生成し、付与する。各画像には、画像解析により画像から検出された物体やテキスト、画像データに含まれる撮影日情報、撮影場所情報等がタグとして付与されている。コメント生成部１０５はこれらのタグを用いて、コメントを生成する。

ユーザからのフォトブック作製開始の音声コマンドに「〇△□のフォトブック」のようにフォトブックのテーマ（シーン）に相当する文言「〇△□」が含まれている場合、目的に応じて、コメント生成に参照するタグの優先順位を設定する。

例えば、フォトブックのテーマが旅行である場合、以下の優先順位でタグを用いてコメントを生成する。
１：地名（位置情報）
２：ランドマーク（有名な建造物など）
３：乗り物
４：食べ物

また、例えばフォトブックのテーマがスポーツである場合、以下の優先順位でタグを用いてコメントを生成する。
１：撮影部
２：表情（うれしい、苦しい、楽しい、悲しいなど）
３：道具（サッカーボール、バット、ラケットなど）

優先順位はユーザからの指示で変更可能となっていてもよい。

注文処理部１０６は、ユーザ端末３から、フォトブックのプリント冊数等の注文を受け付ける。注文処理部１０６が決済情報の入力を受け付けて決済処理を行うと、プリント注文が完了する。注文処理部１０６はフォトブックのプリント冊数や配送先住所等を含む注文内容を注文内容ＤＢに格納する。

プリント注文されたフォトブックデータと、注文内容とが工場５へ送信され、フォトブック６が製造される。

このように、本実施形態によれば、スマートスピーカ２に話しかけることで、フォトブックの編集や注文を行うことができる。

ユーザ端末３はスマートフォンやタブレット端末に限定されず、図９に示すような大画面のテレビ（ディスプレイ）３Ａ及びコントローラ３Ｂであってもよい。これにより、複数人で大型ディスプレイに表示されたプレビュー画面を確認しながら、スマートスピーカ２に話しかけてフォトブックの編集を行うことができる。

図５に示すような画像変更処理では、サーバ装置１に保存されている画像だけでなく、ユーザ端末３に保存されている画像を利用・選択できるようにしてもよい。例えば、サーバ装置１に保存されている画像の一覧画面がユーザ端末３に表示されている状態で、ユーザが「スマホの写真から選ぶ」とスマートスピーカ２に話しかける。サーバ装置１は、スマートスピーカ２を介してユーザの発話文を取得して解釈し、ユーザ端末３内の画像の一覧画面を作成して表示するように、ユーザ端末３に指示する。

ユーザが、ユーザ端末３を操作して、端末内画像の一覧画面から画像を選択すると、ユーザ端末３は選択された画像の画像データをサーバ装置１へ送信（アップロード）する。サーバ装置１は、受信した画像の解析を行い、フォトブックに使用可能な画像か、又はフォトブックに使用すべきでない不適切画像であるかを判定する。フォトブックに使用可能な画像と判定した場合、サーバ装置１は、フォトブックデータ及びプレビュー画面を更新する。

不適切画像と判定した場合、サーバ装置１は、画像の出所を質問する応答文を生成してスマートスピーカ２へ送信する。ユーザからの返答の結果、問題無いことが確認されると、サーバ装置１は、この画像を利用してフォトブックデータ及びプレビュー画面を更新する。

上記実施形態では、画像を変更する際、図５に示すように、ユーザ端末３のタッチパネルをタッチして、画像一覧画面から画像を選択する例について説明したが、スマートスピーカ２を用いた音声入力により画像を選択できるようにしてもよい。

例えば、図１０に示すように、ユーザが「６ページの写真を変更」とスマートスピーカ２に話しかける。サーバ装置１は、スマートスピーカ２を介してユーザの発話文を取得して解釈する。このとき、６ページに複数の画像が含まれている場合、サーバ装置１の編集処理部１０４が、各画像に識別番号を付与してユーザ端末３の画面を更新し、対話処理部１０が、どの番号の画像を変更するか質問する応答文を生成してスマートスピーカ２へ送信する。各画像に付与される識別番号は、発話が簡単なものであることが好ましい。

ユーザが変更対象となる画像の識別番号（例えば“６－１（ろくのいち）”）をスマートスピーカ２に話しかけると、サーバ装置１は、スマートスピーカ２を介してユーザの発話文を取得して解釈し、変更対象の画像を特定し、画像の一覧画面をユーザ端末３へ送信する。

画像一覧画面では、表示されている各画像に識別番号が付与されている。各画像に付与される識別番号は、発話が容易なものであることが好ましい。ユーザ端末３を操作し、画面をスクロールして、表示部（例えばタッチパネル等のディスプレイ）に表示される画像が変わった場合でも、同じ表示位置の画像には、同じ識別番号が付与される。図１０に示す例では、ユーザ端末３には画像一覧画面のうちの６枚の画像が表示され、それぞれ１～６の連番の識別番号が付与される。画面をスクロールして表示される画像を変えても、表示中の画像には常に１～６の識別番号が付与される。

画像一覧には多数の画像が含まれており、全ての画像に識別番号を付与した場合、画面をスクロールしていくと、画像に付与される識別番号が大きくなり、桁数が増え、ユーザが発話する番号の認識が困難になる。ユーザ端末３に表示中の画像にのみ識別番号を付与し、スクロールで表示内容が変わった時も同じ表示位置の画像には同じ識別番号を割り当てることで、識別番号は小さい値のままになり、桁数は少なく、ユーザが発話する番号の認識が容易になる。

識別番号の付与は、ユーザ端末３が行ってもよいし、サーバ装置１が行ってもよい。

サーバ装置１は、画像一覧画面の送信後、応答文を生成してスマートスピーカ２へ送信する。スマートスピーカ２は「写真一覧の番号を教えてください」等の音声を出力する。

ユーザは、使用したい画像に付与されている識別番号を発話する。例えば、ユーザは「２番の写真を使う」とスマートスピーカ２に話しかける。サーバ装置１は、スマートスピーカ２を介してユーザの発話文を取得して解釈し、２番の識別番号が付与されている画像に変更し、フォトブックデータ及びプレビュー画面を更新する。識別番号の付与をユーザ端末３が行っている場合、サーバ装置１は、ユーザが発話した識別番号がどの画像に付与されているかをユーザ端末３に問い合わせる。

画像一覧画面において、識別番号は画像に重ねて表示してもよいし、画像の近傍に表示してもよい。また、ユーザが「番号オフ」「番号オン」とスマートスピーカ２に話しかけると、ユーザ端末３に表示されている画像一覧画面において、識別番号の表示のオフ／オンが切り替えられるようになっていてもよい。ユーザ端末３を操作し、画面をタッチして画像を選択するユーザには、識別番号の表示は不要なためである。ユーザ端末３が識別番号を付与している場合、サーバ装置１は、ユーザの発話文から識別番号の表示のオフ／オンをユーザ端末３に指示する。

画像変更の際、ユーザが発話した条件で絞り込んだ画像を一覧画面に表示してもよい。

例えば、図１１に示すように、ユーザが「６ページの写真を変更」とスマートスピーカ２に話しかける。サーバ装置１は、スマートスピーカ２を介してユーザの発話文を取得して解釈し、画像の一覧画面をユーザ端末３へ送信する。この一覧画面には、サーバ装置１に登録されている全ての画像が含まれる。

続いて、ユーザが「今年の６月１０日に撮影した写真を表示」とスマートスピーカ２に話しかける。サーバ装置１は、スマートスピーカ２を介してユーザの発話文を取得して解釈し、編集処理部１０４が、記憶部１１０に格納されている画像のＥＸＩＦデータを参照し、撮影日が２０１８年６月１０日の画像を検索して抽出し、抽出した画像の一覧画面をユーザ端末３へ送信する。図１０に示した例と同様に、ユーザ端末３に表示される画像一覧画面では、表示されている各画像に識別番号が付与される。

サーバ装置１は、画像一覧画面の送信後、応答文を生成してスマートスピーカ２へ送信する。スマートスピーカ２は「写真一覧の番号を教えてください」等の音声を出力する。

ユーザは、２０１８年６月１０日に撮影した画像の一覧画面から、使用したい画像に付与されている識別番号を発話する。例えば、ユーザは「２番の写真を使う」とスマートスピーカ２に話しかける。サーバ装置１は、スマートスピーカ２を介してユーザの発話文を取得して解釈し、２番の識別番号が付与されている画像に変更し、フォトブックデータ及びプレビュー画面を更新する。

検索条件を音声入力し、画像一覧画面に表示する画像を絞り込むことで、好みの画像が探しやすくなる。画像の絞り込み（検索）を行う際のキーワード（音声）の例を図１２に示す。

例えばユーザが「２０１７年１２月１７日の写真」と発話することで、特定の日付の画像が検索される。撮影日がわかっている場合は、このように日付を指定して画像を検索できる。午前中、午後、夜のように、日付に加えて時間帯を指定できるようにしてもよい。

「２０１７年１２月の写真」のように日付の範囲を指定して画像を検索できるようにしてもよい。

画像変更の際に、変更前の画像と同じ日に撮影された画像を一覧画面で確認したい場合、ユーザは「この写真と同じ撮影日の写真」と発話する。撮影日を覚えていなくても、同じ日付の画像を検索できる。

サーバ装置１に誕生日等の記念日を事前にスケジュール情報に登録しておくことで、記念日に基づいて画像を検索できる。例えば、ユーザが「お母さんの誕生日の写真」と発話することで、サーバ装置１は、事前に登録されている誕生日と同じ日付の写真を複数年分（過去に遡って）検索する。これにより、毎年の記念日の写真を確認できる。

スケジュール情報には、記念日だけでなく、旅行や花火大会などのイベントを登録してもよい。例えば、ユーザが「去年の花火大会の写真」と発話すると、サーバ装置１は、スケジュール情報に基づいて、１年前の花火大会の日に撮影された画像を検索し、画像一覧画面に表示する。イベントに時間帯が登録されている場合は、その時間帯に撮影された画像を検索する。

ユーザが「日付指定クリア」と発話することで、サーバ装置１は検索条件をクリアし、画像一覧画面で全ての画像が確認できるようにする。

上記実施形態では、サーバ装置１が対話処理部１０及びフォトブック編集部１００を備える構成について説明したが、対話処理部１０を有する第１サーバと、フォトブック編集部１００を有する第２サーバとを設けてもよい。スマートスピーカ２及びユーザ端末３が、同一のユーザが使用するものであることを認識する処理は、第１サーバが行ってもよいし、第２サーバが行ってもよい。

ユーザ端末３のＣＰＵがプログラムを実行することで、フォトブック編集部１００の画像選択部１０３及び編集処理部１０４の機能がユーザ端末３に実現されるようにしてもよい。この場合、サーバ装置１は、ユーザの発話から抽出したタスク、検索条件、ユーザが選択した画像の識別番号等をユーザ端末３へ通知する。ユーザ端末３は、通知されたタスクに応じて、フォトブックに好適な画像の選択、フォトブックデータ生成、プレビュー画面の作成・表示等を行う。

画像の変更処理では、サーバ装置１は、スマートスピーカ２を介してユーザの発話文を取得して解釈し、変更対象の画像を特定し、画像の一覧画面をユーザ端末３へ送信する。ユーザ端末３が、サーバ装置１内の画像を用いて、一覧画面を作成してもよい。ユーザ端末３で表示される画像一覧画面では、表示中の画像に識別番号が付与されている。識別番号の付与は、ユーザ端末３が行ってもよいし、サーバ装置１が行ってもよい。

ユーザの発話に検索条件が含まれている場合、サーバ装置１は検索条件をユーザ端末３に通知する。ユーザ端末３は、サーバ装置１から通知された検索条件に基づいて、サーバ装置１内の画像を検索して抽出し、抽出した画像の一覧画面を作成して表示する。

サーバ装置１は、スマートスピーカ２を介してユーザの発話文を取得して解釈し、ユーザが選択した画像の識別番号をユーザ端末３に通知する。ユーザ端末３は、通知された識別番号に基づいて、画像を変更し、フォトブックデータ及びプレビュー画面を更新する。

なお、このような構成にした場合、ユーザの発話から抽出したタスク等をサーバ装置１からユーザ端末３へ通知するタイムラグが生じるため、サーバ装置１がフォトブック編集部１００の機能を有する方がスムーズに処理を進めることができる。

本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１ サーバ装置
２ スマートスピーカ
３ ユーザ端末
４ 考査端末
５ 工場
６ フォトブック

Claims (4)

1. ユーザ端末から受信した画像データを保存するサーバ装置と、
   前記サーバ装置と通信可能に接続され、音声の出力及びユーザの発話の集音を行うスマートスピーカと、
   を備え、
   前記サーバ装置は、
   前記スマートスピーカを介して入力されたユーザの音声を理解し、ユーザに対する応答文を生成し、前記スマートスピーカを介して前記応答文を前記ユーザへ出力する対話処理部と、
   前記ユーザの音声がフォトブック作製指示である場合に、保存する画像の中から複数の画像を選択する画像選択部と、
   前記画像選択部により選択された画像を用いてフォトブックデータを生成する編集処理部と、
   を有し、
   前記フォトブックデータのプレビュー画面を前記ユーザ端末へ送信し、
   前記ユーザの音声が前記フォトブックデータ内の画像変更指示である場合、保存している画像を用いた画像一覧画面を前記ユーザ端末へ送信し、前記ユーザ端末の表示部で前記画像一覧画面に含まれる画像が識別番号と共に表示されるように制御し、
   前記ユーザの音声が前記識別番号を含む画像選択指示である場合、選択された画像を用いて前記フォトブックデータ内の画像を変更し、前記フォトブックデータ及び前記プレビュー画面を更新し、
   前記識別番号の付与は前記ユーザ端末により行われ、前記サーバ装置は、前記ユーザから音声による画像選択指示を受け付けると、前記画像選択指示に含まれる識別番号に対応する画像を前記ユーザ端末に問い合わせることを特徴とするフォトブック作製システム。
2. 前記画像一覧画面の画像には、前記表示部での表示位置に応じた識別番号が付与されることを特徴とする請求項１に記載のフォトブック作製システム。
3. 前記画像一覧画面に含まれる複数の画像のうち、前記表示部で表示中の画像にのみ識別番号が付与されることを特徴とする請求項２に記載のフォトブック作製システム。
4. 音声の出力及びユーザの発話の集音を行うスマートスピーカと通信可能に接続されたサーバ装置であって、
   ユーザ端末から受信した画像データを保存する記憶部と、
   前記スマートスピーカを介して入力されたユーザの音声を理解し、ユーザに対する応答文を生成し、前記スマートスピーカを介して前記応答文を前記ユーザへ出力する対話処理部と、
   前記ユーザの音声がフォトブック作製指示である場合に、保存する画像の中から複数の画像を選択する画像選択部と、
   前記画像選択部により選択された画像を用いてフォトブックデータを生成する編集処理部と、
   を有し、
   前記フォトブックデータのプレビュー画面を前記ユーザ端末へ送信し、
   前記ユーザの音声が前記フォトブックデータ内の画像変更指示である場合、保存している画像を用いた画像一覧画面を前記ユーザ端末へ送信し、前記ユーザ端末の表示部で前記画像一覧画面に含まれる画像が識別番号と共に表示されるように制御し、
   前記ユーザの音声が前記識別番号を含む画像選択指示である場合、選択された画像を用いて前記フォトブックデータ内の画像を変更し、前記フォトブックデータ及び前記プレビュー画面を更新し、
   前記識別番号の付与は前記ユーザ端末により行われ、前記ユーザから音声による画像選択指示を受け付けると、前記画像選択指示に含まれる識別番号に対応する画像を前記ユーザ端末に問い合わせることを特徴とするサーバ装置。

Images