JP6988608B2 - Photobook production system and server equipment - Google Patents

Photobook production system and server equipment Download PDF

Info

Publication number
JP6988608B2
JP6988608B2 JP2018049666A JP2018049666A JP6988608B2 JP 6988608 B2 JP6988608 B2 JP 6988608B2 JP 2018049666 A JP2018049666 A JP 2018049666A JP 2018049666 A JP2018049666 A JP 2018049666A JP 6988608 B2 JP6988608 B2 JP 6988608B2
Authority
JP
Japan
Prior art keywords
image
user
photobook
server device
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018049666A
Other languages
Japanese (ja)
Other versions
JP2019160187A (en
Inventor
大輔 宮本
章 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2018049666A priority Critical patent/JP6988608B2/en
Publication of JP2019160187A publication Critical patent/JP2019160187A/en
Application granted granted Critical
Publication of JP6988608B2 publication Critical patent/JP6988608B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、フォトブック作製システム及びサーバ装置に関する。 The present invention relates to a photobook making system and a server device.

デジタルカメラやスマートフォン等で撮影した画像を、ネットワーク上にアップロードして保存することが行われている。また、アップロードした画像をプリントして、フォトブックやポスター等の印画物を作製するサービスが知られている（例えば特許文献１参照）。 Images taken with digital cameras, smartphones, etc. are uploaded and saved on the network. Further, there is known a service of printing an uploaded image to produce a printed matter such as a photo book or a poster (see, for example, Patent Document 1).

従来、アップロードした画像を用いてフォトブックを注文する場合、パーソナルコンピューターやスマートフォンを操作して画像の選択、配置、コメントの入力等を行っていた。 Conventionally, when ordering a photobook using uploaded images, the personal computer or smartphone is operated to select and arrange images, input comments, and the like.

近年、対話型の音声操作に対応したＡＩアシスタントを利用可能なスマートスピーカが普及している。ユーザがスマートスピーカに話しかけることで、検索エンジンを用いた調べ物、ニュースの読み上げ、音楽や動画の再生、家電の操作など、様々なアクションを実行できる。 In recent years, smart speakers that can use AI assistants that support interactive voice operations have become widespread. By talking to the smart speaker, the user can perform various actions such as searching using a search engine, reading news aloud, playing music and videos, and operating home appliances.

特開２００５−３３９２１４号公報Japanese Unexamined Patent Publication No. 2005-339214

本発明は、スマートスピーカに話しかけることでフォトブックの編集や注文を行うことができるフォトブック作製システム及びサーバ装置を提供することを課題とする。 An object of the present invention is to provide a photobook production system and a server device capable of editing and ordering a photobook by talking to a smart speaker.

本発明によるフォトブック作製システムは、ユーザ端末から受信した画像データを保存するサーバ装置と、前記サーバ装置と通信可能に接続され、音声の出力及びユーザの発話の集音を行うスマートスピーカと、を備え、前記サーバ装置は、前記スマートスピーカを介して入力されたユーザの音声を理解し、ユーザに対する応答文を生成し、前記スマートスピーカを介して前記応答文を前記ユーザへ出力する対話処理部と、前記ユーザの音声がフォトブック作製指示である場合に、保存する画像の中から複数の画像を選択する画像選択部と、前記画像選択部により選択された画像を用いてフォトブックデータを生成する編集処理部と、を有し、前記フォトブックデータのプレビュー画面を前記ユーザ端末へ送信するものである。 The photobook production system according to the present invention comprises a server device that stores image data received from a user terminal, and a smart speaker that is communicably connected to the server device and outputs voice and collects user's speech. The server device includes a dialogue processing unit that understands a user's voice input via the smart speaker, generates a response text to the user, and outputs the response text to the user via the smart speaker. , When the user's voice is a photobook creation instruction, photobook data is generated using an image selection unit that selects a plurality of images from the images to be saved and an image selected by the image selection unit. It has an editing processing unit, and transmits the preview screen of the photobook data to the user terminal.

本発明の一態様によるフォトブック作製システムにおいて、前記サーバ装置は、前記ユーザの音声に前記フォトブックデータ内のページ入れ替え指示及び入れ替え対象のページ番号が含まれている場合、前記入れ替え対象のページを入れ替えて、前記フォトブックデータ及び前記プレビュー画面を更新する。 In the photobook production system according to one aspect of the present invention, when the user's voice includes a page replacement instruction and a page number to be replaced in the photobook data, the server device displays the page to be replaced. The photo book data and the preview screen are updated by exchanging.

本発明の一態様によるフォトブック作製システムにおいて、前記サーバ装置は、前記ユーザの音声が前記フォトブックデータ内の画像変更指示である場合、保存している画像を用いた画像一覧画面を前記ユーザ端末へ送信し、前記画像一覧画面を介して画像が選択されると、前記フォトブックデータ及び前記プレビュー画面を更新する。 In the photobook production system according to one aspect of the present invention, when the user's voice is an image change instruction in the photobook data, the server device displays an image list screen using the stored image on the user terminal. When an image is selected via the image list screen, the photobook data and the preview screen are updated.

本発明の一態様によるフォトブック作製システムにおいて、前記サーバ装置は、前記ユーザの音声に、前記フォトブックデータ内の画像変更指示、及び前記ユーザ端末内の画像の利用指示が含まれている場合、保存している画像を用いた画像一覧画面を作成して表示するように前記ユーザ端末へ指示を送信し、前記画像一覧画面を介して選択された画像の画像データを前記ユーザ端末から受信し、前記フォトブックデータ及び前記プレビュー画面を更新する。 In the photobook production system according to one aspect of the present invention, when the server device includes an image change instruction in the photobook data and an image use instruction in the user terminal in the user's voice. An instruction is sent to the user terminal to create and display an image list screen using the saved image, and image data of the image selected via the image list screen is received from the user terminal. The photobook data and the preview screen are updated.

本発明の一態様によるフォトブック作製システムにおいて、前記サーバ装置は、前記画像データの解析を行い、フォトブックでの使用に適切か否か判定する画像解析部をさらに有し、前記画像一覧画面を介して選択された画像が、前記画像解析部によりフォトブックでの使用に不適切であると判定された場合、前記対話処理部は、選択画像の出所を問う質問を生成し、前記スマートスピーカが前記質問を前記ユーザに伝え、前記質問に対する前記ユーザの返答を受け取る。 In the photobook production system according to one aspect of the present invention, the server device further includes an image analysis unit that analyzes the image data and determines whether or not it is suitable for use in the photobook, and displays the image list screen. If the image selected through the image analysis unit determines that the image is unsuitable for use in a photobook, the dialogue processing unit generates a question asking the source of the selected image, and the smart speaker causes the smart speaker. The question is communicated to the user and the user's response to the question is received.

本発明によるサーバ装置は、音声の出力及びユーザの発話の集音を行うスマートスピーカと通信可能に接続されたサーバ装置であって、ユーザ端末から受信した画像データを保存する記憶部と、前記スマートスピーカを介して入力されたユーザの音声を理解し、ユーザに対する応答文を生成し、前記スマートスピーカを介して前記応答文を前記ユーザへ出力する対話処理部と、前記ユーザの音声がフォトブック作製指示である場合に、保存する画像の中から複数の画像を選択する画像選択部と、前記画像選択部により選択された画像を用いてフォトブックデータを生成する編集処理部と、を有し、前記フォトブックデータのプレビュー画面を前記ユーザ端末へ送信するものである。 The server device according to the present invention is a server device communicably connected to a smart speaker that outputs voice and collects voices of the user, and has a storage unit that stores image data received from the user terminal and the smart. A dialogue processing unit that understands the user's voice input via the speaker, generates a response text to the user, and outputs the response text to the user via the smart speaker, and the user's voice creates a photobook. It has an image selection unit that selects a plurality of images from the images to be saved when instructed, and an editing processing unit that generates photobook data using the images selected by the image selection unit. The preview screen of the photobook data is transmitted to the user terminal.

本発明によれば、スマートスピーカに話しかけることでフォトブックの編集や注文を行うことができる。 According to the present invention, a photo book can be edited or ordered by talking to a smart speaker.

本発明の実施形態に係るフォトブック作製システムの概略構成図である。It is a schematic block diagram of the photo book making system which concerns on embodiment of this invention. フォトブック作製指示の例を示す図である。It is a figure which shows the example of the photobook making instruction. フォトブックのプレビュー画面の例を示す図である。It is a figure which shows the example of the preview screen of a photo book. フォトブック編集指示の例を示す図である。It is a figure which shows the example of the photo book editing instruction. フォトブック編集指示の例を示す図である。It is a figure which shows the example of the photo book editing instruction. フォトブック編集指示の例を示す図である。It is a figure which shows the example of the photo book editing instruction. フォトブック注文指示の例を示す図である。It is a figure which shows the example of the photo book order instruction. フォトブック作製システムのブロック構成図である。It is a block block diagram of a photobook making system. 変形例によるユーザ端末の例を示す図である。It is a figure which shows the example of the user terminal by the modification.

以下、本発明の実施の形態を図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図１に示すように、本発明の実施形態に係るフォトブック作製システムは、サーバ装置１及びスマートスピーカ２を備える。サーバ装置１は、インターネット等の通信ネットワークを介して、スマートスピーカ２及びユーザ端末３と通信可能となっている。 As shown in FIG. 1, the photobook production system according to the embodiment of the present invention includes a server device 1 and a smart speaker 2. The server device 1 can communicate with the smart speaker 2 and the user terminal 3 via a communication network such as the Internet.

ユーザ端末３は、スマートフォン、タブレット端末等である。サーバ装置１には、ユーザからアップロードされた画像データが保存されている。スマートスピーカ２は、通信機能と対話型音声操作のアシスタント機能とを有するスピーカであり、ユーザの自宅等に設置されている。 The user terminal 3 is a smartphone, a tablet terminal, or the like. Image data uploaded by the user is stored in the server device 1. The smart speaker 2 is a speaker having a communication function and an assistant function for interactive voice operation, and is installed at the user's home or the like.

スマートスピーカ２及びユーザ端末３には、サーバ装置１から、ユーザを識別する同一の識別情報（ユーザＩＤ）が付与されている。従って、サーバ装置１は、スマートスピーカ２及びユーザ端末３が、同一のユーザが使用するものであることを認識している。上述した画像のアップロードは、ユーザ端末３から行われてもよいし、同じユーザＩＤでログインした他の端末から行われてもよい。 The smart speaker 2 and the user terminal 3 are given the same identification information (user ID) for identifying the user from the server device 1. Therefore, the server device 1 recognizes that the smart speaker 2 and the user terminal 3 are used by the same user. The above-mentioned image upload may be performed from the user terminal 3 or may be performed from another terminal logged in with the same user ID.

サーバ装置１は、画像解析機能を有し、ユーザからアップロードされた画像の解析を行う。画像解析は、例えば、画像内の物体やテキストの検出、公序良俗に反するおそれのある画像の検出、著名人や有名キャラクター等が写った著作権を侵害する可能性のある画像の検出である。例えば、サーバ装置１はウェブ上で類似している画像を検索して、著作権侵害の有無を判定する。サーバ装置１は、公序良俗に反する画像や著作権を侵害する可能性のある画像については、フォトブックに使用すべきでない不適切画像と判定し、その他の画像についてはフォトブックに使用可能な画像と判定する。 The server device 1 has an image analysis function and analyzes an image uploaded by a user. Image analysis is, for example, detection of objects and texts in an image, detection of an image that may be offensive to public order and morals, and detection of an image that may infringe the copyright of a celebrity, a famous character, or the like. For example, the server device 1 searches for similar images on the Web and determines whether or not there is copyright infringement. The server device 1 determines that an image that is offensive to public order and morals or an image that may infringe copyright is an inappropriate image that should not be used in a photobook, and other images are images that can be used in a photobook. judge.

本実施形態において、ユーザは、スマートスピーカ２に話しかけることでフォトブックの編集を行い、ユーザ端末３に表示されるプレビュー画面を確認する。 In the present embodiment, the user edits the photo book by talking to the smart speaker 2 and confirms the preview screen displayed on the user terminal 3.

例えば、図２に示すように、ユーザは「ＯＫ、スピーカ」のような所定のウェイクワード（コマンドワード）でスマートスピーカ２に呼びかけ、アシスタント機能を起動させる。続いて、ユーザはフォトブックを作製するようにスマートスピーカ２に話かける。例えば「１２月の旅行の写真でフォトブック作って」と話しかける。 For example, as shown in FIG. 2, the user calls the smart speaker 2 with a predetermined wake word (command word) such as "OK, speaker" to activate the assistant function. Subsequently, the user talks to the smart speaker 2 to create a photo book. For example, say, "Make a photo book with photos of your trip in December."

スマートスピーカ２は、ウェイクワード以降のユーザの発話の音声データをサーバ装置１へ送信する。サーバ装置１は、ユーザの発話文を解釈し、フォトブックの作製処理を開始する。サーバ装置１は、このユーザによりアップロードされている画像を選択し、フォトブックのテンプレートに配置する。例えば、サーバ装置１は、保存している画像のＥＸＩＦデータを参照し、撮影日や撮影場所の情報から、１２月の旅行の写真を絞り込み、フォトブックに好適な画像を選択する。なお、選択される画像は、画像解析によりフォトブックに使用可能と判定された画像である。 The smart speaker 2 transmits the voice data of the user's utterance after the wake word to the server device 1. The server device 1 interprets the user's utterance and starts the photo book production process. The server device 1 selects an image uploaded by this user and places it in a photobook template. For example, the server device 1 refers to the EXIF data of the stored image, narrows down the photos of the trip in December from the information of the shooting date and the shooting location, and selects an image suitable for the photo book. The selected image is an image determined to be usable in the photo book by image analysis.

サーバ装置１は、選択した画像をレイアウトしてフォトブックデータを作成すると、応答文（音声データ）を生成してスマートスピーカ２へ送信する。スマートスピーカ２は、フォトブックデータをユーザ端末３から確認するように音声を出力する。例えば、スマートスピーカ２は「スマートフォンの通知を確認してください」という音声を出力する。 When the server device 1 lays out the selected image and creates the photobook data, the server device 1 generates a response sentence (voice data) and transmits it to the smart speaker 2. The smart speaker 2 outputs voice so as to confirm the photo book data from the user terminal 3. For example, the smart speaker 2 outputs a voice saying "Please check the notification on the smartphone".

ユーザ端末３には、サーバ装置１からフォトブックデータが生成されたことを通知するメッセージが届いている。ユーザがメッセージにタッチすると、ユーザ端末３はサーバ装置１からフォトブックのプレビュー画面を取得する。例えば、図３に示すように、ユーザ端末３のタッチパネル３Ａにフォトブックのプレビュー画面が表示される。 The user terminal 3 has received a message notifying that the photobook data has been generated from the server device 1. When the user touches the message, the user terminal 3 acquires the photobook preview screen from the server device 1. For example, as shown in FIG. 3, a photobook preview screen is displayed on the touch panel 3A of the user terminal 3.

例えば、プレビュー画面の下部には、複数ページの画像がサムネイル表示され、画面上部には、選択したページの画像が大きく表示される。ページ切替ボタンＢ１、Ｂ２を押して、サムネイル表示するページを切り替えることができる。 For example, images of a plurality of pages are displayed as thumbnails at the bottom of the preview screen, and images of the selected page are displayed large at the top of the screen. You can switch the page to be displayed as a thumbnail by pressing the page switching buttons B1 and B2.

発話により選択ページを切り替えることもできる。例えば、ユーザが「５ページ見せて」とスマートスピーカ２に話かける。サーバ装置１は、スマートスピーカ２を介してユーザの発話文を取得して解釈し、プレビュー画面の選択ページを５ページに切り替える。 You can also switch the selection page by utterance. For example, the user talks to the smart speaker 2 "Show me 5 pages". The server device 1 acquires and interprets the user's utterance text via the smart speaker 2, and switches the selection page of the preview screen to page 5.

発話によりページ順の入れ替えを行うことができる。例えば、図４に示すように、ユーザが「２ページと３ページを入れ替えて」とスマートスピーカ２に話しかける。サーバ装置１は、スマートスピーカ２を介してユーザの発話文を取得して解釈し、２ページの画像と３ページの画像とを入れ替え、プレビュー画面を更新する。ページ入れ替えの音声指示には、少なくとも「入れ替え」というワードと、入れ替え対象の２つのページ番号が含まれている必要がある。 The page order can be changed by utterance. For example, as shown in FIG. 4, the user talks to the smart speaker 2 "swap pages 2 and 3". The server device 1 acquires and interprets the user's utterance text via the smart speaker 2, replaces the image on page 2 with the image on page 3, and updates the preview screen. The voice instruction for page replacement must include at least the word "replacement" and two page numbers to be replaced.

サーバ装置１は、ページ入れ替え後、応答文を生成してスマートスピーカ２へ送信する。スマートスピーカ２は「ページを入れ替えました」のように、ページを入れ替えたことを知らせる音声を出力する。 After switching pages, the server device 1 generates a response sentence and sends it to the smart speaker 2. The smart speaker 2 outputs a voice informing that the pages have been replaced, such as "pages have been replaced".

ユーザが単に「ページを入れ替えて」とスマートスピーカ２に話しかけた場合、サーバ装置１は、所定の行動選択規則に基づいて、入れ替えるページを質問する応答文を生成してスマートスピーカ２へ送信する。あるいはまた、「“３ページと４ページを入れ替える”のように指示してください」と、所定の言葉の順番で指示を出すように知らせる音声をスマートスピーカ２から出力してもよい。 When the user simply talks to the smart speaker 2 to "swap pages", the server device 1 generates a response sentence asking the page to be replaced and sends it to the smart speaker 2 based on a predetermined action selection rule. Alternatively, the smart speaker 2 may output a voice informing the user to give instructions in the order of predetermined words, such as "Please give instructions such as" Swap pages 3 and 4 "."

プレビュー画面のページ入れ替えボタンＢ３を押し、入れ替えるページをドラッグアンドドロップすることでも、ページ順の入れ替えを行うことができる。 You can also change the page order by pressing the page change button B3 on the preview screen and dragging and dropping the page to be replaced.

フォトブックに使用する画像を変更する場合は、発話により画像の変更を指示する。例えば、図５に示すように、ユーザが「６ページの写真を変更」とスマートスピーカ２に話しかける。サーバ装置１は、スマートスピーカ２を介してユーザの発話文を取得して解釈し、画像の一覧画面をユーザ端末３へ送信する。サーバ装置１は、画像一覧画面の送信後、応答文を生成してスマートスピーカ２へ送信する。スマートスピーカ２は「端末の画面から写真を選んでください」等の音声を出力する。 When changing the image used for the photo book, the change of the image is instructed by utterance. For example, as shown in FIG. 5, the user talks to the smart speaker 2 "change the photo on page 6". The server device 1 acquires and interprets the user's utterance text via the smart speaker 2, and transmits the image list screen to the user terminal 3. After transmitting the image list screen, the server device 1 generates a response sentence and transmits it to the smart speaker 2. The smart speaker 2 outputs a voice such as "Please select a photo from the screen of the terminal".

ユーザが単に「写真を変更」とスマートスピーカ２に話しかけた場合、サーバ装置１は、所定の行動選択規則に基づいて、どのページの画像を変更するか質問する応答文を生成してスマートスピーカ２へ送信する。 When the user simply talks to the smart speaker 2 to "change the photo", the server device 1 generates a response sentence asking which page of the image to change based on a predetermined action selection rule, and the smart speaker 2 Send to.

ユーザが、ユーザ端末３を操作して画像一覧画面から画像を選択すると、サーバ装置１は画像を変更し、フォトブックデータ及びプレビュー画面を更新する。 When the user operates the user terminal 3 to select an image from the image list screen, the server device 1 changes the image and updates the photobook data and the preview screen.

画像の一覧画面には、ユーザがアップロードした全ての画像（「１２月の旅行」のようにフォトブックの目的が設定されている場合は、その目的に合う全画像）が含まれる。すなわち、サーバ装置１の画像解析により、フォトブックに使用すべきでないと判定された不適切画像も含まれる。ユーザが一覧画面から不適切画像を選択した場合、サーバ装置１は、画像の出所を質問する応答文を生成してスマートスピーカ２へ送信する。例えば、スマートスピーカ２は「６ページの写真にキャラクターコンテンツが含まれますが、ご自身で撮影された写真ですか」のような音声を出力する。 The image list screen includes all images uploaded by the user (if a photobook purpose is set, such as "Travel in December", all images that meet that purpose). That is, an inappropriate image determined by the image analysis of the server device 1 that should not be used for the photo book is also included. When the user selects an inappropriate image from the list screen, the server device 1 generates a response sentence asking the source of the image and sends it to the smart speaker 2. For example, the smart speaker 2 outputs a sound such as "The picture on page 6 contains character content, but is the picture taken by yourself?"

ユーザが「はい、そうです」のような肯定的な返答をした場合、サーバ装置１は、選択した画像の使用を承認する応答文を生成し、スマートスピーカ２へ送信する。一方、ユーザが「いいえ」のような否定的な応答をした場合、サーバ装置１はこの画像の使用には問題があることを説明する応答文を生成してスマートスピーカ２から音声を出力し、ユーザ端末３の表示を画像一覧画面に戻す。 When the user gives a positive reply such as "Yes, that's right", the server device 1 generates a response statement approving the use of the selected image and sends it to the smart speaker 2. On the other hand, when the user gives a negative response such as "No", the server device 1 generates a response statement explaining that there is a problem in using this image, and outputs the voice from the smart speaker 2. The display of the user terminal 3 is returned to the image list screen.

プレビュー画面の画像変更ボタンＢ４（図３参照）を押して画像一覧画面を表示させ、画像一覧画面から画像を選択することでも、画像の変更を行うことができる。 You can also change the image by pressing the image change button B4 (see FIG. 3) on the preview screen to display the image list screen and selecting an image from the image list screen.

サーバ装置１は、画像を選択してフォトブックデータを作成する際に、選択した画像に対し、コメント（又はタイトル）を生成して付与できる。サーバ装置１は、画像解析により検出された画像内の物体やテキスト、フォトブックの目的等に基づいて、コメントを生成する。例えば、サーバ装置１は、特徴的な物体が検出された画像に対してコメントを生成して付与する。 When the server device 1 selects an image and creates photobook data, the server device 1 can generate and add a comment (or title) to the selected image. The server device 1 generates a comment based on an object or text in the image detected by image analysis, the purpose of the photo book, or the like. For example, the server device 1 generates and adds a comment to an image in which a characteristic object is detected.

図６に示すように、コメントを付与したページを表示する場合、サーバ装置１は、コメントを生成・付与したこと及びコメント内容を知らせる応答文を生成してスマートスピーカ２へ送信する。スマートスピーカ２は、コメントを音声で読み上げる。ユーザは、スマートスピーカ２から出力される音声を聞いて、コメントを確認する。 As shown in FIG. 6, when displaying a page to which a comment has been added, the server device 1 generates a response sentence notifying that the comment has been generated / added and the content of the comment and sends it to the smart speaker 2. The smart speaker 2 reads out the comment by voice. The user listens to the voice output from the smart speaker 2 and confirms the comment.

コメントを変更する場合は、発話によりコメントの変更を指示する。例えば、図６に示すように、ユーザが「コメント変更」とスマートスピーカ２に話しかけ、続いて変更後のコメントを発話する。サーバ装置１は、スマートスピーカ２を介してユーザの発話文を取得して解釈し、現在表示している画像のコメントを変更し、フォトブックデータ及びプレビュー画面を更新する。 When changing a comment, instruct the change of the comment by utterance. For example, as shown in FIG. 6, the user speaks to the smart speaker 2 "change comment", and then utters the comment after the change. The server device 1 acquires and interprets the user's utterance text via the smart speaker 2, changes the comment of the currently displayed image, and updates the photobook data and the preview screen.

サーバ装置１は、コメント変更後、応答文を生成してスマートスピーカ２へ送信する。スマートスピーカ２は「コメントを変更しました」のように、コメントを変更したことを知らせる音声を出力する。 After changing the comment, the server device 1 generates a response sentence and sends it to the smart speaker 2. The smart speaker 2 outputs a voice informing that the comment has been changed, such as "The comment has been changed".

プレビュー画面のコメント変更ボタンＢ６を押し、ユーザ端末３のタッチキーを操作してコメントを入力することでも、コメントの変更を行うことができる。 The comment can also be changed by pressing the comment change button B6 on the preview screen and operating the touch key of the user terminal 3 to input the comment.

ユーザがフォトブックのプレビュー画面を一通り確認して「注文します」等の所定のワードを発するか、又はプレビュー画面の確定ボタンＢ５（図３参照）を押すと、サーバ装置１は最終確認画面を生成してユーザ端末３へ送信し、応答文を生成してスマートスピーカ２へ送信する。スマートスピーカ２は「端末画面で、写真とコメントの最終確認をお願いします」等の音声を出力する。 When the user confirms the preview screen of the photo book and issues a predetermined word such as "order" or presses the confirmation button B5 (see FIG. 3) on the preview screen, the server device 1 displays the final confirmation screen. Is generated and transmitted to the user terminal 3, and a response sentence is generated and transmitted to the smart speaker 2. The smart speaker 2 outputs a voice such as "Please make a final confirmation of the photo and comment on the terminal screen."

ユーザ端末３には、図７に示すような最終確認画面ＦＣが表示される。例えば、画面の下部には、各ページの画像選択者、コメント作成者、コメント内容を含む編集一覧が表示され、画面の上部には選択したページが表示される。編集一覧の画像選択者及びコメント作成者における“ＡＩ自動選択”、“ＡＩ自動作成”は、サーバ装置１に相当する。 The final confirmation screen FC as shown in FIG. 7 is displayed on the user terminal 3. For example, the image selector, comment creator, and edit list including the comment content of each page are displayed at the bottom of the screen, and the selected page is displayed at the top of the screen. The "AI automatic selection" and "AI automatic creation" in the image selecter and the comment creator of the edit list correspond to the server device 1.

上述したように、サーバ装置１は、画像の選択、配置、コメントの作成等を自動で行う。そのため、図７に示すように、編集一覧では、サーバ装置１が画像を選択し、かつコメントもサーバ装置１が作成したか又はコメントの無いページについては、ページ番号を強調表示する。これらのページは、ユーザが見落としている可能性があるためである。 As described above, the server device 1 automatically selects, arranges, creates comments, and the like. Therefore, as shown in FIG. 7, in the edit list, the page number is highlighted when the server device 1 selects an image and the comment is also created by the server device 1 or has no comment. This is because these pages may be overlooked by the user.

ユーザが画像を選択（変更、入れ替え）したり、コメントを作成したりしたページは、既にユーザが目を通しているページであるため、強調表示する必要はない。 The page on which the user selects (changes, replaces) an image or creates a comment is a page that the user has already read and does not need to be highlighted.

ユーザが、強調表示されているページを確認した後、「注文します」等の所定のワードを発するか、又は最終確認画面の確定ボタンＢ７を押すと、サーバ装置１は決済画面を生成してユーザ端末３へ送信し、応答文を生成してスマートスピーカ２へ送信する。スマートスピーカ２は「決済処理に進みます。ここからは端末より入力をお願いします」等の音声を出力する。決済画面では、フォトブックの配送先やクレジットカード番号の入力が必要となり、スマートスピーカ２を用いた音声入力より、ユーザ端末３の操作による手入力の方が好ましい。 When the user confirms the highlighted page and then issues a predetermined word such as "I will place an order" or presses the confirmation button B7 on the final confirmation screen, the server device 1 generates a payment screen. It is transmitted to the user terminal 3, a response sentence is generated, and it is transmitted to the smart speaker 2. The smart speaker 2 outputs a voice such as "Proceed to payment processing. Please input from the terminal from here." On the payment screen, it is necessary to input the delivery address of the photo book and the credit card number, and manual input by operating the user terminal 3 is preferable to voice input using the smart speaker 2.

サーバ装置１は、ユーザ（ユーザ端末３）から決済情報が入力され、フォトブックの注文を受け付けると、フォトブックデータ及び注文内容を工場５へ送信する。 When the payment information is input from the user (user terminal 3) and the photobook order is received, the server device 1 transmits the photobook data and the order contents to the factory 5.

工場５に設置されたプリンタ（図示略）は、受信したフォトブックデータに基づいて印画処理を行い、フォトブック６を作製する。工場５で作製されたフォトブック６は、ユーザへ配送される。 The printer (not shown) installed in the factory 5 performs printing processing based on the received photobook data to produce the photobook 6. The photo book 6 produced in the factory 5 is delivered to the user.

工場５へ送信されるフォトブックデータを考査端末４へ送信し、考査端末４で人手による考査を行ってもよい。これにより、サーバ装置１の画像解析で見落とした不適切画像を検出できる。 The photobook data transmitted to the factory 5 may be transmitted to the examination terminal 4 and the examination terminal 4 may be used for manual examination. As a result, an inappropriate image overlooked in the image analysis of the server device 1 can be detected.

このように、本実施形態によれば、スマートスピーカ２を介して、音声によりフォトブックの作製を指示できる。また、自動レイアウトされた画像のページ順の入れ替えや、自動作成されたコメントの変更も、スマートスピーカ２を介して音声指示により行うことができる。画像の変更に関しては、画像一覧画面から選択する必要があるため、ユーザ端末３を使用する。 As described above, according to the present embodiment, it is possible to instruct the production of the photo book by voice via the smart speaker 2. Further, the page order of the automatically laid out images can be changed, and the automatically created comment can be changed by voice instruction via the smart speaker 2. Since it is necessary to select from the image list screen for changing the image, the user terminal 3 is used.

サーバ装置１は、ユーザからアップロードされた画像の解析を行い、公序良俗に反するおそれがある画像や著作権を侵害するおそれがある画像等の不適席画像を予め特定している。サーバ装置１は、フォトブックの作製にあたり、不適切画像以外の、フォトブックでの使用に問題無い画像から画像を選択できる。 The server device 1 analyzes the image uploaded by the user, and identifies in advance an unsuitable seat image such as an image that may violate public order and morals or an image that may infringe copyright. When creating a photobook, the server device 1 can select an image from images other than inappropriate images that are not problematic for use in the photobook.

また、画像変更処理において、ユーザにより、画像一覧画面から不適切画像が選択された場合、スマートスピーカ２を介してユーザに画像の出所等を質問し、問題無いことが確認されると、フォトブックに使用する。 Further, in the image change process, when an inappropriate image is selected from the image list screen by the user, the user is asked about the source of the image via the smart speaker 2, and when it is confirmed that there is no problem, the photo book Used for.

サーバ装置１は、ユーザからのフォトブック作製を指示する音声に日付が含まれている場合は、画像データに含まれる撮影日情報を確認し、指定された日付に撮影された画像を選択してフォトブックを作製する。そのため、ユーザが意図しない画像がフォトブックに含まれることを防止できる。 If the voice instructing the user to create a photobook contains a date, the server device 1 confirms the shooting date information included in the image data, and selects an image shot on the specified date. Make a photo book. Therefore, it is possible to prevent the photo book from including an image that the user does not intend.

図８は、フォトブック作製システムのブロック構成図である。図８に示すように、スマートスピーカ２は、制御部２０、集音部（マイク）２１、音声出力部（スピーカ）２２及び通信部２３を有する。 FIG. 8 is a block configuration diagram of a photobook production system. As shown in FIG. 8, the smart speaker 2 has a control unit 20, a sound collecting unit (microphone) 21, a voice output unit (speaker) 22, and a communication unit 23.

制御部２０は、音声認識の機能を有し、集音部２１を介して所定のウェイクワードが入力されると、ウェイクワード以降の音声を、通信部２３を用いてサーバ装置１へ送信する。 The control unit 20 has a voice recognition function, and when a predetermined wake word is input via the sound collecting unit 21, the control unit 20 transmits the voice after the wake word to the server device 1 using the communication unit 23.

音声出力部２２は、通信部２３を介してサーバ装置１から受信した応答文の音声データを出力する。 The voice output unit 22 outputs the voice data of the response text received from the server device 1 via the communication unit 23.

サーバ装置１は、対話処理部１０及びフォトブック編集部１００を備える。 The server device 1 includes an dialogue processing unit 10 and a photobook editing unit 100.

対話処理部１０は、ユーザからの音声指示を理解し、ユーザに対する適切な応答文を生成するものであり、入力理解部１１、対話管理部１２及び出力生成部１３を有する。入力理解部１１は、スマートスピーカ２から受け取ったユーザの発話文からユーザの意図（タスク）を推定する意図推定と、人名や地名等の固有名詞、日付、時間等の表現を発話文から抽出する固有表現抽出の機能を有する。 The dialogue processing unit 10 understands the voice instruction from the user and generates an appropriate response sentence to the user, and has an input understanding unit 11, a dialogue management unit 12, and an output generation unit 13. The input comprehension unit 11 estimates the user's intention (task) from the user's utterance sentence received from the smart speaker 2, and extracts expressions such as proper nouns such as personal names and place names, dates, and times from the utterance sentences. It has a function of named entity extraction.

対話管理部１２は、入力理解部１１から受け取った結果情報をデータベースに相当する内部状態に書き込んで更新する内部状態更新と、内部状態及び対話戦略（行動選択規則）に基づいて次の行動を選択する行動選択の機能を有する。 The dialogue management unit 12 writes and updates the result information received from the input understanding unit 11 in the internal state corresponding to the database, and selects the next action based on the internal state and the dialogue strategy (action selection rule). Has the function of action selection.

出力生成部１３は、対話管理部１２の行動選択が出した指示に合う応答文を生成し、スマートスピーカ２へ送信する。 The output generation unit 13 generates a response sentence corresponding to the instruction issued by the action selection of the dialogue management unit 12, and transmits it to the smart speaker 2.

対話処理部１０は、フォトブック編集部１００と連携し、フォトブック編集部１００の処理結果を応答文に反映させることができる。 The dialogue processing unit 10 can cooperate with the photo book editing unit 100 and reflect the processing result of the photo book editing unit 100 in the response sentence.

フォトブック編集部１００は、画像ＤＢ、解析結果ＤＢ、フォトブックデータＤＢ、及び注文内容ＤＢを有する記憶部１１０を備える。 The photobook editing unit 100 includes a storage unit 110 having an image DB, an analysis result DB, a photobook data DB, and an order content DB.

ＣＰＵ（中央処理装置）が記憶部１１０に記憶されているプログラムを実行することで、画像受信部１０１、画像解析部１０２、画像選択部１０３、編集処理部１０４、コメント生成部１０５及び注文処理部１０６の機能が実現される。 By executing the program stored in the storage unit 110 by the CPU (central processing unit), the image receiving unit 101, the image analysis unit 102, the image selection unit 103, the editing processing unit 104, the comment generation unit 105, and the order processing unit 106 functions are realized.

画像受信部１０１は、ユーザ端末３からアップロードされた画像データを受信し、画像ＤＢに格納する。 The image receiving unit 101 receives the image data uploaded from the user terminal 3 and stores it in the image DB.

画像解析部１０２は、ユーザ端末３からアップロードされた画像の解析を行う。画像解析は、例えば、画像内の物体やテキストの検出、公序良俗に反するおそれのある画像の検出、著名人や有名キャラクター等が写った著作権を侵害する可能性のある画像の検出である。画像解析部１０２は、公序良俗に反する画像や著作権を侵害する可能性のある画像については、フォトブックに使用すべきでない不適切画像と判定し、判定結果を画像ＤＢ内の画像データに紐付ける。画像解析部１０２は、画像毎に、画像から検出した物体やテキスト、画像データに含まれる撮影日情報、撮影場所情報等をタグとして解析結果ＤＢに格納する。 The image analysis unit 102 analyzes the image uploaded from the user terminal 3. Image analysis is, for example, detection of objects and texts in an image, detection of an image that may be offensive to public order and morals, and detection of an image that may infringe the copyright of a celebrity, a famous character, or the like. The image analysis unit 102 determines that an image that violates public order and morals or an image that may infringe copyright is an inappropriate image that should not be used in a photo book, and associates the determination result with the image data in the image DB. .. The image analysis unit 102 stores the object and text detected from the image, the shooting date information included in the image data, the shooting location information, and the like as tags in the analysis result DB for each image.

画像選択部１０３は、対話処理部１０がユーザの発話からフォトブックの作製というタスクを抽出すると、画像ＤＢ内の画像（不適切画像を除く）からフォトブックに好適な画像を選択する。ユーザの発話に日時が含まれている場合は、画像データに含まれる撮影日情報を参照し、画像を選択する。 When the dialogue processing unit 10 extracts the task of creating a photobook from the user's utterance, the image selection unit 103 selects an image suitable for the photobook from the images (excluding inappropriate images) in the image DB. If the user's utterance includes the date and time, the shooting date information included in the image data is referred to and an image is selected.

編集処理部１０４は、画像選択部１０３により選択された画像を所定のテンプレートに配置し、フォトブックデータを生成し、プレビュー画面をユーザ端末３へ送信する。生成したフォトブックデータは、フォトブックデータＤＢに格納される。 The editing processing unit 104 arranges the image selected by the image selection unit 103 in a predetermined template, generates photobook data, and transmits the preview screen to the user terminal 3. The generated photobook data is stored in the photobook data DB.

編集処理部１０４は、対話処理部１０がユーザの発話からページの入れ替えというタスクを抽出すると、ページを入れ替えて、フォトブックデータ及びプレビュー画面を更新する。 When the dialogue processing unit 10 extracts the task of page replacement from the user's utterance, the editing processing unit 104 replaces the pages and updates the photobook data and the preview screen.

編集処理部１０４は、対話処理部１０がユーザの発話から画像の変更というタスクを抽出すると、画像ＤＢ内の画像を用いて画像一覧画面を作成し、ユーザ端末３へ送信する。画像一覧画面を介して画像が選択されると、編集処理部１０４は、画像を変更してフォトブックデータ及びプレビュー画面を更新する。 When the dialogue processing unit 10 extracts the task of changing an image from the user's utterance, the editing processing unit 104 creates an image list screen using the image in the image DB and transmits it to the user terminal 3. When an image is selected via the image list screen, the editing processing unit 104 changes the image and updates the photobook data and the preview screen.

画像一覧画面から不適切画像が選択された場合、不適切画像が選択されたことを対話処理部１０に通知する。対話処理部１０は、不適切画像の出所等を問う質問文を生成し、スマートスピーカ２から出力させる。 When an inappropriate image is selected from the image list screen, the dialogue processing unit 10 is notified that the inappropriate image has been selected. The dialogue processing unit 10 generates a question sentence asking about the source of the inappropriate image and outputs it from the smart speaker 2.

編集処理部１０４は、対話処理部１０がユーザの発話からコメントの変更というタスクを抽出すると、ユーザから音声入力されたコメントに変更し、フォトブックデータ及びプレビュー画面を更新する。 When the dialogue processing unit 10 extracts the task of changing the comment from the user's utterance, the editing processing unit 104 changes the comment to the comment input by the user and updates the photobook data and the preview screen.

また、編集処理部１０４は、図７に示すような最終確認画面ＦＣを作成する。 Further, the editing processing unit 104 creates a final confirmation screen FC as shown in FIG. 7.

コメント生成部１０５は、フォトブックに使用している画像に対して、コメントを自動生成し、付与する。各画像には、画像解析により画像から検出された物体やテキスト、画像データに含まれる撮影日情報、撮影場所情報等がタグとして付与されている。コメント生成部１０５はこれらのタグを用いて、コメントを生成する。 The comment generation unit 105 automatically generates and adds a comment to the image used in the photo book. Objects and texts detected from the images by image analysis, shooting date information included in the image data, shooting location information, and the like are attached to each image as tags. The comment generation unit 105 uses these tags to generate comments.

ユーザからのフォトブック作製開始の音声コマンドに「〇△□のフォトブック」のようにフォトブックのテーマ（シーン）に相当する文言「〇△□」が含まれている場合、目的に応じて、コメント生成に参照するタグの優先順位を設定する。 If the voice command from the user to start creating a photobook contains the word "○ △ □" that corresponds to the theme (scene) of the photobook, such as "○ △ □ photobook", depending on the purpose, Set the priority of the tag to be referred to for comment generation.

例えば、フォトブックのテーマが旅行である場合、以下の優先順位でタグを用いてコメントを生成する。
１：地名（位置情報）
２：ランドマーク（有名な建造物など）
３：乗り物
４：食べ物 For example, if the theme of the photobook is travel, the tags are used to generate comments in the following order of priority.
1: Place name (location information)
2: Landmarks (famous buildings, etc.)
3: Vehicle 4: Food

また、例えばフォトブックのテーマがスポーツである場合、以下の優先順位でタグを用いてコメントを生成する。
１：撮影部
２：表情（うれしい、苦しい、楽しい、悲しいなど）
３：道具（サッカーボール、バット、ラケットなど） Also, for example, when the theme of the photo book is sports, comments are generated using tags in the following order of priority.
1: Shooting part 2: Facial expressions (happy, painful, fun, sad, etc.)
3: Tools (soccer balls, bats, rackets, etc.)

優先順位はユーザからの指示で変更可能となっていてもよい。 The priority may be changeable by an instruction from the user.

注文処理部１０６は、ユーザ端末３から、フォトブックのプリント冊数等の注文を受け付ける。注文処理部１０６が決済情報の入力を受け付けて決済処理を行うと、プリント注文が完了する。注文処理部１０６はフォトブックのプリント冊数や配送先住所等を含む注文内容を注文内容ＤＢに格納する。 The order processing unit 106 accepts an order such as the number of prints of a photo book from the user terminal 3. When the order processing unit 106 accepts the input of the payment information and performs the payment processing, the print order is completed. The order processing unit 106 stores the order details including the number of prints of the photo book and the delivery address in the order details DB.

プリント注文されたフォトブックデータと、注文内容とが工場５へ送信され、フォトブック６が製造される。 The photobook data ordered for print and the order details are transmitted to the factory 5, and the photobook 6 is manufactured.

このように、本実施形態によれば、スマートスピーカ２に話しかけることで、フォトブックの編集や注文を行うことができる。 As described above, according to the present embodiment, the photo book can be edited or ordered by talking to the smart speaker 2.

ユーザ端末３はスマートフォンやタブレット端末に限定されず、図９に示すような大画面のテレビ（ディスプレイ）３Ａ及びコントローラ３Ｂであってもよい。これにより、複数人で大型ディスプレイに表示されたプレビュー画面を確認しながら、スマートスピーカ２に話しかけてフォトブックの編集を行うことができる。 The user terminal 3 is not limited to a smartphone or a tablet terminal, and may be a large-screen television (display) 3A and a controller 3B as shown in FIG. As a result, a plurality of people can talk to the smart speaker 2 and edit the photo book while checking the preview screen displayed on the large display.

図５に示すような画像変更処理では、サーバ装置１に保存されている画像だけでなく、ユーザ端末３に保存されている画像を利用・選択できるようにしてもよい。例えば、サーバ装置１に保存されている画像の一覧画面がユーザ端末３に表示されている状態で、ユーザが「スマホの写真から選ぶ」とスマートスピーカ２に話しかける。サーバ装置１は、スマートスピーカ２を介してユーザの発話文を取得して解釈し、ユーザ端末３内の画像の一覧画面を作成して表示するように、ユーザ端末３に指示する。 In the image change process as shown in FIG. 5, not only the image stored in the server device 1 but also the image stored in the user terminal 3 may be used and selected. For example, while the list screen of images stored in the server device 1 is displayed on the user terminal 3, the user talks to the smart speaker 2 to "select from the pictures of the smartphone". The server device 1 instructs the user terminal 3 to acquire and interpret the user's utterance text via the smart speaker 2 and to create and display a list screen of images in the user terminal 3.

ユーザが、ユーザ端末３を操作して、端末内画像の一覧画面から画像を選択すると、ユーザ端末３は選択された画像の画像データをサーバ装置１へ送信（アップロード）する。サーバ装置１は、受信した画像の解析を行い、フォトブックに使用可能な画像か、又はフォトブックに使用すべきでない不適切画像であるかを判定する。フォトブックに使用可能な画像と判定した場合、サーバ装置１は、フォトブックデータ及びプレビュー画面を更新する。 When the user operates the user terminal 3 to select an image from the image list screen in the terminal, the user terminal 3 transmits (uploads) the image data of the selected image to the server device 1. The server device 1 analyzes the received image and determines whether it is an image that can be used in the photobook or an inappropriate image that should not be used in the photobook. When it is determined that the image can be used for the photo book, the server device 1 updates the photo book data and the preview screen.

不適切画像と判定した場合、サーバ装置１は、画像の出所を質問する応答文を生成してスマートスピーカ２へ送信する。ユーザからの返答の結果、問題無いことが確認されると、サーバ装置１は、この画像を利用してフォトブックデータ及びプレビュー画面を更新する。 If it is determined that the image is inappropriate, the server device 1 generates a response sentence asking the source of the image and sends it to the smart speaker 2. When it is confirmed that there is no problem as a result of the response from the user, the server device 1 updates the photo book data and the preview screen using this image.

本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 The present invention is not limited to the above embodiment as it is, and at the implementation stage, the components can be modified and embodied within a range that does not deviate from the gist thereof. In addition, various inventions can be formed by an appropriate combination of the plurality of components disclosed in the above-described embodiment. For example, some components may be removed from all the components shown in the embodiments. In addition, components across different embodiments may be combined as appropriate.

１ サーバ装置
２ スマートスピーカ
３ ユーザ端末
４ 考査端末
５ 工場
６ フォトブック 1 Server device 2 Smart speaker 3 User terminal 4 Examination terminal 5 Factory 6 Photobook

Claims (6)

ユーザ端末から受信した画像データを保存するサーバ装置と、
前記サーバ装置と通信可能に接続され、音声の出力及びユーザの発話の集音を行うスマートスピーカと、
を備え、
前記サーバ装置は、
前記スマートスピーカを介して入力されたユーザの音声を理解し、ユーザに対する応答文を生成し、前記スマートスピーカを介して前記応答文を前記ユーザへ出力する対話処理部と、
前記ユーザの音声がフォトブック作製指示である場合に、保存する画像の中から複数の画像を選択する画像選択部と、
前記画像選択部により選択された画像を用いてフォトブックデータを生成する編集処理部と、
を有し、前記フォトブックデータのプレビュー画面を前記ユーザ端末へ送信することを特徴とするフォトブック作製システム。 A server device that stores image data received from the user terminal, and
A smart speaker that is communicably connected to the server device and outputs voice and collects user's utterances.
Equipped with
The server device is
A dialogue processing unit that understands the user's voice input via the smart speaker, generates a response sentence to the user, and outputs the response sentence to the user via the smart speaker.
An image selection unit that selects a plurality of images from the images to be saved when the user's voice is a photobook creation instruction.
An editing processing unit that generates photobook data using the image selected by the image selection unit, and
A photobook production system, characterized in that a preview screen of the photobook data is transmitted to the user terminal. 前記サーバ装置は、前記ユーザの音声に前記フォトブックデータ内のページ入れ替え指示及び入れ替え対象のページ番号が含まれている場合、前記入れ替え対象のページを入れ替えて、前記フォトブックデータ及び前記プレビュー画面を更新することを特徴とする請求項１に記載のフォトブック作製システム。 When the user's voice includes a page replacement instruction and a page number to be replaced in the photobook data, the server device replaces the page to be replaced to display the photobook data and the preview screen. The photobook production system according to claim 1, wherein the photobook is updated. 前記サーバ装置は、前記ユーザの音声が前記フォトブックデータ内の画像変更指示である場合、保存している画像を用いた画像一覧画面を前記ユーザ端末へ送信し、前記画像一覧画面を介して画像が選択されると、前記フォトブックデータ及び前記プレビュー画面を更新することを特徴とする請求項１又は２に記載のフォトブック作製システム。 When the user's voice is an image change instruction in the photobook data, the server device transmits an image list screen using the stored image to the user terminal, and the image is displayed via the image list screen. The photobook production system according to claim 1 or 2, wherein when is selected, the photobook data and the preview screen are updated. 前記サーバ装置は、前記ユーザの音声に、前記フォトブックデータ内の画像変更指示、及び前記ユーザ端末内の画像の利用指示が含まれている場合、保存している画像を用いた画像一覧画面を作成して表示するように前記ユーザ端末へ指示を送信し、前記画像一覧画面を介して選択された画像の画像データを前記ユーザ端末から受信し、前記フォトブックデータ及び前記プレビュー画面を更新することを特徴とする請求項１又は２に記載のフォトブック作製システム。 When the user's voice includes an image change instruction in the photobook data and an image usage instruction in the user terminal, the server device displays an image list screen using the stored image. Sending an instruction to the user terminal to create and display, receiving image data of the image selected via the image list screen from the user terminal, and updating the photobook data and the preview screen. The photobook making system according to claim 1 or 2. 前記サーバ装置は、前記画像データの解析を行い、フォトブックでの使用に適切か否か判定する画像解析部をさらに有し、
前記画像一覧画面を介して選択された画像が、前記画像解析部によりフォトブックでの使用に不適切であると判定された場合、前記対話処理部は、選択画像の出所を問う質問を生成し、
前記スマートスピーカが前記質問を前記ユーザに伝え、前記質問に対する前記ユーザの返答を受け取ることを特徴とする請求項４に記載のフォトブック作製システム。 The server device further has an image analysis unit that analyzes the image data and determines whether or not it is suitable for use in a photo book.
When the image selected via the image list screen is determined by the image analysis unit to be unsuitable for use in a photo book, the dialogue processing unit generates a question asking the source of the selected image. ,
The photobook production system according to claim 4, wherein the smart speaker conveys the question to the user and receives the user's response to the question. 音声の出力及びユーザの発話の集音を行うスマートスピーカと通信可能に接続されたサーバ装置であって、
ユーザ端末から受信した画像データを保存する記憶部と、
前記スマートスピーカを介して入力されたユーザの音声を理解し、ユーザに対する応答文を生成し、前記スマートスピーカを介して前記応答文を前記ユーザへ出力する対話処理部と、
前記ユーザの音声がフォトブック作製指示である場合に、保存する画像の中から複数の画像を選択する画像選択部と、
前記画像選択部により選択された画像を用いてフォトブックデータを生成する編集処理部と、
を有し、前記フォトブックデータのプレビュー画面を前記ユーザ端末へ送信することを特徴とするサーバ装置。 A server device that is communicably connected to a smart speaker that outputs voice and collects user's utterances.
A storage unit that stores image data received from the user terminal,
A dialogue processing unit that understands the user's voice input via the smart speaker, generates a response sentence to the user, and outputs the response sentence to the user via the smart speaker.
An image selection unit that selects a plurality of images from the images to be saved when the user's voice is a photobook creation instruction.
An editing processing unit that generates photobook data using the image selected by the image selection unit, and
A server device comprising, and transmitting a preview screen of the photobook data to the user terminal.
JP2018049666A 2018-03-16 2018-03-16 Photobook production system and server equipment Active JP6988608B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018049666A JP6988608B2 (en) 2018-03-16 2018-03-16 Photobook production system and server equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018049666A JP6988608B2 (en) 2018-03-16 2018-03-16 Photobook production system and server equipment

Publications (2)

Publication Number Publication Date
JP2019160187A JP2019160187A (en) 2019-09-19
JP6988608B2 true JP6988608B2 (en) 2022-01-05

Family

ID=67997139

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018049666A Active JP6988608B2 (en) 2018-03-16 2018-03-16 Photobook production system and server equipment

Country Status (1)

Country Link
JP (1) JP6988608B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7363354B2 (en) 2019-10-18 2023-10-18 セイコーエプソン株式会社 Printing system, printing method, information processing device, and information processing program
JP7363353B2 (en) 2019-10-18 2023-10-18 セイコーエプソン株式会社 Printing system, printing method, information processing device, and information processing program
JP2021135648A (en) 2020-02-26 2021-09-13 富士フイルムビジネスイノベーション株式会社 Information processing device and information processing program

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002099529A (en) * 2000-07-18 2002-04-05 Sanno Consulting Corp Publication editing system and its method
JP2007317124A (en) * 2006-05-29 2007-12-06 Fujifilm Corp Print order receiving/managing server system and image network system
JP5704825B2 (en) * 2010-03-08 2015-04-22 キヤノン株式会社 Information processing apparatus, control method thereof, and program
US10331312B2 (en) * 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
CN109564749B (en) * 2016-07-19 2021-12-31 富士胶片株式会社 Image display system, head-mounted display control device, method of operating head-mounted display control device, and non-transitory computer-readable medium
JP6673771B2 (en) * 2016-07-25 2020-03-25 富士フイルム株式会社 Image processing apparatus, image processing method, program, and recording medium
US10185840B2 (en) * 2016-08-30 2019-01-22 Google Llc Conditional disclosure of individual-controlled content in group contexts

Also Published As

Publication number Publication date
JP2019160187A (en) 2019-09-19

Similar Documents

Publication Publication Date Title
KR101198744B1 (en) Apparatus, method and computer program product for using images in contact lists maintained in electronic devices
JP6988608B2 (en) Photobook production system and server equipment
JP6889360B2 (en) Management device, image creation printing device, control method of management device, control method of image creation printing device, control program, and recording medium
JP2008070954A (en) Sticker printer with blog use support function
JP5954049B2 (en) Data processing apparatus and program
JP5742354B2 (en) Content reproduction apparatus, content reproduction method, and computer program
JP6447689B1 (en) Information processing apparatus and program
CN110781417A (en) Method and system for spreading speakable works based on two-dimension code
JP7147295B2 (en) Photobook production system and server device
JP5896385B1 (en) Photo shooting game device, photo sticker creation device, content providing system, photo shooting game device control method, and photo shooting game device control program
JP6988607B2 (en) Photobook production system and server equipment
JP6988606B2 (en) Photobook production system and server equipment
JP2016116245A (en) Photo taking play device, photo seal creation device, content provision system, control method for photo taking play device, and control program for photo taking play device
JP2018023683A (en) Game photographing device and game photographing method
JP6269759B1 (en) Service providing system, service providing method, image generation apparatus, and service providing apparatus
JP7091890B2 (en) Photobook production system and server equipment
JP2018081590A (en) Service providing device
JP2017134403A (en) Photo sticker play system
KR101355050B1 (en) Method for manufacturing video card
JP6889366B2 (en) Management device, control method of management device
JP4562547B2 (en) Image forming apparatus, program, and recording medium
JP2020047227A (en) Photo book creation system and server device
JP2015115768A (en) Image providing system
JP2020064362A (en) Photobook production system and sever device
JP2019050552A (en) Information processing apparatus and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211115

R150 Certificate of patent or registration of utility model

Ref document number: 6988608

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150