JP6550111B2 - Display device, display method and program - Google Patents
Display device, display method and program Download PDFInfo
- Publication number
- JP6550111B2 JP6550111B2 JP2017194646A JP2017194646A JP6550111B2 JP 6550111 B2 JP6550111 B2 JP 6550111B2 JP 2017194646 A JP2017194646 A JP 2017194646A JP 2017194646 A JP2017194646 A JP 2017194646A JP 6550111 B2 JP6550111 B2 JP 6550111B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- information
- image
- unit
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 41
- 238000013519 translation Methods 0.000 claims description 148
- 238000004891 communication Methods 0.000 description 156
- 230000008569 process Effects 0.000 description 34
- 230000006870 function Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 27
- 238000000605 extraction Methods 0.000 description 27
- 238000012545 processing Methods 0.000 description 14
- 235000015277 pork Nutrition 0.000 description 11
- 240000007643 Phytolacca americana Species 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 241000287828 Gallus gallus Species 0.000 description 2
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 244000269722 Thea sinensis Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000004049 embossing Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
Images
Landscapes
- Machine Translation (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明はサービス提供者向け画像及びサービス利用者向け画像の少なくとも何れかを表示する表示装置等に関する。 The present invention relates to a display device or the like that displays at least one of a service provider image and a service user image.
経済や文化のグローバル化が進む現在、異なる言語を母語とする人同士がコミュニケーションを図る機会が増えている。そのため、このようなコミュニケーションを支援することを目的とする翻訳装置が開発されている。例えば特許文献１には、日本語を母語とするユーザ（ユーザＪ）向けに日本語を表示するディスプレイと、英語を母語とするユーザ（ユーザＥ）向けに英語を表示するディスプレイとを備えた翻訳装置が記載されている。
As the globalization of economy and culture advances, opportunities for communication between people whose native languages are different languages are increasing. Therefore, a translation device has been developed for the purpose of supporting such communication. For example,
特許文献２には、異なる母語の利用者同士の音声によるコミュニケーションを支援する音声翻訳装置が記載されている。この音声翻訳装置は、入力された音声信号の認識結果及び当該認識結果に対応する翻訳結果を表示することに加えて、上記認識結果に関連するキーワードを検索するとともに当該キーワードの翻訳結果を表示することによってコミュニケーションを支援する。
また、特許文献３には、（１）入力された音声の認識結果である文字列と、ｗｅｂページに含まれている画像情報を解析することによって得られたキーワードとを比較し、（２）上記文字列と上記キーワードとが一致する場合には、上記文字列を文字画像に変換し、認識された音声に対応する映像と上記文字画像とを合成することによって新たな画像情報を生成する画像処理装置が記載されている。このようにして生成された上記新たな画像情報は、商品を販売するためのホームページやチラシとして利用することができる。
Further,
特許文献２に記載の音声翻訳装置を利用する場合、異なる母語の利用者同士は、入力された音声信号の認識結果（特許文献２の図５に示された表示エリアＡ）と、当該認識結果に対応する翻訳結果（同図に示された表示エリアＢ）と、キーワード（同図に示された表示エリアＣ）と、翻訳されたキーワード（同図に示された表示エリアＤ）とが表示された表示部を参照しながらコミュニケーションを図る。換言すれば、異なる言語を用いる各利用者は、表示部にそれぞれの母語で表示された情報であって、同一の内容からなる情報を参照しながらコミュニケーションを図る。
When the speech translation apparatus described in
上記音声翻訳装置においては、各表示エリアに表示される上記認識結果、上記翻訳結果、上記キーワード、及び上記翻訳されたキーワードは、軽重のない一様なテキストとして表示される。また、上記音声翻訳装置においては、入力された発話の認識結果が表示エリアＡに表示されるため、（１）利用者が発話する言語が日本語である場合には表示エリアＡに日本語の認識結果が表示され、表示エリアＢに英語の翻訳結果が表示され、（２）利用者が発話する言語が英語である場合には表示エリアＡに英語の認識結果が表示され、表示エリアＢに日本語の翻訳結果が表示される。換言すれば、上記音声翻訳装置において、利用者の母語を用いて認識結果または翻訳結果を表示する表示エリアは、発話する利用者が代わるたびに表示エリアＡから表示エリアＢへ、また、表示エリアＢから表示エリアＡへと変更される。 In the speech translation apparatus, the recognition result, the translation result, the keyword, and the translated keyword displayed in each display area are displayed as a uniform text without heaviness. Further, in the above-described speech translation apparatus, since the recognition result of the input speech is displayed in the display area A, (1) when the language spoken by the user is Japanese, the display area A is Japanese The recognition result is displayed, the translation result of English is displayed in the display area B, and (2) when the language spoken by the user is English, the recognition result of English in the display area A is displayed, and the display area B is displayed The Japanese translation results are displayed. In other words, in the speech translation apparatus, the display area for displaying the recognition result or the translation result using the user's native language changes from the display area A to the display area B and the display area each time the user who speaks changes. B is changed to display area A.
このような上記音声翻訳装置を利用する利用者同士は、軽重のない一様なテキストであって、発話する利用者が代わるたびに異なる表示エリアに表示される上記認識結果及び上記翻訳結果を絶えず注視しながらコミュニケーションを図られることを強いられる。換言すれば、上記音声翻訳装置は、上記表示部に表示された情報のうち注目すべき情報がどれであるのかが利用者にとって分かりにくく、利用者の使い勝手において改善の余地を残している。 Users who use such a speech translation apparatus are uniform texts that are not disappointing, and the recognition result and the translation result are constantly displayed in different display areas each time the speech user changes. You are forced to be able to communicate while watching. In other words, it is difficult for the user to understand which information to be noticed among the information displayed on the display unit, and the speech translation apparatus leaves room for improvement in usability of the user.
また、複数の利用者同士が共通する情報を参照しながらコミュニケーションを図るという状況は、異なる言語を母語とする人同士がコミュニケーションを図る場合に限定されるものではない。例えば、家電製品を販売する量販店において、ユーザ及び店員（利用者）が、量販店が用意している表示装置を参照しながら商談を進める場合においても同様の状況が生じ得る。表示装置の表示部に多くの情報が表示されることは、多くの情報をユーザと店員との間で共有できるというメリットを有する。その反面、それら多くの情報に軽重が付けられていないために、それら多くの情報のうち注目すべき情報がどれであるのかがユーザ及び店員にとって分かりにくいというデメリットを有する。すなわち、このような表示装置は、利用者の使い勝手において改善の余地を残している。 Further, the situation in which communication is attempted while referring to common information among a plurality of users is not limited to the case where persons whose native language is a different language communicate with each other. For example, the same situation may occur in a case where a user and a store clerk (user) proceed with a business negotiation while referring to a display device provided by a mass retailer in a mass retailer selling home appliances. The display of a large amount of information on the display unit of the display device has an advantage that a large amount of information can be shared between the user and the store clerk. On the other hand, there is a disadvantage that it is difficult for the user and the store clerk to know which of the many pieces of information should be noticed, because the large amount of information is not lightly weighted. That is, such a display device leaves room for improvement in the usability of the user.
本発明は、上記の課題を鑑みてなされたものであり、その目的は、表示装置の使い勝手を向上させ利用者同士のコミュニケーションを円滑にすることができる技術を提供することである。 The present invention has been made in view of the above problems, and an object thereof is to provide a technology capable of improving the usability of a display device and facilitating communication between users.
上述した課題を解決するために、本発明の表示装置は、
サービス提供者向け画像及びサービス利用者向け画像の少なくとも何れかを表示する表示装置であって、
第１表示領域と、第２表示領域とに分割して表示可能な表示画面を有する表示部と、
発話内容を取得する取得部と、
前記発話内容を示す発話内容情報を前記第１表示領域に表示し、前記発話内容に所定の
フレーズが含まれる場合は、前記フレーズに対応した商品の画像を示す画像情報を前記第
２表示領域に表示する制御を行う表示制御部と、
を備え、
前記表示制御部は、前記フレーズに関連したオブジェクトを前記表示画面に表示し、前記オブジェクトが選択された場合、前記選択されたオブジェクトに対応した画像情報を前記第２表示領域に表示する制御を行うことを特徴とする。
In order to solve the problems described above, the display device of the present invention is
A display device for displaying at least one of a service provider image and a service user image, comprising:
A display unit having a display screen which can be divided and displayed in a first display area and a second display area;
An acquisition unit for acquiring utterance content;
When the utterance content information indicating the utterance content is displayed in the first display area, and the utterance content includes a predetermined phrase, image information indicating an image of a product corresponding to the phrase is displayed in the second display region A display control unit that performs control to display;
Equipped with
The display control unit displays an object associated with the phrase on the display screen, and when the object is selected, performs control to display image information corresponding to the selected object in the second display area. It is characterized by
本発明の表示方法は、
サービス提供者向け画像及びサービス利用者向け画像の少なくとも何れかを表示する表示部を有する表示装置における表示方法であって、
前記表示部は、第１表示領域と、第２表示領域とに分割して表示可能な表示画面を有しており、
発話内容を取得する取得ステップと、
前記発話内容を示す発話内容情報を前記第１表示領域に表示し、前記発話内容に所定の
フレーズが含まれる場合は、前記フレーズに対応した商品の画像を示す画像情報を前記第
２表示領域に表示する制御を行う表示制御ステップと、
を含み、
前記表示制御ステップは、前記フレーズに関連したオブジェクトを前記表示画面に表示し、前記オブジェクトが選択された場合、前記選択されたオブジェクトに対応した画像情報を前記第２表示領域に表示する制御を行うことを特徴とする。
The display method of the present invention is
A display method on a display device including a display unit that displays at least one of a service provider image and a service user image.
The display unit has a display screen which can be divided and displayed in a first display area and a second display area.
An acquisition step of acquiring an utterance content;
When the utterance content information indicating the utterance content is displayed in the first display area, and the utterance content includes a predetermined phrase, image information indicating an image of a product corresponding to the phrase is displayed in the second display region A display control step for performing control to be displayed;
Only including,
The display control step displays an object associated with the phrase on the display screen, and when the object is selected, performs control to display image information corresponding to the selected object in the second display area. It is characterized by
本発明のプログラムは、
サービス提供者向け画像及びサービス利用者向け画像の少なくとも何れかを表示する表示部を有するコンピュータに、
前記表示部は、第１表示領域と、第２表示領域とに分割して表示可能な表示画面を有しており、
発話内容を取得する取得機能と、
前記発話内容を示す発話内容情報を前記第１表示領域に表示し、前記発話内容に所定の
フレーズが含まれる場合は、前記フレーズに対応した商品の画像を示す画像情報を前記第
２表示領域に表示する制御を行う表示制御機能と、
を実現させ、
前記表示制御機能は、前記フレーズに関連したオブジェクトを前記表示画面に表示し、前記オブジェクトが選択された場合、前記選択されたオブジェクトに対応した画像情報を前記第２表示領域に表示する制御を行うことを特徴とする。
The program of the present invention is
A computer having a display unit for displaying at least one of a service provider image and a service user image;
The display unit has a display screen which can be divided and displayed in a first display area and a second display area.
An acquisition function for acquiring utterance content;
When the utterance content information indicating the utterance content is displayed in the first display area, and the utterance content includes a predetermined phrase, image information indicating an image of a product corresponding to the phrase is displayed in the second display region A display control function that performs control to be displayed;
To achieve,
The display control function displays an object associated with the phrase on the display screen, and when the object is selected, performs control to display image information corresponding to the selected object in the second display area. It is characterized by
本発明の一態様によれば、表示装置の使い勝手を向上させ利用者同士のコミュニケーションを円滑にすることができる。 According to one aspect of the present invention, usability of the display device can be improved and communication between users can be facilitated.
〔実施形態１〕
以下、本発明の一実施形態について、図１〜図８を用いて詳細に説明する。以下の特定の実施形態で説明する構成以外の構成については、必要に応じて説明を省略する場合があるが、他の実施形態で説明されている場合は、その構成と同じである。また、説明の便宜上、各実施形態に示した部材と同一の機能を有する部材については、同一の符号を付し、適宜その説明を省略する。
Hereinafter, an embodiment of the present invention will be described in detail with reference to FIGS. 1 to 8. Descriptions of configurations other than the configurations described in the following specific embodiments may be omitted as needed. However, in the case of being described in other embodiments, the configuration is the same as the configuration. Moreover, about the member which has the function same as the member shown to each embodiment for convenience of explanation, the same code | symbol is attached | subjected and the description is abbreviate | omitted suitably.
（コミュニケーション支援システム１）
図１は、本発明の実施形態１に係るコミュニケーション支援システム１を模式的に示す図である。コミュニケーション支援システム１は、図１に示すように、サーバ１００、表示装置２００ａ、及び表示装置２００ｂによって構成されている。
(Communication support system 1)
FIG. 1 is a view schematically showing a
コミュニケーション支援システム１は、サービス提供者及びサービス利用者がコミュニケーションを円滑にすることができるシステムである。本明細書では、サービス提供者が店員、サービス利用者が客である場合について説明するが、コミュニケーション支援システム１は、タクシー運転手と客、受付と来訪者等にも利用可能である。
The
コミュニケーション支援システム１では、クラウド上に設置されたサーバ１００と、店舗に設置された表示装置２００ａ及び表示装置２００ｂとがそれぞれ通信可能に接続されている。本実施形態では、店員が日本語を話し、客が英語を話し、客が店頭のおでんを購入する場合を例に挙げて説明する。なお、コミュニケーション支援システム１は、店のキャッシュレジスターと連携する構成であってもよい。
In the
また、コミュニケーション支援システム１では、表示装置２００ａ及び表示装置２００ｂにはそれぞれ店員向けまたは客向けの設定がされている。本明細書では、表示装置２００ａには店員向けの設定がされており、表示装置２００ｂには客向けの設定がされているとして説明する。なお、表示装置２００ａ及び表示装置２００ｂは、店員向けまたは客向けの設定がされているという点において区別される。そのため、表示装置２００ａ及び表示装置２００ｂは同じ機能を有し、以下において、表示装置２００ａ及び表示装置２００ｂを表示装置２００と総称する。
Further, in the
（サーバ１００）
図２は、本発明の実施形態１におけるサーバ１００の要部構成を示すブロック図である。サーバ１００について、図２を用いて説明する。
(Server 100)
FIG. 2 is a block diagram showing the main configuration of the
サーバ１００は、図２に示すように、サーバ通信部１１０及びサーバ制御部１２０を備えている。
The
サーバ通信部１１０は、外部の機器と情報を送受信することができる。
The
サーバ制御部１２０は、サーバ１００の各構成を統括的に制御するものである。サーバ制御部１２０の詳細について、以下に説明する。
The
（サーバ制御部１２０）
サーバ制御部１２０は、図２に示すように、音声情報取得部１３１、音声抽出部１３２、音声認識部（発話内容情報生成部）１３３、表示情報生成部１３４、翻訳部（翻訳内容情報生成部）１３５、及び表示情報出力部（発話内容情報出力部、翻訳内容情報出力部）１３６としても機能する。
(Server control unit 120)
As shown in FIG. 2, the
音声情報取得部１３１は、サーバ通信部１１０を制御し、表示装置２００から出力された音声情報を取得する。
The audio
音声抽出部１３２は、音声情報取得部１３１が取得した音声情報に含まれている音声から、客または店員が発話した音声を抽出し、抽出した音声を示す抽出音声情報を出力する。
The
音声認識部１３３は、音声抽出部１３２が出力した抽出音声情報が示す音声を認識し、認識した音声内容を示す発話内容情報を出力する。
The
表示情報生成部１３４は、表示装置２００に表示させるべき情報を含む表示情報を生成する。表示情報生成部１３４が生成する表示情報の詳細については、後述する。
The display
翻訳部１３５は、発話内容を取得し、当該発話内容を翻訳した翻訳内容を示す翻訳発話内容情報を生成して出力する。
The
表示情報出力部１３６は、表示情報生成部１３４が生成した表示情報を、サーバ通信部１１０を制御して表示装置２００に出力する。
The display
（表示装置２００）
図３は、本発明の実施形態１における表示装置２００の要部構成を示すブロック図である。表示装置２００について、図３を用いて説明する。
(Display device 200)
FIG. 3 is a block diagram showing the main configuration of the
表示装置２００は、図３に示すように、表示装置通信部２１０、表示装置制御部２２０、表示部２５０、及び音声受付部２６０を備えている。
As shown in FIG. 3, the
表示装置通信部２１０は、外部の機器と情報を送受信することができる。
The display
表示装置制御部２２０は、表示装置２００の各構成を統括的に制御するものである。表示装置制御部２２０の詳細については、後述する。
The display
表示部２５０は、表示装置制御部２２０から出力される画像信号が示す画像を表示する。
The
音声受付部２６０は、表示装置２００の周辺の音声を取得し、取得した音声を示す音声情報を出力する。
The
（表示装置制御部２２０）
表示装置制御部２２０は、図３に示すように、表示情報取得部（取得部）２３１、表示画像生成部２３２、及び音声情報取得部２３３としても機能する。
(Display device controller 220)
The display
表示情報取得部２３１は、表示装置通信部２１０を制御し、サーバ１００から出力された表示情報を取得する。
The display
表示画像生成部２３２は、表示情報が示す表示画像であって、表示装置２００が店員向けであるか客向けであるのかに応じた表示態様を有する表示画像を生成する。ここで、店員向けであるか客向けであるのかに応じた表示態様を有する表示画像とは、店員向けであるか客向けであるのかに応じた文字の設定によって表されるテキストを含む表示画像である。店員向けであるか客向けであるのかに応じた文字の設定の例として、文字の書体、文字の色、文字の大きさ、文字の飾り（傍点、下線、取り消し線、二重取り消し線、影付き、網掛け、背景色、上付き文字、下付き文字、中抜き、浮きだし、浮彫など）の設定が挙げられる。表示画像生成部２３２が表示画像を生成する処理の詳細は、後述する。
The display
音声情報取得部２３３は、音声受付部２６０を介して音声情報を取得する。
The voice
（コミュニケーション支援システム１の処理１）
図４は、本発明の実施形態１に係るコミュニケーション支援システム１において、客の発話内容の翻訳が表示されるまでの処理の流れ（コミュニケーション支援方法）を示すシークエンス図である。また、図５は、本発明の実施形態１における表示情報の構造を示す図である。また、図６は、本発明の実施形態１における表示装置２００が表示する画像を示す図である。コミュニケーション支援システム１において、客の発話内容の翻訳が表示されるまでの処理の流れについて、図４〜図６を用いて説明する。
(
FIG. 4 is a sequence diagram showing a flow of processing (communication support method) until the translation of the uttered content of the customer is displayed in the
図６の（ａ）は、表示装置２００ａの初期画像を示す図であり、図６の（ｂ）は、表示装置２００ｂの初期画像を示す図である。図６の（ａ）及び図６の（ｂ）に示すように、表示装置２００ａの表示部２５０ａ及び表示装置２００ｂの表示部２５０ｂに表示される初期画像にはそれぞれ、発話を促すテキスト８００ａ及び８００ｂを含む画像が表示されている。
(A) of FIG. 6 is a diagram showing an initial image of the
なお、図６の（ａ）及び（ｂ）に示す初期画像を表示している期間において、表示装置２００ａ及び表示装置２００ｂが取得した音声の言語を判定し、後述する翻訳の処理において、当該言語に翻訳する構成であってもよい。例えば、表示装置２００ａが日本語の音声を取得し、表示装置２００ｂが英語の音声を取得した場合、後述する翻訳処理（ステップＳ２７）では、サーバ１００は、表示装置２００ａから取得した音声に含まれる発話内容を英語に翻訳し、表示装置２００ｂから取得した音声に含まれる発話内容を日本語に翻訳する構成であってもよい。なお、本明細書では、店員が日本語を話し、客が英語を話す場合について、説明する。
In the period during which the initial image shown in (a) and (b) of FIG. 6 is displayed, the language of the voice acquired by the
（ステップＳ１）
まず、表示装置２００ｂの音声情報取得部２３３ｂは、音声受付部２６０ｂを介して客が発話した音声を含む音声情報を取得する。例えば、客が店員におでんを購入する方法を尋ねるため、「How can I buy it?」と発話すると、音声情報取得部２３３ｂは、「How can I buy it?」を含む音声情報を取得する。
(Step S1)
First, the voice information acquisition unit 233b of the
（ステップＳ３）
音声情報取得部２３３ｂは、取得した上記音声情報を、表示装置通信部２１０ｂを介してサーバ１００に出力する。
(Step S3)
The voice information acquisition unit 233 b outputs the acquired voice information to the
（ステップＳ５）
サーバ１００の音声情報取得部１３１は、サーバ通信部１１０を介して上記音声情報を取得する。そして、音声情報取得部１３１は、上記音声情報を、音声抽出部１３２に出力する。
(Step S5)
The voice
（ステップＳ７）
音声抽出部１３２は、取得した上記音声情報に含まれている音声から客が発話した音声を抽出する。そして、抽出した音声を示す抽出音声情報を音声認識部１３３に出力する。
(Step S7)
The
（ステップＳ９）
音声認識部１３３は、取得した上記抽出音声情報が示す音声を認識し、認識した発話内容を示す発話内容情報を表示情報生成部１３４に出力する。
(Step S9)
The
（ステップＳ１１、発話内容情報取得工程）
表示情報生成部１３４は、取得した上記発話内容情報含む表示情報を生成する。ここで、表示情報生成部１３４が生成する表示情報について、図５の（ａ）を用いて説明する。図５の（ａ）は、発話内容を表示するための表示情報の一例を示す図である。
(Step S11, utterance content information acquisition process)
The display
図５の（ａ）に示すように、発話内容を表示するための表示情報を「communication」と称する。「communication」は、図５の（ａ）に示すように、項目「cid」、項目「type」、項目「kind」、項目「state」、及び項目「data」によって構成されている。 As shown to (a) of FIG. 5, the display information for displaying the content of utterance is called "communication." As shown in (a) of FIG. 5, “communication” is configured by an item “cid”, an item “type”, an item “kind”, an item “state”, and an item “data”.
項目「cid」には、当該「communication」を他の「communication」と識別するための識別情報が格納される。より具体的には、通し番号の数字が格納される。 The item “cid” stores identification information for identifying the “communication” as another “communication”. More specifically, numbers of serial numbers are stored.
項目「type」には、後述する項目「data」に格納されている発話内容を発話した人を示す情報が格納される。より具体的には、客が発話したことを示す「customer」または店員が発話したことを示す「staff」が格納される。 The item “type” stores information indicating a person who has uttered the utterance content stored in the item “data” described later. More specifically, “customer” indicating that a customer uttered or “staff” indicating that a store clerk uttered is stored.
項目「kind」には、後述する項目「data」の種類を示す情報が格納される。より具体的には、発話内容を示す「speech」または発話内容の翻訳である翻訳発話内容を示す「trans」が格納される。 The item “kind” stores information indicating the type of the item “data” described later. More specifically, "speech" indicating the content of the utterance or "trans" indicating the content of the translated utterance that is a translation of the content of the utterance is stored.
項目「state」には、後述する吹き出しを新たに生成するか、または既に生成されている吹き出しを更新するか、を示す情報が格納される。より具体的には、吹き出しを新たに生成することを示す「new」または既に生成されている吹き出しを更新することを示す「update」が格納される。 The item “state” stores information indicating whether to newly generate a balloon to be described later or to update a balloon that has already been generated. More specifically, “new” indicating that a balloon is newly generated or “update” indicating that a balloon that has already been generated is updated is stored.
項目「data」には、発話内容または翻訳発話内容が格納される。 The item "data" stores the utterance content or the translated utterance content.
例えば、ステップＳ３において、音声情報取得部２３３ｂが「How can I buy it?」を含む音声情報を取得すると、ステップＳ１１において表示情報生成部１３４は、図５の（ａ）に示すように、項目「cid」に「1」を格納し、項目「type」に「customer」を格納し、項目「kind」に「speech」を格納し、項目「state」に「new」を格納し、項目「data」に「How can I buy it?」を格納した「communication」を生成する。そして、表示情報生成部１３４は、生成した上記表示情報を表示情報出力部１３６に出力する。
For example, in step S3, when the audio information acquisition unit 233b acquires audio information including "How can I buy it?", The display
（ステップＳ１３、発話内容情報出力工程）
表示情報出力部１３６は、取得した上記表示情報を、サーバ通信部１１０を介して表示装置２００ａ及び表示装置２００ｂに出力する。
(Step S13, utterance content information output process)
The display
（ステップＳ１５）
表示装置２００ｂの表示情報取得部２３１ｂは、表示装置通信部２１０ｂを介して上記表示情報を取得する。そして、表示情報取得部２３１ｂは、上記表示情報を表示画像生成部２３２ｂに出力する。
(Step S15)
The display information acquisition unit 231b of the
（ステップＳ１７）
表示画像生成部２３２ｂは、上記表示情報が示す表示画像であって、客向けに応じた表示態様を有する表示画像を生成する。より具体的には、まず、表示画像生成部２３２ｂは、取得した表示情報を参照し、項目「state」に「new」が格納されているため、項目「cid」に格納されている「1」に関連付けた吹き出しの画像を生成する。続いて、項目「type」に「customer」が格納され、項目「kind」に「speech」が格納されているため、表示画像生成部２３２ｂは、当該表示情報に含まれる発話内容は、客が発話した発話内容であると認識することができる。そのため、表示画像生成部２３２ｂは、上記吹き出しの中に、項目「data」に格納されている発話内容を示すテキスト「How can I buy it?」の文字を大きくした画像を生成する。なお、この場合の文字の大きさは、店員が発話した発話内容を示すテキスト及び客の発話内容を翻訳した翻訳発話内容を示すテキストの文字より大きいことを指している。そして、表示画像生成部２３２ｂは、生成した表示画像を表示部２５０ｂに出力する。
(Step S17)
The display image generation unit 232 b generates a display image which is a display image indicated by the display information and has a display mode according to the customer. More specifically, first, the display image generation unit 232 b refers to the acquired display information, and “new” is stored in the item “state”, so “1” stored in the item “cid” Generate a balloon image associated with the. Subsequently, since “customer” is stored in the item “type” and “speech” is stored in the item “kind”, the display image generation unit 232 b causes the customer to utter the utterance content included in the display information. It can be recognized as the uttered content. Therefore, the display image generation unit 232 b generates an image in which the text “How can I buy it?” Indicating the utterance content stored in the item “data” is enlarged in the above-described balloon. Note that the size of the character in this case indicates that it is larger than the character of the text indicating the uttered content uttered by the store clerk and the text indicating the translated uttered content obtained by translating the uttered content of the customer. Then, the display image generation unit 232 b outputs the generated display image to the
（ステップＳ１９）
表示部２５０ｂは、取得した上記表示画像を表示する。
(Step S19)
The
（ステップＳ２１）
ステップＳ１３においてサーバ１００が表示情報を出力すると、表示装置２００ａの表示情報取得部２３１ａは、表示装置通信部２１０ａを介して上記表示情報を取得する。そして、表示情報取得部２３１ａは、上記表示情報を表示画像生成部２３２ａに出力する。
(Step S21)
When the
（ステップＳ２３）
表示画像生成部２３２ａは、上記表示情報が示す表示画像であって、店員向けに応じた表示態様を有する表示画像を生成する。より具体的には、まず、表示画像生成部２３２ａは、取得した表示情報を参照し、項目「state」に「new」が格納されているため、項目「cid」に格納されている「1」に関連付けた吹き出しの画像を生成する。続いて、項目「type」に「customer」が格納され、項目「kind」に「speech」が格納されているため、表示画像生成部２３２ａは、当該表示情報に含まれる発話内容は、客が発話した発話内容であると認識することができる。そのため、表示画像生成部２３２ａは、上記吹き出しの中に、項目「data」に格納されている発話内容を示すテキスト「How can I buy it?」の文字を小さくした画像を生成する。なお、この場合の文字の大きさは、店員が発話した発話内容を示すテキスト及び客の発話内容を翻訳した翻訳発話内容を示すテキストの文字より小さいことを指している。そして、表示画像生成部２３２ａは、生成した表示画像を表示部２５０ａに出力する。
(Step S23)
The display image generation unit 232a generates a display image which is a display image indicated by the display information and which has a display mode according to the store clerk. More specifically, first, the display image generation unit 232a refers to the acquired display information and “new” is stored in the item “state”, so “1” stored in the item “cid” Generate a balloon image associated with the. Subsequently, since “customer” is stored in the item “type” and “speech” is stored in the item “kind”, the display image generation unit 232 a causes the customer to utter the utterance content included in the display information. It can be recognized as the uttered content. Therefore, the display image generation unit 232a generates an image in which the character of the text "How can I buy it?" Indicating the utterance content stored in the item "data" is reduced in the above-described balloon. Note that the size of the character in this case indicates that the text is smaller than the text representing the uttered content uttered by the store clerk and the text representing the translated uttered content obtained by translating the uttered content of the customer. Then, the display image generation unit 232a outputs the generated display image to the
（ステップＳ２５）
表示部２５０ａは、取得した上記表示画像を表示する。
(Step S25)
The
ここで、表示部２５０ａ及び表示部２５０ｂがそれぞれ表示する画像であって、客の発話内容を含む画像について、図６の（ｃ）及び（ｄ）を用いて説明する。図６の（ｃ）は、店員向けの表示装置２００ａが表示する画像の例であり、図６の（ｄ）は、客向けの表示装置２００ｂが表示する画像の例である。
Here, an image that is displayed by the
上述したように、表示画像生成部２３２ａ及び表示画像生成部２３２ｂは、取得した表示情報を参照し、当該表示情報に含まれる発話内容は、客が発話した発話内容であると認識することができる。そのため、店員向けの表示装置２００ａの表示部２５０ａは、新しく生成した吹き出し３００ａの中に発話内容を示すテキストの文字を小さくしたテキスト４００ａを含ませ、表示する。一方、客向けの表示装置２００ｂの表示部２５０ｂは、新しく生成した吹き出し３００ｂの中に発話内容を示すテキストの文字を大きくしたテキスト４００ｂを含ませ、表示する。なお、表示部２５０ａ及び２５０ｂがそれぞれ、上述した図６の（ｃ）及び（ｄ）に示す表示画像を表示するまでの期間、例えば、（１）「音声認識処理中」のテキストを含むポップアップウィンドウを表示する、（２）音声認識処理中を示すアイコンを表示する、といった、音声認識処理を実行中であることを客または店員に提示する構成であってもよい。
As described above, the display image generation unit 232a and the display image generation unit 232b refer to the acquired display information and can recognize that the utterance content included in the display information is the utterance content uttered by the customer . Therefore, the
（ステップＳ２７、発話内容出力工程）
ステップＳ１３の処理が終わると、サーバ１００の表示情報生成部１３４は、ステップＳ１１において取得した発話内容情報を翻訳部１３５に出力する。翻訳部１３５は、取得した上記発話内容情報が示す発話内容の翻訳である翻訳発話内容を示す翻訳発話内容情報を生成する。そして、上記翻訳発話内容情報を表示情報生成部１３４に出力する。例えば、ステップＳ１１において、表示情報生成部１３４が「How can I buy it?」を示す発話内容情報を取得している場合、翻訳部１３５は、「それはどのように購入できますか？」を示す翻訳発話内容情報を表示情報生成部１３４に出力する。
(Step S27, utterance content output process)
When the process of step S13 ends, the display
（ステップＳ２９、翻訳内容情報取得工程）
表示情報生成部１３４は、取得した上記翻訳発話内容情報を表示するための「communication」を生成する。より具体的には、表示情報生成部１３４は、項目「cid」に「1」を
格納し、項目「type」に「customer」を格納し、項目「kind」に「trans」を格納し、項
目「state」に「update」を格納し、項目「data」に「それはどのように購入できますか
？」を格納した「communication」を生成する。そして、表示情報生成部１３４は、生成した上記表示情報を、表示情報出力部１３６に出力する。
(Step S29, translation content information acquisition process)
The display
（ステップＳ３１、翻訳内容情報出力工程）
表示情報出力部１３６は、取得した上記表示情報を、サーバ通信部１１０を介して表示装置２００ａ及び表示装置２００ｂに出力する。
(Step S31, translation content information output process)
The display
（ステップＳ３３）
表示装置２００ｂの表示情報取得部２３１ｂは、表示装置通信部２１０ｂを介して上記表示情報を取得する。そして、表示情報取得部２３１ｂは、上記表示情報を表示画像生成部２３２ｂに出力する。
(Step S33)
The display information acquisition unit 231b of the
（ステップＳ３５）
表示画像生成部２３２ｂは、上記表示情報が示す表示画像であって、客向けに応じた表示態様を有する表示画像を生成する。より具体的には、まず、表示画像生成部２３２ｂは、取得した表示情報を参照し、項目「state」に「update」が格納されているため、項目「cid」に格納されている「1」に関連付けられた吹き出しに、当該表示情報に含まれる発話内容を示すテキストをさらに含めた画像を生成する。ここで、項目「type」に「customer」が格納され、項目「kind」に「trans」が格納されているため、表示画像生成部２３２ｂは、当該表示情報に含まれる発話内容は、客が発話した発話内容の翻訳であると認識することができる。そのため、表示画像生成部２３２ｂは、上記吹き出しの中に、項目「data」に格納されている発話内容を示すテキスト「それはどのように購入できますか？」の文字を小さくした画像を生成する。なお、この場合の文字の大きさは、客が発話した発話内容を示すテキスト及び店員の発話内容を翻訳した翻訳発話内容を示すテキストの文字より小さいことを指している。そして、表示画像生成部２３２ｂは、生成した表示画像を表示部２５０ｂに出力する。
(Step S35)
The display image generation unit 232 b generates a display image which is a display image indicated by the display information and has a display mode according to the customer. More specifically, first, the display image generation unit 232 b refers to the acquired display information, and “update” is stored in the item “state”, so “1” stored in the item “cid” In the balloon associated with the image, an image further including text indicating the utterance content included in the display information is generated. Here, since “customer” is stored in the item “type” and “trans” is stored in the item “kind”, the display image generation unit 232 b causes the customer to utter the utterance content included in the display information. It can be recognized as a translation of the uttered content. Therefore, the display image generation unit 232 b generates an image in which the text “How can it be purchased?” Indicating the utterance content stored in the item “data” is reduced in the above-described balloon. Note that the size of the character in this case indicates that the text is smaller than the text representing the uttered content uttered by the customer and the text representing the translated uttered content obtained by translating the uttered content of the store clerk. Then, the display image generation unit 232 b outputs the generated display image to the
（ステップＳ３７）
表示部２５０ｂは、取得した上記表示画像を表示する。
(Step S37)
The
（ステップＳ３９）
ステップＳ３１においてサーバ１００が表示情報を出力すると、表示装置２００ａの表示情報取得部２３１ａは、表示装置通信部２１０ａを介して上記表示情報を取得する。そして、表示情報取得部２３１ａは、上記表示情報を表示画像生成部２３２ａに出力する。
(Step S39)
When the
（ステップＳ４１）
表示画像生成部２３２ａは、上記表示情報が示す表示画像であって、店員向けに応じた表示態様を有する表示画像を生成する。より具体的には、まず、表示画像生成部２３２ａは、取得した表示画像を参照し、項目「state」に「update」が格納されているため、項目「cid」に格納されている「1」に関連付けられた吹き出しに、当該表示情報に含まれる発話内容を示すテキストをさらに含めた画像を生成する。ここで、項目「type」に「customer」が格納され、項目「kind」に「trans」が格納されているため、表示画像生成部２３２ａは、当該表示情報に含まれる発話内容は、客が発話した発話内容の翻訳であると認識することができる。そのため、表示画像生成部２３２ａは、上記吹き出しの中に、項目「data」に格納されている発話内容を示すテキスト「それはどのように購入できますか？」の文字を大きくした画像を生成する。なお、この場合の文字の大きさは、客が発話した発話内容を示すテキスト及び店員の発話内容を翻訳した翻訳発話内容を示すテキストの文字より大きいことを指している。そして、表示画像生成部２３２ａは、生成した表示画像を表示部２５０ａに出力する。
(Step S41)
The display image generation unit 232a generates a display image which is a display image indicated by the display information and which has a display mode according to the store clerk. More specifically, the display image generation unit 232a first refers to the acquired display image, and “update” is stored in the item “state”, so “1” stored in the item “cid”. In the balloon associated with the image, an image further including text indicating the utterance content included in the display information is generated. Here, since “customer” is stored in the item “type” and “trans” is stored in the item “kind”, the display image generation unit 232 a causes the customer to utter the utterance content included in the display information. It can be recognized as a translation of the uttered content. Therefore, the display image generation unit 232a generates an image in which the text "How can it be purchased?" Indicating the utterance content stored in the item "data" is enlarged in the above-described balloon. Note that the size of the character in this case indicates that it is larger than the character of the text representing the uttered content uttered by the customer and the text representing the translated uttered content obtained by translating the uttered content of the store clerk. Then, the display image generation unit 232a outputs the generated display image to the
（ステップＳ４３）
表示部２５０ａは、取得した上記表示画像を表示する。
(Step S43)
The
ここで、表示部２５０ａ及び表示部２５０ｂがそれぞれ表示する画像であって、客の翻訳発話内容を含む画像について、図６の（ｅ）及び（ｆ）を用いて説明する。図６の（ｅ）は、店員向けの表示装置２００ａが表示する画像の他の例であり、図６の（ｆ）は、客向けの表示装置２００ｂが表示する画像の他の例である。
Here, images that are displayed by the
上述したように、表示画像生成部２３２ａ及び表示画像生成部２３２ｂは、取得した表示情報を参照し、当該表示情報に含まれる発話内容は、客が発話した発話内容の翻訳であると認識することができる。そのため、店員向けの表示装置２００ａの表示部２５０ａは、既に生成していた吹き出し３００ａの中に翻訳発話内容を示すテキストの文字を大きくしたテキスト４０２ａを含ませ、表示する。換言すると、表示画像生成部２３２ａは、発話内容と当該発話内容の翻訳発話内容とがグループ化された表示画像を生成する。一方、客向けの表示装置２００ｂの表示部２５０ｂは、既に生成していた吹き出し３００ｂの中に翻訳発話内容を示すテキストの文字を小さくしたテキスト４０２ｂを含ませ、表示する（更新する）。
As described above, the display image generation unit 232a and the display image generation unit 232b refer to the acquired display information, and recognize that the utterance content included in the display information is a translation of the utterance content uttered by the customer Can. Therefore, the
なお、表示部２５０ａ及び２５０ｂがそれぞれ、上述した図６の（ｃ）及び（ｄ）に示す表示画像を表示した後、図６の（ｅ）及び（ｆ）に示す表示画像を表示するまでの期間、例えば、（１）「翻訳処理中」のテキストを含むポップアップウィンドウを表示する、（２）翻訳処理中を示すアイコンを表示する、といった、翻訳処理を実行中であることを客または店員に提示する構成であってもよい。
After the
（コミュニケーション支援システム１の処理２）
図７は、本発明の実施形態１に係るコミュニケーション支援システム１において、店員の発話内容の翻訳が表示されるまでの処理の流れを示すシークエンス図である。また、図８は、本発明の実施形態１における表示装置２００が表示する画像を示す図である。コミュニケーション支援システム１において、店員の発話内容の翻訳が表示されるまでの処理の流れについて、図７及び図８を用いて説明する。
(
FIG. 7 is a sequence diagram showing a flow of processing until the translation of the content of the utterance of the store clerk is displayed in the
（ステップＳ５１）
上述したステップＳ４３において、表示装置２００ａの表示部２５０ａが客の発話内容の翻訳を含む表示画像を表示すると、音声情報取得部２３３ａは、音声受付部２６０ａを介して店員が発話した音声を含む音声情報を取得する。例えば、店員が客におでんを購入する方法を教えるため、「おでんですか。欲しいものを注文して下さい」と発話すると、音声情報取得部２３３ａは、「おでんですか。欲しいものを注文して下さい」を含む音声情報を取得する。
(Step S51)
In step S43 described above, when the
（ステップＳ５３）
音声情報取得部２３３ａは、取得した上記音声情報を、表示装置通信部２１０ａを介してサーバ１００に出力する。
(Step S53)
The voice information acquisition unit 233a outputs the acquired voice information to the
サーバ１００の音声情報取得部１３１が音声情報を取得し、音声認識部１３３が発話内容を表示情報生成部１３４に出力する処理については、上述したステップＳ５〜ステップＳ９と同じであるため、説明は省略する。
The process of the speech
（ステップＳ１１）
表示情報生成部１３４は、取得した上記発話内容情報含む表示情報を生成する。例えば、ステップＳ５３において、音声情報取得部２３３ａが「おでんですか。欲しいものを注文して下さい」を含む音声情報を取得すると、表示情報生成部１３４は、項目「cid」に「2」を格納し、項目「type」に「staff」を格納し、項目「kind」に「speech」を格納し、項目「state」に「new」を格納し、項目「data」に「おでんですか。欲しいものを注文して下さい」を格納した「communication」を生成する。そして、表示情報生成部１３４は、上記表示情報を表示情報出力部１３６に出力する。
(Step S11)
The display
（ステップＳ１３）
表示情報出力部１３６は、取得した上記表示情報を、サーバ通信部１１０を介して表示装置２００ａ及び表示装置２００ｂに出力する。
(Step S13)
The display
（ステップＳ１５）
表示装置２００ｂの表示情報取得部２３１ｂは、表示装置通信部２１０ｂを介して上記表示情報を取得する。そして、表示情報取得部２３１ｂは、上記表示情報を表示画像生成部２３２ｂに出力する。
(Step S15)
The display information acquisition unit 231b of the
（ステップＳ１７）
表示画像生成部２３２ｂは、上記表示情報が示す表示画像であって、客向けに応じた表示態様を有する表示画像を生成する。より具体的には、まず、表示画像生成部２３２ｂは、取得した表示情報を参照し、項目「state」に「new」が格納されているため、項目「cid」に格納されている「2」に関連付けた吹き出しの画像を生成する。続いて、項目「type」に「staff」が格納され、項目「kind」に「speech」が格納されているため、表示画像生成部２３２ｂは、当該表示情報に含まれる発話内容は、店員が発話した発話内容であると認識することができる。そのため、表示画像生成部２３２ｂは、上記吹き出しの中に、項目「data」に格納されている発話内容を示すテキスト「おでんですか。欲しいものを注文して下さい」の文字を小さくした画像を生成する。なお、この場合の文字の大きさは、客が発話した発話内容を示すテキスト及び店員の発話内容を翻訳した翻訳発話内容を示すテキストの文字より小さいことを指している。そして、表示画像生成部２３２ｂは、生成した表示画像を表示部２５０ｂに出力する。
(Step S17)
The display image generation unit 232 b generates a display image which is a display image indicated by the display information and has a display mode according to the customer. More specifically, first, the display image generation unit 232b refers to the acquired display information, and since "new" is stored in the item "state", "2" stored in the item "cid" Generate a balloon image associated with the. Subsequently, since “staff” is stored in the item “type” and “speech” is stored in the item “kind”, the display image generation unit 232 b causes the store clerk to utter the utterance content included in the display information It can be recognized as the uttered content. Therefore, the display image generation unit 232b generates an image in which the text "Oden? Please order what you want." Indicating the utterance content stored in the item "data" is reduced in the above balloon. Do. Note that the size of the character in this case indicates that the text is smaller than the text representing the uttered content uttered by the customer and the text representing the translated uttered content obtained by translating the uttered content of the store clerk. Then, the display image generation unit 232 b outputs the generated display image to the
（ステップＳ１９）
表示部２５０ｂは、取得した上記表示画像を表示する。
(Step S19)
The
（ステップＳ２１）
ステップＳ１３においてサーバ１００が表示情報を出力すると、表示装置２００ａの表示情報取得部２３１ａは、表示装置通信部２１０ａを介して上記表示情報を取得する。そして、表示情報取得部２３１ａは、上記表示情報を表示画像生成部２３２ａに出力する。
(Step S21)
When the
（ステップＳ２３）
表示画像生成部２３２ａは、上記表示情報が示す表示画像であって、店員向けに応じた表示態様を有する表示画像を生成する。より具体的には、まず、表示画像生成部２３２ａは、取得した表示情報を参照し、項目「state」に「new」が格納されているため、項目「cid」に格納されている「2」に関連付けた吹き出しの画像を生成する。続いて、項目「type」に「staff」が格納され、項目「kind」に「speech」が格納されているため、表示画像生成部２３２ａは、当該表示情報に含まれる発話内容は、店員が発話した発話内容であると認識することができる。そのため、表示画像生成部２３２ａは、上記吹き出しの中に、項目「data」に格納されている発話内容を示すテキスト「おでんですか。欲しいものを注文して下さい」の文字を大きくした画像を生成する。なお、この場合の文字の大きさは、客が発話した発話内容を示すテキスト及び店員の発話内容を翻訳した翻訳発話内容を示すテキストの文字より大きいことを指している。そして、表示画像生成部２３２ａは、生成した表示画像を表示部２５０ａに出力する。
(Step S23)
The display image generation unit 232a generates a display image which is a display image indicated by the display information and which has a display mode according to the store clerk. More specifically, first, the display image generation unit 232a refers to the acquired display information, and “2” stored in the item “cid” because “new” is stored in the item “state”. Generate a balloon image associated with the. Subsequently, since “staff” is stored in the item “type” and “speech” is stored in the item “kind”, the display image generation unit 232 a causes the store clerk to utter the utterance content included in the display information It can be recognized as the uttered content. Therefore, the display image generation unit 232a generates an image in which the text "Oden? Please order what you want." Indicating the utterance content stored in the item "data" is enlarged in the above balloon. Do. Note that the size of the character in this case indicates that it is larger than the character of the text representing the uttered content uttered by the customer and the text representing the translated uttered content obtained by translating the uttered content of the store clerk. Then, the display image generation unit 232a outputs the generated display image to the
（ステップＳ２５）
表示部２５０ａは、取得した上記表示画像を表示する。
(Step S25)
The
ここで、表示部２５０ａ及び表示部２５０ｂがそれぞれ表示する画像であって、店員の発話内容を含む画像について、図８の（ａ）及び（ｂ）を用いて説明する。図８の（ａ）は、店員向けの表示装置２００ａが表示する画像の他の例であり、図８の（ｂ）は、客向けの表示装置２００ｂが表示する画像の他の例である。
Here, an image that is displayed by the
上述したように、表示画像生成部２３２ａ及び表示画像生成部２３２ｂは、取得した表示情報を参照し、当該表示情報に含まれる発話内容は、店員が発話した発話内容であると認識することができる。そのため、店員向けの表示装置２００ａの表示部２５０ａは、新しく生成した吹き出し３０２ａの中に発話内容を示すテキストの文字を大きくしたテキスト４０４ａを含ませ、表示する。一方、客向けの表示装置２００ｂの表示部２５０ｂは、新しく生成した吹き出し３０２ｂの中に発話内容を示すテキストの文字を小さくしたテキスト４０４ｂを含ませ、表示する。
As described above, the display image generation unit 232a and the display image generation unit 232b refer to the acquired display information, and can recognize that the utterance content included in the display information is the utterance content uttered by the store clerk . Therefore, the
（ステップＳ２７）
ステップＳ１３の処理が終わると、サーバ１００の表示情報生成部１３４は、ステップＳ１１において取得した発話内容情報を翻訳部１３５に出力する。翻訳部１３５は、取得した上記発話内容情報の翻訳である翻訳内容を示す翻訳発話内容情報を生成する。そして、上記翻訳発話内容情報を表示情報生成部１３４に出力する。例えば、ステップＳ１１において、表示情報生成部１３４が「おでんですか。欲しいものを注文して下さい」を示す発話内容情報を取得している場合、翻訳部１３５は、「Oden? You order what you want.」を示す翻訳発話内容情報を表示情報生成部１３４に出力する。
(Step S27)
When the process of step S13 ends, the display
（ステップＳ２９）
表示情報生成部１３４は、取得した上記翻訳発話内容を表示するための「communication」を生成する。より具体的には、表示情報生成部１３４は、項目「cid」に「2」を格納し、項目「type」に「staff」を格納し、項目「kind」に「trans」を格納し、項目「state」に「update」を格納し、項目「data」に「Oden? You order what you want.」を格納した「communication」を生成する。そして、表示情報生成部１３４は、上記表示情報を、表示情報出力部１３６に出力する。
(Step S29)
The display
（ステップＳ３１）
表示情報出力部１３６は、取得した上記表示情報を、サーバ通信部１１０を介して表示装置２００ａ及び表示装置２００ｂに出力する。
(Step S31)
The display
（ステップＳ３３）
表示装置２００ｂの表示情報取得部２３１ｂは、表示装置通信部２１０ｂを介して上記表示情報を取得する。そして、表示情報取得部２３１ｂは、上記表示情報を表示画像生成部２３２ｂに出力する。
(Step S33)
The display information acquisition unit 231b of the
（ステップＳ３５）
表示画像生成部２３２ｂは、上記表示情報が示す表示画像であって、客向けに応じた表示態様を有する表示画像を生成する。より具体的には、まず、表示画像生成部２３２ｂは、取得した表示情報を参照し、項目「state」に「update」が格納されているため、項目「cid」に格納されている「2」に関連付けられた吹き出しに、当該表示情報に含まれる発話内容を示すテキストをさらに含めた画像を生成する。ここで、項目「type」に「staff」が格納され、項目「kind」に「trans」が格納されているため、表示画像生成部２３２ｂは、当該表示情報に含まれる発話内容は、店員が発話した発話内容の翻訳であると認識することができる。そのため、表示画像生成部２３２ｂは、上記吹き出しの中に、項目「data」に格納されている発話内容を示すテキスト「Oden? You order what you want.」の文字を大きくした画像を生成する。なお、この場合の文字の大きさは、店員が発話した発話内容を示すテキスト及び客の発話内容を翻訳した翻訳発話内容を示すテキストの文字より大きいことを指している。そして、表示画像生成部２３２ｂは、生成した表示画像を表示部２５０ｂに出力する。
(Step S35)
The display image generation unit 232 b generates a display image which is a display image indicated by the display information and has a display mode according to the customer. More specifically, first, the display image generation unit 232b refers to the acquired display information, and “2” stored in the item “cid” because “update” is stored in the item “state”. In the balloon associated with the image, an image further including text indicating the utterance content included in the display information is generated. Here, since “staff” is stored in the item “type” and “trans” is stored in the item “kind”, the display image generation unit 232 b causes the store clerk to utter the utterance content included in the display information It can be recognized as a translation of the uttered content. Therefore, the display image generation unit 232b generates an image in which the character of the text "Oden? You order what you want." Indicating the utterance content stored in the item "data" is enlarged in the above-mentioned balloon. Note that the size of the character in this case indicates that it is larger than the character of the text indicating the uttered content uttered by the store clerk and the text indicating the translated uttered content obtained by translating the uttered content of the customer. Then, the display image generation unit 232 b outputs the generated display image to the
（ステップＳ３７）
表示部２５０ｂは、取得した上記表示画像を表示する。
(Step S37)
The
（ステップＳ３９）
ステップＳ３１においてサーバ１００が表示情報を出力すると、表示装置２００ａの表示情報取得部２３１ａは、表示装置通信部２１０ａを介して上記表示情報を取得する。そして、表示情報取得部２３１ａは、上記表示情報を表示画像生成部２３２ａに出力する。
(Step S39)
When the
（ステップＳ４１）
表示画像生成部２３２ａは、上記表示情報が示す表示画像であって、店員向けに応じた表示態様を有する表示画像を生成する。より具体的には、まず、表示画像生成部２３２ａは、取得した表示情報を参照し、項目「state」に「update」が格納されているため、項目「cid」に格納されている「2」に関連付けられた吹き出しに、当該表示情報に含まれる発話内容を示すテキストをさらに含めた画像を生成する。ここで、項目「type」に「staff」が格納され、項目「kind」に「trans」が格納されているため、表示画像生成部２３２ａは、当該表示情報に含まれる発話内容は、店員が発話した発話内容の翻訳であると認識することができる。そのため、表示画像生成部２３２ａは、上記吹き出しの中に、項目「data」に格納されている発話内容を示すテキスト「Oden? You order what you want.」の文字を小さくした画像を生成する。なお、この場合の文字の大きさは、店員が発話した発話内容を示すテキスト及び客の発話内容を翻訳した翻訳発話内容を示すテキストの文字より小さいことを指している。そして、表示画像生成部２３２ａは、生成した表示画像を表示部２５０ａに出力する。
(Step S41)
The display image generation unit 232a generates a display image which is a display image indicated by the display information and which has a display mode according to the store clerk. More specifically, first, the display image generation unit 232a refers to the acquired display information, and “2” stored in the item “cid” because “update” is stored in the item “state”. In the balloon associated with the image, an image further including text indicating the utterance content included in the display information is generated. Here, since “staff” is stored in the item “type” and “trans” is stored in the item “kind”, the display image generation unit 232 a causes the store clerk to utter the utterance content included in the display information. It can be recognized as a translation of the uttered content. Therefore, the display image generation unit 232a generates an image in which the characters of the text "Oden? You order what you want." Indicating the utterance content stored in the item "data" are reduced in the above-mentioned balloon. Note that the size of the character in this case indicates that the text is smaller than the text representing the uttered content uttered by the store clerk and the text representing the translated uttered content obtained by translating the uttered content of the customer. Then, the display image generation unit 232a outputs the generated display image to the
（ステップＳ４３）
表示部２５０ａは、取得した上記表示画像を表示する。
(Step S43)
The
ここで、表示部２５０ａ及び表示部２５０ｂがそれぞれ表示する画像であって、店員の翻訳発話内容を含む画像について、図８の（ｃ）及び（ｄ）を用いて説明する。図８の（ｃ）は、店員向けの表示装置２００ａが表示する画像の他の例であり、図８の（ｄ）は、客向けの表示装置２００ｂが表示する画像の他の例である。
Here, images that are displayed by the
上述したように、表示画像生成部２３２ａ及び表示画像生成部２３２ｂは、取得した表示情報を参照し、当該表示情報に含まれる発話内容は、店員が発話した発話内容の翻訳であると認識することができる。そのため、店員向けの表示装置２００ａの表示部２５０ａは、既に生成していた吹き出し３０２ａの中に翻訳発話内容を示すテキストの文字を小さくしたテキスト４０６ａを含ませ、表示する。一方、客向けの表示装置２００ｂの表示部２５０ｂは、既に生成していた吹き出し３０２ｂの中に翻訳発話内容を示すテキストの文字を大きくしたテキスト４０６ｂを含ませ、表示する。
As described above, the display image generation unit 232a and the display image generation unit 232b refer to the acquired display information, and recognize that the utterance content included in the display information is a translation of the utterance content uttered by the store clerk Can. Therefore, the
このように、本実施形態に係るコミュニケーション支援システム１では、店員向け画像及び客向け画像の少なくとも何れかを表示する表示装置２００は、表示すべき情報を含む表示情報（communication）を含む表示情報を取得し、表示情報の示す表示画像であって、表示装置２００が店員向けであるか客向けであるのかに応じた表示態様を有する表示画像を生成し、当該表示画像を表示する。そのため、店員向けの表示装置２００ａは、店員が見たいテキストの文字を大きく表示し、店員が見なくてもいいテキストの文字を小さく表示する。一方、客向けの表示装置２００ｂは、客が見たいテキストの文字を大きく表示し、客が見なくてもいいテキストの文字を小さく表示する。
As described above, in the
また、コミュニケーション支援システム１では、表示装置２００ａ及び表示装置２００ｂがそれぞれ表示する画像は、表示態様は異なるが情報量は同じである。そのため、店員と客とは、例えば、自らが発した発話内容が翻訳されていること、相手が自らの発した発話内容の翻訳を待っていること、などといった情報を互いに共有することができる。
Further, in the
そのため、コミュニケーション支援システム１では、表示装置２００の使い勝手を向上させ利用者同士のコミュニケーションを円滑にすることができる。
Therefore, in the
なお、本実施形態では、店員向けの表示装置２００ａにおいて、表示画像生成部２３２ａは、店員の発話内容を示すテキストの文字及び客の発話内容を翻訳した翻訳発話内容を示すテキストの文字が、店員の発話内容を翻訳した翻訳発話内容を示すテキストの文字及び客の発話内容を示すテキストの文字より大きい表示画像を生成したが、この構成に限定されない。表示画像生成部２３２は、店員の発話内容を示すテキストの文字及び客の発話内容を翻訳した翻訳発話内容を示すテキストの文字が、店員の発話内容を翻訳した翻訳発話内容を示すテキストの文字及び客の発話内容を示すテキストの文字より目立つ表示画像を生成する構成であればよい。
In the present embodiment, in the
ここで、「店員の発話内容を示すテキストの文字及び客の発話内容を翻訳した翻訳発話内容を示すテキストの文字が、店員の発話内容を翻訳した翻訳発話内容を示すテキストの文字及び客の発話内容を示すテキストの文字より目立つ」とは、店員の発話内容を示すテキストの文字及び客の発話内容を翻訳した翻訳発話内容を示すテキストの文字が、店員の発話内容を翻訳した翻訳発話内容を示すテキストの文字及び客の発話内容を示すテキストの文字より大きい、太い、色が濃い等が挙げられる。 Here, “the character of the text showing the uttered content of the store clerk and the character of the text showing the translated uttered content obtained by translating the uttered content of the customer are the text of the translated uttered content obtained by translating the uttered content of the store clerk The text of the text showing the content is more prominent than the text of the text of the store clerk, and the text of the text showing the translation uttered contents obtained by translating the uttered contents of the customer translates the translated uttered contents obtained by translating the uttered contents of the store clerk The text may be larger than the text of the text shown and the text of the text indicating the uttered content of the customer, or may be thicker or darker.
また、表示画像生成部２３２ａは、店員の発話内容を示すテキストの文字及び客の発話内容を翻訳した翻訳発話内容を示すテキストの文字を大きくする、太くする、色を濃くする構成であってもよいし、店員の発話内容を翻訳した翻訳発話内容を示すテキストの文字及び客の発話内容を示すテキストの文字を小さくする、細くする、色を薄くする構成であってもよい。 In addition, the display image generation unit 232a is configured to enlarge, thicken, or darken the characters of the text indicating the uttered content of the store clerk and the translated uttered content obtained by translating the uttered content of the customer. It may be configured to reduce the size of, reduce the size of, and reduce the size of the characters of the text representing the translated uttered content obtained by translating the uttered content of the store clerk and the text representing the uttered content of the customer.
また、上記構成は客向けの表示装置２００ｂでも同様であり、表示画像生成部２３２ｂは、客の発話内容を示すテキストの文字及び店員の発話内容を翻訳した翻訳発話内容を示すテキストの文字が、店員の発話内容を示すテキストの文字及び客の発話内容を翻訳した翻訳発話内容を示すテキストの文字より目立つ表示画像を生成する構成であれば良い。また、表示画像生成部２３２ｂは、客の発話内容を示すテキストの文字及び店員の発話内容を翻訳した翻訳発話内容を示すテキストの文字を大きくする、太くする、色を濃くする構成であってもよいし、店員の発話内容を示すテキストの文字及び客の発話内容を翻訳した翻訳発話内容を示すテキストの文字を小さくする、細くする、色を薄くする構成であってもよい。
Further, the above configuration is the same as in the
〔実施形態２〕
本発明の他の実施形態に係るコミュニケーション支援システム２について、図９〜図１３に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
Second Embodiment
It will be as follows if the
（コミュニケーション支援システム２）
コミュニケーション支援システム２は、サーバ１０１及び表示装置２０１によって構成され、サーバ１０１及び表示装置２０１は、上述した実施形態におけるコミュニケーション支援システム１におけるサーバ１００及び表示装置２００が備えている各機能に加えて、サーバ１０１はキーフレーズを検索し、表示装置２０１は、キーフレーズを強調表示し、さらにキーフレーズに関連した図を表示する。本実施形態におけるサーバ１０１について、図９を用いて説明する。なお、表示装置２０１の構成は、実施形態１における表示装置２００と同じであるため、説明を省略する。
(Communication support system 2)
The
（サーバ１０１）
図９は、本発明の実施形態２におけるサーバ１０１の要部構成を示すブロック図である。サーバ１０１は、図９に示すように、実施形態１におけるサーバ１００が備えているサーバ制御部１２０に替えてサーバ制御部１２１を備え、キーフレーズデータベース１５０を更に備えている。
(Server 101)
FIG. 9 is a block diagram showing the main configuration of the
（サーバ制御部１２１）
サーバ制御部１２１は、サーバ１０１の各部を統括的に制御するものであり、図９に示すように、サーバ制御部１２０の機能に加えて、キーフレーズ検索部（フレーズ判定部）１３７としても機能する。
(Server control unit 121)
The
キーフレーズ検索部１３７は、後述するキーフレーズデータベース１５０を参照し、取得した発話内容情報及び翻訳発話内容情報の中のキーフレーズを検索する。そして、キーフレーズ検索部１３７は、キーフレーズを検出した場合、当該キーフレーズに関連付けられたキーフレーズ情報を、キーフレーズデータベース１５０から取得する。
The key
（キーフレーズデータベース１５０）
キーフレーズデータベース１５０には、キーフレーズに関する情報であるキーフレーズ情報が、キーフレーズに関連付けられたキーフレーズテーブルとして格納されている。キーフレーズデータベース１５０に格納されているキーフレーズテーブルについて、図１０を用いて説明する。図１０は、本発明の実施形態２におけるキーフレーズ情報が格納されたキーフレーズテーブルである。
(Key phrase database 150)
The
キーフレーズテーブルは、図１０に示すように、項目「ＩＤ」、項目「キーフレーズ（日本語）」、項目「キーフレーズ（英語）」、項目「置換文字列」、及び項目「画像Ｎｏ．」を含んでいる。 As shown in FIG. 10, the key phrase table has the item "ID", the item "key phrase (Japanese)", the item "key phrase (English)", the item "replacement character string", and the item "image No." Contains.
項目「ＩＤ」には、キーフレーズを他のキーフレーズと識別するための識別情報が格納される。より具体的には、通し番号の数字が格納される。 The item “ID” stores identification information for identifying a key phrase as another key phrase. More specifically, numbers of serial numbers are stored.
項目「キーフレーズ（日本語）」には、キーフレーズを日本語で表記したテキストが格納される。 The item "key phrase (Japanese)" stores text in which the key phrase is written in Japanese.
項目「キーフレーズ（英語）」には、キーフレーズを英語で表示したテキストが格納される。 The item “key phrase (English)” stores text in which the key phrase is displayed in English.
項目「置換文字列」は、キーフレーズに置き換えられるテキストが格納される。より具体的には、キーフレーズを強調表示する指示を含むテキストが格納される。 The item "replacement string" stores text to be replaced with a key phrase. More specifically, text is stored that includes instructions to highlight key phrases.
項目「画像Ｎｏ．」は、キーフレーズに関連した画像の番号が格納される。 The item "image No." stores the number of the image associated with the key phrase.
（コミュニケーション支援システム２の処理）
図１１は、本発明の実施形態２に係るコミュニケーション支援システム２における処理の流れを示すシークエンス図である。また、図１２は、本発明の実施形態２における表示装置２０１が表示する表示画像を示す図である。また、図１３は、本発明の実施形態２における表示装置２０１が表示する他の表示画像を示す図である。本発明の実施形態２に係るコミュニケーション支援システム２の処理について、図１１〜図１３を用いて説明する。
(Processing of communication support system 2)
FIG. 11 is a sequence diagram showing a flow of processing in the
まず、表示装置２０１が客または店員の発話した音声情報を取得し、発話テキスト及び翻訳テキストを表示する処理は、上述した実施形態１における処理と同じであるため、説明を省略する。 First, the process of the display device 201 acquiring the speech information uttered by the customer or the store clerk and displaying the speech text and the translation text is the same as the process in the first embodiment described above, and thus the description is omitted.
（ステップＳ１０１）
表示情報生成部１３４は、発話内容を表示するための表示情報を表示情報出力部１３６に出力すると、当該発話内容を示す発話内容情報をキーフレーズ検索部１３７に出力する。キーフレーズ検索部１３７は、キーフレーズデータベース１５０に格納されているキーフレーズテーブルを参照し、取得した上記発話内容情報が示す発話内容の中のキーフレーズを検索する。
(Step S101)
When the display
（ステップＳ１０３）
キーフレーズ検索部１３７は、上記発話テキスト内にキーフレーズが検出されたか否かを判定する。
(Step S103)
The key
（ステップＳ１０５）
ステップＳ１０３において、「キーフレーズが検出された」と判定された場合（ステップＳ１０５：ＹＥＳ）、該当するキーレフレーズに関連付けられたキーフレーズ情報を、キーフレーズデータベース１５０から取得する。例えば、ステップＳ１０１において、キーフレーズ検索部１３７が「おでんですか。欲しいものを注文して下さい」を示す発話内容情報を取得した場合、図１０に記載のキーフレーズテーブルを参照し、キーフレーズ「おでん」を検出する。そして、取得したキーフレーズ情報のうち、項目「置換文字列」に格納されているキーフレーズ情報を参照し、キーフレーズ「おでん」を、「<span dlink="1">おでん</span>」に置換し、置換後の発話内容情報を表示情報生成部１３４に出力する。また、キーフレーズ検索部１３７は、取得したキーフレーズ情報のうち、項目「画像Ｎｏ．」に格納されている「１」によって特定される画像を示す画像情報を表示情報生成部１３４に出力する。
(Step S105)
If it is determined in step S103 that "key phrase has been detected" (step S105: YES), key phrase information associated with the relevant key rephrase is acquired from the
（ステップＳ１０７）
表示情報生成部１３４は、置換後の発話内容情報が示す発話内容を表示するための表示情報を生成する。ここで、置換後の発話テキストには、画像の格納先を含んでいるため、上述した「communication」に加えて、画像を表示するための表示情報を生成する。画像を表示するための表示情報について、図５の（ｂ）を用いて説明する。
(Step S107)
The display
図５の（ｂ）は、画像を表示するための表示情報の一例を示す図である。図５の（ｂ）に示すように、画像を表示するための表示情報を「display」と称する。「display」は、図５の（ｂ）に示すように、項目「did」及び項目「data」によって構成されている。 (B) of FIG. 5 is a figure which shows an example of the display information for displaying an image. As shown in (b) of FIG. 5, display information for displaying an image is referred to as “display”. As shown in (b) of FIG. 5, “display” is configured by the item “did” and the item “data”.
項目「did」には、当該「display」を他の「display」と識別するための識別情報が格納される。より具体的には、通し番号の数字が格納される。 The item “did” stores identification information for identifying the “display” as another “display”. More specifically, numbers of serial numbers are stored.
項目「data」には、画像を示す画像情報または格納先を示す格納先情報が格納される。 The item “data” stores image information indicating an image or storage destination information indicating a storage destination.
例えば、表示情報生成部１３４が取得した画像情報が「ODEN1.png」であった場合、ステップＳ１０７において表示情報生成部１３４が生成する「display」には、図５の（ｂ）に示すように、項目「did」に「1」が格納され、項目「data」に「ODEN1.png」が格納される。また、ステップＳ１０７において、表示情報生成部１３４は、項目「cid」に「2」を格納し、項目「type」に「staff」を格納し、項目「kind」に「speech」を格納し、項目「state」に「update」を格納し、項目「data」に「<span dlink="1">おでん</span>ですか。欲しいものを注文してください」を格納した「communication」を生成する。そして、表示情報生成部１３４は、生成した「display」及び「communication」を含む表示情報を、表示情報出力部１３６に出力する。
For example, when the image information acquired by the display
（ステップＳ１０９）
表示情報出力部１３６は、取得した上記表示情報を、サーバ通信部１１０を介して表示装置２０１ａ及び表示装置２０１ｂに出力する。
(Step S109)
The display
（ステップＳ１１１）
表示装置２０１ｂの表示情報取得部２３１ｂは、表示装置通信部２１０ｂを介して上記表示情報を取得する。そして、表示情報取得部２３１ｂは、上記表示情報を表示画像生成部２３２ｂに出力する。
(Step S111)
The display information acquisition unit 231b of the display device 201b acquires the display information via the display device communication unit 210b. Then, the display information acquisition unit 231 b outputs the display information to the display image generation unit 232 b.
（ステップＳ１１３）
表示画像生成部２３２ｂは、上記表示情報が示す表示画像であって、客向けに応じた表示態様を有する表示画像を生成する。より具体的には、まず、表示画像生成部２３２ｂは、取得した表示情報の「communication」を参照し、項目「state」に「update」が格納されているため、項目「cid」に格納されている「2」に関連付けられた吹き出しに、当該表示情報に含まれる発話内容を示すテキストをさらに含めた画像を生成する。ここで、項目「type」に「staff」が格納され、項目「kind」に「speech」が格納されているため、表示画像生成部２３２ｂは、当該表示情報に含まれる発話内容は、店員が発話した発話内容であると認識することができる。そのため、表示画像生成部２３２ｂは、上記吹き出しに含まれるテキストのうち、店員が発話した発話内容を示すテキスト「おでんですか。欲しいものを注文して下さい」を、当該表示情報に含まれる発話内容を示すテキスト「<span dlink="1">おでん</span>ですか。欲しいものを注文してください」に更新した上で、当該テキストの文字を小さくした画像を生成する。
(Step S113)
The display image generation unit 232 b generates a display image which is a display image indicated by the display information and has a display mode according to the customer. More specifically, the display image generation unit 232b first refers to "communication" of the acquired display information, and "update" is stored in the item "state", so the display image generation unit 232b stores it in the item "cid". In the balloon associated with “2”, there is generated an image further including text indicating the utterance content included in the display information. Here, since “staff” is stored in the item “type” and “speech” is stored in the item “kind”, the display image generation unit 232 b causes the store clerk to utter the utterance content included in the display information It can be recognized as the uttered content. Therefore, among the texts included in the above-mentioned balloon, the display image generation unit 232b indicates the text “Oden? Please order what you want,” which is the contents of the utterance uttered by the store clerk, the utterance content included in the display information. Update the text to indicate "<span dlink =" 1 "> Oden </ span>? Order what you want" and then generate an image with the text in small size.
さらに、表示画像生成部２３２ｂは、取得した表示情報の「display」を参照し、項目「data」に格納されている「ODEN1.png」を更に含めた表示画像を生成する。そして、表示画像生成部２３２ｂは、生成した表示画像を表示部２５０ｂに出力する。
Furthermore, the display image generation unit 232b generates a display image further including “ODEN1.png” stored in the item “data” with reference to “display” of the acquired display information. Then, the display image generation unit 232 b outputs the generated display image to the
（ステップＳ１１５）
表示部２５０ｂは、取得した上記表示画像を表示する。
(Step S115)
The
（ステップＳ１１７）
ステップＳ１０９においてサーバ１０１が表示情報を出力すると、表示装置２０１ａの表示情報取得部２３１ａは、表示装置通信部２１０ａを介して上記表示情報を取得する。そして、表示情報取得部２３１ａは、上記表示情報を表示画像生成部２３２ａに出力する。
(Step S117)
When the
（ステップＳ１１９）
表示画像生成部２３２ａは、上記表示情報が示す表示画像であって、店員向けに応じた表示態様を有する表示画像を生成する。より具体的には、まず、表示画像生成部２３２ａは、取得した表示情報の「communication」を参照し、項目「state」に「update」が格納されているため、項目「cid」に格納されている「2」に関連付けられた吹き出しに、当該表示情報に含まれる発話内容を示すテキストをさらに含めた画像を生成する。ここで、項目「type」に「staff」が格納され、項目「kind」に「speech」が格納されているため、表示画像生成部２３２ａは、当該表示情報に含まれる発話内容は、店員が発話した発話内容であると認識することができる。そのため、表示画像生成部２３２ａは、上記吹き出しに含まれるテキストのうち、店員が発話した発話内容を示す「おでんですか。欲しいものを注文して下さい」を、当該表示情報に含まれる発話内容を示すテキスト「<span dlink="1">おでん</span>ですか。欲しいものを注文してください」に更新した上で、当該テキストの文字を大きくした画像を生成する。
(Step S119)
The display image generation unit 232a generates a display image which is a display image indicated by the display information and which has a display mode according to the store clerk. More specifically, the display image generation unit 232a first refers to "communication" of the acquired display information, and "update" is stored in the item "state", so the display image generation unit 232a stores it in the item "cid". In the balloon associated with “2”, there is generated an image further including text indicating the utterance content included in the display information. Here, since “staff” is stored in the item “type” and “speech” is stored in the item “kind”, the display image generation unit 232 a causes the store clerk to utter the utterance content included in the display information. It can be recognized as the uttered content. Therefore, among the texts included in the above-mentioned balloon, the display image generation unit 232a indicates “Oden? Please order what you want,” which indicates the uttered contents uttered by the store clerk, and the uttered contents contained in the display information. Update the text to indicate "<span dlink =" 1 "> Oden </ span>? Order what you want" and then generate an image with the text in a larger size.
さらに表示画像生成部２３２ａは、取得した表示情報の「display」を参照し、項目「data」に格納されている「ODEN1.png」を更に含めた表示画像を生成する。そして、表示画像生成部２３２ａは、生成した表示画像を表示部２５０ａに出力する。
Further, the display image generation unit 232a refers to the “display” of the acquired display information, and generates a display image further including “ODEN1.png” stored in the item “data”. Then, the display image generation unit 232a outputs the generated display image to the
（ステップＳ１２１）
表示部２５０ａは、取得した上記表示画像を表示する。
(Step S121)
The
ここで、表示部２５０ａ及び表示部２５０ｂがそれぞれ表示する画像であって、キーフレーズ及びキーフレーズに関連した画像を含む画像について、図１２の（ａ）及び（ｂ）を用いて説明する。図１２の（ａ）は、店員向けの表示装置２０１ａが表示する画像の例であり、図１２の（ｂ）は、客向けの表示装置２０１ｂが表示する画像の例である。
Here, an image that is displayed by the
上述したように、表示画像生成部２３２ａ及び表示画像生成部２３２ｂは、取得した表示情報を参照し、当該表示情報に含まれるキーフレーズ及び画像を含む表示画像を生成する。そのため、店員向けの表示装置２０１ａの表示部２５０ａは、吹き出し３０２ａに含まれるテキスト４０４ａに含まれるキーフレーズ（おでん）５００ａを太字に更新し、おでんの画像６００ａを含む表示画像を表示する。また、客向けの表示装置２０１ｂの表示部２５０ｂも同様に、吹き出し３０２ｂに含まれるテキスト４０４ｂに含まれるキーフレーズ（おでん）５００ｂを太字に更新し、おでんの画像６００ｂを含む表示画像を表示する。なお、強調表示の例として、太字以外にも、色を変える、背景色を変えるなども挙げられる。
As described above, the display image generation unit 232a and the display image generation unit 232b refer to the acquired display information, and generate a display image including a key phrase and an image included in the display information. Therefore, the
続いて、コミュニケーション支援システム２では、翻訳テキストについても、上述したステップＳ１０１〜Ｓ１２１と同様の処理を実行する。翻訳テキストでは、検出されるキーフレーズは「Oden」であるため、ステップＳ１０５において、キーフレーズ検索部１３７が「Oden」を検出すると、キーフレーズ「Oden」を「<span dlink="1">Oden</span>」に置換し、置換後の発話内容情報を表示情報生成部１３４に出力する。また、キーフレーズ検索部１３７は、取得したキーフレーズ情報のうち、項目「画像Ｎｏ．」に格納されている「１」によって特定される画像を示す画像情報を表示情報生成部１３４に出力する。
Subsequently, in the
そして、ステップＳ１０７において表示情報生成部１３４が生成する「display」には、項目「did」に「1」が格納され、項目「data」に「ODEN1.png」が格納される。また、ステップＳ１０７において、表示情報生成部１３４は、「cid」に「2」を格納し、項目「type」に「staff」を格納し、項目「kind」に「trans」を格納し、項目「state」に「update」を格納し、項目「data」に「<span dlink="1">Oden</span>? You order what you want.」を格納した「communication」を生成する。
Then, “1” is stored in the item “did” in “display” generated by the display
続いて、表示装置２０１ｂの表示画像生成部２３２ｂは、ステップＳ１１３において、客向けに応じた表示態様を有する表示画像を生成する。より具体的には、まず、表示画像生成部２３２ｂは、取得した表示情報の「communication」を参照し、項目「state」に「update」が格納されているため、項目「cid」に格納されている「2」に関連付けられた吹き出しに、当該表示情報に含まれる発話内容を示すテキストを更に含めた画像を生成する。ここで、項目「type」に「staff」が格納され、項目「kind」に「trans」が格納されているため、表示画像生成部２３２ｂは、当該表示情報に含まれる発話内容は、店員が発話した発話内容の翻訳であると認識することができる。そのため、表示画像生成部２３２ｂは、上記吹き出しに含まれるテキストのうち、店員の翻訳発話内容を示すテキスト「Oden? You order what you want.」を、当該表示情報に含まれる発話内容を示すテキスト「<span dlink="1">Oden</span>? You order what you want.」に更新した上で、当該テキストの文字を大きくした画像を生成する。 Subsequently, in step S113, the display image generation unit 232b of the display device 201b generates a display image having a display mode suitable for the customer. More specifically, the display image generation unit 232b first refers to "communication" of the acquired display information, and "update" is stored in the item "state", so the display image generation unit 232b stores it in the item "cid". In the balloon associated with “2”, there is generated an image further including text indicating the utterance content included in the display information. Here, since “staff” is stored in the item “type” and “trans” is stored in the item “kind”, the display image generation unit 232 b causes the store clerk to utter the utterance content included in the display information It can be recognized as a translation of the uttered content. Therefore, the display image generation unit 232b selects the text "Oden? You order what you want." That indicates the content of the translated utterance of the store clerk among the texts included in the balloon and You can update to <span dlink = "1"> Oden </ span>? You order what you want. "and generate an image in which the text is enlarged.
更に、表示画像生成部２３２ｂは、取得した表示情報の「display」を参照し、項目「data」に格納されている「ODEN1.png」を更に含めた表示画像を生成する。そして、表示画像生成部２３２ｂは、生成した表示画像を表示部２５０ｂに出力する。
Furthermore, the display image generation unit 232b generates a display image further including “ODEN1.png” stored in the item “data” with reference to “display” of the acquired display information. Then, the display image generation unit 232 b outputs the generated display image to the
また、表示装置２０１ａの表示画像生成部２３２ａは、ステップＳ１１９において、店員向けに応じた表示態様を有する表示画像を生成する。より具体的には、まず、表示画像生成部２３２ａは、取得した表示情報の「communication」を参照し、項目「state」に「update」が格納されているため、項目「cid」に格納されている「2」に関連付けられた吹き出しに、当該表示情報に含まれる発話内容を示すテキストを更に含めた画像を生成する。ここで、項目「type」に「staff」が格納され、項目「kind」に「trans」が格納されているため、表示画像生成部２３２ａは、当該表示情報に含まれる発話内容は、店員が発話した発話内容の翻訳であると認識することができる。そのため、表示画像生成部２３２ａは、上記吹き出しに含まれるテキストのうち、店員の翻訳発話内容を示すテキスト「Oden? You order what you want.」を、当該表示情報に含まれる発話内容を示すテキスト「<span dlink="1">Oden</span>? You order what you want.」に更新した上で、当該テキストの文字を小さくした画像を生成する。 Further, in step S119, the display image generation unit 232a of the display device 201a generates a display image having a display mode suitable for the store clerk. More specifically, the display image generation unit 232a first refers to "communication" of the acquired display information, and "update" is stored in the item "state", so the display image generation unit 232a stores it in the item "cid". In the balloon associated with “2”, there is generated an image further including text indicating the utterance content included in the display information. Here, since “staff” is stored in the item “type” and “trans” is stored in the item “kind”, the display image generation unit 232 a causes the store clerk to utter the utterance content included in the display information. It can be recognized as a translation of the uttered content. Therefore, the display image generation unit 232a selects the text "Oden? You order what you want." That indicates the content of the translated utterance of the store clerk among the texts included in the above-mentioned balloon and the text "Available of the content included in the display information". You can update to <span dlink = "1"> Oden </ span>? You order what you want. "and generate an image in which the text is made smaller.
更に、表示画像生成部２３２ａは、取得した表示情報の「display」を参照し、項目「data」に格納されている「ODEN1.png」を更に含めた表示画像を生成する。そして、表示画像生成部２３２ａは、生成した表示画像を表示部２５０ａに出力する。
Furthermore, the display image generation unit 232a generates a display image further including “ODEN1.png” stored in the item “data” with reference to “display” of the acquired display information. Then, the display image generation unit 232a outputs the generated display image to the
ここで、表示部２５０ａ及び表示部２５０ｂがそれぞれ表示する画像であって、キーフレーズ及びキーフレーズに関連した画像を含む画像について、図１３の（ａ）及び（ｂ）を用いて説明する。図１３の（ａ）は、店員向けの表示装置２０１ａが表示する画像の他の例であり、図１３の（ｂ）は、客向けの表示装置２０１ｂが表示する画像の他の例である。
Here, an image that is displayed by the
上述したように、表示画像生成部２３２ａ及び表示画像生成部２３２ｂは、取得した表示情報を参照し、当該表示情報に含まれるキーフレーズ及び画像を含む表示画像を生成する。そのため、店員向けの表示装置２０１ａの表示部２５０ａは、吹き出し３０２ａに含まれるテキスト４０６ａに含まれるキーフレーズ（Oden）５０２ａを太字に更新し、おでんの画像６００ａを含む表示画像を表示する。また、客向けの表示装置２０１ｂの表示部２５０ｂも同様に、吹き出し３０２ｂに含まれるテキスト４０６ｂに含まれるキーフレーズ（Oden）５０２ｂを太字に更新し、おでんの画像６００ｂを含む表示画像を表示する。
As described above, the display image generation unit 232a and the display image generation unit 232b refer to the acquired display information, and generate a display image including a key phrase and an image included in the display information. Therefore, the
このように、本実施形態に係るコミュニケーション支援システム２では、サーバ１０１は、発話内容または翻訳内容に所定のフレーズが含まれているか否かを判定し、所定のフレーズが含まれている場合、所定のフレーズを強調表示するよう表示装置２０１に対して指示する。また、コミュニケーション支援システム２では、表示装置２０１は、所定のフレーズに関連した画像を表示する。そのため、コミュニケーション支援システム２では、例えば、所定のフレーズとして商品名を設定することにより、当該商品名を客または店員が発話すると表示装置２０１は商品の画像を表示するので、表示装置２０１の使い勝手を向上させ利用者同士のコミュニケーションを円滑にすることができる。
As described above, in the
なお、本実施形態では、「display」の「data」に画像情報が格納されている場合について説明したが、上述したように、「display」の「data」には画像の格納先を示す格納先情報が格納されていてもよい。この場合、表示画像生成部２３２は、当該格納先情報が示す格納先から画像を取得し、当該画像を含む表示画像を生成する。
In the present embodiment, the case where image information is stored in “data” of “display” has been described, but as described above, the storage destination indicating the storage destination of the image in “data” of “display” Information may be stored. In this case, the display
〔実施形態３〕
本発明の他の実施形態に係るコミュニケーション支援システム３について、図１４〜図２１に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
Third Embodiment
It will be as follows if the
（コミュニケーション支援システム３）
コミュニケーション支援システム３はサーバ１０２及び表示装置２０２によって構成され、サーバ１０２及び表示装置２０２は、上述した実施形態におけるコミュニケーション支援システム２におけるサーバ１０１及び表示装置２０１が備えている各機能に加えて、客または店員による操作を示す操作情報を取得する。本実施形態におけるサーバ１０２及び表示装置２０２について、図１４及び図１５を用いて説明する。
(Communication support system 3)
The
（サーバ１０２）
図１４は、本発明の実施形態３におけるサーバ１０２の要部構成を示すブロック図である。サーバ１０２は、図１４に示すように、実施形態２におけるサーバ１０１が備えているサーバ制御部１２１及びキーフレーズデータベース１５０に替えて、サーバ制御部１２２及びキーフレーズデータベース１５２を備えている。
(Server 102)
FIG. 14 is a block diagram showing the main configuration of the
（サーバ制御部１２２）
サーバ制御部１２２は、サーバ１０２の各部を統括的に制御するものであり、図１４に示すように、サーバ制御部１２１の機能に加えて、操作情報取得部１３８としても機能する。
(Server control unit 122)
The
操作情報取得部１３８は、サーバ通信部１１０を制御し、表示装置２０２から出力された操作情報を取得する。
The operation
（キーフレーズデータベース１５２）
キーフレーズデータベース１５２に格納されているキーフレーズテーブルを、図１６に示す。図１６は、本発明の実施形態３におけるキーフレーズ情報が格納されたキーフレーズテーブルである。
(Key phrase database 152)
The key phrase table stored in the
キーフレーズテーブルは、図１６に示すように、実施形態２におけるキーフレーズデータベース１５０に格納されていたキーフレーズテーブルに加えて、項目「ポークフラグ」を含んでいる。
The key phrase table, as shown in FIG. 16, includes an item “poke flag” in addition to the key phrase table stored in the
項目「ポークフラグ」には、関連付けられたキーフレーズがポークと関連しているか否かを示す情報が格納される。より具体的には、関連付けられたキーフレーズがポークと関連していることを示す「1」または関連付けられたキーフレーズがポークと関連していないことを示す「0」が格納される。 The item "poke flag" stores information indicating whether the associated key phrase is associated with the poke. More specifically, “1” indicating that the associated key phrase is associated with the poke or “0” indicating that the associated key phrase is not associated with the poke is stored.
（表示装置２０２）
図１５は、本発明の実施形態３における表示装置２０２の要部構成を示すブロック図である。表示装置２０２は、図１５に示すように、実施形態２における表示装置２００が備えている表示装置制御部２２０に替えて表示装置制御部２２２を備え、操作受付部２７０を更に備えている。
(Display device 202)
FIG. 15 is a block diagram showing the main configuration of the
操作受付部２７０は、ユーザの操作を受け付け、当該操作を示す操作情報を出力する。なお、操作受付部２７０は、表示部２５０と一体となったタッチパネル式表示部であってもよい。
The
（表示装置制御部２２２）
表示装置制御部２２２は、表示装置２０２の各部を統括的に制御するものであり、図１５に示すように、表示装置制御部２２０の機能に加えて、操作情報取得部２３４としても機能する。
(Display device control unit 222)
The display
操作情報取得部２３４は、操作受付部２７０から出力された操作情報を取得し、表示装置通信部２１０を制御し、取得した操作情報をサーバ１０２に出力する。
The operation
（コミュニケーション支援システム３の処理１）
図１７は、本発明の実施形態３における表示装置２０２が表示する表示画像を示す図である。コミュニケーション支援システム３の処理の内、キーフレーズに関連したオブジェクトであって、客または店員の操作を受け付けるオブジェクトを表示する処理について、上述した図４、図７、図１１を用いて説明する。
(
FIG. 17 is a view showing a display image displayed by the
まず、上述した実施形態２において、図１３に示す表示画像を表示装置２０１が表示した後、おでんの画像に含まれる「つくね」に対して客が「What is this?」と発話し、それに対して店員が「つくねです」と発話した場合、コミュニケーション支援システム３は、上述した図４、図７に示した処理に従い、表示装置２０１が表示画像を表示する。
First, in the second embodiment described above, after the display device 201 displays the display image shown in FIG. 13, the customer utters “What is this?” To “Tsukine” included in the image of Oden, and the display When the clerk utters "Tsukune", the
続いて、コミュニケーション支援システム３は図１１に示した処理に従い、サーバ１０２は、ステップＳ１０１においてキーフレーズを検索する。この場合、発話内容にキーフレーズ「つくね」が含まれているため、キーフレーズ検索部１３７は、ステップＳ１０５において、「つくね」に関連付けられたキーフレーズ情報をキーフレーズデータベース１５２から取得する。そして、キーフレーズ検索部１３７は、キーフレーズを置換した発話内容情報と画像情報とを表示情報生成部１３４に出力する。更に、キーフレーズ検索部１３７は、ステップＳ１０５において、項目「ポークフラグ」に「1」が格納されていることを示すフラグ情報を表示情報生成部１３４に出力する。
Subsequently, the
表示情報生成部１３４は、ステップＳ１０７において、置換後の発話内容情報が示す発話内容を表示するための表示情報を生成する。ここで、表示情報生成部１３４は、取得したフラグ情報を参照し、当該フラグ情報が項目「ポークフラグ」に「1」が格納されていることを示す場合、豚肉が含まれる商品は含まない画像を表示する操作を受け付けるオブジェクトを示すオブジェクト情報を含む表示情報を生成する。そして、ステップＳ１０９において、表示情報出力部１３６は当該表示情報を、サーバ通信部１１０を介して表示装置２０１ａ及び表示装置２０１ｂに出力する。
In step S107, the display
表示装置２０１ｂの表示画像生成部２３２ｂは、ステップＳ１１３において、上記表示情報が示す表示画像を生成する。ここで、上述したステップＳ１１３の処理に加えて、表示画像生成部２３２ｂは、表示情報に含まれているオブジェクト情報を参照する。なお、表示画像生成部２３２ｂは、参照したオブジェクト情報が、豚肉が含まれる商品は含まない画像を表示する操作を受け付けるオブジェクトを示す場合、追加の処理は実行しない。 In step S113, the display image generation unit 232b of the display device 201b generates a display image indicated by the display information. Here, in addition to the process of step S113 described above, the display image generation unit 232b refers to object information included in the display information. The display image generation unit 232b does not execute the additional process when the referred object information indicates an object that receives an operation of displaying an image that does not include a product that includes pork.
続いて、表示装置２０１ａの表示画像生成部２３２ａは、ステップＳ１１９において、上記表示情報が示す表示画像を生成する。ここで、上述したステップＳ１１９の処理に加えて、表示画像生成部２３２ａは、表示情報に含まれているオブジェクト情報を参照する。そして、表示画像生成部２３２ａは、参照したオブジェクト情報が、豚肉が含まれる商品は含まない画像を表示する操作を受け付けるオブジェクトを示す場合、豚肉が含まれる商品は含まない画像を表示する操作を受け付けるオブジェクトを含む表示画像を生成する。 Subsequently, in step S119, the display image generation unit 232a of the display device 201a generates a display image indicated by the display information. Here, in addition to the process of step S119 described above, the display image generation unit 232a refers to object information included in the display information. Then, when the referred object information indicates an object that receives an operation for displaying an image that does not include a product that includes pork, the display image generation unit 232a receives an operation that displays an image that does not include a product that includes pork. Generate a display image that contains objects.
ここで、表示部２５０ａ及び表示部２５０ｂがそれぞれ表示する画像であって、操作を受け付けるオブジェクトを含む画像及び操作を受け付けるオブジェクトを含まない画像について、図１７の（ａ）を用いて説明する。図１７の（ａ）は、店員向けの表示装置２０２ａが表示する画像の例であり、（ｂ）は、客向けの表示装置２０２ｂが表示する画像の例である。
Here, an image including an object that receives an operation and an image that does not include an object that receives an operation, which are images displayed by the
図１７の（ａ）に示すように、表示部２５０ａは、キーフレーズ（つくね）５１０ａ及びキーフレーズ（chicken meatball）５１２ａが強調表示され、キーフレーズに関連した画像６０２ａを含み、更に、豚肉が含まれる商品は含まない画像を表示する操作を受け付けるオブジェクトである「Ｐｏｒｋｌｅｓｓ」ボタン６０４ａを含む表示画像を表示する。一方、図１７の（ｂ）に示すように、表示部２５０ｂは、キーフレーズ（つくね）５１０ｂ及びキーフレーズ（chicken meatball）５１２ｂが強調表示され、キーフレーズに関連した画像６０２ｂを含む画像を表示し、当該画像は操作を受け付けるオブジェクトは含まない。
As shown in (a) of FIG. 17, the
なお、本実施形態では、客向けの表示装置２０２ｂは、参照したオブジェクト情報が、豚肉が含まれる商品は含まない画像を表示する操作を受け付けるオブジェクトを示す場合であっても、追加の処理は実行しないとしたが、上述した店員向け表示装置２０２ａと同様、「Ｐｏｒｋｌｅｓｓ」ボタン６０４ｂを表示する構成であってもよい。また、店員向け表示装置２０２ａも同様に、参照したオブジェクト情報が、豚肉が含まれる商品は含まない画像を表示する操作を受け付けるオブジェクトを示す場合、追加の処理は実行しない構成であってもよい。また、図１７の（ａ）に示すように、表示装置２０２ａは、初期画面に戻る操作を受け付けるオブジェクトである「Ｔｏｐ Ｐａｇｅ」ボタン６０５ａを含む表示画像を表示してもよい。
In the present embodiment, the customer-oriented display device 202b executes the additional process even when the referred object information indicates an object that receives an operation to display an image that does not include a product that includes pork. Although not described, the “Porkless” button 604 b may be displayed as in the case of the display device for a store clerk 202 a described above. Similarly, in the case of the store clerk display device 202a, when the referred object information indicates an object that receives an operation of displaying an image that does not include a product that includes pork, additional processing may not be performed. In addition, as illustrated in (a) of FIG. 17, the display device 202a may display a display image including a “Top Page”
また、本実施形態では、キーフレーズテーブルが「ポーク」と関連しているかを示す項目を含む場合について説明したが、この構成に限定されない。例えば、関連付けられたキーフレーズが他の素材（例えば、「野菜」など）と関連しているかを示す項目、関連付けられたキーフレーズの調理（例えば、「生もの」）の状態を示す項目、関連付けられたキーフレーズの属性を示す項目（例えば、項目「○○円以下」など）を含む構成であってもよい。 Further, in the present embodiment, the case has been described in which the key phrase table includes an item indicating whether the key phrase table is associated with “poke”, but the present invention is not limited to this configuration. For example, an item indicating whether the associated key phrase is associated with another material (eg, "vegetable" etc.), an item indicating the state of cooking of the associated key phrase (eg "raw"), association It may be configured to include an item indicating the attribute of the key phrase (for example, the item “less than or equal to ○ yen and the like”).
（コミュニケーション支援システム３の処理２）
図１８は、本発明の実施形態３に係るコミュニケーション支援システム３における処理の流れを示すシークエンス図である。また、図１９は、本発明の実施形態３における表示装置２０２が表示する他の表示画像を示す図である。コミュニケーション支援システム３において、上述した図１７の表示画像を表示した後、客または店員の操作を受け付けた場合の処理について、図１８及び図１９を用いて説明する。
(
FIG. 18 is a sequence diagram showing a flow of processing in the
（ステップＳ２０１）
表示装置２０２ａの操作情報取得部２３４ａは、操作受付部２７０ａを介して、「Ｐｏｒｋｌｅｓｓ」ボタン６０４ａが押されたことを示す操作情報を取得する。
(Step S201)
The operation information acquisition unit 234a of the display device 202a acquires, via the operation reception unit 270a, operation information indicating that the “Porkless”
（ステップＳ２０３）
操作情報取得部２３４ａは、表示装置通信部２１０ａを介して、取得した操作情報をサーバ１０２に出力する。
(Step S203)
The operation information acquisition unit 234a outputs the acquired operation information to the
（ステップＳ２０４）
サーバ１０２の操作情報取得部１３８は、サーバ通信部１１０を介して、上記操作情報を取得する。そして、操作情報取得部１３８は、取得した上記操作情報を、表示情報生成部１３４に出力する。
(Step S204)
The operation
（ステップＳ２０５）
表示情報生成部１３４は、取得した上記操作情報を参照し、表示情報を生成する。ここで、上記操作情報は、「Ｐｏｒｋｌｅｓｓ」ボタン６０４ａが押されたことを示すので、豚肉が含まれる商品は含まない画像を表示するための表示情報を生成する。より具体的には、表示情報生成部１３４は、項目「did」に「3」を格納し、項目「data」に豚肉が含まれる商品は含まない画像である「ODEN4.png」を格納した「display」を生成する。そして、表示情報生成部１３４は、生成した「display」を含む表示情報を、表示情報出力部１３６に出力する。
(Step S205)
The display
（ステップＳ２０７）
表示情報出力部１３６は、取得した上記表示情報を、サーバ通信部１１０を介して表示装置２０２ａ及び表示装置２０２ｂに出力する。
(Step S207)
The display
（ステップＳ２０９）
表示装置２０２ｂの表示情報取得部２３１ｂは、表示装置通信部２１０ｂを介して上記表示情報を取得する。そして、表示情報取得部２３１ｂは、上記表示情報を表示画像生成部２３２ｂに出力する。
(Step S209)
The display information acquisition unit 231b of the display device 202b acquires the display information via the display device communication unit 210b. Then, the display information acquisition unit 231 b outputs the display information to the display image generation unit 232 b.
（ステップＳ２１１）
表示画像生成部２３２ｂは、上記表示情報が示す表示画像であって、客向けに応じた表示態様を有する表示画像を生成する。より具体的には、表示画像生成部２３２ｂは、取得した表示情報に含まれている「display」を参照し、表示画像に含まれる画像を項目「data」に格納されている「ODEN4.png」に更新した表示画像を生成する。そして、表示画像生成部２３２ｂは、生成した表示画像を表示部２５０ｂに出力する。
(Step S211)
The display image generation unit 232 b generates a display image which is a display image indicated by the display information and has a display mode according to the customer. More specifically, the display image generation unit 232b refers to "display" included in the acquired display information, and stores the image included in the display image in the item "data""ODEN4.png" Generate an updated display image. Then, the display image generation unit 232 b outputs the generated display image to the
（ステップＳ２１３）
表示部２５０ｂは、取得した上記表示画像を表示する。
(Step S213)
The
（ステップＳ２１５）
ステップＳ２０７においてサーバ１０２が表示情報を出力すると、表示装置２０２ａの表示情報取得部２３１ａは、表示装置通信部２１０ａを介して上記表示情報を取得する。そして、表示情報取得部２３１ａは、上記表示情報を表示画像生成部２３２ａに出力する。
(Step S215)
When the
（ステップＳ２１７）
表示画像生成部２３２ａは、上記表示情報が示す表示画像であって、店員向けに応じた表示態様を有する表示画像を生成する。より具体的には、表示画像生成部２３２ａは、取得した表示情報に含まれている「display」を参照し、表示画像に含まれる画像を項目「data」に格納されている「ODEN4.png」に更新した表示画像を生成する。そして、表示画像生成部２３２ａは、生成した表示画像を表示部２５０ａに出力する。
(Step S217)
The display image generation unit 232a generates a display image which is a display image indicated by the display information and which has a display mode according to the store clerk. More specifically, the display image generation unit 232a refers to "display" included in the acquired display information, and stores the image included in the display image in the item "data""ODEN4.png" Generate an updated display image. Then, the display image generation unit 232a outputs the generated display image to the
（ステップＳ２１９）
表示部２５０ａは、取得した上記表示画像を表示する。
(Step S219)
The
ここで、表示部２５０ａ及び表示部２５０ｂがそれぞれ表示する画像について、図１９を用いて説明する。図１９の（ａ）は、店員向けの表示装置２０２ａが表示する他の表示画像の例であり、（ｂ）は、客向けの表示装置２０２ｂが表示する他の表示画像の例である。
Here, images displayed by the
図１９の（ａ）に示すように、表示部２５０ａは、豚肉が含まれる商品は含まない画像で６０６ａを含む表示画像を表示する。また、表示部２５０ｂも同様に、豚肉が含まれる商品は含まない画像で６０６ｂを含む表示画像を表示する。
As shown in (a) of FIG. 19, the
また、操作を受け付けるオブジェクトは、テキストであってもよい。テキストを、操作を受け付けるオブジェクトとした場合について、図２０を用いて説明する。図２０は、本発明の実施形態３における表示装置２０２が表示する更に他の表示画像を示す図であり、（ａ）は、店員向けの表示装置２０２ａが表示する更に他の表示画像の例であり、（ｂ）は、客向けの表示装置２０２ｂが表示する更に他の表示画像の例である。
Also, an object that receives an operation may be text. The case where the text is an object for receiving an operation will be described with reference to FIG. FIG. 20 is a view showing still another display image displayed by the
例えば、表示画像に含まれるテキスト「おでん」を、おでんの画像を表示する操作を受け付けるオブジェクトとした場合、表示装置２０２ａは、図１９の（ａ）に示す画像に含まれる「おでん」のテキスト５００ａまたは「Oden」のテキスト５０２ａが押されたことを示す操作情報を取得すると、当該操作情報をサーバ１０２に出力する。そして、表示装置２０２ａは、サーバ１０２から、項目「data」に「ODEN1.png」が格納された「display」を含む表示情報を取得する。この場合、表示装置２０２ａは、図２０の（ａ）に示すように、おでんの画像６００ａを含む表示画像を表示する。また、表示装置２０２ｂも同様に、サーバ１０２から、項目「data」に「ODEN1.png」が格納された「display」を含む表示情報を取得する。この場合、表示装置２０２ｂは、図２０の（ｂ）に示すように、おでんの画像６００ｂを含む表示画像を表示する。
For example, when the text "oden" included in the display image is an object that receives an operation to display the image of the oden, the display device 202a displays the
また、表示装置２０２ｂにおいても、表示画像に含まれるテキスト「おでん」を、おでんの画像を表示する操作を受け付けるオブジェクトとした場合、図１９の（ｂ）に示す画像に含まれる「おでん」のテキスト５００ｂまたは「Oden」のテキスト５０２ｂが押されたことを示す操作情報を取得すると、当該操作情報をサーバ１０２に出力する。そして、表示装置２０２ｂは、サーバ１０２から、項目「data」に「ODEN1.png」が格納された「display」を含む表示情報を取得する。この場合、表示装置２０２ｂは、図２０の（ｂ）に示すように、おでんの画像６００ｂを含む表示画像を表示する。また、表示装置２０２ａも同様に、サーバ１０２から、項目「data」に「ODEN1.png」が格納された「display」を含む表示情報を取得する。この場合、表示装置２０２ａは、図２０の（ａ）に示すように、おでんの画像６００ａを含む表示画像を表示する。
Further, also in the display device 202b, when the text "Oden" included in the display image is an object that receives an operation to display the image of Oden, the text of "Oden" included in the image shown in (b) of FIG. When the operation information indicating that the
このように、本実施形態に係るコミュニケーション支援システム３では、表示装置２０２は、キーフレーズに関連したオブジェクトであって、客または店員の操作を受け付けるオブジェクトを含む表示画像を生成する。そのため、コミュニケーション支援システム３では、表示装置２０２の使い勝手を向上させることができる。また、店員向けの表示装置２０２ａ及び客向けの表示装置２０２ｂの何れかにおいて操作を受け付けた場合であっても、店員向けの表示装置２０２ａ及び客向けの表示装置２０２ｂの表示画像が更新されるので、利用者同士のコミュニケーションを円滑にすることができる。
As described above, in the
〔実施形態４〕
本発明の他の実施形態に係るコミュニケーション支援システム４について、図２１に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
The
（コミュニケーション支援システム４）
コミュニケーション支援システム４は、サーバ１０３及び表示装置２０３によって構成される。上述した実施形態では、表示装置は２台（表示装置２００ａ及び表示装置２００ｂなど）で構成されていたが、コミュニケーション支援システム４では、表示装置が１台（表示装置２０３）である場合について説明する。なお、サーバ１０３は、上述したサーバ１００と同様の機能を備えているため、説明は省略する。
(Communication support system 4)
The
（表示装置２０３）
図２１は、本発明の実施形態４における表示装置２０３の要部構成を示すブロック図である。表示装置２０３は、図２１に示すように、表示装置通信部２１０、表示装置制御部２２３、表示部２５１、及び音声受付部２６０を備えている。なお、表示装置通信部２１０及び音声受付部２６０は上述した機能と同様の機能を備えているため、説明は省略する。
(Display device 203)
FIG. 21 is a block diagram showing the main configuration of the
表示部２５１は、上述した表示部２５０の機能に加えて、店員向け画像を表示する第１の表示領域と、客向け画像を表示する第２の表示領域を備えている。そして、表示部２５１は、表示装置制御部２２３が出力する表示画像のうち、店員向けの表示画像である第１の表示画像を上記第１の表示領域に表示し、客向けの表示画像である第２の表示画像を上記第２の表示領域に表示する。
In addition to the functions of the
（表示装置制御部２２３）
表示装置制御部２２３は、表示装置２０３の各部を統括的に制御するものであり、図２１に示すように、上述した表示装置制御部２２０における表示画像生成部２３２に替えて、表示画像生成部２４０として機能する。
(Display device controller 223)
The display
表示画像生成部２４０は、店員向けの表示態様である第１の表示態様を有する表示画像である第１の表示画像と、上記第２の表示領域に表示する表示画像であって、上記第１の表示態様とは異なる第２の表示態様を有する表示画像である第２の表示画像とを生成し、表示部２５１に出力する。
The display
このように、本実施形態に係るコミュニケーション支援システム４では、店員向けの表示態様である第１の表示態様を有する表示画像である第１の表示画像を、表示部２５１の第１の表示領域に表示し、客向けの表示態様である第２の表示態様を有する表示画像である第２の表示画像を、表示部２５１の第２の表示領域に表示する。そのため、上述の実施形態と同様、表示装置２０３の使い勝手を向上させ利用者同士のコミュニケーションを円滑にすることができる。
As described above, in the
〔実施形態５〕
本発明の他の実施形態に係るコミュニケーション支援システム５について、図２２に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
Fifth Embodiment
The
（コミュニケーション支援システム５）
コミュニケーション支援システム５は、サーバ１０４、表示装置２０４、音声抽出サーバ７００、音声認識サーバ７２０、及び翻訳サーバ７４０によって構成される。上述の各実施形態におけるサーバ１００〜１０３が有する各機能が、サーバ１０４、音声抽出サーバ７００、音声認識サーバ７２０、及び翻訳サーバ７４０にて実現されている。サーバ１０４、音声抽出サーバ７００、音声認識サーバ７２０、及び翻訳サーバ７４０について、図２２を用いて説明する。図２２は、本発明の実施形態５におけるサーバの要部構成を示すブロック図である。なお、表示装置２０４は、上述した表示装置２００〜２０３と同様の構成を備えるため、説明を省略する。
(Communication support system 5)
The
（サーバ１０４）
サーバ１０４は、図２２に示すように、サーバ通信部１１０及びサーバ制御部１２４を備えている。
(Server 104)
The server 104 includes a
サーバ通信部１１０は、外部の機器と情報を送受信することができる。
The
（サーバ制御部１２４）
サーバ制御部１２４は、サーバ１０４の各構成を統括的に制御するものであり、図２２に示すように、表示情報出力部１３６、音声情報取得部１４０、発話内容情報取得部（発話内容出力部）１４１、表示情報生成部（発話内容情報出力部、翻訳内容情報出力部）１４２、及び翻訳発話内容情報取得部（翻訳内容情報取得部）１４３としても機能する。
(Server control unit 124)
The
表示情報出力部１３６は、表示情報生成部１４２が生成した表示情報を、サーバ通信部１１０を制御して表示装置２０４に出力する。
The display
音声情報取得部１４０は、サーバ通信部１１０を制御して、表示装置２０４から出力された音声情報を取得し、当該音声情報を音声抽出サーバ７００に出力する。また、音声情報取得部１４０は、音声抽出サーバ７００から出力された抽出音声情報を取得し、音声認識サーバ７２０に出力する。
The voice
発話内容情報取得部１４１は、サーバ通信部１１０を制御して、音声認識サーバ７２０から出力された発話内容情報を取得する。また、発話内容情報取得部１４１は、取得した発話内容情報が示す発話内容を、翻訳サーバ７４０に出力する。
The utterance content
表示情報生成部１４２は、発話内容情報取得部１４１が取得した発話内容情報と、翻訳発話内容情報取得部１４３が取得した翻訳発話内容情報とを関連付け、当該発話内容情報及び翻訳発話内容情報の少なくとも何れかを含む表示情報を表示情報出力部１３６に出力する。
The display
翻訳発話内容情報取得部１４３は、サーバ通信部１１０を制御して、翻訳サーバ７４０から出力された翻訳内容を示す翻訳内容情報を取得する。
The translation utterance content
（音声抽出サーバ７００）
音声抽出サーバ７００は、図２２に示すように、音声抽出サーバ通信部７０１及び音声抽出部７０２を備えている。
(Voice extraction server 700)
The
音声抽出サーバ通信部７０１は、外部の機器と情報を送受信することができる。
The voice extraction
音声抽出部７０２は、音声抽出サーバ通信部７０１を制御し、サーバ１０４から出力された音声情報に含まれている音声から、客または店員が発話した音声を抽出し、抽出した音声を示す抽出音声情報を、サーバ１０４に出力する。
The
（音声認識サーバ７２０）
音声認識サーバ７２０は、図２２に示すように、音声認識サーバ通信部７２１及び音声認識部７２２を備えている。
(Voice recognition server 720)
The
音声認識サーバ通信部７２１は、外部の機器と情報を送受信することができる。
The voice recognition
音声認識部７２２は、音声認識サーバ通信部７２１を制御し、サーバ１０４から出力された抽出音声情報が示す音声を認識し、認識した音声内容を示す発話内容情報を、サーバ１０４に出力する。
The
（翻訳サーバ７４０）
翻訳サーバ７４０は、図２２に示すように、翻訳サーバ通信部７４１及び翻訳部７４２を備えている。
(Translation server 740)
The
翻訳サーバ通信部７４１は、外部の機器と情報を送受信することができる。
The translation
翻訳部７４２は、翻訳サーバ通信部７４１を制御し、サーバ１０４から出力された発話内容を取得し、当該発話内容の翻訳内容を示す翻訳内容情報をサーバ１０４に出力する。
The
このように、本実施形態に係るコミュニケーション支援システム５では、上述の各実施形態におけるサーバ１００〜１０３を、サーバ１０４、音声抽出サーバ７００、音声認識サーバ７２０、翻訳サーバ７４０によって実現することができる。そのため、各サーバをそれぞれ適した場所（店舗内、クラウド上など）に設置することができる。
As described above, in the
例えば、音声抽出サーバ７００を店舗内に設置することにより、各店舗の状況に応じた設定（例えば、ノイズのフィルタリングなど）をすることができる。そのため、音声抽出サーバ７００は、店舗内に設置することが好ましい。また、音声抽出サーバ７００は、店員の発話した音声を抽出する音声抽出サーバ７００ａと、客の発話した音声を抽出する音声抽出サーバ７００ｂとによって構成されてもよい。
For example, by installing the
また、サーバ１０４はクラウド上に設置することにより、各店舗での発話内容を取得し、各店舗で起こったことを共有することができる。 In addition, by installing the server 104 on the cloud, it is possible to acquire the utterance content in each store and share what happened in each store.
また、各サーバは、同じ事業者によって管理されていてもよいし、異なる事業者によって管理されていてもよい。 Also, each server may be managed by the same operator or may be managed by different operators.
〔実施形態６〕
サーバ１００〜１０４及び表示装置２００〜２０４の各ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。後者の場合、サーバ１００〜１０４及び表示装置２００〜２０４のそれぞれを、図２３に示すようなコンピュータ（電子計算機）を用いて構成することができる。
Sixth Embodiment
Each block of the
図２３は、サーバ１００〜１０４及び表示装置２００〜２０４として利用可能なコンピュータ９１０の構成を例示したブロック図である。コンピュータ９１０は、バス９１１を介して互いに接続された演算装置９１２と、主記憶装置９１３と、補助記憶装置９１４と、入出力インターフェース９１５と、通信インターフェース９１６とを備えている。演算装置９１２、主記憶装置９１３、及び補助記憶装置９１４は、それぞれ、例えばＣＰＵ、ＲＡＭ（random access memory）、ハードディスクドライブであってもよい。入出力インターフェース９１５には、ユーザがコンピュータ９１０に各種情報を入力するための入力装置９２０、及び、コンピュータ９１０がユーザに各種情報を出力するための出力装置９３０が接続される。入力装置９２０及び出力装置９３０は、コンピュータ９１０に内蔵されたものであってもよいし、コンピュータ９１０に接続された（外付けされた）ものであってもよい。例えば、入力装置９２０は、キーボード、マウス、タッチセンサなどであってもよく、出力装置９３０は、ディスプレイ、プリンタ、スピーカなどであってもよい。また、タッチセンサとディスプレイとが一体化されたタッチパネルのような、入力装置９２０及び出力装置９３０の双方の機能を有する装置を適用してもよい。そして、通信インターフェース９１６は、コンピュータ９１０が外部の装置と通信するためのインターフェースである。
FIG. 23 is a block diagram illustrating the configuration of a
補助記憶装置９１４には、コンピュータ９１０をサーバ１００〜１０４及び表示装置２００〜２０４として動作させるための各種のプログラムが格納されている。そして、演算装置９１２は、補助記憶装置９１４に格納された上記プログラムを主記憶装置９１３上に展開して該プログラムに含まれる命令を実行することによって、コンピュータ９１０を、サーバ１００〜１０４及び表示装置２００〜２０４が備える各部として機能させる。なお、補助記憶装置９１４が備える、プログラム等の情報を記録する記録媒体は、コンピュータ読み取り可能な「一時的でない有形の媒体」であればよく、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路などであってもよい。
The
また、上記プログラムは、コンピュータ９１０の外部から取得してもよく、この場合、任意の伝送媒体（通信ネットワークや放送波等）を介して取得してもよい。そして、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
Also, the program may be acquired from the outside of the
〔変形例〕
上述の各実施形態では、コミュニケーション支援システム１〜５が翻訳を行う場合について説明したが、コミュニケーション支援システム１〜５はその構成に限定されない。
[Modification]
Although the above-mentioned each embodiment demonstrated the case where the communication assistance systems 1-5 translated, the communication assistance systems 1-5 are not limited to the structure.
例えば、商品名をキーフレーズで登録し、当該商品に関連したおすすめ商品の画像を表示装置に表示させてもよい。この場合、商品の型番、管理番号、在庫数、商品のマニュアル、取説、及び接客マニュアルなどを、店員向け表示装置にのみ表示させる構成としてもよい。また、当該商品に関連した広告、ＣＭを客向け表示装置にのみ表示させる構成としてもよい。 For example, a product name may be registered using a key phrase, and an image of a recommended product related to the product may be displayed on the display device. In this case, the product model number, the management number, the stock quantity, the product manual, the manual, the customer service manual, and the like may be displayed only on the display unit for sales clerks. In addition, an advertisement related to the product and a CM may be displayed only on the display device for customers.
また、登録したキーフレーズに関連したキーフレーズをＳＮＳ（Social Network Service）上にて検索し、登録したキーフレーズに関連したキーフレーズを含むコメントやコメント数を表示する構成であってもよい。 Alternatively, the key phrase associated with the registered key phrase may be retrieved on the SNS (Social Network Service), and the comment including the key phrase associated with the registered key phrase may be displayed or the number of comments.
〔まとめ〕
本発明の態様１に係る表示装置（２００〜２０２）は、サービス提供者向け画像及びサービス利用者向け画像の少なくとも何れかを表示する表示装置であって、表示すべき情報を含む表示情報を取得する取得部（表示情報取得部２３１）と、上記取得部が取得した表示情報の示す表示画像であって、当該表示装置がサービス提供者向けであるかサービス利用者向けであるのかに応じた表示態様を有する表示画像を生成する表示画像生成部（２３２）と、上記表示画像生成部が生成した表示画像を表示する表示部（２５０）と、を備えている。
[Summary]
The display device (200 to 202) according to
上記の構成によれば、表示装置の使い勝手を向上させ利用者同士のコミュニケーションを円滑にすることができる。 According to the above configuration, the usability of the display device can be improved and the communication between users can be facilitated.
本発明の態様２に係る表示装置は、上記態様１において、上記表示画像生成部は、上記表示情報の示すテキストであって、当該表示装置がサービス提供者向けであるかサービス利用者向けであるのかに応じた文字の設定によって表されるテキストを含む表示画像を生成してもよい。
In the display device according to
上記の構成によれば、サービス提供者及びサービス利用者がそれぞれ見たいテキストを見やすく表示することができる。 According to the above configuration, it is possible to display the text that the service provider and the service user want to see in an easy-to-see manner.
本発明の態様３に係る表示装置は、上記態様１または２において、上記表示情報は、サービス提供者またはサービス利用者が発話した内容である発話内容を示す発話内容情報を含み、上記表示画像生成部は、上記取得部が取得した発話内容情報を参照し、当該発話内容情報が示す発話内容を含む表示画像を生成してもよい。
In the display device according to
上記の構成によれば、サービス提供者またはサービス利用者が発話した発話内容をサービス提供者及びサービス利用者に提示することができる。 According to the above configuration, it is possible to present the service provider and the service user with the contents of the utterance uttered by the service provider or the service user.
本発明の態様４に係る表示装置は、上記態様３において、上記表示情報は、上記発話内容情報が示す発話内容の翻訳である翻訳発話内容を示す翻訳発話内容情報を含み、上記表示画像生成部は、上記取得部が取得した翻訳発話内容情報を参照し、当該翻訳発話内容情報が示す翻訳発話内容を更に含むよう上記表示画像を更新してもよい。
In the display device according to
上記の構成によれば、発話内容の後に、当該発話内容の翻訳をサービス提供者及びサービス利用者に提示することができる。 According to the above configuration, the translation of the utterance content can be presented to the service provider and the service user after the utterance content.
本発明の態様５に係る表示装置は、上記態様４において、上記表示画像生成部は、ある発話内容と、当該ある発話内容の翻訳である翻訳発話内容とがグループ化された表示画像を生成してもよい。
In the display device according to
上記の構成によれば、対応している発話内容と翻訳内容とをサービス提供者及びサービス利用者に提示することができる。 According to the above configuration, it is possible to present the corresponding utterance content and translation content to the service provider and the service user.
本発明の態様６に係る表示装置は、上記態様４または５において、上記表示画像生成部は、当該表示装置がサービス提供者向け画像を表示する場合、サービス提供者の発話内容を示すテキストの文字及びサービス利用者の発話内容を翻訳した翻訳発話内容を示すテキストの文字を、当該サービス利用者の発話内容を示すテキストの文字及び当該サービス提供者の発話内容を翻訳した翻訳発話内容を示すテキストの文字より大きくした表示画像を生成し、当該表示装置がサービス利用者向け画像を表示する場合、サービス利用者の発話内容を示すテキストの文字及びサービス提供者の発話内容を翻訳した翻訳発話内容を示すテキストの文字を、当該サービス提供者の発話内容を示すテキストの文字及び当該サービス利用者の発話内容を翻訳した翻訳発話内容を示すテキストの文字より大きくした表示画像を生成してもよい。
In the display device according to aspect 6 of the present invention, in the
上記の構成によれば、サービス提供者及びサービス利用者に対して、それぞれの発言内容の文字を大きくして提示することができる。また、サービス提供者及びサービス利用者に対して、相手の発言内容の翻訳の文字を大きくして提示することができる。 According to the above configuration, it is possible to present the service provider and the service user with the characters of the respective utterance contents enlarged. In addition, it is possible to present the service provider and the service user by enlarging the characters of the translation contents of the other party.
本発明の態様７に係る表示装置は、上記態様１〜６の何れかにおいて、上記表示画像生成部は、上記表示画像に含まれるフレーズのうち、所定のフレーズを強調表示してもよい。
In the display device according to
上記の構成によれば、所定のフレーズを強調してサービス提供者及びサービス利用者に提示することができる。 According to the above configuration, the predetermined phrase can be emphasized and presented to the service provider and the service user.
本発明の態様８に係る表示装置は、上記態様７において、上記表示情報は、上記所定のフレーズに関連した画像を示す画像情報または当該画像の格納先を示す格納先情報を含み、上記表示画像生成部は、上記画像情報または上記格納先情報を参照し、上記所定のフレーズに関連した画像を含む表示画像を生成してもよい。
In the display device according to aspect 8 of the present invention, in the
上記の構成によれば、所定のフレーズに関連した画像をサービス提供者及びサービス利用者に提示することができる。 According to the above configuration, an image associated with a predetermined phrase can be presented to the service provider and the service user.
本発明の態様９に係る表示装置は、上記態様７または８において、上記表示情報は、上記所定のフレーズに関連したオブジェクトであって、サービス利用者またはサービス提供者の操作を受け付けるオブジェクトを示すオブジェクト情報を含み、上記表示画像生成部は、上記オブジェクト情報を参照し、上記オブジェクトを含む表示画像を生成してもよい。
In the display device according to
上記の構成によれば、所定のフレーズに関連する情報の表示を受け付けることができる。 According to the above configuration, the display of the information related to the predetermined phrase can be received.
本発明の態様１０に係る表示装置（２０３）は、サービス提供者向け画像を表示する第１の表示領域と、サービス利用者向け画像を表示する第２の表示領域とを有する表示装置であって、表示すべき情報を含む表示情報を取得する取得部（表示情報取得部２３１）と、上記取得部が取得した表示情報の示す表示画像であって、上記第１の表示領域に表示する表示画像であって、サービス提供者向けの表示態様である第１の表示態様を有する表示画像である第１の表示画像と、上記第２の表示領域に表示する表示画像であって、上記第１の表示態様とは異なる第２の表示態様を有する表示画像である第２の表示画像とを生成する表示画像生成部（２４０）と、上記表示画像生成部が生成した第１の表示画像を上記第１の表示領域に表示し、上記表示画像生成部が生成した第２の表示画像を上記第２の表示領域に表示する表示部（２５１）と、を備えている。
A display device (203) according to aspect 10 of the present invention is a display device having a first display area for displaying an image for a service provider and a second display area for displaying an image for a service user. An acquisition unit (display information acquisition unit 231) for acquiring display information including information to be displayed, and a display image indicated by the display information acquired by the acquisition unit and displayed in the first display area A first display image which is a display image having a first display mode which is a display mode for a service provider, and a display image to be displayed in the second display area, A display image generation unit (240) that generates a second display image that is a display image having a second display mode different from the display mode, and the first display image generated by the display image generation unit; Displayed in
上記の構成によれば、上記態様１における表示装置と同様の効果を奏する。
According to the above configuration, the same effect as the display device in the
本発明の態様１１に係るサーバ（１０４）は、発話した内容である発話内容を示す発話内容情報を取得する発話内容情報取得部（１４１）と、上記発話内容情報取得部が取得した発話内容情報を表示装置に出力する発話内容情報出力部（表示情報生成部１４２、表示情報出力部１３６）と、上記発話内容情報が示す発話内容を出力する発話内容出力部（発話内容情報取得部１４１）と、上記発話内容の翻訳内容を示す翻訳内容情報を取得する翻訳内容情報取得部（翻訳発話内容情報取得部１４３）と、上記翻訳内容情報取得部が取得した翻訳内容情報を、上記発話内容情報と関連付けて上記表示装置に出力する翻訳内容情報出力部（表示情報生成部１４２、表示情報出力部１３６）と、を備えている。
The server (104) according to
上記の構成によれば、上記態様１における表示装置と同様の効果を奏する。
According to the above configuration, the same effect as the display device in the
本発明の態様１２に係るサーバ（１０１、１０２）は、上記態様１１において、上記発話内容情報が示す発話内容または上記翻訳内容情報が示す翻訳内容に、所定のフレーズが含まれているか否かを判定するフレーズ判定部（キーフレーズ検索部１３７）と、上記フレーズ判定部が、上記発話内容に上記所定のフレーズが含まれていると判定した場合、上記発話内容情報出力部は更に、上記所定のフレーズを強調表示するよう上記表示装置に対して指示し、上記フレーズ判定部が、上記翻訳内容に上記所定のフレーズが含まれていると判定した場合、上記翻訳内容情報出力部は更に、上記所定のフレーズを強調表示するよう上記表示装置に対して指示してもよい。
The server (101, 102) according to aspect 12 of the present invention, in the
上記の構成によれば、所定のフレーズを強調してサービス提供者及びサービス利用者に提示することができる。 According to the above configuration, the predetermined phrase can be emphasized and presented to the service provider and the service user.
本発明の態様１３に係るサーバは（１００）、上記態様１１または１２において、発話した音声を示す音声情報を取得する音声情報取得部（１３１）と、上記音声情報取得部が取得した音声情報を参照し、当該音声情報が示す内容を発話内容として認識し、上記発話内容情報を生成する発話内容情報生成部（音声認識部１３３）と、をさらに備え、上記発話内容情報出力部は、上記発話内容情報生成部が生成した発話内容情報を、上記表示装置に出力してもよい。
In the server according to aspect 13 of the present invention (100), according to the
上記の構成によれば、サーバが発話内容を認識することができる。 According to the above configuration, the server can recognize the utterance content.
本発明の態様１４に係るサーバは、上記態様１１〜１３の何れかにおいて、上記発話内容情報が示す発話内容を翻訳した翻訳内容を示す翻訳内容情報を生成する翻訳内容情報生成部（翻訳部１３５）をさらに備え、上記翻訳内容情報出力部は、上記翻訳内容情報生成部が生成した翻訳内容情報を、上記発話内容情報と関連付けて上記表示装置に出力してもよい。
In the server according to aspect 14 of the present invention, in any of the
上記の構成によれば、サーバが発話内容を翻訳することができる。 According to the above configuration, the server can translate the utterance content.
本発明の態様１５に係るコミュニケーション支援システム（５）は、サーバ（１０４）と表示装置（２０４）とを備えるコミュニケーション支援システムであって、上記サーバは、発話した内容である発話内容を示す発話内容情報を取得する発話内容情報取得部（１４１）と、上記発話内容情報取得部が取得した発話内容情報を上記表示装置に出力する発話内容情報出力部（表示情報生成部１４２、表示情報出力部１３６）と、上記発話内容情報が示す発話内容を出力する発話内容出力部（発話内容情報取得部１４１）と、上記発話内容の翻訳内容を示す翻訳内容情報を取得する翻訳内容情報取得部（翻訳発話内容情報取得部１４３）と、上記翻訳内容情報取得部が取得した翻訳内容情報を、上記発話内容情報と関連付けて上記表示装置に出力する翻訳内容情報出力部（表示情報生成部１４２、表示情報出力部１３６）と、を備え、上記表示装置は、サービス提供者向け画像及びサービス利用者向け画像の少なくとも何れかを表示する表示装置であって、上記サーバから、上記発話内容情報及び上記翻訳内容情報の少なくとも何れかを取得する取得部（表示情報取得部２３１）と、上記取得部が取得した上記発話内容情報が示す発話内容及び上記翻訳内容情報が示す翻訳内容の少なくとも何れかを含む表示画像であって、当該表示装置がサービス提供者向けであるかサービス利用者向けであるのかに応じた表示態様を有する表示画像を生成する表示画像生成部（２３２）と、上記表示画像生成部が生成した表示画像を表示する表示部（２５０）と、を備えている。
A communication support system (5) according to aspect 15 of the present invention is a communication support system including a server (104) and a display device (204), wherein the server is an uttered content indicating an uttered content which is a uttered content An utterance content information acquisition unit (141) for acquiring information, and an utterance content information output unit (display
上記の構成によれば、上記態様１における表示装置と同様の効果を奏する。
According to the above configuration, the same effect as the display device in the
本発明の態様１６に係るコミュニケーション支援システム（１〜３）は、サーバ（１００〜１０２）と表示装置（２００〜２０２）とを備えるコミュニケーション支援システムであって、上記サーバは、発話した音声を示す音声情報を取得する音声情報取得部（２３１）と、上記音声情報取得部が取得した音声情報を参照し、当該音声情報が示す内容を発話内容として認識し、発話内容情報を生成する発話内容情報生成部（音声認識部１３３）と、上記発話内容情報生成部が生成した発話内容情報を上記表示装置に出力する発話内容情報出力部（表示情報出力部１３６）と、上記発話内容を翻訳した翻訳内容を示す翻訳内容情報を生成する翻訳内容情報生成部（翻訳部１３５）と、上記翻訳内容情報生成部が生成した翻訳内容情報を、上記発話内容情報と関連付けて上記表示装置に出力する翻訳内容情報出力部（表示情報生成部１３４、表示情報出力部１３６）と、を備え、上記表示装置は、サービス提供者向け画像及びサービス利用者向け画像の少なくとも何れかを表示する表示装置であって、上記サーバから、上記発話内容情報及び上記翻訳内容情報の少なくとも何れかを取得する取得部（表示情報取得部２３１）と、上記取得部が取得した上記発話内容情報が示す発話内容及び上記翻訳内容情報が示す翻訳内容の少なくとも何れかを含む表示画像であって、当該表示装置がサービス提供者向けであるかサービス利用者向けであるのかに応じた表示態様を有する表示画像を生成する表示画像生成部（２３２）と、上記表示画像生成部が生成した表示画像を表示する表示部（２５０）と、を備えている。 A communication support system (1-3) according to a sixteenth aspect of the present invention is a communication support system including servers (100-102) and display devices (200-202), wherein the server indicates a voice uttered Utterance content information that refers to the voice information acquired by the voice information acquisition unit (231) for acquiring voice information and the voice information acquired by the voice information acquisition unit, recognizes the content indicated by the voice information as speech content, and generates speech content information A generation unit (voice recognition unit 133), an utterance content information output unit (display information output unit 136) for outputting the utterance content information generated by the utterance content information generation unit to the display device, and a translation in which the utterance content is translated The translation content information generation unit (translation unit 135) for generating translation content information indicating the content, and the translation content information generated by the translation content information generation unit A translation content information output unit (display information generation unit 134, display information output unit 136) to be output to the display device in association with content information, and the display device is an image for a service provider and an image for a service user An acquisition unit (display information acquisition unit 231) for acquiring at least one of the utterance content information and the translation content information from the server; and the acquisition unit acquires It is a display image including at least one of the utterance content indicated by the above-mentioned utterance content information and the translation content indicated by the above-mentioned translation content information, according to whether the display device is for a service provider or for a service user. A display image generation unit (232) for generating a display image having a display mode, and a display unit (25 for displaying the display image generated by the display image generation unit ), And it is equipped with a.
上記の構成によれば、上記態様１における表示装置と同様の効果を奏する。
According to the above configuration, the same effect as the display device in the
本発明の態様１７に係るコミュニケーション支援方法は、発話した内容である発話内容を示す発話内容情報を取得する発話内容情報取得工程と、上記発話内容情報取得工程において取得された発話内容情報を表示装置に出力する発話内容情報出力工程と、上記発話内容情報が示す発話内容を出力する発話内容出力工程と、上記発話内容の翻訳内容を示す翻訳内容情報を取得する翻訳内容情報取得工程と、上記翻訳内容情報取得工程において取得された翻訳内容情報を、上記発話内容情報と関連付けて上記表示装置に出力する翻訳内容情報出力工程と、を含む。 A communication support method according to a seventeenth aspect of the present invention includes an utterance content information acquisition step of acquiring utterance content information indicating utterance content that is uttered content, and displaying the utterance content information acquired in the utterance content information acquisition step. A speech content information output process for outputting the speech content, a speech content output process for outputting the speech content indicated by the speech content information, a translation content information acquisition process for acquiring translation content information indicating the translation contents of the speech content, and the translation And a translation content information output step of associating the translation content information acquired in the content information acquisition step with the utterance content information and outputting the result to the display device.
上記の構成によれば、上記態様１における表示装置と同様の効果を奏する。
According to the above configuration, the same effect as the display device in the
本発明の各態様に係る表示装置及びサーバは、コンピュータによって実現してもよく、この場合には、コンピュータを上記表示装置及びサーバが備える各部（ソフトウェア要素に限る）として動作させることにより上記表示装置及びサーバをコンピュータにて実現させる表示装置及びサーバの制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。 The display device and the server according to each aspect of the present invention may be realized by a computer, and in this case, the display device is operated by operating the computer as each unit (limited to software elements) included in the display device and the server. And, a display device and a control program of a server that realize a server by a computer, and a computer readable recording medium recording the same also fall within the scope of the present invention.
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。 The present invention is not limited to the above-described embodiments, and various modifications can be made within the scope of the claims, and embodiments obtained by appropriately combining the technical means disclosed in the different embodiments. Is also included in the technical scope of the present invention. Furthermore, new technical features can be formed by combining the technical means disclosed in each embodiment.
本発明は、店舗において店員と客とのコミュニケーションを支援するシステムに利用することができる。 The present invention can be used in a system for supporting communication between a store clerk and a customer in a store.
１、２、３、４、５ コミュニケーション支援システム
１００、１０１、１０２、１０３、１０４ サーバ
１１０ サーバ通信部
１２０、１２１、１２２、１２４ サーバ制御部
１３１、１４０ 音声情報取得部
１３２ 音声抽出部
１３３ 音声認識部（発話内容情報生成部）
１３４ 表示情報生成部
１３５ 翻訳部（翻訳内容情報生成部）
１３６ 表示情報出力部（発話内容情報出力部、翻訳内容情報出力部）
１３７ キーフレーズ検索部（フレーズ判定部）
１３８ 操作情報取得部
１４１ 発話内容情報取得部（発話内容出力部）
１４２ 表示情報生成部（発話内容情報出力部、翻訳内容情報出力部）
１４３ 翻訳発話内容情報取得部（翻訳内容情報取得部）
１５０、１５２ キーフレーズデータベース
２００、２０１、２０２、２０３、２０４ 表示装置
２１０ 表示装置通信部
２２０、２２２、２２３ 表示装置制御部
２３１ 表示情報取得部（取得部）
２３２、２４０ 表示画像生成部
２３３ 音声情報取得部
２３４ 操作情報取得部
２５０、２５１ 表示部
２６０ 音声受付部
２７０、２７０ａ 操作受付部
３００ａ、３００ｂ、３０２ａ、３０２ｂ、３０４ａ、３０４ｂ 吹き出し
４００ａ、４００ｂ、４０２ａ、４０２ｂ、４０４ａ、４０４ｂ、４０６ａ、４０６ｂ、４１０ａ、４１０ｂ、４１２ａ、４１２ｂ、４１４ａ、４１４ｂ、４１６ａ、４１６ｂ、５００ａ、５００ｂ、５０２ａ、５０２ｂ、５１０ａ、５１０ｂ、５１２ａ、５１２ｂ テキスト
６００ａ、６００ｂ、６０２ａ、６０２ｂ、６０６ａ、６０６ｂ 画像
６０４ａ、６０４ｂ、６０５ａ ボタン
７００、７００ａ、７００ｂ 音声抽出サーバ
７０１ 音声抽出サーバ通信部
７０２ 音声抽出部
７２０ 音声認識サーバ
７２１ 音声認識サーバ通信部
７２２ 音声認識部
７４０ 翻訳サーバ
７４１ 翻訳サーバ通信部
７４２ 翻訳部
８００ａ、８００ｂ テキスト
９１０ コンピュータ
９１１ バス
９１２ 演算装置
９１３ 主記憶装置
９１４ 補助記憶装置
９１５ 入出力インターフェース
９１６ 通信インターフェース
９２０ 入力装置
９３０ 出力装置
1, 2, 3, 4, 5
134 display
136 Display information output unit (utterance content information output unit, translation content information output unit)
137 Key phrase search unit (phrase judgment unit)
138 Operation
142 Display information generation unit (utterance content information output unit, translation content information output unit)
143 Translation Utterance Content Information Acquisition Unit (Translation Content Information Acquisition Unit)
150, 152
232, 240 display
Claims (9)
第１表示領域と、第２表示領域とに分割して表示可能な表示画面を有する表示部と、
発話内容を取得する取得部と、
前記発話内容を示す発話内容情報を前記第１表示領域に表示し、前記発話内容に所定のフレーズが含まれる場合は、前記フレーズに対応した商品の画像を示す画像情報を前記第２表示領域に表示する制御を行う表示制御部と、
を備え、
前記表示制御部は、
前記フレーズに関連したオブジェクトを前記表示画面に表示し、前記オブジェクトが選択された場合、前記選択されたオブジェクトに対応した画像情報を前記第２表示領域に表示する制御を行い、
前記オブジェクトに対応した画像情報として、前記フレーズに関連する情報と同一の情報に関連するフレーズに対応する商品を含まない画像を示す画像情報を前記第２表示領域に表示する制御を行う、
ことを特徴とする表示装置。 A display device for displaying at least one of a service provider image and a service user image, comprising:
A display unit having a display screen which can be divided and displayed in a first display area and a second display area;
An acquisition unit for acquiring utterance content;
When the utterance content information indicating the utterance content is displayed in the first display area, and the utterance content includes a predetermined phrase, image information indicating an image of a product corresponding to the phrase is displayed in the second display region A display control unit that performs control to display;
Equipped with
The display control unit
Display object associated with the phrase on the display screen, when the object is selected, have row control to display the image information corresponding to the selected object in the second display area,
Control is performed to display image information indicating an image not including a product corresponding to a phrase related to the same information as the information related to the phrase as the image information corresponding to the object in the second display area .
A display device characterized by
前記表示制御部は、前記第１表示領域に当該翻訳発話内容情報を発話内容情報と併せて表示することを特徴とする請求項１又は２に記載の表示装置。 The uttered content information includes translated uttered content information indicating translated uttered content which is a translation of the uttered content acquired by the acquisition unit.
The display device according to claim 1 or 2 , wherein the display control unit displays the translated utterance content information together with the utterance content information in the first display area.
前記表示制御部は、前記第２表示領域に当該付加情報を前記商品の画像と併せて表示することを特徴とする請求項１から３の何れか一項に記載の表示装置。 The display device further includes an information addition unit that adds additional information related to the product,
The display device according to any one of claims 1 to 3 , wherein the display control unit displays the additional information and the image of the product in the second display area.
前記表示制御部は、当該表示装置がサービス提供者向けであるかサービス利用者向けであるのかに応じた文字の設定によって表されるテキストを含む画像を表示することを特徴とする請求項５に記載の表示装置。 The utterance content information displayed in the first display area is a text indicated by the utterance content information, and
The display controller, to claim 5, characterized in that for displaying an image including a text in which the display device is represented by the character set of corresponding to whether a friendly or service users is for the service provider Display device as described.
前記表示部は、第１表示領域と、第２表示領域とに分割して表示可能な表示画面を有しており、
発話内容を取得する取得ステップと、
前記発話内容を示す発話内容情報を前記第１表示領域に表示し、前記発話内容に所定のフレーズが含まれる場合は、前記フレーズに対応した商品の画像を示す画像情報を前記第２表示領域に表示する制御を行う表示制御ステップと、
を含み、
前記表示制御ステップは、
前記フレーズに関連したオブジェクトを前記表示画面に表示し、前記オブジェクトが選択された場合、前記選択されたオブジェクトに対応した画像情報を前記第２表示領域に表示する制御を行い、
前記オブジェクトに対応した画像情報として、前記フレーズに関連する情報と同一の情報に関連するフレーズに対応する商品を含まない画像を示す画像情報を前記第２表示領域に表示する制御を行う、
ことを特徴とする表示方法。 A display method on a display device including a display unit that displays at least one of a service provider image and a service user image.
The display unit has a display screen which can be divided and displayed in a first display area and a second display area.
An acquisition step of acquiring an utterance content;
When the utterance content information indicating the utterance content is displayed in the first display area, and the utterance content includes a predetermined phrase, image information indicating an image of a product corresponding to the phrase is displayed in the second display region A display control step for performing control to be displayed;
Including
The display control step is
Display object associated with the phrase on the display screen, when the object is selected, have row control to display the image information corresponding to the selected object in the second display area,
Control is performed to display image information indicating an image not including a product corresponding to a phrase related to the same information as the information related to the phrase as the image information corresponding to the object in the second display area.
A display method characterized by
前記表示部は、第１表示領域と、第２表示領域とに分割して表示可能な表示画面を有しており、
発話内容を取得する取得機能と、
前記発話内容を示す発話内容情報を前記第１表示領域に表示し、前記発話内容に所定のフレーズが含まれる場合は、前記フレーズに対応した商品の画像を示す画像情報を前記第２表示領域に表示する制御を行う表示制御機能と、
を実現させ、
前記表示制御機能は、
前記フレーズに関連したオブジェクトを前記表示画面に表示し、前記オブジェクトが選択された場合、前記選択されたオブジェクトに対応した画像情報を前記第２表示領域に表示する制御を行い、
前記オブジェクトに対応した画像情報として、前記フレーズに関連する情報と同一の情報に関連するフレーズに対応する商品を含まない画像を示す画像情報を前記第２表示領域に表示する制御を行う、
ことを特徴とするプログラム。 A computer having a display unit for displaying at least one of a service provider image and a service user image;
The display unit has a display screen which can be divided and displayed in a first display area and a second display area.
An acquisition function for acquiring utterance content;
When the utterance content information indicating the utterance content is displayed in the first display area, and the utterance content includes a predetermined phrase, image information indicating an image of a product corresponding to the phrase is displayed in the second display region A display control function that performs control to be displayed;
To achieve
The display control function is
Display object associated with the phrase on the display screen, when the object is selected, have row control to display the image information corresponding to the selected object in the second display area,
Control is performed to display image information indicating an image not including a product corresponding to a phrase related to the same information as the information related to the phrase as the image information corresponding to the object in the second display area.
A program characterized by
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017194646A JP6550111B2 (en) | 2017-10-04 | 2017-10-04 | Display device, display method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017194646A JP6550111B2 (en) | 2017-10-04 | 2017-10-04 | Display device, display method and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014232154A Division JP2016095727A (en) | 2014-11-14 | 2014-11-14 | Display device, server, communication support system, communication support method, and control program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019102658A Division JP6803946B2 (en) | 2019-05-31 | 2019-05-31 | Display device, display method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018055689A JP2018055689A (en) | 2018-04-05 |
| JP6550111B2 true JP6550111B2 (en) | 2019-07-24 |
Family
ID=61836846
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017194646A Active JP6550111B2 (en) | 2017-10-04 | 2017-10-04 | Display device, display method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6550111B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020071764A (en) * | 2018-11-01 | 2020-05-07 | 東芝テック株式会社 | Instruction management apparatus and control program thereof |
| JP2020190625A (en) * | 2019-05-22 | 2020-11-26 | 株式会社日本レカム | Automatic translation device by speech recognition, and information system |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01103774A (en) * | 1987-07-08 | 1989-04-20 | Ricoh Co Ltd | Translation display device |
| JPH08278972A (en) * | 1995-04-06 | 1996-10-22 | Sony Corp | Speech input translation device |
| JP3422596B2 (en) * | 1995-07-07 | 2003-06-30 | インターナショナル・ビジネス・マシーンズ・コーポレーション | How to display objects |
| JPH113348A (en) * | 1997-06-11 | 1999-01-06 | Sharp Corp | Advertizing device for electronic interaction |
| JP2000148756A (en) * | 1998-11-12 | 2000-05-30 | Matsushita Electric Ind Co Ltd | Translation error detecting device |
| US7530023B2 (en) * | 2001-11-13 | 2009-05-05 | International Business Machines Corporation | System and method for selecting electronic documents from a physical document and for displaying said electronic documents over said physical document |
| JP2005222316A (en) * | 2004-02-05 | 2005-08-18 | Toshiba Corp | Conversation support device, conference support system, reception work support system, and program |
| JP5242726B2 (en) * | 2011-03-28 | 2013-07-24 | 株式会社東芝 | Foreign language customer support device, foreign language customer service method and program |
| JP5684082B2 (en) * | 2011-09-27 | 2015-03-11 | 株式会社東芝 | Dialog support apparatus, method, and program |
-
2017
- 2017-10-04 JP JP2017194646A patent/JP6550111B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018055689A (en) | 2018-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9424838B2 (en) | Pattern processing system specific to a user group | |
| CN111538900B (en) | Information recommendation method and related equipment | |
| JP6061729B2 (en) | Product information providing system and product information providing program | |
| US20060277044A1 (en) | Client-based speech enabled web content | |
| CN107864301A (en) | Client's label management method, system, computer equipment and storage medium | |
| US20180373705A1 (en) | User device and computer program for translating recognized speech | |
| US11262977B2 (en) | Display control apparatus, display control method, and non-transitory recording medium | |
| JP2002297626A (en) | Device, program, and method for presenting information | |
| JP5585889B2 (en) | Display data generation apparatus, display control system, and display control program | |
| US9471567B2 (en) | Automatic language recognition | |
| JP6550111B2 (en) | Display device, display method and program | |
| JP6066791B2 (en) | Product information providing system and product information providing program | |
| JP2014052770A (en) | Signage terminal and signage system | |
| JP2017174090A (en) | Information processing apparatus and program | |
| JP6803946B2 (en) | Display device, display method and program | |
| CN115186070A (en) | Information processing method, apparatus, device, storage medium, and program product | |
| Kangeswaran et al. | A bilingual audio based online shopping mobile application for visually impaired and the elderly people | |
| KR20230029158A (en) | method for automatically creating shopping mall banner sentences | |
| JP2022020149A (en) | Information processing apparatus and program | |
| JP2016095727A (en) | Display device, server, communication support system, communication support method, and control program | |
| JP6577126B1 (en) | Avatar display control method | |
| JP2022018724A (en) | Information processing device, information processing method, and information processing program | |
| JP2018014065A (en) | Method and program for supporting cross-language conversation | |
| US20100083130A1 (en) | Computer product, content providing apparatus, and content providing method | |
| JP2020052697A (en) | Advertisement-running monitoring and assisting device, advertisement-running monitoring and assisting method and advertisement-running monitoring and assisting program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180713 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180724 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180921 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181211 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190201 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190305 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190531 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20190606 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190625 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190628 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6550111 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |