JP6196850B2 - コミュニケーションシステム、コミュニケーション方法及びコンピュータプログラム - Google Patents
コミュニケーションシステム、コミュニケーション方法及びコンピュータプログラム Download PDFInfo
- Publication number
- JP6196850B2 JP6196850B2 JP2013185339A JP2013185339A JP6196850B2 JP 6196850 B2 JP6196850 B2 JP 6196850B2 JP 2013185339 A JP2013185339 A JP 2013185339A JP 2013185339 A JP2013185339 A JP 2013185339A JP 6196850 B2 JP6196850 B2 JP 6196850B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- manga
- unit
- message
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004891 communication Methods 0.000 title claims description 106
- 238000000034 method Methods 0.000 title claims description 17
- 238000004590 computer program Methods 0.000 title claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 17
- 230000015572 biosynthetic process Effects 0.000 claims description 14
- 238000003786 synthesis reaction Methods 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 8
- 241000556720 Manga Species 0.000 description 212
- 238000012545 processing Methods 0.000 description 23
- 238000013500 data storage Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 17
- 238000012790 confirmation Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 11
- 230000004044 response Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000010365 information processing Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000005401 electroluminescence Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 235000015243 ice cream Nutrition 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Telephonic Communication Services (AREA)
- Information Transfer Between Computers (AREA)
Description
上記事情に鑑み、本発明は、新しい形のコミュニケーションを可能にする技術の提供を目的としている。
図1は、本発明におけるコミュニケーションシステムのシステム構成を示す図である。本発明のコミュニケーションシステムは、音声認識サーバ20及びID通信サーバ30を備える。コミュニケーションシステムには、ネットワーク50を介して端末装置10及び端末装置40が通信可能に接続されている。なお、以下の説明では、端末装置10を送信者端末10と称し、端末装置40を受信者端末40と称する。
ID通信サーバ30は、HTTP(HyperText Transfer Protocol)サーバ31及びSIP(Session Initiation Protocol)サーバ32を備える。HTTPサーバ31は、情報処理装置を用いて構成される。HTTPサーバ31は、送信者端末10から送信されたデータを蓄積(ストア)する。また、HTTPサーバ31は、蓄積しているデータを受信者端末40からの要求に応じて受信者端末40に送信する。SIPサーバ32は、SIPを利用して送信者端末10と受信者端末40との間で通信を接続する。
ネットワーク50は、どのように構成されたネットワークでもよい。例えば、ネットワーク50はインターネットを用いて構成されてもよい。
制御部104は、送信者端末10の各機能部を制御する。
通信部105は、ネットワーク50を介して音声認識サーバ20及びID通信サーバ30との間で通信を行う。また、通信部105は、ネットワーク50及びSIPサーバ32を介して受信者端末40との間で通信を行う。通信部105は、例えば信号処理部103によって生成されたデジタル信号の音声データを、ネットワーク50を介して音声認識サーバ20に送信する。通信部105は、例えばネットワーク50を介して音声認識サーバ20からテキストデータを受信する。
表示部109は、CRT(Cathode Ray Tube)ディスプレイ、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等の画像表示装置である。表示部109は、合成部108によって生成されたマンガ音声ファイルのマンガ画像を表示する。
制御部402は、受信者端末40の各機能部を制御する。
表示部404は、CRTディスプレイ、液晶ディスプレイ、有機ELディスプレイ等の画像表示装置である。表示部404は、通信部401によって受信されたマンガ音声ファイルを表示する。
連絡先情報領域60は、会話相手のユーザの名前や連絡先などが表示される領域である。図3(A)に示される例では、連絡先情報領域60には会話相手のユーザの名前として“AAAAA”が表示されている。
サムネイル画像61−bは、フリートークの発着信履歴の画面である。フリートークとは、ユーザ間において音声を用いた無料通話を可能にする機能(例えば音声チャット機能)である。
サムネイル画像61−cは、クイックコメントの送受信プレビュー画面に遷移するための画像である。クイックコメントは、予め決められた文字列が画像の吹き出し部分に埋め込まれている画像である。ユーザによってサムネイル画像61−cが押下されると、受付画面からクイックコメントの送受信プレビュー画面(不図示)に切り替わる。
サムネイル画像61−bの左右どちらか一方には、特定領域62−bが表示される。特定領域62−bは、フリートークを開始した人物を表す。例えば、サムネイル画像61−bの左側に位置する特定領域62−bは、フリートークを開始した人物が受信者端末40のユーザ(会話相手)であることを表す。なお、特定領域62−bには、フリートークが開始された時刻が表示される。
サムネイル画像61−cの左右どちらか一方には、特定領域62−cが表示される。特定領域62−cは、サムネイル画像61−cで示されるクイックコメントを送信した人物を表す。例えば、サムネイル画像61−cの右側に位置する特定領域62−cは、サムネイル画像61−cで示されるクイックコメントを送信した人物が送信者端末10のユーザであることを表す。なお、特定領域62−cには、サムネイル画像61−cで示されるクイックコメントが受信された時刻が表示される。
なお、受付画面に表示されるサムネイル画像(例えば、サムネイル画像61−a〜61−c)のレイアウトは、図3(A)のレイアウトとは異なるように表示されてもよい。例えば、送信者端末10のユーザが行った動作(例えば、マンガ音声ファイルの送信、フリートークの開始、クイックコメントの送信)に関するサムネイル画像を受付画面の右側に表示し、受信者端末40のユーザ(会話相手)が行った動作に関するサムネイル画像を受付画面の左側に表示するように構成されてもよい。
ユーザによって選択ボタン63−bに表示されている複数の画像の中から1つの画像が押下されると、表示部109の表示画面が図3(A)の受付画面から図3(B)の画面に切り替わる。
候補マンガ画像69−aの吹き出しには、ユーザの発話内容の冒頭から所定数の文字(例えば、10文字から20文字)が表示される。なお、吹き出しに表示される発話内容の文字数は、マンガデータごとに異なってもよいし、同じであってもよい。文字数がマンガデータごとに異なる場合には、例えばマンガデータ記憶部106が各マンガデータに合成される文字数を対応付けて記憶する。
また、マンガデータ記憶部106には、マンガデータ毎に、領域情報及び文字情報が記憶されている。領域情報とは、吹き出し内のテキストデータが表示又は合成される領域に関する情報であり、例えば文字枠の左上座標(x,y)、文字枠の幅や高さ(w,h)などの情報を含む。文字情報とは、吹き出し内に表示又は合成されるテキストデータの文字に関する情報であり、例えばテキストカラー(例えば、黒、白、青等)、文字枠内の1行あたりの文字数、文字の大きさ(ピクセル)などの情報を含む。
図4(A)及び図4(B)に示される執筆中パターン画像68は、送信者端末10が音声データを音声認識サーバ20に送信し、音声認識サーバ20からテキストデータを受信するまでの間、繰り返し執筆中画面に表示される画像である。
図4(D)及び図4(E)に示される執筆中パターン画像68は、送信者端末10がテキストデータに基づいて候補マンガデータを選択するまでの間、繰り返し執筆中画面に表示される画像である。
図5(A)に示される第1ステップでは、送信者端末10は、ユーザの操作に応じて音声入力画面を表示部109に表示し、ユーザから音声入力を受け付ける。ユーザは、「アイスとってもおいしいよ!また買ってきてね!よろしく!」と送信者端末10に発話する。ユーザによって音声入力画面に表示されているアイコンが押下される、又は、録音時間が経過すると、第2ステップに移行する。
図5(C)に示される第3ステップでは、画像選択部107は、マンガデータ記憶部106に記憶されているマンガデータと、図5(B)に示されるテキストデータとに基づいて候補マンガデータを選択する。具体的には、まず、画像選択部107は、共通単語を含む確定タグ情報があるか否かを判定する。共通単語を含む確定タグ情報がある場合には、画像選択部107は当該確定タグ情報が対応付けられているマンガデータを候補マンガデータに選択する。
以上で、マンガ音声ファイル生成処理の詳細な説明を終了する。
表示部109は、ユーザの操作に応じて画面上に受付画面を表示し、ユーザからマンガのジャンルの選択を受け付ける(ステップS101)。ユーザによってマンガのジャンルが選択されると、制御部104は表示画面を受付画面から音声入力画面に切り替える。その後、音声入力部102は、ユーザから音声入力を受け付ける(ステップS102)。
一方、共通単語を含む確定タグ情報が複数ない場合(ステップS106−NO)、画像選択部107は確定タグ情報が対応付けられているマンガデータを候補マンガデータに選択する(ステップS108)。
一方、共通単語を含むステータスタグ情報が複数ない場合(ステップS113−NO)、画像選択部107はステータスタグ情報が対応付けられているマンガデータを候補マンガデータに選択する(ステップS115)。その後、ステップS109以降の処理が行なわれる。
送信者端末10の表示部109は、ユーザの操作に応じて画面上に受付画面を表示し、ユーザからマンガのジャンルの選択を受け付ける(ステップS201)。ユーザによってマンガのジャンルが選択されると、制御部104は表示画面を受付画面から音声入力画面に切り替える。その後、音声入力部102は、ユーザから音声入力を受け付ける(ステップS202)。音声入力部102は、ユーザの発話内容を送信者端末10に入力する。具体的には、音声入力部102は、ユーザが発話することによって生じた音波を受け、音波に応じたアナログ信号を生成する。音声入力部102は、生成したアナログ信号を信号処理部103に出力する。
音声認識サーバ20は、送信者端末10から音声データを受信する(ステップS205)。音声認識サーバ20は、受信した音声データに基づいてテキストデータを生成する(ステップS206)。音声認識サーバ20は、生成したテキストデータを送信者端末10に送信する(ステップS207)。
本実施形態では、コミュニケーションシステムに接続される送信者端末10の数は一台であるが、複数台の送信者端末10がコミュニケーションシステムに接続されるように構成されてもよい。また、本実施形態では、コミュニケーションシステムに接続される受信者端末40の数は一台であるが、複数台の受信者端末40がコミュニケーションシステムに接続されるように構成されてもよい。
コミュニケーションシステムは、一台の装置に実装されてもよいし、複数台の装置に実装されてもよい。
本実施形態では、吹き出しに埋め込まれたテキストデータが横書きで表示される構成を示したが、テキストデータが縦書きで表示されるように構成されてもよい。
画像選択部107は、かな漢字変換された文字列の単語に基づいて候補マンガデータを選択するように構成されてもよい。
なお、本実施形態では、画像選択部107は、発話内容が単語ごとに分割されたテキストデータを用いて候補マンガデータを選択する構成を示したが、これに限定される必要はない。例えば、画像選択部107は、テキストデータ全文(全文ひらがな文字列、かな漢字変換)を用いて候補マンガデータを選択するように構成されてもよい。
ファイルIDは、ID通信サーバ30からのプッシュ通知により受信者端末40に送信されてもよい。この場合、以下のような処理が行なわれる。まず、送信者端末10の通信部105は、マンガ音声ファイルをID通信サーバ30に送信する。次に、ID通信サーバ30は、マンガ音声ファイルを送信者端末10から受信し、HTTPサーバ31のバッファに蓄積する。そして、HTTPサーバ31は、蓄積したマンガ音声ファイルを識別するためのファイルIDをSIPサーバ32に出力する。SIPサーバ32は、出力されたファイルIDを受信者端末40に送信する。
また、本実施形態では、送信者端末10がマンガ音声ファイルを生成して、生成したマンガ音声ファイルをID通信サーバ30に送信する構成を示したが、これに限定される必要はない。例えば、送信者端末10は、音声データのみをHTTPサーバ31に蓄積するように構成されてもよい。
この場合、以下のような処理が行なわれる。ID通信サーバ30は、送信者端末10から音声データを受信し、HTTPサーバ31のバッファに蓄積する。HTTPサーバ31は、蓄積した音声データを識別するためのファイルIDを、当該音声データを蓄積したことを示す応答として送信者端末10に送信する。送信者端末10の通信部105は、HTTPサーバ31からファイルIDを受信する。通信部105は、受信したファイルIDと、候補マンガデータを識別するための識別IDと、テキストデータとをメッセージとしてSIPサーバ32を介して受信者端末40に送信する。受信者端末40の通信部401は、SIPサーバ32を介して送信者端末10からファイルID、識別ID及びテキストデータを受信する。その後、通信部401は、受信した識別IDを画像選択部107に出力する。画像選択部107は、マンガデータ記憶部106に記憶されているマンガデータを参照し、出力された識別IDで識別されるマンガデータを候補マンガデータに選択する。また、通信部401は、受信したファイルIDをHTTPサーバ31に送信し、当該ファイルIDで識別される音声データをHTTPサーバ31から受信する。合成部108は、候補マンガデータと、受信された音声データ及びテキストデータとに基づいてマンガ音声ファイルを生成する。その後、制御部402は、ユーザの操作に応じて、生成されたマンガ音声ファイルを表示し、再生する。
Claims (6)
- ユーザの音声を変換したメッセージに応じて画像を選択する画像選択部と、
前記画像選択部により選択された選択画像に予め付与された領域情報に基づいて、前記メッセージの内容を前記選択画像に合成する合成部と、
を備え、
前記合成部は、前記メッセージの音声データを前記選択画像にさらに合成するコミュニケーションシステム。 - ユーザの音声を変換したメッセージに応じて画像を選択する画像選択部と、
前記画像選択部により選択された選択画像に予め付与された領域情報に基づいて、前記メッセージの内容を前記選択画像に合成する合成部と、
を備え、
前記画像には、前記画像の特徴を表す語句を含むステータスタグ情報及び前記画像の特徴を表す語句として特に重要な語句を含む確定タグ情報のいずれか又は両方がタグ情報として付与されており、
前記画像選択部は、前記メッセージに含まれている語句と、前記タグ情報とに基づいて、前記メッセージに含まれている語句ごとに、前記語句から特定される画像を抽出し、抽出された画像の中から前記メッセージに応じた画像を選択するコミュニケーションシステム。 - 前記合成部は、
前記選択画像に付与された文字情報に基づいて、メッセージの色、文字数、文字の大きさのうち少なくとも何れか1つの情報を用いて前記メッセージの内容を前記選択画像に合成する、請求項1又は2に記載のコミュニケーションシステム。 - 前記合成部は、
前記メッセージの文字数が所定の文字数を超える場合、前記メッセージの冒頭から所定の文字数分の文字を抽出し、抽出した前記文字数分の文字と、前記メッセージの続きを示す記号等を含む所定の文字を、前記選択画像に合成する、請求項1〜3のいずれか1項に記載のコミュニケーションシステム。 - コミュニケーションシステムを構成するコンピュータを制御するコミュニケーション方法において、
ユーザの音声を変換したメッセージに応じて画像を選択する画像選択ステップと、
前記画像選択ステップにより選択された選択画像に予め付与された領域情報に基づいて、前記メッセージの内容を前記選択画像に合成する合成ステップと、
を有し、
前記合成ステップにおいて、前記メッセージの音声データを前記選択画像にさらに合成するコミュニケーション方法。 - ユーザの音声を変換したメッセージに応じて画像を選択する画像選択ステップと、
前記画像選択ステップにより選択された選択画像に予め付与された領域情報に基づいて、前記メッセージの内容を前記選択画像に合成する合成ステップと、
をコンピュータに実行させ、
前記合成ステップにおいて、前記メッセージの音声データを前記選択画像にさらに合成するためのコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013185339A JP6196850B2 (ja) | 2013-09-06 | 2013-09-06 | コミュニケーションシステム、コミュニケーション方法及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013185339A JP6196850B2 (ja) | 2013-09-06 | 2013-09-06 | コミュニケーションシステム、コミュニケーション方法及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015053603A JP2015053603A (ja) | 2015-03-19 |
JP6196850B2 true JP6196850B2 (ja) | 2017-09-13 |
Family
ID=52702318
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013185339A Active JP6196850B2 (ja) | 2013-09-06 | 2013-09-06 | コミュニケーションシステム、コミュニケーション方法及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6196850B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018081664A (ja) * | 2017-02-10 | 2018-05-24 | 株式会社FiNC | コンピュータ実装方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3707096B2 (ja) * | 1995-05-10 | 2005-10-19 | カシオ計算機株式会社 | 画像制御装置および画像制御方法 |
JP4076311B2 (ja) * | 2000-03-17 | 2008-04-16 | 富士フイルム株式会社 | メッセージ付き画像再生方法およびシステム |
JP2002073480A (ja) * | 2000-08-31 | 2002-03-12 | Matsushita Electric Ind Co Ltd | 漫画メール作成装置及び漫画メール配信装置 |
JP2002218092A (ja) * | 2001-01-19 | 2002-08-02 | Fujitsu General Ltd | 音声入力による携帯電話メール方法と携帯電話メール装置 |
JP2002215533A (ja) * | 2001-01-24 | 2002-08-02 | Victor Co Of Japan Ltd | コミック自動生成装置 |
JP2003152891A (ja) * | 2001-11-09 | 2003-05-23 | Ricoh Co Ltd | 情報処理システム |
JP2005173705A (ja) * | 2003-12-08 | 2005-06-30 | Ricoh Co Ltd | 会議支援システム、プログラム及び記憶媒体 |
JP2005234074A (ja) * | 2004-02-18 | 2005-09-02 | Sony Corp | 情報処理装置および情報処理方法、記録媒体、並びにプログラム |
JP4593546B2 (ja) * | 2006-10-11 | 2010-12-08 | Necフィールディング株式会社 | 挿絵作成装置、挿絵提供システム、挿絵作成方法、挿絵作成プログラム |
JP2009282815A (ja) * | 2008-05-23 | 2009-12-03 | Catalyst Mobile Kk | テキスト合成処理システム及びそれを備える可搬型通信端末 |
-
2013
- 2013-09-06 JP JP2013185339A patent/JP6196850B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015053603A (ja) | 2015-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105594163B (zh) | 具有实时状态通知的语音通信 | |
US8285257B2 (en) | Emotion recognition message system, mobile communication terminal therefor and message storage server therefor | |
CN109726367B (zh) | 一种批注展示的方法及相关装置 | |
US8373799B2 (en) | Visual effects for video calls | |
US9049161B2 (en) | Linking sounds and emoticons | |
CN110620720B (zh) | 具有实时状态通知的语音通信 | |
US20120162350A1 (en) | Audiocons | |
US20070066310A1 (en) | Mobile communication terminal and method | |
US20140043427A1 (en) | Mobile communication terminal and data input method | |
EP1473937A1 (en) | Communication apparatus | |
US20080266378A1 (en) | Mobile communication device capable of storing video chatting log and operating method thereof | |
JP2005196780A (ja) | 携帯端末機でアバターを用いたメッセージ処理装置及び方法 | |
KR101200559B1 (ko) | 모바일 인스턴트 메신저에서 플래시콘을 제공하는 시스템,장치 및 방법 | |
KR20110082512A (ko) | 무선 장치를 위한 미리 결정된 응답 | |
US20090096782A1 (en) | Message service method supporting three-dimensional image on mobile phone, and mobile phone therefor | |
JP6196850B2 (ja) | コミュニケーションシステム、コミュニケーション方法及びコンピュータプログラム | |
US20130210419A1 (en) | System and Method for Associating Media Files with Messages | |
JP2007122438A (ja) | データ通信装置及びデータ通信装置制御方法 | |
JP2004193809A (ja) | 通信装置 | |
KR20090106989A (ko) | 감정 인식 메시지 시스템과, 이 시스템의 모바일 통신 단말및 메시지 기억 서버 | |
JP4296976B2 (ja) | 通信端末装置 | |
KR20050101099A (ko) | 통합 메시징 서비스 기능을 가지는 무선통신단말기 및 그방법 | |
JP2016091195A (ja) | 情報送受信プログラム及びシステム | |
JP2002259026A (ja) | 移動通信端末 | |
TWI396094B (zh) | 訊息顯示暨回覆之系統及其方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160314 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170725 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170821 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6196850 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |