JPWO2020166495A1 - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

情報処理装置、情報処理方法および情報処理プログラム Download PDF

Info

Publication number
JPWO2020166495A1
JPWO2020166495A1 JP2020572214A JP2020572214A JPWO2020166495A1 JP WO2020166495 A1 JPWO2020166495 A1 JP WO2020166495A1 JP 2020572214 A JP2020572214 A JP 2020572214A JP 2020572214 A JP2020572214 A JP 2020572214A JP WO2020166495 A1 JPWO2020166495 A1 JP WO2020166495A1
Authority
JP
Japan
Prior art keywords
text
information processing
candidate
message
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020572214A
Other languages
English (en)
Inventor
荘太 松澤
保 石井
敦 根岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020166495A1 publication Critical patent/JPWO2020166495A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/274Converting codes to words; Guess-ahead of partial word inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233Character input methods
    • G06F3/0237Character input methods using prediction or retrieval techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities

Abstract

本文の末尾に付加されることにより本文とともにメッセージを構成する末尾部分の複数の候補を決定する末尾部分候補決定部を備える情報処理装置である。【選択図】図2

Description

本技術は、情報処理装置、情報処理方法および情報処理プログラムに関する。
近年、スマートフォンなどの端末装置の普及によって、ユーザ間でメッセージの送受信を行うことが一般的になっている。
そこで、ユーザの現在位置やユーザの状況に合わせて適切な文を検索し、ユーザに提示することが可能な情報処理装置が提案されている(特許文献1)
特開2011−232871号公報
近年、メッセージ機能の発達によりメッセージは漢字、ひらがな、カタカナ、数字などのいわゆる通常の文字だけでなく、特殊文字、絵文字、顔文字などを用いて作成されるものとなっている。ユーザはその特殊文字、絵文字、顔文字などを使用することによって、メッセージにおける多様な感情表現など行うことができる。メッセージにおける特殊文字、絵文字、顔文字などは主にメッセージの本文の末尾に付加され、その使用は現在では当たり前のものになっている。
特許文献1に記載の技術は、あくまで通常の文字により構成された文をユーザに提示するものであり、それだけではユーザのメッセージにおける様々な感情表現や意図を表すには不十分である。
本技術はこのような点に鑑みなされたものであり、メッセージの本文の末尾に付加される末尾部分の最適な候補をユーザに提示することができる情報処理装置、情報処理方法および情報処理プログラムを提供することを目的とする。
上述した課題を解決するために、第1の技術は、本文の末尾に付加されることにより本文とともにメッセージを構成する末尾部分の複数の候補を決定する末尾部分候補決定部を備える情報処理装置である。
である。
また、第2の技術は、本文の末尾に付加されることにより本文とともにメッセージを構成する末尾部分の複数の候補を決定する情報処理方法である。
さらに、第3の技術は、本文の末尾に付加されることにより本文とともにメッセージを構成する末尾部分の複数の候補を決定する情報処理方法をコンピュータに実行させる情報処理プログラムである。
端末装置100の構成を示すブロック図である。 情報処理装置200の構成を示すブロック図である。 絵文字および顔文字の説明図である。 メッセージを構成する本文と末尾部分の説明図である。 末尾部分の他の例を示す図である。 基本処理を示すフローチャートである。 表示部105に表示されるユーザインターフェースを示す図である。 本文の候補決定処理のフローチャートである。 本文データベースの説明図である。 末尾部分の候補を決定する第1の方法の説明図である。 末尾部分の使用回数取得処理を示すフローチャートである。 送信済メッセージの本文と末尾部分の分割の詳細処理を示すフローチャートである。 末尾部分の候補を決定する第2の方法の説明図である。 末尾部分の候補を決定する第2の方法のフローチャートである。 末尾部分の候補を決定する第3の方法のフローチャートである。 末尾部分の候補を決定する第3の方法の説明図である。 末尾部分の候補を決定する第4の方法の説明図である。 円環モデルと絵文字の対応を示す図である。 送受信相手の端末装置における処理を示すフローチャートである。 覚醒度算出処理のフローチャートである。 快不快度算出処理のフローチャートである。 状態情報に基づく絵文字と円環モデルの対応づけ処理のフローチャートである。 末尾表現と円環モデルの対応の説明図である。 末尾部分の候補を決定する第6の方法のフローチャートである。 末尾部分の候補を決定する第7の方法における端末装置300の構成を示すブロック図である。 末尾部分の候補を決定する第7の方法の説明図である。 末尾部分の候補を決定する第7の方法におけるユーザインターフェースを示す図である。 第8の方法における情報処理装置400の構成を示すブロック図である。 第8の方法におけるユーザインターフェースを示す図である。 末尾部分の各国におけるローカライズの説明図である。
以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
<1.実施の形態>
[1−1.端末装置100の構成]
[1−2.情報処理装置200の構成]
[1−3.本文と末尾部分]
[1−4.情報処理装置による処理]
[1−4−1.基本処理とユーザインターフェース]
[1−4−2.本文の候補決定処理]
[1−5.末尾部分の候補を決定する方法]
[1−5−1.末尾部分の候補を決定する第1の方法]
[1−5−2.末尾部分の候補を決定する第2の方法]
[1−5−3.末尾部分の候補を決定する第3の方法]
[1−5−4.末尾部分の候補を決定する第4の方法]
[1−5−5.末尾部分の候補を決定する第5の方法]
[1−5−6.末尾部分の候補を決定する第6の方法]
[1−5−7.末尾部分の候補を決定する第7の方法]
[1−5−8.末尾部分の候補を決定する第8の方法]
<2.変形例>
<1.実施の形態>
[1−1.端末装置100の構成]
まず、図1を参照して情報処理装置200が動作する端末装置100の構成について説明する。端末装置100は制御部101、記憶部102、通信部103、入力部104、表示部105、マイクロホン106、情報処理装置200を備えるよう構成されている。
制御部101は、CPU(Central Processing Unit)、RAM(Random Access Memory)およびROM(Read Only Memory)などから構成されている。ROMには、CPUにより読み込まれ動作されるプログラムなどが記憶されている。RAMは、CPUのワークメモリとして用いられる。CPUは、ROMに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって端末装置100全体の制御を行う。
記憶部102は、例えば、HDD(Hard Disc Drive)、半導体メモリ、SSD(Solid State Drive)などにより構成された記憶媒体であり、プログラム、コンテンツデータなどが格納されている。
通信部103は、所定の通信規格によりインターネットを介して外部機器などと通信を行うモジュールである。通信方法としては、Wi−Fi(Wireless Fidelity)などの無線LAN(Local Area Network)、4G(第4世代移動通信システム)、ブロードバンド、Bluetooth(登録商標)、などがある。情報処理装置200により生成された送信メッセージは通信部103により通信でメッセージの送受信を行う相手(以下、送受信相手と称する。)の装置に送信される。
入力部104は、ユーザが端末装置100に対して入力を行うための各種入力デバイスである。入力部104としては、ボタン、表示部105と一体に構成されたタッチパネルなどがある。入力部104に対して入力がなされると、その入力に応じた制御信号が生成されて制御部101に出力される。そして、制御部101はその制御信号に対応した演算処理や制御を行う。
表示部105は、画像や映像などのコンテンツデータ、メッセージ、端末装置100のユーザインターフェースなどを表示するための表示デバイスなどである。表示デバイスとしては、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro Luminescence)パネルなどにより構成されたものがある。
本技術において表示部105は入力104と一体的に構成されたタッチパネルであるとして説明を行う。タッチパネルでは、表示部105の表示面であり、かつ操作面である画面に対してなされた指またはスタイラスの接触操作を検出し、その接触位置を示す情報を出力することができる。また、タッチパネルは操作面に対して繰り返しなれた操作のそれぞれを検出し、そのそれぞれの接触位置を示す情報を出力することもできる。なお、ここでは、表示部105に指などを接触させて操作できる表示デバイスの総称としてタッチパネルという表現を用いている。
これによりタッチパネルはいわゆるタップ操作、ダブルタップ操作、タッチ操作、スワイプ操作、フリック操作などのユーザからの様々な入力、操作を受け付けてそれらを検出することができる。
タップ操作とは、ユーザの指などを操作面上に短時間1回だけ接触させ、離す入力動作である。ダブルタップ操作とは、指などを操作面上に短い間隔で連続して2回接触させ、離す入力動作である。これらは主に決定の入力などに用いられる。タップ操作は指などを操作面に接触させる動作から離す動作までを含めた入力方法である。長押し操作とは、ユーザの指などを操作面上に接触させて所定時間その接触状態を維持する入力動作である。タッチ操作とはユーザの指などを操作面上に接触させる入力動作である。タップ操作とタッチ操作の違いは操作面に接触させた後の離す動作までを操作に含めるか否かである。タップ操作は離す動作を含める入力方法であり、タッチ操作は離す動作までは含めない入力方法である。
スワイプ操作とは、なぞり操作とも称され、ユーザの指などを操作面上に接触させたまま移動させる入力動作である。フリック操作とは、ユーザの指など操作面上の1点を指示してから、そのまま任意の方向に素早くはじくようにする入力動作である。
マイクロホン106は、ユーザが音声を入力するための音声入力用デバイスである。
情報処理装置200は、端末装置100がプログラムを実行することにより構成される処理部である。プログラムは端末装置100内に予めインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自らインストールするようにしてもよい。なお、情報処理装置200は、プログラムによって実現されるのみでなく、その機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。情報処理装置200は特許請求の範囲における情報処理装置200に相当するものである。
端末装置100は以上のように構成されている。なお、以下の説明において端末装置100は腕時計型ウェアラブルデバイスであるとする。本技術は腕時計型ウェアラブルデバイスのように表示画面のサイズおよびタッチパネルのサイズが大きなサイズではなく送信メッセージの作成および確認が容易ではない端末装置100において有用である。
[1−2.情報処理装置200の構成]
次に図2を参照して情報処理装置200の構成について説明する。情報処理装置200は、送受信部201、メッセージ解析部202、本文候補決定部203、本文データベース204、末尾部分候補決定部205、末尾表現データベース206、メッセージ生成部207、表示制御部208とから構成されている。
送受信部201は端末装置100が受信した送受信相手からのメッセージを情報処理装置200の各部に供給するとともに、情報処理装置200が生成した送信メッセージを端末装置100に供給するものである。また、情報処理装置200内での本文、末尾部分などのやり取りも行うものである。
メッセージ解析部202は、端末装置100が受信した受信メッセージを解析して本文候補決定部203が本文の候補を決定するための特徴を抽出するものである。
本文候補決定部203は、メッセージ解析部202が抽出した受信メッセージの特徴に基づいて本文データベース204からユーザに提示する複数の本文の候補を決定するものである。
本文データベース204は、受信メッセージに対してユーザが送信する送信メッセージを構成する本文の候補が複数格納されたデータベースである。
末尾部分候補決定部205は、末尾表現データベース206に格納されている複数の末尾表現からユーザに複数の末尾部分の候補として提示するものを決定する。末尾部分とは、本文の末尾に付加されることにより送信メッセージを構成するメッセージの一部分である。
末尾表現データベース206は、受信メッセージに対してユーザが送信する送信メッセージを構成する末尾部分の候補となる末尾表現が複数格納されたデータベースである。末尾表現データベース206に格納されている多数の末尾表現のうちのいくつかが末尾部分の候補として表示部105に表示されてユーザに提示される。末尾表現とは、送信メッセージにおいて末尾部分として本文の末尾に付加される特殊文字等からなる文字列である。
メッセージ生成部207は、ユーザにより選択された本文と末尾部分を結合することによりユーザが送信する送信メッセージを生成するものである。
表示制御部208は、端末装置100の表示部105において本文の候補および末尾部分の候補、さらに送信メッセージ生成、送信のためのユーザインターフェースなどを表示させるものである。
以上のようにして端末装置100および情報処理装置200が構成されている。
[1−3.本文と末尾部分]
次に、送信メッセージを構成する本文と末尾部分について説明する。送信メッセージは本文のみ、または本文と末尾部分の組み合わせにより構成されている。本文とは、ひらがな、カタカナ、漢字、英数字など文字(通常文字等と称する。)で構成される文章である。末尾部分とは、特殊文字、絵文字さらに本文に使用される通常文字以外のあらゆる文字で構成されるものであり、本文の末尾に付加されることにより送信メッセージを構成するものである。
絵文字とは、図3Aに示すように1文字分の表示領域で1つの絵(例えば、人の顔、自動車、食べ物などのアイコン、グリフ)を表示できるようにしたものである。
特殊文字とは、?、!、+、−、÷、×、&、♯、$、%、矢印などの記号文字のほか、三角形、ハート、星などの図形を示す文字など、ひらがな、カタカナ、漢字、英数字などの通常の文字以外の文字を含むものである。
絵文字、特殊文字以外で末尾部分を構成するものとしては、いわゆる顔文字と称されるものもある。顔文字とは図3Bに示すように、複数の数字、平仮名、カタカナ、外国語文字、特殊文字、記号などを組み合わせて人の顔や動作、キャラクターの顔や動作を現したものである。
説明の便宜上、以下の説明においては特殊文字、絵文字、顔文字を総称して「特殊文字等」と称する。
ユーザは本文の末尾に様々な末尾表現を末尾部分として付加することにより図4に示すような本文だけでは伝わらない様々な感情、印象、表現をメッセージの送受信相手に伝えることができる。図4に示すように、本文が同じ文章でも末尾部分が異なることによりメッセージ全体として異なる印象、感情、表現を表すことができる。なお、図4に示した末尾部分が表す感情、印象、表現はあくまで一例である。
なお本文の末尾に付加される末尾部分を構成する特殊文字等は一つに限られない。図5に示すように、複数の特殊文字、絵文字、顔文字を用いて末尾部分が構成されることもある。また、図5に示す、「(笑)」、「www」のように漢字、アルファベットを含んで(またはそれのみで)構成されるものもある。
末尾表現データベース206には、図3に示したような様々な種類の特殊文字等からなる末尾表現が格納されており、さらに図5に示したような複数の特殊文字等の組み合わせから構成される末尾表現、特殊文字等以外の文字で構成される末尾表現も格納されている。末尾表現データベース206は予め端末装置100で使用可能な特殊文字、絵文字の全てからなる末尾表現を格納させておくとよい。また、予めインターネットにおける情報やユーザの使用履歴に基づいて複数の特殊文字等の組み合わせで構成される末尾表現も格納させておくとよい。さらに、インターネットを介してのサーバに接続して定期的、または任意のタイミングで末尾表現データベース206を更新できるようにするとよい。言語の使用は時代の流れと共に変化するものであるため、末尾表現データベース206を更新可能とすることにより常に最新の末尾表現の使用に対応することができる。
[1−4.情報処理装置200による処理]
[1−4−1.基本処理とユーザインターフェース]
次に図6のフローチャートおよび図7を参照して、情報処理装置200による基本処理と、送信メッセージ作成のために端末装置100の表示部105に表示されるユーザインターフェースの構成について説明する。
まずステップS101で送受信相手からのメッセージを受信する。受信メッセージは図7Aに示すように端末装置100の表示部105に表示されるとともにメッセージ解析部202に供給される。
次にステップS102でメッセージ解析部202により受信メッセージが解析され、本文候補決定部203が本文データベース204からユーザに提示する本文の2択候補を決定する。なお、本文データベース204にユーザに提示する本文の候補がない場合には本文候補なしと決定してもよい。受信メッセージの解析および本文の候補決定処理の詳細については後述する。
次にステップS103で、決定された本文の候補が表示制御部208により表示部105において表示される。本文の候補は図7Bに示すように端末装置100の表示部105において並列的に表示される。これによりユーザに対して送信メッセージの本文の2択候補を提示することができる。図7Bの例では「帰らないの?」という受信メッセージに対して、「帰ります」、「帰りません」という本文の2択候補を表示されている。なお、本文の候補を表示部105に表示する際は、受信メッセージも表示させていてもよいし、受信メッセージは表示させなくてもよい。ただし、受信メッセージを表示させておくことにより、ユーザは本文の候補の選択と末尾部分の候補の選択とを受信メッセージを確認しながら行うことができる。
次にステップS104で本文の候補のいずれかがユーザに選択された場合、処理はステップS105に進む(ステップS104のYes)。このユーザからの選択入力は図7Cに示すようにタッチパネルとして構成された表示部105に対するタッチ操作により行われる。選択された本文の候補は表示態様を選択したことをわかりやすくするために変化させるとよい。
次にステップS105で末尾部分候補決定部205が末尾表現データベース206の複数の末尾表現の中からユーザに提示する末尾部分の候補を決定する。末尾部分の候補の決定方法については後述する。
次にステップS106で、決定された末尾部分の候補が表示制御部208により表示部105において表示される。末尾部分の候補は図7Dに示すように選択された本文の候補を略中心としてその周囲に円環状にアイコンとして表示される。この円環状のアイコンの配置は表示部105の形状に沿ってアイコンを配置したものである。
次にステップS107で末尾部分の候補のいずれかがユーザに選択された場合、処理はステップS108に進む(ステップS107のYes)。末尾部分の候補を選択する入力は、図7Cに示すように本文の候補の選択入力を行った指を表示部105の表示面に接触させたまま、図7Dに示すように末尾部分の候補が表示された後、図7Eに示すように選択する末尾部分の候補のアイコンまで移動させてユーザが選択する末尾部分の候補のアイコン上で指を表示面から離す(スワイプさせる)と、そのアイコンに対応した末尾部分が選択される。
この入力方法によれば、ユーザは本文の候補の選択と末尾部分の候補の選択を表示部105の表示面への一回の指の接触で行うことができるため、直感的、容易かつ迅速に選択を行うことができる。なお、本文の候補の選択後、末尾部分の候補の選択までの間に表示部105における末尾部分のアイコン以外の領域で表示面から指が離された場合は図7Bに示す本文の候補の選択画面に戻るようにしてもよい。これにより、ユーザは本文の候補の選択をやり直すことができる。
なお、入力方法はこの表示部105の表示面への一回の指の接触で行う方法に限られるものではない。本文の候補をタップ操作で行った後(即ち、表示部105の表示面から指を一旦離し)末尾部分の候補の選択のために再びタップ操作を行うようにしてもよい。
図7D、図7Eに示すように、表示部105において円環状に配置されている末尾部分の候補を示すアイコンのうち、頂点の位置に配置されたアイコンZは末尾部分なしで送信メッセージを送信するためのアイコンである。ユーザは末尾部分を付加しない本文のみで送信メッセージを送信したい場合もあり得る。末尾部分を付加しないことを選択するアイコンZを、末尾部分を付加することを選択するアイコンと同様の表示態様で表示させることにより、末尾部分を付加する場合と同様の操作で末尾部分を付加しない送信メッセージを作成することができる。これにより末尾部分を付加する場合と付加しない場合で操作の一貫性が保たれ、ユーザは直感的に送信メッセージの生成を行うことができる。なお、アイコンZを表示させずに、本文の候補の選択入力後に表示部105の表示面から指などを離した場合には末尾部分を付加しない本文のみを送信メッセージとするようにしてもよい。
なお、ステップS107で末尾部分の候補のいずれかがユーザに選択されるまで、ユーザからの選択入力の待ち状態となる(ステップS107のNo)。
次にステップS108でメッセージ生成部207により送信メッセージが生成される。送信メッセージの生成は、ユーザにより選択された本文の候補の末尾にユーザにより選択された末尾部分の候補を結合することにより行われる。そしてステップS109で、端末装置100の通信部103により送信メッセージが送受信相手の端末装置に送信される。図7Fに示すように、送信メッセージが送信されると送信済メッセージとメッセージを送信した旨の通知が表示部105に表示される。
なお、送信メッセージの生成後であって送信メッセージの送信前に、表示部105に送信メッセージを表示してこのメッセージを送信してよいか確認するステップを設けてもよい。これにより不適切な内容のメッセージを誤って送信してしまうことを防止することができる。
情報処理装置200による、本文の候補の決定および提示から、末尾部分の候補の決定および提示、ユーザからの選択の受け付け、送信メッセージの送信までの基本処理は以上のようにして行われる。
[1−4−2.本文の候補決定処理]
次に図8のフローチャートを参照して、図6のフローチャートのステップS102における受信メッセージの解析と本文の候補決定処理の詳細について説明する。
まずステップS201でメッセージ解析部202が受信メッセージに対して形態素解析を行う。次にステップS202で各単語についてTF(Term Frequency)−IDF(Inverse Document Frequency)を計算して受信メッセージのベクトルを算出する。TF−IDFとは文に含まれる単語の重要度を評価する手法の1つであり、TFは単語の出現頻度を示し、IDFは逆文書頻度を示す。
次にステップS203で、本文データベース204におけるマッチング文とのCOS類似度を計算する。COS類似度とは、ベクトル空間モデルにおいて文書同士やベクトル同士を比較する際に用いられる類似度計算の指標である。本文データベース204は図9に示すような、送受信相手から送信されてユーザが受信するメッセージに対応するマッチング文と、そのマッチング文に対する返信である本文の候補(本実施の形態では2択)を予め対応付けて格納してあるものである。なお、処理の効率化のために本文データベース204のマッチング文は予めTF−IDFの計算をしてデータベース化しておくとよい。
次にステップS204で、受信メッセージにCOS類似度が最も近いマッチング文を対話データベースから探索する。そしてステップS205で、COS類似度が最も近いマッチング文に対応付けられた本文データベース204における本文候補をユーザに提示する本文の2択候補として決定する。
以上のようにして本文の候補の決定が行われる。なお、この本文の候補の決定方法は一例であり、本文の候補の決定方法はこの方法に限られず他の方法でもよい。
[1−5.末尾部分の候補を決定する方法]
[1−5−1.末尾部分の候補を決定する第1の方法]
次に末尾部分の候補を決定する第1の方法について説明する。第1の方法は、図10Aに示すように、ユーザの末尾部分の使用回数(使用率でもよい)に基づく方法である。図10Aの例では、表示部105においてアイコンAからアイコンKまで末尾部分の候補としての末尾表現の使用回数が多い順に時計回りに配置されている。アイコンAがその時点における使用回数1位の末尾表現を末尾部分の候補として示すものであり、アイコンBが使用回数2位の末尾表現を末尾部分の候補として示すものであり、アイコンCが使用回数3位の末尾表現を末尾部分の候補として示すものである。それがアイコンKまで続いている。なお、頂点に表示されているアイコンZは上述した、本文に末尾部分を付加しないことを選択するためのアイコンである。
このように末尾部分の候補を使用回数が多い順に配置することにより、頻繁に使用する末尾表現を用いて容易かつ迅速に送信メッセージを作成することができる。なお、図10Aでは末尾部分の候補を示すアイコンは使用回数が多い順に時計回りに配置されているが本技術はそれに限定されず、反時計回りでもよい。
ここで図11Aのフローチャートを参照して末尾部分の使用回数取得処理について説明する。この使用回数取得処理は端末装置100から送信された個々の送信済メッセージごとに行われる。
まずステップS301で処理対象の送信済メッセージを本文と末尾部分とに分ける。次にステップS302で、図11Bの使用回数データベースにおいて、送信済メッセージの本文および末尾部分と、末尾表現データベース206の本文と末尾部分とを比較して一致する場合使用回数をインクリメントする。このようにして末尾部分の使用回数を更新することができるので、この処理を定期的またはメッセージが送信されるたびに行えば常に最新の末尾部分の使用回数を習得することができる。使用回数データベースは末尾表現データベース206に含めていてもよいし、別途独立したものとして構成してもよい。
ここで、図11のフローチャートのステップS301における送信済メッセージの本文と末尾部分の分割の詳細について図12のフローチャートを参照して説明する。
まずステップS401で、送信済メッセージの末尾が末尾表現データベース206にある複数の末尾表現のいずれかと一致するか否かが判断される。この場合の送信済メッセージの末尾とは、1文字に限らず2文字以上の場合もある。一致する場合、処理はステップ402から403に進む(ステップ402のYes)。
次にステップ403で、送信済メッセージにおける末尾表現データベース206の末尾表現と一致した部分を除いた部分を本文とする。そしてステップ404で送信済メッセージにおける末尾表現データベース206の末尾表現と一致した部分を末尾部分とする。これにより送信済メッセージを本文と末尾部分に分けることができる。なおステップS403とステップS404は逆の順序でもよいし、処理としては同時に行ってもよい。
一方、ステップS401で送信済メッセージの末尾が末尾表現データベース206にある末尾表現のいずれとも一致しない場合、処理はステップS402からステップS405に進む(ステップS402のNo)。
次にステップS405で、送信済メッセージを最後の1文字を仮の末尾部分とし、それ以外を仮の本文として分ける。なお、これは最終的に分割される本文と末尾部分ではなくあくまで仮として分割するものである。次にステップS406で仮の本文の最後の文字が特殊文字等であるか否かが判断される。
仮の本文の最後の文字が特殊文字等である場合、処理はステップS407に進み(ステップS406のYes)、仮の本文の最後の文字である特殊文字等を仮の本文から除き、仮の末尾部分に含める。そして処理はステップS406に戻り、再び仮の本文の最後の文字が特殊文字等であるかが判断される。よって、仮の本文の最後の文字が特殊文字等ではなくなるまでステップS406とステップS407が繰り返される
この処理により、送信済メッセージの末尾部分が末尾表現データベース206に含まれていない複数の連続する特殊文字等で構成されているような場合でもその複数の連続する特殊文字等を末尾部分として本文と分けることができる。
そして、仮の本文の最後の文字が特殊文字等ではない場合処理はステップS408に進む(ステップS406のNo)。そしてステップ408で、送信済メッセージにおける仮の本文を本文とし、ステップ409で送信済メッセージにおける仮の末尾部分を末尾部分とする。これにより送信済メッセージを本文と末尾部分に分けることができる。なおステップS408とステップS409は逆の順序でもよいし、処理としては同時に行ってもよい。
この第1の方法によれば、ユーザの末尾部分の使用回数に基づいて末尾部分の候補を決定するので、ユーザが頻繁に使用する末尾部分を候補として提示することができ、ユーザは迅速および容易に送信メッセージを作成することができる。
なお、末尾部分の使用回数は端末装置100のユーザ個人の使用回数であってもよいし、複数のユーザの使用回数の合計でもよい。また、端末装置100のみに限られず、ユーザが所有する装置でありメッセージの送受信に使用するウェアラブルデバイス、スマートフォン、タブレット端末、パーソナルコンピュータなどにおける使用回数を合算してもよい。これは複数のユーザの場合も同様である。また、送信メッセージに限らず各種SNS(Social Network Service)での投稿における末尾部分の使用回数を用いてもよい。また、図10Bに示すように使用回数順はユーザごとに異なるものであってもよい。これは1つの端末装置100を複数人で使用する場合などにおいて有効である。
なお、本技術を用いて作成されたメッセージを末尾部分の使用回数に含めると使用回数計測の結果が偏るおそれがある。そこで、複数の装置のそれぞれにおいて送信されたメッセージにおける末尾部分の使用回数を合算するにあたって装置ごとの重み付けを行ってもよい。例えば、本技術の情報処理装置200の機能を備える装置で送信されたメッセージは重み付けを低くする、などである。これにより使用回数計測結果の偏りを防止することができる。また、使用回数計測には本技術で作成したメッセージは含めない、というようにしてもよい。
[1−5−2.末尾部分の候補を決定する第2の方法]
次に末尾部分の候補を決定する第2の方法について説明する。第2の方法は図13に示すようにメッセージを構成する本文に含まれるキーワードとの対応関係を有する末尾表現を末尾部分の候補として提示するものである。
例えば、図13に示すように予め「楽」、「食」、「帰」などのキーワードと、各キーワードのそれぞれにそのキーワードに関連する末尾表現を対応させて対応末尾表現データベース(末尾表現データベース206に含めてもよい)として構築しておく。図13の例では、キーワード「帰」には、帰ることを連想させるような電車、車、自転車、走るなどの絵文字からなる末尾表現が対応付けられている。また、キーワード「食」には食べることを連想させるような食器、ラーメン、ビール、おにぎりなどの絵文字からなる末尾表現が対応付けられている。さらにキーワード「楽」には楽しい感情を連想させるような笑顔、ハートマークなどの絵文字からなる末尾表現が対応付けられている。なお、この対応末尾表現データベースは予め構築しておき、定期的にユーザの末尾部分の使用回数などに応じて更新するとよい。
そして、送信メッセージを構成する本文に含まれるキーワードとの対応関係を有する末尾表現を示すアイコンを末尾部分の候補として表示部105に表示して提示する。図13の例では、送信メッセージの本文は「帰ります」でありキーワード「帰」が含まれているので、キーワード「帰」に対応した末尾表現が末尾部分の候補として表示部105に表示されて提示されている。
次に図14のフローチャートを参照して第2の方法を実現するための処理について説明する。
まずステップS501でユーザにより選択された本文にキーワードが含まれているかが判定される。本文にキーワードが含まれているか否かは、複数のキーワードを格納した対応末尾表現データベースと本文を比較することにより行うことができる。本文にキーワードが含まれている場合、処理はステップS502からステップS503に進む(ステップS502のYes)。
そしてステップS503でキーワードに対応付けられた複数の末尾表現を末尾部分の候補として表示部105にアイコンとして表示して提示する。なお、アイコンによる表示は一例であり、末尾部分の候補の表示はアイコンに限定されるものではない。
一方、本文にキーワードが含まれていない場合、処理はステップS502からステップS504に進む(ステップS502のNo)。そしてステップS504で、キーワードに対応付けられた末尾部分ではなく、他の方法、例えば標準テンプレートで末尾表現を末尾部分の候補として表示部105に表示して提示する。
この第2の方法によれば、送信メッセージの本文中のキーワードとの対応関係を有する末尾部分の候補をユーザに提示することができる。
[1−5−3.末尾部分の候補を決定する第3の方法]
次に末尾部分の候補を決定する方法の第3の方法について説明する。第3の方法は本文と過去の送信済メッセージとの類似度に基づいて末尾部分の候補を決定するものである。図15のフローチャートを参照して第3の方法を実現するための処理について説明する。
まずステップS601で、図16に示すように過去の送信履歴にある複数の送信済メッセージを本文との類似度が高い順にソートする。図16Aでは2つの本文の候補からユーザに選択された本文は「帰ります」であるとし、その本文との類似度はTF−IDFのCOS類似度にて算出するものとする。なお、過去の送信履歴を保持しておく機能は端末装置100が備える一般的な各種メッセージ機能が通常備えている機能であるため、処理はその保持された送信履歴を参照して行えばよい。
次にステップS602で、類似度が高さのN番目の送信済メッセージを選択する。なお、Nの初期値は1である。よって、まず送信済メッセージは類似度が最も高いものが選択される。次にステップS603で選択した送信済メッセージを本文と末尾部分に分ける。この送信済メッセージを本文と末尾部分に分ける手法は、図12を参照して説明した上述の手法を使用することができる。
次にステップS604で分けられた末尾部分が末尾表現データベース206にある複数の末尾表現のいずれかと一致するか否かが判定される。一致する場合、処理はステップS604からステップS605に進む(ステップS604のYes)。そしてステップS605で一致した末尾表現を末尾部分の候補として決定する。
次にステップS606でM個(Mは予め定められた、表示部105に表示して提示する末尾候補の数)の末尾部分の候補を決定したか、または、全ての送信済メッセージに対して処理を行ったか否かが判定される。いずれかを満たす場合処理は終了となる(ステップS606のYes)。処理を終了とするのは、M個の末尾部分の候補を決定した場合には表示部105に表示する末尾部分の候補を全て決定したため、それ以上処理を行う必要はないからである。また、全ての送信済メッセージに対して処理を行った場合には仮に表示部105に表示できる末尾候補の数に達していなくてもそれ以上処理を行うことはできないからである。
ステップS606でいずれも満たさない場合、処理はステップS607に進む(ステップS606のNo)。そしてステップS607でNをインクリメントして、処理はステップS602に進む。Nがインクリメントされたので次の処理はN=2、すなわち類似度が2番目に高い送信済メッセージに対して行われる。そして処理はステップS606の条件を満たすまでステップS602乃至ステップS606が繰り返される。なお、ステップS604において末尾部分が末尾表現データベース206の末尾表現のいずれにも一致しない場合も処理はステップS607に進む(ステップS604のNo)。
図16Bの例では、本文「帰ります」に類似している送信済メッセージである「帰る!」、「帰ります〜」、「帰ろうかな・・・」の末尾部分が候補として表示部105に表示されて提示されている。
この第3の方法によれば送信メッセージに類似する過去の送信済メッセージにおいて使用された末尾部分の候補がユーザに提示されるので、ユーザは過去に送信したメッセージと同様の末尾部分が付加された送信メッセージを容易に作成することができる。
[1−5−4.末尾部分の候補を決定する第4の方法]
次に末尾部分の候補を決定する第4の方法について説明する。第4の方法はメッセージの送受信相手とユーザの関係性に基づいて決定するものである。
例えば、メッセージの送受信相手がユーザの家族、友人という関係性である場合、絵文字からなる末尾表現を末尾部分の候補として表示部105に表示して提示する。一方、例えば、メッセージの送受信相手がユーザと職場の上司という関係性である場合、絵文字ではなく、相応の記号からなる末尾表現を末尾部分の候補として表示部105に表示して提示する。
これを実現するためには、図17に示すように末尾表現データベース206において送受信相手のユーザとの関係性と末尾表現を予め対応付けておき、それぞれの関係性に対応した末尾表現のみを末尾部分の候補として表示部105に表示すればよい。
送信メッセージの送信先とユーザの関係性は端末装置100が保持するアドレス情報、メッセージの送受信履歴などを参照して判断することができる。また、過去のメッセージの送受信履歴を宛先で絞り込んで送信相手の関係性を把握することもできる。
この第4の方法によれば、例えば一般的に絵文字がついたメッセージを送るべきではない上司に誤って絵文字付きのメッセージを送ってしまう、というようなことを防止することができる。
[1−5−5.末尾部分の候補を決定する第5の方法]
次に末尾部分の候補を決定する第5の方法について説明する。第5の方法は末尾部分の候補を感情の円環モデルに基づいて決定するものである。感情の円環モデルとしては例えばラッセル(Russell)の円環モデルを使用することができる。図18Aに示すように、ラッセルの円環モデルとは、人の覚醒と鎮静、快と不快のバランスを2次元の軸に対応させて把握するものである。図18Aにおける感情の円環モデルと対応させた絵文字(末尾表現)は予め円環モデルの人の覚醒と鎮静、快と不快に対して絵文字が表す感情を対応させた一例である。末尾部分候補決定部205はこの円環モデルと末尾表現の対応情報に基づいて末尾部分の候補を決定する。
そして、ラッセルの円環モデルに基づいて末尾表現を示すアイコンを末尾部分の候補として表示部105に表示させると図18Bに示すようになる。ラッセルの円環モデルで示される感情は関連する感情が近くに配置されるため、この第5の方法によればユーザはより直感的に末尾部分の候補を選択して送信メッセージを作成することができる。なお、アイコンによる表示は一例であり、末尾部分の候補の表示はアイコンに限定されるものではない。
[1−5−6.末尾部分の候補を決定する第6の方法]
次に末尾部分の候補を決定する第6の方法について説明する。第6の方法はセンサ情報に基づいて取得することができる送受信相手の状態に基づいて決定するものである。
第6の方法では末尾部分候補決定部205はユーザがメッセージの送受信相手からメッセージとともに送信された送受信相手の状態を現す情報(以下、状態情報と称する。)に基づいて末尾部分の候補を決定する。
状態情報はセンサ情報から取得することができるものであり、この第6の方法を実施するためには少なくとも送受信相手の端末装置は心拍センサ、発汗センサ、脈波センサ、体温センサ、表情認識センサなど生体センサを備えているか、外部装置としてのそれらの生体センサからセンサ情報を取得する必要がある。
図19のフローチャートは送受信相手の端末装置における処理を示すフローチャートである。まずステップS701で送受信相手のセンサ情報を取得する。次にステップS702でセンサ情報から送受信相手の状態情報を算出する。そしてステップS703でメッセージと合わせて状態情報をユーザの端末装置100に送信する。
センサ情報から状態情報を取得する方法としては、感情の次元円環モデルに基づく方法がある。例えば、発汗センサで得られる皮膚電気反応から覚醒、鎮静の度合いを得ることができる。覚醒時には精神性発汗を生じるため抵抗値が下がることを利用する。また、脈波センサで得られる脈波(指尖容積脈波)から快、不快の度合いを得ることができる。不快刺激時の脈波振幅値は快刺激時よりも高くなることを利用する。
例えば皮膚電気反応と脈波のセンシングを組み合わせることで、皮膚電気反応が強く覚醒を示しており、脈波が弱い快を示した場合には、「警戒」や「興奮」の感情を示すと解釈することができる。心電図よりR−R感覚変動を測定することにより、覚醒、鎮静を検知するといった方法もあるため、上記に限定されず他の組み合わせ方もありうる。
図20は皮膚電気反射に基づいて状態情報としての覚醒の度合い(以下、覚醒度LVaroと称する。aroはarousalの意味である。)を算出する処理を示すフローチャートである。覚醒度LVaroを算出する処理で使用するT、THaro_7〜THaro_1は定数であり適切に設定する必要がある。例えば、T=600, THaro_i=i*5+30となる。また、例えば、THaro_7=7*5+30=65となる。
まずステップS801で皮膚インピーダンスの波形をFIR(Finite Impulse Response)フィルタにかける。次にステップS802で過去T[sec]の波形を切り出す。次にステップS803で凸波形の発言個数nを算出する。
次にステップS804で、n≧THaro_7であるか否かが判定される。n≧THaro_7である場合処理はステップS805に進み(ステップS804のYes)、覚醒度LVaro=8と算出する。
一方、ステップS804で、n≧THaro_7ではない場合処理はステップS806に進み(ステップS804のNo)、ステップS806で、n≧THaro_6であるか否かが判定される。n≧THaro_6である場合処理はステップS807に進み(ステップS806のYes)、覚醒度LVaro=7と算出する。このようにn≧THaro_iではない限りTHaro_iのiを小さくしていき比較判定を繰り返す。
そしてステップS808で、n≧THaro_1である場合、処理はステップS809に進み(ステップS808のYes)、覚醒度LVaro=2と算出し、n≧THaro_1ではない場合処理はステップS810に進み(ステップS808のNo)、覚醒度LVaro=1と算出する。このようにして覚醒度LVaroを算出することができる。
次に図21のフローチャートを参照して、脈波に基づいて状態情報として快、不快の度合い(以下、快不快度LVvalと称する。valはvalenceの意味である。)を算出する処理を説明する。快不快度LVvalを算出する処理で使用するT、THval_7〜THval_1は定数であり適切に設定する必要がある。例えば、THval_i=i*0.15+0.25となる。また、例えば、THval_7=7*0.15+0.25=1.3となる。
まずステップS901で脈波波形をFIRフィルタにかける。次にステップS902でTHwを下回る2点間を1波形として切り出す。次にステップS903で不整脈および突発変化を除去する。次にステップS904で始点の振幅と最大振幅値の差YbAを算出する。次にステップS905でキャリブレーション時のYbCで除して相対値Ybを算出する。
次にステップS906で相対値Yb≧THval_7であるかが判定される。Yb≧THval_7である場合処理はステップS907に進み(ステップS906のYes)、快不快度LVval=8と算出する。
一方、ステップS906で相対値Yb≧THval_7ではない場合処理はステップS908に進み(ステップS906のNo)、ステップS908で相対値Yb≧THval_6であるか否かが判定される。Yb≧THval_6である場合処理はステップS909に進み(ステップS908のYes)、快不快度LVval=7と算出する。
このように相対値Yb≧THval_iではない限りTHval_iのiを小さくしていき比較判定を繰り返す。
そして、ステップS910で、Yb≧THval_1である場合処理はステップS911に進み(ステップS910のYes)、快不快度LVval=2と算出する。一方、ステップS910でYb≧THval_1でない場合処理はステップS912に進み(ステップS910のNo)、快不快度LVval=1と算出する。このようにして快不快度LVvalを算出することができる。
次に図22のフローチャートと図23に円環モデルを参照して、状態情報としての覚醒度LVaroおよび快不快度LVvalに基づいて末尾部分の候補を決定する処理について説明する。この処理は、送受信相手の装置から送信された状態情報を受信したユーザの端末装置100で動作する情報処理装置200における末尾部分候補決定部205による処理である。予め図23に示すように感情の円環モデルと絵文字とを対応付けておくものとする。なお、覚醒度LVaroおよび快不快度LVvalの比率に基づいて絵文字を円環モデルにマッピングするためにはatanを用いている。配置する際は、覚醒度LVaroおよび快不快度LVvalの比率に従い、最も近い感情を示す絵文字から順に配置する。
まずステップS1001で快不快度を用いて、x=LVval−4でxを算出する。次にステップS1002でx<0であるか否かを判定する。x<0である場合処理はステップS1003に進み(ステップS1002のYes)、x=x−1、としてxを算出する。
ステップS1003の後およびステップS1002でx<0ではない場合共に次にステップS1004で、y=LVaro−4でyを算出する。次にステップS1005でy<0であるか否かを判定する。y<0である場合処理はステップS1006に進み(ステップS1005のYes)、x=x−1、としてyを算出する。
ステップS1006の後およびステップS1005でx<0ではない場合共に次にステップS1007で、θ=atan2(y,x)からθを算出する。次にステップS1008で、k=0〜15に対して、θ−θkの絶対値の値をスコアとして算出する。
そしてステップS1009で、図23に示すようにスコアが小さいkに対応する末尾表現を末尾部分の候補として決定する。
なお、図22のフローチャートのステップ1001乃至ステップ1003は快不快度LVvalの値と円環モデルを対応させるための座標の調整処理にあたるものである。ステップ1004乃至ステップ1006は覚醒度LVaroの値と円環モデルを対応させるための座標の調整処理にあたるものである。
このようにして覚醒度LVaroおよび快不快度LVvalに基づいてユーザの状態と顔の表情を現した絵文字を対応させることができる。ただし、図23に示した対応関係はあくまで一例であり、本技術がその対応関係に限定されるものではない。
絵文字の円環モデルへのマッピングの仕方を変えることで例えば、覚醒度もしくは快不快度のいずれか一方のみを一軸で配置することもできる。
図24のフローチャートはユーザの端末装置100で動作する情報処理装置200における処理を示すフローチャートである。図24のフローチャートにおいて図6のフローチャートと同様の処理は同じステップ番号を援用して説明を省略する。
まずステップS1001で送受信相手からのメッセージと状態情報を受信する。そして本文の候補の表示とユーザからの本文の候補の選択があったとステップS1002で状態情報に基づいて円環モデルを参照して末尾部分の候補を決定する。そしてステップS1003で状態情報に基づいて決定された末尾部分の候補が表示部105に表示される。
この第6の方法によれば、例えば送受信相手の感情の状態に合わせた末尾部分を付加した送信メッセージを容易に作成して送信することができる。なお、上述の説明では送受信相手の端末装置100側で状態情報を取得してユーザの端末装置100にメッセージと共に送信していた。しかし、送受信相手の端末装置100で取得したセンサ情報をメッセージと共にユーザの端末装置100に送信し、情報処理装置200がセンサ情報から状態情報を取得するようにしてもよい。
なお、この第6の方法は、送受信相手だけでなく、端末装置100のユーザの状態情報に基づいても実行することができる。
[1−5−7.末尾部分の候補を決定する第7の方法]
次に末尾部分の候補を決定する第7の方法について説明する。第7の方法はユーザの端末装置100が備えるセンサにより取得されるセンサ情報に基づいて決定するものである。
図25は第7の方法を実施するための端末装置300の構成を示すブロック図である。端末装置300は生体センサ301、位置センサ302、動きセンサ303を備えている。
生体センサ301は、ユーザの生体情報を取得することができる各種センサであり、例えば、心拍センサ、血圧センサ、発汗センサ、温度センサなどである。これら以外にもユーザの生体情報を取得できるセンサであればどのようなものでもよい。
位置センサ302は、GPS(Global Positioning System)、GNSS(Global Navigation Satellite System)、Wi−Fi、SLAM(Simultaneous Localization and Mapping)など、ユーザの位置を検出することができるセンサである。これら以外にもユーザの位置を検出できるセンサであればどのようなものでもよい。
動きセンサ303は、加速度センサ、角速度センサ、ジャイロセンサ、地磁気センサ、気圧センサなどユーザの動き(動く速度、動きの種類など)を検出することができるセンサである。これら以外にもユーザの動きを検出できるセンサであればどのようなものでもよい。
なお、情報処理装置200が生体センサ301、位置センサ302、動きセンサ303を備える構成であってもよい。さらに、外部のセンサ装置からセンサ情報を端末装置が習得する構成であってもよい。
情報処理装置200の末尾部分候補決定部205は、上述した各種センサからのセンサ情報に基づいて末尾部分の候補を決定する。これには例えば図26に示すように、予め末尾表現データベース206において生体センサ301による生体情報、位置センサ302による位置情報、動きセンサ303による動きセンサのそれぞれに末尾表現を対応付けておく必要がある。生体情報と末尾表現の対応は上述した第6の方法における方法で行ってもよい。
図26の例では、位置情報「自宅」に対する家の絵文字、位置情報「職場」に対するビルの絵文字、位置情報「東京タワー」に対する東京タワーの絵文字などが対応付けられている。また、動き情報で示される動く速度と絵文字を対応させている。例えば、ユーザの移動速度が所定の第1の速度以下の場合にはユーザは歩いているとして歩く人の絵文字、ユーザの移動速度が所定の第2の速度以上第3の速度以下の場合にはユーザは走っているとして走る人の絵文字、ユーザの移動速度が所定の第3の速度以上の場合にはユーザは乗り物で移動しているとして車、電車などの絵文字を対応させている。また、加速度センサや角速度センサ、地磁気センサ、気圧センサ等のセンサデータから機械学習を用いてユーザの行動を認識し、その行動と絵文字などを対応させてもよい。
そして、末尾部分候補決定部205は生体センサ301、位置センサ302、動きセンサ303から取得したセンサ情報に基づいて末尾表現データベース206を参照してセンサ情報に対応した末尾表現を末尾部分の候補として決定する。
例えば、状態情報、位置情報、動き情報から「ユーザは東京タワーの近くを歩いて移動しており、感情は『喜び』である」ことが認識された場合、図27に示すように東京タワーの絵文字、歩いている絵文字、笑顔の絵文字が優先的に表示部105に表示される。
この第7の方法によれば、ユーザが送信メッセージを作成する際の状態に応じた末尾部分を付加した送信メッセージを容易に作成することができる。
[1−5−8.末尾部分の候補を決定する第8の方法]
次に末尾部分の候補を決定する第8の方法について説明する。第8の方法は音声認識機能により決定された本文に応じて決定するものである。
図28は第8の方法を実施するための情報処理装置400の構成を示すブロック図である。情報処理装置400は音声認識部401を備える。音声認識部401は公知の音声認識機能によりマイクロホン106を介して入力された音声を認識して本文となる文字列を決定するものである。決定された本文は図29Aに示すように表示部105に表示される。なお、この第8の方法では音声認識部401で認識された文字列が本文となるため、本文の候補を表示部105に表示させる必要はない。
末尾部分候補決定部205は、音声認識部401により決定された本文に付加する末尾部分の候補を決定する。なお、末尾部分の候補の決定は上述した第1乃至第7の方法を使用することができる。決定された末尾部分の候補は図29Bに示すように表示部105に本文を略中心として円環状に表示される。そして、ユーザによりいずれかの末尾部分の候補が選択されるとその末尾部分を付加した送信メッセージが生成されて図29Cに示すように送信される。
この第8の方法によれば、音声入力により決定された本文に対しても末尾部分を付加してメッセージを作成することができる。また一般的に、特殊文字などは音声入力での入力は行えないが本技術によれば音声入力のメッセージにも特殊文字等を含めることができる。
なお、近年、音声から人物の感情を推定する技術が実用化されている。入力された音声データから音のピッチ(高さ)、イントネーション、リズム、ポーズなどの韻律を中心とした特徴量を抽出し、一般的な機械学習手法によって生成した感情認識モデルに基づいて状態情報を出力する。特徴量を抽出する部分も含めて深層学習などの手法を用いても良い。
<2.変形例>
以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
本技術は日本語以外の外国語のメッセージにも適用することができる。なお、末尾部分については図30に示すように各言語、各国の文化などに合わせてローカライズする必要が生じる場合がある。
端末装置100は時計型ウェアラブルデバイスに限らず、メガネ型など他のウェアラブルデバイスでもよい。メガネ型ウェアラブルデバイスの場合は視線入力で本技術を利用できるようにするとよい。
また、端末装置100は、スマートフォン、タブレット端末、パーソナルコンピュータ、携帯ゲーム機、プロジェクタなどメッセージの作成を行う事が可能な装置であればどのような装置でもよい。例えば、スマートフォンやタブレット端末に本技術を適用した場合、必ずしも図7に示したように円環状に末尾部分の候補を示すアイコンを表示させる必要はなく、少ない面積でより多くのアイコンを配置でき、かつ、視認性が高い表示方法であればどのような配置でもよい。端末装置100の表示部105が円形状である場合、円環状にアイコンを配置させてもよいし、表示部105が四角形上である場合には四角形状にアイコンを配置させてもよい。なお、表示部105の形状とアイコンの配置形状は一致していなくてもよい。例えば、表示部105が四角形状である場合に本文を囲むようにアイコンを円環状に配置してもよい。本技術によれば、末尾部分の候補を無作為に大量に表示させるのではなく、ユーザが作成するメッセージに合った末尾部分の候補を表示させるので、末尾部分の候補を表示させる領域が小さくてすみ、他の、例えばメッセージを表示する領域などを大きくすることができる。
表示部105と入力部104は一体的に構成されたいわゆるタッチパネルに限定されるものではない。表示部105と入力部104が別体として構成されていてもよく、例えば表示部105としてのディスプレイと入力部104としてのいわゆるタッチパッドやマウスなどを用いてもよい。
本文の候補は2択として表示部105に表示されると説明したが本文の候補は2択に限られるものではなく3択以上であってもよい。また、選択ではなく、ユーザが直接入力した本文に付加する末尾部分についても本技術は適用可能である。さらに、受信したメッセージに対する返信メッセージだけでなく、受信メッセージを前提としない送信メッセージの作成にも適用可能である。
実施の形態で説明した、第1乃至第8の末尾部分の候補の決定方法はそれぞれ独立ではなく組み合わせて使用してもよい。
本技術は以下のような構成も取ることができる。
(1)
本文の末尾に付加されることにより前記本文とともに送信メッセージを構成する末尾部分の複数の候補を決定する末尾部分候補決定部
を備える情報処理装置。
(2)
前記末尾部分の候補は、過去の使用回数に基づいて決定される(1)に記載の情報処理装置。
(3)
前記末尾部分の候補は、前記本文中のキーワードとの対応関係に基づいて決定される(1)または(2)に記載の情報処理装置。
(4)
前記末尾部分の候補は、前記本文と送信済のメッセージとの類似度に基づいて決定される(1)から(3)のいずれかに記載の情報処理装置。

(5)
前記末尾部分の候補は、前記ユーザの状態に基づいて決定される(1)から(4)のいずれかに記載の情報処理装置。
(6)
前記末尾部分は、特殊文字を含んで構成される
請求項1に記載の情報処理装置。
(7)
前記特殊文字は、記号文字、図形を示す文字、絵文字および顔文字の少なくとも1つを含む(6)に記載の情報処理装置。
(8)
前記本文は、前記ユーザに提示された複数の前記本文の候補の中から選択された文である(1)から(7)のいずれかに記載の情報処理装置。
(9)
前記本文は、音声認識により音声に基づいて決定されて提示された文である(1)から(8)のいずれかに請求項1に記載の情報処理装置。
(10)
前記本文および前記末尾部分の候補を端末装置の表示部において表示させる表示制御部を備える(1)から(9)のいずれかに記載の情報処理装置。
(11)
前記末尾部分の候補は、前記表示部においてアイコンとして表示される(10)に記載の情報処理装置。
(12)
複数の前記アイコンは前記本文の周囲に配置されて表示される(11)に記載の情報処理装置。
(13)
前記アイコンは、前記末尾部分の使用回数の順位、感情の円環モデル、前記本文中のキーワードとの対応関係に基づいて表示される(11)または(12)に記載の情報処理装置。
(14)
前記表示部において、前記末尾部分の候補を示す前記アイコンと同様の表示態様で前記本文に前記末尾部分を付加しない指示を示すアイコンが表示される(13)に記載の情報処理装置。
(15)
前記表示部はタッチパネル機能を備え、前記表示部への一回の接触で、複数の前記本文の候補から1つの前記本文を選択する操作と、複数の前記末尾部分の候補から1つの前記末尾部分を選択する操作とを連続して行う(12)から(14)のいずれかに記載の情報処理装置。
(16)
前記端末装置はウェアラブルデバイスである(12)から(15)のいずれかに記載の情報処理装置。
(17)
前記本文に前記末尾部分を付加して前記送信メッセージを生成するメッセージ生成部を備える(1)から(16)のいずれかに記載の情報処理装置。
(18)
本文の末尾に付加されることにより前記本文とともに送信メッセージを構成する末尾部分の複数の候補を決定する情報処理方法。
(19)
本文の末尾に付加されることにより前記本文とともに送信メッセージを構成する末尾部分の複数の候補を決定する情報処理方法をコンピュータに実行させる情報処理プログラム。
100・・・端末装置
200・・・情報処理装置
205・・・末尾部分候補決定部
207・・・メッセージ生成部
208・・・表示制御部

Claims (19)

  1. 本文の末尾に付加されることにより前記本文とともにメッセージを構成する末尾部分の複数の候補を決定する末尾部分候補決定部
    を備える情報処理装置。
  2. 前記末尾部分の候補は、過去の使用回数に基づいて決定される
    請求項1に記載の情報処理装置。
  3. 前記末尾部分の候補は、前記本文中のキーワードとの対応関係に基づいて決定される
    請求項1に記載の情報処理装置。
  4. 前記末尾部分の候補は、前記本文と送信済のメッセージとの類似度に基づいて決定される
    請求項1に記載の情報処理装置。
  5. 前記末尾部分の候補は、前記ユーザおよび前記メッセージの送受信相手の少なくとも1つの状態に基づいて決定される
    請求項1に記載の情報処理装置。
  6. 前記末尾部分は、特殊文字を含んで構成される
    請求項1に記載の情報処理装置。
  7. 前記特殊文字は、記号文字、図形を示す文字、絵文字および顔文字の少なくとも1つを含む
    請求項6に記載の情報処理装置。
  8. 前記本文は、前記ユーザに提示された複数の前記本文の候補の中から選択された文である
    請求項1に記載の情報処理装置。
  9. 前記本文は、音声認識により音声に基づいて決定されて提示された文である
    請求項1に記載の情報処理装置。
  10. 前記本文および前記末尾部分の候補を端末装置の表示部において表示させる表示制御部を備える
    請求項1に記載の情報処理装置。
  11. 前記末尾部分の候補は、前記表示部においてアイコンとして表示される
    請求項10に記載の情報処理装置。
  12. 複数の前記アイコンは前記本文の周囲に配置されて表示される
    請求項11に記載の情報処理装置。
  13. 前記アイコンは、前記末尾部分の使用回数の順位、感情の円環モデル、前記本文中のキーワードとの対応関係に基づいて表示される
    請求項11に記載の情報処理装置。
  14. 前記表示部において、前記末尾部分の候補を示す前記アイコンと同様の表示態様で前記本文に前記末尾部分を付加しない指示を示すアイコンが表示される
    請求項13に記載の情報処理装置。
  15. 前記表示部はタッチパネル機能を備え、前記表示部への一回の接触で、複数の前記本文の候補から1つの前記本文を選択する操作と、複数の前記末尾部分の候補から1つの前記末尾部分を選択する操作とを連続して行う
    請求項12に記載の情報処理装置。
  16. 前記端末装置はウェアラブルデバイスである
    請求項12に記載の情報処理装置。
  17. 前記本文に前記末尾部分を付加して前記メッセージを生成するメッセージ生成部を備える
    請求項1に記載の情報処理装置。
  18. 本文の末尾に付加されることにより前記本文とともにメッセージを構成する末尾部分の複数の候補を決定する
    情報処理方法。
  19. 本文の末尾に付加されることにより前記本文とともにメッセージを構成する末尾部分の複数の候補を決定する
    情報処理方法をコンピュータに実行させる情報処理プログラム。
JP2020572214A 2019-02-14 2020-02-07 情報処理装置、情報処理方法および情報処理プログラム Pending JPWO2020166495A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019024161 2019-02-14
JP2019024161 2019-02-14
PCT/JP2020/004721 WO2020166495A1 (ja) 2019-02-14 2020-02-07 情報処理装置、情報処理方法および情報処理プログラム

Publications (1)

Publication Number Publication Date
JPWO2020166495A1 true JPWO2020166495A1 (ja) 2021-12-23

Family

ID=72045346

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020572214A Pending JPWO2020166495A1 (ja) 2019-02-14 2020-02-07 情報処理装置、情報処理方法および情報処理プログラム

Country Status (4)

Country Link
US (1) US20220121817A1 (ja)
JP (1) JPWO2020166495A1 (ja)
CN (1) CN113366483A (ja)
WO (1) WO2020166495A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112148133B (zh) * 2020-09-10 2024-01-23 北京百度网讯科技有限公司 确定推荐表情的方法、装置、设备和计算机存储介质

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001056792A (ja) * 1999-08-19 2001-02-27 Casio Comput Co Ltd 電子メール装置及び電子メール処理プログラムを記憶した記憶媒体
US7874983B2 (en) * 2003-01-27 2011-01-25 Motorola Mobility, Inc. Determination of emotional and physiological states of a recipient of a communication
US8271902B1 (en) * 2006-07-20 2012-09-18 Adobe Systems Incorporated Communication of emotions with data
JP2009110056A (ja) * 2007-10-26 2009-05-21 Panasonic Corp 通信装置
US8584031B2 (en) * 2008-11-19 2013-11-12 Apple Inc. Portable touch screen device, method, and graphical user interface for using emoji characters
WO2013094982A1 (ko) * 2011-12-18 2013-06-27 인포뱅크 주식회사 정보처리 방법 및 시스템과 기록매체
KR20130069263A (ko) * 2011-12-18 2013-06-26 인포뱅크 주식회사 정보처리 방법 및 시스템과 기록매체
US9207755B2 (en) * 2011-12-20 2015-12-08 Iconicast, LLC Method and system for emotion tracking, tagging, and rating and communication
IN2013CH00469A (ja) * 2013-01-21 2015-07-31 Keypoint Technologies India Pvt Ltd
CN103777891A (zh) * 2014-02-26 2014-05-07 全蕊 消息尾部插入表情发送的方法
CN105204758A (zh) * 2014-06-30 2015-12-30 展讯通信(上海)有限公司 一种用于触屏设备的拼音输入方法及系统
US9043196B1 (en) * 2014-07-07 2015-05-26 Machine Zone, Inc. Systems and methods for identifying and suggesting emoticons
EP3167380A1 (en) * 2014-07-07 2017-05-17 Machine Zone, Inc. System and method for identifying and suggesting emoticons
KR20160105321A (ko) * 2015-02-27 2016-09-06 임머숀 코퍼레이션 사용자의 무드에 기초하는 액션 생성
US10965622B2 (en) * 2015-04-16 2021-03-30 Samsung Electronics Co., Ltd. Method and apparatus for recommending reply message
US20180077095A1 (en) * 2015-09-14 2018-03-15 X Development Llc Augmentation of Communications with Emotional Data
US10445425B2 (en) * 2015-09-15 2019-10-15 Apple Inc. Emoji and canned responses
US9665567B2 (en) * 2015-09-21 2017-05-30 International Business Machines Corporation Suggesting emoji characters based on current contextual emotional state of user
US20170308290A1 (en) * 2016-04-20 2017-10-26 Google Inc. Iconographic suggestions within a keyboard
US10168859B2 (en) * 2016-04-26 2019-01-01 International Business Machines Corporation Contextual determination of emotion icons
EP4311201A3 (en) * 2016-05-18 2024-03-20 Apple Inc. Devices, methods, and graphical user interfaces for messaging
US20170344224A1 (en) * 2016-05-27 2017-11-30 Nuance Communications, Inc. Suggesting emojis to users for insertion into text-based messages
CN106372059B (zh) * 2016-08-30 2018-09-11 北京百度网讯科技有限公司 信息输入方法和装置
KR20180026983A (ko) * 2016-09-05 2018-03-14 삼성전자주식회사 전자 장치 및 그 제어 방법
EP3534274A4 (en) * 2016-10-31 2019-10-30 Sony Corporation INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD
KR20180072971A (ko) * 2016-12-22 2018-07-02 엘지전자 주식회사 이동단말기 및 그 제어방법
US11884205B2 (en) * 2018-01-10 2024-01-30 Mod Worldwide, Llc Messaging system
US20200110794A1 (en) * 2018-10-03 2020-04-09 International Business Machines Corporation Emoji modification
KR20220041624A (ko) * 2020-09-25 2022-04-01 삼성전자주식회사 전자 장치의 이모지 추천 방법 및 그 전자 장치

Also Published As

Publication number Publication date
WO2020166495A1 (ja) 2020-08-20
CN113366483A (zh) 2021-09-07
US20220121817A1 (en) 2022-04-21

Similar Documents

Publication Publication Date Title
US10803389B2 (en) Apparatus and method for determining user's mental state
CN111901481B (zh) 计算机实现的方法、电子设备和存储介质
US11386892B2 (en) Voice assistant discoverability through on-device targeting and personalization
US20220148587A1 (en) Determining suggested subsequent user actions during digital assistant interaction
CN113256768A (zh) 将文本用作头像动画
CN102986201B (zh) 用户接口
JP2021504843A (ja) マルチターンキャンドダイアログ
KR20200070436A (ko) 사용자-특정 음향 모델
CN108093126A (zh) 用于拒绝来电的智能数字助理
WO2015178078A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN114374661A (zh) 即时消息环境中的智能自动化助理
JP2019008570A (ja) 情報処理装置、情報処理方法及びプログラム
US20170228363A1 (en) Information processing device, method of information processing, and program
KR20190052162A (ko) 디지털 어시스턴트의 동기화 및 태스크 위임
US20210089126A1 (en) Smart Ring
US11755111B2 (en) Spatially aware computing hub and environment
Min et al. Mobile human network management and recommendation by probabilistic social mining
US11824821B2 (en) Modifying an avatar to reflect a user's expression in a messaging platform
US20230185364A1 (en) Spatially Aware Computing Hub and Environment
WO2020166495A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
KR102123059B1 (ko) 사용자-특정 음향 모델
CN111399714A (zh) 用户活动快捷方式建议
CN111524506B (zh) 维护个人信息的隐私的自然语言输入的客户端服务器处理
US20220222955A1 (en) Context-based shape extraction and interpretation from hand-drawn ink input
KR102425473B1 (ko) 온-디바이스 목표설정 및 개인화를 통한 음성 어시스턴트 발견가능성

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240405