JP7179512B2

JP7179512B2 - 情報処理方法、情報処理装置、及びプログラム

Info

Publication number: JP7179512B2
Application number: JP2018130880A
Authority: JP
Inventors: 敏紀佐藤; 彩主紀珊瑚
Original assignee: Line Corp
Current assignee: Line Corp
Priority date: 2018-07-10
Filing date: 2018-07-10
Publication date: 2022-11-29
Anticipated expiration: 2038-07-10
Also published as: JP2020009249A

Description

本開示は、情報処理方法、情報処理装置、及びプログラムに関する。

従来、スマートスピーカ等を用いて、ニュース等の所定のコンテンツを読み上げるサービスが知られている。

また、特許文献１には、入力文字列で伝えられるテキスト情報を自動的に理解する方式を提供する技術が開示されている。

特開２０００－０５６９７７号公報

しかしながら、従来技術では、表示用のコンテンツを音声に変換してユーザに伝達する場合、当該ユーザにとって、当該コンテンツの作成者の意図等が分かり難くなる場合があるという問題がある。

本開示は、上記問題に鑑みてなされたものであり、表示用のコンテンツの内容をより適切に音声等により伝達できるようにする技術を提供することを目的とする。

本開示の一実施形態に係る情報処理方法は、情報処理装置が、画像、絵文字、及び顔文字の少なくとも一つのオブジェクトと、テキストとの少なくとも一方を含むコンテンツのコンテキストを判定し、判定したコンテキストに基づいて、前記コンテンツを、音出力用のデータに変換する処理を実行する。

本開示の一実施形態に係る通信システムの構成を示す図である。実施形態に係る通信システムにおけるインスタントメッセージの読み上げ処理のシーケンスの一例を示す図である。実施形態に係る通信システムにおけるＷｅｂサイト等の読み上げ処理のシーケンスの一例を示す図である。コンテンツを音出力用のデータに変換する処理の一例を示すフローチャートである。実施形態に係る変換情報の一例を示す図である。コンテンツに含まれる文の一例を示す図である。コンテンツに含まれる文の一例を示す図である。

＜法的事項の遵守＞
本明細書に記載の開示は、通信の秘密など、本開示の実施に必要な実施国の法的事項遵守を前提とすることに留意されたい。

本開示に係る情報処理方法を実施するための実施形態について、図面を参照して説明する。

＜システム構成＞
図１は、本開示の一実施形態に係る通信システム１の構成を示す図である。図１に開示されるように、通信システム１では、ネットワーク３０を介してサーバ１０と、端末２０（端末２０Ａ，端末２０Ｂ，端末２０Ｃ）とが接続される。サーバ１０は、ネットワーク３０を介してユーザが所有する端末２０に、端末２０間でのメッセージの送受信を実現するサービスを提供する。なお、ネットワーク３０に接続される端末２０の数は限定されない。

ネットワーク３０は、１以上の端末２０と、１以上のサーバ１０とを接続する役割を担う。すなわち、ネットワーク３０は、端末２０がサーバ１０に接続した後、データを送受信することができるように接続経路を提供する通信網を意味する。

ネットワーク３０のうちの１つまたは複数の部分は、有線ネットワークや無線ネットワークであってもよい。ネットワーク３０は、限定でなく例として、アドホック・ネットワーク（ad hoc network）、イントラネット、エクストラネット、仮想プライベート・ネットワーク（virtual private network：ＶＰＮ）、ローカル・エリア・ネットワーク（local area network：ＬＡＮ）、ワイヤレスＬＡＮ（wireless LAN：ＷＬＡＮ）、広域ネットワーク（wide area network：ＷＡＮ）、ワイヤレスＷＡＮ（wireless WAN：ＷＷＡＮ）、大都市圏ネットワーク（metropolitan area network：ＭＡＮ）、インターネットの一部、公衆交換電話網（Public Switched Telephone Network：ＰＳＴＮ）の一部、携帯電話網、ＩＳＤＮ（integrated service digital networks）、無線ＬＡＮ、ＬＴＥ（long term evolution）、ＣＤＭＡ（code division multiple access）、ブルートゥース（Bluetooth（登録商標））、衛星通信など、または、これらの２つ以上の組合せを含むことができる。ネットワーク３０は、１つまたは複数のネットワーク３０を含むことができる。

端末２０（端末２０Ａ，端末２０Ｂ，端末２０Ｃ）は、各実施形態において記載する機能を実現できる情報処理端末であればどのような端末であってもよい。端末２０は、限定ではなく例として、スマートスピーカ（ＡＩ（Artificial Intelligence）スピーカ）、スマートフォン、携帯電話（フィーチャーフォン）、コンピュータ（限定でなく例として、デスクトップ、ラップトップ、タブレットなど）、メディアコンピュータプラットホーム（限定でなく例として、ケーブル、衛星セットトップボックス、デジタルビデオレコーダ）、ハンドヘルドコンピュータデバイス（限定でなく例として、ＰＤＡ・（personal digital assistant）、電子メールクライアントなど）、ウェアラブル端末（メガネ型デバイス、時計型デバイスなど）、または他種のコンピュータ、またはコミュニケーションプラットホームを含む。また、端末２０は情報処理端末と表現されても良い。

端末２０Ａ、端末２０Ｂおよび端末２０Ｃの構成は基本的には同一であるため、以下の説明においては、端末２０について説明する。また、必要に応じて、ユーザXが利用する端末を端末２０Xと表現し、ユーザXまたは端末２０Xに対応づけられた、所定のサービスにおけるユーザ情報をユーザ情報Xと表現する。なお、ユーザ情報とは、所定のサービスにおいてユーザが利用するアカウントに対応付けられたユーザの情報である。ユーザ情報は、限定でなく例として、ユーザにより入力される、または、所定のサービスにより付与される、ユーザの名前、ユーザのアイコン画像、ユーザの年齢、ユーザの性別、ユーザの住所、ユーザの趣味趣向、ユーザの識別子などのユーザに対応づけられた情報を含み、これらのいずれか一つまたは、組み合わせであってもよい。

サーバ１０は、端末２０に対して、所定のサービスを提供する機能を備える。サーバ１０は、各実施形態において記載する機能を実現できる情報処理装置であればどのような装置であってもよい。サーバ１０は、限定でなく例として、サーバ装置、コンピュータ（限定でなく例として、デスクトップ、ラップトップ、タブレットなど）、メディアコンピュータプラットホーム（限定でなく例として、ケーブル、衛星セットトップボックス、デジタルビデオレコーダ）、ハンドヘルドコンピュータデバイス（限定でなく例として、ＰＤＡ、電子メールクライアントなど）、あるいは他種のコンピュータ、またはコミュニケーションプラットホームを含む。また、サーバ１０は情報処理装置と表現されても良い。サーバ１０と端末２０とを区別する必要がない場合は、サーバ１０と端末２０とは、それぞれ情報処理装置と表現されてもよい。

＜ハードウェア（HW）構成＞
図１を用いて、通信システム１に含まれる各装置のHW構成について説明する。

（１）端末のHW構成
端末２０は、制御装置２１（ＣＰＵ：central processing unit（中央処理装置））、記憶装置２８、通信Ｉ／Ｆ２２（インタフェース）、入出力装置２３、表示装置２４、マイク２５、スピーカ２６、カメラ２７を備える。端末２０のHWの各構成要素は、限定でなく例として、バスBを介して相互に接続される。なお、端末２０がスマートスピーカである場合、入出力装置２３、表示装置２４、及びカメラ２７を備えなくてもよい。

通信Ｉ／Ｆ２２は、ネットワーク３０を介して各種データの送受信を行う。当該通信は、有線、無線のいずれで実行されてもよく、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。通信Ｉ／Ｆ２２は、ネットワーク３０を介して、サーバ１０との通信を実行する機能を有する。通信Ｉ／Ｆ２２は、各種データを制御装置２１からの指示に従って、サーバ１０に送信する。また、通信Ｉ／Ｆ２２は、サーバ１０から送信された各種データを受信し、制御装置２１に伝達する。

入出力装置２３は、端末２０に対する各種操作を入力する装置、および、端末２０で処理された処理結果を出力する装置を含む。入出力装置２３は、入力装置と出力装置が一体化していても良いし、入力装置と出力装置に分離していてもよい。

入力装置は、ユーザからの入力を受け付けて、当該入力に係る情報を制御装置２１に伝達できる全ての種類の装置のいずれかまたはその組み合わせにより実現される。入力装置は、限定でなく例として、タッチパネル、タッチディスプレイ、キーボード等のハードウェアキーや、マウス等のポインティングデバイス、カメラ（動画像を介した操作入力）、マイク（音声による操作入力）を含む。

出力装置は、制御装置２１で処理された処理結果を出力することができる全ての種類の装置のいずれかまたはその組み合わせにより実現される。出力装置は、限定でなく例として、タッチパネル、タッチディスプレイ、スピーカ（音声出力）、レンズ（限定でなく例として３D（three dimensions）出力や、ホログラム出力）、プリンターなどを含む。

表示装置２４は、フレームバッファに書き込まれた表示データに従って、表示することができる全ての種類の装置のいずれかまたはその組み合わせにより実現される。表示装置２４は、限定でなく例として、タッチパネル、タッチディスプレイ、モニタ（限定でなく例として、液晶ディスプレイやOELD（organic electroluminescence display））、ヘッドマウントディスプレイ（ＨＤＭ：Head Mounted Display）、プロジェクションマッピング、ホログラム、空気中など（真空であってもよい）に画像やテキスト情報等を表示可能な装置を含む。なお、これらの表示装置２４は、３Dで表示データを表示可能であってもよい。

入出力装置２３がタッチパネルの場合、入出力装置２３と表示装置２４とは、略同一の大きさおよび形状で対向して配置されていても良い。

制御装置２１は、プログラム内に含まれたコードまたは命令によって実現する機能を実行するために物理的に構造化された回路を有し、限定でなく例として、ハードウェアに内蔵されたデータ処理装置により実現される。

制御装置２１は、限定でなく例として、中央処理装置（ＣＰＵ）、マイクロプロセッサ（microprocessor）、プロセッサコア（processor core）、マルチプロセッサ（multiprocessor）、ＡＳＩＣ（application-specific integrated circuit）、ＦＰＧＡ（field programmable gate array）を含む。

記憶装置２８は、端末２０が動作するうえで必要とする各種プログラムや各種データを記憶する機能を有する。記憶装置２８は、限定でなく例として、ＨＤＤ（hard disk drive）、ＳＳＤ（solid state drive）、フラッシュメモリ、ＲＡＭ（random access memory）、ＲＯＭ（read only memory）など各種の記憶媒体を含む。

端末２０は、プログラムＰを記憶装置２８に記憶し、このプログラムＰを実行することで、制御装置２１が、制御装置２１に含まれる各部としての処理を実行する。つまり、記憶装置２８に記憶されるプログラムＰは、端末２０に、制御装置２１が実行する各機能を実現させる。

マイク２５は、音声データの入力に利用される。スピーカ２６は、音声データの出力に利用される。カメラ２７は、動画像データの取得に利用される。

（２）サーバのHW構成
サーバ１０は、制御装置１１（ＣＰＵ）、記憶装置１５、通信Ｉ／Ｆ１４（インタフェース）、入出力装置１２、ディスプレイ１３を備える。サーバ１０のHWの各構成要素は、限定でなく例として、バスBを介して相互に接続される。

制御装置１１は、プログラム内に含まれたコードまたは命令によって実現する機能を実行するために物理的に構造化された回路を有し、限定でなく例として、ハードウェアに内蔵されたデータ処理装置により実現される。

制御装置１１は、代表的には中央処理装置（ＣＰＵ）、であり、その他にマイクロプロセッサ、プロセッサコア、マルチプロセッサ、ＡＳＩＣ、ＦＰＧＡであってもよい。ただし、本開示において、制御装置１１は、これらに限定されない。

記憶装置１５は、サーバ１０が動作するうえで必要とする各種プログラムや各種データを記憶する機能を有する。記憶装置１５は、ＨＤＤ、ＳＳＤ、フラッシュメモリなど各種の記憶媒体により実現される。ただし、本開示において、記憶装置１５は、これらに限定されない。

通信Ｉ／Ｆ１４は、ネットワーク３０を介して各種データの送受信を行う。当該通信は、有線、無線のいずれで実行されてもよく、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。通信Ｉ／Ｆ１４は、ネットワーク３０を介して、端末２０との通信を実行する機能を有する。通信Ｉ／Ｆ１４は、各種データを制御装置１１からの指示に従って、端末２０に送信する。また、通信Ｉ／Ｆ１４は、端末２０から送信された各種データを受信し、制御装置１１に伝達する。

入出力装置１２は、サーバ１０に対する各種操作を入力する装置により実現される。入出力装置１２は、ユーザからの入力を受け付けて、当該入力に係る情報を制御装置１１に伝達できる全ての種類の装置のいずれかまたはその組み合わせにより実現される。入出力装置１２は、代表的にはキーボード等に代表されるハードウェアキーや、マウス等のポインティングデバイスで実現される。なお、入出力装置１２、限定でなく例として、タッチパネルやカメラ（動画像を介した操作入力）、マイク（音声による操作入力）を含んでいてもよい。ただし、本開示において、入出力装置１２は、これらに限定されない。

ディスプレイ１３は、代表的にはモニタ（限定でなく例として、液晶ディスプレイやOELD（organic electroluminescence display））で実現される。なお、ディスプレイ１３は、ヘッドマウントディスプレイ（ＨＤＭ）などであってもよい。なお、これらのディスプレイ１３は、３Dで表示データを表示可能であってもよい。ただし、本開示において、ディスプレイ１３は、これらに限定されない。サーバ１０は、プログラムＰを記憶装置１５に記憶し、このプログラムＰを実行することで、制御装置１１が、制御装置１１に含まれる各部としての処理を実行する。つまり、記憶装置１５に記憶されるプログラムＰは、サーバ１０に、制御装置１１が実行する各機能を実現させる。

本開示の各実施形態においては、端末２０および／またはサーバ１０のＣＰＵがプログラムPを実行することにより、実現するものとして説明する。

なお、端末２０の制御装置２１、および／または、サーバ１０の制御装置１１は、ＣＰＵだけでなく、集積回路（ＩＣ（Integrated Circuit）チップ、ＬＳＩ（Large Scale Integration））等に形成された論理回路（ハードウェア）や専用回路によって各処理を実現してもよい。また、これらの回路は、１または複数の集積回路により実現されてよく、各実施形態に示す複数の処理を１つの集積回路により実現されることとしてもよい。また、ＬＳＩは、集積度の違いにより、ＶＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩなどと呼称されることもある。

また、本開示の各実施形態のプログラムP(ソフトウェアプログラム/コンピュータプログラム)は、コンピュータに読み取り可能な記憶媒体に記憶された状態で提供されてもよい。記憶媒体は、「一時的でない有形の媒体」に、プログラムを記憶可能である。

記憶媒体は適切な場合、１つまたは複数の半導体ベースの、または他の集積回路（ＩＣ）（限定でなく例として、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）または特定用途向けＩＣ（ＡＳＩＣ）など）、ハード・ディスク・ドライブ（ＨＤＤ）、ハイブリッド・ハード・ドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピィ・ディスケット、フロッピィ・ディスク・ドライブ（ＦＤＤ）、磁気テープ、固体ドライブ（ＳＳＤ）、ＲＡＭドライブ、セキュア・デジタル・カードもしくはドライブ、任意の他の適切な記憶媒体、またはこれらの２つ以上の適切な組合せを含むことができる。記憶媒体は、適切な場合、揮発性、不揮発性、または揮発性と不揮発性の組合せでよい。なお、記憶媒体はこれらの例に限られず、プログラムＰを記憶可能であれば、どのようなデバイスまたは媒体であってもよい。

サーバ１０および／または端末２０は、記憶媒体に記憶されたプログラムＰを読み出し、読み出したプログラムＰを実行することによって、各実施形態に示す複数の機能部の機能を実現することができる。

また、本開示のプログラムＰは、当該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して、サーバ１０および／または端末２０に提供されてもよい。サーバ１０および／または端末２０は、限定でなく例として、インターネット等を介してダウンロードしたプログラムＰを実行することにより、各実施形態に示す複数の機能部の機能を実現する。

また、本開示の各実施形態は、プログラムPが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

サーバ１０および／または端末２０における処理の少なくとも一部は、１以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。

端末２０における処理の少なくとも一部を、サーバ１０により行う構成としてもよい。この場合、端末２０の制御装置２１の各機能部の処理のうち少なくとも一部の処理を、サーバ１０で行う構成としてもよい。

サーバ１０における処理の少なくとも一部を、端末２０により行う構成としてもよい。この場合、サーバ１０の制御装置１１の各機能部の処理のうち少なくとも一部の処理を、端末２０で行う構成としてもよい。

明示的な言及のない限り、本開示の実施形態における判定の構成は必須でなく、判定条件を満たした場合に所定の処理が動作されたり、判定条件を満たさない場合に所定の処理がされたりしてもよい。

なお、本開示のプログラムは、限定でなく例として、ActionScript、JavaScript(登録商標)などのスクリプト言語、Objective-C、Java(登録商標)などのオブジェクト指向プログラミング言語、HTML5などのマークアップ言語などを用いて実装される。

＜機能構成＞
（１）端末の機能構成
図１に示すように、端末２０は、制御装置２１により実現される機能として、受付部２１０、制御部２１１、送受信部２１２を有する。

受付部２１０は、端末２０のユーザからの各種操作を受け付ける。受付部２１０は、例えば、ユーザからの音声を受け付ける。

制御部２１１は、サーバ１０により提供される各種のサービスを利用するための処理を行う。制御部２１１は、例えば、サーバ１０により提供されるＳＮＳ（Social Networking Service）におけるインスタントメッセージングサービスを用いて、ユーザにより指定されたコンテンツを、他の端末２０と送受信する。送受信部２１２は、制御部２１１の指示に従い、サーバ１０等とのデータの送受信を行う。

（２）サーバの機能構成
図１に示すように、サーバ１０は、記憶装置１５により、変換情報１５１等を記憶する。変換情報１５１に記憶されるデータについては後述する。

また、図１に示すように、サーバ１０は、制御装置１１により実現される機能として、制御部１１０、音声コマンド処理部１１１、変換部１１２、及び送受信部１１３を有する。

制御部１１０は、インスタントメッセージングサービス、オンラインショッピング、ニュース配信サービス等の各種サービスを端末２０のユーザに提供するための各種処理を行う。制御部１１０は、例えば、複数のアカウントの各ユーザを含むグループにおけるインスタントメッセージの送受信を行う。

音声コマンド処理部１１１は、例えば、ＡＩを用いて、端末２０から受信した音声から音声コマンドを認識し、当該音声コマンドに応じた処理を行う。音声コマンド処理部１１１は、例えば、インスタントメッセージ、及びＷｅｂサイト等のコンテンツの読み上げを行う。

変換部１１２は、音声コマンド処理部１１１の指示に従い、例えば、インスタントメッセージ、ニュース、天気、ＥＣ（Electronic Commerce）サイト等の各種のコンテンツを、音出力用のデータに変換する。また、変換部１１２は、例えば、画像、絵文字、及び顔文字等のオブジェクトを含むコンテンツを、音出力用のデータに変換する。なお、画像には、サーバ１０により提供されるインスタントメッセージングサービスで用いられるイラスト等の画像であるスタンプ（Sticker）も含まれる。ここで、音出力用のデータとしては、ｍｐ３（MPEG-1 Audio Layer-3）等の所定のファイルフォーマットの音声データでもよいし、読み上げ用のテキスト（文字または文字列）のデータでもよい。読み上げ用のテキストデータに変換する場合、例えば、テキストデータに対するタグにより所定のエフェクトが指定されたＸＭＬ（eXtensible Markup Language）形式等のデータでもよい。

送受信部１１３は、制御部１１０または音声コマンド処理部１１１の指示に従い、端末２０とのデータの送受信を行う。

＜処理＞
≪インスタントメッセージの読み上げ処理≫
次に、図２を参照し、実施形態に係る通信システム１におけるインスタントメッセージの読み上げ処理について説明する。図２は、実施形態に係る通信システム１におけるインスタントメッセージの読み上げ処理のシーケンスの一例を示す図である。

なお、図２に示す処理の前に、サーバ１０は、ユーザ認証等を行って端末２０Ａ、及び端末２０Ｂからのログインをそれぞれ受け付け、インスタントメッセージングサービスの利用を端末２０Ａ、及び端末２０Ｂに許可としているものとする。

ステップＳ１において、端末２０Ｂは、端末２０Ｂのアカウント（「第１アカウント」の一例。）、及び端末２０Ａのアカウント（「第２アカウント」の一例。）を含むグループにおけるインスタントメッセージのコンテンツをサーバ１０に送信する。ここで、端末２０Ｂのアカウントは、端末２０Ａのアカウントのユーザの家族、及び知人等のアカウントでもよいし、端末２０Ａのアカウントからフォローがされている事業者のアカウント等でもよい。続いて、サーバ１０の制御部１１０は、当該インスタントメッセージを記憶する（ステップＳ２）。

続いて、端末２０Ａの受付部２１０は、インスタントメッセージの読み上げ操作をユーザから受け付ける（ステップＳ３）。ここで、端末２０Ａの受付部２１０は、ユーザが発話した、例えば、「インスタントメッセージを読んで」等の所定の音声コマンドを受け付けてもよい。なお、ユーザからの操作に応答して読み上げる代わりに、以下のような処理を行うようにしてもよい。まず、サーバ１０は、インスタントメッセージを受信すると、インスタントメッセージの受信通知を端末２０Ａに送信する。そして、端末２０は、受信通知を受信すると、以下のステップＳ４の処理を行う。

また、端末２０Ａの制御部２１１は、例えば、人感センサ、またはユーザが所持するビーコン等からの電波により、ユーザが端末２０Ａの付近に存在することを検知した場合に、以下のステップＳ４の処理を行うようにしてもよい。

続いて、端末２０Ａの送受信部２１２は、端末２０Ａのアカウント宛てのインスタントメッセージの読み上げ要求をサーバ１０に送信する（ステップＳ４）。ここで、読み上げ要求は、例えば、ユーザが発話した音声コマンドの音声データでもよい。

続いて、サーバ１０の変換部１１２は、音声コマンド処理部１１１からの指示により、所定のコンテンツを、音出力用のデータに変換する（ステップＳ５）。ここで、サーバ１０の音声コマンド処理部１１１は、端末２０Ａから受信した音声データから、音声コマンドを認識する。そして、サーバ１０の変換部１１２は、例えば、当該音声コマンドにて指定されたコンテンツを、音出力用のデータに変換する。続いて、サーバ１０の音声コマンド処理部１１１は、当該音出力用のデータを、端末２０Ａに送信する（ステップＳ６）。

続いて、端末２０Ａの制御部２１１は、当該音出力用のデータに基づいて、音声を出力する（ステップＳ７）。ここで、端末２０Ａは、当該音出力用のデータが音響データである場合は、当該音響データを再生して、スピーカに出力させる。また、端末２０Ａは、当該音出力用のデータがテキストデータである場合は、当該テキストデータを音声データに変換し、当該音声データをスピーカに出力させる。これにより、ユーザからの発話の音声に応じて、所定のコンテンツを読み上げて聞かせることができる。それにより、コミュニケーションの効率化（適切化）を図ることができる。

≪Ｗｅｂサイト等の読み上げ処理≫
次に、図３を参照し、実施形態に係る通信システム１におけるＷｅｂサイト等の読み上げ処理について説明する。図３は、実施形態に係る通信システム１におけるＷｅｂサイト等の読み上げ処理のシーケンスの一例を示す図である。

ステップＳ２１において、端末２０Ａの受付部２１０は、ニュース等の読み上げ操作をユーザから受け付ける。ここで、端末２０Ａの受付部２１０は、ユーザが発話した、例えば、「ニュースを教えて」等の所定の音声コマンドを音声認識してもよい。続いて、端末２０Ａの送受信部２１２は、ユーザから要求されたコンテンツの読み上げ要求をサーバ１０に送信する（ステップＳ２２）。

続いて、サーバ１０の音声コマンド処理部１１１は、ユーザから要求されたコンテンツを、外部のＷｅｂサーバ等から取得する（ステップＳ２３）。続いて、サーバ１０の変換部１１２は、当該コンテンツを、音出力用のデータに変換する（ステップＳ２４）。続いて、サーバ１０の音声コマンド処理部１１１は、当該音出力用のデータを、端末２０Ａに送信する（ステップＳ２５）。続いて、端末２０Ａの制御部２１１は、当該音出力用のデータに基づいて、音声を出力する（ステップＳ２６）。

≪変換処理≫
次に、図４を参照し、サーバ１０の変換部１１２による、図２のステップＳ５、及び図３のステップＳ２４の、コンテンツを音出力用のデータに変換する処理について説明する。図４は、コンテンツを音出力用のデータに変換する処理の一例を示すフローチャートである。図５は、実施形態に係る変換情報１５１の一例を示す図である。図６及び図７は、コンテンツに含まれる文の一例を示す図である。

ステップＳ１０１において、変換部１１２は、コンテンツに含まれる画像、絵文字、顔文字等のオブジェクトに応じたエフェクトを決定する。ここで、変換部１１２は、例えば、当該コンテンツに含まれる一つの文の後に位置するオブジェクトに応じたエフェクトを決定する。この場合、変換部１１２は、例えば、句点、スペース、改行、及びコンテンツの終端を示す記号（ＥＯＦ（End Of File）等）が含まれない一連のテキスト、及び画像等のデータを、一つの文であると判定してもよい。なお、変換部１１２は、コンテキストに応じて、ステップＳ１０１からステップＳ１０４の処理を行うようにしてもよい。この場合、変換部１１２は、まず、後述するステップＳ１０５の処理と同様の処理により、コンテキストを判定してもよい。そして、判定したコンテキストに応じた変換情報１５１等を用いて、エフェクト等を決定してもよい。

図５の変換情報１５１の例では、オブジェクトＩＤに対応付けて、表示データ、エフェクト、読み仮名、及び条件が記憶されている。オブジェクトＩＤは、画像、絵文字、顔文字等のオブジェクトの識別情報である。表示データは、当該オブジェクトが表示される場合の画像等のデータである。エフェクトは、当該オブジェクトに応じて出力される効果音、及び当該オブジェクトに関連するテキストが読み上げられる際の喜び、怒り、悲しみ等の感情等のエフェクトである。読み仮名は、当該オブジェクトが読み上げられる場合の読み仮名である。条件は、当該オブジェクトが当該読み仮名で読み上げられる場合の条件である。

図５の変換情報１５１の例では、スタンプＡがエフェクトに変換される場合は、スタンプＡが後に付加された文に対する、星が煌いていることを表現する音等の「効果音Ａ」に変換されることが示されている。また、スタンプＡが読み仮名に変換される場合は、スタンプＡが文中でサ変名詞以外の名詞として用いられている場合は「キラボシ」に変換され、サ変名詞として用いられている場合は「キラキラ」に変換されることが示されている。なお、サ変名詞とは、例えば、動詞の「する」に接続してサ行変格活用の動詞となり得る名詞のことをいう。

また、顔文字Ｂがエフェクトに変換される場合は、顔文字Ｂが付加されたテキストが読み上げられる際に喜びの感情表現を伴う音声合成が行われ、顔文字Ｂが読み仮名に変換される場合は「ヤッター」に変換されることが示されている。また、スタンプＣがエフェクトに変換される場合は、スタンプＣが後ろに付加された文に対するカーン等の「効果音Ｃ」に変換されることが示されている。また、スタンプＣが読み仮名に変換される場合は、スタンプＣが文中でサ変名詞以外の名詞として用いられている場合は「ビール」に変換され、サ変名詞として用いられている場合は「カンパイ」に変換されることが示されている。

なお、変換情報１５１は、スピーカ提供者が設定したものであってもよいし、スピーカ提供者が設定したものを標準としつつ、ユーザが適宜内容を変更・追加したものとしてもよい。

図６の例では、当該コンテンツに含まれる「今日は星が（スタンプＡ）しているな。」という文の後ろに、スタンプＡが付加されている。この場合、変換部１１２は、図５の変換情報１５１を参照し、文の後ろに付加されているスタンプＡを、当該スタンプＡに対応付けられた「効果音Ａ」を用いたエフェクトに変換する。なお、変換部１１２は、エフェクトに変換したオブジェクトを、当該コンテンツから削除してもよいし、削除しなくてもよい。削除しない場合は、後述するステップＳ１０２の処理により、当該オブジェクトは読み仮名に変換される。

続いて、変換部１１２は、当該コンテンツに含まれる画像、絵文字、顔文字等のオブジェクトをテキストに置換する（ステップＳ１０２）。ここで、変換部１１２は、当該コンテンツを形態素解析し、当該コンテンツにおける一の文に含まれるオブジェクトを、当該一の文における文脈に応じたテキストに変換する。

この場合、変換部１１２は、例えば、当該コンテンツを形態素解析し、当該コンテンツに含まれる各オブジェクトがサ変名詞として用いられているか否かを判定する。そして、変換部１１２は、図５の変換情報１５１を参照し、当該各オブジェクトを、サ変名詞として用いられているか否かの条件に応じた読み仮名に変換する。より具体的には、変換部１１２は、当該一の文におけるオブジェクトの位置がサ変名詞の位置である場合、当該オブジェクトに応じたサ変名詞のテキストに変換する。一方、当該一の文における当該オブジェクトの位置がサ変名詞以外の名詞の位置である場合、当該オブジェクトに応じたサ変名詞以外の名詞のテキストに変換する。これにより、図６のコンテンツは、「今日は星がキラキラしているな。」というテキストに変換される。また、図７のコンテンツは、「カンパイしたよ。ビール美味しいです。」というテキストに変換される。

なお、変換部１１２は、端末２０Ｂにおいてユーザから入力されたテキストがスタンプの画像、乃至絵文字等のオブジェクトに変換されて当該コンテンツに入力された場合、当該テキストを端末２０Ｂから取得し、当該オブジェクトを当該テキストに変換してもよい。

続いて、変換部１１２は、コンテンツに含まれる難読語をテキストに置換する（ステップＳ１０３）。ここで、変換部１１２は、例えば、人名、地名等の固有名詞や、日付や金額などの数詞（数）と助数詞（単位）の組み合わせである数値表現等の難読語を、所定の辞書データと後処理を用いてテキストに置換する。続いて、コンテンツに含まれる記号をテキストに置換する（ステップＳ１０４）。ここで、変換部１１２は、例えば、「￥」等の記号をテキストに置換する。また、変換部１１２は、例えば、「！！！！」等の同一の記号が連続する文字列に対しては、重複を解消し、一の当該記号についてのみ「ビックリ」等のテキストに置換してもよい。

続いて、変換部１１２は、コンテンツの属性、コンテンツの作成者の属性、コンテンツが伝達されるユーザの属性等に応じたコンテキスト（状況、ドメイン）を判定する（ステップＳ１０５）。続いて、変換部１１２は、当該コンテキストに応じて、当該テキストを変換する（ステップＳ１０６）。

続いて、変換部１１２は、ステップＳ１０１で決定したエフェクトに応じて、当該テキストを音出力用のデータに変換する（ステップＳ１０７）。効果音のエフェクト処理を行う場合、変換部１１２は、例えば、効果音に変換されたオブジェクトの文における位置で、当該効果音が出力されるようにしてもよい。この場合、変換部１１２は、図６のコンテンツの場合、「キョウハホシガキラキラシテイルナ」というテキストを読み上げる音声が出力された後、「効果音Ａ」が出力されるような音出力用のデータを生成する。また、変換部１１２は、例えば、効果音に変換されたオブジェクトが含まれる文を読み上げている間に、当該効果音を出力されるようにしてもよい。この場合、変換部１１２は、図６のコンテンツの場合、例えば、「効果音Ａ」が出力されるとともに、「キョウハホシガキラキラシテイルナ」というテキストが読み上げられるような音出力用のデータを生成する。この場合、変換部１１２は、当該テキストを読み上げる音声の出力が完了するまでのする間、「効果音Ａ」を繰り返し出力してもよい。または、当該テキストを読み上げる音声が出力される前または後に、「効果音Ａ」を出力してもよい。

また、感情表現のエフェクト処理を行う場合、変換部１１２は、例えば、ナレーターにより「喜び」、「怒り」、「悲しみ」等の各感情において発話された音声データに基づいて生成された、各感情に対する音声合成用のモデルを用いて、感情のエフェクトに応じた音声データを生成する。これにより、例えば、「＼(^o^)／試験終わった。＼(^o^)／」というコンテンツの場合、「ヤッターシケンオワッタ」というテキストが喜びの感情を表す抑揚等の音声により読み上げられる。そのため、表示用のコンテンツを音声により伝達する場合に、文の後ろに付加された画像等に応じて、例えば、当該文がネガティブな感情を伝達するものであるか、ポジティブな感情を伝達するものであるか等を、より適切に伝達することができる。なお、各感情を表す音声データを生成（合成）する手法としては、他の公知の手法が用いられてもよい。

（コンテキストに応じた変換処理）
次に、図４のステップＳ１０５、乃至ステップＳ１０６における、コンテキストを判定し、当該コンテキストに応じてコンテンツの内容を変換する処理について説明する。

（（コンテキストの判定））
変換部１１２は、例えば、コンテンツの属性、コンテンツの作成者の属性、及びコンテンツが伝達されるユーザの属性等に基づいて、読み上げ対象のコンテンツのコンテキストを判定する。コンテンツの属性としては、例えば、読み上げ対象のコンテンツの内容、コンテンツの文脈等が含まれてもよい。変換部１１２は、例えば、コンテンツの文章に、広告の文章として予め設定されている文章が含まれる場合に、「広告」のコンテキストと判定してもよい。また、変換部１１２は、例えば、深層学習等を用いて機械学習されたＡＩにより、コンテンツの内容がどのコンテキストに合致するか判定してもよい。コンテンツの作成者の属性には、コンテンツを作成した端末２０のキーボードの種別等が含まれてもよい。また、当該コンテンツが伝達されるユーザの属性には、例えば、当該ユーザの性別、年齢、母語または第一言語、及び職業等が含まれてもよい。

変換部１１２は、例えば、端末２０Ａから受信した音声コマンド等の音声を認識し、端末２０Ａのユーザの性別、年齢、及び母語等のコンテキストを推定してもよい。また、変換部１１２は、サーバ１０が提供するＳＮＳにおける端末２０Ａのアカウントの情報に登録されている、当該アカウントのユーザの性別、年齢、及び母語等の情報を用いてもよい。

また、変換部１１２は、例えば、端末２０Ａから受信した音声コマンドから、コンテンツの内容のコンテキストを推定してもよい。この場合、変換部１１２は、例えば、「政治のニュースを教えて」という音声コマンドを端末２０Ａから受信した場合、「政治のニュース」のコンテキストであると判定してもよい。

また、変換部１１２は、ニュース、天気、ＥＣ（Electronic Commerce）サイト等のコンテンツを、音出力用のデータに変換する場合、アクセスしているドメインである当該サイトから、予め設定されているテーブルに基づいて、コンテキストを判定してもよい。この場合、サイトとコンテキストとを対応付けられたテーブルが、サーバ１０の管理者等により予め設定されていてもよい。

また、変換部１１２は、例えば、端末２０Ａのアカウント、及び端末２０Ｂのアカウントを含むグループにおいて送受信されたインスタントメッセージの内容に基づいて、コンテキストを判定してもよい。この場合、変換部１１２は、例えば、インスタントメッセージが「です・ます」調でない場合、「友人同士」のコンテキストであると判定してもよい。

また、変換部１１２は、例えば、当該グループにおいて送受信されたインスタントメッセージの頻度に基づいて、コンテキストを判定してもよい。この場合、変換部１１２は、例えば、直近の所定期間（例えば、２か月）以内の頻度が閾値以上である場合、「親しい友人同士」のコンテキストであると判定してもよい。

また、変換部１１２は、例えば、端末２０ＢのアカウントがＥＣ企業のアカウントである場合、「ＥＣ」のコンテキストであると判定してもよい。また、変換部１１２は、例えば、コンテンツにおいて、コンテンツの作成者により、例えば、ハッシュタグでコンテキストが指定されている場合、当該指定されているコンテキストを用いてもよい。

（（コンテキストに応じた変換））
変換部１１２は、当該コンテキストに応じて、スタンプの画像、絵文字、顔文字等のオブジェクトを削除する処理、コンテンツに含まれる用語を平易化する処理、コンテンツに含まれるＷｅｂサイトのアドレスを示す文字列を削除する処理、及びコンテンツに含まれる文章を要約する処理等を実行する。また、変換部１１２は、当該コンテキストに応じて、コンテンツに含まれる画像を認識し、当該画像の被写体を表す文字列に変換する処理、前記コンテンツに含まれる略語を当該略語の正式名称に変換する処理、及び前記コンテンツに含まれる文章の誤記を訂正する処理等を実行する。

変換部１１２は、例えば、コンテンツが伝達されるユーザの年齢が所定の閾値以下の子供である場合、ＡＩを用いて、当該コンテンツに含まれる文章の用語（語句）を平易化し、より分かり易い文章のテキストに変換してもよい。また、変換部１１２は、例えば、コンテンツが伝達されるユーザの母語が外国語である場合、ＡＩを用いて、当該コンテンツに含まれる文章を、当該外国語の文章のテキストに翻訳してもよい。

また、変換部１１２は、例えば、「政治のニュース」のコンテキストである場合、ＡＩを用いて当該コンテンツの文章を要約し、当該コンテンツの文章を、要約した文章のテキストに変換してもよい。これにより、再生時間が短縮され、コンテンツを受信したユーザがより容易にコンテンツの内容を知ることができる。

また、変換部１１２は、例えば、「友人同士」のコンテキストである場合、当該コンテンツに含まれる写真の画像をＡＩにより画像認識し、画像認識された被写体を表す情報をテキストに変換してもよい。また、変換部１１２は、例えば、「友人同士」のコンテキストでない場合、文の後ろに付加されたオブジェクトを、効果音等のエフェクトに変換せず、当該オブジェクトに応じたテキストに変換してもよい。また、変換部１１２は、例えば、「友人同士」のコンテキストでない場合、スタンプの画像、絵文字、顔文字等のオブジェクトを削除してもよい。

また、変換部１１２は、例えば、「親しい友人同士」のコンテキストである場合、当該コンテンツに含まれる、アニメ、漫画、及び映画等で有名なセリフ等のテキストを、声優に発話されたテキストに変換してもよい。これにより、娯楽性を高めることができる。また、変換部１１２は、例えば、「親しい友人同士」のコンテキストである場合、スタンプの画像、及び絵文字等に応じたエフェクトの音量を比較的大きくする等により、より強調したエフェクトに変換してもよい。

また、変換部１１２は、例えば、「ＥＣ」のコンテキストである場合、当該コンテンツに含まれる、http等から始まる文字列を削除や要約してもよい。これは、広告のインスタントメッセージや、ＥＣサイトに含まれる、Ｗｅｂサイトのアドレス（ＵＲＬ、Uniform Resource Locator）の文字列は、読み上げ不要と考えられるためである。更には、商品名を読み上げる場合において、商品名に販促目的で付加されている送料情報や、定型文からなる紹介文章などの情報は削除や要約してもよい。これにより、再生時間が短縮され、コンテンツを受信したユーザがより容易にコンテンツの内容を知ることができる。

また、変換部１１２は、例えば、当該コンテンツがＳＮＳにより投稿されたメッセージである場合、ハッシュタグの後ろの英字等を略語と判断し、所定の辞書を用いて、当該略語に対する正式名称のテキストに変換してもよい。

また、変換部１１２は、例えば、コンテンツの作成者の属性として、当該コンテンツを送信した端末２０Ｂの種別を取得する。そして、端末２０Ｂがスマートフォンである場合、フリック入力、及びqwerty配列キーボードによる入力などで間違えやすい語句を変換するための辞書を用いて、綴り間違い等の誤記を訂正してもよい。

＜実施形態の効果＞
上述した実施形態によれば、画像、絵文字、及び顔文字の少なくとも一つのオブジェクトと、テキストとの少なくとも一方を含むコンテンツを、音出力用のデータに変換する。これにより、表示用のコンテンツの内容をより適切に音声等により伝達できるようにすることができる。また、これにより端末２０を操作する回数や、端末２０がサーバ１０と通信する回数を減らすことができるため、結果的に端末２０やサーバ１０の負荷を軽減できるという効果が得られる。また、これにより、コンテンツを受信したユーザがより容易にコンテンツの内容を知ることができる。

本開示の実施形態を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本開示の範囲に含まれることに留意されたい。限定でなく例として、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。また、各実施形態に示す構成を適宜組み合わせることとしてもよい。

１通信システム
１０サーバ
１１０制御部
１１１音声コマンド処理部
１１２変換部
１１３送受信部
１５１変換情報
２０端末
２１０受付部
２１１制御部
２１２送受信部

Claims

情報処理装置が、
画像、絵文字、及び顔文字の少なくとも一つのオブジェクトと、テキストとの少なくとも一方を含むコンテンツのコンテキストを判定し、
判定したコンテキストに基づいて、前記コンテンツを、音出力用のデータに変換する処理を実行する情報処理方法であり、
前記変換する処理は、前記コンテンツを形態素解析し、前記コンテンツにおける文に含まれる前記オブジェクトを、当該文に応じた音出力用のデータに変換することを含み、
前記変換する処理は、
当該一の文における前記オブジェクトの位置がサ変名詞の位置である場合、前記オブジェクトを、前記オブジェクトに応じたサ変名詞に変換し、
当該一の文における前記オブジェクトの位置がサ変名詞以外の名詞の位置である場合、前記オブジェクトを、前記オブジェクトに応じたサ変名詞以外の名詞に変換する、
情報処理方法。
前記変換する処理は、前記コンテンツにおける文の後に付加されている前記オブジェクトを、所定の効果音に変換する、
請求項１に記載の情報処理方法。
前記変換する処理は、前記コンテンツにおける文の後に付加されている前記オブジェクトを、当該文を読み上げる音声が出力されている間に出力される所定の効果音に変換する、
請求項２に記載の情報処理方法。
前記変換する処理は、前記コンテンツにおける文に対する音声を、当該文の後に付加されている前記オブジェクトに応じた感情表現の音声で生成する、
請求項１乃至３のいずれか一項に記載の情報処理方法。
前記変換する処理は、前記コンテンツの属性、前記コンテンツの作成者の属性、及び前記コンテンツが伝達されるユーザの属性の少なくとも一つに応じて、前記コンテンツを変換する、
請求項１乃至４のいずれか一項に記載の情報処理方法。
前記変換する処理は、前記コンテンツの属性、前記コンテンツの作成者の属性、及び前記コンテンツが伝達されるユーザの属性の少なくとも一つに応じて、前記オブジェクトを削除する処理、前記コンテンツに含まれる用語を平易化する処理、前記コンテンツに含まれるＷｅｂサイトのアドレスを示す文字列を削除する処理、前記コンテンツに含まれる文章を要約する処理、前記コンテンツに含まれる画像を認識し、当該画像の被写体を表す文字列に変換する処理、前記コンテンツに含まれる略語を当該略語の正式名称に変換する処理、及び前記コンテンツに含まれる文章の誤記を訂正する処理の少なくとも一つを実行する、
請求項５に記載の情報処理方法。
前記変換する処理は、ＳＮＳ（Social Networking Service）におけるアカウントの情報に基づいて、前記コンテンツが伝達されるユーザの属性を判定する、
請求項５または６に記載の情報処理方法。
画像、絵文字、及び顔文字の少なくとも一つのオブジェクトと、テキストとの少なくとも一方を含むコンテンツのコンテキストを判定し、
判定したコンテキストに基づいて、前記コンテンツを、音出力用のデータに変換する変換部を有する情報処理装置であり、
前記変換部は、前記コンテンツを形態素解析し、前記コンテンツにおける文に含まれる前記オブジェクトを、当該文に応じた音出力用のデータに変換し、
前記変換部は、
当該一の文における前記オブジェクトの位置がサ変名詞の位置である場合、前記オブジェクトを、前記オブジェクトに応じたサ変名詞に変換し、
当該一の文における前記オブジェクトの位置がサ変名詞以外の名詞の位置である場合、前記オブジェクトを、前記オブジェクトに応じたサ変名詞以外の名詞に変換する、
情報処理装置。
情報処理装置に、
画像、絵文字、及び顔文字の少なくとも一つのオブジェクトと、テキストとの少なくとも一方を含むコンテンツのコンテキストを判定し、
判定したコンテキストに基づいて、前記コンテンツを、音出力用のデータに変換する処理を実行させるプログラムであり、
前記変換する処理は、前記コンテンツを形態素解析し、前記コンテンツにおける文に含まれる前記オブジェクトを、当該文に応じた音出力用のデータに変換することを含み、
前記変換する処理は、
当該一の文における前記オブジェクトの位置がサ変名詞の位置である場合、前記オブジェクトを、前記オブジェクトに応じたサ変名詞に変換し、
当該一の文における前記オブジェクトの位置がサ変名詞以外の名詞の位置である場合、前記オブジェクトを、前記オブジェクトに応じたサ変名詞以外の名詞に変換する、
プログラム。