JP6776310B2 - ユーザ−入力コンテンツと連関するリアルタイムフィードバック情報提供方法およびシステム - Google Patents

Description

本実施形態は、コンテンツと連関するフィードバック情報を提供する方法およびシステムに関し、より詳細には、ユーザ端末から入力されるコンテンツを感知し、入力が感知されたコンテンツと連関するフィードバック情報をコンテンツの入力によってリアルタイムで提供する方法およびシステムに関する。

映画をはじめとするコンテンツや各種サービスに対し、該当のコンテンツまたはサービスを視聴または経験したユーザは、コメント（または短文）および評点によって自身が利用したコンテンツまたはサービスを評価することがある。このようなユーザによる評価は、それらを他のユーザに公開することで、他のユーザが該当のコンテンツまたはサービスを利用するかを決めるときの手がかりともなる。

このようなコンテンツまたはサービスに対してユーザがコメントおよび評点を入力するためには、最初にユーザが自身のユーザ端末からコメントを入力し、追加的に評点を入力することが求められていた。すなわち、ユーザがコンテンツまたはサービスを評価するためには、具体的な評価内容をテキストで入力することに加え、コンテンツまたはサービスに対して自身が与えたい評点を追加的に入力することが求められていた。

映画に対して評点を入力するためには、最初にコメントを入力した後に追加的に星評価を付与しなければならいため、短文入力および評点入力という２つのユーザ入力が求められていた。

特許文献１（公告日２０１６年１２月２７日）は、キーワードに基づくレビューサービスシステムに関し、ユーザがウェブ／アプリサービス、ゲーム、図書、映画、音楽、人物、習い事、フード、グルメ店、ホテル、ペンション、自動車、家電製品などの経験に基づいてウェブまたはアプリ上で特定のキーワードに対してレビューを作成し、これによって他のユーザの情報取得および商品選定において手がかりを提供できるようにする、キーワードに基づくレビューサービスシステムを記載している。

上述した情報は、理解を助けるためのものに過ぎず、従来技術の一部を形成しない内容を含むこともあるし、従来技術が通常の技術者に提示することのできる事項を含まないこともある。

韓国登録特許第１０−１６９００５５号公報

一実施形態は、データベースに格納されたデータを用いて実行された機械学習の結果に基づき、ユーザ端末から入力されるコンテンツをリアルタイムで分析し、分析の結果によって前記入力されるコンテンツと連関するフィードバック情報をユーザ端末にリアルタイムで提供する方法およびシステムを提供する。

一実施形態は、ユーザ端末から入力されるテキストを所定の単位（例えば、文字単位）で受信して機械学習の結果に基づいてリアルタイムで分析し、前記リアルタイム分析の結果に応じて変化するフィードバック情報をユーザ端末に提供する方法およびシステムを提供する。

一実施形態は、データベースに格納された所定のコンテンツ／サービスに対するユーザからのコメントおよび評点を機械学習した結果に基づき、ユーザ端末から入力される所定のコンテンツ／サービスに対するコメントと連関する評点を自動で計算して提供する方法およびシステムを提供する。

一側面において、ユーザ端末からの第１コンテンツの入力を感知する段階、データベースに格納された第２コンテンツおよび前記第２コンテンツと連関するフィードバック情報を用いて実行された機械学習の結果に基づいて前記第１コンテンツをリアルタイムで分析する段階、前記分析の結果に基づいて前記第１コンテンツと連関するフィードバック情報を生成する段階、および前記生成されたフィードバック情報を前記ユーザ端末に提供する段階を含む、フィードバック情報提供方法が提供される。

前記第２コンテンツおよび前記第２コンテンツと連関するフィードバック情報はそれぞれ、前記データベースに予め格納された、所定のコンテンツまたは所定のサービスに対するユーザからのコメントおよび前記コメントと連関する評点であってよい。

前記第１コンテンツおよび前記第１コンテンツと連関するフィードバック情報はそれぞれ、前記所定のコンテンツまたは所定のサービスに対する前記ユーザ端末のユーザからのコメントおよび前記コメントと連関する評点であってよい。

前記第１コンテンツは、前記ユーザ端末から入力されるテキストを含んでよい。

前記分析する段階は、前記ユーザ端末から入力される前記テキストを所定の単位で受信する段階、および前記所定の単位で受信したテキストを前記機械学習の結果に基づいてリアルタイムで分析する段階を含んでよい。

前記生成されるフィードバック情報は、前記リアルタイム分析の結果に応じて変化してよい。

前記リアルタイムで分析する段階は、前記テキストが入力制限情報を含むか、または前記入力制限情報をどのくらい含むかを判定する段階を含んでよい。

前記生成されるフィードバック情報には、前記入力制限情報を含むか、または前記入力制限情報をどのくらい含むかを示す情報が含まれてよい。

前記入力制限情報を含むか、または前記入力制限情報をどのくらい含むかを示す情報は、前記テキストの登録またはアップロードが制限されることを示す情報、および前記テキストが前記入力制限情報を含むか、または前記入力制限情報をどのくらい含むかに応じて視覚的に変化するインジケータのうちの少なくとも１つを含んでよい。

前記リアルタイムで分析する段階は、前記テキストの性格を判定する段階を含んでよい。

前記生成されるフィードバック情報は、判定された前記テキストの性格に応じて視覚的に変化するインジケータを含んでよい。

前記リアルタイムで分析する段階は、前記テキストのカテゴリを判定する段階を含んでよい。

前記生成されるフィードバック情報は、判定された前記テキストのカテゴリを示す情報を含んでよい。

前記リアルタイムで分析する段階は、前記テキストに関心があると予測されるユーザ群を判定する段階を含んでよい。

前記生成されるフィードバック情報は、判定された前記ユーザ群を示す情報を含んでよい。

前記フィードバック情報は、前記分析の結果に応じて、所定の形態で表示されるスコア、入力される前記第１コンテンツに対する視覚的な変更、入力される前記第１コンテンツの背景に対する視覚的な変更、視覚的に変化するスライドバー、視覚的に変化する計測器の針、視覚的に変化する前記第１コンテンツと連関するユーザインタフェース、視覚的に変化する顔文字、および視覚的に変化するアイコンのうちの少なくとも１つを含んでよい。

前記第１コンテンツは、前記ユーザ端末から他のユーザ端末に対して送信するためのメッセージであってよい。

前記フィードバック情報は、前記メッセージを受信した前記他のユーザ端末のユーザが前記メッセージの全体内容を閲覧しなくても、前記メッセージの性格または少なくとも一部の内容を認知できるようにする情報を含んでよい。

前記機械学習は、ノイズをさらに含むデータを用いて実行されてもよいし、前記第２コンテンツおよび前記第２コンテンツと連関するフィードバック情報のうちの一部の情報が削除されたデータを用いて実行されてもよい。

前記機械学習は、前記コメントそれぞれに対し、各コメントをユニコードパースによって分離する過程、および前記各コメントの分離された要素それぞれをインデックス化する過程を含む前処理過程を含んでよい。

前記機械学習は、前記コメントを構成するシーケンスが含む少なくとも１つのアイテムで構成されるチャンクに対し、前記チャンクのデータを削除して前記データがないかのように処理して学習を実行するドロップチャンク（Ｄｒｏｐ Ｃｈｕｎｋ）正規化アルゴリズム、および前記チャンク内のアイテムをランダムに配置するパーミュートチャンク（Ｐｅｒｍｕｔｅ Ｃｈｕｎｋ）正規化アルゴリズムのうちの少なくとも１つを使用する過程を含んでよい。

前記フィードバック情報提供方法は、記ユーザ端末に提供されたフィードバック情報に対し、前記ユーザ端末からの修正情報を受信する段階をさらに含んでよい。

前記修正情報が反映されたフィードバック情報および前記ユーザ端末から入力された前記第１コンテンツは、前記機械学習の実行において用いられてよい。

他の一側面において、ユーザ端末からの第１コンテンツの入力を感知するコンテンツ入力感知部、データベースに格納された第２コンテンツおよび前記第２コンテンツと連関するフィードバック情報を用いて実行された機械学習の結果に基づいて前記第１コンテンツをリアルタイムで分析するコンテンツ分析部、前記分析の結果に基づいて前記第１コンテンツと連関するフィードバック情報を生成するフィードバック情報生成部、および前記生成されたフィードバック情報を前記ユーザ端末に提供するフィードバック情報提供部を備える、フィードバック情報提供システムが提供される。

前記第２コンテンツおよび前記第２コンテンツと連関するフィードバック情報はそれぞれ、前記データベースに予め格納された、所定のコンテンツまたは所定のサービスに対するユーザからのコメントおよび前記コメントと連関する評点であってよい。

前記第１コンテンツおよび前記第１コンテンツと連関するフィードバック情報はそれぞれ、前記所定のコンテンツまたは所定のサービスに対する前記ユーザ端末のユーザからのコメントおよび前記コメントと連関する評点であってよい。

前記第１コンテンツは、前記ユーザ端末から入力されるテキストを含んでよい。

前記コンテンツ分析部は、前記ユーザ端末から入力される前記テキストを所定の単位で受信し、前記所定の単位で受信したテキストを前記機械学習の結果に基づいてリアルタイムで分析してよい。

前記フィードバック情報生成部は、前記リアルタイム分析の結果に応じて変化するフィードバック情報を生成してよい。

ユーザ端末から入力される所定のコンテンツ／サービスに対するコメントと連関する評点が自動で計算されて提供されることにより、ユーザはコメントを入力した後に追加的に評点を付与する必要がなくなり、これにより、コンテンツ／サービスに対する評価においてユーザの入力を減らすことができる。

ユーザ端末から入力されるコンテンツの内容に応じて該当のコンテンツと連関するフィードバック情報が自動で変化して提供されることにより、コンテンツの入力および製作においてユーザの興味を高めることができる。

ユーザ端末から入力されるコンテンツが含む内容に応じてユーザ端末にリアルタイムで提供されるフィードバック情報により、ユーザによる該当のコンテンツの登録、またはアップロードが制限されるかコンテンツに登録またはアップロードが制限される入力制限情報が含まれていることを、ユーザにリアルタイムで通知することができる。

一実施形態における、ユーザ端末から入力される第１コンテンツによって第１コンテンツと連関するフィードバック情報を提供する方法を示した図である。 一実施形態における、フィードバック情報提供システムおよびユーザ端末の構造を示した図である。 一実施形態における、ユーザ端末から入力される第１コンテンツによって第１コンテンツと連関するフィードバック情報を提供する方法を示したフローチャートである。 一実施形態における、ユーザ端末から入力されるテキストを含む第１コンテンツを分析して第１コンテンツと連関するフィードバック情報を生成する方法を示したフローチャートである。 ユーザ端末から入力されるテキストを含む第１コンテンツを分析し、第１コンテンツと連関するフィードバック情報を生成してユーザ端末に提供する例を示した図である。 ユーザ端末から入力されるテキストを含む第１コンテンツを分析し、第１コンテンツと連関するフィードバック情報を生成してユーザ端末に提供する例を示した図である。 ユーザ端末から入力されるテキストを含む第１コンテンツを分析し、第１コンテンツと連関するフィードバック情報を生成してユーザ端末に提供する例を示した図である。 ユーザ端末から入力されるテキストを含む第１コンテンツを分析し、第１コンテンツと連関するフィードバック情報を生成してユーザ端末に提供する例を示した図である。 一実施形態における、ユーザ端末から他のユーザ端末に送信されるメッセージがフィードバック情報を含む例を示した図である。 一実施形態における、ユーザ端末から入力される第１コンテンツを分析するための機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）で使用されるデータセットおよび前処理過程を示した図である。 一実施形態における、ユーザ端末から入力される第１コンテンツを分析するための機械学習で利用される方法論（ｍｅｔｈｏｄｏｌｏｇｙ）を示した図である。 適用した方法論による機械学習の性能評価を示した図である。

以下、添付の図面を参照しながら、実施形態について詳しく説明する。各図面に提示される同じ参照符号は、同じ部材を示す。

図１は、一実施形態における、ユーザ端末から入力される第１コンテンツによって第１コンテンツと連関するフィードバック情報を提供する方法を示した図である。

図１では、ユーザ端末１１０によって入力される第１コンテンツに対してフィードバック情報提供システム１００がユーザ端末１１０による第１コンテンツの入力を感知し、入力される第１コンテンツをリアルタイムで分析して第１コンテンツと連関するフィードバック情報をユーザ端末１１０に提供する方法について説明する。

ユーザ端末１１０は、第１コンテンツを入力し、フィードバック情報提供システム１００またはその他のコンテンツ登録サーバ（図示せず）に第１コンテンツを登録するための電子装置であってよい。

第１コンテンツは、ユーザ端末１１０のユーザによって入力されるコンテンツ（ユーザ−入力コンテンツ）としてテキストを含んでよい。例えば、第１コンテンツは、映画のような特定のコンテンツまたはサービスを評価するためのものであって、特定のコンテンツまたはサービスを評価するためのコメントを含んでよい。

フィードバック情報提供システム１００は、ユーザ端末１１０による第１コンテンツの入力を感知し、入力される第１コンテンツをリアルタイムで分析して第１コンテンツと連関するフィードバック情報を生成する装置であってよい。フィードバック情報提供システム１００は、コンテンツおよびフィードバック情報データベース１２０（以下、データベースとする）に格納された第２コンテンツおよび第２コンテンツと連関するフィードバック情報を基盤とした機械学習の結果に基づいて第１コンテンツを分析することにより、第１コンテンツと連関するフィードバック情報を生成してよい。フィードバック情報提供システム１００は、ユーザ端末１１０から入力される第１コンテンツをリアルタイムで分析することにより、リアルタイム分析に応じて変化するフィードバック情報を生成してよい。フィードバック情報提供システム１００は、生成されたフィードバック情報をユーザ端末１１０に提供してよい。第１コンテンツと連関するフィードバック情報は、例えば、特定のコンテンツまたはサービスを評価するための評点を含んでよい。

データベース１２０は、ユーザから予め入力されたコンテンツおよびそれと連関するフィードバック情報をそれぞれ、第２コンテンツおよび第２コンテンツと連関するフィードバック情報として格納してよい。例えば、データベース１２０は、特定のコンテンツまたはサービスに対するユーザのコメントおよび該当のコメントと連関する評点を格納してよい。

図に示された例を参照しながら、実施形態についてさらに詳しく説明する。先ず、ユーザは、ユーザ端末１１０を利用しながら、特定の映画に対して「まあまあ面白い・・・」のようなコメントを入力したとする。フィードバック情報提供システム１００は、このようなユーザ端末１１０によるコメントの入力を感知してよく、入力されたコメントをリアルタイムで分析してよい。フィードバック情報提供システム１００は、データベース１２０に予め格納された特定の映画（または映画カテゴリ全体）に対するユーザのコメントおよび該当のコメントと連関する評点を用いて実行された機械学習の結果に基づき、ユーザ端末１１０によって入力されたコメントを分析してよい。フィードバック情報提供システム１００は、コメントを分析した結果にしたがってコメントに対応するフィードバック情報として評点１３０を生成してよく、生成された評点１３０をユーザ端末１１０に伝達してよい。ユーザ端末１１０は、伝達された評点１３０を、例えば、図に示された星評価のような形態で出力してよい。

したがって、ユーザ端末１１０から入力されるコメントと連関する評点１３０をユーザが別途で入力する必要がなく、自動的に計算されてユーザ端末１１０に提供されるようになる。また、フィードバック情報提供システム１００は、入力されるコメントをリアルタイムで分析して評点１３０を生成するため、評点１３０は、ユーザ端末１１０からのコメント入力に応じて変化するようになる。言わば、評点１３０は、入力されるコメントの内容に応じて適応的に変化して計算されてユーザ端末１１０に出力されるようになる。例えば、データベース１２０に格納された既存のデータに含まれたコメントとこれと連関する評点との関係がディープラーニングを基盤として機械学習され、機械学習された結果を用いることで、ユーザ端末１１０から新たにコメントが入力される段階において、コメントの各文字が入力されるたびにリアルタイムで該当のコメントと連関する評点が計算されてユーザ端末に提供されるようになる。

フィードバック情報提供システム１００およびユーザ端末１１０のより詳細な構成と第１コンテンツおよびフィードバック情報のより具体的な例については、後述する図２〜９を参照しながらさらに詳しく説明する。

図２は、一実施形態における、フィードバック情報提供システムおよびユーザ端末の構造を示した図である。

図２を参照しながら、上述したフィードバック情報提供システム１００とユーザ端末１１０のより詳細な構成について説明する。

フィードバック情報提供システム１００は、ユーザ端末１１０によって入力される第１コンテンツを分析して第１コンテンツと連関するフィードバック情報を生成および提供するサーバ、またはその他のコンピュータ装置であってよい。例えば、フィードバック情報提供システム１００は、ユーザ端末１１０から入力される第１コンテンツの登録を管理し、第１コンテンツとフィードバック情報を関連付けて格納および／または管理するサーバであってよい。ただし、第１コンテンツの登録および管理は、フィードバック情報提供システム１００ではない他の外部のサーバによって実行されてもよい。

フィードバック情報提供システム１００は、通信部２１０および制御部２２０を備えてよい。

通信部２１０は、フィードバック情報提供システム１００が他のサーバやユーザ端末１１０と通信するための装置であってよい。言わば、通信部２１０は、他のサーバやユーザ端末１１０にデータおよび／または情報を送信／受信する、フィードバック情報提供システム１００のネットワークインタフェースカード、ネットワークインタフェースチップ、およびネットワーキングインタフェースポートなどのようなハードウェアモジュール、またはネットワークデバイスドライバ（ｄｒｉｖｅｒ）またはネットワーキングプログラムのようなソフトウェアモジュールであってよい。

制御部２２０は、フィードバック情報提供システム１００の構成要素を管理してよく、フィードバック情報提供システム１００が使用するプログラムまたはアプリケーションを実行してよい。例えば、制御部２２０は、通信部２１０に受信される第１コンテンツを機械学習の結果に基づいて分析し、分析の結果に応じて第１コンテンツと連関するフィードバック情報を生成するために使用されるプログラムまたはアプリケーションを実行してよく、プログラムまたはアプリケーションの実行およびデータの処理などに必要な演算を処理してよい。制御部２２０は、フィードバック情報提供システム１００の少なくとも１つのプロセッサまたはプロセッサ内の少なくとも１つのコア（ｃｏｒｅ）であってよい。

制御部２２０は、コンテンツ入力感知部２２２、コンテンツ分析部２２４、フィードバック情報生成部２２６、およびフィードバック情報提供部２２８を備えてよい。制御部２２０の構成２２２〜２２８のそれぞれは、１つ以上のソフトウェアモジュールおよび／またはハードウェアモジュールで実現されてよい。

コンテンツ入力感知部２２２は、ユーザ端末１１０からの第１コンテンツの入力を感知してよい。「感知」は、文脈に応じて検知又は検出と同義的に使用されてよい。

コンテンツ分析部２２４は、データベース１２０に格納された第２コンテンツおよび第２コンテンツと連関するフィードバック情報を用いて実行された機械学習の結果に基づき、ユーザ端末１１０から入力される第１コンテンツをリアルタイムで分析してよい。

データベース１２０に格納されたデータを用いて実行される機械学習は、コンテンツ分析部２２４によって実行されてもよいし、フィードバック情報提供システム１００の他の構成によって実行されてもよい。または、機械学習は、フィードバック情報提供システム１００とは別のサーバ／装置で実行されてもよく、コンテンツ分析部２２４は、該当の機械学習の結果を第１コンテンツ分析に活用してもよい。機械学習方法は、例えば、ディープラーニング方式を含んでよいが、いずれかの人工知能を基盤とした機械学習方法が実施形態の機械学習として使用されてよい。具体的な機械学習方法およびその前処理過程については、後述する図１０〜１２を参照しながらさらに詳しく説明する。

フィードバック情報生成部２２６は、コンテンツ分析部２２４による分析の結果に基づいて第１コンテンツと連関するフィードバック情報を生成してよい。フィードバック情報生成部２２６は、コンテンツ分析部２２４による第１コンテンツに対するリアルタイム分析により、第１コンテンツと連関するフィードバック情報をリアルタイムで生成してよい。言わば、第１コンテンツと連関するフィードバック情報は、リアルタイムで入力される第１コンテンツの内容に応じて変化するようになる。

フィードバック情報提供部２２８は、生成されたフィードバック情報を、通信部２１０を介してユーザ端末１１０に提供してよい。

制御部２２０の構成２２２〜２２８のより具体的な機能および動作については、後述する図３〜図９を参照しながらさらに詳しく説明する。

上述した制御部２２０の構成２２２〜２２８は、少なくとも１つのプロセッサ内で実現されてよいため、構成２２２〜２２８の機能および動作は、少なくとも１つのプロセッサによって実行されてよい。

ユーザ端末１１０は、第１コンテンツを入力し、フィードバック情報提供システム１００からフィードバック情報を受信し、フィードバック情報提供システム１００またはその他のコンテンツ登録サーバ（図示せず）に第１コンテンツを登録するための電子装置であってよい。ユーザ端末１１０は、入力／登録された第１コンテンツおよびフィードバック情報提供システム１００から受信したフィードバック情報を出力してよい。例えば、ユーザ端末１１０は、スマートフォン、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型パソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、ラップトップコンピュータ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、タブレット（ｔａｂｌｅｔ）、ＩｏＴ（Ｉｎｔｅｒｎｅｔ Ｏｆ Ｔｈｉｎｇｓ）機器、またはウェアラブルコンピュータ（ｗｅａｒａｂｌｅ ｃｏｍｐｕｔｅｒ）など、ユーザが使用する端末であってよい。

ユーザ端末１１０は、通信部２３０および制御部２４０を備えてよい。通信部２３０は、ユーザ端末１１０がフィードバック情報提供システム１００や他のユーザ端末と通信するための装置であってよい。言わば、通信部２３０は、フィードバック情報提供システム１００や他のユーザ端末にデータおよび／または情報を送信／受信する、ユーザ端末１１０のネットワークインタフェースカード、ネットワークインタフェースチップ、およびネットワーキングインタフェースポートなどのようなハードウェアモジュール、またはネットワークデバイスドライバ（ｄｒｉｖｅｒ）またはネットワーキングプログラムのようなソフトウェアモジュールであってよい。

制御部２４０は、ユーザ端末１１０の構成要素を管理してよく、ユーザ端末１１０が使用するプログラムまたはアプリケーションを実行してよい。例えば、制御部２４０は、第１コンテンツを入力および登録するために要求されるプログラムまたはアプリケーションを実行してよく、プログラムまたはアプリケーションの実行およびデータの処理などに必要な演算を処理してよい。制御部２４０は、ユーザ端末１１０の少なくとも１つのプロセッサまたはプロセッサ内の少なくとも１つのコア（ｃｏｒｅ）であってよい。

図に示されてはいないが、ユーザ端末１１０は、入力された第１コンテンツおよびフィードバック情報提供システム１００から受信したフィードバック情報を出力するための表示部を備えてよい。表示部は、例えば、タッチスクリーンを含んでよく、この場合、表示部は、ユーザからの第１コンテンツの入力を受けるための入力部の機能を含むように構成されてよい。

また、図に示されてはいないが、ユーザ端末１１０は、データまたは情報を格納するための装置として格納部を備えてよい。格納部は、いずれかのメモリまたはストレージ装置を含んでよい。格納部には、制御部２４０が実行するプログラムまたはアプリケーション、およびこれに関する情報が格納されてよい。

データベース１２０は、上述した機械学習を実行するために用いられるデータを格納してよい。データベース１２０は、第１コンテンツの分析および第１コンテンツと連関するフィードバック情報の生成のために活用される第２コンテンツおよび第２コンテンツと連関するフィードバック情報を含んでよい。例えば、第２コンテンツおよび第２コンテンツと連関するフィードバック情報は、第１コンテンツを分析して第１コンテンツと連関するフィードバック情報を生成するために用いられるビックデータ（ｂｉｇ ｄａｔａ）であってよい。

ユーザ端末１１０、フィードバック情報提供システム１００、およびデータベース１２０間の相互作用によって第１コンテンツが分析されてフィードバック情報が生成および提供される方法については、後述される図３〜９を参照しながらさらに詳しく説明する。

以上、図１を参照しながら上述した技術的特徴についての説明は、図２にもそのまま適用されてよいため、重複する説明は省略する。

図３は、一実施形態における、ユーザ端末から入力される第１コンテンツによって第１コンテンツと連関するフィードバック情報を提供する方法を示したフローチャートである。

段階３１０で、コンテンツ入力感知部２２２は、ユーザ端末１１０からの第１コンテンツの入力を感知してよい。第１コンテンツは、ユーザ端末１１０から入力されるテキストを含んでよく、コンテンツ入力感知部２２２は、テキストの入力を感知することによって第１コンテンツの入力を感知してよい。例えば、コンテンツ入力感知部２２２は、ユーザ端末１００が特定のコンテンツまたはサービスを評価するためのコメントを作成したかを判定することによって第１コンテンツの入力を感知してよい。

段階３２０で、コンテンツ分析部２２４は、データベース１２０に格納された第２コンテンツおよび第２コンテンツと連関するフィードバック情報を用いて実行された機械学習の結果に基づいてユーザ端末１１０から入力される第１コンテンツをリアルタイムで分析してよい。第２コンテンツおよび第２コンテンツと連関するフィードバック情報はそれぞれ、データベース１２０に予め格納された、特定の（または所定の）コンテンツまたはサービスに対するユーザからのコメントおよびコメントと連関する評点であってよい。

段階３３０で、フィードバック情報生成部２２６は、段階３２０での分析結果に基づいて第１コンテンツと連関するフィードバック情報を生成してよい。ユーザ端末１１０から入力される第１コンテンツおよびユーザ端末１１０への提供のために生成されるフィードバック情報はそれぞれ、所定のコンテンツまたはサービスに対するユーザ端末１１０のユーザからのコメントおよび該当のコメントと連関する評点に対応してよい。

所定のコンテンツまたはサービスとは、特定のカテゴリのコンテンツおよび該当の特定のカテゴリに属する個別のコンテンツを包括したものであってよい。例えば、所定のコンテンツまたはサービスが「映画」である場合において、ユーザ端末１１０のユーザが「映画Ａ」に対するコメントを入力した場合、コンテンツ分析部２２４は、データベース１２０に格納された「映画全体（または映画Ａ）」に対するコメントおよびコメントと連関する評点を用いて実行された機械学習の結果に基づいて、ユーザが入力した「映画Ａ」に対するコメントを分析してよい。この分析に基づいて、フィードバック情報生成部２２６は、ユーザが入力したコメントと連関する評点を計算してよい。

段階３４０で、フィードバック情報提供部２２８は、生成されたフィードバック情報をユーザ端末１１０に提供してよい。ユーザ端末１１０は、受信したフィードバック情報を、入力した第１コンテンツと共に出力してよい。例えば、ユーザ端末１１０から入力される「映画Ａ」に対するコメントとフィードバック情報提供部２２８から提供された「映画Ａ」に対する評点が共にユーザ端末１１０に出力されてよい。

フィードバック情報生成部２２６は、コンテンツ分析部２２４による第１コンテンツのリアルタイム分析によってフィードバック情報をリアルタイムで生成してよく、フィードバック情報提供部２２８は、生成されたフィードバック情報をリアルタイムでユーザ端末１１０に提供してよい。したがって、ユーザ端末１１０に出力されるフィードバック情報は、第１コンテンツの入力に応じてリアルタイムで変化するようになる。

本明細書で使用される用語「リアルタイム」とは、実際に同じ時点だけではなく、（データの分析および処理時間を勘案した）実質的にほぼ同じ時点をすべて包括する意味として使用されるものである。

段階３５０で、通信部２１０は、ユーザ端末１１０に提供されたフィードバック情報に対してユーザ端末１１０からの修正情報を受信してよい。修正情報とは、ユーザ端末１１０に提供されたフィードバック情報に対する、ユーザ端末１１０のユーザによる修正を示す情報であってよい。例えば、ユーザは、フィードバック情報提供部２２８から提供された評点が自身の意図に符合しない場合に評点を変更してよく、このような評点の変更による修正情報がユーザ端末１１０からフィードバック情報提供システム１００に伝達されてよい。

フィードバック情報提供システム１００は、受信した修正情報が反映されたフィードバック情報とユーザ端末１１０によって入力された第１コンテンツを、上述した機械学習を実行するためのデータとして使用してよい。このような過程により、以後の第１コンテンツ入力による、フィードバック情報提供システム１００によるフィードバック情報の提供は、より適合的になる（すなわち、第１コンテンツを入力したユーザの意図により符合するようになる）。修正情報の受信とは関係なく、ユーザ端末１１０に提供されたフィードバック情報とユーザ端末１１０によって入力された第１コンテンツが機械学習を実行するためのデータとして使用されることはもちろんである。

上述した段階３２０の第１コンテンツのリアルタイム分析方法についてさらに詳しく説明する。段階３２０は、後述する段階３２２および３２４を含んでよい。

段階３２２で、コンテンツ分析部２２４は、ユーザ端末１１０から入力される第１コンテンツに含まれたテキストを、所定の単位で通信部２１０を通じて受信してよい。所定の単位とは、例えば、文字（ｃｈａｒａｃｔｅｒまたはｓｕｂ−ｃｈａｒａｃｔｅｒ）単位であってよい。文字とは、子音、母音、または特殊文字を意味してよい。または、文字とは、ＡＳＣＩＩコードに対応可能ないずれかの文字を意味してよい。

段階３２４で、コンテンツ分析部２２４は、所定の単位で受信したテキストを機械学習の結果に基づいてリアルタイムで分析してよい。このように、所定の単位で受信したテキストを機械学習の結果に基づいてリアルタイムで分析することによってフィードバック情報生成部２２６が生成するテキストと連関するフィードバック情報は、リアルタイム分析の結果に応じて変化するようになる。

例えば、ユーザ端末１１０で第１コンテンツとして特定の映画に対するコメントが入力された場合、コメントの各文字が入力されるたびにリアルタイムでフィードバック情報として評点が計算されてユーザ端末１１０に提供されてよい。

第１コンテンツと連関するフィードバック情報のより多様な類型については、後述する図４〜９を参照しながらさらに詳しく説明する。

以上、図１および図２を参照しながら上述した技術的特徴についての説明は、図３にもそのまま適用されてよいため、重複する説明は省略する。

図４は、一実施形態における、ユーザ端末から入力されるテキストを含む第１コンテンツを分析して第１コンテンツと連関するフィードバック情報を生成する方法を示したフローチャートである。

図４を参照しながら、上述したコンテンツ分析部２２４による第１コンテンツに含まれたテキストを機械学習の結果に基づいてリアルタイムで分析してテキストと連関するフィードバック情報を生成する方法についてさらに詳しく説明する。

段階４１０−１で、コンテンツ分析部２２４は、ユーザ端末１１０から入力されるテキストが入力制限情報を含むか、または入力制限情報をどのくらい含むかを判定してよい。入力制限情報とは、テキストを含むコンテンツを作成するにあたり、入力および／または登録が制限される情報であってよい。例えば、入力制限情報は、暴言を含む又は示す単語または表現、あるいは性的な内容を含む又は示す単語または表現であってよい。

コンテンツ分析部２２４は、機械学習の結果に基づいてユーザ端末１１０から入力されるテキストに入力制限情報が含まれるかを判定してよく、入力制限情報を含む場合には、入力制限情報がテキストにどのくらい含まれているかを判定してよい。

フィードバック情報生成部２２６は、段階４１０−１の判定により、入力制限情報を含むか、または入力制限情報をどのくらい含むかを示す情報を含むフィードバック情報を生成してよい。

例えば、入力制限情報を含むか、または入力制限情報をどのくらい含むかを示す情報は、テキストの登録またはアップロードが制限されることを示す情報であってよい。または／追加的に、入力制限情報を含むか、または入力制限情報をどのくらい含むかを示す情報は、テキストが入力制限情報を含むか、または入力制限情報をどのくらい含むかに応じて視覚的に変化するインジケータを含んでよい。

入力制限情報を含むか、または入力制限情報をどのくらい含むかを示す情報およびインジケータの具体的な例については、後述する図５を参照しながらさらに詳しく説明する。

段階４１０−２で、コンテンツ分析部２２４は、ユーザ端末１１０から入力されるテキストの性格を判定してよい。テキストの性格は、テキストが肯定的な内容または否定的な内容をどのくらい含むかによって決定されてよい。または、コンテンツ分析部２２４は、テキストの全般的な内容が肯定的なものであるか否定的なものであるかを判定することによってテキストの性格を判定してよい。例えば、悪質なコメントや特定のコンテンツまたはサービスに対して否定的な内容を示すテキスト（例えば、映画が面白くないなど）は、否定的な性格のテキストとして判定されてよく、良質なコメントや特定のコンテンツまたはサービスに対して肯定的な内容を示すテキスト（例えば、映画が面白いなど）は、肯定的な性格のテキストとして判定されてよい。

フィードバック情報生成部２２６は、段階４１０−２で判定されたテキストの性格に応じて視覚的に変化するインジケータを含むフィードバック情報を生成してよい。

テキストの性格に応じて視覚的に変化するフィードバック情報が提供される例については、後述される図６を参照しながらさらに詳しく説明する。

段階４１０−３で、コンテンツ分析部２２４は、ユーザ端末１１０から入力されるテキストのカテゴリを判定してよい。テキストのカテゴリは、テキストがどのような目的で作成されたかによって決定されてよい。例えば、テキストのカテゴリは、映画レビュー、商品レビュー、メッセージ、ニュースコメント、ＳＮＳポストのうちのいずれか１つであってよいが、これに制限されることはない。このとき、コンテンツ分析部２２４がテキストを分析するために使用する機械学習の結果は、映画レビュー、商品レビュー、メッセージ、ニュースコメント、またはＳＮＳポストに該当するデータを用いた機械学習の結果であってよい。言わば、上述したデータベース１２０は、上述したようなデータを格納するデータベースを含んでよい。

フィードバック情報生成部２２６は、段階４１０−３で判定されたテキストのカテゴリを示す情報を含むフィードバック情報を生成してよい。

テキストのカテゴリを示す情報を含むフィードバック情報が提供される例については、後述される図７を参照しながらさらに詳しく説明する。

段階４１０−４で、コンテンツ分析部２２４は、ユーザ端末１１０から入力されるテキストに関心があると予測されるユーザ群を判定してよい。コンテンツ分析部２２４は、テキストが含む内容を機械学習の結果に基づいて分析することにより、該当の内容に対して関心があると予測されるユーザ群を判定してよい。例えば、高校生活に関する内容がテキストに含まれている場合、コンテンツ分析部２２４は、該当のテキストに対して関心があるユーザ群を「１０代学生」と判定してよい。

フィードバック情報生成部２２６は、段階４１０−４で判定されたユーザ群を示す情報を含むフィードバック情報を生成してよい。言わば、ユーザ端末１１０から入力されるテキストに関心があると予想されるユーザ群がリアルタイムで分析され、ユーザ端末１１０に提供されてよい。

テキストに関心があると予測されるユーザ群を示す情報を含むフィードバック情報が提供される例については、後述される図８を参照しながらさらに詳しく説明する。

上述した段階４１０−１〜４１０−４を参照しながら説明した実施形態は、互いに組み合わされてよい。

一方、フィードバック情報は、コンテンツ分析部２２４による第１コンテンツの分析の結果に基づいて所定の形態で表示されるスコア、入力される第１コンテンツに対する視覚的な変更、入力される第１コンテンツの背景の視覚的な変更、視覚的に変化するスライドバー、視覚的に変化する計測器の針、視覚的に変化する第１コンテンツと連関するユーザインタフェース、視覚的に変化する顔文字、および視覚的に変化するアイコンのうちの少なくとも１つを含んでよいが、これに制限されることはなく、いずれかのユーザインタフェースまたはイメージ、その他のコンテンツを含んでよい。

以上、図１〜３を参照しながら上述した技術的特徴についての説明は、図４にもそのまま適用されてよいため、重複する説明は省略する。

図５〜８は、ユーザ端末から入力されるテキストを含む第１コンテンツを分析し、第１コンテンツと連関するフィードバック情報を生成してユーザ端末に提供する例を示した図である。

図５〜８を参照しながら、上述した段階４１０−１〜４１０−４の具体的な実施形態についてさらに詳しく説明する。

図５では、入力制限情報として「暴言（犬＊！＠）」がテキストに含まれた例を示している。ユーザ端末１１０からコメント（暴言５１０）が入力された場合、コンテンツ分析部２２４は、テキストに暴言５１０が含まれていることを判定してよい。

フィードバック情報生成部２２６は、テキストに暴言５１０が含まれた場合、テキストの背景色（すなわち、第１コンテンツの背景色）を変更させるようにするフィードバック情報を生成してよい。また、フィードバック情報生成部２２６は、テキストに暴言５１０がより多く含まれるほど、テキストの背景色をより濃く（例えば、より赤く）変更させるようにするフィードバック情報を生成してよい。

または、フィードバック情報生成部２２６は、テキストに暴言５１０が含まれる場合、該当のテキストは登録することができないことを示す情報を含むフィードバック情報を生成してよい。例えば、ユーザ端末１１０には、「このコメントは登録することができません」のようなメッセージが出力されてよく、このようなメッセージは、テキストが一定水準以上の暴言を含むとき（または、テキストの背景が最も濃くなったとき）に出力されてもよい。

また、フィードバック情報生成部２２６は、テキストに暴言５１０が含まれる場合、テキストの暴言５１０に該当する部分をブロー処理するか、特殊文字で処理するようにするフィードバック情報を生成してもよい。

暴言だけでなく、性的な内容／表現その他の不適切な内容／表現についてもフィードバック情報提供システム１００によって内容／表現を制限するために上述した内容と類似の技術が適用されてよいため、重複する説明は省略する。

図６では、テキストの性格を判定し、テキストの性格に応じて視覚的に変化するフィードバック情報が提供される例について説明する。

ｉ）コンテンツ分析部２２４は、テキスト６１０のように肯定的な内容を含むテキストを肯定的な性格のテキストと判定してよいが、このとき、フィードバック情報生成部２２６は、笑顔を含むアイコンまたは顔文字６２０を含むフィードバック情報を生成してよい。ｉｉ）コンテンツ分析部２２４は、テキスト６３０のように否定的な内容を含むテキストを肯定的な性格のテキストと判定してよいが、このとき、フィードバック情報生成部２２６は、しかめ顔を含むアイコンまたは顔文字６４０を含むフィードバック情報を生成してよい。

また、コンテンツ分析部２２４が、入力されるテキストの内容が肯定的な内容から否定的な内容に次第に変化していくという判定を下した場合、フィードバック情報生成部２２６は、アイコンまたは顔文字の表情を笑顔からしかめ顔に次第に変化させるようにする情報を含むフィードバック情報を生成してよい。

図７では、テキストのカテゴリを判定し、カテゴリを示す情報を含むフィードバック情報が提供される例について説明する。

コンテンツ分析部２２４は、入力されるテキストの内容によってテキストがどのカテゴリに属するかを判定してよい。例えば、コンテンツ分析部２２４は、（機械学習の結果に基づいて）図に示された例のテキスト（「映画が・・・」）を映画レビューに関するものと判定してよく、フィードバック情報生成部２２６は、映画レビューカテゴリに関する情報（「＜映画評点＞」）を含むフィードバック情報７１０を生成してよい。コンテンツ分析部２２４は、入力されるテキストの内容をリアルタイムで分析することによってテキストのカテゴリを判定してよく、したがって、このような判定の結果によって生成およびユーザ端末１１０に提供されるフィードバック情報に含まれるカテゴリを示す情報は、変化するようになる。

図８では、テキストに関心があると予測されるユーザ群を判定し、該当のユーザ群を示す情報を含むフィードバック情報が提供される例について説明する。

コンテンツ分析部２２４は、入力されるテキストの内容によってテキストに関心があると予測されるユーザ群を判定（決定）してよい。例えば、コンテンツ分析部２２４は、（機械学習の結果に基づいて）図に示された例のテキスト（「最近の給食は・・・」）は学校生活に関するものであると判定してよく、このようなテキストに関心があるユーザ群は１０代であると判定してよい。このような判定により、フィードバック情報生成部２２６は、「この文章を好むのは１０代です」というメッセージを含むフィードバック情報８１０を生成してよい。コンテンツ分析部２２４は、入力されるテキストの内容をリアルタイムで分析することによってテキストに関心があると予測されるユーザ群を判定してよく、したがって、このような判定の結果によって生成およびユーザ端末１１０に提供されるフィードバック情報に含まれる関心ユーザ群を示す情報は、変化するようになる。

以上、図１〜４を参照しながら上述した技術的特徴についての説明は、図５〜８にもそのまま適用されてよいため、重複する説明は省略する。

図９は、一実施形態における、ユーザ端末から他のユーザ端末に送信するメッセージがフィードバック情報を含む例を示している。

図１〜８を参照しながら説明した第１コンテンツは、ユーザ端末１１０から他のユーザ端末に送信するためのメッセージであってよい。このとき、第１コンテンツと連関するフィードバック情報は、メッセージを受信した他のユーザ端末のユーザがメッセージの全体内容を閲覧しなくてもメッセージの性格または少なくとも一部の内容を認知できるようにする情報を含んでよい。メッセージは、例えば、電子メール、メッセンジャーアプリのメッセージ、インスタントメッセージ、またはＳＭＳなどであってよい。

一例として、図に示された例のように、発信者ユーザ端末９１０で「製品に問題があるようです」のようなメッセージが入力された場合、コンテンツ分析部２２４は、該当のメッセージはクレームに該当するものであるため、メッセージが含むテキストの性格を否定的なものと判定してよい。このとき、受信者側ユーザ端末９２０には、フィードバック情報としてメッセージの背景９４０色が赤く変わったメッセージが出力されてよい。または／追加的に、受信者側ユーザ端末９２０には、フィードバック情報としてしかめ顔のアイコンまたは顔文字９３０が含まれたメッセージが出力されてよい。

背景９４０および／またはしかめ顔のアイコンまたは顔文字９３０を識別することにより、受信者側ユーザ端末９２０のユーザは、該当のメッセージが否定的な内容を含んでいるということを、メッセージの全体内容を閲覧しなくても把握できるようになる。

また、図に示された内容の他にも、フィードバック情報は、メッセージの内容をシンボル化してメッセージのタイトルや背景に関連付けて提供されてよい。

また、フィードバック情報は、メッセージを作成する発信者端末９１０にも表示されてよく、したがって、作成者は、受信者側ユーザ端末９２０でメッセージがどのように出力されるかをメッセージの発送前に検討できるようになる。

以上、図１〜８を参照しながら上述した技術的特徴についての説明は、図９にもそのまま適用されてよいため、重複する説明は省略する。

上述した実施形態の他に、フィードバック情報の種類または入力される第１コンテンツの種類に応じて、第１コンテンツが入力されるサービスの種類に応じて、ユーザ端末１１０またはフィードバック情報システム１００の性能に応じて、または、その他のいずれかの必要に応じて、フィードバック情報がユーザ端末１１０にリアルタイムで出力または提供されなくてもよく、第１コンテンツの入力が完了するか第１コンテンツの作成が完了または完成した場合に限って適用されてもよい。

図１０は、一実施形態における、ユーザ端末から入力される第１コンテンツを分析するための機械学習において利用されるデータセットおよび前処理過程を示した図である。

図に示された例は、サブ−キャラクタレベルＢｉＬＳＴＭモデル（Ｓｕｂ−Ｃｈａｒａｃｔｅｒ Ｌｅｖｅｌ Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ Ｌｏｎｇ Ｓｈｏｒｔ−Ｔｅｒｍ Ｍｅｍｏｒｙ Ｍｏｄｅｌ）を使用して韓国語コメントレビューから映画の評点を予測する方法における機械学習を示している。

データセット１０１０は、機械学習において使用されるデータセットであってよい。データセット１０１０は、上述したデータベース１２０に格納されたデータであってよい。図に示された例において、データセット１０１０は、ネイバームービーから収集した約５００万件の韓国語映画レビューであってよい。レビューそれぞれは、特定の映画に対するユーザのコメントおよびユーザに入力された評点を含んでよい。また、レビューそれぞれは、特定の映画に対するユーザのコメントおよび該当のユーザのコメントと連関してフィードバック情報提供システム１００によって生成されたフィードバック情報としての評点を含んでもよい。

機械学習は、データセット１０１０に対してノイズをさらに含むデータを用いて実行されてもよく、データセット１０１０に含まれた情報（例えば、図１〜９を参照しながら上述した、第２コンテンツおよび第２コンテンツと連関するフィードバック情報）のうちの一部の情報が削除されたデータを用いて実行されてもよい。データセット１０１０に対する一部データの削除および／またはノイズの添加は、機械学習の結果を改善するために意図的になされたものであってよい。

データセット１０１０に含まれたそれぞれのレビューに含まれる各シーケンスは、［１，１０］範囲の実数値点数（ｒｅａｌ−ｖａｌｕｅｄ ｓｃｏｒｅｓ）を有してよく、最大で３０文字の長さを有してよい。入力文章は、ＡＳＣＩＩコードに対応する文字および特殊文字を含んでよい。例えば、韓国語サブ−キャラクタを含む、パースされた文字の総数は、２５５に仮定されてよい。

一例として、データセット１０１０に対応する映画レビューデータセットの数が４，９８９，２０５であり、ランダムシャッフルを利用した学習（ｔｒａｉｎ）、検証（ｖａｌｉｄａｔｉｏｎ）、テスト（ｔｅｓｔ）セットは、８：１：１の割合で区分されてよい。

図１０では、データセット１０１０を使用する機械学習における前処理過程（ｐｒｅｐｒｏｃｅｓｓｉｎｇ）についてさらに詳しく説明する。

データセット１０１０で各コメントの左側に表示された数字は、該当のコメントと連関する評点であってよい。ここで、コメント（Ｘ）は、サブ−キャラクタ単位に分離されてよい。

コメント（Ｘ）を構成するそれぞれのサブ−キャラクタは、１〜２５５のうちのいずれか１つのインデックスに変換されてよい。表１０３０は、データセット１０１０をインデックスに変換した例を示している。表１０３０の各行は、１つのコメントを示してよい。図に示された表１０３０では、３件のコメントに該当するインデックスが示されている。表の各行の最左側のカラムは、該当の行に対応するコメントと連関する評点を示してよく、その次のカラムからコメントをサブ−キャラクタにパースした結果を示してよい。

表１０３０のようにインデックス化されたデータは、データセット１０１０に含まれた各コメントと連関する評点を機械学習するために用いられてよい。

言わば、上述した実施形態を参照しながら上述した機械学習は、データセット１０１０が含むコメントそれぞれに対し、各コメントをユニコードパースによって分離する過程、および各コメントの分離された要素それぞれをインデックス化する過程を含む前処理過程を含んでよい。

説明したように、上述した実施形態および例では、ユーザ端末１１０から入力されるコメント（テキスト）やデータベース１２０に格納されたコメント（テキスト）を処理するにあたり、コメントを形態素単位で分析して処理するのではなく、（すなわち、形態素分析せずに）コメントを構成する文章（ｓｕｂ−ｗｏｒｄ ｌｅｖｅｌ）をキャラクタレベルに分解した後に符号化／エンコードすることができ、このような符号化／エンコードされたデータを機械学習および分析することができる。

図１１は、一実施形態における、ユーザ端末から入力される第１コンテンツを分析するための機械学習において利用される方法論（ｍｅｔｈｏｄｏｌｏｇｙ）を示しており、図１２は、適用した方法論による機械学習の性能評価を示している。

図１１は、上述したサブ−キャラクタレベルＢｉＬＳＴＭネットワークを使用して映画に対するコメントと連関する評点を学習するにあたり、各コメント内に含まれたシーケンス内から、確率的に（ｓｔｏｃｈａｓｔｉｃａｌｌｙ）セグメント化されたチャンク（Ｃｈｕｎｋ）と連関するノイズを生成して処理する正規化（ｒｅｇｕｌａｒｉｚａｔｉｏｎ）技法について説明する。このような正規化技法を使用することにより、結果的に、堅固な、リアルタイム評点予測モデルの機械学習がなされるようになる。

チャンクは、コメントを構成するシーケンスが含む少なくとも１つのアイテムで構成されてよい。アイテムは、例えば、コメントに含まれた文字（サブキャラクタ）またはこれと連関するインデックスであってよい。チャンクとは、文章、例えば、文章に含まれたシーケンスにおいて一定の大きさが連続するアイテムの束を意味してよい。チャンクの大きさと位置はシーケンスごとにランダムに設定されてよく、その位置もランダムであってよく、その大きさも０〜Ｎでランダムであってよい。

上述した正規化技法の一例は、ドロップチャンク正規化（Ｄｒｏｐ Ｃｈｕｎｋ Ｒｅｇｕｌａｒｉｚａｔｉｏｎ）アルゴリズムを使用する技法であってよい（図１１の（１）参照）。

ドロップチャンク正規化アルゴリズムは、チャンクに含まれた少なくとも一部のデータを削除してあたかも前記データがないかのように処理して機械学習を実行するものであってよい。チャンクの大きさが０である場合のチャンクには、ドロップチャンク正規化アルゴリズムが適用されなくてもよい。ドロップチャンク正規化アルゴリズムは、データを削除するのではなく、マスキング処理することにより、マスキングされたデータに該当するグラディエント（ｇｒａｄｉｅｎｔ）を削除してデータは読み取るが機械学習はしないようにする従来に方式に比べ、機械学習の性能をさらに優れたものにする。また、マスキング方式よりもさらにナイーブ（ｎａｉｖｅ）な方法であるゼロ−ペディング（ｚｅｒｏ−ｐａｄｄｉｎｇ）（データに０を代入させて処理する技法）に比べても、機械学習の性能をさらに優れたものにする。

また、上述した正規化技法の一例は、パーミュートチャンク（Ｐｅｒｍｕｔｅ Ｃｈｕｎｋ）正規化アルゴリズムを使用する技法であってよい（図１１の（２）参照）。

パーミュートチャンク（Ｐｅｒｍｕｔｅ Ｃｈｕｎｋ）正規化アルゴリズムは、チャンク内のアイテムをランダムに配置するアルゴリズムであってよい。チャンクの大きさは、上述したように、１〜Ｎでランダムであってよい。Ｎが１である場合は、パーミュートチャンク（Ｐｅｒｍｕｔｅ Ｃｈｕｎｋ）正規化アルゴリズムを適用する意味がないため、アルゴリズムは適用されなくてもよい。

上述したドロップチャンク正規化アルゴリズムおよび／またはパーミュートチャンク正規化アルゴリズムが適用されたチャンクが、機械学習で使用されてよい。

次に、不連続回帰（Ｄｉｓｃｒｅｔｉｚｅｄ Ｒｅｇｒｅｓｓｉｏｎ）技法を使用して機械学習を実行する方法について説明する。以下の数式（１）のように、Ａｒｇｍａｘ ｏｕｔｐｕｔ（数式（１）の（２）参照）またはＥｘｐｔｅｃｔｅｄ ｏｕｔｐｕｔの技法（数式（１）の（１）参照）が用いられてよい。

上記した数式において、ｙは、コメントと連関する評点であり、例えば、評点が特定の映画の評点である場合には０〜１０の定数値であってよい。ｘは、評点と連関するコメントであってよい。θは、ニューラルネットワークのパラメータであってよい。ｙ’は、結果値であってよい。

図１２は、上述した正規化アルゴリズムおよび機械学習の技法を適用した実験の結果を示した図である。

（１）は、ドロップチャンク正規化アルゴリズムを適用した場合の機械学習の性能を示している。（２）は、ドロップチャンク正規化アルゴリズムとパーミュートチャンク正規化アルゴリズムを適用した場合の機械学習の性能の比較と、これを共に使用した場合の機械学習の性能を示している。（３）は、不連続回帰技法および連続回帰技法の機械学習の性能の比較を示している。図に示されたグラフにおいて、横軸は、１０回の学習反復（ｉｔｅｒａｔｉｏｎ）をするたびに１ずつ増加してよい。

（１）および（２）を参照するとき、機械学習時にドロップチャンク正規化アルゴリズムを適用すれば、機械学習の性能が良くなり（１２１１、１２１２、１２１３、１２２１）、パーミュートチャンク正規化アルゴリズムを共に適用した場合には、機械学習の性能が良くなることを確認することができる（１２２３）。

（３）を参照するとき、連続回帰技法と不連続回帰技法を適用した場合を比べると、連続回帰技法を適用した場合に機械学習の性能がさらに良くなることを確認することができる。

上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）および前記ＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを格納、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ格納媒体または装置、または伝送される信号波に永久的に、または一時的に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で格納されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータで読み取り可能な記録媒体に格納されてよい。

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータで読み取り可能な媒体に記録されてよい。前記コンピュータで読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでよい。前記媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されたものであってもよいし、コンピュータソフトウェア当業者に公知な使用可能なものであってもよい。コンピュータで読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例は、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。上述したハードウェア装置は、実施形態の動作を実行するために１つ以上のソフトウェアモジュールとして動作するように構成されてよく、その逆も同じである。

以上のように、実施形態を、限定された実施形態と図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。

１００：フィードバック情報提供システム
１１０：ユーザ端末
１２０：コンテンツおよびフィードバック情報ＤＢ
２１０：通信部
２２０：制御部
２２２：コンテンツ入力感知部
２２４：コンテンツ分析部
２２６：フィードバック情報生成部
２２８：フィードバック情報提供部
２３０：通信部
２４０：制御部

Claims (18)

1. ユーザ端末から入力される第１コンテンツの入力を感知する段階、
   データベースに格納された第２コンテンツおよび前記第２コンテンツと連関するフィードバック情報を用いて実行された機械学習の結果に基づいて、リアルタイムで入力されている前記第１コンテンツを所定の単位で受信してリアルタイムで分析する段階、
   前記分析の結果に基づいて前記第１コンテンツと連関するフィードバック情報を生成する段階、および
   前記生成されるフィードバック情報を前記ユーザ端末に提供する段階
   を含み、
   前記生成されるフィードバック情報は、リアルタイムで入力されている前記第１コンテンツの内容に関するリアルタイムでの前記分析の結果に応じて適応的に変化し、
   前記第１コンテンツは、所定のコンテンツまたは所定のサービスに対する前記ユーザ端末のユーザからのコメントであり、
   前記生成されるフィードバック情報を前記ユーザ端末に提供する段階は、前記ユーザ端末によって前記第１コンテンツが入力されている間、前記適応的に変化するフィードバック情報を、前記コメントと連関された前記所定のコンテンツまたは所定のサービスに対する前記ユーザの評点として自動的に前記ユーザ端末で表示する、フィードバック情報提供方法。
2. 前記第２コンテンツおよび前記第２コンテンツと連関するフィードバック情報はそれぞれ、前記データベースに予め格納された、前記所定のコンテンツまたは所定のサービスに対するユーザからのコメントおよび前記コメントと連関する評点である、
   請求項１に記載のフィードバック情報提供方法。
3. リアルタイムで入力される前記第１コンテンツは、前記ユーザ端末から入力されるテキストを含み、
   前記分析する段階は、
   第１コンテンツのリアルタイムで入力されているテキストを所定の単位で受信してリアルタイムで分析し、
   前記生成されるフィードバック情報は、前記リアルタイムで入力されているテキストの内容に関するリアルタイムでの前記分析の結果に応じて適応的に変化し、
   前記生成されるフィードバック情報を前記ユーザ端末に提供する段階は、前記ユーザ端末によって前記第１コンテンツのテキストが入力されている間、前記適応的に変化するフィードバック情報を前記ユーザ端末に提供する、請求項１に記載のフィードバック情報提供方法。
4. 前記リアルタイムで分析する段階は、
   前記テキストが入力制限情報を含むか、または前記入力制限情報をどのくらい含むかを判定する段階
   を含み、
   前記生成されるフィードバック情報には、前記入力制限情報を含むか、または前記入力制限情報をどのくらい含むかを示す情報が含まれる、請求項３に記載のフィードバック情報提供方法。
5. 前記入力制限情報を含むか、または前記入力制限情報をどのくらい含むかを示す情報は、前記テキストの登録またはアップロードが制限されることを示す情報、および前記テキストが前記入力制限情報を含むか、または前記入力制限情報をどのくらい含むかに応じて視覚的に変化するインジケータのうちの少なくとも１つを含む、請求項４に記載のフィードバック情報提供方法。
6. 前記リアルタイムで分析する段階は、
   前記テキストの性格を判定する段階
   を含み、
   前記生成されるフィードバック情報は、判定された前記テキストの性格に応じて視覚的に変化するインジケータを含む、請求項３に記載のフィードバック情報提供方法。
7. 前記リアルタイムで分析する段階は、
   前記テキストのカテゴリを判定する段階
   を含み、
   前記生成されるフィードバック情報は、判定された前記テキストのカテゴリを示す情報を含む、請求項３に記載のフィードバック情報提供方法。
8. 前記リアルタイムで分析する段階は、
   前記テキストに関心があると予測されるユーザ群を判定する段階
   を含み、
   前記生成されるフィードバック情報は、判定された前記ユーザ群を示す情報を含む、請求項３に記載のフィードバック情報提供方法。
9. 前記フィードバック情報は、前記分析の結果に基づき、
   所定の形態で表示されるスコア、入力される前記第１コンテンツの視覚的な変更、入力される前記第１コンテンツの背景の視覚的な変更、視覚的に変化するスライドバー、視覚的に変化する計測器の針、視覚的に変化する前記第１コンテンツと連関するユーザインタフェース、視覚的に変化する顔文字、および視覚的に変化するアイコンのうちの少なくとも１つを含む、請求項１に記載のフィードバック情報提供方法。
10. 前記第１コンテンツは、前記ユーザ端末から他のユーザ端末に送信するためのメッセージであり、
    前記フィードバック情報は、前記メッセージを受信した前記他のユーザ端末のユーザが前記メッセージの全体内容を閲覧しなくても、前記メッセージの性格または少なくとも一部の内容を認知できるようにする情報を含む、請求項１に記載のフィードバック情報提供方法。
11. 前記機械学習は、ノイズをさらに含むデータを用いて実行されるか、前記第２コンテンツおよび前記第２コンテンツと連関するフィードバック情報のうちの一部の情報が削除されたデータを用いて実行される、請求項１に記載のフィードバック情報提供方法。
12. 前記機械学習は、
    前記コメントそれぞれに対し、各コメントをユニコードパースによって分離する過程、および前記各コメントの分離された要素それぞれをインデックス化する過程を含む前処理過程を含む、請求項２に記載のフィードバック情報提供方法。
13. 前記機械学習は、前記コメントを構成するシーケンスが含む少なくとも１つのアイテムで構成されるチャンクに対し、
    前記チャンクのデータを削除して前記データがないかのように処理して学習を実行するドロップチャンク（Ｄｒｏｐ Ｃｈｕｎｋ）正規化アルゴリズム、および前記チャンク内のアイテムをランダムに配置するパーミュートチャンク（Ｐｅｒｍｕｔｅ Ｃｈｕｎｋ）正規化アルゴリズムのうちの少なくとも１つを使用する過程を含む、請求項２に記載のフィードバック情報提供方法。
14. 前記ユーザ端末に提供されたフィードバック情報に対し、前記ユーザ端末からの修正情報を受信する段階
    をさらに含み、
    前記修正情報が反映されたフィードバック情報および前記ユーザ端末によって入力された前記第１コンテンツは、前記機械学習の実行において使用される、請求項１に記載のフィードバック情報提供方法。
15. 請求項１〜１４項のうちのいずれか一項に記載のフィードバック情報提供方法をフィードバック情報提供システムのコンピュータに実行させる、コンピュータプログラム。
16. ユーザ端末から入力される第１コンテンツの入力を感知するコンテンツ入力感知部、
    データベースに格納された第２コンテンツおよび前記第２コンテンツと連関するフィードバック情報を用いて実行された機械学習の結果に基づいて、リアルタイムで入力されている前記第１コンテンツを所定の単位で受信してリアルタイムで分析するコンテンツ分析部、
    前記分析の結果に基づいて前記第１コンテンツと連関するフィードバック情報を生成するフィードバック情報生成部、および
    前記生成されるフィードバック情報を前記ユーザ端末に提供するフィードバック情報提供部
    を含み、
    前記生成されるフィードバック情報は、リアルタイムで入力されている前記第１コンテンツの内容に関するリアルタイムでの前記分析の結果に応じて適応的に変化し、
    前記第１コンテンツは、所定のコンテンツまたは所定のサービスに対する前記ユーザ端末のユーザからのコメントであり、
    前記フィードバック情報提供部は、前記ユーザ端末によって前記第１コンテンツが入力されている間、前記適応的に変化するフィードバック情報を、前記コメントと連関された前記所定のコンテンツまたは所定のサービスに対する前記ユーザの評点として自動的に前記ユーザ端末に表示する、フィードバック情報提供システム。
17. 前記第２コンテンツおよび前記第２コンテンツと連関するフィードバック情報はそれぞれ、前記データベースに予め格納された、前記所定のコンテンツまたは所定のサービスに対するユーザからのコメントおよび前記コメントと連関する評点である、請求項１６に記載のフィードバック情報提供システム。
18. リアルタイムで入力される前記第１コンテンツは、前記ユーザ端末から入力されるテキストを含み、
    前記コンテンツ分析部は、
    第１コンテンツのリアルタイムで入力されているテキストを所定の単位で受信してリアルタイムで分析し、
    前記生成されるフィードバック情報は、前記リアルタイムで入力されているテキストの内容に関するリアルタイムでの前記分析の結果に応じて適応的に変化し、
    前記フィードバック情報提供部は、前記ユーザ端末によって前記第１コンテンツのテキストが入力されている間、前記適応的に変化するフィードバック情報を前記ユーザ端末に提供する、請求項１６に記載のフィードバック情報提供システム。

Images