JP6727413B2 - メッセージ共有方法及びコンピュータプログラム - Google Patents

Description

本発明は、チャットルームを介して、各ユーザの状態を反映させた画像データを共有するメッセージ共有方法及び該方法を実行させるためのコンピュータプログラムに関する。

チャットシステムは、各自の端末を利用し、映像及びメッセージを交換して対話するシステムである。従来、複数のユーザは、各ユーザ端末を介して入力されたテキストまたは画像データをチャットルームに提供して共有することができた。

本発明は、ユーザによって入力されたテキスト、カメラによって撮影された画像データなどを考慮し、ユーザの感情、位置または周辺状況と係わる客体を抽出し、客体が適切に結合された画像データを生成するメッセージ共有方法及びコンピュータプログラムを提供することを目的とする。

また、本発明は、チャットルームを介して、生成された画像データ及びテキストを共有するように制御するメッセージ共有方法及びコンピュータプログラムを提供することを目的とする。

本発明の実施形態に係るコンピュータプログラムは、コンピュータに、本発明の実施形態に係るメッセージ共有方法のうちのいずれか１つを実行させるために、媒体に記録されてもよい。

それ以外にも、本発明を具現化するための他の方法、他のシステム、及び方法を実行するためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体がさらに提供される。

前述のもの以外の他の側面、特徴、利点は、図面、特許請求の範囲、及び発明の詳細な説明から明確になるであろう。

本発明の実施形態に係るメッセージ共有方法及びコンピュータプログラムは、ユーザによって入力されたテキスト、カメラによって撮影された画像データなどを考慮し、ユーザの感情、位置または周辺状況と係わる客体を抽出し、客体が適切に結合された画像データを生成することができる。

また、本発明の実施形態に係るメッセージ共有方法及びコンピュータプログラムは、チャットルームを介して、複合メッセージを共有するように制御することができる。

本発明の実施形態に係るユーザ端末の構成を示すブロック図である。 本発明の実施形態に係るチャットシステムの構成を示す図である。 ユーザ端末に提供されるチャットルームのユーザインターフェースについて説明するための図である。 メッセージ共有方法によって変換された画像データ、及び生成された複合メッセージの例示について説明するための図である。 メッセージ共有方法によって変換された画像データ、及び生成された複合メッセージの例示について説明するための図である。 メッセージ共有方法によって変換された画像データ、及び生成された複合メッセージの例示について説明するための図である。 メッセージ共有方法によって変換された画像データ、及び生成された複合メッセージの例示について説明するための図である。 メッセージ共有方法によって変換された画像データ、及び生成された複合メッセージの例示について説明するための図である。 本発明の実施形態に係るメッセージ共有方法のフローチャートである。 本発明の実施形態に係るメッセージ共有方法のフローチャートである。

本発明は、多様な変更を加えることができ、さまざまな実施形態を有することができるが、特定の実施形態を図に例示し、詳細に説明する。本発明の効果、特徴、及びそれらを達成する方法は、図と共に詳細に説明する実施形態を参照すると、明確になるであろう。しかしながら、本発明は、以下で開示される実施形態に限定されるものではなく、多様な形態によって具現化され得る。

以下、添付された図面を参照し、本発明の実施形態について詳細に説明するが、図面を参照して説明するとき、同一のまたは対応する構成要素には、同一の符号が付され、それに係わる重複説明は、省略される。

以下の実施形態において、第１、第２のような用語は、限定的な意味ではなく、１つの構成要素を他の構成要素と区別する目的で使用されている。

以下の実施形態において、単数の表現は、文脈上明確に異なって意味しない限り、複数の表現を含む。

以下の実施形態において、「含む」または「有する」というような用語は、明細書に記載された特徴または構成要素が存在するということを意味するものであり、１以上の他の特徴または構成要素が付加される可能性を排除するものではない。

ある実施形態が異なって具現化可能な場合、特定の工程順序は、説明される順序と異なるように実行されることもある。例えば、連続して説明される２つの工程が実質的に同時に実行されることもあるし、説明される順序とは反対の順序で進められることもある。

以下の実施形態において、「回路」は、例えば、プログラム可能な回路によって実行される命令を保存するハードワイヤード回路、プログラム可能な回路、状態マシン回路、及び／または、ファームウェアを単独でまたは任意の組み合わせで含むものであってよい。アプリケーションは、ホストプロセッサ、または他のプログラム可能な回路のようなプログラム可能な回路において実行されるコードまたは命令として具現化されることもある。本願の任意の実施形態で使用されるようなモジュールは、回路として具現化されることもある。該回路は、集積回路チップのような集積回路として具現化されることもある。

以下の実施形態において、ある部分がある構成要素を「含む」とするとき、それは、特別に反対となる記載がない限り、他の構成要素を排除するものではなく、他の構成要素をさらに含んでもよいということを意味する。また、明細書に記載されている「・・・部」、「・・・器」、「・・・モジュール」というような用語は、少なくとも１つの機能や動作を処理する単位を意味し、それは、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアとの組み合わせによって具現化され得る。

図１は、本発明の実施形態に係るユーザ端末１００を示す図である。

図１を参照すると、本発明の実施形態に係るユーザ端末１００は、カメラ１１０、入力部１２０、出力部１３０、センサ部１４０、プロセッサ１５０、及び記録媒体１６０を含んでよい。

カメラ１１０は、画像通話モードまたは撮影モードで、イメージセンサを介して、静止画または動画などの画像フレームを得ることができる。イメージセンサを介してキャプチャされたイメージは、プロセッサ１５０、または別のイメージ処理部（図示せず）を介しても処理される。カメラ１１０で処理された画像フレームは、記録媒体１６０に記録されたり、外部に伝送されたりする。カメラ１１０は、端末の構成態様に応じて、２台以上が具備されてもよい。

カメラ１１０は、外部の音響信号が入力され、電気的なオーディオデータに処理するマイクロフォンをさらに含んでもよい。マイクロフォンは、外部の音響信号が入力される過程で生じるノイズを除去するための多様なノイズ除去アルゴリズムを利用することができる。

入力部１２０は、ユーザが、ユーザ端末１００を制御するためのデータを入力する手段を意味する。例えば、ユーザ入力部１５０の例として、キーパッド、ドームスイッチ、タッチパッド（接触式静電容量方式、圧力式抵抗膜方式、赤外線感知方式、表面超音波伝導方式、積分式張力測定方式、ピエゾ効果方式など）、ジョグホイール、ジョグスイッチなどがあるが、それらに限定されるものではない。

出力部１３０は、ユーザ端末１００で処理されたり生成されたりする情報を出力する。例えば、出力部１３０は、ゲームアプリケーションの実行時に提供されるユーザインターフェースを出力することができる。出力部１３０とタッチパッドとがレイヤ構造をなし、タッチスクリーンとして構成される場合、出力部１３０は、出力装置以外に、入力装置としても使用される。出力部１３０は、液晶ディスプレイ、薄膜トランジスタ液晶ディスプレイ、有機発光ダイオード、フレキシブルディスプレイ、三次元（３Ｄ）ディスプレイ、及び電気泳動ディスプレイのうちの少なくとも１つを含んでよい。デバイス１００の具現化形態に応じて、デバイス１００は、ディスプレイ部１３１を２個以上含んでもよい。この場合、２個以上のディスプレイ部１３１は、ヒンジを利用し、対向するように配置されてもよい。

センサ部１４０は、衛星通信を利用し、ユーザ端末１００の地理的位置を算出するＧＰＳ（global position system）センサを含んでよい。

プロセッサ１５０は、一般的に、ユーザ端末１００の全般的な動作を制御する。例えば、プロセッサ１５０は、記録媒体１６０に記録された命令を介して、カメラ１１０、入力部１２０、出力部１３０、センサ部１４０などを全般的に制御することができる。プロセッサ１５０は、プロセッサのように、データを処理することができる全種の装置を含んでよい。ここで、「プロセッサ」は、例えば、プログラムに含まれるコードまたは命令によって表現された機能を実行するために、物理的に構造化された回路を有する、ハードウェアに内蔵されたデータ処理装置を意味する。ハードウェアに内蔵されたデータ処理装置の例として、マイクロプロセッサ、中央処理装置（ＣＰＵ：central processing unit）、プロセッサコア、マルチプロセッサ、ＡＳＩＣ（application-specific integrated circuit）、ＦＰＧＡ（field programmable gate array）のような処理装置を網羅することができるが、本発明の範囲は、それらに限定されるものではない。

記録媒体１６０は、オペレーティングシステム、アプリケーション、プログラム、ライブラリ及びドライバのような、ユーザ端末１００の動作中に使用される多様なデータ及びソフトウェアを記録することができる。記録媒体１６０は、フラッシュメモリタイプ、ハードディスクタイプ、マルチメディアカードマイクロタイプ、カードタイプのメモリ（例えば、ＳＤメモリまたはＸＤメモリなど）、ＲＡＭ（random access memory）、ＳＲＡＭ（static random access memory）、ＲＯＭ（read-only memory）、ＥＥＰＲＯＭ（electrically erasable programmable read-only memory）、ＰＲＯＭ（programmable read-only memory）、磁気メモリ、磁気ディスク、及び光ディスクのうちの少なくとも１つのタイプの記録媒体を含んでよい。また、ユーザ端末１００は、インターネット上において、記録媒体１６０の記録機能を実行するウェブストレージまたはクラウドサーバを運用させることもできる。

記録媒体１６０に記録されたプログラムは、その機能により、例えば、ＵＩ（user interface）モジュール、タッチスクリーンモジュール、お知らせモジュールなどといった複数のモジュールに分類されることもある。

次に、記録媒体１６０に記録される構成要素について詳細に説明する。

映像受信部１６１は、カメラ１１０を介して生成された画像データを受信する。映像受信部１６１は、入力部１２０を介して伝送が入力された時点を基準に、事前に設定された時間の間、画像データを撮影する。

テキスト受信部１６２は、入力部１２０を介して入力されたテキストを受信する。

客体抽出部１６３は、画像データ及びテキストを分析し、テキストを分析した結果、画像データを分析した結果、及びセンサ部１４０から取得されたセンシング値のうちの少なくとも１つを利用し、ユーザと係わる客体を抽出することができる。ここで、客体は、視覚的データまたは聴覚的データのような感覚的データを指し、アニメーションエフェクトのように、基本的なイメージを変形するエフェクトをさらに含んでもよい。客体抽出部１６３は、テキストを分析した結果を利用し、ユーザと係わる第１客体を抽出することができる。より具体的には、ユーザによって入力されたテキストを、自然言語処理する方法を利用して分析し、分析した結果を利用し、ユーザと係わる客体を抽出することができる。さらに具体的には、客体抽出部１６３は、ユーザによって入力されたテキストを形態素単位に分離し、テキストにおいて、ユーザ感情を示す形容詞を抽出し、抽出された形容詞を基に、ユーザが有している感情と係わる客体を抽出することができる。例えば、ユーザによって入力されたテキストが、「悲しい」という形容詞を含む場合、客体抽出部１６３は、ユーザの悲しい感情と対応するイメージを、客体として抽出することができる。また、客体抽出部１６３は、形態素単位に分離し、テキストにおいて、ユーザの現在行為と対応する動詞を抽出し、抽出された動詞を基に、ユーザの現在行為と係わる客体を抽出することができる。例えば、ユーザによって入力されたテキストが、「映画を見る」という動詞を含む場合、客体抽出部１６３は、劇場イメージを、ユーザの行為と係わる客体として抽出することができる。客体抽出部１６３は、ユーザによって入力されたテキストを形態素単位に分離し、テキストにおいて、ユーザが位置する位置を示す副詞を抽出し、副詞を基に、ユーザが位置する位置と係わる客体を抽出することができる。

客体抽出部１６３は、カメラを介して撮影された画像データを分析し、画像データを分析した結果を利用し、ユーザと係わる客体を抽出することができる。より具体的には、客体抽出部１６３は、現在、カメラを介して撮影された画像データに存在するユーザと対応する領域を分析領域と決定し、分析領域に含まれるエッジまたは特徴点などを抽出し、エッジまたは特徴点などを基に、分析領域に含まれる人の顔表情を決定し、顔表情と対応する客体を抽出することができる。例えば、カメラを介して撮影された画像データが、怒った表情の人を含む場合、客体抽出部１６３は、画像データから、「怒る」と対応するイメージを、客体として抽出することができる。

客体抽出部１６３は、現在、カメラを介して撮影された画像データに存在するユーザと対応する領域を分析領域と決定し、分析領域に含まれるエッジまたは特徴点などを抽出し、エッジまたは特徴点などを基に、分析領域に含まれる人の口の様子を分析することにより、画像データから追加テキストを抽出することもできる。客体抽出部１６３は、追加テキストと対応するイメージを第２客体として生成することができる。

他の実施形態において、客体抽出部１６３は、顔認識アルゴリズムを利用し、画像データに含まれる人の顔と対応する顔領域を抽出し、顔領域と対応させ、ユーザと係わる第１客体または第２客体を位置させることができる。

客体抽出部１６３は、センサ部によって取得されたユーザの位置を考慮し、ユーザと係わる客体を抽出することもできる。例えば、センサ部によって取得されたユーザの位置が「パリ」である場合、客体抽出部１６３は、「パリ」と対応する代表建築物であるエッフェル塔などを、ユーザと係わる客体として抽出することができる。このとき、客体抽出部１６３は、ユーザの位置と対応する代表建築物、位置自体、位置周辺の背景などを、ユーザと係わる客体として抽出することができる。

客体抽出部１６３は、ユーザ端末にインストールされた他のアプリケーション（検索、ポータル、天気予報など）を介して取得されたまたはセンサ部を介して取得された天気情報を考慮し、ユーザと係わる客体を抽出することができる。例えば、現在の天気が「曇り」である場合、客体抽出部１６３は、「曇り」と対応する雲、灰色空のようなイメージを、客体として抽出することができる。

他の実施形態において、客体抽出部１６３は、日付及び時間の情報を利用し、現在時点の季節を決定し、季節によるイメージを、客体として抽出することができる。ここで、日付及び時間の情報は、基地局を介して取得されることもあるし、インターネット網を介して取得されることもあるし、あるいはユーザによって入力された情報を基に測定されることもある。客体抽出部１６３は、春と対応し、若葉が芽生えるイメージを、客体として抽出することができ、夏と対応し、海水浴場、ビキニなどのイメージを、客体として抽出することができ、秋と対応し、紅葉イメージを、客体として抽出することができ、冬と対応し、降雪や雪だるまのようなイメージを、客体として抽出することができる。

他の実施形態において、客体抽出部１６３は、日付及び時間の情報を利用し、現在時点のシーズンを決定し、シーズンによるイメージを、客体として抽出することができる。現在時点がクリスマスシーズンである場合、客体抽出部１６３は、シーズンであるクリスマスと対応するツリー、サンタクロースなどのイメージを、客体として抽出することができる。現在時点が中伏である場合、客体抽出部１６３は、シーズンである「中伏」と対応する「参鶏湯」、「エアコン」、「水遊び」、「浜辺」のようなイメージを、客体として抽出することができる。

客体抽出部１６３を介して抽出された客体は、二次元のデータであることもあるし、経時的に変更される三次元のデータであることもある。ここで、他の実施形態において、客体抽出部１６３は、抽出された客体にアニメーションエフェクトを追加することができるということは言うまでもない。客体抽出部１６３は、扇風機について、扇風機羽根が回るアニメーションエフェクトを追加することができる。客体抽出部１６３は、悲しい人を表現するために、涙が流れるエフェクトを追加することもできるし、雨降る天気を表現するために、雨が降るアニメーションエフェクトを追加することもできる。客体抽出部１６３は、爆竹を表現するために、爆竹がだんだんと大きくなるエフェクトを追加することができる。

コンテンツ生成部１６４は、抽出された客体をさらに含むように、画像データを編集することができる。より具体的には、コンテンツ生成部１６４は、抽出された客体が適切に表現されるように、各客体の表示位置を決定することができる。コンテンツ生成部１６４は、人の顔に適切に表示されなければならない、恥イメージ、怒りイメージなどと係わり、画像データにある人の顔を考慮し、抽出された客体の位置を決定することができる。また、コンテンツ生成部１６４は、抽出された客体を画像データの背景に表示するように、画像データを編集することができる。例えば、コンテンツ生成部１６４は、画像データから取得されたテキストを画像データに含めることができ、テキストが人の口から出てくるように表現されるように、画像データを変更することができる。コンテンツ生成部１６４は、抽出された「怒り」イメージを、人の頭上側に存在させることができる。コンテンツ生成部１６４は、抽出された「涙」イメージについて、人の目から流れるように、画像データを変更することができる。

また、コンテンツ生成部１６４は、画像データをサムネイルに変換することができる。このとき、コンテンツ生成部１６４は、画像データを、ユーザのプロフィール（profile）形式によるサムネイルに変換することができる。コンテンツ生成部１６４は、プロフィール形式に合わせ、画像データのサイズ（解像度）を変換することもできるし、あるいは画像データの一部を削除することもできる。追加的に、コンテンツ生成部１６４は、プロフィール形式に合わせ、画像データの解像度を低くし、画像データの容量を減らすこともできる。ここで、プロフィールは、チャットルームで提供されるメッセージと共に表示されるユーザ関連情報を指す。

コンテンツ生成部１６４は、変換された画像データ及びテキストを結合した複合メッセージを生成することができる。このとき、テキストについても、コンテンツ生成部１６４は、画像データ及びテキストを分析し、画像データを分析した結果、テキストを分析した結果、及びセンシング値のうちの少なくとも１つを考慮し、テキストをイメージに変換することができる。コンテンツ生成部１６４は、テキストのフォント種類、フォントサイズ、及びフォント色のうちの少なくとも１つを変更することもできるし、テキストをイメージのように表現することもできる。すなわち、コンテンツ生成部１６４は、変換された画像データ及びイメージに変換されたテキストを結合した複合メッセージを生成することができる。コンテンツ生成部１６４は、ユーザによって入力されたテキストを提供するだけでなく、ユーザの感情、位置、または現在の天気、季節、シーズンなどを反映させた客体を含む、現在撮影された画像データを結合した複合メッセージを生成することができる。それを介して、本発明の実施形態に係るユーザ端末１００は、ユーザの感情、位置、天気などの情報を視覚化させた複合メッセージを提供することができ、テキストの認知なしでも、ユーザと係わる付随的な情報を取得することができる。他の実施形態において、コンテンツ生成部１６４は、テキスト提供においても、テキストを表現するフォントの種類、サイズ、色などを変更することができる。コンテンツ生成部１６４は、１つのテキストについても、互いに異なるフォントの種類、サイズ、色などにより、テキストに含まれる形態素を区分して表示することができる。また、コンテンツ生成部１６４は、テキストを表示する方式も、二次元で表現することもでき、画像データに含まれる人の口からテキストが提供されるアニメーションエフェクトを含んで提供することができる。例えば、テキストが提供されるアニメーションエフェクトは、左または右から飛んでくるエフェクト、上または下から飛んでくるエフェクトなどであってよい。

コンテンツ提供部１６５は、チャットルームを介して、他のユーザと共有されるように、変換された画像データ及びテキストを提供することができる。コンテンツ提供部１６５は、生成された複合メッセージが、チャットルームを介して、他のユーザと共有されるように、生成された複合メッセージを提供する。コンテンツ提供部１６５は、複数のユーザ間において、メッセージを交換することができるチャットルームを介して、複合メッセージを提供する。複合メッセージのサイズは、入力された画像データ、テキスト、または抽出された客体に応じて異なり得る。他の実施形態において、コンテンツ提供部１６５は、複合メッセージに含まれるアニメーションエフェクトを初めに提供した後、事前に設定された基本時間、例えば、１５分間だけ、提供し、１５分が経過すると、複合メッセージに含まれるアニメーションエフェクトなしに、複合メッセージを二次元的に提供することができる。

他の実施形態において、生成された複合メッセージは、各ユーザのプロフィール写真に設定されてもよく、より具体的には、当該チャットルームでのみ一時的に、プロフィールとして機能することができる。

本発明の実施形態に係るユーザ端末１００は、入力されたテキストまたは画像データから客体を抽出することにより、ユーザが伝達しようとする感情、気持ち、状態などをさらに視覚的に表現することができる。また、本発明の実施形態に係るユーザ端末１００は、チャットルームを介して、共有する画像データに追加しようとする客体が、ユーザから選択されることも可能にする。本発明の実施形態に係るユーザ端末１００は、一般的なチャットシステムと異なり、チャットルームを介して、テキスト以外のデータを共有することができ、特に、入力された複数のデータタイプに該当するデータを、１つのコンテンツに変換して提供することができる。例えば、ユーザ端末１００は、ユーザによって入力された「愛してる」と対応し、「愛してる」という感情をさらに極大化させることができる客体を、事前に保存された複数のアイコンのうちから選択することができる。ユーザ端末１００は、抽出された客体を反映させ、チャットルームで共有されたメッセージを時系列的に配列させ、１つのデータに生成することにより、各メッセージが入力された時点から時間が長く経った後でも、画像データに追加された客体または複合メッセージを介して、当該メッセージが入力された時点で、他の状態（位置、時間、天気、感情など）を伝達することができる。すなわち、ユーザ端末１００は、客体または複合メッセージを介して、各ユーザが位置していた位置、各メッセージが入力された時点の天気、各メッセージが入力された時点の時間などをさらに伝達することができる。

図２は、本発明の実施形態に係るチャットシステムの構成を示す図である。

ユーザは、ユーザ端末１００、１０１、１０２を介して、チャットサーバ２００に接続することができる。ユーザ端末１００は、チャットサーバ２００が提供するチャットアプリケーションをダウンロードすることができる。また、ユーザ端末１００は、インストールされた１以上の他のアプリケーションの利用情報を、チャットサーバ２００に送信することもできる。

複数のユーザ端末１００は、有線／無線通信環境で、ウェブサービスを利用することができる通信端末を意味する。ここで、ユーザ端末１００は、ユーザのパソコン１０１であってもよいし、ユーザの携帯端末１０２であってもよい。図２において、携帯端末１０２がスマートフォンのように図示されているが、本発明の思想は、それに限定されるものではなく、前述のように、ウェブブラウジングが可能なアプリケーションをインストールした端末であれば、どのようなものでも適用可能である。

それについてさらに詳細に説明すると、ユーザ端末１００は、コンピュータ（例えば、デスクトップ、ラップトップ、タブレットなど）、メディアコンピューティングプラットフォーム（例えば、ケーブル、衛星セットトップボックス、デジタルビデオレコーダ）、ハンドヘルドコンピュータデバイス（例えば、ＰＤＡ（personal digital assistant）、電子メールクライアントなど）、携帯電話の任意の形態、もしくは他種のコンピュータ、またはコミュニケーションプラットフォームの任意の形態を含んでよいが、本発明は、それらに限定されるものではない。

チャットサーバ２００は、一般的なチャットサービスを提供することができる。チャットサーバ２００は、ユーザからの受信された要求に応じて、チャットルームを新設または除去することもできる。チャットサーバ２００は、第１ユーザ端末によって生成された複合メッセージを受信し、チャットルームに含まれる他のユーザ端末に複合メッセージを提供することができる。

通信網３００は、複数のユーザ端末１００とチャットサーバ２００とを接続する役割を担う。すなわち、通信網３００は、ユーザ端末１００がチャットサーバ２００に接続した後、データを送受信することができるように、接続経路を提供する通信網を意味する。通信網３００は、例えば、ＬＡＮ（local area network）、ＷＡＮ（wide area network）、ＭＡＮ（metropolitan area network ）、ＩＳＤＮ（integrated service digital network）のような有線ネットワークや、無線ＬＡＮ、ＣＤＭＡ（code division multiple access）、ブルートゥース（登録商標）、衛星通信などの無線ネットワークを網羅することができるが、本発明の範囲は、それらに限定されるものではない。

図３は、ユーザ端末に提供されるチャットルームのユーザインターフェースについて説明するための図である。

ユーザ端末に提供されるチャットルームのユーザインターフェースは、チャットルームを介して交換されたメッセージを提供する第１領域Ａ１と、ユーザ端末を介して取得されたテキスト及び画像データを事前に提供する第２領域Ａ２と、を含んでよい。

第１領域Ａ１は、経時的に配列されることが一般的であり、新たなメッセージが入力されると、新たなメッセージが下端に追加され、それにより、最も上端に位置していたメッセージは、表示領域から外れる。第１領域Ａ１には、メッセージと共に、メッセージを入力したユーザのプロフィール情報が提供される。特に、本発明の実施形態に係るユーザ端末１００は、第２領域Ａ２の一部に、カメラを介して撮影された画像データＳ１を、ユーザのプロフィール情報代わりに表示することができる。また、本発明の実施形態に係るユーザ端末１００は、第２領域Ａ２の残りの領域に、ユーザによって入力されたテキストＳ２を表示することができる。ユーザによって入力されたテキスト及び画像データに係わる伝送のための入力が受信されると、第１領域Ａ１の最下側領域Ｓ３において、テキスト、及び抽出された客体を含む画像データが別個の領域にも提供される。他の実施形態において、第１領域Ａ１の最下側領域Ｓ３に、ユーザによって入力されたテキスト、及び抽出された客体を含む画像データを結合した複合メッセージが提供される。メッセージが表示される領域Ｓ３において、画像データ及びテキストを表示する領域の区分なしに、１つの領域に、画像データ、テキスト、画像データと、テキストを介して抽出された客体とを結合した１つのメッセージが提供されもする。メッセージが表示される領域Ｓ３において、画像データ及びテキストが別個の領域に提供される。

それを介して、本発明の実施形態に係るメッセージ共有方法は、チャットルームに提供される領域が、全体的に、ユーザによって入力されたデータによっても表現されるようにする。また、本発明の実施形態により、対話者であるユーザを撮影した画像データを共に提供することにより、各メッセージの発信者がさらに容易に認知される。

図４ないし図８は、メッセージ共有方法によって変換された画像データ、及び生成された複合メッセージの例示について説明するための図である。

図４ないし図８に図示されているように、入力されたテキストは、画像データに含まれる人と連結された吹き出し（speech bubble）にも含められる。

図４は、ユーザ端末の位置情報を基に客体を抽出し、客体を含む画像データまたは複合メッセージを生成した例に係わるものであり、ユーザ端末の位置が「パリ」である場合、ユーザの位置である「パリ」がさらに容易に認知されるように、「パリ」の代表イメージであるエッフェル塔を背景に含むように、図４（ｂ）のように、画像データを変換することができる。図４（ｃ）のように、ユーザ端末の位置が「パリ」である場合、ユーザの位置である「パリ」がさらに容易に認知されるように、「パリ」の代表イメージであるエッフェル塔を背景として含む複合メッセージを生成することができる。特に、抽出されたユーザの位置が、普段あまり訪問していない場所であるか、あるいは当該チャットルームに含まれる他のユーザの位置と異なる国である場合、ユーザ端末の位置情報を基に、客体を抽出することができる。抽出された客体は、現在時点で撮影された画像データと共に表現される。また、複合メッセージは、テキストをイメージに変換し、共に提供することができる。図４（ｃ）に図示されているように、複合メッセージは、吹き出しによって表現されたテキストをさらに含むことになる。

図５は、ユーザ端末によって決定された天気情報を基に客体を抽出し、客体を含む画像データまたは複合メッセージを生成した例に係わるものであり、ユーザ端末の位置、及び現在時間を基に検索された天気情報が「雨」である場合、取得された天気をさらに容易に認知させるために、「雨降る背景」を含む図４（ｂ）のように、画像データを生成することができる。ユーザ端末の位置、及び現在時間を基に検索された天気情報が「雨」である場合、取得された天気をさらに容易に認知させるために、「雨降る背景」を含む図４（ｃ）のように、複合メッセージを生成することができる。

図６は、ユーザによって入力されたテキストから抽出されたユーザの感情と係わる客体を含む複合メッセージを生成した例に係わるものであり、ユーザによって入力された「おなかすいた」を反映させ、画像データまたは複合メッセージを生成することができる。具体的には、図６（ｂ）のように、入力されたテキストである「おなかすいた」によって、撮影された画像データに含まれる人、顔形状は、「おなかすいた」すなわち空腹を示すイメージ、イモティコンを追加で含んでもよい。

図７は、ユーザによって入力されたテキスト及び画像データから抽出されたユーザの感情と係わる客体を含む画像データまたは複合メッセージを生成した例に係わるものである。すなわち、ユーザ端末１００は、ユーザによって入力されたテキストである「やりすぎじゃない」を分析し、テキストの文脈を介して、ユーザの感情を「怒り」と決定することができる。決定されたユーザの感情により、画像データまたは複合メッセージは、画像データの人形状上に、「怒り」と対応するイメージを含めることができる。また、複合メッセージは、入力されたテキストの表示方法も変更することができ、すなわち、テキストの字をさらに大きく太く変更することができ、吹き出しの形態も、ユーザの感情により、図７（ｃ）に図示されているように変更することができる。吹き出しの形態は、ユーザの「怒り」と対応し、張り裂けるような形態を有することができる。まとめると、本発明の実施形態に係るメッセージ共有方法は、テキストまたは画像データを介して取得されたユーザの感情と係わり、感情を表現するイメージの追加、感情と対応するフォントの変更、付随的なアニメーションエフェクトの反映などが可能である。

図８は、時間情報を介して取得されたシーズン情報、及びユーザによって入力されたテキストを考慮して抽出された客体を含む画像データまたは複合メッセージを生成した例に係わるものである。図８に図示されているように、時間情報と対応するシーズンがクリスマスである場合、画像データまたは複合メッセージは、シーズンと係わるツリーイメージをさらに含んでよく、撮影された画像データに追加して、ユーザの衣装をクリスマスに合わせ、入力されたテキストを考慮し、タキシードをオーバーラップさせることができる。すなわち、入力されたテキストがデート申請者である場合、ユーザの衣装を、それに合うタキシードに変更することができる。

図９は、本発明の実施形態に係るメッセージ共有方法のフローチャートである。

図９を参照すると、本発明の実施形態に係るメッセージ共有方法は、画像データ受信段階（Ｓ１１０）、テキスト受信段階（Ｓ１２０）、センシング値受信段階（Ｓ１３０）、客体抽出段階（Ｓ１４０）、及び画像データ編集段階（Ｓ１５０）を含んでよい。

Ｓ１１０において、ユーザ端末１００は、カメラを介して撮影された画像データを受信する。ユーザによる入力により、事前に設定された時間の間、例えば、２秒間、画像データを撮影することになる。Ｓ１２０において、ユーザ端末１００は、入力部を介して入力されたテキストを受信する。Ｓ１３０において、ユーザ端末１００は、センサ部を介してユーザの位置、周辺の天気、時間などのセンシング値を受信することができる。

Ｓ１４０において、ユーザ端末１００は、テキスト及び画像データを分析し、テキストを分析した結果、画像データを分析した結果、及びセンサ部から取得されたセンシング値のうちの少なくとも１つを利用し、ユーザと係わる第１客体を抽出することができる。Ｓ１４０の動作は、客体抽出部１６３の動作と同一であるので、詳細な説明を省略する。

Ｓ１５０において、ユーザ端末１００は、抽出された客体をさらに含むように、画像データを編集することができる。ユーザ端末１００は、抽出された客体が適切に表現されるように、各客体の表示位置を決定することができる。ユーザ端末１００は、人の顔によって適切に表示されなければならない、恥イメージ、怒りイメージなどと係わり、画像データにある人の顔を考慮し、抽出された客体の位置を決定することができる。また、ユーザ端末１００は、抽出された客体を画像データの背景に表示するように、画像データを編集することができる。ユーザ端末１００は、第１客体が、決定された位置に表現されるように、画像データを編集することになる。また、ユーザ端末１００は、編集された画像データをサムネイルに変換することができる。サムネイルは、各ユーザのプロフィールに設定される。サムネイルへの変換は、編集された画像データのサイズを変更すること、画像データの一部を除去すること、または画像データの容量を小さくすることを指す。

図１０を参照すると、本発明の実施形態に係るメッセージ共有方法は、画像データ受信段階（Ｓ２１０）、テキスト受信段階（Ｓ２２０）、センシング値受信段階（Ｓ２３０）、客体抽出段階（Ｓ２４０）、画像データ編集段階（Ｓ２５０）、及び複合メッセージ生成段階（Ｓ２６０）を含んでよい。

Ｓ２１０において、ユーザ端末１００は、カメラを介して撮影された画像データを受信する。ユーザによる入力により、事前に設定された時間の間、例えば、２秒間、画像データを撮影することになる。Ｓ２２０において、ユーザ端末１００は、入力部を介して入力されたテキストを受信する。Ｓ２３０において、ユーザ端末１００は、センサ部を介してユーザの位置、周辺の天気、時間などのセンシング値を受信することができる。

Ｓ２４０において、ユーザ端末１００は、テキスト及び画像データを分析し、テキストを分析した結果、画像データを分析した結果、及びセンサ部から取得されたセンシング値のうちの少なくとも１つを利用し、ユーザと係わる第１客体を抽出することができる。Ｓ２４０の動作は、客体抽出部１６３の動作と同一であるので、詳細な説明を省略する。

Ｓ２５０において、ユーザ端末１００は、抽出された客体をさらに含むように、画像データを編集することができる。ユーザ端末１００は、抽出された客体が適切に表現されるように、各客体の表示位置を決定することができる。ユーザ端末１００は、人の顔によって適切に表示されなければならない、恥イメージ、怒りイメージなどと係わり、画像データにある人の顔を考慮し、抽出された客体の位置を決定することができる。また、ユーザ端末１００は、抽出された客体を画像データの背景に表示するように、画像データを編集することができる。ユーザ端末１００は、第１客体が、決定された位置に表現されるように、画像データを編集することになる。また、ユーザ端末１００は、編集された画像データをサムネイルに変換することができる。

Ｓ２６０において、ユーザ端末１００は、変換された画像データ及びテキストを１つの複合メッセージに生成することができる。ユーザ端末１００は、テキストをイメージに変換することができ、そのような場合、複合メッセージは、変換された画像データ及びイメージに変換されたテキストを含んでよい。

以上で説明された本発明の実施形態は、コンピュータ上で多様な構成要素を介して実行されるコンピュータプログラムの形態によって具現化されてよく、そのようなコンピュータプログラムは、コンピュータ読み取り可能な媒体に記録されてよい。ここで、このような媒体は、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体；ＣＤ−ＲＯＭ（compact disc read only memory）及びＤＶＤ（digital versatile disc）のような光記録媒体；フロプティカルディスク（floptical disk）のような光磁気媒体；及びＲＯＭ、ＲＡＭ、フラッシュメモリのような、プログラム命令を記録して実行するように特別に構成されたハードウェア装置を含んでよい。さらに、上記媒体以外に、ネットワーク上で伝送可能な形態によって具現化される無形の媒体も可能であり、そのような媒体は、例えば、ソフトウェア形態またはアプリケーション形態で具現化され、ネットワークを介して伝送及び流通が可能な形態の媒体であってよい。

なお、コンピュータプログラムは、本発明のために特別に設計されて構成されたものであってもよいし、コンピュータソフトウェア分野の当業者に知られている使用可能なものであってもよい。コンピュータプログラムの例には、コンパイラによって作成されるような機械語コードだけではなく、インタープリタなどを使用し、コンピュータによって実行される高級言語コードも含まれる。

本発明で説明する特定の実行は、一実施形態であり、いかなる方法によっても、本発明の範囲を限定するものではない。明細書の簡潔さのために、従来の電子的な構成、制御システム、ソフトウェア、システムの他の機能的な側面の記載は、省略される。また、図に図示された構成要素間の線の接続／連結または接続／連結部材は、機能的な接続／連結、及び／または物理的または回路的な接続／連結を例示的に示したものであり、実際の装置においては、代替可能であったり、追加されたりする多様な機能的な接続／連結、物理的または回路的な接続／連結としても示される。また、「必須な」、「重要に」というような具体的な言及がなければ、本発明の適用のために、必ずしも必要な構成要素ではない。

本願の明細書（特に、特許請求の範囲）において、「前記」という用語、及びそれと類似した指示用語の使用は、単数及び複数のいずれにも該当する。また、本発明において、範囲を記載した場合、範囲に属する個別的な値を適用した発明を含むものであり（それに反する記載がなければ）、発明の詳細な説明において、範囲を構成する各個別的な値を記載した通りである。最後に、本発明に係る方法を構成する段階については、明確に順序を記載するか、あるいは反対となる記載がなければ、段階は、適する順序で実行される。段階の記載順序により、本発明が限定されるものではない。本明細書において、例または例示を示す全ての用語（例えば、など）の使用は、単に本発明について詳細に説明するためのものであり、特許請求の範囲によって限定されない以上、例または例示を示す用語により、本発明の範囲が限定されるものではない。また、当業者は、多様な修正、組み合わせ及び変更が付加された特許請求の範囲、またはその均等物の範囲内において、設計条件及びファクタによっても構成されるということが分かるであろう。

Claims (20)

1. 撮像部、入力部、及びセンサ部を含むコンピュータに、
   前記撮像部を介して撮影された画像データを受信する段階と、
   前記入力部を介してユーザによって入力されたテキストを受信する段階と、
   前記テキスト及び前記画像データを分析し、前記テキストを分析した結果、前記画像データを分析した結果、及び前記センサ部から取得されたセンシング値のうちの少なくとも１つを利用し、前記ユーザと係わる第１客体を抽出する段階と、
   前記の抽出された第１客体を含むように、前記画像データを編集し、前記の編集された画像データをサムネイル形式に変換する段階と、
   チャットルームを介して、前記の変換された画像データ及び前記テキストを他のユーザと共有する段階であって、前記第１客体を考慮して前記テキストの表示方法を変更し、変更された前記テキストを前記他のユーザと共有する段階と、
   を含むメッセージ共有方法を実行させるコンピュータプログラム。
2. 前記ユーザと係わる前記第１客体を抽出することは、
   前記テキストを形態素単位に分離し、前記テキストにおいて、前記ユーザの感情を示す形容詞を抽出し、前記形容詞を基に、前記ユーザが有している感情と係わる前記第１客体を抽出すること
   を含む、請求項１に記載のコンピュータプログラム。
3. 前記ユーザと係わる前記第１客体を抽出することは、
   前記画像データを分析し、人の形状と対応する領域を抽出し、前記領域に含まれるエッジを介して、前記ユーザの感情を決定し、前記ユーザの感情と係わる前記第１客体を抽出すること
   を含む、請求項１に記載のコンピュータプログラム。
4. 前記ユーザと係わる前記第１客体を抽出することは、
   前記センサ部を介して取得された位置または時間を考慮し、ユーザ端末の位置または時間と対応する前記第１客体を抽出すること
   を含む、請求項１に記載のコンピュータプログラム。
5. 前記画像データを変換することは、
   顔認識アルゴリズムを利用し、前記画像データに含まれる人の顔を中心に、前記の抽出された第１客体を追加し、前記人の顔を中心に、前記画像データのサイズを調整すること
   を含む、請求項１に記載のコンピュータプログラム。
6. 前記他のユーザと共有することは、
   前記第１客体を考慮し、前記テキストのフォントの種類、サイズ、及び色のうちの少なくとも１つを変更し、前記チャットルームを介して、変更された前記テキストを前記他のユーザと共有すること
   を含む、請求項１に記載のコンピュータプログラム。
7. 前記他のユーザと共有することは、
   前記の変換された画像データ及び前記テキストを結合した複合メッセージを生成し、前記チャットルームを介して、前記複合メッセージを前記他のユーザと共有すること
   を含む、請求項１に記載のコンピュータプログラム。
8. 前記他のユーザと共有することは、
   前記テキスト及び前記画像データを分析し、前記テキストを分析した結果、前記画像データを分析した結果、及び前記センサ部から取得されたセンシング値のうちの少なくとも１つを利用し、前記テキストをイメージに変換し、前記の変換されたテキスト及び前記の変換された画像データを結合した複合メッセージを生成し、前記チャットルームを介して、該複合メッセージを前記他のユーザと共有すること
   を含む、請求項７に記載のコンピュータプログラム。
9. 前記他のユーザと共有することは、
   前記画像データに含まれる人の口の様子を分析して取得されたテキストを、第２客体として抽出し、前記画像データが前記第２客体を含むように、前記画像データを変更し、前記チャットルームを介して、前記の変更された画像データ及び前記テキストを前記他のユーザと共有すること
   を含む、請求項１に記載のコンピュータプログラム。
10. 前記の変換された画像データは、各ユーザのプロフィール情報に設定される、請求項１に記載のコンピュータプログラム。
11. 撮像部、入力部、及びセンサ部を含むコンピュータのメッセージ共有方法において、
    前記撮像部を介して撮影された画像データを受信する段階と、
    前記入力部を介してユーザによって入力されたテキストを受信する段階と、
    前記テキスト及び前記画像データを分析し、前記テキストを分析した結果、前記画像データを分析した結果、及び前記センサ部から取得されたセンシング値のうちの少なくとも１つを利用し、前記ユーザと係わる第１客体を抽出する段階と、
    前記の抽出された第１客体を含むように、前記画像データを編集し、前記の編集された画像データをサムネイルに変換する段階と、
    チャットルームを介して、前記の変換された画像データ及び前記テキストを他のユーザと共有する段階であって、前記第１客体を考慮して前記テキストの表示方法を変更し、変更された前記テキストを前記他のユーザと共有する段階と、
    を含むメッセージ共有方法。
12. 前記ユーザと係わる前記第１客体を抽出することは、
    前記テキストを形態素単位に分離し、前記テキストにおいて、前記ユーザの感情を示す形容詞を抽出し、前記形容詞を基に、前記ユーザが有している感情と係わる前記第１客体を抽出すること
    を含む、請求項１１に記載のメッセージ共有方法。
13. 前記ユーザと係わる前記第１客体を抽出することは、
    前記画像データを分析し、人の形状と対応する領域を抽出し、前記領域に含まれるエッジを介して、前記ユーザの感情を決定し、前記ユーザの感情と係わる前記第１客体を抽出すること
    を含む、請求項１１に記載のメッセージ共有方法。
14. 前記ユーザと係わる前記第１客体を抽出することは、
    前記センサ部を介して取得された位置または時間を考慮し、ユーザ端末の位置または時間と対応する前記第１客体を抽出すること
    を含む、請求項１１に記載のメッセージ共有方法。
15. 前記画像データを変換することは、
    顔認識アルゴリズムを利用し、前記画像データに含まれる人の顔を中心に、前記の抽出された第１客体を追加し、前記人の顔を中心に、前記画像データのサイズを調整すること
    を含む、請求項１１に記載のメッセージ共有方法。
16. 前記他のユーザと共有することは、
    前記第１客体を考慮し、前記テキストのフォントの種類、サイズ、及び色のうちの少なくとも１つを変更し、前記チャットルームを介して、変更された前記テキストを前記他のユーザと共有すること
    を含む、請求項１１に記載のメッセージ共有方法。
17. 前記他のユーザと共有することは、
    前記の変換された画像データ及び前記テキストを結合した複合メッセージを生成し、前記チャットルームを介して、前記複合メッセージを前記他のユーザと共有すること
    を含む、請求項１１に記載のメッセージ共有方法。
18. 前記他のユーザと共有することは、
    前記テキスト及び前記画像データを分析し、前記テキストを分析した結果、前記画像データを分析した結果、及び前記センサ部から取得されたセンシング値のうちの少なくとも１つを利用し、前記テキストをイメージに変換し、前記の変換されたテキスト及び前記の変換された画像データを結合した複合メッセージを生成し、前記チャットルームを介して、該複合メッセージを前記他のユーザと共有すること
    を含む、請求項１７に記載のメッセージ共有方法。
19. 前記他のユーザと共有することは、
    前記画像データに含まれる人の口の様子を分析して取得されたテキストを、第２客体として抽出し、前記画像データが前記第２客体を含むように、前記画像データを変更し、前記チャットルームを介して、前記の変更された画像データ及び前記テキストを前記他のユーザと共有すること
    を含む、請求項１１に記載のメッセージ共有方法。
20. 前記の変換された画像データは、各ユーザのプロフィール情報に設定される、請求項１１に記載のメッセージ共有方法。