JP6674942B2 - インタラクションを用いたメッセンジャー検索方法、ならびに、これを実現したサーバおよびアプリケーション - Google Patents

Description

本発明は、メッセンジャーサービスに関する。

メッセンジャーサービスは知り合い同士がリアルタイムでテキストや写真などを交換できるサービスであって、サービス加入者はアプリケーションをダウンロードした端末を介してどこでも知り合いとリアルタイムで対話することができる。メッセンジャーサービスは、トークルームでテキストや写真などを交換する基本的な機能の他にもトークルームでキーワード検索をサポートしたり、連絡先を交換したり、対話者間の送金サービスを提供するなど高度の統合サービスプラットフォームに進化している。

本発明が解決しようとする課題は、トークルームに表示された吹き出しや画像を選択する多様なインタラクションに基づいて検索クエリの入力を受け、選択された吹き出しや画像に関連する検索結果を提供するメッセンジャー検索方法、ならびに、これを実現したサーバおよびアプリケーション、を提供することにある。

本発明に係るメッセンジャー検索方法の第一の特徴構成は、少なくとも一つのプロセッサにより動作するユーザ端末のメッセンジャー検索方法であって、メッセンジャーアプリケーションのトークルーム画面を表示する段階と、対話者がやりとりした対話内容が区分されて表示される前記トークルーム画面で特定領域が選択された信号の入力を受ける段階と、前記特定領域が、テキストが表示された吹き出し領域であるか、画像が表示された画像領域であるか、を判断する段階と、前記特定領域が前記吹き出し領域である場合は、前記吹き出し領域に含まれる少なくとも一部のテキストをサーバに伝送し、伝送された当該テキストを検索クエリとする検索を行い、前記特定領域が前記画像領域である場合は、前記画像に対する情報、および、前記画像、のうちの少なくとも一つを前記サーバに伝送し、伝送された前記画像を検索クエリとする検索を行う、検索段階と、前記検索クエリに応答して前記サーバから受信した検索結果を検索結果画面に表示する段階と、を含む。

本発明に係るメッセンジャー検索方法は、一態様として、前記特定領域は、前記トークルーム画面で前記ユーザにより長くタッチされた領域、または、前記トークルーム画面で前記ユーザによりタッチされた後、指定された方向に移動した領域、であることを特徴とする。

本発明に係るメッセンジャー検索方法は、一態様として、前記判断する段階以降に、
前記特定領域が前記吹き出し領域である場合は、前記ユーザから前記特定領域に対するテキスト検索要請の入力を受ける選択ウィンドウを表示し、前記特定領域が前記画像領域である場合は、前記ユーザから前記特定領域に対する画像検索要請の入力を受ける選択ウィンドウを表示する、段階をさらに含み、前記検索段階は、前記選択ウィンドウで前記テキスト検索要請が入力されると、前記吹き出し領域に含まれた少なくとも一部のテキストをサーバに伝送し、前記選択ウィンドウで前記画像検索要請が入力されると、前記画像に対する情報、および、前記画像、のうちの少なくとも一つを前記サーバに伝送することを特徴とする。

本発明に係るメッセンジャー検索方法は、一態様として、前記検索結果は、前記特定領域に含まれた内容に対する正解型検索結果および情報型検索結果のうちの少なくとも一つを含むことを特徴とする。

本発明に係るメッセンジャー検索方法は、一態様として、前記検索結果は、前記特定領域に含まれた内容と関連する少なくとも一つの検索キーワードを含み、前記検索結果画面で前記検索キーワードが選択される場合は、前記検索キーワードに対する検索結果を表示する段階をさらに含むことを特徴とする。

本発明に係るメッセンジャー検索方法は、一態様として、前記検索結果画面に表示された共有ボタンが選択されると、前記共有ボタンに関連付けられた検索結果を前記トークルーム画面に表示する段階をさらに含むことを特徴とする。

本発明に係るメッセンジャー検索方法は、一態様として、前記トークルーム画面に表示する段階は、前記共有ボタンに関連付けられた検索結果が複数の画像を含む場合は、前記トークルーム画面の特定領域で前記複数の画像の表示順序に従い該当画像を順次切り替えながら表示することを特徴とする。

本発明に係るメッセンジャー検索方法は、一態様として、前記トークルーム画面に表示する段階は、前記共有ボタンに関連付けられた検索結果を、サムネイル形態、吹き出し形態、および、検索後共有されたコンテンツであることを対話者が認識できる特定の形態、のうちの少なくとも一つの形態で表示し、前記トークルーム画面に前記検索クエリとした前記テキストまたは前記画像に関連する少なくとも一つの検索キーワードをさらに表示することを特徴とする。

本発明に係るメッセンジャー検索方法の第二の特徴構成は、少なくとも一つのプロセッサにより動作するユーザ端末のメッセンジャー検索方法であって、メッセンジャーアプリケーションのトークルーム画面で画像が選択された信号の入力を受ける段階と、前記画像に対する情報、および、前記画像、のうちの少なくとも一つを前記サーバに伝送し、前記画像を検索クエリとする検索を行う段階と、前記サーバから、前記画像に一致する情報、および、前記画像と類似の画像情報、のうちの少なくとも一つを含む検索結果を受信する段階と、前記検索結果を検索結果画面に表示する段階と、を含み、前記画像は前記トークルーム画面に表示された画像であることを特徴とする。

本発明に係るメッセンジャー検索方法は、一態様として、前記画像に一致する情報、または、前記類似の画像情報が、商品オブジェクトを含む場合は、前記検索結果は、商品画像、商品名、商品価格、商品販売先、および、商品レビュー情報、のうちの少なくとも一つを含み、前記画像に一致する情報、または、前記類似の画像情報が、人物オブジェクトを含む場合は、前記検索結果は、人物画像と人物名とを含む人物情報を含むことを特徴とする。

本発明に係るメッセンジャー検索方法は、一態様として、前記検索結果画面に表示された共有ボタンが選択されると、前記共有ボタンに関連付けられた検索結果を前記トークルーム画面または前記トークルーム画面の外部インターフェース画面に表示する段階をさらに含み、前記検索結果は、サムネイル形態、吹き出し形態、および、検索後共有されたコンテンツであることを対話者が認識できる特定の形態、のうちの少なくとも一つの形態で、前記トークルーム画面または前記外部インターフェース画面に表示されることを特徴とする。

本発明に係るメッセンジャー検索方法は、一態様として、前記トークルーム画面で前記検索結果が表示された領域が選択される場合は、前記サーバから前記リンク情報に該当するコンテンツ情報を受信する段階と、前記コンテンツ情報を前記トークルーム画面と異なるインターフェース画面に表示する段階と、をさらに含むことを特徴とする。

本発明に係るメッセンジャー検索方法は、一態様として、前記トークルーム画面に表示する段階は、前記画像に関連する少なくとも一つの検索キーワードをさらに表示することを特徴とする。

本発明に係るメッセンジャー検索方法は、一態様として、前記トークルーム画面に表示する段階は、前記共有ボタンに関連付けられた検索結果が複数の画像を含む場合は、前記トークルーム画面の特定領域で前記複数の画像の表示順序に従い該当画像を順次切り替えながら表示することを特徴とする。

本発明に係るメッセンジャー検索方法の第三の特徴構成は、少なくとも一つのプロセッサにより動作するサーバのメッセンジャー検索方法であって、ユーザ端末のトークルーム画面に表示された画像に対する情報、および、前記画像、のうちの少なくとも一つを含む検索クエリを受信する段階と、前記検索クエリに基づいて前記画像を得て、前記画像に一致した第一検索結果、および、前記画像と類似の画像を含む第二検索結果、のうちの少なくとも一つを含む画像検索結果を生成する段階と、前記画像検索結果を前記ユーザ端末に伝送する段階と、を含む。

本発明に係るメッセンジャー検索方法は、一態様として、前記画像検索結果を生成する段階は、前記画像に一致した商品情報、または、前記画像と類似の商品情報、を前記画像検索結果として抽出することを特徴とする。

本発明に係るメッセンジャー検索方法は、一態様として、前記画像検索結果を生成する段階は、前記画像に関連する少なくとも一つの検索キーワードをさらに含むことを特徴とする。

本発明に係るメッセンジャー検索方法は、一態様として、前記トークルーム画面に表示された吹き出し領域に含まれた少なくとも一部のテキストを含む検索クエリを受信する段階と、前記検索クエリに含まれたテキストを分析して正解型検索結果および情報型検索結果のうちの少なくとも一つを含むテキスト検索結果を生成する段階と、
前記テキスト検索結果を前記ユーザ端末に伝送する段階と、をさらに含むことを特徴とする。

本発明に係るメッセンジャー検索方法の第四の特徴構成は、少なくとも一つのプロセッサにより動作して、メッセンジャーアプリケーションを駆動したユーザ端末と通信するメッセージングサーバのメッセンジャー検索方法であって、前記ユーザ端末からトークルーム画面に表示されたテキストまたは画像に基づく検索クエリを受信する段階と、検索サーバから前記検索クエリに対する検索結果の伝達を受ける段階と、前記検索結果を前記ユーザ端末に伝送する段階と、前記ユーザ端末から前記検索結果に対する共有要請を受信する段階と、前記共有要請の対象である検索結果を前記トークルームに参加した対話者の端末に伝送する段階と、を含み、前記テキストまたは前記画像は、対話者がやりとりした対話内容が区分されて表示される前記トークルーム画面でユーザにより選択された領域に含まれた情報であることを特徴とする。

本発明に係るメッセンジャー検索方法は、一態様として、前記検索結果は、サムネイル形態、吹き出し形態、および、検索後共有されたコンテンツであることを対話者が認識できる特定の形態、のうちの少なくとも一つの形態で、前記トークルーム画面、または、前記トークルーム画面の外部インターフェース画面、に表示されることを特徴とする。

本発明に係るメッセンジャー検索方法は、一態様として、前記対話者の端末に伝送する段階は、前記共有要請された検索結果が複数の画像を含む場合は、前記複数の画像を前記トークルーム画面の特定領域で表示順序に従い順次切り替えながら表示するコンテンツを生成して伝送することを特徴とする。

本発明によれば、ユーザは質問内容を直接入力することなく、トークルームで対話内容が表示された吹き出しや画像を選択して簡単に該当コンテンツに対する検索を要求することができる。本発明によれば、メッセンジャーサービスは、ユーザに新たなユーザ経験を提供することができる。本発明によれば、サーバは、トークルームにおける質問内容を分析して正解型結果の提供、有意味な検索キーワードの推薦、および、類似の画像や商品の推薦、をすることができる。本発明によれば、ユーザは、トークルームの対話内容のうち気になる情報がある場合は、該当領域に対するロングタップ、スワイプなどの動作により、多様な検索結果を簡単に確認し、トークルームに共有することができる。

本発明の一実施形態によるメッセンジャーサービスシステムの概略構成図。 本発明の一実施形態によるトークルームにおける検索方法の説明図。 本発明の一実施形態によるトークルームにおける検索方法の説明図。 本発明の他実施形態によるトークルームにおける画像検索方法の説明図。 本発明の他実施形態によるトークルームにおける画像検索による商品情報の提供方法の説明図。 本発明の他実施形態によるトークルームにおけるスワイプによる検索要請方法の説明図。 本発明の一実施形態によるトークルームへの検索結果の表示方法の説明図。 本発明の一実施形態によるインタラクションを用いたメッセンジャー検索方法のフローチャート。 本発明の一実施形態によるインタラクションを用いたメッセンジャー検索方法のフローチャート。

以下、添付した図面を参照して、本発明が属する技術分野における通常の知識を有する者が本発明の実施形態について容易に実施できるように詳しく説明する。しかし、本発明は、様々な相異する形態で具現されうるものであり、ここで説明する実施形態に限られない。また、図面において、本発明を明確に説明するため、説明上不要な部分は省略し、明細書全体にわたって類似の部分に対しては類似の図面符号を付けた。

明細書全体において、ある部分がある構成要素を「含む」とするとき、これは特に記載した場合を除き、他の構成要素を除くのではなく、他の構成要素をさらに含みうることを意味する。また、明細書に記載された「…部」、「…器」、「モジュール」などの用語は、少なくとも一つの機能や動作を処理する単位を意味し、これは、ハードウェア、ソフトウェア、または、ハードウェアおよびソフトウェアの組み合わせ、により具現されうる。

図１は、本発明の一実施形態によるメッセンジャーサービスシステムの概略的な構成図である。

図１を参照すると、メッセンジャーサービスシステム１００は、メッセンジャーアプリケーションを駆動するユーザ端末２００、および、ユーザ端末２００と通信するサーバ３００、を含む。サーバ３００は、ユーザ端末２００からメッセンジャーアプリケーションで入力された情報を受信するとともに、メッセンジャーアプリケーションで表示される情報を伝送する。

図１の（ａ）を参照すると、サーバ３００は、メッセンジャーサービスで提供する機能によって、メッセージングサーバ３０、検索サーバ３２、スクラップサーバ３４、などに区分されるが、機能的に区分して説明する必要がある場合に限り区分して説明する。サーバ機能が分離される場合は、メッセージングサーバ３０、検索サーバ３２、および、スクラップサーバ３４、の間の連動方法、および、これらがユーザ端末２００、２１０と通信する方法は、連動規則やサービスシナリオに応じて多様に設計変更されうる。

一方、サーバ３００は、メッセージングサーバ３０、検索サーバ３２、および、スクラップサーバ３４、のうちの少なくとも一つを含み、サーバ３００に含まれないサーバ機能は、外部のサーバシステム（たとえば、第三者により運用されるシステム）と連動して外部のサーバシステムから提供されうる。たとえば、図１の（ｂ）を参照すると、サーバ３００は、メッセージングサーバ３０を含み、外部の検索サーバ３２およびスクラップサーバ３４と連動しうる。この場合は、サーバ３００は、ユーザ端末２００から受信した情報に基づいて検索サーバ３２やスクラップサーバ３４に検索やスクラップを要請し、該当サーバから検索結果やスクラップ結果を受信してユーザ端末２００に伝送しうる。あるいは、外部の検索サーバ３２およびスクラップサーバ３４がユーザ端末２００に直接検索結果やスクラップ結果を伝送しうる。

ユーザ端末２００は、コンピュータ読取可能な保存媒体に保存されるメッセンジャーアプリケーション、および、プロセッサ、メモリ、ディスプレイ、通信モジュールなどのハードウェア、を含む。メッセンジャーアプリケーションは、本発明で例に挙げて説明した動作を実行するための命令語を含む。プロセッサは、メッセンジャーアプリケーションを駆動してプログラムされた動作を実行する。ディスプレイは、メッセンジャーアプリケーションが提供するトークルームなどのユーザインターフェース画面を表示し、ユーザ入力を受信しうるものであって、たとえばタッチ入力を受信しうる。通信モジュールは、通信網を介してサーバ３００と通信する。

ユーザ端末２００は、多様な形態に実現されうるものであって、たとえば、スマートフォンのようなモバイル端末、スマートパッドのようなパッド型端末、ラップトップコンピュータなど各種形態のコンピュータ、ウェアラブルデバイス、ＴＶ端末、などの形態で実現されうる。

メッセンジャーアプリケーションを駆動したユーザ端末２００は、トークルーム画面（以下、単に「トークルーム」という）４００を表示する。トークルーム４００は、対話者がやりとりする、テキスト、画像ならびに動画、イモティコン（顔文字ならびに絵文字）、外部のウェブページに繋がるリンク（ＵＲＬ）情報、および、スクラップされたサムネイル、などの各種コンテンツを表示しうるものであって、各コンテンツは、トークルーム４００で一定の領域を占有して表示される。

対話者がやりとりする、テキスト、画像ならびに動画、イモティコン（顔文字ならびに絵文字）、および、外部のウェブページに繋がるリンク（ＵＲＬ）情報は、メッセージングサーバ３０を経由してトークルーム４００で共有されうる。

対話者それぞれのトークルームに表示されるスクラップされたサムネイルは、各対話者の端末が、スクラップサーバ３４から得ることができる。たとえば、ユーザがトークルーム４００に特定のリンク（ＵＲＬ）情報を入力すれば、ユーザ端末２００は、スクラップサーバ３４に特定のリンク（ＵＲＬ）情報を伝達し、スクラップサーバ３４は、特定のリンク（ＵＲＬ）情報に該当するコンテンツサーバに接続して該当コンテンツをスクラップし、スクラップしたコンテンツのサムネイルをトークルーム４００に伝達する。一方、トークルーム４００の他の対話者の端末２１０は、メッセージングサーバ３０からユーザがトークルーム４００に入力した特定のリンク（ＵＲＬ）情報を受信すれば、スクラップサーバ３４に特定のリンク（ＵＲＬ）情報を伝達し、スクラップサーバ３４から特定のリンクでスクラップされたコンテンツをサムネイル形態で受信してトークルーム４００に表示する。

ユーザがトークルーム４００で検索を要請する場合は、検索要請は、検索サーバ３２に伝達されるか、メッセージングサーバ３０を経由して検索サーバ３２に伝達されうる。また、検索結果は、検索サーバ３２からユーザ端末２００に伝達されるか、検索サーバ３２からメッセージングサーバ３０を経由してユーザ端末２００に伝達されうる。

図２および図３は、それぞれ、本発明の一実施形態によるトークルームにおける検索方法を説明する図面である。

まず、図２を参照すると、メッセンジャーアプリケーションを駆動したユーザ端末２００はトークルーム４００を表示する。トークルーム４００は、対話者がやりとりする、テキスト、画像ならびに動画、外部のウェブページに繋がるリンク情報、および、スクラップされたサムネイルなどの各種コンテンツ、が占有する領域を視覚的に区分して表示する。たとえば、トークルーム４００は、対話者が話しているような視覚的な効果を与えるため、各対話者の伝送コンテンツを吹き出しの中に表示するようにデザインされうる。吹き出しには主にテキストが記載されるが、必ずしもテキストに限定されず、画像、動画、イモティコン（顔文字ならびに絵文字）、外部のウェブページに繋がるリンク情報、および、スクラップされたサムネイル、など、多様な形態のコンテンツが少なくとも一つ含まれうる。ただし、説明の便宜上、トークルーム４００においてテキストが記載された領域をテキスト吹き出し領域といい、画像または動画が表示された領域を単に画像領域または動画領域という。

ユーザは質問内容を直接入力することなく、トークルーム４００の、テキスト吹き出し領域、画像領域、などの特定領域を選択して該当領域に含まれたコンテンツに関する検索を要請する。検索要請方法は多様である。一実施形態によれば、ユーザは、吹き出し領域などの特定領域を長くタッチする操作、または、長く押す操作、によって検索要請しうる（以下、「ロングタップ検索」という）。他の実施形態によれば、ユーザは、吹き出し領域などの特定領域を指定された方向（たとえば、左側方向または右側方向）にスワイプ（ｓｗｉｐｅ）して検索要請しうる（以下、「スワイプ検索」という）。その他にも、吹き出し領域などの特定領域をダブルタップする、特定領域に指定された強度で圧力（力）を加える、などのユーザインタラクションで検索を要請しうる。図２〜図４は、ロングタップ検索を例に挙げて説明し、スワイプ検索は図６で説明する。

サーバ３００は、ユーザ端末２００から特定の内容に対する検索クエリの送信を受けると、自然語分析技術に基づいてテキストを分析するか、あるいは、画像分析技術に基づいて画像を分析して、検索結果を提供する。検索結果は、質問内容によって多様な形態で提供されうるものであって、質問内容に関連する正解型結果または情報型結果を提供しうる。具体的には、サーバ３００は、質問内容に該当する正解型結果がある場合は、該当結果を含む正解型コレクションを検索結果として露出し、このとき、抽出された代表キーワードに質問内容を変更しうる。サーバ３００は、質問内容に該当する正解型結果がない場合は、情報型結果を検索結果として露出し、また有意味な検索キーワードを上段に露出しうる。検索結果は、統合ウェブの検索結果、画像の検索結果、動画の検索結果、推薦キーワードの検索結果、商品や広告の検索結果、人物の検索結果など多様な形態で提供されうる。ここで、画像の検索結果は、画像を一枚ずつ表示する形態、あるいは、画像が連続的に自動再生される形態（以下、「動く画像」という）で、提供しうる。

図２の（ａ）を参照すると、ユーザ端末２００は、ユーザまたは相手が入力した対話内容をトークルーム４００にリアルタイムで表示する。ユーザ端末２００は、ユーザからある吹き出し領域４１０がロングタップされた信号の入力を受けると、ロングタップされた位置にある対話内容の種類を判断する。対話内容の種類はテキスト、画像、動画、イモティコン（顔文字ならびに絵文字）など多様である。ユーザ端末２００は、ロングタップされた位置が、テキストが含まれた吹き出し領域であると判断した場合は、図２の（ｂ）のように、吹き出し領域４１０付近に選択ウィンドウ４２０を表示する。選択ウィンドウ４２０は、コピー、自分へ転送、共有、告知、投稿を作成、削除、＃検索４３０（または、テキストで検索）、などの作業を選択できるセルで構成されうる。

ユーザが選択ウィンドウ４２０で＃検索４３０を選択すると、図２の（ｃ）のように、ユーザ端末２００は、吹き出し領域４１０にある内容と関連する検索結果画面５００を表示する。ここで、ロングタップ後に表示された選択ウィンドウ４２０で＃検索４３０が選択されると、ユーザ端末２００は、検索結果画面５００に移動して検索結果を表示する場合を説明しているが、検索だけの固有インタラクション（たとえば、ダブルタップ）が指定された場合は、ユーザ端末２００は、吹き出し領域４１０で固有インタラクションの入力を受けると、図２の（ａ）から図２の（ｃ）に直ちに移動しうる。

特定の吹き出し領域４１０で＃検索４３０が選択されると、ユーザ端末２００は、サーバ３００に吹き出し領域４１０に含まれた少なくとも一部の内容を伝送し、これを検索クエリとする検索を実行する。図２では、ユーザ端末２００が吹き出し領域４１０に含まれた内容全体を伝送する場合を説明するが、吹き出し領域４１０に含まれた主要キーワードのみを伝送してもよい。また、吹き出し領域４１０に含まれたテキストが基準以上に長いか、または、データ量が多い場合は、一部の内容のみを伝送してもよい。

サーバ３００は、ユーザ端末２００から吹き出し領域４１０にある特定の内容に対する検索要請を受ける。サーバ３００は、特定の内容を質問内容（クエリ）として認識し、自然語分析技術に基づいて質問内容に含まれたテキストの文脈を分析して検索結果を抽出する。サーバ３００は質問内容に関連する正解型結果があるか否かを検索し、正解型結果がある場合は質問内容に該当する正解型結果を抽出し、正解型結果がない場合は質問内容に関連する情報型結果を抽出しうる。サーバ３００は、質問内容と有意味な検索キーワードを抽出してユーザに推薦しうる。

図２の（ｃ）を参照すると、「バルセロナの歴史と伝統が息づくガウディの力作グエル公園にきた！！」が含まれた吹き出し領域４１０に基づいた検索クエリの送信を受ける場合は、サーバ３００は、質問内容の文脈や形態素分析などを経て質問内容が情報型結果を要求するものと判断しうる。そうすると、サーバ３００は質問内容と関連する内容を含む、ニュース、ブログ、コミュニティ掲示文、図書、などを統合検索し、関連性の高い検索結果を検索結果画面５００に提供する。たとえば、検索結果画面５００は、バルセロナのグエル公園の旅行記を含む少なくとも一つのウェブページを検索結果領域５１０に表示しうる。このとき、検索結果領域５１０に表示される複数の検索結果はカードビュー形態で提供されうるものであって、ユーザは左右または上下方向に移しながら検索結果を確認しうる。サーバ３００は、検索の便宜性を高めるため、質問内容と関連する複数の検索キーワードを提供しうる。たとえば、サーバ３００は「バルセロナの歴史と伝統が息づくガウディの力作グエル公園にきた！！」から抽出された複数の検索キーワード（たとえば、＃バルセロナ、＃グエル公園、＃力作、＃ガウディなど）を推薦しうる。

具体的には、検索結果画面５００は、質問内容に関連する検索結果領域５１０を表示しうる。検索結果画面５００は、質問内容である「バルセロナの歴史と伝統が息づくガウディの力作グエル公園にきた！！」を質問入力領域５２０にデフォルトとして表示しうる。ユーザは、質問入力領域５２０にデフォルトとして記載された内容を削除または修正して再検索を要請しうる。検索結果画面５００は、トークルーム４００で入力された内容である「バルセロナの歴史と伝統が息づくガウディの力作グエル公園にきた！！」と関連する複数の検索キーワード（たとえば、＃バルセロナ、＃グエル公園、＃力作、＃ガウディなど）をキーワード推薦領域５３０に表示しうる。各検索キーワードが選択されると、ユーザ端末２００は、該当キーワードがタグ付けされた情報を表示するインターフェース画面を提供する。検索結果画面５００は、画面に表示された検索結果をユーザ選択によりトークルーム４００に共有できる共有ボタン５４０を表示する。ユーザが共有ボタン５４０を選択する場合は、該当共有ボタンの検索結果はトークルーム４００に表示される。このとき、共有ボタンの検索結果は、多様な形態でトークルーム４００に表示されうる。たとえば、共有ボタンの検索結果は、吹き出しに表示される形態、サムネイル形態で表示される形態、および、検索結果から共有されたコンテンツであることを対話者が認識できる特定の形態、のいずれかで表示されるか、あるいは、共有コンテンツを確認できる別途のポップアップインターフェース画面に表示されうる。検索結果がトークルーム４００に共有される方法は、図７で具体的に説明する。

図３の（ａ）を参照すると、ユーザ端末２００は、ユーザまたは相手が入力した対話内容をトークルーム４００にリアルタイムで表示し、ユーザからある吹き出し領域４１１がロングタップされた信号の入力を受けると、図３の（ｂ）のように、吹き出し領域４１１の付近に選択ウィンドウ４２０を表示する。ユーザが選択ウィンドウ４２０で＃検索４３０を選択すると、ユーザ端末２００は、サーバ３００に吹き出し領域４１１に含まれた少なくとも一部の内容を伝送して検索を要請する。

図３の（ｃ）を参照すると、ユーザ端末２００は、サーバ３００から受信した検索結果を検索結果画面６００に表示する。

検索結果画面６００を提供するサーバ３００は、ユーザ端末２００から吹き出し領域４１１に含まれた内容（ＢＭＷ５２０ｄ燃費？）に基づいて送信された検索クエリを受ける。サーバ３００は、吹き出し領域４１１に含まれた内容（ＢＭＷ５２０ｄ燃費？）を質問内容として認識し、質問内容に含まれたテキストの文脈を分析して検索結果を抽出する。サーバ３００は、質問内容に該当する正解型結果がある場合は、正解型結果を抽出してユーザ端末２００に提供する。

具体的には、検索結果画面６００は、質問内容に関連する検索結果領域６１０を表示しうる。検索結果領域６１０は、正解型結果に関連するコレクション（たとえば、自動車）がある場合は、該当コレクションで車両の燃費情報を含む正解型結果を優先的に表示しうる。検索結果画面６００は、ユーザが他のコレクション（たとえば、統合ウェッブ、画像など）における検索結果を確認できるインターフェースをさらに提供しうる。検索結果画面５００は、質問内容である「ＢＭＷ５２０ｄ燃費？」を質問入力領域６２０に表示しうる。または、質問内容に対する正解型結果があるので、検索結果画面５００は、正解型結果に関連するキーワード（たとえば、ＢＭＷ、ＢＭＷ５２０ｄなど）に質問内容を自動変更して表示しうる。ユーザは、質問入力領域６２０にデフォルトとして記載された内容を削除または修正して再検索を要請しうる。検索結果画面６００は、トークルーム４００で入力された内容に関連する複数の検索キーワード（たとえば、＃ＢＭＷ、＃燃費、＃ベンツ、など）をキーワード推薦領域（図示せず）に表示しうる。検索結果画面６００は、画面に表示された検索結果をユーザ選択によりトークルーム４００に共有できる共有ボタン６４０を表示する。ユーザが共有ボタン６４０を選択する場合は、共有ボタン６４０に該当する検索結果はトークルーム４００に表示される。

図４は本発明の他の実施形態によるトークルームにおける画像検索方法を説明する図面である。

図４の（ａ）を参照すると、ユーザ端末２００はユーザまたは相手が入力した対話内容をトークルーム４００にリアルタイムで表示する。トークルーム４００は、テキストと画像などの各種コンテンツを表示するが、ユーザは画像領域４１２をロングタップして検索クエリとしうる。

図４の（ｂ）を参照すると、ユーザ端末２００は、画像領域４１２がロングタップされた信号の入力を受けると、画像領域４１２付近に選択ウィンドウ４２１を表示する。このとき、ユーザ端末２００は、選択領域がテキストを含む領域（吹き出し領域）であるか、画像を含む領域であるか、を判断し、画像検索に適した選択ウィンドウ４２１を表示しうる。たとえば、選択ウィンドウ４２１は、＃画像で検索する４３１を選択できるセルを含みうる。

ユーザが選択ウィンドウ４２１で＃画像で検索する４３１を選択すると、ユーザ端末２００は、サーバ３００に画像領域４１２に含まれた画像（たとえば、グエル公園の写真）に対する検索を要請する。ユーザ端末２００は、画像に対する検索要請に画像に対する情報（たとえば、該当画像が保存された画像サーバのアドレス）と画像のうちの少なくとも一つを含める。サーバ３００が画像に対する情報を含む検索要請を受信した場合は、サーバ３００は、画像に対する情報を用いて該当画像を抽出して抽出された画像を分析して検索を行いうる。たとえば、画像に対する情報が、画像が保存された画像サーバのアドレスである場合は、画像サーバに接続して該当画像を抽出して分析しうる。このとき、画像サーバで画像が存在しない場合（保存期間満了など）、サーバ３００はユーザ端末２００に画像がないことを知らせる。サーバ３００が、画像を含む検索要請を受信する場合は、検索サーバ３２は画像を分析して検索を行いうる。

図４の（ｃ）を参照すると、ユーザ端末２００は、サーバ３００から受信した画像検索結果を検索結果画面７００に表示する。

検索結果画面７００を提供するサーバ３００は、画像分析技術に基づいてユーザ端末２００から検索要請されたグエル公園の写真と類似の画像を抽出する。サーバ３００は、画像間類似性を比較して検索クエリとされた画像と類似の画像を抽出する。サーバ３００は、ニュース、ブログ、コミュニティ掲示文、図書、などから統合画像検索しうる。

具体的には、検索結果画面７００は、質問内容に関連する検索結果領域７１０を表示しうる。検索結果領域７１０は、正解型結果がある場合は該当結果を含む正解型コレクションを検索結果として露出し、正解型結果がない場合は類似の画像を露出しうる。このとき、検索結果領域７１０は、トークルーム４００で質問された原本画像を正解型結果または類似画像とともに表示させることもできる。画像検索結果は、検索結果画面７００に類似画像を並べて一枚ずつ表示しうる。または、画像検索結果は、類似画像が表示（整列）順序に従い連続的に（順次に）自動／手動再生される動く画像として提供されうる。サーバ３００は、検索された画像全体または検索された画像の中で関連性が基準以上である画像をグループし、これらが連続的に自動／手動再生するようにして動く画像を提供しうる。動く画像は、ユーザがタップして再生されるか、自動再生されうる。

検索結果画面７００は、質問内容である「＃画像で検索する」を質問入力領域７２０にデフォルトとして表示しうる。ユーザは質問入力領域７２０にデフォルトとして記載された内容を削除または修正して再検索を要請しうる。検索結果画面７００は、トークルーム４００で入力された画像と関連する複数の検索キーワード（たとえば、＃バルセロナ、＃グエル公園、＃力作、＃ガウディなど）をキーワード推薦領域（図示せず）に表示しうる。検索結果画面７００は、画面に表示された画像検索結果をユーザ選択によりトークルーム４００に共有できる共有ボタン７４０を表示する。ユーザが共有ボタン７４０を選択する場合は、共有ボタン７４０に該当する画像検索結果は、トークルーム４００に表示される。このとき、検索要請された画像と関連する少なくとも一つの検索キーワードが類似画像とともにトークルーム４００に表示されうる。画像検索結果に含まれた動く画像もまたトークルーム４００に表示されうる。一方、画像検索結果に含まれた類似画像は並べられていても、トークルーム４００に共有されるとき、連続的に（順次に）自動／手動再生される動く画像に変換されて表示されうる。つまり、類似画像は、トークルーム４００で単一画像のように表示されるが、自動／手動で次の類似画像へ移しながら類似画像を表示しうる。

一方、サーバ３００は、検索クエリとされた画像と類似の画像の他にも、検索クエリとされた画像に関連する正解型結果を提供しうる。たとえば、サーバ３００は、検索クエリとされた画像が示す場所（たとえば、グエル公園、位置など）／旅行地（スペイン、バルセロナなど）／人物（ガウディ）／食べ物（スペインの食べ物）／商品などの情報を正解型結果として提供しうる。また、サーバ３００は、検索クエリとされた画像に関連する商品情報や広告情報を提供しうる。たとえば、トークルーム４００で特定商品の画像が表示され、ユーザが該当画像を選択して検索クエリとすると、サーバ３００は、画像が示す商品を識別し、商品情報や購入情報などを検索結果に提供しうるものであって、画像が示す商品と類似の商品を検索して推薦しうる。商品推薦について図５を参照して以下で説明する。

図５は本発明の他の実施形態によるトークルームにおける画像検索による商品情報の提供方法を説明する図面である。

図５を参照すると、ユーザがトークルーム４００で特定の画像をロングタップして「＃画像で検索する」を選択すると、ユーザ端末２００は、サーバ３００に画像が保存された画像サーバドレス（画像サーバＵＲＬ）を伝送する。

サーバ３００は、画像サーバで画像を抽出して画像分析を始める。サーバ３００は、画像間類似性を比較して検索クエリとされた画像と類似の画像を抽出するが、このとき、類似画像で検索クエリとされた画像に含まれたオブジェクトと同一／類似のオブジェクトを抽出しうる。

サーバ３００は、画像分析技術に基づいて画像で検索カテゴリに該当するオブジェクトを抽出する。仮に、検索カテゴリが人物である場合は、サーバ３００は、画像分析技術に基づいて画像から人物を抽出する。検索カテゴリが商品である場合は、サーバ３００は、画像分析技術に基づいて画像から商品を抽出する。検索カテゴリがさらに細分化されてファッションである場合は、サーバ３００は、画像分析技術に基づいて画像から、帽子、装身具、シャツ、ワンピース、スカート、ズボン、カバン、などの商品を抽出しうる。

サーバ３００は、画像から抽出した商品（たとえば、サングラス）に一致する検索結果がある場合は、図５の（ａ）のように検索結果画面７００ａに一致した商品の情報を検索結果として提供する。商品の情報は、商品画像、商品名、商品価格、商品販売先、商品レビュー情報、などを含みうる。このとき、マッチング商品の画像検索結果は、商品推薦コレクションに表示されうる。一方、サーバ３００は、画像から抽出した人物に一致する検索結果がある場合は、人物画像、人物名、などの人物情報を人物コレクションに表示しうる。

図５の（ａ）の検索結果画面７００ａで、ユーザが共有ボタンを選択する場合は、図５の（ｂ）のように共有ボタンに該当するマッチング商品の画像検索結果がトークルーム４００に表示される。

サーバ３００は、画像から抽出した商品（たとえば、サングラス）と類似の検索結果がある場合は、図５の（ｃ）のように検索結果画面７００ｂに類似商品の情報を検索結果として提供する。このとき、類似商品の画像検索結果は、類似画像コレクションに表示されうる。

図５の（ｃ）の検索結果画面７００ｂで、ユーザが共有ボタンを選択する場合は、図５の（ｄ）のように共有ボタンに該当する類似商品の画像検索結果がトークルーム４００に表示されうる。

図６は本発明の他の実施形態によるトークルームにおけるスワイプの検索要請方法を説明する図面である。

図６の（ａ）を参照すると、ユーザ端末２００は、ユーザまたは相手が入力した対話内容をトークルーム４００にリアルタイムで表示する。ユーザは、吹き出し領域４１０や画像領域４１２などの検索希望領域を特定の方向（たとえば、左側方向または右側方向）にスワイプして検索を要請しうる。

一実施形態によれば、ユーザ端末２００が吹き出し領域４１０や画像領域４１２でスワイプ検索の要請を受けると、サーバ３００に該当領域に含まれた内容に対する検索を要請し、サーバ３００から図６の（ｂ）のような検索結果画面５００を受信して表示しうる。

他の実施形態によれば、ユーザ端末２００は、吹き出し領域４１０でスワイプ検索の要請を受けると、吹き出し領域４１０にあるテキストを文節単位で区分して表示する。文節単位で区分されたテキストは吹き出し領域４１０付近に別途のウィンドウで表示されうる。または、図６の（ｃ）のように文節単位で区分されたテキストは、現在の吹き出し領域４１０で選択できる文節を下線、色、大きさ、フォント、などで視覚的に区分して表示しうる。ただし、テキストが文節単位で区分された情報は、必ずしも視覚的に見えるように表示する必要はない。

図６の（ｄ）を参照すると、ユーザが検索しようとする文節（キーワード）（たとえば、グエル公園）を選択すると、ユーザ端末２００は、サーバ３００に選択された文節に対する検索（＃グエル公園）を要請し、サーバ３００から検索結果を受信して検索結果画面８００を表示しうる。

図７は本発明の一実施形態によるトークルームへの検索結果の表示方法を説明する図面である。

図７の（ａ）を参照すると、ユーザがトークルーム４００で特定領域を選択して検索クエリとすると、ユーザ端末２００は、質問内容に関連した検索結果を検索結果画面５００に提供する。検索結果画面５００は、画面に表示された検索結果をユーザ選択によりトークルーム４００に共有できる共有ボタン５４０を表示する。ユーザが共有ボタン５４０を選択する場合は、共有ボタン５４０に関連付けられた検索結果がトークルーム４００に表示される。共有ボタン５４０に関連付けられた検索結果がグエル公園関連のウェブページであると仮定する。

図７の（ｂ）を参照すると、検索結果画面５００でグエル公園関連のウェブページに関連付けられた共有ボタン５４０が選択される場合は、トークルーム４００は、該当ウェブページを要約したサムネイル９００で表示しうる。このとき、該当ウェブページのリンク情報は、トークルーム４００で隠されてもよく、サムネイルとともに表示されてもよい。一方、トークルーム４００に共有される検索結果は、サムネイル形態の他にも、吹き出し形態や、検索結果から共有されたコンテンツであることを対話者が認識できる特定の形態で、トークルーム４００に表示されうるものであり、または、共有コンテンツを確認できる別途のポップアップインターフェース画面（トークルーム４００の外部）に表示されうる。

サムネイル９００は、サーバ３００が質問内容である「バルセロナの歴史と伝統が息づくガウディの力作グエル公園にきた！！」から抽出した検索キーワード（たとえば、＃バルセロナ、＃グエル公園、＃ガウディ、など）をともに表示しうる。

一方、トークルーム４００の他の対話者の端末２１０は、メッセージングサーバ３０や検索サーバ３２から共有ボタン５４０に関連付けられたリンク情報を受信すると、スクラップサーバ３４にリンク情報を伝達し、スクラップサーバ３４からサムネイル９００を受信してトークルーム４００に表示する。

図７の（ｂ）のトークルーム４００で、ユーザがサムネイルとともに露出されたある検索キーワードを選択すると、ユーザ端末２００は、サーバ３００に選択された検索キーワードに対する検索を要請する。サーバ３００は、選択された検索キーワードに対する検索結果をユーザ端末２００の検索結果画面に提供する。たとえば、ユーザが＃グエル公園を選択すると、ユーザ端末２００はサーバ３００に、＃グエル公園を検索クエリとして送信し、図７の（ｃ）のように、サーバ３００から受信した検索結果画面８００を表示しうる。

図８および図９は、本発明の一実施形態によるインタラクションを用いたメッセンジャー検索方法のフローチャートである。

図８を参照すると、ユーザ端末２００は、メッセンジャーアプリケーションのトークルーム４００を表示する（Ｓ１１０）。

ユーザ端末２００は、トークルーム４００で選択された特定領域に対する検索要請（たとえば、＃検索要請、＃画像で検索要請など）の入力を受ける（Ｓ１２０）。特定領域は、対話者間のやりとりした対話内容が位置した領域として、たとえば、テキスト領域（テキストが記載された吹き出し領域）、画像領域、動画領域、などを含む。ユーザがトークルームで検索要請のために特定領域を選択する方法は、多様に定義されうる。たとえば、ユーザは、テキスト吹き出し領域などをロングタップして検索希望領域を特定してもよく、スワイプして検索希望領域を特定してもよい。

ユーザ端末２００は、特定領域に含まれた内容に基づいてサーバ３００に検索クエリを送信する（Ｓ１３０）。ユーザが特定領域を選択した動作が検索要請に指定された固有インタラクション（たとえば、スワイプして検索要請またはダブルタップして検索要請など）である場合は、ユーザ端末２００は、サーバ３００に直ちに質問しうる。または、ユーザ端末２００は、図２から図４において、例に挙げて説明したとおり、ユーザが特定領域を選択した動作（たとえば、ロングタップ）から少なくとも一つの段階を経てサーバ３００に質問しうる。

サーバ３００は、ユーザ端末２００から受信した質問内容を分析して検索結果を抽出する（Ｓ１４０）。検索結果は、質問内容に応じて多様な形態で提供されうるものであって、質問内容に関連する正解型結果または情報型結果を提供しうる。検索結果は、統合ウェブ検索結果、画像／動画検索結果、推薦キーワード検索結果、商品や広告検索結果、および、人物検索結果、など多様な形態で提供されうる。たとえば、サーバ３００は、テキスト形態の質問内容を受信すれば、自然語分析技術に基づいて質問内容に含まれたテキストの文脈を分析して検索結果を抽出しうる。サーバ３００は、画像や動画などのメディア形態の質問内容を受信すれば、画像／動画分析技術に基づいて画像／動画情報を抽出し、類似の画像／動画を抽出しうる。

サーバ３００は、検索結果をユーザ端末２００に伝達する（Ｓ１５０）。

ユーザ端末２００は、受信した検索結果を検索結果画面に表示する（Ｓ１６０）。

ユーザは、検索結果画面を確認した後、トークルーム画面４００に復帰しうる。仮に、ユーザが、検索結果画面の中にトークルームで共有したいコンテンツがある場合は、ユーザは、図９のように、検索結果画面に表示された共有ボタンを選択して該当コンテンツをトークルームに表示しうる。

図９を参照すると、ユーザ端末２００は受信した検索結果を検索結果画面に表示する（Ｓ２１０）。

ユーザ端末２００は、検索結果画面に表示された共有ボタンが選択されると、サーバ３００に共有ボタンに関連付けられたリンク情報を伝送する（Ｓ２２０）。

サーバ３００は、リンク情報で該当するコンテンツサーバに接続してコンテンツをスクラップする（Ｓ２３０）。

サーバ３００は、スクラップしたコンテンツをユーザ端末２００に伝送する（Ｓ２４０）。スクラップしたコンテンツは、要約情報で構成されたサムネイルにして提供されうる。

ユーザ端末２００は、受信したコンテンツのサムネイルをトークルーム画面４００に表示する（Ｓ２５０）。

このように、本発明によれば、ユーザは、質問内容を直接入力することなく、トークルームで対話内容が表示された吹き出しや画像を選択して簡単に該当コンテンツに対する検索を要請できる。本発明によれば、メッセンジャーサービスは、ユーザに新たなユーザ経験を提供することができる。本発明によれば、サーバは、トークルームで質問された内容を分析して、正解型結果の提供、有意味な検索キーワードの推薦、および、類似の画像や商品の推薦、をすることができる。本発明によれば、ユーザは、トークルームの対話内容の中で気になる情報がある場合は、該当領域に対するロングタップ、スワイプ、などの動作により多様な検索結果を簡単に確認し、トークルームに共有できる。

以上で説明した本発明の実施形態は、装置および方法によってのみ実現されるものではなく、本発明の実施形態の構成に対応する機能を実現するプログラムまたはそのプログラムが記録された記録媒体を介して実現されることもできる。

以上、本発明の実施形態について詳細に説明したが、本発明の権利範囲は、これに限定されず、次の特許請求の範囲で定義している本発明の基本概念を用いた当業者の様々な変形および改良形態または本発明の権利範囲に属する。

Claims (6)

1. 少なくとも一つのプロセッサにより動作するユーザ端末のメッセンジャー検索方法であって、
   メッセンジャーアプリケーションのトークルーム画面を表示する段階と、
   対話者がやりとりした対話内容が区分されて表示される前記トークルーム画面で特定領域が選択された信号の入力を受ける段階と、
   前記特定領域が、テキストが表示された吹き出し領域であるか、画像が表示された画像領域であるか、を判断する段階と、
   前記特定領域が前記吹き出し領域である場合は、前記吹き出し領域に含まれる少なくとも一部のテキストをサーバに伝送し、伝送された当該テキストを検索クエリとする検索を行い、前記特定領域が前記画像領域である場合は、前記画像に対する情報、および、前記画像、のうちの少なくとも一つを前記サーバに伝送し、伝送された当該画像を検索クエリとする検索を行う、検索段階と、
   前記検索クエリに応答して前記サーバから受信した検索結果を検索結果画面に表示する段階と、
   前記検索結果画面に表示された共有ボタンが選択されると、前記共有ボタンに関連付けられた検索結果を前記トークルーム画面に表示する段階とを含み、
   前記検索結果は、
   前記特定領域に含まれた内容と関連する少なくとも一つの検索キーワードをさらに含み、
   前記検索キーワードが選択される場合は、前記検索キーワードに対する検索結果が画面に表示されるメッセンジャー検索方法。
2. 前記特定領域は、
   前記トークルーム画面でユーザにより長くタッチされた領域、または、
   前記トークルーム画面でユーザによりタッチされた後、指定された方向に移動した領域、である請求項１に記載のメッセンジャー検索方法。
3. 前記判断する段階以降に、
   前記特定領域が前記吹き出し領域である場合は、ユーザから前記特定領域に対するテキスト検索要請の入力を受ける選択ウィンドウを表示し、前記特定領域が前記画像領域である場合は、ユーザから前記特定領域に対する画像検索要請の入力を受ける選択ウィンドウを表示する、段階をさらに含み、
   前記検索段階は、
   前記選択ウィンドウで前記テキスト検索要請が入力されると、前記吹き出し領域に含まれた少なくとも一部のテキストをサーバに伝送し、前記選択ウィンドウで前記画像検索要請が入力されると、前記画像に対する情報、および、前記画像、のうちの少なくとも一つを前記サーバに伝送する請求項２に記載のメッセンジャー検索方法。
4. 前記検索結果は、
   前記特定領域に含まれた内容に対する正解型検索結果および情報型検索結果のうちの少なくとも一つを含む請求項１に記載のメッセンジャー検索方法。
5. 前記トークルーム画面に表示する段階は、
   前記共有ボタンに関連付けられた検索結果が複数の画像を含む場合は、前記トークルーム画面の特定領域で前記複数の画像の表示順序に従い該当画像を順次切り替えながら表示する請求項１に記載のメッセンジャー検索方法。
6. 前記トークルーム画面に表示する段階は、
   前記共有ボタンに関連付けられた検索結果を、サムネイル形態、吹き出し形態、および、検索後共有されたコンテンツであることを対話者が認識できる特定の形態、のうちの少なくとも一つの形態で表示し、前記トークルーム画面に前記検索クエリとした前記テキストまたは前記画像に関連する少なくとも一つの検索キーワードをさらに表示する請求項１に記載のメッセンジャー検索方法。