JP7335109B2 - 会話内容からテキストを利用して非テキストを検索する方法、システム、および非一時的なコンピュータ読み取り可能な記録媒体 - Google Patents

Description

以下の説明は、会話中に共有したコンテンツを検索する技術に関する。

一般的なコミュニケーションツールであるインスタントメッセンジャー（ｉｎｓｔａｎｔ ｍｅｓｓｅｎｇｅｒ）は、リアルタイムでメッセージやデータを送受信することができるソフトウェアであり、ユーザがメッセンジャー上に会話相手を登録すると、会話相手リストに登録された相手とリアルタイムでメッセージをやり取りすることができる。

このようなメッセンジャー機能は、ＰＣはもちろん、移動通信端末のモバイル環境でも普及している。

例えば、特許文献１（公開日２００２年０９月３０日）には、携帯端末機にインストールされたモバイルメッセンジャー同士にメッセンジャーサービスを提供できるようにした、無線通信網を利用した携帯端末機のモバイルメッセンジャーサービスシステムおよび方法が開示されている。

一般的にメッセンジャーは、ユーザ同士がチャットルームで写真、動画、ファイル、連絡先、位置、スケジュール、お知らせ、投票などのような多様な情報を共有できるようにする機能を支援している。

韓国公開特許第１０－２００２－００７４３０４号公報

一実施形態の課題は、アプリケーションでやり取りした会話内容から、テキストを利用して非テキスト（ｎｏｎ－ｔｅｘｔ）のコンテンツを検索できるようにすることである。

コンピュータシステムが実行する方法であって、前記コンピュータシステムは、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記方法は、前記少なくとも１つのプロセッサにより、メッセンジャー上の会話内容から検索語として入力されたテキスト（ｔｅｘｔ）を含む会話メッセージを検索する段階、前記少なくとも１つのプロセッサにより、前記検索された会話メッセージを基準として特定された会話区間から非テキスト（ｎｏｎ－ｔｅｘｔ）のコンテンツを抽出する段階、および前記少なくとも１つのプロセッサにより、前記抽出されたコンテンツを前記検索語に対応する検索結果として提供する段階を含む方法を提供する。

一側面によると、前記抽出する段階は、前記会話メッセージを基準とした以前の会話と以後の会話のうちの少なくとも１つの一部の会話区間を特定した後、前記特定された会話区間からマルチメディアコンテンツを抽出してよい。

他の側面によると、前記抽出する段階は、前記会話メッセージを基準とした以前の会話と以後の会話のうちの少なくとも１つから一定の個数の会話を抽出した後、前記一定の個数の会話からマルチメディアコンテンツを抽出してよい。

また他の側面によると、前記抽出する段階は、前記会話メッセージの時間情報を基準とした以前の単位時間と以後の単位時間のうちの少なくとも１つの単位時間内にやり取りした会話を抽出した後、前記抽出された会話からマルチメディアコンテンツを抽出してよい。

また他の側面によると、前記抽出する段階は、前記単位時間内にやり取りした会話の個数に応じて前記単位時間を調整する段階を含んでよい。

また他の側面によると、前記提供する段階は、前記検索された会話メッセージと前記抽出されたコンテンツを含む検索結果を提供してよい。

また他の側面によると、前記提供する段階は、前記検索結果に含まれた会話メッセージとコンテンツを分類して提供し、コンテンツの場合は、コンテンツ類型別に分類して提供してよい。

また他の側面によると、前記提供する段階は、前記検索結果に含まれた会話メッセージとコンテンツをプレビュー形態で提供してよい。

また他の側面によると、前記提供する段階は、前記検索結果に含まれたコンテンツが選択された場合、前記選択されたコンテンツが含まれたチャットルームに移動する段階を含んでよい。

さらに他の側面によると、前記移動する段階は、前記チャットルームを、前記選択されたコンテンツまたは前記選択されたコンテンツを抽出するときに基準となった会話メッセージの位置に自動的にスクロールして表示してよい。

前記方法をコンピュータに実行させるためのプログラムが記録されている、非一時的なコンピュータ読み取り可能な記録媒体を提供する。

メモリ、および前記メモリに通信可能に接続され、前記メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、メッセンジャー上の会話内容から検索語として入力されたテキストを含む会話メッセージを検索するメッセージ検索部、前記検索された会話メッセージを基準として特定された会話区間から非テキストのコンテンツを抽出するコンテンツ抽出部、および前記抽出されたコンテンツを前記検索語に対応する検索結果として提供する検索結果提供部を備える、コンピュータシステムを提供する。

一実施形態における、ネットワーク環境の例を示した図である。 一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。 メッセンジャーで共有したマルチメディアコンテンツを探す過程を説明するための例示図である。 メッセンジャーで共有したマルチメディアコンテンツを探す過程を説明するための例示図である。 一実施形態における、電子機器のプロセッサが含むことのできる構成要素の例を示した図である。 一実施形態における、電子機器が実行することのできる方法の例を示したフローチャートである。 一実施形態における、検索結果画面を示した例示図である。 一実施形態における、検索結果画面を示した例示図である。 一実施形態における、検索結果を利用したチャットルーム探索過程を説明するための例示図である。 一実施形態における、検索結果を利用したチャットルーム探索過程を説明するための例示図である。

以下、一実施形態について、添付の図面を参照しながら詳細に説明する。

一実施形態は、会話中に共有したコンテンツを検索する技術に関する。

一実施形態の課題は、アプリケーションでやり取りした会話内容から、テキストを利用して非テキスト（ｎｏｎ－ｔｅｘｔ）のコンテンツを検索できるようにすることである。

一実施形態の別の課題は、ユーザが会話内容またはコンテンツリストを直接にスキャンしなくても、テキスト検索によってアプリケーションで共有したコンテンツを検索できるようにすることである。

本明細書において具体的に開示される事項などを含む実施形態は、アプリケーションでやり取りした会話内容からテキストを利用して非テキストのコンテンツを検索することができ、これによって利便性、効率性、サービス品質などの側面において相当な長所を達成することができる。

図１は、一実施形態における、ネットワーク環境の例を示した図である。図１のネットワーク環境は、複数の電子機器１１０、１２０、１３０、１４０、複数のサーバ１５０、１６０、およびネットワーク１７０を含む例を示している。このような図１は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が図１のように限定されることはない。

複数の電子機器１１０、１２０、１３０、１４０は、コンピュータシステムによって実現される固定端末や移動端末であってよい。複数の電子機器１１０、１２０、１３０、１４０の例としては、スマートフォン、携帯電話、ナビゲーション、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型ＰＣ、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、タブレット、ゲームコンソール、ウェアラブルデバイス、ＩｏＴ（ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ）デバイス、ＶＲ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）デバイス、ＡＲ（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）デバイスなどがある。一例として、図１では、電子機器１１０の例としてスマートフォンを示しているが、一実施形態において、電子機器１１０は、実質的に無線または有線通信方式を利用し、ネットワーク１７０を介して他の電子機器１２０、１３０、１４０および／またはサーバ１５０、１６０と通信することのできる多様な物理的なコンピュータシステムのうちの１つを意味してよい。

通信方式が限定されることはなく、ネットワーク１７０が含むことのできる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網、衛星網など）を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてよい。例えば、ネットワーク１７０は、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。さらに、ネットワーク１７０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター・バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の１つ以上を含んでもよいが、これらに限定されることはない。

サーバ１５０、１６０それぞれは、複数の電子機器１１０、１２０、１３０、１４０とネットワーク１７０を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する１つ以上のコンピュータ装置によって実現されてよい。例えば、サーバ１５０は、ネットワーク１７０を介して接続した複数の電子機器１１０、１２０、１３０、１４０に第１サービスを提供するシステムであってよく、サーバ１６０も、ネットワーク１７０を介して接続した複数の電子機器１１０、１２０、１３０、１４０に第２サービスを提供するシステムであってよい。より具体的な例として、サーバ１５０は、複数の電子機器１１０、１２０、１３０、１４０においてインストールされて実行されるコンピュータプログラムであるアプリケーションを通じ、該当のアプリケーションが目的とするサービス（一例として、メッセンジャーサービスなど）を第１サービスとして複数の電子機器１１０、１２０、１３０、１４０に提供してよい。他の例として、サーバ１６０は、上述したアプリケーションのインストールおよび実行のためのファイルを複数の電子機器１１０、１２０、１３０、１４０に配布するサービスを第２サービスとして提供してよい。

図２は、一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。図２では、電子機器に対する例として電子機器１１０の内部構成およびサーバ１５０の内部構成について説明する。また、他の電子機器１２０、１３０、１４０やサーバ１６０も、上述した電子機器１１０またはサーバ１５０と同一または類似の内部構成を有してよい。

電子機器１１０およびサーバ１５０は、メモリ２１１、２２１、プロセッサ２１２、２２２、通信モジュール２１３、２２３、および入力／出力インタフェース２１４、２２４を含んでよい。メモリ２１１、２２１は、非一時的なコンピュータ読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ディスクドライブ、ＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）などのような永続的大容量記録装置を含んでよい。ここで、ＲＯＭ、ＳＳＤ、フラッシュメモリ、ディスクドライブのような永続的大容量記録装置は、メモリ２１１、２２１とは区分される別の永続的記録装置として電子機器１１０やサーバ１５０に含まれてもよい。また、メモリ２１１、２２１には、オペレーティングシステムと、少なくとも１つのプログラムコード（一例として、電子機器１１０においてインストールされて実行されるブラウザや特定のサービスの提供のために電子機器１１０にインストールされるアプリケーションなどのためのコード）が記録されてよい。このようなソフトウェア構成要素は、メモリ２１１、２２１とは別のコンピュータ読み取り可能な記録媒体からロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信モジュール２１３、２２３を通じてメモリ２１１、２２１にロードされてもよい。例えば、少なくとも１つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システム（一例として、上述したサーバ１６０）がネットワーク１７０を介して提供するファイルによってインストールされるコンピュータプログラム（一例として、上述したアプリケーション）に基づいてメモリ２１１、２２１にロードされてよい。

プロセッサ２１２、２２２は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ２１１、２２１または通信モジュール２１３、２２３によって、プロセッサ２１２、２２２に提供されてよい。例えば、プロセッサ２１２、２２２は、メモリ２１１、２２１のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。

通信モジュール２１３、２２３は、ネットワーク１７０を介して電子機器１１０とサーバ１５０とが互いに通信するための機能を提供してもよいし、電子機器１１０および／またはサーバ１５０が他の電子機器（一例として、電子機器１２０）または他のサーバ（一例として、サーバ１６０）と通信するための機能を提供してもよい。一例として、電子機器１１０のプロセッサ２１２がメモリ２１１のような記録装置に記録されたプログラムコードにしたがって生成した要求が、通信モジュール２１３の制御にしたがってネットワーク１７０を介してサーバ１５０に伝達されてよい。これとは逆に、サーバ１５０のプロセッサ２２２の制御にしたがって提供される制御信号や命令、コンテンツ、ファイルなどが、通信モジュール２２３とネットワーク１７０を経て電子機器１１０の通信モジュール２１３を通じて電子機器１１０に受信されてよい。例えば、通信モジュール２１３を通じて受信されたサーバ１５０の制御信号や命令、コンテンツ、ファイルなどは、プロセッサ２１２やメモリ２１１に伝達されてよく、コンテンツやファイルなどは、電子機器１１０がさらに含むことのできる記録媒体（上述した永続的記録装置）に記録されてよい。

入力／出力インタフェース２１４は、入力／出力装置２１５とのインタフェースのための手段であってよい。例えば、入力装置は、キーボード、マウス、マイクロフォン、カメラなどの装置を、出力装置は、ディスプレイ、スピーカ、触覚フィードバックデバイスなどのような装置を含んでよい。他の例として、入力／出力インタフェース２１４は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置２１５は、電子機器１１０と１つの装置で構成されてもよい。また、サーバ１５０の入力／出力インタフェース２２４は、サーバ１５０に接続するかサーバ１５０が含むことのできる入力または出力のための装置（図示せず）とのインタフェースのための手段であってよい。より具体的な例として、電子機器１１０のプロセッサ２１２がメモリ２１１にロードされたコンピュータプログラムの命令を処理するにあたり、サーバ１５０や電子機器１２０が提供するデータを利用して構成されるサービス画面やコンテンツが、入力／出力インタフェース２１４を通じてディスプレイに表示されてよい。

また、他の実施形態において、電子機器１１０およびサーバ１５０は、図２の構成要素よりも多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、電子機器１１０は、上述した入力／出力装置２１５のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。より具体的な例として、電子機器１１０がスマートフォンである場合、一般的にスマートフォンが含んでいる加速度センサやジャイロセンサ、カメラモジュール、物理的な各種ボタン、タッチパネルを利用したボタン、入力／出力ポート、振動のための振動器などのような多様な構成要素が、電子機器１１０にさらに含まれるように実現されてよい。

以下では、会話内容からテキストを利用して非テキストを検索する方法およびシステムの具体的な実施形態について説明する。

一実施形態に係るアプリケーションは、ユーザが検索語を入力すると、アプリケーションで共有した会話内容で検索語が含まれた会話メッセージを検索結果として提供する検索機能を含む。アプリケーションは、メッセンジャーやタイムラインなどのようなソーシャルネットワーキングサービスを提供するソーシャルメディアアプリケーションを含んでよい。

以下では、メッセンジャーを例に挙げて具体的な実施形態を説明しているが、これに限定されることはなく、一実施形態と関連する特徴は、メッセンジャーはもちろん、タイムラインなどのような各種ソーシャルメディアアプリケーションにも適用可能である。

メッセンジャーは、テキストで入力される検索語を利用して会話メッセージを探し出す検索機能を含んでいる。既存の検索機能は、テキストからなる会話メッセージだけを検索対象とし、イメージや動画のようなマルチメディアコンテンツは検索対象から除外されていた。

すなわち、マルチメディアコンテンツを検索するためには、ユーザが会話内容またはコンテンツリストを直接にスキャンしなければならなかった。

例えば、ユーザがイメージＥを検索する過程を仮定してみる。

図３を参照すると、ユーザは、イメージＥ３１０を共有したチャットルームＡ３００に入り、チャットルームＡ３００でやり取りした会話内容全体をスクロール３０１しながら、会話の途中に共有したイメージＥ３１０がどこにあるのか探さなければならない、と仮定する。

ユーザがイメージＥ３１０を探すためには、チャットルームＡ３００の会話内容全体をスキャンしなければならないため検索時間が長くなり、さらにはユーザがチャットルームＡ３００であることを覚えていない場合には、イメージＥ３１０を探すのにさらに長い時間がかかり、労力も増加してしまうであろう。

メッセンジャーは、チャットルーム別に、該当のチャットルームで共有したコンテンツリストを提供する機能（例えば、コンテンツをまとめて見る、コンテンツ保管箱など）を含んでいる。図４を参照すると、チャットルームＡ３００には、コンテンツをまとめて見る機能やコンテンツ保管箱機能などを利用してチャットルームＡ３００で共有したイメージリスト４００が提供されている。このとき、ユーザは、イメージリスト４００に含まれたサムネイルを１つずつ確認しながら、自分が探したいイメージＥ３１０を見つけ出さなければならない。

チャットルームＡ３００で共有したメージが多いほど検索時間は長くなり、ユーザがチャットルームＡ３００であることを覚えていなければ、イメージＥ３１０を見つけ出すのはさらに難しくなる。

一実施形態は、既存の検索機能を改善するためのものであって、テキストに基づいて会話メッセージに含まれた単語を検索語として利用することによりマルチメディアコンテンツを検索することを目的とする。

本明細書において、マルチメディアコンテンツとは、テキストタイプの会話メッセージを除き、イメージ、動画、顔文字、絵文字、リンク、ファイル、投票、お知らせなど、アプリケーションで共有することのできるすべてのコンテンツを包括したものを意味する。

一実施形態は、メッセンジャーで共有したマルチメディアコンテンツを検索対象として含む検索機能を提供する。

図５は、一実施形態における、電子機器のプロセッサが含むことのできる構成要素の例を示したブロック図であり、図６は、一実施形態における、電子機器が実行することのできる方法の例を示したフローチャートである。

本実施形態に係る電子機器１１０には、コンピュータで実現されたコンテンツ検索システムが構成されてよい。一例として、コンテンツ検索システムは、独立的に動作するプログラム形態で実現されてもよいし、あるいは特定のアプリケーションのイン－アプリ（ｉｎ－ａｐｐ）形態で構成され、前記特定のアプリケーション上で動作するように実現されてもよく、場合によっては、サーバ１５０との連動によってメッセンジャーの会話内容からマルチメディアコンテンツを検索する機能を提供してよい。

電子機器１１０にインストールされたアプリケーションが提供する命令に基づき、電子機器１１０に実現されたコンテンツ検索システムは、コンテンツ検索方法を実行してよい。図６に係るコンテンツ検索方法を実行するために、電子機器１１０のプロセッサ２１２は、構成要素として、図５に示すように、メッセージ検索部５１０、コンテンツ抽出部５２０、および検索結果提供部５３０を備えてよい。実施形態によっては、プロセッサ２１２の構成要素は、選択的にプロセッサ２１２に含まれても除外されてもよい。また、実施形態によっては、プロセッサ２１２の構成要素は、プロセッサ２１２の機能の表現のために分離されても併合されてもよい。

このようなプロセッサ２１２およびプロセッサ２１２の構成要素は、図６のコンテンツ検索方法が含む段階６１０～６３０を実行するように電子機器１１０を制御してよい。例えば、プロセッサ２１２およびプロセッサ２１２の構成要素は、メモリ２１１が含むオペレーティングシステムのコードと少なくとも１つのプログラムのコードとによる命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。

ここで、プロセッサ２１２の構成要素は、電子機器１１０に記録されたプログラムコードが提供する命令（一例として、電子機器１１０において実行されるアプリケーションが提供する命令）にしたがってプロセッサ２１２によって実行される、プロセッサ２１２の互いに異なる機能（ｄｉｆｆｅｒｅｎｔ ｆｕｎｃｔｉｏｎｓ）の表現であってよい。例えば、電子機器１１０が会話メッセージを検索するように上述した命令にしたがって電子機器１１０を制御するプロセッサ２１２の機能的表現として、メッセージ検索部５１０が利用されてよい。

プロセッサ２１２は、電子機器１１０の制御と関連する命令がロードされたメモリ２１１から必要な命令を読み取ってよい。この場合、前記読み取った命令には、プロセッサ２１２が後述する段階６１０～６３０を実行するように制御するための命令を含まれてよい。

段階６１０で、メッセージ検索部５１０は、電子機器１１０にインストールされたメッセンジャー上の会話内容から検索語として入力されたテキストを含む会話メッセージを検索してよい。メッセンジャーは、データをメッセージ単位でやり取りするが、ユーザと会話相手とがやり取りする会話は、テキストタイプの会話メッセージと、イメージ、動画、顔文字、絵文字、リンク、ファイル、投票、お知らせなどのような非テキストのコンテンツに該当するマルチメディアコンテンツとに分けられる。上述した会話内容は、やり取りした時点を示す時間情報や、やり取りしたチャットルームの識別情報などと関連付けて電子機器１１０上のローカルＤＢ（ｄａｔａｂａｓｅ）（例えば、メモリ２１１）に記録されてよい。このとき、メッセージ検索部５１０は、電子機器１１０のユーザによって特定されたチャットルームの会話内容を対象に、検索語と対応する会話メッセージを検索してよい。メッセージ検索部５１０は、検索しようとするチャットルームを特定するのではなく、全体チャットルームの会話内容を対象に、検索語に対応する会話メッセージを検索することも可能である。電子機器１１０のユーザが、探したいコンテンツをやり取りした当時の会話内容を覚えている場合には、その会話内容のうちの一部のテキストを検索語として入力することができる。このとき、メッセージ検索部５１０は、テキストタイプの会話メッセージを検索対象とし、検索語として入力されたテキストを含む会話メッセージを優先的に検索してよい。

段階６２０で、コンテンツ抽出部５２０は、メッセンジャーの会話内容から段階６１０で検索された会話メッセージ（検索語として入力されたテキストを含む会話メッセージ）（以下、「基準メッセージ」と称する）を基準として非テキストのコンテンツを抽出してよい。このとき、コンテンツ抽出部５２０は、基準メッセージを基準として一部の会話区間を特定した後、特定された会話区間内に存在するマルチメディアコンテンツを抽出してよい。コンテンツ抽出部５２０は、基準メッセージの以前の会話と以後の会話のうちの少なくとも１つの会話区間からマルチメディアコンテンツを抽出してよい。

一例として、コンテンツ抽出部５２０は、基準メッセージを基準とした以前の時点および／または以後の時点にやり取りした会話のうちから所定数の会話を抽出した後、抽出された会話区間からマルチメディアコンテンツを抽出してよい。例えば、基準メッセージを基準とした以前の会話１０個と以後の会話１０個を抽出し、抽出された２０個の会話内に存在するマルチメディアコンテンツを抽出してよい。

他の例として、コンテンツ抽出部５２０は、基準メッセージの時間情報を基準とした以前の単位時間および／または以後の単位時間内にやり取りした会話を抽出した後、抽出された会話区間からマルチメディアコンテンツを抽出してよい。例えば、基準メッセージが午前９時に届いたメッセージである場合、午前９時を基準として１分前から１分後まで、前後２分間にやり取りした会話を抽出し、抽出された会話内に存在するマルチメディアコンテンツを抽出してよい。

また他の例として、コンテンツ抽出部５２０は、会話を抽出しようとする会話個数と単位時間とを組み合わせてマルチメディアコンテンツを抽出するための会話区間を特定してもよい。例えば、基準メッセージの時間情報を基準とした以前の単位時間および／または以後の単位時間内にやり取りした会話の個数が閾値を超える場合、定められた一定の個数の会話だけを抽出するか、または会話を抽出するための単位時間を短縮調整してよい。これとは反対に、以前の単位時間および／または以後の単位時間内にやり取りした会話の個数が閾値未満であれば、抽出しようとする会話の個数を増やすか、または単位時間を延長調整することも可能である。

基準メッセージを基準としてマルチメディアコンテンツを抽出するための会話区間を特定するようになるが、会話区間を特定する基準（以前の会話／以後の会話、会話個数、時間など）は、メッセンジャーユーザによって設定されてもよいし、事前に定められたデフォルト値で設定されてもよい。

段階６３０で、検索結果提供部５３０は、検索語に対し、検索語を含む会話メッセージ（すなわち、基準メッセージ）と基準メッセージを基準とした一部の会話区間から抽出されたマルチメディアコンテンツを含む検索結果を提供してよい。検索結果提供部５３０は、検索語に対応する基準メッセージとマルチメディアコンテンツのリスト、およびやり取りした時間情報などを検索結果として提供してよい。このとき、検索結果提供部５３０は、検索結果に含まれた基準メッセージとマルチメディアコンテンツを分類して提供してよく、マルチメディアコンテンツも、コンテンツ類型（イメージ、動画、顔文字、絵文字、リンク、ファイル、投票、お知らせなど）別に分類して提供してよい。また、検索結果提供部５３０は、検索結果に含まれた基準メッセージとマルチメディアコンテンツをプレビュー形態で提供してよい。例えば、マルチメディアコンテンツがイメージや動画である場合、検索結果としてサムネイル（ｔｈｕｍｂｎａｉｌ）を利用したプレビューを提供してよく、顔文字や絵文字の場合は該当のイメージを、リンクの場合はＵＲＬアドレスや該当のウェブページ情報を、ファイルの場合はファイル名を、投票やお知らせの場合はタイトルを、プレビューとして提供してよい。

図７および図８は、一実施形態における検索結果画面を示した例示図である。図７および図８は、全体のチャットルームを対象に検索語「ヨンヒの民泊」に対する検索結果画面の例を示した図である。

図７を参照すると、検索結果画面７００は１つのページ（タブ）で構成され、一ページ上に「ヨンヒの民泊」が含まれた会話メッセージ（基準メッセージ）リスト７１０と、基準メッセージを基準とした一部の会話区間から抽出されたマルチメディアコンテンツリスト７２０が整列されている。

会話メッセージリスト７１０には、会話メッセージの少なくとも一部の文章が表示されてよく、このとき、会話メッセージに含まれた検索語「ヨンヒの民泊」は強調表示されてよい。

マルチメディアコンテンツリスト７２０は、図７に示すように、コンテンツ類型（イメージ、動画、顔文字、絵文字、リンク、ファイル、投票、お知らせなど）別に分類されて整列されてよい。

マルチメディアコンテンツリスト７２０には、マルチメディアコンテンツがプレビュー形態で表示されてよい。例えば、イメージや動画の場合はサムネイル７０１でプレビューを提供してよく、リンクの場合はＵＲＬアドレス７０２、ファイルの場合はファイル名７０３でプレビュー提供してよい。

他の例として、図８を参照すると、検索結果提供部５３０は、メッセージ類型それぞれに対して個別のページで構成された検索結果画面８００において、「ヨンヒの民泊」が含まれた会話メッセージ（基準メッセージ）リストと基準メッセージを基準とした一部の会話区間から抽出されたマルチメディアコンテンツリストが区分して提供されている。図８に示すように、検索結果に含まれた会話メッセージリストとマルチメディアコンテンツリストは個別のページで表示されるが、このとき、マルチメディアコンテンツも、コンテンツ類型に応じて分類して個別のページに表示してよい。

図９および図１０は、一実施形態における、検索結果を利用したチャットルーム探索過程を説明するための例示図である。

図９を参照すると、検索結果画面７００の会話メッセージリスト７１０またはマルチメディアコンテンツリスト７２０から「チャットルームＡ」に対する検索結果項目７０１、７０２、７０３のうちのいずれか１つの項目が選択された場合、選択された検索結果項目の会話メッセージやマルチメディアコンテンツが含まれたチャットルームＡ９００に移動するようになる。

チャットルームＡ９００が電子機器１１０の画面上に表示されるとき、検索語「ヨンヒの民泊」が含まれた会話メッセージである基準メッセージ９０１が存在する位置に自動的にスクロールされて表示されてよい。マルチメディアコンテンツリスト７２０に含まれた検索結果項目が選択された場合、選択された項目のマルチメディアコンテンツを抽出する基礎となった基準メッセージ９０１にスクロールされた状態でチャットルームＡ９００が画面に表示されてよい。他の例として、マルチメディアコンテンツリスト７２０に含まれた検索結果項目が選択された場合、選択された項目のマルチメディアコンテンツが複数個のときには、やり取りした時間が最も早いコンテンツにスクロールされた状態でチャットルームＡ９００が表示されることも可能である。

図９は、ユーザがイメージＥ９１０を探す過程を仮定している。

ユーザが、イメージＥ９１０を共有した当時の会話が「ヨンヒの民泊」と関連していたことを記憶している場合、検索機能を利用して「ヨンヒの民泊」を検索語として入力する。これにより、検索結果提供部５３０は、検索語「ヨンヒの民泊」に対応する会話メッセージリスト７１０とマルチメディアコンテンツリスト７２０とを含んだ検索結果を提供してよい。ユーザは、検索結果として提供されたプレビューから検索結果項目を選択することで、イメージＥ９１０を共有したチャットルームＡ９００に入ることが可能となる。

他の例として、図１０を参照すると、ユーザがマルチメディアコンテンツリスト７２０に含まれた「チャットルームＡ」に対する検索結果項目から特定のコンテンツ１０３０を選択した場合、選択された特定のコンテンツ１０３０が含まれたチャットルームＡ９００に移動するようになるが、このとき、特定のコンテンツ１０３０が存在する位置に自動的にスクロールされた状態でチャットルームＡ９００が画面上に表示される。

上述した例では、検索結果に含まれたマルチメディアコンテンツに対し、ユーザ選択にしたがってマルチメディアコンテンツを共有したチャットルームに移動するように説明しているが、移動に限定されることはなく任意の処理が行われてよい。例えば、電子機器１１０上でユーザが選択したマルチメディアコンテンツを直ちに再生させることも可能である。

したがって、一実施形態に係るメッセンジャーの検索機能は、テキストを利用することにより、メッセンジャーでやり取りしたテキストに基づく会話メッセージはもちろん、テキストでないすべてのコンテンツを検索することができる。

このように、一実施形態によると、メッセンジャーでやり取りした会話内容からテキストを利用して、非テキストのコンテンツを検索することができる。言い換えれば、ユーザが会話内容全体またはコンテンツリスト全体を直接にスキャンする必要がなくなり、テキスト検索によってメッセンジャーで共有したマルチメディアコンテンツを検索することができる。

上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、所望の動作をするように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。ここで、媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例は、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。

以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

５１０：メッセージ検索部
５２０：コンテンツ抽出部
５３０：検索結果提供部

Claims (20)

1. コンピュータシステムが実行する方法であって、
   前記コンピュータシステムは、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、
   前記方法は、
   前記少なくとも１つのプロセッサにより、メッセンジャー上の会話内容から検索語として入力されたテキストを含む会話メッセージを検索する段階、
   前記少なくとも１つのプロセッサにより、前記検索された会話メッセージを基準として特定された会話区間から非テキストのコンテンツを抽出する段階、および
   前記少なくとも１つのプロセッサにより、前記抽出されたコンテンツを前記検索語に対応する検索結果として提供する段階
   を含む、方法。
2. 前記抽出する段階は、
   前記会話メッセージを基準とした以前の会話と以後の会話のうちの少なくとも１つの一部の会話区間を特定した後、前記特定された会話区間からマルチメディアコンテンツを抽出する、
   請求項１に記載の方法。
3. 前記抽出する段階は、
   前記会話メッセージを基準とした以前の会話と以後の会話のうちの少なくとも１つから一定の個数の会話を抽出した後、前記一定の個数の会話からマルチメディアコンテンツを抽出する、
   請求項１に記載の方法。
4. 前記抽出する段階は、
   前記会話メッセージの時間情報を基準とした以前の単位時間と以後の単位時間のうちの少なくとも１つの単位時間内にやり取りした会話を抽出した後、前記抽出された会話からマルチメディアコンテンツを抽出する、
   請求項１に記載の方法。
5. 前記抽出する段階は、
   前記単位時間内にやり取りした会話の個数に応じて前記単位時間を調整する段階
   を含む、請求項４に記載の方法。
6. 前記提供する段階は、
   前記検索された会話メッセージと前記抽出されたコンテンツを含む検索結果を提供する、
   請求項１に記載の方法。
7. 前記提供する段階は、
   前記検索結果に含まれた会話メッセージとコンテンツを分類して提供し、コンテンツの場合は、コンテンツ類型別に分類して提供する、
   請求項６に記載の方法。
8. 前記提供する段階は、
   前記検索結果に含まれた会話メッセージとコンテンツをプレビュー形態で提供する、
   請求項６に記載の方法。
9. 前記提供する段階は、
   前記検索結果に含まれたコンテンツが選択された場合、前記選択されたコンテンツが含まれたチャットルームに移動する段階
   を含む、請求項１に記載の方法。
10. 前記移動する段階は、
    前記チャットルームを、前記選択されたコンテンツまたは前記選択されたコンテンツを抽出するときに基準となった会話メッセージの位置に自動的にスクロールして表示する、
    請求項９に記載の方法。
11. 請求項１～１０のうちのいずれか一項に記載の方法をコンピュータに実行させるためのプログラムが記録されている、非一時的なコンピュータ読み取り可能な記録媒体。
12. メモリ、および
    前記メモリに通信可能に接続され、前記メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサ
    を含み、
    前記少なくとも１つのプロセッサは、
    メッセンジャー上の会話内容から検索語として入力されたテキストを含む会話メッセージを検索するメッセージ検索部、
    前記検索された会話メッセージを基準として特定された会話区間から非テキストのコンテンツを抽出するコンテンツ抽出部、および
    前記抽出されたコンテンツを前記検索語に対応する検索結果として提供する検索結果提供部
    を備える、コンピュータシステム。
13. 前記コンテンツ抽出部は、
    前記会話メッセージを基準とした以前の会話と以後の会話のうちの少なくとも１つの一部の会話区間を特定した後、前記特定された会話区間からマルチメディアコンテンツを抽出する、
    請求項１２に記載のコンピュータシステム。
14. 前記コンテンツ抽出部は、
    前記会話メッセージを基準とした以前の会話と以後の会話のうちの少なくとも１つから一定個数の会話を抽出した後、前記一定個数の会話からマルチメディアコンテンツを抽出する、
    請求項１２に記載のコンピュータシステム。
15. 前記コンテンツ抽出部は、
    前記会話メッセージの時間情報を基準とした以前の単位時間と以後の単位時間のうちの少なくとも１つの単位時間内にやり取りした会話を抽出した後、前記抽出された会話からマルチメディアコンテンツを抽出する、
    請求項１２に記載のコンピュータシステム。
16. 前記コンテンツ抽出部は、
    前記単位時間内にやり取りした会話の個数に応じて前記単位時間を調整する、
    請求項１５に記載のコンピュータシステム。
17. 前記検索結果提供部は、
    前記検索された会話メッセージと前記抽出されたコンテンツを含む検索結果を提供する、
    請求項１２に記載のコンピュータシステム。
18. 前記検索結果提供部は、
    前記検索結果に含まれた会話メッセージとコンテンツを分類して提供し、コンテンツの場合は、コンテンツ類型別に分類して提供する、
    請求項１７に記載のコンピュータシステム。
19. 前記検索結果提供部は、
    前記検索結果に含まれた会話メッセージとコンテンツをプレビュー形態で提供する、
    請求項１７に記載のコンピュータシステム。
20. 前記検索結果提供部は、
    前記検索結果に含まれたコンテンツが選択された場合、前記選択されたコンテンツが含まれたチャットルームに移動し、
    前記チャットルームを、前記選択されたコンテンツまたは前記選択されたコンテンツを抽出するときに基準となった会話メッセージの位置に自動的にスクロールして表示する、
    請求項１２に記載のコンピュータシステム。

Images