JP7446716B2 - メッセンジャーサービスでユーザ状況に合わせて効率的にマルチメディアメッセージを提供する方法およびシステム - Google Patents

メッセンジャーサービスでユーザ状況に合わせて効率的にマルチメディアメッセージを提供する方法およびシステム Download PDF

Info

Publication number
JP7446716B2
JP7446716B2 JP2019054294A JP2019054294A JP7446716B2 JP 7446716 B2 JP7446716 B2 JP 7446716B2 JP 2019054294 A JP2019054294 A JP 2019054294A JP 2019054294 A JP2019054294 A JP 2019054294A JP 7446716 B2 JP7446716 B2 JP 7446716B2
Authority
JP
Japan
Prior art keywords
data
terminal
type
messenger server
recipient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019054294A
Other languages
English (en)
Other versions
JP2019175450A (ja
Inventor
ヒョクジェ ジャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Line Plus Corp
Original Assignee
Line Plus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Line Plus Corp filed Critical Line Plus Corp
Publication of JP2019175450A publication Critical patent/JP2019175450A/ja
Application granted granted Critical
Publication of JP7446716B2 publication Critical patent/JP7446716B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/50Business processes related to the communications industry
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10Multimedia information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/06Message adaptation to terminal or network requirements
    • H04L51/063Content adaptation, e.g. replacement of unsuitable content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63Routing a service request depending on the request content or context

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Operations Research (AREA)

Description

以下の説明は、メッセンジャーサービスでユーザ状況(context)に合わせて効率的にマルチメディアメッセージを提供する方法およびシステムに関し、より詳細には、メッセンジャーサービスでメッセージの送信者と受信者それぞれの状況に合わせてマルチメディアメッセージを効率的に送信、受信、および/または表示することができるマルチメディアメッセージ提供方法、マルチメディアメッセージ提供方法を実行するコンピュータ装置、コンピュータ装置と結合してマルチメディアメッセージ提供方法をコンピュータ装置に実行させるためにコンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラムとその記録媒体に関する。
最近のメッセンジャーサービスにおいて、ユーザは、単なるテキストメッセージだけでなく、写真や動画、音声録音などのような多様なマルチメディアメッセージをやり取りする。例えば、特許文献1は、モバイル・マルチメディア・インスタントメッセンジャーサービス・システムおよびこれを利用したモバイル・マルチメディア・メッセンジャーサービス方法に関するものであり、モバイル・マルチメディア・インスタントメッセンジャーサービス・システムを利用してカメラで撮影したイメージや動画を含むマルチメディアデータをメッセンジャーサービス内でリアルタイムにやり取りすることができるモバイル・マルチメディア・メッセンジャーサービス方法を開示している。
ところが、このようなマルチメディアメッセージのサイズは、テキストメッセージとは異なり、単一メッセージの場合でも、一例として、数百キロバイト(kilobyte:KB)から数十メガバイト(megabyte:MB)のようにテキストメッセージに比べて極めて大きい。したがって、ネットワーク状況が良くない地域や国では、このようなマルチメディアメッセージの送受信に遅延が生じることがあり、最悪の場合は送受信自体ができなくなることもある。
韓国公開特許第10-2006-0039497号公報
メッセンジャーサービスでメッセージの送信者と受信者それぞれの状況(context)に合わせてマルチメディアメッセージを効率的に送信、受信、および/または表示することができるマルチメディアメッセージ提供方法、マルチメディアメッセージ提供方法を実行するコンピュータ装置、コンピュータ装置と結合してマルチメディアメッセージ提供方法をコンピュータ装置に実行させるためにコンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラムとその記録媒体を提供する。
送信者端末から受信者端末へのマルチメディアメッセージの送信要求を受信する段階、前記送信者端末および前記受信者端末それぞれから収集される状況情報を分析して状況を決定する段階、前記決定された状況に応じ、前記マルチメディアメッセージに含まれる原本マルチメディアデータに対し、前記送信者端末から受信されるべきデータの第1種類および前記受信者端末に送信されるべきデータの第2種類を決定する段階、および前記原本マルチメディアデータに対し、前記決定された第1種類のデータを前記送信者端末から受信し、前記決定された第2種類のデータを前記受信者端末に送信することによって前記マルチメディアメッセージの送信要求を処理する段階を含む、マルチメディアメッセージ提供方法を提供する。
一側面によると、前記収集される状況情報は、前記送信者端末のネットワーク状況、前記受信者端末のネットワーク状況、受信者が前記受信者端末を使用中であるか否か、アクセス可能性、使用没入強度、前記受信者の明示的な入力に応じて前記受信者端末から受信される原本要求のうちの2つ以上に関する情報を含んでよい。
他の側面によると、前記第1種類のデータは、前記原本マルチメディアデータおよび前記原本マルチメディアデータに対するプレビューのうちのいずれか1つを含み、前記第2種類のデータは、前記マルチメディアメッセージの送信に対するイベント、前記原本マルチメディアデータ、および前記原本マルチメディアデータに対するプレビューのうちのいずれか1つを含み、前記決定された状況において、前記第1種類のデータと前記第2種類のデータは、互いに異なるデータとして決定されてよい。
また他の側面によると、前記マルチメディアメッセージ提供方法は、前記収集される状況情報の変化に伴って前記決定された状況が変わる場合、前記変わった状況に応じて前記第1種類および前記第2種類のうちの少なくとも一方を変更する段階、および前記送信者端末から前記変更された第1種類のデータをさらに受信するか、または前記受信者端末に前記変更された第2種類のデータをさらに送信する段階をさらに含んでよい。
また他の側面によると、前記マルチメディアメッセージの送信要求を処理する段階は、前記送信者端末から前記第1種類のデータとして前記原本マルチメディアデータを受信して記録する段階、前記原本マルチメディアデータに対するプレビューを生成する段階、前記生成されたプレビューを前記第2種類のデータとして前記受信者端末に送信する段階、および前記受信者端末から前記プレビューを基盤とした原本要求が受信され、状況の変化に伴い、前記記録された原本マルチメディアデータを変更された第2種類のデータとして前記受信者端末に送信する段階を含んでよい。
また他の側面によると、前記マルチメディアメッセージの送信要求を処理する段階は、前記送信者端末から前記第1種類のデータとして前記原本マルチメディアデータに対するプレビューを受信する段階、前記プレビューを前記第2種類のデータとして前記受信者端末に送信する段階、前記受信者端末から前記プレビューを基盤とした原本要求が受信され、状況の変化に伴い、前記送信者端末から変更された第1種類のデータとして前記原本マルチメディアデータを受信する段階、および前記受信した原本マルチメディアデータを変更された第2種類のデータとして前記受信者端末に送信する段階を含んでよい。
また他の側面によると、前記マルチメディアメッセージの送信要求を処理する段階は、前記イベントを前記第2種類のデータとして前記受信者端末に送信する段階、前記受信者端末にインストールされたメッセンジャーアプリケーションを通じて前記イベントが表示されることを認識する段階、前記認識に応答し、前記送信者端末から前記第1種類のデータとして前記原本マルチメディアデータに対するプレビューおよび前記原本マルチメディアデータのうちのいずれか1つのデータを受信する段階、および前記イベントの表示が認識されて状況が変化することに伴い、前記プレビューおよび前記原本マルチメディアデータのうちのいずれか1つのデータを変更された第2種類のデータとして前記受信者端末に送信する段階を含んでよい。
また他の側面によると、前記いずれか1つのデータを受信する段階は、前記送信者端末から前記プレビューを受信して前記受信者端末に送信した場合、前記受信者端末からの前記プレビューを基盤とした原本要求が受信され、状況が追って変化することに伴い、前記送信者端末から変更された第1種類のデータとして前記原本マルチメディアデータを受信する段階を含み、前記いずれか1つのデータを前記受信者端末に送信する段階は、前記受信した原本マルチメディアデータを変更された第2種類のデータとして前記受信者端末に追って送信する段階を含んでよい。
さらに他の側面によると、前記マルチメディアメッセージ提供方法は、前記受信者端末に送信済みのデータに対する送信履歴を管理する段階、前記管理される送信履歴から、前記第2種類のデータが前記受信者端末に送信された履歴が存在するかを確認する段階、および前記第2種類のデータが前記受信者端末に送信された履歴が存在する場合、前記第2種類のデータの識別子または前記第2種類のデータを送信するのに利用されたメッセージの識別子を前記受信者端末に送信する段階をさらに含み、前記受信者端末では、前記データの識別子またはメッセージの識別子を利用して前記受信者端末に送信済みの記録されたデータが識別されてよい。
送信者端末が、受信者端末へのマルチメディアメッセージの送信要求をメッセンジャーサーバに送信する段階、前記送信者端末が前記メッセンジャーサーバに状況情報を送信する段階、および前記送信された状況情報および前記受信者端末から受信した状況情報を分析して前記メッセンジャーサーバによって決定される状況に応じて前記メッセンジャーサーバによって要求される、前記マルチメディアメッセージに含まれる原本マルチメディアデータに対する第1種類のデータを、前記送信者端末が前記メッセンジャーサーバに送信する段階を含む、マルチメディアメッセージ提供方法を提供する。
コンピュータ装置と結合して前記マルチメディアメッセージ提供方法をコンピュータ装置に実行させるためにコンピュータ読み取り可能な記録媒体に記録された、コンピュータプログラムを提供する。
前記マルチメディアメッセージ提供方法をコンピュータ装置に実行させるためのプログラムが記録されている、コンピュータ読み取り可能な記録媒体を提供する。
コンピュータ装置であって、コンピュータ読み取り可能な命令を実行するように実現される少なくとも1つのプロセッサを含み、前記少なくとも1つのプロセッサにより、送信者端末から受信者端末へのマルチメディアメッセージの送信要求を受信し、前記送信者端末および前記受信者端末それぞれから収集される状況情報を分析して状況を決定し、前記決定された状況に応じ、前記マルチメディアメッセージが含む原本マルチメディアデータに対し、前記送信者端末から受信されるべきデータの第1種類および前記受信者端末に送信すべきデータの第2種類を決定し、前記原本マルチメディアデータに対し、前記決定された第1種類のデータを前記送信者端末から受信し、前記決定された第2種類のデータを前記受信者端末に送信することによって前記マルチメディアメッセージの送信要求を処理する、コンピュータ装置を提供する。
コンピュータ装置で読み取り可能な命令を実行するように実現される少なくとも1つのプロセッサを含み、前記少なくとも1つのプロセッサにより、送信者端末が受信者端末へのマルチメディアメッセージの送信要求をメッセンジャーサーバに送信し、前記送信者端末が前記メッセンジャーサーバに状況情報を送信し、前記送信した状況情報および前記受信者端末から受信された状況情報を分析して前記メッセンジャーサーバによって決定される状況に応じて前記メッセンジャーサーバが要求する前記マルチメディアメッセージが含む原本マルチメディアデータに対する第1種類のデータを、前記送信者端末が前記メッセンジャーサーバに送信する、コンピュータ装置を提供する。
メッセンジャーサービスでメッセージの送信者と受信者それぞれの状況(context)に合わせてマルチメディアメッセージを効率的に送信、受信、および/または表示することができる。
本発明の一実施形態における、ネットワーク環境の例を示した図である。 本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。 本発明の一実施形態における、マルチメディアメッセージを提供する例を示した図である。 本発明の一実施形態における、プレビューの等級および/または形式の例を示した図である。 本発明の一実施形態における、プレビューの等級および/または形式の他の例を示した図である。 本発明の一実施形態における、送信データの重複送信防止のための過程の例を示した図である。 本発明の一実施形態における、送信データの重複送信防止のための過程の他の例を示した図である。 本発明の一実施形態における、メッセンジャーサーバのマルチメディアメッセージ提供方法の例を示したフローチャートである。 本発明の一実施形態における、マルチメディアメッセージの送信要求を処理する第1例を示したフローチャートである。 本発明の一実施形態における、マルチメディアメッセージの送信要求を処理する第2例を示したフローチャートである。 本発明の一実施形態における、マルチメディアメッセージの送信要求を処理する第3例を示したフローチャートである。 本発明の一実施形態における、受信者端末に送信されるデータの重複送信防止のための例を示したフローチャートである。 本発明の一実施形態における、送信者端末のマルチメディアメッセージ提供方法の例を示したフローチャートである。
以下、実施形態について、添付の図面を参照しながら詳しく説明する。
本発明の実施形態に係るマルチメディアメッセージ提供方法は、以下で説明される電子デバイスまたはサーバのようなコンピュータ装置によって実現されてよい。このとき、コンピュータ装置には、本発明の一実施形態に係るコンピュータプログラムがインストールされて実行されてよく、コンピュータ装置は、実行されるコンピュータプログラムの制御に従って本発明の実施形態に係るマルチメディアメッセージ提供方法を実行してよい。上述したコンピュータプログラムは、コンピュータ装置と結合してマルチメディアメッセージ提供方法をコンピュータ装置に実行させるためにコンピュータ読み取り可能な記録媒体に記録されてよい。
図1は、本発明の一実施形態における、ネットワーク環境の例を示した図である。図1のネットワーク環境は、複数の電子デバイス110、120、130、140、複数のサーバ150、160、およびネットワーク170を含む例を示している。このような図1は、本発明の説明のための一例に過ぎず、電子デバイスの数やサーバの数が図1のように限定されることはない。
複数の電子デバイス110、120、130、140は、コンピュータ装置によって実現される固定端末や移動端末であってよい。複数の電子デバイス110、120、130、140の例としては、スマートフォン、携帯電話、ナビゲーション、PC(personal computer)、ノート型PC、デジタル放送用端末、PDA(Personal Digital Assistant)、PMP(Portable Multimedia Player)、タブレットなどがある。一例として、図1では、電子デバイス110の例としてスマートフォンを示しているが、本発明の実施形態において、電子デバイス110は、実質的に無線または有線通信方式を利用し、ネットワーク170を介して他の電子デバイス120、130、140および/またはサーバ150、160と通信することができる多様な物理的なコンピュータ装置のうちの1つを意味してよい。
通信方式が限定されることはなく、ネットワーク170が含むことができる通信網(一例として、移動通信網、有線インターネット、無線インターネット、放送網など)を利用する通信方式だけではなく、デバイス間の近距離無線通信が含まれてよい。例えば、ネットワーク170は、PAN(personal area network)、LAN(local area network)、CAN(campus area network)、MAN(metropolitan area network)、WAN(wide area network)、BBN(broadband network)、インターネットなどのネットワークのうちの1つ以上の任意のネットワークを含んでよい。さらに、ネットワーク170は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター-バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の1つ以上を含んでもよいが、これらに限定されることはない。
サーバ150、160のそれぞれは、複数の電子デバイス110、120、130、140とネットワーク170を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する1つ以上のコンピュータ装置によって実現されてよい。例えば、サーバ150は、ネットワーク170を介して接続した複数の電子デバイス110、120、130、140にサービス(一例として、ゲームサービス、ソーシャルネットワークサービス、メッセージングサービス、検索サービス、メールサービス、コンテンツ提供サービスなど)を提供するシステムであってよい。
図2は、本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。上述した複数の電子デバイス110、120、130、140のそれぞれやサーバ150、160のそれぞれは、図2に示されたコンピュータ装置200によって実現されてよい。
このようなコンピュータ装置200は、図2に示すように、メモリ210、プロセッサ220、通信インタフェース230、および入力/出力インタフェース240を含んでよい。メモリ210は、コンピュータ読み取り可能な記録媒体であって、RAM(random access memory)、ROM(read only memory)、およびディスクドライブのような永続的大容量記録装置を含んでよい。ここで、ROMやディスクドライブのような永続的大容量記録装置は、メモリ210とは区分される別の永続的記録装置としてコンピュータ装置200に含まれてもよい。また、メモリ210には、オペレーティングシステムと、少なくとも1つのプログラムコードが記録されてよい。このようなソフトウェア構成要素は、メモリ210とは別のコンピュータ読み取り可能な記録媒体からメモリ210にロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー(登録商標)ドライブ、ディスク、テープ、DVD/CD-ROMドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信インタフェース230を通じてメモリ210にロードされてもよい。例えば、ソフトウェア構成要素は、ネットワーク170を介して受信されるファイルによってインストールされるコンピュータプログラムに基づいてコンピュータ装置200のメモリ210にロードされてよい。
プロセッサ220は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ210または通信インタフェース230によって、プロセッサ220に提供されてよい。例えば、プロセッサ220は、メモリ210のような記録装置に記録されたプログラムコードに従って受信される命令を実行するように構成されてよい。
通信インタフェース230は、ネットワーク170を介してコンピュータ装置200が他の装置(一例として、上述した記録装置)と互いに通信するための機能を提供してよい。一例として、コンピュータ装置200のプロセッサ220がメモリ210のような記録装置に記録されたプログラムコードに従って生成した要求や命令、データ、ファイルなどが、通信インタフェース230の制御に従ってネットワーク170を介して他の装置に伝達されてよい。これとは逆に、他の装置からの信号や命令、データ、ファイルなどが、ネットワーク170を経てコンピュータ装置200の通信インタフェース230を通じてコンピュータ装置200に受信されてよい。通信インタフェース230を通じて受信された信号や命令、データなどは、プロセッサ220やメモリ210に伝達されてよく、ファイルなどは、コンピュータ装置200がさらに含むことができる記録媒体(上述した永続的記録装置)に記録されてよい。
入力/出力インタフェース240は、入力/出力装置250とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボード、またはマウスなどの装置を、出力装置は、ディスプレイやスピーカのような装置を含んでよい。他の例として、入力/出力インタフェース240は、タッチスクリーンのように入力と出力のための機能が1つに統合された装置とのインタフェースのための手段であってもよい。入力/出力装置250は、コンピュータ装置200と1つの装置で構成されてもよい。
また、他の実施形態において、コンピュータ装置200は、図2の構成要素よりも少ないか多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、コンピュータ装置200は、上述した入力/出力装置250のうちの少なくとも一部を含むように実現されてもよいし、トランシーバやデータベースなどのような他の構成要素をさらに含んでもよい。
図1を参照しながら説明した複数の電子デバイス110、120、130、140のようなメッセンジャーサービスのユーザ端末それぞれでは、ネットワーク状況と端末使用状況がリアルタイムで急変することから、ユーザがマルチメディアデータを送信、受信、および/または表示するにあって問題が生じることがある。
例えば、ネットワーク状況が良くない受信者が、長い時間と費用(データ)を費やしてマルチメディアメッセージが含むマルチメディアデータ(一例として、動画)をダウンロードしたものの、今すぐにダウンロードする必要のないマルチメディアデータであったケースが考えられる。
他の例として、マルチメディアメッセージを受信したときはネットワーク状況が良かったが、マルチメディアメッセージに含まれるマルチメディアデータをダウンロードすることができず、一定の時間が経過してからマルチメディアデータをダウンロードしようとしたときにはネットワーク状況が悪くなり、マルチメディアデータをダウンロードすることができなくなるケースも考えられる。
さらに他の例として、送信者がマルチメディアメッセージを送っても受信者がマルチメディアメッセージを確認できる状況でない場合、送信者は劣悪なネットワーク状況でもあえてマルチメディアメッセージを送信することは可能であるが、マルチメディアメッセージに含まれる容量の大きいマルチメディアデータを今すぐに送信する必要はない。
したがって、本発明の実施形態では、このような多様な状況に対処するために、ネットワーク状況とユーザの端末使用状況を分析し、会話に参加する構成員の状況(context)を総合的に分析することにより、マルチメディアメッセージを効率的に送信、受信、および/または表示できるように改善することを目的とする。
図3は、本発明の一実施形態における、マルチメディアメッセージを提供する例を示した図である。本実施形態では、ネットワーク状況の良い送信者端末310がネットワーク状況の良くない受信者端末320に、メッセンジャーサーバ330を経て動画のようなマルチメディアデータが含まれるマルチメディアメッセージを送信する場合について説明する。このとき、受信者は、受信者端末320を使用中であり、使用没入強度が高い状況であると仮定する。ここで、送信者端末310と受信者端末320は、図3では画面例を示しているが、実質的にはメッセンジャーアプリケーションがインストールされて実行され、上述したネットワーク170を介してメッセンジャーサーバ330と通信しながら互いにメッセージのやり取りをする物理的な装置であってよく、図2で説明したコンピュータ装置200によって実現されてよい。また、メッセンジャーサーバ330は、メッセンジャーアプリケーションが実行された送信者端末310と受信者端末320との間に通信セッションを設定し、設定された通信セッションを介して送信者端末310および受信者端末320で送受信されるメッセージをルーティングすることにより、通信セッションが設定された送信者端末310と受信者端末320が互いにメッセージをやり取りできるようにサポートする1つ以上の物理的な装置であってよい。このとき、メッセンジャーサーバ330を実現する装置も、図2で説明したコンピュータ装置200によって実現されてよい。図3の実施形態で説明する通信セッションは、送信者端末310および受信者端末320のユーザである送信者のアカウントと受信者のアカウントとの間に設定されてよく、メッセンジャー環境におけるチャットルームに対応してよい。図3の実施形態では、送信者と受信者である2人のユーザがマルチメディアメッセージを送受信する過程の例を説明しているが、1人の送信者と2人以上の受信者が存在するグループチャットルームの場合にも同じような過程が適用されてよい。このとき、受信者の互いに異なるユーザ状況に応じて受信者別にマルチメディアメッセージの送信方式が互いに異なってよい。なお、以下で説明する送信者端末310、受信者端末320、およびメッセンジャーサーバ330間の信号、要求、メッセージ、データなどの送信、アップロード、受信、およびダウンロードは、上述したネットワーク170を介して行われてよい。
1)動画メッセージ送信要求
ネットワーク状況が良い送信者端末310は、送信者がメッセンジャーアプリケーションで提供される機能を利用して動画1(311)を選択してメッセンジャーサーバ330にマルチメディアメッセージの送信を要求すると、メッセンジャーアプリケーションの制御に従って、マルチメディアメッセージの送信を要求するための信号(イベント)をメッセンジャーサーバ330に送信することができる。
2)動画メッセージ送信要求を受信
メッセンジャーサーバ330は、ネットワークを介して送信者端末310から送信された信号を受信することができる。このとき、上記信号は、送信者端末310がマルチメディアメッセージを送信しようとすることを知らせるための信号であり、マルチメディアデータ自体は含まれていない。
3)送信側/受信側の状況情報を分析
メッセンジャーサーバ330は、上記信号の受信に応答し、送信者端末310および受信者端末320それぞれの状況情報を分析することができる。状況情報は、周期的に予め収集された情報を活用してもよいし、上記信号の受信に伴って送信者端末310および受信者端末320に特定の信号を送信する方式によってリアルタイムで取得してもよいし、このような2つの方式をすべて活用してもよい。状況情報に関する具体的な内容と状況情報を取得および分析する方法については、以下でさらに詳しく説明する。このとき、メッセンジャーサーバ330は、送信者端末310および受信者端末320それぞれの状況情報を分析した結果として、図3で仮定されたように、送信者端末310のネットワーク状況が「良い」(一例として、「良い」および「悪い」のような2種類の予め定義された等級のうちの最初の等級)である反面、受信者端末320のネットワーク状況は「悪い」であると決定してよい。また、メッセンジャーサーバ330は、受信者端末320のユーザである受信者が受信者端末320を使用中であり、使用没入強度が「高い」(一例として、「良い」および「悪い」のような2種類の予め定義された等級のうちの最初の等級)であると決定してよい。ネットワーク状況と使用没入強度は、3つ以上の等級に分類されてもよい。
4)送信方式を決定
メッセンジャーサーバ330は、決定された状況情報の分析結果に基づき、送信者端末310が受信者端末320に送信しようとしている動画1(311)の送信方式を、送信者端末310と受信者端末320それぞれに対して決定することができる。例えば、メッセンジャーサーバ330は、ネットワーク状況が「良い」である送信者端末310からは直ぐに動画1(311)を受信する送信方式を選択してよい。この反面、メッセンジャーサーバ330は、ネットワーク状況が「悪い」である受信者端末320には直ぐに動画1(311)を送信する代わりに、動画1(311)から、動く写真であるアニメーションGIF(animated GIF)ファイルa(321)を生成して送信し、受信者端末320からの明示的な要求に応じて動画1(311)を送信する送信方式を選択することができる。
5)動画1(311)を要求
メッセンジャーサーバ330は、決定された送信方式に従って、送信者端末310に該当の動画1(311)のアップロードを要求することができる。
6)送信方式に従って動画1(311)をアップロード
送信者端末310は、メッセンジャーサーバ330からの要請に従って、動画1(311)をメッセンジャーサーバ330に
アップロードすることができる。実施形態によって他の送信方式が決定される場合、送信者端末310は、他の送信方式に従って動画1(311)をメッセンジャーサーバ330にアップロードしてもよい。例えば、送信者端末310のネットワーク状況が「悪い」である場合、動画1(311)に対するプレビュー(一例として、上述したアニメーションGIFファイルa(321)のようなプレビュー(preview)データであって、音声録音や音楽のような音源に対しても類似の概念が活用されてよい)を送信者端末310が生成してメッセンジャーサーバ330に送信し、実際の動画1(311)は送信者端末310のネットワーク状況が良くなってから送信する方式が決定されてもよい。このような実施形態については、以下でさらに詳しく説明する。
7)動画1(311)を受信して格納
メッセンジャーサーバ330は、送信者端末310がアップロードした動画1(311)を受信してメッセンジャーサーバ330の格納場所に格納することができる。
8)動画1(311)からアニメーションGIFファイルa(321)を生成
メッセンジャーサーバ330は、受信した動画1(311)からアニメーションGIFファイルa(321)を生成することができる。例えば、ネットワーク状況が「悪い」である受信者端末320に大きな容量である動画1(311)を送信することは、受信者が送信者のメッセージを、一般的な状況と比較して極めて長い時間をかけて受信するか、あるいは受信すらできない状況を生じさせかねない。この反面、動画1(311)から生成したアニメーションGIFファイルa(321)は、動画1(311)に比べて相対的に容量が少ないことは自明であることから、受信者は、より迅速に動画1(311)の送信に関する情報を得ることができるようになり、動画1(311)に関する大まかな情報を得ることができるようになる。動画1(311)からアニメーションGIFファイルa321を生成する方式については、以下でさらに詳しく説明する。
9)アニメーションGIFファイルa(321)を送信
メッセンジャーサーバ330は、動画1(311)から生成したアニメーションGIFファイルa(321)を受信者端末320に送信することができる。
10)アニメーションGIFファイルa(321)をダウンロードして表示
受信者端末320は、メッセンジャーサーバ330から送信されたアニメーションGIFファイルa(321)をダウンロードして画面に表示することができる。図3では、受信者端末320でチャットルームにアニメーションGIFファイルa(321)が表示された例を示している。このようなアニメーションGIFファイルa(321)をダウンロードして表示することより、受信者は、送信者が動画を送ろうとしていることを一早く確認することができ、送ろうとしている動画の大まかな内容を把握することができる。言い換えれば、受信者は、アニメーションGIFファイルa(321)のようなプレビューを受信することで、動画1(311)のダウンロード時点を決めることができるようになる。例えば、受信者は、ネットワーク状況が「悪い」であったとしても、動画1(311)を直ぐにダウンロードしなければならない状況であるかもしれないし、ネットワーク状況が「良い」になってから動画1(311)をダウンロードしてもよい状況であるかもしれない。
11)受信者入力によって動画1(311)を要求
受信者端末320は、受信者からの明示的な入力により、メッセンジャーサーバ330に動画1(311)を要求することができる。例えば、アニメーションGIFファイルa(321)は、図3に示された「動画確認?」ボタン322のようなユーザインタフェースとともに表示されてよく、受信者が「動画確認?」ボタン322を選択(一例として、タッチスクリーン環境においてユーザが指で「動画確認?」ボタン322が表示された領域をタッチ)することのような受信者からの明示的な要求により、メッセンジャーサーバ330に動画1(311)を要求してよい。一例として、「動画確認?」ボタン322には、メッセンジャーサーバ330に記録された動画1(311)のためのネットワーク位置(一例として、URL)を含むリンクが設定されてよく、受信者の選択により、受信者端末320は、該当のネットワーク位置に記録された動画1(311)をメッセンジャーサーバ330に要求してよい。
12)受信側の要求に応じて動画1(311)を送信
メッセンジャーサーバ330は、受信者端末320からの要求に応じ、該当の動画1(311)を受信者端末320に送信することができる。
13)動画1(311)をダウンロードして表示
受信者端末320は、メッセンジャーサーバ330から動画1(311)をダウンロードして画面に表示することができる。図3では、受信者端末320画面のチャットルームに動画1(311)が表示された例を示している。このとき、受信者は、ネットワーク状況が「悪い」であったとしても、送信者が動画1(311)を送信したことを、動画1(311)を受信する前から認知しているため、アニメーションGIFファイルa(321)から大まかな内容を予め確認することができる。
上述した図3では、メッセンジャーサーバ330が送信者端末310と受信者端末320とのメッセージの伝達を中継する実施形態について説明したが、メッセンジャーサーバ330は中継のための機能を行うだけで、実際のメッセージの伝達は、送信者端末310と受信者端末320とが直接行ってもよい。例えば、メッセンジャーサーバ330は、送信者端末310がアニメーションGIFファイルa(321)を生成して受信者端末320に直接送信するようにしたり、動画1(311)を受信者端末320に直接送信したりするように制御してもよい。これは、以下で説明される他の実施形態に適用されてもよい。
また、図3では、メッセンジャーサーバ330が送信者端末310および受信者端末320それぞれの状況情報を収集する実施形態について説明したが、実施形態によっては、送信者端末310および受信者端末320それぞれが状況情報を収集してもよい。例えば、送信者端末310および受信者端末320それぞれがメッセンジャーサーバ330との現在のネットワーク状況をモニタリングし、多様なマルチメディアメッセージの送信および/または受信に適しているかを判断してよく、通常のネットワーク状況のモニタリング結果を利用して未来の時間に対する状況を予測してもよい。このとき、メッセンジャーサーバ330は、送信者端末310および受信者端末320それぞれが収集した状況情報を分析し、送信者端末310および受信者端末320それぞれのためのマルチメディアメッセージの送信方式を決定してよい。
図4は、本発明の一実施形態における、プレビューの等級および/または形式の例を示した図である。図3を参照しながら上述したように、送信者端末310および/またはメッセンジャーサーバ330は、原本データの容量と鑑賞時間を減らすための用途としてアニメーションGIFファイルa(321)のようなプレビューを生成し、受信者端末320に提供してよい。このようなプレビューは、状況に応じて多様な等級および/または形式で生成されてよい。例えば、プレビューは、動画2(410)の場合、原本の動画2(410)をそのまま含む第1等級プレビュー、動画2(410)から抽出されるハイライト区間420を含む第2等級プレビュー、動画2(410)から予め設定された数のイメージを抽出して生成されるアニメーションGIFファイル430を含む第3等級プレビュー、および動画2(410)から抽出される1つの代表イメージ440を含む第4等級プレビューのように、状況に応じて多様な等級および/または形式で生成することができる。例えば、図3では、ネットワーク状況を「良い」と「悪い」の2つの等級に分類したが、ネットワーク状況は「良い」、「普通」、「悪い」や「第1等級」、「第2等級」、「第3等級」、および「第4等級」などのように3つ以上の等級に分類されてもよい。また、上述したように、ネットワーク状況だけではなく、受信者が受信者端末320を使用中であるか否か、受信者の受信者端末320に対するアクセス可能性、および/または受信者の受信者端末320に対する使用没入強度などのような多様なユーザ状況情報が活用されてよく、これによって決定可能なマルチメディアメッセージの多様な送信方式が定義されて活用されてよい。このとき、プレビューの等級および/または形式は、マルチメディアメッセージの送信方式に応じて異なってよい。
動画のハイライト区間は、一例として、テーマを定め、定められたテーマに従ってニューラルネットワーク(neural network)を基盤として映像を学習させた後、学習されたニューラルネットワークを基盤としてハイライトを抽出する方式や、サポートベクトルマシン(SVM:Support Vector Machine)を基盤として動画サービスを提供するサイトからテーマ別に原本動画と編集(edit)映像を検索し、これを比較し、映像内で類似度の高い区間を見つけ出して学習する方式などのように、動画からハイライト区間を抽出するための多様な技術のうちの1つ以上が活用されてよい。
一方、動画に対するプレビューとしてハイライトを生成することは、メッセンジャーサービスの特性上、個人映像を含む多数のマルチメディアメッセージが送受信されることから、一般的な状況とは異なるハイライト抽出法が適用されてよい。例えば、受信者の観点において、送信者や、受信者とメッセンジャーサービス上で人的関係が設定された他のユーザ(受信者のメッセンジャー友だち)のプロフィール写真に基づき、顔認識によって動画内で受信者の友だちの顔が出てくる部分をハイライト区間として抽出することができる。この他にも、音声および/または画面上の揺れを利用してハイライト区間を決定することができる。例えば、動画内で歓声や叫び声などによって急に音量が高まる時点を基準としてn秒の区間をハイライト区間として決定してよい。他の例として、動画の撮影者が特定の事件の発生によって画面が揺れる区間を見つけ出し、画面が揺れる直前から画面が揺れた直後また安定するまでの区間をハイライト区間として抽出してもよい。
一方、図4では、メッセンジャーサーバ330がプレビューを生成して受信者端末320に提供する実施形態を説明しているが、実施形態によっては、送信者端末310でプレビューを生成し、メッセンジャーサーバ330を経て受信者端末320に提供してもよい。このような実施形態の差は、単にプレビューを生成する主体の差ではなく、送信者端末310および/または受信者端末320のネットワーク状況や受信者端末320の使用状況などのようなユーザ状況に基づいてよい。例えば、送信者端末310のネットワーク状況が「悪い」であり、受信者端末320のネットワーク状況も「悪い」であり、受信者が受信者端末320を現在使用中である場合、送信者端末310は、原本マルチメディアデータである動画2(410)をメッセンジャーサーバ330にアップロードするのではなく、プレビューを生成してメッセンジャーサーバ330にアップロードして受信者端末320に送信し、追って動画2(410)をメッセンジャーサーバ330にアップロードして受信者端末320に送信してよい。この場合、受信者端末320は、相対的に容量の少ないプレビューから動画2(410)の大まかな内容を把握することができるため、今すぐ動画2(410)をダウンロードする必要があるかどうかを決めたり、ダウンロードする時点を決めたりすることができるようになる。このとき、受信者からの動画2(410)のダウンロードの要求に応じて送信者端末310からメッセンジャーサーバ330に動画2(410)がアップロードされ、メッセンジャーサーバ330を経て受信者端末320に提供されてよい。
図5は、本発明の一実施形態における、プレビューの等級および/または形式の他の例を示した図である。このとき、プレビューは、音声録音や音楽のような音源1(510)の場合、原本の音源1(510)をそのまま含む第1等級プレビュー、音源1(510)からテキスト520を抽出して含む第2等級プレビュー、および抽出されたテキスト520から代表テキスト530を抽出して含む第3等級プレビューのように、状況に応じて多様な等級および/または形式で生成されてよい。このような多様な等級および/または形式のプレビューも、上述したように、ユーザ状況に応じてメッセンジャーサーバ330または送信者端末310で生成されて受信者端末320に提供されてよい。
また、実施形態によっては、音源1(510)からテキスト520を抽出し、テキスト520から代表単語や文章を抽出した後、音源1(510)から代表単語や文章に対応する区間だけを抽出して編集した音源をプレビューとして生成してもよい。
送信者端末310における送信イベントの入力と実際のマルチメディアデータの送信は、個別に扱われてよい。例えば、図3では、動画メッセージの送信は送信者によって決定される反面、動画1(311)のアップロード時点はメッセンジャーサーバ330によって決定される例を説明した。言い換えれば、原本マルチメディアデータの送信時期は、サーバによって決定されるのである。また、送信者端末310は、メッセンジャーサーバ330によって決定された送信方式に従って、原本マルチメディアデータではなくプレビューあるいはイベントだけを送信してもよい。例えば、送信者端末310から原本マルチメディアデータを送信する方式は、メッセンジャーサーバ330によって以下の(1)~(4)のうちの1つの方式が決定されてよい。
(1)原本送信
送信者端末310は、マルチメディアメッセージの送信時、マルチメディアメッセージに含まれる原本マルチメディアデータを直ぐにメッセンジャーサーバ330にアップロードしてよい。
(2)イベント送信->原本送信
送信者端末310は、マルチメディアメッセージの送信のためのイベントだけをメッセンジャーサーバ330に送信してよい。この後、送信者端末310は、メッセンジャーサーバ330からの要求に応じて原本マルチメディアデータをメッセンジャーサーバ330にアップロードしてよい。例えば、図3では、送信者端末310がマルチメディアメッセージの送信要求のための信号(イベント)をメッセンジャーサーバ330に送信し、メッセンジャーサーバ330からの要求に応じて原本マルチメディアデータを送信することについて説明した。
(3)プレビュー送信->原本送信
送信者端末310は、送信しようとする原本マルチメディアデータに対するプレビューを生成してメッセンジャーサーバ330に送信し、追って、メッセンジャーサーバ330からの要求に応じて原本マルチメディアデータをメッセンジャーサーバ330にアップロードしてよい。
(4)イベント送信->プレビュー送信->原本送信
送信者端末310は、マルチメディアメッセージの送信のためのイベントだけをメッセンジャーサーバ330に送信してよい。この後、送信者端末310は、メッセンジャーサーバ330からの要求に応じて原本マルチメディアデータに対するプレビューを生成してメッセンジャーサーバ330に送信し、追って、メッセンジャーサーバ330からの要求に応じて原本マルチメディアデータをメッセンジャーサーバ330にアップロードしてよい。
このときに、送信者端末310がプレビューを生成する場合とメッセンジャーサーバ330がプレビューを生成する場合は、その状況が互いに異なる。例えば、送信者端末310のネットワーク状況が「良い」である場合には、送信者端末310がプレビューを生成してメッセンジャーサーバ330に提供する必要はない。この反面、送信者端末310のネットワーク状況が「悪い」である場合、最も好ましい状況としては、ネットワーク状況が「良い」に変わるまで送信者端末310が原本マルチメディアデータのアップロードを遅延させることである。この場合、送信者端末310は、原本マルチメディアデータの代わりに、メッセージの送信に対するイベントやプレビューを生成してメッセンジャーサーバ330に送信することで、原本マルチメディアデータのアップロードを遅延させてよい。このとき、受信者は、少なくともプレビューから原本マルチメディアデータの大まかな内容を確認することができ、原本マルチメディアデータの送信要求は選択的に行われるようになるため、送信者端末310の立場では、ネットワーク状況が「悪い」である状況で原本マルチメディアデータを送信しなくてもよくなる可能性が増える。また、送信者端末310が、ネットワーク状況が「悪い」の状況で原本マルチメディアデータを送信するようになったとしても、プレビューが既に受信者に伝達されているため、マルチメディアメッセージの送信に対するリアルタイム性はある程度は保障されるようになる。
図6は、本発明の一実施形態における、送信データの重複送信防止のための過程の例を示した図である。以下、「送信データ」とは、マルチメディアメッセージ、原本マルチメディアデータ、および/またはプレビューを意味するものとする。図6では、送信者端末1(610)が、メッセンジャーサーバ330を経て送信データとして識別子「abc」によって識別される動画aを受信者端末1(620)に伝達した状況について説明する。図6では、伝達済みの動画aの送信を点線矢印で示している。このとき、動画aは、メッセンジャーサーバ330の格納場所630に一定の期間の間格納されてよい。
このような状況で、送信者端末1(610)が動画aを受信者端末2(640)に伝達しようとしているとする。このとき、送信者端末1(610)は、動画に対する送信履歴から動画aを送信した履歴が存在することを確認してよい。この場合、送信者端末1(610)は、動画aをもう一度送信するのではなく、動画aの識別子「abc」をメッセンジャーサーバ330に送信してよい。メッセンジャーサーバ330は、受信した識別子「abc」を利用して格納場所630を検索して動画aを識別してよく、識別された動画aを受信者端末2(640)に送信してよい。図6では、識別子「abc」を利用した動画aの伝達を実線矢印で示している。これにより、送信者端末1(610)が動画aを重複送信することを防ぐことができ、このような重複送信を防ぐことにより、データ送信費用を減らすことができる。動画aに対する格納期間の満了によって動画aが格納場所630から削除された場合、メッセンジャーサーバ330は、識別子「abc」を利用して送信者端末1(610)に動画aの再送信を要求してよい。
これと同じように、メッセンジャーサーバ330の立場でも、受信者端末1(620)や受信者端末2(640)がマルチメディアメッセージを重複受信することに伴うデータ送信費用を減らすことができる。
図7は、本発明の一実施形態における、送信データの重複送信防止のための過程の他の例を示した図である。図7では、メッセンジャーサーバ330が受信者端末1(620)に送信データを重複送信することを防ぐための実施形態について説明する。このために、送信者端末1(610)の送信者1のアカウントと受信者端末1(620)の受信者1のアカウントとの間に設定された通信セッションに対応するチャットルーム1が存在すると仮定する。また、送信者端末1(610)の送信者1のアカウントと、受信者端末1(620)の受信者1のアカウント、受信者端末2(640)の受信者2のアカウント、および受信者端末3(710)の受信者3のアカウントとの間に設定された通信セッションに対応するチャットルーム2がさらに存在すると仮定する。
送信者端末1(610)が、チャットルーム1を介し、識別子「abc」によって識別される動画aをチャットルーム1の受信者端末1(620)に送信しようとする状況が考えられる。この場合、動画aは、メッセンジャーサーバ330を経て受信者端末1(620)に伝達されてよい。図7では、このような過程を点線矢印で示している。このとき、動画aは、メッセンジャーサーバ330が含む格納場所630に格納されてよい。
この後、送信者端末1(610)が、チャットルーム2を介し、識別子「abc」によって識別される動画aを伝達しようとする状況が考えられる。この場合、図6の説明と同じように、送信者端末1(610)は、動画に対する送信履歴から動画aを送信した履歴が存在することを確認し、動画aをメッセンジャーサーバ330にもう一度送信するのではなく、動画aの識別子「abc」をメッセンジャーサーバ330に送信してよい。このとき、メッセンジャーサーバ330は、識別子「abc」を利用して格納場所630から動画aを識別してよい。一方、メッセンジャーサーバ330は、識別された動画aをチャットルーム2に参加している受信者1、受信者2、および受信者3の端末である受信者端末1(620)、受信者端末2(640)、および受信者端末3(710)にそれぞれ伝達しようとしているとする。重複送信を防ぐために、メッセンジャーサーバ330は、動画に対する送信履歴から、過去に動画aを受信者端末1(620)に送信したことがあることを確認してよい。この場合、メッセンジャーサーバ330は、受信者端末2(640)と受信者端末3(710)には動画aを送信するが、受信者端末1(620)には動画aの識別子「abc」を送信してよい。識別子「abc」を受信した受信者端末1(620)は、識別子「abc」に対応する動画aが受信者端末1(620)に記録されているかを確認してよく、動画aが記録されている場合には、動画aをチャットルーム2に表示することにより、動画aの重複送信を防いでよい。この反面、動画aが記録されていない場合、受信者端末1(620)は、識別子「abc」に対応する動画aのダウンロードをメッセンジャーサーバ330に要求してよい。
なお、図6および図7の実施形態では、ユーザ状況とは関係なく原本マルチメディアデータを送信する実施形態について説明したが、図3~図5を参照しながら上述したように、ユーザ状況に応じて原本マルチメディアデータの送信方式を決定する過程に、図6および図7の実施形態のような重複防止方法が追加されてもよい。また、図6および図7では動画aの識別子「abc」を利用したが、動画aを送信するのに利用されたメッセージの識別子が活用されてもよい。例えば、プレビューを送信するのに活用されたメッセージの識別子により、既に送信されて格納されているプレビューが識別されてもよい。
メッセンジャーサーバ330は、送信者端末310と受信者端末320それぞれの多様な状況を考慮した上で、マルチメディアメッセージの送信方式(送信内容(メッセージイベント、多様な等級および/または形式のプレビュー、原本マルチメディアデータ)、および/または送信時点)を決定し、決定された送信内容および/または送信時点に従って送信者端末310と受信者端末320とのマルチメディアメッセージの送受信を制御してよい。このとき、メッセンジャーサーバ330は、以下の(a)~(d)の要素を考慮してよい。
(a)送信者/受信者の現在のネットワーク状況および/または予測される未来のネットワーク状況
例えば、特定の端末のネットワーク状況は、以下のような情報をモニタリングして記録することによって決定および/または予測されてよい。
- 特定の端末がWi-Fiとモバイルネットワークのいずれかの無線ネットワークを使用中であるかに関する情報:例えば、この情報は、アンドロイド(登録商標)やiOSなどのように特定の端末のオペレーティングシステムが提供するイベントから取得され得る。より具体的な例として、アンドロイドのようなオペレーティングシステムの場合、メソッド「ConnectivityManager」から無線ネットワークに関する使用情報を取得してよい。
- 特定の端末が使用する無線ネットワークの信号強度に関する情報:例えば、アンドロイドのようなオペレーティングシステムの場合、メソッド「WifiManager.getConnectionInfo()」からWi-Fiの信号強度に関する情報を取得してよい。
- サーバとのコネクションによって測定されるデータ速度:例えば、データ速度は、メッセンジャーサーバ330との周期的なメッセージ交換によって送信、応答間の送信速度、遅延時間(latency)などを測定することによって取得され得る。
(b)受信者が受信者端末320を現在使用中であるか否か、および/または予測される未来の使用状況
(c)受信者の受信者端末320への現在のアクセス可能性および/または予測される未来のアクセス可能性
例えば、受信者端末320についての使用状況とアクセス可能性は、受信者端末320の使用状況をモニタリングして記録することによって決定および/または予測されてよい。例えば、画面のオン(On)/オフ(Off)状況、画面ロックのオン(On)/オフ(Off)状況、アプリ実行状況などに関する情報によって受信者端末320に対する使用状況を決定することができる。より具体的な例として、アンドロイドのようなオペレーティングシステムの場合、「LCD_ON」、「LCD_OFF」、「USER_PRESENT」などのイベントによって画面、画面ロックのオン/オフ状況に関する情報を取得することができる。また、取得した情報に基づき、受信者端末320に対する現在の使用状況を決定してよい。例えば、受信者端末320の使用状況として、画面がオフである第1使用状況、画面がオンであって画面ロックもオンである第2使用状況、画面がオンであって画面ロックがオフである第3使用状況、および画面がオンであって画面ロックがオフであってアプリを使用中の第4使用状況のうちのいずれか1つが決定されてよい。
他の例として、受信者端末320は、ユーザが機器を使用する手を感知してよい。例えば、受信者端末320は、加速度センサとジャイロセンサを利用してユーザがモバイル機器を使用している手に関する情報を提供することができる。例えば、「左手」、「右手」、「両手」、および「ホールド」のうちの1つの状況に関する情報が提供されてよい。「左手」はユーザがモバイル機器を左手で使用中であることを、「右手」はユーザがモバイル機器を右手で使用中であることを、「両手」はユーザがモバイル機器を両手で使用中であることを、「ホールド」はユーザがモバイル機器に触れずに使用中であることをそれぞれ意味してよい。例えば、片手で機器を操作してタイピングする場合、加速度センサおよび/またはジャイロセンサにより、機器の中央軸を基準として揺れや振動がどちらの方向に多いか、および/または機器の向き(orientation)(すなわち、横なのか縦なのか)を把握してよく、これを片手機器使用パターンと関連する予め格納されたデータセット(dataset)と比較し、どちらの手で機器が使用中であるか、あるいは両手で使用中であるかを決定してよい。
また他の例として、受信者端末320は、受信者端末320の位置情報を感知してもよい。ここで意味する位置情報は、地理的位置ではなく、ユーザが着用している衣類のポケット内、ユーザが身に着けているカバン内、または外部露出などのような位置情報を含むことができる。例えば、モバイル機器は、加速度センサ、照度センサ、マイク、および近距離センサなどを活用してモバイル機器の位置情報を感知および提供してよい。
また他の例として、受信者端末320は、受信者端末320の地理的位置情報を感知してよい。例えば、受信者端末320は、GPS、Wi-Fiポジショニング、基地局などのような多様な情報を活用してモバイル機器の現在の緯度/経度位置情報のような地理的位置情報を取得および提供することができる。
さらに他の例として、受信者端末320は、ユーザの移動状況を感知してよい。例えば、移動状況に対する例には、「停止」、「ウォーキング」、「ランニング」、「バス」、「地下鉄」、「乗用車」、および「自転車」のうちのいずれか1つが含まれ得る。受信者端末320は、GPSおよび周辺の無線電話網の基地局、あるいはWi-Fi アクセスポイント(AP:Access Point)の情報によって提供されるモバイル機器の地理的位置(一例として、緯度/経度の座標)の変化、またはモバイル機器に含まれる加速度センサの測定値などにより、モバイル機器の移動速度に関する情報を取得することができる。また、モバイル機器は、取得した移動速度および/またはモバイル機器に含まれる加速度センサおよび/またはジャイロセンサを利用して測定されるモバイル機器の揺れや振動のパターンに基づき、ユーザの移動状況に関する情報を取得してもよい。このような移動速度や移動状況に関する情報を取得するための技術の一例として、「Google(登録商標) Activity Recognition API」のような周知の技術から、通常の技術者であれば容易に理解することができるであろう。
上述した多様な情報は、受信者が受信者端末320に現在アクセスが可能な状況であるかを決定するのに活用されてよい。
また、受信者端末320の使用状況に関する記録に基づき、受信者端末320についての今後の使用可能性を予測することも可能である。例えば、受信者端末320の使用状況に関する記録を利用してディープラーニング(deep learning)モデルを学習させ、現在の時間と現在の使用状況に基づいて学習されたディープラーニングモデルを利用することにより、予め設定された時間(一例として、1時間)後に受信者が受信者端末320を使用する可能性(確率)(一例として、15%や10%など)、または受信者端末320でアプリ(一例として、メッセンジャーアプリケーション)を使用する可能性を予測することができる。
(d)受信者の受信者端末320に対する現在の使用没入強度および/または予測される未来の使用没入強度
例えば、受信者端末320は、メッセンジャーアプリケーションの制御に従って、上述した受信者端末320の使用状況に対する記録を利用することにより、現在の時点(現在の曜日および/または時間帯)、そして現在の場所で、受信者がどのくらい長く受信者端末320をおよび/またはメッセンジャーアプリケーションを使用するかを計算および記録してよい。このとき、受信者端末320は、このような記録に基づき、現在のユーザの状況(時間と場所)に応じてどのくらい受信者端末320および/またはメッセンジャーアプリケーションの使用に没入することができるのかについての傾向として、上述した使用没入強度を計算することができる。このような使用没入強度は、使用期間と使用頻度による複数の等級として計算されてよい。
より具体的な例として、受信者端末320は、テーブルの列と行に基づき、各欄の位置および時間帯ごとの使用時間の平均と使用頻度の平均を記録してよい。この後、受信者端末は、予測しようとする状況(時間帯、位置)の平均記録を用いて使用没入強度を計算してよい。例えば、テーブルの行は予め設定された時間(一例として、15分)間隔の時間に、列は場所(一例として、自宅、会社、よく訪れるレストランやカフェ、自宅から会社までの経路などの位置に対する緯度/経度などの座標など)にそれぞれ対応してよい。
例えば、受信者端末320は、上述した(a)~(d)による状況(context)情報を生成してメッセンジャーサーバ330に提供することができる。このために、受信者端末320は、受信者が受信者端末320を現在使用中であるか否か、アクセス可能性、および使用没入強度に対する値を生成してメッセンジャーサーバ330に提供してよい。
また、受信者端末320は、受信者のメッセージアクセスに対するイベントをメッセンジャーサーバ330に送信してよい。例えば、受信者端末320は、受信者が受信者端末320を使用していることに対するイベント、受信者が受信者端末320でメッセンジャーアプリケーションを使用していることに対するイベント、受信者にチャットルームをオープンすることによって受信者端末320が該当のマルチメディアメッセージを表示していることに対するイベント、受信者が受信者端末320で表示されたマルチメディアメッセージを通じて原本マルチメディアメッセージのダウンロードを要求することに対するイベントなどのように、受信者の行為による段階的なイベントなどをメッセンジャーサーバ330に送信してよい。このとき、メッセンジャーサーバ330は、このような段階的なイベントを活用することによって上述した(a)~(d)の要素を決定してよく、送信方式(送信内容および/または送信時点)の決定に活用してよい。
また、受信者端末320は、メッセンジャーサーバ330の決定に従って、受信者からの要求がなくても原本マルチメディアデータを予めダウンロードしてもよい。例えば、受信者の受信者端末320に対する使用没入強度は低くてもネットワーク状況が良い場合には、受信者端末320は、原本マルチメディアデータをメッセンジャーサーバ330から予めダウンロードしてよい。
このように、本発明の実施形態では、ネットワーク状況、端末の使用状況、アクセス可能性、使用没入強度などのユーザ状況(context)に基づき、送信者が送ったマルチメディアメッセージの原本マルチメディアデータを受信者が受信する前に、メッセンジャーサーバ330や送信者端末310がプレビューを生成して伝達することにより、受信者が該当のマルチメディアメッセージの内容を予め認知できるようにサポートし、マルチメディアメッセージが効率的に表示されるようにすることができる。プレビューは、上述したように、原本マルチメディアデータの種類および/またはユーザ状況に応じて多様な等級および/または形式で生成されてよい。例えば、動画の場合には、一部のフレームに結合されたアニメーションGIFファイルがプレビューとして生成されてよく、音声録音の場合には、音源から認識されるテキストがプレビューとして生成されてよい。また、複数のイメージを含む写真集合に対しては、コラージュ(一例として、4×4サイズ)、サムネイル、代表写真などがプレビューとして生成されてよい。例えば、代表写真の選定は、写真を分析し、イメージ的に独特な写真を選別したり、および/またはユーザの趣向を反映したりすることにより行われてよい。マルチメディアデータとしてドキュメントファイルが伝達される場合には、ドキュメントのタイトルやドキュメント内の代表文章、あるいはドキュメント内部の代表イメージなどをプレビューとして抽出することも可能である。
これだけでなく、受信者は、上述したプレビューから、該当のマルチメディアメッセージの大まかな内容を把握することができるため、マルチメディアメッセージが含む原本マルチメディアデータをダウンロードする時点を受信者が直接選択することができるようになる。例えば、受信者端末320が速度の速いWi-Fiに接続していて、受信者が受信者端末320を現在使用中である場合、受信者端末320は、受信者からの入力がなくても原本マルチメディアデータを予めダウンロードすることで、受信者が該当のマルチメディアメッセージの内容全体を一早く確認できるようにサービスしてよい。この反面、受信者端末320が速度の遅い3Gネットワークに接続していて、受信者が受信者端末320を現在使用中である場合、受信者端末320は、プレビューだけをダウンロードし、受信者がプレビューを確認した後、原本マルチメディアデータを直ぐにダウンロードするか、および/またはダウンロードの時点を直接選択できるようにサービスしてよい。また他の例として、受信者端末320が速度の遅い3Gネットワークに連結していて、受信者が受信者端末320を現在使用していない場合、受信者端末320は、メッセージイベントだけを受信し、メッセージの受信を受信者に知らせてよい。このとき、受信者が受信者端末320を使用することや、受信者端末320が速度の速いWi-Fiに接続することなどのようなユーザ状況の変化に伴い、受信者端末320はプレビューおよび/または原本マルチメディアデータをダウンロードしてよい。より具体的な例として、受信者端末320は、受信者が受信者端末320の使用を開始したことを認知することによってプレビューをダウンロードして提供することにより、受信者が原本マルチメディアデータを直ぐにダウンロードするか、および/またはダウンロードの時点を直接選択できるようにしてよい。または、受信者端末320は、該受信者端末320が接続するネットワークが3GネットワークからWi-Fiに変わったことを感知することにより、原本マルチメディアデータをダウンロードしてよい。
また、送信者端末310は、送信履歴のある送信データに対しては送信データの識別子をメッセンジャーサーバ330に送信することにより、送信データの重複送信を防ぐことができる。例えば、送信者端末310は、送信履歴のある送信データの識別子をメッセンジャーサーバ330に送信してよく、メッセンジャーサーバ330は、受信した識別子の送信データがメッセンジャーサーバ330に送信済であるかを確認してよい。このとき、受信した識別子に対応する送信データがメッセンジャーサーバ330に記録されている場合、メッセンジャーサーバ330は、送信者端末310から送信データを受信する代わりに、メッセンジャーサーバ330に記録されている送信データを利用して受信者端末320にマルチメディアメッセージを提供してよい。メッセンジャーサーバ330に、識別子に対応する記録済みの送信データが存在しない場合、メッセンジャーサーバ330は、送信者端末310に該当の送信データのアップロードを要求してよい。これと同じように、メッセンジャーサーバ330は、送信データについての送信履歴に基づき、受信者端末320に送信済みの送信データに対しては送信データの識別子を受信者端末320に提供することにより、受信者端末320が送信データを重複してダウンロードすることを防いでよい。この場合、メッセンジャーサーバ330は、受信者端末320に送信しようとする送信データの識別子を、受信者端末320に送信してよい。このとき、受信者端末320は、送信された識別子を利用して該当の送信データが受信者端末320に記録されているかを確認してよい。該当の送信データが受信者端末320に記録されている場合、受信者端末320は、記録されている送信データを利用してマルチメディアメッセージを表示してよい。該当の送信データが受信者端末320に記録されていない場合、受信者端末320は、該当の識別子の送信データをメッセンジャーサーバ330に要求してよい。
また、上述したように、送信者端末310は、送信者端末310のネットワーク状況と受信者端末320のネットワーク状況、受信者が受信者端末320を使用中であるか否か、アクセス可能性、使用没入強度などのような多様なユーザ状況を分析し、その分析結果に応じて互いに異なる送信方式でマルチメディアメッセージを送信してよい。例えば、送信者端末310のネットワーク状況が「良い」であり、受信者端末310のネットワーク状況も「良い」であり、受信者が受信者端末310を使用中の場合、送信者端末310は、原本マルチメディアデータが含まれるマルチメディアメッセージを直ぐに送信してよい。この反面、送信者端末310のネットワーク状況は「良い」であるが、受信者端末310のネットワーク状況は「悪い」であり、受信者が受信者端末310を使用中の場合には、原本マルチメディアデータのプレビューが含まれるマルチメディアメッセージを送信してよい。このとき、プレビューを受信した受信者が原本マルチメディアデータを要求する場合、メッセンジャーサーバ330を経てこのような要求が送信者端末310に伝達されてよく、この時点に、送信者端末310は、原本マルチメディアデータを、メッセンジャーサーバ330を経て受信者端末320に送信してよい。さらに他の例として、送信者端末310のネットワーク状況が「悪い」であり、受信者端末310のネットワーク状況も「悪い」であり、受信者が受信者端末310を使用するのが「1時間後」と予測された場合、送信者端末310は、メッセージイベントだけを、メッセンジャーサーバ330を経て受信者端末310に送信してよい。この後、送信者および/または受信者のユーザ状況の変化に伴い、送信者端末310は、プレビューや原本マルチメディアデータを、メッセンジャーサーバ330を経て受信者端末320に送信してよい。上述したように、送信方式は、メッセンジャーサーバ330によって決定されてよい。例えば、メッセージイベントだけが送信された状況において、メッセンジャーサーバ330は、送信者端末310と受信者端末320からユーザ状況に関する情報を収集してよく、収集したユーザ状況の変化に伴い、送信者端末310にプレビューや原本マルチメディアデータのアップロードを要求してよい。
メッセンジャーサーバ330が送信方式(送信内容と送信時期/時点)を決定する推論方法の例について説明する。例えば、メッセンジャーサーバ330は、送信至急性と内容没入度に基づいて送信方式を決定してよい。このとき、送信至急性が内容没入度よりもさらに重要視されてよい。例えば、受信者が原本マルチメディアデータを直接要求する場合には、原本マルチメディアデータの内容や容量などのような他のものとは関係なく、直ぐに原本マルチメディアデータを受信者端末320に送信してよい。この反面、受信者にマルチメディアメッセージに対するイベントは表示されたものの、受信者から原本マルチメディアデータに対する要求が受信されない場合、原本マルチメディアデータのプレビューだけを送信してもよい。
一方、このような送信至急性は、ネットワーク状況に比例してよい。例えば、ネットワーク状況が「悪い」の場合には送信至急性は低いため、原本マルチメディアデータの送信を可能な範囲内で遅延させてよい。
内容没入度は、上述した受信者の受信者端末320に対するアクセス可能性、使用状況、および/または使用没入強度に比例してよい。例えば、受信者が受信者端末320を手に持っていて、メッセンジャーアプリケーションを使用中であり、現在の場所/時間で長く受信者端末320を使用した履歴があれば、内容没入度は最上値を有してよい。このような送信至急性と内容没入度は、それぞれの状況から計算されてよい。例えば、機械学習を利用した分類方法として確率を使用する分類モデルや非確率的分類モデルが活用されてよい。
確率を使用する分類モデルとしてナイーブベイズ分類(Naive Bayes Classification)が活用されてよい。ナイーブベイズ分類とは、特性間の独立を仮定するベイズ整理を適用した確率分類器の一種である。
ナイーブベイズは条件付き確率モデルであって、分類されるインスタンスはN個の特性(従属変数)を示すベクターで表現される。ナイーブベイズ分類器は、このベクターを利用してk個の可能な確率的結果(クラス)を次の数式(1)のように割り当てる。
Figure 0007446716000001
このような数式(1)は、特性Nの数が多い場合や1つの特性が多くの数の値を有する場合、確率テーブルにベイジアンモデルを直ぐに適用することが難しい。そのため、上述した式は、ベイズ整理と条件付き確率を利用して次の数式(2)のように整理可能である。
Figure 0007446716000002
ベイジアン確率用語を使用して上述した式は、次の数式(3)でも表現可能である。
Figure 0007446716000003
ここで、「posterior」は事後確率を、「prior」は事前確率を、「likelihood」は尤度を、「evidence」は観察値をそれぞれ意味してよい。
実際に、上述した数式(3)では、分子部分だけが意味を有する。分母部分の場合には与えられたC値に依存せず、特性の値Fの場合には分母の値が定数になるように与えられるためである。分子部分は、次の数式(4)のような結合確率モデルである。
Figure 0007446716000004
このとき、数式(4)は、条件付き確率を繰り返し適用した連鎖法則を使用して次の数式(5)のように再び使用してよい。
Figure 0007446716000005
ナイーブベイズにおいて条件付き独立性は、次の数式(6)のように表現されてよい。
Figure 0007446716000006
このとき、カテゴリ種類Cが与えられる場合、ある特性Fの場合は、すべてのF(j≠i)に対して条件付き独立である。すなわち、数式(6)は、j≠iであるk、lに対して成立するようになり、これに基づき、結合モデルは、次の数式(7)のように表現されてよい。
Figure 0007446716000007
数式(7)は独立性という仮定下において、クラス変数Cの条件付き分布は、次の数式(8)のように表現されてよい。
Figure 0007446716000008
ここで、Z=p(x)は、特性値が与えられた場合に定数となる、すなわち、x、・・・、xにだけ依存するスケーリングファクタである。
ナイーブベイズ分類は、このような確率モデルと決定規則を組み合わせたものであり、1つの共通する規則は、最も可能性の高い仮説を選択することである。これは、事後またはMAP決定規則の最大値を選択することを意味する。すなわち、ナイーブベイズ分類では、クラスk、すなわち、Cに対して次の数式(9)から最大確率を有するクラスkを見つけ出す。
Figure 0007446716000009
例えば、メッセンジャーサーバ330は、収集された状況情報(一例として、送信者端末310および受信者端末320それぞれのネットワーク状況、受信者端末320に対する使用状況、使用没入強度、アクセス可能性、機器を使用する手、受信者端末320の位置情報、地理的位置情報など)による状況が独立したイベントであると仮定した上で、それぞれの状況に対するイベント発生回数を収集してよい。また、メッセンジャーサーバ330は、このようなイベント発生回数を基盤とした発生確率を計算してよく、希望する結果値に対して個別状況がどのような確率を有するかに対して計算してイベントモデルを生成してよい。以後、テストのための状況イベントを入力して生成されたイベントモデルから結果値を推定してよい。
一方、非確率的分類モデルとしては、サポートベクターマシン(Support Vector Machine:SVM)が活用されてよい。サポートベクターマシンは、機械学習の分野の1つであって、パターン認識や資料分析のための指導学習モデルであり、分類と回帰分析のために主に使用される。2つのカテゴリのいずれか1つに属するデータの集合が与えられたとき、SVMアルゴリズムは、与えられたデータ集合に基づき、新たなデータがどのカテゴリに属するかを判断する非確率的2クラス線形分類モデルを生成する。生成された分類モデルは、データが思想された空間において境界として表現されるが、SVMアルゴリズムは、その中でも最大の幅を有する境界を探し出すアルゴリズムである。SVMは、線形分類とともに非線形分類でも使用されてよい。非線形分類のために与えられたデータを高次元特徴空間として思想する作業が必要となるが、これを効率的に行うためにカーネルトリックを使用したりもする。
メッセンジャーサーバ330は、上述したような収集された状況情報というデータの集合(データのベクター)がどのカテゴリに属するかを連続的に分類することにより、データの集合に対応する状況(カテゴリ)として送信至急性と内容没入度を決定してよく、決定された状況に応じて送信方式(送信内容と送信時期/時点)を決定してよい。
類似した方法として、メッセンジャーサーバ330は、収集された状況情報に関する未来予測を用いて未来の送信至急性と内容没入度を計算することも可能である。例えば、メッセンジャーサーバ330は、1時間後のネットワーク状況、アクセス可能性、使用状況などの状況情報を予想し、1時間後の送信至急性と内容没入度を計算してよい。この場合、メッセンジャーサーバ330は、現在の送信至急性と内容没入度、さらには未来に対して予想される送信至急性と内容没入度に対する変化予想推移(一例として、上昇、下落、維持)に基づき、マルチメディアメッセージに対する送信方式(送信内容と送信時点)を決定してよい。例えば、メッセンジャーサーバ330は、決定される送信内容と送信時点により、現時点では受信者端末320にマルチメディアメッセージに対するイベントだけを送信し、状況の変化が生じるまで1時間待機した後、原本マルチメディアメッセージを送信してよい。他の例として、メッセンジャーサーバ330は、送信者端末310に原本マルチメディアデータに対するプレビューを生成して伝達するようにし、受信者端末320にはマルチメディアメッセージに対するイベントだけを送信する送信方式を選択してよい。また他の例として、メッセンジャーサーバ330は、送信者端末310からは原本マルチメディアデータを受信し、メッセンジャーサーバ330でプレビューを生成して受信者端末320に送信し、以後は受信者端末320からの原本マルチメディアデータの要求に応じてメッセンジャーサーバ330が受信者端末320に原本マルチメディアデータを送信する送信方式を選択してもよい。
図8は、本発明の一実施形態における、メッセンジャーサーバのマルチメディアメッセージ提供方法の例を示したフローチャートである。本実施形態に係るマルチメディアメッセージ提供方法は、一例として、上述したメッセンジャーサーバ330を実現するコンピュータ装置200によって実行されてよい。例えば、コンピュータ装置200のプロセッサ220は、メモリ210が含むオペレーティングシステムのコードと少なくとも1つのプログラムのコードとによる制御命令(instruction)を実行するように実現されてよい。ここで、プロセッサ220は、コンピュータ装置200に記録されたコードが提供する制御命令に従ってコンピュータ装置200が図8のマルチメディアメッセージ提供方法に含まれる段階810~段階840を実行するようにコンピュータ装置200を制御してよい。図8では、メッセンジャーサーバ330が段階810~段階840を実行する過程について説明する。
段階810において、メッセンジャーサーバ330は、送信者端末から受信者端末へのマルチメディアメッセージの送信要求を受信することができる。一例として、送信者端末と受信者端末は、上述した送信者端末310および受信者端末320にそれぞれ対応してよい。一般的なメッセンジャーサービスでは、送信者端末は、原本マルチメディアデータが含まれるマルチメディアメッセージを直ぐにメッセンジャーサーバ330に送信するだけに過ぎない。この反面、本実施形態では、送信者端末での原本マルチメディアデータの送信方式がメッセンジャーサーバ330によって決定されるため、原本マルチメディアデータの送信に先立ち、マルチメディアメッセージの送信に対する要求をメッセンジャーサーバ330が受信してよい。
段階820において、メッセンジャーサーバ330は、送信者端末および受信者端末それぞれから収集される状況情報を分析して状況を決定することができる。収集される状況情報は、一例として、送信者端末のネットワーク状況、受信者端末のネットワーク状況、受信者が受信者端末を使用中であるか否か、アクセス可能性、使用没入強度、受信者の明示的な入力に応じて受信者端末から受信される原本要求うちの2つ以上に関する情報を含んでよい。このような個別な状況情報と状況情報によって決定される状況については上述したとおりであるため、繰り返される説明は省略する。
段階830において、メッセンジャーサーバ330は、決定された状況に応じ、マルチメディアメッセージが含む原本マルチメディアデータに対し、送信者端末から受信されるべきデータの第1種類および受信者端末に送信すべきデータの第2種類を決定することができる。例えば、第1種類のデータは、原本マルチメディアデータおよび原本マルチメディアデータに対するプレビューのうちのいずれか1つを含んでよい。また、第2種類のデータは、マルチメディアメッセージの送信に対するイベント、原本マルチメディアデータ、および原本マルチメディアデータに対するプレビューのうちのいずれか1つを含んでよい。このとき、メッセンジャーサーバ330で決定される少なくとも1つの状況において、第1種類のデータと第2種類のデータは、互いに異なるデータとして決定されてよい。一例として、図3を参照しながら説明したように、メッセンジャーサーバ330は、第1種類のデータとして送信者端末から原本マルチメディアデータが受信されたものの、ネットワーク状況が「悪い」である受信者端末のために、第2種類のデータとして原本マルチメディアデータのプレビューを生成して受信者端末に送信してよい。言い換えれば、メッセンジャーサーバ330は、決定される状況に応じ、送信者端末から受信するデータと受信者端末に送信するデータを互いに異なるデータとすることができる。
段階840において、メッセンジャーサーバ330は、原本マルチメディアデータに対し、決定された第1種類のデータを送信者端末から受信し、決定された第2種類のデータを受信者端末に送信することによってマルチメディアメッセージの送信要求を処理することができる。このように、メッセンジャーサーバ330は、送信者端末が受信者端末に原本マルチメディアデータを含むマルチメディアメッセージを伝達するにあたり、送信者端末と受信者端末から収集される状況情報によって決定される状況に応じて、原本マルチメディアデータについて受信および/または送信されるべきデータの種類を決定して送信することにより、マルチメディアメッセージを効率的に送信、受信、および表示することができる。
また、メッセンジャーサーバ330は、収集される状況情報の変化に伴って決定された状況が変わる場合、変わった状況に応じて第1種類および第2種類のうちの少なくとも一方を変更してよい。この場合、メッセンジャーサーバ330は、送信者端末から変更された第1種類のデータをさらに受信するか、または受信者端末に変更された第2種類のデータをさらに送信してよい。
図9は、本発明の一実施形態における、マルチメディアメッセージの送信要求を処理する第1例を示したフローチャートである。図9の段階910~段階940は、上述した段階840に含まれて実行されてよい。一例として、図9の実施形態は、図3を参照しながら説明したように、送信者端末のネットワーク状況が「良い」であり、受信者端末のネットワーク状況が「悪い」であり、受信者の受信者端末に対する使用状況が「はい」であり、使用没入強度が「良い」である場合の実施形態であってよい。言い換えれば、図9の実施形態は、送信者端末に対しては送信至急性が高く、受信者端末に対しては、送信至急性は低いが内容没入度は高い場合のメッセンジャーサーバ330の動作の例を説明している。
段階910において、メッセンジャーサーバ330は、送信者端末から第1種類のデータとして原本マルチメディアデータを受信して記録することができる。一例として、図3では、メッセンジャーサーバ330によって決定された送信方式に従って送信者端末が原本マルチメディアデータをアップロードし、メッセンジャーサーバ330がアップロードされた原本マルチメディアデータを受信して記録することについて説明した。
段階920において、メッセンジャーサーバ330は、原本マルチメディアデータに対するプレビューを生成することができる。一例として、図4および図5を参照しながら、動画や音源のような多様な原本マルチメディアデータが複数の等級および/または形式によるプレビューとして生成されることについて説明した。より具体的な例として、メッセンジャーサーバ330によって決定される状況は、状況に応じてサブ状況を含んでよく、このようなサブ状況ごとに互いに異なる等級および/または形式のプレビューが生成されてよい。
段階930において、メッセンジャーサーバ330は、生成されたプレビューを第2種類のデータとして受信者端末に送信することができる。例えば、図3では、メッセンジャーサーバ330が送信者端末から原本マルチメディアデータを受信したものの、ネットワーク状況が「悪い」である受信者端末のために、原本マルチメディアデータではなく原本マルチメディアデータのプレビューを送信することについて説明した。
段階940において、メッセンジャーサーバ330は、受信者端末からプレビューを基盤とした原本要求が受信され、状況の変化に伴い、記録された原本マルチメディアデータを変更された第2種類のデータとして受信者端末に送信することができる。言い換えれば、メッセンジャーサーバ330は、既存の状況に応じて受信者端末にプレビューを送信したものの、受信者からの原本マルチメディアデータの要求に応じ、状況が変わった後に、変わった状況に合うように原本マルチメディアデータをさらに送信してよい。
図10は、本発明の一実施形態における、マルチメディアメッセージの送信要求を処理する第2例を示したフローチャートである。図10の段階1010~段階1040は、上述した段階840に含まれて実行されてよい。本実施形態は、送信者端末のネットワーク状況が「悪い」であり、受信者端末のネットワーク状況が「良い」である場合であってよい。言い換えれば、図10の実施形態は、送信者端末に対しては送信至急性が低く、受信者端末に対しては送信至急性が高い場合のメッセンジャーサーバ330の動作の例について説明する。
段階1010において、メッセンジャーサーバ330は、送信者端末から第1種類のデータとして原本マルチメディアデータに対するプレビューを受信することができる。上述したように、送信者端末に対しては送信至急性が低いことから、送信者端末からは、初めから原本マルチメディアデータを受信するよりも、プレビューのように容量が相対的に少ないデータを受信してよい。
段階1020において、メッセンジャーサーバ330は、プレビューを第2種類のデータとして受信者端末に送信することができる。
段階1030において、メッセンジャーサーバ330は、受信者端末からプレビューを基盤とした原本要求が受信され、状況の変化に伴い、送信者端末から変更された第1種類のデータとして原本マルチメディアデータを受信することができる。
段階1040において、メッセンジャーサーバ330は、受信した原本マルチメディアデータを変更された第2種類のデータとして受信者端末に送信することができる。
このとき、受信者端末から原本要求が受信されるということは、受信者端末の状況が、送信至急性が最高に高くなったことを意味してよい。したがって、送信者端末の送信至急性は低かったとしても、メッセンジャーサーバ330は、受信者端末の送信至急性を優先視して送信者端末から原本マルチメディアデータを受信して受信者端末に送信してよい。
図11は、本発明の一実施形態における、マルチメディアメッセージの送信要求を処理する第3例を示したフローチャートである。図11の段階1110~段階1140は、上述した段階840に含まれて実行されてよい。本実施形態は、送信者端末のネットワーク状況が「悪い」のように送信者端末に対して送信至急性が低く、受信者端末のネットワーク状況が「悪い」であり、受信者の受信者端末に対する使用状況が「いいえ」であり、使用没入強度が「悪い」の場合のように、受信者端末に対しても送信至急性が低く、内容没入度も低い場合であってよい。
段階1110において、メッセンジャーサーバ330は、イベントを第2種類のデータとして受信者端末に送信することができる。送信者端末は、図8の段階810のように、マルチメディアメッセージの送信要求をメッセンジャーサーバ330に既に送信しているため、このようなイベントを送信者端末から受信する必要がない。一方、メッセンジャーサーバ330は、送信者からマルチメディアメッセージの送信が要求されたことに対する通知イベントだけを受信者端末に送信してよい。
段階1120において、メッセンジャーサーバ330は、受信者端末にインストールされたメッセンジャーアプリケーションを通じてイベントが表示されることを認識してよい。このようなイベントの表示の認識は、受信者が受信者端末を使用中であることを意味してよく、受信者側の内容没入度が高くなることのように状況が変化したことを意味してよい。
段階1130において、メッセンジャーサーバ330は、認識に応答し、送信者端末から第1種類のデータとして、原本マルチメディアデータに対するプレビューおよび原本マルチメディアデータのうちのいずれか1つのデータを受信することができる。
段階1140において、メッセンジャーサーバ330は、イベントの表示が認識されて状況が変わることに伴い、プレビューおよび原本マルチメディアデータのうちのいずれか1つのデータを、変更された第2種類のデータとして受信者端末に送信してよい。このとき、メッセンジャーサーバ330は、送信者端末からプレビューを受信して受信者端末に送信した場合、受信者端末からプレビューを基盤とした原本要求が受信され、状況が追って変わることに伴い、送信者端末から変更された第1種類のデータとして原本マルチメディアデータを受信してよく、受信した原本マルチメディアデータを変更された第2種類のデータとして受信者端末に追って送信してよい。
すなわち、メッセンジャーサーバ330は、受信者側の内容没入度が高くなることに伴い、プレビューまたは原本マルチメディアデータのうちのいずれか1つを送信者端末から受信して受信者端末に送信してよい。このとき、送信至急性は低いため、メッセンジャーサーバ330は、可能な場合、プレビューを先に受信者端末に送信した後、受信者からの明示的な要求に応じて原本マルチメディアデータを受信者端末に提供してよい。
このように、本発明の実施形態によると、メッセンジャーサーバ330は、ユーザの多様な状況に応じて効率的にマルチメディアメッセージを伝達することができる。
図12は、本発明の一実施形態における、受信者端末に送信されるデータの重複送信防止のための例を示したフローチャートである。図12の段階1210~段階1230は、上述した段階840に含まれて実行されてよく、実質的に、図8の段階810~段階840とは並列的に、メッセンジャーサーバ330が受信者端末にデータを送信する場合ごとに実行されてよい。
段階1210において、メッセンジャーサーバ330は、受信者端末に送信済みのデータに対する送信履歴を管理することができる。例えば、メッセンジャーサーバ330は、受信者端末に送信されたデータの種類や識別子、時間などの履歴を管理してよい。
段階1220において、メッセンジャーサーバ330は、管理される送信履歴に基づき、第2種類のデータが受信者端末に送信された履歴が存在するかを確認し、および段階1230において、メッセンジャーサーバ330は、第2種類のデータが受信者端末に送信された履歴が存在する場合、第2種類のデータの識別子または第2種類のデータを送信するのに利用されたメッセージの識別子を、受信者端末に送信することができる。このとき、受信者端末では、データの識別子またはメッセージの識別子により、予め送信されて受信者端末に記録されたデータが識別されてよい。したがって、メッセンジャーサーバ330は、第2種類のデータが受信者端末に重複送信されることを防ぐことができる。第2種類のデータが受信者端末に記録されていない場合には、メッセンジャーサーバ330が、受信者端末からの要求に応じて第2種類のデータを受信者端末に送信してよい。このようなデータの重複送信防止の例については、図6および図7を参照しながら詳しく説明したとおりである。
図13は、本発明の一実施形態における、送信者端末のマルチメディアメッセージ提供方法の例を示したフローチャートである。本実施形態に係るマルチメディアメッセージ提供方法は、一例として、上述した送信者端末310を実現するコンピュータ装置200によって実行されてよい。例えば、コンピュータ装置200のプロセッサ220は、メモリ210が含むオペレーティングシステムのコードと少なくとも1つのプログラムのコードとによる制御命令(instruction)を実行するように実現されてよい。ここで、プロセッサ220は、コンピュータ装置200に記録されたコードが提供する制御命令に従ってコンピュータ装置200が図13のマルチメディアメッセージ提供方法に含まれる段階1310~段階1330を実行するようにコンピュータ装置200を制御してよい。図13では、送信者端末310が段階1310~段階1330を実行する過程について説明する。
段階1310において、送信者端末310は、受信者端末へのマルチメディアメッセージの送信要求をメッセンジャーサーバに送信することができる。ここで、メッセンジャーサーバは、上述したメッセンジャーサーバ330に対応してよい。上述したように、一般的なメッセンジャーサービスでは、送信者側が原本マルチメディアデータを含むマルチメディアメッセージを直ぐにメッセンジャーサーバ330に送信することに過ぎない。この反面、本実施形態では、送信者端末310での原本マルチメディアデータの送信方式がメッセンジャーサーバによって決定されるため、原本マルチメディアデータの送信に先立ち、このようなマルチメディアメッセージの送信に対する要求をメッセンジャーサーバが受信してよい。
段階1320において、送信者端末310は、メッセンジャーサーバに状況情報を送信することができる。一例として、送信された状況情報は、送信者端末310のネットワーク状況に関する情報を含んでよい。
段階1330において、送信者端末310は、送信された状況情報および受信者端末から受信した状況情報を分析して、メッセンジャーサーバによって決定される状況に応じて、メッセンジャーサーバが要求するマルチメディアメッセージに含まれる原本マルチメディアデータについての第1種類のデータを、メッセンジャーサーバに送信することができる。ここで、受信者端末から受信した状況情報は、受信者端末のネットワーク状況、受信者が受信者端末を使用中であるか否か、アクセス可能性、使用没入強度、受信者の明示的な入力に応じて受信者端末から受信される原本要求のうちの少なくとも1つに関する情報を含んでよい。一方、第1種類のデータは、原本マルチメディアデータおよび原本マルチメディアデータに対するプレビューのうちのいずれか1つを含んでよく、メッセンジャーサーバから、状況に応じてマルチメディアメッセージの送信に対するイベント、原本マルチメディアデータ、および原本マルチメディアデータに対するプレビューのうちのいずれか1つとして決定される第2種類のデータが、受信者端末に送信されてよい。このとき、メッセンジャーサーバで決定される少なくとも1つの状況において、第1種類のデータと第2種類のデータは、互いに異なるデータとして決定されてよい。
一方、上述したように、送信された状況情報および受信者端末から受信した状況情報のうちのいずれか一方が時間とともに変化することに伴ってメッセンジャーサーバで決定される状況が変わる場合、変わった状況に応じて第1種類のデータが変更されてよい。この場合、送信者端末310は、変更された第1種類のデータをメッセンジャーサーバにさらに送信してよい。
また、送信者端末310は、データの重複送信を防ぐために、メッセンジャーサーバに送信したデータに対する送信履歴を管理してよい。このとき、送信者端末310は、管理される送信履歴から、第1種類のデータがメッセンジャーサーバに送信された履歴が存在するかを確認してよく、第1種類のデータがメッセンジャーサーバに送信された履歴が存在する場合、第1種類のデータの識別子または第1種類のデータを送信するのに利用されたメッセージの識別子をメッセンジャーサーバに送信してよい。この場合、メッセンジャーサーバでデータの識別子またはメッセージの識別子により、予め送信されてメッセンジャーサーバに記録されたデータが識別されることにより、第1種類のデータに対する重複送信を防ぐことができる。
図13で省略された内容は、上述した内容を参照することができる。
以上のように、本発明の実施形態によると、メッセンジャーサービスでメッセージの送信者と受信者それぞれの状況(context)に合わせてマルチメディアメッセージを効率的に送信、受信、および/または表示することができる。
上述したシステムまたは装置は、ハードウェア構成要素、ソフトウェア構成要素、またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ、マイクロコンピュータ、FPGA(field programmable gate array)、PLU(programmable logic unit)、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、1つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム(OS)およびOS上で実行される1つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、1つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および/または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは1つのプロセッサおよび1つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの1つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび/またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、1つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。コンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでよい。媒体に記録されるプログラム命令は、実施形態のために特別に設計されたものであっても、コンピュータソフトウェアの当業者に公知されて使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピー(登録商標)ディスク、および磁気テープのような磁気媒体、CD-ROMおよびDVDのような光媒体、フロプティカルディスク(floptical disk)のような光磁気媒体、およびROM、RAM、フラッシュメモリなどを含んで実行するように特別に構成されたハードウェア装置が含まれる。このような記録媒体は、単一または複数のハードウェアが結合された形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続される媒体に限定されることはなく、ネットワーク上に分散存在するものであってもよい。プログラム命令の例には、コンパイラによって生成されるもののような機械語コードだけでなく、インタプリタなどを使用してコンピュータによって実行され得る高級言語コードを含む。
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ/あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって代替されたり置換されたとしても、適切な結果を達成することができる。
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
310:送信者端末
320:受信者端末
330:メッセンジャーサーバ

Claims (23)

  1. メッセンジャーサーバによって実行されるマルチメディアメッセージ提供方法であって、
    前記メッセンジャーサーバが、送信者端末から、受信者端末へのマルチメディアメッセージの送信要求を受信する段階、
    前記メッセンジャーサーバが、前記送信者端末および前記受信者端末それぞれから収集される状況情報を分析して、前記送信者端末および前記受信者端末それぞれの状況を決定する段階、
    前記メッセンジャーサーバが、前記決定された状況に応じ、前記マルチメディアメッセージの原本マルチメディアデータについて、前記送信者端末から受信されるべきデータの第1種類および前記受信者端末に送信されるべきデータの第2種類を決定する段階であって、前記第1種類のデータおよび前記第2種類のデータは、前記原本マルチメディアデータに基づいており、前記第1種類のデータは、前記原本マルチメディアデータまたは前記原本マルチメディアデータのプレビューのうちのいずれか1つを含む、段階、および
    前記メッセンジャーサーバが、前記マルチメディアメッセージの送信要求を処理する段階であって、
    前記メッセンジャーサーバが、前記送信者端末から、前記第1種類のデータを含む前記マルチメディアメッセージを受信する段階と、
    前記送信者端末から前記第1種類のデータを含む前記マルチメディアメッセージを受信したことに応答して、前記メッセンジャーサーバが、前記受信者端末に、前記第2種類のデータを含む前記マルチメディアメッセージを送信する段階と、
    を含む、前記マルチメディアメッセージの送信要求を処理する段階、
    を含む、マルチメディアメッセージ提供方法。
  2. 前記収集される状況情報は、前記送信者端末のネットワーク状況、前記受信者端末のネットワーク状況、受信者が前記受信者端末を使用中であるか否か、前記受信者端末のアクセス可能性、前記受信者が前記受信者端末および/または前記受信者端末にインストールされたメッセンジャーアプリケーションの使用に没入する強度、前記受信者の明示的な入力に応じて前記受信者端末から受信される原本要求のうちの2つ以上に関する情報を含む、
    請求項1に記載のマルチメディアメッセージ提供方法。
  3. 前記第2種類のデータは、前記マルチメディアメッセージの送信に対するイベント、前記原本マルチメディアデータ、および前記原本マルチメディアデータに対するプレビューのうちのいずれか1つを含み、
    前記決定された状況において、前記第1種類のデータと前記第2種類のデータは、互いに異なるデータとして決定される、
    請求項1に記載のマルチメディアメッセージ提供方法。
  4. 前記収集される状況情報の変化に伴って前記決定された状況が変わる場合、前記メッセンジャーサーバが、前記変わった状況に応じて前記第1種類および前記第2種類のうちの少なくとも一方を変更する段階、および
    前記メッセンジャーサーバが、前記送信者端末から前記変更された第1種類のデータをさらに受信するか、または前記受信者端末に前記変更された第2種類のデータをさらに送信する段階
    をさらに含む、請求項1に記載のマルチメディアメッセージ提供方法。
  5. 前記マルチメディアメッセージの送信要求を処理する段階は、
    前記メッセンジャーサーバが、前記送信者端末から前記第1種類のデータとして前記原本マルチメディアデータを受信および記録する段階、
    前記メッセンジャーサーバが、前記原本マルチメディアデータに対するプレビューを生成する段階、
    前記メッセンジャーサーバが、前記生成されたプレビューを前記第2種類のデータとして前記受信者端末に送信する段階、および
    前記メッセンジャーサーバが、前記受信者端末から前記プレビューを基盤とした原本要求が受信され、状況の変化に伴い、前記記録された原本マルチメディアデータを、変更された第2種類のデータとして前記受信者端末に送信する段階
    を含む、請求項1に記載のマルチメディアメッセージ提供方法。
  6. 前記マルチメディアメッセージの送信要求を処理する段階は、
    前記メッセンジャーサーバが、前記送信者端末から前記第1種類のデータとして前記原本マルチメディアデータに対するプレビューを受信する段階、
    前記メッセンジャーサーバが、前記プレビューを前記第2種類のデータとして前記受信者端末に送信する段階、
    前記メッセンジャーサーバが、前記受信者端末から前記プレビューを基盤とした原本要求が受信され、状況の変化に伴い、前記送信者端末から変更された第1種類のデータとして前記原本マルチメディアデータを受信する段階、および
    前記メッセンジャーサーバが、前記受信した原本マルチメディアデータを、変更された第2種類のデータとして前記受信者端末に送信する段階
    を含む、請求項1に記載のマルチメディアメッセージ提供方法。
  7. 前記マルチメディアメッセージの送信要求を処理する段階は、
    前記メッセンジャーサーバが、前記マルチメディアメッセージの送信についてのイベントを前記第2種類のデータとして前記受信者端末に送信する段階、
    前記メッセンジャーサーバが、前記受信者端末にインストールされたメッセンジャーアプリケーションを通じて前記イベントの表示を認識する段階、および
    前記認識に応答し、前記メッセンジャーサーバが、前記送信者端末から、前記第1種類のデータとして前記原本マルチメディアデータに対するプレビューおよび前記原本マルチメディアデータのうちのいずれか1つのデータを受信する段階、
    前記イベントの表示が認識されて状況が変化することに伴い、前記メッセンジャーサーバが、前記プレビューおよび前記原本マルチメディアデータのうちのいずれか1つのデータを、変更された第2種類のデータとして前記受信者端末に送信する段階
    を含む、請求項1に記載のマルチメディアメッセージ提供方法。
  8. 前記いずれか1つのデータを受信する段階は、
    前記送信者端末から前記プレビューを受信して前記受信者端末に送信した場合、前記メッセンジャーサーバが、前記受信者端末から前記プレビューを基盤とした原本要求が受信され、追って状況が変化することに伴い、前記送信者端末から変更された第1種類のデータとして前記原本マルチメディアデータを受信する段階を含み、
    前記いずれか1つのデータを前記受信者端末に送信する段階は、前記メッセンジャーサーバが、前記受信した原本マルチメディアデータを前記変更された第2種類のデータとして前記受信者端末に追って送信する段階を含む、
    請求項7に記載のマルチメディアメッセージ提供方法。
  9. 前記メッセンジャーサーバが、前記受信者端末に予め送信されたデータに対する送信履歴を管理する段階、
    前記メッセンジャーサーバが、前記管理される送信履歴から、前記第2種類のデータが前記受信者端末に送信された履歴が存在するかを確認する段階、および
    前記第2種類のデータが前記受信者端末に送信された履歴が存在する場合、前記メッセンジャーサーバが、前記第2種類のデータの識別子または前記第2種類のデータを送信するのに利用されたメッセージの識別子を前記受信者端末に送信する段階
    をさらに含み、
    前記受信者端末では、前記データの識別子またはメッセージの識別子により、予め送信されて前記受信者端末に記録されたデータが識別される、
    請求項1に記載のマルチメディアメッセージ提供方法。
  10. メッセンジャーサーバとして構成されるコンピュータと結合して請求項1乃至9のうちのいずれか一項に記載の方法を前記コンピュータに実行させる、コンピュータプログラム。
  11. 請求項1乃至9のうちのいずれか一項に記載の方法をメッセンジャーサーバとして構成されるコンピュータに実行させるためのプログラムが記録されている、コンピュータ読み取り可能な記録媒体。
  12. コンピュータと結合してマルチメディアメッセージ提供方法をコンピュータに実行させるためにコンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラムであって、
    前記マルチメディアメッセージ提供方法は、
    送信者端末が、受信者端末へのマルチメディアメッセージの送信要求をメッセンジャーサーバに送信する段階、
    前記送信者端末が、前記メッセンジャーサーバに状況情報を送信する段階、および
    前記送信された状況情報および前記受信者端末から受信した状況情報を分析して前記メッセンジャーサーバによって決定された、前記送信者端末および前記受信者端末それぞれの状況に応じて前記メッセンジャーサーバによって要求される、前記マルチメディアメッセージの原本マルチメディアデータに基づく第1種類のデータを含む前記マルチメディアメッセージを、前記送信者端末が前記メッセンジャーサーバに送信する段階であって、前記メッセンジャーサーバは、前記送信者端末から前記第1種類のデータを含む前記マルチメディアメッセージを受信したことに応答して、前記受信者端末に、第2種類のデータを含む前記マルチメディアメッセージを送信するように構成され、前記第1種類のデータおよび前記第2種類のデータは、前記原本マルチメディアデータに基づいており、前記第1種類のデータは、前記原本マルチメディアデータまたは前記原本マルチメディアデータのプレビューのうちのいずれか1つを含む、段階
    を含む、コンピュータプログラム。
  13. 前記送信された状況情報は、前記送信者端末のネットワーク状況に関する情報を含み、
    前記受信者端末から受信した状況情報は、前記受信者端末のネットワーク状況、受信者が前記受信者端末を使用中であるか否か、アクセス可能性、使用没入強度、前記受信者の明示的な入力に応じて前記受信者端末から受信される原本要求のうちの少なくとも1つに関する情報を含む、
    請求項12に記載のコンピュータプログラム。
  14. 前記第2種類のデータは、前記メッセンジャーサーバにより、前記決定された状況に応じて前記マルチメディアメッセージの送信についてのイベント、前記原本マルチメディアデータ、および前記原本マルチメディアデータに対するプレビューのうちのいずれか1つとして決定され、
    前記決定された状況において、前記第1種類のデータと前記第2種類のデータは、互いに異なるデータとして決定される、
    請求項12に記載のコンピュータプログラム。
  15. 前記送信された状況情報および前記受信者端末から受信した状況情報のうちのいずれか1つが時間とともに変化することに伴って前記メッセンジャーサーバで決定される状況が変わる場合、前記変わった状況に応じて前記第1種類が変更され、
    前記マルチメディアメッセージ提供方法は、
    前記送信者端末が、前記変更された第1種類のデータを前記メッセンジャーサーバにさらに送信する段階
    をさらに含む、請求項12に記載のコンピュータプログラム。
  16. 前記送信者端末が、前記メッセンジャーサーバに送信したデータに対する送信履歴を管理する段階、
    前記送信者端末が、前記管理される送信履歴から、前記第1種類のデータが前記メッセンジャーサーバに送信された履歴が存在するかを確認する段階、および
    前記送信者端末が、前記第1種類のデータが前記メッセンジャーサーバに送信された履歴が存在する場合、前記第1種類のデータの識別子または前記第1種類のデータを送信するのに利用されたメッセージの識別子を前記メッセンジャーサーバに送信する段階
    をさらに含み、
    前記メッセンジャーサーバでは、前記データの識別子またはメッセージの識別子により、予め送信されて前記メッセンジャーサーバに記録されたデータが識別される、
    請求項12に記載のコンピュータプログラム。
  17. コンピュータ装置であって、当該コンピュータ装置は、メッセンジャーサーバとして構成され、
    コンピュータ読み取り可能な命令を実行するように実現される少なくとも1つのプロセッサ
    を含み、
    前記少なくとも1つのプロセッサにより、
    送信者端末から受信者端末へのマルチメディアメッセージの送信要求を受信し、
    前記送信者端末および前記受信者端末それぞれから収集される状況情報を分析して、前記送信者端末および前記受信者端末それぞれの状況を決定し、
    前記決定された状況に応じ、前記マルチメディアメッセージの原本マルチメディアデータついて、前記送信者端末から受信されるべきデータの第1種類および前記受信者端末に送信されるべきデータの第2種類を決定することであって、前記第1種類のデータおよび前記第2種類のデータは、前記原本マルチメディアデータに基づいており、前記第1種類のデータは、前記原本マルチメディアデータまたは前記原本マルチメディアデータのプレビューのうちのいずれか1つを含み、
    前記マルチメディアメッセージの送信要求を処理することであって、
    前記送信者端末から、前記第1種類のデータを含む前記マルチメディアメッセージを受信することと、
    前記送信者端末から前記第1種類のデータを含む前記マルチメディアメッセージを受信したことに応答して、前記受信者端末に、前記第2種類のデータを含む前記マルチメディアメッセージを送信することと、
    によって、前記マルチメディアメッセージの送信要求を処理する、コンピュータ装置。
  18. 前記収集される状況情報は、前記送信者端末のネットワーク状況、前記受信者端末のネットワーク状況、受信者が前記受信者端末を使用中であるか否か、前記受信者端末のアクセス可能性、前記受信者が前記受信者端末および/または前記受信者端末にインストールされたメッセンジャーアプリケーションの使用に没入する強度、前記受信者の明示的な入力に応じて前記受信者端末から受信される原本要求のうちの2つ以上に関する情報を含む、
    請求項17に記載のコンピュータ装置。
  19. 前記第2種類のデータは、前記マルチメディアメッセージの送信についてのイベント、前記原本マルチメディアデータ、および前記原本マルチメディアデータに対するプレビューのうちのいずれか1つを含み、
    前記決定された状況において、前記第1種類のデータと前記第2種類のデータは、互いに異なるデータとして決定される、
    請求項17に記載のコンピュータ装置。
  20. 前記少なくとも1つのプロセッサにより、
    前記収集される状況情報の変化に伴って前記決定された状況が変わる場合、前記変わった状況に応じて前記第1種類および前記第2種類のうちの少なくとも一方を変更し、
    前記送信者端末から前記変更された第1種類のデータをさらに受信するか、または前記受信者端末に前記変更された第2種類のデータをさらに送信する、
    請求項17に記載のコンピュータ装置。
  21. メッセンジャーサーバによって実行されるマルチメディアメッセージ提供方法であって、
    送信者端末から受信者端末へのマルチメディアメッセージの送信要求を受信する段階、
    前記送信者端末および前記受信者端末それぞれから収集される状況情報を分析して、前記送信者端末および前記受信者端末それぞれの状況を決定する段階、
    前記決定された状況に応じ、前記マルチメディアメッセージの原本マルチメディアデータについて、前記送信者端末から受信されるべきデータの第1種類および前記受信者端末に送信されるべきデータの第2種類を決定する段階、および
    前記第1種類のデータを含む前記マルチメディアメッセージを前記送信者端末から受信し、前記第2種類のデータを含む前記マルチメディアメッセージを前記受信者端末に送信することによって、前記マルチメディアメッセージの送信要求を処理する段階
    を含み、
    前記受信者端末に予め送信されたデータに対する送信履歴を管理する段階、
    前記管理される送信履歴から、前記第2種類のデータが前記受信者端末に送信された履歴が存在するかを確認する段階、および
    前記第2種類のデータが前記受信者端末に送信された履歴が存在する場合、前記第2種類のデータの識別子または前記第2種類のデータを送信するのに利用されたメッセージの識別子を前記受信者端末に送信する段階、
    をさらに含む、マルチメディアメッセージ提供方法。
  22. コンピュータと結合してマルチメディアメッセージ提供方法をコンピュータに実行させるためにコンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラムであって、
    前記マルチメディアメッセージ提供方法は、
    送信者端末が、受信者端末へのマルチメディアメッセージの送信要求をメッセンジャーサーバに送信する段階、
    前記送信者端末が、前記メッセンジャーサーバに状況情報を送信する段階、および
    前記送信された状況情報および前記受信者端末から受信した状況情報を分析して前記メッセンジャーサーバによって決定された、前記送信者端末および前記受信者端末それぞれの状況に応じて前記メッセンジャーサーバによって要求される、前記マルチメディアメッセージの原本マルチメディアデータに基づく第1種類のデータを含む前記マルチメディアメッセージを、前記送信者端末が前記メッセンジャーサーバに送信する段階
    を含み、前記マルチメディアメッセージ提供方法は、
    前記メッセンジャーサーバに送信したデータに対する送信履歴を管理する段階、
    前記管理される送信履歴から、前記第1種類のデータが前記メッセンジャーサーバに送信された履歴が存在するかを確認する段階、および
    前記第1種類のデータが前記メッセンジャーサーバに送信された履歴が存在する場合、前記第1種類のデータの識別子または前記第1種類のデータを送信するのに利用されたメッセージの識別子を前記メッセンジャーサーバに送信する段階、
    をさらに含む、コンピュータプログラム。
  23. コンピュータ装置であって、当該コンピュータ装置は、メッセンジャーサーバとして構成され、
    コンピュータ読み取り可能な命令を実行するように実現される少なくとも1つのプロセッサ
    を含み、
    前記少なくとも1つのプロセッサにより、
    送信者端末から受信者端末へのマルチメディアメッセージの送信要求を受信し、
    前記送信者端末および前記受信者端末それぞれから収集される状況情報を分析して、前記送信者端末および前記受信者端末それぞれの状況を決定し、
    前記決定された状況に応じ、前記マルチメディアメッセージの原本マルチメディアデータについて、前記送信者端末から受信されるべきデータの第1種類および前記受信者端末に送信されるべきデータの第2種類を決定し、
    前記第1種類のデータを含む前記マルチメディアメッセージを前記送信者端末から受信し、前記第2種類のデータを含む前記マルチメディアメッセージを前記受信者端末に送信することによって、前記マルチメディアメッセージの送信要求を処理し、
    前記少なくとも1つのプロセッサにより、
    前記受信者端末に予め送信されたデータに対する送信履歴を管理し、
    前記管理される送信履歴から、前記第2種類のデータが前記受信者端末に送信された履歴が存在するかを確認し、
    前記第2種類のデータが前記受信者端末に送信された履歴が存在する場合、前記第2種類のデータの識別子または前記第2種類のデータを送信するのに利用されたメッセージの識別子を前記受信者端末に送信する、コンピュータ装置。
JP2019054294A 2018-03-29 2019-03-22 メッセンジャーサービスでユーザ状況に合わせて効率的にマルチメディアメッセージを提供する方法およびシステム Active JP7446716B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0036776 2018-03-29
KR1020180036776A KR102039995B1 (ko) 2018-03-29 2018-03-29 메신저 서비스에서의 사용자 상황에 따른 효율적인 멀티미디어 메시지 제공 방법 및 시스템

Publications (2)

Publication Number Publication Date
JP2019175450A JP2019175450A (ja) 2019-10-10
JP7446716B2 true JP7446716B2 (ja) 2024-03-11

Family

ID=68054018

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019054294A Active JP7446716B2 (ja) 2018-03-29 2019-03-22 メッセンジャーサービスでユーザ状況に合わせて効率的にマルチメディアメッセージを提供する方法およびシステム

Country Status (4)

Country Link
US (1) US11489798B2 (ja)
JP (1) JP7446716B2 (ja)
KR (1) KR102039995B1 (ja)
CN (1) CN110324232B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT201900000457A1 (it) * 2019-01-11 2020-07-11 Social Media Emotions S R L Sistema di messaggistica perfezionato
JP7157334B2 (ja) * 2019-02-18 2022-10-20 日本電信電話株式会社 メッセージ中継装置及び方法
US11429778B2 (en) * 2019-08-29 2022-08-30 Rovi Guides, Inc. Systems and methods for generating personalized content
US20220027020A1 (en) * 2020-07-27 2022-01-27 Digital Turbine, Inc. Dynamically replacing interactive content of a quick setting bar

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004516693A (ja) 2000-05-17 2004-06-03 アメリカ オンライン インコーポレーテッド 通信帯域幅の自動検出に基づく通信コンテンツの選択
JP2016507820A (ja) 2012-12-28 2016-03-10 フェイスブック,インク. 記事コンテンツの再ランク付け
JP2017041232A (ja) 2015-08-17 2017-02-23 ネイバー コーポレーションNAVER Corporation 文字送信方法、コンピュータプログラム、および、文字送信システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100529767B1 (ko) * 2003-07-30 2005-11-17 에스케이 텔레콤주식회사 Mm3 인터페이스를 통해 메시지 유니크를 보장하는mms 시스템 및 방법
KR100733603B1 (ko) 2004-11-03 2007-06-28 주식회사 씬멀티미디어 모바일 멀티미디어 인스턴트 메신저 서비스 시스템 및 그를 이용한 모바일 멀티미디어 메신저 서비스 방법
WO2007023494A2 (en) * 2005-08-22 2007-03-01 Triplay Communications Ltd. Messaging system and method
KR100693643B1 (ko) * 2005-09-08 2007-03-14 주식회사 팬택 망 상태 정보에 따른 동영상 용량 조절 기능을 가지는무선통신 단말기 및 그 방법
US8050660B2 (en) * 2006-03-07 2011-11-01 Motorola Mobility, Inc. Apparatus and method for handling messaging service message adaptation
WO2008048848A2 (en) * 2006-10-13 2008-04-24 Nms Communications Corporation Dynamic video messaging
KR100874024B1 (ko) * 2007-09-18 2008-12-17 주식회사 온게임네트워크 대화형 콘텐츠를 중계하는 중계기, 방법 및 그 기록매체
CN101442664B (zh) * 2008-12-24 2011-09-21 中兴通讯股份有限公司 一种移动多媒体广播系统中预览节目的终端、系统及方法
US20120259926A1 (en) * 2011-04-05 2012-10-11 Lockhart Kendall G System and Method for Generating and Transmitting Interactive Multimedia Messages
KR101971624B1 (ko) * 2012-07-25 2019-04-23 삼성전자주식회사 이동 단말의 정보 표시 방법, 디스플레이 장치의 정보 제공 방법, 이동 단말의 제어 신호 생성 방법
US10516636B2 (en) * 2014-01-01 2019-12-24 SlamAd.com, Inc. Real-time messaging platform with enhanced privacy
CN105471758B (zh) * 2015-12-30 2019-10-11 广东威创视讯科技股份有限公司 一种基于网络堵塞的标注方法、装置及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004516693A (ja) 2000-05-17 2004-06-03 アメリカ オンライン インコーポレーテッド 通信帯域幅の自動検出に基づく通信コンテンツの選択
JP2016507820A (ja) 2012-12-28 2016-03-10 フェイスブック,インク. 記事コンテンツの再ランク付け
JP2017041232A (ja) 2015-08-17 2017-02-23 ネイバー コーポレーションNAVER Corporation 文字送信方法、コンピュータプログラム、および、文字送信システム

Also Published As

Publication number Publication date
US11489798B2 (en) 2022-11-01
CN110324232A (zh) 2019-10-11
JP2019175450A (ja) 2019-10-10
KR20190114288A (ko) 2019-10-10
CN110324232B (zh) 2022-11-18
US20190306098A1 (en) 2019-10-03
KR102039995B1 (ko) 2019-11-04

Similar Documents

Publication Publication Date Title
JP7446716B2 (ja) メッセンジャーサービスでユーザ状況に合わせて効率的にマルチメディアメッセージを提供する方法およびシステム
JP6828204B2 (ja) サーバ、プログラム及び情報処理方法
CN107924506B (zh) 用于推断用户可用性的方法、系统及计算机存储介质
KR101754639B1 (ko) 상호작용 히스토리에 기반한 사용자 경험/사용자 인터페이스
US20190121866A1 (en) Generating a relevance score for direct digital messages based on crowdsourced information and social-network signals
CN106845644B (zh) 一种通过相互关系学习用户及移动应用的联系的异构网络
US10621230B1 (en) Generating a probability of music
JP7119098B2 (ja) メッセージングサービス環境におけるユーザ状況の感知と、ユーザ状況に基づくメッセージングサービスとのインタラクション
WO2015126825A1 (en) Method and system for providing code scanning result information
US11044222B2 (en) Automated connection of electronic messaging and social networking services method and apparatus
US10897444B2 (en) Automatic electronic message filtering method and apparatus
KR20140113436A (ko) 관계 모델 매커니즘을 구현한 컴퓨팅 시스템 및 그 작동 방법
US20220078135A1 (en) Signal upload optimization
JP2016126759A (ja) 端末内の情報分析に基づいたメッセージ提供方法、装置およびそれに対するコンピュータプログラム
US11694278B2 (en) Automatic analysis of digital messaging content method and apparatus
US10891303B2 (en) System and method for editing dynamically aggregated data
CN109947526B (zh) 用于输出信息的方法和装置
JP6983705B2 (ja) 端末装置、端末制御方法および端末制御プログラム
JP7321338B2 (ja) メッセージングサービス環境におけるユーザ状況の感知と、ユーザ状況に基づくメッセージングサービスとのインタラクション
US12034529B2 (en) Automatic electronic message filtering method and apparatus
CN113326451A (zh) 用于推送信息的方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230510

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231122

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20231201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240228

R150 Certificate of patent or registration of utility model

Ref document number: 7446716

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150