JP6097679B2 - 端末間機能共有方法及びその端末 - Google Patents

端末間機能共有方法及びその端末 Download PDF

Info

Publication number
JP6097679B2
JP6097679B2 JP2013263500A JP2013263500A JP6097679B2 JP 6097679 B2 JP6097679 B2 JP 6097679B2 JP 2013263500 A JP2013263500 A JP 2013263500A JP 2013263500 A JP2013263500 A JP 2013263500A JP 6097679 B2 JP6097679 B2 JP 6097679B2
Authority
JP
Japan
Prior art keywords
terminal
function
sharing
screen
share
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013263500A
Other languages
English (en)
Other versions
JP2014170524A (ja
Inventor
ビュン ス ソ
ビュン ス ソ
ユン ジェイ ハン
ユン ジェイ ハン
ジョン ユン ムン
ジョン ユン ムン
ハン コ ジュン
ハン コ ジュン
パン コン クォン
パン コン クォン
Original Assignee
エルジー アプラス コーポレーション
エルジー アプラス コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020130022491A external-priority patent/KR20140108480A/ko
Priority claimed from KR1020130082885A external-priority patent/KR20150009103A/ko
Priority claimed from KR1020130083492A external-priority patent/KR101648611B1/ko
Priority claimed from KR20130083493A external-priority patent/KR101488096B1/ko
Priority claimed from KR1020130083491A external-priority patent/KR101536049B1/ko
Priority claimed from KR1020130083490A external-priority patent/KR101425755B1/ko
Application filed by エルジー アプラス コーポレーション, エルジー アプラス コーポレーション filed Critical エルジー アプラス コーポレーション
Publication of JP2014170524A publication Critical patent/JP2014170524A/ja
Application granted granted Critical
Publication of JP6097679B2 publication Critical patent/JP6097679B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04Real-time or near real-time messaging, e.g. instant messaging [IM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Description

本発明は、複数の端末間機能を共有する方法及びその端末に関する。より詳細に、複数の端末間接続を保持したまま機能を共有して実行するための方法及びその端末に関する。
移動通信システムは、ユーザの活動性を保障しながら音声サービスを提供するために開発された。しかし、移動通信システムは、次第に音声だけではなくデータサービスまで領域を拡張し、移動通信端末を用いた様々な付加サービスが提供される。これによって、移動通信端末で用いられる様々なマルチメディアコンテンツ(映画、音楽、ゲーム、証券、メディア、ニュースなど)、アプリケーション、ソリューション及びソフトウェアなどが開発されている。このような、付加サービスはIP(Internet Protocol)ネットワークを介して音声通話、映像通話、テキストチャットサービスなどのようなコミュニケーションサービスを提供する技術の発達によりその種類が多様化しつつある。
ただし、現在IPネットワークを利用したコミュニケーションサービスは、端末間に単なる音声、映像、テキストなどを送信するだけであり、このようなコミュニケーションサービスのうち相手側に伝達したいオーディオ、ビデオ、写真、文書などのファイルや、実行中であるブラウザー画面、Eメール画面、地図画面などのマルチメディアデータを相手側と共有し難い実状である。このようなコミュニケーションサービスのうち通話中であり相手側の端末にファイルやマルチメディアデータを伝達するためには更なる有無線通信網を介して送信して相手側と共有しなければならない不便がある。
これによって、ユーザ間にコミュニケーション中に様々な情報を互いに共有することで、よりインタラクティブ(interactive)なコミュニケーションを可能にする技術が求められている。
本発明の目的は、複数の端末間コミュニケーションを保持したまま同じ機能を共有して実行するための方法及びこのための装置を提案する。
また、本発明の目的は、通話中に通話を切ることなく、通話パターンを自由に切り替えるための方法及びこのための装置を提案する。
また、本発明の目的は、通話中に通話を切ることなく、同じものを見たり聞きながら通話を持続できる方法及びこのための装置を提案する。
また、本発明の目的は、複数の端末間リアルタイムで画面を共有しながら同時にチャットを行うための方法及びこのための装置を提案する。
本発明で実施しようとする技術的な課題は以上で言及した技術的な課題に制限されず、記載されていない更なる技術的な課題は下記の記載によって本発明が属する技術分野において通常の知識を有する者明確に理解できるものである。
一実施形態に係る端末間機能共有方法は、第1端末が他の端末と共有して実行するための第1機能が選択されるステップと、前記第1端末が前記第1機能を共有して実行するための第2端末が選択されるステップと、前記第1端末が前記第2端末に前記第1機能を共有して実行するための要求メッセージを送信するステップと、前記第1端末が前記第2端末と無線通信を確立して前記第1機能を共有して実行するステップとを含む。
前記第1端末が前記第2端末と前記第1機能を共有して実行する間に、前記第1端末が前記第2端末と共に実行するための第2機能が選択されるステップをさらに含み、前記第1端末が前記第2端末と前記第1機能及び前記第2機能を共有して実行してもよい。
他の一実施形態に係る端末間機能共有方法は、前記第1端末が前記第1機能を共有して実行するための第3端末が選択されるステップと、前記第1端末が前記第3端末に前記第1機能を共有して実行するための要求メッセージを送信するステップと、前記第1端末が前記第3端末と無線通信を確立して前記第1機能を共有して実行するステップとをさらに含んでもよい。
他の一実施形態に係る端末間機能共有方法は、前記第1端末が前記第2端末から前記第1機能を共有して実行するための第3端末の追加を要求するメッセージを受信するステップと、前記第1端末が前記第3端末に前記第1機能を共有して実行するための要求メッセージを送信するステップと、前記第3端末と無線通信を確立して前記第1機能を共有して実行するステップとをさらに含んでもよい。
前記第1機能は、音声通話機能、映像通話機能のいずれか1つの端末の画面を相手側の端末に同一に出力する画面共有機能、いずれか1つの端末のサウンドを相手側の端末に同一に出力するオーディオ共有機能、いずれか1つの端末が相手側の端末を遠隔制御するための制御機能、いずれか1つの端末のタッチ入力に関する表示を相手側の端末に同一に出力するスケッチ機能、いずれか1つの端末のファイルを相手側の端末に送信するファイル送信機能、いずれか1つの端末に搭載されたカメラ映像を相手側の端末に同一に出力するカメラ共有機能、いずれか1つの端末の位置を相手側の端末に表示する位置共有機能のいずれか1つであってもよい。
前記画面共有機能は、いずれか1つの端末の画面を1秒に15フレーム以上キャプチャーし、キャプチャーされた画面に関するイメージを動画に圧縮し、前記動画を相手側の端末に送信する機能であってもよい。
前記オーディオ共有機能は、いずれか1つの端末から出力されるサウンドをキャプチャーし、キャプチャーされたサウンドをMP3ファイルに圧縮し、前記MP3ファイルを相手側の端末に送信する機能であってもよい。
一実施形態に係る端末間機能共有方法は、第1端末が第2端末と無線通信を確立して第1機能を共有して実行する間に、前記第1端末が前記第2端末と共有して実行するための第2機能が選択されるステップと、前記第1端末が前記第2端末と前記第1機能及び前記第2機能を共有して実行するステップとを含む。
他の一実施形態に係る端末間機能共有方法は、前記第1端末が前記第1機能と前記第2機能を共有して実行するための第3端末が選択されるステップと、前記第1端末が前記第3端末に前記第1機能及び前記第2機能を共有して実行するための要求メッセージを送信するステップと、前記第1端末が前記第3端末と無線通信を確立して前記第1機能及び前記第2機能を共有して実行するステップとをさらに含んでもよい。
他の一実施形態に係る端末間機能共有方法は、前記第1端末が前記第2端末から前記第1機能及び前記第2機能を共有して実行するための第3端末の追加を要求するメッセージを受信するステップと、前記第1端末が前記第3端末に前記第1機能及び前記第2機能を共有して実行するための要求メッセージを送信するステップと、前記第1端末が前記第3端末と無線通信を確立して前記第1機能及び前記第2機能を共有して実行するステップとをさらに含んでもよい。
一実施形態に係る端末間機能共有方法は、第1端末が第2端末と無線通信を確立して第1機能を共有して実行する間に、前記第1端末が前記第2端末と共有して実行するための第2機能が選択されるステップと、前記第1端末が前記第1機能を前記第2機能に代替して前記第2端末と前記第2機能を共有して実行するステップとを含む。
他の一実施形態に係る端末間機能共有方法は、前記第1端末が前記第2機能を共有して実行するための第3端末が選択されるステップと、前記第1端末が前記第3端末に前記第2機能を共有して実行するための要求メッセージを送信するステップと、前記第1端末が前記第3端末と無線通信を確立して前記第2機能を共有して実行するステップとをさらに含んでもよい。
一実施形態に係る端末間機能共有方法は、第1端末が他の端末と共有して実行するための第1機能及び第2機能が選択されるステップと、前記第1端末が前記第1機能及び前記第2機能を共有して実行するための第2端末が選択されるステップと、前記第1端末が前記第2端末に前記第1機能及び前記第2機能を共有して実行するための要求メッセージを送信するステップと、前記第1端末が前記第2端末と無線通信を確立して前記第1機能及び前記第2機能を共有して実行するステップとを含む。
他の一実施形態に係る端末間機能共有方法は、前記第1端末が前記第1機能及び前記第2機能を共有して実行するための第3端末が選択されるステップと、前記第1端末が前記第3端末に前記第1機能及び前記第2機能を共有して実行するための要求メッセージを送信するステップと、前記第1端末が前記第3端末と無線通信を確立して前記第1機能及び前記第2機能を共有して実行するステップとをさらに含んでもよい。
他の一実施形態に係る端末間機能共有方法は、 前記第1端末が前記第2端末から前記第1機能及び前記第2機能を共有して実行するための第3端末の追加を要求するメッセージを受信するステップと、前記第1端末が前記第3端末に前記第1機能及び前記第2機能を共有して実行するための要求メッセージを送信するステップと、前記第1端末が前記第3端末と無線通信を確立して前記第1機能及び前記第2機能を共有して実行するステップとをさらに含んでもよい。
一実施形態に係る端末間リアルタイム画面共有チャット方法は、第1端末が第2端末とチャットを行う間にリアルタイム画面共有チャットを要求するためのメッセージを送信するステップと、前記第2端末が前記リアルタイム画面共有チャットが可能であり、前記第1端末が前記第2端末から前記リアルタイム画面共有チャットを受諾する応答メッセージを受信するステップと、前記第1端末が前記第1端末の画面に出力される映像を前記第2端末にリアルタイムで共有し、前記共有映像に重なって前記チャット内容が表示されるチャットウィンドウを半透明に表示するステップとを含む。
他の一実施形態に係る端末間リアルタイム画面共有チャット方法は、前記応答メッセージの受信に対応して前記第1端末が前記リアルタイム画面共有チャットの開始を示す出力メッセージを表示するステップをさらに含んでもよい。
前記第1端末が前記第1端末の画面にチャットウィンドウ制御アイコンを表示するステップをさらに含み、前記チャットウィンドウは、前記チャットウィンドウ制御アイコン上のタッチ入力により前記第1端末の画面で表示されたり除去されてもよい。
前記リアルタイム画面共有チャットに関するメニューを表示するステップをさらに含み、前記メニューは、動画共有、ニュース共有、音楽共有、地図共有、写真/映像共有、画面上に手書きの文字のうち少なくともいずれか1つの機能を含んでもよい。
前記リアルタイム画面共有チャットに関するメニューを表示するステップをさらに含み、前記メニューは、登録されたアプリケーションを直ちに実行する機能、前記第1端末の画面をキャプチャーしてイメージファイル形態で格納する機能、前記チャットウィンドウの透明度を調節する機能のうち少なくともいずれか1つを含んでもよい。
前記リアルタイム画面共有チャットに関するメニューを表示するステップをさらに含み、前記メニューは、前記リアルタイム画面共有チャットを一時停止または一時停止を解除する機能を含んでもよい。
前記第1端末が前記第1端末で出力されたり、前記第1端末に入力されるオーディオまたは音声を前記第2端末にリアルタイムで共有してもよい。
一実施形態に係る端末間リアルタイム画面共有チャット方法は、第1端末が前記第1端末の画面に出力される映像を第2端末にリアルタイムで共有する間に、前記第2端末にリアルタイム画面共有チャットを要求するメッセージを送信するステップと、前記第2端末が前記リアルタイム画面共有チャットが可能であり、前記第1端末が前記第2端末から前記リアルタイム画面共有チャットを承諾する応答メッセージを受信するステップと、前記共有映像に重って前記チャット内容が表示されるチャットウィンドウを半透明に表示するステップとを含む。
他の一実施形態に係る端末間リアルタイム画面共有チャット方法は、前記応答メッセージの受信に対応して前記第1端末が前記リアルタイム画面共有チャットの開始を示す出力メッセージを表示するステップをさらに含んでもよい。
一実施形態に係る端末間リアルタイム画面共有チャット方法は、第2端末が第1端末とチャットを行う間にリアルタイム画面共有チャットを要求するためのメッセージを受信するステップと、前記第2端末が前記リアルタイム画面共有チャットが可能であれば、前記第2端末が前記リアルタイム画面共有チャットの承諾可否に関するクエリを示す出力メッセージを表示するステップと、前記第2端末が前記リアルタイム画面共有チャットの承諾が入力されると、前記第1端末に前記リアルタイム画面共有チャットを承諾する応答メッセージを送信するステップと、前記第2端末が前記第1端末の画面に出力される映像をリアルタイムで共有して出力し、前記共有映像に重って前記チャット内容が表示されるチャットウィンドウを半透明に表示するステップとを含む。
一実施形態に係る端末間リアルタイム画面共有チャット方法は、第2端末が第1端末の画面に出力される映像をリアルタイム共有して出力する間に、前記第1端末からリアルタイムで画面共有チャットを要求するためのメッセージを受信するステップと、前記第2端末が前記リアルタイム画面共有チャットが可能であれば、前記第2端末が前記リアルタイム画面共有チャットの承諾可否に関するクエリを示す出力メッセージを表示するステップと、前記第2端末が前記リアルタイム画面共有チャットの承諾が入力されると、前記第1端末に前記リアルタイム画面共有チャットを承諾する応答メッセージを送信するステップと、前記共有映像に重って前記チャット内容が表示されるチャットウィンドウを半透明に表示するステップとを含む。
一実施形態に係る端末は、画面に情報出力する出力部と、第2端末とチャットを行う間にリアルタイム画面共有チャットを要求するためのメッセージを送信する送受信部と、前記送受信部を用いて前記第2端末から前記リアルタイム画面共有チャットを承諾する応答メッセージを受信すると、前記出力部を介して画面に出力される映像を前記第2端末にリアルタイムで共有し、前記共有映像に重って前記チャット内容が表示されるチャットウィンドウを半透明に表示する制御部とを備える。
前記制御部は、前記応答メッセージの受信に対応して前記リアルタイム画面共有チャットの開始を示す出力メッセージを前記出力部により表示してもよい。
一実施形態に係る端末は、画面に情報出力する出力部と、前記出力部を用いて画面に出力される映像を第2端末にリアルタイムで共有する間に、前記第2端末にリアルタイム画面共有チャットを要求するためのメッセージを送信する送受信部と、前記送受信部により前記第2端末から前記リアルタイム画面共有チャットを承諾する応答メッセージを受信すると、前記共有映像に重って前記チャット内容が表示されるチャットウィンドウを半透明に表示する制御部とを備える。
前記制御部は、前記応答メッセージの受信に対応して前記リアルタイム画面共有チャットの開始を示す出力メッセージを前記出力部により表示してもよい。
一実施形態に係る端末は、第1端末とチャットを行う間にリアルタイム画面共有チャットを要求するためのメッセージを受信する送受信部と、前記リアルタイム画面共有チャットが可能であれば、前記リアルタイム画面共有チャットの承諾可否に関するクエリを示す出力メッセージを表示する出力部と、前記リアルタイム画面共有チャットの承諾が入力されると、前記送受信部を用いて前記第1端末に前記リアルタイム画面共有チャットを承諾する応答メッセージを送信し、前記第1端末の画面に出力される映像をリアルタイムで共有して前記出力部を介して出力し、前記共有映像に重って前記チャット内容が表示されるチャットウィンドウを半透明に表示する制御部とを備える。
一実施形態に係る端末は、第1端末の画面に出力される映像をリアルタイムで共有して出力する間に、前記第1端末からリアルタイム画面共有チャットを要求するためのメッセージを受信する送受信部と、前記リアルタイム画面共有チャットが可能であれば、前記リアルタイム画面共有チャットの承諾可否に関するクエリを示す出力メッセージを表示する出力部と、前記リアルタイム画面共有チャットの承諾が入力されると、前記送受信部を用いて前記第1端末に前記リアルタイム画面共有チャットを承諾する応答メッセージを送信し、前記出力部を介して共有する映像に重って前記チャット内容が表示されるチャットウィンドウを半透明に表示する制御部とを備える。
一実施形態に係る端末間画面を共有する方法は、第1端末の画面を第2端末と共有するために前記第1端末の画面共有機能を実行するステップと、前記第1端末の画面共有機能が実行される途中、前記第1端末に受信される新しいコールを検出するステップと、前記新しいコールが複数の機能のいずれかの機能に対応するかに基づいて前記画面共有機能の一時停止を活性化するステップとを含む。
他の一実施形態に係る端末間画面を共有する方法は、前記第1端末の画面共有機能を実行するステップは、表示されたアイコンに対するユーザのジェスチャーを検出して前記複数の機能に対するインタフェースを提供するステップを含み、前記画面共有機能の一時停止が活性化している途中に前記表示されたアイコンに対するジェスチャーが検出されると、前記画面共有機能の一時停止を解除するステップをさらに含んでもよい。
前記画面共有機能の一時停止を活性化するステップは、前記新しいコールを検出することに応答して前記複数の機能に対するユーザの設定を示す機能設定テーブルをチェックするステップを含んでもよい。
前記画面共有機能の一時停止を活性化するステップは、前記新しいコールが音声通話または映像通話のためのコールであれば、前記画面共有機能と共にサウンド共有機能を一時停止するステップを含んでもよい。
前記第1端末の画面共有機能の一時停止を活性化させることに基づいて前記第2端末に表示される画面のグラフィック効果を変更してもよい。
一実施形態に係る映像通話中にアプリケーションのインタフェースを表示する方法は、映像通話アプリケーションの実行に応答して、前記映像通話アプリケーションの実行に必要な端末のリソースを活性化するステップと、前記映像通話アプリケーションが実行されている途中、他のアプリケーションが実行されているか否かをモニタリングするステップと、前記他のアプリケーションの類型に応じて前記映像通話アプリケーションに対応する画面上に前記他のアプリケーションに対応する画面をオーバーレイするステップとを含む。
前記他のアプリケーションの類型に応じて前記映像通話アプリケーションに対応する画面上に前記他のアプリケーションに対応する画面をオーバーレイするステップは、前記他のアプリケーションのインタフェースの透明度または映像通話画面とのオーバーレイの可能性により前記映像通話アプリケーションに対応する画面上に前記他のアプリケーションに対応する画面をオーバーレイするステップを含んでもよい。
前記他のアプリケーションの類型に応じて前記映像通話アプリケーションに対応する画面上に前記他のアプリケーションに対応する画面をオーバーレイするステップは、前記映像通話アプリケーションに対応する画面を不透明に表示し、前記他のアプリケーションに対応する画面を前記映像通話アプリケーションに対応する画面上に透明または半透明に表示するステップを含んでもよい。
前記他のアプリケーションの類型に応じて前記映像通話アプリケーションに対応する画面上に前記他のアプリケーションに対応する画面をオーバーレイするステップは、前記他のアプリケーションに対応する画面が不透明な場合、前記映像通話を終了し、前記他のアプリケーションに対応する画面を出力するステップであってもよい。
他の一実施形態に係る映像通話中にアプリケーションのインタフェースを表示する方法は、前記オーバーレイされた前記他のアプリケーションに対応する画面の全部または一部を変形するステップをさらに含んでもよい。
前記オーバーレイされた前記他のアプリケーションに対応する画面の全部または一部を変形するステップは、前記オーバーレイされた前記他のアプリケーションに対応する画面の一部に加えられる物理的な刺激を検出するステップと、前記検出された物理的な刺激に基づいて前記オーバーレイされた前記他のアプリケーションに対応する画面に変形を加えるステップとを含んでもよい。
前記オーバーレイされた前記他のアプリケーションに対応する画面の全部または一部を変形するステップは、前記オーバーレイされた前記他のアプリケーションに対応する画面の一部に加えられるドラッグ動作を検出するステップと、前記検出されたドラッグ動作の移動方向に前記オーバーレイされた前記他のアプリケーションに対応する画面をめくり上げるステップとを含んでもよい。
前記オーバーレイされた前記他のアプリケーションに対応する画面の全部または一部を変形するステップは、前記端末の画面の一部に表示されたボタンに加えられるタッチ動作を検出するステップと、前記他のアプリケーションに対応する画面を前記端末の画面の一部に表示されたボタンに代替するステップとを含んでもよい。
他の一実施形態に係る映像通話中にアプリケーションのインタフェースを表示する方法は、前記ボタンに加えられるタッチ動作を検出するステップと、前記他のアプリケーションに対応する画面を表示するステップとをさらに含んでもよい。
他の一実施形態に係る映像通話中にアプリケーションのインタフェースを表示する方法は、前記オーバーレイされた前記他のアプリケーションに対応する画面がドラッグ動作によってめくり上げられた状態であることを示すグラフィック効果を端末画面に表示するステップをさらに含んでもよい。
他の一実施形態に係る映像通話中にアプリケーションのインタフェースを表示する方法は、前記映像通話アプリケーションに対応する画面を前記オーバーレイされた前記他のアプリケーションに対応する画面がドラッグ動作によってめくり上げられた状態であることを示すグラフィック効果の下段に表示するステップをさらに含んでもよい。
他の一実施形態に係る映像通話中にアプリケーションのインタフェースを表示する方法は、前記グラフィック効果の一部に加えられるドラッグ動作を検出するステップと、前記検出されたドラッグ動作の移動方向に前記グラフィック効果を前記オーバーレイされた前記他のアプリケーションに対応する画面がドラッグ動作によってめくり上げられる前の状態にするステップとをさらに含んでもよい。
一実施形態に係る機能共有方法は、共通の接続を有する複数のユーザのうちマスタ権限を有するユーザを選択するステップと、前記複数のユーザの間で少なくとも2つのグループにグループ化された複数の機能の少なくとも1つの機能を共通に実行するための機能共有要求を受信するステップと、前記機能共有要求に応答して、前記少なくとも1つの機能が前記少なくとも2つのグループのうちいずれかのグループに該当するかを判断するステップと、前記機能共有要求が前記マスタ権限を有するユーザから発生したものであるか否か、及び前記少なくとも1つの機能が属するグループに基づいて前記少なくとも1つの機能を前記複数のユーザの間で共通に実行するものであるか否かを決定するステップとを含む。
前記共通の接続を有する複数のユーザのうちマスタ権限を有するユーザを選択するステップは、前記複数のユーザの間で少なくとも1つの機能を共通に実行するための機能共有を最初に要求したユーザ、または前記複数のユーザの間で音声通話機能または映像通話機能を共通に実行するための機能共有を要求したユーザをマスタ権限を有するユーザを選択するステップを含んでもよい。
前記機能共有要求が前記マスタ権限を有するユーザから発生したものであるか否か、及び前記少なくとも1つの機能が属するグループに基づいて前記少なくとも1つの機能を前記複数のユーザの間で共通に実行するものであるか否かを決定するステップは、前記受信された機能共有要求が前記マスタ権限を有するユーザから発生した場合、前記少なくとも1つの機能を前記複数のユーザの間で共通に実行できるように決定するステップを含んでもよい。
前記機能共有要求が前記マスタ権限を有するユーザから発生したものであるか否か、及び前記少なくとも1つの機能が属するグループに基づいて前記少なくとも1つの機能を前記複数のユーザの間で共通に実行するものであるか否かを決定するステップは、前記受信された機能共有要求が前記マスタ権限を有するユーザ以外のユーザから発生した場合、前記少なくとも1つの機能が属するグループに基づいて前記少なくとも1つの機能が前記複数のユーザの間で共通に実行されることを制限するステップを含んでもよい。
前記機能共有要求に応答して、前記少なくとも1つの機能が前記少なくとも2つのグループのうちいずれかのグループに該当するかを判断するステップにおいて、前記受信された機能共有要求による共有機能が音声通話機能または映像通話機能が含まれるグループに属するものと判断した場合、前記機能共有要求が前記マスタ権限を有するユーザから発生したものであるか否か、及び前記少なくとも1つの機能が属するグループに基づいて前記少なくとも1つの機能を前記複数のユーザの間で共通に実行するものであるか否かを決定するステップは、前記マスタ権限を有するユーザのみ前記機能共有要求による共有機能が前記複数のユーザの間で共通に実行できるように決定するステップを含んでもよい。
前記受信された機能共有要求に応じて前記少なくとも1つの機能を前記複数のユーザの間で共通に実行している場合、前記機能を共通に実行している複数のユーザを除いた新しいユーザを追加して前記機能を共通に実行するためのユーザ追加要求を受信するステップと、前記ユーザ追加要求が前記マスタ権限を有するユーザから発生したものであるか否か、及び前記少なくとも1つの機能が属するグループに基づいて前記少なくとも1つの機能を前記機能を共通に実行している複数のユーザと前記新しいユーザとの間で共通に実行するものであるか否かを決定するステップをさらに含んでもよい。
前記共通の接続を有する複数のユーザのうちマスタ権限を有するユーザを選択するステップは、前記複数のユーザの間で少なくとも1つの機能を共通に実行するための機能共有を最初に要求したユーザ、または前記複数のユーザの間で音声通話機能または映像通話機能を共通に実行するための機能共有を要求したユーザをマスタ権限を有するユーザを選択するステップを含んでもよい。
前記ユーザ追加要求が前記マスタ権限を有するユーザから発生したものであるか否か、及び前記少なくとも1つの機能が属するグループに基づいて前記少なくとも1つの機能を前記機能を共通に実行している複数のユーザと前記新しいユーザとの間で共通に実行するものであるか否かを決定するステップは、前記受信されたユーザ追加要求が前記マスタ権限を有するユーザから発生した場合、前記少なくとも1つの機能を前記機能を共通に実行している複数のユーザと前記新しいユーザとの間で共通に実行できるように決定するステップを含んでもよい。
前記ユーザ追加要求が前記マスタ権限を有するユーザから発生したものであるか否か、及び前記少なくとも1つの機能が属するグループに基づいて前記少なくとも1つの機能を前記機能を共通に実行している複数のユーザと前記新しいユーザとの間で共通に実行するものであるか否かを決定するステップは、前記受信されたユーザ追加要求が前記マスタ権限を有するユーザ以外のユーザから発生した場合、前記少なくとも1つの機能が属するグループに基づいて前記少なくとも1つの機能が前記機能を共通に実行している複数のユーザと前記新しいユーザとの間で共通に実行されることを制限するステップを含んでもよい。
前記機能共有要求に応答して、前記少なくとも1つの機能が前記少なくとも2つのグループのうちいずれかのグループに該当するかを判断するステップにおいて、前記受信された機能共有要求による共有機能が音声通話機能または映像通話機能が含まれるグループに属するものと判断した場合、前記ユーザ追加要求が前記マスタ権限を有するユーザから発生したものであるか否か、及び前記少なくとも1つの機能が属するグループに基づいて前記少なくとも1つの機能を前記機能を共通に実行している複数のユーザと前記新しいユーザとの間で共通に実行するものであるか否かを決定するステップは、前記マスタ権限を有するユーザのみ前記ユーザ追加要求による共有機能が前記機能を共通に実行している複数のユーザと前記新しいユーザとの間で共通に実行できるように決定するステップを含んでもよい。
一実施形態に係る機能共有方法は、複数のユーザの間で少なくとも2つの機能を共通に実行するための機能共有要求を受信するステップと、前記機能共有要求に応答して、前記少なくとも2つの機能が音声通話機能または映像通話機能を含んでいるか否かを判断するステップと、前記少なくとも2つの機能が音声通話機能または映像通話機能を含んでいるか否かに基づいて、前記機能共有要求の受諾を問い合わせる受諾確認メッセージを表示するステップとを含む。
前記受諾確認メッセージを表示するステップは、まず音声通話機能または映像通話機能の受諾を問い合わせる受諾確認メッセージを表示し、前記音声通話機能または映像通話機能を受諾した場合にのみ、前記少なくとも2つの機能のうち音声通話機能または音声通話機能を除いた機能の共有要求に対する受諾を問い合わせる受諾確認メッセージを表示するステップを含んでもよい。
他の一実施形態に係る機能共有方法は、前記音声通話機能または映像通話機能を拒絶した場合、前記少なくとも2つの機能のうち音声通話機能または映像通話機能を除いた機能の共有要求に対する受諾を問い合わせることなく前記機能共有要求を拒絶するステップをさらに含んでもよい。
一実施形態に係る映像通話−音声通話の転換方法は、端末間の映像通話を行う間に特定機能の実行命令を受信するステップと、前記特定機能が用いる端末のリソースを検出するステップと、前記検出した前記特定機能が用いる端末のリソースに基づいて前記映像通話モードを音声通話モードに切り替えるかを判断するステップとを含む。
前記特定機能が用いる端末のリソースを検出するステップは、前記特定機能が前記映像通話を行うために必要な端末のリソースを用いるかを検出するステップを含んでもよい。
前記検出した前記特定機能が用いる端末のリソースに基づいて前記映像通話モードを音声通話モードに切り替えるかを判断するステップは、前記特定機能と前記映像通話が同一のリソースを同時に利用できるかを判断するステップを含んでもよい。
前記特定機能と前記映像通話が同一のリソースを同時に利用できるかを判断するステップは、前記特定機能の映像出力が前記映像通話画面にオーバラップされるか否かに基づいて判断するステップを含んでもよい。
他の一実施形態に係る映像通話−音声通話の転換方法は、前記通話モードの切り替え有無に対する判断結果に基づいて前記映像通話を音声通話に自動切り替えたり、前記映像通話のディスプレイ効果と前記特定機能のディスプレイ効果を調節して前記映像通話の画面と前記特定機能の画面を前記特定機能の実行命令を受信した端末に同時に表示するステップをさらに含む。
前記特定機能が用いる端末のリソースを検出するステップは、前記特定機能が映像入力手段または映像出力手段を用いるかを検出するステップを含んでもよい。
一実施形態に係る映像通話−音声通話の転換方法は、前記映像通話モードを音声通話モードに切り替える場合、前記特定機能の実行命令を受信した端末のユーザに前記通話モードの切り替えを通知するメッセージを出力するステップをさらに含んでもよい。
一実施形態に係る映像通話−音声通話の転換方法は、端末間の映像通話を行う間に特定機能の実行命令を受信するステップと、前記特定機能のインタフェース特性に関する情報を取得するステップと、前記取得した前記特定機能のインタフェース特性に関する情報に基づいて前記映像通話モードを音声通話モードに切り替えるかを判断するステップとを含む。
前記特定機能のインタフェース特性に関する情報を取得するステップは、前記特定機能のインタフェースの透明度に関する情報を取得するステップを含んでもよい。
他の一実施形態に係る映像通話−音声通話の転換方法は、前記通話モードの切り替え有無に対する判断結果に基づいて前記映像通話を音声通話に自動切り替えたり、前記映像通話のディスプレイ効果と前記特定機能のディスプレイ効果を調節して前記映像通話の画面と前記特定機能の画面を前記特定機能の実行命令を受信した端末に同時に表示するステップをさらに含んでもよい。
前記取得した前記特定機能のインタフェース特性に関する情報に基づいて前記映像通話モードを音声通話モードに切り替えるかを判断するステップは、前記特定機能のインタフェースが前記映像通話のインタフェースにオーバラップされることができるかを判断するステップを含んでもよい。
他の一実施形態に係る映像通話−音声通話の転換方法は、前記映像通話モードを音声通話モードに切り替える場合、前記特定機能の実行命令を受信した端末のユーザに前記通話モードの切り替えを通知するメッセージを出力するステップをさらに含んでもよい。
一実施形態に係る位置共有方法は、複数の端末の位置を共有するように前記複数の端末それぞれの予め備えられた地図に前記複数の端末それぞれの位置を表示するステップと、前記複数の端末から前記地図上で実行可能な複数の機能の少なくとも1つの機能に対する実行要求に応答して、前記実行要求された少なくとも1つの機能を実行するステップとを含む。
他の一実施形態に係る位置共有方法は、前記実行要求された少なくとも1つの機能を実行するステップは、前記地図の縮尺を変更したり、前記地図を移動させるステップを含み、前記縮尺が変更された地図または前記移動した地図に関する情報を他の端末に送信するステップをさらに含んでもよい。
他の一実施形態に係る位置共有方法は、前記複数の端末のいずれか1つの端末と他の端末がそれぞれの位置を共有するように前記いずれか1つの端末の位置共有を要求するステップと、前記第1端末の位置が前記地図上に表示される以前に確認メッセージを表示するステップとをさらに含んでもよい。
前記実行要求された少なくとも1つの機能を実行するステップは、前記複数の端末に表示されたアイコンに対するジェスチャーを検出して前記地図上に目標位置を追加するステップを含んでもよい。
前記実行要求された少なくとも1つの機能を実行するステップは、前記複数の端末に表示されたアイコンに対するジェスチャーを検出して足跡機能を活性化するステップと、前記足跡機能が活性化すると、前記複数の端末それぞれの移動経路に関する情報を前記地図上に表示するステップとを含んでもよい。
前記複数の端末の位置を共有するように前記複数の端末それぞれの予め備えられた地図に前記複数の端末それぞれの位置を表示するステップは、位置共有を承認した複数の端末それぞれの位置に位置共有を承認した複数の端末それぞれの第1識別子を地図上に表示し、前記位置共有を承認した複数の端末それぞれの第2識別子を前記地図外部に表示するステップを含んでもよい。
他の一実施形態に係る位置共有方法は、前記位置共有を承認した複数の端末それぞれの第2識別子が選択されると、前記選択された第2識別子に対応する端末の位置に基づいて前記地図を移動するステップをさらに含んでもよい。
前記第2識別子を前記地図外部に表示するステップは、画面移動ボタンが選択されることに応答して、前記第2識別子を前記地図外部に表示するステップであってもよい。
他の一実施形態に係る位置共有方法は、前記複数の端末それぞれの位置に基づいて地図の縮尺を決定するステップをさらに含んでもよい。
他の一実施形態に係る位置共有方法は、前記複数の端末のうち前記地図上で複数の機能を実行できる制御権限のある少なくとも1つの端末を検出するステップをさらに含み、前記実行要求された少なくとも1つの機能の実行は、前記制御権限のある少なくとも1つの端末から前記地図上で実行可能な複数の機能の少なくとも1つの機能に対する実行要求に応答して行われてもよい。
本発明の実施形態によると、複数の端末間コミュニケーションを保持したまま同じ機能を共有して実行することができる。
また、本発明の実施形態によると、通話中に通話を切ることなく通話パターンを自由に切り替えることができる。
また、本発明の実施形態によると、通話中に通話を切ることなく同じものを見たり聞きながら通話を持続することができる。
また、本発明の実施形態によると、複数の端末間リアルタイムで画面を共有しながら同時にチャットを行うことができる。
本発明で取得できる効果は以上で言及した効果に制限されず、記載されていない更なる効果は下記の記載によって本発明が属する技術分野において通常の知識を有する者に明確に理解できるものである。
本発明の一実施形態に係る端末間機能共有システムを例示する図である。 本発明の一実施形態に係る端末間機能を共有する方法を提供するためのエージェントを例示する図である。 本発明の一実施形態に係る端末間機能を共有する方法を提供するためのエージェントを例示する他の図である。 本発明の一実施形態に係るエージェント内の設定メニューウィンドウを例示する図である。 本発明の一実施形態に係る端末間機能共有方法を例示する図である。 本発明の一実施形態に係る端末間機能共有方法を例示する図である。 本発明の一実施形態に係る端末間機能共有方法を例示する図である。 本発明の一実施形態に係る端末間機能共有方法を例示する図である。 本発明の一実施形態に係るリアルタイム画面共有チャット中である各端末の画面を例示する図である。 本発明の一実施形態に係るリアルタイム画面を提供する端末(端末1)の画面を例示する図である。 本発明の一実施形態に係るリアルタイム画面共有チャット方法を例示する図である。 本発明の一実施形態に係る映像通話中にアプリケーションのインタフェースを表示する方法を示したフローチャートである。 オーバーレイされたチャット画面がドラッグ動作によってめくり上げられる過程を示した端末画面のスクリーンショットである。 めくり上げられたチャット画面が端末の上段に示される端末画面のスクリーンショットである。 本発明の一実施形態に係る映像通話中にアプリケーションのインタフェースを表示する方法を示したフローチャートである。 本発明の一実施形態に係る機能共有方法を示したフローチャートである。 複数の機能をグループ化した図表である。 本発明の一実施形態に係るユーザ追加方法を示したフローチャートである。 音声通話機能または映像通話機能を含む複数の機能を共有する方法を示したフローチャートである。 音声通話機能または映像通話機能を含む複数の機能に対する機能共有要求があった場合、まず音声通話機能または映像通話機能を共有するかを問い合わせるメッセージを示す図である。 本発明の一実施形態に係る映像通話−音声通話の転換方法を示したフローチャートである。 本発明の一実施形態に係る映像通話−音声通話の転換方法を示したフローチャートである。 一実施形態に係る端末間の位置共有において、一定時点に複数の機能を実行するために複数のユーザのうち特定ユーザに制御権限があることを説明するためのフローチャートである。 一実施形態に係る端末間の画面共有途中に新しいコールがあるとき画面共有機能の一時停止を説明するためのフローチャートである。 一実施形態に係る端末間の画面共有途中にテキストメッセージを受信した場合、画面共有機能の一時停止を説明するためのフローチャートである。 一実施形態に係る端末間の画面共有途中に電話がかけらえた場合、画面共有機能の一時停止を説明するためのフローチャートである。 一実施形態に係る端末間の画面共有機能の一時停止解除を説明するためのフローチャートである。 一実施形態に係る端末間の画面共有で画面共有機能の一時停止機能を説明するためのブロック図である。 一実施形態に係る端末間の画面共有で画面共有機能の一時停止の解除を説明するためのブロック図である。 一実施形態に係る端末のブロック構成図を例示する図である。
以下、本発明に係る好ましい実施形態を添付する図面を参照しながら詳細に説明する。添付の図面と共に以下に開示される詳細な説明は本発明の例示的な実施形態を説明するためのものであり、本発明が実施され得る唯一の実施形態を示すためのものではない。以下の詳細な説明は、本発明の完全な理解を提供するために具体的細部事項を含む。図面に対する説明において、本発明の技術的な要旨を曖昧にする手続きまたは段階などは記述せず、当業者のレベルで理解できるほどの手続きまたは段階も記述していない。
明細書全体において、ある部分がある構成要素を「含む(comprisingまたはincluding)」とするとき、これは特に反対とする記載がなければ他の構成要素を除くのではなく、他の構成要素をさらに含むことを意味する。また、明細書に記載された「〜部」、「〜器」、「モジュール」などの用語は少なくとも1つの機能や動作を処理する単位を意味し、これは、ハードウェアやソフトウェアまたはハードウェア及びソフトウェアの結合で実現されてもよい。また、「一(aまたはan)」、「1つ(one)」、「その(the)」及び類似関連語は本発明を記述する文脈において(特に、以下の請求項の文脈で)本明細書に別に指示されたり文脈によって明らかに反論されない限り、単数及び複数の全てを含む意味として用いられる。
本発明の実施形態で用いられる特定用語は、本発明の理解を助けるために提供されたものであり、このような特定用語の使用は、本発明の技術的な思想を抜け出さない範囲で異なる形態に変更され得る。
図1は、本発明の一実施形態に係る端末間機能共有システムを例示する図である。
図1を参照すると、本発明に係る端末間機能共有システムは、第1端末110、第2端末120及びネットワーク130を含んで構成する。ただし、以下で言及する端末間機能共有システムは、図1に示された構成要素の少なくとも1つを含むが、必ずこれに限定されることはない。
第1端末110及び第2端末120は、ネットワーク130によって相互間に2つ以上の機能を共有/連動して共に行う端末を意味する。特に、第1端末110及び第2端末120間の音声通話、映像通話、チャットなどのようなコミュニケーション中に断絶されることなく他の機能を共有して提供する端末を意味する。図1では、第1端末110及び第2端末120のみを示すが、本発明に係る端末間機能を共有するシステムはさらに多い端末を含んでもよい。すなわち、2つ以上の複数の端末が共に本発明に係る端末の機能を共有するサービスが提供されてもよい。
このように、端末間機能を共有するためにはいずれか1つの端末が相手端末に機能共有のための要求を送信し、要求を受信した相手端末が応答することで端末相互間の接続確立が優先される。ここで、いずれか1つの端末は、複数の相手端末に機能共有要求を行ってもよい。また、接続が確立された端末間の複数の機能を共有してもよい。例えば、いずれか1つの機能の共有のために端末間の接続が確立された後、共有するための更なる機能を追加してもよい。
本明細書において示す端末の機能は端末で行われる全ての機能を通称し、端末に基本的に搭載された機能を含むことはもちろん、ダウンロードしてインストールされたアプリケーションにより提供する機能も含む。このような機能の一例として、端末間の画面共有、オーディオ共有、制御、スケッチ、ファイル送信、カメラ共有、位置共有などを含み、音声通話、映像通話、チャットなどのようなコミュニケーションサービスも含んでよい。
各端末の機能について説明すると、テキストチャット機能は、RCS(Rich Communication Suite)などを基盤にして全世界通信ユーザと様々な形態のメッセージをやり取りできるサービスを意味し、一対一テキストチャットあるいは複数のユーザ間にグループチャットを行うことができる。スケッチ機能は、相手側と手書きの文字または絵でコミュニケーションできるサービスを意味する。すなわち、ユーザからタッチ入力された表示(例えば、テキスト、絵など)を相手端末で同一に出力することができる。オーディオ共有機能は端末から出力されるオーディオのみを共有するサービスを意味し、外部の騒音などは共有されなくてもよい。画面共有機能は自身の端末画面を相手側に共有するサービスを意味し、上述したテキストチャット機能による画面、スケッチ機能による画面は共有対象から除外される。位置共有機能は、RCSなどと連動された地図アプリケーションなどを用いて本人の場所、相手側の場所、あるいは所望する場所を共有するサービスを意味する。カメラ共有機能は、カメラで見られる画面を相手側に共有するサービスを意味する。制御機能は、相手側の端末から出力される画面を用いて相手側端末を遠隔制御するサービスを意味し、このような制御権限は、制御される端末の受諾下でのみ行われてもよく、制御権限は1人にのみ付与されてもよい。ファイル送信機能は、写真、映像、アドレス帳、文書などをRCSファイル送信機能などを活用して送信するサービスを意味する。
画面共有機能に応じて第1端末の画面が第2端末と共有される場合、第1端末は、第1端末の画面を1秒に15フレーム以上キャプチャーし(毎秒キャプチャーされるフレーム数は調整され得る)、キャプチャーされた画面のイメージを動画で圧縮し、圧縮された動画を第2端末に送信してもよい。
オーディオ共有機能に応じて第1端末から出力されるサウンドが第2端末と共有される場合、第1端末は、第1端末から出力されるサウンドをキャプチャーし、キャプチャーされたサウンドをMP3(MPEG Audio Layer3)方式などでファイル圧縮し、前記MP3ファイルを第2端末に送信してもよい。
このような端末の機能を用いて本発明に係る端末間機能を共有する例について説明すると、画面共有またはオーディオ共有の一例として、音声/映像通話またはテキストチャット中にいずれか1つの端末から出力される画面またはオーディオを相手端末にストリーミングを用いて同一に出力(mirroring)しながら、音声/映像通話またはテキストチャットを行ってもよい。また、上述した制御機能の一例として、相手端末の画面をミラーリングしながら、相手端末の設定を変更するよう制御したり、相手端末のコンテンツを自身が受信できるようにコンテンツ送信を制御してもよい。また、上述したスケッチ機能の一例として、相互間に同じ画面を出力しながら、いずれか1つの端末から入力されるテキストまたは絵などを相手端末にも同一に表示し、相手端末に格納してもよい。このように、両端末で画面及びユーザからの入力を同一に出力することで各種の文書などを共有してリアルタイムに文書を編集できる。また、上述したカメラ機能の一例として、いずれか1つの端末でカメラを用いて見ている画面を背景画面として両端末で同一出力しながら、音声通話またはテキストチャットを行うことができる。また、上述した位置共有機能の一例として、両端末の現在位置を共有して両端末の画面に同一に出力できる。また、上述したファイル送信機能の一例として、先に説明した各機能を相互共有して行う間に、いずれか1つの端末から相手端末にファイル(写真、映像、音楽、文書ファイルなど)を送信してもよい。また、両端末で同一のアプリケーションを連動して実行しながら同時に音声通話またはテキストチャットを行ってもよい。
また、コミュニケーションサービスの間にも転換可能であり、一例として、音声通話中に通話を切ることなく画像通話またはテキストチャットのように通話中の呼転換が可能である。
また、本発明の端末間機能共有サービスは2つの端末に限定されず、これ以上の端末間にも同じ機能を共有して実行することができる。この場合、両端末で機能を共有して行う間に第3コミュニケーション相手(端末)を追加してもよい。例えば、画面、音声共有のうち、または別途のアプリケーション実行中に第3端末を追加すると、追加された第3端末でも同じ画面、音声を共有することができ、同じアプリケーションが駆動しながら同じ機能を共有して実行できる。
また、STT(Speech to Text)、TTS(Text to Speech)機能を用いてテキストや音声を互いに転換できる。例えば、いずれか1つの端末では音声通話サービスを行い、相手端末は音声通話の内容を字幕で支援することで、テキストチャットサービスを実行して相互間コミュニケーションを提供することができる。
本明細書で説明される第1端末110及び第2端末120は、携帯電話、スマートフォン、タブレットPC、PDA(Personal Digital Assistants)、PMP(Portable Multimedia Player)、セルラホーン、PCS(Personal Communication Service)フォン、GSM(Global System for Mobile)フォン、WCDMA(Wideband CDMA)フォン、MBS(Mobile Broadband System)フォンなどを含んでもよく、図1では移動端末のみを示しているが、PC、ノート型パソコンなども含んでもよい。もちろん、これは例示に過ぎず、上述した例の他にも現在開発されて商用化されたり、今後開発される全ての通信可能な装置を含む概念として解釈されなければならない。
ネットワーク130は、第1端末110と第2端末120との間のデータ送信、情報交換のためのデータ通信網を意味し、その種類には特に制限されることはない。例えば、インターネットプロトコル(IP)を介して大容量データの送受信サービス及び途切れる現象のないデータサービスを提供するIP網として、IPに基づいて互いに異なる網を統合したIP網の構造であるAll IP網であってもよい。また、ネットワーク130は、有線網、Wibro(Wireless Broadband)網、Wimax(World Interoperability for Microwave Access)網、WCDMAを含む移動通信網、HSDPA(High Speed Downlink Packet Access)網、及びLTE網を含む移動通信網、LTE advancedを含む移動通信網、衛星通信網、及びWLAN(Wireless LAN)(Wi−Fi)網のうち1つ以上を結合したものである。
以下、図示される第1端末110または第2端末120は説明の便宜のために端末の形態を省略し、各端末から出力される画面のみを図示して説明する。
説明の便宜のために、以下の「参加端末」は端末間機能共有のために接続(connect)されている全ての端末を意味し、「招待端末」は参加端末のうち端末間機能共有のために接続されていない第3端末の接続を追加する端末を意味し、「被招待端末」は招待端末によって接続が追加された端末を意味する。また、「元共有端末」は自身の画面またはオーディオを接続された他端末(参加端末)に共有する端末を意味し、「被共有端末」は共有端末から共有される画面またはオーディオが共有される端末を意味する。また、「発信端末」は音声または映像通話を発信した端末を意味し、「受信端末」は音声または映像通話を受信した端末を意味する。
以下、端末の接続状態に対して説明すると、接続状態のうち「機能オン(On)」状態は、端末の機能共有のために参加端末との接続が確立して当該機能を共有している状態を意味する。ここで、上述した招待端末のように接続されていない第3端末を追加しようとする端末、または現在共有する機能以外に他の機能を共有するために追加する端末の接続状態は、当該機能に対して機能On状態を保持することが好ましい。
「機能オフ(Off)」状態は、当該機能に対して全ての参加端末間の接続が切れた状態を意味する。
「機能中止(Pause)」状態は、端末間機能共有のために参加端末との接続が確立しているものの、当該機能を共有していない状態を意味する。すなわち、他の機能を共有するために参加端末との接続が確立しているが、当該機能は参加端末と共有していない状態を指す。
「アウト(Out)」状態は、参加端末との全ての機能に対する接続が切れた状態を意味する。
ここで、機能Offまたは機能Pause状態は、ユーザの選択入力により機能On状態と相互転換が可能である。その一例として、機能On状態の機能に対するアイコンにユーザのタッチ入力がある場合、当該機能に対して機能Off/Pause状態に転換され、機能Off/Pause状態の機能に対するアイコンにユーザのタッチ入力がある場合、当該機能に対して機能On状態に転換される。
ただし、2つの参加端末が機能共有のためのみ接続された場合には、機能On状態から機能Pause状態に転換されず、機能Off状態における転換のみ可能にする。すなわち、参加端末のいずれか1つの端末で機能On状態にある機能に対するアイコンにユーザのタッチ入力がある場合、当該機能は機能Off状態に直ちに転換されて両端末の当該機能の接続は直ちに切れる。ここで、2つ以上の機能に対して接続された場合には、参加端末のいずれか1つの端末が2つの機能のいずれか1つの機能に対して機能Off状態に転換された場合、当該機能に対しては参加端末間接続が切れるが、その他の残りの機能に対しては機能On状態を保持することができる。
ただし、3つ以上の参加端末が機能共有のために接続された場合には、接続された機能の個数に応じて異なる動作が行われる。
1つの機能共有のためのみ接続された場合には、機能On状態から機能Pause状態に転換されずに機能Off状態における転換のみを可能にする。すなわち、上述したように、参加端末のいずれか一部の端末で機能On状態にある機能に対するアイコンにユーザのタッチ入力がある場合、当該機能は機能Off状態に直ちに転換され、当該一部の端末は残りの参加端末との当該機能に対する接続は直ちに切れる。ここで、その他の残りの参加端末は当該機能に対して機能On状態を保持する。
一方、2つ以上の機能共有のために接続された場合には、参加端末のうち一部端末が特定機能に対して機能Pause状態に転換されてもよく、この場合、機能Pause状態に転換されていないその他の機能に対しては機能On状態を保持する。すなわち、参加端末のうち一部の端末で機能On状態にある機能に対するアイコンにユーザのタッチ入力がある場合、当該機能は機能Pause状態に転換され、当該機能に対しては参加端末との接続が切れるが、その他の機能に対しては接続を保持する。ここで、機能Pause状態に転換された端末は、当該機能に対して機能On状態の参加端末に当該機能の共有を再要求してもよく、当該機能に対する接続が確立した場合、再び機能On状態に転換されてもよい。
ただし、3つ以上の参加端末が2つ以上の機能共有のために接続された場合にも元共有端末または制御機能を行う端末の接続状態は機能OFF状態に直ちに転換される。
より具体的に説明すると、画面、オーディオ、カメラ機能を共有する元共有端末で画面、オーディオ、カメラ機能に対するアイコンにユーザのタッチ入力がある場合、当該機能は機能Off状態に直ちに転換され、参加端末に画面、オーディオ、カメラ機能に対する接続が切れる。この場合、被共有端末も画面、オーディオ、カメラ機能に対して機能Off状態に転換されてもよい。また、制御機能を共有するために接続された端末のうち、相手端末を制御する端末で制御機能に対するアイコンにユーザのタッチ入力がある場合、当該機能は機能Off状態に直ちに転換され、制御されていた端末に制御権が復帰して自身を再び制御することができる。
また、3つ以上の参加端末が2つ以上の機能共有のために接続された場合、いずれか1つの端末の接続状態の転換は以外の参加端末の接続状態に影響を及ぼすことがある。例えば、発信端末の接続状態がOut状態に転換された場合、受信端末(発信端末以外の参加端末)の接続状態は機能Pause状態に転換されてもよい。この場合、機能Pause状態に転換された被共有端末のいずれか1つの端末が以外の参加端末に音声/映像通話を接続することになると、接続された端末は、音声/映像通話機能に対して機能On状態に転換されてもよい。また、自身の画面、オーディオ、カメラ機能を共有する元共有端末の接続状態がOut状態に転換された場合、被共有端末(元共有端末以外の参加端末)の接続状態は機能Off状態に転換されてもよい。また、自身の位置情報を共有する端末の接続状態がOut状態に転換された場合、位置情報の共有を受ける端末(位置情報を共有する端末以外の参加端末)は位置情報を共有する端末の位置情報を削除してもよい。
接続が確立して機能On状態にある参加端末は、参加端末と共有中である機能の他に共有するための更なる機能を追加してもよい。
端末間共有するための機能の追加は、いずれの端末でも関係なく参加端末であれば全て実行できる。ここで、参加端末が3つ以上である場合、いずれか1つの端末が機能追加要求時に参加端末のうち1つ以上の端末が受諾した場合に共有する機能が追加されてもよい。その後、受諾していない参加端末の接続状態は、当該機能に対して機能Pause状態に保持される。ただし、スケッチまたはテキストチャット機能を追加する場合、他参加端末の受諾なしで追加されてもよい。また、機能追加のための予め待機時間(例えば、30秒)が決定されてもよく、このような待機時間内に機能追加のための要求に対して参加端末からいずれの受諾がない場合、機能追加要求は取り消されて当該機能に対して接続状態が機能Off状態に保持される。
機能代替は、参加端末間の特定機能を共有中に参加端末のいずれか1つの端末が更なる機能を追加する場合、追加される機能と現在の共有中である機能が同時に行われることができないため、共有される機能が代替されることを意味する。この場合、参加端末間に共有中であった機能を終了して追加要求された機能を代替してもよい。機能転換は機能代替が行われる場合、すでに共有していた機能が補助機能に転換されることを意味する。例えば、参加端末間の映像通話の実行中に不透明な画面を用いる機能が追加される場合、共有中であった映像通話は新しく追加される機能に代替され、映像通話は音声通話に転換されてもよい。ここで、機能代替または機能転換は参加端末の全てが受諾した場合にのみ行われてもよく、いずれか1つの端末でも受諾していない場合、機能代替及び機能転換が実行されないこともある。また、機能代替または機能転換のために予め待機時間(例えば、30秒)が決定されてもよく、このような待機時間内に機能代替または機能転換のための要求に対して参加端末からいずれの受諾がない場合、機能代替または機能転換の要求は取り消されてもよい。また、機能代替または機能転換後の代替、あるいは転換された機能終了時に従来の機能へ自動復元できないことがある。
上述したように、2つの参加端末が機能共有のために接続された場合、参加端末のいずれか1つの端末が共有する機能を終了する場合、当該機能に対する接続状態は機能Off状態に転換される。また、3つ以上の参加端末が機能共有のために接続された場合、参加端末のいずれか1つの端末が当該機能を終了する場合、当該端末の当該機能に対する接続状態は機能Pause状態に転換されてもよい。また、3つ以上の参加端末が機能共有のために接続された場合、参加端末のうち一部が接続状態を機能Pause状態に切り替えて機能On状態にある参加端末が1つ以下になると、共有していた機能の接続状態が機能Off状態に転換されてもよい。また、3つ以上の参加端末が機能共有のために接続された場合、参加端末すべての接続状態がOut状態になり、1つの端末のみが残った場合は全ての機能に対する接続を終了する。
接続が確立して機能On状態にある参加端末は、参加端末ではない第3端末(被招待端末)を機能共有のために当該参加端末のグループに追加してもよい。
このように、招待端末が被招待端末を当該グループに追加する場合、招待端末は、被招待端末に現在のグループ内で共有中である全ての機能(接続状態が機能On状態、機能Pause状態の機能)に対して接続を要求する。被招待端末は、受信した要求に含まれた全ての機能に対して受諾してもよく、一部の機能に対してのみ共有を受諾してもよい。ここで、受諾した機能については機能On状態に転換され、受諾していない機能については機能Pause状態に転換される。ただし、元共有端末のオーディオ、画面、カメラを共有する間に元共有端末ではない参加端末が招待端末となる場合、すなわち、元共有端末ではない参加端末が第3端末を追加する場合には、端末追加に対して元共有端末に受諾を受けた後、受諾があった場合にのみ端末を当該グループに追加してもよい。
このように接続が確立された参加端末間にグループが形成されることで機能を共有することができるが、端末の各機能ごとにグループへ参加できる参加端末の数が制限されることがある。このように参加端末の数が制限された場合、参加される最大端末の数に達すると、当該グループの参加端末はこれ以上第3端末を追加することができない。
マルチ機能共有は、先に説明したように、端末間に複数の機能を共有して二種類の機能を共に使用することを意味する。このように、複数の機能をそれぞれの端末で共に利用するためには各機能による画面はレイアウトに構成してもよい。ここで、レイアウトは、定義された優先順位に応じて画面上に表示されてもよい。すなわち、低い優先順位を有するレイアウトから高い優先順位をレイアウトが上段に重なって画面に表示されてもよい。結局、ユーザによってタッチ入力が活性化するレイアウトは最も高い優先順位を有するレイアウトになる。このようなレイアウトの優先順位はユーザの設定に応じて変更され得る。
複数の機能による画面がレイアウトから構成されることによって、マルチ機能共有が不可能な機能が存在し得る。各端末で複数の機能を共に利用するためには複数の機能間に利用上の影響を及ぼさないことが好ましい。したがって、不透明画面が表示される機能間にはマルチ機能共有が実行されなくてもよい。例えば、画面共有機能、カメラ共有機能、位置共有機能、映像通話機能、制御機能は不透明画面が表示される機能であるため、相互間にはマルチ機能共有が不可能である。また、透明画面が表示される機能間にもマルチ機能共有が実行されてもよい。例えば、スケッチ機能、チャット機能は透明画面が表示される機能であるため、相互間にはマルチ機能共有が不可能である。また、画面レイアウトとは関係なく、同じ機能を含む複数の機能相互間にはマルチ機能共有が実行されなくてもよい。例えば、音声通話の機能を含む音声通話及び映像通話間、カメラ映像表示機能を含む映像通話及びカメラ共有機能間にはマルチ機能共有が不可能である。
このようにマルチ機能共有が不可能な機能によって上述したように機能転換または機能代替が行われる。例えば、映像通話中に映像通話とマルチ機能共有が不可能な画面共有機能、カメラ共有機能、位置共有機能、制御機能が選択される場合、映像通話は音声通話に機能転換されてもよい。また、チャット中にスケッチ機能が選択されると、相互マルチ機能共有が不可能な機能であるためチャットは終了し、スケッチ機能のみが共有されるよう機能代替されてもよい。ここで、コミュニケーション機能(音声通話、映像通話チャット)の利用中に他の機能が選択されると、マルチ機能共有が優先され、映像通話中に不透明画面が表示される機能が選択されると、上述したように映像通話が音声通話に機能転換される。ただし、コミュニケーション機能の他の機能を利用する間に他の機能が選択されると、同一の優先順位を有することから、マルチ機能共有が不可能な機能が選択されると、利用中の機能が選択された機能に機能が代替される。
一方、音声通話または映像通話中にオーディオ共有する場合、オーディオ共有機能のサウンドと音声通話または映像通話の音声は混合して送受信する。
エージェント(agent)(例えば、All IP agent)は、本発明に係る端末間機能を共有するサービスを提供するために複数の機能共有、機能代替(または、転換)、機能終了、複数の端末間機能共有などを制御する役割を行う。エージェントは、端末間共有して実行できる様々な機能に対するアイコン、設定メニューなどを提供する。このようなエージェントは、ハードウェア、ソフトウェアまたはその結合などによって実現される。
エージェントは、エージェント実行のためのキーまたはボタンにユーザ(タッチ)入力を受けて実行されてもよい。また、端末の動作によってもエージェントが実行されてもよく、例えば、ユーザが端末を握って端末を揺さぶったり、予め設定された特定ジェスチャー(または、動作)を行う場合にエージェントが実行される。
図2は、本発明の一実施形態に係る端末間機能を共有する方法を提供するためのエージェントを例示する図である。
図2Aは、端末間機能共有のために端末間接続される前のエージェントを例示する。待機状態でエージェントは各端末でポップアップ(pop−up)ウィンドウの形態に出力されてもよく、待機状態で参加端末間共有して実行できる機能をボタン(または、アイコン)形態に提供する。
図2Bは、端末間機能共有のために端末間接続が確立された後のエージェントを例示する。端末間接続された状態でエージェントも各端末でポップアップウィンドウの形態に出力されてもよく、接続が確立された状態で参加端末間共有して実行できる機能をボタン(または、アイコン)形態に提供する。また、接続が確立された状態でエージェントは、状態バーまたはサブエージェントメニューが追加されてもよい。図2Bでは、エージェントの上段に状態バーが追加され、または下段にサブエージェントメニューが追加されたことを例示する。状態バー及びサブエージェントメニューに対する詳細な説明は後述する。
図2A及び図2Bに示すように、エージェントは複数のウィンドウから構成されてもよく、ユーザの入力によってエージェントを構成する複数のウィンドウが転換して表示されてもよい。その一例として、エージェントに予め設定された特定のユーザのタッチ入力(例えば、横または縦方向にタッチドラッグ(drag)入力など)によって複数のウィンドウが転換されてもよい。また、エージェントの左側または右側に矢印のようなウィンドウ転換アイコンが表示されてもよく、この場合、当該アイコンにユーザのタッチ入力によって複数のウィンドウが転換される。
また、図2A及び図2Bに示す右側画面とエージェントには、参加端末間に共有して実行できる機能に対するボタン(または、アイコン)の他に、空いた空間に構成されてもよく、ユーザによって新しい機能のボタン(または、アイコン)が追加されてもよい。
図2Cは、エージェントウィンドウに表示される機能のボタン(または、アイコン)を例示する。各機能に対する端末の接続状態を表示するように当該機能に対するボタン(または、アイコン)のカラーまたは模様(または、文様)などを相異に表してもよい。
図3は、本発明の一実施形態に係る端末間機能を共有する方法を提供するためのエージェントを例示する他の図である。
図3(a)は、端末間機能共有のために端末間接続が確立された後のエージェントを例示する。エージェントの上段に状態バーは、ユーザの入力によって表示されてもよい。例えば、ユーザによって状態バーにタッチ入力、または状態バータッチ後の特定方向にドラッグ入力がある場合、状態バーは表示されてもよい。また、エージェントの下段にサブエージェントメニューは参加端末との全ての機能に対する接続を終了する全て終了ボタン、現在の参加端末から構成されたグループに参加端末の他に第3端末を追加するための人員追加ボタン、ボリューム(volume)ボタン、設定ボタンのほうに構成してもよい。ユーザによって人員追加ボタンが選択されると、単に第3端末を選択するためのエージェント内に構成されたアドレス帳が接続されてもよく、ユーザによって複数の端末(ユーザ)が選択されてもよい。
図3(b)は、状態バーが表示された状態を例示する。表示された状態バーでは現在のサービス共有のために接続されている各参加端末情報、各参加端末が接続された時刻または参加した後に接続中である時間を含む参加時間情報、各参加端末の現在の接続状態情報、各参加端末の接続状態に対する履歴情報などを表示してもよい。
図3(c)はボリューム調節ウィンドウを例示する。ボリューム調節ウィンドウは、図3(a)でサブエージェントメニューに表示されたボリュームボタンがユーザによって選択されたとき端末に表示されてもよい。ユーザは、ボリューム調節ウィンドウを用いてオーディオ共有または音声/映像通話ボリュームなどを調節してもよい。
図3(d)は設定メニューウィンドウを例示する。設定メニューウィンドウは、図3(a)でサブエージェントメニューに表示された設定ボタンがユーザによって選択されたとき端末に表示されてもよい。設定メニューウィンドウを用いてユーザには端末間機能共有を行うときユーザ便宜のために各種情報が提供されたり、または各種設定を変更してもよい。
図4は、本発明の一実施形態に係るエージェント内の設定メニューウィンドウを例示する図である。
図3(a)において、ユーザによって設定ボタンが選択されると、図4の図4(a)〜図4(d)のような設定メニューウインドウが表示される。
図4(a)は、設定メニューウィンドウで友人メニューを例示する。友人メニューとして友人アドレス帳が表示されてもよく、機能共有サービス利用可能な友人が表示されてもよい。また、現在の機能共有サービスを利用しているユーザと機能共有サービスを使用していないユーザを区分して表示してもよい。
図4(b)は、設定メニューウィンドウで履歴メニューを例示する図である。履歴メニューでは、現在まで機能共有サービスを共に利用したユーザの目録を表示してもよく、ユーザによって特定ユーザが選択された場合、右側のように当該ユーザと機能共有サービスを利用した履歴、例えば、いつ、どのような機能を共有するかなどに関する情報を表示してもよい。
図4(c)は、設定メニューウィンドウで機能追加メニューを例示する。機能追加メニューでは、エージェントメニューで機能ボタンが構成されていない空き区間に新しい機能を追加するよう様々な機能に関する情報が提供されてもよい。ユーザは、機能追加メニューとして提供される様々な機能のうち特定機能を追加しようとする場合、当該機能を選択(例えば、当該の機能ボタンタッチドラッグ)して空き区間に追加した後、エージェントを介して追加された機能を参加端末と共に共有することができる。
図4(d)は、設定メニューウィンドウで設定メニューを例示する。設定メニューは、機能共有サービスまたはエージェントプログラムに対する公知事項、機能共有サービスの利用方法に対するヘルプ、特定条件に満足する場合にアラームを設定するためのアラーム設定、テキストチャットウィンドウの透明度を調節するためのチャット透明度調整、スケッチウィンドウの透明度を調節するためのスケッチ透明度調整などで構成されてもよい。
図5は、本発明の一実施形態に係る端末間機能共有方法を例示する図である。
図5を参照すると、第1端末は、エージェント呼出イベントの発生を検出する(S501)。すなわち、ユーザがエージェント実行のためのキーまたはボタンに対する(タッチ)入力を行ったり、ユーザが第1端末を揺さぶる動作、または予め設定されたジェスチャー動作を行うと、第1端末はエージェント呼出イベントの発生を検出する。
次に、エージェントが実行された状態で、第1端末はユーザから第1機能選択が入力されると(S503)、第2端末に第1機能共有を要求するメッセージを送信する(S505)。
第1端末から第1機能共有要求メッセージを受信した第2端末は、第1機能共有を受諾するか否かに対するポップアップウィンドウを出力して受諾可否を判断する(S507)。
ステップS507において、第2端末がユーザから第1機能共有の拒否が入力されると、これ以上第1機能共有に対する手続を実行することなく手続が終了する(S509)。
一方、ステップS507において、第2端末がユーザから第1機能共有の受諾が入力されると、第2端末は、第1端末に第1機能共有を受諾するための確認メッセージを送信する(S511)。
次に、第1機能共有を受諾する確認メッセージを受信した第1端末は、第2端末と接続を確立してステップS503で選択された第1機能を共有する(S513)。ここで、第2端末の機能共有を受諾するための確認メッセージは、第1端末に送信されないことがあり、この場合、第2端末の受諾入力により自動で第1端末と第2端末はステップS503で選択された第1機能を共有してもよい。すなわち、ステップS511は省略される。
その後、第2端末と第1機能を共有中である第1端末は、エージェント呼出イベントの発生を検出すると(S515)、エージェントを実行させて、エージェントが実行された状態で第1端末がユーザから第2機能選択が入力されると(S517)、第2端末に第2機能共有を要求するメッセージを送信する(S519)。
第1端末から第2機能共有要求メッセージを受信した第2端末は、第2機能共有を受諾するか否かに対するポップアップウィンドウを出力して受諾可否を判断する(S521)。
ステップS521において、第2端末がユーザから第2機能共有の拒否が入力されると、これ以上第2機能共有に対する手続を実行することなく第1端末と第1機能の共有のみを保持する(S523)。
一方、ステップS521において、第2端末がユーザから第2機能共有の受諾が入力されると、第2端末は、第1端末に第2機能共有を受諾するための確認メッセージを送信する(S525)。
次に、第2機能共有を受諾する確認メッセージを受信した第1端末は、第2端末とステップS503で選択された第1機能とステップS517で選択された第2機能を共有する(S527)。ここで、第2端末の機能共有を受諾するための確認メッセージは第1端末に送信されないことがあり、この場合、第2端末の受諾入力により自動で第1端末と第2端末はステップS503で選択された第1機能と、ステップS517で選択された第2機能を共有してもよい。すなわち、ステップS525は省略される。
図6は、本発明の一実施形態に係る端末間機能共有方法を例示する図である。
図6を参照すると、第1端末はエージェント呼出イベントの発生を検出する(S601)。すなわち、ユーザがエージェント実行のためのキーまたはボタンに対する(タッチ)入力を行ったり、ユーザが第1端末を揺さぶる動作または予め設定されたジェスチャー動作を行うと、第1端末はエージェント呼出イベントの発生を検出する。
次に、エージェントが実行された状態で、第1端末はユーザから第1機能選択が入力されると(S603)、第2端末に第1機能共有を要求するメッセージを送信する(S605)。
第1端末から第1機能共有要求メッセージを受信した第2端末は、第1機能共有を受諾するか否かに対するポップアップウィンドウを出力して受諾可否を判断する(S607)。
ステップS607において、第2端末がユーザから第1機能共有の拒否が入力されると、これ以上第1機能共有に対する手続を実行することなく手続が終了する(S609)。
一方、ステップS607において、第2端末がユーザから第1機能共有の受諾が入力されると、第2端末は、第1端末に第1機能共有を受諾するための確認メッセージを送信する(S611)。
次に、第1機能共有を受諾する確認メッセージを受信した第1端末は、第2端末と接続を確立してステップS603で選択された第1機能を共有する(S613)。ここで、第2端末の機能共有を受諾するための確認メッセージは第1端末に送信されないことがあり、この場合、第2端末の受諾入力により自動で第1端末と第2端末はステップS603で選択された第1機能を共有してもよい。すなわち、S611ステップは省略される。
その後、第1端末から第1機能が共有される第2端末はエージェント呼出イベントの発生を検出すると(S615)、エージェントを実行させて、エージェントが実行された状態で、第2端末はユーザから第2機能選択が入力されると(S617)、第1端末に第2機能共有を要求するメッセージを送信する(S619)。
第2端末から第2機能共有要求メッセージを受信した第1端末は、第2機能共有を受諾するか否かに対するポップアップウィンドウを出力して受諾可否を判断する(S621)。
ステップS621において、第1端末がユーザから第2機能共有の拒否が入力されると、これ以上第2機能共有に対する手続を実行することなく第2端末と第1機能の共有のみを保持する(S623)。
一方、ステップS621において、第1端末がユーザから第2機能共有の受諾が入力されると、第1端末は、第2端末に第2機能共有を受諾するための確認メッセージを送信する(S625)。
次に、第2機能共有を受諾する確認メッセージを受信した第2端末は、第1端末からステップS603で選択された第1機能を共有しながら、ステップS617で選択された第2機能を第1端末と共有する(S627)。ここで、第1端末の機能共有を受諾するための確認メッセージは第2端末に送信されないことがあり、この場合、第1端末の受諾入力により自動で第1端末と第2端末はステップS603で選択された第1機能とステップS617で選択された第2機能を共有してもよい。すなわち、ステップS625は省略される。
図7は、本発明の一実施形態に係る端末間機能共有方法を例示する図である。
図7を参照すると、第2端末が第1端末から機能が共有されて動作を行う間に、エージェント呼出イベントの発生を検出する(S701)。すなわち、ユーザがエージェント実行のためのキーまたはボタンに対する(タッチ)入力を行ったり、ユーザが第2端末を揺さぶる動作または予め設定されたジェスチャー動作を行うと、第2端末はエージェント呼出イベントの発生を検出する。
エージェントが実行された状態で、第2端末がユーザから第1端末より共有される機能を共有するための端末追加が入力されると(S703)、第2端末は、第1端末に端末追加を要求するためのメッセージを送信する(S705)。
第2端末から端末追加を要求するメッセージを受信した第1端末は、端末追加を受諾するか否かに対するポップアップウィンドウを出力して受諾可否を判断する(S707)。
ステップS707において、第1端末がユーザから端末追加を拒否する入力を受けると、これ以上端末追加に対する手続を実行することなく手続が終了する(S709)。
一方、ステップS707において、第1端末がユーザから端末追加の受諾が入力されると、第1端末は、第2端末に端末追加を受諾するための確認メッセージを送信する(S711)。
第1端末から端末追加を受諾するメッセージを受信した第2端末は、第3端末に機能共有を要求するメッセージを送信する(S713)。
第2端末から機能共有要求メッセージを受信した第3端末は、機能共有を受諾するか否かに対するポップアップウィンドウを出力して受諾可否を判断する(S715)。
ステップS715において、第3端末がユーザから機能共有の拒否が入力されると、これ以上機能共有に対する手続を実行することなく手続が終了される(S717)。
一方、ステップS715において、第3端末がユーザから機能共有の受諾が入力されると、第3端末は、第2端末に機能共有を受諾するための確認メッセージを送信する(S719)。
次に、機能共有を受諾する確認メッセージを受信した第2端末は、第3端末と接続を確立して第1端末から共有される機能を共有する(S721)。ここで、第3端末の機能共有を受諾するための確認メッセージは第2端末に送信されないことがあり、この場合、第3端末の受諾入力により自動で第2端末と第3端末は第1端末から共有される機能を共有してもよい。すなわち、ステップS719は省略される。
一方、上述した実施形態と互いに異なるように、第3端末がユーザから機能共有の受諾が入力されると、第3端末は、第1端末と接続を確立して第1端末から機能を直接共有されてもよい。この場合、ステップS719で第3端末が機能共有確認メッセージを第1端末に送信してもよく、ステップS721で第1端末が第3端末に直接機能を共有してもよい。
図8は、本発明の一実施形態に係る端末間機能共有方法を例示する図である。
図8を参照すると、第1端末が第2端末及び第3端末と第1機能及び第2機能を共有して動作を行う間に、第3端末はエージェント呼出イベントの発生を検出する(S801)。すなわち、ユーザがエージェント実行のためのキーまたはボタンに対する(タッチ)入力を行ったり、ユーザが第3端末を揺さぶる動作、または予め設定されたジェスチャー動作を行うと、第3端末はエージェント呼出イベントの発生を検出する。
エージェントが実行された状態で、第3端末がユーザから第1機能及び第2機能のいずれか1つの機能中止(Pause)が入力されると(S803)、第3端末は、第1端末に第1機能及び第2機能のうち選択された機能の共有を中止するためのメッセージを送信する(S805)。次に、第1端末は、第3端末に第1機能または第2機能のうち中止が選択されないいずれか1つの機能のみを共有する(S807)
その後、第3端末がユーザから中止された機能を再共有されるために当該機能の選択が入力されると(S809)、第3端末は、第1端末に中止された機能に対して再共有を要求するメッセージを送信する(S811)。
第3端末から中止された機能に対する再共有を要求するメッセージを受信した第1端末は、中止された機能を再共有するか否かに対するポップアップウィンドウを出力して受諾可否を判断する(S813)。
ステップS813において、第1端末がユーザから中止された機能の再共有の拒否が入力されると、これ以上中止された機能に対する再共有手続を実行することなく手続が終了する(S815)。
一方、ステップS813において、第1端末がユーザから中止された機能の再共有の受諾が入力されると、第1端末は、第3端末と中止された機能を再共有する(S817)。すなわち、第1端末は、第1機能及び第2機能を第3端末に共有する。
図9は、本発明の一実施形態に係るリアルタイム画面共有チャット中である各端末の画面を例示する図である。
図9は、リアルタイム画面共有チャット中半透明チャットウインドウが表示される状態を例示し、図9(a)は端末1の画面を例示し、図9(b)は端末2の画面を例示する。
図9を参照すると、端末1と端末2がリアルタイム画面共有チャットのための接続が完了した後、端末1の画面910及び端末2の画面920は、端末1の画面(すなわち、共有中である端末のホーム画面)が表示され、端末1の画面に重なってリアルタイム画面共有チャットのうちチャット内容を表示するための半透明チャットウィンドウ(レイヤ)とユーザのキー入力のための仮想キーパッドウィンドウ(レイヤ)が表示されてもよい。半透明に表示されるチャットウィンドウは、チャット中である各端末から入力されるチャットメッセージ(内容)と、チャットメッセージの入力時間などを端末ごとに区分して時間順に表示するウィンドウを意味する。端末が複数のレイヤを1つの画面に重なって出力してもよく、この場合、共有映像を表示するレイヤの上段にチャットウィンドウを表示するレイヤを表示してもよい。半透明チャットウィンドウは、リアルタイム画面共有チャットのための接続が完了すると、接続完了前にチャット内容を続いて表示する。すなわち、リアルタイム画面共有チャット接続の前後にチャットウィンドウに表示されるチャット内容は同一に表示され、リアルタイム画面共有チャットを接続する後チャット内容が半透明に表示される点で差が存在するだけである。ここで、ホーム画面(または、ホームスクリーン映像)は、アプリケーションの実行画面が表示されない状態の映像を意味する。すなわち、ロック画面状態の解除時に初めて表示される状態に当該し、また、端末がアプリケーションを実行しているものの、画面上にアプリケーションに対する出力映像が表示されない状態も当該する。
端末1の画面910及び端末2の画面920にはチャットウィンドウ制御アイコン911、921、共有状態表示領域912、922、リアルタイム画面共有チャット関連アイコン913、923などが表示される。チャットウィンドウ制御アイコン911、921は、端末画面上で半透明チャットウィンドウを表示したり、半透明チャットウィンドウを隠すよう(あるいは、除去、画面上に表示せず)制御する機能を行う。すなわち、半透明チャットウインドウが表示される状態でユーザからチャットウィンドウ制御アイコン911、921にタッチが入力されると、半透明チャットウィンドウが隠され、半透明チャットウィンドウが隠されて表示されない状態でユーザからチャットウィンドウ制御アイコン911、921にタッチが入力されると、半透明チャットウインドウが表示される。したがって、端末間リアルタイム画面共有チャットを行う間にチャットウィンドウ制御アイコン911、921は常に表示されている。ここで、表示中である半透明チャットウィンドウが隠されるとき全体半透明チャットウィンドウがチャットウィンドウ制御アイコン911、921に吸い込まれる(あるいは、挿入される)形態で隠されてもよい。
共有状態表示領域912、922は、現在の端末がリアルタイム画面共有の進行中であるか否かの状態と、リアルタイム画面共有を進行している相手端末がテキストや共有状態アイコンなどで表示される。例えば、端末1の共有状態表示領域912は、相手端末(端末2/ユーザB)に自身の画面を共有中であるとの状態を示している。また、リアルタイム画面が共有されている端末(端末2)の場合、画面を共有している相手端末(端末1)の画面を制御できる権限を有するため、共有状態表示領域922は、相手端末の画面を制御できる権限を相手端末から取得したかの状態、画面制御対象となる相手端末がテキストや共有状態アイコンなどに表示されてもよい。例えば、端末2の共有状態表示領域922は、相手端末(端末1/ユーザA)の画面を制御できる権限を取得した状態であることを示している。このように、リアルタイム画面共有(あるいは、画面制御)の相手端末を表示することによって、当該端末が相手端末の他の端末(例えば、端末3)とチャットを行うとしても現在に進行中であるリアルタイム画面共有(あるいは、画面共有)の相手端末をユーザが容易に認知することができる。また、共有状態表示領域912、922は、ユーザから左側、右側方向にのタッチドラッグ(または、フリッキングタッチ(flicking−touch))の入力により折り畳まれたり開かれたりする状態で表示されてもよい。例えば、図9に示す例示は開かれた状態を表示し、折り畳まれた状態では共有状態アイコンのみが表示されてもよい。
リアルタイム画面共有チャット関連アイコン913、923は、リアルタイム画面共有チャット関連または画面共有の他の機能共有のためのメニュー(以下、「リアルタイム機能共有チャットメニュー」と称する)を提供する。すなわち、ユーザからリアルタイム画面共有チャット関連アイコン913、923にタッチが入力されると、端末(端末1及び端末2)はチャット中に他の機能共有のためのメニューを提供することができる。ここで、リアルタイム画面共有チャット中である両端末のいずれか1つの端末で画面共有チャット関連アイコン913、923にタッチが入力されると、入力された端末ではメニューが表示されながらリアルタイムで共有中である共有画面映像の出力が一時的に中断、あるいはリアルタイムで共有中である共有画面映像の最後の映像がスチール(still)イメージとして表示されてもよい。
端末1に表示されるリアルタイム機能共有チャットメニューは、動画共有、ニュース共有、音楽共有、地図共有、写真/映像共有、画面上に手書きの文字などの機能を含むリアルタイム共有項目と頻繁に使用するアプリケーションを登録し、登録されたアプリケーションを直ちに実行する機能、リアルタイム共有をしばらく一時停止(または、一時停止解除)する機能、現在の画面をキャプチャーしてイメージファイル形態で格納する機能、リアルタイム機能共有チャットサービスに関連する設定(例えば、半透明チャットウィンドウの透明度を調節)する機能などを含んでもよい。また、このようなメニューを表示するアイコン形態のイメージを共に表示してもよい。
端末1が表示されたリアルタイム機能共有チャットメニューを用いてユーザから動画共有が選択されると、端末1は動画アプリケーションを駆動させてユーザ選択による動画を再生する。これと同時に、端末2の画面には端末1の動画アプリケーション画面が同一に表示される。端末2の画面に端末1の動画アプリケーション画面が表示されるとき、当該動画によるオーディオもリアルタイムで端末2で同一に出力される。また、端末1がユーザからニュース共有が選択されると、端末1は内蔵されたインターネットブラウザーアプリケーションを駆動させ、これと同時に端末2の画面には端末1のインターネットブラウザーアプリケーション画面が同一に表示される。また、端末1がユーザから音楽共有が選択されると、端末1は内蔵された音楽再生アプリケーションを駆動させ、これと同時に端末2の画面には端末1の音楽再生アプリケーション画面が同一に表示される。そして、端末1がユーザの選択による音楽を再生させると、これと同時に端末1に再生するオーディオはリアルタイムで端末2に伝達されて出力される。また、端末1がユーザから地図共有が選択されると、端末1は内蔵された地図アプリケーションを駆動させ、これと同時に端末2の画面には端末1の地図アプリケーション画面が同一に表示される。また、端末1が写真/映像共有が選択されると、端末1は内蔵されたギャラリーアプリケーションを駆動させ、これと同時に端末2の画面には端末1のギャラリーアプリケーション画面が同一に表示される。また、端末1が画面上に手書きの文字が選択されると、端末1は内蔵されたり別に新しくインストールされたスケッチアプリケーションを駆動させ、これと同時に端末2の画面には端末1のスケッチアプリケーション画面が同一に表示される。そして、端末1または端末2が画面にタッチ、ドラッグなどの入力を介して手書きの文字を描写する映像はリアルタイムで端末1及び端末2の画面に同一に表示される。このように、端末1がユーザから入力/操作によって変わる画面の内容はリアルタイムで端末2に伝達されて端末2の画面に同一に表示される。
端末2に表示されるリアルタイム機能共有チャットメニューは、端末1の画面を制御できる権限を要求する機能、共有されている画面を現在の端末2の画面大きさと比べて調節する機能(例えば、共有されている画面映像の解像度(あるいは、大きさ)の比率を調節して現在の端末2の画面の大きさに合わせたり、オリジナル映像の解像度(あるいは、大きさ)と同一に合わせるように調節し、リアルタイム共有をしばらく一時停止(または、一時停止解除)する機能、現在の画面をキャプチャーしてイメージファイル形態に格納する機能、画面上に手書きの文字機能、リアルタイム機能共有チャットサービスに関連する設定(例えば、半透明チャットウィンドウの透明度を調節)する機能などを含んでもよい。また、このようなメニューを表示するアイコン形態のイメージを共に表示してもよい。
特に、端末1あるいは端末2が前述したメニューのうちユーザからリアルタイム共有を一時停止する機能が選択されると、選択された端末は相手端末にリアルタイム共有を一時停止するというメッセージを送信し、両端末はリアルタイム共有機能を中断する。すなわち、端末1が当該機能が選択されたり、端末2からリアルタイム共有を一時停止するメッセージを受信すると、端末2にリアルタイムで送信した自身の画面映像の送信を中断する。その後、リアルタイム共有を一時停止する機能が選択された端末(端末1あるいは端末2)が上述したメニューのうちリアルタイム共有の一時停止を解除する機能を選択すると、選択された端末は相手端末にリアルタイム共有に対する一時停止を解除するメッセージを送信し、両端末はリアルタイム共有機能を再開始する。この場合、先に説明したように、リアルタイム共有が可能な端末であるか否かを確認する手続及び/またはリアルタイム共有を要求/受諾する手続を実行せず、リアルタイム共有に対する一時停止を解除するメッセージによりリアルタイム共有機能を直ちに再開始することができる。
図10は、本発明の一実施形態に係るリアルタイム画面を提供する端末(端末1)の画面を例示する図である。
図10を参照すると、端末1と端末2がリアルタイム画面共有チャットのための接続が完了した後、端末1の画面には端末1の画面(すなわち、共有中である端末のホーム画面)が表示され、端末1の画面に重なって半透明チャットウィンドウ(レイヤ)が表示される(S1010)。その後、端末1がチャットウィンドウ制御アイコン1011にタッチ入力があると、端末1に表示中である全体半透明チャットウィンドウがチャットウィンドウ制御アイコン1011に吸い込まれる(あるいは、挿入される)形態で隠され(S1020)、端末1の画面は半透明チャットウィンドウが隠された状態で端末1の画面(すなわち、共有中である端末のホーム画面)が表示される(S1030)。その後、端末1がチャットウィンドウ制御アイコン1011にタッチが入力されると(S1040)、再び端末1の画面には端末1の画面(すなわち、共有中である端末のホーム画面)が表示され、端末1の画面に重なって半透明チャットウィンドウ(レイヤ)が表示される(S1050)。
図11は、本発明の一実施形態に係るリアルタイム画面共有チャット方法を例示する図である。
図11を参照すると、端末1は端末2にリアルタイム画面共有チャットを要求するためのメッセージを送信する(S1101)。ここで、端末1と端末2がチャット中である状況の場合、端末1が端末2にリアルタイム画面共有チャットを要求することはリアルタイム画面共有を要求する意味として解釈されてもよい。また、端末1と端末2がリアルタイム画面共有中である状況の場合、端末1が端末2にリアルタイム画面共有チャットを要求することはチャットを要求する意味として解釈されてもよい。
端末1からリアルタイム画面共有チャット要求メッセージを受信した端末2は、端末2がリアルタイム画面共有チャットが可能であるか否かを判断する(S1103)。ここで、端末2は、端末2にリアルタイム共有チャットの動作を支援するためのアプリケーション(あるいは、プログラム)がインストールされているか否かに応じて、リアルタイム画面共有チャットが可能であるか否かを判断する。
ステップS1103において、端末2がチャット中にリアルタイム画面共有動作が可能ではない場合、端末2はリアルタイム画面共有チャット動作が不可能であるという応答メッセージを端末1に送信し、端末2からリアルタイム画面共有チャット動作が不可能である応答メッセージを受信した端末1は、リアルタイム画面共有チャット不可のポップアップウィンドウを表示する(S1105)。その後、リアルタイム画面共有チャットの手続が終了する。
一方、ステップS1103において、端末2がチャット中にリアルタイム画面共有動作が可能な場合、端末2はリアルタイム画面共有チャットの要求ポップアップウィンドウを表示する(S1107)。リアルタイム画面共有チャットの要求ポップアップウィンドウを表示した端末2は、ユーザからリアルタイム画面共有チャットの受諾有無が入力される(S1109)。
ステップS1109において、端末2がユーザからリアルタイム画面共有チャットの拒否が入力されると、端末2はリアルタイム画面共有チャットを拒否するという応答メッセージを端末1に送信し、端末1は端末2からリアルタイム画面共有チャットを拒否する応答メッセージを受信すると、リアルタイム画面共有チャットの拒否ポップアップウィンドウを表示する(S1111)。その後、リアルタイム画面共有チャットの手続が終了する。
一方、ステップS1109において、端末2がユーザからリアルタイム画面共有チャットの受諾が入力されると、端末2はリアルタイム画面共有チャットを受諾するという応答メッセージを端末1に送信することで端末1と端末2が接続し、端末1と端末2は端末1の画面をリアルタイム共有してチャットを行う(S1113、S1115)。すなわち、端末1と端末2の各画面には、リアルタイム共有チャットが開始するとのポップアップウインドウが表示され、端末1の画面に出力される映像がストリーミング方式で端末2にリアルタイムに伝えられて共有され、端末1と端末2のチャットウィンドウが共有される映像に重なって半透明に表示されてもよい。一方、上述したように端末1と端末2がリアルタイム画面共有中である場合、端末1が端末2にリアルタイム画面共有チャットを要求する場合には、すでに端末1の画面に出力される映像がストリーミング方式で端末2にリアルタイムに伝えられて共有される途中であるため、共有中であった映像に重なって端末1と端末2のチャットウィンドウが半透明に表示される。ここで、端末2に伝達される映像は、端末1から出力されるチャットウィンドウ及び制御メニュー(アンテナ受信感度表示、時間表示、電力残量表示など)が除外されてもよい。このように、第1端末の画面映像を共有する間に第1端末のユーザが第1端末の操作(メニュー、アプリケーション実行など)を行うと、第1端末の操作に応じて変更される画面が第2端末にリアルタイムで共有される。
一方、ステップS1103は、リアルタイム画面共有チャットを支援するためのサービスサーバで行われる。すなわち、ステップS1101で、端末1は、サービスサーバにリアルタイム画面共有チャットを要求するためのメッセージを送信し、端末1からリアルタイム画面共有チャット要求メッセージを受信したサービスサーバは、端末2がリアルタイム画面共有チャットが可能であるか否かを判断する。そして、サービスサーバが端末2がチャット中にリアルタイム画面共有動作が可能ではないと判断する場合、サービスサーバは、端末2はリアルタイム画面共有チャット動作が不可能である応答メッセージを端末1に送信してもよい。一方、サービスサーバは端末2がチャット中にリアルタイム画面共有動作が可能であると判断する場合、サービスサーバは、端末1から受信したリアルタイム画面共有チャット要求メッセージを端末2に伝達し、端末2は、サービスサーバからリアルタイム画面共有チャット要求メッセージを受信すると、ステップS1107のようにリアルタイム画面共有チャットの要求ポップアップウィンドウを表示してもよい。
一方、図11の例示では、2つの端末を仮定してリアルタイム画面共有チャット方法について説明したが、先に説明したように2つを超過する複数の端末の間にも本発明に係るリアルタイム画面共有チャットを実行することができる。すなわち、端末1の画面に出力される映像がストリーミング方式で複数の端末にリアルタイムに伝達されて共有し、端末1と複数の端末の間のチャットウィンドウが共有される映像に重なって半透明に表示されてもよい。この場合、端末2が複数の端末で構成される他には、図11の例示と同じ方法が適用されてもよい。具体的に、ステップS1103は、複数の端末がそれぞれ(あるいは、サービスサーバが複数の端末それぞれを対象に)リアルタイム画面共有チャットが可能であるか否かを判断し、ステップS1109は、リアルタイム画面共有動作が可能な端末のみを対象にして行われる。また、ステップS1105及び/またはステップS1111でポップアップウィンドウは複数の端末に対するメッセージを共に表示してもよい。
図12は、本発明の一実施形態に係る映像通話中にアプリケーションのインタフェースを表示する方法を示したフローチャートである。
図12を参照すると、映像通話中にアプリケーションのインタフェースを表示する方法は、映像通話アプリケーションの実行に応答して映像通話の実行に必要な端末のリソースを活性化する(S1210)。
映像通話アプリケーションの実行に応答して映像通話の実行に必要な端末のリソースを活性化するステップは、端末がユーザによる映像通話アプリケーションの実行命令を受信し、映像通話アプリケーションの実行命令に応じて映像通話アプリケーションの実行に要求される端末のリソースを活性化するステップである。映像通話アプリケーションの実行に要求される端末のリソースは、映像センサ、音声センサ、映像出力部及び音声出力部を備えてもよい。
映像通話中にアプリケーションのインタフェースを表示する方法は、映像通話アプリケーションの実行中に他のアプリケーションの実行有無をモニタリングする(S1220)。
他のアプリケーションとは、映像通話途中に端末のユーザが実行したチャット、写真送信、画面共有、サウンド共有、位置共有、スケッチなどのアプリケーションを意味する。特に、映像通話を通したコミュニケーションをより円滑に行うためのアプリケーションを意味する。映像通話アプリケーションの実行中に他のアプリケーションの実行有無をモニタリングするステップは、映像通話途中に端末が他のアプリケーションの実行命令を受信するか否かに応じて他のアプリケーションの実行有無をモニタリングしてもよい。
映像通話中にアプリケーションのインタフェースを表示する方法は、実行されたアプリケーションの類型に応じて映像通話の画面上にアプリケーションに対応する画面をオーバーレイする(S1230)。
アプリケーションの類型とは、映像通話中に実行されるアプリケーションのディスプレイの特性、ディスプレイの透明度、インタフェースの動作、または映像通話画面とのオーバーレイ可能性などを意味する。映像通話の画面上にアプリケーションに対応する画面をオーバーレイするステップは、このようなアプリケーションの類型に応じてオーバーレイ実行方式を別にしてもよい。例えば、アプリケーションのディスプレイを透明に表示してもよく、映像通話画面とのオーバーレイが可能な場合、映像通話の画面上にアプリケーションの実行画面を透明に表示してもよい。
端末の画面にオーバーレイされたアプリケーションの実行画面は、端末ユーザによって変形されてもよい。例えば、アプリケーションの実行画面をドラッグする場合、オーバーレイされたアプリケーションの実行画面はページがめくられる形態でめくり上げられ、映像通話画面が鮮明に表示される。めくり上げられたアプリケーションの実行画面はこのような状態を通知するために端末の画面にグラフィック効果で処理してもよい。例えば、端末画面の上段にめくられている紙形態のように表示してもよい。このような過程は、端末のユーザが直観的に認知できるようにアニメーションで処理してもよい。
めくり上げられたアプリケーションの実行画面は、端末ユーザの反対動作によって再び端末の画面に表示されてもよい。例えば、端末のユーザが端末画面の上段に巻かれている紙形態を下方向にドラッグする場合、アプリケーションの実行画面はドラッグ動作方向に応じて再び端末の画面に表示されてもよい。このような過程は、端末のユーザが直観的に認知できるようにアニメーションで処理されてもよい。
図13は、オーバーレイされたチャット画面がドラッグ動作によってめくり上げられる過程を示した端末画面のスクリーンショットである。
図13を参照すると、映像通話の画面上に半透明のチャット画面がオーバーレイされ、チャット画面の下段の隅が折り畳まれている。端末のユーザがチャット画面の下段の隅をドラッグすることを示している。半透明のチャット画面は、端末ユーザのドラッグ動作によってドラッグ動作の方向にめくり上げられる。このような動作は、端末ユーザが直観的に認識可能なようにアニメーションのように表現されてもよい。
図14は、めくり上げられたチャット画面が端末の上段に示される端末画面のスクリーンショットである。
図14を参照すると、チャット画面が巻かれている紙形態のグラフィック効果により端末の上段に示される。めくり上げられた紙形態は、グラフィック効果の例示に過ぎず、グラフィック効果には端末画面の一部にチャット画面が圧縮されていることが分かる全ての視覚的な処理を含んでいる。めくり上げられた紙形態のチャット画面を画面の上段に表示するために、映像通話画面を端末画面の下段に移動してもよい。または、映像通話画面を縮小してめくり上げられた紙形態のチャット画面を除いた端末画面の面積に表示してもよい。
端末のユーザがめくり上げられたチャット画面を再び表示する場合、チャット画面をめくり上げた前と同じ形態に映像通話の画面上に半透明チャットウィンドウをオーバーレイして表示してもよい。
図15は、本発明の一実施形態に係る映像通話中にアプリケーションのインタフェースを表示する方法を示したフローチャートである。
図15を参照すると、映像通話中にアプリケーションのインタフェースを表示する方法は、アプリケーションの実行に応答してアプリケーションの実行に必要な端末のリソースを活性化する(S1510)。
アプリケーションの実行に応答して、アプリケーションの実行に必要な端末のリソースを活性化するステップは、端末がユーザによるアプリケーションの実行命令を受信し、アプリケーションの実行命令に応じてアプリケーションの実行に要求される端末のリソースを活性化するステップである。アプリケーションの実行に要求される端末のリソースは、映像センサ、音声センサ、映像出力部及び音声出力部を含んでもよい。
映像通話中にアプリケーションのインタフェースを表示する方法は、アプリケーションの実行中に映像通話アプリケーションの実行有無をモニタリングする(S1520)。
アプリケーションとは、チャット、写真送信、画面共有、サウンド共有、位置共有、スケッチなどのアプリケーションを意味する。アプリケーションの実行中に映像通話アプリケーションの実行有無をモニタリングするステップは、アプリケーションの実行途中に端末が映像通話アプリケーションの実行命令を受信するか否かに応じて映像通話アプリケーションの実行有無をモニタリングしてもよい。
映像通話中にアプリケーションのインタフェースを表示する方法は、実行されたアプリケーションの類型に応じて映像通話の画面上にアプリケーションに対応する画面をオーバーレイする(S1530)。
アプリケーションの類型とは、映像通話途中に実行されるアプリケーションのディスプレイの特性、ディスプレイの透明度、インタフェースの動作または映像通話画面とのオーバーレイの可能性などを意味する。映像通話の画面上にアプリケーションに対応する画面をオーバーレイするステップは、このようなアプリケーションの類型に応じてオーバーレイの実行方式を別にしてもよい。例えば、アプリケーションのディスプレイを透明に表示する場合、映像通話の画面上にアプリケーションの実行画面を透明に表示してもよい。半透明にオーバーレイされたアプリケーションの画面に対する制御方法は、図12に対する説明に記述されているため詳細な説明は省略する。
図16は、本発明の一実施形態に係る機能共有方法を示したフローチャートである。
図16を参照すると、本発明の機能共有方法は、マスタ権限を有するユーザを選択する(S1610)。
マスタ権限を有するユーザは、共通の接続を有する複数のユーザのうち最も包括的な権限を有するユーザである。マスタ権限を有するユーザは、2人以上のユーザと機能共有を開始したユーザであるか、1:1音声通話または映像通話の使用中に他のユーザを追加して1:N多者間の音声通話または映像通話に切り替えたユーザであってもよい。例えば、2人のユーザが機能を共有する状態である場合、機能を共有するユーザはそれぞれ自在に新しい共有機能を追加してもよい。ただし、3人以上のユーザが機能を共有する状態である場合、マスタ権限を有するユーザが指定されてもよく、マスタ権限を有するユーザのみ追加できる共有機能が存在してもよい。
本発明の機能共有方法は、機能共有要求を受信する(S1620)。
機能共有は、特定機能を複数のユーザ間で共通に実行することを意味する。具体的に、機能共有は、端末の複数の機能のうち1つ以上の機能を用いて複数の端末がコミュニケーションすることを意味する。ここで、機能には、音声通話機能、映像通話機能、画面共有機能、カメラ共有機能、サウンド共有機能、ゲーム機能、スケッチ機能、チャット機能、位置共有機能、写真または映像送信機能などがある。複数の端末がこのような機能を共通に実行させ、このような機能を用いてより発展した形態のコミュニケーションを行うことができる。
機能共有要求は、ユーザが複数の機能のうち1つ以上の機能を1人以上の他の端末のユーザと共有するための要求である。端末は、ユーザの機能共有要求に応じてユーザが指定した機能をユーザが指定した他のユーザと共有するために必要なデータを他の端末と送受信してもよい。
機能共有要求は、様々なモバイルプラットフォームで様々なインタフェースを介して行われてもよい。ユーザは、共有しようとする機能と共有しようとする他のユーザをユーザインタフェースを介して選択してもよい。機能共有インタフェースには共有できる機能が羅列されてもよく、必要な機能を自由に追加できるボタンがあってもよい。ユーザが機能を共有しようとする他のユーザに関する情報は端末に存在するアドレス帳から抽出されてもよく、ユーザは他のユーザが羅列した目録から機能を共有しようとする対象端末を選択してもよい。
本発明の機能共有方法は、要求された共有機能が属するグループを判断する(S1630)。
端末に存在する様々な機能は、機能を用いるために必要な入出力手段、機能の目的、機能の効果、機能が活用される状況などに応じて複数のグループに分類されてもよい。端末の機能として、音声通話機能、映像通話機能、画面共有機能、カメラ共有機能、サウンド共有機能、ゲーム機能、スケッチ機能、チャット機能、位置共有機能、写真または映像送信機能などを含んでもよい。このような機能は、通話するための音声通話、映像通話と音声、映像入出力手段を活用して複数のユーザ間に情報を共有できる可能な画面共有、カメラ共有、サウンド共有、ゲームと映像インタフェース基盤でコミュニケーション可能なスケッチ、チャット、位置共有、写真/映像送信にグループ化されてもよい。
様々な機能をグループ化することで3人以上のコミュニケーションで存在する複数の共有要求による混乱を減少させることができる。特定グループに属する機能共有要求は特定権限が認められるユーザのみが可能であり、このような権限が認められないユーザは当該機能に対する共有要求を制限できる。特定機能に対して権限が認められないユーザの端末は、機能共有インタフェースで当該機能に対するボタンを非活性化することで機能共有を制限することができる。
特定機能が複数のグループのいずれかのグループに属するかは、予め分類された機能分類テーブルに応じて判断する。ユーザから特定機能に対する機能共有要求があった場合、端末は機能分類テーブル内で特定機能が属するグループを識別して機能のグループを判断する。
本発明の機能共有方法は、機能共有の有無を決定する(S1640)。
機能共有の有無に対する決定は、機能共有を要求したユーザの権限と共有しようとする機能が属するグループに基づく。機能共有を要求したユーザの権限は、機能共有を要求したユーザがマスタ権限を有するか否かに応じて判断されてもよく、機能共有を要求したユーザがマスタ権限を有するか否かは、マスタ権限の付与基準を充足するか否かに応じて判断されてもよい。マスタ権限は、2人以上のユーザと機能共有を開始したユーザであるか、1:1音声通話または映像通話の使用中に他のユーザを追加して1:N多者間の音声通話または映像通話に切り替えたユーザに対して付与されてもよい。
機能共有の有無に対する決定は、共有しようとする機能が属するグループに基づく。特定グループに含まれる機能に対してユーザの権限に制限されず自由に機能共有を許容でき、反対に、特定グループに含まれる機能に対してはユーザの権限により共有要求を制限してもよい。例えば、音声通話機能または映像通話機能が含まれるグループに属する機能を共有するための要求があった場合、マスタ権限を有するユーザに対してのみ機能共有を許容する。また、スケッチ機能が含まれるグループに属する機能を共有するための要求があった場合、ユーザの権限に関係なく機能共有を許容する。
図17は、複数の機能をグループ化した図表である。
図17を参照すると、音声通話機能、映像通話機能、画面共有機能、カメラ共有機能、サウンド共有機能、ゲーム機能、スケッチ機能、チャット機能、位置共有機能、写真または映像送信機能1700がそれぞれAグループ1710、Bグループ1720またはCグループ1730に属するようグループ化されている。グループ化の基準は、端末に存在する様々な機能は、機能を用いるために必要な入出力手段、機能の目的、機能の効果、機能が活用される状況などである。例えば、複数の機能は、通話するための音声通話、映像通話と音声、映像入出力手段を活用して複数のユーザ間に情報を共有できる画面共有、カメラ共有、サウンド共有、ゲームと映像インタフェース基盤でコミュニケーション可能なスケッチ、チャット、位置共有、写真/映像送信のようにグループ化される。
様々な機能をグループ化することで3人以上のコミュニケーションで存在する複数の共有要求による混乱を減少させることができる。特定グループに属する機能共有要求は特定権限が認められるユーザのみが可能であり、このような権限が認められないユーザは当該機能の共有要求を制限してもよい。特定機能に対して権限が認められないユーザ端末は、機能共有インタフェースで当該機能に対するボタンを非活性化することで機能共有を制限してもよい。
図18は、本発明の一実施形態に係るユーザ追加方法を示したフローチャートである。
本発明の機能共有方法は、複数のユーザが機能を共有している状態(S1810)で追加的に他のユーザと機能を共有する。複数のユーザが機能を共有している状態で他の機能を追加するよう、複数のユーザが機能を共有している状態で追加的に他のユーザと機能を共有する。
機能共有状態(S1810)は、図16に示す過程ステップS1610ないしS1640を経て形成されてもよい。このように形成された機能共有状態(S1810)は、複数のユーザが1つ以上の機能を共有する状態である。例えば、3人以上のユーザが機能を共有する場合、すでにマスタ権限を有するユーザが存在する。2人のユーザが機能を共有する状態で新しい機能共有ユーザを追加する場合、マスタ権限の認定基準によりマスタ権限を有するユーザを指定してもよい。2人のユーザが機能を共有する状態である場合、ユーザは、それぞれ自由に新しい機能共有ユーザを追加してもよい。3人以上のユーザが機能を共有する状態である場合、マスタ権限を有するユーザのみが新しい機能共有ユーザを追加する。
本発明の機能共有方法は、ユーザ追加要求を受信する(S1820)。
ユーザ追加要求は、複数のユーザが機能を共有する状態で新しいユーザと機能を共有するための要求である。端末は、ユーザのユーザ追加要求に応じて現在一つ以上の機能を用いて複数のユーザがコミュニケーションしている接続に新しいユーザを追加するため必要なデータを他の端末と送受信してもよい。
本発明の機能共有方法は、ユーザ追加の有無を決定する(S1830)。
ユーザ追加の有無に対する決定は、ユーザ追加を要求したユーザの権限と共有している機能が属するグループに基づく。ユーザ追加を要求したユーザの権限は、機能共有を要求したユーザがマスタ権限を有するか否かに応じて判断されてもよく、ユーザ追加を要求したユーザがマスタ権限を有するか否かは、マスタ権限の付与基準を充足するか否かに応じて判断されてもよい。マスタ権限は、2人以上のユーザと機能共有を開始したユーザであるか、1:1音声通話または映像通話の使用中に他のユーザを追加して1:N多者間の音声通話または映像通話に切り替えたユーザに対して付与されてもよい。
ユーザ追加の有無に対する決定は、共有している機能が属するグループに基づく。共有している機能が属するグループは、図18に示す要求された共有機能が属するグループを判断するステップS1830によって把握される。特定グループに含まれる機能を共有する状態でユーザの権限に制限されず自由にユーザ追加を許容してもよく、反対に、特定グループに含まれる機能を共有する状態ではユーザの権限によりユーザ追加を制限してもよい。例えば、音声通話機能または映像通話機能が含まれるグループに属する機能を共有する状態でユーザを追加するための要求があった場合、マスタ権限を有するユーザに対してのみユーザ追加を許容することができる。また、スケッチ機能が含まれるグループに属する機能を共有する状態でユーザを追加するための要求があった場合、ユーザの権限に関係なくユーザの追加を許容する。ただし、1:Nの機能共有中にはマスタ権限を有するユーザのみユーザ追加が可能になる。
機能を共有しているユーザが新しいユーザを追加するものとは反対に、新しいユーザが機能を共有しているユーザに対して機能共有を要求してもよい。例えば、画面共有機能を実行中である2人に対して更なる1人が機能共有を要求してもよい。
図19は、音声通話機能または映像通話機能を含む複数の機能を共有する方法を示したフローチャートである。
本発明の機能共有方法は、機能共有要求を受信する(S1910)。
機能共有要求は、ユーザが複数の機能のうちの1つ以上の機能を1人以上の他の端末のユーザと共有するための要求である。端末はユーザの機能共有要求に応じて、ユーザが指定した機能をユーザが指定した他のユーザと共有するために必要なデータを他の端末と送受信してもよい。
機能共有要求は、様々なモバイルプラットフォームで様々なインタフェースを介して行ってもよい。ユーザは、共有しようとする機能と共有しようとする他のユーザをユーザインタフェースを介して選択してもよい。機能共有インタフェースには共有できる機能が羅列されてもよく、必要な機能を自由に追加するボタンがあってもよい。ユーザが機能を共有しようとする他のユーザに関する情報は端末に存在するアドレス帳から抽出されてもよく、ユーザは他のユーザが羅列した目録から機能を共有しようとする対象端末を選択してもよい。
本発明の機能共有方法は、共有要求機能に音声通話機能または映像通話機能が含まれるかを判断する(S1920)。
2つ以上の機能を共有しようとする場合、音声通話機能または映像通話機能が共有しようとする機能に含まれるか否かを判断する必要がある。音声通話機能または映像通話機能を含む場合、音声通話機能または映像通話機能の共有を受諾するか否かに応じて他の機能の共有有無を決定する必要がある。したがって、本発明の機能共有方法は2つ以上の機能を共有しようとする場合、共有要求機能に音声通話機能または映像通話機能が含まれるかを判断する。
本発明の機能共有方法は、共有要求を受諾するかを問い合わせる受諾確認メッセージを表示する(S1930)。
共有要求を受諾するかを問い合わせる受諾確認メッセージを表示するステップは、まず音声通話機能または映像通話機能の受諾を問い合わせる受諾確認メッセージを表示してもよい。音声通話機能または映像通話機能を受諾した場合にのみ、音声通話を除いた他の機能の共有要求に対する受諾を問い合わせる受諾確認メッセージを表示してもよい。もし、音声通話機能または映像通話機能を拒絶した場合、音声通話機能または映像通話機能を除いた機能の共有要求に対する受諾を問い合わせることなく機能共有要求を拒絶してもよい。
図20は、音声通話機能または映像通話機能を含む複数の機能に対する機能共有要求があった場合、まず音声通話機能または映像通話機能を共有するかを問い合わせるメッセージを示す図である。
音声通話機能または映像通話機能を含む2以上の機能に対する共有要求があり、音声通話機能または映像通話機能の共有を受諾した場合、残りの機能に対する受諾を問い合わせる受諾確認メッセージを表示してもよい。図20は、このような受諾確認メッセージの例示を示す図である。
図21は、本発明の一実施形態に係る映像通話−音声通話の転換方法を示したフローチャートである。
図21を参照すると、本発明の一実施形態に係る映像通話−音声通話の転換方法は、映像通話中に特定機能の実行命令を受信する(S2110)。
映像通話中に特定機能の実行命令を受信するステップは、端末のユーザが他の端末のユーザと映像通話する間に1つ以上の機能を実行させる命令を端末が受信するステップである。特定機能とは、音声通話機能、映像通話機能、画面共有機能、カメラ共有機能、サウンド共有機能、ゲーム機能、スケッチ機能、チャット機能、位置共有機能、写真または映像送信機能など、スマート端末で実行可能な様々な機能を意味する。それぞれの機能が実行されるために、端末のディスプレイ、スピーカ、マイク、カメラなどが用いられてもよい。映像通話を行う場合にも端末のディスプレイ、スピーカ、マイク、カメラなど端末のリソースを用いるため、映像通話中に特定機能の実行のために端末リソースの活用方案が求められる。
映像通話−音声通話の転換方法は、特定機能が用いる端末のリソースを検出する(S2120)。
特定機能が実行されるために、端末のディスプレイ、スピーカ、マイク、カメラなどを用いてもよい。映像通話−音声通話の転換方法は、前記リソースのうち特定機能が用いる端末のリソースを検出してもよい。例えば、画面共有機能とチャット機能は端末のディスプレイリソースを用いる。特に、特定機能が用いる端末のリソースを検出するステップは、特定機能が映像通話を行うために必要な端末リソースを用いるかを検出してもよい。映像通話は、ディスプレイ、スピーカ、マイク及びカメラリソースを用いるため、特定機能がこのようなリソースを用いるかを検出してもよい。
映像通話−音声通話の転換方法は、検出した特定機能が用いる端末のリソースに基づいて映像通話モードを音声通話モードに切り替えるかを判断する(S2130)。
検出した特定機能が用いる端末のリソースに基づいて映像通話モードを音声通話モードに切り替えるかを判断するステップは、特定機能が用いる端末のリソースと映像通話機能が用いる端末のリソースが重複するか否かを判断する。また、特定機能が用いる端末のリソースと映像通話機能が用いる端末のリソースが重複する場合にも、特定機能と映像通話機能が端末のリソースを同時に利用できるか否かを判断する。
例えば、カメラ共有機能が端末のディスプレイに不透明なインタフェースを出力して映像通話機能と端末のディスプレイリソースを同時に利用できない場合がある。または、チャット機能が端末のディスプレイに半透明なインタフェースを出力して映像通話機能と端末のディスプレイリソースを同時に利用できる場合がある。
検出した特定機能が用いる端末のリソースに基づいて映像通話モードを音声通話モードに切り替えるかを判断するステップは、まず、特定機能が用いる端末のリソースと映像通話機能が用いる端末のリソースが重複するか否かに対して判断し、特定機能が用いる端末のリソースと映像通話機能が用いる端末のリソースが重複しない場合、映像通話機能を保持すると判断する。
また、特定機能が用いる端末のリソースと映像通話機能が用いる端末のリソースが重複し、映像通話機能と端末のディスプレイリソースを同時に利用できる場合には映像通話機能を保持すると判断する。
ただし、特定機能が用いる端末のリソースと映像通話機能が用いる端末のリソースが重複すると判断し、映像通話機能と端末のディスプレイリソースを同時に利用できない場合には、映像通話機能を音声通話機能に切り替えるものと判断する。
図22は、本発明の一実施形態に係る映像通話−音声通話の転換方法を示したフローチャートである。
図22を参照すると、本発明の一実施形態に係る映像通話−音声通話の転換方法は、映像通話中に特定機能の実行命令を受信する(S2210)。
映像通話中に特定機能の実行命令を受信するステップは、端末のユーザが他の端末のユーザと映像通話する間に1つ以上の機能を実行させる命令を端末が受信するステップである。特定機能とは、音声通話機能、映像通話機能、画面共有機能、カメラ共有機能、サウンド共有機能、ゲーム機能、スケッチ機能、チャット機能、位置共有機能、写真または映像送信機能など、スマート端末で実行可能な様々な機能を意味する。
映像通話−音声通話の転換方法は、特定機能のインタフェース特性に関する情報を取得する(S2220)。
特定機能のインタフェース特性に関する情報を取得するステップは、特定機能のインタフェースが用いる端末のリソースに関する情報を取得するステップである。例えば、サウンド共有機能は端末のスピーカリソースを用いてもよく、カメラ共有機能はカメラリソースを用いてもよいが、インタフェース特性に関する情報はこれに関する情報であってもよい。
特定機能のインタフェースは、端末のディスプレイ、スピーカ、マイク、カメラなどを用いる。映像通話−音声通話の転換方法は、前記リソースのうち特定機能のインタフェースが用いる端末のリソースを検出してもよい。特に、特定機能のインタフェース特性に関する情報を取得するステップは、特定機能のインタフェースが映像通話を行うために必要な端末リソースを用いるかを検出してもよい。映像通話は、ディスプレイ、スピーカ、マイク及びカメラリソースを用いるため、特定機能のインタフェースがこのようなリソースを用いるかを検出してもよい。
特定機能のインタフェース特性に関する情報を取得するステップは、特定機能が端末の画面に出力するインタフェースの透明度に関する情報を取得するステップである。このような情報は、映像通話画面と特定機能が端末の画面に出力するインタフェースがオーバラップされ、端末の画面にディスプレイできるかを判断するために必要である。
映像通話−音声通話の転換方法は、取得した特定機能のインタフェース特性に関する情報に基づいて映像通話モードを音声通話モードに切り替えるかを判断する(S2230)。
特定機能のインタフェース特性に関する情報に基づいて映像通話モードを音声通話モードに切り替えるかを判断するステップは、映像通話の画面と特定機能の画面を端末に同時にディスプレイできるかを判断する。例えば、チャット機能が端末のディスプレイに半透明なインタフェースを出力して映像通話の画面と特定機能の画面を端末に同時に表示する場合がある。
映像通話の画面と特定機能の画面を端末に同時に表示する場合、映像通話を保持したまま特定機能を実行してもよい。インタフェースの透明度を含む映像通話のディスプレイ効果と特定機能のディスプレイ効果を調節して映像通話の画面と特定機能の画面を端末に同時に表示してもよい。特定機能のインタフェースを映像通話画面にオーバラップして半透明に表示する場合、映像通話を保持することができる。一方、映像通話の画面と特定機能の画面を端末に同時に表示できないと判断された場合、映像通話を音声通話に自動切り替えてもよい。
図23は、一実施形態に係る端末間の位置共有において一定時点に複数の機能を実行するために複数のユーザのうち特定ユーザに制御権限があることを説明するためのフローチャートである。
図23を参照すると、一実施形態に係る端末間の位置共有方法は、複数の端末の位置を共有するように複数の端末それぞれの予め備えられた地図に前記複数の端末それぞれの位置を表示するステップS2310、及び複数の端末から前記地図上で実行可能な複数の機能の少なくとも1つの機能に対する実行要求に応答し、前記実行要求された少なくとも1つの機能を実行するステップを含む。
ステップS2310において、複数の端末それぞれの予め備えられた地図は地図アプリケーションを用いて端末に備えられてもよい。複数の機能は、位置共有を実行する途中実行される機能を含んでもよい。例えば、画面移動、地図移動、目標位置追加、縮尺変更を含んでもよい。
実行要求された少なくとも1つの機能を実行するステップは、地図の縮尺を変更したり、地図を移動させるステップを含んでもよい。
端末間の位置共有方法は、縮尺が変更された地図または移動した地図に関する情報を他の端末に送信するステップをさらに含んでもよい。少なくとも1つの端末が縮尺の変更された地図または移動した地図に関する情報を他の端末に直接送信してもよい。また、少なくとも1つの端末がサーバを介して他の端末に前記情報を送信してもよい。
例えば、位置共有をする複数の端末のユーザのうち、ユーザAが地図の縮尺を変更しようとする。ユーザAが地図の縮尺を変更する間にユーザAを除いた残りのユーザは地図の縮尺のみならず、位置共有と関連する複数の機能を実行ができないようにする。すなわち、残りのユーザはユーザAが変更した地図を見るだけだけである。
また、実行要求された少なくとも1つの機能を実行するステップは、前記少なくとも1つの端末に表示されたアイコンのジェスチャーを検出して前記地図上に目標位置を追加するステップを含んでもよい。また、前記地図上に目標位置が追加されとき、複数の端末の画面に目標位置の追加を示す出力メッセージが表示されてもよい。
また、実行要求された少なくとも1つの機能を実行するステップは、少なくとも1つの端末に表示されたアイコンに対するジェスチャーを検出し、足跡機能を活性化するステップ及び足跡機能が活性化すると、複数の端末それぞれの移動経路に関する情報を前記地図上に表示するステップを含んでもよい。
一実施形態によると、端末間の位置共有方法は、複数の端末それぞれの位置に基づいて地図の縮尺を決定するステップをさらに含んでもよい。例えば、位置を共有する複数の端末のユーザのうち画面を移動したユーザの画面には、画面の移動により位置を共有する全てのユーザが表示されないことがある。全てのユーザを表示されるように地図の縮尺を自動変更してもよい。
また、一実施形態に係る端末間の位置共有方法は、複数の端末のうち前記地図上で複数の機能を実行できる制御権限のある少なくとも1つの端末を検出するステップS2320をさらに含んでもよい。ここで、制御権限のある少なくとも1つの端末から地図上で実行可能な複数の機能の少なくとも1つの機能に対する実行要求に応答し、実行要求された少なくとも1つの機能を実行する(S2330)。
図24は、一実施形態に係る端末間の画面共有途中に新しいコールがあるとき画面共有機能の一時停止を説明するためのフローチャートである。
図24を参照すると、一実施形態に係る端末間画面を共有する方法には第1端末の画面を第2端末と共有するために第1端末の画面共有機能を実行するステップS2410、第1端末の画面共有機能が実行される途中、第1端末に受信される新しいコールを検出するステップS2420、及び新しいコールが複数の機能のいずれかの機能に対応するかに基づいて画面共有機能の一時停止を活性化するステップS2430を含む。
ステップS2420において、新しいコールはメッセージと電話を含んでもよく、チャット、写真送信、カメラ、画面共有、サウンド共有、位置共有、スケッチを含んでもよい。メッセージには、音声メッセージ、短文メッセージ、長文メッセージ、マルチメディアメッセージ、動画メッセージを含んでもよい。電話は音声電話及び映像電話を含んでもよい。
ステップS2430には、新しいコールを検出することに応答して複数の機能に対するユーザの設定を示す機能設定テーブルをチェックするステップを含んでもよい。
例えば、ユーザA(共有者)がユーザB(被共有者)と画面共有をしている途中ユーザAがユーザCからテキストメッセージを受信すると仮定する。ユーザAが機能設定テーブルにテキストメッセージをチェックしなければ、ユーザBはユーザAが受信したテキストメッセージの内容を画面共有を介して把握することができる。一方、ユーザAがメッセージをチェックしたとすれば、ユーザBはユーザAがテキストメッセージを受信すると画面共有機能が一時停止してテキストメッセージの内容を画面共有により確認することができない。
一実施形態によると、ステップS2410は、表示されたアイコンに対するユーザのジェスチャーを検出して複数の機能に対するインタフェースを提供するステップを含んでもよい。また、画面共有機能の一時停止が活性化している途中に表示されたアイコンに対するジェスチャーが検出されると、画面共有機能の一時停止を解除するステップをさらに含んでもよい。
一実施形態によると、端末間画面共有方法において、画面共有機能の一時停止を示す出力メッセージを表示するステップをさらに含んでもよい。
また、第1端末の画面共有機能の一時停止を活性化させることに基づいて、第2端末に画面共有機能の一時停止を示す出力メッセージを表示するステップをさらに含んでもよい。
図25は、一実施形態に係る端末間の画面共有途中にテキストメッセージを受信した場合、画面共有機能の一時停止を説明するためのフローチャートである。
ユーザAがユーザBに画面共有を要求して画面共有機能を実行する(S2510)。画面共有機能が実行される途中ユーザAの端末に新しいコールが受信して新しいコールが検出される(S2520)。新しいコールが複数の機能のいずれかの機能に対応するかを確認しなければならない。
新しいコールが短文メッセージに対応すると、画面共有機能が一時停止することを前提にする場合、新しいコールが短文メッセージであるかを確認する(S2530)。新しいコールが短文メッセージであれば、画面共有機能の一時停止が活性化される(S2540)。新しいコールが短文メッセージでなければ、画面共有機能を保持する(S2550)。
一実施形態によると、ユーザAが機能設定テーブルにメッセージをチェックしなければ、短文メッセージを受信しても画面共有機能が一時停止されないこともある。
一実施形態によると、共有者と被共有者が画面共有機能を用いる間に共有者が音声メッセージを受信すると、画面共有機能と共にサウンド共有機能を一時停止することができる。また、画面共有機能は、保持してサウンド共有機能のみを一時停止することができる。
一実施形態によると、共有者と被共有者が画面共有機能を用いる間に共有者が動画メッセージを受信すると、画面共有機能とサウンド共有機能の全てが一時停止する。
図26は、一実施形態に係る端末間の画面共有途中に電話がかけらえた場合、画面共有機能の一時停止を説明するためのフローチャートである。
ユーザAがユーザBに画面共有を要求して画面共有機能を実行する(S2610)。画面共有機能が実行される途中ユーザAの端末に新しいコールが受信して新しいコールが検出される(S2620)。新しいコールが複数の機能のいずれかの機能に対応するかを確認しなければならない。
新しいコールが音声電話であるかを確認する(S2630)。新しいコールが音声電話であれば、画面共有機能とサウンド共有機能の一時停止が活性化される(S2640)。新しいコールが音声電話でなければ、画面共有機能を保持する(S2650)。
画面共有されると、基本的に音も共に共有されることから、ユーザが音声電話または映像電話を受信すると、サウンド共有も共に一時停止を活性化しなければならない。
一実施形態によると、ユーザAが機能設定テーブルに音声電話をチェックしなければ、音声電話を受信するとしても画面共有機能とサウンド共有機能が一時停止されないこともある。
図27は、一実施形態に係る端末間の画面共有機能の一時停止解除を説明するためのフローチャートである。
ユーザAがユーザBに画面共有を要求して画面共有機能を実行する(S2710)。画面共有機能が実行される途中ユーザAの端末に新しいコールが受信して新しいコールが検出される(S2720)。新しいコールが複数の機能のいずれかの機能に対応するか確認しなければならない。新しいコールが複数の機能のいずれかの機能に対応することを前提にして画面共有機能の一時停止を活性化する(S2730)。
画面共有機能の一時停止が活性化している途中に表示されたアイコンのジェスチャーが検出されると、画面共有機能の一時停止を解除する(S2740)。
例えば、ユーザA(共有者)が電話を受ける途中には画面共有機能の一時停止が活性化する。ユーザAが電話を終了すると、ユーザAが電話を受ける前の画面共有機能が再開始されてもよい。ユーザAが電話を受ける直前の共有された画面が表示される。
図28は、一実施形態に係る端末間の画面共有で画面共有機能の一時停止機能を説明するためのブロック図である。
図28を参照すると、一実施形態に係る端末は、第1端末の画面を第2端末と共有する画面共有部2810、新しいコールを検出する検出部2820、及び新しいコールが複数の機能のいずれかの機能に対応するかに基づいて画面共有機能を一時停止する一時停止部2830を備える。
ここで、画面共有部2810は、表示されたアイコンに対するユーザのジェスチャーを検出して複数の機能に対するインタフェースを提供する。
また、一時停止部2830は、新しいコールを検出することに応答して複数の機能に対するユーザの設定を示す機能設定テーブルをチェックするチェック部を備えてもよい。
図29は、一実施形態に係る端末間の画面共有で画面共有機能の一時停止の解除を説明するためのブロック図である。
図29を参照すると、画面共有部2910、検出部2920、一時停止部2930及び画面共有機能の一時停止が活性化している途中に表示されたアイコンのジェスチャーが検出されると、画面共有機能の一時停止を解除する停止解除部2940を備える。
ユーザのジェスチャーは、タップ、ロングタップ、パンニング、フリッキング、ドラッグアンドドロップ、ダブルタップを含んでもよい。タップ(tap)は、画面の一定部分を押してから外す動作である。ロングタップ(Long tap)は、画面のような部分を一定時間(1秒)以上押している動作である。パンニング(panning)は、画面の二地点を押す動作を保持しながら移動してから外す動作である。フリッキング(Flicking)は、画面の二地点を早く移動して外す動作である。ドラッグアンドドロップ(Drag & Drop)は、画面の一定部分を一定時間(1秒)以上押した後、押す動作を保持しながら移動して外す動作である。ダブルタップ(Double tap)は、画面のような部分を一定時間(1秒)以内に押して外す動作である。
図30は、本発明の一実施形態に係る端末のブロック構成図を例示する。
図30を参照すると、端末は送受信部3010、センシング部3020、制御部3030、入力部3040、出力部3050及び格納部3060を備える。図30に示された構成要素が必須なものではなく、端末はそれよりも多い構成要素を有するか、それよりも少ない構成要素を有するサーバで実現されてもよい。
送受信部3010は、他端末と有線及び無線通信を可能にする1つ以上のモジュールを含んでもよい。特に、本発明において送受信部3010は、近距離通信モジュールなどを含んでもよい。近距離通信モジュールは、他端末と近距離通信のためのモジュールを意味する。近距離通信(short range communication)技術として隣接磁場通信(NFC:Near Field Communication)、ワイファイダイレクト(WiFi Direct)、ブルートゥース(Bluetooth)、RFID(Radio Frequency Identification)、赤外線通信(IrDA:infrared Data Association)、UWB(Ultra Wideband)、ZigBeeなどを用いてもよい。
センシング部3020は、端末の開閉状態、端末の位置、ユーザの接触有無、端末の防衛、端末の加速/減速などのように端末の形状態を検出して端末の動作を制御するためのセンシング信号を発生させる。特に、本発明におけるセンシング部3020は動作センサを備えてもよい。
動作センサは、端末の動き、進行方向、移動方向、速度などを検出する。動作センサの一例として、地磁気センサ、加速度センサ、ジャイロセンサ、高度計などを含んでもよい。
地磁気センサは、地球で発生する磁場の流れを把握して羅針盤のように防衛を探知できるセンサである。加速度センサは、速度の変化という物理量を特定するセンサ運動体の動的振動変化(加速度)を直接検出することのできるセンサである。ジャイロセンサは、回転角加速度センサで回転する角の垂直方向にコリオリの力が発生すると、この垂直力を加速度センサと同じ原理で検出するセンサである。また、高度計は、高度によって変わる気圧差(圧力)を測定するセンサである。
入力部3040は、ユーザが端末の動作制御のための入力データを発生させる。このような入力部3040は、様々な方式の入力手段として実現されてもよい。例えば、入力部3040は、キーパッド(key pad)、ドームスイッチ(dome switch)、タッチパッド(定圧/停電)、ジョグホイール、ジョグスイッチ、音声入力手段の1つ以上を含んでもよい。また、入力部3040は、オーディオ信号またはビデオ信号入力のための機能を行い、これにカメラとマイクなどが含まれてもよい。カメラは、画像通話モードまたは撮影モードでイメージセンサによって取得される静止映像または動画などの画像フレームを処理する。処理された画像フレームは、出力部3050に表示されてもよい。カメラで処理された画像フレームは、格納部3060に格納されたり送受信部3010を用いて外部に送信されてもよい。カメラは、使用環境により2つ以上が備えられてもよい。
マイクは、通話モードまたは録音モード、音声認識モードなどでマイクロホン(Microphone)によって外部の音響信号が入力されて電気的な音声データとして処理する。処理された音声データは、通話モードである場合、移動通信モジュールを介して移動通信基地局に送信可能な形態に変換されて出力されてもよい。マイクには、外部の音響信号が入力される過程で発生する雑音を除去するための様々な雑音除去アルゴリズムを実現することができる。
出力部3050は、制御部3030の制御により端末の動作状態及び動作結果をユーザに出力する。このような出力部3050は、様々なディスプレイ手段で実現されてもよい。例えば、出力部3050は、LCD((Liquid Crystal Display)、TFT−LCD(Thin Film Transistor−Liquid Crystal Display)、LED(Light Emitting Diodes)、OLED(Organic Light Emitting Diodes)、AMOLED(Active Matrix Organic Light Emitting Diodes)、フレキシブルディスプレイ(flexible display)、3次元ディスプレイ(3D display)のいずれか1つであってもよい。
出力部3050とタッチ動作を検出するセンサが相互レイヤ構造をなす場合(タッチスクリーン)、出力部3050は、出力装置の他に入力装置にも用いられてもよい。タッチセンサは、例えば、タッチフィルム、タッチシート、タッチパッドなどの形態を有し得る。
タッチセンサは、出力部3050の特定部位に加えられた圧力または出力部3050の特定部位に発生する停電容量などの変化を電気的な入力信号に変換するよう構成してもよい。タッチセンサは、タッチされる位置及び面積だけではなく、タッチ時の圧力までも検出できるように構成してもよい。タッチセンサに対するタッチ入力がある場合、それに対応する信号は制御部3030に送信される。これにより、制御部3030は、出力部3050のどの領域がタッチされたかの有無などが把握できる。
格納部3060は、端末の動作に必要なデータ及びプログラムを格納する手段として、基本的に端末によって実行される運用プログラム及びアプリケーションを格納する。このような、格納部3060は、様々な格納手段で実現されてもよい。例えば、格納部3060は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、SDまたはXDメモリなど)、RAM(Random Access Memory)、SRAM(Static Random Access Memory)、ROM(Read−Only Memory)、EEPROM(Electrically Erasable Programmable Read−Only Memory)、PROM(Programmable Read−Only Memory)、磁気メモリ、磁気ディスク、光ディスクの少なくとも1つのタイプの格納媒体を含んでもよい。格納部3060は、制御部3030内部または外部にあり、周知の様々な手段で制御部3030と接続されてもよい。
制御部3030は、送受信部3010、センシング部3020、入力部3040、出力部3050及び格納部3060の動作を全般的に制御し、図1ないし図29で提案された機能、過程及び/または方法を実現する。
実施形態に係る方法は、様々なコンピュータ手段によって実行されることができるプログラム命令形態で実現され、コンピュータで読み取り可能な媒体に記録されることができる。コンピュータで読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むことができる。媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものであってもよく、コンピュータソフトウェア当業者に公示されて使用可能なものであってもよい。
上述したように、本発明は限定された実施形態と図面によって説明されたが、本発明が上述した実施形態に限定されるものではなく、本発明が属する分野において通常の知識を有する者であれば、このような記載から多様な修正および変形が可能である。
したがって、本発明の範囲は上述した実施形態に限定されて定められてはならず、添付の特許請求の範囲だけではなく、この特許請求の範囲と均等なものによって定められなければならない。

Claims (15)

  1. 第1端末が他の端末と共有して実行するための第1機能が選択されるステップと、
    前記第1端末が前記第1機能を共有して実行するための第2端末が選択されるステップと、
    前記第1端末が前記第2端末に前記第1機能を共有して実行するための要求メッセージを送信するステップと、
    前記第1端末が前記第2端末と無線通信を確立して前記第1機能を共有して実行するステップと、
    前記第1端末が前記第1機能を共有して実行するための第3端末が選択されるステップと、
    前記第1端末が前記第3端末に前記第1機能を共有して実行するための要求メッセージを送信するステップと、
    を含むことを特徴とし、
    前記第1機能の共有を前記第3端末が拒絶することによって、前記第1機能に関する前記第1端末と前記第3端末との接続状態は機能中止状態になり、前記機能中止状態において前記第1機能の共有を前記第3端末が承諾することによって、前記第1機能に関する前記第1端末と前記第3端末との接続状態は、前記機能中止状態において機能On状態に転換され、
    前記第1機能は、前記第1端末の出力画面をキャプチャーして前記第2端末に送信する画面共有機能、及び前記第1端末の出力音をキャプチャーして前記第2端末に送信するオーディオ共有機能、のうち少なくとも一つを含むことを特徴とする端末間機能共有方法。
  2. 前記第1端末が前記第2端末と前記第1機能を共有して実行する間に、前記第1端末が前記第2端末と共に実行するための第2機能が選択されるステップをさらに含み、
    前記第1端末が前記第2端末と前記第1機能及び前記第2機能を共有して実行することを特徴とする請求項1に記載の端末間機能共有方法。
  3. 記第1端末が前記第3端末と無線通信を確立して前記第1機能を共有して実行するステップをさらに含むことを特徴とする請求項1に記載の端末間機能共有方法。
  4. 前記第1端末が前記第2端末から前記第1機能を共有して実行するための第3端末の追加を要求するメッセージを受信するステップと、
    前記第1端末が前記第3端末に前記第1機能を共有して実行するための要求メッセージを送信するステップと、
    前記第3端末と無線通信を確立して前記第1機能を共有して実行するステップと、
    をさらに含むことを特徴とする請求項1に記載の端末間機能共有方法。
  5. 前記第1機能は、音声通話機能、映像通話機能のいずれか1つの端末の画面を相手側の端末に同一に出力する画面共有機能、いずれか1つの端末のサウンドを相手側の端末に同一に出力するオーディオ共有機能、いずれか1つの端末が相手側の端末を遠隔制御するための制御機能、いずれか1つの端末のタッチ入力に関する表示を相手側の端末に同一に出力するスケッチ機能、いずれか1つの端末のファイルを相手側の端末に送信するファイル送信機能、いずれか1つの端末に搭載されたカメラ映像を相手側の端末に同一に出力するカメラ共有機能、いずれか1つの端末の位置を相手側の端末に表示する位置共有機能のいずれか1つであることを特徴とする請求項1に記載の端末間機能共有方法。
  6. 前記画面共有機能は、いずれか1つの端末の画面を1秒に15フレーム以上キャプチャーし、キャプチャーされた画面に関するイメージを動画に圧縮し、前記動画を相手側の端末に送信する機能であることを特徴とする請求項5に記載の端末間機能共有方法。
  7. 前記オーディオ共有機能は、いずれか1つの端末から出力されるサウンドをキャプチャーし、キャプチャーされたサウンドをMP3ファイルに圧縮し、前記MP3ファイルを相手側の端末に送信する機能であることを特徴とする請求項5に記載の端末間機能共有方法。
  8. 第1端末が第2端末と無線通信を確立して第1機能を共有して実行する間に、前記第1端末が前記第2端末と共有して実行するための第2機能が選択されるステップと、
    前記第1端末が前記第2端末と前記第1機能及び前記第2機能を共有して実行するステップと、
    前記第1端末が前記第1機能を共有して実行するための第3端末が選択されるステップと、
    前記第1端末が前記第3端末に前記第1機能を共有して実行するための要求メッセージを送信するステップと、
    を含むことを特徴とし、
    前記第1機能の共有を前記第3端末が拒絶することによって、前記第1機能に関する前記第1端末と前記第3端末との接続状態は機能中止状態になり、前記機能中止状態において前記第1機能の共有を前記第3端末が承諾することによって、前記第1機能に関する前記第1端末と前記第3端末との接続状態は、前記機能中止状態において機能On状態に転換され、
    前記第1機能と前記第2機能は、前記第1端末の出力画面をキャプチャーして前記第2端末に送信する画面共有機能、及び前記第1端末の出力音をキャプチャーして前記第2端末に送信するオーディオ共有機能、のうち少なくとも一つを含むことを特徴とする端末間機能共有方法。
  9. 記第1端末が前記第3端末と無線通信を確立して前記第1機能及び前記第2機能を共有して実行するステップをさらに含むことを特徴とする請求項8に記載の端末間機能共有方法。
  10. 前記第1端末が前記第2端末から前記第1機能及び前記第2機能を共有して実行するための第3端末の追加を要求するメッセージを受信するステップと、
    前記第1端末が前記第3端末に前記第1機能及び前記第2機能を共有して実行するための要求メッセージを送信するステップと、
    前記第1端末が前記第3端末と無線通信を確立して前記第1機能及び前記第2機能を共有して実行するステップと、
    をさらに含むことを特徴とする請求項8に記載の端末間機能共有方法。
  11. 第1端末が第2端末と無線通信を確立して第1機能を共有して実行する間に、前記第1端末が前記第2端末と共有して実行するための第2機能が選択されるステップと、
    前記第1端末が前記第1機能を前記第2機能に代替して前記第2端末と前記第2機能を共有して実行するステップと、
    前記第1端末が前記第2機能を共有して実行するための第3端末が選択されるステップと、
    前記第1端末が前記第3端末に前記第2機能を共有して実行するための要求メッセージを送信するステップと、
    を含むことを特徴とし、
    前記第2機能の共有を前記第3端末が拒絶することによって、前記第2機能に関する前記第1端末と前記第3端末との接続状態は機能中止状態になり、前記機能中止状態において前記第2機能の共有を前記第3端末が承諾することによって、前記第2機能に関する前記第1端末と前記第3端末との接続状態は、前記機能中止状態において機能On状態に転換され、
    前記第1機能と前記第2機能は、前記第1端末の出力画面をキャプチャーして前記第2端末に送信する画面共有機能、及び前記第1端末の出力音をキャプチャーして前記第2端末に送信するオーディオ共有機能、のうち少なくとも一つを含むことを特徴とする端末間機能共有方法。
  12. 記第1端末が前記第3端末と無線通信を確立して前記第2機能を共有して実行するステップをさらに含むことを特徴とする請求項11に記載の端末間機能共有方法。
  13. 第1端末が他の端末と共有して実行するための第1機能及び第2機能が選択されるステップと、
    前記第1端末が前記第1機能及び前記第2機能を共有して実行するための第2端末が選択されるステップと、
    前記第1端末が前記第2端末に前記第1機能及び前記第2機能を共有して実行するための要求メッセージを送信するステップと、
    前記第1端末が前記第2端末と無線通信を確立して前記第1機能及び前記第2機能を共有して実行するステップと、
    前記第1端末が前記第1機能を共有して実行するための第3端末が選択されるステップと、
    前記第1端末が前記第3端末に前記第1機能を共有して実行するための要求メッセージを送信するステップと、
    を含むことを特徴とし、
    前記第1機能の共有を前記第3端末が拒絶することによって、前記第1機能に関する前記第1端末と前記第3端末との接続状態は機能中止状態になり、前記機能中止状態において前記第1機能の共有を前記第3端末が承諾することによって、前記第1機能に関する前記第1端末と前記第3端末との接続状態は、前記機能中止状態において機能On状態に転換され、
    前記第1機能と前記第2機能は、前記第1端末の出力画面をキャプチャーして前記第2端末に送信する画面共有機能、及び前記第1端末の出力音をキャプチャーして前記第2端末に送信するオーディオ共有機能、のうち少なくとも一つを含むことを特徴とする端末間機能共有方法。
  14. 記第1端末が前記第3端末と無線通信を確立して前記第1機能及び前記第2機能を共有して実行するステップをさらに含むことを特徴とする請求項13に記載の端末間機能共有方法。
  15. 前記第1端末が前記第2端末から前記第1機能及び前記第2機能を共有して実行するための第3端末の追加を要求するメッセージを受信するステップと、
    前記第1端末が前記第3端末に前記第1機能及び前記第2機能を共有して実行するための要求メッセージを送信するステップと、
    前記第1端末が前記第3端末と無線通信を確立して前記第1機能及び前記第2機能を共有して実行するステップと、
    をさらに含むことを特徴とする請求項13に記載の端末間機能共有方法。
JP2013263500A 2013-02-28 2013-12-20 端末間機能共有方法及びその端末 Active JP6097679B2 (ja)

Applications Claiming Priority (12)

Application Number Priority Date Filing Date Title
KR1020130022491A KR20140108480A (ko) 2013-02-28 2013-02-28 단말 간 실시간 화면 공유 채팅 방법, 그 단말 및 이를 위한 기록 매체
KR10-2013-0022491 2013-02-28
KR10-2013-0082885 2013-07-15
KR1020130082885A KR20150009103A (ko) 2013-07-15 2013-07-15 프라이버시 보호를 위한 단말 간 화면 공유 방법 및 그 단말
KR10-2013-0083492 2013-07-16
KR1020130083492A KR101648611B1 (ko) 2013-07-16 2013-07-16 영상통화-음성통화 전환 방법
KR10-2013-0083490 2013-07-16
KR20130083493A KR101488096B1 (ko) 2013-07-16 2013-07-16 단말 간 위치 공유하는 방법 및 단말
KR10-2013-0083493 2013-07-16
KR1020130083491A KR101536049B1 (ko) 2013-07-16 2013-07-16 단말간 기능 공유 방법
KR1020130083490A KR101425755B1 (ko) 2013-07-16 2013-07-16 영상통화 중에 어플리케이션의 인터페이스를 표시하는 방법
KR10-2013-0083491 2013-07-16

Publications (2)

Publication Number Publication Date
JP2014170524A JP2014170524A (ja) 2014-09-18
JP6097679B2 true JP6097679B2 (ja) 2017-03-15

Family

ID=51387724

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013263500A Active JP6097679B2 (ja) 2013-02-28 2013-12-20 端末間機能共有方法及びその端末

Country Status (2)

Country Link
US (1) US9419923B2 (ja)
JP (1) JP6097679B2 (ja)

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5470402B2 (ja) 2008-12-17 2014-04-16 テレフオンアクチーボラゲット エル エム エリクソン(パブル) 移動通信ネットワークにおけるチャット/VoIPサービスの提供方法並びにネットワークサーバ及び移動ユーザ装置
EP2797298B1 (en) * 2013-04-27 2021-10-27 LG Electronics, Inc. Mobile terminal and control method thereof
US20150058369A1 (en) 2013-08-23 2015-02-26 Samsung Electronics Co., Ltd. Electronic device and method for using captured image in electronic device
KR102057944B1 (ko) * 2013-09-17 2019-12-23 삼성전자주식회사 단말 장치 및 그의 공유 방법
KR102085181B1 (ko) * 2013-10-23 2020-03-05 삼성전자주식회사 데이터 전송 방법, 데이터 수신 방법, 및 디바이스
CN104765522A (zh) * 2014-01-08 2015-07-08 腾讯科技(深圳)有限公司 聊天窗口的展示控制方法及系统
KR102219861B1 (ko) * 2014-05-23 2021-02-24 삼성전자주식회사 화면 공유 방법 및 그 전자 장치
KR102125207B1 (ko) 2014-05-31 2020-06-22 삼성전자 주식회사 전자 장치 및 애플리케이션 실행 방법
US9161193B1 (en) * 2014-06-04 2015-10-13 Grandios Technologies, Llc Advanced telephone management
US20160050237A1 (en) * 2014-08-15 2016-02-18 Xiaomi Inc. Method and device for acquiring multimedia data stream
JP2016072888A (ja) * 2014-09-30 2016-05-09 Kddi株式会社 通信端末装置、通信端末装置用プログラム、および通信端末装置の制御方法
JP6460705B2 (ja) * 2014-09-30 2019-01-30 Kddi株式会社 画面共有システム及び画面共有方法
US10908760B2 (en) 2014-10-15 2021-02-02 Liveperson, Inc. System and method for interactive application preview
JP6254067B2 (ja) * 2014-10-24 2017-12-27 Kddi株式会社 端末間通信システム、サーバ、及び端末間通信方法
JP6335758B2 (ja) * 2014-10-31 2018-05-30 日本電信電話株式会社 サーバ、端末及び画面表示方法
JP2016110178A (ja) * 2014-12-02 2016-06-20 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR101622872B1 (ko) * 2015-02-11 2016-05-19 라인 가부시키가이샤 인스턴트 메시징 서비스에서 공식계정의 리치 메뉴를 제공하는 방법과 시스템 및 기록 매체
JP6378635B2 (ja) 2015-02-27 2018-08-22 本田技研工業株式会社 クライアント、サーバおよび情報共有システム
JP6095712B2 (ja) * 2015-02-27 2017-03-15 本田技研工業株式会社 情報端末、情報共有サーバ、情報共有システム及び情報共有プログラム
US11042819B2 (en) 2015-02-27 2021-06-22 Honda Motor Co., Ltd. Server, client, and information sharing system
GB2537109A (en) * 2015-03-31 2016-10-12 Bal Kanwarpreet Singh Improvements in phone and tablet to third party screen sharing
JP6169642B2 (ja) * 2015-04-29 2017-07-26 株式会社オプティム 画面共有サーバ、画面共有方法及び画面共有プログラム
JP6471614B2 (ja) * 2015-05-29 2019-02-20 株式会社リコー 通信端末、通信システム、通信制御方法、及びプログラム
WO2016199316A1 (ja) * 2015-06-12 2016-12-15 ベルフェイス株式会社 Webサイト疑似画面共有システム
CN104898952B (zh) * 2015-06-16 2019-05-28 魅族科技(中国)有限公司 一种终端分屏实现方法及终端
CN105282587A (zh) * 2015-07-13 2016-01-27 深圳市美贝壳科技有限公司 一种基于手机的同步可视化控制智能电视的方法
WO2017010253A1 (ja) * 2015-07-13 2017-01-19 株式会社ディー・エヌ・エー 端末装置の出力画面を配信するシステム、方法、及びプログラム
WO2017022965A1 (ko) 2015-08-06 2017-02-09 삼성전자 주식회사 정보 전송 장치 및 그 작동 방법
CN106445270A (zh) 2015-08-06 2017-02-22 天津三星通信技术研究有限公司 信息传输方法及装置
JP6122477B2 (ja) * 2015-10-15 2017-04-26 株式会社オプティム 画面共有システム及び画面共有方法
CA3006228A1 (en) * 2015-11-26 2017-06-01 Barco Nv Content sharing protocol
JP6200483B2 (ja) * 2015-12-23 2017-09-20 株式会社オプティム 画像処理システム、画像処理方法、および画像処理プログラム
JP6212533B2 (ja) * 2015-12-28 2017-10-11 株式会社オプティム 画面共有システム、画面共有方法、および画面共有プログラム
KR20170086869A (ko) 2016-01-19 2017-07-27 삼성전자주식회사 음성통화 중 영상을 전송하는 방법 및 장치
CN107015246B (zh) 2016-01-28 2021-03-30 华为技术有限公司 一种基于场景共享的导航协助方法及终端
KR20170091913A (ko) 2016-02-02 2017-08-10 삼성전자주식회사 영상 서비스 제공 방법 및 장치
KR102412283B1 (ko) * 2016-02-17 2022-06-23 삼성전자 주식회사 전자 장치 및 전자 장치의 영상 공유 제어 방법
KR20170097980A (ko) * 2016-02-19 2017-08-29 삼성전자주식회사 전자 장치의 컨텐트 그룹 공유 방법 및 그 전자 장치
JP6548605B2 (ja) * 2016-04-20 2019-07-24 株式会社 ディー・エヌ・エー 端末装置の出力画面を配信するシステム、方法、及びプログラム
CN105847126B (zh) * 2016-04-29 2019-07-09 广州灵光信息科技有限公司 一种基于即时通讯软件的聊天背景呈现装置
US10587724B2 (en) 2016-05-20 2020-03-10 Microsoft Technology Licensing, Llc Content sharing with user and recipient devices
JP6263236B2 (ja) * 2016-07-01 2018-01-17 Kddi株式会社 通信端末装置及びコンピュータプログラム
KR102580710B1 (ko) * 2016-07-18 2023-09-20 삼성전자주식회사 전자 장치들의 연동 방법 및 장치
AU2017312875B2 (en) 2016-08-14 2021-09-16 Liveperson, Inc. Systems and methods for real-time remote control of mobile applications
CN106445436A (zh) * 2016-08-29 2017-02-22 武汉启目科技有限公司 一种电脑终端投屏的控制方法
CN106453915B (zh) * 2016-10-31 2019-10-29 努比亚技术有限公司 一种信息处理方法及移动终端
BR112019014395A2 (pt) * 2017-01-11 2020-02-11 Geoffrey Fouvry Método para gravar e reproduzir sessão de navegação do usuário sincronizada com mídia
KR102681312B1 (ko) 2017-02-17 2024-07-04 삼성전자주식회사 화면을 공유하기 위한 전자 장치 및 방법
US10277749B2 (en) * 2017-03-28 2019-04-30 Verizon Patent And Licensing Inc. Mobile device call management with multiple over-the-top calls
US11233756B2 (en) * 2017-04-07 2022-01-25 Microsoft Technology Licensing, Llc Voice forwarding in automated chatting
CN116320432A (zh) * 2017-06-20 2023-06-23 微软技术许可有限责任公司 实时屏幕共享
US11055481B2 (en) 2017-06-29 2021-07-06 Spalo Co., Ltd. Information input method, information input apparatus, and information input system
JP6682638B2 (ja) * 2017-06-29 2020-04-15 株式会社ビズオーシャン 情報入力方法、情報入力装置、及び情報入力システム
JP6981118B2 (ja) 2017-09-11 2021-12-15 富士フイルムビジネスイノベーション株式会社 情報処理装置、プログラム及び制御方法
EP4362443A1 (en) * 2017-12-11 2024-05-01 Vyng, Inc. Methods and systems for management of media content associated with message context on mobile computing devices
CN108055593B (zh) * 2017-12-20 2020-03-06 广州虎牙信息科技有限公司 一种互动消息的处理方法、装置、存储介质及电子设备
KR102044242B1 (ko) * 2017-12-27 2019-11-13 주식회사 하이퍼커넥트 영상 통화 서비스를 제공하는 단말 및 서버
CN110162283B (zh) * 2018-02-13 2024-09-20 北京三星通信技术研究有限公司 共享外接显示设备的方法、共享信息的方法及用户设备
KR20190102587A (ko) * 2018-02-26 2019-09-04 엘지전자 주식회사 이동 단말기 및 그 동작방법
CN108459803B (zh) * 2018-02-28 2021-08-06 努比亚技术有限公司 基于双面屏的图片发送方法、移动终端及可读存储介质
JP2018117394A (ja) * 2018-05-08 2018-07-26 Kddi株式会社 端末間通信システム、サーバ装置、および方法
CN110581919B (zh) 2018-06-11 2021-10-15 阿里巴巴集团控股有限公司 信息传输与数据处理方法、设备、系统及存储介质
US11310177B2 (en) 2018-07-18 2022-04-19 Huawei Technologies Co., Ltd. Message display method and terminal
CN109542378A (zh) * 2018-11-19 2019-03-29 上海闻泰信息技术有限公司 屏幕共享方法、装置、电子设备及可读存储介质
KR102118523B1 (ko) * 2018-12-05 2020-06-03 삼성전자주식회사 전자 장치 및 그 제어 방법
CN109495711B (zh) * 2018-12-29 2020-10-16 南京维沃软件技术有限公司 视频通话处理方法、发送终端、接收终端及电子设备
CN109889757B (zh) * 2019-03-29 2021-05-04 维沃移动通信有限公司 一种视频通话方法及终端设备
CN110213154A (zh) * 2019-04-26 2019-09-06 平安科技(深圳)有限公司 即时通信方法、装置、计算机装置及存储介质
CN110213648B (zh) * 2019-06-05 2022-09-16 重庆菜鸽途讯科技有限公司 一种同屏方法、系统、移动终端及计算机可读存储介质
CN110087124A (zh) * 2019-06-05 2019-08-02 聚好看科技股份有限公司 智能电视的远程控制方法、终端设备和智能电视
CN112291133B (zh) * 2019-07-22 2022-06-28 腾讯科技(深圳)有限公司 跨端发送文件的方法、装置、设备及介质
CN111163449B (zh) * 2019-12-26 2021-10-12 维沃移动通信有限公司 一种应用分享方法、第一电子设备及计算机可读存储介质
CN111913628B (zh) * 2020-06-22 2022-05-06 维沃移动通信有限公司 分享方法、装置和电子设备
CN111988653A (zh) * 2020-08-25 2020-11-24 京东方科技集团股份有限公司 多视频投屏信息的交互方法、装置、设备及存储介质
US11553012B2 (en) * 2020-09-30 2023-01-10 Ringcentral, Inc. System and method of intelligently sharing conference content
CN112203151B (zh) 2020-10-09 2022-05-17 北京字跳网络技术有限公司 视频处理方法、装置、电子设备及计算机可读存储介质
US11323653B1 (en) * 2020-11-05 2022-05-03 Snap Inc. Screen recording camera mode
US11930240B2 (en) 2020-11-11 2024-03-12 Motorola Mobility Llc Media content recording with sensor data
CN112533052A (zh) * 2020-11-27 2021-03-19 北京字跳网络技术有限公司 一种视频分享方法、装置、电子设备及存储介质
CN118312118A (zh) * 2020-12-21 2024-07-09 华为技术有限公司 一种增强的屏幕共享方法和系统、电子设备
CN114691061A (zh) 2020-12-29 2022-07-01 摩托罗拉移动有限责任公司 在扩展显示屏幕记录期间管理的个人内容
CN114691060A (zh) 2020-12-29 2022-07-01 摩托罗拉移动有限责任公司 在设备屏幕记录期间管理的个人内容
CN112738774B (zh) * 2020-12-31 2023-06-30 Oppo广东移动通信有限公司 应用共享方法、装置、终端及计算机可读存储介质
CN112799577B (zh) * 2021-01-26 2024-04-23 努比亚技术有限公司 一种小窗投屏的方法、终端及存储介质
CN112968937B (zh) * 2021-01-29 2023-07-25 北京达佳互联信息技术有限公司 界面处理方法、装置、终端及服务器
CN115484430B (zh) * 2021-05-31 2024-09-17 华为技术有限公司 共享屏幕的方法、相关电子设备及系统
CN115129194A (zh) * 2022-05-24 2022-09-30 武汉擎朗智能科技有限公司 一种清洁机器人的共享方法、装置、设备及存储介质

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100556689B1 (ko) 2003-06-27 2006-03-07 팅크웨어(주) 그룹 위치 제공 방법 및 그룹 위치 표시 방법
US20060008256A1 (en) * 2003-10-01 2006-01-12 Khedouri Robert K Audio visual player apparatus and system and method of content distribution using the same
JP4363166B2 (ja) * 2003-11-20 2009-11-11 日本電気株式会社 コミュニケーションサービス提供システム、サーバ、サービス提供方法およびサービス提供プログラム
JP4286707B2 (ja) * 2004-04-19 2009-07-01 株式会社日立製作所 グループ通信システム、グループ通信システムの制御方法、情報処理装置、及びプログラム
JP4517827B2 (ja) * 2004-11-22 2010-08-04 株式会社日立製作所 画面共有システム及び情報処理装置
KR20060112092A (ko) 2005-04-26 2006-10-31 주식회사 팬택 이동통신 단말기에서의 화상 통화 제어 장치 및 방법
KR101075736B1 (ko) 2005-05-16 2011-10-21 삼성전자주식회사 화상 전화 단말의 문자 메시지 처리 방법 및 장치
KR100773508B1 (ko) 2005-09-23 2007-11-06 엘지전자 주식회사 이동 통신 단말기의 호 설정 방법
KR20070065688A (ko) 2005-12-20 2007-06-25 주식회사 팬택 화상 통화 중 sms 메시지의 출력 기능을 제공하는 방법및 이동통신 단말기
JP4875909B2 (ja) * 2006-03-13 2012-02-15 パイオニア株式会社 情報端末装置、情報通信方法及び情報通信プログラム
KR100882937B1 (ko) 2006-03-20 2009-02-10 주식회사 케이티프리텔 사용자 인터페이스 메뉴 제어 방법 및 이를 적용한 이동통신 단말과 응용 서비스 제공 장치
JP2008102786A (ja) * 2006-10-19 2008-05-01 Sanyo Electric Co Ltd 通信方法およびそれを利用した端末装置、通信システム
KR101418286B1 (ko) 2007-12-26 2014-07-10 엘지전자 주식회사 이동단말기 및 그 개인정보 보호방법
KR101578000B1 (ko) 2008-01-07 2015-12-16 엘지전자 주식회사 단말기, 그 제어 방법 및 이를 위한 기록 매체
JP5187890B2 (ja) * 2008-05-23 2013-04-24 Kddi株式会社 メディアデータの送受信を優先制御する端末、プログラム及び方法
KR101024279B1 (ko) 2008-11-27 2011-03-29 주식회사 케이티 Ims망을 통한 멀티미디어 컨텐츠 공유 방법 및 시스템
US20110004888A1 (en) * 2009-07-06 2011-01-06 Sudharshan Srinivasan Screen sharing method with selective access to both data and logic of a shared application using a helper application
KR20110020694A (ko) * 2009-08-24 2011-03-03 삼성전자주식회사 네트워크를 통한 기능 공유 방법 및 장치
KR20110056638A (ko) 2009-11-23 2011-05-31 삼성전자주식회사 휴대용 단말기에서 통화 모드를 변경하기 위한 장치 및 방법
KR101328031B1 (ko) 2010-02-22 2013-11-13 에스케이플래닛 주식회사 지인 관계 기반의 블로그 포스트 전파 시스템 및 방법, 그리고 이에 적용되는 서버
GB2481613A (en) * 2010-06-30 2012-01-04 Skype Ltd Updating regions of shared images using a server that records image status
US20120011451A1 (en) * 2010-07-08 2012-01-12 International Business Machines Corporation Selective screen sharing
JP5707824B2 (ja) 2010-09-29 2015-04-30 ソニー株式会社 制御装置、および制御方法
JP6035712B2 (ja) * 2010-10-26 2016-11-30 株式会社リコー 画面共有サービス提供システム、情報処理装置、画面共有サービス提供方法、画面共有サービス提供プログラム、及びプログラム
CA2722460A1 (en) * 2010-11-26 2012-05-26 Centre De Recherche Informatique De Montreal Screen sharing and video conferencing system and method
JP5632733B2 (ja) * 2010-12-22 2014-11-26 株式会社Nttドコモ 表示装置、画面画像転送方法、及びプログラム
KR101226560B1 (ko) * 2011-03-29 2013-01-25 (주)티아이스퀘어 커뮤니케이션 서비스 수행 도중 멀티미디어 콘텐츠 공유 서비스 제공 방법 및 시스템
WO2012134150A2 (ko) * 2011-03-29 2012-10-04 (주)티아이스퀘어 커뮤니케이션 서비스 수행 도중 멀티미디어 콘텐츠 공유 서비스 제공 방법 및 시스템
JP5734085B2 (ja) * 2011-05-13 2015-06-10 株式会社Nttドコモ 画面共有装置、画面共有システム、画面共有方法及びプログラム
JP5853464B2 (ja) * 2011-07-27 2016-02-09 キヤノンマーケティングジャパン株式会社 情報処理装置、制御方法およびプログラム
US9465803B2 (en) * 2011-09-16 2016-10-11 Nasdaq Technology Ab Screen sharing presentation system
JP5892408B2 (ja) * 2011-09-26 2016-03-23 日本電気株式会社 画面共有表示システム、画面共有表示方法、およびプログラム
US20130086615A1 (en) * 2011-10-03 2013-04-04 SocialEyes, Inc. Concurrent real-time communication with media contextualized activity sharing
KR101303163B1 (ko) 2011-11-21 2013-11-13 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US9124657B2 (en) * 2011-12-14 2015-09-01 International Business Machines Corporation Dynamic screen sharing for optimal performance
US8881170B2 (en) * 2012-04-30 2014-11-04 Genesys Telecommunications Laboratories, Inc Method for simulating screen sharing for multiple applications running concurrently on a mobile platform
KR101218294B1 (ko) 2012-07-11 2013-01-04 주식회사 엘지유플러스 이동 단말기 및 이의 화면 공유 방법
KR101980704B1 (ko) 2012-09-04 2019-05-21 엘지전자 주식회사 이동단말기 및 그 제어 방법
US8989670B2 (en) * 2012-09-24 2015-03-24 Intel Corporation Location aware file sharing between near field communication enabled devices
US9077786B2 (en) * 2012-11-26 2015-07-07 Smart Prompt, Llc Graphical phone menu systems, methods and articles
US9197734B2 (en) * 2013-01-04 2015-11-24 Samsung Electronics Co., Ltd. Apparatus and method for sharing screens from multiple mobile devices

Also Published As

Publication number Publication date
JP2014170524A (ja) 2014-09-18
US9419923B2 (en) 2016-08-16
US20140240440A1 (en) 2014-08-28

Similar Documents

Publication Publication Date Title
JP6097679B2 (ja) 端末間機能共有方法及びその端末
CN108781271B (zh) 用于提供图像服务的方法和装置
CA2843627C (en) Device, system and method for generating application data
CN105930073B (zh) 用于支持电子设备中的通信的方法和装置
US10437547B2 (en) Device, system and method for generating data
JP6285615B2 (ja) リモートアシスタンス方法、クライアント、プログラム及び記録媒体
EP3029889A1 (en) Method for instant messaging and device thereof
KR102345649B1 (ko) 휴대용 장치가 웨어러블 장치를 통하여 정보를 표시하는 방법 및 그 장치
WO2016040535A1 (en) Real-time sharing during a phone call
KR20150090162A (ko) 비-접촉 제스처들을 통한 제스처 인식 모드 및 디바이스 페어링 및 공유를 트리거링하기 위한 방법들, 장치들 및 컴퓨터 판독가능 매체
KR20170016165A (ko) 이동단말기 및 그 제어방법
US9516072B2 (en) Device, system and method for generating application data
KR20190002575A (ko) 디바이스 간의 복사하기 및 붙이기
JP6283160B2 (ja) 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理方法
KR20180017638A (ko) 이동단말기 및 그 제어방법
KR101989433B1 (ko) 단말 간 실시간 화면 공유 채팅 방법, 그 단말 및 이를 위한 기록 매체
KR20140108480A (ko) 단말 간 실시간 화면 공유 채팅 방법, 그 단말 및 이를 위한 기록 매체
KR20170019248A (ko) 이동단말기 및 그 제어방법
KR102095666B1 (ko) 정보 입력 방법, 장치, 프로그램 및 저장매체
KR20160046593A (ko) 이동단말기 및 그 제어방법
JP2019164560A (ja) 端末装置、情報処理装置、通知方法
CA2843649C (en) Device, system and method for generating data
KR20170083905A (ko) 이동 단말기 및 그 제어방법
CN112291133A (zh) 跨端发送文件的方法、装置、设备及介质
JP2016519881A (ja) ルータアクセス制御方法、装置、ルータ、プログラム、及び記録媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150518

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20151117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160317

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20160420

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20160610

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170220

R150 Certificate of patent or registration of utility model

Ref document number: 6097679

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250