JP6422982B2 - 情報処理方法および装置 - Google Patents

情報処理方法および装置 Download PDF

Info

Publication number
JP6422982B2
JP6422982B2 JP2016543665A JP2016543665A JP6422982B2 JP 6422982 B2 JP6422982 B2 JP 6422982B2 JP 2016543665 A JP2016543665 A JP 2016543665A JP 2016543665 A JP2016543665 A JP 2016543665A JP 6422982 B2 JP6422982 B2 JP 6422982B2
Authority
JP
Japan
Prior art keywords
url
player
peer device
standard
standard player
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016543665A
Other languages
English (en)
Other versions
JP2018503987A (ja
Inventor
桂洲 ▲呉▼
桂洲 ▲呉▼
虹 李
虹 李
先哲 魏
先哲 魏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaomi Inc
Original Assignee
Xiaomi Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaomi Inc filed Critical Xiaomi Inc
Publication of JP2018503987A publication Critical patent/JP2018503987A/ja
Application granted granted Critical
Publication of JP6422982B2 publication Critical patent/JP6422982B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2807Exchanging configuration information on appliance services in a home automation network
    • H04L12/2812Exchanging configuration information on appliance services in a home automation network describing content present in a home automation network, e.g. audio video content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2816Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6156Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6175Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/632Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing using a connection between clients on a wide area network, e.g. setting up a peer-to-peer communication via Internet for retrieving video segments from the hard-disk of other client devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/64Addressing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/858Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/02Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/10Small scale networks; Flat hierarchical networks
    • H04W84/12WLAN [Wireless Local Area Networks]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L2012/2847Home automation networks characterised by the type of home appliance used
    • H04L2012/2849Audio/video appliances

Description

本願は出願番号201510718289.5、出願日2015年10月29日の中国特許出願に基づいて提案され、また該中国特許出願の優先権を主張し、該中国特許出願の全ての内容が本願において援用される。
本開示の実施例は、通信技術分野に関し、特に情報処理方法および装置に関する。
WiFi−display技術は、WiFi Directに基づいてユーザーデバイス間のリアルタイムなリソース共有(ピクチャ、ビデオ、音楽など)を実現する技術である。この共有は、いかなるハードウェアへの接続が必要ではなく、WiFiを介して接続するだけで、送信側(すなわちSource側)からリアルタイムに受信側(Sink側)に伝送されて再生されることができる。例えば、WiFi−display技術により、携帯電話のビデオを同期に大画面テレビで再生することができる。
しかし、関連技術では、Source側は再生すべきデータをSink側に伝送してから直接Sink側によって再生し、そのデータの伝送と再生が独立しないので、一旦Source側とSink側との間のデータ伝送がある時に利用される通信プロトコルなどが変化した場合、Source側からSink側に伝送されたデータがSink側で正常に再生できない可能性が非常に高い。
間連技術の問題を解決するために、本開示の実施例は、情報処理方法および装置を提供する。
本開示の実施例の第1態様による情報処理方法は、
無線ネットワークの伝送リンクを通してピアデバイスの画面共有要求を取得したかどうかを判断することと、
ピアデバイスの画面共有要求を受信した場合、前記ピアデバイスのIPアドレスおよび前記ピアデバイスのポート番号を取得することと、
前記IPアドレスおよび前記ポート番号に基づいて、ピアデバイスの画面を再生するためのメディアデータに対応するユニフォームリソースロケータ(URL)を生成することと、
前記URLに対応する標準プレーヤを確定することと、
前記標準プレーヤを利用して前記URLに対応するメディアデータを再生することとを含む。
送信側から送信された画面共有要求を受信した場合、受信側は、送信側のIPアドレスおよびポート番号を取得し、URLを生成し、受信側は、このURLに基づいてURLに対応する標準プレーヤを確定し、取得された標準プレーヤによりこのメディアのデータを再生する。本開示の実施例の受信側における標準プレーヤが独立した標準プレーヤであるので、送信側と受信側がデータ交換を行う時に利用される通信プロトコルが変化しても、受信側における標準プレーヤは、依然として正常に送信側から伝送されたメディアデータを再生することができる。
オプションとして、前記URLに対応する標準プレーヤを確定することは、
デフォルトプレーヤを取得し、
前記デフォルトプレーヤが前記URLに対応するフォーマットタイプをサポートするかどうかを判断し、
前記デフォルトプレーヤが前記URLに対応するフォーマットタイプをサポートする場合、前記デフォルトプレーヤを前記URLに対応する標準プレーヤとして確定し、
前記デフォルトプレーヤが前記URLに対応するフォーマットタイプをサポートしない場合、前記デフォルトプレーヤを、前記URLに対応するフォーマットタイプをサポートするプレーヤと、設定し、前記URLに対応するフォーマットタイプをサポートする前記プレーヤを、前記URLに対応する標準プレーヤとして確定することとを含む。
URLのフォーマットタイプをサポートしない従来のプレーヤを、URLのフォーマットタイプをサポートする標準プレーヤに再構成することにより、Source側とSink側との間のデータ伝送プロトコルが変化しても、標準プレーヤの伝送されたメディアデータに対するリアルタイムな再生に影響を与えない。
オプションとして、前記URLに対応する標準プレーヤを確定することは、
標準プレーヤを作成し、
前記標準プレーヤが前記URLに対応するフォーマットタイプをサポートするかどうかを判断し、
前記標準プレーヤが前記URLに対応するフォーマットタイプをサポートする場合、前記標準プレーヤを前記URLに対応する標準プレーヤとして確定することとを含む。
URLのフォーマットタイプをサポートする標準プレーヤを作成し、作成した後、該標準プレーヤがURLのフォーマットタイプをサポートするかどうかを確認する。該標準プレーヤがURLのフォーマットタイプをサポートする場合、Source側とSink側との間のデータ伝送プロトコルが変化しても、標準プレーヤの伝送されたメディアデータに対するリアルタイムな再生に影響を与えない。
オプションとして、ピアデバイスの画面共有要求を取得したかどうかを判断することは、
無線ピアツーピアネットワークWiFi P2Pプロトコルにより前記ピアデバイスと通信接続を確立する場合、前記ピアデバイスとプリセットパラメータ情報を交換し、
前記プリセットパラメータ情報に基づいて、前記ピアデバイスとのネゴシエーションが成功したかどうかを判断し、
前記ピアデバイスとのネゴシエーションが成功した場合、前記ピアデバイスの画面共有要求を取得したことを確定し、
前記ピアデバイスとのネゴシエーションが失敗した場合、前記ピアデバイスの画面共有要求を取得しないことを確定することとを含む。
双方がネゴシエーションを行うことでデータ伝送条件を満たしているかどうかを判断し、Sink側がSource側から送信されたメディアデータを受信した場合にフォーマットなどの原因により該メディアデータを正常に再生できないことを防ぐ。
オプションとして、前記標準プレーヤを利用して前記URLに対応するメディアデータを再生することは、
前記URLに基づいて前記ピアデバイスにおける前記URLに対応するメディアデータを取得し、
前記メディアデータをデコードし、
デコードされたメディアデータをレンダリングし、メディア再生データを取得し、
前記メディア再生データを前記標準プレーヤで再生することとを含む。
URLを取得した後、まず該URLを解析し、解析されたURLに基づいて対応するメディアデータを取得する。例えば、URLを解析した後、Source側は、確立されたsessionによりリアルタイムメディアストリーム(またはクロールされたインタフェース)をTS(transport stream)方式でSink側に伝送し、Sinkは、メディアストリームデータ(例えば、オーディオ、ビデオなど)を符号化して逆多重化し、そして標準プレーヤに伝送してデコード、レンダリングおよび再生を行う。
本開示の実施例の第2態様による情報処理装置は、
無線ネットワークの伝送リンクを通してピアデバイスの画面共有要求を取得したかどうかを判断するように構成される要求判断ユニットと、
ピアデバイスの画面共有要求を受信した場合、前記ピアデバイスのIPアドレスおよび前記ピアデバイスのポート番号を取得するように構成される情報取得ユニットと、
前記IPアドレスおよび前記ポート番号に基づいて、ピアデバイス画面を再生するためのメディアデータに対応するユニフォームリソースロケータ(URL)を生成するように構成されるURL生成ユニットと、
前記URLに対応する標準プレーヤを確定するように構成されるプレーヤ確定ユニットと、
前記標準プレーヤを利用して前記URLに対応するメディアデータを再生するように構成されるメディアデータ再生ユニットとを含む。
オプションとして、前記プレーヤ確定ユニットは、 デフォルトプレーヤを取得するように構成されるプレーヤ取得モジューと、
前記デフォルトプレーヤが前記URLに対応するフォーマットタイプをサポートするかどうかを判断するように構成される第一のフォーマットタイプ判断モジュールと、
前記デフォルトプレーヤが前記URLに対応するフォーマットタイプをサポートする場合、前記デフォルトプレーヤを前記URLに対応する標準プレーヤとして確定するように構成される第1標準プレーヤ確定モジュールと、
前記デフォルトプレーヤが前記URLに対応するフォーマットタイプをサポートしない場合、前記デフォルトプレーヤを前記URLに対応するフォーマットタイプをサポートするプレーヤと、設定するように構成される標準プレーヤと、
前記URLに対応するフォーマットタイプをサポートする前記プレーヤを前記URLに対応する標準プレーヤとして確定するように構成される第2標準プレーヤとを含む。
オプションとして、前記プレーヤ確定ユニットは、
標準プレーヤを作成するように構成される標準プレーヤ作成モジュールと、
前記標準プレーヤが前記URLに対応するフォーマットタイプをサポートするかどうかを判断するように構成される第2フォーマットタイプ判断モジュールと、
前記標準プレーヤが前記URLに対応するフォーマットタイプをサポートする場合、前記標準プレーヤを前記URLに対応する標準プレーヤとして確定するように構成される第3標準プレーヤ確定モジュールとを含む。
オプションとして、前記要求判断ユニットは、
無線ピアツーピアネットワークWiFi P2Pプロトコルにより前記ピアデバイスと通信接続を確立する場合に、前記ピアデバイスとプリセットパラメータ情報を交換するように構成されるパラメータ情報交換モジュールと、
前記プリセットパラメータ情報に基づいて、前記ピアデバイスとのネゴシエーションが成功したかどうかを判断するように構成されるネゴシエーション判断モジュールと、
前記ピアデバイスとのネゴシエーションが成功した場合、前記ピアデバイスの画面共有要求を取得したことを確定するように構成される要求成功確定モジュールと、
前記ピアデバイスとのネゴシエーションが失敗した場合、前記ピアデバイスの画面共有要求を取得しないことを確定するように構成される要求失敗確定モジュールとを含む。
オプションとして、前記メディアデータ再生ユニットは、
前記URLに基づいて前記ピアデバイスにおける前記URLに対応するメディアデータを取得するように構成されるメディアデータ取得モジュールと、
前記メディアデータをデコードするように構成されるデコードモジュールと、
デコードされたメディアデータをレンダリングしてメディア再生データを取得するように構成されるレンダリングモジュールと、
前記メディア再生データを前記標準プレーヤで再生するように構成される再生モジュールとを含む。
本開示の実施例の第3態様による端末は、
プロセッサと、
プロセッサ実行可能命令を格納するように構成されるメモリとを含み、
ここで、前記プロセッサは、
無線ネットワークの伝送リンクを通してピアデバイスの画面共有要求を取得したかどうかを判断し、
ピアデバイスの画面共有要求を受信した場合、前記ピアデバイスのIPアドレスおよび前記ピアデバイスのポート番号を取得し、
前記IPアドレスおよび前記ポート番号に基づいて、ピアデバイス画面を再生するためのメディアデータに対応するユニフォームリソースロケータ(URL)を生成し、
前記URLに対応する標準プレーヤを確定し、
前記標準プレーヤを利用して前記URLに対応するメディアデータを再生するように構成される。
本開示の実施例による技術的解決手段は、以下の有益な効果を含むことができる。
本開示発明の実施例による提供される情報処理方法および装置では、受信側が送信側に発見された場合、受信側と送信側との通信接続が確立設定され、通信接続中、受信側と送信側がいくつかの情報を交換してネゴシエーションを行い、ネゴシエーションが成功した場合は、場合、送信側デバイスの画面共有要求を取得したことを確定し、そうすると受信側は送信側のIP(Internet Protocol、インターネットプロトコル)アドレスおよびポート番号を取得してURLを生成し、受信側はこのURLに基づいてURLに対応する標準プレーヤを確定し、取得された標準プレーヤにより該メディアデータを再生する。本開示の実施例の受信側における標準プレーヤが独立した標準プレーヤであるので、送信側と受信側がデータ交換を行う時に利用したプロトコルプロトコルが変化しても、受信側における標準プレーヤは、依然として送信側から伝送されたメディアデータを正常に再生することができる。
以上の一般的な説明および後の詳細な説明は、例示的なものおよび解釈的なものだけであり、本発明を限定できない。
一つの例示的な実施例によるプロトコル階層図である。 Source側とSink側との間のデータ伝送の概略図である。 一つの例示的な実施例による情報処理方法のフローチャートである。 図3におけるステップS340のフローチャートである。 図3におけるステップS340のもう1つのフローチャートである。 図3におけるステップS310のフローチャートである。 図3におけるステップS350のフローチャートである。 一つの例示的な実施例による情報処理装置の概略図である。 図8におけるプレーヤ確定ユニットの概略図である。 図8におけるプレーヤ確定ユニットのもう1つの概略図である。 図8における要求判断ユニットの概略図である。 図8におけるメディアデータ再生ユニットの概略図である。 例示的な実施例による端末の構造の概略図である。
ここの図面は、明細書に組み込まれ、本明細書の一部を構成し、本発明に適合した実施例を示しており、また明細書と一緒に本発明の原理を説明することに用いられる。
ここでは例示的な実施例について詳しく説明し、その例は図面に示される。以下の説明は図面に関わる場合、特に明記しない限り、異なる図面における同一の数字は同一または類似の要素を表す。以下の例示的な実施例において説明される実施形態は本発明と一致する全ての実施形態を代表するものではない。逆に、それらは、添付の特許請求の範囲において詳しく説明される、本発明のいくつかの方面と一致する装置および方法の例だけである。
Googleによりが開発された操作システムAndroid 4.2バージョンでは、WiFi Display機能に対するサポートが追加されており、これにより、Androidディスプレイアーキテクチャ全体が比較的大きく変化するにもつながった。Miracastは、WiFiアライアンスがWiFi Display(WFDと略称する)機能をサポートするデバイスに対して認証した名称である。Miracast認証に合格したデバイスは、最大限にWFD機能に対するサポートおよび互換性を保存する。
Miracastのコア機能は、デバイス同士がWiFi無線ネットワークを介してビデオとオーディオのデータを共有させることである。簡単なアプリケーションシナリオを例に説明するが、Miracastを持っていれば、ハードワイヤ(HDMI(登録商標)(High Definition Multimedia Interface、高精細度マルチメディアインタフェース)など)を必要とすることなく直接WiFiにより携帯電話におけるビデオをテレビに伝送して表示することができる。現在のスマートデバイスの発展傾向から見ると、WFDは比較的短い時間内に本当の意味でのマルチスクリーンインタラクションの実現に貢献する可能性が非常に高い。WFDプロトコルは、WiFiおよびRTSP(Real Time Streaming Protocol、リアルタイムストリーミングプロトコル)を拡大し、RTSPに基づいて一連のパラメータおよびmessageタイプを定義し、WiFiのInfomation Elementカスタム機能により基礎となる伝送を行う。そのプロトコル層は図1に示される。
図2に示すように、WFDプロトコルでは少なくとも1つのSourceデバイス(Source側)および1つのSinkデバイス(Sink側)が存在する必要があると規定しており、SourceデバイスがWFD Source、SinkデバイスがWFD Sinkと呼ばれている。Sourceデバイスは、送信側であり、Sinkデバイスは、受信側である。以下にSource側とSink側がどのようにデータ交換を行うかについて簡単に紹介する。Miracastはsession(セッション制御)を単位として2つのデバイス間のデータ交換を管理し、主なステップは以下のとおりである(順番に紹介する)。
デバイス発見(Device Discovery):WiFi P2Pにより近くのWiFi P2Pをサポートするデバイスを検索する。
デバイス選択(Device Selection):デバイスAがデバイスBを発見したら、デバイスAはユーザーに知らせる必要がある。ユーザーは必要に応じてデバイスBとペアリングするかどうかを選択することができる。
接続確立(Connection Setup):Source側とSink側におけるディスプレイ(Display)デバイスはWiFiP2Pにより接続を確立する。WiFi Direct技術仕様によると、このステップは、Group Owner(グループ所有者)の確立およびClient(クライアント)の確立を含む。その後、この2つのデバイスではTCP(Transmission Control Protocol、トランスミッションコントロールプロトコル)接続が確立され、同時にRTSPに用いられるポートは、後のSession管理および制御のために作成される。
機能ネゴシエーション(Capability Negotiation):正式にビデオとオーディオのデータを伝送する前に、SourceデバイスとDisplayデバイスは、双方がサポートするビデオとオーディオのフォーマットなどのMiracastパラメータ情報を交換する必要がある。両者のネゴシエーションが成功してから、後の処理を継続することができる。
セッション制御および確立プロセス(Session Establishment and streaming):前のステップが完了した後、SourceデバイスとDisplayデバイスは、MiracastSessionを確立する。その後、ビデオおよびオーディオデータの伝送を開始することができる。Source側のビデオおよびオーディオデータは、MPEG2TS(Moving Picture Experts Group Transport Stream、動的ピクチャーエキスパートグループ伝送ストリーム)でコーディングされた後、RTP(Real−time Transport Protocol、リアルタイム伝送プロトコル)によりDisplayデバイスに伝送される。Displayデバイスは、受信されたデータをデコードし、最終表示する。
しかし、上記の解決手段では、Apk(AndroidPackage、Androidパッケージ)層がSettingと一緒に設置され、また中間層がWiFiP2Pと混合し、ロジックプロセスから十分に明確ではなく、結合解除やメンテナンスが難しくなる。上記の解決手段はプロセス全体から見ると基本的にリンクと再生に分けることができ、一旦リンク部が変化したら、再生部の正常な動作に影響を与える。例えば、Source側の既存のWiFi P2P発見プロトコルを置き換え、upnp(Universal Plug and Play、ユニバーサルプラグアンドプレイ)/msdns(Microsoft Developer Network、マイクロソフト開発者向けネットワーク)または独自の発見プロトコルを介してデバイスを発見すると、基礎となるRTSPプロトコルが変化しないので、再生部は、正常に動作しない可能性がある。
ネイティブのMircastソリューションではリンクRTSP serverとWiFi P2Pリンクプロセスを一緒に混合させているので、Source側のIPアドレスとポート番号を取得した後にすぐに再生を開始する。再生とリンクの直接の関連はIPアドレスとポートだけであることを考慮し、再生とリンクの独立を実現するために、IPアドレスとポートをintent方式によりアプリケーションに伝送して後の操作を行うことができる。従って、本開示の実施例による情報処理方法および装置は、上記のリンク部と再生部の結合を解除し、リンク部の変化による影響を受けないように再生部を独立させることができる。具体的なプロセスは後の実施例において詳しく説明される。
関連技術における技術問題に対し、本開示の実施例ではまずSink側に応用される情報処理方法を提供し、図3に示すように、該方法は、以下のステップを含むことができる。
ステップS310では、無線ネットワークの伝送リンクを通してピアデバイスの画面共有要求を取得したかどうかを判断する。
Source側は、WiFi P2Pにより近くのWiFi P2Pをサポートするデバイスを検索することができ、また独自の発見プロトコルのような他のプロトコルにより相手側を発見することも可能である。Source側がSink側を発見した場合、Source側とSink側は、両者がサポートするネットワーク伝送プロトコルを用いて通信接続を確立し、Source側がメディアデータをSink側でリアルタイムに再生して画面共有を実現する必要がある場合、Source側は、確立された通信接続を通してSink側に画面共有要求を送信する。
ピアデバイスの画面共有要求を受信した場合、ステップS320で、ピアデバイスのIPアドレスおよびピアデバイスのポート番号を取得する。
ピアデバイスのIPアドレスとピアデバイスのポート番号は、Source側のIPアドレスとポート番号を指す。
ステップS330では、IPアドレスとポート番号に基づいて、ピアデバイス画面を再生するためのメディアデータに対応するURLを生成する。
URL(Uniform Resource Locator、ユニフォームリソースロケータ)は、Source側のIPアドレスおよびSource側のポート番号に基づいて生成され、該URLのフォーマットタイプがwfdフォーマットタイプであってよい。
ステップS340では、URLに対応する標準プレーヤを確定する。
URLに対応する標準プレーヤを確定することは、既存のプレーヤを標準プレーヤに再構成してURLのフォーマットタイプをサポートするようにすること、およびURLタイプをサポートする標準プレーヤを作成することという2種の手法があることができる。これにより、該標準プレーヤは、URLに対応するメディアデータを再生できる。
ステップS350では、標準プレーヤを利用してURLに対応するメディアデータを再生する。
標準プレーヤを確定した後、該標準プレーヤを利用してURLに対応するメディアデータを再生することができ、すなわち、Sink側は、Source側から伝送されたメディアデータをリアルタイムに再生することができる。
本開示の実施例による情報処理方法では、送信側から送信された画面共有要求を受信した場合、受信側は、送信側のIPアドレスおよびポート番号を取得してURLを生成し、また該URLに基づいてURLに対応する標準プレーヤを確定し、取得された標準プレーヤを通して該メディアデータを再生する。本開示の実施例の受信側における標準プレーヤが独立した標準プレーヤであるので、送信側と受信側がデータ交換を行っている時に利用される通信プロトコルが変化しても、受信側における標準プレーヤは、依然として正常に送信側から伝送されたメディアデータを再生することができる。
URLに対応する標準プレーヤを確定して既存のプレーヤを再構成するために、本開示の実施例によるもう1つの実施例では、図3に基づいて、図4に示すように、前記ステップS340は、さらに以下のステップを含むことができる。
ステップS341では、デフォルトプレーヤを取得する。
該デフォルトプレーヤが既存のプレーヤであって良いので、直接該デフォルトプレーヤを使用すればよい。
ステップS342では、デフォルトプレーヤがURLに対応するフォーマットタイプをサポートするかどうかを判断する。
該デフォルトプレーヤを取得した後、まず該プレーヤがURLに対応するフォーマットをサポートするかどうかを判断する必要がある。該URLは、wfd://xxxのURLのようなwfdフォーマットタイプのURLであって良い。
デフォルトプレーヤがURLに対応するフォーマットタイプをサポートする場合、ステップS343では、デフォルトプレーヤをURLに対応する標準プレーヤとして確定する。
該デフォルトプレーヤがURLに対応するフォーマットタイプをサポートする場合、該デフォルトプレーヤを再構成する必要がなく、直接利用すればよい。現在、既存のプレーヤが一般的にwfd://xxxのURLのフォーマットタイプをサポートしないので、該ステップでデフォルトプレーヤがURLに対応するフォーマットタイプをサポートする場合、該デフォルトプレーヤは、再構成されたもの、または予め作成された標準プレーヤだと考えることができる。該デフォルトプレーヤを標準プレーヤとして確定する。
デフォルトプレーヤがURLに対応するフォーマットタイプをサポートしない場合、ステップS344では、デフォルトプレーヤを、URLに対応するフォーマットタイプをサポートするプレーヤと、設定し、さらにURLに対応するフォーマットタイプをサポートするプレーヤを、URLに対応する標準プレーヤとして確定する。
該デフォルトプレーヤがURLに対応するフォーマットタイプをサポートしない場合、該デフォルトプレーヤを再構成してURLに対応するフォーマットタイプをサポートするようにする必要があり、さらに再構成されたデフォルトプレーヤを標準プレーヤとして確定する。
ここではRTP Sinkに基づいてオーディオおよびとビデオのデータを取得してそしてTunnelRenderにおいてプレーヤを起動して再生する方式を用いても良い。該方式ではすでに標準的なプレーヤおよびインタフェースがあるので、統一したプロセスによりsurfaceの作成および設定などをMediaplayerserviceアーキテクチャにおける対応するインタフェースに割り当てるだけでよい。また、該方式はWiFiDisplaySink−>RTPReceiver−>TunnelRendererという流れにより再生を行うフレームであるので、このフレームの実際のプレーヤは、TunnelRendererのオブジェクトですでに初期化され、またsetDataSource()、setVideoSurfaceTexture()、start()などの関数インタフェースを呼び出すことで再生プロセスを起動した。
しかし、上記の方式では、リンクと再生の結合が解除できないため、再生部が独立せず、上位アプリケーションに対してURLが再生タイプを自動識別することにより再生プロセスを作成することを望むので、プレーヤを初期化するプロセスをMediaplayerserviceクラスに取り入れる必要があるという問題が存在している。具体的に言うと、Mediaplayerserviceクラスのメンバー関数setDataSourceを再構成することにより、MiracastのURLを識別できるようにするということである。ここでは、wfd://xxxにて、再生タイプがMiracastであることを識別し、これにより他のプロトコルと区別して基礎部が正しい再生プロセスを作成できるようにする。setVideoSurfaceTexture()、start()などの他のプロセスは、標準的な再生呼び出しプロセスと同様である。
URLフォーマットタイプをサポートしない既存のプレーヤを、URLフォーマットタイプをサポートする標準プレーヤに再構成することにより、Source側とSink側との間のデータ伝送プロトコルが変化しても、標準プレーヤの伝送されたメディアデータに対するリアルタイムの再生に影響を与えない。
URLに対応する標準プレーヤを確定して作成するために、本開示によるもう1つの実施例では、図3に基づいて、図5に示すように、前記ステップS340は、さらに以下のステップを含むことができる。
ステップS345において標準プレーヤを作成する。
現在、URLフォーマットタイプをサポートするプレーヤが基本的にないので、ここでは標準プレーヤを作成する必要がある。該標準プレーヤは標準インタフェースを有し、一般的なプレーヤが呼び出される標準プロセスをサポートするものとする。該標準プレーヤは、wfd://xxxURLのようなフォーマットタイプをサポートする。
ステップS346では、標準プレーヤがURLに対応するフォーマットタイプをサポートするかどうかを判断する。
標準プレーヤを作成した後、さらに、該標準プレーヤが正しくURLに対応するメディアデータを再生するように、作成された標準プレーヤを確認し、URLに対応するフォーマットタイプをサポートするかどうかを判断する必要がある。
前記標準プレーヤがURLに対応するフォーマットタイプをサポートする場合、ステップS347において標準プレーヤをURLに対応する標準プレーヤとして確定する。
該標準プレーヤがURLに対応するフォーマットタイプをサポートする場合、該URLを該URLに対応する標準プレーヤとして確定することができる。
標準プレーヤを作成する場合、MediaReceiverからDirectrenderへ直接オーディオおよびとビデオのデコード、再生を行う方法に基づいて作成することができ、具体的には、WiFiDisplaySink−>MediaReceiver−>DirectRendererとなる。この方法では再生のプロセスはあるが、標準Androidプレーヤのプロセスと一致しない。この方法の最大の欠点として、setDataSource、setVideoSurfaceTextureなどのプレーヤのベースクラスMediaPlayerInterfaceの標準インタフェースを実現しておらず、またWiDiに対して、Source側が解像度の切り換えを行った場合で、アプリケーションに対して適時に解像度の切り換えを知らせることができない。この場合、マウスとビデオは対応しない。これらの問題を解決するために、プレーヤクラスを作成し、暫定的にFakeMiracastPlayerに命名し、この新しいプレーヤクラスは、アプリケーション層に公開されており、アプリケーション層は、標準MediaPlayerのプロセスを呼び出すことができ、基礎部は、元のフレームワークを引き受け、掛け橋の役割を果たし、上層部は、wfd://xxxURLタイプによりそれを起動し、基礎部は、それを通してアプリケーション層に対してイベントの発生を知らせる。
また、該FakeMiracastPlayerは、標準なsetDataSourceインタフェースを介して元のWiFidisplayを呼び出し、setListenerインタフェースを介して上層部プレーヤのエンティティをWiFidisplayに伝送し、これにより、WiFidisplayにおける情報フィードバックを取得し、setWfdSurfaceを介して標準なsurfaceをWiFidisplayに伝送し、さらにコーディングおよびデコード、表示に用い、このような手法により、インタフェースとプロセスの統合を図る。
URLフォーマットタイプをサポートする標準プレーヤを作成し、作成が完了した後、該標準プレーヤがURLのフォーマットタイプをサポートするかどうかを確認する。該標準プレーヤがURLのフォーマットタイプをサポートする場合、Source側とSink側との間のデータ伝送プロトコルが変化しても、標準プレーヤの伝送されたメディアデータに対するリアルタイムな再生に影響を与えない。
Sink側がSource側から送信された画面共有要求を取得したかどうかを判断するために、本開示のもう1つの実施例では、図3に基づいて、図6に示すように、ステップS310は、さらに以下の内容を含むことができる。
ステップS311では、無線ピアツーピアネットワークWiFi P2Pプロトコルによりピアデバイスと通信接続を確立する場合、ピアデバイスとプリセットパラメータ情報を交換する。
ここのプリセットパラメータ情報は、Source側とSink側がサポートするビデオ/オーディオフォーマットなどのMiracastパラメータ情報であってよい。
ステップS312では、プリセットパラメータ情報に基づいて、ピアデバイスとのネゴシエーションが成功したかどうかを判断する。
Source側とSink側がプリセットパラメータ情報を交換した後、双方は、交換されたプリセットパラメータ情報をチェックし、自身のデバイスによってサポートされるかどうか、すなわち、双方のネゴシエーションが成功したかどうかを判断する。
ピアデバイスとのネゴシエーションが成功した場合、ステップS313において、ピアデバイスの画面共有要求を取得したことを確定する。
ピアデバイスとのネゴシエーションが失敗した場合、ステップS314において、ピアデバイスの画面共有要求を取得しないことを確定する。
双方がネゴシエーションを行うことで、データ伝送条件を満たしているかどうかを判断し、Sink側がSource側から送信されたメディアデータを受信した場合に、フォーマットなどの原因により正常に該メディアデータを再生できないことを防ぐ。
標準プレーヤがURLに基づいて対応するメディアデータを取得した後、どのように該メディアデータを再生するかことは、モードロック状態になるために、本開示のもう1つの実施例では、図3に基づいて、図7に示すように、ステップS350は、さらに以下の内容を含むことができる。)
ステップS351では、URLに基づいてピアデバイスにおけるURLに対応するメディアデータを取得する。
ステップS352では、メディアデータをデコードする。
ステップS353では、デコードされたメディアデータをレンダリングし、メディア再生データを取得する。
ステップS354では、メディア再生データを標準プレーヤで再生する。
URLを取得した後、まず該URLを解析し、解析されたURLに基づいて対応するメディアデータを取得する。例えば、URLを解析した後、Source側は、確立されたsessionによりリアルタイムメディアストリーム(またはクロールされたインタフェース)をTS(transport stream)方式でSink側に伝送し、Sinkはメディアストリームデータ(例えば、オーディオ、ビデオなど)をコーディングして逆多重化し、その後標準プレーヤに伝送してデコード、レンダリングおよび再生を行う。
本開示の実施例による情報処理方法では、送信側から送信された画面共有要求を受信した場合、受信側は送信側のIPアドレスおよびポート番号を取得してURLを生成し、また該URLに基づいてURLに対応する標準プレーヤを確定し、取得された標準プレーヤを通して該メディアデータを再生する。本開示の実施例の受信側における標準プレーヤが独立した標準プレーヤであるので、送信側と受信側がデータ交換を行っている時に利用される通信プロトコルが変化しても、受信側における標準プレーヤは、依然として正常に送信側から伝送されたメディアデータを再生することができる。
また、本発明の実施例では標準プレーヤを確定するための2種の方式を提供し、この2種の方式により確定された標準プレーヤはプレーヤを独立させてリンク部との結合を解除することができ、これにより、標準プレーヤが取得されたメディアデータを再生する時に伝送プロトコルの影響を受けないことができ、再生効率が大いに向上する。なお、この実施形態において提案される方法は、標準APKインタフェースに統合しているので、容易にこの変動に適応でき、ビデオとマウスが異なる解像度でもマッチングできる問題を解決できる。
以上の方法の実施例の説明により、本分野の当業者は、本開示の実施例がソフトウェアおよび必要な汎用ハードウェアプラットフォームを利用して実現されることができ、もちろん、ハードウェアにより実現されることもでき、多くの場合において前者が好ましい実施形態であることを、明確に理解することができる。このような理解に基づいて、本開示の発明の技術的解決手段は、本質的にソフトウェア製品の形態で体現され、または従来技術に貢献する部分がソフトウェア製品の形態で体現されることができ、該コンピュータソフトウェア製品は、記憶媒体に保存され、コンピュータデバイス(パーソナルコンピュータ、サーバまたはネットワーク装置などであってよい)に本開示の各実施例における前記方法の全部または一部のステップを実行させるための若干の命令を含む。前記記憶媒体は、読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、ディスクまたは光ディスクなどのプログラムコードを保存できる様々なメディアを含む。
なお、前記各実施例の実現手段として、本発明の実施例ではさらに1種の情報処理装置を提供する。この装置は、端末に位置し、図8に示すように、要求判断ユニット10、情報取得ユニット20、URL生成ユニット30、プレーヤ確定ユニット40およびメディアデータ再生ユニット50を含み、
要求判断ユニット10が無線ネットワークの伝送リンクを通してピアデバイスの画面共有要求を取得したかどうかを判断するように構成され、
情報取得ユニット20がピアデバイスの画面共有要求を受信した場合、前記ピアデバイスのIPアドレスおよび前記ピアデバイスのポート番号を取得するように構成され、
URL生成ユニット30が前記IPアドレスおよび前記ポート番号に基づいて、ピアデバイス画面を再生するためのメディアデータに対応するユニフォームリソースロケータ(URL)を生成するように構成され、
プレーヤ確定ユニット40が前記URLに対応する標準プレーヤを確定するように構成され、
メディアデータ再生ユニット50が前記標準プレーヤを利用して前記URLに対応するメディアデータを再生するように構成される。
本開示のもう1つの実施例では、図8に基づいて、図9に示すように、プレーヤ確定ユニット40は、プレーヤ取得モジュール41、第1フォーマットタイプ判断モジュール42、第1標準プレーヤ確定モジュール43、標準プレーヤ設定モジュール44および第2標準プレーヤ確定モジュール45を含み、
プレーヤ取得モジュール41がデフォルトプレーヤを取得するように構成され、
第1フォーマットタイプ判断モジュール42が、前記デフォルトプレーヤが前記URLに対応するフォーマットタイプをサポートするかどうかを判断するように構成され、
第1標準プレーヤ確定モジュール43が、前記デフォルトプレーヤが前記URLに対応するフォーマットタイプをサポートする場合、前記デフォルトプレーヤを前記URLに対応する標準プレーヤとして確定するように構成され、
標準プレーヤ設定モジュール44が、前記デフォルトプレーヤが前記URLに対応するフォーマットタイプをサポートしない場合、前記デフォルトプレーヤを、前記URLに対応するフォーマットタイプをサポートするプレーヤと、設定するように構成され、
第2標準プレーヤ確定モジュール45が前記URLに対応するフォーマットタイプをサポートする前記プレーヤを、前記URLに対応する標準プレーヤとして確定するように構成される。
本開示のもう1つ実施例では、図8に基づいて、図10に示すように、プレーヤ確定ユニット40は、標準プレーヤ作成モジュール46、第二フォーマットタイプ判断モジュール47および第3標準プレーヤ確定モジュール48を含み、
標準プレーヤ作成モジュール46が標準プレーヤを作成するように構成され、
第2フォーマットタイプ判断モジュール47が、前記標準プレーヤが前記URLに対応するフォーマットタイプをサポートするかどうかを判断するように構成され、
第3標準プレーヤ確定モジュール48が、前記標準プレーヤが前記URLに対応するフォーマットタイプをサポートする場合、前記標準プレーヤを前記URLに対応する標準プレーヤとして確定するように構成される。
本発明のもう1つの実施例では、図8に基づいて、図11に示すように、要求判断ユニット10は、パラメータ情報交換モジュール11、ネゴシエーション判断モジュール12、要求成功確定モジュール13と要求失敗確定モジュール14を含み、
パラメータ情報交換モジュール11がピアツーピア無線ネットワークWiFi P2Pプロトコルを通して前記ピアデバイスと通信接続を確立する場合、前記ピアデバイスとプリセットパラメータ情報を交換するように構成され、
ネゴシエーション判断モジュール12が前記プリセットパラメータ情報に基づいて、前記ピアデバイスとのネゴシエーションが成功したかどうかを判断するように構成され、
要求成功確定モジュール13が、前記ピアデバイスとのネゴシエーションが成功した場合、前記ピアデバイスの画面共有要求を取得したことを確定するように構成され、
要求失敗確定モジュール14が、前記ピアデバイスとのネゴシエーションが失敗した場合、前記ピアデバイスの画面共有要求を取得しないことを確定するように構成される。
本開示のもう1つの実施例では、図8に基づいて、図12に示すように、メディアデータ再生ユニットは、メディアデータ取得モジュール51、デコードモジュール52、レンダリングモジュール53および再生モジュール54を含み、
メディアデータ取得モジュール51が前記URLに基づいて前記ピアデバイスにおける前記URLに対応するメディアデータを取得するように構成され、
デコードモジュール52が前記メディアデータをデコードするように構成され、
レンダリングモジュール53がデコードされたメディアデータをレンダリングし、メディア再生データを取得するように構成され、
再生モジュール54が前記メディア再生データを前記標準プレーヤで再生するように構成される。
上記の実施例における装置については、各モジュールが操作を実行する具体的な方式は、該方法に関する実施例において詳しく説明されているので、ここでは詳しい説明を省略する。
図13は、一つの例示的な実施例による情報処理のための端末1300の構造の概略図である。例えば、端末1300は、携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信デバイス、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、パーソナルデジタルアシスタントなどであってよい。
図13を参照すると、端末1300は、処理ユニット1302、メモリ1304、電源ユニット1306、マルチメディアユニット1308、オーディオユニット1310、入力/出力(I/O)インタフェース1312、センサユニット1314および通信ユニット1316のうちの1つまたは複数のユニットを含むことができる。
処理ユニット1302は、通常、表示、電話呼び出し、データ通信、カメラ操作および記録操作に関連する操作のような端末1300の全体操作を制御する。処理ユニット1302は、上記方法の全部または一部のステップを完了する遂行するために、1つまたは複数のプロセッサ1302を含んで命令を実行するのための1つまたは複数のプロセッサ1302を含むことができる。また、処理ユニット1302は、その他のユニットとのインタラクションを容易にするために、1つまたは複数のモジュールを含むことができる。例えば、処理ユニット1302は、マルチメディアユニット1308とのインタラクションを容易にするために、マルチメディアモジュールを含むことができる。
メモリ1304は、様々なタイプのデータを記憶して端末1300での操作をサポートするように構成される。これらのデータの例は、端末1300で操作されるいかなるアプリケーションプログラムまたは方法のための命令、連絡先データ、電話帳データ、メッセージ、ピクチャ、ビデオなどを含む。メモリ1304は、スタティックランダムアクセスメモリ(SRAM)、電気的消去可能プログラム可能読み出し専用メモリ(EEPROM)、消去可能プログラム可能読み出し専用メモリ(EPROM)、プログラム可能読み出し専用メモリ(PROM)、読み出し専用メモリ(ROM)、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどのいかなるタイプの揮発性または不揮発性記憶デバイスまたはそれらの組み合わせによって実現されることができる。
電源ユニット1306は、端末1300の各ユニットに電力を提供する。電源ユニット1306は、電源管理システム、1つまたは複数の電源、その他端末1300のために電力を生成、管理および配分することに関連する他のユニットを含むことができる。
マルチメディアユニット1308は、前記端末1300とユーザーとの間の1つの出力インタフェースを提供する画面を含む。いくつかの実施例では、画面は、液晶ディスプレイ(LCD)およびタッチパネル(TP)を含むことができる。画面がタッチパネルを含む場合、その画面は、ユーザーからの入力信号を受信するために、タッチパネルとして実現されることができる。タッチパネルは、タッチ、スライドおよびタッチパネル上のジェスチャーをセンシングするために1つまたは複数のタッチセンサを含む。前記タッチセンサは、タッチやスライドの境界をセンシングするだけでなく、前記タッチやスライドに関連する継続時間および圧力を検出することができる。いくつかの実施例では、マルチメディアユニット1308は、フロントカメラおよび/またはリアカメラを含む。端末1300が撮影モードやビデオモードのような操作モードにある場合、フロントカメラと/またはリアカメラは、外部のマルチメディアデータを受信することができる。各フロントカメラとリアカメラは、固定された光学レンズシステムであってよく、または焦点距離および光学ズーム機能を備える。
オーディオユニット1310は、オーディオ信号を出力および/または入力するように構成される。例えば、オーディオユニット1310はマイクロフォン(MIC)を含み、端末1300が呼び出しモード、記録モードおよび音声認識モードのような操作モードにある場合、マイクロフォンは外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ1304に記憶され、または通信ユニット1316経由で送信されることができる。いくつかの実施例では、オーディオユニット1310は、さらにオーディオ信号を出力する構成されるスピーカーを含む。
I/Oインタフェース1312は処理ユニット1302と周辺インタフェースモジュールとの間にインタフェースを提供し、前記周辺インタフェースモジュールがキーボード、クイックホイール、ボタンなどであってよい。これらのボタンはホームページボタン、ボリュームボタン、起動ボタンおよびロックボタンを含むことができるがそれらに限定されない。
センサユニット1314は、端末1300に各方面の状態評価を提供するように構成される1つまたは複数のセンサを含む。例えば、センサユニット1314は、端末1300のオン/オフ状態、ユニットの相対的な位置決め、例えば前記ユニットが端末1300のディスプレイおよびキーパッドであることを検出でき、センサユニット1314はさらに端末1300または端末1300の一つのユニットの位置変化、ユーザーとの端末1300との接触が存在するかどうか、端末1300の方位または加速/減速および端末1300の温度変化を検出することも可能である。センサユニット1314は、いかなる物理的接触がない時に近くの物体が存在しているかどうかを検出するように構成される近接センサを含むことができる。該センサユニット1314はさらにイメージングアプリケーションに使用されるように構成されるCMOSやCCDイメージセンサのような光センサを含むことができる。いくつかの実施例では、該センサユニット1314はさらに加速度センサ、ジャイロセンサ、磁気センサ、圧力センサまたは温度センサを含むことができる。
通信ユニット1316は、端末1300と他のデバイスとの有線または無線通信を容易にするように構成される。端末1300は、通信規格に基づく無線ネットワーク、例えばWiFi、2Gまたは3G、またはそれらの組み合わせにアクセスすることができる。一つの例示的な実施例では、通信ユニット1316は、放送チャネルを介して外部の放送管理システムからの放送信号または放送関連情報を受信する。一つの例示的な実施例では、前記通信ユニット1316は、さらに、近距離通信を促進するために近距離通信(NFC)モジュールを含む。例えば、NFCモジュールは、無線周波数識別(RFID)技術、赤外線データ協会(IrDA)技術、超広帯域(UWB)技術、ブルートゥース(登録商標)(BT)技術およびその他の技術に基づいて実現されることができる。
例示的な実施例では、端末1300は、1つまたは複数の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブルロジックデバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、コントローラ、マイクロコントローラ、マイクロプロセッサ、またはその他の電子コンポーネントによって実現されることができ、上記方法を実行するように構成される。
例示的な実施例では、さらに、メモリ1304のような命令を含む非一時的なコンピュータ可読記憶媒体を提供している。前記命令は端末1300のプロセッサ1320によって実行されて上記方法を完了することができる。前記非一時的なコンピュータ可読記憶媒体は、ROM、ランダムアクセスメモリ(RAM)、CD−ROM、テープ、フロッピー(登録商標)ディスクおよび光データ記憶装置などであってよい。
非一時的なコンピュータ可読記憶媒体であって、前記記憶媒体における命令が移動端末のプロセッサによって実行される場合、移動端末は、情報処理方法を実行することができる。前記方法は、
無線ネットワークの伝送リンクを通してピアデバイスの画面共有要求を取得したかどうかを判断することと、
ピアデバイスの画面共有要求を受信した場合、前記ピアデバイスのIPアドレスおよび前記ピアデバイスのポート番号を取得することと、
前記IPアドレスおよび前記ポート番号に基づいて、ピアデバイス画面を再生するためのメディアデータに対応するユニフォームリソースロケータ(URL)を生成することと、
前記URLに対応する標準プレーヤを確定することと、
前記標準プレーヤを利用して前記URLに対応するメディアデータを再生することとを含む。
本発明は、多数の汎用または専用コンピューティングシステムの環境または構成、例えばパーソナルコンピュータ、サーバコンピュータ、ハンドヘルドデバイスまたは便携用デバイス、タブレット型デバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能な家庭用電子機器、ネットワークPC、小型コンピュータ、大型コンピュータ、上記のシステムまたはデバイスを含む分散コンピューティング環境などに用いられることができると理解できる。
本開示の実施例は、プログラムモジュールのような、コンピュータによって実行されるコンピュータ実行可能命令の一般的な文脈において説明されることができる。一般的に、プログラムモジュールは、特定のタスクを実行し、または特定の抽象データタイプを実現するルーチン、プログラム、オブジェクト、ユニット、データ構造などを含む。分散型コンピューティング環境で本発明を実践することも可能であり、これらの分散コンピューティング環境では、通信ネットワークを介して接続されるリモート処理デバイスによってタスクを実行する。分散型コンピューティング環境では、プログラムモジュールは、記憶デバイスを含むローカルおよびリモートコンピュータ記憶媒体に位置することができる。
本明細書では、「第1」、「第2」などの関係用語は、一つのエンティティまたは操作を別のエンティティまたは操作と区別するためのものだけであり、必ずしもこれらのエンティティまたは操作の間にこのようないかなる実際の関係または順序があることを要求するまたは暗示するわけではない。また、用語「備える」、「含む」またはその変体が非排他的な包含をカバーすることを意図し、これにより、一連の要素を含むプロセス、方法、物品またはデバイスは、それらの要素を含むだけではなく、明示されていないその他の要素、または上記のプロセス、方法、物品またはデバイスが本来有している要素を含むということになる。特により多くの制限がない場合で、「……を含む」という文によって限定される要素は、前記要素を含むプロセス、方法、物品またはデバイスの中に別の同じ要素が存在している可能性もあると説明すべきである。
本分野の当業者は、明細書を考慮してここで開示された発明を実践した後、本発明の他の実施形態を考える可能性が高い。本願は、本発明の任意の変形、用途または適応的変化をカバーすることを意図しており、これらの変形、用途または適応的変化が本発明の一般的な原理に従い且つ本開示の実施例で開示されていない本技術分野における公知常識または慣用技術手段を含むものとする。明細書および実施例は、例示的なものと見なされるだけであり、本発明の真の範囲および精神は、以下の特許請求の範囲によって示される。
本発明は、上記で説明され且つ図面で示された精確な構造に限定されるものではなく、またその範囲を逸脱しなくて様々な修正および変更を行うことができると理解すべきである。本発明の範囲は、添付の特許請求の範囲によって限定されるものとする。
本開示の実施例による情報処理方法および装置では、受信側が送信側に発見された場合、受信側と送信側との通信接続が確立され、通信接続中、受信側と送信側がいくつかの情報を交換してネゴシエーションを行い、ネゴシエーションが成功した場合、送信側デバイスの画面共有要求を取得したことを確定し、そうすると受信側は、送信側のIP(Internet Protocol、インターネットプロトコル)アドレスおよびポート番号を取得してURLを生成し、受信側は、このURLに基づいてURLに対応する標準プレーヤを確定し、取得された標準プレーヤにより該メディアデータを再生する。本開示の実施例の受信側における標準プレーヤが独立した標準プレーヤであるので、送信側と受信側がデータ交換を行う時に利用したプロトコルが変化しても、受信側における標準プレーヤは、依然として送信側から伝送されたメディアデータを正常に再生することができる。

Claims (11)

  1. 情報処理方法であって、
    無線ネットワークの伝送リンクを通してピアデバイスの画面共有要求を取得したかどうかを判断することと、
    ピアデバイスの画面共有要求を受信した場合、前記ピアデバイスのIPアドレスおよび前記ピアデバイスのポート番号を取得することと、
    前記IPアドレスおよび前記ポート番号に基づいて、ピアデバイス画面を再生するためのメディアデータに対応するユニフォームリソースロケータ(URL)を生成することと、
    前記URLに対応する標準プレーヤを確定することと、
    前記標準プレーヤを利用して前記URLに対応するメディアデータを再生すること
    を含む情報処理方法。
  2. 前記URLに対応する標準プレーヤを確定することは、
    デフォルトプレーヤを取得し、
    前記デフォルトプレーヤが前記URLに対応するフォーマットタイプをサポートするかどうかを判断し、
    前記デフォルトプレーヤが前記URLに対応するフォーマットタイプをサポートする場合、前記デフォルトプレーヤを前記URLに対応する標準プレーヤとして確定し、
    前記デフォルトプレーヤが前記URLに対応するフォーマットタイプをサポートしない場合、前記デフォルトプレーヤを、前記URLに対応するフォーマットタイプをサポートするプレーヤと、設定し、前記URLに対応するフォーマットタイプをサポートする前記プレーヤを、前記URLに対応する標準プレーヤとして確定することを含むことを特徴とする請求項1に記載の情報処理方法。
  3. 前記URLに対応する標準プレーヤを確定することは、
    標準プレーヤを作成し
    前記標準プレーヤが前記URLに対応するフォーマットタイプをサポートするかどうかを判断し、
    前記標準プレーヤが前記URLに対応するフォーマットタイプをサポートする場合、前記標準プレーヤを前記URLに対応する標準プレーヤとして確定することを含むことを特徴とする請求項1に記載の情報処理方法
  4. ピアデバイスの画面共有要求を取得したかどうかを判断することは、
    無線ピアツーピアネットワークWiFi P2Pプロトコルにより前記ピアデバイスと通信接続を確立する場合、前記ピアデバイスとプリセットパラメータ情報を交換し、
    前記プリセットパラメータ情報に基づいて、前記ピアデバイスとのネゴシエーションが成功したかどうかを判断し、
    前記ピアデバイスとのネゴシエーションが成功した場合、前記ピアデバイスの画面共有要求を取得したことを確定し、
    前記ピアデバイスとのネゴシエーションが失敗した場合、前記ピアデバイスの画面共有要求を取得しないことを確定することを含むことを特徴とする請求項1に記載の情報処理方法
  5. 前記標準プレーヤを利用して前記URLに対応するメディアデータを再生することは、
    前記URLに基づいて前記ピアデバイスにおける前記URLに対応するメディアデータを取得し、
    前記メディアデータをデコードし、
    デコードされたメディアデータをレンダリングし、メディア再生データを取得し、
    前記メディア再生データを前記標準プレーヤで再生することを含むことを特徴とする 請求項1に記載の情報処理方法
  6. 情報処理装置であって、
    無線ネットワークの伝送リンクを通してピアデバイスの画面共有要求を取得したかどうかを判断するように構成される要求判断ユニットと、
    ピアデバイスの画面共有要求を受信した場合、前記ピアデバイスのIPアドレスおよび前記ピアデバイスのポート番号を取得するように構成される情報取得ユニットと、
    前記IPアドレスおよび前記ポート番号に基づいて、ピアデバイス画面を再生するためのメディアデータに対応するユニフォームリソースロケータ(URL)を生成するように構成されるURL生成ユニットと、
    前記URLに対応する標準プレーヤを確定するように構成されるプレーヤ確定ユニットと、
    前記標準プレーヤを利用して前記URLに対応するメディアデータを再生するように構成されるメディアデータ再生ユニット
    を含む情報処理装置。
  7. 前記プレーヤ確定ユニットは、
    デフォルトプレーヤを取得するように構成されるプレーヤ取得モジュールと、
    前記デフォルトプレーヤが前記URLに対応するフォーマットタイプをサポートするかどうかを判断するように構成される第1フォーマットタイプ判断モジュールと、
    前記デフォルトプレーヤが前記URLに対応するフォーマットタイプをサポートする場合、前記デフォルトプレーヤを前記URLに対応する標準プレーヤとして確定するように構成される第1標準プレーヤ確定モジュールと、
    前記デフォルトプレーヤが前記URLに対応するフォーマットタイプをサポートしない場合、前記デフォルトプレーヤを、前記URLに対応するフォーマットタイプをサポートするプレーヤと、設定するように構成される標準プレーヤ設定モジュールと、
    前記URLに対応するフォーマットタイプをサポートする前記プレーヤを前記URLに対応する標準プレーヤとして確定するように構成される第2標準プレーヤ確定モジュール
    を含むことを特徴とする請求項6に記載の情報処理装置
  8. 前記プレーヤ確定ユニットは、
    標準プレーヤを作成するように構成される標準プレーヤ作成モジュールと、
    前記標準プレーヤが前記URLに対応するフォーマットタイプをサポートするかどうかを判断するように構成される第2フォーマットタイプ判断モジュールと、
    前記標準プレーヤが前記URLに対応するフォーマットタイプをサポートする場合、前記標準プレーヤを前記URLに対応する標準プレーヤとして確定するように構成される第3標準プレーヤ確定モジュール
    を含むことを特徴とする請求項6に記載の情報処理装置
  9. 前記要求判断ユニットは、
    無線ピアツーピアネットワークWiFi P2Pプロトコルにより前記ピアデバイスと通信接続を確立する場合、前記ピアデバイスとプリセットパラメータ情報を交換するように構成されるパラメータ情報交換モジュールと、
    前記プリセットパラメータ情報に基づいて、前記ピアデバイスとのネゴシエーションが成功したかどうかを判断するように構成されるネゴシエーション判断モジュールと、
    前記ピアデバイスとのネゴシエーションが成功した場合、前記ピアデバイスの画面共有要求を取得したことを確定するように構成される要求成功確定モジュールと、
    前記ピアデバイスとのネゴシエーションが失敗した場合、前記ピアデバイスの画面共有要求を取得しないことを確定するように構成される要求失敗確定モジュール
    を含むことを特徴とする請求項6に記載の情報処理装置
  10. 前記メディアデータ再生ユニットは、
    前記URLに基づいて前記ピアデバイスにおける前記URLに対応するメディアデータを取得するように構成されるメディアデータ取得モジュールと、
    前記メディアデータをデコードするように構成されるデコードモジュールと、
    デコードされたメディアデータをレンダリングし、メディア再生データを取得するように構成されるレンダリングモジュールと、
    前記メディア再生データを前記標準プレーヤで再生するように構成される再生モジュール
    を含むことを特徴とする請求項6に記載の情報処理装置
  11. 端末であって、
    プロセッサと、
    プロセッサ実行可能命令を記憶するように構成されるメモリ
    を含み、
    前記プロセッサは、
    無線ネットワークの伝送リンクを通してピアデバイスの画面共有要求を取得したかどうかを判断し、
    ピアデバイスの画面共有要求を受信した場合、前記ピアデバイスのIPアドレスおよび前記ピアデバイスのポート番号を取得し、
    前記IPアドレスおよび前記ポート番号に基づいて、ピアデバイス画面を再生するためのメディアデータに対応するユニフォームリソースロケータ(URL)を生成し、
    前記URLに対応する標準プレーヤを確定し、
    前記標準プレーヤを利用して前記URLに対応するメディアデータを再生するように構成される端末。
JP2016543665A 2015-10-29 2015-12-30 情報処理方法および装置 Active JP6422982B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510718289.5 2015-10-29
CN201510718289.5A CN105430433B (zh) 2015-10-29 2015-10-29 信息处理方法及装置
PCT/CN2015/099972 WO2017071095A1 (zh) 2015-10-29 2015-12-30 信息处理方法及装置

Publications (2)

Publication Number Publication Date
JP2018503987A JP2018503987A (ja) 2018-02-08
JP6422982B2 true JP6422982B2 (ja) 2018-11-14

Family

ID=55508317

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016543665A Active JP6422982B2 (ja) 2015-10-29 2015-12-30 情報処理方法および装置

Country Status (8)

Country Link
US (1) US10104153B2 (ja)
EP (1) EP3163805B1 (ja)
JP (1) JP6422982B2 (ja)
KR (1) KR20170061108A (ja)
CN (1) CN105430433B (ja)
MX (1) MX361316B (ja)
RU (1) RU2665270C2 (ja)
WO (1) WO2017071095A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105430433B (zh) * 2015-10-29 2019-02-19 小米科技有限责任公司 信息处理方法及装置
CN108228439B (zh) * 2018-01-04 2021-05-11 广东睿江云计算股份有限公司 一种程序与日志解耦的方法
CN110310648A (zh) * 2019-05-21 2019-10-08 深圳壹账通智能科技有限公司 移动终端的控制方法、装置、移动终端及可读存储介质
CN115150804B (zh) * 2021-03-30 2024-04-02 广州视源电子科技股份有限公司 连接建立方法、存储介质及相关设备
CN114827682A (zh) * 2022-04-08 2022-07-29 北京字节跳动网络技术有限公司 投屏方法、系统、设备及存储介质
WO2023234432A1 (ko) * 2022-05-30 2023-12-07 엘지전자 주식회사 미라캐스트 제공 방법 및 미라캐스트 제공 시스템

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7881315B2 (en) 2006-06-27 2011-02-01 Microsoft Corporation Local peer-to-peer digital content distribution
CN101321274A (zh) * 2007-06-06 2008-12-10 朱映波 一种实现手机电视和互联网电视的方法及系统
US8892634B2 (en) * 2010-11-12 2014-11-18 Microsoft Corporation Extensible video player selection via server-side detection of client application
CN102118533A (zh) * 2010-12-22 2011-07-06 青岛海信宽带多媒体技术有限公司 手机资源在电视机上播放的实现方法及实现装置
US9412330B2 (en) 2011-03-15 2016-08-09 Lattice Semiconductor Corporation Conversion of multimedia data streams for use by connected devices
CN102404638A (zh) * 2011-11-17 2012-04-04 深圳创维-Rgb电子有限公司 一种媒体信息分享的方法及系统
JP2016511944A (ja) * 2012-12-09 2016-04-21 エルジー エレクトロニクス インコーポレイティド 無線通信システムにおけるセッション初期化方法および装置
CN103534679B (zh) * 2012-12-12 2017-06-27 华为终端有限公司 媒体流共享的方法及终端
US9197680B2 (en) * 2013-05-23 2015-11-24 Qualcomm Incorporated Establishing and controlling audio and voice back channels of a Wi-Fi display connection
US9306992B2 (en) * 2013-06-07 2016-04-05 Qualcomm Incorporated Method and system for using Wi-Fi display transport mechanisms to accomplish voice and data communications
JP2015070568A (ja) * 2013-09-30 2015-04-13 ソニー株式会社 情報処理装置、通信方法およびプログラム
US10110393B2 (en) 2013-09-30 2018-10-23 Cavium, Inc. Protocol switching over multi-network interface
US9699500B2 (en) * 2013-12-13 2017-07-04 Qualcomm Incorporated Session management and control procedures for supporting multiple groups of sink devices in a peer-to-peer wireless display system
US9838241B2 (en) * 2014-02-06 2017-12-05 Avago Technologies General Ip (Singapore) Pte. Ltd. Discovery of services over infrastructure networks
US9648073B2 (en) * 2014-04-10 2017-05-09 Qualcomm Incorporated Streaming control for real-time transport protocol
CN104219551A (zh) * 2014-09-29 2014-12-17 武汉诚迈科技有限公司 一种智能设备屏幕共享与远程控制的方法
CN105430433B (zh) * 2015-10-29 2019-02-19 小米科技有限责任公司 信息处理方法及装置

Also Published As

Publication number Publication date
EP3163805A1 (en) 2017-05-03
EP3163805B1 (en) 2019-03-27
MX361316B (es) 2018-12-03
RU2016121665A (ru) 2018-07-18
US10104153B2 (en) 2018-10-16
RU2665270C2 (ru) 2018-08-28
RU2016121665A3 (ja) 2018-07-18
US20170126773A1 (en) 2017-05-04
CN105430433A (zh) 2016-03-23
JP2018503987A (ja) 2018-02-08
KR20170061108A (ko) 2017-06-02
CN105430433B (zh) 2019-02-19
WO2017071095A1 (zh) 2017-05-04
MX2016008542A (es) 2017-06-09

Similar Documents

Publication Publication Date Title
JP6422982B2 (ja) 情報処理方法および装置
US9913301B2 (en) Content sharing method and device
TWI669957B (zh) Media projection method, media projection device, control terminal, and cloud server
JP6662784B2 (ja) 無線通信システムにおけるアプリケーションデータを表示するための方法及び装置
EP2640100B1 (en) Method and apparatus for providing an enhanced wi-fi display session in a wi-fi display network
JP6378606B2 (ja) 通信装置、その制御方法、およびプログラム
JPWO2007055206A1 (ja) 通信装置、通信方法、通信システム、プログラム、および、コンピュータ読み取り可能な記録媒体
CN111984215A (zh) 多媒体数据播放方法、终端及存储介质
WO2016110169A1 (zh) 一种显示处理方法及装置
RU2673560C1 (ru) Способ и система воспроизведения мультимедийной информации, стандартизированный сервер и терминал прямой трансляции
WO2017096851A1 (zh) 一种推送视频文件的方法、系统和服务器
WO2014190655A1 (zh) 应用同步方法、应用服务器及终端
CN114007125A (zh) 音量控制方法、移动终端、目标设备及存储介质
JP6724431B2 (ja) 通信システム、情報送信方法、及びプログラム
CN113542904A (zh) 一种视频投屏播放方法、装置、电子设备及存储介质
KR101863218B1 (ko) WebRTC를 이용한 하드웨어 영상 코덱 장치 및 영상 통화 방법
JP2017097652A (ja) 管理システム、通信システム、通信制御方法、及びプログラム
JP2006352319A (ja) 通信システムおよび通信方法
CN113326019B (zh) 音量控制方法、装置、电子设备及存储介质
JP2017069936A (ja) 通信端末、通信システム、出力方法、及びプログラム
CN105791367A (zh) 屏幕共享中辅助媒体信息共享方法、系统和相关设备
JP5420863B2 (ja) シンクライアントシステム、アプリケーションサーバ、端末制御サーバ、通信方法
JP2003091472A (ja) コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ送出プログラム
JP6587722B2 (ja) 通信装置、その制御方法、およびプログラム
JP2017098780A (ja) 管理システム、通信システム、通信制御方法、及びプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181017

R150 Certificate of patent or registration of utility model

Ref document number: 6422982

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250