JP7193181B2 - 複数の端末及び複数のネットワークをサポートするAndroidオンラインゲームアプリの分散型システム - Google Patents

複数の端末及び複数のネットワークをサポートするAndroidオンラインゲームアプリの分散型システム Download PDF

Info

Publication number
JP7193181B2
JP7193181B2 JP2021527276A JP2021527276A JP7193181B2 JP 7193181 B2 JP7193181 B2 JP 7193181B2 JP 2021527276 A JP2021527276 A JP 2021527276A JP 2021527276 A JP2021527276 A JP 2021527276A JP 7193181 B2 JP7193181 B2 JP 7193181B2
Authority
JP
Japan
Prior art keywords
online game
android
video
remote control
android online
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021527276A
Other languages
English (en)
Other versions
JP2022507759A (ja
Inventor
偉▲シュン▼ 王
琳 徐
晟 黄
超 馬
磊 周
Original Assignee
湖南多行云計算機科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 湖南多行云計算機科技有限公司 filed Critical 湖南多行云計算機科技有限公司
Publication of JP2022507759A publication Critical patent/JP2022507759A/ja
Application granted granted Critical
Publication of JP7193181B2 publication Critical patent/JP7193181B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • A63F13/352Details of game servers involving special game server arrangements, e.g. regional servers connected to a national server or a plurality of servers managing partitions of the game world
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • A63F13/355Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • A63F13/358Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70Game security or game management aspects
    • A63F13/77Game security or game management aspects involving data related to game devices or game servers, e.g. configuration data, software version or amount of memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/565Conversion or adaptation of application format or content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781Games
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42653Internal components of the client ; Characteristics thereof for processing graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • General Business, Economics & Management (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、複数の端末及び複数のネットワークをサポートするAndroid(登録商標)オンラインゲームアプリの分散型システム及びそれに基づく方法に関するものである。
現在、Androidプラットフォームで実行されるオンラインゲーム(以下、Androidオンラインゲームという)は、ゲームコンテンツが豊富で、多くのプレーヤを引き付けるため、人気がある。現在まで、Androidオンラインゲームの実行アーキテクチャには、以下の二つのモードがある。
一方のモードは、クライアント端末/サーバモードであり、システムアーキテクチャ図を図1に示す。図1に示すアーキテクチャにおいて、Androidオンラインゲームのアプリクライアント端末は、Android OSプラットフォームのスマートフォンやタブレットでのみ実行することができる。これにより、Androidオンラインゲームのアプリクライアント端末のグラフィック処理(OpenGL)は、Android OSプラットフォームのスマートフォンやタブレットのハードウェアに搭載されるグラフィックプロセッサ(以下、GPUという)及び中央処理ユニット(以下、CPUという)でのみ実行及び処理することができるように制限される。
Android OSプラットフォームに基づくスマートフォンやタブレットのGPU及びCPUの性能は、コンピュータサーバやパーソナルコンピュータに搭載されるGPU及びCPUの性能のほぼ100分の1である。コンピュータサーバやパーソナルコンピュータで実行されるゲームは、グラフィック効果が映画のようにリアルになっているが、従来のAndroidオンラインゲームは、性能が制限されるため、グラフィック効果が十分にリアルではなく、ギャップがかなり大きい。
他方のモードにおいて、ARM CPU仮想化技術及び付帯するGPU仮想化ドライバのGPU仮想化技術を利用して、ARM Linux(登録商標) KVMの仮想マシンでAndroid OSを実行し、Android OSでグラフィック処理パイプラインを修正し、グラフィックの分散型リモート処理を行う。この技術は、GPU仮想化技術を実現するために、GPU仮想化をサポートするGPUカード及び付帯するGPU仮想化ドライバを利用する必要がある。そのシステムアーキテクチャを図2に示す。
図2に示すアーキテクチャにおけるAndroidオンラインゲームの処理フロは次のとおりである。Androidオンラインゲームアプリは、Androidプラットフォームのグラフィックフレームワーク及び実行時(runtime)を呼び出し、変更されたAndroidグラフィック実行時を介してアプリグラフィック呼び出しを捕捉し、ネットワーク通信を介してこのAndroidオンラインゲームアプリグラフィック呼び出しをクライアント端末のスマートフォンに送信する。クライアント端末スマートフォンにおけるクライアント端末アプリは、グラフィック呼び出しを受信し、これらのグラフィック呼び出しをスマートフォンのAndroid OSに再生してグラフィック表示処理を行う。これらのグラフィック呼び出しは、クライアント端末スマートフォンの通常のLinuxカーネルGPUドライバ及びスマートフォンのGPUによって処理されて表示される。
上記技術に存在する問題は、以下のとおりである。OS仮想化技術に依存し、仮想化技術のネットワーク及びGPU部分の性能が低く、コストが高い。依然としてスマートフォンのGPUを利用してグラフィック呼び出しをグラフィック処理するため、グラフィック表示効果は依然としてスマートフォンのGPUによって制限され、グラフィック効果は依然としてリアルな効果に到達することができない。
上記目的を達成するために、本発明のある態様によれば、ユーザのAndroidオンラインゲームアカウント情報及びゲーム情報を記憶するためのオンラインゲームサーバを含む、複数の端末及び複数のネットワークをサポートするAndroidオンラインゲームアプリの分散型システムであって、
オンラインゲームサーバ並びに、Androidオンラインゲームビデオ及びリモートコントロールモードクライアント端末とネットワーク通信をそれぞれ確立し、拡張ARM CPUバージョンAndroid OSと、ARM CPUバージョンLinuxで実行される拡張マルチインスタンスARM Linux Dockerコンテナ及びホストサーバ側と、拡張ARM CPUバージョンLinuxとを含むAndroidオンラインゲームアプリ分散型ビデオ及びリモートコントロールサーバをさらに含み、
各ARMLinux Dockerコンテナでは、複数のARM CPUバージョンAndroid OSインスタンスが実行され、Androidオンラインゲームアプリは、拡張ARM CPUバージョンAndroid OSで実行される、
ことを特徴とする複数の端末及び複数のネットワークをサポートするAndroidオンラインゲームアプリの分散型システムが提供される。
前記ホストサーバ側は、Androidオンラインゲームアプリ分散型ビデオ及びリモートコントロールサーバとオンラインゲームサーバとのインタラクション入出力ポートであり、対応するユーザのAndroidオンラインゲームアカウント情報及びゲーム情報をオンラインゲームサーバから取得し、Androidオンラインゲームサーバに基づいてAndroidオンラインゲームアプリがインタラクティブに実行されるようにARM Linux Dockerコンテナで実行される拡張ARM CPUバージョンAndroid OSにおけるAndroidオンラインゲームアプリに送信し、Androidオンラインゲームアプリの実行結果に基づいて対応するAndroidオンラインゲームアカウント情報を修正し、オンラインゲームサーバに記憶させるとともに、
ホストサーバ側は、Androidオンラインゲームアプリ分散型ビデオ及びリモートコントロールサーバとAndroidオンラインゲームビデオ及びリモートコントロールモードクライアント端末とのインタラクションポートでもあり、Androidオンラインゲームの実行プロセスにおいて、Dockerコンテナの装置マッピング及びBinderサービスアシスタンスを介してAndroidオンラインゲームアプリのグラフィック表示をOpenGL_ESコマンドから単一又は複数のビデオストリームに変換し、Androidオンラインゲームビデオ及びリモートコントロールモードクライアント端末に送信し、Androidオンラインゲームビデオ及びリモートコントロールモードクライアント端末によってアップロードされた制御情報を受信し、当該制御情報をARM Linux Dockerコンテナで実行されるAndroidオンラインゲームアプリに送信し、
ホストサーバ側は、移動端末装置で実行されるAndroidオンラインゲームビデオ及びリモートコントロールモードクライアント端末に対してサービスし、Androidオンラインゲームアプリ分散型ビデオ及びリモートコントロールサーバから受信したビデオストリームをAndroidオンラインゲームビデオ及びリモートコントロールモードクライアント端末を介して再生するとともに、Androidオンラインゲームビデオ及びリモートコントロールモードクライアント端末を利用して制御情報を収集し、Androidオンラインゲームアプリ分散型ビデオ及びリモートコントロールサーバにアップロードすることが好ましい。
前記ホストサーバ側は、表示制御、ビデオストリームサービス層、コントロール管理、コントロールサービス層及びMesa、libdrm、vaapiライブラリをさらに含むことが好ましい。
前記Androidオンラインゲームビデオ及びリモートコントロールモードクライアント端末は、移動端末装置の性能情報並びに、Androidオンラインゲームアプリ分散型ビデオ及びリモートコントロールサーバと通信するネットワークステータス情報をさらに収集し、収集した性能情報及びネットワークステータス情報をAndroidオンラインゲームアプリ分散型ビデオ及びリモートコントロールサーバにアップロードし、Androidオンラインゲームアプリ分散型ビデオ及びリモートコントロールサーバが受信した性能情報及びネットワークステータス情報に基づいて、送信されるビデオストリームのサイズ及びネットワーク送信パラメータをリアルタイムで調整することが好ましい。
前記Androidオンラインゲームビデオ及びリモートコントロールモードクライアント端末は、ビデオストリームクライアント端末ライブラリ、Androidオンラインゲームビデオ及びリモートコントロールモードクライアント端末を実行している移動端末装置で実行されるオペレーティングシステムのコントロールモジュール、端末及びネットワーク情報収集モジュールを含むことが好ましい。
本発明の他の態様によれば、ユーザがログイン情報をAndroidオンラインゲームアプリ分散型ビデオ及びリモートコントロールサーバに送信し、ホストサーバ側がログイン情報に基づいてオンラインゲームサーバに記憶されている対応するAndroidオンラインゲームアカウント情報及びゲーム情報を取得するステップ1と、
ホストサーバ側がAndroidオンラインゲームアカウント情報及びゲーム情報をARM Linux Dockerコンテナで実行されるARM CPUバージョンAndroid OSインスタンスに送信し、Androidオンラインゲームアカウント情報及びオンラインゲームコンテンツ情報に基づいて、拡張ARM CPUバージョンAndroid OSでAndroidオンラインゲームアプリを実行するステップ2と、
ホストサーバ側がAndroidオンラインゲームアプリの実行プロセスにおいて、Dockerコンテナの装置マッピング及びBinderサービスアシスタンスを介してAndroidオンラインゲームアプリのグラフィック表示をOpenGL_ESコマンドから単一又は複数のビデオストリームに変換し、ユーザが利用する移動端末装置で実行されるAndroidオンラインゲームビデオ及びリモートコントロールモードクライアント端末に送信するステップ3と、
Androidオンラインゲームビデオ及びリモートコントロールモードクライアント端末が受信したビデオストリームを現在の移動端末装置に表示させ、ユーザの表示された画面に基づいて実行した制御情報を捕捉し、収集した制御情報をホストサーバ側にアップロードするステップ4と、
ホストサーバ側が制御情報を受信した後、ARM Linux Dockerコンテナで実行されるAndroidオンラインゲームアプリに送信するステップ5と、を含む、
ことを特徴とする請求項1に記載のシステムに基づく複数の端末及び複数のネットワークをサポートするAndroidオンラインゲームアプリの分散型方法が提供される。
前記Androidオンラインゲームビデオ及びリモートコントロールモードクライアント端末が作業プロセスにおいて、移動端末装置の性能情報並びに、Androidオンラインゲームアプリ分散型ビデオ及びリモートコントロールサーバと通信するネットワークステータス情報をさらに収集し、収集した性能情報及びネットワークステータス情報をAndroidオンラインゲームアプリ分散型ビデオ及びリモートコントロールサーバにアップロードし、Androidオンラインゲームアプリ分散型ビデオ及びリモートコントロールサーバが受信した性能情報及びネットワークステータス情報に基づいて、送信されるビデオストリームのサイズ及びネットワーク送信パラメータをリアルタイムで調整するステップをさらに含むことが好ましい。
本発明の態様は、下記の有益な効果を奏する。
(1)Androidオンラインゲームアプリ側は、高性能サーバARM CPU及び高性能GPUを利用することができるため、Androidオンラインゲームアプリは、サーバGPUがサポート可能な映画のようなリアルなグラフィック効果を実現することができるとともに、AR、VRに必要な高性能グラフィック処理をサポートすることができる。
(2)Androidオンラインゲームアプリ側は、さまざまなネットワーク環境やさまざまなユーザ側スマート端末のOSプラットフォームにうまく適用することができる。ユーザは、さまざまなネットワーク環境やさまざまなスマート端末でグラフィック効果がリアルなゲームを利用することができる。
(3)性能が優れており、コストが低く、OS仮想化のIOオーバヘッドがなく、仮想化専用GPUカード及び専用OSに加えて専用のGPU仮想化ドライバをインストールする必要がない。
Androidオンラインゲームの従来のクライアント端末/サーバモードのシステムアーキテクチャ図である。 Androidオンラインゲームの他のシステムアーキテクチャ図である。 本発明のシステムアーキテクチャ図である。
本発明をより理解しやすくするために、図面を参照しながら好適実施例を以下に詳細に説明する。
ネットワーク技術の発展により、本発明のある態様によって提供される複数の端末及び複数のネットワークをサポートするAndroidオンラインゲームアプリの分散型システムは、名称が「複数の端末及び複数のネットワークを拡張してサポートするためのインタラクティブエンターテインメントアプリケーションのシステム及び方法」であり、特許番号がZL200610026512.0である発明特許を参照引用し、Androidオンラインゲームアプリの実行プラットフォームであるAndroid OSを分散型に改造し、オンラインゲームサーバ、Androidオンラインゲームアプリ分散型ビデオ及びリモートコントロールサーバ並びにAndroidオンラインゲームビデオ及びリモートコントロールモードクライアント端末に分割する。
オンラインゲームサーバは、従来のオンラインゲームサーバを採用し、その機能も従来のオンラインゲームサーバと一致させ、ユーザのAndroidオンラインゲームアカウント情報及びゲーム情報(ゲームコンテンツプロットなど)を記憶し、Androidオンラインゲームアプリに対してサービスして応答するために利用される。
Androidオンラインゲームアプリ分散型ビデオ及びリモートコントロールサーバは、オンラインゲームサーバ並びに、Androidオンラインゲームアプリビデオ及びリモートコントロールモードクライアント端末とネットワーク通信をそれぞれ確立し、拡張ARM CPUバージョンAndroid OSと、拡張マルチインスタンスARM Linux Dockerコンテナ及びホストサーバ側と、拡張ARM CPUバージョンLinuxとで構成される。
各ARMLinux Dockerコンテナでは、複数のARM CPUバージョンAndroid OSインスタンスが実行され、Androidオンラインゲームアプリは、拡張ARM CPUバージョンAndroid OSで実行される。ここで、拡張ARM CPUバージョンAndroid OS部分の実施は、ホストLinuxのDockerコンテナ環境で起動するようにInitをカスタマイズし、システム呼び出しを増やすためにbionicをカスタマイズし、System Server適応サービスをカスタマイズし、属性システムをカスタマイズし、alsaを利用してサウンドをサポートし、ネットワークに適応することと、自己完結型のmesaを追加し、libdrm、llvm及びmesaの組み合わせによりレンダリングを完成させ、socketに書き込むことにより、合成されたDRMのbo(buffer object)及びその識別名並びに更新イベントを送信することである。
拡張マルチインスタンスARMLinux Dockerコンテナ部分の実施は、binder装置を動的に増減させる機能を追加することと、Android OSミラーリ
ングのDockerにおけるカスタマイズ修正及び実行環境の構築をすることと、ARM LinuxホストhooksメカニズムをDockerに追加し、コンテナの起動前後、シャットダウン前後のhooks及び実行時におけるcgroupのoverrideを提供することにより、Dockerコンテナで実行される複数のAndroid OSインスタンスを開発して実現することである。
拡張ARM CPUバージョンLinux部分の実施は、binderドライバを修正し、マルチbinder装置サポートを追加し、Linux cgoupsのGPUサポートを追加し、AppArmorをオープンし、コンテナ及びホストLinuxセキュリティを強化することである。Linuxには、ARM CPUをサポートするGPUドライバがさらに含まれている。
ホストサーバ側は、Androidオンラインゲームアプリ分散型ビデオ及びリモートコントロールサーバとオンラインゲームサーバとのインタラクション入出力ポートであり、対応するユーザのAndroidオンラインゲームアカウント情報及びゲーム情報をオンラインゲームサーバから取得し、Androidオンラインゲームサーバに基づいてAndroidオンラインゲームアプリがインタラクティブに実行されるようにARM Linux Dockerコンテナで実行される拡張ARM CPUバージョンAndroid OSにおけるAndroidオンラインゲームアプリに送信し、Androidオンラインゲームアプリの実行結果に基づいて対応するAndroidオンラインゲームアカウント情報を修正し、オンラインゲームサーバに記憶させる。
ホストサーバ側は、Androidオンラインゲームアプリ分散型ビデオ及びリモートコントロールサーバとAndroidオンラインゲームビデオ及びリモートコントロールモードクライアント端末とのインタラクションポートでもあり、Androidオンラインゲームの実行プロセスにおいて、Dockerコンテナの装置マッピング及びBinderサービスアシスタンスを介してAndroidオンラインゲームアプリのグラフィック表示をOpenGL_ESコマンドから単一又は複数のビデオストリームに変換し、Androidオンラインゲームビデオ及びリモートコントロールモードクライアント端末に送信し、Androidオンラインゲームビデオ及びリモートコントロールモードクライアント端末によってアップロードされた制御情報を受信し、当該制御情報をARM Linux Dockerコンテナで実行されるAndroidオンラインゲームアプリに送信する。
本実施例において、ホストサーバ側は、表示制御、ビデオストリームサービス層、コントロール管理、コントロールサービス層及びMesa、libdrm、vaapiライブラリで構成される。ホストサーバ側部分の実施は、DRMを表示するboを送受信するsocketを実現することと、anboxに基づくホスト側が入力イベントを送受信するためにsocketを修正することである。サーバとクライアント端末とのインタラクションポートとしてのホストサーバ側の具体的な実施は、主な機能は、圧縮boビデオストリームと、本発明のAndroidオンラインゲームビデオ及びリモートコントロールモードクライアント端末とのインタラクションのためのプロトコルを開発し、コントロール入力及びセンサのsocketを受信し圧縮ビデオストリームのsocketを送信することと、受信した本発明のAndroidオンラインゲームビデオ及びリモートコントロールモードクライアント端末の報告に基づいて、情報を収集及び報告し、ビデオストリームフォーマット及びパラメータ並びに通信層プロトコルパラメータを動的に調整することと、AR又はVRオンラインゲームアプリを実行する場合、画角の必要性に応じて、二つ以上のビデオストリームを圧縮して送信することである。
Androidオンラインゲームビデオ及びリモートコントロールモードクライアント端末は移動端末装置で実行され、Androidオンラインゲームアプリ分散型ビデオ及びリモートコントロールサーバから受信したビデオストリームをAndroidオンラインゲームビデオ及びリモートコントロールモードクライアント端末を介して再生するとともに、Androidオンラインゲームビデオ及びリモートコントロールモードクライアント端末を利用して制御情報を収集し、Androidオンラインゲームアプリ分散型ビデオ及びリモートコントロールサーバにアップロードする。本実施例において、前記Androidオンラインゲームビデオ及びリモートコントロールモードクライアント端末は、ビデオストリームクライアント端末ライブラリ、Androidオンラインゲームビデオ及びリモートコントロールモードクライアント端末を実行している移動端末装置で実行されるオペレーティングシステムのコントロールモジュール、端末及びネットワーク情報収集モジュールを含む。
Androidオンラインゲームビデオ及びリモートコントロールモードクライアント端末部分の実施は、表示、マウス、キーボード、タッチ、センサの制御プロトコルを実現し、ビデオストリームを受信して再生し、ユーザ端末タイプの形式及びフォーマットを収集するとともにサーバからクライアント端末であるスマートフォン装置へのネットワーク遅延、パケットロスなどの情報を常に監視及び測定してホストサーバ側に報告することを実現することである。本クライアント端末の具体的な実施は、Android OS、iOS、Sailfish OSなどの複数の端末で実行されるスマートフォンOSをさらにサポートすることができる。
本発明によって提供される複数の端末及び複数のネットワークをサポートするAndroidオンラインゲームアプリの分散型方法は、
ユーザがログイン情報をAndroidオンラインゲームアプリ分散型ビデオ及びリモートコントロールサーバに送信し、ホストサーバ側がログイン情報に基づいてオンラインゲームサーバに記憶されている対応するAndroidオンラインゲームアカウント情報及びゲーム情報を取得するステップ1と、
ホストサーバ側がAndroidオンラインゲームアカウント情報及びゲーム情報をARM Linux Dockerコンテナで実行されるARM CPUバージョンAndroid OSインスタンスに送信し、Androidオンラインゲームアカウント情報及びオンラインゲームコンテンツ情報に基づいて、拡張ARM CPUバージョンAndroid OSでAndroidオンラインゲームアプリを実行するステップ2と、
ホストサーバ側がAndroidオンラインゲームアプリの実行プロセスにおいて、Dockerコンテナの装置マッピング及びBinderサービスアシスタンスを介してAndroidオンラインゲームアプリのグラフィック表示をOpenGL_ESコマンドから単一又は複数のビデオストリームに変換し、ユーザが利用する移動端末装置で実行されるAndroidオンラインゲームビデオ及びリモートコントロールモードクライアント端末に送信するステップ3と、
Androidオンラインゲームビデオ及びリモートコントロールモードクライアント端末である当該クライアント端末が受信したビデオストリームを現在の移動端末装置に表示させ、ユーザの表示された画面に基づいて実行した制御情報を捕捉し、収集した制御情報をホストサーバ側にアップロードするステップ4と、
ホストサーバ側が制御情報を受信した後、ARM Linux Dockerコンテナで実行されるAndroidオンラインゲームアプリに送信するステップ5と、
前記Androidオンラインゲームビデオ及びリモートコントロールモードクライアント端末が作業プロセスにおいて、移動端末装置の性能情報(例えば、移動端末装置のタイプの形式、フォーマット)並びに、Androidオンラインゲームアプリ分散型ビデオ及びリモートコントロールサーバと通信するネットワークステータス情報(例えば、ネットワーク遅延、パケットロスなど)をさらに収集し、収集した性能情報及びネットワークステータス情報をAndroidオンラインゲームアプリ分散型ビデオ及びリモートコントロールサーバにアップロードし、Androidオンラインゲームアプリ分散型ビデオ及びリモートコントロールサーバが受信した性能情報及びネットワークステータス情報に基づいて、送信されるビデオストリームのサイズ(例えば、ビデオストリームのフォーマット及びパラメータの調整)及びネットワーク送信パラメータ(例えば、通信層のプロトコルパラメータの調整)をリアルタイムで調整するステップ6と、を含む。これにより、前記方法は、複数の端末及び複数のネットワーク並びにネットワークの送信帯域幅及び品質状況によく適応することができる。
実施における方法ステップの詳細なプロセスは次のとおりである。ユーザは、Androidオンラインゲームビデオ及びリモートコントロールモードクライアント端末でスマートフォン及びそのセンサを操作する。当該クライアント端末は、入力プロトコルを介してこれらの操作作動情報及びセンサ情報をホストサーバ側に送信してから、ホストサーバ側を介してDockerコンテナに対応するAndroid OSにおけるAndroidオンラインゲームのアプリ側に送信し、これらの情報により当該Androidオンラインゲームのアプリ側の制御が実現される。制御が完了した後、Androidオンラインゲームのアプリ側は、Android OSのlibdrmを介してAndroid OS自体のMesaを呼び出し、Dockerを介してマッピングされたARM Linuxローカルグラフィックカードを利用して画像をレンダリング及びミキシングしてから、socketを介して合成された画像boロゴをホストサーバ側に送信する。ホストサーバ側は画像boロゴを取得した後、vaapiを呼び出してビデオストリームに圧縮してから、プロトコルを介して表示するためにAndroidオンラインゲームビデオ及びリモートコントロールモードクライアント端末に送信する。

Claims (5)

  1. ユーザのAndroidオンラインゲームアカウント情報及びゲーム情報を記憶するとともにAndroidオンラインゲームアプリに対してサービスして応答するオンラインゲームサーバを含む、複数の端末及び複数のネットワークをサポートするAndroidオンラインゲームアプリの分散型システムであって、
    オンラインゲームサーバ並びに、Androidオンラインゲームビデオ及びリモートコントロールモードクライアント端末とネットワーク通信をそれぞれ確立し、拡張ARM CPUバージョンAndroid OSと、ARM CPUバージョンLinux(登録商標)で実行される拡張マルチインスタンスARM Linux(登録商標)Dockerコンテナ及びホストサーバ側と、拡張ARM CPUバージョンLinux(登録商標)とを含むAndroidオンラインゲームアプリ分散型ビデオ及びリモートコントロールサーバをさらに含み、
    各ARMLinux(登録商標)Dockerコンテナでは、複数のARM CPUバージョンAndroid OSインスタンスが実行され、Androidオンラインゲームアプリは、拡張ARM CPUバージョンAndroid OSで実行され、
    前記ホストサーバ側は、Androidオンラインゲームアプリ分散型ビデオ及びリモートコントロールサーバとオンラインゲームサーバとのインタラクション入出力ポートであり、Androidオンラインゲームアプリ分散型ビデオ及びリモートコントロールサーバとAndroidオンラインゲームビデオ及びリモートコントロールモードクライアント端末とのインタラクションポートでもあり、
    前記Androidオンラインゲームビデオ及びリモートコントロールモードクライアント端末は、移動端末装置の性能情報並びに、Androidオンラインゲームアプリ分散型ビデオ及びリモートコントロールサーバと通信するネットワークステータス情報をさらに収集し、収集した性能情報及びネットワークステータス情報をAndroidオンラインゲームアプリ分散型ビデオ及びリモートコントロールサーバにアップロードし、Androidオンラインゲームアプリ分散型ビデオ及びリモートコントロールサーバが受信した性能情報及びネットワークステータス情報に基づいて、送信されるビデオストリームのサイズ及びネットワーク送信パラメータをリアルタイムで調整する、
    ことを特徴とする複数の端末及び複数のネットワークをサポートするAndroidオンラインゲームアプリの分散型システム。
  2. 前記ホストサーバ側は、対応するユーザのAndroidオンラインゲームアカウント情報及びゲーム情報をオンラインゲームサーバから取得し、Androidオンラインゲームサーバに基づいてAndroidオンラインゲームアプリがインタラクティブに実行されるようにARM Linux(登録商標)Dockerコンテナで実行される拡張ARM CPUバージョンAndroid OSにおけるAndroidオンラインゲームアプリに送信し、Androidオンラインゲームアプリの実行結果に基づいて対応するAndroidオンラインゲームアカウント情報を修正し、オンラインゲームサーバに記憶させるとともに、
    ホストサーバ側は、Androidオンラインゲームの実行プロセスにおいて、Dockerコンテナの装置マッピング及びBinderサービスアシスタンスを介してAndroidオンラインゲームアプリのグラフィック表示をOpenGL_ESコマンドから単一又は複数のビデオストリームに変換し、Androidオンラインゲームビデオ及びリモートコントロールモードクライアント端末に送信し、Androidオンラインゲームビデオ及びリモートコントロールモードクライアント端末によってアップロードされた制御情報を受信し、当該制御情報をARM Linux(登録商標)Dockerコンテナで実行されるAndroidオンラインゲームアプリに送信し、
    ホストサーバ側は、移動端末装置で実行されるAndroidオンラインゲームビデオ及びリモートコントロールモードクライアント端末に対してサービスし、Androidオンラインゲームアプリ分散型ビデオ及びリモートコントロールサーバから受信したビデオストリームをAndroidオンラインゲームビデオ及びリモートコントロールモードクライアント端末を介して再生するとともに、Androidオンラインゲームビデオ及びリモートコントロールモードクライアント端末を利用して制御情報を収集し、Androidオンラインゲームアプリ分散型ビデオ及びリモートコントロールサーバにアップロードする、
    ことを特徴とする請求項1に記載の複数の端末及び複数のネットワークをサポートするAndroidオンラインゲームアプリの分散型システム。
  3. 前記ホストサーバ側は、表示制御、ビデオストリームサービス層、コントロール管理、コントロールサービス層及びMesa、libdrm、vaapiライブラリをさらに含む、
    ことを特徴とする請求項2に記載の複数の端末及び複数のネットワークをサポートするAndroidオンラインゲームアプリの分散型システム。
  4. 前記Androidオンラインゲームビデオ及びリモートコントロールモードクライアント端末は、ビデオストリームクライアント端末ライブラリ、Androidオンラインゲームビデオ及びリモートコントロールモードクライアント端末を実行している移動端末装置で実行されるオペレーティングシステムのコントロールモジュール、端末及びネットワーク情報収集モジュールを含む、
    ことを特徴とする請求項1に記載の複数の端末及び複数のネットワークをサポートするAndroidオンラインゲームアプリの分散型システム。
  5. ユーザがログイン情報をAndroidオンラインゲームアプリ分散型ビデオ及びリモートコントロールサーバに送信し、ホストサーバ側がログイン情報に基づいてオンラインゲームサーバに記憶されている対応するAndroidオンラインゲームアカウント情報及びゲーム情報を取得するステップ1と、
    ホストサーバ側がAndroidオンラインゲームアカウント情報及びゲーム情報をARM Linux(登録商標)Dockerコンテナで実行されるARM CPUバージョンAndroid OSインスタンスに送信し、Androidオンラインゲームアカウント情報及びオンラインゲームコンテンツ情報に基づいて、拡張ARM CPUバージョンAndroid OSでAndroidオンラインゲームアプリを実行するステップ2と、
    ホストサーバ側がAndroidオンラインゲームアプリの実行プロセスにおいて、Dockerコンテナの装置マッピング及びBinderサービスアシスタンスを介してAndroidオンラインゲームアプリのグラフィック表示をOpenGL_ESコマンドから単一又は複数のビデオストリームに変換し、ユーザが利用する移動端末装置で実行されるAndroidオンラインゲームビデオ及びリモートコントロールモードクライアント端末に送信するステップ3と、
    Androidオンラインゲームビデオ及びリモートコントロールモードクライアント端末が受信したビデオストリームを現在の移動端末装置に表示させ、ユーザの表示された画面に基づいて実行した制御情報を捕捉し、収集した制御情報をホストサーバ側にアップロードするステップ4と、
    ホストサーバ側が制御情報を受信した後、ARM Linux(登録商標)Dockerコンテナで実行されるAndroidオンラインゲームアプリに送信するステップ5と、を含み
    前記Androidオンラインゲームビデオ及びリモートコントロールモードクライアント端末が作業プロセスにおいて、移動端末装置の性能情報並びに、Androidオンラインゲームアプリ分散型ビデオ及びリモートコントロールサーバと通信するネットワークステータス情報をさらに収集し、収集した性能情報及びネットワークステータス情報をAndroidオンラインゲームアプリ分散型ビデオ及びリモートコントロールサーバにアップロードし、Androidオンラインゲームアプリ分散型ビデオ及びリモートコントロールサーバが受信した性能情報及びネットワークステータス情報に基づいて、送信されるビデオストリームのサイズ及びネットワーク送信パラメータをリアルタイムで調整するステップをさらに含む、
    ことを特徴とする請求項1に記載のシステムに基づく複数の端末及び複数のネットワークをサポートするAndroidオンラインゲームアプリの分散型方法。
JP2021527276A 2018-11-11 2019-10-16 複数の端末及び複数のネットワークをサポートするAndroidオンラインゲームアプリの分散型システム Active JP7193181B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811335622.4 2018-11-11
CN201811335622.4A CN109587118B (zh) 2018-11-11 2018-11-11 Android网游的分布式支持多终端和多网络的系统
PCT/CN2019/111379 WO2020093843A1 (zh) 2018-11-11 2019-10-16 Android网游的分布式支持多终端和多网络的系统

Publications (2)

Publication Number Publication Date
JP2022507759A JP2022507759A (ja) 2022-01-18
JP7193181B2 true JP7193181B2 (ja) 2022-12-20

Family

ID=65921970

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021527276A Active JP7193181B2 (ja) 2018-11-11 2019-10-16 複数の端末及び複数のネットワークをサポートするAndroidオンラインゲームアプリの分散型システム

Country Status (5)

Country Link
US (1) US11872482B2 (ja)
EP (1) EP3826259A4 (ja)
JP (1) JP7193181B2 (ja)
CN (1) CN109587118B (ja)
WO (1) WO2020093843A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109587118B (zh) 2018-11-11 2021-05-11 长沙摩智云计算机科技有限公司 Android网游的分布式支持多终端和多网络的系统
CN113641437B (zh) * 2021-08-16 2023-06-16 深圳技德智能科技研究院有限公司 一种Linux兼容Android的应用界面旋转方法及装置
CN113656143B (zh) * 2021-08-16 2024-05-31 深圳市瑞驰信息技术有限公司 一种实现安卓容器直通显卡的方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150081764A1 (en) 2013-09-13 2015-03-19 Curious Olive, Inc. Remote Virtualization of Mobile Apps
US20150141143A1 (en) 2013-11-15 2015-05-21 Ol2, Inc. Systems and methods for coordinating input devices with rendered content being provided to platforms
US20150283462A1 (en) 2014-04-08 2015-10-08 Nextbit Systems Inc. File prefetching for gaming applications accessed by electronic devices
CN105491021A (zh) 2015-11-24 2016-04-13 华东师范大学 一种Android云应用服务器及Android云应用服务器系统
CN108021608A (zh) 2017-10-31 2018-05-11 赛尔网络有限公司 一种基于Docker的轻量级网站部署方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1937596B (zh) * 2006-05-12 2010-12-15 王伟珣 多人互动娱乐应用扩展支持多种终端和网络的系统和方法
CN102571900B (zh) * 2010-12-08 2015-01-14 中国电信股份有限公司 一种实现远端实时操控的系统和方法
US9710821B2 (en) * 2011-09-15 2017-07-18 Stephan HEATH Systems and methods for mobile and online payment systems for purchases related to mobile and online promotions or offers provided using impressions tracking and analysis, location information, 2D and 3D mapping, mobile mapping, social media, and user behavior and
CN103023872B (zh) * 2012-11-16 2016-01-06 杭州顺网科技股份有限公司 一种云游戏服务平台
CN103888485B (zh) 2012-12-19 2018-03-09 华为技术有限公司 云计算资源的分配方法、装置及系统
US9843533B2 (en) * 2014-03-06 2017-12-12 Trilio Data Inc. Elastic compute cloud based on underutilized server resources using a distributed container system
CN105357256B (zh) * 2015-09-28 2018-10-30 深信服网络科技(深圳)有限公司 管理移动设备的方法及服务器
CN106776067B (zh) 2016-11-29 2020-10-23 北京元心科技有限公司 多容器系统中系统资源的管理方法及管理装置
CN108268304B (zh) * 2017-01-03 2021-06-08 中国科学院声学研究所 一种基于容器的Web app迁移方法
CN108388460B (zh) * 2018-02-05 2021-05-18 中国人民解放军战略支援部队航天工程大学 基于图形集群的远程实时渲染平台构建方法
CN109587118B (zh) 2018-11-11 2021-05-11 长沙摩智云计算机科技有限公司 Android网游的分布式支持多终端和多网络的系统
US10972768B2 (en) * 2019-06-27 2021-04-06 Intel Corporation Dynamic rebalancing of edge resources for multi-camera video streaming
US11368552B2 (en) * 2019-09-17 2022-06-21 Charter Communications Operating, Llc Methods and apparatus for supporting platform and application development and operation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150081764A1 (en) 2013-09-13 2015-03-19 Curious Olive, Inc. Remote Virtualization of Mobile Apps
US20150141143A1 (en) 2013-11-15 2015-05-21 Ol2, Inc. Systems and methods for coordinating input devices with rendered content being provided to platforms
US20150283462A1 (en) 2014-04-08 2015-10-08 Nextbit Systems Inc. File prefetching for gaming applications accessed by electronic devices
CN105491021A (zh) 2015-11-24 2016-04-13 华东师范大学 一种Android云应用服务器及Android云应用服务器系统
CN108021608A (zh) 2017-10-31 2018-05-11 赛尔网络有限公司 一种基于Docker的轻量级网站部署方法

Also Published As

Publication number Publication date
CN109587118B (zh) 2021-05-11
US20210162299A1 (en) 2021-06-03
CN109587118A (zh) 2019-04-05
JP2022507759A (ja) 2022-01-18
WO2020093843A1 (zh) 2020-05-14
US11872482B2 (en) 2024-01-16
EP3826259A1 (en) 2021-05-26
EP3826259A4 (en) 2022-04-06

Similar Documents

Publication Publication Date Title
US11617947B2 (en) Video game overlay
US12011660B2 (en) Augmenting video games with add-ons
JP7193181B2 (ja) 複数の端末及び複数のネットワークをサポートするAndroidオンラインゲームアプリの分散型システム
JP6310073B2 (ja) 描画システム、制御方法、及び記憶媒体
US7830388B1 (en) Methods and apparatus of sharing graphics data of multiple instances of interactive application
CA2814420C (en) Load balancing between general purpose processors and graphics processors
US9937423B2 (en) Voice overlay
US8903897B2 (en) System and method for providing interactive content to non-native application environments
CA2890814C (en) Systems and methods for cloud processing and overlaying of content on streaming video frames of remotely processed applications
US9707485B2 (en) Systems and methods for cloud processing and overlaying of content on streaming video frames of remotely processed applications
CN113209632B (zh) 一种云游戏的处理方法、装置、设备及存储介质
WO2024037110A1 (zh) 数据处理方法、装置、设备以及介质
CN112354176A (zh) 云游戏实现方法、云游戏实现装置、存储介质与电子设备
Bulman et al. A cloud gaming framework for dynamic graphical rendering towards achieving distributed game engines
CN115703008A (zh) 游戏数据处理方法及装置、云游戏系统、电子设备
Zhuo A Performance Comparison of VMware GPU Virtualization Techniques in Cloud Gaming

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210125

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20211203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20211206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221201

R150 Certificate of patent or registration of utility model

Ref document number: 7193181

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150