JP7542294B2 - 情報処理装置およびゲーム画像配信方法 - Google Patents

情報処理装置およびゲーム画像配信方法 Download PDF

Info

Publication number
JP7542294B2
JP7542294B2 JP2017232108A JP2017232108A JP7542294B2 JP 7542294 B2 JP7542294 B2 JP 7542294B2 JP 2017232108 A JP2017232108 A JP 2017232108A JP 2017232108 A JP2017232108 A JP 2017232108A JP 7542294 B2 JP7542294 B2 JP 7542294B2
Authority
JP
Japan
Prior art keywords
notification message
display image
image
game
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017232108A
Other languages
English (en)
Other versions
JP2019097889A (ja
JP2019097889A5 (ja
Inventor
雅宏 藤原
圭史 松永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Priority to JP2017232108A priority Critical patent/JP7542294B2/ja
Priority to US16/761,187 priority patent/US11338211B2/en
Priority to PCT/JP2018/043196 priority patent/WO2019107275A1/ja
Publication of JP2019097889A publication Critical patent/JP2019097889A/ja
Publication of JP2019097889A5 publication Critical patent/JP2019097889A5/ja
Application granted granted Critical
Publication of JP7542294B2 publication Critical patent/JP7542294B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/812Ball games, e.g. soccer or baseball
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85Providing additional services to players
    • A63F13/86Watching games played by other players
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85Providing additional services to players
    • A63F13/87Communicating with other players during game play, e.g. by e-mail or chat
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、ゲーム画像を配信する技術に関する。
近年、ユーザがプレイ中のゲーム画像を、共有サイトを介して複数の視聴ユーザにブロードキャスト配信するサービスが普及している。特許文献1は、プレイ中のゲーム画像を含むライブ配信画像を、視聴ユーザにブロードキャストする共有処理を開示する。特許文献1に開示されるライブ配信画像には、プレイユーザの撮影画像の表示領域や、視聴ユーザからのコメントが逐次表示されるコメント表示領域、配信ユーザのゲームに参加する参加ボタンなどが含まれる。視聴ユーザが参加ボタンを操作すると、ゲームが起動されて、視聴ユーザは配信ユーザのゲームに参加できるようになる。
国際公開第2014/068806号
特許文献1における共有処理では、配信ユーザと同じゲームを持っている視聴ユーザが、ゲームに参加して配信ユーザと一緒にプレイする仕組みが実現されるが、視聴ユーザがゲームを有していなければ、ゲームに参加することはできない。また共有サイトを介してゲーム画像をブロードキャストする場合、個人情報やプライバシー情報を含むメッセージがゲーム画像上に表示されると、そのメッセージも視聴ユーザに見られてしまうという問題がある。
そこで本発明は、ゲーム画像を視聴ユーザに配信する共有システムの有用性を高めるための技術を提供することを目的とする。
上記課題を解決するために、本発明のある態様の情報処理装置は、ゲーム画像を生成するアプリケーション実行部と、通知メッセージを生成するメッセージ生成部と、ゲーム画像を含む配信画像を生成する画像処理部と、配信画像を共有サーバ経由で1以上の情報処理端末に配信する配信処理部と、通知メッセージを視認可能に配信画像に含めるか否かを、ユーザが設定可能とする設定部とを備える。
本発明の別の態様のゲーム画像配信方法は、ゲーム画像を生成するステップと、通知メッセージを生成するステップと、ゲーム画像を含む配信画像を生成するステップと、配信画像を共有サーバ経由で、1以上の情報処理端末に配信するステップと、通知メッセージを視認可能に配信画像に含めるか否かを設定するステップとを有する。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によると、ゲーム画像を視聴ユーザに配信する共有システムの有用性を高めるための技術を提供する。
本発明の実施例にかかる画像共有システムを示す図である。 情報処理装置の機能ブロックを示す図である。 情報処理装置の構成を示す図である。 ユーザの出力装置に表示されるゲーム画面の一例を示す図である。 ポップアップウィンドウの例を示す図である。 共有処理の選択肢を示す入力画面の一例を示す図である。 配信ユーザの出力装置に表示される画面例を示す図である。 ストリーミング配信されるコンテンツの一覧画面を示す図である。 視聴ユーザの出力装置に表示される画面例を示す図である。 配信ユーザの出力装置に表示されるゲーム画面例を示す図である。 視聴ユーザ選択画面例を示す図である。 ポップアップウィンドウの例を示す図である。
図1は、本発明の実施例にかかる画像共有システム1を示す。画像共有システム1は、配信主となるユーザAがプレイ中のゲーム画音をライブ配信し、別の視聴ユーザB、C、Dがゲーム画音を視聴する環境を実現する。実施例では、特にゲーム画像のストリーミング配信について説明するが、ゲーム音声も同時にストリーミング配信されることに留意されたい。なお視聴ユーザB、C、Dは例示であり、3名に限定する趣旨ではなく、また視聴ユーザは画像共有システム1において配信ユーザAのフレンド登録されたユーザに限らず、管理サーバ5および共有サーバ11にアクセス可能な不特定のユーザであってよい。
画像共有システム1は、配信ユーザAが操作する情報処理装置10と、視聴ユーザB、C、Dが操作する情報処理端末12b、12c、12d(以下、特に区別しない場合には「情報処理端末12」と呼ぶ)と、管理サーバ5と、共有サーバ11とを備え、これらはインターネットなどのネットワーク3を介して接続している。なお視聴ユーザの情報処理端末12周辺の構成は、配信ユーザAの情報処理装置10周辺の構成と同じであるため、以下、代表して、配信ユーザAの情報処理装置10周辺の構成を説明する。
アクセスポイント(以下、「AP」とよぶ)8は、無線アクセスポイントおよびルータの機能を有し、情報処理装置10は、無線または有線経由でAP8に接続して、ネットワーク3上の管理サーバ5、共有サーバ11、情報処理端末12と通信可能に接続する。
ユーザが操作する入力装置6は、情報処理装置10と無線または有線で接続し、ユーザによる操作情報を情報処理装置10に出力する。情報処理装置10は入力装置6から操作情報を受け付けるとシステムソフトウェアやアプリケーションソフトウェアの処理に反映し、出力装置4から処理結果を出力させる。実施例においてアプリケーションソフトウェアはゲームソフトウェアであって、情報処理装置10はゲームソフトウェアを実行するゲーム装置であり、入力装置6はゲームコントローラなど、ユーザの操作情報を情報処理装置10に供給する機器であってよい。ゲームコントローラである入力装置6は、複数のプッシュ式の操作ボタンや、アナログ量を入力できるアナログスティック、回動式ボタンなどの複数の入力部を有して構成される。以下で説明するように入力装置6は、少なくとも共有処理に関する画面を表示させるための「SHAREボタン」と、所定のシステム画面を表示させるための「ホームボタン」と呼ばれる操作ボタンを有している。
補助記憶装置2はHDD(ハードディスクドライブ)やフラッシュメモリなどの大容量記憶装置であり、USB(Universal Serial Bus)などによって情報処理装置10と接続する外部記憶装置であってよく、また内蔵型記憶装置であってもよい。出力装置4は画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよい。出力装置4は、情報処理装置10に有線ケーブルで接続されてよく、無線接続されてもよい。
カメラ7はステレオカメラであって、出力装置4周辺の空間を撮影する。実施例では、配信画像に含めるユーザAの画像を撮影するために、カメラ7が用いられる。図1にはカメラ7が出力装置4の上部に取り付けられている例を示しているが、出力装置4の側方に配置されてもよく、いずれにしても出力装置4の前方でゲームをプレイするユーザAを撮影できる位置に配置される。
情報処理装置10は、共有サーバ11にプレイ中のゲーム画像をストリーミング配信することで、共有サーバ11にアクセスする情報処理端末12にゲーム画像をブロードキャストする。このように実施例における画像共有システム1は、ゲーム画像配信システムとして動作する。情報処理端末12は、情報処理装置10と同じ装置であってよい。
管理サーバ5は、情報処理装置10、情報処理端末12のネットワークサービスを提供し、管理する。管理サーバ5はユーザを識別するネットワークアカウントを管理しており、ユーザはネットワークアカウントを用いて、ネットワークサービスにサインインする。各ユーザはネットワークサービスにサインインすることで、管理サーバ5に、ゲームのセーブデータや、ゲームプレイ中に獲得した仮想的な表彰品(トロフィ)を登録でき、また共有サーバ11にゲーム画音をストリーミング配信でき、また共有サーバ11にアクセスしてゲーム画音を視聴できる。
実施例では、ユーザAが入力装置6を操作してゲームをプレイしており、出力装置4には、プレイ中のゲーム画像(以下、「プレイ画像」とも呼ぶ)が表示されている。このとき視聴ユーザの情報処理端末12b、12c、12dにも、情報処理装置10から共有サーバ11経由で、プレイ画像が配信され、プレイ画像が出力装置14b、14c、14d(以下、特に区別しない場合には「出力装置14」と呼ぶ)に表示される。なお配信されるプレイ画像の解像度は、出力装置4に表示されるプレイ画像の解像度よりも低く設定される。
図2は、情報処理装置10の機能ブロック図を示す。なお情報処理端末12は情報処理装置10と同じゲーム装置であり、したがって情報処理端末12も図2に示す機能ブロックを有する。情報処理装置10は、メイン電源ボタン20、電源ON用LED21、スタンバイ用LED22、システムコントローラ24、クロック26、デバイスコントローラ30、メディアドライブ32、USBモジュール34、フラッシュメモリ36、無線通信モジュール38、有線通信モジュール40、サブシステム50およびメインシステム60を有して構成される。
メインシステム60は、メインCPU(Central Processing Unit)、主記憶装置であるメモリおよびメモリコントローラ、GPU(Graphics Processing Unit)などを備える。GPUはゲームプログラムの演算処理に主として利用される。これらの機能はシステムオンチップとして構成されて、1つのチップ上に形成されてよい。メインCPUは補助記憶装置2またはROM媒体44に記録されたゲームプログラムを実行する機能をもつ。
サブシステム50は、サブCPU、主記憶装置であるメモリおよびメモリコントローラなどを備え、GPUを備えず、ゲームプログラムを実行する機能をもたない。サブCPUの回路ゲート数は、メインCPUの回路ゲート数よりも少なく、サブCPUの動作消費電力は、メインCPUの動作消費電力よりも少ない。サブCPUは、メインCPUがスタンバイ状態にある間においても動作し、消費電力を低く抑えるべく、その処理機能を制限されている。
メイン電源ボタン20は、ユーザからの操作入力が行われる入力部であって、情報処理装置10の筐体の前面に設けられ、情報処理装置10のメインシステム60への電源供給をオンまたはオフするために操作される。電源ON用LED21は、メイン電源ボタン20がオンされたときに点灯し、スタンバイ用LED22は、メイン電源ボタン20がオフされたときに点灯する。
システムコントローラ24は、ユーザによるメイン電源ボタン20の押下を検出する。メイン電源がオフ状態にあるときにメイン電源ボタン20が押下されると、システムコントローラ24は、その押下操作を「オン指示」として取得し、一方で、メイン電源がオン状態にあるときにメイン電源ボタン20が押下されると、システムコントローラ24は、その押下操作を「オフ指示」として取得する。
クロック26はリアルタイムクロックであって、現在の日時情報を生成し、システムコントローラ24やサブシステム50およびメインシステム60に供給する。デバイスコントローラ30は、サウスブリッジのようにデバイス間の情報の受け渡しを実行するLSI(Large-Scale Integrated Circuit)として構成される。図示のように、デバイスコントローラ30には、システムコントローラ24、メディアドライブ32、USBモジュール34、フラッシュメモリ36、無線通信モジュール38、有線通信モジュール40、サブシステム50およびメインシステム60などのデバイスが接続される。デバイスコントローラ30は、それぞれのデバイスの電気特性の違いやデータ転送速度の差を吸収し、データ転送のタイミングを制御する。
メディアドライブ32は、ゲームなどのアプリケーションソフトウェア、およびライセンス情報を記録したROM媒体44を装着して駆動し、ROM媒体44からプログラムやデータなどを読み出すドライブ装置である。ROM媒体44は、光ディスクや光磁気ディスク、ブルーレイディスクなどの読出専用の記録メディアであってよい。
USBモジュール34は、外部機器とUSBケーブルで接続するモジュールである。USBモジュール34は補助記憶装置2およびカメラ7とUSBケーブルで接続してもよい。フラッシュメモリ36は、内部ストレージを構成する補助記憶装置である。無線通信モジュール38は、Bluetooth(登録商標)プロトコルやIEEE802.11プロトコルなどの通信プロトコルで、たとえば入力装置6と無線通信する。有線通信モジュール40は、外部機器と有線通信し、AP8を介してネットワーク3に接続する。
図3は、ストリーミングデータの配信装置として動作する情報処理装置10の構成を示す。情報処理装置10は、処理部100、通信部102および受付部104を備え、処理部100は、アプリケーション実行部110、メッセージ生成部112、設定部114、音声提供部116、画像処理部118および共有処理部120を備える。共有処理部120は、音声取得部122、画像取得部124、配信処理部126、参加処理部128、接続制御部130および設定画像生成部132を有する。
図3において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のLSIで構成することができ、ソフトウェア的には、システムソフトウェアや、メモリにロードされたゲームプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
アプリケーション実行部110はゲームソフトウェア(以下、単に「ゲーム」とも呼ぶこともある)を実行して、ゲームの画像データおよび音声データを生成する。アプリケーション実行部110として示す機能は、システムソフトウェア、ゲームソフトウェア、GPUなどのハードウェアなどにより実現される。なおゲームはアプリケーションの一例であり、アプリケーション実行部110は、ゲーム以外のアプリケーションを実行してもよい。
ユーザAによるゲームプレイ中、アプリケーション実行部110は、ユーザAが入力装置6に入力した操作情報をもとに、仮想空間においてゲームキャラクタを動かす演算処理を行う。アプリケーション実行部110は、レンダリング処理などを実行するGPU(Graphics Processing Unit)を含み、仮想空間における演算処理結果を受けて、仮想空間内の視点位置(仮想カメラ)からのゲーム画像データを生成する。またアプリケーション実行部110は、仮想空間内のゲーム音声データを生成する。
情報処理装置10において、通信部102は、入力装置6の入力部をユーザが操作した操作情報を受信し、また処理部100で生成した画音データを共有サーバ11や情報処理端末12に送信する。通信部102は図2に示す無線通信モジュール38および有線通信モジュール40の機能を併せ持つ構成として表現している。
受付部104は、通信部102と処理部100との間に設けられ、通信部102と処理部100との間でデータないしは情報を伝送する。受付部104は通信部102を介して入力装置6に設けられた入力部の操作情報を受け付けると、その操作情報を処理部100におけるアプリケーション実行部110および/または共有処理部120に供給する。
図4は、ユーザAの出力装置4に表示されるゲーム画面の一例を示す。なお図4に示すゲーム画面は、ストリーミング配信前のものである。ユーザAのゲームプレイ中、アプリケーション実行部110はプレイ画像およびプレイ音声を生成し、画像処理部118がプレイ画像を出力装置4に提供し、音声提供部116がプレイ音声を出力装置4に提供することで、出力装置4からプレイ画像およびプレイ音声が出力される。
図5は、ゲーム画面上に重畳表示されるポップアップウィンドウの例を示す。管理サーバ5はユーザAのフレンドを登録しており、たとえばフレンドがオンライン状態となったり、またフレンドがユーザA宛のメッセージを作成すると、管理サーバ5が、ユーザAの情報処理装置10に、フレンドの状態情報やメッセージを送信する。受付部104がフレンドの状態情報やメッセージを受け付けると、メッセージ生成部112が、ユーザA宛の通知メッセージを生成して、画像処理部118に提供する。画像処理部118は、生成された通知メッセージを、ポップアップウィンドウ180の形式で、ゲーム画面の左上隅に重畳表示する。
ポップアップウィンドウ180には、通知メッセージに関するユーザを特定するユーザ名184が含まれる。たとえば管理サーバ5がユーザ名として実名登録を要求している場合には、ポップアップウィンドウ180には個人情報である実名が含まれることになる。この場合の実名表示は、フレンドであるユーザAのみが見るものであるため、個人情報の問題は生じない。ポップアップウィンドウ180は、フレンドである"Yamada Taro"さんからメッセージを受信したことを示すことを通知し、メッセージ本文182は"Yamada Taro"さんからのメッセージの一部(最初の一文)を示す。
以下、実施例の共有処理について説明する。
共有処理部120は、ユーザAがプレイ中のゲームの画音データを、共有サーバ11を介して他のユーザと共有するための処理を実施する。共有サーバ11にアクセスするユーザは、ユーザAのフレンドに限らず、共有サーバ11のサービスを利用する不特定のユーザを含む。ゲーム画音データの共有処理は、ユーザAが入力装置6に設けられた特定の入力部(SHAREボタン)を操作したことを契機として開始され、共有処理部120は画音データの共有に関する選択肢を示す入力画像を生成する。
図6は、共有処理の選択肢を示す入力画面の一例を示す。設定画像生成部132は、共有処理の選択肢を示す入力画像を生成して、画像処理部118から出力装置4に表示させる。この入力画面において、画音データの共有に関する3つの選択肢が示される。“ビデオクリップをアップロードする”は、補助記憶装置2に記録された画像を共有サーバ11にアップロードすることを指定するためのGUI、“スクリーンショットをアップロードする”は、スクリーンショットの画像を共有サーバ11にアップロードすることを指定するためのGUI、“ゲームプレイをブロードキャストする”は、ゲームの画音データを共有サーバ11を介してライブ中継することを指定するためのGUIである。ユーザAは入力装置6を操作して選択枠200を動かし、いずれかのGUIを選択して決定ボタンを押すことで、選択した共有処理が実行される。
実施例では“ゲームプレイをブロードキャストする”のGUIが選択される。なお、このGUIが選択された後、設定画像生成部132は、ブロードキャスト配信におけるゲーム画像の解像度を選択させる設定画面を出力装置4に表示させ、ユーザが配信画像の解像度を選択してから、ブロードキャスト配信が開始されてよい。なお選択できる解像度は、出力装置4に表示されるゲーム画像の解像度よりも低いものとなる。
図7は、配信ユーザAの出力装置4に表示される画面例を示す。ストリーミング配信が開始されると、画像処理部118は、図7に示す画面レイアウトにしたがって表示画像を生成する。この画面レイアウトにおいて、プレイ画像表示領域210には、アプリケーション実行部110で生成されるプレイ画像が表示される。なお図4に示すプレイ画像の表示領域と比べると、プレイ画像表示領域210は縮小されるため、画像処理部118は、プレイ画像データをダウンサイジングして、プレイ画像表示領域210に表示する。カメラ画像表示領域212には、カメラ7で撮影された撮影画像が表示され、カメラ画像表示領域212の下方には、視聴者数表示領域220が設けられる。視聴者数は管理サーバ5ないしは共有サーバ11から提供され、この例では、視聴者数が315とカウントされている。
コメント表示領域214には、視聴ユーザからのコメントが表示される。なお視聴ユーザは、情報処理端末12からコメントを入力でき、入力されたコメントは、共有サーバ11を経由して情報処理装置10に送信されるようになっている。メッセージ入力領域216は、プレイユーザAが、視聴ユーザ宛にメッセージを入力する欄である。ストリーミング配信中、画像処理部118は、図7に示す画面レイアウトでゲーム画像を含む表示画像を生成し、出力装置4および共有処理部120に出力する。なおプレイユーザAが許可する場合には、音声提供部116が、情報処理装置10のマイクに入力された音声を、アプリケーション実行部110で生成されたゲーム音声に重ねて、共有処理部120に提供する。
音声取得部122は、音声提供部116から提供される音声を取得し、画像取得部124は、画像処理部118から提供される画像を取得する。音声取得部122が取得した音声および画像取得部124が取得した画像は、それぞれ共有サーバ11に配信される配信音声および配信画像である。配信処理部126は、取得した配信音声および配信画像の解像度を必要に応じて調整してエンコードし、共有サーバ11経由で1以上の情報処理端末12に音声データおよび画像データをストリーミング配信する。これにより視聴ユーザの情報処理端末12が共有サーバ11にアクセスして、ストリーミング配信されるゲーム画音を出力装置14から出力できるようになる。
実施例の画像共有システム1では、ユーザAがゲームの操作権(コントロール権)を、視聴ユーザに一時的に渡す仕組みを実現する。たとえばユーザAの横にサッカーゲームの得意な友達がいれば、サッカーゲームで劣勢になると入力装置6を友達に渡して、代わりにプレイしてもらえる。実施例の画像共有システム1では、視聴ユーザは離れた場所にいるものの、同じゲーム画像を一緒に視聴しており、ユーザAの置かれている状況を把握している。そこで画像共有システム1は、ユーザAがゲームの操作権を視聴ユーザに渡して、視聴ユーザが一時的に代理プレイをする仕組みを提供する。
ユーザAが、ストリーミング配信中に入力装置6に設けられた特定の入力部(SHAREボタン)を操作すると、画面にはシェアプレイに関する複数のメニュー項目が表示される。ユーザAが「視聴ユーザにゲームプレイの操作権を渡す」の項目を選択すると、参加処理部128が、視聴ユーザのゲーム参加受付中であることを管理サーバ5および共有サーバ11に通知する。これにより視聴ユーザが、ユーザAに対してプレイ要求を行って、ユーザAの代わりにゲームをプレイできる環境が整えられる。
次に、視聴ユーザが代理プレイするための仕組みについて説明する。
まず視聴ユーザは入力装置6を操作して、ライブ配信画像の視聴アプリケーションを起動する。情報処理端末12は情報処理装置10と同じ構成を有しており、したがってアプリケーション実行部110がライブ配信画像の視聴アプリケーションを実行する。視聴アプリケーションが起動されると、情報処理端末12は、共有サーバ11においてストリーミング配信されているコンテンツの一覧を出力装置14に表示する。
図8は、ストリーミング配信されるコンテンツの一覧画面を示す。管理サーバ5は、共有サーバ11においてライブ配信されているコンテンツの情報を管理しており、視聴アプリケーションは、管理サーバ5からコンテンツの情報を取得して、一覧画面を生成する。コンテンツの情報は、ゲームのキャプチャ画像、ゲームタイトル、配信者を特定する情報およびコメントデータを含む。ユーザは入力装置6を操作して選択枠300を移動し、視聴したいコンテンツ情報に配置する。図8に示す例では、ユーザAが配信しているゲームタイトル“ABCサッカー”のコンテンツ情報に選択枠300が配置されている。
図示されるように、ユーザAのコンテンツ情報には、ユーザAから「誰かシェアプレイで助けて」とするコメントが含まれている。このコメントは、管理サーバ5が情報処理装置10からゲーム参加受付中であることを通知されたことで、管理サーバ5によって自動的に入力される。視聴ユーザが入力装置6の決定ボタンを操作すると、情報処理端末12が共有サーバ11にアクセスして、ユーザAのストリーミング画音データを出力装置14から出力する。
図9は、視聴ユーザの出力装置14に表示される画面例を示す。情報処理端末12は所定の画面レイアウトで、ユーザAの配信画像を出力装置14に表示する。図9に示す例では、配信画像表示領域302に、共有サーバ11からストリーミング配信される配信画像が表示されている。この画面レイアウトにおいて、配信画像表示領域302の右側には、コメントを表示するためのコメント表示領域304が設けられてよい。配信画像にもコメント表示領域が含まれているが、両者で表示されるコメントは同じであっても異なっていてもよい。
配信画像表示領域302の下側には、視聴ユーザが、ユーザAが要求するシェアプレイに参加表明するための参加ボタン306が設けられる。ここで参加するシェアプレイは、視聴ユーザが配信ユーザAの代わりに行うゲームプレイである。配信ユーザAによって視聴ユーザの参加が承認されると、視聴ユーザは、ユーザAの代わりに、自分の入力装置6を操作して、ゲームをプレイする。視聴ユーザが参加ボタン306を操作すると、その操作情報はプレイ要求として、管理サーバ5経由で情報処理装置10に送信される。
管理サーバ5は、視聴ユーザのプレイ要求を情報処理装置10に送信する際に、そのゲームに関する視聴ユーザの習熟度を示す情報もあわせて送信する。画像共有システム1では管理サーバ5が、各ユーザのゲームに関する習熟度を示す情報として、ゲームに用意された様々なミッションを達成することで獲得するトロフィ情報を管理している。そこで管理サーバ5は、視聴ユーザの獲得トロフィ情報を、プレイ要求とあわせて情報処理装置10に送信する。なお習熟度に関する情報は獲得トロフィ情報に限るものではなく、他の種類の情報であってもよい。
図3に戻って、受付部104は管理サーバ5から、情報処理端末12を操作する視聴ユーザのプレイ要求を受け付け、共有処理部120に渡す。参加処理部128は、視聴ユーザのプレイ要求を受け付け、プレイ要求の数をカウントする。参加処理部128は、カウントしたプレイ要求の数を画像処理部118に伝え、画像処理部118は、視聴者数表示領域220の右横に、カウントしたプレイ要求の数を表示する。
図10は、配信ユーザAの出力装置4に表示されるゲーム画面例を示す。図10に示す例では、視聴者数表示領域220の右横のシェアプレイ待機人数表示領域222に、プレイ要求を受け付けた数、つまりシェアプレイを待機している人数が表示されている。ここでは、視聴者数が413、シェアプレイの待機人数が5とカウントされている。
なお参加処理部128は、プレイ要求を受け付けた数、つまりシェアプレイの待機人数を、定期的にメッセージ生成部112に提供してよい。メッセージ生成部112はユーザA宛に、シェアプレイの待機人数を知らせる通知メッセージを生成し、画像処理部118は、生成された通知メッセージを、ポップアップウィンドウ190の形式でゲーム画面に重畳表示する。ユーザAが入力装置6の所定のボタン(ホームボタン)を操作すると、プレイを要求した視聴ユーザを選択するためのシステム画面が表示される。
図11は、配信ユーザAの出力装置4に表示される視聴ユーザ選択画面の一例を示す。参加処理部128は、受け付けたプレイ要求を、画像処理部118に提供する。画像処理部118は、プレイを要求した視聴ユーザのリストを、そのゲームに関する習熟度を示す情報とともに表示する。ここでは、ABCサッカーのゲームにおいて、各視聴ユーザが獲得したトロフィ数が示される。図11に示す視聴ユーザ選択画面には、難易度の高い順に左から、プラチナトロフィ、ゴールドトロフィ、シルバートロフィ、ブロンズトロフィの獲得個数が示される。配信ユーザAが選択枠230を所望の視聴ユーザの枠に動かして決定ボタンを操作すると、参加処理部128が、選択枠230に含まれる1人の視聴ユーザのゲームプレイを承認する。
この例では選択枠230がユーザBの枠に配置されており、参加処理部128は、決定ボタンの操作により、配信ユーザAの代わりに視聴ユーザBがゲームをプレイすることを承認する。参加処理部128は、管理サーバ5経由で、選択された視聴ユーザBの情報処理端末12bにゲームプレイの承認を送信する。視聴ユーザBがゲームプレイを引き受けることを管理サーバ5に通知することを条件として、視聴ユーザBが代理プレイすることが確定する。図11に示すように、視聴ユーザの習熟度を示す情報を表示することで、配信ユーザAは、ABCサッカーに精通した視聴ユーザを簡単に見つけ出すことができる。
なお配信ユーザAが、選択枠230を自動選択ボタン232の位置に動かして決定ボタンを操作すると、参加処理部128が、所定の基準にしたがって選んだ1人の視聴ユーザのゲームプレイを承認する。参加処理部128は、最も習熟度の高い1人の視聴ユーザを承認してもよいし、最も早く参加表明した1人の視聴ユーザを承認してもよい。参加処理部128が視聴ユーザを自動選択することで、配信ユーザAは、代理プレイする視聴ユーザを選択する手間を省略できる。
なお参加処理部128は、ユーザAの代わりに、少なくとも1人の視聴ユーザのゲームプレイを承認するが、同時にプレイする2人以上の視聴ユーザのゲームプレイを承認してもよい。
参加処理部128が視聴ユーザBのゲームプレイを承認した後、接続制御部130が、視聴ユーザBが操作する情報処理端末12bとP2P(ピアツーピア)接続する。このP2P接続は、共有サーバ11と情報処理端末12bとの間の接続と比べて、低遅延、高画質、双方向の通信路を確立する。なおP2P接続が確立するまでの間、情報処理端末12bは出力装置14bに、共有サーバ11からのライブ配信画像を表示し続け、P2P接続が確立した時点で通信路を切り替えて、情報処理装置10からゲーム画音データの取得を開始する。
視聴ユーザBは、出力装置14bに表示されるゲーム画像を見ながら、入力装置6bを操作して、ゲームをプレイする。情報処理装置10の通信部102は、情報処理端末12bとの間のP2P通信路を通じて、視聴ユーザBが操作する情報処理端末12bから送信される操作情報を受信し、アプリケーション実行部110は、視聴ユーザBの操作情報を用いてゲームを処理する。アプリケーション実行部110が処理したゲーム画音データは、P2P通信路を通じて、情報処理端末12bに送信される。このようにして画像共有システム1では、視聴ユーザが、配信ユーザAの代わりにゲームプレイする環境が実現される。
なおゲーム画像の配信中に、メッセージ生成部112が、ユーザA宛の通知メッセージを生成することがある。図5に、ゲーム画面上に重畳表示されるポップアップウィンドウ180を示したが、ポップアップウィンドウ180には、メッセージの差出人を示すユーザ名184や、メッセージ本文182などが含まれているため、ポップアップウィンドウ180の内容をブロードキャストすることは、個人情報保護の観点から好ましくない。
そこで実施例では、通知メッセージを視認可能に配信画像に含めるか否かをユーザAが設定可能とする設定部114が設けられる。具体的に設定部114は、ユーザAが通知メッセージを視認可能に配信画像に含めるか否かを設定した内容を、設定情報として補助記憶装置2に登録する。メッセージ生成部112が生成する通知メッセージには様々な種類がある。以下、通知メッセージによる通知内容を列挙すると、
・フレンドからのメッセージがきたこと
・フレンド依頼があったこと
・フレンドからゲームに招待されたこと
・フレンドがオンラインになったこと
・トロフィーを獲得したこと
などがある。
配信ユーザAは、通知内容の種類ごとに、通知メッセージを視認可能に配信画像に含めるか否かを設定できてよい。設定部114は、ユーザAにより設定された設定内容を、画像処理部118に通知する。これにより画像処理部118は、視認可能に配信画像に含めてよい通知メッセージの種類と、視認可能に配信画像に含めてはいけない通知メッセージの種類とを把握する。画像処理部118は、メッセージ生成部112によって通知メッセージが生成されたとき、設定部114における設定内容にしたがって、配信画像を生成する。具体的に画像処理部118は、メッセージ生成部112によって生成された通知メッセージの種類に応じて、通知メッセージを視認可能に配信画像に含め、または含めないことを判断する。
なお視認可能に配信画像に含めるとは、たとえば図10に示すようにポップアップウィンドウ190を重畳表示することであるが、視認可能に配信画像に含めない方法は、少なくとも2つある。1つの方法は、画像処理部118がポップアップウィンドウを配信画像に重畳させないことであり、別の方法は、画像処理部118がポップアップウィンドウを配信画像に重畳させたうえで、そのポップアップウィンドウを、たとえば黒色の画像でマスクする(覆い隠す)ことである。画像処理部118は、設定部114による設定内容に応じて、通知メッセージを視認可能に配信画像に含めるか否かの画像処理を実施する。
なおメッセージ生成部112は、配信画像の配信中であるか否かによって、異なる通知メッセージを生成するようにしてもよい。たとえばユーザAが、通知メッセージを視認可能に配信画像に含めることを設定した場合に、当該通知メッセージに個人情報やプライバシー情報が含まれるのはよくない。そこでメッセージ生成部112は、通常時(ストリーミング配信時以外のとき)に生成するメッセージから個人情報を抜いたり、メッセージ自体を差し障りのないものに置き換えることで、ストリーミング配信中に表示される通知メッセージを生成する。
図12は、ゲーム画面上に重畳表示されるポップアップウィンドウの例を示す。ポップアップウィンドウ180aは、ストリーミング配信中であるために、図5に示すポップアップウィンドウ180の代わりに生成されたものである。メッセージ確認手法182aはメッセージ本文182を置き換えたものであり、またオンラインID184aは、実名であるユーザ名184とは異なり、管理サーバ5によって管理されている識別子である。このようにストリーミング配信中は、メッセージ生成部112が、個人情報やプライバシー情報を含まない通知メッセージを生成することで、問題のない通知メッセージを配信画像に含めることが可能となる。情報量は落ちるものの、ゲーム画面上に通知メッセージが表示されることで、配信ユーザAにとって利便性の高い共有処理が実現されることになる。
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
1・・・画像共有システム、3・・・ネットワーク、4・・・出力装置、5・・・管理サーバ、10・・・情報処理装置、11・・・共有サーバ、12b,12c,12d・・・情報処理端末、14・・・出力装置、100・・・処理部、102・・・通信部、104・・・受付部、110・・・アプリケーション実行部、112・・・メッセージ生成部、114・・・設定部、116・・・音声提供部、118・・・画像処理部、120・・・共有処理部、122・・・音声取得部、124・・・画像取得部、126・・・配信処理部、128・・・参加処理部、130・・・接続制御部、132・・・設定画像生成部。

Claims (5)

  1. 情報処理装置であって、
    ゲーム画像を生成するアプリケーション実行部と、
    通知メッセージを生成するメッセージ生成部と、
    ゲーム画像を含む表示画像を生成する画像処理部と、
    通知メッセージを視認可能に表示画像に含めるか否かを、通知メッセージの種類ごとにユーザが設定可能とする設定部と、
    表示画像を共有サーバ経由で、1以上の情報処理端末に配信する共有処理部と、を備え、
    前記メッセージ生成部は、表示画像の配信中であるか否かによって、異なる通知メッセージを生成し、表示画像の配信中は個人情報を通知メッセージに含めず、
    前記メッセージ生成部によって生成された通知メッセージが、視認可能に表示画像に含めないことを設定された種類のものである場合に、前記画像処理部は、通知メッセージを表示画像に含めず、
    前記メッセージ生成部によって生成された通知メッセージが、視認可能に表示画像に含めることを設定された種類のものである場合に、前記画像処理部は、通知メッセージを視認可能に表示画像に含める、
    ことを特徴とする情報処理装置。
  2. 前記画像処理部は、生成した表示画像を、前記共有処理部と出力装置に出力する、
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記メッセージ生成部は、表示画像の配信中は、メッセージの確認手法を示す通知メッセージを生成する
    ことを特徴とする請求項1または2に記載の情報処理装置。
  4. ゲーム画像を配信する方法であって、情報処理装置が、
    ゲーム画像を生成するステップと、
    通知メッセージを生成するステップと、
    ゲーム画像を含む表示画像を生成するステップと、
    通知メッセージを視認可能に表示画像に含めるか否かを、通知メッセージの種類ごとに設定するステップと、
    表示画像を共有サーバ経由で、1以上の情報処理端末に配信するステップと、を実施する方法であって
    通知メッセージを生成するステップは、表示画像の配信中であるか否かによって、異なる通知メッセージを生成し、表示画像の配信中は個人情報を通知メッセージに含めず、
    生成した通知メッセージが視認可能に表示画像に含めないことを設定された種類のものである場合に、表示画像を生成するステップは、通知メッセージを表示画像に含めず、
    生成した通知メッセージが視認可能に表示画像に含めることを設定された種類のものである場合に、表示画像を生成するステップは、通知メッセージを視認可能に表示画像に含める、
    ことを特徴とするゲーム画像配信方法。
  5. コンピュータに、
    ゲーム画像を生成する機能と、
    通知メッセージを生成する機能と、
    ゲーム画像を含む表示画像を生成する機能と、
    通知メッセージを視認可能に表示画像に含めるか否かを、通知メッセージの種類ごとに設定する機能と、
    表示画像を共有サーバ経由で、1以上の情報処理端末に配信する機能と、を実現させるためのプログラムであって、
    通知メッセージを生成する機能は、表示画像の配信中であるか否かによって、異なる通知メッセージを生成し、表示画像の配信中は個人情報を通知メッセージに含めない機能を含み、
    生成した通知メッセージが視認可能に表示画像に含めないことを設定された種類のものである場合に、表示画像を生成する機能は、通知メッセージを表示画像に含めない機能を含み、
    生成した通知メッセージが視認可能に表示画像に含めることを設定された種類のものである場合に、表示画像を生成する機能は、通知メッセージを視認可能に表示画像に含める機能を含む、
    プログラム。
JP2017232108A 2017-12-01 2017-12-01 情報処理装置およびゲーム画像配信方法 Active JP7542294B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017232108A JP7542294B2 (ja) 2017-12-01 2017-12-01 情報処理装置およびゲーム画像配信方法
US16/761,187 US11338211B2 (en) 2017-12-01 2018-11-22 Information processing apparatus and game image distributing method
PCT/JP2018/043196 WO2019107275A1 (ja) 2017-12-01 2018-11-22 情報処理装置およびゲーム画像配信方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017232108A JP7542294B2 (ja) 2017-12-01 2017-12-01 情報処理装置およびゲーム画像配信方法

Publications (3)

Publication Number Publication Date
JP2019097889A JP2019097889A (ja) 2019-06-24
JP2019097889A5 JP2019097889A5 (ja) 2020-07-16
JP7542294B2 true JP7542294B2 (ja) 2024-08-30

Family

ID=66664891

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017232108A Active JP7542294B2 (ja) 2017-12-01 2017-12-01 情報処理装置およびゲーム画像配信方法

Country Status (3)

Country Link
US (1) US11338211B2 (ja)
JP (1) JP7542294B2 (ja)
WO (1) WO2019107275A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7339198B2 (ja) * 2020-03-26 2023-09-05 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびゲーム画像配信方法
JP7233107B2 (ja) * 2020-05-29 2023-03-06 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置のプログラム、ゲーム装置の制御方法、及び、ゲームシステム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013088815A (ja) 2011-10-14 2013-05-13 Harman Becker Automotive Systems Gmbh 圧縮ナビゲーション地図データ
JP2017504922A (ja) 2014-12-30 2017-02-09 シャオミ・インコーポレイテッド 通知情報の表示方法、その装置、プログラム、及び記録媒体
JP2017524179A (ja) 2014-07-30 2017-08-24 マイクロソフト テクノロジー ライセンシング,エルエルシー 画面上の適応通知

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2011002B1 (en) * 2006-03-27 2016-06-22 Nielsen Media Research, Inc. Methods and systems to meter media content presented on a wireless communication device
GB0709574D0 (en) * 2007-05-18 2007-06-27 Aurix Ltd Speech Screening
CN104145434B (zh) * 2012-08-17 2017-12-12 青岛海信国际营销股份有限公司 智能电视的频道切换器
JP6306512B2 (ja) 2012-11-05 2018-04-04 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
US10149009B2 (en) * 2014-07-09 2018-12-04 Platypus Ip Llc Indexing and compiling recordings in dwindling memory
JP6346383B1 (ja) * 2015-04-27 2018-06-20 ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー インタラクティブイベントプラットフォーム
WO2017010253A1 (ja) * 2015-07-13 2017-01-19 株式会社ディー・エヌ・エー 端末装置の出力画面を配信するシステム、方法、及びプログラム
US11170451B2 (en) * 2015-10-02 2021-11-09 Not So Forgetful, LLC Apparatus and method for providing gift recommendations and social engagement reminders, storing personal information, and facilitating gift and social engagement recommendations for calendar-based social engagements through an interconnected social network
JP6548605B2 (ja) * 2016-04-20 2019-07-24 株式会社 ディー・エヌ・エー 端末装置の出力画面を配信するシステム、方法、及びプログラム
US9998453B1 (en) * 2016-06-10 2018-06-12 Amazon Technologies, Inc. Controlling access to personal data
US10440240B2 (en) * 2016-09-30 2019-10-08 Sony Interactive Entertainment Inc. Systems and methods for reducing an effect of occlusion of a tracker by people
JP6868397B2 (ja) * 2017-01-12 2021-05-12 任天堂株式会社 振動制御システム、振動制御装置、振動制御プログラムおよび振動制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013088815A (ja) 2011-10-14 2013-05-13 Harman Becker Automotive Systems Gmbh 圧縮ナビゲーション地図データ
JP2017524179A (ja) 2014-07-30 2017-08-24 マイクロソフト テクノロジー ライセンシング,エルエルシー 画面上の適応通知
JP2017504922A (ja) 2014-12-30 2017-02-09 シャオミ・インコーポレイテッド 通知情報の表示方法、その装置、プログラム、及び記録媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
[PS4]ブロードキャスト機能でYouTubeの生配信する方法を解説!,心はいつも悠々自適,2017年11月03日,https://www.kokoro-yuyu.com/entry/ps4-broadcast-youtube,平成30年12月26日検索
[PS4]通知(お知らせ)を消す方法,2017年10月22日,https://andraste.info/m/ps4-10-how_to_hide_a_system_message.html,平成30年12月26日検索

Also Published As

Publication number Publication date
US11338211B2 (en) 2022-05-24
WO2019107275A1 (ja) 2019-06-06
JP2019097889A (ja) 2019-06-24
US20200353368A1 (en) 2020-11-12

Similar Documents

Publication Publication Date Title
JP6743241B2 (ja) 情報処理装置
JP6839068B2 (ja) 情報処理装置およびゲーム画像配信方法
JP6737717B2 (ja) 情報処理装置およびアプリケーション画像配信方法
JP6612086B2 (ja) 情報処理装置および視聴リクエスト送信方法
US10668373B2 (en) Information processing apparatus, information displaying method and information processing system for sharing content with users
US20230396851A1 (en) Server and method
US10632374B2 (en) Information processing apparatus and user information displaying method
US20230179836A1 (en) Server, method and terminal
WO2020129748A1 (ja) 情報処理装置および画像生成方法
JP7542294B2 (ja) 情報処理装置およびゲーム画像配信方法
WO2021193400A1 (ja) 情報処理装置および画像配信方法
JP7139473B2 (ja) 情報処理装置およびゲーム画像表示方法
JP7351945B2 (ja) 情報処理装置およびゲーム画像表示方法
JP7469771B1 (ja) サーバおよび方法
WO2021193399A1 (ja) 情報処理装置およびゲーム画像配信方法
US20240236433A1 (en) Server, method, and terminal

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200603

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220329

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221004

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20221222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240626

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240820

R150 Certificate of patent or registration of utility model

Ref document number: 7542294

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150