JP6815330B2 - ビデオデータをハンドリングするシステム及び方法 - Google Patents

ビデオデータをハンドリングするシステム及び方法 Download PDF

Info

Publication number
JP6815330B2
JP6815330B2 JP2017554514A JP2017554514A JP6815330B2 JP 6815330 B2 JP6815330 B2 JP 6815330B2 JP 2017554514 A JP2017554514 A JP 2017554514A JP 2017554514 A JP2017554514 A JP 2017554514A JP 6815330 B2 JP6815330 B2 JP 6815330B2
Authority
JP
Japan
Prior art keywords
video
video data
data stream
resolution
processor card
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017554514A
Other languages
English (en)
Other versions
JP2018516502A (ja
Inventor
ネルー,アシュラフ
Original Assignee
ディスガイズ・テクノロジーズ・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ディスガイズ・テクノロジーズ・リミテッド filed Critical ディスガイズ・テクノロジーズ・リミテッド
Publication of JP2018516502A publication Critical patent/JP2018516502A/ja
Application granted granted Critical
Publication of JP6815330B2 publication Critical patent/JP6815330B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006Details of the interface to the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363Graphics controllers
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/391Resolution modifying circuits, e.g. variable screen formats
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/395Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • G09G5/397Arrangements specially adapted for transferring the contents of two or more bit-mapped memories to the screen simultaneously, e.g. for mixing or overlay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389Multiplex stream processing, e.g. multiplex stream encrypting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/015High-definition television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/015High-definition television systems
    • H04N7/0152High-definition television systems using spatial or temporal subsampling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/08Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/0806Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division the signals being two or more video signals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/02Graphics controller able to handle multiple formats, e.g. input or output formats
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/08Power processing, i.e. workload management for processors involved in display operations, such as CPUs or GPUs
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/022Centralised management of display operation, e.g. in a server instead of locally
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/12Use of DVI or HDMI protocol in interfaces along the display data pipeline

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Circuits (AREA)
  • Television Systems (AREA)

Description

本発明は、ビデオデータをハンドリングするシステム及び方法に関する。特に、本発明は、比較的高い解像度を有するビデオ信号の伝送をサポートすることが可能なインフラストラクチャを通して、比較的低い解像度を有する複数のビデオ信号を伝送することに関する。
従来のHDビデオ規格(1920×1080ピクセル)は依然として普及しているが、ここ数年、4Kビデオ規格(最大4096×2160ピクセル)が人気を博している。最新世代のメディアサーバは、4Kビデオの複数のストリームを出力することが可能な新型のグラフィックプロセッサユニット(graphics processor unit, GPU)を有する。新世代のモニタ及びプロジェクタでは、4Kビデオの表示がますます可能になっており、従来のビデオストリーミングサイト(例えば、YouTube(登録商標)、Vimeo及びNetflix)における4Kビデオの取り込みも、ここ数年で増えているが、ビデオ及びメディア業界における主流の規格は、依然として従来のHDビデオ規格である。特に、上記業界における多くのプロのユーザは、自身のHD出力システム(例えば、ディスプレイ及びプロジェクタ)を、4Kビデオ規格をサポートすることが可能なものへと置き換える費用を負担していない。
上記業界は、多くのHD投影及び信号伝送/スイッチングギアを保持しているが、これは、4Kが、本質的に伝送が困難であることに起因するのではなく、これまでになされてきた大規模な投資に起因するものであることに留意されたい。
今後数年間で、4Kビデオ規格は、人気が大きく高まる可能性が高く、消費者及びビデオ業界全体として、4Kビデオとの互換性を有するように自身のシステムをアップグレードすることが必要となるであろう。HDから4Kへの動きにおいて、メディアサーバ/プレーヤへの再投資が必要となるであろう。
しかし、ビデオ業界における4K規格の実施に関連する問題が、特に、従来の手段を用いて(2m〜3mを超える)長距離にわたって4Kビデオ信号を伝送することに関連する難点に関して存在する。したがって、従来のHDビデオと比較して高い解像度が見込まれるにも関わらず、4Kビデオは、ビデオ業界において容易に受け入れられていない。
したがって、多くのユーザが、自身のHD互換システムを維持しており、まだ4K互換技術に投資しておらず、4Kシステムは、必ずしも下位互換ではなく、多くのユーザが既に所有している従来のハードウェアによる、比較的低い解像度のHD信号の伝送及び表示を容易にサポートしない。
その一方で、長期的には、HD互換システムの保持は、特にコスト効率が良くない場合がある。さらに、ユーザによっては、実際上、2倍支払うことになる場合がある。すなわち、まず、最新のHD互換システムに投資し、次に、数年以内に、4K規格がより広く用いられるようになったときに、ユーザは自身のHDシステムを4K互換システムにアップグレードする必要がある。
従来のHDビデオ規格(1920×1080ピクセル)は依然として普及しているが、ここ数年、4Kビデオ規格(最大4096×2160ピクセル)が人気を博している。最新世代のメディアサーバは、4Kビデオの複数のストリームを出力することが可能な新型のグラフィックプロセッサユニット(graphics processor unit, GPU)を有する。新世代のモニタ及びプロジェクタでは、4Kビデオの表示がますます可能になっており、従来のビデオストリーミングサイト(例えば、YouTube、Vimeo及びNetflix)における4Kビデオの取り込みも、ここ数年で増えているが、ビデオ及びメディア業界における主流の規格は、依然として従来のHDビデオ規格である。特に、上記業界における多くのプロのユーザは、自身のHD出力システム(例えば、ディスプレイ及びプロジェクタ)を、4Kビデオ規格をサポートすることが可能なものへと置き換える費用を負担していない。
結果として、メディアサーバ(4K対応)に設けられたGPUの能力と、下流のビデオ配信及び投影システム(HD対応)の能力との間に不一致がある。この結果、GPUの能力が活用されず、GPUの4K対応出力の各々がHD解像度のみ、すなわち自身の実際の能力の4分の1のみを供給することになる。
GPU業界及びライブビデオ業界の双方が異なるタイムテーブルに基づいて発展しているため、GPU業界は8K解像度へと進む一方で、ビデオ業界は4Kへと進む際に、この不一致が続くことが予想される。
この理由により、業界は、GPUの4K出力能力と、業界が有するHD信号配信及び表示機器との間をインタフェースするように設計された技術を生み出した。
そのような技術は、通常、GPUから高解像度ビデオストリームを受信し、この高解像度ビデオストリームを、ビデオデバイスに伝送するための比較的低い解像度の複数のストリームへと分割するスタンドアロン処理デバイスとして実施される。
他方で、これにより、コスト、複雑度、機器のボリューム、信頼性、セットアップ時間及び管理オーバヘッドの観点で、この機器の運用者に大きな負荷が生じる。
この背景を踏まえて本発明が考案された。
本発明の一態様によれば、ビデオメディアサーバに挿入され、このビデオメディアサーバの出力と通信し、ビデオデータを出力するビデオプロセッサカードが提供される。このビデオプロセッサカードは、ビデオメディアサーバの出力部から、第1のビデオ解像度の第1のビデオデータストリームを受信するための入力と、第1の解像度の、受信した第1のビデオデータストリームをデマルチプレクスして複数の第2のビデオデータストリームにするように構成されたプロセッサであって、各第2のビデオデータストリームは第2のビデオ解像度である、プロセッサと、複数のビデオ出力部であって、各ビデオ出力部は、複数の第2のビデオデータストリームのうちの1つを出力するように構成される、複数のビデオ出力部とを備えている。第1のビデオ解像度は、第2のビデオ解像度よりも高いビデオ解像度である。
複数の第2のビデオデータストリームは、複数(m)に対応することができ、複数のビデオ出力部は、別の複数(n)に対応することができ、nはm以上であることが留意されるべきである。換言すれば、第2のビデオデータストリームとビデオ出力部との間に1対1の対応が必ずしも存在せず、第2のビデオデータストリームより多くのビデオ出力部が存在する場合がある。
有利には、上記で説明したビデオプロセッサカード構成は、単一の高解像度入力ビデオデータストリームを、複数の低解像度出力ビデオデータストリームにデマルチプレクスする能力を提供する。これらの複数の低解像度出力ビデオデータストリームを、その後、公開表示のためにプロジェクタに出力することができる。メディアサーバにおいて用いる際、ビデオプロセッサカードは、メディアサーバの出力が、信号伝送又は投影機器の能力と互換性があることを保証する。例えば、これは、メディアサーバが4K解像度ビデオデータを処理することが可能であるが、信号伝送機器がHD解像度ビデオデータを伝送することしか可能でない状況において有用である。
さらに、ビデオプロセッサカードは、メディアサーバ自体が元のビデオデータストリームをデマルチプレクスして出力に必要な形式にする必要性をなくす。したがって、入力又は出力ビデオデータストリームの特性が変更された場合、上記のビデオプロセッサカードを組み込んだシステムを適応させる方が安価かつ容易である。なぜならば、メディアサーバ全体の交換又はアップグレードが必要とされず、ビデオプロセッサカードのみが交換又はアップグレードされればよいためである。
必須ではないが、ビデオプロセッサカードはビデオフォーマット変換カードである。これによって、ビデオプロセッサカードが、入力ビデオデータストリームのビデオフォーマットを、ユーザにより所望される出力フォーマットに変換できることが確実になる。
必須ではないが、第1のビデオ解像度の第1のビデオデータストリームは、インタリーブされた複数の第2のビデオデータストリームを含む。
上記のシナリオにおいて有利には、ビデオプロセッサカードに入力される第1のビデオデータストリームは、既に、出力される必要がある第2のビデオデータを含んでいる。これは、出力に必要な全てのデータが既に存在しているため、ビデオプロセッサカードが、入力ビデオデータストリームに対して複雑な処理を行う機能を備える必要がないことを意味する。したがって、ビデオプロセッサカードは製造が単純で安価である。
必須ではないが、第1のビデオデータストリーム及び第2のビデオデータストリームはピクセルデータを含む。第1のビデオデータストリームにおける連続ピクセルは、複数の第2のビデオデータストリームのうちの異なる第2のビデオデータストリームからのピクセルデータを含むことができる。プロセッサは、複数の第2のビデオデータストリームのうちの1つに関係する全てのピクセルデータが複数のビデオ出力のうちの1つに送られるように、受信した第1のビデオデータストリームをデマルチプレクスするように構成することができる。
上記の構成は、複数の出力データストリームへと容易にデマルチプレクスするために、入力ビデオデータストリーム内のピクセルを最適に順序付けする利点を有する。特に、入力ストリームの連続ピクセルが、異なる出力データストリームに向けられたピクセルデータを含む場合、複数のビデオ出力のうちの1つを介して、受信ピクセルを即座に出力することができる。そのような構成は、受信データのうちの任意のものを処理又は記憶する必要性をなくし、このため、フレーム全体を読み出し、バッファリングするための遅延時間を必要とせず、複数のデータストリームを同時に出力することを可能にする。これは、リアルタイムアップデート又は出力が必要とされる状況において特に有利である。
任意選択で、第1のビデオ解像度は4K解像度であり、第2のビデオ解像度はHD解像度である。代替的に、第1のビデオ解像度は8K解像度とすることができ、第2のビデオ解像度は4K解像度とすることができる。
有利には、ビデオプロセッサカードの上記の構成は、メディアサーバ及び他の信号生成機器の能力と、投影及び単一の伝送機器の能力との間の非互換性をハンドリングする柔軟性を与える。メディアサーバからの4K解像度入力データと、HD信号伝送機器への出力との間の従来の非互換性は、ビデオデータを4K解像度からHD解像度に変換するビデオプロセッサカードによって対処される。将来的には、メディアサーバが、より高い解像度のビデオデータ(例えば、8K解像度)を生成する一方で、信号伝送機器が、依然として、より低い解像度のデータ(例えば、4K解像度)のハンドリングしか可能でないとき、8K解像度データを4K解像度データに変換するようにビデオプロセッサカードの能力を単にアップグレードすることにより、メディアサーバ全体、又は全ての信号伝送機器をアップグレードする必要なく、非互換性に対処する。
ビデオプロセッサカードは、第2のビデオデータストリームを特定のビデオフォーマットに符号化するためのエンコーダを備えていてもよい。特定のビデオフォーマットは、DVI又は3G−SDIとすることができる。
ビデオフォーマットエンコーダを組み込んだビデオプロセッサカードの上記の構成は、ビデオプロセッサカードが、各々が異なる要件を有する多くの異なるフォーマットでビデオデータを出力することが必要とされる場合がある状況において有用である。
本発明の別の態様によれば、第1のビデオ解像度の第1のビデオデータストリームを生成し、ビデオデータをビデオ表示デバイスに出力するためのメディアサーバが提供される。このメディアサーバは、ソースビデオ解像度(元のビデオ解像度)の複数のソースビデオデータストリーム(元のビデオデータストリーム)を受信するための入力部と、取り外し可能なビデオプロセッサカードを受容するためのビデオプロセッサカードスロットと、第1のビデオデータストリームを生成するために、入力部により受信された第2のビデオデータストリームのピクセルをインタリーブするプロセッサと、第1のビデオデータストリームをビデオプロセッサカードスロットに出力するように構成された出力部とを備えている。
有利には、上記の構成において、メディアサーバは、複数のビデオデータストリーム(各々がビデオプロセッサカードから別々に出力されることが意図されている)のピクセルデータをインタリーブし、結果として得られたビデオデータストリームをビデオプロセッサカードに渡す。これは、複数の出力ビデオデータストリームのためのピクセルデータが、ビデオプロセッサカードに対して最適な順序で、特に、各ピクセルが読み出され、信号伝送機器に出力される必要がある順序で提示されることを意味する。したがって、データがデマルチプレクスされ、信号伝送のために出力される前に、受信データのうちのいずれもバッファリングする必要も処理する必要もないように、ビデオプロセッサカードの処理力及び記憶能力を低減することができる。これによって、ビデオプロセッサカードを作製し交換するのがより安価かつ容易になる。
任意選択で、メディアサーバは、第2のビデオ解像度の第2のビデオデータストリームを含む。
有利には、上記の構成を有するメディアサーバは、追加のビデオデータストリームの処理をハンドリングすることができる。特に、第2のビデオデータストリームは、ビデオプロセッサカードを介して出力される前に、後続の処理のためにメディアサーバに提供される(又はこのメディアサーバによって生成される)、(特定のソースビデオ解像度の)ソースビデオを含むことができる。例えば、これは、ソースビデオフレームの異なった領域が別個の4K又はHD解像度ビデオデータストリームにレンダリングされることを意図して、非常に高い解像度(4K解像度よりも高い)の特定のソースビデオデータストリームをメディアサーバによって受信することができるシナリオにおいて有用である。
メディアサーバのビデオプロセッサカードスロットは、ビデオプロセッサカードを備えることができ、それによって、メディアサーバは、第2のビデオ解像度の複数の第2のビデオデータストリームを出力する。
上記の構成は、有利には、ビデオプロセッサカード及びメディアサーバの機能を組み合わせて、メディアサーバによって処理されるデータが、信号伝送及び/又は投影機器との互換性のために、当初のデータストリームと異なる解像度の複数の出力ビデオデータストリームにデマルチプレクスされることを可能にする。
任意選択で、メディアサーバのビデオプロセッサカードスロットは、パススルー型ビデオプロセッサカードを含む。パススルー型ビデオプロセッサカードは、ビデオプロセッサカードの入力において第1のビデオデータストリームを受信し、第1のビデオデータストリームをビデオプロセッサカード出力に通すように構成される。
パススルー機能を有するビデオプロセッサカードを組み込むことによって、ビデオプロセッサカードが、デマルチプレクスが実行されることを一切必要とすることなく、(メディアサーバから受信された)入力ビデオデータストリームを、単に出力に直接渡すことを可能にする。これは、メディアサーバの機能と、信号伝送及び/又は投影機器の機能との間に不一致がない状況において有利である。これは例えば、信号伝送機器が4K解像度のビデオデータをハンドリングするようにアップグレードされ、4Kビデオデータが、伝送及び投影の目的で複数のHDビデオストリームに分割される必要がもはやないときである。この場合、メディアサーバ自体はアップグレードされる必要がなく、必要とされるのは、デマルチプレクスを行うビデオプロセッサカードをパススルー型ビデオカードに交換することのみであり、これははるかに安価で容易な解決策である。
任意選択で、メディアサーバは、少なくとも2つのビデオプロセッサカードスロットを含む。プロセッサは、少なくとも2つの第1のビデオデータストリームを生成するように構成することができ、各第1のビデオデータストリームが異なるビデオプロセッサカードスロットに送られる。
有利には、上記の構成におけるメディアサーバは、複数の入力ビデオデータストリーム(例えば、少なくとも2つの4K解像度ビデオデータストリーム)をハンドリングすることができ、各入力ストリームを、同時出力のために異なるビデオプロセッサカードに渡すことができる。これは、効果的には、メディアサーバ自体の機能又は構成に対する実質的な変更を一切必要とすることなく、単一のメディアサーバから出力することができるビデオデータストリームの数を増加させる。
ビデオデータを出力する方法は、入力において、ビデオメディアサーバの出力から、第1のビデオ解像度の第1のビデオデータストリームを受信するステップと、第1のビデオデータストリームをデマルチプレクスして複数の第2のビデオデータストリームにするステップであって、各第2のビデオデータストリームは第2のビデオ解像度である、ステップと、複数のビデオ出力からビデオデータを出力するステップであって、各ビデオ出力は、複数の第2のビデオデータストリームのうちの1つを出力するように構成される、ステップとを含む。第1のビデオ解像度は、第2のビデオ解像度よりも高いビデオ解像度である。
キャリア媒体は、上記の方法を実行するようにコンピューティングデバイスを制御するためのコンピュータ可読コードを有する。
第1のビデオ解像度の第1のビデオデータストリームを生成し、ビデオをビデオ表示デバイスに出力する方法は、入力において、ソースビデオ解像度の複数のソースビデオデータストリームを受信するステップと、第1のビデオデータストリームを生成するために、ソースビデオデータストリームのピクセルをインタリーブするステップと、第1のビデオデータストリームを、取り外し可能なビデオプロセッサカードを受け入れるためのビデオプロセッサカードスロットに出力するステップとを含む。
キャリア媒体は、上記の方法を実行するようにコンピュータデバイスを制御するためのコンピュータ可読コードを有する。
本出願の範囲内で、上記の段落、特許請求の範囲及び/又は以下の説明及び図面において提示される様々な態様、実施形態、実施例、代替形態、並びに特にその個々の特徴は、独立して、又は任意の組み合わせで利用することができることが明確に意図されている。すなわち、全ての実施形態、及び/又は任意の実施形態の特徴は、そのような特徴が両立しないものでない限り、任意の方法及び/又は組み合わせで組み合わせることができる。本出願人は、最初に出願された任意の請求項を変更し、それに応じて任意の新規の請求項を提示する権利を留保する。この権利は、最初に出願された任意の請求項を、任意の他の請求項の任意の特徴に従属させ及び/又はこれらを組み込むように、当初はそのように特許請求されていない場合であっても、変更する権利を含む。
本発明の好ましい実施形態を、添付の図面を参照して以下で説明する。
本発明の一実施形態による、ビデオデータの処理及び伝送を実行するビデオデータハンドリングシステムの環境を示すブロック図である。 図1のメディアサーバのコンポーネントの詳細を示すブロック図である。 図2のメディアサーバ内に組み込まれるVFCカードのコンポーネントの詳細を示すブロック図である。 図2のシステムの実施形態におけるビデオデータの処理及び伝送を含む高レベルプロセスの流れ図である。 図2のメディアサーバ内に含まれるコンピュータ内のビデオデータの処理及び伝送のプロセスの流れ図である。 図2のシステム実施形態において実行されるプロセスによる、複数の低解像度ビデオデータストリームがマルチプレクスされ、比較的高い解像度を有する単一の出力ビデオデータストリームとされる方法を示すブロック図である。 図3のVFCカード内のビデオデータの処理及び伝送のプロセスの流れ図である。 図2のシステム実施形態において実行されるプロセスによる、図6において生成される高解像度を有する単一のビデオデータストリームがデマルチプレクスされ、低解像度の複数のビデオデータストリームが生成される方法を示すブロック図である。
本明細書に提示される図面は、本発明の実施形態を示すが、本発明の範囲に対する限定として解釈されるべきでない。適宜、示される実施形態の同じ構造的特徴を関係付けるために、類似の参照符号が異なる図面において用いられる。
図1に、本発明の第1の実施形態による、ビデオデータストリームを処理及び伝送するために用いられるビデオデータハンドリングシステムを示す。
ビデオデータハンドリングシステム1は、メディアサーバ4を備えている。このメディアサーバ4は、ビデオデータストリームを処理し、そのビデオデータストリームを、1以上の遠隔表示画面8上で表示するためにビデオプロジェクタ6の遠隔ユーザに提供するか、又は表示デバイス7(プラズマディスプレイ等)に提供する。メディアサーバ4と1以上のビデオプロジェクタ6との間のインタラクションは、ネットワーク10を用いて行われる。特定の実施形態では、メディアサーバ4からのビデオ信号は、ビデオリンク(DVI又はSDI)によって1つ以上のビデオプロジェクタ6に送られる。ネットワーク10は、無線接続手段又は有線接続手段、データ転送ネットワーク、ビデオ転送ネットワーク、ビデオ配信システム又はそれらの任意の組み合わせを含むことができる。
いくつかの実施形態では、ビデオデータストリームは、最初に、画像/ビデオレコーダ12からメディアサーバ4に提供することができる。例えば、ライブイベントが記録され、ネットワーク10を介して、後処理及び後続の再表示のためにメディアサーバ4にストリーミングされる場合である。ビデオデータストリームが別の画像/ビデオソース14によって作成され、ネットワーク10を介してメディアサーバ4に提供される他の実施形態も考えられる。例えば、ビデオデータストリームは、オーサリング及びポストプロダクションツールを実行するコンピュータによって作成し、ネットワーク10を介してメディアサーバ4に提供することができる。あるいは、このような実施形態は、事前に記録されたイベントがライブイベントに伴って遠隔表示画面8上に投影される状況にも適用することができる。更に他の実施形態では、メディアサーバ4は、自身の内部グラフィック処理機能(図示せず)を用いて、自らビデオデータを生成することができる。
ビデオストリーム生成の上記の実施形態の組み合わせを、エンドユーザの要件に応じて、上記のシステムのコンポーネントのうちのいくつか又は全てを用いて実施することもでき、そのような実施形態は、本発明の実施形態の範囲に含まれるとみなされることが理解されよう。
図2に、本発明の実施形態による、メディアサーバ4内に含まれる主要コンポーネント、及びビデオデータストリームがメディアサーバからネットワークに送られるメカニズムを示す。
この図に示す特定の実施形態において、16個(すなわち、4つから構成される組が4つ)の当初の低解像度(HD)ビデオデータストリームがメディアサーバ4において処理され、マルチプレクス(多重化、multiplex)されて(組み合わされて)、4つの高解像度の(4K)ビデオデータストリームが作られる。これらのビデオデータストリームは、その後、デマルチプレクス(逆多重化、demultiplex)され(分けられ)、ネットワーク10を介して伝送され、遠隔表示画面8、8a上に表示されるべく互換性のあるフォーマットで、元の16個の低解像度ビデオデータストリームが出力される。
4つの4K出力ビデオデータストリームを生成するために16個のHD入力ビデオデータストリームを取り込む、本明細書に記載の構成は、図2のシステム実施形態を用いて適合させることができる構成の1つの例であり、異なる数及びタイプの入力及び出力ビデオデータストリームを有するメディアサーバシステムの他の構成も可能であることに留意されるべきである。
メディアサーバ4は、4つのビデオプロセッサカードあるいはVFC(Video Format Conversion, ビデオフォーマット変換)カード22a、22b、22c、22dと通信可能なコンピュータ20を備えている。VFCカードを含むコンポーネントの詳細な説明は、後で図3を参照して行う。代替的な実施形態において、コンピュータ20は、1つ以上のビデオプロセッサカード又はVFCカードと動作可能に通信することができることが留意される。
コンピュータ20は、メインボード24を備えている。このメインボード24は、それ自体、プロセッサ26と、SSD(Solid State Drive, ソリッドステートドライブ)28と、RAM(ランダムアクセスメモリ)コンポーネント30とを有する標準的なコンピュータのコンポーネントを備えている。これらのコンポーネントは、メディアサーバ4が自らビデオデータストリームを生成し、そのビデオデータストリームをSSD28に記憶する実施形態において、ビデオデータストリームの作成及び記憶に用いることができる。メディアサーバ4が画像/ビデオレコーダ12又は画像/ビデオソース14からビデオデータストリームを受信する別の実施形態において、メディアサーバは信号受信部31を更に有する。この信号受信部31は、データを受信し、そのデータを、SSD28又はRAM30を用いた初期処理及び/又は記憶のためにメインボード24へ送る。
コンピュータ20は、GPU(Graphical Processing Unit, グラフィック処理ユニット)32と、バックプレーンコンポーネント34とを更に備える。GPU32の主要な機能は、メインボード24から受信した入力ビデオデータストリームを処理して、様々な表示画面8、8aへの出力に適したビデオデータストリームを作成することである。GPU32の重要なコンポーネントは、インタリーブシェーダ36である。このインタリーブシェーダ36は、4つのHDビデオデータストリームからなる組ごとに、HDビデオストリームのピクセルをインタリーブして、単一の4Kビデオデータストリームを生成する。その後、この単一の4Kビデオデータストリームは、バックプレーンコンポーネント34に出力される。図2に示す実施形態では16個の入力HDビデオストリームが存在するため(4つのHDストリームからなる組が4つ)、インタリーブシェーダ36からバックプレーンコンポーネント34への出力は、4つの異なる4Kビデオデータストリームである。バックプレーンコンポーネント34は、これらの4Kビデオストリームについて、行再駆動(line re-driving)を実行して信号劣化を防ぎ、その後、各4Kビデオストリームを別個のVFCカード22a〜22dに送る。各VFCカード22a〜22dは、入力された4Kビデオストリームを4つの低解像度HDビデオストリームへと分割し、その後、これらのHDビデオストリームを、ネットワーク10に出力するための所望のフォーマット(例えば、DVI又は3G−SDI)に変換する。
最後に、メディアサーバ4は、該メディアサーバが機能するようにするために、電源40から電力を得るための電源入力モジュール38を備えている。
いくつかの実施形態では、VFCカード22a〜22dは、メディアサーバにおいて特別に設計された受入部(収容部)に挿入される物理的カードの形態をとることが考えられる。特に、カードは、該カードを受け入れるように特別に設計されたバックプレーンに挿入することができる。カードは、メディアサーバから容易に取り外しできるように設計されており、それによって、必要な場合、これらのカードを取り外し、異なるビデオフォーマット変換能力を有する他のVFCカードと交換することができる。
したがって、VFCカードを交換することによって出力ビデオのフォーマットを非常に容易に変更することが可能であり、これが本発明の実施形態の利点である。
図2に示すVFCカードの数は、限定を目的としたものではないことが留意されるべきである。エンドユーザの要件に応じて、及び結果として、処理され、メディアサーバシステムを通じて送られる必要があるビデオデータの量に応じて、最小限の1つのVFCカードが存在する場合もあれば、メディアサーバの機能を過度に損なうことなくメディアサーバ内に物理的に設けることができる、可能な限り多くのVFCカードが存在する場合もある。
業界規格がハードウェアの機能に追いつき、4Kストリームを、ネットワーク10を介して直接伝送することができるときの未来の使用のための代替的な実施形態が考えられる。そのような実施形態では、入ってきた4Kストリームを複数のHDストリームに分割するVFCカード22a〜22dが、4Kストリームのための「パススルー」としての役割を果たすVFCカードに置き換えられる。したがって、メディアサーバ4は、入ってきた4Kビデオストリームを複数のHDビデオストリームに分割せず、4Kビデオストリームをエンドユーザのために必要なフォーマットに符号化することができる手段を単に提供し、次に4Kビデオストリームをネットワーク10に出力する。
したがって、本発明の実施形態は、絶え間なく変化する業界の要件にわずかな変更のみで適応する能力を有するため、柔軟性の利点を有する。他の現行のシステムは、業界の変化する需要に対応するために、メディアサーバ全体を変更する必要がある。
続いて、VFCカード22a(図2に示す)のうちの1つのコンポーネントの詳細な説明を、図3を参照して行う。
VFCカード22aは、信号受信部50と、FPGA(フィールドプログラマブルゲートアレイ)52と、複数のビデオ出力部54a、54b、54c、54dと、(必須ではないが)1以上のステータスインジケータ56とを備えている。これらのステータスインジケータは、LED型インジケータの形態をとることができ、例えば、VFCカードが現在、データをネットワーク10に出力しているか否かに応じて色を変化させることによって、VFCカードシステムのステータスを示す情報を提供することができる。
FPGA52は、複数のエンコーダブロック60a、60b、60c、60dと通信可能なスプリッタ(リフォーマッタ)58を更に備えている。複数のエンコーダブロック60a、60b、60c、60dは、複数のビデオ出力部54a、54b、54c、54dに動作可能に接続される。FPGA52はプロセッサ62をも有する。プロセッサ62は、FGPA52の他のコンポーネント(例えば、メモリ64)の全てに接続してこれらを制御し、VFCカード22aのためのセットアップ、同期、及びフィードバックタスクを実行する。
信号受信部50は、バックプレーンコンポーネント34から送られて入ってくる4Kビデオデータストリームを受信し、そのデータストリームをパース(解析、分析)し、次にこれをFPGA52に送る。この4Kビデオストリームは、スプリッタ58により受信され、デマルチプレクスされて4つの低解像度HDビデオストリームが生成される。その後、各HDビデオストリームは、複数のエンコーダブロック60a、60b、60c、60dのうちの1つに渡される。これらのエンコーダブロックは、ビデオストリームを、必要な出力フォーマット(例えば、DVI又は3G−SDI)へと符号化(エンコード)する。次に、結果として得られるビデオストリームは、複数のビデオ出力部54a〜54dのうちの1つを介してネットワーク10に出力される。
図4の流れ図は、入力されたHDビデオストリームが、図2に示したメディアサーバシステムの実施形態を構成するコンポーネントを通じて処理され伝送される一般的なプロセスを示す。このプロセスは、図5〜図8を参照して更に詳細に説明される。
明確にするために、後続のプロセスは、単一のVFCカード22aを参照して説明される。メインボード24からの当初の入力は、4つのHDビデオストリームを含み、これらのHDビデオストリームは、単一の4Kビデオストリームに組み合わされ、その後、4つのHDビデオストリームに分割され、これらのHDビデオストリームがVFCカード22aから出力される。その一方で、このプロセスは、図2のシステムの実施形態において示される他の3つのVFCカード22b、22c、22dによっても行うことができ、それによって、メディアサーバシステムからの最終的な出力が全体として、16個のHDビデオストリームとなることが留意されるべきである。
プロセス200はステップ205から開始する。ステップ205において、コンピュータ20は、メインボード24から複数のHDビデオストリームを取り出す。これらのHDビデオストリームは、コンピュータ自体によって生成されたものであるか、又は画像/ビデオレコーダ12から、若しくはネットワーク10を介して他のソース14から取得されたものである。
続いて、HDビデオストリームは、GPU32のインタリーブシェーダ36に送られる。GPU32は、ステップ210において、各HDストリームを、該HDストリームを構成するピクセルに分割し、ステップ215において、これらのピクセルをインタリーブして、単一の4Kビデオストリームを生成する。次に、ステップ220において、この4Kビデオストリームが、GPUインタリーブシェーダ36からバックプレーンコンポーネント34を通じてVFCカード22aへと送られる。
VFCカード22aにより、4Kビデオストリームは、ステップ225にて、スプリッタ58によってデマルチプレクスされ、それにより、4Kストリームにおける連続したピクセルが読み出され、ビデオ出力部54a〜54dに順に割り当てられる。換言すれば、ストリームにおける第1のピクセルは、第1のビデオ出力部54aに割り当てられ、第2のピクセルは、第2のビデオ出力部54bに割り当てられ、以下同様にしてストリーム全体が処理される。ステップ230にて、ビデオ出力部54a〜54dの各々は、対応するHD出力を、(複数の)遠隔表示画面8、8a上に表示するべく、ネットワーク10を介して(複数の)プロジェクタ6、6aへ送る。
図5の流れ図に、コンピュータ20においてビデオデータストリームを処理及び伝送するためのプロセスのステップをより明確に示す。本発明のこの実施形態では、4つの入力HDビデオデータストリームがインタリーブされ、単一の出力4Kビデオデータストリームが生成される。
プロセス300は、ステップ305から開始する。このステップ305において、コンピュータメインボード24は、当初のHDビデオデータストリームをGPU32へ送る。図2を参照して説明したように、これらの当初のHDビデオストリームは、コンピュータメインボード24自体によって生成することができ、代替的に、又は付加的に、コンピュータ20内の信号受信部31を用いてネットワーク10を介して他のソースから受信し、メインボード24のメモリコンポーネント28、32内に取り出し可能なように記憶することもできる。入力ビデオデータストリームがメインボード24によってどのように取得されるかに関わらず、これらの入力ビデオデータストリームは全て、ステップ305においてGPU32へ送られ、それによってGPUインタリーブシェーダ36に送られる。
ステップ310において、GPUインタリーブシェーダ36は、入力HDビデオデータストリームを解析し、各ビデオストリームの重要な特性を判定する。これらの特性には、例えば、ビデオストリームのサイズ及び解像度が含まれる。
入力ビデオデータストリームの関連する特性が判定されると、更なる処理に進む前に、GPUインタリーブシェーダ36は、HDビデオデータストリームの各々を、複数のサブシェーダ(不図示)のうちの少なくとも1つに割り当てることができる。これらのサブシェーダは、ビデオデータストリームの所望の出力形態と互換性がある。例えば、あるサブシェーダは、2分割、4分割、又はミラー出力の形態をサポートすることができ、ビデオデータストリームは、所望の出力形態をサポートする、対応するサブシェーダによって処理されることになる。その後、このプロセスにおける特定のタスクを実行するGPUインタリーブシェーダ36を、同じタスクを実行するように割り当てられたサブシェーダと捉えることもできる。
その後、ステップ315において、GPUインタリーブシェーダ36の関連するサブシェーダが、各入力HDビデオデータストリームから1つのピクセルを順に読み出し、所定のインタリーブ規則に従ってこれらのピクセルをインタリーブする。インタリーブプロセスの詳細を図6に示す。
プロセス350から開始する。このとき、4つの入力HDビデオデータストリーム360、362、364、366(図においてそれぞれA、B、C及びDとしてラベル付けされ、それらの各々が複数の個々のピクセルを有する)が、GPUインタリーブシェーダ36へ提供される。4つの入力ストリームの各々のピクセルが、GPUインタリーブシェーダ36によって順に読み出され、インタリーブされて、単一の出力ストリーム370が生成される。この方法によれば、ストリームAの第1のピクセル(A0,0で表される)は出力ストリーム370の第1のピクセルに対応し、ストリームBの第1のピクセル(B0,0で表される)は出力ストリーム370の第2のピクセルに対応し、ストリームCの第1のピクセル(C0,0で表される)は出力ストリーム370の第3のピクセルに対応し、ストリームDの第1のピクセル(D0,0で表される)は出力ストリーム370の第1のシーケンス372内の第4のピクセルに対応する。次に、入力ストリーム360、362、364、366の各々における第2のピクセルは、対応したやり方でインタリーブされ、その結果得られるシーケンス374が4つのピクセルを有する第1のシーケンス372に連結される。このプロセスは、入力ストリーム360、362、364、366の全てのピクセルがインタリーブされて単一の出力ストリーム370が作られるまで続く。
この実施形態のインタリーブ方法及びそのピクセル順序付けは、ネットワーク10へ出力されるDVIフォーマットのビデオストリーム生成のためのピクセル構成を最適化するものであることに留意されるべきである。別のビデオフォーマット(例えば、3G−SDI)には、別のインタリーブ方法及び入力ピクセルの順序付けを利用することができる。
図6に戻る。インタリーブされた出力ストリーム370が生成されると、GPUインタリーブシェーダ36は、ステップ320において、出力ピクセルごとに、そのピクセルがどの入力ストリームから得られたものであるかを判定する。その判定後、GPUインタリーブシェーダ36は、入力ビデオデータストリームバッファにアクセスし、そのピクセルに対応する色を取得し、これを出力ストリームのバッファに書き込み、それにより、入力ビデオデータストリーム内の情報が、単一の出力ストリームへの変換において失われないようにする。
次に、GPUインタリーブシェーダ36は、入力ビデオデータストリームの各々の解像度が、所定の閾値解像度(例として、いくつかの実施形態では、この閾値解像度は1080ピクセルとすることができる)を大きく下回っているかどうかを判定する。ステップ325において、全ての入力ビデオデータストリームの解像度が所定の閾値よりも高いと判断された場合、GPUインタリーブシェーダ36は即座にステップ330に進み、入力ビデオデータストリームの全てのピクセルがインタリーブされたかどうかを判定する。
あるいは、入力ビデオデータストリームのうちのいずれか1つの解像度が上記閾値未満であると判断されると、ステップ330に進む前に、GPUインタリーブシェーダ36は、ステップ335にて、出力ビデオストリームに空白のスペース又は行を挿入する。そして、データがVFCカード22a〜22dへまさに適切な時期に到達するようにする。
その後のステップ330にて、全ての入力ピクセルがインタリーブされているわけではないと判断されると、GPUインタリーブシェーダは、各入力ビデオデータストリームの全ピクセルが正常にインタリーブされたと判定されるまで、ステップ315〜330を繰り返す。これが行われると、GPUインタリーブシェーダ36は、ステップ340にて、バックプレーンコンポーネント34へ単一の出力4Kビデオデータストリームを出力する。この単一の出力4Kビデオデータストリームは、4つ全てのHD入力ビデオデータストリームのピクセルをインタリーブすることによって作られたものである。
16個の入力HDビデオデータストリームを有する実施形態では、図4及び図5の上記で説明したプロセスを用いて、GPUインタリーブシェーダ36により4つの4Kビデオデータストリームが生成される。これらの4つの4Kビデオデータストリームはバックプレーンコンポーネント34に送られる。バックプレーンコンポーネント34は、行再駆動(line redriving)を行い、信号が劣化していないことを確認し、その後、4Kビデオデータストリームの各々を別個のVFCカード22a〜22dに出力する。
図7の流れ図に、4つの出力HDビデオデータストリームを生成するための、VFCカード22a〜22dの各々によって行われる入力4Kビデオデータストリームの解析及び処理をより詳細に示す。
プロセス400は、ステップ405から開始する。ステップ405では、VFCカード受入部50は、バックプレーンコンポーネント34から受信された入力4Kビデオデータストリームをパースする。次に、入力ビデオデータストリームはスプリッタ58に送られる。スプリッタ58は、ステップ410にて、入力ビデオデータストリームの一部をバッファ(例えば、10行分のビデオデータに相当する。各行に4096個のピクセルがある。)に受信する。このバッファからデータが取り出され、処理されて、ネットワーク10へ出力される。
まず入力ビデオデータストリームをバッファ内に受信することによって、スプリッタは、遅延を小さくし、それにより、受信信号と出力信号との間のいかなる時間差も扱えるようにすることができる(最大で、任意の一時点においてバッファ内にためることができるデータの上限まで)。これは、最終的なHDビデオデータストリームの出力に関連付けられた、いかなる遅延の問題も最小限にすることに役立つ。
ステップ415にて、スプリッタ58は、バッファからビデオストリームデータを読み出し、単一のデータストリームをデマルチプレクスして、4つのHD出力ビデオデータストリームを作る。これら4つのHD出力ビデオデータストリームは、ステップ420にてエンコーダブロック60a〜60dへ送られる。
これについて図8により詳細に示す。具体的には、入力4Kビデオデータストリーム370内の連続したピクセルは、スプリッタ58によって読み出され、別々のエンコーダブロック60a〜60dへ順に送られる。換言すれば、ピクセルA0,0が読み出されてエンコーダブロック60aに渡され、ピクセルB0,0が読み出されてエンコーダブロック60bに渡され、ピクセルC0,0が読み出されてエンコーダブロック60cに渡され、ピクセルD0,0が読み出されてエンコーダブロック60dに渡される。このようにして、プロセス350にてGPUインタリーブシェーダ36へ提供された4つのHDビデオデータストリーム360、362、364、366が、再生されて、更に処理を行うエンコーダブロック60a〜60dへ渡される。完全を期すために、ブロックAからの(すなわち、ビデオデータストリーム360からの)後続の全てのピクセルが同じエンコーダブロック60aに渡され、ブロックBからの(すなわち、ビデオデータストリーム362からの)後続の全てのピクセルがエンコーダブロック60bに渡され、ブロックCからの(すなわち、ビデオデータストリーム364からの)後続の全てのピクセルがエンコーダブロック60cに渡され、ブロックDからの(すなわち、ビデオデータストリーム366からの)後続の全てのピクセルがエンコーダブロック60dに渡されることに留意されるべきである。
図7に戻る。HDビデオデータストリームがエンコーダブロック60a〜60dにより受信されると、これらのHDビデオデータストリームは、ステップ420において、処理され、ネットワーク10に出力するための適切なフォーマットへと符号化される。次に、各HDビデオデータストリームが、別々のビデオ出力部54a〜54dを介してネットワーク10へ出力され、その後、遠隔表示画面8上に表示するためにプロジェクタ6に送られる。
データがネットワーク10に出力されると、VFCカードのシステムプロセッサ62は、ステップ430にて、入力4Kビデオデータストリーム内に、出力の必要があるデータが残っているかどうかをチェックする。ステップ430にて、入力ビデオデータストリーム内に残っているデータが依然として存在すると判断された場合、ステップ430にて否という結果が返されるまで、プロセスのステップ410〜430が繰り返される。否という結果が返されると(すなわち、入力ビデオデータストリームの全てがネットワーク10に出力された)、ステップ435にて、VFCカード22a〜22dは、バックプレーンコンポーネント34から別のデータストリームを受信することができる。
本発明の上記で説明した実施形態は、デマルチプレクスされたHDビデオデータストリームの出力に関連する遅延時間を低減できるという利点を有することが理解されよう。
4つのHDビデオデータストリーム(A、B、C、D)を、単一の4K伝送パイプラインを通して伝送しようとする従来のメディアサーバシステムは、これらのストリームを単一の入力4Kフレーム内に配列する。この単一の入力4Kフレームは、時計回りにA、B、D、Cとして配列された4つのHDビデオデータストリームに対応する4つのサブフレームを有する。単一の4Kフレームをデマルチプレクスして元の4つのHDストリームを作成するために、かかるシステムは、入力HDビデオフレーム内に提供されるピクセルの直接的なラスター(raster)式読み出しを実行する。したがって、4つのHDビデオデータストリームA、B、C、Dを生成し、これらのストリームを同時に出力するために、当システムは、サブフレームC及びDから任意のピクセルを受信する前に、サブフレームA及びBからの全てのピクセルをまずは受信し、処理する必要がある。
したがって、4つのHDビデオデータストリームを同時に出力するために、従来のシステムは、フレーム全体をバッファリングするために必要な時間と同等な、ビデオデータストリームを出力するための遅延時間をもたらす。これは、多くの例において、特に、出力ビデオデータストリームが、リアルタイムアップデートが重要なライブイベントにおいて遠隔表示画面上に表示するためにプロジェクタに送られる場合に、望ましいものではない。
これに対し、本発明の実施形態では、バックプレーンコンポーネント34において実行されるインタリーブプロセスに起因して、VFCカード22a〜22dは、必要とされる最適な順序で事前に配列されたピクセルが与えられ、それによって、ピクセルが受信されるとすぐに、フレーム全体がバッファリングされることを待つことなく、これらのピクセルを用いて、4つの出力ビデオデータストリームを即座に生成することができる。したがって、遅延時間が最小限にされ、望ましい場合、完全になくすことができる。
さらに、出力の前にフレーム全体を記憶する必要がないため、本発明の上記で説明した実施形態において用いられる方法によれば、この方法が実施されるシステムのメモリ要件が抑えられる。
上記で説明した実施形態のシステムは、柔軟性の利点を有することにも留意されるべきである。
元のHDビデオデータストリームは、コンピュータ20においてインタリーブされ、VFCカード22a〜22dは、単に、結果として得られた4Kビデオデータストリームをデマルチプレクスして出力HDビデオデータストリームを生成する。その理由は、上記業界の能力が、ネットワーク10内で4K信号を伝送するには不十分であるからである。その一方で、上記業界の能力が向上し、4Kビデオデータをコンピュータからネットワーク10へ直接出力することができるときに、必要となるのは、本実施形態のVFCカード22a〜22dが、4Kビデオデータを出力し、「パススルー」機能と、4K信号が出力できるような正しい接続とをシンプルに提供するVFCカードに交換されることである。
VFCカードが、メディアサーバシステム内のスロットに挿入することができる物理的カードの形態をとる実施形態では、メディアサーバシステムの機能をHD出力から4K出力、及び更には別の解像度及びビデオフォーマットに変更するために必要なのは、カードの単純な交換のみである。例えば、将来的には、本システムは、8Kビデオデータストリーム(又は更に高い解像度のデータストリーム)がより普及したときに、このビデオストリームと共に用いることもできることが考えられる。
添付の特許請求の範囲において定められるような本発明の範囲から逸脱することなく、上記の例に多くの変更を加えることができる。

Claims (16)

  1. 複数のビデオデータストリームを出力するビデオプロセッサカードであって、
    前記ビデオプロセッサカードは、ビデオメディアサーバに対して取外し可能に挿入されて前記ビデオメディアサーバの出力部と通信するものであり、
    前記ビデオメディアサーバの出力部から、第1ビデオ解像度を有する第1ビデオデータストリームを受信する入力部と、
    受信された、前記第1ビデオ解像度を有する前記第1ビデオデータストリームを、第2ビデオ解像度を有する複数の第2ビデオデータストリームへとデマルチプレクスするプロセッサと、
    前記複数の第2ビデオデータストリームのうちの1つを出力する複数のビデオ出力部と
    を備え、
    前記第1ビデオデータストリーム及び前記第2ビデオデータストリームはピクセルデータを有し、前記第1ビデオ解像度は、前記第2ビデオ解像度よりも高いビデオ解像度であり、前記第1ビデオ解像度を有する前記第1ビデオデータストリームは、インタリーブされた前記複数の第2ビデオデータストリームを含むものであり、前記第1ビデオデータストリーム内の連続した複数のピクセルは、前記複数の第2ビデオデータストリームのうち、別々の第2ビデオデータストリームのピクセルデータを有するものであり、前記複数の第2ビデオデータストリームの各々は、複数のサブフレームに分けられるソースビデオの別々の領域を表すものであり、前記複数のサブフレームはレンダリングに際して個別に出力されるものである、
    ビデオプロセッサカード。
  2. 前記ビデオプロセッサカードがビデオフォーマット変換カードである、請求項1に記載のビデオプロセッサカード。
  3. 前記プロセッサは、前記複数の第2ビデオデータストリームのうちの1つに関係する全てのピクセルデータが前記複数のビデオ出力部のうちの1つへ送られるように、受信された前記第1ビデオデータストリームをデマルチプレクスするものである、請求項に記載のビデオプロセッサカード。
  4. 前記第1ビデオ解像度が4K解像度であり、前記第2ビデオ解像度がHD解像度である、請求項1〜のいずれか1項に記載のビデオプロセッサカード。
  5. 前記第1ビデオ解像度が8K解像度であり、前記第2ビデオ解像度が4K解像度である、請求項1〜のいずれか1項に記載のビデオプロセッサカード。
  6. 前記第2ビデオデータストリームを特定のビデオフォーマットに符号化するエンコーダを更に備えた請求項1〜のいずれか1項に記載のビデオプロセッサカード。
  7. 前記特定のビデオフォーマットがDVI又は3G−SDIである、請求項に記載のビデオプロセッサカード。
  8. 第1ビデオ解像度を有する第1ビデオデータストリームを生成し、複数のビデオデータストリームをビデオ表示デバイスに出力するメディアサーバであって、
    第2ビデオ解像度を有する複数の第2ビデオデータストリームを受信する入力部と、
    取外し可能なビデオプロセッサカードを受け入れるビデオプロセッサカードスロットと、
    前記入力部により受信された前記第2ビデオデータストリーム内のピクセルをインタリーブし、前記第1ビデオデータストリームを生成するプロセッサと、
    前記第1ビデオデータストリームを前記ビデオプロセッサカードスロットに出力する出力部と
    を備え
    前記第1ビデオデータストリーム及び前記第2ビデオデータストリームはピクセルデータを有し、前記第1ビデオデータストリーム内の連続した複数のピクセルは、前記複数の第2ビデオデータストリームのうち、別々の第2ビデオデータストリームのピクセルデータを有するものであり、前記複数の第2ビデオデータストリームの各々は、複数のサブフレームに分けられるソースビデオの別々の領域を表すものであり、前記複数のサブフレームはレンダリングに際して個別に出力されるものである、
    メディアサーバ。
  9. 前記ビデオプロセッサカードスロットに、請求項1〜のいずれか1項に記載のビデオプロセッサカードが備えられており、
    前記メディアサーバは、第2ビデオ解像度を有する複数の第2ビデオデータストリームを、前記ビデオプロセッサカードを通して出力するものである、請求項に記載のメディアサーバ。
  10. 前記ビデオプロセッサカードスロットに、パススルー型ビデオプロセッサカードが備えられており、
    前記パススルー型ビデオプロセッサカードは、当該ビデオプロセッサカードの入力部において前記第1ビデオデータストリームを受信し、前記第1ビデオデータストリームをビデオプロセッサカード出力部に送るものである、請求項に記載のメディアサーバ。
  11. 少なくとも2つのビデオプロセッサカードスロットを備えた請求項10のいずれか1項に記載のメディアサーバ。
  12. 前記プロセッサは少なくとも2つの第1ビデオデータストリームを生成し、前記第1ビデオデータストリームの各々が別々のビデオプロセッサカードスロットへと送られる、請求項11に記載のメディアサーバ。
  13. 入力部において、ビデオメディアサーバの出力部から第1ビデオ解像度を有する第1ビデオデータストリームを受信するステップと、
    前記第1ビデオデータストリームを、第2ビデオ解像度を有する複数の第2ビデオデータストリームへとデマルチプレクスするステップと、
    前記複数の第2ビデオデータストリームのうちの1つを出力する複数のビデオ出力部から、複数のビデオデータストリームを出力するステップと
    を含み、
    前記第1ビデオ解像度は、前記第2ビデオ解像度よりも高いビデオ解像度であり、前記第1ビデオ解像度を有する前記第1ビデオデータストリームは、インタリーブされた前記複数の第2ビデオデータストリームを含むものであり、前記第1ビデオデータストリーム及び前記第2ビデオデータストリームはピクセルデータを有し、前記第1ビデオデータストリーム内の連続した複数のピクセルは、前記複数の第2ビデオデータストリームのうち、別々の第2ビデオデータストリームのピクセルデータを有するものであり、前記複数の第2ビデオデータストリームの各々は、複数のサブフレームに分けられるソースビデオの別々の領域を表すものであり、前記複数のサブフレームはレンダリングに際して個別に出力されるものである、
    複数のビデオデータストリームを出力する方法。
  14. 第1ビデオ解像度を有する第1ビデオデータストリームを生成し、ビデオをビデオ表示デバイスに出力する方法であって、
    入力部において、第2ビデオ解像度を有する複数の第2ビデオデータストリームを受信するステップと、
    前記第2ビデオデータストリーム内のピクセルをインタリーブし、前記第1ビデオデータストリームを生成するステップと、
    前記第1ビデオデータストリームを、取外し可能なビデオプロセッサカードを受け入れるビデオプロセッサカードスロットへと出力するステップと
    を含み、
    前記第1ビデオデータストリーム及び前記第2ビデオデータストリームはピクセルデータを有し、前記第1ビデオデータストリーム内の連続した複数のピクセルは、前記複数の第2ビデオデータストリームのうち、別々の第2ビデオデータストリームのピクセルデータを有するものであり、前記複数の第2ビデオデータストリームの各々は、複数のサブフレームに分けられるソースビデオの別々の領域を表すものであり、前記複数のサブフレームはレンダリングに際して個別に出力されるものである、
    方法。
  15. 請求項13に記載の方法をコンピューティングデバイスに実行させるコンピュータ可読コードを有するキャリア媒体。
  16. 請求項14に記載の方法をコンピュータデバイスに実行させるコンピュータ可読コードを有するキャリア媒体。
JP2017554514A 2015-04-14 2016-04-14 ビデオデータをハンドリングするシステム及び方法 Active JP6815330B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
GB1506328.2 2015-04-14
GBGB1506328.2A GB201506328D0 (en) 2015-04-14 2015-04-14 A system and method for handling video data
GB1517475.8A GB2537438B (en) 2015-04-14 2015-10-02 A system and method for handling video data
GB1517475.8 2015-10-02
PCT/GB2016/051048 WO2016166542A1 (en) 2015-04-14 2016-04-14 A system and method for handling video data

Publications (2)

Publication Number Publication Date
JP2018516502A JP2018516502A (ja) 2018-06-21
JP6815330B2 true JP6815330B2 (ja) 2021-01-20

Family

ID=53333768

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017554514A Active JP6815330B2 (ja) 2015-04-14 2016-04-14 ビデオデータをハンドリングするシステム及び方法

Country Status (16)

Country Link
US (2) US10764612B2 (ja)
EP (1) EP3284251B1 (ja)
JP (1) JP6815330B2 (ja)
CN (1) CN107567710B (ja)
AU (2) AU2016250209B2 (ja)
CA (2) CA3188031A1 (ja)
DK (1) DK3284251T3 (ja)
ES (1) ES2942138T3 (ja)
FI (1) FI3284251T3 (ja)
GB (2) GB201506328D0 (ja)
HK (1) HK1243573A1 (ja)
HU (1) HUE061674T2 (ja)
LT (1) LT3284251T (ja)
PL (1) PL3284251T3 (ja)
PT (1) PT3284251T (ja)
WO (1) WO2016166542A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10321109B1 (en) * 2017-06-13 2019-06-11 Vulcan Inc. Large volume video data transfer over limited capacity bus
US10419716B1 (en) 2017-06-28 2019-09-17 Vulcan Technologies Llc Ad-hoc dynamic capture of an immersive virtual reality experience
TWI677245B (zh) * 2018-03-23 2019-11-11 台達電子工業股份有限公司 投影顯示設備及顯示方法
CN111428560B (zh) * 2020-02-20 2023-09-12 重庆创通联达智能技术有限公司 视频图像处理方法、装置、电子设备及存储介质
WO2022220890A1 (en) * 2021-04-16 2022-10-20 Darmodihardjo Denny P Snipitz video cdi (content delivery interface)

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2818313B2 (ja) 1990-09-28 1998-10-30 東芝ライテック株式会社 照明制御システム
US5455910A (en) 1993-01-06 1995-10-03 International Business Machines Corporation Method and system for creating a synchronized presentation from different types of media presentations
US5920842A (en) * 1994-10-12 1999-07-06 Pixel Instruments Signal synchronization
US6243706B1 (en) 1998-07-24 2001-06-05 Avid Technology, Inc. System and method for managing the creation and production of computer generated works
KR20010037033A (ko) * 1999-10-13 2001-05-07 구자홍 Lcd 모니터의 신호처리장치 및 방법
US7161998B2 (en) * 2001-01-24 2007-01-09 Broadcom Corporation Digital phase locked loop for regenerating the clock of an embedded signal
US20080211816A1 (en) * 2003-07-15 2008-09-04 Alienware Labs. Corp. Multiple parallel processor computer graphics system
JP2006092334A (ja) 2004-09-24 2006-04-06 Fuji Xerox Co Ltd サービス連携装置、サービス連携方法およびプログラム
US20060114246A1 (en) * 2004-11-12 2006-06-01 Bruce Young Maintaining a default window aspect ratio for each input of a display device
JP4645638B2 (ja) * 2007-11-22 2011-03-09 ソニー株式会社 信号送信装置、信号送信方法、信号受信装置及び信号受信方法
US20090240862A1 (en) * 2008-03-19 2009-09-24 Wincomm Corporation System Design for a Digital Electronic Sign Board
US8164655B2 (en) * 2008-05-19 2012-04-24 Spatial Cam Llc Systems and methods for concurrently playing multiple images from a storage medium
JP5302742B2 (ja) 2009-04-13 2013-10-02 日本放送協会 コンテンツ制作管理装置、コンテンツ制作装置、コンテンツ制作管理プログラム、及びコンテンツ制作プログラム
US9621930B2 (en) * 2010-05-07 2017-04-11 Deutsche Telekom Ag Distributed transcoding of video frames for transmission in a communication network
CN102170571A (zh) * 2010-06-22 2011-08-31 上海盈方微电子有限公司 一种支持双通道cmos传感器的数码相机架构
JP6039915B2 (ja) 2011-07-08 2016-12-07 株式会社ドワンゴ ステージ演出システム、演出制御サブシステム、ステージ演出システムの動作方法、演出制御サブシステムの動作方法、およびプログラム
EP2739052A4 (en) * 2011-07-26 2015-01-21 Lg Electronics Inc VIDEO STREAM TRANSMITTING APPARATUS, VIDEO STREAM RECEIVING APPARATUS, VIDEO STREAM TRANSMITTING METHOD, AND VIDEO STREAM RECEIVING METHOD
CN202385224U (zh) * 2011-10-25 2012-08-15 北京彩讯科技股份有限公司 插卡式高清网络视频解码设备
CN103124337B (zh) * 2011-11-18 2016-09-28 康佳集团股份有限公司 一种电视装置
JP2014003491A (ja) * 2012-06-19 2014-01-09 Nippon Hoso Kyokai <Nhk> 広帯域映像信号の送信装置、受信装置及びプログラム
CN103686314B (zh) * 2012-09-04 2017-05-24 深圳中兴力维技术有限公司 采用高清视频通道传输多路标清视频的解复用装置及方法
KR20140054518A (ko) * 2012-10-29 2014-05-09 삼성전자주식회사 영상처리장치 및 그 제어방법
KR20140085749A (ko) 2012-12-27 2014-07-08 조성환 쇼 운영 방법
JP2014146924A (ja) * 2013-01-28 2014-08-14 Sony Corp ソース機器、シンク機器、通信システムおよび画像送信方法
US10284908B2 (en) * 2013-02-26 2019-05-07 Comcast Cable Communications, Llc Providing multiple data transmissions
CN203279033U (zh) * 2013-06-07 2013-11-06 绍兴奥顿电子有限公司 高清数字串行接口信号转高清晰度多媒体接口信号转换器
CN103561227A (zh) * 2013-11-15 2014-02-05 京东方科技集团股份有限公司 一种高分辨率视频播放系统
CN103957374A (zh) * 2014-04-30 2014-07-30 南京欧帝科技股份有限公司 一种基于dp接口的8k超高清显示系统

Also Published As

Publication number Publication date
LT3284251T (lt) 2023-04-25
CA3188031A1 (en) 2016-10-20
US10764612B2 (en) 2020-09-01
GB2537438A (en) 2016-10-19
AU2016250209B2 (en) 2020-11-05
ES2942138T3 (es) 2023-05-30
EP3284251A1 (en) 2018-02-21
PT3284251T (pt) 2023-04-13
GB2537438B (en) 2017-04-05
HK1243573A1 (zh) 2018-07-13
AU2020257100B2 (en) 2022-09-15
US20180084293A1 (en) 2018-03-22
GB201517475D0 (en) 2015-11-18
FI3284251T3 (fi) 2023-04-04
WO2016166542A1 (en) 2016-10-20
JP2018516502A (ja) 2018-06-21
CA2982045A1 (en) 2016-10-20
US20200359069A1 (en) 2020-11-12
CN107567710B (zh) 2021-04-06
CN107567710A (zh) 2018-01-09
AU2016250209A1 (en) 2017-10-26
GB201506328D0 (en) 2015-05-27
CA2982045C (en) 2024-04-09
HUE061674T2 (hu) 2023-08-28
DK3284251T3 (da) 2023-04-03
AU2020257100A1 (en) 2020-11-19
EP3284251B1 (en) 2022-12-28
PL3284251T3 (pl) 2023-04-24
US11303942B2 (en) 2022-04-12

Similar Documents

Publication Publication Date Title
JP6815330B2 (ja) ビデオデータをハンドリングするシステム及び方法
KR100475060B1 (ko) 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
US7792412B2 (en) Multi-screen image reproducing apparatus and image reproducing method in multi-screen image reproducing apparatus
JP2020042125A (ja) リアルタイム編集システム
US7996699B2 (en) System and method for synchronizing multiple media devices
KR101085554B1 (ko) 초고화질 영상을 위한 실시간 입출력 모듈 시스템
CN113301295A (zh) 多画面视频数据处理方法、装置、计算机设备和存储介质
KR100874226B1 (ko) 다시점 화상 및 3차원 오디오 송수신 장치 및 이를 이용한송수신 방법
JP2006222942A (ja) 映像合成装置、映像合成方法及び映像合成プログラム
KR101152952B1 (ko) 초고화질 영상을 위한 실시간 3d 포맷팅 모듈 및 이를 이용한 실시간 3d 포맷팅 시스템
JP6778956B2 (ja) リアルタイム編集システム
KR101562789B1 (ko) Hd/uhd급 멀티채널 비디오 라우팅 겸용 스위칭 방법 및 그 장치
JP2007183654A (ja) マルチ画面映像再生装置
JP7350744B2 (ja) 画像処理装置
US9693011B2 (en) Upgraded image streaming to legacy and upgraded displays
CN111355914A (zh) 一种视频制式信号生成装置和方法
JP2013247582A (ja) 映像合成方法、映像記録方法、映像合成装置、映像記録装置、映像表示システム
JP2005203948A (ja) マルチ画面映像再生装置
JP2008270939A (ja) 動画像配信システム並びにサーバー装置及びクライアント装置
JP2005176068A (ja) 動画像配信システム及びその方法
CN114302086A (zh) 显示墙全屏超高分辨率画面录制与回放方法、装置及系统
KR20070117431A (ko) 입체영상 재생시스템

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190410

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200907

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201222

R150 Certificate of patent or registration of utility model

Ref document number: 6815330

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250