JP6500890B2 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
JP6500890B2
JP6500890B2 JP2016506404A JP2016506404A JP6500890B2 JP 6500890 B2 JP6500890 B2 JP 6500890B2 JP 2016506404 A JP2016506404 A JP 2016506404A JP 2016506404 A JP2016506404 A JP 2016506404A JP 6500890 B2 JP6500890 B2 JP 6500890B2
Authority
JP
Japan
Prior art keywords
data
unit
mhl
tmds
identification information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016506404A
Other languages
English (en)
Other versions
JPWO2015133249A1 (ja
Inventor
哲 寺本
哲 寺本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2015133249A1 publication Critical patent/JPWO2015133249A1/ja
Application granted granted Critical
Publication of JP6500890B2 publication Critical patent/JP6500890B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G3/2096Details of the interface to the display terminal specific for a flat panel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40Bus networks
    • H04L12/403Bus networks with centralised control, e.g. polling
    • H04L12/4035Bus networks with centralised control, e.g. polling in which slots of a TDMA packet structure are assigned based on a contention resolution carried out at a master unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B3/00Line transmission systems
    • H04B3/50Systems for transmission between fixed stations via two-conductor transmission lines
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/756Media network packet handling adapting media to device capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/762Media network packet handling at the source 
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G09G2370/045Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller using multiple communication channels, e.g. parallel and serial
    • G09G2370/047Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller using multiple communication channels, e.g. parallel and serial using display data channel standard [DDC] communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43632Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wired protocol, e.g. IEEE 1394

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関し、特に、複数のデータチャネルにそれぞれ対応した複数系列のデータを送信する送信装置等に関する。
従来、例えば、送信機器(ソース機器)から受信機器(シンク機器)に画像および音声のデータを高速に伝送する通信インタフェースとして、MHL(Mobile High-definition Link)規格が提案されている。従来のMHLシステムでは、例えば、送信機器から受信機器にコンテンツデータを一つのデータチャネルで送信するようになっている。
従来、HDMI(High-Definition Multimedia Interface)のデジタルインタフェースでは、コンテンツデータを複数系列のデータに分配し、これら複数系列のデータを送信機器から受信機器に複数のデータチャネルで送信することが行われている。この場合、受信機器での処理が適切に行われるように、複数系列のデータをそれぞれ対応した受信機器のレセプタクルのピンに正しく入力する必要があった。
例えば、特許文献1には、信号の送信回路側のコネクタの信号ピンにコネクタの識別子を挿入することでコネクタの誤接続による内部回路の破壊を防止すること記載されている。
特開平6−068935号公報
本技術の目的は、複数のデータチャネルにそれぞれ対応した複数系列のデータの良好な送受信を可能とすることにある。
本技術の概念は、
複数のデータチャネルにそれぞれ対応した複数系列のデータを伝送路を介して外部機器に送信する送信部と、
上記複数系列のデータのそれぞれに、対応するデータチャネルを識別するための識別情報を付加する情報付加部を備える
送信装置にある。
本技術において、送信部により、複数のデータチャネルにそれぞれ対応した複数系列のデータが伝送路を介して外部機器に送信される。そして、情報挿入部により、複数系列のデータのそれぞれに、対応するデータチャネルを識別するための識別情報が挿入される。
例えば、データチャネルは、TMDSチャネルであり、情報付加部は、各TMDSラインデータのコントロール期間に、対応するデータチャネルを識別するための識別情報を付加する、ようにされてもよい。また、例えば、対応するデータチャネルを識別するための識別情報には、総データチャネル数の情報が付加されている、ようにされてもよい。
このように本技術においては、複数系列のデータのそれぞれに対応するデータチャネルを識別するための識別情報を付加するものである。そのため、受信側では、受信された複数系列のデータのそれぞれが対応するデータチャネルを容易かつ的確に判別でき、適切な処理を施すことが可能となる。
なお、本技術において、例えば、一つまたは複数のコンテンツデータから複数系列のデータを得るデータ処理部をさらに備える、ようにされてもよい。また、本技術において、例えば、複数系列のデータをそれぞれ出力する複数のピンを持つレセプタクルをさらに備え、レセプタクルは、伝送路を構成するケーブルのプラグがリバーシブルに接続可能とされている、ようにされてもよい。この場合、ケーブルのプラグの接続方向がいずれにあっても、受信側では、受信された複数系列のデータのそれぞれが対応するデータチャネルを容易かつ的確に判別できることから、適切な処理を施すことが可能となる。
また、本技術の他の概念は、
外部機器から伝送路を介して、それぞれ対応するデータチャネルを識別するための識別情報が挿入されている、複数系列のデータを受信する受信部と、
上記複数系列のデータに対応するデータチャネルを、それぞれ上記挿入されている識別情報に基づいて判別する判別部を備える
受信装置にある。
本技術において、受信部により、外部機器から伝送路を介して複数系列のデータが受信される。ここで、複数系列のデータには、それぞれ対応するデータチャネルを識別するための識別情報が挿入されている。例えば、データチャネルは、TMDSチャネルであり、識別情報は、TMDSラインデータのコントロール期間に挿入されている。そして、判別部により、複数系列のデータに対応するデータチャネルが、それぞれ、挿入されている識別情報に基づいて判別される。
このように本技術においては、複数系列のデータに対応するデータチャネルを、それぞれ、挿入されている識別情報に基づいて判別するものである。そのため、受信された複数系列のデータのそれぞれが対応するデータチャネルを容易かつ的確に判別でき、適切な処理を施すことが可能となる。
なお、本技術において、例えば、複数系列のデータを判別結果に基づいて合成し、一つまたは複数のコンテンツデータを得るデータ処理部をさらに備える、ようにされてもよい。また、本技術において、例えば、複数系列のデータをそれぞれ入力する複数のピンを持つレセプタクルをさらに備え、レセプタクルは、伝送路を構成するケーブルのプラグがリバーシブルに接続可能とされている、ようにされていてもよい。この場合、ケーブルのプラグの接続方向がいずれにあっても、受信された複数系列のデータのそれぞれが対応するデータチャネルを容易かつ的確に判別できることから、適切な処理を施すことが可能となる。
本技術によれば、複数のデータチャネルにそれぞれ対応した複数系列のデータの良好な送受信が可能となる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
実施の形態としての画像表示システムの構成例を示すブロック図である。 画像表示システムを構成するモバイルフォーンの構成例を示すブロック図である。 画像表示システムを構成するテレビ受信機の構成例を示すブロック図である。 モバイルフォーンのMHL送信部とテレビ受信機のMHL受信部の構成例を示す図である。 MHL送信部のトランスミッタの詳細な構成例を示すブロック図である。 MHLデータ構造の概念図である。 TMDSラインデータ構造の概念図である。 MHL受信部のレシーバの詳細な構成例を示すブロック図である。 MHL送信部およびMHL受信部におけるMHLデータの送受信処理を概略的に示すフローチャートである。 本技術のリバーシブルコネクタへの応用を説明するための図である。 MHLシンク機器における基板形状、コネクタの配置の一例を示す図である。 MHLシンク機器に配置されるMHLデバイス(MHL受信部)(A),(B),(C)の一例を示す図である。 MHLシンク機器にMHLデバイス(A)を配置した場合の配線パターンの一例を示す図である。 MHLシンク機器にMHLデバイス(B)を配置した場合の配線パターンの一例を示す図である。 MHLシンク機器にMHLデバイス(B)を配置し、本技術を応用する場合の配線パターン一例を示す図である。 MHLシンク機器にMHLデバイス(C)を配置した場合の配線パターンの一例を示す図である。 MHLシンク機器にMHLデバイス(C)を配置し、本技術を応用する場合の配線パターン一例を示す図である。
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.変形例
<1.実施の形態>
[画像表示システム]
図1は、実施の形態としての画像表示システム10の構成例を示している。この画像表示システム10は、MHL(Mobile High-definition Link)ソース機器としてのモバイルフォーン(Mobile Phone)100と、MHLシンク機器としてのテレビ受信機200とにより構成されている。これらの機器は、伝送路としてのMHLケーブル300によって接続されている。
MHLの概要を説明する。MHLは、主に、モバイル機器用のAV(Audio Visual)デジタルインタフェース規格である。MHLは、MHLソース機器とMHLシンク機器をMHLケーブルで接続し、MHLソース機器が持っている動画、静止画、音声等のコンテンツをMHLシンク機器で再生する(AVストリーム・単方向)。
また、機器間では、EDID読出し、HDCP認証、レジスタリード/ライト、リモコン制御等のコントロールを、DDCコマンド、およびMSC(MHL Sideband channel)コマンドを送受信することで行う(リンクコントロール・双方向)。モバイルフォーン100およびテレビ受信機200は、互いの機器間でリンク設定を行い、そのリンク設定の内容により、MHLケーブル300を介して、コンテンツデータを送受信する。
モバイルフォーン100は、ビデオやオーディオなどのデータ、つまりコンテンツデータを複数系列のデータに分配し、複数のTMDSデータチャネルで送信する。この際、モバイルフォーン100は、複数系列のデータのそれぞれに、対応するTMDSデータチャネルを識別するための識別情報、(例えば番号など)を付加する。この実施の形態において、モバイルフォーン100は、各TMDSラインデータのコントロール期間に上述の識別情報を挿入する。
テレビ受信機200は、複数系列のデータを受信する。テレビ受信機200は、各系列のデータがそれぞれ対応するTMDSデータチャネルを、付加されている識別情報に基づいて判断する。そして、テレビ受信機200は、その判別結果に基づいて、複数系列のデータを合成して、ビデオやオーディオなどのコンテンツデータを得る。
[モバイルフォーンおよびテレビ受信機の構成]
図2は、モバイルフォーン100の構成例を示している。モバイルフォーン100は、制御部としてのCPU101、ユーザ操作部102、表示制御部103、表示部104、3G/4Gモデム部105、カメラ部106、記録再生部107、送信処理部108、MHL送信部109、MHL端子(レセプタクル)110および電源部111を有している。
CPU101は、モバイルフォーン100の各部の動作を制御する。ユーザ操作部102および表示部104は、ユーザインタフェースを構成する。ユーザ操作部102は、CPU101に接続されている。ユーザ操作部102は、モバイルフォーン100の図示しない筐体に配置されたキー、釦、ダイアル、スイッチ、あるいは表示部104の表示面に配置されたタッチパネル、あるいはマウスやキーボード、あるいはカメラで検出するジェスチャ入力部、あるいはマイクロホンで検出する音声入力部、さらにはリモートコントロールの送受信機等で構成される。
表示制御部103は、表示部104における表示を制御する。表示部104は、例えば、LCD(Liquid Crystal Display)、有機EL(Organic Electro-Luminescence)パネル等で構成されている。なお、この実施の形態では、CPU101の他に表示制御部103を有する例を示した。しかし、表示部104における表示をCPU101が直接制御するようにしてもよい。また、CPU101と表示制御部103は、1つのチップになっていても、複数コアであってもよい。電源部111は、モバイルフォーン100の各部に電源を供給する。この電源部111は、AC電源であっても、電池(蓄電池、乾電池)であってもよい。
3G/4Gモデム105は、携帯電話通信を行う。カメラ部106は、動画、静止画の撮像を行う。記録再生部107は、例えば、内蔵メモリ(不揮発性メモリ)、あるいはメモリカード等の記録媒体にドライブして記録再生(書き込み読み出し)を行う。この記録再生部107は、モデム部105を通じて行われる通話の記録再生を行う。
また、この記録再生部107は、モデム部105を通じて取得される動画、静止画の画像データ、音声データの記録再生、カメラ部(マイクロホンを含む)106で撮像されて得られる動画、静止画の画像データ、音声データの記録再生等を行う。なお、記録再生部107では、カメラ部106で撮像されて得られた動画、静止画の画像データに対して、データ圧縮のためのコーデック処理も行う。
ユーザは、ユーザ操作部102から指示することで、記録再生部107における記録媒体内の記録内容を、コンテンツリストとして、表示部104に表示させることができる。また、このコンテンツリスト中の任意の1つをユーザがユーザ操作部102から指定すると、記録再生部107において記録媒体からその指定されたコンテンツのデータが再生され、送信処理部108に転送される。
なお、3G/4Gモデム105で取得されたビデオデータ、オーディオデータ、あるいはカメラ部106で得られたビデオデータ、オーディオデータを、リアルタイムで送信する場合も考えられる。その場合、それらのコンテンツデータは、図示していないが、直接、送信処理部108に転送される。また、メモリカードを他のデバイスに挿入してコンテンツデータを書き込んだ後、記録再生部107に装着して、送信処理部108に送信する場合も考えられる。
送信処理部108は、記録再生部107から供給され、テレビ受信機200に送信するための画像データの解像度、フレームレート、Color Depth 、Color Space などを、MHL送信部109におけるリンク設定の内容に合うように処理する。MHL送信部109は、MHL端子110に接続されている。
このMHL送信部109は、MHL規格に準拠した通信により、送信処理部108で処理されたビデオ、オーディオなどのコンテンツデータを、MHL端子110から、MHLケーブル300を介して、テレビ受信機200に、一方向に送信する。この実施の形態において、MHL送信部109は、MHLデータを複数のTMDSラインデータに分配して、複数のTMDSチャネルで送信する。その際、MHL送信部109は、各TMDSラインデータのコントロール期間に、対応するTMDSデータチャネルを識別するための識別情報を付加する。このMHL送信部109の詳細については後述する。
図3は、テレビ受信機200の構成例を示している。テレビ受信機200は、制御部としてのCPU201、ユーザ操作部202、表示制御部203、MHL端子(レセプタクル)204、MHL受信部205、受信処理部206、チューナ207、アンテナ端子208、切り替え部209、表示部210および電源部211を有している。
制御部201は、テレビ受信機200の各部の動作を制御する。ユーザ操作部202は、ユーザインタフェースを構成し、制御部201に接続されている。ユーザ操作部202は、テレビ受信機200の図示しない筐体に配置されたキー、釦、ダイアル、スイッチ、あるいは表示部210の表示面に配置されたタッチパネル、あるいはマウスやキーボード、あるいはカメラで検出するジェスチャ入力部、あるいはマイクロホンで検出する音声入力部、さらにはリモートコントロールの送受信機等で構成される。
表示制御部203は、表示部210における表示を制御する。表示部210は、例えば、LCD(Liquid Crystal Display)、有機EL(Organic Electro-Luminescence)パネル等で構成されている。なお、この実施の形態では、CPU201の他に表示制御部203を有する例を示した。しかし、表示部210における表示をCPU201が直接制御するようにしてもよい。また、CPU201と表示制御部203は、1つのチップになっていても、複数コアであってもよい。電源部211は、テレビ受信機200の各部に電源を供給する。この電源部211は、AC電源であっても、電池(蓄電池、乾電池)であってもよい。
MHL受信部205は、MHL端子204に接続されている。このMHL受信部205は、MHL規格に準拠した通信により、MHLケーブル300を介して接続されているモバイルフォーン100のMHL送信部109から一方向に送信されてくるビデオやオーディオなどのコンテンツデータを受信する。MHL受信部205は、受信したビデオデータを受信処理部206に送る。なお、MHL受信部205が受信したオーディオデータは、図示していない音声データ用の受信処理部に供給される。
この実施の形態において、このMHL受信部205は、複数のTMDSラインデータを受信する。その際、MHL受信部205は、各TMDSラインデータのコントロール期間に挿入されている識別情報に基づいて、各TMDSラインデータが対応するTMDSデータチャネルを判別し、その判別結果に基づいて各TMDSラインデータを必要に応じて並べ替えて合成し、送信側におけると同様のMHLデータを得る。このMHL受信部205の詳細については後述する。
受信処理部206は、MHL受信部205で得られたビデオデータに対して、スケーリング処理(解像度変換処理)、ガンマ補正などの必要な処理を施す。受信処理部206は、処理後の画像データを、切り替え部209に供給する。
チューナ207は、BS放送、地上波デジタル放送等を受信する。このチューナ207には、アンテナ端子208に接続された図示しないアンテナで捕らえられた放送信号が供給される。このチューナ207は、放送信号に基づいて、所定の番組のビデオデータ(映像信号)およびオーディオデータを取得する。切り替え部209は、受信処理部206で処理されたビデオデータまたはチューナ207で取得されたビデオデータを選択的に取り出し、表示部210に供給する。
図2に示すモバイルフォーン100および図3に示すテレビ受信機200の動作を簡単に説明する。モバイルフォーン100の記録再生部207で再生されたコンテンツデータ、あるいは3G/4Gモデム105で取得されたコンテンツデータ、あるいはカメラ部106で得られたコンテンツデータは、送信処理部108に供給される。
この送信処理部108では、テレビ受信機200に送信するための画像データの解像度、フレームレート、Color Depth 、Color Space などが、MHL送信部109におけるリンク設定の内容に合うように処理される。MHL送信部109では、送信処理部108で処理されたコンテンツデータが、MHL規格に準拠した通信により、MHL端子110から、MHLケーブル300を介して、テレビ受信機200に、一方向に送信される。
テレビ受信機200のMHL受信部205では、MHL規格に準拠した通信により、MHLケーブル300を介して接続されているモバイルフォーン100のMHL送信部109から一方向に送信されてくるコンテンツデータが受信される。MHL受信部205で受信された画像データは、受信処理部206に送られ、スケーリング処理(解像度変換処理)、ガンマ補正などの必要な処理が施される。処理後のビデオデータは、切り替え部209に供給される。
チューナ207では、BS放送、地上波デジタル放送等が受信される。このチューナ207で取得されたビデオデータは、切り替え部209に供給される。切り替え部209では、受信処理部206で処理されたビデオデータまたはチューナ207で取得されたビデオデータが選択的に取り出され、表示部210に供給されて、画像表示が行われる。
[MHL送信部、MHL受信部の構成]
図4は、図2のモバイルフォーン100のMHL送信部109と、図3のテレビ受信機200のMHL受信部205の構成例を示している。MHL送信部109はトランスミッタ(Transmitter)を備え、MHL受信部205はレシーバ(Receiver)を備えている。MHL送信部109およびMHL受信部205は、(X+1)本(Xは1以上の整数)のTMDSデータチャネルと、CBUS(eCBUS)、VBUSで接続される。
各TMDSデータチャネルは、一対のツイストペアでAVストリーム、および、その同期信号(MHLクロック)を伝送する。CBUSは、DDCコマンドとMSCコマンドを双方向に伝送するために使用する。DDCコマンドは、EDID読出しやHDCPの認証に使用する。また、MSCコマンドは、EDID読出し制御、各種レジスタのリードライト、リモコン制御等に使用する。VBUSは、MHLシンク機器からMHLソース機器、またはMHLソース機器からMHLシンク機器に+5Vの電源を供給するために使用する。
図5は、MHL送信部109のトランスミッタの詳細な構成例を示している。トランスミッタは、MHLデータ生成部121と、分配部122と、TMDSエンコーダ123-0〜123-Xと、シライアライザ124-1〜124-Xを有している。MHLデータ生成部121は、ビデオデータ、オーディオデータ、コントロール信号などからMHLデータを生成する。
図6は、MHLデータ構造の概念図を示している。この図6は、TMDSデータチャネル#0〜#Xにおいて、横×縦がBピクセル×Aラインの画像データが伝送される場合の、各種の伝送データの区間を示している。TMDSデータチャネルで伝送データが伝送されるビデオフィールド(Video Field)には、伝送データの種類に応じて、3種類の区間が存在する。この3種類の区間は、ビデオデータ区間(Video Data period)、データアイランド区間(Data Island period)、およびコントロール区間(Control period)である。
ここで、ビデオフィールド区間は、一の垂直同期信号の立ち上がりエッジ(active edge)から次の垂直同期信号の立ち上がりエッジまでの区間である。このビデオフィールド区間は、水平ブランキング期間(horizontal blanking)、垂直ブランキング期間(vertical blanking)、並びに、アクティブビデオ区間(Active Video)に分けられる。このアクティブビデオ区間は、ビデオフィールド区間から、水平ブランキング期間および垂直ブランキング期間を除いた区間であるビデオデータ区間は、アクティブビデオ区間に割り当てられる。このビデオデータ区間では、非圧縮の1画面分の画像データを構成するBピクセル(画素)×Aライン分の有効画素(Active pixel)のデータが伝送される。
データアイランド区間およびコントロール区間は、水平ブランキング期間および垂直ブランキング期間に割り当てられる。このデータアイランド区間およびコントロール区間では、補助データ(Auxiliary data)が伝送される。すなわち、データアイランド区間は、水平ブランキング期間と垂直ブランキング期間の一部分に割り当てられている。このデータアイランド区間では、補助データのうち、制御に関係しないデータである、例えば、オーディオデータのパケット等が伝送される。コントロール区間は、水平ブランキング期間と垂直ブランキング期間の他の部分に割り当てられている。このコントロール区間では、補助データのうちの、制御に関係するデータである、例えば、垂直同期信号および水平同期信号、制御パケット等が伝送される。
図5に戻って、分配部122は、MHLデータ生成部121で生成されるMHLデータを分配して、TMDSデータチャネル0〜Xで伝送する0〜XのTMDSラインデータを生成する。この際、分配部122は、各TMDSラインデータのコントロール区間に、対応するTMDSデータチャネルを識別するための識別情報、例えばチャネル番号データを挿入する。
図7は、各TMDSラインデータの構造の概念図を示している。図示のように、コントロール区間に、コントロールデータとして、チャネル番号データと総チャネル数データが挿入される。
TMDSエンコーダ123-0〜123-Xは、それぞれ、0〜XのTMDSラインデータをTMDS信号に変換する。シリアライザ124-0〜124-Xは、それぞれ、0〜XのTMDS信号をシリアル化し、送信信号としての0〜XのTMDSラインデータを得る。
図8は、MHL受信部205のレシーバの詳細な構成例を示している。レシーバは、デシリアライザ221-0〜221-Xと、TMDSデコーダ222-0〜222-Xと、合成部223と、MHLデータ分解部224を有している。デシリアライザ221-0〜221-Xは、それぞれ、受信信号としての(X+1)系列のTMDSラインデータをデシリアル化し、(X+1)系列のTMDS信号に変換する。
TMDSデコーダ222-0〜222-Xは、それぞれ、(X+1)系列のTMDS信号をTMDSラインデータに変換する。合成部223は、(X+1)系列のTMDSラインデータがそれぞれ対応するTMDSデータチャネルを、コントロール区間に挿入されているチャネル番号データに基づいて判別する。そして、合成部223は、判別信号に基づいて、0〜XのTMDSラインデータを必要に応じて並べ替えて合成し、MHLデータを得る。MHLデータ分解部224は、MHLデータを分解して、ビデオデータ、オーディオデータ、コントロール信号などを得る。
図9のフローチャートは、MHL送信部109およびMHL受信部205におけるMHLデータの送受信処理を概略的に示している。ステップST1において、処理を開始する。そして、ステップST2において、MHL送信部109およびMHL受信部205は、CBUSによる通信を行って、MHLリンクを確立する。
次に、ステップST3において、MHL送信部109は、MHLデータを複数のTMDSデータチャネルに対応した複数系列のTMDSラインデータに分配し、各TMDSラインデータにID(チャネル番号データ+総チャネル数データ)を挿入して、送信する。
次に、ステップST4において、MHL受信部205は、受信された各TMDSラインデータに挿入されているIDに基づいて、それぞれが対応するTMDSデータチャネルを判別し、その判別結果に基づいて各TMDSラインデータを必要に応じて並べ替えて合成し、MHLデータを得る。ステップST4の処理の後、ステップST5において、処理を終了する。
上述したように、図1に示す画像表示システム10においては、モバイルフォーン100のMHL送信部109は、MHLデータを複数のTMDSラインデータに分配して、複数のTMDSチャネルで送信する際、MHL送信部109は、各TMDSラインデータのコントロール期間に、対応するTMDSデータチャネルを識別するための識別情報を付加するものである。一方、テレビ受信機200のMHL受信部205は、各TMDSラインデータのコントロール期間に挿入されている識別情報に基づいて、含まれる各系列のデータが対応するTMDSデータチャネルを判別し、その判別結果に基づいて各TMDSラインデータを必要に応じて並べ替えて合成し、MHLデータを得るものである。
従って、図1に示す画像表示システム10においては、リバーシブルコネクタに対応可能となる。例えば、図10(a)に示すように、順方向接続では、MHL送信部の出力(1)から出るTMDSチャネル1に対応したTMDSラインデータ(1)は、MHLソース機器側でレセプタクルのピン(1)、MHLケーブルのプラグのピン(1)を通過し、MHLシンク機器側でMHLケーブルのプラグのピン(1)、レセプタクルのピン(1)を通過して、MHL受信部の入力(1)に入る。MHL受信部は、このTMDSラインデータ(1)を、挿入されているIDからTMDSチャネル1に対応したものと判別し、TMDSチャネル1に対応したTMDSラインデータとして処理する。
また、例えば、図10(b)に示すように、受信側の逆方向接続では、MHL送信部の出力(1)から出るTMDSチャネル1に対応したTMDSラインデータ(1)は、MHLソース機器側でレセプタクルのピン(1)、MHLケーブルのプラグのピン(1)を通過し、MHLシンク機器側でMHLケーブルのプラグのピン(1)、レセプタクルのピン(X)を通過して、MHL受信部の入力(X)に入る。この場合、レセプタクルは、ケーブルのプラグがリバーシブルに接続可能とされている。MHL受信部は、このTMDSラインデータ(1)を、挿入されているIDからTMDSチャネル1に対応したものと判別し、TMDSチャネル1に対応したTMDSラインデータとして処理する。
また、例えば、図10(c)に示すように、送信側の逆方向接続では、MHL送信部の出力(1)から出るTMDSチャネル1に対応したTMDSラインデータ(1)は、MHLソース機器側でレセプタクルのピン(1)、MHLケーブルのプラグのピン(X)を通過し、MHLシンク機器側でMHLケーブルのプラグのピン(X)、レセプタクルのピン(X)を通過して、MHL受信部の入力(X)に入る。この場合、レセプタクルは、ケーブルのプラグがリバーシブルに接続可能とされている。MHL受信部は、このTMDSラインデータ(1)を、挿入されているIDからTMDSチャネル1に対応したものと判別し、TMDSチャネル1に対応したTMDSラインデータとして処理する。
このように、MHL受信部は、入力(1)〜(X)に入る各TMDSラインデータがどのTMDSチャネルに対応したものかをIDに基づいて判別して必要に応じて並べ替えて処理するので、MHL受信部の入力(1)〜(X)にTMDSラインデータ(1)〜(X)が正しく入らなくても、MHLデータの復元を適切に行うことができる。
また、図1に示す画像表示システム10においては、基板設計の効率化を図ることができる。この場合、例えば、図11に示すような基板形状、コネクタの配置が決められているMHLシンク機器があり、このMHLシンク機器に、例えば、図12に示すMHLデバイス(MHL受信部)(A),(B),(C)を配置する場合を考える。MHLデバイス(A)を配置する場合、図13に示すように、コネクタからデバイスまで最短パターンを配置することができ、良好な特性を得ることができる。
また、MHLデバイス(B)を配置する場合、通常であれば、図14に示すように、配線パターンが複雑になり、良好な特性を得るために多層基板を使用し、あるいは特性の良い基板を使う必要がある。しかし、本技術を使用することで、各TMDSラインデータがMHLデバイスのどの入力に入るかは問題でなくなることから、図15に示すように、最短のパターンで設計することができる。
また、MHLデバイス(C)を配置する場合、通常であれば、図16に示すように、クロスポイントが生じるパターン設計となり、良好な特性を得るために、多層基板、特性の良い基板を使用する必要が生じる。しかし、本技術を使用することで、各TMDSラインデータがMHLデバイスのどの入力に入るかは問題でなくなることから、図17に示すように、最短のパターンで設計することができる。
<2.変形例>
なお、上述実施の形態においては、1つのコンテンツデータをTMDSデータチャネル0〜Xで送受信する例を示した。しかし、TMDSデータチャネル0〜Xを複数組に分割し、複数のコンテンツデータを並行して送受信する構成も考えられる。
また、上述実施の形態においては、MHLソース機器とMHLシンク機器とがMHLのデジタルインタフェースで接続される例を示した。しかし、本技術は、送信装置と受信装置とがHDMI(High-Definition Multimedia Interface)などのその他のデジタルインタフェースで接続される場合にも同様に適用できる。なお、「HDMI」、「MHL」は、登録商標である。
また、本技術は、以下のような構成を取ることもできる。
(1)複数のデータチャネルにそれぞれ対応した複数系列のデータを伝送路を介して外部機器に送信する送信部と、
上記複数系列のデータのそれぞれに、対応するデータチャネルを識別するための識別情報を付加する情報付加部を備える
送信装置。
(2)上記データチャネルは、TMDSデータチャネルであり、
上記情報付加部は、
各TMDSラインデータのコントロール期間に、上記対応するデータチャネルを識別するための識別情報を挿入する
前記(1)に記載の送信装置。
(3)上記対応するデータチャネルを識別するための識別情報には、総データチャネル数の情報が付加されている
前記(1)または(2)に記載の送信装置。
(4)一つまたは複数のコンテンツデータから上記複数系列のデータを得るデータ処理部をさらに備える
前記(1)から(3)のいずれかに記載の送信装置。
(5)上記複数系列のデータをそれぞれ出力する複数のピンを持つレセプタクルをさらに備え、
上記レセプタクルは、上記伝送路を構成するケーブルのプラグがリバーシブルに接続可能とされている
前記(1)から(4)のいずれかに記載の送信装置。
(6)送信部により複数のデータチャネルにそれぞれ対応した複数系列のデータを伝送路を介して外部機器に送信する送信ステップと、
上記複数系列のデータのそれぞれに、対応するデータチャネルを識別するための識別情報を付加する情報付加ステップを有する
送信方法。
(7)外部機器から伝送路を介して、それぞれ対応するデータチャネルを識別するための識別情報が付加されている、複数系列のデータを受信する受信部と、
上記複数系列のデータに対応するデータチャネルを、それぞれ上記挿入されている識別情報に基づいて判別する判別部を備える
受信装置。
(8)上記データチャネルは、TMDSデータチャネルであり、
上記識別情報は、TMDSラインデータのコントロール期間に挿入されている
前記(7)に記載の受信装置。
(9)上記複数系列のデータを上記判別結果に基づいて合成し、一つまたは複数のコンテンツデータを得るデータ処理部をさらに備える
前記(7)または(8)に記載の受信装置。
(10)上記複数系列のデータをそれぞれ入力する複数のピンを持つレセプタクルをさらに備え、
上記レセプタクルは、上記伝送路を構成するケーブルのプラグがリバーシブルに接続可能とされている
前記(7)から(9)のいずれかに記載の受信装置。
(11)受信部により、外部機器から伝送路を介して、それぞれ対応するデータチャネルを識別するための識別情報が付加されている、複数系列のデータを受信する受信ステップと、
上記複数系列のデータに対応するデータチャネルを、それぞれ上記挿入されている識別情報に基づいて判別する判別ステップを有する
受信方法。
10・・・画像表示システム
100・・・モバイルフォーン
101・・・CPU
102・・・ユーザ操作部
103・・・表示制御部
104・・・表示部
105・・・3G/4Gモデム部
106・・・カメラ部
107・・・記録再生部
108・・・送信処理部
109・・・MHL送信部
110・・・MHL端子
111・・・電源部
121・・・MHLデータ生成部
122・・・分配部
123-1〜123-X・・・TMDSエンコーダ
124-1〜124-X・・・シリアライザ
200・・・テレビ受信機
201・・・CPU
202・・・ユーザ操作部
203・・・表示制御部
204・・・MHL端子
205・・・MHL受信部
206・・・受信処理部
207・・・チューナ
208・・・アンテナ端子
209・・・切り替え部
210・・・表示部
211・・・電源部
221-1〜221-X・・・デシリアライザ
222-1〜222-X・・・TMDSデコーダ
223・・・合成部
224・・・MHLデータ分解部
300・・・MHLケーブル

Claims (9)

  1. 複数のデータチャネルにそれぞれ対応した複数系列のデータを伝送路を介して外部機器に送信する送信部と、
    上記複数系列のデータのそれぞれに、対応するデータチャネルを識別するための識別情報を付加する情報付加部を備え
    上記データチャネルは、TMDSデータチャネルであり、
    上記情報付加部は、
    各TMDSラインデータのコントロール期間に、上記対応するデータチャネルを識別するための識別情報を挿入す
    送信装置。
  2. 上記対応するデータチャネルを識別するための識別情報には、総データチャネル数の情報が付加されている
    請求項1に記載の送信装置。
  3. 一つまたは複数のコンテンツデータから上記複数系列のデータを得るデータ処理部をさらに備える
    請求項1に記載の送信装置。
  4. 上記複数系列のデータをそれぞれ出力する複数のピンを持つレセプタクルをさらに備え、
    上記レセプタクルは、上記伝送路を構成するケーブルのプラグがリバーシブルに接続可能とされている
    請求項1に記載の送信装置。
  5. 送信部により複数のデータチャネルにそれぞれ対応した複数系列のデータを伝送路を介して外部機器に送信する送信ステップと、
    上記複数系列のデータのそれぞれに、対応するデータチャネルを識別するための識別情報を付加する情報付加ステップを有し、
    上記データチャネルは、TMDSデータチャネルであり、
    上記情報付加ステップでは、
    各TMDSラインデータのコントロール期間に、上記対応するデータチャネルを識別するための識別情報を挿入する
    送信方法。
  6. 外部機器から伝送路を介して、それぞれ対応するデータチャネルを識別するための識別情報が付加されている、複数系列のデータを受信する受信部と、
    上記複数系列のデータに対応するデータチャネルを、それぞれ上記挿入されている識別情報に基づいて判別する判別部を備え
    上記データチャネルは、TMDSデータチャネルであり、
    上記識別情報は、TMDSラインデータのコントロール期間に挿入されてい
    受信装置。
  7. 上記複数系列のデータを上記判別結果に基づいて合成し、一つまたは複数のコンテンツデータを得るデータ処理部をさらに備える
    請求項に記載の受信装置。
  8. 上記複数系列のデータをそれぞれ入力する複数のピンを持つレセプタクルをさらに備え、
    上記レセプタクルは、上記伝送路を構成するケーブルのプラグがリバーシブルに接続可能とされている
    請求項に記載の受信装置。
  9. 受信部により、外部機器から伝送路を介して、それぞれ対応するデータチャネルを識別するための識別情報が付加されている、複数系列のデータを受信する受信ステップと、
    上記複数系列のデータに対応するデータチャネルを、それぞれ上記挿入されている識別情報に基づいて判別する判別ステップを有し、
    上記データチャネルは、TMDSデータチャネルであり、
    上記識別情報は、TMDSラインデータのコントロール期間に挿入されてい
    受信方法。
JP2016506404A 2014-03-03 2015-02-16 送信装置、送信方法、受信装置および受信方法 Active JP6500890B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014041034 2014-03-03
JP2014041034 2014-03-03
PCT/JP2015/054086 WO2015133249A1 (ja) 2014-03-03 2015-02-16 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
JPWO2015133249A1 JPWO2015133249A1 (ja) 2017-04-06
JP6500890B2 true JP6500890B2 (ja) 2019-04-17

Family

ID=54055059

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016506404A Active JP6500890B2 (ja) 2014-03-03 2015-02-16 送信装置、送信方法、受信装置および受信方法

Country Status (4)

Country Link
US (1) US20170012798A1 (ja)
JP (1) JP6500890B2 (ja)
CN (1) CN106031187B (ja)
WO (1) WO2015133249A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10512074B2 (en) * 2015-08-31 2019-12-17 Intel IP Corporation Uplink (UL) multi-user (MU) feedback using high-efficiency (HE) long training fields in a wireless local-area network
US20180183899A1 (en) * 2016-12-23 2018-06-28 Intel Corporation Transport agnostic display protocol
US11093197B2 (en) * 2017-07-31 2021-08-17 Stmicroelectronics, Inc. System and method to increase display area utilizing a plurality of discrete displays
US10535493B2 (en) * 2017-10-10 2020-01-14 Kla-Tencor Corporation Photocathode designs and methods of generating an electron beam using a photocathode
US10791003B2 (en) 2017-10-30 2020-09-29 Intel Corporation Streaming on diverse transports
JP7183304B6 (ja) * 2018-05-25 2022-12-20 ライン プラス コーポレーション 複数のチャネルを利用して動的ビットレートのビデオを配信および再生する方法およびシステム
TWI783588B (zh) * 2021-07-23 2022-11-11 瑞昱半導體股份有限公司 可應用於在顯示裝置中進行多畫面處理之縮放器積體電路

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4383316A (en) * 1980-04-14 1983-05-10 Bell Telephone Laboratories, Incorporated Apparatus for and method of collating partitioned time disordered synchronous data streams
US7292604B2 (en) * 1996-09-05 2007-11-06 The Directv Group, Inc. Device and method for efficient delivery of redundant national television signals
CN100334880C (zh) * 1997-03-17 2007-08-29 松下电器产业株式会社 发送和接收动态图像数据的方法及其设备
US6307543B1 (en) * 1998-09-10 2001-10-23 Silicon Image, Inc. Bi-directional data transfer using two pair of differential lines as a single additional differential pair
US7158593B2 (en) * 2001-03-16 2007-01-02 Silicon Image, Inc. Combining a clock signal and a data signal
US7215679B2 (en) * 2001-08-30 2007-05-08 Thomson Licensing Method, apparatus and data structure enabling multiple channel data stream transmission
US7558326B1 (en) * 2001-09-12 2009-07-07 Silicon Image, Inc. Method and apparatus for sending auxiliary data on a TMDS-like link
TWI361615B (en) * 2006-11-30 2012-04-01 Princeton Technology Corp Video and audio data synchronization method and related apparatus for a multimedia interface
EP2183927A4 (en) * 2007-05-14 2014-12-17 Sigma Group Inc WIRELESS MULTIMEDIA SYSTEM
JP5003389B2 (ja) * 2007-09-28 2012-08-15 ソニー株式会社 電子機器および電子機器における制御方法
US9462020B2 (en) * 2008-01-16 2016-10-04 Qualcomm Incorporated Intelligent client: multiple channel switching over a digital broadcast network
JP4645717B2 (ja) * 2008-09-26 2011-03-09 ソニー株式会社 インタフェース回路および映像装置
EP2420013B1 (en) * 2009-04-14 2019-11-13 ATI Technologies ULC Embedded clock recovery
JP5372687B2 (ja) * 2009-09-30 2013-12-18 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP5457465B2 (ja) * 2009-12-28 2014-04-02 パナソニック株式会社 表示装置と方法、送信装置と方法、及び受信装置と方法
US8755431B2 (en) * 2010-01-14 2014-06-17 Silicon Image, Inc. Transmission and detection of multi-channel signals in reduced channel format
JP2011172156A (ja) * 2010-02-22 2011-09-01 Sony Corp コンテンツ再生システム、コンテンツ受信装置、音声再生装置、コンテンツ再生方法およびプログラム
US8559828B2 (en) * 2011-01-22 2013-10-15 Viasat, Inc. Frame formatting for high rate optical communications
US20120269207A1 (en) * 2011-04-22 2012-10-25 Samsung Electronics Co., Ltd. Receiver for receiving and displaying a plurality of streams through separate routes, method for processing the plurality of streams and transmitting method thereof
JP5278503B2 (ja) * 2011-06-27 2013-09-04 ソニー株式会社 情報送信装置、情報送信方法、および情報送受信システム
US9293876B2 (en) * 2011-11-07 2016-03-22 Apple Inc. Techniques for configuring contacts of a connector
WO2013122387A1 (en) * 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transceiving system, data transmitting method, and data receiving method
WO2013122385A1 (en) * 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transreceiving system, data transmitting method, data receiving method and data transreceiving method
US8858262B2 (en) * 2012-12-04 2014-10-14 Genesis Technology Usa, Inc. F-connector with integrated surge protection

Also Published As

Publication number Publication date
WO2015133249A1 (ja) 2015-09-11
CN106031187B (zh) 2019-12-24
US20170012798A1 (en) 2017-01-12
CN106031187A (zh) 2016-10-12
JPWO2015133249A1 (ja) 2017-04-06

Similar Documents

Publication Publication Date Title
JP6500890B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP5003389B2 (ja) 電子機器および電子機器における制御方法
US8359628B2 (en) Display device and transmitting device
JP4835568B2 (ja) 表示装置、表示装置におけるデータ送信方法、送信装置、送信装置におけるデータ受信方法
JP5916771B2 (ja) 接続デバイスによる使用のためのマルチメディア・データストリームの変換
JP5386984B2 (ja) 送信装置、送信装置における映像信号送信方法、受信装置および受信装置における映像信号受信方法
JP5428186B2 (ja) 電子機器
CN102763423B (zh) 提供数据链路完整性的消息传送
JP2010073054A (ja) 画像表示装置、コネクタ表示方法、伝送路状態検出装置、伝送路状態検出方法および半導体集積回路
KR20170028165A (ko) 영상처리장치 및 그 제어방법
JP2009272791A (ja) 送信装置、情報送信方法、受信装置および情報処理方法
US8001289B2 (en) Digital audio/video apparatus and method that can perform additional operations
US20080281990A1 (en) Expansion device adapted for use with a portable electronic device
US8959257B2 (en) Information processing apparatus and information processing method
US20150040158A1 (en) Receiving device, transmitter and transmitting/receiving system
US20140379941A1 (en) Receiving device, transmitting device and transmitting/receiving system
WO2015174357A1 (ja) レセプタクル、プラグ、送信装置、送信装置におけるデータ送信方法、受信装置および受信装置におけるデータ受信方法
US20150029398A1 (en) Information processing apparatus and information processing method for outputting a charging status
US10460646B2 (en) Display system, display device, electronic apparatus, and image signal transmission method for displaying an original image based on combining divided image signals
US20150032912A1 (en) Information processing apparatus and information processing method
KR20160089824A (ko) 디지털 비디오 레코더를 이용한 실시간 원격 모니터링 및 재생 시스템 및 그 방법
JP5910660B2 (ja) 送信装置および情報処理方法
WO2014199494A1 (ja) 送信装置、受信装置、及び送受信システム
KR20130076675A (ko) 디스플레이장치, 이에 접속되는 외장형 주변장치 및 그 영상표시방법
KR20150085723A (ko) Aux 신호 동기화 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190304

R151 Written notification of patent or utility model registration

Ref document number: 6500890

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151