JP6440509B2 - 送信装置、受信装置、送信方法及び受信方法 - Google Patents

送信装置、受信装置、送信方法及び受信方法 Download PDF

Info

Publication number
JP6440509B2
JP6440509B2 JP2015014613A JP2015014613A JP6440509B2 JP 6440509 B2 JP6440509 B2 JP 6440509B2 JP 2015014613 A JP2015014613 A JP 2015014613A JP 2015014613 A JP2015014613 A JP 2015014613A JP 6440509 B2 JP6440509 B2 JP 6440509B2
Authority
JP
Japan
Prior art keywords
bits
value
additional information
data
pixel clock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015014613A
Other languages
English (en)
Other versions
JP2016139981A (ja
Inventor
鈴木 伸明
伸明 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Visual Solutions Corp
Original Assignee
Toshiba Visual Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Visual Solutions Corp filed Critical Toshiba Visual Solutions Corp
Priority to JP2015014613A priority Critical patent/JP6440509B2/ja
Priority to US14/967,239 priority patent/US20160219240A1/en
Publication of JP2016139981A publication Critical patent/JP2016139981A/ja
Application granted granted Critical
Publication of JP6440509B2 publication Critical patent/JP6440509B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006Details of the interface to the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0428Gradation resolution change
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/12Use of DVI or HDMI protocol in interfaces along the display data pipeline
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/18Timing circuits for raster scan displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明の実施形態は、データを効率的に伝送する送信装置、受信装置、送信方法及び受信方法に関する。
DVDプレーヤ、セットトップボックス等の映像送信装置とTV受像機・モニタ等の映像受信装置との間のマルチメディアインターフェースの一例としてHDMI(登録商標)(High Definition Multimedia Interface)規格がある。HDMI出力端子を有する機器をソース機器と称し、HDMI入力端子を有する機器をシンク機器と称する。映像送信装置はソース機器であり、映像受信装置はシンク機器である。また、HDMI入力端子とHDMI出力端子とを有し、ソース機器とシンク機器の両者の機能を有する機器をリピータ機器と称する。
上記したHDMI規格に準じた通信を行うHDMI通信装置では、映像、音声、補助情報を伝送するTMDS(Transition Minimized Differential Signaling)伝送部と、ソース機器をシンク機器あるいはリピータ機器に接続した場合、ソースレディ状態をシンク側の機器に通知するための+5V電源信号伝送部と、シンク機器あるいはリピータ機器において映像情報の受信準備が整ったことを示すシンクレディ状態をソース側機器に通知するためのHPD(Hot Plug Detect)信号を伝送するHPD信号伝送部と、接続されたシンク機器の製品情報や適合する映像フォーマット等のデータであるEDID(Extended Display Identification Data)を伝送するEDID伝送部とを有している。また、機器によっては、シンク機器を認証するためのHDCP(High-bandwidth Digital Content Protection)認証部と、制御・通知コマンドであるCEC(Consumer Electronics Control)を伝送するCEC伝送部とを有している。
特表2005−514873号公報
ところで、高品質のコンテンツを送信するためには、伝送の効率を向上することが求められる。
そこで本発明の実施形態は、伝送効率を向上させることができる通信装置及び通信方法の提供を目的とする。
上記の課題を解決するために、本実施形態の送信装置は、外部装置がサポートする付加情報の種類を示す情報を含む第1性能情報を受信した後に、第1フォーマットに従って、1ピクセルクロックあたりに伝送可能なビット数が第1値である場合であって、前記1ピクセルクロックに対応する画素データのビット数が前記第1値よりも小さい第2値である場合に、前記1ピクセルクロックあたりに伝送可能なビット数のうち、前記画素データの伝送に用いるビット数を前記第2値とし、前記画素データとは異なるデータである付加情報の伝送に用いるビット数を前記第1値と前記第2値の差分に対応するビット数として外部装置に送信し、前記1ピクセルクロックあたりに伝送可能なビット数のうち、前記画素データの伝送に用いるビット数である前記第と前記付加情報の種類を示す情報とを含む第2性能情報を前記外部装置に送信する。また、本実施形態の受信装置は、第1のフォーマットに従って、1ピクセルクロックあたりに伝送可能なビット数が第1値である場合であって、前記1ピクセルクロックに対応する画素データのビット数が前記第1値よりも小さい第2値である場合に、前記1ピクセルクロックあたりに伝送可能がビット数のうち、前記画素データの伝送に用いるビット数を前記第2値とし、前記画素データとは異なるデータである付加情報の伝送に用いるビット数を前記第1値と前記第2値の差分に対応するビット数とするフォーマットをサポートするか否かを示す情報とサポートする前記付加情報の種類を示す情報とを含む第1性能情報を出力した後に、前記第1値である前記1ピクセルクロックあたりのビット数に含まれる前記画素データと前記付加情報と、前記画素データのビット数である前記第2値と前記付加情報の種類を示す情報とを含む第2性能情報を受信し、
前記第2値に基づいて、前記1ピクセルクロックあたりに伝送可能なビット数における前記画素データの位置を特定し、前記画素データと前記付加情報とを抽出する。
実施形態の送信装置及び受信信装置の利用形態例を示す図。 実施形態の送信装置及び受信装置のシステム構成例を示す図。 実施形態の送信装置及び受信装置におけるHDMI伝送に係るシステム構成例を示す図。 実施形態の通信装置が利用するビデオ伝送タイミングフォーマット例を示す図。 実施形態の通信装置が利用するピクセルエンコーディングフォーマット例を示す図。 実施形態の送信装置及び受信装置が出力するデータの構造例を示す図。 実施形態の送信装置による映像送信に係る処理フローを示す図。 実施形態の受信装置による映像受信に係る処理フローを示す図。
以下、図面を参照して実施形態を説明する。
図1は、第1の実施の形態に係るデータ伝送システムの一例を示す全体図である。
このデータ伝送システムでは、本実施の形態においてソース機器となる再生装置100と、シンク機器となる表示装置200とがHDMIケーブル300により接続されている。
再生装置100は、ディスクドライブ101を備え、光学ディスク等に記憶された符号化映像データを再生(デコード)し、デコードした映像データをHDMIケーブル300を介して表示装置100に出力する。表示装置200は、表示部206を備え、受信した映像データを用いて映像を表示する。
図2は再生装置100及び表示装置200のハードウェア構成例を示す。
再生装置100は、ディスクドライブ101、記憶部102、通信部103、デコード部104、HDMI送信部105を備える。101〜105の各構成はハードウェア回路として実現され、図中にて構成の間を繋ぐ線は、基板上の専用線や汎用通信バス等の電気配線を示す。なお、例えばデコード部104等の一部の機能はソフトウェアにより実現されることもあるが、機能がソフトウェアにより実現されていても、該機能がプログラム格納メモリとCPUとを含むハードウェア回路により実現されているとして考えても良い。
ディスクドライブ101は光学ディスクに記録された符号化映像データを読み込んでデコード部103に出力する。また記憶部102は、HDDやSSD等の記憶モジュールであり、録画された符号化映像データやネットワークを介して受信した符号化映像データを記憶する。そして記憶部102は、記憶している符号化映像データをデコード部104に出力する。通信部103は、無線LAN、有線LAN及び移動体通信等のための送受信機であり、通信により符号化映像データを取得する。取得する符号化映像データは、例えばインターネットの公共のページ上に公開された符号化映像データや、VoDサービスのサーバが提供する符号化映像データである。即ち通信部103は、外部機器が記憶する符号化映像データを取得する。そして通信部103は、取得した符号化映像データをデコード部104に出力する。
デコード部104は、入力された符号化映像データ(圧縮映像データ)をデコードし、非圧縮の映像データを生成する。デコード部は、ハードウェアデコーダであっても良いし、あるいは再生装置100がCPUを有する場合はCPUがメモリからデコードプログラムを読み込んで実行しても良い。なお、ここで得られる映像データのフォーマットは様々である。例えば色空間のフォーマットとしては、RGB(RGB4:4:4)、YCbCr4:4:4、YCbCr4:2:2、YCrCb4:2:0等のフォーマットが想定される。なお、HDMI規格において将来的にYCbCr4:1:1が規定されれば、該フォーマットが用いられても良い。RGBフォーマットとしては、R,G,B各要素のデータ量が8ビットのフォーマット、10ビットのフォーマット、12ビットのフォーマット、16ビットのフォーマット等がある。YCbCr4:4:4、YCbCr4:2:2及びYCrCb4:2:0のフォーマットとしては、Y,Cb,Cr各要素のデータ量が8ビットのフォーマット、10ビットのフォーマット、12ビットのフォーマット、16ビットのフォーマット等がある。解像度のフォーマットとしては、640×480、1280×720、1980×1080、3840×2160、4096×2160、7680×4320等が考えられ、フレームレートのフォーマットは、30Hz、50Hz、60Hz等が考えられる。そしてデコード部104は、生成した映像データをHDMI送信部105に出力する。
HDMI送信部105は、デコード部104から入力された映像データを所定の伝送フォーマットの映像信号に変換し、HDMIケーブル300を介して表示装置200に出力する。
表示装置200は、HDMI受信部201、通信部202、チューナ203、信号処理部204、表示処理部205、表示部206を備える。HDMI受信部201は、再生装置100からの映像信号を受信し、受信した映像信号を、表示処理部205が処理可能な形式の映像データに変換して表示処理部205に出力する。通信部202は、無線LAN、有線LAN及び移動体通信等のための送受信機であり、通信により符号化映像データを取得する。取得する符号化映像データは、例えばインターネットの公共のページ上に公開された符号化映像データや、VoDサービスのサーバが提供する符号化映像データである。そして通信部202は、取得した符号化映像データを図示せぬデコード部にデコードさせ、デコードされた映像は表示処理部205に出力される。
チューナ203は、テレビ放送の放送信号を受信する。信号処理部204は、受信された放送信号を処理して映像データに変換し、表示処理部205に出力する。そして表示処理部205は、HDMI受信部201及び信号処理部204から入力された映像データを、表示部206が表示可能な形式の映像信号に変換し、当該映像信号を表示部206に出力する。表示部206は入力された映像信号を用いて映像を表示する。
なお表示処理部205は、セレクタを含み、HDMI受信部201、通信部202、チューナ203で受信した映像のうち、ユーザ操作に応じた1つの映像を選択して表示部206に出力しても良い。あるいはセレクタは、ユーザ操作に応じて複数の映像を選択し、表示部206に所謂マルチ画面表示として複数映像を表示させても良い。このときユーザ操作は、例えばリモートコントローラからの操作に応じて映像を選択する。或いは、図示せぬスマートフォンやタブレットにインストールされたリモートコントローラアプリケーションに対するユーザ操作に応じた操作信号を、無線/有線LAN経由で通信部202が受信し、当該操作信号に応じてセレクタが映像を選択しても良い。
また表示処理部205は、表示部206に出力する映像データと同じ映像データを通信部202に出力しても良い。この場合に通信部202は、入力された映像データを外部装置に送信する。なお表示処理部205は、図示せぬエンコード部に映像データを出力してエンコードさせ、通信部202は、エンコードされた映像を外部装置に送信しても良い。
図3は再生装置100のHDMI送信部105と、表示装置200のHDMI受信部201のシステム構成を示す図である。
HDMI送信部104は、TMDSエンコーダ151、マイクロコンピュータ(マイコン)152、通信部153等を備える。また、HDMI受信部201は、TMDSデコーダ251、マイクロコンピュータ(マイコン)252、EDID格納メモリ253等を備える。
TMDSエンコーダ151には、RGB、YCbCr4:4:4、YCbCr4:2:2、YCbCr4:2:0及びYCbCr4:1:1等のフォーマットの映像データが入力される。そしてTMDSエンコーダ151は、入力された映像データを用い、映像データが所定の位置に配置されたデータを生成する。なおTMDSエンコーダ151は、映像データを所定のピクセルエンコーディングフォーマットでエンコードする。そしてTMDSエンコーダ151は、生成したデータを、HDMIインターフェースのチャンネル0(CH0)、チャンネル1(CH1)、チャンネル2(CH2)の夫々に出力する。そして不図示の差動アンプが、TMDSエンコーダ151から出力されたデータを差動信号に変換し、チャンネル0〜2の伝送ラインに出力する。なお差動アンプはチャンネル0〜2の伝送ラインの夫々に対応するように設けられる。そして当該差動信号は、チャンネル0〜2の伝送ラインを介してHDMI受信部201に伝送される。また差動アンプは、クロックチャンネル(CK)にTMDSクロックを出力する。なおTMDSデコーダ251は、TMDSクロックと同期したタイミングで映像の画素データを出力する。
HDMI受信部203には、チャンネル0〜2の夫々に対して差動アンプ(不図示)が設けられている。そして当該差動アンプは、チャンネル0〜2からの差動信号を受信すると、当該差動信号をデータに変換してTMDSデコーダ251に出力する。そしてTMDSデコーダ251は、これらデータをデコードして、表示処理部205に出力する。
再生装置100のマイコン152は、CEC(Consumer Electronics Control)線及びHPD(Hot Plug Detect)線によりシンク機器のマイコン252と接続される。そしてマイコン152及びマイコン252は、機器間の相互制御を行うための情報をCEC線を介して伝送する。またマイコン252は、PW+5V線を介してHDMI送信部105の電源ONの通知を受け、HDMI受信部201でのHDMI信号の受信の準備が完了すると、信号伝送準備完了の旨をHPD線を介してHDMI送信部105に通知する。
マイコン152の通信部153は、DDC線を介してシンク機器のEDID(Extended Display Identification Data)格納メモリ253と接続される。そして通信部153は、EDID格納メモリ253からEDIDデータを読み出す。
図4は、HDMI送信部105が送信するデータにおけるデータ配置例を示す。ここでは、縦横の画素数が3840×2160の映像を伝送する際の例を示している。HDMI送信部105は、映像領域とブランキング領域とを含むデータを送信する。映像領域には、図5で後述するピクセルエンコーディングフォーマットの映像データ(画素データ)が配置される。なお後述するように、映像領域には付加情報も配置される。垂直ブランキング領域VB(Vertical Blanking)及び水平ブランキング領域HB(Horizontal Blanking)には、表示装置200を制御するための情報、音声データ、及び伝送中の映像のフォーマットを通知するためのInfoFrame等が配置される。
図5(A)は、1枚の映像フレームの各画素に対して概念的な番号を付与した図である。これは、図5(B)及び(C)での説明のための例示である。
図5(B)は、RGB4:4:4の映像を伝送するためのピクセルエンコーディングフォーマットの例を示す。図4の映像領域には、このようなピクセルエンコーディングフォーマットにより映像の画素データが格納される。このフォーマットでは、TMDSクロック1.5個(1.5周期)毎に、1チャンネルで1つのピクセルクロックが伝送される。そしてチャンネル1〜3の最初のピクセルクロックは、画素P0のRGB要素であるR00、G00、B00の情報を含んでいる。同様に、次のピクセルクロックは、画素P1の要素R01、G01、B01を含む。
この例で挙げるピクセルクロックの格納領域には12ビットの情報が格納可能であり、3チャンネルで36ビット/ピクセルクロックの情報が伝送される。なお、1ピクセルクロックのビット長(ビット数)はこれに限るものではなく、例えば、TMDSクロック1個(1周期)毎に1つのピクセルクロックを伝送すれば8ビット/ピクセルクロック(3チャンネルで24ビット/ピクセルクロック)となり、TMDSクロック2個(2周期)毎に1つのピクセルクロックを伝送すれば16ビット/ピクセルクロック(3チャンネルで48ビット/ピクセルクロック)となる。即ち、HDMI送信部105は、TMDSクロックのクロック速度(クロック周波数)を変更することにより、1ピクセルクロックあたりに伝送できる情報量を変更することができる。なお、1ピクセルクロックあたりの格納領域のビット長(サイズ)を示す情報は、例えばInfoFrameに含まれる。
なお1ピクセルクロックあたりの画素データのビット長が大きくなっても、1ピクセルクロックで伝送される画素数は変わらない。例えばRGB4:4:4フォーマットの映像を12ビット/ピクセルクロックでなく16ビット/ピクセルクロックで伝送する場合、1ピクセルクロック毎に伝送されるRGB要素の数は図5(B)の例と同様である。即ち、16ビット/ピクセルクロックの場合にも、最初のピクセルクロックにはR00、G00、B00の情報が格納され、次のピクセルクロックには、画素P1の要素R01、G01、B01の情報が格納される。
なお、図5(B)ではRGB4:4:4フォーマットを図示しているが、他のフォーマットでは、1ピクセルクロックあたりで伝送される画素データは、例えば特許文献1の図11及び図12の通りとなる。YCbCr4:4:4では、1画素分の画素データが1ピクセルクロックで伝送される。つまり、1つ目のピクセルクロックでは、図5(A)の画素P0の画素データ即ちY00、Cb00、Cr00が伝送され、2つ目のピクセルクロックでは、画素P1の画素データが伝送される。YCbCr4:2:2では、2画素分の画素データが2ピクセルクロックで伝送される。1つめのピクセルクロックでは、Y00とCb00が伝送され、2つ目のピクセルクロックではY01とCr00が伝送される。なお3つ目のピクセルクロックではY02とCb02が伝送され、4つ目のピクセルクロックではY03とCr02が伝送される。また、YCbCr4:2:0やYCbCr4:1:1については特許文献1に図示が無いが、例えば、各ピクセルクロックにおいて、2画素分の画素データ即ち2つのYと1つのCb(又はCr)を伝送することが考えられる。
図5(C)は、各ピクセルクロックに実際の映像の画素データと付加情報とを含めたピクセルエンコーディングフォーマットを示す例である。なお図5(C)のフォーマットは、各ピクセルクロックに画素データと付加情報とが格納されること以外は、図5(B)のフォーマットと同様である。このピクセルエンコーディングフォーマットでは、各ピクセルクロックのビット長は12ビットであるが、各ピクセルクロックに格納されるR,G,B要素のビット長は10ビットである。即ちこの場合、デコード部104から出力されるRGB4:4:4の映像データのR,G,B要素のビット長は10ビットである。そして、TMDSエンコーダ151は、RGB4:4:4フォーマットの映像の伝送のための格納領域として12ビットを用意して伝送するが、RGB4:4:4の映像の実データ(画素データ)として10ビットのみを格納領域に格納している。残りの2ビット分の領域には付加情報が格納されている。なお、付加情報の先頭に、付加情報であることを示す特定のビットパターンが含まれていても良い。なお、当該ビットパターンは、画素データビットと付加情報ビットとの境界に埋め込まれるとともに境界を示すビットパターンだと考えても良い。
また、TMDSエンコーダ151は、各ピクセルクロックの格納領域に格納される実データ(画素データ)のビット長を示す情報を伝送データに含めるが、これについては図6で説明する。また、付加情報の例としては、映像のコントラスト比等を向上させるためのHigh Dynamic Range処理に用いられるHDR付加情報、音声の高音質化に用いられるオーディオ付加情報、各ベンダーが独自に定義するベンダー定義付加情報、図4で述べたブランキング領域に格納される補助情報(表示装置200を制御するための情報や音声データ)のうちブランキング領域に収まらないサイズの情報(補助情報用の付加情報)、等が挙げられる。
なお図5(B)及び(C)の説明においては、RGB4:4:4フォーマットを例に挙げたが、この説明は、YCbCr4:4:4、YCbCr4:2:2、YCbCr4:2:0及びYCbCr4:1:1フォーマットにも適用される。例えばYCbCr4:2:2を考えると、HEVC等の符号化方式においては10ビットカラーのMain10プロファイルが定義されているが、本実施形態の方式を用いれば、この符号化データのデコードにより得られるYCbCr4:2:2 10ビット/Y要素、10ビット/CbCr要素の映像データを、例えば8ビット/ピクセルクロック・チャンネルで伝送できる。チャンネル1のピクセルクロックにYを8ビット分格納し、チャンネル2のピクセルクロックにCb/Crを8ビット分格納し、チャンネル0のピクセルクロックにYを2ビット分、Cb/Crを2ビット分格納すれば、該ピクセルクロックには4ビット分の空き領域ができ、1ピクセルクロック・3チャンネルあたり4ビットの付加情報を伝送可能である。この場合にHDMI送信部105は、YCbCr4:2:2フォーマットで実映像データ長(実画素データ長)が10ビットの画素データを送信するとHDMI受信部201に通知する。なお、YCbCr4:2:2フォーマットの伝送において8ビット/ピクセルクロック・チャンネルでの伝送がデフォルトとして予めHDMI送信部105及びHDMI受信部201に設定されているならば、HDMI送信部105は、8ビット/ピクセルクロック・チャンネルで伝送する旨をHDMI受信部201に明示的に通知しなくとも良い(但し通知しても良い)。HDMI受信部201は、該通知に基づいて、チャンネル1からY8ビット分を抽出し、チャンネル2からCb/Cr8ビット分を抽出し、チャンネル0からY2ビット分とCb/Cr2ビット分と付加情報4ビット分を抽出する。
図5の説明を言い換えると以下のようになる。HDMI規格においては、所定単位の画素データ(ピクセルクロック)毎に所定のビット長の格納領域(各ピクセルクロックの格納領域)に格納したピクセルエンコーディングフォーマットを用いて伝送することが定められている。即ち、図5(C)のRGB4:4:4の例では、1つのR要素,1つのG要素及び1つのB要素を所定単位として、所定のビット長(12ビット/1ピクセルクロック・1チャンネル)の格納領域に格納したピクセルエンコーディングフォーマットを用いている。また、YCbCr4:4:4では1つのY要素、1つのCb要素及び1つのC要素が所定単位となり、YCbCr4:2:2では1つのY要素及び1つのCb要素(又は1つのCr要素)が所定単位となり、YCbCr4:2:0及びYCbCr4:1:1では2つのY要素及び1つのCb要素(又は1つのCr要素)が所定単位となる。そしてHDMI送信部105は、伝送する画素データの色空間フォーマットを示す情報を例えばInfoFrameに含めて送信することにより、HDMI受信部201に色空間フォーマットを通知できる。
なお格納領域のビット長は、伝送時のHDMI送信部105及びHDMI受信部201の調整により変更されうるが、この点は前述の通りである。HDMI送信部105は、格納領域のビット長を示す情報をInfoFrameに含めて送信することにより、HDMI受信部201に格納領域のビット長を通知しても良い。あるいは、格納領域のビット長とTMDSクロックの速度(周波数)には比例関係があるので、HDMI受信部201は、TMDSクロックの速度に基づいて格納領域のビット長を認識しても良い。あるいは、HDMI受信部201は、格納領域のビット長を示す情報がInfoFrameに含まれない場合、格納領域のビット長が予め定められた通常のビット長であると認識しても良い。
そして本実施形態においてHDMI送信部105は、所定単位の画素データの実際のビット長(図5(C)の例ではR,G,B要素毎に10ビット)よりもビット長の大きな格納領域(図5(C)の例では12ビット/1ピクセルクロック・1チャンネル)となるピクセルエンコーディングフォーマットを用い、各格納領域には実際の画素データだけでなく付加情報(図5(C)の例では2ビット/1チャンネル)を格納する。そしてHDMI送信部105は、画素データの各要素(図5(C)の例ではR要素、G要素、B要素)のビット長を示す情報をHDMI受信部201に送信する。
図6は、本実施形態において利用するEDID及びInfoFrameの例を示す。図6(A)はEDIDのデータ構造例である。
バイト1の0ビット目には、ビット長情報対応フラグ60が格納されている。このフラグ60は、表示装置200又はHDMI受信部201が、HDMI送信部105から送信されるビット長情報63(後述)をサポートしているか否かを示す。このフラグが「対応」を示す場合、表示装置200又はHDMI受信部201は、HDMI送信部105から送信されるビット長情報63を解釈し、各ピクセルクロックに格納された画素データビットのビット長(ビット長)を認識し、各ピクセルクロックから当該ビット分を抽出して画素データとしてデコードできる。このフラグが「非対応」の場合、HDMI受信部201は、各ピクセルクロックの全てのビットを画素データとしてデコードする。
バイト1の1ビット目には、付加情報対応フラグ61が格納される。フラグ61は、表示装置200又はHDMI受信部201が、各ピクセルクロック内の付加情報用領域に格納される付加情報をサポートしているか否かを示す。フラグ61が「対応」を示す場合、即ち、フラグ60とフラグ61が「対応」を示す場合、表示装置200又はHDMI受信部201は、ビット長情報63が示すビット長に基づいて、各ピクセルクロックの格納領域のうち付加情報が格納された領域を認識し、当該付加情報を付加情報としてデコードすることができる。フラグ60が「対応」かつフラグ61が「非対応」の場合、HDMI受信部201は、付加情報をデコードしない或いは付加情報をデコードして破棄する。
バイト2には対応付加情報識別子62が格納される。識別子62は、表示装置200又はHDMI受信部201が何れのタイプの付加情報をサポートしているかを示す。付加情報のタイプとしては前述したとおり、HDR付加情報、オーディオ付加情報、ベンダー定義付加情報、補助情報用の付加情報、等が挙げられる。そして識別子62として、例えば図6(C)の識別子が格納される。識別子62として識別子65が格納されていると、表示装置200又はHDMI受信部201は付加情報をサポートしない。
識別子62として識別子66が格納されていると、表示装置200又はHDMI受信部201はHDR付加情報をサポートする。つまりこの場合、HDMI受信部201は、HDR付加情報を含む映像データを受信すると、画素データとHDR付加情報とをデコードして表示処理部104に出力し、表示処理部104は、入力された画素データとHDR付加情報とを用いて、該付加情報を用いない場合よりもコントラスト比が高い映像を生成する。
識別子62として識別子67が格納されていると、表示装置200又はHDMI受信部201はオーディオ付加情報をサポートする。つまりこの場合、HDMI受信部201は、オーディオ付加情報を含む映像データを受信すると、補助情報内のオーディオデータとオーディオ付加情報をデコードして不図示の音声処理部に出力し、音声処理部は、入力されたオーディオデータとオーディオ付加情報を用いて、高音質の音声を生成する。
同様に、識別子62として識別子68が格納されていると、表示装置200又はHDMI受信部201は補助情報用の付加情報をサポートし、識別子62として識別子69が格納されていると、表示装置200又はHDMI受信部201はベンダー定義の付加情報をサポートする。
図6(B)はHDMI送信部105が送信するInfoFrameのデータ構造例を示す。バイト1の0−3ビット目には、ビット長情報63が格納される。情報63は、図5(C)で説明した画素データビットのビット長を示す。即ち図5(C)のフォーマットでデータを伝送する場合、情報63には10ビットを示す情報が格納される。なおビット長情報63には、画素データビットのビット長ではなく付加情報ビットのビット長を示す情報が格納されても良い。また、ビット長情報63には、画素データビットのビット長を示す情報と付加情報ビットのビット長を示す情報の両方が格納されても良い。
バイト2の0−2ビット目には、付加情報識別子64が格納される。識別子64は、図5(C)に示す付加情報ビットに格納された情報の種類を示す。識別子64としては、例えば図5(C)の識別子65乃至69が格納される。HDMI送信部105が付加情報ビットに有意な情報を格納しない場合、識別子64として識別子65がInfoFrameに格納される。この場合、付加情報ビットは例えば0でパディングされる。HDMI送信部105が付加情報ビットにHDR付加情報を格納する場合、識別子64として識別子66がInfoFrameに格納される。HDMI送信部105が付加情報ビットにオーディオ付加情報を格納する場合、識別子64として識別子67がInfoFrameに格納される。HDMI送信部105が付加情報ビットに補助情報用の付加情報を格納する場合、識別子64として識別子68がInfoFrameに格納される。HDMI送信部105が付加情報ビットにベンダー定義付加情報を格納する場合、識別子64として識別子69がInfoFrameに格納される。また、InfoFrameには、伝送する映像の色空間フォーマットを示す情報と各ピクセルクロックの格納領域のサイズ(ビット長)を示す情報も格納される。例えば図5(C)のピクセルエンコーディングフォーマットでのデータ伝送においては、InfoFrameには、RGB4:4:4フォーマットである旨と、各ピクセルクロックのビット長が12ビットである旨を示す情報が格納される。なおInfoFrameには、1チャンネルあたりのピクセルクロックのビット長でなく、3チャンネル合計のビット長が格納されても良い。この場合InfoFrameには、ビット長が36ビットである旨を示す情報が格納される。また、各ピクセルクロックのビット長を示す情報が格納されない場合もある。この場合、情報が無ければ各ピクセルクロックの格納領域は例えば10ビットであるとのルールが、再生装置100と表示装置200とで予め共有・設定される。
なお図6(A)においては、EDIDにフラグ60、フラグ61、識別子62が格納される例を示したが、EDIDはフラグ61と識別子62を省略してフラグ60のみを格納しても良い。そして同様に、InfoFrameの付加情報識別子64も省略されてよい。このケースにおいては、フラグ60の「有効」が、ビット長情報のサポート有りの旨だけでなく、付加情報のサポート有りの旨とHDR付加情報のサポート有りの旨とを示すと定義し、InfoFrameにビット長情報63に有効な値が格納されていれば、伝送対象の付加情報はHDR付加情報であると定義しても良い。そしてこの定義は再生装置100と表示装置200とで予め共有・設定されている。設定が行われるタイミングとしては、例えば工場出荷時、ファームウェアアップデート時、ユーザ設定時、等が挙げられるが、少なくとも、映像の伝送前のタイミングに予め設定される。なお、ここでは、フラグ60の「有効」がHDR付加情報のサポート有りを示し、ビット長情報63がHDR付加情報の伝送を示すとして説明したが、フラグ60及び情報63は図6(C)の他の付加情報を示しても良い。
図7は再生装置100による処理フロー例を示す。まずHDMI送信部105はEDIDを読み込み、図6(A)のビット長情報対応フラグ60を確認する(S701)。そしてHDMI送信部105は、フラグ60が「対応」を示す場合(S702)、図6(B)のようにビット長情報63と付加情報識別子64とをInfoFrameに格納し(S703)、図5(C)のように画素データと付加情報とをピクセルクロックの格納領域に格納する(S704)。なお図6でも説明したとおり、伝送対象の付加情報をHDMI送信部105とHDMI受信部201とで予め特定している場合には付加情報識別子を省略しても良い。そしてHDMI送信部105は、InfoFrameを図4のブランキング領域に配置し、画素データと付加情報とを含むピクセルクロックのデータを図4の映像領域に配置して、データを出力する(S705)。一方S802においてフラグ60が「非対応」を示す場合、HDMI送信部105は、例えば図5の付加情報ビットに該当する領域に付加情報を含めることなくデータを出力する(S706,S705)。
なお図7においては、付加情報対応フラグ61、対応付加情報識別子62の読み込みと処理が省略されている場合の処理例を説明している。HDMI送信部105及びHDMI受信部201で付加情報対応フラグ61を用いる場合、HDMI送信部105は、S702のYesの後、更に付加情報対応フラグ61を確認し、「対応」であればS703の処理を行い、「非対応」であれば、各ピクセルクロックに付加情報は付加せず、InfoFrameにビット長情報63を付加してデータ出力する。また、HDMI送信部105及びHDMI受信部201で対応付加情報識別子62を用いる場合、HDMI送信部105は、S702のYesの後、更に対応付加情報識別子62を確認し、S704においてはHDMI受信部201がサポートする付加情報を付加する。
また、HDMI送信部105は、S702での判別結果に応じて、ピクセルクロックあたりのビット長を変更しても良い。即ち、伝送対象の映像のビット長が10ビットの場合を例に挙げて説明すると、HDMI送信部105は、S702がYesであれば、ピクセルクロックあたりのビット長が12ビットや16ビットのピクセルエンコーディングフォーマットを用いて2ビットや6ビットの付加情報を含むデータを出力し、S702がNoであれば、10ビットのピクセルクロックのピクセルエンコーディングフォーマットを用いて、各ピクセルクロックに空きの無いデータを出力しても良い。
図8は、表示装置200における処理フロー例を示す。まずHDMI受信部201は、自装置がビット長情報63をサポートするならばビット長情報対応フラグ60を「対応」とし、付加情報をサポートするならば付加情報対応フラグ61を「有効」とし、また自装置がサポートする付加情報の情報を対応付加情報識別子62に格納する。そして、HDMI送信部105が、これらの情報を格納したEDIDを読み込み、該EDIDに従って送信したデータを受信すると、HDMI受信部201は、まずInfoFrameを受信して解析する(S801)。そしてHDMI受信部201は、InfoFrameにビット長情報と付加情報識別子とが含まれると(S802のYes)、ビット長情報に基づいて各ピクセルクロック内の画素データの位置を特定し、付加情報識別子に基づいて付加情報の内容を特定する(S803)。なお図6で前述したとおり、伝送対象の付加情報をHDMI送信部105とHDMI受信部201とで予め特定している場合には付加情報識別子が省略されていても良く、その場合、HDMI受信部201は、ビット長情報の有無に基づいてS802又はS805の処理を実行する。
S803の処理の例を挙げると、ピクセルクロックの格納領域サイズが12ビットであり、ビット長情報が例えば10ビットを示す場合、HDMI受信部201は、各ピクセルクロックのMSB10ビットを画素データとして特定し、MLB2ビットを付加情報として特定する。
そしてHDMI受信部201は画素データ及び付加情報を抽出してデコードし、HDMI受信部201及び又は他モジュールは、デコードにより得られたデータを用いて映像や音声等を処理する(S804)。例えば付加情報がHDR付加情報であれば、表示処理部205が、デコードされた画素データとデコードされたHDR付加情報とを用いてハイコントラストの映像を生成する。
一方、InfoFrameにビット長情報及び付加情報識別子が無い場合(S802のNo)、HDMI受信部201は、図4の映像領域に配置されたピクセルクロックの格納領域に格納された情報を、全て画素データとして処理する(S805)。
なお図8のフローにおいては、付加情報に特定ビットパターンが含まれない場合を説明しているが、付加情報に特定ビットパターンが含まれる場合、HDMI受信部201は、各ピクセルクロックの格納領域のうち当該ビットパターン以降の領域を付加情報ビットとして特定し、該ビットより前の領域を画素データビットとして特定し、画素データ及び付加情報を抽出しても良い。なお、HDMI受信部201は、付加情報に特定ビットパターンが含まれる場合であっても、InfoFrameに含まれるビット長情報に基づいて付加情報ビットを特定しても良い。即ち、例えば、表示装置200がInfoFrameを解析し当該解析結果を受信処理に反映させるまでに時間を要するような装置であるケースでは、HDMI受信部201は、InfoFrameの解析結果が反映されるまではビットパターンに基づき付加情報ビットを特定し、InfoFrameの解析結果が反映されてからはビット長情報に基づき付加情報ビットを特定すれば良い。
上記の実施形態のおいては、HDMIでの伝送を中心に説明したが、本実施形態の方式は、RGB:4:4:4、YCbCr4:4:4、YCbCr4:2:2、YCbCr4:2:0及びYCbCr4:1:1等の符号化映像データのデコード等により得られる映像データを伝送する規格に対し、本実施形態の方式を適用できる。即ち本実施形態の方式は、例えば、MHL規格、DisplayPort規格、及び、非圧縮で映像を伝送する他の伝送規格に適用可能である。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
100…再生装置、101…読み込み部、102…記憶部、103…通信部、104…デコード部、105…HDMI送信部、151…TMDSエンコーダ、152…マイクロコンピュータ、153…通信部、200…表示装置、201…HDMI受信部、202…通信部、203…チューナ、204…信号処理部、205…表示処理部、206…表示部、251…TMDSデコーダ、252…マイクロコンピュータ、253…EDID格納メモリ、300…HDMIケーブル

Claims (6)

  1. 外部装置がサポートする付加情報の種類を示す情報を含む第1性能情報を受信した後に、
    第1フォーマットに従って、1ピクセルクロックあたりに伝送可能なビット数が第1値である場合であって、前記1ピクセルクロックに対応する画素データのビット数が前記第1値よりも小さい第2値である場合に、前記1ピクセルクロックあたりに伝送可能なビット数のうち、前記画素データの伝送に用いるビット数を前記第2値とし、前記画素データとは異なるデータである付加情報の伝送に用いるビット数を前記第1値と前記第2値の差分に対応するビット数として外部装置へ送信し、
    前記1ピクセルクロックあたりに伝送可能なビット数のうち、前記画素データの伝送に用いるビット数である前記第と前記付加情報の種類を示す情報とを含む第2性能情報を前記外部装置に送信する送信手段を備える送信装置。
  2. 1ピクセルクロックあたりに伝送可能なビット数が第1値である場合であって、前記1ピクセルクロックに対応する画素データのビット数が前記第1値よりも小さい第2値である場合に、前記1ピクセルクロックあたりに伝送可能がビット数のうち、前記画素データの伝送に用いるビット数を前記第2値とし、前記画素データとは異なるデータである付加情報の伝送に用いるビット数を前記第1値と前記第2値の差分に対応するビット数とする第1フォーマットをサポートするか否かを示す情報とサポートする前記付加情報の種類を示す情報とを含む第1性能情報を出力する出力手段と、
    前記第1値である前記1ピクセルクロックあたりのビット数に含まれる前記画素データと前記付加情報と、前記1ピクセルクロックあたりの前記画素データのビット数である前記第2値と前記付加情報の種類を示す情報とを含む第2性能情報を受信する受信部と、
    前記第2値に基づいて、前記1ピクセルクロックあたりに伝送可能なビット数における前記画素データの位置を特定し、前記画素データと前記付加情報とを抽出する抽出部と、を備える受信装置。
  3. 前記出力手段は、EDIDメモリに格納された情報を出力する、請求項に記載の受信装置。
  4. 前記受信部は、送信装置から所定間隔で伝送クロックを受信し、前記送信装置から所定数の前記伝送クロックと対応して送信された前記1ピクセルクロックあたりのデータを受信する、請求項乃至の何れかに記載の受信装置。
  5. 送信装置における送信方法であって、
    外部装置がサポートする付加情報の種類を示す情報を含む第1性能情報を受信した後に、
    第1フォーマットに従って、1ピクセルクロックあたりに伝送可能なビット数が第1値である場合であって、前記1ピクセルクロックに対応する画素データのビット数が前記第1値よりも小さい第2値である場合に、前記1ピクセルクロックあたりに伝送可能なビット数のうち、前記画素データの伝送に用いるビット数を前記第2値とし、前記画素データとは異なるデータである付加情報の伝送に用いるビット数を前記第1値と前記第2値の差分に対応するビット数として外部装置に送信し、
    前記1ピクセルクロックあたりに伝送可能なビット数のうち、前記画素データの伝送に用いるビット数である前記第と前記付加情報の種類を示す情報とを含む第2性能情報を前記外部装置に送信する、送信方法。
  6. 受信装置における受信方法であって、
    第1のフォーマットに従って、1ピクセルクロックあたりに伝送可能なビット数が第1値である場合であって、前記1ピクセルクロックに対応する画素データのビット数が前記第1値よりも小さい第2値である場合に、前記1ピクセルクロックあたりに伝送可能がビット数のうち、前記画素データの伝送に用いるビット数を前記第2値とし、前記画素データとは異なるデータである付加情報の伝送に用いるビット数を前記第1値と前記第2値の差分に対応するビット数とするフォーマットをサポートするか否かを示す情報とサポートする前記付加情報の種類を示す情報とを含む第1性能情報を出力した後に、
    前記第1値である前記1ピクセルクロックあたりのビット数に含まれる前記画素データと前記付加情報と、前記画素データのビット数である前記第2値と前記付加情報の種類を示す情報とを含む第2性能情報を受信し、
    前記第2値に基づいて、前記1ピクセルクロックあたりに伝送可能なビット数における前記画素データの位置を特定し、前記画素データと前記付加情報とを抽出する、
    受信方法。
JP2015014613A 2015-01-28 2015-01-28 送信装置、受信装置、送信方法及び受信方法 Active JP6440509B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015014613A JP6440509B2 (ja) 2015-01-28 2015-01-28 送信装置、受信装置、送信方法及び受信方法
US14/967,239 US20160219240A1 (en) 2015-01-28 2015-12-11 Transmitting Apparatus, Receiving Apparatus, Transmitting Method and Receiving Method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015014613A JP6440509B2 (ja) 2015-01-28 2015-01-28 送信装置、受信装置、送信方法及び受信方法

Publications (2)

Publication Number Publication Date
JP2016139981A JP2016139981A (ja) 2016-08-04
JP6440509B2 true JP6440509B2 (ja) 2018-12-19

Family

ID=56434324

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015014613A Active JP6440509B2 (ja) 2015-01-28 2015-01-28 送信装置、受信装置、送信方法及び受信方法

Country Status (2)

Country Link
US (1) US20160219240A1 (ja)
JP (1) JP6440509B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6853060B2 (ja) * 2017-02-15 2021-03-31 株式会社日立国際電気 映像信号伝送装置
JP2021150790A (ja) * 2020-03-18 2021-09-27 ソニーグループ株式会社 送信装置、送信方法および受信装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101331771B (zh) * 2006-05-16 2010-07-28 索尼株式会社 通信系统、发送设备、接收设备和通信方法
JP4957083B2 (ja) * 2006-06-02 2012-06-20 ソニー株式会社 通信システム、送信装置及び受信装置、通信方法、並びにプログラム
US8565337B2 (en) * 2007-02-07 2013-10-22 Valens Semiconductor Ltd. Devices for transmitting digital video and data over the same wires
CN103988518B (zh) * 2011-11-25 2018-05-15 日立麦克赛尔株式会社 图像传输装置
TWI684364B (zh) * 2013-06-21 2020-02-01 日商新力股份有限公司 送訊裝置、高動態範圍影像資料送訊方法、收訊裝置、高動態範圍影像資料收訊方法及程式

Also Published As

Publication number Publication date
US20160219240A1 (en) 2016-07-28
JP2016139981A (ja) 2016-08-04

Similar Documents

Publication Publication Date Title
EP3096287B1 (en) Apparatus and method for outputting content, and display apparatus
US11297277B2 (en) Communication device and communication method
US10205996B2 (en) Image processing apparatus and image processing method
US20100253856A1 (en) Display apparatus, video signal transmission method for display apparatus, transmitting apparatus, and transmission method of video signal
US9305516B1 (en) Electronic device
KR20100106567A (ko) 모바일 고화질 멀티미디어 인터페이스를 생성하여 용이하게 하기 위한 방법과 장치와 시스템
JP2009253644A (ja) 電子機器および電子機器における制御信号送信方法
US20190238862A1 (en) Encoding device, encoding method, sending device, sending method, receiving device, receiving method, and program
US20170064379A1 (en) Input/output device, relay device for transmitting contents to an external apparatus, and methods thereof
JP6440509B2 (ja) 送信装置、受信装置、送信方法及び受信方法
JP6307856B2 (ja) 送信装置、広色域画像データ送信方法、受信装置、広色域画像データ受信方法およびプログラム
JP5784810B2 (ja) 送信装置、受信装置、送信方法及び受信方法
US10623805B2 (en) Sending device, method of sending high dynamic range image data, receiving device, and method of receiving high dynamic range image data
CN113439445B (zh) 用于启用超高清联盟指定参考模式(uhda-srm)的技术
JP2017079371A (ja) 送信装置及び受信装置
JP5910661B2 (ja) 受信装置および情報処理方法
JP5910660B2 (ja) 送信装置および情報処理方法
JP5808509B2 (ja) 映像受信機器
JP2014135730A (ja) 受信装置および情報処理方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20161017

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20161017

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170316

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180227

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20180423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180426

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181010

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20181018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181120

R150 Certificate of patent or registration of utility model

Ref document number: 6440509

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250