JP4785989B2 - 映像音声送信装置および映像音声受信装置 - Google Patents
映像音声送信装置および映像音声受信装置 Download PDFInfo
- Publication number
- JP4785989B2 JP4785989B2 JP2010532787A JP2010532787A JP4785989B2 JP 4785989 B2 JP4785989 B2 JP 4785989B2 JP 2010532787 A JP2010532787 A JP 2010532787A JP 2010532787 A JP2010532787 A JP 2010532787A JP 4785989 B2 JP4785989 B2 JP 4785989B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- audio
- data
- signal
- packet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000005540 biological transmission Effects 0.000 claims abstract description 206
- 230000005236 sound signal Effects 0.000 claims abstract description 103
- 230000008929 regeneration Effects 0.000 claims description 7
- 238000011069 regeneration method Methods 0.000 claims description 7
- GJWAPAVRQYYSTK-UHFFFAOYSA-N [(dimethyl-$l^{3}-silanyl)amino]-dimethylsilicon Chemical compound C[Si](C)N[Si](C)C GJWAPAVRQYYSTK-UHFFFAOYSA-N 0.000 claims 21
- 238000004891 communication Methods 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 13
- 238000000034 method Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 238000010561 standard procedure Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000012447 hatching Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
- H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
- G09G5/006—Details of the interface to the display terminal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4135—Peripherals receiving signals from specially adapted client devices external recorder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
- G09G2370/045—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller using multiple communication channels, e.g. parallel and serial
- G09G2370/047—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller using multiple communication channels, e.g. parallel and serial using display data channel standard [DDC] communication
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/06—Consumer Electronics Control, i.e. control of another device by a display or vice versa
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/12—Use of DVI or HDMI protocol in interfaces along the display data pipeline
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、映像音声送信装置と映像音声受信装置との間のデータ送受信の技術にかかわり、特にはHDMI(High-Definition Multimedia Interface)規格などによる高速伝送の技術に関する。
本出願は、2008年10月9日に出願された、明細書,図面、特許請求の範囲を含む日本特許出願2008−262627号の全てを、ここに参照として本明細書に組み入れている。
近年、DVD(Digital Versatile Disc)プレーヤ、DVD録画再生装置、ブルーレイディスク録画再生装置、ハードディスクレコーダ、デジタル放送受信機(セットトップボックス)などの映像音声送信装置からTV(テレビジョン受像機)、プロジェクタなどの映像音声受信装置への映像データおよび音声データの高速送信にHDMI通信が使われている。HDMIは、映像データと音声データを1つのケーブルで送信する規格である。この規格では、音声データはパケットデータとして映像データのブランキング期間に乗せて送信されるようになっている。
ところで、HDMI通信においては、送信する映像データが解像度の低いものである場合に、次のような不都合が生じる。解像度が低いとピクセルクロックの周波数も低く、これに起因してブランキング期間に乗せて送信できる音声パケットデータのサイズも限られてしまう。その結果、ある一定以上の高音質の音声パケットデータを送信することができない。また、多チャンネルで送信することもむずかしい。
これに対して、同じピクセルの映像データを2回繰り返すように構成することでピクセルクロックの周波数を2倍にして、高音質の音声データの送信を可能にするという対策がある。しかしながら、ピクセルクロックの周波数を上げると、音声データに対するノイズの増加や消費電力の増加等の問題が生じる(例えば特許文献1参照)。
特許文献2に開示の技術は、解像度の低い映像データを送信する場合に、映像データの空きビットに音声パケットデータを乗せるようにしている。そのため、ピクセルクロックの周波数を上げなくても、高音質の音声パケットデータを送信することが可能となる。
通常の映像データは8ビットを使用する。高ビットの映像(ディープカラー)の場合、2ビット,4ビットまたは8ビット拡張して、10ビット,12ビットまたは16ビットを使用する。ディープカラーは、HDMI端子において転送可能な色数を増やしたもので、HDMI 1.3で盛り込まれた。従来のRGBまたはYCbCr各色8ビットの24ビットカラーでは、色数が不足する場合があった。そこで、10ビット,12ビット,16ビットと拡張した。それぞれ30ビット,36ビット,48ビットになる。Blu-ray Discなどは各色8ビットの24ビットカラーで記録されており、そのまま再生すればディープカラーは必要ない。ただし、再生装置で24ビット以上の色数を使ってより綺麗な映像を作る処理をしているために、ディープカラーが必要になる場合がある。液晶表示装置で同様に色の階調を10ビットなどに拡張したものもある。HDMIのディープカラーとは関係なく、8ビットで入力される映像を10ビット色中の最適な色で表示するものもある。
しかしながら、特許文献1に開示した従来の手法は、拡張したビット(2ビット、4ビットまたは8ビット)に音声データを乗せるものであるため、ディープカラーの映像は送信できない。つまりは、ディープカラーの映像とともに高音質の音声データを送信することはできない。
本発明は、このような事情に鑑みて創作したものであり、送信する映像の解像度、映像のデータビットによらずに、従来よりも多い情報量のより高品質なデータの送受信を可能にすることを主たる目的とする。
(1)本発明の映像音声送信装置は、入力されてくる映像信号及び音声信号をHDMI規格形式に符号化する映像音声符号化部と、
符号化された前記映像信号及び前記音声信号をHDMI規格で規定された差動信号として出力する差動信号出力部とを備え、
前記差動信号出力部は、前記映像音声符号化部によって符号化された前記音声信号を前記音声信号に対応する前記映像信号が送信された後のブランキング期間に、TMDSの各チャンネルのデータラインD4乃至D7の少なくともいずれか1つのデータラインに乗せて出力するように構成され、
前記映像音声符号化部は、前記ブランキング期間に、TMDSの各チャンネルのデータラインD0乃至D3とTMDSの各チャンネルのデータラインD4乃至D7の少なくともいずれか1つのデータラインとの両方で送信されるデータが1つの音声信号から符号化されたか否かを示す属性情報を出力するように構成されている。
符号化された前記映像信号及び前記音声信号をHDMI規格で規定された差動信号として出力する差動信号出力部とを備え、
前記差動信号出力部は、前記映像音声符号化部によって符号化された前記音声信号を前記音声信号に対応する前記映像信号が送信された後のブランキング期間に、TMDSの各チャンネルのデータラインD4乃至D7の少なくともいずれか1つのデータラインに乗せて出力するように構成され、
前記映像音声符号化部は、前記ブランキング期間に、TMDSの各チャンネルのデータラインD0乃至D3とTMDSの各チャンネルのデータラインD4乃至D7の少なくともいずれか1つのデータラインとの両方で送信されるデータが1つの音声信号から符号化されたか否かを示す属性情報を出力するように構成されている。
上記の構成において、所定の規格では、通信線にデータ送信領域とデータ送信未使用領域とがある。このデータ送信未使用領域を有効に活用するのである。すなわち、映像音声符号化部は入力されてくる映像音声信号を所定の規格形式に符号化し、符号化されたデータを差動信号出力部が複数に分けた上で所定の規格の差動信号として出力する。この際に、差動信号出力部は、符号化データをデータ送信領域とデータ送信未使用領域との両方で送信する。これによりデータ送信未使用領域が有効活用される。標準では使用されることのないデータ送信未使用領域を有効活用するので、所定の規格形式において標準の方式で送信する場合よりも多い情報量のデータを送信することが可能となる。この考え方は、ディープカラーのようなビットの拡張の有無に関係なしに成立する。なお、言うまでもないことであるが、「データ送信未使用領域」における「未使用」とはあくまで標準方式を基準にした表現であり、本発明ではその領域を使用することを前提としている。
さらに、映像音声符号化部は、符号化データが1つの信号から符号化されたか否かを示す属性情報を出力する。この属性情報は、通信相手方の映像音声受信装置において、符号化データを元の1つの信号に復号化するか否かの判断の際に利用される。これにより、元の信号が1つの場合でも複数の場合でも、上記したより多くの情報量のデータを送信可能という効果を発揮させることが可能となる。音声の場合には、複数音源から符号化された音声データパケットをそれぞれの送信経路を使って別々に送信することが可能となる。映像の場合には、複数種類の映像から符号化された映像パケットをそれぞれの送信経路を使って別々に送信することが可能となる。
上記(1)の技術的効果は、標準では使用されることのないデータ送信未使用領域を有効活用するので、所定の規格形式において標準の方式で送信する場合よりも多い情報量のデータを送信することが可能となるということであるが、この効果は、HDMI規格への適用の場合に特に顕著になる。
(2)上記(1)の映像音声送信装置において、前記映像音声符号化部はパケット生成機能を有し、前記差動信号出力部は任意のパケットデータを前記ブランキング期間に、TMDSの各チャンネルのデータラインD4乃至D7の少なくともいずれか1つのデータラインに出力するという態様がある。この態様では、映像音声符号化部がパケット生成機能を有していることから、HDMI規格に準拠したデータとHDMI規格以外の規格のデータのいずれであっても本発明は対象可能となし、標準の送信対象であるHDMI規格規定のデータに加え、別途に任意の規格のパケットデータを送信する場合にも本発明は適用可能であることが主張されている。この場合も、上記(1)の、標準では使用されることのないデータ送信未使用領域を有効活用するので、標準の方式で送信する場合よりも多い情報量のデータを送信することが可能となる。
(3)上記(2)の映像音声送信装置において、前記差動信号出力部はHDMI規格で規定されたパケットデータを前記ブランキング期間に、TMDSの各チャンネルのデータラインD4乃至D7の少なくともいずれか1つのデータラインに出力するという態様がある。この態様は、標準の送信対象であるHDMI規格規定のパケットデータをHDMI規格でのデータ送信領域に出力して送信するとともに、同じくHDMI規格規定の別のパケットデータをHDMI規格でのデータ送信未使用領域に出力して送信する、ということを意味している。すなわち、本発明では、あるパケットデータはデータ送信領域で送信し、別のパケットデータはデータ送信未使用領域で送信するということであり、本発明は、複数種類の信号に適用可能であることが主張されている。
(4)上記(3)の映像音声送信装置において、前記映像音声符号化部は、入力されてくる1つの映像信号または音声信号をHDMI規格で規定されたパケットデータに符号化し、前記差動信号出力部は、符号化された前記パケットデータを前記ブランキング期間に、TMDSの各チャンネルのデータラインD0乃至D3とTMDSの各チャンネルのデータラインD4乃至D7の少なくともいずれか1つのデータラインとに分けて出力するという態様がある。この態様によれば、1つの映像信号または音声信号を符号化したパケットデータを複数に分けて、あるものはデータ送信領域に出力し、別のあるものはデータ送信未使用領域に出力して、同時的に送信可能とするため、より多くの映像パケットデータまたは音声パケットデータを送信することが可能となる。
(5)上記(3)の映像音声送信装置において、前記映像音声符号化部が生成するHDMI規格で規定されたパケットデータは、オーディオサンプルパケット,オーディオクロック・リジェネレーションパケット,オーディオインフォフレームパケット,ワンビット・オーディオサンプルパケット,DSTオーディオパケット,HBRオーディオストリームパケットの中のいずれか1つまたは複数であるという態様がある。この態様は、データ送信未使用領域を利用して送信する音声のパケットデータについて、具体的に記述するものである。オーディオサンプルパケットはHDMI規格の非圧縮の音声パケットである。オーディオクロック・リジェネレーションパケットは受信側で音声クロックを生成するために送信されるパケットである。オーディオインフォフレームパケットは音声データの特性を表わすパラメータを含むパケットである。ワンビット・オーディオサンプルパケット,DSTオーディオパケット,HBRオーディオストリームパケットはHDMI規格に規定された圧縮音声パケットである。この構成によれば、上記に挙げた音声パケットデータを複数の送信経路で送信可能となるため、従来では送信できなかった高音質の音声パケットデータや多チャンネル音声パケットデータが送信可能になる。
続いて、本発明にかかわる映像音声受信装置について説明する。
(6)本発明の映像音声受信装置は、HDMI規格で規定された差動信号を入力する差動信号入力部と、
前記差動信号入力部が入力する前記差動信号により送信されHDMI規格形式に符号化されたデータから映像信号と音声信号を復号化する映像音声復号化部と、
前記音声信号に対応する前記映像信号が送信された後のブランキング期間に、TMDSの各チャンネルのデータラインD0乃至D3とTMDSの各チャンネルのデータラインD4乃至D7の少なくともいずれか1つのデータラインとの両方で送信される符号化データが1つの音声信号から符号化されたか否かを入力した属性情報に基づいて判断する属性情報判断部と、
を備え、
前記差動信号入力部は、前記ブランキング期間に、TMDSの各チャンネルのデータラインD0乃至D3とTMDSの各チャンネルのデータラインD4乃至D7の少なくともいずれか1つのデータラインとの両方で送信されてくる符号化データを入力するように構成され、
前記映像音声復号化部は、前記ブランキング期間に、TMDSの各チャンネルのデータラインD0乃至D3およびTMDSの各チャンネルのデータラインD4乃至D7の少なくともいずれか1つのデータラインの符号化データをともに復号化するように構成され、
前記映像音声復号化部は、前記属性情報判断部が肯定の判断を示すときは前記の符号化データを1つの音声信号として合成し復号化するように構成されているものである。
前記差動信号入力部が入力する前記差動信号により送信されHDMI規格形式に符号化されたデータから映像信号と音声信号を復号化する映像音声復号化部と、
前記音声信号に対応する前記映像信号が送信された後のブランキング期間に、TMDSの各チャンネルのデータラインD0乃至D3とTMDSの各チャンネルのデータラインD4乃至D7の少なくともいずれか1つのデータラインとの両方で送信される符号化データが1つの音声信号から符号化されたか否かを入力した属性情報に基づいて判断する属性情報判断部と、
を備え、
前記差動信号入力部は、前記ブランキング期間に、TMDSの各チャンネルのデータラインD0乃至D3とTMDSの各チャンネルのデータラインD4乃至D7の少なくともいずれか1つのデータラインとの両方で送信されてくる符号化データを入力するように構成され、
前記映像音声復号化部は、前記ブランキング期間に、TMDSの各チャンネルのデータラインD0乃至D3およびTMDSの各チャンネルのデータラインD4乃至D7の少なくともいずれか1つのデータラインの符号化データをともに復号化するように構成され、
前記映像音声復号化部は、前記属性情報判断部が肯定の判断を示すときは前記の符号化データを1つの音声信号として合成し復号化するように構成されているものである。
上記の構成において、相手方の映像音声送信装置から送られてくる所定規格の符号化データが差動信号入力部に入力され、映像音声復号化部に渡される。そして、映像音声復号化部はデータ送信領域の符号化データおよびデータ送信未使用領域の符号化データをともに復号化する。以上によりデータ送信未使用領域にデータが含まれている場合でも、そのデータを受信することが可能となり、所定の規格形式において標準の方式で受信する場合よりも多い情報量のデータを受信することが可能となる。
さらに、相手方の映像音声送信装置から送られてくる所定規格の差動信号が差動信号入力部に入力され、映像音声復号化部に渡される。ここで、属性情報判断部においてデータ送信領域の符号化データとデータ送信未使用領域の符号化データとが1つの信号から符号化されたものであるか否かの判断が属性情報に基づいて行われ、その判断結果が肯定的であるとき、映像音声復号化部は符号化データを1つの信号として合成し復号化し、その判断結果が否定的であるとき、映像音声復号化部は符号化データを別々の信号として復号化する。
以上により、信号源が1つの場合でデータ送信領域とデータ送信未使用領域とに分けて符号化データを送受信する場合に、そのデータを1つにまとめて復号化することが可能となり、所定の規格形式において標準の方式で受信する場合よりも多い情報量のデータを受信することが可能となる。また、多チャンネルでのデータ送受信が可能となる。
上記(6)の技術的効果は、標準では使用されることのないデータ送信未使用領域を有効活用するので、所定の規格形式において標準の方式で受信する場合よりも多い情報量のデータを受信することが可能となるということであるが、この効果は、HDMI規格への適用の場合に特に顕著になる。
(7)上記(6)の映像音声受信装置において、前記映像音声復号化部は、前記ブランキング期間に、TMDSの各チャンネルのデータラインD4乃至D7の少なくともいずれか1つのデータラインに任意のパケットデータが含まれている場合に、そのデータを復号化するという態様がある。この態様では、HDMI規格に準拠したデータとHDMI規格以外の規格のデータのいずれであっても対象可能となし、標準の送信対象であるHDMI規格規定のデータに加え、別途に任意の規格のパケットデータを受信する場合にも適用可能であることが主張されている。この場合も、上記(6)に態様において標準では使用されることのないデータ送信未使用領域を有効活用するので、標準の方式で受信する場合よりも多い情報量のデータを受信することが可能となる。
(8)上記(7)の映像音声受信装置において、前記映像音声復号化部は、前記ブランキング期間に、TMDSの各チャンネルのデータラインD4乃至D7の少なくともいずれか1つのデータラインにHDMI規格で規定された音声パケットデータが含まれている場合、そのデータを音声信号に復号化するという態様がある。この態様では、標準の受信対象であるHDMI規格規定のパケットデータをHDMI規格でのデータ送信領域から復号化するとともに、同じくHDMI規格規定の別のパケットデータをデータ送信未使用領域から復号化することが本発明では可能であることが主張されている。すなわち、あるパケットデータはデータ送信領域から復号化し、別のパケットデータはデータ送信未使用領域から復号化するということであり、本発明は複数種類の信号に適用可能である。つまり、複数の経路で送信されてくる音声パケットを別々に音声信号に復号化し、複数種類の音声信号を作ることが本発明で可能となる。
(9)上記(6)の映像音声受信装置において、前記映像音声復号化部は、前記ブランキング期間に、TMDSの各チャンネルのデータラインD0乃至D3により送信されてくる音声パケットデータと、TMDSの各チャンネルのデータラインD4乃至D7の少なくともいずれか1つのデータラインにより送信されてくる音声パケットデータとを1つの音声信号に合成し復号化するという態様がある。この態様によれば、複数の経路から送信されてくる音声パケットをより高音質な1つの音声信号に合成し復号化することが可能となる。
(10)さらに、上記(1)の映像音声送信装置において、前記属性情報は、前記ブランキング期間に、TMDSの各チャンネルのデータラインD4乃至D7の少なくともいずれか1つのデータラインにデータがあるか否かを示す情報を含むという態様がある。この態様によれば、データ送信未使用領域により送信されるパケットデータと所定の規格で規定されたデータ送信領域により送信されるパケットデータとが別々の入力信号から符号化された別々のパケットデータであるか、1つの入力信号から符号化されて分割送信されるパケットデータであるかを区別することが可能となる。
(11)また、上記(6)の映像音声受信装置において、前記属性情報判断部は、前記ブランキング期間に、TMDSの各チャンネルのデータラインD4乃至D7の少なくともいずれか1つのデータラインにデータがあるか否かを判断するという態様がある。この態様によれば、データ送信未使用領域により受信されるパケットデータと所定の規格で規定されたデータ送信領域により受信されるパケットデータが別々の入力信号から符号化された別々のパケットデータであるか、1つの入力信号から符号化されて分割されて受信したパケットデータであるかを判断し、それぞれの場合に合わせてパケットを復号化し、信号を生成することが可能となる。
本発明によれば、従来、所定の規格で標準では直接には使用しないとされていたデータ送信未使用領域をデータ送信に有効活用するので、所定の規格形式において標準の方式で送信する場合よりも多い情報量のデータの送受信を行うことができる。
(実施の形態1)
図1は本発明の実施の形態1における映像音声送信装置と映像音声受信装置との接続状態の構成を示すブロック図である。図1において、10は映像音声送信装置の一例であるDVDプレーヤであり、20は映像音声受信装置の一例であるTVであり、30はHDMIケーブルである。DVDプレーヤ10とTV20とはHDMIケーブル30を介して接続されている。
図1は本発明の実施の形態1における映像音声送信装置と映像音声受信装置との接続状態の構成を示すブロック図である。図1において、10は映像音声送信装置の一例であるDVDプレーヤであり、20は映像音声受信装置の一例であるTVであり、30はHDMIケーブルである。DVDプレーヤ10とTV20とはHDMIケーブル30を介して接続されている。
まず、DVDプレーヤ10の構成について説明する。DVDプレーヤ10は、映像音声再生部(図示せず)を備え、記録メディアであるDVDから映像信号、音声信号を読み出すようになっている。11はHDMI送信用LSIであり、12は映像音声再生部が再生する映像信号を入力する映像信号入力部であり、13は映像音声再生部が再生する音声信号が入力される音声信号入力部であり、14は入力されてくる映像音声信号をHDMI規格形式に符号化する機能に加えてパケット生成機能を備えた映像音声符号化部としての映像音声HDMIエンコード部であり、15は映像音声HDMIエンコード部14から入力するHDMI規格信号を3つのTMDSチャネルCH0,CH1,CH2により差動信号としてHDMIケーブル30に出力する差動信号出力部としてのTMDS出力部であり、16はDVDプレーヤ10の制御を司る送信装置制御CPUである。HDMIケーブル30における送信の形態は、3つのチャネルであるTMDSチャネルCH0,CH1,CH2を利用したものとなる。
TMDS(Transition Minimized Differential Signaling)は、パーソナルコンピュータやチューナとテレビ、ディスプレイとの間などでデータ通信のために用いられるデジタル信号伝送方式であり、「遷移時間最短差動信号伝送方式」とも表現される。TMDS方式では差動信号が用いられるので、ノイズや信号の歪みに対する耐性が高くなっている。
図2はHDMI規格で規定されたパケット送信のデータ送信領域・データ送信未使用領域の概念図である。この図2は従来技術に相当するものである。図2において、網掛けした部分がHDMI規格規定による標準のデータ送信領域である。Packet1,Packet2の下側にあるデータラインD4〜D7の白地の部分はデータ送信未使用領域である。HDMI規格によると、TMDSチャネルにより送信される音声信号は、ビデオのブランキング期間の一部においてパケットデータ40〜42およびパケットデータ43〜45として送信される。HSYNCは水平同期信号を示し、VSYNCは垂直同期信号を示している。D0〜D7は8ビット構成のデータラインを示し、映像期間では8つすべてのデータラインD0〜D7を用いて映像データを送信するが、ブランキング期間では標準で4つのみのデータラインD0〜D3を用いて音声データを送信するようになっている。ここでは、音声のパケットデータが2つ送信されている(Packet1,Packet2)。すなわち、TMDSチャネルCH0では同期信号と音声のパケットヘッダがパケットデータ40として送信され、TMDSチャネルCH1では音声のパケットデータ41として送信され、TMDSチャネルCH2では音声のパケットデータ42として送信され、さらに、別のタイミングにおいて、TMDSチャネルCH0では同期信号と音声のパケットヘッダがパケットデータ43として送信され、TMDSチャネルCH1では音声のパケットデータ44として送信され、TMDSチャネルCH2では音声のパケットデータ45として送信される。
従来技術相当の図2の場合、音声データの送信に関して、パケットデータ40〜45の送信に用いられるのはTMDSチャネルCH0〜CH2のデータラインD0〜D3だけであり、データラインのD4〜D7はデータ送信未使用領域となっている。
これに対して、本発明を適用する場合には、HDMI規格においてデータラインのD4〜D7が標準ではデータ送信未使用領域となっている点に注目し、これを有効活用するようにしたものである。すなわち、図3に示すように、そのデータ送信未使用領域50〜52および(または)データ送信未使用領域53〜55にHDMI規格で規定されているパケットデータを送信するようにしたものである(ハッチング(斜め線)参照)。「データ送信未使用領域」における「未使用」とは、あくまで標準方式を基準にした表現である。
TMDSチャネルCH0では標準でのデータ送信未使用領域50に乗せて音声のパケットヘッダが送信され、TMDSチャネルCH1では標準でのデータ送信未使用領域51に乗せて音声のパケットデータが送信され、TMDSチャネルCH2では標準でのデータ送信未使用領域52に乗せて音声のパケットデータが送信される(Packet3)。また、続くタイミングでは、TMDSチャネルCH0では標準でのデータ送信未使用領域53に乗せて音声のパケットヘッダが送信され、TMDSチャネルCH1では標準でのデータ送信未使用領域54に乗せて音声のパケットデータが送信され、TMDSチャネルCH2では標準でのデータ送信未使用領域55に乗せて音声のパケットデータが送信される(Packet4)。
ここで図1に戻って、映像音声HDMIエンコード部14は、また、HDMI規格で規定されている通信線のデータ送信未使用領域にパケットデータがあるか否かを示す属性情報を生成し出力するように構成されている。TMDS出力部15は、その属性情報をデータ送信未使用領域に乗せてHDMIケーブル30に出力するように構成されている。
次に、TV20の構成について説明する。21はHDMI受信用LSI,22はDVDプレーヤ10から送信されてくるHDMI規格信号を3つのTMDSチャネルCH0,CH1,CH2を介して受信する差動信号入力部としてのTMDS入力部である。23は入力されてくるHDMI規格信号から映像音声信号を復号化する映像音声復号化部としての映像音声HDMIデコード部である。24は復号化された映像信号を出力する映像信号出力部である。25は復号化された音声信号を出力する音声信号出力部である。26はデータ送信未使用領域における属性情報をチェックする属性情報判断部である。属性情報判断部26は、属性情報の値に基づいた判断により、HDMI規格規定によるデータ送信未使用領域にパケットデータがあるか否かを確認する。27はTV20の制御を司る受信装置制御CPUである。
次に、上記のように構成された本実施の形態の映像音声送信装置および映像音声受信装置の動作を説明する。ここでは、図4の具体例を参照しながら説明する。DVDプレーヤ10の動作は次のとおりである。不図示の映像音声再生部が記録メディア(DVD)から映像信号、音声信号を読み出す。読み出された映像信号が映像信号入力部12に入力され、音声信号が音声信号入力部13に入力される。エンコード部14において、映像信号入力部12からの映像信号がHDMI規格信号に変換され、TMDS出力部15に出力される。同様に、音声信号入力部13からの音声信号もHDMI規格信号に変換され、TMDS出力部15に出力される。TMDS出力部15に入力されたHDMI規格信号は、3つに分けられてTMDSチャネルCH0,CH1,CH2における差動信号へ変換され、HDMIケーブル30に出力される。
エンコード部14はパケット生成機能を備えており、送信装置制御CPU16から入力される制御系信号に基づいてエンコード部14は属性情報を含む制御系パケットを生成して、TMDS出力部15に出力する。ここでは、エンコード部14は、データ送信未使用領域にパケットデータがあることを示す属性情報を生成するものとする。TMDS出力部15は、その属性情報を図4のデータ送信未使用領域60に付けて送信する。この属性情報を送信することにより、データ送信未使用領域に存在するパケットデータもデコードすべきことを、TV20における属性情報判断部26に判断させることができる。なお、属性情報を付ける場所をデータ送信未使用領域60としたが、TMDSチャネルCH0のデータ送信未使用領域であればどこでもかまわない。また、HDMI規格で規定されているオーディオサンプルパケットのリザーブ(Reserved)領域に同様の属性情報を加えてもよい。TMDS出力部15に入力された属性情報は、TMDSチャネルCH0でHDMIケーブル30へ出力される。
図4に示す具体例の場合においては、エンコード部14は、音声信号入力部13から入力された音声信号をオーディオサンプルパケット(Audio Sample Packet)に変換し、TMDSチャネルCH0,CH1,CH2のHDMI規格規定によるデータ送信領域40〜42とデータ送信未使用領域50〜52とに分けて送信する。これによれば、オーディオサンプルパケットの単位時間当たりの送信量を従来技術の場合の2倍とすることが可能となる。さらに、データ送信未使用領域53〜55でもオーディオサンプルパケットを送信することができ、さらに多くのパケットデータを送信することができる。
次に、TV20の動作について説明する。DVDプレーヤ10からHDMIケーブル30のTMDSチャネルCH0,CH1,CH2を介して送信されたHDMI規格信号がTMDS入力部22によって受信される。TMDS入力部22は、HDMI規格規定によるデータ送信領域40〜42で送信されるオーディオサンプルパケットと、データ送信未使用領域50〜52で送信されるオーディオサンプルパケットとを受信する。
TMDS入力部22からのビデオのパケットは、映像音声HDMIデコード部23によって映像信号にデコードされる。また、TMDS入力部22からのオーディオサンプルパケットは、デコード部23によって音声信号にデコードされる。このとき、データ送信未使用領域60の属性情報が属性情報判断部26でチェックされ、データ送信未使用領域50〜52にもオーディオサンプルパケットが存在していることの確認が行われる。この確認を行うために、データ送信領域のオーディオサンプルパケットだけでなくデータ送信未使用領域のオーディオサンプルパケットもデコードされることになる。
以上のように本実施の形態によれば、映像音声送信装置(DVDプレーヤ10)において、HDMI規格で標準では直接には使用しないとされていたデータ送信未使用領域をデータ送信に有効活用するので、オーディオサンプルパケットの単位時間当たりの送信量を従来技術に比べて多くすることができる。すなわち、従来、ピクセルクロックの制限のために送信できなかった高音質の音声データであっても、これを送信することが可能になる。また、映像音声受信装置(TV20)においては、映像音声送信装置から送信される音声データを、従来では再生できなかった高音質の音声信号に変換し再生することが可能になる。結果として、これら映像音声送信装置および映像音声受信装置を接続することで、いままで再生することのできなかった高音質の音声が出力できる映像音声再生システムを構築することができる。
上記において非圧縮の音声パケットについての説明を行ったが、本発明の技術は、HDMI規格規定による圧縮音声パケットであるワンビット・オーディオサンプルパケット(One Bit Audio Sample Packet)、DSTオーディオパケット(DST Audio Packet)、HBRオーディオストリームパケット(HBR Audio Stream Packet)などにも適用することができる。
また、上記において音声パケットについての説明を行ったが、本発明は、HDMI規格規定による映像パケットであるMPEGソース・インフォフレーム(Mpeg Source InfoFrame)などにも適用することができる。
また、本発明は、HDMI規格規定における全種類のパケットに適用してもかまわない。HDMI規格で規定されている制御系パケットについては、デコード部23により制御系信号に変換され、受信装置制御CPU27に伝送される。
また、上記において、HDMI規格規定によるパケットでなく、独自のデータの送受信に適用してもかまわない。
また、ディープカラーを用いた場合にも、実施の形態1は同様に適用できる。
(実施の形態2)
図5は本発明の実施の形態2における映像音声送信装置と映像音声受信装置との接続状態の構成を示すブロック図である。図5において、実施の形態1の図1におけるのと同じ符号は同一構成要素を指している。本実施の形態に特有の構成は、次のとおりである。
図5は本発明の実施の形態2における映像音声送信装置と映像音声受信装置との接続状態の構成を示すブロック図である。図5において、実施の形態1の図1におけるのと同じ符号は同一構成要素を指している。本実施の形態に特有の構成は、次のとおりである。
DVDプレーヤ10は、音声信号入力部13に#1と#2の2系統の音声信号入力を有し、一方、TV20は音声信号出力部25に#1と#2の2系統の音声信号出力を有している。
音声信号入力部13に入力される音声信号#1および音声信号#2は、映像音声HDMIエンコード部14によって互いに別々のオーディオサンプルパケットに変換される。加えて、オーディオクロック・リジェネレーションパケット(Audio Clock Regeneration Packet)、オーディオインフォフレームパケット(Audio InfoFrame Packet)もそれぞれの音声信号について変換される。オーディオクロック・リジェネレーションパケットはTV20側で音声クロックを生成するために送信される。オーディオインフォフレームパケットは音声データの特性を表わすパラメータを含む。これら3種類のパケットから1つの音声信号が生成される。
本実施の形態では、DVDプレーヤ10におけるエンコード部14は、HDMI規格形式のデータ送信領域40〜42とHDMI規格で規定されている通信線のデータ送信未使用領域50〜52との両方で送信されるパケットヘッダとパケットデータとが1つの信号から符号化されたか否かを示す属性情報が生成されて出力されるように構成されている(図4のデータ送信未使用領域60を参照)。
また、TV20における属性情報判断部26は、受信した属性情報の値に基づいた判断により、HDMI規格規定によるデータ送信領域40〜42で送信されるオーディオサンプルパケットとデータ送信未使用領域50〜52で送信されるオーディオサンプルパケットとが、同じ音源から変換されたか否かを確認するように構成されている。
エンコード部14は、音声信号#1および音声信号#2のそれぞれから生成される上記3種類の音声データパケットをそれぞれ2つに分け、TMDS出力部15は、一方のパケットデータをHDMI規格規定によるデータ送信領域40〜42により送信し、他方のパケットデータをデータ送信未使用領域50〜52により送信する。これにより、2系統で入力される別々の音声信号#1,#2のパケットデータを同時にHDMIケーブル30を介して接続先のTV20に送信することができる。このとき、エンコード部14は属性情報として別々のデータを送っていることを示す情報を生成し送信することになる。この属性情報を送信することにより、TV20における属性情報判断部26に対して、オーディオサンプルパケットを別々にデコードするべきか、一緒にまとめてデコードするべきかを判断させることができる。
一方、TV20においては、TMDS入力部22からのビデオのパケットは、映像音声HDMIデコード部23によって映像信号にデコードされる。また、TMDS入力部22からのオーディオサンプルパケットは、デコード部23によって音声信号にデコードされる。このとき、データ送信未使用領域60の属性情報が属性情報判断部26でチェックされ、HDMI規格規定によるデータ送信領域40〜42で送信されるオーディオサンプルパケットとデータ送信未使用領域50〜52で送信されるオーディオサンプルパケットとが同じ音源から変換されたものであるか否かの確認が行われる。この確認により、両オーディオサンプルパケットがそれぞれ別々の音源由来のものであることが確認されれば、両オーディオサンプルパケットは個別の音声信号としてデコードされ、同じ音源由来のものであることが確認されれば、両オーディオサンプルパケットは1つの音声信号に合成されたうえでデコードされる。
ここで属性情報の具体例を図6Aに基づいて説明する。この属性情報の具体例では、データ送信未使用領域にパケットデータがあるかないかの識別と、2つのパケットデータが別々の信号由来のものか1つの信号由来のものかの識別とが組み合わせられて属性情報をなしている。
前者のデータ送信未使用領域にパケットデータがあるかないかの識別は、属性情報の1ビット目においてなされている。具体的には、パケットデータがある場合、当該ビットは"1"となり、ない場合"0"となる。
後者の2つのパケットデータが別々の信号由来のものか1つの信号由来のものかの識別は、属性情報の2ビット目においてなされている。具体的には、別々の信号由来の場合、当該ビットは"0"となり、1つの信号由来の場合は"1"となる。
属性情報判断部26における属性情報の判断は例えば図6Bに示すフローチャートに従って行われる。属性情報が受信されると、まず1ビット目が判断され(ステップS61)、次に2ビット目が判断される(ステップS62)。1ビット目の判断において(ステップS61)、1ビット目=0("00"および"10")であると判定されるときは、HDMI規格規定のデータ送信領域で送信されるパケットデータのみ復号化される(ステップS63)。一方、1ビット目の判断において(ステップS61)、1ビット目=1("01"および"11")であると判定されるときは、2ビット目の判断に進む(ステップS62)。2ビット目の判断において(ステップS62)、2ビット目=0("01")であると判定されるときは、HDMI規格規定のデータ送信領域で送信されるパケットデータとデータ送信未使用領域で送信されるパケットデータとは、別々の信号として復号化される(ステップS64)。そして、2ビット目の判断において(ステップS62)、2ビット目=1("11")であると判定されるときは、HDMI規格規定のデータ送信領域で送信されるパケットデータとデータ送信未使用領域で送信されるパケットデータとが1つの信号として復号化される(ステップS65)。
その他の構成および動作については、実施の形態1と同様であるので説明を省略する。また、実施の形態1における各種の付記事項も本実施の形態に当てはまる。
以上のように本実施の形態によれば、映像音声送信装置(DVDプレーヤ10)により生成された2つの音声信号を映像音声受信装置(TV20)に送信することが可能になり、また、映像音声受信装置では、映像音声送信装置から送信されてくる音声データパケットを2つの音声信号に変換し、別々の音声信号を出力することが可能になる。
(実施の形態3)
図7はHDMI規格Ver1.4により規定された新しい3Dビデオフォーマットの一例である。このビデオフォーマットでは左目用と右目用の映像を送信することが可能となっている。本実施の形態では上記3Dビデオフォーマットを送信することを前提とし、左目用の映像と右目用の映像をとそれぞれ全く違った映像であることを想定し、本発明の手段を応用して同時に2つの映像を送受信するための実施例である。
図7はHDMI規格Ver1.4により規定された新しい3Dビデオフォーマットの一例である。このビデオフォーマットでは左目用と右目用の映像を送信することが可能となっている。本実施の形態では上記3Dビデオフォーマットを送信することを前提とし、左目用の映像と右目用の映像をとそれぞれ全く違った映像であることを想定し、本発明の手段を応用して同時に2つの映像を送受信するための実施例である。
図8は実施の形態3における映像音声送信装置と映像音声受信装置との接続状態の構成を示すブロック図である。図8において実施の形態2の図5におけるのと同じ符号は同一構成要素を指している。本実施の形態に特有の構成は、次のとおりである。
DVDプレーヤ10は、映像信号入力部12に左目用の映像(これを映像#1とする)と右目用の映像(これを映像#2とする)とがそれぞれ全く違った3Dビデオフォーマット映像信号#0が入力される。一方、TV20は映像信号出力部24に映像信号#1と映像信号#2の2系統の映像信号出力を有している。音声信号#1は映像#1(映像信号#1)に合わせた音声信号であり、音声信号#2は映像#1(映像信号#2)に合わせた音声信号である。
本実施の形態では、DVDプレーヤ10において、音声信号入力部13に入力される音声信号#1および音声信号#2は、実施の形態2と同様に互いに別々のオーディオサンプルパケットに変換され、加えてオーディオクロック・リジェネレーションパケット、オーディオインフォフレームパケットもそれぞれ変換されTV20に送信される。
エンコード部14は、実施の形態2と同様に、音声信号#1と音声信号#2とのそれぞれから生成される上記3種類の音声データパケットをそれぞれ2つに分け、TMDS出力部15は、一方のパケットデータをHDMI規格規定によるデータ送信領域40〜42(図4)により送信し、他方のパケットデータをデータ送信未使用領域50〜52(図4)により送信する。
また、エンコード部14は属性情報として映像#1と映像#2とがそれぞれ全く違った3Dビデオフォーマットで構成されていることを示す情報と、音声信号#1から生成されたパケットデータと音声信号#2から生成されたパケットデータとのうちのどちらが、HDMI規格規定によるデータ送信領域40〜42(図4)を使用して送信され、残りのどちらがデータ送信未使用領域50〜52(図4)を使用して送信されるのかを判別できる属性情報を実施の形態2と同様にデータ送信未使用領域60,61(図4)を使用して送信することができるように構成されている。
さらに、DVDプレーヤ10は本実施の形態で送信する3Dビデオフォーマット(映像#1と映像#2とがそれぞれ全く異なる)をTV20が受信できるかどうかを判断してから送信する必要がある。この判断は以下に説明する2つの構成によって可能である。
1つは受信機器情報であるEDID(Extended Display Identification Data)31に本実施形態で送信する映像信号が受信可能であるという情報を記載しておき、DVDプレーヤ10はTV20のEDIDを読み出すことで判断する構成である。HDMI送信用LSI11とHDMI受信用LSI21とは、それぞれDDC(Display Data Channel)通信を行うためのインターフェース35および37を備えており、DVDプレーヤ10はHDMIケーブル30の一部であるDDCライン34を介してTV20が備えているEDID31の情報を読み出すことが可能である。
もう1つはCEC(Consumer Electronics Control)32を用いてDVDプレーヤ10とTV20が通信を行い、DVDプレーヤ10はTV20から本実施の形態で送信する映像信号が受信可能かどうかの情報を取得する構成である。HDMI送信用LSI11とHDMI受信用LSI21とは、CEC通信を行うためのインターフェース36および38をそれぞれ備えており、DVDプレーヤ10とTV10とは、HDMIケーブル30の一部であるCECライン32を介して情報のやり取りが可能である。
以上の2つの構成のどちらかの構成により、TV20が3Dビデオフォーマット映像(映像#1と映像#2とがそれぞれ全く異なる)を受信できる機能を備えていることを確認してから、DVDプレーヤ10は映像送信を開始する。
一方、TV20において、属性情報判断部26はDVDプレーヤ10から送られてくる属性情報に基づいて、
・通常の3Dビデオフォーマットであるのか、3Dビデオフォーマット(映像#1と映像#2とがそれぞれ全く異なる)であるのかの判別と、
・HDMI規格規定によるデータ送信領域40〜42を使用して送信されたパケットデータであるのか、データ送信未使用領域50〜52を使用して送信されたパケットデータであるのかの判別と、
を行う。
・通常の3Dビデオフォーマットであるのか、3Dビデオフォーマット(映像#1と映像#2とがそれぞれ全く異なる)であるのかの判別と、
・HDMI規格規定によるデータ送信領域40〜42を使用して送信されたパケットデータであるのか、データ送信未使用領域50〜52を使用して送信されたパケットデータであるのかの判別と、
を行う。
ここで、属性情報の具体例を図9Aに基づいて説明する。この属性情報の具体例では、以下の3つの場合が例として記載されている。
1つ目は映像#1と映像#2とが1つの映像である場合(データ送信未使用領域にパケットデータがない場合)であり、属性情報は "000"という値をとる。
2つ目は映像#1と映像#2とが別々の2つの映像である場合において、HDMI規格で規定されたパケットデータ送信領域を介して、映像#1の音声パケットデータが送信され、データ送信未使用領域を介して、映像#2の音声パケットデータが送信される場合であり、属性情報は"011"という値をとる。
3つ目は映像#1と映像#2とが別々の2つの映像である場合において、HDMI規格で規定されたパケットデータ送信領域を介して、映像#2の音声パケットデータが送信され、データ送信未使用領域を介して、映像#1の音声パケットデータが送信される場合であり、属性情報は"101"という値をとる。
属性情報判断部26における属性情報の判断は例えば図9Bに示すフローチャートに従って行われる。属性情報が受信されると、まず1ビット目が判断され(ステップS91)、次に2ビット目が判断され(ステップS92)、最後に3ビット目が判断される(ステップS93)。なお、ここでは下位のビットから1ビット目と呼んでいる。1ビット目の判断(ステップS91)において、1ビット目=0であると判断されるときは、HDMI規格で規定されたデータ領域を介して送信されるパケットデータのみが復号化され、通常の3Dビデオフォーマットとして左目用の映像と右目用の映像とが1つの映像として出力される(ステップS94)。1ビット目=1であると判断されるときは、2ビット目の判断に進む(ステップS92)。2ビット目の判断(ステップS92)において、2ビット目=1であると判断されるときは、HDMI規格で規定されたパケットデータ送信領域を介して送られてきた音声パケットデータは、映像信号#1のデータとして復号化され、データ送信未使用領域を介して送られてきた音声パケットデータは、映像信号#2のデータとして復号化される(ステップS95)。2ビット目の判断(ステップS92)において、2ビット目=0であると判断される時は3ビット目の判断に進む(ステップS93)。3ビット目の判断(ステップS93)において、3ビット目=1であると判断されるときは、HDMI規格で規定されたパケットデータ送信領域を介して送られてきた音声パケットデータは、映像信号#2のデータとして復号化され、データ送信未使用領域を介して送られてきた音声パケットデータは、映像信号#1のデータとして復号化される(ステップS96)。3ビット目の判断(ステップS93)において、3ビット目=0であると判断される時は1ビット目=0の時と同じ処理(ステップS94)を行うこととする。
以上のように本実施の形態によれば、映像音声送信装置(DVDプレーヤ10)から左目用の映像と右目用の映像とをそれぞれ全く違った映像である3Dビデオフォーマットを用い、一方の音声パケットデータをデータ送信未使用領域により送信することで、映像音声受信装置(TV20)では、2つの映像音声信号を同時に別々に出力することが可能になる。
(実施の形態4)
本実施の形態では実施の形態3と同様に、上記3Dビデオフォーマットを送信することを前提とし、左目用の映像と右目用の映像とがそれぞれ全く違った映像であることを想定し、本発明の手段を応用して同時に2つの映像を送受信するための実施例の説明である。
本実施の形態では実施の形態3と同様に、上記3Dビデオフォーマットを送信することを前提とし、左目用の映像と右目用の映像とがそれぞれ全く違った映像であることを想定し、本発明の手段を応用して同時に2つの映像を送受信するための実施例の説明である。
図10は実施の形態4における映像音声送信装置と映像音声受信装置との接続状態の構成を示すブロック図である。図10において実施の形態3の図8におけるのと同じ符号は同一構成要素を示している。本実施の形態に特有の構成は、次のとおりである。
DVDプレーヤ10は、映像信号入力部12に映像信号#1と映像信号#2とに対応した2系統の映像信号入力と、映像信号#1と映像信号#2とを合成する映像信号合成部33とを有している。一方、TV20の構成は実施の形態3と同じ構成である。
映像信号入力部12に入力される映像信号#1と映像信号#2とは、映像信号合成部33によって図7に示した規格にある左目用の映像Lに映像信号#1を対応させ、右目用の映像Rに映像信号#2を対応させるように変換されるように構成されている。
また、エンコード部14はパケット生成機能を備えている。音声信号#1と映像信号#1とからエンコード部14で生成されるパケットデータの総称をパケット#1とし、音声信号#2と映像信号#2とに基づいてエンコード部14で生成されるパケットデータの総称をパケット#2とする。パケット#1,パケット#2ではHDMI規格で規定されているすべてのパケットが対象となる。
このとき、エンコード部14は図11に示すように、パケット#1をTMDS出力部15から、HDMI規格形式のデータ送信領域40〜42,43〜45を介して送信でき、パケット#2をTMDS出力部15から、HDMI規格で規定されている通信線のデータ送信未使用領域50〜52,53〜55を介して送信できる構成になっている。ここでパケット#1とパケット#2との送信に使用される領域を逆にしてデータを送信することも可能である。
さらに、映像音声HDMIエンコード部14は異なる映像ソースから2つの映像が送信されることと、パケット#1とパケット#2とのうちのどちらがHDMI規格形式のデータ送信領域40〜42,43〜45を介して送信され、残りのどちらがデータ送信未使用領域50〜52,53〜55を介して送信されることを示す属性情報を生成して出力するように構成されている。属性情報の送信方法は実施の形態1〜3と同様である。
またDVDプレーヤ10は実施の形態3と同様に、別々の2つの映像をTV20が受信できるかどうかを判断してから送信する必要がある。この判断は実施の形態3と同様に以下に説明する2つの構成によって可能である。1つは受信機器情報であるEDID(Extended Display Identification Data)31に本実施形態で送信する映像信号が受信可能であるという情報を記載しておき、DVDプレーヤ10はTV20のEDIDを読み出すことで判断する構成である。
もう1つはCEC(Consumer Electronics Control)32を用いてDVDプレーヤ10とTV20とが通信を行い、DVDプレーヤ10はTV20から本実施形態で送信する映像信号が受信可能かどうかの情報を取得する構成である。以上の2つの構成のうちのどちらかの構成により、本実施形態で送信する別々の2つの映像をTV20で受信できる機能を備えていることを確認してから、DVDプレーヤ10は送信を開始する。
また、TV20における属性情報判断部26は、受信した属性情報の値に基づいた判断により、HDMI規格規定によるデータ送信領域40〜42,43〜45を介して送信されてきたパケットデータと、データ送信未使用領域50〜52,53〜55を介して送信されてきたパケットデータとを、一方を映像信号#1のデータと音声信号#1とからなるデータとして、他方を映像信号#2のデータと音声信号#2とからなるデータとしてそれぞれ扱うことができるように構成されている。
TV20における映像音声復号化部では、属性情報判断部26の判断の結果、HDMI規格規定によるデータ送信領域40〜42,43〜45を介して送信されてきたパケットデータと、データ送信未使用領域50〜52,53〜55を介して送信されてきたパケットデータとを、一方を映像信号#1のデータと音声信号#1とからなるデータとして、他方を映像信号#2と音声信号#2とからなるデータとしてそれぞれ復号化し、復号化したデータを、映像信号出力部24から映像信号#1と映像信号#2として、音声信号出力部から音声信号#1と音声信号#2としてそれぞれ出力できる構成となっている。
ここで、属性情報の具体例を図12Aに基づいて説明する。この属性情報の具体例では、以下の3つの場合が例として記載されている。
1つ目は映像信号#1と映像信号#2とが1つの左目用映像と右目用映像である場合(データ送信未使用領域にパケットデータがない場合)であり、この場合、属性情報は"000"という値をとる。
2つ目は映像信号#1と映像信号#2とが別々の2つの映像である場合において、HDMI規格で規定されたパケットデータ送信領域を介して、映像信号#1と音声信号#1とからなるパケットデータ(パケット#1)が送信され、データ送信未使用領域を介して、映像信号#2と音声信号#2とからなるパケットデータ(パケット#2)が送信される場合であり、この場合、属性情報は"011"という値をとる。
3つ目は映像信号#1と映像信号#2とが別々の2つの映像である場合において、HDMI規格で規定されたパケットデータ送信領域を介して、映像信号#2と音声信号#2とからなるパケットデータ(パケット#2)が送信され、データ送信未使用領域を介して、映像信号#1と音声信号#1とからなるパケットデータ(パケット#1)が送信される場合であり、属性情報は"101"という値をとる。
属性情報判断部26における属性情報の判断は例えば図12Bに示すフローチャートに従って行われる。属性情報が受信されると、まず1ビット目が判断され(ステップS121)、次に2ビット目が(ステップS122)、最後に3ビット目が(ステップS123)それぞれ判断される。1ビット目の判断において(ステップS121)、1ビット目=0であると判断されるときは、HDMI規格規定のデータ領域を介して送信されるパケットデータのみが復号化され、通常の3Dビデオフォーマットとして左目用の映像と右目用の映像とが1つの映像として出力される(ステップS124)。1ビット目の判断において(ステップS121)、1ビット目=1であると判断される時は、2ビット目の判断に進む(ステップS122)。2ビット目の判断において(ステップS122)、2ビット目=1であると判断されるときは、HDMI規格で規定されたパケットデータ送信領域を介して送られてきたパケットデータは、映像信号#1と音声信号#1とからなるデータ(パケット#1)として復号化され、データ送信未使用領域を介して送られてきたパケットデータは、映像信号#2と音声信号#2とからなるデータ(パケット#2)として復号化される(ステップS125)。パケット#1(映像信号#1と音声信号#1)と、パケット#2(映像信号#2と音声信号#2)とは別々に出力される。2ビット目の判断において(ステップS122)、2ビット目=0であると判断される時は3ビット目の判断に進む(ステップS123)。3ビット目の判断において(ステップS123)、3ビット目=1であると判断されるときは、HDMI規格で規定されたパケットデータ送信領域を介して送られてきたパケットデータは、映像信号#2と音声信号#2とからなるデータ(パケット#2)として復号化され、データ送信未使用領域を介して送られてきたパケットデータは、映像信号#1と音声信号#1とからなるデータ(パケット#1)として復号化される(ステップS126)。パケット#1(映像信号#1と音声信号#1)とパケット#2(映像信号#2と音声信号#2)とは別々に出力される。3ビット目=0であると判断される時は1ビット目=0であると判断された時と同じ処理(ステップS124)を行うこととする。
以上のように本実施の形態によれば、映像音声送信装置(DVDプレーヤ10)により生成された2つの別々の映像音声信号を同時に映像音声受信装置(TV20)に送信することが可能になり、また、映像音声受信装置では、映像音声送信装置から送信されてくる2つの映像音声信号を同時に別々に出力することが可能になる。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
以上のように、本発明にかかわる映像音声送信装置および映像音声受信装置は、従来できなかった多量の情報量のデータ送受信を行うことができるという効果を有し、DVDプレーヤ、DVDレコーダ、BD(Blu-ray Disc)プレーヤ、BDレコーダ等の映像音声送信装置等やTV、AVアンプ、プロジェクタ等の映像音声受信装置等として有用である。
10 DVDプレーヤ(映像音声送信装置)
11 HDMI送信用LSI
12 映像信号入力部
13 音声信号入力部
14 映像音声HDMIエンコード部(映像音声符号化部)
15 TMDS出力部(差動信号出力部)
16 送信装置制御CPU
20 TV(映像音声受信装置)
21 HDMI受信用LSI
22 TMDS入力部(差動信号入力部)
23 映像音声HDMIデコード部(映像音声復号化部)
24 映像信号出力部
25 音声信号出力部
26 属性情報判断部
27 受信装置制御CPU
30 HDMIケーブル
CH0,CH1,CH2 TMDSチャネル
31 EDID
32 CECライン
33 映像信号合成部
11 HDMI送信用LSI
12 映像信号入力部
13 音声信号入力部
14 映像音声HDMIエンコード部(映像音声符号化部)
15 TMDS出力部(差動信号出力部)
16 送信装置制御CPU
20 TV(映像音声受信装置)
21 HDMI受信用LSI
22 TMDS入力部(差動信号入力部)
23 映像音声HDMIデコード部(映像音声復号化部)
24 映像信号出力部
25 音声信号出力部
26 属性情報判断部
27 受信装置制御CPU
30 HDMIケーブル
CH0,CH1,CH2 TMDSチャネル
31 EDID
32 CECライン
33 映像信号合成部
Claims (19)
- 入力されてくる映像信号及び音声信号をHDMI規格形式に符号化する映像音声符号化部と、
符号化された前記映像信号及び前記音声信号をHDMI規格で規定された差動信号として出力する差動信号出力部とを備え、
前記差動信号出力部は、前記映像音声符号化部によって符号化された前記音声信号を前記音声信号に対応する前記映像信号が送信された後のブランキング期間に、TMDSの各チャンネルのデータラインD4乃至D7の少なくともいずれか1つのデータラインに乗せて出力するように構成され、
前記映像音声符号化部は、前記ブランキング期間に、TMDSの各チャンネルのデータラインD0乃至D3とTMDSの各チャンネルのデータラインD4乃至D7の少なくともいずれか1つのデータラインとの両方で送信されるデータが1つの音声信号から符号化されたか否かを示す属性情報を出力するように構成されている、
映像音声送信装置。 - 前記映像音声符号化部はパケット生成機能を有し、
前記差動信号出力部は任意のパケットデータを前記ブランキング期間に、TMDSの各チャンネルのデータラインD4乃至D7の少なくともいずれか1つのデータラインに出力する、
請求項1の映像音声送信装置。 - 前記差動信号出力部はHDMI規格で規定されたパケットデータを前記ブランキング期間に、TMDSの各チャンネルのデータラインD4乃至D7の少なくともいずれか1つのデータラインに出力する、
請求項2の映像音声送信装置。 - 前記映像音声符号化部は、入力されてくる1つの映像信号または音声信号をHDMI規格で規定されたパケットデータに符号化し、
前記差動信号出力部は、符号化された前記パケットデータを前記ブランキング期間に、TMDSの各チャンネルのデータラインD0乃至D3とTMDSの各チャンネルのデータラインD4乃至D7の少なくともいずれか1つのデータラインとに分けて出力する、
請求項3の映像音声送信装置。 - 前記映像音声符号化部が生成するHDMI規格で規定されたパケットデータは、オーディオサンプルパケット、オーディオクロック・リジェネレーションパケット、オーディオインフォフレームパケット、ワンビット・オーディオサンプルパケット、DSTオーディオパケット、HBRオーディオストリームパケットの中のいずれか1つまたは複数である、
請求項3の映像音声送信装置。 - 前記属性情報は、前記ブランキング期間に、TMDSの各チャンネルのデータラインD4乃至D7の少なくともいずれか1つのデータラインにデータがあるか否かを示す情報を含む、
請求項1の映像音声送信装置。 - 前記映像信号と前記音声信号は、3Dビデオフォーマットで構成されている、
請求項1の映像音声送信装置。 - 前記映像信号と前記音声信号を受信する受信装置が、3Dビデオフォーマットで構成された映像音声信号を受信可能であることを示す情報を、前記受信装置から送信されたEDID(Extended Display Identification Data)から読み出す、
請求項7の映像音声送信装置。 - 前記映像信号と前記音声信号を受信する受信装置が、3Dビデオフォーマットで構成された映像音声信号を受信可能であることを示す情報を、前記受信装置からCEC(Consumer Electronics Control)を介して読み出す、
請求項7の映像音声送信装置。 - 前記属性情報は、3Dビデオフォーマットの第1の映像または第2の映像のいずれに対応する音声データが、前記ブランキング期間に、TMDSの各チャンネルのデータラインD4乃至D7の少なくともいずれか1つのデータラインから送信されたかを示す、
請求項6の映像音声送信装置。 - HDMI規格で規定された差動信号を入力する差動信号入力部と、
前記差動信号入力部が入力する前記差動信号により送信されHDMI規格形式に符号化されたデータから映像信号と音声信号を復号化する映像音声復号化部と、
前記音声信号に対応する前記映像信号が送信された後のブランキング期間に、TMDSの各チャンネルのデータラインD0乃至D3とTMDSの各チャンネルのデータラインD4乃至D7の少なくともいずれか1つのデータラインとの両方で送信される符号化データが1つの音声信号から符号化されたか否かを入力した属性情報に基づいて判断する属性情報判断部と、
を備え、
前記差動信号入力部は、前記ブランキング期間に、TMDSの各チャンネルのデータラインD0乃至D3とTMDSの各チャンネルのデータラインD4乃至D7の少なくともいずれか1つのデータラインとの両方で送信されてくる符号化データを入力するように構成され、
前記映像音声復号化部は、前記ブランキング期間に、TMDSの各チャンネルのデータラインD0乃至D3およびTMDSの各チャンネルのデータラインD4乃至D7の少なくともいずれか1つのデータラインの符号化データをともに復号化するように構成され、
前記映像音声復号化部は、前記属性情報判断部が肯定の判断を示すときは前記の符号化データを1つの音声信号として合成し復号化するように構成されている、
映像音声受信装置。 - 前記映像音声復号化部は、前記ブランキング期間に、TMDSの各チャンネルのデータラインD4乃至D7の少なくともいずれか1つのデータラインに任意のパケットデータが含まれている場合に、そのデータを復号化する、
請求項11の映像音声受信装置。 - 前記映像音声復号化部は、前記ブランキング期間に、TMDSの各チャンネルのデータラインD4乃至D7の少なくともいずれか1つのデータラインにHDMI規格で規定された音声パケットデータが含まれている場合、そのデータを音声信号に復号化する、
請求項12の映像音声受信装置。 - 前記映像音声復号化部は、前記ブランキング期間に、TMDSの各チャンネルのデータラインD0乃至D3により送信されてくる音声パケットデータと、TMDSの各チャンネルのデータラインD4乃至D7の少なくともいずれか1つのデータラインにより送信されてくる音声パケットデータとを1つの音声信号に合成し復号化する、
請求項11の映像音声受信装置。 - 前記属性情報判断部は、前記ブランキング期間に、TMDSの各チャンネルのデータラインD4乃至D7の少なくともいずれか1つのデータラインにデータがあるか否かを判断する、
請求項11の映像音声受信装置。 - 前記映像信号と前記音声信号は、3Dビデオフォーマットで構成されている、
請求項11の映像音声受信装置。 - 3Dビデオフォーマットで構成された映像音声信号を受信可能であることを示す情報を、EDID(Extended Display Identification Data)に追加する、
請求項16の映像音声受信装置。 - 3Dビデオフォーマットで構成された映像音声信号を受信可能であることを示す情報を、CEC(Consumer Electronics Control)を介して送信する、
請求項16の映像音声受信装置。 - 前記属性情報判断部は、3Dビデオフォーマットの第1の映像または第2の映像のいずれに対応する音声データが、前記ブランキング期間に、TMDSの各チャンネルのデータラインD4乃至D7の少なくともいずれか1つのデータラインから送信されたかを判断する、
請求項15の映像音声受信装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010532787A JP4785989B2 (ja) | 2008-10-09 | 2009-09-28 | 映像音声送信装置および映像音声受信装置 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008262627 | 2008-10-09 | ||
JP2008262627 | 2008-10-09 | ||
PCT/JP2009/004923 WO2010041385A1 (ja) | 2008-10-09 | 2009-09-28 | 映像音声送信装置および映像音声受信装置 |
JP2010532787A JP4785989B2 (ja) | 2008-10-09 | 2009-09-28 | 映像音声送信装置および映像音声受信装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP4785989B2 true JP4785989B2 (ja) | 2011-10-05 |
JPWO2010041385A1 JPWO2010041385A1 (ja) | 2012-03-01 |
Family
ID=42100346
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010532787A Expired - Fee Related JP4785989B2 (ja) | 2008-10-09 | 2009-09-28 | 映像音声送信装置および映像音声受信装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20110170614A1 (ja) |
JP (1) | JP4785989B2 (ja) |
CN (1) | CN102160374A (ja) |
WO (1) | WO2010041385A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012017687A1 (ja) * | 2010-08-05 | 2012-02-09 | パナソニック株式会社 | 映像再生装置 |
JP5608475B2 (ja) * | 2010-08-30 | 2014-10-15 | 日立コンシューマエレクトロニクス株式会社 | 伝送システム及びSource機器 |
EP2785051A4 (en) | 2011-11-25 | 2015-11-25 | Hitachi Maxell | IMAGE TRANSMISSION DEVICE, IMAGE TRANSMISSION METHOD, IMAGE RECEPTOR AND IMAGE RECEPTION PROCESS |
WO2013122386A1 (en) | 2012-02-15 | 2013-08-22 | Samsung Electronics Co., Ltd. | Data transmitting apparatus, data receiving apparatus, data transreceiving system, data transmitting method, data receiving method and data transreceiving method |
WO2013122387A1 (en) | 2012-02-15 | 2013-08-22 | Samsung Electronics Co., Ltd. | Data transmitting apparatus, data receiving apparatus, data transceiving system, data transmitting method, and data receiving method |
WO2013122385A1 (en) | 2012-02-15 | 2013-08-22 | Samsung Electronics Co., Ltd. | Data transmitting apparatus, data receiving apparatus, data transreceiving system, data transmitting method, data receiving method and data transreceiving method |
EP2779577B1 (en) * | 2013-03-15 | 2019-05-01 | Samsung Electronics Co., Ltd. | Data transmitting apparatus, data receiving apparatus, data transceiving system, method for transmitting data, and method for receiving data |
EP2779578B1 (en) * | 2013-03-15 | 2019-11-20 | Samsung Electronics Co., Ltd. | Data Transmitting Apparatus, Data Receiving Apparatus, Data Transceiving System, Method for Transmitting Data, and Method for Receiving Data |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006527864A (ja) * | 2003-06-17 | 2006-12-07 | 松下電器産業株式会社 | 受信機器、送信機器および伝送システム |
JP2007325101A (ja) * | 2006-06-02 | 2007-12-13 | Sony Corp | 通信システム、送信装置及び受信装置、通信方法、並びにプログラム |
JP2007336518A (ja) * | 2006-05-16 | 2007-12-27 | Sony Corp | 伝送方法、伝送システム、送信方法、送信装置、受信方法及び受信装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1817040A (zh) * | 2003-07-04 | 2006-08-09 | 皇家飞利浦电子股份有限公司 | 通过一个分布网络来广播多媒体内容的方法 |
RU2372741C2 (ru) * | 2006-05-16 | 2009-11-10 | Сони Корпорейшн | Система передачи данных, устройство передачи, устройство приема, способ передачи данных и программа |
JP2008193168A (ja) * | 2007-01-31 | 2008-08-21 | Toshiba Corp | 映像通信装置、映像通信システム及び映像通信方法 |
US8462759B2 (en) * | 2007-02-16 | 2013-06-11 | Semtech Canada Corporation | Multi-media digital interface systems and methods |
JP5029121B2 (ja) * | 2007-04-25 | 2012-09-19 | ソニー株式会社 | データ受信装置、データ送信装置、および情報処理方法、並びにコンピュータ・プログラム |
JP5091578B2 (ja) * | 2007-07-26 | 2012-12-05 | 株式会社東芝 | 映像処理装置及び映像処理方法 |
JP2009100412A (ja) * | 2007-10-19 | 2009-05-07 | Panasonic Corp | 映像伝送装置、映像送信装置および映像受信装置 |
-
2009
- 2009-09-28 WO PCT/JP2009/004923 patent/WO2010041385A1/ja active Application Filing
- 2009-09-28 CN CN2009801372687A patent/CN102160374A/zh active Pending
- 2009-09-28 JP JP2010532787A patent/JP4785989B2/ja not_active Expired - Fee Related
- 2009-09-28 US US13/119,039 patent/US20110170614A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006527864A (ja) * | 2003-06-17 | 2006-12-07 | 松下電器産業株式会社 | 受信機器、送信機器および伝送システム |
JP2007336518A (ja) * | 2006-05-16 | 2007-12-27 | Sony Corp | 伝送方法、伝送システム、送信方法、送信装置、受信方法及び受信装置 |
JP2007325101A (ja) * | 2006-06-02 | 2007-12-13 | Sony Corp | 通信システム、送信装置及び受信装置、通信方法、並びにプログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2010041385A1 (ja) | 2012-03-01 |
US20110170614A1 (en) | 2011-07-14 |
WO2010041385A1 (ja) | 2010-04-15 |
CN102160374A (zh) | 2011-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4785989B2 (ja) | 映像音声送信装置および映像音声受信装置 | |
JP5338166B2 (ja) | 送信装置、立体画像データ送信方法、受信装置および立体画像データ受信方法 | |
US10341726B2 (en) | Video sender and video receiver | |
US7839896B2 (en) | Video transmission system | |
US20080046950A1 (en) | Communication system and transmitting-receiving device | |
US20060208929A1 (en) | High definition multimedia interface device and output control method thereof | |
JP6863282B2 (ja) | 受信装置および受信方法 | |
JP4715904B2 (ja) | 画像処理装置、画像処理方法、および通信システム | |
US8090235B2 (en) | Relay apparatus, and reproduction system | |
JP6589875B2 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
JP2009038683A (ja) | 画像信号出力装置及び方法 | |
JP2008252834A (ja) | 音声再生装置 | |
JP2011244265A (ja) | 受信装置および受信方法 | |
JP6809470B2 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
JP5784810B2 (ja) | 送信装置、受信装置、送信方法及び受信方法 | |
JP2009038685A (ja) | 画像信号出力装置及び画像信号出力方法 | |
JP7452526B2 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
CN112136176B (zh) | 发送设备、发送方法、接收设备和接收方法 | |
WO2019225449A1 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
JP2009038682A (ja) | 画像処理装置及び画像処理方法 | |
JP6669071B2 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
WO2010032289A1 (ja) | コンテンツ再生システム及び方法 | |
WO2009144807A1 (ja) | コンテンツ送受信システム、コンテンツ送信装置、及びコンテンツ受信装置 | |
JP5002447B2 (ja) | 映像音声再生装置 | |
JP2011066548A (ja) | 電子機器およびデータ伝送方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110705 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110712 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140722 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |