従来、遅延時間を最小にする画像データ伝送方式として非圧縮画像データ伝送方式があるが、大きなサイズの画像データを送るには高速な伝送路を必要とする課題があった。その解決の為に、画像データを圧縮して伝送する方式が提案されているが、伝送路上でエラーが発生すると、複数画素で構成される圧縮ブロック単位で、表示画像が乱れてしまう課題があった。また、高いエラー耐性が確保されているブランキング期間で伝送できるデータ量は、有効画素期間で伝送できるデータ量よりも少ないという課題があった。
本実施例では、画像データを圧縮して伝送する伝送方式において、圧縮ブロック単位毎に圧縮して、圧縮符号情報を生成し、圧縮符号情報の内、重要性の高い圧縮符号情報(以下、主圧縮符号情報と呼ぶ)をエラー耐性の高いブランキング期間で伝送することで、この課題解決を図った。なお、その他の圧縮符号情報(以下、副圧縮符号情報と呼ぶ)は、圧縮画像データと同様、有効期間で伝送する。以下、この実施例を、図面を用いて説明する。
以下、本実施例による画像伝送装置および画像受信装置の実施形態について説明する。
図1は、本実施例の画像伝送システムを示すブロック図であり、画像送信装置100と画像受信装置200をケーブル300で接続した構成である。
画像送信装置100は、画像データを伝送する画像送信装置であり、デジタル放送を受信し視聴できるようにデコードした画像データや、記録媒体に記録された画像データ、カメラなどで撮影した画像データをHDMIケーブルなどにより、他の機器に出力する機器である。画像送信装置100の一例として、レコーダ、レコーダ機能を内蔵したデジタルTV、レコーダ機能を内蔵したパソコン、カメラ機能やレコーダ機能を搭載した携帯電話、カムコーダなどがある。
画像受信装置200は、HDMIケーブル等を使用して、画像データを入力しモニタに画像を出力する表示機器である。画像受信装置200の一例として、デジタルTVや、ディスプレイ、プロジェクタ、携帯電話、サイネージ機器などがある。
ケーブル300は、画像送信装置100と画像受信装置200の機器間で画像データ等のデータ通信を行うデータ伝送路である。ケーブル300の一例として、HDMI規格や、DisplayPort規格に対応した有線ケーブルもしくは、無線方式のデータ通信を行うデータ伝送路などがある。
まず、画像送信装置100の構成について説明する。
入力部101、102、103は、画像データを画像送信装置100に入力するための入力部である。入力部101に入力され、チューナ受信処理部105で処理される画像データの一例としては、放送局または放送用衛星などの中継局からの電波として入力されるデジタル放送がある。入力部101には、この放送局または放送用衛星などの中継局からの電波が入力される。
入力部102に入力され、ネットワーク受信処理部106で処理される画像データの一例としては、インターネットのブロードバンド接続を利用して、ネットワーク経由で配信されてくるデジタル放送や、情報コンテンツなどがある。
入力部103に入力され、記録メディア制御部107で処理される画像データの一例としては、入力部103に接続された外部の記録メディアに記録されているコンテンツがある。また、記録メディア制御部107で処理される映像データの一例としては、画像送信装置100内に内蔵された記録メディア108に記録されているコンテンツもある。入力部103に接続された外部の記録メディア、もしくは画像送信装置100内に内蔵された記録メディア108の一例としては、光ディスク、磁気ディスク、半導体メモリなどがある。
チューナ受信処理部105は、入力された電波をビットストリームに変換する受信処理部であり、ここでRF帯域(Radio Frequency)の電波はIF帯域 (Intermediate Frequency) に周波数変換され、受信チャネルに依存しない一定の帯域の信号として、復調されたビットストリームに伝送のために施された変調操作を復調する。
ビットストリームの一例としては、MPEG2トランスポートストリーム(以降MPEG2−TSとする)や、MPEG2−TSに準じたフォーマットのビットストリーム等がある。以降のビットストリームは、MPEG2−TSを代表として説明を行う。
前記チューナ受信処理部105は、さらに伝送途中で発生した符合の誤りを検出し訂正し、誤り訂正されたMPEG2−TSにつきスクランブルの解除を行った後、視聴もしくは記録を行うプログラムが多重化されている1トランスポンダ周波数を選択し、この選択した1トランスポンダ内のビットストリームを1プログラムのオーディオとビデオのパケットに分離化する。
前記チューナ受信処理部105からのMPEG2−TSは、データバス181を介してストリーム制御部111に供給される。ストリーム制御部111は、前記チューナ受信処理部105においてパケットを受信した時の間隔を保時する為に、受信したパケット内から時刻管理情報であるPTS(Presentation Time Stamp)と、MPEGシステムの基準復号器内部のSTC(System Time Clock)を検出し、検出結果により補正したタイミングでタイムスタンプを付加する。
前記タイムスタンプを付加したパケットをデコーダ部112もしくは、記録メディア制御部107のどちらか一方、または双方に供給する。デコーダ部112へのデータパス194は画像データを視聴する時の処理に用いられ、記録メディア制御部107へのデータパス193は、画像データを記録メディアに記録する時に用いられる。
前記ストリーム制御部111のデータバス192は、入力部102からネットワーク受信処理部106経由で入力されるMPEG2−TSが入力される。前記データパス192は、ネットワーク経由で配信されてくるデジタル放送もしくはデジタルコンテンツを取得する入力部である。
さらに入力部103に接続された外部の記録メディア、もしくは画像送信装置100内に内蔵された記録メディア108に記録されているデジタル放送もしくはデジタルコンテンツは、記録メディア制御部107によりMPEG2−TSとして読み出され、データバス193を介して前記ストリーム制御部111へ入力される。前記ストリーム制御部111は、これらの入力のうち少なくとも1つ以上を選択し、デコーダ部112に出力する。
デコーダ部112は、前記ストリーム制御部111から入力されたMPEG2−TSをデコードし、生成した画像データを表示処理部113に出力する。表示処理部113は、入力された画像データに対して、例えばOSD(On Screen Display)の重畳処理や、回転、拡大もしくは縮小処理、フレームレート変換処理を施した後、圧縮処理部114に出力する。
圧縮処理部114は、表示処理部113からの画像データに圧縮処理を施し、データ転送部115に出力する。
データ転送部115は、圧縮処理部114で圧縮された画像データ(以後、圧縮画像データと呼ぶ)を伝送に適した形式の信号に変換して出力部116から出力を行う。画像データの伝送に関して、ケーブル伝送に適した形式の信号の一例がHDMI規格に記載されている。HDMIにおいて、画像データは、TMDS方式のデータ伝送フォーマットが採用されている。
入力部104は、画像送信装置100の動作を制御するための信号を入力するための入力部である。入力部104の一例として、リモコンから送信される信号の受信部や、装置本体に備え付けられたボタンなどがある。入力部104からの制御信号は、ユーザIF109に供給される。前記ユーザIF109は、入力部104からの信号を制御部110に出力する。制御部110は、入力部104の信号に従い、画像送信装置100全体を制御する。制御部110の一例としては、マイクロプロセッサなどがある。画像送信装置100からの画像データは、ケーブル300を介して画像受信装置200に供給する。
次に画像受信装置200の構成について説明する。
入力部201は、ケーブル伝送に適した形式の信号が入力される。前記入力部201に入力された信号は、データ受信処理部205に供給される。
データ受信処理部205は、ケーブル伝送に適した形式の信号から所定のデジタルデータに変換する処理を施し、伸張処理部206に変換したデジタルデータを出力する。
伸張処理部206は、前記画像送信装置100内の圧縮処理部114で施した圧縮処理を伸張し、画像データを生成し、表示処理部207に出力する。
表示処理部207は、入力された画像データに対して表示処理を施す。表示処理の一例としては、OSD重畳処理、表示部208の解像度に変換するための拡大もしくは縮小処理、回転処理、フレームレート変換処理などがある。表示処理部207の出力は表示部208に出力する。
表示部208は、入力された画像データを表示方式にあわせた信号に変換し画面に表示する。表示部208の一例として、液晶ディスプレイや、プラズマディスプレイや、有機EL(Electro-Luminescence)ディスプレイ、プロジェクタ投影ディスプレイなどの表示部がある。
入力部202は、画像受信装置200の動作を制御するための信号を入力するための入力部である。入力部202の一例として、リモコンから送信される信号の受信部や、装置本体に備え付けられたボタンなどがある。入力部202からの制御信号は、ユーザIF203に供給される。前記ユーザIF203は、入力部202からの信号を制御部204に出力する。制御部204は、入力部202の信号に従い、画像受信装置200全体を制御する制御部である。
図2は、1フレーム期間の画像データが伝送される有効領域と画像データが伝送されないブランキング期間を示す図である。
400で示す領域が垂直期間を示し、垂直期間400は、垂直ブランキング期間401と垂直有効期間402から構成される。VSYNC信号は、垂直ブランキング期間401の先頭から規定されたライン数の間を1とし、その他の垂直ブランキング期間と垂直有効期間402の間は0とした1bitの信号である。規定されたライン数の一例としては、4ラインなどがある。
403で示す領域が水平期間を示し、水平期間403は、水平ブランキング期間404と水平有効期間405から構成される。HSYNC信号は、水平ブランキング期間404の先頭から規定された画素数の間を1とし、その他の水平ブランキング期間と水平有効期間405の間は0とした1bitの信号である。規定された画素数の一例としては、40画素がある。
有効期間406は、垂直有効期間402と水平有効期間405の期間に囲まれた領域を示し、この期間に画像データが割り当てられる。また、ブランキング期間407は、垂直ブランキング期間401と水平ブランキング期間404の期間に囲まれた領域である。
本実施例においては、上記構成において、有効期間406に圧縮画像データと副圧縮符号情報を送信し、ブランキング期間407に主圧縮符号情報を送信する。
ブランキング期間407は、音声データやその他の付属データをパケット化したデータを伝送している。
この音声データ等のパケットをブランキング期間407で信頼性のあるパケットを送る方法は、例えば特表2005−514873号公報に開示されている。
この構成で、ブランキング期間のパケットのデータに対しては誤り訂正符号が入っているため、伝送路で発生したエラーに対して補正ができエラー耐性が強くなる。また、ブランキング期間のパケットのデータ伝送用のデータは、物理的に異なる2つのチャンネルに伝送する構成とし、一定時間ごとに伝送するチャンネルを切り替えているため、片側のチャンネルでバースト的に発生したエラーに対して、他方のチャンネルが影響されないため、データエラーの補正を行うことができる。エラーの訂正率は、水平有効期間が10−9に対して、水平ブランキング期間は10−14の改善効果がある。
この例では、有効期間406では1クロック当り24bitの画像データを伝送し、ブランキング期間407では3byteのヘッダと28byteのデータで構成される1パケットを32クロック期間で伝送している。
例えば、水平3840有効画素、垂直2160有効ライン、YCbCr輝度色差信号の各12bitを444フォーマット、フレーム周波数60Hzで伝送する場合、891MHzと非常に高いクロック周波数が必要となる。高クロック周波数は送受信部のコストがかかるだけでなく、画像を安定に送ることができるケーブル長も短くなり使い勝手が悪くなる。
本実施例によれば、2/3の圧縮で594MHz、1/3の圧縮で297MHzと、実用的なクロック周波数に近づけることができる。また、YCbCr輝度色差信号の各8bitの444フォーマットや、各12bitの422フォーマットにおいては、1/2の圧縮で297MHzの実用的なクロック周波数にすることができる。
水平3840有効画素、垂直2160有効ラインにおいて、例えば、水平ブランキング期間は水平560ブランキング画素、垂直ブランキング期間は垂直90ブランキングラインになる。以下、水平3840有効画素、垂直2160有効ライン、YCbCr輝度色差信号の各12bitを444フォーマット、フレーム周波数60Hzの映像信号を1/3に圧縮する場合を例にとって説明する。
圧縮後のクロック周波数は297MHzで、水平1940有効画素、垂直2160有効ライン、水平280ブランキング画素、垂直90ブランキングラインという条件で伝送すると、受信側で2倍の周波数である原クロック594MHzを安定に再生しやすい。水平有効画素期間では、1画素当りYCbCr輝度色差信号の各12bit計36bitを1/3の12bitに圧縮すれば、圧縮後の1画素当り24bit伝送できるので原画素の2画素分の伝送が可能となり、圧縮後のクロック周波数は原クロックの半分となる。
32クロック当り1パケットが伝送できるので、圧縮後の水平280ブランキング画素では最大8パケットの伝送が可能となる。一方、音声データは1パケット当り24bit×8chの伝送ができる。画像データの水平周波数は135kHz(=60Hz×(2160+90))なので、192kHzサンプルの24bitリニアPCM音声を8ch伝送する場合は1水平ブランキング期間中に最大2パケット必要である。残りの6パケット、168byte(=28byte×6パケット)以内で圧縮符号方式情報を記述できることが望ましい。
一方、前述した32画素を単位ブロックとして圧縮する場合、水平3840有効画素なので120ブロック分のYCbCr輝度色差信号の各圧縮符号方式情報、計360個分の記述スペースが必要である。主圧縮符号情報を例えば3bitで表現すると、135byte分の記述スペースとなり、5パケットで伝送できるので、192kHz、8chの大容量音声データ伝送と両立できる。
図3と図4は、圧縮処理部114に入力される画像データの一例を示す図である。水平方向にn画素、垂直方向にmラインの輝度信号を示す。色差信号は、444フォーマットの場合、輝度信号と同じフォーマットとなる。画素数n及びライン数mの一例としては、n=1920、m=1080のいわゆるフルHD画像やn=3840、m=2160のいわゆる4k2k画像などがある。
ここで、圧縮処理部114で圧縮する画像データの単位ブロック(以下、圧縮ブロックと呼ぶ)を、水平方向l画素と垂直方向k画素とする。図3において、501および502はl=32、k=1の例を示し、同じライン内で連続した32画素のデータで構成する。この画像データの単位で、圧縮処理部114は圧縮を行う。
図4において、503および504は、l=16、k=2の例を示し、上下2ライン間で連続する16画素のデータで構成する。この画像データの単位で、圧縮処理部114は圧縮を行う。圧縮処理として、水平圧縮部と垂直圧縮部を有し、垂直方向k画素数(ライン数)が異なるk1とk2(k1<k2)の画像データ単位ブロックを用意し、水平圧縮部がk1の画像データ単位ブロックを、垂直圧縮部134がk2の画像データ単位ブロックを圧縮しても良い。
圧縮する画像データの単位の一例として、32画素を例にとって説明したが、64画素や128画素などの単位としてもよい。
入力された色差信号が422フォーマットの場合は、色差信号のCb成分とCr成分が1画素ごとに入れ子のデータとなる。例えば4k2k画像においてCb成分とCr成分を合わせてn=3840、m=2160の画像データとして扱ってもよい。一般にCb成分同士、Cr成分同士の相関が高いので、Cb成分とCr成分を分けて、n=1920、m=2160として扱うことにより、同一成分のみで圧縮する画像データの単位ブロックとすることによって、圧縮効率を高めることができる。
入力された色差信号が420フォーマットの場合は、色差信号のCb成分とCr成分がY信号4画素に対して1画素分のデータとなる。例えば4k2k画像においてCb成分とCr成分を合わせてn=1920、m=2160の画像データとして扱ってもよい。一般にCb成分同士、Cr成分同士の相関が高いので、Cb成分とCr成分を分けて、n=1920、m=1080として扱うことにより、同一成分のみで圧縮する画像データの単位とすることによって、圧縮効率を高めることができる。
圧縮符号情報は、主圧縮符号情報と副圧縮符号情報で構成される。主圧縮符号情報と副圧縮符号情報を元に、圧縮画像データから元の画像データへ伸張処理を行うことができる。
主圧縮符号情報だけで、簡易な伸張処理または、一部伸張処理を行うことができる。
主圧縮符号情報は、副圧縮符号情報に比べて、よりエラー耐性の高い伝送路で伝送する。本実施例では、有効期間406に圧縮画像データと副圧縮符号情報を伝送し、ブランキング期間407に主圧縮符号情報を伝送する。主圧縮符号情報のブランキング期間407での伝送例として、ライン単位で共通の主圧縮符号情報を垂直ブランキング期間401で伝送し、同一ライン中の圧縮ブロックに対する主圧縮符号情報を水平ブランキング期間404で伝送する方法がある。
上記の構成をとることで、伝送エラー率の高い伝送路において、副圧縮符号情報にエラーが発生した場合でも、主圧縮符号情報にエラーが発生する確率は大幅に低下する。このため、伝送エラー率の高い伝送路上で、副圧縮符号情報にエラーが発生した場合、主圧縮符号情報を用いて簡易伸張した画像データまたは一部伸張した画像データをエラー補正に用いることで、表示の乱れを抑制することができる。また、主圧縮符号情報に、圧縮ブロックサイズを含めることで、副圧縮符号情報にエラーが発生した場合、表示の乱れを圧縮ブロック内に抑えることができる。
また、圧縮符号情報は、主圧縮符号情報または副圧縮符号情報のみで構成しても良い。
圧縮符号情報および圧縮画像データの構成例を図5に示す。
本例では、圧縮ブロック600の単位が、サブ圧縮ブロック610、620で構成され、各サブ圧縮ブロック610、620が、画素611、612、613、614および、画素621、622、623、624で構成されている。
圧縮後の圧縮ブロックの構成の一例を630に示す。圧縮ブロック630は、圧縮符号情報631と圧縮画像データ632で構成される。圧縮画像データ632は、画素データ611、612、613、614、621、622、623、624を圧縮することで生成される圧縮画像データである。圧縮符号情報631は、圧縮処理で生成される情報である。本構成において、圧縮符号情報を有効期間406で伝送した場合、伝送エラー率の高い場合には圧縮符号情報に対してもエラーが発生する確率が高くなり、結果、圧縮ブロック単位で表示の乱れが発生し易くなるという課題がある。また、圧縮符号情報をブランキング期間407で伝送した場合、有効期間406に比べて伝送可能なデータ量が大幅に少なくなるため、圧縮符号情報量の削減が課題となる。
圧縮後の圧縮ブロックの構成の別の一例を640に示す。本例では、圧縮符号情報を主圧縮符号情報641と、副圧縮符号情報642、644の2種類で構成する。圧縮ブロック640は、主圧縮符号情報641と、副圧縮符号情報642および644と、圧縮画像データ643および645で構成される。圧縮画像データ643は、サブ圧縮ブロック610に属する画像データ611、612、613、614を圧縮することで生成される圧縮画像データである。副圧縮符号情報642は、画素データ611、612、613、614に対する圧縮処理で生成される情報である。圧縮画像データ645は、サブ圧縮ブロック620に属する画像データ621、622、623、624を圧縮することで生成される圧縮画像データである。副圧縮符号情報644は、画素データ621、622、623、624に対する圧縮処理で生成される情報である。
圧縮後の圧縮ブロックの構成の別の一例を650に示す。本例では、圧縮符号情報を主圧縮符号情報651と、副圧縮符号情報652の2種類で構成する。圧縮ブロック650は、主圧縮符号情報651と、副圧縮符号情報652と、圧縮画像データ653で構成される。圧縮画像データ653は、圧縮ブロック600に含まれる画像データ611、612、613、614、621、622、623、624を圧縮することで生成される圧縮画像データである。主圧縮符号情報651および副圧縮符号情報652は、圧縮ブロック600に対する圧縮処理で生成される情報である。
圧縮後の圧縮ブロックの構成の別の一例を660に示す。本例と、圧縮後の圧縮ブロック650との差異は、副圧縮符号情報662が、圧縮後の圧縮ブロック650における副圧縮符号情報652に対してさらに圧縮をかけた情報であるという点である。ここでは図示していないが、主圧縮符号情報651に対して更に圧縮をかけることで、伝送データ量の削減を図っても良い。
前記圧縮後の圧縮ブロック640、650、660の構成をとった場合、主圧縮符号情報を、副圧縮符号情報よりエラー耐性の高い伝送路で伝送することで、エラー耐性の高い伝送路に伝送するデータ量を抑えつつ、表示画像(復元画像)に対する伝送エラーの影響を抑えることが可能となる。
図6は、図5に示す圧縮後の圧縮ブロック640、650、660に対する伝送タイミングの説明図である。700および702は有効期間406であり、701は水平ブランキング期間404である。710、711、712は有効期間700で伝送される圧縮前の1ライン分の画像データである。本例では、3個の圧縮ブロック710、711、712に対して、圧縮処理を行う。
730は、圧縮ブロック710、711、712に対する圧縮処理で生成される主圧縮符号情報である。731,732,733は、圧縮ブロック710、711、712に対する圧縮処理で生成される圧縮ブロックである。圧縮ブロックは、圧縮画像データと、圧縮処理で生成される副圧縮符号情報で構成される。圧縮後の圧縮ブロック731の構成の一例として、740、750、760を示す。これらは、それぞれ図5に示すサブ圧縮ブロック640、650、660に対応する。
主圧縮符号情報730は、有効期間700、702よりもエラー耐性の高い水平ブランキング期間701で伝送する。また、画像データ710に対する圧縮処理で生成される圧縮画像データと副圧縮符号情報で構成される圧縮後の圧縮ブロック731、732、733は、水平ブランキング期間701の次の有効期間702で伝送する。なお、主圧縮符号情報の一部または全てを垂直ブランキング期間401で伝送しても良い。
主圧縮符号情報と副圧縮符号情報の一例を、図28を用いて説明する。
圧縮ブロック920の単位が水平32画素であり、サブ圧縮ブロック921、922、923、924の単位が8画素である圧縮処理を行う場合を考える。先頭のサブ圧縮ブロック921に対する圧縮符号情報926を主圧縮符号情報とし、それ以外の3個のサブ圧縮ブロックに対する圧縮符号情報927、928、929を副圧縮符号情報とする。
主圧縮符号情報は、先頭のサブ圧縮ブロック921に対する圧縮符号情報926と、サブ圧縮ブロック921の伸張処理に用いるその他の圧縮符号情報(例えば、各サブ圧縮ブロックに共通の共通圧縮符号情報925など)で構成される。
副圧縮符号情報は、2番目以降のサブ圧縮ブロック922、923、924に対する圧縮符号情報927、928、929で構成される。
本例の構成をとることで、伝送エラー率の高い伝送路上で、副圧縮符号情報にエラーが発生した場合、主圧縮符号情報を用いて伸張した、先頭のサブ圧縮ブロックに属する画像データをエラー補正に用いることで、表示の乱れを抑制することができる。エラー補正の一例として、主圧縮符号情報により伸張した各圧縮ブロックの先頭のサブ圧縮ブロックに属する画像データから、エラーが発生したサブ圧縮ブロックに属する補完画像を生成して表示する方法がある。
伝送路の一例として、副圧縮符号情報(図28(c))と圧縮部出力(図28(d))を有効期間406で伝送し、主圧縮符号情報を、よりエラー耐性の高い水平ブランキング期間404で伝送する方法がある。
主圧縮符号情報と副圧縮符号情報の別の一例を、図27を用いて説明する。
圧縮ブロック900の単位が水平32画素であり、サブ圧縮ブロック901、902、903、904の単位が8画素である圧縮処理を行う場合を考える。
第一の圧縮部(圧縮部A133)では、サブ圧縮ブロック901、902、903、904に対してサブ圧縮ブロック単位で第一の圧縮処理を行い、サブ圧縮ブロック単位の副圧縮符号情報(第一圧縮符号情報905、906、907、908)と圧縮画像データ(第一圧縮画像データ909、910、911、912)を生成する。第二の圧縮部(圧縮部B134)では、入力された4個のサブ圧縮ブロック単位の圧縮画像データ(第一圧縮画像データ909、910、911、912)に対して、更に第二の圧縮処理を行い、1個の主圧縮符号情報(第二圧縮符号情報914)と圧縮画像データ(第二圧縮画像データ914)と圧縮画像データ(第二の圧縮画像データ915)を生成する。主圧縮符号情報を、副圧縮符号情報(第一圧縮符号情報905、906、907、908)や圧縮画像データ(第二の圧縮画像データ915)の伝送路よりもエラー耐性の高い伝送路で伝送することで、伝送エラー率が高い伝送路においても、サブ圧縮ブロック単位までの伸張処理を行うことができ、エラーの影響範囲をサブ圧縮ブロック範囲内に抑えることが可能となる。
第二圧縮符号情報914に加えて、第一圧縮符号情報905、906、907、908で共通な圧縮符号情報913を主圧縮符号情報として伝送することで、更にエラー耐性を高めることができる。
圧縮符号情報の別の一例として、例えば圧縮ブロック単位が水平32画素であり、サブ圧縮ブロック単位が8画素であり、サブ圧縮ブロック単位ごとにサイズ情報が付加される圧縮処理を行う場合を考える。サブ圧縮ブロック単位ごとのサイズ情報の総和、すなわち圧縮ブロック単位のサイズ情報を主圧縮符号情報に含め、サブ圧縮ブロック単位ごとにサイズ情報を副圧縮符号情報に含める。主圧縮符号情報を、よりエラー耐性の高い伝送路で伝送することで、伝送エラー率が高い伝送路において、副圧縮符号情報でエラーが発生した場合、主画像符号情報を元に圧縮ブロック単位のサイズを生成し、そのサイズ分、伸張処理を飛ばすことで、次の圧縮ブロックへのエラーの影響を防ぐことができる。
エラー耐性の高い伝送路において、伝送可能なデータ量に余裕がある場合には、各サブ圧縮ブロックに対するサイズ情報を全て、主圧縮符号情報として伝送しても良い。この場合、副圧縮符号情報でエラーが発生した場合、主画像符号情報を元にエラーが発生したサブ圧縮ブロックのサイズを生成し、そのサイズ分、伸張処理を行わないことで、他のサブ圧縮ブロックへのエラーの影響を防ぐことができる。
図7は、圧縮処理部114の構成の一例を示すブロック図である。
入力部130は、圧縮処理部114へ画像データを入力するための入力部である。
入力された画像データは、圧縮部A133、圧縮部B134、圧縮部C135に供給される。
圧縮部A133、圧縮部B134、圧縮部C135は、入力された画像データに対して、それぞれ異なる圧縮処理を行い、圧縮符号情報と圧縮画像データを生成する。なお、制御信号131により指定された圧縮部以外は、圧縮処理を行わないまたは動作クロック自体を止めることで、消費電力を削減することも可能である。
圧縮部A133、圧縮部B134、圧縮部C135は、圧縮ブロックを構成する複数の画像データに対して、圧縮を行う圧縮回路により構成される。圧縮方式の一例としては、水平方向にWavelet変換を演算し、その演算結果に対して、符号化した圧縮方式等で構成する。圧縮方式として、アダマール変換や、ランレングス符号化、ハフマン符号化、差分符号化などを適用してもよい。
また、別の圧縮方式の一例として、垂直方向の複数の画像データに対して、圧縮を行う圧縮回路により構成される。圧縮方式の一例としては、垂直方向に2ライン分、水平方向に16画素分の画像データを圧縮する画像データの単位ブロックとして、まず垂直方向に対し差分をとり、次に水平方向に差分をとる。その結果に対して符号化する圧縮方式等で構成する。
また、別の圧縮方式の一例として、444フォーマットや422フォーマットの色差信号が入力された際に、422フォーマットや420フォーマットに間引く回路により構成される。444フォーマットや422フォーマットが入力された場合、後述する図8で示す圧縮処理部114の構成において、所定の圧縮率を超えた場合には、422フォーマットや420フォーマットへ間引き処理を行っても良い。
ここで、圧縮率とは、圧縮前のデータ量と圧縮後のデータ量の比である。例えば、圧縮前のデータ量が100、圧縮後のデータ量が30の場合、圧縮率は30%となる。したがって、高い圧縮率ほど圧縮後のデータ量が多くなり、画質劣化が少ない。
図10は、圧縮部A133の構成の一例を示すブロック図である。
入力部150は、圧縮部A133へ画像データを入力するための入力部である。
入力部151は、圧縮部A133を制御するための制御信号を入力するための入力部である。
第一の圧縮部153は、入力された画像データに対して圧縮処理を行い、圧縮符号情報と圧縮画像データを生成するブロックである。第一の圧縮部153で生成された圧縮符号情報は、圧縮符号情報生成部155に供給される。また、第一の圧縮部153で生成された圧縮画像データは選択部156に供給される。
圧縮符号情報生成部155は、入力された圧縮符号情報から、主圧縮符号情報と副圧縮符号情報を生成するブロックである。圧縮符号情報生成部155は、生成した主圧縮符号情報と副圧縮符号情報を一時的に記憶するメモリを有してもよい。
選択部156は、第一の圧縮部153から供給された圧縮画像データと、圧縮符号情報生成部155から供給された主圧縮符号情報および副圧縮符号情報を選択して出力するブロックである。
図11は、圧縮部A133の構成の別の一例を示すブロック図である。
入力部160は、圧縮部A133へ画像データを入力するための入力部である。
入力部161は、圧縮部A133を制御するための制御信号を入力するための入力部である。
第一の圧縮部163は、入力された画像データに対して第一の圧縮処理を行い、副圧縮符号情報と圧縮画像データを生成するブロックである。第一の圧縮部163で生成された副圧縮符号情報は、選択部166に供給される。また、第一の圧縮部163で生成された圧縮画像データは、第二の圧縮部164に供給される。
第二の圧縮部164は、入力された圧縮画像データに対して第二の圧縮処理を行い、主圧縮符号情報と圧縮画像データを生成するブロックである。第二の圧縮部164で生成された主圧縮符号情報および圧縮画像データは、選択部166に供給される。
選択部166は、第一の圧縮部163から供給された副圧縮符号情報と、第二の圧縮部164から供給された主圧縮符号情報および圧縮画像データを選択して出力するブロックである。
本例の構成により、図27で示す2段階の圧縮処理を行うことが可能となる。また、本例では、2つの圧縮部を例にとり説明したが、3段階以上の圧縮部を設けてもよい。
以上でその動作を説明してきた圧縮部A133、圧縮部B134、圧縮部C135の出力が、選択部136に供給される。
本例では、3つの圧縮部133、134、135を有する圧縮処理部を用いて説明したが、圧縮部が1個または2個だけ有してもよいし、4個以上の圧縮部を有してもよい。
選択部136は、圧縮部A133、圧縮部B134、圧縮部C135の内、所定の圧縮率を満たしかつ画質指数の高いものを選択し、エラー訂正符号生成部137に供給する。画質指数とは、例えば、圧縮画像データを復元した画像データと圧縮前の画像データの差異が小さいほど良い値を示す指数がある。圧縮ロスが発生せず、可逆符号化ができた場合が最高値である。画質指数の計算を簡略化するため、圧縮方式別に画質指数の値を用意しておいてもよい。444フォーマットのまま圧縮して圧縮ロスが発生する場合よりも、422フォーマットへ間引き後に可逆符号化できた場合を高い画質指数に定義してもよい。圧縮によって逆にデータ量が増加してしまう場合は、422フォーマットや420フォーマットに間引いて圧縮や、量子化bit数を減らすことによって所定の圧縮率を達成させるが、その間引きや量子bit数減に応じた画質指数を設定する。
また、入力部131から入力される制御信号によって、圧縮部A133、圧縮部B134、圧縮部C135の何れか1つの動作を有効にして、その他2つは動作を停止しても良い。この場合、選択部136には、入力部131から、動作が有効である圧縮部を示す制御情報を入力する。選択部136は、該制御情報を元に、動作が有効である圧縮部の出力信号をエラー訂正符号生成部137に出力する。
エラー訂正符号生成部137は、圧縮部A133、圧縮部B134、圧縮部C135で圧縮された画像データ(圧縮画像データ)の単位ごとにエラー訂正符号を演算し、圧縮画像データに付加して、メモリ制御部139に出力する。エラー訂正の方式の一つとして、CRC(Cyclic Redundancy Check)方式やパリティチェック方式などがある。
データ伝送容量に応じて、エラー訂正符号を付加するか否かを判別しても良い。ケーブルのデータ伝送容量が限られている場合、エラー訂正符号を付与すると画素又は階調をより多く間引くことになり、画面全体の画質劣化につながるためである。伝送容量に余裕があれば圧縮画像データにエラー訂正符号を付加して、エラー耐性を向上させてもよい。圧縮画像データへのエラー訂正付加有無のメタデータを合せて伝送することによって、受信側でエラー訂正処理をするかどうかを判別させてもよい。また、適用する圧縮方式によってエラー訂正処理を変えてエラー耐性レベルを変えてもよいし、どのエラー訂正符号を付与したかを示す情報をメタデータとして加えてもよい。また、エラー訂正処理を行わず、入力データをそのまま出力してもよい。
メモリ制御部139は、エラー符号生成部137から供給される圧縮画像データと主圧縮符号情報と副圧縮符号情報を一時的にメモリ部140に蓄積する。また、副圧縮符号情報と圧縮画像データを、メモリ部140から読み出して、有効期間406に出力する。また、主圧縮符号情報をメモリ部140から読み出して、圧縮画像データを出力する有効期間406の直前の水平ブランキング期間404に出力する。また、別の方式としては、1ライン分のエラー訂正符号付の圧縮画像データ、主圧縮符号情報および副圧縮符号情報のいずれも、1ライン分の有効期間406内に伝送して伝送量の増大を図ってもよい。また、エラー訂正符号を主圧縮符号情報に含めて、水平ブランキング期間404に出力することで、エラー訂正の信頼性を向上させてもよい。
出力部132は、前記メモリ制御部139からの圧縮画像データと、主圧縮符号情報と、副圧縮符号情報が出力される。図示していないが、図7の各ブロックは、図1の制御部110の制御信号に従ってその動作を制御される。
図12は、エラー訂正符号生成部136の構成の一例を示すブロック図である。入力部170には圧縮画像データが入力される。圧縮画像データは、保持部175とエラー訂正符号演算部173に入力される。エラー訂正符号演算部173は、入力された圧縮画像データに対して、生成多項式で巡回演算をする。
生成多項式の一例としては、
(数1)G(X)=X16+X12+X5+1
がある。この生成多項式は、入力された圧縮画像データ中の各ビットにつき排他的論理和をとり巡回演算する。演算の単位は圧縮画像データの単位とする。
入力部171は、圧縮画像データが入力されている期間を示す信号が入力され、タイミング生成部174に供給される。タイミング生成部174は、圧縮画像データの有効期間をカウントし圧縮する画像データの単位ブロック分の演算が処理されたことを示す信号をエラー訂正演算結果出力タイミング信号として、データ保持部175に出力する。さらに、タイミング生成回路174は、圧縮画像データの入力期間を示すタイミング信号や、圧縮画像データとエラー訂正符号演算結果を出力するタイミング信号なども合せてデータ保持部175に出力する。
データ保持部175は、タイミング生成部174の示すタイミングに従って、エラー訂正符号演算部173の演算結果と圧縮画像データを例えばメモリやフリップフロップ、遅延素子等によって一時的に記憶し、それらを順次、出力部132へ出力する。
図13は、データ転送部115の構成の一例を示すブロック図である。入力部180は、圧縮画像データをシリアライザ部184に出力する。また入力部181は、画像データのクロックが入力され、PLL186と出力部182に出力する。
画像データのクロックには、非圧縮画像データの標準的なタイミングフォーマットで使われる画素クロックに同期したクロックを用いる。例えば、非圧縮画像データの画素クロックを2分周したクロックを用いてもよい。この場合、該非圧縮画像データが12bitsの量子化画像データである場合は、クロックで1/2、量子化bit数で8/12となるので、前記した所定の圧縮率は1/3以下を設定する必要がある。クロックは2分周以外に、3/4逓倍や2/3逓倍としてもよい。非圧縮画像データの画素クロックに同期したクロックを圧縮画像データの伝送に使うことにより、受信側で非圧縮画像データを復元する場合に、伝送クロックの2倍や4/3倍、3/2倍などの逓倍したクロックを画素クロックとして使うことにより。復元データのジッタを最小化できる利点がある。
PLL186は、入力されたクロックに対して逓倍化もしくは分周したクロックを生成する。逓倍化の一例としては、入力されたクロックの周波数に対して、5倍や10倍などがある。PLL186で生成するクロックは、1種類のクロックとしてもよいし、2種類のクロックとしてもよい。1種類のクロックの例としては、入力されたクロックの10逓倍がある。また2種類のクロックの例としては、データ伝送量を優先した第1のクロック速度と、エラーの発生頻度を下げることを優先した第1のクロック速度より遅い速度の第2のクロック速度のクロックがある。速度の一例としては前記第1のクロック速度を入力クロックの10逓倍、第2のクロック速度を入力クロックの5逓倍などがある。
PLL186で生成した逓倍したクロックをシリアライザ部184に出力する。
シリアライザ184は、入力されたYCbCr輝度色差信号の圧縮画像データを、10逓倍したクロックで1bitずつシリアル化し、レベル変換部185に出力する。入力部181に入力された1クロックに対して、入力部180に入力されるデータが8bitある場合、該8bitデータを10bitにマッピングしてシリアル化したビットストリームのDC成分を抑圧するTMDS伝送方法などを用いてもよい。出力部176に接続されるケーブルが3本ある場合は、各ケーブル毎に上記シリアル処理を行うことによって、入力クロック当り24bitの圧縮画像データを送ることができる。
レベル変換部185は、ケーブル伝送に適した形式の信号を出力部182経由で出力する。
図8は、圧縮処理部114の構成の別の一例を示すブロック図である。
メモリ制御部142は、エラー符号生成部137から供給される圧縮画像データと主圧縮符号情報と副圧縮符号情報を一時的にメモリ部140に蓄積する。また、副圧縮符号情報と圧縮画像データを、メモリ部140から読み出して、有効期間406に出力する。また、主圧縮符号情報をメモリ部140から読み出して、圧縮画像データを出力する有効期間406の直前の水平ブランキング期間404に出力する。さらに、圧縮画像データを、メモリ部140から読み出して、選択部141へ供給することができる。
選択部141は、入力部130から入力される画像データと、メモリ制御部142から供給される圧縮画像データ143のいずれかを選択して、圧縮部A133、圧縮部B134、圧縮部C135に供給するブロックである。また、入力部130から入力される画像データを所定の圧縮部へ出力すると共に、圧縮画像データ143を別の圧縮部へ出力してもよい。本例の構成により、図27で示す2段階の圧縮処理を行うことが可能となる。また、さら3段階以上の圧縮処理を行なってもよい。
図9は、圧縮処理部114の構成の別の一例を示すブロック図である。
選択部138は、エラー符号生成部137から供給される主圧縮符号情報と副圧縮符号情報をメモリ制御部145に出力し、エラー符号生成部137から供給される圧縮画像データを選択部144に出力する。
メモリ制御部145は、選択部138から供給される主圧縮符号情報と副圧縮符号情報を一時的にメモリ部140に蓄積する。また、副圧縮符号情報を、メモリ部140から読み出して、選択部144を介して後述する有効期間406に出力する。また、主圧縮符号情報をメモリ部140から読み出して、選択部144を介して、副圧縮符号情報を出力する有効期間406の直前の水平ブランキング期間404に出力する。
選択部144は、選択部138から供給される圧縮画像データと、メモリ制御部145から供給される主圧縮符号情報と副圧縮符号情報を選択して、出力部132に出力するブロックである。
本例において、選択部138が、副圧縮符号情報を、圧縮画像データと共に、メモリ制御部145を介さず、直接選択部144に出力してもよい。この場合、メモリ制御部145は主圧縮符号情報に対するメモリ書き込みおよび読み出し処理を行う。本例の構成をとることで、送信機100側のメモリ部140が有するメモリ量を少なく抑えることができる。
図14〜図17に主圧縮符号情報の一部を伝送するパケットの一例を示す。
図14と図16がパケットのヘッダの一例であり、最初のヘッダブロックHB0に本発明の圧縮符号化伝送方式に関する情報であることを示す共通のヘッダタイプ0Bhを記述する。HB1の各bitとHB2のBit4〜7は将来拡張用として0としている。HB2のBit0〜3に示すEco_Packet#がフレーム内での識別を示している。図15と図17がヘッダに続けて伝送される28byteのデータの一例である。
図14のヘッダにおいて、Eco_Packet#は0hを割り当て、図14のヘッダと図15のデータから構成されるパケットが各フレーム内の共通情報(主圧縮符号情報)であることを示す。このパケットは垂直ブランキング期間中に配置され、各画像フレームに少なくとも1回送信される。以下、図15のデータの内容を説明する。
Color_Sampleは、カラーサンプル情報を示し、例えば0がYCbCr輝度色差信号で444フォーマット(以後、YCbCr444と呼ぶ)、1がYCbCr輝度色差信号で422フォーマット(以後、YCbCr422と呼ぶ)、2がYCbCr輝度色差信号で420フォーマット(以後、YCbCr420と呼ぶ)、3がRGB信号で444フォーマット(以後、RGB444と呼ぶ)を示し、4〜7は将来拡張用である。422フォーマットや420フォーマットではさらにCbCrのサンプル位置情報を示すBitを追加で割り当ててもよい。
Eco_Memは、後述する図16および図17で示す主圧縮符号情報の一部を伝送するパケットを、圧縮画像データを伝送する有効期間406の直前の水平ブランキング期間に伝送する場合には0とし、圧縮画像データを伝送する有効期間406の直後の水平ブランキング期間に伝送する場合には1としている。
CDはColor Depthであり、例えば4hは各YCbCr成分8bitの計24bit Color、5hは各YCbCr成分10bitの計30bit Color、6hは各YCbCr成分12bitの計36bit Color、7hは各YCbCr成分16bitの計48bit Colorを示し、その他は将来拡張用である。この定義はHDMIが既定するDeep Color Modeの定義に準じている。
Eco_FLMは、フレーム内の全ブロックの圧縮符号方式が同一である場合に1とし、ブロック毎に設定する場合を0としている。1の場合は、後述するEco−CD0とEco−CD1、Eco−CD2にそれぞれY、Cb、Crの圧縮符号方式を記述する。
CK_NとCK_Mは、その比(CK_N/CM_M)が、非圧縮画像データの画素クロックと、圧縮後のデータを伝送する通信路のクロック例えばTMDSクロックとの周波数比を示す。例えばCM_N=1でCK_M=2であれば、4k2kの場合の非圧縮画像データの画素クロック594MHzに対して伝送系のTMDSクロックは1/2の297MHzとなる。
Eco_Blockは圧縮ブロックを構成する画素数を示している。
Eco_CD0〜Eco_CD3は、各画像データ単位ブロックに適用する圧縮符号化情報の候補を4種類示すものである。図18に一例を示すように、圧縮する画像データ単位の圧縮符号情報Eco_Codeから4種類を選択する。
図16のヘッダと図17のデータからなるパケットは、各水平ブランキング期間に1個以上伝送される。図16のヘッダ中のEco_Packet#は、各ラインに伝送される本パケットのシリアル番号を示すものであり、1から始まり順次1ずつ増やしていく。
Eco_length_0〜Eco_length_39は、有効期間406を伝送する圧縮ブロックのサイズ情報を示している。サイズ情報の一例としては、圧縮ブロックのビットサイズ、バイトサイズがある。また、圧縮ブロックのビットサイズ、バイトサイズの元となる情報でも良い。例えば、圧縮ブロックサイズS_Blockが32bitから64bitまでの2飛びの値をとる場合、以下の式で圧縮ブロックのビットサイズを定義する方法がある。
(数2)S_Block=32+(2×Eco_length_#)(#は0〜39)
上記例では、Eco_length_#は4bitとなる。
Eco_length_#は、Y、Cb、Cr毎に規定しても良いし、YとCbとCrの圧縮ブロックサイズを足し合わせた値で規定しても良い。後者の場合、Eco_length_#の伝送量を1/3に削減することができる。
圧縮ブロック単位に規定される圧縮符号情報は、副圧縮符号情報として、圧縮画像データと共に、有効期間406中に伝送する。副圧縮符号情報の種類としては、Eco_Error_0〜39やCode_0〜Code_39がある。
Eco_Error0〜Eco_Error39は、エラー符号化方式を示している。エラー符号化方式は、エラー訂正符号生成部137において、有効期間406に伝送するデータに対して演算するエラー訂正符号化の方式である。エラー訂正符号化方式の一つとして、CRC(Cyclic Redundancy Check)方式やパリティチェック方式などがある。
Code_0〜Code_39は、図15のEco_CD0〜Eco_CD3で記述した4種類の圧縮符号化情報から選択した番号を、各画像データ単位ブロックにおいて、各Y、Cb、Cr成分を順番に記述する。例えば、最初の画像データ単位ブロックのY成分の圧縮符号情報を示すCode_0が1であれば、Eco_CD1を指す。Eco_CD1が10を示していれば、図18から原画像のデータの444フォーマットY成分を差分符号化方式で圧縮したデータであることを示している。
図4に示した垂直2ラインを画像データ単位ブロックとする場合は、1ライン目のCode_0が画像データ単位ブロック503の圧縮符号情報を、2ライン目のCode_0が画像データ単位ブロック504の圧縮符号情報を示す。
図15のColor_Sampleが444フォーマットを示している場合は、Code_1は、第1画像データ単位ブロックのCbの圧縮符号情報、Code_2は第1画像データ単位のCrの圧縮符号情報、Code_3は第2画像データ単位ブロックのYの圧縮符号情報を示す。Color_Sampleが420フォーマットを示している場合は、Code_1は、第2画像データ単位ブロックのYの圧縮符号情報、Code_2は第1と第2画像データ単位のCb(偶数ラインではCr)の圧縮符号情報、Code_3は第3画像データ単位ブロックのYの圧縮符号情報を示す。Color_Sampleが422フォーマットを示している場合は、Code_1は、第1と第2画像データ単位ブロックのCbの圧縮符号情報、Code_2は第第2画像データ単位のYの圧縮符号情報、Code_3は第1と第2画像データ単位ブロックのCbの圧縮符号情報を示す。
また、Code_0が0であれば、Eco_CD0を指し、Eco_CD0が6を示していれば図18から、原画像のデータの444フォーマット各Y、Cb、Cr成分12bitデータを420フォーマット8ビットに間引いていることを示している。この場合は、Y成分のCode_0のみでCbとCrの伝送形態が決まる為、Cb成分を示すCode_1やCr成分を示すCode_2の情報は不要であり、0を記述しておくよい。
さて、図1に図示していないが、画像受信装置200には画像受信装置200の性能を示すEDID(Enhanced Extended Display Identification Data)を格納したROMが搭載されている。このROMの中に画像受信装置200が圧縮伸張に対応しているか否かを判別する情報を付加してもよい。これにより、画像伝送装置100は、画像受信装置200のEDIDを格納したROMから、圧縮伸張に対応しているか否かを判別する情報を読出し、対応している装置であれば、圧縮した画像データを伝送し、非対応の装置であれば、圧縮せず従来のサイズで画像を送信することにより、圧縮処理に非対応の画像受信装置とも互換性を保つことができる。また、有効期間406に圧縮符号情報を伝送するためのエラー訂正符号化方式に対応しているか否かを判別する情報を読出し、対応している装置であれば、エラー訂正符号化処理を行い、圧縮符号情報として伝送し、非対応の装置であれば、エラー訂正符号化処理を行わずに送信することにより、圧縮処理に非対応の画像受信装置とも互換性を保つことができる。また、非対応の装置の場合、ブランキング期間407におけるパケットのエラー訂正機能を用いて伝送エラーに対する耐性を高めても良い。また、画像受信装置が圧縮に非対応であり、従来の画像サイズであることや、エラー訂正符号化に非対応の旨を表示部208に表示することにより、ユーザに通知することがきる。
このEDIDの記述例を図19に示す。図19は、HDMI−VSDBと称される領域へ拡張した例を示している。
6Byte目のBit2に本実施例の圧縮符号化伝送方式への対応可否を示すEco_transferフラグを設ける。本領域は予約領域として扱われてきたので、非対応のレガシー機器では0と記載されており、対応機器のみ1と記載することによって後方互換性を維持できる。このEco_transferフラグが1の場合、Byte9とByte10の記述が有効となる。
Block_64とBlock_128は、圧縮する画像データ単位ブロックの大きさがそれぞれ64画素、128画素に対応することを示すフラグである。画像データ単位ブロックの大きさ32画素は本圧縮画像データ伝送対応における必須モードと定義して、EDID記述スペース節約のため、あえて表記していない。
Eco−Code1〜4は、それぞれ、図18に一例を示した圧縮符号化方式、Wavelet変換、ランレングス符号化、ハフマン符号化、差分符号化に対応していることを示すフラグである。
CLK_1、CLK_3/4、CLK_1/2は、それぞれ非圧縮画像データクロックに対する、TMDS伝送クロックの周波数が1倍、3/4倍、1/2倍となるモードに対応していることを示すフラグである。
Eco_Error_1〜4は、それぞれに規定されたエラー符号化方式に対応している場合には1を、非対応の場合には0となるフラグである。
Eco_Memは、主圧縮符号情報が、圧縮画像データを伝送する有効期間406の直前の水平ブランキング期間に伝送する場合に対応している場合には1とし、圧縮画像データを伝送する有効期間406の直後の水平ブランキング期間に伝送する場合には2としている。3は共に対応している場合を示し、0はどちらにも対応していない場合を示す。
また、画像伝送装置100を携帯機器として使用する場合に、バッテリー駆動の装置となるため、画像伝送装置100の消費電力が連続使用時間に影響する。この場合、画像データを圧縮して伝送しデータ伝送量を下げ、消費電力を低減できる。この効果は、画像伝送装置100の動作モードとして、例えば「省電力モード」などの機能を付加し、外部から電源が供給されている場合は、非圧縮の画像データで伝送し、バッテリーで駆動されている場合は、画像データを圧縮して伝送することにより、連続使用時間を長く設定することができる。
図20は、データ受信処理部205の構成の一例を示すブロック図である。入力部220は、画像送信装置100のレベル変換部175にて変換された信号をレベル変換部22に出力する。
レベル変換部224は、画像送信装置100でレベル変換された信号をデジタル信号に変換しデシリアライザ部225に出力する。レベル変換の一例としては、差動信号のシングルエンド信号への変換がある。入力部221は、画像送信装置100から出力されたクロックを入力しPLL226に出力する。PLL226は、入力されたクロックの10倍のクロックを生成し、デシリアライザ部225に出力する。またPLL226は、画像受信装置200内で使用する画素クロックを出力部222から出力する。原画像の非圧縮画像データの画素クロックを画像表示装置200内で用いる場合は、入力クロックを図13のパケットデータに基づき、PLL226が(CK_M/CK_N)倍に逓倍したクロックを出力部223から出力する。
デシリアライザ部225は、シリアル化されたデータをPLL226からのクロックでパラレル化し、出力部222から出力する。デシリアライザ部225は、10倍のクロックのデータをパラレル化して所定の例えばTMDS復号により8bitパラレルデータとして出力部222から出力する。
図21は、伸張処理部206の構成の一例を示すブロック図である。また、図26は、図4に示す圧縮ブロックに対する伸張処理部206の処理概念を示すタイミング説明図である。
入力部230は、伸張処理部206のデータ入力部である。入力部230に入力されるデータには、画像データの同期信号を示すHSYNC(図26(a))およびVSYNCと、有効期間406に圧縮画像データおよび副圧縮符号情報812と814、水平ブランキング期間404に主圧縮符号情報811と813がある。入力部231には復元後の非圧縮画像データの画素クロックや、圧縮画像データクロック等が入力される。
HSYNC、VSYNC、圧縮画像データクロックと復元後の非圧縮画像データの画素クロックは、タイミング生成部236に供給される。タイミング生成部236は、入力されたHSYNC、VSYNCによりカウンタを制御し、垂直ブランキング期間401、垂直有効期間402、水平ブランキング期間404、水平有効期間405、有効期間406などのタイミングを始め、伸張処理部内の各ブロックの制御に必要なタイミングを生成し出力する。
圧縮符号情報抽出部233は、水平ブランキング期間に送られてくる各画像データ単位ブロックの圧縮符号情報を抽出して圧縮符号情報記憶部234に記憶させる。
その記憶期間を図26(c)に示す。主圧縮符号情報811は、続く圧縮画像データ812に対応したデータであるので、同情報を2ライン目の主圧縮符号情報813が来るまでの記憶期間815で十分である。しかし、例えば2ラインの画像データを垂直圧縮させている場合は、垂直伸張用圧縮符号情報816だけは2ライン目の圧縮画像データを伸張させる期間まで保持させる必要がある。
水平有効期間内に送られてくる圧縮画像データはエラー訂正部235で伝送系のエラー訂正処理を行う。エラー訂正部235は、圧縮画像データ単位ごとに、エラー訂正符号生成部137と同じエラー訂正符号を演算する。前記演算結果と圧縮符合情報抽出部233から入力されるエラー訂正符号とを比較し、比較結果が異なっている場合は、エラー訂正処理を行う。エラー訂正処理の一例としては、CRC演算がある。また、エラー検出のみを行い以降の処理でエラーを補間してもよい。
入力された圧縮画像データは、伸張部A237、伸張部B238、伸張部C239に供給される。伸張部A237、伸張部B238、伸張部C239は、圧縮符号情報記憶部234の情報を基に、入力された圧縮画像データに対して、それぞれ異なる伸張処理を行い、伸張された画像データを生成し、選択部261へ出力する。
図26(d)(e)は、図4に示す圧縮ブロックに対して、伸張部A237で水平伸張処理、伸張部B238で垂直伸張処理を行った場合の各伸張部の出力データを示す。水平伸張画像データ818および819は伸張部A237の出力データ、垂直伸張画像データ820および821は伸張部B237の出力データを示す。
選択部261は、圧縮符号情報記憶部234の情報に基づき、入力部230へ入力される画像データと、伸張部A237の出力と、伸張部B238の出力と、伸張部C239の出力とを適宜選択して、復元画像データ824として、出力部232へ出力する(図26(f))。
図25は、図3に示す圧縮ブロックに対して、伸張部A237で水平伸張処理を行った場合の伸張処理部206の処理概念を示すタイミング説明図である。
入力部230は、伸張処理部206のデータ入力部である。入力部230に入力されるデータには、画像データの同期信号を示すHSYNC(図26(a))およびVSYNCと、有効期間406に圧縮画像データおよび副圧縮符号情報802と804、水平ブランキング期間404に主圧縮符号情報801と803がある。入力部231には復元後の非圧縮画像データの画素クロックや、圧縮画像データクロック等が入力される。
圧縮符号情報抽出部233は、水平ブランキング期間に送られてくる各画像データ単位ブロックの圧縮符号情報を抽出して圧縮符号情報記憶部234に記憶させる。
その記憶期間を図25(c)に示す。主圧縮符号情報801は、続く圧縮画像データ802に対応したデータであるので、同情報を2ライン目の主圧縮符号情報803が来るまでの記憶期間805で十分である。
入力された圧縮画像データは、伸張部A237にて水平伸張処理されて、伸張された画像データである水平伸張画像データ806および807を生成し、選択部261へ出力する(図25(d))。
選択部261は、圧縮符号情報記憶部234の情報に基づき、入力部230へ入力される画像データと、伸張部A237の出力と、伸張部B238の出力と、伸張部C239の出力とを適宜選択して、復元画像データ808および809として、出力部232へ出力する(図25(f))。
図22は、伸張処理部206の構成の一例を示すブロック図である。本例は、副圧縮符号情報を、水平ブランキング期間404ではなく、有効期間406内の圧縮画像データと一緒に伝送する方式を採用した場合の伸張処理部の一例である。
有効期間406内に送るべきデータが圧縮画像データだけでなく圧縮符号情報も一緒に送る場合、圧縮方式によっては、圧縮画像データの圧縮率を下げざるを得なければならない場合があり、この場合、復元時の画像の画質劣化が大きくなる懸念がある。その対策として、水平ブランキング期間を、音声データ伝送パケット2個分を送れる程度まで縮小し、水平有効期間を広げる。4k2k画像データを非圧縮画像の画素クロック594MHzの半分の297MHzクロックで伝送する場合、実施例1では、水平有効期間1920、水平ブランキング期間280であった。音声パケット2個分の伝送期間と前後のガードバンドを含めて水平ブランキング期間は96程度あればよいので、残り184で水平有効期間を増やせる。水平有効期間1920を約9.5%程度拡大できる効果がある。
本例の場合、水平同期信号の位置や幅などが所定の非圧縮画像データの標準タイミングからずれる為、受信側で非圧縮画像データ再生時に、画像データに付与されているSVD(Short Video Descriptor)メタデータを参考にして、標準タイミングフォーマットとなるようタイミングを復元するとよい。
図22では、図21と同様な機能を持つブロックには同じ番号を付している。その差異は、エラー訂正回路255の出力部に第2の映像符号情報抽出部250が加わっている点である。
図21の例では、圧縮符号情報抽出部233は垂直ブランキング期間内の圧縮符号情報(図14と図15のパケット)と、水平ブランキング期間内の圧縮符号情報(図16と図17のパケット)を抽出していた。本例では、圧縮符号情報抽出部233は垂直ブランキング期間または水平ブランキング期間に伝送される主圧縮符号情報のみ抽出し、圧縮符号情報記憶部234で記憶する。
本例では、圧縮符号情報がブランキング期間内でエラー訂正処理が施されているパケットで送る代わりに、他の圧縮画像データと同様なエラー訂正処理を加えている。このため、第2の圧縮符号情報抽出部250から出力されるエラー訂正部255のエラー訂正処理後の主圧縮符号情報と、圧縮符号情報記憶部234から出力される副圧縮符号情報を、伸張部A237、伸張部B238、伸張部C239、選択部251へ出力している。
本例では、圧縮画像データと圧縮符号情報がタイミング的に近接しているので、1水平周期に渡る圧縮符号情報記憶は、フレーム内共通の圧縮符号情報を除いて不要となるので、回路規模を削減できる効果がある。
図23は、伸張処理部206の構成の別の一例を示すブロック図である。
図23では、図21と同様な機能を持つブロックには同じ番号を付している。その差異は、各伸張部の前段に、選択部260が加わっている点である。
選択部261は、圧縮符号情報記憶部234の情報に基づき、入力部230へ入力される画像データと、伸張部A237の出力と、伸張部B238の出力と、伸張部C239の出力とを適宜選択して、出力部232へ出力する。選択部261は、さらに、伸張部A237の出力と、伸張部B238の出力と、伸張部C239の出力のいずれかを選択して、選択部260に出力することができる。本構成の方式を採用することで、入力部230に入力される圧縮画像データに対して、2方式以上の伸張処理を行うことができる。
また、図示していないが、伸張部A237の出力と、伸張部B238の出力と、伸張部C239の出力のいずれかを選択して、圧縮符号情報記憶部234に出力してもよい。この構成をとることで、例えば、図5の圧縮された副圧縮符号情報660の伸張処理を行うことができる。
図24は、伸張処理部206の構成の別の一例を示すブロック図である。図24では、図22と同様な機能を持つブロックには同じ番号を付している。その差異は、入力部230の後段に記憶部270が加わっている点である。
選択部271は、図22で示した選択部251の機能に加えて、選択したデータを記憶部270に出力する機能を有する。記憶部270は、入力部230から入力される主圧縮符号情報、副圧縮符号情報、圧縮画像データ、および選択部271から供給される伸張データを一時的に記憶し、後段のブロックへ供給するブロックである。このような構成とすることで、入力部230に入力されるデータに対して、複数段の伸張処理が可能となる。1段の伸張処理のみの場合には、選択部271から記憶部270へのデータ供給はなくてもよい。
この構成をとることで、例えば、図8や図11で示す方法で圧縮された圧縮画像データに対する伸張処理を行うことが可能となる。
以下、実施例1に記載の画像伝送装置および画像受信装置の別の実施形態について説明する。
図29はシリアライザ184の入力および出力波形の一例を示す図である。シリアライザ184は、入力されたYCbCr輝度色差信号の画像データ(以後、YCbCr画像データと呼ぶ)、またはRGB信号の画像データ(以後、RGB画像データと呼ぶ)に対する圧縮画像データを、10逓倍したクロックで1bitのデータ3本に各々シリアル化し、レベル変換部175に出力する。
シリアル化の例としては、8bitのYCbCr輝度色差信号またはRGB信号の画像データを10逓倍のクロックで先頭からMSBもしくはLSBの順で出力する。
レベル変換部185は、標準化されたデータ転送フォーマットに変換した信号を出力部182経由で出力する。標準化されたデータ転送フォーマットの一例としては、TMDS方式の差動レベルの信号形式などがある。この形式において画像のブランキング期間では、画像データを送信する必要がないため、シリアライザ184でシリアル化するデータを10逓倍のクロック中の4bit分のみ使用し、残りの6bitを使用しないことにより、伝送エラーに対して強度を増し、画像データ以外のデータを転送することができる。また、2種類のクロックを使用することにより、PLL186で生成するクロックについて画像データを送信するクロックの1/2以下に落とすことにより、同じ効果を得ることができる。
図30は、シリアライザ184のデータ構成の一例を示す図である。シリアライザ184の出力は3系統あり、そのうちの1系統は同期信号(HSYNC,VSYNC)、パケットヘッダと固定bitで構成される。残りの2系統を使用してデータを転送する構成となる。パケットのサイズは、転送クロックで32サイクル分とする。
図31は、水平ブランキング期間に重畳した音声データのパケット構成の一例を示す図である。音声パケットは、シリアライザにデータ転送する2系統の同一bitを使用して7Byteのデータを生成し、前記データに対してパリティチェックなどの誤り訂正符号を付けてサブパケットを構成する。前記サブパケットを4系統とパケットヘッダ4Byteのフォーマットで水平ブランキング期間のパケットを構成する。
この構成で、サブパケットのデータに対しては誤り訂正符号が入っているため、伝送路で発生したエラーに対して補正ができエラー耐性が強くなる。また、サブパケットのデータ転送用のデータは、物理的に異なる2つのチャンネルにより千鳥に構成しているため、片側のチャンネルでバースト的に発生したエラーに対して、他方のチャンネルが影響されないため、データエラーの補正を行うことができる。エラーの訂正率は、水平有効期間が10−9に対して、水平ブランキング期間は10−14の改善効果がある。
圧縮画像のエラー訂正符号を上記エラー耐性の高いパケットとして伝送すると良い。伝送できるパケット数の例を、水平期間の画素数が2200、水平有効期間の画素数が1920であった場合について説明する。なお、画像形式は、YCbCr422を例に説明する。
圧縮する画像のサイズを64画素(輝度32画素、色差32画素)とすると、1ライン当たり60個のエラー訂正符号(2Byte)のサイズは120Byte必要となる。
1パケット当たり28Byte転送できる容量があるため、5パケットあれば転送できるサイズとなる。水平ブランキング期間は280画素あるため、8パケットは重畳可能である。この構成により音声パケットに192kHz、8ch、LPCM音声伝送として最大2パケット与えたとしても、前述のエラー訂正符号最大5パケットを水平期間に送信することが可能となる。
データ転送部115に入力されたRGB画像データに対する圧縮画像データを、圧縮ブロック単位で、それぞれ決められたTMDSチャンネルに出力する場合、圧縮ブロック間で、圧縮画像データの非伝送期間が発生する。ライン単位で考えた場合、非圧縮時と比較して、水平有効期間を大幅に削減することができないという課題がある。
図32は、データ転送部115に入力されたRGB画像データに対する圧縮画像データを、TMDSチャンネル0、TMDSチャンネル1、TMDSチャンネル2に出力する場合の各チャネルにおける出力波形の一例である。
本実施例では、RGB画像データに対して、R、G、B各成分毎に圧縮処理を行い、それぞれR圧縮画像データ、G圧縮画像データ、B圧縮画像データが生成される場合について説明する。図中のCR0とCR1はそれぞれサブ圧縮ブロックにおける圧縮画像データであり、圧縮ブロックは、CR0とCR1で構成される。CR2は次の圧縮ブロックの先頭サブブロックである。CG0,CG1,CG2,CB0,CB1,CB2についても前記CR0、CR1、CR2と同様である。
本実施例では、TMDSチャンネル0に、R圧縮画像データをビット単位で詰めて伝送を行うことにより、サブ圧縮ブロック、圧縮ブロック間における、圧縮画像データの非伝送期間を削減することが可能となる。
図35は、データ転送部115に入力されたRGB画像データに対する圧縮画像データを、TMDSチャンネル0、TMDSチャンネル1、TMDSチャンネル2に出力する場合の各チャネルにおける出力波形の別の一例である。
本実施例では、サブ圧縮ブロック1300,1301,1302,1305,1306,1309,1310が、8bitで割り切れない場合には、終端にスタッフィングデータ1303、1304、1307、1308、1311を付加することで、サブ圧縮ブロック先頭bitが常にチャネルの先頭bitに位置するようにしている。これにより、画像受信装置側でのサブ圧縮ブロックの受信回路を簡略化することが可能となる。本例では、サブ圧縮ブロック単位でスタッフィングデータを付加したが、図36に示すように、圧縮ブロック単位で行っても良い。
図32および図35で説明した実施例では、データ転送部115に入力されたRGB画像データに対する圧縮画像データを、それぞれ決められたTMDSチャンネルに出力するため、伝送される圧縮画像データが占める伝送帯域は、圧縮後のデータ量が最も多いTMDSチャンネルに制限され、有効期間が長くなるという課題がある。
図33は、データ転送部115に入力されたRGB画像データに対する圧縮画像データの各成分であるR圧縮画像データ、G圧縮画像データ、B圧縮画像データを、TMDSチャンネル0、TMDSチャンネル1、TMDSチャンネル2に出力する場合の各チャネルにおける出力波形の別の一例である。
本実施例では、サブ圧縮ブロック単位で、R圧縮画像データ、G圧縮画像データ、B圧縮画像データの順に、TMDSチャンネル0、TMDSチャンネル1、TMDSチャンネル2に順次、インタリーブして出力する。ここでは、R圧縮画像データCR0が18bit、G圧縮画像データCG0が37bit、B圧縮画像データCB0が8bit、R圧縮画像データCR1が20bit、G圧縮画像データCG1が18bit、B圧縮画像データCB1が14bitの場合を例にとっている
上記出力方式とすることで、データ転送部115に入力されたRGB画像データに対する圧縮画像データを、3つのTMDSチャンネルに平均的に伝送することができるため、圧縮画像データを伝送するための有効期間を短くすることができる。本例では、サブ圧縮ブロック単位でRGB順に出力したが、図34に示すように、圧縮ブロック単位で行っても良い。
図37は、データ転送部115に入力されたYCbCr444の画像データに対する圧縮画像データを、TMDSチャンネル0、TMDSチャンネル1、TMDSチャンネル2に出力する場合の各チャネルにおける出力波形の別の一例である。YCbCr444の画像データの各成分に対するデータ量の比率は、Y画像データ、Cb画像データ、Cr画像データで同一である。なお、YCbCr422の画像データの各成分に対するデータ量の比率は、Y画像データが2に対して、Cb画像データ、Cr画像データがそれぞれ1となる。
1500は、圧縮処理部114に入力される画像データである。1501、1502、1503は、それぞれY画像データ、Cb画像データ、Cr画像データに対する圧縮処理により生成される圧縮画像データの各成分であるY圧縮画像データ(輝度圧縮画像データ)、Cb圧縮画像データ(Cb色差圧縮画像データ)、Cr圧縮画像データ(Cr色差圧縮画像データ)である。
色差(CbおよびCr)成分に比べて、輝度(Y)成分に対する感度が高いという人間の視覚特性から、Y成分に対する圧縮率を、Cb成分およびCr成分に対する圧縮率よりも高くして、Y成分の圧縮画像データ(以後、Y圧縮画像データと呼ぶ)のデータ量に比べて、Cb成分の圧縮画像データ(以後、Cb圧縮画像データと呼ぶ)のデータ量およびCr成分の圧縮画像データ(以後、Cr圧縮画像データと呼ぶ)のデータ量を、より削減することが可能である。
本実施例では、画像データの各成分に対する伝送優先度が高い画像データに対して高い圧縮率で圧縮処理を行う一例を示している。
具体的には、Y圧縮画像データの伝送優先度を、Cb圧縮画像データおよびCr圧縮画像データの伝送優先度よりも高くし、データ伝送部115からの出力ビット幅として、Y圧縮画像データに12bit、Cb圧縮画像データに6bit、Cr圧縮画像データに6bitを割り当てる。
Y圧縮画像データ1501、Cb圧縮画像データ1502、Cr圧縮画像データ1503を、それぞれTMDSチャンネル0(8bit/サイクル)、TMDSチャンネル1(8bit/サイクル)、TMDSチャンネル2(8bit/サイクル)に出力する場合、伝送される圧縮画像データが占める伝送帯域は、圧縮後のデータ量が最も多いTMDSチャンネル0に制限されてしまい、有効期間が長くなる。
1505、1506、1507、1508、1511は、Cb圧縮画像データ(6bit/サイクル)およびCr圧縮画像データ(6bit/サイクル)に比べて、Y圧縮画像データにより多くのチャンネル(12bit/サイクル)を割り当てた場合の出力データの一例である。上記出力方式とすることで、圧縮画像データを伝送するための有効期間を短くすることができる。
なお、出力ビット幅の割当は、制御部110からデータ伝送部115に対して指示される。または、制御部から指示される画像フォーマット(例えば、YCbCr444など)に応じて、あらかじめ決められた配分比率で、データ伝送部115が割り振っても良い。配分比率については、制御部115から設定可能としても良い。
本実施例では、画像データがYCbCr444の場合を例に説明したが、RGB信号などその他の画像信号においても、それぞれの圧縮画像データに伝送優先度をつけて出力伝送路(例えば、TMDSチャネル0、1、2)への出力ビット幅を割り当てても良い。例えば、画像データがRGB信号の場合、G成分に対する伝送優先度を、R成分およびB成分に対する伝送優先度よりも高くする方法がある。具体的には、G成分に対する出力ビット幅として12bitを割当て、R成分およびB成分に対する出力ビット幅として、それぞれ6bitを割り当てる方法がある。
また、画像データがYCbCr444の場合における伝送優先度の別の一例として、4:2:2成分に、残りの色差成分よりも高い伝送優先度を割り当てる方法がある。具体的には、4:2:2に対する出力ビット幅として20bitを割当て、残りのCb成分とCr成分に4bitを割り当てる方法がある。
図38は、データ転送部115に入力されたY圧縮画像データ1601、Cb圧縮画像データ1602、Cr圧縮画像データ1603を、TMDSチャンネル0、TMDSチャンネル1、TMDSチャンネル2に出力する場合の各チャネルにおける出力波形の別の一例である。なお、1600は、圧縮処理部114に入力される画像データである
本実施例では、TMDSチャンネル0のbit4、bit5、bit6、bit7および、TMDSチャンネル1のbit0、bit1、bit6、bit7が、その他のbitに比べて伝送エラー率が低い場合を考える。
1604、1605、1606、1607、1608、1609は、TMDSチャネルの伝送エラー率の低いbitに、Y圧縮画像データを割り当てた場合の出力データの一例である。上記出力方式とすることで、Y圧縮画像データに対するエラー発生率を低くすることが可能となる。
なお、本実施例では、Cb圧縮画像データを1602、1605、1607に割り当てており、Cr圧縮画像データを1603、1609に割り当てている。
なお、伝送エラー率の情報は、制御部110からデータ伝送部115に供給される。または、伝送エラー率を元に、制御部でY圧縮画像データ、Cb圧縮画像データ、Cr圧縮画像データのTMDSチャンネルへのbit割り振りを指定しても良い。本実施例では、YCbCr輝度色差信号を例に説明したが、RGB信号などその他の画像形式においても、それぞれの圧縮画像データに優先度をつけてTMDSチャンネルへのbit割当をしても良い。
また、各成分の前記伝送優先度は、各成分毎の圧縮率としても良い。この場合、高い圧縮率の成分に対しては、割り当てる出力ビット幅を大きくし、低い圧縮率の成分に対しては、割り当てる出力ビット幅を小さくする。一例として、YCbCr444の各成分(Y、Cb、Cr)に対する圧縮率を、80%、40%、40%とした場合、伝送優先度を、それぞれ2、1、1とする方法、または各成分(Y、Cb、Cr)の出力ビット幅を、それぞれ12bit、6bit、6bitとする方法がある。