JP6080383B2 - 送信装置、送信方法、及びコンピュータプログラム - Google Patents

Description

本発明は、複数の映像データを送受信するための送信装置、受信装置、送受信システム、送信方法、及びプログラムに関する。

近年、複数の映像データを重ねて投影することにより、３次元映像又は高精細映像を表示するシステムが開発されている。このようなシステムにおいては、複数のプロジェクタがよく用いられる。また画面の大型化に伴い、映像供給源と映像表示装置とを離して配置する機会が増えている。このような場合でも配線を容易とするために、映像を映像表示装置へと無線送信することが望まれている。しかしながら、このようなシステムにおいては複数の映像データを映像表示装置へと送信する必要があるために、送信する映像データ量が大きくなり、無線送信経路の品質が低い場合に問題が起こりうる。

特許文献１には、３次元映像を表示するための２つの映像データのデータ量を削減する方法が開示されている。すなわち、主映像と副映像とが複数の区域に分割され、それぞれの区域について主映像と副映像との水平座標差が算出される。そして、主映像信号と水平座標差信号とが送信される。

特開平１−２０２０９３号公報

引用文献１に記載の方法においては、副映像は受信装置において主映像を平行移動することにより得られるものであるため、十分な品質の３次元映像が得られない可能性がある。また、無線通信速度は、遮蔽物又は電波干渉等により低下することがある。引用文献１に記載の技術は映像データを一定割合で削減するものであって、無線通信速度が低下した場合に、映像が大きく乱れる可能性がある。

本発明の送信装置は例えば、以下の構成を備える。すなわち、
第１の画像と、前記第１の画像と共に表示される第２の画像と、を無線通信経路を介して受信装置へと送信する送信手段と、
前記無線通信経路の伝送レートを判断する判断手段と、
前記第１及び第２の画像を分割して得られるそれぞれの領域について、前記第１の画像と前記第２の画像との類似度を算出する算出手段と、
前記判断手段によって判断された前記無線通信経路の伝送レートに応じて、前記第１の画像と前記第２の画像との双方のデータを送信するか、前記第１の画像のうち前記第２の画像との前記類似度が閾値以下である領域の画像のデータと前記第２の画像のデータとを送信するかを選択する選択手段と、を有し、
前記送信手段は、前記選択手段による選択に従うデータを前記受信装置へと送信することを特徴とする。

画像を送信装置から受信装置へと送信して表示させるシステムにおいて、送信装置と受信装置との間の伝送レートに応じて送信画像を選択して送信できる。

１組の送受信機を用いる画像伝送表示システムの一例を示す図。 図１の変換部１０１の内部構成を示す図。 複数の送受信機を用いる画像伝送表示システムの一例を示す図。 図３の変換部１０１の内部構成を示す図。 図３に示すシステムの動作の一例を示すフローチャート。 図３に示すシステムの動作の一例を示すフローチャート。 複数の送受信機を用いる画像伝送表示システムの一例を示す図。 変形例３に係る変換部１０１の内部構成を示す図。 実施例２に係る変換部１０１の内部構成を示す図。 実施例１に係る送信機１００が行う処理のフローチャート。 高精細映像の例を示す図。 ３次元映像の例を示す図。 高精細映像表示の原理を示す図。

以下、本発明の実施例を図面に基づいて説明する。ただし、本発明の範囲は以下の実施例に限定されるものではない。

本発明の実施例１に係る画像伝送表示システム（送受信システム）のブロック図を図１に示す。図１に示す画像伝送表示システムは、３次元画像伝送システムの一例である。図１に示す画像伝送表示システムは、送信装置１００、受信装置１２０、及びプロジェクタ１４１，１４２を有する。送信装置１００は変換部１０１と送信機１１１とを有し、受信装置１２０は受信機１２１と合成部１３１，１３２とを有する。

送信装置１００は、左画像データで構成される左動画像（第１の動画像）と、右画像データで構成される右動画像（第２の動画像）とを受け取る。具体的には送信装置１００は、左画像データＤ_{ｌｅｆｔ１}（第１の画像）と右画像データＤ_{ｒｉｇｈｔ１}（第２の画像）とを受信し、対応する画像データを受信装置１２０へと通信路を介して送信する。本実施例において、この通信路は無線通信経路である。受信装置１２０は送信された画像データをプロジェクタ１４１，１４２に有線送信し、プロジェクタ１４１，１４２は送信された画像データを投影する。より具体的にはプロジェクタ１４１（第１の表示装置）は送信された左画像データに従う左画像をスクリーンに投影し、プロジェクタ１４２（第２の表示装置）は送信された右画像データに従う右画像を左画像に重畳するように投影する。本実施例において送信装置１００及び受信装置１２０は無線通信を行うが、通信方法は無線通信には限定されない。

図１（Ａ）は通常の伝送状態を示し、図１（Ｂ）はデータ伝送レートが低下している場合を示している。具体的には図１（Ｂ）においては、障害物１５２によって送信機１１１から受信機１２１への無線通信経路が妨害されており、壁１６２による反射を介して伝送が行われている。

変換部１０１は、画像データを受信し、無線通信経路の伝送レートに応じて、送信する映像の品質と送信するデータとを決定する。送信機１１１は、画像データを無線送信する。受信機１２１は、送信機１１１から送信された画像データを受信する。合成部１３１，１３２は、受信機１２１に有線接続されており、受信機１２１から画像データを受信し、プロジェクタ１４１，１４２へと送信する。以下では、変換部１０１が受信した左画像データ及び右画像データは、それぞれは２Ｇｂｐｓのデータレートを有するものする。すなわち、プロジェクタ１４１，１４２のそれぞれが２Ｇｂｐｓのデータレートを有する画像データを受信した場合に、最高品位の映像を投影できるものとする。

図２は、図１に示す変換部１０１の内部構造を示す。変換部１０１は、品質変更部１０１１Ｌ，１０１１Ｒと、相関算出部１０１２と、レベル付加部１０１３Ｌ，１０１３Ｒと、演算部１０１４と、選択部１０１５Ｌ，１０１５Ｒと、結合部１０１６とを有する。品質変更部１０１１Ｌ，１０１１Ｒは、それぞれ左画像データＤ_{ｌｅｆｔ１}又は右画像データＤ_{ｒｉｇｈｔ１}を受信し（第１の取得）、無線通信経路の伝送レートに応じて送信する映像の品質を変更する。相関算出部１０１２は、品質変更部１０１１Ｌ，１０１１Ｒから出力された左画像データＤ_{ｌｅｆｔ１’}と右画像データＤ_{ｒｉｇｈｔ１’}との間の類似度を算出する。本実施例において相関算出部１０１２は、左画像データＤ_{ｌｅｆｔ１’}と右画像データＤ_{ｒｉｇｈｔ１’}との間の相関値を算出する。レベル付加部１０１３Ｌ，１０１３Ｒは、相関算出部１０１２が算出した相関値に従って、左画像データＤ_{ｌｅｆｔ１’}又は右画像データＤ_{ｒｉｇｈｔ１’}に相関レベルを付与する。

演算部１０１４は、無線通信経路の伝送レートに応じて、送信する映像の品質と送信するデータを決定する。以下では、無線通信経路の最大伝送レートに応じて送信する映像の品質と送信するデータとを決定する例を説明するが、無線通信経路の平均伝送レート又は実効伝送レートを用いてもよい。具体的には演算部１０１４は、最大転送レートが高いほど高い値を有するように、閾値を決定する。そして、相関レベルが閾値以下か否かに応じて、選択部１０１５Ｌ，１０１５Ｒは、付加された相関レベルを参照して、左画像データＤ_{ｌｅｆｔ１’}又は右画像データＤ_{ｒｉｇｈｔ１’}から一部又は全部の成分を選択する。本実施例において選択部１０１５Ｒは、右画像データＤ_{ｒｉｇｈｔ１’}の全ての成分を選択する。一方で選択部１０１５Ｌは、左画像データＤ_{ｌｅｆｔ１’}のうち、相関レベルが閾値以下の成分を選択する。このようにして選択部１０１５Ｌ，１０１５Ｒは、相関レベルが閾値以下である成分については、右画像データと左画像データとの双方を選択する。一方で選択部１０１５Ｌ，１０１５Ｒは、相関レベルが閾値を超える成分については、右画像データのみを選択する。結合部１０１６は、選択部１０１５Ｌ，１０１５Ｒによって選択された画像成分を結合する。

図１（Ａ）のように送信機１１１と受信機１２１との間が４Ｇｂｐｓの伝送レートで通信できる場合、演算部１０１４は映像品質として「最高品位」を選択する。すなわち演算部１０１４は、閾値を十分に高く設定する。この場合選択部１０１５Ｌ，１０１５Ｒは、相関算出部１０１２が算出した相関値に関係なく、画像データの全ての成分を選択する。

一方で図１（Ｂ）においては、送信機１１１と受信機１２１との間は３Ｇｂｐｓの伝送レートでしか通信できない。送信機１１１と受信機１２１との間の最大伝送レートを示す伝送レート情報Ｄ_{ＲＬ２ ｒａｔｅ}は、送信機１１１から、レート取得部１０１８を介して、演算部１０１４へと送られる（第２の取得）。この場合演算部１０１４は、送信機１１１と受信機１２１との間が４Ｇｂｐｓのデータレートで通信できる場合と比べて、閾値をより低く設定する。この場合変換部１０１は、左右の相関が低い画像成分については左画像データと右画像データとの双方を送信機１１１に送信し、左右の相関が高い画像成分については左画像データと右画像データとの一方のみを送信機１１１に送信する。

以下で、図１（Ｂ）の場合についてのより具体的な処理を説明する。以下で、左画像データＤ_{ｌｅｆｔ１’}は２つの画像成分Ｄ_{Ｌ２（ｎｅａｒ）}及びＤ_{Ｌ２（ｆａｒ）}を有するものとする。また、右画像データＤ_{ｒｉｇｈｔ’}は２つの画像成分Ｄ_{Ｒ２（ｎｅａｒ）}及びＤ_{Ｒ２（ｆａｒ）}を有するものとする。より具体的には、画像成分Ｄ_{Ｌ２（ｎｅａｒ）}は左画像のうちの所定領域内の画像であり、画像成分Ｄ_{Ｌ２（ｆａｒ）}は左画像のうちの所定領域外の画像である。また、画像成分Ｄ_{Ｒ２（ｎｅａｒ）}は右画像のうちの所定領域内の画像であり、画像成分Ｄ_{Ｒ２（ｆａｒ）}は右画像のうちの所定領域外の画像である。そして、プロジェクタ１４１，１４２によって、画像成分Ｄ_{Ｌ２（ｎｅａｒ）}及び画像成分Ｄ_{Ｒ２（ｎｅａｒ）}は重畳表示され、画像成分Ｄ_{Ｌ２（ｆａｒ）}及び画像成分Ｄ_{Ｒ２（ｆａｒ）}も重畳表示される。

左画像データＤ_{ｌｅｆｔ１’}の画像成分Ｄ_{Ｌ２（ｎｅａｒ）}及び画像成分Ｄ_{Ｌ２（ｎｅａｒ）}への分割は、任意の方法によって行われる。すなわち、それぞれの画像成分は、左画像及び右画像の画像領域を分割して得られるそれぞれの領域に含まれる画像でありうる。例えば、予め設定された所定領域内の画像を画像成分Ｄ_{Ｌ２（ｎｅａｒ）}としてもよいし、何らかの領域分割技術に従って設定された所定領域内の画像を画像成分Ｄ_{Ｌ２（ｎｅａｒ）}としてもよい。例えば、画像を近景領域と遠景領域に分割し、近景領域内の画像を画像成分Ｄ_{Ｌ２（ｎｅａｒ）}とし、遠景領域内の画像を画像成分Ｄ_{Ｌ２（ｆａｒ）}とすることができる。右画像データＤ_{ｒｉｇｈｔ’}の画像成分Ｄ_{Ｒ２（ｎｅａｒ）}及び画像成分Ｄ_{Ｒ２（ｎｅａｒ）}への分割についても同様である。別の方法として、画像データを周波数変換し、周波数に応じて画像データを複数の画像成分へと分割してもよい。本実施例においては１つの画像データを２つの画像成分に分割するが、１つの画像データを３つ以上の画像成分へと分割してもよい。

それぞれの画像成分に対しては、相関算出部１０１２によって相関値が算出される。より具体的には、左画像及び右画像のうち重畳表示される画像成分の間の相関を示す相関値を、相関算出部１０１２は算出する。本実施例においては相関算出部１０１２は、左画像及び右画像のうち同一の領域内の画像間の相関を示す相関値を算出する。そして、それぞれの画像成分に対して、レベル付加部１０１３Ｌ，１０１３Ｒは相関算出部１０１２によって算出された相関データを付加する。

以下では、相関算出部１０１２は画像成分Ｄ_{Ｌ２（ｆａｒ）}と画像成分Ｄ_{Ｒ２（ｆａｒ）}との組については相関がより高いと判定しているものとする。また相関算出部１０１２は、画像成分Ｄ_{Ｌ２（ｎｅａｒ）}と画像成分Ｄ_{Ｒ２（ｎｅａｒ）}との組については相関がより低いと判定しているものとする。この場合レベル付加部１０１３Ｌ，１０１３Ｒは、画像成分Ｄ_{Ｌ２（ｆａｒ）}及び画像成分Ｄ_{Ｒ２（ｆａｒ）}には高い相関レベルを付加する。また、レベル付加部１０１３Ｌ，１０１３Ｒは画像成分Ｄ_{Ｌ２（ｎｅａｒ）}及び画像成分Ｄ_{Ｒ２（ｎｅａｒ）}には低い相関レベルを付加する。

相関値の算出方法は特に限定されず、従来から知られている方法を用いることができる。例えば、左画像の画素値と右画像の画素値との相関係数を相関値とすることができる。また、左画像と右画像との差分に従って相関値を算出することができる。例えば、左画像と右画像との差分画像の画素値の合計を相関値としてもよい。

図１（Ｂ）の場合演算部１０１４は、送信機１１１から受信機１２１へと送られるデータのデータレートが、最大演算部１０１４が取得した最大伝送レートを超えないように、閾値を設定する。通常、送信機１１１から受信機１２１へと送られるデータのデータレートが、最大伝送レートを超えずかつできるだけ大きくなるように、閾値は設定される。演算部１０１４は、設定された閾値に従って送信機１１１から受信機１２１へと送られるデータのデータレートを推定してもよい。また演算部１０１４は、設定された閾値に従って選択部１０１５Ｒ，１０１５Ｌに選択されたデータのデータレートを取得してもよい。

例として、画像成分Ｄ_{Ｌ２（ｎｅａｒ）}、Ｄ_{Ｌ２（ｆａｒ）}、Ｄ_{Ｒ２（ｎｅａｒ）}、及びＤ_{Ｒ２（ｆａｒ）}のデータレートがそれぞれ１Ｇｂｐｓであるものとする。

この場合、画像成分Ｄ_{Ｌ２（ｆａｒ）}，Ｄ_{Ｒ２（ｆａｒ）}の相関レベルより小さく、画像成分Ｄ_{Ｌ２（ｎｅａｒ）}，Ｄ_{Ｒ２（ｎｅａｒ）}の相関レベルより大きくなるように、閾値が設定される。画像成分Ｄ_{Ｌ２（ｎｅａｒ）}、画像成分Ｄ_{Ｒ２（ｎｅａｒ）}、及びＤ_{Ｒ２（ｆａｒ）}の合計データレートは３Ｇｂｐｓであり、送信機１１１と受信機１２１との間の最大伝送レート（３Ｇｂｐｓ）以下である。

そして選択部１０１５Ｒ，１０１５Ｌは、相関レベルが演算部１０１４によって設定された閾値以下である画像成分として、左画像データＤ_{Ｌ２（ｎｅａｒ）}及び右画像データＤ_{Ｒ２（ｎｅａｒ）}を選択する。また選択部１０１５Ｒ，１０１５Ｌは、演算部１０１４によって設定された閾値よりも相関レベルが高い画像成分として、右画像データＤ_{Ｒ２（ｆａｒ）}のみを選択する。そして、結合部１０１６は選択されたデータを結合して送信機１１１に送信し、送信機１１１はこれらを受信機１２１へと送信する。

この場合合成部１３２は、相関レベルの低い左画像データの画像成分Ｄ_{Ｌ２（ｎｅａｒ）}と、相関レベルの高い右画像データの画像成分Ｄ_{Ｒ２（ｆａｒ）}とを合成することにより、投影用の左画像データを合成する。合成部１３２によって生成された投影用の左画像データに従って、プロジェクタ１４２は投影を行う。一方、合成部１３１は受信機１２１へと送信された右画像データをプロジェクタ１４１に送信する。ここで、合成部１３１からの送信は、合成部１３２の処理遅延と同じ時間遅延される。こうして、プロジェクタ１４１，１４２は送信された左右画像データがスクリーン上で重畳されるように投影を行う。このように合成部１３１，１３２は、相関レベルの低い画像成分については、左画像データと右画像データとを受信し、プロジェクタ１４１へ左画像データを送信し、プロジェクタ１４２へ右画像データを送信する。また合成部１３１，１３２は、相関レベルの高い画像成分については、右画像データのみを受信し、プロジェクタ１４１及びプロジェクタ１４２へ右画像データを送信する（表示制御）。

閾値には最小値が定められていてもよい。もし、閾値をこの最小値としても、送信機１１１から受信機１２１へと送られるデータのデータレートが最大演算部１０１４が取得した最大伝送レートを超える場合、送信装置１００は、右画像データ及び左画像データのデータ量を減らす。具体的には、演算部１０１４は、品質変更部１０１１Ｌ，１０１１Ｒに対して、取得した画像データＤ_{ｒｉｇｈｔ１}及びＤ_{Ｌｅｆｔ１}のデータ量を減らして画像データＤ_{ｒｉｇｈｔ１’}及びＤ_{Ｌｅｆｔ１’}を生成させる。データ量を減らす方法としては任意の方法を用いることができ、例えば画像品質を下げてもよいし、フレームレートを下げてもよい。

演算部１０１４は、画像成分Ｄ_{Ｌ２（ｎｅａｒ）}、画像成分Ｄ_{Ｒ２（ｎｅａｒ）}、及びＤ_{Ｒ２（ｆａｒ）}を送信できるように、品質変更部１０１１Ｌ，１０１１Ｒに対して変更後のデータ量を指定できる。また品質変更部１０１１Ｌ，１０１１Ｒは、所定量ずつ変更後のデータ量を下げ、その都度演算部１０１４は変更後のデータを送信できるか否かを判定してもよい。さらに、あるフレームについて品質変更部１０１１Ｌ，１０１１Ｒがデータ量の変更を指示された場合、品質変更部１０１１Ｌ，１０１１Ｒは次のフレームにおいてはデータ量を減らさなくてもよいし、演算部１０１４からの指示無しにデータ量を減らしてもよい。例えば、品質変更部１０１１Ｌ，１０１１Ｒは、演算部１０１４の指示に従って目標データ量を不図示のメモリに記録し、この目標データ量に従って画像データのデータ量を減らしてもよい。

図１０は、図２に示す変換部１０１が行う処理のフローチャートである。ステップＳ１１００において品質変更部１０１１Ｒ，１０１１Ｌは、右画像データ及び左画像データを取得する。ステップＳ１２００において相関算出部１０１２は、それぞれの画像成分について、右画像データと左画像データとの相関値を算出する。ステップＳ１３００においてレート取得部１０１８は、無線通信経路の最大送信レートを取得する。ステップＳ１４００において演算部１０１４は、上述のように閾値を決定する。ステップＳ１５００において選択部１０１５Ｒ，１０１５Ｌは、演算部１０１４が決定した閾値に従って画像成分を選択する。ステップＳ１６００において結合部１０１６は、送信機１１１に選択された画像成分を供給し、受信機１２１へと送信させる。

図３は、本実施例に係る画像伝送表示システムの別の構成例を示すブロック図である。図３において、図１と同様の構成要素については同じ参照符号が付されている。図３のシステムにおいては、無線伝送レートを向上させるため、送信機１１２と受信機１２２とが追加されている。

変換部１０１は、送信機１１１，１１２が受信した受信応答（以後Ａｃｋ）から、各無線通信経路の伝送レートを検出する。図４は、図３に示す変換部１０１の内部構成を示す。図４において、図２と同様の構成要素については同じ参照符号が付されている。演算部１０１４は各無線通信経路の最大伝送レートを計算する。選択部１０１５Ｌ，１０１５Ｒは、それぞれの送信機１１１，１１２に対してどの画像成分を送信するかを決定する。さらに品質変更部１０１１Ｌ，１０１１Ｒは、各無線通信経路の最大伝送レートが、送信される画像のデータレート以上となるように、画像データの品質を変更する。

図５は、図３に示すシステムにおいて、変換部１０１、送信機１１１、及び受信機１２１が行う処理のフローチャートの一例を示す。ステップＳ５０１において変換部１０１は、通信の初期状態を調べるために、接続されている全ての送信機１１１から受信機１２１に対してテスト信号を送信させる。ステップＳ５０２において変換部１０１は、各送信機１１１が受信したＡｃｋ情報から、各無線通信経路の最大伝送レートを検出する。

図３のシステムにおいては、２台の送信機１１１，１１２及び２台の受信機１２１，１２２が用いられる。しかしながら、画像データのデータレートと無線通信経路の伝送レートに応じて、送信機及び受信機の必要数は変化する。すなわち、図１に示すように送信機１１１及び受信機１２１の数がそれぞれ１台であってもよいし、送信機１１１及び受信機１２１の数がそれぞれ３台以上であってもよい。

ステップＳ５０３において変換部１０１は、各無線通信経路の伝送レートに合わせて、どの画像成分を送信機１１１，１１２から送信させるのかを決定する。またステップＳ５０４において変換部１０１は、ステップＳ５０３における決定に従って、品質変更部１０１１Ｌ，１０１１Ｒが生成する画像データの品質を決定する。ステップＳ５０５において変換部１０１は、品質変更部１０１１Ｌ，１０１１Ｒによって品質を変更され、選択部１０１５Ｌ，１０１５Ｒによって選択された画像データを送信機１１１，１１２へと送信する。その後処理はステップＳ５０２に戻り、送信機１１１，１１２が受信した、送信データに対するＡｃｋ情報から、各無線通信経路の最大伝送レートを検出する。

ステップＳ５１１において送信機１１１は、伝送レートを所定の最大値に設定する。変換部１０１からテスト信号送信指示を受けると、ステップＳ５１２において送信機１１１は、受信機１２１へテスト信号を送信する。ステップＳ５１３において送信機１１１は受信機１２１からのＡｃｋを受信したか否かを判定する。Ａｃｋを受信した場合、送信機１１１はテスト信号送信時の伝送レートを現在の伝送レートとして設定し、Ａｃｋ情報又はこの伝送レートを変換部１０１に通知する。そして、送信機１１１は変換部１０１からのデータ送信を待つ（ステップＳ５１６）。Ａｃｋを受信しなかった場合、処理はステップＳ５１４に進む。ステップＳ５１４で送信機１１１は、現在の伝送レートが所定の最小値に設定されているか否かを判定する。最小値に設定されている場合、処理はステップＳ５１１に戻る。最小値に設定されていない場合、処理はステップＳ５１５に進む。ステップＳ５１５において送信機１１１は伝送レートの設定値を引き下げる。その後処理はステップＳ５１２に戻り、送信機１１１は再びテスト信号の送信を行う。

ステップＳ５１６において送信機１１１は、変換部１０１から画像データを受け取り、受信機１２１へと送信する。この際送信機１１１は、ステップＳ５１３又はステップＳ５１９において設定された現在の伝送レートでデータ送信を行う。ステップＳ５１７で送信機１１１は、受信機１２１からのＡｃｋを受信したか否かを判定する。Ａｃｋを受信した場合、処理はステップＳ５１６に戻る。Ａｃｋを受信しなかった場合、ステップＳ５１８及びステップＳ５１９において、ステップＳ５１４及びステップＳ５１５と同様に、送信機１１１は現在の伝送レートを引き下げる。

ステップＳ５２１において受信機１２１は送信機１１１からテスト信号を正しく受信したか否かを判定する。受信しなかった場合、テスト信号を受信するまで受信機１２１は待機する。テスト信号を受信した場合、ステップＳ５２２において受信機１２１はＡｃｋを送信機１１１へと送信する。ステップＳ５２３において受信機１２１は送信機１１１から画像データを正しく受信したか否かを判定する。受信しなかった場合、画像データを受信するまで受信機１２１は待機する。画像データを受信した場合、ステップＳ５２４において受信機１２１はＡｃｋを送信機１１１へと送信する。

図６は、送信機１１１が複数の経路から無線通信経路を選択できる場合の処理の一例を示すフローチャートである。変換部１０１及び受信機１２１の動作は図５の場合と同様であるから、説明を省略する。ステップＳ５１３でＡｃｋを受信できない場合、ステップＳ６１１において送信機１１１は、現在の伝送レートで伝送可能な無線通信経路の候補を検索する。そのような無線通信経路が存在する場合、ステップＳ６１２において、送信機１１１は検索された経路へと無線通信経路を切り換える。存在しない場合、処理はステップＳ５１４に進む。ステップＳ６１２の処理とステップＳ５１５の処理とを選択することにより、最適の無線通信経路を用いて、最大の伝送レートでデータを送信することが可能となる。ステップＳ５１７でＡｃｋを受信できない場合も、ステップＳ６１４において、送信機１１１はステップＳ６１１と同様の処理を行う。

図７は、図３の例と同様に２組の無線送受信機でデータ伝送をしていて、障害物１５２によって両方の伝送レートが低下した場合を示す。図７においては送信機１１１，１１２と受信機１２１，１２２間の伝送レートは、ともに障害物１５２の影響で２Ｇｂｐｓから１．５Ｇｂｐｓに低下している。

図４は、図７に示す変換部１０１の内部構成を示す。変換部１０１は、送信機１１１，１１２からそれぞれの無線通信経路の伝送レート情報Ｄ_{Ｒ２ ｒａｔｅ}及びＤ_{Ｌ２ ｒａｔｅ}を取得する。そして演算部１０１４は、計算により２つの無線通信経路の伝送レートの合計が３Ｇｂｐｓであることを確認する。この場合演算部１０１４は、相関レベルが低いデータＤ_{Ｒ２（ｎｅａｒ）}及びＤ_{Ｌ２（ｎｅａｒ）}（それぞれ１Ｇｂｐｓ）を、送信機１１１，１１２のそれぞれに送信させる。また演算部１０１４は、相関レベルが高いデータＤ_{Ｒ２（ｆａｒ）}及びＤ_{Ｌ２（ｆａｒ）}については、伝送レートを０．５Ｇｂｐｓに落とし、送信機１１１，１１２のそれぞれに送信させる。例えば、あるフレームにおいては右画像データを左画像データとして用い、次のフレームにおいては左画像データを右画像データとして用いるようにすることで、それぞれの画像データが含むフレーム画像の数を減らすことができる。このようにして、品質変更部１０１１Ｒ，１０１１Ｌに画質を変更させることなく、高品位で画像伝送を行うことができる。

図１２を用いて、本実施例に係る画像伝送表示システムの効果を説明する。図１２において、遠い山１２０１Ｌ，１２０１Ｒについては、左右の視差はほとんど存在しない。遠い木１２０２Ｌ，１２０２Ｒについては、左右の視差はほとんど存在しないが、葉からの反射光が時間と共に変化する。遠くを走行する車１２０３Ｌ，１２０３Ｒについては、左右の視差は小さいが、車１２０３Ｌ，１２０３Ｒは移動している。比較的近い家１２０４Ｌ，１２０４Ｒは、ほとんど静止している。近くを走るランナー１２０５Ｌ，１２０５Ｒ及び近くの道路１２０６Ｌ，１２０６Ｒについては、左右の視差が大きい。

山１２０１Ｌ，１２０１Ｒ、家１２０４Ｌ，１２０４Ｒ、及び道路１２０６Ｌ，１２０６Ｒは移動しないため、車又はランナーなどによって隠されない限り、あるフレームのフレーム画像は１フレーム前のフレーム画像と相関が高い。したがって、これらの被写体については、あるフレームのフレーム画像を表示する際に、そのフレーム画像に含まれる被写体の代わりに、前のフレームのフレーム画像に含まれる被写体を表示しても、動画品質はあまり劣化しない。言い換えれば、これらの被写体については、フレームレートを低下させても動画品質はあまり劣化しない。

一方で、木１２０２Ｌ，１２０２Ｒ、車１２０３Ｌ，１２０３Ｒの映像は時間とともに変化する。また、車１２０３Ｌ，１２０３Ｒの移動に伴って、背景も時間とともに変化する。したがって、これらの被写体については、あるフレームのフレーム画像に含まれる被写体の代わりに、前のフレームのフレーム画像に含まれる被写体を表示すると、動画品質が大きく低下するものと考えられる。しかしながらこれらの被写体については視差が少ないため、左右のどちらかの映像を用いて、反対側の映像を補間することができる。すなわちこれらの被写体については、画像品質を低下させても、動画品質は大きく低下しない。

しかしながらランナー１２０５Ｌ，１２０５Ｒの映像は時間とともに変化し、さらに視差が大きい。視差が大きいことは、この被写体については左右の画像データの相関が低いことを意味する。このような被写体については、より高いフレームレートで、かつより高い画像品質で映像を送信することが、より高い動画品質につながる。

本実施例の方法によれば、複数の画像成分を含む画像データについて、左右の相関が高い画像成分（例えば木１２０２）についてはデータ量を減少させてから送信し、左右の相関が低い画像成分（例えばランナー１２０５）についてはデータ量を減少させずに送信する。このようにして、動画品質をあまり劣化させずに、より低いデータレートを有するように動画像を変換することができる。

本実施例において受信装置１２０は送信された画像データをプロジェクタ１４１，１４２に送信するが、受信装置１２０は別の装置に画像データを送信してもよい。例えば受信装置１２０は、ヘッドマウントディスプレイに画像データを送信してもよい。ヘッドマウントディスプレイは、右画像データをユーザの右目へと提示し、左画像データをユーザの左目へと提示してもよい。この場合、ユーザにとって右画像と左画像とは重畳して表示される。

本実施例においては送信装置１００は、伝送レートが低い場合には、右画像データＤ_{Ｒ２（ｎｅａｒ）}及びＤ_{Ｒ２（ｆａｒ）}と、左画像データの一部の画像成分Ｄ_{Ｌ２（ｎｅａｒ）}とを送信した。しかしながら送信装置１００は、左画像データＤ_{Ｌ２（ｎｅａｒ）}及びＤ_{Ｌ２（ｆａｒ）}と、右画像データの一部の画像成分Ｄ_{Ｒ２（ｎｅａｒ）}とを送信してもよい。このように送信装置１００は、伝送レートが低い場合には、相関レベルの高い画像成分についてデータ量を減らすことにより、データレートを削減することができる。

上述のように送信装置１００は、相関レベルの低い画像成分については右画像データの画像成分Ｄ_{Ｒ２（ｎｅａｒ）}と左画像データの画像成分Ｄ_{Ｌ２（ｎｅａｒ）}とを送信する。一方で送信装置１００は、相関レベルの高い画像成分については、右画像データの画像成分Ｄ_{Ｒ２（ｆａｒ）}と左画像データの画像成分Ｄ_{Ｌ２（ｆａｒ）}との少なくとも一方から得られる画像を送信すればよい。上述のように送信装置１００は、相関レベルの高い画像成分については、右画像データの画像成分Ｄ_{Ｒ２（ｆａｒ）}と左画像データの画像成分Ｄ_{Ｌ２（ｆａｒ）}とのいずれかを送信した。一方で送信装置１００は、相関レベルの高い画像成分について、右画像データの画像成分Ｄ_{Ｒ２（ｆａｒ）}と左画像データの画像成分Ｄ_{Ｌ２（ｆａｒ）}との合成画像を送信してもよい。例えば、右画像データについての画素値と左画像データについての画素値との平均値を画素値として有する画像を、この合成画像として用いることができる。

送信装置１００及び受信装置１２０の動作は、汎用のコンピュータを用いて実現することもできる。すなわち、プロセッサとメモリとを有するコンピュータにおいて、メモリに記録されたコンピュータプログラムに従ってプロセッサが処理を行うことにより、例えば図１及び図２に示される各部の動作が実現されうる。

［変形例１］
実施例１において相関算出部１０１２は、対応する画像成分についての相関を示す相関値を算出した。変形例１において相関算出部１０１２は、それぞれの画像成分についてのずれ量を取得し、左右の一方の画像成分を取得したずれ量だけシフト移動させてから相関値を算出する。このずれ量は視差量に相当し、このような視差量は例えば、それぞれのフレーム画像に対して物体検出処理を行う物体検出部（不図示）を用いて算出することができる。こうして算出された視差量を送信機１１１から受信機１２１へと送信することにより、合成部１３１，１３２は視差量に従い、左右の一方の画像成分を用いて他方の画像成分を補間することができる。

［変形例２］
図３及び図７に示す画像伝送表示システムにおいては、複数の送受信機を用い、複数の無線伝送経路を介して画像データを送信した。しかしながら、同じ周波数帯を用いた無線通信においては、通信経路が近いと、一方の無線通信信号が他方の無線通信信号に干渉する場合がある。このような場合、複数の無線通信経路について、複数のバンドを用いることができる。複数のバンドのそれぞれは、周波数が異なっていてもよいし（ＦＤＭ）、通信時刻が異なっていてもよいし（ＴＤＭ）、通信に用いる符号が異なっていてもよい（ＣＤＭ）。

［変形例３］
変形例３においては、左右の画像データ間の類似度（第１の類似度）だけでなく、現在のフレームの画像データと、以前のフレームの画像データとの類似度（第２の類似度）が検出される。以前のフレームの画像データは、送信装置１００が既に取得したものである。類似度としては、実施例１と同様に相関値が用いられうる。そして、検出された相関値に従って、送信する画像成分が選択される。変形例３に係る画像伝送表示システムの構成は、図３に示す画像伝送表示システムと同様である。変形例３に係る画像伝送表示システムの変換部１０１の内部構成を、図８に示す。図４と同様の構成要素については、同じ参照符号が付されており、説明は省略される。

変形例３に係る変換部１０１は、フレームメモリ１０１７Ｒ，１０１７Ｌと、現在のフレームの画像データの画像成分と直前のフレームの画像データの画像成分との相関を検出する相関算出部１０１２Ｒ，１０１２Ｌとを有する。それぞれの画像データについて相関値を算出すると、相関値が算出された画像データはフレームメモリ１０１７Ｒ，１０１７Ｌに格納される。こうして、次のフレームの画像データについて相関値を算出する際に、フレームメモリ１０１７Ｒ，１０１７Ｌに格納されている前のフレームの画像データを参照することができる。相関算出部１０１２Ｒ，１０１２Ｌは、相関算出部１０１２が左右の画像成分について相関値を算出したのと同様に、それぞれの画像成分について、前のフレームの画像データとの相関を示す相関値を算出する。

レベル付加部１０１３Ｒ，１０１３Ｌは、それぞれの画像成分について、相関算出部１０１２が算出した相関値と、相関算出部１０１２Ｒ，１０１２Ｌが算出した相関値とのうち低い方を選択し、対応する相関レベルをそれぞれの画像成分に付加する。さらにレベル付加部１０１３Ｒ，１０１３Ｌは、相関算出部１０１２が算出した相関値と、相関算出部１０１２Ｒ，１０１２Ｌが算出した相関値とのうちどちらが選択されたのかを示す選択情報を、それぞれの画像成分に付加する。この選択情報は、左右の画像データ間の類似度と、直前のフレームの画像データの類似度と、のどちらがより大きいかを示す。

この場合選択部１０１５Ｒ，１０１５Ｌは、左右の画像データ間の類似度と、直前のフレームの画像データの類似度との双方が閾値以下である画像成分について、右画像データと左画像データとの双方を選択する。選択部１０１５Ｒ，１０１５Ｌは、他の画像成分については、右画像データのみを選択する。より具体的には選択部１０１５Ｌは、左画像データのうち、左右の画像データ間の類似度と直前のフレームの画像データの類似度との双方が閾値以下である画像成分のみを選択する。また選択部１０１５Ｒは、右画像データの全ての画像成分を選択する。選択部１０１５Ｒ，１０１５Ｌは、送信されない画像成分についてのこの選択情報を、受信機１２１，１２２へと送信する。

合成部１３１，１３２は、送信されなかった画像成分について、この選択情報を参照することにより、左右の他方の画像成分を用いて補間を行うのか、前のフレームの画像データの画像成分を用いて補間を行うのか、を決定することができる。具体的には、レベル付加部１０１３Ｒ，１０１３Ｌが相関算出部１０１２が算出した相関値を選択している場合、合成部１３１，１３２は左右の他方の画像成分を用いて補間を行う。また、合成部１３１，１３２が相関算出部１０１２Ｒ，１０１２Ｌが算出した相関値を選択している場合、合成部１３１，１３２は前のフレームの画像データの画像成分を用いて補間を行う。

選択部１０１５Ｒをさらに、直前のフレームの画像データとの類似度が閾値以下である画像成分のみを選択し、直前のフレームの画像データとの類似度が閾値を超える画像成分は選択しないように構成してもよい。

以下に、実施例２に係る画像伝送表示システムについて説明する。実施例２に係る画像伝送表示システムの構成は、図１に示される実施例１に係る画像伝送表示システムと同様である。

図９は、実施例２に係る変換部１０１の内部構造を示す。変換部１０１は、品質変更部１０１１Ｌ，１０１１Ｒと、減算部９０１２と、レベル付加部９０１３Ｌと、演算部１０１４と、選択部１０１５Ｌと、差分選択部９０１４と、結合部１０１６とを有する。品質変更部１０１１Ｌ，１０１１Ｒは、実施例１と同様に、無線通信経路の伝送レートに応じて送信する映像の品質を変更する。

減算部９０１２は、品質変更部１０１１Ｌ，１０１１Ｒから出力される各フレーム画像について、右画像データと左画像データとの差分データを算出する。レベル付加部９０１３Ｌは、減算部９０１２によって算出された差分データに従って、品質変更部１０１１Ｌ，１０１１Ｒから出力される画像データに対して差分レベルを付加する。この差分データは、右画像データと左画像データとの類似度を表す。具体的にはレベル付加部９０１３Ｌは、それぞれの画像成分について、左画像データと右画像データとの差分が大きいほど、高い差分レベルを付加する。演算部１０１４は、無線通信経路の伝送レートに応じて、送信する映像の品質と送信する画像成分とを決定する。選択部１０１５Ｌは、演算部１０１４の指示に従って、差分レベルを参照して画像成分を選択する。差分選択部９０１４は、減算部９０１２によって算出された差分データと、選択部１０１５Ｌによって選択された画像成分と、のどちらかを選択する。結合部１０１６は、差分選択部９０１４によって選択されたデータと、品質変更部１０１１Ｒから出力された画像データと、を結合して送信機１１１に送信する。

以下で、演算部１０１４、選択部１０１５Ｌ、及び差分選択部９０１４の動作について詳しく説明する。以下の説明においては、図１（Ｂ）に示されるように、送信機１１１と受信機１２１との間の伝送レートが３Ｇｂｐｓであるものとする。変換部１０１は、実施例１と同様にこの伝送レートを取得できる。

演算部１０１４は、品質変更部１０１１Ｒから出力された右画像データと、減算部９０１２によって算出された差分データと、の合計データレートが、送信機１１１と受信機１２１との間の伝送レート以下であるか否かを判定する。合計データレートが伝送レート以下である場合、差分選択部９０１４は、減算部９０１２によって算出された差分データを選択する。

合計データレートが伝送レートを超える場合、演算部１０１４は、無線通信経路の最大伝送レートに応じて、送信する映像の品質と送信するデータを決定する。具体的には演算部１０１４は、実施例１と同様に、最大転送レートが高いほど高い値を有するように、閾値を決定する。そして、差分レベルが閾値以上か否かに応じて、選択部１０１５Ｌは、付加された差分レベルを参照して、左画像データＤ_{ｌｅｆｔ１’}から一部の成分を選択する。言い換えれば、画像データの類似度が閾値以下であるか否かに応じて、画像成分が選択される。例えば選択部１０１５Ｌは、差分レベルが閾値以上である左画像データの画像成分Ｄ_{Ｌ２（ｆａｒ）}を選択する。そして演算部１０１４は、さらに演算部１０１４は、差分選択部９０１４に、選択部１０１５Ｌによって選択された画像成分を選択させる。

この場合、差分レベルが低い左画像データの画像成分Ｄ_{Ｌ２（ｆａｒ）}は送信されない。送信機１１１は、右画像データ（Ｄ_{Ｒ２（ｎｅａｒ）}及びＤ_{Ｒ２（ｆａｒ）}）と、左画像データの残りの画像成分Ｄ_{Ｌ２（ｎｅａｒ）}とを送信する。これらのデータの合計データレートは３Ｇｂｐｓとなる。。

演算部１０１４は、閾値を十分に高くしても送信機１１１から受信機１２１への送信が可能ではない場合には、画像品質を変更する。具体的には実施例１と同様に、演算部１０１４は、品質変更部１０１１Ｌ，１０１１Ｒに画像品質を変更させる。

以下に、実施例３に係る画像伝送表示システムについて説明する。本実施例に係る画像伝送表示システムは、高精細画像伝送表示システムである。高精細画像伝送表示システムにおいては、送信機から受信機へと映像を無線送信する。そして、受信機に接続された２つ以上のプロジェクタから画像が重畳するようにスクリーンに画像を投影することにより、高精細な画像を表示する。

本実施例に係る高精細画像伝送表示システムの簡単な原理図を図１３に示す。図１３（Ａ）は第１のプロジェクタから投影される画像の拡大図であり、図１３（Ｂ）は第２のプロジェクタから投影される画像の拡大図である。図１３（Ａ）及び図１３（Ｂ）は、同じ物体の境界線を表す。図１３において、各画素のアドレスは図中の左及び上に書かれたアルファベットと数字で表され、例えば図１３（Ａ）の画像の画素ａ２は黒、ａ３は白である。

図１３（Ｂ）の画像は、１画素の半分に相当する角度だけ図１３（Ａ）の画像を撮影した撮影装置とは異なる方向を向いた撮影装置によって撮影されている。そして、プロジェクタによって、図１３（Ｂ）の画像は、図１３（Ａ）の画像とは１画素の半分に相当する距離だけずれて投影される。

図１３（Ｃ）は、図１３（Ａ）及び図１３（Ｂ）の画像を重ねて投影した際に得られる画像を示す。図１３（Ｃ）の画像は、図１３（Ａ）及び図１３（Ｂ）の画像と比べて境界線が細くなっている。このように、本実施例に係る高精細画像伝送表示システムによれば、低い解像度の映像を複数重ねて投影することにより、より高い解像度の映像を表示することができる。さらに多くの映像を重ね合わせて投影することにより、さらに解像度を高めることも可能である。３つ以上の画像を送信する場合にも、それぞれの画像成分について３つ以上の画像間の相関値を求めることにより、実施例１と同様の処理を行うことができる。

図１３（Ａ）の画像と図１３（Ｂ）の画像との相関は、例えば画素ｂ２についてはより高く、画素ａ１については中程度であり、画素ａ２についてはより低い。一般的に、物体の境界付近の画素については相関が低くなる。

図１１は、本実施例の方法によって２つの映像を重ねて投影することによって得られる映像例を示す。図１１において、山１２０１には霞がかかっている。また、木１２０２は光線を乱反射する反射する葉を持つ。家１２０４は木目調であり、近くのランナー１２０５は、細かい顔の表情及び細かい服のしわを有する。ランナーが走っている道路１２０６は、細かい凹凸を有する。

図１１において、特にランナー１２０５、家１２０４、道路１２０６、及び木１２０２は、細かい模様（境界部分）を有するため、複数の映像間の相関が低くなる。一方、山１２０１は靄のためにはっきりした境界を有さず、複数の映像間の相関は高い。

相関が高い部分については他の画像で補間したとしても、画質の低下は目立たない。実施例１及び２と同様に、このような相関が高い画像成分については一部の画像についてのみ送信を行い、相関が低い画像成分については全ての画像について送信を行うことにより、画質を大きく低下させずに伝送レートを減らすことができる。本実施例においては、実施例１及び２と同様に、無線通信経路の伝送レートが低下した時、送信機から受信機への伝送レートを削減する。

映像が固定カメラで撮影されている場合、各フレーム画像内の家１２０４及び道路１２０６は、１フレーム前の家１２０４及び道路１２０６と相関が高いものと考えられる。この場合、変形例３で説明した１フレーム前の画像データと相関を検出する方法を用いることにより、さらに伝送レートを減らすことができる。

本実施例においては主に実施例１の方法を高精細画像伝送表示システムに採用する場合について説明したが、実施例２の方法を高精細画像伝送表示システムに適用してもよい。

（その他の実施例）
実施例１〜３においては、映像出力装置として２つのプロジェクタを用いた。しかしながら実施例１〜２において、１つの映像出力装置が左右の映像を交互に出力してもよい。この場合、例えば偏光板や色フィルタを出力に同期して切り替える方法を用いることができる。また実施例３において、１つの映像出力装置が高精細画像用の複数の映像を切り換えながら出力してもよい。この場合、例えば投影位置に１画素以下のずれを生じさせる光学素子を出力に同期して切り替える方法を用いることができる。

以上のように、上記各実施例の説明によれば、画像を送信装置から受信装置へと送信して表示させるシステムにおいて、送信装置と受信装置との間の伝送レートに応じて送信画像を選択して送信できる。したがって、画像選択に用いる閾値を伝送レートが高い場合に大きくし、伝送レートが低くなると閾値を小さくすれば、伝送路の状態に合ったデータ量で画像を送信できる。その結果、通信速度が低下した場合であっても、画像品質の低下を極力防ぐことができる。

（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (8)

1. 第１の画像と、前記第１の画像と共に表示される第２の画像と、を無線通信経路を介して受信装置へと送信する送信手段と、
   前記無線通信経路の伝送レートを判断する判断手段と、
   前記第１及び第２の画像を分割して得られるそれぞれの領域について、前記第１の画像と前記第２の画像との類似度を算出する算出手段と、
   前記判断手段によって判断された前記無線通信経路の伝送レートに応じて、前記第１の画像と前記第２の画像との双方のデータを送信するか、前記第１の画像のうち前記第２の画像との前記類似度が閾値以下である領域の画像のデータと前記第２の画像のデータとを送信するかを選択する選択手段と、を有し、
   前記送信手段は、前記選択手段による選択に従うデータを前記受信装置へと送信することを特徴とする送信装置。
2. 前記閾値を決定する決定手段をさらに有し、
   前記決定手段は、前記伝送レートが低い場合よりも高い場合の方が前記閾値が大きくなるように前記閾値を決定することを特徴とする請求項１に記載の送信装置。
3. 前記閾値を決定する決定手段をさらに有し、
   前記決定手段は、前記受信装置へと送信されるデータのデータレートが、前記無線通信経路の伝送レートを超えないように、前記閾値を決定することを特徴とする、請求項１に記載の送信装置。
4. 前記算出手段は、それぞれの前記領域について、前記第１の画像と、該第１の画像よりも先に取得した第１の画像と、の他の類似度を算出し、
   前記選択手段は、前記類似度及び前記他の類似度が閾値以下である領域については、前記第１の画像と前記第２の画像との双方のデータを選択し、他の領域については、前記第２の画像のデータを選択する
   ことを特徴とする、請求項１に記載の送信装置。
5. 前記選択手段は、前記第１の画像のデータに、前記類似度と前記他の類似度とのどちらがより大きいかを示す情報を付加することを特徴とする、請求項４に記載の送信装置。
6. 前記領域のそれぞれについて、第１の画像と第２の画像との間のずれ量を検出する検出手段をさらに備え、
   前記算出手段は、前記第１の画像の画像成分と、対応する前記ずれ量だけシフトされた前記第２の画像の画像成分との間の類似度を、前記類似度として算出する
   ことを特徴とする、請求項１乃至請求項５の何れか１項に記載の送信装置。
7. 無線通信経路の伝送レートを判断する判断工程と、
   第１及び第２の画像を分割して得られるそれぞれの領域について、前記第１の画像と前記第２の画像との類似度を算出する算出工程と、
   前記判断工程において判断された前記無線通信経路の伝送レートに応じて、第１の画像及び前記第１の画像と共に表示される第２の画像の双方のデータを送信するか、前記第１の画像のうち前記第２の画像との前記類似度が閾値以下である領域の画像のデータと前記第２の画像のデータとを送信するかを選択する選択工程と、
   前記選択工程における選択に従うデータを前記無線通信経路を介して受信装置へと送信する送信工程と、
   を含むことを特徴とする送信方法。
8. コンピュータを、請求項１乃至請求項６の何れか１項に記載の送信装置の各手段として機能させるための、コンピュータプログラム。

Images