JP5895163B2 - 無線映像送信装置および無線映像受信装置ならびにこれらを備えた無線映像伝送システム - Google Patents

Description

本発明は、複数のアクセスポイント（基地局）を切り替えながら無線通信によって映像信号を送受信するための無線映像送信装置および無線映像受信装置ならびにこれらを備えた無線映像伝送システムに関する。

移動体通信において、移動体端末（例えば、携帯電話）は、移動中に複数のアクセスポイントを切り替えるハンドオーバを実施することにより、広域なエリアで無線通信を維持できることが知られている。一方、移動体通信では、アクセスポイントのカバーエリア（すなわち、電波が届く範囲）の境界付近において回線状況が悪化したり、ハンドオーバの実施時に通信が一時的に途切れたりするといった問題がある。特に、映像を伝送するシステムでは、音声通信等に比べて伝送する情報量が大きいため、高い伝送品質を実現するためには上記のような問題への対処は不可欠である。

これに対し、映像伝送システムにおいて、動画像の各フレームの静止画像を分割したブロックを、その重要度にしたがって注目ブロックと非注目ブロックとに分類し、符号量の削減が必要な場合には非注目ブロックに対して優先的に符号削減を行うことにより、通信時の回線状況が悪化した場合でも少なくとも画像の主要部分について高品質の再生を可能とした技術が知られている（特許文献１参照）。

また、移動体端末において、基地局との間で信号を送受信する２系統の送受信系を設け、ハンドオーバを実施する際に、切替元の基地局との通信に関わっていない方の送受信系を用いて切替先の基地局との間でハンドオーバに関わる制御信号を送受信することにより、ハンドオーバの実施時における通信断時間を短縮する技術が知られている（特許文献２参照）。

特開２００５−９４５７８号公報 特開２０００−１０２０５０号公報

しかしながら、上記特許文献１に記載の従来技術は、符号化処理において非注目ブロックに対して優先的に符号削減を行うことによって１つのストリームを生成する構成であり、例えば、画像サーバからクライアント装置に対して動画像を配信するシステム等においては有効であるものの、無線ＬＡＮ（Local Area Network）アクセスポイント等を利用する移動体通信への適用を考えた場合には、回線状況等に応じて制御可能な符号量の範囲が小さいという問題があった。

また、上記特許文献２に記載の従来技術では、ＰＨＳ（Personal Handyphone System）などの帯域保証されたネットワークにおいて、２系統の送受信系によってハンドオーバの実施時における通信断時間を短縮できるものの、帯域保証のない無線ＬＡＮアクセスポイント等を利用する移動体通信では、高品質な伝送を期待できないという問題があった。

本発明は、このような従来技術の課題を鑑みて案出されたものであり、ハンドオーバの実施時や、アクセスポイントのカバーエリアの境界付近において回線状況が悪化した場合でも、映像の乱れや画質の低下を抑制して高品質な映像データの伝送を実現する無線映像送信装置および無線映像受信装置ならびにこれらを備えた無線映像伝送システムを提供することを主目的とする。

本発明の無線映像送信装置は、被写体を撮像して映像データを生成する撮像部と、前記映像データに基づき、少なくとも画像領域または画像解像度が互いに異なるように生成された優先映像データおよび非優先映像データを生成するデータ生成部と、前記優先映像データおよび前記非優先映像データを符号化する映像符号化部と、第１のアクセスポイントと通信する第１の無線通信部と、前記第１のアクセスポイントのハンドオーバ先候補である第２のアクセスポイントと通信する第２の無線通信部と、前記第１および第２の無線通信部による無線通信を制御する通信制御部とを備え、前記通信制御部は、前記第１のアクセスポイントとの間の通信の回線状況と、前記第２のアクセスポイントへのハンドオーバの実施状況とに基づき、前記２つの映像ストリームの前記第１および第２の無線通信部からの送信適否を決定し、符号化された前記優先映像データと前記非優先映像データとを個別の２つの映像ストリームとして前記第１および第２の無線通信部から送信することを特徴とする。

このように本発明によれば、ハンドオーバの実施時や、アクセスポイントのカバーエリアの境界付近において回線状況が悪化した場合でも、映像の乱れや画質の低下を抑制して高品質な映像データの伝送を実現できるという優れた効果を奏する。

無線映像伝送システム１の概略構成図 図１の無線映像伝送システム１の詳細構成を示すブロック図 無線映像伝送システム１における映像ストリームの伝送方法の一例を示す模式図 映像符号化部１３による符号化後のデータの構成例を示す図 映像送信部１４による送信データの構成例を示す図 無線カメラ２による映像ストリームの送信動作を示すフロー図 無線カメラ２の２ストリームモードＡにおける映像ストリーム送信の説明図 無線カメラ２の２ストリームモードＢにおける映像ストリーム送信の説明図 無線映像伝送システム１におけるアクセスポイントＡＰ１、ＡＰ２間の距離と受信信号強度との関係を示す説明図（（Ａ）アクセスポイント間の距離小（Ｂ）アクセスポイント間の距離大） ＰＣ３による映像ストリームの受信動作を示すフロー図

上記課題を解決するためになされた第１の発明は、被写体を撮像して映像データを生成する撮像部と、前記映像データに基づき、少なくとも画像領域または画像解像度が互いに異なるように生成された優先映像データおよび非優先映像データを生成するデータ生成部と、前記優先映像データおよび前記非優先映像データを符号化する映像符号化部と、第１のアクセスポイントと通信する第１の無線通信部と、前記第１のアクセスポイントのハンドオーバ先候補である第２のアクセスポイントと通信する第２の無線通信部と、前記第１および第２の無線通信部による無線通信を制御する通信制御部とを備え、前記通信制御部は、前記第１のアクセスポイントとの間の通信の回線状況と、前記第２のアクセスポイントへのハンドオーバの実施状況とに基づき、前記第１および第２の無線通信部からの送信適否を決定し、符号化された前記優先映像データと前記非優先映像データとを個別の２つの映像ストリームとして前記第１および第２の無線通信部から送信する無線映像送信装置である。

これによると、優先映像データおよび非優先映像データを個別の映像ストリームとして送信すると共に、当該各映像ストリームの送信の適否を回線状況やハンドオーバの実施状況に基づき判定するため、優先映像データおよび非優先映像データの符号量を独立して制御することが可能となり、無線通信において制御可能な符号量の範囲を拡大することができる。したがって、ハンドオーバの実施時や、アクセスポイントのカバーエリアの境界付近において回線状況が悪化した場合でも、映像の乱れや画質の低下を抑制して高品質な映像データの伝送を実現できる。

また、第２の発明は、上記第１の発明に関し、前記通信制御部は、前記回線状況が、前記送信適否に関わる第１の基準を満たさない場合、前記２つの映像ストリームの双方を前記第１の無線通信部から前記第１のアクセスポイントに対して送信することを決定する構成とする。

これによると、受信側装置では、各映像ストリームの受信状況に応じて優先映像データおよび非優先映像データの一方または双方を表示等のための映像データとして適宜利用することができるため、第１のアクセスポイントのカバーエリアの境界付近等において回線状況が悪化した場合でも高品質な映像データの伝送を実現できる。

また、第３の発明は、上記第２の発明に関し、前記通信制御部は、前記回線状況が、前記第１の基準よりも低い第２の基準を満たさない場合、前記２つの映像ストリームの一方を前記第２の無線通信部から前記第２のアクセスポイントに対して送信することを決定する構成とする。

これによると、ハンドオーバ先となり得る第２のアクセスポイントに対して、ハンドオーバ前から映像ストリームを送信するため、ハンドオーバの実施時においても高品質な映像データの伝送を実現できる。

また、第４の発明は、上記第１から第３の発明の何れかに関し、前記通信制御部は、前記第１のアクセスポイントから前記第２のアクセスポイントへのハンドオーバが完了した場合、前記第１のアクセスポイントに対する前記２つの映像ストリームの送信を停止する一方、前記２つの映像ストリームの双方を前記第２の無線通信部から前記第２のアクセスポイントに対して送信することを決定する構成とする。

これによると、受信側装置では、各映像ストリームの受信状況に応じて優先映像データおよび非優先映像データの一方または双方を表示等のための映像データとして適宜利用することができるため、ハンドオーバの完了後の第２のアクセスポイントのカバーエリアの境界付近において回線状況が悪化した場合でも高品質な映像データの伝送を実現できる。

また、第５の発明は、上記第１から第４の発明の何れかに係る無線映像送信装置と通信する無線映像受信装置であって、前記第１および第２のアクセスポイントを介して前記無線映像送信装置から送信された前記２つの映像ストリームを受信するデータ受信部と、受信した少なくとも１つの映像ストリームに含まれる映像データを復号する映像復号部とを備えた構成とする。

これによると、複数の映像ストリームの受信状況に応じて複数の異なる映像データを表示等のための映像データとして適宜利用することができるため、ハンドオーバの実施時や、アクセスポイントのカバーエリアの境界付近において回線状況が悪化した場合でも、映像の乱れや画質の低下を抑制して高品質な映像データの伝送を実現できる。

また、第６の発明は、上記第５の発明に関し、前記無線映像受信装置に対して、前記第２のアクセスポイントへのハンドオーバの完了を通知するハンドオーバ完了通知部を更に備えた構成とする。

これによると、映像データの送信側（無線映像送信装置）においてハンドオーバ完了のタイミングを確実に把握することができるため、高品質な映像データの伝送が可能となる。

また、第７の発明は、上記第５または第６の発明に関し、前記データ受信部が、同種の映像ストリームを複数受信した場合、それら各映像ストリームの受信状況に応じて、前記映像復号部にて復号されるストリームを選択する映像ストリーム選択部を更に備えた構成とする。

これによると、受信状況がより良好な映像ストリームに基づき映像を再生することができるため、高品質な映像データの伝送が可能となる。

また、第８の発明は、上記第５から第７の発明の何れかに関し、さらに表示部を備え、ハンドオーバ中の優先映像の表示位置を、前記回線状況に応じて固定する構成とする。

これによると、ハンドオーバ中の優先映像の表示位置を固定することにより、電波状況が悪い場合でも見やすい映像を表示することができる。

また、第９の発明は、上記第１から第４の発明の何れかに係る無線映像送信装置と、上記第５から第８の発明の何れかに係る無線映像受信装置とを備えた無線映像伝送システムである。

以下、本発明の実施の形態について図面を参照しながら説明する。

図１は本発明に係る無線映像伝送システム１の概略構成図である。無線映像伝送システム１は、無線通信によって映像信号を送信する無線映像送信装置としての無線カメラ２と、この無線カメラ２から送信された映像信号を受信する無線映像受信装置としてのＰＣ（Personal Computer）３とから主として構成される。無線カメラ２は、２つのアクセスポイントＡＰ１、ＡＰ２およびＩＰ（Internet Protocol）ネットワーク４を介してＰＣ３と通信可能に接続される。ここで、ＩＰネットワーク４は、イーサネット（登録商標）等の周知のネットワーク規格に準拠したＬＡＮ（Local Area Network）から構成されるが、これに限らず、ＷＡＮ（Wide-Area Network）やインターネットを利用しても良い。

アクセスポイントＡＰ１、ＡＰ２は、互いに同一の構成を有する電波中継器であり、無線カメラ２との間で無線通信が可能である。アクセスポイントＡＰ１、ＡＰ２のカバーエリア５、６は、無線カメラ２が通信可能な領域を画成しており、互いの境界付近の一部の領域が重なるように設定されている。無線映像伝送システム１では、ユーザＵが無線カメラ２を使用しながら別のカバーエリアに移動すると、無線カメラ２はハンドオーバを実施する（アクセスポイントＡＰ１、ＡＰ２を一方から他方に切り替える）ことによりＰＣ３との通信を維持する。

ここでは、説明の便宜上、ハンドオーバ元であるアクセスポイントＡＰ１と、ハンドオーバ先となるアクセスポイントＡＰ２との２つのアクセスポイントを備えた例を示すが、実用上はより多くのアクセスポイントおよびそのカバーエリアが存在することが望ましい。

図２は図１の無線映像伝送システム１の詳細構成を示すブロック図であり、図３は無線映像伝送システムにおける映像ストリームの伝送方法の一例を示す模式図であり、図４は映像符号化部１３による符号化後のデータの構成例を示す図であり、図５は映像送信部１４による送信データの構成例を示す図である。

図２に示すように、無線カメラ２において、撮像部１１は、図示しない光学レンズ系やＣＭＯＳ（Complementary Metal Oxide Semiconductor Image Sensor）等からなる固体撮像素子を備え、光学レンズ系から固体撮像素子の撮像面に入射する被写体像を撮像して撮像映像データ（映像信号）を生成する。

映像切り出し部１２は、図３にも示すように、撮像部１１により生成された撮像映像データから注目領域(ＲＯＩ：Region of Interest)の切り出しを適宜実施する。ユーザは、画像における所定の領域を注目領域として事前に設定しておくことができる。或いは、ユーザは、後述するＰＣ３の映像表示部２５において表示された映像を見ながら注目領域を設定してもよい。また、ユーザの操作を介さずに、画像中の人や自動車などの移動物体を周知の画像認識処理等によって自動的に認識し、その移動物体を含む領域を注目領域として設定することも可能である。

映像符号化部１３は、映像切り出し部１２から出力された注目領域に関する注目映像データと、撮像部１１から出力された撮像映像データ（映像切り出し部１２による切り出しが実施された場合には、注目領域外の静止した背景等を含む非注目領域に関する非注目映像データ）を、ＭＰＥＧ２（Moving Picture Experts Group phase 2）等に準拠した周知の圧縮符号化技術を用いて符号化する。ここで、映像符号化部１３は、注目領域や非注目領域に含まれる画素ブロック毎に符号量の割り当てを制御することができる。なお、注目領域と非注目領域とは画像領域が互いに異なるが、必ずしも排他的である必要はなく、一部を重複させた構成も可能である。

また、映像符号化部１３は、後述する送信制御部１８により、設定される符号量となるように符号化するが、発生する符号量が多く、設定値を超えるような場合には、撮像部１１から出力された撮像映像データを縮小して解像度を下げ、その後に、符号化を実施する。撮像映像データの解像度を下げることで、発生する符号量抑制が可能となり、非注目領域を符号化するための符号量を大幅に削減できる。

ここで、撮像部１１から映像符号化部１３に入力された撮像映像データ（非注目映像データ）は、例えば、図４（Ａ）に示すように、Ｉピクチャ（Intra Picture）やＰピクチャ（Predictive Picture）等の画像を含むデータ列として映像符号化部１３から出力される。また、映像切り出し部１２から映像符号化部１３に入力された注目映像データは、例えば、図４（Ｂ）に示すように、各ＩピクチャやＰピクチャ等の画像毎に注目領域の位置を示す位置情報が付加されたデータ列として映像符号化部１３から出力される。

映像送信部１４は、映像符号化部１３において符号化された各映像データをＩＰパケット化し、個別の映像ストリームとして出力する。つまり、図３にも示すように、映像切り出し部１２による切り出しが実施された場合には、注目領域に関する注目映像データは、ハンドオーバの実施時や回線状況の悪化時において伝送品質を確保するために優先されるべき優先映像ストリームとして送信される。一方、非注目領域に関する非注目映像データは、優先する必要のない非優先映像ストリームとして送信される。

ここで、映像符号化部１３から映像送信部１４に入力された非注目映像データの画像（ここでは、Ｉピクチャ）は、例えば、図５（Ａ）に示すように、所定の画像サイズをもってＲＴＰヘッダ、ＵＤＰヘッダ、ＩＰヘッダが付加されてパケット化される。また、映像符号化部１３から映像送信部１４に入力された注目映像データの画像（ここでは、Ｉピクチャ）は、例えば、図５（Ｂ）に示すように、位置情報と共にＲＴＰヘッダ、ＵＤＰヘッダ、ＩＰヘッダが付加されてパケット化される。なお、Differentiated ServicesなどのＱｏＳ保証の仕組みを利用して、優先映像ストリームを優先的に伝送することも可能である。

第１無線通信部１５は、図示しないアンテナを介してアクセスポイントＡＰ１との間でIEEE 802.11a/b/g等の無線ＬＡＮの通信規格に準拠した無線通信を行う。映像送信部１４にてＩＰパケット化された各映像データは、第１無線通信部１５からアクセスポイントＡＰ１を介してＰＣ３に向けて送信される。ここで、注目映像データと、撮像部１１から出力された映像データ（非注目映像データ）とは、個別の映像ストリームとして送信される。なお、第１無線通信部１５は、無線通信の回線状況を把握する指標となる受信信号強度を検出することが可能である。

また、第２無線通信部１６は、第１無線通信部１５と同様の構成および機能を有する。第２無線通信部１６は、第１無線通信部１５が通信中のアクセスポイント（ここでは、アクセスポイントＡＰ１）とは異なるハンドオーバ先となり得るアクセスポイント（ここでは、アクセスポイントＡＰ２）の存在を予め設定された周期で検出し、このハンドオーバ先候補のアクセスポイントとの間で無線通信を行う。第２無線通信部１６は、アクセスポイントの検出時には、受信信号強度を測定しておき、後述するハンドオーバ時に、複数のＡＰ２候補が存在する場合には、受信信号強度の測定結果に基づき、より受信信号強度の大きいＡＰ２を選択するように動作する。

なお、無線カメラ２において、アクセスポイントＡＰ１からアクセスポイントＡＰ２へのハンドオーバが実施された後は、第１無線通信部１５と第２無線通信部１６とは互いに逆の機能を果たすことになる。

通信制御部１７は、第１および第２無線通信部１５、１６による無線通信の制御を始めとして、無線映像伝送システム１における通信を統括制御する。通信制御部１７において、送信制御部１８は、映像切り出し部１２および映像符号化部１３の動作を制御することにより、ＰＣ３に対する各映像データの送信を制御する。また、送信モード決定部１９は、無線通信の回線状況とハンドオーバの実施状況とに基づき、高品質な映像データの伝送を実現するために無線カメラ２が実行すべき動作モードを予め設定された複数の動作モードの中から決定する。これにより、送信制御部１８は、決定された動作モードにしたがって各映像データの送信を制御する。

一方、受信側のＰＣ３において、ＮＷ（ネットワーク）通信部２１は、ＩＰネットワーク４を介してアクセスポイントＡＰ１、ＡＰ２に接続されており、ＴＣＰ／ＩＰプロトコル等の周知のプロトコルに準拠して、無線カメラ２との間で映像ストリームや各種制御情報の送受信を実行する。

映像受信部２２は、受信データを蓄積するバッファ機能を有しており、ＮＷ通信部２１により無線カメラ２から受信したＩＰパケットに含まれる符号化された映像データを映像復号部２３に対して出力する。映像復号部２３では映像受信部２２からの各映像データが復号される。ここで復号された注目映像データおよびこれに対応する非注目映像データは、図３にも示したように、必要に応じて映像合成部２４において合成される。このようにして取得された映像データは、液晶ディスプレイ等を備えた映像表示部２５において表示される。

なお、後述するハンドオーバの実施時には、映像表示部２５において表示される注目領域の位置を固定するとよい。その場合、注目領域の表示位置は、優先映像ストリームの送信時に無線カメラ２側から指定することができる。これにより、ユーザにハンドオーバ中であることを認識させることができると共に、ハンドオーバ中の注目領域の見やすさが向上する。また、この場合、注目領域の位置の固定の要否は、無線カメラ２における受信信号強度の大きさに応じて決定することができ、例えば、受信信号強度が予め設定した閾値よりも小さい場合にのみ注目領域の位置を固定するとよい。これにより、受信信号強度が大きい場合には、ハンドオーバ中であっても注目領域の位置が固定されないため、より自然な映像表示が可能となる。

受信制御部２６は、映像受信部２２、映像復号部２３および映像合成部２４の動作を制御することにより、ＰＣ３に対する各映像データの受信および表示を制御する。また、ストリーム選択部２７は、受信制御部２６と共同し、映像受信部２２によって同種の映像ストリームが複数受信された場合（すなわち、無線カメラ２の第１、第２無線通信部１５、１６からそれぞれ同種の映像ストリームが送信された場合）、各映像ストリームの受信状況に応じて、映像復号部２３にて復号すべき映像ストリームを選択する。

なお、ＰＣ３は、ＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入出力インタフェース等から構成されており、上記各部の機能の一部または全てを所定のアプリケーションソフトウェアの処理により実現することができる。

上記構成の無線カメラ２では、通信制御部１７が、無線通信の回線状況とハンドオーバの実施状況とに基づき、各映像ストリームについて第１、第２無線通信部１５、１６からの送信の適否を決定する。この通信制御部１７による各映像ストリームの送信の適否の決定は、次の３つの動作モードが選択的に実行されることにより具現化される。

ここで、無線カメラ２の３つの動作モードは、撮像部１１から出力された撮像映像データを１つの映像ストリームとして第１無線通信部１５からアクセスポイントＡＰ１に対して送信する１ストリームモードと、注目映像データを含む優先映像ストリームおよび非注目映像データを含む非優先映像ストリームを第１無線通信部１５からアクセスポイントＡＰ１に対して送信する２ストリームモードＡ（ハンドオーバなし）と、注目映像データを含む優先映像ストリームおよび非注目映像データを含む非優先映像ストリームを第１無線通信部１５からアクセスポイントＡＰ１に対して送信し、且つ、注目映像データを含む優先映像ストリームのみを第２無線通信部１６からアクセスポイントＡＰ２に対して送信する２ストリームモードＢ（ハンドオーバあり）とからなる。

図６は無線カメラ２による映像ストリームの送信動作を示すフロー図であり、図７は無線カメラ２の２ストリームモードＡ（ハンドオーバなし）における映像ストリーム送信の説明図であり、図８は無線カメラ２の２ストリームモードＢ（ハンドオーバあり）における映像ストリーム送信の説明図である。

無線カメラ２が起動すると、まず、第１無線通信部１５は、図１に示したように、現在位置が属するカバーエリア５に対応するアクセスポイントＡＰ１に接続される。一方、現時点で通信を行う必要のない（すなわち、後にハンドオーバ先となるアクセスポイントＡＰ２と通信する）第２無線通信部１６では、アクセスポイントＡＰ１の受信信号強度が検出される（ＳＴ１０１）。なお、第１無線通信部１５により、ＡＰ１の受信信号強度を検出する構成とすることも可能である。

ここで、検出された受信信号強度が予め設定した第１の基準値Ｘを越えている場合（ＳＴ１０１：Ｙｅｓ）、送信モード決定部１９は、無線通信の回線状況が良好であると判断して１ストリームモードを実施する。また、受信信号強度の値が第１の基準値Ｘよりも小さく（ＳＴ１０１：Ｎｏ）かつ第２の基準値Ｙよりも大きい場合（ＳＴ１０２：Ｙｅｓ）、送信モード決定部１９は、無線通信の回線状況がやや悪化していると判断して２ストリームモードＡを実施する。さらに、受信信号強度の値が第２の基準値Ｙ以下である場合（ＳＴ１０２：Ｎｏ）、送信モード決定部１９は、ハンドオーバの実施を必要とする程度まで無線通信の回線状況が悪化したと判断して２ストリームモードＢ（ハンドオーバあり）を実施する。

１ストリームモード（ＳＴ１０１：Ｙｅｓ）では、映像切り出し部１２による注目領域の切り出し動作が停止される（ＳＴ１０３）。これにより、撮像部１１から出力された撮像映像データは、そのまま映像符号化部１３において符号化され（ＳＴ１０４）、第１無線通信部１５からアクセスポイントＡＰ１を介してＰＣ３に向けて１つの映像ストリームとして送信される（ＳＴ１０５）。

この１ストリームモードでは、図１に示したように、無線カメラ２の現在位置はカバーエリア５内における比較的電波の届き安い場所（中央付近等）にあるため、従来の伝送方法と同様に、注目領域の切り出し等による符号量の削減を行わない場合でも十分な伝送帯域を確保できる。

２ストリームモードＡ（ＳＴ１０２：Ｙｅｓ）では、映像切り出し部１２による注目領域の切り出し動作が開始される（ＳＴ１０６）。これにより、映像符号化部１３において、注目映像データおよび非注目映像データがそれぞれ符号化され（ＳＴ１０７）、それぞれ優先映像ストリームおよび非優先映像ストリームとして、第１無線通信部１５からアクセスポイントＡＰ１を介してＰＣ３に送信される（ＳＴ１０８）。

この２ストリームモードＡでは、図７に示すように、無線カメラ２の現在位置はカバーエリア５の内における比較的電波の届き難い場所（境界付近等）にある。しかしながら、ＰＣ３では、無線カメラ２から送信された優先映像ストリームおよび非優先映像ストリームの一方または双方を表示等のための映像データとして適宜利用することができるため、回線状況が悪化した場合でも高品質な映像データの伝送を実現できる。

２ストリームモードＢ（ＳＴ１０２：Ｎｏ）では、上述のステップＳＴ１０６、ＳＴ１０７とそれぞれ同様のステップＳＴ１０９、ＳＴ１１０が実施される。続いて、送信制御部１８は、ＰＣ３からハンドオーバの完了通知を受信していない場合（ＳＴ１１１：Ｎｏ）、上述のステップＳＴ１０８と同様のステップＳＴ１１２を実行し、更に、第２無線通信部１６からアクセスポイントＡＰ２を介してＰＣ３に向けて優先映像ストリームのみを送信する（ＳＴ１１３）。なお、ユーザによって予め定められた規定時間内にＰＣ３からハンドオーバの完了通知を受信していない場合には、送信制御部１８は、無線カメラ２がハンドオーバ可能な位置にない（すなわち、全てのアクセスポイントのカバーエリアから外れた）と判定してユーザに対してエラー表示等をしてもよい。

一方、送信制御部１８は、ＰＣ３からハンドオーバの完了通知を受信すると（ＳＴ１１１：Ｙｅｓ）、ステップＳＴ１１２において開始した第１無線通信部１５からの優先映像ストリームおよび非優先映像ストリームの送信を停止する（ＳＴ１１４）。続いて、送信制御部１８は、優先映像ストリームに加えて非優先映像ストリームを第２無線通信部１６からアクセスポイントＡＰ２を介してＰＣ３に送信する（ＳＴ１１５）。

この２ストリームモードＢでは、図８に示すように、無線カメラ２の現在位置はカバーエリア５とカバーエリア６とが重なる両カバーエリアの境界にある。しかしながら、ハンドオーバ先となり得る第２のアクセスポイントに対して、符号削減された優先映像ストリームが送信されるため、ハンドオーバ実施中でも高品質な映像データの伝送を実現できる。また、ＰＣ３は、各映像ストリームの受信状況に応じて注目映像データ（優先映像データ）および非注目映像データ（非優先映像データ）の一方または双方を表示等のための映像データとして適宜利用することができるため、ハンドオーバの完了後の第２のアクセスポイントのカバーエリアの境界付近において回線状況が悪化した場合でも高品質な映像データの伝送を実現できる。

上記一連のステップは、最終的に通信制御部１７において全ての送信動作が完了したと判断される（ＳＴ１１６：Ｙｅｓ）まで、繰り返し実施される。

このように、無線カメラ２では、優先映像データおよび非優先映像データを個別の映像ストリームとして送信すると共に、当該各映像ストリームの送信の適否を回線状況やハンドオーバの実施状況に基づき判定するため、優先映像データおよび非優先映像データの符号量を独立して制御することが可能となり、無線通信において制御可能な符号量の範囲を拡大することができる。したがって、ハンドオーバの実施時や、アクセスポイントのカバーエリアの境界付近において回線状況が悪化した場合でも、映像の乱れや画質の低下を抑制して高品質な映像データの伝送を実現できる。

なお、上記ステップＳＴ１１４においては、非優先映像ストリームのみの送信を停止する（すなわち、優先映像ストリームのみを送信する）ことも可能である。この場合、ハンドオーバ元のアクセスポイントＡＰ１に対して送信する優先映像ストリームとしては、ハンドオーバ先とは異なる特定の映像データ（例えば、Ｉピクチャ）のみを送信することもできる。これにより、ハンドオーバ元のアクセスポイントに対する伝送帯域を節約することが可能となる。また、ハンドオーバ元への映像データの送信を一部継続することにより、再びアクセスポイントＡＰ１へのハンドオーバが実施された場合でも高品質な映像データの伝送を確保できるという利点もある。

また、上記ステップ１１２においては、優先映像ストリームのみを送信することも可能である。この場合、ハンドオーバ元のアクセスポイントＡＰ１に対して送信する映像ストリームとしては、ハンドオーバ先とは異なる特定の映像データ（例えば、Ｉピクチャ）のみを送信することもできる。これにより、ハンドオーバ元のアクセスポイントに対する伝送帯域を節約することが可能となる。

また、上記ステップＳＴ１１３においては、第２無線通信部１６からＰＣ３に向けて優先映像ストリームのみを送信する構成としたが、優先映像ストリームについて必要な伝送帯域を確保できず、且つ非優先映像ストリームの方がより符号量が小さい場合には、非優先映像ストリームのみを送信する構成も可能である。このステップＳＴ１１３に関する変更例の詳細について図９を参照して説明する。

図９は無線映像伝送システム１におけるアクセスポイントＡＰ１、ＡＰ２間の距離と受信信号強度との関係を示す説明図である。ここで、（Ａ）はアクセスポイント間の距離が小さい場合、（Ｂ）はアクセスポイント間の距離が大きい場合を示している。

図９（Ａ）に示すように、アクセスポイントＡＰ１、ＡＰ２間の距離が比較的小さく、それらが重なる領域（斜線部分参照）において受信信号強度が比較的大きい（すなわち、確保できる可用帯域が比較的大きい）場合、優先映像ストリームを送信するのに好適である。一方、図９（Ｂ）に示すように、アクセスポイントＡＰ１、ＡＰ２間の距離が比較的大きく、それらが重なる領域（斜線部分参照）において受信信号強度が比較的小さい（すなわち、確保できる可用帯域が比較的小さい）場合、非優先映像ストリームを送信するのに好適である。このように、優先映像ストリームを伝送できない可用帯域の場合でも、非優先映像ストリームを送信することにより、映像の途切れを軽減できるという利点がある。

なお、ステップＳＴ１０１、ステップＳＴ１０２において、ＡＰ１に関する受信信号強度を用いて、送信モードを決定したが、ＡＰ２に関する受信信号強度を用いることも可能である。例えば、ＡＰ１の受信強度よりもＡＰ２の受信強度が大きい場合には、２ストリームモードを介すことなく、１ストリームモードで、送信先をＡＰ２に切り替えるという制御が可能である。

図１０はＰＣ３による映像ストリームの受信動作を示すフロー図である。ＰＣ３において映像ストリームの受信が開始されると、ストリーム選択部２７は、映像受信部２２において１つの映像ストリームのみが受信されているか否かを判定する（ＳＴ２０１）。ここで、無線カメラ２において１ストリームモードが実施されることにより、１つの映像ストリームのみがＰＣ３で受信されている場合（Ｙｅｓ）、その映像ストリームは、映像復号部２３にて復号され（ＳＴ２０２）、映像合成部２４による合成処理を経ることなく（ＳＴ２０３）、映像表示部２５において表示される。

また、ステップＳＴ２０１において１つの映像ストリームのみが受信されていない場合（Ｎｏ）、ストリーム選択部２７は、更に、映像受信部２２において２つの映像ストリームが受信されているか否かを判定する（ＳＴ２０４）。ここで、無線カメラ２において２ストリームモードＡが実施されることにより、２つの映像ストリームがＰＣ３で受信されている場合（Ｙｅｓ）、それら映像ストリームは、映像復号部２３にてそれぞれ復号され（ＳＴ２０５）、復号された注目映像データおよびこれに対応する非注目映像データは、映像合成部２４において合成され（ＳＴ２０６）、映像表示部２５において表示される。

また、ステップＳＴ２０４において２つの映像ストリームのみが受信されていない場合（Ｎｏ）、ストリーム選択部２７は、更に、映像受信部２２において３つの映像ストリームが受信されているか否かを判定する（ＳＴ２０７）。ここで、無線カメラ２において２ストリームモードＢが実施されることにより、３つの映像ストリームがＰＣ３で受信されている場合（Ｙｅｓ）、ストリーム選択部２７は、それら映像ストリームに含まれる２つの優先映像ストリーム（同種の映像ストリーム）の一方を、それら優先映像ストリームの受信状況の良否に応じて（例えば、パケットロス率やジッタ変動を指標として）、映像復号部２３にて復号すべき映像ストリームとして選択する（ＳＴ２０８）。これにより、受信状況がより良好な映像ストリームに基づき映像を再生することができるため、高品質な映像データの伝送が可能となる。なお、受信状況の良否の指標としては、復号時のシンタクスエラーの頻度を用いてもよい。

続いて、ストリーム選択部２７は、ステップＳＴ２０８において選択した一方の優先映像ストリームがハンドオーバ先に送られたものであるか否かを判定し（ＳＴ２０９）、ハンドオーバ先に送られたものでない場合には（Ｎｏ）、上述のステップＳＴ２０５、ＳＴ２０６とそれぞれ同様のステップＳＴ２１０、ＳＴ２１１を実行する。一方、優先映像ストリームがハンドオーバ先に送られたものである場合（ＳＴ２０９：Ｙｅｓ）、受信制御部２６は、ステップＳＴ２１０、ＳＴ２１１を実行する前に、無線カメラ２に対してハンドオーバが完了した旨を知らせるためのハンドオーバ完了通知を送信する（ＳＴ２１２）。これにより、無線カメラ２においてハンドオーバ完了のタイミングを確実に把握することができるため、高品質な映像データの伝送が可能となる。

上記一連のステップは、最終的に受信制御部２６において全ての送信動作が完了したと判断される（ＳＴ２１３：Ｙｅｓ）まで、繰り返し実施される。

本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。

たとえば、本発明に係る無線映像送信装置としては、上述の無線カメラに限らず、少なくとも無線通信機能と映像データの送信機能を有するものであればよい。また、本発明に係る無線映像受信装置としては、上述のＰＣに限らず、少なくとも無線映像送信装置から映像データを受信し、その受信した映像データを復号する機能を有するものであればよい。

また、上記実施形態では、注目領域の切り出しにより互いに画像領域の異なる優先映像データ（注目映像データ）および非優先映像データ（非注目映像データ）を生成する構成としたが、例えば、映像データの符号化にH.264 SVC等のスケーラブルコーデックを用いることにより、互いに画像解像度が異なる優先映像データおよび非優先映像データを生成する構成も可能である。この場合、量子化値を制御することより、優先映像データでは、注目領域を高画質に符号化すると共に、非注目領域を低画質で符号化し、一方、非優先映像データでは、注目領域を低画質に符号化すると共に、非注目領域を高画質で符号化することができる。

なお、上記実施形態に示した本発明に係る無線映像送信装置および無線映像受信装置ならびにこれらを備えた無線映像伝送システムの各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

本発明に係る無線映像送信装置および無線映像受信装置ならびにこれらを備えた無線映像伝送システムは、ハンドオーバの実施時や、アクセスポイントのカバーエリアの境界付近において回線状況が悪化した場合でも、映像の乱れや画質の低下を抑制して高品質な映像データの伝送を実現可能とし、複数のアクセスポイント（基地局）を切り替えながら無線通信によって映像信号を送受信するための無線映像送信装置および無線映像受信装置ならびにこれらを備えた無線映像伝送システムとして有用である。

１ 無線映像伝送システム
２ 無線カメラ（無線映像送信装置）
３ ＰＣ（無線映像受信装置）
１１ 撮像部
１２ 映像切り出し部（データ生成部）
１３ 映像符号下部
１５ 第１無線通信部
１６ 第２無線通信部
１７ 通信制御部
２３ 映像受信部（データ受信部）
２６ 受信制御部（ハンドオーバ完了通知部）
２７ ストリーム選択部
ＡＰ１ 第１のアクセスポイント
ＡＰ２ 第２のアクセスポイント

Claims (11)

1. 第１のアクセスポイントと通信する第１の無線通信部と、
   前記第１のアクセスポイントのハンドオーバ先候補である第２のアクセスポイントと通信する第２の無線通信部と、
   前記第１および第２の無線通信部による無線通信を制御する通信制御部と
   を備え、
   前記通信制御部は、
   前記第１のアクセスポイントとの間の通信の回線状況と、前記第２のアクセスポイントへのハンドオーバの実施状況とに基づき、前記第１および第２の無線通信部からの送信適否を決定し、少なくとも画像領域または画像解像度が互いに異なるデータが符号化された優先映像データと非優先映像データとを個別の２つの映像ストリームとして前記第１および第２の無線通信部から送信し、
   前記回線状況が、前記送信適否に関わる第１の基準を満たさない場合、前記２つの映像ストリームの双方を前記第１の無線通信部から前記第１のアクセスポイントに対して送信し、
   前記回線状況が、前記第１の基準よりも低い第２の基準を満たさない場合、前記２つの映像ストリームの一方を前記第２の無線通信部から前記第２のアクセスポイントに対して送信することを特徴とする無線映像送信装置。
2. 前記通信制御部は、前記第１のアクセスポイントから前記第２のアクセスポイントへのハンドオーバが完了した場合、前記第１のアクセスポイントに対する前記２つの映像ストリームの送信を停止する一方、前記２つの映像ストリームの双方を前記第２の無線通信部から前記第２のアクセスポイントに対して送信することを決定する請求項１に記載の無線映像送信装置。
3. 請求項１または請求項２に記載の無線映像送信装置と通信する無線映像受信装置であって、
   前記第１および第２のアクセスポイントを介して前記無線映像送信装置から送信された前記２つの映像ストリームを受信するデータ受信部と、
   受信した少なくとも１つの映像ストリームに含まれる映像データを復号する映像復号部と
   を備えたことを特徴とする無線映像受信装置。
4. 前記無線映像受信装置に対して、前記第２のアクセスポイントへのハンドオーバの完了を通知するハンドオーバ完了通知部を更に備えたことを特徴とする請求項３に記載の無線映像受信装置。
5. 前記データ受信部が、同種の映像ストリームを複数受信した場合、それら各映像ストリームの受信状況に応じて、前記映像復号部にて復号される映像ストリームを選択するストリーム選択部を更に備えたことを特徴とする請求項３または請求項４に記載の無線映像受信装置。
6. さらに表示部を備え、ハンドオーバ中の優先映像の表示位置を、前記回線状況に応じて固定する請求項３から請求項５の何れかに記載の無線映像受信装置。
7. 請求項１または請求項２に記載の無線映像送信装置と、請求項３から請求項６の何れかに記載の無線映像受信装置とを備えた無線映像伝送システム。
8. 無線映像伝送システムが実行する無線映像送信方法であって、
   第１のアクセスポイントとの間の通信の回線状況を取得するステップと、
   前記第１のアクセスポイントのハンドオーバ先である第２のアクセスポイントへのハンドオーバの実施状況を取得するステップと、
   前記回線状況と前記実施状況とに基づいて、少なくとも画像領域または画像解像度が互いに異なるデータが符号化された優先映像データと非優先映像データとを個別の２つの映像ストリームとして前記第１および第２のアクセスポイントへ送信する送信ステップと、
   を含み、
   前記送信ステップにおいては、
   前記回線状況が、送信適否に関わる第１の基準を満たさない場合、前記２つの映像ストリームの双方を前記第１のアクセスポイントに対して送信し、
   前記回線状況が、前記第１の基準よりも低い第２の基準を満たさない場合、前記２つの映像ストリームの一方を前記第２のアクセスポイントに対して送信する無線映像送信方法。
9. 前記送信ステップにおいては、
   前記第１のアクセスポイントから前記第２のアクセスポイントへのハンドオーバが完了した場合、前記第１のアクセスポイントに対する前記２つの映像ストリームの送信を停止する一方、前記２つの映像ストリームの双方を前記第２のアクセスポイントに対して送信する請求項８に記載の無線映像送信方法。
10. 前記無線映像伝送システムが実行する、請求項８または請求項９に記載の無線映像送信方法によって送信されたデータを受信する無線映像受信方法であって、
    前記第１および第２のアクセスポイントを介して前記２つの映像ストリームを受信するステップと、受信した少なくとも１つの映像ストリームに含まれる映像データを復号する復号ステップとを含む無線映像受信方法。
11. 同種の映像ストリームを複数受信した場合、それら各映像ストリームの受信状況に応じて、前記復号ステップで復号される映像ストリームを選択するストリーム選択ステップを更に含む請求項１０に記載の無線映像受信方法。

Images