JP5884076B2 - 無線伝送端末及び無線伝送方法、それに用いる符号化装置及び符号化方法、並びにコンピュータ・プログラム - Google Patents

Description

本発明は、時系列に再生されるデータをフレーム間予測符号化により符号化して無線で伝送する無線伝送端末及び無線伝送方法、無線伝送端末に用いる符号化装置及び無線伝送方法に用いる符号化方法、並びにそれらの方法を実行するためのコンピュータ・プログラムに関するものである。

従来より、被写体を撮影して動画像データを生成するとともに、生成した動画像データを無線で伝送する機能を有する移動可能な端末（以下「無線動画像伝送端末」という）が知られている。このような無線動画像伝送端末は、典型的には、無線通信機能を有し、生成した動画像データを無線送信可能なデジタルビデオカメラや、動画像の撮影及び送信の機能を有する無線通信装置（例えば携帯電話）である。

無線動画像伝送端末から無線で動画像データを伝送する際には、フレーム間予測符号化で動画像データを符号化することが有利である。フレーム間予測符号化では、所定の間隔で、入力画像をそれ自体で符号化したフレーム内符号化フレーム（Ｉピクチャ）を生成し、Ｉピクチャ同士の間には、入力画像と予測画像との差分を符号化した複数のフレーム間符号化（Ｐピクチャ又はＢピクチャ）を生成するので、動画像データを大幅に圧縮できる。このように動画像データを圧縮して伝送することで、伝送先では、動画像データを遅滞なく受信でき、無線動画像伝送端末で撮影された動画像をリアルタイムで再生することも可能になる。

図３は、無線動画像伝送端末から動画像データを無線で伝送する無線伝送システムの構成図である。図３に示すように、無線伝送システムには、複数のアクセスポイントが設けられる。図３の例では、アクセスポイントＡＰ１及びＡＰ２が設けられている。複数のアクセスポイントはそれぞれ自らの無線エリアをカバーする。図３の例では、アクセスポイントＡＰ１は無線エリアＡＲ１をカバーし、アクセスポイントＡＰ２は無線エリアＡＲ２をカバーする。図３に示すように、複数の無線エリアは互いに一部で重なっていてよい。

無線動画像伝送端末は、自らが所属する無線エリアのアクセスポイントとアソシエーションを確立して通信を行なう。図３の例では、無線動画像伝送端末ＴＭ１は無線エリアＡＲ１をカバーするアクセスポイントＡＰ１と通信を行い、無線動画像伝送端末ＴＭ２は無線エリアＡＲ２をカバーするアクセスポイントＡＰ２と通信を行なう。無線動画像伝送端末ＴＭ１及びＴＭ２は、それぞれ撮影により生成した動画像データを、アクセスポイントＡＰ１及びＡＰ２並びにルータなどの中継装置ＲＴを介して、伝送先であるモニタＭＴに伝送する。

無線動画像伝送端末が移動して、現在の所属無線エリアから出て新たな無線エリアに入る際には、ハンドオーバが行なわれる。無線動画像伝送端末は、ハンドオーバが行なわれている間も撮影を継続し、動画像データを生成し続ける。しかしながら、ハンドオーバの期間中は、新たなアクセスポイントとの認証等の処理を行うので、数１０ミリ秒〜数秒の間は、動画像データの送信ができない不通期間となる。これにより、伝送先では、無線動画像伝送端末が撮影した動画像をリアルタイムで再生できなくなる。

図４は、第１の従来技術によるハンドオーバ時の動画像データ伝送処理を説明する図である。動画像データの伝送元である無線動画像伝送端末は、フレーム間予測符号化によって動画像データを符号化する符号化部（エンコーダ）と、符号化された動画像データをパケット化して送信する無線送受信部とを備えている。また、動画像データの伝送先では、パケットを受信する受信部と、受信部で受信した動画像データを復号化する復号部（デコーダ）とを備えている。

無線動画像伝送端末がある無線セル内で動画像データを伝送している場合には、符号化部がフレーム間予測符号化により符号化した動画像データを、無線送受信部がＩＰパケットとして無線送信する。伝送先では、受信部がこれを受信して、復号部が動画像データを復号化する。図４において、フレーム１及びフレーム２の動画像データは、上記のようにして無線動画像伝送端末から伝送先に伝送されて、伝送先で再生される。これらのフレームについては、無線動画像伝送端末で撮影された動画像を伝送先でリアルタイムに再生できる。

なお、無線動画像伝送端末で被写体が撮影されて動画像データが符号化され無線動画像伝送端末から送信され、これが伝送先で受信さて復号化されるまでのタイムラグはあるが、上記のフレーム１やフレーム２のように、このタイムラグのみで再生できる場合を「リアルタイム」の再生という。

無線動画像伝送端末がハンドオーバを開始すると、上述のように、無線動画像伝送端末は、動画像データの送信を行なうことができなくなる。このために、図４に示す第１の従来技術では、ハンドオーバ中は、無線動画像伝送端末は、生成した動画像データのパケットをバッファに保存して、ハンドオーバが完了してから、新たなアクセスポイントに対してバッファに保存していたパケットを送信する。図４の例では、ハンドオーバ中に生成されたフレーム３、４、５の動画像データのパケットをバッファに保存し、ハンドオーバ終了後にそれらを順次送信する。

第１の従来技術によれば、伝送先ではハンドオーバ中に送信できなかったフレームの再生は遅延するものの、ハンドオーバによるデータ伝送の中断にもかかわらず、すべてのフレームを再生できる。しかしながら、この第１の従来技術によれば、無線動画像伝送端末には、ハンドオーバ中に生成される動画像データを保存しておくための十分な容量のバッファが必要とされる。無線動画像伝送端末が携帯電話やデジタルビデオカメラ等の、小型で携帯に適した機器である場合には、このような十分な容量のバッファを確保することが困難である。

図５は、バッファの容量が十分でなく、ハンドオーバ中の動画像データをバッファに保存していった結果、バッファのオーバーフローが生じる場合を説明する図である。図５の場合には、バッファのオーバーフローの結果、フレーム３のすべてのパケットと、フレーム４の一部のパケットが放棄される。従って、ハンドオーバが完了した後にも、伝送先では、フレーム３を再生することはできず、フレーム４も一部のパケットしかないので、完全に再生することはできない。

さらに、図５の場合には、一部又は全部のパケットが伝送されないフレーム３やフレーム４を再生できないばかりでなく、いかに説明する原因により、ハンドオーバが完了した後にすべてのパケットが伝送されるフレーム５以降のフレームでさえ、伝送先での再生画像の画質が劣化してしまう。

図５に示すように、動画像のフレームは、ＩピクチャとＰピクチャを含んでいる。Ｉピクチャは動画像の再生の起点となる画像であり、フレーム内予測符号化によって符号化されたフレームである。Ｐピクチャは、それより前のＩピクチャ又はＰピクチャから順方向間予測符号化により符号化されたフレームである。

図５を参照すると、フレーム１及びフレーム２については、パケット化されて、すべてのパケットが完全に伝送先に伝送されている。フレーム２を送信した後に無線動画像伝送端末にてハンドオーバが開始されたため、フレーム３以降のパケットは不通期間中、バッファに保存される。しかしながら、バッファは、３フレーム分のパケットを保存するだけの十分な容量がないため、フレーム５のパケットが保存されるときには、フレーム３のパケットの一部が破棄されてしまう。

ハンドオーバは、フレーム６の符号化が完了する前に完了して、無線動画像伝送端末は新たなアクセスポイントと通信可能になるが、通信を再開してフレーム３の一部のパケットを送信する前に、フレーム６のパケットがバッファに保存されるので、このときフレーム３のパケットとフレーム４の一部のパケットは破棄される。よって、ハンドオーバが完了して新たなアクセスポイントに対して送信をする際には、バッファにはフレーム６及びフレーム５のすべてのパケット及びフレーム４の一部のパケットしか保存されていない。従って、ハンドオーバ完了後に送信を再開しても、フレーム４については、一部のパケットしか送信できない。フレーム５からフレーム７については、ハンドオーバが完了した後にバッファに保存されたパケットを順次送信することで、１フレームを完全に伝送できる。フレーム８以降も通常通り送信できる。

伝送先では、フレーム５について完全なデータを受信しているが、フレーム５を復号化するにはフレーム４の動画像データが必要になるところ、上述の通り、フレーム４は一部のパケットが欠落しており完全な動画像データを得ることはできないので、フレーム５の画質は劣化してしまう。

フレーム６及びフレーム７は、その符号化データ自体は伝送先に伝送されているものの、参照先であるフレーム５及びフレーム６の画質が劣化しているので、フレーム６及びフレーム７についても画質が劣化してしまう。

このように、結局は、いったんハンドオーバが開始して送信が中止されると、その後にハンドオーバが完了して送信が再会されたとしても、次のＩピクチャまでは、伝送先においてフレームを正常に再生することはできないことになる。従って、第１の従来技術では、無線動画像伝送端末に要求されるバッファの容量を抑えて、ハンドオーバによって正常な再生が不能になるフレームを十分に減らすことはできない。

これに対して、第２の従来技術（特許文献１）では、無線動画像伝送端末がハンドオーバを開始した後のフレームについては、フレーム内符号化を行なってＩピクチャとする。この第２の従来技術によれば、ハンドオーバを開始した後のフレームについて（必要に応じてハンドオーバが完了した後も一定期間は）フレーム内符号化を行うことで、ハンドオーバが完了した直後から完全な再生を行なうことができる。

国際公開第２００３／０４１４０８号パンフレット

しかしながら、第２の従来技術では、ハンドオーバの期間中にバッファに保存する動画像データがフレーム内符号化フレーム（Ｉピクチャ）であるので、バッファ内に保存できるフレームの数は、動画像データがフレーム間符号化フレーム（ＰピクチャやＢピクチャ）である場合に比べて少なくなる。例えば、図５の例では、バッファに２フレーム分のＩピクチャを保存する容量がないことが考えられる。この場合には、フレーム４だけではなくフレーム５についても、フレーム６のパケットがバッファリングされるときに、一部又は全部のパケットが破棄されてしまい、フレーム５の完全な再生が不可能になる。

従って、第２の従来技術によっても、無線動画像伝送端末に要求されるバッファの容量を抑えて、ハンドオーバによる不通期間のために正常な再生が不能になるフレームを十分に減らすことはできない。

本発明は、上記の問題に鑑みてなされたものであり、無線伝送端末に要求されるバッファの容量を抑えつつ、不通期間のために正常な再生が不能（再生が完全に不可能である場合、再生が不完全である場合、再生画像の画質が劣化する場合を含む）となるフレームの数を低減できる無線伝送端末を提供することを目的とする。

上記従来の課題を解決するために、本発明の無線伝送端末は、時系列に再生されるデータを符号化して無線で伝送する無線伝送端末であって、前記時系列に再生されるデータを取得するデータ取得部と、前記データ取得部にて取得したデータをフレーム単位でフレーム間予測符号化により符号化して符号化データを生成する符号化部と、前記符号化データを無線で送信する無線送信部と、前記無線送信部の無線状態を判定し、前記無線状態が悪化したと判定したときに、前記無線送信部による前記符号化データの送信を中止する無線送信制御部と、前記無線送信制御部にて前記無線送信部による前記符号化データの送信が中止されるときに、前記符号化部における前記フレーム間予測符号化の参照先フレームを指定する参照先指定部とを備えた構成を有している。

この構成により、無線送信部による符号化データの送信が中止されているときにも、フレーム内符号化フレームではなく、フレーム間符号化フレームを生成するので、それらを保存する場合には、バッファの容量は小さくて済み、無線通信が再開した後に保存した符号化データを送信する場合にも、送信するデータ量は小さくて済む。また、無線送信部による符号化データの送信が中止されているときには、参照先指定部が符号化部におけるフレーム間予測符号化の参照先フレームを指定するので、伝送先では、無線状態が回復して符号化データの送信が再開された後に送信された符号化データの参照先がなく復号化ができないという事態を回避できる。なお、時系列に再生されるデータは、動画像データ、音声データ、又はその両方であってよい。また、フレーム間予測符号化は、フレーム内符号化フレーム（Ｉピクチャ）のほかに順方向予測フレーム（Ｐピクチャ）を含む符号化であってよく、さらに双方向予測フレーム（Ｂピクチャ）を含む符号化であってもよい。

上記の無線伝送端末は、さらに、前記無線送信制御部にて前記無線送信部による前記符号化データの送信が中止されているときに、前記無線送信部にて送信すべき前記符号化データを保存するバッファを備えていてよい。

この構成により、符号化データの送信が中止されているときにバッファに保存された符号化データについても、伝送先にて参照先がなく復号化ができないという事態を回避できる。

また、上記の無線伝送端末において、前記参照先指定部は、前記無線送信制御部にて前記無線送信部による前記符号化データの送信が中止される前に送信されたフレームにて復号化可能なフレームを、前記参照先フレームとして指定してよい。

この構成により、参照先が固定された上で符号化されたフレームは、すべて伝送先にて復号化できることになる。

また、上記の無線伝送端末において、前記参照先指定部は、前記無線送信制御部にて前記無線送信部による前記符号化データの送信が中止される前に送信されたフレームにて復号化可能なフレームであって最新のフレームを、前記参照先フレームとして指定してよい。

この構成により、参照先が固定された上で符号化されたフレームは、すべて伝送先にて復号化できるとともに、参照先を符号化されたフレームにより近いフレームとすることで、無線通信が中止された後にバッファに保存されていた符号化データが、無線通信が再開された後に伝送先で復号化される際に、より高品質のデータに復号化できる。

また、上記の無線伝送端末において、前記無線送信部は、前記無線送信制御部にて無線状態が回復したと判定された後に、前記バッファに保存されている前記符号化データを送信してよい。

この構成により、無線通信が中止された後に符号化されてバッファに保存されていた符号化データを無線通信の再開後に伝送先にて復号化することができ、無線通信の中止により欠落するデータを減少できる。

また、上記の無線伝送端末において、前記参照先指定部は、前記無線送信制御部にて無線状態が回復したと判定された後に、前記参照先フレームの指定を解除してよい。

この構成により、無線通信が再開された後に、参照先フレームが固定されていない通常のフレーム間予測符号化を再開することができ、データを効率的に圧縮することが可能になる。

また、上記の無線伝送端末において、前記参照先指定部は、前記無線送信制御部にて無線状態が回復したと判断されてから、指定された前記参照先フレームにて所定数のフレームを符号化した後に、前記参照先フレームの指定を解除してよい。

参照先フレームが固定されていない通常のフレーム間予測符号化が、複数フレーム前のフレームを参照した符号化を行う場合において、無線状態が回復して無線通信が再開した後に直ちに参照先の指定を解除すると、無線通信を再開した直後に通常のフレーム間予測符号化で符号化されたフレームの参照先が、バッファで破棄されたフレームとなり、その結果、復号化ができなくなることがある。これに対して、上記の構成によれば、無線状態が回復したと判定された後の所定数のフレームについて、引き続き、指定された前記参照先フレームを参照先とする符号化を行なうので、上記のような不都合を回避できる。

また、上記の無線伝送端末において、前記バッファは、前記バッファの容量を超える前記符号化データを受けたときは、保存している前記符号化データをフレーム単位で破棄してよい。

この構成により、１フレームのデータが複数のパケットに分割されて、バッファにもパケット単位で保存されている場合において、その一部のパケットのみがバッファに残されて他の一部のパケットが破棄されることで、伝送先ではそのフレームについて不完全な再生がされるということを回避できる。

また、上記の無線伝送端末において、前記バッファは、保存している前記符号化データを古いものから順に破棄していってよい。

この構成により、バッファの容量を超える符号化データが生成された場合には、新しい符号化データを優先して保存することができ、無線通信が再開してバッファに保存された符号化データが伝送先に送信されることで、伝送先ではより新しいフレームを再生できる。

また、上記の無線伝送端末において、前記バッファは、保存している前記符号化データを所定のフレーム間隔で古いものから順に破棄してよい。

この構成により、バッファの容量を超える符号化データが生成された場合には、間歇的に符号データを保存することができ、無線通信が再開してバッファに保存された符号化データが伝送先に送信されることで、伝送先ではデータのフレームを間歇的に再生でき、無線通信が中止された後の一定のまとまった時間のデータがすべて欠落することを回避できる。

また、上記の無線伝送端末において、前記無線送信部はさらに受信機能を備えてよく、前記無線送信制御部は、前記無線送信部における受信強度が所定の閾値以下である間、前記無線送信部による前記符号化データの送信を中止してよい。

この構成により、無線状態の良否を受信強度に応じて判定でき、受信強度が低下したときに受信強度が回復するまで（ハンドオーバを開始してからハンドオーバを完了するまで、無線エリア内で障害物により無線状態が悪化した状態から障害物がなくなり無線状態が回復するまで、及び無線エリア外に出て再び当該無線エリアに戻るまで等の状況を含む）、符号化データの送信を中止するとともに、その間は参照先フレームを指定したフレーム間予測符号化によってデータの符号化を行なうことができる。

また、上記の無線伝送端末において、前記無線送信制御部は、前記無線伝送端末がハンドオーバを開始してから、ハンドオーバが完了するまで、前記無線送信部による前記符号化データの送信を中止してよい。

この構成により、ハンドオーバ処理による不通期間に、参照先フレームを指定した符号化を行なうことができ、ハンドオーバ処理による不通期間のために伝送先にて再送できなくなるフレームの数を低減できる。

また、本発明の別の態様は、時系列に再生されるデータ取得するデータ取得部と、時系列に再生されるデータをフレーム単位でフレーム間予測符号化により符号化して生成された符号化データを無線で送信する無線送信部と、前記無線送信部の無線状態を判定し、前記無線状態が悪化したと判定したときに、前記無線送信部による前記符号化データの送信を中止する無線送信制御部とを備えた無線伝送端末に用いられる符号化装置であって、前記データ取得部にて取得した前記時系列に再生されるデータをフレーム単位でフレーム間予測符号化により符号化して前記符号化データを生成する符号化部と、前記無線送信制御部にて前記無線送信部による前記符号化データの送信が中止されるときに、前記符号化部における前記フレーム間予測符号化の参照先フレームを指定する参照先指定部とを備えた構成を有している。

この構成によっても、無線送信部による符号化データの送信が中止されているときに、フレーム間符号化フレームを生成するので、符号化データの容量が小さくなり、保存及び送信に有利となる。また、無線送信部による符号化データの送信が中止されているときに、参照先指定部が符号化部におけるフレーム間予測符号化の参照先フレームを指定するので、伝送先では、無線状態が回復して符号化データの送信が再開された後に送信された符号化データの参照先がなく復号化ができないという事態を回避できる。

また、本発明のさらに別の態様は、時系列に再生されるデータを符号化して無線で伝送する無線伝送方法であって、この無線伝送方法は、前記時系列に再生されるデータを取得するデータ取得ステップと、前記データ取得ステップにて取得したデータをフレーム単位でフレーム間予測符号化により符号化して符号化データを生成する符号化ステップと、前記符号化データを無線で送信する無線送信ステップと、無線状態を判定し、前記無線状態が悪化したと判定したときに、前記符号化データの送信を中止する無線送信制御ステップと、前記無線送信制御ステップにて前記符号化データの送信が中止されるときに、前記符号化ステップにおける前記フレーム間予測符号化の参照先フレームを指定する参照先指定ステップとを含む構成を有している。

この構成によっても、符号化データの送信が中止されているときに、フレーム間符号化フレームを生成するので、符号化データの容量が小さくなり、保存及び送信に有利となる。また、符号化データの送信が中止されているときに、フレーム間予測符号化の参照先フレームを指定するので、伝送先では、無線状態が回復して符号化データの送信が再開された後に送信された符号化データの参照先がなく復号化ができないという事態を回避できる。

また、本発明のさらに別の態様は、時系列に再生されるデータ取得するデータ取得部と、時系列に再生されるデータをフレーム単位でフレーム間予測符号化により符号化した符号化データを無線で送信する無線送信部と、前記無線送信部の無線状態を判定し、前記無線状態が悪化したと判定したときに、前記無線送信部による前記符号化データの送信を中止する無線送信制御部とを備えた無線伝送端末にて実行される符号化方法であって、この符号化方法は、前記データ取得部にて取得した前記時系列に再生されるデータをフレーム単位でフレーム間予測符号化により符号化して前記符号化データを生成する符号化ステップと、前記無線送信制御部にて前記無線送信部による前記符号化データの送信が中止されるときに、前記符号化ステップにおける前記フレーム間予測符号化の参照先フレームを指定する参照先指定ステップとを含む構成を有している。

この構成によっても、符号化データの送信が中止されているときに、フレーム間符号化フレームを生成するので、符号化データの容量が小さくなり、保存及び送信に有利となる。また、符号化データの送信が中止されているときに、フレーム間予測符号化の参照先フレームを指定するので、伝送先では、無線状態が回復して符号化データの送信が再開された後に送信された符号化データの参照先がなく復号化ができないという事態を回避できる。

また、本発明のさらに別の態様は、上記の無線伝送方法をコンピュータに実行させるためのコンピュータ・プログラムである。

また、本発明のさらに別の態様は、上記の符号化方法をコンピュータに実行させるためのコンピュータ・プログラムである。

本発明は、無線送信部による符号化データの送信が中止されているときにも、フレーム間符号化フレームを生成するので、無線伝送端末に要求されるバッファの容量を抑えることができ、同時に、無線送信部による符号化データの送信が中止されているときには、フレーム間予測符号化の参照先フレームを指定するので、不通期間のために正常な再生が不能となるフレームの数を低減することができる。

本発明の実施の形態における無線動画像伝送端末の構成図 本発明の実施の形態における動画像データ伝送処理の説明図 無線動画像伝送端末から動画像データを無線で伝送するシステムの構成図 第１の従来技術による動画像データ伝送処理の説明図 第１の従来技術において動画像データ伝送処理でバッファのオーバーフローが生じる場合の説明図

以下、本発明を実施するための形態について、図面を参照しながら説明する。本発明は、時系列に再生されるデータを符号化して無線で伝送する無線伝送端末に関するが、以下の実施の形態では、データが動画像データであり、無線伝送端末が無線で動画像データを伝送する無線動画像伝送端末である例を説明する。本発明の無線伝送端末にて伝送されるデータは、動画像データに関らず、音声データ等の他の時系列に再生されるデータであってもよい。また、動画像データは音声データを伴うものであっても伴わないものであってもよい。

図１は、本発明の実施の形態における無線動画像伝送端末の構成図である。無線動画像伝送端末１００は、動画像取得部１と、動画像符号化装置２と、無線送受信部３と、バッファ４と、無線状態判定部５を備えている。動画像符号化装置２は、符号化部（エンコーダ）２１と、参照先指定部２２を備えている。

動画像取得部１は、動画像データを取得するモジュールであり、本発明のデータ取得部に相当する。本実施の形態の動画像取得部１は、被写体を撮影して動画データを生成することで、動画像データを取得する。動画像取得部１は、記録メディアに記録されている動画像データを読み出すことにより動画像データを取得してもよい。動画像取得部１は、取得した動画像データを動画像符号化装置２の符号化部２１に出力する。動画像取得部１から出力される動画像データは、フレーム単位のデータである。フレームが時間順に再生されることで動画像が表現される。

符号化部２１は、動画像取得部１から出力された動画像データに対して、フレーム間予測符号化による符号化を行なう。符号化部２１は、無線送受信部３における無線によるデータの送受信が可能である通常時には、図５を用いて既に説明してように、フレーム間予測符号化により、動画像データのフレームを、フレーム内符号化フレーム（Ｉピクチャ）及びフレーム間符号化フレーム（Ｐピクチャ）を含む符号化データに符号化する。即ち、各フレーム間符号化フレームは、１つ前のフレームを、フレーム間予測符号化にて参照すべきフレーム（以下、「参照先フレーム」という）とした順方向の予測符号化により生成される。符号化部２１は、符号化データを無線送受信部３に出力する。

参照先指定部２２は、所定の条件を満たす場合に符号化部２１によるフレーム間予測符号化の参照先フレームを指定する。参照先指定部２２による参照先フレームの指定の詳細については、後述する。

無線送受信部３は、符号化部２１より入力した符号化データをパケット化して、必要に応じてバッファ４に送信するパケットを一時的に保存して、無線ネットワークに向けて送信する。また、無線送受信部３は、無線ネットワークから各種の制御信号やデータを受信する受信機能を有している。無線ネットワークの先には、アクセスポイントがあり（図３参照）、無線動画像伝送端末１００は、自らが所属する無線エリアのアクセスポイントとの間で、送受信を行なう。

画像取得部１は、時系列の順に動画像のフレームを取得して、順次符号化部２１に出力する。符号化部２１は、画像取得部１から入力される動画像のフレームを符号化して符号化データを生成し、無線通信部３に出力する。無線通信部３は、符号化部２１から入力される符号化データを順次パケット化して、送信パケットをパケット化順に送信する。これにより、伝送先では、動画像取得部１で撮影された動画を順次復号化することができ、このようにして伝送先でのリアルタイムの再生が実現される。

無線状態判定部５は、無線動画像伝送端末１００のハンドオーバの処理を行う。このために、無線状態判定部５は、無線送受信部３の無線状態の良否を判定する。無線状態判定部５は、無線送受信部３で受信した無線強度に基づいて無線状態の良否を判定することができる。

無線状態判定部５は、無線強度が所定の閾値を下回った場合又は所定の閾値以下となった場合に、無線状態が悪化したと判定して、符号化部２１より入力した符号化動画像データのパケットの送信を中止するよう無線送受信部３を制御する。無線状態判定部５は、無線強度が所定の閾値以上となった場合又は所定の閾値を上回った場合に、無線状態が回復したと判定して、符号化部２１より入力した符号化動画像データのパケットの送信を再開するよう無線送受信部３を制御する。

符号化動画像データのパケットの送信を再開する状況には、無線状態が悪化したと判定してハンドオーバを開始した結果、ハンドオーバが完了して新たなアクセスポイントとのアソシエーションの確立が完了した状況と、あるアクセスポイントとの無線通信において、無線強度が所定の閾値未満又は所定の閾値以下となった後に、同一のアクセスポイントとの無線通信における無線強度が所定の閾値以上となった状況又は所定の閾値より大きくなった状況が含まれる。

無線状態判定部５は、無線状態が悪化したと判定したときに、それを動画像符号化装置２の参照先指定部２２に通知する。また、無線状態判定部５は、無線状態が回復したと判定したときに、それを動画像符号化装置２の参照先指定部２２に通知する。

符号化部２１は、上述のように、通常時には図５に示すフレーム間予測符号化によって動画像データのフレームを符号化する。即ち、フレーム１はフレーム内符号化をしてＩピクチャとし、フレーム２以降は、次のフレーム内符号化フレームまで、１つ前のフレームを参照先フレームとして、順方向の予測符号化を行なってＰピクチャとする。

参照先指定部２２は、無線状態判定部５から無線状態が悪化したと判定したとの通知を受けると、参照先フレームを指定する。参照先指定部２２が参照先フレームを指定すると、その指定が解除されるまでは、符号化部２１は、通常の予測符号化は行なわず、参照先を当該指定された参照先フレームに固定して、順方向の予測符号化を行なう。

参照先指定部２２は、参照先フレームを指定する場合は、無線状態判定部５が無線状態が悪化したと判定して無線送受信部３によるパケットの送信を中止する前にすべてのパケットが完全に送信されているフレームのうち、それ自体で、又はそれまでに既に送信されているフレームを参照することで、復号化が可能なフレームであって、最新のフレームを参照先フレームとして指定する。それ自体で復号化可能なフレームとは、フレーム内符号化フレーム（Ｉピクチャ）である。それまでに既に送信されているフレームを参照することで復号化が可能なフレームとは、順方向予測符号化フレーム（Ｐピクチャ）である。

符号化部２１は、参照先フレームが指定された後は、指定された参照先フレームを参照先として、動画像取得部１から次々に入力されてくる動画像データのフレームに対して順方向の予測符号化を行い、符号化データを生成する。符号化部２１は、生成した符号化データを順次無線送受信部３に出力する。無線送受信部３は、入力される符号化データをパケット化するが、これらのパケットは送信できないので、バッファ４に保存する。

このようにして無線送受信部３がパケットをバッファ４に保存していき、バッファ４の容量いっぱいにパケットが保存された後にさらに新たなパケットをバッファ４に保存する必要がある場合には、バッファ４では、保存された最も古いフレームのパケットが破棄（消去）される。このとき、パケットはフレーム単位で破棄され、即ち、１つのフレームを構成する複数のパケットが同時に破棄される。

無線送受信部３は、無線状態判定部５にて無線状態が回復したと判断されて、無線通信が再開されると、バッファ４に保存されているパケットを古いフレームのものから順に送信する。なお、無線通信が中断しているときにバッファ４に保存されたパケットを無線送受信部３が取り出して送信している間に、符号化部２１から入力された符号化データについては、無線送受信部３は、順次バッファ４に保存していく。

参照先指定部２２は、無線状態判定部５から無線状態が回復したとの通知を受けると、符号化部２１に対する参照先フレームの指定を解除する。参照先指定部２２が参照先フレームの指定を解除した後は、符号化部２１は、再び通常のフレーム間予測符号化を行なう。

なお、再開時は、Ｉピクチャ、Ｐピクチャの何れから再開してもよい。無線通信が中断されている際には、上述のようにして、参照先フレームが、無線通信が中断される前のフレームに固定されており、無線通信の再開直前に順方向予測符号化によって符号化されたフレームの参照先は比較的遠くなっており、従って画質も落ちている可能性がある。よって、画質を早く回復するという観点からは、無線通信が再開された直後には、フレーム内符号化を行なうことが望ましい。

図２は、無線動画像伝送端末１００及び伝送先での動画像データ伝送処理を説明する図である。無線動画伝送端末１００の符号化部２１は、まず、フレーム１をフレーム内符号化してＩピクチャを生成し、無線送受信部３は、これをパケット化して送信する。次に、無線動画伝送端末１００の符号化部２１は、フレーム２をＰピクチャに符号化して、無線送受信部３は、これをパケット化して送信する。

その後、無線動画像伝送端末１００がそれまでに通信をしていたアクセスポイントの無線エリアの縁に移動したことにより、無線送受信部３における受信強度が悪化すると、それを無線状態判定部５が判定して、無線送受信部３によるパケットの送信が中止されてハンドオーバの処理が開始され、参照先指定部２２が符号化部２１に対して符号化における参照先フレームを指定する。

符号化部２１は、参照先フレームの指定に応じて、それ以降の符号化における参照先を指定された参照先フレームに固定する。図２の例では、無線送受信部３によるパケットの送信を中止する前にすべてのパケットが完全に送信されているフレームのうち、それ自体で、又はそれまでに既に送信されているフレームを参照することで、復号化が可能なフレームであって、最新のフレームとして、フレーム２が参照先フレームとして指定される。

符号化部２１は、指定されたフレーム２を参照先としてフレーム３について順方向の予測符号化を行なって、Ｐピクチャを生成する。無線送受信部３は、生成されたフレーム３のＰピクチャを送信することができないので、そのパケットをバッファ４に保存する。符号化部２１は、フレーム４についても同様にして、フレーム２を参照先として順方向の予測符号化を行い、Ｐピクチャを生成し、無線送受信部３は、フレーム４のパケットをバッファ４に保存する。

フレーム５についても、まだ参照先の指定が解除されていないので、符号化部２１は、フレーム２を参照先として順方向の予測符号化を行い、Ｐピクチャを生成する。無線送受信部３は、フレーム５のパケットを送信できないので、バッファ４に保存するが、このときバッファ４にはフレーム５のすべてのパケットを保存する空き容量がないので、最も古いフレームであるフレーム３のパケットをすべて破棄して空き容量を確保した上で、フレーム５のパケットを保存する。

ハンドオーバには数１０ミリ秒から数秒の時間を要し、この期間は通信が中断される不通期間となる。フレーム５のパケットを保存した後にハンドオーバが完了するが、フレーム６をパケット化した時点でまだフレーム５のパケットが送信されていないので、最も古いフレーム４のパケットが破棄されて、フレーム６のパケットはバッファ４に保存される。

ハンドオーバが完了すると、その旨が無線状態判定部５から参照先指定部２２に通知されて、参照先指定部２２は、符号化部２１におけるフレーム間予測符号化の参照先の指定を解除する。ハンドオーバが完了して通信が再開すると、無線送受信部３は、バッファ４に保存されていたパケットを順に送信していく。

符号化部２１は、参照先の指定が解除されると、最初のフレームは、フレーム内符号化を行って、Ｉピクチャを生成する。

伝送先では、無線動画像伝送端末１００から伝送されてきたパケットを受信部で受信する。伝送先フレーム１のパケットを受信すると、それを復号化して再生し、フレーム２のパケットを受信すると、フレーム１を参照先としてフレーム２を復号化する。このようにして、フレーム１及びフレーム２については、伝送先にて正常に再生される。

ハンドオーバ中には、無線動画像伝送端末１００からパケットが送信されてこないので、伝送先では再生が一時的に停止する。ハンドオーバが終了して無線動画像伝送端末１００における通信が再開すると、まず、フレーム５のパケットが送られている。なお、フレーム３及びフレーム４については、既に無線動画像伝送端末１００にて破棄されており、伝送先には伝送されず、伝送先にてこれらのフレームは再生されない。

伝送先では、フレーム５を、フレーム２を参照して復号化する。また、フレーム６についても、フレーム２を参照して復号化する。仮に、フレーム５が、通常通り１つ前のフレーム４を参照先として符号化されているとすると、フレーム４は通信の中断により破棄されてしまっているので、通信の中断中にバッファに保存されていたフレーム５が通信再開後に伝送先に伝送されたとしても、伝送先ではフレーム５の参照先フレームが存在しないことになり、復号化できなくなる。

本実施の形態では、上述のように、通信が再開された後に送られてくるフレームが、通信が中断する前に伝送先に伝送されているフレームであって、復号化可能なフレームであるフレーム２を参照先として符号化されているので、伝送先では、通信が再開した後の最初のフレームから確実に復号化できる。そして、参照先フレームの指定が解除された後に符号化されたフレーム７以降のフレームについては、通常通り復号化して再生することができる。

以上のように、本実施の形態では、無線送信部３による符号化データの送信が中止されているときにも、フレーム内符号化フレームではなく、フレーム間符号化フレームを生成するので、それらを保存する場合には、バッファの容量は小さくて済み、無線通信が再開した後に保存した符号化データを送信する場合にも、送信するデータ量は小さくて済む。また、無線送信部３による符号化データの送信が中止されているときには、参照先指定部が符号化部におけるフレーム間予測符号化の参照先フレームを指定するので、伝送先では、無線状態が回復して符号化データの送信が再開された後に送信された符号化データの参照先がなく復号化ができないという事態を回避できる。

なお、上記の実施の形態では、符号化部２１は、通常時の符号化として、フレーム内符号化及び順方向予測符号化のみを含む符号化（Ｉピクチャ、Ｐピクチャを生成する符号化）を行なったが、フレーム内符号化とともに順方向予測符号化及び双方向予測符号化を含む符号化（Ｉピクチャ、Ｐピクチャ、及びＢピクチャを生成する符号化）を行なってもよい。

また、上記の実施の形態では、無線動画像伝送端末１００がバッファ４を有し、通信が中断している間に符号化されたフレームをバッファ４に保存するとともに、通信が再開した後にはバッファ４に保存されたフレームを送信した。このバッファ４は、その容量が大きいほど、通信が中断している間に取得されて符号化されたフレームを多く保存することができ、通信が再開した後には伝送先にて、そのようなフレームを多く再生することができ、欠落するフレームを低減できる。

しかし、本発明の利点は、通信の中断中にバッファの容量が十分でなく、一部のフレームが破棄された場合にも、通信の再開後に伝送されたフレームを直ちに復号化して再生できることにある。従って、本発明は、バッファの容量が、通信が中断している間に生成されるフレームをすべて保存するだけの十分な容量を持たないバッファを採用している場合、ひいてはバッファの容量が極めて小さく、又はバッファがない場合にも、有効にその効果を発揮する。

なお、バッファの容量が十分でなく、一部のフレームを破棄しなければならない場合において、上記の実施の形態では、古いフレームから順に破棄していったが、本発明はこれに限られない。例えば、フレームを所定の間隔で（例えば奇数番目のフレームのみを）古いものから順に破棄してもよいし、他の任意の方法で破棄するフレームを決定してよい。フレームを間歇的に破棄する（又は残す）ことで、通信が再開した後に、伝送先では、再開間際の動画像だけでなく、より以前のフレームも再生できる。このように、任意の方法で破棄する（又は残す）フレームを決定できるのは、通信が中断している間に符号化されるフレームの参照先フレームが、通信の中断に関らず伝送先にて復号化可能なフレームに固定されているからである。

また、通常時の符号化が複数フレーム前のフレームを参照する符号化である場合には、通信が再開されて通常の符号化に戻った後のフレーム間符号化フレームが通信の中断によりバッファに保存しきれずに破棄されてしまうフレームを参照して符号化することがないように、通信が再開された後の数フレームについては引き続き参照先フレームを指定したまま符号化を行って、その後に参照先の指定を解除してもよい。

また、上記の実施の形態では、無線状態判定部５は、無線送受信部３における受信強度が所定の閾値を下回った場合又は所定の閾値以下となった場合に、無線状態が悪化したと判定して、無線送受信部３によるパケットの送信を中止するとともに、参照先指定部２２にその旨を通知したが、本発明はこれに限られない。無線状態判定部５は、ハンドオーバが開始したときに、無線状態が悪化したと判定するとともに、参照先指定部２２にその旨を通知してもよい。また、無線状態判定部５は、ハンドオーバが完了して新しいアクセスポイントとアソシエーションが確立されたことに基づいて、無線状態が回復したと判定してもよい。

以上のように、本発明は、符号化データの送信が中止されているときには、符号化におけるフレーム間予測符号化の参照先フレームが指定されるので、伝送先では、無線状態が回復して符号化データの送信が再開された後に送信された符号化データの参照先がなく復号化ができないという事態を回避でき、時系列に再生されるデータをフレーム間予測符号化により符号化して無線で伝送する無線伝送端末等として有用である。

１ 動画像取得部
２ 動画像符号化装置
３ 無線送受信部
４ バッファ
５ 無線状態判定部
２１ 符号化部
２２ 参照先指定部
１００ 無線動画像伝送端末

Claims (18)

1. 時系列に再生されるデータをフレーム単位で符号化することによって生成される、フレーム内符号化フレームおよびフレーム間符号化フレームの少なくとも一方を含む符号化データを生成する符号化部と、
   前記符号化データを無線で送信する無線送信部と、
   前記無線送信部の無線状態を判定し、前記無線状態が悪化したと判定されてから前記無線状態が回復したと判定されるまで、前記無線送信部による前記符号化データの送信を中止する無線送信制御部と、
   前記無線状態が悪化したと判定された場合の符号化に用いる参照先フレームを指定する参照先指定部とを備え、
   前記符号化部は、
   前記無線状態が悪化したと判定されると、フレーム内符号化フレームの生成を制限し、参照先が前記参照先フレームに固定されたフレーム間符号化フレームを生成して前記符号化データに含ませ、
   前記無線状態が回復したと判定されると、フレーム内符号化フレームおよびフレーム間符号化フレームを生成して前記符号化データに含ませる、ことを特徴とする無線伝送端末。
2. さらに、前記符号化データの送信が中止されているときに、前記無線送信部にて送信すべき前記符号化データを保存するバッファを備えたことを特徴とする請求項１に記載の無線伝送端末。
3. 前記参照先指定部は、前記符号化データの送信が中止される前に送信されたフレームにて復号化可能なフレームを、前記参照先フレームとして指定することを特徴とする請求項１又は２に記載の無線伝送端末。
4. 前記参照先指定部は、前記符号化データの送信が中止される前に送信されたフレームにて復号化可能なフレームであって最新のフレームを、前記参照先フレームとして指定することを特徴とする請求項３に記載の無線伝送端末。
5. 前記無線送信部は、前記無線状態が回復したと判定された後に、前記バッファに保存されている前記符号化データを送信することを特徴とする請求項２に記載の無線伝送端末。
6. 前記参照先指定部は、前記無線状態が回復したと判定された後に、前記参照先フレームの指定を解除することを特徴とする請求項２ないし５のいずれかに記載の無線伝送端末。
7. 前記参照先指定部は、前記無線状態が回復したと判定されてから、前記参照先フレームを参照先とするフレーム間符号化フレームが所定数生成された後に、前記参照先フレームの指定を解除することを特徴とする請求項６に記載の無線伝送端末。
8. 前記符号化部は、前記無線送信部による無線送信が再開した直後に前記フレーム内符号化フレームを生成することを特徴とする請求項６または請求項７に記載の無線伝送端末。
9. 前記バッファは、前記バッファの容量を超える前記符号化データを受けたときは、保存している前記符号化データをフレーム単位で破棄することを特徴とする請求項２に記載の無線伝送端末。
10. 前記バッファは、保存している前記符号化データを古いものから順に破棄していくことを特徴とする請求項９に記載の無線伝送端末。
11. 前記バッファは、保存している前記符号化データを所定のフレーム間隔で古いものから順に破棄していくことを特徴とする請求項９に記載の無線伝送端末。
12. 前記無線送信部はさらに受信機能を備え、
    前記無線送信制御部は、前記無線送信部における受信強度が所定の閾値以下である間、前記無線状態が悪化していると判定することを特徴とする請求項１ないし１１のいずれかに記載の無線伝送端末。
13. 前記無線送信制御部は、前記無線伝送端末がハンドオーバを開始してから、ハンドオーバが完了するまで、前記無線送信部による前記符号化データの送信を中止することを特徴とする請求項１ないし１１のいずれかに記載の無線伝送端末。
14. 時系列に再生されるデータをフレーム単位で符号化して生成することによって生成される、フレーム内符号化フレームおよびフレーム間符号化フレームの少なくとも一方を含む符号化データを無線で送信する無線送信部と、前記無線送信部の無線状態を判定し、前記無線状態が悪化したと判定されてから前記無線状態が回復したと判定されるまで前記無線送信部による前記符号化データの送信を中止する無線送信制御部とを備えた無線伝送端末に用いられる符号化装置であって、
    前記無線状態が悪化したと判定された場合の符号化に用いる参照先フレームを指定する参照先指定部と、
    前記無線状態が悪化したと判定されると、フレーム内符号化フレームの生成を制限し、参照先が前記参照先フレームに固定されたフレーム間符号化フレームを生成して前記符号化データに含ませ、
    前記無線状態が回復したと判定されると、フレーム内符号化フレームおよびフレーム間符号化フレームを生成して前記符号化データに含ませる、符号化部と、
    を備えたことを特徴とする符号化装置。
15. 時系列に再生されるデータをフレーム単位で符号化することによって生成される、フレーム内符号化フレームおよびフレーム間符号化フレームの少なくとも一方を含む符号化データを生成する符号化ステップと、
    前記符号化データを無線で送信する無線送信ステップと、
    無線状態を判定し、前記無線状態が悪化したと判定されてから前記無線状態が回復したと判定されるまで、前記符号化データの送信を中止する無線送信制御ステップと、
    前記無線状態が悪化したと判定された場合の符号化に用いる参照先フレームを指定する参照先指定ステップとを含み、
    前記符号化ステップは、
    前記無線状態が悪化したと判定されると、フレーム内符号化フレームの生成を制限し、参照先が前記参照先フレームに固定されたフレーム間符号化フレームを生成して前記符号化データに含ませ、
    前記無線状態が回復したと判定されると、フレーム内符号化フレームおよびフレーム間符号化フレームを生成して前記符号化データに含ませる、ことを特徴とする無線伝送方法。
16. 時系列に再生されるデータをフレーム単位で符号化することによって生成される、フレーム内符号化フレームおよびフレーム間符号化フレームの少なくとも一方を含む符号化データを無線で送信する無線送信部と、前記無線送信部の無線状態を判定し、前記無線状態が悪化したと判定されてから前記無線状態が回復したと判定されるまで前記無線送信部による前記符号化データの送信を中止する無線送信制御部とを備えた無線伝送端末にて実行される符号化方法であって、
    前記無線状態が悪化したと判定された場合の符号化に用いる参照先フレームを指定する参照先指定ステップと、
    前記無線状態が悪化したと判定されると、フレーム内符号化フレームの生成を制限し、参照先が前記参照先フレームに固定されたフレーム間符号化フレームを生成して前記符号化データに含ませ、
    前記無線状態が回復したと判定されると、フレーム内符号化フレームおよびフレーム間符号化フレームを生成して前記符号化データに含ませる、符号化ステップと、
    を含むことを特徴とする符号化方法。
17. 請求項１５に記載の無線伝送方法をコンピュータに実行させるためのコンピュータ・プログラム。
18. 請求項１６に記載の符号化方法をコンピュータに実行させるためのコンピュータ・プログラム。

Images