JP4281950B2

JP4281950B2 - 動画像配信装置

Info

Publication number: JP4281950B2
Application number: JP2003195025A
Authority: JP
Inventors: 悟史宮地; 康弘滝嶋
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2003-07-10
Filing date: 2003-07-10
Publication date: 2009-06-17
Anticipated expiration: 2023-07-10
Also published as: JP2005033411A

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像配信装置に関し、特に、圧縮符号化されたソース画像のうちの任意の画像領域を切り出して複数の受信端末の各々に配信するに際し、符号化処理の演算量を低減し、複数の受信端末から同時にアクセスされた場合でも処理負荷を小さくでき、配信性能を向上させることができる動画像配信装置に関するものである。
【０００２】
【従来の技術】
従来、単一カメラによる映像に複数端末から同時にアクセスし、かつ端末ごとにそれぞれ異なる視点の画像を得ることができる手法として、特開平９−２６１５２２号公報に記載された「可変領域を得うる映像配信方法、ならびにシステム」がある。この従来技術は、映像配信装置に接続された広角カメラからの映像から、個々の受信端末からの要求に応じた視点の部分領域画像を切り出し、圧縮符号化を行って端末へと配信するものである。この配信装置では、部分領域画像の切り出しと圧縮符号化処理とが、配信装置にアクセスしている端末の個数分並列に実行されることになる。
【０００３】
【発明が解決しようとする課題】
しかしながら、配信装置にアクセスしている端末の個数分並列に実行される圧縮符号化処理は、配信装置に対する大きな処理負荷となっている。すなわち、システム全体構成の中で、一般的に、圧縮符号化処理が最も演算量が大きいものであるため、単純に端末の個数分並列に圧縮符号化処理を行ったのでは、配信装置に対して非常に大きな処理負荷を課すことになる。
【０００４】
特に近年、配信装置はサーバ型コンピュータとソフトウエアで構成するのが一般的となっており、処理負荷の増大は、符号化画像のフレームレート低下、遅延の増大、同時アクセス可能数の低下といった配信装置の性能を低下させるものとなる。
【０００５】
本発明の目的は、上述した従来の配信装置における問題を解決し、個々の符号化処理の演算量を低減し、複数の受信端末から同時にアクセスされた場合でも処理負荷を小さくでき、配信性能を向上させることができる動画像配信装置を提供することにある。
【０００６】
【課題を解決するための手段】
前記した課題を解決するために、本発明は、圧縮符号化されたソース画像を、該ソース画像に対して座標体系の異なる画像に変換するフォーマット変換を施した後、複数の受信端末の各々に対して送信する動画像配信装置において、符号化されたソース画像を復号するデコーダと、前記デコーダにより復号された画像に対して前記フォーマット変換の前後の画像各点の対応関係を基にした座標変換を行う座標変換部と、前記受信端末からの指示に従って、前記座標変換部により座標変換された画像から任意領域の画像を切り出す複数の画像切り出し部と、ソース画像の復号の際に、ソース画像についての動ベクトル情報、量子化パラメータ情報、符号化モード情報のうちの少なくとも１つの情報を画像ビットストリームから抽出する情報抽出部と、前記画像切り出し部により切り出された画像の符号化の際に、前記フォーマット変換の前後の画像各点の対応関係に基づき、前記情報抽出部により抽出された情報をフォーマット変換後の画像各点に対応する情報に変換し、これを利用して符号化する複数のエンコーダと、前記受信端末からの指示を受信するとともに、前記エンコーダにより符号化された画像を配信する複数の通信部とを備えることを特徴とする。
【０００７】
動ベクトル情報を再利用する場合には、ソース画像での動ベクトル情報を抽出して座標変換し、座標変換後の各画素についての動ベクトル情報の単位ブロック内平均値、中央値またはヒストグラム最頻値を算出すればよい。
【０００８】
また、量子化パラメータ情報を再利用する場合には、ソース画像での量子化パラメータ情報を抽出し、座標変換後の各画素についての量子化パラメータ情報の単位ブロック内平均値、中央値またはヒストグラム最頻値を算出すればよく、符号化モード情報を再利用する場合には、ソース画像での符号化モード情報を抽出し、座標変換後の各画素についての符号化モード情報の単位ブロック内平均を求めればよい。動ベクトル、情報量子化パラメータ情報、符号化モード情報の２つ以上を再利用することもできる。
【０００９】
本発明の特徴によれば、符号化処理の演算量を低減でき、複数の受信端末から同時にアクセスされた場合でも処理負荷を小さくでき、配信性能を向上させることができる。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して詳細に説明する。図１は、本発明による動画像配信装置１を含む映像監視システムの構成例を示すブロック図である。
【００１１】
本システムは、画像を取得し、取得した画像を動画像配信装置１へ送信するアップローダ２、アップローダ２より送信された画像を座標変換し、変換した画像のうち携帯電話端末などの受信端末３（３−１，３−２，・・）から要求された画像領域を切り出し、圧縮符号化して配信を行う動画像配信装置１、および動画像配信装置１に監視領域画像の配信を要求し、該画像を受信する複数の受信端末３とを備える。アップローダ２と動画像配信装置１とはネットワーク４を介して接続される。
【００１２】
まず、アップローダ２について説明する。アップローダ２は、例えば全方位カメラ２１を用いて円形画像を取得し、これをサーバとしての動画像配信装置１にアップロードするために、MPEG-2などに代表される動き補償動画像圧縮符号化を行う。エンコーダ２２は、この動き補償動画像圧縮符号化を行うものであり、動き補償動画像圧縮符号化された画像は、ネットワーク４を介して動画像配信装置１に送信される。
【００１３】
図２は、アップローダ２のカメラ部分２１の具体例を示す構成図である。本例は、半球型のミラー２３とＣＣＤイメージセンサ２４とを図示のように配置し、透明な円筒形ガラス２５で周囲を固定したものである。上部のミラー２３により３６０度全方位の画像が下部のＣＣＤイメージセンサ２４に円形に投影され、ＣＣＤイメージセンサ２４より全方位円形画像が取得される。なお、ミラー２３の中心部はＣＣＤイメージセンサ２４の像を投影しないように黒化されている。これにより取得された円形画像の一例を図３に示し、事務室内の様子を取得したものである。
【００１４】
アップローダ２のエンコーダ２２における符号化方式としては、ITU-T H.261，H.263，H.264、ISO/IEC MPEG-1、MPEG-2、MPEG-4などが利用できる。エンコーダ２２における円形画像の符号化に関しては、後述するように、動画像配信装置１によって座標変換ならびに矩形画像の切り出しが行われるため、できるだけ高い解像度で、かつできるだけ高いビットレートで行われるのが望ましい。ここで符号化されたビットストリームは、例えばRTPなどの通信プロトコルにより動画像配信装置１へと送信される。
【００１５】
次に、動画像配信装置１について説明する。アップローダ２から送信されたビットストリームは、動画像配信装置１のデコーダ１１により非圧縮画像信号として取得される。デコーダ１１により復号された画像は、図３に示すように、円形画像となっている。座標変換部１２は、この円形画像をパノラマ画像に変換する。
【００１６】
図４は、円形画像をパノラマ画像に変換する手法を説明する図である。図４（ａ）は全方位カメラからの円形画像であり、ここでは、サイズが（X,Y）で、中心を（ox,oy）とする半径ｒ３の円形画像が置かれていて、この中で半径ｒ１からｒ２で囲まれた部分の画像を、図４（ｂ）のサイズ（xp,yp）のパノラマ画像に展開（座標変換）するものとする。
【００１７】
円形画像中の任意の点（nx,ny）は、極座標表示で式（１）で示される。
【００１８】
【数１】

【００１９】
ここで、ｒは、中心（ox,oy）と点（nx,ny）間の半径方向距離であり、θは、ｘ軸に対する点（nx,ny）の角度である。
【００２０】
一方、展開後のパノラマ画像における任意の点を（x,y）とすると、全方位カメラ２１のミラー２３が双曲面形状の場合、円形画像での放射方向とパノラマ画像のｙ方向とは線形関係があることが知られており、式（２）の関係が成立する。
【００２１】
【数２】

【００２２】
上記式（１）と（２）から展開後のパノラマ画像における点（x,y）に対応する円形画像中の点の座標（nx,ny）を求めることができ、これに基づいて円形画像をパノラマ画像に変換することができる。図５は、図３の円形画像を変換することにより得られたパノラマ画像を示している。
【００２３】
画像切り出し部１３（１３−１，１３−２，・・）は、以上のようにして変換されたパノラマ画像の中の一部の矩形画像を切り出す。切り出される矩形画像は、受信端末３から要求される任意方向の画像領域である。図６は、図５のパノラマ画像より切り出された矩形画像の例を示している。
【００２４】
動画像配信装置１では、受信端末３からの受信要求により個別に画像切り出し・圧縮符号化プロセスが起動される。受信要求には、取得画像の方位に関するコマンドが含まれている。画像切り出し部１３は、このコマンドに従ってパノラマ画像から矩形画像を切り出す。
【００２５】
エンコーダ１４は、この切り出された矩形画像を、受信端末３で再生可能なフォーマット、例えばMPEG-4ビジュアル＋MP4ファイルフォーマットに圧縮・変換する。通信部１５は、圧縮・変換された画像を受信端末３に配信し、受信端末３は、例えば、WAP HTTPオブジェクトダウンロードの手順に従い、圧縮画像ファイルを受信し、再生する。
【００２６】
本発明では、アップローダ２での圧縮符号化の際に使用され、伝送されてくる動ベクトル情報、量子化パラメータ情報、符号化モード情報のうちの少なくとも１つの情報を、画像配信装置１において座標変換された画像に対応するものに変換し、これをエンコーダ１４での圧縮符号化の際に再利用することにより処理負荷を低減する。
【００２７】
以下、動ベクトル情報を再利用する場合の実施形態について説明する。アップローダ２からはMPEG-2などの動き補償動画像圧縮符号化方式により符号化された画像が送信され、これが動画像配信装置１で受信される。アップローダ２のエンコーダ２２における動き補償動画像圧縮符号化では、円形画像を格子状にブロック分割し、各ブロック（以下、マクロブロックと呼ぶ。）を単位として動きベクトルを求め、マクロブロックごとに動き補償を施し、その結果の動き補償誤差情報を直交変換ならびに量子化する。
【００２８】
円形画像における各マクロブロックは、図７に示すように、格子状の配列であり、各マクロブロックには、符号化時に求められた動ベクトル情報、量子化パラメータ情報、符号化モード情報が割り当てられている。動画像配信装置１には、量子化情報とともに動きベクトル情報、量子化パラメータ情報、符号化モード情報が伝送される。
【００２９】
座標変換部１２で円形画像をパノラマ画像に展開すると、各マクロブロックは、図８に示すように、実曲線で囲まれた領域に変形される。したがって、パノラマ画像を新たに格子状にブロック分割した場合の各マクロブロックの動ベクトル、量子化パラメータ、符号化モードは、円形画像におけるそれらと異なることになる。図８では、円形画像の元のマクロブロックを実線で示し、パノラマ画像に対する新たなマクロブロックを点線で模式的に示している。
【００３０】
ここで、円形画像における、ある１つのマクロブロックの動ベクトルが（mvx,mvy）であるとすると、そのマクロブロック内の画素（mx,my）は、（pmx,pmy）＝（mx＋mvx,my＋mvy）の画素から予測符号化が行われることになる。これらの画素をパノラマ画像に変換して、（mx,my）は（mx',my'）に、（pmx,pmy）は（pmx',pmy'）にそれぞれ座標変換されたとすると、パノラマ画像上での動ベクトル（mvx',mvy'）は、（mvx',mvy'）＝（pmx'−mx',pmy'−my'）で求められる。
【００３１】
上記説明から明らかなように、座標変換前の円形画像においては、各マクロブロックに対して、１つの動ベクトルが割り当てられているが、座標変換後のパノラマ画像においては、変換に伴うマクロブロックの変形ならびに動ベクトルの変形のため、変換後のパノラマ画像における新たなマクロブロック内の動ベクトルは、画素ごとに異なったものとなる。
【００３２】
圧縮符号化時、例えばMPEG-4の場合、動ベクトル情報は、１つのマクロブロックに対して１つ、あるいは４つ（１つのマクロブロックを４分割してサブブロックとし、各サブブロックに対して１つずつ）である。この場合、マクロブロックあるいはサブブロックが、動ベクトル情報に対する単位ブロックである。座標変換された画像に対して変換前の動ベクトル情報を継承させる場合、画素ごとに異なる動ベクトル情報を単位ブロックごとに１つに決定する必要がある。
【００３３】
この決定の方法には種々あるが、例えば下記の値を算出して単位ブロックの動ベクトル情報とする方法がある。
・変換された動ベクトル（mvx',mvy'）の単位ブロック内平均値
・変換された動ベクトル（mvx',mvy'）の単位ブロック内中央値
・変換された動ベクトル（mvx',mvy'）の単位ブロック内ヒストグラム最頻値
【００３４】
また、このようにして決定された動ベクトル情報は、使用可能な動ベクトル情報の範囲を超えてしまう場合がある。単位ブロックに対する動ベクトル情報を、使用可能な動ベクトル情報の範囲内に納めるには、例えば下記の方法を用いればよい。
・上記算出にあたり、予め範囲内に収まっている動ベクトルのみを算出対象とする
・上記算出にあたり、範囲外の動ベクトルは範囲内にクリッピングした後、算出対象とする
・算出後、結果として得られた動ベクトルが範囲外であった場合、範囲内にクリッピングする
【００３５】
動画像配信装置１の動ベクトル座標変換部１６は、以上のようにして、動ベクトル情報を決定するものであり、座標変換前の円形画像の単位ブロックについての動ベクトル情報を抽出し、抽出した動ベクトル情報を変換後のパノラマ画像の単位ブロックについての動ベクトル情報に座標変換する。座標変換された動ベクトル情報は、画像切り出し部１３およびエンコーダ１４に入力され、圧縮符号化に際して再利用される。
【００３６】
以上では、動ベクトル情報を再利用する場合の実施形態について説明したが、量子化パラメータ情報や符号化モード情報についても個々に、あるいは適宜組み合わせて再利用することができる。すなわち、量子化パラメータや符号化モードについて、座標変換前の単位ブロックに割り当てられていた情報を変換後に適用すると、変換後の画像における単位ブロックにおいては、画素ごとに異なる情報を有することになるが、これを利用して変換後の画像におけるマクロブロックに対する情報を決定する。なお、量子化パラメータ情報および符号化モード情報は、１つのマクロブロックに対して１つであるので、量子化パラメータ情報および符号化モード情報に対する単位ブロックは、マクロブロックである。
【００３７】
この決定に際し、量子化パラメータ情報の場合には、動ベクトル情報の場合と同様に、例えば下記値を算出して単位ブロックの量子化パラメータ情報とする方法がある。
・変換された量子化パラメータの符号化単位ブロック内平均値
・変換された量子化パラメータの符号化単位ブロック内中央値
・変換された量子化パラメータの符号化単位ブロック内ヒストグラム最頻値
【００３８】
また、符号化モード情報の場合には、例えば下記平均を求めて単位ブロックの符号化モード情報とする方法がある。
・変換された符号化モードの符号化単位ブロック内平均
【００３９】
以上のようにして変換された動ベクトル情報、量子化パラメータ情報、符号化モード情報は、圧縮符号化された画像とともに受信端末３に送信される。
【００４０】
以上、実施形態について説明したが、本発明は、種々の変形が可能である。例えば、上記実施形態では、全方位カメラによる円形画像を座標変換して配信するものとしたが、その他の歪画像を取得するカメラ、例えば広角レンズや魚眼レンズなどを通して取得される画像を配信するものとすることもでき、その場合には取得される画像の歪に対応する座標変換を施すものとすればよい。
【００４１】
本発明の画像配信装置は、同一地点の映像に関して異なる領域画像を、複数の受信端末の各々に配信することができるので、例えば広域の監視システムに用いて有効であり、また、受信端末として携帯電話端末を用いることにより機動的な監視が可能になる。
【００４２】
【発明の効果】
本発明によれば、圧縮符号化されたソース画像の復号の際に、動ベクトル情報、量子化パラメータ情報、符号化モード情報の少なくとも１つの情報を抽出し、符号化の際にフォーマット変換の前後の画像各点の対応関係に基づき、情報抽出部により抽出された情報をフォーマット変換後の画像各点に対応する情報に変換し、これを利用して符号化するので、個々の符号化処理の演算量を低減でき、複数の受信端末から同時にアクセスされた場合でも処理負荷を小さくでき、配信性能を向上させることができる。
【図面の簡単な説明】
【図１】本発明による動画像配信装置を含む携帯電話映像監視システムの構成例を示すブロック図である。
【図２】アップローダのカメラ部分の具体例を示す構成図である。
【図３】アップローダにより取得される画像の一例を示す図である。
【図４】円形画像をパノラマ画像に変換する手法の説明図である。
【図５】図３の画像が変換されたパノラマ画像を示す図である。
【図６】図５のパノラマ画像より切り出された矩形画像の例を示す図である。
【図７】円形画像の符号化の際のマクロブロック配列を示す図である。
【図８】変換されたパノラマ画像上でのマクロブロック配列を示す図である。
【符号の説明】
１・・・動画像配信装置、２・・・アップローダ、３（３−１，３−２）・・・受信端末、４・・・ネットワーク、１１・・・デコーダ、１２・・・座標変換部、１３（１３−１，１３−２）・・・画像切り出し部、１４（１４−１，１４−２），２２・・・エンコーダ、１５（１５−１，１５−２）・・・通信部、２１・・・全方位カメラ、２３・・・ミラー、２４・・・ＣＣＤイメージセンサ、２５・・・円筒形ガラス

Claims

圧縮符号化されたソース画像を、該ソース画像に対して座標体系の異なる画像に変換するフォーマット変換を施した後、複数の受信端末の各々に対して送信する動画像配信装置において、
符号化されたソース画像を復号するデコーダと、
前記デコーダにより復号された画像に対して前記フォーマット変換の前後の画像各点の対応関係を基にした座標変換を行う座標変換部と、
前記受信端末からの指示に従って、前記座標変換部により座標変換された画像から任意領域の画像を切り出す複数の画像切り出し部と、
ソース画像の復号の際に、ソース画像についての動ベクトル情報、量子化パラメータ情報、符号化モード情報のうちの少なくとも１つの情報を画像ビットストリームから抽出する情報抽出部と、
前記画像切り出し部により切り出された画像の符号化の際に、前記フォーマット変換の前後の画像各点の対応関係に基づき、前記情報抽出部により抽出された情報をフォーマット変換後の画像各点に対応する情報に変換し、これを再利用して符号化する複数のエンコーダと、
前記受信端末からの指示を受信するとともに、前記エンコーダにより符号化された画像を配信する複数の通信部とを備えることを特徴とする動画像配信装置。
前記情報抽出部は動ベクトル情報を抽出するものであり、前記エンコーダでの動ベクトル情報の再利用に際し、抽出された動ベクトル情報に対して前記フォーマット変換の前後の画像各点の対応関係を基にした座標変換を施してフォーマット変換後の動ベクトル情報を求める動ベクトル座標変換部を備えることを特徴とする請求項１に記載の動画像配信装置。
前記動ベクトル座標変換部は、座標変換後の各画素についての動ベクトル情報の単位ブロック内平均値、中央値またはヒストグラム最頻値を算出する手段を備えることを特徴とする請求項２に記載の動画像配信装置。
前記情報抽出部は量子化パラメータ情報を抽出するものであり、前記エンコーダでの量子化パラメータ情報の再利用に際し、座標変換後の各画素についての量子化パラメータ情報の単位ブロック内平均値、中央値またはヒストグラム最頻値を算出する手段を備えることを特徴とする請求項１ないし３のいずれかに記載の動画像配信装置。
前記情報抽出部は符号化モード情報を抽出するものであり、前記エンコーダでの符号化モード情報の再利用に際し、前記フォーマット変換の前後の画像各点の対応関係を基にした座標変換後の各画素についての符号化モード情報の単位ブロック内平均をフォーマット変換後の符号化モード情報として求める手段を備えることを特徴とする請求項１ないし４のいずれかに記載の動画像配信装置。