JP5799958B2 - 映像処理サーバおよび映像処理方法 - Google Patents

Description

［関連出願についての記載］
本発明は、日本国特許出願：特願２０１０−２５４８０５号（２０１０年１１月１５日出願）の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、映像処理サーバおよび映像処理方法に関し、特に、モバイルネットワークを介して、携帯端末または固定カメラから受信した映像信号に対して映像処理を施して、処理結果を携帯端末に送出する映像処理サーバおよび映像処理方法に関する。

モバイルネットワークの高速化・大容量化の進展に伴い、今後、下り方向（サーバから携帯端末への方向）の帯域幅のみならず、上り方向（携帯端末からサーバへの方向）の帯域幅も大幅に増大することが予想される。また、２０１３年にかけてデータ系のトラヒック量が８倍から１０倍以上に増大し、その中の大部分を映像信号が占めることが予測される。

このような状況が生じると、携帯端末能力の進展や携帯端末に搭載のカメラの高精細化、ディスプレイの高解像度化などにより、映像信号がますます高精細化し、モバイルネットワークにおいても、携帯端末のカメラで撮影した映像信号をモバイルネットワークにアップロードしてネットワーク側で処理させたり、固定的に設置されたカメラで撮影した映像信号をモバイルネットワークにアップロードしてネットワーク側で処理させたりすることが予想される。

特許文献１には、ネットワークを介して接続された画像処理サーバに対して、携帯電話機が画像処理を依頼する画像処理システムが記載されている。

特開２００４−３２６４２３号公報

上記の特許文献の開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明者によってなされたものである。

ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＥＰＣ（Ｅｖｏｌｖｅｄ Ｐａｃｋｅｔ Ｃｏｒｅ）等の技術により、モバイルネットワークの下り方向だけでなく上り方向の帯域幅の大幅な増大が可能となる。したがって、これまで不可能であったサービスが出現することが予想される。例えば、複数の携帯端末のカメラで撮影した映像信号（動画像など）、または、複数の固定設置カメラで撮影した映像信号をモバイルネットワーク上に配置してあるサーバに送出し、携帯端末のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）性能では実現困難な複雑あるいは演算量の多い映像処理をサーバにおいて実時間で実行し、処理した結果を携帯端末に送出し、携帯端末で再生表示するサービスが考えられる。

しかしながら、複数台の手持ちの携帯端末のカメラなどで撮影した映像、または、複数台の独立なカメラで撮影した映像を、モバイルネットワーク上のサーバにアップロードし、サーバで映像処理を実時間で実現し、例えば、ステレオ映像などを実時間で合成しようとすると、複数台のカメラ間のズレ、歪み、回転等が問題となり、生成後のステレオ映像の画質が著しく劣化したり時間がずれたりするという問題がある。

また、サーバで合成処理した映像信号を携帯端末で受信する場合に、携帯端末の機種に応じて、その処理の能力が異なる。すなわち、受信しうるコンテンツのコーデック、画面解像度等の能力が携帯端末の機種に応じて異なるため、携帯端末の機種によっては受信した映像信号を再生したり、表示したりすることができないという問題がある。

さらに、サーバでステレオ映像信号を合成し、端末で再生表示しようとした場合に、携帯端末がステレオ映像を再生表示できるか否か、再生表示できる形式（例えば、サイドバイサイド（ｓｉｄｅ ｂｙ ｓｉｄｅ）、垂直インターリービング（ｖｅｒｔｉｃａｌ ｉｎｔｅｒｌｅａｖｉｎｇ）等）は何か等について、合成した映像信号を携帯端末で再生表示できる形式に、サーバ側が適応化させる必要があるという問題がある。

なお、特許文献１に記載された画像処理システムにおける画像処理サーバは、各携帯端末から受信した映像信号を個別に処理するものであることから、これらの問題を解消することはできない。

そこで、映像処理サーバがモバイルネットワークを介して複数の携帯端末または複数の固定カメラから受信した映像信号を合成して携帯端末に送出する場合に、携帯端末が合成後の映像信号を再生できるようにすることが課題となる。本発明の目的は、かかる課題を解決する映像処理サーバ、映像処理方法およびプログラムを提供することにある。

本発明の第１の視点に係る映像処理サーバは、
複数のカメラによって撮影され、モバイルネットワークに送出された複数の映像信号を該モバイルネットワーク上のパケット転送装置を介して受信するパケット受信部と、
前記複数の映像信号の間における属性の相違を表すパラメータを用いて前記複数の映像信号を補正し、補正後の映像信号から新たに映像信号を生成する映像生成部と、
前記映像生成部により生成された映像信号を、前記モバイルネットワークに接続しうる携帯端末に前記パケット転送装置を介して送出するパケット送信部と、を備え、
前記パラメータは、前記複数の映像信号のそれぞれのタイムスタンプを含み、
前記映像生成部は、前記複数の映像信号のうちの第１の映像信号と第２の映像信号のタイムスタンプの差に所定のずらし量を加えた時刻差を求め、前記時刻差を有する第１の映像信号と第２の映像信号との相関が最大となるように前記所定のずらし量を算出することで、前記第１の映像信号と前記第２の映像信号との間における撮影開始時刻のずれを補正する。

本発明の第２の視点に係る映像処理方法は、
映像処理サーバが、複数のカメラによって撮影され、モバイルネットワークに送出された複数の映像信号を該モバイルネットワーク上のパケット転送装置を介して受信する工程と、
前記複数の映像信号の間における属性の相違を表すパラメータを用いて前記複数の映像信号を補正するとともに、補正後の映像信号から新たに映像信号を生成する工程と、
生成された映像信号を、前記モバイルネットワークに接続しうる携帯端末に前記パケット転送装置を介して送出する工程と、
前記複数の映像信号のうちの第１の映像信号と第２の映像信号のタイムスタンプの差に所定のずらし量を加えた時刻差を求め、前記時刻差を有する第１の映像信号と第２の映像信号との相関が最大となるように前記所定のずらし量を算出することで、前記第１の映像信号と前記第２の映像信号との間における撮影開始時刻のずれを補正する工程と、を含む。

本発明の第３の視点に係るプログラムは、
複数のカメラによって撮影され、モバイルネットワークに送出された複数の映像信号を該モバイルネットワーク上のパケット転送装置を介して受信する処理と、
前記複数の映像信号の間における属性の相違を表すパラメータを用いて前記複数の映像信号を補正するとともに、補正後の映像信号から新たに映像信号を生成する処理と、
生成された映像信号を、前記モバイルネットワークに接続しうる携帯端末に前記パケット転送装置を介して送出する処理と、
前記複数の映像信号のうちの第１の映像信号と第２の映像信号のタイムスタンプの差に所定のずらし量を加えた時刻差を求め、前記時刻差を有する第１の映像信号と第２の映像信号との相関が最大となるように前記所定のずらし量を算出することで、前記第１の映像信号と前記第２の映像信号との間における撮影開始時刻のずれを補正する処理と、をコンピュータに実行させる。

本発明に係る映像処理サーバ、映像処理方法およびプログラムによると、映像処理サーバがモバイルネットワークを介して、複数の携帯端末または複数の固定カメラから受信した映像信号を合成して携帯端末に送出する場合に、携帯端末は画質を低下させることなく合成後の映像信号を再生することができる。

第１の実施形態に係る映像処理サーバを備えた映像処理システムの接続構成を一例として示す図である。 第１の実施形態に係る映像処理サーバの構成を一例として示すブロック図である。 第１の実施形態に係る映像処理サーバにおける映像生成部の構成を一例として示すブロック図である。 第１の実施形態に係る映像処理サーバにおける端末適応部の構成を一例として示すブロック図である。 第２の実施形態に係る映像処理サーバを備えた映像処理システムの接続構成を一例として示す図である。

はじめに、本発明の概要について説明する。なお、この概要に付記した図面参照符号は、専ら理解を助けるための例示であり、本発明を図示の態様に限定することを意図するものではない。

図２を参照すると、本発明の映像処理サーバ（１６０）は、複数のカメラによって撮影され、モバイルネットワークに送出された複数の映像信号を該モバイルネットワーク上のパケット転送装置を介して受信するパケット受信部（１１４）と、前記複数の映像信号の間における属性の相違を表すパラメータを用いて前記複数の映像信号を補正し、補正後の映像信号から新たに映像信号を生成する映像生成部（１１７）と、映像生成部（１１７）により生成された映像信号を、前記モバイルネットワークに接続しうる携帯端末に前記パケット転送装置を介して送出するパケット送信部（１２０）と、を備えている。

ここで、映像生成部（１１７）は、一例として、補正後の映像信号からステレオ映像信号を生成するようにしてもよい。

また、上記のパラメータは、複数のカメラのそれぞれに対するカメラパラメータを含んでいてもよい。このとき、映像生成部（１１７）は、複数のカメラの間でカメラパラメータが異なる場合には、カメラパラメータが同一となるように複数の映像信号を補正することが好ましい。

さらに、上記パラメータは、複数の映像信号のそれぞれのタイムスタンプを含んでいてもよい。このとき、映像生成部は、かかるタイムスタンプを参照して、複数の映像信号の間における撮影開始時刻のずれを補正することが好ましい。

また、図２を参照すると、映像処理サーバ（１６０）は、補正後の映像信号の送出先の携帯端末の機種情報を参照し、該携帯端末のステレオ映像再生形式を判別するとともに、上記のステレオ映像信号を該ステレオ映像再生形式に適応化させる端末適応部（１１９）をさらに備えていてもよい。

映像処理サーバ（１６０）によると、映像処理サーバ（１６０）がモバイルネットワークを介して、複数の携帯端末または複数の固定カメラから受信した映像信号を合成して携帯端末に送出する場合に、携帯端末は画質を低下させることなく合成後の映像信号を再生することができる。映像処理サーバ（１６０）は、各映像信号のカメラパラメータを受け、これを用いて映像信号を補正するとともに、各映像信号のタイムスタンプを受け、これを用いることでカメラ間の映像信号のフレーム間の対応づけをとることができるからである。

また、映像処理サーバ（１６０）によると、映像処理サーバ（１６０）で映像処理した映像信号を携帯端末で受信し再生表示する場合に、携帯端末を改造する必要がなくなる。映像処理サーバ（１６０）は、携帯端末の機種に応じた能力の違い、ステレオ映像信号を再生表示する場合の形式の違い等に関して、携帯端末が合成された映像信号を再生表示できるように映像信号を適応化させることができるからである。

本発明において、下記の形態が可能である。

［形態１］
上記第１の視点に係る映像処理サーバのとおりである。

［形態２］
前記映像生成部は、補正後の映像信号からステレオ映像信号を生成することが好ましい。

［形態３］
前記パラメータは、前記複数のカメラのそれぞれに対するカメラパラメータを含み、前記映像生成部は、前記複数のカメラの間でカメラパラメータが異なる場合には、カメラパラメータが同一となるように前記複数の映像信号を補正することが好ましい。

［形態４］
前記パラメータは、前記複数の映像信号のそれぞれのタイムスタンプを含み、前記映像生成部は、タイムスタンプを参照して、前記複数の映像信号の間における撮影開始時刻のずれを補正することが好ましい。

［形態５］
前記カメラパラメータは、レンズの焦点距離、開放絞り値の形式、撮影時のシャッター速度、絞り値、ホワイトバランス、対象物までの距離、感度設定値のうちの少なくともいずれかを含むことが好ましい。

［形態６］
補正後の映像信号の送出先の携帯端末の機種情報を参照し、該携帯端末のステレオ映像再生形式を判別するとともに、前記ステレオ映像信号を該ステレオ映像再生形式に適応化させる端末適応部をさらに備えていることが好ましい。

［形態７］
前記複数のカメラは、前記モバイルネットワークに接続しうる携帯端末に設けられたカメラ、または、固定カメラであってもよい。

［形態８］
前記パケット転送装置は、モバイルパケットネットワークのＳＧＳＮ装置、ＧＧＳＮ装置、もしくはｘＧＳＮ装置、または、モバイルＬＴＥ／ＥＰＣネットワークのＳ−ＧＷ装置もしくはＰ−ＧＷ装置であってもよい。

［形態９］
映像処理システムは、上記の形態に係る映像処理サーバを備えていることが好ましい。

［形態１０］
上記第２の視点に係る映像処理方法のとおりである。

［形態１１］
映像処理サーバが、補正後の映像信号からステレオ映像信号を生成する工程を含むことが好ましい。

［形態１２］
映像処理サーバが、前記複数のカメラの間でカメラパラメータが異なる場合には、カメラパラメータが同一となるように前記複数の映像信号を補正する工程を含むことが好ましい。

［形態１３］
映像処理サーバが、前記複数の映像信号のそれぞれのタイムスタンプを参照して、前記複数の映像信号の間における撮影開始時刻のずれを補正する工程を含むことが好ましい。

［形態１４］
映像処理サーバが、補正後の映像信号の送出先の携帯端末の機種情報を参照し、該携帯端末のステレオ映像再生形式を判別する工程と、前記ステレオ映像信号を前記ステレオ映像再生形式に適応化させる工程と、をさらに含むことが好ましい。

［形態１５］
また、複数のカメラによって撮影され、モバイルネットワークに送出された複数の映像信号を該モバイルネットワーク上のパケット転送装置を介して受信する処理と、前記複数の映像信号の間における属性の相違を表すパラメータを用いて前記複数の映像信号を補正するとともに、補正後の映像信号から新たに映像信号を生成する処理と、生成された映像信号を、前記モバイルネットワークに接続しうる携帯端末に前記パケット転送装置を介して送出する処理と、をコンピュータに実行させるプログラムが提供される。

［形態１６］
補正後の映像信号からステレオ映像信号を生成する処理をコンピュータに実行させることが好ましい。

［形態１７］
前記複数のカメラの間でカメラパラメータが異なる場合には、カメラパラメータが同一となるように前記複数の映像信号を補正する処理をコンピュータに実行させることが好ましい。

［形態１８］
前記複数の映像信号のそれぞれのタイムスタンプを参照して、前記複数の映像信号の間における撮影開始時刻のずれを補正する処理をコンピュータに実行させることが好ましい。

［形態１９］
補正後の映像信号の送出先の携帯端末の機種情報を参照し、該携帯端末のステレオ映像再生形式を判別する処理と、前記ステレオ映像信号を前記ステレオ映像再生形式に適応化させる処理と、をさらにコンピュータに実行させることが好ましい。

（実施形態１）
第１の実施形態に係る映像処理サーバについて、図面を参照して説明する。図１〜図４を参照して、本実施形態の映像処理サーバの構成および動作について詳細に説明する。なお、以下の実施形態では、コンテンツの例として動画像の場合の構成例を示すが、静止画、オーディオ、音声、ソフトウェア、アプリケーションなどの場合も同一の構成を用いることができる。

図１は、本実施形態に係る映像処理サーバ１６０を備えた映像処理システムの接続構成を一例として示す。図１は、ネットワークとして３Ｇ（第３世代）モバイルパケットネットワーク（以下、単に「モバイルパケットネットワーク」という。）１５０を用い、パケット転送装置としてｘＧＳＮ装置１９０＿１〜１９０＿Ｎを用いる場合の構成を示す。ここで、ｘＧＳＮ装置とは、ＳＧＳＮ（Ｓｅｒｖｉｎｇ ＧＰＲＳ Ｓｕｐｐｏｒｔ Ｎｏｄｅ）装置とＧＧＳＮ（Ｇａｔｅｗａｙ ＧＰＲＳ Ｓｕｐｐｏｒｔ Ｎｏｄｅ）装置が同一の場所に設けられた装置をいう。

ここでは、一例として、複数台の携帯端末１７０＿１〜１７０＿３のカメラを用いて、手持ちで撮影した映像信号を映像処理サーバ１６０に送信するものとする。また、映像処理サーバ１６０は、映像処理として、複数の映像信号を用いてステレオ映像信号を生成し、これを携帯端末１７０＿１〜１７０＿３に送出するものとする。さらに、携帯端末１７０＿１〜１７０＿３は、ステレオ映像を再生・表示するものとする。また、一例として、２台の携帯端末１７０＿１、１７０＿２によって映像信号を撮影するものとする。

図１において、手持ちの携帯端末１７０＿１および１７０＿２のカメラで、同一の対象物を異なる位置から撮影し、カメラ撮影後の映像信号を携帯端末内で圧縮符号化してモバイルパケットネットワーク１５０に送出する。ここで、映像信号の圧縮符号化には、例えば、ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ） Ｈ．２６４規格を用いることができる。

基地局１８０＿１は、携帯端末１７０＿１からの映像信号を受信してＲＮＣ（Ｒａｄｉｏ Ｎｅｔｗｏｒｋ Ｃｏｎｔｒｏｌｌｅｒ）装置１９５＿１に出力する。同様に、基地局１８０＿Ｌは、携帯端末１７０＿２からの映像信号を受信してＲＮＣ装置１９５＿Ｌに出力する。

ＲＮＣ装置１９５＿１は、基地局１８０＿１から受信した映像信号をＧＴＰ−Ｕ（ＧＰＲＳ Ｔｕｎｎｅｌｉｎｇ Ｐａｃｋｅｔ−Ｕｐｌａｎｅ）パケットに格納してｘＧＳＮ装置１９０＿１に出力する。同様に、ＲＮＣ装置１９５＿Ｌは、基地局１８０＿Ｌから受信した映像信号をＧＴＰ−Ｕパケットに格納してｘＧＳＮ装置１９０＿１に出力する。

ｘＧＳＮ装置１９０＿１は、ＲＮＣ装置１９５＿１およびＲＮＣ装置１９５＿Ｌから受信したそれぞれのＧＴＰ−ＵパケットからＧＴＰヘッダを取り去った後にＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）パケットに変換し、ＩＭＳ（ＩＰ Ｍｕｌｔｉｍｅｄｉａ Ｓｕｂｓｙｓｔｅｍ）網１５５に配置された映像処理サーバ１６０にＲＴＰパケットを出力する。

映像処理サーバ１６０は、ｘＧＳＮ装置１９０＿１から受信したＲＴＰパケットに対し、パケットのペイロードに格納されたＨ．２６４圧縮符号化ストリームを取り出す。また、映像処理サーバ１６０は、２つの携帯端末分のＨ．２６４圧縮符号化ストリームに対して、少なくとも１つのパラメータとしてカメラパラメータと圧縮符号化ストリームのタイムスタンプを入力し、実時間でステレオ映像生成処理を行う。さらに、映像処理サーバ１６０は、生成されたステレオ映像信号に対して、例えば、Ｈ．２６４により圧縮符号化またはトランスコーディングを施し、ＲＴＰパケットのペイロードにこれを格納し、携帯端末１７０＿３において再生表示するために、ｘＧＳＮ装置１９０＿Ｎに送出する。

ｘＧＳＮ装置１９０＿Ｎは、受信したＲＴＰパケットにＧＴＰヘッダを追加してＧＴＰ−Ｕパケットに変換し、ＧＴＰ−ＵパケットをＲＮＣ装置１９６＿Ｌに出力する。ＧＴＰ−Ｕパケットは、基地局１８１＿Ｌを介して携帯端末１７０＿３に送信される。

携帯端末１７０＿３は、ステレオ映像を表示できる表示デバイスを有する。携帯端末１７０＿３は、受信したパケットからＨ．２６４圧縮符号化ストリームを取り出し、Ｈ．２６４復号した後、ステレオ映像を再生する。

図２は、映像処理サーバ１６０の構成を一例として示すブロック図である。図２を参照すると、映像処理サーバ１６０は、制御信号送受信部１１１、解析部１１２、パケット受信部１１４、バッファメモリ１１５、映像生成部１１７、パケット送信部１２０、端末能力解析部１１３、および、端末適応部１１９を備えている。

制御信号送受信部１１１は、携帯端末１７０＿１および１７０＿２のそれぞれから、映像信号を映像処理サーバ１６０にアップロードするための呼制御信号を受信する。ここで、呼制御信号としては、ＩＭＳで標準的に使用されるＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）を用いるものとする。ただし、他の制御信号、例えば、ｈｔｔｐ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）等を使用することもできる。ＳＩＰ信号は、メディア信号（ここでは、映像信号）の属性を記述するＳＤＰ（Ｓｅｓｓｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ Ｐｒｏｔｏｃｏｌ）を使用している。制御信号送受信部１１１は、ＳＤＰを受信すると解析部１１２に出力する。

解析部１１２は、制御信号送受信部１１１からＳＤＰを受け取り、ＳＤＰの記述内容を解析することで、携帯端末１７０＿１および１７０＿２から送信されたそれぞれの映像信号の属性情報、例えば、映像信号の圧縮符号化に使用したコーデック、コーデックの最大ビットレート、画面解像度、フレームレート、ファイル形式またはストリーミング形式、携帯端末のカメラパラメータ（例えば、レンズの焦点距離や開放絞り値などの形式、撮影時のシャッター速度、絞り値、ホワイトバランス、対象物までの距離、感度設定値など）、携帯端末の受信ＩＰアドレス、受信ポート番号などの情報の少なくとも一つを得た上で、映像生成部１１７と端末適応部１１９に出力する。

パケット受信部１１４は、携帯端末１７０＿１および１７０＿２からｘＧＳＮ装置を介して、映像信号を格納したＲＴＰパケットを受信し、ＲＴＰパケットのペイロード部に格納されたＨ．２６４圧縮符号化ストリームを取り出してバッファメモリ１１５に出力する。パケット受信部１１４は、ＲＴＰパケットのＲＴＰペイロードフォーマットまたはヘッダに格納された映像信号のタイムスタンプを取り出して、映像信号毎にバッファメモリ１１５に格納する。

バッファメモリ１１５は、Ｈ．２６４圧縮符号化ストリームと映像信号のタイムスタンプを２ｃｈ分、複数フレームにわたり一旦バッファリングする。

映像生成部１１７は、バッファメモリ１１５から２ｃｈ分の映像ストリームとタイムスタンプを入力とともに、解析部１１２から映像信号の属性情報とカメラパラメータを入力し、２ｃｈ分の映像ストリームを処理してステレオ映像信号を生成し、端末適応部１１９に出力する。

図３は、映像生成部１１７の構成を一例として示すブロック図である。図３を参照すると、映像生成部１１７は、デコーダ部１３０、映像補正部１３１、同期処理部１３２、および、ステレオ映像信号生成部１３４を備えている。

デコーダ部１３０は、各映像信号の属性情報のうちのコーデック情報を解析部１１２から入力し、携帯端末が搭載しているエンコーダに対応したデコーダをセットする。また、デコーダ部１３０は、バッファメモリ１１５から２ｃｈ分の映像ストリームを入力し、デコーダによりデコードして映像信号を復号し、復号後の映像信号を映像補正部１３１に出力する。

映像補正部１３１は、各映像信号の属性情報のうちのカメラパラメータを解析部１１２から入力し、さらに、デコーダ部１３０から２ｃｈ分の復号後の映像信号を入力し、携帯端末間でカメラパラメータが異なる場合には、これらが同一となるように補正する。具体的には、映像補正部１３１は、例えば、２ｃｈ目のカメラパラメータを１ｃｈ目のカメラパラメータと同一にするようなカメラパラメータの変換行列を計算し、これを２ｃｈ目の復号後映像信号に行列演算することで、カメラパラメータを補正するようにしてもよい。映像補正部１３１は、補正後の映像信号を同期処理部１３２に出力する。

同期処理部１３２は、バッファメモリ１１５から各映像信号のタイムスタンプを入力し、２ｃｈの映像信号における撮影開始時刻の推定値Ｔ１，Ｔ２を求めるとともに、撮影開始時刻の差の推定値Ｔｄを求める。ここで、時刻Ｔ１は１ｃｈ目の映像信号の撮影開始時刻の推定値であり、時刻Ｔ２は２ｃｈ目の撮影開始時刻の推定値である。ここでは、一例として、時刻Ｔ１は時刻Ｔ２よりも早い時刻とする。このとき、推定値Ｔｄは次式から求められる。

Ｔｄ＝Ｔ２−Ｔ１ （１）

同期処理部１３２は、推定値Ｔｄをもとに、各カメラの開始時刻のずれを補正しながら、２ｃｈ分の映像信号に対しフレーム毎の対応づけを行う。同期処理部１３２は、一例として、次式（２）によって与えられる量γを最大化する時刻ずらし量τを計算することで、フレーム毎の対応付けを行うようにしてもよい。

γ＝ｍａｘΣΣＸ（ｍ，ｎ，ｔ＋Ｔｄ＋τ）Ａ（ｍ，ｎ，ｔ）Ｙ（ｍ，ｎ，ｔ） （２）

式（２）において、Ｘ（ｍ，ｎ，ｔ）、Ｙ（ｍ，ｎ，ｔ）は、それぞれ、補正後の１ｃｈ目の映像信号、補正後の２ｃｈ目の映像信号を示す。ｍ、ｎ、ｔは、それぞれ、ｘ座標、ｙ座標、フレーム番号である。τは、フレーム番号に対するあらかじめ定められたずらし量（±両方向）である。Ａ（ｍ，ｎ，ｔ）は、２ｃｈ目の映像信号に対する補正係数を示す。同期処理部１３２は、入力した２ｃｈ分の補正後の映像信号とフレーム毎の対応付けの情報を、ステレオ映像信号生成部１３４に出力する。

ステレオ映像信号生成部１３４は、同期処理部１３２から２ｃｈ分の補正後の映像信号とフレーム毎の対応付けの情報を入力し、解析部１１２から映像信号の属性情報のうちのコーデック情報、フレームレート等を入力し、フレーム毎に対応づけられた２ｃｈ分の補正後の映像信号に対し、両目の視差距離だけ離れた位置の映像信号を生成する。具体的には、ステレオ映像信号生成部１３４は、フレーム毎に対応付けられた１ｃｈ目の映像信号、および／または、２ｃｈ目の映像信号を用いて映像信号を補間処理し、視差距離だけ離れた新たな映像信号Ｘ’（ｍ，ｎ，ｔ）とＹ’（ｍ，ｎ，ｔ）を生成する。ここで、Ｘ’（ｍ，ｎ，ｔ）とＹ’（ｍ，ｎ，ｔ）は、補間処理により得られた、人間の両目の平均的な視差距離だけ離れた距離に位置する映像信号である。ここでは、Ｘ’（ｍ，ｎ，ｔ）を左目用映像信号とし、Ｙ’（ｍ，ｎ，ｔ）を右目用映像信号とする。ステレオ映像信号生成部１３４は、左目用映像信号Ｘ’（ｍ，ｎ，ｔ）および右目用映像信号Ｙ’（ｍ，ｎ，ｔ）を端末適応部１１９に出力する。

図１の携帯端末１７０＿３は、ステレオ映像を受信再生可能な端末であり、ＩＭＳ網１５５の映像処理サーバ１６０に対し、ステレオ映像信号を受信するための接続要求信号を送出する。接続要求信号として、ＳＩＰ／ＳＤＰを用いることができる。なお、他の制御信号を用いるようにしてもよい。ここで、携帯端末１７０＿３は、端末能力情報、例えば、受信再生可能なコーデック、コーデックの最大ビットレート、画面解像度、ファイル形式またはストリーミング形式、ステレオ映像の受信が可能か否か、ステレオ映像受信が可能な場合には受信形式（例えば、サイドバイサイド、水平インターリービング（ｈｏｒｉｚｏｎｔａｌ ｉｎｔｅｒｌｅａｖｉｎｇ）、垂直インターリンビング、トップダウン（ｔｏｐ ｄｏｗｎ）、チェッカーボード（ｃｈｅｃｋｅｒｂｏａｒｄ）、テンポラルインターリービング（ｔｅｍｐｏｒａｌ ｉｎｔｅｒｌｅａｖｉｎｇ））等の情報をＳＤＰに記述して、映像処理サーバ１６０に送出する。

図２の映像処理サーバ１６０において、制御信号送受信部１１１は、図１のＲＮＣ装置およびｘＧＳＮ装置を経由して、図１の携帯端末１７０＿３から送出されたＳＩＰ／ＳＤＰ制御信号を受信し、ＳＤＰに記載された端末能力情報を取り出して、端末能力解析部１１３に出力する。

図４は、端末適応部１１９の構成を一例として示すブロック図である。図４を参照すると、端末適応部１１９は、照合部１３５、画面解像度変換部１３６、合成部１３７、および、トランスコーダ部１３８を備えている。

画像解像度変換部１３６は、映像生成部１１７から左目用映像信号Ｘ’（ｍ，ｎ，ｔ）および右目用映像信号Ｙ’（ｍ，ｎ，ｔ）を受信する。

照合部１３５は、図２の端末能力解析部１１３から、映像信号を受信再生する携帯端末１７０＿３の端末能力情報のうちの、例えば、受信再生可能なコーデック、コーデックの最大ビットレート、画面解像度、ファイル形式またはストリーミング形式、ステレオ映像の受信が可能か否か、ステレオ映像の受信が可能である場合には受信形式（例えば、サイドバイサイド、水平インターリービング、垂直インターリービング、トップダウン、チェッカーボード、テンポラルインターリービング）等の情報を入力する。

また、照合部１３５は、図２の解析部１１２から映像信号の属性情報のうちの、映像信号の圧縮符号化に使用したコーデック、コーデックの最大ビットレート、画面解像度、フレームレートを入力する。

ここでは、図１の携帯端末１７０＿３は、ステレオ映像信号の受信が可能であるものとする。このとき、まず、照合部１３５は、コーデック情報、画面解像度、コーデックの最大ビットレートについて、端末能力解析部１１３からの情報と解析部１１２からの情報とを照らし合わせる。

画面解像度が一致していない場合には、照合部１３５は、画面解像度変換部１３６にフィルタ処理を指示する。このとき、画像解像度変換部１３６は、左目用映像信号Ｘ’（ｍ，ｎ，ｔ）および右目用映像信号Ｙ’（ｍ，ｎ，ｔ）に対して画面解像度を変換するためのフィルタ処理を行い、合成部１３７に出力する。

一方、画面解像度が一致している場合には、照合部１３５は、画面解像度変換部１３６に対し、受信した映像信号をスルーするように指示する。このとき、画面解像度変換部１３６は、左目用映像信号Ｘ’（ｍ，ｎ，ｔ）および右目用映像信号Ｙ’（ｍ，ｎ，ｔ）をそのまま合成部１３７に出力する。

照合部１３５は、携帯端末１７０＿３のステレオ映像信号受信形式がサイドバイサイド、水平インターリービング、垂直インターリンビング、トップダウン、チェッカーボード、テンポラルインターリービングのうちのいずれに相当するかを判別し、合成部１３７に判別されたステレオ合成方式に基づく指示を出す。

合成部１３７は、指示されたステレオ合成方式に従い、入力した左目用映像信号Ｘ’（ｍ，ｎ，ｔ）および右目用映像信号Ｙ’（ｍ，ｎ，ｔ）をステレオ映像信号に合成してトランスコーダ部１３８に出力する。例えば、テンポラルインターリービングの場合には、合成部１３７は、左目用映像信号Ｘ’（ｍ，ｎ，ｔ）と右目用映像信号Ｙ’（ｍ，ｎ，ｔ）とをフレーム毎に交互に切り替えて出力するため、フレームレートが２倍の信号となる。したがって、もとのフレームレートが３０ｆｐｓである場合には、ステレオ合成後のフレームレートは６０ｆｐｓとなる。

次に、照合部１３５は、コーデック情報およびビットレートのうちの少なくともいずれかが一致していない場合には、コーデックおよびビットレートのうちの少なくともいずれかを変換する指示をトランスコーダ部１３８に出す。

トランスコーダ部１３８は、かかる指示を受けると、入力したステレオ合成信号に対して、コーデックおよびビットレートのうちの少なくともいずれかの変換を行うための再エンコード処理を行い、変換後の信号を図２のパケット送信部１２０に出力する。

図２の映像処理サーバにおいて、パケット送信部１２０は、端末能力解析部１１３から携帯端末１７０＿３が受信しうる形式がストリーム形式であるのか、またはファイル形式であるのかを入力する。また、パケット送信部１２０は、端末適応部１１９から入力したステレオ合成信号をストリーム形式またはファイル形式に格納し、前者をＲＴＰパケットとして、後者をＵＤＰまたはＴＣＰパケットとして、図１のｘＧＳＮ装置１９０＿Ｎに送出する。

図１を参照すると、ｘＧＳＮ装置１９０＿Ｎは、映像処理サーバ１６０からステレオ合成信号が格納されたパケットを入力し、ＲＮＣ装置１９６＿Ｌに送出する。

ＲＮＣ装置１９６＿Ｌは、基地局１８１＿Ｌを介して携帯端末１７０＿３にパケットを送出する。

携帯端末１７０＿３は、パケットを受信し、端末に搭載している映像デコーダによりステレオ合成映像信号を復号し、ステレオ映像信号として再生表示する。

図１では、ＳＧＳＮ装置とＧＧＳＮ装置を一体化したｘＧＳＮ装置を用いる構成とした。なお、ＳＧＳＮ装置とＧＧＳＮ装置を分離した構成を採用することもできる。また、ＳＧＳＮ装置またはＧＧＳＮ装置のいずれかに映像処理サーバ１６０を接続した構成を採用することもできる。

携帯端末１７０＿１〜１７０＿３は、携帯電話、スマートフォン、ＰＣにデータ通信カードを搭載したもののいずれであってもよい。また、携帯端末１７０＿１〜１７０＿３は、モバイル３Ｇ網やモバイル３．９Ｇ網と通信ができる端末であればよい。図１ではモバイルパケットネットワーク１５０を介して映像信号をアップロードする携帯端末を２台の携帯端末１７０＿１、１７０＿２としたが、３台以上の携帯端末としてもよい。また、図１では、ステレオ映像信号を受信再生する携帯端末を、アップロードする携帯端末以外の１台の携帯端末１７０＿３とした。しかしながら、受信再生する携帯端末を２台以上としてもよいし、アップロードする携帯端末と受信再生する携帯端末とを同一の端末としてもよい。

また、図１では、映像信号の撮影は、携帯端末１７０＿１および１７０＿２に搭載されたカメラによるものとした。しかし、カメラのみを独立に２台以上設置し、カメラから直接アップロードするようにしてもよい。また、設置されたカメラで撮影した映像信号を、携帯端末またはモバイルデータカード差し込んだＰＣで読み込んだ上で、携帯端末またはモバイルデータカード差し込んだＰＣから、映像信号をモバイルパケットネットワーク１５０経由でアップロードするようにしてもよい。

（実施形態２）
第２の実施形態に係る映像処理サーバについて、図面を参照して説明する。図５は、本実施形態の映像処理サーバを備えた映像処理システムの接続構成を一例として示す図である。

図５において、図１と同一の符号を付した構成要素は図１と同じ動作をするので説明を省略する。図５では、モバイルＬＴＥ／ＥＰＣネットワーク２５０として、３．９世代のモバイル網である、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）およびＥＰＣ（Ｅｖｏｌｖｅｄ Ｐａｃｋｅｔ Ｃｏｒｅ）網を使用する構成を示している。

ＬＴＥでは基地局装置とＲＮＣ装置の機能が縮退し、ｅＮｏｄｅＢ装置のみとなる。また、ＥＰＣではＳ／Ｐ−ＧＷ（Ｓｅｒｖｉｎｇ／Ｐａｃｋｅｔ Ｄａｔａ−Ｇａｔｅｗａｙ）装置がｅＮｏｄｅＢ装置に接続される。ここで、Ｓ／Ｐ−ＧＷ装置は、Ｓ−ＧＷ装置とＰ−ＧＷ装置が一体化された構成であることを意味する。また、図５は、Ｍ台のｅＮｏｄｅＢ装置が１台のＳ／Ｐ−ＧＷ装置に接続される構成を示す。例えば、Ｓ／Ｐ−ＧＷ装置２９０＿１には、ｅＮｏｄｅＢ装置２６０＿１〜２６０＿Ｍが接続されている。

携帯端末１７０＿１および１７０＿２は、映像処理サーバ１６０のＩＰアドレスを記載して接続要求メッセージを発する。すると、携帯端末１７０＿１および１７０＿２が在圏しているｅＮｏｄｅＢ装置（図１の場合には２６０＿１〜２６１＿Ｍのいずれか）は、接続要求メッセージを受信する。ｅＮｏｄｅＢ装置２６０＿１〜２６１Ｍのいずれかは、接続要求メッセージをＧＴＰ−Ｕプロトコルのペイロード部分に、接続要求メッセージおよび映像配信サーバ１６０のＩＰアドレス、携帯端末のＩＰアドレス等を格納し、Ｓ／Ｐ−ＧＷ装置２９０＿１から２９０＿Ｎのいずれかに対してＧＴＰ−Ｕパケットを転送する。

Ｓ／Ｐ−ＧＷ装置２９０＿１から２９０＿Ｎのいずれかは、受信したＧＴＰ−Ｕパケットのペイロードから接続要求メッセージを取り出して映像処理サーバ１６０に送出する。

図５では、Ｓ−ＧＷ装置とＰ−ＧＷ装置を一体化したＳ／Ｐ−ＧＷ装置を用いる構成とした。しかし、Ｓ−ＧＷ装置とＰ−ＧＷ装置とを分離した構成を採用することもできる。かかる場合には、Ｓ−ＧＷ装置またはＰ−ＧＷ装置のいずれかに、映像処理サーバ１６０を接続する構成を採用することもできる。

上記実施形態１、２に係る映像処理サーバ１６０によると、複数台の携帯端末のカメラで撮影した映像信号、または、固定的に複数台設置したカメラで撮影した映像信号を、モバイルネットワーク上の映像処理サーバ１６０にアップロードし、映像処理サーバが実時間で映像処理を実現する際、少なくとも１つのパラメータとして、各映像信号のカメラパラメータを入力し、これを用いて映像信号を補正するとともに、各映像信号のタイムスタンプを入力し、これを用いることでカメラ間の映像信号のフレーム間の対応づけをとることにより、ステレオ映像信号の合成処理における画質の劣化を抑えることができる。

さらに、映像処理サーバ１６０によると、映像処理サーバ１６０で映像処理した映像信号を携帯端末で受信し再生表示する場合に、携帯端末の機種応じた能力の違い、ステレオ映像信号を再生表示する場合の形式の違い等に関して、携帯端末が合成された映像信号を再生表示できるように映像処理サーバ１６０上で映像信号を適応化させることができるため、携帯端末を改造する必要がない。

本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素（各請求項の各要素、各実施例の各要素、各図面の各要素等を含む）の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。

１１１ 制御信号送受信部
１１２ 解析部
１１３ 端末能力解析部
１１４ パケット受信部
１１５ バッファメモリ
１１７ 映像生成部
１１９ 端末適応部
１２０ パケット送信部
１３０ デコーダ部
１３１ 映像補正部
１３２ 同期処理部
１３４ ステレオ映像信号生成部
１３５ 照合部
１３６ 画面解像度変換部
１３７ 合成部
１３８ トランスコーダ部
１５０ モバイルパケットネットワーク
１５５ ＩＭＳ網
１６０ 映像処理サーバ
１７０＿１〜１７０＿３ 携帯端末
１８０＿１〜１８０＿Ｌ、１８１＿１〜１８１＿Ｌ 基地局
１９０＿１、１９０＿Ｎ ｘＧＳＮ装置
１９５＿１〜１９５＿Ｌ、１９６＿１〜１９６＿Ｌ ＲＮＣ装置
２５０ モバイルＬＴＥ／ＥＰＣネットワーク
２６０＿１〜２６０＿Ｍ、２６１＿１〜２６１＿Ｍ、２６２＿１〜２６２＿Ｍ ｅＮｏｄｅＢ装置
２９０＿１〜２９０＿Ｎ Ｓ／Ｐ−ＧＷ装置

Claims (15)

1. 複数のカメラによって撮影され、モバイルネットワークに送出された複数の映像信号を該モバイルネットワーク上のパケット転送装置を介して受信するパケット受信部と、
   前記複数の映像信号の間における属性の相違を表すパラメータを用いて前記複数の映像信号を補正し、補正後の映像信号から新たに映像信号を生成する映像生成部と、
   前記映像生成部により生成された映像信号を、前記モバイルネットワークに接続しうる携帯端末に前記パケット転送装置を介して送出するパケット送信部と、を備え、
   前記パラメータは、前記複数の映像信号のそれぞれのタイムスタンプを含み、
   前記映像生成部は、前記複数の映像信号のうちの第１の映像信号と第２の映像信号のタイムスタンプの差に所定のずらし量を加えた時刻差を求め、前記時刻差を有する第１の映像信号と第２の映像信号との相関が最大となるように前記所定のずらし量を算出することで、前記第１の映像信号と前記第２の映像信号との間における撮影開始時刻のずれを補正する、
   ことを特徴とする映像処理サーバ。
2. 前記映像生成部は、補正後の映像信号からステレオ映像信号を生成することを特徴とする、請求項１に記載の映像処理サーバ。
3. 前記パラメータは、前記複数のカメラのそれぞれに対するカメラパラメータを含み、
   前記映像生成部は、前記複数のカメラの間でカメラパラメータが異なる場合には、カメラパラメータが同一となるように前記複数の映像信号を補正することを特徴とする、請求項１または２に記載の映像処理サーバ。
4. 前記カメラパラメータは、レンズの焦点距離、開放絞り値の形式、撮影時のシャッター速度、絞り値、ホワイトバランス、対象物までの距離、感度設定値のうちの少なくともいずれかを含むことを特徴とする、請求項３に記載の映像処理サーバ。
5. 補正後の映像信号の送出先の携帯端末の機種情報を参照し、該携帯端末のステレオ映像再生形式を判別するとともに、前記ステレオ映像信号を該ステレオ映像再生形式に適応化させる端末適応部をさらに備えていることを特徴とする、請求項２に記載の映像処理サーバ。
6. 前記複数のカメラは、前記モバイルネットワークに接続しうる携帯端末に設けられたカメラ、または、固定カメラであることを特徴とする、請求項１ないし５のいずれか１項に記載の映像処理サーバ。
7. 前記パケット転送装置は、モバイルパケットネットワークのＳＧＳＮ装置、ＧＧＳＮ装置、もしくはｘＧＳＮ装置、または、モバイルＬＴＥ／ＥＰＣネットワークのＳ−ＧＷ装置もしくはＰ−ＧＷ装置であることを特徴とする、請求項１ないし６のいずれか１項に記載の映像処理サーバ。
8. 映像処理サーバが、複数のカメラによって撮影され、モバイルネットワークに送出された複数の映像信号を該モバイルネットワーク上のパケット転送装置を介して受信する工程と、
   前記複数の映像信号の間における属性の相違を表すパラメータを用いて前記複数の映像信号を補正するとともに、補正後の映像信号から新たに映像信号を生成する工程と、
   生成された映像信号を、前記モバイルネットワークに接続しうる携帯端末に前記パケット転送装置を介して送出する工程と、
   前記複数の映像信号のうちの第１の映像信号と第２の映像信号のタイムスタンプの差に所定のずらし量を加えた時刻差を求め、前記時刻差を有する第１の映像信号と第２の映像信号との相関が最大となるように前記所定のずらし量を算出することで、前記第１の映像信号と前記第２の映像信号との間における撮影開始時刻のずれを補正する工程と、を含む、
   ことを特徴とする映像処理方法。
9. 映像処理サーバが、補正後の映像信号からステレオ映像信号を生成する工程を含むことを特徴とする、請求項８に記載の映像処理方法。
10. 映像処理サーバが、前記複数のカメラの間でカメラパラメータが異なる場合には、カメラパラメータが同一となるように前記複数の映像信号を補正する工程を含むことを特徴とする、請求項８または９に記載の映像処理方法。
11. 映像処理サーバが、補正後の映像信号の送出先の携帯端末の機種情報を参照し、該携帯端末のステレオ映像再生形式を判別する工程と、前記ステレオ映像信号を前記ステレオ映像再生形式に適応化させる工程と、をさらに含むことを特徴とする、請求項９に記載の映像処理方法。
12. 複数のカメラによって撮影され、モバイルネットワークに送出された複数の映像信号を該モバイルネットワーク上のパケット転送装置を介して受信する処理と、
    前記複数の映像信号の間における属性の相違を表すパラメータを用いて前記複数の映像信号を補正するとともに、補正後の映像信号から新たに映像信号を生成する処理と、
    生成された映像信号を、前記モバイルネットワークに接続しうる携帯端末に前記パケット転送装置を介して送出する処理と、
    前記複数の映像信号のうちの第１の映像信号と第２の映像信号のタイムスタンプの差に所定のずらし量を加えた時刻差を求め、前記時刻差を有する第１の映像信号と第２の映像信号との相関が最大となるように前記所定のずらし量を算出することで、前記第１の映像信号と前記第２の映像信号との間における撮影開始時刻のずれを補正する処理と、をコンピュータに実行させる、
    ことを特徴とするプログラム。
13. 補正後の映像信号からステレオ映像信号を生成する処理をコンピュータに実行させることを特徴とする、請求項１２に記載のプログラム。
14. 前記複数のカメラの間でカメラパラメータが異なる場合には、カメラパラメータが同一となるように前記複数の映像信号を補正する処理をコンピュータに実行させることを特徴とする、請求項１２または１３に記載のプログラム。
15. 補正後の映像信号の送出先の携帯端末の機種情報を参照し、該携帯端末のステレオ映像再生形式を判別する処理と、前記ステレオ映像信号を前記ステレオ映像再生形式に適応化させる処理と、をさらにコンピュータに実行させることを特徴とする、請求項１３に記載のプログラム。

Images