JP7006387B2

JP7006387B2 - 画像配信装置、方法及びプログラム

Info

Publication number: JP7006387B2
Application number: JP2018040674A
Authority: JP
Inventors: 英樹竹原
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2018-03-07
Filing date: 2018-03-07
Publication date: 2022-01-24
Anticipated expiration: 2038-03-07
Also published as: JP2019161251A

Description

本発明は、映像データストリーミングの監視技術に関する。

近年、業務用撮影カメラのＩＰ化が進展しており、撮影した映像データをストリーミングで配信するサービスが盛んになっている。このような中で、多数の業務用撮影カメラのストリーミングをクラウドで一元管理し、カメラやストリーミングの状況を監視することができるシステムが必要とされている。

例えば、特許文献１には、複数の監視地点のカメラから撮影した映像を地図データと並べて表示する監視システムが開示されている。特許文献２には、複数のカメラのサムネイル画像を合成して端末にストリーム配信し、端末側で合成画像を分割して地図上の該当位置に表示する遠隔監視システムが開示されている。

特開平１１－１０２４９５号公報特開２００３－２４４６８３号公報

ストリーミング配信システムにおいてカメラが映像のストリーミングをしている間にカメラの映像を監視しようとすると、カメラにおいて符号化処理の負担が大きくなるという問題があった。

本発明はこうした状況に鑑みてなされたものであり、その目的は、カメラが映像のストリーミング中であってもカメラの映像を監視することのできる映像データストリーミング監視技術を提供することにある。

上記課題を解決するために、本発明のある態様の画像配信装置は、カメラから第１の符号化方法で符号化された第１のサムネイル画像を取得する第１サムネイル画像取得部（１００）と、前記カメラの映像をストリーミング配信する配信サーバから第２の符号化方法で符号化された第２のサムネイル画像を取得する第２サムネイル画像取得部（１１０）と、カメラを識別するカメラ識別情報とカメラがストリーミング中であるか否かを示すストリーミング実行情報と含むカメラ情報にもとづいて前記第１のサムネイル画像と前記第２のサムネイル画像のいずれか一方を選択サムネイル画像として選択するサムネイル画像選択部（１２０）と、前記選択サムネイル画像を複数の異なる符号化特性を有するセグメントに再符号化する再符号化部（１３０）と、を備える。

本発明の別の態様は、画像配信方法である。この方法は、カメラから第１の符号化方法で符号化された第１のサムネイル画像を取得する第１サムネイル画像取得ステップと、前記カメラの映像をストリーミング配信する配信サーバから第２の符号化方法で符号化された第２のサムネイル画像を取得する第２サムネイル画像取得ステップと、カメラを識別するカメラ識別情報とカメラがストリーミング中であるか否かを示すストリーミング実行情報と含むカメラ情報にもとづいて前記第１のサムネイル画像と前記第２のサムネイル画像のいずれか一方を選択サムネイル画像として選択するサムネイル画像選択ステップと、前記選択サムネイル画像を複数の異なる符号化特性を有するセグメントに再符号化する再符号化ステップと、を有する。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、カメラが映像のストリーミング中であってもカメラの撮影映像を監視することができる。

実施の形態に係る映像データストリーミング監視システムの構成を説明する図である。図１のストリーミング監視装置の構成を説明する図である。図２のストリーミング監視装置によるストリーミングデータの処理手順を説明するフローチャートである。実施の形態で生成されるＭＰＥＧ－ＤＡＳＨ（Dynamic Adaptive Streaming over HTTP）のデータ構造の一例を説明する図である。ＭＰＥＧ－ＤＡＳＨのデータ構造におけるＭＰＤとピリオドの変更を説明するフローチャートである。図２のブラウザ制御部の機能構成図である。

図１は、実施の形態に係る映像データストリーミング監視システムの構成を説明する図である。映像データストリーミング監視システムは、カメラ１０００、１００１、ＧＰＳ機能搭載ルータ２０００、配信サーバ３０００、カメラ位置管理サーバ４０００、地図データ配信サーバ５０００、ストリーミング監視装置６０００、配信拠点７０００、７００１を含む。

カメラ１０００、１００１は、無線ＬＡＮによりＧＰＳ機能搭載ルータ２０００に接続される。ここでは、カメラ１０００、１００１がＧＰＳ機能搭載ルータ２０００と無線ＬＡＮで接続される形態を説明するが、カメラ１０００、１００１はＵＳＢ等でＧＰＳ機能搭載ルータ２０００と接続されてもよく、カメラ１０００、１００１がＧＰＳ機能を内蔵してもよい。また、カメラ１０００、１００１が配信サーバ３０００やカメラ位置管理サーバ４０００に直接接続されてもよい。

ＧＰＳ機能搭載ルータ２０００は、配信サーバ３０００、カメラ位置管理サーバ４０００、およびストリーミング監視装置６０００にネットワークで接続される。配信サーバ３０００は、ストリーミング監視装置６０００および配信拠点７０００、７００１にネットワークで接続される。カメラ位置管理サーバ４０００は、ストリーミング監視装置６０００にネットワークで接続される。地図データ配信サーバ５０００は、ストリーミング監視装置６０００にネットワークで接続される。ストリーミング監視装置６０００は、配信サーバ３０００にネットワークで接続される。

カメラ１０００、１００１は、それぞれの撮影場所で撮影された映像を符号化してストリーミングデータを生成し、ストリーミングデータをＧＰＳ機能搭載ルータ２０００を経由して配信サーバ３０００に送信する。ここでは、ストリーミングデータは画像サイズが１９２０画素×１０８０画素のフルＨＤ（High Definition）映像でフレームレートは３０ｆｐｓである。

配信サーバ３０００は、ＧＰＳ機能搭載ルータ２０００から送信されたストリーミングデータをトランスコードして１以上の配信拠点７０００、７００１に送信する。配信サーバ３０００は、配信拠点７０００、７００１毎に解像度やフレームレートの異なるストリーミングデータを配信してもよい。複数の配信拠点７０００、７００１は、複数の異なる放送局の受信装置であってもよく、一つの放送局における複数の受信装置であってもよい。

また、配信サーバ３０００はＧＰＳ機能搭載ルータ２０００から送信されたストリーミングデータをストリーミング監視装置６０００に配信することができる。

第１のカメラであるカメラ１０００、第２のカメラであるカメラ１００１は、撮影中の映像のサムネイル画像（「カメラサムネイル画像」と呼ぶ）と後述するカメラ情報をＧＰＳ機能搭載ルータ２０００を経由してストリーミング監視装置６０００に送信する。ここでは、第１のカメラ及び第２のカメラはストリーミングデータを生成している期間はカメラサムネイル画像を生成しないものとする。これはカメラの電力量を低減させるためである。

配信サーバ３０００は、ＧＰＳ機能搭載ルータ２０００から送信されたトランスコード前のストリーミングデータのサムネイル画像（「ストリーミングサムネイル画像」と呼ぶ）またはトランスコード後のストリーミングデータのサムネイル画像（「配信サムネイル画像」と呼ぶ）をストリーミング監視装置６０００に送信する。

カメラサムネイル画像は、静止画像符号化方式であるＪＰＥＧで符号化されたＶＧＡ（６４０画素×４８０画素）サイズの画像データである。カメラサムネイル画像はカメラで生成される画像データである。カメラサムネイル画像は、配信拠点７０００、配信拠点７００１などに送信され、カメラ１０００、カメラ１００１が撮影した対象を判別するために用いられる画像データである。なお、カメラサムネイル画像に対する圧縮方式は、電力量やコストを抑制することができるＪＰＥＧでの圧縮が好ましい。

ストリーミングサムネイル画像と配信サムネイル画像は、動画像符号化方式であるＡＶＣ／Ｈ．２６４で符号化されたＶＧＡサイズの画像をＭＰ４で格納した画像データである。ストリーミングサムネイル画像と配信サムネイル画像は配信サーバ３０００で生成されるデータであり、多数のクライアントにサムネイル画像を伝送するため、データ伝送効率を向上することができるＡＶＣ／Ｈ．２６４での圧縮が好ましい。ここでは、ストリーミングサムネイル画像は１フレームのイントラフレームで構成された画像とする。

また、これらのサムネイル画像は、毎秒１フレーム程度の動画像でもよく、例えば画像間予測符号化を利用して、カメラサムネイル画像はＭｏｔｉｏｎＪＰＥＧとして、ストリーミングサムネイル画像と配信サムネイル画像はＨＥＶＣとして圧縮されてもよい。

ＧＰＳ機能搭載ルータ２０００は、カメラ１０００、１００１の撮影位置情報として少なくとも緯度と経度を含むＧＰＳ情報をカメラ位置管理サーバ４０００に送信する。ここでは、ＧＰＳ機能搭載ルータ２０００とカメラ位置管理サーバ４０００がネットワークで接続される形態を説明するが、ＧＰＳ機能搭載ルータ２０００とカメラ位置管理サーバ４０００を一体化してＧＰＳ機能搭載ブリッジを構成してもよい。

カメラ位置管理サーバ４０００は、ＧＰＳ機能搭載ルータ２０００から入力されるＧＰＳ情報を記憶し、ＧＰＳ情報をカメラ位置情報としてストリーミング監視装置６０００に送信する。

地図データ配信サーバ５０００は地図データをストリーミング監視装置６０００に送信する。

ストリーミング監視装置６０００は、配信制御データを配信サーバ３０００に送信する。配信サーバ３０００は、配信制御データにもとづいてカメラ１０００、１００１から送信されるストリーミングデータを適宜トランスコードして配信拠点７０００、７００１に配信する。

配信拠点７０００、７００１は、配信サーバ３０００から配信されるストリーミングデータを受信し、ストリーミングデータを復号して利用する。ここで、配信拠点７０００、７００１は、各カメラ１０００、１００１から送信されたストリーミングデータを分離して利用することができる。

図２は、ストリーミング監視装置６０００の構成を説明する図である。図３は、ストリーミング監視装置６０００によるストリーミングデータの処理手順を説明するフローチャートである。以下、図２と図３を参照して、ストリーミング監視装置６０００の構成と動作を説明する。

ストリーミング監視装置６０００はサーバクライアントシステムであり、ネットワークで相互接続されたサーバ６１００とクライアント６２００を有する。サーバ６１００とクライアント６２００はＨＴＴＰやＨＴＴＰＳの通信を行う。サーバ６１００は、サムネイル画像配信サーバの一例であり、クライアント６２００は、サムネイル画像受信端末の一例である。

サーバ６１００は、第１のカメラ、第２のカメラ、第３のカメラに対応する第１、第２、第３のカメラサムネイル処理部６００３、６００４、６００５と、マニフェストファイル生成部１４０と、ストレージ１５０と、データベース１６０とを有する。

第１のカメラサムネイル処理部６００３は、配信サーバサムネイル画像取得部１００、カメラサムネイル画像取得部１１０、サムネイル画像選択部１２０、および再符号化部１３０を含む。第２、第３のカメラサムネイル処理部６００４、６００５も第１のカメラサムネイル処理部６００３と同様の構成を有する。

データベース１６０には少なくともサーバ６１００が管理するカメラのシリアル番号とカメラのＵＲＬなどが登録されている。ここでは、第１のカメラ、第２のカメラ、及び第３のカメラが登録されているものとする。第３のカメラは図１には図示していない。

なお、サーバ６１００は、ＣＰＵ、ＲＡＭ又はＲＯＭやストレージによって構成され、またはこれらを組み合わせたものによって構成される。

クライアント６２００ではブラウザ制御部２００が動作する。ブラウザ制御部２００は、ＭＰＥＧ－ＤＡＳＨのデータとＨＴＭＬコンテンツをサーバ６１００から受信して画面上に表示する。端子７０は地図データ配信サーバ５０００に接続されており、地図データ配信サーバ５０００から地図データが入力される。ブラウザ制御部２００は、地図データとＭＰＥＧ－ＤＡＳＨのデータをＨＴＭＬコンテンツ上に合成して表示する。クライアント６２００はブラウザ制御部２００が動作する環境であればＰＣ、スマートフォン等であってもよい。地図データをサーバ６１００からではなく地図データ配信サーバ５０００から取得することで地図データの生成に関する負荷を分散することができる。

端子１０、端子３０および端子５０は配信サーバ３０００に、端子２０、端子４０および端子６０はＧＰＳ機能搭載ルータ２０００にそれぞれ接続される。端子１０と端子２０からは第１のカメラに関する情報が入力され、端子３０と端子４０からは第２のカメラに関する情報が入力され、端子５０と端子６０からは第３のカメラに関する情報が入力される。

図３のフローチャートを参照しながら、サーバ６１００内のカメラサムネイル処理部６００３の動作を詳しく説明する。

配信サーバサムネイル画像取得部１００は、配信サーバ３０００に接続された端子１０から「ストリーミングサムネイル画像」または「配信サムネイル画像」を取得し、サムネイル画像選択部１２０に出力する。

カメラサムネイル画像取得部１１０は、ＧＰＳ機能搭載ルータ２０００に接続された端子２０からカメラ情報と「カメラサムネイル画像」を取得し（Ｓ１００）、カメラ情報が取得できたかどうかを検査する（Ｓ１０５）。カメラ情報が取得できた場合（Ｓ１０５のＹＥＳ）、カメラ情報と「カメラサムネイル画像」をサムネイル画像選択部１２０に出力する。カメラ情報が取得できなかった場合は（Ｓ１０５のＮＯ）、処理を終了する。ここで、カメラ情報の取得は３秒間隔で実施されるものとするが、３秒でなくとも２秒や１０秒など１秒以上の間隔であればよい。

なお、カメラサムネイル画像取得部１１０は、データベース１６０に登録されたカメラのシリアル番号とカメラのＵＲＬを参照し、端子２０と接続されたＧＰＳ機能搭載ルータ２０００を介して、カメラ１０００からカメラ情報と「カメラサムネイル画像」を取得する。

カメラ情報には、カメラを識別するための「カメラ識別情報」、カメラがストリーミング中であるか否かを示す「ストリーミング実行情報」、カメラがストリーミング中である場合には、そのストリーミング先を示すＵＲＬである「ストリーミング対象情報」、及びカメラの記憶容量不足やバッテリ残量不足などを示す「カメラエラー情報」が含まれる。カメラ識別情報には、カメラ固有の番号であるシリアル番号や、ユーザが設定可能なカメラ名等が含まれる。ここでは、「ストリーミング対象情報」には配信サーバ３０００を示すＵＲＬが記述されているとする。

サムネイル画像選択部１２０は、カメラの「ストリーミング実行情報」を参照して、カメラがストリーミング中であるか否かを判定する（Ｓ１１０）。

カメラがストリーミング中である（「ストリーミング実行情報」がＯＮである）場合（Ｓ１１０のＹＥＳ）、サムネイル画像選択部１２０は、配信サーバサムネイル画像取得部１００から入力された「ストリーミングサムネイル画像」または「配信サムネイル画像」を画面に合成すべきサムネイル画像（「選択サムネイル画像」と呼ぶ）として選択する（Ｓ１２０）。

カメラがストリーミング中でない（「ストリーミング実行情報」がＯＦＦである）場合（Ｓ１１０のＮＯ）、サムネイル画像選択部１２０は、カメラサムネイル画像取得部１１０から入力された「カメラサムネイル画像」を選択サムネイル画像として選択する（Ｓ１３０）。

サムネイル画像選択部１２０は選択サムネイル画像を再符号化部１３０に出力する。

再符号化部１３０は、サムネイル画像選択部１２０より入力された選択サムネイル画像を複数の異なるビットレートとなる再符号化データに再符号化し、複数の再符号化データをマニフェストファイル生成部１４０に出力する（Ｓ１４０）。ここで、再符号化データは、ＨＴＴＰストリーミングを行うために一例としてＭＰＥＧ－ＤＡＳＨのセグメントとして再符号化される。各セグメントの長さは６秒とする。

ここでは、入力されたサムネイル画像を、ＶＧＡサイズ、ＱＶＧＡサイズ（３２０ｘ２４０）、ＱＱＶＧＡサイズ（１６０×１２０）の３つのＡＶＣ／Ｈ．２６４のイントラフレームで符号化してＭＰ４で格納した画像データとして再符号化する。これら３つの再符号化された画像データのビットレートはＶＧＡサイズ、ＱＶＧＡサイズ、ＱＱＶＧＡサイズの順で低くなる。このようにすれば、フレームレート一定のもと、ユーザは画像サイズが異なる（すなわちビットレートが異なる）サムネイル画像を選択して閲覧することができる。

ブラウザ制御部２００では、ＪＰＥＧで符号化された画像データは＜ＩＭＧ＞タグで表示し、ＭＰＥＧ－ＤＡＳＨで符号化されたビデオデータは＜ＶＩＤＥＯ＞タグで表示する。そのため、カメラサムネイル画像をＭＰＥＧ－ＤＡＳＨで配信可能なＡＶＣ／Ｈ．２６４のイントラフレームとインターフレームで動画像符号化してＭＰ４として再符号化することで、カメラサムネイル画像をストリーミングサムネイル画像や配信サムネイル画像と同様にビデオデータとして扱うことができる。これによって、サムネイル画像選択部１２０の結果に基づいてブラウザ側で＜ＩＭＧ＞タグと＜ＶＩＤＥＯ＞タグを切り替える処理が必要なくなり、ブラウザ制御部２００を動作させるクライアント６２００の負荷を削減することができる。また、ストリーミングサムネイル画像の更新毎に＜ＶＩＤＥＯ＞タグを更新する必要もなくなる。さらに、インターフレームを利用することで選択サムネイル画像の伝送ビットレートを削減することもできる。

ここでは、入力されたサムネイル画像を異なる３つの画像サイズの画像データとして再符号化したが、画像サイズを同一として３つの異なるデータ量（ビットレートと同義）の画像データとして再符号化することもできる。すなわち、３つの同一サイズのサムネイル画像のデータ量をデータ量Ａ、データ量Ａ／２、データ量Ａ／４のようにすることもできる。

マニフェストファイル生成部１４０は、再符号化部１３０より入力された再符号化データからＭＰＥＧ－ＤＡＳＨのデータを生成し、ＭＰＥＧ－ＤＡＳＨのデータをストレージ１５０に格納する。

ストレージ１５０は、クライアント６２００の要求に応じて、送信部１７０にＭＰＥＧ－ＤＡＳＨのデータを出力する。送信部１７０は、ＭＰＥＧ－ＤＡＳＨのデータをクライアント６２００の受信部２０５に送信する。

ここで、ＭＰＥＧ－ＤＡＳＨのデータの生成について詳細に説明する。図４は本実施の形態で生成されるＭＰＥＧ－ＤＡＳＨのデータ構造の一例を説明する図である。

本実施の形態におけるＭＰＥＧ－ＤＡＳＨのデータ構造を説明する図である。ＭＰＤ（Media Presentation Descriptor）はメディアデータを階層構造で管理するメタデータを記述したマニフェストファイルである。ＭＰＤ内にはＰｅｒｉｏｄ０、Ｐｅｒｉｏｄ１、Ｐｅｒｉｏｄ２のような複数のピリオドが存在する。各ピリオドの期間の長さはそれぞれ可変である。ここで、ＭＰＤの属性の１つである最小更新間隔（minimumUpdatePeriod）はカメラ情報の取得の間隔と等しい３秒に設定する。ＭＰＤの最小更新間隔をカメラ情報の取得の間隔と等しい間隔に設定することで、サムネイル画像の更新タイミングに対して最小の遅延でブラウザ制御部２００にＭＰＤの更新確認を促すことができる。また、ＭＰＤの属性の１つであるタイプ（type）をライブストリーミングが可能な動的（dynamic）に設定する。

なお、再符号化部１３０で生成された複数の異なるビットレートのセグメントの取得先であるＵＲＬがＭＰＤに含まれており、ＭＰＤの取得によりセグメントへのアクセスも可能となる。

Ｐｅｒｉｏｄ０にはＡＳ０とＡＳ１のアダプテーションセットが存在する。アダプテーションセットには１つ以上のリプレゼンテーションが存在し、１つのリプレゼンテーションを選択して有効とすることができる。ＡＳ０は第１のカメラのサムネイル画像の情報を、ＡＳ１は第２のカメラのサムネイル画像の情報をそれぞれ示す。Ｐｅｒｉｏｄ１にはＡＳ０、ＡＳ１とＡＳ２のアダプテーションセットが存在する。ＡＳ２は第３のカメラのサムネイル画像の情報を示す。Ｐｅｒｉｏｄ２にはＡＳ０とＡＳ１のアダプテーションセットが存在する。

アダプテーションセットＡＳ０にはＲＰ０、ＲＰ１、ＲＰ２の３つのリプレゼンテーションが存在する。ＲＰ０はＶＧＡサイズのサムネイル画像を、ＲＰ１はＱＶＧＡサイズのサムネイル画像を、ＲＰ２はＱＱＶＧＡサイズのサムネイル画像をそれぞれ示す。ＡＳ１も同様に階層構造を有する。また、Ｐｅｒｉｏｄ１とＰｅｒｉｏｄ２についても同様に階層構造を有する。アダプテーションセットの複数のリプレゼンテーションの中で、１つのクライアントが同時に取得できるのは１つのリプレゼンテーションのみである。

リプレゼンテーションＲＰ０にはセグメント情報が存在し、セグメント情報には複数のセグメントが存在する。

セグメントには再符号化されたサムネイル画像が含まれる。ここでは、１つのセグメントの期間はカメラ情報の取得の間隔の整数倍になるものとし、１以上のサムネイル画像が含まれるとする。

続いて、ＭＰＤとピリオドが変更されるタイミングについて説明する。図５は、ＭＰＤとピリオドの変更を説明するフローチャートである。

マニフェストファイル生成部１４０は、カメラサムネイル処理部６００３、６００４、６００５からそれぞれ再符号化データが入力されたか否かを検査し、再符号化データが入力されたカメラに変更があるかを判定する（Ｓ２００）。

再符号化データが入力されたカメラに変更があれば、ＭＰＤとＰｅｒｉｏｄを変更し（Ｓ２０１）、再符号化データが入力されたカメラに変更がなければ、ＭＰＤとＰｅｒｉｏｄを変更しない（Ｓ２０２）。

ここで、図４を用いてＭＰＤとピリオドが変更される例を示す。第３のカメラのサムネイル画像の情報を示すアダプテーションセットＡＳ２がＰｅｒｉｏｄ１にだけ存在し、Ｐｅｒｉｏｄ０とＰｅｒｉｏｄ２に存在していない。これは、Ｐｅｒｉｏｄ１の期間中に第３のカメラが利用されて、再符号化データが入力されていたためＰｅｒｉｏｄ１にだけＡＳ２が存在している。Ｐｅｒｉｏｄ０とＰｅｒｉｏｄ２では、第３のカメラは利用されていない。

図６は、ブラウザ制御部２００の機能構成図である。ブラウザ制御部２００は、ＭＰＥＧ－ＤＡＳＨのＭＰＤを受信するマニフェストファイル受信部２１０と、ＭＰＥＧ－ＤＡＳＨデータを解読するマニフェストファイル解読部２２０と、複数のリプレゼンテーションから１つのリプレゼンテーションを選択するリプレゼンテーション選択部２３０と、選択されたリプレゼンテーションに関するセグメントデータを受信するセグメント受信部２４０と、セグメントデータからサムネイル画像を復号するサムネイル画像取得部２５０と、地図データを取得する地図データ取得部２６０と、レンダリング部２７０とを少なくとも含む。

マニフェストファイル受信部２１０は、ＭＰＤのＵＲＬに基づき、受信部２０５を介してサーバ６１００からＭＰＥＧ－ＤＡＳＨのＭＰＤを受信する。マニフェストファイル受信部２１０は、受信したＭＰＥＧ－ＤＡＳＨのＭＰＤをマニフェストファイル解読部２２０へ出力する。ＭＰＤのＵＲＬは予め与えられているものとする。

マニフェストファイル解読部２２０は、入力されたＭＰＤに含まれるピリオド、アダプテーションセット、リプレゼンテーション、セグメント等の情報をＭＰＥＧ－ＤＡＳＨの標準に従って解読してセグメントを表示するための情報を取得する。

リプレゼンテーション選択部２３０は、ＭＰＤに含まれる複数のリプレゼンテーションから１つのリプレゼンテーションを選択する。選択方法については後述する。

セグメント受信部２４０は、選択されたリプレゼンテーションに関するセグメントデータを、受信部２０５を介してサーバ６１００から受信してサムネイル画像取得部２５０に出力する。

サムネイル画像取得部２５０は、入力されたセグメントデータからサムネイル画像を復号してレンダリング部２７０に出力する。

地図データ取得部２６０は、受信部２０５を介して地図データ配信サーバ５０００から地図データを取得してレンダリング部２７０に出力する。

レンダリング部２７０は、マニフェストファイル解読部２２０から取得したセグメントを表示するための情報に基づいて、入力されたサムネイル画像を地図データと共にブラウザ上にレンダリングする。

以下、リプレゼンテーションの選択について複数の例を説明する。一般的には、ユーザが任意のリプレゼンテーションを選択する。

リプレゼンテーション選択部２３０は、サーバとクライアント間のネットワークの帯域に応じてリプレゼンテーションを選択する。具体的には、ネットワークの帯域に余裕があればより大きなサイズのサムネイル画像を選択し、ネットワークの帯域に余裕がなければより小さなサイズのサムネイル画像を選択する。これにより、サーバとクライアント間のネットワークの帯域を抑制することができる。

また別の例として、リプレゼンテーション選択部２３０は、接続されているカメラの台数に応じてリプレゼンテーションを選択する。具体的には、接続されているカメラの台数が多ければより小さなサイズのサムネイル画像を選択し、接続されているカメラの台数が少なければより大きなサイズのサムネイル画像を選択する。これにより、ブラウザが動作するクライアントの負荷を抑制することができる。例えば、接続されているカメラが５台以下であれば、ＶＧＡサイズのサムネイル画像を取得し、接続されているカメラが１０台以下であれば、ＱＶＧＡサイズのサムネイル画像を取得し、接続されているカメラが１０台を超えれば、ＱＱＶＧＡサイズのサムネイル画像を取得するようにしてもよい。

また、例えば、ブラウザＡとブラウザＢが同じサーバにアクセスし、ブラウザＡとブラウザＢが表示するカメラの幾つかが共有されているような場合には、ブラウザＡとブラウザＢで異なるＭＰＤを利用することで、ブラウザ毎にリプレゼンテーションを選択することができる。そのため、片方のブラウザで表示すべきサムネイル画像が増加したため、サムネイル画像のサイズを小さくした場合であっても、他方のブラウザでは大きなサイズのサムネイル画像を選択し続けることができる。

以上のように、ＨＴＭＬブラウザ上で＜ＩＭＧ＞タグと＜ＶＩＤＥＯ＞タグのように異なるタグで表示されるメディアデータに対して、＜ＶＩＤＥＯ＞タグのみとすることで同一タグで表示可能なメディアデータに変換しつつ、複数の異なる符号化特性（ビットレートやフレームレート）に再符号化しておくことで、サーバ６１００とクライアント６２００間のネットワークの状況や管理しているカメラの台数に応じて、ブラウザ上にサムネイル画像の表示を好適に行うことができる。

また、本発明によれば、メディアデータに対して、複数の異なる符号化特性（ビットレートやフレームレート）に再符号化しておくことで、サーバとクライアント間のネットワークの帯域の状況やブラウザで表示されているカメラの台数に応じて、カメラにサムネイル画像のサイズ変更を要求する必要がなくなる。そのため、カメラとサーバ間の通信を削減することができる。

本実施の形態の変形例について説明する。本変形例では、本実施の形態とはカメラ情報の取得間隔が０．５秒で実施されることと、再符号化部１３０の動作が異なる。

再符号化部１３０は、サムネイル画像選択部１２０より入力された選択サムネイル画像を複数の異なる画像サイズと異なるフレームレートからなる再符号化データに再符号化し、複数の再符号化データをマニフェストファイル生成部１４０に出力する。

ここでは、入力されたサムネイル画像を、ＶＧＡサイズでフレームレートが１／３フレーム／秒、ＱＶＧＡサイズ（３２０ｘ２４０）でフレームレートが１フレーム／秒、ＱＱＶＧＡサイズ（１６０×１２０）でフレームレートが２フレーム／秒の３つのＡＶＣ／Ｈ．２６４で符号化してＭＰ４で格納した画像データとして再符号化する。このようにすれば、ビットレート一定のもとで、ユーザがフレームレートと画像サイズのいずれかを優先して複数のリプレゼンテーションから１つのリプレゼンテーションを選択し、サムネイル画像を閲覧することができる。

また、カメラ情報の取得間隔を０．５秒とすることでカメラ側の負担が増加することが懸念される場合には、カメラサムネイル画像の画像サイズをＱＶＧＡなどのより小さな画像サイズとし、再符号化部１３０で、超解像技術を用いてＶＧＡサイズのサムネイル画像を生成してもよい。また、再符号化部１３０で、フレーム補間技術を用いてより高フレームレートのサムネイル画像を生成してもよい。

これにより、解像度を重視したサムネイル画像の取得を要望するクライアントやフレームレートを重視したサムネイル画像の取得を要望するクライアントなど様々な要望を有するクライアントが存在する場合でも、それぞれのクライアントに応じたサムネイル画像を提供することができる。

なお、本実施の形態では、カメラ毎にセグメントを生成するため、カメラ情報の取得間隔やカメラサムネイル画像のサイズはカメラ毎に異なる値を設定することもできる。性能の高いＣＰＵを搭載したカメラではカメラ情報の取得間隔を小さく設定してカメラサムネイル画像のサイズを大きく設定し、性能の低いＣＰＵを搭載したカメラではカメラ情報の取得間隔を大きく設定してカメラサムネイル画像のサイズを小さく設定するようなことも可能である。

以上説明した各種の処理は、ＣＰＵやメモリ等のハードウェアを用いた装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバと送受信することも、地上波あるいは衛星ディジタル放送のデータ放送として送受信することも可能である。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１００配信サーバサムネイル画像取得部、１１０カメラサムネイル画像取得部、１２０サムネイル画像選択部、１３０再符号化部、１４０マニフェストファイル生成部、１５０ストレージ、１６０データベース、１７０送信部、２０５受信部、２００ブラウザ制御部、２１０マニフェストファイル受信部、２２０マニフェストファイル解読部、２３０リプレゼンテーション選択部、２４０セグメント受信部、２５０サムネイル画像取得部、２６０地図データ取得部、２７０レンダリング部、１０００、１００１カメラ、２０００ＧＰＳ機能搭載ルータ、３０００配信サーバ、４０００カメラ位置管理サーバ、５０００地図データ配信サーバ、６０００ストリーミング監視装置、６００３、６００４、６００５カメラサムネイル処理部、６１００サーバ、６２００クライアント、７０００、７００１配信拠点。

Claims

カメラから第１の符号化方法で符号化された第１のサムネイル画像を取得する第１サムネイル画像取得部と、
前記カメラの映像をストリーミング配信する配信サーバから第２の符号化方法で符号化された第２のサムネイル画像を取得する第２サムネイル画像取得部と、
カメラを識別するカメラ識別情報とカメラがストリーミング中であるか否かを示すストリーミング実行情報と含むカメラ情報にもとづいて前記第１のサムネイル画像と前記第２のサムネイル画像のいずれか一方を選択サムネイル画像として選択するサムネイル画像選択部と、
前記選択サムネイル画像を複数の異なる符号化特性を有するセグメントに再符号化する再符号化部と、
を備えることを特徴とする画像配信装置。
前記再符号化部は、前記選択サムネイル画像の画像サイズが小さいほどフレームレートを大きくし、前記選択サムネイル画像の画像サイズが大きいほどフレームレートを小さくすることで、前記選択サムネイル画像を複数の異なる符号化特性を有するセグメントに再符号化することを特徴とする請求項１に記載の画像配信装置。
カメラから第１の符号化方法で符号化された第１のサムネイル画像を取得する第１サムネイル画像取得ステップと、
前記カメラの映像をストリーミング配信する配信サーバから第２の符号化方法で符号化された第２のサムネイル画像を取得する第２サムネイル画像取得ステップと、
カメラを識別するカメラ識別情報とカメラがストリーミング中であるか否かを示すストリーミング実行情報と含むカメラ情報にもとづいて前記第１のサムネイル画像と前記第２のサムネイル画像のいずれか一方を選択サムネイル画像として選択するサムネイル画像選択ステップと、
前記選択サムネイル画像を複数の異なる符号化特性を有するセグメントに再符号化する再符号化ステップと、
を有することを特徴とする画像配信方法。
カメラから第１の符号化方法で符号化された第１のサムネイル画像を取得する第１サムネイル画像取得ステップと、
前記カメラの映像をストリーミング配信する配信サーバから第２の符号化方法で符号化された第２のサムネイル画像を取得する第２サムネイル画像取得ステップと、
カメラを識別するカメラ識別情報とカメラがストリーミング中であるか否かを示すストリーミング実行情報と含むカメラ情報にもとづいて前記第１のサムネイル画像と前記第２のサムネイル画像のいずれか一方を選択サムネイル画像として選択するサムネイル画像選択ステップと、
前記選択サムネイル画像を複数の異なる符号化特性を有するセグメントに再符号化する再符号化ステップと、
をコンピュータに実行させることを特徴とする画像配信プログラム。