JP6668298B2 - スマートカメラ、画像処理装置、スマートカメラシステム、データ送信方法およびプログラム - Google Patents

Description

本発明の実施形態は、スマートカメラについての技術に関する。

撮像センサとプロセッサを備える、いわゆるスマートカメラが注目されている。近年ではセンサデバイスの小型化・低価格化により、複数のカメラを搭載したスマートフォンや車載カメラ等も販売されている。複眼カメラを用いたステレオ画像の生成や、距離情報を持つ画像（距離画像）の生成なども研究されている。複数のカメラデバイスをアレイ状に配列したアレイカメラも知られている。さらに、可視光カメラ、近赤外線カメラ、および遠赤外線カメラを共通の筐体に実装したマルチスペクトルカメラ（ハイブリッドカメラとも称される）も知られている。これらの次世代カメラは、有線ネットワークや無線ネットワーク経由でセンタ装置に接続されて、遠隔監視システムなどに応用されることが期待されている。

特開２００５−３２８４７９号公報

"複眼型距離画像CMOSイメージセンサ"，[online]，［平成29年6月15日検索］,インターネット，<URL:http://www.toshiba.co.jp/rdc/detail/13_t24.htm> "多機能化に向かう次世代カメラ"，[online]，［平成29年6月15日検索］,インターネット，<URL:http://toshiba.semicon-storage.com/design_support/elearning/keytechnology/__icsFiles/afieldfile/2010/11/05/edn1011_39_47feature02.pdf>

アレイカメラの全てのカメラの映像データをセンタ装置に送ることは希であり、いずれかのカメラの画像を切替出力することが多い。例えば人物検知のために、日中は可視光カメラで定点観測を行うが、夜間は赤外線カメラに切り替える、という運用である。このようにして、映像を含むストリームの伝送に要する占有帯域を最小限に抑えるようにしている。

しかしながら映像が切り替わると、伝送ストリームを受信する側での処理が追いつかず、時系列の画像分析データが一部、欠落することがある。技術的にはこのことを、「画像処理に不連続が生じる」という。例えばカラー映像が急にモノクロ映像に切り替わったとすると、これを受けたセンタ装置は同じ視野の映像を取得しているにもかかわらず、画像処理を継続することが難しい。カメラ間の色調の違い、波長の違い、コントラストの違い、ピントのずれ、画面サイズの違い、画角の違いなど、不連続をもたらす要因は様々ある。不連続が甚だしくなると画像処理がリセットされるおそれもある。

このように当該技術分野には、映像の切替（フレーム切替）前後での、画像処理の連続性を保つことが難しいという技術的な課題がある。複数の単眼カメラで共通の視野を観察する形態のシステムにおいても、事情は同じである。

そこで、目的は、映像切替の前後で画像処理の連続性を保つことの可能なスマートカメラシステムと、このシステムで使用可能なスマートカメラ、画像処理装置、データ送信方法およびプログラムを提供することにある。

実施形態によれば、スマートカメラは、画像処理装置と通信可能であって、複数の撮像部と、選択部と、切替部と、特徴データ生成部と、同期処理部と、多重化部と、送信部とを具備する。撮像部は、それぞれ映像データを生成する。選択部は、画像処理装置における画像処理に相応する映像データを生成する撮像部を、選択する。切替部は、選択部により別の撮像部が選択されるたびに、当該選択された撮像部からの映像データを互いのフレーム位相を同期させて切り替え出力する。特徴データ生成部は、切り替え出力の時点を含む所定期間にわたる選択された撮像部からの映像の特徴データを生成する。同期処理部は、切り替え出力された映像データと特徴データとを同期させる。多重化部は、同期された映像データと特徴データとを伝送ストリームに多重する。送信部は、伝送ストリームを画像処理装置に送信する。

図１は、実施形態に係わる監視カメラシステムの一例を示すシステム図である。 図２は、カメラの一例を示すブロック図である。 図３は、画像処理装置の一例を示すブロック図である。 図４は、カメラと画像処理装置との間で授受される情報の一例を示す図である。 図５は、実施形態におけるカメラの処理手順の一例を示すフローチャートである。 図６は、伝送ストリームのＴＳ基本体系を示す図である。 図７は、同期多重された特徴データを含む伝送ストリームの一例を示す図である。 図８は、特徴データパラメータの一例を示す図である。 図９は、実施形態における作用を説明するための図である。 図１０は、監視カメラシステムの他の例を示すシステム図である。 図１１は、監視カメラシステムの他の例を示すシステム図である。

次に、図面を参照して、この発明の実施の形態について説明する。この明細書において、画像とは静止画像、あるいは映像を構成する１フレーム分の画像として理解される。一方、映像とは一連の画像の集合であり、動画像として理解され得る。
複数のスマートカメラをクラウドコンピューティングシステム（クラウド）と連携させ、映像データをビッグデータとして活用するためのプラットフォームが整備されつつある。例えば、防災のための定点観測、交通の監視、道路や橋りょうなどのインフラの監視、人物検索や人物トラッキング、および、不審人物の追跡などに映像データを活用することが検討されている。

図１は、実施形態に係わる監視カメラシステムの一例を示すシステム図である。図１に示されるシステムは、スマートカメラとしての複数のカメラＣ１〜Ｃｎと、クラウド１００に設けられる画像処理装置２００とを備える。

カメラＣ１〜Ｃｎは、それぞれ異なる場所に設置される。例えば、カメラＣ３〜Ｃ５は、超高層のオフィスビルが立ち並ぶビル街を含むエリアＡに配置され、カメラＣ６〜Ｃｎは、郊外の住宅地を含むエリアＢに配置され、カメラＣ１、Ｃ２はエリアＡ，Ｂ以外の場所に配置される。各カメラＣ１〜Ｃｎは、例えばレンズおよび撮像センサを有し、それぞれの場所での実空間を撮像することで、映像データを生成する。

画像処理装置２００は、カメラＣ１〜Ｃｎ、モバイル通信システムの基地局ＢＳ、あるいはデータベース等に、通信ネットワーク経由で接続される。通信ネットワークのプロトコルとして、例えばＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）を利用することができる。カメラとクラウド１００との間に中継ネットワーク１０１が介在しても良い。

画像処理装置２００は、カメラＣ１〜Ｃｎのそれぞれから送信された映像データを伝送ストリーム（トランスポートストリーム）として収集する。画像処理装置２００は、収集した映像データに例えばシェーディング、フィルタリング、または輪郭抽出などの画像処理を施す。

車両Ｖ１またはセルラフォンＰ１も、基地局ＢＳ経由でクラウド１００にアクセス可能である。車両Ｖ１の車載カメラ、およびセルラフォンＰ１のカメラも、スマートカメラとして動作することが可能である。

また、エリアＡ，Ｂには、例えばそれぞれエッジサーバＳ１，Ｓ２が設置されている。エッジサーバＳ１は、エリアＡの特徴（例えば昼間人口が多い等）に応じたデータをクラウド１００に要求し、取得したデータに応じたサービスの提供、およびサービスを提供するための基盤（プラットフォーム）の構築を実現する。また、エッジサーバＳ１は、取得したデータをユーザに利用させるための、高速の演算処理機能及び大容量のストレージなどのリソースとして機能してもよい。エッジサーバＳ２は、エリアＢの特徴（例えば児童や学校の数が多い等）に応じたデータをクラウド１００に要求し、取得したデータに応じたサービスの提供、およびサービスを提供するためのプラットフォームの構築を実現する。また、エッジサーバＳ２は、取得したデータをユーザに利用させるためのリソースとして機能してもよい。

なお、クラウドコンピューティングシステムの利用形態は、アプリケーションをサービスとして提供するＳａａＳ（Software as a Service）、アプリケーションを稼働させるための基盤（プラットフォーム）をサービスとして提供するＰａａＳ（Platform as a Service）、並びに、高速の演算処理機能及び大容量のストレージなどのリソースをサービスとして提供するＩａａＳ（Infrastructure as a Service）に大別される。クラウド１００は、いずれの形態にも適用することができる。

図２は、図１に示されるカメラＣ１の一例を示すブロック図である。カメラＣ２〜Ｃｎも同様の構成を備える。カメラＣ１は、複数の撮像部１ａ〜１ｍ、スイッチ部１０、処理回路１５、メモリ１６、センサ部１７、送信部２１、受信部２２、同期処理部２０、および多重化部（Multiplexer：ＭＵＸ）１９を備える。

撮像部１ａ〜１ｍは、それぞれの視野内の映像を撮影し、個別に映像データを生成する。撮像部１ａ〜１ｍは、例えばレンズ１１、絞り機構１２、画像センサ１３、および符号化部１４をそれぞれ備える。レンズ１１の視野内の像（イメージ）は、レンズ１１および絞り機構１２を通って画像センサ１３に結像される。画像センサ１３は、ＣＭＯＳ（相補型金属酸化膜半導体）センサ等のイメージセンサであり、例えば毎秒３０フレームのフレームレートの映像信号を生成する。符号化部１４は、画像センサ１３から出力された映像信号を符号化して映像データを生成する。撮像部１ａ〜１ｍからの映像データは、内部バス２３を介してスイッチ部１０および処理回路１５に転送される。

撮像部１ａ〜１ｍの撮影波長帯はそれぞれで異なっていても良い。例えば、可視光、近赤外光、遠赤外光、紫外線などの撮影波長帯を、各撮像部１ａ〜１ｍに個別に割り当ててもよい。すなわちカメラＣ１は、マルチスペクトルカメラであってよい。

センサ部１７は、例えば、撮像部１ａ〜１ｍのデバイスタイプ、画素数、フレームレート、感度、レンズ１１の焦点距離、絞り機構１２の光量、画角、絶対時刻情報、カメラ方向情報、ズーム倍率情報、およびフィルタの波長特性などのパラメータ情報をデータバス２４経由で取得し、処理回路１５およびメモリ１６に転送する。また、センサ部１７は、例えばＧＰＳ（Global Positioning System）による測位機能を有し、ＧＰＳ衛星から受信した測位信号を用いた測位処理により、カメラＣ１の位置情報と、時刻情報とを取得する。センサ部１７は、取得した位置情報および時刻情報を処理回路１５およびメモリ１６に転送する。位置情報は、カメラ自身が移動する場合、例えば、カメラがセルラフォンや車に搭載される場合等に重要である。また、センサ部１７は、例えば、温度センサ、湿度センサ、および加速度センサ等のセンサを備え、これらセンサにより、カメラＣ１が設置されている環境に関する情報をセンサ情報として取得する。センサ部１７は、取得したセンサ情報を処理回路１５およびメモリ１６に転送する。

スイッチ部１０は、撮像部１ａ〜１ｍのいずれかから出力された映像データを、選択的に同期処理部２０に送出する。どの撮像部１ａ〜１ｍからの映像データが選択されるかは、処理回路１５により決定される。

同期処理部２０は、スイッチ部１０からの映像データと、この映像データから生成された特徴量を含む特徴データとを、互いに同期させる。特徴量は、映像データに基づいて処理回路１５で生成される。特徴データは、特徴量、およびセンサ部１７から転送されるパラメータ情報、センサ情報、位置情報、および時刻情報などに基づいて処理回路１５で生成される。

映像データは、例えば、この映像データに基づいて特徴データが生成されるのにかかる時間分だけ、特徴データよりも時間的に先行している。同期処理部２０は、先行する時間分、映像データをバッファメモリに一時記憶する。同期処理部２０は、特徴データが作成されるタイミングに合わせてバッファメモリから映像データを読み出すことで、映像データと特徴データを同期させる。同期された映像データおよび特徴データは、多重化部１９に渡される。

多重化部１９は、映像データと、この映像データに同期した特徴データとを、例えば、ＭＰＥＧ−２（Moving Picture Experts Group - 2）システムの伝送ストリームに多重化する。

送信部２１は、映像データおよび特徴データが多重された伝送ストリームを、クラウド１００の画像処理装置２００に回線Ｌ経由で送信する。

受信部２２は、クラウド１００または画像処理装置２００から送信されたデータを、回線Ｌを介して取得する。画像処理装置２００から送信されたデータには、例えば、画像処理装置２００での画像処理に関するメッセージが含まれる。メッセージは、例えば画像処理方式の種別、および優先する映像パラメータ（コントラスト値、および信号対雑音比など）を示す情報などを含む。取得されたデータは処理回路１５およびメモリ１６に転送される。

メモリ１６は、例えば、ＳＤＲＡＭ（Synchronous Dynamic RAM）などの半導体メモリ、又は、ＥＰＲＯＭ（Erasable Programmable ROM）、およびＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）などの不揮発性メモリである。メモリ１６は、実施形態に係わる各種の機能を処理回路１５に実行させるためのプログラム１６ａ、および特徴データ１６ｂを記憶する。

処理回路１５は、メモリ１６に記憶されたプログラムに基づいてカメラＣ１の動作を制御する。処理回路１５は、例えばマルチコアＣＰＵ（Central Processing Unit）を備え、画像処理を高速で実行可能にチューニングされたＬＳＩ（Large Scale Integration）である。ＦＰＧＡ（Field Programmable Gate Array）等で処理回路１５を構成することもできる。なお、ＣＰＵに代えて、ＭＰＵ（Micro Processing Unit）を用いて処理回路１５を構成しても構わない。

処理回路１５は、実施形態に係る処理機能として、画像分析部１５ａ、選択部１５ｂ、切替制御部１５ｃ、および特徴データ生成部１５ｄを備える。画像分析部１５ａ、選択部１５ｂ、切替制御部１５ｃ、および特徴データ生成部１５ｄは、メモリ１６に記憶されたプログラム１６ａが処理回路１５のレジスタにロードされ、当該プログラムの進行に伴って処理回路１５が演算処理を実行することで生成されるプロセスとして、理解され得る。つまりプログラム１６ａは、画像分析プログラム、選択プログラム、切替プログラム、および特徴データ生成プログラム、を含む。

画像分析部１５ａは、撮像部１a〜１ｍから転送される映像データに対し、画像分析および映像分析を実施する。これにより、画像分析部１５ａは、撮像部１a〜１ｍから転送される映像データごとの特徴量を生成する。本実施形態において、特徴量は、例えば、映像の特徴を示す指標、および画像の特徴を示す指標として用いられる。特徴量には、例えば、可視光映像、赤外線映像、遠赤外線映像、紫外線映像、カラー映像、またはモノクロ映像といった映像の性質を識別するための情報も含まれる。より具体的には、特徴量は、輝度勾配方向ヒストグラム（Histograms of Oriented Gradients：ＨＯＧ）特徴量、コントラスト、解像度、Ｓ／Ｎ比、および色調などを含む。また、輝度勾配方向共起ヒストグラム（Co-occurrence HOG：Ｃｏ−ＨＯＧ）特徴量、Haar-Like特徴量なども特徴量として知られている。

選択部１５ｂは、画像処理装置２００において実行されている画像処理に対し、どの撮像部１ａ〜１ｍの映像データが画像処理装置２００へ転送されるのにふさわしいかを判定する。すなわち選択部１５ｂは、画像処理装置２００の画像処理に相応する映像データを生成している撮像部を選択する。具体的には、選択部１５ｂは、例えば、所定の評価値を用い、撮像部１a〜１ｍのうち１つの撮像部を選択する。評価値は、映像データが画像処理装置２００の画像処理に相応する度合いを表し、画像分析部１５ａで計算された特徴量に基づいて計算される。

例えば、画像処理装置２００で輪郭抽出処理が実施されている場合、選択部１５ｂは、撮像部１ａ〜１ｍから転送されるそれぞれの映像データについて、映像の輪郭が明瞭であるか、不明瞭であるかを表す指標を計算する。この指標は映像データの特徴量に基づいて例えば０〜１００の範囲で数値的に表すことができ、その値を評価値とする。輪郭抽出処理に着目した場合、ハイコントラストのモノクロ画像を出力する撮像部の評価値が最も高くなる。

選択部１５ｂは、評価値の最も高い映像データを生成する撮像部を選択する。

画像処理装置２００にとって、撮像部が頻繁に切り替わることは好ましくない。そこで、選択部１５ｂは、例えば、画像処理方式の変更等を表すメッセージが画像処理装置２００から送信されない限り、現在使用中の撮像部で生成された映像データについての評価値のみを計算する。選択部１５ｂは、計算した評価値が既定のしきい値以上であれば、他の撮像部で生成された映像データについての評価値は計算しない。一方、計算した評価値が既定のしきい値未満である場合、他の撮像部で生成された映像データについての評価値を計算する。詳しくは図５のフローチャートを用いて説明する。

なお、例えば画像処理装置２００で採用される画像処理が、撮像部の頻繁な切り替えを容認する場合には、選択部１５ｂは、例えば一定周期（毎分、１０分ごと、または、１時間ごとなど）で各々の撮像部の評価値を計算するようにしても構わない。これにより、環境（天候など）の変化に柔軟に対応することができる。

切替制御部１５ｃおよびスイッチ部１０は、選択部１５ｂにより別の撮像部が選択されるたびに、選択された撮像部からの映像データを互いのフレーム位相を同期させて切り替え出力する。つまり切替制御部１５ｃおよびスイッチ部１０は、切替部として機能する。時間の経過とともに撮影環境が大きく変化したり、画像処理装置２００の要求が変化したりすると、現在使用されている撮像部とは別の撮像部が選択される。そうすると切替制御部１５ｃは、内部バス２３の同期信号に従って、それまで選択されていた撮像部からの映像データのフレーム位相と、新しく選択された撮像部からの映像データのフレーム位相とを同期させる。具体的には、切替前の映像データのフレームの開始シンボルの位相と、切替後の映像データのフレームの開始シンボルの位相とを外部からの同期信号に合わせこむことで、それぞれの映像データのフレーム位相を同期させる。フレーム同期が完了すると、切替制御部１５ｃは、スイッチ部１０を切り替えて、選択された撮像部からの映像データを同期処理部２０に送る。

特徴データ生成部１５ｄは、選択部１５ｂで選択された撮像部からの映像データの特徴データを生成する。具体的には、特徴データ生成部１５ｄは、例えば、画像分析部１５ａで生成された特徴量、およびセンサ部１７から転送されるセンサ情報、位置情報、および時刻情報などに基づき、選択部１５ｂで選択された撮像部からの映像データの特徴データを生成する。生成された特徴データはメモリ１６に一時的に記憶され（特徴データ１６ｂ）、同期処理部２０に送られる。なお、特徴データ生成部１５ｄは、切替制御部１５ｃにより接続が切り替えられた後、画像処理装置２００の画像処理が追従するのに十分な期間が経過すると、特徴データの生成を停止するようにしても構わない。

図３は、画像処理装置２００の一例を示すブロック図である。画像処理装置２００は、ＣＰＵあるいはＭＰＵ等のプロセッサ２５０を備えるコンピュータである。画像処理装置２００は、ＲＯＭ（Read Only Memory）２２０、ＲＡＭ（Random Access Memory）２３０、ハードディスクドライブ（Hard Disk Drive：ＨＤＤ）２４０、光学メディアドライブ２６０、通信部２７０を備える。さらに、画像処理向けの機能を強化したプロセッサであるＧＰＵ（Graphics Processing Unit）２１０を備えてもよい。ＧＰＵは、積和演算、畳み込み演算、３Ｄ（三次元）再構成などの演算処理を高速で実行することができる。

ＲＯＭ２２０は、ＢＩＯＳ（Basic Input Output System）やＵＥＦＩ（Unified Extensible Firmware Interface）などの基本プログラム、および各種の設定データ等を記憶する。ＲＡＭ２３０は、ＨＤＤ２４０からロードされたプログラムやデータを一時的に記憶する。ＨＤＤ２４０は、プロセッサ２５０により実行されるプログラム２４０ａ、画像処理データ２４０ｂ、および、特徴データ２４０ｃを記憶する。

光学メディアドライブ２６０は、ＣＤ−ＲＯＭ２８０などの記録媒体に記録されたディジタルデータを読み取る。画像処理装置２００で実行される各種プログラムは、例えばＣＤ−ＲＯＭ２８０に記録されて頒布される。このＣＤ−ＲＯＭ２８０に格納されたプログラムは光学メディアドライブ２６０により読み取られ、ＨＤＤ２４０にインストールされる。通信部２７０を介してクラウド１００から最新のプログラムをダウンロードして、既にインストールされているプログラムをアップデートすることもできる。

通信部２７０は、クラウド１００に接続されて、カメラＣ１〜Ｃｎ、およびクラウド１００の他のサーバやデータベースなどと通信する。画像処理装置２００で実行される各種プログラムは、例えば通信部２７０を介してクラウド１００からダウンロードされ、ＨＤＤ２４０にインストールされても構わない。

通信部２７０は、受信部２７０ａを備える。受信部２７０ａは、映像データを含む伝送ストリームをカメラＣ１〜Ｃｎからクラウド１００の通信ネットワーク経由で受信する。

プロセッサ２５０は、ＯＳ（Operating System）および各種のプログラムを実行する。

また、プロセッサ２５０は、実施形態に係る処理機能として画像処理部２５０ａ、分離部２５０ｂ、復号部２５０ｃ、補償部２５０ｄ、および通知部２５０ｅを備える。画像処理部２５０ａ、分離部２５０ｂ、復号部２５０ｃ、補償部２５０ｄ、および通知部２５０ｅは、ＨＤＤ２４０に記憶されたプログラム２４０ａがプロセッサ２５０のレジスタにロードされ、当該プログラムの進行に伴ってプロセッサ２５０が演算処理を実行することで生成されるプロセスとして、理解され得る。つまりプログラム２４０ａは、画像処理プログラム、分離プログラム、復号プログラム、補償プログラム、および、通知プログラム、を含む。

画像処理部２５０ａは、受信した伝送ストリームに含まれる映像データ、または、この映像データから復号された映像を画像処理し、点群データ、および人物追跡データなどの画像処理データを得る。この画像処理データは、ＨＤＤ２４０に画像処理データ２４０ｂとして記憶される。

分離部２５０ｂは、受信した伝送ストリームから、上記映像データと、特徴データとを分離する。分離された特徴データは、ＨＤＤ２４０に特徴データ２４０ｃとして記憶される。

復号部２５０ｃは、分離された映像データを復号して映像を再生する。

補償部２５０ｄは、分離された特徴データに基づいて、再生された映像の連続性を補償する。つまり補償部２５０ｄは、特徴データ（センサ情報／パラメータ情報）に基づいて、撮像部の切替の前後の映像が徐々に変化するように、各画素の色調変換処理などを行う。例えば、補償部２５０ｄは、切り替え前に１０秒間、切り替え後に１０秒間の計２０秒の間に、受信した映像の各画素の色調が徐々に変化するように処理する。このような処理は、モーフィングと称して知られている。映像を変化させる期間は、撮像部の切替に対して、画像処理装置２００の画像処理機能が追従するために必要な期間以上に長くするのが好ましい。

補償部２５０ｄによる処理を経た画像フレームは画像処理部２５０ａに渡される。画像処理部２５０ａは、受信した映像データが映像データの切替部分を含んでいても、補償された映像に対して画像処理を行うことができる。

通知部２５０ｅは、画像処理部２５０ａの画像処理に関する情報を含むメッセージを、カメラＣ１〜Ｃｎに通知する。例えば画像処理方式の種別や、映像のコントラストを優先するか、または、映像の信号対雑音比を優先するか、等を示す情報が、メッセージによりカメラＣ１〜Ｃｎへ通知される。

図４は、カメラＣ１と画像処理装置２００との間で授受される情報の一例を示す図である。カメラＣ１は、選択している撮像部で生成される映像データ、およびこの映像データについての特徴データを伝送ストリームに多重して送る。画像処理装置２００は、必要に応じて画像処理に関するメッセージを、クラウド１００経由でカメラＣ１にメッセージを送る。メッセージを受信したカメラＣ１は、メッセージに記載された情報に相応する撮像部を撮像部１ａ〜１ｄから選択する。そして、カメラＣ１は、選択した撮像部で生成される映像データ、およびこの映像データについての特徴データを伝送ストリームに多重して送る。次に、上記構成を基礎として本発明の作用について説明する。

図５は、実施形態におけるカメラＣ１〜Ｃｎの処理手順の一例を示すフローチャートである。ここではカメラＣ１を主体として説明するが、カメラＣ２〜Ｃｎも同様に動作する。

図５において、カメラＣ１は、画像処理装置２００からのメッセージの通知を待ち受ける（ステップＳ１）。メッセージが受信されれば（ステップＳ１でＹｅｓ）、カメラＣ１はその内容を解読する（ステップＳ２）。ここで受信されるメッセージには、例えば画像処理方式の種別、又は優先する映像パラメータ（コントラスト値、および信号対雑音比など）を示す情報などが含まれている。カメラＣ１は、解読により認識される、計算すべき特徴量が、現在計算対象となっている特徴量から変更を要するか否かを判断する（ステップＳ３）。

計算すべき特徴量に変更が無ければ（ステップＳ３でＮｏ）、処理手順はステップＳ１に戻り、カメラＣ１は画像処理装置２００からのメッセージの通知を待つ。ステップＳ３で特徴量に変更有りと判定されれば（Ｙｅｓ）、処理手順はステップＳ６に至る。

一方、ステップＳ１でメッセージが受信されなければ（Ｎｏ）、カメラＣ１は、その時点で選択されている撮像部（現在の撮像部）からの映像データについて、現在計算対象となっている特徴量を計算し（ステップＳ４）、この特徴量に基づく評価値を計算する（ステップＳ１４）。

次に、カメラＣ１は、計算された評価値と予め定めされたしきい値とを比較する（ステップＳ５）。評価値がしきい値以上であれば（Ｙｅｓ）、現在の撮像部の評価値は十分に高いので撮像部の切替はスキップされ、処理手順はステップＳ１に戻る。ステップＳ５で評価値がしきい値未満であれば（Ｎｏ）、カメラＣ１は、現在計算対象となっている特徴量を、撮像部１a〜１ｍで生成される映像データそれぞれについて計算する（ステップＳ６）。

ここで、処理手順がステップＳ５からステップＳ６に至った場合には、計算すべき特徴量の変更を画像処理装置２００から要求されなかったことになる。一方、ステップＳ３からステップＳ６に至った場合には、画像処理装置２００から、計算すべき特徴量の変更を要求されたことになる。

次に、カメラＣ１は、計算した特徴量に基づいて評価値を計算する（ステップＳ７）。この評価値に基づいて、カメラＣ１は、撮像部１a〜１ｍのうち評価値の最も高い撮像部を選択する（ステップＳ８）。現在の撮像部と今回選択した撮像部とが同じなら（ステップＳ９でＮｏ）、撮像部の切替はスキップされて処理手順はステップＳ１に戻る。

現在の撮像部と今回選択した撮像部とが異なれば、カメラＣ１は撮像部の切り替えが必要と判定し（ステップＳ９でＹｅｓ）、切り替え先の撮像部の映像に関する特徴データの生成の生成を開始する（ステップＳ１０）。次いでカメラＣ１は、新たに選択された撮像部と、現在選択中の撮像部との間で映像信号のフレームの同期をとり、撮像部の切り替えを実行する（ステップＳ１１）。そして、フレーム切替の時点を含む所定期間が経過すると、特徴データの生成は終了する（ステップＳ７）。その間に生成された特徴データは映像データとともに伝送ストリームに同期多重され（ステップＳ１３）、画像処理装置２００に送信される。

図６は、伝送ストリームのＴＳ基本体系の例を示す図である。このＴＳ基本体系は、ＭＰＥＧ−２ Ｓｙｓｔｅｍｓに準拠するもので、ＴＳ（Transport Stream）、ＰＡＴ（Program Association Table）、ＰＭＴ（Program Map Table）の階層構造を有する。ＰＭＴの配下には、映像（Video）、音声（Audio）、ＰＣＲ（Program Clock Reference）等のＰＥＳ（Packetized Elementary Stream）パケットが配置される。映像パケットのヘッダにはＰＴＳ（Presentation Time Stamp）／ＤＴＳ（Decoding Time Stamp）が挿入され、音声パケットのヘッダにはＰＴＳが挿入される。

図７は、同期多重された特徴データを含む伝送ストリームの一例を示す図である。カメラＣ１の多重化部１９は、図７に示されるように、ＴＳ基本体系におけるいずれかの位置（ＴＳ配下、ＰＡＴ配下またはＰＭＴ配下）に特徴データパラメータを配置することで、特徴データを多重する。

また、多重化部１９は、ヘッダにＰＴＳ／ＤＴＳを付加した特徴データエレメンタリーを、ＰＭＴの配下に配置することで、特徴データを多重するようにしてもよい。特徴データパラメータは、特徴データエレメンタリーに含まれることになる。特徴データエレメンタリーに特徴データを格納する場合、ＩＴＵ−Ｔ勧告Ｈ．２２２．に従うＰＥＳヘッダオプションを利用しても構わない。すなわち、例えばストリームタイプを表す識別子（補助ストリーム（0xF9）、メタデータストリーム（0xFC）、及び拡張ストリームＩＤ（0xFD））、エレメンタリーＰＩＤを表す識別子、又は未定義（0xFC)の識別子等を、特徴データエレメンタリーを含むＰＭＴのヘッダを挿入するとよい。

図８は、カメラＣ１で生成される特徴データのパラメータの具体例を表す図である。図８において、特徴データパラメータは、絶対時刻情報、カメラ方向情報、およびズーム倍率情報などのパラメータ情報、位置情報、センサ情報、および特徴量などの項目を含む。センサ情報は、例えば、温度情報、湿度情報、ディジタルタコメータ情報（車載カメラなど）、構造物の点群データ等を含む。

以上述べたように実施形態では、複数の撮像部を有するカメラにおいて、どの撮像部からの映像が画像処理装置２００の画像処理に最も適しているかを、カメラの側で判断する。すなわちカメラにおいて、各撮像部からの映像について画像処理装置２００の画像処理と同様の処理を実施し、得点（評価値）の最も高い撮像部を選択する。

また、実施形態では、複数の撮像部を有するカメラの映像を切り替える際に、画像処理装置２００での画像処理の不連続を解消するのに十分な期間にわたる特徴量を、カメラの側で算出し、映像データに同期多重して画像処理装置２００に伝送するようにしている。

既存の遠隔監視システムでは、映像（撮像部）間の色調差異が大きいと、カメラの撮像部が切り替わるごとに、図９（ａ）に示されるように特徴データが不連続となり、画像処理装置２００側で画像処理がリセットされる場合があった。特に異種のカメラを用いたハイブリッドカメラシステムでは、その傾向が大きい。

これに対し実施形態では、映像ストリームを生成するカメラにおいて、画像処理装置２００の画像処理に最も適した映像を生成する撮像部を、選択部１５ｂで選択する。選択された撮像部が変化するとその前後の撮像部間で映像データのフレームを同期させ、映像データを切り替える。そして、映像データとその特徴データ（センサ情報やパラメータ情報、判定結果など）とを、伝送フレームに同期多重して画像処理装置２００に送る。

このようにしたので、図９（ｂ）に示されるように、複数カメラの同期切替の際に、カメラから特徴データをクラウド経由で画像処理装置２００に渡すことができる。これにより、特徴データは切れ目なく画像処理装置２００に伝送され、画像処理装置２００において特徴データの連続性を補償することができる。

さらに、補償部２５０ｄは、クラウド経由で取得した特徴データに基づいて、この特徴データと同期して送られた映像の連続性を補償する。つまり補償部２５０ｄは、画像処理の際に、撮像部の切替の前後の映像の連続性を、特徴データを用いて補償する。これにより画像処理装置２００は、補償された映像データに基づいて、画像処理を実施することができる。

このように、画像処理装置２００に最も適したカメラを選択し、映像を切り替えることができる。しかも、映像データと、この映像データに伴う特徴データとを同じ伝送ストリーム同期多重するようにしているので、映像と、その分析結果である特徴データとの時系列がずれることもない。従って、画像処理装置２００における画像処理の連続性を保つことが可能になる。このことから、複数のカメラ映像を単一の伝送路で共有するという経済性と、受信側での画像処理を連続的に行ないながら、処理精度を維持することとを両立することができる。

すなわち、実施形態によれば、映像切替の前後で画像処理の連続性を保つことの可能なスマートカメラシステムと、このシステムで使用可能なスマートカメラ、画像処理装置、データ送信方法およびプログラムを提供することが可能となる。

（多視点カメラシステムへの適用例）
図１０は、多視点カメラシステムの一例を示す図である。実施形態に係る議論は多視点カメラシステムについても成立する。図１０に示されるケースでは、例えば選択部１５ｂ、切替制御部１５ｃの機能をクラウド１００のサービスとして実装すればよい。

（アレイカメラシステムへの適用例）
図１１は、アレイ状に配列された複数のカメラを備える、いわゆるアレイカメラシステムの一例を示す図である。例えばカメラＣ１を可視光カメラとし、カメラＣ２を赤外線カメラとし、両カメラＣ１，Ｃ２で共通の被写体を観察するアレイカメラシステムがある。この種のシステムにおいて、図２に示される選択部１５ｂ、切替制御部１５ｃおよびスイッチ部１０を画像処理装置２００に実装することで、上記実施形態と同様の議論を行うことができる。つまり、画像処理装置２００の画像処理に応じてカメラＣ１，Ｃ２を切り替える際、画像処理に必要な特徴データを映像データに同期多重して伝送するようにすれば、画像処理装置２００での画像処理の連続性を補償することができる。

なお、この発明は上記実施形態に限定されるものではない。例えば、特徴データを構成する情報は図８に示されるものが唯一ではない。つまり特徴データに絶対時刻情報、カメラ方向情報、ズーム倍率情報、位置情報、センサ情報、および、特徴量の全てを含める必要は無い。また、例えばセンサ情報に温度情報、湿度情報、振動情報、加速度情報、雨量情報、水位情報、速度情報、ディジタルタコメータ情報、および点群データ、あるいは、撮像部のデバイスタイプ、画素数、フレームレート、感度、レンズの焦点距離、光量、および画角などの情報の全てを含める必要も無い。伝送ストリームに多重される特徴データに含める情報は、システム要件に応じて決定されればよい。

また、複数のカメラを備えるマルチスペクトルカメラに限らず、１つの撮像部に異なる波長カットフィルタを組み合わせて、単眼型のカメラにより複数の映像を得る形式のカメラについても上記と同じ議論が成り立つ。

また、実施形態では、撮像部の切替に際して特徴データを生成し、映像ストリームに多重するようにした。このほか、特徴データを常時計算し、必要な場合（撮像部の切替が生じたとき）に、映像ストリームに多重するようにしても良い。

また、実施形態において、画像分析部１５ａが撮像部１a〜１ｍごとの映像を分析して、映像の特徴量を撮像部１a〜１ｍごとに生成することを述べた。映像に対して定義される特徴量だけでなく、画像に対して計算される特徴量もある。よって画像分析部１５ａにより画像の特徴量を算出し、画像の特徴量に基づいて種々の処理を実行するように構成することも可能である。

さらに、画像分析部１５ａの機能を、撮像部１a〜１ｍにそれぞれ個別に実装しても良い。このようにすれば、撮影した映像の映像データと当該映像の特徴量とを、撮像部１a〜１ｍからまとめて出力できる。選択部は、この映像データに付随する特徴量を用いて評価値を得て、撮像部１a〜１ｍのいずれかを選択すればよい。このように分析の処理を撮像部１a〜１ｍに移すことで、処理回路１５のリソースを節約することができる。

コンピュータに関連して用いられる「プロセッサ」という用語は、例えばＣＰＵ、ＭＰＵ、ＧＰＵ、或いは、ＡＳＩＣ（Application Specific Integrated Circuit）、ＳＰＬＤ（Simple Programmable Logic Device）、ＣＰＬＤ（Complex Programmable Logic Device）、またはＦＰＧＡ等の回路と理解され得る。

プロセッサは、メモリに記憶されたプログラムを読み出し実行することで、プログラムに基づく特有の機能を実現する。メモリに代えて、プロセッサの回路内にプログラムを直接組み込むよう構成することも可能である。このケースでは、プロセッサは回路内に組み込まれたプログラムを読み出し実行することでその機能を実現する。

本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…撮像部、１ａ〜１ｍ…撮像部、１０…スイッチ部、１１…レンズ、１２…絞り機構、１３…画像センサ、１４…符号化部、１５…処理回路、１５ａ…画像分析部、１５ｂ…選択部、１５ｃ…切替制御部、１５ｄ…特徴データ生成部、１６…メモリ、１６ａ…プログラム、１６ｂ…特徴データ、１７…センサ部、１９…多重化部（ＭＵＸ）、２０…同期処理部、２１…送信部、２２…受信部、２３…内部バス、２４…データバス、４２…ＲＯＭ、１００…クラウド、１０１…中継ネットワーク、２００…画像処理装置、２１０…ＧＰＵ、２２０…ＲＯＭ、２３０…ＲＡＭ、２４０…ＨＤＤ、２４０ａ…プログラム、２４０ｂ…画像処理データ、２４０ｃ…特徴データ、２５０…プロセッサ、２５０ａ…画像処理部、２５０ｂ…分離部、２５０ｃ…復号部、２５０ｄ…補償部、２５０ｅ…通知部、２６０…光学メディアドライブ、２８０…ＣＤ−ＲＯＭ、２７０…通信部、２７０ａ…受信部、Ｃ１〜Ｃｎ…カメラ、Ｐ１…セルラフォン、Ｓ１…エッジサーバ、Ｓ２…エッジサーバ、Ｖ１…車両。

Claims (23)

1. 画像処理装置と通信可能なスマートカメラにおいて、
   それぞれ映像データを生成する複数の撮像部と、
   前記複数の撮像部から、前記画像処理装置における画像処理に相応する映像データを生成する撮像部を選択する選択部と、
   前記選択部により別の撮像部が選択されるたびに、当該選択された撮像部からの前記映像データを互いのフレーム位相を同期させて切り替え出力する切替部と、
   前記切り替え出力の時点を含む所定期間にわたる前記選択された撮像部からの映像の特徴データを生成する特徴データ生成部と、
   前記切り替え出力された映像データと前記特徴データとを同期させる同期処理部と、
   前記同期された映像データと特徴データとを伝送ストリームに多重する多重化部と、
   前記伝送ストリームを前記画像処理装置に送信する送信部とを具備する、
   スマートカメラ。
2. 前記撮像部ごとの映像を分析して当該撮像部ごとの映像の特徴量を生成する画像分析部をさらに具備し、
   前記選択部は、前記撮像部ごとの映像の特徴量に基づいて、前記画像処理装置における画像処理に相応する映像データを生成する撮像部を選択する、請求項１に記載のスマートカメラ。
3. 前記選択部は、前記画像処理装置における画像処理に相応する度合いを示す評価値を、前記特徴量に基づいて前記撮像部ごとに算出し、
   前記評価値に基づいて、前記画像処理装置における画像処理に相応する映像データを生成する撮像部を選択する、請求項２に記載のスマートカメラ。
4. 前記選択部は、選択されている撮像部の評価値が既定のしきい値未満であれば、当該選択されている撮像部とは異なる撮像部を選択する、請求項３に記載のスマートカメラ。
5. 前記画像処理に関する情報を含むメッセージを前記画像処理装置から受信する受信部をさらに具備し、
   前記選択部は、前記メッセージに含まれる情報に従って前記撮像部を選択する、請求項１に記載のスマートカメラ。
6. 前記複数の撮像部は、それぞれ撮影波長帯を個別に割り当てられる、請求項１乃至５のいずれかに記載のスマートカメラ。
7. 前記複数の撮像部は、赤外線カメラと、可視光カメラとを含む、請求項６に記載のスマートカメラ。
8. 前記特徴データは、前記撮像部のセンサ情報、および、前記映像のパラメータ情報の少なくともいずれかを含む、請求項１乃至７のいずれかに記載のスマートカメラ。
9. 前記センサ情報は、デバイスタイプ、画素数、フレームレート、感度、レンズの焦点距離、光量、および画角の少なくともいずれかを含む、請求項８に記載のスマートカメラ。
10. 前記パラメータ情報は、前記映像の色調、および輝度ヒストグラムの少なくともいずれかを含む、請求項８に記載のスマートカメラ。
11. 複数の撮像部を有するスマートカメラと通信可能な画像処理装置において、
    映像データを含む伝送ストリームを前記スマートカメラから受信する受信部と、
    前記受信された伝送ストリームから、前記映像データと、当該映像データに同期された特徴データとを分離する分離部と、
    前記映像データを復号して映像を再生する復号部と、
    前記分離された特徴データに基づいて、前記再生された映像の連続性を補償する補償部と、
    前記補償された映像に基づいて画像処理を行う画像処理部とを具備する、画像処理装置。
12. 前記画像処理に関する情報を含むメッセージを前記スマートカメラに通知する通知部をさらに具備する、請求項１１に記載の画像処理装置。
13. 前記メッセージは、前記映像のコントラストを優先することを示す情報、または、前記映像の信号対雑音比を優先することを示す情報のいずれかを含む、請求項１２に記載の画像処理装置。
14. スマートカメラと、通信ネットワークを介して前記スマートカメラと通信可能に接続される画像処理装置とを具備し、
    前記スマートカメラは、
    それぞれ映像データを生成する複数の撮像部と、
    前記画像処理装置における画像処理に相応する映像データを生成する撮像部を選択する選択部と、
    前記選択部により別の撮像部が選択されるたびに、当該選択された撮像部からの前記映像データを互いのフレーム位相を同期させて切り替え出力する切替部と、
    前記切り替え出力の時点を含む所定期間にわたる前記選択された撮像部からの映像の特徴データを生成する特徴データ生成部と、
    前記切り替え出力された映像データと前記特徴データとを同期させる同期処理部と、
    前記同期された映像データと特徴データとを伝送ストリームに多重する多重化部と、
    前記伝送ストリームを前記画像処理装置に送信する送信部とを備え、
    前記画像処理装置は、
    映像データを含む伝送ストリームを前記スマートカメラから受信する受信部と、
    前記受信された伝送ストリームから、前記映像データと、当該映像データに同期された特徴データとを分離する分離部と、
    前記映像データを復号して映像を再生する復号部と、
    前記分離された特徴データに基づいて、前記再生された映像の連続性を補償する補償部と、
    前記補償された映像に基づいて画像処理を行う画像処理部とを備える、スマートカメラシステム。
15. それぞれ映像データを生成する複数の撮像部およびプロセッサを具備するスマートカメラに適用可能なデータ送信方法であって、
    前記プロセッサが、画像処理装置における画像処理に相応する映像データを生成する撮像部を選択する過程と、
    別の撮像部が選択されるたびに、前記プロセッサが、当該選択された撮像部からの前記映像データを互いのフレーム位相を同期させて切り替え出力する過程と、
    前記プロセッサが、前記切り替え出力の時点を含む所定期間にわたる前記選択された撮像部からの映像の特徴データを生成する過程と、
    前記プロセッサが、前記切り替え出力された映像データと前記特徴データとを同期させる過程と、
    前記プロセッサが、前記同期された映像データと特徴データとを伝送ストリームに多重する過程と、
    前記プロセッサが、前記伝送ストリームを前記画像処理装置に送信する過程とを具備する、データ送信方法。
16. さらに、前記プロセッサが、前記撮像部ごとの映像を分析して当該撮像部ごとの映像の特徴量を生成する過程を具備し、
    前記選択する過程において、前記プロセッサは、前記撮像部ごとの映像の特徴量に基づいて、前記画像処理装置における画像処理に相応する映像データを生成する撮像部を選択する、請求項１５に記載のデータ送信方法。
17. 前記選択する過程は、
    前記プロセッサが、前記画像処理装置における画像処理に相応する度合いを示す評価値を、前記特徴量に基づいて前記撮像部ごとに算出する過程と、
    前記プロセッサが、前記評価値に基づいて、前記画像処理装置における画像処理に相応する映像データを生成する撮像部を選択する過程とを含む、請求項１６に記載のデータ送信方法。
18. 前記選択する過程において、前記プロセッサは、選択されている撮像部の評価値が既定のしきい値未満であれば、当該選択されている撮像部とは異なる撮像部を選択する、請求項１７に記載のデータ送信方法。
19. 前記プロセッサが、前記画像処理に関する情報を含むメッセージを前記画像処理装置から受信する過程と、
    前記プロセッサが、前記メッセージに含まれる情報に従って前記撮像部を選択する過程とをさらに具備する、請求項１５に記載のデータ送信方法。
20. 前記特徴データは、前記撮像部のセンサ情報、および、前記映像のパラメータ情報の少なくともいずれかを含む、請求項１５乃至１９のいずれかに記載のデータ送信方法。
21. 前記センサ情報は、デバイスタイプ、画素数、フレームレート、感度、レンズの焦点距離、光量、および画角の少なくともいずれかを含む、請求項２０に記載のデータ送信方法。
22. 前記パラメータ情報は、前記映像の色調、および輝度ヒストグラムの少なくともいずれかを含む、請求項２０に記載のデータ送信方法。
23. 請求項１５乃至２２のいずれか１項に記載の方法をコンピュータに実行させるための命令を含む、プログラム。