JPWO2020188794A1 - 映像システム、撮像装置、および映像処理装置 - Google Patents

Abstract

撮像装置と映像処理装置とを備えた映像システムにおいて、機械学習による映像認識を行うのに適したシステム構成を提供する。
本発明の映像システムの一つは、撮像装置と映像処理装置とを備える。撮像装置は、撮像により映像情報を生成する撮像部と、映像情報の認識処理を行う複数層のニューラルネットワーク(Neural Networks)の入力層から途中の所定の隠れ層（以下「中間隠れ層」という）までを備える前側ＮＮ部と、前側ＮＮ部の中間隠れ層の出力(以下「中間特徴量」という)を送出する撮像側制御部とを備える。映像処理装置は、撮像側制御部が送出する中間特徴量を取得する映像処理側制御部と、ニューラルネットワークの中間隠れ層以降から出力層までを備え、映像処理側制御部が取得した中間特徴量について、残りの認識処理を行う後側ＮＮ部とを備える。

Description

本発明は、映像システム、撮像装置、および映像処理装置に関する。

従来、映像認識・識別の分野において、撮像装置が出力した映像情報を、コンピュータやクラウドにおいて処理する構成が知られている。

また近年では、コンピュータやクラウドにおいてＤＮＮ（Deep Neural Networks）や、ＣＮＮ（Convolution Neural Networks）などの機械学習の技法を用いて、撮像装置が出力した映像情報に対して、映像認識・識別などを行うことが知られている。

特許文献１の段落０１０４〜段落０１０８および図１４には、撮像装置（カメラ）が出力した映像を、カメラに外部接続された映像処理装置である『第一階層機械学習・認識装置ＤＮＮ１、および第二階層機械学習・認識装置ＤＮＮ２』という２つのＤＮＮにより処理する旨が開示される。

国際公開第２０１７／１８７５１６号

特許文献１の技術では、「撮像装置」から得られる映像を、２つの「第一階層機械学習・認識装置ＤＮＮ１」及び「第二階層機械学習・認識装置ＤＮＮ２」で処理する。その性質上、端末側の「第一階層機械学習・認識装置ＤＮＮ１」のみでも一定以上の精度が得られるＤＮＮを構築する必要があり、またその中間層の出力は「第二階層機械学習・認識装置ＤＮＮ２」でより深く学習するための情報を表現していなければならず、その分だけ構成が複雑かつ大規模になる。

また、「第一階層機械学習・認識装置ＤＮＮ１」の任意に決定した中間層の出力を「第二階層機械学習・認識装置ＤＮＮ２」の入力とするため、「第二階層機械学習・認識装置ＤＮＮ２」の学習後にその中間層の位置を変更することは容易ではなく、周囲環境や外部要因により構成を変更する必要が生じた際にはＤＮＮの再学習が必要となる。

そこで、本発明は、撮像装置と映像処理装置とを備えた映像システムにおいて、機械学習による映像認識を行うのにより適したシステム構成を提供することを目的とする。

上記課題を解決するために、代表的な本発明の映像システムの一つは、撮像装置と映像処理装置とを備える。

撮像装置は、撮像により映像情報を生成する撮像部と、映像情報の認識処理を行う複数層のニューラルネットワークの入力層から途中の所定の隠れ層（以下「中間隠れ層」という）までを備える前側ＮＮ部と、前側ＮＮ部の中間隠れ層の出力(以下「中間特徴量」という)を送出する撮像側制御部とを備える。

映像処理装置は、撮像側制御部が送出する中間特徴量を取得する映像処理側制御部と、ニューラルネットワークの中間隠れ層以降から出力層までを備え、映像処理側制御部が取得した中間特徴量について、残りの認識処理を行う後側ＮＮ部とを備える。

本発明では、撮像装置と映像処理装置とを備えた映像システムにおいて、機械学習による映像認識を行うのに適したシステム構成が得られる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

図１は、実施例１における映像システムの構成を説明するブロック図である。 図２は、実施例１における撮像装置２００の動作を説明する流れ図である。 図３は、実施例１における映像処理装置３００の動作を説明する流れ図である。 図４は、実施例２の映像システムの構成を説明するブロック図である。 図５は、実施例２における全体ＮＮモデルＭを示す図である。 図６は、実施例２におけるＮＮ学習部３１１の動作を説明する流れ図である。 図７は、実施例２におけるノード配分部３１４の動作を説明する流れ図である。 図８は、実施例３における検査システム（映像システムを含む）を示す図である。

以下、図面に基づいて実施の形態を説明する。

（実施例１の構成）
図１は、実施例１における映像システムの構成を説明するブロック図である。
同図において、映像システム１００は、撮像装置２００、および映像処理装置３００を備える。

撮像装置２００は、検査や監視の対象などを撮像するための撮像素子２１０と、撮像素子２１０の出力に対してガンマ補正、色補正、輪郭補正、白傷補正などの映像処理を施して映像情報を生成する映像処理部２１１と、映像情報を処理して中間特徴量を出力する前側ＮＮ部２２０と、映像情報および中間特徴量を処理して映像処理装置３００に送信する情報を生成する撮像側制御部２３０とを備える。

前側ＮＮ部２２０は、映像情報の認識処理を行う複数層のニューラルネットワークの入力層Ｌ１、一層目の隠れ層ＨＡ１から途中の所定の隠れ層（以下「中間隠れ層ＨＡｘ」という）までを備える。この中間隠れ層ＨＡｘは、ニューラルネットワークの途中段階の出力として、複数ノードの値を中間特徴量として出力する。この前側ＮＮ部２２０は、例えばＦＰＧＡ（Field-Programmable Gate Array）やＰＬＤ(Programmable Logic Device）などにより構成される。

撮像側制御部２３０は、中間特徴量に応じた異常度を出力する識別器２３１と、異常度に応じて映像処理装置３００に送出するデータ（映像情報、中間特徴量、異常度など）を選定する送出データ選定部２３２とを備える。

識別器２３１には、例えばマハラノビス距離による統計的な異常値の検出手法や、１〜少数クラスのサポートベクターマシンによる識別器など、公知な識別手法が採用される。
ただし、識別器２３１は、撮像装置２００に搭載されるため、撮像装置２００の処理能力に見合った計算量の識別器（学習方式）とすることが好ましく、そのために次元圧縮手法として主成分分析やフィッシャーの判別分析などを用いてもよい。

また、前側ＮＮ部２２０の層数が後述するノード配分により変更される場合を考慮して、中間隠れ層ＨＡｘとなる可能性がある隠れ層の特徴量ごとに、異常度を出力可能な識別処理の条件パラメータを差し替え可能に準備しておくことが好ましい。

一方、映像処理装置３００は、撮像装置２００から送出されるデータを取得する映像処理側制御部３１０と、中間特徴量を処理して認識結果を出力する後側ＮＮ部３２０と、映像処理装置３００内での認識処理の結果を統合して外部に出力する認識統合処理部３３０とを備える。

後側ＮＮ部３２０は、映像情報の認識処理を行う複数層のニューラルネットワークの中間隠れ層ＨＡｘの以降として、中間特徴量について続きの認識処理を行う１層以上の隠れ層ＨＢ１〜ＨＢｎと、処理された認識結果を出力する出力層Ｌ２とを備える。

このような映像処理装置３００は、ハードウェアとしてＣＰＵ（Central Processing Unit）やメモリなどを備えたコンピュータシステムとして構成される。このハードウェアがプログラムを実行することにより、映像処理装置３００の各種機能が実現する。このハードウェアの一部または全部については、専用の装置、汎用の機械学習マシン、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ、ＧＰＵ（Graphics Processing Unit）、ＰＬＤなどで代替してもよい。また、ハードウェアの一部または全部をネットワーク上のサーバに集中または分散してクラウド配置することにより、複数の映像システムがネットワークを介して共同使用してもよい。

（実施例１における撮像装置２００の動作）
図２は、実施例１における撮像装置２００の動作を説明する流れ図である。
以下、図２に示すステップ番号に沿って説明する。

ステップＳ１０１： 撮像装置２００は、映像処理装置３００との間で通信を行い、通信連携の設定や撮影動作やその他の動作について初期処理を行う。例えば、映像処理装置３００から撮像装置２００に対しては、監視モニタリングシステムのように映像情報や認識結果を常時必要とする用途（常時モニタリング）か否かなどの初期設定が行われる。

ステップＳ１０２： 撮像素子２１０は、所定のフレームレートで被写界を撮像する。映像処理部２１１は、撮像素子２１０の撮像出力を逐次に映像処理し、認識対象を映像として含む可能性がある映像情報を出力する。

ステップＳ１０３： 映像処理部２１１から出力された映像情報は、前側ＮＮ部２２０の入力層L１に逐次入力される。

ステップＳ１０４： 前側ＮＮ部２２０の内部では、隠れ層ＨＡ１〜中間隠れ層ＨＡxからなるニューラルネットワークによる処理が行われる。ここで、各層のノードごとには、学習処理（後述）により設定された重み係数列Ｗとバイアスbが設定される。これら設定を用いて前層のノード出力に対する積和演算を行う。そして、その積和演算値に対する活性化関数による非線形処理が順次に行われる。このニューラルネットワークによる処理の結果、前側ＮＮ部２２０の中間隠れ層ＨＡxには、映像情報について中間的な特徴検出の結果として、複数ノードの値からなる中間特徴量が生成される。

ステップＳ１０５： 中間特徴量は識別器２３１に入力され、中間特徴量（さらにその元である映像情報）の正常・異常が識別される。識別器２３１は、識別結果に基づく異常度（異常の度合を示す尤度）を出力する。

ステップＳ１０６： 送出データ選定部２３２には、映像情報、中間特徴量、および異常度が入力される。送出データ選定部２３２は、上述した常時モニタリングの設定（ステップＳ１０１参照）について判定する。ここで、常時モニタリングがオン設定の場合、送出データ選定部２３２は、映像情報および中間特徴量を映像処理装置３００に常時送出するため、ステップＳ１０８に動作を移行する。一方、常時モニタリングがオフ設定の場合、送出データ選定部２３２は、映像情報および中間特徴量を映像処理装置３００に異常時のみ送出するため、ステップＳ１０７に動作を移行する。

ステップＳ１０７： 送出データ選定部２３２は、識別器２３１の異常度に基づいて、異常ありか、異常なしかを判定する。ここで、中間特徴量に異常があれば、送出データ選定部２３２は、ステップＳ１０８に動作を移行する。一方、中間特徴量に異常がなければ、送出データ選定部２３２は、ステップＳ１０２に動作を戻し、送出データ選定部２３２は、中間特徴量と映像情報を映像処理装置３００に出力しない。

ステップＳ１０８： 送出データ選定部２３２は、中間特徴量、およびその元である映像情報を映像処理装置３００に送出する。なお、送出データ選定部２３２は異常度を併せて映像処理装置３００に送出してもよい。以降、撮像装置２００では、ステップＳ１０２〜S１０８に示した一連の動作を繰り返す。

（実施例１における映像処理装置３００の動作）
図３は、実施例１における映像処理装置３００の動作を説明する流れ図である。
以下、図３に示すステップ番号に沿って動作を説明する。

ステップＳ２０１： 映像処理装置３００は、上述（図２のステップＳ１０１参照）したように、撮像装置２００との間で通信を行い、通信連携の設定や撮影動作やその他の動作について初期処理を行う。

ステップＳ２０２： 映像処理装置３００の映像処理側制御部３１０は、撮像装置２００が送出する中間特徴量を待機して取得する。なお、映像処理側制御部３１０は、撮像装置２００が送出する異常度を併せて取得してもよい。

ステップＳ２０３： 映像処理側制御部３１０は、撮像装置２００が送出する映像情報を待機して取得する。

ステップＳ２０４： 映像処理側制御部３１０は、取得した中間特徴量を後側ＮＮ部３２０の初段の隠れ層ＨＢ１に与える。

ステップＳ２０５： 後側ＮＮ部３２０の内部では、隠れ層ＨＢ１〜隠れ層ＨＢｎからなるニューラルネットワークによる処理が行われる。ここで、各層のノードごとには、学習処理（後述）により設定された重み係数列Ｗとバイアスbが設定される。これら設定を用いて前層のノード出力に対する積和演算を行う。そして、その積和演算値に対する活性化関数による非線形処理が順次に行われる。このニューラルネットワークによる処理の結果、後側ＮＮ部３２０の最終段の出力層Ｌ２には、映像情報についての認識結果が生成される。

ここでの認識結果は、ニューラルネットワークの構造とその学習処理に応じて柔軟に変化する。例えば、被写体の種別（監視用途であれば有害な侵入者か、無害な小動物かなど）をラベリングする学習を行えば、映像情報に含まる被写体の種別を尤度で示す被写体弁別の認識結果が得られる。また例えば、映像情報内の被写体領域を被写体の種別と併せて抽出・識別する学習を行えば、映像情報に含まれる被写体領域を容易に提示可能な認識結果が得られる。
ステップＳ２０６： 認識統合処理部３３０は、映像情報を時間遅延させて、認識結果とのフレーム合わせ（同期）を行う。

ステップＳ２０７： 認識統合処理部３３０は、映像情報と認識結果とを外部に出力する。なお、認識統合処理部３３０は、撮像装置２００で生成された異常度を併せて外部に出力してもよい。

ステップＳ２０８： 認識統合処理部３３０は、認識結果が異常な状況であれば、それに対処するコントロール信号などを外部に出力する。
以降、映像処理装置３００は、ステップＳ２０２〜Ｓ２０８の一連の動作を繰り返す。

（実施例１の効果）
上述した実施例１は、次の効果を奏する。

（１）実施例１では、撮像装置２００は、映像情報の認識処理を行う複数層のニューラルネットワークの入力層Ｌ１から途中の中間隠れ層ＨＡｘまでを、前側ＮＮ部２２０として備える。そのため、撮像装置２００は、映像情報の認識結果とまではいかないものの、その途中結果である中間特徴量を生成し、出力することが可能になる。

（２）実施例１では、映像処理装置３００は、残りの後側ＮＮ部３２０を備える。そのため、特許文献１のシステム構成とは異なり、撮像装置２００と少なくとも１台の映像処理装置３００とを用いて大規模なＤＮＮ、あるいはＣＮＮを単純かつ小規模なシステム構成で実現することが可能になる。

（３）実施例１では、単体で機能するニューラルネットワーク全体を、撮像装置２００と映像処理装置３００とに分散して配置する。そのため、ニューラルネットワーク全体による処理負荷も撮像装置２００と映像処理装置３００とで分担することができる。したがって、撮像装置２００および映像処理装置３００において、ニューラルネットワーク全体の消費電力や発熱や処理時間などの問題をバランスよく分担することが可能になる。

（４）実施例１では、中間特徴量に応じて異常を識別する識別器２３１を備える。中間特徴量は認識処理の中間過程である。そのため、冗長な情報を多量に含む映像情報に比べて、認識に係る情報量が有意に絞り込まれている。そのため、冗長な映像情報から異常を識別するよりも、認識に係る情報量が絞り込まれている中間特徴量から異常を識別する方が、異常をより適切に識別することが可能になる。

（５）実施例１では、識別器２３１が異常と識別すると、中間特徴量を映像処理装置３００に送出し、識別器２３１が異常なしと識別すると、中間特徴量を映像処理装置３００に送出しない(図２のステップＳ１０７参照）。したがって、異常なしの不要不急の状況において映像処理装置３００の後側ＮＮ部３２０を休止させることが可能になり、ニューラルネットワーク全体の消費電力や発熱や処理時間などをさらに削減することが可能になる。

（６）実施例１では、識別器２３１が異常と識別すると、映像情報を映像処理装置３００に送出し、識別器２３１が異常なしと識別すると、映像情報を映像処理装置３００に送出しない(図２のステップＳ１０７参照）。したがって、異常なしの不要不急の状況において映像処理装置３００の認識統合処理部３３０を休止させることが可能になり、映像システム１００全体の消費電力や発熱や処理時間などをさらに削減することが可能になる。

（７）通常、検査や監視用の撮像装置は小型であるため、複雑かつ大規模なニューラルネットワーク全体を実装することは、回路規模、消費電力、および発熱などの点で困難である。しかしながら、実施例１は、撮像装置２００にはニューラルネットワークの一部（前側ＮＮ部２２０）を実装すれば済むため、回路規模、消費電力、および発熱などの制約を解決することが容易い。

（８）通常、１台の映像処理装置３００に対して、多数の撮像装置２００が一度に接続される場合もある。この場合、映像処理装置３００は、多数の撮像装置２００から送られる大量の映像情報を高速処理しなければならず、処理負荷が大きくなる。この状態において、映像処理装置３００に対して複雑かつ大規模なニューラルネットワーク全体を実装することは、処理速度、回路規模、消費電力、および発熱などの点で困難である。しかしながら、実施例１は、映像処理装置にニューラルネットワークの一部（後側ＮＮ部３２０）を実装すれば済み、また識別器２３１が異常なしと識別すると、中間特徴量を映像処理装置３００に送出しない(図２のステップＳ１０７参照）ため、処理速度、回路規模、消費電力、および発熱などの制約を解決することが容易い。

続いて、学習機能と、ノード配分機能を追加した実施例２について説明する。
（実施例２の構成）
図４は、実施例２の映像システムの構成を説明するブロック図である。
なお、同図において、実施例１の構成（図１参照）と同じ構成については、ここでの重複説明を省略する。

映像システム１００Ａは、撮像装置２００Ａ、および映像処理装置３００Ａを、通信網Ｃ（専用ケーブルや無線やネットワークなど）により通信接続して構成される。
撮像装置２００Ａの撮像側制御部２３０Ａは、識別器学習部２３３、撮像側ノード更新部２３４、および監視部２３５を更に備える。

識別器学習部２３３は、中間特徴量と、後側ＮＮ部３２０の認識結果とに基づいて、識別器２３１の学習を行う。なお、識別器学習部２３３は、映像処理装置３００Ａ側に配置してもよい。
撮像側ノード更新部２３４は、前側ＮＮ部２２０のノード配分およびノードの設定パラメータを更新する。

監視部２３５は、撮像装置２００Ａのセンサ群として、例えば、電流センサ２４１や温度センサ２４２などから撮像装置データを取得し、送出データ選定部２３２に出力する。電流センサ２４１は、撮像装置２００Ａにおいて処理負荷に応じて電流量が増減する箇所や、電流量が上限となり得る箇所の電流量を監視する。また、温度センサ２４２は、撮像装置２００Ａにおいて処理負荷に応じて温度が上昇する箇所や、温度が上限となり得る箇所の温度を監視する。

一方、映像処理装置３００Ａの映像処理側制御部３１０Ａは、ＮＮ学習部３１１、映像処理側ノード更新部３１２、通信網トラフィック監視部３１３、ノード配分部３１４、およびデータ送受信リクエスト部３１５を更に備える。なお、ノード配分部３１４は撮像側制御部２３０Ａに備えてもよい。

ＮＮ学習部３１１は、全体ＮＮモデルＭを備える。例えば、この全体ＮＮモデルＭは、プログラム上の数学モデルであって、配列演算などの演算モジュールなどから構成される。ＮＮ学習部３１１は、映像情報、教師信号のデータセットからなる訓練データを用いて、この全体ＮＮモデルＭに対する学習処理（誤差逆伝播法など）を実施し、全体ＮＮモデルＭの各ノードの設定パラメータを決定する。

なお、ＮＮ学習部３１１は、全体ＮＮモデルＭの学習処理を行う代わりに、外部学習済みのノードの設定パラメータを取得することもできる。
映像処理側ノード更新部３１２は、後側ＮＮ部３２０のノード配分およびノードの設定パラメータを更新する。
通信網トラフィック監視部３１３は、撮像装置２００Ａと映像処理装置３００Ａとの間の通信トラフィックを監視する。

ノード配分部３１４は、撮像装置２００Ａと映像処理装置３００Ａとの負荷状況に応じて、前側ＮＮ部２２０のノード数(または層数）と、後側ＮＮ部３２０のノード数（または層数）との配分を変更する。

データ送受信リクエスト部３１５は、撮像側制御部２３０Ａと映像処理側制御部３１０Ａの相互間で各種の送受信に関するリクエスト処理やバッファ処理を行う。
その他、認識統合処理部３３０から、映像処理側制御部３１０Ａの内部機能には、受信可否や、処理頻度や、データ量に関する情報が入力される。

（全体ＮＮモデルＭの構成）
図５は、ＤＮＮで構成した全体ＮＮモデルＭを示す図である。
全体ＮＮモデルＭのノード構成は、前側ＮＮ部２２０と後側ＮＮ部３２０とを統合したニューラルネットワーク全体のノード構成と同一に設定される。

ＤＮＮは、入力層のノード群、複数の隠れ層のノード群、出力層のノード群を有し、ノード間の結合荷重を示す重み係数列Ｗとバイアスbがそれぞれ設定される。

入力層のノード群には、映像情報の画素値が入力される。隠れ層や出力層のノードは、前層の各ノードの値を重み係数列Ｗとバイアスbで積和演算し、シグモイド関数やReLU関数などの活性化関数で処理した値をノード値として出力とする。
最終段の出力層ではソフトマックス関数などの処理により、認識結果の値（尤度）を出力する。

（ＮＮ学習部３１１の動作）
次に、前側ＮＮ部２２０および後側ＮＮ部３２０の学習について説明する。
図６は、ＮＮ学習部３１１の動作を説明する流れ図である。
以下、同図に示すステップ番号に沿って説明する。

ステップＳ４０１： ＮＮ学習部３１１は、映像情報、教師信号などのデータセットを訓練データとして自動または手動により収集する。

ステップＳ４０２： ＮＮ学習部３１１は、訓練データを用いて、全体ＮＮモデルＭの学習を行い、ノードの設定パラメータ（重み係数列Ｗ，バイアスｂ）を決定する。

ステップＳ４０３： ＮＮ学習部３１１は、ノード配分部３１４のノード配分に基づいて、ノードの設定パラメータを撮像装置２００Ａと映像処理装置３００Ａとに振り分ける。

ステップＳ４０４： ＮＮ学習部３１１は、撮像装置２００Ａに振り分けたノードの設定パラメータを、データ送受信リクエスト部を介して撮像装置２００Ａ内の撮像側ノード更新部２３４に伝達する。撮像側ノード更新部２３４は、受け取った設定パラメータを用いて、前側ＮＮ部２２０のパラメータを更新する。これによって、前側ＮＮ部２２０の学習処理が完了する。

ステップＳ４０５： ＮＮ学習部３１１は、映像処理装置３００Ａに振り分けたノードの設定パラメータを、映像処理側ノード更新部３１２に伝達する。映像処理側ノード更新部３１２は、受け取った設定パラメータを用いて、後側ＮＮ部３２０のパラメータを更新する。これによって、後側ＮＮ部３２０の学習処理が完了する。

ステップＳ４０６： 前側ＮＮ部２２０のパラメータが更新されたため、前側ＮＮ部２２０が出力する中間特徴量は新しくなる。そこで、新しい中間特徴量に合わせて、識別器２３１の識別処理を条件変更する。

（ノード配分部３１４の動作）
続いて、前側ＮＮ部２２０と後側ＮＮ部３２０との間でノード配分（中間隠れ層の位置）を変更する処理について説明する。
図７は、ノード配分部３１４の動作を説明する流れ図である。
以下、同図に示すステップ番号に沿って説明する。

ステップＳ７０１： ノード配分部３１４は、監視部２３５が出力する撮像装置データ（温度・消費電流など）や、前側ＮＮ部２２０の処理フレームレートや遅滞に基づいて、撮像装置２００Ａの負荷状況を情報取得する。

ステップＳ７０２： ノード配分部３１４は、映像処理装置３００Ａの処理頻度やデータ量や映像処理の遅滞や撮像装置の接続台数などに基づいて、映像処理装置３００Ａの負荷状況を情報取得する。

ステップＳ７０３： ノード配分部３１４は、撮像装置２００Ａの負荷状況と、映像処理装置３００Ａの負荷状況に基づいて、両者の負荷バランスを求める。

ステップＳ７０４： ノード配分部３１４は、現在の負荷バランスが適正範囲か否かを判定する。適正範囲であれば、ノード配分部３１４は、ステップＳ７０８に動作を移行する。適正範囲でない場合、ノード配分部３１４は、ステップＳ７０５に動作を移行する。

ステップＳ７０５： ノード配分部３１４は、どちら側の負荷状況が過多であるかを判定する。撮像装置２００Ａの負荷状況が過多であれば、ノード配分部３１４はステップＳ７０６に動作を移行する。逆に映像処理装置３００Ａの負荷状況が過多であれば、ノード配分部３１４はステップＳ７０７に動作を移行する。

ステップＳ７０６： ノード配分部３１４は、前側ＮＮ部２２０の隠れ層のノード数（層数）を、後側ＮＮ部３２０の隠れ層のノード数（層数）に所定数だけ配分する。この動作の後、ノード配分部３１４はステップＳ７０８に動作を移行する。

ステップＳ７０７： ノード配分部３１４は、後側ＮＮ部３２０の隠れ層のノード数（層数）を、前側ＮＮ部２２０の隠れ層のノード数（層数）に所定数だけ配分する。

ステップＳ７０８： ノード配分部３１４は、通信網トラフィック監視部３１３から撮像装置２００Ａと映像処理装置３００Ａとの間の通信トラフィックを情報取得する。この通信トラフィックは、撮像装置の接続台数、前記撮像装置からの入力情報量および頻度などにより変化する。

ステップＳ７０９： ノード配分部３１４は、通信トラフィックが過多か否かを判定する。通信トラフィックが過多の場合、ノード配分部３１４はステップＳ７１０に動作を移行する。
通信トラフィックに余裕がある場合、ノード配分部３１４はステップＳ７１１に動作を移行する。

ステップＳ７１０： 撮像装置２００Ａから映像処理装置３００Ａに出力される中間特徴量のデータ量は、中間隠れ層ＨＡｘのノードの数、およびその頻度により変化する。そこで、ノード配分部３１４は、そのデータ量（例えば、中間隠れ層のノード数×送出頻度）が現在よりも削減する方向に、中間隠れ層の配分位置を移動させる。

ステップＳ７１１： ノード配分部３１４は、ステップＳ７０６〜Ｓ７１０において、ノード配分が変更されたか否かを判定する。ノード配分に変更がある場合、ノード配分部３１４はステップＳ７１２に動作を移行する。一方、ノード配分に変更がない場合、ノード配分の動作を完了する。

ステップＳ７１２： 撮像側ノード更新部２３４は、ノード配分の変更に応じて、前側ＮＮ部２２０のネットワーク構成を書き換える。さらに、映像処理側ノード更新部３１２は、ノード配分の変更に応じて、後側ＮＮ部３２０のネットワーク構成を書き換える。

ステップＳ７１３： ノード配分の変更に応じて、前側ＮＮ部２２０と後側ＮＮ部３２０との間では、ノードの設定パラメータ（Ｗ，ｂ）の移行が行われる。

ステップＳ７１４： 前側ＮＮ部２２０のノード数が増減し、中間隠れ層ＨＡｘの位置が移動するため、前側ＮＮ部２２０が出力する中間特徴量は変化する。そこで、新しい中間特徴量に合わせて、識別器学習部２３３は識別器２３１の識別処理を条件変更する。したがって、識別器２３１は中間隠れ層となり得る各隠れ層が出力する中間特徴量それぞれに対し、事前に条件（パラメータ）を学習しておくことが望ましい。
上述した一連の処理により、負荷状況などに応じて、前側ＮＮ部２２０と後側ＮＮ部３２０との間で、ノード配分が柔軟に変更される。

（実施例２の効果）
実施例２は、実施例１の効果に加えて、次の効果を更に奏する。

（１）実施例２では、前側ＮＮ部２２０の中間特徴量と、後側ＮＮ部３２０の処理結果とに基づいて、識別器２３１の学習（識別処理の条件変更など）を行う識別器学習部２３３を備える。そのため、前側ＮＮ部２２０のノード配分や設定パラメータが変更された場合、それに対応して識別器２３１の学習を随時に行うことが可能になる。

（２）実施例２では、ＮＮ学習部３１１を備える。そのため、映像システム１００Ａにおいて、前側ＮＮ部２２０及び後側ＮＮ部３２０のための学習処理を実施することが可能になる。

（３）実施例２では、全体ＮＮモデルＭを備える。そのため、分断された前側ＮＮ部２２０及び後側ＮＮ部３２０の間で学習処理のための大量データをやり取りする必要がなくなり、学習処理に係る時間を短縮することが可能になる。

（４）実施例２では、前側ＮＮ部２２０および後側ＮＮ部３２０は、ノード数の配分に応じて、移行するノードの設定パラメータをやり取りする。そのため、前側ＮＮ部２２０および後側ＮＮ部３２０のための学習処理を１からやり直す必要がなく、学習処理に係る多大な計算負荷と計算時間を省くことが可能になる。

（５）実施例２では、ノード配分部３１４が撮像装置２００Ａまたは映像処理装置３００Ａの負荷状況を取得し、負荷状況に応じて前側ＮＮ部２２０のノード数と、後側ＮＮ部３２０のノード数との配分を変更する。したがって、撮像装置２００Ａまたは映像処理装置３００Ａの負荷を適宜に調整することができる。

（６）実施例２では、ノード配分部３１４が、撮像装置２００Ａの温度上昇に応じて、前側ＮＮ部２２０のノード数を削減する。その結果、前側ＮＮ部２２０の電力消費を抑えて温度上昇を抑制することが可能になる。

（７）実施例２では、ノード配分部３１４が、撮像装置２００Ａの消費電流の上昇に応じて、前側ＮＮ部２２０のノード数を削減する。その結果、前側ＮＮ部２２０の電流消費を抑えて撮像装置２００Ａの省エネをはかることができる。

（８）実施例２では、ノード配分部３１４が、撮像装置２００Ａの処理フレームレートの低下に応じて、前側ＮＮ部２２０のノード数を削減する。その結果、前側ＮＮ部２２０の処理遅滞を改善し、撮像装置２００Ａの動作を円滑にすることができる。

（９）実施例２では、ノード配分部３１４が、撮像装置２００Ａおよび映像処理装置３００Ａの相対的な負荷バランスに基づいて、前側ＮＮ部２２０のノード数と、後側ＮＮ部３２０のノード数との配分を変更する。したがって、一方の負荷状況を改善したつもりが、他方の負荷状況を悪化させたなどのアンバランスな事態は起こりづらい。

（１０）実施例２では、ノード配分部３１４が、中間隠れ層のノード数と推定される中間特徴量の送出頻度の積を削減する方向に、中間隠れ層の位置を移動させることにより、中間特徴量の通信情報量を削減することができる。

（１１）実施例２では、撮像装置の接続台数、前記撮像装置からの入力情報量および頻度などによる変化する通信トラフィックを情報取得し、通信トラフィックが大きい場合、中間隠れ層から出力される中間特徴量の通信情報量を削減する方向に、中間隠れ層の位置を移動させる。したがって、通信トラフックを軽減することが可能になる。

次に、工場などの検査自動化を目的として、本発明の映像システムを採用する検査システムについて説明する。
図８は、実施例３における検査システム（映像システムを含む）を示す図である。

同図において、撮像装置１，２・・Ｎは、複数の検査ラインにそれぞれ配置される。これらの撮像装置１，２・・Ｎは、ネットワークハブ５０１を介して、映像処理装置３００およびストレージ５０２に接続される。映像処理装置３００からは、ライン分別操作信号が検査ラインそれぞれに送出される。

撮像装置それぞれは、新しい検査対象がその撮像装置の前を通過するたびに、中間特徴量に基づいて異常度を計算する。この異常度は、統計的な外れ値などから計算されるため、検査対象の多くが正常な対象であり、その他背景などが変化し難い環境においては、比較的簡易な手法による識別器であっても精度を得やすい。

なお、撮像装置１，２・・Ｎ内の前側ＮＮ部（不図示）と、映像処理装置３００内の後側ＮＮ部（不図示）は、実運用前に実環境に即した映像情報と教師信号のデータセットを収集し、それらを用いて学習済みとなった設定パラメータを適用しているものとする。

ここで、簡易な一例として、その前側ＮＮ部および後側ＮＮ部からなるニューラルネットワークの識別クラスを3つとし、その内容としてはクラス１：「正常」、クラス２：「修復可能な傷、欠陥あり」、クラス３：「修復不可能な傷、欠陥あり」とする。

そして、異常度を計算した結果、撮像装置1の前を通過した対象物に異常がある可能性が高いと判断すると、ネットワークハブ５０１を介して映像処理装置３００に対してデータを送信するためのリクエストを発報する。

このとき、他方の検査ラインで同時期に異常があり、映像処理装置３００で認識処理中であった場合には、フレームバッファなどのバッファにデータを保存し、送出待機する。

バッファサイズが1つの対象物のデータを格納することしかできない場合は、撮像装置の前を次の対象物が通過するよりも十分に早く、映像処理装置３００における認識処理が完了する必要がある。映像処理装置３００で認識処理が行われていない場合は、撮像装置1に対してデータ要求する信号が返ってくるため、その信号を受信したのちにデータを映像処理装置３００に送出する。映像処理装置３００では、その受信したデータをもとに認識処理を行い、前述のクラス1〜3の識別を行う。そして、クラス1「正常」と判定された場合には、他の正常品と正常品用レーン５１３へと送り、クラス２「修復可能な傷、欠陥あり」の場合には、ライン分別操作信号によりライン分別レール５１１を稼働させ、修復用レーン５１２へと運び、その先でしかるべき修繕作業を施す。また同様にクラス３「修復不可能な傷、欠陥あり」の場合には、ライン分別操作信号により破棄用レーン５１４へと運び、そのまま破棄する。映像処理装置３００で受信したデータはストレージ５０２に保存され、必要があれば修繕時の参考情報として参照することや、また、識別精度を確認するデータとして確認され、また学習用データとしても用いることができる。

また、これらの撮像装置と映像処理装置３００において、前述したようにネットワークのトラフィックや周囲環境の温度などによって隠れ層の分割位置を変化させることが可能であり、また、認識精度を向上させる場合にはニューラルネットワーク全体のパラメータ更新を行うことも可能であるが、これらはラインの休止中、あるいは対象物のあるロットとロット間に一定期間がある場合にはその期間内に実施することが望ましい。

（実施形態の補足事項）
なお、本発明は上記した個々の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
さらに、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

なお、実施例２では、映像処理装置３００ＡがＮＮ学習部３１１を備える場合について説明した。しかしながら、本発明はこれに限定されない。映像処理装置３００Ａの性能が低いことが想定されるため、映像処理装置３００Ａの外部（別の計算機やサーバなど）にＮＮ学習部３１１を設けてもよい。

また、実施例では、前側ＮＮ部と後側ＮＮ部にＤＮＮの形式を採用した。しかしながら、本発明は機械学習の種類には限定されない。例えば、前側ＮＮ部と後側ＮＮ部にＣＮＮの形式を採用してもよい。この場合、隠れ層の一部または全部に、畳み込み層やプーリング層やその組み合わせなどを適宜に採用すればよい。
さらに、実施例では、教師あり学習について説明した。しかしながら、本発明はこれに限定されない。例えば、教師なし学習を採用してもよい。

また、実施例では、認識統合処理部３３０において、映像信号、認識結果などを統合しているが、本発明はこれに限定されない。例えば、データ量を削減する場合には、次の段階的な出力処理を行ってよい。
（１）まず、撮像装置側で異常度を求め、
（２）それが映像処理装置側での認識が必要となる閾値以上の値である場合に中間特徴量のみ送出し、
（３）その中間特徴量を入力として映像処理装置で、その映像情報が真に異常か否か、どういった異常なのかを判定したうえで、
（４）映像情報、もしくはその異常度の保存や観測が必要な場合には撮像装置側のバッファに保存していたそのデータの取得を要求し、
（５）撮像装置側はその要求に従いデータを映像処理装置に送出する。

ＨＡｘ…中間隠れ層、Ｌ１…入力層、１００…映像システム、１００Ａ…映像システム、２００…撮像装置、２００Ａ…撮像装置、２１０…撮像素子、２１１…映像処理部、２２０…前側ＮＮ部、２３０…撮像側制御部、２３１…識別器、２３２…送出データ選定部、２３３…識別器学習部、２３４…撮像側ノード更新部、２３５…監視部、２４１…電流センサ、２４２…温度センサ、３００…映像処理装置、３００Ａ…映像処理装置、３１０…映像処理側制御部、３１０Ａ…映像処理側制御部、３１１…ＮＮ学習部、３１２…映像処理側ノード更新部、３１３…通信網トラフィック監視部、３１４…ノード配分部、３１５…データ送受信リクエスト部、３２０…後側ＮＮ部、３３０…認識統合処理部、５０１…ネットワークハブ、５０２…ストレージ、５１１…ライン分別レール、５１２…修復用レーン、５１３…正常品用レーン、５１４…破棄用レーン

撮像装置は、撮像により映像情報を生成する撮像部と、映像情報の認識処理を行う複数層のニューラルネットワークの入力層から途中の所定の隠れ層（以下「中間隠れ層」という）までを備える前側ＮＮ部と、前側ＮＮ部の中間隠れ層の出力(以下「中間特徴量」という)を送出する撮像側制御部とを備え、撮像側制御部は、中間特徴量に応じて異常を識別する識別器と、識別器が異常なしと識別すると、中間特徴量を前記映像処理装置に出力しない送出データ選定部とを備える。

ステップＳ１０２： 撮像素子２１０は、所定のフレームレートで被写体を
撮像する。映像処理部２１１は、撮像素子２１０の撮像出力を逐次に映像処
理し、認識対象を映像として含む可能性がある映像情報を出力する。

Claims (13)

1. 撮像装置と映像処理装置とを備える映像システムであって、
   前記撮像装置は、
   撮像により映像情報を生成する撮像部と、
   前記映像情報の認識処理を行う複数層のニューラルネットワークの入力層から途中の所定の隠れ層（以下「中間隠れ層」という）までを備える前側ＮＮ部と、
   前記前側ＮＮ部の前記中間隠れ層の出力(以下「中間特徴量」という)を送出する撮像側制御部とを備え、
   前記映像処理装置は、
   前記撮像側制御部が送出する前記中間特徴量を取得する映像処理側制御部と、
   前記ニューラルネットワークの前記中間隠れ層以降から出力層までを備え、前記映像処理側制御部が取得した前記中間特徴量について、残りの前記認識処理を行う後側ＮＮ部とを備える
   ことを特徴とする映像システム。
2. 請求項１に記載の映像システムにおいて、
   前記撮像装置の前記撮像側制御部は、
   前記中間特徴量に応じて異常を識別する識別器と、
   識別器が異常なしと識別すると、前記中間特徴量を前記映像処理装置に出力しない送出データ選定部とを備える
   ことを特徴とする映像システム。
3. 請求項２に記載の映像システムにおいて、
   前記送出データ選定部は、
   前記識別器が異常なしと識別すると、前記映像情報を前記映像処理装置に出力しない
   ことを特徴とする映像システム。
4. 請求項２〜３のいずれか1項に記載の映像システムにおいて、
   前記撮像側制御部、および前記映像処理側制御部の少なくとも一方は、
   前記中間特徴量と、前記後側ＮＮ部の処理結果とに基づいて、前記識別器の学習を行う識別器学習部を備える
   ことを特徴とする映像システム。
5. 請求項１〜４のいずれか1項に記載の映像システムにおいて、
   前記映像処理装置または外部に、
   前記ニューラルネットワークのノード全体を実装した全体ＮＮモデルと、
   前記全体ＮＮモデルに対して学習処理を実施して、前記全体ＮＮモデルの各ノードの設定パラメータを決定するＮＮ学習部を備え、
   前記撮像側制御部は、
   前記前側ＮＮ部の各ノードに相当する設定パラメータを前記ＮＮ学習部から取得して、前記前側ＮＮ部の各ノードに設定し、
   前記映像処理側制御部は、
   前記後側ＮＮ部の各ノードに相当する設定パラメータを前記ＮＮ学習部から取得して、前記後側ＮＮ部の各ノードに設定する
   ことを特徴とする映像システム。
6. 請求項１〜５のいずれか1項に記載の映像システムにおいて、
   前記撮像側制御部および前記映像処理側制御部の少なくとも一方は、
   前記前側ＮＮ部のノード数と、前記後側ＮＮ部のノード数との配分を変更するノード配分部を備え、
   前記前側ＮＮ部および前記後側ＮＮ部は、前記ノード配分部により変更されたノード数の配分に応じて、移行するノードの設定パラメータをやり取りする
   ことを特徴とする映像システム。
7. 請求項６に記載の映像システムにおいて、
   前記ノード配分部は、
   前記撮像装置または前記映像処理装置の負荷状況を取得し、前記負荷状況に応じて前記前側ＮＮ部のノード数と、前記後側ＮＮ部のノード数との配分を変更する
   ことを特徴とする映像システム。
8. 請求項７に記載の映像システムにおいて、
   前記ノード配分部は、
   前記撮像装置の前記負荷状況を、温度検出、電流検出、映像処理の遅滞、および処理フレームレートの変化からなる群の少なくとも1つにより取得する
   ことを特徴とする映像システム。
9. 請求項６〜８のいずれか1項に記載の映像システムにおいて、
   前記撮像装置および前記映像処理装置の相対的な負荷バランスを取得し、前記撮像装置の負荷が増えると、前記後側ＮＮ部にノード数を多く配分し、前記映像処理装置の負荷が増えると、前記前側ＮＮ部にノード数を多く配分する
   ことを特徴とする映像システム。
10. 請求項６〜９のいずれか1項に記載の映像システムにおいて、
    前記ノード配分部は、
    前記中間隠れ層のノード数と前記中間特徴量の送出頻度の積を削減する方向に、前記中間隠れ層の位置を移動させることにより、前記中間特徴量の通信情報量を削減する
    ことを特徴とする映像システム。
11. 請求項１０に記載の映像システムにおいて、
    前記ノード配分部は、
    前記映像処理装置に対する前記撮像装置の接続台数、前記撮像装置からの入力情報量および頻度などにより変化する通信トラフィックを情報取得し、
    前記通信トラフィックが大きい場合、前記中間隠れ層のノード数と前記中間特徴量の送出頻度の積を削減する方向に、前記中間隠れ層の位置を移動させて、前記中間特徴量の通信情報量を削減する
    ことを特徴とする映像システム。
12. 請求項１〜１１のいずれか1項の前記撮像部、前記前側ＮＮ部、および前記撮像側制御部とを備える
    ことを特徴とする撮像装置。
13. 請求項１〜１１のいずれか1項の前記映像処理側制御部、および前記後側ＮＮ部を備える
    ことを特徴とする映像処理装置。

Images