JP6927015B2 - 画像処理システムおよび画像処理方法 - Google Patents

Description

本発明は、画像処理システムおよび画像処理方法に関する。

従来、設備機械の状態等を表示する積層表示灯（以下、「シグナルタワー」とも称する）が知られている。シグナルタワーは、複数の信号灯が積層されて構成されている。

たとえば、特許文献１および特許文献２には、シグナルタワーをカメラで撮像することにより、当該シグナルタワーの点灯および消灯を認識する画像処理技術が知られている。

特開２００２−３５８１１１号公報 特開２００７−１１４９６７号公報

シグナルタワーの点灯および消灯を画像処理で認識する場合、初期設定として、撮像対象となるシグナルタワーを構成する各信号灯の色情報（画素値）および各信号灯の画像データ内での領域（座標値）を画像処理装置に学習させる必要がある。複数台のシグナルタワーの点灯および消灯を画像処理で認識する場合、複数台分の学習処理が必要となる。このため、シグナルタワーの設置台数に応じて、初期設定の手間が増える。

本発明は、上記の問題点に鑑みなされたものであって、その目的は、シグナルタワーの点灯および消灯を画像処理で認識する場合における初期設定の手間を低減することにある。

本発明のある局面に従うと、画像処理システムは、複数の積層表示灯が設置された場所を撮像する撮像装置と、撮像装置に通信可能に接続された画像処理装置とを備える。画像処理装置は、各積層表示灯における各色の信号灯の積層の配列を表した配列データを記憶した記憶部と、撮像によって得られた第１の画像データと、配列データとに基づいて、各積層表示灯に含まれる各色の信号灯の第１の画像データ内での画像領域を決定する制御部とを有する。

上記の構成によれば、各積層表示灯に関して、制御部によって各色の信号灯の第１の画像データ内での画像領域が決定されるため、各積層表示灯の点灯および消灯を画像処理で認識する場合における初期設定の手間を低減することが可能となる。

好ましくは、各積層表示灯は、各色の信号灯として、第１の色の第１の信号灯と、第１の信号灯に積層された第２の色の第２の信号灯とを含む。配列データは、第１の画像データ内において第１の信号灯の上側に第２の信号灯が位置することを規定している。記憶部は、第１の色に区分される第１の画素値と、第２の色に区分される第２の画素値とをさらに記憶している。制御部は、第１の画素値と第２の画素値と配列データとに基づき、第１の信号灯の第１の画像データ内での第１の画像領域と、第２の信号灯の第１の画像データ内での第２の画像領域とを決定する。

上記の構成によれば、各積層表示灯に関して、制御部によって第１の色の信号灯と第２の色の信号灯との第１の画像データ内での画像領域が決定されるため、第１の信号灯と第２の信号灯との点灯および消灯を画像処理で認識する場合における初期設定の手間を低減することが可能となる。

好ましくは、制御部は、複数の積層表示灯のうちの１つを撮像装置で撮像することによって得られた第２の画像データに基づいて、第１の色の画素値と第２の色の画素値とを算出する。制御部は、算出された第１の色の画素値を第１の画素値として記憶部に記憶させ、かつ算出された第２の色の画素値を第２の画素値として記憶部に登録させる。

上記の構成によれば、１つの積層表示灯の撮像によって、各色の信号灯の第１の画像データ内での画像領域を決定するために用いる、第１の画素値と第２の画素値とを算出することができる。

好ましくは、画像処理装置は、第２の画像データに基づいて、配列データを生成する。
上記の構成によれば、１つの積層表示灯の撮像によって、各色の信号灯の第１の画像データ内での画像領域を決定するために用いる、配列データを生成することが可能となる。

好ましくは、第１の画素値および第２の画素値の各々は、色相と、彩度と、明度とで規定される。制御部は、第１の画素値の色相と第１の画像データにおける各画素の色相との第１の差異と、第２の画素値の色相と各画素の色相との第２の差異とを算出する。制御部は、配列データを用いて、第１の差異が予め定められた範囲内となる画素によって形成される領域のうちから第１の画像領域を抽出するとともに、第２の差異が予め定められた範囲内となる画素によって形成される領域のうちから第２の画像領域を抽出する。

上記の構成によれば、色相を用いて、第１の信号灯の第１の画像データ内での第１の画像領域と、第２の信号灯の第１の画像データ内での第２の画像領域とを抽出するため、各積層表示灯の設置環境に応じた精度の高い領域抽出が可能となる。

好ましくは、制御部は、複数の積層表示灯のうちの第１の積層表示灯の第１の信号灯が点灯しているときの、当該第１の信号灯に対応する第１の画像領域内の各画素の画素値の平均値を、第１の積層表示灯の第１の信号灯の点灯時の基準色に設定する。制御部は、第１の積層表示灯の第１の信号灯が消灯しているときの、当該第１の信号灯に対応する第１の画像領域内の各画素の画素値の平均値を、第１の積層表示灯の第１の信号灯の消灯時の基準色に設定する。

上記の構成によれば、第１の積層表示灯の第１の信号灯の点灯時の基準色と、第１の積層表示灯の第１の信号灯の消灯時の基準色とを、第１の積層表示灯の第１の信号灯の設置環境に応じた色に設定することが可能となる。

好ましくは、制御部は、複数の積層表示灯のうちの第２の積層表示灯の第１の信号灯が点灯しているときの、当該第１の信号灯に対応する第１の画像領域内の各画素の画素値の平均値を、第２の積層表示灯の第１の信号灯の点灯時の基準色に設定する。制御部は、第２の積層表示灯の第１の信号灯が消灯しているときの、当該第１の信号灯に対応する第１の画像領域内の各画素の画素値の平均値を、第２の積層表示灯の第１の信号灯の消灯時の基準色に設定する。

上記の構成によれば、第２の積層表示灯の第１の信号灯の点灯時の基準色と、第２の積層表示灯の第１の信号灯の消灯時の基準色とを、第２の積層表示灯の第１の信号灯の設置環境に応じた色に設定することが可能となる。

好ましくは、制御部は、第１の積層表示灯の第１の信号灯の点灯時の基準色と消灯時の基準色とに基づき、第１の積層表示灯の第１の信号灯の点灯および消灯を判断する。

上記の構成によれば、第１の積層表示灯の第１の信号灯の点灯および消灯を正確に判断することが可能となる。

本発明の他の局面に従うと、画像処理方法は、複数の積層表示灯が設置された場所を撮像する撮像装置から、場所の画像データを取得するステップと、取得された画像データと、各積層表示灯における各色の信号灯の積層の配列を表した配列データとに基づいて、各積層表示灯に含まれる各色の信号灯の画像データ内での画像領域を決定するステップとを備える。

上記の方法によれば、各積層表示灯に関して、制御部によって各色の信号灯の第１の画像データ内での画像領域が決定されるため、各積層表示灯の点灯および消灯を画像処理で認識する場合における初期設定の手間を低減することが可能となる。

本発明によれば、各積層表示灯の点灯および消灯を画像処理で認識する場合における初期設定の手間を低減することが可能となる。

工場内の生産設備をカメラで撮像することにより得られた画像データを表した図である。 画像処理ステムのシステム構成例を表した図である。 画像処理装置の機能的構成を説明するための機能ブロック図である。 画像処理装置に含まれるハードウェアを示した構成図である。 初期設定における処理の全体的な流れを表した図である。 画像データを生成する処理を説明するための図である。 事前設定の処理の流を説明するためのフロー図である。 学習データのデータ構造例を表した図である。 全消灯時における領域の探索処理の流れを表したフロー図である。 全点灯時における領域の探索処理の流れを表したフロー図である。 領域の探索の際に行う操作を説明するための図である。 カメラによる撮像によって取得された画像データを表した図である。 絞込処理の流れを説明するためのフロー図である。 赤色の信号灯の領域を表した図である。 領域および検索対象色の本決定が終了した後に得られるデータテーブルを表した図である。 領域および探索対象色を本決定した後の確認画面を表した図である。

以下において、本発明の実施の形態について図面を参照しつつ説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについては詳細な説明は繰り返さない。

§１ 適用例
本例の画像処理システムは、複数のシグナルタワー（積層表示灯）が設置された場所を撮像するカメラと、カメラに通信可能に接続された画像処理装置とを備えている。カメラによる撮像により得られた画像データは、画像処理装置に格納される。

図１は、工場内の生産設備をカメラで撮像することにより得られた画像データＧ２を表した図である。

図１を参照して、画像データＧ２には、一例として、被写体としての複数のシグナルタワー７１〜７７が含まれている。シグナルタワー７１は、一例として、赤色信号灯７１Ｒと、黄色信号灯７１Ｙと、緑色信号灯７１Ｇとを有する。シグナルタワー７１では、上から順に、赤色信号灯７１Ｒと黄色信号灯７１Ｙと緑色信号灯７１Ｇとが積層されている。

同様に、シグナルタワー７２は、赤色信号灯７２Ｒと、黄色信号灯７２Ｙと、緑色信号灯７２Ｇとを有する。シグナルタワー７２では、上から順に、赤色信号灯７２Ｒと黄色信号灯７２Ｙと緑色信号灯７２Ｇとが積層されている。また、シグナルタワー７３〜７７についても、上から順に、赤色信号灯と黄色信号灯と緑色信号灯とが積層されている。

なお、各シグナルタワー７１〜７７における信号灯の数および信号灯の配列（積層順序）は、一例であって、これに限定されるものではない。たとえば、あるシグナルタワーにおいては、上から順に、赤色信号灯と、黄色信号灯と、緑色信号灯と、青色信号灯との４つの信号灯が積層されていてもよい。

画像処理装置は、複数のシグナルタワー７１〜７７における各色の信号灯の積層の配列を表した配列データを記憶している。たとえば、画像処理装置は、シグナルタワー７１については、上から順に、赤色信号灯７１Ｒと、黄色信号灯７１Ｙと、緑色信号灯７１Ｇとが積層されていることを表すデータを記憶している。同様に、画像処理装置は、シグナルタワー７２については、上から順に、赤色信号灯７２Ｒと、黄色信号灯７２Ｙと、緑色信号灯７２Ｇとが積層されていることを表すデータを記憶している。

画像処理装置は、カメラによる撮像によって得られた画像データＧ２と、配列データとに基づいて、各シグナルタワーに含まれる各色の信号灯の画像データＧ２内での画像領域を決定する。たとえば、画像処理装置は、シグナルタワー７１については、赤色信号灯７１Ｒの画像データＧ２内での領域７１１と、黄色信号灯７１Ｙの画像データＧ２内での領域７１２と、緑色信号灯７１Ｇの画像データＧ２内での領域７１３とを決定する。

このような構成によれば、画像処理装置は、配列データに基づいて、各シグナルタワー７１〜７７の各色の信号灯の画像データＧ２内での領域を決定することができる。

したがって、各シグナルタワー７１〜７７の各色の信号灯の画像データＧ２内での領域（座標値）を画像処理装置にユーザが入力する処理を省くことができる。それゆえ、シグナルタワーの点灯および消灯を画像処理で認識する場合における初期設定の手間を低減可能となる。

§２ 構成例
＜Ａ．システム構成＞
図２は、画像処理ステムのシステム構成例を表した図である。

図２を参照して、画像処理システム１は、カメラ１０と、画像処理装置３０と、ＰＬＣ（Programmable Logic Controller）４０と、サーバ装置５０と、ディスプレイ６０とを備えている。工場９０内には、複数のシグナルタワー７１〜７７が配置されている。なお、シグナルタワーの数は、特に限定されるものではない。

カメラ１０は、工場９０内に設置されている。カメラ１０により、シグナルタワー７１〜７７を含む被写体が撮像される。なお、被写体には、生産設備、工場内の壁面、床面等も含まれる。

画像処理装置３０は、カメラ１０と通信可能に接続されている。画像処理装置３０は、ＰＬＣ４０に通信可能に接続されている。ＰＬＣ４０は、上位の装置としてのサーバ装置５０に通信可能に接続されている。

画像処理装置３０は、ＨＭＩ（Human Machine Interface）としてのディスプレイ６０に所定の画像を表示させる。典型的には、画像処理装置３０は、カメラ１０による撮像により得られた画像データ（たとえば、上述した画像データＧ２）に基づく画像をディスプレイ６０に表示させる。

このようなシステム構成において、画像処理装置３０は、カメラ１０から取得した画像データに基づき、シグナルタワーの初期設定と、初期設定後の実運用時におけるシグナルタワーの画像認証とを行う。当該画像認証として、各色の信号灯が点灯している状態であるか、あるいは消灯している状態であるかの判定処理が行なわれる。

なお、以下では、説明の便宜上、複数のシグナルタワー７１〜７７のうちの任意のシグナルタワーを、「シグナルタワー７０」とも称する。

＜Ｂ．画像処理装置＞
次に、画像処理装置３０の詳細について説明する。

（ｂ１．機能的構成）
図３は、画像処理装置３０の機能的構成を説明するための機能ブロック図である。

図３を参照して、画像処理装置３０は、制御部３１０と、記憶部３２０と、取得部３３０とを備える。

取得部３３０は、カメラ１０から画像データを取得する。
記憶部３２０には、初期設定の一部である事前設定に関するデータとして、画像データＧ１（図６参照）と、学習データＤ１（図８参照）とが格納されている。また、記憶部３２０には、事前設定以外の初期設定に関するデータとして、画像データＧ２（図１参照）と、データテーブルＤ２（図１５参照）とが記憶される。

詳しくは、学習データＤ１は、画像データＧ１に基づき生成される。なお、画像データＧ１については後述する。データテーブルＤ２は、画像データＧ２と学習データＤ１とに基づき生成される。学習データＤ１は、上述した配列データを含む。学習データＤ１とデータテーブルＤ２とは、制御部３１０によって生成される。

制御部３１０は、画像処理装置３０の全体の動作を制御する。制御部３１０は、たとえば、シグナルタワーの初期設定と、初期設定後の実運用時におけるシグナルタワーの画像認証とを行う。また、制御部３１０は、カメラ１０から取得した画像データと、配列データとに基づいて、各シグナルタワーに含まれる各色の信号灯の画像データＧ２内での画像領域を決定する。

制御部３１０は、事前設定部３１１と、探索対象色決定部３１２と、領域探索部３１３と、絞込処理部３１４と、表示制御部３１５とを有する。表示制御部３１５は、各種の画像をディスプレイ６０に表示させる。事前設定部３１１と、探索対象色決定部３１２と、領域探索部３１３との各々によって実行される処理については、説明の便宜上、後述する。

なお、上記においては、制御部３１０が画像データＧ１に基づき学習データＤ１を生成する構成を例に挙げて説明したが、学習データＤ１はプリセットされたものであってもよい。この場合、画像処理装置３０が画像データＧ１を取得する必要はなくなる。

以下では、画像処理装置３０に含まれるハードウェアを説明した後、画像データＧ１の取得と、学習データＤ１の生成と、画像データＧ２の取得と、データテーブルＤ２の生成と、データテーブルＤ２を用いた処理とを、この順に説明する。

（ｂ２．ハードウェア構成）
図４は、画像処理装置３０に含まれるハードウェアを示した構成図である。図４を参照して、画像処理装置３０は、演算処理回路３５０と、メモリ３６０と、通信インターフェイス３７０とを備える。演算処理回路３５０は、メインプロセッサ３５１と、画像処理専用プロセッサ３５２とを有する。

メモリ３６０は、たとえば、ＲＯＭ３６１と、ＲＡＭ３６２と、フラッシュメモリ３６３とを含んで構成される。なお、フラッシュメモリ３６３には、オペレーティングシステム、アプリケーションプログラム、各種のデータが記憶される。メモリ３６０（詳しくは、フラッシュメモリ３６３）は、図３に示した記憶部３２０に対応する。なお、メモリ３６０は、ＨＤＤ（Hard Disk Drive）を備えて構成されていてもよい。

なお、図３に示した、制御部３１０は、演算処理回路３５０がメモリ３６０に記憶されたオペレーティングシステムおよびアプリケーションプログラムを実行することにより実現される。なお、アプリケーションプログラムの実行の際には、メモリ３６０に記憶されている各種のデータ（たとえば、カメラ１０から送られてきた画像データ）が参照される。

メインプロセッサ３５１は、画像処理装置３０の全体の動作を制御する。画像処理専用プロセッサ３５２は、カメラ１０から送られてきた画像データに対して、予め定められた処理を実行する。なお、画像処理専用プロセッサ３５２の代わりに、画像処理を行うためのＡＳＩＣ（Application Specific Integrated Circuit）を備えていてもよい。

通信インターフェイス３７０は、外部装置（たとえば、カメラ１０、ＰＬＣ４０）との通信を行なうためのものである。通信インターフェイス３７０は、図３の取得部３３０に対応する。

なお、図４に示したハードウェア構成は、一例であって、これに限定されるものではない。

＜Ｃ．設定処理＞
図５は、初期設定における処理の全体的な流れを表した図である。

図５を参照して、画像処理装置３０の事前設定部３１１は、ステップＳ１において、事前設定処理を実行する。ステップＳ２において、画像処理装置３０の探索対象色決定部３１２は、初期設定後の実運用で用いる複数の探索対象色（具体的には、画素値）の仮決定を行う。

画素値としては、ＨＳＶ色空間モデルにおける、色相（Ｈｕｅ）と、彩度（Ｓａｔｕｒａｔｉｏｎ（またはＣｈｒｏｍａ））と、明度（Ｖａｌｕｅ（または、Ｌｉｇｈｔｎｅｓｓ，Ｂｒｉｇｈｔｎｅｓｓ））との三つの成分を利用できる。なお、これに限らず、画素値として、ＲＧＢの三つの成分を用いてもよい。以下では、１つの画素の画素値を、ＨＳＶを用いて表す例を説明する。

ステップＳ３において、画像処理装置３０の領域探索部３１３は、仮決定された各探索対象色を用いて、画像データＧ２内における領域の探索を行う。ステップＳ４において、画像処理装置３０の絞込処理部３１４は、探索された領域において領域の絞り込みを行う。ステップＳ５において、画像処理装置３０の探索対象色決定部３１２は、絞り込んだ領域に基づき座標（座標値）を決定するとともに、絞り込んだ領域における各画素の画素値に基づき、探索対象色を本決定する。

以下ステップＳ１〜Ｓ５の詳細について説明する。
（ｃ１．事前設定）
図５におけるステップＳ１の処理について説明する。

図６は、画像データＧ１を生成する処理を説明するための図である。図６を参照して、ユーザは、カメラ１０を用いて、モデルとなる１個のシグナルタワー７０を撮像する。なお、シグナルタワー７０は、赤色信号灯７０Ｒと、黄色信号灯７０Ｙと、緑色信号灯７０Ｇとを有する。上述した撮像により、画像処理装置３０は、シグナルタワー７０を被写体として含む画像データＧ１を取得する。

詳しくは、各信号灯７０Ｒ，７０Ｙ，７０Ｇを点灯させた状態と、消灯させた状態とをカメラ１０で撮像する。これにより、点灯時の画像データＧ１と、消灯時の画像データＧ１とが得られることになる。以下では、これらの撮像処理を含めた事前設定の流れを説明する。

図７は、事前設定の処理の流を説明するためのフロー図である。
ステップＳ１１において、ユーザは、モデルとなるシグナルタワー７０の各信号灯７０Ｒ，７０Ｙ，７０Ｇを消灯させた状態で、当該モデルとなるシグナルタワー７０をカメラ１０で撮像する。画像処理装置３０は、当該撮像により得られた消灯時の画像データＧ１を取得する。なお、モデルとなるシグナルタワー７０は、工場９０に設置されたシグナルタワーであってもよいし、同種のシグナルタワーであれば、それ以外のものであってもよい。

ステップＳ１２において、画像処理装置３０は、各々が消灯しているときの各信号灯７０Ｒ，７０Ｙ，７０Ｇの色情報（画素値（Ｈ，Ｓ，Ｖ））を学習する。ステップＳ１３において、画像処理装置３０は、消灯時の画像データＧ１を用いて、各信号灯７０Ｒ，７０Ｙ，７０Ｇの配列（上下の位置関係）を学習する。

ステップＳ１４において、ユーザは、モデルとなるシグナルタワー７０の各信号灯７０Ｒ，７０Ｙ，７０Ｇを点灯させた状態で、当該モデルとなるシグナルタワー７０をカメラ１０で撮像する。画像処理装置３０は、当該撮像により得られた点灯時の画像データＧ１を取得する。

ステップＳ１２において、画像処理装置３０は、各々が点灯しているときの各信号灯７０Ｒ，７０Ｙ，７０Ｇの色情報（画素値（Ｈ，Ｓ，Ｖ））を学習する。

以上の処理により、画像処理装置３０は、学習データＤ１を生成する。
なお、各信号灯７０Ｒ，７０Ｙ，７０Ｇの画素値（Ｈ，Ｓ，Ｖ）を学習する際、消灯時の画像データＧ１および点灯時の画像データＧ１に対して、ガウスぼかし等の画像処理を行なっておくことが好ましい。同じ色みの領域であっても、ＨＳＶの値にはかなりの相違が生じるためのである。

図８は、学習データＤ１のデータ構造例を表した図である。
図８を参照して、学習データＤ１においては、モデルにしたシグナルタワー７０のメーカ名と、型番と、各信号灯の色と、順序と、状態と、画素値と、色相（Ｈ）に関する許容誤差とが対応付けられている。本例の場合、学習データＤ１には、各信号灯の色として、「赤」と、「黄」と、「緑」とが格納される。

また、学習データＤ１では、「赤」に対して、順序情報として、上から一番目を表す識別情報「１」が格納される。同様に、学習データＤ１では、「黄」に対して、順序情報として、上から二番目を表す識別情報「２」が格納される。また、学習データＤ１では、「緑」に対して、順序情報として、上から三番目を表す識別情報「３」が格納される。

学習データＤ１において、各信号灯７０Ｒ，７０Ｙ，７０Ｇについて、点灯時と消灯時とのＨＳＶ色空間における画素値が対応付けて格納される。たとえば、赤色の信号灯７０Ｒについては、点灯時の画素値として、ＨＳＶ＝（Ｈ１，Ｓ１，Ｖ１）が対応付けられ、消灯時の画素値として、ＨＳＶ＝（Ｈ２，Ｓ２，Ｖ２）が対応付けられる。

学習データＤ１においては、各画素値に対して、許容誤差が設定されている。詳しくは、ＨＳＶ色空間においては、各画素値の色相に対して許容誤差が設定されている。本例の場合、各色相の値Ｈ１〜Ｈ６に対して、同じ値の許容誤差（±Ｈｎ）が対応付けられている。許容誤差は、典型的には、ユーザによって入力される。

なお、学習データＤ１における色と順序との対応付けの箇所の情報が、配列データの一例である。

以上のように、モデルにしたシグナルタワー７０の撮像により、配列データを含む学習データＤ１を生成することが可能となる。

なお、上述したように、学習データＤ１を生成することなく、メーカ毎かつ製品（型番）毎に、このようなデータを、画像処理装置３０にプリセットさせておいてもよい。この場合には、ユーザは、メーカ名および型番を選択するユーザ操作を画像処理装置３０に対して行うことにより、複数のプリセットデータの中から利用するプリセットデータを選択すればよい。

（ｃ２．検索対象色の仮決定）
次に、図５におけるステップＳ２の処理について説明する。

図８に示したように、学習データＤ１が生成されると、画像処理装置３０は、学習データＤ１を用いて探索対象色の仮決定を行う。画像処理装置３０は、色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）のうちの色相（Ｈ）のみに基づき、探索対象色を仮決定する。

具体的には、画像処理装置３０は、学習データＤ１を参照し、点灯時の赤色の探索対象色を、Ｈ１−Ｈｎ≦Ｈ≦Ｈ１＋Ｈｎの条件を満たす色とする。また、画像処理装置３０は、消灯時の赤色の探索対象色を、Ｈ２−Ｈｎ≦Ｈ≦Ｈ２＋Ｈｎの条件を満たす色とする。

同様に、画像処理装置３０は、点灯時の黄色の探索対象色を、Ｈ３−Ｈｎ≦Ｈ≦Ｈ３＋Ｈｎの条件を満たす色とする。また、画像処理装置３０は、消灯時の黄色の探索対象色を、Ｈ４−Ｈｎ≦Ｈ≦Ｈ４＋Ｈｎの条件を満たす色とする。

さらに、画像処理装置３０は、点灯時の緑色の探索対象色を、Ｈ５−Ｈｎ≦Ｈ≦Ｈ５＋Ｈｎの条件を満たす色とする。また、画像処理装置３０は、消灯時の緑色の探索対象色を、Ｈ６−Ｈｎ≦Ｈ≦Ｈ６＋Ｈｎの条件を満たす色とする。

探索対象色の仮決定に色相（Ｈ）のみを用いる理由は、工場９０内の実環境では、彩度（Ｓ）および明度（Ｖ）については学習用データとは差異が大きくなる可能性があるためである。色相のみを用いることにより、精度の高い領域探索（抽出）が可能なる。

上記の条件をまとめると、以下のとおりである。
赤色の探索対象色（点灯時）： Ｈ１−Ｈｎ≦Ｈ≦Ｈ１＋Ｈｎ … （条件Ｑ１）
赤色の探索対象色（消灯時）： Ｈ２−Ｈｎ≦Ｈ≦Ｈ２＋Ｈｎ … （条件Ｑ２）
黄色の探索対象色（点灯時）： Ｈ３−Ｈｎ≦Ｈ≦Ｈ３＋Ｈｎ … （条件Ｑ３）
黄色の探索対象色（消灯時）： Ｈ４−Ｈｎ≦Ｈ≦Ｈ４＋Ｈｎ … （条件Ｑ４）
緑色の探索対象色（点灯時）： Ｈ５−Ｈｎ≦Ｈ≦Ｈ５＋Ｈｎ … （条件Ｑ５）
緑色の探索対象色（消灯時）： Ｈ６−Ｈｎ≦Ｈ≦Ｈ６＋Ｈｎ … （条件Ｑ６）
（ｃ３．領域の検索）
次に、図５におけるステップＳ３の処理について説明する。以下では、各シグナルタワー７０の各色の信号灯７０Ｒ，７０Ｙ，７０Ｇを一斉点灯させる場合と、個別に点灯させる場合とに分けて説明する。

（１）一斉点灯
まず、各シグナルタワー７０の各色の信号灯７０Ｒ，７０Ｙ，７０Ｇを消灯（全消灯）させた状態で、条件Ｑ２，Ｑ４，Ｑ６を満たす領域の探索を行う。画像処理装置３０は、全ての信号灯を消灯状態としたときに撮像された画像データをカメラ１０から取得し、当該画像データ内において領域の探索を行う。

図９は、全消灯時における領域の探索処理の流れを表したフロー図である。
図９を参照して、ステップＳ３１において、画像処理装置３０は、１つの画素を選択する。ステップＳ３２において、画像処理装置３０は、選択された画素の画素値（詳しくは、色相（Ｈ））が、上述した条件Ｑ２，Ｑ４，Ｑ６のいずれかの条件を満たすか否かを判断する。具体的には、画像処理装置３０は、選択された画素の色相と、学習データＤ１に示した画素値における色相Ｈ２，Ｈ４，Ｈ６との差異が許容誤差±Ｈｎの範囲内であるか否かを判断する。

画像処理装置３０は、条件を満たすと判断した場合（ステップＳ３２においてＹＥＳ）、ステップＳ３３において、座標と画素値（ＨＳＶの値）とを関連付けて記憶する。画像処理装置３０は、条件を満たさないと判断した場合（ステップＳ３２においてＮＯ）、処理をステップＳ３４に進める。

ステップＳ３４において、画像処理装置３０は、全画素の判定が終了したか否かを判断する。画像処理装置３０は、終了していないと判断した場合（ステップＳ３４においてＮＯ）、ステップＳ３５において、次の画素を選択する。画素の選択は、典型的には、規則性を持って行われる。画像処理装置３０は、たとえば、右隣の画素を選択したり、右隣の画素がない場合には次の行の一番左側の画素を選択する。

画像処理装置３０は、全画素の判定が終了したと判断した場合（ステップＳ３４においてＹＥＳ）、ステップＳ３６において、条件Ｑ２，Ｑ４，Ｑ６毎に領域の仮決定を行う。典型的には、画像処理装置３０は、条件Ｑ２を満たした画素が集まっている領域と、条件Ｑ４を満たした画素が集まっている領域と、条件Ｑ６を満たした画素が集まっている領域とを決定する。なお、「条件を満たしている画素が集まっている領域」とは、典型的には、所定の割合以上、当該条件を満たした画素が含まれる領域を意味する。

次いで、各シグナルタワー７０の各色の信号灯７０Ｒ，７０Ｙ，７０Ｇを点灯（全点灯）させた状態で、条件Ｑ１，Ｑ３，Ｑ５を満たす領域の探索を行う。画像処理装置３０は、全ての信号灯を点灯状態としたときに撮像された画像データをカメラ１０から取得し、当該画像データ内において領域の探索を行う。

なお、画像処理装置３０の上記の機器（サーバ装置５０，ＰＬＣ４０）から全ての信号灯の点灯指示を受け付けることにより、全ての信号灯７０Ｒ，７０Ｙ，７０Ｇを点灯状態とすることができる。

図１０は、全点灯時における領域の探索処理の流れを表したフロー図である。
図１０を参照して、ステップＳ３１において、画像処理装置３０は、１つの画素を選択する。ステップＳ３２Ａにおいて、画像処理装置３０は、選択された画素の画素値（詳しくは、色相（Ｈ））が、上述した条件Ｑ１，Ｑ３，Ｑ５のいずれかの条件を満たすか否かを判断する。具体的には、画像処理装置３０は、選択された画素の色相と、学習データＤ１に示した画素値における色相Ｈ１，Ｈ３，Ｈ５との差異が許容誤差±Ｈｎの範囲内であるか否かを判断する。

画像処理装置３０は、条件を満たすと判断した場合（ステップＳ３２ＡにおいてＹＥＳ）、ステップＳ３３において、座標と画素値（ＨＳＶの値）とを関連付けて記憶する。画像処理装置３０は、条件を満たさないと判断した場合（ステップＳ３２ＡにおいてＮＯ）、処理をステップＳ３４に進める。

ステップＳ３４において、画像処理装置３０は、全画素の判定が終了したか否かを判断する。画像処理装置３０は、終了していないと判断した場合（ステップＳ３４においてＮＯ）、ステップＳ３５において、次の画素を選択する。

画像処理装置３０は、全画素の判定が終了したと判断した場合（ステップＳ３４においてＹＥＳ）、ステップＳ３６において、条件Ｑ１，Ｑ３，Ｑ５毎に領域の仮決定を行う。典型的には、画像処理装置３０は、条件Ｑ１を満たした画素が集まっている領域と、条件Ｑ３を満たした画素が集まっている領域と、条件Ｑ５を満たした画素が集まっている領域とを決定する。

なお、上記のように一斉点灯を実施する構成の場合、条件Ｑ１，Ｑ３，Ｑ５（あるいは、条件Ｑ２，Ｑ４，Ｑ６）を満たした画素が集まっている領域が、どのシグナルタワー７０のどの信号灯７０Ｒ，７０Ｙ，７０Ｇに対応する領域であるかを区別可能なように、ユーザ入力等による関連付けを行う必要がある。

（２）個別点灯
次に、一斉点灯（一括制御）の代わりに、ユーザが各信号灯７０Ｒ，Ｙ，Ｇを個別に点灯させることにより、領域を決定する構成について説明する。

図１１は、領域の探索の際に行う操作を説明するための図である。
図１１を参照して、カメラ１０により、シグナルタワー７１〜７７を含む被写体の録画（動画像の撮像）を開始する。なお、録画開始時には、各シグナルタワー７１〜７７の各色の信号灯は消灯状態にあるものとする。

ユーザは、シグナルタワー７１の設置位置で赤色信号灯７１Ｒを一時的に点灯させる操作を行なう。次いで、ユーザは、赤色信号灯７１Ｒを消灯させた後、シグナルタワー７１の黄色信号灯７１Ｙを一時的に点灯させる操作を行なう。次いで、ユーザは、黄色信号灯７１Ｙを消灯させた後、シグナルタワー７１の緑色信号灯７１Ｇを一時的に点灯させる操作を行なう。

その後、ユーザは、緑色信号灯７１Ｇを消灯させた後、シグナルタワー７２の設置位置で赤色信号灯７２Ｒを一時的に点灯させる操作を行なう。次いで、ユーザは、赤色信号灯７２Ｒを消灯させた後、シグナルタワー７２の黄色信号灯７２Ｙを一時的に点灯させる操作を行なう。次いで、ユーザは、黄色信号灯７２Ｙを消灯させた後、シグナルタワー７２の緑色信号灯７２Ｇを一時的に点灯させる操作を行なう。

その後、ユーザは、シグナルタワー７３の設置位置で、上述した処理を繰り返す。さらに、ユーザは、シグナルタワー７４〜７７の設置位置で、上述した処理を繰り返す。

図１１の例の場合、期間Ｔ１において、シグナルタワー７１の赤色信号灯７１Ｒが点灯状態にある。つまり、録画データにおける期間Ｔ１の画像データは、少なくともシグナルタワー７１の赤色信号灯７１Ｒの点灯時の画像データである。そこで、画像処理装置３０は、期間Ｔ１の画像データにおいて、点灯時の赤色の探索対象色の条件Ｑ１を満たす領域を探索する。これにより、画像処理装置３０は、条件Ｑ１を満たした画素が集まっている領域を判定できる（ステップＳ３６に対応）。

さらに、画像処理装置３０は、ユーザ入力等に基づき、条件Ｑ１を満たした画素が集まっている領域を、シグナルタワー７１の赤色信号灯７１Ｒの領域に紐付けることも可能となる。

次に、画像処理装置３０は、期間Ｔ２の画像データにおいて、点灯時の黄色の探索対象色の条件Ｑ３を満たす領域を探索する。これにより、画像処理装置３０は、条件Ｑ３を満たした画素が集まっている領域を判定できる（ステップＳ３６に対応）。さらに、画像処理装置３０は、ユーザ入力等に基づき、条件Ｑ３を満たした画素が集まっている領域を、シグナルタワー７１の赤色信号灯７１Ｙの領域に紐付けることも可能となる。

次に、画像処理装置３０は、期間Ｔ３の画像データにおいて、点灯時の緑色の探索対象色の条件Ｑ５を満たす領域を探索する。これにより、画像処理装置３０は、条件Ｑ５を満たした画素が集まっている領域を判定できる（ステップＳ３６に対応）。さらに、画像処理装置３０は、ユーザ入力等に基づき、条件Ｑ５を満たした画素が集まっている領域を、シグナルタワー７１の赤色信号灯７１Ｇの領域に紐付けることも可能となる。

このような操作を、残りのシグナルタワー７０においても順次実行することにより、条件Ｑ１，Ｑ３，Ｑ５を満たした画素が集まっている領域が判断できる。さらに、これらの領域が、どのシグナルタワー７０のどの信号灯７０Ｒ，７０Ｙ，７０Ｇに対応する領域であるかを区別可能となる。

また、何れの信号灯も点灯していない期間の画像データを利用することにより、条件Ｑ２，Ｑ４，Ｑ６を満たした画素が集まっている領域も判断できる。さらに、上記に示した紐付け処理をこの場合にも実行することにより、これらの領域が、どのシグナルタワー７０のどの信号灯７０Ｒ，７０Ｙ，７０Ｇに対応する領域であるかについても区別可能となる。

（ｃ４．絞り込み）
（１）配列データの利用
画像処理装置３０は、上述した領域の検索処理によって仮決定された、条件Ｑ１を満たした画素が集まっている領域と、条件Ｑ３を満たした画素が集まっている領域と、条件Ｑ５を満たした画素が集まっている領域とのうちから、領域の絞り込みを行う。まず、絞り込みを行う理由を説明する。

図１２は、カメラ１０による撮像によって取得された画像データＧ２’を表した図である。

図１２を参照して、画像データＧ２’には、シグナルタワー７０の信号灯ではない黄色の物体が含まれている。このため、画像処理装置３０は、この物体の領域の色相（Ｈ）が条件Ｑ３を満たす場合、この領域を黄色信号灯７０Ｙの領域であると、誤検知してしまう。このような誤検知を排除するため、画像処理装置３０は、学習データＤ１（図８参照）に含まれる配列データを利用する。

図１３は、絞込処理の流れを説明するためのフロー図である。
図１３を参照して、ステップＳ４１において、画像処理装置３０は、条件Ｑ１を満たした画素が集まっている領域（以下、「赤色の領域」とも称する）の周辺が、条件Ｑ３を満たした画素が集まっている領域（以下、「黄色の領域」とも称する）であるか否かを判断する。赤色の領域は複数存在するため、画像処理装置３０は、領域毎に上記の判断を実行する。

画像処理装置３０は、赤色の領域の周辺が黄色の領域であると判断した場合（ステップＳ４１においてＹＥＳ）、ステップＳ４２において、当該赤色の領域を赤色信号灯７０Ｒの領域として処理する。画像処理装置３０は、赤色の領域の周辺が黄色の領域でないと判断した場合（ステップＳ４１においてＮＯ）、ステップＳ４３において、当該赤色の領域を赤色信号灯７０Ｒの領域ではないと判断する。このようにして、条件Ｑ１を満たした画素が集まっている領域（赤色の領域）から、赤色信号灯７０Ｒの領域を絞り込む。

ステップＳ４４において、画像処理装置３０は、条件Ｑ３を満たした画素が集まっている領域（黄色の領域）の周辺が、条件Ｑ１を満たした画素が集まっている領域（赤色の領域）と条件Ｑ５を満たした画素が集まっている領域（以下、「緑色の領域」とも称する）であるか否かを判断する。黄色の領域は複数存在するため、画像処理装置３０は、領域毎に上記の判断を実行する。

画像処理装置３０は、黄色の領域の周辺が赤色の領域と緑色の領域とであると判断した場合（ステップＳ４４においてＹＥＳ）、ステップＳ４５において、当該黄色の領域を黄色信号灯７０Ｙの領域として処理する。画像処理装置３０は、黄色の領域の周辺が赤色の領域と緑色の領域とではないと判断した場合（ステップＳ４４においてＮＯ）、ステップＳ４６において、当該黄色の領域を黄色信号灯７０Ｙの領域ではないと判断する。このようにして、条件Ｑ３を満たした画素が集まっている領域（黄色の領域）から、黄色信号灯７０Ｙの領域を絞り込む。

ステップＳ４７において、画像処理装置３０は、条件Ｑ５を満たした画素が集まっている領域（緑色の領域）の周辺が、条件Ｑ３を満たした画素が集まっている領域（黄色の領域）であるか否かを判断する。緑色の領域は複数存在するため、画像処理装置３０は、領域毎に上記の判断を実行する。

画像処理装置３０は、緑色の領域の周辺が黄色の領域であると判断した場合（ステップＳ４７においてＹＥＳ）、ステップＳ４２において、当該緑色の領域を緑色信号灯７０Ｇの領域として処理する。画像処理装置３０は、緑色の領域の周辺が黄色の領域でないと判断した場合（ステップＳ４７においてＮＯ）、ステップＳ４９において、当該緑色の領域を緑色信号灯７０Ｇの領域ではないと判断する。このようにして、条件Ｑ５を満たした画素が集まっている領域（緑色の領域）から、緑色信号灯７０Ｇの領域を絞り込む。

なお、上記においては、条件Ｑ１を満たした画素が集まっている領域と、条件Ｑ３を満たした画素が集まっている領域と、条件Ｑ５を満たした画素が集まっている領域とのうちから領域の絞り込みを行ったが、これに限定されるものではない。画像処理装置３０は、条件Ｑ２を満たした画素が集まっている領域と、条件Ｑ４を満たした画素が集まっている領域と、条件Ｑ６を満たした画素が集まっている領域とのうちから、上述した領域の絞り込みを行ってもよい。

（２）重複していない領域の排除
上述した絞込処理の精度を上げるために、以下の処理を併用してもよい。あるいは、上述した絞込処理の代わりに、以下の処理によって絞り込みを行なってもよい。

領域探索部３１３による上述した領域の探索処理（「（ｃ３．領域の検索）」参照）において、画像処理装置３０は、全消灯時において、条件Ｑ２を満たした画素が集まっている領域と、条件Ｑ４を満たした画素が集まっている領域と、条件Ｑ６を満たした画素が集まっている領域とを決定した。さらに、画像処理装置３０は、全点灯時において、条件Ｑ１を満たした画素が集まっている領域と、条件Ｑ３を満たした画素が集まっている領域と、条件Ｑ５を満たした画素が集まっている領域とを決定した。

ところで、条件Ｑ２を満たした画素が集まっている領域と、条件Ｑ１を満たした画素が集まっている領域とは、大部分が重複しているはずである。同様に、条件Ｑ４を満たした画素が集まっている領域と、条件Ｑ３を満たした画素が集まっている領域とは、大部分が重複しているはずである。条件Ｑ６を満たした画素が集まっている領域と、条件Ｑ５を満たした画素が集まっている領域とは、大部分が重複しているはずである。

したがって、条件Ｑ１を満たした画素が集まっている領域と、条件Ｑ２を満たした画素が集まっている領域との重複領域を、赤色信号灯７０Ｒの領域として処理してもよい。同様に、条件Ｑ３を満たした画素が集まっている領域と、条件Ｑ４を満たした画素が集まっている領域との重複領域を、黄色信号灯７０Ｙの領域として処理してもよい。条件Ｑ５を満たした画素が集まっている領域と、条件Ｑ６を満たした画素が集まっている領域との重複領域を、緑色信号灯７０Ｇの領域として処理してもよい。

（ｃ５．領域および検索対象色の本決定）
次に、領域（座標）の本決定と検索対象色の本決定とについて説明する。

図１４は、赤色信号灯７０Ｒの領域を表した図である。
図１４を参照して、領域１３０１は、赤色信号灯７０Ｒの領域として絞り込まれた領域を表している。領域１３０１は、通常は、不定型な外形を有する。画像処理装置３０にとっては、定型な外形の領域の方がデータ処理に都合がよい。そこで、画像処理装置３０は、領域１３０１内から、領域１３０１に内接する矩形状の領域１３０２を抽出する。

画像処理装置３０は、抽出された領域１３０２を検索対象領域に本決定する。なお、赤色信号灯７０Ｒの領域として絞り込まれた領域は、赤色信号灯７０Ｒの数（図１等の場合には７個）だけ存在するため、画像処理装置３０は、当該領域毎に内接する矩形状の領域を抽出し、かつ抽出された領域１３０２を検索対象領域に本決定する。

同様に、黄色信号灯７０Ｙの領域として絞り込まれた領域と、緑色信号灯７０Ｇの領域として絞り込まれた領域とに対しても、赤色信号灯７０Ｒの領域として絞り込まれた領域に対して行った処理を実行する。

これにより、シグナルタワー７０毎に、画像データＧ２における各色信号灯７０Ｒ，Ｇ，Ｂの領域（座標）が本決定（確定）する。

次に、画像処理装置３０は、下記のようにして検索対象色を本決定する。画像処理装置３０は、上述した矩形領域に含まれる画素の画素値に基づいて、検索対象色を本決定する。具体的には、画像処理装置３０は、各信号灯に関し、消灯していると判断するための検索対象色（以下、「消灯時の検索対象色」，「消灯時の基準色」とも称する）と、点灯していると判断するための検索対象色（以下、「点灯時の検索対象色」，「点灯時の基準色」とも称する）とを本決定する。

より詳しくは、画像処理装置３０は、図９のステップＳ３３で関連付けて記憶された画素値に基づき、消灯時の検索対象色を決定する。また、画像処理装置３０は、図１０のステップＳ３３で関連付けて記憶された画素値に基づき、点灯時の検索対象色を決定する。

典型的には、画像処理装置３０は、図９のステップＳ３３で関連付けて記憶された画素値のうち矩形領域に含まれる画素の画素値の平均を算出する。具体的には、画像処理装置３０は、矩形領域内の各画素の色相の平均と、矩形領域内の各画素の明度の平均と、矩形領域内の各画素の彩度の平均とを算出する。画像処理装置３０は、画素の画素値の平均値を、消灯時の検索対象色に本決定する。なお、画像処理装置３０は、矩形領域毎に、消灯時の検索対象色を本決定する。

同様に、画像処理装置３０は、図１０のステップＳ３３で関連付けて記憶された画素値のうち矩形領域に含まれる画素の画素値の平均を算出する。具体的には、画像処理装置３０は、矩形領域内の各画素の色相の平均と、矩形領域内の各画素の明度の平均と、矩形領域内の各画素の彩度の平均とを算出する。画像処理装置３０は、画素の画素値の平均値を、点灯時の検索対象色に本決定する。なお、画像処理装置３０は、矩形領域毎に、点灯時の検索対象色を本決定する。

矩形領域毎に上記の処理を行なう理由は、少なくとも、モデルとなるシグナルタワー７０以外のシグナルタワー７０は、学習時とは異なる環境に置かれるためである。また、各シグナルタワー７０の設置位置も互いに異なるためである。

特に、上記のように、色相のみならず、明度および彩度の平均を利用して検索対象色を本決定することにより、各シグナルタワー７０の設置環境（場所）に影響する各種のファクタを考慮することが可能となる。それゆえ、画像処理装置３０によれば、各信号灯の点灯と消灯との判定を精度よく実行することが可能となる。

図１５は、領域および検索対象色の本決定が終了した後に得られるデータテーブルＤ２（図３参照）を表した図である。

図１５を参照して、データテーブルＤ２においては、シグナルタワー７０の識別番号と、色と、座標と、状態と、画素値と、許容誤差とが対応付けられている。

座標は、本決定された領域を表している。一例として、当該領域は、矩形領域であるために、領域の左上の座標と、領域の右下の座標とがデータテーブルＤ２に格納される。

画素値は、本決定された検索対象色を表している。データテーブルＤ２においては、１番目のシグナルタワー７０の赤色信号灯７０Ｒ（たとえば、シグナルタワー７１の信号灯７１Ｒ）の点灯を判別するための画素値として、（Ｈ，Ｓ，Ｖ）＝（Ｈ１’，Ｓ１’，Ｖ１’）が格納されている。データテーブルＤ２には、当該赤色信号灯７０Ｒの消灯を判別するための画素値として、（Ｈ，Ｓ，Ｖ）＝（Ｈ２’，Ｓ２’，Ｖ２’）が格納されている。

同様に、データテーブルＤ２には、１番目のシグナルタワー７０の黄色信号灯７０Ｙの点灯を判別するための画素値（Ｈ３’，Ｓ３’，Ｖ３’）および消灯を判別するための画素値（Ｈ４’，Ｓ４’，Ｖ４’）と、１番目のシグナルタワー７０の緑色信号灯７０Ｇの点灯を判別するための画素値（Ｈ５’，Ｓ５’，Ｖ５’）および消灯を判別するための画素値（Ｈ６’，Ｓ６’，Ｖ６’）とが格納されている。

また、データテーブルＤ２においては、色相と明度と彩度との各許容誤差が各画素値に対応付けて記憶されている。本例では、許容誤差が各画素値で一定の場合を例に挙げている。具体的には、色相の許容誤差が±Ｈｎであり、明度の許容誤差が±Ｓｎであり、かつ彩度の許容誤差が±Ｖｎである場合を例に挙げている。

画像処理装置３０は、実運用時においては、データテーブルＤ２の情報を用いて、各シグナルタワー７０の各信号灯７０Ｒ，７０Ｙ，７０Ｇが点灯状態にあるのか、消灯状態にあるのかを判別する。また、画像処理装置３０は、点灯状態と消灯状態との時間間隔に基づき、各信号灯７０Ｒ，７０Ｙ，７０Ｇが点滅状態にあるのかも判断する。さらに、画像処理装置３０は、シグナルタワー７０における各信号灯の点灯および消灯に基づく、発光パターンも識別することもできる。

なお、上記においては、色相のみならず、明度と、彩度と、これらの誤差とを用いて、各シグナルタワー７０の各信号灯７０Ｒ，７０Ｙ，７０Ｇが点灯状態にあるのか、消灯状態にあるのかを判別する構成を例に挙げて説明したが、これに限定されるものではない。明度および彩度を利用せずに、色相および色相の誤差のみを用いて、点灯状態と消灯状態とを判定するように、画像処理装置３０を構成してもよい。

（ｃ６．確認操作）
図１６は、領域および探索対象色を本決定した後の確認画面を表した図である。

図１６を参照して、画像処理装置３０は、図５に示したステップＳ１〜Ｓ５のプロセスを経て、図１５に示すデータテーブルＤ２に示すデータを得たのち、ユーザに対して確認とエディットとを促す画面出力を行う。画像処理装置３０は、撮像された画像と、識別したシグナルタワーの位置を示す枠を透過合成した画面をディスプレイ６０に表示させる。

詳しくは、画像処理装置３０は、識別結果が正しければユーザが確定処理を行なえ、かつ正しくなければＨＭＩ操作によって補正を行える画面Ｚを、ディスプレイ６０に表示する。なお、ユーザは、確定処理の際には、画面タップまたはマウス操作によって確定ボタン１５０１を選択すればよい。また、補正のためのＨＭＩ操作としては、正しくない枠を画面タップする操作、またはカーソル１５０３の移動を含むマウス操作によって当該枠を選択する操作等が挙げられる。

また、画像処理装置３０は、設定されている許容誤差を表示し、ユーザが当該許容誤差を任意に変更可能である。元となる色情報が大きく異なっていることなどが理由により許容誤差の設定では対処できない場合には、ユーザは、キャンセルボタン１５０２の選択操作によりステップＳ１の事前設定に戻って再度やり直すことができる。

＜Ｄ．付記＞
〔構成１〕
複数の積層表示灯が設置された場所を撮像する撮像装置（１０）と、
前記撮像装置（１０）に通信可能に接続された画像処理装置（３０）とを備え、
前記画像処理装置（３０）は、
各前記積層表示灯（７０）における各色の信号灯（７０Ｒ，７０，Ｙ，７０Ｇ）の積層の配列を表した配列データを記憶した記憶部（３２０）と、
前記撮像によって得られた第１の画像データ（Ｇ２）と、前記配列データとに基づいて、各前記積層表示灯（７０）に含まれる前記各色の信号灯の前記第１の画像データ（Ｇ２）内での画像領域を決定する制御部（３１０）とを有する、画像処理システム。

〔構成２〕
各前記積層表示灯（７０）は、前記各色の信号灯として、第１の色の第１の信号灯（７０Ｙ）と、前記第１の信号灯（７０Ｙ）に積層された第２の色の第２の信号灯（７０Ｒ）とを含み、
前記配列データは、前記第１の画像データ内において前記第１の信号灯（７０Ｙ）の上側に前記第２の信号灯（７０Ｒ）が位置することを規定しており、
前記記憶部（３２０）は、前記第１の色に区分される第１の画素値と、第２の色に区分される第２の画素値とをさらに記憶しており、
前記制御部（３１０）は、前記第１の画素値と前記第２の画素値と前記配列データとに基づき、前記第１の信号灯（７０Ｙ）の前記第１の画像データ内での第１の画像領域と、前記第２の信号灯（７０Ｒ）の前記第１の画像データ内での第２の画像領域とを決定する、構成１に記載の画像処理システム。

〔構成３〕
前記制御部（３１０）は、
前記複数の積層表示灯（７０）のうちの１つを前記撮像装置（１０）で撮像することによって得られた第２の画像データ（Ｇ１）に基づいて、前記第１の色の画素値と前記第２の色の画素値とを算出し、
算出された前記第１の色の画素値を前記第１の画素値として前記記憶部（３２０）に記憶させ、かつ算出された前記第２の色の画素値を前記第２の画素値として前記記憶部（３２０）に登録させる、構成２に記載の画像処理システム。

〔構成４〕
前記画像処理装置（３０）は、前記第２の画像データ（Ｇ１）に基づいて、前記配列データを生成する、構成３に記載の画像処理システム。

〔構成５〕
前記第１の画素値および前記第２の画素値の各々は、色相と、彩度と、明度とで規定され、
前記制御部（３１０）は、
前記第１の画素値の色相と前記第１の画像データにおける各画素の色相との第１の差異と、前記第２の画素値の色相と各前記画素の色相との第２の差異とを算出し、
前記配列データを用いて、前記第１の差異が予め定められた範囲内となる前記画素によって形成される領域のうちから前記第１の画像領域を抽出するとともに、前記第２の差異が前記予め定められた範囲内となる前記画素によって形成される領域のうちから前記第２の画像領域を抽出する、構成２から４のいずれか１項に記載の画像処理システム。

〔構成６〕
前記制御部（３１０）は、
前記複数の積層表示灯（７０）のうちの第１の積層表示灯（７１）の前記第１の信号灯（７０Ｙ）が点灯しているときの、当該第１の信号灯（７０Ｙ）に対応する前記第１の画像領域内の各画素の画素値の平均値を、前記第１の積層表示灯（７１）の前記第１の信号灯（７０Ｙ）の点灯時の基準色に設定し、
前記第１の積層表示灯（７１）の前記第１の信号灯（７０Ｙ）が消灯しているときの、当該第１の信号灯（７０Ｙ）に対応する前記第１の画像領域内の各画素の画素値の平均値を、前記第１の積層表示灯（７１）の前記第１の信号灯（７０Ｙ）の消灯時の基準色に設定する、構成５に記載の画像処理システム。

〔構成７〕
前記制御部（３１０）は、
前記複数の積層表示灯（７０）のうちの第２の積層表示灯（７２）の前記第１の信号灯（７０Ｙ）が点灯しているときの、当該第１の信号灯（７０Ｙ）に対応する前記第１の画像領域内の各画素の画素値の平均値を、前記第２の積層表示灯（７２）の前記第１の信号灯（７０Ｙ）の点灯時の基準色に設定し、
前記第２の積層表示灯（７２）の前記第１の信号灯（７０Ｙ）が消灯しているときの、当該第１の信号灯（７０Ｙ）に対応する前記第１の画像領域内の各画素の画素値の平均値を、前記第２の積層表示灯（７２）の前記第１の信号灯（７０Ｙ）の消灯時の基準色に設定する、構成６に記載の画像処理システム。

〔構成８〕
前記制御部（３１０）は、前記第１の積層表示灯（７１）の前記第１の信号灯（７０Ｙ）の点灯時の基準色と消灯時の基準色と基づき、前記第１の積層表示灯（７１）の前記第１の信号灯（７０Ｙ）の点灯および消灯を判断する、構成６または７に記載の画像処理システム。

〔構成９〕
複数の積層表示灯（７０）が設置された場所を撮像する撮像装置（１０）から、前記場所の画像データを取得するステップと、
取得された前記画像データと、各前記積層表示灯（７０）における各色の信号灯の積層の配列を表した配列データとに基づいて、各前記積層表示灯（７０）に含まれる前記各色の信号灯の前記画像データ内での画像領域を決定するステップとを備える、画像処理方法。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 画像処理システム、１０ カメラ、３０ 画像処理装置、４０ ＰＬＣ、５０ サーバ装置、６０ ディスプレイ、７０〜７７ シグナルタワー、７０Ｒ，７１Ｒ，７２Ｒ 赤色信号灯、７０Ｙ，７１Ｙ，７２Ｙ 黄色信号灯、７０Ｇ，７１Ｇ，７２Ｇ 黄色信号灯、３１０ 制御部、３１１ 事前設定部、３１２ 探索対象色決定部、３１３ 領域探索部、３１４ 絞込処理部、３１５ 表示制御部、３２０ 記憶部、３３０ 取得部、３５０ 演算処理回路、３５１ メインプロセッサ、３５２ 画像処理専用プロセッサ、３６０ メモリ、３６１ ＲＯＭ、３６２ ＲＡＭ、３６３ フラッシュメモリ、３７０ 通信インターフェイス、７１１，７１２，７１３，１３０１，１３０２ 領域、１５０１ 確定ボタン、１５０２ キャンセルボタン、１５０３ カーソル、Ｄ１ 学習データ、Ｄ２ データテーブル、Ｇ１，Ｇ２ 画像データ。

Claims (9)

1. 複数の積層表示灯が設置された場所を撮像する撮像装置と、
   前記撮像装置に通信可能に接続された画像処理装置とを備え、
   前記画像処理装置は、
   各前記積層表示灯における各色の信号灯の積層の配列を表した配列データを記憶した記憶部と、
   前記撮像によって得られた第１の画像データと、前記配列データとに基づいて、各前記積層表示灯に含まれる前記各色の信号灯の前記第１の画像データ内での画像領域を決定し、かつ、決定された前記画像領域の座標値を前記記憶部に記憶させる制御部とを有し、
   前記制御部は、前記座標値が前記記憶部に記憶された後に前記撮像装置による撮像によって得られた第２の画像データと、前記座標値とに基づき、各前記積層表示灯に含まれる前記各色の信号灯の点灯および消灯を判断する、画像処理システム。
2. 各前記積層表示灯は、前記各色の信号灯として、第１の色の第１の信号灯と、前記第１の信号灯に積層された第２の色の第２の信号灯とを含み、
   前記配列データは、前記第１の画像データ内において前記第１の信号灯の上側に前記第２の信号灯が位置することを規定しており、
   前記記憶部は、前記第１の色に区分される第１の画素値と、第２の色に区分される第２の画素値とをさらに記憶しており、
   前記制御部は、
   前記第１の画素値と前記第２の画素値と前記配列データとに基づき、前記第１の信号灯の前記第１の画像データ内での第１の画像領域と、前記第２の信号灯の前記第１の画像データ内での第２の画像領域とを決定し、かつ、決定された前記第１の画像領域の座標値と前記第２の画像領域の座標値とを前記記憶部に記憶させ、
   前記第２の画像データと、前記第１の画像領域の座標値と前記第２の画像領域の座標値とに基づき、各前記積層表示灯に含まれる前記各色の信号灯の点灯および消灯を判断する、請求項１に記載の画像処理システム。
3. 前記制御部は、
   前記複数の積層表示灯のうちの１つを前記撮像装置で撮像することによって得られた第３の画像データに基づいて、前記第１の色の画素値と前記第２の色の画素値とを算出し、
   算出された前記第１の色の画素値を前記第１の画素値として前記記憶部に記憶させ、かつ算出された前記第２の色の画素値を前記第２の画素値として前記記憶部に記憶させる、請求項２に記載の画像処理システム。
4. 前記画像処理装置は、前記第３の画像データに基づいて、前記配列データを生成する、請求項３に記載の画像処理システム。
5. 前記第１の画素値および前記第２の画素値の各々は、色相と、彩度と、明度とで規定され、
   前記制御部は、
   前記第１の画素値の色相と前記第１の画像データにおける各画素の色相との第１の差異と、前記第２の画素値の色相と各前記画素の色相との第２の差異とを算出し、
   前記配列データを用いて、前記第１の差異が予め定められた範囲内となる前記画素によって形成される領域のうちから前記第１の画像領域を抽出するとともに、前記第２の差異が前記予め定められた範囲内となる前記画素によって形成される領域のうちから前記第２の画像領域を抽出する、請求項２から４のいずれか１項に記載の画像処理システム。
6. 前記制御部は、
   前記複数の積層表示灯のうちの第１の積層表示灯の前記第１の信号灯が点灯しているときの、当該第１の信号灯に対応する前記第１の画像領域内の各画素の画素値の平均値を、前記第１の積層表示灯の前記第１の信号灯の点灯時の基準色に設定し、
   前記第１の積層表示灯の前記第１の信号灯が消灯しているときの、当該第１の信号灯に対応する前記第１の画像領域内の各画素の画素値の平均値を、前記第１の積層表示灯の前記第１の信号灯の消灯時の基準色に設定する、請求項５に記載の画像処理システム。
7. 前記制御部は、
   前記複数の積層表示灯のうちの第２の積層表示灯の前記第１の信号灯が点灯しているときの、当該第１の信号灯に対応する前記第１の画像領域内の各画素の画素値の平均値を、前記第２の積層表示灯の前記第１の信号灯の点灯時の基準色に設定し、
   前記第２の積層表示灯の前記第１の信号灯が消灯しているときの、当該第１の信号灯に対応する前記第１の画像領域内の各画素の画素値の平均値を、前記第２の積層表示灯の前記第１の信号灯の消灯時の基準色に設定する、請求項６に記載の画像処理システム。
8. 前記制御部は、前記第１の積層表示灯の前記第１の信号灯の点灯時の基準色と消灯時の基準色と基づき、前記第１の積層表示灯の前記第１の信号灯の点灯および消灯を判断する、請求項６または７に記載の画像処理システム。
9. 複数の積層表示灯が設置された場所を撮像する撮像装置から、前記場所の第１の画像データを取得するステップと、
   取得された前記第１の画像データと、各前記積層表示灯における各色の信号灯の積層の配列を表した配列データとに基づいて、各前記積層表示灯に含まれる前記各色の信号灯の前記第１の画像データ内での画像領域を決定するステップと、
   決定された前記画像領域の座標値をメモリに記憶させるステップと、
   前記座標値が前記メモリに記憶された後に前記撮像装置による撮像によって得られた第２の画像データと、前記座標値とに基づき、各前記積層表示灯に含まれる前記各色の信号灯の点灯および消灯を判断するステップとを備える、画像処理方法。

Images