JPWO2020121626A1 - 画像処理装置、コンピュータプログラム、および画像処理システム - Google Patents

Abstract

画像処理装置は、検出対象に取り付けられるラベルを検出する画像処理装置であって、カメラで撮像されたカラーの画像を取得する画像取得部と、カメラの撮像範囲の明るさを判定する明るさ判定部と、明るさ判定部の判定結果に基づいて、所定数以上の色の領域を含むラベルに付される色の中から、１色以上の検出対象色を決定する検出対象色決定部と、画像取得部が取得した画像から、検出対象色決定部が決定した検出対象色の領域を抽出することにより、ラベルを検出するラベル検出部とを備える。

Description

本開示は、画像処理装置、コンピュータプログラム、および画像処理システムに関する。
本出願は、２０１８年１２月１２日出願の日本出願第２０１８−２３２１１７号に基づく優先権を主張し、前記日本出願に記載された全ての記載内容を援用するものである。

従来、複数の色領域を含むラベルが物体を認識するために用いられている。例えば、特許文献１には、ラベルの一例として、マークと呼ばれる色領域を複数含む二次元コードが開示されている。二次元コードに含まれるマークの色およびマークの位置により、所定の情報がエンコードされる。つまり、二次元コードは、所定の情報を表す。このため、カメラで二次元コードを撮影した画像から、複数のマークを検出し、検出したマークの色およびマークの位置に基づいて、情報をデコードすることができる。

特開２０１１−０７６３９５号公報

本開示の一実施態様に係る画像処理装置は、検出対象に取り付けられるラベルを検出する画像処理装置であって、カメラで撮像されたカラーの画像を取得する画像取得部と、前記カメラの撮像範囲の明るさを判定する明るさ判定部と、前記明るさ判定部の判定結果に基づいて、所定数以上の色の領域を含む前記ラベルに付される色の中から、１色以上の検出対象色を決定する検出対象色決定部と、前記画像取得部が取得した前記画像から、前記検出対象色決定部が決定した前記検出対象色の領域を抽出することにより、前記ラベルを検出するラベル検出部とを備える。
本開示の他の実施態様に係るコンピュータプログラムは、コンピュータを、検出対象に取り付けられるラベルを検出する画像処理装置として機能させるためのコンピュータプログラムであって、前記コンピュータを、カメラで撮像されたカラーの画像を取得する画像取得部と、前記カメラの撮像範囲の明るさを判定する明るさ判定部と、前記明るさ判定部の判定結果に基づいて、所定数以上の色の領域を含む前記ラベルに付される色の中から、１色以上の検出対象色を決定する検出対象色決定部と、前記画像取得部が取得した前記画像から、前記検出対象色決定部が決定した前記検出対象色の領域を抽出することにより、前記ラベルを検出するラベル検出部として機能させる。
本開示の他の実施態様に係る画像処理システムは、検出対象に取り付けられる、所定数以上の色の領域を含むラベルと、カラーの画像を撮影するカメラと、上述の画像処理装置とを備える。

なお、本開示は、このような特徴的な処理部を備える画像処理装置として実現することができるだけでなく、画像処理装置に含まれる特徴的な処理部が実行する処理をステップとして含む画像処理方法として実現することができる。また、上述のコンピュータプログラムを、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）等のコンピュータ読取可能な非一時的な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。また、本開示は、画像処理装置の一部又は全部を実現する半導体集積回路として実現することもできる。

図１は、実施の形態１に係る画像処理システムの取付例を示す図である。 図２は、実施の形態１に係る画像処理システムの構成を示すブロック図である。 図３Ａは、人物が被るヘルメットを側方から見た図である。 図３Ｂは、人物が被るヘルメットを上方から見た図である。 図４は、各色ラベルのマンセル表色系（ＪＩＳ Ｚ８７２１）における表現を示す図である。 図５は、各色ラベルの分光反射率を示す図である。 図６は、太陽光の分光分布を示す図である。 図７は、太陽光下の明るい環境で撮影されたラベルを模式的に示す図である。 図８は、白熱電球の光の分光分布を示す図である。 図９は、白熱電球光下の暗い環境で撮影されたラベルを模式的に示す図である。 図１０は、明暗基準ＤＢの一例を示す図である。 図１１Ａは、画像上の緑色領域と赤色領域との一例を示す図である。 図１１Ｂは、画像上の緑色領域と赤色領域との一例を示す図である。 図１２は、実施の形態１に係る画像処理装置が実行する処理の手順を示すフローチャートである。 図１３は、ヘルメットに貼り付けられたラベルの一例を示す図である。 図１４は、実施の形態２に係る画像処理装置が実行する処理の手順を示すフローチャートである。 図１５は、実施の形態２の変形例に係る画像処理装置が実行する処理の手順を示すフローチャートである。 図１６は、実施の形態３に係る画像処理システムの構成を示すブロック図である。 図１７は、明暗基準ＤＢの一例を示す図である。 図１８は、実施の形態４に係る画像処理システムの構成を示すブロック図である。 図１９は、明暗基準ＤＢの一例を示す図である。 図２０は、明暗基準ＤＢの一例を示す図である。 図２１は、人物を正面から見た図である。 図２２は、段ボール箱の外観図である。 図２３は、フォークリフトが走行する道路を模式的に示す図である。

［本開示が解決しようとする課題］
マークの色は、照明の影響を受けやすく、同じ色のマークであっても、照明が異なると、異なる色のマークとしてカメラに撮影される場合がある。具体的には、日中の屋外のように太陽光下で赤色マークを撮影した場合には、赤色マークが黄色く映る場合がある。また、屋内の白熱電球光下で青色マークを撮影した場合には、青色マークが黒く映る場合がある。マークが本来の色とは異なる色の領域として撮影された場合には、二次元コードの誤検出や、情報の誤認識を起こしてしまう。

本開示はこのような事情に鑑みてなされたものであり、照明の影響を受けずに、所定数以上の色領域を含むラベルを検出することのできる画像処理装置、コンピュータプログラム、および画像処理システムを提供することを目的とする。

［本開示の効果］
本開示によると、照明の影響を受けずに、所定数以上の色領域を含むラベルを検出することができる。

［本開示の実施形態の概要］
最初に本開示の実施形態の概要を列記して説明する。
（１）本開示の一実施形態に係る画像処理装置は、検出対象に取り付けられるラベルを検出する画像処理装置であって、カメラで撮像されたカラーの画像を取得する画像取得部と、前記カメラの撮像範囲の明るさを判定する明るさ判定部と、前記明るさ判定部の判定結果に基づいて、所定数以上の色の領域を含む前記ラベルに付される色の中から、１色以上の検出対象色を決定する検出対象色決定部と、前記画像取得部が取得した前記画像から、前記検出対象色決定部が決定した前記検出対象色の領域を抽出することにより、前記ラベルを検出するラベル検出部とを備える。

この構成によると、所定数以上の色の領域を含むラベルの色の中から、カメラの撮像範囲の明るさに基づいて、１色以上の検出対象色が決定される。これにより、明るさによっては色の見え方が変化するような色を除いて検出対象色を決定することができる。よって、検出対象色の領域を抽出することで、照明の影響を受けずに、ラベルを検出することができる。

（２）好ましくは、前記ラベルは、前記領域に再帰性反射材を含む。

再帰性反射材は、光の入射角と出射角が等しくなる性質を有している。このため、ラベルがいずれかの方向に傾いていたとしても、カメラの光軸方向に沿った光をラベルに照射することにより、カメラは当該光のラベルでの反射光を受光することができる。これにより、夜間でもラベルを高精度に検出することができる。

（３）また、前記明るさ判定部は、前記画像取得部が取得した前記画像、前記カメラから取得される明るさの調整に関する撮像パラメータ情報、および前記カメラの撮像範囲に含まれる位置に係る照度を計測する照度センサから取得される照度情報の少なくとも１つに基づいて、前記明るさを判定してもよい。

この構成によると、カメラの撮像範囲の明るさを容易に判定することができる。特に、画像または撮像パラメータに基づいて明るさを判定する場合には、明るさ判定のための特別な装置を設ける必要がないため、低コストで明るさを判定することができる。

（４）また、前記検出対象色決定部は、前記所定数以上の色のうち、少なくとも波長が最長の色および波長が最短の色以外の色である中間波長色を、前記検出対象色と決定してもよい。

カメラの撮像範囲が明るい場合には、波長の長い色が本来の色とは異なる色として撮影され、カメラの撮像範囲が暗い場合には、波長の短い色が本来の色とは異なる色として撮影される。このため、少なくともこれらの色を除く中間波長色は、照明の影響を受けにくい。よって、この構成によると、照明の影響を受けずに、ラベルを検出することができる。

（５）また、前記ラベル検出部は、前記中間波長色の領域から順に前記検出対象色の領域を抽出してもよい。

この構成によると、最も照明の影響を受けにくい中間波長色の領域から優先して、領域抽出を行うことができる。よって、中間波長色の領域が抽出できなかった場合には、他の検出対象色の領域を抽出する必要がなく、処理時間を短縮することができる。

（６）また、前記ラベルは、赤色領域、青色領域および緑色領域を含んでもよい。

光の三原色である赤色、青色および緑色は、波長が適度に離れた色同士である。このため、いずれか一色の領域が照明の影響を受けて本来の色とは異なる色領域として撮影された場合であっても、他の二色は照明の影響を受けずに、元の色の色領域として撮影される。よって、当該他の二色を検出対象色とすることにより、照明の影響を受けずに、ラベルを検出することができる。

（７）また、上述の画像処理装置は、さらに、前記ラベル検出部による検出結果に応じた情報を出力する出力部を備えてもよい。

この構成によると、例えば、ラベルを検出した際に、ラベルを検出したことを示す音声、アラーム音等の音をスピーカーから出力させたり、ラベルの検出結果を示す画像をディスプレイ装置に表示させたりできる。これにより、ユーザに、ラベルの検出結果を通知することができる。

（８）本開示の他の実施形態に係るコンピュータプログラムは、コンピュータを、検出対象に取り付けられるラベルを検出する画像処理装置として機能させるためのコンピュータプログラムであって、前記コンピュータを、カメラで撮像されたカラーの画像を取得する画像取得部と、前記カメラの撮像範囲の明るさを判定する明るさ判定部と、前記明るさ判定部の判定結果に基づいて、所定数以上の色の領域を含む前記ラベルに付される色の中から、１色以上の検出対象色を決定する検出対象色決定部と、前記画像取得部が取得した前記画像から、前記検出対象色決定部が決定した前記検出対象色の領域を抽出することにより、前記ラベルを検出するラベル検出部として機能させる。

この構成によると、コンピュータを、上述の画像処理装置として実現することができる。このため、上述の画像処理装置と同様の作用および効果を奏することができる。

（９）本開示の他の実施形態に係る画像処理システムは、検出対象に取り付けられる、所定数以上の色の領域を含むラベルと、カラーの画像を撮影するカメラと、上述の画像処理装置とを備える。

この構成には、上述の画像処理装置が含まれる。このため、上述の画像処理装置と同様の作用および効果を奏することができる。

［本開示の実施形態の詳細］
以下、本開示の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲によって特定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。

また、同一の構成要素には同一の符号を付す。それらの機能および名称も同様であるため、それらの説明は適宜省略する。

（実施の形態１）
以下、実施の形態１に係る画像処理システムについて説明する。
［画像処理システムの構成］
図１は、実施の形態１に係る画像処理システムの取付例を示す図である。図２は、実施の形態１に係る画像処理システムの構成を示すブロック図である。

以下では、フォークリフトにカメラおよび画像処理装置を設置した画像処理システムについて説明するが、カメラおよび画像処理装置の設置される場所はフォークリフトに限定されるものではない。例えば、自動車にこれらが取り付けられていてもよいし、カメラを所定エリアの監視用途に用いる場合には、当該エリアを撮像可能な場所にカメラを設置してもよい。

画像処理システム１は、フォークリフト２５の周囲を監視するためのシステムであり、カメラ２０と、照度センサ２６と、画像処理装置１０と、音出力装置３０と、表示装置４０と、端末装置５０とを備える。なお、図１および図２に示す画像処理システム１の構成は一例であり、例えば、音出力装置３０、表示装置４０および端末装置５０のいずれかが備えられていなくてもよい。

カメラ２０は、例えば、フォークリフト２５の後方を撮像可能な位置（例えば、フォークリフト２５のヘッドガード後端位置など）に取り付けられ、フォークリフト２５の後方のカラー画像を撮像する。カメラ２０のカメラレンズは、例えば、画角１２０°以上の超広角レンズである。なお、カメラ２０での夜間撮影のために、フォークリフト２５にヘッドライトなどの光源を備えるのが望ましい。また、光源は、カメラ２０の光軸方向に光を照射するのが望ましい。

フォークリフト２５の後方には、フォークリフト２５の撮像領域２１から外れる死角領域２２が生じる場合がある。なお、図１では、撮像領域２１と死角領域２２との境界２３を破線で示している。この死角領域２２をカバーするために、フォークリフト２５の撮像領域２１内にミラー６０が設置されている。つまり、カメラ２０がミラー６０越しに撮像した場合の撮像領域６１が死角領域２２をカバーするようにミラー６０を配置することにより、カメラ２０が、死角領域２２に存在する人物７２を撮像することができる。なお、死角領域２２を撮像するために、ミラー６０の代わりに、カメラ２０とは異なる他のカメラをフォークリフト２５に配置してもよい。

照度センサ２６は、受光素子に入射した光を電流に変換して照度を測定するセンサである。照度センサ２６は、例えば、フォークリフト２５の天井部分等に配置され、カメラ２０の撮像範囲に含まれる位置の照度を測定する。なお、照度センサ２６は、カメラ２０の近傍または撮像領域２１内に設けられるのが望ましい。また、照度センサ２６は、カメラ２０の光軸方向の照度を測定可能なように、照度センサ２６のセンサ面が該光軸方向と垂直となる位置に取り付けられるのが望ましい。

なお、照度センサ２６は、必ずしもフォークリフト２５に設置されていなくてもよい。例えば、照度センサ２６Ａが、フォークリフト２５の走行可能範囲内に予め設置されていてもよい。つまり、照度センサ２６Ａが、フォークリフト２５の走行経路上や走行経路の近傍に設置されていてもよい。ここで、照度センサ２６Ａは、照度センサ２６と同様に周囲の照度を測定するセンサである。

また、照度センサ２６または２６Ａによる照度の測定範囲は、カメラ２０の撮影範囲に含まれていることが望ましいが、数ｍ程度であれば、測定範囲および撮影範囲が多少ずれていても良い。多少の位置ずれにより照度が急激に変化することは考えにくいため、この程度のずれであれば、画像処理の結果に影響を及ぼさないと考えられるからである。

画像処理装置１０は、フォークリフト２５に設置されたコンピュータである。画像処理装置１０は、カメラ２０に接続され、カメラ２０が撮像した撮像領域２１および６１の画像から、人物７１および７２を検出する。なお、本実施の形態では、人物７１および７２には、所定数の色の領域が所定の位置関係で配置されているラベルを付けているものとする。なお、以下では所定数を３として説明を行うが、所定数は３に限定されるものではなく１以上の自然数であればそれ以外の数であってもよい。つまり、ラベルには予め定められた１色以上の領域が配置されていればよい。

また、ラベルは、色の領域に再帰性反射材を含むのが好ましい。再帰性反射材は、例えば、ガラスビーズをラベルの表面に配置したものであり、光源からの光をガラスビーズ内で反射させ、反射光を光源方向に戻す性質を有する。

図３Ａは、人物が被るヘルメットを側方から見た図であり、図３Ｂは、そのヘルメットを上方から見た図である。

図３Ａおよび図３Ｂに示すように、ヘルメット８０には、ラベル９０Ａがそれぞれ貼り付けられている。ラベル９０Ａは、平行に配置された青ラベル９１Ｂ、赤ラベル９１Ｒおよび緑ラベル９１Ｇから構成される。図３Ａに示すように、ヘルメット８０の幅が２８３ｍｍ、高さが１４８ｍｍとした場合、ラベル９０Ａの幅は約６０ｍｍ、長さは約１８０〜２５０ｍｍとすることができる。

なお、青ラベル９１Ｂおよび赤ラベル９１Ｒとの間、および赤ラベル９１Ｒと緑ラベル９１Ｇとの間には、それぞれ間隙領域９２が設けられている。間隙領域９２は、例えば黒色の領域であり、２〜３ｍｍの幅を有する。間隙領域９２を設けることにより、フォークリフト２５の走行時の振動などによりカメラ２０で撮像された画像に乱れが生じている場合であっても、ある色ラベルの色が隣接する色ラベルの色と混じり合って撮像されるのを防止することができる。

図３Ｂに示すように、図３Ａに示したラベル９０Ａと同様のラベル９０Ａがヘルメット８０の上方にも貼り付けられている。また、ラベル９０Ａは、ヘルメット８０の反対側の側面および前後にも貼り付けられている。なお、図３Ａでは、図示の関係上、ヘルメット８０の左側面のラベル９０Ａのみを示している。このように、あらゆる箇所にラベル９０Ａを貼り付けることで、人物がどのような姿勢（直立、しゃがみ込み等）を行っても、いずれかのラベル９０Ａがカメラ２０に撮像されるようにすることができる。

ラベル９０Ａは、光の３原色のラベルである赤ラベル９１Ｒ、緑ラベル９１Ｇおよび青ラベル９１Ｂから構成されている。

図４は、各色ラベルのマンセル表色系（ＪＩＳ（Japanese Industrial Standards） Ｚ８７２１）における表現を示す図である。

図４において、Ｈ、Ｖ、Ｃは、それぞれマンセル表色系における色相、明度、彩度を示す。つまり、赤ラベル９１Ｒの色彩は、マンセル表色系の色相（Ｈ）が１０Ｐ〜７．５ＹＲの範囲に含まれ、明度（Ｖ）が３以上であり、彩度（Ｃ）が２以上である。緑ラベル９１Ｇの色彩は、マンセル表色系の色相（Ｈ）が２．５ＧＹ〜２．５ＢＧの範囲に含まれ、明度（Ｖ）が３以上であり、彩度（Ｃ）が２以上である。青ラベル９１Ｂの色彩は、マンセル表色系の色相（Ｈ）が５ＢＧ〜５Ｐの範囲に含まれ、明度（Ｖ）が１以上であり、彩度（Ｃ）が１以上である。ただし、ラベル９０Ａは、光の３原色のラベルから構成されるものには限定されず、それ以外の色のラベルから構成されていてもよい。

図５は、各色ラベルの分光反射率を示す図である。横軸は波長（ｎｍ）を示し、縦軸は分光反射率（％）を示す。

図５に示すように、赤ラベル９１Ｒが示す赤色は、波長７００ｎｍ付近に分光反射率のピークを有する。緑ラベル９１Ｇが示す緑色は、波長５４６．１ｎｍ付近に分光反射率のピークを有する。青ラベル９１Ｂが示す青色は、波長４３５．８ｎｍ付近に分光反射率のピークを有する。なお、各色の分光反射率のピークは上記した値に限定されるものではない。例えば、赤色は、波長７００±３０ｎｍに分光反射率のピークを有していればよい。緑色は、波長５４６．１±３０ｎｍに分光反射率のピークを有していればよい。青色は、波長４３５．８±３０ｎｍに分光反射率のピークを有していればよい。

また、青ラベル９１Ｂ、赤ラベル９１Ｒおよび緑ラベル９１Ｇは、蛍光テープにより構成されていたり、これらのラベルに蛍光塗料が塗られたりしていることが好ましい。これにより、夜間や曇天などの照度が低い環境下であっても、ラベルを認識しやすくすることができる。また、赤外線カメラなどの特殊なカメラを用いなくてもラベルを認識することができる。

図１を参照して、画像処理装置１０は、カメラ２０が撮像した画像からラベル９０Ａを検出することにより、人物の検出を行う。なお、画像処理装置１０の詳細な構成については後述する。

音出力装置３０は、例えば、フォークリフト２５のドライバーの座席付近に設置され、スピーカーを含んで構成される。音出力装置３０は、画像処理装置１０に接続され、画像処理装置１０が人物７１または人物７２を検出したことをドライバーに通知するメッセージ音声やアラーム音などの通知音を出力する。

表示装置４０は、例えば、フォークリフト２５のドライバーが視認可能な位置に設置され、液晶ディスプレイなどを含んで構成される。表示装置４０は、画像処理装置１０に接続され、画像処理装置１０が人物７１または人物７２を検出したことを知らせる画像を表示する。

端末装置５０は、例えば、フォークリフト２５を管理する管理室などフォークリフト２５と離れた場所に設置されるコンピュータである。端末装置５０は、画像処理装置１０に接続され、画像処理装置１０が人物７１または人物７２を検出したことを知らせる画像または音を出力したり、人物７１または人物７２を検出したことを時刻情報とともにログ情報として記録したりする。なお、端末装置５０と画像処理装置１０との間は、４Ｇまたは５Ｇなどの通信規格に従った携帯電話回線や、Ｗｉ−Ｆｉ（登録商標）などの無線ＬＡＮ（Local Area Network）により接続されていてもよい。

なお、端末装置５０は、人物７１または７２が携帯するスマートフォンなどであってもよい。これにより、端末装置５０は、画像処理装置１０により人物７１または７２自身が検出されたこと、つまり、人物７１または７２の近くにフォークリフト２５が存在することを、人物７１または７２に通知することができる。

なお、画像処理装置１０、カメラ２０、音出力装置３０および表示装置４０の機能が、スマートフォンやカメラ付のコンピュータなどに備えられていてもよい。例えば、図１に示したカメラ２０の位置に、スマートフォンを取り付けることにより、スマートフォンが撮像した画像を、スマートフォンが処理して、人物７１および７２を検出する。また、スマートフォンが検出結果を音または画像により通知する。ただし、スマートフォンがカメラ２０の位置に取り付けられている場合には、ドライバーは画像を見ることができない。このため、別のタブレット装置などをドライバーが視認可能な位置に設置し、タブレット装置がスマートフォンから送信された画像を表示するようにしてもよい。タブレット装置とスマートフォンとの間は、例えば、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）などの無線通信規格に従い無線接続されていてもよい。

［照明環境によるラベルの色の見え方の変化について］
次に、照明環境によって、ラベル９０Ａの色の見え方が変化する現象について説明する。

図６は、太陽光の分光分布を示す図である。横軸が波長を示し、縦軸が放射エネルギーを示す。

太陽光に含まれる赤色、緑色および青色の光の成分を比較すると、赤色の光の成分が、緑色および青色の光の成分よりも少ない。このため、太陽を光源とする屋外でカメラ２０が赤色領域を撮影した場合には、カメラ２０が受光する赤色成分の光が相対的に弱くなる。よって、画像上では赤色領域が黄色領域として映る場合がある。

図７は、太陽光下の明るい環境で撮影されたラベルを模式的に示す図である。
図７に示すラベル９０Ａは、図３Ａに示したラベル９０Ａと同じである。ただし、太陽光の影響により、赤色成分の光の強度が弱い。このため、画像上では赤ラベル９１Ｒが、黄色いラベルとして映ってしまう。

図８は、白熱電球の光の分光分布を示す図である。横軸が波長を示し、縦軸が比エネルギーを示す。比エネルギーは、測定した波長範囲での発光強度の最大値を１００％とした場合の相対的な強度を示す。

白熱電球光に含まれる赤色、緑色および青色の光の成分を比較すると、青色の成分が赤色および緑色の成分よりも少ない。このため、白熱電球を光源とする屋内でカメラ２０が青色領域を撮影した場合には、カメラ２０が受光する青色成分の光が相対的に弱くなる。よって、画像上では青色領域が黒色領域として映る場合がある。

図９は、白熱電球光下の暗い環境で撮影されたラベルを模式的に示す図である。
図９に示すラベル９０Ａは、図３Ａに示したラベル９０Ａと同じである。ただし、白熱電球光の影響により、青色成分の光の強度が弱い。このため、画像上では青ラベル９１Ｂが、黒色のラベルとして映ってしまう。

なお、暗い環境で用いられる照明は、白熱電球に限定されるものではなく、その他の色の電球であってもよいし、蛍光灯やＬＥＤ（Light Emitting Diode）照明等であってもよい。

このように、照明の影響により各色ラベルの色の見え方が変化する場合がある。本実施の形態では、照明の影響を受けずに、ラベル９０Ａを検出することのできる画像処理装置１０について、以下説明する。

［画像処理装置１０の構成］
図２を参照して、画像処理装置１０の機能的な構成についてより詳細に説明する。

画像処理装置１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、通信Ｉ／Ｆ（インタフェース）、タイマーなどを備える一般的なコンピュータにより構成される。画像処理装置１０は、ＨＤＤまたはＲＯＭからＲＡＭに読み出したコンピュータプログラムを実行することにより実現される機能的な構成として、画像取得部１１と、明るさ判定部１２と、検出対象色決定部１３と、ラベル検出部１４と、出力部１５とを備える。また、画像処理装置１０は、記憶装置１６を備える。

画像取得部１１は、通信Ｉ／Ｆを介して、カメラ２０が撮像したカラーの画像を取得する。つまり、図１に示した撮像領域２１および６１をカメラ２０が撮像した画像を取得する。

明るさ判定部１２は、カメラ２０の撮像範囲の明るさを判定する。つまり、明るさ判定部１２は、照度センサ２６が測定したカメラ２０の撮像範囲の照度情報に基づいて、後述する記憶装置１６に記憶されている明暗基準ＤＢ（データベース）を参照して、カメラ２０の撮像範囲が、明るい環境か、暗い環境か、中程度の明るさの環境かを判定する。

なお、明るさ判定部１２は、フォークリフト２５以外に設置された照度センサ２６Ａから照度情報を取得する場合には、無線通信により照度センサ２６Ａから照度情報を直接受信してもよいし、端末装置５０を経由して照度センサ２６Ａから照度情報を受信してもよい。その際、明るさ判定部１２は、フォークリフト２５の位置とカメラ２０のカメラパラメータ（光軸方向、ズーム倍率等）とから、カメラ２０の撮像範囲に含まれる照度センサ２６Ａを特定し、特定した照度センサ２６Ａから照度情報を取得する。なお、明るさ判定部１２は、照度センサ２６Ａから照度情報とともに位置情報を取得可能な場合には、取得した位置情報が示す照度センサ２６Ａの位置と、フォークリフト２５の位置とを比較することにより、カメラ２０の撮像範囲に含まれる照度センサ２６Ａを特定してもよい。

図１０は、明暗基準ＤＢ１７の一例を示す図である。
明暗基準ＤＢ１７は、照度（ＩＬ）に基づいて、当該照度を有する環境が、明るい環境か、暗い環境か、中程度の明るさの環境かを判定するための基準が示されている。例えば、図１０に示す明暗基準ＤＢ１７によると、照度がＩＬ＜５００ｌｘの環境は、暗い環境である。照度が５００≦ＩＬ＜１００００の環境は、中程度の明るさの環境である。照度がＩＬ≧１００００の環境は、明るい環境である。

つまり、明るさ判定部１２は、照度センサ２６が測定した照度ＩＬがＩＬ＜５００ｌｘであれば、カメラ２０の撮像範囲は暗い環境であると判定する。また、明るさ判定部１２は、照度センサ２６が測定した照度ＩＬが５００≦ＩＬ＜１００００であれば、カメラ２０の撮像範囲は中程度の明るさの環境であると判定する。さらに、明るさ判定部１２は、照度センサ２６が測定した照度ＩＬがＩＬ≧１００００であれば、カメラ２０の撮像範囲は明るい環境であると判定する。なお、明暗基準ＤＢ１７が示す数値は一例であり、これ以外の数値であってもよいのは言うまでもない。以降の図においても同様である。

検出対象色決定部１３は、明るさ判定部１２の判定結果に基づいて、ラベル９０Ａに付された色の中から１色以上の検出対象色を決定する。以下では、検出対象色決定部１３は、ラベル９０Ａに付された３色の中から２色以上の検出対象色を決定するものとする。つまり、検出対象色決定部１３は、照明環境によって見え方が変化する色を除く色を検出対象色として決定する。

具体的には、明るい環境では、赤色領域が黄色領域として画像に映る可能性がある。このため、検出対象色決定部１３は、明るさ判定部１２が明るい環境と判定した場合には、赤色を除く、緑色および青色の２色を検出対象色として決定する。

また、暗い環境では、青色領域が黒色領域として画像に映る可能性がある。このため、検出対象色決定部１３は、明るさ判定部１２が暗い環境と判定した場合には、青色を除く、赤色および緑色の２色を検出対象色として決定する。

ただし、ここで言う暗い環境は白熱電球光下の環境を示している。このため、蛍光灯やＬＥＤ照明などの他の人工光源下では、見え方が変化する色が青色とは限らない。このため、人工光源が白熱電球以外の場合には、検出対象色決定部１３は、人工光源の種類に応じて、見え方が変化する色を除いた色を、検出対象色として決定する。

中程度の明るさの環境で、赤色領域、緑色領域および青色領域をカメラ２０で撮影した場合には、カメラ２０が受光する光の強度は各領域間で大差がないと考えられる。このため、検出対象色決定部１３は、明るさ判定部１２が中程度の明るさの環境と判定した場合には、赤色、緑色および青色の３色を検出対象色として決定する。

ラベル検出部１４は、画像取得部１１が取得した画像から、検出対象色決定部１３が決定した検出対象色の領域を抽出することにより、ラベル９０Ａを検出する。

具体的には、ラベル検出部１４は、画像取得部１１が取得した画像を構成する各画素の色空間上の画素値と所定の閾値とに基づいて、検出対象色の領域を抽出する。ここでは、色空間としてＨＳＶ色空間を想定する。また、ＨＳＶ色空間上の画素値として、色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）を想定する。

なお、画像取得部１１が取得した画像がＲＧＢ色空間の画素値から構成される場合には、ラベル検出部１４は、ＲＧＢ色空間の画素値をＨＳＶ色空間の画素値に変換した上で、領域抽出処理を行う。ＲＧＢ色空間の画素値からＨＳＶ色空間の画素値への変換は例えば、以下の式１〜式３に従い実行される。

ここで、Ｒ、Ｇ、Ｂは、それぞれ、変換前の画素の赤色成分、緑色成分、青色成分を表す。また、MAXは、変換前の画素の赤色成分、緑色成分および青色成分の最大値を表す。MINは、変換前の画素の赤色成分、緑色成分および青色成分の最小値を表す。

ラベル検出部１４には、例えば、緑色の色相（Ｈ）の閾値として、９５および１４５が設定され、緑色の彩度（Ｓ）の閾値として７０および１００が設定され、緑色の明度（Ｖ）の閾値として７０および１００が設定されているものとする。緑色が検出対象色の場合には、ラベル検出部１４は、ある画素の色相（Ｈ）が９５以上かつ１４５以下で、彩度（Ｓ）が７０以上かつ１００以下で、明度（Ｖ）が７０以上かつ１００以下である場合に、当該画素を緑色画素として抽出する。

ラベル検出部１４には、同様に、赤色の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の閾値と、青色の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の閾値とが設定されているものとする。赤色が検出対象色の場合には、ラベル検出部１４は、赤色の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の閾値を用いて、画像中から赤色画素を抽出する。青色が検出対象色の場合には、ラベル検出部１４は、青色の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の閾値を用いて、画像中から青色画素を抽出する。

ラベル検出部１４は、検出対象色の画素である緑色画素、赤色画素または青色画素に対してそれぞれラベリング処理を施し、ラベリング処理により同一のラベル（符号）が付された画素同士を１つの領域として、緑色領域、赤色領域または青色領域を抽出する。なお、ラベル検出部１４は、抽出した緑色領域、赤色領域または青色領域の各々に対して膨張収縮処理や領域サイズによるフィルタリング処理を施すことによりノイズ領域を除去してもよい。

ラベル検出部１４は、抽出した検出対象色の領域同士が所定の位置関係を有している場合には、画像取得部１１が取得した画像に検出対象色の領域が含まれると判定する。例えば、検出対象色が赤色、緑色および青色の場合には、ラベル検出部１４は、画像上で緑色領域の中心位置から所定距離範囲内に赤色領域が存在し、かつ赤色領域の中心位置から所定距離範囲内に青色領域が存在する場合に、画像に緑色領域、赤色領域および青色領域が含まれると判定する。ラベル検出部１４は、画像に検出対象色の領域が含まれると判定した場合には、画像中でラベル９０Ａを検出したこととする。これにより、ラベル検出部１４は、フォークリフト２５の周囲に人物が存在すると判定することができる。

なお、ラベル検出部１４は、明るさ判定部１２の判定結果に応じて、各色の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の閾値を変更してもよい。カメラ２０の撮像範囲の明るさに応じて閾値を変更することで、ラベル検出部１４は、より正確に領域抽出を行うことができる。例えば、ラベル検出部１４は、撮像範囲が明るいほど、各色の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の閾値が大きくなるように、各閾値を変更してもよい。具体的には、ラベル検出部１４は、撮像範囲の明るさと、各色の色相（Ｈ）、彩度（Ｓ）および明度（Ｖ）の閾値との対応関係を示したテーブル情報を参照して、各閾値を変更してもよい。

図１１Ａおよび図１１Ｂは、画像上の緑色領域と赤色領域との一例を示す図である。図１１Ａに示すように、緑色領域８２Ｇの中心位置８３を中心とする円で示される所定距離範囲８４内に、赤色領域８２Ｒが含まれていれば、画像上で緑色領域８２Ｇの中心位置８３から所定距離範囲８４内に赤色領域８２Ｒが存在すると判定される。

一方、図１１Ｂに示すように、緑色領域８２Ｇの中心位置８３を中心とする円で示される所定距離範囲８４内に、赤色領域８２Ｒが含まれていなければ、画像上で緑色領域８２Ｇの中心位置８３から所定距離範囲８４内に赤色領域８２Ｒが存在しないと判定される。

ここで、所定距離範囲８４の円の直径は、例えば、緑色領域８２Ｇの最も長い辺の長さとしてもよい。緑色領域８２Ｇが矩形以外の領域の場合には、緑色領域８２Ｇの外接矩形の最も長い辺の長さを、所定距離範囲８４の円の直径としてもよい。ただし、当該直径は、これら以外の値でもよい。

なお、検出対象色の組み合わせが、赤色、緑色および青色以外の場合であっても、同様の処理により、ラベル検出部１４は、抽出した検出対象色の領域同士が所定の位置関係を有するか否かを判定する。

出力部１５は、ラベル検出部１４の検出結果に応じた情報を出力する。例えば、ラベル検出部１４がラベル９０Ａを検出した場合には、出力部１５は、通信Ｉ／Ｆを介して音出力装置３０に対して所定の音信号を送信すること、音出力装置３０に通知音を出力させる。これにより、ドライバーに対してフォークリフト２５の周囲に人物がいることを通知する。

また、ラベル検出部１４がラベル９０Ａを検出した場合に、出力部１５は、通信Ｉ／Ｆを介して表示装置４０に所定の画像信号を送信することで、表示装置４０に人物を検出したことを知らせる画像を表示させる。これにより、ドライバーに対してフォークリフト２５の周囲に人物がいることを通知する。

また、ラベル検出部１４がラベル９０Ａを検出した場合に、出力部１５は、通信Ｉ／Ｆを介して端末装置５０に対して、人物を検出したことを示す情報を送信することで、端末装置５０に音や画像の出力処理をさせたり、ログ情報の記録処理をさせたりする。出力部１５は、その際に、検出時刻の情報を送信してもよい。

記憶装置１６は、明暗基準ＤＢ１７を含む各種情報を記憶するための記憶装置であり、磁気ディスクや半導体メモリなどにより構成される。

［画像処理装置１０の処理の流れ］
次に、画像処理装置１０が実行する処理の流れについて説明する。

図１２は、実施の形態１に係る画像処理装置１０が実行する処理の手順を示すフローチャートである。

図１２を参照して、画像取得部１１は、カメラ２０が撮像した画像を取得する（Ｓ１）。

ラベル検出部１４は、画像取得部１１が取得した画像から、緑色領域を抽出する（Ｓ２）。なお、緑色領域は、照明環境に影響されずに抽出可能であるため、緑色は必須の検出対象色とされる。このため、検出対象色決定部１３による検出対象色の決定処理（後述のステップＳ６、Ｓ９およびＳ１２）を行うことなく、緑色領域の抽出処理が実行される。

緑色領域が抽出されなかった場合には（Ｓ３でＮＯ）、画像中にラベル９０Ａが含まれないと判断することができるため、画像処理装置１０は処理を終了する。

緑色領域が抽出された場合には（Ｓ３でＹＥＳ）、明るさ判定部１２は、照度センサ２６が測定したカメラ２０の撮像範囲の照度に基づいて、明暗基準ＤＢ１７を参照して、カメラ２０の撮像範囲が、明るい環境か、暗い環境か、中程度の明るさの環境かを判定する明るさ判定処理を実行する（Ｓ４）。

明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が明るい環境であると判定された場合には（Ｓ５で明るい）、検出対象色決定部１３は、緑色および青色を検出対象色として決定する（Ｓ６）

ラベル検出部１４は、未抽出の検出対象色領域である青色領域を抽出する（Ｓ７）。

ラベル検出部１４は、緑色領域と所定の位置関係を有する青色領域が画像から抽出されたか否かを判定する（Ｓ８）。

所定の位置関係を有する青色領域が抽出されなかった場合には（Ｓ８でＮＯ）、画像中にラベル９０Ａが含まれないと判断することができるため、画像処理装置１０は処理を終了する。

所定の位置関係を有する青色領域が抽出された場合には（Ｓ８でＹＥＳ）、ラベル検出部１４は、緑色領域および青色領域をラベル９０Ａとして検出し、出力部１５は、ラベル９０Ａの検出結果を出力する（Ｓ１５）。例えば、出力部１５は、音出力装置３０に対して所定の音信号を送信することにより、音出力装置３０に通知音を出力させる。

明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が暗い環境であると判定された場合には（Ｓ５で暗い）、検出対象色決定部１３は、赤色および緑色を検出対象色として決定する（Ｓ９）。

ラベル検出部１４は、未抽出の検出対象色領域である赤色領域を抽出する（Ｓ１０）。

ラベル検出部１４は、緑色領域と所定の位置関係を有する赤色領域が画像から抽出されたか否かを判定する（Ｓ１１）。

所定の位置関係を有する赤色領域が抽出されなかった場合には（Ｓ１１でＮＯ）、画像中にラベル９０Ａが含まれないと判断することができるため、画像処理装置１０は処理を終了する。

所定の位置関係を有する赤色領域が抽出された場合には（Ｓ１１でＹＥＳ）、ラベル検出部１４は、赤色領域および緑色領域をラベル９０Ａとして検出し、出力部１５は、ラベル９０Ａの検出結果を出力する（Ｓ１５）。

明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が中程度の明るさの環境であると判定された場合には（Ｓ５で中程度）、検出対象色決定部１３は、赤色、緑色および青色を検出対象色として決定する（Ｓ１２）。

ラベル検出部１４は、未抽出の検出対象色領域である赤色領域および青色領域を抽出する（Ｓ１３）。

ラベル検出部１４は、緑色領域と所定の位置関係を有する赤色領域および青色領域が画像から抽出されたか否かを判定する（Ｓ１４）。

所定の位置関係を有する赤色領域および青色領域が抽出されなかった場合には（Ｓ１４でＮＯ）、画像中にラベル９０Ａが含まれないと判断することができるため、画像処理装置１０は処理を終了する。

所定の位置関係を有する赤色領域および青色領域が抽出された場合には（Ｓ１４でＹＥＳ）、ラベル検出部１４は、赤色領域、緑色領域および青色領域をラベル９０Ａとして検出し、出力部１５は、ラベル９０Ａの検出結果を出力する（Ｓ１５）。

なお、ステップＳ１４において、赤色領域および青色領域のうちの少なくとも一方の領域が緑色領域と所定の位置関係を有していれば、画像中にラベル９０Ａが含まれると判定してもよい。

また、ラベル検出結果出力処理（ステップＳ１５）は、ラベル９０Ａが検出されなかった場合にも行うことにしてもよい。つまり、出力部１５は、ラベル９０Ａが検出されなかったことを示す通知音を音出力装置３０に出力させてもよいし、ラベル９０Ａが検出されなかったことを示す画像を表示装置４０に表示させてもよい。また、出力部１５は、ラベル９０Ａが検出されなかったことを示す情報を端末装置５０に送信してもよい。

画像処理装置１０は、図１２に示す処理を、所定の周期（例えば、１００ｍｓｅｃ間隔）で繰り返し実行する。これにより、リアルタイムでラベル９０Ａを検出することができる。

［実施の形態１の効果］
以上説明したように、本開示の実施の形態１によると、検出対象色決定部１３は、所定数以上の色の領域を含むラベル９０Ａの色の中から、カメラ２０の撮像範囲の明るさに基づいて、１色以上の検出対象色を決定する。具体的には、検出対象色決定部１３は、３色以上の領域を含むラベル９０Ａの色の中から、カメラ２０の撮像範囲の明るさに基づいて、２色以上の検出対象色を決定する。これにより、明るさによっては色の見え方が変化するような色を除いて検出対象色を決定することができる。よって、ラベル検出部１４が検出対象色の領域を抽出することで、照明の影響を受けずに、ラベルを検出することができる。

また、ラベル９０Ａは、色の領域に再帰性反射材を含んでいる。再帰性反射材は、光の入射角と出射角が等しくなる性質を有している。このため、ラベル９０Ａがいずれかの方向に傾いていたとしても、カメラ２０の光軸方向に沿った光をラベル９０Ａに照射することにより、カメラ２０は当該光のラベル９０Ａでの反射光を受光することができる。これにより、ラベル検出部１４は、夜間でもラベル９０Ａを高精度に検出することができる。

また、明るさ判定部１２は、照度センサ２６が測定したカメラ２０の撮像範囲の照度に基づいて、カメラ２０の撮像範囲の明るさを判定することができる。このため、カメラ２０の撮像範囲の明るさを容易に判定することができる。

また、検出対象色決定部１３は、赤色、緑色および青色のうち、最も波長の長い赤色と最も波長の短い青色以外の色である中間波長色の緑色を、照明環境によらずに必須の検出対象色と決定する。緑色は照明の影響を受けにくい色であることより、ラベル検出部１４は、照明の影響を受けずに、ラベル９０Ａを検出することができる。

また、ラベル検出部１４は、必須の検出対象色である中間波長色の緑色の領域から優先して、領域抽出処理を行っている（図１２のＳ２）。これにより、緑色領域が抽出できなかった場合には、ラベル検出部１４は、他の検出対象色である赤色領域または青色領域を抽出する必要がなく、処理時間を短縮することができる。

また、ラベル９０Ａは、赤ラベル９１Ｒ、緑ラベル９１Ｇおよび青ラベル９１Ｂから構成される。光の三原色である赤色、青色および緑色は、波長が適度に離れた色同士である。このため、いずれか一色（赤色または青色）の領域が照明の影響を受けて本来の色とは異なる色領域として撮影された場合であっても、中間波長色ある緑色を含む他の二色は照明の影響を受けずに、元の色の色領域として撮影される。よって、当該他の二色を検出対象色とすることにより、照明の影響を受けずに、ラベルを検出することができる。

また、出力部１５は、ラベル検出部１４がラベル９０Ａを検出した際に、ラベル９０Ａを検出したことを示す音声、アラーム音等の音を音出力装置３０から出力させたり、ラベル９０Ａの検出結果を示す画像を表示装置４０に表示させたりできる。また、出力部１５は、ラベル９０Ａの検出結果を示す情報を端末装置５０に送信することもできる。これにより、ユーザに、ラベル９０Ａの検出結果を通知することができる。

（実施の形態２）
実施の形態１では、ラベルは、青ラベル９１Ｂ、赤ラベル９１Ｒおよび緑ラベル９１Ｇから構成されるものとしたが、ラベルの色はこれらに限定されるものではない。実施の形態２では、４色の色ラベルから構成されるラベルを用いた例を説明する。

図１３は、ヘルメットに貼り付けられたラベルの一例を示す図である。
図１３に示すように、ヘルメット８０には、ラベル９０Ｃが貼り付けられている。ラベル９０Ｃは、平行に配置された青ラベル９１Ｂ、赤ラベル９１Ｒ、緑ラベル９１Ｇおよび白ラベル９１Ｗから構成される。また、青ラベル９１Ｂおよび赤ラベル９１Ｒとの間、赤ラベル９１Ｒと緑ラベル９１Ｇとの間、および緑ラベル９１Ｇと白ラベル９１Ｗとの間には、それぞれ間隙領域９２が設けられている。

白色は、彩度が０の無彩色であり、様々な波長を含む。このため、白ラベル９１Ｗは、明るさに影響されずに検出可能なラベルである。

なお、白色は無彩色であることより、ラベル検出部１４が画像中の白色画素を抽出する際には、各画素の彩度（Ｓ）および明度（Ｖ）と、それぞれの閾値との比較を行い、色相（Ｈ）と閾値との比較は行わない。これにより、ラベル検出部１４は、画像中から、白色の彩度閾値および明度閾値をそれぞれ超える彩度（Ｓ）および明度（Ｖ）を有する画素を、白色画素として抽出し、抽出した白色画素をラベリング処理することにより、白色領域を抽出する。

実施の形態２に係る画像処理装置の構成は、図２に示したものと同様である。ただし、検出対象色決定部１３およびラベル検出部１４の処理が一部異なる。以下、図１４に示すフローチャートを参照しながら、実施の形態１と異なる処理について説明する。

図１４は、実施の形態２に係る画像処理装置１０が実行する処理の手順を示すフローチャートである。

画像処理装置１０は、ステップＳ１〜Ｓ４の処理を実行する。ステップＳ１〜Ｓ４の処理は、図１２に示したものと同様である。

明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が明るい環境であると判定された場合には（Ｓ５で明るい）、検出対象色決定部１３は、緑色、青色および白色を検出対象色として決定する（Ｓ６Ａ）。

ラベル検出部１４は、未抽出の検出対象色領域である青色領域および白色領域を抽出する（Ｓ７Ａ）。

ラベル検出部１４は、緑色領域と所定の位置関係を有する青色領域および白色領域が画像から抽出されたか否かを判定する（Ｓ８Ａ）。

所定の位置関係を有する青色領域および白色領域が抽出されなかった場合には（Ｓ８ＡでＮＯ）、画像中にラベル９０Ｃが含まれないと判断することができるため、画像処理装置１０は処理を終了する。

所定の位置関係を有する青色領域および白色領域が抽出された場合には（Ｓ８ＡでＹＥＳ）、ラベル検出部１４は、緑色領域、青色領域および白色領域をラベル９０Ｃとして検出し、出力部１５は、ラベル９０Ｃの検出結果を出力する（Ｓ１５）。

明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が暗い環境であると判定された場合には（Ｓ５で暗い）、検出対象色決定部１３は、赤色、緑色および白色を検出対象色として決定する（Ｓ９Ａ）。

ラベル検出部１４は、未抽出の検出対象色領域である赤色領域および白色領域を抽出する（Ｓ１０Ａ）。

ラベル検出部１４は、緑色領域と所定の位置関係を有する赤色領域および白色領域が画像から抽出されたか否かを判定する（Ｓ１１Ａ）。

所定の位置関係を有する赤色領域および白色領域が抽出されなかった場合には（Ｓ１１ＡでＮＯ）、画像中にラベル９０Ｃが含まれないと判断することができるため、画像処理装置１０は処理を終了する。

所定の位置関係を有する赤色領域および白色領域が抽出された場合には（Ｓ１１ＡでＹＥＳ）、ラベル検出部１４は、赤色領域、緑色領域および白色領域をラベル９０Ｃとして検出し、出力部１５は、ラベル９０Ｃの検出結果を出力する（Ｓ１５）。

明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が中程度の明るさの環境であると判定された場合には（Ｓ５で中程度）、検出対象色決定部１３は、赤色、緑色、青色および白色を検出対象色として決定する（Ｓ１２Ａ）。

ラベル検出部１４は、未抽出の検出対象色領域である赤色領域、青色領域および白色領域を抽出する（Ｓ１３Ａ）。

ラベル検出部１４は、緑色領域と所定の位置関係を有する赤色領域、青色領域および白色領域が画像から抽出されたか否かを判定する（Ｓ１４Ａ）。

所定の位置関係を有する赤色領域、青色領域および白色領域が抽出されなかった場合には（Ｓ１４ＡでＮＯ）、画像中にラベル９０Ｃが含まれないと判断することができるため、画像処理装置１０は処理を終了する。

所定の位置関係を有する赤色領域、青色領域および白色領域が抽出された場合には（Ｓ１４ＡでＹＥＳ）、ラベル検出部１４は、赤色領域、緑色領域、青色領域および白色領域をラベル９０Ｃとして検出し、出力部１５は、ラベル９０Ｃの検出結果を出力する（Ｓ１５）。

画像処理装置１０は、図１４に示す処理を、所定の周期（例えば、１００ｍｓｅｃ間隔）で繰り返し実行する。これにより、リアルタイムでラベル９０Ｃを検出することができる。

本開示の実施の形態２によると、実施の形態１に比べて、より多くの色の色ラベルを用いて、ラベル検出を行うことができる。このため、より照明の影響を受けずに、ラベルを検出することができる。なお、ラベルに含まれる色ラベルの色は、上記したものには限定されず、例えば、白ラベル９１Ｗの代わりに、黒ラベルを用いてもよい。

（実施の形態２の変形例）
本変形例では、実施の形態２と同様に、ラベルは４色の色ラベルから構成されるものとする。ただし、画像処理装置１０が実行する処理の手順が実施の形態２とは異なる。

図１５は、実施の形態２の変形例に係る画像処理装置１０が実行する処理の手順を示すフローチャートである。

画像処理装置１０は、ステップＳ１〜Ｓ３の処理を実行する。ステップＳ１〜Ｓ３の処理は、図１２に示したものと同様である。

緑色領域が抽出された場合には（Ｓ３でＹＥＳ）、ラベル検出部１４は、画像取得部１１が取得した画像から、白色領域を抽出する（Ｓ２１）。なお、白色領域は、照明環境に影響されずに抽出可能であるため、白色は必須の検出対象色とされる。このため、検出対象色決定部１３による検出対象色の決定処理（後述のステップＳ６Ａ、Ｓ９ＡおよびＳ１２Ａ）を行うことなく、白色領域の抽出処理が実行される。

白色領域が抽出されなかった場合には（Ｓ２２でＮＯ）、画像中にラベル９０Ｃが含まれないと判断することができるため、画像処理装置１０は処理を終了する。

白色領域が抽出された場合には（Ｓ２２でＹＥＳ）、明るさ判定処理（ステップＳ４）を実行する。明るさ判定処理（ステップＳ４）は、図１２に示したものと同様である。

明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が明るい環境であると判定された場合には（Ｓ５で明るい）、検出対象色決定部１３は、緑色、青色および白色を検出対象色として決定する（Ｓ６Ａ）。

ラベル検出部１４は、未抽出の検出対象色領域である青色領域を抽出する（Ｓ７）。

ラベル検出部１４は、緑色領域および白色領域と所定の位置関係を有する青色領域が画像から抽出されたか否かを判定する（Ｓ８Ｂ）。

所定の位置関係を有する青色領域が抽出されなかった場合には（Ｓ８ＢでＮＯ）、画像中にラベル９０Ｃが含まれないと判断することができるため、画像処理装置１０は処理を終了する。

所定の位置関係を有する青色領域が抽出された場合には（Ｓ８ＢでＹＥＳ）、ラベル検出部１４は、緑色領域、青色領域および白色領域をラベル９０Ｃとして検出し、出力部１５は、ラベル９０Ｃの検出結果を出力する（Ｓ１５）。

明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が暗い環境であると判定された場合には（Ｓ５で暗い）、検出対象色決定部１３は、赤色、緑色および白色を検出対象色として決定する（Ｓ９Ａ）。

ラベル検出部１４は、未抽出の検出対象色領域である赤色領域を抽出する（Ｓ１０）。

ラベル検出部１４は、緑色領域および白色領域と所定の位置関係を有する赤色領域が画像から抽出されたか否かを判定する（Ｓ１１Ｂ）。

所定の位置関係を有する赤色領域が抽出されなかった場合には（Ｓ１１ＢでＮＯ）、画像中にラベル９０Ｃが含まれないと判断することができるため、画像処理装置１０は処理を終了する。

所定の位置関係を有する赤色領域が抽出された場合には（Ｓ１１ＢでＹＥＳ）、ラベル検出部１４は、赤色領域、緑色領域および白色領域をラベル９０Ｃとして検出し、出力部１５は、ラベル９０Ｃの検出結果を出力する（Ｓ１５）。

明るさ判定処理（ステップＳ４）の結果、カメラ２０の撮像範囲が中程度の明るさの環境であると判定された場合には（Ｓ５で中程度）、検出対象色決定部１３は、赤色、緑色、青色および白色を検出対象色として決定する（Ｓ１２Ａ）。

ラベル検出部１４は、未抽出の検出対象色領域である赤色領域および青色領域を抽出する（Ｓ１３Ａ）。

ラベル検出部１４は、緑色領域および白色領域と所定の位置関係を有する赤色領域および青色領域が画像から抽出されたか否かを判定する（Ｓ１４Ｂ）。

所定の位置関係を有する赤色領域および青色領域が抽出されなかった場合には（Ｓ１４ＢでＮＯ）、画像中にラベル９０Ｃが含まれないと判断することができるため、画像処理装置１０は処理を終了する。

所定の位置関係を有する赤色領域および青色領域が抽出された場合には（Ｓ１４ＢでＹＥＳ）、ラベル検出部１４は、赤色領域、緑色領域、青色領域および白色領域をラベル９０Ｃとして検出し、出力部１５は、ラベル９０Ｃの検出結果を出力する（Ｓ１５）。

画像処理装置１０は、図１５に示す処理を、所定の周期（例えば、１００ｍｓｅｃ間隔）で繰り返し実行する。これにより、リアルタイムでラベル９０Ｃを検出することができる。

（実施の形態３）
実施の形態１および２では、照度センサの測定結果に基づいて、カメラ２０の撮像範囲の明るさを判定した。実施の形態３では、照度センサを用いずに明るさ判定を行う例について説明する。

図１６は、実施の形態３に係る画像処理システムの構成を示すブロック図である。
図１６に示す画像処理システム１Ａは、図２に示した画像処理システム１の構成において、画像処理装置１０の代わりに画像処理装置１０Ａを備える。

画像処理装置１０Ａは、画像処理装置１０と同様にコンピュータにより構成される。なお、画像処理装置１０Ａは、機能的な構成として明るさ判定部１２の代わりに明るさ判定部１２Ａを備える。

明るさ判定部１２Ａは、画像取得部１１に接続され、画像取得部１１が取得した画像に基づいて、カメラ２０の撮像範囲の明るさを判定する。つまり、明るさ判定部１２Ａは、画像取得部１１が取得した画像に含まれる画素の輝度の平均を算出し、算出した輝度平均に基づいて、記憶装置１６に記憶されている明暗基準ＤＢ１７を参照して明るさを判定する。

図１７は、明暗基準ＤＢ１７の一例を示す図である。
明暗基準ＤＢ１７は、輝度平均（Ｍ）に基づいて、当該輝度平均を有する環境が、明るい環境か、暗い環境か、中程度の明るさの環境かを判定するための基準が示されている。例えば、図１７に示す明暗基準ＤＢ１７によると、輝度平均がＭ＜５０の環境は、暗い環境である。輝度平均が５０≦Ｍ＜１３０の環境は、中程度の明るさの環境である。輝度平均がＭ≧１３０の環境は、明るい環境である。なお、一例として輝度は２５６階調を有するものとする。

つまり、明るさ判定部１２は、算出した輝度平均ＭがＭ＜５０であれば、カメラ２０の撮像範囲は暗い環境であると判定する。また、明るさ判定部１２は、輝度平均Ｍが５０≦Ｍ＜１３０であれば、カメラ２０の撮像範囲は中程度の明るさの環境であると判定する。さらに、明るさ判定部１２は、輝度平均ＭがＭ≧１３０であれば、カメラ２０の撮像範囲は明るい環境であると判定する。
画像処理装置１０が実行する処理の手順は、実施の形態１または２と同様である。

本開示の実施の形態３によると、照度センサ２６を用いることなく明るさを判定することができる。このため、低コストで明るさを判定することができる。

また、フォークリフト２５が屋内に位置し、カメラ２０が屋外の明るい環境を撮影しているような場合には、照度センサ２６を用いて明るさ判定を行うと、暗い環境と判定されてしまい、撮影対象の環境と異なる結果となる場合がある。しかし、画像の輝度平均を用いて明るさを判定した場合には、カメラ２０が撮像対象とする環境と同様に明るい環境と判定される。このため、ラベルをより正しく検出することができる。

（実施の形態４）
実施の形態３では、照度センサを用いずにカメラ２０の撮像範囲の明るさ判定を行う例について説明した。実施の形態４では、照度センサを用いずに明るさ判定を行う他の例について説明する。

図１８は、実施の形態４に係る画像処理システムの構成を示すブロック図である。
図１８に示す画像処理システム１Ｂは、図２に示した画像処理システム１の構成において、画像処理装置１０の代わりに画像処理装置１０Ｂを備える。

画像処理装置１０Ｂは、画像処理装置１０と同様にコンピュータにより構成される。なお、画像処理装置１０Ｂは、機能的な構成として明るさ判定部１２の代わりに明るさ判定部１２Ｂを備える。

明るさ判定部１２Ｂは、カメラ２０に接続され、カメラ２０から取得される明るさの調整に関する撮像パラメータ情報に基づいて、カメラ２０の撮像範囲の明るさを判定する。カメラ２０が撮像範囲の明るさに応じて露光時間を自動調整する機能を備えている場合には、明るさ判定部１２Ｂは、カメラ２０から撮像パラメータ情報として露光時間（シャッター速度）の情報を取得する。明るさ判定部１２Ｂは、取得した露光時間に基づいて、記憶装置１６に記憶されている明暗基準ＤＢ１７を参照して明るさを判定する。

図１９は、明暗基準ＤＢ１７の一例を示す図である。
明暗基準ＤＢ１７は、露光時間（ＥＴ）に基づいて、当該露光時間でカメラ２０が撮像した環境が、明るい環境か、暗い環境か、中程度の明るさの環境かを判定するための基準が示されている。例えば、図１９に示す明暗基準ＤＢ１７によると、露光時間がＥＴ＞１／３０秒となる環境は、暗い環境である。露光時間が１／１００秒＜ＥＴ≦１／３０秒となる環境は、中程度の明るさの環境である。露光時間がＥＴ≦１／１００秒となる環境は、明るい環境である。

つまり、明るさ判定部１２は、カメラ２０から取得した露光時間（ＥＴ）がＥＴ＞１／３０秒であれば、カメラ２０の撮像範囲は暗い環境であると判定する。また、明るさ判定部１２は、露光時間（ＥＴ）が１／１００秒＜ＥＴ≦１／３０秒であれば、カメラ２０の撮像範囲は中程度の明るさの環境であると判定する。さらに、明るさ判定部１２は、露光時間（ＥＴ）がＥＴ≦１／１００秒であれば、カメラ２０の撮像範囲は明るい環境であると判定する。
画像処理装置１０が実行する処理の手順は、実施の形態１または２と同様である。

なお、撮像パラメータ情報として、その他の情報を用いることもできる。例えば、カメラ２０が自動絞り機構を備える場合には、明るさ判定部１２Ｂは、カメラ２０から撮像パラメータ情報として絞り値（Ｆ値）を取得する。明るさ判定部１２Ｂは、取得した絞り値に基づいて、絞り値と明るさとの対応関係を示した明暗基準ＤＢ１７を参照して、カメラ２０の撮像範囲の明るさを判定する。なお、明るい環境ではレンズを通過する光を少なくするために絞り値が大きくなり、暗い環境ではレンズを通過する光を多くするために絞り値が小さくなる。

本開示の実施の形態４によると、照度センサ２６を用いることなく明るさを判定することができる。このため、低コストで明るさを判定することができる。

（変形例１）
上述の実施の形態１〜４では、照度、輝度平均および露光時間などのうち、１つの項目に基づいて、カメラ２０の撮像範囲の明るさを判定していた。しかし、２つ以上の項目に基づいて、明るさを判定するようにしてもよい。

例えば、明るさ判定部１２は、照度センサ２６が測定したカメラ２０の撮像範囲の照度と、カメラ２０の露光時間とに基づいて、明暗基準ＤＢ１７を参照して、カメラ２０の撮像範囲の明るさを判定してもよい。

図２０は、明暗基準ＤＢ１７の一例を示す図である。
明暗基準ＤＢ１７は、照度（ＩＬ）および露光時間（ＥＴ）に基づいて、当該照度を有し、当該露光時間でカメラ２０が撮像した環境が、明るい環境か、暗い環境か、中程度の明るさの環境かを判定するための基準が示されている。例えば、図２０に示す明暗基準ＤＢ１７によると、照度がＩＬ＜５００ｌｘかつ露光時間がＥＴ＞１／３０秒となる環境は、暗い環境である。照度がＩＬ≧１００００かつ露光時間がＥＴ≦１／１００秒となる環境は、明るい環境である。それ以外の場合には、中程度の明るさの環境である。

明るさ判定部１２は、照度センサ２６が測定した（ＩＬ）とカメラ２０から取得した露光時間（ＥＴ）に基づいて、明暗基準ＤＢ１７を参照して、カメラ２０の撮像範囲の明るさを判定する。

本変形例によると、複数の項目に基づいて、カメラ２０の撮像範囲の明るさを判定することができる。このため、より正確に明るさを判定することができる。

（変形例２）
上述の実施の形態１〜４では、ラベルをヘルメット８０に取り付ける例を説明したが、ラベルの取り付け位置はヘルメット８０に限定されるものではない。

例えば、ラベルは、人物が身に着ける衣類や腕章などに取り付けられていてもよい。

図２１は、人物を正面から見た図である。人物は、ラベル９０Ｆが取り付けられた腕章を両腕にはめている。ラベル９０Ｆは、青ラベル９１Ｂ、赤ラベル９１Ｒおよび緑ラベル９１Ｇから構成され、各ラベル間には間隙領域９２が設けられている。

また、ラベルの取り付けられる対象は人物に限定されるものではない。例えば、対象物を検出するための画像処理装置１０を用いる場合には、検出対象物にラベルが取り付けられていてもよい。

図２２は、段ボール箱の外観図である。検出対象物が段ボール箱である場合には、段ボール箱にラベル９０Ｄが取り付けられる。ラベル９０Ｄは、青ラベル９１Ｂ、赤ラベル９１Ｒおよび緑ラベル９１Ｇから構成され、各ラベル間には間隙領域９２が設けられている。

また、車両の進入禁止場所を検出するために画像処理装置１０を用いる場合には、検出対象としての進入禁止場所にラベルが取り付けられていてもよい。

図２３は、フォークリフト２５が走行する道路を模式的に示す図である。フォークリフト２５が走行する道路１００には、例えば、フォークリフト２５の進入が禁止された進入禁止道路１０１、進入禁止道路１０２および進入禁止エリア１０３が設けられている。進入禁止道路１０１および進入禁止道路１０２の入口付近には、ラベル９０Ｊおよびラベル９０Ｋが貼り付けられている。また、進入禁止エリア１０３の周囲にはラベル９０Ｌが貼り付けられている。なお、ラベル９０Ｊ、９０Ｋおよび９０Ｌのそれぞれは、青ラベル９１Ｂ、赤ラベル９１Ｒおよび緑ラベル９１Ｇから構成される。このような構成により、画像処理装置１０は、フォークリフト２５が進入禁止場所（進入禁止道路１０１、進入禁止道路１０２または進入禁止エリア１０３）に接近したことを検知することができる。画像処理装置１０は、フォークリフト２５が進入禁止場所に接近したことをフォークリフト２５のドライバーやフォークリフト２５の周囲にいるユーザに通知するために、音出力装置３０から通知音を出力したり、表示装置４０にメッセージを表示させたり、端末装置５０に進入禁止場所に接近したことを示す情報を送信する。

このように、進入禁止場所にラベルを取り付けることにより、フォークリフト２５のドライバーに対して、進入禁止場所に近づかないように注意喚起を行うことができる。

このように、検出したい対象にラベルを取り付けることにより、対象を正確に検出することができる。

（付記）
上述の実施の形態および変形例では、ヘルメットにラベルを貼り付けたり、衣類または腕章などにラベルを取り付けることにより、検出対象物にラベルを取り付けることとしたが、ラベルの取り付け方法はこれに限定されるものではない。例えば、検出対象物にラベルを構成する各色の塗料を直接塗布することによりラベルを取り付けてもよい。具体的には、ヘルメットに赤色、緑色および青色の塗料と、間隙領域としての黒色の塗料とを直接塗布することにより、ヘルメットにラベルを取り付けてもよい。

上記の画像処理装置１０を構成する構成要素の一部または全部は、１個のシステムＬＳＩから構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

また、本開示は、上記に示す方法をコンピュータにより実現するコンピュータプログラムとして実現することもできる。このようなコンピュータプログラムは、コンピュータ読取可能な非一時的な記録媒体、例えば、ＨＤＤ、ＣＤ−ＲＯＭ、半導体メモリなどに記録して流通させることもできるし、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送させることもできる。
また、画像処理装置１０は、複数のコンピュータにより実現されてもよい。

また、画像処理装置１０の一部または全部の機能がクラウドコンピューティングによって提供されてもよい。つまり、画像処理装置１０の一部または全部の機能がクラウドサーバにより実現されていてもよい。例えば、画像処理装置１０において、ラベル検出部１４の機能がクラウドサーバにより実現され、画像処理装置１０は、クラウドサーバに対して画像および検出対象色の情報を送信し、クラウドサーバからラベルの検出結果を取得する構成であってもよい。
さらに、上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１、１Ａ、１Ｂ 画像処理システム
１０、１０Ａ、１０Ｂ 画像処理装置
１１ 画像取得部
１２、１２Ａ、１２Ｂ 明るさ判定部
１３ 検出対象色決定部
１４ ラベル検出部
１５ 出力部
１６ 記憶装置
１７ 明暗基準ＤＢ
２０ カメラ
２１ 撮像領域
２２ 死角領域
２３ 境界
２５ フォークリフト
２６、２６Ａ 照度センサ
３０ 音出力装置
４０ 表示装置
５０ 端末装置
６０ ミラー
６１ 撮像領域
７１、７２ 人物
８０ ヘルメット
８２Ｇ 緑色領域
８２Ｒ 赤色領域
８３ 中心位置
８４ 所定距離範囲
９０Ａ、９０Ｃ、９０Ｄ、９０Ｆ、９０Ｊ、９０Ｋ、９０Ｌ ラベル
９１Ｂ 青ラベル
９１Ｇ 緑ラベル
９１Ｒ 赤ラベル
９１Ｗ 白ラベル
９２ 間隙領域
１００ 道路
１０１ 進入禁止道路
１０２ 進入禁止道路
１０３ 進入禁止エリア

Claims (9)

1. 検出対象に取り付けられるラベルを検出する画像処理装置であって、
   カメラで撮像されたカラーの画像を取得する画像取得部と、
   前記カメラの撮像範囲の明るさを判定する明るさ判定部と、
   前記明るさ判定部の判定結果に基づいて、所定数以上の色の領域を含む前記ラベルに付される色の中から、１色以上の検出対象色を決定する検出対象色決定部と、
   前記画像取得部が取得した前記画像から、前記検出対象色決定部が決定した前記検出対象色の領域を抽出することにより、前記ラベルを検出するラベル検出部と
   を備える画像処理装置。
2. 前記ラベルは、前記領域に再帰性反射材を含む
   請求項１に記載の画像処理装置。
3. 前記明るさ判定部は、前記画像取得部が取得した前記画像、前記カメラから取得される明るさの調整に関する撮像パラメータ情報、および前記カメラの撮像範囲に含まれる位置に係る照度を計測する照度センサから取得される照度情報の少なくとも１つに基づいて、前記明るさを判定する
   請求項１または請求項２に記載の画像処理装置。
4. 前記検出対象色決定部は、前記所定数以上の色のうち、少なくとも波長が最長の色および波長が最短の色以外の色である中間波長色を、前記検出対象色と決定する
   請求項１から請求項３のいずれか１項に記載の画像処理装置。
5. 前記ラベル検出部は、前記中間波長色の領域から順に前記検出対象色の領域を抽出する
   請求項４に記載の画像処理装置。
6. 前記ラベルは、赤色領域、青色領域および緑色領域を含む
   請求項１から請求項５のいずれか１項に記載の画像処理装置。
7. さらに、前記ラベル検出部による検出結果に応じた情報を出力する出力部を備える
   請求項１から請求項６のいずれか１項に記載の画像処理装置。
8. コンピュータを、検出対象に取り付けられるラベルを検出する画像処理装置として機能させるためのコンピュータプログラムであって、
   前記コンピュータを、
   カメラで撮像されたカラーの画像を取得する画像取得部と、
   前記カメラの撮像範囲の明るさを判定する明るさ判定部と、
   前記明るさ判定部の判定結果に基づいて、所定数以上の色の領域を含む前記ラベルに付される色の中から、１色以上の検出対象色を決定する検出対象色決定部と、
   前記画像取得部が取得した前記画像から、前記検出対象色決定部が決定した前記検出対象色の領域を抽出することにより、前記ラベルを検出するラベル検出部と
   して機能させるためのコンピュータプログラム。
9. 検出対象に取り付けられる、所定数以上の色の領域を含むラベルと、
   カラーの画像を撮影するカメラと、
   請求項１から請求項７のいずれか１項に記載の画像処理装置と
   を備える画像処理システム。

Images