JPWO2018105181A1 - 画像処理プログラム、色ラベル、検知装置、画像処理装置、画像処理方法および画像処理システム - Google Patents

画像処理プログラム、色ラベル、検知装置、画像処理装置、画像処理方法および画像処理システム Download PDF

Info

Publication number
JPWO2018105181A1
JPWO2018105181A1 JP2018554824A JP2018554824A JPWO2018105181A1 JP WO2018105181 A1 JPWO2018105181 A1 JP WO2018105181A1 JP 2018554824 A JP2018554824 A JP 2018554824A JP 2018554824 A JP2018554824 A JP 2018554824A JP WO2018105181 A1 JPWO2018105181 A1 JP WO2018105181A1
Authority
JP
Japan
Prior art keywords
color
frequency
image
low
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2018554824A
Other languages
English (en)
Inventor
充一 梅村
有里 木下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Electric Industries Ltd
Original Assignee
Sumitomo Electric Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Electric Industries Ltd filed Critical Sumitomo Electric Industries Ltd
Publication of JPWO2018105181A1 publication Critical patent/JPWO2018105181A1/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • AHUMAN NECESSITIES
    • A42HEADWEAR
    • A42BHATS; HEAD COVERINGS
    • A42B3/00Helmets; Helmet covers ; Other protective head coverings
    • A42B3/04Parts, details or accessories of helmets
    • A42B3/0406Accessories for helmets
    • A42B3/0433Detecting, signalling or lighting devices
    • A42B3/0453Signalling devices, e.g. auxiliary brake or indicator lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0308Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

画像処理プログラムは、コンピュータを、対象物の検知対象エリアを撮像した画像を取得する画像取得部と、画像取得部が取得した画像に基づいて、色ごとに、当該色の画像中での発生頻度を算出する発生頻度算出部と、発生頻度算出部が算出した色ごとの発生頻度に基づいて、他の色と比べて発生頻度の低い色である低頻度色を決定する低頻度色決定部として機能させる。

Description

本発明は、画像処理プログラム、色ラベル、検知装置、画像処理装置、画像処理方法および画像処理システムに関する。
本出願は、2016年12月7日出願の日本出願第2016−237508号に基づく優先権を主張し、前記日本出願に記載された全ての記載内容を援用するものである。
従来、カメラが撮像した画像から対象物を検知するための技術が開発されている。
例えば、特許文献1には、フォークリフトの周辺の人物を検知するためのフォークリフトの安全装置が開示されている。つまり、フォークリフトおよび人物に、予め定められた色で互いに異なる形状を描き、天井に予め設置された固定カメラでフォークリフトおよび人物を撮像する。安全装置は、撮像した画像から上記形状および色を抽出することにより、フォークリフトおよび人物を検知し、フォークリフトと人物が一定距離以内に接近すると発報する。
また、特許文献2には、車両系建設機械の周囲に存在する人物を検知する建設機械用人物検知システムが開示されている。特許文献2では、車両系建設機械としてのショベルに取り付けられたカメラの撮像画像を用いて、ショベルの周辺に位置する人物を検知している。
特開平9−169500号公報 国際公開第2015/186570号
(1)本開示の一実施態様に係る画像処理プログラムは、コンピュータを、対象物の検知対象エリアを撮像した画像を取得する画像取得部と、前記画像取得部が取得した前記画像に基づいて、色ごとに、当該色の前記画像中での発生頻度を算出する発生頻度算出部と、前記発生頻度算出部が算出した色ごとの発生頻度に基づいて、他の色と比べて発生頻度の低い色である低頻度色を決定する低頻度色決定部として機能させる。
(10)本開示の他の実施態様に係る色ラベルは、上述の画像処理プログラムをコンピュータ上で実行することにより決定される低頻度色の光を発色する。
(11)本開示の他の実施態様に係る検知装置は、上述の画像処理プログラムをコンピュータ上で実行することにより決定される低頻度色を識別するための閾値を取得する閾値取得部と、対象物の検知対象エリアの画像を取得する画像取得部と、前記閾値取得部が取得した前記閾値に基づいて、前記画像取得部が取得した前記画像中に、前記低頻度色が含まれていることを検知する検知部とを備える。
(12)本開示の他の実施態様に係る画像処理装置は、対象物の検知対象エリアを撮像した画像を取得する画像取得部と、前記画像取得部が取得した前記画像に基づいて、色ごとに、当該色の前記画像中での発生頻度を算出する発生頻度算出部と、前記発生頻度算出部が算出した色ごとの発生頻度に基づいて、他の色と比べて発生頻度の低い色である低頻度色を決定する低頻度色決定部とを備える。
(13)本開示の他の実施態様に係る画像処理方法は、対象物の検知対象エリアを撮像した画像を取得するステップと、取得された前記画像に基づいて、色ごとに、当該色の前記画像中での発生頻度を算出するステップと、算出された色ごとの発生頻度に基づいて、他の色と比べて発生頻度の低い色である低頻度色を決定するステップとを含む。
(14)本開示の他の実施態様に係る画像処理システムは、上述の画像処理装置と、上述の色ラベルと、上述の検知装置とを備える。
本開示の実施の形態1に係る画像処理システムの全体構成を示す図である。 画像処理システム1の取付例を示す図である。 本開示の実施の形態1に係る解析装置の機能的な構成を示すブロック図である。 本開示の実施の形態1に係る検知装置の機能的な構成を示すブロック図である。 本開示の実施の形態1に係る色ラベル5の構成を示すブロック図である。 人物が被るヘルメットを側方から見た図である。 検知対象物である物を側面上方から見た図である。 本開示の実施の形態1に係る解析装置の処理手順の一例を示すフローチャートである。 低頻度色候補決定処理(S8)の詳細な処理手順を示すフローチャートである。 R−G−B信号ヒストグラムの一例を示す図である。 R信号ヒストグラムの一例を示す図である。 R−G信号ヒストグラムの一例を示す図である。 低頻度色の決定処理を説明するための図である。 本開示の実施の形態1に係る解析装置の処理手順の他の一例を示すフローチャートである。 本開示の実施の形態1に係る検知装置の処理手順の一例を示すフローチャートである。 閾値決定部に記憶される閾値の例を示す図である。 本開示の実施の形態に係る検知装置の処理手順の他の一例を示すフローチャートである。 本開示の実施の形態2に係る解析装置の機能的な構成を示すブロック図である。 本開示の実施の形態2に係る検知装置の機能的な構成を示すブロック図である。 閾値記憶部に記憶される閾値の例を示す図である。 本開示の実施の形態2に係る解析装置の処理手順の一例を示すフローチャートである。 本開示の実施の形態2に係る検知装置の処理手順の一例を示すフローチャートである。 本開示の実施の形態2に係る検知装置の処理手順の他の一例を示すフローチャートである。 本開示の実施の形態3に係る解析装置の機能的な構成を示すブロック図である。 本開示の実施の形態3に係る検知装置の機能的な構成を示すブロック図である。 閾値記憶部に記憶される閾値の例を示す図である。 本開示の実施の形態3に係る解析装置の処理手順の一例を示すフローチャートである。 本開示の実施の形態3に係る検知装置の処理手順の一例を示すフローチャートである。 本開示の実施の形態3に係る検知装置の処理手順の他の一例を示すフローチャートである。 本開示の実施の形態4に係る解析装置の機能的な構成を示すブロック図である。 人物が被るヘルメットを側方から見た図である。 人物が被るヘルメットを上方から見た図である。 閾値記憶部に記憶される閾値の例を示す図である。 本開示の実施の形態4に係る解析装置の処理手順の一例を示すフローチャートである。 低頻度サイズおよび低頻度色の組候補を決定する処理(S8B)の詳細な処理手順を示すフローチャートである。 S−R−G−B信号ヒストグラムの一例を示す図である。 S−R信号ヒストグラムの一例を示す図である。 本開示の実施の形態4に係る検知装置の処理手順の一例を示すフローチャートである。 本開示の実施の形態4に係る検知装置の処理手順の他の一例を示すフローチャートである。
[本開示が解決しようとする課題]
しかしながら、特許文献1では、フォークリフトおよび人物に描く形状の色の決め方については示されていない。このため、カメラの撮像範囲内に当該形状の色と類似する色の物体等が存在する場合には、人物を正確に検知することができないという課題がある。
また、特許文献2では、人物を検知するために、人物が被るヘルメットを検知している。このため、カメラの撮像範囲内にヘルメットの色と類似する色の物体等が存在する場合には、ヘルメットを正確に検知することができないという課題がある。
そこで、画像処理により対象物を正確に検知するために対象物に付すべき色を決定することのできる画像処理プログラム、画像処理装置および画像処理方法を提供することを目的とする。
また、画像処理により正確に検知される色ラベルを提供することも目的とする。
また、対象物を正確に検知することができる検知装置および画像処理システムを提供することも目的とする。
[本開示の効果]
本開示によると、画像処理により対象物を正確に検知するために対象物に付すべき色を決定することができる。
また、画像処理により正確に検知される色ラベルを提供することもできる。
さらに、対象物を正確に検知することができる。
[本願発明の実施形態の概要]
最初に本開示の実施形態の概要を列記して説明する。
(1)本開示の一実施形態に係る画像処理プログラムは、コンピュータを、対象物の検知対象エリアを撮像した画像を取得する画像取得部と、前記画像取得部が取得した前記画像に基づいて、色ごとに、当該色の前記画像中での発生頻度を算出する発生頻度算出部と、前記発生頻度算出部が算出した色ごとの発生頻度に基づいて、他の色と比べて発生頻度の低い色である低頻度色を決定する低頻度色決定部として機能させる。
この構成によると、対象物の検知対象エリアを撮像した画像から、相対的に発生頻度の低い色である低頻度色を決定することができる。このため、画像処理により対象物を正確に検知するために対象物に付すべき色を決定することができる。つまり、低頻度色を対象物に付すことによって、検知対象エリアを撮像した画像から、低頻度色の領域を他の領域の色の影響を受けることなく、正確に検知することができる。これにより、対象物を正確に検知することができる。例えば、工場内を撮像した画像から低頻度色を決定し、低頻度色のラベルを人物が被るヘルメットに貼る。ラベルの色は、画像中において発生頻度が低いことが保証されている。このため、画像処理によりヘルメットに貼られたラベルを正確に検知可能であり、これにより人物を正確に検知することができる。
(2)前記低頻度色決定部は、所定の色空間において互いに近傍に位置する複数色に含まれる各色の発生頻度を考慮して、前記低頻度色を決定してもよい。
この構成によると、色空間において発生頻度が低い色の周辺の色も発生頻度が低い場合に、当該発生頻度が低い色を優先的に低頻度色と決定することができる。これにより、日照、気象もしくは照明等の環境条件が変化することによって、画像中で低頻度色である対象物の色が多少変化した場合であっても、変化後の色についても発生頻度を低くすることができる。このため、環境条件の変化の影響を受けることなく、画像処理により、画像から対象物を正確に検知することができる。
(3)また、前記コンピュータを、さらに、前記画像取得部が取得した前記画像に対して、各画素の色に基づく領域分割処理を実行する領域分割部と、前記領域分割部が分割した領域ごとに、当該領域のサイズおよび代表色を算出する領域特徴算出部として機能させ、前記発生頻度算出部は、前記領域特徴算出部が算出した前記領域のサイズおよび代表色に基づいて、サイズおよび代表色の組ごとに、当該組を有する領域の前記画像中での発生頻度を算出し、前記低頻度色決定部は、前記発生頻度算出部が算出した前記組ごとの領域の発生頻度に基づいて、他の組と比較して発生頻度が低いサイズおよび代表色の組を決定してもよい。
この構成によると、領域分割処理により画像が類似する色の画素から構成される領域に分割される。また、領域のサイズおよび代表色の組の発生頻度に基づいて、相対的に発生頻度が低いサイズおよび代表色の組を決定することができる。このため、画像処理により対象物を正確に検知するために対象物に付すべき色と当該色のサイズを決定することができる。例えば、決定されたサイズおよび代表色のラベルを対象物に付け、画像処理により画像から当該サイズおよび当該代表色のラベルを検知することにより、対象物を正確に検知することができる。
(4)また、前記低頻度色決定部は、前記発生頻度に基づいて、色間の距離が大きい低頻度色の組ほど優先的に選択することにより、複数の低頻度色を決定してもよい。
色間の距離が離れているほど、色の識別性能が高くなる。この構成によると、色間の距離が大きくなるように複数の低頻度色が決定される。例えば、3つの低頻度色の中から2つの低頻度色を選ぶ場合には、3つの低頻度色の組のうち、最も色間の距離が大きくなる低頻度色の組が選択される。距離の小さい低頻度色の組を選択すると、日照、気象もしくは照明等の環境条件によっては、画像処理により低頻度色同士が同一色と認識され識別不可能な場合があるが、距離の大きい低頻度色の組を選択することにより、環境条件に左右されずに低頻度色を識別することができる。
(5)また、前記コンピュータを、さらに、前記低頻度色決定部が決定した複数の低頻度色を画面に表示させる表示制御部と、前記画面に表示された前記複数の低頻度色の中からユーザが選択した色である選択色を取得する選択色取得部として機能させ、前記表示制御部は、さらに、前記選択色取得部が取得した前記選択色との間の距離に応じて、前記複数の低頻度色を前記画面に表示させてもよい。
この構成によると、低頻度色決定部によって低頻度色が複数決定された場合に、ユーザがその中から選択した選択色との距離に応じて他の低頻度色が画面上に表示される。例えば、選択色との距離が大きいものから順に他の低頻度色を表示することによって、選択色との識別性能が高い低頻度色をユーザに選択させやすくすることができる。
(6)また、前記コンピュータを、さらに、前記画像取得部による前記画像の取得時刻を取得する時刻取得部として機能させ、前記発生頻度算出部は、前記時刻取得部が取得した前記取得時刻を含む時間帯に応じて、色ごとの発生頻度を算出し、前記低頻度色決定部は、前記発生頻度算出部が算出した前記発生頻度に基づき、時間帯に応じた低頻度色を決定してもよい。
この構成によると、時間帯ごとに低頻度色を決定することができる。このため、例えば、時間帯に応じて照明環境が変化する屋外などで撮像された画像から対象物を検知する場合であっても、対象物に付すラベルの色を時間帯に応じて変化させることにより、いずれの時間帯においても対象物を高精度に検知することができる。
(7)また、前記コンピュータを、さらに、前記画像取得部による前記画像の取得位置を取得する位置取得部として機能させ、前記発生頻度算出部は、前記位置取得部が取得した前記取得位置が属するエリアに応じて、色ごとの発生頻度を算出し、前記低頻度色決定部は、前記発生頻度算出部が算出した前記発生頻度に基づき、エリアに応じた低頻度色を決定してもよい。
この構成によると、エリアごとに低頻度色を決定することができる。このため、例えば、車両に搭載されたカメラで撮像された画像から対象物を検知する場合や、複数のエリアにそれぞれ配置されたカメラで撮像された画像から対象物を検知する場合などであっても、対象物に付すラベルの色をカメラの位置に応じて変化させることにより、対象物を高精度に検知することができる。
(8)また、前記コンピュータを、さらに、指定色を取得する指定色取得部と、前記発生頻度算出部が算出した色ごとの発生頻度に基づいて、前記指定色取得部が取得した指定色の発生頻度に基づく情報を出力する出力部として機能させてもよい。
この構成によると、指定色の画像中での発生頻度または発生頻度のレベルなどを知ることができる。例えば、ユーザが、画像中で、低頻度色決定部が決定した低頻度色を発色するラベルを指定する。これにより、ユーザは、ラベルの色が実際に低頻度か否かを知ることができ、ラベルが適切な色の光を発色しているか否かを確認することができる。
(9)また、前記コンピュータを、さらに、前記低頻度色決定部が決定した前記低頻度色に基づいて、当該低頻度色を識別するための閾値を決定する閾値決定部として機能させてもよい。
この構成によると、他の検知装置などが低頻度色を識別するための閾値を決定することができる。
(10)本開示の他の実施形態に係る色ラベルは、上述の画像処理プログラムをコンピュータ上で実行することにより決定される低頻度色の光を発色する。
この構成によると、色ラベルは、画像中での発生頻度が低い色を発色する。つまり、画像中で、色ラベルの色と同一または類似する色の画素の存在確率は低い。このため、画像処理により、色ラベルを他の領域と区別して正確に検知することができる。これにより、画像処理により正確に検知される色ラベルを提供することができる。
(11)本開示の他の実施形態に係る検知装置は、上述の画像処理プログラムをコンピュータ上で実行することにより決定される低頻度色を識別するための閾値を取得する閾値取得部と、対象物の検知対象エリアの画像を取得する画像取得部と、前記閾値取得部が取得した前記閾値に基づいて、前記画像取得部が取得した前記画像中に、前記低頻度色が含まれていることを検知する検知部とを備える。
この構成によると、画像中に低頻度色が含まれていることを検知することができる。低頻度色は画像中の背景等にはほとんど含まれない色である。このため、対象物に低頻度色を付すことで、背景等の色の影響を受けずに対象物を正確に検知することができる。
(12)本開示の他の実施形態に係る画像処理装置は、対象物の検知対象エリアを撮像した画像を取得する画像取得部と、前記画像取得部が取得した前記画像に基づいて、色ごとに、当該色の前記画像中での発生頻度を算出する発生頻度算出部と、前記発生頻度算出部が算出した色ごとの発生頻度に基づいて、他の色と比べて発生頻度の低い色である低頻度色を決定する低頻度色決定部とを備える。
この構成は、上述の画像処理プログラムによってコンピュータが機能させる処理部を構成要素として含む。このため、上述の画像処理プログラムと同一の作用および効果を奏することができる。
(13)本開示の他の実施形態に係る画像処理方法は、対象物の検知対象エリアを撮像した画像を取得するステップと、取得された前記画像に基づいて、色ごとに、当該色の前記画像中での発生頻度を算出するステップと、算出された色ごとの発生頻度に基づいて、他の色と比べて発生頻度の低い色である低頻度色を決定するステップとを含む。
この構成は、上述の画像処理プログラムによってコンピュータが機能させる処理部に対応するステップを含む。このため、上述の画像処理プログラムと同一の作用および効果を奏することができる。
(14)本開示の他の実施形態に係る画像処理システムは、上述の画像処理装置と、上述の色ラベルと、上述の検知装置とを備える。
この構成は、上述の画像処理装置と、上述の色ラベルと、上述の検知装置とを備える。画像処理装置によると、対象物の検知対象エリアを撮像した画像から、相対的に発生頻度の低い色である低頻度色を決定することができる。また、色ラベルは、当該低頻度色を発色する。つまり、色ラベルは、画像中での発生頻度が低い色を発色し、画像中で、色ラベルの色と同一または類似する色の画素の存在確率は低い。このため、検知装置は、検知対象エリアを撮像した画像から、色ラベルを、他の領域の色の影響を受けることなく、正確に検知することができる。対象物に色ラベルを付すことにより、検知装置は、対象物を正確に検知することができる。例えば、工場内を撮像した画像から低頻度色を決定し、低頻度色を発色する色ラベルを人物が被るヘルメットに付す。色ラベルの色は、画像中において発生頻度が低いことが保証されている。このため、画像処理によりヘルメットを正確に検知可能であり、これにより人物を正確に検知することができる。
なお、本開示に係る画像処理装置または検知装置の一部又は全部を実現する半導体集積回路として実現することもできる。
[本願発明の実施形態の詳細]
以下、本開示の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本開示の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。本開示は、請求の範囲によって特定される。よって、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、本開示の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
(実施の形態1)
[画像処理システムの全体構成]
図1は、本開示の実施の形態1に係る画像処理システムの全体構成を示す図である。実施の形態1では、検知対象エリア内に存在する対象物として人物61を検知する例について説明する。ただし、対象物は人物61に限定されるものではなく、車両などの他の移動体であってもよいし、検知対象エリア内に予め設置された柱や固定物であってもよい。
画像処理システム1は、所定の検知対象エリア内の存在する対象物を検知するためのシステムであって、カメラ2と、解析装置3と、検知装置4と、色ラベル5とを備える。
カメラ2は、予め定められた検知対象エリアを撮像し、撮像した画像を映像信号として出力する。
解析装置3は、画像処理装置を構成し、カメラ2から、検知対象エリアの画像(映像信号)を取得し、取得した画像中で相対的に発生頻度の低い色である低頻度色を決定する。解析装置3とカメラ2とは、有線により接続されていてもよいし、4Gなどの通信規格に従った携帯電話回線や、Wi−Fi(登録商標)などの無線LAN(Local Area Network)により接続されていてもよい。また、カメラ2が撮影した画像を記録媒体などに書き込み、解析装置3が記録媒体から検知対象エリアの画像を読み込んでもよい。
なお、解析装置3による低頻度色の決定処理は、後述する検知装置4による人物61の検知処理に先立って、前処理として実行される。
色ラベル5は、解析装置3が決定した低頻度色を発色する。色ラベル5は、対象物である人物61に付される。例えば、色ラベル5は、人物61が被るヘルメットに貼り付けられる。
検知装置4は、カメラ2から、検知対象エリアの画像を取得し、取得した画像中で、上記低頻度色を発色する色ラベル5を検知することにより、対象物である人物61を検知する。検知装置4とカメラ2とは、有線により接続されていてもよいし、4Gなどの通信規格に従った携帯電話回線や、Wi−Fi(登録商標)などの無線LANにより接続されていてもよい。
図2は、画像処理システム1の取付例を示す図である。
例えば、画像処理システム1は、フォークリフト60の周囲を監視するためのシステムであり、カメラ2は、フォークリフト60の後方を監視可能な位置(例えば、フォークリフト60のフォークヘッドガード後端位置など)に設置される。これにより、フォークリフト60の後方が、人物61の検知対象エリアとされる。
カメラ2と解析装置3とは、例えば、無線LANにより接続され、カメラ2と検知装置4とは有線により接続されている。
検知装置4は、カメラ2が撮像した画像から色ラベル5を検知することにより、人物61の検知を行う。
[解析装置3の構成]
図3は、本開示の実施の形態1に係る解析装置3の機能的な構成を示すブロック図である。
解析装置3は、通信部31と、画像取得部32と、記憶部33と、発生頻度算出部34と、低頻度色決定部35と、表示制御部36と、入力受付部37とを備える。
通信部31は、カメラ2または検知装置4と通信を行うための処理部であり、例えば、カメラ2または検知装置4と有線接続または無線接続するための通信インタフェースを含んで構成される。
画像取得部32は、通信部31を介してカメラ2から、カメラ2が撮像した検知対象エリアの画像を取得する。画像取得部32は、取得した画像を記憶部33に蓄積する。
記憶部33は、画像取得部32が取得した画像を蓄積する記憶装置であり、例えば、RAM(Random Access Memory)、フラッシュメモリまたはHDD(Hard Disk Drive)などから構成される。
発生頻度算出部34は、画像取得部32が取得した画像に基づいて、色ごとに、当該色の画像中での発生頻度を算出する。例えば、色を、RGB色空間におけるR(赤)、G(緑)、B(青)の輝度値で表す場合には、(R,G,B)の輝度値の組ごとに発生頻度を算出する。ただし、色を、HSV色空間における色相(H)、彩度(S)および明度(V)で表してもよい。
なお、発生頻度算出部34は、画像取得部32が取得した複数枚の画像に基づいて発生頻度を算出する場合には、当該複数枚の画像を記憶部33から読み出す。
低頻度色決定部35は、発生頻度算出部34が算出した色ごとの発生頻度に基づいて、他の色と比べて発生頻度の低い色である低頻度色を決定する。例えば、低頻度色決定部35は、全ての色の発生頻度を合計した総発生頻度に対する発生頻度の割合が所定閾値以下の色を、低頻度色として決定してもよい。また、低頻度色決定部35は、発生頻度の昇順にあらかじめ定められた所定数の色を低頻度色と決定してもよい。
表示制御部36は、出力部を構成し、低頻度色決定部35が決定した低頻度色を、解析装置3の表示画面、または解析装置3とネットワーク等を介して接続された端末装置などの他の装置の表示画面に表示する制御を行う。
入力受付部37は、キーボードやマウス、タッチパネルなどの入力装置を介してユーザの入力を受け付ける処理部であり、選択色取得部37aと、指定色取得部37bとを含む。
選択色取得部37aは、表示制御部36によって表示画面に表示された複数の低頻度色の中から、ユーザの選択入力を受け付け、ユーザが選択した低頻度色である選択色を取得する。
指定色取得部37bは、ユーザが入力装置を操作して指定した色である指定色を取得する。例えば、指定色取得部37bは、表示画面上に表示された画像上の位置をユーザが指定した場合には、当該位置に対応する色を指定色として取得する。また、指定色取得部37bは、表示画面上に表示されたカラーパレット上の位置をユーザが指定した場合には、当該位置に対応する色を指定色として取得する。
指定色取得部37bが指定色を取得した場合には、発生頻度算出部34が当該指定色に対応する発生頻度を算出し、表示制御部36が算出した発生頻度を表示画面に表示する。
[検知装置4の構成]
図4は、本開示の実施の形態1に係る検知装置4の機能的な構成を示すブロック図である。
検知装置4は、通信部41と、低頻度色取得部42と、閾値決定部43と、閾値記憶部44と、画像取得部45と、検知部46と、通知部47とを備える。
通信部41は、カメラ2または解析装置3と通信を行うための処理部であり、例えば、カメラ2または解析装置3と有線接続または無線接続するための通信インタフェースを含んで構成される。
低頻度色取得部42は、通信部41を介して解析装置3から、解析装置3が決定した低頻度色を取得する。例えば、色をRGB色空間におけるR、G、Bの輝度値で表す場合には、低頻度色取得部42は、低頻度色である輝度値(R,G,B)の組を取得する。
閾値決定部43は、閾値取得部として機能し、低頻度色取得部42が取得した低頻度色に基づいて、解析装置3が決定した低頻度色を発色する色ラベル5を検知する際の閾値を決定する。例えば、低頻度色の輝度値が(R1,G1,B1)である場合には、閾値決定部43は、閾値として、下限閾値を(R1−10,G1−10,B1−10)に決定し、上限閾値を(R1+10,G1+10、B1+10)に決定する。閾値決定部43は、決定した閾値を閾値記憶部44に書き込む。なお、低頻度色取得部42が複数の低頻度色を取得している場合には、閾値決定部43は、低頻度色ごとに閾値を決定し、閾値記憶部44に書き込む。
閾値記憶部44は、閾値決定部43が決定した閾値を記憶するための記憶装置であり、例えば、RAM、フラッシュメモリまたはHDDなどから構成される。
画像取得部45は、通信部41を介してカメラ2から、カメラ2が撮像した検知対象エリアの画像を取得する。
検知部46は、画像取得部45が取得した画像中に、低頻度色取得部42が取得した低頻度色が含まれていること、すなわち色ラベル5が含まれていることを検知する。つまり、検知部46は、閾値記憶部44から閾値を読み出し、読み出した閾値と、取得した画像の各画素の色とに基づいて、画像中に低頻度色が含まれているか否かを判断する。例えば、検知部46は、取得した画像の各画素の輝度値(R,G,B)が、読み出した上限閾値および下限閾値の範囲内に収まっていれば、画像中に低頻度色が含まれていることを検知する。これにより、検知部46は、色ラベル5を検知する。
通知部47は、検知部46が低頻度色、つまり色ラベル5を検知した場合に、音出力装置に音信号を送信したり、表示装置にメッセージ情報を送信したり、端末装置に検知結果を送信したりする。これにより、音出力装置は通知音を出力したり、表示装置はメッセージ情報を表示したりすることができる。例えば、音出力装置および表示装置がフォークリフト60の運転席に設置されている場合には、通知部47は、フォークリフト60の運転手に、後方に人物61が存在することを、音出力装置および表示装置を介して音または画像で通知することができる。また、運転手がスマートフォンなどの端末装置を所持している場合には、通知部47は、運転手に、後方に人物61が存在することを、音、画像または振動等で通知することができる。
なお、上述した検知装置4の構成において、閾値決定部43の構成が解析装置3に備えられていてもよい。この場合、解析装置3に備えられた閾値決定部43が、解析装置3の低頻度色決定部35が決定した低頻度色に基づいて、当該低頻度色を発色する色ラベル5を検知する際の閾値を決定する。閾値決定部43は、決定した閾値を通信部31を介して、検知装置4に送信する。検知装置4は、低頻度色取得部42および閾値決定部43の代わりに、閾値取得部を備え、閾値取得部が、通信部41を介して解析装置3から、解析装置3が決定した閾値を受信し、閾値記憶部44に記憶する。
[色ラベル5の構成]
図5は、本開示の実施の形態1に係る色ラベル5の構成を示すブロック図である。
色ラベル5は、インタフェース部51と、制御部52と、発光素子53とを備える。
インタフェース部51は、発光素子53に設定する色を受け付けるインタフェースである。例えば、インタフェース部51は、ユーザが輝度値(R,G,B)を設定するためのスイッチなどの操作部であってもよいし、外部機器と接続され、外部機器から輝度値(R,G,B)を受け付ける通信インタフェースであってもよい。
制御部52は、インタフェース部51が受け付けた色で発光素子53が発光するように、発光素子53の発光色を制御する。制御部52は、汎用プロセッサなどにより構成されていてもよいし、ASIC(Application Specific Integrated Circuit)やFPGA(Field-Programmable Gate Array)などの集積回路や、電子回路により構成されていてもよい。
発光素子53は、制御部52により設定された色で発光する発光素子であり、例えば、LED(Light Emitting Diode)や有機EL(electroluminescence)などの発光素子により構成される。
なお、色ラベル5の構成は、図5に示したものに限定されるものではなく、色ラベル5は、布、テープまたは塗料などにより構成され、特定の色を発色するものであってもよい。この場合、色ラベル5は、蛍光テープにより構成されていたり、色ラベル5に蛍光塗料が塗られたりしていることが好ましい。これにより、夜間や曇天などの照度が低い環境下であっても、色ラベル5を認識しやすくすることができる。また、赤外線カメラなどの特殊なカメラを用いなくてもラベルを認識することができる。
図6および図7を用いて、色ラベル5の取付例について説明する。
図6は、人物61が被るヘルメットを側方から見た図である。図6に示すように、ヘルメット80の上部中央付近(人物61の頭頂部付近)に、色ラベル5が貼り付けられている。色ラベル5は、隣接して配置された第1色ラベル5Aおよび第2色ラベル5Bから構成される。ただし、第1色ラベル5Aおよび第2色ラベル5Bの配置位置は隣接配置に限定されるものではなく、第1色ラベル5Aおよび第2色ラベル5Bの間に所定の間隔を設けていてもよい。このように、人物61の頭頂部付近に色ラベル5を設置することにより、色ラベル5を全方位から視認することが可能となる。また、色ラベル5が発光素子53を含んで構成されている場合には、遠方からの視認性も良くなる。
図7は、検知対象物である物を側面上方から見た図である。図7に示すように、例えば、物の一例である箱のコーナー部分に色ラベル5が貼りつけられる。色ラベル5は、図6に示したものと同様に、隣接して配置された第1色ラベル5Aおよび第2色ラベル5Bから構成される。ただし、第1色ラベル5Aおよび第2色ラベル5Bの配置位置は隣接配置に限定されるものではなく、第1色ラベル5Aおよび第2色ラベル5Bの間に所定の間隔を設けていてもよい。このように、箱のコーナー部分に色ラベル5を設置することにより、色ラベル5を全方位から視認することが可能となる。なお、色ラベル5の設置個所は1か所のコーナーに限定されるものではなく、複数個所のコーナーに色ラベル5を設置することにおり、より視認性を高めることができる。また、色ラベル5が発光素子53を含んで構成されている場合には、遠方からの視認性も良くなる。
[解析装置3の処理手順]
図8は、本開示の実施の形態1に係る解析装置3の処理手順の一例を示すフローチャートである。
画像取得部32は、通信部31を介してカメラ2から、カメラ2が撮像した検知対象エリアの画像を取得する(S2)。
画像取得部32は、取得した画像を記憶部33に書き込むことで、記憶部33に記憶させる(S4)。
画像取得部32は、画像取得が終了したか否かを判断する(S6)。画像取得が終了していなければ(S6でNO)、画像取得が終了するまでステップS2およびS4の処理を繰り返し実行する。
例えば、図2に示したようにカメラ2がフォークリフト60に設置されている場合には、フォークリフト60が走行可能範囲内(例えば、工場内)を隈なく走行し、全ての箇所において画像が取得されていれば画像取得が終了したと判断される。
画像取得の終了はフォークリフト60の運転手が判断し、解析装置3に対して画像取得の終了を通知するようにしてもよい。また、カメラ2が屋外に固定されている場合には、カメラ2が所定周期で画像を撮像し、画像取得部32は、24時間分の画像を取得できた時点で画像取得が終了したと判断してもよい。
画像取得が終了したと判断された場合には(S6でYES)、発生頻度算出部34および低頻度色決定部35は、記憶部33に記憶された画像に基づいて、低頻度色の候補を決定する(S8)。色ラベル5には、第1色ラベル5Aと第2色ラベル5Bの2つの色ラベルが含まれるため、ここでは、2色以上の低頻度色の候補を決定するものとする。
図9は、低頻度色候補決定処理(S8)の詳細な処理手順を示すフローチャートである。
図9を参照して、発生頻度算出部34は、記憶部33に記憶された画像から、R−G−B信号ヒストグラムを作成する(S32)。発生頻度算出部34は、作成したR−G−B信号ヒストグラムを記憶部33に記憶させる。
図10は、R−G−B信号ヒストグラムの一例を示す図であり、横軸が、輝度値(R,G,B)を示し、縦軸が各輝度値の頻度を示している。輝度値R(R信号)、輝度値G(G信号)および輝度値B(B信号)は、それぞれ0から255の範囲の整数値である。つまり、発生頻度算出部34は、画像中の各画素について、輝度値を集計することにより、R−G−B信号ヒストグラムを作成する。
次に、発生頻度算出部34は、R−G−B信号ヒストグラムからR信号ヒストグラムを作成し、低頻度色決定部35は、R信号ヒストグラムから低頻度色を決定する(S34)。
詳細に説明すると、図11は、R信号ヒストグラムの一例を示す図であり、横軸がR信号を示し、縦軸が各R信号の頻度を示している。なお、R信号は、例えば8ステップ(8輝度値)ごとに量子化されている。例えば、R信号が0〜7の階級に1つの頻度が設定される。ただし、量子化のステップ数は8に限定されるものではなく、他の数でも良い。
低頻度色決定部35は、R信号ヒストグラムから、頻度が所定の閾値以下のR信号の階級を決定する。所定の閾値は、例えば、0としてもよいし、全階級の頻度の合計の1/100の値としてもよい。ただし、閾値は一例であり、これ以外の値であってもよい。例えば、低頻度色決定部35の閾値処理により、R信号が240〜247と248〜255の2つの階級を決定されたものとする。
次に、低頻度色決定部35は、頻度が閾値以下である階級ごとに、1つの低頻度色を決定する。ただし、階級同士が連続している場合には、連続している階級を1つの階級とみなして1つの低頻度色を決定する。ここでは、R信号が240〜247および248〜255の2つの階級が連続しているため、低頻度色決定部35は、これら2つの階級から1つの低頻度色を決定する。例えば、低頻度色決定部35は、2つの階級の中央値(ここでは、R信号の248)を低頻度色のR信号の値として決定する。なお、ここでは、R信号ヒストグラムから低頻度色を決定しており、G信号およびB信号を考慮していない。このため、低頻度色のG信号およびB信号の値は任意の値とすることができる。例えば、G信号およびB信号の値はランダムに決定してもよいし、各信号の取り得る値の中央値や予め定められた値に決定してもよい。
低頻度色決定部35は、2色以上の低頻度色を決定したか否かを判断する(S36)。2色以上の低頻度色を決定した場合には(S36でYES)、低頻度色候補決定処理(S8)を終了する。
2色以上の低頻度色を決定していない場合には(S36でNO)、発生頻度算出部34は、R−G−B信号ヒストグラムからG信号ヒストグラムを作成し、低頻度色決定部35は、G信号ヒストグラムから低頻度色を決定する(S38)。ステップS38の処理は、ステップS34の処理においてR信号の代わりにG信号を用いる以外は同じである。このため、その詳細な説明は繰り返さない。
低頻度色決定部35は、ステップS38までの処理により、累計2色以上の低頻度色を決定したか否かを判断する(S40)。累計2色以上の低頻度色を決定した場合には(S40でYES)、低頻度色候補決定処理(S8)を終了する。
累計2色以上の低頻度色を決定していない場合には(S40でNO)、発生頻度算出部34は、R−G−B信号ヒストグラムからB信号ヒストグラムを作成し、低頻度色決定部35は、B信号ヒストグラムから低頻度色を決定する(S42)。ステップS42の処理は、ステップS34の処理においてR信号の代わりにB信号を用いる以外は同じである。このため、その詳細な説明は繰り返さない。
低頻度色決定部35は、ステップS42までの処理により、累計2色以上の低頻度色を決定したか否かを判断する(S44)。累計2色以上の低頻度色を決定した場合には(S44でYES)、低頻度色候補決定処理(S8)を終了する。
累計2色以上の低頻度色を決定していない場合には(S44でNO)、発生頻度算出部34は、R−G−B信号ヒストグラムからR−G信号ヒストグラムを作成し、低頻度色決定部35は、R−G信号ヒストグラムから低頻度色を決定する(S46)。
詳細に説明すると、図12は、R−G信号ヒストグラムの一例を示す図であり、第1軸がR信号を示し、第1軸に直交する第2軸がG信号を示し、第1軸および第2軸の双方と直交する第3軸がR信号およびG信号の組の頻度を示している。ただし、R信号およびG信号は、例えば8ステップ(8輝度値)ごとに量子化されている。例えば、(R,G)=(0〜7,0〜7)の階級に1つの頻度が設定される。ただし、量子化のステップ数は8に限定されるものではなく、他の数でも良い。
低頻度色決定部35は、R−G信号ヒストグラムから、頻度が所定の閾値以下のR信号およびG信号の組(階級)を決定する。所定の閾値は、例えば、0としてもよいし、全階級の頻度の合計の1/10の値としてもよい。ただし、閾値は一例であり、これ以外の値であってもよい。
低頻度色決定部35は、頻度が閾値以下である階級ごとに、1つの低頻度色を決定する。ただし、階級同士がRG平面(第1軸および第2軸の張る平面)上で連続している場合には、連続している階級を1つの階級とみなして1つの低頻度色を決定する。例えば、低頻度色決定部35は、各階級のR信号およびG信号の中央値を、低頻度色のR信号およびG信号の値として決定する。なお、ここでは、R−G信号ヒストグラムから低頻度色を決定しており、B信号を考慮していない。このため、低頻度色のB信号の値は任意の値とすることができる。例えば、B信号の値はランダムに決定してもよいし、B信号の取り得る値の中央値や予め定められた値に決定してもよい。
低頻度色決定部35は、ステップS46までの処理により、累計2色以上の低頻度色を決定したか否かを判断する(S48)。累計2色以上の低頻度色を決定した場合には(S48でYES)、低頻度色候補決定処理(S8)を終了する。
累計2色以上の低頻度色を決定していない場合には(S48でNO)、発生頻度算出部34は、R−G−B信号ヒストグラムからR−B信号ヒストグラムを作成し、低頻度色決定部35は、R−B信号ヒストグラムから低頻度色を決定する(S50)。ステップS50の処理は、ステップS46の処理においてG信号の代わりにB信号を用いる以外は同じである。このため、その詳細な説明は繰り返さない。
低頻度色決定部35は、ステップS50までの処理により、累計2色以上の低頻度色を決定したか否かを判断する(S52)。累計2色以上の低頻度色を決定した場合には(S52でYES)、低頻度色候補決定処理(S8)を終了する。
累計2色以上の低頻度色を決定していない場合には(S52でNO)、発生頻度算出部34は、R−G−B信号ヒストグラムからG−B信号ヒストグラムを作成し、低頻度色決定部35は、G−B信号ヒストグラムから低頻度色を決定する(S54)。ステップS54の処理は、ステップS46の処理においてR信号の代わりにB信号を用いる以外は同じである。このため、その詳細な説明は繰り返さない。
低頻度色決定部35は、ステップS54までの処理により、累計2色以上の低頻度色を決定したか否かを判断する(S56)。累計2色以上の低頻度色を決定した場合には(S56でYES)、低頻度色候補決定処理(S8)を終了する。
累計2色以上の低頻度色を決定していない場合には(S56でNO)、発生頻度算出部34は、ステップS32で作成したR−G−B信号ヒストグラムから、例えば、各色の信号を8ステップ(8輝度値)ごとに量子化して、量子化されたR−G−B信号ヒストグラムを作成する。ただし、量子化のステップ数は8に限定されるものではなく、他の数でも良い。量子化されたR−G−B信号ヒストグラムは、第1軸がR信号を示し、第1軸に直交する第2軸がG信号を示し、第1軸および第2軸の双方と直交する第3軸がB信号を示し、第1軸、第2軸および第3軸のそれぞれと直交する第4軸がR信号、G信号およびB信号の組の頻度を示す。低頻度色決定部35は、量子化されたR−G−B信号ヒストグラムから低頻度色を決定する(S58)。
詳細に説明すると、量子化されたR−G−B信号ヒストグラムにおいては、例えば、(R,G,B)=(0〜7,0〜7,0〜7)の階級に1つの頻度が設定される。低頻度色決定部35は、R−G−B信号ヒストグラムから、頻度が所定の閾値以下のR信号、G信号およびB信号の組(階級)を決定する。所定の閾値は、例えば、0としてもよいし、全階級の頻度の合計の1/20の値としてもよい。
次に、低頻度色決定部35は、頻度が閾値以下である階級ごとに、1つの低頻度色を決定する。ただし、階級同士がRGB空間(第1軸、第2軸および第3軸の張る空間)中で連続している場合には、連続している階級を1つの階級とみなして、1つの低頻度色を決定する。例えば、低頻度色決定部35は、各階級のR信号、G信号およびB信号の中央値を、低頻度色のR信号、G信号およびB信号の値として決定する。
以上説明したS32〜S58の処理により、低頻度色の候補が決定される。なお、色ラベル5が3色以上の色ラベルから構成されており、3色以上の候補を決定する必要がある場合も、同様の処理により実現することができる。
再度図8を参照して、低頻度色決定部35は、以上説明した低頻度候補決定処理(S8)により、3色以上の低頻度色の候補を決定したか否かを判断する(S10)。3色以上の低頻度色候補を決定している場合には(S10でYES)、低頻度色候補を2色に絞り込むためにステップS12以降の処理が実行される。
つまり、表示制御部36は、低頻度色決定部35が決定した3色以上の低頻度色候補の表示順序を決定する(S12)。つまり、表示制御部36は、RGB空間において、低頻度色候補に隣接して発生頻度が低い色が連続するほど、当該低頻度色候補が上位に表示されるように低頻度色候補の表示順序を決定する。例えば、表示制御部36は、単一色信号のヒストグラム(R信号ヒストグラム、G信号ヒストグラムまたはB信号ヒストグラム)から決定された低頻度色候補の表示順序を、複数色信号のヒストグラム(R−G信号ヒストグラム、R−B信号ヒストグラム、G−B信号ヒストグラム、R−G−B信号ヒストグラム)から決定された低頻度色候補の表示順序よりも上位に決定する。これは、単一色信号のヒストグラムから決定された低頻度色候補は、当該単一色以外の他の2色の色信号の値を任意とすることができるため、RGB空間において、低頻度色候補と隣接して発生頻度が低い色がより多く連続するからである。
同様の理由により、表示制御部36は、2色信号のヒストグラム(R−G信号ヒストグラム、R−B信号ヒストグラム、G−B信号ヒストグラム)から決定された低頻度色候補の表示順序を、3色信号のヒストグラム(R−G−B信号ヒストグラム)から決定された低頻度色候補の表示順序よりも上位に決定する。
なお、単一色信号のヒストグラムから決定された低頻度色候補が複数存在する場合には、表示制御部36は、図11に示したように、連続する階級から決定された低頻度色ほど、また連続する階級の数が大きい低頻度色ほど上位に表示されるように表示順序を決定する。複数色信号のヒストグラムから決定された低頻度色候補の表示順序についても同様である。
表示制御部36は、決定した表示順序が上位のものから順に低頻度色候補を表示画面に表示する(S14)。
図13は、低頻度色の決定処理を説明するための図である。図13の(A)は、ステップS14の画面表示例を示す。表示画面には、低頻度色候補の色番号と、色情報との組が表示される。色情報は輝度値(R,G,B)で示され、輝度値の隣に実際の色がアイコン表示されている。図13の(A)では、4色の低頻度色候補が表示されている。
選択色取得部37aは、ユーザが入力装置を操作して低頻度色候補の中から候補を選択するまで、つまり、第1選択色(ユーザが選択した候補)を取得するまで待機する(S16)。ここでは、第1選択色として番号2の色が選択されたものとする(図13の(B))。
選択色取得部37aが第1選択色を取得すると(S16でYES)、表示制御部36は、第1選択色と残りの低頻度色候補との間の距離に応じて、複数の低頻度色候補の表示順序を再決定する(S18)。つまり、第1選択色との距離が大きい低頻度候補色ほど上位に表示されるように、低頻度候補色の表示順序を決定する。ここで、色の距離は、輝度値(R,G,B)間のユークリッド距離であってもよいし、輝度値(R,G,B)から算出される色相同士がなす角(またはその角のコサインの逆数)であってもよい。ただし、色の距離はこれらに限定されるものではなく、色間の類似性を判断できる尺度であれば、それ以外の距離を用いてもよい。
表示制御部36は、再決定した表示順序に従い、低頻度色候補を表示画面に表示する(S20)。例えば、図13の(C)に示すように、第1選択色である番号2の色の色情報が最上位に表示され、次に、ステップS18で再決定された表示順序の高い色から順に、色情報が表示される。
選択色取得部37aは、ユーザが入力装置を操作して第1選択色以外の低頻度色候補の中から候補を選択するまで、つまり、第2選択色(ユーザが選択した候補)を取得するまで待機する(S22)。ここでは、第2選択色として番号3の色が選択されたものとする(図13の(C))。
選択色取得部37aが第2選択色を取得すると(S22でYES)、表示制御部36は、第1選択色および第2選択色を表示画面に表示する(S24)。例えば、図13の(E)に示すように、表示制御部36は、番号2および番号3の色の色情報を表示画面に表示する。
また、低頻度色決定部35は、第1選択色および第2選択色の色情報を、通信部31を介して検知装置4に送信する(S26)。
なお、低頻度色候補決定処理において決定された低頻度色候補が2色以下の場合には(S10でNO)、表示制御部36が、決定された低頻度色候補を低頻度色として、当該低頻度色の色情報を表示画面に表示する(S24)。また、低頻度色決定部35が、低頻度色の色情報を、通信部31を介して検知装置4に送信する(S26)。ただし、低頻度色候補が見つからなかった場合には、ステップS24およびS26の処理を省略するようにしてもよい。
以上説明した処理により、最大2色の低頻度色が決定される。なお、色ラベル5が3色以上の色ラベルから構成されており、3色以上の低頻度色を決定する必要がある場合には、第2選択色が取得された後に、さらにステップS18〜S22と同様の処理を実行することにより、第3選択色以降の低頻度色を決定することができる。
図14は、本開示の実施の形態1に係る解析装置3の処理手順の他の一例を示すフローチャートである。図14に示す処理は、例えば、上述の処理で決定された低頻度色で色ラベル5を発色させた後のキャリブレーションなどに用いられる。つまり、カメラ2で撮影した色ラベル5の画像から、色ラベル5の色の発生頻度が確かに低頻度であるか否かを確認し、色ラベル5の色を調整するキャリブレーションのために用いられる。
図14を参照して、画像取得部32は、通信部31を介してカメラ2から画像を取得する(S102)。例えば、画像取得部32は、第1選択色を発色する第1色ラベル5Aおよび第2選択色を発色する第2色ラベル5Bを撮像した画像を取得する。
表示制御部36は、画像取得部32が取得した画像を表示画面に表示する(S104)。
指定色取得部37bは、ユーザが入力装置を操作して指定した指定色を取得するまで待機する(S106)。例えば、指定色取得部37bは、ユーザが入力装置を操作して、画像上の第1色ラベル5Aの位置を指定した場合には、当該位置に対応する色を指定色として取得する。
指定色取得部37bが指定色を取得すると(S106でYES)、発生頻度算出部34は、当該指定色の発生頻度を算出する(S108)。つまり、発生頻度算出部34は、発生頻度算出部34がR−G−B信号ヒストグラム作成処理(図9のステップS32)で作成し、記憶部33に記憶されているR−G−B信号ヒストグラムから、指定色の発生頻度を取得することにより、発生頻度を算出する。
表示制御部36は、算出した指定色の発生頻度を表示画面に表示する(S110)。なお、表示制御部36は、発生頻度を大、中、小などにレベル分けし、発生頻度のレベルを表示してもよい。
このような処理により、ユーザは、例えば、画像に映った色ラベル5が示す色の発生頻度を確認することができる。これにより、ユーザは、発生頻度が高い場合には、色ラベル5の色を調整したりすることができる。
[検知装置4の処理手順]
図15は、本開示の実施の形態1に係る検知装置4の処理手順の一例を示すフローチャートである。なお、図15に示す処理は、図17に示す人物61の検知処理に先立って実行される前処理である。
低頻度色取得部42は、通信部41を介して解析装置3から、解析装置3が決定した低頻度色の色情報を取得する(S72)。例えば、低頻度色取得部42は、図13の(E)に示した第1選択色(番号2の色)および第2選択色(番号3の色)の色情報を取得する。
閾値決定部43は、取得した色情報に基づいて、閾値を決定する(S74)。例えば、閾値決定部43は、各色情報のR信号、G信号およびB信号の値にそれぞれ10を加算することにより上限閾値を決定し、それぞれ10を減算することにより下限閾値を決定する。ただし、上限閾値は輝度値の上限値255に制限され、下限閾値は輝度値の下限値0に制限される。例えば、閾値決定部43は、第1選択色の色情報(255,192,0)から、上限閾値を(255,202,10)に決定し、下限閾値を(245,182,0)に決定する。また、閾値決定部43は、第2選択色の色情報(120,50,255)から、上限閾値を(130,60,255)に決定し、下限閾値を(110,40,245)に決定する。
閾値決定部43は、決定した閾値、つまり上限閾値および下限閾値の組を、閾値記憶部44に記憶させる(S76)。
図16は、閾値決定部43に記憶される閾値の例を示す図である。閾値記憶部44には、例えば、上述した第1選択色の閾値と第2選択色の閾値とが記憶されている。
図17は、本開示の実施の形態に係る検知装置4の処理手順の他の一例を示すフローチャートである。図17に示す処理は、対象物である人物61の検知処理である。
画像取得部45は、通信部41を介してカメラ2から、カメラ2が撮像した検知対象エリアの画像を取得する(S82)。
検知部46は、閾値記憶部44から閾値を読み出す(S84)。つまり、検知部46は、図16に示したような第1選択色および第2選択色のそれぞれについての上限閾値および下限閾値の組を読み出す。
検知部46は、画像から第1選択色領域と第2選択色領域とを抽出する(S86)。つまり、検知部46は、画像の各画素の輝度値を、上限閾値および下限閾値と比較することにより、領域を抽出する。具体的には、検知部46は、画像から第1選択色の画素を抽出する。つまり、検知部46は、輝度値が第1選択色の下限閾値以上で、かつ第1選択色の上限閾値以下である画素を第1選択色の画素として抽出する。検知部46は、隣接する第1選択色の画素同士の固まりを第1選択色領域として抽出する。検知部46は、第2選択色領域についても、同様の処理により抽出する。これにより、検知部46は、ヘルメット80に貼り付けられた第1色ラベル5Aおよび第2色ラベル5Bを含む領域を抽出する。
検知部46は、第1選択色領域および第2選択色領域が所定の位置関係を有しているか否かを判定する(S88)。例えば、検知部46は、第1選択色領域の重心と第2選択色領域の重心との間の距離が所定距離以内であれば、上記所定の位置関係を有していると判定する。ヘルメット80に貼り付けられた第1色ラベル5Aおよび第2色ラベル5Bの位置関係は事前に分かっているため、判定に用いられる所定距離も事前に算出可能である。
検知部46が、所定の位置関係を有していると判定した場合には(S88でYES)、通知部47は、人物61を検知したことを示す音信号を音出力装置に送信したり、メッセージ情報を表示装置または端末装置に送信したりする(S90)。これにより、フォークリフト60の運転手に人物61の存在を通知する。
通知処理(S90)の後、処理の終了タイミングに到達していれば(S92でYES)、検知装置4は、処理を終了する。処理の終了タイミングとは、例えば、フォークリフト60のエンジンが停止したことを示す信号を検知装置4が受信した場合などである。
処理の終了タイミングでなければ(S92でNO)、ステップS82に戻り、処理の終了タイミングに到達するまでステップS82〜S90の処理が繰り返し実行される。
[実施の形態1の効果]
以上説明したように実施の形態1によると、対象物の検知対象エリアを撮像した画像から、相対的に発生頻度の低い色である低頻度色を決定することができる。このため、画像処理により対象物を正確に検知するために対象物に付すべき色を決定することができる。つまり、低頻度色を対象物に付すことによって、検知対象エリアを撮像した画像から、低頻度色の領域を他の領域の色の影響を受けることなく、正確に検知することができる。これにより、対象物を正確に検知することができる。例えば、工場内を撮像した画像から低頻度色を決定し、低頻度色を発色する色ラベル5を人物61が被るヘルメット80に貼る。色ラベル5の色は、画像中において発生頻度が低いことが保証されている。このため、画像処理によりヘルメット80に貼られた色ラベル5を正確に検知可能であり、これにより人物61を正確に検知することができる。
また、低頻度色決定部35は、所定の色空間において互いに近傍に位置する複数色に含まれる各色の発生頻度を考慮して、低頻度色を決定することができる。例えば、色空間において発生頻度が低い色の周辺の色も発生頻度が低い場合に、当該発生頻度が低い色を優先的に低頻度色と決定することができる。これにより、日照、気象もしくは照明等の環境条件が変化することによって、画像中で低頻度色である対象物の色が多少変化した場合であっても、変化後の色についても発生頻度を低くすることができる。このため、環境条件の変化の影響を受けることなく、画像処理により、画像から対象物を正確に検知することができる。
また、低頻度色決定部35によって低頻度色が複数決定された場合に、ユーザがその中から選択した選択色との距離に応じて他の低頻度色が画面上に表示される。例えば、図13の(C)に示したように、選択色との距離が大きいものから順に他の低頻度色を表示することによって、選択色との識別性能が高い低頻度色をユーザに選択させやすくすることができる。
また、指定色取得部37bが取得した指定色に対する発生頻度に基づく情報が表示画面に表示される。このため、ユーザは、指定色の画像中での発生頻度または発生頻度のレベルなどを知ることができる。例えば、ユーザが、画像中で、低頻度色を発色する色ラベル5を指定する。これにより、ユーザは、色ラベル5の色が実際に低頻度か否かを知ることができ、色ラベル5が適切な色を発色しているか否かを確認することができる。
なお、色ラベル5が発色できる色数が限定されている場合において、ユーザは、各色を指定色とした時の発生頻度を知ることもできる。これにより、ユーザは、色ラベル5の色を決定することができる。例えば、ユーザは、最も発生頻度が低い指定色を色ラベル5の色と決定することができる。
また、色ラベル5は、画像中での発生頻度が低い色を発色する。つまり、画像中で、色ラベル5の色と同一または類似する色の画素の存在確率は低い。このため、画像処理により、色ラベル5を他の領域と区別して正確に検知することができる。これにより、画像処理により正確に検知される色ラベル5を提供することができる。
また、検知装置4は、画像中に低頻度色が含まれていることを検知することができる。低頻度色は画像中の背景等にはほとんど含まれない色である。このため、対象物に低頻度色を付すことで、背景等の色の影響を受けずに対象物を正確に検知することができる。
(実施の形態1の変形例)
実施の形態1の解析装置3は、複数の低頻度色の候補を表示画面に表示し、その中からユーザに低頻度色を選択させていた。
本変形例では、ユーザに候補を選択させることなく、低頻度色を決定する例について説明する。
つまり、図3を参照して、低頻度色決定部35は、実施の形態1と同様に低頻度色の候補を決定する。
低頻度色決定部35は、色の距離が大きい候補の組を優先的に選択することにより、低頻度色の組を決定する。例えば、低頻度色を2色決定する場合には、低頻度色決定部35は、最も色の距離が大きい候補の組を選択することで、低頻度色を決定する。低頻度色を3色以上決定する場合には、低頻度色決定部35は、決定した低頻度色のうちのいずれかの色との距離が次に大きい低頻度色の候補を選択することを順次繰り返すことで、所望数の低頻度色を決定する。
色間の距離が離れているほど、色の識別性能が高くなる。本変形例によると、色間の距離が大きくなるように複数の低頻度色が決定される。距離の小さい低頻度色の組を選択すると、日照、気象もしくは照明等の環境条件によっては、画像処理により低頻度色同士が同一色と認識され識別不可能な場合があるが、距離の大きい低頻度色の組を選択することにより、環境条件に左右されずに低頻度色を識別することができる。
(実施の形態2)
実施の形態1では、低頻度色および閾値を画像の撮影された時間帯に依存せずに決定していた。しかし、屋外などで対象物の検知を行う場合には、日照等の影響を受けるため、時間帯によって低頻度色が変化し、これに伴い閾値を変更した方が良い場合がある。実施の形態2では、画像の撮影された時間帯ごとに低頻度色および閾値を決定する例について説明する。以下の説明では、実施の形態1と異なる点を中心に説明を行い、共通する点については説明を繰り返さない。
実施の形態2に係る画像処理システムの構成は、図1に示したものと同様である。
[解析装置3の構成]
図18は、本開示の実施の形態2に係る解析装置3の機能的な構成を示すブロック図である。
解析装置3は、図3に示した実施の形態1に係る解析装置3の構成において、さらに、時刻取得部38を備える。
時刻取得部38は、画像取得部32による画像の取得時刻を取得する。時刻取得部38は取得した取得時刻を、画像取得部32が取得して記憶部33に記憶させた画像と対応付けて、記憶部33に記憶させる。時刻取得部38は、例えば、タイマーを含んで構成される。ただし、時刻取得部38は、外部のタイマー等から時刻を取得する構成であってもよい。なお、画像取得部32が取得する画像に撮像時刻の情報が含まれている場合には、時刻取得部38は、当該画像から時刻を取得してもよい。
発生頻度算出部34は、画像取得部32による画像の取得時刻を含む時間帯に応じて、色ごとの発生頻度を算出する。つまり、発生頻度算出部34は、日中、夜間などの時間帯ごとに、当該時間帯に撮像された画像を記憶部33から読み出し、読み出した画像に基づいて、色ごとの発生頻度を算出する。発生頻度の算出方法は、実施の形態1と同様である。
低頻度色決定部35は、時間帯ごとに、発生頻度に基づいて低頻度色を決定する。低頻度色決定部35は、決定した低頻度色の色情報と時間帯との組を、通信部31を介して検知装置4に送信する。低頻度色の決定方法は、実施の形態1と同様である。
色ラベル5は、例えば、人物61が被るヘルメット80に取り付けられ、解析装置3が決定した低頻度色を発色する。ただし、低頻度色は時間帯ごとに決定されるため、色ラベル5の色も時間帯に応じて変化させる。
[検知装置4の構成]
図19は、本開示の実施の形態2に係る検知装置4の機能的な構成を示すブロック図である。
検知装置4は、図4に示した実施の形態1に係る検知装置4の構成において、さらに、時刻取得部48を備える。
時刻取得部48は、画像取得部45による画像の取得時刻を取得する。時刻取得部48は、例えば、タイマーを含んで構成される。ただし、時刻取得部48は、外部のタイマー等から時刻を取得する構成であってもよい。なお、画像取得部45が取得する画像に撮像時刻の情報が含まれている場合には、時刻取得部48は、当該画像から時刻を取得してもよい。
低頻度色取得部42は、通信部41を介して解析装置3から、解析装置3が決定した低頻度色の色情報と時間帯との組を取得する。
閾値決定部43は、低頻度色取得部42が取得した低頻度色の色情報と時間帯との組に基づいて、時間帯ごとに、解析装置3が決定した低頻度色を発色する色ラベル5を検知する際の閾値を決定する。閾値の決定方法は、実施の形態1と同様である。
図20は、閾値記憶部44に記憶される閾値の例を示す図である。閾値記憶部44には、時間帯ごとに閾値が記憶されている。例えば、時間帯(6:00〜18:00)に対応して2つの閾値が記憶されている。1つ目の閾値の上限閾値は(255,202,10)であり、下限閾値は(245,182,0)である。2つ目の閾値の上限閾値は(130,60,255)であり、下限閾値は(110,40,245)である。時間帯(18:00〜6:00)についても同様に2つの閾値が記憶されているが、これらの閾値の値は、時間帯(6:00〜18:00)の閾値の値とは異なる。
再度図19を参照して、検知部46は、時刻取得部48から、画像取得部45による画像の取得時刻を取得し、取得時刻を含む時間帯に対応する閾値を閾値記憶部44から読み込む。検知部46は、読み込んだ閾値と、画像取得部45が取得した画像とを用いて、実施の形態1と同様に、画像中に低頻度色が含まれていることを検知することにより、対象物を検知する。
[解析装置3の処理手順]
図21は、本開示の実施の形態2に係る解析装置3の処理手順の一例を示すフローチャートである。
画像取得部32は、通信部31を介してカメラ2から、カメラ2が撮像した検知対象エリアの画像を取得する(S2)。
画像取得部32は、取得した画像を記憶部33に記憶させる。また、時刻取得部38は、画像の取得位置を取得し、当該取得時刻を記憶部33に記憶された画像に対応付けて、記憶部33に記憶する(S4A)。
画像取得部32は、画像取得が終了したか否かを判断する(S6)。画像取得が終了していなければ(S6でNO)、画像取得が終了するまでステップS2およびS4Aの処理を繰り返し実行する。
次に、解析装置3は、各時間帯の画像について、ステップS8〜S26Aの処理を実行する(ループA)。例えば、時間帯(6:00〜18:00)および時間帯(18:00〜6:00)の2つの時間帯が存在する場合には、解析装置3は、時間帯(6:00〜18:00)に撮像された画像についてステップS8〜S26Aの処理を実行した後、時間帯(18:00〜6:00)に撮像された画像についてステップS8〜S26Aの処理を実行する。
ステップS8〜S24の処理は、図8に示したものと同様である。
ステップS26Aにおいて、低頻度色決定部35は、第1選択色および第2選択色の色情報と時間帯との組を、通信部31を介して検知装置4に送信する。
[検知装置4の処理手順]
図22は、本開示の実施の形態2に係る検知装置4の処理手順の一例を示すフローチャートである。なお、図22に示す処理は、図23に示す人物61の検知処理に先立って実行される前処理である。
低頻度色取得部42は、通信部41を介して解析装置3から、解析装置3が決定した低頻度色の色情報と時間帯との組を取得する(S72A)。
次に、検知装置4は、取得された時間帯ごとに、ステップS74およびS76の処理を実行する(ループB)。ステップS74およびS76の処理は、図15に示したものと同様である。例えば、時間帯(6:00〜18:00)および時間帯(18:00〜6:00)の2つの時間帯が存在する場合には、検知装置4は、時間帯(6:00〜18:00)についてステップS74およびS76の処理を実行した後、時間帯(18:00〜6:00)についてステップS74およびS76の処理を実行する。これにより、図20に示したような閾値が閾値記憶部44に記憶される。
図23は、本開示の実施の形態2に係る検知装置4の処理手順の他の一例を示すフローチャートである。図23に示す処理は、対象物である人物61の検知処理である。
画像取得部45は、通信部41を介してカメラ2から、カメラ2が撮像した検知対象エリアの画像を取得する(S82)。
時刻取得部48は、カメラ2による画像の取得時刻を取得する(S84A)。
検知部46は、取得時刻に基づいて、取得時刻を含む時間帯に応じた閾値を、閾値記憶部44から読み出す(S84B)。図20を参照して、例えば、取得時刻が20:00の場合には、検知部46は、20:00を含む時間帯(18:00〜6:00)に対応した2つの閾値を読み出す。つまり、検知部46は、1つ目の閾値として、上限閾値(255,180,90)および下限閾値(245,160,70)の組を読み出し、2つ目の閾値として上限閾値(120,40,30)および下限閾値(100,20,10)の組を読み出す。
次に、検知装置4は、ステップS86〜S92の処理を実行する。ステップS86〜S92は、図17に示したものと同様である。
以上説明したように、実施の形態2によると、時間帯ごとに低頻度色を決定することができる。これにより、時間帯ごとに閾値を決定することができる。このため、例えば、時間帯に応じて照明環境が変化する屋外などで撮像された画像から対象物を検知する場合であっても、対象物に付す色ラベル5の色を時間帯に応じて変化させることができる。これにより、いずれの時間帯においても対象物を高精度に検知することができる。
(実施の形態3)
実施の形態1では、低頻度色および閾値を画像の撮影された位置に依存せずに決定していた。しかし、フォークリフト60に搭載されたカメラ2で撮像された画像のように、位置によって背景画像が変化する場合には、位置によって低頻度色も変化する。このため、これに伴い対象物を検知するための閾値を変更した方が良い場合がある。実施の形態3では、画像の撮影された位置ごとに低頻度色および閾値を決定する例について説明する。以下の説明では、実施の形態1と異なる点を中心に説明を行い、共通する点については説明を繰り返さない。
実施の形態3に係る画像処理システムの構成は、図1に示したものと同様である。
[解析装置3の構成]
図24は、本開示の実施の形態3に係る解析装置3の機能的な構成を示すブロック図である。
解析装置3は、図3に示した実施の形態1に係る解析装置3の構成において、さらに、位置取得部39を備える。
位置取得部39は、画像取得部32による画像の取得位置を取得する。位置取得部39は、取得した取得位置を、画像取得部32が取得して記憶部33に記憶させた画像と対応付けて、記憶部33に記憶させる。位置取得部39は、例えば、カメラ2やフォークリフト60に設置されたGPS受信機などが測位した位置を画像の取得位置として取得してもよいし、対象物である人物61の部屋への入退室管理情報などに基づいて、当該人物61の撮像に用いられたカメラ2の設置位置を画像の取得位置として取得してもよい。また、カメラ2やフォークリフト60に設置された受信機がWi−Fi(登録商標)などの無線通信のアクセスポイントから受信する信号の受信信号強度(RSSI : Received Signal Strength Indicator)に基づいて、位置取得部39が位置を計測してもよい。位置取得部39は、受信機が複数のアクセスポイントからそれぞれ受信した複数の受信信号強度を用いることで、三角測量の原理により、受信機の位置を計測することができる。なお、画像取得部32が取得する画像に撮像位置の情報が含まれている場合には、位置取得部39は、当該画像から、撮像位置を、画像の取得位置として取得してもよい。つまり、位置取得部39は、GPS受信機などが測位した位置、カメラ2の設置位置、電波の受信信号強度に基づく受信機の位置、および画像に含まれる撮像位置の1つ以上の位置を用いて、画像の取得位置を取得することができる。
発生頻度算出部34は、画像取得部32による画像の取得位置が属するエリアに応じて、色ごとの発生頻度を算出する。つまり、発生頻度算出部34は、A工場、B工場などのエリアごとに、当該エリア内で撮像された画像を記憶部33から読み出し、読み出した画像に基づいて、色ごとに、当該色の画像中での発生頻度を算出する。発生頻度の算出方法は、実施の形態1と同様である。
なお、エリアと位置との対応付けは事前に行われているものとする。例えば、位置は緯度および経度で示され、エリアは緯度範囲および経度範囲で示される。
低頻度色決定部35は、エリアごとに、発生頻度に基づいて低頻度色を決定する。低頻度色決定部35は、決定した低頻度色の色情報とエリアを識別するエリア識別子との組を、通信部31を介して検知装置4に送信する。低頻度色の決定方法は、実施の形態1と同様である。
色ラベル5は、例えば、人物61が被るヘルメット80に取り付けられ、解析装置3が決定した低頻度色を発色する。ただし、低頻度色はエリアごとに決定されるため、色ラベル5の色もエリアに応じて変化させる。エリア情報は、人物61の部屋への入退室管理情報などに基づいて取得してもよいし、GPS受信機などから測位した位置情報から取得してもよい。GPS受信機は、例えば、ヘルメット80に取り付けられていてもよいし、人物61が所持していてもよい。
[検知装置4の構成]
図25は、本開示の実施の形態3に係る検知装置4の機能的な構成を示すブロック図である。
検知装置4は、図4に示した実施の形態1に係る検知装置4の構成において、さらに、位置取得部49を備える。
位置取得部49は、画像取得部45による画像の取得位置を取得する。位置取得部49は、例えば、カメラ2やフォークリフト60に設置されたGPS受信機などが測位した位置を画像の取得位置として取得してもよいし、対象物である人物61の部屋への入退室管理情報などに基づいて、当該人物61の撮像に用いられたカメラ2の設置位置を画像の取得位置として取得してもよい。また、カメラ2やフォークリフト60に設置された受信機がWi−Fi(登録商標)などの無線通信のアクセスポイントから受信する信号の受信信号強度に基づいて、位置取得部49が位置を計測してもよい。位置取得部49は、受信機が複数のアクセスポイントからそれぞれ受信した複数の受信信号強度を用いることで、三角測量の原理により、受信機の位置を計測することができる。なお、画像取得部45が取得する画像に撮像位置の情報が含まれている場合には、位置取得部49は、当該画像から、撮像位置を画像の取得位置として取得してもよい。つまり、位置取得部49は、GPS受信機などが測位した位置、カメラ2の設置位置、電波の受信信号強度に基づく受信機の位置、および画像に含まれる撮像位置の1つ以上の位置を用いて、画像の取得位置を取得することができる。
低頻度色取得部42は、通信部41を介して解析装置3から、解析装置3が決定した低頻度色の色情報とエリア識別子との組を取得する。
閾値決定部43は、低頻度色取得部42が取得した低頻度色の色情報とエリア識別子との組に基づいて、エリアごとに、解析装置3が決定した低頻度色を発色する色ラベル5を検知する際の閾値を決定する。閾値の決定方法は、実施の形態1と同様である。
図26は、閾値記憶部44に記憶される閾値の例を示す図である。閾値記憶部44には、エリアごとに閾値が記憶されている。例えば、エリアAに対応して2つの閾値が記憶されている。1つ目の閾値の上限閾値は(255,202,10)であり、下限閾値は(245,182,0)である。2つ目の閾値の上限閾値は(130,60,255)であり、下限閾値は(110,40,245)である。エリアBについても同様に2つの閾値が記憶されているが、これらの閾値の値は、エリアAの閾値の値とは異なる。
再度図25を参照して、検知部46は、位置取得部49から、画像取得部45による画像の取得位置を取得し、取得位置が属するエリアに対応する閾値を閾値記憶部44から読み込む。検知部46は、読み込んだ閾値と、画像取得部45が取得した画像とを用いて、実施の形態1と同様に、画像中に低頻度色が含まれていることを検知することにより、対象物を検知する。
[解析装置3の処理手順]
図27は、本開示の実施の形態3に係る解析装置3の処理手順の一例を示すフローチャートである。
画像取得部32は、通信部31を介してカメラ2から、カメラ2が撮像した検知対象エリアの画像を取得する(S2)。
画像取得部32は、取得した画像を記憶部33に記憶させる。また、位置取得部39は、画像の取得位置を取得し、当該取得位置を記憶部33に記憶された画像に対応付けて、記憶部33に記憶する(S4B)。
画像取得部32は、画像取得が終了したか否かを判断する(S6)。画像取得が終了していなければ(S6でNO)、画像取得が終了するまでステップS2およびS4Bの処理を繰り返し実行する。
次に、解析装置3は、各エリアの画像について、ステップS8〜S26Bの処理を実行する(ループC)。例えば、エリアAおよびエリアBの2つのエリアが存在する場合には、解析装置3は、エリアAで撮像された画像についてステップS8〜S26Bの処理を実行した後、エリアBで撮像された画像についてステップS8〜S26Bの処理を実行する。
ステップS8〜S24の処理は、図8に示したものと同様である。
ステップS26Bにおいて、低頻度色決定部35は、第1選択色および第2選択色の色情報とエリア識別子との組を、通信部31を介して検知装置4に送信する。
[検知装置4の処理手順]
図28は、本開示の実施の形態3に係る検知装置4の処理手順の一例を示すフローチャートである。なお、図28に示す処理は、図29に示す人物61の検知処理に先立って実行される前処理である。
低頻度色取得部42は、通信部41を介して解析装置3から、解析装置3が決定した低頻度色の色情報とエリア識別子との組を取得する(S72B)。
次に、検知装置4は、取得されたエリア識別子が示すエリアごとに、ステップS74およびS76の処理を実行する(ループD)。ステップS74およびS76の処理は、図15に示したものと同様である。例えば、エリアAおよびエリアBの2つのエリアが存在する場合には、検知装置4は、エリアAについてステップS74およびS76の処理を実行した後、エリアBについてステップS74およびS76の処理を実行する。これにより、図26に示したような閾値が閾値記憶部44に記憶される。
図29は、本開示の実施の形態3に係る検知装置4の処理手順の他の一例を示すフローチャートである。図29に示す処理は、対象物である人物61の検知処理である。
画像取得部45は、通信部41を介してカメラ2から、カメラ2が撮像した検知対象エリアの画像を取得する(S82)。
時刻取得部48は、カメラ2による画像の取得位置を取得する(S84C)。
検知部46は、取得位置に基づいて、取得位置が属するエリアに応じた閾値を、閾値記憶部44から読み出す(S84D)。図26を参照して、例えば、取得位置がエリアBに属する場合には、検知部46は、エリアBに対応した2つの閾値を読み出す。つまり、検知部46は、1つ目の閾値として、上限閾値(255,180,90)および下限閾値(245,160,70)の組を読み出し、2つ目の閾値として上限閾値(120,40,30)および下限閾値(100,20,10)の組を読み出す。
次に、検知装置4は、ステップS86〜S92の処理を実行する。ステップS86〜S92は、図17に示したものと同様である。
以上説明したように、実施の形態3によると、エリアごとに低頻度色を決定することができる。これにより、エリアごとに閾値を決定することができる。このため、例えば、車両に搭載されたカメラで撮像された画像から対象物を検知する場合や、複数のエリアにそれぞれ配置されたカメラで撮像された画像から対象物を検知する場合などであっても、対象物に付す色ラベル5の色をカメラの位置に応じて変化させることができる。これにより、対象物を高精度に検知することができる。
(実施の形態4)
実施の形態1では、低頻度色を決定したが、画像中における低頻度色の領域サイズは考慮していなかった。実施の形態4では、画像中の領域のサイズを考慮して低頻度色を決定する例について説明する。
実施の形態4に係る画像処理システムの構成は、図1に示したものと同様である。
[解析装置3の構成]
図30は、本開示の実施の形態4に係る解析装置3の機能的な構成を示すブロック図である。
解析装置3は、図3に示した実施の形態1に係る解析装置3の構成において、さらに、領域分割部71と、領域特徴算出部72とを備える。
領域分割部71は、画像取得部45が取得した画像に対して、各画素の色に基づく領域分割処理を実行する。つまり、領域分割部71は、画像中で類似する色を有する近傍の画素を1つの領域として抽出する領域分割処理を実行する。領域分割処理は、公知の処理であるため、その詳細な説明はここでは繰り返さない。
領域特徴算出部72は、領域分割部71が分割した領域ごとに、当該領域のサイズおよび代表色を算出する。例えば、領域特徴算出部72は、当該領域に含まれる各画素の輝度値R、輝度値Gおよび輝度値Gの平均値または中央値を算出することにより、代表色を算出する。ただし、代表色の算出方法は、これに限定されるものではなく、例えば、輝度値R、輝度値Gおよび輝度値Gの最頻値、最大値または最小値などを代表色として算出してもよい。
発生頻度算出部34は、領域特徴算出部72が算出した領域のサイズおよび代表色に基づいて、サイズおよび代表色の組ごとに、当該組を有する領域の発生頻度を算出する。例えば、サイズを(S)とし、代表色をRGB色空間におけるR(赤)、G(緑)、B(青)の輝度値で表す場合には、(S,R,G,B)の組ごとに発生頻度を算出する。
低頻度色決定部35は、発生頻度算出部34が算出した組ごとの領域の発生頻度に基づいて、他の組と比較して発生頻度が低いサイズ(低頻度サイズ)および代表色(低頻度色)の組を決定する。低頻度色決定部35は、決定した低頻度サイズおよび低頻度色の組を、通信部31を介して検知装置4に送信する。
[色ラベル5の構成]
色ラベル5は、例えば、人物61が被るヘルメット80に取り付けられ、解析装置3が決定した低頻度色を発色する。また、色ラベル5は、色ラベル5をカメラ2で撮像した場合に、画像中での色ラベル5のサイズが、解析装置3が決定した低頻度サイズとなるような実サイズを有する。このため、色ラベル5が第1色ラベル5Aおよび第2色ラベル5Bの2つの色ラベルからなる場合には、各色ラベルの色が異なり、サイズも異なる場合がある。
図31および図32を用いて、色ラベル5の取付例について説明する。
図31は、人物61が被るヘルメットを側方から見た図であり、図32は、そのヘルメットを上方から見た図である。図31および図32に示すように、ヘルメット80には、色ラベル5が貼り付けられている。色ラベル5は、平行に配置された第1色ラベル5Aおよび第2色ラベル5Bから構成される。図31に示すように、ヘルメット80の幅が283mm、高さが148mmとした場合、色ラベル5の幅は約40mm、長さは約180〜250mmとすることができる。なお、第1色ラベル5Aおよび第2色ラベル5Bとの間には、間隙領域5Sが設けられている。間隙領域5Sは、例えば黒色の領域であり、2〜3mmの幅を有する。図32に示すように、同様の色ラベル5がヘルメット80の上方にも貼り付けられている。また、色ラベル5は、ヘルメット80の反対側の側面および前後にも貼り付けられている。このように、ヘルメット80のあらゆる箇所に色ラベル5を貼り付けることで、人物61がどのような姿勢(直立、しゃがみ込み等)を行っても、いずれかの色ラベル5がカメラ2に撮像されるようにすることができる。
このような色ラベル5は、布、テープまたは塗料などにより構成され、特定の色を発色するものであってもよい。この場合、色ラベル5は、蛍光テープにより構成されていたり、色ラベル5に蛍光塗料が塗られたりしていることが好ましい。これにより、夜間や曇天などの照度が低い環境下であっても、色ラベル5を認識しやすくすることができる。また、赤外線カメラなどの特殊なカメラを用いなくてもラベルを認識することができる。また、色ラベル5は、図5に示したような発光素子53を備える構成であってもよい。
[検知装置4の構成]
検知装置4の機能的な構成は、図4に示したものと同様である。ただし、低頻度色取得部42、閾値決定部43および検知部46の実行する処理が異なり、閾値記憶部44に記憶される閾値が異なる。
つまり、低頻度色取得部42は、通信部41を介して解析装置3から、低頻度サイズおよび低頻度色の組を取得する。
閾値決定部43は、低頻度色取得部42が取得した低頻度サイズおよび低頻度色の組に基づいて、解析装置3が決定した低頻度色を発色し、低頻度サイズと同様のサイズを有する色ラベル5を検知する際の閾値を決定する。例えば、低頻度サイズと低頻度色の組が(S1,R1,G1,B1)である場合には、閾値決定部43は、閾値として、下限閾値を(S1−100,R1−10,G1−10,B1−10)に決定し、上限閾値を(S1+100,R1+10,G1+10、B1+10)に決定する。閾値決定部43は、決定した閾値を閾値記憶部44に書き込む。なお、低頻度色取得部42が低頻度サイズおよび低頻度色の組を複数取得している場合には、閾値決定部43は、組ごとに閾値を決定し、閾値記憶部44に書き込む。
図33は、閾値記憶部44に記憶される閾値の例を示す図である。閾値記憶部44には、例えば、2つの閾値が記憶されている。1つ目の閾値の上限閾値は(350,255,202,10)であり、下限閾値は(150,245,182,0)である。2つ目の閾値の上限閾値は(400,130,60,255)であり、下限閾値は(200,110,40,245)である。
検知部46は、画像取得部45が取得した画像中に、低頻度色取得部42が取得した低頻度サイズでかつ低頻度色の領域が含まれていること、すなわち色ラベル5が含まれていることを検知する。つまり、検知部46は、画像取得部45が取得した画像を、領域分割部71と同様に領域分割する。また、検知部46は、閾値記憶部44から閾値を読み出す。検知部46は、領域分割された領域と、閾値とに基づいて、画像中に低頻度サイズでかつ低頻度色の領域が含まれているか否かを判断する。例えば、検知部46は、領域分割された領域のサイズと代表色が、読み出した上限閾値および下限閾値の範囲内に収まっていれば、画像中に低頻度サイズでかつ低頻度色の領域が含まれていることを検知する。これにより、検知部46は、色ラベル5を検知する。
[解析装置3の処理手順]
図34は、本開示の実施の形態4に係る解析装置3の処理手順の一例を示すフローチャートである。
解析装置3は、ステップS2〜S6の処理を実行する。ステップS2〜S6の処理は図8に示したものと同様である。
画像取得が終了したと判断された場合には(S6でYES)、領域分割部71は、記憶部33から画像を読み出し、読み出した画像について、領域分割処理を実行する(S7A)。
領域特徴算出部72は、領域分割部71が分割した領域ごとに、当該領域のサイズおよび代表色を算出する(S7B)。
発生頻度算出部34および低頻度色決定部35は、領域特徴算出部72が算出した各領域のサイズおよび代表色に基づいて、低頻度サイズおよび低頻度色の組候補を決定する(S8B)。
図35は、低頻度サイズおよび低頻度色の組候補を決定する処理(S8B)の詳細な処理手順を示すフローチャートである。
発生頻度算出部34は、領域特徴算出部72が算出した各領域のサイズおよび代表色に基づいて、S−R−G−B信号ヒストグラムを作成する(S32B)。発生頻度算出部34は、作成したS−R−G−B信号ヒストグラムを記憶部33に記憶させる。
図36は、S−R−G−B信号ヒストグラムの一例を示す図であり、横軸がサイズ(S)および代表色(R,G,B)の組を示し、縦軸が各組の頻度を示している。輝度値R(R信号)、輝度値G(G信号)および輝度値B(B信号)は、それぞれ0から255の範囲の整数値である。また、サイズ(S信号)は一例として、1〜1000の範囲の整数値である。つまり、発生頻度算出部34は、領域特徴算出部72が算出した各領域のサイズおよび代表色の組を集計することにより、S−R−G−B信号ヒストグラムを作成する。
次に、発生頻度算出部34は、S−R−G−B信号ヒストグラムから、S−R信号ヒストグラムを作成し、低頻度色決定部35は、S−R信号ヒストグラムから低頻度サイズおよび低頻度色の組候補を決定する(S34A)。
詳細に説明すると、図37は、S−R信号ヒストグラムの一例を示す図であり、第1軸がS信号(サイズ)を示し、第1軸に直交する第2軸がR信号を示し、第1軸および第2軸の双方に直交する第3軸がS信号およびR信号の組の頻度を示している。ただし、S信号は10ステップごとに量子化され、R信号は8ステップごとに量子化されているものとする。例えば、(S,G)=(1〜10,0〜7)の階級に1つの頻度が設定される。ただし、量子化のステップ数はこれらに限定されるものではなく、他の数でも良い。
低頻度色決定部35は、頻度が閾値以下である階級ごとに、1つの低頻度サイズと低頻度色の組を決定する。例えば、階級のS信号の中央値を低頻度サイズとし、階級のR信号の中央値を低頻度色のR信号の値とする。なお、ここでは、S−R信号ヒストグラムから低頻度色を決定しており、G信号およびB信号を考慮していない。このため、低頻度色のG信号およびB信号の値は任意の値とすることができる。例えば、G信号およびB信号の値はランダムに決定してもよいし、各信号の取り得る値の中央値や予め定められた値に決定してもよい。
低頻度色決定部35は、低頻度サイズおよび低頻度色の組候補を2組以上決定したか否かを判断する(S36B)。低頻度サイズおよび低頻度色の組候補を2組以上決定した場合には(S36BでYES)、低頻度色候補決定処理(S8B)を終了する。
組候補を2組以上決定していない場合には(S36BでNO)、発生頻度算出部34は、S−G信号ヒストグラム、S−B信号ヒストグラム、S−R−G信号ヒストグラム、S−R−B信号ヒストグラム、S−G−B信号ヒストグラム、S−R−G−B信号ヒストグラムを順次作成し、低頻度色決定部35は、低頻度サイズおよび低頻度色の組候補が累計2組以上決定されない限り、各ヒストグラムに基づいて低頻度サイズおよび低頻度色の組候補を決定する(S38B〜S58B)。
再度図34を参照して、解析装置3は、以上説明した組候補決定処理(S8B)の後、ステップS10B〜S26Bの処理を実行する。これは、図8のステップS10〜S26の処理と同様である。ただし、低頻度色の候補の中から2つの低頻度色を決定するのではなく、低頻度サイズおよび低頻度色の組候補の中から2つの組を決定する点で異なる。決定された低頻度サイズおよび低頻度色の組は、検知装置4に送信される。
[検知装置4の処理手順]
図38は、本開示の実施の形態4に係る検知装置4の処理手順の一例を示すフローチャートである。なお、図38に示す処理は、図39に示す人物61の検知処理に先立って実行される前処理である。
低頻度色取得部42は、通信部41を介して解析装置3から、解析装置3が決定した低頻度サイズおよび低頻度色の組を取得する(S72C)。
閾値決定部43は、低頻度色取得部42が取得した低頻度サイズおよび低頻度色の組に基づいて、解析装置3が決定した低頻度色を発色し、低頻度サイズと同様のサイズを有する色ラベル5を検知する際の閾値を決定する(S74C)。
閾値決定部43は、決定した閾値を閾値記憶部44に書き込む(S76C)。
図39は、本開示の実施の形態4に係る検知装置4の処理手順の他の一例を示すフローチャートである。図39に示す処理は、対象物である人物61の検知処理である。
画像取得部45は、通信部41を介してカメラ2から、カメラ2が撮像した検知対象エリアの画像を取得する(S82)。
検知部46は、閾値記憶部44から閾値を読み出す(S84E)。つまり、図33に示したような閾値を読み出す。
検知部46は、画像取得部45が取得した画像を領域分割する。検知部46は、領域分割された領域と、閾値とに基づいて、画像から、低頻度サイズでかつ低頻度色の領域を抽出する。つまり、検知部46は、サイズおよび色が下限閾値以上でかつ上限閾値以下の領域を抽出する(S86C)。
検知部46は、2色の領域が抽出され、かつ2色の領域が所定の位置関係を有しているか否かを判定する(S88C)。所定の位置関係は、図17のS88で説明したものと同様である。
その後、ステップS90およびS92の処理が実行される。これらの処理は、図17に示したものと同様である。
以上説明したように、実施の形態4によると、領域分割処理により画像が類似する色の画素から構成される領域に分割される。また、領域のサイズおよび代表色の組の発生頻度に基づいて、低頻度サイズおよび低頻度色の組を決定することができる。このため、画像処理により対象物を正確に検知するために対象物に付すべき色と当該色のサイズを決定することができる。例えば、色ラベル5のサイズを低頻度サイズとし、低頻度色を発色させると、画像処理により画像から色ラベル5を検知することができる。これにより、対象物を検知することができる。
[付記]
以上、本開示の実施の形態に係る画像処理システム1について説明したが、本開示は、この実施の形態に限定されるものではない。
たとえば、上述の実施の形態では、一人の人物61に色ラベル5を付す例を説明したが、複数の人物61に色ラベル5を付してもよい。この場合、人物61ごとに色ラベル5の色である低頻度色を変更してもよい。これにより、検知装置4は、人物61を区別して検知することができる。
また、上記の解析装置3および検知装置4の各装置は、具体的には、マイクロプロセッサ、ROM(Read Only Memory)、RAM、HDD、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されてもよい。RAMまたはHDDには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。
さらに、上記の各装置を構成する構成要素の一部または全部は、1個のシステムLSIから構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。RAMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
また、本開示は、上記に示す方法であるとしてもよい。また、本開示は、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、上記コンピュータプログラムからなるデジタル信号であるとしてもよい。
さらに、本開示は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読取可能な非一時的な記録媒体、例えば、HDD、CD−ROM、半導体メモリなどに記録したものとしてもよい。
また、本開示は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、上記各装置の一部または全部の機能がクラウドコンピューティングによって提供されてもよい。つまり、各装置の一部または全部の機能がクラウドサーバにより実現されていてもよい。例えば、解析装置3において、発生頻度算出部34および低頻度色決定部35の機能がクラウドサーバにより実現され、解析装置3は、クラウドサーバに対して画像を送信し、クラウドサーバから当該画像に対する低頻度色を取得する構成であってもよい。
さらに、上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
1 画像処理システム
2 カメラ
3 解析装置
4 検知装置
5 色ラベル
5A 第1色ラベル
5B 第2色ラベル
5S 間隙領域
31 通信部
32 画像取得部
33 記憶部
34 発生頻度算出部
35 低頻度色決定部
36 表示制御部
37 入力受付部
37a 選択色取得部
37b 指定色取得部
38 時刻取得部
39 位置取得部
41 通信部
42 低頻度色取得部
43 閾値決定部
44 閾値記憶部
45 画像取得部
46 検知部
47 通知部
48 時刻取得部
49 位置取得部
51 インタフェース部
52 制御部
53 発光素子
60 フォークリフト
61 人物
71 領域分割部
72 領域特徴算出部
80 ヘルメット

Claims (14)

  1. コンピュータを、
    対象物の検知対象エリアを撮像した画像を取得する画像取得部と、
    前記画像取得部が取得した前記画像に基づいて、色ごとに、当該色の前記画像中での発生頻度を算出する発生頻度算出部と、
    前記発生頻度算出部が算出した色ごとの発生頻度に基づいて、他の色と比べて発生頻度の低い色である低頻度色を決定する低頻度色決定部と
    して機能させるための画像処理プログラム。
  2. 前記低頻度色決定部は、所定の色空間において互いに近傍に位置する複数色に含まれる各色の発生頻度を考慮して、前記低頻度色を決定する
    請求項1に記載の画像処理プログラム。
  3. 前記コンピュータを、さらに、
    前記画像取得部が取得した前記画像に対して、各画素の色に基づく領域分割処理を実行する領域分割部と、
    前記領域分割部が分割した領域ごとに、当該領域のサイズおよび代表色を算出する領域特徴算出部として機能させ、
    前記発生頻度算出部は、前記領域特徴算出部が算出した前記領域のサイズおよび代表色に基づいて、サイズおよび代表色の組ごとに、当該組を有する領域の前記画像中での発生頻度を算出し、
    前記低頻度色決定部は、前記発生頻度算出部が算出した前記組ごとの領域の発生頻度に基づいて、他の組と比較して発生頻度が低いサイズおよび代表色の組を決定する
    請求項1または請求項2に記載の画像処理プログラム。
  4. 前記低頻度色決定部は、前記発生頻度に基づいて、色間の距離が大きい低頻度色の組ほど優先的に選択することにより、複数の低頻度色を決定する
    請求項1〜請求項3のいずれか1項に記載の画像処理プログラム。
  5. 前記コンピュータを、さらに、
    前記低頻度色決定部が決定した複数の低頻度色を画面に表示させる表示制御部と、
    前記画面に表示された前記複数の低頻度色の中からユーザが選択した色である選択色を取得する選択色取得部として機能させ、
    前記表示制御部は、さらに、前記選択色取得部が取得した前記選択色との間の距離に応じて、前記複数の低頻度色を前記画面に表示させる
    請求項1〜請求項4のいずれか1項に記載の画像処理プログラム。
  6. 前記コンピュータを、さらに、
    前記画像取得部による前記画像の取得時刻を取得する時刻取得部として機能させ、
    前記発生頻度算出部は、前記時刻取得部が取得した前記取得時刻を含む時間帯に応じて、色ごとの発生頻度を算出し、
    前記低頻度色決定部は、前記発生頻度算出部が算出した前記発生頻度に基づき、時間帯に応じた低頻度色を決定する
    請求項1〜請求項5のいずれか1項に記載の画像処理プログラム。
  7. 前記コンピュータを、さらに、
    前記画像取得部による前記画像の取得位置を取得する位置取得部として機能させ、
    前記発生頻度算出部は、前記位置取得部が取得した前記取得位置が属するエリアに応じて、色ごとの発生頻度を算出し、
    前記低頻度色決定部は、前記発生頻度算出部が算出した前記発生頻度に基づき、エリアに応じた低頻度色を決定する
    請求項1〜請求項6のいずれか1項に記載の画像処理プログラム。
  8. 前記コンピュータを、さらに、
    指定色を取得する指定色取得部と、
    前記発生頻度算出部が算出した色ごとの発生頻度に基づいて、前記指定色取得部が取得した指定色の発生頻度に基づく情報を出力する出力部として機能させる
    請求項1〜請求項7のいずれか1項に記載の画像処理プログラム。
  9. 前記コンピュータを、さらに、
    前記低頻度色決定部が決定した前記低頻度色に基づいて、当該低頻度色を識別するための閾値を決定する閾値決定部として機能させる
    請求項1〜請求項8のいずれか1項に記載の画像処理プログラム。
  10. 請求項1〜請求項9のいずれか1項に記載の画像処理プログラムをコンピュータ上で実行することにより決定される低頻度色の光を発色する
    色ラベル。
  11. 請求項1〜請求項9のいずれか1項に記載の画像処理プログラムをコンピュータ上で実行することにより決定される低頻度色を識別するための閾値を取得する閾値取得部と、
    対象物の検知対象エリアの画像を取得する画像取得部と、
    前記閾値取得部が取得した前記閾値に基づいて、前記画像取得部が取得した前記画像中に、前記低頻度色が含まれていることを検知する検知部と
    を備える検知装置。
  12. 対象物の検知対象エリアを撮像した画像を取得する画像取得部と、
    前記画像取得部が取得した前記画像に基づいて、色ごとに、当該色の前記画像中での発生頻度を算出する発生頻度算出部と、
    前記発生頻度算出部が算出した色ごとの発生頻度に基づいて、他の色と比べて発生頻度の低い色である低頻度色を決定する低頻度色決定部と
    を備える画像処理装置。
  13. 対象物の検知対象エリアを撮像した画像を取得するステップと、
    取得された前記画像に基づいて、色ごとに、当該色の前記画像中での発生頻度を算出するステップと、
    算出された色ごとの発生頻度に基づいて、他の色と比べて発生頻度の低い色である低頻度色を決定するステップと
    を含む画像処理方法。
  14. 請求項11に記載の画像処理装置と、
    請求項9に記載の色ラベルと、
    請求項10に記載の検知装置と
    を備える画像処理システム。
JP2018554824A 2016-12-07 2017-09-01 画像処理プログラム、色ラベル、検知装置、画像処理装置、画像処理方法および画像処理システム Withdrawn JPWO2018105181A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016237508 2016-12-07
JP2016237508 2016-12-07
PCT/JP2017/031584 WO2018105181A1 (ja) 2016-12-07 2017-09-01 画像処理プログラム、色ラベル、検知装置、画像処理装置、画像処理方法および画像処理システム

Publications (1)

Publication Number Publication Date
JPWO2018105181A1 true JPWO2018105181A1 (ja) 2019-10-24

Family

ID=62491852

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018554824A Withdrawn JPWO2018105181A1 (ja) 2016-12-07 2017-09-01 画像処理プログラム、色ラベル、検知装置、画像処理装置、画像処理方法および画像処理システム

Country Status (4)

Country Link
US (1) US20190371005A1 (ja)
JP (1) JPWO2018105181A1 (ja)
CN (1) CN110023996A (ja)
WO (1) WO2018105181A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018036937A (ja) * 2016-09-01 2018-03-08 住友電気工業株式会社 画像処理装置、画像処理システム、画像処理プログラムおよびラベル
JP2020160914A (ja) * 2019-03-27 2020-10-01 株式会社豊田自動織機 物体検出装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01204569A (ja) * 1988-02-10 1989-08-17 Ricoh Co Ltd 色符号化方法
JP3454281B2 (ja) * 1993-11-15 2003-10-06 株式会社応用計測研究所 画像計測装置
US5649021A (en) * 1995-06-07 1997-07-15 David Sarnoff Research Center, Inc. Method and system for object detection for instrument control
JP2006332908A (ja) * 2005-05-24 2006-12-07 Matsushita Electric Ind Co Ltd カラー画像表示装置、カラー画像表示方法、プログラム、および記録媒体
CN101589408B (zh) * 2007-01-23 2014-03-26 日本电气株式会社 标记生成及标记检测的系统、方法和程序
JP6279825B2 (ja) * 2011-05-18 2018-02-14 ソニー株式会社 画像処理装置、画像処理方法、プログラムおよび撮像装置

Also Published As

Publication number Publication date
US20190371005A1 (en) 2019-12-05
WO2018105181A1 (ja) 2018-06-14
CN110023996A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
US10467933B2 (en) Display device and image displaying method therefor
JP5279654B2 (ja) 画像追尾装置、画像追尾方法、及びコンピュータプログラム
JP6553624B2 (ja) 計測機器、及びシステム
JP6477876B2 (ja) 信号機検出装置及び信号機検出方法
WO2018042747A1 (ja) 画像処理装置、画像処理システム、画像処理プログラムおよびラベル
KR101295092B1 (ko) 차량용 색상검출기
CN110521286B (zh) 图像分析技术
WO2018105181A1 (ja) 画像処理プログラム、色ラベル、検知装置、画像処理装置、画像処理方法および画像処理システム
Xiong et al. Early smoke detection of forest fires based on SVM image segmentation
CN106462244A (zh) 使用所辨识的对象校准传感器的方法和系统
US20230084125A1 (en) Information processing apparatus, recording medium, and positioning method
JP5279653B2 (ja) 画像追尾装置、画像追尾方法、及びコンピュータプログラム
US9286689B2 (en) Method and device for detecting the gait of a pedestrian for a portable terminal
US20150085078A1 (en) Method and System for Use in Detecting Three-Dimensional Position Information of Input Device
EP2046064A1 (en) Light emitting display device
KR101061012B1 (ko) 광각영상을 이용한 이동물체추적 방법
CN106484215B (zh) 管理移动终端的桌面的方法和装置
KR102261439B1 (ko) 이벤트 발생 감지 방법
JP6155106B2 (ja) 画像センサ
JP2020031393A (ja) 対象検知装置、画像処理装置、対象検知方法、画像処理方法、及びプログラム
Rautiainen et al. Detecting perceptual color changes from sequential images for scene surveillance
US20230078960A1 (en) Information processing apparatus, recording medium, and positioning method
CN115705662A (zh) 一种对象的颜色识别方法、装置、电子设备及存储介质
CN107240115A (zh) 一种基于标识物的识别方法
KR20170075518A (ko) 차량용 주변 감시 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200323

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20200626