JP5689534B2 - 物体検出装置を搭載する天井クレーン - Google Patents

物体検出装置を搭載する天井クレーン Download PDF

Info

Publication number
JP5689534B2
JP5689534B2 JP2013536043A JP2013536043A JP5689534B2 JP 5689534 B2 JP5689534 B2 JP 5689534B2 JP 2013536043 A JP2013536043 A JP 2013536043A JP 2013536043 A JP2013536043 A JP 2013536043A JP 5689534 B2 JP5689534 B2 JP 5689534B2
Authority
JP
Japan
Prior art keywords
overhead crane
object detection
evaluation value
detection device
inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013536043A
Other languages
English (en)
Other versions
JPWO2013046941A1 (ja
Inventor
芳永 清田
芳永 清田
市川 智子
智子 市川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Heavy Industries Ltd
Original Assignee
Sumitomo Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Heavy Industries Ltd filed Critical Sumitomo Heavy Industries Ltd
Priority to JP2013536043A priority Critical patent/JP5689534B2/ja
Application granted granted Critical
Publication of JP5689534B2 publication Critical patent/JP5689534B2/ja
Publication of JPWO2013046941A1 publication Critical patent/JPWO2013046941A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00Other constructional features or details
    • B66C13/18Control systems or devices
    • B66C13/46Position indicators for suspended loads or for crane elements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C15/00Safety gear
    • B66C15/04Safety gear for preventing collisions, e.g. between cranes or trolleys operating on the same track
    • B66C15/045Safety gear for preventing collisions, e.g. between cranes or trolleys operating on the same track electrical
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Description

本発明は、複数台のカメラのそれぞれが撮像するカメラ画像間の視差に基づいて物体を検出する物体検出装置を搭載する天井クレーンに関する。
従来、ステレオカメラを用いて物体までの距離を測定する方法が知られている(例えば、特許文献1参照。)。
この方法は、2つのカメラのそれぞれが撮像した2つのカメラ画像のそれぞれにおいて特徴点を見つけ出し、各カメラ画像間での特徴点同士の対応関係を明らかにする。そして、対応付けられたそれらの特徴点の位置の違い(視差)に基づいて、その特徴点を形成する物体までの距離を三角測量で計算する。
特開2000−111321号公報
藤吉弘亘、"Gradientベースの特徴抽出−SIFTとHOG−"、情報処理学会、研究報告CVIM 160, pp.211-214, 2007
しかしながら、特許文献1に記載の方法は、特徴点を見つけ出すための演算コスト及び各カメラ画像間での特徴点同士の対応関係を明らかにするための演算コストが大きいため、低コストの組込み装置への実装が困難である。また、この方法は、二次元のカメラ画像から三次元の距離分布を導き出す方法である。そのため、カメラ画像の特定部分のみを測定範囲(測定対象の物体が存在する範囲)として予め設定することができず、測定対象の物体が存在し得ない領域に対しても演算コストをかけることとなり効率が悪い。
上述の点に鑑み、本発明は、演算コストがより低い物体検出装置を搭載する天井クレーンを提供することを目的とする。
上述の目的を達成するために、本発明の実施例に係る天井クレーンは、少なくとも2つのカメラのそれぞれが撮像するカメラ画像間の視差に基づいて物体を検出する物体検出装置を搭載する天井クレーンであって、前記物体検出装置は、被撮像空間を通る仮想直線上の複数の検査点のうちの1つに対応する画素を含む所定サイズの部分画像を各カメラ画像から抽出する部分画像抽出部と、同一の検査点に対応する前記各カメラ画像の部分画像同士の類似度に基づいて前記複数の検査点のうちの1つに関する評価値を決定する評価値決定部と、前記評価値決定部が決定する評価値を用いて物体の存否を判定する物体存否判定部と、を備える。
上述の手段により、本発明は、演算コストがより低い物体検出装置を搭載する天井クレーンを提供することができる。
本発明の実施例に係る物体検出装置の構成例を概略的に示すブロック図である。 撮像部と測定ラインとの関係の一例を示す図である。 図2に示す2台のカメラのそれぞれが撮像するカメラ画像と8つの検査点との関係を示す図である。 検出対象を撮像する2台のカメラが出力するカメラ画像を示す図である。 図4の2つのカメラ画像のそれぞれにおける、検査点に対応する画素を含む部分画像を示す図である。 評価値決定処理の流れを示すフローチャートである。 水平方向の輝度の微分値、鉛直方向の輝度の微分値、及び、輝度勾配方向の三者の関係を示す図である。 検査点に対応する画素を中心画素とする部分画像の全体像を示す図である。 図8Aの破線円部分の拡大図である。 評価値決定部による輝度勾配方向の量子化方法の一例を説明する図である。 評価値決定部により量子化された輝度勾配方向の値を示す図である。 評価値決定部による輝度勾配方向の値のヒストグラムの作成方法の一例を説明する図である。 輝度勾配方向の値のヒストグラムの一例を示す図である。 16個の検査点のそれぞれに関する評価値の分布を示す図(その1)である。 16個の検査点のそれぞれに関する評価値の分布を示す図(その2)である。 16個の検査点のそれぞれに関する評価値の分布を示す図(その3)である。 物体検出処理の流れを示すフローチャートである。 物体検出装置が搭載される天井クレーンの上面図である。 物体検出装置が搭載される天井クレーンの正面図である。 物体検出装置が搭載される天井クレーンの側面図である。 検出結果表示画面の一例を示す図である。 物体検出装置が搭載される天井クレーンの上面図である。 物体検出装置が搭載される天井クレーンの正面図である。 物体検出装置が搭載される天井クレーンの側面図である。 物体検出装置が搭載される天井クレーンの上面図である。 物体検出装置が搭載される天井クレーンの正面図である。 物体検出装置が搭載される天井クレーンの背面図である。 物体検出装置が搭載される天井クレーンの側面図である。 ガーダの側面に描かれるマークの例を示す図である。 図18Cのマークを含む部分画像を示す図である。
以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。
図1は、本発明の実施例に係る物体検出装置100の構成例を概略的に示すブロック図である。物体検出装置100は、主に、制御部1、撮像部2、表示部3、及び音声出力部4で構成される。
制御部1は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、NVRAM(Non-Volatile Random Access Memory)等を備えたコンピュータである。制御部1は、例えば、ROMやNVRAMに保存された、後述する部分画像抽出部10、評価値決定部11、及び物体存否判定部12のそれぞれの機能要素に対応するプログラムをRAMに展開し、各機能要素に対応する処理をCPUに実行させる。
撮像部2は、画像を取得する装置であり、例えば、少なくとも2つのカメラで構成されるステレオビジョン装置である。撮像部2は、所定周期で撮像する画像データを制御部1に対して出力する。
撮像部2を構成する少なくとも2つのカメラは、所定距離を隔てて配置され、同じ空間領域を撮像する。以下では、少なくとも2つのカメラが撮像する共通の空間領域を「被撮像空間」と称する。
表示部3は、各種情報を表示するための装置であり、例えば、液晶ディスプレイ、プロジェクタ等であって、制御部1が出力する各種画像を表示する。
音声出力部4は、各種情報を音声出力するための装置であり、例えば、ブザー、スピーカ等であって、制御部1が出力する制御信号に応じて各種情報を音声出力する。
部分画像抽出部10は、撮像部2が撮像した画像から部分画像を抽出する機能要素である。
具体的には、部分画像抽出部10は、撮像部2を構成する複数のカメラのそれぞれが撮像したカメラ画像から、検査点に対応する画素を含む所定サイズの部分画像を抽出する。部分画像は、例えば、検査点に対応する画素を中心画素とする矩形画像である。なお、部分画像は、円形、楕円形等の他の形状を有していてもよい。
「検査点」とは、三次元空間である被撮像空間を通る仮想直線(以下、「測定ライン」とする。)上の点である。検査点は、好適には、物体検出装置100の検出対象に応じて予め設定される。この場合、物体検出装置100は、三次元空間に定義される三次元座標系における各検査点の三次元座標と、複数のカメラ画像のそれぞれに対して定義される二次元座標系における対応する二次元座標とを予め関連付けて保持する。但し、検査点は、物体検出装置100の検出対象に応じて動的に設定されてもよい。この場合、物体検出装置100は、測定ライン及び検査点を動的に設定し、各検査点の三次元座標に基づいて、複数のカメラ画像のそれぞれにおける対応する二次元座標を動的に算出する。
図2は、撮像部2と測定ラインVLとの関係の一例を示す図であり、撮像部2を構成する2つのカメラ2a、2bとカメラ2a、2bに関する被撮像空間を通る測定ラインVL上に配置される8個の検査点IP1〜IP8とを示す。
測定ラインVLは、被撮像空間を通る任意の直線であるが、好適には、物体検出装置100の検出対象である物体が存在する可能性の高い空間領域、又は、物体検出装置100の検出対象である物体が移動する可能性の高い空間領域を貫くように配置される。
また、測定ラインVL上に配置される検査点間の距離は任意であり、等間隔であってもよく、不等間隔であってもよい。なお、検査点間の距離が長い程、すなわち、検査点の数が少ない程、物体検出装置100が物体を検出するために要する演算負荷は減少する。一方、検査点間の距離が短い程、すなわち、検査点の数が多い程、物体検出装置100の分解能は高くなる。
図3は、図2に示す2台のカメラ2a、2bのそれぞれが撮像するカメラ画像2aR、2bRと8つの検査点IP1〜IP8との関係を示す。カメラ2aが撮像するカメラ画像2aRは、検査点IP1〜IP8のそれぞれに対応する画素2aP1〜2aP8を中心とする部分画像2aR1〜2aR8を含む。同様に、カメラ2bが撮像するカメラ画像2bRは、検査点IP1〜IP8のそれぞれに対応する画素2bP1〜2bP8を中心とする部分画像2bR1〜2bR8を含む。なお、部分画像2aR1〜2aR8及び部分画像2bR1〜2bR8のそれぞれのサイズは共通である。部分画像のサイズを共通とした場合、演算処理がしやすいというメリットがある。そのため、図3では、検査点IP2〜IP7のそれぞれを中心画素とする、カメラ画像2aR、2bRのそれぞれにおける部分画像の範囲の図示を省略する。なお、部分画像のサイズは、同じ検査点に対応する部分画像間で共通であれば、カメラからの距離に応じて検査点毎に変更されてもよい。この場合、カメラからの距離に応じて変化する、物体のカメラ画像内での映り込みサイズに、部分画像のサイズを合わせられるというメリットがある。なお、カメラ画像2aRのサイズは、カメラ画像2bRのサイズと同じである。また、図3は、カメラ2aの設置位置とカメラ2bの設置位置との違いに起因して、カメラ2aが撮像するカメラ画像2aRとカメラ2bが撮像するカメラ画像2bRとの間に視差が存在することを示す。
図4は、検出対象50を撮像する2台のカメラ2a、2bが出力するカメラ画像2aR、2bRを示す。なお、図4に示す測定ラインは、図3に示す測定ラインVLとは延在方向が異なるが、説明の便宜のため、同じ参照符号VLを用いて説明する。検査点IP1〜IP5についても同様である。
図4において、カメラ2a、2bは、床面から500mmの高さに設置される。また、測定ラインVLは、床面からの高さが500mmの平面上で、カメラ2aとカメラ2bとを結ぶ線分の中点MPを通り、カメラ2a、2bの光軸方向に平行に伸びる。また、5つの検査点IP1〜IP5は、測定ラインVL上に等間隔(例えば、250mm間隔)に配置され、中点MPとの距離が最も小さい検査点IP1は、中点MPから1000mmの地点に配置される。また、検出対象50はヘルメットであり、中点MPから1750mmの地点に配置される。
図5は、図4の2つのカメラ画像2aR、2bRのそれぞれにおける、5つの検査点IP1〜IP5のそれぞれに対応する画素を含む、2つ1組の5組の部分画像を示す。
部分画像2aR1は、カメラ2aが撮像したカメラ画像2aRにおける、検査点IP1に対応する画素2aP1を中心画素とする部分画像である。また、部分画像2bR1は、カメラ2bが撮像したカメラ画像2bRにおける、検査点IP1に対応する画素2bP1を中心画素とする部分画像である。
同様に、部分画像2aR2〜2aR5のそれぞれは、カメラ画像2aRにおける、検査点IP2〜IP5のそれぞれに対応する画素2aP2〜2aP5のそれぞれを中心画素とする部分画像である。また、部分画像2bR2〜2bR5のそれぞれは、カメラ画像2bRにおける、検査点IP2〜IP5のそれぞれに対応する画素2bP2〜2bP5のそれぞれを中心画素とする部分画像である。
このようにして、部分画像抽出部10は、複数の検査点のそれぞれに対応する画素のそれぞれを中心画素とする所定サイズの部分画像を各カメラ画像から抽出する。
評価値決定部11は、互いに対応する部分画像の類似度に基づいて検査点に関する評価値を決定する機能要素である。
具体的には、評価値決定部11は、特定の検査点に対応する画素を中心画素とする部分画像同士の類似度に基づいてその特定の検査点に関する評価値を決定する。
図6は、評価値決定部11が検査点に関する評価値を決定する処理(以下、「評価値決定処理」とする。)の流れを示すフローチャートである。
最初に、評価値決定部11は、部分画像における各画素の輝度勾配方向を算出する(ステップS1)。
「輝度勾配方向」とは、ある注目画素において輝度変化が最大である方向を意味し、本実施例では、水平方向(画面横方向)の輝度の微分値dI(i、j)と鉛直方向(画面縦方向)の輝度の微分値dI(i、j)とが形成する角度θで表される。
具体的には、カメラ画像2aR、2bRのそれぞれにおける座標(i、j)の画素の輝度をI(i、j)で表すと、水平方向の輝度の微分値dI(i、j)、鉛直方向の輝度の微分値dI(i、j)、及び、輝度勾配方向θは、以下の式で表される。
Figure 0005689534
Figure 0005689534
Figure 0005689534
図7は、水平方向の輝度の微分値dI(i、j)、鉛直方向の輝度の微分値dI(i、j)、及び、輝度勾配方向θの三者の関係を示す図であり、輝度勾配方向θが、水平方向の輝度の微分値dI(i、j)と鉛直方向の輝度の微分値dI(i、j)との間の角度であることを示す。
また、図8A及び図8Bは、カメラ画像2aRにおける、検査点IP1に対応する画素2aP1を中心画素とする部分画像2aR1における各画素の輝度勾配方向を示す。具体的には、図8Aは、部分画像2aR1の全体像を示し、図8Bは、図8Aの破線円部分の拡大図を示す。なお、図8Aは、説明の便宜のため、部分画像2aR1を縦9ピクセル、横9ピクセルのサイズで示す。また、図8Bは、各画素の輝度勾配方向を矢印で示す。
このようにして、評価値決定部11は、部分画像における各画素の輝度勾配方向θを算出する。
部分画像における各画素の輝度勾配方向θを算出した後、評価値決定部11は、その算出した輝度勾配方向θを量子化する(ステップS2)。
図9A及び図9Bは、評価値決定部11による輝度勾配方向θの量子化方法の一例を説明する図である。
図9Aで示すように、評価値決定部11は、輝度勾配方向θが0度以上45度未満の場合に輝度勾配方向を値「0」に変換する。同様に、評価値決定部11は、輝度勾配方向θが45度以上90度未満、90度以上135度未満、135度以上180度未満、180度以上225度未満、225度以上270度未満、270度以上315度未満、315度以上360度未満の場合に、輝度勾配方向をそれぞれ値「1」、値「2」、値「3」、値「4」、値「5」、値「6」、値「7」に変換する。図9Bは、量子化の結果の一例を示し、図8Bに対応する。
このようにして、評価値決定部11は、特定の検査点に対応する画素を中心画素とする部分画像における各画素の輝度勾配方向θを量子化する。
輝度勾配方向θを量子化した後、評価値決定部11は、その量子化した輝度勾配方向の値のヒストグラムを作成する(ステップS3)。
図10A及び図10Bは、評価値決定部11による輝度勾配方向の値のヒストグラムの作成方法の一例を説明する図である。なお、図10Aの部分画像2aR1は、図8Aの部分画像2aR1に対応する。
図10Aで示すように、評価値決定部11は、部分画像2aR1を、中心画素2aP1を含む列より左側にある4列で構成される左側領域と、中心画素2aP1を含む1列、及び中心画素2aP1を含む列より右側にある4列で構成される右側領域とに分割する。
その上で、評価値決定部11は、左側領域に含まれる各画素の輝度勾配方向の値の出現頻度を「0」〜「7」の値毎に計数する。同様に、評価値決定部11は、右側領域に含まれる各画素の輝度勾配方向の値の出現頻度を「0」〜「7」の値毎に計数する。
図10Bは、左側領域に関する「0」〜「7」の値と右側領域に関する「0」〜「7」の値とで構成される16種類(次元)の値のそれぞれの出現頻度の分布を示すヒストグラムの一例である。
このようにして、評価値決定部11は、特定の検査点に対応する画素を中心画素とする部分画像の特徴を表すヒストグラムを作成する。
特定の検査点に関連する複数の部分画像のそれぞれの特徴を表すヒストグラムを作成した後、評価値決定部11は、その特定の検査点に関する評価値CGRAを決定する(ステップS4)。
具体的には、評価値決定部11は、検査点IP1に関連する、カメラ2aが撮像したカメラ画像2aRにおける部分画像2aR1の特徴を表すヒストグラムと、同じく検査点IP1に関連する、カメラ2bが撮像したカメラ画像2bRにおける部分画像2bR1の特徴を表すヒストグラムとに基づいて、検査点IP1に関する評価値CGRAを決定する。
評価値CGRAは、例えば、以下の式で表されるようなヒストグラム同士の各要素の強度差に基づく評価値が採用される。
Figure 0005689534
なお、Kは次元数を表し、本実施例では、輝度勾配方向の値の種類の数に相当する「16」である。また、Ig(k)は、一方の部分画像におけるk次元目の値を表し、例えば、Ig(1)は、部分画像2aR1における輝度勾配方向の値「0」の出現頻度(1次元目の値)を表す。また、Tg(k)は、他方の部分画像におけるk次元目の値を表し、例えば、Tg(1)は、部分画像2bR1における輝度勾配方向の値「0」の出現頻度(1次元目の値)を表す。
この場合、検査点IP1に関する評価値CGRAが小さい程2つの部分画像2aR1、2bR1の類似度が高く、その評価値CGRAが大きい程2つの部分画像2aR1、2bR1の類似度が低い。なお、評価値CGRAの大小と類似度の高低との関係は、評価値CGRAの計算方法によっては反対となり得る。
また、特定の検査点に関連する部分画像が3つ以上存在する場合、すなわち撮像部2が3つ以上のカメラで構成される場合には、評価値決定部11は、それら3つ以上の部分画像のうちの2つの間の評価値CGRAを全ての組み合わせについて算出した上で、算出した複数の評価値CGRAに基づいて最終的な評価値CGRAを導き出すようにする。この場合、評価値決定部11は、例えば、複数の評価値CGRAの統計値(平均値、最大値、最小値、中間値等である。)を最終的な評価値CGRAとして導き出してもよい。
このようにして、評価値決定部11は、特定の検査点に対応する画素を中心画素とする、互いに対応する部分画像の類似度に基づいて、その特定の検査点に関する評価値CGRAを決定する。
また、評価値決定部11は、予め設定された複数の検査点のそれぞれについて、上述の評価値決定処理を実行し、予め設定された複数の検査点のそれぞれに関する評価値CGRAを決定する。
物体存否判定部12は、評価値決定部11が決定する、複数の検査点のそれぞれに関する評価値CGRAに基づいて物体の存否を判定する機能要素である。
図11〜図13は、16個の検査点IP1〜IP16のそれぞれに関する評価値CGRAの分布を示す図である。
図11〜図13において、カメラ2a、2bは、床面から500mmの高さに設置される。また、測定ラインVLは、床面からの高さが500mmの平面上で、カメラ2aとカメラ2bとを結ぶ線分の中点MPを通り、カメラ2a、2bの光軸方向に平行に伸びる。また、16個の検査点IP1〜IP16は、測定ラインVL上に250mm間隔に配置され、中点MPとの距離が最も小さい検査点IP1は、中点MPから1000mmの地点に配置される。また、検出対象50はヘルメットであり、図11では中点MPから1500mmの地点に配置され、図12では中点MPから2250mmの地点に配置され、図13では中点MPから3000mmの地点に配置される。
図11のケースでは、物体存否判定部12は、測定ラインVL上に並ぶ検査点IP1〜IP16のそれぞれに関する評価値CGRAの分布から、中点MPから1500mmの地点に対応する検査点IP3に関する評価値CGRAが極値(最小値)であると判断する。そして、物体存否判定部12は、中点MPから1500mmの地点に検出対象50が存在すると判定する。また、図12のケースでは、物体存否判定部12は、中点MPから2250mmの地点に対応する検査点IP6に関する評価値CGRAが極値(最小値)であると判断し、中点MPから2250mmの地点に検出対象50が存在すると判定する。同様に、図13のケースでは、物体存否判定部12は、中点MPから3000mmの地点に対応する検査点IP9に関する評価値CGRAが極値(最小値)であると判断し、中点MPから3000mmの地点に検出対象50が存在すると判定する。
このようにして、物体存否判定部12は、複数の評価値CGRAから極値(最小値)を抽出し、その極値となる評価値CGRAを有する検査点(以下、「採用点」と称する。)の位置に物体が存在すると判定する。
この判定は、物体が存在する地点に対応する検査点に関する部分画像間の類似度が比較的高くなる一方で、物体が存在しない地点に対応する検査点に関する部分画像間の類似度が比較的低くなるという事実に基づく。物体が存在する地点に対応する検査点に関する、カメラ2aによる部分画像とカメラ2bによる部分画像とは、その物体を共通の被写体として含む。これに対し、物体が存在しない地点に対応する検査点に関する、カメラ2aによる部分画像とカメラ2bによる部分画像とは、別々の物体(互いに異なる地点に存在するより遠方の物体)を被写体として含み得るためである。
また、物体存否判定部12は、複数の評価値CGRAの分布に基づいて物体の存否を判定してもよい。
具体的には、物体存否判定部12は、採用点の評価値CGRAと採用点の周囲にある検査点の評価値CGRAとの間の関係に基づいて物体の存否を判定してもよい。この場合、採用点の周囲にある検査点の評価値CGRAは、例えば、採用点に隣接する複数の検査点の評価値CGRAの平均値、最大値、最小値、中間値等である。
例えば、物体存否判定部12は、採用点の評価値CGRAと採用点の周囲にある検査点の評価値CGRAとの間の差が所定値以上の場合に限り、採用点の位置に物体が存在すると判定してもよい。すなわち、物体存否判定部12は、その差が所定値未満の場合には、採用点の位置に物体が存在しないと判定してもよい。検査点の位置に物体が存在しない場合であっても、背景の輝度が均一な場合、その評価値CGRAは、物体が存在する場合と同じ程度に低くなるためである。また、物体が存在する場合には特定の1つの検査点の評価値CGRAが低くなり易いのに対し、物体が存在せず且つ背景の輝度が均一な場合には、隣接する複数の検査点の評価値CGRAが一様に低くなり易いためである。
また、物体検出装置100は、物体存否判定部12の判定結果を表示部3及び音声出力部4を通じて操作者に伝えるようにする。
具体的には、物体検出装置100は、カメラ2a、2bの何れか一方が撮像した画像を表示部3に表示し、物体存否判定部12により物体が存在すると判定された位置に対応する採用点の周囲の画像領域を他の画像領域と異ならせて表示する。例えば、物体検出装置100は、採用点の周囲の画像領域の色を他の画像領域の色と異ならせて表示する。
また、物体検出装置100は、例えば、音声出力部4を通じて警報を出力したり、「Xメートルの地点に物体が存在します」といった音声メッセージを音声出力部4から出力したりする。
次に、図14を参照しながら、物体検出装置100が物体を検出する処理(以下、「物体検出処理」とする。)の流れについて説明する。なお、図14は、物体検出処理の流れを示すフローチャートであり、物体検出装置100は、所定周期で繰り返しこの物体検出処理を実行する。また、測定ラインVLは、検出対象の物体が存在する可能性の高い空間領域を横切るように予め設定される。検査点は、測定ラインVL上に等間隔に所定数だけ予め配置される。また、撮像部2は、2台のカメラ2a、2bで構成され、カメラ2a、2bは、カメラ画像2aR、2bRを制御部1に対して出力する。
最初に、物体検出装置100の制御部1は、部分画像抽出部10により、複数の検査点のうちの1つに対応する画素を中心画素とする部分画像を、カメラ画像2aR、2bRのそれぞれから抽出する(ステップS11)。
その後、制御部1は、評価値決定部11により、上述の評価値決定処理を実行し、その検査点に関する評価値CGRAを決定する(ステップS12)。
その後、制御部1は、予め設定された全ての検査点に関する評価値CGRAを決定したか否かを判定する(ステップS13)。
予め設定された全ての検査点に関する評価値CGRAを未だ決定していないと判定した場合(ステップS13のNO)、制御部1は、評価値CGRAが未だ決定されていない検査点に関してステップS11及びステップS12を実行する。
予め設定された全ての検査点に関する評価値CGRAを決定したと判定した場合(ステップS13のYES)、制御部1は、物体存否判定部12により、全ての検査点に関する評価値CGRAの分布に基づいて物体の存否を判定する(ステップS14)。
なお、本実施例では、物体検出装置100は、1本の測定ラインVL上に配置された複数の検査点のそれぞれに関する評価値CGRAの分布に基づいて、その1本の測定ラインVLが通る空間における物体の存否を判定する。しかしながら、本発明は、これに限定されない。物体検出装置100は、複数本の測定ラインのそれぞれに配置された複数の検査点のそれぞれに関する評価値CGRAの分布に基づいて、測定ライン毎に物体の存否を判定してもよい。
以上の構成により、物体検出装置100は、特定の検査点に対応する画素を中心画素とする、複数のカメラ画像のそれぞれにおける部分画像間の類似度に基づく評価値を用いて物体の存否を判定する。その結果、物体検出装置100は、エッジ検出等の画像処理により特徴点を見つけ出す必要なく物体の存否を判定することができ、物体の存否を判定するのに必要な演算コストを低減させることができる。
また、物体検出装置100は、検査点の位置を任意に設定可能とするので、測定範囲を必要最小限に制限することができ、物体の存否を判定するのに必要な演算コストを更に低減させることができる。
また、物体検出装置100は、検査点の位置を任意に設定可能とするので、特定領域の物体検出の分解能を高めることができる。
次に、図15A〜図15Cを参照しながら、物体検出装置100が天井クレーン60に搭載される場合の測定ライン及び検査点の配置について説明する。
図15A〜図15Cは、物体検出装置100が搭載される天井クレーン60の構成例を示す図であり、図15Aが天井クレーン60の上面図を示し、図15Bが図15AのXVB−XVB方向から見た天井クレーン60の正面図を示し、図15Cが図15BのXVC−XVC方向から見た天井クレーン60の側面図を示す。
天井クレーン60は、建屋の左壁WL及び右壁WRのそれぞれに設置されたランウェイ61L、61R上を車輪62L(前車輪62LF及び後車輪62LBを含む。)、62R(図示しない前車輪62RF及び図示しない後車輪62RBを含む。)を用いてX軸方向に走行する移動式のガーダ63を有する。
また、天井クレーン60は、ガーダ63上に設置されたランウェイ64F、64B上を車輪65L(前車輪65LF及び図示しない後車輪65LBを含む。)、65R(前車輪65RF及び後車輪65RBを含む。)を用いてY軸方向に横行するトロリ66を有する。
また、天井クレーン60は、トロリ66に取り付けられる巻上装置67を有し、巻上装置67は、モータ(図示せず。)を用いてドラム(図示せず。)にワイヤロープ68を巻き上げ或いは巻き下げてフック69をZ軸方向に上下させる。
また、天井クレーン60は、ガーダ63の下側に設置され、ガーダ63と共に走行する操作室70を有する。操作室70内には、物体検出装置100を構成する制御部1、表示部3、及び音声出力部4、並びに、動作状態検出部71が設置される。
撮像部2は、2つのカメラ2a、2bで構成され、それら2つのカメラ2a、2bは、ガーダ63の側面に所定の間隔を空けて取り付けられる。本実施例では、カメラ2a、2bは、ガーダ63の2つの走行方向(+X方向及び−X方向)のうちの一方(−X方向)を向く側面に取り付けられるが、ガーダ63の2つの走行方向のそれぞれを向くガーダ63の側面のそれぞれに取り付けられてもよい。
2つのカメラ2a、2bのそれぞれから伸びる破線(図15B及び図15C参照。)は、2つのカメラ2a、2bのそれぞれの撮像範囲を表す。このように、2つのカメラ2a、2bのそれぞれは、ガーダ63の2つの走行方向のうちの一方の側にある作業空間全体を被撮像空間とする。
「作業空間」とは、天井クレーン60がフック69を持って行くことができる空間を意味する。
動作状態検出部71は、天井クレーン60の動作状態を検出する機能要素であり、検出結果を制御部1に対して出力する。動作状態検出部71は、例えば、CPU、RAM、ROM、NVRAM等を備えたコンピュータであり、制御部1に統合されてもよい。
動作状態検出部71は、例えば、図示しない操作レバーの出力に基づいて天井クレーン60の動作状態を検出する。天井クレーン60の動作状態は、停止状態、前進状態、後進状態、左横行状態、右横行状態、巻き上げ状態、巻き下げ状態等を含む。
また、動作状態検出部71は、巻上装置67の巻き上げ速度を検出するレゾルバ、巻上装置67の巻き上げ量を検出するセンサ、ガーダ63の走行速度を検出する速度センサ、トロリ66の横行速度を検出する速度センサ等の出力に基づいて天井クレーン60の動作状態を検出してもよい。
なお、本実施例において、天井クレーン60は、クラブトロリ式天井クレーンであるが、ロープトロリ式天井クレーン、ホイスト式天井クレーン等の他の方式の天井クレーンであってもよい。
また、図15A〜図15Cは、天井クレーン60に搭載される物体検出装置100が採用する測定ラインの配置の一例を示す。図15A〜図15Cでは、床面から垂直に伸びる10本の測定ラインVLa〜VLjが配置され、10本の測定ラインVLa〜VLjのそれぞれには、7つの検査点が等間隔に配置される。なお、7つの検査点は、不等間隔に配置されてもよい。
具体的には、測定ラインVLa上には7つの検査点IPa1〜IPa7が配置される。また、図の明瞭化のため明示されていないが、測定ラインVLb、VLc、VLd、VLe、VLf、VLg、VLh、VLi、VLjのそれぞれの上には検査点IPb1〜IPb7、IPc1〜IPc7、IPd1〜IPd7、IPe1〜IPe7、IPf1〜IPf7、IPg1〜IPg7、IPh1〜IPh7、IPi1〜IPi7、IPj1〜IPj7が配置される。
物体検出装置100は、10本の測定ラインVLa〜VLjのそれぞれに配置された7つの検査点のそれぞれに関する評価値CGRAの分布に基づいて、測定ライン毎に物体の存否を判定する。
10本の測定ラインVLa〜VLjは、天井クレーン60からX軸方向に所定距離だけ離れたところでZ軸方向に伸び、隣接する2本の測定ラインの間の距離が等しくなるように配置される。なお、隣接する2本の測定ラインの間の距離は、異なるものであってもよい。
10本の測定ラインVLa〜VLjのこの配置により、物体検出装置100は、天井クレーン60の作業空間に存在する物体を検出することができる。
また、10本の測定ラインVLa〜VLjは、ガーダ63を基準とする座標系で定義されているので、測定ラインVLa〜VLj上の各検査点は、ガーダ63に固定された撮像部2の動きとともに、すなわち、ガーダ63のX軸方向における移動とともに移動する。その結果、物体検出装置100は、ガーダ63のX軸方向における移動にかかわらず、常に、天井クレーン60からX軸方向に所定距離だけ離れた鉛直空間に存在する物体を検出できる。
また、図15A〜図15Cは、天井クレーン60の作業空間の床面に荷物80〜83が置かれ、天井クレーン60が吊り荷85を吊り上げている状態を示す。具体的には、荷物80は、検査点IPa3の位置より高く検査点IPa4の位置より低い高さを有し、荷物81は、検査点IPc3の位置より高く検査点IPc4の位置より低い高さを有する。また、荷物82は、検査点IPe1の位置より高く検査点IPe2の位置より低い高さを有する。なお、荷物83は、測定ライン上にないため未だ検出対象となってはいないが、検査点IPb1の位置より高く検査点IPb2の位置より低い高さを有する。また、天井クレーン60が吊り上げている吊り荷85の底面の高さは、検査点IPe3の位置より高く検査点IPe4の位置より低い高さにある。
このような状態において、物体検出装置100は、測定ライン毎に物体の存否を判定し、検査点IPa3、IPc3、IPe1のそれぞれの位置に物体が存在することを検出する。なお、物体検出装置100は、距離センサ、画像センサ、又は、巻上装置67の巻き上げ量を検出するセンサ(何れも図示せず。)等の公知のセンサの出力に基づいて、天井クレーン60が吊り上げている吊り荷85の底面の高さを検出する。その結果、物体検出装置100は、吊り荷85の底面よりも高い高さを有する荷物80、81と、吊り荷85の底面より低い高さを有する荷物82とを区別することができる。
図16は、天井クレーン60に搭載される物体検出装置100の検出結果を表示する検出結果表示画面D1の一例である。物体検出装置100は、表示部3に検出結果を出力し、表示部3上に検出結果表示画面D1を表示させる。例えば、物体検出装置100は、撮像部2を構成する2つのカメラ2a、2bの一方又は双方が撮像したカメラ画像に基づいて天井クレーン60の作業空間を仮想的に上方から眺めた視点変換画像を生成する。そして、その視点変換画像を背景画像として表示部3に表示しながら、検出結果をその背景画像上に重畳表示する。
検出結果表示画面D1は、天井クレーン60の位置を表すCG(Computer Graphics)画像である天井クレーン画像V60を画面中央上部に表示する。なお、天井クレーン画像V60は、主に、ガーダ63を表すガーダ画像V63、及び、トロリ66を表すトロリ画像V66で構成される。
図16では、検出結果表示画面D1は、図15A〜図15Cで示された、測定ラインVLa上の検査点IPa3、測定ラインVLb上の検査点IPb3、及び測定ラインVLe上の検査点IPe1のそれぞれで荷物80、81、82のそれぞれが存在すると判定され、荷物80、81の高さが吊り荷85の底面よりも高いと判定された場合の状態を示す。
図16で示すように、物体検出装置100は、吊り荷85の底面より高い高さを有する荷物が存在すると判定された地点の画像部分の色を他の画像部分の色と異ならせて表示する。吊り荷85を水平移動させた場合に吊り荷85が衝突するおそれのある荷物が存在することを操作者に伝えるためである。
具体的には、物体検出装置100は、吊り荷85の底面より高い高さを有する荷物80、81を表す荷物画像V80、V81が存在する画像部分の色を他の画像部分の色と異ならせて表示する。図16は、吊り荷85の底面より高い高さを有する荷物80、81を表す荷物画像V80、V81が存在する画像部分に斜線ハッチングを重畳表示するという画像処理が施された状態を示す。また、吊り荷85の底面より低い高さを有する荷物82を表す荷物画像V82が存在する画像部分には画像処理が何ら施されていない状態を示す。なお、物体検出装置100は、荷物83を表す荷物画像V83が存在する画像部分にも何らの画像処理を施していない。荷物83は、未だ検出対象となっていないためである。
なお、物体検出装置100は、輝度調整、点滅等の他の表示方法により、吊り荷85を水平移動させた場合に吊り荷85が衝突するおそれのある荷物が存在することを操作者に伝えるようにしてもよい。また、物体検出装置100は、警報や音声メッセージを音声出力部4から出力させ、吊り荷85を水平移動させた場合に吊り荷85が衝突するおそれのある荷物が存在することを操作者に伝えるようにしてもよい。
このようにして、物体検出装置100は、撮像部2を用いた物体の存否の判定結果を天井クレーン60の操作者に分かり易く伝えることができる。
次に、図17A〜図17Cを参照しながら、天井クレーン60に搭載される物体検出装置100が採用する測定ラインが天井クレーン60の動作状態に応じて動的に設定される例について説明する。なお、図17A〜図17Cは、物体検出装置が搭載される天井クレーンの別の構成例を示す図であり、活性状態・非活性状態が切り換え可能な測定ラインの配置例を示す。
図17A〜図17Cは、図15A〜図15Cに対応する図であり、図17Aが天井クレーン60の上面図を示し、図17Bが図17AのXVIIB−XVIIB方向から見た天井クレーン60の正面図を示し、図17Cが図17BのXVIIC−XVIIC方向から見た天井クレーン60の側面図を示す。
図17A〜図17Cで示すように、物体検出装置100は、天井クレーン60の作業空間における撮像部2(カメラ2a、2b)の被撮像空間に床面から垂直に伸びる複数の測定ラインを予め設定する。なお、図17Aには10列6行の60本の測定ラインが示されている。また、図17A〜図17Cは、測定ラインの活性状態・非活性状態の切り換えが個別に可能であることを示す。なお、破線又は白丸で表される測定ラインは、非活性状態であることを示し、実線又は黒丸で表される測定ラインは、活性状態であることを示す。
「測定ラインを活性状態にする」とは、その測定ラインが通る空間を物体検出処理の対象とすることを意味する。すなわち、物体検出装置100は、その測定ライン上の検査点のそれぞれに関する評価値を算出してその測定ライン上にある物体の存否を判定する。具体的には、物体検出装置100は、各検査点の検査点情報に活性状態・非活性状態を表す活性状態フラグを用意する。そして、物体検出装置100は、活性状態にしようとする測定ライン上にある検査点のそれぞれに関するこの活性状態フラグを活性状態(例えば、値「1」である。)に切り換えることによって、その測定ラインを活性状態にする。なお、検査点情報は、制御部1のNVRAM等に予め記憶される情報であり、三次元空間における検査点に対応するカメラ座標系上の座標点に関する情報を含む。物体検出装置100は、この検査点情報に基づいて、検査点に対応する画素を特定することができる。
一方、「測定ラインを非活性状態にする」とは、その測定ラインが通る空間を物体検出処理の対象としないことを意味する。すなわち、物体検出装置100は、その測定ライン上の検査点に関する評価値の算出を省略し、その測定ライン上にある物体の存否を判定しない。具体的には、物体検出装置100は、非活性状態にしようとする測定ライン上にある検査点のそれぞれに関する活性状態フラグの値を値「0」に切り換えることによって、その測定ラインを非活性状態にする。
このような構成により、物体検出装置100は、動作状態検出部71が検出する天井クレーン60の動作状態に応じて複数の測定ラインのそれぞれの活性状態・非活性状態を切り換える。
なお、物体検出装置100は、複数の測定ラインのそれぞれに配置される複数の検査点の活性状態・非活性状態を個別に切り換えるようにしてもよい。
また、図17A〜図17Cは、トロリ66が静止し、ガーダ63が−X方向に走行するときに活性状態となる測定ラインの配置例を示し、12本の測定ラインVLd0〜VLd5及びVLe0〜VLe5が活性状態となった状態を示す。なお、物体検出装置100は、測定ラインの行又は列のうち吊り荷に最も近い測定ライン(図17A〜図17Cでは、測定ラインVLd5及びVLe5である。)のみを活性状態としてもよい。また、物体検出装置100は、ガーダ63の走行速度、又は、トロリ66の横行速度に応じて活性状態とする測定ラインの一行又は一列当たりの本数を決定してもよい。
物体検出装置100は、動作状態検出部71により、トロリ66が図17A〜図17Cに示す位置に静止し、ガーダ63が−X方向に走行中であると判断すると、12本の測定ラインのそれぞれに配置された検査点に関する評価値CGRAを決定する。そして、決定した評価値CGRAの分布に基づいて、測定ライン毎に物体の存否を判定する。
このように、物体検出装置100は、天井クレーン60の動作状態に応じて吊り荷85が到達可能な空間領域を通る測定ラインを活性状態にし、それ以外の空間領域を通る測定ラインを非活性状態にする。その結果、物体検出装置100は、物体検出処理に要する演算コストを抑制しながら、吊り荷85が到達可能な空間領域を重点的に監視することができる。
なお、上述の実施例において、物体検出装置100は、個別に活性状態・非活性状態の切り換えが可能な検査点のカメラ座標系における座標点を予め記憶し、それら検査点の活性状態・非活性状態を切り換えることによって、測定ラインを動的に設定する。しかしながら、本発明はこれに限定されない。例えば、物体検出装置100は、検査点を動的に設定しながら、すなわち、検査点に対応するカメラ座標系上の座標点を動的に設定しながら、測定ラインを動的に設定してもよい。
以上の構成により、物体検出装置100は、天井クレーン60の動作状態に応じて動的に測定ライン及び検査点の配置を切り換える。その結果、動作状態によっては物体の存否を判定する必要のない範囲を測定範囲から適切に除外することができ、物体検出処理に要する演算コストを更に低減させることができる。
また、物体検出装置100は、動作状態によっては物体の存否を判定する必要のない範囲を測定範囲から除外することで低減させた演算コストを、物体の存否を判定する必要のある範囲をより詳細に監視するために利用してもよい。その結果、演算コストを増大させることなく検出範囲の分解能を高めることができる。
次に、図18A〜図18Dを参照しながら、天井クレーン60における物体検出装置100の別の利用方法について説明する。
図18A、図18B、図18Dは、図15A〜図15Cに対応する図であり、図18Aが2つの天井クレーン60、60Aの上面図を示し、図18Bが図18AのXVIIIB−XVIIIB方向から見た天井クレーン60の正面図を示し、図18Dが図18AのXVIIID−XVIIID方向から見た2つの天井クレーン60、60Aの側面図を示す。なお、図18Cは、図18AのXVIIIC−XVIIIC方向から見た天井クレーン60Aの背面図を示す。
また、図18A〜図18Dは、天井クレーン60に搭載される物体検出装置100が採用する測定ラインの配置の一例を示す。図18A〜図18Dでは、撮像部2を構成するカメラ2a、2bを結ぶ線分の中点から−X方向に水平に伸びる1本の測定ラインVLxが配置され、測定ラインVLxには、13個の検査点IPx1〜IPx13が等間隔に配置される。なお、検査点IPx1〜IPx13は、不等間隔に配置されてもよい。
物体検出装置100は、測定ラインVLx上に配置された検査点IPx1〜IPx13のそれぞれに関する評価値CGRAの分布に基づいて物体の存否を判定する。
測定ラインVLxのこの配置により、物体検出装置100は、天井クレーン60に対し−X方向に存在する別の天井クレーン60Aを検出し、天井クレーン60と天井クレーン60Aとの間の距離を検出することができる。
また、天井クレーン60Aは、図18Cで示すように、ガーダ63Aの+X方向側の側面と測定ラインVLxとが交差する部分に、マーク90を有する。マーク90は、天井クレーン60に搭載される物体検出装置100による天井クレーン60Aの検出を支援するためのものである。すなわち、物体検出装置100が抽出する部分画像間の類似度が検査点毎に有意に異なるようにするためのものである。ガーダ63Aの側面は通常、特徴のない均一な表面であるため、マーク90が無ければ部分画像間の類似度が検査点毎にほとんど変化しない状況が生じ得るためである。そのため、マーク90には、好適には、左右非対称の図形が採用される。但し、マーク90の存在は必須要件ではなく、物体検出装置100は、マーク90が無くても、天井クレーン60Aの接近を検出することができる。
図19は、ガーダ63Aの側面に描かれるマーク90の別の例を示す図である。図18Cの白地に三角形状の図形とは異なり、図19の左側の図は、白地にL字形状の図形を示し、図19の右側の図は、白地に長方形を斜めにした図形を示す。何れのマークも左右非対称である。
図20は、図18Cのマーク90を含む部分画像を示す図である。具体的には、図20は、天井クレーン60が−X方向に移動し、天井クレーン60Aのガーダ63Aの+X側の側面が検査点IPx3の位置に相当する位置まで接近したときの、カメラ画像2aR、2bRのそれぞれにおける部分画像を示す。
より詳細には、部分画像A1〜部分画像A4は、カメラ2aが撮像するカメラ画像2aRにおける部分画像を示し、部分画像B1〜部分画像B4は、カメラ2bが撮像するカメラ画像2bRにおける部分画像を示す。また、部分画像A1及び部分画像B1は、検査点IPx1に対応する画素を中心画素とする部分画像であり、部分画像A2及び部分画像B2は、検査点IPx2に対応する画素を中心画素とする部分画像である。同様に、部分画像A3及び部分画像B3は、検査点IPx3に対応する画素を中心画素とする部分画像であり、部分画像A4及び部分画像B4は、検査点IPx4に対応する画素を中心画素とする部分画像である。なお、図20では、説明の便宜のため、対応する検査点が黒丸で示されているが、実際の部分画像には含まれない。また、説明の便宜のため、検査点IPx5〜IPx13に対応する画素を中心画素とする部分画像については図示を省略している。
図20に示すように、天井クレーン60Aのガーダ63Aの+X側の側面が検査点IPx3の位置に相当する位置にあるため、部分画像A3と部分画像B3との間の類似度が最も高くなる。物体が存在する地点に対応する検査点に関する、カメラ2aによる部分画像とカメラ2bによる部分画像とは、その物体を共通の被写体として含むのに対し、物体が存在しない地点に対応する検査点に関する、カメラ2aによる部分画像とカメラ2bによる部分画像とは、別々の物体(互いに異なる地点に存在するより遠方の物体)を被写体として含み得るためである。その結果、検査点IPx1〜IPx13のそれぞれに関する評価値のうち、検査点IPx3に関する評価値が最小値となり、物体検出装置100は、検査点IPx3の位置に相当する位置に天井クレーン60Aが存在することを検出できる。
このようにして、天井クレーン60と天井クレーン60Aとの間の距離が所定距離未満となったことを検出した場合、物体検出装置100は、表示部3に警告メッセージ又は警告画像を表示し、音声出力部4から警報又は警告メッセージを出力する。衝突の危険性を操作者に伝えるためである。この場合、物体検出装置100は、天井クレーン60と天井クレーン60Aとの間の距離を表示し、その距離を音声出力してもよい。また、物体検出装置100は、その距離が所定値を下回った場合に、警告メッセージを点滅表示し、断続音を出力してもよい。さらに、物体検出装置100は、その距離が小さくなるにつれて、点滅の間隔を短くしたり、断続音の間隔を短くしたり、断続音の音量を大きくしたりしてもよい。さらに、物体検出装置100は、その距離が所定値を下回った場合に、天井クレーン60の移動を強制的に停止させてもよい。
以上の構成により、天井クレーン60に搭載される物体検出装置100は、天井クレーン60と別の天井クレーン60A、壁等の他の物体との距離を検出することによって、天井クレーン60と別の天井クレーン60A、壁等の他の物体との衝突を防止することができる。
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
例えば、上述の実施例において、物体検出装置100は、評価値CGRAとしてヒストグラム同士の各要素の強度差に基づく評価値を採用するが、輝度差の二乗和SSD(Sum of Squared Difference)、輝度差の総和SAD(Sum of Absolute Difference)、正規化相互相関ZNCC(Zero-mean Normalized Cross-Correlation)等を評価値として採用してもよい。また、物体検出装置100は、評価値を決定するために、SIFT(Scale-Invariant Feature Transform)、HOG(Histograms of Oriented Gradients)等のアルゴリズムを用いてもよい(藤吉弘亘、"Gradientベースの特徴抽出−SIFTとHOG−"、情報処理学会、研究報告CVIM 160, pp.211-214, 2007参照。)。
また、本願は、2011年9月29日に出願した日本国特許出願2011−215322号、日本国特許出願2011−215323号、及び日本国特許出願2011−215324号に基づく優先権を主張するものでありそれらの日本国特許出願の全内容を本願に参照により援用する。
1・・・制御部 2・・・撮像部 2a、2b・・・カメラ 3・・・表示部 4・・・音声出力部 10・・・部分画像抽出部 11・・・評価値決定部 12・・・物体存否判定部 60、60A・・・天井クレーン 61・・・ランウェイ 62・・・車輪 63・・・・ガーダ 64・・・ランウェイ 65・・・車輪 66・・・トロリ 67・・・巻上装置 68・・・ワイヤロープ 69・・・フック 70・・・操作室 71・・・動作状態検出部 80〜83・・・荷物 85・・・吊り荷 90・・・マーク 100・・・物体検出装置 D1・・・検出結果表示画面 IP1〜IP16・・・検査点 V60・・・天井クレーン画像 V63・・・ガーダ画像 V66・・・トロリ画像 V80〜V83・・・荷物画像 VL・・・測定ライン

Claims (12)

  1. 少なくとも2つのカメラのそれぞれが撮像するカメラ画像間の視差に基づいて物体を検出する物体検出装置であって、
    被撮像空間を通る仮想直線上の複数の検査点のうちの1つに対応する画素を含む所定サイズの部分画像を各カメラ画像から抽出する部分画像抽出部と、
    同一の検査点に対応する前記各カメラ画像の部分画像同士の類似度に基づいて前記複数の検査点のうちの1つに関する評価値を決定する評価値決定部と、
    前記評価値決定部が決定する評価値を用いて物体の存否を判定する物体存否判定部と、を備える、
    物体検出装置。
  2. 請求項1に記載の物体検出装置を搭載する天井クレーン。
  3. 前記仮想直線は、当該天井クレーンの作業空間において、床面から垂直に伸びる、
    請求項2に記載の天井クレーン。
  4. 当該天井クレーンは、移動式のガーダを含み、
    前記少なくとも2つのカメラのそれぞれは、前記ガーダの側面に取り付けられ、前記ガーダの走行方向における作業空間を被撮像空間とする、
    請求項2に記載の天井クレーン。
  5. 前記物体検出装置は、当該天井クレーンの周囲にある荷物を検出し、当該天井クレーンの吊り荷の位置より高い高さを有する荷物と、該吊り荷の位置より低い高さを有する荷物とを区別可能に表示する、
    請求項2に記載の天井クレーン。
  6. 当該天井クレーンの動作状態を検出する動作状態検出部を備え、
    前記仮想直線は、当該天井クレーンの動作状態に応じて配置される、
    請求項2に記載の天井クレーン。
  7. 当該天井クレーンの動作状態を検出する動作状態検出部を備え、
    前記仮想直線は、当該天井クレーンの動作状態に応じて配置される、
    請求項3に記載の天井クレーン。
  8. 前記物体検出装置は、前記仮想直線上の複数の検査点の活性状態・非活性状態を切り換えることによって、当該天井クレーンの動作状態に応じて前記仮想直線の配置を動的に切り換える、
    請求項2に記載の天井クレーン。
  9. 水平に前後進可能なガーダを備え、
    前記仮想直線は、前記ガーダの前後進方向に水平に伸びる、
    請求項2に記載の天井クレーン。
  10. 前記物体検出装置は、壁又は別の天井クレーンの存否を判定する、
    ことを特徴とする請求項2に記載の天井クレーン。
  11. 前記壁又は別の天井クレーンは、前記仮想直線と交差する部分に、マークを有する、
    ことを特徴とする請求項10に記載の天井クレーン。
  12. 前記マークは、左右非対称である、
    ことを特徴とする請求項11に記載の天井クレーン。
JP2013536043A 2011-09-29 2012-08-07 物体検出装置を搭載する天井クレーン Active JP5689534B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013536043A JP5689534B2 (ja) 2011-09-29 2012-08-07 物体検出装置を搭載する天井クレーン

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2011215323 2011-09-29
JP2011215324 2011-09-29
JP2011215323 2011-09-29
JP2011215322 2011-09-29
JP2011215324 2011-09-29
JP2011215322 2011-09-29
PCT/JP2012/070117 WO2013046941A1 (ja) 2011-09-29 2012-08-07 物体検出装置を搭載する天井クレーン
JP2013536043A JP5689534B2 (ja) 2011-09-29 2012-08-07 物体検出装置を搭載する天井クレーン

Publications (2)

Publication Number Publication Date
JP5689534B2 true JP5689534B2 (ja) 2015-03-25
JPWO2013046941A1 JPWO2013046941A1 (ja) 2015-03-26

Family

ID=47994993

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013536043A Active JP5689534B2 (ja) 2011-09-29 2012-08-07 物体検出装置を搭載する天井クレーン

Country Status (3)

Country Link
JP (1) JP5689534B2 (ja)
TW (1) TW201319517A (ja)
WO (1) WO2013046941A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3033293B1 (en) * 2013-08-12 2017-10-11 ABB Schweiz AG Method and system for automatically landing containers on a landing target using a container crane
TWI554463B (zh) * 2014-05-28 2016-10-21 行政院原子能委員會核能研究所 三維天車系統之適應模糊滑動影像追蹤控制裝置
EP3000762B1 (de) * 2014-09-24 2017-03-08 Siemens Aktiengesellschaft Verfahren zur automatischen, optischen Bestimmung einer Zielposition für ein Containergeschirr
JP7316025B2 (ja) * 2018-02-21 2023-07-27 中国電力株式会社 クレーン設備
CN113165853B (zh) * 2018-11-14 2024-03-01 Abb瑞士股份有限公司 将集装箱装载在着落目标上的系统和方法
JP2021022217A (ja) * 2019-07-29 2021-02-18 株式会社五合 警備システム及び警備方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11345336A (ja) * 1998-06-03 1999-12-14 Nissan Motor Co Ltd 障害物検出装置
JP2001189925A (ja) * 1999-12-28 2001-07-10 Glowing Shinko:Kk 移動物体監視システム
JP2005309658A (ja) * 2004-04-20 2005-11-04 Nippon Telegr & Teleph Corp <Ntt> 画像判別方法、画像判別装置、画像判別プログラム、及びその記録媒体
JP4835201B2 (ja) * 2006-02-27 2011-12-14 トヨタ自動車株式会社 立体形状検出装置

Also Published As

Publication number Publication date
JPWO2013046941A1 (ja) 2015-03-26
TW201319517A (zh) 2013-05-16
WO2013046941A1 (ja) 2013-04-04

Similar Documents

Publication Publication Date Title
JP5689534B2 (ja) 物体検出装置を搭載する天井クレーン
EP3235773B1 (en) Surrounding information-obtaining device for working vehicle
US11084692B2 (en) Guide information display device, crane equipped with same, and guide information display method
US9235990B2 (en) Vehicle periphery monitoring device
US20200167940A1 (en) Data point group clustering method, guide information display device, and crane
EP3657783B1 (en) Guide information display device and crane
EP3595298A1 (en) Human detection system for work vehicle, and work vehicle equipped with same
US11530119B2 (en) Guide information display device, crane equipped with same, and guide information display method
JP2013182551A (ja) 自車位置検出装置、自車位置検出システム及び自車位置検出方法
JP2007241898A (ja) 停止車両分別検出装置および車両の周辺監視装置
JP2014151979A (ja) 作業車用の地図作成装置
US20180039834A1 (en) Method and device for detecting an overhead cable from an aerial vessel
JP6080450B2 (ja) 監視カメラ装置
JP5631834B2 (ja) 物体検出装置を搭載する移動体
CN104657997B (zh) 一种镜头移位检测方法及装置
JP2012203794A (ja) 移動体検知システム
US20170358089A1 (en) Object identifying apparatus
JP2014169184A (ja) 作業車の周囲情報取得装置
JP6860445B2 (ja) 物体距離検出装置
JP5631833B2 (ja) 物体検出装置を搭載する移動体
JP3228603B2 (ja) 画像監視装置とその使用方法
KR101877879B1 (ko) 선박 도크의 반목 위치 인식 표시시스템 및 그 방법
JP2017121856A (ja) 画像処理装置
JP2015204017A (ja) 車線認識装置
JP2019080125A (ja) 画像監視装置および画像監視システム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150128

R150 Certificate of patent or registration of utility model

Ref document number: 5689534

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150