JP7298426B2 - 物体検出装置 - Google Patents

物体検出装置 Download PDF

Info

Publication number
JP7298426B2
JP7298426B2 JP2019183767A JP2019183767A JP7298426B2 JP 7298426 B2 JP7298426 B2 JP 7298426B2 JP 2019183767 A JP2019183767 A JP 2019183767A JP 2019183767 A JP2019183767 A JP 2019183767A JP 7298426 B2 JP7298426 B2 JP 7298426B2
Authority
JP
Japan
Prior art keywords
detection device
image
forklift
person
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019183767A
Other languages
English (en)
Other versions
JP2021060720A (ja
Inventor
将崇 石▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Industries Corp
Original Assignee
Toyota Industries Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Industries Corp filed Critical Toyota Industries Corp
Priority to JP2019183767A priority Critical patent/JP7298426B2/ja
Priority to US17/034,613 priority patent/US11420855B2/en
Priority to EP20198950.6A priority patent/EP3800576A1/en
Priority to CN202011065160.6A priority patent/CN112611360B/zh
Publication of JP2021060720A publication Critical patent/JP2021060720A/ja
Application granted granted Critical
Publication of JP7298426B2 publication Critical patent/JP7298426B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/0755—Position control; Position detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/10—Road Vehicles
    • B60Y2200/15—Fork lift trucks, Industrial trucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Transportation (AREA)
  • Structural Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Civil Engineering (AREA)
  • Geology (AREA)
  • Mechanical Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Electromagnetism (AREA)
  • Forklifts And Lifting Vehicles (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Component Parts Of Construction Machinery (AREA)

Description

本発明は、物体検出装置に関する。
車両には、人や障害物などの物体を検出するための物体検出装置が搭載されている。特許文献１に記載の物体検出装置は、撮像装置の画像を複数の領域に分割し、各領域を対象として識別処理対象画像を抽出している。物体検出装置は、識別処理対象画像に対して人検出処理を行う。識別処理対象画像の抽出は、輝度勾配や、ハフ変換などに基づき行われる。
特開２０１７－１５１８１５号公報
特許文献１では、人検出処理を行う領域が大きく物体検出装置の処理負荷が大きい。
本発明の目的は、処理負荷を軽減することができる物体検出装置を提供することにある。
上記課題を解決する物体検出装置は、車両に搭載される物体検出装置であって、水平方向のうち前記車両の車幅方向に延びる軸をＸ軸、水平方向のうち前記Ｘ軸に直交する軸をＹ軸とする実空間上の座標系であるワールド座標系において、物体の一部を表す点の集合である点群を前記物体として抽出する物体抽出部と、前記車両と前記Ｙ軸の延びる方向に向かい合う正面領域については前記Ｘ軸に沿う寸法よりも前記Ｙ軸に沿う寸法の方が長い第１ブロックが位置し、前記正面領域と前記Ｘ軸の延びる方向に隣り合う旋回領域については前記Ｘ軸に沿う寸法よりも前記Ｙ軸に沿う寸法の方が短い第２ブロックが前記Ｙ軸の延びる方向に複数並んで位置するように区画された前記ワールド座標系のＸＹ平面において、前記第１ブロック及び前記第２ブロック毎に各ブロックに存在する前記物体のうち前記車両に最も近い前記物体である近傍物体を抽出する近傍物体抽出部と、前記ワールド座標系での前記近傍物体の座標を、カメラによって撮像された画像上の座標に変換する座標変換部と、前記画像上での前記近傍物体の座標に対して前記近傍物体が人か否かを判定する処理である人検出処理を行う人判定部と、を備える。
車両が直進している場合、車両はＹ軸の延びる方向に正面領域を通過する。正面領域に第１ブロックが位置するようにＸＹ平面を区画し、第１ブロックの近傍物体が人か否かを判定することで、物体検出装置は、車両が直進している場合に車両の進行の妨げとなる人が存在するか否かを検出できる。即ち、車両が直進している場合に通過する経路については、車両の前後に人が存在するか否かが検出される。車両が旋回している場合、車両はＸ軸及びＹ軸に交差する方向に旋回領域を通過する。このため、車両が旋回している場合、Ｘ軸の延びる方向及びＹ軸の延びる方向の両方に人が存在するか否かを検出できるようにする必要がある。旋回領域については、Ｙ軸の延びる方向に複数の第２ブロックが位置するようにＸＹ平面を区画し、第２ブロックの近傍物体が人か否かを判定することで、物体検出装置は、車両が旋回している場合に車両の進行の妨げとなり得る人が存在するか否かを検出できる。即ち、車両が旋回している場合に通過し得る経路については、車両の前後左右に人が存在するか否かが検出される。このように、車両が通過する経路に合わせたブロックが位置するようにＸＹ平面を区画することで、車両の進行の妨げとなり得る人を検出することができる。ワールド座標系での近傍物体の座標をカメラによって撮像された画像上での座標に変換し、画像上での座標に対して人検出処理を行うことで、画像の全体に対して人検出処理を行う場合に比べて人検出処理を行う領域が少なく、物体検出装置の処理負荷を軽減することができる。
上記物体検出装置について、前記ワールド座標系において、前記正面領域は、前記Ｘ軸の延びる方向に並んだ複数の前記第１ブロックが位置するように区画されていてもよい。
正面領域を複数の第１ブロックが位置するように区画することで、複数の第１ブロック毎に近傍物体を抽出することができる。正面領域を１つの第１ブロックにした場合に比べて正面領域に人がいるか否かを細かく判定することができる。
上記物体検出装置について、前記物体抽出部は、ステレオカメラによる撮像が行われた画像から各画素に視差が対応付けられた視差画像を取得する視差画像取得部と、前記視差画像から前記ワールド座標系での前記点の座標を導出する座標導出部と、を含み、前記座標変換部は、前記ワールド座標系での前記近傍物体の座標を、前記カメラとして前記ステレオカメラによって撮像された画像上での座標に変換してもよい。
視差画像は、ステレオカメラによって撮像された画像から得られる。従って、視差画像から得られたワールド座標系での座標と、画像上での座標とは相互に変換することができる。従って、ステレオカメラによって撮像された画像を用いて画像上での近傍物体の座標を導出することで、画像上での近傍物体の座標の精度を向上させることができる。
上記物体検出装置について、前記人検出処理を行うことが可能な前記近傍物体の数には上限が設定されており、前記人判定部は、前記第１ブロックの前記近傍物体に前記人検出処理を行った後に、前記車両に近い前記第２ブロックの前記近傍物体から順に前記人検出処理を行ってもよい。
人検出処理を行う近傍物体の数に上限を設定することで、人検出処理に要する時間が過剰に長くなることを抑制できる。
本発明によれば、処理負荷を軽減することができる。
物体検出装置が搭載されるフォークリフトの斜視図。 フォークリフト及び監視装置の概略構成図。 第１画像を示す図。 物体検出装置が行う物体検出処理を示すフローチャート。 中央領域処理を示すフローチャート。 ＸＹ平面での物体の位置を示す図。 複数のブロックに分割されたＸＹ平面を模式的に示す図。 第１画像のうち人検出処理が行われる領域を説明するための図。 物体検出処理の変形例を説明するための図。
以下、物体検出装置の一実施形態について説明する。
図１に示すように、車両としてのフォークリフト１０は、車体１１と、車体１１の前下部に配置された駆動輪１２と、車体１１の後下部に配置された操舵輪１４と、荷役装置１６と、を備える。車体１１は、運転席の上部に設けられたヘッドガード１５を備える。本実施形態のフォークリフト１０は、搭乗者による操作によって走行動作及び荷役動作が行われるものである。
図２に示すように、フォークリフト１０は、メインコントローラ２０と、走行用モータＭ１と、走行用モータＭ１を制御する走行制御装置２３と、車速センサ２４と、を備える。メインコントローラ２０は、走行動作及び荷役動作に関する制御を行う。メインコントローラ２０は、ＣＰＵ２１と、種々の制御を行うためのプログラムなどが記憶された記憶部２２と、を備える。メインコントローラ２０は、各種処理のうち少なくとも一部の処理を実行する専用のハードウェア、即ち、特定用途向け集積回路：ＡＳＩＣを備えてもよい。処理回路であるメインコントローラ２０は、コンピュータプログラムに従って動作する１つ以上のプロセッサ、ＡＳＩＣ等の１つ以上の専用のハードウェア回路、或いは、それらの組み合わせを含み得る。プロセッサは、ＣＰＵ、並びに、ＲＡＭ及びＲＯＭ等のメモリを含む。メモリは、処理をＣＰＵに実行させるように構成されたプログラムコードまたは指令を格納している。メモリすなわちコンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。
メインコントローラ２０のＣＰＵ２１は、フォークリフト１０の車速が目標車速となるように走行制御装置２３に走行用モータＭ１の回転数の指令を与える。本実施形態の走行制御装置２３は、モータドライバである。本実施形態の車速センサ２４は、走行用モータＭ１の回転数を検出する回転数センサである。車速センサ２４は、走行用モータＭ１の回転数を走行制御装置２３に出力する。走行制御装置２３は、メインコントローラ２０からの指令に基づき、走行用モータＭ１の回転数が指令と一致するように走行用モータＭ１を制御する。
フォークリフト１０には、監視装置３０が搭載されている。監視装置３０は、カメラとしてのステレオカメラ３１と、ステレオカメラ３１によって撮像された画像から物体の検出を行う物体検出装置４１と、を備える。ステレオカメラ３１は、フォークリフト１０の上方からフォークリフト１０の走行する路面を鳥瞰できるように配置されている。本実施形態のステレオカメラ３１は、フォークリフト１０の後方を撮像する。従って、物体検出装置４１で検出される物体は、フォークリフト１０の後方の物体となる。図１に示すように、ステレオカメラ３１は、例えば、ヘッドガード１５に配置される。
図２に示すように、ステレオカメラ３１は、第１カメラ３２と、第２カメラ３３と、を備える。第１カメラ３２及び第２カメラ３３としては、例えば、ＣＣＤイメージセンサや、ＣＭＯＳイメージセンサが用いられる。第１カメラ３２及び第２カメラ３３は、互いの光軸が平行となるように配置されている。本実施形態において、第１カメラ３２及び第２カメラ３３は、互いに水平方向に並んで配置されている。第１カメラ３２によって撮像された画像を第１画像、第２カメラ３３によって撮像された画像を第２画像とすると、第１画像と第２画像では同一物体が横方向にずれて写ることになる。詳細にいえば、同一物体を撮像した場合、第１画像に写る物体と、第２画像に写る物体では、横方向の画素［ｐｘ］に第１カメラ３２と第２カメラ３３との間の距離に応じたずれが生じることになる。第１画像及び第２画像は、画素数が同じであり、例えば、６４０×４８０［ｐｘ］＝ＶＧＡの画像が用いられる。第１画像及び第２画像は、ＲＧＢ信号で表される画像である。
物体検出装置４１は、ＣＰＵ４２と、ＲＡＭ及びＲＯＭ等からなる記憶部４３と、を備える。記憶部４３には、ステレオカメラ３１によって撮像された画像から物体を検出するための種々のプログラムが記憶されている。物体検出装置４１は、各種処理のうち少なくとも一部の処理を実行する専用のハードウェア、即ち、特定用途向け集積回路：ＡＳＩＣを備えてもよい。処理回路である物体検出装置４１は、コンピュータプログラムに従って動作する１つ以上のプロセッサ、ＡＳＩＣ等の１つ以上の専用のハードウェア回路、或いは、それらの組み合わせを含み得る。プロセッサは、ＣＰＵ、並びに、ＲＡＭ及びＲＯＭ等のメモリを含む。メモリは、処理をＣＰＵに実行させるように構成されたプログラムコードまたは指令を格納している。メモリすなわちコンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。
以下、物体検出装置４１により行われる物体検出処理について説明する。物体検出処理は、例えば、フォークリフト１０が起動状態のときであり、かつ、フォークリフト１０が後進するときに所定の制御周期で繰り返し行われる。起動状態とは、フォークリフト１０に走行動作及び荷役動作を行わせることが可能な状態である。
以下の説明では、一例として、図３に示す環境をステレオカメラ３１によって撮像した場合の物体検出処理について説明する。図３は、フォークリフト１０の後方を撮像することで得られた第１画像Ｉ１である。第１画像Ｉ１から把握できるように、フォークリフト１０の後方には、人や、人以外の物体が存在している。なお、説明の便宜上、物体が存在する第１画像Ｉ１上の座標を枠ＡＡで示しているが、実際の第１画像Ｉ１には枠ＡＡは存在しない。
図４に示すように、ステップＳ１において、物体検出装置４１は、ステレオカメラ３１によって撮像されている映像から同一フレームの第１画像Ｉ１及び第２画像を取得する。
次に、ステップＳ２において、物体検出装置４１は、ステレオ処理を行うことで、視差画像を取得する。視差画像は、画素に対して視差［ｐｘ］を対応付けた画像である。視差は、第１画像Ｉ１と、第２画像とを比較し、各画像に写る同一特徴点について第１画像Ｉ１と第２画像の画素数の差を算出することで得られる。なお、特徴点とは、物体のエッジなど、境目として認識可能な部分である。特徴点は、輝度情報などから検出することができる。
物体検出装置４１は、各画像を一時的に格納するＲＡＭを用いて、ＲＧＢからＹＣｒＣｂへの変換を行う。なお、物体検出装置４１は、歪み補正、エッジ強調処理などを行ってもよい。物体検出装置４１は、第１画像Ｉ１の各画素と第２画像の各画素との類似度を比較して視差を算出するステレオ処理を行う。なお、ステレオ処理としては、画素毎に視差を算出する手法を用いてもよいし、各画像を複数の画素を含むブロックに分割してブロック毎の視差を算出するブロックマッチング法を用いてもよい。物体検出装置４１は、第１画像Ｉ１を基準画像、第２画像を比較画像として視差画像を取得する。物体検出装置４１は、第１画像Ｉ１の画素毎に、最も類似する第２画像の画素を抽出し、第１画像Ｉ１の画素と、当該画素に最も類似する画素の横方向の画素数の差を視差として算出する。これにより、基準画像である第１画像Ｉ１の各画素に視差が対応付けられた視差画像を取得することができる。視差画像とは、必ずしも表示を要するものではなく、視差画像における各画素に視差が対応付けられたデータのことを示す。なお、物体検出装置４１は、視差画像から路面の視差を除去する処理を行ってもよい。ステップＳ２の処理を行うことで、物体検出装置４１は、視差画像取得部となる。
次に、ステップＳ３において、物体検出装置４１は、ワールド座標系における特徴点の座標を導出する。まず、物体検出装置４１は、カメラ座標系における特徴点の座標を導出する。カメラ座標系は、光軸をＺ軸とし、光軸に直交する２つの軸のそれぞれをＸ軸、Ｙ軸とする３軸直交座標系である。カメラ座標系における特徴点の座標は、カメラ座標系におけるＺ座標Ｚｃ、Ｘ座標Ｘｃ及びＹ座標Ｙｃで表わすことができる。Ｚ座標Ｚｃ、Ｘ座標Ｘｃ及びＹ座標Ｙｃは、それぞれ、以下の（１）式～（３）式を用いて導出することができる。
Figure 0007298426000001
Figure 0007298426000002
Figure 0007298426000003
 （１）式～（３）式におけるＢは基線長［ｍｍ］、ｆは焦点距離［ｍｍ］、ｄは視差［ｐｘ］である。ｘｐは視差画像中の任意のＸ座標であり、ｘ’は視差画像の中心座標のＸ座標である。ｙｐは視差画像中の任意のＹ座標であり、ｙ’は視差画像の中心座標のＹ座標である。
ｘｐを視差画像中の特徴点のＸ座標とし、ｙｐを視差画像中の特徴点のＹ座標とし、ｄを特徴点の座標に対応付けられた視差とすることで、カメラ座標系における特徴点の座標が導出される。
ここで、水平方向のうちフォークリフト１０の車幅方向に延びる軸をＸ軸、水平方向のうちＸ軸に直交する方向に延びる軸をＹ軸、Ｘ軸及びＹ軸に直交する軸をＺ軸とする３軸直交座標系を実空間上での三次元座標系であるワールド座標系とする。ワールド座標系のＹ軸は、フォークリフト１０の進行方向であるフォークリフト１０の前後方向に延びる軸ともいえる。ワールド座標系のＺ軸は、鉛直方向に延びる軸ともいえる。ワールド座標系での特徴点の座標は、ワールド座標系におけるＸ座標Ｘｗ、Ｙ座標Ｙｗ及びＺ座標Ｚｗで表わすことができる。
物体検出装置４１は、以下の（４）式を用いてカメラ座標をワールド座標に変換するワールド座標変換を行う。
Figure 0007298426000004
 ここで、（４）式におけるＨはワールド座標系におけるステレオカメラ３１の設置高さ［ｍｍ］であり、θは第１カメラ３２及び第２カメラ３３の光軸と、水平面とがなす角＋９０°の角度である。
ワールド座標変換で得られたワールド座標のうちＸ座標Ｘｗは、フォークリフト１０の車幅方向に対するフォークリフト１０から特徴点までの距離を示す。Ｙ座標Ｙｗは、フォークリフト１０の進行方向に対するフォークリフト１０から特徴点までの距離を示す。Ｚ座標Ｚｗは、路面から特徴点までの高さを示す。特徴点は、物体の一部を表す点である。ステップＳ３の処理を行うことで、物体検出装置４１は座標導出部となる。
次に、ステップＳ４において、物体検出装置４１は、ワールド座標系に存在する物体を抽出する。物体検出装置４１は、物体の一部を表す複数の特徴点のうち同一物体を表していると想定される特徴点の集合を１つの点群とし、当該点群を物体として抽出する。例えば、物体検出装置４１は、ステップＳ３で導出された特徴点のワールド座標から、所定範囲内に位置する特徴点を１つの点群とみなすクラスタ化を行う。物体検出装置４１は、クラスタ化された点群を１つの物体とみなす。なお、ステップＳ４で行われる特徴点のクラスタ化は種々の手法で行うことができる。ステップＳ１～ステップＳ４の処理を行うことで、物体検出装置４１はワールド座標系に存在する物体を抽出する物体抽出部となる。物体抽出部には、視差画像取得部及び座標導出部が含まれる。
次に、ステップＳ５において、物体検出装置４１は、ステップＳ４で抽出された物体の位置を導出する。なお、物体の位置とは、ワールド座標系のＸＹ平面における物体の座標である。ステップＳ５の処理を行うことで、図６に示すように、ワールド座標系のＸＹ平面での物体Ｏの座標を導出することができる。物体検出装置４１は、クラスタ化された点群を構成する特徴点のワールド座標から物体Ｏのワールド座標を認識できる。例えば、クラスタ化された点群のうち端に位置する複数の特徴点のＸ座標Ｘｗ、Ｙ座標Ｙｗ及びＺ座標Ｚｗを物体ＯのＸ座標Ｘｗ、Ｙ座標Ｙｗ及びＺ座標Ｚｗとしてもよいし、点群の中心となる特徴点のＸ座標Ｘｗ、Ｙ座標Ｙｗ及びＺ座標Ｚｗを物体のＸ座標Ｘｗ、Ｙ座標Ｙｗ及びＺ座標Ｚｗとしてもよい。即ち、ワールド座標系の物体Ｏの座標は、物体Ｏ全体を表すものであってもよいし、物体Ｏの一点を表すものであってもよい。
図６に示すように、物体検出装置４１は、物体ＯのＸ座標Ｘｗ、Ｙ座標Ｙｗ及びＺ座標Ｚｗをワールド座標系のＸＹ平面に投影することで、ワールド座標系におけるＸＹ平面での物体ＯのＸ座標Ｘｗ及びＹ座標Ｙｗを導出する。即ち、物体検出装置４１は、物体ＯのＸ座標Ｘｗ、Ｙ座標Ｙｗ及びＺ座標ＺｗからＺ座標Ｚｗを除去することで、水平方向における物体ＯのＸ座標Ｘｗ及びＹ座標Ｙｗを導出する。なお、本実施形態のワールド座標系は、フォークリフト１０の後端であってフォークリフト１０の車幅方向の中心を原点ＯＰとしている。
次に、図４に示すように、ステップＳ６において、物体検出装置４１は、人検出処理数をリセットすることで、人検出処理数を０にする。人検出処理数とは、１回の制御周期で人検出処理を行うことが可能な回数であり、言い換えれば、人検出処理を行う対象となる物体Ｏの数である。
ステップＳ７以降の処理で、物体検出装置４１は、ワールド座標系の水平面を表すＸＹ平面から人を検出する。物体検出装置４１は、ステップＳ４で抽出した物体Ｏが人か否かの判定を行う人検出処理を行うことで、ＸＹ平面に存在する人を検出する。本実施形態では、ワールド座標系のＸＹ平面のうち人の検出を行う検出範囲が定められており、物体検出装置４１は検出範囲内に存在する人の検出を行う。なお、以下の説明において、ワールド座標系のＸ軸の延びる方向をＸ方向、ワールド座標系のＹ軸の延びる方向をＹ方向として説明を行う。
図７に示すように、本実施形態の検出範囲ＤＡは、フォークリフト１０の後方に拡がる四角状の領域である。なお、前述したように、フォークリフト１０の後端をワールド座標系の原点ＯＰとしているが、説明の便宜上、図７ではフォークリフト１０と原点ＯＰとをＹ方向に離間させて図示している。検出範囲ＤＡのＸ方向の中心位置と、フォークリフト１０のＸ方向の中心位置とは同一となっている。検出範囲ＤＡのＸ方向の寸法、及び検出範囲ＤＡのＹ方向の寸法は、監視装置３０による人検出が可能な範囲内で任意の値を設定することができる。検出範囲ＤＡのＸ方向の寸法は、フォークリフト１０の左右方向＝フォークリフト１０の旋回方向に対して人の検出を行う範囲を規定している。検出範囲ＤＡのＸ方向の寸法を調整することで、フォークリフト１０の左右方向に対してどこまで人を検出するかを調整することができる。検出範囲ＤＡのＹ方向の寸法は、フォークリフト１０の後方＝フォークリフト１０の進行方向に対して人の検出を行う範囲を規定している。検出範囲ＤＡのＹ方向の寸法を調整することで、フォークリフト１０の後方に対してどこまで人を検出するかを調整することができる。
検出範囲ＤＡは、正面領域Ｆと、旋回領域ＣＲ，ＣＬに分けられている。
正面領域Ｆは、フォークリフト１０の進行方向のうちフォークリフト１０の正面となる領域である。フォークリフト１０とＹ方向に向かい合う領域が正面領域Ｆといえる。正面領域Ｆは、フォークリフト１０が後方に直進した場合に、フォークリフト１０の少なくとも一部が通過する領域である。正面領域Ｆは、１つの中央領域Ａと、２つの左右領域ＢＲ，ＢＬと、を含む。中央領域Ａは、フォークリフト１０のＸ方向の中心位置とＹ方向に向かい合う領域である。中央領域Ａは、Ｘ方向の全体に亘ってフォークリフト１０とＹ方向に向かい合う。左右領域ＢＲ，ＢＬは、中央領域Ａを間に挟んで位置する領域である。２つの左右領域ＢＲ，ＢＬは、それぞれ、中央領域ＡとＸ方向に隣り合う領域といえる。左右領域ＢＲ，ＢＬは、Ｘ方向の一部がフォークリフト１０とＹ方向に向かい合う領域である。以下の説明において、適宜、２つの左右領域ＢＲ，ＢＬのうちの一方を第１左右領域ＢＲ、他方を第２左右領域ＢＬと称する。第１左右領域ＢＲは、フォークリフト１０の右方に位置する左右領域であり、第２左右領域ＢＬはフォークリフト１０の左方に位置する左右領域である。
旋回領域ＣＲ，ＣＬは、正面領域Ｆとは異なる領域である。旋回領域ＣＲ，ＣＬは、フォークリフト１０とＹ方向に向かい合わない領域である。旋回領域ＣＲ，ＣＬは、フォークリフト１０の後進中にフォークリフト１０を旋回させた場合にフォークリフト１０が通過する領域である。言い換えれば、旋回領域ＣＲ，ＣＬは、フォークリフト１０が後方に直進している場合にフォークリフト１０が通過しない領域である。２つの旋回領域ＣＲ，ＣＬは、正面領域Ｆを間に挟んで位置する領域である。２つの旋回領域ＣＲ，ＣＬは、それぞれ、正面領域ＦとＸ方向に隣り合う領域である。以下の説明において、適宜、２つの旋回領域ＣＲ，ＣＬのうちの一方を第１旋回領域ＣＲ、他方を第２旋回領域ＣＬと称する。第１旋回領域ＣＲは、フォークリフト１０の右方に位置する旋回領域であり、第２旋回領域ＣＬはフォークリフト１０の左方に位置する旋回領域である。
ワールド座標系におけるＸＹ平面の検出範囲ＤＡは、複数のブロックＦ１～Ｆ３，ＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２が位置するように区画されている。
正面領域Ｆは、正面領域ＦをＸ方向に分割することで３個の第１ブロックＦ１，Ｆ２，Ｆ３に区画されている。第１ブロックＦ１～Ｆ３は、中央領域Ａ及び左右領域ＢＲ，ＢＬ毎に設けられているといえる。全ての第１ブロックＦ１～Ｆ３は、同一の大きさである。第１ブロックＦ１～Ｆ３は、ワールド座標系のＸ軸に沿う寸法よりもワールド座標系のＹ軸に沿う寸法の方が長い四角状の領域である。第１ブロックＦ１～Ｆ３のＸ軸に沿う寸法は、任意の値に設定することができる。本実施形態において第１ブロックＦ１～Ｆ３のＸ軸に沿う寸法は、人を検出することを想定して設定されており、例えば、人の幅よりも若干大きい寸法に設定される。第１ブロックＦ１～Ｆ３のＸ軸に沿う寸法は、例えば、４００［ｍｍ］～１５００［ｍｍ］に設定される。第１ブロックＦ１～Ｆ３のＹ軸に沿う寸法は、任意の値に設定することができる。本実施形態において、第１ブロックＦ１～Ｆ３のＹ軸に沿う寸法は、検出範囲ＤＡのＹ方向の寸法と同一である。
２つの旋回領域ＣＲ，ＣＬは、それぞれの旋回領域ＣＲ，ＣＬをＹ方向に分割することで複数の第２ブロックＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２に分割されている。第１旋回領域ＣＲは、１２個の第２ブロックＣＲ１～ＣＲ１２に分割されている。第２旋回領域ＣＬは、１２個の第２ブロックＣＬ１～ＣＬ１２に分割されている。全ての第２ブロックＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２は同一の大きさである。第２ブロックＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２は、ワールド座標系のＸ軸に沿う寸法よりもワールド座標系のＹ軸に沿う寸法の方が短い四角状の領域である。第２ブロックＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２のＸ軸に沿う寸法は、任意の値に設定することができる。本実施形態において、第２ブロックＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２のＸ軸に沿う寸法は、旋回領域ＣＲ，ＣＬのＸ軸に沿う寸法と同一である。第２ブロックＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２のＹ軸に沿う寸法は任意に設定することができる。本実施形態において、第２ブロックＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２のＹ軸に沿う寸法は、人を検出することを想定して設定されており、例えば、人の幅よりも若干大きい寸法に設定される。第２ブロックＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２のＹ軸に沿う寸法は、例えば、４００［ｍｍ］～１５００［ｍｍ］に設定される。
検出範囲ＤＡは、フォークリフト１０との位置関係に応じて、Ｘ方向、あるいは、Ｙ方向のいずれかに分割されているといえる。正面領域Ｆについては第１ブロックＦ１～Ｆ３が位置し、旋回領域ＣＲ，ＣＬについては第２ブロックＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２が位置するようにＸＹ平面の検出範囲ＤＡは区画されている。上記したように分割されたワールド座標系のＸＹ平面に物体Ｏを投影することで、物体検出装置４１は各物体ＯがいずれのブロックＦ１～Ｆ３,ＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２に存在するかを認識可能である。なお、物体Ｏが複数のブロックＦ１～Ｆ３,ＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２に跨がっている場合、物体検出装置４１は物体Ｏの中心座標から物体ＯがいずれのブロックＦ１～Ｆ３,ＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２に存在するかを判定してもよい。また、物体Ｏが複数のブロックＦ１～Ｆ３,ＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２に跨がっている場合、物体検出装置４１は、物体Ｏが複数のブロックＦ１～Ｆ３,ＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２に存在していると判定してもよい。このように、物体ＯがいずれのブロックＦ１～Ｆ３,ＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２に存在しているかの判定は、任意の手法で行うことができる。
物体検出装置４１は、図４に示すステップＳ７以降の処理で、上記のように区画されたブロックＦ１～Ｆ３,ＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２毎に、人が存在するか否かを判定する。
図４に示すように、ステップＳ７において、物体検出装置４１は、正面領域Ｆのうち中央領域Ａに人が存在するか否かの判定を行う中央領域処理に移行する。物体検出装置４１は、中央領域処理に移行すると、図５に示すステップＳ３１～Ｓ３４の処理を行う。
図５に示すように、ステップＳ３１において、物体検出装置４１は、中央領域Ａの第１ブロックＦ１に物体Ｏが存在するか否かを判定する。ステップＳ３１の判定結果が肯定の場合、物体検出装置４１はステップＳ３２の処理を行う。一方で、ステップＳ３１の判定結果が否定の場合、物体検出装置４１は中央領域処理を終了する。
ステップＳ３２において、物体検出装置４１は、人検出処理数に１を加算するインクリメント処理を行う。
次に、ステップＳ３３において、物体検出装置４１は、第１ブロックＦ１に存在する物体Ｏのうちフォークリフト１０に最も近い物体Ｏを近傍物体Ｏ１として抽出する。フォークリフト１０に最も近い物体Ｏとは、第１ブロックＦ１に単数の物体Ｏが存在する場合には、当該物体Ｏであり、第１ブロックＦ１に複数の物体Ｏが存在する場合には、複数の物体ＯのうちＹ座標Ｙｗが最も原点ＯＰに近い物体Ｏである。なお、複数の物体Ｏのうちフォークリフト１０に最も近い物体Ｏは、原点ＯＰからのユークリッド距離が最も短い物体Ｏとしてもよい。近傍物体Ｏ１とは、近傍物体Ｏ１とは異なる物体Ｏよりも優先して人検出処理が行われる物体である。
次に、ステップＳ３４において、物体検出装置４１は、近傍物体Ｏ１が人か否かの判定を行う人検出処理を行う。近傍物体Ｏ１が人か否かの判定は、以下の処理によって行うことができる。まず、物体検出装置４１は、近傍物体Ｏ１のワールド座標をカメラ座標に変換する。ワールド座標からカメラ座標への変換は、以下の（５）式を用いて行うことができる。
Figure 0007298426000005
 （５）式のＸ座標Ｘｗ、Ｙ座標Ｙｗ及びＺ座標Ｚｗを近傍物体Ｏ１のワールド座標とすることで、近傍物体Ｏ１のカメラ座標を導出することができる。なお、本実施形態では、近傍物体Ｏ１のワールド座標をＸＹ平面での座標としているため、Ｚ座標Ｚｗは０となる。
次に、物体検出装置４１は、以下の（６）式及び（７）式を用いて、カメラ座標から第１画像Ｉ１上の近傍物体Ｏ１の座標を導出する。
Figure 0007298426000006
Figure 0007298426000007
 （６）式及び（７）式のＸ座標Ｘｃ、Ｙ座標Ｙｃ及びＺ座標Ｚｃを近傍物体Ｏ１のカメラ座標とすることで、近傍物体Ｏ１の第１画像Ｉ１上の座標を導出することができる。
物体検出装置４１は、第１画像Ｉ１上での近傍物体Ｏ１の座標に対して人検出処理を行うことで、近傍物体Ｏ１が人か否かを判定する。なお、第１画像Ｉ１上での近傍物体Ｏ１の座標とは、（６）式及び（７）式で導出された座標に加えて、当該座標の周辺の座標を含んでいてもよい。人検出処理は、第１画像Ｉ１から特徴量を抽出する特徴量抽出法により行われ、例えば、HOG：Histograms of Oriented Gradientsや、SIFT：Scale Invariant Feature Transformを用いて行われる。これにより、物体検出装置４１は、近傍物体Ｏ１が人か人以外の物体Ｏかを判定することができる。なお、フォークリフト１０と近傍物体Ｏ１との位置関係は、ステップＳ５で導出しているため、物体検出装置４１は、フォークリフト１０と近傍物体Ｏ１との位置関係を把握することができる。上記したように、ステップＳ３１～ステップＳ３４の処理を行うことで、物体検出装置４１は、中央領域Ａに人が存在するか否かを判定することができる。
図４に示すように、ステップＳ８において、物体検出装置４１は、第１左右領域ＢＲに人が存在するか否かの判定を行う第１左右領域処理に移行する。ステップＳ８における第１左右領域処理は、中央領域処理と同様の処理によって行うことができる。詳細にいえば、中央領域処理において中央領域Ａの第１ブロックＦ１に対して行った処理を、第１左右領域ＢＲの第１ブロックＦ３に対して行えばよい。これにより、物体検出装置４１は、第１左右領域ＢＲに人が存在するか否かを判定することができる。
次に、ステップＳ９において、物体検出装置４１は、第２左右領域ＢＬに人が存在するか否かの判定を行う第２左右領域処理に移行する。ステップＳ９における第２左右領域処理は、中央領域処理と同様の処理によって行うことができる。詳細にいえば、中央領域処理において中央領域Ａの第１ブロックＦ１に対して行った処理を、第２左右領域ＢＬの第１ブロックＦ２に対して行えばよい。これにより、物体検出装置４１は、第２左右領域ＢＬに人が存在するか否かを判定することができる。
次に、ステップＳ１０において、物体検出装置４１は、検出距離をリセットすることで、検出距離を１にする。検出距離とは、複数の第２ブロックＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２のうちいずれの第２ブロックＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２を処理の対象とするかを規定するものである。複数の第２ブロックＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２のうちフォークリフト１０に最も近い第２ブロックＣＲ１，ＣＬ１を１番目、フォークリフト１０に２番目に近い第２ブロックＣＲ２，ＣＬ２を２番目…のように、フォークリフト１０に近い第２ブロックから順に番号を付す。この場合に、検出距離の値に対応する第２ブロックＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２がステップＳ１２以降の処理の対象となる。例えば、検出距離が１であれば、フォークリフト１０に最も近い第２ブロックＣＲ１，ＣＬ１が処理の対象となる。検出距離が１２であれば、フォークリフト１０から最も遠い第２ブロックＣＲ１２，ＣＬ１２が処理の対象となる。
次に、ステップＳ１１において、物体検出装置４１は、検出距離が最大値以下か否かを判定する。物体検出装置４１は、ステップＳ１２～ステップＳ２２の処理で、フォークリフト１０に最も近い第２ブロックＣＲ１，ＣＬ１から順番に人が存在するか否かの判定を行っていく。本実施形態では、第２ブロックＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２の数は、旋回領域ＣＲ，ＣＬ毎に１２個ずつなので、検出距離の最大値は１２となる。ステップＳ１１では、全ての第２ブロックＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２について人が存在するか否かの判定が行われたかを判定しているといえる。ステップＳ１１の判定結果が肯定の場合、物体検出装置４１は、ステップＳ１２の処理を行う。一方で、ステップＳ１１の判定結果が否定の場合、物体検出装置４１は物体検出処理を終了する。
ステップＳ１２において、物体検出装置４１は、第１旋回領域ＣＲの第２ブロックＣＲ１～ＣＲ１２に物体Ｏが存在するか否かを判定する。ステップＳ１２において物体Ｏが存在するか否かが判定される第２ブロックＣＲ１～ＣＲ１２は、検出距離に対応する順番の第２ブロックＣＲ１～ＣＲ１２である。前述したように、検出距離が１であればフォークリフト１０に最も近い第２ブロックＣＲ１、検出距離が２であればフォークリフト１０から２番目に近い第２ブロックＣＲ２に物体Ｏが存在するか否かが判定される。ステップＳ１２の判定結果が肯定の場合、物体検出装置４１は、ステップＳ１３の処理を行う。一方で、ステップＳ１２の判定結果が否定の場合、物体検出装置４１は、ステップＳ１７の処理を行う。
ステップＳ１３において、物体検出装置４１は、ステップＳ１２で第２ブロックＣＲ１～ＣＲ１２に存在すると判定された物体Ｏのうちフォークリフト１０に最も近い物体Ｏを近傍物体Ｏ１として抽出する。フォークリフト１０に最も近い物体Ｏとは、第２ブロックＣＲ１～ＣＲ１２に単数の物体Ｏが存在する場合には、当該物体Ｏであり、第２ブロックＣＲ１～ＣＲ１２に複数の物体Ｏが存在する場合には、複数の物体ＯのうちＸ座標Ｘｗが最も原点ＯＰに近い物体Ｏである。なお、複数の物体Ｏのうちフォークリフト１０に最も近い物体Ｏは、原点ＯＰからのユークリッド距離が最も短い物体Ｏとしてもよい。
次に、ステップＳ１４において、物体検出装置４１は、ステップＳ１３で抽出された近傍物体Ｏ１が人か否かの判定を行う人検出処理を行う。ステップＳ１４で行われる処理は、ステップＳ３４で行われる処理と同様の処理である。即ち、物体検出装置４１は、ステップＳ１３で抽出された近傍物体Ｏ１のワールド座標を第１画像Ｉ１上での近傍物体Ｏ１の座標に変換し、当該座標に対して人検出処理を行う。
次に、ステップＳ１５において、物体検出装置４１は、人検出処理数に１を加算するインクリメント処理を行う。
次に、ステップＳ１６において、物体検出装置４１は、人検出処理数が予め定められた最大値未満か否かを判定する。予め定められた最大値は、制御周期内で人検出処理を行うことが可能な数に設定されている。検出範囲ＤＡ内の全ての近傍物体Ｏ１に対して人検出処理を行うと、制御周期が過剰に長くなるおそれがあるため、人検出処理を行う対象となる近傍物体Ｏ１の数を制限することで、制御周期が過剰になることを抑制している。ステップＳ１６の判定結果が肯定の場合、物体検出装置４１は、ステップＳ１７の処理を行う。一方で、ステップＳ１６の判定結果が否定の場合、物体検出装置４１は、物体検出処理を終了する。ステップＳ１２～ステップＳ１６の処理を行うことで、物体検出装置４１は、第１旋回領域ＣＲの各第２ブロックＣＲ１～ＣＲ１２に人が存在するか否かを判定することができる。
ステップＳ１７～ステップＳ２１の処理は、ステップＳ１２～ステップＳ１６で行った処理と同様の処理を第２旋回領域ＣＬに対して行う処理である。ステップＳ１７では、第２旋回領域ＣＬの第２ブロックＣＬ１～ＣＬ１２に対して、ステップＳ１２と同様の処理を行うことで、物体検出装置４１は、第２旋回領域ＣＬの第２ブロックＣＬ１～ＣＬ１２に物体Ｏが存在するか否かを判定する。ステップＳ１７の判定結果が肯定の場合、物体検出装置４１はステップＳ１８の処理を行う。一方で、ステップＳ１７の判定結果が否定の場合、物体検出装置４１はステップＳ２２の処理を行う。
ステップＳ１８では、第２旋回領域ＣＬの第２ブロックＣＬ１～ＣＬ１２に対してステップＳ１３と同様の処理を行うことで、物体検出装置４１は、第２旋回領域ＣＬの第２ブロックＣＬ１～ＣＬ１２に存在する物体Ｏのうちフォークリフト１０に最も近い物体Ｏを近傍物体Ｏ１として抽出する。ステップＳ１３，Ｓ１８，Ｓ３３の処理を行うことで、物体検出装置４１は近傍物体抽出部となる。
ステップＳ１９は、ステップＳ１４と同様の処理であり、物体検出装置４１は、ステップＳ１８で抽出された近傍物体Ｏ１に対して人検出処理を行う。ステップＳ１４，Ｓ１９，Ｓ３４の処理を行うことで、物体検出装置４１は、座標変換部及び人判定部となる。ステップＳ２０はステップＳ１５と同一の処理である。ステップＳ２１はステップＳ１６と同一の処理である。ステップＳ２１の判定結果が肯定の場合、物体検出装置４１は、ステップＳ２２の処理を行う。一方で、ステップＳ２１の判定結果が否定の場合、物体検出装置４１は物体検出処理を終了する。
ステップＳ２２において、物体検出装置４１は、検出距離に１を加算するインクリメント処理を行う。次に、物体検出装置４１は、ステップＳ１１の処理を行う。従って、ステップＳ１１の判定結果が否定になるまで、ステップＳ１２～ステップＳ２２の処理が繰り返し行われることになる。
物体検出処理を行うことで、各ブロックＦ１～Ｆ３,ＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２のそれぞれに存在する物体Ｏのうち最もフォークリフト１０に近い近傍物体Ｏ１に対して人検出処理が行われる。即ち、物体検出装置４１は、第１ブロックＦ１～Ｆ３及び第２ブロックＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２毎に、各ブロックＦ１～Ｆ３,ＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２に存在する近傍物体Ｏ１を抽出し、当該近傍物体Ｏ１が人か否かを判定している。図８には、第１画像Ｉ１のうち近傍物体Ｏ１が存在する座標を一点鎖線の枠Ａ１で示している。
図８に示すように、物体検出装置４１は、枠Ａ１内の領域に対して人検出処理を行うことになる。これにより、第１画像Ｉ１において近傍物体Ｏ１が存在する座標に対して人検出処理が行われることになる。本実施形態では、近傍物体Ｏ１のみに対して人検出処理が行われ、近傍物体Ｏ１とは異なる物体Ｏに対しては人検出処理が行われない。物体検出装置４１は、近傍物体Ｏ１とは異なる物体Ｏよりも近傍物体Ｏ１を優先して、第１画像上での座標に対して人検出処理を行うといえる。「優先」とは、上記したように、近傍物体Ｏ１が存在する第１画像Ｉ１上の座標のみに対して人検出処理を行う態様を含む。
上記したように、物体検出装置４１は、予め定められたプログラムが実行されることで機能する機能要素として、物体抽出部、近傍物体抽出部、座標変換部、及び人判定部を備えているといえる。
本実施形態の作用について説明する。
フォークリフト１０が直進している場合、フォークリフト１０はＹ方向に正面領域Ｆを通過する。フォークリフト１０が直進する場合、フォークリフト１０の通過する経路は、物体検出処理を行った時点でのＹ方向に延びる経路になるといえる。正面領域Ｆに第１ブロックＦ１～Ｆ３が位置するようにＸＹ平面を区画し、第１ブロックＦ１～Ｆ３の近傍物体Ｏ１が人か否かを判定することで、物体検出装置４１は、フォークリフト１０が直進している場合にフォークリフト１０の進行の妨げとなり得る人が存在するか否かを検出できる。即ち、フォークリフト１０が直進している場合に通過する経路については、フォークリフト１０の後方に人が存在するか否かが検出される。
フォークリフト１０が旋回している場合、フォークリフト１０はＸ方向及びＹ方向に交差する方向に旋回領域ＣＲ，ＣＬを通過する。フォークリフト１０が旋回する場合、フォークリフト１０の通過する経路は、物体検出処理を行った時点でのＹ方向から、Ｘ方向にずれていくことになる。これにより、フォークリフト１０が旋回する場合、フォークリフト１０の通過する経路は、物体検出処理を行った時点でのＸ方向及びＹ方向に交差する方向に延びる経路になるといえる。
仮に、ＸＹ平面の検出範囲ＤＡの全体を第１ブロックに分割した場合、各旋回領域ＣＲ，ＣＬの第１ブロック毎に、Ｙ方向に対してフォークリフト１０に最も近い物体が近傍物体として抽出される。しかしながら、上記したようにフォークリフト１０が旋回している場合、フォークリフト１０の通過する経路は、Ｙ方向に対してＸ方向にずれた経路となるため、Ｙ方向に対してフォークリフト１０に最も近い物体を近傍物体とすると、フォークリフト１０の進行の妨げにならない物体が近傍物体として抽出され得る。すると、フォークリフト１０の進行の妨げにならない物体に対して人検出処理が行われる一方で、フォークリフト１０の進行の妨げになる物体に対して人検出処理が行われない場合が生じる。このため、フォークリフト１０が旋回している場合、フォークリフト１０に対してＸ方向及びＹ方向の両方に人が存在するか否かを検出できるようにする必要がある。
本実施形態では、旋回領域ＣＲ，ＣＬについては、Ｙ方向に複数の第２ブロックＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２が位置するようにワールド座標系のＸＹ平面を区画している。第２ブロックＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２の近傍物体Ｏ１が人か否かを判定することで、物体検出装置４１は、フォークリフト１０が旋回している場合にフォークリフト１０の進行の妨げとなり得る人が存在するか否かを検出できる。詳細にいえば、Ｘ方向に並んで複数の人が存在していた場合には、第２ブロックＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２のうち最もフォークリフト１０に近い物体Ｏである近傍物体Ｏ１に対して人検出処理が行われることで、Ｘ方向への進行の妨げとなり得る人を検出することができる。Ｙ方向に並んで複数の人が存在していた場合には、Ｙ方向に複数の第２ブロックＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２を配置することで、第２ブロックＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２毎に人検出処理が行われるため、Ｙ方向への進行の妨げとなり得る人を検出することができる。即ち、フォークリフト１０が旋回している場合に通過し得る経路については、フォークリフト１０の後方に加えて左右方向に人が存在するか否かが検出される。このように、フォークリフト１０が通過する経路に合わせたブロックＦ１～Ｆ３,ＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２が位置するようにＸＹ平面を区画することで、フォークリフト１０の進行と妨げとなり得る人を検出することができる。
物体検出装置４１は、ブロックＦ１～Ｆ３,ＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２毎に別々に近傍物体Ｏ１を抽出し、近傍物体Ｏ１が人か否かの判定を行っている。フォークリフト１０に最も近い近傍物体Ｏ１は、フォークリフト１０の走行に際して、直近で進行の妨げとなるおそれがある物体Ｏである。これに対し、近傍物体Ｏ１とは異なる物体Ｏは、近傍物体Ｏ１よりもフォークリフト１０から離れていることに加えて、フォークリフト１０の走行によって近傍物体Ｏ１を通過した後には、近傍物体Ｏ１になり得る。従って、近傍物体Ｏ１とは異なる物体Ｏは、フォークリフト１０の進行の妨げとなり得る場合、次回以降の制御周期で人検出処理が行われることになり、近傍物体Ｏ１に比べれば人検出処理を行う優先度は低い。このため、近傍物体Ｏ１を抽出して、近傍物体Ｏ１が人か否かを判定することで、近傍物体Ｏ１とは異なる物体Ｏについては、人検出処理を行わなくても実用上での支障は生じないと考えられる。
フォークリフト１０では、人が検出された場合、人以外の物体Ｏが検出された場合とは異なる処理が行われる場合がある。例えば、監視装置３０が報知部を備えている場合、物体検出装置４１は、人を検出すると、報知部によってフォークリフト１０の搭乗者に対して近くに人がいる旨の報知を行う。報知部としては、例えば、表示によって報知を行う表示器や、音によって報知を行うブザーを用いることができる。また、物体検出装置４１は、人を検出すると、フォークリフト１０の周辺の人に対して、フォークリフト１０が近くにいることを認識させるための報知を行ってもよい。物体検出装置４１の検出結果がメインコントローラ２０に出力されている場合、メインコントローラ２０は人が検出された場合にはフォークリフト１０を減速させたり、車速上限を設定する等、車速制限を行ってもよい。
ここで、物体検出処理は、所定の制御周期毎に繰り返し行われる。物体検出処理のうち物体Ｏが人か否かを判定する人検出処理は、物体検出装置４１の処理負荷が大きい。第１画像Ｉ１の全ての領域に対して人検出処理を行うと処理負荷が大きくなる。フォークリフト１０は、乗用車に比べて急旋回が行われる頻度が多く、乗用車に搭載されるステレオカメラよりも画角の広いステレオカメラ３１が用いられることが多い。従って、フォークリフト１０に搭載される物体検出装置４１は人検出処理を行う領域が特に多くなりやすく、処理負荷が大きくなりやすい。
処理負荷が大きいと、制御周期内に全ての物体Ｏに対して人検出処理を行えない場合がある。仮に、フォークリフト１０に近い物体Ｏから順に全ての物体Ｏに対して人検出処理を行う場合、フォークリフト１０の進行の妨げとなる物体Ｏよりも先に進行の妨げとならない物体Ｏに対して人検出処理が行われることが生じ得る。すると、制御周期内にフォークリフト１０の進行の妨げとなる物体Ｏに対して人検出処理を行うことができず、進行の妨げとなる人を検出できなかったり、進行の妨げとなる人の検出が遅くなる場合がある。制御周期を維持したまま第１画像Ｉ１上の全ての物体Ｏに対して人検出処理を行おうとすると、処理能力の高い物体検出装置を用いる必要があり、製造コストの増加を招く。また、物体検出装置４１の処理能力を維持したまま制御周期内に全ての物体Ｏに対して人検出処理を行おうとすると、制御周期を長くする必要があり、進行の妨げとなる人の検出が遅くなる。
本実施形態では、進行の妨げとなり得る近傍物体Ｏ１をブロックＦ１～Ｆ３,ＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２毎に抽出し、近傍物体Ｏ１が人か否かを判定している。物体検出装置４１は、少なくとも近傍物体Ｏ１が人か否かを判定すればよいため、全ての物体Ｏに対して人検出処理を行う場合に比べて処理負荷が小さくなる。また、制御周期は、近傍物体Ｏ１が人か否かを判定できるように設定すればよいため、全ての物体Ｏに対して人検出処理を行う場合に比べて制御周期が長くなることを抑制することができる。
なお、物体検出装置４１は、操舵角やハンドル角等の操舵情報をメインコントローラ２０から取得できれば、フォークリフト１０の通過する経路を予め把握することも可能である。この場合、フォークリフト１０の通過する経路上に位置する物体Ｏを近傍物体Ｏ１として抽出することができる。しかしながら、メインコントローラ２０と物体検出装置４１とが接続されていない場合等、物体検出装置４１が操舵情報を取得できない場合には、フォークリフト１０の通過する経路から近傍物体Ｏ１を抽出することができない。そして、近傍物体Ｏ１を抽出できない場合、全ての物体Ｏが人か否かを判定する必要があり、物体検出装置４１の処理負荷が大きくなる。
これに対し、本実施形態では、ワールド座標系のＸＹ平面を複数のブロックＦ１～Ｆ３,ＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２に分割し、ブロックＦ１～Ｆ３,ＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２毎に近傍物体Ｏ１を抽出している。フォークリフト１０が直進する場合の経路と、フォークリフト１０が旋回する場合の経路とで異なるブロックＦ１～Ｆ３,ＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２を配置している。これにより、フォークリフト１０が直進する場合にフォークリフト１０の進行の妨げとなり得る近傍物体Ｏ１と、フォークリフト１０が旋回する場合にフォークリフト１０の進行の妨げとなり得る近傍物体Ｏ１と、を抽出することができる。このため、メインコントローラ２０から操舵情報を得られない場合であっても、複数の物体Ｏのうち人検出処理を行うべき近傍物体Ｏ１を抽出することができる。
本実施形態の効果について説明する。
（１）フォークリフト１０が通過する経路に応じて、ワールド座標系のＸＹ平面を第１ブロックＦ１～Ｆ３と第２ブロックＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２に区画している。これにより、物体検出装置４１は、フォークリフト１０の進行の妨げとなり得る近傍物体Ｏ１を抽出することができる。物体検出装置４１は、近傍物体Ｏ１が人か否かを判定することで、人の検出を行うことができる。仮に、単眼カメラで撮像された画像から人検出処理を行う場合、画像の全領域に対して人検出処理を行った後に、人が検出された領域のワールド座標系での座標を導出する。この場合、人検出処理を行う領域が大きく、物体検出装置４１の処理負荷が大きくなる。これに対し、ワールド座標系での近傍物体Ｏ１の座標をステレオカメラ３１によって撮像された第１画像Ｉ１上での座標に変換し、第１画像Ｉ１上での座標に対して人検出処理を行うことで、第１画像Ｉ１の全体に対して人検出処理を行う場合に比べて人検出処理を行う領域が少なく、物体検出装置４１の処理負荷を軽減することができる。
（２）正面領域Ｆは、複数の第１ブロックＦ１～Ｆ３に区画されている。正面領域Ｆを複数の第１ブロックＦ１～Ｆ３に区画することで、第１ブロックＦ１～Ｆ３毎に近傍物体Ｏ１を抽出することができる。正面領域Ｆを１つの第１ブロックにした場合に比べて正面領域Ｆに人が存在するか否かを細かく判定することができる。
（３）物体検出装置４１は、ステレオカメラ３１による撮像が行われた画像から視差画像を取得し、視差画像からワールド座標系での特徴点の座標を導出している。視差画像から得られたワールド座標系での特徴点の座標と、第１画像Ｉ１上での座標とは相互に変換することができる。従って、ステレオカメラ３１によって撮像された画像を用いて近傍物体Ｏ１を抽出することで、第１画像Ｉ１上での近傍物体Ｏ１の座標の精度を向上させることができる。
（４）物体検出装置４１は、旋回領域ＣＲ，ＣＬよりも先に正面領域Ｆに人が存在するか否かを判定している。正面領域Ｆに存在する人は、旋回領域ＣＲ，ＣＬに存在する人に比べてフォークリフト１０の進行を妨げる可能性が高い。旋回領域ＣＲ，ＣＬよりも優先して正面領域Ｆに人が存在するか否かを判定することで、フォークリフト１０の進行の妨げとなる人を逸早く検出することができる。
実施形態は、以下のように変更して実施することができる。実施形態及び以下の変形例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
○人検出処理を行うことが可能な近傍物体Ｏ１の数には上限が設定されていてもよい。上限は、例えば、制御周期に応じて定められた値であり、制御周期内で人検出処理を行うことが可能な数に設定される。この場合、物体検出装置４１は、第１ブロックＦ１～Ｆ３の近傍物体Ｏ１に人検出処理をした後に、第２ブロックのうちフォークリフト１０に近い第２ブロックの近傍物体Ｏ１から順に人検出処理を行う。即ち、物体検出装置４１は、正面領域Ｆを優先して人が存在するか否かを判定した後に、旋回領域ＣＲ，ＣＬに人が存在するか否かを判定する。
図９に示す例では、上限が１５に設定されている。３個の第１ブロックＦ１～Ｆ３、及び各旋回領域ＣＲ，ＣＬにおけるフォークリフト１０から近い６個の第２ブロックＣＲ１～ＣＲ６，ＣＬ１～ＣＬ６に物体Ｏが存在すると、物体検出装置４１はこれらのブロックに存在する近傍物体Ｏ１が人か否かを判定することになる。一方で、３個の第１ブロックＦ１～Ｆ３、及び１２個の第２ブロックＣＲ１～ＣＲ６，ＣＬ１～ＣＬ６のうちの１つに物体Ｏが存在しない場合、物体検出装置４１は旋回領域ＣＲ，ＣＬの第２ブロックのうちフォークリフト１０から７番目に近い第２ブロックの近傍物体Ｏ１に人検出処理を行う。図９に示す例では、第１旋回領域ＣＲの第２ブロックのうちフォークリフト１０から４番目に近い第２ブロックＣＲ４に物体Ｏが存在しないため、第２旋回領域ＣＬのうちフォークリフト１０から７番目に近い第２ブロックＣＬ７の近傍物体Ｏ１が人か否かの判定が行われることになる。図９に示す例では、第２旋回領域ＣＬのうちフォークリフト１０から７番目に近い第２ブロックＣＬ７の近傍物体Ｏ１が人か否かの判定が行われるが、第１旋回領域ＣＲの第２ブロックＣＲ７の近傍物体Ｏ１が人か否かの判定が行われてもよい。
このように、人検出処理を行う近傍物体Ｏ１の数に上限を設定することで、物体検出装置４１による人検出処理に要する時間が過剰に長くなることを抑制できる。また、物体Ｏが存在するブロックが少ない場合には、遠方まで人が存在するか否かの判定を行うことができる。
○物体検出装置４１は、制御周期内であれば、近傍物体Ｏ１以外の物体Ｏについても人検出処理を行ってもよい。「優先」とは、近傍物体Ｏ１とは異なる物体Ｏよりも先に近傍物体Ｏ１に対して人検出処理を行う態様を含む。即ち、物体検出装置４１は、少なくとも近傍物体Ｏ１が人か否かを判定できればよく、各ブロックＦ１～Ｆ３，ＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２に存在する物体Ｏのうち、近傍物体Ｏ１と、近傍物体Ｏ１の次にフォークリフト１０に近い物体Ｏとが人か否かを判定してもよい。
○監視装置３０は、ステレオカメラ３１に代えて、レーザーレンジファインダと、単眼カメラと、を備えていてもよい。レーザーレンジファインダとしては、水平方向への照射角度を変更しながらレーザーを照射する二次元のレーザーレンジファインダが用いられる。レーザーが当たった部分を照射点とすると、レーザーレンジファインダは照射点までの距離を照射角度に対応付けて測定可能である。即ち、レーザーレンジファインダを原点とした場合の照射点の座標を測定可能である。レーザーレンジファインダにより測定される座標は、実空間上の座標系であるワールド座標系の座標である。レーザーレンジファインダは、測定結果を物体検出装置４１に出力する。レーザーレンジファインダを用いる場合、照射点が物体Ｏの一部を表す点となる。
物体検出装置４１は、照射点の集合である点群を物体Ｏとして抽出する。物体Ｏの抽出は、特徴点を用いた物体Ｏの抽出と同様の手法で行うことができる。即ち、物体検出装置４１は、複数の照射点をクラスタ化することで得られた点群を物体Ｏとして抽出する。物体検出装置４１は、物体Ｏから近傍物体Ｏ１を抽出する。近傍物体Ｏ１の抽出は、実施形態と同様の手法で行うことができる。このように、物体検出装置４１は、ステレオカメラ３１により撮像された画像に代えて、レーザーレンジファインダの測定結果から物体Ｏを抽出し、物体Ｏから近傍物体Ｏ１を抽出することができる。
物体検出装置４１は、近傍物体Ｏ１を抽出すると、ワールド座標系での近傍物体Ｏ１の座標を、カメラとしての単眼カメラによって撮像された画像上の座標に変換する。ワールド座標系の座標と、画像上の座標には相関がある。従って、ワールド座標系の座標と画像上との相関を予め把握し、マップ等を作成することで、ワールド座標系の座標を単眼カメラによる画像上の座標に変換することができる。物体検出装置４１は、近傍物体Ｏ１の画像上の座標に対して人検出処理を行う。これにより、近傍物体Ｏ１が人か否かを判定することができる。
監視装置３０は、物体検出装置４１により、フォークリフト１０の周辺に存在する物体を点群として検出可能なセンサを備えていればよく、レーザーレンジファインダに代えて、ミリ波レーダー等のレーダーを備えていてもよい。また、３次元のレーザーレンジファインダを用いてもよい。
○物体検出装置４１は、正面領域Ｆよりも先に旋回領域ＣＲ，ＣＬに人が存在するか否かを判定してもよい。また、物体検出装置４１は、正面領域Ｆ及び旋回領域ＣＲ，ＣＬに人が存在するか否かを同時に判定するようにしてもよい。
○物体検出処理は、ブロックＦ１～Ｆ３，ＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２毎に人が存在するか否かを判定できればよく、物体検出装置４１により行われる物体検出処理の手順や処理内容は適宜変更してもよい。例えば、物体検出装置４１は、ブロックＦ１～Ｆ３，ＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２の全てについて近傍物体Ｏ１を抽出した後に、抽出された近傍物体Ｏ１が人か否かの判定を行ってもよい。実施形態では、ブロックＦ１～Ｆ３，ＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２から近傍物体Ｏ１を抽出する度に人検出処理を行っていたのに対し、全てのブロックＦ１～Ｆ３，ＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２の近傍物体Ｏ１が抽出された後に、人検出処理が行われることになる。また、第１旋回領域ＣＲよりも先に第２旋回領域ＣＬに人が存在するか否かが判定されるようにしてもよい。
○物体検出処理からステップＳ６，Ｓ１５，Ｓ１６、Ｓ２０，Ｓ２１，Ｓ３２を省略してもよい。この場合、物体検出装置４１は、全てのブロックＦ１～Ｆ３，ＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２に人が存在するか否かを判定することになる。
○正面領域Ｆは、３個の第１ブロックＦ１～Ｆ３に分割されていなくてもよい。この場合、正面領域Ｆの全体が１つの第１ブロックとなる。
○第１ブロックの数は適宜変更してもよい。同様に、第２ブロックの数は、適宜変更してもよい。
○検出範囲ＤＡは定められていなくてもよい。この場合であっても、ワールド座標系のＸＹ平面を第１ブロックＦ１～Ｆ３と第２ブロックＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２に区画することで、実施形態と同様の効果を得ることができる。
○物体検出処理は、フォークリフト１０が起動状態のときに常に行われていてもよい。即ち、フォークリフト１０が前進しているときにも物体検出処理は行われてもよい。
○監視装置３０は、フォークリフト１０の前方の人を検出するものであってもよい。この場合、ステレオカメラ３１は、フォークリフト１０の前方を撮像するように配置される。物体検出装置４１は、フォークリフト１０が前進するときに物体検出処理を行う。また、監視装置３０は、フォークリフト１０の前方及び後方の両側の人を検出するものであってもよい。この場合、ステレオカメラ３１は、フォークリフト１０の前方を撮像するものと、フォークリフト１０の後方を撮像するものの両方が設けられる。
○物体Ｏが人か否かの判定は、教師有り学習モデルによる機械学習を行った人判定部を用いて行ってもよい。人判定部としては、例えば、サポートベクタマシン、ニューラルネットワーク、ナイーブベイズ、ディープラーニング、決定木等の教師有り学習器を採用することが可能である。機械学習に用いる教師データとしては、画像から抽出された人の形状要素や、外観要素などの画像固有成分が用いられる。形状要素として、例えば、人の大きさや輪郭などが挙げられる。外観要素としては、例えば、光源情報、テクスチャ情報、カメラ情報などが挙げられる。光源情報には、反射率や、陰影等に関する情報が含まれる。テクスチャ情報には、カラー情報等が含まれる。カメラ情報には、画質、解像度、画角等に関する情報が含まれる。
○実施形態では、ワールド座標系のＸＹ平面の物体Ｏの座標から物体Ｏが近傍物体Ｏ１か否かを判定したが、３軸直交座標系の座標から物体Ｏが近傍物体Ｏ１か否かを判定してもよい。３軸直交座標系での物体Ｏの座標は、Ｚ座標Ｚｗを含む。
○フォークリフト１０としては、自動で走行動作及び荷役動作が行われるものであってもよい。自動で走行動作及び荷役動作が行われるフォークリフト１０の場合、物体Ｏが人か否かで、経路や車速を変更してもよい。例えば、メインコントローラ２０は、物体Ｏの回避を行う場合、人以外の場合に比べて、人の場合のほうが回避距離を大きくしたり、物体Ｏが人の場合の方が近くを走行するときの車速を低くしてもよい。また、フォークリフト１０は、自動での操作と手動での操作とを切り替えられるものでもよい。
○ワールド座標系は、直交座標系に限られず、極座標系としてもよい。
○ワールド座標系は、ステレオカメラ３１のＸ方向の中心を原点ＯＰとする座標系であってもよい。
○物体検出装置４１は、ステレオカメラ３１によって撮像された画像のうち第２画像から人を検出するようにしてもよい。物体検出装置４１は、第２画像上での近傍物体Ｏ１の座標を導出するが、第２画像は比較画像であるため、近傍物体Ｏ１のワールド座標から画像上での近傍物体Ｏ１の座標を導出すると、基線長に応じたずれが生じる。このため、物体検出装置４１は、基線長に応じて第２画像上での近傍物体Ｏ１の座標を補正し、補正した座標に対して人検出処理を行う。
○物体検出装置４１は、ＣＡＮ：Controller Area NetworkやＬＩＮ：Local Interconnect Networkなどの車両用の通信プロトコルに従った通信を行うことで、メインコントローラ２０とデータの送受信を行うことが可能であってもよい。この場合、物体検出処理の検出結果に応じた処理をメインコントローラ２０に行わせることができる。例えば、実施形態で記載したように、メインコントローラ２０が車速制限を行う場合や、メインコントローラ２０により報知部が作動される場合には、物体検出装置４１とメインコントローラ２０は通信可能に構成される。一方で、監視装置３０が報知部を備えており、物体検出装置４１によって報知部が作動される場合には、物体検出装置４１とメインコントローラ２０は通信可能に構成されていなくてもよい。
○物体抽出部、近傍物体抽出部、座標変換部、人判定部、視差画像取得部、及び座標導出部は、それぞれ、別々の装置であってもよい。
○カメラ座標からワールド座標への変換はテーブルデータによって行われてもよい。テーブルデータは、Ｙ座標ＹｃとＺ座標Ｚｃの組み合わせにＹ座標Ｙｗを対応させたテーブルデータと、Ｙ座標ＹｃとＺ座標Ｚｃとの組み合わせにＺ座標Ｚｗを対応させたテーブルデータである。これらのテーブルデータを物体検出装置４１のＲＯＭなどに記憶しておくことで、カメラ座標系におけるＹ座標ＹｃとＺ座標Ｚｃから、ワールド座標系におけるＹ座標Ｙｗ及びＺ座標Ｚｗを求めることができる。同様に、ワールド座標からカメラ座標への変換についてもテーブルデータによって行われてもよい。
○第１カメラ３２と第２カメラ３３は、鉛直方向に並んで配置されていてもよい。
○第１画像Ｉ１の画素数と第２画像の画素数とは異なっていてもよい。例えば、比較画像である第２画像の画素数を視差画像の画素数と同一とし、基準画像である第１画像Ｉ１の画素数を第２画像の画素数よりも多くしてもよい。
○ステレオカメラ３１は、３つ以上のカメラを備えていてもよい。
○ステレオカメラ３１は、荷役装置１６等、どのような位置に取り付けられていてもよい。
○フォークリフト１０は、エンジンの駆動によって走行するものでもよい。この場合、走行制御装置は、エンジンへの燃料噴射量などを制御する装置となる。
○物体検出装置４１は、建設機械、自動搬送車、トラックなどフォークリフト１０以外の産業車両や乗用車などの車両に搭載されていてもよい。
１０…車両としてのフォークリフト、３１…カメラとしてのステレオカメラ、４１…物体抽出部、近傍物体抽出部、座標変換部、人判定部、視差画像取得部、及び座標導出部としての物体検出装置、Ｆ…正面領域、Ｆ１～Ｆ３…第１ブロック、ＣＲ，ＣＬ…旋回領域、ＣＲ１～ＣＲ１２，ＣＬ１～ＣＬ１２…第２ブロック。

Claims (4)

  1. 車両に搭載される物体検出装置であって、
    水平方向のうち前記車両の車幅方向に延びる軸をＸ軸、水平方向のうち前記Ｘ軸に直交する軸をＹ軸とする実空間上の座標系であるワールド座標系において、前記車両の周囲に存在する物体であって人を含む物体の一部を表す特徴点の集合である点群をセンサから取得したデータから前記物体として抽出する物体抽出部と、
    予め定められた検出範囲のうち前記車両と前記Ｙ軸の延びる方向に向かい合う領域であって、その領域の前記Ｘ軸に沿う寸法が前記車両の前記Ｘ軸に沿う寸法に基づいて規定される正面領域については前記Ｘ軸に沿う寸法よりも前記Ｙ軸に沿う寸法の方が長い第１ブロックが位置し、前記検出範囲のうち前記正面領域と前記Ｘ軸の延びる方向に隣り合う旋回領域については前記Ｘ軸に沿う寸法よりも前記Ｙ軸に沿う寸法の方が短い第２ブロックが前記Ｙ軸の延びる方向に複数並んで位置するように区画された前記ワールド座標系のＸＹ平面において、前記第１ブロック及び前記第２ブロック毎に各ブロックに存在する前記物体であって前記物体抽出部により抽出された前記物体のうち前記車両に最も近い前記物体である近傍物体を抽出する近傍物体抽出部と、
    前記ワールド座標系での前記近傍物体の座標を、前記ワールド座標系とカメラによって撮像された画像上の座標との相関に基づいて、前記カメラによって前記物体を撮像した画像上の座標に変換する座標変換部と、
    前記画像上での前記近傍物体の座標に対して前記近傍物体が人か否かを判定する処理であって前記画像の一部の領域に対して行われる人検出処理を行う人判定部と、を備える物体検出装置。
  2. 前記ワールド座標系において、前記正面領域は、前記Ｘ軸の延びる方向に並んだ複数の前記第１ブロックが位置するように区画されている請求項１に記載の物体検出装置。
  3. 前記物体抽出部は、
    ステレオカメラによって前記物体を撮像した第１画像及び第２画像から前記第１画像及び前記第２画像での前記物体の前記特徴点の画素数の差を視差として算出するとともに、各画素に視差が対応付けられた視差画像を取得する視差画像取得部と、
    前記視差画像から前記ワールド座標系での前記特徴点の座標を導出する座標導出部と、を含み、
    前記座標変換部は、前記ワールド座標系での前記近傍物体の座標を、前記カメラとして前記ステレオカメラによって撮像された画像上での座標に変換する請求項１又は請求項２に記載の物体検出装置。
  4. 前記人検出処理を行うことが可能な前記近傍物体の数には上限が設定されており、
    前記人判定部は、前記第１ブロックの前記近傍物体に前記人検出処理を行った後に、前記第２ブロックの前記近傍物体であって前記車両に最も近い前記近傍物体から前記車両に近い順に前記人検出処理を行う請求項１～請求項３のうちいずれか一項に記載の物体検出装置。
JP2019183767A 2019-10-04 2019-10-04 物体検出装置 Active JP7298426B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019183767A JP7298426B2 (ja) 2019-10-04 2019-10-04 物体検出装置
US17/034,613 US11420855B2 (en) 2019-10-04 2020-09-28 Object detection device, vehicle, and object detection process
EP20198950.6A EP3800576A1 (en) 2019-10-04 2020-09-29 Object detection device, vehicle, and object detection process
CN202011065160.6A CN112611360B (zh) 2019-10-04 2020-09-30 物体检测装置、车辆及物体检测处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019183767A JP7298426B2 (ja) 2019-10-04 2019-10-04 物体検出装置

Publications (2)

Publication Number Publication Date
JP2021060720A JP2021060720A (ja) 2021-04-15
JP7298426B2 true JP7298426B2 (ja) 2023-06-27

Family

ID=72670566

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019183767A Active JP7298426B2 (ja) 2019-10-04 2019-10-04 物体検出装置

Country Status (4)

Country Link
US (1) US11420855B2 (ja)
EP (1) EP3800576A1 (ja)
JP (1) JP7298426B2 (ja)
CN (1) CN112611360B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12100224B1 (en) 2020-05-21 2024-09-24 Zoox, Inc. Key point detection
US11798254B2 (en) * 2020-09-01 2023-10-24 Northwestern University Bandwidth limited context based adaptive acquisition of video frames and events for user defined tasks

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007316790A (ja) 2006-05-24 2007-12-06 Nissan Motor Co Ltd 歩行者検出装置および歩行者検出方法
JP2009231938A (ja) 2008-03-19 2009-10-08 Mazda Motor Corp 車両用周囲監視装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7266220B2 (en) * 2002-05-09 2007-09-04 Matsushita Electric Industrial Co., Ltd. Monitoring device, monitoring method and program for monitoring
JP3937414B2 (ja) * 2004-08-11 2007-06-27 本田技研工業株式会社 平面検出装置及び検出方法
US7899211B2 (en) * 2005-12-07 2011-03-01 Nissan Motor Co., Ltd. Object detecting system and object detecting method
JP5426503B2 (ja) * 2010-08-26 2014-02-26 日本車輌製造株式会社 搬送車両および運転支援装置
CN102313536B (zh) * 2011-07-21 2014-02-19 清华大学 基于机载双目视觉的障碍物感知方法
JP5548667B2 (ja) * 2011-11-24 2014-07-16 富士重工業株式会社 車外環境認識装置
JP6755672B2 (ja) 2016-02-25 2020-09-16 住友重機械工業株式会社 作業機械用周辺監視システム
JP6095817B1 (ja) 2016-03-02 2017-03-15 三菱電機マイコン機器ソフトウエア株式会社 物体検出装置
DE102016104730A1 (de) * 2016-03-15 2017-09-21 Connaught Electronics Ltd. Verfahren zum Detektieren eines Objekts entlang einer Straße eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
CN108090930A (zh) * 2016-11-22 2018-05-29 广州映博智能科技有限公司 基于双目立体相机的障碍物视觉检测系统及方法
JP6844508B2 (ja) 2017-11-15 2021-03-17 株式会社豊田自動織機 安全装置
CN109472831A (zh) * 2018-11-19 2019-03-15 东南大学 面向压路机施工过程的障碍物识别测距系统及方法
JP2020160914A (ja) * 2019-03-27 2020-10-01 株式会社豊田自動織機 物体検出装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007316790A (ja) 2006-05-24 2007-12-06 Nissan Motor Co Ltd 歩行者検出装置および歩行者検出方法
JP2009231938A (ja) 2008-03-19 2009-10-08 Mazda Motor Corp 車両用周囲監視装置

Also Published As

Publication number Publication date
CN112611360B (zh) 2022-11-22
JP2021060720A (ja) 2021-04-15
CN112611360A (zh) 2021-04-06
US11420855B2 (en) 2022-08-23
EP3800576A1 (en) 2021-04-07
US20210101791A1 (en) 2021-04-08

Similar Documents

Publication Publication Date Title
EP3716145A1 (en) Object detection device and method
JP7127597B2 (ja) 監視装置
JP4645433B2 (ja) 図形中心検出方法、楕円検出方法、画像認識装置、制御装置
EP3633619B1 (en) Position detection apparatus and position detection method
JP7298426B2 (ja) 物体検出装置
JP7180445B2 (ja) 物体検出装置
US20230237809A1 (en) Image processing device of person detection system
JP6171608B2 (ja) 物体検出装置
WO2022004495A1 (ja) 障害物検出装置及び障害物検出方法
EP4216177A1 (en) Image processing device of person detection system
JP7081526B2 (ja) 物体検出装置
US20240312223A1 (en) Image processing apparatus
JP2023105461A (ja) 障害物検出装置、産業車両、及び障害物検出方法
JP2015156120A (ja) 歩行者認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230529

R151 Written notification of patent or utility model registration

Ref document number: 7298426

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151