WO2013046941A1 - 物体検出装置を搭載する天井クレーン - Google Patents

物体検出装置を搭載する天井クレーン Download PDF

Info

Publication number
WO2013046941A1
WO2013046941A1 PCT/JP2012/070117 JP2012070117W WO2013046941A1 WO 2013046941 A1 WO2013046941 A1 WO 2013046941A1 JP 2012070117 W JP2012070117 W JP 2012070117W WO 2013046941 A1 WO2013046941 A1 WO 2013046941A1
Authority
WO
WIPO (PCT)
Prior art keywords
overhead crane
object detection
evaluation value
image
inspection
Prior art date
Application number
PCT/JP2012/070117
Other languages
English (en)
French (fr)
Inventor
芳永 清田
市川　智子
Original Assignee
住友重機械工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 住友重機械工業株式会社 filed Critical 住友重機械工業株式会社
Priority to JP2013536043A priority Critical patent/JP5689534B2/ja
Publication of WO2013046941A1 publication Critical patent/WO2013046941A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/46—Position indicators for suspended loads or for crane elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C15/00—Safety gear
    • B66C15/04—Safety gear for preventing collisions, e.g. between cranes or trolleys operating on the same track
    • B66C15/045—Safety gear for preventing collisions, e.g. between cranes or trolleys operating on the same track electrical
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates

Definitions

  • the present invention relates to an overhead crane equipped with an object detection device that detects an object based on parallax between camera images captured by a plurality of cameras.
  • Patent Document 1 a method of measuring the distance to an object using a stereo camera is known (see, for example, Patent Document 1).
  • This method finds feature points in each of two camera images captured by each of the two cameras, and reveals the correspondence between feature points between the respective camera images. Then, the distance to the object forming the feature point is calculated by triangulation based on the difference (disparity) of the positions of the feature points associated with each other.
  • Patent Document 1 requires a low cost embedded device because the operation cost for finding feature points and the operation cost for clarifying the correspondence between feature points between camera images are large. Implementation of is difficult. Also, this method is a method of deriving a three-dimensional distance distribution from a two-dimensional camera image. Therefore, only a specific part of the camera image can not be set in advance as the measurement range (the range in which the object to be measured exists), and the operation cost is also applied to the area where the object to be measured can not exist. ineffective.
  • an object of the present invention to provide an overhead crane on which an object detection device with lower computational cost is mounted.
  • an overhead crane is an overhead crane equipped with an object detection device that detects an object based on a parallax between camera images captured by at least two cameras.
  • a partial image extraction unit for extracting, from each camera image, a partial image of a predetermined size including a pixel corresponding to one of a plurality of inspection points on a virtual straight line passing through the imaged space;
  • An evaluation value determination unit configured to determine an evaluation value related to one of the plurality of inspection points based on the similarity between partial images of the camera images corresponding to the same inspection point, and the evaluation value determination unit
  • an object presence / absence determination unit that determines presence / absence of an object using the evaluation value to be determined.
  • the present invention can provide an overhead crane equipped with an object detection device with lower calculation cost.
  • FIG. 1 is a block diagram schematically showing an example of the configuration of an object detection apparatus 100 according to an embodiment of the present invention.
  • the object detection apparatus 100 mainly includes a control unit 1, an imaging unit 2, a display unit 3, and an audio output unit 4.
  • the control unit 1 is a computer provided with a central processing unit (CPU), a random access memory (RAM), a read only memory (ROM), a non-volatile random access memory (NVRAM), and the like.
  • the control unit 1 develops in the RAM, for example, programs corresponding to respective functional elements of a partial image extraction unit 10, an evaluation value determination unit 11, and an object presence / absence determination unit 12 which will be described later.
  • the CPU executes processing corresponding to each functional element.
  • the imaging unit 2 is an apparatus for acquiring an image, and is, for example, a stereo vision apparatus configured with at least two cameras.
  • the imaging unit 2 outputs, to the control unit 1, image data captured at a predetermined cycle.
  • At least two cameras constituting the imaging unit 2 are disposed at a predetermined distance apart, and images the same space area.
  • imaged space a common space area captured by at least two cameras
  • the display unit 3 is a device for displaying various information, and is, for example, a liquid crystal display, a projector, or the like, and displays various images output by the control unit 1.
  • the voice output unit 4 is a device for voice output of various information, and is, for example, a buzzer, a speaker, etc., and voice-outputs various information in accordance with a control signal output from the control unit 1.
  • the partial image extraction unit 10 is a functional element that extracts a partial image from the image captured by the imaging unit 2.
  • the partial image extraction unit 10 extracts a partial image of a predetermined size including pixels corresponding to an inspection point from camera images captured by each of a plurality of cameras constituting the imaging unit 2.
  • the partial image is, for example, a rectangular image having a pixel corresponding to the inspection point as a central pixel.
  • the partial image may have another shape such as a circle or an ellipse.
  • the “inspection point” is a point on a virtual straight line (hereinafter referred to as “measurement line”) passing through the imaging space which is a three-dimensional space.
  • the inspection point is preferably preset according to the detection target of the object detection apparatus 100.
  • the object detection apparatus 100 determines three-dimensional coordinates of each inspection point in the three-dimensional coordinate system defined in the three-dimensional space, and corresponding two in the two-dimensional coordinate system defined for each of the plurality of camera images. Pre-associate and hold the dimensional coordinates.
  • the inspection point may be set dynamically according to the detection target of the object detection apparatus 100. In this case, the object detection apparatus 100 dynamically sets measurement lines and inspection points, and dynamically calculates corresponding two-dimensional coordinates in each of a plurality of camera images based on the three-dimensional coordinates of each inspection point. .
  • FIG. 2 is a view showing an example of the relationship between the imaging unit 2 and the measurement line VL, and on a measurement line VL which passes through an imaging space relating to the two cameras 2a and 2b and the cameras 2a and 2b constituting the imaging unit 2.
  • the eight inspection points IP1 to IP8 to be arranged are shown.
  • the measurement line VL is an arbitrary straight line passing through the imaged space, but preferably, it is a space region where there is a high possibility that an object to be detected by the object detection apparatus 100 exists, or a detection object to be detected by the object detection apparatus 100 Are disposed so as to penetrate a space region in which the object is likely to move.
  • the distance between the inspection points disposed on the measurement line VL is arbitrary, and may be equal intervals or unequal intervals.
  • FIG. 3 shows a relationship between camera images 2aR and 2bR captured by the two cameras 2a and 2b shown in FIG. 2 and eight inspection points IP1 to IP8.
  • the camera image 2aR captured by the camera 2a includes partial images 2aR1 to 2aR8 centered on the pixels 2aP1 to 2aP8 corresponding to the inspection points IP1 to IP8.
  • the camera image 2bR captured by the camera 2b includes partial images 2bR1 to 2bR8 centered on the pixels 2bP1 to 2bP8 corresponding to the inspection points IP1 to IP8.
  • the sizes of the partial images 2aR1 to 2aR8 and the partial images 2bR1 to 2bR8 are common.
  • FIG. 3 the illustration of the range of the partial image in each of the camera images 2aR and 2bR, in which each of the inspection points IP2 to IP7 is a central pixel, is omitted.
  • the size of the partial image may be changed for each inspection point according to the distance from the camera, as long as the partial images corresponding to the same inspection point are common.
  • the size of the partial image can be adjusted to the size of the reflection in the camera image of the object, which changes according to the distance from the camera.
  • the size of the camera image 2aR is the same as the size of the camera image 2bR.
  • FIG. 3 there is parallax between the camera image 2aR captured by the camera 2a and the camera image 2bR captured by the camera 2b due to the difference between the installation position of the camera 2a and the installation position of the camera 2b. Indicates that.
  • FIG. 4 shows camera images 2aR and 2bR output from two cameras 2a and 2b that capture the detection target 50.
  • the measurement line shown in FIG. 4 is different from the measurement line VL shown in FIG. 3 in the extending direction, but for convenience of explanation, it will be described using the same reference symbol VL. The same applies to the inspection points IP1 to IP5.
  • the cameras 2a and 2b are installed at a height of 500 mm from the floor surface.
  • the measurement line VL extends parallel to the optical axis direction of the cameras 2a and 2b, passing through the midpoint MP of a line connecting the camera 2a and the camera 2b, on a plane 500 mm in height from the floor surface.
  • the five inspection points IP1 to IP5 are arranged at equal intervals (for example, 250 mm) on the measurement line VL, and the inspection point IP1 having the smallest distance to the middle point MP is a point 1000 mm from the middle point MP. Be placed.
  • the detection target 50 is a helmet and is disposed at a point 1750 mm from the midpoint MP.
  • FIG. 5 shows a set of two partial images including two pixels in the two camera images 2aR and 2bR in FIG. 4 respectively corresponding to the five inspection points IP1 to IP5.
  • the partial image 2aR1 is a partial image in which a pixel 2aP1 corresponding to the inspection point IP1 in the camera image 2aR captured by the camera 2a is a central pixel.
  • the partial image 2bR1 is a partial image in which a pixel 2bP1 corresponding to the inspection point IP1 in the camera image 2bR captured by the camera 2b is a central pixel.
  • each of the partial images 2aR2 to 2aR5 is a partial image in which each of the pixels 2aP2 to 2aP5 corresponding to each of the inspection points IP2 to IP5 in the camera image 2aR is a central pixel.
  • each of the partial images 2bR2 to 2bR5 is a partial image in which each of the pixels 2bP2 to 2bP5 corresponding to each of the inspection points IP2 to IP5 in the camera image 2bR is a central pixel.
  • the partial image extraction unit 10 extracts a partial image of a predetermined size having each of the pixels corresponding to each of the plurality of inspection points as a central pixel from each camera image.
  • the evaluation value determination unit 11 is a functional element that determines an evaluation value related to an inspection point based on the degree of similarity of partial images corresponding to each other.
  • the evaluation value determination unit 11 determines an evaluation value related to a specific inspection point based on the similarity between partial images having a pixel corresponding to the specific inspection point as a central pixel.
  • FIG. 6 is a flowchart showing a flow of processing (hereinafter, referred to as “evaluation value determination processing”) in which the evaluation value determination unit 11 determines an evaluation value regarding an inspection point.
  • the evaluation value determination unit 11 calculates the luminance gradient direction of each pixel in the partial image (step S1).
  • Luminance gradient direction means the direction in which the luminance change is maximum at a certain target pixel, and in the present embodiment, the derivative value dI x (i, j) of the luminance in the horizontal direction (horizontal direction of the screen) and the vertical direction It is expressed by an angle ⁇ formed by the luminance derivative value dI y (i, j) of (the screen vertical direction).
  • FIG. 7 is a diagram showing the relationship among the derivative value dI x (i, j) of the luminance in the horizontal direction, the derivative value dI y (i, j) of the luminance in the vertical direction, and the luminance gradient direction ⁇ .
  • the luminance gradient direction ⁇ is an angle between the derivative value dI x (i, j) of the luminance in the horizontal direction and the derivative value dI y (i, j) of the luminance in the vertical direction.
  • FIG. 8A and 8B show the brightness gradient directions of the pixels in the partial image 2aR1 in which the pixel 2aP1 corresponding to the inspection point IP1 in the camera image 2aR is the central pixel.
  • FIG. 8A shows the entire image of the partial image 2aR1
  • FIG. 8B shows an enlarged view of the dashed circle portion of FIG. 8A.
  • FIG. 8A shows the partial image 2aR1 in a size of 9 pixels vertically and 9 pixels horizontally for the convenience of description.
  • FIG. 8B shows the brightness gradient direction of each pixel by an arrow.
  • the evaluation value determination unit 11 calculates the brightness gradient direction ⁇ of each pixel in the partial image.
  • the evaluation value determination unit 11 quantizes the calculated brightness gradient direction ⁇ (step S2).
  • 9A and 9B are diagrams for explaining an example of a method of quantizing the brightness gradient direction ⁇ by the evaluation value determination unit 11.
  • the evaluation value determination unit 11 converts the brightness gradient direction into the value “0” when the brightness gradient direction ⁇ is 0 degrees or more and less than 45 degrees. Similarly, the evaluation value determination unit 11 determines that the brightness gradient direction ⁇ is 45 degrees or more and less than 90 degrees, 90 degrees or more and less than 135 degrees, 135 degrees or more and less than 180 degrees, 180 degrees or more and less than 225 degrees, 225 degrees or more and less than 270 degrees, In the case of 270 degrees or more and less than 315 degrees, or 315 degrees or more and less than 360 degrees, the luminance gradient direction is respectively "1", "2", “3", “4", "5", "5", “6” ", Convert to the value” 7 ".
  • FIG. 9B shows an example of the result of quantization, which corresponds to FIG. 8B.
  • the evaluation value determination unit 11 quantizes the brightness gradient direction ⁇ of each pixel in the partial image having the pixel corresponding to the specific inspection point as the central pixel.
  • the evaluation value determination unit 11 After quantizing the luminance gradient direction ⁇ , the evaluation value determination unit 11 creates a histogram of the values of the quantized luminance gradient direction (step S3).
  • FIG. 10A and 10B are diagrams for explaining an example of a method of creating a histogram of values in the direction of luminance gradient by the evaluation value determination unit 11.
  • the partial image 2aR1 of FIG. 10A corresponds to the partial image 2aR1 of FIG. 8A.
  • the evaluation value determination unit 11 sets the partial image 2aR1 to a left region configured of four columns on the left side of the column including the central pixel 2aP1, one column including the central pixel 2aP1, and a central pixel 2aP1 is divided into a right side region composed of four columns on the right side of the column including the column.
  • the evaluation value determination unit 11 counts the appearance frequency of the value in the brightness gradient direction of each pixel included in the left side area for each value of “0” to “7”. Similarly, the evaluation value determination unit 11 counts the appearance frequency of the value in the brightness gradient direction of each pixel included in the right side area for each value of “0” to “7”.
  • FIG. 10B shows the distribution of the frequency of occurrence of each of 16 types (dimensions) of values consisting of the values “0” to “7” for the left area and the values “0” to “7” for the right area. It is an example of a histogram.
  • the evaluation value determination unit 11 creates a histogram representing the feature of the partial image having the pixel corresponding to the specific inspection point as the central pixel.
  • the evaluation value determination unit 11 determines an evaluation value C GRA related to the specific inspection point (step S4).
  • the evaluation value determination unit 11 captures an image of the histogram representing the feature of the partial image 2aR1 in the camera image 2aR captured by the camera 2a, which is associated with the inspection point IP1, and the camera 2b similarly associated with the inspection point IP1.
  • the evaluation value C GRA regarding the inspection point IP1 is determined based on the histogram representing the feature of the partial image 2bR1 in the captured camera image 2bR.
  • evaluation value C GRA for example, an evaluation value based on the intensity difference of each element of the histogram as represented by the following equation is adopted.
  • K represents the number of dimensions, and in the present embodiment, is “16” corresponding to the number of types of values in the direction of the brightness gradient.
  • Ig (k) represents the value of the k-th dimension in one partial image.
  • Ig (1) is the appearance frequency of the value “0” in the luminance gradient direction in the partial image 2aR1 (the value of the first dimension Represents.
  • Tg (k) represents the value of the k-th dimension in the other partial image, and, for example, Tg (1) is the appearance frequency of the value “0” in the brightness gradient direction in partial image 2bR1 (the value of the first dimension Represents.
  • the relationship between the magnitude of the evaluation value C GRA and the degree of similarity may be reversed depending on the method of calculating the evaluation value C GRA .
  • the evaluation value determination unit 11 determines the three or more parts.
  • the evaluation value C GRA between two of the images is calculated for all combinations, and a final evaluation value C GRA is derived based on the calculated plurality of evaluation values C GRA .
  • the evaluation value determination unit 11 determines the evaluation value C GRA related to a specific inspection point based on the degree of similarity between corresponding partial images, with the pixel corresponding to the specific inspection point as the central pixel. Do.
  • the evaluation value determination unit 11 executes the above-described evaluation value determination process on each of the plurality of inspection points set in advance, and determines the evaluation value C GRA related to each of the plurality of inspection points set in advance.
  • the object presence / absence determination unit 12 is a functional element that determines the presence / absence of an object based on the evaluation value C GRA related to each of the plurality of inspection points determined by the evaluation value determination unit 11.
  • FIGS. 11 to 13 show distributions of evaluation values C GRA for each of 16 inspection points IP1 to IP16.
  • the cameras 2a and 2b are installed at a height of 500 mm from the floor surface.
  • the measurement line VL extends parallel to the optical axis direction of the cameras 2a and 2b, passing through the midpoint MP of a line connecting the camera 2a and the camera 2b, on a plane 500 mm in height from the floor surface.
  • the 16 inspection points IP1 to IP16 are arranged at intervals of 250 mm on the measurement line VL, and the inspection point IP1 having the smallest distance to the middle point MP is arranged at a point 1000 mm from the middle point MP.
  • the detection target 50 is a helmet, which is disposed at a point 1500 mm from the midpoint MP in FIG. 11, at a point 2250 mm from the midpoint MP in FIG. 12, and at a point 3000 mm from the midpoint MP in FIG. Be done.
  • the object presence / absence determination unit 12 evaluates the inspection point IP3 corresponding to the point 1500 mm from the midpoint MP from the distribution of the evaluation values C GRA for each of the inspection points IP1 to IP16 arranged on the measurement line VL. It is determined that the value C GRA is an extremum (minimum value). Then, the object presence / absence determination unit 12 determines that the detection target 50 is present at a point 1500 mm from the midpoint MP. Further, in the case of FIG. 12, the object presence / absence determination unit 12 determines that the evaluation value C GRA related to the inspection point IP6 corresponding to the point 2250 mm from the middle point MP is an extreme value (minimum value).
  • the object presence / absence determination unit 12 determines that the evaluation value C GRA related to the inspection point IP9 corresponding to the point 3000 mm from the midpoint MP is the extreme value (minimum value). It is determined that the detection target 50 is present at a point of 3000 mm from.
  • the object existence judgment unit 12 extracts the extreme (minimum value) from a plurality of evaluation values C GRA, test points having an evaluation value C GRA to be its extreme (hereinafter, the "adopted point" It is determined that an object exists at the position of
  • the degree of similarity between partial images related to the inspection point corresponding to the point where the object exists is relatively high, the degree of similarity between the partial images related to the inspection point corresponding to the point where the object does not exist is relatively low.
  • the partial image by the camera 2a and the partial image by the camera 2b regarding the inspection point corresponding to the point where the object exists includes the object as a common subject.
  • the partial image by the camera 2a and the partial image by the camera 2b regarding the inspection point corresponding to the point where the object does not exist can include different objects (objects farther from each other at different points) as subjects. It is for.
  • the object presence / absence determination unit 12 may determine the presence / absence of an object based on the distribution of a plurality of evaluation values C GRA .
  • the object existence judgment unit 12 may determine the object presence or absence of, based on the relationship between the evaluation value C GRA inspection points surrounding the evaluation value C GRA and adoption point of adopting points .
  • the evaluation value C GRA of the inspection point around the adoption point is, for example, the average value, the maximum value, the minimum value, the middle value, etc. of the evaluation values C GRA of the plurality of inspection points adjacent to the adoption point.
  • the object existence judgment unit 12 only when the difference between the evaluation value C GRA inspection points surrounding the evaluation value C GRA and adoption point of adoption point is a predetermined value or more, the object to the adoption point position It may be determined that exists. That is, when the difference is less than the predetermined value, the object presence / absence determination unit 12 may determine that the object is not present at the position of the adoption point. Even when the object is not present at the position of the inspection point, when the luminance of the background is uniform, the evaluation value C GRA is as low as that when the object is present.
  • evaluation value C GRA of one specific inspection point tends to be low when an object is present, when there is no object and the luminance of the background is uniform, a plurality of adjacent inspection points This is because the evaluation value C GRA of H tends to be uniformly low.
  • the object detection apparatus 100 transmits the determination result of the object presence / absence determination unit 12 to the operator through the display unit 3 and the voice output unit 4.
  • the object detection apparatus 100 displays an image captured by one of the cameras 2a and 2b on the display unit 3, and the adoption point corresponding to the position determined by the object presence / absence determination unit 12 to be an object
  • the image area around is displayed differently from the other image areas.
  • the object detection apparatus 100 causes the color of the image area around the adoption point to be different from the color of the other image areas and displays it.
  • the object detection apparatus 100 outputs, for example, an alarm through the audio output unit 4 or an audio message such as “an object is present at a point of X meters” from the audio output unit 4.
  • FIG. 14 is a flowchart showing the flow of the object detection process, and the object detection apparatus 100 repeatedly executes the object detection process at a predetermined cycle.
  • the measurement line VL is preset to cross a spatial region where an object to be detected is likely to exist.
  • a predetermined number of inspection points are arranged in advance on the measurement line VL at equal intervals.
  • the imaging unit 2 includes two cameras 2 a and 2 b, and the cameras 2 a and 2 b output camera images 2 aR and 2 bR to the control unit 1.
  • control unit 1 of the object detection apparatus 100 causes the partial image extraction unit 10 to generate a partial image having a pixel corresponding to one of a plurality of inspection points as a central pixel from each of the camera images 2aR and 2bR. It extracts (Step S11).
  • control unit 1 causes the evaluation value determination unit 11 to execute the above-described evaluation value determination process, and determines an evaluation value C GRA related to the inspection point (step S12).
  • control unit 1 determines whether or not the evaluation values C GRA related to all the inspection points set in advance have been determined (step S13).
  • step S13 When it is determined that the evaluation values C GRA regarding all the inspection points set in advance have not been determined yet (NO in step S13), the control unit 1 performs step S11 regarding the inspection points for which the evaluation value C GRA has not yet been determined. And execute step S12.
  • control unit 1 causes the object presence / absence determination unit 12 to distribute the evaluation values C GRA regarding all the inspection points The presence or absence of an object is determined based on (step S14).
  • the object detection apparatus 100 passes the one measurement line VL based on the distribution of the evaluation values C GRA related to each of a plurality of inspection points arranged on the one measurement line VL. Determine the presence or absence of an object in space.
  • the object detection apparatus 100 may determine the presence or absence of an object for each measurement line based on the distribution of the evaluation value C GRA related to each of a plurality of inspection points arranged on each of a plurality of measurement lines.
  • the object detection apparatus 100 determines the presence or absence of an object using an evaluation value based on the similarity between partial images in each of a plurality of camera images, with the pixel corresponding to a specific inspection point as the central pixel. Do.
  • the object detection apparatus 100 can determine the presence or absence of an object without having to find a feature point by image processing such as edge detection, and can reduce the operation cost required to determine the presence or absence of the object. .
  • the object detection apparatus 100 can arbitrarily set the position of the inspection point, the measurement range can be limited to the necessary minimum, which further reduces the calculation cost required to determine the presence or absence of the object. be able to.
  • the object detection apparatus 100 can arbitrarily set the position of the inspection point, the resolution of object detection in the specific area can be enhanced.
  • FIG. 15A to 15C show a configuration example of the overhead crane 60 on which the object detection apparatus 100 is mounted, and FIG. 15A shows a top view of the overhead crane 60, and FIG. 15B from the XVB-XVB direction of FIG. FIG. 15C shows a front view of the overhead crane 60 viewed and FIG. 15C shows a side view of the overhead crane 60 viewed from the direction of XVC-XVC in FIG. 15B.
  • the overhead crane 60 has wheels 62L (including a front wheel 62LF and a rear wheel 62LB) and 62R (not shown) and front wheels 62RF (not shown) on the runways 61L and 61R installed on the left wall WL and the right wall WR of the building respectively. Not including the rear wheel 62RB), and moves in the X-axis direction.
  • the overhead crane 60 has wheels 65L (including a front wheel 65LF and a rear wheel 65LB not shown) and 65R (including a front wheel 65RF and a rear wheel 65RB) on the runways 64F and 64B installed on the girder 63. , And has a trolley 66 traversing in the Y-axis direction.
  • the overhead crane 60 has a hoisting device 67 attached to the trolley 66, and the hoisting device 67 winds up the wire rope 68 on a drum (not shown) using a motor (not shown) or Then, the hook 69 is moved up and down in the Z-axis direction.
  • the overhead crane 60 also has an operation room 70 installed below the girder 63 and traveling with the girder 63.
  • the control unit 1, the display unit 3, the sound output unit 4, and the operation state detection unit 71 which constitute the object detection apparatus 100 are installed.
  • the imaging unit 2 includes two cameras 2a and 2b, and the two cameras 2a and 2b are attached to the side surface of the girder 63 at a predetermined interval.
  • the cameras 2a and 2b are attached to the side facing the one (-X direction) of the two traveling directions (+ X direction and -X direction) of the girder 63, but the two traveling directions of the girder 63 It may be attached to each of the side of girder 63 which faces each of.
  • each of the two cameras 2a, 2b represent the imaging range of each of the two cameras 2a, 2b.
  • each of the two cameras 2 a and 2 b sets the entire work space on one side of the two traveling directions of the girder 63 as an imaging space.
  • “Work space” means a space where the overhead crane 60 can carry the hook 69.
  • the operation state detection unit 71 is a functional element that detects the operation state of the overhead crane 60, and outputs the detection result to the control unit 1.
  • the operation state detection unit 71 is, for example, a computer including a CPU, a RAM, a ROM, an NVRAM, and the like, and may be integrated into the control unit 1.
  • the operating state detection unit 71 detects the operating state of the overhead crane 60, for example, based on the output of a control lever (not shown).
  • the operation state of the overhead crane 60 includes a stop state, a forward state, a reverse state, a left lateral state, a right lateral state, a hoisting state, a hoisting state, and the like.
  • the operation state detection unit 71 includes a resolver that detects the winding speed of the winding device 67, a sensor that detects the winding amount of the winding device 67, a speed sensor that detects the traveling speed of the girder 63, and a traverse speed of the trolley 66.
  • the operating state of the overhead crane 60 may be detected based on the output of the speed sensor or the like to be detected.
  • the overhead crane 60 is a club trolley type overhead crane, but may be another type of overhead crane such as a rope trolley type overhead crane or a hoist type overhead crane.
  • FIGS. 15A to 15C show an example of the arrangement of measurement lines adopted by the object detection device 100 mounted on the overhead crane 60.
  • ten measurement lines VLa to VLj extending vertically from the floor are arranged, and seven inspection points are arranged at equal intervals on each of the ten measurement lines VLa to VLj.
  • the seven inspection points may be arranged at irregular intervals.
  • inspection points IPa1 to IPa7 are arranged on the measurement line VLa. Also, although not clearly shown for the sake of clarity of the figure, inspection points IPb1 to IPb7, IPc1 to IPc7, IPd1 are shown above measurement lines VLb, VLc, VLd, VLe, VLf, VLg, VLh, VLi, and VLj, respectively.
  • IPd7, IPe1 to IPe7, IPf1 to IPf7, IPg1 to IPg7, IPh1 to IPh7, IPi1 to IPi7, IPj1 to IPj7 are arranged.
  • the object detection apparatus 100 determines the presence or absence of an object for each measurement line based on the distribution of the evaluation values C GRA for each of the seven inspection points arranged in each of the ten measurement lines VLa to VLj.
  • Ten measurement lines VLa to VLj extend in the Z-axis direction at a predetermined distance from the overhead crane 60 in the X-axis direction, and are arranged such that the distances between two adjacent measurement lines are equal. The distance between two adjacent measurement lines may be different.
  • This arrangement of the ten measurement lines VLa to VLj enables the object detection device 100 to detect an object present in the work space of the overhead crane 60.
  • each inspection point on the measurement lines VLa to VLj is a movement of the imaging unit 2 fixed to the girder 63. Together with the movement of the girder 63 in the X-axis direction. As a result, regardless of the movement of the girder 63 in the X-axis direction, the object detection apparatus 100 can always detect an object present in a vertical space separated from the overhead crane 60 by a predetermined distance in the X-axis direction.
  • 15A to 15C show a state in which loads 80 to 83 are placed on the floor surface of the working space of the overhead crane 60, and the overhead crane 60 lifts the suspended load 85.
  • the package 80 has a height higher than the position of the inspection point IPa3 and lower than the position of the inspection point IPa4, and the package 81 has a height higher than the position of the inspection point IPc3 and lower than the position of the inspection point IPc4.
  • the package 82 has a height higher than the position of the inspection point IPe1 and lower than the position of the inspection point IPe2.
  • the package 83 is not yet a detection target because it is not on the measurement line, but has a height higher than the position of the inspection point IPb1 and lower than the position of the inspection point IPb2. Further, the height of the bottom of the suspended load 85 which the overhead crane 60 is lifting is higher than the position of the inspection point IPe3 and lower than the position of the inspection point IPe4.
  • the object detection apparatus 100 determines the presence or absence of an object for each measurement line, and detects the presence of an object at each position of the inspection points IPa3, IPc3, and IPe1.
  • the overhead crane 60 operates based on the output of a known sensor such as a distance sensor, an image sensor, or a sensor (not shown) that detects the amount of winding of the winding device 67.
  • the height of the bottom of the suspended load 85 is detected.
  • the object detection apparatus 100 can distinguish between the loads 80 and 81 having a height higher than the bottom surface of the load 85 and the loads 82 having a height lower than the bottom surface of the load 85.
  • FIG. 16 is an example of a detection result display screen D1 on which the detection result of the object detection device 100 mounted on the overhead crane 60 is displayed.
  • the object detection apparatus 100 outputs the detection result to the display unit 3 and causes the display unit 3 to display the detection result display screen D1.
  • the object detection apparatus 100 generates a viewpoint conversion image in which the working space of the overhead crane 60 is virtually viewed from above based on a camera image captured by one or both of the two cameras 2a and 2b constituting the imaging unit 2. Generate Then, while the viewpoint conversion image is displayed on the display unit 3 as a background image, the detection result is superimposed and displayed on the background image.
  • the detection result display screen D1 displays an overhead crane image V60, which is a CG (Computer Graphics) image representing the position of the overhead crane 60, at the upper center of the screen.
  • the overhead crane image V60 mainly includes a girder image V63 representing the girder 63 and a trolley image V66 representing the trolley 66.
  • the detection result display screen D1 is the inspection point IPa3 on the measurement line VLa, the inspection point IPb3 on the measurement line VLb, and the inspection point IPe1 on the measurement line VLe shown in FIGS. 15A to 15C. It shows that each of the loads 80, 81, 82 is determined to be present, and the height of the loads 80, 81 is determined to be higher than the bottom surface of the suspended load 85.
  • the object detection apparatus 100 displays the color of the image portion at a point determined to have a load having a height higher than the bottom surface of the suspended load 85 to be different from the color of the other image portions. . This is to inform the operator that there is a load that may cause the load 85 to collide when the load 85 is moved horizontally.
  • the object detection apparatus 100 causes the color of the image portion in which the load images V80 and V81 representing the loads 80 and 81 having a height higher than the bottom surface of the suspended load 85 to differ from the color of the other image portions.
  • FIG. 16 shows a state in which image processing has been performed in which hatched hatching is superimposed and displayed on an image portion in which package images V80 and V81 representing packages 80 and 81 having heights higher than the bottom surface of the suspended load 85 are displayed.
  • the image portion where the package image V 82 representing the package 82 having a height lower than the bottom surface of the suspended load 85 exists is not subjected to any image processing.
  • the object detection apparatus 100 does not perform any image processing on an image portion in which a package image V 83 representing a package 83 is present. This is because the package 83 has not yet been detected.
  • the object detection apparatus 100 informs the operator that there is a load that may cause the load 85 to collide when the load 85 is horizontally moved by another display method such as brightness adjustment or blinking. You may In addition, the object detection apparatus 100 outputs an alarm or a voice message from the voice output unit 4 and informs the operator that there is a load that may cause the load 85 to collide when the load 85 is horizontally moved. You may do so.
  • the object detection apparatus 100 can convey the determination result of the presence or absence of the object using the imaging unit 2 to the operator of the overhead crane 60 in an easy-to-understand manner.
  • FIGS. 17A to 17C are diagrams showing another configuration example of the overhead crane on which the object detection device is mounted, and showing an arrangement example of measurement lines which can be switched between the active state and the inactive state.
  • FIGS. 15A to 15C correspond to FIGS. 15A to 15C
  • FIG. 17A shows a top view of the overhead crane 60
  • FIG. 17B is a front view of the overhead crane 60 seen from the direction of XVIIB-XVIIB of FIG. 17A
  • 17C shows a side view of the overhead crane 60 as viewed from the direction of XVIIC-XVIIC in FIG. 17B.
  • the object detection apparatus 100 sets in advance a plurality of measurement lines extending perpendicularly from the floor surface in the imaging space of the imaging unit 2 (cameras 2a and 2b) in the work space of the overhead crane 60.
  • FIG. 17A 60 measurement lines in 10 columns and 6 rows are shown.
  • FIGS. 17A to 17C show that switching between the active state and the inactive state of the measurement line is possible individually.
  • the measurement line represented by a broken line or a white circle shows that it is an inactive state
  • the measurement line represented by a solid line or a black circle shows that it is an active state.
  • “To activate the measurement line” means to make the space through which the measurement line passes the object detection process. That is, the object detection apparatus 100 calculates an evaluation value regarding each of the inspection points on the measurement line, and determines the presence or absence of an object on the measurement line. Specifically, the object detection apparatus 100 prepares in the inspection point information of each inspection point an activation state flag representing an activation state / inactivation state. Then, the object detection apparatus 100 changes the active state flag for each of the inspection points on the measurement line to be activated to the active state (for example, the value “1”), thereby the measurement line. Activate the.
  • the inspection point information is information stored in advance in the NVRAM or the like of the control unit 1 and includes information on coordinate points on the camera coordinate system corresponding to the inspection point in the three-dimensional space.
  • the object detection apparatus 100 can identify the pixel corresponding to the inspection point based on the inspection point information.
  • inactivating the measurement line means that the space through which the measurement line passes is not the object of the object detection process. That is, the object detection apparatus 100 omits the calculation of the evaluation value regarding the inspection point on the measurement line, and does not determine the presence or absence of the object on the measurement line. Specifically, the object detection apparatus 100 deactivates the measurement line by switching the value of the activation flag for each of the inspection points on the measurement line to be deactivated to the value "0". Make it
  • the object detection apparatus 100 switches the activation state / inactivation state of each of the plurality of measurement lines according to the operation state of the overhead crane 60 detected by the operation state detection unit 71.
  • the object detection apparatus 100 may individually switch the active state / non-active state of the plurality of inspection points arranged on each of the plurality of measurement lines.
  • 17A to 17C show arrangement examples of measurement lines which are activated when the trolley 66 stands still and the girder 63 travels in the -X direction, and 12 measurement lines VLd0 to VLd5 and VLe0 to VLe5 are shown. Indicates an activated state.
  • the object detection apparatus 100 only the measurement line closest to the suspended load (the measurement lines VLd5 and VLe5 in FIGS. 17A to 17C) in the row or column of the measurement line may be activated.
  • the object detection apparatus 100 may also determine the number of measurement lines per row or column to be activated according to the traveling speed of the girder 63 or the traversing speed of the trolley 66.
  • each of the 12 measurement lines Determine the evaluation value C GRA for the inspection point placed at. Then, based on the determined distribution of the evaluation value C GRA , the presence or absence of an object is determined for each measurement line.
  • the object detection apparatus 100 activates the measurement line passing through the space area that can be reached by the suspended load 85 according to the operation state of the overhead crane 60, and deactivates the measurement line passing through the other space areas. Make it As a result, the object detection apparatus 100 can intensively monitor the space area where the suspended load 85 can reach while suppressing the operation cost required for the object detection process.
  • the object detection apparatus 100 stores in advance coordinate points in the camera coordinate system of inspection points which can be switched between the active state and the inactive state individually, and activate and deactivate the inspection points. By switching the state, the measurement line is set dynamically.
  • the present invention is not limited to this.
  • the object detection apparatus 100 may set the measurement line dynamically while dynamically setting the inspection point, that is, dynamically setting the coordinate point on the camera coordinate system corresponding to the inspection point. Good.
  • the object detection apparatus 100 dynamically switches the arrangement of the measurement line and the inspection point according to the operation state of the overhead crane 60. As a result, the range in which it is not necessary to determine the presence or absence of an object can be appropriately excluded from the measurement range depending on the operation state, and the calculation cost required for the object detection process can be further reduced.
  • the object detection apparatus 100 further details the range in which it is necessary to determine the presence or absence of an object by reducing the calculation cost reduced by excluding from the measurement range the range in which the presence or absence of the object need not be determined depending on the operating state. It may be used to monitor As a result, the resolution of the detection range can be increased without increasing the operation cost.
  • FIGS. 15A to 15C correspond to FIGS. 15A to 15C
  • FIG. 18A shows a top view of the two overhead cranes 60 and 60A
  • FIG. 18B is viewed from the XVIIIB-XVIIIB direction of FIG. 18D
  • FIG. 18C shows a rear view of the overhead crane 60A viewed from the direction of XVIIIC-XVIIIC in FIG. 18A.
  • 18A to 18D show an example of the arrangement of measurement lines adopted by the object detection device 100 mounted on the overhead crane 60.
  • 18A to 18D one measurement line VLx horizontally extending in the ⁇ X direction from the middle point of the line segment connecting the cameras 2a and 2b constituting the imaging unit 2 is disposed, and 13 measurement lines VLx are provided.
  • the inspection points IPx1 to IPx13 are arranged at equal intervals.
  • the inspection points IPx1 to IPx13 may be arranged at unequal intervals.
  • the object detection apparatus 100 determines the presence or absence of an object based on the distribution of the evaluation values C GRA for each of the inspection points IPx1 to IPx13 arranged on the measurement line VLx.
  • the object detection apparatus 100 detects another overhead crane 60A present in the -X direction with respect to the overhead crane 60, and detects the distance between the overhead crane 60 and the overhead crane 60A. Can.
  • the overhead crane 60A has marks 90 at the intersections of the side surfaces on the + X direction side of the girder 63A and the measurement line VLx.
  • the mark 90 is for assisting detection of the overhead crane 60A by the object detection device 100 mounted on the overhead crane 60. That is, it is for making the similarity between the partial images which the object detection apparatus 100 extracts differ significantly for every inspection point. Since the side surface of the girder 63A is usually a uniform surface without features, a situation may occur in which the similarity between partial images hardly changes from inspection point to inspection point without the mark 90. Therefore, as the mark 90, preferably, an asymmetric figure is employed. However, the presence of the mark 90 is not an essential requirement, and the object detection apparatus 100 can detect the approach of the overhead crane 60A even without the mark 90.
  • FIG. 19 is a view showing another example of the mark 90 drawn on the side of the girder 63A. Unlike the triangular figure on the white background of FIG. 18C, the left figure of FIG. 19 shows the L-shaped figure on the white background, and the right figure of FIG. 19 shows the figure in which the rectangle is slanted on the white background. Both marks are asymmetrical.
  • FIG. 20 shows a partial image including the mark 90 of FIG. 18C.
  • FIG. 20 shows a camera image 2aR when the overhead crane 60 moves in the -X direction and the side surface on the + X side of the girder 63A of the overhead crane 60A approaches a position corresponding to the position of the inspection point IPx3.
  • 2bR show partial images in each.
  • partial image A1 to partial image A4 indicate partial images in camera image 2aR captured by camera 2a
  • partial images B1 to B4 indicate partial images in camera image 2bR captured by camera 2b.
  • the partial image A1 and the partial image B1 are partial images having a pixel corresponding to the inspection point IPx1 as a central pixel
  • the partial image A2 and the partial image B2 have a pixel having a pixel corresponding to the inspection point IPx2 as a central pixel It is an image.
  • partial image A3 and partial image B3 are partial images having a pixel corresponding to inspection point IPx3 as a central pixel
  • partial image A4 and partial image B4 have a pixel corresponding to inspection point IPx4 as a central pixel It is a partial image.
  • the corresponding inspection points are shown as black circles, but they are not included in the actual partial image.
  • the illustration of a partial image having a pixel corresponding to the inspection points IPx5 to IPx13 as a central pixel is omitted.
  • the similarity between the partial image A3 and the partial image B3 is the highest.
  • the partial image by the camera 2a and the partial image by the camera 2b can include separate objects (more distant objects present at different points) as objects.
  • the evaluation value for the inspection point IPx3 is the minimum value, and the object detection apparatus 100 has the overhead crane 60A at a position corresponding to the position of the inspection point IPx3. Can be detected.
  • the object detection apparatus 100 displays a warning message or a warning image on the display unit 3, and sounds An alarm or warning message is output from the output unit 4. This is to inform the operator of the danger of collision.
  • the object detection apparatus 100 may display the distance between the overhead crane 60 and the overhead crane 60A, and may output the distance as an audio.
  • the object detection apparatus 100 may display a warning message in a blinking manner and output an intermittent sound.
  • the object detection apparatus 100 may shorten the interval of blinking, shorten the interval of intermittent sound, or increase the volume of intermittent sound.
  • the object detection apparatus 100 may forcibly stop the movement of the overhead crane 60 when the distance is less than a predetermined value.
  • the object detection device 100 mounted on the overhead crane 60 detects the distance between the overhead crane 60 and another object such as another overhead crane 60A, a wall, etc. A collision with another object such as the crane 60A or a wall can be prevented.
  • the object detection apparatus 100 adopts, as the evaluation value C GRA , an evaluation value based on the intensity difference of each element of the histogram, but the sum of squares of the luminance difference SSD (Sum of Squared Difference), the luminance A sum of differences SAD (Sum of Absolute Difference), a normalized cross correlation ZNCC (Zero-mean Normalized Cross-Correlation), or the like may be adopted as the evaluation value.
  • the evaluation value C GRA an evaluation value based on the intensity difference of each element of the histogram, but the sum of squares of the luminance difference SSD (Sum of Squared Difference), the luminance A sum of differences SAD (Sum of Absolute Difference), a normalized cross correlation ZNCC (Zero-mean Normalized Cross-Correlation), or the like may be adopted as the evaluation value.
  • the object detection apparatus 100 may use an algorithm such as Scale-Invariant Feature Transform (SIFT), Histograms of Oriented Gradients (HOG), or the like to determine the evaluation value (Fujiyoshi Hironobu, "Gradient-based feature” Extraction-SIFT and HOG-", Information Processing Society, Research report CVIM 160, pp. 211-214, 2007.)).
  • SIFT Scale-Invariant Feature Transform
  • HOG Histograms of Oriented Gradients

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

【課題】演算コストがより低い物体検出装置を搭載する天井クレーンを提供すること。 【解決手段】本発明の実施例に係る天井クレーン６０に搭載される物体検出装置１００は、２つのカメラのそれぞれが撮像するカメラ画像の視差に基づいて物体を検出する。また、物体検出装置１００は、被撮像空間を通る仮想直線上の複数の検査点のうちの１つに対応する画素を含む部分画像をカメラ画像から抽出する部分画像抽出部１０と、同一の検査点に対応する各カメラ画像の部分画像同士の類似度に基づいて検査点に関する評価値を決定する評価値決定部１１と、評価値決定部１１が決定する評価値を用いて物体の存否を判定する物体存否判定部１２とを備える。

Description

物体検出装置を搭載する天井クレーン
　本発明は、複数台のカメラのそれぞれが撮像するカメラ画像間の視差に基づいて物体を検出する物体検出装置を搭載する天井クレーンに関する。
　従来、ステレオカメラを用いて物体までの距離を測定する方法が知られている（例えば、特許文献１参照。）。
　この方法は、２つのカメラのそれぞれが撮像した２つのカメラ画像のそれぞれにおいて特徴点を見つけ出し、各カメラ画像間での特徴点同士の対応関係を明らかにする。そして、対応付けられたそれらの特徴点の位置の違い（視差）に基づいて、その特徴点を形成する物体までの距離を三角測量で計算する。
特開２０００－１１１３２１号公報
藤吉弘亘、"Gradientベースの特徴抽出－ＳＩＦＴとＨＯＧ－"、情報処理学会、研究報告CVIM 160, pp.211-214, 2007
　しかしながら、特許文献１に記載の方法は、特徴点を見つけ出すための演算コスト及び各カメラ画像間での特徴点同士の対応関係を明らかにするための演算コストが大きいため、低コストの組込み装置への実装が困難である。また、この方法は、二次元のカメラ画像から三次元の距離分布を導き出す方法である。そのため、カメラ画像の特定部分のみを測定範囲（測定対象の物体が存在する範囲）として予め設定することができず、測定対象の物体が存在し得ない領域に対しても演算コストをかけることとなり効率が悪い。
　上述の点に鑑み、本発明は、演算コストがより低い物体検出装置を搭載する天井クレーンを提供することを目的とする。
　上述の目的を達成するために、本発明の実施例に係る天井クレーンは、少なくとも２つのカメラのそれぞれが撮像するカメラ画像間の視差に基づいて物体を検出する物体検出装置を搭載する天井クレーンであって、前記物体検出装置は、被撮像空間を通る仮想直線上の複数の検査点のうちの１つに対応する画素を含む所定サイズの部分画像を各カメラ画像から抽出する部分画像抽出部と、同一の検査点に対応する前記各カメラ画像の部分画像同士の類似度に基づいて前記複数の検査点のうちの１つに関する評価値を決定する評価値決定部と、前記評価値決定部が決定する評価値を用いて物体の存否を判定する物体存否判定部と、を備える。
　上述の手段により、本発明は、演算コストがより低い物体検出装置を搭載する天井クレーンを提供することができる。
本発明の実施例に係る物体検出装置の構成例を概略的に示すブロック図である。 撮像部と測定ラインとの関係の一例を示す図である。 図２に示す２台のカメラのそれぞれが撮像するカメラ画像と８つの検査点との関係を示す図である。 検出対象を撮像する２台のカメラが出力するカメラ画像を示す図である。 図４の２つのカメラ画像のそれぞれにおける、検査点に対応する画素を含む部分画像を示す図である。 評価値決定処理の流れを示すフローチャートである。 水平方向の輝度の微分値、鉛直方向の輝度の微分値、及び、輝度勾配方向の三者の関係を示す図である。 検査点に対応する画素を中心画素とする部分画像の全体像を示す図である。 図８Ａの破線円部分の拡大図である。 評価値決定部による輝度勾配方向の量子化方法の一例を説明する図である。 評価値決定部により量子化された輝度勾配方向の値を示す図である。 評価値決定部による輝度勾配方向の値のヒストグラムの作成方法の一例を説明する図である。 輝度勾配方向の値のヒストグラムの一例を示す図である。 １６個の検査点のそれぞれに関する評価値の分布を示す図（その１）である。 １６個の検査点のそれぞれに関する評価値の分布を示す図（その２）である。 １６個の検査点のそれぞれに関する評価値の分布を示す図（その３）である。 物体検出処理の流れを示すフローチャートである。 物体検出装置が搭載される天井クレーンの上面図である。 物体検出装置が搭載される天井クレーンの正面図である。 物体検出装置が搭載される天井クレーンの側面図である。 検出結果表示画面の一例を示す図である。 物体検出装置が搭載される天井クレーンの上面図である。 物体検出装置が搭載される天井クレーンの正面図である。 物体検出装置が搭載される天井クレーンの側面図である。 物体検出装置が搭載される天井クレーンの上面図である。 物体検出装置が搭載される天井クレーンの正面図である。 物体検出装置が搭載される天井クレーンの背面図である。 物体検出装置が搭載される天井クレーンの側面図である。 ガーダの側面に描かれるマークの例を示す図である。 図１８Ｃのマークを含む部分画像を示す図である。
　以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。
　図１は、本発明の実施例に係る物体検出装置１００の構成例を概略的に示すブロック図である。物体検出装置１００は、主に、制御部１、撮像部２、表示部３、及び音声出力部４で構成される。
　制御部１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ(Random Access Memory)、ＲＯＭ（Read Only Memory）、ＮＶＲＡＭ（Non-Volatile Random Access Memory）等を備えたコンピュータである。制御部１は、例えば、ＲＯＭやＮＶＲＡＭに保存された、後述する部分画像抽出部１０、評価値決定部１１、及び物体存否判定部１２のそれぞれの機能要素に対応するプログラムをＲＡＭに展開し、各機能要素に対応する処理をＣＰＵに実行させる。
　撮像部２は、画像を取得する装置であり、例えば、少なくとも２つのカメラで構成されるステレオビジョン装置である。撮像部２は、所定周期で撮像する画像データを制御部１に対して出力する。
　撮像部２を構成する少なくとも２つのカメラは、所定距離を隔てて配置され、同じ空間領域を撮像する。以下では、少なくとも２つのカメラが撮像する共通の空間領域を「被撮像空間」と称する。
　表示部３は、各種情報を表示するための装置であり、例えば、液晶ディスプレイ、プロジェクタ等であって、制御部１が出力する各種画像を表示する。
　音声出力部４は、各種情報を音声出力するための装置であり、例えば、ブザー、スピーカ等であって、制御部１が出力する制御信号に応じて各種情報を音声出力する。
　部分画像抽出部１０は、撮像部２が撮像した画像から部分画像を抽出する機能要素である。
　具体的には、部分画像抽出部１０は、撮像部２を構成する複数のカメラのそれぞれが撮像したカメラ画像から、検査点に対応する画素を含む所定サイズの部分画像を抽出する。部分画像は、例えば、検査点に対応する画素を中心画素とする矩形画像である。なお、部分画像は、円形、楕円形等の他の形状を有していてもよい。
　「検査点」とは、三次元空間である被撮像空間を通る仮想直線（以下、「測定ライン」とする。）上の点である。検査点は、好適には、物体検出装置１００の検出対象に応じて予め設定される。この場合、物体検出装置１００は、三次元空間に定義される三次元座標系における各検査点の三次元座標と、複数のカメラ画像のそれぞれに対して定義される二次元座標系における対応する二次元座標とを予め関連付けて保持する。但し、検査点は、物体検出装置１００の検出対象に応じて動的に設定されてもよい。この場合、物体検出装置１００は、測定ライン及び検査点を動的に設定し、各検査点の三次元座標に基づいて、複数のカメラ画像のそれぞれにおける対応する二次元座標を動的に算出する。
　図２は、撮像部２と測定ラインＶＬとの関係の一例を示す図であり、撮像部２を構成する２つのカメラ２ａ、２ｂとカメラ２ａ、２ｂに関する被撮像空間を通る測定ラインＶＬ上に配置される８個の検査点ＩＰ１～ＩＰ８とを示す。
　測定ラインＶＬは、被撮像空間を通る任意の直線であるが、好適には、物体検出装置１００の検出対象である物体が存在する可能性の高い空間領域、又は、物体検出装置１００の検出対象である物体が移動する可能性の高い空間領域を貫くように配置される。
　また、測定ラインＶＬ上に配置される検査点間の距離は任意であり、等間隔であってもよく、不等間隔であってもよい。なお、検査点間の距離が長い程、すなわち、検査点の数が少ない程、物体検出装置１００が物体を検出するために要する演算負荷は減少する。一方、検査点間の距離が短い程、すなわち、検査点の数が多い程、物体検出装置１００の分解能は高くなる。
　図３は、図２に示す２台のカメラ２ａ、２ｂのそれぞれが撮像するカメラ画像２ａＲ、２ｂＲと８つの検査点ＩＰ１～ＩＰ８との関係を示す。カメラ２ａが撮像するカメラ画像２ａＲは、検査点ＩＰ１～ＩＰ８のそれぞれに対応する画素２ａＰ１～２ａＰ８を中心とする部分画像２ａＲ１～２ａＲ８を含む。同様に、カメラ２ｂが撮像するカメラ画像２ｂＲは、検査点ＩＰ１～ＩＰ８のそれぞれに対応する画素２ｂＰ１～２ｂＰ８を中心とする部分画像２ｂＲ１～２ｂＲ８を含む。なお、部分画像２ａＲ１～２ａＲ８及び部分画像２ｂＲ１～２ｂＲ８のそれぞれのサイズは共通である。部分画像のサイズを共通とした場合、演算処理がしやすいというメリットがある。そのため、図３では、検査点ＩＰ２～ＩＰ７のそれぞれを中心画素とする、カメラ画像２ａＲ、２ｂＲのそれぞれにおける部分画像の範囲の図示を省略する。なお、部分画像のサイズは、同じ検査点に対応する部分画像間で共通であれば、カメラからの距離に応じて検査点毎に変更されてもよい。この場合、カメラからの距離に応じて変化する、物体のカメラ画像内での映り込みサイズに、部分画像のサイズを合わせられるというメリットがある。なお、カメラ画像２ａＲのサイズは、カメラ画像２ｂＲのサイズと同じである。また、図３は、カメラ２ａの設置位置とカメラ２ｂの設置位置との違いに起因して、カメラ２ａが撮像するカメラ画像２ａＲとカメラ２ｂが撮像するカメラ画像２ｂＲとの間に視差が存在することを示す。
　図４は、検出対象５０を撮像する２台のカメラ２ａ、２ｂが出力するカメラ画像２ａＲ、２ｂＲを示す。なお、図４に示す測定ラインは、図３に示す測定ラインＶＬとは延在方向が異なるが、説明の便宜のため、同じ参照符号ＶＬを用いて説明する。検査点ＩＰ１～ＩＰ５についても同様である。
　図４において、カメラ２ａ、２ｂは、床面から５００ｍｍの高さに設置される。また、測定ラインＶＬは、床面からの高さが５００ｍｍの平面上で、カメラ２ａとカメラ２ｂとを結ぶ線分の中点ＭＰを通り、カメラ２ａ、２ｂの光軸方向に平行に伸びる。また、５つの検査点ＩＰ１～ＩＰ５は、測定ラインＶＬ上に等間隔（例えば、２５０ｍｍ間隔）に配置され、中点ＭＰとの距離が最も小さい検査点ＩＰ１は、中点ＭＰから１０００ｍｍの地点に配置される。また、検出対象５０はヘルメットであり、中点ＭＰから１７５０ｍｍの地点に配置される。
　図５は、図４の２つのカメラ画像２ａＲ、２ｂＲのそれぞれにおける、５つの検査点ＩＰ１～ＩＰ５のそれぞれに対応する画素を含む、２つ１組の５組の部分画像を示す。
　部分画像２ａＲ１は、カメラ２ａが撮像したカメラ画像２ａＲにおける、検査点ＩＰ１に対応する画素２ａＰ１を中心画素とする部分画像である。また、部分画像２ｂＲ１は、カメラ２ｂが撮像したカメラ画像２ｂＲにおける、検査点ＩＰ１に対応する画素２ｂＰ１を中心画素とする部分画像である。
　同様に、部分画像２ａＲ２～２ａＲ５のそれぞれは、カメラ画像２ａＲにおける、検査点ＩＰ２～ＩＰ５のそれぞれに対応する画素２ａＰ２～２ａＰ５のそれぞれを中心画素とする部分画像である。また、部分画像２ｂＲ２～２ｂＲ５のそれぞれは、カメラ画像２ｂＲにおける、検査点ＩＰ２～ＩＰ５のそれぞれに対応する画素２ｂＰ２～２ｂＰ５のそれぞれを中心画素とする部分画像である。
　このようにして、部分画像抽出部１０は、複数の検査点のそれぞれに対応する画素のそれぞれを中心画素とする所定サイズの部分画像を各カメラ画像から抽出する。
　評価値決定部１１は、互いに対応する部分画像の類似度に基づいて検査点に関する評価値を決定する機能要素である。
　具体的には、評価値決定部１１は、特定の検査点に対応する画素を中心画素とする部分画像同士の類似度に基づいてその特定の検査点に関する評価値を決定する。
　図６は、評価値決定部１１が検査点に関する評価値を決定する処理（以下、「評価値決定処理」とする。）の流れを示すフローチャートである。
　最初に、評価値決定部１１は、部分画像における各画素の輝度勾配方向を算出する（ステップＳ１）。
　「輝度勾配方向」とは、ある注目画素において輝度変化が最大である方向を意味し、本実施例では、水平方向（画面横方向）の輝度の微分値ｄＩｘ（ｉ、ｊ）と鉛直方向（画面縦方向）の輝度の微分値ｄＩｙ（ｉ、ｊ）とが形成する角度θで表される。
　具体的には、カメラ画像２ａＲ、２ｂＲのそれぞれにおける座標（ｉ、ｊ）の画素の輝度をＩ（ｉ、ｊ）で表すと、水平方向の輝度の微分値ｄＩｘ（ｉ、ｊ）、鉛直方向の輝度の微分値ｄＩｙ（ｉ、ｊ）、及び、輝度勾配方向θは、以下の式で表される。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
 　図７は、水平方向の輝度の微分値ｄＩｘ（ｉ、ｊ）、鉛直方向の輝度の微分値ｄＩｙ（ｉ、ｊ）、及び、輝度勾配方向θの三者の関係を示す図であり、輝度勾配方向θが、水平方向の輝度の微分値ｄＩｘ（ｉ、ｊ）と鉛直方向の輝度の微分値ｄＩｙ（ｉ、ｊ）との間の角度であることを示す。
　また、図８Ａ及び図８Ｂは、カメラ画像２ａＲにおける、検査点ＩＰ１に対応する画素２ａＰ１を中心画素とする部分画像２ａＲ１における各画素の輝度勾配方向を示す。具体的には、図８Ａは、部分画像２ａＲ１の全体像を示し、図８Ｂは、図８Ａの破線円部分の拡大図を示す。なお、図８Ａは、説明の便宜のため、部分画像２ａＲ１を縦９ピクセル、横９ピクセルのサイズで示す。また、図８Ｂは、各画素の輝度勾配方向を矢印で示す。
　このようにして、評価値決定部１１は、部分画像における各画素の輝度勾配方向θを算出する。
　部分画像における各画素の輝度勾配方向θを算出した後、評価値決定部１１は、その算出した輝度勾配方向θを量子化する（ステップＳ２）。
　図９Ａ及び図９Ｂは、評価値決定部１１による輝度勾配方向θの量子化方法の一例を説明する図である。
　図９Ａで示すように、評価値決定部１１は、輝度勾配方向θが０度以上４５度未満の場合に輝度勾配方向を値「０」に変換する。同様に、評価値決定部１１は、輝度勾配方向θが４５度以上９０度未満、９０度以上１３５度未満、１３５度以上１８０度未満、１８０度以上２２５度未満、２２５度以上２７０度未満、２７０度以上３１５度未満、３１５度以上３６０度未満の場合に、輝度勾配方向をそれぞれ値「１」、値「２」、値「３」、値「４」、値「５」、値「６」、値「７」に変換する。図９Ｂは、量子化の結果の一例を示し、図８Ｂに対応する。
　このようにして、評価値決定部１１は、特定の検査点に対応する画素を中心画素とする部分画像における各画素の輝度勾配方向θを量子化する。
　輝度勾配方向θを量子化した後、評価値決定部１１は、その量子化した輝度勾配方向の値のヒストグラムを作成する（ステップＳ３）。
　図１０Ａ及び図１０Ｂは、評価値決定部１１による輝度勾配方向の値のヒストグラムの作成方法の一例を説明する図である。なお、図１０Ａの部分画像２ａＲ１は、図８Ａの部分画像２ａＲ１に対応する。
　図１０Ａで示すように、評価値決定部１１は、部分画像２ａＲ１を、中心画素２ａＰ１を含む列より左側にある４列で構成される左側領域と、中心画素２ａＰ１を含む１列、及び中心画素２ａＰ１を含む列より右側にある４列で構成される右側領域とに分割する。
　その上で、評価値決定部１１は、左側領域に含まれる各画素の輝度勾配方向の値の出現頻度を「０」～「７」の値毎に計数する。同様に、評価値決定部１１は、右側領域に含まれる各画素の輝度勾配方向の値の出現頻度を「０」～「７」の値毎に計数する。
　図１０Ｂは、左側領域に関する「０」～「７」の値と右側領域に関する「０」～「７」の値とで構成される１６種類（次元）の値のそれぞれの出現頻度の分布を示すヒストグラムの一例である。
　このようにして、評価値決定部１１は、特定の検査点に対応する画素を中心画素とする部分画像の特徴を表すヒストグラムを作成する。
　特定の検査点に関連する複数の部分画像のそれぞれの特徴を表すヒストグラムを作成した後、評価値決定部１１は、その特定の検査点に関する評価値ＣＧＲＡを決定する（ステップＳ４）。
　具体的には、評価値決定部１１は、検査点ＩＰ１に関連する、カメラ２ａが撮像したカメラ画像２ａＲにおける部分画像２ａＲ１の特徴を表すヒストグラムと、同じく検査点ＩＰ１に関連する、カメラ２ｂが撮像したカメラ画像２ｂＲにおける部分画像２ｂＲ１の特徴を表すヒストグラムとに基づいて、検査点ＩＰ１に関する評価値ＣＧＲＡを決定する。
　評価値ＣＧＲＡは、例えば、以下の式で表されるようなヒストグラム同士の各要素の強度差に基づく評価値が採用される。
Figure JPOXMLDOC01-appb-M000004
 　なお、Ｋは次元数を表し、本実施例では、輝度勾配方向の値の種類の数に相当する「１６」である。また、Ｉｇ（ｋ）は、一方の部分画像におけるｋ次元目の値を表し、例えば、Ｉｇ（１）は、部分画像２ａＲ１における輝度勾配方向の値「０」の出現頻度（１次元目の値）を表す。また、Ｔｇ（ｋ）は、他方の部分画像におけるｋ次元目の値を表し、例えば、Ｔｇ（１）は、部分画像２ｂＲ１における輝度勾配方向の値「０」の出現頻度（１次元目の値）を表す。
　この場合、検査点ＩＰ１に関する評価値ＣＧＲＡが小さい程２つの部分画像２ａＲ１、２ｂＲ１の類似度が高く、その評価値ＣＧＲＡが大きい程２つの部分画像２ａＲ１、２ｂＲ１の類似度が低い。なお、評価値ＣＧＲＡの大小と類似度の高低との関係は、評価値ＣＧＲＡの計算方法によっては反対となり得る。
　また、特定の検査点に関連する部分画像が３つ以上存在する場合、すなわち撮像部２が３つ以上のカメラで構成される場合には、評価値決定部１１は、それら３つ以上の部分画像のうちの２つの間の評価値ＣＧＲＡを全ての組み合わせについて算出した上で、算出した複数の評価値ＣＧＲＡに基づいて最終的な評価値ＣＧＲＡを導き出すようにする。この場合、評価値決定部１１は、例えば、複数の評価値ＣＧＲＡの統計値（平均値、最大値、最小値、中間値等である。）を最終的な評価値ＣＧＲＡとして導き出してもよい。
　このようにして、評価値決定部１１は、特定の検査点に対応する画素を中心画素とする、互いに対応する部分画像の類似度に基づいて、その特定の検査点に関する評価値ＣＧＲＡを決定する。
　また、評価値決定部１１は、予め設定された複数の検査点のそれぞれについて、上述の評価値決定処理を実行し、予め設定された複数の検査点のそれぞれに関する評価値ＣＧＲＡを決定する。
　物体存否判定部１２は、評価値決定部１１が決定する、複数の検査点のそれぞれに関する評価値ＣＧＲＡに基づいて物体の存否を判定する機能要素である。
　図１１～図１３は、１６個の検査点ＩＰ１～ＩＰ１６のそれぞれに関する評価値ＣＧＲＡの分布を示す図である。
　図１１～図１３において、カメラ２ａ、２ｂは、床面から５００ｍｍの高さに設置される。また、測定ラインＶＬは、床面からの高さが５００ｍｍの平面上で、カメラ２ａとカメラ２ｂとを結ぶ線分の中点ＭＰを通り、カメラ２ａ、２ｂの光軸方向に平行に伸びる。また、１６個の検査点ＩＰ１～ＩＰ１６は、測定ラインＶＬ上に２５０ｍｍ間隔に配置され、中点ＭＰとの距離が最も小さい検査点ＩＰ１は、中点ＭＰから１０００ｍｍの地点に配置される。また、検出対象５０はヘルメットであり、図１１では中点ＭＰから１５００ｍｍの地点に配置され、図１２では中点ＭＰから２２５０ｍｍの地点に配置され、図１３では中点ＭＰから３０００ｍｍの地点に配置される。
　図１１のケースでは、物体存否判定部１２は、測定ラインＶＬ上に並ぶ検査点ＩＰ１～ＩＰ１６のそれぞれに関する評価値ＣＧＲＡの分布から、中点ＭＰから１５００ｍｍの地点に対応する検査点ＩＰ３に関する評価値ＣＧＲＡが極値（最小値）であると判断する。そして、物体存否判定部１２は、中点ＭＰから１５００ｍｍの地点に検出対象５０が存在すると判定する。また、図１２のケースでは、物体存否判定部１２は、中点ＭＰから２２５０ｍｍの地点に対応する検査点ＩＰ６に関する評価値ＣＧＲＡが極値（最小値）であると判断し、中点ＭＰから２２５０ｍｍの地点に検出対象５０が存在すると判定する。同様に、図１３のケースでは、物体存否判定部１２は、中点ＭＰから３０００ｍｍの地点に対応する検査点ＩＰ９に関する評価値ＣＧＲＡが極値（最小値）であると判断し、中点ＭＰから３０００ｍｍの地点に検出対象５０が存在すると判定する。
　このようにして、物体存否判定部１２は、複数の評価値ＣＧＲＡから極値（最小値）を抽出し、その極値となる評価値ＣＧＲＡを有する検査点（以下、「採用点」と称する。）の位置に物体が存在すると判定する。
　この判定は、物体が存在する地点に対応する検査点に関する部分画像間の類似度が比較的高くなる一方で、物体が存在しない地点に対応する検査点に関する部分画像間の類似度が比較的低くなるという事実に基づく。物体が存在する地点に対応する検査点に関する、カメラ２ａによる部分画像とカメラ２ｂによる部分画像とは、その物体を共通の被写体として含む。これに対し、物体が存在しない地点に対応する検査点に関する、カメラ２ａによる部分画像とカメラ２ｂによる部分画像とは、別々の物体（互いに異なる地点に存在するより遠方の物体）を被写体として含み得るためである。
　また、物体存否判定部１２は、複数の評価値ＣＧＲＡの分布に基づいて物体の存否を判定してもよい。
　具体的には、物体存否判定部１２は、採用点の評価値ＣＧＲＡと採用点の周囲にある検査点の評価値ＣＧＲＡとの間の関係に基づいて物体の存否を判定してもよい。この場合、採用点の周囲にある検査点の評価値ＣＧＲＡは、例えば、採用点に隣接する複数の検査点の評価値ＣＧＲＡの平均値、最大値、最小値、中間値等である。
　例えば、物体存否判定部１２は、採用点の評価値ＣＧＲＡと採用点の周囲にある検査点の評価値ＣＧＲＡとの間の差が所定値以上の場合に限り、採用点の位置に物体が存在すると判定してもよい。すなわち、物体存否判定部１２は、その差が所定値未満の場合には、採用点の位置に物体が存在しないと判定してもよい。検査点の位置に物体が存在しない場合であっても、背景の輝度が均一な場合、その評価値ＣＧＲＡは、物体が存在する場合と同じ程度に低くなるためである。また、物体が存在する場合には特定の１つの検査点の評価値ＣＧＲＡが低くなり易いのに対し、物体が存在せず且つ背景の輝度が均一な場合には、隣接する複数の検査点の評価値ＣＧＲＡが一様に低くなり易いためである。
　また、物体検出装置１００は、物体存否判定部１２の判定結果を表示部３及び音声出力部４を通じて操作者に伝えるようにする。
　具体的には、物体検出装置１００は、カメラ２ａ、２ｂの何れか一方が撮像した画像を表示部３に表示し、物体存否判定部１２により物体が存在すると判定された位置に対応する採用点の周囲の画像領域を他の画像領域と異ならせて表示する。例えば、物体検出装置１００は、採用点の周囲の画像領域の色を他の画像領域の色と異ならせて表示する。
　また、物体検出装置１００は、例えば、音声出力部４を通じて警報を出力したり、「Ｘメートルの地点に物体が存在します」といった音声メッセージを音声出力部４から出力したりする。
　次に、図１４を参照しながら、物体検出装置１００が物体を検出する処理（以下、「物体検出処理」とする。）の流れについて説明する。なお、図１４は、物体検出処理の流れを示すフローチャートであり、物体検出装置１００は、所定周期で繰り返しこの物体検出処理を実行する。また、測定ラインＶＬは、検出対象の物体が存在する可能性の高い空間領域を横切るように予め設定される。検査点は、測定ラインＶＬ上に等間隔に所定数だけ予め配置される。また、撮像部２は、２台のカメラ２ａ、２ｂで構成され、カメラ２ａ、２ｂは、カメラ画像２ａＲ、２ｂＲを制御部１に対して出力する。
　最初に、物体検出装置１００の制御部１は、部分画像抽出部１０により、複数の検査点のうちの１つに対応する画素を中心画素とする部分画像を、カメラ画像２ａＲ、２ｂＲのそれぞれから抽出する（ステップＳ１１）。
　その後、制御部１は、評価値決定部１１により、上述の評価値決定処理を実行し、その検査点に関する評価値ＣＧＲＡを決定する（ステップＳ１２）。
　その後、制御部１は、予め設定された全ての検査点に関する評価値ＣＧＲＡを決定したか否かを判定する（ステップＳ１３）。
　予め設定された全ての検査点に関する評価値ＣＧＲＡを未だ決定していないと判定した場合（ステップＳ１３のＮＯ）、制御部１は、評価値ＣＧＲＡが未だ決定されていない検査点に関してステップＳ１１及びステップＳ１２を実行する。
　予め設定された全ての検査点に関する評価値ＣＧＲＡを決定したと判定した場合（ステップＳ１３のＹＥＳ）、制御部１は、物体存否判定部１２により、全ての検査点に関する評価値ＣＧＲＡの分布に基づいて物体の存否を判定する（ステップＳ１４）。
　なお、本実施例では、物体検出装置１００は、１本の測定ラインＶＬ上に配置された複数の検査点のそれぞれに関する評価値ＣＧＲＡの分布に基づいて、その１本の測定ラインＶＬが通る空間における物体の存否を判定する。しかしながら、本発明は、これに限定されない。物体検出装置１００は、複数本の測定ラインのそれぞれに配置された複数の検査点のそれぞれに関する評価値ＣＧＲＡの分布に基づいて、測定ライン毎に物体の存否を判定してもよい。
　以上の構成により、物体検出装置１００は、特定の検査点に対応する画素を中心画素とする、複数のカメラ画像のそれぞれにおける部分画像間の類似度に基づく評価値を用いて物体の存否を判定する。その結果、物体検出装置１００は、エッジ検出等の画像処理により特徴点を見つけ出す必要なく物体の存否を判定することができ、物体の存否を判定するのに必要な演算コストを低減させることができる。
　また、物体検出装置１００は、検査点の位置を任意に設定可能とするので、測定範囲を必要最小限に制限することができ、物体の存否を判定するのに必要な演算コストを更に低減させることができる。
　また、物体検出装置１００は、検査点の位置を任意に設定可能とするので、特定領域の物体検出の分解能を高めることができる。
　次に、図１５Ａ～図１５Ｃを参照しながら、物体検出装置１００が天井クレーン６０に搭載される場合の測定ライン及び検査点の配置について説明する。
　図１５Ａ～図１５Ｃは、物体検出装置１００が搭載される天井クレーン６０の構成例を示す図であり、図１５Ａが天井クレーン６０の上面図を示し、図１５Ｂが図１５ＡのＸＶＢ－ＸＶＢ方向から見た天井クレーン６０の正面図を示し、図１５Ｃが図１５ＢのＸＶＣ－ＸＶＣ方向から見た天井クレーン６０の側面図を示す。
　天井クレーン６０は、建屋の左壁ＷＬ及び右壁ＷＲのそれぞれに設置されたランウェイ６１Ｌ、６１Ｒ上を車輪６２Ｌ（前車輪６２ＬＦ及び後車輪６２ＬＢを含む。）、６２Ｒ（図示しない前車輪６２ＲＦ及び図示しない後車輪６２ＲＢを含む。）を用いてＸ軸方向に走行する移動式のガーダ６３を有する。
　また、天井クレーン６０は、ガーダ６３上に設置されたランウェイ６４Ｆ、６４Ｂ上を車輪６５Ｌ（前車輪６５ＬＦ及び図示しない後車輪６５ＬＢを含む。）、６５Ｒ（前車輪６５ＲＦ及び後車輪６５ＲＢを含む。）を用いてＹ軸方向に横行するトロリ６６を有する。
　また、天井クレーン６０は、トロリ６６に取り付けられる巻上装置６７を有し、巻上装置６７は、モータ（図示せず。）を用いてドラム（図示せず。）にワイヤロープ６８を巻き上げ或いは巻き下げてフック６９をＺ軸方向に上下させる。
　また、天井クレーン６０は、ガーダ６３の下側に設置され、ガーダ６３と共に走行する操作室７０を有する。操作室７０内には、物体検出装置１００を構成する制御部１、表示部３、及び音声出力部４、並びに、動作状態検出部７１が設置される。
　撮像部２は、２つのカメラ２ａ、２ｂで構成され、それら２つのカメラ２ａ、２ｂは、ガーダ６３の側面に所定の間隔を空けて取り付けられる。本実施例では、カメラ２ａ、２ｂは、ガーダ６３の２つの走行方向（＋Ｘ方向及び－Ｘ方向）のうちの一方（－Ｘ方向）を向く側面に取り付けられるが、ガーダ６３の２つの走行方向のそれぞれを向くガーダ６３の側面のそれぞれに取り付けられてもよい。
　２つのカメラ２ａ、２ｂのそれぞれから伸びる破線（図１５Ｂ及び図１５Ｃ参照。）は、２つのカメラ２ａ、２ｂのそれぞれの撮像範囲を表す。このように、２つのカメラ２ａ、２ｂのそれぞれは、ガーダ６３の２つの走行方向のうちの一方の側にある作業空間全体を被撮像空間とする。
　「作業空間」とは、天井クレーン６０がフック６９を持って行くことができる空間を意味する。
　動作状態検出部７１は、天井クレーン６０の動作状態を検出する機能要素であり、検出結果を制御部１に対して出力する。動作状態検出部７１は、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＮＶＲＡＭ等を備えたコンピュータであり、制御部１に統合されてもよい。
　動作状態検出部７１は、例えば、図示しない操作レバーの出力に基づいて天井クレーン６０の動作状態を検出する。天井クレーン６０の動作状態は、停止状態、前進状態、後進状態、左横行状態、右横行状態、巻き上げ状態、巻き下げ状態等を含む。
　また、動作状態検出部７１は、巻上装置６７の巻き上げ速度を検出するレゾルバ、巻上装置６７の巻き上げ量を検出するセンサ、ガーダ６３の走行速度を検出する速度センサ、トロリ６６の横行速度を検出する速度センサ等の出力に基づいて天井クレーン６０の動作状態を検出してもよい。
　なお、本実施例において、天井クレーン６０は、クラブトロリ式天井クレーンであるが、ロープトロリ式天井クレーン、ホイスト式天井クレーン等の他の方式の天井クレーンであってもよい。
　また、図１５Ａ～図１５Ｃは、天井クレーン６０に搭載される物体検出装置１００が採用する測定ラインの配置の一例を示す。図１５Ａ～図１５Ｃでは、床面から垂直に伸びる１０本の測定ラインＶＬａ～ＶＬｊが配置され、１０本の測定ラインＶＬａ～ＶＬｊのそれぞれには、７つの検査点が等間隔に配置される。なお、７つの検査点は、不等間隔に配置されてもよい。
　具体的には、測定ラインＶＬａ上には７つの検査点ＩＰａ１～ＩＰａ７が配置される。また、図の明瞭化のため明示されていないが、測定ラインＶＬｂ、ＶＬｃ、ＶＬｄ、ＶＬｅ、ＶＬｆ、ＶＬｇ、ＶＬｈ、ＶＬｉ、ＶＬｊのそれぞれの上には検査点ＩＰｂ１～ＩＰｂ７、ＩＰｃ１～ＩＰｃ７、ＩＰｄ１～ＩＰｄ７、ＩＰｅ１～ＩＰｅ７、ＩＰｆ１～ＩＰｆ７、ＩＰｇ１～ＩＰｇ７、ＩＰｈ１～ＩＰｈ７、ＩＰｉ１～ＩＰｉ７、ＩＰｊ１～ＩＰｊ７が配置される。
　物体検出装置１００は、１０本の測定ラインＶＬａ～ＶＬｊのそれぞれに配置された７つの検査点のそれぞれに関する評価値ＣＧＲＡの分布に基づいて、測定ライン毎に物体の存否を判定する。
　１０本の測定ラインＶＬａ～ＶＬｊは、天井クレーン６０からＸ軸方向に所定距離だけ離れたところでＺ軸方向に伸び、隣接する２本の測定ラインの間の距離が等しくなるように配置される。なお、隣接する２本の測定ラインの間の距離は、異なるものであってもよい。
　１０本の測定ラインＶＬａ～ＶＬｊのこの配置により、物体検出装置１００は、天井クレーン６０の作業空間に存在する物体を検出することができる。
　また、１０本の測定ラインＶＬａ～ＶＬｊは、ガーダ６３を基準とする座標系で定義されているので、測定ラインＶＬａ～ＶＬｊ上の各検査点は、ガーダ６３に固定された撮像部２の動きとともに、すなわち、ガーダ６３のＸ軸方向における移動とともに移動する。その結果、物体検出装置１００は、ガーダ６３のＸ軸方向における移動にかかわらず、常に、天井クレーン６０からＸ軸方向に所定距離だけ離れた鉛直空間に存在する物体を検出できる。
　また、図１５Ａ～図１５Ｃは、天井クレーン６０の作業空間の床面に荷物８０～８３が置かれ、天井クレーン６０が吊り荷８５を吊り上げている状態を示す。具体的には、荷物８０は、検査点ＩＰａ３の位置より高く検査点ＩＰａ４の位置より低い高さを有し、荷物８１は、検査点ＩＰｃ３の位置より高く検査点ＩＰｃ４の位置より低い高さを有する。また、荷物８２は、検査点ＩＰｅ１の位置より高く検査点ＩＰｅ２の位置より低い高さを有する。なお、荷物８３は、測定ライン上にないため未だ検出対象となってはいないが、検査点ＩＰｂ１の位置より高く検査点ＩＰｂ２の位置より低い高さを有する。また、天井クレーン６０が吊り上げている吊り荷８５の底面の高さは、検査点ＩＰｅ３の位置より高く検査点ＩＰｅ４の位置より低い高さにある。
　このような状態において、物体検出装置１００は、測定ライン毎に物体の存否を判定し、検査点ＩＰａ３、ＩＰｃ３、ＩＰｅ１のそれぞれの位置に物体が存在することを検出する。なお、物体検出装置１００は、距離センサ、画像センサ、又は、巻上装置６７の巻き上げ量を検出するセンサ（何れも図示せず。）等の公知のセンサの出力に基づいて、天井クレーン６０が吊り上げている吊り荷８５の底面の高さを検出する。その結果、物体検出装置１００は、吊り荷８５の底面よりも高い高さを有する荷物８０、８１と、吊り荷８５の底面より低い高さを有する荷物８２とを区別することができる。
　図１６は、天井クレーン６０に搭載される物体検出装置１００の検出結果を表示する検出結果表示画面Ｄ１の一例である。物体検出装置１００は、表示部３に検出結果を出力し、表示部３上に検出結果表示画面Ｄ１を表示させる。例えば、物体検出装置１００は、撮像部２を構成する２つのカメラ２ａ、２ｂの一方又は双方が撮像したカメラ画像に基づいて天井クレーン６０の作業空間を仮想的に上方から眺めた視点変換画像を生成する。そして、その視点変換画像を背景画像として表示部３に表示しながら、検出結果をその背景画像上に重畳表示する。
　検出結果表示画面Ｄ１は、天井クレーン６０の位置を表すＣＧ（Computer Graphics）画像である天井クレーン画像Ｖ６０を画面中央上部に表示する。なお、天井クレーン画像Ｖ６０は、主に、ガーダ６３を表すガーダ画像Ｖ６３、及び、トロリ６６を表すトロリ画像Ｖ６６で構成される。
　図１６では、検出結果表示画面Ｄ１は、図１５Ａ～図１５Ｃで示された、測定ラインＶＬａ上の検査点ＩＰａ３、測定ラインＶＬｂ上の検査点ＩＰｂ３、及び測定ラインＶＬｅ上の検査点ＩＰｅ１のそれぞれで荷物８０、８１、８２のそれぞれが存在すると判定され、荷物８０、８１の高さが吊り荷８５の底面よりも高いと判定された場合の状態を示す。
　図１６で示すように、物体検出装置１００は、吊り荷８５の底面より高い高さを有する荷物が存在すると判定された地点の画像部分の色を他の画像部分の色と異ならせて表示する。吊り荷８５を水平移動させた場合に吊り荷８５が衝突するおそれのある荷物が存在することを操作者に伝えるためである。
　具体的には、物体検出装置１００は、吊り荷８５の底面より高い高さを有する荷物８０、８１を表す荷物画像Ｖ８０、Ｖ８１が存在する画像部分の色を他の画像部分の色と異ならせて表示する。図１６は、吊り荷８５の底面より高い高さを有する荷物８０、８１を表す荷物画像Ｖ８０、Ｖ８１が存在する画像部分に斜線ハッチングを重畳表示するという画像処理が施された状態を示す。また、吊り荷８５の底面より低い高さを有する荷物８２を表す荷物画像Ｖ８２が存在する画像部分には画像処理が何ら施されていない状態を示す。なお、物体検出装置１００は、荷物８３を表す荷物画像Ｖ８３が存在する画像部分にも何らの画像処理を施していない。荷物８３は、未だ検出対象となっていないためである。
　なお、物体検出装置１００は、輝度調整、点滅等の他の表示方法により、吊り荷８５を水平移動させた場合に吊り荷８５が衝突するおそれのある荷物が存在することを操作者に伝えるようにしてもよい。また、物体検出装置１００は、警報や音声メッセージを音声出力部４から出力させ、吊り荷８５を水平移動させた場合に吊り荷８５が衝突するおそれのある荷物が存在することを操作者に伝えるようにしてもよい。
　このようにして、物体検出装置１００は、撮像部２を用いた物体の存否の判定結果を天井クレーン６０の操作者に分かり易く伝えることができる。
　次に、図１７Ａ～図１７Ｃを参照しながら、天井クレーン６０に搭載される物体検出装置１００が採用する測定ラインが天井クレーン６０の動作状態に応じて動的に設定される例について説明する。なお、図１７Ａ～図１７Ｃは、物体検出装置が搭載される天井クレーンの別の構成例を示す図であり、活性状態・非活性状態が切り換え可能な測定ラインの配置例を示す。
　図１７Ａ～図１７Ｃは、図１５Ａ～図１５Ｃに対応する図であり、図１７Ａが天井クレーン６０の上面図を示し、図１７Ｂが図１７ＡのＸＶＩＩＢ－ＸＶＩＩＢ方向から見た天井クレーン６０の正面図を示し、図１７Ｃが図１７ＢのＸＶＩＩＣ－ＸＶＩＩＣ方向から見た天井クレーン６０の側面図を示す。
　図１７Ａ～図１７Ｃで示すように、物体検出装置１００は、天井クレーン６０の作業空間における撮像部２（カメラ２ａ、２ｂ）の被撮像空間に床面から垂直に伸びる複数の測定ラインを予め設定する。なお、図１７Ａには１０列６行の６０本の測定ラインが示されている。また、図１７Ａ～図１７Ｃは、測定ラインの活性状態・非活性状態の切り換えが個別に可能であることを示す。なお、破線又は白丸で表される測定ラインは、非活性状態であることを示し、実線又は黒丸で表される測定ラインは、活性状態であることを示す。
　「測定ラインを活性状態にする」とは、その測定ラインが通る空間を物体検出処理の対象とすることを意味する。すなわち、物体検出装置１００は、その測定ライン上の検査点のそれぞれに関する評価値を算出してその測定ライン上にある物体の存否を判定する。具体的には、物体検出装置１００は、各検査点の検査点情報に活性状態・非活性状態を表す活性状態フラグを用意する。そして、物体検出装置１００は、活性状態にしようとする測定ライン上にある検査点のそれぞれに関するこの活性状態フラグを活性状態（例えば、値「１」である。）に切り換えることによって、その測定ラインを活性状態にする。なお、検査点情報は、制御部１のＮＶＲＡＭ等に予め記憶される情報であり、三次元空間における検査点に対応するカメラ座標系上の座標点に関する情報を含む。物体検出装置１００は、この検査点情報に基づいて、検査点に対応する画素を特定することができる。
　一方、「測定ラインを非活性状態にする」とは、その測定ラインが通る空間を物体検出処理の対象としないことを意味する。すなわち、物体検出装置１００は、その測定ライン上の検査点に関する評価値の算出を省略し、その測定ライン上にある物体の存否を判定しない。具体的には、物体検出装置１００は、非活性状態にしようとする測定ライン上にある検査点のそれぞれに関する活性状態フラグの値を値「０」に切り換えることによって、その測定ラインを非活性状態にする。
　このような構成により、物体検出装置１００は、動作状態検出部７１が検出する天井クレーン６０の動作状態に応じて複数の測定ラインのそれぞれの活性状態・非活性状態を切り換える。
　なお、物体検出装置１００は、複数の測定ラインのそれぞれに配置される複数の検査点の活性状態・非活性状態を個別に切り換えるようにしてもよい。
　また、図１７Ａ～図１７Ｃは、トロリ６６が静止し、ガーダ６３が－Ｘ方向に走行するときに活性状態となる測定ラインの配置例を示し、１２本の測定ラインＶＬｄ０～ＶＬｄ５及びＶＬｅ０～ＶＬｅ５が活性状態となった状態を示す。なお、物体検出装置１００は、測定ラインの行又は列のうち吊り荷に最も近い測定ライン（図１７Ａ～図１７Ｃでは、測定ラインＶＬｄ５及びＶＬｅ５である。）のみを活性状態としてもよい。また、物体検出装置１００は、ガーダ６３の走行速度、又は、トロリ６６の横行速度に応じて活性状態とする測定ラインの一行又は一列当たりの本数を決定してもよい。
　物体検出装置１００は、動作状態検出部７１により、トロリ６６が図１７Ａ～図１７Ｃに示す位置に静止し、ガーダ６３が－Ｘ方向に走行中であると判断すると、１２本の測定ラインのそれぞれに配置された検査点に関する評価値ＣＧＲＡを決定する。そして、決定した評価値ＣＧＲＡの分布に基づいて、測定ライン毎に物体の存否を判定する。
　このように、物体検出装置１００は、天井クレーン６０の動作状態に応じて吊り荷８５が到達可能な空間領域を通る測定ラインを活性状態にし、それ以外の空間領域を通る測定ラインを非活性状態にする。その結果、物体検出装置１００は、物体検出処理に要する演算コストを抑制しながら、吊り荷８５が到達可能な空間領域を重点的に監視することができる。
　なお、上述の実施例において、物体検出装置１００は、個別に活性状態・非活性状態の切り換えが可能な検査点のカメラ座標系における座標点を予め記憶し、それら検査点の活性状態・非活性状態を切り換えることによって、測定ラインを動的に設定する。しかしながら、本発明はこれに限定されない。例えば、物体検出装置１００は、検査点を動的に設定しながら、すなわち、検査点に対応するカメラ座標系上の座標点を動的に設定しながら、測定ラインを動的に設定してもよい。
　以上の構成により、物体検出装置１００は、天井クレーン６０の動作状態に応じて動的に測定ライン及び検査点の配置を切り換える。その結果、動作状態によっては物体の存否を判定する必要のない範囲を測定範囲から適切に除外することができ、物体検出処理に要する演算コストを更に低減させることができる。
　また、物体検出装置１００は、動作状態によっては物体の存否を判定する必要のない範囲を測定範囲から除外することで低減させた演算コストを、物体の存否を判定する必要のある範囲をより詳細に監視するために利用してもよい。その結果、演算コストを増大させることなく検出範囲の分解能を高めることができる。
　次に、図１８Ａ～図１８Ｄを参照しながら、天井クレーン６０における物体検出装置１００の別の利用方法について説明する。
　図１８Ａ、図１８Ｂ、図１８Ｄは、図１５Ａ～図１５Ｃに対応する図であり、図１８Ａが２つの天井クレーン６０、６０Ａの上面図を示し、図１８Ｂが図１８ＡのＸＶＩＩＩＢ－ＸＶＩＩＩＢ方向から見た天井クレーン６０の正面図を示し、図１８Ｄが図１８ＡのＸＶＩＩＩＤ－ＸＶＩＩＩＤ方向から見た２つの天井クレーン６０、６０Ａの側面図を示す。なお、図１８Ｃは、図１８ＡのＸＶＩＩＩＣ－ＸＶＩＩＩＣ方向から見た天井クレーン６０Ａの背面図を示す。
　また、図１８Ａ～図１８Ｄは、天井クレーン６０に搭載される物体検出装置１００が採用する測定ラインの配置の一例を示す。図１８Ａ～図１８Ｄでは、撮像部２を構成するカメラ２ａ、２ｂを結ぶ線分の中点から－Ｘ方向に水平に伸びる１本の測定ラインＶＬｘが配置され、測定ラインＶＬｘには、１３個の検査点ＩＰｘ１～ＩＰｘ１３が等間隔に配置される。なお、検査点ＩＰｘ１～ＩＰｘ１３は、不等間隔に配置されてもよい。
　物体検出装置１００は、測定ラインＶＬｘ上に配置された検査点ＩＰｘ１～ＩＰｘ１３のそれぞれに関する評価値ＣＧＲＡの分布に基づいて物体の存否を判定する。
　測定ラインＶＬｘのこの配置により、物体検出装置１００は、天井クレーン６０に対し－Ｘ方向に存在する別の天井クレーン６０Ａを検出し、天井クレーン６０と天井クレーン６０Ａとの間の距離を検出することができる。
　また、天井クレーン６０Ａは、図１８Ｃで示すように、ガーダ６３Ａの＋Ｘ方向側の側面と測定ラインＶＬｘとが交差する部分に、マーク９０を有する。マーク９０は、天井クレーン６０に搭載される物体検出装置１００による天井クレーン６０Ａの検出を支援するためのものである。すなわち、物体検出装置１００が抽出する部分画像間の類似度が検査点毎に有意に異なるようにするためのものである。ガーダ６３Ａの側面は通常、特徴のない均一な表面であるため、マーク９０が無ければ部分画像間の類似度が検査点毎にほとんど変化しない状況が生じ得るためである。そのため、マーク９０には、好適には、左右非対称の図形が採用される。但し、マーク９０の存在は必須要件ではなく、物体検出装置１００は、マーク９０が無くても、天井クレーン６０Ａの接近を検出することができる。
　図１９は、ガーダ６３Ａの側面に描かれるマーク９０の別の例を示す図である。図１８Ｃの白地に三角形状の図形とは異なり、図１９の左側の図は、白地にＬ字形状の図形を示し、図１９の右側の図は、白地に長方形を斜めにした図形を示す。何れのマークも左右非対称である。
　図２０は、図１８Ｃのマーク９０を含む部分画像を示す図である。具体的には、図２０は、天井クレーン６０が－Ｘ方向に移動し、天井クレーン６０Ａのガーダ６３Ａの＋Ｘ側の側面が検査点ＩＰｘ３の位置に相当する位置まで接近したときの、カメラ画像２ａＲ、２ｂＲのそれぞれにおける部分画像を示す。
　より詳細には、部分画像Ａ１～部分画像Ａ４は、カメラ２ａが撮像するカメラ画像２ａＲにおける部分画像を示し、部分画像Ｂ１～部分画像Ｂ４は、カメラ２ｂが撮像するカメラ画像２ｂＲにおける部分画像を示す。また、部分画像Ａ１及び部分画像Ｂ１は、検査点ＩＰｘ１に対応する画素を中心画素とする部分画像であり、部分画像Ａ２及び部分画像Ｂ２は、検査点ＩＰｘ２に対応する画素を中心画素とする部分画像である。同様に、部分画像Ａ３及び部分画像Ｂ３は、検査点ＩＰｘ３に対応する画素を中心画素とする部分画像であり、部分画像Ａ４及び部分画像Ｂ４は、検査点ＩＰｘ４に対応する画素を中心画素とする部分画像である。なお、図２０では、説明の便宜のため、対応する検査点が黒丸で示されているが、実際の部分画像には含まれない。また、説明の便宜のため、検査点ＩＰｘ５～ＩＰｘ１３に対応する画素を中心画素とする部分画像については図示を省略している。
　図２０に示すように、天井クレーン６０Ａのガーダ６３Ａの＋Ｘ側の側面が検査点ＩＰｘ３の位置に相当する位置にあるため、部分画像Ａ３と部分画像Ｂ３との間の類似度が最も高くなる。物体が存在する地点に対応する検査点に関する、カメラ２ａによる部分画像とカメラ２ｂによる部分画像とは、その物体を共通の被写体として含むのに対し、物体が存在しない地点に対応する検査点に関する、カメラ２ａによる部分画像とカメラ２ｂによる部分画像とは、別々の物体（互いに異なる地点に存在するより遠方の物体）を被写体として含み得るためである。その結果、検査点ＩＰｘ１～ＩＰｘ１３のそれぞれに関する評価値のうち、検査点ＩＰｘ３に関する評価値が最小値となり、物体検出装置１００は、検査点ＩＰｘ３の位置に相当する位置に天井クレーン６０Ａが存在することを検出できる。
　このようにして、天井クレーン６０と天井クレーン６０Ａとの間の距離が所定距離未満となったことを検出した場合、物体検出装置１００は、表示部３に警告メッセージ又は警告画像を表示し、音声出力部４から警報又は警告メッセージを出力する。衝突の危険性を操作者に伝えるためである。この場合、物体検出装置１００は、天井クレーン６０と天井クレーン６０Ａとの間の距離を表示し、その距離を音声出力してもよい。また、物体検出装置１００は、その距離が所定値を下回った場合に、警告メッセージを点滅表示し、断続音を出力してもよい。さらに、物体検出装置１００は、その距離が小さくなるにつれて、点滅の間隔を短くしたり、断続音の間隔を短くしたり、断続音の音量を大きくしたりしてもよい。さらに、物体検出装置１００は、その距離が所定値を下回った場合に、天井クレーン６０の移動を強制的に停止させてもよい。
　以上の構成により、天井クレーン６０に搭載される物体検出装置１００は、天井クレーン６０と別の天井クレーン６０Ａ、壁等の他の物体との距離を検出することによって、天井クレーン６０と別の天井クレーン６０Ａ、壁等の他の物体との衝突を防止することができる。
　以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
　例えば、上述の実施例において、物体検出装置１００は、評価値ＣＧＲＡとしてヒストグラム同士の各要素の強度差に基づく評価値を採用するが、輝度差の二乗和ＳＳＤ（Sum of Squared Difference）、輝度差の総和ＳＡＤ（Sum of Absolute Difference）、正規化相互相関ＺＮＣＣ（Zero-mean Normalized Cross-Correlation）等を評価値として採用してもよい。また、物体検出装置１００は、評価値を決定するために、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＨＯＧ（Histograms of Oriented Gradients）等のアルゴリズムを用いてもよい（藤吉弘亘、"Gradientベースの特徴抽出－ＳＩＦＴとＨＯＧ－"、情報処理学会、研究報告CVIM 160, pp.211-214, 2007参照。）。
　また、本願は、２０１１年９月２９日に出願した日本国特許出願２０１１－２１５３２２号、日本国特許出願２０１１－２１５３２３号、及び日本国特許出願２０１１－２１５３２４号に基づく優先権を主張するものでありそれらの日本国特許出願の全内容を本願に参照により援用する。
　１・・・制御部　２・・・撮像部　２ａ、２ｂ・・・カメラ　３・・・表示部　４・・・音声出力部　１０・・・部分画像抽出部　１１・・・評価値決定部　１２・・・物体存否判定部　６０、６０Ａ・・・天井クレーン　６１・・・ランウェイ　６２・・・車輪　６３・・・・ガーダ　６４・・・ランウェイ　６５・・・車輪　６６・・・トロリ　６７・・・巻上装置　６８・・・ワイヤロープ　６９・・・フック　７０・・・操作室　７１・・・動作状態検出部　８０～８３・・・荷物　８５・・・吊り荷　９０・・・マーク　１００・・・物体検出装置　Ｄ１・・・検出結果表示画面　ＩＰ１～ＩＰ１６・・・検査点　Ｖ６０・・・天井クレーン画像　Ｖ６３・・・ガーダ画像　Ｖ６６・・・トロリ画像　Ｖ８０～Ｖ８３・・・荷物画像　ＶＬ・・・測定ライン

Claims (11)

  1. 　少なくとも２つのカメラのそれぞれが撮像するカメラ画像間の視差に基づいて物体を検出する物体検出装置を搭載する天井クレーンであって、
    　前記物体検出装置は、
    　被撮像空間を通る仮想直線上の複数の検査点のうちの１つに対応する画素を含む所定サイズの部分画像を各カメラ画像から抽出する部分画像抽出部と、
    　同一の検査点に対応する前記各カメラ画像の部分画像同士の類似度に基づいて前記複数の検査点のうちの１つに関する評価値を決定する評価値決定部と、
    　前記評価値決定部が決定する評価値を用いて物体の存否を判定する物体存否判定部と、を備える、
    　天井クレーン。
  2. 　前記仮想直線は、当該天井クレーンの作業空間において、床面から垂直に伸びる、
    　請求項１に記載の天井クレーン。
  3. 　当該天井クレーンは、移動式のガーダを含み、
    　前記少なくとも２つのカメラのそれぞれは、前記ガーダの側面に取り付けられ、前記ガーダの走行方向における作業空間を被撮像空間とする、
    　請求項１に記載の天井クレーン。
  4. 　前記物体検出装置は、当該天井クレーンの周囲にある荷物を検出し、当該天井クレーンの吊り荷の位置より高い高さを有する荷物と、該吊り荷の位置より低い高さを有する荷物とを区別可能に表示する、
    　請求項１に記載の天井クレーン。
  5. 　当該天井クレーンの動作状態を検出する動作状態検出部を備え、
    　前記仮想直線は、当該天井クレーンの動作状態に応じて配置される、
    　請求項１に記載の天井クレーン。
  6. 　当該天井クレーンの動作状態を検出する動作状態検出部を備え、
    　前記仮想直線は、当該天井クレーンの動作状態に応じて配置される、
    　請求項２に記載の天井クレーン。
  7. 　前記物体検出装置は、前記仮想直線上の複数の検査点の活性状態・非活性状態を切り換えることによって、当該天井クレーンの動作状態に応じて前記仮想直線の配置を動的に切り換える、
    　請求項１に記載の天井クレーン。
  8. 　水平に前後進可能なガーダを備え、
    　前記仮想直線は、前記ガーダの前後進方向に水平に伸びる、
    　請求項１に記載の天井クレーン。
  9. 　前記物体検出装置は、壁又は別の天井クレーンの存否を判定する、
    　ことを特徴とする請求項１に記載の天井クレーン。
  10. 　前記壁又は別の天井クレーンは、前記仮想直線と交差する部分に、マークを有する、
    　ことを特徴とする請求項９に記載の天井クレーン。
  11. 　前記マークは、左右非対称である、
    　ことを特徴とする請求項１０に記載の天井クレーン。
PCT/JP2012/070117 2011-09-29 2012-08-07 物体検出装置を搭載する天井クレーン WO2013046941A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013536043A JP5689534B2 (ja) 2011-09-29 2012-08-07 物体検出装置を搭載する天井クレーン

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2011-215323 2011-09-29
JP2011215322 2011-09-29
JP2011215323 2011-09-29
JP2011-215322 2011-09-29
JP2011215324 2011-09-29
JP2011-215324 2011-09-29

Publications (1)

Publication Number Publication Date
WO2013046941A1 true WO2013046941A1 (ja) 2013-04-04

Family

ID=47994993

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/070117 WO2013046941A1 (ja) 2011-09-29 2012-08-07 物体検出装置を搭載する天井クレーン

Country Status (3)

Country Link
JP (1) JP5689534B2 (ja)
TW (1) TW201319517A (ja)
WO (1) WO2013046941A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015022001A1 (en) * 2013-08-12 2015-02-19 Abb Technology Ltd Method and system for automatically landing containers on a landing target using a container crane
CN105438993A (zh) * 2014-09-24 2016-03-30 西门子公司 自动地光学确定集装箱吊具的目标位置的方法和系统
JP2019142670A (ja) * 2018-02-21 2019-08-29 中国電力株式会社 クレーン設備
JP2021022217A (ja) * 2019-07-29 2021-02-18 株式会社五合 警備システム及び警備方法
KR20210087989A (ko) * 2018-11-14 2021-07-13 에이비비 슈바이쯔 아게 랜딩 타겟에 컨테이너를 로딩하는 시스템 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI554463B (zh) * 2014-05-28 2016-10-21 行政院原子能委員會核能研究所 三維天車系統之適應模糊滑動影像追蹤控制裝置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11345336A (ja) * 1998-06-03 1999-12-14 Nissan Motor Co Ltd 障害物検出装置
JP2001189925A (ja) * 1999-12-28 2001-07-10 Glowing Shinko:Kk 移動物体監視システム
JP2005309658A (ja) * 2004-04-20 2005-11-04 Nippon Telegr & Teleph Corp <Ntt> 画像判別方法、画像判別装置、画像判別プログラム、及びその記録媒体
JP2007232389A (ja) * 2006-02-27 2007-09-13 Toyota Motor Corp 立体形状検出装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11345336A (ja) * 1998-06-03 1999-12-14 Nissan Motor Co Ltd 障害物検出装置
JP2001189925A (ja) * 1999-12-28 2001-07-10 Glowing Shinko:Kk 移動物体監視システム
JP2005309658A (ja) * 2004-04-20 2005-11-04 Nippon Telegr & Teleph Corp <Ntt> 画像判別方法、画像判別装置、画像判別プログラム、及びその記録媒体
JP2007232389A (ja) * 2006-02-27 2007-09-13 Toyota Motor Corp 立体形状検出装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015022001A1 (en) * 2013-08-12 2015-02-19 Abb Technology Ltd Method and system for automatically landing containers on a landing target using a container crane
KR20160013271A (ko) * 2013-08-12 2016-02-03 에이비비 테크놀로지 리미티드 컨테이너 크레인을 사용하여 랜딩 타깃 상에 컨테이너들을 자동적으로 랜딩하기 위한 방법 및 시스템
KR101699672B1 (ko) 2013-08-12 2017-01-24 에이비비 테크놀로지 리미티드 컨테이너 크레인을 사용하여 랜딩 타깃 상에 컨테이너들을 자동적으로 랜딩하기 위한 방법 및 시스템
US9611126B2 (en) 2013-08-12 2017-04-04 Abb Schweiz Ag Method and system for automatically landing containers on a landing target using a container crane
CN105438993A (zh) * 2014-09-24 2016-03-30 西门子公司 自动地光学确定集装箱吊具的目标位置的方法和系统
JP2019142670A (ja) * 2018-02-21 2019-08-29 中国電力株式会社 クレーン設備
JP7316025B2 (ja) 2018-02-21 2023-07-27 中国電力株式会社 クレーン設備
KR20210087989A (ko) * 2018-11-14 2021-07-13 에이비비 슈바이쯔 아게 랜딩 타겟에 컨테이너를 로딩하는 시스템 및 방법
CN113165853A (zh) * 2018-11-14 2021-07-23 Abb瑞士股份有限公司 将集装箱装载在着落目标上的系统和方法
KR102581928B1 (ko) * 2018-11-14 2023-09-22 에이비비 슈바이쯔 아게 랜딩 타겟에 컨테이너를 로딩하는 시스템 및 방법
CN113165853B (zh) * 2018-11-14 2024-03-01 Abb瑞士股份有限公司 将集装箱装载在着落目标上的系统和方法
JP2021022217A (ja) * 2019-07-29 2021-02-18 株式会社五合 警備システム及び警備方法

Also Published As

Publication number Publication date
JP5689534B2 (ja) 2015-03-25
JPWO2013046941A1 (ja) 2015-03-26
TW201319517A (zh) 2013-05-16

Similar Documents

Publication Publication Date Title
WO2013046941A1 (ja) 物体検出装置を搭載する天井クレーン
EP3235773B1 (en) Surrounding information-obtaining device for working vehicle
CN107428515B (zh) 用于定位夹持部件的方法、负载操纵装置和计算机可读存储器部件
US20140285667A1 (en) Vehicle periphery monitoring device
CN104318206B (zh) 一种障碍物检测方法和装置
CN102862915A (zh) 性能曲线显示装置
WO2019062163A1 (en) OBJECT TRACKING METHOD, OBJECT TRACKING APPARATUS, VEHICLE BEING EQUIPPED, AND COMPUTER PROGRAM PRODUCT
JP2016120892A (ja) 立体物検出装置、立体物検出方法および立体物検出プログラム
JP2016205887A (ja) 路面勾配検出装置
WO2014073571A1 (ja) 自走式産業機械の画像処理装置および自走式産業機械の画像処理方法
CN107045620A (zh) 图像处理设备和图像处理方法
US11530119B2 (en) Guide information display device, crane equipped with same, and guide information display method
US10902632B2 (en) Position detection apparatus and position detection method
JP2012203794A (ja) 移動体検知システム
CN104657997B (zh) 一种镜头移位检测方法及装置
CN109219956A (zh) 监视装置
JP5034809B2 (ja) 車両用路面状態推定装置
JP6080450B2 (ja) 監視カメラ装置
JP5631834B2 (ja) 物体検出装置を搭載する移動体
JP6860445B2 (ja) 物体距離検出装置
JP2014169184A (ja) 作業車の周囲情報取得装置
JPH06347220A (ja) 画像監視装置とその使用方法
JP3586938B2 (ja) 車載用距離測定装置
JP2017121856A (ja) 画像処理装置
JP5631833B2 (ja) 物体検出装置を搭載する移動体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12837422

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013536043

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12837422

Country of ref document: EP

Kind code of ref document: A1