JP6386213B2 - Excavator - Google Patents
Excavator Download PDFInfo
- Publication number
- JP6386213B2 JP6386213B2 JP2013104506A JP2013104506A JP6386213B2 JP 6386213 B2 JP6386213 B2 JP 6386213B2 JP 2013104506 A JP2013104506 A JP 2013104506A JP 2013104506 A JP2013104506 A JP 2013104506A JP 6386213 B2 JP6386213 B2 JP 6386213B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance
- pixel
- output
- excavator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Component Parts Of Construction Machinery (AREA)
- Measurement Of Optical Distance (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
本発明は、二次元配列の距離情報を利用して出力画像を生成するショベルに関する。 The present invention relates to a shovel that generates an output image using distance information of a two-dimensional array.
従来、ショベルの上部旋回体に取り付けられるレーザレーダを用いて、ショベルの周囲に存在する物体のショベルに対する距離及び方向を取得しながら周囲を監視する周囲監視装置が知られている(例えば、特許文献1参照。)。 2. Description of the Related Art Conventionally, there has been known an ambient monitoring device that monitors the surroundings while acquiring the distance and direction of an object existing around the excavator using a laser radar attached to the upper revolving unit of the excavator (for example, Patent Documents). 1).
この周囲監視装置は、物体のショベルに対する距離及び方向が所定時間にわたって変化しない場合にその物体を静止障害物と判定し、距離及び方向が変化する場合にその物体を移動障害物と判定する。その上で、周囲監視装置は、ショベル及びその周囲を上空から見たイラスト画像を生成し、障害物の実在位置に対応するイラスト画像上の位置にその障害物を表すイラストを表示する。また、周囲監視装置は、静止障害物と移動障害物とを異なる態様のイラストで表示する。 The surrounding monitoring apparatus determines that an object is a stationary obstacle when the distance and direction of the object to the excavator do not change over a predetermined time, and determines that the object is a moving obstacle when the distance and direction change. Then, the surroundings monitoring device generates an illustration image of the excavator and the surroundings viewed from above, and displays an illustration representing the obstacle at a position on the illustration image corresponding to the actual position of the obstacle. In addition, the surrounding monitoring device displays the stationary obstacle and the moving obstacle with different illustrations.
このようにして、周囲監視装置は、ショベルの周囲の障害物の状況を運転者に分かり易く伝えることができるようにしている。 In this way, the surrounding monitoring device can inform the driver of the state of obstacles around the excavator in an easy-to-understand manner.
しかしながら、特許文献1に記載のレーザレーダは、1本のレーザ光を物体に照射し、その反射光から物体の距離及び方向を検出する。そのため、特許文献1に記載のレーザレーダは、物体表面の極めて限られた部分と自身との間の距離を検出するのみであり、その検出結果は、物体を表すイラストの位置を大まかに決めるために利用されるのみである。したがって、特許文献1に記載の周囲監視装置が提示する出力画像は、ショベルの周囲の障害物の状況を運転者に分かり易く伝えるには未だ不十分である。 However, the laser radar described in Patent Document 1 irradiates an object with one laser beam and detects the distance and direction of the object from the reflected light. Therefore, the laser radar described in Patent Document 1 only detects the distance between the extremely limited portion of the object surface and itself, and the detection result roughly determines the position of the illustration representing the object. It is only used for Therefore, the output image presented by the surrounding monitoring device described in Patent Document 1 is still insufficient to convey the state of the obstacle around the excavator to the driver in an easily understandable manner.
上述の点に鑑み、本発明は、周囲の地物、特に崖、陥没部、斜面、穴等の状況をより分かり易く操作者に伝えることができるショベルを提供することを目的とする。 In view of the above-described points, an object of the present invention is to provide an excavator that can easily convey to the operator the surrounding features such as cliffs, depressions, slopes, and holes.
本発明の実施例に係るショベルは、下部走行体と、前記下部走行体に旋回可能に搭載される上部旋回体と、前記上部旋回体に取り付けられるアタッチメントと、前記上部旋回体に搭載される運転室と、前記運転室内に取り付けられる表示部と、前記上部旋回体に取り付けられるステレオカメラと、前記ステレオカメラが撮像した入力距離画像に基づいて出力距離画像を生成し、且つ、該出力距離画像を前記表示部に表示する制御部と、を有するショベルであって、前記制御部は、前記入力距離画像における画素の画素値のうち、前記下部走行体の接地面を含む仮想平面上の該画素に対応する点と前記ステレオカメラとの間の仮想的な距離の値以上の画素値であって、前記画素値に対応する実際の距離の値と前記仮想的な距離の値との差が所定距離の値未満の画素値を、所定値で置き換えて前記入力距離画像を補正する。
An excavator according to an embodiment of the present invention includes a lower traveling body, an upper swinging body that is turnably mounted on the lower traveling body, an attachment that is attached to the upper swinging body, and an operation that is mounted on the upper swinging body. Generating an output distance image based on an input distance image captured by the stereo camera, a display unit attached to the cab, a display unit attached to the driver's cab, a stereo camera attached to the upper swing body, and the output distance image A control unit for displaying on the display unit, wherein the control unit applies the pixel value of the pixel in the input distance image to the pixel on a virtual plane including the ground plane of the lower traveling body. a virtual value or more pixel values of the distance between the corresponding points and the stereo camera, the difference between the actual value and the value of the virtual distance of the distance corresponding to the pixel value is given The pixel values less than the release value, corrects the input range image is replaced with a predetermined value.
上述の手段により、本発明は、周囲の地物、特に崖、陥没部、斜面、穴等の状況をより分かり易く操作者に伝えることができるショベルを提供することができる。 By the above-described means, the present invention can provide an excavator that can convey the surrounding features, particularly cliffs, depressions, slopes, holes, and the like to the operator more easily.
以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。 Hereinafter, the best mode for carrying out the present invention will be described with reference to the drawings.
図1は、本発明の実施例に係る画像生成装置100の構成例を概略的に示すブロック図である。 FIG. 1 is a block diagram schematically illustrating a configuration example of an image generation apparatus 100 according to an embodiment of the present invention.
画像生成装置100は、作業機械の周辺を監視する作業機械用周辺監視装置の1例であり、制御部1、カメラ2、入力部3、記憶部4、表示部5、及びステレオカメラ6で構成される。具体的には、画像生成装置100は、作業機械に搭載されたカメラ2が撮像した入力画像とステレオカメラ6が出力する入力距離画像とに基づいて出力画像を生成しその出力画像を操作者に提示する。 The image generation apparatus 100 is an example of a work machine periphery monitoring apparatus that monitors the periphery of the work machine, and includes a control unit 1, a camera 2, an input unit 3, a storage unit 4, a display unit 5, and a stereo camera 6. Is done. Specifically, the image generation device 100 generates an output image based on the input image captured by the camera 2 mounted on the work machine and the input distance image output by the stereo camera 6, and outputs the output image to the operator. Present.
図2は、画像生成装置100が搭載される作業機械としてのショベル60の構成例を示す図であり、ショベル60は、クローラ式の下部走行体61の上に、旋回機構62を介して、上部旋回体63を旋回軸PVの周りで旋回自在に搭載している。 FIG. 2 is a diagram illustrating a configuration example of an excavator 60 as a work machine on which the image generating apparatus 100 is mounted. The excavator 60 is placed on a crawler-type lower traveling body 61 via a turning mechanism 62. A swing body 63 is mounted so as to be swingable around a swing axis PV.
また、上部旋回体63は、その前方左側部にキャブ(運転室)64を備え、その前方中央部に掘削アタッチメントEを備え、その右側面及び後面にカメラ2(右側方カメラ2R、後方カメラ2B)及びステレオカメラ6(右側方ステレオカメラ6R、後方ステレオカメラ6B)を備えている。なお、キャブ64内の操作者が視認し易い位置には表示部5が設置されている。 The upper swing body 63 includes a cab (operator's cab) 64 on the front left side, a drilling attachment E on the front center, and the camera 2 (right camera 2R, rear camera 2B) on the right and rear surfaces. ) And a stereo camera 6 (right-side stereo camera 6R, rear stereo camera 6B). In addition, the display part 5 is installed in the position in the cab 64 where the operator is easy to visually recognize.
次に、画像生成装置100の各構成要素について説明する。 Next, each component of the image generation apparatus 100 will be described.
制御部1は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、NVRAM(Non-Volatile Random Access Memory)等を備えたコンピュータであって、例えば、後述する座標対応付け手段10、画像生成手段11、画素抽出手段12、距離補正手段13、距離画像合成手段14、及び、運転支援手段15のそれぞれに対応するプログラムをROMやNVRAMに記憶し、一時記憶領域としてRAMを利用しながら各手段に対応する処理をCPUに実行させる。 The control unit 1 is a computer including a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), an NVRAM (Non-Volatile Random Access Memory), etc. The program corresponding to each of the attaching means 10, the image generating means 11, the pixel extracting means 12, the distance correcting means 13, the distance image synthesizing means 14, and the driving support means 15 is stored in a ROM or NVRAM, and the RAM is used as a temporary storage area. The CPU is caused to execute processing corresponding to each means while using.
カメラ2は、ショベル60の周囲を映し出す入力画像を取得するための装置であり、例えば、キャブ64にいる操作者の死角となる領域を撮像できるよう上部旋回体63の右側面及び後面に取り付けられる(図2参照。)、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を備えた右側方カメラ2R及び後方カメラ2Bである。なお、カメラ2は、上部旋回体63の右側面及び後面以外の位置(例えば、前面及び左側面である。)に取り付けられていてもよく、広い範囲を撮像できるよう広角レンズ又は魚眼レンズが装着されていてもよい。 The camera 2 is a device for acquiring an input image that reflects the surroundings of the excavator 60, and is attached to the right side surface and the rear surface of the upper swing body 63 so that, for example, an area that is a blind spot of the operator in the cab 64 can be imaged. (See FIG. 2), a right side camera 2R and a rear camera 2B provided with an image sensor such as a CCD (Charge Coupled Device) and a CMOS (Complementary Metal Oxide Semiconductor). The camera 2 may be attached to a position other than the right side and the rear side of the upper swing body 63 (for example, the front side and the left side), and a wide-angle lens or a fisheye lens is attached so as to capture a wide range. It may be.
また、カメラ2は、制御部1からの制御信号に応じて入力画像を取得し、取得した入力画像を制御部1に対して出力する。なお、カメラ2は、魚眼レンズ又は広角レンズを用いて入力画像を取得した場合には、それらレンズを用いることによって生じる見掛け上の歪曲やアオリを補正した補正済みの入力画像を制御部1に対して出力するが、その見掛け上の歪曲やアオリを補正していない入力画像をそのまま制御部1に対して出力してもよい。その場合には、制御部1がその見掛け上の歪曲やアオリを補正することとなる。 In addition, the camera 2 acquires an input image according to a control signal from the control unit 1 and outputs the acquired input image to the control unit 1. In addition, when the camera 2 acquires an input image using a fisheye lens or a wide-angle lens, the corrected input image obtained by correcting apparent distortion and tilt caused by using these lenses is transmitted to the control unit 1. Although it is output, an input image in which the apparent distortion or tilt is not corrected may be output to the control unit 1 as it is. In that case, the control unit 1 corrects the apparent distortion and tilt.
入力部3は、操作者が画像生成装置100に対して各種情報を入力できるようにするための装置であり、例えば、タッチパネル、ボタンスイッチ、ポインティングデバイス、キーボード等である。 The input unit 3 is a device that allows an operator to input various types of information to the image generation device 100, and is, for example, a touch panel, a button switch, a pointing device, a keyboard, or the like.
記憶部4は、各種情報を記憶するための装置であり、例えば、ハードディスク、光学ディスク、又は半導体メモリ等である。 The storage unit 4 is a device for storing various types of information, and is, for example, a hard disk, an optical disk, or a semiconductor memory.
表示部5は、画像情報を表示するための装置であり、例えば、ショベル60のキャブ64(図2参照。)内に設置された液晶ディスプレイ又はプロジェクタ等であって、制御部1が出力する各種画像を表示する。 The display unit 5 is a device for displaying image information. For example, the display unit 5 is a liquid crystal display, a projector, or the like installed in the cab 64 (see FIG. 2) of the excavator 60. Display an image.
ステレオカメラ6は、ショベル60の周囲に存在する物体の距離情報の二次元配列を取得するための装置であり、例えば、キャブ64にいる操作者の死角となる領域を撮像できるよう上部旋回体63の右側面及び後面に取り付けられる(図2参照。)。なお、ステレオカメラ6は、上部旋回体63の前面、左側面、右側面、及び後面のうちの何れか1つに取り付けられていてもよく、全ての面に取り付けられていてもよい。 The stereo camera 6 is a device for obtaining a two-dimensional array of distance information of objects existing around the excavator 60. For example, the upper turning body 63 can capture an image of a blind spot of an operator in the cab 64. Are attached to the right side and the rear side (see FIG. 2). In addition, the stereo camera 6 may be attached to any one of the front surface, the left side surface, the right side surface, and the rear surface of the upper swing body 63, or may be attached to all the surfaces.
ステレオカメラ6は、複数台のカメラの撮像機能を備える装置である。本実施例では、ステレオカメラ6は、2台のカメラの撮像機能を一体的に備える装置であり、2組の撮像機構(撮像素子とレンズ機構との組み合わせ)と、1つの共用シャッタ機構とを1つの筐体内に備える。但し、ステレオカメラ6は、別個独立の複数台のカメラによって構成されてもよい。 The stereo camera 6 is a device having an imaging function of a plurality of cameras. In this embodiment, the stereo camera 6 is an apparatus that integrally includes the imaging functions of two cameras, and includes two sets of imaging mechanisms (a combination of an imaging element and a lens mechanism) and one shared shutter mechanism. Provided in one housing. However, the stereo camera 6 may be configured by a plurality of separate and independent cameras.
また、ステレオカメラ6における複数組の撮像機構は、互いに所定の間隔を空けて配置される。本実施例では、2組の撮像機構は、縦方向(鉛直方向)に所定の間隔を空けて並置される。なお、2組の撮像機構は、横方向(水平方向)に所定の間隔を空けて並置されてもよく、縦方向(鉛直方向)及び横方向(水平方向)のそれぞれで所定の間隔を空けて並置されてもよい。 In addition, the plurality of sets of imaging mechanisms in the stereo camera 6 are arranged at a predetermined interval from each other. In the present embodiment, the two sets of imaging mechanisms are juxtaposed at a predetermined interval in the vertical direction (vertical direction). Note that the two sets of imaging mechanisms may be juxtaposed with a predetermined interval in the horizontal direction (horizontal direction), with a predetermined interval in each of the vertical direction (vertical direction) and the horizontal direction (horizontal direction). They may be juxtaposed.
また、ステレオカメラ6は、カメラ2が画素毎に輝度、色相値、彩度値等を取得するのに対し、画素毎に距離情報を取得する。本実施例では、ステレオカメラ6は、2組の撮像機構のそれぞれが出力する画像間の視差に基づいて、1つの撮像機構が出力する画像(以下、「基本画像」とする。)の各画素に写る物体とステレオカメラ6との間の距離を導き出す。そして、ステレオカメラ6は、基本画像の各画素の値にその導き出した距離を代入して二次元配列の距離情報を生成し、制御部1に対して出力する。そのため、以下では、ステレオカメラ6による二次元配列の距離情報は、カメラ2の入力画像、出力画像と対比させ、入力距離画像、出力距離画像と称する。また、ステレオカメラ6の入力距離画像、出力距離画像の解像度(画素数)は、カメラ2の入力画像、出力画像における解像度と同じであってもよく、異なるものであってもよい。また、カメラ2の入力画像、出力画像における1又は複数の画素と、ステレオカメラ6の入力距離画像、出力距離画像における1又は複数の画素とは予め対応付けられていてもよい。また、入力距離画像は、ステレオカメラ6の各撮像機構が出力する複数の画像に基づいて制御部1が生成してもよい。 In addition, the stereo camera 6 acquires distance information for each pixel, while the camera 2 acquires luminance, hue value, saturation value, and the like for each pixel. In the present embodiment, the stereo camera 6 has each pixel of an image (hereinafter referred to as “basic image”) output by one imaging mechanism based on the parallax between images output by each of the two sets of imaging mechanisms. The distance between the object reflected on the camera and the stereo camera 6 is derived. Then, the stereo camera 6 substitutes the derived distance into the value of each pixel of the basic image to generate two-dimensional array distance information, and outputs the distance information to the control unit 1. Therefore, hereinafter, the distance information of the two-dimensional array by the stereo camera 6 is referred to as an input distance image and an output distance image by comparing with the input image and the output image of the camera 2. Further, the resolution (number of pixels) of the input distance image and output distance image of the stereo camera 6 may be the same as or different from the resolution of the input image and output image of the camera 2. In addition, one or more pixels in the input image and output image of the camera 2 may be associated in advance with one or more pixels in the input distance image and output distance image of the stereo camera 6. Further, the input distance image may be generated by the control unit 1 based on a plurality of images output by each imaging mechanism of the stereo camera 6.
また、ステレオカメラ6を構成する複数の撮像機構のそれぞれの入力画像平面は、望ましくは互いに平行であり、最も望ましくは同一平面を形成する。視差から距離を導き出すための処理が容易且つ高精度に行われ得るためである。 Also, the input image planes of the plurality of imaging mechanisms constituting the stereo camera 6 are preferably parallel to each other, and most preferably form the same plane. This is because the process for deriving the distance from the parallax can be performed easily and with high accuracy.
また、ステレオカメラ6は、カメラ2と同様、上部旋回体63の右側面及び後面以外の位置(例えば、前面及び左側面である。)に取り付けられてもよく、広い範囲を撮像できるよう広角レンズ又は魚眼レンズが装着されてもよい。 Similarly to the camera 2, the stereo camera 6 may be attached to a position other than the right side and the rear side of the upper swing body 63 (for example, the front side and the left side), and a wide-angle lens that can capture a wide range. Or a fisheye lens may be attached.
また、ステレオカメラ6は、カメラ2と同様、制御部1からの制御信号に応じて入力距離画像を取得し、取得した入力距離画像を制御部1に対して出力する。なお、ステレオカメラ6は、カメラ2と同様、魚眼レンズ又は広角レンズを用いて入力距離画像を取得した場合には、それらレンズを用いることによって生じる見掛け上の歪曲やアオリを補正した補正済みの入力距離画像を制御部1に対して出力するが、その見掛け上の歪曲やアオリを補正していない入力距離画像をそのまま制御部1に対して出力してもよい。その場合には、制御部1がその見掛け上の歪曲やアオリを補正することとなる。 Similarly to the camera 2, the stereo camera 6 acquires an input distance image according to a control signal from the control unit 1, and outputs the acquired input distance image to the control unit 1. Similarly to the camera 2, when the stereo camera 6 acquires an input distance image using a fish-eye lens or a wide-angle lens, the corrected input distance corrected for apparent distortion and tilt caused by using these lenses. Although the image is output to the control unit 1, the input distance image that is not corrected for the apparent distortion and tilt may be output to the control unit 1 as it is. In that case, the control unit 1 corrects the apparent distortion and tilt.
また、画像生成装置100は、入力画像に基づいて処理対象画像を生成し、その処理対象画像に画像変換処理を施すことによって周囲の地物との位置関係や距離感を直感的に把握できるようにする出力画像を生成した上で、その出力画像を操作者に提示するようにしてもよい。 In addition, the image generation apparatus 100 generates a processing target image based on the input image, and performs an image conversion process on the processing target image so that the positional relationship with the surrounding features and a sense of distance can be intuitively grasped. An output image to be generated may be generated, and the output image may be presented to the operator.
画像生成装置100は、入力距離画像についても同様の処理を行う。その場合、処理対象画像は、処理対象距離画像で読み替えられる。以下の記載においても同様である。 The image generating apparatus 100 performs the same process on the input distance image. In this case, the processing target image is replaced with the processing target distance image. The same applies to the following description.
「処理対象画像」は、入力画像に基づいて生成される、画像変換処理(例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。)の対象となる画像であり、例えば、地表を上方から撮像するカメラによる入力画像であってその広い画角により水平方向の画像(例えば、空の部分である。)を含む入力画像を画像変換処理で用いる場合に、その水平方向の画像が不自然に表示されないよう(例えば、空の部分が地表にあるものとして扱われないよう)その入力画像を所定の空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することによって得られる、画像変換処理に適した画像である。なお、処理対象画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。 The “processing target image” is an image that is generated based on an input image and that is a target of image conversion processing (for example, scale conversion, affine conversion, distortion conversion, viewpoint conversion processing, etc.). When an input image including a horizontal image (for example, an empty portion) is used in an image conversion process with an image captured from above by a camera that captures the image from above, the horizontal image is The input image is projected onto a predetermined spatial model so that it is not unnaturally displayed (for example, the sky part is not treated as being on the ground surface), and then the projected image projected onto the spatial model is changed to another two. It is an image suitable for image conversion processing, which is obtained by reprojecting onto a dimensional plane. The processing target image may be used as an output image as it is without performing an image conversion process.
「空間モデル」は、少なくとも、処理対象画像が位置する平面である処理対象画像平面以外の平面又は曲面(例えば、処理対象画像平面に平行な平面、又は、処理対象画像平面との間で角度を形成する平面若しくは曲面である。)を含む、一又は複数の平面若しくは曲面で構成される、入力画像の投影対象である。 The “spatial model” is a plane or curved surface other than the processing target image plane that is the plane on which the processing target image is located (for example, a plane parallel to the processing target image plane or an angle with the processing target image plane). A plane or a curved surface to be formed), and a projection target of an input image composed of one or a plurality of planes or curved surfaces.
なお、画像生成装置100は、処理対象画像を生成することなく、その空間モデルに投影された投影画像に画像変換処理を施すことによって出力画像を生成するようにしてもよい。また、投影画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。 Note that the image generation apparatus 100 may generate an output image by performing image conversion processing on the projection image projected on the space model without generating a processing target image. Further, the projection image may be used as an output image as it is without being subjected to image conversion processing.
図3は、入力画像が投影される空間モデルMDの一例を示す図であり、図3(A)は、ショベル60を側方から見たときのショベル60と空間モデルMDとの間の関係を示し、図3(B)は、ショベル60を上方から見たときのショベル60と空間モデルMDとの間の関係を示す。 FIG. 3 is a diagram illustrating an example of a spatial model MD onto which an input image is projected. FIG. 3A illustrates a relationship between the excavator 60 and the spatial model MD when the excavator 60 is viewed from the side. FIG. 3B shows the relationship between the excavator 60 and the space model MD when the excavator 60 is viewed from above.
図3で示されるように、空間モデルMDは、半円筒形状を有し、その底面内部の平面領域R1とその側面内部の曲面領域R2とを有する。 As shown in FIG. 3, the space model MD has a semi-cylindrical shape, and includes a planar region R1 inside the bottom surface and a curved region R2 inside the side surface.
また、図4は、空間モデルMDと処理対象画像平面との間の関係の一例を示す図であり、処理対象画像平面R3は、例えば、空間モデルMDの平面領域R1を含む平面である。なお、図4は、明確化のために、空間モデルMDを、図3で示すような半円筒形状ではなく、円筒形状で示しているが、空間モデルMDは、半円筒形状及び円筒形状の何れであってもよいものとする。以降の図においても同様である。また、処理対象画像平面R3は、上述のように、空間モデルMDの平面領域R1を含む円形領域であってもよく、空間モデルMDの平面領域R1を含まない環状領域であってもよい。 FIG. 4 is a diagram illustrating an example of a relationship between the space model MD and the processing target image plane, and the processing target image plane R3 is a plane including the plane area R1 of the space model MD, for example. 4 shows the space model MD not in a semi-cylindrical shape as shown in FIG. 3 but in a cylindrical shape for the sake of clarity, the space model MD may be either a semi-cylindrical shape or a cylindrical shape. It may be. The same applies to the subsequent drawings. Further, as described above, the processing target image plane R3 may be a circular area including the plane area R1 of the spatial model MD, or may be an annular area not including the plane area R1 of the spatial model MD.
次に、制御部1が有する各種手段について説明する。 Next, various units included in the control unit 1 will be described.
座標対応付け手段10は、カメラ2が撮像した入力画像が位置する入力画像平面上の座標と、空間モデルMD上の座標と、処理対象画像平面R3上の座標とを対応付けるための手段であり、例えば、予め設定された、或いは、入力部3を介して入力される、カメラ2の光学中心、焦点距離、CCDサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等のカメラ2に関する各種パラメータと、予め決定された、入力画像平面、空間モデルMD、及び処理対象画像平面R3の相互の位置関係とに基づいて、入力画像平面上の座標と、空間モデルMD上の座標と、処理対象画像平面R3上の座標とを対応付け、それらの対応関係を記憶部4の入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41に記憶する。 The coordinate association means 10 is a means for associating coordinates on the input image plane where the input image captured by the camera 2 is located, coordinates on the space model MD, and coordinates on the processing target image plane R3. For example, various parameters relating to the camera 2 such as optical center, focal length, CCD size, optical axis direction vector, camera horizontal direction vector, projection method, etc., which are set in advance or input via the input unit 3 And the coordinates on the input image plane, the coordinates on the space model MD, and the processing target image based on the predetermined positional relationship among the input image plane, the spatial model MD, and the processing target image plane R3. The coordinates on the plane R3 are associated with each other, and the corresponding relationship is stored in the input image / space model correspondence map 40 and the space model / processing object image correspondence map 41 of the storage unit 4. .
なお、座標対応付け手段10は、処理対象画像を生成しない場合には、空間モデルMD上の座標と処理対象画像平面R3上の座標との対応付け、及び、その対応関係の空間モデル・処理対象画像対応マップ41への記憶を省略する。 When the processing target image is not generated, the coordinate association unit 10 associates the coordinates on the spatial model MD with the coordinates on the processing target image plane R3, and the spatial model / processing target of the corresponding relationship. The storage in the image correspondence map 41 is omitted.
また、座標対応付け手段10は、ステレオカメラが出力する入力距離画像に対しても同様の処理を行う。その場合、カメラ、入力画像平面、処理対象画像平面は、ステレオカメラ、入力距離画像平面、処理対象距離画像平面で読み替えられる。以下の記載においても同様である。 In addition, the coordinate association unit 10 performs the same process on the input distance image output from the stereo camera. In this case, the camera, the input image plane, and the processing target image plane are replaced with the stereo camera, the input distance image plane, and the processing target distance image plane. The same applies to the following description.
画像生成手段11は、出力画像を生成するための手段であり、例えば、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって、処理対象画像平面R3上の座標と出力画像が位置する出力画像平面上の座標とを対応付け、その対応関係を記憶部4の処理対象画像・出力画像対応マップ42に記憶し、座標対応付け手段10がその値を記憶した入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値(例えば、輝度値、色相値、彩度値等である。)と入力画像における各画素の値とを関連付けて出力画像を生成する。 The image generation unit 11 is a unit for generating an output image. For example, by performing scale conversion, affine conversion, or distortion conversion on the processing target image, the coordinates on the processing target image plane R3 and the output image are positioned. Corresponding to the coordinates on the output image plane to be processed, the correspondence relationship is stored in the processing target image / output image correspondence map 42 of the storage unit 4, and the coordinate correspondence means 10 stores the value corresponding to the input image / spatial model With reference to the map 40 and the spatial model / processing target image correspondence map 41, the value of each pixel in the output image (for example, the luminance value, hue value, saturation value, etc.) and the value of each pixel in the input image To generate an output image.
また、画像生成手段11は、予め設定された、或いは、入力部3を介して入力される、仮想カメラの光学中心、焦点距離、CCDサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等の各種パラメータに基づいて、処理対象画像平面R3上の座標と出力画像が位置する出力画像平面上の座標とを対応付け、その対応関係を記憶部4の処理対象画像・出力画像対応マップ42に記憶し、座標対応付け手段10がその値を記憶した入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値(例えば、輝度値、色相値、彩度値等である。)と入力画像における各画素の値とを関連付けて出力画像を生成する。 Further, the image generation means 11 is preset or input via the input unit 3, the optical center of the virtual camera, focal length, CCD size, optical axis direction vector, camera horizontal direction vector, projection method, etc. The coordinates on the processing target image plane R3 and the coordinates on the output image plane on which the output image is located are associated with each other on the basis of the various parameters, and the corresponding relationship is stored in the processing target image / output image correspondence map 42 of the storage unit 4. With reference to the input image / spatial model correspondence map 40 and the spatial model / processing target image correspondence map 41 stored and stored in the coordinate matching means 10, the value of each pixel (for example, luminance value, A hue value, a saturation value, etc.) and the value of each pixel in the input image are associated with each other to generate an output image.
なお、画像生成手段11は、仮想カメラの概念を用いることなく、処理対象画像のスケールを変更して出力画像を生成するようにしてもよい。 Note that the image generation unit 11 may generate the output image by changing the scale of the processing target image without using the concept of the virtual camera.
また、画像生成手段11は、処理対象画像を生成しない場合には、施した画像変換処理に応じて空間モデルMD上の座標と出力画像平面上の座標とを対応付け、入力画像・空間モデル対応マップ40を参照しながら、出力画像における各画素の値(例えば、輝度値、色相値、彩度値等である。)と入力画像における各画素の値とを関連付けて出力画像を生成する。この場合、画像生成手段11は、処理対象画像平面R3上の座標と出力画像平面上の座標との対応付け、及び、その対応関係の処理対象画像・出力画像対応マップ42への記憶を省略する。 Further, when the image generation unit 11 does not generate the processing target image, the image generation unit 11 associates the coordinates on the space model MD with the coordinates on the output image plane in accordance with the applied image conversion processing, and supports the input image / space model. While referring to the map 40, the output image is generated by associating the value of each pixel in the output image (for example, luminance value, hue value, saturation value, etc.) with the value of each pixel in the input image. In this case, the image generation unit 11 omits the association between the coordinates on the processing target image plane R3 and the coordinates on the output image plane and the storage of the correspondence relationship in the processing target image / output image correspondence map 42. .
また、画像生成手段11は、入力距離画像又は処理対象距離画像に対しても同様の処理を行う。その場合、出力画像平面は、出力距離画像平面で読み替えられる。以下の記載においても同様である。 The image generation unit 11 performs the same process on the input distance image or the processing target distance image. In that case, the output image plane is read as the output distance image plane. The same applies to the following description.
画素抽出手段12は、ステレオカメラ6の入力距離画像から所定の条件を満たす画素を抽出するための手段である。例えば、画素抽出手段12は、入力距離画像における、ショベル60の周囲の地物とステレオカメラ6との間の距離を表す画素値を有する画素から所定の条件を満たす画素を抽出する。 The pixel extraction unit 12 is a unit for extracting pixels that satisfy a predetermined condition from the input distance image of the stereo camera 6. For example, the pixel extraction unit 12 extracts a pixel that satisfies a predetermined condition from pixels having a pixel value representing a distance between a feature around the excavator 60 and the stereo camera 6 in the input distance image.
具体的には、画素抽出手段12は、ショベル60が位置する平面(以下、「設置面」とする。)とステレオカメラ6との間の距離(以下、「設置面距離」とする。)との差が所定距離以上となる画素を抽出する。なお、設置面は、傾斜面であってもよい。また、設置面距離は、ステレオカメラ6の設置位置及び設置角度に基づいて、ステレオカメラ6の入力距離画像における画素毎に予め設定される。そして、画素抽出手段12は、抽出しなかった画素の画素値を所定値(例えば、最小値としてのゼロである。)で置き換え、抽出した画素の画素値をそのまま維持することによって入力距離画像を補正する。なお、画素抽出手段12についてはその詳細を後述する。 Specifically, the pixel extraction means 12 is a distance between the plane (hereinafter referred to as “installation surface”) on which the excavator 60 is located and the stereo camera 6 (hereinafter referred to as “installation surface distance”). Pixels whose difference is equal to or greater than a predetermined distance are extracted. The installation surface may be an inclined surface. The installation plane distance is set in advance for each pixel in the input distance image of the stereo camera 6 based on the installation position and installation angle of the stereo camera 6. Then, the pixel extraction unit 12 replaces the pixel value of the pixel that has not been extracted with a predetermined value (for example, zero as the minimum value), and maintains the pixel value of the extracted pixel as it is, thereby obtaining the input distance image. to correct. Details of the pixel extracting means 12 will be described later.
距離補正手段13は、ステレオカメラが取得する距離情報を補正するための手段である。例えば、距離補正手段13は、画像抽出手段12が抽出した画素の値を補正する。具体的には、距離補正手段13は、ショベル60の周囲の地物とステレオカメラ6との間の距離を表す画素の値を、ステレオカメラ6の外部にある基準とその地物との間の距離を表す値に補正する。また、距離補正手段13は、画像抽出手段12による抽出の前に、ステレオカメラ6が出力する入力距離画像における画素の値を補正してもよい。なお、距離補正手段13についてはその詳細を後述する。 The distance correction unit 13 is a unit for correcting the distance information acquired by the stereo camera. For example, the distance correction unit 13 corrects the pixel value extracted by the image extraction unit 12. Specifically, the distance correction means 13 determines the pixel value representing the distance between the feature around the excavator 60 and the stereo camera 6 between the reference outside the stereo camera 6 and the feature. Correct the value to represent the distance. Further, the distance correction unit 13 may correct the pixel value in the input distance image output from the stereo camera 6 before extraction by the image extraction unit 12. Details of the distance correction means 13 will be described later.
距離画像合成手段14は、カメラに関する画像と、ステレオカメラに関する画像とを合成するための手段である。例えば、距離画像合成手段14は、画像生成手段11が生成した、カメラ2の入力画像に基づく出力画像と、ステレオカメラ6の入力距離画像に基づく出力距離画像とを合成する。出力距離画像は、画像抽出手段12による抽出、及び、距離補正手段13による補正の少なくとも一方が施された後の出力距離画像である。但し、出力距離画像は、画像抽出手段12による抽出、及び、距離補正手段13による補正が施される前の出力距離画像であってもよい。なお、距離画像合成手段14についてはその詳細を後述する。 The distance image synthesizing unit 14 is a unit for synthesizing an image related to the camera and an image related to the stereo camera. For example, the distance image synthesis unit 14 synthesizes the output image based on the input image of the camera 2 and the output distance image based on the input distance image of the stereo camera 6 generated by the image generation unit 11. The output distance image is an output distance image that has been subjected to at least one of extraction by the image extraction unit 12 and correction by the distance correction unit 13. However, the output distance image may be an output distance image before extraction by the image extraction unit 12 and correction by the distance correction unit 13. Details of the distance image synthesis means 14 will be described later.
運転支援手段15は、ショベル60の運転を支援する手段である。例えば、運転支援手段15は、ショベル60の移動方向に所定の地物が存在すると判定した場合にショベル60の運転を支援する機能を実行する。 The driving support means 15 is a means for supporting the driving of the excavator 60. For example, the driving support means 15 performs a function of supporting the driving of the excavator 60 when it is determined that a predetermined feature exists in the moving direction of the excavator 60.
「所定の地物」は、例えば、ショベル60と衝突するおそれのある作業員等の人物、ショベル60の移動を阻む障害物、ショベル60を滑落、転倒、或いは立ち往生させるおそれのある崖、陥没部、斜面、穴等を含む。 “Predetermined features” include, for example, a person such as a worker who may collide with the excavator 60, an obstacle that prevents the excavator 60 from moving, a cliff that may cause the excavator 60 to slide down, fall over, or get stuck. , Including slopes, holes, etc.
運転を支援する機能(以下、「運転支援機能」とする。)は、例えば、警報の出力、表示部5における警告の表示、警告灯の点灯・点滅、ショベル60の減速、ショベル60の走行速度の制限、ショベル60の走行の停止等を含む。 Functions that support driving (hereinafter referred to as “driving support functions”) include, for example, output of alarms, display of warnings on the display unit 5, lighting / flashing of warning lights, deceleration of the shovel 60, and travel speed of the shovel 60. Restrictions, stoppage of excavator 60 travel, and the like.
具体的には、運転支援手段15は、ショベル60が移動(後退)しているときにショベル60の移動方向(後方)に崖があると判定した場合に、表示部5に崖の存在を知らせる警告を表示する。なお、ショベル60の移動方向は、例えば、操作レバーの操作内容(例えば、操作方向、操作量等である。)に基づいて検出される。 Specifically, when it is determined that there is a cliff in the moving direction (backward) of the excavator 60 when the excavator 60 is moving (retreating), the driving support means 15 notifies the display unit 5 of the presence of the cliff. Display a warning. The moving direction of the excavator 60 is detected based on, for example, the operation content of the operation lever (for example, the operation direction, the operation amount, etc.).
また、運転支援手段15は、ショベル60と崖との間の距離が短くなるにつれてショベル60の移動(後退)速度を低下させてもよく、ショベル60と崖との間の距離が所定距離以下となった場合にショベル60の移動(後退)を停止させてもよい。 The driving support means 15 may reduce the moving (retracting) speed of the excavator 60 as the distance between the excavator 60 and the cliff becomes shorter, and the distance between the excavator 60 and the cliff is equal to or less than a predetermined distance. When this happens, the movement (retreat) of the excavator 60 may be stopped.
また、運転支援手段15は、ステレオカメラ6の出力に基づいて、所定の地物が存在するか否かを判定する。例えば、運転支援手段15は、設置面から所定距離以上の深さを有する地物がステレオカメラ6によって検出された場合に、ショベル60を滑落させるおそれのある陥没部が存在すると判定する。また、運転支援手段15は、入力距離画像に基づいて算出される実際の陥没部の深さ、開口面積、幅、及び奥行きの少なくとも1つが所定の条件を満たす場合に限り、ショベル60を滑落させるおそれのある陥没部が存在すると判定してもよい。また、運転支援手段15は、入力距離画像における所定方向(ショベル60の移動方向)に沿った画素値の増加勾配に基づいて、ショベル60を滑落させるおそれのある陥没部が存在するか否かを判定してもよい。 Further, the driving support means 15 determines whether or not a predetermined feature exists based on the output of the stereo camera 6. For example, the driving support means 15 determines that there is a depressed portion that may cause the shovel 60 to slide down when a feature having a depth of a predetermined distance or more from the installation surface is detected by the stereo camera 6. Further, the driving support means 15 slides the excavator 60 only when at least one of the actual depth, opening area, width, and depth calculated based on the input distance image satisfies a predetermined condition. It may be determined that there is a feared depression. Further, the driving support means 15 determines whether or not there is a depressed portion that may cause the shovel 60 to slide down based on the increasing gradient of the pixel value along a predetermined direction (moving direction of the shovel 60) in the input distance image. You may judge.
或いは、運転支援手段15は、設置面から所定距離以上の高さを有する地物がステレオカメラ6によって検出された場合に、ショベル60と衝突するおそれのある障害物が存在すると判定してもよい。また、運転支援手段15は、入力距離画像における所定方向(ショベル60の移動方向)に沿った画素値の減少勾配に基づいて、ショベル60と衝突するおそれのある障害物が存在するか否かを判定してもよい。 Alternatively, the driving support means 15 may determine that there is an obstacle that may collide with the shovel 60 when a feature having a height of a predetermined distance or more from the installation surface is detected by the stereo camera 6. . Further, the driving support means 15 determines whether or not there is an obstacle that may collide with the shovel 60 based on the decreasing gradient of the pixel value along a predetermined direction (moving direction of the shovel 60) in the input distance image. You may judge.
次に、座標対応付け手段10及び画像生成手段11による具体的な処理の一例について説明する。 Next, an example of specific processing by the coordinate association unit 10 and the image generation unit 11 will be described.
座標対応付け手段10は、例えば、ハミルトンの四元数を用いて、入力画像平面上の座標と空間モデル上の座標とを対応付けることができる。 The coordinate association means 10 can associate the coordinates on the input image plane with the coordinates on the space model using, for example, a Hamilton quaternion.
図5は、入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図であり、カメラ2の入力画像平面は、カメラ2の光学中心Cを原点とするUVW直交座標系における一平面として表され、空間モデルは、XYZ直交座標系における立体面として表されるものとする。 FIG. 5 is a diagram for explaining the correspondence between the coordinates on the input image plane and the coordinates on the space model. The input image plane of the camera 2 has UVW orthogonal coordinates with the optical center C of the camera 2 as the origin. The space model is represented as a three-dimensional surface in the XYZ orthogonal coordinate system.
最初に、座標対応付け手段10は、空間モデル上の座標(XYZ座標系上の座標)を入力画像平面上の座標(UVW座標系上の座標)に変換するため、XYZ座標系の原点を光学中心C(UVW座標系の原点)に並行移動させた上で、X軸をU軸に、Y軸をV軸に、Z軸を−W軸(符号「−」は方向が逆であることを意味する。これは、UVW座標系がカメラ前方を+W方向とし、XYZ座標系が鉛直下方を−Z方向としていることに起因する。)にそれぞれ一致させるようXYZ座標系を回転させる。 First, the coordinate association unit 10 converts the coordinates on the space model (coordinates on the XYZ coordinate system) into coordinates on the input image plane (coordinates on the UVW coordinate system), so that the origin of the XYZ coordinate system is optically converted. After moving parallel to the center C (the origin of the UVW coordinate system), the X axis is the U axis, the Y axis is the V axis, and the Z axis is the -W axis (the sign "-" indicates that the direction is reversed) This means that the XYZ coordinate system is rotated so that the UVW coordinate system coincides with the + W direction in front of the camera and the XYZ coordinate system in the −Z direction vertically below.
なお、カメラ2が複数存在する場合、カメラ2のそれぞれが個別のUVW座標系を有することとなるので、座標対応付け手段10は、複数のUVW座標系のそれぞれに対して、XYZ座標系を並行移動させ且つ回転させることとなる。 When there are a plurality of cameras 2, each of the cameras 2 has an individual UVW coordinate system. Therefore, the coordinate association unit 10 uses an XYZ coordinate system in parallel with each of the plurality of UVW coordinate systems. It will be moved and rotated.
上述の変換は、カメラ2の光学中心CがXYZ座標系の原点となるようにXYZ座標系を並行移動させた後に、Z軸が−W軸に一致するよう回転させ、更に、X軸がU軸に一致するよう回転させることによって実現されるので、座標対応付け手段10は、この変換をハミルトンの四元数で記述することにより、それら二回の回転を一回の回転演算に纏めることができる。 In the above conversion, the XYZ coordinate system is translated so that the optical center C of the camera 2 is the origin of the XYZ coordinate system, and then the Z axis is rotated so as to coincide with the −W axis. Since it is realized by rotating to coincide with the axis, the coordinate matching means 10 can combine these two rotations into one rotation calculation by describing this transformation in Hamilton's quaternion. it can.
ところで、あるベクトルAを別のベクトルBに一致させるための回転は、ベクトルAとベクトルBとが張る面の法線を軸としてベクトルAとベクトルBとが形成する角度だけ回転させる処理に相当し、その角度をθとすると、ベクトルAとベクトルBとの内積から、角度θは、 By the way, the rotation for making one vector A coincide with another vector B corresponds to the process of rotating the vector A and the vector B by the angle formed by using the normal line of the surface extending between the vector A and the vector B as an axis. If the angle is θ, from the inner product of the vector A and the vector B, the angle θ is
また、ベクトルAとベクトルBとが張る面の法線の単位ベクトルNは、ベクトルAとベクトルBとの外積から Further, the unit vector N of the normal line between the vector A and the vector B is obtained from the outer product of the vector A and the vector B.
なお、四元数は、i、j、kをそれぞれ虚数単位とした場合、 Note that the quaternion has i, j, and k as imaginary units,
四元数Qは、実成分tを0(ゼロ)としながら、純虚成分a、b、cで三次元ベクトル(a,b,c)を表現することができ、また、t、a、b、cの各成分により任意のベクトルを軸とした回転動作を表現することもできる。 The quaternion Q can represent a three-dimensional vector (a, b, c) with pure imaginary components a, b, c while setting the real component t to 0 (zero), and t, a, b , C can also be used to express a rotational motion with an arbitrary vector as an axis.
更に、四元数Qは、連続する複数回の回転動作を統合して一回の回転動作として表現することができ、例えば、任意の点S(sx,sy,sz)を、任意の単位ベクトルC(l,m,n)を軸としながら角度θだけ回転させたときの点D(ex,ey,ez)を以下のように表現することができる。 Further, the quaternion Q can be expressed as a single rotation operation by integrating a plurality of continuous rotation operations. For example, an arbitrary point S (sx, sy, sz) can be expressed as an arbitrary unit vector. A point D (ex, ey, ez) when rotated by an angle θ with C (l, m, n) as an axis can be expressed as follows.
また、本実施例において、X軸上にある点X'と原点とを結ぶ線をU軸に一致させる回転を表す四元数をQxとすると、「Z軸を−W軸に一致させ、更に、X軸をU軸に一致させる回転」を表す四元数Rは、 In this embodiment, if the quaternion representing the rotation that matches the line connecting the point X ′ on the X axis and the origin to the U axis is Qx, “the Z axis matches the −W axis, , A quaternion R representing "rotation to make the X axis coincide with the U axis"
以上により、空間モデル(XYZ座標系)上の任意の座標Pを入力画像平面(UVW座標系)上の座標で表現したときの座標P'は、 As described above, the coordinate P ′ when an arbitrary coordinate P on the space model (XYZ coordinate system) is expressed by a coordinate on the input image plane (UVW coordinate system) is
空間モデル(XYZ座標系)上の座標を入力画像平面(UVW座標系)上の座標に変換した後、座標対応付け手段10は、カメラ2の光学中心C(UVW座標系上の座標)と空間モデル上の任意の座標PをUVW座標系で表した座標P'とを結ぶ線分CP'と、カメラ2の光軸Gとが形成する入射角αを算出する。 After the coordinates on the space model (XYZ coordinate system) are converted to the coordinates on the input image plane (UVW coordinate system), the coordinate association means 10 determines the optical center C (coordinates on the UVW coordinate system) of the camera 2 and the space. An incident angle α formed by a line segment CP ′ connecting an arbitrary coordinate P on the model with a coordinate P ′ represented in the UVW coordinate system and the optical axis G of the camera 2 is calculated.
また、座標対応付け手段10は、カメラ2の入力画像平面R4(例えば、CCD面)に平行で且つ座標P'を含む平面Hにおける、平面Hと光軸Gとの交点Eと座標P'とを結ぶ線分EP'と、平面HにおけるU'軸とが形成する偏角φ、及び線分EP'の長さを算出する。 In addition, the coordinate association unit 10 includes an intersection E between the plane H and the optical axis G, and a coordinate P ′ in a plane H that is parallel to the input image plane R4 (for example, CCD plane) of the camera 2 and includes the coordinate P ′. Are calculated, and the deviation angle φ formed by the line segment EP ′ connecting the two and the U ′ axis in the plane H, and the length of the line segment EP ′.
カメラの光学系は、通常、像高さhが入射角α及び焦点距離fの関数となっているので、座標対応付け手段10は、通常射影(h=ftanα)、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等の適切な射影方式を選択して像高さhを算出する。 In the optical system of the camera, the image height h is usually a function of the incident angle α and the focal length f. Therefore, the coordinate matching means 10 performs normal projection (h = ftanα) and orthographic projection (h = fsinα). Image height by selecting an appropriate projection method such as stereo projection (h = 2 ftan (α / 2)), equisolid angle projection (h = 2 fsin (α / 2)), equidistant projection (h = fα), etc. Calculate h.
その後、座標対応付け手段10は、算出した像高さhを偏角φによりUV座標系上のU成分及びV成分に分解し、入力画像平面R4の一画素当たりの画素サイズに相当する数値で除算することにより、空間モデルMD上の座標P(P')と入力画像平面R4上の座標とを対応付けることができる。 Thereafter, the coordinate matching means 10 decomposes the calculated image height h into U and V components on the UV coordinate system by the declination φ, and is a numerical value corresponding to the pixel size per pixel of the input image plane R4. By dividing, the coordinates P (P ′) on the space model MD can be associated with the coordinates on the input image plane R4.
なお、入力画像平面R4のU軸方向における一画素当たりの画素サイズをaUとし、入力画像平面R4のV軸方向における一画素当たりの画素サイズをaVとすると、空間モデルMD上の座標P(P')に対応する入力画像平面R4上の座標(u,v)は、 Incidentally, when the pixel size per one pixel in the U axis direction of the input image plane R4 and a U, the pixel size per one pixel in the V axis direction of the input image plane R4 and a V, coordinates P of the space model MD The coordinates (u, v) on the input image plane R4 corresponding to (P ′) are
このようにして、座標対応付け手段10は、空間モデルMD上の座標と、カメラ毎に存在する一又は複数の入力画像平面R4上の座標とを対応付け、空間モデルMD上の座標、カメラ識別子、及び入力画像平面R4上の座標を関連付けて入力画像・空間モデル対応マップ40に記憶する。 In this way, the coordinate association unit 10 associates the coordinates on the space model MD with the coordinates on one or a plurality of input image planes R4 existing for each camera, and coordinates on the space model MD, the camera identifier. And the coordinates on the input image plane R4 are stored in the input image / space model correspondence map 40 in association with each other.
また、座標対応付け手段10は、四元数を用いて座標の変換を演算するので、オイラー角を用いて座標の変換を演算する場合と異なり、ジンバルロックを発生させることがないという利点を有する。しかしながら、座標対応付け手段10は、四元数を用いて座標の変換を演算するものに限定されることはなく、オイラー角を用いて座標の変換を演算するようにしてもよい。 Further, since the coordinate association unit 10 calculates the coordinate conversion using the quaternion, unlike the case where the coordinate conversion is calculated using the Euler angle, there is an advantage that no gimbal lock is generated. . However, the coordinate association unit 10 is not limited to the one that calculates the coordinate conversion using the quaternion, and may perform the coordinate conversion using the Euler angle.
なお、複数の入力画像平面R4上の座標への対応付けが可能な場合、座標対応付け手段10は、空間モデルMD上の座標P(P')を、その入射角αが最も小さいカメラに関する入力画像平面R4上の座標に対応付けるようにしてもよく、操作者が選択した入力画像平面R4上の座標に対応付けるようにしてもよい。 Note that, when it is possible to associate the coordinates on the plurality of input image planes R4, the coordinate associating means 10 inputs the coordinates P (P ′) on the spatial model MD with respect to the camera having the smallest incident angle α. It may be associated with coordinates on the image plane R4, or may be associated with coordinates on the input image plane R4 selected by the operator.
次に、空間モデルMD上の座標のうち、曲面領域R2上の座標(Z軸方向の成分を持つ座標)を、XY平面上にある処理対象画像平面R3に再投影する処理について説明する。 Next, a process of reprojecting coordinates on the curved surface area R2 (coordinates having a component in the Z-axis direction) among the coordinates on the spatial model MD onto the processing target image plane R3 on the XY plane will be described.
図6は、座標対応付け手段10による座標間の対応付けを説明するための図であり、図6(A)は、一例として通常射影(h=ftanα)を採用するカメラ2の入力画像平面R4上の座標と空間モデルMD上の座標との間の対応関係を示す図であって、座標対応付け手段10は、カメラ2の入力画像平面R4上の座標とその座標に対応する空間モデルMD上の座標とを結ぶ線分のそれぞれがカメラ2の光学中心Cを通過するようにして、両座標を対応付ける。 FIG. 6 is a diagram for explaining the association between coordinates by the coordinate association means 10, and FIG. 6A shows an input image plane R4 of the camera 2 that employs a normal projection (h = ftanα) as an example. FIG. 6 is a diagram showing a correspondence relationship between the coordinates on the upper surface and the coordinates on the space model MD, and the coordinate associating means 10 displays the coordinates on the input image plane R4 of the camera 2 and the space model MD corresponding to the coordinates. Both the coordinates are made to correspond to each other so that each of the line segments connecting the coordinates passes through the optical center C of the camera 2.
図6(A)の例では、座標対応付け手段10は、カメラ2の入力画像平面R4上の座標K1を空間モデルMDの平面領域R1上の座標L1に対応付け、カメラ2の入力画像平面R4上の座標K2を空間モデルMDの曲面領域R2上の座標L2に対応付ける。このとき、線分K1−L1及び線分K2−L2は共にカメラ2の光学中心Cを通過する。 In the example of FIG. 6A, the coordinate association means 10 associates the coordinate K1 on the input image plane R4 of the camera 2 with the coordinate L1 on the plane area R1 of the space model MD, and inputs the image 2 R4 of the camera 2. The upper coordinate K2 is associated with the coordinate L2 on the curved surface region R2 of the space model MD. At this time, both the line segment K1-L1 and the line segment K2-L2 pass through the optical center C of the camera 2.
なお、カメラ2が通常射影以外の射影方式(例えば、正射影、立体射影、等立体角射影、等距離射影等である。)を採用する場合、座標対応付け手段10は、それぞれの射影方式に応じて、カメラ2の入力画像平面R4上の座標K1、K2を空間モデルMD上の座標L1、L2に対応付けるようにする。 In addition, when the camera 2 employs a projection method other than normal projection (for example, orthographic projection, stereoscopic projection, equisolid angle projection, equidistant projection, etc.), the coordinate association unit 10 uses each projection method. Accordingly, the coordinates K1 and K2 on the input image plane R4 of the camera 2 are associated with the coordinates L1 and L2 on the space model MD.
具体的には、座標対応付け手段10は、所定の関数(例えば、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等である。)に基づいて、入力画像平面上の座標と空間モデルMD上の座標とを対応付ける。この場合、線分K1−L1及び線分K2−L2がカメラ2の光学中心Cを通過することはない。 Specifically, the coordinate association unit 10 is configured to use a predetermined function (for example, orthographic projection (h = fsin α), stereoscopic projection (h = 2 ftan (α / 2)), or equal solid angle projection (h = 2 fsin (α / 2)), equidistant projection (h = fα), etc.), the coordinates on the input image plane are associated with the coordinates on the space model MD. In this case, the line segment K1-L1 and the line segment K2-L2 do not pass through the optical center C of the camera 2.
図6(B)は、空間モデルMDの曲面領域R2上の座標と処理対象画像平面R3上の座標との間の対応関係を示す図であり、座標対応付け手段10は、XZ平面上に位置する平行線群PLであって、処理対象画像平面R3との間で角度βを形成する平行線群PLを導入し、空間モデルMDの曲面領域R2上の座標とその座標に対応する処理対象画像平面R3上の座標とが共に平行線群PLのうちの一つに乗るようにして、両座標を対応付ける。 FIG. 6B is a diagram showing a correspondence relationship between coordinates on the curved surface region R2 of the space model MD and coordinates on the processing target image plane R3, and the coordinate association unit 10 is positioned on the XZ plane. The parallel line group PL that forms an angle β with the processing target image plane R3 is introduced, and the coordinates on the curved surface region R2 of the spatial model MD and the processing target image corresponding to the coordinates are introduced. The coordinates on the plane R3 are associated with each other such that the coordinates are on one of the parallel line groups PL.
図6(B)の例では、座標対応付け手段10は、空間モデルMDの曲面領域R2上の座標L2と処理対象画像平面R3上の座標M2とが共通の平行線に乗るとして、両座標を対応付けるようにする。 In the example of FIG. 6B, the coordinate matching means 10 assumes that the coordinate L2 on the curved surface region R2 of the space model MD and the coordinate M2 on the processing target image plane R3 are on a common parallel line, and both coordinates are obtained. Make it correspond.
なお、座標対応付け手段10は、空間モデルMDの平面領域R1上の座標を曲面領域R2上の座標と同様に平行線群PLを用いて処理対象画像平面R3上の座標に対応付けることが可能であるが、図6(B)の例では、平面領域R1と処理対象画像平面R3とが共通の平面となっているので、空間モデルMDの平面領域R1上の座標L1と処理対象画像平面R3上の座標M1とは同じ座標値を有するものとなっている。 The coordinate association means 10 can associate the coordinates on the plane area R1 of the spatial model MD with the coordinates on the processing target image plane R3 using the parallel line group PL in the same manner as the coordinates on the curved surface area R2. However, in the example of FIG. 6B, since the plane area R1 and the processing target image plane R3 are a common plane, the coordinates L1 on the plane area R1 of the spatial model MD and the processing target image plane R3 The coordinate M1 has the same coordinate value.
このようにして、座標対応付け手段10は、空間モデルMD上の座標と、処理対象画像平面R3上の座標とを対応付け、空間モデルMD上の座標及び処理対象画像平面R3上の座標を関連付けて空間モデル・処理対象画像対応マップ41に記憶する。 In this way, the coordinate association unit 10 associates the coordinates on the spatial model MD with the coordinates on the processing target image plane R3, and associates the coordinates on the spatial model MD with the coordinates on the processing target image plane R3. And stored in the space model / processing object image correspondence map 41.
図6(C)は、処理対象画像平面R3上の座標と一例として通常射影(h=ftanα)を採用する仮想カメラ2Vの出力画像平面R5上の座標との間の対応関係を示す図であり、画像生成手段11は、仮想カメラ2Vの出力画像平面R5上の座標とその座標に対応する処理対象画像平面R3上の座標とを結ぶ線分のそれぞれが仮想カメラ2Vの光学中心CVを通過するようにして、両座標を対応付ける。 FIG. 6C is a diagram illustrating a correspondence relationship between the coordinates on the processing target image plane R3 and the coordinates on the output image plane R5 of the virtual camera 2V that adopts the normal projection (h = ftanα) as an example. In the image generation means 11, each line segment connecting the coordinates on the output image plane R5 of the virtual camera 2V and the coordinates on the processing target image plane R3 corresponding to the coordinates passes through the optical center CV of the virtual camera 2V. In this way, both coordinates are associated.
図6(C)の例では、画像生成手段11は、仮想カメラ2Vの出力画像平面R5上の座標N1を処理対象画像平面R3(空間モデルMDの平面領域R1)上の座標M1に対応付け、仮想カメラ2Vの出力画像平面R5上の座標N2を処理対象画像平面R3上の座標M2に対応付ける。このとき、線分M1−N1及び線分M2−N2は共に仮想カメラ2Vの光学中心CVを通過する。 In the example of FIG. 6C, the image generation unit 11 associates the coordinates N1 on the output image plane R5 of the virtual camera 2V with the coordinates M1 on the processing target image plane R3 (plane area R1 of the space model MD), The coordinate N2 on the output image plane R5 of the virtual camera 2V is associated with the coordinate M2 on the processing target image plane R3. At this time, both the line segment M1-N1 and the line segment M2-N2 pass through the optical center CV of the virtual camera 2V.
なお、仮想カメラ2Vが通常射影以外の射影方式(例えば、正射影、立体射影、等立体角射影、等距離射影等である。)を採用する場合、画像生成手段11は、それぞれの射影方式に応じて、仮想カメラ2Vの出力画像平面R5上の座標N1、N2を処理対象画像平面R3上の座標M1、M2に対応付けるようにする。 Note that when the virtual camera 2V employs a projection method other than normal projection (for example, orthographic projection, stereoscopic projection, equisolid angle projection, equidistant projection, etc.), the image generation unit 11 uses each projection method. Accordingly, the coordinates N1 and N2 on the output image plane R5 of the virtual camera 2V are associated with the coordinates M1 and M2 on the processing target image plane R3.
具体的には、画像生成手段11は、所定の関数(例えば、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等である。)に基づいて、出力画像平面R5上の座標と処理対象画像平面R3上の座標とを対応付ける。この場合、線分M1−N1及び線分M2−N2が仮想カメラ2Vの光学中心CVを通過することはない。 Specifically, the image generating unit 11 is configured to use a predetermined function (for example, orthographic projection (h = fsin α), stereoscopic projection (h = 2 ftan (α / 2)), or equal solid angle projection (h = 2 fsin (α / 2)). )), Equidistant projection (h = fα), etc.), the coordinates on the output image plane R5 and the coordinates on the processing target image plane R3 are associated with each other. In this case, the line segment M1-N1 and the line segment M2-N2 do not pass through the optical center CV of the virtual camera 2V.
このようにして、画像生成手段11は、出力画像平面R5上の座標と、処理対象画像平面R3上の座標とを対応付け、出力画像平面R5上の座標及び処理対象画像平面R3上の座標を関連付けて処理対象画像・出力画像対応マップ42に記憶し、座標対応付け手段10が記憶した入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。 In this way, the image generation unit 11 associates the coordinates on the output image plane R5 with the coordinates on the processing target image plane R3, and sets the coordinates on the output image plane R5 and the coordinates on the processing target image plane R3. Each of the output images is stored in the processing target image / output image correspondence map 42 in association with each other in the output image while referring to the input image / spatial model correspondence map 40 and the spatial model / processing target image correspondence map 41 stored by the coordinate matching means 10. An output image is generated by associating the pixel value with the value of each pixel in the input image.
なお、図6(D)は、図6(A)〜図6(C)を組み合わせた図であり、カメラ2、仮想カメラ2V、空間モデルMDの平面領域R1及び曲面領域R2、並びに、処理対象画像平面R3の相互の位置関係を示す。 FIG. 6D is a combination of FIGS. 6A to 6C. The camera 2, the virtual camera 2V, the plane area R1 and the curved area R2 of the space model MD, and the processing target. The mutual positional relationship of image plane R3 is shown.
次に、図7を参照しながら、空間モデルMD上の座標と処理対象画像平面R3上の座標とを対応付けるために座標対応付け手段10が導入する平行線群PLの作用について説明する。 Next, the operation of the parallel line group PL introduced by the coordinate association unit 10 to associate the coordinates on the space model MD with the coordinates on the processing target image plane R3 will be described with reference to FIG.
図7(A)は、XZ平面上に位置する平行線群PLと処理対象画像平面R3との間で角度βが形成される場合の図であり、図7(B)は、XZ平面上に位置する平行線群PLと処理対象画像平面R3との間で角度β1(β1>β)が形成される場合の図である。また、図7(A)及び図7(B)における空間モデルMDの曲面領域R2上の座標La〜Ldのそれぞれは、処理対象画像平面R3上の座標Ma〜Mdのそれぞれに対応するものとし、図7(A)における座標La〜Ldのそれぞれの間隔は、図7(B)における座標La〜Ldのそれぞれの間隔と等しいものとする。なお、平行線群PLは、説明目的のためにXZ平面上に存在するものとしているが、実際には、Z軸上の全ての点から処理対象画像平面R3に向かって放射状に延びるように存在するものとする。なお、この場合のZ軸を「再投影軸」と称することとする。 FIG. 7A is a diagram in the case where the angle β is formed between the parallel line group PL positioned on the XZ plane and the processing target image plane R3, and FIG. 7B is the diagram on the XZ plane. It is a figure in case angle (beta) 1 ((beta) 1> (beta)) is formed between the parallel line group PL and the process target image plane R3. Also, each of the coordinates La to Ld on the curved surface region R2 of the spatial model MD in FIGS. 7A and 7B corresponds to the coordinates Ma to Md on the processing target image plane R3, respectively. Assume that the intervals between the coordinates La to Ld in FIG. 7A are equal to the intervals between the coordinates La to Ld in FIG. The parallel line group PL is assumed to exist on the XZ plane for the purpose of explanation, but actually exists so as to extend radially from all points on the Z axis toward the processing target image plane R3. It shall be. In this case, the Z axis is referred to as a “reprojection axis”.
図7(A)及び図7(B)で示されるように、処理対象画像平面R3上の座標Ma〜Mdのそれぞれの間隔は、平行線群PLと処理対象画像平面R3との間の角度が増大するにつれて線形的に減少する(空間モデルMDの曲面領域R2と座標Ma〜Mdのそれぞれとの間の距離とは関係なく一様に減少する。)。一方で、空間モデルMDの平面領域R1上の座標群は、図7の例では、処理対象画像平面R3上の座標群への変換が行われないので、座標群の間隔が変化することはない。 As shown in FIGS. 7A and 7B, the distance between the coordinates Ma to Md on the processing target image plane R3 is such that the angle between the parallel line group PL and the processing target image plane R3 is the same. As it increases, it decreases linearly (it decreases uniformly regardless of the distance between the curved surface region R2 of the spatial model MD and each of the coordinates Ma to Md). On the other hand, since the coordinate group on the plane region R1 of the space model MD is not converted into the coordinate group on the processing target image plane R3 in the example of FIG. 7, the interval between the coordinate groups does not change. .
これら座標群の間隔の変化は、出力画像平面R5(図6参照。)上の画像部分のうち、空間モデルMDの曲面領域R2に投影された画像に対応する画像部分のみが線形的に拡大或いは縮小されることを意味する。 The change in the interval between these coordinate groups is such that only the image portion corresponding to the image projected on the curved surface region R2 of the spatial model MD is linearly enlarged or out of the image portion on the output image plane R5 (see FIG. 6). It means to be reduced.
次に、図8を参照しながら、空間モデルMD上の座標と処理対象画像平面R3上の座標とを対応付けるために座標対応付け手段10が導入する平行線群PLの代替例について説明する。 Next, an alternative example of the parallel line group PL introduced by the coordinate association unit 10 to associate the coordinates on the space model MD with the coordinates on the processing target image plane R3 will be described with reference to FIG.
図8(A)は、XZ平面上に位置する補助線群ALの全てがZ軸上の始点T1から処理対象画像平面R3に向かって延びる場合の図であり、図8(B)は、補助線群ALの全てがZ軸上の始点T2(T2>T1)から処理対象画像平面R3に向かって延びる場合の図である。また、図8(A)及び図8(B)における空間モデルMDの曲面領域R2上の座標La〜Ldのそれぞれは、処理対象画像平面R3上の座標Ma〜Mdのそれぞれに対応するものとし(図8(A)の例では、座標Mc、Mdは、処理対象画像平面R3の領域外となるため図示されていない。)、図8(A)における座標La〜Ldのそれぞれの間隔は、図8(B)における座標La〜Ldのそれぞれの間隔と等しいものとする。なお、補助線群ALは、説明目的のためにXZ平面上に存在するものとしているが、実際には、Z軸上の任意の一点から処理対象画像平面R3に向かって放射状に延びるように存在するものとする。なお、図7と同様、この場合のZ軸を「再投影軸」と称することとする。 FIG. 8A is a diagram in the case where all of the auxiliary line groups AL located on the XZ plane extend from the start point T1 on the Z axis toward the processing target image plane R3, and FIG. It is a figure in case all the line groups AL extend toward the process target image plane R3 from the starting point T2 (T2> T1) on the Z axis. 8A and 8B, the coordinates La to Ld on the curved surface region R2 of the spatial model MD correspond to the coordinates Ma to Md on the processing target image plane R3 ( In the example of FIG. 8A, the coordinates Mc and Md are not shown because they are outside the region of the processing target image plane R3.) The intervals between the coordinates La to Ld in FIG. It is assumed that the interval between the coordinates La to Ld in 8 (B) is equal. The auxiliary line group AL is assumed to exist on the XZ plane for the purpose of explanation, but actually exists so as to extend radially from an arbitrary point on the Z axis toward the processing target image plane R3. It shall be. As in FIG. 7, the Z axis in this case is referred to as a “reprojection axis”.
図8(A)及び図8(B)で示されるように、処理対象画像平面R3上の座標Ma〜Mdのそれぞれの間隔は、補助線群ALの始点と原点Oとの間の距離(高さ)が増大するにつれて非線形的に減少する(空間モデルMDの曲面領域R2と座標Ma〜Mdのそれぞれとの間の距離が大きいほど、それぞれの間隔の減少幅が大きくなる。)。一方で、空間モデルMDの平面領域R1上の座標群は、図8の例では、処理対象画像平面R3上の座標群への変換が行われないので、座標群の間隔が変化することはない。 As shown in FIGS. 8A and 8B, the distance between the coordinates Ma to Md on the processing target image plane R3 is the distance (high) between the starting point of the auxiliary line group AL and the origin O. As the distance between the curved surface region R2 of the space model MD and each of the coordinates Ma to Md is larger, the width of reduction of each interval is larger. On the other hand, since the coordinate group on the plane region R1 of the spatial model MD is not converted into the coordinate group on the processing target image plane R3 in the example of FIG. 8, the interval between the coordinate groups does not change. .
これら座標群の間隔の変化は、平行線群PLのときと同様、出力画像平面R5(図6参照。)上の画像部分のうち、空間モデルMDの曲面領域R2に投影された画像に対応する画像部分のみが非線形的に拡大或いは縮小されることを意味する。 The change in the interval between these coordinate groups corresponds to the image projected on the curved surface region R2 of the spatial model MD in the image portion on the output image plane R5 (see FIG. 6), as in the case of the parallel line group PL. It means that only the image portion is enlarged or reduced nonlinearly.
このようにして、画像生成装置100は、空間モデルMDの平面領域R1に投影された画像に対応する出力画像の画像部分(例えば、路面画像である。)に影響を与えることなく、空間モデルMDの曲面領域R2に投影された画像に対応する出力画像の画像部分(例えば、水平画像である。)を線形的に或いは非線形的に拡大或いは縮小させることができるので、ショベル60の近傍の路面画像(ショベル60を真上から見たときの仮想画像)に影響を与えることなく、ショベル60の周囲に位置する地物(ショベル60から水平方向に周囲を見たときの画像における地物)を迅速且つ柔軟に拡大或いは縮小させることができ、ショベル60の死角領域の視認性を向上させることができる。 In this way, the image generation device 100 does not affect the image portion (for example, a road surface image) of the output image corresponding to the image projected on the plane region R1 of the space model MD, and does not affect the space model MD. Since the image portion (for example, a horizontal image) of the output image corresponding to the image projected on the curved surface area R2 can be linearly or nonlinearly enlarged or reduced, the road surface image in the vicinity of the excavator 60 Without affecting the excavator 60 (virtual image when seen from directly above), the features located around the excavator 60 (features in the image when the excavator 60 is seen in the horizontal direction) can be quickly displayed. And it can be expanded or contracted flexibly, and the visibility of the blind spot area of the excavator 60 can be improved.
次に、図9を参照しながら、画像生成装置100が処理対象画像を生成する処理(以下、「処理対象画像生成処理」とする。)、及び、生成した処理対象画像を用いて出力画像を生成する処理(以下、「出力画像生成処理」とする。)について説明する。なお、図9は、処理対象画像生成処理(ステップS1〜ステップS3)及び出力画像生成処理(ステップS4〜ステップS6)の流れを示すフローチャートである。また、カメラ2(入力画像平面R4)、空間モデル(平面領域R1及び曲面領域R2)、並びに、処理対象画像平面R3の配置は予め決定されているものとする。 Next, referring to FIG. 9, the image generation apparatus 100 generates a processing target image (hereinafter referred to as “processing target image generation processing”), and an output image using the generated processing target image. Processing to be generated (hereinafter referred to as “output image generation processing”) will be described. FIG. 9 is a flowchart showing the flow of the processing target image generation process (steps S1 to S3) and the output image generation process (steps S4 to S6). Further, it is assumed that the arrangement of the camera 2 (input image plane R4), the space model (plane area R1 and curved surface area R2), and the processing target image plane R3 is determined in advance.
最初に、制御部1は、座標対応付け手段10により、処理対象画像平面R3上の座標と空間モデルMD上の座標とを対応付ける(ステップS1)。 First, the control unit 1 associates the coordinates on the processing target image plane R3 with the coordinates on the space model MD using the coordinate association unit 10 (step S1).
具体的には、座標対応付け手段10は、平行線群PLと処理対象画像平面R3との間に形成される角度を取得し、処理対象画像平面R3上の一座標から延びる平行線群PLの一つが空間モデルMDの曲面領域R2と交差する点を算出し、算出した点に対応する曲面領域R2上の座標を、処理対象画像平面R3上のその一座標に対応する曲面領域R2上の一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ41に記憶する。なお、平行線群PLと処理対象画像平面R3との間に形成される角度は、記憶部4等に予め記憶された値であってもよく、入力部3を介して操作者が動的に入力する値であってもよい。 Specifically, the coordinate association unit 10 obtains an angle formed between the parallel line group PL and the processing target image plane R3, and the parallel line group PL extending from one coordinate on the processing target image plane R3. One point that intersects the curved surface region R2 of the space model MD is calculated, and a coordinate on the curved surface region R2 corresponding to the calculated point is set to one on the curved surface region R2 corresponding to the one coordinate on the processing target image plane R3. The coordinates are derived as coordinates, and the corresponding relationship is stored in the space model / processing object image correspondence map 41. It should be noted that the angle formed between the parallel line group PL and the processing target image plane R3 may be a value stored in advance in the storage unit 4 or the like. It may be a value to be entered.
また、座標対応付け手段10は、処理対象画像平面R3上の一座標が空間モデルMDの平面領域R1上の一座標と一致する場合には、平面領域R1上のその一座標を、処理対象画像平面R3上のその一座標に対応する一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ41に記憶する。 In addition, when one coordinate on the processing target image plane R3 matches one coordinate on the plane area R1 of the space model MD, the coordinate association unit 10 uses the one coordinate on the plane area R1 as the processing target image. It is derived as one coordinate corresponding to the one coordinate on the plane R3, and the correspondence is stored in the space model / processing object image correspondence map 41.
その後、制御部1は、座標対応付け手段10により、上述の処理によって導き出された空間モデルMD上の一座標と入力画像平面R4上の座標とを対応付ける(ステップS2)。 Thereafter, the control unit 1 causes the coordinate association unit 10 to associate one coordinate on the spatial model MD derived by the above-described processing with a coordinate on the input image plane R4 (step S2).
具体的には、座標対応付け手段10は、通常射影(h=ftanα)を採用するカメラ2の光学中心Cの座標を取得し、空間モデルMD上の一座標から延びる線分であり、光学中心Cを通過する線分が入力画像平面R4と交差する点を算出し、算出した点に対応する入力画像平面R4上の座標を、空間モデルMD上のその一座標に対応する入力画像平面R4上の一座標として導き出し、その対応関係を入力画像・空間モデル対応マップ40に記憶する。 Specifically, the coordinate association unit 10 acquires the coordinates of the optical center C of the camera 2 that employs normal projection (h = ftanα), is a line segment extending from one coordinate on the space model MD, and the optical center A point where the line segment passing through C intersects the input image plane R4 is calculated, and the coordinates on the input image plane R4 corresponding to the calculated point are set on the input image plane R4 corresponding to the one coordinate on the space model MD. And the corresponding relationship is stored in the input image / space model correspondence map 40.
その後、制御部1は、処理対象画像平面R3上の全ての座標を空間モデルMD上の座標及び入力画像平面R4上の座標に対応付けたか否かを判定し(ステップS3)、未だ全ての座標を対応付けていないと判定した場合には(ステップS3のNO)、ステップS1及びステップS2の処理を繰り返すようにする。 Thereafter, the control unit 1 determines whether or not all the coordinates on the processing target image plane R3 are associated with the coordinates on the space model MD and the coordinates on the input image plane R4 (step S3), and all the coordinates are still set. Are determined to be not associated (NO in step S3), the processes in steps S1 and S2 are repeated.
一方、制御部1は、全ての座標を対応付けたと判定した場合には(ステップS3のYES)、処理対象画像生成処理を終了させた上で出力画像生成処理を開始させ、画像生成手段11により、処理対象画像平面R3上の座標と出力画像平面R5上の座標とを対応付ける(ステップS4)。 On the other hand, when it is determined that all the coordinates are associated (YES in step S3), the control unit 1 ends the processing target image generation process, starts the output image generation process, and the image generation unit 11 The coordinates on the processing target image plane R3 are associated with the coordinates on the output image plane R5 (step S4).
具体的には、画像生成手段11は、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって出力画像を生成し、施したスケール変換、アフィン変換、又は歪曲変換の内容によって定まる、処理対象画像平面R3上の座標と出力画像平面R5上の座標との間の対応関係を処理対象画像・出力画像対応マップ42に記憶する。 Specifically, the image generation unit 11 generates an output image by performing scale conversion, affine conversion, or distortion conversion on the processing target image, and is determined by the content of the applied scale conversion, affine conversion, or distortion conversion. The correspondence between the coordinates on the processing target image plane R3 and the coordinates on the output image plane R5 is stored in the processing target image / output image correspondence map 42.
或いは、画像生成手段11は、仮想カメラ2Vを用いて出力画像を生成する場合には、採用した射影方式に応じて処理対象画像平面R3上の座標から出力画像平面R5上の座標を算出し、その対応関係を処理対象画像・出力画像対応マップ42に記憶するようにしてもよい。 Alternatively, when generating the output image using the virtual camera 2V, the image generation unit 11 calculates the coordinates on the output image plane R5 from the coordinates on the processing target image plane R3 according to the adopted projection method, The correspondence relationship may be stored in the processing target image / output image correspondence map 42.
或いは、画像生成手段11は、通常射影(h=ftanα)を採用する仮想カメラ2Vを用いて出力画像を生成する場合には、その仮想カメラ2Vの光学中心CVの座標を取得した上で、出力画像平面R5上の一座標から延びる線分であり、光学中心CVを通過する線分が処理対象画像平面R3と交差する点を算出し、算出した点に対応する処理対象画像平面R3上の座標を、出力画像平面R5上のその一座標に対応する処理対象画像平面R3上の一座標として導き出し、その対応関係を処理対象画像・出力画像対応マップ42に記憶するようにしてもよい。 Alternatively, when the output image is generated using the virtual camera 2V that employs normal projection (h = ftanα), the image generation unit 11 obtains the coordinates of the optical center CV of the virtual camera 2V and outputs A line segment extending from one coordinate on the image plane R5, a point where a line segment passing through the optical center CV intersects the processing target image plane R3 is calculated, and the coordinates on the processing target image plane R3 corresponding to the calculated point May be derived as one coordinate on the processing target image plane R3 corresponding to the one coordinate on the output image plane R5, and the correspondence relationship may be stored in the processing target image / output image correspondence map 42.
その後、制御部1は、画像生成手段11により、入力画像・空間モデル対応マップ40、空間モデル・処理対象画像対応マップ41、及び処理対象画像・出力画像対応マップ42を参照しながら入力画像平面R4上の座標と空間モデルMD上の座標との対応関係、空間モデルMD上の座標と処理対象画像平面R3上の座標との対応関係、及び処理対象画像平面R3上の座標と出力画像平面R5上の座標との対応関係を辿り、出力画像平面R5上の各座標に対応する入力画像平面R4上の座標が有する値(例えば、輝度値、色相値、彩度値等である。)を取得し、その取得した値を、対応する出力画像平面R5上の各座標の値として採用する(ステップS5)。なお、出力画像平面R5上の一座標に対して複数の入力画像平面R4上の複数の座標が対応する場合、画像生成手段11は、それら複数の入力画像平面R4上の複数の座標のそれぞれの値に基づく統計値(例えば、平均値、最大値、最小値、中間値等である。)を導き出し、出力画像平面R5上のその一座標の値としてその統計値を採用するようにしてもよい。 Thereafter, the control unit 1 uses the image generation unit 11 to refer to the input image plane R4 while referring to the input image / space model correspondence map 40, the space model / processing target image correspondence map 41, and the processing target image / output image correspondence map 42. The correspondence between the coordinates on the space model MD and the coordinates on the space model MD, the correspondence between the coordinates on the space model MD and the coordinates on the processing target image plane R3, and the coordinates on the processing target image plane R3 and the output image plane R5 And the values of the coordinates on the input image plane R4 corresponding to the coordinates on the output image plane R5 (for example, luminance values, hue values, saturation values, etc.) are obtained. The acquired value is adopted as the value of each coordinate on the corresponding output image plane R5 (step S5). Note that when a plurality of coordinates on the plurality of input image planes R4 correspond to one coordinate on the output image plane R5, the image generation unit 11 uses each of the plurality of coordinates on the plurality of input image planes R4. A statistical value based on the value (for example, average value, maximum value, minimum value, intermediate value, etc.) may be derived, and the statistical value may be adopted as the value of the one coordinate on the output image plane R5. .
その後、制御部1は、出力画像平面R5上の全ての座標の値を入力画像平面R4上の座標の値に対応付けたか否かを判定し(ステップS6)、未だ全ての座標の値を対応付けていないと判定した場合には(ステップS6のNO)、ステップS4及びステップS5の処理を繰り返すようにする。 Thereafter, the control unit 1 determines whether or not all the coordinate values on the output image plane R5 are associated with the coordinate values on the input image plane R4 (step S6), and all the coordinate values are still associated. If it is determined that it is not attached (NO in step S6), the processes in steps S4 and S5 are repeated.
一方、制御部1は、全ての座標の値を対応付けたと判定した場合には(ステップS6のYES)、出力画像を生成して、この一連の処理を終了させる。 On the other hand, if the control unit 1 determines that all coordinate values are associated (YES in step S6), the control unit 1 generates an output image and ends the series of processes.
なお、画像生成装置100は、処理対象画像を生成しない場合には、処理対象画像生成処理を省略し、出力画像生成処理におけるステップS4の"処理対象画像平面上の座標"を"空間モデル上の座標"で読み替えるものとする。 Note that, when the processing target image is not generated, the image generation apparatus 100 omits the processing target image generation processing, and sets “coordinates on the processing target image plane” in step S4 in the output image generation processing to “on the spatial model”. It shall be read as "coordinates".
以上の構成により、画像生成装置100は、ショベル60の周囲の地物とショベル60との位置関係を操作者に直感的に把握させることが可能な処理対象画像及び出力画像を生成することができる。 With the above configuration, the image generation apparatus 100 can generate a processing target image and an output image that allow the operator to intuitively grasp the positional relationship between the features around the excavator 60 and the excavator 60. .
また、画像生成装置100は、処理対象画像平面R3から空間モデルMDを経て入力画像平面R4に遡るように座標の対応付けを実行することにより、処理対象画像平面R3上の各座標を入力画像平面R4上の一又は複数の座標に確実に対応させることができ、入力画像平面R4から空間モデルMDを経て処理対象画像平面R3に至る順番で座標の対応付けを実行する場合と比べ(この場合には、入力画像平面R4上の各座標を処理対象画像平面R3上の一又は複数の座標に確実に対応させることができるが、処理対象画像平面R3上の座標の一部が、入力画像平面R4上の何れの座標にも対応付けられない場合があり、その場合にはそれら処理対象画像平面R3上の座標の一部に補間処理等を施す必要がある。)、より良質な処理対象画像を迅速に生成することができる。 Further, the image generation apparatus 100 associates coordinates on the processing target image plane R3 from the processing target image plane R3 to the input image plane R4 through the spatial model MD, thereby obtaining the coordinates on the processing target image plane R3. One or more coordinates on R4 can be reliably associated, and compared with a case where coordinates are associated in the order from the input image plane R4 to the processing target image plane R3 via the spatial model MD (in this case) Can reliably correspond each coordinate on the input image plane R4 to one or a plurality of coordinates on the processing target image plane R3. However, a part of the coordinates on the processing target image plane R3 is part of the input image plane R4. In some cases, the coordinates may not be associated with any of the above coordinates, and in such a case, it is necessary to perform interpolation processing or the like on a part of the coordinates on the processing target image plane R3). It is possible to rapidly generate.
また、画像生成装置100は、空間モデルMDの曲面領域R2に対応する画像のみを拡大或いは縮小する場合には、平行線群PLと処理対象画像平面R3との間に形成される角度を変更して空間モデル・処理対象画像対応マップ41における曲面領域R2に関連する部分のみを書き換えるだけで、入力画像・空間モデル対応マップ40の内容を書き換えることなく、所望の拡大或いは縮小を実現させることができる。 Further, when enlarging or reducing only the image corresponding to the curved surface region R2 of the space model MD, the image generating apparatus 100 changes the angle formed between the parallel line group PL and the processing target image plane R3. Thus, it is possible to realize a desired enlargement or reduction without rewriting the contents of the input image / space model correspondence map 40 only by rewriting only the portion related to the curved surface region R2 in the space model / processing object image correspondence map 41. .
また、画像生成装置100は、出力画像の見え方を変更する場合には、スケール変換、アフィン変換又は歪曲変換に関する各種パラメータの値を変更して処理対象画像・出力画像対応マップ42を書き換えるだけで、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41の内容を書き換えることなく、所望の出力画像(スケール変換画像、アフィン変換画像又は歪曲変換画像)を生成することができる。 Further, when changing the appearance of the output image, the image generating apparatus 100 simply rewrites the processing target image / output image correspondence map 42 by changing the values of various parameters relating to scale conversion, affine transformation, or distortion transformation. The desired output image (scale-converted image, affine-transformed image, or distortion-converted image) can be generated without rewriting the contents of the input image / space model correspondence map 40 and the space model / processing object image correspondence map 41.
同様に、画像生成装置100は、出力画像の視点を変更する場合には、仮想カメラ2Vの各種パラメータの値を変更して処理対象画像・出力画像対応マップ42を書き換えるだけで、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41の内容を書き換えることなく、所望の視点から見た出力画像(視点変換画像)を生成することができる。 Similarly, when changing the viewpoint of the output image, the image generating apparatus 100 simply changes the values of various parameters of the virtual camera 2V and rewrites the processing target image / output image correspondence map 42 to change the input image / space. An output image (viewpoint conversion image) viewed from a desired viewpoint can be generated without rewriting the contents of the model correspondence map 40 and the space model / processing object image correspondence map 41.
図10は、ショベル60に搭載された二台のカメラ2(右側方カメラ2R及び後方カメラ2B)の入力画像を用いて生成される出力画像を表示部5に表示させたときの表示例である。 FIG. 10 is a display example when an output image generated using input images of two cameras 2 (the right side camera 2R and the rear camera 2B) mounted on the excavator 60 is displayed on the display unit 5. .
画像生成装置100は、それら二台のカメラ2のそれぞれの入力画像を空間モデルMDの平面領域R1及び曲面領域R2上に投影した上で処理対象画像平面R3に再投影して処理対象画像を生成し、その生成した処理対象画像に画像変換処理(例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。)を施すことによって出力画像を生成して、ショベル60の近傍を上空から見下ろした画像(平面領域R1における画像)と、ショベル60から水平方向に周囲を見た画像(処理対象画像平面R3における画像)とを同時に表示している。 The image generation apparatus 100 projects the input images of the two cameras 2 onto the plane region R1 and the curved surface region R2 of the space model MD, and then reprojects them onto the processing target image plane R3 to generate a processing target image. Then, an image conversion process (for example, scale conversion, affine conversion, distortion conversion, viewpoint conversion process, etc.) is performed on the generated processing target image to generate an output image, and the vicinity of the excavator 60 can be seen from above. An image looking down (image in the plane region R1) and an image looking around in the horizontal direction from the excavator 60 (image in the processing target image plane R3) are simultaneously displayed.
なお、出力画像は、画像生成装置100が処理対象画像を生成しない場合には、空間モデルMDに投影された画像に画像変換処理(例えば、視点変換処理である。)を施すことによって生成されるものとする。 When the image generation apparatus 100 does not generate the processing target image, the output image is generated by performing image conversion processing (for example, viewpoint conversion processing) on the image projected on the space model MD. Shall.
また、出力画像は、ショベル60が旋回動作を行う際の画像を違和感なく表示できるよう、円形にトリミングされ、その円の中心CTRが空間モデルMDの円筒中心軸上で、且つ、ショベル60の旋回軸PV上となるように生成されており、ショベル60の旋回動作に応じてその中心CTRを軸に回転するように表示される。この場合、空間モデルMDの円筒中心軸は、再投影軸と一致するものであってもよく、一致しないものであってもよい。 The output image is trimmed in a circle so that the image when the excavator 60 performs the turning motion can be displayed without a sense of incongruity, and the center CTR of the circle is on the cylindrical central axis of the space model MD and the excavator 60 is turned. It is generated so as to be on the axis PV, and is displayed so as to rotate about its center CTR in accordance with the turning operation of the excavator 60. In this case, the cylindrical central axis of the space model MD may or may not coincide with the reprojection axis.
なお、空間モデルMDの半径は、例えば、5メートルであり、平行線群PLが処理対象画像平面R3との間で形成する角度、又は、補助線群ALの始点高さは、ショベル60の旋回中心から掘削アタッチメントEの最大到達距離(例えば12メートルである。)だけ離れた位置に地物(例えば、作業員である。)が存在する場合にその地物が表示部5で十分大きく(例えば、7ミリメートル以上である。)表示されるように、設定され得る。 The radius of the space model MD is, for example, 5 meters, and the angle formed between the parallel line group PL and the processing target image plane R3 or the starting point height of the auxiliary line group AL is the turning of the shovel 60. When a feature (for example, a worker) exists at a position separated from the center by the maximum reachable distance (for example, 12 meters) of the excavation attachment E, the feature is sufficiently large (for example, on the display unit 5). , 7 mm or more.) Can be set to be displayed.
更に、出力画像は、ショベル60のCG画像を、ショベル60の前方が表示部5の画面上方と一致し、且つ、その旋回中心が中心CTRと一致するように配置するようにしてもよい。ショベル60と出力画像に現れる地物との間の位置関係をより分かり易くするためである。なお、出力画像は、方位等の各種情報を含む額縁画像をその周囲に配置するようにしてもよい。 Further, the output image may be a CG image of the excavator 60 arranged so that the front of the excavator 60 coincides with the upper part of the screen of the display unit 5 and the turning center thereof coincides with the center CTR. This is to make the positional relationship between the excavator 60 and the feature appearing in the output image easier to understand. Note that a frame image including various kinds of information such as an orientation may be arranged around the output image.
次に、図11〜図18を参照しながら、画像生成装置100が生成する出力画像の詳細について説明する。 Next, details of an output image generated by the image generation apparatus 100 will be described with reference to FIGS.
図11は、画像生成装置100を搭載するショベル60の上面図である。図11に示す実施例では、ショベル60は、3台のカメラ2(左側方カメラ2L、右側方カメラ2R、及び後方カメラ2B)と3台のステレオカメラ6(左側方ステレオカメラ6L、右側方ステレオカメラ6R、及び後方ステレオカメラ6B)とを備える。なお、図11の一点鎖線で示す領域CL、CR、CBは、それぞれ、左側方カメラ2L、右側方カメラ2R、後方カメラ2Bの撮像範囲を示す。また、図11の点線で示す領域ZL、ZR、ZBは、それぞれ、左側方ステレオカメラ6L、右側方ステレオカメラ6R、後方ステレオカメラ6Bの撮像範囲を示す。 FIG. 11 is a top view of the excavator 60 on which the image generating apparatus 100 is mounted. In the embodiment shown in FIG. 11, the excavator 60 includes three cameras 2 (left side camera 2L, right side camera 2R, and rear camera 2B) and three stereo cameras 6 (left side stereo camera 6L, right side stereo). Camera 6R and rear stereo camera 6B). In addition, areas CL, CR, and CB indicated by alternate long and short dash lines in FIG. 11 indicate imaging ranges of the left side camera 2L, the right side camera 2R, and the rear camera 2B, respectively. In addition, areas ZL, ZR, and ZB indicated by dotted lines in FIG. 11 indicate imaging ranges of the left stereo camera 6L, the right stereo camera 6R, and the rear stereo camera 6B, respectively.
なお、本実施例では、ステレオカメラ6の撮像範囲がカメラ2の撮像範囲よりも狭いが、ステレオカメラ6の撮像範囲は、カメラ2の撮像範囲と同じでもよく、カメラ2の撮像範囲より広くてもよい。また、ステレオカメラ6の撮像範囲は、カメラ2の撮像範囲内において、ショベル60の近傍に位置するが、ショベル60からより遠い領域にあってもよい。 In this embodiment, the imaging range of the stereo camera 6 is narrower than the imaging range of the camera 2, but the imaging range of the stereo camera 6 may be the same as the imaging range of the camera 2 and is wider than the imaging range of the camera 2. Also good. Further, the imaging range of the stereo camera 6 is located in the vicinity of the excavator 60 within the imaging range of the camera 2, but may be in a region farther from the excavator 60.
図12は、ショベル60に搭載された3台のカメラ2のそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図である。 FIG. 12 is a diagram illustrating input images of the three cameras 2 mounted on the excavator 60 and output images generated using the input images.
画像生成装置100は、3台のカメラ2のそれぞれの入力画像を空間モデルMDの平面領域R1及び曲面領域R2上に投影した上で処理対象画像平面R3に再投影して処理対象画像を生成する。また、画像生成装置100は、生成した処理対象画像に画像変換処理(例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。)を施すことによって出力画像を生成する。その結果、画像生成装置100は、ショベル60の近傍を上空から見下ろした画像(平面領域R1における画像)と、ショベル60から水平方向に周囲を見た画像(処理対象画像平面R3における画像)とを同時に表示する。なお、出力画像の中央に表示される画像は、ショベル60のCG画像60CGである。 The image generation apparatus 100 projects the input images of the three cameras 2 onto the plane area R1 and the curved surface area R2 of the space model MD, and then reprojects them onto the process target image plane R3 to generate a process target image. . The image generation apparatus 100 generates an output image by performing image conversion processing (for example, scale conversion, affine conversion, distortion conversion, viewpoint conversion processing, etc.) on the generated processing target image. As a result, the image generating apparatus 100 includes an image in which the vicinity of the excavator 60 is looked down from above (an image in the plane region R1) and an image in which the surroundings are viewed in the horizontal direction from the excavator 60 (an image in the processing target image plane R3). Display at the same time. The image displayed at the center of the output image is a CG image 60CG of the excavator 60.
図12において、右側方カメラ2Rの入力画像、及び、後方カメラ2Bの入力画像はそれぞれ、右側方カメラ2Rの撮像範囲と後方カメラ2Bの撮像範囲との重複領域内に人物を捉えている(右側方カメラ2Rの入力画像における二点鎖線で囲まれる領域R10、及び、後方カメラ2Bの入力画像における二点鎖線で囲まれる領域R11参照。)。 In FIG. 12, the input image of the right-side camera 2R and the input image of the rear camera 2B each capture a person in the overlapping area between the imaging range of the right-side camera 2R and the imaging range of the rear camera 2B (right side). (See region R10 surrounded by a two-dot chain line in the input image of the direction camera 2R and region R11 surrounded by a two-dot chain line in the input image of the rear camera 2B.)
しかしながら、出力画像平面上の座標が入射角の最も小さいカメラに関する入力画像平面上の座標に対応付けられるものとすると、出力画像は、重複領域内の人物を消失させてしまう(出力画像内の一点鎖線で囲まれる領域R12参照。)。 However, if the coordinates on the output image plane are associated with the coordinates on the input image plane for the camera with the smallest incident angle, the output image loses the person in the overlapping area (one point in the output image). (See region R12 surrounded by a chain line.)
そこで、画像生成装置100は、重複領域に対応する出力画像部分において、後方カメラ2Bの入力画像平面上の座標が対応付けられる領域と、右側方カメラ2Rの入力画像平面上の座標が対応付けられる領域とを混在させ、重複領域内の物体が消失するのを防止する。 Therefore, in the output image portion corresponding to the overlapping region, the image generation device 100 associates the region on the input image plane of the rear camera 2B with the coordinate on the input image plane of the right-side camera 2R. The area is mixed to prevent the object in the overlapping area from disappearing.
図13は、2つのカメラのそれぞれの撮像範囲の重複領域における物体の消失を防止する画像消失防止処理を説明するための図である。 FIG. 13 is a diagram for explaining an image disappearance prevention process for preventing the disappearance of an object in the overlapping region of the imaging ranges of the two cameras.
図13(A)は、右側方カメラ2Rの撮像範囲と後方カメラ2Bの撮像範囲との重複領域に対応する出力画像部分を示す図であり、図12の点線で示す矩形領域R13に対応する。 FIG. 13A is a diagram showing an output image portion corresponding to an overlapping area between the imaging range of the right-side camera 2R and the imaging range of the rear camera 2B, and corresponds to the rectangular area R13 indicated by the dotted line in FIG.
また、図13(A)において、灰色で塗り潰された領域PR1は、後方カメラ2Bの入力画像部分が配置される画像領域であり、領域PR1に対応する出力画像平面上の各座標には後方カメラ2Bの入力画像平面上の座標が対応付けられる。 In FIG. 13A, a gray area PR1 is an image area in which the input image portion of the rear camera 2B is arranged, and each coordinate on the output image plane corresponding to the area PR1 has a rear camera. Coordinates on the 2B input image plane are associated.
一方、白色で塗り潰された領域PR2は、右側方カメラ2Rの入力画像部分が配置される画像領域であり、部分PR2に対応する出力画像平面上の各座標には右側方カメラ2Rの入力画像平面上の座標が対応付けられる。 On the other hand, a region PR2 filled with white is an image region in which the input image portion of the right side camera 2R is arranged, and each coordinate on the output image plane corresponding to the portion PR2 has an input image plane of the right side camera 2R. The upper coordinates are associated.
本実施例では、領域PR1と領域PR2とが縞模様を形成するように配置され、領域PR1と領域PR2とが縞状に交互に並ぶ部分の境界線は、ショベル60の旋回中心を中心とする水平面上の同心円によって定められる。 In the present embodiment, the region PR1 and the region PR2 are arranged so as to form a stripe pattern, and the boundary line of the portion where the regions PR1 and the region PR2 are alternately arranged in a stripe shape is centered on the turning center of the excavator 60. Determined by concentric circles on a horizontal plane.
図13(B)は、ショベル60の右斜め後方の空間領域の状況を示す上面図であり、後方カメラ2B及び右側方カメラ2Rの双方によって撮像される空間領域の現在の状況を示す。また、図13(B)は、ショベル60の右斜め後方に棒状の立体物OBが存在することを示す。 FIG. 13B is a top view showing the state of the space region diagonally right behind the shovel 60, and shows the current state of the space region imaged by both the rear camera 2B and the right side camera 2R. FIG. 13B shows that a rod-shaped three-dimensional object OB exists behind the excavator 60 diagonally to the right.
図13(C)は、図13(B)が示す空間領域を後方カメラ2B及び右側方カメラ2Rで実際に撮像して得られた入力画像に基づいて生成される出力画像の一部を示す。 FIG. 13C shows a part of an output image generated based on an input image obtained by actually capturing the spatial region shown in FIG. 13B with the rear camera 2B and the right side camera 2R.
具体的には、画像OB1は、後方カメラ2Bの入力画像における立体物OBの画像が、路面画像を生成するための視点変換によって、後方カメラ2Bと立体物OBとを結ぶ線の延長方向に伸長されたものを表す。すなわち、画像OB1は、後方カメラ2Bの入力画像を用いて出力画像部分における路面画像を生成した場合に表示される立体物OBの画像の一部である。 Specifically, the image OB1 is expanded in the extension direction of the line connecting the rear camera 2B and the three-dimensional object OB by the viewpoint conversion for generating the road surface image of the three-dimensional object OB in the input image of the rear camera 2B. Represents what was done. That is, the image OB1 is a part of the image of the three-dimensional object OB displayed when the road surface image in the output image portion is generated using the input image of the rear camera 2B.
また、画像OB2は、右後方カメラ2Rの入力画像における立体物OBの画像が、路面画像を生成するための視点変換によって、右側方カメラ2Rと立体物OBとを結ぶ線の延長方向に伸長されたものを表す。すなわち、画像OB2は、右側方カメラ2Rの入力画像を用いて出力画像部分における路面画像を生成した場合に表示される立体物OBの画像の一部である。 Further, the image OB2 is expanded in the extension direction of the line connecting the right-side camera 2R and the three-dimensional object OB by viewpoint conversion for generating the road surface image of the three-dimensional object OB in the input image of the right rear camera 2R. Represents a thing. That is, the image OB2 is a part of an image of the three-dimensional object OB displayed when a road surface image in the output image portion is generated using the input image of the right side camera 2R.
このように、画像生成装置100は、重複領域において、後方カメラ2Bの入力画像平面上の座標が対応付けられる領域PR1と、右側方カメラ2Rの入力画像平面上の座標が対応付けられる領域PR2とを混在させる。その結果、画像生成装置100は、1つの立体物OBに関する2つの画像OB1及び画像OB2の双方を出力画像上に表示させ、立体物OBが出力画像から消失するのを防止する。 As described above, the image generating apparatus 100 includes the region PR1 in which the coordinates on the input image plane of the rear camera 2B are associated with the region PR2 in which the coordinates on the input image plane of the right-side camera 2R are associated in the overlapping region. Mix. As a result, the image generation apparatus 100 displays both the two images OB1 and OB2 related to one solid object OB on the output image, and prevents the solid object OB from disappearing from the output image.
図14は、図12の出力画像と、図12の出力画像に画像消失防止処理を適用することで得られる出力画像との違いを表す対比図であり、図14(A)が図12の出力画像を示し、図14(B)が画像消失防止処理を適用した後の出力画像を示す。図14(A)における一点鎖線で囲まれる領域R12では人物が消失しているのに対し、図14(B)における一点鎖線で囲まれる領域R14では人物が消失せずに表示されている。 14 is a comparison diagram showing the difference between the output image of FIG. 12 and the output image obtained by applying the image loss prevention process to the output image of FIG. 12, and FIG. 14 (A) is the output of FIG. An image is shown, and FIG. 14B shows an output image after applying the image disappearance prevention process. In the region R12 surrounded by the alternate long and short dash line in FIG. 14A, the person disappears, whereas in the region R14 surrounded by the alternate long and short dash line in FIG. 14B, the person is displayed without disappearing.
次に、図15を参照しながら、画像生成装置100が生成する出力距離画像について説明する。なお、図15は、ショベル60に搭載された3台のステレオカメラ6のそれぞれの入力距離画像と、それら入力距離画像を用いて生成される出力距離画像とを示す図である。 Next, an output distance image generated by the image generation apparatus 100 will be described with reference to FIG. FIG. 15 is a diagram illustrating input distance images of the three stereo cameras 6 mounted on the excavator 60 and output distance images generated using the input distance images.
画像生成装置100は、それら3台のステレオカメラ6のそれぞれの入力距離画像を空間モデルMDの平面領域R1及び曲面領域R2上に投影した上で処理対象距離画像平面R3に再投影して処理対象距離画像を生成する。また、画像生成装置100は、生成した処理対象距離画像に画像変換処理(例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。)を施すことによって出力距離画像を生成する。そして、画像生成装置100は、ショベル60の近傍を上空から見下ろした距離画像(平面領域R1における距離画像)と、ショベル60から水平方向に周囲を見た距離画像(処理対象距離画像平面R3における画像)とを同時に表示する。なお、出力距離画像の中央に表示される画像は、ショベル60のCG画像60CGである。 The image generation apparatus 100 projects the input distance images of the three stereo cameras 6 onto the plane area R1 and the curved surface area R2 of the space model MD and then reprojects them onto the processing object distance image plane R3. Generate a distance image. Further, the image generation apparatus 100 generates an output distance image by performing image conversion processing (for example, scale conversion, affine conversion, distortion conversion, viewpoint conversion processing, etc.) on the generated processing target distance image. The image generation apparatus 100 then includes a distance image (distance image in the plane region R1) looking down from the vicinity of the excavator 60 and a distance image (image in the processing target distance image plane R3) viewed from the excavator 60 in the horizontal direction. ) Are displayed at the same time. The image displayed at the center of the output distance image is a CG image 60CG of the excavator 60.
なお、図15の入力距離画像及び出力距離画像は、画素値(ステレオカメラ6からの距離)が小さいほど白く(薄く)、画素値が大きいほど黒く(濃く)なるように表示される。なお、路面及び上部旋回体63のそれぞれに相当する部分の画素値(距離)は、ショベル60の周囲に存在する地物の出力距離画像における視認性を高めるため、最大値(無限遠)に設定される。すなわち、路面及び上部旋回体63のそれぞれに相当する部分は黒色で表される。 Note that the input distance image and the output distance image in FIG. 15 are displayed so that the smaller the pixel value (distance from the stereo camera 6), the whiter (lighter), and the larger the pixel value, the darker (darker). Note that the pixel values (distances) of the portions corresponding to the road surface and the upper swing body 63 are set to the maximum value (infinity) in order to improve the visibility in the output distance image of the features existing around the excavator 60. Is done. That is, the portions corresponding to the road surface and the upper swing body 63 are represented in black.
図15において、右側方ステレオカメラ6Rの入力距離画像、及び、後方ステレオカメラ6Bの入力距離画像はそれぞれ、右側方ステレオカメラ6Rの撮像範囲と後方ステレオカメラ6Bの撮像範囲との重複領域内に人物を捉えている(右側方ステレオカメラ6Rの入力距離画像における二点鎖線で囲まれる領域R15、及び、後方ステレオカメラ6Bの入力距離画像における二点鎖線で囲まれる領域R16参照。)。 In FIG. 15, the input distance image of the right-side stereo camera 6R and the input distance image of the rear-side stereo camera 6B are respectively in the overlapping area of the imaging range of the right-side stereo camera 6R and the imaging range of the rear-side stereo camera 6B. (See the region R15 surrounded by the two-dot chain line in the input distance image of the right-side stereo camera 6R and the region R16 surrounded by the two-dot chain line in the input distance image of the rear stereo camera 6B.)
しかしながら、出力距離画像平面上の座標が、最も近い位置にあるステレオカメラに関する入力距離画像平面上の座標に対応付けられるものとすると、出力距離画像は、重複領域内の人物を消失させてしまう(出力距離画像内の一点鎖線で囲まれる領域R17参照。)。 However, if the coordinates on the output distance image plane are associated with the coordinates on the input distance image plane related to the closest stereo camera, the output distance image causes the person in the overlapping region to disappear ( (Refer area | region R17 enclosed with the dashed-dotted line in an output distance image.).
そこで、画像生成装置100は、重複領域に対応する出力距離画像部分では、後方ステレオカメラ6Bの入力距離画像平面上の座標、及び、右側方ステレオカメラ6Rの入力距離画像平面上の座標のうち、画素値(距離)が小さい方の座標を、出力距離画像平面上の座標に対応付けるようにする。その結果、画像生成装置100は、1つの立体物に関する2つの距離画像を出力距離画像上に表示させ、立体物が出力距離画像から消失するのを防止する。なお、以下では、2つのステレオカメラのそれぞれの撮像範囲の重複領域における物体の消失を防止するこの処理を距離画像消失防止処理と称する。 Therefore, the image generation apparatus 100, in the output distance image portion corresponding to the overlapping region, out of the coordinates on the input distance image plane of the rear stereo camera 6B and the coordinates on the input distance image plane of the right-side stereo camera 6R, The coordinates with the smaller pixel value (distance) are associated with the coordinates on the output distance image plane. As a result, the image generation apparatus 100 displays two distance images related to one solid object on the output distance image, and prevents the solid object from disappearing from the output distance image. Hereinafter, this process for preventing the disappearance of an object in the overlapping area of the imaging ranges of the two stereo cameras is referred to as a distance image disappearance prevention process.
図16は、図15の出力距離画像と、図15の出力距離画像に距離画像消失防止処理を適用することで得られる出力距離画像との違いを表す対比図であり、図16(A)が図15の出力画像を示し、図16(B)が距離画像消失防止処理を適用した後の出力距離画像を示す。図16(A)における一点鎖線で囲まれる領域R17では人物が消失しているのに対し、図16(B)における一点鎖線で囲まれる領域R17では人物が消失せずに表示されている。 FIG. 16 is a comparison diagram showing the difference between the output distance image of FIG. 15 and the output distance image obtained by applying the distance image disappearance prevention process to the output distance image of FIG. 15. FIG. The output image of FIG. 15 is shown, and FIG. 16B shows the output distance image after applying the distance image disappearance prevention process. In FIG. 16A, a person disappears in a region R17 surrounded by a one-dot chain line, whereas in a region R17 surrounded by a one-dot chain line in FIG. 16B, a person is displayed without disappearing.
次に、図17及び図18を参照しながら、画像生成装置100が出力画像に出力距離画像を合成する処理(以下、「距離画像合成処理」とする。)について説明する。 Next, with reference to FIG. 17 and FIG. 18, processing in which the image generation apparatus 100 combines an output distance image with an output image (hereinafter referred to as “distance image combining processing”) will be described.
図17は、出力画像に出力距離画像を合成して得られる合成後出力画像の一例を示す図である。 FIG. 17 is a diagram illustrating an example of a combined output image obtained by combining an output distance image with an output image.
画像生成装置100の距離画像合成手段14は、例えば、図16(B)に示すように、画素抽出手段12が抽出した抽出画素の画素値(距離)を輝度値、色相値、彩度値等に変換した上で、図14(B)に示す出力画像にその抽出画素を重畳表示させる。重畳表示される抽出画素は、例えば、ステレオカメラ6からの距離に応じた色を有し、その距離が大きくなるにつれて、赤色、黄色、緑色、青色というように段階的に或いは無段階にその色を変化させる。なお、重畳表示される抽出画素は、ステレオカメラ6からの距離に応じた輝度を有し、距離が大きくなるにつれて、その輝度を段階的に或いは無段階に減少させるようにしてもよい。図17の領域EX1〜EX5は、それら抽出画素によって形成される領域であり、以下では、地物領域と称する。 For example, as shown in FIG. 16B, the distance image synthesizing unit 14 of the image generating apparatus 100 uses the pixel value (distance) of the extracted pixel extracted by the pixel extracting unit 12 as a luminance value, a hue value, a saturation value, and the like. Then, the extracted pixel is superimposed on the output image shown in FIG. The extracted pixels displayed in a superimposed manner have, for example, a color corresponding to the distance from the stereo camera 6, and as the distance increases, the color is red or yellow, green, or blue stepwise or steplessly. To change. Note that the extracted pixels displayed in a superimposed manner have a luminance corresponding to the distance from the stereo camera 6, and the luminance may be decreased stepwise or steplessly as the distance increases. Regions EX1 to EX5 in FIG. 17 are regions formed by these extracted pixels, and are hereinafter referred to as feature regions.
また、距離画像合成手段14は、所定数以上の隣接する抽出画素によって形成される地物領域EX1〜EX5の距離情報を出力画像上に重畳表示させてもよい。具体的には、距離画像合成手段14は、例えば、地物領域EX1を構成する画素の画素値(距離)の最小値、最大値、平均値、中間値等を、地物領域EX1までの距離を表す代表値として出力画像上に重畳表示させる。なお、距離画像合成手段14は、その代表値が所定値未満の場合に限りその代表値を出力画像上に重畳表示するようにしてもよい。ショベル60に比較的近い地物、すなわち接触の可能性が比較的高い地物をより認識し易くするためである。 Further, the distance image synthesis unit 14 may superimpose and display the distance information of the feature regions EX1 to EX5 formed by a predetermined number or more of the adjacent extraction pixels on the output image. Specifically, the distance image synthesis means 14 uses, for example, the minimum value, maximum value, average value, intermediate value, etc. of the pixel values (distances) of the pixels constituting the feature region EX1 as the distance to the feature region EX1. Is superimposed on the output image as a representative value. The distance image composition unit 14 may superimpose and display the representative value on the output image only when the representative value is less than the predetermined value. This is to make it easier to recognize features that are relatively close to the excavator 60, that is, features that have a relatively high possibility of contact.
図18は、出力画像に出力距離画像を合成して得られる合成後出力画像の別の一例を示す図である。 FIG. 18 is a diagram illustrating another example of the combined output image obtained by combining the output distance image with the output image.
図18では、距離画像合成手段14は、抽出画素の色や輝度を変更して重畳表示する代わりに、図17の地物領域EX1〜EX5のそれぞれに対応する枠RF1〜RF5を重畳表示する。なお、枠の線種は、点線、実線、破線、一点鎖線等を含め任意であり、枠の形状も、矩形、円形、楕円形、多角形を含め任意である。 In FIG. 18, the distance image composition unit 14 superimposes and displays the frames RF1 to RF5 corresponding to the feature regions EX1 to EX5 in FIG. 17 instead of superimposing and displaying the extracted pixels in different colors and brightness. The line type of the frame is arbitrary including a dotted line, a solid line, a broken line, an alternate long and short dash line, and the shape of the frame is arbitrary including a rectangle, a circle, an ellipse, and a polygon.
また、距離画像合成手段14は、枠RF1〜RF5のそれぞれに対応する距離情報を出力画像上に重畳表示させてもよい。具体的には、距離画像合成手段14は、例えば、枠RF1に対応する地物領域EX1を構成する画素の画素値(距離)の最小値、最大値、平均値、中間値等を、枠RF1に対応する距離の代表値として出力画像上に重畳表示させる。なお、距離画像合成手段14は、その代表値が所定値未満の場合に限りその代表値を出力画像上に重畳表示するようにしてもよい。ショベル60に比較的近い地物、すなわち接触の可能性が比較的高い地物をより認識し易くするためである。 Further, the distance image synthesis unit 14 may superimpose and display distance information corresponding to each of the frames RF1 to RF5 on the output image. Specifically, the distance image composition unit 14 uses, for example, the minimum value, maximum value, average value, intermediate value, and the like of the pixel values (distances) of the pixels constituting the feature region EX1 corresponding to the frame RF1 in the frame RF1. Are superimposed on the output image as a representative value of the distance corresponding to. The distance image composition unit 14 may superimpose and display the representative value on the output image only when the representative value is less than the predetermined value. This is to make it easier to recognize features that are relatively close to the excavator 60, that is, features that have a relatively high possibility of contact.
また、距離画像合成手段14は、対応する距離情報に応じて枠の色を変化させてもよい。具体的には、距離画像合成手段14は、その距離が大きくなるにつれて、赤色、黄色、緑色、青色というように段階的に或いは無段階に枠の色を変化させる。なお、距離画像合成手段14は、距離が大きくなるにつれて、枠の輝度を段階的に或いは無段階に減少させるようにしてもよい。 Further, the distance image composition unit 14 may change the color of the frame according to the corresponding distance information. Specifically, the distance image synthesizing unit 14 changes the color of the frame stepwise or steplessly such as red, yellow, green, and blue as the distance increases. The distance image synthesis means 14 may decrease the brightness of the frame stepwise or steplessly as the distance increases.
上述のような合成後出力画像を見ることによって、ショベル60の操作者は、ショベル60の周囲に存在する地物の位置、及びその地物までの距離をより容易に認識することができる。また、ショベル60の操作者は、操作者から見て死角となる領域に存在する地物の位置、及びその地物までの距離をより容易に認識することができる。 By looking at the output image after synthesis as described above, the operator of the excavator 60 can more easily recognize the position of the feature existing around the excavator 60 and the distance to the feature. Further, the operator of the excavator 60 can more easily recognize the position of the feature existing in the blind spot as viewed from the operator and the distance to the feature.
以上の構成により、画像生成装置100は、ステレオカメラ6が撮像する入力距離画像に基づいて生成される出力距離画像を、カメラ2が撮像する入力画像に基づいて生成される出力画像上に合成する。そのため、画像生成装置100は、ショベル60の周囲の比較的広い範囲に存在する各地物までの距離を比較的高い分解能で測定することができる。その結果、画像生成装置100は、信頼性の高い合成後出力画像を生成することができる。 With the above configuration, the image generation apparatus 100 combines the output distance image generated based on the input distance image captured by the stereo camera 6 on the output image generated based on the input image captured by the camera 2. . Therefore, the image generating apparatus 100 can measure the distance to each feature existing in a relatively wide range around the excavator 60 with a relatively high resolution. As a result, the image generation apparatus 100 can generate a highly reliable post-combination output image.
また、カメラ2及びステレオカメラ6は、それぞれの撮像範囲がショベル60の周囲を取り囲むように配置される。そのため、画像生成装置100は、ショベル60の周囲を上空から見たときの様子を表す合成後出力画像を生成することができる。その結果、ショベル60の操作者は、ショベル60の周囲に存在する地物の位置、及びその地物までの距離をより容易に認識することができる。 Further, the camera 2 and the stereo camera 6 are arranged so that the respective imaging ranges surround the excavator 60. Therefore, the image generation apparatus 100 can generate a combined output image that represents a state when the periphery of the excavator 60 is viewed from above. As a result, the operator of the excavator 60 can more easily recognize the position of the feature existing around the excavator 60 and the distance to the feature.
また、画像生成装置100は、処理対象画像に対して施される画像変換処理と同じ画像変換処理を処理対象距離画像に対して施すようにする。そのため、画像生成装置100は、出力画像平面における座標と出力距離画像平面における座標を容易に対応付けることができる。 Further, the image generating apparatus 100 performs the same image conversion process as the image conversion process performed on the processing target image on the processing target distance image. Therefore, the image generation device 100 can easily associate the coordinates on the output image plane with the coordinates on the output distance image plane.
また、画像生成装置100は、ステレオカメラ6からの距離に応じて、すなわち、ショベル60からの距離に応じて、抽出画素又は枠の色を段階的に或いは無段階に変化させる。そのため、ショベル60の操作者は、感覚的に接触の危険の有無を判断することができる。 Further, the image generating apparatus 100 changes the color of the extraction pixel or the frame stepwise or steplessly according to the distance from the stereo camera 6, that is, according to the distance from the excavator 60. Therefore, the operator of the shovel 60 can sensuously determine whether there is a danger of contact.
また、画像生成装置100は、ステレオカメラ6を用いて二次元配列の距離情報を取得する。そのため、画像生成装置100は、投光用LED及び受光用CCDで構成される距離画像センサを用いて二次元配列の距離情報を取得する場合に比べ、撮像範囲における熱源、光源、光吸収材料等による影響を受けにくい。 In addition, the image generation apparatus 100 acquires distance information of a two-dimensional array using the stereo camera 6. Therefore, the image generation apparatus 100 has a heat source, a light source, a light-absorbing material, and the like in the imaging range as compared with a case where distance information of a two-dimensional array is acquired using a distance image sensor including a light emitting LED and a light receiving CCD. Not easily affected by
次に、図19〜図23を参照しながら、画像生成装置100が入力距離画像から所定の条件を満たす画素を抽出して入力距離画像を補正する処理(以下、「第1画素抽出処理」とする。)について説明する。なお、本実施例では、後方ステレオカメラ6Bが撮像する入力距離画像における画素の値は、設置面距離に等しいか、設置面距離より小さいものとする。 Next, referring to FIGS. 19 to 23, the image generation apparatus 100 extracts a pixel that satisfies a predetermined condition from the input distance image and corrects the input distance image (hereinafter referred to as “first pixel extraction process”). ). In the present embodiment, the pixel value in the input distance image captured by the rear stereo camera 6B is equal to or smaller than the installation surface distance.
図19は、画像生成装置100を搭載するショベル60の部分右側面図である。図19に示す実施例では、ショベル60は、1台のカメラ2(後方カメラ2B)と1台のステレオカメラ6(後方ステレオカメラ6B)とを備える。なお、図19の点線で示す領域ZBは、後方ステレオカメラ6Bの撮像範囲を示す。 FIG. 19 is a partial right side view of the excavator 60 on which the image generating apparatus 100 is mounted. In the embodiment shown in FIG. 19, the excavator 60 includes one camera 2 (rear camera 2B) and one stereo camera 6 (rear stereo camera 6B). Note that a region ZB indicated by a dotted line in FIG. 19 indicates an imaging range of the rear stereo camera 6B.
また、図19は、ショベル60の後方に、地面から鉛直上方に伸びる物体P3と地面の隆起部P4とが存在することを示す。さらに、図19は、後方ステレオカメラ6Bにより、物体P3までの距離E1aが検出され、且つ、隆起部P4までの距離E2aが検出されたことを示す。 Further, FIG. 19 shows that an object P3 and a raised portion P4 of the ground that extend vertically upward from the ground exist behind the excavator 60. Furthermore, FIG. 19 shows that the distance E1a to the object P3 is detected and the distance E2a to the raised portion P4 is detected by the rear stereo camera 6B.
また、図19は、仮に物体P3及び隆起部P4が存在しなかった場合には、後方ステレオカメラ6Bが、距離E1a、E2aの代わりに、設置面距離E1、E2を検出していたことを示す。 FIG. 19 shows that if the object P3 and the raised portion P4 are not present, the rear stereo camera 6B detects the installation surface distances E1 and E2 instead of the distances E1a and E2a. .
また、図19は、設置面距離E1と距離E1aとの差(E1−E1a)が距離(以下、設置面距離E1が距離E1aより大きい場合の差を「第1差分距離」とする。)E1bであり、設置面距離E2と距離E2aとの差(E2−E2a)が第1差分距離E2bであることを示す。 In FIG. 19, the difference (E1−E1a) between the installation surface distance E1 and the distance E1a is a distance (hereinafter, the difference when the installation surface distance E1 is larger than the distance E1a is referred to as “first difference distance”) E1b. The difference (E2−E2a) between the installation surface distance E2 and the distance E2a is the first difference distance E2b.
図20は、図19における隆起部P4の拡大図である。図19及び図20に示すように、後方ステレオカメラ6Bから見た隆起部P4上の点とステレオカメラ6Bとを結ぶ線分は、設置面との間に角度(以下、「設置面角度」とする。)γ4を形成する。この場合、隆起部P4の設置面からの高さ(以下、「推定高さ」とする。)H1bは、第1差分距離E2b×sin(γ4)で表される。また、設置面角度は、設置面距離と同様、後方ステレオカメラ6Bの設置位置及び設置角度に基づいて、後方ステレオカメラ6Bの入力距離画像における画素毎に予め設定される。 FIG. 20 is an enlarged view of the raised portion P4 in FIG. As shown in FIGS. 19 and 20, the line segment connecting the point on the raised portion P4 and the stereo camera 6B viewed from the rear stereo camera 6B is an angle between the installation surface and the installation surface (hereinafter referred to as “installation surface angle”). ) Γ4 is formed. In this case, the height (hereinafter referred to as “estimated height”) H1b from the installation surface of the raised portion P4 is represented by a first difference distance E2b × sin (γ4). Similarly to the installation surface distance, the installation surface angle is set in advance for each pixel in the input distance image of the rear stereo camera 6B based on the installation position and installation angle of the rear stereo camera 6B.
また、ステレオカメラ6Bが撮像する入力距離画像における画素の値は、地物とステレオカメラ6Bとの間の距離を表す。そのため、入力距離画像における各画素の値と各画素に対応する設置面距離との差である第1差分距離に、各画素に対応する設置面角度の正弦を乗算することによって、その地物の推定高さを求めることができる。本実施例では、第1差分距離E2bにsin(γ4)を乗算することによって隆起部P4の推定高さH1bを求めることができる。 The pixel value in the input distance image captured by the stereo camera 6B represents the distance between the feature and the stereo camera 6B. Therefore, by multiplying the first difference distance, which is the difference between the value of each pixel in the input distance image and the installation surface distance corresponding to each pixel, by the sine of the installation surface angle corresponding to each pixel, An estimated height can be obtained. In the present embodiment, the estimated height H1b of the raised portion P4 can be obtained by multiplying the first difference distance E2b by sin (γ4).
ところで、後方ステレオカメラ6Bが撮像する入力距離画像における画素の値は、上述のように、地物と後方ステレオカメラ6Bとの間の距離を表す。そのため、後方ステレオカメラ6Bからの距離に応じて色又は輝度を変化させる処理を入力距離画像に施して出力距離画像を生成する場合、入力距離画像における画素値をそのまま用いると出力距離画像の視認性を損なうおそれがある。具体的には、その出力距離画像は、ショベル60から離れるにつれて段階的に変化する色又は輝度で地面(設置面)を表すこととなり、物体P3及び隆起部P4の存在を分かり難くするおそれがある。 Incidentally, the pixel value in the input distance image captured by the rear stereo camera 6B represents the distance between the feature and the rear stereo camera 6B as described above. Therefore, when an output distance image is generated by performing a process of changing the color or luminance according to the distance from the rear stereo camera 6B on the input distance image, the visibility of the output distance image is obtained by using the pixel value in the input distance image as it is. May be damaged. Specifically, the output distance image represents the ground (installation surface) with a color or brightness that changes stepwise as it moves away from the excavator 60, and may make it difficult to understand the presence of the object P3 and the raised portion P4. .
そこで、画像生成装置100の画素抽出手段12は、例えば、後方ステレオカメラ6Bの入力距離画像から所定の条件を満たす画素を抽出し、その抽出結果に基づいて入力距離画像を補正する。具体的には、画素抽出手段12は、入力距離画像における各画素のうち、各画素に対応する設置面距離より小さい画素値を有する画素を抽出する。そして、画素抽出手段12は、設置面距離に等しい画素値を有する画素のその画素値を所定値(例えば、最小値としてのゼロである。)で置き換える。一方で、画素抽出手段12は、設置面距離より小さい画素値を有する画素の画素値をそのまま維持する。この場合、設置面距離に等しい画素値は、所定の幅を有する値であってもよい。 Therefore, for example, the pixel extraction unit 12 of the image generation apparatus 100 extracts pixels that satisfy a predetermined condition from the input distance image of the rear stereo camera 6B, and corrects the input distance image based on the extraction result. Specifically, the pixel extraction unit 12 extracts a pixel having a pixel value smaller than the installation surface distance corresponding to each pixel from the pixels in the input distance image. Then, the pixel extraction unit 12 replaces the pixel value of a pixel having a pixel value equal to the installation surface distance with a predetermined value (for example, zero as the minimum value). On the other hand, the pixel extraction means 12 maintains the pixel value of the pixel having a pixel value smaller than the installation surface distance as it is. In this case, the pixel value equal to the installation surface distance may be a value having a predetermined width.
また、画素抽出手段12は、入力距離画像における各画素のうち、第1差分距離が所定距離以上の画素を抽出してもよい。この場合、画素抽出手段12は、第1差分距離が所定距離未満の画素の画素値を所定値(例えば、最小値としてのゼロである。)で置き換え、第1差分距離が所定距離以上の画素の画素値をそのまま維持する。例えば、図20に示すように、画素抽出手段12は、第1差分距離E2bが所定距離E2b1未満であるため、第1差分距離E2bに対応する画素の画素値をゼロに設定する。なお、所定距離E2b1は、所定高さH1に対応する距離である。或いは、図20に示すように、画素抽出手段12は、設置面高さH1bが所定高さH1未満であると判断し、設置面高さH1bに対応する画素の画素値をゼロに置き換えてもよい。或いは、画素抽出手段12は、設置面距離E2に占める第1差分距離E2bの比率(以下、設置面距離E2が距離E2aより大きい場合の比率を「第1差分比率」とする。)が所定比率未満であると判断し、対応する画素の画素値をゼロに置き換えてもよい。なお、所定距離、所定高さ、所定比率等は、後方ステレオカメラ6Bの設置位置及び設置角度に基づいて、後方ステレオカメラ6Bの入力距離画像における画素毎又は画素行毎若しくは画素列毎に予め設定される。また、所定高さ、所定比率は、入力距離画像における全ての画素に関して共通であってもよい。 Moreover, the pixel extraction means 12 may extract the pixel whose 1st difference distance is more than predetermined distance among each pixel in an input distance image. In this case, the pixel extraction unit 12 replaces the pixel value of the pixel having the first difference distance less than the predetermined distance with a predetermined value (for example, zero as the minimum value), and the pixel having the first difference distance equal to or larger than the predetermined distance. This pixel value is maintained as it is. For example, as illustrated in FIG. 20, the pixel extraction unit 12 sets the pixel value of the pixel corresponding to the first difference distance E2b to zero because the first difference distance E2b is less than the predetermined distance E2b1. The predetermined distance E2b1 is a distance corresponding to the predetermined height H1. Alternatively, as illustrated in FIG. 20, the pixel extraction unit 12 determines that the installation surface height H1b is less than the predetermined height H1, and replaces the pixel value of the pixel corresponding to the installation surface height H1b with zero. Good. Alternatively, in the pixel extraction unit 12, the ratio of the first difference distance E2b occupying the installation surface distance E2 (hereinafter, the ratio when the installation surface distance E2 is greater than the distance E2a is referred to as “first difference ratio”) is a predetermined ratio. The pixel value of the corresponding pixel may be replaced with zero. The predetermined distance, the predetermined height, the predetermined ratio, and the like are set in advance for each pixel, each pixel row, or each pixel column in the input distance image of the rear stereo camera 6B based on the installation position and installation angle of the rear stereo camera 6B. Is done. Further, the predetermined height and the predetermined ratio may be common for all the pixels in the input distance image.
図21は、後方ステレオカメラ6Bの出力距離画像の例を示す図である。図21(A)は、画素抽出手段12による抽出を行わずに入力距離画像における全ての画素の画素値をそのまま用いた場合の出力距離画像を示す。図21(B)は、画素抽出手段12により、入力距離画像における各画素のうち、各画素に対応する設置面距離より小さい画素値を有する画素が抽出された場合の出力距離画像を示す。また、図21(C)は、画素抽出手段12により、入力距離画像における各画素のうち、第1差分距離が所定距離以上となる画素、又は、推定高さが所定高さ以上となる画素が抽出された場合の出力距離画像を示す。 FIG. 21 is a diagram illustrating an example of an output distance image of the rear stereo camera 6B. FIG. 21A shows an output distance image when pixel values of all the pixels in the input distance image are used as they are without performing extraction by the pixel extracting means 12. FIG. 21B shows an output distance image when the pixel extraction unit 12 extracts a pixel having a pixel value smaller than the installation surface distance corresponding to each pixel among the pixels in the input distance image. In FIG. 21C, the pixel extraction unit 12 causes the pixel in the input distance image to have a pixel whose first difference distance is a predetermined distance or more or a pixel whose estimated height is a predetermined height or more. The output distance image when extracted is shown.
図21(A)に示すように、画素の抽出が行われない場合、出力距離画像は、ショベル60から離れるにつれて段階的に輝度が減少する態様で設置面を表し、物体P3及び隆起部P4の存在を分かり難くする。 As shown in FIG. 21A, when pixel extraction is not performed, the output distance image represents the installation surface in such a manner that the luminance gradually decreases as the distance from the excavator 60 increases, and the object P3 and the raised portion P4 are displayed. Make the existence difficult to understand.
一方、図21(B)に示すように、入力距離画像における各画素のうち設置面距離より小さい画素値を有する画素の抽出を行う場合、出力距離画像は、設置面上に存在する地物の視認性を向上させる。具体的には、図21(B)の出力距離画像は、設置面距離に等しい画素値を有する全ての画素の画素値がゼロに置き換えられるため、ショベル60からの距離にかかわらず、設置面の色及び輝度を一様にする。その結果、図21(B)の出力距離画像は、物体P3及び隆起部P4の距離画像を設置面の距離画像から際立たせ、その視認性を向上させることができる。
さらに、図21(C)に示すように、入力距離画像における各画素のうち第1差分距離が所定距離以上となる画素の抽出を行う場合、出力距離画像は、設置面高さが所定高さ以上の地物の視認性を向上させる。具体的には、図21(C)の出力距離画像は、第1差分距離が所定距離未満の全ての画素の画素値がゼロに設定されるため、ショベル60からの距離にかかわらず、設置面高さが所定高さ未満の地物(設置面を含む。)の色及び輝度を一様にする。その結果、図21(C)の出力距離画像は、設置面高さH1bが所定高さH1未満である隆起部P4の距離画像を設置面の距離画像とともに単一の色及び輝度にする。そして、図21(C)の出力距離画像は、設置面高さが所定高さH1以上である物体P3の距離画像のみを他の距離画像から際立たせ、その視認性を向上させることができる。
On the other hand, as shown in FIG. 21B, when extracting a pixel having a pixel value smaller than the installation surface distance among the pixels in the input distance image, the output distance image is a feature of the feature existing on the installation surface. Improve visibility. Specifically, in the output distance image of FIG. 21B, since the pixel values of all the pixels having the pixel value equal to the installation surface distance are replaced with zero, regardless of the distance from the excavator 60, Make the color and brightness uniform. As a result, the output distance image of FIG. 21B can make the distance image of the object P3 and the raised portion P4 stand out from the distance image of the installation surface and improve the visibility.
Furthermore, as shown in FIG. 21C, when extracting a pixel whose first difference distance is equal to or greater than a predetermined distance among the pixels in the input distance image, the output distance image has a predetermined height on the installation surface. The visibility of the above features is improved. Specifically, in the output distance image of FIG. 21C, the pixel values of all the pixels whose first difference distance is less than the predetermined distance are set to zero, so that regardless of the distance from the excavator 60, the installation surface The color and brightness of features (including the installation surface) whose height is less than a predetermined height are made uniform. As a result, in the output distance image of FIG. 21C, the distance image of the raised portion P4 whose installation surface height H1b is less than the predetermined height H1 is made into a single color and luminance together with the installation surface distance image. In the output distance image of FIG. 21C, only the distance image of the object P3 whose installation surface height is equal to or higher than the predetermined height H1 can be distinguished from other distance images, and the visibility can be improved.
なお、図21(C)の出力距離画像は、物体P3の付け根部分(設置面高さが所定高さH1未満の部分)に対応する画素の画素値をゼロにしてその部分の距離画像を設置面の距離画像とともに単一の色及び輝度にする。しかしながら、物体P3の一部であると判断される部分に対応する画素は、第1差分距離が所定距離未満であっても、或いは、設置面高さが所定高さH1未満であっても、入力距離画像における画素値をそのまま維持してもよい。なお、特定の画素が物体P3の距離画像の一部に属するか否かは、例えば、周囲の画素に関する第1差分距離又は設置面高さとその特定の画素に関する第1差分距離又は設置面高さとに基づいて判断され得る。 Note that the output distance image of FIG. 21C sets the distance image of the pixel P corresponding to the base portion of the object P3 (the portion whose installation surface height is less than the predetermined height H1). A single color and brightness along with the surface distance image. However, even if the pixel corresponding to the part determined to be a part of the object P3 has a first difference distance less than a predetermined distance or an installation surface height less than a predetermined height H1, The pixel value in the input distance image may be maintained as it is. Note that whether or not a specific pixel belongs to a part of the distance image of the object P3 is, for example, the first difference distance or installation surface height related to the surrounding pixels and the first difference distance or installation surface height related to the specific pixel. Can be determined based on
図22は、後方カメラ2Bの出力画像の例を示す図である。図22(A)は、図21(A)の出力距離画像を重畳させた場合の出力画像を示す。図22(B)は、図21(B)の出力距離画像を重畳させた場合の出力画像を示す。また、図22(C)は、図21(C)の出力距離画像を重畳させた場合の出力画像を示す。 FIG. 22 is a diagram illustrating an example of an output image of the rear camera 2B. FIG. 22A shows an output image when the output distance image of FIG. 21A is superimposed. FIG. 22B shows an output image when the output distance image of FIG. 21B is superimposed. FIG. 22C shows an output image when the output distance image of FIG. 21C is superimposed.
図22(A)に示すように、図21(A)の出力距離画像を重畳した出力画像は、ショベル60から離れるにつれて段階的に輝度が減少する態様で設置面を表し、物体P3及び隆起部P4の存在を際立たせることができない。 As shown in FIG. 22A, the output image obtained by superimposing the output distance image of FIG. 21A represents the installation surface in such a manner that the luminance gradually decreases as the distance from the excavator 60 increases. The existence of P4 cannot be highlighted.
一方、図22(B)に示すように、ショベル60からの距離にかかわらず設置面の色及び輝度を一様にした出力距離画像を重畳した出力画像は、物体P3及び隆起部P4の画像を設置面の画像から際立たせ、その視認性を向上させる。また、図22(B)の出力画像は、物体P3及び隆起部P4のそれぞれと後方ステレオカメラ6Bとの間の距離の値を重畳表示する。これにより、物体P3及び隆起部P4の存在をさらに際立たせることができる。なお、物体P3と後方ステレオカメラ6Bとの間の距離の値には、例えば、距離補正手段13によって補正された値が採用される。また、物体P3と後方ステレオカメラ6Bとの間の距離の値は、所定値以下の場合に限り、重畳表示されるようにしてもよい。ショベル60に近いところにある地物の存在をさらに際立たせるためである。また、その距離(画素値)の値の輝度又は色は、その距離(画素値)の大きさに応じて決定される。例えば、その距離(画素値)の値の色は、その距離(画素値)が小さくなるにつれて、紫、青、緑、黄、赤のように変化する。また、その距離の値は、画素抽出手段12が抽出した、入力距離画像における物体P3の距離画像領域に含まれる画素の画素値のうちの最小値であってもよい。隆起部P4と後方ステレオカメラ6Bとの間の距離の値についても同様である。 On the other hand, as shown in FIG. 22B, an output image obtained by superimposing an output distance image in which the color and brightness of the installation surface are uniform regardless of the distance from the excavator 60 is an image of the object P3 and the raised portion P4. Make it stand out from the image of the installation surface and improve its visibility. Also, the output image of FIG. 22B superimposes and displays the distance value between each of the object P3 and the raised portion P4 and the rear stereo camera 6B. Thereby, the presence of the object P3 and the raised portion P4 can be further emphasized. Note that, for example, a value corrected by the distance correction unit 13 is adopted as the value of the distance between the object P3 and the rear stereo camera 6B. Further, the value of the distance between the object P3 and the rear stereo camera 6B may be displayed in a superimposed manner only when it is equal to or less than a predetermined value. This is to make the presence of the feature near the excavator 60 stand out further. Further, the brightness or color of the distance (pixel value) is determined according to the magnitude of the distance (pixel value). For example, the color of the value of the distance (pixel value) changes as purple, blue, green, yellow, and red as the distance (pixel value) decreases. The distance value may be the minimum value of the pixel values of the pixels included in the distance image area of the object P3 in the input distance image extracted by the pixel extraction unit 12. The same applies to the value of the distance between the raised portion P4 and the rear stereo camera 6B.
さらに、図22(C)に示すように、ショベル60からの距離にかかわらず設置面高さが所定高さ未満の地物(設置面を含む。)の色及び輝度を一様にした出力距離画像を重畳した出力画像は、物体P3の視認性を向上させる。具体的には、その出力画像は、設置面高さが所定高さ以上である物体P3の画像の上部のみを他の画像から際立たせ、その視認性を向上させる。また、図22(C)の出力画像は、設置面高さが所定高さ以上である物体P3と後方ステレオカメラ6Bとの間の距離の値のみを重畳表示する。これにより、設置面高さが所定高さ以上である物体P3の存在のみをさらに際立たせることができる。 Furthermore, as shown in FIG. 22C, the output distance in which the color and brightness of features (including the installation surface) whose installation surface height is less than the predetermined height are made uniform regardless of the distance from the excavator 60. The output image on which the image is superimposed improves the visibility of the object P3. Specifically, the output image highlights only the upper part of the image of the object P3 whose installation surface height is equal to or higher than a predetermined height from other images, and improves the visibility. Further, the output image of FIG. 22C superimposes and displays only the value of the distance between the object P3 whose installation surface height is equal to or higher than the predetermined height and the rear stereo camera 6B. Thereby, only the presence of the object P3 whose installation surface height is equal to or higher than the predetermined height can be further emphasized.
また、上述において、画像生成装置100は、後方ステレオカメラ6Bの出力距離画像を後方カメラ2の出力画像に重畳させて表示部5に表示する。しかしながら、画像生成装置100は、出力距離画像のみを表示部5に表示させてもよく、出力距離画像と出力画像とを並べて表示部5に表示させてもよい。 In the above description, the image generation apparatus 100 displays the output distance image of the rear stereo camera 6 </ b> B on the display unit 5 by superimposing it on the output image of the rear camera 2. However, the image generating apparatus 100 may display only the output distance image on the display unit 5 or may display the output distance image and the output image side by side on the display unit 5.
また、画像生成装置100は、物体P3及び隆起部P4のそれぞれと後方ステレオカメラ6Bとの間の距離の値を表示する代わりに、或いは、その距離の値の表示に加えて、図18に示すような枠を表示してもよい。 Further, the image generating apparatus 100 is shown in FIG. 18 instead of displaying the distance value between each of the object P3 and the raised portion P4 and the rear stereo camera 6B, or in addition to displaying the distance value. Such a frame may be displayed.
また、画像生成装置100は、距離(画素値)と色又は輝度との関係を表す距離目盛り付きの棒状インジケータ等の指標(図示せず。)を出力距離画像又は出力画像の端部に表示してもよい。 In addition, the image generation apparatus 100 displays an index (not shown) such as a bar-shaped indicator with a distance scale indicating the relationship between the distance (pixel value) and the color or luminance at the end of the output distance image or the output image. May be.
次に、図23を参照しながら、第1画素抽出処理の流れについて説明する。なお、図23は、第1画素抽出処理の流れを示すフローチャートである。画像生成装置100の画素抽出手段12は、例えば、入力距離画像を取得する度にこの第1画素抽出処理を実行する。 Next, the flow of the first pixel extraction process will be described with reference to FIG. FIG. 23 is a flowchart showing the flow of the first pixel extraction process. For example, the pixel extraction unit 12 of the image generation apparatus 100 executes the first pixel extraction process every time an input distance image is acquired.
最初に、画素抽出手段12は、入力距離画像における1つの画素(以下、「対象画素」とする。)に関する設置面距離をROM等から読み出して取得する(ステップS11)。なお、画素抽出手段12は、設置面角度をROM等から読み出して取得してもよい。 First, the pixel extraction unit 12 reads and obtains an installation surface distance relating to one pixel (hereinafter referred to as “target pixel”) in the input distance image from a ROM or the like (step S11). Note that the pixel extraction unit 12 may read and acquire the installation surface angle from a ROM or the like.
その後、画素抽出手段12は、設置面距離からその対象画素の画素値を減算することによって第1差分距離を算出する(ステップS12)。なお、画素抽出手段12は、算出した第1差分距離と設置面距離とに基づいて第1差分比率を算出してもよく、算出した第1差分距離と設置面角度とに基づいて推定高さを算出してもよい。 Thereafter, the pixel extraction unit 12 calculates the first difference distance by subtracting the pixel value of the target pixel from the installation surface distance (step S12). The pixel extraction unit 12 may calculate the first difference ratio based on the calculated first difference distance and the installation surface distance, and the estimated height based on the calculated first difference distance and the installation surface angle. May be calculated.
その後、画素抽出手段12は、算出した第1差分距離とROM等に記憶された所定距離とを比較する(ステップS13)。なお、画素抽出手段12は、算出した第1差分比率とROM等に記憶された所定比率とを比較してもよく、算出した推定高さとROM等に記憶された所定高さとを比較してもよい。 Thereafter, the pixel extraction unit 12 compares the calculated first difference distance with a predetermined distance stored in the ROM or the like (step S13). The pixel extracting unit 12 may compare the calculated first difference ratio with a predetermined ratio stored in the ROM or the like, or may compare the calculated estimated height with a predetermined height stored in the ROM or the like. Good.
第1差分距離が所定距離以上の場合(ステップS13のYES)、画素抽出手段12は、現在の画素値をそのまま維持する画素としてその対象画素を抽出する。第1差分比率が所定比率以上の場合、或いは、推定高さが所定高さ以上の場合についても同様である。 When the first difference distance is greater than or equal to the predetermined distance (YES in step S13), the pixel extraction unit 12 extracts the target pixel as a pixel that maintains the current pixel value as it is. The same applies to the case where the first difference ratio is equal to or higher than the predetermined ratio, or the estimated height is equal to or higher than the predetermined height.
一方、第1差分距離が所定距離未満の場合(ステップS13のNO)、画素抽出手段12は、現在の画素値をそのまま維持する画素としてその対象画素を抽出しない。具体的には、画素抽出手段12は、その対象画素の画素値をROM等に記憶された所定値で置き換える(ステップS14)。第1差分比率が所定比率未満の場合、或いは、推定高さが所定高さ未満の場合についても同様である。 On the other hand, when the first difference distance is less than the predetermined distance (NO in step S13), the pixel extraction unit 12 does not extract the target pixel as a pixel that maintains the current pixel value as it is. Specifically, the pixel extraction unit 12 replaces the pixel value of the target pixel with a predetermined value stored in a ROM or the like (step S14). The same applies to the case where the first difference ratio is less than the predetermined ratio or the estimated height is less than the predetermined height.
なお、上述の実施例では、抽出しなかった対象画素の画素値を所定値に置き換える処理は、各対象画素について抽出の要否を判断したときに行われるが、複数の或いは全ての対象画素について抽出の要否を判断した後で一括して行われてもよい。 In the above-described embodiment, the process of replacing the pixel value of the target pixel that has not been extracted with a predetermined value is performed when the necessity of extraction is determined for each target pixel, but for a plurality of or all target pixels. It may be performed collectively after the necessity of extraction is determined.
その後、画素抽出手段12は、取得した入力距離画像における全ての画素について抽出要否の判断を行ったか否かを判定する(ステップS15)。 Thereafter, the pixel extraction unit 12 determines whether or not extraction of all the pixels in the acquired input distance image has been determined (step S15).
未だ全ての画素について抽出要否の判断を行っていないと判定した場合(ステップS15のNO)、画素抽出手段12は、別の対象画素に関してステップS11以降の処理を実行する。 If it is determined that the necessity of extraction has not yet been determined for all the pixels (NO in step S15), the pixel extraction unit 12 performs the processing from step S11 on another target pixel.
全ての画素について抽出要否の判断を行ったと判定した場合(ステップS15のYES)、画素抽出手段12は、今回の第1画素抽出処理を完了する。 If it is determined that the extraction necessity is determined for all the pixels (YES in step S15), the pixel extraction unit 12 completes the first pixel extraction process this time.
以上の構成により、画像生成装置100は、設置面に関する距離画像の詳細表示を省略することで、ショベル60が接触するおそれのある地物に関する距離画像の視認性を向上させることができる。 With the above configuration, the image generation apparatus 100 can improve the visibility of the distance image regarding the feature that the excavator 60 may contact by omitting the detailed display of the distance image regarding the installation surface.
また、画像生成装置100は、設置面高さが所定高さ未満の地物の詳細表示を省略することで、設置面高さが所定高さ以上の地物(例えば、作業員)の視認性を向上させることができる。 Further, the image generation apparatus 100 omits detailed display of features whose installation surface height is less than a predetermined height, so that the visibility of features (for example, workers) whose installation surface height is equal to or higher than the predetermined height is displayed. Can be improved.
その結果、画像生成装置100は、ショベル60が地物に衝突するのをより確実に防止することができる。 As a result, the image generating apparatus 100 can more reliably prevent the excavator 60 from colliding with the feature.
次に、図24〜図28を参照しながら、画像生成装置100が入力距離画像から所定の条件を満たす画素を抽出して入力距離画像を補正する処理の別の例(以下、「第2画素抽出処理」とする。)について説明する。なお、本実施例では、後方ステレオカメラ6Bが撮像する入力距離画像における画素の値は、設置面距離に等しいか、設置面距離より大きいものとする。 Next, referring to FIGS. 24 to 28, another example of processing in which the image generation apparatus 100 extracts pixels satisfying a predetermined condition from the input distance image and corrects the input distance image (hereinafter referred to as “second pixel”). The extraction process ”) will be described. In the present embodiment, the pixel value in the input distance image captured by the rear stereo camera 6B is equal to or larger than the installation surface distance.
図24は、画像生成装置100を搭載するショベル60の部分右側面図であり、図19に対応する。図24に示す実施例では、ショベル60は、1台のカメラ2(後方カメラ2B)と1台のステレオカメラ6(後方ステレオカメラ6B)とを備える。なお、図24の点線で示す領域ZBは、後方ステレオカメラ6Bの撮像範囲を示す。 24 is a partial right side view of the excavator 60 on which the image generating apparatus 100 is mounted, and corresponds to FIG. In the embodiment shown in FIG. 24, the excavator 60 includes one camera 2 (rear camera 2B) and one stereo camera 6 (rear stereo camera 6B). Note that a region ZB indicated by a dotted line in FIG. 24 indicates an imaging range of the rear stereo camera 6B.
また、図24は、ショベル60の後方に、地面の浅陥没部PK1と深陥没部(崖)PK2とが存在することを示す。さらに、図24は、後方ステレオカメラ6Bにより、浅陥没部PK1の底までの距離E3aが検出され、且つ、深陥没部PK2の底までの距離E4aが検出されたことを示す。 FIG. 24 also shows that there are a shallow depression PK1 and a deep depression (cliff) PK2 on the ground behind the excavator 60. Further, FIG. 24 shows that the distance E3a to the bottom of the shallow depression PK1 is detected and the distance E4a to the bottom of the deep depression PK2 is detected by the rear stereo camera 6B.
また、図24は、仮に浅陥没部PK1及び深陥没部PK2が存在しなかった場合には、後方ステレオカメラ6Bが、距離E3a、E4aの代わりに、設置面距離E3、E4を検出していたことを示す。 In FIG. 24, if the shallow depression PK1 and the deep depression PK2 do not exist, the rear stereo camera 6B detects the installation surface distances E3 and E4 instead of the distances E3a and E4a. It shows that.
また、図24は、距離E3aと設置面距離E3との差(E3a−E3)が距離(以下、設置面距離E3が距離E3aより小さい場合の差を「第2差分距離」とする。)E3bであり、距離E4aと設置面距離E4との差(E4a−E4)が第2差分距離E4bであることを示す。 In FIG. 24, the difference (E3a−E3) between the distance E3a and the installation surface distance E3 is a distance (hereinafter, the difference when the installation surface distance E3 is smaller than the distance E3a is referred to as “second difference distance”) E3b. The difference (E4a−E4) between the distance E4a and the installation surface distance E4 is the second difference distance E4b.
図25は、図24における浅陥没部PK1の拡大図である。図24及び図25に示すように、後方ステレオカメラ6Bから見た浅陥没部PK1の底の点とステレオカメラ6Bとを結ぶ線分は、設置面との間に設置面角度γ5を形成する。この場合、浅陥没部PK1の設置面からの深さ(以下、「推定深さ」とする。)DP1bは、第2差分距離E3b×sin(γ5)で表される。 FIG. 25 is an enlarged view of the shallow depression PK1 in FIG. As shown in FIGS. 24 and 25, the line connecting the bottom point of the shallow depression PK1 and the stereo camera 6B viewed from the rear stereo camera 6B forms an installation surface angle γ5 with the installation surface. In this case, the depth DP1b from the installation surface of the shallow depression PK1 (hereinafter referred to as “estimated depth”) DP1b is represented by the second difference distance E3b × sin (γ5).
また、ステレオカメラ6Bが撮像する入力距離画像における画素の値は、地物とステレオカメラ6Bとの間の距離を表す。そのため、入力距離画像における各画素の値と各画素に対応する設置面距離との差である第2差分距離に、各画素に対応する設置面角度の正弦を乗算することによって、その地物の推定深さを求めることができる。本実施例では、第2差分距離E3bにsin(γ5)を乗算することによって浅陥没部PK1の推定深さDP1bを求めることができる。 The pixel value in the input distance image captured by the stereo camera 6B represents the distance between the feature and the stereo camera 6B. Therefore, by multiplying the second difference distance, which is the difference between the value of each pixel in the input distance image and the installation surface distance corresponding to each pixel, by the sine of the installation surface angle corresponding to each pixel, The estimated depth can be determined. In the present embodiment, the estimated depth DP1b of the shallow depression PK1 can be obtained by multiplying the second difference distance E3b by sin (γ5).
ところで、後方ステレオカメラ6Bが撮像する入力距離画像における画素の値は、上述のように、地物と後方ステレオカメラ6Bとの間の距離を表す。そのため、後方ステレオカメラ6Bからの距離に応じて色又は輝度を変化させる処理を入力距離画像に施して出力距離画像を生成する場合、入力距離画像における画素値をそのまま用いると出力距離画像の視認性を損なうおそれがある。具体的には、その出力距離画像は、ショベル60から離れるにつれて段階的に変化する色又は輝度で地面(設置面)を表すこととなり、浅陥没部PK1及び深陥没部PK2の存在を分かり難くするおそれがある。 Incidentally, the pixel value in the input distance image captured by the rear stereo camera 6B represents the distance between the feature and the rear stereo camera 6B as described above. Therefore, when an output distance image is generated by performing a process of changing the color or luminance according to the distance from the rear stereo camera 6B on the input distance image, the visibility of the output distance image is obtained by using the pixel value in the input distance image as it is. May be damaged. Specifically, the output distance image represents the ground (installation surface) with a color or brightness that changes stepwise as it moves away from the excavator 60, making it difficult to understand the presence of the shallow depression PK1 and the deep depression PK2. There is a fear.
そこで、画像生成装置100の画素抽出手段12は、例えば、後方ステレオカメラ6Bの入力距離画像から所定の条件を満たす画素を抽出し、その抽出結果に基づいて入力距離画像を補正する。具体的には、画素抽出手段12は、入力距離画像における各画素のうち、各画素に対応する設置面距離より大きい画素値を有する画素を抽出する。そして、画素抽出手段12は、設置面距離に等しい画素値を有する画素のその画素値を所定値(例えば、最小値としてのゼロである。)で置き換える。一方で、画素抽出手段12は、設置面距離より大きい画素値を有する画素の画素値をそのまま維持する。この場合、設置面距離に等しい画素値は、所定の幅を有する値であってもよい。 Therefore, for example, the pixel extraction unit 12 of the image generation apparatus 100 extracts pixels that satisfy a predetermined condition from the input distance image of the rear stereo camera 6B, and corrects the input distance image based on the extraction result. Specifically, the pixel extraction unit 12 extracts a pixel having a pixel value larger than the installation surface distance corresponding to each pixel among the pixels in the input distance image. Then, the pixel extraction unit 12 replaces the pixel value of a pixel having a pixel value equal to the installation surface distance with a predetermined value (for example, zero as the minimum value). On the other hand, the pixel extraction means 12 maintains the pixel value of the pixel having a pixel value larger than the installation surface distance as it is. In this case, the pixel value equal to the installation surface distance may be a value having a predetermined width.
また、画素抽出手段12は、入力距離画像における各画素のうち、第2差分距離が所定距離以上の画素を抽出してもよい。この場合、画素抽出手段12は、第2差分距離が所定距離未満の画素の画素値を所定値(例えば、最小値としてのゼロである。)で置き換え、第2差分距離が所定距離以上の画素の画素値をそのまま維持する。例えば、図25に示すように、画素抽出手段12は、第2差分距離E3bが所定距離E3b1未満であるため、第2差分距離E3bに対応する画素の画素値をゼロに設定する。なお、所定距離E3b1は、所定深さDP1に対応する距離である。或いは、図25に示すように、画素抽出手段12は、設置面深さDP1bが所定深さDP1未満であると判断し、設置面深さDP1bに対応する画素の画素値をゼロに置き換えてもよい。或いは、画素抽出手段12は、距離E3aに占める第2差分距離E3bの比率(以下、設置面距離E3が距離E3aより小さい場合の比率を「第2差分比率」とする。)が所定比率未満であると判断し、対応する画素の画素値をゼロに置き換えてもよい。なお、所定距離、所定深さ、所定比率等は、後方ステレオカメラ6Bの設置位置及び設置角度に基づいて、後方ステレオカメラ6Bの入力距離画像における画素毎又は画素行毎若しくは画素列毎に予め設定される。また、所定深さ、所定比率は、入力距離画像における全ての画素に関して共通であってもよい。 Moreover, the pixel extraction means 12 may extract the pixel whose 2nd difference distance is more than predetermined distance among each pixel in an input distance image. In this case, the pixel extraction unit 12 replaces the pixel value of the pixel whose second difference distance is less than the predetermined distance with a predetermined value (for example, zero as the minimum value), and the second difference distance is equal to or larger than the predetermined distance. This pixel value is maintained as it is. For example, as illustrated in FIG. 25, the pixel extraction unit 12 sets the pixel value of the pixel corresponding to the second difference distance E3b to zero because the second difference distance E3b is less than the predetermined distance E3b1. The predetermined distance E3b1 is a distance corresponding to the predetermined depth DP1. Alternatively, as illustrated in FIG. 25, the pixel extraction unit 12 may determine that the installation surface depth DP1b is less than the predetermined depth DP1, and replace the pixel value of the pixel corresponding to the installation surface depth DP1b with zero. Good. Alternatively, the pixel extraction unit 12 has a ratio of the second difference distance E3b occupying the distance E3a (hereinafter, a ratio when the installation surface distance E3 is smaller than the distance E3a is referred to as a “second difference ratio”) less than a predetermined ratio. It may be determined that there is, and the pixel value of the corresponding pixel may be replaced with zero. The predetermined distance, the predetermined depth, the predetermined ratio, and the like are set in advance for each pixel, each pixel row, or each pixel column in the input distance image of the rear stereo camera 6B based on the installation position and installation angle of the rear stereo camera 6B. Is done. Further, the predetermined depth and the predetermined ratio may be common for all pixels in the input distance image.
図26は、後方ステレオカメラ6Bの出力距離画像の例を示す図である。図26(A)は、画素抽出手段12による抽出を行わずに入力距離画像における全ての画素の画素値をそのまま用いた場合の出力距離画像を示す。図26(B)は、画素抽出手段12により、入力距離画像における各画素のうち、各画素に対応する設置面距離より大きい画素値を有する画素が抽出された場合の出力距離画像を示す。また、図26(C)は、画素抽出手段12により、入力距離画像における各画素のうち、第2差分距離が所定距離以上となる画素、又は、推定深さが所定深さ以上となる画素が抽出された場合の出力距離画像を示す。 FIG. 26 is a diagram illustrating an example of an output distance image of the rear stereo camera 6B. FIG. 26A shows an output distance image when pixel values of all the pixels in the input distance image are used as they are without performing extraction by the pixel extracting means 12. FIG. 26B shows an output distance image when the pixel extraction unit 12 extracts a pixel having a pixel value larger than the installation surface distance corresponding to each pixel among the pixels in the input distance image. Further, in FIG. 26C, the pixel extraction unit 12 uses the pixels in the input distance image to determine whether the second difference distance is a predetermined distance or more, or the estimated depth is a predetermined depth or more. The output distance image when extracted is shown.
図26(A)に示すように、画素の抽出が行われない場合、出力距離画像は、ショベル60から離れるにつれて段階的に輝度が減少する態様で設置面を表し、浅陥没部PK1及び深陥没部PK2の存在を分かり難くする。 As shown in FIG. 26A, when pixel extraction is not performed, the output distance image represents the installation surface in such a manner that the luminance gradually decreases as the distance from the shovel 60 increases, and the shallow depression PK1 and the deep depression Make the presence of the part PK2 difficult to understand.
一方、図26(B)に示すように、入力距離画像における各画素のうち設置面距離より大きい画素値を有する画素の抽出を行う場合、出力距離画像は、設置面下に存在する陥没部の視認性を向上させる。具体的には、図26(B)の出力距離画像は、設置面距離に等しい画素値を有する全ての画素の画素値がゼロに置き換えられるため、ショベル60からの距離にかかわらず、設置面の色及び輝度を一様にする。その結果、図26(B)の出力距離画像は、浅陥没部PK1及び深陥没部PK2の距離画像を設置面の距離画像から際立たせ、その視認性を向上させることができる。 On the other hand, as shown in FIG. 26B, when extracting a pixel having a pixel value larger than the installation surface distance among the pixels in the input distance image, the output distance image is a depression portion existing below the installation surface. Improve visibility. Specifically, in the output distance image of FIG. 26B, since the pixel values of all the pixels having pixel values equal to the installation surface distance are replaced with zero, regardless of the distance from the excavator 60, Make the color and brightness uniform. As a result, the output distance image in FIG. 26B can make the distance images of the shallow depression PK1 and the deep depression PK2 stand out from the distance image of the installation surface, and improve the visibility.
さらに、図26(C)に示すように、入力距離画像における各画素のうち第2差分距離が所定距離以上となる画素の抽出を行う場合、出力距離画像は、設置面深さが所定深さ以上の地物の視認性を向上させる。具体的には、図26(C)の出力距離画像は、第2差分距離が所定距離未満の全ての画素の画素値がゼロに設定されるため、ショベル60からの距離にかかわらず、設置面深さが所定深さ未満の地物(設置面を含む。)の色及び輝度を一様にする。その結果、図26(C)の出力距離画像は、設置面深さDP1bが所定深さDP1未満である浅陥没部PK1の距離画像を設置面の距離画像とともに単一の色及び輝度にする。そして、図26(C)の出力距離画像は、設置面深さが所定深さDP1以上である深陥没部PK2の距離画像のみを他の距離画像から際立たせ、その視認性を向上させることができる。 Furthermore, as shown in FIG. 26C, when extracting a pixel in which the second difference distance is equal to or greater than a predetermined distance among the pixels in the input distance image, the output distance image has a predetermined installation surface depth. The visibility of the above features is improved. Specifically, in the output distance image of FIG. 26C, since the pixel values of all the pixels whose second difference distance is less than the predetermined distance are set to zero, the installation surface regardless of the distance from the excavator 60. The color and brightness of features (including the installation surface) whose depth is less than a predetermined depth are made uniform. As a result, in the output distance image of FIG. 26C, the distance image of the shallow depression PK1 in which the installation surface depth DP1b is less than the predetermined depth DP1 is made into a single color and luminance together with the installation surface distance image. In the output distance image of FIG. 26C, only the distance image of the deep depression PK2 whose installation surface depth is equal to or greater than the predetermined depth DP1 is made to stand out from the other distance images, and the visibility can be improved. it can.
なお、図26(C)の出力距離画像は、深陥没部PK2の縁部分(設置面深さが所定深さDP1未満の部分)に対応する画素の画素値をゼロにしてその部分の距離画像を設置面の距離画像とともに単一の色及び輝度にする。しかしながら、深陥没部PK2の一部であると判断される部分に対応する画素は、第2差分距離が所定距離未満であっても、或いは、設置面深さが所定深さDP1未満であっても、入力距離画像における画素値をそのまま維持してもよい。なお、特定の画素が深陥没部PK2の距離画像の一部に属するか否かは、例えば、周囲の画素に関する第2差分距離又は設置面深さとその特定の画素に関する第2差分距離又は設置面深さとに基づいて判断され得る。 Note that the output distance image in FIG. 26C is a distance image of a pixel corresponding to the edge portion of the deep depression PK2 (the portion where the installation surface depth is less than the predetermined depth DP1) is set to zero. To a single color and brightness along with the distance image of the installation surface. However, the pixel corresponding to the portion determined to be a part of the deep depression PK2 has the second difference distance less than the predetermined distance, or the installation surface depth is less than the predetermined depth DP1. Alternatively, the pixel value in the input distance image may be maintained as it is. Note that whether or not a specific pixel belongs to a part of the distance image of the deep depression PK2 is, for example, the second differential distance or installation surface depth related to the surrounding pixels and the second differential distance or installation surface related to the specific pixel. It can be determined based on the depth.
図27は、後方カメラ2Bの出力画像の例を示す図である。図27(A)は、図26(A)の出力距離画像を重畳させた場合の出力画像を示す。図27(B)は、図26(B)の出力距離画像を重畳させた場合の出力画像を示す。また、図27(C)は、図26(C)の出力距離画像を重畳させた場合の出力画像を示す。 FIG. 27 is a diagram illustrating an example of an output image of the rear camera 2B. FIG. 27A shows an output image when the output distance image of FIG. 26A is superimposed. FIG. 27B shows an output image when the output distance image of FIG. 26B is superimposed. FIG. 27C shows an output image when the output distance image of FIG. 26C is superimposed.
図27(A)に示すように、図26(A)の出力距離画像を重畳した出力画像は、ショベル60から離れるにつれて段階的に輝度が減少する態様で設置面を表し、浅陥没部PK1及び深陥没部PK2の存在を際立たせることができない。 As shown in FIG. 27A, the output image obtained by superimposing the output distance image of FIG. 26A represents the installation surface in such a manner that the luminance gradually decreases as the distance from the excavator 60 increases, and the shallow depression PK1 and The existence of the deep depression PK2 cannot be emphasized.
一方、図27(B)に示すように、ショベル60からの距離にかかわらず設置面の色及び輝度を一様にした出力距離画像を重畳した出力画像は、浅陥没部PK1及び深陥没部PK2の画像を設置面の画像から際立たせ、その視認性を向上させる。また、図27(B)の出力画像は、浅陥没部PK1及び深陥没部PK2のそれぞれと後方ステレオカメラ6Bとの間の距離の値を重畳表示する。これにより、浅陥没部PK1及び深陥没部PK2の存在をさらに際立たせることができる。なお、浅陥没部PK1と後方ステレオカメラ6Bとの間の距離の値には、例えば、距離補正手段13によって補正された値が採用される。また、浅陥没部PK1と後方ステレオカメラ6Bとの間の距離の値は、所定値未満の場合に限り、重畳表示されるようにしてもよい。ショベル60に近いところにある陥没部の存在をさらに際立たせるためである。また、その距離(画素値)の値の輝度又は色は、その距離(画素値)の大きさに応じて決定される。例えば、その距離(画素値)の値の色は、その距離(画素値)が小さくなるにつれて、紫、青、緑、黄、赤のように変化する。また、その距離の値は、画素抽出手段12が抽出した、入力距離画像における浅陥没部PK1の距離画像領域に含まれる画素の画素値のうちの最小値であってもよい。深陥没部PK2と後方ステレオカメラ6Bとの間の距離の値についても同様である。 On the other hand, as shown in FIG. 27B, an output image in which an output distance image in which the color and brightness of the installation surface are made uniform regardless of the distance from the excavator 60 is superposed on the shallow depression PK1 and the deep depression PK2. The image is made to stand out from the image on the installation surface and the visibility is improved. The output image of FIG. 27B superimposes and displays the distance value between each of the shallow depression PK1 and the deep depression PK2 and the rear stereo camera 6B. Thereby, the presence of the shallow depression PK1 and the deep depression PK2 can be further emphasized. Note that, for example, a value corrected by the distance correction unit 13 is adopted as the value of the distance between the shallow depression PK1 and the rear stereo camera 6B. In addition, the value of the distance between the shallow depression PK1 and the rear stereo camera 6B may be superimposed and displayed only when it is less than a predetermined value. This is in order to make the presence of the depression near the shovel 60 more prominent. Further, the brightness or color of the distance (pixel value) is determined according to the magnitude of the distance (pixel value). For example, the color of the value of the distance (pixel value) changes as purple, blue, green, yellow, and red as the distance (pixel value) decreases. The distance value may be the minimum value of the pixel values of the pixels included in the distance image area of the shallow depression PK1 in the input distance image extracted by the pixel extraction unit 12. The same applies to the value of the distance between the deep depression PK2 and the rear stereo camera 6B.
さらに、図27(C)に示すように、ショベル60からの距離にかかわらず設置面深さが所定深さ未満の地物(設置面を含む。)の色及び輝度を一様にした出力距離画像を重畳した出力画像は、深陥没部PK2の視認性を向上させる。具体的には、その出力画像は、設置面深さが所定深さ以上である深陥没部PK2の画像のみを他の画像から際立たせ、その視認性を向上させる。また、図27(C)の出力画像は、設置面深さが所定深さ以上である深陥没部PK2と後方ステレオカメラ6Bとの間の距離の値のみを重畳表示する。これにより、設置面深さが所定深さ以上である深陥没部PK2の存在のみをさらに際立たせることができる。 Further, as shown in FIG. 27C, the output distance in which the color and brightness of the features (including the installation surface) whose installation surface depth is less than the predetermined depth regardless of the distance from the excavator 60 is made uniform. The output image on which the image is superimposed improves the visibility of the deep depression PK2. Specifically, in the output image, only the image of the deep depression PK2 whose installation surface depth is a predetermined depth or more is made to stand out from the other images, and the visibility is improved. In the output image of FIG. 27C, only the value of the distance between the deep depression PK2 whose installation surface depth is equal to or greater than the predetermined depth and the rear stereo camera 6B is superimposed and displayed. Thereby, only the presence of the deep depression PK2 whose installation surface depth is equal to or greater than the predetermined depth can be further emphasized.
また、上述において、画像生成装置100は、後方ステレオカメラ6Bの出力距離画像を後方カメラ2の出力画像に重畳させて表示部5に表示する。しかしながら、画像生成装置100は、出力距離画像のみを表示部5に表示させてもよく、出力距離画像と出力画像とを並べて表示部5に表示させてもよい。 In the above description, the image generation apparatus 100 displays the output distance image of the rear stereo camera 6 </ b> B on the display unit 5 by superimposing it on the output image of the rear camera 2. However, the image generating apparatus 100 may display only the output distance image on the display unit 5 or may display the output distance image and the output image side by side on the display unit 5.
また、画像生成装置100は、浅陥没部PK1及び深陥没部PK2のそれぞれと後方ステレオカメラ6Bとの間の距離の値を表示する代わりに、或いは、その距離の値の表示に加えて、図18に示すような枠を表示してもよい。 Further, the image generating apparatus 100 may display the value of the distance between each of the shallow depression PK1 and the deep depression PK2 and the rear stereo camera 6B, or in addition to displaying the distance value. A frame as shown in FIG. 18 may be displayed.
次に、図28を参照しながら、第2画素抽出処理の流れについて説明する。なお、図28は、第2画素抽出処理の流れを示すフローチャートである。画像生成装置100の画素抽出手段12は、例えば、入力距離画像を取得する度にこの第2画素抽出処理を実行する。 Next, the flow of the second pixel extraction process will be described with reference to FIG. FIG. 28 is a flowchart showing the flow of the second pixel extraction process. For example, the pixel extraction unit 12 of the image generation apparatus 100 executes the second pixel extraction process every time an input distance image is acquired.
最初に、画素抽出手段12は、入力距離画像における1つの画素(以下、「対象画素」とする。)に関する設置面距離をROM等から読み出して取得する(ステップS21)。なお、画素抽出手段12は、設置面角度をROM等から読み出して取得してもよい。 First, the pixel extraction means 12 reads and acquires the installation surface distance regarding one pixel (hereinafter referred to as “target pixel”) in the input distance image from the ROM or the like (step S21). Note that the pixel extraction unit 12 may read and acquire the installation surface angle from a ROM or the like.
その後、画素抽出手段12は、その対象画素の画素値から設置面距離を減算することによって第2差分距離を算出する(ステップS22)。なお、画素抽出手段12は、算出した第2差分距離とその対象画素の画素値とに基づいて第2差分比率を算出してもよく、算出した第2差分距離と設置面角度とに基づいて推定深さを算出してもよい。 Thereafter, the pixel extraction unit 12 calculates the second difference distance by subtracting the installation surface distance from the pixel value of the target pixel (step S22). The pixel extraction unit 12 may calculate the second difference ratio based on the calculated second difference distance and the pixel value of the target pixel, and based on the calculated second difference distance and the installation surface angle. The estimated depth may be calculated.
その後、画素抽出手段12は、算出した第2差分距離とROM等に記憶された所定距離とを比較する(ステップS23)。なお、画素抽出手段12は、算出した第2差分比率とROM等に記憶された所定比率とを比較してもよく、算出した推定深さとROM等に記憶された所定深さとを比較してもよい。 Thereafter, the pixel extracting unit 12 compares the calculated second difference distance with a predetermined distance stored in the ROM or the like (step S23). The pixel extraction unit 12 may compare the calculated second difference ratio with a predetermined ratio stored in the ROM or the like, or may compare the calculated estimated depth with a predetermined depth stored in the ROM or the like. Good.
第2差分距離が所定距離以上の場合(ステップS23のYES)、画素抽出手段12は、現在の画素値をそのまま維持する画素としてその対象画素を抽出する。第2差分比率が所定比率以上の場合、或いは、推定深さが所定深さ以上の場合についても同様である。 When the second difference distance is equal to or greater than the predetermined distance (YES in step S23), the pixel extraction unit 12 extracts the target pixel as a pixel that maintains the current pixel value as it is. The same applies to the case where the second difference ratio is equal to or greater than the predetermined ratio, or the estimated depth is equal to or greater than the predetermined depth.
一方、第2差分距離が所定距離未満の場合(ステップS23のNO)、画素抽出手段12は、現在の画素値をそのまま維持する画素としてその対象画素を抽出しない。具体的には、画素抽出手段12は、その対象画素の画素値をROM等に記憶された所定値で置き換える(ステップS24)。第2差分比率が所定比率未満の場合、或いは、推定深さが所定深さ未満の場合についても同様である。 On the other hand, when the second difference distance is less than the predetermined distance (NO in step S23), the pixel extraction unit 12 does not extract the target pixel as a pixel that maintains the current pixel value as it is. Specifically, the pixel extraction unit 12 replaces the pixel value of the target pixel with a predetermined value stored in the ROM or the like (step S24). The same applies when the second difference ratio is less than the predetermined ratio or when the estimated depth is less than the predetermined depth.
なお、抽出しなかった対象画素の画素値を所定値に置き換える処理は、複数の或いは全ての対象画素について抽出の要否を判断した後で一括して行われてもよい。 Note that the process of replacing the pixel value of the target pixel that has not been extracted with a predetermined value may be performed in a lump after determining whether or not a plurality of target pixels need to be extracted.
その後、画素抽出手段12は、取得した入力距離画像における全ての画素について抽出要否の判断を行ったか否かを判定する(ステップS25)。 Thereafter, the pixel extraction unit 12 determines whether or not extraction of all the pixels in the acquired input distance image has been determined (step S25).
未だ全ての画素について抽出要否の判断を行っていないと判定した場合(ステップS25のNO)、画素抽出手段12は、別の対象画素に関してステップS21以降の処理を実行する。 If it is determined that the necessity of extraction has not yet been determined for all the pixels (NO in step S25), the pixel extracting unit 12 performs the processing from step S21 on for another target pixel.
全ての画素について抽出要否の判断を行ったと判定した場合(ステップS25のYES)、画素抽出手段12は、今回の第2画素抽出処理を完了する。 If it is determined that the extraction necessity is determined for all the pixels (YES in step S25), the pixel extraction unit 12 completes the current second pixel extraction process.
以上の構成により、画像生成装置100は、設置面に関する距離画像の詳細表示を省略することで、ショベル60を滑落させるおそれのある陥没部(例えば、路肩、崖等である。)の距離画像の視認性を向上させることができる。 With the above configuration, the image generation apparatus 100 omits the detailed display of the distance image related to the installation surface, so that the distance image of the depressed portion (for example, a road shoulder, a cliff, or the like) that may cause the excavator 60 to slide down. Visibility can be improved.
また、画像生成装置100は、設置面深さが所定深さ未満の陥没部の詳細表示を省略することで、設置面深さが所定深さ以上の陥没部の視認性を向上させることができる。 Further, the image generating apparatus 100 can improve the visibility of the depressed portion having the installation surface depth equal to or greater than the predetermined depth by omitting the detailed display of the depressed portion having the installation surface depth less than the predetermined depth. .
その結果、画像生成装置100は、ショベル60が陥没部へ滑落するのをより確実に防止することができる。 As a result, the image generating apparatus 100 can more reliably prevent the excavator 60 from sliding down into the depressed portion.
また、上述では、第1画素抽出処理と第2画素抽出処理とが別々に説明されたが、2つの画素抽出処理を組み合わせてもよい。 Moreover, although the 1st pixel extraction process and the 2nd pixel extraction process were demonstrated separately above, you may combine two pixel extraction processes.
次に、図29を参照しながら、運転支援手段15が運転支援機能を実行する処理(以下、「運転支援処理」とする。)について説明する。なお、図29は、運転支援処理の流れを示すフローチャートであり、運転支援手段15は、ショベル60の走行中に所定周期で繰り返しこの運転支援処理を実行する。 Next, a process (hereinafter referred to as “driving support process”) in which the driving support means 15 executes the driving support function will be described with reference to FIG. FIG. 29 is a flowchart showing the flow of the driving support process, and the driving support means 15 repeatedly executes this driving support process at a predetermined cycle while the excavator 60 is traveling.
最初に、運転支援手段15は、ショベル60の走行用操作レバー(図示せず。)の操作方向に基づいてショベル60の移動方向を検出する(ステップS31)。 First, the driving support means 15 detects the moving direction of the shovel 60 based on the operating direction of the travel operation lever (not shown) of the shovel 60 (step S31).
その後、運転支援手段15は、ショベル60の移動方向に所定の地物が存在するか否かを判定する(ステップS32)。本実施例では、運転支援手段15は、後方ステレオカメラ6Bが取得した入力距離画像に基づいて、後退するショベル60の後方に、ショベル60を滑落させるおそれのある陥没部が存在するか否かを判定する。 Thereafter, the driving support means 15 determines whether or not a predetermined feature exists in the moving direction of the excavator 60 (step S32). In the present embodiment, the driving support means 15 determines whether or not there is a depressed portion that may cause the shovel 60 to slide down behind the shovel 60 that moves backward, based on the input distance image acquired by the rear stereo camera 6B. judge.
ショベル60を滑落させるおそれのある陥没部が存在すると判定した場合(ステップS32のYES)、運転支援手段15は、運転支援機能を実行する(ステップS33)。本実施例では、運転支援手段15は、警報を吹鳴させるとともに、陥没部が存在する旨を通知する警告メッセージを表示部5に表示する。また、運転支援手段15は、陥没部までの距離が短くなるにつれてショベル60の後退速度を低減させてもよく、陥没部までの距離が所定値を下回った場合にショベル60を停止させてもよい。 When it is determined that there is a depressed portion that may cause the shovel 60 to slide down (YES in step S32), the driving support means 15 executes a driving support function (step S33). In the present embodiment, the driving support means 15 sounds an alarm and displays a warning message on the display unit 5 notifying that a depressed portion exists. Further, the driving support means 15 may reduce the reverse speed of the excavator 60 as the distance to the depressed portion becomes shorter, and may stop the excavator 60 when the distance to the depressed portion falls below a predetermined value. .
一方、ショベル60を滑落させるおそれのある陥没部が存在しないと判定した場合(ステップS32のNO)、運転支援手段15は、運転支援機能を実行することなく、今回の運転支援処理を終了させる。 On the other hand, if it is determined that there is no depressed portion that may cause the excavator 60 to slide down (NO in step S32), the driving support means 15 ends the current driving support process without executing the driving support function.
以上の構成により、画像生成装置100は、ステレオカメラ6の出力に基づいて所定の地物の存否を自動的に判定し、必要に応じて運転支援機能を実行することで、ショベル60の操作の安全性をさらに向上できる。 With the above configuration, the image generation apparatus 100 automatically determines the presence / absence of a predetermined feature based on the output of the stereo camera 6 and executes the driving support function as necessary, thereby enabling the operation of the excavator 60 to be performed. Safety can be further improved.
次に、図30〜図33を参照しながら、画像生成装置100が入力距離画像の画素値(距離)を補正する処理(以下、「距離補正処理」とする。)について説明する。 Next, a process of correcting the pixel value (distance) of the input distance image (hereinafter referred to as “distance correction process”) will be described with reference to FIGS. 30 to 33.
図30は、画像生成装置100を搭載するショベル60を示す図であり、図30(A)がその上面図であり、図30(B)がその部分右側面図である。図30に示す実施例では、ショベル60は、1台のカメラ2(後方カメラ2B)と1台のステレオカメラ6(後方ステレオカメラ6B)とを備える。なお、図30の一点鎖線で示す領域CBは、後方カメラ2Bの撮像範囲を示す。また、図30の点線で示す領域ZBは、後方ステレオカメラ6Bの撮像範囲を示す。 FIG. 30 is a view showing the excavator 60 on which the image generating apparatus 100 is mounted, FIG. 30 (A) is a top view thereof, and FIG. 30 (B) is a partial right side view thereof. In the embodiment shown in FIG. 30, the excavator 60 includes one camera 2 (rear camera 2B) and one stereo camera 6 (rear stereo camera 6B). Note that a region CB indicated by a one-dot chain line in FIG. 30 indicates an imaging range of the rear camera 2B. In addition, a region ZB indicated by a dotted line in FIG. 30 indicates an imaging range of the rear stereo camera 6B.
図30に示すように、ショベル60の後方には、地面から鉛直上方に伸びる2つの物体P1、P2が存在する。2つの物体P1、P2は、高さの異なる棒状の物体であり、後方ステレオカメラ6Bから見て異なる方向に存在する。具体的には、図30(B)で示すように、物体P1の高さは、物体P2の高さよりも低い。しかしながら、2つの物体P1、P2のそれぞれと後方ステレオカメラ6Bとの間の最短距離は、何れも距離Dで等しいものとなっている。低いほうの物体P1が、高いほうの物体P2よりもショベル60に近いところに存在するためである。 As shown in FIG. 30, behind the excavator 60, there are two objects P1 and P2 extending vertically upward from the ground. The two objects P1 and P2 are rod-shaped objects having different heights and exist in different directions when viewed from the rear stereo camera 6B. Specifically, as shown in FIG. 30B, the height of the object P1 is lower than the height of the object P2. However, the shortest distance between each of the two objects P1, P2 and the rear stereo camera 6B is equal to the distance D. This is because the lower object P1 is closer to the shovel 60 than the higher object P2.
また、図30(B)に示すように、ステレオカメラ6Bから見た物体P1上の最も近い点とステレオカメラ6Bとを結ぶ線分は、水平面との間に角度γ1を形成する。同様に、ステレオカメラ6Bから見た物体P2上の最も近い点とステレオカメラ6Bとを結ぶ線分は、水平面との間に角度γ2を形成する。この場合、物体P1とショベル60の後面を含む平面との間の水平距離D1は、D×cos(γ1)で表され、物体P2とショベル60の後面を含む平面との間の水平距離D2は、D×cos(γ2)で表される。なお、水平距離D2は、水平距離D1より大きい。 As shown in FIG. 30B, a line segment connecting the closest point on the object P1 viewed from the stereo camera 6B and the stereo camera 6B forms an angle γ1 with the horizontal plane. Similarly, the line segment connecting the closest point on the object P2 viewed from the stereo camera 6B and the stereo camera 6B forms an angle γ2 with the horizontal plane. In this case, the horizontal distance D1 between the object P1 and the plane including the rear surface of the shovel 60 is represented by D × cos (γ1), and the horizontal distance D2 between the object P2 and the plane including the rear surface of the excavator 60 is , D × cos (γ2). The horizontal distance D2 is greater than the horizontal distance D1.
ステレオカメラ6Bが撮像する入力距離画像における画素の値は、地物とステレオカメラ6Bとの間の距離を表す。そのため、入力距離画像における画素値をそのまま用いた場合、ステレオカメラ6Bからの距離に応じて表示色又は輝度を変化させる処理では、物体P1の頂部と物体P2の頂部が同じ色又は同じ輝度で表示されることとなる。この表示は、上述のように物体P2に比べ物体P1がショベル60により近いところにある場合であっても、物体P1及び物体P2がショベル60の後面から同じ距離に存在するものと操作者に誤認させるおそれがある。 The pixel value in the input distance image captured by the stereo camera 6B represents the distance between the feature and the stereo camera 6B. Therefore, when the pixel value in the input distance image is used as it is, the top of the object P1 and the top of the object P2 are displayed in the same color or the same brightness in the process of changing the display color or brightness according to the distance from the stereo camera 6B. Will be. This display is erroneously recognized by the operator that the object P1 and the object P2 exist at the same distance from the rear surface of the shovel 60 even when the object P1 is closer to the shovel 60 than the object P2 as described above. There is a risk of causing.
このような状況が生じるのは、後方ステレオカメラ6Bが、上部旋回体63の上部に取り付けられた状態で斜め下方を撮像することに起因する。すなわち、操作者が認識する距離がショベル60からの水平距離であるのに対し、ステレオカメラ6が取得する距離は、ステレオカメラ6からの直線距離であることに起因する。なお、ステレオカメラ6Bの取り付け位置は、周囲の地物との接触からセンサを保護できるよう、上部旋回体63の上部とされている。 Such a situation occurs because the rear stereo camera 6 </ b> B captures an image of the obliquely lower side while being attached to the upper part of the upper swing body 63. That is, the distance recognized by the operator is the horizontal distance from the excavator 60, whereas the distance acquired by the stereo camera 6 is a linear distance from the stereo camera 6. Note that the mounting position of the stereo camera 6B is the upper part of the upper swing body 63 so that the sensor can be protected from contact with surrounding features.
そこで、画像生成装置100の距離補正手段13は、例えば、物体P1、P2のそれぞれとステレオカメラ6Bとの間の距離を表す画素値を、物体P1、P2のそれぞれとショベル60の後面を含む平面との間の水平距離を表す画素値に補正する。 Therefore, the distance correction unit 13 of the image generation apparatus 100 includes, for example, a pixel value indicating the distance between each of the objects P1 and P2 and the stereo camera 6B, and a plane including each of the objects P1 and P2 and the rear surface of the excavator 60. To a pixel value representing a horizontal distance between the two.
具体的には、距離補正手段13は、ステレオカメラ6Bから見た物体P1上の任意の点に対応する入力距離画像における画素の座標から、ステレオカメラ6Bと物体P1上の任意の点とを結ぶ線分が水平面との間に形成する角度γを導き出す。ステレオカメラ6Bの取り付け位置、取り付け角度が既知であるため、距離補正手段13は、その画素の座標から角度γを導き出すことができる。 Specifically, the distance correction unit 13 connects the stereo camera 6B and an arbitrary point on the object P1 from the coordinates of the pixel in the input distance image corresponding to the arbitrary point on the object P1 viewed from the stereo camera 6B. The angle γ that the line segment forms with the horizontal plane is derived. Since the mounting position and mounting angle of the stereo camera 6B are known, the distance correction means 13 can derive the angle γ from the coordinates of the pixel.
その後、距離補正手段13は、その地物上の任意の点に対応する画素の座標から導き出した角度γの余弦cos(γ)に、その画素の画素値、すなわち、ステレオカメラ6Bと物体P1上の任意の点との間の距離を乗じる。このようにして、距離補正手段13は、ステレオカメラ6Bと物体P1上の任意の点との間の水平距離を算出し、その任意の点に対応する画素の画素値を、算出した水平距離で置き換える。 Thereafter, the distance correction means 13 adds the pixel value of the pixel, that is, the stereo camera 6B and the object P1, to the cosine cos (γ) of the angle γ derived from the coordinates of the pixel corresponding to an arbitrary point on the feature. Multiply the distance between any point. In this way, the distance correction unit 13 calculates the horizontal distance between the stereo camera 6B and an arbitrary point on the object P1, and calculates the pixel value of the pixel corresponding to the arbitrary point by the calculated horizontal distance. replace.
同様に、距離補正手段13は、ステレオカメラ6Bと物体P2上の任意の点とを結ぶ線分が水平面との間に形成する角度γを導き出す。そして、角度γの余弦cos(γ)に、その画素値、すなわち、ステレオカメラ6Bと物体P2上の任意の点との間の距離を乗じる。そして、ステレオカメラ6Bと物体P2上の任意の点との間の水平距離を算出し、その任意の点に対応する画素の画素値を、算出した水平距離で置き換える。 Similarly, the distance correcting unit 13 derives an angle γ formed between a line segment connecting the stereo camera 6B and an arbitrary point on the object P2 with the horizontal plane. Then, the cosine cos (γ) of the angle γ is multiplied by the pixel value, that is, the distance between the stereo camera 6B and an arbitrary point on the object P2. Then, the horizontal distance between the stereo camera 6B and an arbitrary point on the object P2 is calculated, and the pixel value of the pixel corresponding to the arbitrary point is replaced with the calculated horizontal distance.
ここで、図31及び図32を参照しながら、距離補正手段13による補正の効果について説明する。 Here, the effect of correction by the distance correction unit 13 will be described with reference to FIGS. 31 and 32.
図31は、距離補正処理が施されていない入力距離画像に基づく出力距離画像(以下、「補正前出力距離画像」とする。)と、距離補正処理が施された入力距離画像に基づく出力距離画像(以下、「補正済出力距離画像」とする。)との違いを表す対比図であり、図31(A)が補正前出力距離画像を示し、図31(B)が補正済出力距離画像を示す。なお、本実施例では、入力距離画像に対して画素抽出処理が既に施されている。 FIG. 31 shows an output distance image based on an input distance image that has not been subjected to a distance correction process (hereinafter referred to as an “output distance image before correction”) and an output distance based on an input distance image that has been subjected to a distance correction process. FIG. 31A is a comparison diagram showing a difference from an image (hereinafter referred to as a “corrected output distance image”). FIG. 31A shows an output distance image before correction, and FIG. 31B shows a corrected output distance image. Indicates. In this embodiment, pixel extraction processing has already been performed on the input distance image.
また、図32は、カメラ2Bの入力画像に基づいて生成される出力画像に補正前出力距離画像を合成した合成後出力画像(以下、「補正前合成後出力画像」とする。)と、その出力画像に補正済出力距離画像を合成した合成後出力画像(以下、「補正済合成後出力画像」とする。)との違いを表す対比図であり、図32(A)が補正前合成後出力画像を示し、図32(B)が補正済合成後出力画像を示す。 FIG. 32 shows a combined output image obtained by combining a pre-correction output distance image with an output image generated based on the input image of the camera 2B (hereinafter referred to as “pre-correction combined output image”), and its output image. FIG. 32A is a comparison diagram showing a difference from a combined output image obtained by combining a corrected output distance image with an output image (hereinafter referred to as “corrected combined output image”), and FIG. An output image is shown, and FIG. 32B shows a corrected combined output image.
図31(A)及び図32(A)に示すように、補正前出力距離画像及び補正前合成後出力画像では、物体P1と物体P2が同じような配色で表される。具体的には、物体P1及び物体P2は何れも、頂部に近いほど白く(薄く)、底部近いほど黒く(濃く)表示される。そのため、操作者は、何れの物体がショベル60により近いのかを判断し難い。 As shown in FIGS. 31A and 32A, the object P1 and the object P2 are represented by the same color scheme in the output distance image before correction and the output image after combination before correction. Specifically, both of the object P1 and the object P2 are displayed whiter (thin) as it approaches the top, and black (darker) as it approaches the bottom. Therefore, it is difficult for the operator to determine which object is closer to the excavator 60.
これに対し、図31(B)及び図32(B)に示すように、補正済出力距離画像及び補正済合成後出力画像では、物体P1と物体P2が異なる色で表される。具体的には、物体P1が全体的に薄く表示され、物体P2が全体的に濃く表示される。そのため、操作者は、物体P2よりも物体P1のほうがショベル60により近い位置にあることを容易に認識することができる。 In contrast, as shown in FIGS. 31B and 32B, in the corrected output distance image and the corrected combined output image, the object P1 and the object P2 are represented by different colors. Specifically, the object P1 is displayed as a thin overall, and the object P2 is displayed as a dark overall. Therefore, the operator can easily recognize that the object P1 is closer to the excavator 60 than the object P2.
図33は、補正前合成後出力画像と補正済合成後出力画像との違いを表す対比図の別の例であり、枠が重畳表示される場合の例を示す。 FIG. 33 is another example of a comparison diagram showing the difference between the pre-correction composite output image and the corrected post-combination output image, and shows an example in which frames are displayed in a superimposed manner.
図33(A)に示すように、補正前合成後出力画像では、地物領域に含まれる画素の画素値の最小値がその地物領域の代表値として採用された場合、物体P1と物体P2が何れもショベル60から1メートルの距離にあるものとして表示される。 As shown in FIG. 33A, in the pre-correction synthesized output image, when the minimum pixel value of the pixel included in the feature area is adopted as the representative value of the feature area, the object P1 and the object P2 Are displayed as being at a distance of 1 meter from the excavator 60.
これに対し、図33(B)に示すように、補正済合成後出力画像では、物体P1、P2のそれぞれとショベル60の後面を含む平面との間の水平距離D1、D2が表示される。すなわち、物体P1がショベル60の後面から1メートルの距離にあり、物体P2がショベル60の後面から1.5メートルの距離にあることが表示される。そのため、操作者は、物体P2よりも物体P1のほうがショベル60により近い位置にあることを容易に認識することができる。 In contrast, as shown in FIG. 33B, in the corrected combined output image, horizontal distances D1 and D2 between each of the objects P1 and P2 and a plane including the rear surface of the excavator 60 are displayed. That is, it is displayed that the object P1 is at a distance of 1 meter from the rear surface of the excavator 60 and the object P2 is at a distance of 1.5 meters from the rear surface of the excavator 60. Therefore, the operator can easily recognize that the object P1 is closer to the excavator 60 than the object P2.
以上の構成により、画像生成装置100は、ステレオカメラ6が撮像する入力距離画像における画素値がショベル60からの水平距離を表すように画素値を補正する。その結果、画像生成装置100は、周囲の地物の状況をより分かり易く操作者に伝えることができる。 With the above configuration, the image generation apparatus 100 corrects the pixel value so that the pixel value in the input distance image captured by the stereo camera 6 represents the horizontal distance from the shovel 60. As a result, the image generating apparatus 100 can inform the operator of the status of surrounding features in an easy-to-understand manner.
また、上述の実施例では、距離補正手段13は、画素抽出手段12が抽出した画素の画素値を個別に補正する。しかしながら、本発明はこれに限定されるものではない。例えば、距離補正手段13は、上述のように余弦を用いて水平距離を算出することなく、入力距離画像平面における画素行毎、画素列毎、又は予め区分された領域毎に所定の補正を纏めて行うようにしてもよい。演算負荷を抑制しながら、簡易な補正により、余弦を用いて水平距離を算出する場合と同様の効果を得るためである。具体的には、距離補正手段13は、例えば、入力距離画像平面の上方にある画素行ほど距離の増大補正が大きくなるように、或いは、入力距離画像平面の下方にある画素行ほど距離の減少補正が大きくなるように、所定の補正量による補正を一括して実行するようにしてもよい。 In the above-described embodiment, the distance correction unit 13 individually corrects the pixel values of the pixels extracted by the pixel extraction unit 12. However, the present invention is not limited to this. For example, the distance correction unit 13 collects predetermined corrections for each pixel row, each pixel column, or each pre-divided area in the input distance image plane without calculating the horizontal distance using the cosine as described above. May be performed. This is to obtain the same effect as the case of calculating the horizontal distance using the cosine by simple correction while suppressing the calculation load. Specifically, the distance correction unit 13 is configured so that, for example, a pixel row located above the input distance image plane increases correction of the distance, or a pixel row located below the input distance image plane decreases the distance. Corrections with a predetermined correction amount may be collectively executed so that the correction becomes large.
また、上述の実施例では、距離補正手段13は、ステレオカメラ6Bが上部旋回体63の後面上部に取り付けられて斜め下方を撮像する場合の補正を実行する。しかしながら、本発明はこれに限定されるものではない。例えば、距離補正手段13は、ステレオカメラが水平方向を撮像する場合の補正を実行してもよく、ステレオカメラが斜め上方を撮像する場合の補正を実行してもよい。 In the above-described embodiment, the distance correction unit 13 performs correction when the stereo camera 6B is attached to the upper part of the rear surface of the upper swing body 63 and picks up an image obliquely downward. However, the present invention is not limited to this. For example, the distance correction unit 13 may perform correction when the stereo camera captures an image in the horizontal direction, or may perform correction when the stereo camera captures an image from above obliquely.
また、上述の実施例では、距離補正手段13は、ショベル60の後面を含む平面を基準とし、地物領域に含まれる画素の画素値を、その地物とショベル60の後面を含む平面との間の水平距離を表す画素値に補正する。しかしながら、本発明はこれに限定されることはない。例えば、距離補正手段13は、ショベル60の旋回軸PVを基準とし、地物領域に含まれる画素の画素値を、その地物とショベル60の旋回軸PVとの間の水平距離を表す画素値に補正してもよい。 In the above-described embodiment, the distance correcting unit 13 uses the plane including the rear surface of the excavator 60 as a reference, and calculates the pixel value of the pixel included in the feature region between the feature and the plane including the rear surface of the excavator 60. The pixel value representing the horizontal distance between them is corrected. However, the present invention is not limited to this. For example, the distance correcting unit 13 uses the rotation axis PV of the excavator 60 as a reference, the pixel value of the pixel included in the feature region, and the pixel value representing the horizontal distance between the feature and the rotation axis PV of the excavator 60. You may correct to.
また、距離補正手段13は、地物領域に含まれる画素の画素値を、その地物とショベル60との間の最短水平距離を表す画素値に補正してもよい。この場合、距離補正手段13は、その地物の実在位置に応じて、ショベル60の右側面を含む平面、ショベル60の左側面を含む平面、ショベル60の後面を含む平面等から基準を選択する。 The distance correction unit 13 may correct the pixel value of the pixel included in the feature region to a pixel value that represents the shortest horizontal distance between the feature and the excavator 60. In this case, the distance correction unit 13 selects a reference from a plane including the right side surface of the excavator 60, a plane including the left side surface of the excavator 60, a plane including the rear surface of the excavator 60, and the like according to the actual position of the feature. .
なお、最短水平距離は、ショベル60の移動方向、すなわち、下部走行体61の前後方向に平行な方向における最短水平距離であってもよい。この場合、ショベル60の移動方向にない地物に関する画素の値は、その地物がショベル60の近くにあったとしても、最大値(無限遠)に補正される。その結果、操作者は、ショベル60の移動方向にある地物をより容易に認識することができる。 The shortest horizontal distance may be the shortest horizontal distance in a direction parallel to the moving direction of the excavator 60, that is, the front-rear direction of the lower traveling body 61. In this case, the value of the pixel related to the feature that is not in the moving direction of the shovel 60 is corrected to the maximum value (infinite) even if the feature is near the shovel 60. As a result, the operator can more easily recognize the feature in the moving direction of the excavator 60.
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。 Although the preferred embodiments of the present invention have been described in detail above, the present invention is not limited to the above-described embodiments, and various modifications and substitutions can be made to the above-described embodiments without departing from the scope of the present invention. Can be added.
例えば、上述の実施例において、画像生成装置100は、空間モデルとして円筒状の空間モデルMDを採用するが、多角柱等の他の柱状の形状を有する空間モデルを採用してもよく、底面及び側面の二面から構成される空間モデルを採用してもよく、或いは、側面のみを有する空間モデルを採用してもよい。 For example, in the above-described embodiment, the image generation apparatus 100 employs the cylindrical spatial model MD as the spatial model, but may employ a spatial model having other columnar shapes such as a polygonal column, A spatial model composed of two side surfaces may be adopted, or a spatial model having only side surfaces may be adopted.
また、画像生成装置100は、バケット、アーム、ブーム、旋回機構等の可動部材を備えながら自走するショベルに、カメラ及びステレオカメラと共に搭載され、周囲画像をその操作者に提示しながらそのショベルの移動及びそれら可動部材の操作を支援する操作支援システムを構成する。しかしながら、画像生成装置100は、フォークリフト、アスファルトフィニッシャ等のように旋回機構を有しない作業機械、又は、産業用機械若しくは固定式クレーン等のように可動部材を有するが自走はしない作業機械に、カメラ及びステレオカメラと共に搭載され、それら作業機械の操作を支援する操作支援システムを構成してもよい。 The image generating apparatus 100 is mounted on a self-propelled excavator with a movable member such as a bucket, an arm, a boom, and a turning mechanism together with a camera and a stereo camera, and displays the surrounding image to the operator while displaying the surrounding image of the excavator. An operation support system that supports movement and operation of these movable members is configured. However, the image generating apparatus 100 is a work machine that does not have a turning mechanism such as a forklift or asphalt finisher, or a work machine that has a movable member such as an industrial machine or a fixed crane, but does not self-propelled. You may comprise the operation assistance system mounted with a camera and a stereo camera, and assisting operation of these work machines.
また、上述の実施例において、距離画像合成手段14は、出力距離画像を生成した上で、生成した出力距離画像を出力画像に合成する。しかしながら、本発明はこれに限定されるものではない。距離画像合成手段14は、例えば、入力画像と入力距離画像とを合成して合成後入力画像を生成し、距離画像に関する情報が重畳表示された合成後処理対象画像を生成した上で、合成後出力画像を生成してもよい。また、距離画像合成手段14は、例えば、処理対象画像と処理対象距離画像とを合成して合成後処理対象画像を生成した上で、合成後出力画像を生成してもよい。 In the above-described embodiment, the distance image combining unit 14 generates an output distance image and then combines the generated output distance image with the output image. However, the present invention is not limited to this. For example, the distance image synthesizing unit 14 synthesizes the input image and the input distance image to generate a combined input image, generates a post-combination processing target image on which information on the distance image is superimposed and displays the combined image. An output image may be generated. In addition, the distance image synthesis unit 14 may generate a combined output image after combining a processing target image and a processing target distance image to generate a combined processing target image, for example.
また、上述の実施例において、画像生成装置100は、カメラ2とステレオカメラ6とを別々に備える。そして、画像生成装置100は、カメラ2からの複数の入力画像に基づいて1つの出力画像(視点変換画像)を生成し、且つ、ステレオカメラ6からの複数の入力距離画像に基づいて1つの出力距離画像(視点変換距離画像)を生成する。その上で、画像生成装置100は、出力距離画像を出力画像に合成する。しかしながら、本発明はこの構成に限定されるものではない。例えば、画像生成装置100は、左側方ステレオカメラ6L、後方ステレオカメラ6B、右側方ステレオカメラ6Rのそれぞれにおける各1つの撮像機構が出力する3つの画像に基づいて出力画像(視点変換画像)を生成し、且つ、それら3つのステレオカメラの3つの入力距離画像に基づいて1つの出力距離画像(視点変換距離画像)を生成してもよい。この場合、カメラ2は省略され得る。また、この場合、撮像範囲が偏らないよう、左側方ステレオカメラ6L、後方ステレオカメラ6B、右側方ステレオカメラ6Rはそれぞれ、上部旋回体63の左側面、後面、右側面のそれぞれのほぼ中央に設置されることが望ましい。そのため、各ステレオカメラにおける複数組の撮像機構は、縦方向に所定の間隔を空けて並置される。その並置間隔の大きさにかかわらず、ステレオカメラを各面のほぼ中央に設置し易いためである。また、複数組の撮像機構を横方向に並置すると、その並置間隔によっては、ステレオカメラを各面のほぼ中央に設置することが困難になるためである。 In the above-described embodiment, the image generation apparatus 100 includes the camera 2 and the stereo camera 6 separately. Then, the image generation device 100 generates one output image (viewpoint conversion image) based on a plurality of input images from the camera 2 and one output based on the plurality of input distance images from the stereo camera 6. A distance image (viewpoint conversion distance image) is generated. After that, the image generation apparatus 100 combines the output distance image with the output image. However, the present invention is not limited to this configuration. For example, the image generation device 100 generates an output image (viewpoint conversion image) based on three images output by each one imaging mechanism in each of the left-side stereo camera 6L, the rear-side stereo camera 6B, and the right-side stereo camera 6R. In addition, one output distance image (viewpoint conversion distance image) may be generated based on the three input distance images of the three stereo cameras. In this case, the camera 2 can be omitted. In this case, the left-side stereo camera 6L, the rear stereo camera 6B, and the right-side stereo camera 6R are installed at substantially the center of each of the left side surface, the rear surface, and the right side surface of the upper swing body 63 so that the imaging range is not biased. It is desirable that Therefore, a plurality of sets of imaging mechanisms in each stereo camera are juxtaposed at predetermined intervals in the vertical direction. This is because it is easy to install the stereo camera almost at the center of each surface regardless of the size of the juxtaposition interval. Further, when a plurality of sets of image pickup mechanisms are juxtaposed in the horizontal direction, it is difficult to install the stereo camera at substantially the center of each surface depending on the juxtaposition interval.
また、上述の実施例において、ステレオカメラ6は、2組の撮像機構のそれぞれが出力する画像間の視差に基づいて基本画像の各画素に写る物体とステレオカメラ6との間の距離を導き出す。そして、ステレオカメラ6は、基本画像の各画素の値に、導き出した距離を代入して二次元配列の距離情報としての入力距離画像を生成し、生成した入力距離画像を制御部1に対して出力する。そして、制御部1は、複数のステレオカメラ6からの複数の入力距離画像を用いて1つの出力距離画像を生成する。しかしながら、本発明はこの構成に限定されるものではない。例えば、画像生成装置100は、3つのステレオカメラのそれぞれにおける第1撮像機構が出力する3つの画像に基づいて第1出力画像(第1視点変換画像)を生成し、且つ、それら3つのステレオカメラのそれぞれにおける第2撮像機構が出力する3つの画像に基づいて第2出力画像(第2視点変換画像)を生成する。その上で、画像生成装置100は、第1視点変換画像と第2視点変換画像との間の視差に基づいて第1視点変換画像の各画素に写る物体と所定の基準点との間の距離を導き出すことにより、入力距離画像を用いることなく、出力距離画像を生成してもよい。 In the above-described embodiment, the stereo camera 6 derives the distance between the object captured in each pixel of the basic image and the stereo camera 6 based on the parallax between images output by each of the two sets of imaging mechanisms. Then, the stereo camera 6 generates an input distance image as the distance information of the two-dimensional array by substituting the derived distance into the value of each pixel of the basic image, and the generated input distance image is transmitted to the control unit 1. Output. Then, the control unit 1 generates one output distance image using a plurality of input distance images from the plurality of stereo cameras 6. However, the present invention is not limited to this configuration. For example, the image generation apparatus 100 generates a first output image (first viewpoint conversion image) based on three images output from the first imaging mechanism in each of the three stereo cameras, and the three stereo cameras. A second output image (second viewpoint conversion image) is generated based on the three images output by the second imaging mechanism in each of the above. In addition, the image generation apparatus 100 determines the distance between an object that appears in each pixel of the first viewpoint conversion image and a predetermined reference point based on the parallax between the first viewpoint conversion image and the second viewpoint conversion image. Thus, the output distance image may be generated without using the input distance image.
1・・・制御部 2・・・カメラ 2L・・・左側方カメラ 2R・・右側方カメラ 2B・・後方カメラ 3・・・入力部 4・・・記憶部 5・・・表示部 6・・・ステレオカメラ 6L・・・左側方ステレオカメラ 6R・・・右側方ステレオカメラ 6B・・・後方ステレオカメラ 10・・・座標対応付け手段 11・・・画像生成手段 12・・・画素抽出手段 13・・・距離補正手段 14・・・距離画像合成手段 15・・・運転支援手段 40・・・入力画像・空間モデル対応マップ 41・・・空間モデル・処理対象画像対応マップ 42・・・処理対象画像・出力画像対応マップ 60・・・ショベル 61・・・下部走行体 62・・・旋回機構 63・・・上部旋回体 64・・・キャブ 100・・・画像生成装置 DESCRIPTION OF SYMBOLS 1 ... Control part 2 ... Camera 2L ... Left side camera 2R ... Right side camera 2B ... Rear camera 3 ... Input part 4 ... Memory | storage part 5 ... Display part 6 .... Stereo camera 6L ... Left side stereo camera 6R ... Right side stereo camera 6B ... Rear stereo camera 10 ... Coordinate matching means 11 ... Image generation means 12 ... Pixel extraction means 13 ··· Distance correction means 14 ··· Distance image synthesis means 15 ··· Driving support means 40 ··· Input image / spatial model correspondence map 41 ··· Spatial model · processing target image correspondence map 42 ··· processing target image Output image correspondence map 60: excavator 61 ... lower traveling body 62 ... turning mechanism 63 ... upper turning body 64 ... cab 100 ... image generating device
Claims (11)
前記下部走行体に旋回可能に搭載される上部旋回体と、
前記上部旋回体に取り付けられるアタッチメントと、
前記上部旋回体に搭載される運転室と、
前記運転室内に取り付けられる表示部と、
前記上部旋回体に取り付けられるステレオカメラと、
前記ステレオカメラが撮像した入力距離画像に基づいて出力距離画像を生成し、且つ、該出力距離画像を前記表示部に表示する制御部と、を有するショベルであって、
前記制御部は、前記入力距離画像における画素の画素値のうち、前記下部走行体の接地面を含む仮想平面上の該画素に対応する点と前記ステレオカメラとの間の仮想的な距離の値以上の画素値であって、前記画素値に対応する実際の距離の値と前記仮想的な距離の値との差が所定距離の値未満の画素値を、所定値で置き換えて前記入力距離画像を補正する、
ショベル。 A lower traveling body,
An upper swivel body that is turnably mounted on the lower traveling body;
An attachment attached to the upper swing body;
A cab mounted on the upper swing body;
A display unit mounted in the cab;
A stereo camera attached to the upper swing body;
A shovel having a control unit that generates an output distance image based on an input distance image captured by the stereo camera and displays the output distance image on the display unit;
The control unit is a value of a virtual distance between a point corresponding to the pixel on a virtual plane including a ground plane of the lower traveling body and a pixel value of the pixel in the input distance image and the stereo camera. The input distance image obtained by replacing a pixel value having a difference between an actual distance value corresponding to the pixel value and the virtual distance value less than a predetermined distance with a predetermined value. Correct,
Excavator.
請求項1に記載のショベル。 The control unit, between the values representing the distance between the feature around the excavator and the stereo camera among the pixels in the input distance image, between the plane on which the lower traveling body is located and the stereo camera A value for which the difference with respect to the distance is equal to or greater than a predetermined distance to correct the input distance image
The excavator according to claim 1.
請求項1又は2に記載のショベル。 The predetermined distance is set for each pixel of the input distance image.
The shovel according to claim 1 or 2.
請求項1乃至3の何れか一項に記載のショベル。 The predetermined distance corresponds to a predetermined depth from the virtual plane;
The excavator according to any one of claims 1 to 3.
請求項1乃至4の何れか一項に記載のショベル。 The stereo camera captures an image of a blind spot area of an operator related to the upper swing body from an obliquely upward direction.
The excavator according to any one of claims 1 to 4.
請求項1乃至5の何れか一項に記載のショベル。 An output distance image generated based on the input distance image corrected by the control unit is displayed on the output image of the camera.
The excavator according to any one of claims 1 to 5.
請求項1乃至6の何れか一項に記載のショベル。 The distance value represented by the pixel value of the pixel corrected by the control unit is displayed superimposed on the output image of the camera.
The excavator according to any one of claims 1 to 6.
請求項7に記載のショベル。 When the distance value is equal to or less than a predetermined value, it is displayed superimposed on the output image of the camera.
The excavator according to claim 7.
請求項7又は8に記載のショベル。 The color of the distance value is determined according to the size of the distance.
The excavator according to claim 7 or 8.
請求項1乃至9の何れか一項に記載のショベル。 When it is determined that a predetermined feature exists in the moving direction of the excavator based on the output of the stereo camera, the driving support means for executing a driving support function for supporting the driving of the excavator is provided.
The excavator according to any one of claims 1 to 9.
請求項10に記載のショベル。 The driving support function includes warning display, travel speed limit of the excavator, or stop of the excavator travel,
The excavator according to claim 10.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013104506A JP6386213B2 (en) | 2013-05-16 | 2013-05-16 | Excavator |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013104506A JP6386213B2 (en) | 2013-05-16 | 2013-05-16 | Excavator |
Related Child Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017092544A Division JP6378801B2 (en) | 2017-05-08 | 2017-05-08 | Excavator |
JP2018148597A Division JP2019004484A (en) | 2018-08-07 | 2018-08-07 | Shovel |
JP2018148598A Division JP2018186574A (en) | 2018-08-07 | 2018-08-07 | Shovel |
JP2018149966A Division JP2018186575A (en) | 2018-08-09 | 2018-08-09 | Shovel |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014225803A JP2014225803A (en) | 2014-12-04 |
JP6386213B2 true JP6386213B2 (en) | 2018-09-05 |
Family
ID=52124167
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013104506A Active JP6386213B2 (en) | 2013-05-16 | 2013-05-16 | Excavator |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6386213B2 (en) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2017033991A1 (en) | 2015-08-26 | 2018-06-14 | 住友建機株式会社 | Excavator measuring device |
DE102015221356B4 (en) * | 2015-10-30 | 2020-12-24 | Conti Temic Microelectronic Gmbh | Device and method for providing a vehicle panoramic view |
WO2018008542A1 (en) * | 2016-07-05 | 2018-01-11 | 住友建機株式会社 | Shovel |
JP6789767B2 (en) * | 2016-11-11 | 2020-11-25 | スタンレー電気株式会社 | Monitoring system |
JP6980391B2 (en) * | 2017-01-25 | 2021-12-15 | 住友重機械工業株式会社 | Peripheral monitoring system for work machines |
WO2019059089A1 (en) * | 2017-09-22 | 2019-03-28 | 株式会社日立国際電気 | Video image monitoring system |
KR102627093B1 (en) * | 2017-12-04 | 2024-01-18 | 스미도모쥬기가이고교 가부시키가이샤 | Surrounding monitoring device |
JP2019004484A (en) * | 2018-08-07 | 2019-01-10 | 住友建機株式会社 | Shovel |
JP2018186574A (en) * | 2018-08-07 | 2018-11-22 | 住友建機株式会社 | Shovel |
JP2018186575A (en) * | 2018-08-09 | 2018-11-22 | 住友建機株式会社 | Shovel |
JP7329928B2 (en) * | 2019-01-31 | 2023-08-21 | 住友重機械工業株式会社 | working machine |
JP7229103B2 (en) * | 2019-06-06 | 2023-02-27 | 住友建機株式会社 | Excavator |
GB2588186A (en) * | 2019-10-11 | 2021-04-21 | Caterpillar Inc | System for monitoring surrounding area of cold planer |
JP7098092B2 (en) * | 2020-06-26 | 2022-07-08 | 三菱電機株式会社 | Rear image display control device and rear image display control method |
JP2023169512A (en) | 2022-05-17 | 2023-11-30 | キヤノン株式会社 | Monitoring system, control method for the same, and program |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11213154A (en) * | 1998-01-27 | 1999-08-06 | Komatsu Ltd | Remote control assisting device |
JPH11222882A (en) * | 1998-02-05 | 1999-08-17 | Komatsu Ltd | Dangerous zone monitoring device |
JP4241651B2 (en) * | 2005-03-16 | 2009-03-18 | パナソニック電工株式会社 | Mobile device |
JP5550970B2 (en) * | 2010-04-12 | 2014-07-16 | 住友重機械工業株式会社 | Image generating apparatus and operation support system |
KR101751405B1 (en) * | 2010-10-22 | 2017-06-27 | 히다치 겡키 가부시키 가이샤 | Work machine peripheral monitoring device |
-
2013
- 2013-05-16 JP JP2013104506A patent/JP6386213B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014225803A (en) | 2014-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6386213B2 (en) | Excavator | |
JP6029306B2 (en) | Perimeter monitoring equipment for work machines | |
JP6541734B2 (en) | Shovel | |
JP6045865B2 (en) | Excavator | |
JP6545430B2 (en) | Shovel | |
JP6324665B2 (en) | Perimeter monitoring equipment for work machines | |
JP6740259B2 (en) | Work machine | |
JP6378801B2 (en) | Excavator | |
JP5960007B2 (en) | Perimeter monitoring equipment for work machines | |
JP5805574B2 (en) | Perimeter monitoring equipment for work machines | |
JP6091821B2 (en) | Excavator | |
JP5752631B2 (en) | Image generation method, image generation apparatus, and operation support system | |
JP6169381B2 (en) | Excavator | |
JP6257919B2 (en) | Excavator | |
JP2019004484A (en) | Shovel | |
JP2018186575A (en) | Shovel | |
JP2023078305A (en) | Shovel | |
JP6257918B2 (en) | Excavator | |
JP6302622B2 (en) | Perimeter monitoring equipment for work machines | |
JP7237882B2 (en) | Excavator | |
JP7130547B2 (en) | Excavator and perimeter monitoring device for excavator | |
JP2018186574A (en) | Shovel | |
JP6295026B2 (en) | Excavator | |
JP7454461B2 (en) | excavator | |
JP2019071677A (en) | Shovel |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A625 | Written request for application examination (by other person) |
Free format text: JAPANESE INTERMEDIATE CODE: A625 Effective date: 20160414 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170307 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170508 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171031 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180104 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180710 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180809 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6386213 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |