WO2013145878A1 - 作業機械用周辺監視装置 - Google Patents
作業機械用周辺監視装置 Download PDFInfo
- Publication number
- WO2013145878A1 WO2013145878A1 PCT/JP2013/052937 JP2013052937W WO2013145878A1 WO 2013145878 A1 WO2013145878 A1 WO 2013145878A1 JP 2013052937 W JP2013052937 W JP 2013052937W WO 2013145878 A1 WO2013145878 A1 WO 2013145878A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- coordinates
- distance
- output
- plane
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/04—Systems determining the presence of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/51—Display arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/38—Outdoor scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Abstract
本発明の実施例に係るショベル60は、上部旋回体63に取り付けられる距離画像センサ6が撮像した入力距離画像に基づいて出力距離画像を生成する作業機械用周辺監視装置としての画像生成装置100を備える。画像生成装置100は、入力距離画像が位置する入力距離画像平面における座標と、出力距離画像が位置する出力距離画像平面における座標とを対応付ける。
Description
本発明は、距離画像センサが取得した二次元配列の距離情報を利用して出力画像を生成する作業機械用周辺監視装置に関する。
従来、ショベルの上部旋回体に取り付けられるレーザレーダを用いて、ショベルの周囲に存在する物体のショベルに対する距離及び方向を取得しながら周囲を監視する周囲監視装置が知られている(例えば、特許文献1参照。)。
この周囲監視装置は、物体のショベルに対する距離及び方向が所定時間にわたって変化しない場合にその物体を静止障害物と判定し、距離及び方向が変化する場合にその物体を移動障害物と判定する。その上で、周囲監視装置は、ショベル及びその周囲を上空から見たイラスト画像を生成し、障害物の実在位置に対応するイラスト画像上の位置にその障害物を表すイラストを表示する。また、周囲監視装置は、静止障害物と移動障害物とを異なる態様のイラストで表示する。
このようにして、周囲監視装置は、ショベルの周囲の障害物の状況を運転者に分かり易く伝えることができるようにしている。
しかしながら、特許文献1に記載のレーザレーダは、1本のレーザ光を物体に照射し、その反射光から物体の距離及び方向を検出するためのものである。そのため、特許文献1に記載のレーザレーダは、物体表面の極めて限られた部分と自身との間の距離を検出するのみであり、その検出結果は、物体を表すイラストの位置を大まかに決めるために利用されるのみである。したがって、特許文献1に記載の周囲監視装置が提示する出力画像は、ショベルの周囲の障害物の状況を運転者に分かり易く伝えるには不十分である。
上述の点に鑑み、本発明は、周囲の物体の状況をより分かり易く操作者に伝えることができる作業機械用周辺監視装置を提供することを目的とする。
上述の目的を達成するために、本発明の実施例に係る作業機械用周辺監視装置は、作業機械に取り付けられる距離画像センサが撮像した入力距離画像に基づいて出力距離画像を生成する作業機械用周辺監視装置であって、前記入力距離画像が位置する入力距離画像平面における座標と、前記出力距離画像が位置する出力距離画像平面における座標とを対応付ける。
上述の手段により、本発明は、周囲の物体の状況をより分かり易く操作者に伝えることができる作業機械用周辺監視装置を提供することができる。
以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。
図1は、本発明の実施例に係る画像生成装置100の構成例を概略的に示すブロック図である。
画像生成装置100は、作業機械の周辺を監視する作業機械用周辺監視装置の1例であり、制御部1、カメラ2、入力部3、記憶部4、表示部5、及び距離画像センサ6で構成される。具体的には、画像生成装置100は、作業機械に搭載されたカメラ2が撮像した入力画像と距離画像センサ6が撮像した後述の入力距離画像とに基づいて出力画像を生成しその出力画像を操作者に提示する。
図2は、画像生成装置100が搭載される作業機械としてのショベル60の構成例を示す図であり、ショベル60は、クローラ式の下部走行体61の上に、旋回機構62を介して、上部旋回体63を旋回軸PVの周りで旋回自在に搭載している。
また、上部旋回体63は、その前方左側部にキャブ(運転室)64を備え、その前方中央部に掘削アタッチメントEを備え、その右側面及び後面にカメラ2(右側方カメラ2R、後方カメラ2B)及び距離画像センサ6(右側方距離画像センサ6R、後方距離画像センサ6B)を備えている。なお、キャブ64内の操作者が視認し易い位置には表示部5が設置されている。
次に、画像生成装置100の各構成要素について説明する。
制御部1は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、NVRAM(Non-Volatile Random Access Memory)等を備えたコンピュータである。本実施例では、制御部1は、例えば、後述する座標対応付け手段10、画像生成手段11、及び距離画像合成手段12のそれぞれに対応するプログラムをROMやNVRAMに記憶し、一時記憶領域としてRAMを利用しながら各手段に対応する処理をCPUに実行させる。
カメラ2は、ショベル60の周囲を映し出す入力画像を取得するための装置である。本実施例では、カメラ2は、例えば、キャブ64にいる操作者の死角となる領域を撮像できるよう上部旋回体63の右側面及び後面に取り付けられる右側方カメラ2R及び後方カメラ2Bである(図2参照。)。また、カメラ2は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を備える。なお、カメラ2は、上部旋回体63の右側面及び後面以外の位置(例えば、前面及び左側面である。)に取り付けられていてもよく、広い範囲を撮像できるよう広角レンズ又は魚眼レンズが装着されていてもよい。
また、カメラ2は、制御部1からの制御信号に応じて入力画像を取得し、取得した入力画像を制御部1に対して出力する。なお、カメラ2は、魚眼レンズ又は広角レンズを用いて入力画像を取得した場合には、それらレンズを用いることによって生じる見掛け上の歪曲やアオリを補正した補正済みの入力画像を制御部1に対して出力する。また、カメラ2は、その見掛け上の歪曲やアオリを補正していない入力画像をそのまま制御部1に対して出力してもよい。その場合には、制御部1がその見掛け上の歪曲やアオリを補正する。
入力部3は、操作者が画像生成装置100に対して各種情報を入力できるようにするための装置であり、例えば、タッチパネル、ボタンスイッチ、ポインティングデバイス、キーボード等である。
記憶部4は、各種情報を記憶するための装置であり、例えば、ハードディスク、光学ディスク、又は半導体メモリ等である。
表示部5は、画像情報を表示するための装置であり、例えば、ショベル60のキャブ64(図2参照。)内に設置された液晶ディスプレイ又はプロジェクタ等であって、制御部1が出力する各種画像を表示する。
距離画像センサ6は、ショベル60の周囲に存在する物体の距離情報の二次元配列を取得するための装置である。本実施例では、距離画像センサ6は、例えば、キャブ64にいる操作者の死角となる領域を撮像できるよう上部旋回体63の右側面及び後面に取り付けられる(図2参照。)。なお、距離画像センサ6は、上部旋回体63の前面、左側面、右側面、及び後面のうちの何れか1つに取り付けられていてもよく、全ての面に取り付けられていてもよい。
距離画像センサ6は、カメラ2が画素毎に輝度、色相値、彩度値等を取得するのに対し、画素毎に距離情報を取得するセンサであり、例えば、投光用LED、受光用CCDで構成される。具体的には、距離画像センサ6は、TOF(Time Of Flight)方式を採用し、投光用LEDから発せられた近赤外光が物体で反射してその反射光が受光用CCDで受光されるまでの時間を計測することで、画素毎に距離情報を取得する。そのため、以下では、距離画像センサ6による二次元配列の距離情報は、カメラ2の入力画像、出力画像と対比させ、入力距離画像、出力距離画像と称する。なお、距離画像センサ6は、パターン投影方式等の他の方式を採用してもよい。また、距離画像センサ6の入力距離画像、出力距離画像の解像度(画素数)は、カメラ2の入力画像、出力画像における解像度と同じであってもよく、異なるものであってもよい。また、カメラ2の入力画像、出力画像における1又は複数の画素と、距離画像センサ6の入力距離画像、出力距離画像における1又は複数の画素とは予め対応付けられていてもよい。
また、距離画像センサ6は、カメラ2と同様、上部旋回体63の右側面及び後面以外の位置(例えば、前面及び左側面である。)に取り付けられてもよく、広い範囲を撮像できるよう広角レンズ又は魚眼レンズが装着されてもよい。
また、距離画像センサ6は、カメラ2と同様、制御部1からの制御信号に応じて入力距離画像を取得し、取得した入力距離画像を制御部1に対して出力する。なお、距離画像センサ6は、カメラ2と同様、魚眼レンズ又は広角レンズを用いて入力距離画像を取得した場合には、それらレンズを用いることによって生じる見掛け上の歪曲やアオリを補正した補正済みの入力距離画像を制御部1に対して出力する。また、距離画像センサ6は、その見掛け上の歪曲やアオリを補正していない入力距離画像をそのまま制御部1に対して出力してもよい。その場合には、制御部1がその見掛け上の歪曲やアオリを補正する。
また、画像生成装置100は、入力画像に基づいて処理対象画像を生成し、その処理対象画像に画像変換処理を施すことによって周囲の物体との位置関係や距離感を直感的に把握できるようにする出力画像を生成した上で、その出力画像を操作者に提示するようにしてもよい。
画像生成装置100は、入力距離画像についても同様の処理を行う。その場合、処理対象画像は、処理対象距離画像で読み替えられる。以下の記載においても同様である。
「処理対象画像」は、入力画像に基づいて生成される、画像変換処理(例えば、スケール変換処理、アフィン変換処理、歪曲変換処理、視点変換処理等である。)の対象となる画像である。具体的には、「処理対象画像」は、例えば、地表を上方から撮像するカメラによる入力画像であってその広い画角により水平方向の画像(例えば、空の部分である。)を含む入力画像から生成される、画像変換処理に適した画像である。より具体的には、その水平方向の画像が不自然に表示されないよう(例えば、空の部分が地表にあるものとして扱われないよう)その入力画像を所定の空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することによって生成される。なお、処理対象画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。
「空間モデル」は、入力画像の投影対象である。具体的には、「空間モデル」は、少なくとも、処理対象画像が位置する平面である処理対象画像平面以外の平面又は曲面を含む、一又は複数の平面若しくは曲面で構成される。処理対象画像が位置する平面である処理対象画像平面以外の平面又は曲面は、例えば、処理対象画像平面に平行な平面、又は、処理対象画像平面との間で角度を形成する平面若しくは曲面である。
なお、画像生成装置100は、処理対象画像を生成することなく、その空間モデルに投影された投影画像に画像変換処理を施すことによって出力画像を生成するようにしてもよい。また、投影画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。
図3は、入力画像が投影される空間モデルMDの一例を示す図であり、図3左図は、ショベル60を側方から見たときのショベル60と空間モデルMDとの間の関係を示し、図3右図は、ショベル60を上方から見たときのショベル60と空間モデルMDとの間の関係を示す。
図3で示されるように、空間モデルMDは、半円筒形状を有し、その底面内側の平面領域R1とその側面内側の曲面領域R2とを有する。
また、図4は、空間モデルMDと処理対象画像平面との間の関係の一例を示す図であり、処理対象画像平面R3は、例えば、空間モデルMDの平面領域R1を含む平面である。なお、図4は、明確化のために、空間モデルMDを、図3で示すような半円筒形状ではなく、円筒形状で示しているが、空間モデルMDは、半円筒形状及び円筒形状の何れであってもよい。以降の図においても同様である。また、処理対象画像平面R3は、上述のように、空間モデルMDの平面領域R1を含む円形領域であってもよく、空間モデルMDの平面領域R1を含まない環状領域であってもよい。
次に、制御部1が有する各種手段について説明する。
座標対応付け手段10は、カメラ2が撮像した入力画像が位置する入力画像平面上の座標と、空間モデルMD上の座標と、処理対象画像平面R3上の座標とを対応付けるための手段である。本実施例では、座標対応付け手段10は、例えば、予め設定された、或いは、入力部3を介して入力されるカメラ2に関する各種パラメータと、予め決定された、入力画像平面、空間モデルMD、及び処理対象画像平面R3の相互の位置関係とに基づいて、入力画像平面上の座標と、空間モデルMD上の座標と、処理対象画像平面R3上の座標とを対応付ける。なお、カメラ2に関する各種パラメータは、例えば、カメラ2の光学中心、焦点距離、CCDサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等である。そして、座標対応付け手段10は、それらの対応関係を記憶部4の入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41に記憶する。
なお、座標対応付け手段10は、処理対象画像を生成しない場合には、空間モデルMD上の座標と処理対象画像平面R3上の座標との対応付け、及び、その対応関係の空間モデル・処理対象画像対応マップ41への記憶を省略する。
また、座標対応付け手段10は、距離画像センサが撮像した入力距離画像に対しても同様の処理を行う。その場合、カメラ、入力画像平面、処理対象画像平面は、距離画像センサ、入力距離画像平面、処理対象距離画像平面で読み替えられる。以下の記載においても同様である。
画像生成手段11は、出力画像を生成するための手段である。本実施例では、画像生成手段11は、例えば、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって、処理対象画像平面R3上の座標と出力画像が位置する出力画像平面上の座標とを対応付ける。そして、画像生成手段11は、その対応関係を記憶部4の処理対象画像・出力画像対応マップ42に記憶する。そして、画像生成手段11は、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。各画素の値は、例えば、輝度値、色相値、彩度値等である。
また、画像生成手段11は、予め設定された、或いは、入力部3を介して入力される仮想カメラに関する各種パラメータに基づいて、処理対象画像平面R3上の座標と出力画像が位置する出力画像平面上の座標とを対応付ける。なお、仮想カメラに関する各種パラメータは、例えば、仮想カメラの光学中心、焦点距離、CCDサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等である。そして、画像生成手段11は、その対応関係を記憶部4の処理対象画像・出力画像対応マップ42に記憶する。そして、画像生成手段11は、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。
なお、画像生成手段11は、仮想カメラの概念を用いることなく、処理対象画像のスケールを変更して出力画像を生成するようにしてもよい。
また、画像生成手段11は、処理対象画像を生成しない場合には、施した画像変換処理に応じて空間モデルMD上の座標と出力画像平面上の座標とを対応付ける。そして、画像生成手段11は、入力画像・空間モデル対応マップ40を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。この場合、画像生成手段11は、処理対象画像平面R3上の座標と出力画像平面上の座標との対応付け、及び、その対応関係の処理対象画像・出力画像対応マップ42への記憶を省略する。
また、画像生成手段11は、入力距離画像又は処理対象距離画像に対しても同様の処理を行う。その場合、出力画像平面は、出力距離画像平面で読み替えられる。以下の記載においても同様である。
距離画像合成手段12は、カメラに関する画像と、距離画像センサに関する画像とを合成するための手段である。例えば、距離画像合成手段12は、画像生成手段11が生成した、カメラ2の入力画像に基づく出力画像と、距離画像センサ6の入力距離画像に基づく出力距離画像とを合成する。なお、距離画像合成手段12についてはその詳細を後述する。
次に、座標対応付け手段10及び画像生成手段11による具体的な処理の一例について説明する。
座標対応付け手段10は、例えば、ハミルトンの四元数を用いて、入力画像平面上の座標と空間モデル上の座標とを対応付けることができる。
図5は、入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。カメラ2の入力画像平面は、カメラ2の光学中心Cを原点とするUVW直交座標系における一平面として表される。空間モデルは、XYZ直交座標系における立体面として表される。
最初に、座標対応付け手段10は、XYZ座標系の原点を光学中心C(UVW座標系の原点)に並行移動させた上で、X軸をU軸に、Y軸をV軸に、Z軸を-W軸にそれぞれ一致させるようXYZ座標系を回転させる。空間モデル上の座標(XYZ座標系上の座標)を入力画像平面上の座標(UVW座標系上の座標)に変換するためである。なお、「-W軸」の符号「-」は、Z軸の方向と-W軸の方向が逆であることを意味する。これは、UVW座標系がカメラ前方を+W方向とし、XYZ座標系が鉛直下方を-Z方向としていることに起因する。
なお、カメラ2が複数存在する場合、カメラ2のそれぞれが個別のUVW座標系を有するので、座標対応付け手段10は、複数のUVW座標系のそれぞれに対して、XYZ座標系を並行移動させ且つ回転させる。
上述の変換は、カメラ2の光学中心CがXYZ座標系の原点となるようにXYZ座標系を並行移動させた後に、Z軸が-W軸に一致するよう回転させ、更に、X軸がU軸に一致するよう回転させることによって実現される。そのため、座標対応付け手段10は、この変換をハミルトンの四元数で記述することにより、それら二回の回転を一回の回転演算に纏めることができる。
ところで、あるベクトルAを別のベクトルBに一致させるための回転は、ベクトルAとベクトルBとが張る面の法線を軸としてベクトルAとベクトルBとが形成する角度だけ回転させる処理に相当する。そして、その角度をθとすると、ベクトルAとベクトルBとの内積から、角度θは、
また、ベクトルAとベクトルBとが張る面の法線の単位ベクトルNは、ベクトルAとベクトルBとの外積から
なお、四元数は、i、j、kをそれぞれ虚数単位とした場合、
四元数Qは、実成分tを0(ゼロ)としながら、純虚成分a、b、cで三次元ベクトル(a,b,c)を表現することができ、また、t、a、b、cの各成分により任意のベクトルを軸とした回転動作を表現することもできる。
更に、四元数Qは、連続する複数回の回転動作を統合して一回の回転動作として表現することができる。具体的には、四元数Qは、例えば、任意の点S(sx,sy,sz)を、任意の単位ベクトルC(l,m,n)を軸としながら角度θだけ回転させたときの点D(ex,ey,ez)を以下のように表現することができる。
また、本実施例において、X軸上にある点X'と原点とを結ぶ線をU軸に一致させる回転を表す四元数をQxとすると、「Z軸を-W軸に一致させ、更に、X軸をU軸に一致させる回転」を表す四元数Rは、
以上により、空間モデル(XYZ座標系)上の任意の座標Pを入力画像平面(UVW座標系)上の座標で表現したときの座標P'は、
空間モデル(XYZ座標系)上の座標を入力画像平面(UVW座標系)上の座標に変換した後、座標対応付け手段10は、線分CP'と、カメラ2の光軸Gとが形成する入射角αを算出する。なお、線分CP'は、カメラ2の光学中心C(UVW座標系上の座標)と空間モデル上の任意の座標PをUVW座標系で表した座標P'とを結ぶ線分である。
また、座標対応付け手段10は、カメラ2の入力画像平面R4(例えば、CCD面)に平行で且つ座標P'を含む平面Hにおける偏角φ、及び線分EP'の長さを算出する。なお、線分EP'は、平面Hと光軸Gとの交点Eと、座標P'とを結ぶ線分であり、偏角φは、平面HにおけるU'軸と線分EP'とが形成する角度である。
カメラの光学系は、通常、像高さhが入射角α及び焦点距離fの関数となっている。そのため、座標対応付け手段10は、通常射影(h=ftanα)、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等の適切な射影方式を選択して像高さhを算出する。
その後、座標対応付け手段10は、算出した像高さhを偏角φによりUV座標系上のU成分及びV成分に分解し、入力画像平面R4の一画素当たりの画素サイズに相当する数値で除算する。これにより、座標対応付け手段10は、空間モデルMD上の座標P(P')と入力画像平面R4上の座標とを対応付けることができる。
なお、入力画像平面R4のU軸方向における一画素当たりの画素サイズをaUとし、入力画像平面R4のV軸方向における一画素当たりの画素サイズをaVとすると、空間モデルMD上の座標P(P')に対応する入力画像平面R4上の座標(u,v)は、
このようにして、座標対応付け手段10は、空間モデルMD上の座標と、カメラ毎に存在する一又は複数の入力画像平面R4上の座標とを対応付け、空間モデルMD上の座標、カメラ識別子、及び入力画像平面R4上の座標を関連付けて入力画像・空間モデル対応マップ40に記憶する。
また、座標対応付け手段10は、四元数を用いて座標の変換を演算するので、オイラー角を用いて座標の変換を演算する場合と異なり、ジンバルロックを発生させることがないという利点を有する。しかしながら、座標対応付け手段10は、四元数を用いて座標の変換を演算するものに限定されることはなく、オイラー角を用いて座標の変換を演算するようにしてもよい。
なお、複数の入力画像平面R4上の座標への対応付けが可能な場合、座標対応付け手段10は、空間モデルMD上の座標P(P')を、その入射角αが最も小さいカメラに関する入力画像平面R4上の座標に対応付けるようにしてもよく、操作者が選択した入力画像平面R4上の座標に対応付けるようにしてもよい。
次に、空間モデルMD上の座標のうち、曲面領域R2上の座標(Z軸方向の成分を持つ座標)を、XY平面上にある処理対象画像平面R3に再投影する処理について説明する。
図6は、座標対応付け手段10による座標間の対応付けを説明するための図である。F6Aは、一例として通常射影(h=ftanα)を採用するカメラ2の入力画像平面R4上の座標と空間モデルMD上の座標との間の対応関係を示す図である。座標対応付け手段10は、カメラ2の入力画像平面R4上の座標とその座標に対応する空間モデルMD上の座標とを結ぶ線分のそれぞれがカメラ2の光学中心Cを通過するようにして、両座標を対応付ける。
F6Aの例では、座標対応付け手段10は、カメラ2の入力画像平面R4上の座標K1を空間モデルMDの平面領域R1上の座標L1に対応付け、カメラ2の入力画像平面R4上の座標K2を空間モデルMDの曲面領域R2上の座標L2に対応付ける。このとき、線分K1-L1及び線分K2-L2は共にカメラ2の光学中心Cを通過する。
なお、カメラ2が通常射影以外の射影方式(例えば、正射影、立体射影、等立体角射影、等距離射影等である。)を採用する場合、座標対応付け手段10は、それぞれの射影方式に応じて、カメラ2の入力画像平面R4上の座標K1、K2を空間モデルMD上の座標L1、L2に対応付ける。
具体的には、座標対応付け手段10は、所定の関数(例えば、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等である。)に基づいて、入力画像平面上の座標と空間モデルMD上の座標とを対応付ける。この場合、線分K1-L1及び線分K2-L2がカメラ2の光学中心Cを通過することはない。
F6Bは、空間モデルMDの曲面領域R2上の座標と処理対象画像平面R3上の座標との間の対応関係を示す図である。座標対応付け手段10は、XZ平面上に位置する平行線群PLであって、処理対象画像平面R3との間で角度βを形成する平行線群PLを導入する。そして、座標対応付け手段10は、空間モデルMDの曲面領域R2上の座標とその座標に対応する処理対象画像平面R3上の座標とが共に平行線群PLのうちの一つに乗るようにして、両座標を対応付ける。
F6Bの例では、座標対応付け手段10は、空間モデルMDの曲面領域R2上の座標L2と処理対象画像平面R3上の座標M2とが共通の平行線に乗るとして、両座標を対応付ける。
なお、座標対応付け手段10は、空間モデルMDの平面領域R1上の座標を曲面領域R2上の座標と同様に平行線群PLを用いて処理対象画像平面R3上の座標に対応付けることも可能である。しかしながら、F6Bの例では、平面領域R1と処理対象画像平面R3とが共通の平面となっている。そのため、空間モデルMDの平面領域R1上の座標L1と処理対象画像平面R3上の座標M1とは同じ座標値を有する。
このようにして、座標対応付け手段10は、空間モデルMD上の座標と、処理対象画像平面R3上の座標とを対応付け、空間モデルMD上の座標及び処理対象画像R3上の座標を関連付けて空間モデル・処理対象画像対応マップ41に記憶する。
F6Cは、処理対象画像平面R3上の座標と、一例として通常射影(h=ftanα)を採用する仮想カメラ2Vの出力画像平面R5上の座標との間の対応関係を示す図である。画像生成手段11は、仮想カメラ2Vの出力画像平面R5上の座標とその座標に対応する処理対象画像平面R3上の座標とを結ぶ線分のそれぞれが仮想カメラ2Vの光学中心CVを通過するようにして、両座標を対応付ける。
F6Cの例では、画像生成手段11は、仮想カメラ2Vの出力画像平面R5上の座標N1を処理対象画像平面R3(空間モデルMDの平面領域R1)上の座標M1に対応付け、仮想カメラ2Vの出力画像平面R5上の座標N2を処理対象画像平面R3上の座標M2に対応付ける。このとき、線分M1-N1及び線分M2-N2は共に仮想カメラ2Vの光学中心CVを通過する。
なお、仮想カメラ2Vが通常射影以外の射影方式(例えば、正射影、立体射影、等立体角射影、等距離射影等である。)を採用する場合、画像生成手段11は、それぞれの射影方式に応じて、仮想カメラ2Vの出力画像平面R5上の座標N1、N2を処理対象画像平面R3上の座標M1、M2に対応付ける。
具体的には、画像生成手段11は、所定の関数(例えば、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等である。)に基づいて、出力画像平面R5上の座標と処理対象画像平面R3上の座標とを対応付ける。この場合、線分M1-N1及び線分M2-N2が仮想カメラ2Vの光学中心CVを通過することはない。
このようにして、画像生成手段11は、出力画像平面R5上の座標と、処理対象画像平面R3上の座標とを対応付け、出力画像平面R5上の座標及び処理対象画像R3上の座標を関連付けて処理対象画像・出力画像対応マップ42に記憶する。そして、画像生成手段11は、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。
なお、F6Dは、F6A~F6Cを組み合わせた図であり、カメラ2、仮想カメラ2V、空間モデルMDの平面領域R1及び曲面領域R2、並びに、処理対象画像平面R3の相互の位置関係を示す。
次に、図7を参照しながら、空間モデルMD上の座標と処理対象画像平面R3上の座標とを対応付けるために座標対応付け手段10が導入する平行線群PLの作用について説明する。
図7左図は、XZ平面上に位置する平行線群PLと処理対象画像平面R3との間で角度βが形成される場合の図である。一方、図7右図は、XZ平面上に位置する平行線群PLと処理対象画像平面R3との間で角度β1(β1>β)が形成される場合の図である。また、図7左図及び図7右図における空間モデルMDの曲面領域R2上の座標La~Ldのそれぞれは、処理対象画像平面R3上の座標Ma~Mdのそれぞれに対応する。また、図7左図における座標La~Ldのそれぞれの間隔は、図7右図における座標La~Ldのそれぞれの間隔と等しい。なお、平行線群PLは、説明目的のためにXZ平面上に存在するものとしているが、実際には、Z軸上の全ての点から処理対象画像平面R3に向かって放射状に延びるように存在する。なお、この場合のZ軸を「再投影軸」と称する。
図7左図及び図7右図で示されるように、処理対象画像平面R3上の座標Ma~Mdのそれぞれの間隔は、平行線群PLと処理対象画像平面R3との間の角度が増大するにつれて線形的に減少する。すなわち、空間モデルMDの曲面領域R2と座標Ma~Mdのそれぞれとの間の距離とは関係なく一様に減少する。一方で、空間モデルMDの平面領域R1上の座標群は、図7の例では、処理対象画像平面R3上の座標群への変換が行われないので、座標群の間隔が変化することはない。
これら座標群の間隔の変化は、出力画像平面R5(図6参照。)上の画像部分のうち、空間モデルMDの曲面領域R2に投影された画像に対応する画像部分のみが線形的に拡大或いは縮小されることを意味する。
次に、図8を参照しながら、空間モデルMD上の座標と処理対象画像平面R3上の座標とを対応付けるために座標対応付け手段10が導入する平行線群PLの代替例について説明する。
図8左図は、XZ平面上に位置する補助線群ALの全てがZ軸上の始点T1から処理対象画像平面R3に向かって延びる場合の図である。一方、図8右図は、補助線群ALの全てがZ軸上の始点T2(T2>T1)から処理対象画像平面R3に向かって延びる場合の図である。また、図8左図及び図8右図における空間モデルMDの曲面領域R2上の座標La~Ldのそれぞれは、処理対象画像平面R3上の座標Ma~Mdのそれぞれに対応する。なお、図8左図の例では、座標Mc、Mdは、処理対象画像平面R3の領域外となるため図示されていない。また、図8左図における座標La~Ldのそれぞれの間隔は、図8右図における座標La~Ldのそれぞれの間隔と等しい。なお、補助線群ALは、説明目的のためにXZ平面上に存在するものとしているが、実際には、Z軸上の任意の一点から処理対象画像平面R3に向かって放射状に延びるように存在する。なお、図7と同様、この場合のZ軸を「再投影軸」と称する。
図8左図及び図8右図で示されるように、処理対象画像平面R3上の座標Ma~Mdのそれぞれの間隔は、補助線群ALの始点と原点Oとの間の距離(高さ)が増大するにつれて非線形的に減少する。すなわち、空間モデルMDの曲面領域R2と座標Ma~Mdのそれぞれとの間の距離が大きいほど、それぞれの間隔の減少幅が大きくなる。一方で、空間モデルMDの平面領域R1上の座標群は、図8の例では、処理対象画像平面R3上の座標群への変換が行われないので、座標群の間隔が変化することはない。
これら座標群の間隔の変化は、平行線群PLのときと同様、出力画像平面R5(図6参照。)上の画像部分のうち、空間モデルMDの曲面領域R2に投影された画像に対応する画像部分のみが非線形的に拡大或いは縮小されることを意味する。
このようにして、画像生成装置100は、空間モデルMDの平面領域R1に投影された画像に対応する出力画像の画像部分(例えば、路面画像である。)に影響を与えることなく、空間モデルMDの曲面領域R2に投影された画像に対応する出力画像の画像部分(例えば、水平画像である。)を線形的に或いは非線形的に拡大或いは縮小させることができる。そのため、画像生成装置100は、ショベル60の近傍の路面画像(ショベル60を真上から見たときの仮想画像)に影響を与えることなく、ショベル60の周囲に位置する物体(ショベル60から水平方向に周囲を見たときの画像における物体)を迅速且つ柔軟に拡大或いは縮小させることができ、ショベル60の死角領域の視認性を向上させることができる。
次に、図9を参照しながら、画像生成装置100が処理対象画像を生成する処理(以下、「処理対象画像生成処理」とする。)、及び、生成した処理対象画像を用いて出力画像を生成する処理(以下、「出力画像生成処理」とする。)について説明する。なお、図9は、処理対象画像生成処理(ステップS1~ステップS3)及び出力画像生成処理(ステップS4~ステップS6)の流れを示すフローチャートである。また、カメラ2(入力画像平面R4)、空間モデル(平面領域R1及び曲面領域R2)、並びに、処理対象画像平面R3の配置は予め決定されている。
最初に、制御部1は、座標対応付け手段10により、処理対象画像平面R3上の座標と空間モデルMD上の座標とを対応付ける(ステップS1)。
具体的には、座標対応付け手段10は、平行線群PLと処理対象画像平面R3との間に形成される角度を取得する。そして、座標対応付け手段10は、処理対象画像平面R3上の一座標から延びる平行線群PLの一つが空間モデルMDの曲面領域R2と交差する点を算出する。そして、座標対応付け手段10は、算出した点に対応する曲面領域R2上の座標を、処理対象画像平面R3上のその一座標に対応する曲面領域R2上の一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ41に記憶する。なお、平行線群PLと処理対象画像平面R3との間に形成される角度は、記憶部4等に予め記憶された値であってもよく、入力部3を介して操作者が動的に入力する値であってもよい。
また、座標対応付け手段10は、処理対象画像平面R3上の一座標が空間モデルMDの平面領域R1上の一座標と一致する場合には、平面領域R1上のその一座標を、処理対象画像平面R3上のその一座標に対応する一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ41に記憶する。
その後、制御部1は、座標対応付け手段10により、上述の処理によって導き出された空間モデルMD上の一座標と入力画像平面R4上の座標とを対応付ける(ステップS2)。
具体的には、座標対応付け手段10は、通常射影(h=ftanα)を採用するカメラ2の光学中心Cの座標を取得する。そして、座標対応付け手段10は、空間モデルMD上の一座標から延びる線分であり、光学中心Cを通過する線分が入力画像平面R4と交差する点を算出する。そして、座標対応付け手段10は、算出した点に対応する入力画像平面R4上の座標を、空間モデルMD上のその一座標に対応する入力画像平面R4上の一座標として導き出し、その対応関係を入力画像・空間モデル対応マップ40に記憶する。
その後、制御部1は、処理対象画像平面R3上の全ての座標を空間モデルMD上の座標及び入力画像平面R4上の座標に対応付けたか否かを判定する(ステップS3)。そして、制御部1は、未だ全ての座標を対応付けていないと判定した場合には(ステップS3のNO)、ステップS1及びステップS2の処理を繰り返す。
一方、制御部1は、全ての座標を対応付けたと判定した場合には(ステップS3のYES)、処理対象画像生成処理を終了させた上で出力画像生成処理を開始させる。そして、制御部1は、画像生成手段11により、処理対象画像平面R3上の座標と出力画像平面R5上の座標とを対応付ける(ステップS4)。
具体的には、画像生成手段11は、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって出力画像を生成する。そして、画像生成手段11は、施したスケール変換、アフィン変換、又は歪曲変換の内容によって定まる、処理対象画像平面R3上の座標と出力画像平面R5上の座標との間の対応関係を処理対象画像・出力画像対応マップ42に記憶する。
或いは、画像生成手段11は、仮想カメラ2Vを用いて出力画像を生成する場合には、採用した射影方式に応じて処理対象画像平面R3上の座標から出力画像平面R5上の座標を算出し、その対応関係を処理対象画像・出力画像対応マップ42に記憶するようにしてもよい。
或いは、画像生成手段11は、通常射影(h=ftanα)を採用する仮想カメラ2Vを用いて出力画像を生成する場合には、その仮想カメラ2Vの光学中心CVの座標を取得する。そして、画像生成手段11は、出力画像平面R5上の一座標から延びる線分であり、光学中心CVを通過する線分が処理対象画像平面R3と交差する点を算出する。そして、画像生成手段11は、算出した点に対応する処理対象画像平面R3上の座標を、出力画像平面R5上のその一座標に対応する処理対象画像平面R3上の一座標として導き出す。このようにして、画像生成手段11は、その対応関係を処理対象画像・出力画像対応マップ42に記憶するようにしてもよい。
その後、制御部1の画像生成手段11は、入力画像・空間モデル対応マップ40、空間モデル・処理対象画像対応マップ41、及び処理対象画像・出力画像対応マップ42を参照する。そして、画像生成手段11は、入力画像平面R4上の座標と空間モデルMD上の座標との対応関係、空間モデルMD上の座標と処理対象画像平面R3上の座標との対応関係、及び処理対象画像平面R3上の座標と出力画像平面R5上の座標との対応関係を辿る。そして、画像生成手段11は、出力画像平面R5上の各座標に対応する入力画像平面R4上の座標が有する値(例えば、輝度値、色相値、彩度値等である。)を取得し、その取得した値を、対応する出力画像平面R5上の各座標の値として採用する(ステップS5)。なお、出力画像平面R5上の一座標に対して複数の入力画像平面R4上の複数の座標が対応する場合、画像生成手段11は、それら複数の入力画像平面R4上の複数の座標のそれぞれの値に基づく統計値を導き出し、出力画像平面R5上のその一座標の値としてその統計値を採用してもよい。統計値は、例えば、平均値、最大値、最小値、中間値等である。
その後、制御部1は、出力画像平面R5上の全ての座標の値を入力画像平面R4上の座標の値に対応付けたか否かを判定する(ステップS6)。そして、制御部1は、未だ全ての座標の値を対応付けていないと判定した場合には(ステップS6のNO)、ステップS4及びステップS5の処理を繰り返す。
一方、制御部1は、全ての座標の値を対応付けたと判定した場合には(ステップS6のYES)、出力画像を生成して、この一連の処理を終了させる。
なお、画像生成装置100は、処理対象画像を生成しない場合には、処理対象画像生成処理を省略する。この場合、出力画像生成処理におけるステップS4の"処理対象画像平面上の座標"は、"空間モデル上の座標"で読み替えられる。
以上の構成により、画像生成装置100は、ショベル60の周囲の物体とショベル60との位置関係を操作者に直感的に把握させることが可能な処理対象画像及び出力画像を生成することができる。
また、画像生成装置100は、処理対象画像平面R3から空間モデルMDを経て入力画像平面R4に遡るように座標の対応付けを実行する。これにより、画像生成装置100は、処理対象画像平面R3上の各座標を入力画像平面R4上の一又は複数の座標に確実に対応させることができる。そのため、画像生成装置100は、入力画像平面R4から空間モデルMDを経て処理対象画像平面R3に至る順番で座標の対応付けを実行する場合と比べ、より良質な処理対象画像を迅速に生成することができる。入力画像平面R4から空間モデルMDを経て処理対象画像平面R3に至る順番で座標の対応付けを実行する場合には、入力画像平面R4上の各座標を処理対象画像平面R3上の一又は複数の座標に確実に対応させることができる。しなしながら、処理対象画像平面R3上の座標の一部が、入力画像平面R4上の何れの座標にも対応付けられない場合があり、その場合にはそれら処理対象画像平面R3上の座標の一部に補間処理等を施す必要がある。
また、画像生成装置100は、空間モデルMDの曲面領域R2に対応する画像のみを拡大或いは縮小する場合には、平行線群PLと処理対象画像平面R3との間に形成される角度を変更して空間モデル・処理対象画像対応マップ41における曲面領域R2に関連する部分のみを書き換えるだけで、入力画像・空間モデル対応マップ40の内容を書き換えることなく、所望の拡大或いは縮小を実現させることができる。
また、画像生成装置100は、出力画像の見え方を変更する場合には、スケール変換、アフィン変換又は歪曲変換に関する各種パラメータの値を変更して処理対象画像・出力画像対応マップ42を書き換えるだけで、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41の内容を書き換えることなく、所望の出力画像(スケール変換画像、アフィン変換画像又は歪曲変換画像)を生成することができる。
同様に、画像生成装置100は、出力画像の視点を変更する場合には、仮想カメラ2Vの各種パラメータの値を変更して処理対象画像・出力画像対応マップ42を書き換えるだけで、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41の内容を書き換えることなく、所望の視点から見た出力画像(視点変換画像)を生成することができる。
図10は、ショベル60に搭載された二台のカメラ2(右側方カメラ2R及び後方カメラ2B)の入力画像を用いて生成される出力画像を表示部5に表示させたときの表示例である。
画像生成装置100は、それら二台のカメラ2のそれぞれの入力画像を空間モデルMDの平面領域R1及び曲面領域R2上に投影した上で処理対象画像平面R3に再投影して処理対象画像を生成する。そして、画像生成装置100は、その生成した処理対象画像に画像変換処理(例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。)を施すことによって出力画像を生成する。このようにして、画像生成装置100は、ショベル60の近傍を上空から見下ろした画像(平面領域R1における画像)と、ショベル60から水平方向に周囲を見た画像(処理対象画像平面R3における画像)とを同時に表示する。
なお、出力画像は、画像生成装置100が処理対象画像を生成しない場合には、空間モデルMDに投影された画像に画像変換処理(例えば、視点変換処理である。)を施すことによって生成される。
また、出力画像は、ショベル60が旋回動作を行う際の画像を違和感なく表示できるよう、円形にトリミングされ、その円の中心CTRが空間モデルMDの円筒中心軸上で、且つ、ショベル60の旋回軸PV上となるように生成される。そのため、出力画像は、ショベル60の旋回動作に応じてその中心CTRを軸に回転するように表示される。この場合、空間モデルMDの円筒中心軸は、再投影軸と一致するものであってもよく、一致しないものであってもよい。
なお、空間モデルMDの半径は、例えば、5メートルである。また、平行線群PLが処理対象画像平面R3との間で形成する角度、又は、補助線群ALの始点高さは、ショベル60の旋回中心から掘削アタッチメントEの最大到達距離(例えば12メートルである。)だけ離れた位置に物体(例えば、作業員である。)が存在する場合にその物体が表示部5で十分大きく(例えば、7ミリメートル以上である。)表示されるように、設定され得る。
更に、出力画像は、ショベル60のCG画像を、ショベル60の前方が表示部5の画面上方と一致し、且つ、その旋回中心が中心CTRと一致するように配置してもよい。ショベル60と出力画像に現れる物体との間の位置関係をより分かり易くするためである。なお、出力画像は、方位等の各種情報を含む額縁画像をその周囲に配置してもよい。
次に、図11~図18を参照しながら、画像生成装置100が生成する出力画像の詳細について説明する。
図11は、画像生成装置100を搭載するショベル60の上面図である。図11に示す実施例では、ショベル60は、3台のカメラ2(左側方カメラ2L、右側方カメラ2R、及び後方カメラ2B)と3台の距離画像センサ6(左側方距離画像センサ6L、右側方距離画像センサ6R、及び後方距離画像センサ6B)とを備える。なお、図11の一点鎖線で示す領域CL、CR、CBは、それぞれ、左側方カメラ2L、右側方カメラ2R、後方カメラ2Bの撮像範囲を示す。また、図11の点線で示す領域ZL、ZR、ZBは、それぞれ、左側方距離画像センサ6L、右側方距離画像センサ6R、後方距離画像センサ6Bの撮像範囲を示す。
なお、本実施例では、距離画像センサ6の撮像範囲がカメラ2の撮像範囲よりも狭いが、距離画像センサ6の撮像範囲は、カメラ2の撮像範囲と同じでもよく、カメラ2の撮像範囲より広くてもよい。また、距離画像センサ6の撮像範囲は、カメラ2の撮像範囲内において、ショベル60の近傍に位置するが、ショベル60からより遠い領域にあってもよい。
図12は、ショベル60に搭載された3台のカメラ2のそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図である。
画像生成装置100は、3台のカメラ2のそれぞれの入力画像を空間モデルMDの平面領域R1及び曲面領域R2上に投影した上で処理対象画像平面R3に再投影して処理対象画像を生成する。また、画像生成装置100は、生成した処理対象画像に画像変換処理(例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。)を施すことによって出力画像を生成する。その結果、画像生成装置100は、ショベル60の近傍を上空から見下ろした画像(平面領域R1における画像)と、ショベル60から水平方向に周囲を見た画像(処理対象画像平面R3における画像)とを同時に表示する。なお、出力画像の中央に表示される画像は、ショベル60のCG画像60CGである。
図12において、右側方カメラ2Rの入力画像、及び、後方カメラ2Bの入力画像はそれぞれ、右側方カメラ2Rの撮像範囲と後方カメラ2Bの撮像範囲との重複領域内に人物を捉えている(右側方カメラ2Rの入力画像における二点鎖線で囲まれる領域R10、及び、後方カメラ2Bの入力画像における二点鎖線で囲まれる領域R11参照。)。
しかしながら、出力画像平面上の座標が入射角の最も小さいカメラに関する入力画像平面上の座標に対応付けられるものとすると、出力画像は、重複領域内の人物を消失させてしまう(出力画像内の一点鎖線で囲まれる領域R12参照。)。
そこで、画像生成装置100は、重複領域に対応する出力画像部分において、後方カメラ2Bの入力画像平面上の座標が対応付けられる領域と、右側方カメラ2Rの入力画像平面上の座標が対応付けられる領域とを混在させ、重複領域内の物体が消失するのを防止する。
図13は、2つのカメラのそれぞれの撮像範囲の重複領域における物体の消失を防止する画像消失防止処理を説明するための図である。
F13Aは、右側方カメラ2Rの撮像範囲と後方カメラ2Bの撮像範囲との重複領域に対応する出力画像部分を示す図であり、図12の点線で示す矩形領域R13に対応する。
また、F13Aにおいて、灰色で塗り潰された領域PR1は、後方カメラ2Bの入力画像部分が配置される画像領域であり、領域PR1に対応する出力画像平面上の各座標には後方カメラ2Bの入力画像平面上の座標が対応付けられる。
一方、白色で塗り潰された領域PR2は、右側方カメラ2Rの入力画像部分が配置される画像領域であり、部分PR2に対応する出力画像平面上の各座標には右側方カメラ2Rの入力画像平面上の座標が対応付けられる。
本実施例では、領域PR1と領域PR2とが縞模様を形成するように配置され、領域PR1と領域PR2とが縞状に交互に並ぶ部分の境界線は、ショベル60の旋回中心を中心とする水平面上の同心円によって定められる。
F13Bは、ショベル60の右斜め後方の空間領域の状況を示す上面図であり、後方カメラ2B及び右側方カメラ2Rの双方によって撮像される空間領域の現在の状況を示す。また、F13Bは、ショベル60の右斜め後方に棒状の立体物OBが存在することを示す。
F13Cは、F13Bが示す空間領域を後方カメラ2B及び右側方カメラ2Rで実際に撮像して得られた入力画像に基づいて生成される出力画像の一部を示す。
具体的には、画像OB1は、後方カメラ2Bの入力画像における立体物OBの画像が、路面画像を生成するための視点変換によって、後方カメラ2Bと立体物OBとを結ぶ線の延長方向に伸長されたものを表す。すなわち、画像OB1は、後方カメラ2Bの入力画像を用いて出力画像部分における路面画像を生成した場合に表示される立体物OBの画像の一部である。
また、画像OB2は、右側方カメラ2Rの入力画像における立体物OBの画像が、路面画像を生成するための視点変換によって、右側方カメラ2Rと立体物OBとを結ぶ線の延長方向に伸長されたものを表す。すなわち、画像OB2は、右側方カメラ2Rの入力画像を用いて出力画像部分における路面画像を生成した場合に表示される立体物OBの画像の一部である。
このように、画像生成装置100は、重複領域において、後方カメラ2Bの入力画像平面上の座標が対応付けられる領域PR1と、右側方カメラ2Rの入力画像平面上の座標が対応付けられる領域PR2とを混在させる。その結果、画像生成装置100は、1つの立体物OBに関する2つの画像OB1及び画像OB2の双方を出力画像上に表示させ、立体物OBが出力画像から消失するのを防止する。
図14は、図12の出力画像と、図12の出力画像に画像消失防止処理を適用することで得られる出力画像との違いを表す対比図であり、図14上図が図12の出力画像を示し、図14下図が画像消失防止処理を適用した後の出力画像を示す。図14上図における一点鎖線で囲まれる領域R12では人物が消失しているのに対し、図14下図における一点鎖線で囲まれる領域R14では人物が消失せずに表示されている。
次に、図15を参照しながら、画像生成装置100が生成する出力距離画像について説明する。なお、図15は、ショベル60に搭載された3台の距離画像センサ6のそれぞれの入力距離画像と、それら入力距離画像を用いて生成される出力距離画像とを示す図である。
画像生成装置100は、それら3台の距離画像センサ6のそれぞれの入力距離画像を空間モデルMDの平面領域R1及び曲面領域R2上に投影した上で処理対象距離画像平面R3に再投影して処理対象距離画像を生成する。また、画像生成装置100は、生成した処理対象距離画像に画像変換処理(例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。)を施すことによって出力距離画像を生成する。そして、画像生成装置100は、ショベル60の近傍を上空から見下ろした距離画像(平面領域R1における距離画像)と、ショベル60から水平方向に周囲を見た距離画像(処理対象距離画像平面R3における距離画像)とを同時に表示する。なお、出力距離画像の中央に表示される画像は、ショベル60のCG画像60CGである。
なお、図15の入力距離画像及び出力距離画像は、画素値(距離画像センサ6からの距離)が小さいほど白く(薄く)、画素値が大きいほど黒く(濃く)なるように表示される。なお、路面及び上部旋回体63のそれぞれに相当する部分の画素値(距離)は、ショベル60の周囲に存在する物体の出力距離画像における視認性を高めるため、最大値(無限遠)に設定される。すなわち、路面及び上部旋回体63のそれぞれに相当する部分は黒色で表される。
図15において、右側方距離画像センサ6Rの入力距離画像、及び、後方距離画像センサ6Bの入力距離画像はそれぞれ、右側方距離画像センサ6Rの撮像範囲と後方距離画像センサ6Bの撮像範囲との重複領域内に人物を捉えている(右側方距離画像センサ6Rの入力距離画像における二点鎖線で囲まれる領域R15、及び、後方距離画像センサ6Bの入力距離画像における二点鎖線で囲まれる領域R16参照。)。
しかしながら、出力距離画像平面上の座標が、最も近い位置にある距離画像センサに関する入力距離画像平面上の座標に対応付けられるものとすると、出力距離画像は、重複領域内の人物を消失させてしまう(出力距離画像内の一点鎖線で囲まれる領域R17参照。)。
そこで、画像生成装置100は、重複領域に対応する出力距離画像部分では、後方距離画像センサ6Bの入力距離画像平面上の座標、及び、右側方距離画像センサ6Rの入力距離画像平面上の座標のうち、画素値(距離)が小さい方の座標を、出力距離画像平面上の座標に対応付ける。その結果、画像生成装置100は、1つの立体物に関する2つの距離画像を出力距離画像上に表示させ、立体物が出力距離画像から消失するのを防止する。なお、以下では、2つの距離画像センサのそれぞれの撮像範囲の重複領域における物体の消失を防止するこの処理を距離画像消失防止処理と称する。
図16は、図15の出力距離画像と、図15の出力距離画像に距離画像消失防止処理を適用することで得られる出力距離画像との違いを表す対比図であり、図16上図が図15の出力画像を示し、図16下図が距離画像消失防止処理を適用した後の出力距離画像を示す。図16上図における一点鎖線で囲まれる領域R17では人物が消失しているのに対し、図16下図における一点鎖線で囲まれる領域R17では人物が消失せずに表示されている。
次に、図17及び図18を参照しながら、画像生成装置100が出力画像に出力距離画像を合成する処理(以下、「距離画像合成処理」とする。)について説明する。
図17は、出力画像に出力距離画像を合成して得られる合成後出力画像の一例を示す図である。
画像生成装置100の距離画像合成手段12は、例えば、図16下図に示す出力距離画像のうち所定値以下の画素値(距離)を有する画素を抽出する。そして、距離画像合成手段12は、その抽出画素の画素値(距離情報)を輝度値、色相値、彩度値等に変換した上で、図14下図に示す出力画像にその抽出画素を重畳表示させる。重畳表示される抽出画素は、例えば、距離画像センサ6からの距離に応じた色を有し、その距離が大きくなるにつれて、赤色、黄色、緑色、青色というように段階的に或いは無段階にその色を変化させる。なお、重畳表示される抽出画素は、距離画像センサ6からの距離に応じた輝度を有し、距離が大きくなるにつれて、その輝度を段階的に或いは無段階に減少させてもよい。図17の領域EX1~EX5は、それら抽出画素によって形成される領域であり、以下では、物体領域と称する。
また、距離画像合成手段12は、所定数以上の隣接する抽出画素によって形成される物体領域EX1~EX5の距離情報を出力画像上に重畳表示させてもよい。具体的には、距離画像合成手段12は、例えば、物体領域EX1を構成する画素の画素値(距離)の最小値、最大値、平均値、中間値等を、物体領域EX1までの距離を表す代表値として出力画像上に重畳表示させる。なお、距離画像合成手段12は、その代表値が所定値未満の場合に限りその代表値を出力画像上に重畳表示してもよい。ショベル60に比較的近い物体、すなわち接触の可能性が比較的高い物体をより認識し易くするためである。
図18は、出力画像に出力距離画像を合成して得られる合成後出力画像の別の一例を示す図である。
図18では、距離画像合成手段12は、抽出画素の色や輝度を変更して重畳表示する代わりに、図17の物体領域EX1~EX5のそれぞれに対応する枠RF1~RF5を重畳表示する。なお、枠の線種は、点線、実線、破線、一点鎖線等を含め任意であり、枠の形状も、矩形、円形、楕円形、多角形を含め任意である。
また、距離画像合成手段12は、枠RF1~RF5のそれぞれに対応する距離情報を出力画像上に重畳表示させてもよい。具体的には、距離画像合成手段12は、例えば、枠RF1に対応する物体領域EX1を構成する画素の画素値(距離)の最小値、最大値、平均値、中間値等を、枠RF1に対応する距離の代表値として出力画像上に重畳表示させる。なお、距離画像合成手段12は、その代表値が所定値未満の場合に限りその代表値を出力画像上に重畳表示してもよい。ショベル60に比較的近い物体、すなわち接触の可能性が比較的高い物体をより認識し易くするためである。
また、距離画像合成手段12は、対応する距離情報に応じて枠の色を変化させてもよい。具体的には、距離画像合成手段12は、その距離が大きくなるにつれて、赤色、黄色、緑色、青色というように段階的に或いは無段階に枠の色を変化させる。なお、距離画像合成手段12は、距離が大きくなるにつれて、枠の輝度を段階的に或いは無段階に減少させてもよい。
上述のような合成後出力画像を見ることによって、ショベル60の操作者は、ショベル60の周囲に存在する物体の位置、及びその物体までの距離をより容易に認識することができる。また、ショベル60の操作者は、操作者から見て死角となる領域に存在する物体の位置、及びその物体までの距離をより容易に認識することができる。
以上の構成により、画像生成装置100は、距離画像センサ6が撮像する入力距離画像に基づいて生成される出力距離画像を、カメラ2が撮像する入力画像に基づいて生成される出力画像上に合成する。そのため、画像生成装置100は、ショベル60の周囲の比較的広い範囲に存在する各物体までの距離を比較的高い分解能で測定することができる。その結果、画像生成装置100は、信頼性の高い合成後出力画像を生成することができる。
また、カメラ2及び距離画像センサ6は、それぞれの撮像範囲がショベル60の周囲を取り囲むように配置される。そのため、画像生成装置100は、ショベル60の周囲を上空から見たときの様子を表す合成後出力画像を生成することができる。その結果、ショベル60の操作者は、ショベル60の周囲に存在する物体の位置、及びその物体までの距離をより容易に認識することができる。
また、画像生成装置100は、処理対象画像に対して施される画像変換処理と同じ画像変換処理を処理対象距離画像に対して施すようにする。そのため、画像生成装置100は、出力画像平面における座標と出力距離画像平面における座標を容易に対応付けることができる。
また、画像生成装置100は、距離画像センサ6からの距離に応じて、すなわち、ショベル60からの距離に応じて、抽出画素又は枠の色を段階的に或いは無段階に変化させる。そのため、ショベル60の操作者は、感覚的に接触の危険の有無を判断することができる。
次に、図19を参照しながら、距離画像センサ6の別の配置例について説明する。なお、図19は、ショベル60の上面図であり、図11に対応する。
図19に示す実施例では、ショベル60は、3台のカメラ2(左側方カメラ2L、右側方カメラ2R、及び後方カメラ2B)と6台の距離画像センサ6(第1左側方距離画像センサ6L1、第2左側方距離画像センサ6L2、第1右側方距離画像センサ6R1、第2右側方距離画像センサ6R2、第1後方距離画像センサ6B1、及び第2後方距離画像センサ6B2)とを備える。なお、図19の一点鎖線で示す領域CL、CR、CBは、それぞれ、左側方カメラ2L、右側方カメラ2R、後方カメラ2Bの撮像範囲を示す。また、図19の点線で示す領域ZL1、ZL2、ZR1、ZR2、ZB1、ZB2は、それぞれ、第1左側方距離画像センサ6L1、第2左側方距離画像センサ6L2、第1右側方距離画像センサ6R1、第2右側方距離画像センサ6R2、第1後方距離画像センサ6B1、第2後方距離画像センサ6B2の撮像範囲を示す。
図19に示すように、距離画像センサ6L1、6L2、6R1、6R2、6B1、6B2の画角は、図11の距離画像センサよりも狭い。そのため、1台の距離画像センサの撮像範囲によっては、対応するカメラの撮像範囲を有効にカバーすることができない。
そこで、図19の構成は、カメラの両側に1つずつ距離画像センサを取り付けることによって、2つの距離画像センサの撮像範囲によって、対応する1つのカメラの撮像範囲を有効にカバーできるようにする。なお、距離画像センサは、対応する1つのカメラの周囲に3つ以上取り付けられていてもよい。
距離画像センサ6のこの配置により、画像生成装置100は、距離画像センサ6の画角がカメラ2の画角より狭い場合であっても、図11に示す構成を用いた場合、すなわち距離画像センサの画角がカメラの画角とほぼ等しい場合と同様の合成後出力画像を生成することができる。なお、距離画像センサ6のこの配置が、搭載性や見映えに悪影響を与えることもない。
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
例えば、上述の実施例において、画像生成装置100は、空間モデルとして円筒状の空間モデルMDを採用するが、多角柱等の他の柱状の形状を有する空間モデルを採用してもよく、底面及び側面の二面から構成される空間モデルを採用してもよく、或いは、側面のみを有する空間モデルを採用してもよい。
また、画像生成装置100は、バケット、アーム、ブーム、旋回機構等の可動部材を備えながら自走するショベルに、カメラ及び距離画像センサと共に搭載される。そして、画像生成装置100は、周囲画像をその操作者に提示しながらそのショベルの移動及びそれら可動部材の操作を支援する操作支援システムを構成する。しかしながら、画像生成装置100は、フォークリフト、アスファルトフィニッシャ等のように旋回機構を有しない作業機械に、カメラ及び距離画像センサと共に搭載されてもよい。或いは、画像生成装置100は、産業用機械若しくは固定式クレーン等のように可動部材を有するが自走はしない作業機械に、カメラ及び距離画像センサと共に搭載されてもよい。そして、画像生成装置100は、それら作業機械の操作を支援する操作支援システムを構成してもよい。
また、上述の実施例において、距離画像合成手段12は、出力距離画像を生成した上で、生成した出力距離画像を出力画像に合成する。しかしながら、本発明はこれに限定されるものではない。距離画像合成手段12は、例えば、入力画像と入力距離画像とを合成して合成後入力画像を生成し、距離画像に関する情報が重畳表示された合成後処理対象画像を生成した上で、合成後出力画像を生成してもよい。また、距離画像合成手段12は、例えば、処理対象画像と処理対象距離画像とを合成して合成後処理対象画像を生成した上で、合成後出力画像を生成してもよい。
また、本願は、2012年3月29日に出願した日本国特許出願2012-078340号に基づく優先権を主張するものでありそれらの日本国特許出願の全内容を本願に参照により援用する。
1・・・制御部 2・・・カメラ 2L・・・左側方カメラ 2R・・右側方カメラ 2B・・後方カメラ 3・・・入力部 4・・・記憶部 5・・・表示部 6・・・距離画像センサ 6L・・・左側方距離画像センサ 6R・・・右側方距離画像センサ 6B・・・後方距離画像センサ 10・・・座標対応付け手段 11・・・画像生成手段 12・・・距離画像合成手段 40・・・入力画像・空間モデル対応マップ 41・・・空間モデル・処理対象画像対応マップ 42・・・処理対象画像・出力画像対応マップ 60・・・ショベル 61・・・下部走行体 62・・・旋回機構 63・・・上部旋回体 64・・・キャブ 100・・・画像生成装置
Claims (5)
- 作業機械に取り付けられる距離画像センサが撮像した入力距離画像に基づいて出力距離画像を生成する作業機械用周辺監視装置であって、
前記入力距離画像が位置する入力距離画像平面における座標と、前記出力距離画像が位置する出力距離画像平面における座標とを対応付ける、
作業機械用周辺監視装置。 - 前記距離画像センサは、前記作業機械に複数取り付けられ、
前記作業機械用周辺監視装置は、複数の入力距離画像に基づいて1つの出力距離画像を生成する、
請求項1に記載の作業機械用周辺監視装置。 - 複数の距離画像センサのうちの2つの距離画像センサのそれぞれの撮像範囲が重複する領域に対応する前記2つの距離画像センサのそれぞれの入力距離画像の領域における互いに対応する画素の、距離を表す画素の値のうちの小さい方の値を、前記出力距離画像における対応する画素に関連付ける、
請求項1に記載の作業機械用周辺監視装置。 - 前記出力距離画像は、視点変換処理が施された距離画像である、
請求項1に記載の作業機械用周辺監視装置。 - 前記作業機械にはカメラが取り付けられ、
前記作業機械用周辺監視装置は、前記カメラが撮像した入力画像が位置する入力画像平面における座標と、前記カメラの出力画像が位置する出力画像平面における座標とを対応付け、前記出力距離画像と前記出力画像とを合成する、
請求項1に記載の作業機械用周辺監視装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP13769103.6A EP2833162B1 (en) | 2012-03-29 | 2013-02-07 | Perimeter-monitoring device for operating machine |
CN201380006337.7A CN104067144B (zh) | 2012-03-29 | 2013-02-07 | 施工机械用周边监控装置 |
KR1020147020538A KR101625997B1 (ko) | 2012-03-29 | 2013-02-07 | 작업기계용 주변감시장치 |
US14/465,950 US9715015B2 (en) | 2012-03-29 | 2014-08-22 | Periphery-monitoring device for working machines |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012078340A JP6029306B2 (ja) | 2012-03-29 | 2012-03-29 | 作業機械用周辺監視装置 |
JP2012-078340 | 2012-03-29 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US14/465,950 Continuation US9715015B2 (en) | 2012-03-29 | 2014-08-22 | Periphery-monitoring device for working machines |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2013145878A1 true WO2013145878A1 (ja) | 2013-10-03 |
Family
ID=49259163
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2013/052937 WO2013145878A1 (ja) | 2012-03-29 | 2013-02-07 | 作業機械用周辺監視装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9715015B2 (ja) |
EP (1) | EP2833162B1 (ja) |
JP (1) | JP6029306B2 (ja) |
KR (1) | KR101625997B1 (ja) |
CN (1) | CN104067144B (ja) |
WO (1) | WO2013145878A1 (ja) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6106754B2 (ja) * | 2013-08-26 | 2017-04-05 | 日立建機株式会社 | 作業機械の周囲監視装置 |
CN106462962B (zh) * | 2014-06-03 | 2020-08-04 | 住友重机械工业株式会社 | 施工机械用人检测系统以及挖土机 |
EP3021178B1 (en) * | 2014-11-14 | 2020-02-19 | Caterpillar Inc. | System using radar apparatus for assisting a user of a machine of a kind comprising a body and an implement |
JP6545498B2 (ja) * | 2015-03-26 | 2019-07-17 | 住友建機株式会社 | ショベル |
CN104846865A (zh) * | 2015-03-27 | 2015-08-19 | 柳州柳工挖掘机有限公司 | 带监控装置的挖掘机 |
EP3343171B1 (en) * | 2015-08-26 | 2024-01-17 | Sumitomo (S.H.I.) Construction Machinery Co., Ltd. | Measurement device for a shovel |
EP3351692A4 (en) | 2015-09-15 | 2018-09-05 | Sumitomo (S.H.I.) Construction Machinery Co., Ltd. | Shovel |
CN105182979B (zh) * | 2015-09-23 | 2018-02-23 | 上海物景智能科技有限公司 | 一种移动机器人障碍物检测及避让方法和系统 |
WO2016013691A1 (ja) * | 2015-10-15 | 2016-01-28 | 株式会社小松製作所 | 位置計測システム及び位置計測方法 |
JP6662604B2 (ja) * | 2015-10-28 | 2020-03-11 | 住友建機株式会社 | ショベル |
CN107925745B (zh) * | 2015-11-30 | 2020-09-08 | 住友重机械工业株式会社 | 施工机械用周边监视系统 |
JP6932647B2 (ja) * | 2015-12-28 | 2021-09-08 | 住友建機株式会社 | ショベル、及びショベルの制御装置 |
JP6938389B2 (ja) | 2016-01-29 | 2021-09-22 | 住友建機株式会社 | ショベル及びショベルの周囲を飛行する自律式飛行体 |
JP6468444B2 (ja) * | 2016-04-28 | 2019-02-13 | コベルコ建機株式会社 | 建設機械 |
WO2017192144A1 (en) * | 2016-05-05 | 2017-11-09 | Harman International Industries, Incorporated | Systems and methods for driver assistance |
JP2018017617A (ja) | 2016-07-28 | 2018-02-01 | 株式会社神戸製鋼所 | 建設機械 |
JP6887229B2 (ja) * | 2016-08-05 | 2021-06-16 | 株式会社小松製作所 | 施工管理システム |
JP2018036937A (ja) * | 2016-09-01 | 2018-03-08 | 住友電気工業株式会社 | 画像処理装置、画像処理システム、画像処理プログラムおよびラベル |
JP6819161B2 (ja) * | 2016-09-09 | 2021-01-27 | 日産自動車株式会社 | 座標計算方法及び座標計算装置 |
JP7171436B2 (ja) * | 2016-11-01 | 2022-11-15 | 住友建機株式会社 | 作業機械用周辺監視システム、表示装置 |
JP6789767B2 (ja) * | 2016-11-11 | 2020-11-25 | スタンレー電気株式会社 | 監視システム |
CN108171116B (zh) * | 2017-12-01 | 2021-03-26 | 北京臻迪科技股份有限公司 | 飞行器辅助避障方法、装置和辅助避障系统 |
JP7252137B2 (ja) * | 2017-12-04 | 2023-04-04 | 住友重機械工業株式会社 | 周辺監視装置 |
JP7147248B2 (ja) * | 2018-04-27 | 2022-10-05 | 株式会社タダノ | クレーン車 |
CN112218988B (zh) * | 2018-07-31 | 2023-06-09 | 住友建机株式会社 | 挖土机 |
JP7208356B2 (ja) * | 2018-09-26 | 2023-01-18 | コーヒレント・ロジックス・インコーポレーテッド | 任意の世界ビューの生成 |
JP7059956B2 (ja) * | 2019-02-08 | 2022-04-26 | コベルコ建機株式会社 | 建設機械の障害物検出装置 |
JP2020197044A (ja) * | 2019-05-31 | 2020-12-10 | 株式会社小松製作所 | マップ生成システム及びマップ生成方法 |
US11320830B2 (en) | 2019-10-28 | 2022-05-03 | Deere & Company | Probabilistic decision support for obstacle detection and classification in a working area |
US11661722B2 (en) * | 2020-11-19 | 2023-05-30 | Deere & Company | System and method for customized visualization of the surroundings of self-propelled work vehicles |
US20230237806A1 (en) * | 2022-01-24 | 2023-07-27 | Caterpillar Inc. | Object detection vision system |
JP2024055416A (ja) * | 2022-10-07 | 2024-04-18 | 兵庫県公立大学法人 | 作業機械、および位置検出装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005107261A1 (ja) * | 2004-04-27 | 2005-11-10 | Matsushita Electric Industrial Co., Ltd. | 車両周囲表示装置 |
JP2008163719A (ja) | 2007-01-05 | 2008-07-17 | Hitachi Constr Mach Co Ltd | 作業機械の周囲監視装置 |
JP2011221865A (ja) * | 2010-04-12 | 2011-11-04 | Sumitomo Heavy Ind Ltd | 画像生成装置及び操作支援システム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0528243A (ja) * | 1991-07-24 | 1993-02-05 | Toshiba Corp | 画像作成装置 |
EP2309453A3 (en) * | 1998-07-31 | 2012-09-26 | Panasonic Corporation | Image displaying apparatus and image displaying method |
JP2000230809A (ja) * | 1998-12-09 | 2000-08-22 | Matsushita Electric Ind Co Ltd | 距離データの補間方法,カラー画像階層化方法およびカラー画像階層化装置 |
JP2000357007A (ja) * | 1999-06-15 | 2000-12-26 | Minolta Co Ltd | 3次元データ処理装置 |
JP4861574B2 (ja) * | 2001-03-28 | 2012-01-25 | パナソニック株式会社 | 運転支援装置 |
JP4740481B2 (ja) * | 2001-06-29 | 2011-08-03 | オリンパス株式会社 | 3次元画像情報生成装置、3次元画像情報生成方法並びに3次元画像情報生成プログラム |
US7251346B2 (en) * | 2002-11-19 | 2007-07-31 | Honda Motor Co., Ltd. | Moving object detection device, moving object detection method, and moving object detection program |
JP2006050263A (ja) * | 2004-08-04 | 2006-02-16 | Olympus Corp | 画像生成方法および装置 |
WO2007015446A1 (ja) * | 2005-08-02 | 2007-02-08 | Nissan Motor Co., Ltd. | 車両周囲監視装置及び車両周囲監視方法 |
JP4793307B2 (ja) * | 2007-04-03 | 2011-10-12 | 株式会社デンソー | 車両周辺監視装置 |
JP2008312004A (ja) * | 2007-06-15 | 2008-12-25 | Sanyo Electric Co Ltd | カメラシステム及び機械装置 |
JP2009049943A (ja) * | 2007-08-22 | 2009-03-05 | Alpine Electronics Inc | 距離画像によるトップビュー表示装置 |
JP5299231B2 (ja) * | 2009-11-17 | 2013-09-25 | 富士通株式会社 | キャリブレーション装置 |
EP2355037A1 (en) * | 2009-12-18 | 2011-08-10 | Nxp B.V. | Method of and system for determining an average colour value for pixels |
-
2012
- 2012-03-29 JP JP2012078340A patent/JP6029306B2/ja active Active
-
2013
- 2013-02-07 KR KR1020147020538A patent/KR101625997B1/ko active IP Right Grant
- 2013-02-07 EP EP13769103.6A patent/EP2833162B1/en active Active
- 2013-02-07 WO PCT/JP2013/052937 patent/WO2013145878A1/ja active Application Filing
- 2013-02-07 CN CN201380006337.7A patent/CN104067144B/zh active Active
-
2014
- 2014-08-22 US US14/465,950 patent/US9715015B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005107261A1 (ja) * | 2004-04-27 | 2005-11-10 | Matsushita Electric Industrial Co., Ltd. | 車両周囲表示装置 |
JP2008163719A (ja) | 2007-01-05 | 2008-07-17 | Hitachi Constr Mach Co Ltd | 作業機械の周囲監視装置 |
JP2011221865A (ja) * | 2010-04-12 | 2011-11-04 | Sumitomo Heavy Ind Ltd | 画像生成装置及び操作支援システム |
Non-Patent Citations (1)
Title |
---|
See also references of EP2833162A4 |
Also Published As
Publication number | Publication date |
---|---|
JP6029306B2 (ja) | 2016-11-24 |
CN104067144A (zh) | 2014-09-24 |
KR20140112043A (ko) | 2014-09-22 |
US9715015B2 (en) | 2017-07-25 |
US20140362220A1 (en) | 2014-12-11 |
CN104067144B (zh) | 2017-07-11 |
KR101625997B1 (ko) | 2016-05-31 |
EP2833162A4 (en) | 2015-04-01 |
JP2013205402A (ja) | 2013-10-07 |
EP2833162B1 (en) | 2021-06-30 |
EP2833162A1 (en) | 2015-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6029306B2 (ja) | 作業機械用周辺監視装置 | |
JP6545430B2 (ja) | ショベル | |
JP6386213B2 (ja) | ショベル | |
JP6324665B2 (ja) | 作業機械用周辺監視装置 | |
JP6541734B2 (ja) | ショベル | |
JP6045865B2 (ja) | ショベル | |
JP6740259B2 (ja) | 作業機械 | |
JP5960007B2 (ja) | 作業機械用周辺監視装置 | |
JP6378801B2 (ja) | ショベル | |
JP6169381B2 (ja) | ショベル | |
JP5752631B2 (ja) | 画像生成方法、画像生成装置、及び操作支援システム | |
JP5805574B2 (ja) | 作業機械用周辺監視装置 | |
JP6091821B2 (ja) | ショベル | |
JP6257918B2 (ja) | ショベル | |
JP6873889B2 (ja) | ショベル及びショベルの周囲画像生成装置 | |
JP2023078305A (ja) | ショベル | |
JP6257919B2 (ja) | ショベル | |
JP2019004484A (ja) | ショベル | |
JP2018186575A (ja) | ショベル | |
JP6302622B2 (ja) | 作業機械用周辺監視装置 | |
JP6295026B2 (ja) | ショベル | |
JP7454461B2 (ja) | ショベル | |
JP7237882B2 (ja) | ショベル | |
JP7130547B2 (ja) | ショベル及びショベル用周辺監視装置 | |
JP2018186574A (ja) | ショベル |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13769103 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 20147020538 Country of ref document: KR Kind code of ref document: A |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2013769103 Country of ref document: EP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |