JP6567237B2 - Distance measuring device and distance measuring method - Google Patents
Distance measuring device and distance measuring method Download PDFInfo
- Publication number
- JP6567237B2 JP6567237B2 JP2019528615A JP2019528615A JP6567237B2 JP 6567237 B2 JP6567237 B2 JP 6567237B2 JP 2019528615 A JP2019528615 A JP 2019528615A JP 2019528615 A JP2019528615 A JP 2019528615A JP 6567237 B2 JP6567237 B2 JP 6567237B2
- Authority
- JP
- Japan
- Prior art keywords
- ship
- image data
- unit
- wide
- telephoto
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
Description
この発明は、船舶間の距離を計測する距離計測装置および距離計測方法に関するものである。 The present invention relates to a distance measuring device and a distance measuring method for measuring a distance between ships.
特許文献1に係る物体撮影装置は、広角カメラと望遠カメラにより撮影された撮影倍率の異なる二つの映像に基づいて、撮影された共通の物体の位置を算出する。 The object photographing apparatus according to Patent Document 1 calculates the position of a common object photographed based on two images with different photographing magnifications photographed by a wide-angle camera and a telephoto camera.
特許文献1に係る物体撮影装置は、単純に2台のカメラから視野内の同一の対象までの距離を算出する方法であり、単なる三角測量の応用に過ぎない。2台のカメラを連携させて対象までの距離を算出するにはそれなりの処理時間が必要となるため、自船舶の周囲に他船舶が多数存在する場合、他船舶ごとに2台のカメラを連携させて距離を算出することは現実的ではない。そのため、従来の物体撮影装置は、洋上を航海する船舶間の距離計測には適していないという課題があった。 The object photographing apparatus according to Patent Document 1 is simply a method for calculating the distance from two cameras to the same object in the field of view, and is merely an application of triangulation. Since a certain amount of processing time is required to calculate the distance to the target by linking two cameras, if there are many other ships around the ship, the two cameras are linked for each other ship. It is not realistic to calculate the distance. Therefore, the conventional object photographing device has a problem that it is not suitable for measuring the distance between ships sailing on the ocean.
この発明は、上記のような課題を解決するためになされたもので、自船舶に衝突する可能性がある他船舶までの距離を広角カメラと望遠カメラの画像データを用いて計測することを目的とする。 The present invention has been made to solve the above-described problems, and it is an object of the present invention to measure the distance to another ship that may collide with the ship using image data of a wide-angle camera and a telephoto camera. And
この発明に係る距離計測装置は、自船舶に設置された広角カメラによって撮影された広角画像データを取得する広角画像取得部と、広角画像データ中から他船舶の画像データを検出するとともに広角画像データにおける他船舶の座標を計算する船舶検出部と、船舶検出部により検出された他船舶の最新の画像データと過去の画像データを比較して他船舶が自船舶に接近中か離脱中かを判定する接近判定部と、自船舶に設置された望遠カメラを接近判定部により接近中と判定された他船舶へ向けて旋回させ、望遠カメラによって撮影された望遠画像データを取得する望遠画像取得部と、接近判定部により接近中と判定された他船舶の望遠画像データにおける座標を計算する座標計算部と、船舶検出部および座標計算部により計算された各座標を用いて、接近判定部により接近中と判定された他船舶と自船舶との距離を三角測量の原理により計算する三角測量部とを備えるものである。 A distance measuring apparatus according to the present invention includes a wide-angle image acquisition unit that acquires wide-angle image data captured by a wide-angle camera installed on the ship, and detects image data of another ship from the wide-angle image data and wide-angle image data. The ship detector that calculates the coordinates of other ships in the ship and the latest image data of the other ships detected by the ship detector and the past image data are compared to determine whether the other ship is approaching or leaving the ship. A telephoto image acquisition unit that rotates a telephoto camera installed on the own ship toward another ship determined to be approaching by the proximity determination unit and acquires telephoto image data captured by the telephoto camera; The coordinate calculation unit for calculating the coordinates in the telephoto image data of other ships determined to be approaching by the approach determination unit, and the coordinates calculated by the ship detection unit and the coordinate calculation unit There are, in which and a triangulation unit for calculating a distance between the other ships and ship it is determined in closer proximity decision unit in accordance with the principles of triangulation.
この発明によれば、広角カメラによって撮影された広角画像データを用いて自船舶に接近中の他船舶の検出し、広角画像データと望遠カメラによって撮影された望遠画像データとを用いて自船舶から他船舶までの距離を計算するようにしたので、自船舶に衝突する可能性がある他船舶までの距離を広角カメラと望遠カメラの画像データを用いて計測することができる。 According to the present invention, a wide-angle image data photographed by a wide-angle camera is used to detect another ship approaching the own ship, and the wide-angle image data and the telephoto image data photographed by the telephoto camera are used to detect from the own ship. Since the distance to the other ship is calculated, the distance to the other ship that may collide with the own ship can be measured using the image data of the wide-angle camera and the telephoto camera.
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、実施の形態1に係る距離計測装置10の構成例を示すブロック図である。距離計測装置10は、自船舶に搭載され、自船舶に接近してくる他船舶までの距離を計測するものであり、自船舶に搭載された広角カメラ20、望遠カメラ30およびディスプレイ40に接続される。この距離計測装置10は、広角画像取得部11、船舶検出部12、接近判定部13、望遠画像取得部14、座標計算部15および三角測量部16を備える。Hereinafter, in order to explain the present invention in more detail, modes for carrying out the present invention will be described with reference to the accompanying drawings.
Embodiment 1 FIG.
FIG. 1 is a block diagram illustrating a configuration example of a distance measuring
広角カメラ20は、自船舶の周囲を広角レンズで撮像する固定カメラである。広角カメラ20は、撮像した画像データを広角画像取得部11へ出力する。なお、1台の広角カメラ20の画角では自船舶の全周囲を撮像できない場合、複数台の広角カメラ20によって自船舶の全周囲を撮像してもよい。
以下では、広角カメラ20により撮像された画像データを「広角画像データ」と称する。The wide-
Hereinafter, the image data captured by the wide-
望遠カメラ30は、望遠カメラ30を旋回させるアクチュエータ31を有する。アクチュエータ31は、望遠画像取得部14の旋回指示に従って望遠カメラ30を旋回させる。望遠カメラ30は、アクチュエータ31により旋回され望遠画像取得部14に指示された方角を望遠レンズで撮像し、画像データを望遠画像取得部14へ出力する。
以下では、望遠カメラ30により撮像された画像データを「望遠画像データ」と称する。The
Hereinafter, the image data captured by the
ディスプレイ40は、距離計測装置10によって計測された自船舶と他船舶との距離および自船舶と他船舶の衝突危険の指標等を表示する。
The
次に、実施の形態1に係る距離計測装置10の動作例を説明する。
図2は、実施の形態1に係る距離計測装置10の動作例を示すフローチャートである。距離計測装置10は、図2のフローチャートに示される動作を繰り返す。Next, an operation example of the
FIG. 2 is a flowchart showing an operation example of the
ステップST11において、広角画像取得部11は、広角カメラ20によって撮像された広角画像データを取得し、船舶検出部12へ出力する。
In step ST <b> 11, the wide-angle
図3は、実施の形態1における広角画像データの例を示す図である。図3では、時刻t0に撮像された広角画像データ、時刻t1に撮像された広角画像データ、時刻t2に撮像された広角画像データ、および時刻t3に撮像された広角画像データが例示される。時刻t0から順に時間を遡っており、時刻t0の広角画像データは最新のものであり、時刻t3の広角画像データは最も過去のものである。各広角画像データにおいて、画像中央付近に他船舶があり、この他船舶が画像右側に移動していることが確認される。なお、他船舶の左側に写っているものは防波堤である。 FIG. 3 is a diagram illustrating an example of wide-angle image data in the first embodiment. FIG. 3 illustrates wide-angle image data captured at time t0, wide-angle image data captured at time t1, wide-angle image data captured at time t2, and wide-angle image data captured at time t3. Time goes back in order from time t0, the wide-angle image data at time t0 is the latest, and the wide-angle image data at time t3 is the oldest. In each wide-angle image data, it is confirmed that there is another ship near the center of the image and that this other ship is moving to the right side of the image. In addition, what is reflected on the left side of another ship is a breakwater.
ステップST12において、船舶検出部12は、広角画像データ中から他船舶の画像データを検出して接近判定部13へ出力するとともに、広角画像データにおける他船舶の座標を計算して三角測量部16へ出力する。
In step ST <b> 12, the
船舶検出部12は、時刻t0の最新の広角画像データを複数の小領域に分割し、それぞれの小領域が時刻t1〜t3の過去の広角画像データのどこにあるかを調べ、それぞれの小領域の時刻t1〜t3における動きに基づいて他船舶を検出する。
図4は、時刻t0の広角画像データにおける小領域r1が時刻t1〜t3の過去の広角画像データのどこにあるかを示す図である。他船舶は、短時間において画像中をほぼ同一の方向にほぼ一定の速度で移動する特徴をもつ。船舶検出部12は、この特徴を利用して他船舶の検出を行う。図4では小領域r1が時刻t1〜t3の広角画像データ中を右側にほぼ一定の速度で移動しているため、この小領域r1が他船舶として検出される。The
FIG. 4 is a diagram showing where the small region r1 in the wide-angle image data at time t0 is in the past wide-angle image data at times t1 to t3. Other ships have a feature of moving in an image in the same direction at a substantially constant speed in a short time. The
なお、時刻t0の広角画像データにおける小領域r1が別の時刻における広角画像データ中のどこに存在するかは、テンプレートマッチングにより計算できる。テンプレートマッチングは周知の技術であるので詳細な説明は省略する。
あるいは、船舶検出部12は、人工ニューラルネットワーク等を用いた機械学習に基づいて、他船舶を検出してもよい。人工ニューラルネットワークに特定の対象物を学習させ、該否を識別させる方法については、特許第6125137号などに説明されている。Note that where the small region r1 in the wide-angle image data at time t0 exists in the wide-angle image data at another time can be calculated by template matching. Since template matching is a well-known technique, detailed description is omitted.
Alternatively, the
ステップST13において、接近判定部13は、船舶検出部12により検出された他船舶の最新の画像データと過去の画像データを比較して他船舶が自船舶に接近中か離脱中かを判定する。
In step ST13, the
例えば、接近判定部13は、船舶検出部12により検出された他船舶の最新の画像データを拡大および縮小して拡大画像データおよび縮小画像データを生成し、拡大画像データおよび縮小画像データと船舶の過去の画像データとの相関係数を計算して他船舶の接近と離脱を判定する。
For example, the
図5は、実施の形態1の接近判定部13による接近判定方法を説明する図である。接近判定部13は、船舶検出部12により検出された他船舶の座標に基づいて、時刻t0の広角画像データから他船舶の画像データを切り出し、テンプレート画像r10にする。そして、接近判定部13は、テンプレート画像r10を水平および垂直のそれぞれの方向に拡大および縮小した計9種の画像データr10〜r18からなる画像アレイを生成する。この画像アレイは、拡大および縮小前のテンプレート画像r10を含む。接近判定部13は、画像データr10〜r18のそれぞれをテンプレートに用いて、時刻t1の過去の広角画像データに対してテンプレートマッチングを行い、それぞれのテンプレートと時刻t1の広角画像データとの相関係数を計算する。接近判定部13は、垂直方向に拡大された画像データr16〜r18のいずれかと時刻t1の広角画像データとの相関係数が最大になった場合、他船舶は接近中であると判定する。一方、接近判定部13は、垂直方向に縮小された画像データr11〜r13のいずれかと時刻t1の広角画像データとの相関係数が最大になった場合、他船舶は離脱中であると判定する。なお、画像アレイとして水平方向に縮小された画像データr11、r14,r16および水平方向に拡大された画像データr13,r15,r18が必要となるのは、他船舶が自船舶に接近または離脱することとは関係無く、自船舶から見た他船舶の向きの変化により他船舶の水平方向の長さが変化した場合の接近と離脱を判定するためである。
FIG. 5 is a diagram for explaining an approach determination method by the
なお、図5では接近判定部13が3×3の画像アレイを用いる例について述べたが、過去の広角画像データと最新の広角画像データとの時差または自船舶から他船舶までの距離に応じて、5×5など、他の画像数の画像アレイを用いてもよい。なお、接近判定部13は、自船舶から他船舶までの距離として、例えば、後述する実施の形態2の距離概算部17により計算された概算距離を用いる。
また、接近判定部13は、画像アレイと時刻t1の広角画像データとのテンプレートマッチングを行うだけでなく、複数の過去の広角画像データとのテンプレートマッチングを行ってもよい。その場合、接近判定部13は、複数のテンプレートマッチングの結果を統計的に処理することにより、より確実性の高い相関係数を得ることができる。In addition, although the example in which the
Further, the
ステップST14において、接近判定部13は、他船舶が接近中であると判定した場合(ステップST14“YES”)、判定結果を望遠画像取得部14へ出力してステップST15へ進み、他船舶が離脱中であると判定した場合(ステップST14“NO”)、他船舶が自船舶に衝突する可能性がないので図2のフローチャートに示される動作を終了する。
In step ST14, when the
ステップST15において、望遠画像取得部14は、アクチュエータ31に指示して望遠カメラ30を接近判定部13により接近中と判定された他船舶へ向けて旋回させ、望遠カメラ30によって撮影された望遠画像データを取得し、座標計算部15へ出力する。
In step ST <b> 15, the telephoto
図6は、実施の形態1の望遠画像取得部14による望遠カメラ30の旋回制御を説明する図である。図6には、自船舶に搭載された広角カメラ20の位置cw、広角カメラ20の画角20a、自船舶に搭載された望遠カメラ30の位置cz、望遠カメラ30の画角30a、接近判定部13により接近中と判定された他船舶の位置s、および広角カメラ20の位置cwと望遠カメラ30の位置czとを通る仮想の直線を基線とした場合の広角カメラ20の位置cwから望遠カメラ30の位置czまでの基線の長さLが示される。望遠画像取得部14は、接近判定部13により接近中と判定された他船舶を望遠カメラ30に撮像させるために、アクチュエータ31に旋回を指示し、広角カメラ20と同じ方角に向くように望遠カメラ30の向きを制御する。
FIG. 6 is a diagram illustrating turning control of the
図7Aは、図6の状況において広角カメラ20が撮像した広角画像データの例を示す図である。図7Bは、図6の状況において望遠カメラ30が撮像した望遠画像データの例を示す図である。
FIG. 7A is a diagram illustrating an example of wide-angle image data captured by the wide-
なお、図6では望遠画像取得部14は、広角カメラ20と望遠カメラ30の向きが同じになるように望遠カメラ30の向きを設定し、アクチュエータ31に旋回を指示したが、これに限定されるものではない。例えば、望遠画像取得部14は、広角カメラ20と望遠カメラ30の向きが同じになるように望遠カメラ30の向きを設定した後、望遠カメラ30の画角内に他船舶が確実に入るように、船舶検出部12により計算された広角画像データにおける他船舶の座標に基づいて望遠カメラ30の向きを微調整してもよい。また、例えば、望遠画像取得部14は、広角カメラ20に対する他船舶の方位と、後述する実施の形態2の距離概算部17により計算された概算距離とに基づいて望遠カメラ30の向きを設定してもよい。
In FIG. 6, the telephoto
ステップST16において、座標計算部15は、接近判定部13により接近中と判定された他船舶の望遠画像データにおける座標を計算して三角測量部16へ出力する。
In step ST <b> 16, the coordinate
図8は、実施の形態1の座標計算部15によるテンプレートマッチング法を説明する図である。
座標計算部15は、まず、広角画像データ中の他船舶の画像データを、望遠画像データ中の他船舶の画像データの大きさと一致するように拡大する。拡大率は、広角カメラ20と望遠カメラ30の焦点距離の比で決まる。広角画像データ中の他船舶の画像データを拡大した画像データを、「広角船舶画像データ」と称する。続いて、座標計算部15は、広角船舶画像データAをテンプレートに用いて、望遠画像データBに対して矢印の方向へテンプレートマッチングを行うことにより、望遠画像データBにおける他船舶を特定して座標を計算する。FIG. 8 is a diagram for explaining a template matching method performed by the coordinate
First, the coordinate
ステップST17において、三角測量部16は、船舶検出部12および座標計算部15により計算された各座標を用いて、接近判定部13により接近中と判定された他船舶と自船舶との距離を三角測量の原理により計算する。そして、三角測量部16は、自船舶から他船舶までの距離を示す情報等をディスプレイ40に出力して表示させる。
In step ST17, the
図9は、実施の形態1の三角測量部16による三角測量法を説明する図である。
三角測量部16は、船舶検出部12により計算された広角画像データにおける他船舶の座標を用いて、広角カメラ20の位置cwを頂点とした基線と他船舶の位置sとのなす角度αを計算する。また、三角測量部16は、座標計算部15により計算された望遠画像データにおける他船舶の座標を用いて、望遠カメラ30の位置czを頂点とした基線と他船舶の位置sとのなす角度βを計算する。そして、三角測量部16は、式(1)を計算して基線から他船舶の位置sまでの距離d、つまり自船舶と他船舶との距離dを得る。
FIG. 9 is a diagram for explaining the triangulation method by the
The
以上のように、実施の形態1に係る距離計測装置10は、広角画像取得部11、船舶検出部12、接近判定部13、望遠画像取得部14、座標計算部15、および三角測量部16を備える。広角画像取得部11は、自船舶に設置された広角カメラ20によって撮影された広角画像データを取得する。船舶検出部12は、広角画像データ中から他船舶の画像データを検出するとともに広角画像データにおける他船舶の座標を計算する。接近判定部13は、船舶検出部12により検出された他船舶の最新の画像データと過去の画像データを比較して他船舶が自船舶に接近中か離脱中かを判定する。望遠画像取得部14は、自船舶に設置された望遠カメラ30を接近判定部13により接近中と判定された他船舶へ向けて旋回させ、望遠カメラ30によって撮影された望遠画像データを取得する。座標計算部15は、接近判定部13により接近中と判定された他船舶の望遠画像データにおける座標を計算する。三角測量部16は、船舶検出部12および座標計算部15により計算された各座標を用いて、接近判定部13により接近中と判定された他船舶と自船舶との距離を三角測量の原理により計算する。これにより、自船舶に衝突する可能性がある他船舶を検出し、検出した他船舶と自船舶との距離を広角カメラ20と望遠カメラ30の画像データを用いて計測することができる。従って、広角カメラ20と望遠カメラ30を連携させて距離を計測するにはそれなりの処理時間が必要であったとしても、自船舶に接近している他船舶のみ広角カメラ20と望遠カメラ30を連携させて距離dを計測するので、他船舶と自船舶との衝突回避に有効である。
As described above, the
また、実施の形態1の接近判定部13は、船舶検出部12により検出された他船舶の最新の画像データを拡大および縮小して拡大画像データおよび縮小画像データを生成し、拡大画像データおよび縮小画像データと他船舶の過去の画像データとの相関係数を計算して他船舶の接近と離脱を判定する。これにより、他船舶が自船舶に接近中か離脱中かを精度よく判定することができる。
In addition, the
実施の形態2.
図10は、実施の形態2に係る距離計測装置10の構成例を示すブロック図である。実施の形態2に係る距離計測装置10は、図1に示した実施の形態1の距離計測装置10に対して距離概算部17が追加された構成である。図10において図1と同一または相当する部分は、同一の符号を付し説明を省略する。Embodiment 2. FIG.
FIG. 10 is a block diagram illustrating a configuration example of the
距離概算部17は、船舶検出部12により計算された他船舶の座標を用いて他船舶と自船舶との距離を概算し、概算距離を望遠画像取得部14へ出力する。
The
概算距離dAは、式(2)により求まる。式(2)におけるX,Y,Zは、式(3)、式(4)および式(5)により求まる。
ここで、自船舶は座標(0,0,0)にあり、X軸の正方向を向いていることとした上で、hは海面からの広角カメラ20の高さ、rは地球半径、(u,v)は広角画像データにおける他船舶の座標、(u0,v0)は広角画像データにおける中心座標、cは広角カメラ20の焦点距離、(ω,φ,κ)は広角カメラ20のローリング角とピッチング角とヨーイング角を示す。The approximate distance dA is obtained by the equation (2). X, Y, Z in the formula (2) is obtained by the formula (3), the formula (4), and the formula (5).
Here, assuming that the ship is at coordinates (0, 0, 0) and is facing the positive direction of the X axis, h is the height of the wide-
望遠画像取得部14は、接近判定部13により他船舶が接近中と判定され、かつ、距離概算部17により概算された距離が予め定められた閾値以下である場合に望遠カメラ30を旋回させ望遠画像データを取得する。また、三角測量部16は、自船舶と他船舶との距離を計算する。閾値は、望遠画像取得部14に対して予め与えられた値であり、他船舶が自船舶に衝突する可能性の有無を判定するための値である。
一方、望遠画像取得部14は、接近判定部13により他船舶が離脱中と判定された場合、または、距離概算部17により概算された距離が予め定められた閾値より大きい場合、望遠画像データを取得しない。そのため、三角測量部16は、自船舶と他船舶との距離を計算しない。つまり、他船舶が離脱中である場合、または、他船舶が遠くにいる場合、他船舶が自船舶に衝突する可能性が低いので、距離計測装置10による距離計測は不要である。The telephoto
On the other hand, the telephoto
以上のように、実施の形態2に係る距離計測装置10は、船舶検出部12により計算された他船舶の座標を用いて他船舶と自船舶との距離を概算する距離概算部17を備える。望遠画像取得部14は、接近判定部13により他船舶が接近中と判定され、かつ、距離概算部17により概算された距離が予め定められた閾値以下である場合に望遠カメラ30を旋回させ望遠画像データを取得する。これにより、距離計測装置10は、自船舶に衝突する可能性が低い他船舶の距離計測を行わず、処理負荷が低減可能である。広角カメラ20と望遠カメラ30を連携させて距離を計測するにはそれなりの処理時間が必要であったとしても、自船舶との概算距離dが近い上に自船舶に接近している他船舶のみ広角カメラ20と望遠カメラ30を連携させて距離dを計測するので、他船舶と自船舶との衝突回避にさらに有効である。
As described above, the
最後に、各実施の形態に係る距離計測装置10のハードウェア構成例を説明する。
図11Aおよび図11Bは、各実施の形態に係る距離計測装置10のハードウェア構成図である。距離計測装置10における広角画像取得部11、船舶検出部12、接近判定部13、望遠画像取得部14、座標計算部15、三角測量部16および距離概算部17の各機能は、処理回路により実現される。即ち、距離計測装置10は、上記各機能を実現するための処理回路を備える。処理回路は、専用のハードウェアとしての処理回路100であってもよいし、メモリ101に格納されるプログラムを実行するプロセッサ102であってもよい。処理回路100またはプロセッサ102と、メモリ101と、広角カメラ20と、望遠カメラ30と、アクチュエータ31と、ディスプレイ40は、電気的に接続されている。広角カメラ20および望遠カメラ30によって撮像された画像データはメモリ101に格納される。Finally, a hardware configuration example of the
11A and 11B are hardware configuration diagrams of the
図11Aに示すように、処理回路は専用のハードウェアである場合、処理回路100は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、またはこれらを組み合わせたものが該当する。広角画像取得部11、船舶検出部12、接近判定部13、望遠画像取得部14、座標計算部15、三角測量部16および距離概算部17の機能を複数の処理回路100で実現してもよいし、各部の機能をまとめて1つの処理回路100で実現してもよい。
As shown in FIG. 11A, when the processing circuit is dedicated hardware, the
図11Bに示すように、処理回路がプロセッサ102である場合、広角画像取得部11、船舶検出部12、接近判定部13、望遠画像取得部14、座標計算部15、三角測量部16および距離概算部17の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ101に格納される。プロセッサ102は、メモリ101に格納されたプログラムを読みだして実行することにより、各部の機能を実現する。即ち、距離計測装置10は、プロセッサ102により実行されるときに、図2のフローチャートで示されるステップが結果的に実行されることになるプログラムを格納するためのメモリ101を備える。また、このプログラムは、広角画像取得部11、船舶検出部12、接近判定部13、望遠画像取得部14、座標計算部15、三角測量部16および距離概算部17の手順または方法をコンピュータに実行させるものであるとも言える。
As shown in FIG. 11B, when the processing circuit is the
ここで、プロセッサ102とは、CPU(Central Processing Unit)、処理装置、演算装置、マイクロプロセッサ、またはマイクロコンピュータ等のことである。
メモリ101は、RAM(Random Access Memory)、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、またはフラッシュメモリ等の不揮発性もしくは揮発性の半導体メモリであってもよいし、ハードディスクまたはフレキシブルディスク等の磁気ディスクであってもよいし、CD(Compact Disc)またはDVD(Digital Versatile Disc)等の光ディスクであってもよい。Here, the
The
なお、広角画像取得部11、船舶検出部12、接近判定部13、望遠画像取得部14、座標計算部15、三角測量部16および距離概算部17の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、距離計測装置10における処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
Note that some of the functions of the wide-angle
なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。 In the present invention, within the scope of the invention, any combination of each embodiment, any component of each embodiment can be modified, or any component of each embodiment can be omitted.
この発明に係る距離計測装置は、自船舶に接近中の他船舶までの距離を計測するようにしたので、衝突の可能性がある他船舶を自動的に検出する距離計測装置などに用いるのに適している。 Since the distance measuring device according to the present invention measures the distance to the other vessel approaching the own vessel, the distance measuring device is used for a distance measuring device that automatically detects other vessels having a possibility of collision. Is suitable.
10 距離計測装置、11 広角画像取得部、12 船舶検出部、13 接近判定部、14 望遠画像取得部、15 座標計算部、16 三角測量部、17 距離概算部、20 広角カメラ、20a,30a 画角、30 望遠カメラ、31 アクチュエータ、40 ディスプレイ、100 処理回路、101 メモリ、102 プロセッサ、A 広角船舶画像データ、B 望遠画像データ、cw 広角カメラの位置、cz 望遠カメラの位置、L 基線の長さ、r1 小領域、r10〜r18 画像データ、s 他船舶の位置、t0〜t3 時刻。
DESCRIPTION OF
Claims (4)
前記広角画像データ中から他船舶の画像データを検出するとともに前記広角画像データにおける前記他船舶の座標を計算する船舶検出部と、
前記船舶検出部により検出された前記他船舶の最新の画像データと過去の画像データを比較して前記他船舶が前記自船舶に接近中か離脱中かを判定する接近判定部と、
前記自船舶に設置された望遠カメラを前記接近判定部により接近中と判定された前記他船舶へ向けて旋回させ、前記望遠カメラによって撮影された望遠画像データを取得する望遠画像取得部と、
前記接近判定部により接近中と判定された前記他船舶の前記望遠画像データにおける座標を計算する座標計算部と、
前記船舶検出部および前記座標計算部により計算された各座標を用いて、前記接近判定部により接近中と判定された前記他船舶と前記自船舶との距離を三角測量の原理により計算する三角測量部とを備える距離計測装置。A wide-angle image acquisition unit that acquires wide-angle image data captured by a wide-angle camera installed in the ship;
A ship detection unit that detects image data of another ship from the wide-angle image data and calculates coordinates of the other ship in the wide-angle image data;
An approach determination unit that determines whether the other ship is approaching or leaving the own ship by comparing the latest image data and past image data of the other ship detected by the ship detection unit;
A telephoto image acquisition unit that rotates a telephoto camera installed in the ship to the other ship determined to be approaching by the approach determination unit, and acquires telephoto image data captured by the telephoto camera;
A coordinate calculation unit that calculates coordinates in the telephoto image data of the other ship determined to be approaching by the approach determination unit;
Triangulation that calculates the distance between the other ship determined to be approaching by the approach determination unit and the own ship based on the principle of triangulation using the coordinates calculated by the ship detection unit and the coordinate calculation unit. And a distance measuring device.
前記望遠画像取得部は、前記接近判定部により前記他船舶が接近中と判定され、かつ、前記距離概算部により概算された距離が予め定められた閾値以下である場合に前記望遠カメラを旋回させ望遠画像データを取得することを特徴とする請求項1または請求項2記載の距離計測装置。A distance estimation unit that approximates the distance between the other vessel and the own vessel using the coordinates of the other vessel calculated by the vessel detection unit,
The telephoto image acquiring unit turns the telephoto camera when the approach determining unit determines that the other ship is approaching and the distance estimated by the distance estimating unit is equal to or less than a predetermined threshold. The distance measuring device according to claim 1, wherein telephoto image data is acquired.
船舶検出部が、前記広角画像データ中から他船舶の画像データを検出するとともに前記広角画像データにおける前記他船舶の座標を計算するステップと、
接近判定部が、前記船舶検出部により検出された前記他船舶の最新の画像データと過去の画像データを比較して前記他船舶が前記自船舶に接近中か離脱中かを判定するステップと、
望遠画像取得部が、前記自船舶に設置された望遠カメラを前記接近判定部により接近中と判定された前記他船舶へ向けて旋回させ、前記望遠カメラによって撮影された望遠画像データを取得するステップと、
座標計算部が、前記接近判定部により接近中と判定された前記他船舶の前記望遠画像データにおける座標を計算するステップと、
三角測量部が、前記船舶検出部および前記座標計算部により計算された各座標を用いて、前記接近判定部により接近中と判定された前記他船舶と前記自船舶との距離を三角測量の原理により計算するステップとを備える距離計測方法。A wide-angle image acquisition unit acquiring wide-angle image data captured by a wide-angle camera installed on the ship;
A ship detecting unit detecting image data of another ship from the wide-angle image data and calculating coordinates of the other ship in the wide-angle image data;
An approach determining unit comparing the latest image data of the other ship detected by the ship detecting unit and past image data to determine whether the other ship is approaching or leaving the own ship;
A step of a telephoto image acquiring unit turning a telephoto camera installed on the own ship toward the other ship determined to be approaching by the approach determining unit, and acquiring telephoto image data captured by the telephoto camera; When,
A coordinate calculating unit calculating coordinates in the telephoto image data of the other ship determined to be approaching by the approach determining unit;
The triangulation section uses the coordinates calculated by the ship detection section and the coordinate calculation section to determine the distance between the other ship determined to be approaching by the approach determination section and the own ship, and the principle of triangulation A distance measurement method comprising the step of calculating according to
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/027061 WO2019021393A1 (en) | 2017-07-26 | 2017-07-26 | Distance measurement device and distance measurement method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6567237B2 true JP6567237B2 (en) | 2019-08-28 |
JPWO2019021393A1 JPWO2019021393A1 (en) | 2019-11-07 |
Family
ID=65040438
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019528615A Active JP6567237B2 (en) | 2017-07-26 | 2017-07-26 | Distance measuring device and distance measuring method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6567237B2 (en) |
WO (1) | WO2019021393A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113763484A (en) * | 2021-09-17 | 2021-12-07 | 交通运输部水运科学研究所 | Ship target positioning and speed estimation method based on video image analysis technology |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3516067B2 (en) * | 1994-04-26 | 2004-04-05 | 川崎重工業株式会社 | Image creation method and image creation device for depalletizing |
JP2004280547A (en) * | 2003-03-17 | 2004-10-07 | Matsushita Electric Ind Co Ltd | Individual identification device |
JP4198536B2 (en) * | 2003-06-09 | 2008-12-17 | 富士通株式会社 | Object photographing apparatus, object photographing method and object photographing program |
WO2006102371A2 (en) * | 2005-03-22 | 2006-09-28 | Pinotage, L.L.C. | Imaging device assembly |
-
2017
- 2017-07-26 JP JP2019528615A patent/JP6567237B2/en active Active
- 2017-07-26 WO PCT/JP2017/027061 patent/WO2019021393A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JPWO2019021393A1 (en) | 2019-11-07 |
WO2019021393A1 (en) | 2019-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4926127B2 (en) | Front imaging control device for moving body | |
JP3600755B2 (en) | Face image processing device | |
JP5613041B2 (en) | Camera device, image processing system, and image processing method | |
JP7077910B2 (en) | Bound line detection device and lane marking method | |
JP6515650B2 (en) | Calibration apparatus, distance measuring apparatus and calibration method | |
JP2009064410A (en) | Method for detecting moving objects in blind spot of vehicle and blind spot detection device | |
US11928805B2 (en) | Information processing apparatus, information processing method, and storage medium for defect inspection and detection | |
JP5834933B2 (en) | Vehicle position calculation device | |
BR112016010089B1 (en) | moving body position estimating device and moving body position estimating method | |
JP4660569B2 (en) | Object detection apparatus and object detection method | |
Wang et al. | Improvement in real-time obstacle detection system for USV | |
KR102530847B1 (en) | Method and device for monitoring harbor and ship | |
JP6116765B1 (en) | Object detection apparatus and object detection method | |
JP4361913B2 (en) | Motion calculation device | |
JP6567237B2 (en) | Distance measuring device and distance measuring method | |
JP4026641B2 (en) | Object detection apparatus and object detection method | |
JP6734994B2 (en) | Stereo measuring device and system | |
JP7347644B2 (en) | Object ranging device, method, and program | |
JP5272818B2 (en) | Image processing apparatus and method, and program | |
US20200410694A1 (en) | Object detection device, object detection system, object detection method, and non-transitory computer-readable medium storing program | |
WO2016207934A1 (en) | Characteristic selecting device, moving state measuring device, moving state measuring system, work machine, and vehicle | |
CN116612459B (en) | Target detection method, target detection device, electronic equipment and storage medium | |
KR102604408B1 (en) | LiDAR-based map generation method and apparatus thereof | |
Griesser et al. | CNN-based monocular 3D ship detection using inverse perspective | |
TWI824789B (en) | Hybrid system for vehicle detection and hybrid method for vehicle detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190527 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190527 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190624 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190702 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190730 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6567237 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |