JP6567237B2 - Distance measuring device and distance measuring method - Google Patents

Distance measuring device and distance measuring method Download PDF

Info

Publication number
JP6567237B2
JP6567237B2 JP2019528615A JP2019528615A JP6567237B2 JP 6567237 B2 JP6567237 B2 JP 6567237B2 JP 2019528615 A JP2019528615 A JP 2019528615A JP 2019528615 A JP2019528615 A JP 2019528615A JP 6567237 B2 JP6567237 B2 JP 6567237B2
Authority
JP
Japan
Prior art keywords
ship
image data
unit
wide
telephoto
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019528615A
Other languages
Japanese (ja)
Other versions
JPWO2019021393A1 (en
Inventor
秀明 前原
秀明 前原
百代 日野
百代 日野
知視 森野
知視 森野
秀好 大和
秀好 大和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6567237B2 publication Critical patent/JP6567237B2/en
Publication of JPWO2019021393A1 publication Critical patent/JPWO2019021393A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication

Description

この発明は、船舶間の距離を計測する距離計測装置および距離計測方法に関するものである。   The present invention relates to a distance measuring device and a distance measuring method for measuring a distance between ships.

特許文献1に係る物体撮影装置は、広角カメラと望遠カメラにより撮影された撮影倍率の異なる二つの映像に基づいて、撮影された共通の物体の位置を算出する。   The object photographing apparatus according to Patent Document 1 calculates the position of a common object photographed based on two images with different photographing magnifications photographed by a wide-angle camera and a telephoto camera.

特開2004−364212号公報JP 2004-364212 A

特許文献1に係る物体撮影装置は、単純に2台のカメラから視野内の同一の対象までの距離を算出する方法であり、単なる三角測量の応用に過ぎない。2台のカメラを連携させて対象までの距離を算出するにはそれなりの処理時間が必要となるため、自船舶の周囲に他船舶が多数存在する場合、他船舶ごとに2台のカメラを連携させて距離を算出することは現実的ではない。そのため、従来の物体撮影装置は、洋上を航海する船舶間の距離計測には適していないという課題があった。   The object photographing apparatus according to Patent Document 1 is simply a method for calculating the distance from two cameras to the same object in the field of view, and is merely an application of triangulation. Since a certain amount of processing time is required to calculate the distance to the target by linking two cameras, if there are many other ships around the ship, the two cameras are linked for each other ship. It is not realistic to calculate the distance. Therefore, the conventional object photographing device has a problem that it is not suitable for measuring the distance between ships sailing on the ocean.

この発明は、上記のような課題を解決するためになされたもので、自船舶に衝突する可能性がある他船舶までの距離を広角カメラと望遠カメラの画像データを用いて計測することを目的とする。   The present invention has been made to solve the above-described problems, and it is an object of the present invention to measure the distance to another ship that may collide with the ship using image data of a wide-angle camera and a telephoto camera. And

この発明に係る距離計測装置は、自船舶に設置された広角カメラによって撮影された広角画像データを取得する広角画像取得部と、広角画像データ中から他船舶の画像データを検出するとともに広角画像データにおける他船舶の座標を計算する船舶検出部と、船舶検出部により検出された他船舶の最新の画像データと過去の画像データを比較して他船舶が自船舶に接近中か離脱中かを判定する接近判定部と、自船舶に設置された望遠カメラを接近判定部により接近中と判定された他船舶へ向けて旋回させ、望遠カメラによって撮影された望遠画像データを取得する望遠画像取得部と、接近判定部により接近中と判定された他船舶の望遠画像データにおける座標を計算する座標計算部と、船舶検出部および座標計算部により計算された各座標を用いて、接近判定部により接近中と判定された他船舶と自船舶との距離を三角測量の原理により計算する三角測量部とを備えるものである。   A distance measuring apparatus according to the present invention includes a wide-angle image acquisition unit that acquires wide-angle image data captured by a wide-angle camera installed on the ship, and detects image data of another ship from the wide-angle image data and wide-angle image data. The ship detector that calculates the coordinates of other ships in the ship and the latest image data of the other ships detected by the ship detector and the past image data are compared to determine whether the other ship is approaching or leaving the ship. A telephoto image acquisition unit that rotates a telephoto camera installed on the own ship toward another ship determined to be approaching by the proximity determination unit and acquires telephoto image data captured by the telephoto camera; The coordinate calculation unit for calculating the coordinates in the telephoto image data of other ships determined to be approaching by the approach determination unit, and the coordinates calculated by the ship detection unit and the coordinate calculation unit There are, in which and a triangulation unit for calculating a distance between the other ships and ship it is determined in closer proximity decision unit in accordance with the principles of triangulation.

この発明によれば、広角カメラによって撮影された広角画像データを用いて自船舶に接近中の他船舶の検出し、広角画像データと望遠カメラによって撮影された望遠画像データとを用いて自船舶から他船舶までの距離を計算するようにしたので、自船舶に衝突する可能性がある他船舶までの距離を広角カメラと望遠カメラの画像データを用いて計測することができる。   According to the present invention, a wide-angle image data photographed by a wide-angle camera is used to detect another ship approaching the own ship, and the wide-angle image data and the telephoto image data photographed by the telephoto camera are used to detect from the own ship. Since the distance to the other ship is calculated, the distance to the other ship that may collide with the own ship can be measured using the image data of the wide-angle camera and the telephoto camera.

実施の形態1に係る距離計測装置の構成例を示すブロック図である。1 is a block diagram illustrating a configuration example of a distance measuring device according to Embodiment 1. FIG. 実施の形態1に係る距離計測装置の動作例を示すフローチャートである。3 is a flowchart illustrating an operation example of the distance measuring apparatus according to the first embodiment. 実施の形態1における広角画像データの例を示す図である。6 is a diagram illustrating an example of wide-angle image data according to Embodiment 1. FIG. 時刻t0の広角画像データにおける小領域r1が時刻t1〜t3の過去の広角画像データのどこにあるかを示す図である。It is a figure which shows where the small area | region r1 in the wide-angle image data of the time t0 exists in the past wide-angle image data of the time t1-t3. 実施の形態1の接近判定部による接近判定方法を説明する図である。6 is a diagram illustrating an approach determination method by an approach determination unit according to Embodiment 1. FIG. 実施の形態1の望遠画像取得部による望遠カメラの旋回制御を説明する図である。6 is a diagram illustrating turning control of a telephoto camera by a telephoto image acquisition unit according to Embodiment 1. FIG. 図7Aおよび図7B、図6の状況において広角カメラおよび望遠カメラが撮像した広角画像データおよび望遠画像データの例を示す図である。It is a figure which shows the example of the wide-angle image data and telephoto image data which the wide-angle camera and the telephoto camera imaged in the situation of FIG. 7A, FIG. 7B, and FIG. 実施の形態1の座標計算部によるテンプレートマッチング法を説明する図である。6 is a diagram illustrating a template matching method by a coordinate calculation unit according to Embodiment 1. FIG. 実施の形態1の三角測量部による三角測量法を説明する図である。3 is a diagram illustrating a triangulation method by a triangulation unit according to Embodiment 1. FIG. 実施の形態2に係る距離計測装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the distance measuring device which concerns on Embodiment 2. FIG. 図11Aおよび図11Bは、各実施の形態に係る距離計測装置のハードウェア構成例を示す図である。FIG. 11A and FIG. 11B are diagrams illustrating a hardware configuration example of the distance measuring device according to each embodiment.

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、実施の形態1に係る距離計測装置10の構成例を示すブロック図である。距離計測装置10は、自船舶に搭載され、自船舶に接近してくる他船舶までの距離を計測するものであり、自船舶に搭載された広角カメラ20、望遠カメラ30およびディスプレイ40に接続される。この距離計測装置10は、広角画像取得部11、船舶検出部12、接近判定部13、望遠画像取得部14、座標計算部15および三角測量部16を備える。
Hereinafter, in order to explain the present invention in more detail, modes for carrying out the present invention will be described with reference to the accompanying drawings.
Embodiment 1 FIG.
FIG. 1 is a block diagram illustrating a configuration example of a distance measuring device 10 according to the first embodiment. The distance measuring device 10 is mounted on the own ship and measures the distance to another ship approaching the own ship, and is connected to the wide-angle camera 20, the telephoto camera 30 and the display 40 mounted on the own ship. The The distance measuring device 10 includes a wide-angle image acquisition unit 11, a ship detection unit 12, an approach determination unit 13, a telephoto image acquisition unit 14, a coordinate calculation unit 15, and a triangulation unit 16.

広角カメラ20は、自船舶の周囲を広角レンズで撮像する固定カメラである。広角カメラ20は、撮像した画像データを広角画像取得部11へ出力する。なお、1台の広角カメラ20の画角では自船舶の全周囲を撮像できない場合、複数台の広角カメラ20によって自船舶の全周囲を撮像してもよい。
以下では、広角カメラ20により撮像された画像データを「広角画像データ」と称する。
The wide-angle camera 20 is a fixed camera that takes an image of the surroundings of the ship with a wide-angle lens. The wide-angle camera 20 outputs the captured image data to the wide-angle image acquisition unit 11. In addition, when the angle of view of one wide-angle camera 20 cannot capture the entire periphery of the ship, the entire periphery of the ship may be imaged by a plurality of wide-angle cameras 20.
Hereinafter, the image data captured by the wide-angle camera 20 is referred to as “wide-angle image data”.

望遠カメラ30は、望遠カメラ30を旋回させるアクチュエータ31を有する。アクチュエータ31は、望遠画像取得部14の旋回指示に従って望遠カメラ30を旋回させる。望遠カメラ30は、アクチュエータ31により旋回され望遠画像取得部14に指示された方角を望遠レンズで撮像し、画像データを望遠画像取得部14へ出力する。
以下では、望遠カメラ30により撮像された画像データを「望遠画像データ」と称する。
The telephoto camera 30 includes an actuator 31 that rotates the telephoto camera 30. The actuator 31 turns the telephoto camera 30 in accordance with the turning instruction from the telephoto image acquisition unit 14. The telephoto camera 30 is rotated by the actuator 31 and images the direction designated by the telephoto image acquisition unit 14 with the telephoto lens, and the image data is output to the telephoto image acquisition unit 14.
Hereinafter, the image data captured by the telephoto camera 30 is referred to as “telephoto image data”.

ディスプレイ40は、距離計測装置10によって計測された自船舶と他船舶との距離および自船舶と他船舶の衝突危険の指標等を表示する。   The display 40 displays the distance between the ship and the other ship measured by the distance measuring device 10, the collision risk index of the ship and the other ship, and the like.

次に、実施の形態1に係る距離計測装置10の動作例を説明する。
図2は、実施の形態1に係る距離計測装置10の動作例を示すフローチャートである。距離計測装置10は、図2のフローチャートに示される動作を繰り返す。
Next, an operation example of the distance measuring apparatus 10 according to the first embodiment will be described.
FIG. 2 is a flowchart showing an operation example of the distance measuring apparatus 10 according to the first embodiment. The distance measuring device 10 repeats the operation shown in the flowchart of FIG.

ステップST11において、広角画像取得部11は、広角カメラ20によって撮像された広角画像データを取得し、船舶検出部12へ出力する。   In step ST <b> 11, the wide-angle image acquisition unit 11 acquires wide-angle image data captured by the wide-angle camera 20 and outputs it to the ship detection unit 12.

図3は、実施の形態1における広角画像データの例を示す図である。図3では、時刻t0に撮像された広角画像データ、時刻t1に撮像された広角画像データ、時刻t2に撮像された広角画像データ、および時刻t3に撮像された広角画像データが例示される。時刻t0から順に時間を遡っており、時刻t0の広角画像データは最新のものであり、時刻t3の広角画像データは最も過去のものである。各広角画像データにおいて、画像中央付近に他船舶があり、この他船舶が画像右側に移動していることが確認される。なお、他船舶の左側に写っているものは防波堤である。   FIG. 3 is a diagram illustrating an example of wide-angle image data in the first embodiment. FIG. 3 illustrates wide-angle image data captured at time t0, wide-angle image data captured at time t1, wide-angle image data captured at time t2, and wide-angle image data captured at time t3. Time goes back in order from time t0, the wide-angle image data at time t0 is the latest, and the wide-angle image data at time t3 is the oldest. In each wide-angle image data, it is confirmed that there is another ship near the center of the image and that this other ship is moving to the right side of the image. In addition, what is reflected on the left side of another ship is a breakwater.

ステップST12において、船舶検出部12は、広角画像データ中から他船舶の画像データを検出して接近判定部13へ出力するとともに、広角画像データにおける他船舶の座標を計算して三角測量部16へ出力する。   In step ST <b> 12, the ship detection unit 12 detects image data of another ship from the wide-angle image data and outputs it to the approach determination unit 13, calculates the coordinates of the other ship in the wide-angle image data, and outputs to the triangulation unit 16. Output.

船舶検出部12は、時刻t0の最新の広角画像データを複数の小領域に分割し、それぞれの小領域が時刻t1〜t3の過去の広角画像データのどこにあるかを調べ、それぞれの小領域の時刻t1〜t3における動きに基づいて他船舶を検出する。
図4は、時刻t0の広角画像データにおける小領域r1が時刻t1〜t3の過去の広角画像データのどこにあるかを示す図である。他船舶は、短時間において画像中をほぼ同一の方向にほぼ一定の速度で移動する特徴をもつ。船舶検出部12は、この特徴を利用して他船舶の検出を行う。図4では小領域r1が時刻t1〜t3の広角画像データ中を右側にほぼ一定の速度で移動しているため、この小領域r1が他船舶として検出される。
The ship detection unit 12 divides the latest wide-angle image data at time t0 into a plurality of small areas, examines where each small area is in the past wide-angle image data at times t1 to t3, and determines each small area. Other ships are detected based on the movements at times t1 to t3.
FIG. 4 is a diagram showing where the small region r1 in the wide-angle image data at time t0 is in the past wide-angle image data at times t1 to t3. Other ships have a feature of moving in an image in the same direction at a substantially constant speed in a short time. The ship detection unit 12 detects other ships using this feature. In FIG. 4, since the small area r1 is moving to the right side in the wide-angle image data at the times t1 to t3, the small area r1 is detected as another ship.

なお、時刻t0の広角画像データにおける小領域r1が別の時刻における広角画像データ中のどこに存在するかは、テンプレートマッチングにより計算できる。テンプレートマッチングは周知の技術であるので詳細な説明は省略する。
あるいは、船舶検出部12は、人工ニューラルネットワーク等を用いた機械学習に基づいて、他船舶を検出してもよい。人工ニューラルネットワークに特定の対象物を学習させ、該否を識別させる方法については、特許第6125137号などに説明されている。
Note that where the small region r1 in the wide-angle image data at time t0 exists in the wide-angle image data at another time can be calculated by template matching. Since template matching is a well-known technique, detailed description is omitted.
Alternatively, the ship detection unit 12 may detect other ships based on machine learning using an artificial neural network or the like. A method for causing an artificial neural network to learn a specific object and discriminate whether or not to do so is described in Japanese Patent No. 6125137.

ステップST13において、接近判定部13は、船舶検出部12により検出された他船舶の最新の画像データと過去の画像データを比較して他船舶が自船舶に接近中か離脱中かを判定する。   In step ST13, the approach determination unit 13 compares the latest image data of the other ship detected by the ship detection unit 12 with the past image data, and determines whether the other ship is approaching or leaving the ship.

例えば、接近判定部13は、船舶検出部12により検出された他船舶の最新の画像データを拡大および縮小して拡大画像データおよび縮小画像データを生成し、拡大画像データおよび縮小画像データと船舶の過去の画像データとの相関係数を計算して他船舶の接近と離脱を判定する。   For example, the approach determination unit 13 generates enlarged image data and reduced image data by enlarging and reducing the latest image data of the other vessel detected by the vessel detecting unit 12. The correlation coefficient with the past image data is calculated to determine the approach and departure of other ships.

図5は、実施の形態1の接近判定部13による接近判定方法を説明する図である。接近判定部13は、船舶検出部12により検出された他船舶の座標に基づいて、時刻t0の広角画像データから他船舶の画像データを切り出し、テンプレート画像r10にする。そして、接近判定部13は、テンプレート画像r10を水平および垂直のそれぞれの方向に拡大および縮小した計9種の画像データr10〜r18からなる画像アレイを生成する。この画像アレイは、拡大および縮小前のテンプレート画像r10を含む。接近判定部13は、画像データr10〜r18のそれぞれをテンプレートに用いて、時刻t1の過去の広角画像データに対してテンプレートマッチングを行い、それぞれのテンプレートと時刻t1の広角画像データとの相関係数を計算する。接近判定部13は、垂直方向に拡大された画像データr16〜r18のいずれかと時刻t1の広角画像データとの相関係数が最大になった場合、他船舶は接近中であると判定する。一方、接近判定部13は、垂直方向に縮小された画像データr11〜r13のいずれかと時刻t1の広角画像データとの相関係数が最大になった場合、他船舶は離脱中であると判定する。なお、画像アレイとして水平方向に縮小された画像データr11、r14,r16および水平方向に拡大された画像データr13,r15,r18が必要となるのは、他船舶が自船舶に接近または離脱することとは関係無く、自船舶から見た他船舶の向きの変化により他船舶の水平方向の長さが変化した場合の接近と離脱を判定するためである。   FIG. 5 is a diagram for explaining an approach determination method by the approach determination unit 13 according to the first embodiment. The approach determination unit 13 cuts out the image data of the other ship from the wide-angle image data at the time t0 based on the coordinates of the other ship detected by the ship detection unit 12, and sets it as the template image r10. Then, the approach determination unit 13 generates an image array including a total of nine types of image data r10 to r18 obtained by enlarging and reducing the template image r10 in the horizontal and vertical directions. This image array includes a template image r10 before enlargement and reduction. The approach determination unit 13 performs template matching on the past wide-angle image data at time t1 using each of the image data r10 to r18 as a template, and a correlation coefficient between each template and the wide-angle image data at time t1. Calculate The approach determination unit 13 determines that another ship is approaching when the correlation coefficient between any of the image data r16 to r18 enlarged in the vertical direction and the wide-angle image data at time t1 is maximized. On the other hand, the approach determination unit 13 determines that the other ship is leaving when the correlation coefficient between any of the image data r11 to r13 reduced in the vertical direction and the wide-angle image data at time t1 is maximized. . Note that the image data r11, r14, r16 reduced in the horizontal direction and the image data r13, r15, r18 expanded in the horizontal direction as the image array are required because another ship approaches or leaves the ship. This is to determine approach and departure when the horizontal length of the other ship changes due to a change in the direction of the other ship as viewed from the ship.

なお、図5では接近判定部13が3×3の画像アレイを用いる例について述べたが、過去の広角画像データと最新の広角画像データとの時差または自船舶から他船舶までの距離に応じて、5×5など、他の画像数の画像アレイを用いてもよい。なお、接近判定部13は、自船舶から他船舶までの距離として、例えば、後述する実施の形態2の距離概算部17により計算された概算距離を用いる。
また、接近判定部13は、画像アレイと時刻t1の広角画像データとのテンプレートマッチングを行うだけでなく、複数の過去の広角画像データとのテンプレートマッチングを行ってもよい。その場合、接近判定部13は、複数のテンプレートマッチングの結果を統計的に処理することにより、より確実性の高い相関係数を得ることができる。
In addition, although the example in which the approach determination unit 13 uses the 3 × 3 image array is described in FIG. 5, it depends on the time difference between the past wide-angle image data and the latest wide-angle image data or the distance from the own ship to another ship. Image arrays with other numbers of images, such as 5 × 5, may be used. In addition, the approach determination part 13 uses the rough distance calculated by the distance rough calculation part 17 of Embodiment 2 mentioned later as a distance from the own ship to another ship, for example.
Further, the approach determination unit 13 may perform not only template matching between the image array and the wide-angle image data at the time t1, but also template matching with a plurality of past wide-angle image data. In that case, the approach determination unit 13 can obtain a correlation coefficient with higher certainty by statistically processing a plurality of template matching results.

ステップST14において、接近判定部13は、他船舶が接近中であると判定した場合(ステップST14“YES”)、判定結果を望遠画像取得部14へ出力してステップST15へ進み、他船舶が離脱中であると判定した場合(ステップST14“NO”)、他船舶が自船舶に衝突する可能性がないので図2のフローチャートに示される動作を終了する。   In step ST14, when the approach determination unit 13 determines that another ship is approaching (step ST14 “YES”), the determination result is output to the telephoto image acquisition unit 14, and the process proceeds to step ST15, where the other ship leaves. If it is determined that it is in the middle (step ST14 “NO”), there is no possibility that another ship will collide with the ship, so the operation shown in the flowchart of FIG.

ステップST15において、望遠画像取得部14は、アクチュエータ31に指示して望遠カメラ30を接近判定部13により接近中と判定された他船舶へ向けて旋回させ、望遠カメラ30によって撮影された望遠画像データを取得し、座標計算部15へ出力する。   In step ST <b> 15, the telephoto image acquisition unit 14 instructs the actuator 31 to turn the telephoto camera 30 toward another ship determined to be approaching by the approach determination unit 13, and telephoto image data captured by the telephoto camera 30. Is output to the coordinate calculation unit 15.

図6は、実施の形態1の望遠画像取得部14による望遠カメラ30の旋回制御を説明する図である。図6には、自船舶に搭載された広角カメラ20の位置cw、広角カメラ20の画角20a、自船舶に搭載された望遠カメラ30の位置cz、望遠カメラ30の画角30a、接近判定部13により接近中と判定された他船舶の位置s、および広角カメラ20の位置cwと望遠カメラ30の位置czとを通る仮想の直線を基線とした場合の広角カメラ20の位置cwから望遠カメラ30の位置czまでの基線の長さLが示される。望遠画像取得部14は、接近判定部13により接近中と判定された他船舶を望遠カメラ30に撮像させるために、アクチュエータ31に旋回を指示し、広角カメラ20と同じ方角に向くように望遠カメラ30の向きを制御する。   FIG. 6 is a diagram illustrating turning control of the telephoto camera 30 by the telephoto image acquisition unit 14 according to the first embodiment. 6 shows the position cw of the wide-angle camera 20 mounted on the ship, the angle of view 20a of the wide-angle camera 20, the position cz of the telephoto camera 30 mounted on the ship, the angle of view 30a of the telephoto camera 30, and an approach determination unit. The telephoto camera 30 from the position cw of the wide-angle camera 20 when the base line is a virtual straight line passing through the position s of the other ship determined to be approaching by 13 and the position cw of the wide-angle camera 20 and the position cz of the telephoto camera 30. The length L of the base line up to the position cz is shown. The telephoto image acquisition unit 14 instructs the actuator 31 to turn so as to cause the telephoto camera 30 to image the other ship determined to be approaching by the approach determination unit 13, and the telephoto camera to face the same direction as the wide-angle camera 20. 30 direction is controlled.

図7Aは、図6の状況において広角カメラ20が撮像した広角画像データの例を示す図である。図7Bは、図6の状況において望遠カメラ30が撮像した望遠画像データの例を示す図である。   FIG. 7A is a diagram illustrating an example of wide-angle image data captured by the wide-angle camera 20 in the situation of FIG. FIG. 7B is a diagram illustrating an example of telephoto image data captured by the telephoto camera 30 in the situation of FIG.

なお、図6では望遠画像取得部14は、広角カメラ20と望遠カメラ30の向きが同じになるように望遠カメラ30の向きを設定し、アクチュエータ31に旋回を指示したが、これに限定されるものではない。例えば、望遠画像取得部14は、広角カメラ20と望遠カメラ30の向きが同じになるように望遠カメラ30の向きを設定した後、望遠カメラ30の画角内に他船舶が確実に入るように、船舶検出部12により計算された広角画像データにおける他船舶の座標に基づいて望遠カメラ30の向きを微調整してもよい。また、例えば、望遠画像取得部14は、広角カメラ20に対する他船舶の方位と、後述する実施の形態2の距離概算部17により計算された概算距離とに基づいて望遠カメラ30の向きを設定してもよい。   In FIG. 6, the telephoto image acquisition unit 14 sets the orientation of the telephoto camera 30 so that the orientations of the wide-angle camera 20 and the telephoto camera 30 are the same, and instructs the actuator 31 to turn. It is not a thing. For example, the telephoto image acquisition unit 14 sets the direction of the telephoto camera 30 so that the directions of the wide-angle camera 20 and the telephoto camera 30 are the same, and then makes sure that other ships are within the angle of view of the telephoto camera 30. The direction of the telephoto camera 30 may be finely adjusted based on the coordinates of another ship in the wide-angle image data calculated by the ship detection unit 12. Further, for example, the telephoto image acquisition unit 14 sets the direction of the telephoto camera 30 based on the direction of the other ship with respect to the wide-angle camera 20 and the approximate distance calculated by the distance estimation unit 17 of the second embodiment described later. May be.

ステップST16において、座標計算部15は、接近判定部13により接近中と判定された他船舶の望遠画像データにおける座標を計算して三角測量部16へ出力する。   In step ST <b> 16, the coordinate calculation unit 15 calculates the coordinates in the telephoto image data of another ship determined to be approaching by the approach determination unit 13 and outputs the calculated coordinates to the triangulation unit 16.

図8は、実施の形態1の座標計算部15によるテンプレートマッチング法を説明する図である。
座標計算部15は、まず、広角画像データ中の他船舶の画像データを、望遠画像データ中の他船舶の画像データの大きさと一致するように拡大する。拡大率は、広角カメラ20と望遠カメラ30の焦点距離の比で決まる。広角画像データ中の他船舶の画像データを拡大した画像データを、「広角船舶画像データ」と称する。続いて、座標計算部15は、広角船舶画像データAをテンプレートに用いて、望遠画像データBに対して矢印の方向へテンプレートマッチングを行うことにより、望遠画像データBにおける他船舶を特定して座標を計算する。
FIG. 8 is a diagram for explaining a template matching method performed by the coordinate calculation unit 15 according to the first embodiment.
First, the coordinate calculation unit 15 enlarges the image data of the other ship in the wide-angle image data so as to match the size of the image data of the other ship in the telephoto image data. The enlargement ratio is determined by the ratio of the focal lengths of the wide-angle camera 20 and the telephoto camera 30. Image data obtained by enlarging image data of another ship in the wide-angle image data is referred to as “wide-angle ship image data”. Subsequently, the coordinate calculation unit 15 specifies the other ship in the telephoto image data B by performing template matching in the direction of the arrow with respect to the telephoto image data B using the wide-angle ship image data A as a template and coordinates. Calculate

ステップST17において、三角測量部16は、船舶検出部12および座標計算部15により計算された各座標を用いて、接近判定部13により接近中と判定された他船舶と自船舶との距離を三角測量の原理により計算する。そして、三角測量部16は、自船舶から他船舶までの距離を示す情報等をディスプレイ40に出力して表示させる。   In step ST17, the triangulation unit 16 uses the coordinates calculated by the vessel detection unit 12 and the coordinate calculation unit 15 to triangulate the distance between the other vessel determined to be approaching by the approach determination unit 13 and the own vessel. Calculate according to the principle of surveying. And the triangulation part 16 outputs the information etc. which show the distance from own ship to another ship on the display 40, and displays them.

図9は、実施の形態1の三角測量部16による三角測量法を説明する図である。
三角測量部16は、船舶検出部12により計算された広角画像データにおける他船舶の座標を用いて、広角カメラ20の位置cwを頂点とした基線と他船舶の位置sとのなす角度αを計算する。また、三角測量部16は、座標計算部15により計算された望遠画像データにおける他船舶の座標を用いて、望遠カメラ30の位置czを頂点とした基線と他船舶の位置sとのなす角度βを計算する。そして、三角測量部16は、式(1)を計算して基線から他船舶の位置sまでの距離d、つまり自船舶と他船舶との距離dを得る。

Figure 0006567237
FIG. 9 is a diagram for explaining the triangulation method by the triangulation unit 16 according to the first embodiment.
The triangulation unit 16 uses the coordinates of the other ship in the wide-angle image data calculated by the ship detection unit 12 to calculate an angle α between the base line having the position cw of the wide-angle camera 20 as a vertex and the position s of the other ship. To do. Further, the triangulation unit 16 uses the coordinates of the other ship in the telephoto image data calculated by the coordinate calculation unit 15, and the angle β between the base line having the position cz of the telephoto camera 30 as the vertex and the position s of the other ship. Calculate Then, the triangulation unit 16 calculates the formula (1) to obtain the distance d from the base line to the position s of the other ship, that is, the distance d between the own ship and the other ship.

Figure 0006567237

以上のように、実施の形態1に係る距離計測装置10は、広角画像取得部11、船舶検出部12、接近判定部13、望遠画像取得部14、座標計算部15、および三角測量部16を備える。広角画像取得部11は、自船舶に設置された広角カメラ20によって撮影された広角画像データを取得する。船舶検出部12は、広角画像データ中から他船舶の画像データを検出するとともに広角画像データにおける他船舶の座標を計算する。接近判定部13は、船舶検出部12により検出された他船舶の最新の画像データと過去の画像データを比較して他船舶が自船舶に接近中か離脱中かを判定する。望遠画像取得部14は、自船舶に設置された望遠カメラ30を接近判定部13により接近中と判定された他船舶へ向けて旋回させ、望遠カメラ30によって撮影された望遠画像データを取得する。座標計算部15は、接近判定部13により接近中と判定された他船舶の望遠画像データにおける座標を計算する。三角測量部16は、船舶検出部12および座標計算部15により計算された各座標を用いて、接近判定部13により接近中と判定された他船舶と自船舶との距離を三角測量の原理により計算する。これにより、自船舶に衝突する可能性がある他船舶を検出し、検出した他船舶と自船舶との距離を広角カメラ20と望遠カメラ30の画像データを用いて計測することができる。従って、広角カメラ20と望遠カメラ30を連携させて距離を計測するにはそれなりの処理時間が必要であったとしても、自船舶に接近している他船舶のみ広角カメラ20と望遠カメラ30を連携させて距離dを計測するので、他船舶と自船舶との衝突回避に有効である。   As described above, the distance measuring apparatus 10 according to Embodiment 1 includes the wide-angle image acquisition unit 11, the ship detection unit 12, the approach determination unit 13, the telephoto image acquisition unit 14, the coordinate calculation unit 15, and the triangulation unit 16. Prepare. The wide-angle image acquisition unit 11 acquires wide-angle image data captured by the wide-angle camera 20 installed on the ship. The ship detection unit 12 detects image data of another ship from the wide-angle image data and calculates the coordinates of the other ship in the wide-angle image data. The approach determination unit 13 compares the latest image data of the other ship detected by the ship detection unit 12 and past image data to determine whether the other ship is approaching or leaving the ship. The telephoto image acquisition unit 14 turns the telephoto camera 30 installed in the own ship toward another ship determined to be approaching by the approach determination unit 13 and acquires telephoto image data captured by the telephoto camera 30. The coordinate calculation unit 15 calculates the coordinates in the telephoto image data of the other ship determined to be approaching by the approach determination unit 13. The triangulation unit 16 uses the coordinates calculated by the vessel detection unit 12 and the coordinate calculation unit 15 to determine the distance between the other vessel determined to be approaching by the approach determination unit 13 and the own vessel based on the principle of triangulation. calculate. Thereby, the other ship which may collide with the own ship can be detected, and the distance between the detected other ship and the own ship can be measured using the image data of the wide-angle camera 20 and the telephoto camera 30. Therefore, even if a certain amount of processing time is required to measure the distance by linking the wide-angle camera 20 and the telephoto camera 30, the wide-angle camera 20 and the telephoto camera 30 are linked only to other ships approaching the ship. Since the distance d is measured, it is effective for avoiding a collision between another ship and the own ship.

また、実施の形態1の接近判定部13は、船舶検出部12により検出された他船舶の最新の画像データを拡大および縮小して拡大画像データおよび縮小画像データを生成し、拡大画像データおよび縮小画像データと他船舶の過去の画像データとの相関係数を計算して他船舶の接近と離脱を判定する。これにより、他船舶が自船舶に接近中か離脱中かを精度よく判定することができる。   In addition, the approach determination unit 13 according to the first embodiment enlarges and reduces the latest image data of another ship detected by the ship detection unit 12 to generate enlarged image data and reduced image data, and enlarges the image data and the reduced image data. The correlation coefficient between the image data and the past image data of the other ship is calculated to determine the approach and departure of the other ship. Thereby, it is possible to accurately determine whether another ship is approaching or leaving the ship.

実施の形態2.
図10は、実施の形態2に係る距離計測装置10の構成例を示すブロック図である。実施の形態2に係る距離計測装置10は、図1に示した実施の形態1の距離計測装置10に対して距離概算部17が追加された構成である。図10において図1と同一または相当する部分は、同一の符号を付し説明を省略する。
Embodiment 2. FIG.
FIG. 10 is a block diagram illustrating a configuration example of the distance measuring apparatus 10 according to the second embodiment. The distance measuring device 10 according to the second embodiment has a configuration in which a distance estimating unit 17 is added to the distance measuring device 10 according to the first embodiment shown in FIG. 10, parts that are the same as or correspond to those in FIG. 1 are given the same reference numerals, and descriptions thereof are omitted.

距離概算部17は、船舶検出部12により計算された他船舶の座標を用いて他船舶と自船舶との距離を概算し、概算距離を望遠画像取得部14へ出力する。   The distance approximating unit 17 estimates the distance between the other vessel and the own vessel using the coordinates of the other vessel calculated by the vessel detecting unit 12 and outputs the approximate distance to the telephoto image acquiring unit 14.

概算距離dAは、式(2)により求まる。式(2)におけるX,Y,Zは、式(3)、式(4)および式(5)により求まる。

Figure 0006567237

Figure 0006567237

Figure 0006567237

Figure 0006567237
ここで、自船舶は座標(0,0,0)にあり、X軸の正方向を向いていることとした上で、hは海面からの広角カメラ20の高さ、rは地球半径、(u,v)は広角画像データにおける他船舶の座標、(u0,v0)は広角画像データにおける中心座標、cは広角カメラ20の焦点距離、(ω,φ,κ)は広角カメラ20のローリング角とピッチング角とヨーイング角を示す。The approximate distance dA is obtained by the equation (2). X, Y, Z in the formula (2) is obtained by the formula (3), the formula (4), and the formula (5).

Figure 0006567237

Figure 0006567237

Figure 0006567237

Figure 0006567237
Here, assuming that the ship is at coordinates (0, 0, 0) and is facing the positive direction of the X axis, h is the height of the wide-angle camera 20 from the sea surface, r is the radius of the earth, ( u, v) is the coordinate of another ship in the wide-angle image data, (u0, v0) is the center coordinate in the wide-angle image data, c is the focal length of the wide-angle camera 20, and (ω, φ, κ) is the rolling angle of the wide-angle camera 20. Pitching angle and yawing angle are shown.

望遠画像取得部14は、接近判定部13により他船舶が接近中と判定され、かつ、距離概算部17により概算された距離が予め定められた閾値以下である場合に望遠カメラ30を旋回させ望遠画像データを取得する。また、三角測量部16は、自船舶と他船舶との距離を計算する。閾値は、望遠画像取得部14に対して予め与えられた値であり、他船舶が自船舶に衝突する可能性の有無を判定するための値である。
一方、望遠画像取得部14は、接近判定部13により他船舶が離脱中と判定された場合、または、距離概算部17により概算された距離が予め定められた閾値より大きい場合、望遠画像データを取得しない。そのため、三角測量部16は、自船舶と他船舶との距離を計算しない。つまり、他船舶が離脱中である場合、または、他船舶が遠くにいる場合、他船舶が自船舶に衝突する可能性が低いので、距離計測装置10による距離計測は不要である。
The telephoto image acquisition unit 14 turns the telephoto camera 30 when the approach determination unit 13 determines that another ship is approaching and the distance estimated by the distance estimation unit 17 is equal to or less than a predetermined threshold. Get image data. Further, the triangulation unit 16 calculates the distance between the own ship and another ship. The threshold value is a value given in advance to the telephoto image acquisition unit 14 and is a value for determining whether or not another ship may collide with the own ship.
On the other hand, the telephoto image acquisition unit 14 receives the telephoto image data when the approach determination unit 13 determines that another ship is leaving or when the distance estimated by the distance estimation unit 17 is greater than a predetermined threshold. Do not get. Therefore, the triangulation unit 16 does not calculate the distance between the ship and the other ship. That is, when the other ship is leaving or when the other ship is far away, the possibility of the other ship colliding with the own ship is low, and thus the distance measurement by the distance measuring device 10 is unnecessary.

以上のように、実施の形態2に係る距離計測装置10は、船舶検出部12により計算された他船舶の座標を用いて他船舶と自船舶との距離を概算する距離概算部17を備える。望遠画像取得部14は、接近判定部13により他船舶が接近中と判定され、かつ、距離概算部17により概算された距離が予め定められた閾値以下である場合に望遠カメラ30を旋回させ望遠画像データを取得する。これにより、距離計測装置10は、自船舶に衝突する可能性が低い他船舶の距離計測を行わず、処理負荷が低減可能である。広角カメラ20と望遠カメラ30を連携させて距離を計測するにはそれなりの処理時間が必要であったとしても、自船舶との概算距離dが近い上に自船舶に接近している他船舶のみ広角カメラ20と望遠カメラ30を連携させて距離dを計測するので、他船舶と自船舶との衝突回避にさらに有効である。   As described above, the distance measuring device 10 according to the second embodiment includes the distance estimating unit 17 that approximates the distance between the other vessel and the own vessel using the coordinates of the other vessel calculated by the vessel detecting unit 12. The telephoto image acquisition unit 14 turns the telephoto camera 30 when the approach determination unit 13 determines that another ship is approaching and the distance estimated by the distance estimation unit 17 is equal to or less than a predetermined threshold. Get image data. Thereby, the distance measuring device 10 can reduce the processing load without performing distance measurement of other ships that are unlikely to collide with the own ship. Even if it takes a certain amount of processing time to measure the distance by linking the wide-angle camera 20 and the telephoto camera 30, only the other ship that is close to the ship and that has an approximate distance d to the ship is close. Since the distance d is measured by linking the wide-angle camera 20 and the telephoto camera 30, it is further effective in avoiding a collision between another ship and the own ship.

最後に、各実施の形態に係る距離計測装置10のハードウェア構成例を説明する。
図11Aおよび図11Bは、各実施の形態に係る距離計測装置10のハードウェア構成図である。距離計測装置10における広角画像取得部11、船舶検出部12、接近判定部13、望遠画像取得部14、座標計算部15、三角測量部16および距離概算部17の各機能は、処理回路により実現される。即ち、距離計測装置10は、上記各機能を実現するための処理回路を備える。処理回路は、専用のハードウェアとしての処理回路100であってもよいし、メモリ101に格納されるプログラムを実行するプロセッサ102であってもよい。処理回路100またはプロセッサ102と、メモリ101と、広角カメラ20と、望遠カメラ30と、アクチュエータ31と、ディスプレイ40は、電気的に接続されている。広角カメラ20および望遠カメラ30によって撮像された画像データはメモリ101に格納される。
Finally, a hardware configuration example of the distance measuring apparatus 10 according to each embodiment will be described.
11A and 11B are hardware configuration diagrams of the distance measuring device 10 according to each embodiment. The functions of the wide-angle image acquisition unit 11, the ship detection unit 12, the approach determination unit 13, the telephoto image acquisition unit 14, the coordinate calculation unit 15, the triangulation unit 16, and the distance estimation unit 17 in the distance measurement device 10 are realized by a processing circuit. Is done. That is, the distance measuring device 10 includes a processing circuit for realizing the above functions. The processing circuit may be the processing circuit 100 as dedicated hardware or the processor 102 that executes a program stored in the memory 101. The processing circuit 100 or the processor 102, the memory 101, the wide-angle camera 20, the telephoto camera 30, the actuator 31, and the display 40 are electrically connected. Image data captured by the wide-angle camera 20 and the telephoto camera 30 is stored in the memory 101.

図11Aに示すように、処理回路は専用のハードウェアである場合、処理回路100は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、またはこれらを組み合わせたものが該当する。広角画像取得部11、船舶検出部12、接近判定部13、望遠画像取得部14、座標計算部15、三角測量部16および距離概算部17の機能を複数の処理回路100で実現してもよいし、各部の機能をまとめて1つの処理回路100で実現してもよい。   As shown in FIG. 11A, when the processing circuit is dedicated hardware, the processing circuit 100 is, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, or an ASIC (Application Specific Integrated Circuit). , FPGA (Field Programmable Gate Array), or a combination thereof. The functions of the wide-angle image acquisition unit 11, the ship detection unit 12, the approach determination unit 13, the telephoto image acquisition unit 14, the coordinate calculation unit 15, the triangulation unit 16, and the distance estimation unit 17 may be realized by a plurality of processing circuits 100. However, the functions of the respective units may be realized by a single processing circuit 100.

図11Bに示すように、処理回路がプロセッサ102である場合、広角画像取得部11、船舶検出部12、接近判定部13、望遠画像取得部14、座標計算部15、三角測量部16および距離概算部17の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ101に格納される。プロセッサ102は、メモリ101に格納されたプログラムを読みだして実行することにより、各部の機能を実現する。即ち、距離計測装置10は、プロセッサ102により実行されるときに、図2のフローチャートで示されるステップが結果的に実行されることになるプログラムを格納するためのメモリ101を備える。また、このプログラムは、広角画像取得部11、船舶検出部12、接近判定部13、望遠画像取得部14、座標計算部15、三角測量部16および距離概算部17の手順または方法をコンピュータに実行させるものであるとも言える。   As shown in FIG. 11B, when the processing circuit is the processor 102, the wide-angle image acquisition unit 11, the ship detection unit 12, the approach determination unit 13, the telephoto image acquisition unit 14, the coordinate calculation unit 15, the triangulation unit 16, and the distance estimation Each function of the unit 17 is realized by software, firmware, or a combination of software and firmware. Software or firmware is described as a program and stored in the memory 101. The processor 102 reads out and executes the program stored in the memory 101, thereby realizing the function of each unit. That is, the distance measuring device 10 includes a memory 101 for storing a program that, when executed by the processor 102, results in the steps shown in the flowchart of FIG. In addition, this program executes the procedure or method of the wide-angle image acquisition unit 11, the ship detection unit 12, the approach determination unit 13, the telephoto image acquisition unit 14, the coordinate calculation unit 15, the triangulation unit 16, and the distance estimation unit 17 on a computer. It can be said that

ここで、プロセッサ102とは、CPU(Central Processing Unit)、処理装置、演算装置、マイクロプロセッサ、またはマイクロコンピュータ等のことである。
メモリ101は、RAM(Random Access Memory)、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、またはフラッシュメモリ等の不揮発性もしくは揮発性の半導体メモリであってもよいし、ハードディスクまたはフレキシブルディスク等の磁気ディスクであってもよいし、CD(Compact Disc)またはDVD(Digital Versatile Disc)等の光ディスクであってもよい。
Here, the processor 102 is a CPU (Central Processing Unit), a processing device, an arithmetic device, a microprocessor, a microcomputer, or the like.
The memory 101 may be a RAM (Random Access Memory), a ROM (Read Only Memory), an EPROM (Erasable Programmable ROM), or a nonvolatile or volatile semiconductor memory such as a flash memory, a hard disk, a flexible disk, or the like. The magnetic disk may be an optical disk such as a CD (Compact Disc) or a DVD (Digital Versatile Disc).

なお、広角画像取得部11、船舶検出部12、接近判定部13、望遠画像取得部14、座標計算部15、三角測量部16および距離概算部17の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、距離計測装置10における処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。   Note that some of the functions of the wide-angle image acquisition unit 11, the ship detection unit 12, the approach determination unit 13, the telephoto image acquisition unit 14, the coordinate calculation unit 15, the triangulation unit 16, and the distance estimation unit 17 are partially dedicated hardware. It may be realized by a part, and a part may be realized by software or firmware. As described above, the processing circuit in the distance measuring apparatus 10 can realize the above-described functions by hardware, software, firmware, or a combination thereof.

なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。   In the present invention, within the scope of the invention, any combination of each embodiment, any component of each embodiment can be modified, or any component of each embodiment can be omitted.

この発明に係る距離計測装置は、自船舶に接近中の他船舶までの距離を計測するようにしたので、衝突の可能性がある他船舶を自動的に検出する距離計測装置などに用いるのに適している。   Since the distance measuring device according to the present invention measures the distance to the other vessel approaching the own vessel, the distance measuring device is used for a distance measuring device that automatically detects other vessels having a possibility of collision. Is suitable.

10 距離計測装置、11 広角画像取得部、12 船舶検出部、13 接近判定部、14 望遠画像取得部、15 座標計算部、16 三角測量部、17 距離概算部、20 広角カメラ、20a,30a 画角、30 望遠カメラ、31 アクチュエータ、40 ディスプレイ、100 処理回路、101 メモリ、102 プロセッサ、A 広角船舶画像データ、B 望遠画像データ、cw 広角カメラの位置、cz 望遠カメラの位置、L 基線の長さ、r1 小領域、r10〜r18 画像データ、s 他船舶の位置、t0〜t3 時刻。   DESCRIPTION OF SYMBOLS 10 Distance measuring device, 11 Wide-angle image acquisition part, 12 Ship detection part, 13 Approach determination part, 14 Telephoto image acquisition part, 15 Coordinate calculation part, 16 Triangulation part, 17 Distance estimation part, 20 Wide-angle camera, 20a, 30a Angle, 30 Telephoto camera, 31 Actuator, 40 Display, 100 Processing circuit, 101 Memory, 102 Processor, A Wide-angle ship image data, B Telephoto image data, cw Wide-angle camera position, cz Telephoto camera position, L Base length , R1 small area, r10 to r18 image data, s position of other ship, t0 to t3 time.

Claims (4)

自船舶に設置された広角カメラによって撮影された広角画像データを取得する広角画像取得部と、
前記広角画像データ中から他船舶の画像データを検出するとともに前記広角画像データにおける前記他船舶の座標を計算する船舶検出部と、
前記船舶検出部により検出された前記他船舶の最新の画像データと過去の画像データを比較して前記他船舶が前記自船舶に接近中か離脱中かを判定する接近判定部と、
前記自船舶に設置された望遠カメラを前記接近判定部により接近中と判定された前記他船舶へ向けて旋回させ、前記望遠カメラによって撮影された望遠画像データを取得する望遠画像取得部と、
前記接近判定部により接近中と判定された前記他船舶の前記望遠画像データにおける座標を計算する座標計算部と、
前記船舶検出部および前記座標計算部により計算された各座標を用いて、前記接近判定部により接近中と判定された前記他船舶と前記自船舶との距離を三角測量の原理により計算する三角測量部とを備える距離計測装置。
A wide-angle image acquisition unit that acquires wide-angle image data captured by a wide-angle camera installed in the ship;
A ship detection unit that detects image data of another ship from the wide-angle image data and calculates coordinates of the other ship in the wide-angle image data;
An approach determination unit that determines whether the other ship is approaching or leaving the own ship by comparing the latest image data and past image data of the other ship detected by the ship detection unit;
A telephoto image acquisition unit that rotates a telephoto camera installed in the ship to the other ship determined to be approaching by the approach determination unit, and acquires telephoto image data captured by the telephoto camera;
A coordinate calculation unit that calculates coordinates in the telephoto image data of the other ship determined to be approaching by the approach determination unit;
Triangulation that calculates the distance between the other ship determined to be approaching by the approach determination unit and the own ship based on the principle of triangulation using the coordinates calculated by the ship detection unit and the coordinate calculation unit. And a distance measuring device.
前記接近判定部は、前記船舶検出部により検出された前記他船舶の最新の画像データを拡大および縮小して拡大画像データおよび縮小画像データを生成し、前記拡大画像データおよび前記縮小画像データと前記他船舶の過去の画像データとの相関係数を計算して前記他船舶の接近と離脱を判定することを特徴とする請求項1記載の距離計測装置。   The approach determination unit enlarges and reduces the latest image data of the other ship detected by the ship detection unit to generate enlarged image data and reduced image data, and the enlarged image data, the reduced image data, and the The distance measuring device according to claim 1, wherein a correlation coefficient with past image data of another ship is calculated to determine approaching and leaving of the other ship. 前記船舶検出部により計算された前記他船舶の座標を用いて前記他船舶と前記自船舶との距離を概算する距離概算部を備え、
前記望遠画像取得部は、前記接近判定部により前記他船舶が接近中と判定され、かつ、前記距離概算部により概算された距離が予め定められた閾値以下である場合に前記望遠カメラを旋回させ望遠画像データを取得することを特徴とする請求項1または請求項2記載の距離計測装置。
A distance estimation unit that approximates the distance between the other vessel and the own vessel using the coordinates of the other vessel calculated by the vessel detection unit,
The telephoto image acquiring unit turns the telephoto camera when the approach determining unit determines that the other ship is approaching and the distance estimated by the distance estimating unit is equal to or less than a predetermined threshold. The distance measuring device according to claim 1, wherein telephoto image data is acquired.
広角画像取得部が、自船舶に設置された広角カメラによって撮影された広角画像データを取得するステップと、
船舶検出部が、前記広角画像データ中から他船舶の画像データを検出するとともに前記広角画像データにおける前記他船舶の座標を計算するステップと、
接近判定部が、前記船舶検出部により検出された前記他船舶の最新の画像データと過去の画像データを比較して前記他船舶が前記自船舶に接近中か離脱中かを判定するステップと、
望遠画像取得部が、前記自船舶に設置された望遠カメラを前記接近判定部により接近中と判定された前記他船舶へ向けて旋回させ、前記望遠カメラによって撮影された望遠画像データを取得するステップと、
座標計算部が、前記接近判定部により接近中と判定された前記他船舶の前記望遠画像データにおける座標を計算するステップと、
三角測量部が、前記船舶検出部および前記座標計算部により計算された各座標を用いて、前記接近判定部により接近中と判定された前記他船舶と前記自船舶との距離を三角測量の原理により計算するステップとを備える距離計測方法。
A wide-angle image acquisition unit acquiring wide-angle image data captured by a wide-angle camera installed on the ship;
A ship detecting unit detecting image data of another ship from the wide-angle image data and calculating coordinates of the other ship in the wide-angle image data;
An approach determining unit comparing the latest image data of the other ship detected by the ship detecting unit and past image data to determine whether the other ship is approaching or leaving the own ship;
A step of a telephoto image acquiring unit turning a telephoto camera installed on the own ship toward the other ship determined to be approaching by the approach determining unit, and acquiring telephoto image data captured by the telephoto camera; When,
A coordinate calculating unit calculating coordinates in the telephoto image data of the other ship determined to be approaching by the approach determining unit;
The triangulation section uses the coordinates calculated by the ship detection section and the coordinate calculation section to determine the distance between the other ship determined to be approaching by the approach determination section and the own ship, and the principle of triangulation A distance measurement method comprising the step of calculating according to
JP2019528615A 2017-07-26 2017-07-26 Distance measuring device and distance measuring method Active JP6567237B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/027061 WO2019021393A1 (en) 2017-07-26 2017-07-26 Distance measurement device and distance measurement method

Publications (2)

Publication Number Publication Date
JP6567237B2 true JP6567237B2 (en) 2019-08-28
JPWO2019021393A1 JPWO2019021393A1 (en) 2019-11-07

Family

ID=65040438

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019528615A Active JP6567237B2 (en) 2017-07-26 2017-07-26 Distance measuring device and distance measuring method

Country Status (2)

Country Link
JP (1) JP6567237B2 (en)
WO (1) WO2019021393A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763484A (en) * 2021-09-17 2021-12-07 交通运输部水运科学研究所 Ship target positioning and speed estimation method based on video image analysis technology

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3516067B2 (en) * 1994-04-26 2004-04-05 川崎重工業株式会社 Image creation method and image creation device for depalletizing
JP2004280547A (en) * 2003-03-17 2004-10-07 Matsushita Electric Ind Co Ltd Individual identification device
JP4198536B2 (en) * 2003-06-09 2008-12-17 富士通株式会社 Object photographing apparatus, object photographing method and object photographing program
WO2006102371A2 (en) * 2005-03-22 2006-09-28 Pinotage, L.L.C. Imaging device assembly

Also Published As

Publication number Publication date
JPWO2019021393A1 (en) 2019-11-07
WO2019021393A1 (en) 2019-01-31

Similar Documents

Publication Publication Date Title
JP4926127B2 (en) Front imaging control device for moving body
JP3600755B2 (en) Face image processing device
JP5613041B2 (en) Camera device, image processing system, and image processing method
JP7077910B2 (en) Bound line detection device and lane marking method
JP6515650B2 (en) Calibration apparatus, distance measuring apparatus and calibration method
JP2009064410A (en) Method for detecting moving objects in blind spot of vehicle and blind spot detection device
US11928805B2 (en) Information processing apparatus, information processing method, and storage medium for defect inspection and detection
JP5834933B2 (en) Vehicle position calculation device
BR112016010089B1 (en) moving body position estimating device and moving body position estimating method
JP4660569B2 (en) Object detection apparatus and object detection method
Wang et al. Improvement in real-time obstacle detection system for USV
KR102530847B1 (en) Method and device for monitoring harbor and ship
JP6116765B1 (en) Object detection apparatus and object detection method
JP4361913B2 (en) Motion calculation device
JP6567237B2 (en) Distance measuring device and distance measuring method
JP4026641B2 (en) Object detection apparatus and object detection method
JP6734994B2 (en) Stereo measuring device and system
JP7347644B2 (en) Object ranging device, method, and program
JP5272818B2 (en) Image processing apparatus and method, and program
US20200410694A1 (en) Object detection device, object detection system, object detection method, and non-transitory computer-readable medium storing program
WO2016207934A1 (en) Characteristic selecting device, moving state measuring device, moving state measuring system, work machine, and vehicle
CN116612459B (en) Target detection method, target detection device, electronic equipment and storage medium
KR102604408B1 (en) LiDAR-based map generation method and apparatus thereof
Griesser et al. CNN-based monocular 3D ship detection using inverse perspective
TWI824789B (en) Hybrid system for vehicle detection and hybrid method for vehicle detection

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190527

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190527

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190730

R150 Certificate of patent or registration of utility model

Ref document number: 6567237

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250