JP7328378B2 - 水域物体検出システム、船舶および周辺物体検出システム - Google Patents
水域物体検出システム、船舶および周辺物体検出システム Download PDFInfo
- Publication number
- JP7328378B2 JP7328378B2 JP2022004596A JP2022004596A JP7328378B2 JP 7328378 B2 JP7328378 B2 JP 7328378B2 JP 2022004596 A JP2022004596 A JP 2022004596A JP 2022004596 A JP2022004596 A JP 2022004596A JP 7328378 B2 JP7328378 B2 JP 7328378B2
- Authority
- JP
- Japan
- Prior art keywords
- feature point
- distance
- control unit
- imaging unit
- hull
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 65
- 230000002093 peripheral effect Effects 0.000 title claims description 14
- 238000003384 imaging method Methods 0.000 claims description 168
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 108
- 238000005259 measurement Methods 0.000 claims description 31
- 230000007423 decrease Effects 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 9
- 238000000034 method Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/203—Specially adapted for sailing ships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
- B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING
- B63B49/00—Arrangements of nautical instruments or navigational aids
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
- B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING
- B63B79/00—Monitoring properties or operating parameters of vessels in operation
- B63B79/40—Monitoring properties or operating parameters of vessels in operation for controlling the operation of vessels, e.g. monitoring their speed, routing or maintenance schedules
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/0206—Control of position or course in two dimensions specially adapted to water vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Ocean & Marine Engineering (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- Chemical & Material Sciences (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Aviation & Aerospace Engineering (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Measurement Of Optical Distance (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Description
この発明は、水域物体検出システム、船舶および周辺物体検出システムに関し、特に、撮像部を備え、撮像部により撮像した画像に基づいて周辺マップを作成する水域物体検出システム、船舶および周辺物体検出システムに関する。
従来、撮像部を備え、撮像部により撮像した画像に基づいて環境地図(周辺マップ)を作成する自立移動型ロボットが知られている(たとえば、非特許文献1参照)。
上記非特許文献1には、撮像部と、制御部とを備える自立移動型ロボットが開示されている。自立移動型ロボットの制御部は、撮像部により撮像した画像に基づいて、自立移動型ロボットの姿勢および位置とともに、自立移動型ロボットの周辺の物体までの距離を検出することにより、周辺の環境地図(周辺マップ)を作成するように構成されている。この際、制御部は、物体を示す計測点(特徴点)を検出するとともに、計測点の周囲に、自立移動型ロボットの周辺の物体が確率的に分布している確率分布範囲(物体存在範囲)を設けて、環境地図に示すように構成されている。すなわち、環境地図には、物体が確率的に分布している確率分布範囲である、自立移動型ロボットの移動を妨げる物体が存在している可能性が高い範囲が示される。
なお、制御部は、距離測定誤差を考慮して、撮像部から物体までの距離が大きくなるにつれて、上記の確率分布範囲(物体存在範囲)を大きくするように構成されている。詳細には、撮像部から物体までの距離が大きくなるにつれて距離測定誤差が大きくなるため、制御部は、確率分布範囲(物体存在範囲)も、距離測定誤差に合わせて大きくする。反対に、撮像部から物体までの距離が小さくなるにつれて距離測定誤差が小さくなるため、制御部は、確率分布範囲(物体存在範囲)も、距離測定誤差に合わせて小さくする。
洪起範、鈴木健嗣、橋本周司、「自律移動型ロボットのための3次元環境認識と地図生成」、情報処理学会第66回全国大会、早稲田大学理工学部応用物理学科、2-453頁~2-454頁
ここで、上記非特許文献1には明記されてはいないが、撮像部を利用して移動体の周辺の環境地図(周辺マップ)を作成する技術には、制御のリアルタイム性(応答性)を考慮して撮像した画像から物体を示す計測点(特徴点)を少なく検出して環境地図を作成する技術がある。
上記非特許文献1に記載の自立移動型ロボットにおいて、制御のリアルタイム性を考慮して計測点の数を少なくする上記の環境地図の作成技術を採用したとすると、撮像部が物体の近くにある程、距離測定誤差に合わせて、自立移動型ロボットの周辺の物体が確率的に分布している確率分布範囲(物体存在範囲)が小さくなるため、確率分布範囲(物体存在範囲)が小さくなりすぎることがある。その結果、本来物体が存在する部分が確率分布範囲(物体存在範囲)に含まれずに、隣接する確率分布範囲(物体存在範囲)の間に隙間が生じることがある。このため、撮像部の近くの物体をより正確に示す環境地図を作成することが望まれている。
この発明は、上記のような課題を解決するためになされたものであり、この発明の1つの目的は、撮像部の近くの物体をより正確に示す水域マップ(周辺マップ)を作成することが可能な水域物体検出システム、船舶および周辺物体検出システムを提供することである。
上記の課題を解決するために、この発明の第1の局面による水域物体検出システムは、船体に設けられ、船体の周辺の画像を撮像する撮像部と、撮像部により撮像した画像に基づいて、画像内の物体に対応する特徴点を特徴点までの距離とともに検出することによって、特徴点の周囲に、物体が存在する可能性を含む物体存在範囲を設けた水域マップを作成する制御を行う制御部と、を備え、制御部は、船体の撮像部から物体に対応する特徴点までの距離が小さくなるにつれて物体存在範囲を小さくするとともに、撮像部から特徴点までの距離が所定距離以下の場合には、物体存在範囲の大きさを下限値に設定するように構成されている。
この第1の局面による水域物体検出システムでは、上記のように、物体が存在する可能性を含む物体存在範囲を設けた水域マップを作成する制御部を設け、制御部を、船体の撮像部から物体に対応する特徴点までの距離が小さくなるにつれて物体存在範囲を小さくするとともに、撮像部から特徴点までの距離が所定距離以下の場合には、物体存在範囲の大きさを下限値に設定するように構成する。これによって、撮像部から特徴点までの距離が所定距離以下となるような撮像部が物体の比較的近くにある場合に、物体存在範囲の大きさが下限値に設定されるので、物体存在範囲の大きさが小さくなりすぎることを防ぐことができる。このため、水域マップにおいて、本来物体が存在する部分が物体存在範囲に含まれずに隣接する物体存在範囲の間に隙間が生じることを抑制することができる。したがって、撮像部の近くの物体をより正確に示す水域マップを作成することができる。
上記第1の局面による水域物体検出システムにおいて、好ましくは、下限値は、撮像部から特徴点までの距離が所定距離以下の場合において、同一の物体に対応する複数の特徴点に対して設けられた複数の物体存在範囲について、複数の物体存在範囲の一部が互いに重なり合うように設定されている。このように構成すれば、撮像部から特徴点までの距離が所定距離以下の場合、すなわち同一の物体に対応する複数の特徴点に対して設けられた複数の物体存在範囲の各々が比較的小さい場合において、複数の物体存在範囲の一部が互いに重なり合うように設定されるので、本来物体が存在する部分が物体存在範囲に含まれずに隣接する物体存在範囲の間に隙間が生じることをより確実に抑制することができる。したがって、撮像部の近くの物体をより一層正確に示す水域マップを作成することができる。
上記第1の局面による水域物体検出システムにおいて、好ましくは、制御部は、物体である岸構造体に向けて船体を自動で移動させることにより、船体を自動的に着岸させるように構成されている。このように構成すれば、船体を岸構造体に容易に着岸させることができる。
この場合、好ましくは、制御部は、船体を自動的に着岸させる際に、船体と岸構造体との間に物体である障害物が存在する場合には、物体存在範囲の大きさが下限値以上に設定され、かつ、障害物に対応する特徴点の周囲の物体存在範囲を避ける移動ルートを設定して、移動ルートに沿って船体を自動で移動させるように構成されている。このように構成すれば、岸構造体を示す複数の物体存在範囲の大きさを下限値以上に設定することができるので、岸構造体を示す複数の物体存在範囲の間の隙間を埋めることができる。その結果、船体を岸構造体に自動で着岸させる際に、船体が障害物に接触することを抑制することができる。
上記第1の局面による水域物体検出システムにおいて、好ましくは、制御部は、撮像部から特徴点までの距離が所定距離よりも大きい場合には、撮像部から特徴点までの距離が大きくなるに伴い2次関数的に増大する距離測定誤差に応じて、物体存在範囲の大きさを変更するように構成されている。このように構成すれば、撮像部から特徴点までの距離が所定距離よりも大きい場合において、物体存在範囲の大きさを、距離測定誤差を考慮した適度な大きさに設定することができる。このため、撮像部により撮像された物体をより正確に示す水域マップを作成することができる。
上記第1の局面による水域物体検出システムにおいて、好ましくは、制御部は、水平面内において物体存在範囲を設けることにより、水平方向に広がる2次元の水域マップを作成するように構成されている。このように構成すれば、上下方向(高さ方向)を考慮した3次元の水域マップを作成する場合と比較して、制御部の処理負荷を軽減することができるので、制御のリアルタイム性(応答性)を向上させることができる。
上記第1の局面による水域物体検出システムにおいて、好ましくは、制御部は、撮像部の所定数の撮像フレーム毎に、画像内の物体に対応する特徴点を特徴点までの距離とともに検出しなおすことによって、水域マップを更新するように構成されている。このように構成すれば、ベイズ推定などの推定手法を行う際に、事後確率をより早期に収束させること(物体のある所はより高確率に、物体のない所はより低確率にすること)が可能となる。
この場合、好ましくは、制御部は、ベイズ推定を利用して水域マップを更新するように構成されており、物体存在範囲に対しては初期確率および事前確率よりも大きな現在確率を割り当てるとともに、物体存在範囲の外側の範囲に対しては初期確率および事前確率よりも小さな現在確率を割り当てることにより、ベイズ推定を利用して事後確率を算出するように構成されている。このように構成すれば、所定のフレームにおいて泡などノイズが発生したとしても、繰り返しベイズ推定を行い水域マップを更新することにより、泡などのノイズが消えた後に、水域マップにおいてノイズの存在する確率を小さくしていくことができるので、水域マップからノイズを確実に除去することができる。
上記第1の局面による水域物体検出システムにおいて、好ましくは、撮像部は、船体の異なる位置に離間して配置された2つの撮像用受光部を含み、制御部は、2つの撮像用受光部を用いて、撮像部から特徴点までの距離測定を行うように構成されている。このように構成すれば、2つの撮像用受光部により同時に異なる2つの画像を撮像して、三角測量法により特徴点までの距離測定を行うことができるので、単一の撮像装置により異なる時点に異なる位置からの2つの画像を撮像して、三角測量法により特徴点までの距離測定を行う場合と比較して、距離測定の精度を向上させることができる。
上記第1の局面による水域物体検出システムにおいて、好ましくは、船体に設けられ、水域マップを表示する表示部をさらに備え、制御部は、表示部の1つのピクセルに1つの特徴点を表示するとともに、特徴点を表示する1つのピクセルの周囲に真円形状の物体存在範囲を設けて表示部に表示する制御を行うように構成されている。このように構成すれば、特徴点からの距離が等しくなる位置に物体存在範囲の境界を設けて、撮像部により撮像された物体をより正確に示す水域マップを作成することができる。
上記第1の局面による水域物体検出システムにおいて、好ましくは、制御部は、撮像部から特徴点までの所定距離を15m以上25m以下の所定の大きさに設定して、撮像部から特徴点までの距離が所定距離以下の場合には、物体存在範囲の大きさを下限値に設定するように構成されている。このように構成すれば、船体の比較的近傍の範囲である撮像部から特徴点までの所定距離が15m以上25m以下の所定の範囲内で、物体存在範囲の大きさを下限値に設定して、物体をより正確に示す水域マップを作成することができる。
この発明の第2の局面による船舶は、船体と、船体に設けられる水域物体検出システムと、を備え、水域物体検出システムは、船体に設けられ、船体の周辺の画像を撮像する撮像部と、撮像部により撮像した画像に基づいて、画像内の物体に対応する特徴点を特徴点までの距離とともに検出することによって、特徴点の周囲に、物体が存在する可能性を含む物体存在範囲を設けた水域マップを作成する制御を行う制御部と、を、含み、制御部は、船体の撮像部から物体に対応する特徴点までの距離が小さくなるにつれて物体存在範囲を小さくするとともに、撮像部から特徴点までの距離が所定距離以下の場合には、物体存在範囲の大きさを下限値に設定するように構成されている。
この第2の局面による船舶では、上記のように、物体が存在する可能性を含む物体存在範囲を設けた水域マップを作成する制御部を設け、制御部を、船体の撮像部から物体に対応する特徴点までの距離が小さくなるにつれて物体存在範囲を小さくするとともに、撮像部から特徴点までの距離が所定距離以下の場合には、物体存在範囲の大きさを下限値に設定するように構成する。これによって、撮像部から特徴点までの距離が所定距離以下となるような撮像部が物体の比較的近くにある場合に、物体存在範囲の大きさが下限値に設定されるので、物体存在範囲の大きさが小さくなりすぎることを防ぐことができる。このため、水域マップにおいて、本来物体が存在する部分が物体存在範囲に含まれずに隣接する物体存在範囲の間に隙間が生じることを抑制することができる。したがって、撮像部の近くの物体をより正確に示す水域マップを作成することができる。
上記第2の局面による船舶において、好ましくは、下限値は、撮像部から特徴点までの距離が所定距離以下の場合において、同一の物体に対応する複数の特徴点に対して設けられた複数の物体存在範囲について、複数の物体存在範囲の一部が互いに重なり合うように設定されている。このように構成すれば、撮像部から特徴点までの距離が所定距離以下の場合、すなわち同一の物体に対応する複数の特徴点に対して設けられた複数の物体存在範囲の各々が比較的小さい場合において、複数の物体存在範囲の一部が互いに重なり合うように設定されるので、本来物体が存在する部分が物体存在範囲に含まれずに隣接する物体存在範囲の間に隙間が生じることをより確実に抑制することができる。したがって、撮像部の近くの物体をより一層正確に示す水域マップを作成することができる。
上記第2の局面による船舶において、好ましくは、制御部は、物体である岸構造体に向けて船体を自動で移動させることにより、船体を自動的に着岸させるように構成されている。このように構成すれば、船体を岸構造体に容易に着岸させることができる。
この場合、好ましくは、制御部は、船体を自動的に着岸させる際に、船体と岸構造体との間に物体である障害物が存在する場合には、物体存在範囲の大きさが下限値以上に設定され、かつ、障害物に対応する特徴点の周囲の物体存在範囲を避ける移動ルートを設定して、移動ルートに沿って船体を自動で移動させるように構成されている。このように構成すれば、岸構造体を示す複数の物体存在範囲の大きさを下限値以上に設定することができるので、岸構造体を示す複数の物体存在範囲の間の隙間を埋めることができる。その結果、船体を岸構造体に自動で着岸させる際に、船体が障害物に接触することを抑制することができる。
上記第2の局面による船舶において、好ましくは、制御部は、撮像部から特徴点までの距離が所定距離よりも大きい場合には、撮像部から特徴点までの距離が大きくなるに伴い2次関数的に増大する距離測定誤差に応じて、物体存在範囲の大きさを変更するように構成されている。このように構成すれば、撮像部から特徴点までの距離が所定距離よりも大きい場合において、物体存在範囲の大きさを、距離測定誤差を考慮した適度な大きさに設定することができる。このため、撮像部により撮像された物体をより正確に示す水域マップを作成することができる。
上記第2の局面による船舶において、好ましくは、制御部は、水平面内において物体存在範囲を設けることにより、水平方向に広がる2次元の水域マップを作成するように構成されている。このように構成すれば、上下方向(高さ方向)を考慮した3次元の水域マップを作成する場合と比較して、制御部の処理負荷を軽減することができるので、制御のリアルタイム性(応答性)を向上させることができる。
上記第2の局面による船舶において、好ましくは、制御部は、撮像部の所定数の撮像フレーム毎に、画像内の物体に対応する特徴点を特徴点までの距離とともに検出しなおすことによって、水域マップを更新するように構成されている。このように構成すれば、撮像部のすべての撮像フレーム毎に画像内の物体に対応する特徴点を特徴点までの距離とともに検出しなおす場合と比較して、制御部の処理負荷を軽減することができるので、制御のリアルタイム性を向上させることができる。
この場合、好ましくは、制御部は、ベイズ推定を利用して水域マップを更新するように構成されており、物体存在範囲に対しては初期確率および事前確率よりも大きな現在確率を割り当てるとともに、物体存在範囲の外側の範囲に対しては初期確率および事前確率よりも小さな現在確率を割り当てることにより、ベイズ推定を利用して事後確率を算出するように構成されている。このように構成すれば、所定のフレームにおいて泡などノイズが発生したとしても、繰り返しベイズ推定を行い水域マップを更新することにより、泡などのノイズが消えた後に、水域マップにおいてノイズの存在する確率を小さくしていくことができるので、水域マップからノイズを確実に除去することができる。
この発明の第3の局面による周辺物体検出システムは、移動体に設けられ、移動体の周辺の画像を撮像する撮像部と、撮像部により撮像した画像に基づいて、画像内の物体に対応する特徴点を特徴点までの距離とともに検出することによって、特徴点の周囲に、物体が存在する可能性を含む物体存在範囲を設けた周辺マップを作成する制御を行う制御部と、を備え、制御部は、移動体の撮像部から物体に対応する特徴点までの距離が小さくなるにつれて物体存在範囲を小さくするとともに、撮像部から特徴点までの距離が所定距離以下の場合には、物体存在範囲の大きさを下限値に設定するように構成されている、周辺物体検出システム。
この第3の局面による周辺物体検出システムでは、上記のように、物体が存在する可能性を含む物体存在範囲を設けた周辺マップを作成する制御部を設け、制御部を、移動体の撮像部から物体に対応する特徴点までの距離が小さくなるにつれて物体存在範囲を小さくするとともに、撮像部から特徴点までの距離が所定距離以下の場合には、物体存在範囲の大きさを下限値に設定するように構成する。これによって、撮像部から特徴点までの距離が所定距離以下となるような撮像部が物体の比較的近くにある場合に、物体存在範囲の大きさが下限値に設定されるので、物体存在範囲の大きさが小さくなりすぎることを防ぐことができる。このため、周辺マップにおいて、本来物体が存在する部分が物体存在範囲に含まれずに隣接する物体存在範囲の間に隙間が生じることを抑制することができる。したがって、撮像部の近くの物体をより正確に示す周辺マップを作成することができる。
本発明によれば、上記のように、撮像部の近くの物体をより正確に示す水域マップ(周辺マップ)を作成することができる。
以下、実施形態を図面に基づいて説明する。
[実施形態]
(船舶の全体構成)
図1~図8を参照して、実施形態による水域物体検出システム103を備える船舶100の構成について説明する。なお、水域物体検出システム103は、特許請求の範囲の「周辺物体検出システム」の一例である。
(船舶の全体構成)
図1~図8を参照して、実施形態による水域物体検出システム103を備える船舶100の構成について説明する。なお、水域物体検出システム103は、特許請求の範囲の「周辺物体検出システム」の一例である。
図中のFWDは船舶100の前進方向(船体101を基準とした前方)を示しており、BWDは船舶100の後進方向(船体101を基準とした後方)を示している。なお、船体101は、特許請求の範囲の「移動体」の一例である。
また、図中のLは船舶100の左舷方向(船体101を基準とした左方)を示しており、Rは船舶100の右舷方向(船体101を基準とした右方)を示している。
図1に示すように、船舶100は、船体101と、船体101に設けられる船舶推進器102と、船体101に設けられる水域物体検出システム103とを備えている。
船舶推進器102は、船体101のトランサムに後方から取り付けられている。すなわち、本実施形態では船舶推進器102は船外機により構成されており、船舶100は船外機艇として構成されている。
船舶100は、水域物体検出システム103を用いて、船体101の周辺の水平方向に広がる2次元の水域マップM(図2参照)を作成しながら水域マップMにおける船体101の自己位置を推定する制御を行うように構成されている。なお、水域マップMは、特許請求の範囲の「周辺マップ」の一例である。
一例ではあるが、上記のような制御(水域マップMを作成しながら水域マップMにおける船体101の自己位置を推定する制御)は、SLAM(Simultaneous Localization And Mapping)という手段により実現される。
SLAMとは、移動装置に設置されたカメラの画像などを利用して、移動装置の周辺の環境地図の作成と、環境地図における移動装置の自己位置の推定とを同時に行う技術である。SLAMによる移動装置の自己位置の推定は、地図上でのGPS(Global Positioning System)などを用いた自己位置の推定とは異なり、GPSなどを利用することができない屋内などの環境でも行うことが可能である。
また、SLAMにより、移動装置を周囲の物体に衝突することがないように物体を避けて移動させることが可能になるとともに、経路の重複などのない最適な移動ルートにより移動装置を移動させることが可能となる。
SLAMには、カメラなどのイメージセンサを利用して周辺の物体を撮像することにより行う受動的なSLAM(いわゆるVisual SLAMなど)と、レーザー装置のレーザ光を周辺の物体に照射して反射したレーザ光を検知することなどにより行う能動的なSLAM(いわゆるLiDAR SLAMなど)とがある。本実施形態の船舶100は、前者の受動的なSLAMのような手段を利用した制御を行う。
また、カメラなどのイメージセンサを利用した受動的なSLAMには、密(Dense)な検知データを取得する手段と、疎(Sparse)な検知データを取得する手段とがある。密(Dense)な検知データを取得する手段は、疎(Sparse)な検知データを取得する手段と比較して、制御部における多量のデータ処理が必要となる。疎(Sparse)な検知データとは、たとえば、カメラなどのイメージセンサが撮像した画像の一部である特徴点を抽出したデータである。
本実施形態の船舶100は、後者の疎(Sparse)な検知データを取得するSLAMのような手段を利用した制御を行う。その結果、船舶100は、取得した検知データをより速く演算処理することが可能となり、船舶100の移動に合わせたリアルタイムな制御を行うことが可能に構成されている。すなわち、船舶100は、応答性(リアルタイム性)の高い制御を行うことが可能である。
図2および図3に示すように、船舶100は、水域物体検出システム103を用いて作成した水域マップMにより、移動ルートRに沿って障害物(物体O)を避けて自動で移動する制御や、浮桟橋などの岸構造体O1に船体101を自動的に着岸させる制御を行うことが可能に構成されている。
また、自動で移動する場合に限らず、船舶100は、ユーザが手動で操船する際に、障害物(物体O)の位置を把握する手段として水域マップMを使用することができる。すなわち、水域マップMとは、船舶100の周囲に存在する障害物(物体O)の位置などを示すためのいわゆるコストマップである。
(水域物体検出システムの構成)
水域物体検出システム103は、船体101に設けられた撮像部1と、船体101に設けられた表示部2と、制御部3(図1参照)とを備えている。
水域物体検出システム103は、船体101に設けられた撮像部1と、船体101に設けられた表示部2と、制御部3(図1参照)とを備えている。
図4に示すように、水域物体検出システム103(制御部3)は、撮像部1により撮像した画像に基づいて、画像内の物体Oに対応する特徴点Fを特徴点Fまでの距離とともに検出することによって、特徴点Fの周囲に、物体Oが存在する可能性を含む物体存在範囲F1を設けた水域マップMを作成する制御を行うように構成されている。
(水域物体検出システムの「撮像部」の構成)
撮像部1は、船体101の周辺の画像を撮像するように構成されている。撮像部1は、船体101の異なる位置に離間して配置された2つの撮像用受光部1aを含んでいる。各撮像用受光部1aは、CCDセンサまたはCMOSセンサなどの撮像素子を有する単眼カメラにより構成されている。
撮像部1は、船体101の周辺の画像を撮像するように構成されている。撮像部1は、船体101の異なる位置に離間して配置された2つの撮像用受光部1aを含んでいる。各撮像用受光部1aは、CCDセンサまたはCMOSセンサなどの撮像素子を有する単眼カメラにより構成されている。
水域物体検出システム103(制御部3)は、2つの撮像用受光部1aを用いて撮像部1から特徴点Fまでの距離測定を行うように構成されている。詳細には、水域物体検出システム103(制御部3)は、2つの撮像用受光部1aにより撮像された画像に基づいて、三角測量法により撮像した画像内の物体Oに対応する特徴点Fまでの距離測定を行うように構成されている。
「画像内の物体Oに対応する特徴点F」とは、画像において物体Oが位置する部分に示される特定の点を意味する。一例ではあるが、特徴点Fは、画像において、輝度の変化や、色調の変化が特に大きい箇所などに設定される。
なお、水域物体検出システム103(制御部3)は、三角測量法による距離測定の前処理として、2つの撮像用受光部1aが撮像した各画像の歪み補正や、各画像を互いに対応付ける平行化、各画像上の対応する特徴点Fのマッチングによる視差の推定などを事前に行うように構成されている。
図5を参照して、水域物体検出システム103(制御部3)が行う三角測量法による特徴点Fまでの距離測定ついて説明する。
2つの撮像用受光部1aの間の水平方向の距離をL1、2つの撮像用受光部1aの間の水平方向に直交する方向の距離をx、2つの撮像用受光部1aの視差をd、撮像用受光部1aの撮像素子の素子ピッチをp、撮像用受光部1aの焦点距離をfとすると、撮像用受光部1aから特徴点F(物体O)までの水平方向の距離Lは、以下に示す式で求められる。なお、2つの撮像用受光部1aがステレオカメラのように横並びで配置される場合には、L1=0となる。
ここで、2つの撮像用受光部1aにより撮像された画像において、視差dが1ピクセルずれた場合における測定距離の変位量ΔLは、以下に示す式で求められる。
測定距離の変位量ΔLを示す上記式より、視差dが小さくなる程、測定距離の変位量ΔLが大きくなるとともに、視差dが大きくなる程、測定距離の変位量ΔLが小さくなることが理解される。この測定距離の変位量ΔLは、距離Lを測定する際の距離分解能に相当する。すなわち、撮像用受光部1aから特徴点Fまでの水平方向の距離Lが大きくなる程、距離測定誤差が大きくなる。なお、距離測定誤差は、距離Lの増加に対して、2次関数的に大きくなる。
(水域物体検出システムの「表示部」の構成)
図2に示すように、表示部2(図1参照)は、制御部3(図1参照)により作成された水域マップMを表示するように構成されている。一例ではあるが、表示部2は、横450ピクセル、縦600ピクセルの表示画像内に水域マップMを表示するように構成されている。横450ピクセル、縦600ピクセルの表示画像は、世界座標系に点群がプロットされた表示画像である。一例ではあるが、水域マップMの1ピクセルの大きさは、世界座標系における横0.1m、縦0.1mの大きさに相当する。
図2に示すように、表示部2(図1参照)は、制御部3(図1参照)により作成された水域マップMを表示するように構成されている。一例ではあるが、表示部2は、横450ピクセル、縦600ピクセルの表示画像内に水域マップMを表示するように構成されている。横450ピクセル、縦600ピクセルの表示画像は、世界座標系に点群がプロットされた表示画像である。一例ではあるが、水域マップMの1ピクセルの大きさは、世界座標系における横0.1m、縦0.1mの大きさに相当する。
また、表示部2は、水域マップMの所定のピクセル位置に所定の向きにより撮像部1(撮像用受光部1a)を表示するように構成されている。また、表示部2は、撮像部1とともに、船体101を水域マップMに表示するように構成されている。表示部2は、船体101を模式的なモデルにより水域マップM上に表示するように構成されている。
また、表示部2は、特徴点Fを水域マップMに表示するように構成されている。また、表示部2は、特徴点Fの周囲に物体Oが存在する可能性を含む物体存在範囲F1を水域マップMに表示するように構成されている。具体的な一例として、制御部3は、表示部2の1つのピクセルPに1つの特徴点Fを表示するとともに、特徴点Fを表示する1つのピクセルPの周囲に真円形状の物体存在範囲F1を設けて表示部2に表示する制御を行うように構成されている(図6参照)。
ここで、物体存在範囲F1とは、特徴点Fの周囲に設けられる範囲であり、物体Oが存在する可能性を含む範囲である。要するに、物体存在範囲F1とは、物体Oが存在するであろうと確率的に考えられる範囲を示している。つまり、物体存在範囲F1とは、船舶100が移動する際に避けるべき範囲であり、物体存在範囲F1上には自動で移動する際の移動ルートR(図2、図8参照)が設定されることはない。
また、表示部2は、現在、撮像部1が撮像している範囲を示す所定画角の撮像領域Aを水域マップMに表示するように構成されている。
(水域物体検出システムの「制御部」の構成)
制御部3(図1参照)は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)およびRAM(Random Access Memory)等を含む回路基板である。制御部3は、船体101に設けられている。また、制御部3は、2つの撮像用受光部1a、表示部2および船舶推進器102と信号線により接続されている。
制御部3(図1参照)は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)およびRAM(Random Access Memory)等を含む回路基板である。制御部3は、船体101に設けられている。また、制御部3は、2つの撮像用受光部1a、表示部2および船舶推進器102と信号線により接続されている。
制御部3は、作成した水域マップMに基づいて、自動で移動する際の移動ルートRを設定して、船舶推進器102の駆動を制御することにより、船体101を自動で移動させる制御を行うことが可能に構成されている。
上記の通り、制御部3は、撮像部1により撮像した画像に基づいて、画像内の物体Oに対応する特徴点Fを特徴点Fまでの距離とともに検出することによって、特徴点Fの周囲に、物体Oが存在する可能性を含む真円形状の物体存在範囲F1を設けた水域マップMを作成する制御を行う。
制御部3は、水平面内において物体存在範囲F1を設けることにより、船体101の水平方向に広がる2次元の水域マップMを作成するように構成されている。すなわち、制御部3は、船体101の前後左右方向(FWD、BWD、L、R)に広がる2次元の水域マップMを作成するように構成されている。
(制御部による物体存在範囲の大きさの下限値の設定について)
図4および図7に示すように、2次元の水域マップMを作成する際、制御部3は、船体101の撮像部1から物体Oに対応する特徴点Fまでの距離が小さくなるにつれて物体存在範囲F1を小さくするとともに、撮像部1から特徴点Fまでの距離が所定距離d1以下の場合には、物体存在範囲F1の大きさを下限値r1に設定するように構成されている。すなわち、制御部3は、物体存在範囲F1の大きさが小さくなりすぎないように、物体存在範囲F1の大きさにそれ以上小さくなることのない最小値を設けている。なお、所定距離d1とは、物体存在範囲F1の大きさを下限値に設定する範囲を決めるための距離である。
図4および図7に示すように、2次元の水域マップMを作成する際、制御部3は、船体101の撮像部1から物体Oに対応する特徴点Fまでの距離が小さくなるにつれて物体存在範囲F1を小さくするとともに、撮像部1から特徴点Fまでの距離が所定距離d1以下の場合には、物体存在範囲F1の大きさを下限値r1に設定するように構成されている。すなわち、制御部3は、物体存在範囲F1の大きさが小さくなりすぎないように、物体存在範囲F1の大きさにそれ以上小さくなることのない最小値を設けている。なお、所定距離d1とは、物体存在範囲F1の大きさを下限値に設定する範囲を決めるための距離である。
制御部3は、所定距離d1を設定により変更することが可能に構成されている。一例ではあるが、制御部3は、撮像部1から特徴点Fまでの所定距離d1を15m以上25m以下の所定の大きさに設定して、撮像部1から特徴点Fまでの距離が所定距離d1以下の場合には、物体存在範囲F1の大きさを下限値r1に設定するように構成されている。具体的な一例として、制御部3は、所定距離d1を約21mに設定して、撮像部1から特徴点Fまでの距離が所定距離d1(約21m)以下の場合には、物体存在範囲F1の大きさ(特徴点Fから真円形状の物体存在範囲F1の外縁までの距離、つまり、物体存在範囲F1の半径)を下限値r1に設定するように構成されている。すなわち、所定距離d1以下となる船体101に比較的近い範囲では、物体存在範囲F1の大きさが一定の下限値r1に設定される。
下限値r1は、撮像部1から特徴点Fまでの距離が所定距離d1以下の場合において、同一の物体Oに対応する複数の特徴点Fに対して設けられた複数の物体存在範囲F1について、複数の物体存在範囲F1の一部が互いに重なり合うように設定されている。
すなわち、制御部3は、同一の物体Oに対応する複数の特徴点Fに対して設けられた複数の物体存在範囲F1について、隣接する複数の物体存在範囲F1の間に隙間が生じることを抑制するように構成されている。なお、仮に、物体存在範囲の大きさに下限値r1がない場合には、撮像部から特徴点までの距離が小さくなるにつれて、物体存在範囲が特徴点に近づくように小さくなり続けるため、隣接する物体存在範囲の間に隙間が生じやすくなる。
制御部3は、撮像部1から特徴点Fまでの距離が所定距離d1よりも大きい場合には、撮像部1から特徴点Fまでの距離が大きくなるに伴い2次関数的に増大する距離測定誤差に応じて、物体存在範囲F1の大きさを変更するように構成されている(図7参照)。
具体的な一例として、制御部3は、撮像部1から特徴点Fまでの距離が所定距離d1よりも大きい場合には、撮像部1から特徴点Fまでの距離が大きくなるに伴い、距離測定誤差の大きさに比例して、物体存在範囲F1の大きさを増加させるように構成されている。
たとえば、制御部3は、撮像部1から特徴点Fまでの距離が所定距離d1よりも大きい距離d2の場合には、物体存在範囲F1の大きさ(半径)を下限値r1よりも大きいr2に設定するように構成されている。さらに、制御部3は、撮像部1から特徴点Fまでの距離が距離d2よりも大きい距離d3の場合には、物体存在範囲F1の大きさ(半径)をr2よりも大きいr3に設定するように構成されている。
(制御部による水域マップの更新について)
制御部3は、撮像部1の各撮像フレーム毎に、画像内の物体Oに対応する特徴点Fを特徴点Fまでの距離とともに検出しなおすことによって、検出した特徴点Fを現在採用している特徴点Fと比較して、変化の度合いが所定の値より小さければ棄却し、現在採用されている特徴点Fを引き続き採用する制御を行うとともに、逆に変化の度合いが大きければ新たに検出した特徴点Fに結果を更新して、水域マップMと水域マップM中の撮像部1の位置を更新する制御を行う。また、制御部3は、所定の撮像フレーム毎(たとえば10フレーム毎)に、水域マップMを更新するように構成されている。
制御部3は、撮像部1の各撮像フレーム毎に、画像内の物体Oに対応する特徴点Fを特徴点Fまでの距離とともに検出しなおすことによって、検出した特徴点Fを現在採用している特徴点Fと比較して、変化の度合いが所定の値より小さければ棄却し、現在採用されている特徴点Fを引き続き採用する制御を行うとともに、逆に変化の度合いが大きければ新たに検出した特徴点Fに結果を更新して、水域マップMと水域マップM中の撮像部1の位置を更新する制御を行う。また、制御部3は、所定の撮像フレーム毎(たとえば10フレーム毎)に、水域マップMを更新するように構成されている。
なお、制御部3は、ベイズ推定を利用して水域マップMを更新するように構成されている。制御部3は、各ピクセルPに対してベイズ推定を行い、各ピクセルPに物体Oが存在するであろうことを示す存在確率を更新するように構成されている。たとえば、制御部3は、物体存在範囲F1に対しては初期確率および事前確率よりも大きな現在確率を割り当てるとともに、物体存在範囲F1の外側の範囲(非存在範囲)に対しては初期確率および事前確率よりも小さな現在確率を割り当てることにより、ベイズ推定を利用して事後確率を算出するように構成されている。なお、ベイズ推定の式は、「事後確率=(現在確率×事前確率)/初期確率」である。
具体的な一例として、初期確率としてすべてのピクセルPに対して存在確率「0.5」が割り当てられ、物体存在範囲F1の各ピクセルPに対しては一律で存在確率「1」が割り当てられ、物体存在範囲F1の外側の範囲に対しては一律で存在確率「0.35」が割り当てられる。なお、制御部3は、撮像部1の画角の範囲外については、ベイズ推定において現在確率と初期確率とを同じ値にして、事後確率を事前確率と等しくして値を引き継ぐように構成されている。
(制御部による船体の移動について)
図2、図3および図8に示すように、制御部3は、船舶推進器102の駆動を制御して船体101を移動させるように構成されている。
図2、図3および図8に示すように、制御部3は、船舶推進器102の駆動を制御して船体101を移動させるように構成されている。
一例ではあるが、制御部3は、物体Oである岸構造体O1(図3参照)に向けて船体101を自動で移動させることにより、船体101を自動的に着岸させるように構成されている。また、制御部3は、船体101を自動的に着岸させる際に、船体101と岸構造体O1との間に物体Oである障害物が存在する場合には、物体存在範囲F1の大きさが下限値r1以上に設定され、かつ、障害物(物体O)に対応する特徴点Fの周囲の物体存在範囲F1を避ける移動ルートRを設定して、移動ルートRに沿って船体101を自動で移動させるように構成されている。
(実施形態の効果)
本実施形態では、以下のような効果を得ることができる。
本実施形態では、以下のような効果を得ることができる。
本実施形態では、上記のように、物体Oが存在する可能性を含む物体存在範囲F1を設けた水域マップMを作成する制御部3を設け、制御部3を、船体101の撮像部1から物体Oに対応する特徴点Fまでの距離が小さくなるにつれて物体存在範囲F1を小さくするとともに、撮像部1から特徴点Fまでの距離が所定距離以下の場合には、物体存在範囲F1の大きさを下限値r1に設定するように構成する。これによって、撮像部1から特徴点Fまでの距離が所定距離以下となるような撮像部1が物体Oの比較的近くにある場合に、物体存在範囲F1の大きさが下限値r1に設定されるので、物体存在範囲F1の大きさが小さくなりすぎることを防ぐことができる。このため、水域マップMにおいて、本来物体Oが存在する部分が物体存在範囲F1に含まれずに隣接する物体存在範囲F1の間に隙間が生じることを抑制することができる。したがって、撮像部1の近くの物体Oをより正確に示す水域マップMを作成することができる。
本実施形態では、上記のように、下限値r1は、撮像部1から特徴点Fまでの距離が所定距離以下の場合において、同一の物体Oに対応する複数の特徴点Fに対して設けられた複数の物体存在範囲F1について、複数の物体存在範囲F1の一部が互いに重なり合うように設定されている。これによって、撮像部1から特徴点Fまでの距離が所定距離以下の場合、すなわち同一の物体Oに対応する複数の特徴点Fに対して設けられた複数の物体存在範囲F1の各々が比較的小さい場合において、複数の物体存在範囲F1の一部が互いに重なり合うように設定されるので、本来物体Oが存在する部分が物体存在範囲F1に含まれずに隣接する物体存在範囲F1の間に隙間が生じることをより確実に抑制することができる。したがって、撮像部1の近くの物体Oをより一層正確に示す水域マップMを作成することができる。
本実施形態では、上記のように、制御部3は、物体Oである岸構造体O1に向けて船体101を自動で移動させることにより、船体101を自動的に着岸させるように構成されている。これによって、船体101を岸構造体O1に容易に着岸させることができる。
本実施形態では、上記のように、制御部3は、船体101を自動的に着岸させる際に、船体101と岸構造体O1との間に物体Oである障害物が存在する場合には、物体存在範囲F1の大きさが下限値r1以上に設定され、かつ、障害物に対応する特徴点Fの周囲の物体存在範囲F1を避ける移動ルートRを設定して、移動ルートRに沿って船体101を自動で移動させるように構成されている。これによって、岸構造体O1を示す複数の物体存在範囲F1の大きさを下限値r1以上に設定することができるので、岸構造体O1を示す複数の物体存在範囲F1の間の隙間を埋めることができる。その結果、船体101を岸構造体O1に自動で着岸させる際に、船体101が障害物に接触することを抑制することができる。
本実施形態では、上記のように、制御部3は、撮像部1から特徴点Fまでの距離が所定距離よりも大きい場合には、撮像部1から特徴点Fまでの距離が大きくなるに伴い2次関数的に増大する距離測定誤差に応じて、物体存在範囲F1の大きさを変更するように構成されている。これによって、撮像部1から特徴点Fまでの距離が所定距離よりも大きい場合において、物体存在範囲F1の大きさを、距離測定誤差を考慮した適度な大きさに設定することができる。このため、撮像部1により撮像された物体Oをより正確に示す水域マップMを作成することができる。
本実施形態では、上記のように、制御部3は、水平面内において物体存在範囲F1を設けることにより、水平方向に広がる2次元の水域マップMを作成するように構成されている。これによって、上下方向(高さ方向)を考慮した3次元の水域マップMを作成する場合と比較して、制御部3の処理負荷を軽減することができるので、制御のリアルタイム性(応答性)を向上させることができる。
本実施形態では、上記のように、制御部3は、撮像部1の所定数の撮像フレーム毎に、画像内の物体Oに対応する特徴点Fを特徴点Fまでの距離とともに検出しなおすことによって、水域マップMを更新するように構成されている。これによって、ベイズ推定などの推定手法を行う際に、事後確率をより早期に収束させること(物体Oのある所はより高確率に、物体Oのない所はより低確率にすること)が可能となる。
本実施形態では、上記のように、制御部3は、ベイズ推定を利用して水域マップMを更新するように構成されており、物体存在範囲F1に対しては初期確率および事前確率よりも大きな現在確率を割り当てるとともに、物体存在範囲F1の外側の範囲に対しては初期確率および事前確率よりも小さな現在確率を割り当てることにより、ベイズ推定を利用して事後確率を算出するように構成されている。これによって、所定のフレームにおいて泡などノイズが発生したとしても、繰り返しベイズ推定を行い水域マップMを更新することにより、泡などのノイズが消えた後に、水域マップMにおいてノイズの存在する確率を小さくしていくことができるので、水域マップMからノイズを確実に除去することができる。
本実施形態では、上記のように、撮像部1は、船体101の異なる位置に離間して配置された2つの撮像用受光部1aを含み、制御部3は、2つの撮像用受光部1aを用いて、撮像部1から特徴点Fまでの距離測定を行うように構成されている。これによって、2つの撮像用受光部1aにより同時に異なる2つの画像を撮像して、三角測量法により特徴点Fまでの距離測定を行うことができるので、単一の撮像装置により異なる時点に異なる位置からの2つの画像を撮像して、三角測量法により特徴点Fまでの距離測定を行う場合と比較して、距離測定の精度を向上させることができる。
本実施形態では、上記のように、船体101に設けられ、水域マップMを表示する表示部2をさらに備え、制御部3は、表示部2の1つのピクセルPに1つの特徴点Fを表示するとともに、特徴点Fを表示する1つのピクセルPの周囲に真円形状の物体存在範囲F1を設けて表示部2に表示する制御を行うように構成されている。これによって、特徴点Fからの距離が等しくなる位置に物体存在範囲F1の境界を設けて、撮像部1により撮像された物体Oをより正確に示す水域マップMを作成することができる。
本実施形態では、上記のように、制御部3は、撮像部1から特徴点Fまでの所定距離を15m以上25m以下の所定の大きさに設定して、撮像部1から特徴点Fまでの距離が所定距離以下の場合には、物体存在範囲F1の大きさを下限値r1に設定するように構成されている。これによって、船体101の比較的近傍の範囲である撮像部1から特徴点Fまでの所定距離が15m以上25m以下の所定の範囲内で、物体存在範囲F1の大きさを下限値r1に設定して、物体Oをより正確に示す水域マップMを作成することができる。
[変形例]
今回開示された実施形態は、全ての点で例示であり制限的なものではないと考えられるべきである。本発明の範囲は上記実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内での全ての変更(変形例)が含まれる。
今回開示された実施形態は、全ての点で例示であり制限的なものではないと考えられるべきである。本発明の範囲は上記実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内での全ての変更(変形例)が含まれる。
たとえば、上記実施形態では、本発明を船舶に対して適用した例を示したが、本発明はこれに限られない。本発明を図9に示す車両201に適用してもよい。車両201は、周辺物体検出システム203を備えている。周辺物体検出システム203は、2つの撮像用受光部1aと、表示部2と、周辺マップを作成する制御部3とを含んでいる。この他に、本発明をドローンなどの飛行体などに適用してもよい。なお、車両201および飛行体は、特許請求の範囲の「移動体」の一例である。
また、上記実施形態では、船舶を船外機艇として構成する例を示したが、本発明はこれに限られない。本発明では、船舶を船外機艇以外の船舶として構成してもよい。たとえば、船舶を、船内機、船内外機またはジェット推進器を備えた船舶などとして構成してもよい。
また、上記実施形態では、撮像部を、2つの単眼カメラである撮像用受光部により構成した例を示したが、本発明はこれに限られない。本発明では、撮像部を、ステレオカメラなどにより構成してもよい。また、撮像部を、1つのみの単眼カメラにより構成してもよい。この場合、船舶は、船体の位置を検出する高精度のGPS、および、船体の姿勢を検出する高精度のIMU(Inertial Measurement Unit)を備えていることが好ましい。
また、上記実施形態では、水域マップを示す1ピクセルの大きさを、世界座標系の縦0.1m、横0.1mの大きさに対応させた例を示したが、本発明はこれに限られない。本発明では、水域マップを示す1ピクセルの大きさを、世界座標系の縦0.1m、横0.1mとは異なる大きさに対応させてもよい。
また、上記実施形態では、下限値を設定する範囲を決める所定距離を15m以上25m以下(約21m)とした例を示したが、本発明はこれに限られない。本発明では、下限値を設定する範囲を決める所定距離を15m以上25m以下とは異なる距離に設定してもよい。
また、上記実施形態では、ベイズ推定において、物体存在範囲の各ピクセルに対して一律で存在確率「1」を割り当てた例を示したが、本発明はこれに限られない。本発明では、ベイズ推定において、物体存在範囲の各ピクセルに対して一律で存在確率「1」を割り当てなくてもよい。たとえば、特徴点の存在確率「1」として、物体存在範囲において特徴点からの距離が大きくなる程、ガウス分布などに従い存在確率を小さくするようにしてもよい。
また、上記実施形態では、水域マップにおいて、物体存在範囲を、真円形状により示した例を示したが、本発明はこれに限られない。本発明では、物体存在範囲を、楕円形状などの真円形状とは異なる形状により示してもよい。
1 撮像部
1a 撮像用受光部
2 表示部
3 制御部
100 船舶
101 船体(移動体)
103 水域物体検出システム(周辺物体検出システム)
201 車両(移動体)
203 周辺物体検出システム
F 特徴点
F1 物体存在範囲
M 水域マップ(周辺マップ)
O 物体
O1 岸構造体
P ピクセル
R 移動ルート
r1 下限値
1a 撮像用受光部
2 表示部
3 制御部
100 船舶
101 船体(移動体)
103 水域物体検出システム(周辺物体検出システム)
201 車両(移動体)
203 周辺物体検出システム
F 特徴点
F1 物体存在範囲
M 水域マップ(周辺マップ)
O 物体
O1 岸構造体
P ピクセル
R 移動ルート
r1 下限値
Claims (20)
- 船体に設けられ、前記船体の周辺の画像を撮像する撮像部と、
前記撮像部により撮像した前記画像に基づいて、前記画像内の物体に対応する特徴点を前記特徴点までの距離とともに検出することによって、前記特徴点の周囲に、前記物体が存在する可能性を含む物体存在範囲を設けた水域マップを作成する制御を行う制御部と、を備え、
前記制御部は、前記船体の前記撮像部から前記物体に対応する前記特徴点までの距離が小さくなるにつれて前記物体存在範囲を小さくするとともに、前記撮像部から前記特徴点までの距離が所定距離以下の場合には、前記物体存在範囲の大きさを下限値に設定するように構成されている、水域物体検出システム。 - 前記下限値は、前記撮像部から前記特徴点までの距離が前記所定距離以下の場合において、同一の前記物体に対応する複数の特徴点に対して設けられた複数の前記物体存在範囲について、前記複数の物体存在範囲の一部が互いに重なり合うように設定されている、請求項1に記載の水域物体検出システム。
- 前記制御部は、前記物体である岸構造体に向けて前記船体を自動で移動させることにより、前記船体を自動的に着岸させるように構成されている、請求項1または2に記載の水域物体検出システム。
- 前記制御部は、前記船体を自動的に着岸させる際に、前記船体と前記岸構造体との間に前記物体である障害物が存在する場合には、前記物体存在範囲の大きさが前記下限値以上に設定され、かつ、前記障害物に対応する特徴点の周囲の前記物体存在範囲を避ける移動ルートを設定して、前記移動ルートに沿って前記船体を自動で移動させるように構成されている、請求項3に記載の水域物体検出システム。
- 前記制御部は、前記撮像部から前記特徴点までの距離が前記所定距離よりも大きい場合には、前記撮像部から前記特徴点までの距離が大きくなるに伴い2次関数的に増大する距離測定誤差に応じて、前記物体存在範囲の大きさを変更するように構成されている、請求項1~4のいずれか1項に記載の水域物体検出システム。
- 前記制御部は、水平面内において前記物体存在範囲を設けることにより、水平方向に広がる2次元の前記水域マップを作成するように構成されている、請求項1~5のいずれか1項に記載の水域物体検出システム。
- 前記制御部は、前記撮像部の所定数の撮像フレーム毎に、前記画像内の前記物体に対応する特徴点を前記特徴点までの距離とともに検出しなおすことによって、前記水域マップを更新するように構成されている、請求項1~6のいずれか1項に記載の水域物体検出システム。
- 前記制御部は、
ベイズ推定を利用して前記水域マップを更新するように構成されており、
前記物体存在範囲に対しては初期確率および事前確率よりも大きな現在確率を割り当てるとともに、前記物体存在範囲の外側の範囲に対しては前記初期確率および前記事前確率よりも小さな前記現在確率を割り当てることにより、前記ベイズ推定を利用して事後確率を算出するように構成されている、請求項7に記載の水域物体検出システム。 - 前記撮像部は、前記船体の異なる位置に離間して配置された2つの撮像用受光部を含み、
前記制御部は、前記2つの撮像用受光部を用いて、前記撮像部から前記特徴点までの距離測定を行うように構成されている、請求項1~8のいずれか1項に記載の水域物体検出システム。 - 前記船体に設けられ、前記水域マップを表示する表示部をさらに備え、
前記制御部は、前記表示部の1つのピクセルに1つの前記特徴点を表示するとともに、前記特徴点を表示する前記1つのピクセルの周囲に真円形状の前記物体存在範囲を設けて前記表示部に表示する制御を行うように構成されている、請求項1~9のいずれか1項に記載の水域物体検出システム。 - 前記制御部は、前記撮像部から前記特徴点までの前記所定距離を15m以上25m以下の所定の大きさに設定して、前記撮像部から前記特徴点までの距離が前記所定距離以下の場合には、前記物体存在範囲の大きさを前記下限値に設定するように構成されている、請求項1~10のいずれか1項に記載の水域物体検出システム。
- 船体と、
前記船体に設けられる水域物体検出システムと、を備え、
前記水域物体検出システムは、
前記船体に設けられ、前記船体の周辺の画像を撮像する撮像部と、
前記撮像部により撮像した前記画像に基づいて、前記画像内の物体に対応する特徴点を前記特徴点までの距離とともに検出することによって、前記特徴点の周囲に、前記物体が存在する可能性を含む物体存在範囲を設けた水域マップを作成する制御を行う制御部と、を、含み、
前記制御部は、前記船体の前記撮像部から前記物体に対応する前記特徴点までの距離が小さくなるにつれて前記物体存在範囲を小さくするとともに、前記撮像部から前記特徴点までの距離が所定距離以下の場合には、前記物体存在範囲の大きさを下限値に設定するように構成されている、船舶。 - 前記下限値は、前記撮像部から前記特徴点までの距離が前記所定距離以下の場合において、同一の前記物体に対応する複数の特徴点に対して設けられた複数の前記物体存在範囲について、前記複数の物体存在範囲の一部が互いに重なり合うように設定されている、請求項12に記載の船舶。
- 前記制御部は、前記物体である岸構造体に向けて前記船体を自動で移動させることにより、前記船体を自動的に着岸させるように構成されている、請求項12または13に記載の船舶。
- 前記制御部は、前記船体を自動的に着岸させる際に、前記船体と前記岸構造体との間に前記物体である障害物が存在する場合には、前記物体存在範囲の大きさが前記下限値以上に設定され、かつ、前記障害物に対応する特徴点の周囲の前記物体存在範囲を避ける移動ルートを設定して、前記移動ルートに沿って前記船体を自動で移動させるように構成されている、請求項14に記載の船舶。
- 前記制御部は、前記撮像部から前記特徴点までの距離が前記所定距離よりも大きい場合には、前記撮像部から前記特徴点までの距離が大きくなるに伴い2次関数的に増大する距離測定誤差に応じて、前記物体存在範囲の大きさを変更するように構成されている、請求項12~15のいずれか1項に記載の船舶。
- 前記制御部は、水平面内において前記物体存在範囲を設けることにより、水平方向に広がる2次元の前記水域マップを作成するように構成されている、請求項12~16のいずれか1項に記載の船舶。
- 前記制御部は、前記撮像部の所定数の撮像フレーム毎に、前記画像内の前記物体に対応する特徴点を前記特徴点までの距離とともに検出しなおすことによって、前記水域マップを更新するように構成されている、請求項12~17のいずれか1項に記載の船舶。
- 前記制御部は、
ベイズ推定を利用して前記水域マップを更新するように構成されており、
前記物体存在範囲に対しては初期確率および事前確率よりも大きな現在確率を割り当てるとともに、前記物体存在範囲の外側の範囲に対しては前記初期確率および前記事前確率よりも小さな前記現在確率を割り当てることにより、前記ベイズ推定を利用して事後確率を算出するように構成されている、請求項18に記載の船舶。 - 移動体に設けられ、前記移動体の周辺の画像を撮像する撮像部と、
前記撮像部により撮像した前記画像に基づいて、前記画像内の物体に対応する特徴点を前記特徴点までの距離とともに検出することによって、前記特徴点の周囲に、前記物体が存在する可能性を含む物体存在範囲を設けた周辺マップを作成する制御を行う制御部と、を備え、
前記制御部は、前記移動体の前記撮像部から前記物体に対応する前記特徴点までの距離が小さくなるにつれて前記物体存在範囲を小さくするとともに、前記撮像部から前記特徴点までの距離が所定距離以下の場合には、前記物体存在範囲の大きさを下限値に設定するように構成されている、周辺物体検出システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022004596A JP7328378B2 (ja) | 2022-01-14 | 2022-01-14 | 水域物体検出システム、船舶および周辺物体検出システム |
US18/092,964 US20230228575A1 (en) | 2022-01-14 | 2023-01-04 | Water area object detection system, marine vessel, and surrounding object detection system |
EP23150776.5A EP4213111A1 (en) | 2022-01-14 | 2023-01-09 | System for detecting objects on a water surface |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022004596A JP7328378B2 (ja) | 2022-01-14 | 2022-01-14 | 水域物体検出システム、船舶および周辺物体検出システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023103836A JP2023103836A (ja) | 2023-07-27 |
JP7328378B2 true JP7328378B2 (ja) | 2023-08-16 |
Family
ID=84888758
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022004596A Active JP7328378B2 (ja) | 2022-01-14 | 2022-01-14 | 水域物体検出システム、船舶および周辺物体検出システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230228575A1 (ja) |
EP (1) | EP4213111A1 (ja) |
JP (1) | JP7328378B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012172870A1 (ja) | 2011-06-14 | 2012-12-20 | 日産自動車株式会社 | 距離計測装置及び環境地図生成装置 |
JP2020155893A (ja) | 2019-03-19 | 2020-09-24 | ヤマハ発動機株式会社 | 船舶用の表示装置、船舶および船舶用の画像表示方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11167833B2 (en) * | 2016-12-02 | 2021-11-09 | Yamaha Hatsudoki Kabushiki Kaisha | Boat |
WO2021262603A1 (en) * | 2020-06-25 | 2021-12-30 | Nvidia Corporation | Sensor fusion for autonomous machine applications using machine learning |
-
2022
- 2022-01-14 JP JP2022004596A patent/JP7328378B2/ja active Active
-
2023
- 2023-01-04 US US18/092,964 patent/US20230228575A1/en active Pending
- 2023-01-09 EP EP23150776.5A patent/EP4213111A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012172870A1 (ja) | 2011-06-14 | 2012-12-20 | 日産自動車株式会社 | 距離計測装置及び環境地図生成装置 |
JP2020155893A (ja) | 2019-03-19 | 2020-09-24 | ヤマハ発動機株式会社 | 船舶用の表示装置、船舶および船舶用の画像表示方法 |
Also Published As
Publication number | Publication date |
---|---|
US20230228575A1 (en) | 2023-07-20 |
EP4213111A1 (en) | 2023-07-19 |
JP2023103836A (ja) | 2023-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102566724B1 (ko) | 항만 모니터링 장치 및 항만 모니터링 방법 | |
US11029686B2 (en) | Automatic location placement system | |
JP7258062B2 (ja) | 自動位置配置システム | |
KR102530691B1 (ko) | 접안 모니터링 장치 및 방법 | |
JP6905737B2 (ja) | 自律型水中ロボット及びその制御方法 | |
Hurtós et al. | Autonomous detection, following and mapping of an underwater chain using sonar | |
US11774971B2 (en) | Automatic location placement system | |
WO2021085274A1 (ja) | 船舶の着岸支援装置 | |
KR102535115B1 (ko) | 선박 및 항만 모니터링 장치 및 방법 | |
KR102530847B1 (ko) | 항만 및 선박 모니터링 방법 및 장치 | |
JP7396937B2 (ja) | 地図生成方法および地図生成装置 | |
KR102520844B1 (ko) | 해수면을 고려한 항만 및 선박 모니터링 방법 및 장치 | |
CN117470249B (zh) | 基于激光点云和视频图像融合感知的船舶防碰撞方法及系统 | |
JP7328378B2 (ja) | 水域物体検出システム、船舶および周辺物体検出システム | |
Hurtos et al. | Sonar-based chain following using an autonomous underwater vehicle | |
EP4213110A1 (en) | System for detecting objects on a water surface and marine vessel with a system for detecting objects on a water surface | |
US20230245362A1 (en) | Image processing device, image processing method, and computer-readable medium | |
WO2022208617A1 (ja) | 地図データ構造、記憶装置、情報処理装置、制御方法、プログラム及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230711 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230803 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7328378 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |