JP4482623B2 - Extraction method of ships from time series voyage images - Google Patents
Extraction method of ships from time series voyage images Download PDFInfo
- Publication number
- JP4482623B2 JP4482623B2 JP2003387983A JP2003387983A JP4482623B2 JP 4482623 B2 JP4482623 B2 JP 4482623B2 JP 2003387983 A JP2003387983 A JP 2003387983A JP 2003387983 A JP2003387983 A JP 2003387983A JP 4482623 B2 JP4482623 B2 JP 4482623B2
- Authority
- JP
- Japan
- Prior art keywords
- ship
- image
- time
- series
- voyage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000605 extraction Methods 0.000 title claims description 11
- 238000000034 method Methods 0.000 claims description 45
- 239000013598 vector Substances 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 230000004069 differentiation Effects 0.000 claims description 11
- 238000002474 experimental method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000011410 subtraction method Methods 0.000 description 5
- 238000012795 verification Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 235000020061 kirsch Nutrition 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010065042 Immune reconstitution inflammatory syndrome Diseases 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Description
本発明は、時系列航海画像からの船舶の抽出方法に係り、特に、航海中に撮影される画像を処理して、他の航行船舶を抽出し、直接その存在を確認するものである。 The present invention relates to a method for extracting a ship from a time-series voyage image, and in particular, processes an image photographed during voyage to extract other sailing ships and directly confirms their presence.
船舶の安全航行に関しては国際的な取組みが行われており、2000年12月に開催されたIMO(国際海事機関)第73回海上安全委員会において、一定の船舶に対するAIS(Automatic Identification System:船舶自動識別装置)等の搭載義務化等を内容とする海上人命安全条約(SOLAS条約)の改正が採択され、2002年7月に発効された。AISは自船の位置、速度、進行方向などの情報を自動的に送受信する無線設備で、これらの情報を船舶相互間及び陸上との間で交信することにより、船舶の衝突防止や航行管理等に優れた効果を発揮すると期待されている。 International efforts are being made for safe navigation of ships. At the 73rd IMO (International Maritime Organization) Maritime Safety Committee held in December 2000, AIS (Automatic Identification System): An amendment to the Maritime Life Safety Convention (SOLAS Convention), which included the mandatory installation of the automatic identification device, etc., was adopted and entered into force in July 2002. AIS is a wireless facility that automatically sends and receives information such as the ship's position, speed, and direction of travel. By communicating this information between ships and between land, ship collision prevention, navigation management, etc. It is expected to exert an excellent effect.
しかしながら、AISの搭載は今後数年に渡り段階的に行われるため、今すぐにその効果が期待できるわけではない。また、基本的に300GT(Gross Tonnage)未満の内航貨物船にはAISの搭載の義務がない。したがってAISを搭載しない300GT未満の船舶が頻繁に往来する海域においては、今後も他の安全航行支援の手法を併用しなければならない。さらに通行量の多い航路、湾内、狭水道通過時にはAIS運用の有無に関わらず、従来通り航海士の目視による安全確認が必要不可欠である。このような状況も踏まえ、従来から見張り支援のためのシステム(下記非特許文献1、2及び3参照)が研究されている。しかし、実船に搭載し視覚支援の観点から検討を重ねた航行支援システムの提案は数少ない。 However, since the AIS will be installed in stages over the next few years, the effect cannot be expected immediately. Basically, domestic cargo ships of less than 300 GT (Gross Tonage) are not obligated to install AIS. Therefore, in the sea area where ships of less than 300GT without AIS frequently come and go, other safe navigation support methods must be used in the future. Furthermore, it is indispensable to confirm the safety of the navigator visually as before, regardless of whether or not the AIS is operated when passing through a traffic route, bay, or narrow channel. Based on this situation, a system for supporting the lookout has been studied (see Non-Patent Documents 1, 2 and 3 below). However, there are few proposals for navigation support systems that are installed on actual ships and have been studied from the viewpoint of visual support.
本発明は、航行中に撮影される画像を処理して、他の航行船舶を抽出し、直接その存在を確認するとともに、AISやレーダーとの連携によって、複合情報を構築し、より高度な安全かつ効率的運航に寄与する時系列航海画像からの船舶の抽出方法に関するものである。
従来から時系列画像をもとに航行船舶を抽出する研究は行われている(下記非特許文献4参照)。この方法によれば、カメラを陸上に固定し、オプティカルフローとテンプレートを併用して船舶の移動を追跡する。この方法は画像の撮影環境として固定されたカメラを使用しているので、背景の固定を前提として比較的安定に船舶を抽出することができた。しかしながら、背景が可変となる航行する船上から他船を抽出する手法として適用することは困難である。
The present invention processes images captured during navigation, extracts other navigational ships, confirms their presence directly, and constructs complex information through cooperation with AIS and radar to provide a higher level of safety. Further, the present invention relates to a method for extracting a ship from a time-series voyage image that contributes to efficient navigation.
Conventionally, research for extracting sailing ships based on time-series images has been performed (see Non-Patent Document 4 below). According to this method, the camera is fixed on the land, and the movement of the ship is tracked using both the optical flow and the template. Since this method uses a fixed camera as an image capturing environment, the ship can be extracted relatively stably on the assumption that the background is fixed. However, it is difficult to apply as a technique for extracting other ships from a sailing ship whose background is variable.
また、停泊している船上にカメラを設置し、画像を取得する方法(下記非特許文献5参照)がある。この方法によれば、画像全体のオプティカルフローを求めた後、動きベクトルのヒストグラムからカメラの動きを推定し背景を除去した。さらに時間差分画像の投影を行い船舶の位置を推定している。この方法は、画面全体のオプティカルフローを扱うため計算コストが高く船舶を抽出する精度の点でも検討の余地がある。そこで、より簡易かつロバストに船舶が抽出できる方法の研究が望まれている。
一般的に背景が一定であれば画像の背景差分法により移動物体の抽出が可能である。しかし背景が可変の場合には背景差分法は利用できない。このためアクティブ背景差分法が提案されている。しかしアクティブ背景差分法はカメラの動きを計測するためにカメラにセンサを取り付ける必要があり、背景の動きを補償した後に背景差分法を適用するという手順を踏む必要がある。またカメラの回転中心と光学中心のずれによる誤差歪を完全に補正することが困難であるという問題がある。 In general, if a background is constant, a moving object can be extracted by a background subtraction method. However, the background subtraction method cannot be used when the background is variable. For this reason, an active background subtraction method has been proposed. However, in the active background subtraction method, it is necessary to attach a sensor to the camera in order to measure the movement of the camera, and it is necessary to follow the procedure of applying the background subtraction method after compensating for the background motion. In addition, there is a problem that it is difficult to completely correct error distortion caused by a shift between the rotation center of the camera and the optical center.
本発明は、上記状況に鑑みて、より簡易かつロバストに船舶を抽出できる時系列航海画像からの船舶の抽出方法を提供することを目的とする。 In view of the above situation, an object of the present invention is to provide a method for extracting a ship from a time-series voyage image that can more easily and robustly extract a ship.
本発明は、上記目的を達成するために、
〔1〕時系列航海画像からの船舶の抽出方法であって、時系列航海画像の任意画像上で空間微分処理とグループ化処理により船舶領域を推定し、前記グループ化処理を施した画像からフレームを定めた後の時系列画像上の画像を選択し、この選択された画像と前記船舶領域とを照合することにより船舶を抽出することを特徴とする。
In order to achieve the above object, the present invention provides
[1] A method for extracting a ship from a time-series voyage image, in which a ship region is estimated on an arbitrary image of a time-series voyage image by a spatial differentiation process and a grouping process, and a frame is formed from the image subjected to the grouping process. A ship is extracted by selecting an image on a time-series image after determining the image and comparing the selected image with the ship region .
〔2〕上記〔1〕記載の時系列航海画像からの船舶の抽出方法において、前記照合時にその一致度を比較し、より一致度の高い領域を船舶と判定することを特徴とする。
〔3〕上記〔2〕記載の時系列航海画像からの船舶の抽出方法において、さらに推定領域の移動ベクトルを比較し、より直線的な動きをする領域を船舶と判定することを特徴とする。
[2] In the method for extracting a ship from the time-series voyage image as described in [1] above, the degree of coincidence is compared at the time of collation, and a region with a higher degree of coincidence is determined as a ship.
[3] In the method for extracting a ship from the time-series voyage image described in [2], the movement vectors of the estimated areas are further compared, and an area that moves more linearly is determined as a ship.
本発明によれば、以下のような効果を奏することができる。
(a)複雑なセンサや設置場所でのキャリブレーションを必要としない。従ってカメラは船橋上の任意の位置に設置することができる。
(b)船舶の抽出だけではなく海上に浮かぶ浮標、停泊船の認識、さらに背景に含まれる陸地も分離することができる。
According to the present invention, the following effects can be achieved.
(A) No calibration is required at a complicated sensor or installation location. Therefore, the camera can be installed at any position on the bridge.
(B) Not only the extraction of the ship but also the buoy floating on the sea, the recognition of the anchored ship, and the land included in the background can be separated.
(c)レーダーや他の航海計器(AIS等)と情報交換することで複合情報を構築し、より高度な安全かつ効率的な運航に寄与する船舶を確認することができる。 (C) By exchanging information with radar and other nautical instruments (AIS, etc.), composite information can be constructed and ships that contribute to more advanced safe and efficient operations can be confirmed.
時系列航海画像からの船舶の抽出方法において、時系列航海画像の任意画像上で空間微分処理とグループ化処理により船舶領域を推定し、前記グループ化処理を施した画像からフレームを定めた後の時系列画像上の画像を選択し、この選択された画像と前記船舶領域とを照合することにより船舶を抽出する。よって、より簡易かつロバストに船舶を抽出することができる。 In the method of extracting a ship from a time-series voyage image, a ship region is estimated by spatial differentiation processing and grouping processing on an arbitrary image of the time-series voyage image, and a frame is determined from the image subjected to the grouping processing. An image on the time series image is selected, and a ship is extracted by comparing the selected image with the ship region . Therefore, a ship can be extracted more simply and robustly.
以下、本発明の実施の形態について詳細に説明する。
図1は本発明の実施例を示す時系列航海画像からの船舶の抽出方法のフローチャートである。
まず、時系列画像上の任意画像において船舶の領域を推定する。この推定には空間微分(ステップS1)を採用する。空間微分の結果をグループ化(ステップS2)し、一画素のみの小グループは、ノイズとして削除する。その後、グループ化した領域を適当な時間間隔を空けた別画像と照合する(ステップS3)。
Hereinafter, embodiments of the present invention will be described in detail.
FIG. 1 is a flowchart of a method for extracting a ship from a time-series voyage image showing an embodiment of the present invention.
First, a region of a ship is estimated in an arbitrary image on a time series image. Spatial differentiation (step S1) is employed for this estimation. The results of spatial differentiation are grouped (step S2), and small groups with only one pixel are deleted as noise. Thereafter, the grouped area is collated with another image with an appropriate time interval (step S3).
この際、自船の動揺と他船の移動による影響があるため原画像の座標を基点とした一定の範囲で、近傍走査による照合を行う。この照合でグループ毎の一致度を判定し、一致度の高いグループを船舶候補(ステップS4)と判断する。一致度の低いグループは波とみなして除外する(ステップS5)。
さらにグループ化された領域に対応する濃淡画像を指す原画像と被照合画像間で照合した結果をベクトルとしてテーブル化し、移動ベクトルを求め(ステップS6)、その特徴として照合位置との距離が小さければ、船舶(ステップS8)と大きければ波(ステップS7)と判別する。この処理を時系列画像上で順次行うことで、波を除去して船舶だけを抽出することができる。新たな船舶の出現に備えて、船舶領域の推定は一定期間ごとに再設定する。
At this time, since there is an influence due to the movement of the own ship and the movement of the other ship, collation by proximity scanning is performed within a certain range based on the coordinates of the original image. The matching degree for each group is determined by this collation, and a group having a high matching degree is determined as a ship candidate (step S4). A group having a low degree of coincidence is regarded as a wave and excluded (step S5).
Further, the result of collation between the original image indicating the grayscale image corresponding to the grouped region and the image to be collated is tabulated as a vector, a movement vector is obtained (step S6), and if the distance from the collation position is small as a feature thereof If it is larger than the ship (step S8), it is determined as a wave (step S7). By sequentially performing this process on the time-series image, it is possible to remove the wave and extract only the ship. In preparation for the emergence of new ships, the ship area estimation is reset every fixed period.
以下、時系列航海画像からの船舶の抽出方法を詳細に説明する。
〔1〕船舶輪郭の抽出〔ステップS1〕
空間微分法で船舶推定領域の輪郭を抽出する。微分オペレータとして今回はKirschのオペレータを用いた。
〔2〕グループ化〔ステップS2〕
空間微分を行った結果はそのままでは単なる画素の集団であるので、近接している画素群をグループ化し、個々にラベルを付加する(上記非特許文献6)。グループ化された領域は船舶領域であると推定する。この後の処理は、全てこのグループ単位で行う。
Hereinafter, a method for extracting a ship from a time-series voyage image will be described in detail.
[1] Ship contour extraction [Step S1]
The outline of the ship estimation area is extracted by the spatial differential method. This time, a Kirsch operator was used as the differential operator.
[2] Grouping [Step S2]
Since the result of the spatial differentiation is just a group of pixels as it is, the adjacent pixel groups are grouped and individually labeled (Non-Patent Document 6). The grouped area is estimated to be a ship area. All subsequent processing is performed in units of this group.
船舶領域は一定量の画素数を有すると想定することができる。従って一画素のみの極小領域は船舶以外であるか、微分化の際に発生したノイズと考えられるので除去することができる。ノイズを取り除いた後、画素数の大きなグループを船舶、あるいは固定物と推定する。
適切な閾値を設定して画素数の少ないグループを削除することにより、小さな波を消去することができる。この時、波間に浮かぶ小型の浮遊物を見落とす可能性もあるので閾値は低く設定する(最大輝度256に対し100以下)。この段階ではグループをあまり削除せず、次の照合処理に比重をおいた判定とする。
It can be assumed that the ship region has a certain number of pixels. Therefore, the minimal region of only one pixel can be removed because it is considered to be noise other than the ship or generated during differentiation. After removing the noise, a group having a large number of pixels is estimated as a ship or a fixed object.
Small waves can be eliminated by setting an appropriate threshold and deleting groups with a small number of pixels. At this time, since there is a possibility that a small floating object floating in the waves may be overlooked, the threshold value is set low (100 or less with respect to the maximum luminance 256). At this stage, the group is not deleted so much, and it is determined that the next collation processing is focused on.
〔3〕照合(マッチング)〔ステップS3〕
グループ化処理を施した画像から適正にフレームを定めた後の時系列上の画像を選択し船舶領域の照合(マッチング)処理を行う。航海環境時系列画像は近接した画像間では変化が少ないという特徴があるため、被照合画像の選択は画像の時間間隔を空ける必要がある。ただしあまり間隔を空け過ぎると照合の走査範囲が広範囲に及ぶというデメリットが現れてしまう。本方法では走査範囲をx−y方向100画素以内と限定して実験データを処理した結果、適当な画像間隔を10フレーム(0.33秒後)と設定した。
[3] Verification (matching) [Step S3]
A time-series image after properly determining a frame is selected from the images subjected to the grouping process, and the ship region matching (matching) process is performed. Since the navigation environment time-series images are characterized in that there is little change between adjacent images, it is necessary to select a time interval between images when selecting images to be verified. However, if the interval is too long, a demerit that the scanning range of collation extends over a wide range appears. In this method, as a result of processing the experimental data while limiting the scanning range to within 100 pixels in the xy direction, an appropriate image interval was set to 10 frames (after 0.33 seconds).
グループ化した推定領域を任意フレーム間で照合すると、推定領域が船舶領域であれば予想通り比較的高い率でマッチングする。しかし、推定領域が波であった場合でも近辺の海面に似通った形状の波が存在すると一致度が高いことがある。すなわち船舶と見誤ってしまうことになる。これは輪郭を抽出する際に微分値を閾値で分別し画面全体を二値化するため、濃淡情報が欠落し位置情報のみになるためと考えられる。 When the grouped estimation regions are collated between arbitrary frames, matching is performed at a relatively high rate as expected if the estimation region is a ship region. However, even when the estimation region is a wave, the degree of coincidence may be high if a wave having a shape similar to the sea surface in the vicinity exists. In other words, it will be mistaken for a ship. This is presumably because, when the contour is extracted, the differential value is sorted by the threshold value and the entire screen is binarized, so that the shade information is lost and only the position information is obtained.
そこで、精度を向上させるためグループ化した船舶推定領域の座標に対応する原画像(濃淡画像)の領域を切り出し、被照合画像との照合を行う。この場合、二値データではなく画像の濃淡データ同士を照合するので船舶領域の一致度はより向上し、波領域の一致度は低下する。照合には対応の見込みのない候補の演算を打切ることで高速化をはかる残差逐次検定法(Sequential Similarity Detection Algorithm:SSDA)を用いた(上記非特許文献7)。SSDA法では、残差Rを下記(1)式で計算する。(u,v)は被照合画像内における推定領域画像の位置を示している。I(u,v) (m,n)は被照合画像の部分画像、T(m,n)はサイズが(TX,TY)の推定領域画像である。 Therefore, in order to improve accuracy, a region of the original image (grayscale image) corresponding to the coordinates of the grouped ship estimation regions is cut out and collated with the collated image. In this case, since the grayscale data of the image is collated instead of the binary data, the degree of coincidence of the ship region is further improved and the degree of coincidence of the wave region is lowered. For the verification, a residual sequential detection algorithm (SSDA) was used that speeds up the process by canceling the computation of a candidate that is not expected to correspond (Non-Patent Document 7). In the SSDA method, the residual R is calculated by the following equation (1). (U, v) indicates the position of the estimated area image in the image to be verified. I (u, v) (m, n) is a partial image of the image to be verified, and T (m, n) is an estimated region image of size (TX, TY).
前述の方法によって画像を処理しても、海上の波の状態によっては照合の一致度が高くなり波を完全に判別することが出来ない。例えば、白波の立たない、穏やかなうねりがある海面でこの現象は顕著である。そこで照合の結果をベクトル化しグループの移動(フロー)傾向で判断する方法を併用した。
Even if the image is processed by the above-described method, the matching degree becomes high depending on the state of the wave at sea, and the wave cannot be completely discriminated. For example, this phenomenon is conspicuous on the sea surface where there is no white wave and there is a gentle swell. Therefore, a method of vectorizing the result of matching and judging by the group movement (flow) tendency was also used.
原画像上にあるグループの位置O(Xo,Yo)から被照合画像の照合位置M(u,v)までをベクトル化し移動ベクトルMVとする。すなわち、下記(2)式に示す通りである。 A vector from the position O (Xo, Yo) of the group on the original image to the collation position M (u, v) of the image to be collated is converted into a movement vector MV. That is, it is as shown in the following formula (2).
〔5〕時系列連続照合
時系列画像間で連続して上記の照合を行っていくと、波は次々に除去されて船舶だけを抽出することができる。しかし、上記〔3〕で述べた処理だけでは船舶が画面から外れた(フレームアウト)場合や新たな船舶が画面内に入り込んできた(フレームイン)場合に対応することができない。さらに、小型の船舶を一度波であると処理してしまった場合にこの判定を覆すことができない。そこで、本発明では定期的に輪郭の抽出処理(ステップS1)を立ち上げ、新たな推定領域を定義して照合を継続する。これにより、見落としやすい新たな船舶の出現に対応することができる。
[5] Time-series continuous verification When the above-described verification is performed continuously between time-series images, waves are removed one after another and only the ship can be extracted. However, the process described in [3] above cannot cope with a case where a ship is off the screen (out of frame) or a new ship enters the screen (in frame). Furthermore, this determination cannot be overturned once a small vessel has been treated as a wave. Therefore, in the present invention, a contour extraction process (step S1) is periodically started, a new estimation area is defined, and matching is continued. Thereby, it can respond to the appearance of a new ship that is easy to overlook.
次に、実験環境及び処理環境について説明する。
航海環境時系列画像を取得するための実験環境及び撮影した画像の処理環境を以下にまとめる。
(1)実験環境:東京商船大学練習船汐路丸の船橋及びウイングにCCDカメラ及びビデオカメラを設置し、撮影した画像をビデオレコーダーに録画した。
Next, an experimental environment and a processing environment will be described.
The experimental environment for acquiring the navigation environment time-series images and the processing environment for the captured images are summarized below.
(1) Experimental environment: A CCD camera and a video camera were set up on the Funabashi and Wings of the Tokyo MOL University training ship Kushiro Maru, and the captured images were recorded on a video recorder.
(2)実験場所:東京湾、浦賀水道航路、館山湾、房総半島南西沖を航海中に撮影した。
(3)実験機器
ビデオカメラ(DCR−TRV7:SONY製)
CCDカメラ(CCD−IRIS:SONY製)
ビデオレコーダー(DSR−V10:SONY製)
画像編集機(WSD/2XTreme:ACCOM製)
(4)実験期間:2000年−2002年の汐路丸研究航海期間に実施した。
(2) Location of the experiment: Pictures were taken during the voyage of Tokyo Bay, Uraga Channel, Tateyama Bay, and southwest Boso Peninsula.
(3) Experimental equipment Video camera (DCR-TRV7: manufactured by SONY)
CCD camera (CCD-IRIS: made by SONY)
Video recorder (DSR-V10: made by SONY)
Image editor (WSD / 2XTreme: manufactured by ACCOM)
(4) Experiment period: Conducted during the Kushiromaru research voyage from 2000 to 2002.
(5)実験状況:撮影方向は船舶の右舷前方を中心に任意方向とした。撮影方向は適宜変更したが一連の撮影を行う際はカメラを固定した。倍率は状況によって変更したが一連の撮影時には固定した。フォーカスは、無限遠で固定とした。露出は撮影機器の自動選択機能を用いた。
(6)処理環境:海上で撮影したビデオテープから画像編集機でUNIX(登録商標)(SUN製)環境へダウンロードし、画像データを処理した。
(5) Situation of experiment: The photographing direction was an arbitrary direction centering on the starboard front of the ship. The shooting direction was changed as appropriate, but the camera was fixed during a series of shootings. Although the magnification was changed depending on the situation, it was fixed during a series of shootings. The focus was fixed at infinity. For the exposure, an automatic selection function of the photographing apparatus was used.
(6) Processing environment: Downloaded from a videotape taken at sea to a UNIX (registered trademark) environment (manufactured by SUN) with an image editor, and processed the image data.
次に、実験結果について説明する。
撮影したデータを本発明の方法で処理した結果を以下に示す。
相模沖で撮影した時系列画像の任意の一フレームを図2に示す。
この図2では、自船右舷前方の船舶を捕えており、このとき自船は右舷方向にロールをしている最中である。
Next, experimental results will be described.
The result of processing the photographed data by the method of the present invention is shown below.
FIG. 2 shows an arbitrary frame of a time-series image taken off Sagami.
In FIG. 2, the ship ahead of the ship's starboard is caught, and at this time, the ship is rolling in the starboard direction.
船舶の輪郭を抽出するために、図2の画面を空間微分した結果を図3に示す。この図からわかるように、船舶だけでなく海面の波の輪郭も多く抽出されている。
図3で得られた輪郭の画素をグループ化し、100画素以上のグループだけを抽出した結果を図4に示す。船舶以外に幾つかの大きな波が認められる。
このグループを図2の画面から10フレーム後(約0.33秒後)の画面と照合した結果を図5に示す。長方形の白い枠で囲まれているのがグループ化した領域である。枠の中心から伸びている白線は10フレーム後の画面上で照合の結果一致した領域へのベクトルである。船舶領域のベクトルは10フレーム間の動き(ロール+相対移動)に対応するのに対し、波のグループについては発散傾向が見られる。
FIG. 3 shows the result of spatial differentiation of the screen of FIG. 2 in order to extract the contour of the ship. As can be seen from this figure, many contours of waves on the sea surface as well as ships are extracted.
FIG. 4 shows a result of grouping the contour pixels obtained in FIG. 3 and extracting only groups of 100 pixels or more. There are some big waves in addition to ships.
FIG. 5 shows the result of collating this group with the screen after 10 frames (about 0.33 seconds later) from the screen of FIG. A grouped area is surrounded by a rectangular white frame. A white line extending from the center of the frame is a vector to a region that matches as a result of matching on the screen after 10 frames. The ship area vector corresponds to the motion between 10 frames (roll + relative movement), whereas the wave group shows a divergence trend.
さらに、図2の画面から20フレーム後の画面と照合した結果を図6に示す。船舶領域は図5のベクトルの延長線上にあるが波のグループのベクトルは一致していないことが分かる。
また、図7は浦賀水道航路を北上中、左舷方向を撮影した画像を処理したものである。多くの波がグループ化されているがそのベクトルはいずれも発散している。船舶は一部分割されて認識されているが同一の進行方向を持つグループとして把握できている。 次に、上記試験の評価と考察を以下に行う。
Further, FIG. 6 shows the result of collation with the screen 20 frames after the screen of FIG. It can be seen that the ship region is on the extension of the vector of FIG. 5 but the wave group vectors do not match.
Further, FIG. 7 is a processed image obtained by photographing the port side direction in the Uraga Channel. Many waves are grouped together, but their vectors are all diverging. Ships are partly divided and recognized, but can be understood as a group with the same direction of travel. Next, evaluation and consideration of the above test are performed as follows.
〔1〕輪郭抽出
輪郭を抽出するため使用したKirschのオペレータは8方向からの微分を行うので画像の特徴を感度良く抽出することができる。
しかし、本発明においては海上を航行する船舶の抽出が主目的であり、微細な海上の波や雲の特徴を抽出してもこれらは雑音となり、輪郭をグループ化する際の障害となる。従って画像に応じた閾値を設定して抽出数を制限しなければならなかった。これは感度の低いオペレータに変更して(Sobel,Prewitt等)も同様であった。このため、本発明では画像の空間微分を行った結果、抽出数の量に応じて閾値を変更し、再微分するフィードバックプロセスの組み込みが必要であると判断している。この処理により、撮影条件の変化に柔軟な対応が可能となる。
[1] Contour Extraction The Kirsch operator used to extract the contour performs differentiation from eight directions, so that the feature of the image can be extracted with high sensitivity.
However, in the present invention, the main purpose is to extract ships navigating the sea, and even if fine sea waves and cloud features are extracted, they become noise and become obstacles when grouping contours. Therefore, the number of extractions must be limited by setting a threshold according to the image. This was the same even when the operator was changed to a less sensitive operator (Sobel, Prewitt, etc.). For this reason, in the present invention, as a result of performing spatial differentiation of the image, it is determined that it is necessary to incorporate a feedback process in which the threshold value is changed according to the amount of extraction and redifferentiation is performed. This process makes it possible to respond flexibly to changes in shooting conditions.
〔2〕照合
上記の通り、航海画像の特質として、海面部分の照合は一致度に大きな変化が見られない。探索範囲が広いケースでは、一時的に船舶よりも一致度が高いケースさえあった。従って一致度の差による判断だけでは明確に波を除去することはできない。実験の結果、波は照合位置がランダムに移動する傾向が見られる。すなわち、時系列上で船舶は一定周期の軌道をとるが、波の場合はその移動が無秩序に発散する傾向がある。これは波が時系列画像上、二度と同じ形状を取らないことに起因すると考えられる。このフロー差を検証することにより、船舶と波を判別することができる。
[2] Collation As described above, as a characteristic of the navigation image, there is no significant change in the degree of coincidence in the sea surface collation. In the case where the search range is wide, there was even a case where the degree of coincidence was temporarily higher than that of the ship. Therefore, the wave cannot be clearly removed only by the judgment based on the difference in coincidence. As a result of the experiment, the wave tends to move at random. In other words, the ship takes a fixed orbit in time series, but in the case of waves, the movement tends to diverge randomly. This is considered to be due to the fact that the waves do not take the same shape twice on the time-series image. By verifying this flow difference, a ship and a wave can be distinguished.
本発明では、船舶推定領域が移動したログ(履歴)をテーブル化して、フローの発散度をもって判断する方法で対応した。
表1は図4での各グループの座標(xo,yo)とそれぞれのグループが10フレーム後(図5参照)で照合した座標(x1,y1)、また20フレーム後(図6参照)で照合した座標(x2,y2)をテーブル化し、船舶の判定を行った結果を示す。
In the present invention, the log (history) in which the ship estimation area has moved is tabulated and the determination is made based on the flow divergence.
Table 1 shows the coordinates (xo, yo) of each group in FIG. 4 and the coordinates (x1, y1) of each group after 10 frames (see FIG. 5), and after 20 frames (see FIG. 6). The coordinates (x2, y2) obtained are tabulated and the result of ship determination is shown.
〔3〕グループ化
航路や湾内に於いて陸地を背景にして船舶を認識しなければならないケースがある。この場合に推定領域をグループ化すると、船舶と背景が結合してしまうことがある。船舶と背景が一体になってしまうと、グループ単位で照合を行ったときに船舶だけを抽出することができない。この対策としては照合する際にグループ内をブロックに細分化して個別のフローをとることで解決できる可能性がある。この場合、計算コストと精度のバランスを考慮する必要がある。
[3] Grouping There are cases where ships must be recognized on the background of land on the route and bay. In this case, if the estimated areas are grouped, the ship and the background may be combined. If the ship and the background are integrated, it is not possible to extract only the ship when collation is performed in units of groups. This countermeasure may be solved by subdividing the group into blocks and taking individual flows when collating. In this case, it is necessary to consider the balance between calculation cost and accuracy.
〔4〕画像倍率の問題
本発明で撮影した画像は任意に倍率を設定した。実際の船橋当直業務ではまず広い範囲を監視して必要な場合には双眼鏡で確認するという操作が行われている。低倍率で広範囲に撮影した画像は、対象となる船舶が小さいため波と間違って抽出できないことがある。したがって小型あるいは遠方の対象物を確認するためにはカメラのズーム(拡大)操作が必要である。このため本発明を船橋当直業務に適用するためにはカメラのパン(水平方向回転)、及びカメラのズーム操作をアクティブに行うことができる装置が理想的である。
[4] Problem of image magnification The magnification of an image taken in the present invention was arbitrarily set. In actual Funabashi duty work, first of all, a wide range is monitored, and if necessary, it is confirmed with binoculars. An image captured over a wide range at a low magnification may not be extracted by mistake as a wave because the target ship is small. Therefore, in order to confirm a small or distant object, a zoom (enlargement) operation of the camera is necessary. For this reason, in order to apply the present invention to a work on duty for a bridge bridge, an apparatus capable of actively performing camera pan (horizontal rotation) and camera zoom operation is ideal.
上記したように、本発明によれば、実画像を処理した結果、船舶の抽出に有効であることが確認できた。
本発明は最終的に、AISやレーダーとの連携による航行支援を目標に掲げている。このために、必要な情報はカメラ光軸の絶対方位と、AISやレーダーの距離、方位情報等である。カメラの光軸は、GPSやジャイロコンパスの出力を利用して絶対方位を取得する方法がある。また、AISやレーダーの情報を取得するためには、これらの機器と情報交換インターフェイスを構築することで相対船の位置、方位情報を取得することが可能である。
As described above, according to the present invention, as a result of processing a real image, it was confirmed that it is effective for ship extraction.
The present invention finally aims at navigation support in cooperation with AIS and radar. For this purpose, necessary information includes the absolute azimuth of the camera optical axis, AIS and radar distance, azimuth information, and the like. As for the optical axis of the camera, there is a method of obtaining an absolute azimuth using the output of GPS or a gyrocompass. In addition, in order to acquire AIS and radar information, it is possible to acquire relative ship position and orientation information by constructing an information exchange interface with these devices.
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形が可能であり、これらを本発明の範囲から排除するものではない。 In addition, this invention is not limited to the said Example, Based on the meaning of this invention, a various deformation | transformation is possible and these are not excluded from the scope of the present invention.
本発明は、より簡易かつロバストに相対船の位置、方位情報を抽出するのに適している。 The present invention is suitable for extracting relative ship position and direction information more simply and robustly.
Claims (3)
(b)前記グループ化処理を施した画像からフレームを定めた後の時系列画像上の画像を選択し、該選択された画像と前記船舶領域とを照合することにより船舶を抽出することを特徴とする時系列航海画像からの船舶の抽出方法。 (A) Estimate a ship region by spatial differentiation processing and grouping processing on an arbitrary image of time-series voyage images,
(B) selecting an image on a time-series image after defining a frame from the image subjected to the grouping process, and extracting the ship by comparing the selected image with the ship region. A method for extracting a ship from a time-series cruise image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003387983A JP4482623B2 (en) | 2003-11-18 | 2003-11-18 | Extraction method of ships from time series voyage images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003387983A JP4482623B2 (en) | 2003-11-18 | 2003-11-18 | Extraction method of ships from time series voyage images |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005149288A JP2005149288A (en) | 2005-06-09 |
JP4482623B2 true JP4482623B2 (en) | 2010-06-16 |
Family
ID=34695193
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003387983A Expired - Lifetime JP4482623B2 (en) | 2003-11-18 | 2003-11-18 | Extraction method of ships from time series voyage images |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4482623B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007074774A1 (en) * | 2005-12-26 | 2007-07-05 | Kyocera Corporation | Blur detecting device, blur correcting device, imaging device, and blur detecting method |
JP5076971B2 (en) * | 2008-02-29 | 2012-11-21 | 富士通株式会社 | Image target detection and tracking apparatus, image target detection and tracking method, and image target detection and tracking program |
US9355463B1 (en) * | 2014-11-24 | 2016-05-31 | Raytheon Company | Method and system for processing a sequence of images to identify, track, and/or target an object on a body of water |
CN116682286B (en) * | 2023-07-31 | 2023-09-29 | 厦门求同信息科技有限公司 | Ship early warning method and system based on offshore target detection |
-
2003
- 2003-11-18 JP JP2003387983A patent/JP4482623B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2005149288A (en) | 2005-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Galceran et al. | A real-time underwater object detection algorithm for multi-beam forward looking sonar | |
CN112102369B (en) | Autonomous inspection method, device, equipment and storage medium for water surface floating target | |
KR102530691B1 (en) | Device and method for monitoring a berthing | |
CN108806334A (en) | A kind of intelligent ship personal identification method based on image | |
US9031285B2 (en) | Detection of floating objects in maritime video using a mobile camera | |
Bedruz et al. | Real-time vehicle detection and tracking using a mean-shift based blob analysis and tracking approach | |
Heidarsson et al. | Obstacle detection from overhead imagery using self-supervised learning for autonomous surface vehicles | |
Petraglia et al. | Pipeline tracking and event classification for an automatic inspection vision system | |
CN109063669B (en) | Bridge area ship navigation situation analysis method and device based on image recognition | |
CN111723632A (en) | Ship tracking method and system based on twin network | |
Naus et al. | Precision in determining ship position using the method of comparing an omnidirectional map to a visual shoreline image | |
Alla et al. | Vision-based Deep Learning algorithm for Underwater Object Detection and Tracking | |
Praczyk et al. | Concept and first results of optical navigational system | |
JP4482623B2 (en) | Extraction method of ships from time series voyage images | |
Hashmani et al. | A survey on edge detection based recent marine horizon line detection methods and their applications | |
JP3878590B2 (en) | Time-series image processing method and apparatus | |
García et al. | Image mosaicking for estimating the motion of an underwater vehicle | |
CN111860426A (en) | Single-sample cockpit image signal target detection method and system based on template matching | |
Kazimierski | Verification of neural approach to radar-AIS tracks association for maneuvering targets based on kinematic spatial information | |
CN117011768B (en) | Multi-ship target detection and tracking method based on robust data association | |
Mu et al. | Research on optical detection technology for underwater archaeology | |
Sandru et al. | Horizon detection and tracking in sea-ice conditions using machine vision | |
Zhang | Image processing for ice parameter identification in ice management | |
JP2006113738A (en) | Device and method for detecting object | |
Umair et al. | Rough-Sea-Horizon-Line Detection using a Novel Color Clustering and Least Squares Regression Method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061026 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090915 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091224 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4482623 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
EXPY | Cancellation because of completion of term |