JP6858415B2 - 海面計測システム、海面計測方法および海面計測プログラム - Google Patents

海面計測システム、海面計測方法および海面計測プログラム Download PDF

Info

Publication number
JP6858415B2
JP6858415B2 JP2019003426A JP2019003426A JP6858415B2 JP 6858415 B2 JP6858415 B2 JP 6858415B2 JP 2019003426 A JP2019003426 A JP 2019003426A JP 2019003426 A JP2019003426 A JP 2019003426A JP 6858415 B2 JP6858415 B2 JP 6858415B2
Authority
JP
Japan
Prior art keywords
sea level
wave
image
sea
height
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019003426A
Other languages
English (en)
Other versions
JP2020112438A (ja
Inventor
存偉 盧
存偉 盧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
fukuokakougyoudaigaku
Original Assignee
fukuokakougyoudaigaku
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by fukuokakougyoudaigaku filed Critical fukuokakougyoudaigaku
Priority to JP2019003426A priority Critical patent/JP6858415B2/ja
Priority to CN202010027415.3A priority patent/CN111435081B/zh
Priority to CN202210062109.2A priority patent/CN114526710A/zh
Priority to CN202210062123.2A priority patent/CN114485579A/zh
Publication of JP2020112438A publication Critical patent/JP2020112438A/ja
Application granted granted Critical
Publication of JP6858415B2 publication Critical patent/JP6858415B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C13/00Surveying specially adapted to open water, e.g. sea, lake, river or canal
    • G01C13/002Measuring the movement of open water
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Hydrology & Water Resources (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、複数のカメラにより撮影した画像に基づいて津波、高波、高潮や急潮等の海面異常を計測する海面計測システム、海面計測方法および海面計測プログラムに関する。
既存の津波の計測(観測)方法は、概ね、陸地に到達した津波の観測方法と、陸地到達前の津波の観測方法との二種類に分類できる。
(1)陸地に到達した津波の観測方法
陸地に到達した津波の高さの観測には、気象庁が各地に設置している検潮所の他、津波観測計や巨大津波観測計などの津波観測機器が用いられる。気象庁では、検潮所や津波観測計を用いて潮位を常時観測し、観測したデータを潮汐観測資料(速報値)および潮汐観測資料として公開している。しかし、これらの観測システムは何れも海岸に設置されているので、陸地に到達した津波の観測はできるものの、到達前の遠方(数10km〜50km超)の津波観測ができず、到達時刻の推定ができない。
(2)陸地到達前の津波の観測方法
陸地到達前の津波の観測には、海底地震・津波観測網、GPS波浪計および最近提案されている津波レーダが用いられる。
海底地震・津波観測網は、日本海溝海底地震津波観測網整備事業として、国立研究開発法人防災科学技術研究所において、推進、整備される大規模のリアルタイム地震・津波観測ネットワークである。地底地震・津波観測網では、地震計と津波計とが一体となった観測装置を光海底ケーブルで接続し、これを東日本の太平洋沖海底に設置し、リアルタイムに24時間連続で観測データを取得する。2018年1月現在、観測装置は日本全国の沿岸に150ヵ所に設置され、ケーブル総全長は約5,700kmになる。地底地震・津波観測網は、海溝型地震や直後の津波を直接的に検知し、迅速・高精度な情報伝達により被害の軽減や避難行動などの防災対策に貢献することが期待される。
しかし、海底システムや陸上局の設置は膨大な工事が必要であり、自治体や漁業関係者の同意が必要である。また、設備施設の維持や管理にも多大な費用が必要である。そのため、全国の海域に普及することには困難な面がある。
GPS波浪計システムは、GPS衛星を用いて沖合に浮かべたブイ(GPS波浪計)の上下変動を計測し、波浪や潮汐等の海面変動を直接観測する海象観測機器である。2017年1月現在、日本沖合に18基のGPS波浪計が設置されている。
GPS波浪計は、港湾設備に必要な沖合の波浪情報を所得するために設置するものであるが、地震発生時には津波による海面の上下動の観測も可能であることから、津波防災対策への活用も大きく期待されている。通常、GPS波浪計は、沖合20km前後の処に設置されるため、数十キロ先の津波観測と到達時刻推定が可能である。
しかし、GPS波浪計は高価な設備であり、2005年設置当初では、一基3億円を超え、現在も億単位である。また、GPS波浪計は特定のスポットにしか設置できず、広範囲の観測が困難である。
津波レーダは、レーダ計測技術を用い、遠方の海面を計測し、津波の発生を監視するシステムである。これらの方法では、レーダで観測した海面の流速から津波成分を抽出し、津波の波高と到着時刻を推定する。
しかし、これらの方法では、海面の流速から津波成分の抽出を行うことは困難であり、特に長周期である津波の早期計測は困難である。
特開2013−40898号公報 特開2018−4529号公報 特開2014−160044号公報 特開2004−191268号公報 特開2017−150917号公報 特開2016−85206号公報
ところで、画像計測技術は30年前から研究され、デジタルカメラ技術と計算機製造技術などのハードウェア技術の進歩や、アルゴリズムや人工知能などのソフトウェア技術の発展により、近年実用化が進んでいる。現在、画像計測技術は、印刷品質の管理、生産品の品質管理、宝石や芸術品の鑑定などの品質管理分野に実用化されている。また、顔認識や物体認識の分野にも幅広く実用化されている。
本発明は、画像計測技術を応用した津波等の海面異常を計測する海面計測システム、海面計測方法および海面計測プログラムを提供することを目的とする。
本発明の海面計測システムは、異なる地点に設置される複数のカメラにより同時に同一海面領域を含む画像を撮影する撮影手段と、複数のカメラにより同時にそれぞれ撮影された画像から波を抽出する波抽出手段と、波抽出手段により抽出された各波に対し、複数のカメラにより同時に撮影されたそれぞれの画像から同一の波を見つけ出して対応付ける波対応付け手段と、波対応付け手段により対応付けされた画像の各波を三次元解析することにより海面の高さおよび波の高さを算出する三次元情報計算手段と、三次元情報計算手段により算出した海面の高さおよび波の高さに基づいて海面異常の発生の有無を判定する海面異常有無判定手段とを含むものである。
また、本発明の海面計測方法は、異なる地点に設置される複数のカメラにより同時に同一海面領域を含む画像を撮影すること、複数のカメラにより同時にそれぞれ撮影された画像から波を抽出すること、抽出された各波に対し、複数のカメラにより同時に撮影されたそれぞれの画像から同一の波を見つけ出して対応付けること、対応付けされた画像の各波を三次元解析することにより海面の高さおよび波の高さを算出すること、算出した海面の高さおよび波の高さに基づいて海面異常の発生の有無を判定することを含むことを特徴とする。
これらの発明によれば、異なる地点に設置される複数のカメラにより同時に同一海面領域を含む画像が撮影され、複数のカメラにより同時にそれぞれ撮影された画像から波が抽出され、抽出された各波に対し、複数のカメラにより同時に撮影されたそれぞれの画像から同一の波が見つけ出されて対応付けられ、対応付けされた画像の各波が三次元解析されることにより海面の高さおよび波の高さが算出され、算出された海面の高さおよび波の高さに基づいて海面異常の発生の有無が判定される。
また、本発明の海面計測プログラムは、異なる地点に設置される複数のカメラにより同時に同一海面領域を含む画像を撮影する撮影手段と、複数のカメラにより同時にそれぞれ撮影された画像から波を抽出する波抽出手段と、波抽出手段により抽出された各波に対し、複数のカメラにより同時に撮影されたそれぞれの画像から同一の波を見つけ出して対応付ける波対応付け手段と、波対応付け手段により対応付けされた画像の各波を三次元解析することにより海面の高さおよび波の高さを算出する三次元情報計算手段と、三次元情報計算手段により算出した海面の高さおよび波の高さに基づいて海面異常の発生の有無を判定する海面異常有無判定手段としてコンピュータを機能させるものである。本発明の海面計測プログラムを実行したコンピュータは、上記本発明の海面計測装置と同様に機能する。
本発明によれば、複数のカメラにより撮影した画像に基づいて津波、高波、高潮や急潮等の海面異常の発生の有無をリアルタイムで判定することができ、海面異常として津波が発生した場合にその規模と到着時刻をリアルタイムで算出したり、必要な処と必要な人に津波等の海面異常に関する警報を自動的に送信したりすることが可能となり、海面異常に対する避難や被害の軽減に寄与できる。
本発明の実施の形態における海面計測システムのハードウェア構成図である。 図1の海面計測システムのカメラセットの設置状態を示す説明図である。 ステレオ視による三次元画像計測の座標関係を示す説明図である。 図1の海面計測システムの構成を示すブロック図である。 図1の海面計測システムによる海面計測の流れを示すフロー図である。 大気モデルのイメージ図である。 雨影響軽減手段による処理のフロー図である。 波抽出のイメージ図である。 2枚の画像を用いた波の対応付け処理の流れを示すフロー図である。 波の特徴ベクトルのイメージ図である。 左右2台のカメラの撮影画像を用いた海面の高さ計算のイメージ図である。 左右2台のカメラの撮影画像を用いた海面の高さ計算の流れを示すフロー図である。 円柱状ターゲットの一例を示す図である。 遠距離カメラシステムキャリブレーション手段によるキャリブレーションの流れを示すフロー図である。 津波の有無の判定の流れを示すフロー図である。 各時刻の海面の高さの三次元画像計測のイメージ図である。 カメラの視線の機械制御のイメージ図である。 2台のカメラの画像計測制御による精密制御のイメージ図である。 2台のカメラを持つ場合の画像計測制御による精密制御の流れを示すフロー図である。
以下、本発明の実施の形態における海面計測システムについて、図面を用いて説明する。図1は本発明の実施の形態における海面計測システムのハードウェア構成図、図2は図1の海面計測システムのカメラセットの設置状態を示す説明図、図3はステレオ視による三次元画像計測の座標関係を示す説明図、図4は図1の海面計測システムの構成を示すブロック図である。
図1に示すように、本実施形態における海面計測システムは、コンピュータとしてのサーバー1と、サーバー1にそれぞれ接続されるクライアント計算機2A,2Bと、クライアント計算機2A,2Bにそれぞれ接続される第1カメラセット3Aおよび第2カメラセット3Bとから構成される。第1カメラセット3Aおよび第2カメラセット3Bは、それぞれカメラ本体とレンズとを含むカメラ4A,4Bと、カメラ4A,4Bが姿勢調節可能に固定される旋回台などのカメラ固定調節部5A,5Bとから構成される。
図2に示すように、第1カメラセット3Aおよび第2カメラセット3Bは、海に近い海岸の陸地上の異なる地点C1,C2の基線長B、設置高度Hの位置に設置される。なお、厳密には、図3に示すように、地点C1,C2にそれぞれ設置される第1カメラセット3Aおよび第2カメラセット3Bのそれぞれのカメラレンズ中心間の距離を基線長Bとする。また、以下の説明においては、基線長Bの延びる方向をX方向、高さ方向をY方向、X方向およびY方向に対して直交する方向をZ方向とする。
図4に示すように、サーバー1は、異なる地点に設置される複数のカメラ4A,4Bにより同時に同一海面領域を含む画像を撮影する撮影手段10と、複数のカメラ4A,4Bにより同時にそれぞれ撮影された画像から波を抽出する波抽出手段11と、波抽出手段11により抽出された各波に対し、複数のカメラ4A,4Bにより同時に撮影されたそれぞれの画像から同一の波を見つけ出して対応付ける波対応付け手段12と、波対応付け手段12により対応付けされた画像の各波を三次元解析することにより海面の高さおよび波の高さを算出する三次元情報計算手段13と、三次元情報計算手段13により算出した海面の高さおよび波の高さに基づいて津波等の海面異常の発生の有無を判定する海面異常有無判定手段14とを含む。
また、本実施形態における海面計測システムは、海面の三次元情報計算精度を向上するための遠距離カメラシステムキャリブレーション手段15と、海面異常として津波の発生が計測された場合に津波の進行速度を算出する津波進行速度計算手段16と、津波の規模を推測する津波規模推測手段17と、津波の到着時刻を推測する津波到着時刻推測手段18と、津波情報発信手段19と、記憶手段20とを含む。さらに、詳細は後述するが、本実施形態における海面計測システムは、霧影響軽減手段21と、雨影響軽減手段22と、二段式制御手段23とを含む。サーバー1は、海面計測プログラムを実行することにより、上記各手段10〜23として機能する。
図5は図1の海面計測システムによる津波計測の流れを示すフロー図である。
海面異常としての津波の画像計測を実現するために、まずは2台以上のカメラ4A,4Bを異なる地点に設置する(S101)。
続いて、複数のカメラ4A,4Bにより、同一海面領域を含む画像を同時に撮影する(S102)。また、夜間や雨、霧などの悪環境における撮影には、赤外線カメラや、霧影響軽減手段21および雨影響軽減手段22を用いるが、詳細は後述する(S201)。
その後、各カメラ4A,4Bが撮影した画像から、それぞれ波抽出手段11を用い、津波計測に必要な波を抽出する(S103)。
各画像に対し、波を抽出した後に、波対応付け手段12を用い、波の対応付けを行い、各カメラ4A,4Bの画像から抽出した波の対応付けを行い、同一波のグループを求める(S104)。
対応付けを行った各波のグループに対し、海面の三次元情報計算手段13を用い、海面の三次元情報を算出する。まず、検出した各波の三次元世界座標(X,Y,Z)を算出し、それに基づき海面の三次元情報、すなわち海面の高さと波の高さを算出する(S105)。
なお、三次元情報計算精度を確保するために、遠距離カメラシステムキャリブレーション手段15を用い、カメラシステムのキャリブレーションを行う(S202)。
算出した海面の高さと波の高さに基づき、津波の有無の判定手段を用い、津波発生の有無を判定する(S106、S107)。
津波の発生があると判定される場合は、津波進行速度計算手段16、津波規模推測手段17および津波到着時刻推測手段18を用い、津波の規模を推定し(S108)、到着時刻を推定する(S109)。
最後に、計測した津波情報を津波情報発信手段19により必要な処と必要な人に発信する(S110)。
次に各手段について詳細に説明する。
[撮影手段10]
撮影手段10は、異なる地点に設置される複数のカメラ4A,4Bにより同時に同一海面領域を含む画像を撮影する。前述のように、カメラ4Aを含む第1カメラセット3Aおよびカメラ4Bを含む第2カメラセット3Bは、図2に示すように、海に近い海岸の陸地上の異なる地点C1,C2に設置され、半径5〜20km程度の範囲の遠距離海面の画像を取得する。この半径5〜20kmの遠方海面の三次元画像計測を実現するために、本実施形態においては、ステレオ視による三次元画像計測技術を用いる。各カメラ4A,4B間の距離すなわちカメラ4A,4B間の基線長Bは20メートル以上とし、各カメラ4A,4Bの設置場所の海抜すなわちカメラ4A,4Bの設置高度Hは20メートル以上とする。
第1カメラセット3Aおよび第2カメラセット3Bに対する津波等による被害を最小限にし、撮影の際の外乱をできる限り抑え、可能な限り遠いところの写真撮影を実現するために、第1カメラセット3Aおよび第2カメラセット3Bは海岸に設置することが望ましく、海に近ければ近いほど良い。なお、本実施形態においては、第1カメラセット3Aおよび第2カメラセット3Bの2セットを使用するが、3セット以上とすることも可能である。
カメラ4A,4Bは計測精度の向上と悪環境でも計測に必要な画像を撮影できるように、8ビット以上の感度を持つ高感度カメラを使用することが望ましい。また、遠距離海面の撮影のために、口径の大きい望遠機能のあるレンズもしくは望遠機能を持つズームレンズを使用することが望ましい。
クライアント計算機2A,2Bは、カメラ4A,4Bのパラメータを調節して撮影を制御する機能やカメラ4A,4Bが撮影した画像を取り込む機能を有する。サーバー1は、クライアント計算機2A,2Bとの通信機能を有し、クライアント計算機2A,2Bを制御し、クライアント計算機2A,2Bに写真撮影に必要な命令を送り、クライアント計算機2A,2Bより撮影画像を取得する機能を有する。
なお、本実施形態における海面計測システムでは、異なる海面を撮影するために、各カメラ4A,4Bの視線を調節する必要がある。このため、カメラ固定調節部5A,5Bは、パン方向(水平方向)とチルト方向(垂直方向)の回転ができるようになっている。カメラ固定調節部5A,5Bのパン方向とチルト方向の角度の調節により、カメラ固定調節部5A,5Bに設置されたカメラ4A,4Bの撮影方向角度を上下および左右に調節し、複数のカメラ4A,4Bに同一海面を撮影させることが可能となっている。
パン方向とチルト方向の回転角度は、クライアント計算機2A,2Bの命令により制御される。パン方向とチルト方向の回転角の具体的な値は、計測海域の位置により異なり、サーバー1から各カメラセット3A,3Bを制御するクライアント計算機2A,2Bに送信する。また、電気的な外部同期信号もしくはサーバー1からソフトウェア同期命令により、複数のカメラ4A,4Bを同時に撮影させることで、カメラ4A,4Bの同期撮影を実現する。カメラ4A,4Bのカメラ本体の露光時間などのパラメータ制御や、レンズのズーム制御やピント合わせなどの制御は、クライアント計算機2A,2Bにより行う。各カメラ4A,4Bより撮影される画像は、まず各カメラ4A,4Bに接続するクライアント計算機2A,2Bより取り込んでから、サーバー1の命令によりサーバー1に送り、サーバー1で画像処理を行う。
なお、津波等の海面異常の計測には24時間海を撮影する必要がある。そのため、本実施形態における海面計測システムでは、カメラ4A,4Bとして、昼間は主に可視光カメラを、夜間には主に遠赤外線カメラ等の赤外線カメラを使用する。
[霧影響軽減手段21]
また、サーバー1は、霧などの影響を軽減するための霧影響軽減手段21を備える。霧影響軽減手段21は、大気モデルに基づき、カメラ4A,4Bにより撮影した海の画像の縦方向の長さ、すなわち画像のy座標に線形的に近似した海面の大気の透過率分布と太陽光の強度成分とから、前記カメラ4A,4Bにより撮影した画像の霧などの悪影響を軽減する。
図6に大気モデルのイメージ図を示す。大気環境の中に、大気光が存在し、その強度はAで表す。カメラに入った光量は、直接入った大気光成分と対象物からの反射光成分の2つの成分を含む。大気モデルは式(1)で表すことができる。
Figure 0006858415
ただし、Iはカメラに入った光量すなわち霧などの環境影響を受けた画像であり、Aは大気光の強度成分、Jは対象物の反射成分、tは対象物からカメラまでの間の大気の透過率である。Jは霧などの環境影響がない場合の画像であり、霧影響軽減手段21により霧などの除去処理の際に求めるべき目標成分である。
透過率tは式(2)で表すことができる。
Figure 0006858415
ただし、βは大気拡散係数、dは対象物からカメラまでの距離である。
式(1)から式(3)が得られる。
Figure 0006858415
すなわち、大気光の強度成分Aと大気の透過率tを推定できれば、霧影響軽減手段21によって霧の影響を除去し、きれいな反射成分Jしか持たない画像を得ることができる。
参考文献1(Robby T. Tan, Visibility in bad weather from a single image, IEEE Conference on Computer Vision and Pattern Recognition, pp.1 -8, 2008)では、Tan氏が局所領域コントラスト最大化に基づく手法を提案している。提案手法は、局所領域ではtが定数であり、かつJ<Aの前提で、局所領域コントラスト最大化に基づきこの領域のtを推定することができるというものである。この方法はコントラストしか使わないので、過飽和になることがある。
参考文献2(R. Fattal. Single Image Dehazing [J]. ACM SIGGRAPH '08, pp.1 -9,2008)では、独立成分分析に基づく霧除去方法が提案されている。局所領域において、対象物の反射成分Jのモードと大気透過率とは統計的に独立するので、独立成分分析法により反射率を推定することができる。この手法の独立性の設定は画像の色情報に基づくものなので、色情報変化の乏しい海の写真に対しては、適応性が低い。
本実施形態において、大気光強度成分Aの推定は従来の方法を用いるため、詳細な説明は省略する。大気透過率tは、煩雑な計算を行わず、下記の式(4)ように、撮影した海の画像の縦方向の長さ、すなわち画像のy座標に線形的な関係で近似する計算方法を提案する。
Figure 0006858415
ただし、t0は大気透過率の初期値、kは比例係数、yはカメラより撮影された海の画像のy座標である。これにより、計算時間を大幅に短縮することができ、迅速に津波情報の算出が可能になる。
[雨影響軽減手段22]
また、サーバー1は、雨の影響を軽減するための雨影響軽減手段22を備える。図7は雨影響軽減手段22による処理のフロー図である。雨影響軽減手段22は、図7に示すように、連続撮影された複数枚の画像を用い、画素の色強度の最大値画像と最小値画像を求め、最小値画像をガイドとするガイドフィルターを適用して最大値画像を処理することにより、雨の影響を軽減する。
まず、一定の時間間隔で、連続5枚の画像を撮影する(S301)。
次に、5枚の入力画像In(n=1,2,3,4,5)の各画素に対し、式(5)より画素の色強度の最大値を求め、式(6)より画素の色強度の最小値を求める。各画素の最小値を用い最小値画像Imin、各画素の最大値を用い最大値画像Imaxを生成する(S302)。
Figure 0006858415
Figure 0006858415
ただし、(i,j)は画素座標で、n=5である。
続いて、注目画素k(i,j)に対し、k(i,j)を中心とする小領域ωkにおいて、最小値画像Iminをガイド画像とし、下記の通り中間画像Ifを求める(S303)。
Figure 0006858415
Figure 0006858415
Figure 0006858415
ただし、μkとσkはそれぞれ小領域ωkにおける最小値画像Imaxの画素の色強度の平均と分散であり、|ω|は小領域ωkの画素の数であり、
Figure 0006858415
は小領域ωkにおける入力画像の色強度の平均値である。
最後に、入力画像Inと中間画像Ifに基づき、下記の通り、ガイドフィルターを適用して最大値画像を処理することにより、雨の影響を除去し、波の様子が強化された出力画像を求める(S304)。
Figure 0006858415
ただし、Aは調整係数である。
[波抽出手段11]
波抽出手段11は、複数のカメラ4A,4Bにより同時にそれぞれ撮影された画像から波を抽出する。海域の撮影画像からの波の抽出、特に本実施形態における海面計測システムの目標とする5〜20kmの遠距離撮影画像からの波の抽出は、一般的なパターン抽出法の適用が困難である。その原因としては、波形状の不確定性、複数のカメラ4A,4Bから撮影した複数枚の画像における波の特徴の相違、全天候撮影に伴う撮影環境の変化などがあげられる。また、検出の高速性が要求される。
図8は波抽出のイメージ図である。図8に示すように、まず撮影した画像をいくつかの隣接する長方形もしくは正方形の小領域に分割する。各小領域の左上、右上、左下、右下の4つの角に対し、角を中心とする周囲に小領域と同じ面積の局所領域を選び、この局所領域における画像を二値化するための閾値(小領域閾値)Tを求める。
画像座標(i,j)である注目点P(i,j)の二値化のための閾値T(i,j)は、式(11)のように、注目点P(i,j)が存在する小領域の左上、右上、左下、右下の4つの角の小領域閾値Tに基づき、4つの角までの絶対距離に依存する重み係数k1〜k4をかけて算出する。
Figure 0006858415
Figure 0006858415
Figure 0006858415
Figure 0006858415
Figure 0006858415
Figure 0006858415
すなわち、注目点ごとに、注目点と4つの角との距離により、異なる重み係数を用いて二値化する。これにより、注目小領域における各画素の二値化結果は、隣接する上下左右の各小領域における画素の二値化結果とスムーズにつながることができる。
上記のように、注目点を二値化するための閾値が動的に変化する動的閾値による二値化手法(動的閾値計算アルゴリズム)により抽出した成分を、画像における波とする。
[波対応付け手段12]
波対応付け手段12は、波抽出手段11により抽出された各波に対し、複数のカメラ4A,4Bにより同時に撮影されたそれぞれの画像から同一の波を見つけ出して対応付ける。図9は2枚の画像を用いた波の対応付け処理の流れを示すフロー図である。画像が3枚以上の場合も類似する手法を用いることができる。
まずは、異なる地点に設置される複数のカメラにより撮影された複数枚の画像から、エピポーラ幾何学と二次元画像の横縦座標関係の解析により対応波の存在可能領域、すなわち対応付け候補海域を求める(S401)。
次に、各画像の対応付け候補領域において波の抽出手段を適用し、左画像からm個、右画像からn個の波を抽出する(S402)。また、図10に示すように、抽出した各波の画像の重心座標、ピクセルの数、周囲長、円形度や各方向の長さなどのパラメータを該当波の特徴とする二次元特徴ベクトルを生成する。一例として、下記のように二次元特徴ベクトルVを定義することができる。
Figure 0006858415
ただし、Gは波の重心座標であり、G(x0,y0)で表す。Sは波の大きさを表すパラメータであり、抽出された波に含まれる画素の数である。Lは波の周囲長であり、Cは波の円形度である。Tは波の縦方向と横方向の長さを表すパラメータであり、T(h1,h2,w1,w2)で表す。
Figure 0006858415
Figure 0006858415
Figure 0006858415
Figure 0006858415
なお、P1(x1,y1)は、波を囲む長方形の左上の角の画素座標、P2(x2,y2)は右下の角の画素座標である。
次に、左画像の波の特徴ベクトルVLと右画像の波の特徴ベクトルVRを作る(S403)。
左画像から抽出したm個の波に対し、i番目(i=1,2,…,m)の波の特徴パラメータVLiを下記の式に従って求め、左画像の波のベクトルVLを生成する。
Figure 0006858415
右画像から抽出したn個の波に対し、j番目(j=1,2,…,n)の波の特徴パラメータVRjを下記の式に従って求め、左画像の波のベクトルVRを生成する。
Figure 0006858415
次に、各画像の同一領域におけるすべての波に対し、エピポーラ拘束より候補波を洗い出し、その二次元特徴ベクトルの類似度を求め、類似度の高い順に従って、各波の対応波の候補波リストを作成する。具体的には、左画像から抽出したi番目の波(i=1,2,…,m)に対し、右画像から、エピポーラ線付近にある波k個を抽出し、右画像における左画像のi番目の波の対応波のk個の候補波とする(S404、S405)。
k個の候補波に対し、二次元特徴ベクトルの類似度を計算し、類似度の高い順で、左画像から抽出したi番目の波に対する対応波の候補波リストを作成する(S406)。類似度の一番高い波を一番目の候補波とし、類似度の二番高い波を二番目の候補波とするように候補波の順位を決める。
注目波と候補波リストの上位波、すなわち類似度の高い波の重心の画像座標に基づき、三次元画像計測の方法により、注目波の三次元世界座標(X,Y,Z)と該当候補波の三次元世界座標(X,Y,Z)とを求め(S407)、その差が事前に決める閾値より小さいかどうかを判定する(S408)。
その差が事前に決める閾値より小さければ、該当する波は注目波の対応波とし(S409)、そうでなければ、次の波を検証する(S410、S411)。
[三次元情報計算手段13]
三次元情報計算手段13は、波対応付け手段12により対応付けされた画像の各波を三次元解析することにより海面の高さおよび波の高さを算出する。
海面には波があり、波の形状やサイズが随時変化する。このため、海面にある波の三次元計測結果に基づき海面の高さを求める際に、どの波のどの部分の高さを海面の高さにするのかを決めることは困難である。
一方、津波計測には海面の特定スポットの高さを求める必要がなく、ある領域の海面の高さを算出し、津波の発生の有無を判定すればいい。
このため、本実施形態における海面計測システムでは撮影画像からある小領域の海面の高さを計算する。図11は左右2台のカメラの撮影画像を用いた海面の高さ計算のイメージ図であり、図12は左右2台のカメラの撮影画像を用いた海面の高さ計算の流れを示すフロー図である。
図12に示すように、まずは左右のカメラ4A,4Bにより同一領域を連続撮影し、複数枚の連続時系列画像を取得する(S501)。例えば1/30秒に1枚の撮影速度で5秒間撮影し、左右のカメラより各150枚の画像を撮影し、計300枚の画像を取得する。
次に、各画像から波を抽出し、対応付けを行う(S502)。
その後、対応付けされているすべての波に対し、その重心、中心、上部、下部、左端、右端などの特徴点の三次元世界座標(X,Y,Z)を求める(S503)。カメラに対し、Xは水平方向、Yは垂直方法、Zは奥行方向を示す。
算出した各波の三次元世界座標(X,Y,Z)に基づき、波をいくつかの小領域に分類する(S504)。例えば、図11に示すように、波を3つの小領域に分類する。
特定の小領域に対し、式(24)のように、すべての時系列画像のすべての対応付けされている波に対し、波の重心やそのほかの特徴点の三次元世界座標の縦方向すなわち海面に垂直な方向のY座標値の平均値YAを求め、係数をかけて、該当小領域の海面の高さHsを算出する(S505)。
Figure 0006858415
ただし、ksは計算のための比例係数、Hs0は海面の高さを計算する際における三次元世界座標を調整するための係数である。
最後に、特定の小領域に対し、式(25)のように、すべての時系列画像のすべての対応付けされている波の前記Y座標値の分散値V(Y)を求め、係数をかけて、該当小領域の波の高さHVを算出する(S506)。
Figure 0006858415
ただし、kVは計算のための比例係数、HV0は波の高さを計算する際における世界座標を調整するための係数である。
[遠距離カメラシステムキャリブレーション手段15]
カメラシステムのキャリブレーションはカメラ4A,4Bの画像センサーの画素配置やレンズの焦点距離などの内部パラメータと、2台のカメラ4A,4B間の距離すなわち基線長やカメラ4A,4Bの位置と姿勢すなわち回転角度等などの外部パラメータを求めることである。カメラシステムのキャリブレーション方法は数多く提案され、現在特にZhangの手法(Zhang. Z, A Flexible New Technique for Camera Calibration, IEEE Transactions on Pattern Analysis and Machine Intelligence. Vol. 22, No. 11, 2000, pp. 1330-1334.)は評価され、OpenCVにも実装されている。
しかし、津波計測のためには遠距離の写真撮影が必要であり、遠距離三次元画像計測システムのキャリブレーションには、大きいサイズのキャリブレーション用対象物を必要とし、異なる視覚からの対象物を撮影する必要があるなどの問題点が残っている。
そこで、本実施形態における遠距離カメラシステムキャリブレーション手段15は、板状ターゲットを用いた内部パラメータキャリブレーション手法と円柱状ターゲットを用いた外部パラメータキャリブレーション手法とを融合した異なるターゲットを用いた内外分離二段式キャリブレーションとする。
本実施形態における遠距離カメラシステムキャリブレーション手段15では外部パラメータキャリブレーション用のターゲットを2本以上の円柱状やその他の一定の幅を持つ細長いターゲットを用いる。図13は円柱状ターゲットの一例である。
円柱状の物体をキャリブレーションの対象物として選ぶ理由は、図13(A)に示すように、異なる視点から見ても、画像計測に用いる計測点から円柱状ターゲットの中心線までの距離が変化しないためである。例えば、視線1からターゲットを観測すると、画像上では計測点1が観測され、計測点1から円柱の中心線までの距離はRである。視線2から観測にしても、観測点2から円柱の中心線までの距離は、視線1から観測する際と同じRである。すなわち、円柱状ターゲットでは、観測点の変化によりキャリブレーション誤差が生じない。
なお、遠距離キャリブレーションであることを考慮し、円柱状などの細長いターゲットの長さは1メートル以上であるように設定する。また、ターゲットを認識しやすくするために、ターゲットの表面に白と赤やその他の鮮明に区別容易な色2色以上を持つこととする。
図13(B)に示す特徴点候補1と特徴点候補3のような上記異なる色の境界線上のポイント、もしくは特徴点候補2のような色の中央にあるポイントもしくは重心をキャリブレーション用の特徴点とする。
また、図13(C)に示すL1、L2、L3のような、上記ターゲットの異なる色の領域のサイズを既知パラメータとしてキャリブレーションの際に使用する。
図14は、遠距離カメラシステムキャリブレーション手段15によるキャリブレーションの流れを示すフロー図である。
まずは、複数のカメラ4A,4Bによりキャリブレーションターゲットの写真を撮影する(S601)。
次に、それぞれの画像からキャリブレーションに必要な複数個の特徴点を抽出する(S602)。
その後、抽出した特徴点の対応付けを行う(S603)。
最後に、対応付けされた特徴点を用い、前述したL1、L2、L3などの既知パラメータを用い、カメラのパラメータを算出する(S604)。
[海面異常有無判定手段14]
海面異常有無判定手段14は、三次元情報計算手段13により算出した海面の高さおよび波の高さに基づいて津波の発生の有無を判定する。図15は津波の有無の判定の流れを示すフロー図である。
図15に示すように、まず津波の発生の有無を判別するために、三次元画像計測の技術に基づき算出されるいくつかの特定領域の海面の高さと津波の発生が無い平常時の潮位とを比較する(S701)。比較の結果により、これらの特定領域を津波発生候補領域、津波発生の可能性ある領域、または、津波の発生がない領域のような3つの領域に分類する。
計測される複数の特定領域の海面の高さと津波の発生が無い平常時の潮位との差が、すべて規定の閾値より大きい場合は、これらの領域を津波発生候補領域に分類する。上記の複数の特定領域の海面の高さと津波の発生が無い平常時の潮位との差が規定の閾値より大きい領域と小さい領域が混在する場合は、これらの領域に津波発生の可能性がある領域に分類する。上記の複数の特定領域の海面の高さと津波の発生が無い平常時の潮位との差がすべて規定の閾値より小さい場合は、これらの領域に津波の発生がない領域に分類する。
津波発生候補領域もしくは津波発生の可能性がある領域に対し、さらにその領域の周辺に複数個所の小領域を計測領域として追加し(S702)、その海面の高さの計測結果をこれらの領域の平常潮位と比較する(S703)。これらの領域の海面の高さと平常時の潮位との比較結果に基づき、ファージ推測理論を用いて津波発生したかどうかを判断し(S704)、該当特定領域を津波がある領域、もしくは津波がない領域に判定する。なお、津波以外の高波、高潮や急潮等の海面異常についても同様の手順により判定することが可能である。
[津波進行速度計算手段16,津波規模推測手段17,津波到着時刻推測手段18]
津波進行速度計算手段16は、従来の津波の進行速度の計算方法に基づき算出した津波の進行速度を用い、三次元画像計測に基づいて算出した津波進行速度を修正し、より正確な津波進行速度を計算する。
図16は各時刻の海面の高さの三次元画像計測のイメージ図である。
海面異常として津波の発生が計測された場合に、津波発生領域とその周辺領域の海面の高さを随時計測し、海面の高さの最大領域を随時に検出する。また、カメラ4A,4Bの姿勢制御により、カメラ4A,4Bに一番近い海面の高さが最大である領域、すなわち津波前線を追跡し、津波前線までの距離、すなわち三次元計測結果のZ値を取得する。
図16に示すように、時刻1、時刻2などの各時刻の海面の高さの三次元画像計測により、海面の高さ変化の四次元情報(X,Y,Z,t(計測時刻))を取得し、津波前線の海面高の高度変化、進行方向および進行速度すなわち画像計測に基づき算出した津波進行速度Vmを算出する。
また、公式(26)により、従来の計算方法に基づいて津波の進行速度VCを計算する。
Figure 0006858415
ただし、hは計測領域の海の水深であり、gは重力加速度である。
従来の計算方法に基づいて算出した津波の進行速度VCを用いて、画像計測で算出した津波の進行速度Vmを補正し、より正確な津波進行速度Vを算出する。
Figure 0006858415
ただし、kmは津波速度補正のための係数である。
津波規模推測手段17は、津波の高さに基づいて津波の規模を評価する。例えば、津波規模推測手段17は、津波の高さにより−1,0,1,2,3,4の六段階に評価する。
津波到着時刻推測手段18は、三次元画像計測で計測した津波前線の位置と津波の高さ、および津波進行速度により、津波が海岸に到着する時刻を算出する。
[記憶手段20]
まず観察者は、いつどの海域を計測するかのような計測プランを立てる。サーバー1は、この計測プランに従って各カメラの姿勢を決定し、各カメラの回転角度を算出して、各クライアント計算機2A,2Bに送信する。記憶手段20は、各クライアント計算機2A,2Bから取得した各カメラ4A,4Bの撮影画像を保存するものである。サーバー1は、これらの記憶手段20に記憶された画像を処理することにより、津波等の海面異常の有無を算出し、出力する。
[二段式制御手段23]
さらに、本実施形態における海面計測システムでは、撮影手段10が、角度フィードバックに基づく機械制御と、画像撮影と画像処理に基づく画像計測制御とを融合した機械と画像による二段式制御手段23を有する。
二段式制御手段23では、まず低分解能の角度センサーを用いて角度フィードバックに基づく機械制御を行い、複数のカメラ4A,4Bが大体同一海域に向くように、各カメラ4A,4Bの視線の概略制御を行う。概略制御の目標としては、計測目標海面にある波の一部を各カメラ4A,4Bとも撮影できるように各カメラ4A,4Bの視線を概略的に調節することである。
概略制御の後、各カメラ4A,4Bにより写真撮影を行い、各カメラ4A,4Bから撮影した画像をフィードバックし、画像計測制御により各カメラ4A,4Bの視線の精密制御を行う。精密制御の目標は機械制御の誤差やカメラの振動などがあっても、計測目標海面にある波は最大限に各カメラ4A,4Bよって撮影できるようにすることである。
図17はカメラの視線の機械制御のイメージ図である。機械制御は第一段階の概略制御であり、2台のカメラ4A,4Bの視線が同一海域に向くことを確保する制御である。概略制御では、視線制御の精度は要求せず、2台以上のカメラ4A,4Bが同一海域に向くことが確保できれば、すなわち、2台のカメラ4A,4Bから撮影された画像に同一の波をいくつか検出できれば良い。このため、概略制御には0.1°程度の低分解能の角度センサーを利用することができる。
図18は2台のカメラの画像計測制御による精密制御のイメージ図である。カメラの台数が3台以上の場合も同じような制御方式が適応できる。画像計測制御は、第二段階の精密制御であり、画像フィードバックにより、カメラ4A,4Bの角度や画像を微調整し、同一目標が2台のカメラ4A,4Bより撮影されることを確保する。
左右2台のカメラ4A,4Bより同一目標を撮影するために、左右のカメラ4A,4Bにそれぞれの目標視線角度を送る必要がある。複数のカメラのうち1つを主カメラとし、他を副カメラとするが、本実施形態においては、左カメラ4Aを主カメラとし、右カメラ4Bを副カメラとし、左カメラ4Aすなわち主カメラの視線角度により、自動的に右カメラ4Bすなわち副カメラの視線角度を算出する。
画像計測制御のキーポイントは、左右それぞれのカメラ4A,4Bから撮影された画像をフィードバックし、目標である撮影画像と比較し、その差に基づき、さらにカメラ固定調節部5A,5Bのパンとチルトの角度を調節する。これにより、カメラ4A,4Bの振動などにより生じた誤差すなわち図18に示す外乱のような誤差を補正することができる。
図19は2台のカメラを持つ場合の画像計測制御による精密制御の流れを示すフロー図である。まず、サーバー1において、撮影目標領域からカメラ4Aの姿勢を調節するための視線角度すなわちパンとチルト方向の回転角度を算出する。その後、カメラ4A,4B間の空間関係と撮影目標領域により、三角測量の理論を用いて、右カメラ4Bの視線角度すなわちパンとチルト方向の回転角度を算出し、それぞれのカメラ4A,4Bを制御するクライアント計算機2A,2Bに送る(S801)。
左カメラ4Aに接続するクライアント計算機2Aは、サーバー1から受ける左カメラ4Aのパンとチルトの回転角度を視線角度の目標値とし、角度センサーから取得する左カメラ4Aの実際の視線角度と、この視線角度の目標値とを比較し、その差を最小にするよう、カメラ固定調節部5Aのパンとチルトの角度を調節し、機械制御を行う(S802)。右カメラ4Bにも同じように機械制御を行う(S803)。
その後、左カメラ4Aと右カメラ4Bによりそれぞれ写真撮影し、左右の撮影画像からそれぞれ波を抽出する(S804,S805)。
次に、左右の画像から抽出した波から、左右2枚の画像に共に存在する領域すなわち共通領域を求め、共通領域の中央の位置にある波を1つ抽出し、カメラ姿勢調整の目標波とする(S806)。
目標波は左右2枚の画像において、共に画像の中央の位置にあることが望ましい。目標波は左右のカメラ4A,4Bの姿勢制御の目標すなわち撮影目標である。左カメラ4Aに対し、目標波が画像の中央の周辺の一定の範囲以内に入っているかどうかを判定し(S807)、範囲内であれば左カメラ4Aの姿勢調節を終了とし、範囲内でない場合は、前述の機械制御を行い、パンとチルトの角度を調節する(S809)。
次に、機械制御後に写真撮影し、撮影画像から目標波を抽出し、さらに画像調節が必要かどうかを調べる(S811、S813)。目標波は画像の中央の一定領域に入っていれば、画像調節の必要がなく、そうでなければ、画像を水平方向と垂直方向に一定の範囲以内で並行移動を行い、画像調節をする(S815)。
上記の画像調節により、目標波が左画像の中央に調節されたかどうかを調べ、画像の中央領域に位置すれば調節を終了し、そうでなければS809の機械制御に戻り、制御を繰り返す(S809〜S815)。すなわち、いくら画像の並行移動を行っても目標波が画像の中心付近の位置にならない場合は、画像計測制御の制御可能な範囲が狭く、制御目標の達成ができないことを意味する。この場合、すなわち画像計測制御が及ぼさない部分は機械制御により実現することである。右カメラ4Bにも同じようにカメラ4Bの姿勢を調節する。
最後に、左右2台のカメラ4A,4Bが共に調整終了かどうかを調べ、共に終了であればカメラの制御を終了し、そうでなければ、終了まで待つ(S819、S820)。
すなわち、上記画像計測制御では、カメラ4A,4Bが姿勢調節可能に固定されるカメラ固定調節部5A,5Bのパンとチルトの角度を取得する角度センサーによる角度フィードバックと、カメラ4A,4Bの写真撮影から波を抽出しカメラ4A,4Bの姿勢を特定する画像フィードバックを有し、角度フィードバックを内フィードバック、画像フィードバックを外フィードバックとし、画像フィードバックは角度フィードバックを囲むダブルフィードバック構造を持ち、まず機械制御を行い、機械制御の足りない部分すなわち機械制御の誤差は画像計測制御により補足することで、画像計測制御が及ぼさない部分は機械制御により実現する。
本発明の海面計測システム、海面計測方法および海面計測プログラムは、津波の発生の有無の計測、津波が発生した場合において津波の高さの計測、津波の進行速度の計測、津波の到着時刻の推測などに応用できる。また、津波だけでなく、海面異常として台風により生じた波の高さ、位置や到着時刻の計測にも適応できる。その他、高波、高潮や急潮等の海面異常の計測や、海岸の監視にも適応できる。
1 サーバー
2A,2B クライアント計算機
3A,3B カメラセット
4A,4B カメラ
5A,5B カメラ固定調節部
10 撮影手段
11 波抽出手段
12 波対応付け手段
13 三次元情報計算手段
14 海面異常有無判定手段
15 遠距離カメラシステムキャリブレーション手段
16 津波進行速度計算手段
17 津波規模推測手段
18 津波到着時刻推測手段
19 津波情報発信手段
20 記憶手段
21 霧影響軽減手段
22 雨影響軽減手段
23 二段式制御手段

Claims (15)

  1. 異なる地点に設置される複数のカメラにより同時に同一海面領域を含む画像を撮影する撮影手段と、
    前記複数のカメラにより同時にそれぞれ撮影された画像から波を抽出する波抽出手段と、
    前記波抽出手段により抽出された各波に対し、前記複数のカメラにより同時に撮影されたそれぞれの画像から同一の波を見つけ出して対応付ける波対応付け手段と、
    前記波対応付け手段により対応付けされた前記画像の各波を三次元解析することにより海面の高さおよびその海面にある波の高さを算出する三次元情報計算手段であり、前記波対応付け手段により対応付けされた前記画像の各波の特徴点の三次元座標を算出し、算出した特徴点の三次元座標の高さ方向の平均値に基づいて海面の高さを算出し、前記特徴点の三次元座標の高さ方向の分散に基づいてその海面にある波の高さを算出する三次元情報計算手段と、
    前記三次元情報計算手段により算出した海面の高さおよび波の高さに基づいて海面異常の発生の有無を判定する海面異常有無判定手段と
    を含む海面計測システム。
  2. 前記海面異常有無判定手段は、海面異常の発生が無い平常時の潮位と、前記三次元情報計算手段により算出した海面の高さとを比較することにより海面異常の発生の有無を判定するものである請求項1記載の海面計測システム。
  3. 前記複数のカメラは、カメラ本体と、レンズと、前記複数のカメラが姿勢調節可能に固定されるカメラ固定調節部とにより構成される2セット以上のカメラセットであり、
    前記カメラ本体および前記レンズのパラメータを調節して撮影を制御する機能、および前記複数のカメラにより撮影された画像を取り込む機能を有するクライアント計算機と、
    前記クライアント計算機との通信機能を有し、前記クライアント計算機を制御し、前記クライアント計算機に写真撮影に必要な命令を送り、前記クライアント計算機より前記カメラの撮影画像を取得する機能を有するサーバーと
    を含む請求項1または2に記載の海面計測システム。
  4. 前記複数のカメラは、
    望遠機能を有し、
    海岸に設置され、
    各カメラ間の距離が20メートル以上であり、
    各カメラの設置場所の海抜が20メートル以上である
    請求項1から3のいずれか1項に記載の海面計測システム。
  5. 前記複数のカメラがそれぞれ姿勢調節可能に固定されるカメラ固定調節部であり、パン方向とチルト方向の角度の調節により、撮影方向角度を上下および左右に調節し、前記複数のカメラに同一海面を撮影させるためのカメラ固定調節部を含み、
    前記複数のカメラは、電気的な外部同期信号もしくはサーバーからのソフトウェア同期命令により同時に撮影させるものである
    請求項1から4のいずれか1項に記載の海面計測システム。
  6. 前記カメラは、遠赤外線カメラであり、大気モデルに基づき、前記カメラにより撮影された海の画像の縦方向の長さに線形的に近似した海面の大気の透過率分布と太陽光の強度成分とから、前記カメラにより撮影された画像の霧の影響を軽減する霧影響軽減手段と、
    前記カメラにより連続撮影された複数枚の画像を用い、画素の色強度の最大値画像と最小値画像を求め、最小値画像をガイドとするガイドフィルターを適用して最大値画像を処理する雨影響軽減手段と
    を含む請求項1から5のいずれか1項に記載の海面計測システム。
  7. 前記波抽出手段は、
    前記複数のカメラにより撮影された画像をいくつかの隣接する長方形もしくは正方形の小領域に分割し、小領域の左上、右上、左下、右下の4つの角を含む局所領域において、画像を二値化するための閾値を求め、
    注目点が存在する小領域の左上、右上、左下、右下の4つの角の小領域閾値に基づき、4つの角までの絶対距離に依存する重み係数をかけて、注目点の二値化のための閾値を求める
    ことを特徴とする請求項1から6のいずれか1項に記載の海面計測システム。
  8. 前記波の対応付け手段は、
    前記複数のカメラより撮影された複数枚の画像から、エピポーラ幾何学と二次元画像の横縦座標関係の解析により対応付け候補海域を求め、
    各画像の前記対応付け候補領域において、抽出した各波の画像の重心座標、ピクセルの数、周囲長、円形度および各方向の長さを特徴とする二次元特徴ベクトルを生成し、
    各画像の同一領域におけるすべての波に対し、エピポーラ拘束より候補波を洗い出し、その二次元特徴ベクトルの類似度を求め、類似度の高い順に従って、各波の対応波の候補波リストを作成し、
    注目波と前記候補波リストの類似度の高い波の重心の画像座標に基づき、注目波の三次元世界座標(X,Y,Z)と候補波の三次元世界座標(X,Y,Z)とを求め、その差が事前に決める閾値より小さいかどうかを判定することより、対応波の候補波が対応波かどうかを決定する
    ことを特徴とする請求項1から7のいずれか1項に記載の海面計測システム。
  9. 前記三次元情報計算手段は、
    前記複数のカメラにより同一領域を連続撮影して複数枚の画像を取得し、
    撮影された画像から抽出した波に対し、対応付けされた各波の重心、中心、上部、下部、左端、右端などの特徴点の三次元世界座標を求め、
    求めた波の三次元世界座標に基づき、各波をいくつかの小領域に分類し、
    特定の小領域内において対応付けされているすべての波に対し、前記特徴点の三次元世界座標の海面に垂直な方向の座標の平均値を求め、係数をかけて、該当小領域の海面の高さを算出し、
    特定の小領域内において対応付けされているすべての波に対し、前記特徴点の三次元世界座標の海面に垂直な方向の座標の分散を求め、係数をかけて、該当小領域の波の高さを算出する
    ことを特徴とする請求項1から8のいずれか1項に記載の海面計測システム。
  10. 板状ターゲットを用いた内部パラメータキャリブレーションと円柱状ターゲットを用いた外部パラメータキャリブレーションとを融合した異なるターゲットを用いた内外分離二段式キャリブレーションである遠距離カメラシステムキャリブレーション手段であり、
    前記ターゲットとして2本以上の円柱状または一定の幅を持つ細長いターゲットを用い、
    前記ターゲットの長さは1メートル以上であり、
    前記ターゲットの表面に鮮明に区別容易な色2色以上を持ち、
    前記ターゲットの異なる色の領域の境界線上のポイント、色の中央にあるポイント、または、重心をキャリブレーション用の特徴点とし、
    前記ターゲットの異なる色の領域のサイズをキャリブレーション用の既知パラメータとすること
    を特徴とする遠距離カメラシステムキャリブレーション手段を含む請求項1から9のいずれか1項に記載の海面計測システム。
  11. 前記海面異常有無判定手段は、
    算出されるいくつかの特定領域の海面の高さと海面異常の発生が無い平常時の潮位とを比較し、比較の結果により、これらの特定領域を海面異常発生候補領域、海面異常発生の可能性ある領域、または、海面異常の発生がない領域のような3つの領域に分類し、
    計測される複数の特定領域の海面の高さと海面異常の発生が無い平常時の潮位との差が、すべて規定の閾値より大きい場合は、これらの領域を海面異常発生候補領域に分類し、
    前記複数の特定領域の海面の高さと海面異常の発生が無い平常時の潮位との差が規定の閾値より大きい領域と小さい領域が混在する場合は、これらの領域に海面異常発生の可能性がある領域に分類し、
    前記複数の特定領域の海面の高さと海面異常の発生が無い平常時の潮位との差がすべて規定の閾値より小さい場合は、これらの領域に海面異常の発生がない領域に分類し、
    海面異常発生候補領域もしくは海面異常発生の可能性がある領域に対し、さらにその領域の周辺に複数個所の小領域を計測領域として追加し、これらの領域の海面の高さと平常時の潮位との比較結果に基づき、ファージ推測理論を用いて海面異常発生したかどうかを判断し、該当特定領域を海面異常がある領域もしくは海面異常がない領域に判定する
    ことを特徴とする請求項1から10のいずれか1項に記載の海面計測システム。
  12. 海面異常として津波の発生が計測された場合に、津波発生領域とその周辺領域の海面の高さを随時計測し、海面の高さの最大領域を随時に検出し、
    前記カメラの姿勢制御により、前記カメラに一番近い海面の高さが最大である領域を追跡し、津波前線までの距離を取得し、
    各時刻の海面の高さの三次元画像計測により、海面の高さ変化の四次元情報を取得し、津波前線の海面高の高度変化、進行方向および進行速度すなわち津波進行速度を算出し、
    従来の津波の進行速度の計算方法に基づき算出した津波の進行速度を用い、前記三次元画像計測に基づいて算出した津波進行速度を修正する
    津波進行速度計算手段を含む請求項1から11のいずれか1項に記載の海面計測システム。
  13. 海面異常として津波の発生が計測された場合に、三次元画像計測で計測した津波前線の位置と海面の高さ、および津波進行速度により、津波が海岸に到着する時刻を算出する津波到着時刻推測手段を含む請求項1から12のいずれか1項に記載の海面計測システム。
  14. 異なる地点に設置される複数のカメラにより同時に同一海面領域を含む画像を撮影すること、
    前記複数のカメラにより同時にそれぞれ撮影された画像から波を抽出すること、
    前記抽出された各波に対し、前記複数のカメラにより同時に撮影されたそれぞれの画像から同一の波を見つけ出して対応付けること、
    前記対応付けされた前記画像の各波を三次元解析することにより海面の高さおよびその海面にある波の高さを算出するに際し、前記対応付けされた前記画像の各波の特徴点の三次元座標を算出し、算出した特徴点の三次元座標の高さ方向の平均値に基づいて海面の高さを算出し、前記特徴点の三次元座標の高さ方向の分散に基づいてその海面にある波の高さを算出すること、
    前記算出した海面の高さおよび波の高さに基づいて海面異常の発生の有無を判定すること
    を含む海面計測方法。
  15. 異なる地点に設置される複数のカメラにより同時に同一海面領域を含む画像を撮影する撮影手段と、
    前記複数のカメラにより同時にそれぞれ撮影された画像から波を抽出する波抽出手段と、
    前記波抽出手段により抽出された各波に対し、前記複数のカメラにより同時に撮影されたそれぞれの画像から同一の波を見つけ出して対応付ける波対応付け手段と、
    前記波対応付け手段により対応付けされた前記画像の各波を三次元解析することにより海面の高さおよびその海面にある波の高さを算出する三次元情報計算手段であり、前記波対応付け手段により対応付けされた前記画像の各波の特徴点の三次元座標を算出し、算出した特徴点の三次元座標の高さ方向の平均値に基づいて海面の高さを算出し、前記特徴点の三次元座標の高さ方向の分散に基づいてその海面にある波の高さを算出する三次元情報計算手段と、
    前記三次元情報計算手段により算出した海面の高さおよび波の高さに基づいて海面異常の発生の有無を判定する海面異常有無判定手段と
    してコンピュータを機能させる海面計測プログラム。
JP2019003426A 2019-01-11 2019-01-11 海面計測システム、海面計測方法および海面計測プログラム Active JP6858415B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019003426A JP6858415B2 (ja) 2019-01-11 2019-01-11 海面計測システム、海面計測方法および海面計測プログラム
CN202010027415.3A CN111435081B (zh) 2019-01-11 2020-01-10 海面测量系统、海面测量方法以及存储介质
CN202210062109.2A CN114526710A (zh) 2019-01-11 2020-01-10 海面测量系统、海面测量方法以及存储介质
CN202210062123.2A CN114485579A (zh) 2019-01-11 2020-01-10 海面测量系统、海面测量方法以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019003426A JP6858415B2 (ja) 2019-01-11 2019-01-11 海面計測システム、海面計測方法および海面計測プログラム

Publications (2)

Publication Number Publication Date
JP2020112438A JP2020112438A (ja) 2020-07-27
JP6858415B2 true JP6858415B2 (ja) 2021-04-14

Family

ID=71580254

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019003426A Active JP6858415B2 (ja) 2019-01-11 2019-01-11 海面計測システム、海面計測方法および海面計測プログラム

Country Status (2)

Country Link
JP (1) JP6858415B2 (ja)
CN (3) CN114485579A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230007666A (ko) * 2021-07-06 2023-01-13 한국해양과학기술원 서로 다른 모달리티에서 획득된 소스 모델 및 타겟 모델 사이의 도메인 적응에 의하여 대상 영역에 대한 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 방법 및 시스템

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113971679B (zh) * 2021-11-08 2024-04-30 南京智慧水运科技有限公司 一种基于计算机视觉与图像处理的海洋潮汐测量方法
CN115482248B (zh) * 2022-09-22 2023-12-08 推想医疗科技股份有限公司 图像分割方法、装置、电子设备及存储介质
CN116124181B (zh) * 2023-04-14 2023-07-14 国家海洋技术中心 一种潮汐观测设备的现场校准方法及系统
CN116758123A (zh) * 2023-04-25 2023-09-15 威海凯思信息科技有限公司 一种海洋的波浪图像处理方法、装置和服务器
CN116975504B (zh) * 2023-09-22 2023-12-15 中科星图测控技术股份有限公司 一种用于卫星侦察覆盖区域目标的快速计算方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07229736A (ja) * 1994-02-18 1995-08-29 Mitsubishi Heavy Ind Ltd 三次元計測器校正装置
JP2806451B2 (ja) * 1996-06-04 1998-09-30 防衛庁技術研究本部長 波高測定法
WO2004076972A1 (ja) * 2003-02-27 2004-09-10 Mitsubishi Denki Kabushiki Kaisha 水位計測システム
JP2009229424A (ja) * 2008-03-25 2009-10-08 Mitsubishi Electric Corp 津波監視装置
JP2010071782A (ja) * 2008-09-18 2010-04-02 Omron Corp 3次元計測装置およびその方法
JP4807439B2 (ja) * 2009-06-15 2011-11-02 株式会社デンソー 霧画像復元装置及び運転支援システム
CN101813476B (zh) * 2010-03-19 2011-08-31 天津大学 近海波浪参数立体实时监测系统
JP5397956B2 (ja) * 2010-05-20 2014-01-22 株式会社 ソキア・トプコン 電子レベル
CN101887589B (zh) * 2010-06-13 2012-05-02 东南大学 一种基于立体视觉的实拍低纹理图像重建方法
NO333337B1 (no) * 2011-08-02 2013-05-06 Naxys As Undervannsdetekteringsapparat
CN103791892B (zh) * 2014-01-21 2017-02-08 国家海洋局第二海洋研究所 一种船载视场可调的海面观测装置及方法
CN105136126B (zh) * 2015-08-27 2017-10-10 国家海洋技术中心 利用深海海底压力数据进行海啸波侦测的方法
JP6603647B2 (ja) * 2016-12-07 2019-11-06 株式会社日立製作所 津波監視システム
US10852134B2 (en) * 2017-05-08 2020-12-01 John W. Tauriac Real-time wave monitoring and sensing methods and systems

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230007666A (ko) * 2021-07-06 2023-01-13 한국해양과학기술원 서로 다른 모달리티에서 획득된 소스 모델 및 타겟 모델 사이의 도메인 적응에 의하여 대상 영역에 대한 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 방법 및 시스템
KR102648567B1 (ko) 2021-07-06 2024-03-18 한국해양과학기술원 서로 다른 모달리티에서 획득된 소스 모델 및 타겟 모델 사이의 도메인 적응에 의하여 대상 영역에 대한 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 방법 및 시스템

Also Published As

Publication number Publication date
CN114485579A (zh) 2022-05-13
CN114526710A (zh) 2022-05-24
JP2020112438A (ja) 2020-07-27
CN111435081A (zh) 2020-07-21
CN111435081B (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
JP6858415B2 (ja) 海面計測システム、海面計測方法および海面計測プログラム
JP6484729B2 (ja) 無人航空機の奥行き画像の取得方法、取得装置及び無人航空機
CN106356757B (zh) 一种基于人眼视觉特性的电力线路无人机巡检方法
CN106960454B (zh) 景深避障方法、设备及无人飞行器
CN112785702A (zh) 一种基于2d激光雷达和双目相机紧耦合的slam方法
CN110689562A (zh) 一种基于生成对抗网络的轨迹回环检测优化方法
CN110319772B (zh) 基于无人机的视觉大跨度测距方法
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
Beekmans et al. Cloud photogrammetry with dense stereo for fisheye cameras
CN109840922B (zh) 基于双目光场相机的深度获取方法和系统
RU2626051C2 (ru) Способ определения дальностей до объектов по изображениям с цифровых видеокамер
CN102387374A (zh) 用于获得高精度深度图的设备和方法
US9628777B2 (en) Method of 3D reconstruction of a scene calling upon asynchronous sensors
CN106033614B (zh) 一种强视差下的移动相机运动目标检测方法
CN112017243B (zh) 一种介质能见度识别方法
CN115909025A (zh) 一种小天体表面采样点地形视觉自主检测识别方法
Crispel et al. All-sky photogrammetry techniques to georeference a cloud field
Savoy et al. Cloud base height estimation using high-resolution whole sky imagers
JP2881193B1 (ja) 3次元物体認識装置および方法
CN112016558B (zh) 一种基于图像质量的介质能见度识别方法
Kröhnert et al. Versatile mobile and stationary low-cost approaches for hydrological measurements
JP6892134B2 (ja) 計測システム、計測方法および計測プログラム
Savoy et al. Stereoscopic cloud base reconstruction using high-resolution whole sky imagers
JP2022057784A (ja) 撮像装置、撮像システムおよび撮像方法
CN113792645A (zh) 一种融合图像和激光雷达的ai眼球

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210317

R150 Certificate of patent or registration of utility model

Ref document number: 6858415

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250