JP5989719B2 - Shallow water observation system - Google Patents
Shallow water observation system Download PDFInfo
- Publication number
- JP5989719B2 JP5989719B2 JP2014153239A JP2014153239A JP5989719B2 JP 5989719 B2 JP5989719 B2 JP 5989719B2 JP 2014153239 A JP2014153239 A JP 2014153239A JP 2014153239 A JP2014153239 A JP 2014153239A JP 5989719 B2 JP5989719 B2 JP 5989719B2
- Authority
- JP
- Japan
- Prior art keywords
- shallow
- underwater
- data
- image
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Cameras In General (AREA)
- Studio Devices (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Description
本発明は、湖沼や沿岸部の浅水域、たとえば、珊瑚礁を中心とする浅水域などの水底画像情報を取得して、画像処理する浅水域観測システムに関するものである。 The present invention relates to a shallow water observation system for acquiring and processing image information of a bottom of a lake or a shallow water area in a coastal area, for example, a shallow water area centered on a coral reef.
珊瑚礁のような浅水域の生態系は、地球環境の変化を反映する環境指標として重要視されている。 Shallow water ecosystems such as coral reefs are regarded as important environmental indicators that reflect changes in the global environment.
浅水域の生態系の観測方法として、たとえば、特開2003−4845号公報(特許文献1)は、水面を走行移動可能に支持した音響測深機による観測方法を開示しており(特許文献1の図1参照)、かかる観測方法によれば、水深観測による広範囲の海底地形等の地図情報を得ることが可能になる。 As an observation method of an ecosystem in a shallow water area, for example, Japanese Patent Laid-Open No. 2003-4845 (Patent Document 1) discloses an observation method using an acoustic sounding instrument that supports the water surface so as to be able to travel (Patent Document 1). According to such an observation method, it is possible to obtain map information such as a wide range of seabed topography by water depth observation.
また、特許第4173027号公報(特許文献2)は、水中移動可能に曳航支持したビデオカメラによる観測方法を開示しており(特許文献2の図1参照)、かかる観測方法によれば、水中の広範囲にわたって映像観察をすることが可能になる。 Japanese Patent No. 4173027 (Patent Document 2) discloses an observation method using a video camera supported by towing so as to be movable underwater (see FIG. 1 of Patent Document 2). It is possible to observe images over a wide range.
しかしながら、音響測深機によって観測する場合に得られる情報は、魚群探知機、シングルビーム、ナローマルチビームなどの超音波反射による水深情報に限られるため、可視光域を含む色彩などの光学的性状に関する情報を反映することができないという問題がある。 However, the information obtained when observing with an acoustic sounding device is limited to water depth information by ultrasonic reflection such as a fish finder, single beam, narrow multi-beam, etc., so it relates to optical properties such as colors including the visible light range. There is a problem that information cannot be reflected.
一方、ビデオカメラによって得られる水中映像は、水中における動的観測により光学的性状を把握することが可能になるが、一過性の映像情報で、地理座標を持たないため、水底の態様に関する光学的性状全般に及ぶ定量解析の基礎となり得ないという問題があった。 On the other hand, underwater images obtained with a video camera can grasp the optical properties by dynamic observation in water, but it is transient image information and does not have geographical coordinates. There was a problem that it could not be the basis of quantitative analysis covering general characteristics.
したがって、本発明は、浅水域の水底情報によって、広範囲の水底態様の光学的性状全般に及ぶ定量解析を可能とする浅海底観測システムを提供することを目的とするものである。 Accordingly, an object of the present invention is to provide a shallow seafloor observation system that enables quantitative analysis over the entire optical properties of a wide range of water bottom modes by using water bottom information in shallow water areas.
本発明のかかる目的は、
観測器材を水上移動可能に搭載支持する移動支持浮体と、
前記移動支持浮体に搭載された可視光を検出する複数の水中カメラと、
前記複数の水中カメラの姿勢を検出し、前記複数の水中カメラの撮影位置を検出する姿勢/GPSセンサとを備え、
前記複数の水中カメラによって撮影された撮影画像と前記姿勢/GPSセンサによって検出された前記複数の水中カメラの姿勢および撮影位置とを同期記録する収録手段と、
前記収録手段の記録画像を処理する画像処理部を備え、
前記画像処理部が、前記水中カメラによって撮影された複数の撮影画像の重複範囲について、それぞれの撮影条件に基づく画像処理によって地理座標を付与されたDSMデータと、正射投影写真図を作成可能に構成されたことを特徴とする浅海底観測システム
によって達成される。
This object of the present invention is to
A moving support floating body that supports the observation equipment so that it can move on the water;
A plurality of underwater cameras for detecting visible light mounted on the movable supporting floating body;
The orientations of a plurality of underwater camera detects, and an attitude / GPS sensor for detecting the imaging position of said plurality of underwater camera,
Recording means for synchronously recording captured images captured by the plurality of underwater cameras and postures and photographing positions of the plurality of underwater cameras detected by the posture / GPS sensor ;
An image processing unit for processing a recorded image of the recording means;
The image processing unit can create DSM data to which geographical coordinates are given by image processing based on respective photographing conditions and an orthographic projection photograph diagram for an overlapping range of a plurality of photographed images photographed by the underwater camera. Achieved by a shallow seafloor observation system characterized by being constructed.
本明細書において、DSMはDigital Surface Modelの略語であり、数値表層モデルをいう。 In this specification, DSM is an abbreviation for Digital Surface Model and refers to a numerical surface model.
本発明によれば、移動支持浮体は水上移動可能に観測器材を搭載支持し、水中カメラは移動支持浮体に支持されて水底を撮影し、姿勢/GPSセンサにより、水中カメラの姿勢および撮影位置を検出し、収録手段により水中カメラによって撮影された撮影画像および水中カメラの姿勢および撮影位置を同期して記録し、画像処理部により、撮影画像データの画像処理が実行され、水中カメラによる複数の撮影画像の重複範囲につき、それぞれの撮影条件に基づく正射投影処理をすることによって、正射投影画像が出力され、この正射投影画像によって広範囲の水底態様の光学的性状全般に及ぶ定量解析を可能とし、また、後における同様の対比観測によって得られる同一範囲の正射投影画像との比較による経時的変化を定量的に把握することが可能になる。 According to the present invention, the movable support floating body supports the observation equipment so as to be movable on the water, the underwater camera is supported by the movable support floating body and photographs the bottom of the water, and the attitude and the photographing position of the underwater camera are determined by the attitude / GPS sensor. Detected and recorded by the recording means by the underwater camera and the posture and position of the underwater camera are recorded in synchronism, and the image processing unit performs image processing of the captured image data. By performing orthographic projection processing based on each imaging condition for the overlapping range of images, orthographic projection images are output, and this orthographic projection image enables quantitative analysis covering the entire optical properties of a wide range of water bottoms. And quantitatively grasp the changes over time by comparison with orthographic projection images in the same range obtained by similar contrast observation later. Possible to become.
本発明の好ましい実施態様においては、前記水中カメラがシャッター制御可能なビデオカメラであり、前記複数のビデオカメラは左右に配置されている。 In a preferred embodiment of the present invention, the underwater camera is a video camera capable of shutter control, and the plurality of video cameras are arranged on the left and right.
本発明のこの好ましい実施態様によれば、ビデオカメラが左右に配置されているから、10mに満たない近接距離の水底画像について80%の重複範囲を確保して,効率よく撮影することができ、また、シャッター制御により、波浪による急激な視点変動があっても、明瞭な水底画像を撮影することができるので、画像処理精度の向上を図ることができる。 According to this preferred embodiment of the present invention, since the video cameras are arranged on the left and right, an 80% overlapping range can be secured for the bottom image of a close distance of less than 10 m, and can be efficiently shot. In addition, a clear water bottom image can be taken even if there is a sudden change in viewpoint due to waves by the shutter control, so that it is possible to improve image processing accuracy.
本発明の好ましい実施態様においては、浅海底観測システムはさらに、水底までの距離を計測可能な測距装置を備えている。 In a preferred embodiment of the present invention, the shallow seafloor observation system further includes a distance measuring device capable of measuring a distance to the water bottom.
本発明の好ましい実施態様においては、前記測距装置が、レーザを用いて、水底までの距離を計測可能なレーザ測距装置によって構成されている。 In a preferred embodiment of the present invention, the distance measuring device is constituted by a laser distance measuring device capable of measuring a distance to the water bottom using a laser.
本発明の好ましい実施態様によれば、浅海底観測システムは、可視光を検出する複数の水中カメラに加えて、水底までの距離を計測可能なレーザ測距装置を備えているから、水質が汚濁しているために、可視光を検出する水中カメラによって、精度よく、水底表面データを作成することができず、可視光を検出する水中カメラによって得られる水底表面データの一部が欠損している場合や、可視光を検出する水中カメラによって水底を撮影するときに、陰になってしまい、精度よく、水底表面データを作成することができず、可視光を検出する水中カメラによって得られる水底表面データの一部が欠損している場合、太陽光線の陰りや夜明け/薄暮時、あるいは、コントラストがきわめて高く、そのために明るさが不足して十分な露光が得られない部分ができ、水底表面データの一部が欠損している場合、左右に配置されたビデオカメラによって得られる水底表面画像の結合処理(画像マッチング処理)がうまく出来ずに、水底表面データの一部が欠損している場合にも、レーザや超音波等を利用したレーザ測距装置によって水底までの距離を測定し、可視光を検出する水中カメラによって得られる水底表面データの欠損を補完することが可能になる。 According to a preferred embodiment of the present invention, the shallow sea bottom observation system includes a laser range finder capable of measuring the distance to the bottom of the water in addition to the plurality of underwater cameras that detect visible light. For this reason, the underwater camera that detects visible light cannot accurately create the bottom surface data, and part of the bottom surface data obtained by the underwater camera that detects visible light is missing. Or when the bottom of the water is photographed by an underwater camera that detects visible light, and the bottom surface of the bottom obtained by an underwater camera that detects visible light cannot be created with high accuracy. If a part of the data is missing, the contrast is very high due to the shade of the sun or at dawn / dusk, so that the brightness is insufficient and sufficient exposure is obtained. If there is a missing part and part of the water bottom surface data is missing, the water bottom surface image combining processing (image matching processing) obtained by the video cameras placed on the left and right cannot be performed successfully. Even if the area is missing, the distance to the bottom of the water is measured by a laser range finder using laser, ultrasonic waves, etc., and the bottom of the bottom surface data obtained by an underwater camera that detects visible light is complemented. Is possible.
本発明のさらに好ましい実施態様においては、前記レーザ測距装置が、前記移動支持浮体の下面に取り付けられている。 In a further preferred aspect of the present invention, the laser distance measuring device is attached to the lower surface of the movable support floating body.
本発明のさらに好ましい実施態様においては、可視光を検出する前記複数の水中カメラが前記移動支持浮体の左右の両外側またはその一方に配置されている。 In a further preferred embodiment of the present invention, the plurality of underwater cameras for detecting visible light are arranged on the left and right outer sides or one of the movable support floating bodies.
本発明のこの好ましい実施態様によれば、移動支持浮体の左右の両外側またはその一方に水中カメラを配置することにより、左右または前後の視差画像を収録することができる。 According to this preferred embodiment of the present invention, left and right or front and rear parallax images can be recorded by disposing the underwater cameras on the left and right outer sides of the movable support floating body or on one of them.
本発明によれば、浅水域の水底情報によって、広範囲の水底態様の光学的性状全般に及ぶ定量解析を可能とする浅海底観測システムを提供することが可能になる。 ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to provide the shallow sea bottom observation system which enables the quantitative analysis over the optical properties of a wide range of water bottom aspect by the water bottom information of shallow water area.
図1は、本発明の好ましい実施態様にかかる浅海底観測システムの機能構成図である。 FIG. 1 is a functional configuration diagram of a shallow seafloor observation system according to a preferred embodiment of the present invention.
図1に示されるように、本発明の好ましい実施態様にかかる浅海底観測システム1は、水上移動可能に観測器材を搭載支持する移動支持浮体2と、移動支持浮体2に支持されて水底画像を撮影する一対の水中ビデオ(ビデオカメラ)3、3と、一対のビデオカメラ3、3の撮影位置と撮影時の姿勢を検出する撮影条件検出部材(GPS/ジャイロ装置(姿勢計測装置))4と、一対のビデオカメラ3、3によって撮影された水底画像および特定された撮影条件を同期して記録する収録部(ビデオレコーダ)5と、収録部5に記録された水底画像および撮影条件に基づいて、移動支持浮体2上でリアルタイムに水底画像を画像処理し、あるいは、撮影作業終了後に水底画像の画像処理をする画像処理部6を備えたパーソナルコンピュータ7を備えている。
As shown in FIG. 1, a shallow
本実施態様において、移動支持浮体2は、アウトリガータイプの小型ボート、ゴムボート、漁船等の専用または汎用の浮体と、カメラとジャイロを支持し、浅海域に幅広く適用でき、かつ、安定撮影を可能とする架台である専用支持体とによって構成されている。移動支持浮体2は、曳航または自走により、計画の撮影行程線に沿って水上移動され、水底観測を行われる。
In this embodiment, the moving
各ビデオカメラ3としては、ハウジング内に収納され、電子制御可能な高速シャッターを備えた水中撮影可能なビデオカメラが用いられている。ビデオカメラ3としては、それぞれ、10mに満たないような近接距離の水底画像の80%を重ねた撮影を可能とし、波浪による揺れを受けた場合でも、高速シャッターによって鮮明画像を収録可能なものが用いられ、浅海域の移動のために、移動支持浮体2に支持されている。
As each
一対のビデオカメラ3、3は、移動支持浮体2の左右両側に配置されている。
The pair of
GPS/ジャイロ装置(姿勢計測装置)4は、ビデオカメラ3、3の位置とビデオカメラ3、3の光軸方向の姿勢データを検出し、高精度のDGPSを適用可能に構成されている。
The GPS / gyro apparatus (attitude measurement apparatus) 4 is configured to detect the position of the
収録部(ビデオレコーダ)5は、各ビデオカメラ3、3によって撮影された水底画像と撮影条件とを同期して記録メディアに収録し、これを移動支持浮体2上に搭載されたパーソナルコンピュータ7の画像処理部6に入力し、あるいは、可搬メディアまたは無線伝送によって、地上に位置したパーソナルコンピュータ7の画像処理部6に入力可能に構成されている。
The recording unit (video recorder) 5 records the water bottom image photographed by each
画像処理部6には、一対のビデオカメラ3、3によって生成された海底の映像データ、一対のビデオカメラ3、3の姿勢データおよび一対のビデオカメラ3、3の位置データが入力され、画像処理部6は、これらのデータに基づいて、ステレオマッチングにより、地理座標上で表現される数値地表モデルであるDSMモデルを作成するように構成されている。
The image processing unit 6 is input with the seafloor video data generated by the pair of
図2は、図1に示された本発明の好ましい実施態様にかかる浅海底観測システム1におけるDSM作成部と正射写真図作成部のブロックダイアグラムである。
FIG. 2 is a block diagram of a DSM creation unit and an orthographic photograph creation unit in the shallow
図2に示されるように、DSM作成部11は、レンズ補正を含む前処理を経た映像データ、一対のビデオカメラ3、3の姿勢データとカメラ位置データから、海底表面形状を表す数値地表モデルである地理座標上で示されるDSMデータを出力するように構成され、正射写真図作成部12は、DSM作成部11からDSMデータを受けて、正射投影写真画像を作成するように構成されており、これらによって、浅海底の正射投影写真図を作成可能に構成されている。
As shown in FIG. 2, the DSM creation unit 11 is a numerical ground surface model that represents the shape of the seabed surface from video data that has undergone preprocessing including lens correction, attitude data of a pair of
より詳細には、左右一対のビデオカメラ3,3が用いられた本実施態様にかかる浅海底観測システム1においては、DSM作成部11により、左右一対のビデオカメラ3、3によって撮像された海底画像データにつき、それぞれ、姿勢データにより縦視差を除去後に、画像マッチングにより横視差を算出し、同期して観測した一対のビデオカメラ3、3の位置データおよび姿勢データと、別途観測したカメラパラメータを用いて、写真測量で用いられる共線条件式により地理座標上で海底表面形状のDSMデータが算出される。
More specifically, in the shallow
また、左右一対のビデオカメラ3,3のうち、一方のビデオカメラ3の映像から、レンズ歪み等が除去され、進行方向に80%ラップしたペア画像が作成され、姿勢データによる横視差の除去後に、画像マッチングにより縦視差が算出され、同期して観測されたカメラ位置・姿勢データと、別途観測したカメラパラメータを用い、写真測量で用いられる共線条件式によって、地理座標上で海底表面形状のDSMデータが算出される。
Also, lens distortion and the like are removed from the video of one of the left and
これら2つのDSMデータを合成し、あるいは、DSMデータの一方を単独で使用することにより、ある地理座標上で示されたDSMデータが作成される。 By combining these two DSM data or using one of the DSM data alone, the DSM data shown on a certain geographic coordinate is created.
また、正射写真図作成部12は、左右一対のビデオカメラ3、3の映像から1/30秒毎の画像を作成し、カメラパラメータを用いて、レンズ歪みを除去した後に、同期して観測した一対のビデオカメラ3、3の位置データおよび姿勢データを用いて、上述のDSMデータに画像の流れの少ない画像を投影する。流れの少ない画像は、1/30秒毎の画像同士の差分を取った動きの少ない画像で、かつ、エッジがシャープな画像とする。
In addition, the orthophoto photograph creation unit 12 creates an image every 1/30 seconds from the images of the pair of left and
なお、カメラパラメータの観測については、別途水槽内に設置したターゲットを水中ビデオカメラで撮影し、写真測量式を用いて焦点距離・レンズ歪みの補正を行う。 For camera parameter observation, a target set in a separate tank is photographed with an underwater video camera, and the focal length and lens distortion are corrected using a photogrammetry formula.
以上のように構成された本実施態様にかかる浅海底観測システム1においては、移動支持浮体2を観測水域まで移送した上で、観測初期値取得のための水深検出と移動支持浮体2に搭載された一対のビデオカメラ3、3の下降とによって観測を開始する。
In the shallow
観測は、移動支持浮体2を曳航又は自走によって、観測計画線に沿って移動させつつ、一対のビデオカメラ3、3によって海底画像を撮影するとともに、GPS/ジャイロ装置4によって、一対のビデオカメラ3、3の撮影条件である視点位置と光軸方向を検出し、収録部(ビデオレコーダ)5によって、両者を同期記録する。
In observation, the moving
観測の終了後に、記録メディアに収録されたデータは、移動支持浮体2上に搭載されたパーソナルコンピュータ7の画像処理部6に入力され、あるいは、可搬メディアまたは無線伝送によって、地上に位置したパーソナルコンピュータ7の画像処理部6に入力されて、正射投影画像処理が実行される。
After the observation is completed, the data recorded on the recording medium is input to the image processing unit 6 of the personal computer 7 mounted on the moving
この画像処理出力は、従来の等深線や符号で示されていた浅海域の珊瑚礁や浅瀬をカラーで視覚的に表すことによって、浅海域の珊瑚礁や浅瀬の状況を視覚的に分りやすく示すことができる。 This image processing output can visually indicate the state of shallow water coral reefs and shallow waters by visually expressing the shallow water coral reefs and shallow waters indicated by conventional contour lines and symbols in color. .
したがって、本実施態様によれば、浅海域の珊瑚礁や浅瀬の水中環境をカラーで面的に捉えることができるから、色の違いによる珊瑚礁や浅瀬の植生(藻)の成育状況を把握することが可能となる。 Therefore, according to this embodiment, since the underwater environment of the shallow reefs and shallows can be captured in color, it is possible to grasp the growth of coral reefs and shallow vegetation (algae) due to different colors. It becomes possible.
また、本実施態様によれば、短時間の観測によって、広範囲の浅海底について高精度の写真地図情報の取得が可能となるから、珊瑚や植生の分布範囲の量的な把握に加え、可視光域を中心とする光学的性状全般に及ぶ定量解析により、珊瑚の成育白化状況等の質的な把握ができるとともに、後の対比観測により、同じ地理座標位置におけるその間の経時的な変化の捕捉が可能となる。 In addition, according to the present embodiment, it is possible to obtain high-precision photographic map information for a wide range of shallow seabed by short-time observation, so in addition to quantitative grasping of the distribution range of ridges and vegetation, visible light Quantitative analysis covering the entire optical properties centered on the region enables qualitative understanding of the growth and whitening status of cocoons, etc., and later comparison observation captures changes over time at the same geographical coordinate position. It becomes possible.
図3は、本発明の別の好ましい実施態様にかかる浅海底観測システムの略斜視図である。 FIG. 3 is a schematic perspective view of a shallow seafloor observation system according to another preferred embodiment of the present invention.
図3に示されるように、本実施態様にかかる浅海底観測システム20においては、図1および図2に示された浅海底観測システム1と同様に、水上移動可能に観測器材を搭載支持する移動支持浮体2と、移動支持浮体2に支持されて水底画像を撮影する一対のビデオカメラ3、3と、移動支持浮体2の下面に取り付けられ、海底面をレーザビームによって走査するレーザ測距装置8を備えている。
As shown in FIG. 3, in the shallow
図3において、参照符号52、52で示されているのは、一対のビデオカメラ3、3によって撮影された海底面の撮影領域であり、図3に示されるように、一対のビデオカメラ3、3の撮影領域52、52は、重複領域53において、重複している。
In FIG. 3, what is indicated by
図4は、図3に示された本発明の好ましい実施態様にかかる浅海底観測システム20の構成要素を示すブロックダイアグラムである。
FIG. 4 is a block diagram showing components of the shallow
図4に示されるように、浅海底観測システム20は、パーソナルコンピュータ30と、同期信号発生装置31と、一対のビデオカメラ3、3と、ビデオレコーダ33、33と、ビデオ編集機34、34と、GPS/ジャイロ装置4と、レーザ測距装置8を備えている。図示されてはいないが、パーソナルコンピュータ30は、画像処理部6を備えている。
As shown in FIG. 4, the shallow
図4に示されるように、浅海底観測システム20は、さらに、DSMデータを生成するDSM生成部11と、DSMデータに基づいて、正射写真図作成部12を備えている。
As shown in FIG. 4, the shallow
図5は、レーザ測距装置8のレーザビーム放出部の略斜視図である。
FIG. 5 is a schematic perspective view of the laser beam emitting portion of the laser
図5に示されるように、レーザ測距装置8は、レーザビーム40をパルス状に放出するLEDレーザ光源41を備え、LEDレーザ光源41から放出されたレーザビーム40は、コリメータレンズ42に入射して、平行なビームに変換される。コリメータレンズ42によって平行なビームに変換されたレーザビーム40は拡散部材43に入射し、レーザビーム40は、拡散部材43によって、多数のレーザビーム45に分割されて、たとえば、128×128のマトリックス状に海底面に照射される。
As shown in FIG. 5, the laser
拡散部材43としては、たとえば、Advanced Scientific Concepts, Inc.によって製造販売されている「3D Flash Lidar」(登録商標)に使われている拡散部材が好ましく使用される。
As the diffusing
図6は、レーザ測距装置8のレーザビーム受光部の略斜視図である。
FIG. 6 is a schematic perspective view of a laser beam receiving unit of the laser
図6に示されるように、拡散部材43によって分割され、海底面によって反射されたレーザビーム45は、集光レンズ46によって集光されて、受光センサ47によって、光電的に検出される。
As shown in FIG. 6, the
図7は、受光センサ47の略縦断面図であり、図7に示されるように、受光センサ47は、海底面によって反射されたレーザビーム45の検出時間を感知するフォトセンサ48と海底面によって反射されたレーザビーム45の強度を検出するCCDセンサ49を備えている。
FIG. 7 is a schematic longitudinal sectional view of the
図8は、レーザ測距装置8の制御系および検出系のブロックダイアグラムである。
FIG. 8 is a block diagram of a control system and a detection system of the laser
図8に示されるように、レーザ測距装置8は、LEDレーザ光源41からパルス状にレーザビーム40を放出した時間と、そのレーザビーム40が海底面によって反射されて生成されたレーザビーム45が、フォトセンサ48によって受光された時間を記憶する第一のメモリ50Aと、LEDレーザ光源41から放出されたレーザビーム40の強度とCCDセンサ49が検出したレーザビーム45の強度を記憶する第二のメモリ領域50Bを備えたRAM50を有している。
As shown in FIG. 8, the laser
さらに、レーザ測距装置8は、RAM50の第一のメモリ50Aに記憶されたLEDレーザ光源41からレーザビーム40が放出された時間およびフォトセンサ48によって受光された時間と海底面によって反射されたレーザビーム45をフォトセンサ48が受光した時間ならびにLEDレーザ光源41から放出されたレーザビーム40の強度およびCCDセンサ49が検出したレーザビーム45の強度に基づいて、海底面までの距離を算出するコントローラ51を備えている。
Further, the laser
また、図8に示されるように、レーザ測距装置8は、レーザビーム40の照射によって得られたデータを処理するレーザデータ処理部10を備えている。
As shown in FIG. 8, the laser
レーザビーム40が拡散部材43によって分割されて、128×128のマトリックス状に海底面に照射された場合には、128×128のマトリックスの要素によって反射されたレーザビーム45をフォトセンサ48およびCCDセンサ49により光電検出することによって、その要素とLEDレーザ光源41との距離を正確に算出することができ、したがって、128×128のマトリックスのすべての要素とLEDレーザ光源41との距離を正確に算出することが可能になる。
When the
図9は、図3ないし図8に示された本発明の好ましい実施態様にかかる浅海底観測システム20によって、浅海底を観測する処理を示すフローチャートである。
FIG. 9 is a flowchart showing processing for observing the shallow seabed by the shallow
オペレータによって、スタート信号がパーソナルコンピュータ30に入力されると、パーソナルコンピュータ30から同期信号発生装置31に駆動信号が出力されて、同期信号発生装置31から、一対のビデオカメラ3、3と、レーザ測距装置8と、GPS/ジャイロ装置4およびコンバートソフトウエア55に同期信号が出力される。このとき、パーソナルコンピュータ30はLEDレーザ光源41からレーザビーム40が放出された時間をレーザ測距装置8のRAM50内の第一のメモリ領域50A内に格納するとともに、LEDレーザ光源41から放出されたレーザビーム40の強度をレーザ測距装置8のRAM50内の第二のメモリ領域50B内に格納する。
When a start signal is input to the personal computer 30 by the operator, a drive signal is output from the personal computer 30 to the synchronization signal generator 31, and the synchronization signal generator 31 outputs a pair of
同期信号を受けると、一対のビデオカメラ3、3は、撮影を開始し、海底面の撮影領域52、52のカラー画像が撮影される。
When the synchronization signal is received, the pair of
一方、レーザ測距装置8は、LEDレーザ光源41からパルス状にレーザビーム40を放出させ、コリメータレンズ42によって平行なビームに変換した後に、拡散部材43に入射させる。拡散部材43を通過させることによって、レーザビーム40は多数のレーザビーム45、たとえば、128×128に分割されて、一対のビデオカメラ3、3の海底面の撮影領域52、52が重複している重複撮影領域53に照射され、重複撮影領域53内に128×128のマトリックス状照射部53Aが形成される。
On the other hand, the laser
海底面の128×128のマトリックス状照射部53Aの各々によって反射されたレーザビーム45は、集光レンズ46によって集光されて、受光センサ47によって、光電的に検出される。
The
上述のように、受光センサ47は、海底面によって反射されたレーザビーム45の検出時間を感知するフォトセンサ48と海底面によって反射されたレーザビーム45の強度を検出するCCDセンサ49とによって構成されている。
As described above, the
フォトセンサ48は、海底面の128×128のマトリックス状照射部53Aの各々によって反射されたレーザビーム45を検出したときに、レーザビーム45を検出した時間をRAM50内の第一のメモリ領域50A内に格納する。ここに、第一のメモリ領域50A内は128×128のマトリックス状照射部53Aに対応して、128×128のマトリックス状メモリ領域に分割されており、フォトセンサ48は、海底面の128×128のマトリックス状照射部53Aの各々によって反射されたレーザビーム45の検出時間を、第一のメモリ領域50A内の対応するマトリックス状メモリ領域内に格納する。
When the
一方、CCDセンサ49は、海底面の128×128のマトリックス状照射部53Aの各々によって反射されたレーザビーム45の強度を検出し、海底面の128×128のマトリックス状照射部53Aの各々によって反射されたレーザビーム45の強度を、第二のメモリ領域50B内の対応するマトリックス状メモリ領域内に格納する。
On the other hand, the
次いで、コントローラ51がRAM50にアクセスして、第一のメモリ領域50A内のマトリックス状メモリ領域の各々に記憶されたLEDレーザ光源41からレーザビーム40が放出された時間およびフォトセンサ48によってレーザビーム45が検出された時間、ならびに、第二のメモリ領域50B内のマトリックス状メモリ領域の各々に記憶されたLEDレーザ光源41から放出されたレーザビーム40の強度およびCCDセンサ49が検出したレーザビーム45の強度に基づいて、海底面の128×128のマトリックス状照射部53Aの各々の水深データを算出する。
Next, the controller 51 accesses the
同期信号に応答して、GPS/ジャイロ装置4は、一対のビデオカメラ3、3の姿勢データを生成し、コンバートソフトウエア55が起動し、写真測量における外部評定要素が算出される。
In response to the synchronization signal, the GPS / gyro apparatus 4 generates attitude data of the pair of
同期信号に応答して、一対のビデオカメラ3、3によって撮影された海底面の画像に対応する画像データはビデオレコーダ33、33に出力され、さらに、ビデオ編集機34、34によって、連番画像が生成される。次いで、別途観測したカメラパラメータを用いて、焦点距離・レンズ歪みの補正が行われ、補正済みの連番画像(1/30秒毎のペア画像)が生成される。
In response to the synchronization signal, the image data corresponding to the image of the sea bottom photographed by the pair of
ここに、カメラパラメータは、別途水槽内に設置したターゲットを水中ビデオカメラ3で撮影し、写真測量式を用いて、焦点距離・レンズ歪みを求めることによって、観測される。
Here, the camera parameters are observed by photographing a target separately installed in the aquarium with the
一対のビデオカメラ3、3で撮影された画像から生成された歪み補正済みの連番画像から、まず同連番の左右画像に対し、たとえば、テンプレートマッチングを実行して、横視差を算出する。こうして得られた横視差から水深データが算出され、その水深データをもとに標高値A(x, y, z)が算出される。
For example, template matching is performed on the left and right images having the same sequence number from the sequence-corrected sequence images generated from the images captured by the pair of
次に、一対のビデオカメラ3、3の左右どちらかで得られた歪み補正済みの連番画像は、GPS/ジャイロ装置4によって測定された姿勢データを用いて、横視差が除去される。
Next, the lateral parallax is removed from the distortion-corrected serial number images obtained by either the left or right of the pair of
横視差が除去された補正済みの連番画像(縦=時間軸)に対して、たとえば、テンプレートマッチングを実行して、縦視差を算出する。 For example, template matching is performed on the corrected sequential image (vertical = time axis) from which the horizontal parallax has been removed to calculate the vertical parallax.
こうして得られた縦視差を利用して、標高値が算出され、水深データが算出され、その水深データをもとに、標高値B(x, y, z)が算出される。 Using the vertical parallax thus obtained, the altitude value is calculated, the water depth data is calculated, and the altitude value B (x, y, z) is calculated based on the water depth data.
このように、標高値A(x, y, z)および標高値B(x, y, z)が算出され、標高値A(x, y, z)および標高値B(x, y, z)を合成した標高値を用いて、DSMデータが作成される。 In this way, the elevation value A (x, y, z) and the elevation value B (x, y, z) are calculated, and the elevation value A (x, y, z) and elevation value B (x, y, z) are calculated. DSM data is created using the altitude value obtained by synthesizing.
一方、レーザ測距装置8によって生成された距離データは、GPS/ジャイロ装置4によって測定された姿勢データを用いて、レーザデータ処理部10において、水深データに変換し、さらに、この水深データをもとに補完用の標高値のDSMデータが生成される。
On the other hand, the distance data generated by the laser
ここに、レーザ測距装置8によって生成された水深データは、たとえば、128×128のマトリックス状の領域53Aの水深データで、さらに、重複撮影領域53を分割して、256×256のマトリックス状の領域53Aを生成し、それぞれの水深データを求めても、各領域53Aの大きさは、一対のビデオカメラ3、3が撮影した画像の画素に比べて、はるかに大きいので、本実施態様においては、レーザ測距装置8によって生成したマトリックス状の領域53Aの水深データに基づいて、一対のビデオカメラ3、3によって撮影した画像によって生成されるDSMデータを補完するための補完用DSMデータが生成される。
Here, the water depth data generated by the laser
こうして、一対のビデオカメラ3、3が撮影した画像に基づいて生成されたDSMデータおよびレーザ測距装置8により生成された補完用DSMデータによって、撮影対象となる海底領域のDSMデータが生成される。ここに、一対のビデオカメラ3、3によって撮影された画像から正常に生成されたDSMデータがある海底領域に対しては、レーザ測距装置8によって生成した補完用DSMデータは適用されない。
Thus, the DSM data of the seabed region to be imaged is generated by the DSM data generated based on the images captured by the pair of
一方で、補正済み連番画像がDSMデータ上に重畳して投影される。 On the other hand, the corrected sequential image is projected superimposed on the DSM data.
次いで、オルソ画像作成ソフトウエアを起動させ、こうして得られた画像を、コンバートソフトウェアによって生成された外部評定要素を用いて、正射投影をし、正射投影写真画像データが作成される。 Next, the ortho image creation software is started, and the image thus obtained is orthographically projected using the external rating element generated by the conversion software, and orthographic projection photographic image data is created.
観測は、移動支持浮体2を曳航又は自走によって、観測計画線に沿って移動させつつ、以上のように、一対のビデオカメラ3、3によって水底画像を撮影し、レーザ距離装置8によって水底との距離を測定するとともに、GPS/ジャイロ装置4によって一対のビデオカメラ3、3の撮影条件である視点位置と光軸方向を検出し、ビデオレコーダ33、33によって、両者を同期記録することによって実行される。
In observation, while moving the moving
観測の終了後に、正射投影写真画像データは、移動支持浮体2上に搭載されたパーソナルコンピュータ30の画像処理部6に入力され、あるいは、可搬メディアまたは無線伝送によって、地上に位置したパーソナルコンピュータ7の画像処理部6に入力されて、正射投影画像処理が実行される。
After the observation is finished, the orthographic projection photographic image data is input to the image processing unit 6 of the personal computer 30 mounted on the moving
この画像処理出力は、従来の等深線や符号で示されていた浅海域の珊瑚礁や浅瀬をカラーで視覚的に表すことによって、浅海域の珊瑚礁や浅瀬の状況を視覚的に分りやすく示すことができる。 This image processing output can visually indicate the state of shallow water coral reefs and shallow waters by visually expressing the shallow water coral reefs and shallow waters indicated by conventional contour lines and symbols in color. .
したがって、本実施態様によれば、浅海域の珊瑚礁や浅瀬の水中環境をカラーで面的に捉えることができるから、色の違いによる珊瑚礁や浅瀬の植生(藻)の成育状況を把握することが可能となる。 Therefore, according to this embodiment, since the underwater environment of the shallow reefs and shallows can be captured in color, it is possible to grasp the growth of coral reefs and shallow vegetation (algae) due to different colors. It becomes possible.
また、本実施態様によれば、浅海底観測システム20は、可視光を検出する一対のビデオカメラに加えて、水底までの距離を計測可能なレーザ距離装置8を備えているから、水質が汚濁しているために、可視光を検出するビデオカメラ3、3よっては、精度よく、水底表面データを作成することができず、可視光を検出するビデオカメラ3、3によって得られる水底表面データの一部が欠損している場合や、可視光を検出するビデオカメラ3、3によって水底を撮影するときに、陰になってしまい、精度よく、水底表面データを作成することができず、可視光を検出する水中カメラによって得られる水底表面データの一部が欠損している場合、太陽光線の陰りや夜明け/薄暮時、あるいは、コントラストがきわめて高く、そのために明るさが不足して十分な露光が得られない部分ができ、水底表面データの一部が欠損している場合、左右に配置された一対のビデオカメラ3、3によって得られる水底表面画像の結合処理(画像マッチング処理)がうまく出来ずに、水底表面データの一部が欠損している場合にも、レーザ距離装置8によって水底までの距離を測定し、可視光を検出するビデオカメラ3、3によって得られる水底表面データの欠損を補完することが可能になる。
In addition, according to the present embodiment, the shallow
本発明は、以上の実施態様に限定されることなく、特許請求の範囲に記載された発明の範囲内で種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることはいうまでもない。 The present invention is not limited to the above-described embodiments, and various modifications are possible within the scope of the invention described in the claims, and these are also included in the scope of the present invention. Needless to say.
たとえば、前記実施態様においては、一対のビデオカメラが設けられているが、ビデオカメラの数は複数であればよく、2つに限定されるものではない。 For example, in the above-described embodiment, a pair of video cameras is provided, but the number of video cameras is not limited to two as long as it is plural.
また、図3ないし図9に示された前記実施態様においては、水底までの距離を計測するレーザ測距装置8は、レーザビーム40を多数のレーザビーム45に分割する拡散部材43、好ましくは、Advanced Scientific Concepts, Inc.によって製造販売されている「3D Flash Lidar」(登録商標)を備えているが、この種の拡散部材43を備えたレーザ測距装置8を用いることは必ずしも必要ではなく、ファイバー式のレーザ測距装置や走査型のレーザ測距装置などを用いることもでき、さらには、レーザではなく、他の周波数の電磁波や超音波を含む音波などと用いてもよく、海底との距離が計測可能な距離計であれば、とくに限定されるものではない。
In the embodiment shown in FIGS. 3 to 9, the laser
さらに、図3ないし図9に示された前記実施態様においては、CCDセンサ49を用いて、レーザビームの反射強度を測定しているが、CCDセンサ49を用いて、レーザビームの反射強度を測定することは必ずしも必要でなく、受光センサ47がフォトセンサ48のみによって構成されていてもよい。
Further, in the embodiment shown in FIGS. 3 to 9, the
また、図3ないし図9に示された前記実施態様においては、レーザ測距装置8が移動支持浮体2の下面に取り付けられているが、レーザ測距装置8を移動支持浮体2の下面に取り付けることは必ずしも必要でなく、移動支持浮体2の上面に取り付けられていてもよく、すなわち、レーザ測距装置8は水上または水中に位置するように、移動支持浮体2み取り付けることができる。
3 to 9, the laser
また、前記実施態様においては、浅海底が観測されているが、本発明は浅海底の観測に限定されるものではなく、湖沼や沿岸部の浅水域などの観測に広く用いることができる。 In the above embodiment, the shallow seabed is observed. However, the present invention is not limited to the shallow seabed observation, and can be widely used for observing lakes and shallow coastal waters.
1 浅海底観測システム
2 移動支持浮体
3 水中カメラ(ビデオカメラ)
4 GPS/ジャイロ装置
5 収録部(ビデオレコーダ)
6 画像処理部
7 パーソナルコンピュータ
8 レーザ測距装置
10 レーザデータ処理部
11 DSM作成部
12 正射写真図作成部
20 浅海底観測システム
30 パーソナルコンピュータ
31 同期信号発生装置
33 ビデオレコーダ
34 ビデオ編集機
40 レーザビーム
41 LEDレーザ光源
42 コリメータレンズ
43 拡散部材
45 レーザビーム
46 集光レンズ
47 受光センサ
48 フォトセンサ
49 CCDセンサ
50 RAM
50A 第一のメモリ領域
50B 第二のメモリ領域
51 コントローラ
52 一対のビデオカメラの撮影領域
53 重複撮影領域
53A マトリックス状の領域
55 コンバートソフトウエア
1 Shallow
4 GPS / Gyro device 5 Recording unit (video recorder)
6 Image processing unit 7
50A First memory area 50B Second memory area 51
Claims (2)
前記移動支持浮体に搭載された可視光を検出する複数の水中カメラと、
前記複数の水中カメラの姿勢を検出し、前記複数の水中カメラの撮影位置を検出する姿勢/GPSセンサとを備え、
前記複数の水中カメラによって撮影された撮影画像と前記姿勢/GPSセンサによって検出された前記複数の水中カメラの姿勢および撮影位置とを同期記録する収録手段と、
前記収録手段の記録画像を処理する画像処理部を備え、
前記画像処理部が、前記水中カメラによって撮影された複数の撮影画像の重複範囲について、それぞれの撮影条件に基づく画像処理によって地理座標を付与されたDSMデータと、正射投影写真図を作成可能に構成されたことを特徴とする浅海底観測システム。 A moving support floating body that supports the observation equipment so that it can move on the water;
A plurality of underwater cameras for detecting visible light mounted on the movable supporting floating body;
A posture / GPS sensor for detecting postures of the plurality of underwater cameras and detecting photographing positions of the plurality of underwater cameras;
Recording means for synchronously recording captured images captured by the plurality of underwater cameras and postures and photographing positions of the plurality of underwater cameras detected by the posture / GPS sensor;
An image processing unit for processing a recorded image of the recording means;
The image processing unit can create DSM data to which geographical coordinates are given by image processing based on respective photographing conditions and an orthographic projection photograph diagram for an overlapping range of a plurality of photographed images photographed by the underwater camera. A shallow seafloor observation system characterized by being constructed.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014153239A JP5989719B2 (en) | 2013-07-26 | 2014-07-28 | Shallow water observation system |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013155686 | 2013-07-26 | ||
JP2013155686 | 2013-07-26 | ||
JP2014153239A JP5989719B2 (en) | 2013-07-26 | 2014-07-28 | Shallow water observation system |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016137487A Division JP6205465B2 (en) | 2013-07-26 | 2016-07-12 | Shallow water observation system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015042976A JP2015042976A (en) | 2015-03-05 |
JP5989719B2 true JP5989719B2 (en) | 2016-09-07 |
Family
ID=52696548
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014153239A Active JP5989719B2 (en) | 2013-07-26 | 2014-07-28 | Shallow water observation system |
JP2016137487A Active JP6205465B2 (en) | 2013-07-26 | 2016-07-12 | Shallow water observation system |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016137487A Active JP6205465B2 (en) | 2013-07-26 | 2016-07-12 | Shallow water observation system |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP5989719B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018200221A (en) * | 2017-05-26 | 2018-12-20 | 国立大学法人 東京大学 | Water bottom observation system and water bottom observation image processing program |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6470658B2 (en) * | 2015-08-10 | 2019-02-13 | 朝日航洋株式会社 | Laser measurement system and laser measurement method |
CN106404119B (en) * | 2016-11-22 | 2023-09-26 | 华南师范大学 | Automobile wading depth detection system and method |
JP2019078732A (en) * | 2017-10-19 | 2019-05-23 | 株式会社トリマティス | Multifunction lidar for underwater topographic survey |
USD970065S1 (en) | 2019-01-23 | 2022-11-15 | Herbert Waldmann Gmbh & Co. Kg | Lamp |
JP7336788B2 (en) * | 2020-03-23 | 2023-09-01 | 五洋建設株式会社 | Underwater image generation method and program |
CN112284337B (en) * | 2020-11-25 | 2021-08-03 | 武汉大学 | River model multi-parameter measuring device and walking control method thereof |
KR102473039B1 (en) * | 2020-12-30 | 2022-12-02 | 주식회사 공간정보 | water resources investigation system of unmanned aircraft carrier shape |
CN113983931B (en) * | 2021-11-02 | 2023-05-23 | 中国船舶科学研究中心 | Underwater positioning device of dredging robot for test pool and use method |
CN114636086A (en) * | 2022-03-22 | 2022-06-17 | 黄扬 | Handheld measuring device for engineering surveying and mapping |
CN116750170B (en) * | 2023-08-24 | 2023-11-14 | 山东省科学院海洋仪器仪表研究所 | Underwater photogrammetry device |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4729694B2 (en) * | 2005-01-13 | 2011-07-20 | 独立行政法人国立環境研究所 | Method and system for measuring surface shape under liquid |
JP4852006B2 (en) * | 2007-07-27 | 2012-01-11 | 株式会社パスコ | Spatial information database generation device and spatial information database generation program |
WO2011143622A2 (en) * | 2010-05-13 | 2011-11-17 | Google Inc. | Underwater acquisition of imagery for 3d mapping environments |
-
2014
- 2014-07-28 JP JP2014153239A patent/JP5989719B2/en active Active
-
2016
- 2016-07-12 JP JP2016137487A patent/JP6205465B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018200221A (en) * | 2017-05-26 | 2018-12-20 | 国立大学法人 東京大学 | Water bottom observation system and water bottom observation image processing program |
Also Published As
Publication number | Publication date |
---|---|
JP6205465B2 (en) | 2017-09-27 |
JP2015042976A (en) | 2015-03-05 |
JP2017003593A (en) | 2017-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5989719B2 (en) | Shallow water observation system | |
JP6940843B2 (en) | Underwater observation system | |
EP2909811B1 (en) | Improvements in and relating to gathering range and dimensional information underwater surveys | |
Shortis | Camera calibration techniques for accurate measurement underwater | |
AU2015250748B2 (en) | 3D point clouds | |
JP2017003593A5 (en) | ||
JP6574845B2 (en) | Drawing creating apparatus and drawing creating method | |
JP2012533222A (en) | Image-based surface tracking | |
Rende et al. | Advances in micro-cartography: A two-dimensional photo mosaicing technique for seagrass monitoring | |
KR101554300B1 (en) | Underwater image matching method | |
JP6898396B2 (en) | Underwater observation system | |
Jones et al. | The use of towed camera platforms in deep-water science | |
JP2020194454A (en) | Image processing device and image processing method, program, and storage medium | |
JP6605244B2 (en) | Overhead wire imaging apparatus and overhead wire imaging method | |
Bodenmann et al. | 3D colour reconstruction of a hydrothermally active area using an underwater robot | |
KR101018233B1 (en) | High dynamic range image generation apparatus and method | |
Brown et al. | Optical mosaicking and 3d reconstruction aboard an underway iver3 uuv | |
Lindsay et al. | The uROV PICASSO, the Visual Plankton Recorder, and other attempts to image plankton | |
Bianco et al. | Underwater 3D shape reconstruction by fringe projection | |
RU2017100169A (en) | A method of creating a digital topographic photo document and a comprehensive tool for implementing this method | |
BG1633U1 (en) | A system of taking digital underwater photogrammetric pictures |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150119 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160107 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160607 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160712 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20160719 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160803 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160810 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5989719 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |