JP3558300B2 - ３次元表示装置 - Google Patents
３次元表示装置 Download PDFInfo
- Publication number
- JP3558300B2 JP3558300B2 JP06511394A JP6511394A JP3558300B2 JP 3558300 B2 JP3558300 B2 JP 3558300B2 JP 06511394 A JP06511394 A JP 06511394A JP 6511394 A JP6511394 A JP 6511394A JP 3558300 B2 JP3558300 B2 JP 3558300B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- dimensional
- seafloor
- opacity
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、魚群探知機等で得られた水中データに基づき水中物体を３次元表示する装置に関する。
【０００２】
【従来の技術】
従来、魚群探知機では、航行する自船直下の水中情報を次々と表示していくことにより、航行方向に向かう自船直下の垂直断面画を表示し、又、スキャニングソナーでは、側方へビームスキャンすることにより、航行方向と直交する方向の垂直断面画を得ている。
いずれの場合も２次元画像を提供するだけで３次元画像を表示するものではない。
【０００３】
【発明が解決しようとする課題】
３次元表示を行うものとして、特開平３−７５５２６号の「原油タンク内に堆積したスラッジを検出する装置」がある。ここでは、探査したエリアの水底をマス目（メッシュ）状に区分し、区分したそれらの各マス目毎に深度を検出し、この深度と原油タンクの深さとに基づき各マス目毎の堆積厚さを求め、この堆積厚さを３次元座標の縦軸にして表示することにより、スラッジの堆積状況を３次元表示している。
【０００４】
特願平４−３２３１４４号の「水中探知装置」では、航行に伴い次々と検出される垂直断面画から海底ラインを順次ずらして表示することで、海底の起伏状態を３次元的に表示すると同時に、最新の検出に係わる海底ラインの表示位置に、その海底ラインを検出した１垂直断面画に含まれる魚群像を関係づけて表示している。
【０００５】
前者では水底（スラッジ）の起伏状態を３次元的に表示するのみで、魚群等の水中物体を３次元表示するものではなく、又、後者では、３次元的に表示した海底像に、１垂直断面画より得た魚群像（２次元の平面画像）を関連付けて表示するだけであり、巻網を仕掛ける際に必要となる魚群の分布状況を知ることはできない。
【０００６】
本発明は、上述した課題を解決するためになされたものであり、水中物体の分布状況を３次元に表示できる３次元表示装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は、水底に向けて発した超音波のエコーに基づき水中物体を３次元表示するために、
受信したエコーのデータを、３次元の直交メッシュデータメモリを構成する各ボクセルに充当して３次元直交メッシュモデルを形成し、この直交メッシュモデルに対して所望の位置に据えた視点より眺めた時に見える像を、２次元平面に投影して表示する３次元表示装置において、
受信したエコーのデータを海底判別により水中データと海底データとに分け、水中データを各ボクセルに充当し、海底データを別色表示すべく別処理することを特徴とする。
【０００８】
【作用】
本発明の３次元表示装置は、自船を中心として全方位方向よりのエコーを３次元の直交メッシュデータメモリの各メモリ単位であるボクセルに格納して３次元直交メッシュモデルを形成し、この３次元直交メッシュモデルに対して、所望の位置に据えた視点より眺めた時に見える像を２次元平面に投影して表示する。
【０００９】
そして、受信したエコーのデータを海底判別により水中データと海底データとに分け、水中データに対しては、前述の手法によって３次元表示し、一方、海底データに対しては、別処理によって別色表示することにより、海底と魚群が重なって表示されても両者を容易に識別することができる。
【００１０】
海底データの別処理としては、請求項２にあるように、海底を３角形の各頂点として捕えて３次元ワイヤフレームを形成し、その３角形を平面データとして扱った海底サーフェスモデルに基づき表示を行えば、海底の起伏状況を明確に示すことができる。
【００１１】
その表示される像に立体感を与えるために、請求項３にあるように、各ボクセルのデータおよび海底サーフェスデータに対して随意の位置に設定した光源に基づき光源計算を行うことができる。
【００１２】
眺めた時に見える像として、本第１発明に係わるボリュームレンダリング表示では、請求項４にあるように、視点よりの視線上に位置する各ボクセルに対して不透明度を持つ色データを手前から順に積算したものとすれば、魚群の密度に応じて濃淡表示されるので、魚群の密度や芯を知ることができる。
【００１３】
眺めた時に見える像として、本第２発明に係わる等値面表示では、請求項５にあるように、視線上に位置する所望レベルのボクセルから生成した等値面を、不透明度１の色データＣv'とすれば、魚群の密度や芯は不明であるが輪郭が明確となる。
【００１４】
又、眺めた時に見える像として、本第３発明に係わる合成表示では、請求項６にあるように、視点よりの視線上に位置する各ボクセルの色データを手前より積算した値(つまり、請求項４のボリュームレンダリング表示)に、同視線上に位置する所望レベルのボクセルから生成した等値面に設定した半透明の色データ(つまり、請求項５の等値面表示における不透明度１を半透明とした)を加算したものとすれば、魚群の密度や芯を不明となることなく輪郭を明確にすることができる。
【００１５】
請求項７は、ボリュームレンダリング表示する装置において、受信データを水中データと海底データとに分け、海底データを海底サーフェス表示したものである。
請求項８は、請求項７の装置に対して光源計算を行ったものである。
請求項９ないし１２は、それぞれ等値面表示および合成表示に係わるものである。
海底データのみを処理すれば、請求項１３にあるように、海底のみを表示する装置を提供できる。
【００１６】
【実施例】
図１は、本発明の水中３次元表示装置の一実施例を示す制御ブロック図である。
１は、円筒体を筒方向に半割りした部材の円周面上に複数個の超音波振動子を並べた半周型の送受波器である。船底に設けられるこの送受波器１は、超音波の送波時に、直下方向に扇形状に拡がる広指向角の送波ビームＡを形成し、そのエコーの受波時に、狭指向角とした受波ビームＢをその送波ビームＡの扇形領域に対して高速に繰り返しスキャンすることにより、図２（ａ）に示すように、１垂直断面Ｓに対するデータが得られる。所望の指向角を得るには各超音波振動子に重み付けを行い、スキャンのために所望の方位に受波ビームを形成するには、各超音波振動子よりの受波信号に一定量の位相差を与える。
【００１７】
２は、送受波器１を旋回するためのモータであり、３は、送受波器１を一定のステップ角θ（本実施例では６°）で旋回させるためにモータ２に所定の駆動信号を供給する駆動部である。１垂直断面画Ｓのデータが検出される毎に、送受波器１がステップ角θ（６°）で旋回して、図２（ｂ）で示すように、ステップ角θで隔てられた３０面の垂直断面画Ｓが得られ、船底を頂点として下方に拡がる円錐体に含まれる魚群および、その円錐体の底面である海底のエコーを検出することができる。
【００１８】
４は、送受波器１に送波用の励振信号を供給する送信部であり、５は、送受波器１よりの受波信号を検波する受信部である。６は、受信部５より出力されるアナログの受信信号をデジタル信号に変換するＡ／Ｄ変換器であり、７は、１垂直断面画Ｓのデータを取り込むバッファメモリであり、８は、バッファメモリ７より読み出された極座標系の受信信号を直交座標系の信号に変換する座標変換部である。
【００１９】
９は、座標変換部８よりの受信データから海底よりのエコー（海底データ）を判別することにより、海底データと、この海底データ以外の水中物体（魚群）よりのエコー（水中データ）とに分別する海底判別部である。
【００２０】
この海底判別を、船首方向にスキャンさせた１垂直断面画Ｓを示した図３を用いて説明する。船首方向よりチルト角７２°の受波ビームＢ１おいて、Ｄ０、Ｄ１、Ｄ２、Ｄ３の順にデータ（エコー信号）が検出されている。Ｄ１〜Ｄ３が海底よりのエコーで、Ｄ０は魚群よりのエコーである。尚、実際にはデータＤ１の検出からデータＤ３の検出までデータは連続的に検出されるが、ここでは分かり易くするために離散データとして扱っている。このように一つの受波ビームＢ１で海底よりの検出データがＤ１〜Ｄ３のごとく時間的に広がるのは（尾引き）、その受波ビームが指向角が８°程度で広がっているためである。１受波ビームに係わる海底データが検出されれば、その中点のデータＤ２をチルト角７２°における海底よりのエコーとすることができる。そのためには、データＤ０を除いたデータＤ１ないしＤ３が海底データであると判定しなくてはならない。
【００２１】
その判定法として、本実施例では、各受波ビームで検出されるデータで連続性のあるものを海底の尾引きデータとしている。例えば８１°方向の受波ビームＢ２を注目する場合、そのデータＤ４〜Ｄ６と、９０°方向の受波ビームＢ３のデータとのそれぞれの位置（ｒ，θ）を（ｘ，ｙ，ｚ）座標に変換し、深度情報であるｙのみに注目して両者の位置関係を調べる。ｙの値のみ注目すれば良いのは、１垂直断面内のデータを扱っているためである。このｙの値を調べて各受波ビーム間で連続性があるかを順次調べる。この処理により、魚群のデータＤ０は除去される。このようにして各受波ビームＢでの尾引きが確定すれば、前述したようにそれらの中心のデータＤ ２ 、Ｄ５、Ｄ９…を各チルト角に対する海底データ（頂点）の候補とする。その頂点の（ｘ，ｙ，ｚ）座標を海底データとし、各受波ビームのデータから、頂点を含む尾引きデータを除去したデータを水中データとする。
【００２２】
図１に戻り、１０は、海底判別部９で得られた海底データを記憶する海底データメモリである。１１は、海底データに基づき、図２（ｃ）に示すように、海底の起伏状況を多数組み合わせた三角形の線分で表示する３次元ワイヤフレームモデルの形成に必要なデータを生成する３次元ワイヤフレーム生成部である。
【００２３】
この３次元ワイヤフレームモデルの生成について述べる。
３次元ワイヤフレームでは、海底を、検出された各海底データを３角形の頂点とした３角形に分割するが、その際、分割した３角形の最小角が最大となるよう、つまり、すべてがほぼ正３角形になるよう分割するＤｅｌａｕｎａｙ３角形分割法を用いた。海底の頂点データは３次元座標系（ｘ，ｙ，ｚ）で存在するが、Ｄｅｌａｕｎａｙ３角形分割は、平面に分布した点集合を対象としているので、同一の平面座標（ｘ，ｚ）に２点以上の頂点が存在しないと仮定して、頂点データ（ｘ，ｙ，ｚ）を一つの平面座標（ｘ，ｚ）に投影し、その平面座標系上の、投影した頂点データ（ｘ，ｚ）を３角形分割する。このようにして１平面上で３角形分割されれば、各頂点（ｘ，ｚ）に深度データのｙ座標を与えることで、３次元のワイヤフレームモデルが完成する。
【００２４】
１２は、３次元ワイヤフレームモデルにおける各３角形を一つの面として捕えることで３次元サーフェスモデルを生成する３次元サーフェスモデル生成部である。１３は、不透明度設定部であり、“海底サーフェスモデル表示”として不透明度１（完全不透明）を出力する。１４は、海底サーフェスモデル生成部１２で生成されたデータに対して所望の単色の表示色（例えば白色）を表す色データＣｖ０を設定すると共に、不透明度設定部１３よりの不透明度１を付与する色設定部である。１５は、色および不透明度が設定された海底データを海底サーフェスモデルデータとして記憶する海底サーフェスモデルデータメモリである。又、この海底サーフェスモデルデータメモリ１５には、予め自船を表示するためのデータ（表示色として例えば赤の色データＣｖ０’、不透明度１）を海底サーフェスモデルデータと同じデータ形式で記憶している。
【００２５】
１６は、海底判別部９より得られる水中データから図２（ｅ）に示す３次元の直交メッシュモデルの各メッシュに、対応する水中データを充当した直交メッシュデータを作成する直交メツシュデータ作成部である。メッシュに該当する水中データが存在しない場合には、図２（ｂ）の垂直断面画Ｓのデータ補間により求める。２次元画像の各画素の呼び名“ピクセル”に対して３次元の各メッシュを“ボクセル”と呼ぶ。１７は、作成されたボクセルの直交メッシュデータを記憶する直交メッシュデータメモリである。
【００２６】
１８は、不透明度設定部であり、“ボリュームレンダリング表示”としてボクセルの信号レベル０〜２５５に応じて“０”〜“１”の不透明度αを出力する。１９はボクセルの信号レベル０〜２５５に対応して青（寒色系）〜緑〜赤（暖色系）の色データＣｖを記憶する色テーブルであり、２０は、直交メッシュデータメモリ１７よりのボクセルの信号レベルに対応して、色テーブル１９から読み出した色データＣｖを設定すると共に不透明度設定部１８よりの不透明度αを付与する色設定部である。２１は、各ボクセルの色データＣｖおよび不透明度αをボリュームレンダリングデータとして記憶するボリュームレンダリングデータメモリである。
【００２７】
２２は、前記ボクセルから抽出したいボクセルのレベル値を設定するレベル設定部であり、２３は、直交メッシュデータメモリ１７からレベル設定部２２で設定したレベルに等しいボクセルを抽出する等値面抽出部である。２４は、不透明度設定部であり、“等値面表示”として１、“合成表示”として０．１の不透明度βを出力する。２５は、等値面抽出部２３で抽出されたボクセルに対して所望の色（単色）を表す色データＣｖ’を設定すると共に、切り替えスイッチＳＷ１を介して不透明度設定部２４より供給される１又は０．１の不透明度を付与する色設定部である。２６は、各ボクセルに対して設定された色および不透明度のデータを等値面表示データとして記憶する等値面データメモリである。
【００２８】
２７は、魚群をボリュームレンダリング表示のためのデータを取り込む、ボリュームレンダリングデータ取り込み回路である。
【００２９】
２８は、魚群を等値面表示するために、等値面データメモリ２６よりの水中データを取り込む等値面表示データ取り込み回路である。
【００３０】
２９は、魚群を、前記のボリュームレンダリング表示と等値面表示とを組み合わせた合成表示でもって表示するために、ボリュームレンダリングデータメモリ２１および等値面データメモリ２６よりの水中データを取り込む合成表示データ取り込み回路である。
【００３１】
海底および自船については海底サーフェスモデル表示するために海底サーフェスモデルデータメモリ１５よりのデータが各回路２７ないし２９に取り込まれる。これにより、各回路２７ないし２９には図２の（ｆ）で示す３次元モデルの生成に必要なデータが与えられる。上記の各データ取り込み回路２７ないし２９の取り込みデータおよび表示法を表１にまとめている。
【００３２】
【表１】
【００３３】
ＳＷ２は、ボリュームレンダリングデータ取り込み回路２７又は合成表示データ取り込み回路２９よりのデータを選択的に投影画像作成回路３０へ供給する切り替えスイッチである。投影画像作成回路３１へは等値面データ取り込み回路２８よりのデータが供給される。投影画像作成回路３０または３１で作成された投影画は、切り替えスイッチＳＷ３を介して表示器３２へ送出される。
【００３４】
ここでいう投影画とは、図４に示すように、３次元モデル４１を、投影面４２を通じて視点から眺めた時、投影面４２の各画素（ピクセル）４４に、このピクセル４４を通して見える３次元モデル４１のデータを対応させたものである。
【００３５】
切り替えスイッチＳＷ２をボリュームレンダリングデータ取り込み回路２７に切り替え、表１に示されるように、水中データをボリュームレンダリング表示（Ｉ）、海底を海底サーフェスモデル表示（ＩＶ）する時の投影画像作成回路３０における動作を図５のフローチャートに従って詳しく述べる。
【００３６】
まず、表示に陰影を与えてその表示像に立体感を強調するために、ステップＳ１にて、図６に示すごとく光源４６を随意の位置（一般には視点４３の側方）に設け、各ボクセルのボリュームレンダリングデータ（色データＣｖ、不透明度α）に対しては、数式１に従って、ボクセルの法線ベクトルと光源４３よりの光線との角度から各ボクセルのシェーディング値を求め、これを前述の色データＣｖに乗じて得た値を最終的な色データＣｖとする。ボクセルの法線ベクトルとは、そのボクセルのｘ，ｙ，ｚ方向で隣接するボクセルの間のフィールド値の差分値をパラメータ化した値である。
【００３７】
【数１】
【００３８】
又、多数の３角形からなる海底サーフェスモデルデータに対しては、各３角形の３つの頂点座標から法線ベクトルを演算し、これを数式１のボクセル法線ベクトルに替えて光源計算を行う。
【００３９】
さて、ボリュームレンダリング表示とは、不透明度の採用により、魚群の表面のみならず内部までも表示するものであり、そのために、図６に示したように、視点４３より投影面４２を通じて水中データを含有する直交メッシュモデル４５を眺めた時、図７に示すように、その視線に串刺しされたボクセルＢ１からＢｎに対して色データＣｖを積算し、その積算値を前記ピクセル４４に与えられる色データ（透視色データＣと呼ぶ）としている。
そのために、ステップＳ２にて、走査のスタート点として、視点４３から投影面４２上の左上端のピクセルを通る視線が指定され、ステップＳ３ではその視線の方位が演算される。そして、ステップＳ４にてその視線上にて読出しポイント（視点よりの直線距離）が更新される。ステップＳ５では、その読出しポイントに該当するボクセルのボリュームレンダリングデータが読み出される。
【００４０】
ステップＳ６では次のようにして色データＣｖの積算を行い透視色データＣを計算する。今、その視線にボクセルＢ１（色データＣｖ（１）、不透明度α（１））のみがあった時、その時に視点４３から見える透視色データＣは、
【数２】
Ｃ＝Ｃｖ（１）・α（１）
となり、又、視線上にボクセルＢ１とＢ２（色データＣｖ（２）、不透明度α（２））のみが位置した時の透視色データＣは、
【数３】
Ｃ←Ｃ＋Ｃｖ（２）・α（２）・（１−α（１））
となる。この数式３の右辺において、Ｃは、数式２で得たボクセルＢ１の透視色データであり、Ｃｖ（２）・（１−α（１））は、透明度が（１−α（１））のボクセルＢ１を通して色データＣｖ（２）のボクセルＢ２を見た時の透視色データである。
これより、ボクセルＢ１からボクセルＢｎまでの透視色データＣは、数式４の漸化式で与えられる。
【００４１】
【数４】
Ｃ←Ｃ＋（１−α（ｔ−１））・Ｃｖ（ｔ）・α（ｔ）
【００４２】
このようにしてステップＳ６での透視色データの積算に並行して不透明度α（ｎ）の積算をも行い、ステップＳ７にて不透明度が１に達するまで、ステップＳ４に戻り、色データＣｖの積算が継続されるが、不透明度が１に達したか（不透明度が１を越えればそれより背後のボクセルは見えなくなるため）、視線上の全ボクセルの色データの積算が終了すれば、以後の色データＣｖの積算を中止してステップＳ８に進む。ステップＳ８では、その積算された透視色データＣを当該ピクセルに対するデータとして格納し、そしてステップＳ９では、次のピクセルを通る視線に更新（走査）され、ステップＳ３に戻る。
【００４３】
このようにして投影面４２の各ピクセル４４に、透視色データＣが充当されることで、魚群に対するボリュームレンダリング表示（Ｉ）のためのデータが完成する。
【００４４】
ここで、図６の直交メッシュモデル４５に、図４の３次元モデル４１に示したように、水中データと共に、海底データおよび自船データをボクセルに格納しておけば、上述のデータ読み出しによって、海底および自船も含めたボリュームレンダリング表示（Ｉ）が一度に行えるが、その場合、海底はボクセルの分解能でもってしか表示されないため、斜めの線がギザギザになって表示され、又、取り扱いデータが多くなるため処理速度も遅くなる。
【００４５】
そこで、本発明では、ボリュームレンダリング表示（Ｉ）のために、ステップＳ５にて、直交メッシュモデル４５（即ち、ボリュームレンダリングデータメモリ２１）からの水中データの読出しに並行して、海底サーフェスモデルデータメモリ１５よりの海底サーフェスモデルデータ（白色を示す色データＣｖ０、不透明度１）と、自船データ（赤色を示す色データＣｖ０’、不透明度１）をも読出し、その色データＣｖ０、Ｃｖ０’もステップＳ６での色データＣｖの積算に併せて加算され、又、不透明度αの積算においても海底サーフェスモデルデータおよび自船データの不透明度（共に１）も併せて積算される。
【００４６】
ステップＳ４での読出しポイントを更新しても、その読出しポイントが海底サーフェスモデルを構成する３角形の面を貫通するまでは海底サーフェスモデルデータの色データＣｖ０は完全透明（不透明度０）であるため（実際にはデータそのものが存在しない）、色データＣｖの積算に何等関与しないが、海底サーフェスモデルを貫通した時、その時の不透明度１が加算され、不透明度が１を超えるため、色データＣｖの積算は終了する。視線が自船を貫通する場合も同じである。これにより、各ピクセルに充当された透視色データＣには、海底データおよび自船データも含むようになる。
【００４７】
このようにして、投影面４２の各ピクセル４４に充当された透視色データＣが切り替えスイッチＳＷ３を介して表示器３２に供給されることにより、魚群がボリュームレンダリング表示（Ｉ）、海底および自船が海底サーフェスモデル表示（ＩＶ）でもって表示器３２に表示される。
【００４８】
魚群はそのレベルに応じて青〜緑〜赤で表示されるので、海底サーフェスモデルデータに対して色設定部１４で設定する色データを別色系の例えば黄色とすれば、視点の位置を自船に据えたような場合には、魚群像と海底像とが重なって表示されるがその場合でも両者を容易に識別することができる。
【００４９】
又、海底サーフェスモデルデータメモリ１５に記憶される海底サーフェスモデルのデータは、３角形の各頂点座標データのみを記憶しているだけなのでメモリ数が少なく、それ故、海底サーフェスモデルデータメモリ１５は小容量で良く、又、その３角形と視線との交点は演算により正確に求めることができるので、海底はボクセルの分解能ではなく、表示器３２の分解能でもってきめ細かく表示できる。
【００５０】
海底サーフェスモデルでは既述したように海底が３角形を互いにつなぎあわせた多面体として表示されるが、３次元ワイヤフレームとして表示するのであれば、３次元ワイヤフレーム生成回路１１よりの生成データは、海底サーフェスモデル生成回路１２をバイパスさせればよい。
【００５１】
次に切り替えスイッチＳＷ３を投影画像作成回路３１側へ切り替え魚群を等値面表示（ＩＩ）する場合の投影画像作成回路３１の動作を図８のフローチャートに従って述べる。この等値面表示の場合は、色設定部２５に対しては１の不透明度が設定される。
ステップＳ１１では海底サーフェスモデルデータおよび等値面データに対して光源計算が行われる。等値面データに対する光源計算はボクセルのボリュームレンダリングデータに対して行ったのと同じ手法で行える。ステップＳ１２からステップＳ１４までは図５のステップＳ２ないしステップＳ４と同じであり、次のステップＳ１５では、海底データとして、海底サーフェスモデルデータから海底サーフェスモデルデータ（色データＣｖ０、不透明度１）が読出され、他方、水中データとしては、等値面データ（色データＣｖ０’、不透明度１）が読出される。この等値面データは、レベル設定器２７で設定したレベルに合致するデータのみが１の不透明度を持つ。従って、その不透明度１の等値面データまたは海底データが検出されるまで、ステップＳ１４にて読出しポイントが更新される。等値面データまたは海底データが検出されればステップＳ１６からステップＳ１７に進み、それのデータ（不透明度１および単色の色データＣｖ’又はＣｖ０）を当該ピクセルの透視色データＣとして格納し、そしてステップＳ１９にて視線をピクセル単位で更新する。
【００５２】
この結果、投影面４２の各ピクセル４４に充当された透視色データＣが切り替えスイッチＳＷ３を介して表示器３２に供給されることにより、魚群が等値面表示（ＩＩ）、海底が海底サーフェスモデル表示（ＩＶ）でもって表示器３２に表示される。その際、海底を黄色で表示するのであれば、魚群を例えば白色で表示すれば、視点の位置により、魚群像と海底像とが重なって表示される場合でも両者を容易に識別することができる。
【００５３】
ここでボリュームレンダリング表示（Ｉ）と等値面表示（ＩＩ）との表示の特徴をまとめる。
・ボリュームレンダリング表示（Ｉ）：各ボクセルの色データに不透明度を設定し、視線上に並ぶボクセルの色データを積算して表示するため、魚群の密度に応じた濃淡表示ができ、又、魚群の芯を知ることができるが、魚群の周囲は、密度が低く（不透明度が小）、それ故、薄い色で表示されるため、魚群の境界が不鮮明となる。
・等値面表示（ＩＩ）：随意に設定したレベルのデータを不透明度１とした単色で表示するため魚群の境界が明確となるが、内部表示されないため魚群の密度や芯を知ることはできない。
そこで、両者の表示（Ｉ），（ＩＩ）を組み合わせることにより、両者の欠点を相補う合成表示（ＩＩＩ）を図９のフローチャートに従って述べる。
【００５４】
この合成表示（ＩＩＩ）では、色設定部２５において等値面データに０．１の不透明度が設定される。合成表示データ取り込み回路２９には、水中データとして、ボリュームレンダリングデータメモリ２１よりのボリュームレンダリングデータ（色データＣｖ、０〜１の不透明度α）および等値面データメモリ２６よりの等値面データ（色データＣｖ’、不透明度１）が取り込まれ、又、海底サーフェスモデルデータメモリ１５より海底サーフェスモデルデータ（色データＣｖ０、０．１の不透明度β）および自船のデータ（色データＣｖ０’、不透明度１）が取り込まれる。
【００５５】
ステップＳ２１では、海底サーフェスモデルデータ、ボリュームレンダリングデータおよび等値面データの光源計算が行われる。ステップＳ２２では、左端上のピクセルを通る視線が指定され、ステップＳ２３ではその視線の方位が演算され、そしてステップＳ２４にて、読出しポイントが更新される。ステップＳ２５では、その読み出しポイントに対応する、海底サーフェスモデルデータ、ボリュームレンダリングデータおよび等値面データが読み出され、ステップＳ２６にて、これらの３系統のデータの各色データＣｖの積算と不透明度αの積算とが行われる。不透明度が１に達するまでか視線上の全ボクセルの色データの積算が終了するまで色データＣｖの積算が行われ、その積算が終了すればステップＳ２８にてピクセルのデータとして格納され、ステップＳ２９で視線が更新され、上述した動作が各ピクセル毎に行われる。
【００５６】
以上説明した合成表示では、図５のボリュームレンダリング表示による魚群像全体に対して、不透明度０．１の白色による等値面表示が重畳して表示されるので、ボリュームレンダリング表示の内部表示をマスクすることなく、魚群像の輪郭が等値面表示によって明確に表示することができる。
【００５７】
【発明の効果】
以上説明したように、本発明の３次元表示装置によれば、自船を中心として全方位方向よりのエコーを３次元の直交メッシュデータメモリの各メモリ単位であるボクセルに格納して３次元直交メッシュモデルを形成し、この３次元直交メッシュモデルに対して、所望の位置に据えた視点より眺めた時に見える像を２次元平面に投影して表示するので、水中物体の規模や海底の起伏状況を３次元表示できる。
受信したエコーのデータを海底判別により水中データと海底データとに分け、海底データを、例えば海底サーフェスモデル化して別色表示すれば、海底と魚群が重なって表示されても両者を容易に識別することができる。又、各データに対して光源計算を行い表示像に陰影を付けることにより、立体感を与えることができる。
眺めた時に見える像として、本第１発明に係わるボリュームレンダリング表示では、視点よりの視線上に位置する各ボクセルに対して不透明度を持つ色データを手前から順に積算したものとすれば、魚群の密度に応じて濃淡表示されるので、魚群の密度や芯を知ることができる。
眺めた時に見える像として、本第２発明に係わる等値面表示では、視線上に位置する所望レベルのボクセルを不透明度１の色データとすれば、魚群の密度や芯は不明であるが、輪郭が明確となる。
又、眺めた時に見える像として、本第３発明に係わる合成表示では、前記のボリュームレンダリング表示に、不透明度１を半透明とした等値面表示を重ねて表示すれば、魚群の密度や芯を不明となることなく輪郭を明確にすることができる。
【図面の簡単な説明】
【図１】本発明の３次元表示装置の１実施例を示す制御ブロツク図
【図２】図１の３次元表示装置における制御の流れを図式化して示した図
【図３】図１の３次元表示装置でなされる海底判別の説明に用いた図
【図４】本発明で採用した投影法を示した図
【図５】３次元表示の１手法であるボリュームレンダリング表示のためのデータ処理を示したフローチャート
【図６】３次元の直交メッシュモデルを２次元の投影面に投影する状況を示した図
【図７】視点よりの視線上に位置する各ボクセルを示した図
【図８】３次元表示の１手法である等値面表示のためのデータ処理を示したフローチャート
【図９】３次元表示の１手法である合成表示のためのデータ処理を示したフローチャート
【符号の説明】
１ 送受波器
２ モータ
３ 駆動部
４ 送信部
５ 受信部
６ Ａ／Ｄ変換器
７ バッファメモリ
８ 座標変換部
９ 海底判別部
１０ 海底データメモリ
１１ ３次元ワイヤフレーム生成部
１２ 海底サーフェスモデル生成部
１３ 不透明度設定部
１４ 色設定部
１５ 海底サーフェスモデルデータメモリ
１６ 直交メッシュデータ作成部
１７ 直交メッシュデータメモリ
１８ 不透明度設定部
１９ 色テーブル
２０ 色設定部
２１ ボリュームレンダリングデータメモリ
２２ レベル設定部
２３ 等値面抽出部
２４ 不透明度設定部
２５ 色設定部
２６ 等値面データメモリ
２７ ボリュームレンダリングデータ取り込み回路
２８ 等値面表示データ取り込み回路
２９ 合成表示データ取り込み回路
３０ 投影画像作成回路
３１ 投影画像作成回路
３２ 表示器
【産業上の利用分野】
本発明は、魚群探知機等で得られた水中データに基づき水中物体を３次元表示する装置に関する。
【０００２】
【従来の技術】
従来、魚群探知機では、航行する自船直下の水中情報を次々と表示していくことにより、航行方向に向かう自船直下の垂直断面画を表示し、又、スキャニングソナーでは、側方へビームスキャンすることにより、航行方向と直交する方向の垂直断面画を得ている。
いずれの場合も２次元画像を提供するだけで３次元画像を表示するものではない。
【０００３】
【発明が解決しようとする課題】
３次元表示を行うものとして、特開平３−７５５２６号の「原油タンク内に堆積したスラッジを検出する装置」がある。ここでは、探査したエリアの水底をマス目（メッシュ）状に区分し、区分したそれらの各マス目毎に深度を検出し、この深度と原油タンクの深さとに基づき各マス目毎の堆積厚さを求め、この堆積厚さを３次元座標の縦軸にして表示することにより、スラッジの堆積状況を３次元表示している。
【０００４】
特願平４−３２３１４４号の「水中探知装置」では、航行に伴い次々と検出される垂直断面画から海底ラインを順次ずらして表示することで、海底の起伏状態を３次元的に表示すると同時に、最新の検出に係わる海底ラインの表示位置に、その海底ラインを検出した１垂直断面画に含まれる魚群像を関係づけて表示している。
【０００５】
前者では水底（スラッジ）の起伏状態を３次元的に表示するのみで、魚群等の水中物体を３次元表示するものではなく、又、後者では、３次元的に表示した海底像に、１垂直断面画より得た魚群像（２次元の平面画像）を関連付けて表示するだけであり、巻網を仕掛ける際に必要となる魚群の分布状況を知ることはできない。
【０００６】
本発明は、上述した課題を解決するためになされたものであり、水中物体の分布状況を３次元に表示できる３次元表示装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は、水底に向けて発した超音波のエコーに基づき水中物体を３次元表示するために、
受信したエコーのデータを、３次元の直交メッシュデータメモリを構成する各ボクセルに充当して３次元直交メッシュモデルを形成し、この直交メッシュモデルに対して所望の位置に据えた視点より眺めた時に見える像を、２次元平面に投影して表示する３次元表示装置において、
受信したエコーのデータを海底判別により水中データと海底データとに分け、水中データを各ボクセルに充当し、海底データを別色表示すべく別処理することを特徴とする。
【０００８】
【作用】
本発明の３次元表示装置は、自船を中心として全方位方向よりのエコーを３次元の直交メッシュデータメモリの各メモリ単位であるボクセルに格納して３次元直交メッシュモデルを形成し、この３次元直交メッシュモデルに対して、所望の位置に据えた視点より眺めた時に見える像を２次元平面に投影して表示する。
【０００９】
そして、受信したエコーのデータを海底判別により水中データと海底データとに分け、水中データに対しては、前述の手法によって３次元表示し、一方、海底データに対しては、別処理によって別色表示することにより、海底と魚群が重なって表示されても両者を容易に識別することができる。
【００１０】
海底データの別処理としては、請求項２にあるように、海底を３角形の各頂点として捕えて３次元ワイヤフレームを形成し、その３角形を平面データとして扱った海底サーフェスモデルに基づき表示を行えば、海底の起伏状況を明確に示すことができる。
【００１１】
その表示される像に立体感を与えるために、請求項３にあるように、各ボクセルのデータおよび海底サーフェスデータに対して随意の位置に設定した光源に基づき光源計算を行うことができる。
【００１２】
眺めた時に見える像として、本第１発明に係わるボリュームレンダリング表示では、請求項４にあるように、視点よりの視線上に位置する各ボクセルに対して不透明度を持つ色データを手前から順に積算したものとすれば、魚群の密度に応じて濃淡表示されるので、魚群の密度や芯を知ることができる。
【００１３】
眺めた時に見える像として、本第２発明に係わる等値面表示では、請求項５にあるように、視線上に位置する所望レベルのボクセルから生成した等値面を、不透明度１の色データＣv'とすれば、魚群の密度や芯は不明であるが輪郭が明確となる。
【００１４】
又、眺めた時に見える像として、本第３発明に係わる合成表示では、請求項６にあるように、視点よりの視線上に位置する各ボクセルの色データを手前より積算した値(つまり、請求項４のボリュームレンダリング表示)に、同視線上に位置する所望レベルのボクセルから生成した等値面に設定した半透明の色データ(つまり、請求項５の等値面表示における不透明度１を半透明とした)を加算したものとすれば、魚群の密度や芯を不明となることなく輪郭を明確にすることができる。
【００１５】
請求項７は、ボリュームレンダリング表示する装置において、受信データを水中データと海底データとに分け、海底データを海底サーフェス表示したものである。
請求項８は、請求項７の装置に対して光源計算を行ったものである。
請求項９ないし１２は、それぞれ等値面表示および合成表示に係わるものである。
海底データのみを処理すれば、請求項１３にあるように、海底のみを表示する装置を提供できる。
【００１６】
【実施例】
図１は、本発明の水中３次元表示装置の一実施例を示す制御ブロック図である。
１は、円筒体を筒方向に半割りした部材の円周面上に複数個の超音波振動子を並べた半周型の送受波器である。船底に設けられるこの送受波器１は、超音波の送波時に、直下方向に扇形状に拡がる広指向角の送波ビームＡを形成し、そのエコーの受波時に、狭指向角とした受波ビームＢをその送波ビームＡの扇形領域に対して高速に繰り返しスキャンすることにより、図２（ａ）に示すように、１垂直断面Ｓに対するデータが得られる。所望の指向角を得るには各超音波振動子に重み付けを行い、スキャンのために所望の方位に受波ビームを形成するには、各超音波振動子よりの受波信号に一定量の位相差を与える。
【００１７】
２は、送受波器１を旋回するためのモータであり、３は、送受波器１を一定のステップ角θ（本実施例では６°）で旋回させるためにモータ２に所定の駆動信号を供給する駆動部である。１垂直断面画Ｓのデータが検出される毎に、送受波器１がステップ角θ（６°）で旋回して、図２（ｂ）で示すように、ステップ角θで隔てられた３０面の垂直断面画Ｓが得られ、船底を頂点として下方に拡がる円錐体に含まれる魚群および、その円錐体の底面である海底のエコーを検出することができる。
【００１８】
４は、送受波器１に送波用の励振信号を供給する送信部であり、５は、送受波器１よりの受波信号を検波する受信部である。６は、受信部５より出力されるアナログの受信信号をデジタル信号に変換するＡ／Ｄ変換器であり、７は、１垂直断面画Ｓのデータを取り込むバッファメモリであり、８は、バッファメモリ７より読み出された極座標系の受信信号を直交座標系の信号に変換する座標変換部である。
【００１９】
９は、座標変換部８よりの受信データから海底よりのエコー（海底データ）を判別することにより、海底データと、この海底データ以外の水中物体（魚群）よりのエコー（水中データ）とに分別する海底判別部である。
【００２０】
この海底判別を、船首方向にスキャンさせた１垂直断面画Ｓを示した図３を用いて説明する。船首方向よりチルト角７２°の受波ビームＢ１おいて、Ｄ０、Ｄ１、Ｄ２、Ｄ３の順にデータ（エコー信号）が検出されている。Ｄ１〜Ｄ３が海底よりのエコーで、Ｄ０は魚群よりのエコーである。尚、実際にはデータＤ１の検出からデータＤ３の検出までデータは連続的に検出されるが、ここでは分かり易くするために離散データとして扱っている。このように一つの受波ビームＢ１で海底よりの検出データがＤ１〜Ｄ３のごとく時間的に広がるのは（尾引き）、その受波ビームが指向角が８°程度で広がっているためである。１受波ビームに係わる海底データが検出されれば、その中点のデータＤ２をチルト角７２°における海底よりのエコーとすることができる。そのためには、データＤ０を除いたデータＤ１ないしＤ３が海底データであると判定しなくてはならない。
【００２１】
その判定法として、本実施例では、各受波ビームで検出されるデータで連続性のあるものを海底の尾引きデータとしている。例えば８１°方向の受波ビームＢ２を注目する場合、そのデータＤ４〜Ｄ６と、９０°方向の受波ビームＢ３のデータとのそれぞれの位置（ｒ，θ）を（ｘ，ｙ，ｚ）座標に変換し、深度情報であるｙのみに注目して両者の位置関係を調べる。ｙの値のみ注目すれば良いのは、１垂直断面内のデータを扱っているためである。このｙの値を調べて各受波ビーム間で連続性があるかを順次調べる。この処理により、魚群のデータＤ０は除去される。このようにして各受波ビームＢでの尾引きが確定すれば、前述したようにそれらの中心のデータＤ ２ 、Ｄ５、Ｄ９…を各チルト角に対する海底データ（頂点）の候補とする。その頂点の（ｘ，ｙ，ｚ）座標を海底データとし、各受波ビームのデータから、頂点を含む尾引きデータを除去したデータを水中データとする。
【００２２】
図１に戻り、１０は、海底判別部９で得られた海底データを記憶する海底データメモリである。１１は、海底データに基づき、図２（ｃ）に示すように、海底の起伏状況を多数組み合わせた三角形の線分で表示する３次元ワイヤフレームモデルの形成に必要なデータを生成する３次元ワイヤフレーム生成部である。
【００２３】
この３次元ワイヤフレームモデルの生成について述べる。
３次元ワイヤフレームでは、海底を、検出された各海底データを３角形の頂点とした３角形に分割するが、その際、分割した３角形の最小角が最大となるよう、つまり、すべてがほぼ正３角形になるよう分割するＤｅｌａｕｎａｙ３角形分割法を用いた。海底の頂点データは３次元座標系（ｘ，ｙ，ｚ）で存在するが、Ｄｅｌａｕｎａｙ３角形分割は、平面に分布した点集合を対象としているので、同一の平面座標（ｘ，ｚ）に２点以上の頂点が存在しないと仮定して、頂点データ（ｘ，ｙ，ｚ）を一つの平面座標（ｘ，ｚ）に投影し、その平面座標系上の、投影した頂点データ（ｘ，ｚ）を３角形分割する。このようにして１平面上で３角形分割されれば、各頂点（ｘ，ｚ）に深度データのｙ座標を与えることで、３次元のワイヤフレームモデルが完成する。
【００２４】
１２は、３次元ワイヤフレームモデルにおける各３角形を一つの面として捕えることで３次元サーフェスモデルを生成する３次元サーフェスモデル生成部である。１３は、不透明度設定部であり、“海底サーフェスモデル表示”として不透明度１（完全不透明）を出力する。１４は、海底サーフェスモデル生成部１２で生成されたデータに対して所望の単色の表示色（例えば白色）を表す色データＣｖ０を設定すると共に、不透明度設定部１３よりの不透明度１を付与する色設定部である。１５は、色および不透明度が設定された海底データを海底サーフェスモデルデータとして記憶する海底サーフェスモデルデータメモリである。又、この海底サーフェスモデルデータメモリ１５には、予め自船を表示するためのデータ（表示色として例えば赤の色データＣｖ０’、不透明度１）を海底サーフェスモデルデータと同じデータ形式で記憶している。
【００２５】
１６は、海底判別部９より得られる水中データから図２（ｅ）に示す３次元の直交メッシュモデルの各メッシュに、対応する水中データを充当した直交メッシュデータを作成する直交メツシュデータ作成部である。メッシュに該当する水中データが存在しない場合には、図２（ｂ）の垂直断面画Ｓのデータ補間により求める。２次元画像の各画素の呼び名“ピクセル”に対して３次元の各メッシュを“ボクセル”と呼ぶ。１７は、作成されたボクセルの直交メッシュデータを記憶する直交メッシュデータメモリである。
【００２６】
１８は、不透明度設定部であり、“ボリュームレンダリング表示”としてボクセルの信号レベル０〜２５５に応じて“０”〜“１”の不透明度αを出力する。１９はボクセルの信号レベル０〜２５５に対応して青（寒色系）〜緑〜赤（暖色系）の色データＣｖを記憶する色テーブルであり、２０は、直交メッシュデータメモリ１７よりのボクセルの信号レベルに対応して、色テーブル１９から読み出した色データＣｖを設定すると共に不透明度設定部１８よりの不透明度αを付与する色設定部である。２１は、各ボクセルの色データＣｖおよび不透明度αをボリュームレンダリングデータとして記憶するボリュームレンダリングデータメモリである。
【００２７】
２２は、前記ボクセルから抽出したいボクセルのレベル値を設定するレベル設定部であり、２３は、直交メッシュデータメモリ１７からレベル設定部２２で設定したレベルに等しいボクセルを抽出する等値面抽出部である。２４は、不透明度設定部であり、“等値面表示”として１、“合成表示”として０．１の不透明度βを出力する。２５は、等値面抽出部２３で抽出されたボクセルに対して所望の色（単色）を表す色データＣｖ’を設定すると共に、切り替えスイッチＳＷ１を介して不透明度設定部２４より供給される１又は０．１の不透明度を付与する色設定部である。２６は、各ボクセルに対して設定された色および不透明度のデータを等値面表示データとして記憶する等値面データメモリである。
【００２８】
２７は、魚群をボリュームレンダリング表示のためのデータを取り込む、ボリュームレンダリングデータ取り込み回路である。
【００２９】
２８は、魚群を等値面表示するために、等値面データメモリ２６よりの水中データを取り込む等値面表示データ取り込み回路である。
【００３０】
２９は、魚群を、前記のボリュームレンダリング表示と等値面表示とを組み合わせた合成表示でもって表示するために、ボリュームレンダリングデータメモリ２１および等値面データメモリ２６よりの水中データを取り込む合成表示データ取り込み回路である。
【００３１】
海底および自船については海底サーフェスモデル表示するために海底サーフェスモデルデータメモリ１５よりのデータが各回路２７ないし２９に取り込まれる。これにより、各回路２７ないし２９には図２の（ｆ）で示す３次元モデルの生成に必要なデータが与えられる。上記の各データ取り込み回路２７ないし２９の取り込みデータおよび表示法を表１にまとめている。
【００３２】
【表１】
ＳＷ２は、ボリュームレンダリングデータ取り込み回路２７又は合成表示データ取り込み回路２９よりのデータを選択的に投影画像作成回路３０へ供給する切り替えスイッチである。投影画像作成回路３１へは等値面データ取り込み回路２８よりのデータが供給される。投影画像作成回路３０または３１で作成された投影画は、切り替えスイッチＳＷ３を介して表示器３２へ送出される。
【００３４】
ここでいう投影画とは、図４に示すように、３次元モデル４１を、投影面４２を通じて視点から眺めた時、投影面４２の各画素（ピクセル）４４に、このピクセル４４を通して見える３次元モデル４１のデータを対応させたものである。
【００３５】
切り替えスイッチＳＷ２をボリュームレンダリングデータ取り込み回路２７に切り替え、表１に示されるように、水中データをボリュームレンダリング表示（Ｉ）、海底を海底サーフェスモデル表示（ＩＶ）する時の投影画像作成回路３０における動作を図５のフローチャートに従って詳しく述べる。
【００３６】
まず、表示に陰影を与えてその表示像に立体感を強調するために、ステップＳ１にて、図６に示すごとく光源４６を随意の位置（一般には視点４３の側方）に設け、各ボクセルのボリュームレンダリングデータ（色データＣｖ、不透明度α）に対しては、数式１に従って、ボクセルの法線ベクトルと光源４３よりの光線との角度から各ボクセルのシェーディング値を求め、これを前述の色データＣｖに乗じて得た値を最終的な色データＣｖとする。ボクセルの法線ベクトルとは、そのボクセルのｘ，ｙ，ｚ方向で隣接するボクセルの間のフィールド値の差分値をパラメータ化した値である。
【００３７】
【数１】
又、多数の３角形からなる海底サーフェスモデルデータに対しては、各３角形の３つの頂点座標から法線ベクトルを演算し、これを数式１のボクセル法線ベクトルに替えて光源計算を行う。
【００３９】
さて、ボリュームレンダリング表示とは、不透明度の採用により、魚群の表面のみならず内部までも表示するものであり、そのために、図６に示したように、視点４３より投影面４２を通じて水中データを含有する直交メッシュモデル４５を眺めた時、図７に示すように、その視線に串刺しされたボクセルＢ１からＢｎに対して色データＣｖを積算し、その積算値を前記ピクセル４４に与えられる色データ（透視色データＣと呼ぶ）としている。
そのために、ステップＳ２にて、走査のスタート点として、視点４３から投影面４２上の左上端のピクセルを通る視線が指定され、ステップＳ３ではその視線の方位が演算される。そして、ステップＳ４にてその視線上にて読出しポイント（視点よりの直線距離）が更新される。ステップＳ５では、その読出しポイントに該当するボクセルのボリュームレンダリングデータが読み出される。
【００４０】
ステップＳ６では次のようにして色データＣｖの積算を行い透視色データＣを計算する。今、その視線にボクセルＢ１（色データＣｖ（１）、不透明度α（１））のみがあった時、その時に視点４３から見える透視色データＣは、
【数２】
Ｃ＝Ｃｖ（１）・α（１）
となり、又、視線上にボクセルＢ１とＢ２（色データＣｖ（２）、不透明度α（２））のみが位置した時の透視色データＣは、
【数３】
Ｃ←Ｃ＋Ｃｖ（２）・α（２）・（１−α（１））
となる。この数式３の右辺において、Ｃは、数式２で得たボクセルＢ１の透視色データであり、Ｃｖ（２）・（１−α（１））は、透明度が（１−α（１））のボクセルＢ１を通して色データＣｖ（２）のボクセルＢ２を見た時の透視色データである。
これより、ボクセルＢ１からボクセルＢｎまでの透視色データＣは、数式４の漸化式で与えられる。
【００４１】
【数４】
Ｃ←Ｃ＋（１−α（ｔ−１））・Ｃｖ（ｔ）・α（ｔ）
【００４２】
このようにしてステップＳ６での透視色データの積算に並行して不透明度α（ｎ）の積算をも行い、ステップＳ７にて不透明度が１に達するまで、ステップＳ４に戻り、色データＣｖの積算が継続されるが、不透明度が１に達したか（不透明度が１を越えればそれより背後のボクセルは見えなくなるため）、視線上の全ボクセルの色データの積算が終了すれば、以後の色データＣｖの積算を中止してステップＳ８に進む。ステップＳ８では、その積算された透視色データＣを当該ピクセルに対するデータとして格納し、そしてステップＳ９では、次のピクセルを通る視線に更新（走査）され、ステップＳ３に戻る。
【００４３】
このようにして投影面４２の各ピクセル４４に、透視色データＣが充当されることで、魚群に対するボリュームレンダリング表示（Ｉ）のためのデータが完成する。
【００４４】
ここで、図６の直交メッシュモデル４５に、図４の３次元モデル４１に示したように、水中データと共に、海底データおよび自船データをボクセルに格納しておけば、上述のデータ読み出しによって、海底および自船も含めたボリュームレンダリング表示（Ｉ）が一度に行えるが、その場合、海底はボクセルの分解能でもってしか表示されないため、斜めの線がギザギザになって表示され、又、取り扱いデータが多くなるため処理速度も遅くなる。
【００４５】
そこで、本発明では、ボリュームレンダリング表示（Ｉ）のために、ステップＳ５にて、直交メッシュモデル４５（即ち、ボリュームレンダリングデータメモリ２１）からの水中データの読出しに並行して、海底サーフェスモデルデータメモリ１５よりの海底サーフェスモデルデータ（白色を示す色データＣｖ０、不透明度１）と、自船データ（赤色を示す色データＣｖ０’、不透明度１）をも読出し、その色データＣｖ０、Ｃｖ０’もステップＳ６での色データＣｖの積算に併せて加算され、又、不透明度αの積算においても海底サーフェスモデルデータおよび自船データの不透明度（共に１）も併せて積算される。
【００４６】
ステップＳ４での読出しポイントを更新しても、その読出しポイントが海底サーフェスモデルを構成する３角形の面を貫通するまでは海底サーフェスモデルデータの色データＣｖ０は完全透明（不透明度０）であるため（実際にはデータそのものが存在しない）、色データＣｖの積算に何等関与しないが、海底サーフェスモデルを貫通した時、その時の不透明度１が加算され、不透明度が１を超えるため、色データＣｖの積算は終了する。視線が自船を貫通する場合も同じである。これにより、各ピクセルに充当された透視色データＣには、海底データおよび自船データも含むようになる。
【００４７】
このようにして、投影面４２の各ピクセル４４に充当された透視色データＣが切り替えスイッチＳＷ３を介して表示器３２に供給されることにより、魚群がボリュームレンダリング表示（Ｉ）、海底および自船が海底サーフェスモデル表示（ＩＶ）でもって表示器３２に表示される。
【００４８】
魚群はそのレベルに応じて青〜緑〜赤で表示されるので、海底サーフェスモデルデータに対して色設定部１４で設定する色データを別色系の例えば黄色とすれば、視点の位置を自船に据えたような場合には、魚群像と海底像とが重なって表示されるがその場合でも両者を容易に識別することができる。
【００４９】
又、海底サーフェスモデルデータメモリ１５に記憶される海底サーフェスモデルのデータは、３角形の各頂点座標データのみを記憶しているだけなのでメモリ数が少なく、それ故、海底サーフェスモデルデータメモリ１５は小容量で良く、又、その３角形と視線との交点は演算により正確に求めることができるので、海底はボクセルの分解能ではなく、表示器３２の分解能でもってきめ細かく表示できる。
【００５０】
海底サーフェスモデルでは既述したように海底が３角形を互いにつなぎあわせた多面体として表示されるが、３次元ワイヤフレームとして表示するのであれば、３次元ワイヤフレーム生成回路１１よりの生成データは、海底サーフェスモデル生成回路１２をバイパスさせればよい。
【００５１】
次に切り替えスイッチＳＷ３を投影画像作成回路３１側へ切り替え魚群を等値面表示（ＩＩ）する場合の投影画像作成回路３１の動作を図８のフローチャートに従って述べる。この等値面表示の場合は、色設定部２５に対しては１の不透明度が設定される。
ステップＳ１１では海底サーフェスモデルデータおよび等値面データに対して光源計算が行われる。等値面データに対する光源計算はボクセルのボリュームレンダリングデータに対して行ったのと同じ手法で行える。ステップＳ１２からステップＳ１４までは図５のステップＳ２ないしステップＳ４と同じであり、次のステップＳ１５では、海底データとして、海底サーフェスモデルデータから海底サーフェスモデルデータ（色データＣｖ０、不透明度１）が読出され、他方、水中データとしては、等値面データ（色データＣｖ０’、不透明度１）が読出される。この等値面データは、レベル設定器２７で設定したレベルに合致するデータのみが１の不透明度を持つ。従って、その不透明度１の等値面データまたは海底データが検出されるまで、ステップＳ１４にて読出しポイントが更新される。等値面データまたは海底データが検出されればステップＳ１６からステップＳ１７に進み、それのデータ（不透明度１および単色の色データＣｖ’又はＣｖ０）を当該ピクセルの透視色データＣとして格納し、そしてステップＳ１９にて視線をピクセル単位で更新する。
【００５２】
この結果、投影面４２の各ピクセル４４に充当された透視色データＣが切り替えスイッチＳＷ３を介して表示器３２に供給されることにより、魚群が等値面表示（ＩＩ）、海底が海底サーフェスモデル表示（ＩＶ）でもって表示器３２に表示される。その際、海底を黄色で表示するのであれば、魚群を例えば白色で表示すれば、視点の位置により、魚群像と海底像とが重なって表示される場合でも両者を容易に識別することができる。
【００５３】
ここでボリュームレンダリング表示（Ｉ）と等値面表示（ＩＩ）との表示の特徴をまとめる。
・ボリュームレンダリング表示（Ｉ）：各ボクセルの色データに不透明度を設定し、視線上に並ぶボクセルの色データを積算して表示するため、魚群の密度に応じた濃淡表示ができ、又、魚群の芯を知ることができるが、魚群の周囲は、密度が低く（不透明度が小）、それ故、薄い色で表示されるため、魚群の境界が不鮮明となる。
・等値面表示（ＩＩ）：随意に設定したレベルのデータを不透明度１とした単色で表示するため魚群の境界が明確となるが、内部表示されないため魚群の密度や芯を知ることはできない。
そこで、両者の表示（Ｉ），（ＩＩ）を組み合わせることにより、両者の欠点を相補う合成表示（ＩＩＩ）を図９のフローチャートに従って述べる。
【００５４】
この合成表示（ＩＩＩ）では、色設定部２５において等値面データに０．１の不透明度が設定される。合成表示データ取り込み回路２９には、水中データとして、ボリュームレンダリングデータメモリ２１よりのボリュームレンダリングデータ（色データＣｖ、０〜１の不透明度α）および等値面データメモリ２６よりの等値面データ（色データＣｖ’、不透明度１）が取り込まれ、又、海底サーフェスモデルデータメモリ１５より海底サーフェスモデルデータ（色データＣｖ０、０．１の不透明度β）および自船のデータ（色データＣｖ０’、不透明度１）が取り込まれる。
【００５５】
ステップＳ２１では、海底サーフェスモデルデータ、ボリュームレンダリングデータおよび等値面データの光源計算が行われる。ステップＳ２２では、左端上のピクセルを通る視線が指定され、ステップＳ２３ではその視線の方位が演算され、そしてステップＳ２４にて、読出しポイントが更新される。ステップＳ２５では、その読み出しポイントに対応する、海底サーフェスモデルデータ、ボリュームレンダリングデータおよび等値面データが読み出され、ステップＳ２６にて、これらの３系統のデータの各色データＣｖの積算と不透明度αの積算とが行われる。不透明度が１に達するまでか視線上の全ボクセルの色データの積算が終了するまで色データＣｖの積算が行われ、その積算が終了すればステップＳ２８にてピクセルのデータとして格納され、ステップＳ２９で視線が更新され、上述した動作が各ピクセル毎に行われる。
【００５６】
以上説明した合成表示では、図５のボリュームレンダリング表示による魚群像全体に対して、不透明度０．１の白色による等値面表示が重畳して表示されるので、ボリュームレンダリング表示の内部表示をマスクすることなく、魚群像の輪郭が等値面表示によって明確に表示することができる。
【００５７】
【発明の効果】
以上説明したように、本発明の３次元表示装置によれば、自船を中心として全方位方向よりのエコーを３次元の直交メッシュデータメモリの各メモリ単位であるボクセルに格納して３次元直交メッシュモデルを形成し、この３次元直交メッシュモデルに対して、所望の位置に据えた視点より眺めた時に見える像を２次元平面に投影して表示するので、水中物体の規模や海底の起伏状況を３次元表示できる。
受信したエコーのデータを海底判別により水中データと海底データとに分け、海底データを、例えば海底サーフェスモデル化して別色表示すれば、海底と魚群が重なって表示されても両者を容易に識別することができる。又、各データに対して光源計算を行い表示像に陰影を付けることにより、立体感を与えることができる。
眺めた時に見える像として、本第１発明に係わるボリュームレンダリング表示では、視点よりの視線上に位置する各ボクセルに対して不透明度を持つ色データを手前から順に積算したものとすれば、魚群の密度に応じて濃淡表示されるので、魚群の密度や芯を知ることができる。
眺めた時に見える像として、本第２発明に係わる等値面表示では、視線上に位置する所望レベルのボクセルを不透明度１の色データとすれば、魚群の密度や芯は不明であるが、輪郭が明確となる。
又、眺めた時に見える像として、本第３発明に係わる合成表示では、前記のボリュームレンダリング表示に、不透明度１を半透明とした等値面表示を重ねて表示すれば、魚群の密度や芯を不明となることなく輪郭を明確にすることができる。
【図面の簡単な説明】
【図１】本発明の３次元表示装置の１実施例を示す制御ブロツク図
【図２】図１の３次元表示装置における制御の流れを図式化して示した図
【図３】図１の３次元表示装置でなされる海底判別の説明に用いた図
【図４】本発明で採用した投影法を示した図
【図５】３次元表示の１手法であるボリュームレンダリング表示のためのデータ処理を示したフローチャート
【図６】３次元の直交メッシュモデルを２次元の投影面に投影する状況を示した図
【図７】視点よりの視線上に位置する各ボクセルを示した図
【図８】３次元表示の１手法である等値面表示のためのデータ処理を示したフローチャート
【図９】３次元表示の１手法である合成表示のためのデータ処理を示したフローチャート
【符号の説明】
１ 送受波器
２ モータ
３ 駆動部
４ 送信部
５ 受信部
６ Ａ／Ｄ変換器
７ バッファメモリ
８ 座標変換部
９ 海底判別部
１０ 海底データメモリ
１１ ３次元ワイヤフレーム生成部
１２ 海底サーフェスモデル生成部
１３ 不透明度設定部
１４ 色設定部
１５ 海底サーフェスモデルデータメモリ
１６ 直交メッシュデータ作成部
１７ 直交メッシュデータメモリ
１８ 不透明度設定部
１９ 色テーブル
２０ 色設定部
２１ ボリュームレンダリングデータメモリ
２２ レベル設定部
２３ 等値面抽出部
２４ 不透明度設定部
２５ 色設定部
２６ 等値面データメモリ
２７ ボリュームレンダリングデータ取り込み回路
２８ 等値面表示データ取り込み回路
２９ 合成表示データ取り込み回路
３０ 投影画像作成回路
３１ 投影画像作成回路
３２ 表示器
Claims (13)
- 水底に向けて発した超音波のエコーに基づき水中物体を３次元表示するために、
受信したエコーのデータを、３次元の直交メッシュデータメモリを構成する各ボクセルに充当して３次元直交メッシュモデルを形成し、この直交メッシュモデルに対して所望の位置に据えた視点より眺めた時に見える像を、２次元平面に投影して表示する３次元表示装置において、
受信したエコーのデータを海底判別により水中データと海底データとに分け、水中データを各ボクセルに充当し、海底データを別色表示すべく別処理することを特徴とする３次元表示装置。 - 海底データにおける各海底ポイントを３角形の各頂点として３次元ワイヤフレームを形成し、この３次元ワイヤフレームを構成する各３角形を、平面データとして扱うことで海底の起伏状況を表す海底サーフェスモデルを形成する請求項１に記載の３次元表示装置。
- 各ボクセルに充当されたデータに対して随意の位置に設定した光源に基づき光源計算を行うことで表示像に陰影を付した請求項１または２に記載の３次元表示装置。
- 眺めた時に見える像は、視点よりの視線上に位置する各ボクセルの色データを手前より積算した値に基づくものである請求項１ないし３のいずれかに記載の３次元表示装置。
- 眺めた時に見える像は、所望レベルのボクセルより生成した等値面に不透明度１の色データＣv'を付加した等値面モデルである請求項１ないし３のいずれかに記載の３次元表示装置。
- 眺めた時に見える像は、視点よりの視線上に位置する各ボクセルの色データを手前より積算した値に、所望レベルのボクセルより生成した等値面に設定した半透明の色データを加算したものである請求項１ないし３のいずれかに記載の３次元表示装置。
- 水底に向けて発した超音波のエコーに基づき水中物体を３次元表示する装置であって、
受信したエコーのデータを海底判別により水中データと海底データとに分け、 水中データを、３次元の直交メッシュデータメモリを構成する各ボクセルに充当し、そして、各ボクセルのデータに対し、該データのレベルの弱〜強に応じて０〜１の不透明度αおよび色データＣvを付与することで３次元直交メッシュモデルを形成し、又、上記海底データにおける各海底ポイントを３角形の各頂点として３次元ワイヤフレームを形成し、この３次元ワイヤフレームを構成する各３角形を、不透明度１、単色の色データＣv0とした平面データとして扱うことで海底の起伏状況を表す海底サーフェスモデルを形成し、
上記の直交メッシュデータモデルに対して所望の位置に据えた視点より眺めた時、各視線上に位置する各ボクセルの不透明度αおよび色データＣvを手前より読み出し、α、Ｃvをそれぞれ積算するのに並行して、海底サーフェスモデルに対しても同様な視線を設定し、該視線上のデータを読み出して、前記積算値にそれぞれ加算し、不透明度が１に達した時点の色データの積算値Ｃを、２次元メモリを構成する各ピクセルに対応させ、そのようにして得た２次元のデータＣを表示することを特徴とする３次元表示装置。 - ３次元直交メッシュモデルおよび海底サーフェスモデルの各データに対して随意の位置に設定した光源に基づき光源計算を行うことで表示像に陰影を付した請求項７記載の３次元表示装置。
- 水底に向けて発した超音波のエコーに基づき水中物体を３次元表示する装置であって、
受信したエコーのデータを海底判別により水中データと海底データとに分け、水中データを、３次元の直交メッシュデータメモリを構成する各ボクセルに充当して３次元直交メッシュモデルを形成し、この３次元直交メッシュモデルから、所望のレベルのボクセルから生成した等値面に不透明度１および単色の色データＣv'を付与した等値面モデルを形成し、また、上記海底データにおける各海底ポイントを３角形の各頂点として３次元ワイヤフレームを形成し、この３次元ワイヤフレームを構成する各３角形を、不透明度１、単色の色データＣv0とした平面データとして扱うことで海底の起伏状況を表す海底サーフェスモデルを形成し、
上記の等値面モデルに対して所望の位置に据えた視点よりの視線上のデータと、海底サーフェスモデルに対しても同じようにして設定した視点よりの視線上のデータとから手前のデータを取り出し、２次元メモリを構成する各ピクセルに対応させ、そのようにして得た２次元のデータＣを表示することを特徴とする３次元表示装置。 - ３次元直交メッシュモデルおよび海底サーフェスモデルの各データに対して随意の位置に設定した光源に基づき光源計算を行うことで表示像に陰影を付した請求項９記載の３次元表示装置。
- 水底に向けて発した超音波のエコーに基づき水中物体を３次元表示する装置であって、
受信したエコーのデータを海底判別により水中データと海底データとに分け、水中データを、３次元の直交メッシュデータメモリを構成する各ボクセルに充当し、各ボクセルのデータに対し、該データのレベルの弱〜強に応じて０〜１の不透明度αおよび色データＣvを付与することで３次元の直交メッシュモデルを形成し、又、前記３次元直交メッシュデータメモリの中から、所望のレベルのものを抽出し、そのデータに半透明の不透明度βおよび単色の色データＣv'を付与して等値面メモリに格納したものを等値面モデルとし、又、上記海底データにおける各海底ポイントに基づき３次元ワイヤフレームを形成し、この３次元ワイヤフレームを構成する各３角形を、不透明度１、単色の色データＣv0とした平面データとして扱うことで海底の起伏状況を表す海底サーフェスモデルを形成し、
両モデルに対して、対応する所望の位置にそれぞれ据えた視点より眺めた時、両視線上にそれぞれ位置するデータを手前より並行して読み出し、両者でそれぞれ積算した不透明度および色データを相互加算するのに並行して、海底サーフェスモデルに対しても同様な視線を設定し、視線上に存在するデータを読み出し、前記積算値にそれぞれ加算し、不透明度が１に達した時の色データの積算値Ｃを、２次元メモリを構成する各ピクセルに対応させ、そのようにして得た２次元のデータＣを表示することを特徴とする３次元表示装置。 - ３次元直交メッシュモデルおよび海底サーフェスモデルの各データに対して随意の位置に設定した光源に基づき光源計算を行うことで表示像に陰影を付した請求項１１記載の３次元表示装置。
- 水底に向けて発した超音波のエコーに基づき海底を３次元表示する装置であって、
受信したエコーのデータを海底判別により水中データと海底データとに分け、海底データにおける各海底ポイントに基づき３次元ワイヤフレームを形成し、この３次元ワイヤフレームを構成する各３角形を、不透明度１、単色の色データＣv0とした平面データとして扱うことで海底の起伏状況を表す海底サーフェスモデルを形成し、そして、表示像に陰影を付けるために、海底サーフェスモデルの色データＣvに対して随意の位置に設定した光源に基づき光源計算を行い、
その海底サーフェスモデルに対して所望の位置に据えた視点より眺めた時に、その視線上のデータを読み出して、２次元メモリを構成する各ピクセルに対応させ、そのようにして得た２次元のデータを表示することを特徴とする３次元表示装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06511394A JP3558300B2 (ja) | 1994-04-01 | 1994-04-01 | ３次元表示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06511394A JP3558300B2 (ja) | 1994-04-01 | 1994-04-01 | ３次元表示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07270523A JPH07270523A (ja) | 1995-10-20 |
| JP3558300B2 true JP3558300B2 (ja) | 2004-08-25 |
Family
ID=13277522
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP06511394A Expired - Fee Related JP3558300B2 (ja) | 1994-04-01 | 1994-04-01 | ３次元表示装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3558300B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3064959A3 (en) * | 2015-03-05 | 2017-01-11 | Navico Holding AS | Methods and apparatuses for reconstructing a 3d sonar image |
| US10281577B2 (en) | 2015-04-20 | 2019-05-07 | Navico Holding As | Methods and apparatuses for constructing a 3D sonar image of objects in an underwater environment |
| US11639996B2 (en) | 2015-04-20 | 2023-05-02 | Navico, Inc. | Presenting objects in a sonar image of an underwater environment |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5073160B2 (ja) * | 2004-10-01 | 2012-11-14 | 古野電気株式会社 | 魚群情報、魚群の体積及び単体魚の後方散乱強度を算出可能な水中探知装置、並びにそれらの方法 |
| JP2006162480A (ja) * | 2004-12-08 | 2006-06-22 | Furuno Electric Co Ltd | 水中探知装置 |
| JP4776960B2 (ja) * | 2005-03-29 | 2011-09-21 | 古野電気株式会社 | 超音波送受信装置 |
| US7456779B2 (en) * | 2006-08-31 | 2008-11-25 | Sierra Nevada Corporation | System and method for 3D radar image rendering |
| JP5303873B2 (ja) * | 2007-06-13 | 2013-10-02 | 株式会社Ｉｈｉ | 車両形状計測方法と装置 |
| JP5089319B2 (ja) * | 2007-10-03 | 2012-12-05 | 古野電気株式会社 | 水中探知装置 |
| US8305840B2 (en) | 2009-07-14 | 2012-11-06 | Navico, Inc. | Downscan imaging sonar |
| US8300499B2 (en) | 2009-07-14 | 2012-10-30 | Navico, Inc. | Linear and circular downscan imaging sonar |
| US9142206B2 (en) | 2011-07-14 | 2015-09-22 | Navico Holding As | System for interchangeable mounting options for a sonar transducer |
| US9182486B2 (en) * | 2011-12-07 | 2015-11-10 | Navico Holding As | Sonar rendering systems and associated methods |
| US9268020B2 (en) | 2012-02-10 | 2016-02-23 | Navico Holding As | Sonar assembly for reduced interference |
| US9354312B2 (en) | 2012-07-06 | 2016-05-31 | Navico Holding As | Sonar system using frequency bursts |
| US10151829B2 (en) | 2016-02-23 | 2018-12-11 | Navico Holding As | Systems and associated methods for producing sonar image overlay |
| JP6982138B2 (ja) * | 2016-06-23 | 2021-12-17 | 古野電気株式会社 | 水中探知装置 |
| US11367425B2 (en) | 2017-09-21 | 2022-06-21 | Navico Holding As | Sonar transducer with multiple mounting options |
-
1994
- 1994-04-01 JP JP06511394A patent/JP3558300B2/ja not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3064959A3 (en) * | 2015-03-05 | 2017-01-11 | Navico Holding AS | Methods and apparatuses for reconstructing a 3d sonar image |
| US10061025B2 (en) | 2015-03-05 | 2018-08-28 | Navico Holding As | Methods and apparatuses for reconstructing a 3D sonar image |
| US10281577B2 (en) | 2015-04-20 | 2019-05-07 | Navico Holding As | Methods and apparatuses for constructing a 3D sonar image of objects in an underwater environment |
| US10551497B2 (en) | 2015-04-20 | 2020-02-04 | Navico Holding As | Methods and apparatuses for constructing a 3D sonar image of objects in an underwater environment |
| US11639996B2 (en) | 2015-04-20 | 2023-05-02 | Navico, Inc. | Presenting objects in a sonar image of an underwater environment |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07270523A (ja) | 1995-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3558300B2 (ja) | ３次元表示装置 | |
| Johnson‐Roberson et al. | Generation and visualization of large‐scale three‐dimensional reconstructions from underwater robotic surveys | |
| US6463176B1 (en) | Image recognition/reproduction method and apparatus | |
| Pulli et al. | Acquisition and visualization of colored 3D objects | |
| US8854920B2 (en) | Volume rendering of 3D sonar data | |
| US20100156901A1 (en) | Method and apparatus for reconstructing 3d model | |
| EP0978730A2 (en) | Three-dimensional radar apparatus and method for displaying three-dimensional radar image | |
| GB2421312A (en) | Scanning sonar with three-dimensional display | |
| EP2057505A2 (en) | Method of contructing mathematical representations of objects from reflected sonar signals | |
| CN110580044A (zh) | 基于智能感知的无人船全自动航行异构系统 | |
| JPH11149576A (ja) | ３次元モデリング装置、３次元モデリング方法、３次元モデリングプログラムを記録した媒体、および３次元形状推定プログラムを記録した媒体 | |
| KR20070111942A (ko) | 수저 3차원 측량 시스템 및 수저 3차원 화상 작성 시스템및 수저 3차원 화상 작성 방법 | |
| US11548598B2 (en) | Image generating device and method of generating image | |
| Kamgar-Parsi et al. | Underwater imaging with a moving acoustic lens | |
| CN111640177B (zh) | 一种基于水下声呐探测的三维建模方法及无人潜水器 | |
| JP2006105700A (ja) | 魚群情報、魚群の体積及び単体魚の後方散乱強度を算出可能な水中探知装置、並びにそれらの方法 | |
| CN106197398A (zh) | 应用于内河河道的导航系统及其地图构建方法 | |
| Yin et al. | Study on underwater simultaneous localization and mapping based on different sensors | |
| JP2004219400A (ja) | 水面下情報表示処理方法及び装置、水面下情報表示処理プログラム、並びに、水面下情報表示装置 | |
| US10088566B2 (en) | Object tracking using sonar imaging | |
| JPH0943350A (ja) | 超音波ソナー | |
| Iscar et al. | Autonomous surface vehicle 3D seafloor reconstruction from monocular images and sonar data | |
| JP2011048507A (ja) | ３次元データ生成装置、３次元データ生成方法およびプログラム | |
| Gracias et al. | Application challenges of underwater vision | |
| Xie et al. | Towards differentiable rendering for sidescan sonar imagery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040106 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040223 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040511 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040517 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |