JP5816751B2 - 天井移動型透明ディスプレイを用いた船舶用増強現実システム及びその具現方法 - Google Patents

Description

本発明は、天井移動型透明ディスプレイを用いた船舶用増強現実システム及びその具現方法に関するものである。

増強現実（Augmented Reality）は、使用者が目で見る現実世界と付加情報を持つ仮想世界を合わせて新環境を生成する。現実環境と仮想環境を融合する増強現実システムは、１９９０年代後半からアメリカ及び日本を中心に研究開発が進んでいる。現実世界を仮想世界で補う概念である増強現実は、コンピュータグラフィックで作られた仮想環境を使うが、主役は、現実環境である。コンピュータグラフィックは、現実環境に必要な情報を追加に提供する役目を果たす。

また、現実環境と仮想環境を同時に表示するための透明ディスプレイ装置においても、近年のディスプレイ技術の発達によって、透明電子素子を用いた透明ディスプレイ装置が開発された。透明ディスプレイ装置は、透明なガラスまたは透明なプラスチック上に透明電極、透明半導体及び透明絶縁体などを積層することで具現する。発光面は、有機物発光素子（ＯＬＥＤ：Organic Light Emitting Diode）、無機物発光素子（ＬＥＤ：Light Emitting Diode）または液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）などからなる。

船舶航行システムにおいて、従来技術は、大韓民国特許出願第１０−２００７−００３７４４３号の「波浪情報を有するＥＣＤＩＳによる船舶安全運航方法」に開示されたように、レーダーによって波浪情報を正確に計測し、このような情報をＥＣＤＩＳに表示するとともに互いに共有し、波浪情報とＥＣＤＩＳ情報によって船舶運航の安全性を向上させることができる波浪情報を有するＥＣＤＩＳによる船舶安全運航方法を提供する。

しかし、このような船舶運航の安全性を向上させるために、電子海図表示システム（ＥＣＤＩＳ）のみによっては限界があり、現実環境に関する多様な情報及び船舶の運行に必要な仮想の情報を同時に表示して切迫な瞬間の船長の判断力に役立てて船舶の安全性を確保し、船舶運航の効率性及び正確性を高めるためには、増強現実システムの適用が必要である。

大韓民国特許出願第１０−２００７−００３７４４３号明細書

本発明は、このような従来技術の問題点を解決するための天井移動型透明ディスプレイを用いた船舶用増強現実システム及び増強現実の具現方法に関するもので、これにより、使用者が見る船舶外部の背景及び事物にこれらの情報を仮想環境で重畳して航行に必要な情報を一目で見られるようにし、多様で複雑な航海情報を直観的に判断することができるようにして、船舶運航の安全性を確保し、運航時の不注意による事故を事前に防止しようとすることにその目的がある。

前述したような目的を達成するために、本発明による天井移動型透明ディスプレイを用いた船舶用増強現実システムは、船舶の操舵室の天井に移動可能に設置された天井移動型透明ディスプレイと、前記船舶の位置及び航海者の頭及び視線の方向を認識する認識部と、前記船舶の位置及び前記航海者の頭及び視線の方向によって外部地形に関する外部地形データベースから外部映像データの情報を受信する受信部と、前記受信部に受信された前記外部映像データと前記窓ガラスを介した実際の外部映像が一致するように調整する整合部と、前記整合部によって調整された前記外部映像データの情報を前記実際の外部映像の位置に前記天井移動型透明ディスプレイから出力する出力部と、を含むことを特徴とする。

また、本発明によれば、前記認識部は、ＧＰＳシステムを含んで前記船舶の移動速度及び位置を認識し、前記航海者の頭及び視線の方向を認識する認識センサーを含むことを特徴とする。

また、本発明によれば、前記認識センサーで感知された前記航海者の頭の方向及び視線の方向によって、前記天井移動型透明ディスプレイが天井に沿って移動することを特徴とする。

また、本発明によれば、前記天井移動型透明ディスプレイは、天井に付着されたレール部に沿って移動することを特徴とする。

また、本発明によれば、前記外部映像データは、３Ｄデータからなることを特徴とする。

また、本発明によれば、前記受信部は、前記船舶の航海位置によって海図データベースから海図を受信し、前記海図を前記整合部で実際の外部映像と一致するように調整し、前記出力部は、前記天井移動型透明ディスプレイに前記船舶の航路を表示することを特徴とする。

また、本発明によれば、前記受信部は、内陸水路、海底地形、気象及び海域特性に関する情報を含む電子海図表示システム（ＥＣＤＩＳ）から、前記内陸水路、海底地形、気象及び海域特性情報を受信し、前記整合部は、前記内陸水路、海底地形、気象及び海域特性に関する情報を実際の外部映像と一致するように調整し、前記出力部は、前記内陸水路、海底地形、気象及び海域特性に関する情報を前記天井移動型透明ディスプレイに出力することを特徴とする。

また、本発明によれば、前記受信部は、ＡＩＳ（船舶自動識別装置）から海上で運航する周囲の船舶の情報を受信し、前記整合部は、前記周囲の船舶の情報を実際の外部映像と一致するように調整し、前記出力部は、前記周囲の船舶の情報を前記天井移動型透明ディスプレイに出力することを特徴とする。

また、本発明によれば、前記整合部は、前もって設定された周囲の船舶のサイズ別テンプレートによって前記ＡＩＳから受信された周囲の船舶のサイズを調節し、前記出力部を介して前記天井移動型透明ディスプレイに出力することを特徴とする。

また、本発明によれば、前記受信部は、レーダーから外部の移動物体を受信し、前記整合部は、前記移動物体の移動速度及び位置を実際の外部映像と一致するように調整し、前記出力部は、前記移動物体を前記天井移動型透明ディスプレイに出力することを特徴とする。

また、本発明によれば、前記移動物体が前記ＡＩＳから受信された周囲の船舶ではない場合、前記整合部は、実際の外部映像と一致するように調整し、前記出力部は、前記移動物体を前記天井移動型透明ディスプレイに出力することを特徴とする。

また、本発明によれば、前記船舶の外部照度が前もってセットされた値より低い場合、前記実際の外部映像の位置に前もって設定されたテンプレートを用いて表示することを特徴とする。

本発明のさらに他の実施例として、天井移動型透明ディスプレイを用いた船舶用増強現実システムは、船舶の操舵室の天井に移動可能に設置された天井移動型透明ディスプレイと、前記船舶の位置及び航海者の頭及び視線の方向を認識する認識部と、前記船舶の位置及び前記航海者の頭及び視線の方向によって外部地形に関する外部地形データベースから外部映像データの情報を受信する受信部と、前記受信部に受信された前記外部映像データと前記窓ガラスを介した実際の外部映像が一致するように調整する整合部と、前記整合部によって調整された前記外部映像データの情報を前記実際の外部映像の位置に前記天井移動型透明ディスプレイから出力する出力部と、を含み、前記受信部は、内陸水路、海底地形、気象及び海域特性に関する情報、前記船舶の移動速度及び航路、周囲の船舶の移動速度及び航路、及び移動物体の移動速度及び航路を受信して計算する計算部を含み、前もって設定された時間間隔で前記船舶の時間による危険要素を予測することを特徴とする。

また、本発明によれば、前記危険要素は、海底地形との衝突危険、周囲の船舶との衝突危険、気象による遭難危険、海域特性による遭難危険、及び外部地形との衝突危険を含むことを特徴とする。

また、本発明によれば、前記危険要素が発見されたとき、アラーム機能を作動するアラーム部を含むことを特徴とする。

また、本発明によれば、前記アラーム部がアラーム機能を作動した場合、前記船舶の航路を自動で修正するようにする制御信号を航法制御装置に送信する制御部を含むことを特徴とする。

本発明による天井移動型透明ディスプレイを用いた船舶用増強現実の具現方法は、船舶の操舵室の天井に移動可能に設置された天井移動型透明ディスプレイと、前記船舶の位置及び航海者の頭及び視線の方向を認識する認識段階と、前記船舶の位置及び前記航海者の頭及び視線の方向によって外部地形に関する外部地形データベースから外部映像データの情報を受信する受信段階と、受信部に受信された前記外部映像データと前記窓ガラスを介した実際の外部映像との一致を調整する整合段階と、整合部によって調整された前記外部映像データの情報を前記実際の外部映像の位置に前記天井移動型透明ディスプレイから出力する出力段階と、を含むことを特徴とする。

また、本発明によれば、前記受信段階は、前記船舶の航海位置によって海図データベースから海図を受信し、前記整合段階は、前記海図を実際の外部映像と一致するように調整し、前記出力段階は、前記天井移動型透明ディスプレイに前記船舶の航路を表示することを特徴とする。

また、本発明によれば、前記受信段階は、内陸水路、海底地形、気象及び海域特性に関する情報を含む電子海図表示システム（ＥＣＤＩＳ）から、前記内陸水路、海底地形、気象及び海域特性情報を受信し、前記整合段階は、前記内陸水路、海底地形、気象及び海域特性に関する情報を実際の外部映像と一致するように調整し、前記出力段階は、前記内陸水路、海底地形、気象及び海域特性情報を前記天井移動型透明ディスプレイに出力することを特徴とする。

また、本発明によれば、前記受信段階は、ＡＩＳ（船舶自動識別装置）から海上で運航する周囲の船舶の情報を受信し、前記整合段階は、前記周囲の船舶の情報を実際の外部映像と一致するように調整し、前記出力段階は、前記周囲の船舶の情報を前記天井移動型透明ディスプレイに出力することを特徴とする。

また、本発明によれば、前記受信段階は、レーダーから外部の移動物体を受信し、前記整合段階は、前記移動物体の移動速度及び位置を実際の外部映像と一致するように調整し、前記出力段階は、前記移動物体を前記天井移動型透明ディスプレイに出力することを特徴とする。

また、本発明によれば、内陸水路、海底地形、気象及び海域特性に関する情報、船舶の移動速度及び航路、周囲の船舶の移動速度及び航路、及び移動物体の移動速度及び航路を計算する計算段階を含み、前もって設定された時間間隔で前記船舶の時間による危険要素を予測することを特徴とする。

また、本発明によれば、前記危険要素は、海底地形との衝突危険、周囲の船舶との衝突危険、気象による遭難危険、海域特性による遭難危険、外部地形との衝突危険を含み、前記危険要素が発見されたとき、アラーム機能を作動するアラーム段階を含むことを特徴とする。

また、本発明によれば、前記アラーム段階においてアラーム機能が作動した場合、前記船舶の航路を自動で修正するようにする制御信号を航法制御装置に送信する制御段階を含むことを特徴とする。

本発明の目的は、使用者が見る背景及び事物に仮想環境を重畳して、従来技術に比べてより現実的な増強現実を具現するための装置及び方法を提供することにある。

また、多様な船舶事故の原因の中には、運航不注意による事故が大きな比率を占めるが、これは、航海者が感じる疲労感によるものであると把握され、本発明による天井移動型透明ディスプレイを用いた船舶用増強現実システムは、多様で複雑な航海情報を航海者が一目で見て把握することができるようにすることで、直観的判断能力を向上させて海洋事故を防止する効果がある。

また、天井移動型透明ディスプレイを使うことにより、使用者が見る所に天井移動型透明ディスプレイが移動しながら実際の外部映像イメージに関する情報を提供するので、高価な透明ディスプレイ装備を操舵室のすべてのガラス窓に設置しなくても良くて設置費が節減される効果があり、航海者の性向によって天井型ディスプレイを天井に挿入することで、オフになった状態でも航海が可能である。

本発明による天井移動型透明ディスプレイを用いた船舶用増強現実システムのブロック図である。 本発明による天井移動型透明ディスプレイの概略図である。 本発明による天井移動型透明ディスプレイを用いた船舶用増強現実システムの他の実施例のブロック図である。 本発明による天井移動型透明ディスプレイを用いた船舶用増強現実システムの概略図である。 本発明による天井移動型透明ディスプレイを用いた船舶用増強現実の具現方法のフローチャートである。

以下、添付図面に基づいて本発明の実施例を詳細に説明する。まず、図面において同一の構成要素または部品は、できるだけ同一参照符号で示すことに気をつけなければならない。本発明の説明において関連した公知の機能もしくは構成についての具体的な説明は、本発明の要旨をあいまいにしないようにするために省略する。

増強現実技術は、実写映像と仮想映像を合成して表現する技術であり、航海者が見る外部映像に航海支援情報を重畳して出力することで、より直観的な情報の提供が可能である。

増強現実技術基盤の知能型航海支援システムは、ＣＣＴＶカメラ及び透明ディスプレイ用映像合成技術、３次元整合技術、センサーデータ融合技術、及び知能型航法技術を結合して航行情報を航海者が理解しやすい形態として提供することにより、航行安全及び情報伝達効率を向上させることができる新概念の航海システムである。

増強現実（ＡＲ）技術を活用した航海支援システムは、実際視覚情報と仮想情報を整合（Registration）しなければならない。視覚情報の位置は、使用者の位置及び視線の方向によって変わるので、カメラあるいは多様なセンサーなどを利用して使用者の位置及び視線の方向を正確に捜し出さなければならない。

増強現実（ＡＲ）技術を活用した航行情報提供システムは、実時間海上情報提供システム、電子海図、ＡＩＳなどを用いて、船舶の衝突回避、海上交通官制、船舶モニタリングなどに活用することができる。

図１は、本発明による天井移動型透明ディスプレイを用いた船舶用増強現実システムのブロック図である。

図１に示すように、本発明による天井移動型透明ディスプレイを用いた船舶用増強現実システム１は、天井移動型透明ディスプレイ１００、認識部２００、受信部３００、整合部４００、及び出力部５００を含み、認識部２００ではＧＰＳシステムを用いて現在船舶の移動速度及び位置を認識し、航海者の頭の方向及び視線の方向を認識するように構成された認識センサーから航海者の視線の方向を感知して認識する。

認識センサーは、航海者の視線の方向を認識するために、瞳認識カメラと航海者の頭の方向を認識するための認識カメラが別に構成されることもでき、航海者の視線と頭の方向を一緒に認識する一つのセンサーであることもできる。

認識センサーで感知された航海者の頭の方向及び瞳の動き、つまり航海者が見る視線の方向に天井に設置された天井移動型透明ディスプレイ１００が天井に沿って移動可能である。

天井にはレール部９００が操舵室のガラス窓の周囲に沿って設置され、天井移動型透明ディスプレイ１００が、ガラス窓から一定の間隔だけ離隔して自由に移動するように設置される。

航海者の頭及び視線の方向を認識する認識センサーで感知された航海者の頭の方向及び視線の方向を考慮し、航海者の視線が移動する方向に、天井移動型透明ディスプレイ１００がレール部９００に沿って移動するので、操舵室のすべてのガラス窓が透明ディスプレイの場合に比べて、透明ディスプレイの設置面積が減少して設置費用が節減される利点がある。また、天井移動型透明ディスプレイ１００がオフ状態のときは天井に密着するまたは挿入されるので、航海者が以前の方式のようにレーダー、ＡＩＳ、ＧＰＳ、電子海図表示システム（ＥＣＤＩＳ）、海図データベースなどの外部情報を活用して、航海者が肉眼で航海する方式を取ることもできる。

受信部３００は、船舶の位置、航海者の頭及び視線が向かう方向によって外部地形に関する外部地形データベース（ＤＢ）から外部映像データを受信する。

受信された外部映像データと航海者が見る実際の外部映像間の位置を互いに正確に一致させる整合過程を整合部４００で遂行し、出力部５００は、整合部４００で一致された外部映像データの多様な情報、つまり陸地に関する情報、浮標に関する情報などを天井移動型透明ディスプレイ１００において実際の外部映像の位置に出力するようになる。

実際の外部映像との整合過程に効果的に適用させ、航海者が実際航行情報を容易に見ることができるようにするために、外部映像データは、３Ｄデータからなることが好ましい。すなわち、外部地形に関する外部地形データベース（ＤＢ）の構築が３Ｄデータから構築されることが好ましい。

図２は、本発明による天井移動型透明ディスプレイの概略図である。

図２に示すように、天井移動型透明ディスプレイ１００に多様な航行情報が表示されることができ、多様な航行情報には、船舶の航路、内陸水路、海底地形、気象及び海域特性に関する情報、周囲船舶の情報、現在運航位置情報などを含むことができる。

多様な航行情報のうち、船舶の航路計画に関する情報収集は、本発明による受信部３００が船舶の航海位置によって海図データベース（ＤＢ）から海図を受信し、整合部４００では受信された海図を実際の外部映像と一致するように調整する。

出力部５００は、実際の外部映像と受信された海図間の調整によって海図の正確な位置を調整して天井移動型透明ディスプレイ１００に船舶の航路を表示するようになる。

また、内陸水路、海底地形、気象及び海域特性に関する情報の収集は、同様に受信部３００が電子海図表示システム（ＥＣＤＩＳ）から受信し、整合部４００では受信された内陸水路、海底地形、気象及び海域特性に関する情報を実際の外部映像の位置と一致するように調整する。

出力部５００は、実際の外部映像と受信された内陸水路、海底地形、気象及び海域特性間の調整によって内陸水路、海底地形、気象及び海域特性を天井移動型透明ディスプレイ１００に表示するようになる。

また、海上で運航する周囲船舶に関する情報の収集も、受信部３００がＡＩＳ（船舶自動識別装置）から受信し、整合部４００では受信された周囲の船舶に関する情報を実際の外部映像の位置と一致するように調整する。

出力部５００は、実際の外部映像と受信された周囲の船舶に関する情報間の調整によって周囲の船舶に関する情報を天井移動型透明ディスプレイ１００に表示するようになる。

ここで、収集された周囲の船舶のサイズによって、整合部４００は、前もって設定された周囲の船舶のサイズ別テンプレートを選択調整し、出力部５００を介して天井移動型透明ディスプレイ１００に表示するようになる。

テンプレートは、船舶を大きさ及び種類別に分類して予めモデリングしておいたものを言い、すべての船舶に対する３次元モデルを作ることができないからである。外部照度が低い状況では、このような船舶テンプレートと３次元仮想地形情報が一緒に出力され、この映像が実際の外部映像に代わることができる仮想現実の機能をする。

このように予め周囲の船舶のサイズによってテンプレートを構成しておけば、夜間運航の際、実際にＡＩＳによって収集された情報では、周囲の船舶が周辺で運航するものとして表示されても、航海者の肉眼では識別できなくてどのくらい近くにあるかあるいはどのサイズの船舶が周囲にあるかを直感しにくいが、テンプレートによって天井移動型透明ディスプレイ１００に表示すれば、航海者の運航情報の収集及び判断に役立つ。

船舶の運航時期が夜間であるかあるいは天気が曇って視界の悪い日のように、外部照度が低い基準を航海者が予めセットしておき、照度センサーで外部照度を実時間で検出し、検出された外部照度が前もってセットされた値より低い場合には、実際の外部映像が航海者の肉眼で正常に判別できないことを意味し、これを補うために、前もって設定されたテンプレートを用いて実際の外部映像を表示する。

参考として、海上人命安全条約（Solars）に従い、旅客船、１００ｍ以上の船舶、危険船舶などの場合には、船舶に関する情報を義務的に外部に送信しなければならなく、このような周囲の船舶の船舶運航情報をＡＩＳによって収集するようになる。ＡＩＳとは、船舶自動識別装置（Automatic Identification System）であり、船舶の位置、針路、速力などの航海情報を実時間で提供する尖端装置である。これは海上で船舶の衝突を防止するための装置で、国際海事機関（ＩＭＯ）による船舶義務設置事項であり、船舶自動識別装置（ＡＩＳ）の導入によって、周囲の船舶を認識することができない場合にも、他の船舶の存在及び進行状況の判断が可能である。

ＡＩＳによって収集可能な周囲の船舶以外の小型船舶、または船舶以外の海上で漂流する移動物体に関する情報収集は、受信部３００がレーダーから受信し、移動物体の移動の速度及び位置を整合部４００で実際の外部映像と一致するように調整した後、出力部５００によって天井移動型透明ディスプレイ１００に出力する。

図３は、本発明による天井移動型透明ディスプレイを用いた船舶用増強現実システムの他の実施例のブロック図である。

図３に示すように、本発明による天井移動型透明ディスプレイを用いた船舶用増強現実システムは、天井移動型透明ディスプレイ１００、認識部２００、受信部３００、整合部４００、及び出力部５００の他に計算部６００をさらに含むことができる。

電子海図表示システム（ＥＣＤＩＳ）から受信部３００が受信して収集した内陸水路、海底地形、気象及び海域特性に関する情報、ＧＰＳによって認識部２００が認識した現在船舶の移動速度及び航路情報、受信部３００が船舶の航海位置による海図データベース（ＤＢ）から受信して収集した海図に関する情報、受信部３００がＡＩＳによって受信して収集した海上で運航する周囲の船舶に関する情報を総合し、計算部６００が、船舶の航路計画による周囲の船舶や移動物体、内陸水路、暗礁のような海底地形による衝突危険性を計算するようになる。

航海者は、計算部６００で衝突危険性に対する計算を一定の時間間隔で遂行するように時間間隔を前もって設定することができ、船舶の進行時間によってセットされた時間間隔で危険要素を予測することができるようにする。

ここで、危険要素とは、海底地形との衝突危険、周囲の船舶との衝突危険、気象悪化による遭難危険、渦、海流の速度などの海域特性による遭難危険、陸地、島のような外部地形との衝突危険などを意味する。

危険要素が発見されれば、航海者にこれを警告するアラーム機能をするアラーム部７００を含むことができる。

アラームは、天井移動型透明ディスプレイ１００に画面点滅のような画像アラームを使うか、あるいは音アラームを使う。これらの両者を使うこともでき、このようなアラームの種類を航海者が選択することもできる。

また、危険要素を発見してアラーム部７００でアラーム機能が作動した場合、船舶の航路計画を自動で修正するようにする制御信号を航法制御装置に送信する制御部８００をさらに含むことができる。

これにより、本発明による天井移動型透明ディスプレイを用いた船舶用増強現実システムは、航海者に航海に必要な総合的な情報を実際映像とともに提供して、一目で直観的に判断することができるようにし、航海者の間違いまでも航路自動調整機能によって未然に防止することによって海上衝突を遮断することができる。

図４は、本発明による天井移動型透明ディスプレイを用いた船舶用増強現実システムの概略図である。

図４に示すように、航海者は、船舶の操舵室の天井に移動可能に設置された天井移動型透明ディスプレイ１００に表示された多様な情報及び実際の外部映像を一目で見ることができる。

図５は、本発明による天井移動型透明ディスプレイを用いた船舶用増強現実の具現方法のフローチャートである。

図５に示すように、天井移動型透明ディスプレイを用いた船舶用増強現実の具現方法は、船舶の位置及び航海者の頭及び視線が向かう方向を認識する認識段階（Ｓ１００）と、船舶の位置及び前記航海者の頭及び視線の方向によって外部地形に関する外部地形データベースから外部映像データの情報を受信する受信段階（Ｓ２００）と、受信部に受信された前記外部映像データと実際の外部映像との一致を調整する整合段階（Ｓ３００）と、及び整合段階（Ｓ３００）で調整された外部映像データの情報を実際の外部映像の位置に天井移動型透明ディスプレイから出力する出力段階（Ｓ４００）と、を含む。

受信段階（Ｓ２００）は、船舶の航海位置によって海図データベースから海図を受信し、内陸水路、海底地形、気象及び海域特性に関する情報を含む電子海図表示システム（ＥＣＤＩＳ）から内陸水路、海底地形、気象及び海域特性情報を受信し、ＡＩＳ（船舶自動識別装置）から海上で運航する周囲の船舶の情報を受信し、レーダーから外部の移動物体を受信し、実際の外部映像とこれら情報の表示位置が一致するように整合段階（Ｓ３００）で整合過程を実施し、出力段階（Ｓ４００）で天井移動型透明ディスプレイに各種の情報を表示するようになる。

このような多様な外部情報、例えば内陸水路、海底地形、気象及び海域特性に関する情報、船舶の移動速度及び航路、周囲の船舶の移動速度及び航路、及び移動物体の移動速度及び航路を総合的に計算し、船舶が航路計画のどおりに航海する場合、危険要素があるかどうかを計算する計算段階（Ｓ５００）をさらに含むことができる。

航海者が前もって設定しておいた時間間隔で船舶の航海時間による危険要素を予測し、危険要素が発見されれば、航海者にアラーム信号を伝送するアラーム段階（Ｓ６００）をさらに含むことができる。

この際、危険要素は、海底地形との衝突危険、周囲の船舶との衝突危険、気象による遭難危険、海域特性による遭難危険、外部地形との衝突危険などがあり得るが、これらに限定されるものではない。

アラーム段階（Ｓ６００）でアラーム機能が作動した場合、船舶の航路計画を修正するように制御信号を航法制御装置に送信する制御段階（Ｓ７００）をさらに含むこともできる。

以上、本発明を特定の実施例に基づいて図示して説明したが、添付の特許請求範囲によって決められる発明の思想及び領域から逸脱しない範疇内で多様な変更、改造及び変化が可能であることが当該分野で通常の知識を持った者であれば誰でも易しく分かることができる。

本発明は、増強現実装置及びシステム分野及び船舶運航システムの分野で有用に活用することができる。

Claims (22)

1. 船舶の操舵室の天井に移動可能に設置された天井移動型透明ディスプレイと、
   前記船舶の位置及び航海者の頭及び視線の方向を認識する認識部と、
   前記船舶の位置及び前記航海者の頭及び視線の方向によって外部地形に関する外部地形データベースから外部映像データの情報を受信する受信部と、
   前記受信部に受信された前記外部映像データと実際の外部映像が一致するように調整する整合部と、
   前記整合部によって調整された前記外部映像データの情報を前記実際の外部映像の位置に前記天井移動型透明ディスプレイから出力する出力部と、を含み、
   前記受信部は、レーダーから外部の移動物体を受信し、前記整合部は、前記移動物体の移動速度及び位置を実際の外部映像と一致するように調整し、前記出力部は、前記移動物体を前記天井移動型透明ディスプレイに出力することを特徴とする、天井移動型透明ディスプレイを用いた船舶用増強現実システム。
2. 前記認識部は、ＧＰＳシステムを含んで前記船舶の移動速度及び位置を認識し、前記航海者の頭及び視線の方向を認識する認識センサーを含むことを特徴とする、請求項１に記載の天井移動型透明ディスプレイを用いた船舶用増強現実システム。
3. 前記認識センサーで感知された前記航海者の頭の方向及び視線の方向によって、前記天井移動型透明ディスプレイが天井に沿って移動することを特徴とする、請求項２に記載の天井移動型透明ディスプレイを用いた船舶用増強現実システム。
4. 前記天井移動型透明ディスプレイは、天井に付着されたレール部に沿って移動することを特徴とする、請求項３に記載の天井移動型透明ディスプレイを用いた船舶用増強現実システム。
5. 前記外部映像データは、３Ｄデータからなることを特徴とする、請求項４に記載の天井移動型透明ディスプレイを用いた船舶用増強現実システム。
6. 前記受信部は、前記船舶の航海位置によって海図データベースから海図を受信し、前記海図を前記整合部で実際の外部映像と一致するように調整し、前記出力部は、前記天井移動型透明ディスプレイに前記船舶の航路を表示することを特徴とする、請求項５に記載の天井移動型透明ディスプレイを用いた船舶用増強現実システム。
7. 前記受信部は、内陸水路、海底地形、気象及び海域特性に関する情報を含む電子海図表示システム（ＥＣＤＩＳ）から、前記内陸水路、海底地形、気象及び海域特性情報を受信し、前記整合部は、前記内陸水路、海底地形、気象及び海域特性に関する情報を実際の外部映像と一致するように調整し、前記出力部は、前記内陸水路、海底地形、気象及び海域特性に関する情報を前記天井移動型透明ディスプレイに出力することを特徴とする、請求項６に記載の天井移動型透明ディスプレイを用いた船舶用増強現実システム。
8. 前記受信部は、ＡＩＳ（船舶自動識別装置）から海上で運航する周囲の船舶の情報を受信し、前記整合部は、前記周囲の船舶の情報を実際の外部映像と一致するように調整し、前記出力部は、前記周囲の船舶の情報を前記天井移動型透明ディスプレイに出力することを特徴とする、請求項７に記載の天井移動型透明ディスプレイを用いた船舶用増強現実システム。
9. 前記整合部は、前もって設定された周囲の船舶のサイズ別テンプレートによって前記ＡＩＳから受信された周囲の船舶のサイズを調節し、前記出力部は、前記周囲の船舶のテンプレートを前記天井移動型透明ディスプレイに出力することを特徴とする、請求項８に記載の天井移動型透明ディスプレイを用いた船舶用増強現実システム。
10. 前記移動物体が前記レーダーとＡＩＳから受信された周囲の船舶ではない場合、前記整合部は、実際の外部映像と一致するように調整し、前記出力部は、前記移動物体を前記天井移動型透明ディスプレイに出力することを特徴とする、請求項１に記載の天井移動型透明ディスプレイを用いた船舶用増強現実システム。
11. 前記船舶の外部照度が前もってセットされた値より低い場合、前記実際の外部映像の位置に前もって設定されたテンプレートを用いて表示することを特徴とする、請求項１０に記載の天井移動型透明ディスプレイを用いた船舶用増強現実システム。
12. 船舶の操舵室の天井に移動可能に設置された天井移動型透明ディスプレイと、
    前記船舶の位置及び航海者の頭及び視線の方向を認識する認識部と、
    前記船舶の位置及び前記航海者の頭及び視線の方向によって外部地形に関する外部地形データベースから外部映像データの情報を受信する受信部と、
    前記受信部に受信された前記外部映像データと実際の外部映像が一致するように調整する整合部と、
    前記整合部によって調整された前記外部映像データの情報を前記実際の外部映像の位置に前記天井移動型透明ディスプレイから出力する出力部と、を含み、
    前記受信部は、内陸水路、海底地形、気象及び海域特性に関する情報、前記船舶の移動速度及び航路、周囲の船舶の移動速度及び航路、及び移動物体の移動速度及び航路を受信して計算する計算部を含み、
    前もって設定された時間間隔で前記船舶の時間による危険要素を予測することを特徴とする、天井移動型透明ディスプレイを用いた船舶用増強現実システム。
13. 前記危険要素は、海底地形との衝突危険、周囲の船舶との衝突危険、気象による遭難危険、海域特性による遭難危険、及び外部地形との衝突危険を含むことを特徴とする、請求項１２に記載の天井移動型透明ディスプレイを用いた船舶用増強現実システム。
14. 前記危険要素が発見されたとき、アラーム機能を作動するアラーム部を含むことを特徴とする、請求項１３に記載の天井移動型透明ディスプレイを用いた船舶用増強現実システム。
15. 前記アラーム部がアラーム機能を作動した場合、前記船舶の航路を自動で修正するようにする制御信号を航法制御装置に送信する制御部を含むことを特徴とする、請求項１４に記載の天井移動型透明ディスプレイを用いた船舶用増強現実システム。
16. 船舶の操舵室の天井に移動可能に設置された天井移動型透明ディスプレイと、
    前記船舶の位置及び航海者の頭及び視線の方向を認識する認識段階と、
    前記船舶の位置及び前記航海者の頭及び視線の方向によって外部地形に関する外部地形データベースから外部映像データの情報を受信する受信段階と、
    受信部に受信された前記外部映像データと実際の外部映像との一致を調整する整合段階と、
    整合部によって調整された前記外部映像データの情報を前記実際の外部映像の位置に前記天井移動型透明ディスプレイから出力する出力段階と、を含み、
    前記受信段階は、レーダーから外部の移動物体を受信し、前記整合段階は、前記移動物体の移動速度及び位置を実際の外部映像と一致するように調整し、前記出力段階は、前記移動物体を前記天井移動型透明ディスプレイに出力することを特徴とする、天井移動型透明ディスプレイを用いた船舶用増強現実の具現方法。
17. 前記受信段階は、前記船舶の航海位置によって海図データベースから海図を受信し、前記整合段階は、前記海図を実際の外部映像と一致するように調整し、前記出力段階は、前記天井移動型透明ディスプレイに前記船舶の航路を表示することを特徴とする、請求項１６に記載の天井移動型透明ディスプレイを用いた船舶用増強現実の具現方法。
18. 前記受信段階は、内陸水路、海底地形、気象及び海域特性に関する情報を含む電子海図表示システム（ＥＣＤＩＳ）から、前記内陸水路、海底地形、気象及び海域特性情報を受信し、前記整合段階は、前記内陸水路、海底地形、気象及び海域特性に関する情報を実際の外部映像と一致するように調整し、前記出力段階は、前記内陸水路、海底地形、気象及び海域特性情報を前記天井移動型透明ディスプレイに出力することを特徴とする、請求項１７に記載の天井移動型透明ディスプレイを用いた船舶用増強現実の具現方法。
19. 前記受信段階は、ＡＩＳ（船舶自動識別装置）から海上で運航する周囲の船舶の情報を受信し、前記整合段階は、前記周囲の船舶の情報を実際の外部映像と一致するように調整し、前記出力段階は、前記周囲の船舶の情報を前記天井移動型透明ディスプレイに出力することを特徴とする、請求項１８に記載の天井移動型透明ディスプレイを用いた船舶用増強現実の具現方法。
20. 内陸水路、海底地形、気象及び海域特性に関する情報、船舶の移動速度及び航路、周囲の船舶の移動速度及び航路、及び移動物体の移動速度及び航路を計算する計算段階を含み、前もって設定された時間間隔で前記船舶の時間による危険要素を予測することを特徴とする、請求項１６に記載の天井移動型透明ディスプレイを用いた船舶用増強現実の具現方法。
21. 前記危険要素は、海底地形との衝突危険、周囲の船舶との衝突危険、気象による遭難危険、海域特性による遭難危険、外部地形との衝突危険を含み、前記危険要素が発見されたとき、アラーム機能を作動するアラーム段階を含むことを特徴とする、請求項２０に記載の天井移動型透明ディスプレイを用いた船舶用増強現実の具現方法。
22. 前記アラーム段階においてアラーム機能が作動した場合、前記船舶の航路を自動で修正するようにする制御信号を航法制御装置に送信する制御段階を含むことを特徴とする、請求項２１に記載の天井移動型透明ディスプレイを用いた船舶用増強現実の具現方法。

Images