JP6901306B2 - 情報投影システム及び情報投影方法 - Google Patents

Description

本発明は、情報投影システム及び情報投影方法に関する。

船舶の船橋には、操舵装置、出力調整装置、航海情報表示装置、無線通信装置、各種の計器類など、船舶の操縦に必要な装置が多数設置されている。乗務員は、これら多数の装置を監視、操作しながら船舶の操縦を行う。また、航行時の視認性の観点から、船橋には、窓ガラスが多数装備されており、乗務員の視野を確保するため、窓ガラスの周辺には装置を配置することが制限される。

なお、特許文献１には、ユーザの眼の位置に合わせて表示位置を自動的に調節することができるＨＵＤ（ヘッドアップディスプレイ）が開示されている。

特開２０１５−２２５１１９号公報

ところで、船橋の乗務員は、操船に必要とされる情報が表示されるモニタ、計器盤類などの位置に移動して、航行情報や自船のステータスを確認する必要があり、その間、周囲の外界視察作業を一旦中断する必要がある。このため、港湾や水道通過時など周囲を航行する船舶の多い状況では、乗務員を増員して外界の視察や情報収集と、操船作業を同時に実施する必要がある。このような理由により、船舶の操縦が自動化されていても、実際には省人化することができず、コストダウンの妨げとなっている。

そこでこの発明は、上述の課題を解決することのできる情報投影システム及び情報投影方法を提供することを目的としている。

本発明の第１の態様は、投影された情報と前記情報の投影面の反対側とが視認可能な船舶の窓へ、情報を投影する情報投影システムであって、前記船舶内における乗務員の画像を撮像する第１センサと、前記乗務員を撮像した画像を解析して前記乗務員の位置を検知するとともに前記乗務員を識別し、識別した前記乗務員について予め定められた職務を認識する乗務員情報解析部と、前記第１センサが検知した前記乗務員の位置に基づいて、前記船舶が備える複数の前記窓の中から前記乗務員の職務に必要な情報を表示させる前記窓を特定し、特定した前記窓における前記情報の表示位置を特定する表示位置特定部と、前記表示位置に前記情報を表示する情報投影部と、を備える情報投影システムである。

本発明の第２の態様における前記情報投影システムは、前記乗務員情報解析部は、前記画像を解析して前記乗務員の体の一部の向きを検知し、前記表示位置特定部は、前記乗務員情報解析部が検知した前記乗務員の体の一部の向きに正対する位置に設置された前記窓の少なくとも一部を前記表示位置として特定する。

本発明の第３の態様における前記情報投影システムは、予め定められた前記乗務員の職務に基づいて、前記乗務員の職務に必要な情報を選択する表示情報選択部、をさらに備える。

本発明の第４の態様における前記情報投影システムは、前記船舶に備えられた機器および第２センサから、船舶の運転状態を示す情報や船舶内外の環境情報を取得するデータ取得部、をさらに備え、前記表示情報選択部は、前記データ取得部が取得した情報の中から前記乗務員の職務に必要な情報を選択する。

本発明の第５の態様における前記情報投影システムは、前記乗務員が、前記情報投影部が表示する情報を指定する指定操作を入力する携帯端末装置、をさらに備え、前記表示情報選択部は、前記乗務員の指定操作に基づいて、前記乗務員の職務に必要な情報の中から、さらに前記乗務員が指定した情報を選択する。

本発明の第６の態様における前記情報投影システムは、前記乗務員が入力する音声情報を認識する音声認識部、をさらに備え、前記表示情報選択部は、前記音声認識部の認識結果に基づいて、前記乗務員の職務に必要な情報を選択する。

本発明の第７の態様は、投影された情報と前記情報の投影面の反対側とが視認可能な船舶の窓へ、情報を投影する情報投影システムによる情報投影方法であって、前記船舶内における乗務員の画像を撮像するステップと、前記乗務員を撮像した画像を解析して前記乗務員の位置を検知するとともに前記乗務員を識別し、識別した前記乗務員について予め定められた職務を認識するステップと、検知した前記乗務員の位置に基づいて、前記船舶が備える複数の前記窓の中から前記乗務員の職務に必要な情報を表示させる前記窓を特定し、特定した前記窓における前記情報の表示位置を特定するステップと、前記表示位置に前記情報を表示するステップと、を有する情報投影方法である。

本発明によれば、船橋窓からの外部監視と、船内機器監視を、視線をずらすことなく同時に行うことができる。また、船橋内での立ち位置を気にすることなく、正対した状態での情報表示にて、容易に情報を確認することができる。

本発明の情報投影システムの一例を示すブロック図である。 本発明の情報投影システムの適用例を説明する図である。 本発明の情報投影システムの制御装置の一例を示す機能ブロック図である。 本発明の情報投影システムの制御装置のハードウェア構成の一例を示す図である。 本発明の情報投影システムの構成例を説明する図である。 本発明の情報投影システムの処理の一例を示すフローチャートである。

＜実施形態＞
以下、本発明の一実施形態による情報投影システムを図１〜図６を参照して説明する。
図１は、本発明の情報投影システムの一例を示すブロック図である。
情報投影システム１００は、例えば、船舶の操縦を行ううえで乗務員が必要とする情報を船橋の窓に投影し表示する目的で使用される。
以下、情報投影システム１００が船橋に設置された場合を例に説明を行う。
図１に示すように情報投影システム１００は、カメラ３ａ，３ｂ，３ｃ、携帯端末装置４ａ，４ｂ、プロジェクター５ａ，５ｂ，５ｃ，５ｄ，５ｅ、スクリーン６ａ，６ｂ，６ｃ，６ｄ，６ｅ、制御装置１０を含んで構成される。また、制御装置１０は、機器１ａ，１ｂ、センサ２ａ，２ｂと接続され、これら、機器１ａ、センサ２ａなどから船舶の運転状態を示す情報や船舶内の環境、船舶が通過する環境の情報を取得する。以下、機器１ａ〜１ｂを総称して機器１、センサ２ａ〜２ｂを総称してセンサ２、カメラ３ａ〜３ｃを総称してカメラ３、携帯端末装置４ａ，４ｂを総称して携帯端末装置４、プロジェクター５ａ〜５ｅ総称してプロジェクター５、スクリーン６ａ〜６ｅ総称してスクリーン６と記載する。また、図１は、情報投影システム１００の基本的な構成を模式的に示したものであって、機器１、センサ２、カメラ３、携帯端末装置４、プロジェクター５、スクリーン６の数は図示したものに限定されない。

機器１は、操舵装置、出力調整装置、航海情報表示装置、無線通信装置などである。機器１は、例えば、船舶の速力、進行する方位、エンジンの回転数など船舶の運転状態を示す情報を制御装置１０に出力する。
センサ２は、温度計、風速計、レーダなど、船舶に設けられたセンサである。センサ２は、計測した船舶内外の情報（例えば、船舶内の設備の周囲の温度等の環境情報や船舶が通過する海域の風速等の環境情報）を制御装置１０に出力する。
これら機器１やセンサ２が出力する情報は、船橋の監視モニタ等に出力される情報であって、船舶の操縦に必要な情報である。
カメラ３は、例えば、船橋の天井や壁に設けられ、船橋に存在する乗務員を撮像する。カメラ３が撮像した画像は、乗務員の存在する位置の特定や、その乗務員がどのような職務に就いているかを識別する目的で用いられる。
携帯端末装置４は、乗務員が情報投影システム１００の操作を行う時に用いる操作用の携帯端末装置である。乗務員は、その職務に応じて船橋内の様々な位置に移動しながら、計器類やモニタなどを参照しながら、各々の職務を遂行する。従って、乗務員が操作に用いる操作端末は持ち運び可能な携帯端末装置であることが好ましい。例えば、携帯端末装置４は、制御装置１０に指示情報を送信することのできるリモートコントローラである。また、例えば、携帯端末装置４は、腕時計型等のウェアラブル端末装置であってもよい。
プロジェクター５は、制御装置１０が生成する画像をスクリーン６に投影する。制御装置１０が生成する画像には、船橋に設置された計器類が示す値や監視モニタに表示する情報が含まれる。
スクリーン６は、画像が投影された状態であっても投影された情報と情報の投影面の反対側（外界）とが共に視認可能な部材で構成されている。スクリーン６は、例えば、透明な受講膜（スクリーン）とガラスとを一体的に構成した部材であって、船橋の窓ガラスとして用いられている。図示するように、各スクリーン６ａ〜６ｅの各々に対して、プロジェクター５ａ〜５ｅが設置されていてもよいし、広範囲に画像を投影できる１〜２台のプロジェクター５（図示せず）によって、スクリーン６ａ〜６ｅの各々に画像を投影してもよい。乗務員は、窓（スクリーン６）から外界を視認しつつ、スクリーン６に投影された画像を見て、自身の職務に必要な情報を得ることができる。

図２は、本発明の情報投影システムの適用例を説明する図である。
図２（ａ）に船舶２０と船橋の位置２１を示す。図２（ｂ）に船橋を上方から見たときの窓位置を示す。図２（ａ）に示すように、船橋は視野を確保するために船舶２０の高所に設けられる。また、図２（ｂ）に示すように船橋には、例えば１８０°の視野を確保するために広範囲にわたって窓が設けられ、船舶２０の進行方向（前方）および左右の外界の様子を確認できるようになっている。船橋には複数の乗務員３０ａ〜３０ｃが存在している。これら、乗務員３０ａ〜３０ｃを総称して乗務員３０と記載する。複数の乗務員３０ａ等の各々には、個別の役割が与えられている。例えば、乗務員３０ａは、船舶２０の操舵を行う。また、例えば、乗務員３０ｂは、主機（エンジン）の状態を監視し制御する。また、例えば、乗務員３０ｃは、他の船や陸上との通信を担当する。ここで、操舵を行う乗務員３０ａは、船舶２０の速力、進行方位、エンジンの回転数などを確認しながら、舵を左右に切ったり船舶２０を真直ぐ前に進めたりして操縦を行う。また。エンジンを担当する乗務員３０ｂは、エンジンの回転数、動力機（モータ）の回転数、エンジンの温度、燃料の残量などを確認しながらエンジンの状態を監視する。また。通信士の乗務員３０ｃは、無線通信の通信状態等を確認しながら他の船舶との交信を行う。このように、乗務員３０ａ〜３０ｃは、異なる業務に就いているため、各々が必要とする情報は異なる。制御装置１０は、各乗務員が必要とする情報のみを選択して、スクリーン６に投影する画像を生成する。

また、各乗務員は、自らに課せられた職務を遂行するうえで、船橋内の複数の位置に移動して、例えば各位置に設置された操縦装置の操作を行う。これに対し、制御装置１０は、各乗務員が位置する場所に応じて、スクリーン６ａ〜６ｅのうち、その乗務員が視認しやすい窓（スクリーン６）を選択して、選択した窓に向かって画像を投影するよう制御する。さらに、例えば、進行方向の右側で監視すべき事象が生じていれば、外界の監視を担当する乗務員は、右側に顔や体を向けて、スクリーン６ｅを通じて外界を監視する。制御装置１０は、各乗務員の顔や体の向きが示す方向に位置するスクリーン６（窓）に向かって画像を投影するよう制御する。

例えば、図２において実線矢印の方向が各乗務員３０の顔の向きを示しているとすると、制御装置１０は、乗務員３０ａが必要とする速力、進行方位、エンジン回転数等の情報を含んだ画像を生成し、プロジェクター５にその画像をスクリーン６ａへと投影させる。また、制御装置１０は、乗務員３０ｂが必要とするエンジンの回転数、エンジンの温度等の情報を含んだ画像を生成し、プロジェクター５にその画像をスクリーン６ｃへと投影させる。また、制御装置１０は、乗務員３０ｃが必要とする無線通信などの通信状況や、他の船舶との通信状況等の情報を含んだ画像を生成し、プロジェクター５にその画像をスクリーン６ｄへと投影させる。

また、例えば、乗務員３０ｃが、破線矢印で示す方向に顔や体を向けたとする。すると、制御装置１０は、乗務員３０ｃへ提供する情報を含んだ画像の投影位置をスクリーン６ｄからスクリーン６ｃの右寄りの位置に切り替える制御を行う。例えば、図１に示すようにスクリーン６ｃへ投影する画像をプロジェクター５ｃが投影する場合、制御装置１０は、スクリーン６ｃへ投影する画像を生成し、プロジェクター５ｃへ出力するが、この例の場合、制御装置１０は、例えば、投影する画像の左側の領域に乗務員３０ｂへ提供する情報を配置し、投影する画像の右側の領域に乗務員３０ｃへ提供する情報を配置した１枚の画像を生成し、プロジェクター５ｃへ出力する。また、乗務員３０ｃとスクリーン６ｃとの位置関係をみると、乗務員３０ｃはスクリーン６ｃに投影された画像を斜め方向から見ることになる。このような場合、制御装置１０は、乗務員３０ｃへ提供する情報を含む画像部分について、いわゆる台形補正を行った画像を生成してもよい。つまり、制御装置１０は、スクリーン６ｃに正対する位置に存在する乗務員３０ｂへ提供する情報を長方形や正方形の領域中に配置した画像を生成する一方で、乗務員３０ｃへ提供する情報については、乗務員３０ｃから見て手前側の辺を短くし、遠い側の辺を長くした台形領域内に配置する画像を生成する。このようにすることで、乗務員３０ｃ等の存在する位置や顔の向きに依らず、視認しやすい形態で画像の投影を行うことができる。

情報投影システム１００によれば、乗務員は、船橋内のどの位置で職務を実施しているときでも、常に自分が把握しなければならない情報をスクリーン６で確認しながら、その情報が表示された窓越しに外界の様子を監視することができる。これによって、監視モニタと操縦装置との間を行き来したり、外界監視と操縦とを並行して行わなければならない状況に備えて乗務員を増員したりといった無駄を省くことができ、少数の乗務員３０ａ等で効率よく船舶の操縦を行うことができる。また、複数の乗務員３０が船橋内に存在する場合でも、それぞれの乗務員３０の位置に応じて、異なる表示位置に情報を表示することができる。

次に制御装置１０の機能について詳しく説明する。
図３は、本発明の情報投影システムの制御装置の一例を示す機能ブロック図である。
図示するように制御装置１０は、乗務員検知データ取得部１０１と、乗務員情報解析部１０２と、表示位置特定部１０３と、船舶運航データ取得部１０４と、表示情報選択部１０５と、画像生成部１０６と、出力部１０７と、指示情報受付部１０８と、音声認識部１０９と、記憶部１１０と、を備える。
乗務員検知データ取得部１０１は、カメラ３が撮像した画像と、当該画像を撮像したカメラの識別情報とを取得する。なお、記憶部１１０には、カメラの識別情報とカメラの設置位置が対応付けて記録されている。

乗務員情報解析部１０２は、カメラ３が撮像した画像を画像解析することにより、画像に写った乗務員の識別、存在位置の算出を行う。乗務員情報解析部１０２は、例えば、画像解析により顔認識を行ったり、乗務員が身に着けている腕章、バッジ、帽子、服などに基づく乗務員個人の識別を行う。記憶部１１０には、各乗務員３０とその乗務員の職務、職務が対応付けられて記録されており、乗務員情報解析部１０２は、この記録と画像解析の結果によって乗務員の職務を認識する。また、乗務員情報解析部１０２は、記憶部１１０に記録されたカメラの設置位置に基づくカメラ３が撮像できる船橋の範囲と、カメラ３が撮像した画像における乗務員の座標情報に基づいて、撮像された乗務員が船橋内のどこに存在するのかを算出する。乗務員情報解析部１０２は、画像に写った乗務員の識別情報と算出した乗務員の位置情報を表示位置特定部１０３へ出力する。また、乗務員情報解析部１０２は、画像に写った乗務員の識別情報とその乗務員の職務とを表示情報選択部１０５へ出力する。

表示位置特定部１０３は、カメラ３が撮像した画像に基づく乗務員の位置情報に基づいて、船橋に設けられた複数の窓におけるその乗務員へ提供する情報の表示位置を特定する。表示位置とは、例えば、図２の例では、スクリーン６ａ〜スクリーン６ｅのうちどのスクリーン６へ画像を投影するのかを指定する情報である。または、例えばスクリーン６ｃ内のどの領域に画像を投影するのかを指定する情報である。

船舶運航データ取得部１０４は、機器１やセンサ２から種々の情報を取得する。
表示情報選択部１０５は、乗務員情報解析部１０２が認識した乗務員の職務に基づいて、船舶運航データ取得部１０４が取得した情報の中から、乗務員の職務に必要な情報を選択する。なお、記憶部１１０には、職務とその職務に必要な情報の種類が対応付けて記録されている。表示情報選択部１０５は、この記録に基づいて情報の選択を行う。

画像生成部１０６は、表示情報選択部１０５が選択した情報を含んだ画像を生成する。例えば、乗務員の職務が船舶の操舵であれば、画像生成部１０６が生成した画像には、船舶運航データ取得部１０４が取得した船舶２０の速力、進行方位などに関する船舶運航データ取得部１０４が取得した最新の情報が含まれている。なお、画像生成部１０６は、１つの画像に複数の乗務員に提供する情報が含まれている場合、各乗務員に提供する情報を表示位置特定部１０３が特定した表示位置に配置した画像を生成する。

出力部１０７は、画像生成部１０６をプロジェクター５へ出力する。なお、図１で例示したようにプロジェクター５が複数台ある場合、出力部１０７は、表示位置特定部１０３が特定した表示位置に対応するスクリーン６へ画像の投影を行うプロジェクター５を選択して画像の出力を行う。

指示情報受付部１０８は、乗務員による携帯端末装置４を用いた入力した操作に対応する信号を受け付ける。例えば、携帯端末装置４には画像の表示、非表示を切り替えるスイッチが設けられており、乗務員３０がこのスイッチを操作すると、携帯端末装置４は画像の表示または非表示を指示する信号を送信し、指示情報受付部１０８がこの信号を取得する。あるいは、携帯端末装置４には画像に表示される情報の切り替えを指示するボタンが設けられており、乗務員３０がこのボタンを押下すると、携帯端末装置４は情報の切り替えを指示する信号を送信し、指示情報受付部１０８がこの信号を取得する。情報の切り替えとは、例えば、「ボタンＡ」に対して「速力」、「ボタンＢ」に対して「進行方位」、「ボタンＣ」に対して「エンジンの回転数」が割り当てられていて、乗務員３０ａが「ボタンＡ」を押下すると投影される情報の内容が船舶２０の速力に切り替わり、乗務員３０ａが「ボタンＢ」を押下すると投影される情報の内容が船舶２０の進行方位に切り替わることをいう。これにより乗務員３０は、必要のないときには情報を非表示とし、情報表示を指せる場合でも、必要な情報だけを表示させることができる。

音声認識部１０９は、乗務員が入力した音声情報を取得し、取得したその音声情報に対して音声認識処理を行う。音声認識部１０９は、音声認識処理を行った結果得られる指示情報を例えば、指示情報受付部１０８に出力する。また、音声認識部１０９は、乗務員が入力した音声情報を取得し、音声認識処理を行って必要とされる乗務員間での音声通信を確立する機能を有する。
記憶部１１０は、情報投影処理に必要な種々の情報を記憶する。

図４は、本発明の情報投影システムの制御装置のハードウェア構成の一例を示す図である。
コンピュータ９００は、ＣＰＵ９０１、主記憶装置９０２、補助記憶装置９０３、入出力インタフェース９０４、通信インタフェース９０５を備える。
上述の制御装置１０は、コンピュータ９００に実装される。そして、上述した各機能部（記憶部１１０を除く）は、プログラムの形式で補助記憶装置９０３に記憶されている。ＣＰＵ９０１は、プログラムを補助記憶装置９０３から読み出して主記憶装置９０２に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ９０１は、プログラムに従って、記憶部１１０に対応する記憶領域を主記憶装置９０２に確保する。また、ＣＰＵ９０１は、プログラムに従って、処理中のデータを記憶する記憶領域を補助記憶装置９０３に確保する。また、コンピュータ９００は、ＰＣ（personal computer）やサーバ端末装置である。少なくとも１つの実施形態において、補助記憶装置９０３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、入出力インタフェース９０４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ９００に配信される場合、配信を受けたコンピュータ９００が当該プログラムを主記憶装置９０２に展開し、上記処理を実行しても良い。

図５は、本発明の情報投影システムの構成例を説明する図である。
カメラ３は、例えば全周型のカメラである。カメラ３は、船橋内を撮像し、撮像した画像を制御装置１０へ送信する。制御装置１０では、乗務員検知データ取得部１０１がこの画像を取得し、乗務員情報解析部１０２が画像を解析して、画像内に乗務員３０が写っているかどうかを判定する。乗務員３０が写っている場合、乗務員情報解析部１０２は、画像内に写る乗務員３０の位置座標を算出し、船橋内の乗務員３０の位置を算出する。
制御装置１０の記憶部１１０には、乗務員３０のうち表示情報を出力する対象者であるか否かを示す情報が登録されている。また、記憶部１１０には、乗務員３０の顔画像や乗務員３０が身に着ける服、腕章、バッチ、ＩＣカード等に記録されたＩＤ番号などの特徴が登録されている。乗務員情報解析部１０２は、画像内に乗務員３０が写っている場合、この乗務員３０が表示情報を出力する対象者であれば、登録された顔画像や特徴に基づいて、乗務員３０を識別する。また、乗務員情報解析部１０２は、乗務員３０の顔の向きを画像解析により認識する。

制御装置１０（船舶運航データ取得部１０４）は、船内ネットワークなどを経由し、所要の船内の各種機器情報及びセンサ２による計測情報を収集する。
記憶部１１０には、乗務員３０毎にその乗務員３０の職務が登録されている。また、記憶部１１０には、職務に対応付けてその職務を行ううえで必要な情報がどのような情報であるかが登録されている。表示情報選択部１０５は、乗務員３０の職務に基づき、収集した情報から必要な情報を選択する。

制御装置１０（画像生成部１０６）は、船橋の窓との位置関係から、表示情報を出力する対象者の位置から見た際に、正対した画角で視認できるように適切な角度に傾斜させた画像を生成する。
制御装置１０（表示位置特定部１０３）は、乗務員３０の存在する位置と顔の向きに応じて、画像を投影する窓を特定する。例えば、例えば、表示位置特定部１０３は、顔の向きと正対する位置に存在する窓を画像の投影先として特定する。また、特定した窓において、その窓のどの領域に情報を表示すべきかを特定する。例えば、記憶部１１０には、乗務員３０の目の高さが登録されていて、その高さに合わせた領域を、情報を表示すべき領域として特定してもよい。また、情報の表示位置について、乗務員３０の好みに応じて任意に設定できるようにしてもよい。
一例として、船橋の窓（スクリーン６）は、窓ガラス６１、６３の間に受光膜６２を組み込んで構成されており、プロジェクター５などの投影装置などから投影された画像を表示する。窓の構成の他の例として、窓ガラスの表面に受光膜を貼りつけた構成であってもよい。

乗務員３０は、ヘッドフォンとマイクを内蔵したヘッドセット４１、腕時計型装置４２を装着している。これら、ヘッドセット４１、腕時計型装置４２は、携帯端末装置４の一例である。乗務員３０は、腕時計型装置４２に表示する情報を指定する指定操作を行って、船橋の窓に表示される情報の切り替えを指示する。あるいは、乗務員３０は、ヘッドセット４１を通して音声によって表示情報を指定する情報を制御装置１０へ入力して、船橋の窓に表示される情報の切り替えを指示してもよい。音声認識部１０９は、音声情報を取得して音声解析を行い、「速力」、「進行方位」、「エンジンの回転数」などの表示を切り替える指示情報を生成する。画像生成部１０６はこの指示情報に基づいてｈ投影する画像を生成する。また、制御装置１０は、船舶２０の操縦装置と接続されていて、乗務員３０が音声によって操作指示をヘッドセット４１に入力すると、音声認識部１０９によって認識された操作指示情報を船舶２０の操縦装置へ出力して操縦装置を制御し、音声によって船舶２０の操縦を行えるようにしてもよい。
また、ヘッドセット４１には無線通話機能（例えばインカム）を搭載されている。これにより、複数の乗務員３０の間での通話が可能である。無線通話機能を備えたヘッドセット４１等を装着することで、１対１、１対多の会話を行って、他の乗務員３０と通話品質が高い手段でコミュニケーションをとることができるので、外界からの騒音などによる口頭通話の阻害の可能性を低減することができる。なお、他の乗務員３０と会話を行う場合、会話の対象に対する呼びかけ（例えば相手の名前を言う）を行い、音声認識部１０９がこの呼びかけに基づいて、会話の相手を特定し、特定した相手との音声通話を確立し、その後、通話できるような制御を行ってもよい。

図６は、本発明の情報投影システムの処理の一例を示すフローチャートである。
図６を用いて、情報投影処理の流れの一例について説明する。
まず、カメラ３が所定の継続的に船橋内を撮像する（ステップＳ１１）。乗務員検知データ取得部１０１は、カメラ３が撮像した画像を取得し、その画像を乗務員情報解析部１０２に出力する。次に乗務員情報解析部１０２は、カメラ３が撮像した画像を解析して、乗務員の位置、顔の向き、職務の情報を得る（ステップＳ１２）。
これらの処理と並行して、船舶運航データ取得部１０４は、例えば、所定の時間間隔で船舶２０内の機器１から設備の稼働状況や、センサ２が計測した計測情報を取得する（ステップＳ１３）。次に、表示情報選択部１０５が、乗務員情報解析部１０２が認識した乗務員３０の職務の情報に基づいて、船舶運航データ取得部１０４が取得した各種情報の中から乗務員３０の職務に必要な情報を選択する（ステップＳ１４）。また、表示位置特定部１０３が、乗務員情報解析部１０２が認識した乗務員３０の位置と顔の向きの情報に基づいて、乗務員３０が正対して見ることができる窓がどの窓であるか、さらにその窓のどの領域が情報を表示すべき領域であるかを特定する（ステップＳ１５）。次に画像生成部１０６が表示すべき情報（ステップＳ１４で選択された乗務員３０の職務に必要な情報）を含んだ画像を生成する（ステップＳ１６）。例えば、１つの画像に複数の乗務員３０に提供する情報が含まれている場合、画像生成部１０６は、１つの画像内の適切な表示位置（ステップＳ１５で特定した表示位置）に各々の乗務員３０向けに選択された情報を配置した画像を生成する。出力部１０７は、画像生成部１０６が生成した画像を、ステップＳ１５で特定した適切な表示位置を含む窓への画像の投影を担当するプロジェクター５へ出力する。プロジェクター５は、乗務員３０の職務に必要な情報を適切な表示位置へ投影する（ステップＳ１７）。次に指示情報受付部１０８が、乗務員３０による表示情報を指定する情報を入力すると、表示情報選択部１０５は、乗務員の職務に必要な情報の中から、さらに乗務員３０が指定した情報を選択する。画像生成部１０６は、乗務員３０が指定した情報を含んだ画像を生成する。プロジェクター５は、新たに生成された画像を投影し、表示内容を変更する（ステップＳ１８）。

本実施形態によれば、船橋窓からの外部監視と、船内機器監視を、視線をずらすことなく同時に行うことができる。また、船橋内での立ち位置を気にすることなく、職務の実行に必要な情報を容易に確認することができる。また、携帯端末装置４（ウェアラブル装置を含む）を介して、窓に投影する情報の切り替え制御が可能である。これにより乗務員３０が扱う情報の輻輳を抑え、乗務員３０の負担を軽減することができる。

従来、船橋の環境には以下のような課題が存在する。
１．乗務員は、操船に必要とされる情報が表示されるモニタ、計器類などの設置場所に移動して航行情報や自船のステータスを確認する必要があり、動線／移動距離、装備位置や高さなど装備品の配置設計に対する制約が大きい。
２．情報収集中は、周囲の外界視察作業（水上線の見通し、自船周囲の監視）を一旦中断せざるを得ず、その時間は視線を外すため外界情報の確認が困難となり、港湾や水道通過時など周囲を航行する船舶の多い場合は乗務員を増員して外界情報収集と操船作業を同時に実施する必要がある。
３．近年の自動化された船舶においては、乗務員の人数を減らして運航することが可能となっている一方で、上記の理由により一定の人員が必要とされており、運航コストの厳しい競争にある運搬船等では省人化の妨げとなっている。
４．取得した情報の伝達（周辺監視、機器監視、操船情報など）においても、現状では乗務員が口頭での情報授受を行う事が多く、前述の操船、計器盤類読取、外界視察など、輻輳する状況と重なって誤った情報が伝わる可能性があり、乗務員は常に高いストレス環境に置かれる。
これに対し、本実施形態の情報投影システム１００によれば、モニタ、計器類に表示される情報が船橋の窓に表示されるので、上記の１．について、乗務員３０はモニタ等の位置に移動する必要がなく、また、乗務員３０の動線を配慮する必要が無い為、装備品の配置設計に対する制約が緩和される。また、乗務員３０が移動しても、常に最も近傍の窓ガラスに必要な情報が表示されるため、外界監視を行う視線を保ったままで操船が可能となる。また、上記の２．および３．について情報投影システム１００によれば、外界の監視と情報収集とを窓に視線を向けることで同時に行うことができるため、少人数の乗務員で船橋内の職務を実施することができる。また、上記の４．について、窓に情報を投影することで、船橋内の全ての乗務員が同じ情報を参照することができ、必要な場合、情報共有を行うことができる。その為、口頭による情報授受の負担を低減することができる。また、上述のように窓に視線を向けることで、周辺監視と機器監視を同時に行うことができるので、情報が輻輳する状況を緩和することができる。

その他、本発明の趣旨を逸脱しない範囲で、上記した実施の形態における構成要素を周知の構成要素に置き換えることは適宜可能である。また、この発明の技術範囲は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。例えば、情報投影システム１００を空港の管制塔に適用することも可能である。例えば、乗務員３０の位置は、ＧＰＳ（Global Positioning System）やＷｉｆｉを利用して測位した位置情報によって推定してもよい。また、カメラ３は動画を撮像してもよいし、所定の時間間隔で静止画を撮像してもよい。なお、プロジェクター５は情報投影部の一例である。船舶運航データ取得部１０４はデータ取得部の一例である。カメラ３は第１センサ、第２センサの一例である。センサ２は、第３センサの一例である。

１００・・・情報投影システム
１、１ａ，１ｂ・・・機器
２、２ａ，２ｂ・・・センサ
３、３ａ、３ｂ、３ｃ・・・カメラ
４、４ａ、４ｂ、・・・携帯端末装置
５、５ａ、５ｂ、５ｃ、５ｄ、５ｅ・・・プロジェクター
６、６ａ、６ｂ、６ｃ、６ｄ、６ｅ・・・スクリーン
１０・・・制御装置
１０１・・・乗務員検知データ取得部
１０２・・・乗務員情報解析部
１０３・・・表示位置特定部
１０４・・・船舶運航データ取得部
１０５・・・表示情報選択部
１０６・・・画像生成部
１０７・・・出力部
１０８・・・指示情報受付部
１０９・・・音声認識部
１１０・・・記憶部

Claims (7)

1. 投影された情報と前記情報の投影面の反対側とが視認可能な船舶の窓へ情報を投影する情報投影システムであって、
   前記船舶内における乗務員の画像を撮像する第１センサと、
   前記乗務員を撮像した画像を解析して前記乗務員の位置を検知するとともに前記乗務員を識別し、識別した前記乗務員について予め定められた職務を認識する乗務員情報解析部と、
   前記第１センサが検知した前記乗務員の位置に基づいて、前記船舶が備える複数の前記窓の中から前記乗務員の職務に必要な情報を表示させる前記窓を特定し、特定した前記窓における前記情報の表示位置を特定する表示位置特定部と、
   前記表示位置に前記情報を表示する情報投影部と、
   を備える情報投影システム。
2. 前記乗務員情報解析部は、前記画像を解析して前記乗務員の体の一部の向きを検知し、
   前記表示位置特定部は、前記乗務員情報解析部が検知した前記乗務員の体の一部の向きに正対する位置に設置された前記窓の少なくとも一部を前記表示位置として特定する、
   請求項１に記載の情報投影システム。
3. 予め定められた前記乗務員の職務に基づいて、前記乗務員の職務に必要な情報を選択する表示情報選択部、
   をさらに備える請求項１または請求項２に記載の情報投影システム。
4. 前記船舶に備えられた機器および第２センサから、船舶の運転状態を示す情報や船舶内外の環境情報を取得するデータ取得部、
   をさらに備え、
   前記表示情報選択部は、前記データ取得部が取得した情報の中から前記乗務員の職務に必要な情報を選択する、
   請求項３に記載の情報投影システム。
5. 前記乗務員が、前記情報投影部が表示する情報を指定する指定操作を入力する携帯端末装置、をさらに備え、
   前記表示情報選択部は、前記乗務員の指定操作に基づいて、前記乗務員の職務に必要な情報の中から、さらに前記乗務員が指定した情報を選択する、
   請求項３または請求項４に記載の情報投影システム。
6. 前記乗務員が入力する音声情報を認識する音声認識部、
   をさらに備え、
   前記表示情報選択部は、前記音声認識部の認識結果に基づいて、前記乗務員の職務に必要な情報を選択する、
   請求項３から請求項５の何れか１項に記載の情報投影システム。
7. 投影された情報と前記情報の投影面の反対側とが視認可能な船舶の窓へ情報を投影する情報投影システムによる情報投影方法であって、
   前記船舶内における乗務員の画像を撮像するステップと、
   前記乗務員を撮像した画像を解析して前記乗務員の位置を検知するとともに前記乗務員を識別し、識別した前記乗務員について予め定められた職務を認識するステップと、
   検知した前記乗務員の位置に基づいて、前記船舶が備える複数の前記窓の中から前記乗務員の職務に必要な情報を表示させる前記窓を特定し、特定した前記窓における前記情報の表示位置を特定するステップと、
   前記表示位置に前記情報を表示するステップと、
   を有する情報投影方法。

Images