JP6809959B2 - 移動体情報提供サービスシステム、移動体情報提供サービスサーバー装置、移動体窓用装置及び移動体情報提供サービス方法 - Google Patents

Description

この発明は、例えば、列車、自動車、バス、船舶、航空機などの移動体を利用して移動している利用者（ユーザー）に対して、種々の情報を提供するシステム、装置、方法及びプログラムに関する。

後に記す特許文献１には、バスや列車の車両の窓ガラスに、現在位置に合わせ、現実の風景に重ね合わせて地名や河川・山岳名や店舗名などのナビゲーション画像を表示したり、視界が遮られているときに現実の風景に代わる風景画像を表示する車載用画像表示装置等に関する発明が開示されている。また、後に記す特許文献２には、現在位置と、窓が山側か海側かに応じて、風景解説案内画像情報を、列車などの車両の窓に設けられている表示バイスに表示する機能を備えた車内情報提供サービスシステム等に関する発明が開示されている。

特許文献１と特許文献２に記載された発明は、いずれも列車などの窓から現に見えている、あるいは、遮蔽物がなければ現に見える景色（風景）に関する情報を提供することを第１の目的としている。これにより、例えば旅行時などにおいて、車窓から見える山や川など名称を知りたいといったことはよくあるが、このような要求に適切に対応し、乗客を満足させることができる。つまり、従来は、列車などでの移動中には、単に風景を眺めて楽しむだけであったのに対して、車窓から現に見えている、あるいは、遮蔽物がなければ見える景色に関する情報が得られ、乗客の知識欲を満足させることができる。

特開２００４−２０２２３号公報 国際公開２００９／１４７８８０号

しかしながら、上述した特許文献１、特許文献２に記載の発明は、予め用意されている画像情報を、現在位置に応じて利用するものである。山や川などはその位置を変えることは少ないものの、道路、橋梁、建物などは、比較的に短期間に増えたり、減ったりするため、景観に変化を及ぼし、ある時まで列車の窓から見えていた例えば山などが見えなくなったり、ある時まで見えなかった例えば川などが見えるようになったりする場合がある。

このため、実際に見える景色に対応して、景色に関する情報を提供できるようにすることが望ましい。例えば、実際に見えるものは見えるものとして案内し、見えないものは、見えないものとして案内した上で、見える場合にはこのように見えるといったことまで案内できればよりよい。また、現在位置を客観的に把握できる情報、実際には見えない名所旧跡のある方向を示す情報、気象条件が悪いために見えないが、気象条件が良ければ見える地物に関する情報など、乗客の要求により合致したきめ細かな情報が提供できればよりよい。

以上のことに鑑み、この発明は、移動体の利用時に乗客に対して、より適切にきめ細かな情報を提供すると共に、乗客の利便性をより向上させることを目的とする。

上記課題を解決するため、請求項１に記載の発明の移動体情報提供サービスシステムは、
移動体の窓に対応して設けられる移動体窓用装置と、移動体情報提供サービスサーバー装置とがネットワークを介して接続されて構成される移動体情報提供サービスシステムであって、
前記移動体窓用装置は、
窓に配設される透過型表示手段と、
現在位置測位手段と、
前記窓から見える移動体の外の景色を撮像する撮像手段と、
前記現在位置測位手段で測位された現在位置情報と前記撮像手段で撮像された画像情報とを、前記移動体情報提供サービスサーバー装置に送信する第１の送信手段と、
前記移動体情報提供サービスサーバー装置から送信されて来る提供情報を受信する第１の受信手段と、
前記第１の受信手段で受信された前記提供情報を、前記透過型表示手段に表示する表示処理手段と
を備え、
前記移動体情報提供サービスサーバー装置は、
前記移動体窓用装置から送信されて来る前記現在位置情報と前記画像情報とを受信する第２の受信手段と、
前記第２の受信手段で受信した前記現在位置情報と前記画像情報とに基づいて、必要となる情報を取得し、前記移動体窓用装置に提供する前記提供情報を生成する生成手段と、
前記生成手段で生成された前記提供情報を、前記移動体窓用装置に送信する第２の送信手段と
を備えることを特徴とする。

この発明によれば、移動体の利用時に乗客に対して、より適切にきめ細かな情報を提供すると共に、乗客の利便性をより向上させることができる。

移動体情報提供サービスシステムの全体構成を説明するための図である。 サーバーの構成例を説明するためのブロック図である。 窓用装置の構成例を説明するためのブロック図である。 窓用装置の透過型ディスプレイへの映像の表示例を示す図である。 窓用装置の透過型ディスプレイへの映像の表示例を示す図である。 サーバーの処理と窓用装置の処理について説明するためのフローチャートである。 乗客の属性、嗜好、ＴＰＯに応じた案内情報を提供する場合に窓用装置３で実行される処理を説明するためのフローチャートである。 図７に示したステップＳ１０３の処理において用いられる情報入力画面の例を示す図である。 図７に示したステップＳ１０３の処理において用いられる情報入力画面の例を示す図である。 図７に示したステップＳ１０３の処理において用いられる情報入力画面の例を示す図である。 乗客の属性、嗜好、ＴＰＯに応じた案内情報を提供する場合にサーバー１で実行される処理を説明するためのフローチャートである。

以下、図を参照しながら、この発明のシステム、装置、方法、プログラムの実施の形態について説明する。この発明は、移動体として、列車、バス、自動車、船舶、航空機などの窓のある種々の移動体を利用する場合に適用できる。しかし、以下においては、説明を簡単にするため、移動体として列車を利用する場合を例にして、この発明について説明する。

［移動体情報提供サービスシステムの全体構成］
図１は、この実施の形態の移動体情報提供サービスシステムの全体構成を説明するための図である。図１に示すように、この実施の形態に移動体情報提供サービスシステムは、移動体情報提供サービスサーバー装置（以下、単にサーバーと記載する）１と、列車４の各車両の各窓Ｗ（１）、Ｗ（２）、…のそれぞれに対応して設けられる移動体窓用装置（以下、窓用装置と記載する）３（１）、３（２）、…が、ＩｏＴ（Internet of Things）プラットホーム２を通じて接続されて構成される。また、ＩｏＴプラットホーム２には、気象情報サーバー５、交通情報サーバー６などの種々の情報を提供するサーバー装置も接続されている。

サーバー１は、後述する窓用装置３（１）、３（２）、…のそれぞれからの情報の提供を受けて、窓用装置３（１）、３（２）、…のそれぞれに提供する案内情報などを生成し、これを対応する窓用装置３（１）、３（２）、…に提供する。具体的に、サーバー１で生成される案内情報は、列車４の各窓Ｗ（１）、Ｗ（２）、…から現に見えている景色（風景）に関する情報を含む。更に、対応する窓用装置３（１）、（２）、…の現在位置を示す地図、対応する窓Ｗ（１）、Ｗ（２）、…のそれぞれを通じてこれから見える地物である対象についての情報を含む。また、対応する窓Ｗ（１）、Ｗ（２）、…のそれぞれを通じては見えないが所定の地物である対象の所在方向を示す情報を含む。

その他、サーバー１が生成する提供情報には、列車４の乗客の属性、嗜好、ＴＰＯに応じた情報を含む。なお、ＴＰＯは、Time（時間）、Place（場所）、Occasion（場合）の頭文字を取って示したものである。このため、「ＴＰＯに応じた情報」は、時と場所と場合に応じた情報を意味するが、この明細書では、時間だけ、場所だけ、場合だけに応じた情報もＴＰＯに応じた情報と表現する。

ＩｏＴプラットホーム２は、インターネット、携帯電話網、一般公衆電話網、無線ＬＡＮ（Local Area Network）などを含み、これに接続された機器が、相互に通信を行うことができる環境を提供する。ＩｏＴプラットホーム２を通じては、インターネットを実現しているネットワーク・プロトコルであるＩＰ（Internet Protocol）を用いて通信を行うことができる。このため、ＩｏＴプラットホーム２を通じては、各機器はＩＰアドレスを用いることにより、自機の所在を通信の相手先に知らせ、また、通信の相手先を特定できる。

窓用装置３（１）、３（２）、…のそれぞれは、図１に示したように、列車４の各車両の各窓Ｗ（１）、Ｗ（２）、…のそれぞれごとに設けられる。したがって、図１には図示していないが、図１に示した車両の反対側の側面に設けられた窓のそれぞれに対しても、それぞれごとに窓用装置３（１６）、３（１７）、…が設けられる。

そして、窓用装置３（１）、（２）、…のそれぞれは、詳しくは後述するが、対応する窓Ｗ（１）、Ｗ（２）、…に対して配設された透過型ディスプレイ、ＧＰＳ部、カメラ部などを備えたものである。窓用装置３（１）、（２）、…のそれぞれは、自機の現在位置を示す現在位置情報や撮影した画像情報（撮影画像情報）、乗客からの指示入力情報などをサーバー１に送信する。上述したように、サーバー１は、窓用装置３（１）、３（２）、…からの情報に基づいて、案内情報などを生成し、これを対応する窓用装置３（１）、３（２）、…に送信して来る。このため、窓用装置３（１）、３（２）、…のそれぞれは、サーバー１からの案内情報などを受信し、これに応じた情報を、窓Ｗ（１）、Ｗ（２）、…に配設された透過型ディスプレイに表示し、乗客に提供する。

気象情報サーバー５や交通情報サーバー６などは、サーバー１が把握していない気象情報や交通情報を、サーバー１からの要求に応じてサーバー１に提供できるものである。もちろん、気象情報サーバー５や交通情報サーバー６などは、サーバー１以外の種々の相手先にも情報の提供ができる。

そして、この実施の形態の移動体情報提供サービスシステムにおいて、サーバー１は、窓用装置３（１）、３（２）、…からの情報に応じて、上述したように、窓から見える風景に関連した情報だけでなく、種々の提供情報を提供できるものである。これにより、列車４の乗客に対して、より適切にきめ細かな情報を提供すると共に、乗客の利便性をより向上させることができるようにしている。

以下、この実施の形態の移動体情報提供サービスシステムを構成するサーバー１、窓用装置３（１）、３（２）、…の構成例と動作について説明する。なお、図１に示したように、列車４の各車両の各窓Ｗ（１）、Ｗ（２）、…に対応して設けられる窓用装置３（１）、３（２）、…のそれぞれは、同様に構成されるものである。このため、以下においては、特に区別して示す必要がある場合を除き、窓用装置３（１）、３（２）、…のそれぞれを「窓用装置３」と総称する。同様に、列車４の各窓Ｗ（１）、Ｗ（２）についても、特に区別して示す必要がある場合を除き「窓Ｗ」と総称する。

［移動体情報提供サービスサーバー装置１の構成例］
図２は、サーバー１の構成例を説明するためのブロック図である。通信インターフェース（以下、通信Ｉ／Ｆと記載する。）１０１は、ＩｏＴプラットホーム２を通じて通信を行う機能を実現する。制御部１０２は、図示しないが、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリなどを備え、サーバー１の各部を制御する。記憶装置１０３は、例えばハードディスクなどの大容量記録媒体を備え、当該大容量記録媒体へのデータの書き込み、記憶保持、読み出し、消去を行う。

そして、サーバー１は、地図ＤＢ１０４、施設ＤＢ１０５、景色画像ＤＢ１０６、地域情報ＤＢ１０７、翻訳辞書ＤＢ１０８を備える。これら地図ＤＢ１０４等における文字「ＤＢ」は「Data Base」の略称である。すなわち、地図ＤＢ１０４等は、データの蓄積・検索・更新などに便利なように有機的に整理されたデータ（情報）の集まりを意味している。

具体的に、地図ＤＢ１０４は、市街図、道路図、広域図、地方図、全国図を表示するための地図データを記憶する。これらの地図は、例えば、現在位置などを使用者に示すために使用される。なお、市街図、道路図、広域図、地方図、全国図を表示するための地図データは、地図を描画するための例えばベクトルデータやラスタデータ、注記（注釈）データなどを含む。

また、地図ＤＢ１０４は、窓用装置３が搭載された列車４が走行する沿線などの３Ｄ（3Dimensional）地図の地図データも記憶する。３Ｄ地図は、簡単には、２次元の地図情報に対して、更に土地の標高や建物などの地物の高さといった３次元情報を付加した地図である。２次元の地図よりもリアルに空間を表現することが可能で、山や建物などの建造物の形状などについても正確に表現することができるものである。

施設ＤＢ１０５は、緯度・経度により特定される種々の施設についての情報を記憶する。ここで、施設は、公共施設、観光施設、レジャー施設、宿泊施設、名所、旧跡などといったものの他、広くビル、橋梁、タワーといったいわゆるランドマーク（目印）となる建築物、道路、山、川、海水浴場などの種々の拠点（注目する場所）などを含む。そして、施設ＤＢ１０５は、各施設の名称や、各施設がどのような施設なのか、どのような特徴を有しているかなど、各施設の詳細情報を記憶している。

景色画像ＤＢ１０６は、列車４の窓から見える景色の画像データを記憶する。この場合、春夏秋冬のそれぞれに応じた景色の画像データ、朝昼夕夜のそれぞれに応じた景色の画像データ、また、晴れ、曇り、雨、雪などのそれぞれの気象時に応じた景色の画像データ、縄文、弥生、奈良、…といった各時代に応じた景色の画像データなど、種々の場合の景色の画像データを記憶する。

地域情報ＤＢ１０７は、地域ごとに、イベントの開催情報、特産物情報、おすすめの観光スポットなどの種々の情報を記憶する。この場合の地域は、例えば、北海道、東北、関東などといったいわゆる地方、都道府県、市区町村といった行政区域、特別に設定された観光地域、商業地域、工業地域などである。

なお、図２には図示しないが、サーバー１は、ネットワークＤＢなども備えている。ネットワークＤＢは、道路ネットワークＤＢ、歩行者ネットワークＤＢ、交通機関ネットワークＤＢなどからなる。道路ネットワークＤＢは、主に自動車で移動する場合のルート（経路）を探索するためのものである。歩行者ネットワークＤＢは、徒歩により移動する場合のルート（経路）を探索するためのものである。交通機関ネットワークＤＢは、公共交通機関として、電車、バス、モノレール、飛行機、船舶などにより移動する場合のルート（経路）を探索するためのものである。交通機関ネットワークＤＢは、いわゆるネットワークデータの他、時刻表、料金表などの情報も記憶している。このネットワークＤＢの情報により、移動手段に応じてルートの探索などを行い、その結果を提供できる。

窓方向判別部１０９は、詳しくは後述する窓用装置３からの撮影画像情報に基づいて、窓方向の判別を判別する。すなわち、窓方向判別部１０９は、窓が列車４の進行方向に向かって左側に設けられた窓か右側に設けられた窓かを判別する。この実施の形態において、窓用装置３から撮影画像情報は動画である。このため、窓方向判別部１０９は、時間軸方向に沿って２枚以上（２フレーム以上）の撮影画像情報のそれぞれから特徴点を抽出して、その特徴点の流れる方向を判別する。

これにより、窓方向判別部１０９は、撮影画像情報は進行方向に向かって左右どちら側の窓近傍のカメラによって撮影されたものかを判別する。したがって、撮影画像情報が左から右に流れていれば、当該撮影画像情報は、進行方向右側の窓近傍のカメラから撮影されたのであると判別できる。逆に、撮影画像情報が右から左に流れていれば、当該撮影画像情報は、進行方向左側の窓近傍のカメラから撮影されたのであると判別できる。窓方向判別部１０９の判別結果は、地物検出部１１１などに通知される。

撮影画像特徴抽出部１１０は、撮影画像情報内の特徴物（特徴物の画像）を抽出する。例えば、撮影画像情報の連続する所定数以上（所定フレーム以上）に現れる物、撮影画像情報の各フレームにおいて、所定割合以上を占める物、などを抽出する。前者の例としては、ビル、タワー、橋梁、城や城郭、公園、神社仏閣、飛行場、駅舎などの種々の建造物等であり、後者の例としては、山岳、海、河川、湖沼、草原、田園など、比較的に広い範囲に及ぶ自然地形などがある。撮影画像特徴抽出部１１０での抽出結果は、地物検出部１１１に通知される。

地物検出部１１１は、地図ＤＢ１０４の３Ｄ地図を参照し、移動体である列車４の現在位置、より具体的には窓用装置３からの現在位置を基準にし、窓方向判別部１０９で判別された側（方向）に所定距離以内であって、進行方向の所定角度内の範囲の地物を検索する。ここで、所定距離は、肉眼で山岳などが見えるのであれば、その山岳を含む範囲となる。また、所定角度は、移動体である列車の例えば移動速度なども考慮し、所定の時間の間、列車の窓から見える風景の範囲となる。そして、地物検出部１１１は、地図ＤＢ１０４の３Ｄ地図の位置情報、形状情報、高さ情報などを参照し、撮影画像特徴抽出部１１０で抽出した特徴物に合致する地物を特定し、これを案内情報生成部１１２に通知する。

案内情報生成部１１２は、地物検出部１１１で特定した地物の属性情報を、施設ＤＢ１０５から取得し、窓用装置３の透過型ディスプレイに表示する案内情報を生成する。つまり窓用装置３の透過型ディスプレイが設けられている窓Ｗから見える景色に関する情報（景色に対して付加するようにする情報）を形成する。

さらに、案内情報生成部１１２は、窓用装置３からの現在位置情報に応じて位置を示す地図（現在位置を示す地図）や窓用装置３の透過型ディスプレイが設けられている窓Ｗを通じてこれから見える地物についての情報も生成する。また、案内情報生成部１１２は、窓Ｗを通じては見えないが、例えば著名な所定の地物である対象の所在方向を示す情報も生成する。

現在位置を示す地図は、現在位置に基づいて、地図ＤＢの例えば地方図を利用することにより生成できる。また、窓Ｗを通じてこれから見える地物についての情報は、現在位置、窓方向に基づいて、地図ＤＢ１０４の地図情報を参照し、現在位置からは見えないが、例えば数分後に見える特徴的な地物を抽出する。そして、案内情報生成部１１２は、当該抽出した地物に関する情報を、地図ＤＢ１０４や施設ＤＢ１０５から抽出し、これを利用して窓Ｗを通じてこれから見える地物についての情報を生成する。

また、窓Ｗを通じては見えないが、例えば著名な所定の地物である対象の所在方向を示す情報についても、地図ＤＢ１０４の地図情報を参照し、現在位置からは見えないが、予め設定されている著名な地物の所在位置を特定する。そして、案内情報生成部１１２は、窓用装置３からの現在位置を基準にして当該特定した著名な地物の所在方向を示す矢印などの表示情報を、当該対象の所在方向を示す情報として生成する。

指示入力情報抽出部１１３は、窓用装置３から送信されて来る情報から、窓用装置３の利用者である列車４の乗客によって入力された指示入力情報を抽出し、これを個別対応情報生成部１１４に供給する。なお、指示入力情報は、詳しくは後述もするが、当該利用者の属性情報、嗜好情報、ＴＰＯ情報、スケジュール情報など、種々の情報が含まれる。

個別対応情報生成部１１４は、指示入力情報抽出部１１３において抽出された指示入力情報に基づいて、景色画像ＤＢ１０６や地域情報ＤＢ１０７から窓用装置３の利用者に対して提供する個別対応情報を生成する。なお、個別対応情報生成部１１４は、不足する情報がある場合には、通信Ｉ／Ｆ１０１を通じてＩｏＴプラットホーム２に接続されている他のサーバー装置にアクセスし、必要な情報を取得し、これに応じて個別対応情報を生成することができる。

翻訳処理部１１５は、窓用装置３の利用者によって日本語以外の言語が選択された場合に、案内情報生成部１１２で生成された案内情報や個別対応情報生成部１１４で生成された個別対応情報を翻訳する。この場合、翻訳処理部１１５は、翻訳辞書ＤＢ１０８の目的とする言語の辞書を参照して翻訳を行う。

そして、案内情報生成部１１２で生成された案内情報や個別対応情報生成部１１４で生成された個別対応情報、あるいは、翻訳処理部１１５で翻訳された案内情報や個別対応情報は、通信Ｉ／Ｆ１０１を通じて、現在位置情報などの送信元の窓用装置３に送信される。

このように、サーバー１は、窓用装置３からの現在位置情報などの種々の情報に基づいて、案内情報や個別対応情報を生成し、これを現在位置情報など情報の送信元の窓用装置３に提供できるものである。特に特徴的な点として、サーバー１が生成する提供情報は、
（１）窓Ｗから現に見えている景色（風景）に関する情報
（２）窓用装置３の現在位置を示す地図
（３）窓Ｗを通じてこれから見える地物である対象についての情報
（４）窓Ｗを通じては見えないが所定の地物である対象の所在方向を示す情報
（５）乗客の属性、嗜好、ＴＰＯに応じた情報
の５つの情報を生成して提供することができるようにしている。

そして、（１）の窓Ｗから現に見えている景色（風景）に関する情報については、窓用装置３からの撮影画像情報に基づいて、現に見える地物についての案内情報を提供できるようにしている。さらに、従来は対応できていなかった、（２）〜（５）についての情報も、窓用装置３に提供できるようにしている。

［窓用装置３の構成例］
図３は、窓用装置３の構成例を説明するためのブロック図である。窓用装置３の構成上において重要な点は、列車４の窓Ｗの前面に透過型ディスプレイ（透明ディスプレイ）３０６が設けられていると共に、当該透過型ディスプレイ３０６に対応してタッチセンサ３０７が設けられている点である。これら透過型ディスプレイ３０６とタッチセンサ３０７とで、タッチパネルが構成される。

透過型ディスプレイ３０６は、ディスプレイ上に情報を表示しつつ、そのディスプレイの向こう側が透けて見える構造を有する。そして、透過型ディスプレイ３０６を備えることにより、窓Ｗから見える景色に対する情報などを実際の景色に重畳するように表示することができる。また、透過型ディスプレイ３０６は、例えば、バックライトを備えた一般的なＬＣＤ（Liquid Crystal Display）などと同様に、ディスプレイの向こう側が見えないようにして、映像の表示を行うこともできるものである。このため、ディスプレイの向こう側の景色が見えない態様で、種々の情報を表示して利用者（列車４の乗客）に提供することもできるようになっている。

そして、窓Ｗの例えば上部には、窓の外の景色を撮影するカメラ部３１１が設けられている点も窓用装置３の構成上の重要な点である。このカメラ部３１１により、景色の動画を撮影し、その撮影画像情報をサーバー１に提供することにより、実際に窓Ｗから見える景色に基づき、その景色に関する情報の提供を受けることができる。

そして、送受信アンテナ３０１Ａ及び無線通信部３０１は、ＩｏＴプラットホーム２を通じて通信機能を実現する。制御部３０２は、図示しないがＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性メモリを備え、窓用装置３の各部を制御する機能を実現する。記憶装置３０３は、例えば大容量のフラッシュメモリーなどの記録媒体を備え、当該記録媒体へのデータの書き込み、記憶保持、読み出し、消去を行う。

近距離無線通信部３０４及び近距離無線通信アンテナ３０４Ａは、例えばＢｌｕｅｔｏｏｔｈ（登録商標）規格の近距離無線通信機能を実現する。近距離無線通信部３０４及び近距離無線通信アンテナ３０４Ａを通じて、利用者の例えばスマートフォンやタブレット端末などとデータの送受信を行うことができる。近距離無線通信部３０４で用いられる通信規格は、Ｂｌｕｅｔｏｏｔｈ（登録商標）に限るものではなく、近距離無線通信用の種々の無線通信規格の適用が可能である。ディスプレイコントローラ３０５は、制御部３０２の制御の下、透過型ディスプレイ３０６に映像を表示させるための映像信号を形成し、これを透過型ディスプレイ３０６に供給する。これにより、透過型ディスプレイ３０６に目的とする映像を表示させることができる。

なお、透過型ディスプレイ３０６を用いるため、窓Ｗから見える景色に対して案内情報に応じた映像を重畳するように表示することができると共に、必要な場合には、窓Ｗから見える景色を透過させることなく、背景も含めた全画面映像を透過型ディスプレイ３０６に表示させることもできる。例えば、実際の天気が雨であるために、絶景を見ることができない場合に、晴天時に撮影した同じ場所の景色映像を透過型ディスプレイ３０６に表示させるといったことができるようになっている。

ポート３０８は、タッチセンサ３０７からの座標データの入力を受け付けて、これを制御部３０２に提供する。音声処理部３０９は、制御部３０２の制御の下、サーバー１から案内情報として提供される音声データから出力する音声信号を形成し、これを音声出力端子３１０に供給する。これにより、利用者は音声信号の出力端子３１０にイヤホンを接続することにより、音声情報としての案内情報などを聴取することができる。

ポート３１２は、カメラ部３１１と制御部３０２との間のデータのやり取りを行えるようにする。制御部３０２からカメラ部３１１に対しては、種々の制御情報が供給され、カメラ部３１１から制御部３０２に対しては、撮影画像情報が提供される。カメラ部３１１に撮影された撮影画像情報は、制御部３０２の制御の下、記憶装置３０３の記録媒体をバッファとして用いて、サーバー１に送信される。ＧＰＳ部３１３及びＧＰＳアンテナ３１３Ａは、複数の人工衛星からの信号を受信し、自機の現在位置を測位する機能を実現する。

このような構成を有する窓用装置３は、ＧＰＳ部３１３を通じて順次に取得する自機の現在位置を示す現在位置情報やカメラ部３１１を通じて撮影した撮影画像情報（動画データ）を無線通信部３０１及び送受信アンテナ３０１Ａを通じてサーバー１に送信する。そして、これらの情報に基づいてサーバー１において生成される案内情報などの提供を受けて、案内情報うちの映像情報は透過型ディスプレイ３０６に表示し、音声情報は音声処理部３０９を通じて音声出力端子に供給され、出力するようにされる。

また、窓用装置３は、詳しくは後述するが、タッチセンサ３０７を通じて受け付けた利用者からの入力指示情報を無線通信部３０１及び送受信アンテナ３０１Ａを通じてサーバー装置に送信する。そして、当該入力指示情報に基づいてサーバー１において生成される個別対応情報の提供を受けて、個別対応情報うちの映像情報は透過型ディスプレイ３０６に表示し、音声情報は音声処理部３０９を通じて音声出力端子に供給され、出力するようにされる。

なお、サーバー１からの案内情報や個別対応情報は、記憶装置３０３に格納され、利用されることになる。すなわち、記憶装置３０３は、送信する撮影画像情報や受信した案内情報や個別対応情報のバッファ領域としても用いられる。

［窓Ｗに設けられた透過型ディスプレイ３０６への映像の表示例］
上述した構成のサーバー１と窓用装置３とが協働することにより、列車４の窓Ｗに設けられた透過型ディスプレイ３０６に表示される映像の表示例について説明する。図４、図５は、窓用装置３の透過型ディスプレイ３０６への映像の表示例を説明するための図である。

［窓用装置３の現在位置を示す地図の表示例］
図４（Ａ）に示すように、窓Ｗに設けられた透過型ディスプレイ３０６の右下に表示されている九州地方の地図が、窓用装置３の現在位置を示す地図である。そして、黒丸Ｐで示した位置が、窓用装置３の現在位置、すなわち、窓用装置３の利用者の現在位置を示している。これにより、窓用装置３の利用者は、自分の現在位置を客観的に、かつ、明確に把握できる。なお、当該地図は、タッチセンサ３０７への操作によって、拡大／縮小、表示／非表示の切り替えなどができる。当該切り替え処理は、窓用装置３の制御部３０２の制御により、窓用装置３の機能として行うことができる。また、より詳細な地図の提供をサーバー１に要求し、詳細な地図の表示を行うこともできる。この場合には、詳細地図を要求する操作入力を、タッチセンサ３０７を通じて行い、当該要求をサーバー１に送信し、サーバー１から詳細地図の提供を受けて表示することができる。

［窓Ｗから現に見えている景色（風景）に関する情報の表示例］
図４（Ｂ）に示すように、「△△橋です。」という案内表示Ｇ１や「有明海です。」といった案内表示Ｇ２が、窓Ｗから現に見えている景色（風景）に関する情報であり、窓Ｗから見える景色に対して重畳するようにして透過型ディスプレイ３０６に表示される。これにより、窓Ｗから現に見えている景色の中にある地物の名称などを、その地物に関連付けるようにして表示される映像（文字）によって明確に利用者に提供できる。

また、図４（Ｂ）に示すように、風景に関する情報は、地物の名称だけでなく、その地物に関する解説も表示することができる。この解説は、音声情報として音声処理部３０９及ぶ音声出力端子３１０を通じて出力され、これに接続されるイヤホンを通じて聴取することもできる。当該風景に関する情報は、窓用装置３からの撮影画像情報に基づいて生成されるものであり、現に見えている地物に関する情報を適切に表示できる。

［窓Ｗを通じてこれから見える地物である対象についての情報］
図５（Ａ）に示すように、例えば、「もうすぐ□□島が見えてきます。」といった案内表示Ｇ３が、窓Ｗを通じてこれから見える地物である対象についての情報である。図５（Ａ）に示した例の場合、窓Ｗは、列車４の進行方向に向かって左側の窓であり、列車４の移動に伴って窓Ｗの右端から徐々に「□□島」が見えてくることが通知される。これにより、利用者は、「□□島」がこれから見えて来ることを事前に知ることができ、例えば席を立ったり、よそ見をしたりして、見るべき景観を見逃すといったことがなくなる。ここでは、これから見えて来る対象が「□□島」である場合を示したが、場所により、ビル、橋梁、タワーなど、種々の対象について、これから見えて来るものとして案内することができる。

［窓Ｗを通じては見えないが所定の地物である対象の所在方向を示す情報］
図５（Ｂ）に示すように、例えば、「○○タワーは、矢印の方向に３ｋｍ先です。」といった案内表示Ｇ４と矢印Ａｒが、窓Ｗを通じては見えないが所定の地物である対象の所在方向を示す情報になる。この例の場合、「○○タワー」が著名なランドマークであり、例えば旅行者であれば見てみたい地物であったとする。そして、列車４で移動中に、確かこのあたりで「○○タワー」見えるはずだと利用者が気付いても、実際に見えなければ、利用者は見逃してしまったと思うなど、勘違いをすることになる。そこで、図５（Ｂ）に示すような表示を行うことにより、著名なランドマークである「○○タワー」の所在方向を示し、その方向には建物があるために見ることができない状況を通知することができる。

なお、必要があれば、タッチセンサ３０７を通じて所定の操作を行うことより、「○○タワー」の所在地を含む地図の提供をサーバー１に要求し、サーバー１から提供される地図を、図５（Ａ）に示したように、透過型ディスプレイ３０６の右下などに表示することもできる。この場合、当該地図上に「○○タワー」の所在位置を示して利用者が確認することもできる。

［サーバー１の処理と窓用装置３の処理］
図６は、上述した構成を有するサーバー１の処理と窓用装置３の処理について説明するためのフローチャートである。図６において左側の図６（Ａ）として示したフローチャートが窓用装置３の処理を、右側の図６（Ｂ）として示したフローチャートがサーバー１の処理を示している。

列車４の乗客である窓用装置３の利用者は、自己の座席に着席し、例えば、窓Ｗの近傍に設けられた窓用装置３の起動スイッチをオンにすると、図６（Ａ）に示す処理を開始する。窓用装置３の制御部３０２は、ＧＰＳ部３１３を通じて自機の現在位置を取得する（ステップＳ１）。また、制御部３０２は、カメラ部３１１を通じて、外の景色の撮影画像情報を取得する（ステップＳ３）。そして、制御部３０２は、取得した現在位置情報と撮影画像情報とをサーバー１に送信する（ステップＳ３）。

サーバー１では、常時、図６（Ｂ）に示す処理を実行できるようにしており、窓用装置３からの現在位置情報と撮影画像情報の提供待ちとなっている。サーバー１の制御部１０２は、通信Ｉ／Ｆ１０１を通じて、窓用装置３からの現在位置情報と撮影画像情報を受信する（ステップＳ４）。そして、撮影画像情報を窓方向判別部１０９に供給する。窓方向判別部１０９は、２枚以上（２フレーム以上）の撮影画像情報からある特徴点の流れる方向を判別し、撮影画像情報が進行方向に向かって左右どちら側の窓Ｗの近傍のカメラ部３１１によって撮影されたものかを判別する（ステップＳ５）。窓方向判別部１０９の判別結果は、地物検出部１１１に通知される。

次に、サーバー１の制御部１０２は、撮影画像特徴抽出部１１０を制御し、窓用装置３からの撮影画像情報に含まれる特徴物の画像を抽出する処理を行う（ステップＳ６）。このステップＳ６の処理は、上述もしたように、所定数以上（所定フレーム数以上）の撮影画像に現れる物の画像や撮影画像の所定割合以上を占める物の画像を抽出する。

そして、制御部１０２は、地物検出部１１１を制御し、ステップＳ６で抽出した特徴物が何かを特定する処理を行う（ステップＳ７）。具体的にステップＳ７において、地物検出部１１１は、まず、地図ＤＢ１０４の３Ｄ地図を参照し、窓用装置３からの現在位置情報により示される現在位置から所定距離以内であって、進行方向の所定角度内の地物を検索する。次に、地物検出部１１１は、３Ｄ地図における地物の位置情報、形状情報、高さ情報などを使用して、ステップＳ６で撮影画像情報から抽出した特徴物に合致する地物を特定する。これにより、撮影画像情報から抽出した特徴物が、どのような地物かが特定できる。この特定結果は、案内情報生成部１１２に供給される。

制御部１０２は、案内情報生成部１１２を制御し、種々の案内情報を生成する（ステップＳ８）。ステップＳ８では、ステップＳ７で特定した地物の属性情報を施設ＤＢ１０５から取得し、（１）窓Ｗから現に見えている景色（風景）に関する情報を生成する。さらに、案内情報生成部１１２は、現在位置情報に基づき、地図ＤＢ１０４を参照し、（２）窓用装置３の現在位置を示す地図を生成し、さらに、ステップＳ５で判別した窓Ｗの向きをも考慮して、地図ＤＢ１０４を参照し、（３）窓Ｗを通じてこれから見える地物である対象についての情報、（４）窓Ｗを通じては見えないが所定の地物である対象の所在方向を示す情報を生成する。また、ステップＳ８では、音声情報の案内情報も必要に応じて生成される。

そして、制御部１０２は、ステップＳ８で生成した（１）〜（４）の案内情報を、通信Ｉ／Ｆ１０１を通じて、処理に使用した現在位置情報及び撮影画像情報の送信元の窓用装置３に送信する（ステップＳ９）。そして、ステップＳ４からの処理を繰り返すようにし、再度、窓用装置３からの現在位置情報や撮影画像情報が送信されて来るのを待つことになる。

一方、窓用装置３は、サーバー１からの案内情報を受信し（ステップＳ１０）、受信した案内情報のうち映像情報は、透過型ディスプレイ３０６に表示し、音声情報は、音声処理部３０９及び音声出力端子３１０を通じて出力するようにする（ステップＳ１１）そして、窓用装置３の制御部３０２は、窓用装置３の起動スイッチがオフにされる終了操作が行われたか否かを判別し（ステップＳ１２）、行われていないと判別した時には、ステップＳ１からの処理を繰り返す。また、ステップＳ１２において、起動スイッチがオフにされる終了操作が行われたと判別した時には、図６（Ｂ）に示す処理を終了する。

このようにして、サーバー１と窓用装置３とが協働し、図４、図５を用いて説明した態様の案内情報の表示ができると共に、対応する音声情報がある場合には、これを放音することもできるようにされる。

［乗客（利用者）の属性、嗜好、ＴＰＯに応じた案内情報の提供］
［乗客からの指示入力受付処理］
上述もしたように、サーバー１は、列車４の乗客である窓用装置３の利用者の属性、嗜好、ＴＰＯに応じて、案内情報の提供をすることもできる。この場合には、窓用装置３の利用者から、自己の属性、嗜好などについての情報や、当該利用者が目的とするＴＰＯに関する情報の入力を受け付ける必要がある。そこで、以下に説明する窓用装置３は、利用者から種々の情報の受付を可能にしたものである。なお、この場合においても、サーバー１及び窓用装置３は上述した構成を有するものであり、それぞれにおいて実行する処理が、図６を用いて説明したものとは若干異なったものとなる。

図７は、乗客の属性、嗜好、ＴＰＯに応じた案内情報を提供する場合に窓用装置３で実行される処理を説明するためのフローチャートである。この場合も、列車４の乗客である窓用装置３の利用者は、自己の座席に着席し、例えば、窓Ｗの近傍に設けられた窓用装置３の起動スイッチをオンにすると、図７に示す処理を開始する。図７に示す処理では、制御部３０２は、タッチパネルを通じて利用者からの指示入力を受け付ける（ステップＳ１０１）。このステップＳ１０１では、制御部３０２の制御の下、ディスプレイコントローラ３０５を通じて透過型ディスプレイ３０６に表示された所定の指示入力ボタンに対する操作を、タッチセンサ３０７を通じて受け付けるようにする。

そして、制御部３０２は、タッチセンサ３０７からの座標データの入力を受けるようにし、タッチセンサ３０７を通じて指示入力を受け付けたか否かを判別する（ステップＳ１０２）。ステップＳ１０２の判別処理において、指示入力を受け付けたと判別した時には、制御部３０２は、詳細な指示入力を受け付けるための指示入力受付処理を実行する（ステップＳ１０３）。このステップＳ１０３では、窓用装置３の利用者からの種々の指示入力を受け付けることができるようにされる。なお、ステップＳ１０３で実行される指示入力受付処理の詳細は後述する。

そして、ステップＳ１０３の指示入力受付処理の後においては、制御部３０２は、当該指示入力受付処理において、案内サービスの終了が指示されたかがどうかを判別する（ステップＳ１０４）。このステップＳ１０４の判別処理は、後述する指示入力の初期画面において、案内サービスがオフにされたかどうかを判別する処理である。ステップＳ１０４の判別処理において、案内サービスがオフにされたと判別した時には、この図７に示す処理を終了することになる。

ステップＳ１０４の判別処理において、案内サービスはオフにされていないと判別した場合と、ステップＳ１０２の判別処理において、利用者からの指示入力はないと判別した時には、制御部３０２は、ＧＰＳ部３１３を通じて現在位置を取得し（ステップＳ１０５）、カメラ部３１１を通じて撮影画像を取得する（ステップＳ１０６）。この後、制御部３０２は、ステップＳ１０５で取得した現在位置情報と、ステップＳ１０６で取得した撮影画像情報と、ステップＳ１０３において、利用者から指示入力を受け付けている時には、指示入力情報とを、サーバー１に送信する（ステップＳ１０７）。

これに応じて、サーバー１からは窓用装置３に提供すべき情報を送信して来るので、制御部３０２は送受信アンテナ３０１Ａ及び無線通信部３０１を通じて受信して、記憶装置３０３に一時記憶する（ステップＳ１０８）。そして、制御部３０２は、映像情報については、ディスプレイコントローラ３０５を通じて透過型ディスプレイ３０６に表示し、音声情報については、音声処理部３０９及び音声出力端子３１０を通じて出力するようにする（ステップＳ１０９）。そして、制御部３０２は、ステップＳ１０１からの処理を繰り返す。

この場合、窓用装置３からは現在位置情報、撮影画像情報に加えて、利用者によって入力された指示入力情報もサーバー１に送信する。これにより、サーバー１は後述もするように、利用者の種々の指示入力に応じた情報も提供して来るので、これを透過型ディスプレイ３０６に表示して提供したり、音声情報として放音したりできる。具体的には、利用者の属性、嗜好、ＴＰＯに応じた情報の提供ができる。

なお、図７のフローチャートに示したステップＳ１０５、ステップＳ１０６、ステップＳ１０７、ステップＳ１０８、ステップＳ１０９の各処理は、図６（Ａ）に示したステップＳ１、ステップＳ２、ステップＳ３、ステップＳ１０、ステップＳ１１の処理に対応している。異なる点は、ステップＳ３では現在位置情報と撮影画像情報をサーバー１に送信したのに対して、ステップＳ１０７では、現在位置情報と撮影画像情報に加えて、利用者からの指示入力情報をサーバー１に送信している点である。

［指示入力受付処理の詳細］
次に、図７のフローチャートに示したステップＳ１０３で実行される指示入力受付処理の詳細について説明する。図８〜１０は、図７に示したステップＳ１０３の処理において用いられる情報入力画面の例を示す図である。ステップＳ１０３の指示入力受付処理では、制御部３０２は、ディスプレイコントローラ３０５を通じて、透過型ディスプレイ３０６に図８（Ａ）に示す指示入力のための初期画面を表示する。当該初期画面では、使用言語の選択、各種の設定入力等の選択、透過型ディスプレイ３０６を通じた案内サービスのオン／オフ設定の選択ができる。

この実施の形態の窓用装置３は、初期状態では日本語（Japanese）が選択されているが、中国語（Chinese）、韓国語（Korean）、英語（English）などの複数の言語のうちから利用者が選択できるようになっている。なお、この例では日本語が選択されているものとする。また、各種の設定入力等の選択としては、図８（Ａ）に示すように、ユーザー属性設定の選択欄Ａ１、表示設定の選択欄Ａ２、ＳＮＳ設定の選択欄Ａ３、スケジュール設定の選択欄Ａ４、買物入力の選択欄Ａ５が表示され、目的とする項目の選択が行える。また、この例では、透過型ディスプレイ３０６を通じて案内サービスのオン／オフ設定については「オン」が選択され、透過型ディスプレイ３０６を通じた案内を行うことが選択されたものとする。

そして、図８（Ａ）の初期画面において、利用者がユーザー属性設定の選択欄Ａ１を、タッチセンサ３０７を通じて選択したとする。この場合、制御部３０２は、ディスプレイコントローラ３０５を通じて透過型ディスプレイ３０６に図８（Ｂ）に示すユーザー属性の入力画面を表示する。当該ユーザー属性の入力画面では、性別、世代（年齢範囲）の入力と、利用者の嗜好に合致するコンテンツの選択入力が行えるようになっている。図８（Ｂ）に示した例の場合には、性別は男性で、年代は３０代、嗜好に合致するコンテンツは、「名産」、「ＴＶロケ地」、「観光スポット」が選択された場合を示している。

なお、利用者の嗜好に合致するコンテンツは、図８（Ｂ）に示したもの以外にも、例えば、イベント、地形情報（例えば、リアス式海岸など）、出身政治家、その他の出身著名人、車の保有率、出生率、過疎化率、その他の統計情報、地酒、地ビール、地魚、ご当地グルメ、ご当地ラーメン紹介、独特の文化や風習など、各地方、各地域に応じた種々のコンテンツに対応する項目を、例えばスクロール表示するようにして、目的とする項目を見つけ出し、それを選択することができるようになっている。これにより、利用者の嗜好に合致するコンテンツの提供を要求することができる。

また、図８（Ａ）の初期画面において、利用者が表示設定の選択欄Ａ２を、タッチセンサ３０７を通じて選択したとする。この場合、制御部３０２は、ディスプレイコントローラ３０５を通じて透過型ディスプレイ３０６に図９（Ａ）に示す表示設定の入力画面を表示する。当該表示設定の入力画面では、景色表示の時間帯切替、景色表示の季節切替、景色表示の天気切替、景色表示の時代切替、景色表示のモード切替、景色表示の画角切替など、表示に関する各種の設定を行うことができる。

ここで、景色表示の時間帯切替は、窓Ｗから見えている景色について、朝、昼、夕、夜の４つの異なる時間帯の景色として見ることができるようにするものである。例えば、実時間は昼であるが、夕景が非常に美しいことで有名な場所を移動している場合に、事前に収録された同じ場所の夕景を透過型ディスプレイ３０６に表示できる。この場合、透過型ディスプレイ３０６は、透過機能を制限し、透過型ディスプレイ３０６の全面に現在移動中の場所の夕景を表示し、夕方に移動した場合と同じ風景を堪能することができる。

また、景色表示の季節切替は、窓Ｗから見えている景色について、春、夏、秋、冬の４つの異なる季節の景色として見ることができるようにするものである。したがって、実際の季節は夏なのに、移動している場所の冬景色を見たりすることができる。また、景色表示の天気切替は、窓Ｗから見えている景色について、晴れ、曇り、雨、雪などの異なる天気の景色として見ることができるようにするものである。したがって、実際の天気は雨なのに、移動している場所の晴天時の景色を見たりすることができる。

また、景色表示の時代切替は、窓Ｗから見えている景色について、異なる時代の景色として見ることができるようにするものである。例えば、実際に見えている景色は、ビルなどの建物が多く建っている都会的な景色なのに、例えば、当該場所の江戸時代の様子の景色として見たりすることができる。このように、時間帯、季節、天気、時代に応じた画像は、事前に作成され、サーバー１の景色画像ＤＢ１０６に格納しておき、窓用装置３の現在位置及び窓方向に応じて読み出して、提供することができる。

また、景色表示のモード切替は、透過型ディスプレイ３０６に表示される景色の画像などを、ソフトフォーカス、トゥインクル、モノクロ、ＨＤＲアート、セピア、フィッシュアイ、トイカメラ、暗視スコープなどの、種々の効果を付与して表示でるようにするものである。これにより、利用者は自分の好みのモードの画像として、景色などを見ることができるようにされる。また、景色表示の画角切替は、１８０度パノラマ、２４０度パノラマ、３６０度パノラマなどの画角で透過型ディスプレイ３０６に表示できるようにするものである。これにより、実際には窓Ｗからは見ることができない範囲の風景なども見ることができるようにされる。

なお、図９（Ａ）には図示しなかったが、バードアイ、ルーフアイ、ウィンドウアイ、ホイールアイといった景色表示の高さ切替、列車４の横から斜め前や斜め後を見た場合の景色を表示する景色表示のビュー切替などもできる。また、ビュー切替の場合には、列車４の先頭から見える風景や最後尾から見える風景などを表示することができる。景色の高さ切替や景色のビュー切替の場合には、事前に収録された画像をサーバー１が提供することにより実現することもできるし、列車４の所定の場所に設置されカメラ部を通じてリアルタイムに撮影している画像を窓用装置３に提供することにより実現できる。リアルタイムに撮影している画像を利用する場合には、撮影画像をサーバー１を経由して提供することもできるし、列車４内にもうけられた有線、無線のＬＡＮにより、各窓用装置３に提供することもできる。

また、図８（Ａ）の初期画面において、利用者がＳＮＳ設定の選択欄Ａ３を、タッチセンサ３０７を通じて選択したとする。この場合、制御部３０２は、ディスプレイコントローラ３０５を通じて透過型ディスプレイ３０６に図９（Ｂ）に示すＳＮＳ設定の入力画面を表示する。図９（Ｂ）に示すＳＮＳ設定の入力画面では、利用するＳＮＳ（Social Network Service）を選択し、そのＳＮＳを利用する際のハンドルネームとパスワードとを、当該入力画面に表示されたソフトウェアキーボードを利用して入力する。

これにより、窓用装置３を通じて、例えば、カメラ部３１１を通じて撮影されている画像や透過型ディスプレイ３０６に表示されている情報などを、当該ＳＮＳに投稿することができるようにされる。なお、実際の投稿は、透過型ディスプレイ３０６とタッチセンサ３０７とで構成されるタッチパネルを通じて所定の操作を行うことによって行える。

また、図８（Ａ）の初期画面において、スケジュール設定の選択欄Ａ４を、タッチセンサ３０７を通じて選択したとする。この場合、制御部３０２は、ディスプレイコントローラ３０５を通じて透過型ディスプレイ３０６に図１０（Ａ）に示すスケジュール設定の入力画面を表示する。当該スケジュール設定の入力画面では、列車に関する情報として、出発駅、乗換駅、目的駅が入力でき、さらに、目的駅到着後の経由地や目的地についても、利用する移動手段と共に入力することができるようにされる。入力に際しては、図示しないが、プルダウンメニュー、プルアップメニュー、ソフトウェアキーボードの利用が可能にされる。

このスケジュール設定の入力画面を通じて入力された情報に基づいて、サーバー１は乗換案内を適用したり、目的駅から経由地や目的地へのルートを案内したりできる。また、目的駅から目的地への移動に際して、公共交通機関を利用する場合には、その公共交通機関の時刻表を提供したり、乗り場までの案内を提供したりすることもできる。

また、図８（Ａ）の初期画面において、買物入力の選択欄Ａ５を、タッチセンサ３０７を通じて選択したとする。この場合、制御部３０２は、ディスプレイコントローラ３０５を通じて透過型ディスプレイ３０６に図１０（Ｂ）に示す買物入力画面を表示する。この買物入力画面ででは、車内販売への注文の入力欄と、お土産販売の画面への選択欄が設けられている。車内販売への注文欄には、車内販売されている品物名が表示され、その注文数の入力ができるようになっている。

これにより、車内販売のワゴンが回ってこなくても、注文を入力し、届けてもらうようにすることができる。この場合、車内販売の注文データは、サーバー１を介して車内販売担当者の端末に送信される。この注文データには窓用装置３のＩＰアドレスにより特定される注文元を特定する例えば座席番号などの情報が付加されている。

なお、お土産販売の画面については、図示しないが、販売されているお土産の写真や価格が表示され、購入数量、決済方法、届け先などの必要事項を入力して、お土産の購入ができるようにされる。この場合は、車内販売と異なり、注文データは、お土産の販売元に送信するようにされ、当該販売元から窓用装置３の利用者が入力した届け先にお土産が配送される。

そして、各入力画面において、必要情報を入力した後、入力画面の右上に表示された「ＯＫ」ボタンを選択すると、当該入力画面に対する入力は終了し、図８（Ａ）の初期画面に戻る。この初期画面において、さらに、画面右上の「ＯＫ」ボタンが選択されると、各入力画面を通じて入力された情報が、サーバー１に対して提供する利用者により入力された指示入力情報として確定して、制御部３０２内の例えば不揮発性メモリに記憶される。

このように、図７のステップＳ１０３では、制御部３０２が、図８〜図１０に示した各入力画面を通じて、窓用装置３の利用者からの指示入力を受け付けて、受け付けた指示入力情報をサーバー１に提供する指示入力情報として保持する。そして、図７に示したフローチャートのステップＳ１０７の送信処理において、利用者から受け付けた指示入力情報がサーバー１に送信され、当該窓用装置３の利用者に提供する情報の生成に用いられることになる。

［乗客からの指示入力情報に応じた情報の提供］
図１１は、乗客の属性、嗜好、ＴＰＯに応じた案内情報を提供する場合にサーバー１で実行される処理を説明するためのフローチャートであり、図７に示した窓用装置３で実行される処理と連動して行われる処理である。

サーバー１で実行され図１１に示す処理において、ステップＳ２０１〜ステップＳ２０５の処理は、図６（Ｂ）に示したステップＳ４〜ステップＳ９の処理と同様の処理である。但し、図７を用いて説明したように、窓用装置３からは、現在位置情報、撮影画像情報に加えて、利用者からの指示入力情報が存在する場合には、この指示入力情報も送信されてくる。このため、サーバー１では、窓用装置３から送信からの在位置情報、撮影画像情報、利用者により入力された指示入力情報を受信する（ステップＳ２０１）。

そして、図６（Ｂ）を用いて説明したように、サーバー１においては、窓方向判別（ステップＳ２０２）、撮影画像特徴抽出（ステップＳ２０３）、地物の検出と特定（ステップＳ２０４）、案内情報生成（ステップＳ２０５）が行われる。こステップＳ２０１〜ステップＳ２０５の処理により、図４（Ａ）、（Ｂ）、図５（Ａ）、（Ｂ）に示した表示を可能にする案内情報生成される。

そして、更に、サーバー１の制御部１０２は、指示入力情報抽出部１１３を制御して、窓用装置３から受信した情報から利用者により入力された指示入力情報を抽出し、どのような指示入力がなされたのかを特定して、これを個別対応情報生成部１１４に通知する（ステップＳ２０６）。個別対応情報生成部１１４は、制御部１０２の制御の下、指示入力情報により特定可能な利用者の属性、嗜好、ＴＰＯ情報に基づいて、当該利用者に提供すべき個別情報を生成する（ステップＳ２０７）。

ステップＳ２０７においては、利用者の性別や年齢に応じたコンテンツを地域情報ＤＢ１０７など抽出し、また、利用者の嗜好に合致したコンテンツを地域情報ＤＢ１０７などからして、当該利用者に提供すべき個別情報を生成する。また、利用者から入力されたＴＰＯに関連する情報に基づいて、個別情報を生成する。

この場合、Ｔ（時間）に関する情報は、例えば、景色表示の時間帯切替、景色表示の季節切替、景色表示の時代切替などの選択情報などがある。また、Ｐ（場所）に関する情報は、主には現在位置情報であるが、スケジュール情報の出発地駅、乗換駅、目的駅、経由地、目的地などの情報がある。また、Ｏ（場合）に関する情報は、景色表示の天気切替の選択情報などがある。これらはいずれも一例であり、更に種々の情報の入力が可能な場合には、それらの情報も考慮される。これにより、当該利用者に提供すべき景色の種々の態様の画像情報やスケジュール設定に対応した乗換案内や時刻表情報など、種々の個別情報が生成される。

このようにして生成した案内情報や個別情報を、制御部１０２は、通信Ｉ／Ｆ１０１を通じて、現在位置情報等の送信元の窓用装置３に送信する（ステップＳ２０８）。この後、制御部１０２は、ステップＳ２０１からの処理を繰り返し、窓用装置３からの情報の送信を待つことになる。

このように、サーバー１は、現在位置情報、撮影画像情報に加え、利用者により入力された指示入力情報の提供を受けて、当該利用者に対する個別対応情報を生成し、これを窓用装置３に送信し、当該窓用装置３を通じて当該利用者に提供できる。

［情報提供以外のサービスの提供］
また、上述もしたように、窓用装置３は、透過型ディスプレイ３０６に表示されている情報などを、図９（Ｂ）のＳＮＳ設定入力画面を通じてされた情報に基づいて、設定されたＳＮＳに投稿することもできる。この投稿は、サーバー１を介することなく、窓用装置３がＩｏＴプラットホーム２を通じて直接に投稿することができる。もちろん、サーバー１を介して、投稿するように構成することもできる。これらの機能は、窓用装置３の制御部３０２、サーバー１の制御部１０２の機能として実現できる。

また、上述もしたように、窓用装置３は、図１０（Ｂ）の買物入力の画面を通じて、車内販売への注文やお土産の購入、発送までの手続きを行うことができる。車内販売については、窓用装置３から車内販売担当者の端末に注文データを送信してもよいし、サーバー１を経由して、車内販売担当者の端末に注文データを送信してもよい。また、お土産の購入の手続きは、サーバー１を介して、お土産を販売する業者側の端末へ注文データを送信すればよい。これらの機能は、窓用装置３の制御部３０２、サーバー１の制御部１０２の機能として実現できる。

［実施の形態の効果］
上述した実施の形態の移動体情報提供サービスシステムにンよれば、窓用装置３のカメラ部３１１を通じて撮影した撮影画像情報を利用することにより、実際に列車の窓から見える地物に対する情報を、当該地物に適切に対応付けて提供することができる。

また、（１）窓Ｗから現に見えている景色（風景）に関する情報だけでなく、（２）窓用装置３の現在位置を示す地図、（３）窓Ｗを通じてこれから見える地物である対象についての情報、（４）窓Ｗを通じては見えないが所定の地物である対象の所在方向を示す情報、（５）乗客の属性、嗜好、ＴＰＯに応じた情報など、従来提供できなかった種々の情報の提供ができる。

また、窓に設けられた透過型ディスプレイ３０６に表示された情報により、移動体である列車の移動速度や移動地点を、視覚を通じて今までにない態様で体感できる。

また、実際の景色から表示を切り替えて、条件（時間、季節、天気、時代、テクスチャ）を切り替えた景色を見ることができる。なお、テクスチャ（texture）は、材料の表面の視覚的な色や明るさの均質さ、触覚的な比力の強弱を感じる凹凸といった部分的変化を、全体的にとらえた特徴、材質感覚、効果を指す。具体的には、景色表示のモード切替で、ソフトフォーカスやモノクロといったテクスチャの異なる画質で風景を表示することができる。

［変形例］
なお、例えば、図４（Ａ）に示した現在位置を示す地図ＭＰにおいては、現在位置Ｐだけでなく、列車４から見える地物の位置を表示するようにしてもよい。また、図５（Ｂ）では、見えない地物の所在地方向を示すようにしたが、見える地物について、方角や距離を透過型ディスプレイ３０６に表示してもよい。例えば、図４（Ｂ）の例の場合には、「△△橋、東、６００ｍ」などのように案内表示を形成し、これを表示することができる。現在位置と地物の所在位置がわかれば、地物の方向や地物までの距離が分かるためである。

また、例えば、現在位置を示す地図などは、３Ｄ地図を表示することもできる。地図ＤＢ１０４には、３Ｄ地図データも格納されているためである。また、上述したように、スケジュール情報に応じた情報の提供も可能であり、例えば、目的地の案内情報など、より細かな個別対応情報を生成して提供することもできる。

また、サーバー１は、ＩｏＴプラットホーム２を通じて、気象情報サーバー５や交通情報サーバーにもアクセスできる。このため、サーバー１は、気象情報サーバー５から天気情報を取得して、より実際に見える景色に合わせた案内を出力することもできる。つまり、雨で見えていない景色の情報は表示しないといったことができる。逆に、見えないが見えるはずの景色の情報を表示することもできる。

また、トンネル内などで景色が見えない時には広告を表示するといったことも可能である。また、トンネル内で本来見える景色の画像を表示することもできる。

また、利用者から地物についての所在位置等の問い合わせを受け付けるようにし、その問い合わせのあった地物の所在地方向や現在位置から所在地までの距離を案内情報として提供することもできる。また、カメラ部３１１を通じて撮影した撮影画像情報によっては特定できなかった地物について、利用者から問い合わせがあった時には、例えば、他の建物等によって見えない場合に、その建物を取り除いた画像を景色画像ＤＢ１０６の画像情報や地図ＤＢ１０４の３Ｄ地図などに基づいて形成し、これを案内情報として提供することもできる。

さらに、透過型ディスプレイ３０６には、景色画像ＤＢ１０６に蓄積されている画像情報の提供もできる。このため、例えば、利用者が透過型ディスプレイ３０６に表示されている対象物（建物など）を、タッチ、リリースすることで、当該指示情報をサーバー１に送信し、対象物を取り除いた画像の提供を受けるようにし、これを表示することもできる。

もちろん、透過型ディスプレイ３０６に表示されている景色などの画像の拡大縮小も可能である。また、利用者の希望により、反対側の窓から見える景色の画像の提供を受けて、これを透過型ディスプレイ３０６に表示することもできる。

また、窓Ｗから見える景色の中に、建設途中の建物が存在する場合に、その完成した状態の建物の画像を用意しておくことにより、実際に見える建設途中の建物に替えて、完成した状態の建物を表示したり、完成予定日を案内情報として提供したりすることもできる。

また、窓用装置３はカメラ部３１１を備えているため、タイムプラス機能、ハイライトフォト機能、景色と重ね合わせたプリクラ機能などの新たな機能を付加することもできる。タイムプラス機能は、時間間隔を空けて景色を撮影し、つなぎ合わせて１つの動画として記憶装置３０３に記録する。つまり、長い区間（距離）に渡る景色の記録を短時間に圧縮するようにした動画を形成する。このようにして形成した動画を、近距離無線通信部３０４及び近距離無線通信アンテナ３０４Ａを通じて、利用者のスマートフォンやタブレット端末に提供して保存できるようにすることができる。

また、ハイライトフォト機能は、カメラ部３１１を通じてランダムに撮影し、記録装置３０３に格納した静止画像中から、写りの良いもの、あるいは、特徴的な被写体が移っているものを自動判別して抽出する。これを近距離無線通信部３０４及び近距離無線通信アンテナ３０４Ａを通じて、利用者のスマートフォンやタブレット端末に提供して保存できるようにすることができる。

また、景色と重ね合わせたプリクラ機能は、カメラ部３１１で撮影した景色の画像を記憶装置３０３に格納し、利用者のスマートフォンなどにより撮影した利用者の画像を、近距離無線通信部３０４及び近距離無線通信アンテナ３０４Ａを通じて提供を受けて、記憶装置３０３に格納する。そして、制御部３０２の機能により、これらを合成し、美白、ニキビ消し、体形補正、ぐるぐる目、怒り顔、でか目、フレーム、スタンプ、コラージュ、文字、顔交換（スノー）、などの種々の効果処理を施した画像を形成する。これを近距離無線通信部３０４及び近距離無線通信アンテナ３０４Ａを通じて、利用者のスマートフォンやタブレット端末に提供して保存できるようにすることができる。

そのほかにも、例えばイスラム教徒の旅行者の方のために、お祈りの時間とメッカの方向を示す案内情報を形成し、これを透過型ディスプレイ３０６を通じて提供するといったことも可能である。

このように、窓用装置３は、透過型ディスプレイ３０６を備えるため、風景に重畳するようにして種々の情報を表示したり、また、透過機能を停止して、窓Ｗから見える風景を見えないようにした上で、種々の情報を表示して提供したりすることもできる。また、カメラ部３１１を備えることで、撮影画像情報を利用、タイムプラス機能等の種々機能を窓用装置３で実現するようにできる。

また、上述した実施の形態では、透過型ディスプレイ３０６とタッチセンサ３０７とで構成されたタッチパネルを通じて窓用装置３に情報の入力を行うようにしたが、これに限るものではない。窓用装置３は、近距離無線通信部３０４及び近距離無線通信アンテナ３０４Ａを備えているので、利用者の所持するスマートフォンやタブレット端末を通じて、窓用装置３に対して種々の情報や指示入力を行うようにすることもできる。もちろん、上述もしたように、窓用装置３から利用者のスマートフォンやタブレット端末に種々の情報を提供することもできる。つまり、窓用装置３と利用者のスマートフォンやタブレット端末などとは、相互に連携することができる。

また、窓側でない座席の利用者に対しては、前の座席の背面部などに設けられる例えばＬＣＤ（Liquid Crystal Display）などの表示部に、カメラ部３１１で撮影した画像や透過型ディスプレイ３０６に表示する画像、これらを合成した画像などを表示して提供するように構成することもできる。

［その他］
上述した実施の形態の説明からも分かるように、請求項における移動体窓用装置（以下、単に移動体窓用装置と記載する。）の透過型表示手段の機能は、実施の形態の窓用装置３（以下、単に窓用装置３と記載する。）の透過型ディスプレイ３０６が実現している。また、移動体窓用装置の現在位置測位手段の機能は、窓用装置３のＧＰＳ部３１３が実現している。また、移動体窓用装置の撮像手段の機能は、窓用装置３のカメラ部３１１が実現している。また、移動体窓用装置３の第１の送信手段及び第１の受信手段の機能は、窓用装置３の無線通信部３０１が実現している。移動体窓用装置の受付手段の機能は、窓用装置３の透過型ディスプレイ３０６とタッチセンサ３０７とからなるタッチパネルが実現している。

また、請求項の移動体情報提供サービスサーバー装置（以下、単に移動体情報提供サービスサーバー装置と記載する。）の第２の受信手段及び第２の送信手段の機能は、実施の形態のサーバー１（以下、単にサーバー１と記載する。）の通信Ｉ／Ｆ１０１が実現している。また、移動体情報提供サービスサーバー装置の生成手段の機能は、サーバー１の窓方向判別部１０９、撮影画像特徴抽出部１１０、地物検出部１１１、案内情報生成部１１２が協働してその機能を実現している。

また、図６、図７、図１１に示したフローチャートによる処理が、この発明による方法の一実施の形態に対応している。また、図６、図７、図１１に示したフローチャートによる処理を実行するプログラムが、この発明によるプログラムの一実施の形態に対応している。また、図２に示したサーバー１の窓方向判別部１０９、撮影画像特徴抽出部１１０、地物検出部１１１、案内情報生成部１１２、指示入力情報抽出部１１３、個別対応情報生成部１１４、翻訳処理部１１５の各機能は、制御部１０２で実行されるプログラムにより、制御部１０２の機能として実現することもできる。

１…移動体情報提供サービスサーバー装置、１０１…通信Ｉ／Ｆ、１０２…制御部、１０３…記憶装置、１０４…地図ＤＢ、１０５…施設ＤＢ、１０６…景色画像ＤＢ、１０７…地域情報ＤＢ、１０８…翻訳辞書ＤＢ、１０９…窓方向判別部、１１０…撮影画像特徴抽出部、１１１…地物検出部、１１２…案内情報生成部、１１３…指示入力情報抽出部、１１４…個別対応情報生成部、１１５…翻訳処理部、３…窓用装置、３０１Ａ…送受信アンテナ、３０１…無線通信部、３０２…制御部、３０３…記憶装置、３０４…近距離無線通信部、３０４Ａ…近距離無線通信アンテナ、３０６…透過型ディスプレイ、３０７…タッチセンサ、３０８…ポート、３０９…音声処理部、３１０…音声出力端子、３１１…カメラ部、３１２…ポート、３１３…ＧＰＳ部、３１３Ａ…ＧＰＳアンテナ

Claims (8)

1. 移動体の窓に対応して設けられる移動体窓用装置と、移動体情報提供サービスサーバー装置とがネットワークを介して接続されて構成される移動体情報提供サービスシステムであって、
   前記移動体窓用装置は、
   窓に配設される透過型表示手段と、
   現在位置測位手段と、
   前記窓から見える移動体の外の景色を撮像する撮像手段と、
   前記現在位置測位手段で測位された現在位置情報と前記撮像手段で撮像された画像情報とを、前記移動体情報提供サービスサーバー装置に送信する第１の送信手段と、
   前記移動体情報提供サービスサーバー装置から送信されて来る提供情報を受信する第１の受信手段と、
   前記第１の受信手段で受信された前記提供情報を、前記透過型表示手段に表示する表示処理手段と
   を備え、
   前記移動体情報提供サービスサーバー装置は、
   前記移動体窓用装置から送信されて来る前記現在位置情報と前記画像情報とを受信する第２の受信手段と、
   前記第２の受信手段で受信した前記現在位置情報と前記画像情報とに基づいて、必要となる情報を取得し、前記移動体窓用装置に提供する前記提供情報を生成する生成手段と、
   前記生成手段で生成された前記提供情報を、前記移動体窓用装置に送信する第２の送信手段と
   を備えることを特徴とする移動体情報提供サービスシステム。
2. 請求項１に記載の移動体情報提供サービスシステムであって、
   前記移動体窓用装置は、
   乗客から操作入力を受け付ける受付手段を備え、
   前記第１の送信手段は、前記受付手段を通じて受け付けた前記操作入力に応じた入力情報を、前記移動体情報提供サービスサーバー装置に送信することができるものであり、
   前記移動体情報提供サービスサーバー装置において、
   前記第２の受信手段は、前記移動体窓用装置からの前記入力情報を受信できるものであり、
   前記生成手段は、前記第２の受信手段を通じて受け付けた前記入力情報を考慮して、必要となる情報を取得し、前記提供情報を生成する
   ことを特徴とする移動体情報提供サービスシステム。
3. 請求項１または請求項２に記載の移動体情報提供サービスシステムであって、
   前記移動体情報提供サービスサーバー装置の前記生成手段は、
   前記移動体窓用装置の現在位置を示す地図情報と、
   前記窓を通じてこれから見える地物である対象についての情報と、
   前記窓からは見えないが所定の地物である対象の所在方向を示す情報と
   の１つ以上を含む前記提供情報を生成する
   ことを特徴とする移動体情報提供サービスシステム。
4. 移動体の窓に対応して設けられる移動体窓用装置と、移動体情報提供サービスサーバー装置とがネットワークを介して接続されて構成される移動体情報提供サービスシステムの前記移動体窓用装置であって、
   前記移動体情報提供サービスサーバー装置は、前記移動体窓用装置から送信されて来る現在位置情報と画像情報とを受信する第２の受信手段と、前記第２の受信手段で受信した前記現在位置情報と前記画像情報とに基づいて、必要となる情報を取得し、前記移動体窓用装置に提供する提供情報を生成する生成手段と、前記生成手段で生成された前記提供情報を、前記移動体窓用装置に送信する第２の送信手段とを備えるものであり、
   窓に配設される透過型表示手段と、
   現在位置測位手段と、
   前記窓から見える移動体の外の景色を撮像する撮像手段と、
   前記現在位置測位手段で測位された現在位置情報と前記撮像手段で撮像された画像情報とを、前記現在位置情報と前記画像情報として、前記移動体情報提供サービスサーバー装置に送信する第１の送信手段と、
   前記移動体情報提供サービスサーバー装置から送信されて来る前記提供情報を受信する第１の受信手段と、
   前記第１の受信手段で受信された前記提供情報を、前記透過型表示手段に表示する表示処理手段と
   を備えることを特徴とする移動体窓用装置。
5. 移動体の窓に対応して設けられる移動体窓用装置と、移動体情報提供サービスサーバー装置とがネットワークを介して接続されて構成される移動体情報提供サービスシステムの前記移動体情報提供サービスサーバー装置であって、
   前記移動体窓用装置から送信されて来る現在位置情報と画像情報とを受信する受信手段と、
   前記受信手段で受信した前記現在位置情報と前記画像情報とに基づいて、必要となる情報を取得し、前記移動体窓用装置に提供する提供情報を生成する生成手段と、
   前記生成手段で生成された前記提供情報を、前記移動体窓用装置に送信する送信手段と
   を備えることを特徴とする移動体情報提供サービスサーバー装置。
6. 移動体の窓に対応して設けられる移動体窓用装置と、移動体情報提供サービスサーバー装置とがネットワークを介して接続されて構成される移動体情報提供サービスシステムで用いられる移動体情報提供サービス方法であって、
   前記移動体窓用装置においては、
   現在位置測位手段を通じて現在位置を測位する現在位置測位工程と、
   撮像手段を通じて、前記窓から見える移動体の外の景色を撮像する撮像工程と、
   前記現在位置測位工程を通じて測位した現在位置情報と前記撮像工程を通じて撮像した画像情報とを、第１の送信手段を通じて前記移動体情報提供サービスサーバー装置に送信する第１の送信工程と、
   前記移動体情報提供サービスサーバー装置から送信されて来る提供情報を、第１の受信手段を通じて受信する第１の受信工程と、
   前記第１の受信工程を通じて受信した前記提供情報を、表示処理手段が窓に配設される透過型表示手段に表示する表示処理工程と
   を有し、
   前記移動体情報提供サービスサーバー装置においては、
   前記移動体窓用装置から送信されて来る前記現在位置情報と前記画像情報とを、第２の受信手段を通じて受信する第２の受信工程と、
   前記第２の受信工程において受信した前記現在位置情報と前記画像情報とに基づいて、生成手段が、必要となる情報を取得し、前記移動体窓用装置に提供する前記提供情報を生成する生成工程と、
   前記生成工程で生成した前記提供情報を、第２の送信手段が前記移動体窓用装置に送信する第２の送信工程と
   を有することを特徴とする移動体情報提供サービス方法。
7. 移動体の窓に対応して設けられる移動体窓用装置と、移動体情報提供サービスサーバー装置とがネットワークを介して接続されて構成される移動体情報提供サービスシステムの前記移動体窓用装置に搭載されたコンピュータで実行されるプログラムであって、
   前記移動体情報提供サービスサーバー装置は、前記移動体窓用装置から送信されて来る現在位置情報と画像情報とを受信する受信手段と、前記受信手段で受信した前記現在位置情報と前記画像情報とに基づいて、必要となる情報を取得し、前記移動体窓用装置に提供する提供情報を生成する生成手段と、前記生成手段で生成された前記提供情報を、前記移動体窓用装置に送信する送信手段とを備えるものであり、
   現在位置を測位する現在位置測位ステップと、
   前記窓から見える移動体の外の景色を撮像する撮像ステップと、
   前記現在位置測位ステップを通じて測位した現在位置情報と前記撮像ステップを通じて撮像した画像情報とを、前記現在位置情報と前記画像情報として、移動体情報提供サービスサーバー装置に送信する送信ステップと、
   前記移動体情報提供サービスサーバー装置から送信されて来る前記提供情報を受信する受信ステップと、
   前記受信ステップを通じて受信した前記提供情報を、窓に配設される透過型表示手段に表示する表示処理ステップと
   を実行することを特徴とする移動体窓用装置プログラム。
   
8. 移動体情報提供サービスサーバー装置に搭載されたコンピュータが実行するプログラムであって、
   移動体窓用装置から送信されて来る現在位置情報と画像情報とを受信する受信ステップと、
   前記受信ステップにおいて受信した前記現在位置情報と前記画像情報とに基づいて、必要となる情報を取得し、前記移動体窓用装置に提供する提供情報を生成する生成ステップと、
   前記生成ステップで生成した前記提供情報を、前記移動体窓用装置に送信する送信ステップと
   を有することを特徴とする移動体情報提供サービスサーバープログラム。

Images