JPWO2021124516A1 - 境界線可視化システム、境界線可視化方法、境界線可視化プログラムおよびデジタルフォトアルバム作成システム - Google Patents

境界線可視化システム、境界線可視化方法、境界線可視化プログラムおよびデジタルフォトアルバム作成システム Download PDF

Info

Publication number
JPWO2021124516A1
JPWO2021124516A1 JP2020520665A JP2020520665A JPWO2021124516A1 JP WO2021124516 A1 JPWO2021124516 A1 JP WO2021124516A1 JP 2020520665 A JP2020520665 A JP 2020520665A JP 2020520665 A JP2020520665 A JP 2020520665A JP WO2021124516 A1 JPWO2021124516 A1 JP WO2021124516A1
Authority
JP
Japan
Prior art keywords
image
boundary line
terminal
unit
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020520665A
Other languages
English (en)
Other versions
JP7131780B2 (ja
Inventor
學 山田
芳明 橋本
秀敏 佐々木
真吾 設楽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GAKU ASSOCIATES INC.
GOKKO CO. LTD.
Original Assignee
GAKU ASSOCIATES INC.
GOKKO CO. LTD.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GAKU ASSOCIATES INC., GOKKO CO. LTD. filed Critical GAKU ASSOCIATES INC.
Priority to JP2020078254A priority Critical patent/JP6770274B1/ja
Priority to JP2020078255A priority patent/JP6777921B1/ja
Publication of JPWO2021124516A1 publication Critical patent/JPWO2021124516A1/ja
Application granted granted Critical
Publication of JP7131780B2 publication Critical patent/JP7131780B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/203Drawing of straight lines or curves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/70Labelling scene content, e.g. deriving syntactic or semantic representations
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/30Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)

Abstract

端末を備える境界線可視化システムは、所定位置を含む画像を取得する画像取得部と、前記端末の座標および姿勢を含む前記端末の状態を取得する端末状態取得部と、前記端末状態取得部によって取得された前記端末の状態に基づいて、前記端末から一定範囲内に存在する境界線の座標に基づいたCG画像を生成する境界線生成部と、前記画像取得部によって取得された前記画像に含まれる前記所定位置を示す座標と、前記境界線を示す座標とに基づいて、前記画像に前記境界線のCG画像を重ね合わせた合成画像を生成する合成画像生成部とを備える。

Description

本発明は、境界線可視化システム、境界線可視化方法、境界線可視化プログラムおよびデジタルフォトアルバム作成システムに関する。
従来から、現実空間の天体に整合する位置に、天体に関する各種の情報を表す画像(拡張画像)を表示するAR提供装置が知られている(特許文献1参照)。
特許文献1に記載された技術では、コンピュータグラフィックス(CG)画像を表示することによって、拡張された現実感(AR)が提供される。また、特許文献1に記載された技術では、計測部で計測されたAR位置情報、方位情報取得部で取得された方位情報、姿勢情報取得部で取得された姿勢情報、および現在の時刻などに基づいて、ユーザの視野(AR視野)が特定(推定)される。
特開2011−209622号公報
ところで、特許文献1に記載された技術によっては、境界線のCG画像を生成することができず、表示することもできない。
上述した問題点に鑑み、本発明は、現実の風景やその映像上に境界線のCG画像を重ね合わせた合成画像を生成することができる境界線可視化システム、境界線可視化方法、境界線可視化プログラムおよびデジタルフォトアルバム作成システムを提供することを目的とする。
本発明の一態様は、端末を備える境界線可視化システムであって、所定位置を含む画像を取得する画像取得部と、前記端末の座標および姿勢を含む前記端末の状態を取得する端末状態取得部と、前記端末状態取得部によって取得された前記端末の状態に基づいて、前記端末から一定範囲内に存在する境界線の座標に基づいたCG(コンピュータグラフィックス)画像を生成する境界線生成部と、前記画像取得部によって取得された前記画像に含まれる前記所定位置を示す座標と、前記境界線を示す座標とに基づいて、前記画像に前記境界線のCG画像を重ね合わせた合成画像を生成する合成画像生成部と、を備える境界線可視化システムである。
本発明の一態様の境界線可視化システムでは、前記境界線は日付変更線であってもよい。
本発明の一態様の境界線可視化システムでは、前記境界線は災害危険度の段階に対応して地表を複数の領域に分割する線であってもよい。
本発明の一態様は、所定位置を含む画像を取得する画像取得ステップと、端末の座標および姿勢を含む前記端末の状態を取得する端末状態取得ステップと、前記端末状態取得ステップにおいて取得された前記端末の状態に基づいて、前記端末から一定範囲内に存在する境界線の座標に基づいたCG画像を生成する境界線生成ステップと、前記画像取得ステップにおいて取得された前記画像に含まれる前記所定位置を示す座標と、前記境界線を示す座標とに基づいて、前記画像に前記境界線のCG画像を重ね合わせた合成画像を生成する合成画像生成ステップと、を備える境界線可視化方法である。
本発明の一態様は、コンピュータに、所定位置を含む画像を取得する画像取得ステップと、端末の座標および姿勢を含む前記端末の状態を取得する端末状態取得ステップと、前記端末状態取得ステップにおいて取得された前記端末の状態に基づいて、前記端末から一定範囲内に存在する境界線の座標に基づいたCG画像を生成する境界線生成ステップと、前記画像取得ステップにおいて取得された前記画像に含まれる前記所定位置を示す座標と、前記境界線を示す座標とに基づいて、前記画像に前記境界線のCG画像を重ね合わせた合成画像を生成する合成画像生成ステップと、を実行させるための境界線可視化プログラムである。
本発明の一態様は、端末を備えるデジタルフォトアルバム作成システムであって、所定位置を含む画像を取得する画像取得部と、前記端末の座標および姿勢を含む前記端末の状態を取得する端末状態取得部と、前記端末状態取得部によって取得された前記端末の状態に基づいて、前記端末から一定範囲内に存在する境界線の座標に基づいたCG画像を生成する境界線生成部と、前記画像取得部によって取得された前記画像に含まれる前記所定位置を示す座標と、前記境界線を示す座標とに基づいて、前記画像に前記境界線のCG画像を重ね合わせた合成画像を生成する合成画像生成部と、を備えるデジタルフォトアルバム作成システムである。
本発明によれば、境界線のCG画像を重ね合わせた合成画像を生成することができる境界線可視化システム、境界線可視化方法、境界線可視化プログラムおよびデジタルフォトアルバム作成システムを提供することができる。
第1実施形態の境界線可視化システムの概要の一例を示す図である。 端末の合成画像生成部によって生成された合成画像の第1例を示す図である。 端末の合成画像生成部によって生成された合成画像の第2例を示す図である。 端末の合成画像生成部によって生成された合成画像の第3例を示す図である。 第1実施形態の境界線可視化システムにおいて実行される処理の一例を説明するためのシーケンス図である。 第1実施形態の境界線可視化システムの適用例を示す図である。 第2実施形態の境界線可視化システムの概要の一例を示す図である。 第2実施形態の境界線可視化システムにおいて実行される処理の一例を説明するためのシーケンス図である。 第3実施形態の境界線可視化システムの概要の一例を示す図である。
以下、本発明の境界線可視化システム、境界線可視化方法、境界線可視化プログラムおよびデジタルフォトアルバム作成システムの実施形態について説明する。
<第1実施形態>
図1は第1実施形態の境界線可視化システム1の概要の一例を示す図である。
図1に示す例では、境界線可視化システム1が、端末11と、サーバシステム12とを備えている。
端末11は、例えば携帯電話、スマートフォン、タブレット端末などである。端末11は、ハードウェアとして、例えばディスプレイ11Aと、撮影部11Bと、GPS(グローバルポジショニングシステム)受信機11Cと、電子コンパス11Dと、通信部11Eとを備えている。
ディスプレイ11Aは、例えば液晶パネルなどのような表示画面である。撮影部11Bは、例えば画像を撮影するカメラなどである。GPS受信機11Cは、GPS衛星からの電波を受信する。電子コンパス11Dは、地磁気の観測などを行うことによって方位を検出する。通信部11Eは、例えばインターネットなどを介してサーバシステム12などとの通信を行う。つまり、端末11は、通信機能を有する。
端末11は、ハードウェア上で動作する境界線可視化アプリケーションを備えている。つまり、端末11には、ハードウェア上で動作するソフトウェアとして、境界線可視化アプリケーションがインストールされている。
端末11は、境界線可視化アプリケーションとして、端末状態取得部11Fと、画像取得部11Gと、画像記憶部11Hと、窓枠特定部11Iと、画像表示部11Jと、境界線情報記憶部11Kと、境界線生成部11Lと、合成画像生成部11Mと、合成画像表示部11Nと、境界線通過時刻推定部11Pと、テキスト情報付加部11Qと、タグ情報付与部11Rと、画像送信部11Sと、データ受信部11Tと、証明書表示部11Uとを備えている。
端末状態取得部11Fは、端末11の座標および姿勢を含む端末11の状態を取得する。詳細には、端末状態取得部11Fは、GPS受信機11Cによって受信された電波に基づいて、端末11の座標(緯度、経度、高度)を算出し、算出された端末11の座標を、端末11の状態として取得する。また、端末状態取得部11Fは、電子コンパス11Dによって検出された端末11の向きなどに基づいて、端末11の姿勢を算出し、算出された端末11の姿勢を、端末11の状態として取得する。
画像取得部11Gは、所定位置を含む画像IM(例えば静止画、動画)を取得する。「所定位置」は、その位置を示す座標が、端末11によって予め認識されている位置である。画像取得部11Gは、例えば撮影部11Bによって撮影された景色を含む画像IMを取得する。また、画像取得部11Gは、例えばサーバシステム12によって配信された画像IMを取得することもできる。
画像記憶部11Hは、画像取得部11Gによって取得された画像IMを記憶する。
窓枠特定部11Iは、例えば画像取得部11Gによって取得された画像IMに窓枠WFが含まれる場合に、窓枠WFを特定する(つまり、画像IM中のどこが窓枠WFであるかを特定する)。第1実施形態の窓枠特定部11Iが特定可能な窓枠の種類は特に限定されないが、たとえば、窓枠の例として、航空機や船舶の客室の窓枠を挙げることができる。窓枠特定部11Iが窓枠WFを特定できるようにするために、例えば所定のマーカーが、窓枠WFに取り付けられる。他の例では、窓枠特定部11Iが、画像取得部11Gによって取得された窓枠WFを含む画像IMと、あらかじめ作成された窓枠の画像データベースとを照合することによって、画像取得部11Gによって取得された画像IMに含まれる窓枠WFを特定してもよい。更に他の例では、窓枠特定部11Iが窓枠WFを特定できるようにするために、窓枠特定部11Iの機械学習が行われたり、公知の他の技術が適用されたりしてもよい。
画像表示部11Jは、画像取得部11Gによって取得された画像IMを表示する。詳細には、画像表示部11Jは、画像IMをディスプレイ11Aに表示させる。
境界線情報記憶部11Kは、第1実施形態の境界線可視化システム1による可視化の対象である境界線BLに関する情報を記憶している。境界線情報記憶部11Kは、例えば境界線BLを示す緯度、経度などの座標に関する情報を記憶している。第1実施形態の境界線可視化システム1では、境界線情報記憶部11Kが、境界線BLに関する情報として、例えば日付変更線、グリニッジ子午線、IERS(国際地球回転観測事業)基準子午線、赤道、国境などを示す座標に関する情報を記憶していてもよい。以下の例では、境界線BLの1つの例として、日付変更線を例として説明する。
境界線生成部11Lは、端末状態取得部11Fによって取得された端末11の状態に基づいて、端末11から一定範囲内に存在する境界線BLの座標に基づいたCG(コンピュータグラフィックス)画像を生成する。たとえば、境界線生成部11Lが生成するCG画像は、境界線BLを特定するための複数の座標から、これらの座標を通過して境界線BLの形状を再現する線状の画像である。
また、境界線生成部11Lは、境界線BLの形状を再現する画像に加えて、装飾のためのパターン画像やエフェクト情報を付与することができるようになっていてもよい。例えば、境界線生成部11Lは、境界線BLのある場所から鉛直に立ち上がる壁のようにユーザに認識される装飾的なパターン画像や、境界線に沿って延びるカーテン状で一定周期あるいはランダムに揺れるエフェクト付き映像などを装飾のために生成してもよい。また、境界線生成部11Lは、画像取得部11Gが取得した画像のうち境界線BLの位置における面(地面等の平面、隆起、あるいは陥没など)の検出をして、この面に沿うようにCG画像を補正(加工)してもよい。
合成画像生成部11Mは、画像取得部11Gによって取得された画像IMに含まれる所定位置を示す座標と、境界線BLを示す座標とに基づいて、画像IMに境界線BLのCG画像を重ね合わせた合成画像CMを生成する。例えば画像取得部11Gが、端末11によって撮影された景色を含む画像IMを取得した場合に、合成画像生成部11Mは、その景色を含む画像IMに境界線BLのCG画像を重ね合わせた合成画像CMを生成する。
合成画像表示部11Nは、合成画像生成部11Mによって生成された合成画像CMを表示する。詳細には、合成画像表示部11Nは、合成画像CMをディスプレイ11Aに表示させる。
境界線通過時刻推定部11Pは、端末状態取得部11Fによって取得された端末11の座標と、境界線情報記憶部11Kに記憶されている境界線BLを示す座標とに基づいて、端末11が境界線BLを通過する時刻を推定する。詳細には、境界線通過時刻推定部11Pは、端末状態取得部11Fによって取得される複数時刻の端末11の座標に基づいて、端末11の現在位置(現在時刻の座標)、速度、向きなどを算出する。更に、境界線通過時刻推定部11Pは、算出された端末11の現在位置(現在時刻の座標)、速度、向きなどと、境界線BLを示す座標とに基づいて、端末11が境界線BLを通過する時刻を算出(推定)する。
テキスト情報付加部11Qは、境界線通過時刻推定部11Pによって推定された端末11が境界線BLを通過する時刻を示すテキスト情報を、合成画像生成部11Mによって生成された合成画像CMに付加する。テキスト情報付加部11Qは、例えば「日付変更線通過まであと〇〇分〇〇秒」などのテキスト情報を合成画像CMに付加する。端末11が境界線BLを通過する時刻を示すテキスト情報が付加された場合には、合成画像表示部11Nは、端末11が境界線BLを通過する時刻を示すテキスト情報が付加された合成画像CMを表示する。
タグ情報付与部11Rは、合成画像生成部11Mによって生成された合成画像CMに境界線BLが含まれている場合に、合成画像CMに境界線BLが含まれていることを示すタグ情報を、合成画像CMのデータに付与する。第1実施形態のタグ情報付与部11Rが付与するタグ情報は、境界線BLを通過する前と通過した直後とを区別可能な情報である。
画像送信部11Sは、合成画像生成部11Mによって生成された合成画像CMをサーバシステム12などに送信する。後述するように、サーバシステム12は、端末11が日付変更線を通過したことなどを証明する通過証明書を生成する機能を有する。
データ受信部11Tは、サーバシステム12において生成された通過証明書のデータなどを受信する。証明書表示部11Uは、データ受信部11Tによって受信された通過証明書のデータなどに基づいて、通過証明書などを表示する。詳細には、証明書表示部11Uは、通過証明書などをディスプレイ11Aに表示させる。
サーバシステム12は、端末11などから送信された合成画像CM(例えば静止画、動画)を管理(記憶、保管)する。サーバシステム12に対して複数の端末11、…から複数の合成画像CMが送信される場合、サーバシステム12は、複数の端末11、…から送信された複数の合成画像CMを端末ごとに管理(記憶、保管)する。サーバシステム12は、サテライトサーバ121と、ホストサーバ122と、プリンタ123とを備えている。
サテライトサーバ121は、例えば航空機内に設置されている。サテライトサーバ121は、通信部121Aと、記憶部121Bとを備えている。通信部121Aは、例えば航空機内に位置する端末11との通信、航空機のフライト中または駐機中におけるホストサーバ122との通信、プリンタ123との通信などを行う。詳細には、通信部121Aは、例えば航空機のフライト中に端末11の画像送信部11Sによって送信された合成画像CMなどを受信する。記憶部121Bは、例えば通信部121Aによって受信された合成画像CMなどを一時的に記憶する。例えば航空機の着陸後に、通信部121Aは、記憶部121Bに記憶されている合成画像CMなどをホストサーバ122、プリンタ123などに転送する。なお、フライト中の航空機と地上との間における無線通信回線の容量に応じて、通信部121Aが航空機のフライト中にホストサーバ122やプリンタ123と通信してもよい。
ホストサーバ122は、例えば地上に設置されている。ホストサーバ122は、通信部122Aと、画像抽出部122Bと、データ生成部122Cと、記憶部122Dとを備えている。
通信部122Aは、例えば地上に位置する端末11との通信、航空機のフライト中または駐機中におけるサテライトサーバ121との通信、航空機の着陸後におけるプリンタ123やその他の機器との通信などを行う。詳細には、通信部122Aは、例えば航空機の着陸後にサテライトサーバ121の通信部121Aによって送信された合成画像CMなどを受信する。
画像抽出部122Bは、例えば航空機の着陸後に通信部122Aによって受信された複数の合成画像CMのうちから、端末11のタグ情報付与部11Rによって付与されたタグ情報(つまり、境界線BLが合成画像CMに含まれていることを示すタグ情報)を含む合成画像CMを抽出する。
データ生成部122Cは、画像抽出部122Bによって抽出されたタグ情報を含む合成画像CMに基づいて(つまり、合成画像CMのデータに付与されたタグ情報に基づいて)、端末11などが境界線BLを通過したことを証明する通過証明書データなどを生成する。データ生成部122Cによって生成される通過証明書データには、端末11などが境界線BLを通過した日時、航空機の便名、機長名、機長署名などが含められる。
記憶部122Dは、データ生成部122Cによって生成された通過証明書データを記憶する。
通信部122Aは、データ生成部122Cによって生成された通過証明書データをプリンタ123に送信することができる。
プリンタ123は、例えば空港や航空機内に設置されている。航空機の着陸後、たとえば空港に設置されたプリンタ123が、ホストサーバ122の通信部122Aによって送信された通過証明書データを受信した場合に、プリンタ123は、通過証明書を印刷する。プリンタ123によって印刷された通過証明書は、航空機を利用した端末11のユーザに贈呈される。
通信部122Aは、データ生成部122Cによって生成された通過証明書データを端末11に送信することができる。
航空機の着陸後、端末11が、ホストサーバ122の通信部122Aによって送信された通過証明書データを受信した場合に、端末11の例えば画像記憶部11Hが通過証明書データを記憶し、端末11の証明書表示部11Uは通過証明書を表示する。
航空機のフライト中に利用できる十分な無線通信回線容量がある場合には、通信部122Aは、サテライトサーバ121を介して、あるいはインターネット網を通じて、航空機のフライト中に通過証明書データを端末11へ送信してもよい。この場合、航空機のフライト中に通過証明書を表示することができる。さらに、プリンタ123が航空機内に設置されている場合には、印刷物としての通過証明書を航空機内でユーザに贈呈することができる。
端末11のユーザは、ホストサーバ122の記憶部122Dに記憶されている通過証明書データをダウンロードすることによって、あるいは、端末11の例えば画像記憶部11Hに記憶されている通過証明書データを用いることによって、例えば自宅のプリンタ(図示せず)、専門店のプリンタ(図示せず)などに通過証明書を印刷させることもできる。ホストサーバ122の記憶部122Dに記憶されている通過証明書データをダウンロードする場合には、通過証明書データのダウンロードに必要な整理番号などが、ホストサーバ122から端末11の境界線可視化アプリケーションに対して発行される。
図2Aは端末11の合成画像生成部11Mによって生成された合成画像CMの第1例を示す図である。図2Bは端末11の合成画像生成部11Mによって生成された合成画像CMの第2例を示す図である。図2Cは端末11の合成画像生成部11Mによって生成された合成画像CMの第3例を示す図である。
図2A、図2B、および図2Cに示す例では、端末11の撮影部11Bが、窓を有する部屋の内部から窓越しに外の景色を含む画像IMを撮影する。詳細には、撮影部11Bが、航空機内から航空機の窓ガラスWG越しに航空機外の景色を含む画像IMを撮影する。端末11の画像取得部11Gは、撮影部11Bによって撮影された航空機外の景色を含む画像IMを取得する。端末11の端末状態取得部11Fは、航空機外の景色を含む画像IMの撮影時における端末11の座標および姿勢を含む端末11の状態を取得する。
端末11の境界線生成部11Lは、端末状態取得部11Fによって取得された端末11の状態に基づいて、境界線BLのCG画像として、端末11から一定範囲内に存在する日付変更線のCG画像を生成する。詳細には、境界線生成部11Lが、境界線BLのうち端末11から一定範囲内に存在する部分を表示対象とするCG画像を生成する。端末11の合成画像生成部11Mは、撮影部11Bによって撮影された外の景色を含む画像IMに、境界線BLのCG画像を重ね合わせた合成画像CMを生成する。詳細には、合成画像生成部11Mが、画像取得部11Gによって取得された航空機外の景色を含む画像IMに含まれる所定位置を示す座標と、境界線BL(日付変更線)を示す座標とに基づいて、画像IMに境界線BL(日付変更線)のCG画像を重ね合わせた合成画像CMを生成する。
詳細には、図2Aに示す第1例では、合成画像生成部11Mは、境界線BL(日付変更線)のCG画像が、端末11から境界線BLが離れるにしたがって(つまり、航空機の窓ガラスWGから境界線BLが離れるにしたがって)細くなり、地平線または水平線において消失する線状になるように、境界線BL(日付変更線)のCG画像を、航空機外の景色を含む画像IMに重ね合わせる。
図2Aに示す第1例では、境界線生成部11Lによって生成される境界線BL(日付変更線)のCG画像が、複数の座標を繋ぐ直線の集合として全体として地表に沿った曲線を含んだ立体的なCG画像となる。
図2Bに示す第2例では、端末11の窓枠特定部11Iが、航空機外の景色を含む画像IM中のどこが窓枠WFであるかを特定する。更に、合成画像生成部11Mは、境界線BL(日付変更線)のCG画像が、窓枠特定部11Iによって特定された窓枠WFの内側のみに位置するように、境界線BL(日付変更線)のCG画像を加工(例えばトリミング)して、加工されたCG画像を航空機外の景色を含む画像IMに重ね合わせる。
図2Bに示す第2例では、境界線可視化システム1のユーザは、航空機内から航空機の窓ガラスWG越しに境界線BL(日付変更線)を目視した疑似体験をすることができる。
図2Cに示す第3例では、端末11の境界線通過時刻推定部11Pが、端末状態取得部11Fによって取得された端末11の座標と、境界線情報記憶部11Kに記憶されている境界線BL(日付変更線)を示す座標とに基づいて、端末11が境界線BL(日付変更線)を通過する時刻を推定する。更に、端末11のテキスト情報付加部11Qは、境界線通過時刻推定部11Pによって推定された端末11が境界線BL(日付変更線)を通過する時刻を示すテキスト情報を、合成画像生成部11Mによって生成された合成画像CMに付加する。
図2Cに示す第3例では、合成画像生成部11Mが、テキスト情報付加部11Qによって「日付変更線通過まであと3分16秒」などの境界線BLとの位置関係や位置関係の変遷をユーザに想起させるテキスト情報が付加された合成画像CMを生成し、合成画像表示部11Nが、合成画像生成部11Mによって生成された合成画像CMを表示する。
他の例では、端末状態取得部11Fが、GPS受信機11Cによって受信された電波に基づいて、端末11が境界線BL(日付変更線)を通過したことを検出し、そのことをトリガーとして、合成画像生成部11Mが、テキスト情報付加部11Qによって「△△時△△分△△秒に日付変更線を通過しました」などの境界線BLを通過したことを示すテキスト情報が付加された合成画像CMを生成し、合成画像表示部11Nが、合成画像生成部11Mによって生成された合成画像CMを表示してもよい。
図3は第1実施形態の境界線可視化システム1において実行される処理の一例を説明するためのシーケンス図である。
図3に示す例では、航空機のフライト中に実行されるステップS1において、端末11の撮影部11Bが、航空機内から航空機の窓ガラスWG越しに航空機外の景色を含む画像IMを撮影する。航空機外の景色を含む画像IMには、所定位置が含まれており、その所定位置を示す座標は、端末11によって予め認識されている。
次いで、ステップS2では、端末11の画像取得部11Gが、ステップS1において撮影された航空機外の景色を含む画像IMを取得する。
次いで、ステップS3では、端末11の画像記憶部11Hが、ステップS2において取得された航空機外の景色を含む画像IMを記憶する。
また、ステップS4では、端末11のGPS受信機11Cが、GPS衛星からの電波を受信する。
次いで、ステップS5では、端末11の端末状態取得部11Fが、ステップS4において受信された電波に基づいて、端末11の座標を算出し、算出された端末11の座標を、端末11の状態として取得する。
また、ステップS6では、端末11の電子コンパス11Dが、地磁気の観測などを行うことによって方位(端末11の向き)を検出する。
次いで、ステップS7では、端末11の端末状態取得部11Fが、ステップS6において検出された端末11の向きなどに基づいて、端末11の姿勢を算出し、算出された端末11の姿勢を、端末11の状態として取得する。
次いで、ステップS8では、端末11の境界線生成部11Lが、ステップS5およびステップS7において取得された端末11の状態と、境界線情報記憶部11Kに記憶されている境界線BL(日付変更線)のCG画像を生成するために必要な情報とに基づいて、端末11から一定範囲内に存在する境界線BLの座標に基づいたCG画像を生成する。
次いで、ステップS9では、端末11の窓枠特定部11Iが、ステップS2において取得された航空機外の景色を含む画像IMに窓枠WFが含まれるか否かを判定し、航空機外の景色を含む画像IMに窓枠WFが含まれる場合に、航空機外の景色を含む画像IM中のどこが窓枠WFであるかを特定する。
次いで、ステップS10では、端末11の合成画像生成部11Mが、ステップS2において取得された航空機外の景色を含む画像IMに含まれる所定位置を示す座標と、端末11の境界線情報記憶部11Kに記憶されている境界線BL(日付変更線)を示す座標とに基づいて、画像IMに境界線BLのCG画像を重ね合わせた合成画像CMを生成する。
次いで、ステップS11では、端末11の境界線通過時刻推定部11Pが、ステップS5において取得された端末11の座標と、境界線情報記憶部11Kに記憶されている境界線BL(日付変更線)を示す座標とに基づいて、端末11が境界線BL(日付変更線)を通過する時刻を推定する。
次いで、ステップS12では、端末11のテキスト情報付加部11Qが、ステップS11において推定された端末11が境界線BL(日付変更線)を通過する時刻を示すテキスト情報を、ステップS10において生成された合成画像CMに付加する。
次いで、ステップS13では、端末11の合成画像表示部11Nが、ステップS10において生成された合成画像CMに対して、ステップS12においてテキスト情報が付加されたものを表示する。
次いで、ステップS14では、端末11のタグ情報付与部11Rが、ステップS10において生成された合成画像CMに境界線BLとして日付変更線が含まれているか否かを判定し、合成画像CMに境界線BLとして日付変更線が含まれている場合に、合成画像CMに日付変更線が含まれていることを示すタグ情報を、合成画像CMのデータに付与する。ステップS14において付与されるタグ情報は、日付変更線通過前と日付変更線通過直後とを区別可能な情報を含んでいる。
次いで、ステップS15では、端末11の画像送信部11Sが、ステップS10において生成された合成画像CMに対して、ステップS12においてテキスト情報が付加されたものを、サーバシステム12のサテライトサーバ121に送信する。詳細には、ステップS15において送信される合成画像CMのデータには、ステップS14において付与されたタグ情報が含まれている。
次いで、ステップS16では、サテライトサーバ121の記憶部121Bが、ステップS15において送信された合成画像CMを記憶する。詳細には、ステップS16において記憶される合成画像CMのデータには、ステップS14において付与されたタグ情報が含まれている。
次いで、航空機の着陸後に実行されるステップS17では、サテライトサーバ121の通信部121Aが、ステップS16において記憶された合成画像CMをサーバシステム12のホストサーバ122に転送する。
次いで、ステップS18では、ホストサーバ122の記憶部122Dが、ステップS17において転送された合成画像CMを記憶する。詳細には、ステップS18において記憶される合成画像CMのデータには、ステップS14において付与されたタグ情報が含まれている。
次いで、ステップS19では、ホストサーバ122の画像抽出部122Bが、航空機の着陸後にホストサーバ122の通信部122Aによって受信された複数の合成画像CMのうちから、ステップS14において付与されたタグ情報を用いて、日付変更線通過直後の合成画像CMを抽出する。なお、日付変更線通過直後であることを示すタグ情報が付与された合成画像CMがない場合には、タグ情報を含む合成画像CMの中から所定の手順(例えばタイムスタンプを参照して)で画像を抽出する。
次いで、ステップS20では、ホストサーバ122のデータ生成部122Cが、ステップS19において抽出されたタグ情報を含む合成画像CMに基づいて(つまり、合成画像CMのデータに付与されたタグ情報に基づいて)、端末11が日付変更線を通過したことを証明する通過証明書データを生成する。ステップS20において生成される通過証明書データには、端末11が日付変更線を通過した日時、航空機の便名、機長名、機長署名などが含められる。
次いで、ステップS21では、ホストサーバ122の通信部122Aが、ステップS20において生成された通過証明書データをサーバシステム12のプリンタ123に送信する。
次いで、ステップS22では、プリンタ123が、ステップS21において送信された通過証明書データに基づいて、通過証明書を印刷する。ステップS22において印刷された通過証明書は、航空機を利用した端末11のユーザに贈呈される。
図4は第1実施形態の境界線可視化システム1の適用例を示す図である。
図4に示す例では、境界線可視化システム1が、デジタルフォトアルバム作成システムAに適用されている。デジタルフォトアルバム作成システムAは、端末11にインストールされたアルバムアプリA1と、フォトアルバム装置A2とを備えている。
アルバムアプリA1は、境界線可視化システム1の境界線可視化アプリケーションと連携して、あるいは境界線可視化アプリケーションをプログラムの一部に含むことによって、境界線BLを含むCG画像CMを取得することができる。
フォトアルバム装置A2は、端末11の合成画像生成部11Mによって生成された合成画像CMやその他の画像を表示したり印刷したりする機能、ホストサーバ122のデータ生成部122Cによって生成された通過証明書データに基づいて通過証明書を印刷する機能などを有する。また、フォトアルバム装置A2は、印刷されたものの製本などを行うことによって、フォトアルバムを作成する機能を有する。
つまり、図4に示すデジタルフォトアルバム作成システムAは、通信機能を有する端末11にインストールされた境界線可視化アプリケーション(アルバムアプリA1)と、端末11と通信可能なサーバシステム12とを備えている。
端末11のハードウェア上で動作する境界線可視化アプリケーションは、一意に特定可能なID(identification)情報を有しており、サーバシステム12と通信可能である。また、境界線可視化アプリケーションは、端末11の撮影部11B(カメラ)にアクセス可能であり、境界線可視化アプリケーションの画像取得部11Gは、撮影部11Bによって撮影された動画および静止画を取得する。境界線可視化アプリケーションの画像記憶部11Hは、画像取得部11Gによって取得された動画および静止画を保存(記憶)する。
境界線可視化アプリケーションの起動中に撮影部11Bが動画および静止画を撮影する場合には、画像取得部11Gが、撮影部11Bによって撮影された動画および静止画を取得する。
サーバシステム12によって動画および静止画が配信される場合には、画像取得部11Gが、サーバシステム12によって配信された動画および静止画を取得する。
境界線可視化アプリケーションの画像表示部11Jは、動画および静止画の取得日、配信日などの日付に基づいて、動画および静止画のファイルを整理して表示することができる。
境界線可視化アプリケーションの画像送信部11Sは、画像取得部11Gによって取得された動画および静止画、合成画像生成部11Mによって生成された合成画像CMなどを、デジタルフォトアルバム作成システムAのユーザによって指定された任意のフォトアルバム装置A2に送信することができる。
サーバシステム12は、端末11から送信されるデータを航空機内で保存するために各航空機に設置されるサテライトサーバ121と、サテライトサーバ121とデータを送受信可能で地上に設置されるホストサーバ122とを備えている。
サーバシステム12は、境界線可視化アプリケーションがインストールされた各端末から送信された動画および静止画を、端末ごとに管理(記憶・保管)する。上述したように、航空機内に設置されたサテライトサーバ121の記憶部121Bは、合成画像CM(境界線BLのCG画像が、動画・静止画等に重ね合わされたもの)を一時保存する。サテライトサーバ121の通信部121Aは、航空機の着陸後に、合成画像CMなどの全データを、インターネット等を介して地上のホストサーバ122に転送する。
ホストサーバ122は、境界線可視化アプリケーションがインストールされた複数の端末、世界各地のパーソナルコンピュータ等と、インターネット等を介してアクセス可能に接続されている。境界線可視化アプリケーションがインストールされた端末11は、各種データ(例えば撮影部11Bによって撮影された画像のデータ、画像取得部11Gによって取得された画像のデータ、境界線生成部11Lによって生成されたCG画像のデータ、合成画像生成部11Mによって生成された合成画像CMのデータ、タグ情報付与部11Rによって付与されたタグ情報など)をホストサーバ122に送信することができる。また、境界線可視化アプリケーションがインストールされた端末11は、各種データ(例えば通過証明書データなど)をホストサーバ122から受信することができる。
航空機内の無線通信サービス(たとえばWi-Fi(商標名)の通信回線が大容量かつ高速であって、安定的に利用可能である場合には、航空機内に位置する端末11が、航空機内の無線通信サービスを介してリアルタイムでホストサーバ122と通信を行ってもよい。
サーバシステム12は、デジタルフォトアルバム作成システムAのユーザによって指定された任意のフォトアルバム装置A2に、上述した画像等のデータを送信することができる。
デジタルフォトアルバム作成システムAの第1例では、端末11が所定の座標の近傍に位置する場合に、境界線可視化アプリケーションが、その座標に対応したコンテンツを実行可能である。例えば端末11が、境界線BL(日付変更線)を示す座標の近傍に位置する場合、境界線可視化アプリケーションが、その座標に対応したコンテンツ(例えば境界線BL(日付変更線)のCG画像が風景画像に重ね合わされた合成画像CMを生成するコンテンツなど)を実行する。
例えば、境界線可視化アプリケーションは、境界線BL(日付変更線)を示す座標から一定の範囲内に端末11が進入したことをトリガーとして、境界線可視化アプリケーションの起動を端末11のユーザに促す通知を、端末11のディスプレイ11Aに表示させる。
デジタルフォトアルバム作成システムAの第2例では、境界線可視化アプリケーションの起動中、端末11が、境界線BL(日付変更線)を示す座標から一定の範囲内に進入したことをトリガーとして、端末11のディスプレイ11Aにおける表示画面が、境界線BL(日付変更線)と紐づけられた表示画面に遷移する。その結果、境界線可視化アプリケーションは、境界線BL(日付変更線)に関する閲覧、操作などを端末11のユーザに促すことができる。
端末11のユーザは、境界線BL(日付変更線)を肉眼で見ることはできない。端末11のユーザが、境界線BL(日付変更線)が存在すると思われる向きに端末11を向けると、端末11の境界線生成部11Lによって生成された境界線BL(日付変更線)のCG画像が、端末11の画像取得部11Gによって取得された画像IM(例えば撮影部11Bによって撮影中の画像IM)に重ね合わされ、合成画像CMとして、端末11のディスプレイ11Aに表示される。
つまり、境界線可視化アプリケーションは、端末11の座標(GPSから取得した緯度、経度、高度)と、日付変更線を特定可能な座標(緯度、経度)のうち端末11から一定範囲内にある座標とを用いて、端末11の位置、姿勢に対応するように日付変更線のCG画像を生成して、撮影中の動画または静止画に重ねて表示する。日付変更線のCG画像は、日付変更線を規定する座標をつないだ線として表示される。また、境界線可視化アプリケーションは、日付変更線のCG画像を含んだ動画または静止画を撮影(記録)することができる。日付変更線のCG画像を含んだ動画または静止画は、境界線可視化アプリケーション内に(例えば画像記憶部11Hに)保存される。端末11のユーザは、フロントカメラを利用した自撮りを行うこともできる。
境界線可視化アプリケーションは、日付変更線を含む合成画像CMを、サーバシステム12に送信することができる。サーバシステム12に送信される合成画像CMのデータには、合成画像CMに日付変更線が含まれていることを示すタグ情報が、タグ情報付与部11Rによって付与される。
タグ情報を含む画像の送信数には一定の上限が設定されていてもよい(たとえば「静止画2枚まで」など)。
境界線可視化アプリケーションは、日付変更線を含む画像以外の動画または静止画をサーバシステム12に送信することもできる(境界線可視化システム1のユーザは、境界線可視化アプリケーションによってサーバシステム12に送信される動画または静止画を、バックアップあるいは紙媒体のアルバム作成用素材として自由に使用することができる)。
サーバシステム12(ホストサーバ122の画像抽出部122B)は、端末11から送信された画像のうち、日付変更線が含まれていることを示すタグ情報を含む画像を自動抽出する。サーバシステム12(ホストサーバ122のデータ生成部122C)は、端末11が日付変更線を通過した日時、航空機の便名、航空機の機長名(機長署名)のうちの少なくとも1つを含んだ印刷可能なフォーマットのデジタルデータを生成する。
サーバシステム12(ホストサーバ122の記憶部122D)は、通過証明書のデジタルデータを境界線可視化アプリケーションにダウンロードできるように保管(記憶)する。
サーバシステム12(ホストサーバ122の通信部122A)は、端末11のユーザの要求などに応じて、デジタルデータを境界線可視化アプリケーションに送信する。また、サーバシステム12(ホストサーバ122の通信部122A)は、境界線可視化アプリケーションを通じて端末11のユーザによって指定された任意のフォトアルバム装置A2へ、その他の画像と同じように通過証明書を画像データとして送信することができる。
境界線可視化アプリケーション(端末11のデータ受信部11T)は、サーバシステム12によって生成されたデジタルデータを取得(受信)することができる。境界線可視化アプリケーション(端末11の画像記憶部11H)は、データ受信部11Tによって受信されたデジタルデータを保存(記憶)することができる。境界線可視化アプリケーション(端末11の画像表示部11J)は、データ受信部11Tによって受信されたデジタルデータを表示することができる。
サーバシステム12(ホストサーバ122の記憶部122D)に保管されている通過証明書のデジタルデータは、デジタルフォトアルバム作成システムAのユーザの自宅のプリンタによる印刷、専門店のプリンタによる印刷などを行うために、デジタルフォトアルバム作成システムAのユーザの要求に応じて、サーバシステム12から、デジタルフォトアルバム作成システムAのユーザの自宅、専門店などに配信される。
例えば専門店のプリンタによる印刷が行われる場合には、サーバシステム12に保管されている通過証明書のデジタルデータのダウンロードに必要な整理番号などが、サーバシステム12から専門店などに発行される。専門店が、サーバシステム12にアクセスし、発行された整理番号を入力することによって、通過証明書のデジタルデータが、サーバシステム12から専門店にダウンロードされ、専門店のプリンタによって、通過証明書が印刷される。
第1実施形態の境界線可視化システム1では、現実には目視できない境界線BL(例えば日付変更線)を、拡張現実(AR)によって、あたかも実在しているかのように示すことができる。たとえば、上述した航空機の例の場合、「窓の下に見える赤い線が日付変更線でございます」などの航空機内のアナウンスを実現することができる。つまり、第1実施形態の境界線可視化システム1では、エンターテインメント性が高い旅行体験を提供することができる。
上述した例では、航空機を利用することによって端末11が境界線BL(日付変更線)を通過するが、他の例では、船舶、鉄道、バスなどの航空機以外の公共交通機関、自家用乗り物などを利用することによって、端末11が境界線BL(日付変更線、IERS基準子午線、赤道、国境など)を通過してもよい。
また、電波を遮断するガラスや壁等に囲まれた室内で第1実施形態の境界線可視化システム1が利用される場合には、端末状態取得部11FはGPS受信機に代えてインターネット網を通じて航空機や船舶等の位置等を取得できるようになっていてもよい。この場合、電波の受信不良による位置精度の低下を防ぐことができる。
上述した例では、端末11のディスプレイ11A上に画像を表示するが、他の例では、窓ガラスを表示媒体とするように窓近傍に設置されたプロジェクタによって窓ガラス上に境界線BLの画像を投影してもよい。この場合、窓を通して見える風景に境界線BLの画像が重なって見えることで、端末11などをユーザが手に持つことなく上記の例と同等の効果を得ることができる。なお、この場合、端末11に代えて用いられるプロジェクタは、端末11と同様に位置や姿勢等の情報を取得する手段を有するか、航空機等に設けられた航行システム等から無線通信等の手段によって位置や姿勢等の情報を取得することができるようになっていてもよい。さらに、上記のプロジェクタは、ユーザの視線あるいは頭部の位置を認識する手段を有していてもよく、この場合、窓ガラス上への境界線BLの画像の投影位置をユーザと窓との位置関係に応じて最適化することができる。
また、窓ガラスに代えて透過ディスプレイ装置が設けられ、この透過ディスプレイ装置が上記のディスプレイ11Aとして利用されてもよい。この場合、端末11は携帯可能な端末でなく据置型の端末でもよい。
また、端末11は、スマートウォッチやスマートグラスなどのウェアラブル端末であってもよい。この場合、たとえば眼鏡型、ゴーグル型、あるいはコンタクトレンズ型のウェアラブル端末の例として、ディスプレイ11Aとして液晶ディスプレイ装置や網膜走査型レーザーディスプレイ装置を備えるものを挙げることができる。
なお、サーバシステム12は、航空機内のサテライトサーバ121と接続されたプリンタ123を有していてもよい。この場合には、プリンタ123に接続されているサテライトサーバ121は、端末11からサテライトサーバ121に送信された画像のうち、日付変更線が含まれていることを示すタグ情報を含む合成画像CMを自動的に抽出する。
プリンタ123は、サテライトサーバ121によって抽出された合成画像CMを所定の用紙に印刷することができる。プリンタ123は、端末11が日付変更線を通過した日時、航空機の便名、航空機の機長名(機長署名)などを含めて合成画像CMをその用紙に印刷することができる。
必要に応じて、境界線可視化アプリケーションに紐づけられたデジタルフォトアルバム作成システムAのユーザ情報と、航空機のフライトチケット情報とが一致する場合に、プリンタ123が、ユーザ個人名などの個人情報を含めて合成画像CMをその用紙に通過証明書として印刷してもよい。これにより、通過証明書を航空機内で作成してユーザに贈呈することができる。
<第2実施形態>
以下、本発明の境界線可視化システム、境界線可視化方法、境界線可視化プログラムの第2実施形態について説明する。
第2実施形態の境界線可視化システム1は、後述する点を除き、上述した第1実施形態の境界線可視化システム1と同様に構成されている。従って、第2実施形態の境界線可視化システム1によれば、後述する点を除き、上述した第1実施形態の境界線可視化システム1と同様の効果を奏することができる。
図5は第2実施形態の境界線可視化システム1の概要の一例を示す図である。
第2実施形態の境界線可視化システム1は、たとえば土地登記上の境界線などを可視化するシステムである。後述するように、第2実施形態の境界線可視化システム1では、例えば山林などで境界線が不明瞭な場合に、どこまでが自分の土地でどこからが他人の土地になるのかの概要を知ることができる。表示精度はGPS衛星が提供する情報の精度に応じて異なるが、近年は誤差数センチメートルの位置情報が取得できるので、実用上十分な精度で境界線を可視化できる。
図5に示す例では、境界線可視化システム1が、端末11と、サーバシステム12とを備えている。
端末11は、例えば携帯電話、スマートフォン、タブレット端末などである。端末11は、ハードウェアとして、例えばディスプレイ11Aと、撮影部11Bと、GPS受信機11Cと、電子コンパス11Dと、通信部11Eとを備えている。
端末11は、ハードウェア上で動作する境界線可視化アプリケーションを備えている。
端末11は、境界線可視化アプリケーションとして、端末状態取得部11Fと、画像取得部11Gと、画像記憶部11Hと、画像表示部11Jと、境界線情報記憶部11Kと、境界線生成部11Lと、合成画像生成部11Mと、合成画像表示部11Nとを備えている。
端末状態取得部11Fは、端末11の座標および姿勢を含む端末11の状態を取得する。
画像取得部11Gは、所定位置を含む画像IM(例えば静止画、動画)を取得する。画像取得部11Gは、例えば撮影部11Bによって撮影された景色を含む画像IMを取得する。また、画像取得部11Gは、例えばサーバシステム12によって配信された画像IMを取得することもできる。
境界線情報記憶部11Kは、第2実施形態の境界線可視化システム1による可視化の対象である境界線BLに関する情報を記憶している。境界線情報記憶部11Kは、例えば境界線BLを示す緯度、経度などの座標に関する情報を記憶している。第2実施形態の境界線可視化システム1では、境界線情報記憶部11Kが、境界線BLに関する情報として、例えば土地登記における境界、県境、国境、領海の輪郭線、排他的経済水域の輪郭線などを示す座標に関する情報を記憶している。
境界線生成部11Lは、端末状態取得部11Fによって取得された端末11の状態に基づいて、端末11から一定範囲内に存在する境界線BL(例えば土地登記における境界、県境、国境、領海の輪郭線、排他的経済水域の輪郭線など)の座標に基づいたCG画像を生成する。
合成画像生成部11Mは、画像取得部11Gによって取得された画像IMに含まれる所定位置を示す座標と、境界線BLを示す座標とに基づいて、画像IMに境界線BLのCG画像を重ね合わせた合成画像CMを生成する。
サーバシステム12は、通信部12Aと、データベース12Bとを備えている。
通信部12Aは、端末11との通信などを行う。データベース12Bは、土地登記情報に基づく境界線BLを特定可能な位置情報などを記憶している。
図6は第2実施形態の境界線可視化システム1において実行される処理の一例を説明するためのシーケンス図である。
図6に示す例では、ステップS31において、端末11の撮影部11Bが、景色を含む画像IMを撮影する。景色を含む画像IMには、所定位置が含まれており、その所定位置を示す座標は、端末11によって予め認識されている。
次いで、ステップS32では、端末11の画像取得部11Gが、ステップS31において撮影された景色を含む画像IMを取得する。
次いで、ステップS33では、端末11の画像記憶部11Hが、ステップS32において取得された景色を含む画像IMを記憶する。
また、ステップS34では、端末11のGPS受信機11Cが、GPS衛星からの電波を受信する。
次いで、ステップS35では、端末11の端末状態取得部11Fが、ステップS34において受信された電波に基づいて、端末11の座標を算出し、算出された端末11の座標を、端末11の状態として取得する。
また、ステップS36では、端末11の電子コンパス11Dが、地磁気の観測などを行うことによって方位(端末11の向き)を検出する。
次いで、ステップS37では、端末11の端末状態取得部11Fが、ステップS36において検出された端末11の向きなどに基づいて、端末11の姿勢を算出し、算出された端末11の姿勢を、端末11の状態として取得する。
次いで、ステップS38では、例えば端末11の境界線生成部11Lが、ステップS35およびステップS37において取得された端末11の状態と、境界線情報記憶部11Kに記憶されている境界線BL(例えば土地登記における境界、県境、国境、領海の輪郭線、排他的経済水域の輪郭線など)のCG画像を生成するために必要な情報とに基づいて、端末11から一定範囲内に存在する境界線BLのCG画像を生成可能であるか否かを判定する。境界線生成部11Lが境界線BLのCG画像を生成可能である場合には、ステップS39に進む。一方、境界線生成部11Lが境界線BLのCG画像を生成できない場合(たとえばCG画像生成のための情報が不足している場合)には、ステップS42に進む。
ステップS39では、端末11の境界線生成部11Lが、ステップS35およびステップS37において取得された端末11の状態と、境界線情報記憶部11Kに記憶されている境界線BL(例えば土地登記における境界、県境、国境、領海の輪郭線、排他的経済水域の輪郭線など)のCG画像を生成するために必要な情報とに基づいて、端末11から一定範囲内に存在する境界線BLのCG画像を生成する。
次いで、ステップS40では、端末11の合成画像生成部11Mが、ステップS32において取得された景色を含む画像IMに含まれる所定位置を示す座標と、端末11の境界線情報記憶部11Kに記憶されている境界線BLを示す座標とに基づいて、画像IMに境界線BLのCG画像を重ね合わせた合成画像CMを生成する。
次いで、ステップS41では、端末11の合成画像表示部11Nが、ステップS39において生成された合成画像CMを表示する。
上述したステップS38において、境界線生成部11Lが境界線BLのCG画像を生成するために必要な情報が、境界線情報記憶部11Kに記憶されていないために、境界線生成部11Lが境界線BLのCG画像を生成できない場合には、ステップS42において、端末11の通信部11Eが、境界線BLのCG画像を生成するために必要な情報をサーバシステム12に要求する。
次いで、ステップS43では、サーバシステム12の通信部12Aが、サーバシステム12のデータベース12Bに記憶されている、境界線BLのCG画像を生成するために必要な情報を、端末11に送信する。
次いで、ステップS39では、端末11の境界線生成部11Lが、ステップS35およびステップS37において取得された端末11の状態と、ステップS43においてサーバシステム12から送信された境界線BLのCG画像を生成するために必要な情報とに基づいて、端末11から一定範囲内に存在する境界線BLのCG画像を生成する。
上述したステップS43において、境界線BLのCG画像を生成するために必要な情報が、サーバシステム12のデータベース12Bに記憶されていない場合には、サーバシステム12が、例えば土地台帳、土地登記情報に基づいて作成された座標付き地図情報データベースなどの外部機関(図示せず)にアクセスし、境界線BLのCG画像を生成するために必要な情報を取得する。
次いで、サーバシステム12の通信部12Aが、外部機関から取得された境界線BLのCG画像を生成するために必要な情報を、端末11に送信する。
次いで、ステップS39では、端末11の境界線生成部11Lが、ステップS35およびステップS37において取得された端末11の状態と、サーバシステム12から送信された境界線BLのCG画像を生成するために必要な情報(外部機関から取得されたもの)とに基づいて、端末11から一定範囲内に存在する境界線BLのCG画像を生成する。
上述したように第2実施形態の境界線可視化システム1は、通信機能を有する端末11にインストールされた境界線可視化アプリケーションと、端末11と通信可能なサーバシステム12とを備えている。
境界線可視化アプリケーションの起動中に撮影部11Bが画像IM(動画または静止画)を撮影する場合には、画像取得部11Gが、撮影部11Bによって撮影された画像IM(動画または静止画)を取得する。画像表示部11Jは、画像取得部11Gによって取得された画像IM(動画または静止画)をプレビュー表示することができる。
第2実施形態の境界線可視化システム1の一例では、端末11のユーザが、端末11の撮影部11Bによって撮影されている範囲内の境界線BLに関する情報を知りたい場合に、端末11の通信部11Eは、その境界線BLに関する情報をサーバシステム12に要求する。具体的には、端末11の通信部11Eが、GPS衛星からの電波に基づいて算出される端末11の座標(現在位置)をサーバシステム12に送信する。
サーバシステム12は、端末11の現在位置を受信すると、データベース12Bに記憶されている、端末11の現在位置から一定範囲内に存在する境界線BLに関する情報(境界線BLのCG画像を生成するために必要な位置情報などの情報)を端末11に送信する。
端末11の境界線生成部11Lは、端末11の座標(GPS衛星からの電波に基づいて算出された端末11の緯度、経度、高度)、サーバシステム12から送信された境界線BLに関する情報などを用いて、端末11の位置および姿勢に対応するように境界線BLのCG画像を生成する。
端末11の合成画像生成部11Mは、境界線生成部11Lによって生成された境界線BLのCG画像を、画像取得部11Gによって取得された画像IMに重ね合わせた合成画像CMを生成する。
端末11の合成画像表示部11Nは、合成画像生成部11Mによって生成された合成画像CMを表示(例えばプレビュー表示)する。
端末11は、必要に応じて、境界線BLのCG画像が実際の風景画像(景色を含む画像IM)に重畳された合成画像CM(動画または静止画)を保存することもできる。
これにより、端末11のユーザは、境界線BLの位置を知ることができる。
第2実施形態の境界線可視化システム1では、現実では目視できない線(土地登記による境界線BL)を、拡張現実(AR)によって、あたかも実在しているかのように示すことができる。自分の土地と他人の土地との境界線BL(不明瞭な境界線)を確認するための測量をするほどではない軽微な紛争を解決するためのツールとして、第2実施形態の境界線可視化システム1は利用可能である。
また、第2実施形態の境界線可視化システム1では、境界線BL(目視できない線)を示す境界標が、地滑りなどで移動してしまった場合にも、誤差数センチメートルで境界線BLを拡張現実(AR)によって把握することができる。そのため、専門家や国が境界確定図を作成する前にある程度高い精度で境界線BLを知ることができる。
また、第2実施形態の境界線可視化システム1では、他人の構造物が明らかに自分の土地にはみ出して建てられている場合や、航空機や船舶等が他国の排他的経済水域や領海内に不正に進入するおそれがある場合などに、それをわかりやすく示すことができる。
<第3実施形態>
以下、本発明の境界線可視化システム、境界線可視化方法、境界線可視化プログラムおよびデジタルフォトアルバム作成システムの第3実施形態について説明する。
第3実施形態の境界線可視化システム1は、後述する点を除き、上述した第1実施形態の境界線可視化システム1と同様に構成されている。従って、第3実施形態の境界線可視化システム1によれば、後述する点を除き、上述した第1実施形態の境界線可視化システム1と同様の効果を奏することができる。
図7は第3実施形態の境界線可視化システム1の概要の一例を示す図である。
図7に示す例では、境界線可視化システム1が、端末11を備えている。
端末11は、端末状態取得部11Fと、画像取得部11Gと、境界線生成部11Lと、合成画像生成部11Mとを備えている。
端末状態取得部11Fは、端末11の座標および姿勢を含む端末11の状態を取得する。
画像取得部11Gは、所定位置を含む画像IMを取得する。
境界線生成部11Lは、境界線BLの名称、種類、座標などを含むデータベースを保持しており、このデータベースを利用して、端末状態取得部11Fによって取得された端末11の状態に基づいて、端末11から一定範囲内に存在する境界線BLの座標に基づいたCG画像を生成する。
合成画像生成部11Mは、画像取得部11Gによって取得された画像IMに含まれる所定位置を示す座標と、境界線BLを示す座標とに基づいて、画像IMに境界線BLのCG画像を重ね合わせた合成画像CMを生成する。
<第4実施形態>
以下、本発明の境界線可視化システム、境界線可視化方法、境界線可視化プログラムの第4実施形態について説明する。第4実施形態の境界線可視化システム1は、後述する点を除き、上述した第1実施形態および第2実施形態の境界線可視化システム1と同様に構成されている。従って、第4実施形態の境界線可視化システム1によれば、後述する点を除き、上述した第1実施形態および第2実施形態の境界線可視化システム1と同様の効果を奏することができる。
第4実施形態の境界線可視化システム1は、境界線を可視化するとともに、境界線によって2以上に分割される領域のうち、端末11が存する領域を除いた1以上の領域に紐づけられた情報(以下、この情報を「領域関連情報」と称する。)を境界線のCG画像とともに端末11に表示するシステムである。
第4実施形態の境界線可視化システム1の境界線情報記憶部11Kは、境界線BLに関する情報として、例えば日付変更線、グリニッジ子午線、IERS(国際地球回転観測事業)基準子午線、赤道、土地登記における境界、県境、国境、領海の輪郭線、排他的経済水域の輪郭線、海岸線(満潮時海岸線と干潮時海岸線を区別してもよい)、等高線(海抜や標高を示す線や、山の何合目かを示す線など)、ハザードマップにおける危険度の境界を示す線、歩道や車道などの道路に沿う線、その他地表・海面上の任意の領域を論理的に分割するための境界線などを示す座標に関する情報を取得および記憶することができる。
境界線BLに関する情報は、あらかじめ境界線情報記憶部11Kに記憶されていてもよいし、端末11の位置に基づいて端末11を中心とする一定範囲内における境界線BLに関する情報がインターネット網などを通じてサーバシステム12から適宜提供されるようになっていてもよい。
領域関連情報の元になる情報は、サーバシステム12に保存されており、端末11の位置情報に基づいて領域関連情報として生成される。領域関連情報は、紐づけられた領域に関する地理的情報(国名、県名等)やその詳細情報(歴史的背景、観光名所、災害リスク等)などの固定的な情報や、紐づけられた領域に関連する広告やその領域において実施されるイベントや興行等の告知、紐づけられた領域に関連する警報や注意喚起などの動的な情報などを含む情報である。動的な情報は、情報の有効期間を示す情報を含んでいる。
領域関連情報は、文字データ、画像データ、音声データ、動画データ、プログラム等を含んでいる。
第4実施形態の境界線可視化システム1の適用例について説明する。第4実施形態の境界線可視化システム1は、端末11を保有するユーザに対して、端末11を保持して移動する過程において、境界線BLに近接した、あるいは境界線BLを横断したタイミングにおいて、領域関連情報を端末11のディスプレイ11Aに表示させる。
具体的には、端末11にインストールされた境界線可視化アプリケーションが、端末11の姿勢を取得(図6のステップS37参照)した後、CG画像生成のための情報の要求の一部として、端末11の位置をサーバシステム12に通知する(図6のステップS42参照)。サーバシステム12は、端末11の位置と現在時刻とに基づいて、領域関連情報を端末11へ送信する(図6のステップS43参照)。このとき、サーバシステム12は、端末11の位置に基づいて、境界線BLによって2つに分割される領域のうち、端末11が含まれていない領域と紐づけられた領域関連情報を端末11へ送信する。これにより、端末11は、端末11を保持したユーザがこれから進入する領域、あるいは、端末11を保持したユーザが位置する領域に隣接する領域に紐づいた領域関連情報を取得することができる。領域関連情報を取得した端末11の境界線可視化アプリケーションは、境界線BLのCG画像を生成(図6のステップS39参照)するとともに、領域関連情報に基づいた合成画像CMその他の再生可能コンテンツを生成する(図6のステップS40)。再生可能コンテンツは、ユーザへの情報提供、広告、イベント等の告知などに適したコンテンツである。
境界線可視化アプリケーションは、上記のステップS40で生成された再生可能コンテンツを端末11のディスプレイ11Aに表示させる(図6のステップS41参照)。また、境界線可視化アプリケーションは、再生可能コンテンツが視覚的情報以外の情報を保有している場合、例えば音声再生や振動(バイブレーション)など、端末11が持つ利用可能な機能を利用して再生可能コンテンツを出力する。
第4実施形態の境界線可視化システム1は、端末11の位置に基づいて、端末11を保持するユーザが境界線に近接、あるいは境界線を横断するという事象に対応して、境界線を横断した先にある領域に関連する情報や広告などをユーザに提供することができる。これにより、第4実施形態の境界線可視化システムによれば、ユーザの行動に密接に関連した情報や広告などをユーザが受け取ることができるので、ユーザの満足度を高めることができる。
また、第4実施形態の境界線可視化システム1を用いて広告を配信する場合には、ユーザの行動に密接に関連した広告が選択されて端末11に配信されるので、広告効果を高めることができるとともに、ユーザの行動と広告効果の関係性の測定や分析も容易にすることができる。
また、第4実施形態の境界線可視化システム1を用いて警報や注意喚起を配信する場合には、ユーザの行動に密接に関連した警報や注意喚起が選択されて端末11に配信されるので、警報や注意喚起が発令されている期間における危険地域への不用意な進入を予防することができる。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。上述した各実施形態および各例に記載の構成を組み合わせてもよい。
上述した各実施形態の境界線可視化システム1において、例えば境界線BLのCG画像として日付変更線、グリニッジ子午線、IERS(国際地球回転観測事業)基準子午線、赤道、県境、国境、等高線などのCG画像を生成する例では、現実では目視で認識することができない境界線を拡張現実(AR)を用いて視覚的にユーザに認識させることができる。これにより、各実施形態の境界線可視化システム1では、ユーザが境界線BLに近づくように移動して境界線を横断するという動作を、境界線を通過したことをテキスト情報や音声等で通知する従来の技術よりもさらに直感的にユーザに伝えることができる。また、各実施形態の境界線可視化システム1によれば、拡張現実(AR)を用いて境界線BLを可視化できることによって、目の前にある境界線を横断する過程を視覚的に認識させて非日常的な体験をユーザに提供することができる。このような境界線可視化システム1は、ユーザが境界線を越えて移動することを促すきっかけを与えることができるので、海外旅行、国内旅行、クルージング、登山等の旅行の分野においてユーザの感動(旅行の楽しさ)を高めるツールとして利用できる。
また、上述した各実施形態の境界線可視化システム1において、任意の領域を論理的に分割するための境界線BLのCG画像の一例として、位置情報ゲーム(Location-based game)におけるゲーム内イベント発生エリアのCG画像を生成することもできる。この場合、各実施形態の境界線可視化システム1において、1つの座標で決まる地球上の1点やこの点を中心とした円形のエリアではなく、線で囲まれた複雑な形状をイベント発生エリアとして指定することができる。これにより、位置情報ゲームにおける表現の自由度を高めることができる。また、現実に存在する施設等の形状に合わせた境界線を設定して拡張現実(AR)によりイベント発生エリアをユーザに認識させることができるので、現実とゲームの密接なつながりを演出することができる。
また、上述した各実施形態の境界線可視化システム1において、例えば境界線BLのCG画像として土地登記における境界、領土の輪郭線、領海の輪郭線、ハザードマップにおける危険度の境界を示す線などのCG画像を生成する例では、現実では目視で認識することができない境界線を拡張現実(AR)を用いて視覚的にユーザに認識させることによって、曖昧さを回避することができ、紛争の解決に役立つ。また、ハザードマップにおける危険度の境界を示す線を拡張現実(AR)を用いて実際の風景と重ねてユーザに認識させることができることによって、災害時にどこへ移動すれば危険度がより低くなるのかを、一般的な地図表示アプリケーションと比較してより直感的に提示することができる。
なお、上述した実施形態における境界線可視化システム1およびデジタルフォトアルバム作成システムAが備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、OS等のソフトウェアや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM、DVD−ROM、フラッシュメモリ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク、ソリッドステートディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
1…境界線可視化システム、11…端末、11A…ディスプレイ、11B…撮影部、11C…GPS受信機、11D…電子コンパス、11E…通信部、11F…端末状態取得部、11G…画像取得部、11H…画像記憶部、11I…窓枠特定部、11J…画像表示部、11K…境界線情報記憶部、11L…境界線生成部、11M…合成画像生成部、11N…合成画像表示部、11P…境界線通過時刻推定部、11Q…テキスト情報付加部、11R…タグ情報付与部、11S…画像送信部、11T…データ受信部、11U…証明書表示部、12…サーバシステム、121…サテライトサーバ、121A…通信部、121B…記憶部、122…ホストサーバ、122A…通信部、122B…画像抽出部、122C…データ生成部、122D…記憶部、123…プリンタ、12A…通信部、12B…データベース、A…デジタルフォトアルバム作成システム、A1…アルバムアプリ、A2…フォトアルバム装置
本発明の一態様は、端末を備える境界線可視化システムであって、所定位置を含む画像を取得する画像取得部と、前記端末の座標および姿勢を含む前記端末の状態を取得する端末状態取得部と、前記端末状態取得部によって取得された前記端末の状態に基づいて、前記端末から一定範囲内に存在する境界線の座標に基づいたCG(コンピュータグラフィックス)画像を生成する境界線生成部と、前記境界線によって2以上に分割される領域のうち前記端末が存する領域を除いた1以上の領域に紐づけられた領域関連情報を取得し、前記画像取得部によって取得された前記画像に含まれる前記所定位置を示す座標と、前記境界線を示す座標とに基づいて、前記画像に前記境界線のCG画像と前記領域関連情報とを重ね合わせた合成画像を生成する合成画像生成部と、を備える境界線可視化システムである。
本発明の一態様は、所定位置を含む画像を取得する画像取得ステップと、端末の座標および姿勢を含む前記端末の状態を取得する端末状態取得ステップと、前記端末状態取得ステップにおいて取得された前記端末の状態に基づいて、前記端末から一定範囲内に存在する境界線の座標に基づいたCG画像を生成する境界線生成ステップと、前記境界線によって2以上に分割される領域のうち前記端末が存する領域を除いた1以上の領域に紐づけられた領域関連情報を取得し、前記画像取得ステップにおいて取得された前記画像に含まれる前記所定位置を示す座標と、前記境界線を示す座標とに基づいて、前記画像に前記境界線のCG画像と前記領域関連情報とを重ね合わせた合成画像を生成する合成画像生成ステップと、を備える境界線可視化方法である。
本発明の一態様は、コンピュータに、所定位置を含む画像を取得する画像取得ステップと、端末の座標および姿勢を含む前記端末の状態を取得する端末状態取得ステップと、前記端末状態取得ステップにおいて取得された前記端末の状態に基づいて、前記端末から一定範囲内に存在する境界線の座標に基づいたCG画像を生成する境界線生成ステップと、前記境界線によって2以上に分割される領域のうち前記端末が存する領域を除いた1以上の領域に紐づけられた領域関連情報を取得し、前記画像取得ステップにおいて取得された前記画像に含まれる前記所定位置を示す座標と、前記境界線を示す座標とに基づいて、前記画像に前記境界線のCG画像と前記領域関連情報とを重ね合わせた合成画像を生成する合成画像生成ステップと、を実行させるための境界線可視化プログラムである。
本発明の一態様は、端末を備えるデジタルフォトアルバム作成システムであって、
所定位置を含む画像を取得する画像取得部と、
前記端末の座標および姿勢を含む前記端末の状態を取得する端末状態取得部と、
前記端末状態取得部によって取得された前記端末の状態に基づいて、前記端末から一定範囲内に存在する境界線の座標に基づいたCG画像を生成する境界線生成部と、
前記境界線によって2以上に分割される領域のうち前記端末が存する領域を除いた1以上の領域に紐づけられた領域関連情報を取得し、前記画像取得部によって取得された前記画像に含まれる前記所定位置を示す座標と、前記境界線を示す座標とに基づいて、前記画像に前記境界線のCG画像と前記領域関連情報とを重ね合わせた合成画像を生成する合成画像生成部と、
を備えるデジタルフォトアルバム作成システムである。
本発明の一態様は、端末を備える境界線可視化システムであって、所定位置を含む画像を取得する画像取得部と、前記端末の座標および姿勢を含む前記端末の状態を取得する端末状態取得部と、前記端末状態取得部によって取得された前記端末の状態に基づいて、前記端末から一定範囲内に存在する境界線の座標に基づいたCG(コンピュータグラフィックス)画像を生成する境界線生成部と、前記境界線によって2以上に分割される領域のうち前記端末が存する領域を除いた1以上の領域に紐づけられた領域関連情報を取得し、前記画像取得部によって取得された前記画像に含まれる前記所定位置を示す座標と、前記境界線を示す座標と、前記境界線に対する前記端末の近接移動あるいは横断移動とに基づいて、前記領域関連情報のうち前記端末の移動先領域に属する情報と前記境界線のCG画像とを前記画像に重ね合わせた合成画像を生成する合成画像生成部と、を備える境界線可視化システムである。
本発明の一態様は、所定位置を含む画像を取得する画像取得ステップと、端末の座標および姿勢を含む前記端末の状態を取得する端末状態取得ステップと、前記端末状態取得ステップにおいて取得された前記端末の状態に基づいて、前記端末から一定範囲内に存在する境界線の座標に基づいたCG画像を生成する境界線生成ステップと、前記境界線によって2以上に分割される領域のうち前記端末が存する領域を除いた1以上の領域に紐づけられた領域関連情報を取得し、前記画像取得ステップにおいて取得された前記画像に含まれる前記所定位置を示す座標と、前記境界線を示す座標と、前記境界線に対する前記端末の近接移動あるいは横断移動とに基づいて、前記領域関連情報のうち前記端末の移動先領域に属する情報と前記境界線のCG画像とを前記画像に重ね合わせた合成画像を生成する合成画像生成ステップと、を備える境界線可視化方法である。
本発明の一態様は、コンピュータに、所定位置を含む画像を取得する画像取得ステップと、端末の座標および姿勢を含む前記端末の状態を取得する端末状態取得ステップと、前記端末状態取得ステップにおいて取得された前記端末の状態に基づいて、前記端末から一定範囲内に存在する境界線の座標に基づいたCG画像を生成する境界線生成ステップと、前記境界線によって2以上に分割される領域のうち前記端末が存する領域を除いた1以上の領域に紐づけられた領域関連情報を取得し、前記画像取得ステップにおいて取得された前記画像に含まれる前記所定位置を示す座標と、前記境界線を示す座標と、前記境界線に対する前記端末の近接移動あるいは横断移動とに基づいて、前記領域関連情報のうち前記端末の移動先領域に属する情報と前記境界線のCG画像とを前記画像に重ね合わせた合成画像を生成する合成画像生成ステップと、を実行させるための境界線可視化プログラムである。
本発明の一態様は、端末を備えるデジタルフォトアルバム作成システムであって、所定位置を含む画像を取得する画像取得部と、前記端末の座標および姿勢を含む前記端末の状態を取得する端末状態取得部と、前記端末状態取得部によって取得された前記端末の状態に基づいて、前記端末から一定範囲内に存在する境界線の座標に基づいたCG画像を生成する境界線生成部と、前記境界線によって2以上に分割される領域のうち前記端末が存する領域を除いた1以上の領域に紐づけられた領域関連情報を取得し、前記画像取得部によって取得された前記画像に含まれる前記所定位置を示す座標と、前記境界線を示す座標と、前記境界線に対する前記端末の近接移動あるいは横断移動とに基づいて、前記領域関連情報のうち前記端末の移動先領域に属する情報と前記境界線のCG画像とを前記画像に重ね合わせた合成画像を生成する合成画像生成部と、を備えるデジタルフォトアルバム作成システムである。

Claims (12)

  1. 端末を備える境界線可視化システムであって、
    所定位置を含む画像を取得する画像取得部と、
    前記端末の座標および姿勢を含む前記端末の状態を取得する端末状態取得部と、
    前記端末状態取得部によって取得された前記端末の状態に基づいて、前記端末から一定範囲内に存在する境界線の座標に基づいたCG(コンピュータグラフィックス)画像を生成する境界線生成部と、
    前記画像取得部によって取得された前記画像に含まれる前記所定位置を示す座標と、前記境界線を示す座標とに基づいて、前記画像に前記境界線のCG画像を重ね合わせた合成画像を生成する合成画像生成部と、
    を備える境界線可視化システム。
  2. 前記画像取得部は、前記画像として、前記端末によって撮影された景色を含む画像を取得し、
    前記合成画像生成部は、前記端末によって撮影された景色を含む画像に、前記境界線のCG画像を重ね合わせた合成画像を生成する、
    請求項1に記載の境界線可視化システム。
  3. 前記画像取得部は、前記画像として、窓を有する部屋の内部から前記窓越しに前記端末によって撮影された外の景色を含む画像を取得し、
    前記境界線生成部は、前記境界線のCG画像として、前記境界線のうち前記端末から前記一定範囲内に存在する部分を表示対象とするCG画像を生成し、
    前記合成画像生成部は、前記端末によって撮影された外の景色を含む画像に、前記境界線のCG画像を重ね合わせた合成画像を生成する、
    請求項1に記載の境界線可視化システム。
  4. 前記合成画像生成部は、前記境界線のCG画像が、前記端末から前記境界線が離れるにしたがって細くなり、地平線または水平線において消失するように、前記境界線のCG画像を前記画像に重ね合わせる、
    請求項3に記載の境界線可視化システム。
  5. 前記画像取得部によって取得された前記画像に含まれる窓枠を特定する窓枠特定部を備え、
    前記合成画像生成部は、前記境界線のCG画像が、前記窓枠特定部によって特定された前記窓枠の内側に位置するように、前記境界線のCG画像を前記画像に重ね合わせる、
    請求項3に記載の境界線可視化システム。
  6. 前記端末状態取得部によって取得された前記端末の座標と前記境界線を示す座標とに基づいて、前記端末が前記境界線を通過する時刻を推定する境界線通過時刻推定部と、
    前記境界線通過時刻推定部によって推定された前記端末が前記境界線を通過する時刻を示すテキスト情報を、前記合成画像生成部によって生成された前記合成画像に付加するテキスト情報付加部とを備える、
    請求項1に記載の境界線可視化システム。
  7. 前記合成画像生成部によって生成された前記合成画像に前記境界線が含まれていることを示すタグ情報を、前記合成画像のデータに付与するタグ情報付与部と、
    前記合成画像のデータに付与された前記タグ情報に基づいて、前記端末が前記境界線を通過したことを証明する通過証明書データを生成するデータ生成部と備える、
    請求項1に記載の境界線可視化システム(1)。
  8. 前記境界線は日付変更線である、請求項1に記載の境界線可視化システム。
  9. 前記境界線は災害危険度の段階に対応して地表を複数の領域に分割する線である、請求項1に記載の境界線可視化システム。
  10. 所定位置を含む画像を取得する画像取得ステップと、
    端末の座標および姿勢を含む前記端末の状態を取得する端末状態取得ステップと、
    前記端末状態取得ステップにおいて取得された前記端末の状態に基づいて、前記端末から一定範囲内に存在する境界線の座標に基づいたCG画像を生成する境界線生成ステップと、
    前記画像取得ステップにおいて取得された前記画像に含まれる前記所定位置を示す座標と、前記境界線を示す座標とに基づいて、前記画像に前記境界線のCG画像を重ね合わせた合成画像を生成する合成画像生成ステップと、
    を備える境界線可視化方法。
  11. コンピュータに、
    所定位置を含む画像を取得する画像取得ステップと、
    端末の座標および姿勢を含む前記端末の状態を取得する端末状態取得ステップと、
    前記端末状態取得ステップにおいて取得された前記端末の状態に基づいて、前記端末から一定範囲内に存在する境界線の座標に基づいたCG画像を生成する境界線生成ステップと、
    前記画像取得ステップにおいて取得された前記画像に含まれる前記所定位置を示す座標と、前記境界線を示す座標とに基づいて、前記画像に前記境界線のCG画像を重ね合わせた合成画像を生成する合成画像生成ステップと、
    を実行させるための境界線可視化プログラム。
  12. 端末を備えるデジタルフォトアルバム作成システムであって、
    所定位置を含む画像を取得する画像取得部と、
    前記端末の座標および姿勢を含む前記端末の状態を取得する端末状態取得部と、
    前記端末状態取得部によって取得された前記端末の状態に基づいて、前記端末から一定範囲内に存在する境界線の座標に基づいたCG画像を生成する境界線生成部と、
    前記画像取得部によって取得された前記画像に含まれる前記所定位置を示す座標と、前記境界線を示す座標とに基づいて、前記画像に前記境界線のCG画像を重ね合わせた合成画像を生成する合成画像生成部と、
    を備えるデジタルフォトアルバム作成システム。
JP2020520665A 2019-12-19 2019-12-19 境界線可視化システム、境界線可視化方法、境界線可視化プログラムおよびデジタルフォトアルバム作成システム Active JP7131780B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020078254A JP6770274B1 (ja) 2019-12-19 2020-04-27 境界線可視化システム、境界線可視化方法、境界線可視化プログラムおよびデジタルフォトアルバム作成システム
JP2020078255A JP6777921B1 (ja) 2019-12-19 2020-04-27 境界線可視化システム、境界線可視化方法、境界線可視化プログラムおよびデジタルフォトアルバム作成システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/049840 WO2021124516A1 (ja) 2019-12-19 2019-12-19 境界線可視化システム、境界線可視化方法、境界線可視化プログラムおよびデジタルフォトアルバム作成システム

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2020078254A Division JP6770274B1 (ja) 2019-12-19 2020-04-27 境界線可視化システム、境界線可視化方法、境界線可視化プログラムおよびデジタルフォトアルバム作成システム
JP2020078255A Division JP6777921B1 (ja) 2019-12-19 2020-04-27 境界線可視化システム、境界線可視化方法、境界線可視化プログラムおよびデジタルフォトアルバム作成システム

Publications (2)

Publication Number Publication Date
JPWO2021124516A1 true JPWO2021124516A1 (ja) 2021-12-23
JP7131780B2 JP7131780B2 (ja) 2022-09-06

Family

ID=76478559

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020520665A Active JP7131780B2 (ja) 2019-12-19 2019-12-19 境界線可視化システム、境界線可視化方法、境界線可視化プログラムおよびデジタルフォトアルバム作成システム

Country Status (3)

Country Link
US (1) US20220309720A1 (ja)
JP (1) JP7131780B2 (ja)
WO (1) WO2021124516A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295827A (ja) * 2005-04-14 2006-10-26 Sony Ericsson Mobilecommunications Japan Inc 携帯端末装置
JP2012133471A (ja) * 2010-12-20 2012-07-12 Kokusai Kogyo Co Ltd 画像合成装置、画像合成プログラム、及び画像合成システム
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
JP2014209680A (ja) * 2013-04-16 2014-11-06 富士通株式会社 土地境界表示プログラム、方法、及び端末装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8477062B1 (en) * 2009-09-29 2013-07-02 Rockwell Collins, Inc. Radar-based system, module, and method for presenting steering symbology on an aircraft display unit
US9357180B2 (en) * 2011-01-27 2016-05-31 Kyocera Corporation Vehicle driving assist device
US9424614B2 (en) * 2013-07-03 2016-08-23 International Business Machines Corporation Updating distribution management system model responsive to real-time asset identification and location inputs
JP6142784B2 (ja) * 2013-11-27 2017-06-07 株式会社デンソー 運転支援装置
JP2016122966A (ja) * 2014-12-25 2016-07-07 富士通テン株式会社 データ再生装置、データ再生方法及びプログラム
CA2987558A1 (en) * 2015-05-29 2016-12-08 Nissan Motor Co., Ltd. Information presentation system
US9672747B2 (en) * 2015-06-15 2017-06-06 WxOps, Inc. Common operating environment for aircraft operations
EP3413155B1 (de) * 2017-06-09 2020-02-26 Andreas Stihl AG & Co. KG Verfahren zum erfassen mindestens eines abschnitts eines begrenzungsrands einer zu bearbeitenden fläche, verfahren zum betreiben eines autonomen mobilen grünflächenbearbeitungsroboters, erfassungssystem und grünflächenbearbeitungssystem
FR3072793B1 (fr) * 2017-10-24 2019-11-01 Dassault Aviation Ensemble d'affichage de trajectoires d'un aeronef
US11062614B2 (en) * 2018-09-12 2021-07-13 Alliance Solutions Group, Inc. Systems and methods for collecting and analyzing hazardous materials information using an unmanned aerial vehicle
US10600325B1 (en) * 2018-11-20 2020-03-24 Honeywell International Inc. Avionic display system
US10706624B1 (en) * 2019-03-11 2020-07-07 Amazon Technologies, Inc. Three-dimensional room model generation using panorama paths with augmented reality guidance
JP7238670B2 (ja) * 2019-07-23 2023-03-14 トヨタ自動車株式会社 画像表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295827A (ja) * 2005-04-14 2006-10-26 Sony Ericsson Mobilecommunications Japan Inc 携帯端末装置
JP2012133471A (ja) * 2010-12-20 2012-07-12 Kokusai Kogyo Co Ltd 画像合成装置、画像合成プログラム、及び画像合成システム
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
JP2014209680A (ja) * 2013-04-16 2014-11-06 富士通株式会社 土地境界表示プログラム、方法、及び端末装置

Also Published As

Publication number Publication date
WO2021124516A1 (ja) 2021-06-24
US20220309720A1 (en) 2022-09-29
JP7131780B2 (ja) 2022-09-06

Similar Documents

Publication Publication Date Title
EP3338136B1 (en) Augmented reality in vehicle platforms
US10636185B2 (en) Information processing apparatus and information processing method for guiding a user to a vicinity of a viewpoint
CN101573588B (zh) 位置立标和定向
JP4672765B2 (ja) Gps探索装置
US9495783B1 (en) Augmented reality vision system for tracking and geolocating objects of interest
CN103988220B (zh) 存储内容和ar通信的本地传感器加强
US20200234502A1 (en) Social Media Platform using Augmented Reality and Microlocation
KR100593398B1 (ko) 증강현실을 이용한 휴대단말기 사용자의 위치정보제공시스템 및 방법
US11734898B2 (en) Program, information processing method, and information processing terminal
US10885688B2 (en) Computer readable media, information processing apparatus and information processing method
US10818055B2 (en) Computer readable media, information processing apparatus and information processing method
JP2012068481A (ja) 拡張現実表現システムおよび方法
JP2018128815A (ja) 情報提示システム、情報提示方法及び情報提示プログラム
WO2019167213A1 (ja) 位置推定装置、トラッカー、位置推定方法及びプログラム
US20130135348A1 (en) Communication device, communication system, communication method, and communication program
JP6777921B1 (ja) 境界線可視化システム、境界線可視化方法、境界線可視化プログラムおよびデジタルフォトアルバム作成システム
JP6770274B1 (ja) 境界線可視化システム、境界線可視化方法、境界線可視化プログラムおよびデジタルフォトアルバム作成システム
WO2021124516A1 (ja) 境界線可視化システム、境界線可視化方法、境界線可視化プログラムおよびデジタルフォトアルバム作成システム
JP2016200884A (ja) 観光誘客システム、観光誘客方法、観光誘客用データベース、情報処理装置、通信端末装置およびそれらの制御方法と制御プログラム
CN117419713A (zh) 基于增强现实的导览方法、计算设备及存储介质
US20120281102A1 (en) Portable terminal, activity history depiction method, and activity history depiction system
KR101533886B1 (ko) 문화 유적 가상 체험을 위한 증강 현실 생성 방법
JP2017125907A (ja) 地形表示システム
JP2013205072A (ja) 地図表示システム、地図表示方法、およびプログラム
JP6582526B2 (ja) コンテンツ提供システム、コンテンツ提供装置及びコンテンツ提供方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200501

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20200713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220817

R150 Certificate of patent or registration of utility model

Ref document number: 7131780

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150