JPWO2021124516A1 - 境界線可視化システム、境界線可視化方法、境界線可視化プログラムおよびデジタルフォトアルバム作成システム - Google Patents
境界線可視化システム、境界線可視化方法、境界線可視化プログラムおよびデジタルフォトアルバム作成システム Download PDFInfo
- Publication number
- JPWO2021124516A1 JPWO2021124516A1 JP2020520665A JP2020520665A JPWO2021124516A1 JP WO2021124516 A1 JPWO2021124516 A1 JP WO2021124516A1 JP 2020520665 A JP2020520665 A JP 2020520665A JP 2020520665 A JP2020520665 A JP 2020520665A JP WO2021124516 A1 JPWO2021124516 A1 JP WO2021124516A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- boundary line
- terminal
- unit
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012800 visualization Methods 0.000 title claims abstract description 137
- 238000007794 visualization technique Methods 0.000 title claims description 12
- 239000002131 composite material Substances 0.000 claims abstract description 168
- 206010048669 Terminal state Diseases 0.000 claims abstract description 60
- 230000008859 change Effects 0.000 claims description 42
- 238000004891 communication Methods 0.000 description 53
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000000034 method Methods 0.000 description 11
- 230000003190 augmentative effect Effects 0.000 description 8
- 239000005357 flat glass Substances 0.000 description 8
- 239000003643 water by type Substances 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 4
- 238000007639 printing Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000005034 decoration Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/203—Drawing of straight lines or curves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Business, Economics & Management (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Instructional Devices (AREA)
Abstract
Description
特許文献1に記載された技術では、コンピュータグラフィックス(CG)画像を表示することによって、拡張された現実感(AR)が提供される。また、特許文献1に記載された技術では、計測部で計測されたAR位置情報、方位情報取得部で取得された方位情報、姿勢情報取得部で取得された姿勢情報、および現在の時刻などに基づいて、ユーザの視野(AR視野)が特定(推定)される。
図1は第1実施形態の境界線可視化システム1の概要の一例を示す図である。
図1に示す例では、境界線可視化システム1が、端末11と、サーバシステム12とを備えている。
端末11は、例えば携帯電話、スマートフォン、タブレット端末などである。端末11は、ハードウェアとして、例えばディスプレイ11Aと、撮影部11Bと、GPS(グローバルポジショニングシステム)受信機11Cと、電子コンパス11Dと、通信部11Eとを備えている。
ディスプレイ11Aは、例えば液晶パネルなどのような表示画面である。撮影部11Bは、例えば画像を撮影するカメラなどである。GPS受信機11Cは、GPS衛星からの電波を受信する。電子コンパス11Dは、地磁気の観測などを行うことによって方位を検出する。通信部11Eは、例えばインターネットなどを介してサーバシステム12などとの通信を行う。つまり、端末11は、通信機能を有する。
端末11は、境界線可視化アプリケーションとして、端末状態取得部11Fと、画像取得部11Gと、画像記憶部11Hと、窓枠特定部11Iと、画像表示部11Jと、境界線情報記憶部11Kと、境界線生成部11Lと、合成画像生成部11Mと、合成画像表示部11Nと、境界線通過時刻推定部11Pと、テキスト情報付加部11Qと、タグ情報付与部11Rと、画像送信部11Sと、データ受信部11Tと、証明書表示部11Uとを備えている。
端末状態取得部11Fは、端末11の座標および姿勢を含む端末11の状態を取得する。詳細には、端末状態取得部11Fは、GPS受信機11Cによって受信された電波に基づいて、端末11の座標(緯度、経度、高度)を算出し、算出された端末11の座標を、端末11の状態として取得する。また、端末状態取得部11Fは、電子コンパス11Dによって検出された端末11の向きなどに基づいて、端末11の姿勢を算出し、算出された端末11の姿勢を、端末11の状態として取得する。
画像記憶部11Hは、画像取得部11Gによって取得された画像IMを記憶する。
窓枠特定部11Iは、例えば画像取得部11Gによって取得された画像IMに窓枠WFが含まれる場合に、窓枠WFを特定する(つまり、画像IM中のどこが窓枠WFであるかを特定する)。第1実施形態の窓枠特定部11Iが特定可能な窓枠の種類は特に限定されないが、たとえば、窓枠の例として、航空機や船舶の客室の窓枠を挙げることができる。窓枠特定部11Iが窓枠WFを特定できるようにするために、例えば所定のマーカーが、窓枠WFに取り付けられる。他の例では、窓枠特定部11Iが、画像取得部11Gによって取得された窓枠WFを含む画像IMと、あらかじめ作成された窓枠の画像データベースとを照合することによって、画像取得部11Gによって取得された画像IMに含まれる窓枠WFを特定してもよい。更に他の例では、窓枠特定部11Iが窓枠WFを特定できるようにするために、窓枠特定部11Iの機械学習が行われたり、公知の他の技術が適用されたりしてもよい。
画像表示部11Jは、画像取得部11Gによって取得された画像IMを表示する。詳細には、画像表示部11Jは、画像IMをディスプレイ11Aに表示させる。
境界線生成部11Lは、端末状態取得部11Fによって取得された端末11の状態に基づいて、端末11から一定範囲内に存在する境界線BLの座標に基づいたCG(コンピュータグラフィックス)画像を生成する。たとえば、境界線生成部11Lが生成するCG画像は、境界線BLを特定するための複数の座標から、これらの座標を通過して境界線BLの形状を再現する線状の画像である。
また、境界線生成部11Lは、境界線BLの形状を再現する画像に加えて、装飾のためのパターン画像やエフェクト情報を付与することができるようになっていてもよい。例えば、境界線生成部11Lは、境界線BLのある場所から鉛直に立ち上がる壁のようにユーザに認識される装飾的なパターン画像や、境界線に沿って延びるカーテン状で一定周期あるいはランダムに揺れるエフェクト付き映像などを装飾のために生成してもよい。また、境界線生成部11Lは、画像取得部11Gが取得した画像のうち境界線BLの位置における面(地面等の平面、隆起、あるいは陥没など)の検出をして、この面に沿うようにCG画像を補正(加工)してもよい。
合成画像生成部11Mは、画像取得部11Gによって取得された画像IMに含まれる所定位置を示す座標と、境界線BLを示す座標とに基づいて、画像IMに境界線BLのCG画像を重ね合わせた合成画像CMを生成する。例えば画像取得部11Gが、端末11によって撮影された景色を含む画像IMを取得した場合に、合成画像生成部11Mは、その景色を含む画像IMに境界線BLのCG画像を重ね合わせた合成画像CMを生成する。
合成画像表示部11Nは、合成画像生成部11Mによって生成された合成画像CMを表示する。詳細には、合成画像表示部11Nは、合成画像CMをディスプレイ11Aに表示させる。
テキスト情報付加部11Qは、境界線通過時刻推定部11Pによって推定された端末11が境界線BLを通過する時刻を示すテキスト情報を、合成画像生成部11Mによって生成された合成画像CMに付加する。テキスト情報付加部11Qは、例えば「日付変更線通過まであと〇〇分〇〇秒」などのテキスト情報を合成画像CMに付加する。端末11が境界線BLを通過する時刻を示すテキスト情報が付加された場合には、合成画像表示部11Nは、端末11が境界線BLを通過する時刻を示すテキスト情報が付加された合成画像CMを表示する。
画像送信部11Sは、合成画像生成部11Mによって生成された合成画像CMをサーバシステム12などに送信する。後述するように、サーバシステム12は、端末11が日付変更線を通過したことなどを証明する通過証明書を生成する機能を有する。
データ受信部11Tは、サーバシステム12において生成された通過証明書のデータなどを受信する。証明書表示部11Uは、データ受信部11Tによって受信された通過証明書のデータなどに基づいて、通過証明書などを表示する。詳細には、証明書表示部11Uは、通過証明書などをディスプレイ11Aに表示させる。
サテライトサーバ121は、例えば航空機内に設置されている。サテライトサーバ121は、通信部121Aと、記憶部121Bとを備えている。通信部121Aは、例えば航空機内に位置する端末11との通信、航空機のフライト中または駐機中におけるホストサーバ122との通信、プリンタ123との通信などを行う。詳細には、通信部121Aは、例えば航空機のフライト中に端末11の画像送信部11Sによって送信された合成画像CMなどを受信する。記憶部121Bは、例えば通信部121Aによって受信された合成画像CMなどを一時的に記憶する。例えば航空機の着陸後に、通信部121Aは、記憶部121Bに記憶されている合成画像CMなどをホストサーバ122、プリンタ123などに転送する。なお、フライト中の航空機と地上との間における無線通信回線の容量に応じて、通信部121Aが航空機のフライト中にホストサーバ122やプリンタ123と通信してもよい。
通信部122Aは、例えば地上に位置する端末11との通信、航空機のフライト中または駐機中におけるサテライトサーバ121との通信、航空機の着陸後におけるプリンタ123やその他の機器との通信などを行う。詳細には、通信部122Aは、例えば航空機の着陸後にサテライトサーバ121の通信部121Aによって送信された合成画像CMなどを受信する。
画像抽出部122Bは、例えば航空機の着陸後に通信部122Aによって受信された複数の合成画像CMのうちから、端末11のタグ情報付与部11Rによって付与されたタグ情報(つまり、境界線BLが合成画像CMに含まれていることを示すタグ情報)を含む合成画像CMを抽出する。
データ生成部122Cは、画像抽出部122Bによって抽出されたタグ情報を含む合成画像CMに基づいて(つまり、合成画像CMのデータに付与されたタグ情報に基づいて)、端末11などが境界線BLを通過したことを証明する通過証明書データなどを生成する。データ生成部122Cによって生成される通過証明書データには、端末11などが境界線BLを通過した日時、航空機の便名、機長名、機長署名などが含められる。
記憶部122Dは、データ生成部122Cによって生成された通過証明書データを記憶する。
プリンタ123は、例えば空港や航空機内に設置されている。航空機の着陸後、たとえば空港に設置されたプリンタ123が、ホストサーバ122の通信部122Aによって送信された通過証明書データを受信した場合に、プリンタ123は、通過証明書を印刷する。プリンタ123によって印刷された通過証明書は、航空機を利用した端末11のユーザに贈呈される。
航空機の着陸後、端末11が、ホストサーバ122の通信部122Aによって送信された通過証明書データを受信した場合に、端末11の例えば画像記憶部11Hが通過証明書データを記憶し、端末11の証明書表示部11Uは通過証明書を表示する。
航空機のフライト中に利用できる十分な無線通信回線容量がある場合には、通信部122Aは、サテライトサーバ121を介して、あるいはインターネット網を通じて、航空機のフライト中に通過証明書データを端末11へ送信してもよい。この場合、航空機のフライト中に通過証明書を表示することができる。さらに、プリンタ123が航空機内に設置されている場合には、印刷物としての通過証明書を航空機内でユーザに贈呈することができる。
図2A、図2B、および図2Cに示す例では、端末11の撮影部11Bが、窓を有する部屋の内部から窓越しに外の景色を含む画像IMを撮影する。詳細には、撮影部11Bが、航空機内から航空機の窓ガラスWG越しに航空機外の景色を含む画像IMを撮影する。端末11の画像取得部11Gは、撮影部11Bによって撮影された航空機外の景色を含む画像IMを取得する。端末11の端末状態取得部11Fは、航空機外の景色を含む画像IMの撮影時における端末11の座標および姿勢を含む端末11の状態を取得する。
端末11の境界線生成部11Lは、端末状態取得部11Fによって取得された端末11の状態に基づいて、境界線BLのCG画像として、端末11から一定範囲内に存在する日付変更線のCG画像を生成する。詳細には、境界線生成部11Lが、境界線BLのうち端末11から一定範囲内に存在する部分を表示対象とするCG画像を生成する。端末11の合成画像生成部11Mは、撮影部11Bによって撮影された外の景色を含む画像IMに、境界線BLのCG画像を重ね合わせた合成画像CMを生成する。詳細には、合成画像生成部11Mが、画像取得部11Gによって取得された航空機外の景色を含む画像IMに含まれる所定位置を示す座標と、境界線BL(日付変更線)を示す座標とに基づいて、画像IMに境界線BL(日付変更線)のCG画像を重ね合わせた合成画像CMを生成する。
図2Aに示す第1例では、境界線生成部11Lによって生成される境界線BL(日付変更線)のCG画像が、複数の座標を繋ぐ直線の集合として全体として地表に沿った曲線を含んだ立体的なCG画像となる。
図2Bに示す第2例では、境界線可視化システム1のユーザは、航空機内から航空機の窓ガラスWG越しに境界線BL(日付変更線)を目視した疑似体験をすることができる。
図2Cに示す第3例では、合成画像生成部11Mが、テキスト情報付加部11Qによって「日付変更線通過まであと3分16秒」などの境界線BLとの位置関係や位置関係の変遷をユーザに想起させるテキスト情報が付加された合成画像CMを生成し、合成画像表示部11Nが、合成画像生成部11Mによって生成された合成画像CMを表示する。
他の例では、端末状態取得部11Fが、GPS受信機11Cによって受信された電波に基づいて、端末11が境界線BL(日付変更線)を通過したことを検出し、そのことをトリガーとして、合成画像生成部11Mが、テキスト情報付加部11Qによって「△△時△△分△△秒に日付変更線を通過しました」などの境界線BLを通過したことを示すテキスト情報が付加された合成画像CMを生成し、合成画像表示部11Nが、合成画像生成部11Mによって生成された合成画像CMを表示してもよい。
図3に示す例では、航空機のフライト中に実行されるステップS1において、端末11の撮影部11Bが、航空機内から航空機の窓ガラスWG越しに航空機外の景色を含む画像IMを撮影する。航空機外の景色を含む画像IMには、所定位置が含まれており、その所定位置を示す座標は、端末11によって予め認識されている。
次いで、ステップS2では、端末11の画像取得部11Gが、ステップS1において撮影された航空機外の景色を含む画像IMを取得する。
次いで、ステップS3では、端末11の画像記憶部11Hが、ステップS2において取得された航空機外の景色を含む画像IMを記憶する。
次いで、ステップS5では、端末11の端末状態取得部11Fが、ステップS4において受信された電波に基づいて、端末11の座標を算出し、算出された端末11の座標を、端末11の状態として取得する。
また、ステップS6では、端末11の電子コンパス11Dが、地磁気の観測などを行うことによって方位(端末11の向き)を検出する。
次いで、ステップS7では、端末11の端末状態取得部11Fが、ステップS6において検出された端末11の向きなどに基づいて、端末11の姿勢を算出し、算出された端末11の姿勢を、端末11の状態として取得する。
次いで、ステップS9では、端末11の窓枠特定部11Iが、ステップS2において取得された航空機外の景色を含む画像IMに窓枠WFが含まれるか否かを判定し、航空機外の景色を含む画像IMに窓枠WFが含まれる場合に、航空機外の景色を含む画像IM中のどこが窓枠WFであるかを特定する。
次いで、ステップS10では、端末11の合成画像生成部11Mが、ステップS2において取得された航空機外の景色を含む画像IMに含まれる所定位置を示す座標と、端末11の境界線情報記憶部11Kに記憶されている境界線BL(日付変更線)を示す座標とに基づいて、画像IMに境界線BLのCG画像を重ね合わせた合成画像CMを生成する。
次いで、ステップS12では、端末11のテキスト情報付加部11Qが、ステップS11において推定された端末11が境界線BL(日付変更線)を通過する時刻を示すテキスト情報を、ステップS10において生成された合成画像CMに付加する。
次いで、ステップS13では、端末11の合成画像表示部11Nが、ステップS10において生成された合成画像CMに対して、ステップS12においてテキスト情報が付加されたものを表示する。
次いで、ステップS15では、端末11の画像送信部11Sが、ステップS10において生成された合成画像CMに対して、ステップS12においてテキスト情報が付加されたものを、サーバシステム12のサテライトサーバ121に送信する。詳細には、ステップS15において送信される合成画像CMのデータには、ステップS14において付与されたタグ情報が含まれている。
次いで、ステップS16では、サテライトサーバ121の記憶部121Bが、ステップS15において送信された合成画像CMを記憶する。詳細には、ステップS16において記憶される合成画像CMのデータには、ステップS14において付与されたタグ情報が含まれている。
次いで、ステップS18では、ホストサーバ122の記憶部122Dが、ステップS17において転送された合成画像CMを記憶する。詳細には、ステップS18において記憶される合成画像CMのデータには、ステップS14において付与されたタグ情報が含まれている。
次いで、ステップS19では、ホストサーバ122の画像抽出部122Bが、航空機の着陸後にホストサーバ122の通信部122Aによって受信された複数の合成画像CMのうちから、ステップS14において付与されたタグ情報を用いて、日付変更線通過直後の合成画像CMを抽出する。なお、日付変更線通過直後であることを示すタグ情報が付与された合成画像CMがない場合には、タグ情報を含む合成画像CMの中から所定の手順(例えばタイムスタンプを参照して)で画像を抽出する。
次いで、ステップS20では、ホストサーバ122のデータ生成部122Cが、ステップS19において抽出されたタグ情報を含む合成画像CMに基づいて(つまり、合成画像CMのデータに付与されたタグ情報に基づいて)、端末11が日付変更線を通過したことを証明する通過証明書データを生成する。ステップS20において生成される通過証明書データには、端末11が日付変更線を通過した日時、航空機の便名、機長名、機長署名などが含められる。
次いで、ステップS22では、プリンタ123が、ステップS21において送信された通過証明書データに基づいて、通過証明書を印刷する。ステップS22において印刷された通過証明書は、航空機を利用した端末11のユーザに贈呈される。
図4に示す例では、境界線可視化システム1が、デジタルフォトアルバム作成システムAに適用されている。デジタルフォトアルバム作成システムAは、端末11にインストールされたアルバムアプリA1と、フォトアルバム装置A2とを備えている。
アルバムアプリA1は、境界線可視化システム1の境界線可視化アプリケーションと連携して、あるいは境界線可視化アプリケーションをプログラムの一部に含むことによって、境界線BLを含むCG画像CMを取得することができる。
フォトアルバム装置A2は、端末11の合成画像生成部11Mによって生成された合成画像CMやその他の画像を表示したり印刷したりする機能、ホストサーバ122のデータ生成部122Cによって生成された通過証明書データに基づいて通過証明書を印刷する機能などを有する。また、フォトアルバム装置A2は、印刷されたものの製本などを行うことによって、フォトアルバムを作成する機能を有する。
つまり、図4に示すデジタルフォトアルバム作成システムAは、通信機能を有する端末11にインストールされた境界線可視化アプリケーション(アルバムアプリA1)と、端末11と通信可能なサーバシステム12とを備えている。
境界線可視化アプリケーションの起動中に撮影部11Bが動画および静止画を撮影する場合には、画像取得部11Gが、撮影部11Bによって撮影された動画および静止画を取得する。
サーバシステム12によって動画および静止画が配信される場合には、画像取得部11Gが、サーバシステム12によって配信された動画および静止画を取得する。
境界線可視化アプリケーションの画像表示部11Jは、動画および静止画の取得日、配信日などの日付に基づいて、動画および静止画のファイルを整理して表示することができる。
境界線可視化アプリケーションの画像送信部11Sは、画像取得部11Gによって取得された動画および静止画、合成画像生成部11Mによって生成された合成画像CMなどを、デジタルフォトアルバム作成システムAのユーザによって指定された任意のフォトアルバム装置A2に送信することができる。
サーバシステム12は、境界線可視化アプリケーションがインストールされた各端末から送信された動画および静止画を、端末ごとに管理(記憶・保管)する。上述したように、航空機内に設置されたサテライトサーバ121の記憶部121Bは、合成画像CM(境界線BLのCG画像が、動画・静止画等に重ね合わされたもの)を一時保存する。サテライトサーバ121の通信部121Aは、航空機の着陸後に、合成画像CMなどの全データを、インターネット等を介して地上のホストサーバ122に転送する。
航空機内の無線通信サービス(たとえばWi-Fi(商標名)の通信回線が大容量かつ高速であって、安定的に利用可能である場合には、航空機内に位置する端末11が、航空機内の無線通信サービスを介してリアルタイムでホストサーバ122と通信を行ってもよい。
サーバシステム12は、デジタルフォトアルバム作成システムAのユーザによって指定された任意のフォトアルバム装置A2に、上述した画像等のデータを送信することができる。
例えば、境界線可視化アプリケーションは、境界線BL(日付変更線)を示す座標から一定の範囲内に端末11が進入したことをトリガーとして、境界線可視化アプリケーションの起動を端末11のユーザに促す通知を、端末11のディスプレイ11Aに表示させる。
デジタルフォトアルバム作成システムAの第2例では、境界線可視化アプリケーションの起動中、端末11が、境界線BL(日付変更線)を示す座標から一定の範囲内に進入したことをトリガーとして、端末11のディスプレイ11Aにおける表示画面が、境界線BL(日付変更線)と紐づけられた表示画面に遷移する。その結果、境界線可視化アプリケーションは、境界線BL(日付変更線)に関する閲覧、操作などを端末11のユーザに促すことができる。
つまり、境界線可視化アプリケーションは、端末11の座標(GPSから取得した緯度、経度、高度)と、日付変更線を特定可能な座標(緯度、経度)のうち端末11から一定範囲内にある座標とを用いて、端末11の位置、姿勢に対応するように日付変更線のCG画像を生成して、撮影中の動画または静止画に重ねて表示する。日付変更線のCG画像は、日付変更線を規定する座標をつないだ線として表示される。また、境界線可視化アプリケーションは、日付変更線のCG画像を含んだ動画または静止画を撮影(記録)することができる。日付変更線のCG画像を含んだ動画または静止画は、境界線可視化アプリケーション内に(例えば画像記憶部11Hに)保存される。端末11のユーザは、フロントカメラを利用した自撮りを行うこともできる。
タグ情報を含む画像の送信数には一定の上限が設定されていてもよい(たとえば「静止画2枚まで」など)。
境界線可視化アプリケーションは、日付変更線を含む画像以外の動画または静止画をサーバシステム12に送信することもできる(境界線可視化システム1のユーザは、境界線可視化アプリケーションによってサーバシステム12に送信される動画または静止画を、バックアップあるいは紙媒体のアルバム作成用素材として自由に使用することができる)。
サーバシステム12(ホストサーバ122の記憶部122D)は、通過証明書のデジタルデータを境界線可視化アプリケーションにダウンロードできるように保管(記憶)する。
サーバシステム12(ホストサーバ122の通信部122A)は、端末11のユーザの要求などに応じて、デジタルデータを境界線可視化アプリケーションに送信する。また、サーバシステム12(ホストサーバ122の通信部122A)は、境界線可視化アプリケーションを通じて端末11のユーザによって指定された任意のフォトアルバム装置A2へ、その他の画像と同じように通過証明書を画像データとして送信することができる。
境界線可視化アプリケーション(端末11のデータ受信部11T)は、サーバシステム12によって生成されたデジタルデータを取得(受信)することができる。境界線可視化アプリケーション(端末11の画像記憶部11H)は、データ受信部11Tによって受信されたデジタルデータを保存(記憶)することができる。境界線可視化アプリケーション(端末11の画像表示部11J)は、データ受信部11Tによって受信されたデジタルデータを表示することができる。
例えば専門店のプリンタによる印刷が行われる場合には、サーバシステム12に保管されている通過証明書のデジタルデータのダウンロードに必要な整理番号などが、サーバシステム12から専門店などに発行される。専門店が、サーバシステム12にアクセスし、発行された整理番号を入力することによって、通過証明書のデジタルデータが、サーバシステム12から専門店にダウンロードされ、専門店のプリンタによって、通過証明書が印刷される。
上述した例では、航空機を利用することによって端末11が境界線BL(日付変更線)を通過するが、他の例では、船舶、鉄道、バスなどの航空機以外の公共交通機関、自家用乗り物などを利用することによって、端末11が境界線BL(日付変更線、IERS基準子午線、赤道、国境など)を通過してもよい。
また、電波を遮断するガラスや壁等に囲まれた室内で第1実施形態の境界線可視化システム1が利用される場合には、端末状態取得部11FはGPS受信機に代えてインターネット網を通じて航空機や船舶等の位置等を取得できるようになっていてもよい。この場合、電波の受信不良による位置精度の低下を防ぐことができる。
上述した例では、端末11のディスプレイ11A上に画像を表示するが、他の例では、窓ガラスを表示媒体とするように窓近傍に設置されたプロジェクタによって窓ガラス上に境界線BLの画像を投影してもよい。この場合、窓を通して見える風景に境界線BLの画像が重なって見えることで、端末11などをユーザが手に持つことなく上記の例と同等の効果を得ることができる。なお、この場合、端末11に代えて用いられるプロジェクタは、端末11と同様に位置や姿勢等の情報を取得する手段を有するか、航空機等に設けられた航行システム等から無線通信等の手段によって位置や姿勢等の情報を取得することができるようになっていてもよい。さらに、上記のプロジェクタは、ユーザの視線あるいは頭部の位置を認識する手段を有していてもよく、この場合、窓ガラス上への境界線BLの画像の投影位置をユーザと窓との位置関係に応じて最適化することができる。
また、窓ガラスに代えて透過ディスプレイ装置が設けられ、この透過ディスプレイ装置が上記のディスプレイ11Aとして利用されてもよい。この場合、端末11は携帯可能な端末でなく据置型の端末でもよい。
また、端末11は、スマートウォッチやスマートグラスなどのウェアラブル端末であってもよい。この場合、たとえば眼鏡型、ゴーグル型、あるいはコンタクトレンズ型のウェアラブル端末の例として、ディスプレイ11Aとして液晶ディスプレイ装置や網膜走査型レーザーディスプレイ装置を備えるものを挙げることができる。
プリンタ123は、サテライトサーバ121によって抽出された合成画像CMを所定の用紙に印刷することができる。プリンタ123は、端末11が日付変更線を通過した日時、航空機の便名、航空機の機長名(機長署名)などを含めて合成画像CMをその用紙に印刷することができる。
必要に応じて、境界線可視化アプリケーションに紐づけられたデジタルフォトアルバム作成システムAのユーザ情報と、航空機のフライトチケット情報とが一致する場合に、プリンタ123が、ユーザ個人名などの個人情報を含めて合成画像CMをその用紙に通過証明書として印刷してもよい。これにより、通過証明書を航空機内で作成してユーザに贈呈することができる。
以下、本発明の境界線可視化システム、境界線可視化方法、境界線可視化プログラムの第2実施形態について説明する。
第2実施形態の境界線可視化システム1は、後述する点を除き、上述した第1実施形態の境界線可視化システム1と同様に構成されている。従って、第2実施形態の境界線可視化システム1によれば、後述する点を除き、上述した第1実施形態の境界線可視化システム1と同様の効果を奏することができる。
第2実施形態の境界線可視化システム1は、たとえば土地登記上の境界線などを可視化するシステムである。後述するように、第2実施形態の境界線可視化システム1では、例えば山林などで境界線が不明瞭な場合に、どこまでが自分の土地でどこからが他人の土地になるのかの概要を知ることができる。表示精度はGPS衛星が提供する情報の精度に応じて異なるが、近年は誤差数センチメートルの位置情報が取得できるので、実用上十分な精度で境界線を可視化できる。
図5に示す例では、境界線可視化システム1が、端末11と、サーバシステム12とを備えている。
端末11は、例えば携帯電話、スマートフォン、タブレット端末などである。端末11は、ハードウェアとして、例えばディスプレイ11Aと、撮影部11Bと、GPS受信機11Cと、電子コンパス11Dと、通信部11Eとを備えている。
端末11は、境界線可視化アプリケーションとして、端末状態取得部11Fと、画像取得部11Gと、画像記憶部11Hと、画像表示部11Jと、境界線情報記憶部11Kと、境界線生成部11Lと、合成画像生成部11Mと、合成画像表示部11Nとを備えている。
端末状態取得部11Fは、端末11の座標および姿勢を含む端末11の状態を取得する。
画像取得部11Gは、所定位置を含む画像IM(例えば静止画、動画)を取得する。画像取得部11Gは、例えば撮影部11Bによって撮影された景色を含む画像IMを取得する。また、画像取得部11Gは、例えばサーバシステム12によって配信された画像IMを取得することもできる。
境界線生成部11Lは、端末状態取得部11Fによって取得された端末11の状態に基づいて、端末11から一定範囲内に存在する境界線BL(例えば土地登記における境界、県境、国境、領海の輪郭線、排他的経済水域の輪郭線など)の座標に基づいたCG画像を生成する。
合成画像生成部11Mは、画像取得部11Gによって取得された画像IMに含まれる所定位置を示す座標と、境界線BLを示す座標とに基づいて、画像IMに境界線BLのCG画像を重ね合わせた合成画像CMを生成する。
通信部12Aは、端末11との通信などを行う。データベース12Bは、土地登記情報に基づく境界線BLを特定可能な位置情報などを記憶している。
図6に示す例では、ステップS31において、端末11の撮影部11Bが、景色を含む画像IMを撮影する。景色を含む画像IMには、所定位置が含まれており、その所定位置を示す座標は、端末11によって予め認識されている。
次いで、ステップS32では、端末11の画像取得部11Gが、ステップS31において撮影された景色を含む画像IMを取得する。
次いで、ステップS33では、端末11の画像記憶部11Hが、ステップS32において取得された景色を含む画像IMを記憶する。
次いで、ステップS35では、端末11の端末状態取得部11Fが、ステップS34において受信された電波に基づいて、端末11の座標を算出し、算出された端末11の座標を、端末11の状態として取得する。
また、ステップS36では、端末11の電子コンパス11Dが、地磁気の観測などを行うことによって方位(端末11の向き)を検出する。
次いで、ステップS37では、端末11の端末状態取得部11Fが、ステップS36において検出された端末11の向きなどに基づいて、端末11の姿勢を算出し、算出された端末11の姿勢を、端末11の状態として取得する。
ステップS39では、端末11の境界線生成部11Lが、ステップS35およびステップS37において取得された端末11の状態と、境界線情報記憶部11Kに記憶されている境界線BL(例えば土地登記における境界、県境、国境、領海の輪郭線、排他的経済水域の輪郭線など)のCG画像を生成するために必要な情報とに基づいて、端末11から一定範囲内に存在する境界線BLのCG画像を生成する。
次いで、ステップS40では、端末11の合成画像生成部11Mが、ステップS32において取得された景色を含む画像IMに含まれる所定位置を示す座標と、端末11の境界線情報記憶部11Kに記憶されている境界線BLを示す座標とに基づいて、画像IMに境界線BLのCG画像を重ね合わせた合成画像CMを生成する。
次いで、ステップS41では、端末11の合成画像表示部11Nが、ステップS39において生成された合成画像CMを表示する。
次いで、ステップS43では、サーバシステム12の通信部12Aが、サーバシステム12のデータベース12Bに記憶されている、境界線BLのCG画像を生成するために必要な情報を、端末11に送信する。
次いで、ステップS39では、端末11の境界線生成部11Lが、ステップS35およびステップS37において取得された端末11の状態と、ステップS43においてサーバシステム12から送信された境界線BLのCG画像を生成するために必要な情報とに基づいて、端末11から一定範囲内に存在する境界線BLのCG画像を生成する。
次いで、サーバシステム12の通信部12Aが、外部機関から取得された境界線BLのCG画像を生成するために必要な情報を、端末11に送信する。
次いで、ステップS39では、端末11の境界線生成部11Lが、ステップS35およびステップS37において取得された端末11の状態と、サーバシステム12から送信された境界線BLのCG画像を生成するために必要な情報(外部機関から取得されたもの)とに基づいて、端末11から一定範囲内に存在する境界線BLのCG画像を生成する。
境界線可視化アプリケーションの起動中に撮影部11Bが画像IM(動画または静止画)を撮影する場合には、画像取得部11Gが、撮影部11Bによって撮影された画像IM(動画または静止画)を取得する。画像表示部11Jは、画像取得部11Gによって取得された画像IM(動画または静止画)をプレビュー表示することができる。
サーバシステム12は、端末11の現在位置を受信すると、データベース12Bに記憶されている、端末11の現在位置から一定範囲内に存在する境界線BLに関する情報(境界線BLのCG画像を生成するために必要な位置情報などの情報)を端末11に送信する。
端末11の境界線生成部11Lは、端末11の座標(GPS衛星からの電波に基づいて算出された端末11の緯度、経度、高度)、サーバシステム12から送信された境界線BLに関する情報などを用いて、端末11の位置および姿勢に対応するように境界線BLのCG画像を生成する。
端末11の合成画像生成部11Mは、境界線生成部11Lによって生成された境界線BLのCG画像を、画像取得部11Gによって取得された画像IMに重ね合わせた合成画像CMを生成する。
端末11の合成画像表示部11Nは、合成画像生成部11Mによって生成された合成画像CMを表示(例えばプレビュー表示)する。
端末11は、必要に応じて、境界線BLのCG画像が実際の風景画像(景色を含む画像IM)に重畳された合成画像CM(動画または静止画)を保存することもできる。
これにより、端末11のユーザは、境界線BLの位置を知ることができる。
また、第2実施形態の境界線可視化システム1では、境界線BL(目視できない線)を示す境界標が、地滑りなどで移動してしまった場合にも、誤差数センチメートルで境界線BLを拡張現実(AR)によって把握することができる。そのため、専門家や国が境界確定図を作成する前にある程度高い精度で境界線BLを知ることができる。
また、第2実施形態の境界線可視化システム1では、他人の構造物が明らかに自分の土地にはみ出して建てられている場合や、航空機や船舶等が他国の排他的経済水域や領海内に不正に進入するおそれがある場合などに、それをわかりやすく示すことができる。
以下、本発明の境界線可視化システム、境界線可視化方法、境界線可視化プログラムおよびデジタルフォトアルバム作成システムの第3実施形態について説明する。
第3実施形態の境界線可視化システム1は、後述する点を除き、上述した第1実施形態の境界線可視化システム1と同様に構成されている。従って、第3実施形態の境界線可視化システム1によれば、後述する点を除き、上述した第1実施形態の境界線可視化システム1と同様の効果を奏することができる。
図7に示す例では、境界線可視化システム1が、端末11を備えている。
端末11は、端末状態取得部11Fと、画像取得部11Gと、境界線生成部11Lと、合成画像生成部11Mとを備えている。
端末状態取得部11Fは、端末11の座標および姿勢を含む端末11の状態を取得する。
画像取得部11Gは、所定位置を含む画像IMを取得する。
境界線生成部11Lは、境界線BLの名称、種類、座標などを含むデータベースを保持しており、このデータベースを利用して、端末状態取得部11Fによって取得された端末11の状態に基づいて、端末11から一定範囲内に存在する境界線BLの座標に基づいたCG画像を生成する。
合成画像生成部11Mは、画像取得部11Gによって取得された画像IMに含まれる所定位置を示す座標と、境界線BLを示す座標とに基づいて、画像IMに境界線BLのCG画像を重ね合わせた合成画像CMを生成する。
以下、本発明の境界線可視化システム、境界線可視化方法、境界線可視化プログラムの第4実施形態について説明する。第4実施形態の境界線可視化システム1は、後述する点を除き、上述した第1実施形態および第2実施形態の境界線可視化システム1と同様に構成されている。従って、第4実施形態の境界線可視化システム1によれば、後述する点を除き、上述した第1実施形態および第2実施形態の境界線可視化システム1と同様の効果を奏することができる。
第4実施形態の境界線可視化システム1の境界線情報記憶部11Kは、境界線BLに関する情報として、例えば日付変更線、グリニッジ子午線、IERS(国際地球回転観測事業)基準子午線、赤道、土地登記における境界、県境、国境、領海の輪郭線、排他的経済水域の輪郭線、海岸線(満潮時海岸線と干潮時海岸線を区別してもよい)、等高線(海抜や標高を示す線や、山の何合目かを示す線など)、ハザードマップにおける危険度の境界を示す線、歩道や車道などの道路に沿う線、その他地表・海面上の任意の領域を論理的に分割するための境界線などを示す座標に関する情報を取得および記憶することができる。
境界線BLに関する情報は、あらかじめ境界線情報記憶部11Kに記憶されていてもよいし、端末11の位置に基づいて端末11を中心とする一定範囲内における境界線BLに関する情報がインターネット網などを通じてサーバシステム12から適宜提供されるようになっていてもよい。
領域関連情報の元になる情報は、サーバシステム12に保存されており、端末11の位置情報に基づいて領域関連情報として生成される。領域関連情報は、紐づけられた領域に関する地理的情報(国名、県名等)やその詳細情報(歴史的背景、観光名所、災害リスク等)などの固定的な情報や、紐づけられた領域に関連する広告やその領域において実施されるイベントや興行等の告知、紐づけられた領域に関連する警報や注意喚起などの動的な情報などを含む情報である。動的な情報は、情報の有効期間を示す情報を含んでいる。
領域関連情報は、文字データ、画像データ、音声データ、動画データ、プログラム等を含んでいる。
具体的には、端末11にインストールされた境界線可視化アプリケーションが、端末11の姿勢を取得(図6のステップS37参照)した後、CG画像生成のための情報の要求の一部として、端末11の位置をサーバシステム12に通知する(図6のステップS42参照)。サーバシステム12は、端末11の位置と現在時刻とに基づいて、領域関連情報を端末11へ送信する(図6のステップS43参照)。このとき、サーバシステム12は、端末11の位置に基づいて、境界線BLによって2つに分割される領域のうち、端末11が含まれていない領域と紐づけられた領域関連情報を端末11へ送信する。これにより、端末11は、端末11を保持したユーザがこれから進入する領域、あるいは、端末11を保持したユーザが位置する領域に隣接する領域に紐づいた領域関連情報を取得することができる。領域関連情報を取得した端末11の境界線可視化アプリケーションは、境界線BLのCG画像を生成(図6のステップS39参照)するとともに、領域関連情報に基づいた合成画像CMその他の再生可能コンテンツを生成する(図6のステップS40)。再生可能コンテンツは、ユーザへの情報提供、広告、イベント等の告知などに適したコンテンツである。
境界線可視化アプリケーションは、上記のステップS40で生成された再生可能コンテンツを端末11のディスプレイ11Aに表示させる(図6のステップS41参照)。また、境界線可視化アプリケーションは、再生可能コンテンツが視覚的情報以外の情報を保有している場合、例えば音声再生や振動(バイブレーション)など、端末11が持つ利用可能な機能を利用して再生可能コンテンツを出力する。
また、第4実施形態の境界線可視化システム1を用いて広告を配信する場合には、ユーザの行動に密接に関連した広告が選択されて端末11に配信されるので、広告効果を高めることができるとともに、ユーザの行動と広告効果の関係性の測定や分析も容易にすることができる。
また、第4実施形態の境界線可視化システム1を用いて警報や注意喚起を配信する場合には、ユーザの行動に密接に関連した警報や注意喚起が選択されて端末11に配信されるので、警報や注意喚起が発令されている期間における危険地域への不用意な進入を予防することができる。
また、上述した各実施形態の境界線可視化システム1において、任意の領域を論理的に分割するための境界線BLのCG画像の一例として、位置情報ゲーム(Location-based game)におけるゲーム内イベント発生エリアのCG画像を生成することもできる。この場合、各実施形態の境界線可視化システム1において、1つの座標で決まる地球上の1点やこの点を中心とした円形のエリアではなく、線で囲まれた複雑な形状をイベント発生エリアとして指定することができる。これにより、位置情報ゲームにおける表現の自由度を高めることができる。また、現実に存在する施設等の形状に合わせた境界線を設定して拡張現実(AR)によりイベント発生エリアをユーザに認識させることができるので、現実とゲームの密接なつながりを演出することができる。
また、上述した各実施形態の境界線可視化システム1において、例えば境界線BLのCG画像として土地登記における境界、領土の輪郭線、領海の輪郭線、ハザードマップにおける危険度の境界を示す線などのCG画像を生成する例では、現実では目視で認識することができない境界線を拡張現実(AR)を用いて視覚的にユーザに認識させることによって、曖昧さを回避することができ、紛争の解決に役立つ。また、ハザードマップにおける危険度の境界を示す線を拡張現実(AR)を用いて実際の風景と重ねてユーザに認識させることができることによって、災害時にどこへ移動すれば危険度がより低くなるのかを、一般的な地図表示アプリケーションと比較してより直感的に提示することができる。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM、DVD−ROM、フラッシュメモリ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク、ソリッドステートディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
所定位置を含む画像を取得する画像取得部と、
前記端末の座標および姿勢を含む前記端末の状態を取得する端末状態取得部と、
前記端末状態取得部によって取得された前記端末の状態に基づいて、前記端末から一定範囲内に存在する境界線の座標に基づいたCG画像を生成する境界線生成部と、
前記境界線によって2以上に分割される領域のうち前記端末が存する領域を除いた1以上の領域に紐づけられた領域関連情報を取得し、前記画像取得部によって取得された前記画像に含まれる前記所定位置を示す座標と、前記境界線を示す座標とに基づいて、前記画像に前記境界線のCG画像と前記領域関連情報とを重ね合わせた合成画像を生成する合成画像生成部と、
を備えるデジタルフォトアルバム作成システムである。
Claims (12)
- 端末を備える境界線可視化システムであって、
所定位置を含む画像を取得する画像取得部と、
前記端末の座標および姿勢を含む前記端末の状態を取得する端末状態取得部と、
前記端末状態取得部によって取得された前記端末の状態に基づいて、前記端末から一定範囲内に存在する境界線の座標に基づいたCG(コンピュータグラフィックス)画像を生成する境界線生成部と、
前記画像取得部によって取得された前記画像に含まれる前記所定位置を示す座標と、前記境界線を示す座標とに基づいて、前記画像に前記境界線のCG画像を重ね合わせた合成画像を生成する合成画像生成部と、
を備える境界線可視化システム。 - 前記画像取得部は、前記画像として、前記端末によって撮影された景色を含む画像を取得し、
前記合成画像生成部は、前記端末によって撮影された景色を含む画像に、前記境界線のCG画像を重ね合わせた合成画像を生成する、
請求項1に記載の境界線可視化システム。 - 前記画像取得部は、前記画像として、窓を有する部屋の内部から前記窓越しに前記端末によって撮影された外の景色を含む画像を取得し、
前記境界線生成部は、前記境界線のCG画像として、前記境界線のうち前記端末から前記一定範囲内に存在する部分を表示対象とするCG画像を生成し、
前記合成画像生成部は、前記端末によって撮影された外の景色を含む画像に、前記境界線のCG画像を重ね合わせた合成画像を生成する、
請求項1に記載の境界線可視化システム。 - 前記合成画像生成部は、前記境界線のCG画像が、前記端末から前記境界線が離れるにしたがって細くなり、地平線または水平線において消失するように、前記境界線のCG画像を前記画像に重ね合わせる、
請求項3に記載の境界線可視化システム。 - 前記画像取得部によって取得された前記画像に含まれる窓枠を特定する窓枠特定部を備え、
前記合成画像生成部は、前記境界線のCG画像が、前記窓枠特定部によって特定された前記窓枠の内側に位置するように、前記境界線のCG画像を前記画像に重ね合わせる、
請求項3に記載の境界線可視化システム。 - 前記端末状態取得部によって取得された前記端末の座標と前記境界線を示す座標とに基づいて、前記端末が前記境界線を通過する時刻を推定する境界線通過時刻推定部と、
前記境界線通過時刻推定部によって推定された前記端末が前記境界線を通過する時刻を示すテキスト情報を、前記合成画像生成部によって生成された前記合成画像に付加するテキスト情報付加部とを備える、
請求項1に記載の境界線可視化システム。 - 前記合成画像生成部によって生成された前記合成画像に前記境界線が含まれていることを示すタグ情報を、前記合成画像のデータに付与するタグ情報付与部と、
前記合成画像のデータに付与された前記タグ情報に基づいて、前記端末が前記境界線を通過したことを証明する通過証明書データを生成するデータ生成部と備える、
請求項1に記載の境界線可視化システム(1)。 - 前記境界線は日付変更線である、請求項1に記載の境界線可視化システム。
- 前記境界線は災害危険度の段階に対応して地表を複数の領域に分割する線である、請求項1に記載の境界線可視化システム。
- 所定位置を含む画像を取得する画像取得ステップと、
端末の座標および姿勢を含む前記端末の状態を取得する端末状態取得ステップと、
前記端末状態取得ステップにおいて取得された前記端末の状態に基づいて、前記端末から一定範囲内に存在する境界線の座標に基づいたCG画像を生成する境界線生成ステップと、
前記画像取得ステップにおいて取得された前記画像に含まれる前記所定位置を示す座標と、前記境界線を示す座標とに基づいて、前記画像に前記境界線のCG画像を重ね合わせた合成画像を生成する合成画像生成ステップと、
を備える境界線可視化方法。 - コンピュータに、
所定位置を含む画像を取得する画像取得ステップと、
端末の座標および姿勢を含む前記端末の状態を取得する端末状態取得ステップと、
前記端末状態取得ステップにおいて取得された前記端末の状態に基づいて、前記端末から一定範囲内に存在する境界線の座標に基づいたCG画像を生成する境界線生成ステップと、
前記画像取得ステップにおいて取得された前記画像に含まれる前記所定位置を示す座標と、前記境界線を示す座標とに基づいて、前記画像に前記境界線のCG画像を重ね合わせた合成画像を生成する合成画像生成ステップと、
を実行させるための境界線可視化プログラム。 - 端末を備えるデジタルフォトアルバム作成システムであって、
所定位置を含む画像を取得する画像取得部と、
前記端末の座標および姿勢を含む前記端末の状態を取得する端末状態取得部と、
前記端末状態取得部によって取得された前記端末の状態に基づいて、前記端末から一定範囲内に存在する境界線の座標に基づいたCG画像を生成する境界線生成部と、
前記画像取得部によって取得された前記画像に含まれる前記所定位置を示す座標と、前記境界線を示す座標とに基づいて、前記画像に前記境界線のCG画像を重ね合わせた合成画像を生成する合成画像生成部と、
を備えるデジタルフォトアルバム作成システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020078254A JP6770274B1 (ja) | 2019-12-19 | 2020-04-27 | 境界線可視化システム、境界線可視化方法、境界線可視化プログラムおよびデジタルフォトアルバム作成システム |
JP2020078255A JP6777921B1 (ja) | 2019-12-19 | 2020-04-27 | 境界線可視化システム、境界線可視化方法、境界線可視化プログラムおよびデジタルフォトアルバム作成システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/049840 WO2021124516A1 (ja) | 2019-12-19 | 2019-12-19 | 境界線可視化システム、境界線可視化方法、境界線可視化プログラムおよびデジタルフォトアルバム作成システム |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020078254A Division JP6770274B1 (ja) | 2019-12-19 | 2020-04-27 | 境界線可視化システム、境界線可視化方法、境界線可視化プログラムおよびデジタルフォトアルバム作成システム |
JP2020078255A Division JP6777921B1 (ja) | 2019-12-19 | 2020-04-27 | 境界線可視化システム、境界線可視化方法、境界線可視化プログラムおよびデジタルフォトアルバム作成システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021124516A1 true JPWO2021124516A1 (ja) | 2021-12-23 |
JP7131780B2 JP7131780B2 (ja) | 2022-09-06 |
Family
ID=76478559
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020520665A Active JP7131780B2 (ja) | 2019-12-19 | 2019-12-19 | 境界線可視化システム、境界線可視化方法、境界線可視化プログラムおよびデジタルフォトアルバム作成システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220309720A1 (ja) |
JP (1) | JP7131780B2 (ja) |
WO (1) | WO2021124516A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006295827A (ja) * | 2005-04-14 | 2006-10-26 | Sony Ericsson Mobilecommunications Japan Inc | 携帯端末装置 |
JP2012133471A (ja) * | 2010-12-20 | 2012-07-12 | Kokusai Kogyo Co Ltd | 画像合成装置、画像合成プログラム、及び画像合成システム |
JP2012155655A (ja) * | 2011-01-28 | 2012-08-16 | Sony Corp | 情報処理装置、報知方法及びプログラム |
JP2014209680A (ja) * | 2013-04-16 | 2014-11-06 | 富士通株式会社 | 土地境界表示プログラム、方法、及び端末装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8477062B1 (en) * | 2009-09-29 | 2013-07-02 | Rockwell Collins, Inc. | Radar-based system, module, and method for presenting steering symbology on an aircraft display unit |
US9357180B2 (en) * | 2011-01-27 | 2016-05-31 | Kyocera Corporation | Vehicle driving assist device |
US9424614B2 (en) * | 2013-07-03 | 2016-08-23 | International Business Machines Corporation | Updating distribution management system model responsive to real-time asset identification and location inputs |
JP6142784B2 (ja) * | 2013-11-27 | 2017-06-07 | 株式会社デンソー | 運転支援装置 |
JP2016122966A (ja) * | 2014-12-25 | 2016-07-07 | 富士通テン株式会社 | データ再生装置、データ再生方法及びプログラム |
CA2987558A1 (en) * | 2015-05-29 | 2016-12-08 | Nissan Motor Co., Ltd. | Information presentation system |
US9672747B2 (en) * | 2015-06-15 | 2017-06-06 | WxOps, Inc. | Common operating environment for aircraft operations |
EP3413155B1 (de) * | 2017-06-09 | 2020-02-26 | Andreas Stihl AG & Co. KG | Verfahren zum erfassen mindestens eines abschnitts eines begrenzungsrands einer zu bearbeitenden fläche, verfahren zum betreiben eines autonomen mobilen grünflächenbearbeitungsroboters, erfassungssystem und grünflächenbearbeitungssystem |
FR3072793B1 (fr) * | 2017-10-24 | 2019-11-01 | Dassault Aviation | Ensemble d'affichage de trajectoires d'un aeronef |
US11062614B2 (en) * | 2018-09-12 | 2021-07-13 | Alliance Solutions Group, Inc. | Systems and methods for collecting and analyzing hazardous materials information using an unmanned aerial vehicle |
US10600325B1 (en) * | 2018-11-20 | 2020-03-24 | Honeywell International Inc. | Avionic display system |
US10706624B1 (en) * | 2019-03-11 | 2020-07-07 | Amazon Technologies, Inc. | Three-dimensional room model generation using panorama paths with augmented reality guidance |
JP7238670B2 (ja) * | 2019-07-23 | 2023-03-14 | トヨタ自動車株式会社 | 画像表示装置 |
-
2019
- 2019-12-19 WO PCT/JP2019/049840 patent/WO2021124516A1/ja active Application Filing
- 2019-12-19 US US17/595,072 patent/US20220309720A1/en not_active Abandoned
- 2019-12-19 JP JP2020520665A patent/JP7131780B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006295827A (ja) * | 2005-04-14 | 2006-10-26 | Sony Ericsson Mobilecommunications Japan Inc | 携帯端末装置 |
JP2012133471A (ja) * | 2010-12-20 | 2012-07-12 | Kokusai Kogyo Co Ltd | 画像合成装置、画像合成プログラム、及び画像合成システム |
JP2012155655A (ja) * | 2011-01-28 | 2012-08-16 | Sony Corp | 情報処理装置、報知方法及びプログラム |
JP2014209680A (ja) * | 2013-04-16 | 2014-11-06 | 富士通株式会社 | 土地境界表示プログラム、方法、及び端末装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2021124516A1 (ja) | 2021-06-24 |
US20220309720A1 (en) | 2022-09-29 |
JP7131780B2 (ja) | 2022-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3338136B1 (en) | Augmented reality in vehicle platforms | |
US10636185B2 (en) | Information processing apparatus and information processing method for guiding a user to a vicinity of a viewpoint | |
CN101573588B (zh) | 位置立标和定向 | |
JP4672765B2 (ja) | Gps探索装置 | |
US9495783B1 (en) | Augmented reality vision system for tracking and geolocating objects of interest | |
CN103988220B (zh) | 存储内容和ar通信的本地传感器加强 | |
US20200234502A1 (en) | Social Media Platform using Augmented Reality and Microlocation | |
KR100593398B1 (ko) | 증강현실을 이용한 휴대단말기 사용자의 위치정보제공시스템 및 방법 | |
US11734898B2 (en) | Program, information processing method, and information processing terminal | |
US10885688B2 (en) | Computer readable media, information processing apparatus and information processing method | |
US10818055B2 (en) | Computer readable media, information processing apparatus and information processing method | |
JP2012068481A (ja) | 拡張現実表現システムおよび方法 | |
JP2018128815A (ja) | 情報提示システム、情報提示方法及び情報提示プログラム | |
WO2019167213A1 (ja) | 位置推定装置、トラッカー、位置推定方法及びプログラム | |
US20130135348A1 (en) | Communication device, communication system, communication method, and communication program | |
JP6777921B1 (ja) | 境界線可視化システム、境界線可視化方法、境界線可視化プログラムおよびデジタルフォトアルバム作成システム | |
JP6770274B1 (ja) | 境界線可視化システム、境界線可視化方法、境界線可視化プログラムおよびデジタルフォトアルバム作成システム | |
WO2021124516A1 (ja) | 境界線可視化システム、境界線可視化方法、境界線可視化プログラムおよびデジタルフォトアルバム作成システム | |
JP2016200884A (ja) | 観光誘客システム、観光誘客方法、観光誘客用データベース、情報処理装置、通信端末装置およびそれらの制御方法と制御プログラム | |
CN117419713A (zh) | 基于增强现实的导览方法、计算设备及存储介质 | |
US20120281102A1 (en) | Portable terminal, activity history depiction method, and activity history depiction system | |
KR101533886B1 (ko) | 문화 유적 가상 체험을 위한 증강 현실 생성 방법 | |
JP2017125907A (ja) | 地形表示システム | |
JP2013205072A (ja) | 地図表示システム、地図表示方法、およびプログラム | |
JP6582526B2 (ja) | コンテンツ提供システム、コンテンツ提供装置及びコンテンツ提供方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200501 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20200713 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200803 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200713 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210706 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210903 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220314 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220802 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220817 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7131780 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |