JP7454145B2 - 映像処理システム、映像処理装置、プログラム及び映像処理方法 - Google Patents
映像処理システム、映像処理装置、プログラム及び映像処理方法 Download PDFInfo
- Publication number
- JP7454145B2 JP7454145B2 JP2019155041A JP2019155041A JP7454145B2 JP 7454145 B2 JP7454145 B2 JP 7454145B2 JP 2019155041 A JP2019155041 A JP 2019155041A JP 2019155041 A JP2019155041 A JP 2019155041A JP 7454145 B2 JP7454145 B2 JP 7454145B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- video
- photographing
- dimensional
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 56
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000000034 method Methods 0.000 claims description 26
- 238000010586 diagram Methods 0.000 description 24
- 238000004891 communication Methods 0.000 description 8
- 238000013500 data storage Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Description
図1は第1の実施の形態における映像処理システムの概観図である。以下の説明では、天体の一例として、地球を例にして説明するが、地球に限ることなく、火星等の他の惑星や、月等の衛星、恒星等であっても良い。
図14は第2の実施の形態における映像処理システムの概観図である。
2 飛行体
3 パラボラアンテナ
4 軌道データサーバ
5 オブジェクトデータサーバ
6 映像処理装置
7 ネットワーク
8 端末
9 SNS
21 映像取得部
22 撮影情報取得部
23 オブジェクトデータ取得部
24 3次元モデリングデータ記憶装置
25 3次元地球モデル生成部
26 オブジェクト配置部
27 仮想映像生成部
28 映像重畳部
29 映像配信部
100 コンピュータ
101 プロセッサ
102 メモリ
103 記憶装置
104 入力装置
105 通信装置
Claims (11)
- 天体の上空を飛行する飛行体に搭載されたカメラから撮影された撮影映像を取得する映像取得部と、
前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢を取得する撮影情報取得部と、
前記撮影映像に重畳するオブジェクトのオブジェクト画像と前記オブジェクトの天体上のオブジェクト位置とを含むオブジェクトデータを取得するオブジェクトデータ取得部と、
前記天体の形状と位置に関する3次元モデリングデータが記憶された記憶装置と、
前記3次元モデリングデータを用いて、少なくとも天体表面の形状の地表レイヤーと前記オブジェクト画像が配置されるオブジェクトレイヤーとを含む、前記天体の3次元天体モデルを生成する3次元天体モデル生成部と、
前記オブジェクト画像を、前記オブジェクト位置に対応する前記3次元天体モデルの前記オブジェクトレイヤーの位置に配置するオブジェクト配置部と、
前記カメラが、前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢により、前記オブジェクト画像が配置された前記オブジェクトレイヤーを撮影した場合のオブジェクトレイヤー映像を生成する仮想映像生成部と、
前記オブジェクトレイヤー映像を、前記撮影映像に重畳した重畳映像を生成する映像重畳部と、
を備える映像処理システム。 - 天体の上空を飛行する飛行体に搭載されたカメラから撮影された撮影映像を取得する映像取得部と、
前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢を取得する撮影情報取得部と、
ソーシャルネットワークサービス(SNS: Social Network Service)からメッセージ及び前記メッセージに関するメッセージ位置情報を取得し、前記メッセージを前記撮影映像に重畳するオブジェクトのオブジェクト画像に変換し、前記メッセージ位置情報をオブジェクト位置に変換するメッセージ取得部と、
前記オブジェクト画像と前記オブジェクト位置とを含むオブジェクトデータを取得するオブジェクトデータ取得部と、
前記天体の形状と位置に関する3次元モデリングデータが記憶された記憶装置と、
前記3次元モデリングデータを用いて、前記天体の3次元天体モデルを生成する3次元天体モデル生成部と、
前記オブジェクト画像を、前記オブジェクト位置に対応する前記3次元天体モデルの位置に配置するオブジェクト配置部と、
前記カメラが、前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢により、前記オブジェクト画像が配置された3次元天体モデルを撮影した場合の仮想映像を生成する仮想映像生成部と、
前記仮想映像のうちのオブジェクト画像を、前記撮影映像に重畳した重畳映像を生成する映像重畳部と、
を備える映像処理システム。 - 前記重畳映像を配信する配信部を備える
請求項1又は請求項2に記載の映像処理システム。 - 前記飛行体は、天体を周回する衛星又は宇宙ステーションである
請求項1から請求項3のいずれかに記載の映像処理システム。 - 前記天体は、地球を含む惑星、衛星又は恒星である
請求項1から請求項4のいずれかに記載の映像処理システム。 - 天体の上空を飛行する飛行体に搭載されたカメラから撮影された撮影映像を取得する映像取得部と、
前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢を取得する撮影情報取得部と、
前記撮影映像に重畳するオブジェクトのオブジェクト画像と前記オブジェクトの天体上のオブジェクト位置とを含むオブジェクトデータを取得するオブジェクトデータ取得部と、
前記天体の形状と位置に関する3次元モデリングデータが記憶された記憶装置と、
前記3次元モデリングデータを用いて、少なくとも天体表面の形状の地表レイヤーと前記オブジェクト画像が配置されるオブジェクトレイヤーとを含む、前記天体の3次元天体モデルを生成する3次元天体モデル生成部と、
前記オブジェクト画像を、前記オブジェクト位置に対応する前記3次元天体モデルの前記オブジェクトレイヤーの位置に配置するオブジェクト配置部と、
前記カメラが、前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢により、前記オブジェクト画像が配置された前記オブジェクトレイヤーを撮影した場合のオブジェクトレイヤー映像を生成する仮想映像生成部と、
前記オブジェクトレイヤー映像を、前記撮影映像に重畳した重畳映像を生成する映像重畳部と、
を備える映像処理装置。 - 天体の上空を飛行する飛行体に搭載されたカメラから撮影された撮影映像を取得する映像取得部と、
前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢を取得する撮影情報取得部と、
ソーシャルネットワークサービス(SNS: Social Network Service)からメッセージ及び前記メッセージに関するメッセージ位置情報を取得し、前記メッセージを前記撮影映像に重畳するオブジェクトのオブジェクト画像に変換し、前記メッセージ位置情報をオブジェクト位置に変換するメッセージ取得部と、
前記オブジェクト画像と前記オブジェクト位置とを含むオブジェクトデータを取得するオブジェクトデータ取得部と、
前記天体の形状と位置に関する3次元モデリングデータが記憶された記憶装置と、
前記3次元モデリングデータを用いて、前記天体の3次元天体モデルを生成する3次元天体モデル生成部と、
前記オブジェクト画像を、前記オブジェクト位置に対応する前記3次元天体モデルの位置に配置するオブジェクト配置部と、
前記カメラが、前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢により、前記オブジェクト画像が配置された3次元天体モデルを撮影した場合の仮想映像を生成する仮想映像生成部と、
前記仮想映像のうちのオブジェクト画像を、前記撮影映像に重畳した重畳映像を生成する映像重畳部と、
を備える映像処理装置。 - 天体の上空を飛行する飛行体に搭載されたカメラから撮影された撮影映像を取得する映像取得処理と、
前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢を取得する撮影情報取得処理と、
前記撮影映像に重畳するオブジェクトのオブジェクト画像と前記オブジェクトの天体上のオブジェクト位置とを含むオブジェクトデータを取得するオブジェクトデータ取得処理と、
前記天体の形状と位置に関する3次元モデリングデータを用いて、少なくとも天体表面の形状の地表レイヤーと前記オブジェクト画像が配置されるオブジェクトレイヤーとを含む、前記天体の3次元天体モデルを生成する3次元天体モデル生成処理と、
前記オブジェクト画像を、前記オブジェクト位置に対応する前記3次元天体モデルの前記オブジェクトレイヤーの位置に配置するオブジェクト配置処理と、
前記カメラが、前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢により、前記オブジェクト画像が配置された前記オブジェクトレイヤーを撮影した場合のオブジェクトレイヤー映像を撮影した場合の仮想映像を生成する仮想映像生成処理と、
前記オブジェクトレイヤー映像を、前記撮影映像に重畳した重畳映像を生成する映像重畳処理と、
をコンピュータに実行させるプログラム。 - 天体の上空を飛行する飛行体に搭載されたカメラから撮影された撮影映像を取得する映像取得処理と、
前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢を取得する撮影情報取得処理と、
ソーシャルネットワークサービス(SNS: Social Network Service)からメッセージ及び前記メッセージに関するメッセージ位置情報を取得し、前記メッセージを前記撮影映像に重畳するオブジェクトのオブジェクト画像に変換し、前記メッセージ位置情報をオブジェクト位置に変換するメッセージ取得処理と、
前記オブジェクト画像と前記オブジェクト位置とを含むオブジェクトデータを取得するオブジェクトデータ取得処理と、
前記天体の形状と位置に関する3次元モデリングデータを用いて、前記天体の3次元天体モデルを生成する3次元天体モデル生成処理と、
前記オブジェクト画像を、前記オブジェクト位置に対応する前記3次元天体モデルの位置に配置するオブジェクト配置処理と、
前記カメラが、前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢により、前記オブジェクト画像が配置された3次元天体モデルを撮影した場合の仮想映像を生成する仮想映像生成処理と、
前記仮想映像のうちのオブジェクト画像を、前記撮影映像に重畳した重畳映像を生成する映像重畳処理と、
をコンピュータに実行させるプログラム。 - コンピュータが、
天体の上空を飛行する飛行体に搭載されたカメラから撮影された撮影映像を取得し、
前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢を取得し、
前記撮影映像に重畳するオブジェクトのオブジェクト画像と前記オブジェクトの天体上のオブジェクト位置とを含むオブジェクトデータを取得し、
前記天体の形状と位置に関する3次元モデリングデータを用いて、少なくとも天体表面の形状の地表レイヤーと前記オブジェクト画像が配置されるオブジェクトレイヤーとを含む、前記天体の3次元天体モデルを生成し、
前記オブジェクト画像を、前記オブジェクト位置に対応する前記3次元天体モデルの前記オブジェクトレイヤーの位置に配置し、
前記カメラが、前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢により、前記オブジェクト画像が配置された前記オブジェクトレイヤーを撮影した場合のオブジェクトレイヤー映像を生成し、
前記オブジェクトレイヤー映像を、前記撮影映像に重畳した重畳映像を生成する、
映像処理方法。 - コンピュータが、
天体の上空を飛行する飛行体に搭載されたカメラから撮影された撮影映像を取得し、
前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢を取得し、
ソーシャルネットワークサービス(SNS: Social Network Service)からメッセージ及び前記メッセージに関するメッセージ位置情報を取得し、
前記メッセージを前記撮影映像に重畳するオブジェクトのオブジェクト画像に変換し、前記メッセージ位置情報をオブジェクト位置に変換し、
前記オブジェクト画像と前記オブジェクト位置とを含むオブジェクトデータを取得し、
前記天体の形状と位置に関する3次元モデリングデータを用いて、前記天体の3次元天体モデルを生成し、
前記オブジェクト画像を、前記オブジェクト位置に対応する前記3次元天体モデルの位置に配置し、
前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢により、前記カメラが前記オブジェクト画像が配置された3次元天体モデルを撮影した場合の仮想映像を生成し、
前記仮想映像のうちのオブジェクト画像を、前記撮影映像に重畳した重畳映像を生成する、
映像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019155041A JP7454145B2 (ja) | 2019-08-27 | 2019-08-27 | 映像処理システム、映像処理装置、プログラム及び映像処理方法 |
JP2024027191A JP2024055925A (ja) | 2019-08-27 | 2024-02-27 | 画像処理装置、プログラム、及び画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019155041A JP7454145B2 (ja) | 2019-08-27 | 2019-08-27 | 映像処理システム、映像処理装置、プログラム及び映像処理方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024027191A Division JP2024055925A (ja) | 2019-08-27 | 2024-02-27 | 画像処理装置、プログラム、及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021033788A JP2021033788A (ja) | 2021-03-01 |
JP7454145B2 true JP7454145B2 (ja) | 2024-03-22 |
Family
ID=74676608
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019155041A Active JP7454145B2 (ja) | 2019-08-27 | 2019-08-27 | 映像処理システム、映像処理装置、プログラム及び映像処理方法 |
JP2024027191A Pending JP2024055925A (ja) | 2019-08-27 | 2024-02-27 | 画像処理装置、プログラム、及び画像処理方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024027191A Pending JP2024055925A (ja) | 2019-08-27 | 2024-02-27 | 画像処理装置、プログラム、及び画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7454145B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001039398A (ja) | 1999-07-30 | 2001-02-13 | Kawasaki Heavy Ind Ltd | ヘリコプタの操縦支援装置 |
JP2002197009A (ja) | 2000-12-25 | 2002-07-12 | Nec Corp | 情報提供サーバ、クライアント、情報提供システムの処理方法、プログラムを記録した記録媒体、広告提供方法 |
-
2019
- 2019-08-27 JP JP2019155041A patent/JP7454145B2/ja active Active
-
2024
- 2024-02-27 JP JP2024027191A patent/JP2024055925A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001039398A (ja) | 1999-07-30 | 2001-02-13 | Kawasaki Heavy Ind Ltd | ヘリコプタの操縦支援装置 |
JP2002197009A (ja) | 2000-12-25 | 2002-07-12 | Nec Corp | 情報提供サーバ、クライアント、情報提供システムの処理方法、プログラムを記録した記録媒体、広告提供方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2024055925A (ja) | 2024-04-19 |
JP2021033788A (ja) | 2021-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kopacz et al. | Small satellites an overview and assessment | |
KR101850027B1 (ko) | 실시간 3차원 실 환경 복원장치 및 그 방법 | |
US10037611B2 (en) | Method and apparatus for generating map data from images | |
US11403822B2 (en) | System and methods for data transmission and rendering of virtual objects for display | |
Zuluaga et al. | The orbit of the Chelyabinsk event impactor as reconstructed from amateur and public footage | |
US10948603B2 (en) | Real-time communication between satellites and mobile devices | |
US20180310124A1 (en) | Virtual Stationary Satellites Over Any Area of the Earth for a Continuous or Set Amount of Time | |
CN102831816B (zh) | 一种提供实时场景地图的装置 | |
JP7454145B2 (ja) | 映像処理システム、映像処理装置、プログラム及び映像処理方法 | |
CN112136322A (zh) | 一种三维点云的实时显示方法、设备、系统及存储介质 | |
CN103955140B (zh) | 卫星地面遥操作演示验证系统及其实现方法 | |
El Habchi et al. | CGA: A new approach to estimate the geolocation of a ground target from drone aerial imagery | |
Stoll et al. | The RapidEye constellation and its data products | |
Bock et al. | OpenSpace: Public dissemination of space mission profiles | |
Stefanov et al. | Data collection for disaster response from the international space station | |
CN112498745B (zh) | 一种低轨光学卫星立体成像自主规划方法 | |
KR102072550B1 (ko) | 우주 사진관 | |
Hardhienata et al. | Technical Aspects and Attitude Control Strategy of LAPAN-TUBSAT Micro Satellite | |
CN108931259B (zh) | 一种月基对地观测图像模拟的方法 | |
JP2004070475A (ja) | 地形観察システムおよびその方法 | |
CN113610952A (zh) | 一种三维场景重建方法、装置、电子设备和存储介质 | |
Leonard et al. | Post-flight Evaluation of Lidar-based Digital Terrain Models for OSIRIS-REx Navigation at Bennu | |
US11746554B2 (en) | Computer system providing service to multiple users using satellites in earth orbit, and method and program executed by computer system | |
Tobiska | Space Weather Gets Real--on Smartphones | |
Frapard et al. | Vision navigation for European landers and the NPAL project |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20190924 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220816 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230830 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230927 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240131 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240228 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7454145 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |