JP7480941B2 - 映像合成装置 - Google Patents
映像合成装置 Download PDFInfo
- Publication number
- JP7480941B2 JP7480941B2 JP2019191032A JP2019191032A JP7480941B2 JP 7480941 B2 JP7480941 B2 JP 7480941B2 JP 2019191032 A JP2019191032 A JP 2019191032A JP 2019191032 A JP2019191032 A JP 2019191032A JP 7480941 B2 JP7480941 B2 JP 7480941B2
- Authority
- JP
- Japan
- Prior art keywords
- shooting
- intersection
- frame image
- image
- path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000203 mixture Substances 0.000 title description 2
- 230000015572 biosynthetic process Effects 0.000 claims description 20
- 238000003786 synthesis reaction Methods 0.000 claims description 20
- 238000005562 fading Methods 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 10
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 description 48
- 238000010586 diagram Methods 0.000 description 21
- 230000000007 visual effect Effects 0.000 description 20
- 238000012545 processing Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 6
- 239000002131 composite material Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
Description
特許法第３０条第２項適用 ｈｔｔｐｓ：／／ｗｗｗ．ｉｔｅ．ｏｒ．ｊｐ／ｗｉｎｔｅｒ／２０１８／ｗｉｎｔｅｒ２０１８．ｚｉｐで公開された映像メディア学会２０１８年冬季大会講演予稿集のＷＥＢプログラムにおいて、「全方位映像を用いた自由経路合成」について公開。
この発明は、市街の複数の経路映像の合成に関する。
インターネットの普及に伴い、地図情報サービスを利用して遠隔地の情報を入手することが容易になっている。例えば、「Ｓｔｒｅｅｔ Ｖｉｅｗ（登録商標）」のような地図及び地図に表された位置の写真の提供サービスを利用して、各種の店舗、施設の所在地や経路などの情報を入手することが可能となっている。この他、ある地点から目的地に向かう経路映像を配信するサービスも行われている。
上述した現在提供されている地図情報サービスの場合、解像度の低さや映像の不連続性といった機能的に改善すべき点がある。また、上述した現在提供されている経路映像配信サービスの場合、一本の動画として撮影されたもの又は複数の映像をつなぎあわせたものであるので、想定される全ての経路について一つの映像を撮影する必要がある、映像の切り替わる箇所で連続性が失われるといった改善点がある。そのため、市街映像について連続性のある映像の提供が求められている。
本発明は、ユーザの入力した経路に沿って映像の切り替わる箇所で連続性があり、高精細な映像を作成する映像合成装置を提供することを目的とする。
［１］
全天球カメラによって撮影された市街映像を取得する市街映像取得部と、
前記取得した市街映像を構成する複数のフレーム画像それぞれに所定のアルゴリズムを適用して、撮影方向に対応する撮影方向フレーム画像にジオタグを付与し、前記撮影方向フレーム画像についてのフレーム位置として推定するフレーム位置推定部と、
前記複数の撮影方向フレーム画像それぞれについて推定されたフレーム位置に基づいて、前記全天球カメラの撮影経路を作成する撮影経路作成部と、
前記フレーム位置が推定された複数の撮影方向フレーム画像からなる複数の撮影経路が互いに交差する交差点において一の撮影経路から他の撮影経路に前記市街映像が切り替わる交差点フレーム画像を、前記一の撮影経路及び前記他の撮影経路において前記フレーム位置が推定された複数の撮影方向フレーム画像から検出する交差点フレーム画像検出部と、
前記一の撮影経路及び前記他の撮影経路において検出された前記交差点フレーム画像を、前記交差点において連続するように接続するフレーム画像接続部と、
前記交差点を含む入力された経路に対応した、前記接続された交差点フレーム画像を含む合成市街映像を出力する合成市街映像出力部と、
を備える映像合成装置。
全天球カメラによって撮影された市街映像を取得する市街映像取得部と、
前記取得した市街映像を構成する複数のフレーム画像それぞれに所定のアルゴリズムを適用して、撮影方向に対応する撮影方向フレーム画像にジオタグを付与し、前記撮影方向フレーム画像についてのフレーム位置として推定するフレーム位置推定部と、
前記複数の撮影方向フレーム画像それぞれについて推定されたフレーム位置に基づいて、前記全天球カメラの撮影経路を作成する撮影経路作成部と、
前記フレーム位置が推定された複数の撮影方向フレーム画像からなる複数の撮影経路が互いに交差する交差点において一の撮影経路から他の撮影経路に前記市街映像が切り替わる交差点フレーム画像を、前記一の撮影経路及び前記他の撮影経路において前記フレーム位置が推定された複数の撮影方向フレーム画像から検出する交差点フレーム画像検出部と、
前記一の撮影経路及び前記他の撮影経路において検出された前記交差点フレーム画像を、前記交差点において連続するように接続するフレーム画像接続部と、
前記交差点を含む入力された経路に対応した、前記接続された交差点フレーム画像を含む合成市街映像を出力する合成市街映像出力部と、
を備える映像合成装置。
［２］
全天球カメラによって撮影された市街映像を取得する市街映像取得部と、
前記取得した市街映像を構成する複数のフレーム画像それぞれに所定のアルゴリズムを適用して、撮影方向に対応する撮影方向フレーム画像にジオタグを付与し、前記撮影方向フレーム画像についてのフレーム位置として推定するフレーム位置推定部と、
前記複数の撮影方向フレーム画像それぞれについて推定されたフレーム位置に基づいて、前記全天球カメラの撮影経路を作成する撮影経路作成部と、
前記フレーム位置が推定された複数の撮影方向フレーム画像からなる複数の撮影経路が互いに交差する交差点において一の撮影経路から他の撮影経路に前記市街映像が切り替わる交差点フレーム画像を、前記一の撮影経路及び前記他の撮影経路において前記フレーム位置が推定された複数の撮影方向フレーム画像から検出する交差点フレーム画像検出部と、
前記一の撮影経路及び前記他の撮影経路において検出された前記交差点フレーム画像を、前記交差点において連続するように接続するフレーム画像接続部と、
前記接続された交差点フレーム画像を含む合成市街映像を出力する合成市街映像出力部と、
前記合成市街映像の出力の起点となる位置の選択を、表示画面に表示される地図において促すとともに、前記起点から前記合成市街映像の出力経路の選択を促す経路選択指示部と、
を備える映像合成装置。
全天球カメラによって撮影された市街映像を取得する市街映像取得部と、
前記取得した市街映像を構成する複数のフレーム画像それぞれに所定のアルゴリズムを適用して、撮影方向に対応する撮影方向フレーム画像にジオタグを付与し、前記撮影方向フレーム画像についてのフレーム位置として推定するフレーム位置推定部と、
前記複数の撮影方向フレーム画像それぞれについて推定されたフレーム位置に基づいて、前記全天球カメラの撮影経路を作成する撮影経路作成部と、
前記フレーム位置が推定された複数の撮影方向フレーム画像からなる複数の撮影経路が互いに交差する交差点において一の撮影経路から他の撮影経路に前記市街映像が切り替わる交差点フレーム画像を、前記一の撮影経路及び前記他の撮影経路において前記フレーム位置が推定された複数の撮影方向フレーム画像から検出する交差点フレーム画像検出部と、
前記一の撮影経路及び前記他の撮影経路において検出された前記交差点フレーム画像を、前記交差点において連続するように接続するフレーム画像接続部と、
前記接続された交差点フレーム画像を含む合成市街映像を出力する合成市街映像出力部と、
前記合成市街映像の出力の起点となる位置の選択を、表示画面に表示される地図において促すとともに、前記起点から前記合成市街映像の出力経路の選択を促す経路選択指示部と、
を備える映像合成装置。
この発明によれば、ユーザの入力した経路に沿って映像の切り替わる箇所で連続性があり、高精細な映像を作成する映像合成装置を提供することができる。
以下、添付図面を参照して、本発明の実施形態の一例を説明する。本実施形態の映像合成装置１は、一例として、ユーザが使用するユーザ端末２に市街の案内映像を配信する装置である。
図１に示す形態では、映像合成装置１は例えばサーバ装置としての機能を備え、前記市街の案内映像を制作・提供する事業者によって、インターネット通信網、無線通信規格で定められている無線通信網、等の通信ネットワーク３上に設置される。映像合成装置１は、通信ネットワーク３を介してユーザ端末２と通信可能に接続されている。図１に示す形態の他、前記ユーザが映像合成装置１を直接操作して前記市街の案内映像を出力する機器・装置の形態とすることもできる。
ユーザ端末２は、前記市街の案内映像の提供を受ける複数のユーザが使用する端末であって、パーソナルコンピュータ、スマートフォン、タブレット端末等、通信機能やウェブ閲覧機能を備える端末である。図示していないが、ユーザ端末２は、ＣＰＵ等により構成され各種データの処理、演算を行う演算処理部と、メモリ等の各種データを記憶する記憶部と、液晶ディスプレイ等の情報出力部と、タッチパネル等の情報入力部と、各種データの送受信を行う通信部と、を備えている。
ユーザ端末２は、通信ネットワーク３を介して映像合成装置１へアクセスして前記市街の案内映像を取得する。この際、映像合成装置１による後述する処理によって撮影経路の異なる複数の市街映像が合成された合成市街映像がユーザ端末２で再生される。あるいは特定の施設に設置されている映像合成装置１を前記ユーザが操作して前記合成市街映像が再生される。
映像合成装置１は、図１に示すように、情報送受信部４、制御部５、記憶部６、市街映像取得部７、フレーム位置推定部８、撮影経路作成部９、交差点フレーム画像検出部１０、交差点フレーム画像校正部１１、カメラ姿勢補正部１２、フレーム画像接続部１３、合成市街映像出力部１４、経路選択指示部２６、行先情報送出部２７を備えている。
情報送受信部４は、ユーザ端末２との間で情報の送受信を行う。制御部５は、映像合成装置１が備える各処理部が行う情報処理をＣＰＵ、ＲＡＭ等の演算処理部で制御する。
記憶部６には、以下の情報が記憶されている。
（市街映像）
本実施形態では、図示していない全天球カメラといった撮影装置によって全方位（３６０度）に渡り撮影された市街の動画を市街映像としている。図２に示すように、全天球カメラによって所定の複数の経路に沿って撮影された市街の動画が、それぞれ公知のフォーマットに変換され市街映像データファイル１５として記憶部６に記憶される。市街映像データファイル１５は、時刻ｔｎにおける複数のフレーム画像（静止画）で構成される。市街映像は、前記事業者が使用する事業者端末（不図示）に前記撮影装置を接続し、事業者端末を介して映像合成装置１へ入力されるか、あるいは前記撮影装置を映像合成装置１に接続して直接入力される。
本実施形態では、図示していない全天球カメラといった撮影装置によって全方位（３６０度）に渡り撮影された市街の動画を市街映像としている。図２に示すように、全天球カメラによって所定の複数の経路に沿って撮影された市街の動画が、それぞれ公知のフォーマットに変換され市街映像データファイル１５として記憶部６に記憶される。市街映像データファイル１５は、時刻ｔｎにおける複数のフレーム画像（静止画）で構成される。市街映像は、前記事業者が使用する事業者端末（不図示）に前記撮影装置を接続し、事業者端末を介して映像合成装置１へ入力されるか、あるいは前記撮影装置を映像合成装置１に接続して直接入力される。
（地図情報）
地図情報は、後述する市街映像を構成する複数のフレーム画像についてのフレーム位置推定処理及び全天球カメラの撮影経路作成処理に使用される。前記地図情報は従来公知の二次元（航空写真含む）、三次元表示の地図情報を使用することができる。本実施形態では、図３（ｃ）に示すように、二次元表示の地図情報１６を使用している。
地図情報は、後述する市街映像を構成する複数のフレーム画像についてのフレーム位置推定処理及び全天球カメラの撮影経路作成処理に使用される。前記地図情報は従来公知の二次元（航空写真含む）、三次元表示の地図情報を使用することができる。本実施形態では、図３（ｃ）に示すように、二次元表示の地図情報１６を使用している。
本実施形態では、記憶部６が地図情報１６を記憶している態様としているが、この他、地図及び地図に表された位置の写真を提供する地図情報配信事業者が設置しているＷｅｂサーバ（不図示）と映像合成装置１との間で行われるＡＰＩ（Application Programming Interface）を利用して、映像合成装置１が地図情報１６を取得することができる。この場合、前記事業者端末からの地図情報取得の要求に応じて、映像合成装置１の情報送受信部４が、前記地図情報配信事業者が設置しているＷｅｂサーバから地図情報１６を取得する。
本実施形態では、以下の処理によって撮影経路の異なる複数の市街映像が合成された合成市街映像が生成される。
［市街映像の取得処理］
市街映像取得部７は、全天球カメラによって撮影された市街映像を取得する。市街映像取得部７は、上述したように、全天球カメラに接続された前記事業者端末を介して入力された前記市街映像を取得する。あるいは、市街映像取得部７は、映像合成装置１に接続された全天球カメラから前記市街映像を取得する。
市街映像取得部７は、全天球カメラによって撮影された市街映像を取得する。市街映像取得部７は、上述したように、全天球カメラに接続された前記事業者端末を介して入力された前記市街映像を取得する。あるいは、市街映像取得部７は、映像合成装置１に接続された全天球カメラから前記市街映像を取得する。
［フレーム位置推定処理］
フレーム位置推定部８は、市街映像取得部７が取得した市街映像を構成する複数のフレーム画像それぞれについての、地図上におけるフレーム位置を推定する。
フレーム位置推定部８は、市街映像取得部７が取得した市街映像を構成する複数のフレーム画像それぞれについての、地図上におけるフレーム位置を推定する。
本実施形態では、フレーム位置推定部８は、まず市街映像取得部７が取得した図３（ａ）に示すようなEquirectangular形式のフレーム画像１７を、図３（ｂ）に示すようなCubeMap形式のフレーム画像１８に変換する。ここで、Equirectangularとは、経度と緯度をそのまま直角かつ等間隔に投影した地図投影法の一種である。また、CubeMapとは、対象となるオブジェクトを上下左右前後の６つの正方形テクスチャで表現する環境マップの形式の一種である。Equirectangular形式のフレーム画像１７を一旦球面上に投影した後、その球を、内接する立方体に再度投影することで画像が変換される。
次に、フレーム位置推定部８は、CubeMap形式のフレーム画像１８から前方向のフレーム画像を抽出する。
次に、フレーム位置推定部８は、抽出した前方向のフレーム画像に対して、記憶部６に記憶されている地図情報１６に基づいて、経度緯度といったジオタグを付加する。ジオタグが付加された前方向のフレーム画像と従来公知のSLAM（Simultaneous Localization and Mapping）といった自己位置推定と環境地図の作成を同時に行うアルゴリズムを用いて、前方向のフレーム画像の地図上におけるフレーム位置が推定される。フレーム位置が推定されることから、全天球カメラの姿勢も推定される。これら推定されたフレーム位置及び全天球カメラの姿勢は後述する交差点フレーム画像の検出処理、カメラの姿勢調整処理及び市街映像の合成・出力処理で使用される。
このような処理が時刻ｔｎにおける複数のEquirectangular形式のフレーム画像１７ｔｎに対して行われる。
［撮影経路作成処理］
撮影経路作成部９は、複数のフレーム画像それぞれについて推定されたフレーム位置に基づいて、全天球カメラの撮影経路を作成する。
撮影経路作成部９は、複数のフレーム画像それぞれについて推定されたフレーム位置に基づいて、全天球カメラの撮影経路を作成する。
本実施形態では、フレーム位置推定部８が複数のフレーム画像それぞれについて推定したフレーム位置を集計し、図２に示す各市街映像データファイル１５に対応する図３（ｃ）に示す撮影経路１９を作成する。図３（ｃ）に示す撮影経路１９ａ～１９ｈはそれぞれ、図２に示す市街映像データファイル１５ａ～１５ｈに対応している。
［交差点フレーム画像の検出処理］
１．交差点フレーム画像の検出
交差点フレーム画像検出部１０は、フレーム位置が推定された複数のフレーム画像からなる複数の撮影経路が互いに交差する交差点において一の撮影経路から他の撮影経路に市街映像が切り替わる交差点フレーム画像を、前記一の撮影経路及び前記他の撮影経路において前記フレーム位置が推定された複数のフレーム画像から検出する。
１．交差点フレーム画像の検出
交差点フレーム画像検出部１０は、フレーム位置が推定された複数のフレーム画像からなる複数の撮影経路が互いに交差する交差点において一の撮影経路から他の撮影経路に市街映像が切り替わる交差点フレーム画像を、前記一の撮影経路及び前記他の撮影経路において前記フレーム位置が推定された複数のフレーム画像から検出する。
本実施形態では、交差点フレーム画像検出部１０は、以下の二分探索による手法を用いて交差点フレーム画像を検出する。
（１）図４（ａ）左側に示すように、撮影経路１９ｉ、１９ｊそれぞれの経路全体をバウンディングボックスで囲む
（２）撮影経路１９ｉ、１９ｊそれぞれのバウンディングボックスを二分割し、図４（ａ）中央に示すように、分割したバウンディングボックスについてさらにバウンディングボックスを作成する
（３）図４（ａ）右側に示すように、撮影経路１９ｉ、１９ｊを含むバウンディングボックスのみ（図中実線部分）を残す
（４）バウンディングボックス内の撮影経路１９ｉ、１９ｊを構成するフレーム位置が所定の数（例えば１６個未満）に達するまで上記（２）、（３）を繰り返す
（５）全数探索により最近傍となるフレーム位置を抽出する
（６）抽出されたフレーム位置に該当するフレーム画像を検出する
（２）撮影経路１９ｉ、１９ｊそれぞれのバウンディングボックスを二分割し、図４（ａ）中央に示すように、分割したバウンディングボックスについてさらにバウンディングボックスを作成する
（３）図４（ａ）右側に示すように、撮影経路１９ｉ、１９ｊを含むバウンディングボックスのみ（図中実線部分）を残す
（４）バウンディングボックス内の撮影経路１９ｉ、１９ｊを構成するフレーム位置が所定の数（例えば１６個未満）に達するまで上記（２）、（３）を繰り返す
（５）全数探索により最近傍となるフレーム位置を抽出する
（６）抽出されたフレーム位置に該当するフレーム画像を検出する
図４（ｂ）は、上記二分探索による手法を用いた処理結果の一例である。図４（ｂ）には以下の交差点フレーム画像２０が検出されている。
・撮影経路１９ｋと撮影経路１９ｍが互いに交差する交差点２１ａにおいて、撮影経路１９ｋから撮影経路１９ｍ又は撮影経路１９ｍから撮影経路１９ｋに市街映像が切り替わる交差点フレーム画像２０ａ１、２０ｃ１
・撮影経路１９ｌと撮影経路１９ｍが互いに交差する交差点２１ｂにおいて、撮影経路１９ｌから撮影経路１９ｍ又は撮影経路１９ｍから撮影経路１９ｌに市街映像が切り替わる交差点フレーム画像２０ｂ２、２０ｃ２
・撮影経路１９ｋと撮影経路１９ｎが互いに交差する交差点２１ｃにおいて、撮影経路１９ｋから撮影経路１９ｎ又は撮影経路１９ｎから撮影経路１９ｋに市街映像が切り替わる交差点フレーム画像２０ａ２、２０ｄ２
・撮影経路１９ｌと撮影経路１９ｎが互いに交差する交差点２１ｄにおいて、撮影経路１９ｌから撮影経路１９ｎ又は撮影経路１９ｎから撮影経路１９ｌに市街映像が切り替わる交差点フレーム画像２０ｂ１、２０ｄ１
・撮影経路１９ｌと撮影経路１９ｍが互いに交差する交差点２１ｂにおいて、撮影経路１９ｌから撮影経路１９ｍ又は撮影経路１９ｍから撮影経路１９ｌに市街映像が切り替わる交差点フレーム画像２０ｂ２、２０ｃ２
・撮影経路１９ｋと撮影経路１９ｎが互いに交差する交差点２１ｃにおいて、撮影経路１９ｋから撮影経路１９ｎ又は撮影経路１９ｎから撮影経路１９ｋに市街映像が切り替わる交差点フレーム画像２０ａ２、２０ｄ２
・撮影経路１９ｌと撮影経路１９ｎが互いに交差する交差点２１ｄにおいて、撮影経路１９ｌから撮影経路１９ｎ又は撮影経路１９ｎから撮影経路１９ｌに市街映像が切り替わる交差点フレーム画像２０ｂ１、２０ｄ１
２．校正
交差点フレーム画像校正部１１は、検出された各撮影経路の交差点フレーム画像の前後のフレーム画像のうち、最も視覚的に類似するフレーム画像の組み合わせを交差点フレーム画像とするように前記各撮影経路の交差点フレーム画像を校正する。視覚的に類似する画像は、画像の視覚的な特徴点の比較により求めてもよいし、入力画像について深層学習を行い、その学習モデルに基づく画像の深層特徴量を利用してもよい。本実施形態では、視覚的な特徴点の比較による類似画像の算出について説明する。
交差点フレーム画像校正部１１は、検出された各撮影経路の交差点フレーム画像の前後のフレーム画像のうち、最も視覚的に類似するフレーム画像の組み合わせを交差点フレーム画像とするように前記各撮影経路の交差点フレーム画像を校正する。視覚的に類似する画像は、画像の視覚的な特徴点の比較により求めてもよいし、入力画像について深層学習を行い、その学習モデルに基づく画像の深層特徴量を利用してもよい。本実施形態では、視覚的な特徴点の比較による類似画像の算出について説明する。
以下、本実施形態において、視覚的特徴点とは、複数の異なる画像において互いに対応する箇所を特徴づける点をいう。視覚的特徴点は、例えば、フレーム画像に表される建物の輪郭等を例示することができる。また、本実施形態において、特徴点のマッチングとは、一の画像の視覚的特徴点に対応する点を他の画像において抽出する処理をいう。
図５に示すように、撮影経路１９ｏ、１９ｐそれぞれにおいて検出された交差点フレーム画像２０ｅ１、２０ｆ１が、撮影経路１９ｏと撮影経路１９ｐが互いに交差する交差点２１において、市街映像の連続的な接続、すなわち、撮影経路１９ｏから撮影経路１９ｐへの滑らかな映像の切り替えに適さない場合がある。
本実施形態では、交差点フレーム画像校正部１１は、以下の手法を用いて交差点フレーム画像を校正し、精度の高い交差点フレーム画像を検出する。
（１）図６（ａ）に示すように、二分探索により検出された撮影経路１９ｑ、１９ｒそれぞれの交差点フレーム画像２０ｇ１、２０ｈ１周辺の複数のフレーム画像１８ａｎ、１８ｂｎを選択する
なお、フレーム画像１８ａｎ、１８ｂｎは上述したように、地図上におけるフレーム位置及び全天球カメラの姿勢が推定されている。
なお、フレーム画像１８ａｎ、１８ｂｎは上述したように、地図上におけるフレーム位置及び全天球カメラの姿勢が推定されている。
（２）球面線形補間（SLERP）を表す下記の数式１を用いて、選択されたフレーム画像１８ａｎ、１８ｂｎについて全天球カメラの姿勢を演算する
ここで、ｑ１、ｑ２はQuaternion、θは２つのQuaternionの成す角、ｔは０≦ｔ≦１を満たす実数である。
（３）上記（２）で演算した全天球カメラの姿勢に基づいて、フレーム画像１８ａｎ、１８ｂｎを回転させる
（４）図６（ｂ）に示すように、２つのフレーム画像１８ａ、１８ｂの特徴点の抽出とそのマッチングを行う
図６に示す例では、フレーム画像１８ａの座標（ｘｉ、ｙｉ）が視覚的特徴点２２ａとして抽出され、当該視覚的特徴点２２ａに対応するフレーム画像１８ｂの視覚的特徴点２２ｂの座標（Ｘｉ、Ｙｉ）がマッチングされている。
図６に示す例では、フレーム画像１８ａの座標（ｘｉ、ｙｉ）が視覚的特徴点２２ａとして抽出され、当該視覚的特徴点２２ａに対応するフレーム画像１８ｂの視覚的特徴点２２ｂの座標（Ｘｉ、Ｙｉ）がマッチングされている。
（５）下記の数式２を用いて、図６（ｂ）に示す２つのフレーム画像１８ａ、１８ｂの視覚的特徴点２２ａ、２２ｂの平均移動距離Ｄｐｉｘｅｌを演算する。Ｄｐｉｘｅｌが最小となるフレーム画像の組み合わせを計算し、当該フレーム画像の組み合わせを校正後の交差点フレーム画像とする
図７は、上記手法を用いた処理結果の一例である。図７の右側には、交差点フレーム画像校正部１１による交差点フレーム画像の校正が行われる前の交差点フレーム画像２０ｅ１、２０ｆ１（図５参照）が示されている。交差点フレーム画像校正部１１による処理の結果、図７の左側に示すように、Ｄｐｉｘｅｌが最小となるフレーム画像の組み合わせが、撮影経路１９ｏから撮影経路１９ｐへの滑らかな映像の切り替えに適した交差点フレーム画像２０ｅ２、２０ｆ１とされている。
［経路の入力処理］
前記事業者は、前記事業者端末を使用して、図８に示すような地図情報１６においてフレーム画像を接続するための経路を入力する。図８に示す例では、撮影経路１９ｂ’、１９ｃ’、１９ｈ’、１９ｄ’、１９ｅ’、１９ａ’の順番からなる入力経路２３となっている。
前記事業者は、前記事業者端末を使用して、図８に示すような地図情報１６においてフレーム画像を接続するための経路を入力する。図８に示す例では、撮影経路１９ｂ’、１９ｃ’、１９ｈ’、１９ｄ’、１９ｅ’、１９ａ’の順番からなる入力経路２３となっている。
［カメラの姿勢調整処理］
カメラ姿勢補正部１２は、交差点における複数の交差点フレーム画像それぞれについて特徴点マッチングを行い、各交差点フレーム画像に付与されている全天球カメラの姿勢の誤差を補正する。
カメラ姿勢補正部１２は、交差点における複数の交差点フレーム画像それぞれについて特徴点マッチングを行い、各交差点フレーム画像に付与されている全天球カメラの姿勢の誤差を補正する。
例えば、図９に示すように、交差点２１ｃ（図４（ｂ）参照）において交差点フレーム画像校正部１１によって校正された交差点フレーム画像２０ｉ、２０ｊが表す視覚的特徴点２２ｃ、２２ｄが一致せず、そのため交差点フレーム画像２０ｉ、２０ｊにおける全天球カメラの姿勢（向き）に誤差が生じる場合がある。
本実施形態では、カメラ姿勢補正部１２は、以下の手法を用いて交差点フレーム画像２０の特徴点マッチングを行い、交差点２１における全天球カメラの姿勢の補正を行う。
（１）図１０に示すように、上述したフレーム位置推定処理によって推定されたフレーム位置におけるEquirectangular形式の交差点フレーム画像２０ｊを回転させる
（２）図１０に示すように、交差点フレーム画像２０ｉと回転後の交差点フレーム画像２０ｊ’について特徴点マッチングを行う
（３）対応する視覚的特徴点を球面上に射影し、２点間の回転を求める
この処理において、Equirectangular形式の画像上の点（ｕ、ｖ）を単位球面上に射影したとき、対応する単位球面上の点（ｘ、ｙ、ｚ）は下記の数式３で与えられる。
この処理において、Equirectangular形式の画像上の点（ｕ、ｖ）を単位球面上に射影したとき、対応する単位球面上の点（ｘ、ｙ、ｚ）は下記の数式３で与えられる。
ここで、ｕ、ｖはそれぞれEquirectangular形式の画像の横と縦の画素数である。
また、Equirectangular形式の画像上において、特徴点マッチングによって得られた視覚的特徴点の座標をそれぞれ単位球面上の射影したときの位置ベクトルをｒ１、ｒ２とすると、ｒ１からｒ２への回転を表すQuaternion ｑは下記の数式４で表される。
ここで、Ｖは回転の軸となるベクトル、θは回転の角度を表す。
（４）不要な交差点フレーム画像の特徴点マッチングによる座標の組を除去
この処理において、交差点フレーム画像２０は互いにほぼ一致していることを前提とし、カメラ姿勢の補正では大きくカメラ姿勢を回転させる必要がないことを仮定している。そこで、上記数式４において、回転の大きさを表す第１成分の値が小さい、すなわち回転量の大きな座標の組は誤ったマッチング結果としてこれを除去する。本実施形態では、Quaternionの第１成分の値が下位４０％未満の座標の組を除去している。
この処理において、交差点フレーム画像２０は互いにほぼ一致していることを前提とし、カメラ姿勢の補正では大きくカメラ姿勢を回転させる必要がないことを仮定している。そこで、上記数式４において、回転の大きさを表す第１成分の値が小さい、すなわち回転量の大きな座標の組は誤ったマッチング結果としてこれを除去する。本実施形態では、Quaternionの第１成分の値が下位４０％未満の座標の組を除去している。
（５）対応する視覚的特徴点の座標からカメラ姿勢の回転を求める
上記数式４による演算をすべての視覚的特徴点の組に対して行う。得られた視覚的特徴点の組から、演算したQuaternionの球面線形補間（SLERP）による平均をとり、交差点フレーム画像２０が表す全天球カメラの姿勢の補正を行う
上記数式４による演算をすべての視覚的特徴点の組に対して行う。得られた視覚的特徴点の組から、演算したQuaternionの球面線形補間（SLERP）による平均をとり、交差点フレーム画像２０が表す全天球カメラの姿勢の補正を行う
図１１は、上記手法を用いた処理結果の一例である。図１１（ａ）では全天球カメラの姿勢の補正が行われる前の交差点フレーム画像２２ｉ、２２ｊの視覚的特徴点２２ｃ、２２ｄである特定の建物の輪郭の誤差が示されている。図１１（ｂ）では、上記手法により、補正前に比べ、交差点フレーム画像２０ｊ’の視覚的特徴点２２ｄ’である特定の建物の輪郭と、これに対応する交差点フレーム画像２０ｉの視覚的特徴点２２ｃである特定の建物の輪郭との誤差が小さくなっていることが示されている。
また、交差点フレーム画像２０ｉ、２２ｊ’について画像間の平均二乗距離（MSE）による評価を表１に示す。MSEは画像のピクセルごとの画素値の二乗平均であり、下記の数式５で表される。MSEが小さいほど二つの画像間の視覚的特徴点の誤差が小さいことを示す。
ここで、Ｈ、Ｗは画像の縦と横の大きさを表し、ｐ（ｉ、ｊ）は座標（ｉ、ｊ）の画素値を表す。
［市街映像の合成・出力処理］
フレーム画像接続部１３は、上述した経路の入力処理によって作成された入力経路に含まれる一の撮影経路及び他の撮影経路において検出された交差点フレーム画像を、交差点において連続するように接続する。本実施形態では、フレーム画像接続部１３は、以下の接続方法を用いて交差点フレーム画像の接続を行う。
フレーム画像接続部１３は、上述した経路の入力処理によって作成された入力経路に含まれる一の撮影経路及び他の撮影経路において検出された交差点フレーム画像を、交差点において連続するように接続する。本実施形態では、フレーム画像接続部１３は、以下の接続方法を用いて交差点フレーム画像の接続を行う。
（接続方法１）
図１２（ａ）に示すように、フレーム画像接続部１３は、撮影経路１９ｓにおける交差点フレーム画像２０ｋ及び当該交差点フレーム画像２０ｋより手前となる複数のフレーム画像１７ａ２、１７ａ３を撮影経路１９ｔの方向へ回転させ、撮影経路１９ｓにおける交差点フレーム画像２０ｋを撮影経路１９ｔにおける交差点フレーム画像２０ｌと一致させ、撮影経路１９ｓ及び撮影経路１９ｔにおいて検出された交差点フレーム画像２０ｋ、２０ｌを、交差点２１において連続するように接続する。
図１２（ａ）に示すように、フレーム画像接続部１３は、撮影経路１９ｓにおける交差点フレーム画像２０ｋ及び当該交差点フレーム画像２０ｋより手前となる複数のフレーム画像１７ａ２、１７ａ３を撮影経路１９ｔの方向へ回転させ、撮影経路１９ｓにおける交差点フレーム画像２０ｋを撮影経路１９ｔにおける交差点フレーム画像２０ｌと一致させ、撮影経路１９ｓ及び撮影経路１９ｔにおいて検出された交差点フレーム画像２０ｋ、２０ｌを、交差点２１において連続するように接続する。
以下、接続方法１～接続方法４において、回転させるフレーム画像１７及び交差点フレーム画像２０は、上述した球面線形補間の数式１で算出される。また、２つのQuaternion ｑ１、ｑ２間の回転を表すQuaternion ｑは、上述したカメラの姿勢調整処理によって計算されたカメラ姿勢を補正するためのQuaternionをｑｐとして考慮すると、下記の数式６で表される。
ここで、ｑ１
－１はｑ１の逆元である。
これらの式からフレーム画像１７及び交差点フレーム画像２０の回転の向きと大きさを計算し、フレーム画像１７及び交差点フレーム画像２０の回転を行う。さらに、２つのQuaternion ｑ１、ｑ２間の回転の大きさθは、内積を用いてθ＝cos－１（ｑ１・ｑ２）で表される。これにより計算された回転の大きさに応じて、回転処理を行うフレーム画像数の調整を行う。
図１２（ｂ）～（ｅ）は、上述の処理によって撮影経路１９ｓにおけるフレーム画像１７ａ２、１７ａ３及び交差点フレーム画像２０ｋが交差点２１で撮影経路１９ｔの方向に回転し、交差点フレーム画像２０ｋが撮影経路１９ｔにおける交差点フレーム画像２０ｌと一致して、交差点フレーム画像２０ｋから交差点フレーム画像２０ｌへ滑らかに切り替わった状態を表す。
（接続方法２）
図１３（ａ）に示すように、フレーム画像接続部１３は、撮影経路１９ｓにおける交差点フレーム画像２０ｋを撮影経路１９ｔの方向へ回転させ、撮影経路１９ｓにおける交差点フレーム画像２０ｋを撮影経路１９ｔにおける交差点フレーム画像２０ｌと一致させ、撮影経路１９ｓ及び撮影経路１９ｔにおいて検出された交差点フレーム画像２０ｋ、２０ｌを、交差点２１において連続するように接続する。
図１３（ａ）に示すように、フレーム画像接続部１３は、撮影経路１９ｓにおける交差点フレーム画像２０ｋを撮影経路１９ｔの方向へ回転させ、撮影経路１９ｓにおける交差点フレーム画像２０ｋを撮影経路１９ｔにおける交差点フレーム画像２０ｌと一致させ、撮影経路１９ｓ及び撮影経路１９ｔにおいて検出された交差点フレーム画像２０ｋ、２０ｌを、交差点２１において連続するように接続する。
図１３（ｂ）～（ｅ）は、上述の処理によって撮影経路１９ｓにおける交差点フレーム画像２０ｋが交差点２１で撮影経路１９ｔの方向に回転し、交差点フレーム画像２０ｋが撮影経路１９ｔにおける交差点フレーム画像２０ｌと一致して、交差点フレーム画像２０ｋから交差点フレーム画像２０ｌへ滑らかに切り替わった状態を表す。
（接続方法３）
図１４（ａ）に示すように、フレーム画像接続部１３は、撮影経路１９ｓにおける交差点フレーム画像２０ｋ及び当該交差点フレーム画像２０ｋより手前となる複数のフレーム画像１７ａ２、１７ａ３を撮影経路１９ｔの方向へ回転させ、撮影経路１９ｔにおける交差点フレーム画像２０ｌ及び当該交差点フレーム画像２０ｌより先となる複数のフレーム画像１７ｂ１、１７ｂ２を撮影経路１９ｓの方向へ回転させ、交差点フレーム画像２０ｋ、２０ｌの回転途中で、撮影経路１９ｓにおける交差点フレーム画像２０ｋを撮影経路１９ｔにおける交差点フレーム画像２０ｌと一致させ、撮影経路１９ｓ及び撮影経路１９ｔにおいて検出された交差点フレーム画像２０ｋ、２０ｌを、交差点２１において連続するように接続する。
図１４（ａ）に示すように、フレーム画像接続部１３は、撮影経路１９ｓにおける交差点フレーム画像２０ｋ及び当該交差点フレーム画像２０ｋより手前となる複数のフレーム画像１７ａ２、１７ａ３を撮影経路１９ｔの方向へ回転させ、撮影経路１９ｔにおける交差点フレーム画像２０ｌ及び当該交差点フレーム画像２０ｌより先となる複数のフレーム画像１７ｂ１、１７ｂ２を撮影経路１９ｓの方向へ回転させ、交差点フレーム画像２０ｋ、２０ｌの回転途中で、撮影経路１９ｓにおける交差点フレーム画像２０ｋを撮影経路１９ｔにおける交差点フレーム画像２０ｌと一致させ、撮影経路１９ｓ及び撮影経路１９ｔにおいて検出された交差点フレーム画像２０ｋ、２０ｌを、交差点２１において連続するように接続する。
図１４（ｂ）～（ｅ）は、上述の処理によって撮影経路１９ｓにおけるフレーム画像１７ａ２、１７ａ３及び交差点フレーム画像２０ｋが交差点２１で撮影経路１９ｔの方向に回転し、交差点フレーム画像２０ｋが回転している途中で撮影経路１９ｔにおける交差点フレーム画像２０ｌ及びフレーム画像１７ｂ１、１７ｂ２へ滑らかに切り替わった状態を表す。
（接続方法４）
図１５（ａ）に示すように、フレーム画像接続部１３は、撮影経路１９ｓにおける交差点フレーム画像２０ｋを撮影経路１９ｔの方向へ回転させ、撮影経路１９ｔにおける交差点フレーム画像２０ｌを撮影経路１９ｓの方向へ回転させ、交差点フレーム画像２０ｋ、２０ｌの回転途中で、撮影経路１９ｓにおける交差点フレーム画像２０ｋを撮影経路１９ｔにおける交差点フレーム画像２０ｌと一致させ、撮影経路１９ｓ及び撮影経路１９ｔにおいて検出された交差点フレーム画像２０ｋ、２０ｌを、交差点２１において連続するように接続する。
図１５（ａ）に示すように、フレーム画像接続部１３は、撮影経路１９ｓにおける交差点フレーム画像２０ｋを撮影経路１９ｔの方向へ回転させ、撮影経路１９ｔにおける交差点フレーム画像２０ｌを撮影経路１９ｓの方向へ回転させ、交差点フレーム画像２０ｋ、２０ｌの回転途中で、撮影経路１９ｓにおける交差点フレーム画像２０ｋを撮影経路１９ｔにおける交差点フレーム画像２０ｌと一致させ、撮影経路１９ｓ及び撮影経路１９ｔにおいて検出された交差点フレーム画像２０ｋ、２０ｌを、交差点２１において連続するように接続する。
図１５（ｂ）～（ｅ）は、上述の処理によって撮影経路１９ｓにおける交差点フレーム画像２０ｋが交差点２１で撮影経路１９ｔの方向に回転し、交差点フレーム画像２０ｋが回転している途中で、撮影経路１９ｓの方向に回転した、撮影経路１９ｔにおける交差点フレーム画像２０ｌへ滑らかに切り替わった状態を表す。
（接続方法５）
フレーム画像接続部１３は、交差点における一の撮影経路のフレーム画像をフェードアウトさせながら他の撮影経路の方向に向けて回転させ、前記交差点における他の撮影経路のフレーム画像をフェードインさせ、フェードインしているフレーム画像をフェードアウトしているフレーム画像に重ね合わせながら前記一の撮影経路における交差点フレーム画像を前記他の撮影経路における交差点フレーム画像と一致させ、前記一の撮影経路及び前記他の撮影経路において検出された前記交差点フレーム画像を、前記交差点において連続するように接続する。この接続方法によれば、異なる複数の撮影経路の映像を交差点においてより滑らかに接続することができる。
フレーム画像接続部１３は、交差点における一の撮影経路のフレーム画像をフェードアウトさせながら他の撮影経路の方向に向けて回転させ、前記交差点における他の撮影経路のフレーム画像をフェードインさせ、フェードインしているフレーム画像をフェードアウトしているフレーム画像に重ね合わせながら前記一の撮影経路における交差点フレーム画像を前記他の撮影経路における交差点フレーム画像と一致させ、前記一の撮影経路及び前記他の撮影経路において検出された前記交差点フレーム画像を、前記交差点において連続するように接続する。この接続方法によれば、異なる複数の撮影経路の映像を交差点においてより滑らかに接続することができる。
図１６に示す形態では、この接続方法によって以下のように、交差点において一の撮影経路の交差点フレーム画像から他の撮影経路の交差点フレーム画像へ滑らかに切り替わった状態を表す。
（１）フレーム画像接続部１３は、撮影経路１９ｕの交差点フレーム画像２０ｍを撮影経路１９ｖの方向へ回転させる（図１６（ａ））
（２）フレーム画像接続部１３は、撮影経路１９ｕの交差点フレーム画像２０ｍを撮影経路１９ｖの方向へ回転させつつ、交差点フレーム画像２０ｍをフェードアウトさせる（図１６（ｂ）、（ｃ））
（３）フレーム画像接続部１３は、撮影経路１９ｖの交差点フレーム画像２０ｎをフェードインさせ、フェードアウトしている交差点フレーム画像２０ｍに重ね合わせて表示する（図１６（ｂ）、（ｃ））
なお、撮影経路１９ｖの交差点フレーム画像２０ｎは予め撮影経路１９ｕの方向に回転処理されており、交差点フレーム画像２０ｍ、２０ｎの回転途中で、撮影経路１９ｕにおける交差点フレーム画像２０ｍを撮影経路１９ｖにおける交差点フレーム画像２０ｎと一致させている。
（４）フレーム画像接続部１３は、フェードアウトしている撮影経路１９ｕの交差点フレーム画像２０ｍから、フェードインしている撮影経路１９ｖの交差点フレーム画像２０ｎへ切り替える（図１６（ｄ））
また、この接続方法を上述した接続方法１～４それぞれに適用することができる。
（２）フレーム画像接続部１３は、撮影経路１９ｕの交差点フレーム画像２０ｍを撮影経路１９ｖの方向へ回転させつつ、交差点フレーム画像２０ｍをフェードアウトさせる（図１６（ｂ）、（ｃ））
（３）フレーム画像接続部１３は、撮影経路１９ｖの交差点フレーム画像２０ｎをフェードインさせ、フェードアウトしている交差点フレーム画像２０ｍに重ね合わせて表示する（図１６（ｂ）、（ｃ））
なお、撮影経路１９ｖの交差点フレーム画像２０ｎは予め撮影経路１９ｕの方向に回転処理されており、交差点フレーム画像２０ｍ、２０ｎの回転途中で、撮影経路１９ｕにおける交差点フレーム画像２０ｍを撮影経路１９ｖにおける交差点フレーム画像２０ｎと一致させている。
（４）フレーム画像接続部１３は、フェードアウトしている撮影経路１９ｕの交差点フレーム画像２０ｍから、フェードインしている撮影経路１９ｖの交差点フレーム画像２０ｎへ切り替える（図１６（ｄ））
また、この接続方法を上述した接続方法１～４それぞれに適用することができる。
この接続方法を上述した接続方法１に適用する場合、図１２（ａ）において、フレーム画像接続部１３は、撮影経路１９ｓにおける交差点フレーム画像２０ｋ及び当該交差点フレーム画像２０ｋより手前となる複数のフレーム画像１７ａ２、１７ａ３をフェードアウトさせながら撮影経路１９ｔの方向へ回転させる。
フレーム画像接続部１３は、撮影経路１９ｔにおける交差点フレーム画像２０ｌをフェードインさせ、フェードアウトしている交差点フレーム画像２０ｋ及び当該交差点フレーム画像２０ｋより手前となる複数のフレーム画像１７ａ２、１７ａ３に重ね合わせながら交差点フレーム画像２０ｋと交差点フレーム画像２０ｌとを一致させ、撮影経路１９ｓ及び撮影経路１９ｔにおいて検出された交差点フレーム画像２０ｋ、２０ｌを、交差点２１において連続するように接続する。
フレーム画像接続部１３は、撮影経路１９ｔにおける交差点フレーム画像２０ｌをフェードインさせ、フェードアウトしている交差点フレーム画像２０ｋ及び当該交差点フレーム画像２０ｋより手前となる複数のフレーム画像１７ａ２、１７ａ３に重ね合わせながら交差点フレーム画像２０ｋと交差点フレーム画像２０ｌとを一致させ、撮影経路１９ｓ及び撮影経路１９ｔにおいて検出された交差点フレーム画像２０ｋ、２０ｌを、交差点２１において連続するように接続する。
この接続方法を上述した接続方法２に適用する場合、図１３（ａ）において、フレーム画像接続部１３は、撮影経路１９ｓにおける交差点フレーム画像２０ｋをフェードアウトさせながら撮影経路１９ｔの方向へ回転させる。
フレーム画像接続部１３は、撮影経路１９ｔにおける交差点フレーム画像２０ｌをフェードインさせ、フェードアウトしている交差点フレーム画像２０ｋに重ね合わせながら交差点フレーム画像２０ｋと交差点フレーム画像２０ｌとを一致させ、撮影経路１９ｓ及び撮影経路１９ｔにおいて検出された交差点フレーム画像２０ｋ、２０ｌを、交差点２１において連続するように接続する。
フレーム画像接続部１３は、撮影経路１９ｔにおける交差点フレーム画像２０ｌをフェードインさせ、フェードアウトしている交差点フレーム画像２０ｋに重ね合わせながら交差点フレーム画像２０ｋと交差点フレーム画像２０ｌとを一致させ、撮影経路１９ｓ及び撮影経路１９ｔにおいて検出された交差点フレーム画像２０ｋ、２０ｌを、交差点２１において連続するように接続する。
この接続方法を上述した接続方法３に適用する場合、図１４（ａ）において、フレーム画像接続部１３は、撮影経路１９ｓにおける交差点フレーム画像２０ｋ及び当該交差点フレーム画像２０ｋより手前となる複数のフレーム画像１７ａ２、１７ａ３をフェードアウトさせながら撮影経路１９ｔの方向へ回転させる。
フレーム画像接続部１３は、撮影経路１９ｔにおける交差点フレーム画像２０ｌ及び当該交差点フレーム画像２０ｌより先となる複数のフレーム画像１７ｂ１、１７ｂ２をフェードインさせながら撮影経路１９ｓの方向へ回転させ、交差点フレーム画像２０ｋ、２０ｌの回転途中で交差点フレーム画像２０ｋと交差点フレーム画像２０ｌとを一致させ、撮影経路１９ｓ及び撮影経路１９ｔにおいて検出された交差点フレーム画像２０ｋ、２０ｌを、交差点２１において連続するように接続する。
フレーム画像接続部１３は、撮影経路１９ｔにおける交差点フレーム画像２０ｌ及び当該交差点フレーム画像２０ｌより先となる複数のフレーム画像１７ｂ１、１７ｂ２をフェードインさせながら撮影経路１９ｓの方向へ回転させ、交差点フレーム画像２０ｋ、２０ｌの回転途中で交差点フレーム画像２０ｋと交差点フレーム画像２０ｌとを一致させ、撮影経路１９ｓ及び撮影経路１９ｔにおいて検出された交差点フレーム画像２０ｋ、２０ｌを、交差点２１において連続するように接続する。
この接続方法を上述した接続方法４に適用する場合、図１５（ａ）において、フレーム画像接続部１３は、撮影経路１９ｓにおける交差点フレーム画像２０ｋをフェードアウトさせながら撮影経路１９ｔの方向へ回転させる。
フレーム画像接続部１３は、撮影経路１９ｔにおける交差点フレーム画像２０ｌをフェードインさせながら撮影経路１９ｓの方向へ回転させ、交差点フレーム画像２０ｋ、２０ｌの回転途中で交差点フレーム画像２０ｋと交差点フレーム画像２０ｌとを一致させ、撮影経路１９ｓ及び撮影経路１９ｔにおいて検出された交差点フレーム画像２０ｋ、２０ｌを、交差点２１において連続するように接続する。
フレーム画像接続部１３は、撮影経路１９ｔにおける交差点フレーム画像２０ｌをフェードインさせながら撮影経路１９ｓの方向へ回転させ、交差点フレーム画像２０ｋ、２０ｌの回転途中で交差点フレーム画像２０ｋと交差点フレーム画像２０ｌとを一致させ、撮影経路１９ｓ及び撮影経路１９ｔにおいて検出された交差点フレーム画像２０ｋ、２０ｌを、交差点２１において連続するように接続する。
合成市街映像出力部１４は、交差点を含む入力経路に対応した、前記接続された交差点フレーム画像を含む合成市街映像を出力する。本実施形態では、合成市街映像出力部１４は、以下のように合成市街映像を出力する。
（合成市街映像の出力例１）
前記ユーザがユーザ端末２を使用して、図８に示すような地図情報１６における現在地２４から目的地２５までの経路を選択した場合、合成市街映像出力部１４は、前記ユーザの現在地２４から目的地２５までの撮影経路１９ｂ’、１９ｃ’、１９ｈ’、１９ｄ’、１９ｅ’、１９ａ’の市街映像が合成された合成市街映像をユーザ端末２に出力する。ユーザ端末２では当該合成市街映像が再生される。
前記ユーザがユーザ端末２を使用して、図８に示すような地図情報１６における現在地２４から目的地２５までの経路を選択した場合、合成市街映像出力部１４は、前記ユーザの現在地２４から目的地２５までの撮影経路１９ｂ’、１９ｃ’、１９ｈ’、１９ｄ’、１９ｅ’、１９ａ’の市街映像が合成された合成市街映像をユーザ端末２に出力する。ユーザ端末２では当該合成市街映像が再生される。
あるいは、前記ユーザが現在地２４において、映像合成装置１を操作して地図上又はユーザインターフェイス上で目的地２５を選択した場合でも、合成市街映像出力部１４は、前記ユーザの現在地２４から目的地２５までの複数の撮影経路１９の市街映像が合成された合成市街映像を再生する。
各撮影経路１９が交差する場所では、上述した各処理によって、交差点２１において一の撮影経路及び他の撮影経路において検出された交差点フレーム画像２０が、各交差点において滑らかに連続して再生される。
（合成市街映像の出力例２）
経路選択指示部２６は、ユーザ端末２に対して合成市街映像の出力の起点となる位置の選択を地図において促すとともに、前記起点から前記合成市街映像の出力経路の選択を促す。
経路選択指示部２６は、ユーザ端末２に対して合成市街映像の出力の起点となる位置の選択を地図において促すとともに、前記起点から前記合成市街映像の出力経路の選択を促す。
ユーザは、ユーザ端末２に表示される地図情報１６において、前記合成市街映像の再生の起点２８を選択する。起点２８は、例えば図１７（ａ）の符号２８ａ～２８ｄに示すように、前記ユーザが任意に選択できるようになっている。また、例えば、図１７（ｂ）に示すような地図上の特徴物であるランドマーク２９ａ～２９ｄの位置を地図情報１６において選択して起点２８とすることもできる。
起点２８が選択された後、ユーザ端末２には起点２８に対応するフレーム画像が表示されるとともに、図１７（ｃ）に示すように前記合成市街映像を再生する複数の経路３０ａ、３０ｂが表示される。この経路３０ａ、３０ｂは、起点２８から複数存在する撮影経路１９のうち、どの撮影経路の市街映像を再生するかを選択するためのものである。前記ユーザが何れかの経路３０を選択すると合成市街映像出力部１４は、選択された経路３０に対応する撮影経路１９の市街映像を再生する。
行先情報送出部２７は、合成市街映像の出力中に、一部の又はすべての交差点において行先の選択を促す行先情報を交差点フレーム画像及び／又は当該交差点フレーム画像より手前となる複数のフレーム画像に表示する。
例えば、図１８（ａ）に示す撮影経路１９ｗの市街映像の再生中に、図１８（ｂ）に示すフレーム画像１７と、図１８（ｃ）に示す交差点フレーム画像２０に図１８（ｅ）に示すような市街映像の切り替えを選択させる矢印や、各種施設名といった行先情報３１ａ～３１ｄが表示される。
前記ユーザが例えば行先情報３１ｂ又は３１ｄを選択すると、フレーム画像接続部１３は交差点２１において選択された行先にしたがって、上述した各処理によって図１８（ｃ）、（ｄ）に示すように撮影経路１９ｗ及び撮影経路１９ｘにおいて検出された交差点フレーム画像２０を、交差点２１において連続するように接続する。
この出力例では、前記ユーザがインタラクティブに経路選択しながら市街映像を再生するインターフェースとなっている。
このように、本実施形態によれば、異なる複数の撮影経路の映像が交差点において滑らかに接続される合成市街映像を作成することができる。したがって、観光案内、地域、特定スポットの紹介、不動産の案内といったナビゲーションとして新たな案内映像をユーザに提供することができる。
１ 映像合成装置
２ ユーザ端末
３ 通信ネットワーク
４ 情報送受信部
５ 制御部
６ 記憶部
７ 市街映像取得部
８ フレーム位置推定部
９ 撮影経路作成部
１０ 交差点フレーム画像検出部
１１ 交差点フレーム画像校正部
１２ カメラ姿勢補正部
１３ フレーム画像接続部
１４ 合成市街映像出力部
１５ 市街映像データファイル
１６ 地図情報
１７ Equirectangular形式のフレーム画像
１８ CubeMap形式のフレーム画像
１９ 撮影経路
２０ 交差点フレーム画像
２１ 交差点
２２ 視覚的特徴点
２３ 入力経路
２６ 経路選択指示部
２７ 行先情報送出部
２８ 出発点
２９ ランドマーク
３０ 出力経路
３１ 行先情報
２ ユーザ端末
３ 通信ネットワーク
４ 情報送受信部
５ 制御部
６ 記憶部
７ 市街映像取得部
８ フレーム位置推定部
９ 撮影経路作成部
１０ 交差点フレーム画像検出部
１１ 交差点フレーム画像校正部
１２ カメラ姿勢補正部
１３ フレーム画像接続部
１４ 合成市街映像出力部
１５ 市街映像データファイル
１６ 地図情報
１７ Equirectangular形式のフレーム画像
１８ CubeMap形式のフレーム画像
１９ 撮影経路
２０ 交差点フレーム画像
２１ 交差点
２２ 視覚的特徴点
２３ 入力経路
２６ 経路選択指示部
２７ 行先情報送出部
２８ 出発点
２９ ランドマーク
３０ 出力経路
３１ 行先情報
Claims (13)
- 全天球カメラによって撮影された市街映像を取得する市街映像取得部と、
前記取得した市街映像を構成する複数のフレーム画像それぞれに所定のアルゴリズムを適用して、撮影方向に対応する撮影方向フレーム画像にジオタグを付与し、前記撮影方向フレーム画像についてのフレーム位置として推定するフレーム位置推定部と、
前記複数の撮影方向フレーム画像それぞれについて推定されたフレーム位置に基づいて、前記全天球カメラの撮影経路を作成する撮影経路作成部と、
前記フレーム位置が推定された複数の撮影方向フレーム画像からなる複数の撮影経路が互いに交差する交差点において一の撮影経路から他の撮影経路に前記市街映像が切り替わる交差点フレーム画像を、前記一の撮影経路及び前記他の撮影経路において前記フレーム位置が推定された複数の撮影方向フレーム画像から検出する交差点フレーム画像検出部と、
前記一の撮影経路及び前記他の撮影経路において検出された前記交差点フレーム画像を、前記交差点において連続するように接続するフレーム画像接続部と、
前記交差点を含む入力された経路に対応した、前記接続された交差点フレーム画像を含む合成市街映像を出力する合成市街映像出力部と、
を備える映像合成装置。 - 全天球カメラによって撮影された市街映像を取得する市街映像取得部と、
前記取得した市街映像を構成する複数のフレーム画像それぞれに所定のアルゴリズムを適用して、撮影方向に対応する撮影方向フレーム画像にジオタグを付与し、前記撮影方向フレーム画像についてのフレーム位置として推定するフレーム位置推定部と、
前記複数の撮影方向フレーム画像それぞれについて推定されたフレーム位置に基づいて、前記全天球カメラの撮影経路を作成する撮影経路作成部と、
前記フレーム位置が推定された複数の撮影方向フレーム画像からなる複数の撮影経路が互いに交差する交差点において一の撮影経路から他の撮影経路に前記市街映像が切り替わる交差点フレーム画像を、前記一の撮影経路及び前記他の撮影経路において前記フレーム位置が推定された複数の撮影方向フレーム画像から検出する交差点フレーム画像検出部と、
前記一の撮影経路及び前記他の撮影経路において検出された前記交差点フレーム画像を、前記交差点において連続するように接続するフレーム画像接続部と、
前記接続された交差点フレーム画像を含む合成市街映像を出力する合成市街映像出力部と、
前記合成市街映像の出力の起点となる位置の選択を、表示画面に表示される地図において促すとともに、前記起点から前記合成市街映像の出力経路の選択を促す経路選択指示部と、
を備える映像合成装置。 - 前記合成市街映像の出力中に、一部の又はすべての交差点において行先の選択を促す行先情報を前記交差点フレーム画像及び／又は当該交差点フレーム画像より手前となる複数の撮影方向フレーム画像に表示する行先情報送出部と、
を備え、
前記フレーム画像接続部は、前記交差点において選択された行先にしたがって、前記一の撮影経路及び前記他の撮影経路において検出された前記交差点フレーム画像を、前記交差点において連続するように接続する
請求項１又は２記載の映像合成装置。 - 検出された各撮影経路の交差点フレーム画像の前後の撮影方向フレーム画像のうち、視覚的に最も類似する撮影方向フレーム画像の組み合わせを交差点フレーム画像とするように前記各撮影経路の交差点フレーム画像を校正する交差点フレーム画像校正部をさらに備える
請求項１～３の何れか一項に記載の映像合成装置。 - 前記交差点における複数の交差点フレーム画像それぞれについて特徴点マッチングを行い、各交差点フレーム画像に付与されている前記全天球カメラの姿勢の誤差を補正するカメラ姿勢補正部をさらに備える
請求項１～４の何れか一項に記載の映像合成装置。 - 前記フレーム画像接続部は、前記一の撮影経路における交差点フレーム画像及び当該交差点フレーム画像より手前となる複数の撮影方向フレーム画像を前記他の撮影経路の方向に向けて回転させ、前記一の撮影経路における交差点フレーム画像を前記他の撮影経路における交差点フレーム画像と一致させ、前記一の撮影経路及び前記他の撮影経路において検出された交差点フレーム画像を、前記交差点において連続するように接続する
請求項１～５の何れか一項に記載の映像合成装置。 - 前記フレーム画像接続部は、前記一の撮影経路における交差点フレーム画像を前記他の撮影経路の方向に向けて回転させ、前記一の撮影経路における交差点フレーム画像を前記他の撮影経路における交差点フレーム画像と一致させ、前記一の撮影経路及び前記他の撮影経路において検出された前記交差点フレーム画像を、前記交差点において連続するように接続する
請求項１～５の何れか一項に記載の映像合成装置。 - 前記フレーム画像接続部は、前記一の撮影経路における交差点フレーム画像及び当該交差点フレーム画像より手前となる前記一の撮影経路における複数の撮影方向フレーム画像を前記他の撮影経路の方向に向けて回転させると共に、前記他の撮影経路における交差点フレーム画像及び当該交差点フレーム画像より先になる前記他の撮影経路における複数の撮影方向フレーム画像を前記一の撮影経路における複数の撮影方向フレーム画像が回転している方向とは反対の回転方向に回転させ、両者の回転途中で前記一の撮影経路における交差点フレーム画像を前記他の撮影経路における交差点フレーム画像と一致させ、前記一の撮影経路及び前記他の撮影経路において検出された交差点フレーム画像を、前記交差点において連続するように接続する
請求項１～５の何れか一項に記載の映像合成装置。 - 前記フレーム画像接続部は、前記一の撮影経路における交差点フレーム画像を前記他の撮影経路の方向に向けて回転させると共に、前記他の撮影経路における交差点フレーム画像を前記一の撮影経路における交差点フレーム画像が回転している方向とは反対の回転方向に回転させ、両者の回転途中で前記一の撮影経路における交差点フレーム画像を前記他の撮影経路における交差点フレーム画像と一致させ、前記一の撮影経路及び前記他の撮影経路において検出された交差点フレーム画像を、前記交差点において連続するように接続する
請求項１～５の何れか一項に記載の映像合成装置。 - 前記フレーム画像接続部は、前記一の撮影経路における交差点フレーム画像及び当該交差点フレーム画像より手前となる複数の撮影方向フレーム画像をフェードアウトさせながら前記他の撮影経路の方向に向けて回転させ、前記他の撮影経路における交差点フレーム画像をフェードインさせながら前記一の撮影経路における交差点フレーム画像を前記他の撮影経路における交差点フレーム画像と一致させ、前記一の撮影経路及び前記他の撮影経路において検出された交差点フレーム画像を、前記交差点において連続するように接続する
請求項６記載の映像合成装置。 - 前記フレーム画像接続部は、前記一の撮影経路における交差点フレーム画像をフェードアウトさせながら前記他の撮影経路の方向に向けて回転させ、前記他の撮影経路における交差点フレーム画像をフェードインさせながら前記一の撮影経路における交差点フレーム画像を前記他の撮影経路における交差点フレーム画像と一致させ、前記一の撮影経路及び前記他の撮影経路において検出された前記交差点フレーム画像を、前記交差点において連続するように接続する
請求項７記載の映像合成装置。 - 前記フレーム画像接続部は、前記一の撮影経路における交差点フレーム画像及び当該交差点フレーム画像より手前となる前記一の撮影経路における複数の撮影方向フレーム画像をフェードアウトさせながら前記他の撮影経路の方向に向けて回転させ、前記他の撮影経路における交差点フレーム画像及び当該交差点フレーム画像より先になる前記他の撮影経路における複数の撮影方向フレーム画像をフェードインさせながら前記一の撮影経路の方向に向けて回転させ、前記一の撮影経路及び前記他の撮影経路において検出された前記交差点フレーム画像を、前記交差点において連続するように接続する
請求項８記載の映像合成装置。 - 前記フレーム画像接続部は、前記一の撮影経路における交差点フレーム画像をフェードアウトさせながら前記他の撮影経路の方向に向けて回転させ、前記他の撮影経路における交差点フレーム画像をフェードインさせながら前記一の撮影経路の方向に向けて回転させ、前記一の撮影経路及び前記他の撮影経路において検出された交差点フレーム画像を、前記交差点において連続するように接続する
請求項９記載の映像合成装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019139886 | 2019-07-30 | ||
| JP2019139886 | 2019-07-30 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021022912A JP2021022912A (ja) | 2021-02-18 |
| JP7480941B2 true JP7480941B2 (ja) | 2024-05-10 |
Family
ID=74574855
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019191032A Active JP7480941B2 (ja) | 2019-07-30 | 2019-10-18 | 映像合成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7480941B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102604672B1 (ko) * | 2021-10-06 | 2023-11-23 | 주식회사 마음에이아이 | 영상 촬영 가이드 제공 방법, 장치 및 컴퓨터 프로그램 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004046846A (ja) | 2002-07-02 | 2004-02-12 | Fuji Xerox Co Ltd | 交差する２つのパノラマビデオフレームシーケンスに表示される交差点及びこのような交差点における２つのビデオシーケンス間の向きを検出する方法、コンピュータプログラム、及び装置、並びに、合成ビデオフレームシーケンスを生成する方法 |
| JP2004265396A (ja) | 2003-02-13 | 2004-09-24 | Vingo:Kk | 映像生成システム及び映像生成方法 |
| JP2013098816A (ja) | 2011-11-02 | 2013-05-20 | Dainippon Printing Co Ltd | 動画提示装置 |
| JP2013118471A (ja) | 2011-12-02 | 2013-06-13 | Canon Inc | 映像処理装置およびその制御方法 |
| JP2019067416A (ja) | 2012-12-04 | 2019-04-25 | 任天堂株式会社 | 情報処理システム及び表示方法 |
-
2019
- 2019-10-18 JP JP2019191032A patent/JP7480941B2/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004046846A (ja) | 2002-07-02 | 2004-02-12 | Fuji Xerox Co Ltd | 交差する２つのパノラマビデオフレームシーケンスに表示される交差点及びこのような交差点における２つのビデオシーケンス間の向きを検出する方法、コンピュータプログラム、及び装置、並びに、合成ビデオフレームシーケンスを生成する方法 |
| JP2004265396A (ja) | 2003-02-13 | 2004-09-24 | Vingo:Kk | 映像生成システム及び映像生成方法 |
| JP2013098816A (ja) | 2011-11-02 | 2013-05-20 | Dainippon Printing Co Ltd | 動画提示装置 |
| JP2013118471A (ja) | 2011-12-02 | 2013-06-13 | Canon Inc | 映像処理装置およびその制御方法 |
| JP2019067416A (ja) | 2012-12-04 | 2019-04-25 | 任天堂株式会社 | 情報処理システム及び表示方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021022912A (ja) | 2021-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8963999B1 (en) | Augmented reality with earth data | |
| CA2888943C (en) | Augmented reality system and method for positioning and mapping | |
| CN109076172B (zh) | 从中间视图生成有效画布视图的方法和系统 | |
| JP4512584B2 (ja) | イメージマッチング速度とブレンディング方法を改善したパノラマ映像提供方法および装置 | |
| US9369679B2 (en) | System and process for projecting location-referenced panoramic images into a 3-D environment model and rendering panoramic images from arbitrary viewpoints within the 3-D environment model | |
| US9373170B2 (en) | Product image interpolating device, method, and non-transitory information recording medium | |
| US9894272B2 (en) | Image generation apparatus and image generation method | |
| JP2011239361A (ja) | 繰り返し撮影用ａｒナビゲーション及び差異抽出のシステム、方法及びプログラム | |
| CN111046743A (zh) | 一种障碍物信息标注方法、装置、电子设备和存储介质 | |
| JP7196421B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
| US10616483B1 (en) | Apparatus and method of generating electronic three-dimensional walkthrough environment | |
| US20190199992A1 (en) | Information processing apparatus, method for controlling the same, and recording medium | |
| JP2004246667A (ja) | 自由視点動画像データ生成方法およびその処理をコンピュータに実行させるためのプログラム | |
| CN114549766B (zh) | 一种实时ar可视化方法、装置、设备及存储介质 | |
| JP7480941B2 (ja) | 映像合成装置 | |
| CN110730934A (zh) | 轨迹切换的方法和装置 | |
| KR102389762B1 (ko) | 디지털 트윈 연동 증강현실 카메라를 통한 공간 형성 및 인식 시스템 및 그 방법 | |
| JP2000155831A (ja) | 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体 | |
| US9811943B2 (en) | Processing device for label information for multi-viewpoint images and processing method for label information | |
| JP7192526B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JPH10208074A (ja) | 画像生成方法 | |
| US10907977B1 (en) | Human-aided geo-rectification of geospatial metadata in video using a graphical interface | |
| CN111581322B (zh) | 视频中兴趣区域在地图窗口内显示的方法和装置及设备 | |
| US9153004B2 (en) | Product image interpolating device, method and non-transitory information recording medium | |
| JP7447403B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191107 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220920 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230720 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230801 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230929 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231205 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240319 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240416 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7480941 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |