JP6327455B2

JP6327455B2 - 基地局装置、映像情報処理装置、３次元マップ生成システムおよび３次元マップ生成方法

Info

Publication number: JP6327455B2
Application number: JP2014103167A
Authority: JP
Inventors: 竜二牟田; 裕太関
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2014-05-19
Filing date: 2014-05-19
Publication date: 2018-05-23
Anticipated expiration: 2034-05-19
Also published as: JP2015219745A

Description

本発明は、３次元マップの生成に関わる基地局装置、映像情報処理装置、３次元マップ生成システムおよび３次元マップ生成方法に関する。

撮影画像から３次元マップを生成する手法の一つとして、ＳＦＭ（Structure from Motion）方式が知られている。ＳＦＭ方式は、カメラ（端末装置）により互いに異なる位置から撮影された複数枚の画像を解析して物体の特徴的な部分（特徴点）を抽出し、画像間での特徴点の対応関係を利用して物体の各特徴点の３次元位置とカメラ位置を算出するものである（特許文献１参照）。

特開２００９−２３７８４５号公報

「アレーアンテナを用いた屋内外の無線局位置推定の実験的検証」電子情報通信学会論文誌Ｂ Vol. J90-B No. 9 pp. 784-796

しかしながら、従来のＳＦＭ方式による３次元マップ生成方法では、画像解析を用いたカメラ位置の算出が必要であるため、３次元マップを生成するまでに相当の時間を要するという課題がある。

本発明の目的は、ＳＦＭ方式を用いる場合において、３次元マップを生成するまでの時間を従来よりも短縮することができる基地局装置、映像情報処理装置、３次元マップ生成システムおよび３次元マップ生成方法を提供することである。

本発明に係る基地局装置は、自セル内に存在する１又は複数の端末装置と無線通信を行い、かつ、３次元マップを生成する映像情報処理装置と有線接続する基地局装置であって、前記端末装置から画像データを取得する画像データ取得部と、前記画像データを取得した時間の前後の所定時間内に受信した前記端末装置からの受信信号を用いて前記端末装置の位置を推定する位置推定部と、前記画像データに、前記端末装置の位置情報を結合させた位置情報付き画像データを生成する付加情報生成部と、前記位置情報付き画像データを前記映像情報処理装置に送信する画像インタフェース部と、を具備する構成を採る。

本発明に係る映像情報処理装置は、自セル内に存在する１又は複数の端末装置と無線通信を行う複数の基地局装置のそれぞれと有線接続する映像情報処理装置であって、前記端末装置が撮影した画像データに、前記基地局装置が前記画像データを取得した時間の前後の所定時間内に受信した前記端末装置からの受信信号を用いて推定した前記端末装置の位置情報を結合させた位置情報付き画像データを前記各基地局装置から受信するＢＳインタフェース部と、互いに異なる位置から撮影された複数枚の画像データを解析して特徴点を検出する特徴点検出部と、前記端末装置の位置情報および前記特徴点の３次元位置を用いて３次元マップを生成する３次元マップ生成部と、を具備する構成を採る。

本発明に係る映像情報処理装置は、カメラで撮影した画像をディジタルデータ化する複数の端末装置と、それぞれが自セル内に存在する１又は複数の前記端末装置と無線通信を行う複数の基地局装置と、前記複数の基地局装置のそれぞれと有線接続し、３次元マップを生成する映像情報処理装置と、からなる３次元マップ生成システムであって、前記各基地局装置は、前記端末装置から画像データを取得する画像データ取得部と、前記画像データを取得した時間の前後の所定時間内に受信した前記端末装置からの受信信号を用いて前記端末装置の位置を推定する位置推定部と、前記画像データに、前記端末装置の位置情報を結合させた位置情報付き画像データを生成する付加情報生成部と、前記位置情報付き画像データを前記映像情報処理装置に送信する画像インタフェース部と、を有し、前記映像情報処理装置は、前記位置情報付き画像データを前記基地局装置から受信するＢＳインタフェース部と、互いに異なる位置から撮影された複数枚の画像データを解析して特徴点を検出する特徴点検出部と、前記端末装置の位置情報および前記特徴点の３次元位置を用いて３次元マップを生成する３次元マップ生成部と、を有する、構成を採る。

本発明に係る３次元マップ生成方法は、カメラで撮影した画像をディジタルデータ化する複数の端末装置と、それぞれが自セル内に存在する１又は複数の前記端末装置と無線通信を行う複数の基地局装置と、前記複数の基地局装置のそれぞれと有線接続し、３次元マップを生成する映像情報処理装置と、からなる３次元マップ生成システムの３次元マップ生成方法であって、前記各基地局装置が、前記端末装置から画像データを受信し、前記画像データを受信した時間の前後の所定時間内に受信した前記端末装置からの受信信号を用いて前記端末装置の位置を推定し、前記画像データに、前記端末装置の位置情報を結合させた位置情報付き画像データを生成し、前記位置情報付き画像データを前記映像情報処理装置に送信し、前記映像情報処理装置が、前記位置情報付き画像データを前記基地局装置から受信し、互いに異なる位置から撮影された複数枚の画像データを解析して特徴点を検出し、前記端末装置の位置情報および前記特徴点の３次元位置を用いて３次元マップを生成する。

本発明によれば、３次元マップを生成する過程においてカメラ位置の算出処理が不要となるので、３次元マップを生成するまでの時間を従来よりも短縮することができる。

本発明の実施の形態１に係る３次元マップ生成システムの構成を示す図本発明の実施の形態１に係る基地局装置の構成を示すブロック図本発明の実施の形態１に係る映像情報処理装置の構成を示すブロック図本発明の実施の形態１の処理の流れを示すシーケンス図本発明の実施の形態２に係る基地局装置の構成を示すブロック図本発明の実施の形態２の処理の流れを示すシーケンス図

以下、図面を適宜参照して、本発明の実施の形態について、詳細に説明する。

（実施の形態１）
＜システム構成＞
まず、本発明の実施の形態１に係る３次元マップ生成システムの構成について、図１を参照しながら説明する。

３次元マップ生成システムは、端末装置１００と、基地局装置２００と、映像情報処理装置３００と、から主に構成される。基地局装置２００は、自セル内に存在する１又は複数の端末装置１００と無線接続される。映像情報処理装置３００は、複数の基地局装置２００と有線または無線接続される。

各端末装置１００は、自機が所属するセルの基地局装置２００から信号を受信し、当該基地局装置２００に対して信号を送信する。また、各端末装置１００は、カメラ付きスマートフォン等で有り、カメラで撮影した画像をディジタルデータ化して基地局装置２００に送信する。

各基地局装置２００は、自セル内に存在する各端末装置１００に対して信号を送信し、当該端末装置１００から信号を受信する。また、各基地局装置２００は、自セル内に存在する各端末装置１００の位置を推定し、各端末装置１００から受信した画像データを、該端末装置１００の位置情報と共に映像情報処理装置３００に送信する。

映像情報処理装置３００は、各基地局装置２００から送信された画像データおよび端末装置１００の位置情報を用いてＳＦＭ方式により３次元マップを生成する。

＜基地局装置の構成＞
次に、本実施の形態に係る基地局装置２００の内部構成について、図２を参照しながら説明する。図２に示すように、基地局装置２００は、ネットワークインタフェース部２０１と、ＭＡＣ部２０２と、無線送信部２０３と、無線受信部２０４と、画像データ取得部２０５と、位置推定部２０６と、記憶部２０７と、付加情報生成部２０８と、画像インタフェース部２０９と、から主に構成されている。

ネットワークインタフェース部２０１は、図示しない無線ネットワーク制御局（ＲＮＣ：Radio Network Controller）から送信された端末装置１００宛の信号をＭＡＣ部２０２に出力する。また、ネットワークインタフェース部２０１は、ＭＡＣ部２０２から出力された信号を無線ネットワーク制御局に送信する。

ＭＡＣ部２０２は、ネットワークインタフェース部２０１から出力された信号にヘッダ情報を付加する等の所定のＭＡＣ処理を行い、ＭＡＣ処理後の信号を無線送信部２０３に出力する。また、ＭＡＣ部２０２は、無線受信部２０４から出力された信号に、ヘッダ情報を取り除く等の所定のＭＡＣ処理を行い、ＭＡＣ処理後の信号をネットワークインタフェース部２０１および画像データ取得部２０５に出力する。

無線送信部２０３は、ＭＡＣ部２０２から出力された信号に対して変調、増幅、アップコンバート等の無線処理を行い、無線周波数の信号（電波）を、アンテナを介して各端末装置１００宛に無線送信する。

無線受信部２０４は、アンテナに受信された各端末装置１００からの無線周波数の信号（電波）に対して、ダウンコンバート、増幅、復調等の無線処理を行い、ＭＡＣ部２０２に出力する。また、無線受信部２０４は、受信信号から位置推定に必要なパラメータを算出し、該パラメータを位置推定部２０６に出力する。

画像データ取得部２０５は、ＭＡＣ部２０２から出力された受信信号に画像データが含まれているか否かを解析し、画像データを付加情報生成部２０８に出力する。

位置推定部２０６は、無線受信部２０４から出力されたパラメータを用いて、端末装置１００の位置を推定し、推定結果である端末装置１００の位置情報を記憶部２０７に記憶させる。なお、位置推定部２０６における位置推定方法には、非特許文献１に記載された「４．アレーアンテナによる無線局位置推定」等、既存のものが用いられる。

記憶部２０７は、ＲＡＭ（Random Access Memory）であり、端末装置１００の位置情報を一時的に記憶する。

付加情報生成部２０８は、画像データ取得部２０５から画像データを入力した場合、当該画像データを送信した端末装置１００の位置情報を記憶部２０７から取得し、画像データに結合させる。そして、付加情報生成部２０８は、画像データに位置情報を結合させた位置情報付き画像データを画像インタフェース部２０９に出力する。

画像インタフェース部２０９は、付加情報生成部２０８から出力された位置情報付き画像データを映像情報処理装置３００に送信する。

＜映像情報処理装置の構成＞
次に、本実施の形態に係る映像情報処理装置３００の内部構成について、図３を参照しながら説明する。図３に示すように、映像情報処理装置３００は、ＢＳインタフェース部３０１と、特徴点検出部３０２と、フレームスティッチ処理部３０３と、バンドル調整処理部３０４と、３次元マップ生成部３０５と、から主に構成されている。

ＢＳインタフェース部３０１は、各基地局装置２００から送信された位置情報付き画像データを受信し、特徴点検出部３０２に出力する。

特徴点検出部３０２は、互いに異なる位置から撮影された複数枚の画像データを解析して特徴点を検出する。なお、本実施の形態では、各基地局装置２００が端末装置１００の位置を既に推定しているので、特徴点検出部３０２は、従来のＳＦＭにおいて行っていた、検出した特徴点を用いてカメラ位置（端末装置１００の位置）を算出する処理を行う必要が無い。

フレームスティッチ処理部３０３は、端末装置１００の位置情報を用いて、特徴点検出部３０２で検出した各画像の特徴点の３次元位置を推定し、複数の画像データ内の複数の特徴点位置に基づいて画像フレームを接合して各特徴点の３次元位置を反映したデータを生成するフレームスティッチ処理（Frame Stitch）を実行する。

バンドル調整処理部３０４は、フレームスティッチ処理部３０３において３次元位置を推定された各特徴点について、互いに異なる位置から撮影された複数枚の画像データに含まれる特徴点の３次元位置を１つの位置に収束させて最終的な特徴点の３次元位置を求めるバンドル調整処理（Bundle Adjustment）を実行する。

３次元マップ生成部３０５は、端末装置１００の位置情報およびバンドル調整処理部３０４において求められた特徴点の３次元位置を用いて３次元マップを生成する。

＜シーケンスの説明＞
次に、本実施の形態の処理の流れについて、図４を参照しながら説明する。なお、図４において、端末装置１００は、初期段階では、待ち受け状態であるとする。

待ち受け状態では、端末装置１００は、基地局装置２００との間で、参照信号を含む無線信号の送受信を繰り返す（ＳＴ４０１、ＳＴ４０２）。

基地局装置２００は、端末装置１００からの受信信号について、例えば受信信号内に含まれる参照信号を用いて端末装置１００の位置を推定し（ＳＴ４０３）、推定した位置を示す位置情報を保存する（ＳＴ４０４）。

次に、端末装置１００が、カメラで撮影した画像データを基地局装置２００に送信したとする（ＳＴ４０５）。画像データを受信した基地局装置２００は、当該画像データに位置情報を結合させ（ＳＴ４０６）、位置情報付き画像データを映像情報処理装置３００に送信する（ＳＴ４０７）。

映像情報処理装置３００は、端末装置１００の位置情報および画像データを用いて３次元マップを生成する（ＳＴ４０８）。

＜効果＞
このように、本実施形態によれば、基地局装置２００において、画像を撮影する端末装置１００の位置を推定し、画像データと共に端末装置１００の位置情報を映像情報処理装置３００に送信するので、映像情報処理装置３００は、３次元マップを生成する過程においてカメラ位置（端末装置１００の位置）の算出処理が不要となり、３次元マップを生成するまでの時間を従来よりも短縮することができる。

なお、本実施の形態では、基地局装置２００が画像データを含まない無線信号を用いて端末装置１００の位置を推定する場合について説明したが、本発明はこれに限られず、基地局装置２００が画像データを受信した際の無線信号を用いて端末装置１００の位置を推定しても良い。

また、本実施の形態では、基地局装置２００が画像データを受信する前に端末装置１００の位置を推定する場合について説明したが、本発明はこれに限られず、基地局装置２００が画像データを受信した後の無線信号を用いて端末装置１００の位置を推定しても良いし、基地局装置２００が画像データを受信した前後の一定時間内に受信した無線信号を用いて端末装置１００の位置を推定しても良い。

（実施の形態２）
実施の形態１では、各基地局装置２００が、自セルに存在する端末装置１００の位置を、自局において受信した信号のみから推定する場合について説明した。これに対して、実施の形態２では、各基地局装置２００Ａが、自セルに存在する端末装置１００の位置を、自局において受信した信号および他の基地局装置２００Ｂにおいて受信された信号を用いて推定する場合について説明する。なお、実施の形態２のシステム構成および映像情報処理装置の構成は、実施の形態１で説明したものと同一である。

＜基地局装置の構成＞
次に、本実施の形態に係る基地局装置２００Ａの内部構成について、図５を参照しながら説明する。なお、図５に示す基地局装置２００Ａにおいて、図２に示した基地局装置２００と共通する構成部分については、図２と同一の符号を付して説明を省略する。図５に示す基地局装置２００Ａは、図２に示した基地局装置２００と比較して、ネットワークインタフェース部２０１Ａおよび位置推定部２０６Ａの機能が、ネットワークインタフェース部２０１および位置推定部２０６のものと異なる。

ネットワークインタフェース部２０１Ａは、ネットワークインタフェース部２０１の全ての機能を有する。さらに、ネットワークインタフェース部２０１Ａは、他の基地局装置２００Ｂにおいて算出された位置推定に必要なパラメータを、無線ネットワーク制御局を介して入力し、位置推定部２０６Ａに出力する。

位置推定部２０６Ａは、無線受信部２０４から出力されたパラメータ、および、ネットワークインタフェース部２０１Ａから入力した他の基地局装置２００Ｂにおいて算出された位置推定に必要なパラメータを用いて、端末装置１００の位置を推定し、推定結果である端末装置１００の位置情報を記憶部２０７に記憶させる。なお、位置推定部２０６Ａにおける位置推定方法には、非特許文献１に記載された「２．１ＲＳＳによる位置推定」、「２．２ＡＯＡによる位置推定」等、既存のものが用いられる。また、位置推定部２０６Ａは、無線受信部２０４から入力した位置推定に必要なパラメータをネットワークインタフェース部２０１Ａに出力する。

＜シーケンスの説明＞
次に、本実施の形態の処理の流れについて、図６を参照しながら説明する。なお、図６において、端末装置１００は、初期段階では、待ち受け状態であるとする。

待ち受け状態では、端末装置１００は、基地局装置２００Ａとの間で、参照信号を含む無線信号の送受信を繰り返す（ＳＴ６０１、ＳＴ６０２）。なお、端末装置１００から基地局装置２００Ａ宛に送信された信号は、他の基地局装置２００Ｂにも受信される。

他の基地局装置２００Ｂは、端末装置１００からの受信信号について、例えば受信信号内に含まれる参照信号を用いて、位置推定に必要なパラメータを算出し（ＳＴ６０３）、基地局装置２００Ａに送信する（ＳＴ６０４）。

基地局装置２００Ａは、端末装置１００からの受信信号、および、他の基地局装置２００Ｂから受信した位置推定に必要なパラメータを用いて、端末装置１００の位置を推定し（ＳＴ６０５）、推定した位置を示す位置情報を保存する（ＳＴ６０６）。

次に、端末装置１００が、カメラで撮影した画像データを基地局装置２００Ａに送信したとする（ＳＴ６０７）。画像データを受信した基地局装置２００Ａは、当該画像データに位置情報を結合させ（ＳＴ６０８）、位置情報付き画像データを映像情報処理装置３００に送信する（ＳＴ６０９）。

映像情報処理装置３００は、端末装置１００の位置情報および画像データを用いて３次元マップを生成する（ＳＴ６１０）。

＜効果＞
このように、本実施形態によれば、実施の形態１と同様に、基地局装置２００Ａにおいて、画像を撮影する端末装置１００の位置を推定し、画像データと共に端末装置１００の位置情報を映像情報処理装置３００に送信するので、映像情報処理装置３００は、３次元マップを生成する過程においてカメラ位置（端末装置１００の位置）の算出処理が不要となり、３次元マップを生成するまでの時間を従来よりも短縮することができる。

なお、本実施の形態では、基地局装置２００Ａが、他の基地局装置２００Ｂにおいて算出された位置推定に必要なパラメータを、無線ネットワーク制御局を介して入力する場合について説明したが、本発明はこれに限られず、基地局装置２００Ａが、他の基地局装置２００Ｂにおいて算出された位置推定に必要なパラメータを、他の基地局装置２００Ｂから直接入力しても良い。

また、本実施の形態では、他の基地局装置２００Ｂが、位置推定に必要なパラメータを定期的に算出する場合について説明したが、本発明はこれに限られず、基地局装置２００Ｂが、基地局装置２００Ａから要求が有った場合に、位置推定に必要なパラメータを算出するようにしても良い。

また、本実施の形態では、基地局装置２００Ａに対する他の基地局装置として基地局装置２００Ｂが一つだけ存在する場合について説明したが、本発明はこれに限られず、基地局装置２００Ａは複数の基地局装置において算出された位置推定に必要なパラメータを、複数の基地局装置から入力しても良い。

また、本実施の形態では、基地局装置２００Ａが、他の基地局装置２００Ｂから入力された位置推定に必要なパラメータを用いて端末装置１００の位置を推定する場合について説明したが、本発明はこれに限られず、基地局装置２００Ａは他の基地局装置２００Ｂから位置推定に必要なパラメータとして、他の基地局装置２００Ｂにおいて算出された端末装置１００の位置情報を入力しても良く、基地局装置２００Ａは該位置情報を画像データに結合させ映像情報処理装置３００に送信しても良い。

本発明は、撮影画像から３次元マップを生成する際に用いるのに好適である。

１００端末装置
２００、２００Ａ、２００Ｂ基地局装置
２０１、２０１Ａネットワークインタフェース部
２０２ＭＡＣ部
２０３無線送信部
２０４無線受信部
２０５画像データ取得部
２０６、２０６Ａ位置推定部
２０７記憶部
２０８付加情報生成部
２０９画像インタフェース部
３００映像情報処理装置
３０１ＢＳインタフェース部
３０２特徴点検出部
３０３フレームスティッチ処理部
３０４バンドル調整処理部
３０５３次元マップ生成部

Claims

自セル内に存在する１又は複数の端末装置と無線通信を行い、かつ、３次元マップを生成する映像情報処理装置と有線接続する基地局装置であって、
前記端末装置から画像データを取得する画像データ取得部と、
前記画像データを取得した時間の前後の所定時間内に受信した前記端末装置からの受信信号を用いて前記端末装置の位置を推定する位置推定部と、
前記画像データに、前記端末装置の位置情報を結合させた位置情報付き画像データを生成する付加情報生成部と、
前記位置情報付き画像データを前記映像情報処理装置に送信する画像インタフェース部と、
を具備する基地局装置。
前記端末装置からの受信信号から位置推定に必要なパラメータを算出する受信部を具備し、
前記位置推定部は、前記受信部から出力されたパラメータを用いて、前記端末装置の位置を推定する、
請求項１に記載の基地局装置。
前記位置推定部は、前記受信部から出力されたパラメータ、および、他の基地局装置において算出された位置推定に必要なパラメータを用いて、前記端末装置の位置を推定する、
請求項２に記載の基地局装置。
自セル内に存在する１又は複数の端末装置と無線通信を行う複数の基地局装置のそれぞれと有線接続する映像情報処理装置であって、
前記端末装置が撮影した画像データに、前記基地局装置が前記画像データを取得した時間の前後の所定時間内に受信した前記端末装置からの受信信号を用いて推定した前記端末装置の位置情報を結合させた位置情報付き画像データを前記各基地局装置から受信するＢＳインタフェース部と、
互いに異なる位置から撮影された複数枚の画像データを解析して特徴点を検出する特徴点検出部と、
前記端末装置の位置情報および前記特徴点の３次元位置を用いて３次元マップを生成する３次元マップ生成部と、
を具備する映像情報処理装置。
カメラで撮影した画像をディジタルデータ化する複数の端末装置と、それぞれが自セル内に存在する１又は複数の前記端末装置と無線通信を行う複数の基地局装置と、前記複数の基地局装置のそれぞれと有線接続し、３次元マップを生成する映像情報処理装置と、からなる３次元マップ生成システムであって、
前記各基地局装置は、
前記端末装置から画像データを取得する画像データ取得部と、
前記画像データを取得した時間の前後の所定時間内に受信した前記端末装置からの受信信号を用いて前記端末装置の位置を推定する位置推定部と、
前記画像データに、前記端末装置の位置情報を結合させた位置情報付き画像データを生成する付加情報生成部と、
前記位置情報付き画像データを前記映像情報処理装置に送信する画像インタフェース部と、
を有し、
前記映像情報処理装置は、
前記位置情報付き画像データを前記基地局装置から受信するＢＳインタフェース部と、
互いに異なる位置から撮影された複数枚の画像データを解析して特徴点を検出する特徴点検出部と、
前記端末装置の位置情報および前記特徴点の３次元位置を用いて３次元マップを生成する３次元マップ生成部と、
を有する、
３次元マップ生成システム。
カメラで撮影した画像をディジタルデータ化する複数の端末装置と、それぞれが自セル内に存在する１又は複数の前記端末装置と無線通信を行う複数の基地局装置と、前記複数の基地局装置のそれぞれと有線接続し、３次元マップを生成する映像情報処理装置と、からなる３次元マップ生成システムの３次元マップ生成方法であって、
前記各基地局装置が、
前記端末装置から画像データを受信し、
前記画像データを受信した時間の前後の所定時間内に受信した前記端末装置からの受信信号を用いて前記端末装置の位置を推定し、
前記画像データに、前記端末装置の位置情報を結合させた位置情報付き画像データを生成し、
前記位置情報付き画像データを前記映像情報処理装置に送信し、
前記映像情報処理装置が、
前記位置情報付き画像データを前記基地局装置から受信し、
互いに異なる位置から撮影された複数枚の画像データを解析して特徴点を検出し、
前記端末装置の位置情報および前記特徴点の３次元位置を用いて３次元マップを生成する、
３次元マップ生成方法。