JP6943183B2 - 位置特定装置、位置特定方法、位置特定プログラムおよびカメラ装置 - Google Patents

Description

本開示は、カメラによって撮像された画像の位置を特定する技術に関する。

パン・チルト・ズームの３つの機能を持ったカメラ、いわゆるＰＴＺ（Ｐａｎ−Ｔｉｌｔ−Ｚｏｏｍ）カメラが例えば道路の監視システムなどに利用されている。ＰＴＺカメラは、旧来の固定カメラに比べて広範囲な撮像が可能であるため、より少ない設備、すなわちより低コストでの監視システムの運用が可能である。反面、ＰＴＺカメラの画角は時々刻々と変わるので、ＰＴＺカメラがどのエリアを撮像しているのかを、上位システムにおいて正確に把握することが困難であるという問題がある。

また、ＰＴＺカメラがどのエリアを撮像しているのかを正確に把握できないということは、ＰＴＺカメラによって撮像された画像の画像解析にも支障を来す。一般に、画像解析では、画像上の距離情報（距離マップ）が必要となる。例えば、車の形状から画像解析において用いるパラメータ（例えば閾値）を決定したり、速度計測を行ったりするためには、道路上の距離情報が必要である。

特許文献１には、「野球、サッカーまたはテニスのように、フィールドラインを含むカメラ画像を用いてカメラキャリブレーションを行う方法および装置」が開示されている（［０００１］）。具体的には、「カメラ画像からフィールドラインのみが写ったフィールドライン画像R3を抽出」し、「フィールドライン画像R3からフィールドラインを抽出」すること（［００３４］）、「フィールドライン画像R3を対象にハフ変換によるラインセグメント抽出を実行し、各フィールドラインLv，Lhの構成要素となるラインセグメントlを取得」すること（［００４６］）、「抽出された全てのラインセグメントを対象に、傾きおよび切片が同一の範囲に属するラインセグメント同士を統合し、各セグメントの配列をフィールドラインとして認識」すること（［００４８］）、「選択された各フィールドラインLvi，Lhjの交点座標を計算」すること（［００５６］）、「カメラ画像から検知した各交点Pと、予めフィールドモデルから抽出されている各交点pとを対応付けて対応点に設定する」こと、「少なくとも４つの対応点に基づいてホモグラフィ行列Hを推定」することが開示されている。

また、非特許文献１は、人工ニューラルネットワークを用いた画像撮影場所特定システムが開発中であるとの記載がある。このシステムは、写真に写り込んでいるものから、当該写真が地球上のどこで撮影されたかを特定する。

さらに、非特許文献２には、地球上のあらゆるエリア、最小で１４ｍ×１４ｍのメッシュに固有コードを付与し、当該固有コードによる位置の特定を可能とするサービスが公開されたと記載されている。また、この固有コードから座標への再変換方法が公開されているとの記載もある。

特開２０１６−２２０１２９号公報

「Google、ニューラルネットワークで写真の場所を特定する「PlaNet」を開発。人間を超える能力を発揮」、［online］、［２０１７年１２月２１日検索］、インターネット、＜ＵＲＬ：http://japanese.engadget.com/2016/03/01/google-planet/＞ 「Google、地球上のあらゆる場所を数文字で示すplus+codes公開。変換サイトも提供」、［online］、［２０１７年１２月２１日検索］、インターネット、＜ＵＲＬ：http://japanese.engadget.com/2015/08/13/google-plus-codes/＞

特許文献１に記載の方法および装置は、「野球、サッカーまたはテニスのように、フィールドラインを含むカメラ画像」を対象としており、フィールドラインを含まない画像へ適用することができない。

非特許文献１に記載のシステムは、写真が撮影された大凡の場所を推定することを目的としており、写真に写り込んだ場所のワールド座標系の位置情報を取得するものではないし、その推定精度(正解率)も高いとはいえない。故に、このシステムを利用したとしても、例えばＰＴＺカメラシステムの道路管理者が必要とする、画像データのワールド座標系の位置を特定したり、道路上の距離情報を入手したりすることは困難である。

非特許文献２に記載のサービスは、道路上のワールド座標系の位置情報を把握可能な情報（例えば、道路基準点案内システムにおける道路基準点情報）を提供しない。故に、このサービスを利用したとしても、例えばＰＴＺカメラシステムの道路管理者が必要とする、画像データのワールド座標系の位置を特定したり、道路上の距離情報を入手したりすることは困難である。

本開示は、画角の変更可能なカメラによって撮像された画像データのワールド座標系の位置情報を把握することを目的とする。

本開示の第１の側面に係る位置特定装置は、画角の変更が可能なカメラによって撮像された第１の対象画像の撮像エリアを推定する推定部と、推定された前記撮像エリアの情報に基づいて、基準画像と前記基準画像に含まれる画素のワールド座標系の第１の位置情報を表す基準位置データとを取得する取得部と、前記第１の対象画像に含まれる第１の特徴点群と前記基準画像に含まれる第２の特徴点群とを抽出する抽出部と、抽出された前記第１の特徴点群および前記第２の特徴点群の間で複数対の対応点を設定する設定部と、設定された前記複数対の対応点に基づいて、前記第１の対象画像に含まれる画素のピクセル座標系の第２の位置情報と前記第１の位置情報との関係を記述するホモグラフィ行列を計算する計算部と、前記ホモグラフィ行列に基づいて前記第１の対象画像の第１のメタデータを生成する生成部とを具備する。

この位置特定装置は、上述のように、画角の変更可能なカメラによって撮像された画像データ（第１の対象画像）に含まれる特徴点のピクセル座標系の位置情報と基準画像に含まれる対応する特徴点のワールド座標系の位置情報との関係を記述するホモグラフィ行列を計算し、これに基づいてメタデータを生成する。故に、この位置特定装置によれば、画像データのワールド座標系の位置情報を把握することができる。

第１の側面に係る位置特定装置において、前記推定部は、ワールド座標系の位置情報と対応付けて事前に登録された特定の被写体を前記第１の対象画像が含むか否かを判定し、前記第１の対象画像が前記特定の被写体を含む場合には、当該特定の被写体に対応付けられた位置情報に基づいて前記第１の対象画像の撮像エリアを推定してもよい。

この位置特定装置（以降、本開示の第２の側面に係る位置特定装置と呼ぶ）によれば、その位置情報が既知である特定の被写体を事前登録しておくことで、撮像エリアを正確に推定することができる。

第２の側面に係る位置特定装置において、前記特定の被写体は、距離標または道路基準点を含んでもよい。距離標および道路基準点はその位置情報が容易に取得可能であるので、特定の被写体の事前登録を省力化することができる。

第１の側面に係る位置特定装置において、前記推定部は、ワールド座標系の位置情報と対応付けて事前に登録された複数のエリアのうち、前記第１の対象画像に含まれる対象物と見え方において類似する画像が撮像される１つのエリアを選択し、選択したエリアに対応付けられた位置情報に基づいて前記第１の対象画像の撮像エリアを推定してもよい。この位置特定装置は、撮像エリア、すなわちカメラの画角が異なることによる対象物の見え方の違いを利用して、撮像エリアを正確に推定できる。

第１の側面または第２の側面に係る位置特定装置において、前記抽出部は、路面に描かれた規制標示または指示標示を表す画素を前記第１の特徴点群または前記第２の特徴点群の候補として抽出してもよい。

この位置特定装置は、経時変化の乏しい規制標示または指示標示を表す画素を特徴点の候補として利用するので、例えば基準画像の撮像日時と対象画像の撮像日時とが離れている場合にも高精度かつ軽負荷に特徴点を抽出することができる。

第１の側面または第２の側面に係る位置特定装置において、前記第１の対象画像よりも後に前記カメラによって撮像された第２の対象画像の画角が前記第１の対象画像の画角と同じであるか否かを判定する判定部をさらに具備し、前記第２の対象画像の画角が前記第１の対象画像の画角と同じであると判定された場合に、前記生成部は、前記第１のメタデータを前記第２の対象画像の第２のメタデータとして再利用してもよい。
その際、前記判定部は、前記第１の対象画像よりも後に前記カメラにより撮像された第２の対象画像が得られた場合に、前記第２の対象画像および前記第１の対象画像を含む過去の第１の枚数からなる対象画像群の平均として表される短時間背景と、前記第２の対象画像および前記第１の対象画像を含む過去の前記第１の枚数より多い第２の枚数からなる対象画像群の平均として表される長時間背景との差を求め、求められた前記差が閾値以下であるか否かを判定することで、前記第２の対象画像の画角が前記第１の対象画像の画角と同じであるか否かを判定する。

この位置特定装置によれば、画角の変更がない場合に、撮像エリアの推定、基準データの取得、特徴点の抽出、対応点の設定、およびホモグラフィ行列の計算などに伴う処理負荷をカットすることができる。

本開示の第３の側面に係るカメラ装置は、第１の側面または第２の側面に係るメタデータと、前記カメラとを具備する。これにより、画像データ（第１の対象画像）に加えて、当該画像データのワールド座標系の位置を特定（例えば、位置情報を記述するメタデータを生成）するインテリジェントなカメラ装置を提供することができる。

第３の側面に係るカメラ装置において、前記カメラは、ＰＴＺ（Ｐａｎ−Ｔｉｌｔ−Ｚｏｏｍ）カメラであってよい。これにより、どのエリアを撮像しているのかをメタデータに基づいて正確に把握しながら、広範囲な撮像をすることができる。

本開示の第４の側面に係る位置特定方法は、コンピュータが、画角の変更が可能なカメラによって撮像された第１の対象画像の撮像エリアを推定することと、推定された前記撮像エリアの情報に基づいて、基準画像と前記基準画像に含まれる画素のワールド座標系の第１の位置情報を表す基準位置データとを取得することと、前記第１の対象画像に含まれる第１の特徴点群と前記基準画像に含まれる第２の特徴点群とを抽出することと、抽出された前記第１の特徴点群および前記第２の特徴点群の間で複数対の対応点を設定することと、設定された前記複数対の対応点に基づいて、前記第１の対象画像に含まれる画素のピクセル座標系の第２の位置情報と前記第１の位置情報との関係を記述するホモグラフィ行列を計算することと、前記ホモグラフィ行列に基づいて前記第１の対象画像の第１のメタデータを生成することとを具備する。

この位置特定方法は、上述のように、画角の変更可能なカメラによって撮像された画像データ（第１の対象画像）に含まれる特徴点のピクセル座標系の位置情報と基準画像に含まれる対応する特徴点のワールド座標系の位置情報との関係を記述するホモグラフィ行列を計算し、これに基づいてメタデータを生成する。故に、この位置特定方法によれば、画像データのワールド座標系の位置情報を把握することができる。

本開示の第５の側面に係る位置特定プログラムは、コンピュータに、画角の変更が可能なカメラによって撮像された第１の対象画像の撮像エリアを推定することと、推定された前記撮像エリアの情報に基づいて、基準画像と前記基準画像に含まれる画素のワールド座標系の第１の位置情報を表す基準位置データとを取得することと、前記第１の対象画像に含まれる第１の特徴点群と前記基準画像に含まれる第２の特徴点群とを抽出することと、抽出された前記第１の特徴点群および前記第２の特徴点群の間で複数対の対応点を設定することと、設定された前記複数対の対応点に基づいて、前記第１の対象画像に含まれる画素のピクセル座標系の第２の位置情報と前記第１の位置情報との関係を記述するホモグラフィ行列を計算することと、前記ホモグラフィ行列に基づいて前記第１の対象画像の第１のメタデータを生成することとを実行させるためのプログラムである。

この位置特定プログラムは、上述のように、画角の変更可能なカメラによって撮像された画像データ（第１の対象画像）に含まれる特徴点のピクセル座標系の位置情報と基準画像に含まれる対応する特徴点のワールド座標系の位置情報との関係を記述するホモグラフィ行列を計算し、これに基づいてメタデータを生成する。故に、この位置特定プログラムによれば、画像データのワールド座標系の位置情報を把握することができる。

本開示によれば、画角の変更可能なカメラによって撮像された画像データのワールド座標系の位置情報を把握することができる。

実施形態に係る位置特定装置の適用例を示すブロック図。 実施形態に係る位置特定装置のハードウェア構成を例示するブロック図。 実施形態に係る位置特定装置の機能構成を例示するブロック図。 実施形態に係る位置特定装置を含むシステムを例示する図。 図３中の画角変更判定部の動作を例示するフローチャート。 キロポストを例示する図。 キロポストを例示する図。 キロポスト、および当該キロポスト付近に設置される道路基準点を例示する図。 ＰＴＺカメラの設置例の説明図。 ＰＴＺカメラの撮像エリアの説明図。 ＰＴＺカメラの撮像エリアの説明図。 図３中の特徴点抽出部、対応点設定部、ホモグラフィ行列計算部、およびメタデータ生成部の動作を例示するフローチャート。 規制標示を例示する図。 規制標示を例示する図。 指示標示を例示する図。 対応点の説明図。 図３の位置特定装置の動作を例示するフローチャート。 図３の位置特定装置を含むカメラ装置を例示するブロック図。

以下、本開示の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。

なお、以降、説明済みの要素と同一または類似の要素には同一または類似の符号を付し、重複する説明については基本的に省略する。例えば、複数の同一または類似の要素が存在する場合に、各要素を区別せずに説明するために共通の符号を用いることがあるし、各要素を区別して説明するために当該共通の符号に加えて枝番号を用いることもある。

§１ 適用例
まず、図１を用いて、本実施形態の一適用例について説明する。図１は、本実施形態に係る位置特定装置の適用例を模式的に示す。この位置特定装置１００は、画角の変更、すなわち、画角の拡大／縮小、または画角の水平若しくは垂直方向の移動が可能なカメラ（例えばＰＴＺカメラ）によって撮像された画像データ（以降、対象画像とも呼ぶ）を取得し、この対象画像のワールド座標系の位置を特定（位置情報を記述するメタデータを生成）する。

図１に示されるとおり、位置特定装置１００は、対象画像取得部１０１と、撮像エリア推定部１０２と、基準データ取得部１０３と、特徴点抽出部１０４と、対応点設定部１０５と、ホモグラフィ行列計算部１０６と、メタデータ生成部１０７とを含む。

対象画像取得部１０１は、画角の変更が可能なカメラによって撮像された画像データを対象画像として取得し、撮像エリア推定部１０２と、特徴点抽出部１０４とへ送る。

撮像エリア推定部１０２は、対象画像取得部１０１から対象画像を受け取る。撮像エリア推定部１０２は、対象画像の撮像エリアを、対象画像に基づいて推定する。撮像エリア推定部１０２は、推定した撮像エリア（以降、単に推定撮像エリアとも称する）を基準データ取得部１０３へ通知する。例えば、撮像エリア推定部１０２は、推定撮像エリアの位置情報（例えば、緯度および経度）を基準データ取得部１０３に送ってもよい。なお、撮像エリアを推定するための具体的技法は、機能構成の項目において説明される。

基準データ取得部１０３は、撮像エリア推定部１０２から対象画像の推定撮像エリアを通知される。基準データ取得部１０３は、この推定撮像エリアの情報に基づいて、基準画像（データ）と当該基準画像に含まれる画素のワールド座標系の位置情報を表す基準位置データ（これらをまとめて基準データと称する）を取得する。基準データ取得部１０３は、基準画像を特徴点抽出部１０４へ送り、基準位置データを対応点設定部１０５へ送る。なお、基準データを取得するための具体的技法は、機能構成の項目において説明される。

特徴点抽出部１０４は、対象画像取得部１０１から対象画像を取得し、基準データ取得部１０３から基準画像を取得する。特徴点抽出部１０４は、対象画像から複数の特徴点（第１の特徴点群と称する）およびこれらの特徴量を抽出する。また、特徴点抽出部１０４は、基準画像から複数の特徴点（第２の特徴点群と称する）およびこれらの特徴量を抽出する。特徴点抽出部１０４は、第１の特徴点群および第２の特徴点群とこれらの特徴量とを対応点設定部１０５へ送る。なお、特徴点群およびこれらの特徴量を抽出するための具体的技法は、機能構成の項目において説明される。

対応点設定部１０５は、特徴点抽出部１０４から第１の特徴点群および第２の特徴点群とこれらの特徴量とを受け取る。対応点設定部１０５は、第１の特徴点群と第２の特徴点群との間で対応する特徴点対（対応点）を複数対設定する。具体的には、対応点設定部１０５は、第１の特徴点群に属する複数の特徴点と第２の特徴点群に属する複数の特徴点との組み合わせのうち特徴量の差分スコアの合計が最小となる組み合わせを対応点として設定してもよい。

対応点設定部１０５は、複数対の対応点をホモグラフィ行列計算部１０６に通知する。例えば、対応点設定部１０５は、対象画像における特徴点のピクセル座標系の位置情報と、基準画像における対応する特徴点のワールド座標系の位置情報とをホモグラフィ行列計算部１０６へ送ってもよい。なお、基準画像における各特徴点のワールド座標系の位置情報は、基準位置データを用いて求めることができる。

ホモグラフィ行列計算部１０６は、対応点設定部１０５から複数対の対応点が通知され、これらに基づいてホモグラフィ行列を計算する。ホモグラフィ行列計算部１０６は、計算したホモグラフィ行列をメタデータ生成部１０７へ送る。なお、ホモグラフィ行列を計算するための具体的技法は、機能構成の項目において説明される。

メタデータ生成部１０７は、ホモグラフィ行列計算部１０６からホモグラフィ行列を受け取る。メタデータ生成部１０７は、ホモグラフィ行列に基づいて、対象画像のメタデータを生成する。このメタデータは、対象画像に含まれる画素のワールド座標系の位置情報を示し得る。具体的には、メタデータは、対象画像に含まれる画素のピクセル座標系の位置情報をワールド座標系の位置情報に変換するために必要な情報、例えば変換式を含むことができる。

以上説明したように、適用例に係るメタデータ生成装置１００は、画角の変更が可能なカメラによって撮像された対象画像の撮像エリアを推定し、この情報に基づいて、基準画像とこれに含まれる画素のワールド座標系の位置情報を表す基準位置データとを取得する。そして、この位置特定装置は、対象画像に含まれる特徴点のピクセル座標系の位置情報と基準画像に含まれる対応する特徴点のワールド座標系の位置情報との関係を記述するホモグラフィ行列を計算し、これに基づいてメタデータを生成する。故に、この位置特定装置によれば、画角の変更可能なカメラによって撮像された画像データ（対象画像）のワールド座標系の位置情報を把握することができる。

§２ 構成例
［ハードウェア構成］
次に、図２を用いて、本実施形態に係る位置特定装置２００のハードウェア構成の一例について説明する。図２は、本実施形態に係る位置特定装置２００のハードウェア構成の一例を模式的に例示する。

図２に例示するように、本実施形態に係る位置特定装置２００は、制御部２１１と、記憶部２１２と、通信インタフェース２１３と、入力装置２１４と、出力装置２１５と、外部インタフェース２１６と、ドライブ２１７とが電気的に接続されたコンピュータであってよい。なお、図２では、通信インタフェース及び外部インタフェースをそれぞれ、「通信Ｉ／Ｆ」及び「外部Ｉ／Ｆ」と記載している。

制御部２１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などを含む。ＣＰＵは、記憶部２１２に格納されたプログラムをＲＡＭに展開する。そして、ＣＰＵがこのプログラムを解釈および実行することで、制御部２１１は、様々な情報処理、例えば、機能構成の項目において説明される構成要素の処理または制御を実行可能となる。

記憶部２１２は、いわゆる補助記憶装置であり、例えば、内蔵または外付けの、ハードディスクドライブ（ＨＤＤ：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ソリッドステートドライブ（ＳＳＤ：Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、若しくはフラッシュメモリなどの半導体メモリであり得る。記憶部２１２は、制御部２１１で実行されるプログラム（例えば、メタデータ生成処理を制御部２１１に実行させるためのプログラム）、制御部２１１によって使用されるデータ（例えば、各種画像データ、各種メタデータ）などを記憶する。

通信インタフェース２１３は、例えば、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）、移動通信（３Ｇ、４Ｇなど）およびＷＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのための各種無線通信モジュールであって、ネットワークを介して無線通信を行うためのインタフェースであってよい。また、通信インタフェース２１３は、無線通信モジュールに加えて、または、無線通信モジュールに代えて、有線ＬＡＮモジュールなどの有線通信モジュールをさらに備えていてもよい。

入力装置２１４は、例えばタッチスクリーン、キーボード、マウスなどのユーザ入力を受け付けるための装置を含んでもよい。また、入力装置２１４は、所定の物理量を測定し、センシングデータを生成および入力するセンサ、撮像を行って画像データを生成するカメラなどを含んでもよい。出力装置２１５は、例えば、ディスプレイ、スピーカなどの出力を行うための装置である。

外部インタフェース２１６は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、メモリカードスロットなどであり、外部装置と接続するためのインタフェースである。

ドライブ２１７は、例えば、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）ドライブ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）ドライブ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）ドライブなどである。ドライブ２１７は、記憶媒体２１８に記憶されたプログラムおよび／またはデータを読み込み、制御部２１１に渡す。なお、前述の記憶部２１２に記憶され得ると説明したプログラムおよびデータの一部または全部がドライブ２１７によって、記憶媒体２１８から読み込まれてもよい。

記憶媒体２１８は、コンピュータを含む機械が読み取り可能な形式で、プログラムおよび／またはデータを、電気的、磁気的、光学的、機械的または化学的作用によって蓄積する媒体である。記憶媒体２１８は、例えば、ＣＤ、ＤＶＤ、ＢＤなどの着脱可能なディスク媒体であるが、これに限られず、フラッシュメモリまたはその他の半導体メモリであり得る。

なお、位置特定装置２００の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部２１１は、複数のプロセッサを含んでもよい。位置特定装置２００は、提供されるサービス専用に設計された情報処理装置であってもよいし、汎用の情報処理装置、例えば、スマートフォン、タブレットＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ラップトップＰＣ、デスクトップＰＣなどであってもよい。また、位置特定装置２００は、複数台の情報処理装置などで構成されてもよい。

［機能構成］
次に、図３を用いて、本実施形態に係る位置特定装置２００の機能構成の一例を説明する。図３は、位置特定装置２００の機能構成の一例を模式的に示す。

図３に示されるとおり、位置特定装置２００は、対象画像取得部３０１と、画角変更判定部３０２と、撮像エリア推定部３０３と、基準データ取得部３０４と、特徴点抽出部３０５と、対応点設定部３０６と、ホモグラフィ行列計算部３０７と、メタデータ生成部３０８と、データ合成部３０９と、データ出力部３１０とを含む。

この位置特定装置２００は、画角の変更が可能なカメラ、例えばＰＴＺカメラによって撮像された画像データ（対象画像）を取得し、この対象画像のワールド座標系の位置を特定（位置情報を記述するメタデータを生成）する。具体的には、この位置情報は、対象画像に含まれる画素がワールド座標系のどの座標、例えばどの緯度および経度、に対応するかを示す。また、対象画像は、例えば道路を撮像したものであってよいが、これに限られない。

このメタデータは、例えばカメラの制御に利用されたり、対象画像の画像解析に利用されたりする。さらに、このメタデータは、例えば対象画像とともにデータ流通市場において売買の対象とされてもよい。この場合に、位置特定装置２００は、カメラ制御システム、画像解析システム、またはデータ流通システムを形成する種々の装置のいずれかに組み込まれてもよい。

すなわち、位置特定装置２００は、画像データを生成するカメラ装置に組み込まれてもよいし、このカメラ装置を制御する上位システム（カメラ制御サーバ）に組み込まれてもよいし、プラットフォームサーバ、マッチングサーバまたはアプリケーション装置（例えば、画像解析装置）に組み込まれてもよい。この場合に、位置特定装置２００は、当該位置特定装置２００が組み込まれた装置のハードウェアを使用できる。或いは、位置特定装置２００は、これらの装置とは独立した情報処理装置として構成されてもよい。

図４に、位置特定装置２００が含まれるシステムの一例を概略的に示す。このシステムは、説明の便宜上、カメラ制御システムと、画像解析システムと、データ流通システムとを組み合わせた一例であるが、これらの全てを組み合わせる必要はない。例えば、画像解析システムは、データ流通市場を介することなく、画像データおよびメタデータを取得して利活用することもできる。

図４のシステムは、カメラ装置４００−１，４００−２，・・・と、位置特定装置２００と、サーバ４１０と、アプリケーション装置４２０−１，４２０−２，・・・と、データベースシステム４３０とを含む。なお、図４に例示される各装置の数は例示に過ぎない。よって、各装置の符号に付された枝番号は特に区別せずに説明を続ける。図４の例では、位置特定装置２００は複数のカメラ装置４００に接続されているが、位置特定装置２００は１つのカメラ装置４００にのみ接続されてもよい。

カメラ装置４００は、撮像を行って画像データを生成するカメラと、当該カメラの画角を変更するための制御機構と、当該画像データを送信したり、画角制御信号を受信したりする通信Ｉ／Ｆと、カメラ、制御機構および通信Ｉ／Ｆを制御する制御部とを含む。

カメラ装置４００は、例えばネットワーク経由で位置特定装置２００およびサーバ４１０と接続できる。カメラ装置４００は、画像データを位置特定装置２００へ送信する。また、カメラ装置４００は、サーバ４１０から画角制御信号を受信し、これに従って、例えば、カメラのパン、チルトまたはズームなどを行う。また、カメラ装置４００は、画像データの売買マッチングを行うための提供側データカタログ（ＤＣ）をサーバ４１０へ送信してもよい。

提供側データカタログは、例えば、データカタログの番号、画像データの提供者、画像データの名称、画像データの撮像日時・撮像場所、撮像対象・特性、イベントデータ仕様、画像データの提供期間、取引条件、データ売買条件などの種々の項目を含むことができる。

位置特定装置２００は、データの送受信を行う通信Ｉ／Ｆと、メタデータを生成するための各種処理を行ったり、当該通信Ｉ／Ｆを制御したりする制御部とを含む。位置特定装置２００は、例えばネットワーク経由でサーバ４１０およびデータベースシステム４３０と接続できる。

位置特定装置２００は、カメラ装置４００から画像データを受信する。位置特定装置２００は、画像データの撮像エリアを推定する。位置特定装置２００は、撮像エリアの情報に基づいて必要な基準データを特定し、これをデータベースシステム４３０に要求する。データベースシステム４３０は要求された基準データを返し、位置特定装置２００がこれを受信する。それから、位置特定装置２００は、画像データおよび基準データに基づいてメタデータを生成し、画像データおよび基準データを合成してサーバ４１０へ送信する。また、位置特定装置２００は、カメラ装置４００によって生成された画像データの売買マッチングを行うための提供側ＤＣをサーバ４１０へ送信してもよい。

データベースシステム４３０は、基準データ、すなわち、基準画像および基準位置データを保持するデータベースを利用したサービスを提供する。具体的には、データベースシステム４３０は、例えば緯度および経度などの位置情報を検索条件として含む検索要求を受信すると、当該検索要求に合致した基準画像（例えば、指定された位置付近の衛星写真など）と当該基準画像に対応付けられた基準位置データとを返す。

なお、データベースシステム４３０は、図４のシステムとは独立した外部のシステムであり得る。データベースシステム４３０は、例えば、Ｇｏｏｇｌｅ Ｅａｒｔｈシステム、ＡＷ３Ｄシステム、ドイツのヒア社、またはダイナミック基盤企画株式会社が提供する自動運転サポート用の地図情報サービスシステムなどであってよい。

アプリケーション装置４２０は、データの送受信を行う通信Ｉ／Ｆと、画像データの利活用のための各種処理を行ったり、当該通信Ｉ／Ｆを制御したりする制御部とを含む。アプリケーション装置４２０は、例えばネットワーク経由でサーバ４１０と接続できる。

アプリケーション装置４２０は、サーバ４１０から売買マッチングの成立した画像データおよびメタデータを受信し、個々の利活用の目的に応じて画像データおよびメタデータを処理（例えば、画像解析など）する。また、アプリケーション装置４２０は、カメラ装置４００によって生成された画像データの売買マッチングを行うための利用側データカタログ（ＤＣ）をサーバ４１０へ送信してもよい。

ここで、利用側データカタログは、例えば、データカタログの識別情報、画像データの利用者、画像データの名称、画像データの撮像日時・撮像場所、撮像対象・特性、イベントデータ仕様、画像データの利用期間、取引条件、データ売買条件などの種々の項目を含むことができる。

サーバ４１０は、データの送受信を行う通信Ｉ／Ｆと、データを保存する記憶部と、当該記憶部および通信Ｉ／Ｆを制御したり、カメラ装置４００の画角制御、売買マッチングを行ったりする制御部とを含む。サーバ４１０は、例えばネットワーク経由で位置特定装置２００、カメラ装置４００およびアプリケーション装置４２０と接続できる。

サーバ４１０は、位置特定装置２００から画像データおよびメタデータを受信する。そして、サーバ４１０は、この画像データおよびメタデータを蓄積する。メタデータによれば、画像データに含まれる画素のワールド座標系の位置情報が把握できる。故に、例えばワールド座標系の位置情報を検索キーとして、当該位置情報に対応付けられた近時の画像データを提供可能なデータベースサービスを実現できる。

また、サーバ４１０は、メタデータに基づいて画角制御信号を生成し、カメラ装置４００へ送信してもよい。例えば、サーバ４１０は、指定されたワールド座標系の位置情報に画像データの例えば画面中心の位置情報が近づくようにカメラ装置４００の画角をメタデータに基づいてフィードバック制御してもよい。これにより、所望のエリアを写すようにカメラ装置４００の画角を制御することができる。

さらに、サーバ４１０は、提供側データカタログおよび利用側データカタログをそれぞれ取得して保存し、両者を比較して売買マッチングを行ってもよい。提供側データカタログおよび利用側データカタログは、位置特定装置２００、カメラ装置４００、アプリケーション装置４２０または他の通信装置から受信することで取得されてもよいし、例えば直接入力などの他の手段により取得されてもよい。サーバ４１０は、利用側データカタログとマッチする提供側データカタログを発見すると、当該提供側データカタログに対応する画像データ（および、もしあればメタデータ）を利用側に提供する。すなわち、サーバ４１０は、画像データおよびメタデータをアプリケーション装置４２０へ送信する。

なお、システムの形態は、図４の例に限定されない。例えば、アプリケーション装置４２０は、サーバ４１０を介することなく、アプリケーション装置４２０へ直接的に画像データおよびメタデータを送信してもよい。

また、サーバ４１０は、売買マッチングの成立後即座に画像データおよびメタデータをアプリケーション装置４２０へ送信せず、一旦は提供側または利用側に売買の承認を求めてもよい。また、サーバ４１０は、画像データおよびメタデータをアプリケーション装置４２０へ送信せずに、データフロー制御を行ってもよい。例えば、サーバ４１０は、画像データおよびメタデータを購入したアプリケーション装置４２０へ当該画像データおよびメタデータを送信するように位置特定装置２００に指図してもよい。或いは、サーバ４１０は、カメラ制御を行うサーバと、売買マッチングを行うサーバと、画像データおよびメタデータを蓄積するサーバとに分割されてもよい。

さらに、サーバ４１０は、売買マッチングを直接的に行わずに、図示されないマッチングサーバに売買マッチングを委ねてもよい。このマッチングサーバは、複数のプラットフォームを横断した売買マッチングを行うことで、プラットフォームを区別しない流通市場を実現してもよいし、プラットフォームを介さずに提供される画像データおよびメタデータ（例えば、個人的に設置されたカメラ装置４００から収集されるデータ）を売買マッチングの対象に加えることで、データの出所を区別しない流通市場を実現してもよい。

以下、図３に例示される位置特定装置２００の個々の構成要素を説明する。
対象画像取得部３０１は、画角の変更が可能なカメラによって撮像された画像データを対象画像として取得し、画角変更判定部３０２と、特徴点抽出部３０５と、データ合成部３０９とへ送る。

位置特定装置２００がカメラ装置４００に組み込まれている場合には、対象画像取得部３０１は当該カメラ装置４００に含まれるカメラから対象画像を取得してもよい。他方、位置特定装置２００がカメラ装置４００に組み込まれていない場合には、対象画像取得部３０１は当該カメラ装置４００を送信元とする対象画像を外部装置から受信することで、対象画像を取得できる。

画角変更判定部３０２は、対象画像取得部３０１から対象画像を受け取る。画角変更判定部３０２は、この対象画像（便宜的に、現行の対象画像と称する）の画角が、過去の対象画像の画角と同じであるか否かを判定する。

両者の画角が同じであれば、現行の対象画像について計算されるホモグラフィ行列は、過去の対象画像について計算されたホモグラフィ行列と同じとなる。故に、過去の対象画像のメタデータを再利用することで、現行の対象画像のメタデータを軽負荷で生成することができる。そこで、画角変更判定部３０２は、例えばメタデータ再利用指令をメタデータ生成部３０８へ送ってもよい。

他方、両者の画角が異なれば、すなわち画角の変更があったならば、現行の対象画像について計算されるホモグラフィ行列は、過去の対象画像について計算されたホモグラフィ行列と異なることになる。故に、現行の対象画像には新たにメタデータを生成する必要があり、過去の対象画像のメタデータを再利用することはできない。そこで、画角変更判定部３０２は、例えばメタデータ更新指令を、現行の対象画像とともに撮像エリア推定部３０３へ送ってもよい。

図５に画角変更判定部３０２の動作を例示する。まず、画角変更判定部３０２は、現行の対象画像および過去の（Ｌ−１）枚の対象画像を準備する（ステップＳ５０１）。ここで、Ｌは、後述されるＳ（Ｓは、２以上の整数）よりも大きな整数である。すなわち、Ｌ−１≧２である。

画角変更判定部３０２は、ステップＳ５０１において準備したＬ枚の対象画像に基づいて、画角変更の判定指標を計算する（ステップＳ５０２）。判定指標は、例えば以下の数式（１）に示す、長時間背景と短時間背景との差であり得る。

数式（１）において、ＩＭｉは、ｉ＝１の場合に現行の対象画像を表し、ｉ＝２の場合に現行の対象画像の１つ前の対象画像を表し、ｉ＝ｊ（ここでｊはＬ以下の任意の自然数、ただし第１項についてはｉ≦Ｓ）の場合に現行の対象画像から見て（ｊ−１）枚前の対象画像を表す。数式（１）の第１項は、直近Ｓ枚の対象画像の平均、すなわち短時間背景を表す。他方、数式（１）の第２項は、直近Ｌ枚の対象画像の平均、すなわち長時間背景を表す。画角の変更がなければ、短時間背景および長時間背景は動体以外の部分では概ね一致するので、数式（１）の判定指標は小さい値となる。他方、画角変更があれば、短時間背景では変更後の画角の対象画像の影響が強く、長時間背景では変更後の画角の対象画像の影響が弱くなる。故に、両者の間に有意な差が生じる。

画角変更判定部３０２は、数式（１）の判定指標を閾値（＞０）と比較する（ステップＳ５０３）。判定指標が閾値を上回れば画角が変更されたと判定し、処理はステップＳ５０４へ進む。他方、判定指標が閾値以下であれば画角が変更されていないと判定し、処理はステップＳ５０５へ進む。

ステップＳ５０４において、画角変更判定部３０２は、メタデータ更新指令を現行の対象画像と共に撮像エリア推定部３０３へ送る。ステップＳ５０５において、画角変更判定部３０２は、メタデータ再利用指令をメタデータ生成部３０８へ送る。

なお、ここで説明した画角変更の判定技法は例示に過ぎない。例えば、画角変更判定部３０２は、サーバ４１０からカメラ装置４００へ伝送される画角制御信号に基づいて画角変更を判定することもあり得る。或いは、画角変更判定部３０２は、カメラの撮像状態の推定に利用可能な装置、例えばカメラ装置４００に内蔵または外付けされた水準器または姿勢検知装置の出力に基づいて、画角の変更を判定することもあり得る。

撮像エリア推定部３０３は、画角変更判定部３０２が画角が変更されたと判定した場合に、メタデータ更新指令および対象画像を受け取る。撮像エリア推定部３０３は、対象画像の撮像エリアを、対象画像に基づいて推定する。撮像エリア推定部３０３は、推定した撮像エリア（推定撮像エリア）を基準データ取得部３０４へ通知する。例えば、撮像エリア推定部３０３は、推定撮像エリアの位置情報（例えば、緯度および経度）を基準データ取得部３０４に送ってもよい。

具体的には、まず、撮像エリア推定部３０３は、対象画像が後述する特定の被写体を含むか否かを判定してもよい。この特定の被写体は、ワールド座標系の位置情報と対応付けて事前に登録されているものとする。対象画像がかかる特定の被写体を含んでいれば、撮像エリア推定部３０３は、対象画像の撮像エリアは当該特定の被写体に対応付けられた位置情報の付近であると推定できる。

撮像エリア推定部３０３は、例えば学習済みモデルを設定したニューラルネットワークに対象画像を入力データとして与え、対象画像が特定の被写体を含んでいるか否かの判定を行ってもよい。

この学習済みモデルは、学習用画像データが特定の被写体を含んでいるかを判定する機械学習を行うことで作成されてよい。例えば、この学習済みモデルは、特定の被写体の写った画像データを、正解ラベル付きの学習データとして用いて教師付き学習を行うことで作成可能である。また、特定の被写体の写っていない画像データを、不正解ラベル付きの学習データとして用いてもよい。

なお、かかる機械学習は、対象画像に写り込む可能性のある、すなわち、カメラ装置４００の撮像可能範囲内に存在する特定の被写体のみを対象に行われてもよい。換言すれば、対象画像に特定の被写体が写り込む可能性がない場合には、対象画像が特定の被写体を含むか否かの判定をスキップしてもよい。

特定の被写体は、例えば、道路上に設置されたキロポスト（距離標）、道路基準点などその位置情報を参照可能な設備であり得る。キロポストは、例えば図６および図７に示されるような、高速道路、国道、その他の主要道路、鉄道などに設置され、その設置位置から起点までの距離を表す標識である。

道路基準点は、道路に関わる様々な現地情報を迅速かつユニバーサルに発信、蓄積、管理するための共通的な基盤であり、精度の高い位置情報を持つ。現在、道路基準点は、例えば図８に示されるような、キロポスト付近に設置された簡易な鋲であり、その緯度、経度および標高は公共測量により計測され、これらの位置情報はインターネット経由で取得可能である。また、今後、道路基準点にＩＣ（ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）タグを取り付けることが計画されており、これにより現場で位置情報を直接取得することもできるようになる。

撮像エリア推定部３０３は、対象画像が特定の被写体を含まない場合には、複数のエリアのうち、対象画像に含まれる対象物と見え方において類似する画像が撮像される１つのエリアを選択する。ここで、各エリアは、ワールド座標系の位置情報と対応付けて事前に登録されているものとする。また、対象物とは、例えば人、車、構造物などであり得る。画角が異なれば同じ対象物でも見え方が異なるので、対象物の見え方において類似する画像が撮像されるエリアは対象画像の撮像エリアに近い可能性が高い。そして、撮像エリア推定部３０３は、対象画像の撮像エリアは、選択したエリアに対応付けられた位置情報の付近であると推定する。

例えば、図９に示されるように、道路上に約５００ｍ間隔でＰＴＺカメラが設置されていると仮定する。実際に、具体的には、阪神高速道路、ＮＥＸＣＯ西日本などでは、道路監視用のＰＴＺカメラを５００ｍ間隔で設置しており、各カメラは設置位置（支柱がある場所）から上流/下流の約２５０ｍを監視する。この場合に、各ＰＴＺカメラの撮像エリアを、図１０および図１１に例示されるように９つに大まかに区分することができる。但し、エリアの区分は、例示に過ぎず、これと異なるようにエリアが区分されてもよい。

エリアは、例えば、ＰＴＺカメラが設置された支柱から見て、右手側から順に、ＲＡＬ（Ｒｉｇｈｔ Ａｒｅａ Ｌｏｎｇ）、ＲＡＭ（Ｒｉｇｈｔ Ａｒｅａ Ｍｉｄｄｌｅ）、ＲＡＳ（Ｒｉｇｈｔ Ａｒｅａ Ｓｈｏｒｔ）、ＣＡＲ（Ｃｅｎｔｒａｌ Ａｒｅａ Ｒｉｇｈｔ）、ＣＡＭ（Ｃｅｎｔｒａｌ Ａｒｅａ Ｍｉｄｄｌｅ）、ＣＡＬ（Ｃｅｎｔｒａｌ Ａｒｅａ Ｌｅｆｔ）、ＬＡＳ（Ｌｅｆｔ Ａｒｅａ Ｓｈｏｒｔ）、ＬＡＭ（Ｌｅｆｔ Ａｒｅａ Ｍｉｄｄｌｅ）、ＬＡＬ（Ｌｅｆｔ Ａｒｅａ Ｌｏｎｇ）などと名付けることができる。また、各エリアは、例えばＰＴＺカメラが設置された支柱を基準（０ｍ）として、右手側を正、左手側を負とすると、ＲＡＬを−２５０ｍ〜−１６０ｍ区間、ＲＡＭを−１６０ｍ〜９０ｍ区間、ＲＡＳを−９０ｍ〜−４０ｍ区間、ＣＡＲを−４０ｍ〜−１０ｍ区間、ＣＡＭを−１０ｍ〜＋１０ｍ区間、ＣＡＬを＋１０〜＋４０ｍ区間、ＬＡＳを＋４０ｍ〜＋９０ｍ区間、ＬＡＭを＋９０ｍ〜＋１６０ｍ区間、ＬＡＬを＋１６０〜＋２５０ｍ区間などと定めることができる。

エリアの位置情報は例えば測量により正確に求められてもよいが、ＰＴＺカメラが設置された支柱の位置情報を例えば測量またはその他の手段により取得できればエリアの大凡の位置情報は幾何学的に計算することもできる。

この例では、撮像エリア推定部３０３は、これら９つのエリアのうち、対象画像と対象物の見え方において類似する画像が撮像される１つのエリアを選択する。撮像エリア推定部３０３は、対象画像と対象物の見え方において類似する画像が撮像される１つのエリアを、例えば、機械学習アプローチ、または領域解析アプローチにより決定してもよい。

機械学習アプローチでは、エリア毎に撮像された対象物の画像を用いて全対象物の見え方を事前に機械学習することで作成した学習済みモデルを利用する。そして、撮像エリア推定部３０３は、この学習済みモデルが設定されたニューラルネットワークに対象画像または対象画像から抽出された対象物の画像を入力データとして与え、当該対象物の見え方において類似する画像が撮像されるエリアを決定する。

領域解析アプローチでは、対象画像に含まれる対象物が抽出され、その一部または全部の形状、面積などの特徴が各エリアにおいて撮像された対象物の画像と比較される。比較結果に基づいて、撮像エリア推定部３０３は、対象画像に含まれる対象物と見え方において類似する画像が撮像されるエリアを決定する。

基準データ取得部３０４は、撮像エリア推定部３０３から対象画像の推定撮像エリアを通知される。基準データ取得部３０４は、この推定撮像エリアの情報に基づいて、基準画像および基準位置データを取得する。

具体的には、基準データ取得部３０４は、推定撮像エリアの位置情報を検索条件として含む検索要求を生成し、データベースシステム４３０へネットワーク経由で送信してもよい。そして、基準データ取得部３０４は、データベースシステム４３０からネットワーク経由で基準画像および基準位置データを受信し、基準画像を特徴点抽出部３０５へ送り、基準位置データを対応点設定部３０６へ送る。

或いは、位置特定装置２００の運用時に、基準データ取得部３０４はデータベースシステム４３０にアクセスしないようにしてもよい。すなわち、位置特定装置２００の運用前、例えばカメラ装置４００の設置時に、当該カメラ装置４００の撮像可能範囲内の全ての基準画像および基準位置データをデータベースシステム４３０から取得し、位置特定装置２００内にローカルなデータベースを構築しておいてもよい。この場合に、基準データ取得部３０４は、このローカルなデータベースに対して検索要求を送ることで、ネットワークへのアクセスが不可能な環境であっても、基準画像および基準位置データを取得できる。

特徴点抽出部３０５は、対象画像取得部３０１から対象画像を取得し、基準データ取得部３０４から基準画像を取得する。特徴点抽出部３０５は、対象画像から複数の特徴点（第１の特徴点群）およびこれらの特徴量を抽出する。また、特徴点抽出部３０５は、基準画像から複数の特徴点（第２の特徴点群）およびこれらの特徴量を抽出する。特徴点抽出部３０５は、第１の特徴点群および第２の特徴点群とこれらの特徴量とを対応点設定部３０６へ送る。

具体的には、特徴点抽出部３０５は、例えばＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）などのアルゴリズムを用いて、特徴点およびその特徴量を抽出してよい。

また、特徴点抽出部３０５は、例えば規制標示または指示標示を表す画素を特徴点群の候補として抽出してもよい。これらは、路面に描かれた静的な標識であり、経時変化が乏しいので、例えば基準画像の撮像日時と対象画像の撮像日時とが離れている場合にも比較に適している。規制標示は、図１３に例示される最高速度を示す標識、図１４に例示される進行方向別通行区分を示す標識などを含み得る。また、指示標示は、図１５に例示される安全地帯または路上障害物接近を示す標識などを含み得る。

対応点設定部３０６は、特徴点抽出部３０５から第１の特徴点群および第２の特徴点群とこれらの特徴量とを受け取る。対応点設定部３０６は、図１６に例示されるように、第１の特徴点群と第２の特徴点群との間で対応する特徴点対（対応点）を複数対設定する。具体的には、対応点設定部３０６は、第１の特徴点群に属する複数の特徴点と第２の特徴点群に属する複数の特徴点との組み合わせのうち特徴量の差分スコアの合計が最小となる組み合わせを対応点として設定してもよい。

対応点設定部３０６は、複数対の対応点をホモグラフィ行列計算部３０７に通知する。例えば、対応点設定部３０６は、対象画像における特徴点のピクセル座標系の位置情報と、基準画像における対応する特徴点のワールド座標系の位置情報とをホモグラフィ行列計算部３０７へ送ってもよい。なお、基準画像における各特徴点のワールド座標系の位置情報は、基準位置データを用いて求めることができる。

ホモグラフィ行列計算部３０７は、対応点設定部３０６から複数対の対応点が通知され、これらに基づいてホモグラフィ行列を計算する。ホモグラフィ行列計算部３０７は、計算したホモグラフィ行列をメタデータ生成部３０８へ送る。

ホモグラフィ行列は、対象画像に含まれる画素のピクセル座標系の位置情報と、基準画像に含まれる画素のワールド座標系の位置情報との関係を記述する。具体的には、ホモグラフィ行列は、下記数式（２）で表される。

数式（２）において、（ｘ，ｙ）は対象画像における特徴点のピクセル座標系の位置情報（座標）を表し、（ｘ’，ｙ’）は基準画像における対応する特徴点のワールド座標系の位置情報（座標）を表す。ｈ_ｉｊ（ｉ＝１〜３の整数、ｊ＝１〜３の整数）はホモグラフィ行列の成分である。数式（２）のホモグラフィ行列によれば、対象画像に含まれる画素の位置情報をピクセル座標系からワールド座標系に変換することができる。

ホモグラフィ行列計算部３０７は、複数対の対応点を数式（２）に代入し、各成分ｈ_ｉｊを計算するための連立方程式を解き、ホモグラフィ行列を得る。なお、成分ｈ_ｉｊのうち８つは独立なパラメータであって、１つは任意のパラメータである。よって、連立方程式を解くには、少なくとも４対の対応点が必要である。

なお、ホモグラフィ行列計算部３０７は、カメラの位置または姿勢の情報を取得し、この情報に基づいてホモグラフィ行列を補正してもよい。これにより、ピクセル座標系の位置情報からワールド座標系の位置情報への変換精度を向上させることができる。

メタデータ生成部３０８は、画角変更判定部３０２が画角が変更されたと判定した場合に、ホモグラフィ行列計算部３０７からホモグラフィ行列を受け取る。メタデータ生成部３０８は、ホモグラフィ行列に基づいて、対象画像のメタデータを生成する。メタデータ生成部３０８は、生成したメタデータをデータ合成部３０９へ送る。

具体的には、メタデータ生成部３０８は、対象画像に含まれる画素のワールド座標系の位置情報を示し得るメタデータを生成する。例えば、メタデータ生成部３０８は、ホモグラフィ行列の全成分、若しくは座標系の変換に必要な成分（ｈ_１１、ｈ_１２、ｈ_１３、ｈ_２１、ｈ_２２およびｈ_２３）、座標系の変換式（ｘ’＝ｈ_１１＊ｘ＋ｈ_１２＊ｙ＋ｈ_１３、およびｙ’＝ｈ_２１＊ｘ＋ｈ_２２＊ｙ＋ｈ_２３）、または対象画像に含まれる画素の一部または全部のワールド座標系の位置情報などを含み得る。

他方、メタデータ生成部３０８は、画角変更判定部３０２が画角が変更されていないと判定した場合に、メタデータ再利用指令を受け取る。この場合に、メタデータ生成部３０８は、過去に生成したメタデータを、現行の対象画像のメタデータとして再利用する。

まとめると、特徴点抽出部３０５、対応点設定部３０６、ホモグラフィ行列計算部３０７およびメタデータ生成部３０８は、図１２に例示されるように動作する。
特徴点抽出部３０５は、対象画像から第１の特徴点群およびこれらの特徴量を抽出する（ステップＳ６０１）。また、特徴点抽出部３０５は、基準画像から第２の特徴点群およびこれらの特徴量を抽出する（ステップＳ６０２）。なお、ステップＳ６０１およびステップＳ６０２は、逆の順序で行われてもよいし、同時に行われてもよい。

対応点設定部３０６は、ステップＳ６０１において抽出された第１の特徴点群と、ステップＳ６０２において抽出された第２の特徴点群との間で、複数対（例えば４対）の対応点を設定する（ステップＳ６０３）。

ホモグラフィ行列計算部３０７は、ステップＳ６０３において設定された複数対の対応点に基づいて、ホモグラフィ行列を計算する（ステップＳ６０４）。メタデータ生成部３０８は、ステップＳ６０４において計算されたホモグラフィ行列に基づいて対象画像のメタデータを生成する（ステップＳ６０５）。

データ合成部３０９は、対象画像取得部３０１から対象画像を受け取り、メタデータ生成部３０８からメタデータを受け取る。データ合成部３０９は、両者を合成し、メタデータ付きの画像データを生成する。データ合成部３０９は、メタデータ付きの画像データをデータ出力部３１０へ送る。

データ出力部３１０は、データ合成部３０９からメタデータ付きの画像データを受け取り、これを位置特定装置２００の外部へ出力する。例えば、データ出力部３１０は、メタデータ付きの画像データをサーバ４１０へ送信してもよい。

＜その他＞
位置特定装置２００の各機能に関しては後述する動作例で詳細に説明する。なお、本実施形態では、位置特定装置２００の各機能がいずれも汎用のＣＰＵによって実現される例について説明している。しかしながら、以上の機能の一部又は全部が、１または複数の専用のプロセッサにより実現されてもよい。また、位置特定装置２００の機能構成に関して、実施形態に応じて、適宜、機能の省略、置換及び追加が行われてもよい。

§３ 動作例
次に、図１７を用いて、位置特定装置２００の動作例を説明する。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

図１７は、位置特定装置２００の動作の一例を示すフローチャートである。
まず、対象画像取得部３０１は、対象画像を取得する（ステップＳ７０１）。次に、画角変更判定部３０２は、ステップＳ７０１において取得された対象画像に基づいて、画角が変更されたか否かを判定する（ステップＳ７０２）。このステップＳ７０２において、対象画像取得部３０１は、図５に例示したように動作してもよい。

ステップＳ７０２の判定結果が画角が変更されたことを示すならば処理はステップＳ７０４へ進み、画角が変更されていないことを示すならば処理はステップＳ７０７へ進む（ステップＳ７０３）。

ステップＳ７０４において、撮像エリア推定部３０３は、ステップＳ７０１において取得された対象画像の撮像エリアを、当該対象画像に基づいて推定する。次に、基準データ取得部３０４は、ステップＳ７０４において推定された撮像エリアの情報に基づいて、基準データを取得する（ステップＳ７０５）。

続いて、対象画像および基準画像からの特徴点の抽出、対応点の設定、ホモグラフィ行列の計算およびメタデータの生成が順次行われる（ステップＳ７０６）。このステップＳ７０６において、特徴点抽出部３０５、対応点設定部３０６、ホモグラフィ行列計算部３０７およびメタデータ生成部３０８は、図１２に例示したように動作してもよい（ステップＳ７０６）。ステップＳ７０６の次に処理はステップＳ７０８へ進む。

ステップＳ７０７において、メタデータ生成部３０８は、過去の対象画像について生成したメタデータを、ステップＳ７０１において取得された対象画像のメタデータとして再利用する。ステップＳ７０７の次に処理はステップＳ７０８へ進む。

データ合成部３０９は、ステップＳ７０１において取得された対象画像と、ステップＳ７０６またはステップＳ７０７において生成されたメタデータを合成し、メタデータ付きの画像データを生成する（ステップＳ７０８）。

データ出力部３１０は、ステップＳ７０８において生成されたメタデータ付きの画像データを位置特定装置２００の外部へ出力する（ステップＳ７０９）。

［作用・効果］
以上説明したように、本実施形態では、位置特定装置は、画角の変更が可能なカメラによって撮像された対象画像の撮像エリアを推定し、この情報に基づいて、基準画像とこれに含まれる画素のワールド座標系の位置情報を表す基準位置データとを取得する。そして、この位置特定装置は、対象画像に含まれる特徴点のピクセル座標系の位置情報と基準画像に含まれる対応する特徴点のワールド座標系の位置情報との関係を記述するホモグラフィ行列を計算し、これに基づいてメタデータを生成する。故に、この位置特定装置によれば、画角の変更可能なカメラによって撮像された画像データ（対象画像）の位置情報を把握することができる。

また、この位置特定装置によれば、例えばＰＴＺカメラなどの画角の変更が可能なカメラを用いた道路監視システムの利便性をさらに向上させることができる。例えば、道路事業者は、管制センタから、あるキロポスト付近の落下物、障害物などの現況確認を依頼されるかもしれない。一般に、キロポストが特定されただけでは、道路事業者が管理する膨大なカメラのいずれが当該キロポスト付近を写しているのかを直ちに把握することは困難である。しかしながら、この位置特定装置によって生成されるメタデータを用いることで、各カメラの撮像した画像データに含まれる画素のピクセル座標系の位置情報をワールド座標系の位置情報に変換することができる。故に、例えばキロポストのワールド座標系の位置情報を検索キーとして、当該位置情報に対応付けられた画像データ、またはこの画像データのソースであるカメラを検索すれば、所望の場所の現況確認を即座に実現することができる。

また、この位置特定装置は、画像データ上の距離情報を計算可能とするので、当該画像データの画像解析、例えば特定の対象物の挙動解析、に必要なパラメータを効率的に作成することに寄与する。ひいては、画角の変更が可能なカメラによって撮像された画像データの利活用を促進することができる。

さらに、この位置特定装置によれば、画像データに含まれる各画素のワールド座標系の位置情報が参照可能となる。故に、かかる位置情報に基づいて複数の異なる画像データをつなぎ合わせ、広い範囲を捉える画像データを生成し、これに対して例えば画像解析などの利活用を行うことが可能となる。

§４ 変形例
以上、本開示の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本開示の例示に過ぎない。本開示の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。

＜４．１＞
例えば、位置特定装置２００はカメラ装置に組み込まれ得る。図１８は、位置特定装置２００を組み込んだカメラ装置８００の機能構成の一例を模式的に示す。なお、このカメラ装置８００のハードウェア構成は、図２に示した構成例と同一または類似であり得る。
図１８のカメラ装置８００は、位置特定装置２００と、カメラ８０１と、送信部８０２と、受信部８０３と、制御機構８０４とを含む。

カメラ８０１は、撮像を行い、画像データを生成する。カメラ８０１は、画像データを位置特定装置２００へ送る。この画像データは、位置特定装置において対象画像として扱われる。カメラ８０１の画角は、制御機構８０４によって制御される。すなわち、カメラ８０１の画角は、制御機構８０４によって拡大・縮小されたり、水平または垂直方向に移動されたりする。

位置特定装置２００は、カメラ８０１から画像データ（対象画像）を取得する。位置特定装置２００は、前述のように動作することで、メタデータ付きの画像データを生成し、送信部８０２へ送る。

送信部８０２は、位置特定装置２００からメタデータ付きの画像データを受け取る。送信部８０２は、このメタデータ付きの画像データを、外部装置、例えば、サーバ、アプリケーション装置などへ送信する。

受信部８０３は、例えば、外部装置（例えば、カメラ制御サーバ）から画角制御信号を受け取り、制御機構８０４へ送る。制御機構８０４は、受信部８０３から画角制御信号を受け取り、これに従ってカメラ８０１の画角を制御する。すなわち、制御機構８０４は、カメラ８０１の画角を拡大・縮小したり、水平または垂直方向に移動したりする。なお、制御機構８０４は、画角の拡大・縮小（すなわち、ズーム）を行うための機構と、画角を水平方向に移動させる（すなわち、パン）ための機構と、画角を垂直方向に移動させる（すなわち、チルト）ための機構とに分割されてもよい。

以上説明したように、変形例＜４．１＞では、実施形態に係る位置特定装置２００がカメラ装置８００に組み込まれる。故に、この変形例によれば、画像データに加えて、当該画像データのワールド座標系の位置を特定（位置情報を記述するメタデータを生成）するインテリジェントなカメラ装置８００を提供することができる。また、この変形例によれば、位置特定装置２００を、カメラ装置８００のプロセッサおよびメモリなどのハードウェア資源を利用して実現することができる。

ただし、ここまで説明した実施形態は全て、あらゆる点において本開示の例示に過ぎない。本開示の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本開示の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、各実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。

上記各実施形態の一部または全部は、特許請求の範囲のほか以下に示すように記載することも可能であるが、これに限られない。

画角の変更が可能なカメラによって撮像された第１の対象画像の撮像エリアを推定する推定部（１０２）と、
推定された前記撮像エリアの情報に基づいて、基準画像と前記基準画像に含まれる画素のワールド座標系の第１の位置情報を表す基準位置データとを取得する取得部（１０３）と、
前記第１の対象画像に含まれる第１の特徴点群と前記基準画像に含まれる第２の特徴点群とを抽出する抽出部（１０４）と、
抽出された前記第１の特徴点群および前記第２の特徴点群の間で複数対の対応点を設定する設定部（１０５）と、
設定された前記複数対の対応点に基づいて、前記第１の対象画像に含まれる画素のピクセル座標系の第２の位置情報と前記第１の位置情報との関係を記述するホモグラフィ行列を計算する計算部（１０６）と、
前記ホモグラフィ行列に基づいて前記第１の対象画像の第１のメタデータを生成する生成部（１０７）と
を具備する、位置特定装置。

１００，２００・・・位置特定装置
１０１，３０１・・・対象画像取得部
１０２，３０３・・・撮像エリア推定部
１０３，３０４・・・基準データ取得部
１０４，３０５・・・特徴点抽出部
１０５，３０６・・・対応点設定部
１０６，３０７・・・ホモグラフィ行列計算部
１０７，３０８・・・メタデータ生成部
２１１・・・制御部
２１２・・・記憶部
２１３・・・通信Ｉ／Ｆ
２１４・・・入力装置
２１５・・・出力装置
２１６・・・外部Ｉ／Ｆ
２１７・・・ドライブ
２１８・・・記憶媒体
３０２・・・画角変更判定部
３０９・・・データ合成部
３１０・・・データ出力部
４００，８００・・・カメラ装置
４１０・・・サーバ
４２０・・・アプリケーション装置
４３０・・・データベースシステム
８０１・・・カメラ
８０２・・・送信部
８０３・・・受信部
８０４・・・制御機構

Claims (9)

1. 画角の変更が可能なカメラによって撮像された第１の対象画像の撮像エリアを推定する推定部と、
   推定された前記撮像エリアの情報に基づいて、基準画像と前記基準画像に含まれる画素のワールド座標系の第１の位置情報を表す基準位置データとを取得する取得部と、
   前記第１の対象画像に含まれる第１の特徴点群と前記基準画像に含まれる第２の特徴点群とを抽出する抽出部と、
   抽出された前記第１の特徴点群および前記第２の特徴点群の間で複数対の対応点を設定する設定部と、
   設定された前記複数対の対応点に基づいて、前記第１の対象画像に含まれる画素のピクセル座標系の第２の位置情報と前記第１の位置情報との関係を記述するホモグラフィ行列を計算する計算部と、
   前記ホモグラフィ行列に基づいて前記第１の対象画像の第１のメタデータを生成する生成部と、
   前記第１の対象画像よりも後に前記カメラにより撮像された第２の対象画像が得られた場合に、前記第２の対象画像および前記第１の対象画像を含む過去の第１の枚数からなる対象画像群の平均として表される短時間背景と、前記第２の対象画像および前記第１の対象画像を含む過去の前記第１の枚数より多い第２の枚数からなる対象画像群の平均として表される長時間背景との差を求め、求められた前記差が閾値以下であるか否かを判定する判定部と
   を具備し、
   前記生成部は、前記判定部により前記差が閾値以下であると判定された場合に、前記第１のメタデータを前記第２の対象画像の第２のメタデータとして再利用する
   位置特定装置。
2. 前記推定部は、ワールド座標系の位置情報と対応付けて事前に登録された特定の被写体を前記第１の対象画像が含むか否かを判定し、前記第１の対象画像が前記特定の被写体を含む場合には、当該特定の被写体に対応付けられた位置情報に基づいて前記第１の対象画像の撮像エリアを推定する、請求項１に記載の位置特定装置。
3. 前記特定の被写体は、距離標または道路基準点を含む、請求項２に記載の位置特定装置。
4. 前記推定部は、ワールド座標系の位置情報と対応付けて事前に登録された複数のエリアのうち、前記第１の対象画像に含まれる対象物と見え方において類似する画像が撮像される１つのエリアを選択し、選択したエリアに対応付けられた位置情報に基づいて前記第１の対象画像の撮像エリアを推定する、請求項１に記載の位置特定装置。
5. 前記抽出部は、路面に描かれた規制標示または指示標示を表す画素を前記第１の特徴点群または前記第２の特徴点群の候補として抽出する、請求項１乃至請求項４のいずれか１項に記載の位置特定装置。
6. 請求項１乃至請求項５のいずれか１項に記載の位置特定装置と、
   前記カメラと
   を具備する、カメラ装置。
7. 前記カメラは、ＰＴＺ（Ｐａｎ−Ｔｉｌｔ−Ｚｏｏｍ）カメラである、請求項６に記載のカメラ装置。
8. コンピュータが、
   画角の変更が可能なカメラによって撮像された第１の対象画像の撮像エリアを推定することと、
   推定された前記撮像エリアの情報に基づいて、基準画像と前記基準画像に含まれる画素のワールド座標系の第１の位置情報を表す基準位置データとを取得することと、
   前記第１の対象画像に含まれる第１の特徴点群と前記基準画像に含まれる第２の特徴点群とを抽出することと、
   抽出された前記第１の特徴点群および前記第２の特徴点群の間で複数対の対応点を設定することと、
   設定された前記複数対の対応点に基づいて、前記第１の対象画像に含まれる画素のピクセル座標系の第２の位置情報と前記第１の位置情報との関係を記述するホモグラフィ行列を計算することと、
   前記ホモグラフィ行列に基づいて前記第１の対象画像の第１のメタデータを生成することと、
   前記第１の対象画像よりも後に前記カメラにより撮像された第２の対象画像が得られた場合に、前記第２の対象画像および前記第１の対象画像を含む過去の第１の枚数からなる対象画像群の平均として表される短時間背景と、前記第２の対象画像および前記第１の対象画像を含む過去の前記第１の枚数より多い第２の枚数からなる対象画像群の平均として表される長時間背景との差を求め、求められた前記差が閾値以下であるか否かを判定することと、
   前記差が閾値以下であると判定された場合に、前記第１のメタデータを前記第２の対象画像の第２のメタデータとして再利用することと
   を具備する、位置特定方法。
9. コンピュータに、
   画角の変更が可能なカメラによって撮像された第１の対象画像の撮像エリアを推定することと、
   推定された前記撮像エリアの情報に基づいて、基準画像と前記基準画像に含まれる画素のワールド座標系の第１の位置情報を表す基準位置データとを取得することと、
   前記第１の対象画像に含まれる第１の特徴点群と前記基準画像に含まれる第２の特徴点群とを抽出することと、
   抽出された前記第１の特徴点群および前記第２の特徴点群の間で複数対の対応点を設定することと、
   設定された前記複数対の対応点に基づいて、前記第１の対象画像に含まれる画素のピクセル座標系の第２の位置情報と前記第１の位置情報との関係を記述するホモグラフィ行列を計算することと、
   前記ホモグラフィ行列に基づいて前記第１の対象画像の第１のメタデータを生成することと、
   前記第１の対象画像よりも後に前記カメラにより撮像された第２の対象画像が得られた場合に、前記第２の対象画像および前記第１の対象画像を含む過去の第１の枚数からなる対象画像群の平均として表される短時間背景と、前記第２の対象画像および前記第１の対象画像を含む過去の前記第１の枚数より多い第２の枚数からなる対象画像群の平均として表される長時間背景との差を求め、求められた前記差が閾値以下であるか否かを判定することと、
   前記差が閾値以下であると判定された場合に、前記第１のメタデータを前記第２の対象画像の第２のメタデータとして再利用することと
   を実行させるための、位置特定プログラム。

Images