JP2024050064A - 画像処理装置、画像処理方法、プログラム及び記録媒体 - Google Patents

Abstract

【課題】 閲覧中の画像の視点を切替可能とする画像処理装置を提供する。【解決手段】 本発明の画像処理装置は、データセット取得部、マーカ検出部、画像特定部、及び画像情報生成部を含み、前記データセット取得部は、複数のデータセットを取得し、前記データセットは、画像と、前記画像が撮像された位置を示すマーカとが紐づけられた情報を含み、前記マーカ検出部は、前記データセットが含む画像から、マーカを検出し、前記画像特定部は、検出された前記マーカに紐づけられた前記他のデータセットの画像を特定し、前記画像情報生成部は、前記複数のデータセットが含む各画像におけるマーカの位置と、他のデータセットの画像とを関連付けた画像情報を生成する。【選択図】 図１

Description

本発明は、画像処理装置、画像処理方法、プログラム及び記録媒体に関する。

不動産物件等において、物件の内見を支援するため、ＩＣＴシステムを利用して物件の画像等を表示するシステムが知られている（特許文献１）。

特開２００７－３３４４０５号公報

しかしながら、このような建物の内覧等においては、視点を切り替えて他の場所をみたいという需要があるが、特許文献１に記載の技術では、予め指定された情報を読み込むことが可能となるだけである。

そこで本発明は、閲覧中の画像の視点を切替可能とする画像処理装置を提供することを目的とする。

前記目的を達成するために、本発明の画像処理装置は、
データセット取得部、マーカ検出部、画像特定部、及び画像情報生成部を含み、
前記データセット取得部は、複数のデータセットを取得し、
前記データセットは、画像と、前記画像が撮像された位置を示すマーカとが紐づけられた情報を含み、
前記マーカ検出部は、前記データセットが含む画像から、マーカを検出し、
前記画像特定部は、検出された前記マーカに紐づけられた前記他のデータセットの画像を特定し、
前記画像情報生成部は、前記複数のデータセットが含む各画像におけるマーカの位置と、他のデータセットの画像とを関連付けた画像情報を生成する。

本発明の画像処理方法は、
データセット取得工程、マーカ検出工程、画像特定工程、及び画像情報生成工程を含み、
前記データセット取得工程は、複数のデータセットを取得し、
前記データセットは、画像と、前記画像が撮像された位置を示すマーカとが紐づけられた情報を含み、
前記マーカ検出工程は、前記データセットが含む画像から、マーカを検出し、
前記画像特定工程は、検出された前記マーカに紐づけられた前記他のデータセットの画像を特定し、
前記画像情報生成工程は、前記複数のデータセットが含む各画像におけるマーカの位置と、他のデータセットの画像とを関連付けた画像情報を生成する。

本発明のプログラムは、
データセット取得手順、マーカ検出手順、画像特定手順、及び画像情報生成手順を含み、
前記データセット取得手順は、複数のデータセットを取得し、
前記データセットは、画像と、前記画像が撮像された位置を示すマーカとが紐づけられた情報を含み、
前記マーカ検出手順は、前記データセットが含む画像から、マーカを検出し、
前記画像特定手順は、検出された前記マーカに紐づけられた前記他のデータセットの画像を特定し、
前記画像情報生成手順は、前記複数のデータセットが含む各画像におけるマーカの位置と、他のデータセットの画像とを関連付けた画像情報を生成し、
前記各手順をコンピュータに実行させるためのプログラムである。

本発明の記録媒体は、
データセット取得手順、マーカ検出手順、画像特定手順、及び画像情報生成手順を含み、
前記データセット取得手順は、複数のデータセットを取得し、
前記データセットは、画像と、前記画像が撮像された位置を示すマーカとが紐づけられた情報を含み、
前記マーカ検出手順は、前記データセットが含む画像から、マーカを検出し、
前記画像特定手順は、検出された前記マーカに紐づけられた前記他のデータセットの画像を特定し、
前記画像情報生成手順は、前記複数のデータセットが含む各画像におけるマーカの位置と、他のデータセットの画像とを関連付けた画像情報を生成し、
前記各手順をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、閲覧中の画像の視点を切り替えることが可能となる。

図１は、実施形態１の画像処理装置の一例の構成を示すブロック図である。 図２は、実施形態１の画像処理装置のハードウェア構成の一例を示すブロック図である。 図３は、実施形態１の画像処理装置における処理の一例を示すフローチャートである。 図４は、実施形態２の画像処理装置の一例の構成を示すブロック図である。 図５は、実施形態２の画像処理装置の利用の例を説明する模式図である。 図６は、実施形態３の画像処理装置の一例の構成を示すブロック図である。 図７は、実施形態３の画像処理装置が含む画像補正部による処理を説明するための模式図である。

次に、本発明の実施形態について図を用いて説明する。本発明は、以下の実施形態には限定されない。以下の各図において、同一部分には、同一符号を付している。また、各実施形態の説明は、特に言及がない限り、互いの説明を援用でき、各実施形態の構成は、特に言及がない限り、組合せ可能である。

［実施形態１］
本実施形態の画像処理装置について、図１を用いて説明する。図１は、本実施形態の画像処理装置１０の一例の構成を示すブロック図である。図１に示すように、画像処理装置１０（以下、「本装置１０」ともいう）は、データセット取得部１１、マーカ検出部１２、画像特定部１３、及び、画像情報生成部１４を含む。また、図示していないが、本装置１０は、例えば、記憶部を含んでもよい。

本装置１０は、例えば、前記各部を含む１つの装置でもよいし、前記各部が、通信回線網を介して接続可能な装置でもよい。また、本装置１０は、通信回線網を介して、後述する外部装置と接続可能である。通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。通信回線網は、例えば、インターネット回線、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）、電話回線、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＤＴＮ（Ｄｅｌａｙ Ｔｏｌｅｒａｎｔ Ｎｅｔｗｏｒｋｉｎｇ）、ＬＰＷＡ（Ｌｏｗ Ｐｏｗｅｒ Ｗｉｄｅ Ａｒｅａ）、Ｌ５Ｇ（ローカル５Ｇ）、等があげられる。無線通信としては、例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ローカル５Ｇ、ＬＰＷＡ等が挙げられる。前記無線通信としては、各装置が直接通信する形態（Ａｄ Ｈｏｃ通信）、インフラストラクチャ（infrastructure通信）、アクセスポイントを介した間接通信等であってもよい。本装置１０は、例えば、システムとしてサーバに組み込まれていてもよい。また、本装置１０は、例えば、本発明のプログラムがインストールされたパーソナルコンピュータ（ＰＣ、例えば、デスクトップ型、ノート型）、スマートフォン、タブレット端末等であってもよい。さらに、本装置１０は、例えば、前記各部のうち少なくとも一つがサーバ上にあり、その他の前記各部が端末上にあるような、クラウドコンピューティングやエッジコンピューティング等の形態であってもよい。

図２に、本装置１０のハードウェア構成のブロック図を例示する。本装置１０は、例えば、中央処理装置（ＣＰＵ、ＧＰＵ等）１０１、メモリ１０２、バス１０３、記憶装置１０４、入力装置１０５、出力装置１０６、通信デバイス１０７等を含む。本装置１０の各部は、それぞれのインタフェース（Ｉ／Ｆ）により、バス１０３を介して相互に接続されている。

中央処理装置１０１は、コントローラ（システムコントローラ、Ｉ／Ｏコントローラ等）等により、他の構成と連携動作し、本装置１０の全体の制御を担う。本装置１０において、中央処理装置１０１により、例えば、本発明のプログラムやその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的には、例えば、中央処理装置１０１が、画像処理装置１０（以下、「本装置１０」ともいう）は、データセット取得部１１、マーカ検出部１２、画像特定部１３、及び、画像情報生成部１４として機能する。本装置１０は、演算装置として、ＣＰＵ、ＧＰＵ（Graphics Processing Unit）、ＡＰＵ（Accelerated Processing Unit）等の他の演算装置を備えてもよいし、これらの組合せを備えてもよい。

バス１０３は、例えば、外部装置とも接続できる。前記外部装置は、例えば、外部記憶装置（外部データベース等）、プリンタ、外部入力装置、外部表示装置、スピーカ等の音声出力装置、カメラ等の外部撮像装置、および加速度センサ、地磁気センサ、方向センサ等の各種センサ等があげられる。本装置１は、例えば、バス１０３に接続された通信デバイス１０７により、外部ネットワーク（前記通信回線網）に接続でき、外部ネットワークを介して、ユーザの端末等の他の装置と接続することもできる。

メモリ１０２は、例えば、メインメモリ（主記憶装置）が挙げられる。中央処理装置１０１が処理を行う際には、例えば、後述する記憶装置１０４に記憶されている本発明のプログラム等の種々の動作プログラムを、メモリ１０２が読み込み、中央処理装置１０１は、メモリ１０２からデータを受け取って、プログラムを実行する。前記メインメモリは、例えば、ＲＡＭ（ランダムアクセスメモリ）である。また、メモリ１０２は、例えば、ＲＯＭ（読み出し専用メモリ）であってもよい。

記憶装置１０４は、例えば、前記メインメモリ（主記憶装置）に対して、いわゆる補助記憶装置ともいう。前述のように、記憶装置１０４には、本発明のプログラムを含む動作プログラムが格納されている。記憶装置１０４は、例えば、記録媒体と、記録媒体に読み書きするドライブとの組合せであってもよい。前記記録媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、ＨＤ（ハードディスク）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＭＯ、ＤＶＤ、フラッシュメモリー、メモリーカード等が挙げられる。記憶装置１０４は、例えば、記録媒体とドライブとが一体化されたハードディスクドライブ（ＨＤＤ）、及びソリッドステートドライブ（ＳＳＤ）であってもよい。本装置１０が前記記憶部を含む場合、例えば、記憶装置１０４は、前記記憶部として機能する。

本装置１０において、メモリ１０２及び記憶装置１０４は、ログ情報、外部データベース（図示せず）や外部の装置から取得した情報、本装置１０によって生成した情報、本装置１０が処理を実行する際に用いる情報等の種々の情報を記憶することも可能である。この場合、メモリ１０２及び記憶装置１０４は、例えば、前述の本装置のユーザの情報等を記憶していてもよい。なお、少なくとも一部の情報は、例えば、メモリ１０２及び記憶装置１０４以外の外部サーバに記憶されていてもよいし、複数の端末にブロックチェーン技術等を用いて分散して記憶されていてもよい。

本装置１０は、例えば、さらに、入力装置１０５、出力装置１０６を備える。入力装置１０５は、例えば、タッチパネル、トラックパッド、マウス等のポインティングデバイス；キーボード；カメラ、スキャナ等の撮像手段；ＩＣカードリーダ、磁気カードリーダ等のカードリーダ；マイク等の音声入力手段；等があげられる。出力装置１０６は、例えば、ＬＥＤディスプレイ、液晶ディスプレイ等の表示装置；スピーカ等の音声出力装置；プリンタ；等があげられる。本実施形態において、入力装置１０５と出力装置１０６とは、別個に構成されているが、入力装置１０５と出力装置１０６とは、タッチパネルディスプレイのように、一体として構成されてもよい。

つぎに、本実施形態の画像処理方法の一例を、図３のフローチャートに基づき説明する。本実施形態の画像処理方法は、例えば、図１または図２に示す画像処理装置１０を用いて、次のように実施できる。なお、本実施形態の画像処理方法は、図１または図２の画像処理装置１０の使用には限定されない。

まず、データセット取得部１１により、複数のデータセットを取得する（Ｓ１、データセット取得工程）。前記データセットは、画像と、前記画像が撮像された位置を示すマーカ識別情報とが紐づけられた情報を含む。前記画像は、例えば、所定の領域を撮像した画像であり、前記領域に設置されたマーカを含む画像である。前記所定の領域は、特に制限されず、例えば、屋内でもよいし、屋外でもよい。前記所定の領域の具体例としては、オフィスビル、家屋、マンション等の建物内部；工事現場；公園；イベント会場；観光スポット；等があげられる。前記画像に含まれるマーカは、例えば、１つでもよいし、２以上の複数でもよい。前記マーカは、特に制限されず、例えば、互いに識別可能であり、後述するマーカ検出部１２により検出が可能であればよい。マーカの具体例としては、例えば、バーコード等の一次元コード、ＱＲコード（登録商標）等の二次元コード、マーカとして区別可能な所定の物品等があげられる。また、前記マーカの形態としては、例えば、シール、シート等の平面でもよいし、立体物でもよい。前記マーカを互いに識別する方法は、特に制限されず、形状、色彩などの外観であってもよいし、識別番号等の識別情報であってもよい。前記マーカが前記一次元コード又は二次元コードのような情報を格納可能なマーカである場合、例えば、前記一次元コード又は二次元コードに前記識別情報等の情報を格納してもよい。様々な撮影角度から検出可能とする観点から、前記マーカは、円柱状の物体の側面にバーコード又はＱＲコード（登録商標）等を付した形態であることが好ましい。前記画像は、例えば、静止画でもよいし、動画でもよく、動画から切り出した静止画でもよい。前記画像は、例えば、１つでもよいし、２以上の複数であってもよい。前記画像が複数である場合、例えば、同一の撮像位置から異なる方向を撮像した画像であることが好ましい。また、前記画像は、例えば、３６０°カメラで撮像した全天球画像であってもよい。なお、全天球画像を用いる場合の処理については、実施形態３で後述する。前記画像は、例えば、前記所定の領域において、前記マーカの配置位置から撮像された画像であり、前記画像と、前記撮像位置に配置されたマーカとを互いに紐づけることで前記データセットを生成できる。データセット取得部１１は、例えば、本装置１０のユーザが、入力装置１０５である撮像装置が撮像した画像と、前記マーカ識別情報を入力することにより、直接前記データセットを取得してもよいし、前記通信回線網を介して前記データセットを記録した外部のデータベース又はサーバから前記データセットを取得してもよい。

前記データセットは、例えば、撮像位置情報、撮像方向情報、及び撮像時間情報を含んでもよい。前記撮像位置情報は、例えば、前記所定の領域を示す位置情報（例えば、ＧＰＳ：Global Positioning System情報）である。前記撮像方向情報は、例えば、前記撮像装置の方向センサ又は地磁気センサの情報があげられる。前記撮像時間情報は、前記画像を撮像した日時の情報である。前記撮像位置情報、前記撮像方向情報、及び前記撮像日時情報の少なくとも一つは、例えば、前記画像にメタデータとして付与されている情報であってもよいし、前記画像とは別途取得した情報であってもよい。

つぎに、マーカ検出部１２により、前記データセットが含む画像から、マーカを検出する（Ｓ２、マーカ検出工程）。マーカ検出部１２によるマーカの検出は、例えば、前記マーカの種類に応じた適切な画像解析手法により実行できる。マーカ検出部１２は、例えば、さらに、検出したマーカからマーカの識別情報を読み取ってもよい。また、マーカ検出部１２は、例えば、前記画像において、検出したマーカをバウンディングボックス等で境界を指定してもよい。

つぎに、画像特定部１３は、検出された前記マーカに紐づけられた前記他のデータセットの画像を特定する（Ｓ３、画像特定工程）。画像特定部１３は、例えば、前記画像において、検出されたマーカそれぞれを識別し、識別したマーカと、前記データセットに含まれるマーカとを照合することで、前記マーカに紐づけられた画像を抽出し、前記画像を特定できる。

そして、画像情報生成部１４は、前記複数のデータセットが含む各画像におけるマーカの位置と、他のデータセットの画像とを関連付けた画像情報を生成する（Ｓ４、画像情報生成工程）。画像情報生成部１４による前記関連付けは、例えば、前記画像におけるマーカ位置に対する他のデータセットの画像へのリンク情報の埋め込みであってもよい。画像情報生成部１４は、例えば、前記画像が含むすべてのマーカについて、前記関連付けを実行してもよいし、その一部のマーカについて関連付けを実行してもよい。また、画像情報生成部１４は、例えば、さらに、前記画像におけるマーカの位置にアイコン情報を関連付けてもよい。また、画像情報生成部１４は、例えば、前記所定の領域についてのその他の情報をさらに関連付けてもよい。前記その他の情報は、例えば、前記所定の領域をさらに説明する情報であり、具体例としては、前記建物や公園等の見取り図、外観、住所、撮影日時等の情報があげられる。

本実施形態の画像処理装置によれば、複数のデータセットが含む各画像におけるマーカの位置と、他のデータセットの画像とを関連付けた画像情報を生成できる。このため、本実施形態の画像処理装置によれば、例えば、前記所定領域を撮像した画像間において、その撮像位置を関連付けた情報とすることができるため、画像の閲覧時において、任意に視点を切り替えることが可能となる。このため、本実施形態の画像処理装置は、例えば、建物の内覧用画像の作成、公園やイベント会場等の宣伝画像の作成など、様々な分野での利用が期待できる。

［実施形態２］
実施形態２は、本発明の画像処理装置の他の例である。

本実施形態の画像処理装置は、実施形態１の画像処理装置１０の構成に加えて、出力部、選択情報取得部、及び画像切替部を含むこと以外は前記実施形態１の画像処理装置１０と同様であり、その説明を援用できる。本実施形態の画像処理装置１０Ａは、例えば、出力部、選択情報取得部、及び画像切替部を含み、前記出力部は、前記画像情報を出力し、前記選択情報取得部は、前記画像情報に対するマーカ選択情報を取得し、前記画像切替部は、前記マーカ選択情報に基づいて、出力する画像を切り替える。

図４は、本実施形態の画像処理装置１０Ａの一例の構成を示すブロック図である。図５に示すように、画像処理装置１０Ａは、実施形態１の画像処理装置１０の構成に加えて、出力部１５、選択情報取得部１６、及び画像切替部１７を備える。画像処理装置１０Ａのハードウェア構成は、図２の画像処理装置１０のハードウェア構成において、ＣＰＵ１０１が、図１の画像処理装置１０の構成に代えて、図４の画像処理装置１０Ａの構成を備える以外は同様である。なお、本実施形態の画像処理装置１０Ａは、例えば、データセット取得部１１、マーカ検出部１２、画像特定部１３、及び、画像情報生成部１４を含む一方の装置と、出力部１５、選択情報取得部１６、及び画像切替部１７を含む他方の装置とが互いに通信可能なシステムであってもよい。この場合、前記他方の装置は、前記一方の装置が生成した前記画像情報を通信により取得し、以下に説明する処理を行うことができる。以下、出力部１５、選択情報取得部１６、及び画像切替部１７の処理を説明する。出力部１５、選択情報取得部１６、及び画像切替部１７の処理は、例えば、前記実施形態１で説明した図３のフローチャートにおける任意の位置に適宜挿入できる。

出力部１５は、例えば、前記画像情報を出力する（出力工程）。出力部１５は、例えば、本装置１０Ａの出力装置１０６（例えば、ディスプレイ）に前記画像情報を出力してもよいし、その他の装置に前記画像情報を出力してもよい。前記その他の装置は、特に制限されず、例えば、前記所定の領域の画像についての閲覧を希望するユーザの端末があげられる。前述のように、前記画像情報において、前記画像のマーカの位置には、他のデータセットの画像へのリンク情報が埋め込まれている。このため、前記画像情報を出力することで、例えば、ユーザは、前記画像情報の画像を切り替えるためのマーカ選択情報を入力可能となる。

選択情報取得部１６は、前記画像情報に対するマーカ選択情報を取得する（選択情報取得工程）。前記マーカ選択情報は、ユーザが画像中のマーカを選択（クリック、タップ等）したことを示す情報である。前記画像情報として、アイコン情報が関連付けられている場合、前記マーカ選択情報は、前記アイコン情報に対する選択情報であってもよい。

画像切替部１７は、例えば、前記マーカ選択情報に基づいて、出力する画像を切り替える（画像切替工程）。画像切替部１７は、例えば、ユーザが選択したマーカ位置に埋め込まれたリンク情報に基づいて、出力する画像を適宜切り替えることができる。

図５を用いて、画像処理装置１０Ａの利用の具体例を説明するが、本発明は以下の例示に何ら制限されない。以下の説明においては、前記所定の領域が、家屋の一室であり、前記マーカが、円柱状の物体にバーコードが付与された物である場合を例に挙げて説明するが、本発明は以下の説明には何ら制限されない。

まず、本装置１０Ａの利用に先立ち、所定の領域である家屋の一室において、写真（画像）を撮像する位置を決定する。そして、図５（Ａ）に示すように、決定した位置にマーカ２０（２０Ａ～２０Ｃ）を配置し、図５（Ｂ）に示すように、前記決定した位置において、撮像装置３０を用いてマーカ２０を含むように画像を撮像する。その後、撮像した画像と、画像が撮像された位置を示すマーカの情報との組を前記データセットとして本装置１０Ａに入力し、本装置１０Ａは、実施形態１のＳ１～Ｓ４のようにして、画像情報を生成する。そして、本装置１０Ａは、生成した画像情報をユーザの端末に出力し、ユーザは、自身の端末により画像情報が含む画像を閲覧可能となる。図５（Ｃ）に示すように、ユーザは、前記端末を操作して視点変更を希望するマーカの位置を選択し、本装置１０Ａにマーカ選択情報を送信し、本装置１０Ａは、取得したマーカ選択情報に基づいてユーザの端末に表示する画像を切り替える。

本実施形態の画像処理装置によれば、生成した画像情報を閲覧可能に出力でき、かつ、ユーザの操作（マーカ選択）により、出力する画像を切り替えることができる。このため、本実施形態の画像処理装置によれば、例えば、ユーザは、画像の閲覧時において、任意に視点を切り替えることが可能となる。したがって、本実施形態の画像処理装置によれば、ユーザは、撮像された所定の領域内を疑似的に移動するような体験も可能となる。

［実施形態３］
実施形態３は、本発明の画像処理装置の他の例である。

本実施形態の画像処理装置は、実施形態１の画像処理装置１０の構成に加えて、画像変換部を含むこと以外は前記実施形態１の画像処理装置１０と同様であり、その説明を援用できる。本実施形態の画像処理装置１０Ｂは、例えば、画像変換部を含み、前記データセットが含む画像の少なくとも一つが、全天球画像であり、前記データセットが、撮像方向情報を含み、前記画像変換部は、撮像方向情報に基づいて、前記全天球画像を第１展開画像に変換し、前記マーカ検出部は、前記第１展開画像に含まれるマーカを検出する。

図６は、本実施形態の画像処理装置１０Ｂの一例の構成を示すブロック図である。図６に示すように、画像処理装置１０Ｂは、実施形態１の画像処理装置１０の構成に加えて、画像変換部１８を備える。画像処理装置１０Ｂのハードウェア構成は、図２の画像処理装置１０のハードウェア構成において、ＣＰＵ１０１が、図１の画像処理装置１０の構成に代えて、図６の画像処理装置１０Ｂの構成を備える以外は同様である。以下、画像変換部１８の処理を説明する。画像変換部１８の処理は、例えば、前記実施形態１で説明した図３のフローチャートにおける任意の位置に適宜挿入できる。

本実施形態において、前記データセットが含む画像の少なくとも一つが、全天球画像である。前記全天球画像は、例えば、３６０°カメラで撮像した画像であり、その撮像方向についての情報（例えば、撮像装置の前方、右方向、左方向、後ろ方向、上方向、及び下方向）が紐づけられている。前記全天球画像の形式は、特に制限されない。画像変換部１７は、例えば、前記撮像方向情報に基づいて、前記全天球画像を第１展開画像に変換する（画像変換工程）。図７を用いて、画像変換部１８の処理について説明する。図７上部に示すように、全天球画像１８１は、例えば、撮像装置の前方（Front）、左方向（Left）、右方向（Rigtht）、後方（Back）を含む。画像変換部１８は、全天球画像１８１を図７下部に示す第１展開画像１８２に変換する。第１展開画像１８２は、図７に示すように、全天球画像１８１について、前記撮像方向毎に、画像を６枚に分割し、上下の歪みを補正した展開図面である。具体的に、画像変換部１８は、例えば、Ｏｐｅｎ ＧＬ等の公知のグラフィックスライブラリ、又はＪａｖａｓｃｒｉｐｔで構築可能なＷｅｂ ＧＬ等を用いて、前記全天球画像をＣＵＢＥ変換することにより、前記第１展開画像に変換できる。そして、マーカ検出部１２は、前記第１展開画像に含まれるマーカを検出できる。全天球画像は、その特性上、画像の歪みが大きいため、画像変換部１８により第１展開画像に変換することにより、精度よくマーカを検出できる。

また、画像変換部１８は、例えば、さらに、前記全天球画像を、その撮像方向を変更した第２展開画像に変換してもよい。この場合、例えば、画像変換部１８は、前記全天球画像の撮像方向を所定角度変更すること以外は同様にして、前記第２展開画像に変換できる。前記所定角度は、特に制限されず、例えば、３０°、６０°、９０°、１２０°、１５０°等があげられるが、９０°変換することが好ましい。そして、マーカ検出部１２は、例えば前記第１展開画像及び前記第２展開画像の少なくとも一方に含まれるマーカを検出できる。このような態様によれば、例えば、前記第１展開画像の各撮像方向の画像と画像との間に存在するマーカを検出可能となるため、より精度よくマーカを検出できる。

本実施形態の画像処理装置は、例えば、画像変換部により全天球画像を展開画像（第１展開画像及び第２展開画像）に変換できる。このため、全天球画像を用いてマーカを検出できるため、全天球画像を含む画像を関連付けることができる。したがって、本実施形態の画像処理装置によれば、全天球画像を用いた建物の内覧用画像の作成、公園やイベント会場等の宣伝画像の作成などが可能となる。

［実施形態４］
本実施形態のプログラムは、前述の画像処理方法の各工程を、コンピュータに実行させるためのプログラムである。具体的に、本実施形態のプログラムは、コンピュータに、データセット取得手順、マーカ検出手順、画像特定手順、及び画像情報生成手順を実行させるためのプログラムである。

前記データセット取得手順は、複数のデータセットを取得し、
前記データセットは、画像と、前記画像が撮像された位置を示すマーカとが紐づけられた情報を含み、
前記マーカ検出手順は、前記データセットが含む画像から、マーカを検出し、
前記画像特定手順は、検出された前記マーカに紐づけられた前記他のデータセットの画像を特定し、
前記画像情報生成手順は、前記複数のデータセットが含む各画像におけるマーカの位置と、他のデータセットの画像とを関連付けた画像情報を生成する。

また、本実施形態のプログラムは、コンピュータを、データセット取得手順、マーカ検出手順、画像特定手順、及び画像情報生成手順として機能させるプログラムということもできる。

本実施形態のプログラムは、前記本発明の画像処理装置および画像処理方法における記載を援用できる。前記各手順は、例えば、「手順」を「処理」と読み替え可能である。また、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体は、例えば、非一時的なコンピュータ可読記録媒体（non-transitory computer-readable storage medium）である。前記記録媒体は、特に制限されず、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク、フロッピー（登録商標）ディスク（ＦＤ）等があげられる。

以上、実施形態を参照して本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をできる。

＜付記＞
上記の実施形態の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
（付記１）
データセット取得部、マーカ検出部、画像特定部、及び画像情報生成部を含み、
前記データセット取得部は、複数のデータセットを取得し、
前記データセットは、画像と、前記画像が撮像された位置を示すマーカとが紐づけられた情報を含み、
前記マーカ検出部は、前記データセットが含む画像から、マーカを検出し、
前記画像特定部は、検出された前記マーカに紐づけられた前記他のデータセットの画像を特定し、
前記画像情報生成部は、前記複数のデータセットが含む各画像におけるマーカの位置と、他のデータセットの画像とを関連付けた画像情報を生成する、画像処理装置。
（付記２）
前記画像情報生成部は、前記画像におけるマーカの位置に、さらに、アイコン情報を関連付けた画像情報を生成する、付記１記載の画像処理装置。
（付記３）
出力部、選択情報取得部、及び画像切替部を含み、
前記出力部は、前記画像情報を出力し、
前記選択情報取得部は、前記画像情報に対するマーカ選択情報を取得し、
前記画像切替部は、前記マーカ選択情報に基づいて、出力する画像を切り替える、付記１又は２記載の画像処理装置。
（付記４）
画像変換部を含み、
前記データセットが含む画像の少なくとも一つが、全天球画像であり、
前記データセットが、撮像方向情報を含み、
前記画像変換部は、撮像方向情報に基づいて、前記全天球画像を第１展開画像に変換し、
前記マーカ検出部は、前記第１展開画像に含まれるマーカを検出する、付記１から３のいずれか一項に記載の画像処理装置。
（付記５）
前記画像変換部は、さらに、前記全天球画像を、その撮像方向を変更した第２展開画像に変換し、
前記マーカ検出部は、前記第１展開画像及び前記第２展開画像の少なくとも一方に含まれるマーカを検出する、付記４記載の画像処理装置。
（付記６）
データセット取得工程、マーカ検出工程、画像特定工程、及び画像情報生成工程を含み、
前記データセット取得工程は、複数のデータセットを取得し、
前記データセットは、画像と、前記画像が撮像された位置を示すマーカとが紐づけられた情報を含み、
前記マーカ検出工程は、前記データセットが含む画像から、マーカを検出し、
前記画像特定工程は、検出された前記マーカに紐づけられた前記他のデータセットの画像を特定し、
前記画像情報生成工程は、前記複数のデータセットが含む各画像におけるマーカの位置と、他のデータセットの画像とを関連付けた画像情報を生成する、画像処理方法。
（付記７）
前記画像情報生成工程は、前記画像におけるマーカの位置に、さらに、アイコン情報を関連付けた画像情報を生成する、付記６記載の画像処理方法。
（付記８）
出力工程、選択情報取得工程、及び画像切替工程を含み、
前記出力工程は、前記画像情報を出力し、
前記選択情報取得工程は、前記画像情報に対するマーカ選択情報を取得し、
前記画像切替工程は、前記マーカ選択情報に基づいて、出力する画像を切り替える、付記６又は７記載の画像処理方法。
（付記９）
画像変換工程を含み、
前記データセットが含む画像の少なくとも一つが、全天球画像であり、
前記データセットが、撮像方向情報を含み、
前記画像変換工程は、撮像方向情報に基づいて、前記全天球画像を第１展開画像に変換し、
前記マーカ検出工程は、前記第１展開画像に含まれるマーカを検出する、付記６から８のいずれか一項に記載の画像処理方法。
（付記１０）
前記画像変換工程は、さらに、前記全天球画像を、その撮像方向を変更した第２展開画像に変換し、
前記マーカ検出工程は、前記第１展開画像及び前記第２展開画像の少なくとも一方に含まれるマーカを検出する、請求９記載の画像処理方法。
（付記１１）
データセット取得手順、マーカ検出手順、画像特定手順、及び画像情報生成手順を含み、
前記データセット取得手順は、複数のデータセットを取得し、
前記データセットは、画像と、前記画像が撮像された位置を示すマーカとが紐づけられた情報を含み、
前記マーカ検出手順は、前記データセットが含む画像から、マーカを検出し、
前記画像特定手順は、検出された前記マーカに紐づけられた前記他のデータセットの画像を特定し、
前記画像情報生成手順は、前記複数のデータセットが含む各画像におけるマーカの位置と、他のデータセットの画像とを関連付けた画像情報を生成し、
前記各手順をコンピュータに実行させるためのプログラム。
（付記１２）
前記画像情報生成手順は、前記画像におけるマーカの位置に、さらに、アイコン情報を関連付けた画像情報を生成する、付記１１記載のプログラム。
（付記１３）
出力手順、選択情報取得手順、及び画像切替手順を含み、
前記出力手順は、前記画像情報を出力し、
前記選択情報取得手順は、前記画像情報に対するマーカ選択情報を取得し、
前記画像切替手順は、前記マーカ選択情報に基づいて、出力する画像を切り替える、付記１１又は１２記載のプログラム。
（付記１４）
画像変換手順を含み、
前記データセットが含む画像の少なくとも一つが、全天球画像であり、
前記データセットが、撮像方向情報を含み、
前記画像変換手順は、撮像方向情報に基づいて、前記全天球画像を第１展開画像に変換し、
前記マーカ検出手順は、前記第１展開画像に含まれるマーカを検出する、付記１１から１３のいずれか一項に記載のプログラム。
（付記１５）
前記画像変換手順は、さらに、前記全天球画像を、その撮像方向を変更した第２展開画像に変換し、
前記マーカ検出手順は、前記第１展開画像及び前記第２展開画像の少なくとも一方に含まれるマーカを検出する、請求１４記載のプログラム。
（付記１６）
データセット取得手順、マーカ検出手順、画像特定手順、及び画像情報生成手順を含み、
前記データセット取得手順は、複数のデータセットを取得し、
前記データセットは、画像と、前記画像が撮像された位置を示すマーカとが紐づけられた情報を含み、
前記マーカ検出手順は、前記データセットが含む画像から、マーカを検出し、
前記画像特定手順は、検出された前記マーカに紐づけられた前記他のデータセットの画像を特定し、
前記画像情報生成手順は、前記複数のデータセットが含む各画像におけるマーカの位置と、他のデータセットの画像とを関連付けた画像情報を生成し、
前記各手順をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
（付記１７）
前記画像情報生成手順は、前記画像におけるマーカの位置に、さらに、アイコン情報を関連付けた画像情報を生成する、付記１６記載の記録媒体。
（付記１８）
出力手順、選択情報取得手順、及び画像切替手順を含み、
前記出力手順は、前記画像情報を出力し、
前記選択情報取得手順は、前記画像情報に対するマーカ選択情報を取得し、
前記画像切替手順は、前記マーカ選択情報に基づいて、出力する画像を切り替える、付記１６又は１７記載の記録媒体。
（付記１９）
画像変換手順を含み、
前記データセットが含む画像の少なくとも一つが、全天球画像であり、
前記データセットが、撮像方向情報を含み、
前記画像変換手順は、撮像方向情報に基づいて、前記全天球画像を第１展開画像に変換し、
前記マーカ検出手順は、前記第１展開画像に含まれるマーカを検出する、付記１６から１８のいずれか一項に記載の記録媒体。
（付記２０）
前記画像変換手順は、さらに、前記全天球画像を、その撮像方向を変更した第２展開画像に変換し、
前記マーカ検出手順は、前記第１展開画像及び前記第２展開画像の少なくとも一方に含まれるマーカを検出する、請求１９記載の記録媒体。

本発明によれば、複数のデータセットが含む各画像におけるマーカの位置と、他のデータセットの画像とを関連付けた画像情報を生成できる。このため、本発明の画像処理装置は、例えば、前記所定領域を撮像した画像間において、その撮像位置を関連付けた情報とすることができるため、画像の閲覧時において、任意に視点を切り替えることが可能となる。このため、本発明は、例えば、建物の内覧用画像の作成、公園やイベント会場等の宣伝画像の作成など、様々な分野での利用が期待できる。

１０、１０Ａ、１０Ｂ 画像処理装置
１１ データセット取得部
１２ マーカ検出部
１３ 画像特定部
１４ 画像情報生成部
１５ 出力部
１６ 選択情報取得部
１７ 画像切替部
１８ 画像変換部
１０１ 中央処理装置
１０２ メモリ
１０３ バス
１０４ 記憶装置
１０５ 入力装置
１０６ 出力装置
１０７ 通信デバイス

Claims (10)

1. データセット取得部、マーカ検出部、画像特定部、及び画像情報生成部を含み、
   前記データセット取得部は、複数のデータセットを取得し、
   前記データセットは、画像と、前記画像が撮像された位置を示すマーカとが紐づけられた情報を含み、
   前記マーカ検出部は、前記データセットが含む画像から、マーカを検出し、
   前記画像特定部は、検出された前記マーカに紐づけられた前記他のデータセットの画像を特定し、
   前記画像情報生成部は、前記複数のデータセットが含む各画像におけるマーカの位置と、他のデータセットの画像とを関連付けた画像情報を生成する、画像処理装置。
2. 前記画像情報生成部は、前記画像におけるマーカの位置に、さらに、アイコン情報を関連付けた画像情報を生成する、請求項１記載の画像処理装置。
3. 出力部、選択情報取得部、及び画像切替部を含み、
   前記出力部は、前記画像情報を出力し、
   前記選択情報取得部は、前記画像情報に対するマーカ選択情報を取得し、
   前記画像切替部は、前記マーカ選択情報に基づいて、出力する画像を切り替える、請求項１又は２記載の画像処理装置。
4. 画像変換部を含み、
   前記データセットが含む画像の少なくとも一つが、全天球画像であり、
   前記データセットが、撮像方向情報を含み、
   前記画像変換部は、撮像方向情報に基づいて、前記全天球画像を第１展開画像に変換し、
   前記マーカ検出部は、前記第１展開画像に含まれるマーカを検出する、請求項１又は２記載の画像処理装置。
5. 前記画像変換部は、さらに、前記全天球画像を、その撮像方向を変更した第２展開画像に変換し、
   前記マーカ検出部は、前記第１展開画像及び前記第２展開画像の少なくとも一方に含まれるマーカを検出する、請求項４記載の画像処理装置。
6. データセット取得工程、マーカ検出工程、画像特定工程、及び画像情報生成工程を含み、
   前記データセット取得工程は、複数のデータセットを取得し、
   前記データセットは、画像と、前記画像が撮像された位置を示すマーカとが紐づけられた情報を含み、
   前記マーカ検出工程は、前記データセットが含む画像から、マーカを検出し、
   前記画像特定工程は、検出された前記マーカに紐づけられた前記他のデータセットの画像を特定し、
   前記画像情報生成工程は、前記複数のデータセットが含む各画像におけるマーカの位置と、他のデータセットの画像とを関連付けた画像情報を生成する、画像処理方法。
7. 前記画像情報生成工程は、前記画像におけるマーカの位置に、さらに、アイコン情報を関連付けた画像情報を生成する、請求項６記載の画像処理方法。
8. 出力工程、選択情報取得工程、及び画像切替工程を含み、
   前記出力工程は、前記画像情報を出力し、
   前記選択情報取得工程は、前記画像情報に対するマーカ選択情報を取得し、
   前記画像切替工程は、前記マーカ選択情報に基づいて、出力する画像を切り替える、請求項６又は７記載の画像処理方法。
9. データセット取得手順、マーカ検出手順、画像特定手順、及び画像情報生成手順を含み、
   前記データセット取得手順は、複数のデータセットを取得し、
   前記データセットは、画像と、前記画像が撮像された位置を示すマーカとが紐づけられた情報を含み、
   前記マーカ検出手順は、前記データセットが含む画像から、マーカを検出し、
   前記画像特定手順は、検出された前記マーカに紐づけられた前記他のデータセットの画像を特定し、
   前記画像情報生成手順は、前記複数のデータセットが含む各画像におけるマーカの位置と、他のデータセットの画像とを関連付けた画像情報を生成し、
   前記各手順をコンピュータに実行させるためのプログラム。
10. データセット取得手順、マーカ検出手順、画像特定手順、及び画像情報生成手順を含み、
    前記データセット取得手順は、複数のデータセットを取得し、
    前記データセットは、画像と、前記画像が撮像された位置を示すマーカとが紐づけられた情報を含み、
    前記マーカ検出手順は、前記データセットが含む画像から、マーカを検出し、
    前記画像特定手順は、検出された前記マーカに紐づけられた前記他のデータセットの画像を特定し、
    前記画像情報生成手順は、前記複数のデータセットが含む各画像におけるマーカの位置と、他のデータセットの画像とを関連付けた画像情報を生成し、
    前記各手順をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
    
    
    

Images