JP6736751B1 - 既知の画像を用いた画像撮影の安定化のための方法、プログラム、電子装置 - Google Patents

Abstract

【課題】既知の画像を用いた画像撮影の安定化のための方法、プログラム、電子装置を提供すること。【解決手段】対象物の周辺を含む画像を撮像するための電子装置であって、センサと、撮像部と、対象物の画像である基準画像を記憶する記憶部と、撮像部によって撮像される空間の画像の所定の領域内に基準画像を配置した場合の当該基準画像の局所特徴量を示す特徴点の位置を決定する特徴点位置決定部と、撮像された空間の画像から基準画像の特徴点に対応する点を検出し、検出された点の位置との距離を算出する、ことを繰り返し実行する、特徴点距離算出部と、センサ値の変化量及び距離に基づいて、移動量が所定の許容基準値以下であるか否かを判定する判定部と、許容基準値以下であると判定されると、撮像された空間の画像を取得して所望の画像として記憶させる制御部と、を含むことを特徴とする電子装置。【選択図】図１

Description

本発明は、既知の画像を用いた画像撮影の安定化のための方法、プログラム、電子装置等に関する。

店舗等の所定の場所を訪れたユーザに対してオンラインゲーム等の特典を与えるチェックインサービスが知られている。特許文献１においては、所定の掲示物が掲示された場所を訪れた携帯端末装置のユーザに対してオンラインゲームの特典等を与えるサービスを提供する際に、携帯端末記憶部に記憶された掲示物の画像である既知の基準画像に基づいて当該掲示物が撮像領域内に撮像されていると判定されると、掲示物とその周辺部を撮像させ、これを正規化した正規化画像と既に認証されてサーバに格納された認証済画像と比較して、その類似性に基づいて、ユーザの訪問を確認するシステムが開示されている。

特開２０１８−１７３８１１号公報（特許第６１８１８９３号）

しかし、掲示物とその周辺部を含む画像を撮像する際に、手ぶれ等を原因とするブラーで歪む等の画像の品質低下により、正確に画像の真贋判定を行えない場合がある。

本発明は上記の課題に鑑みてなされたものであり、以下のような特徴を有している。すなわち、一つの実施形態における本発明の方法は、対象物の周辺を含む画像を撮像するための電子装置によって実行される方法であって、前記電子装置はジャイロセンサ、加速度センサ、方位センサのうちの少なくとも１つのセンサ、撮像部及び対象物の画像である基準画像を記憶する記憶部を備え、前記方法は、撮像部によって撮像される空間の画像の所定の領域内に前記基準画像を配置した場合の当該基準画像の局所特徴量を示す特徴点の位置を決定するステップと、特徴点距離を繰り返し算出するステップであって、撮像部によって空間の画像を撮像するステップと、前記撮像部によって撮像された空間の画像から基準画像の特徴点に対応する点を検出するステップと、前記検出された基準画像の特徴点に対応する点の位置と当該検出された点に対応する特徴点の前記決定された位置との距離を算出するステップと、を繰り返し実行する、ステップと、前記センサの内の少なくとも１つから取得されたセンサ値の変化量及び前記算出された距離に基づいて、電子装置の移動量が所定の許容基準値以下であるか否かを判定する判定ステップと、許容基準値以下であると判定されると、撮像部によって撮像された空間の画像を所望の画像として前記記憶部に記憶する画像記憶ステップと、を含む。

前記距離を算出するステップは、前記検出された基準画像の特徴点に対応する点の位置と当該検出された点に対応する特徴点の前記決定された位置との距離の統計値を算出するようにしてもよい。

前記距離の統計値は、前記繰り返し算出された距離の間の距離差分の統計値としてもよい。

前記判定ステップは、所定期間の間のセンサ値の変化量の合計が所定のセンサ値変化量閾値以下であり、かつ、距離の統計値が所定の距離閾値以下であるときに、電子装置の移動量が所定の許容基準値以下であると判定してもよい。

前記画像記憶ステップは、前記撮像された空間の画像において検出された特徴点に対応する点の数が所定数以上であるときに実行されるようにすることができる。

さらに、前記記憶部は対象物の画像の２以上のテンプレート画像を記憶し、前記基準画像は前記２以上のテンプレート画像から決定された１つであり、前記方法は、前記２以上のテンプレート画像から１つのテンプレート画像を選択するステップと、撮像部によって空間の画像を撮像するステップと、前記撮像部によって撮像された空間の画像から前記選択された１つのテンプレート画像の特徴点に対応する点を検出するステップと、前記検出された特徴点に対応する点の数が所定の基準値以上である場合には、前記選択された１つのテンプレート画像を基準画像として決定するステップと、を含んでもよい。

さらにまた、電子装置の表示部において、前記撮像部によって撮像された空間の画像を表示する際に、前記撮像部によって撮像された空間の画像の前記所定の領域内に前記基準画像を配置した場合の特徴点の位置から、前記検出された特徴点に対応する点の位置とを結ぶ線を表示するステップを含むこともできる。

前記所望の画像として記憶された画像は、対象物である所定の場所に掲示された掲示物を電子装置のユーザが掲示場所を訪れて閲覧したことを確認するために使用されることができる。

また、一つの実施形態における本発明のプログラムは、前述の方法を１以上のコンピュータに実行させる。

一つの実施形態におけるコンピュータ読み取り可能な記憶媒体は、前述のプログラムを格納する。

一つの実施形態における電子装置は、対象物の周辺を含む画像を撮像するための電子装置であって、ジャイロセンサ、加速度センサ、方位センサのうちの少なくとも１つのセンサと、撮像部と、対象物の画像である基準画像を記憶する記憶部と、撮像部によって撮像される空間の画像の所定の領域内に前記基準画像を配置した場合の当該基準画像の局所特徴量を示す特徴点の位置を決定する特徴点位置決定部と、特徴点距離を繰り返し算出する特徴点距離算出部であって、撮像部によって撮像された空間の画像を取得し、前記撮像部によって撮像された空間の画像から基準画像の特徴点に対応する点を検出し、前記検出された基準画像の特徴点に対応する点の位置と当該検出された点に対応する特徴点の前記決定された位置との距離を算出する、ことを繰り返し実行する、特徴点距離算出部と、前記センサの内の少なくとも１つから取得されたセンサ値の変化量及び前記算出された距離に基づいて、電子装置の移動量が所定の許容基準値以下であるか否かを判定する判定部と、許容基準値以下であると判定されると、撮像部によって撮像された空間の画像を所望の画像として前記記憶部に記憶させる制御部と、を含む。

本発明によれば、電子装置が安定した状態で、一定の距離及び角度からの周辺画像を含む対象物の画像を撮像することが可能となり、手ぶれ等を原因とするブラーで歪む等の画像の品質低下を防止することができる。

本発明の一実施形態に係るシステムの全体構成である。 本発明の一実施形態に係る電子装置及びサーバのハードウェア構成図である。 本発明の一実施形態に係る電子装置及びサーバの機能ブロック図である。 本発明の一実施形態に係る情報処理を示すフローチャートである。 本発明の一実施形態に係る画面表示例を示す図である。 本発明の一実施形態に係る情報処理を示すフローチャートである。 本発明の一実施形態に係る情報処理を示すフローチャートである。 本発明の一実施形態に係る画面表示例を示す図である。

以下、図面を参照して、本発明を用いた閲覧確認システムの一つの実施形態を説明する。本実施形態に係るシステム１００は、図１に示すように、インターネットなどのネットワーク１１０を介して互いに通信可能に接続された１以上の電子装置１２０とサーバ１３０を備えるシステムによって実現することができる。

図２は本発明の一実施形態による電子装置１２０及びサーバ１３０のハードウェア構成を示すブロック図である。電子装置１２０は、プロセッサ２０１、表示装置２０２、入力装置２０３、撮像装置２０４、センサ２０５、記憶装置２０６及び通信装置２０７を備える。これらの各構成装置はバス２０８によって接続される。なお、バス２０８と各構成装置との間には必要に応じてインタフェースが介在しているものとする。本実施形態において、電子装置１２０はスマートフォンである。ただし、電子装置１２０は、上記の構成を備えるものであれば、携帯電話機、タブレット端末、携帯ゲーム機及びデジタルカメラ等の端末とすることができる。

サーバ１３０もまた同様に、プロセッサ２５１、表示装置２５２、入力装置２５３、記憶装置２５４及び通信装置２５５を備える。これらの各構成装置はバス２５８によって接続される。なお、バス２５８と各構成装置との間には必要に応じてインタフェースが介在しているものとする。本実施形態においてサーバ１３０はコンピュータによって実現される。

プロセッサ２０１、２５１は、電子装置１２０及びサーバ１３０全体の動作を制御するものであり、例えばＣＰＵである。なお、プロセッサ２０１、２５１としては、ＭＰＵ等の電子回路が用いられてもよい。プロセッサ２０１、２５１は、記憶装置２０６、２５４に格納されているプログラム２０９、２５６やデータを読み込んで実行することにより、本発明の実施に必要な様々な処理を実行することができる。

表示装置（ディスプレイ）２０２、２５２は、プロセッサ２０１、２５１の制御に従って、アプリケーション画面などを電子装置１２０のユーザないしサーバ１３０のユーザに表示する。好ましくは液晶ディスプレイであるが、有機ＥＬを用いたディスプレイやプラズマディスプレイ等であってもよい。

入力装置２０３、２５３は、電子装置１２０及びサーバ１３０に対するユーザからの入力を受け付けるユーザインタフェースであり、例えば、タッチパネル、タッチパッド、キーボード、又はマウスである。本実施形態において電子装置１２０はスマートフォンであるため、電子装置１２０は入力装置２０３としてタッチパネルを備え、タッチパネルは表示装置２０２としても機能し、表示装置２０２と入力装置２０３は一体となった構造である。表示装置２０２と入力装置２０３は、別の位置に配置される別個の形態であってもよい。サーバ１３０はコンピュータであるため、入力装置としてキーボード及びマウスを備え、表示装置として液晶ディスプレイを備えるものとする。

撮像装置２０４は、実空間領域の静止画ないし動画を撮像するためのカメラとすることができる。センサ２０５は、電子装置の移動に関する情報を測定することができるものであり、ジャイロセンサ、加速度センサ、方位センサのうちの少なくとも１つのセンサとすることができる。

記憶装置２０６、２５４は、メインメモリ、バッファメモリ及びストレージを含み、揮発性メモリであるＲＡＭ及び不揮発性メモリであるｅＭＭＣ、ＵＦＳ、ＳＳＤのようなフラッシュメモリを用いた記憶装置及び磁気記憶装置等の一般的なスマートフォン及びコンピュータが備える記憶装置である。記憶装置２０６、２５４は、外部メモリを含むこともできる。例えば記憶装置２０６は、アプリケーション（アプリ）を記憶し、記憶装置２５４はサーバ用アプリケーションを記憶する。アプリケーションは、アプリケーションのイベントを実行するためのプログラム及び該プログラム実行時に参照する各種データを含む。

通信装置２０７、２５５は、ネットワーク１１０（図２においては省略）を介して他の装置との間でデータの授受を行うことができる。例えば通信装置２０７、２５５は、移動体通信や無線ＬＡＮ等の無線通信を行い、ネットワーク１１０へ接続する。電子装置１２０は通信装置２０７を用いることで、ネットワークを介してサーバ１３０と通信を行う。通信装置２０７、２５５は、イーサネット（登録商標）ケーブル等を用いた有線通信を行ってもよい。

図３は本発明の一実施形態による電子装置１２０及びサーバ１３０の機能ブロック図の一例を示す。電子装置１２０は、制御部３０１、表示部３０２、入力部３０３、撮像部３０４、センサ部３０５、記憶部３０６、通信部３０７、特徴点抽出部３０８、特徴点位置決定部３０９、特徴点距離算出部３１０、判定部３１１及び基準画像決定部３１２を備え、サーバ１３０は、制御部３５１、表示部３５２、入力部３５３、記憶部３５４及び通信部３５５を備える。

本実施形態においては、プロセッサ２０１、２５１がプログラムを実行することによりこれらの機能が実現される。例えば実行されるプログラムは、記憶装置２０６、２５４に記憶されているプログラムである。このように、各種機能がプログラム読み込みにより実現されるため、１つのパート（機能）の一部又は全部を他のパートが有していてもよい。各機能の一部又は全部を実現するための電子回路等を構成することによりハードウェアによってこれらの機能を実現してもよい。

電子装置１２０の制御部３０１は、本実施形態のアプリケーションによる機能を実行するにあたっての制御処理を行う。表示部３０２は、アプリケーションの機能を制御するためのアプリ用画面を表示し、アプリケーションの機能やユーザ操作に応じたアプリ用画面を表示する。さらに、撮像装置２０４によって撮像された画像を表示する。入力部３０３は、電子装置１２０のユーザからの入力を受け付ける。本実施形態においては、表示部３０２及び入力部３０３を備えたタッチパネルを用いることとし、タッチ検出機能によって操作受付部を実現する。

撮像部３０４は実空間領域の静止画ないし動画を撮像する。撮像は静止画のためのＪＰＥＧ形式等のデジタルデータないし動画のためのＭＰＥＧ形式等のデジタルデータを生成することを意味する。ここでは、撮像部３０４は、例えば、３０フレーム／秒または６０フレーム／秒で撮像を行い、記憶部３０６に含まれるバッファに各フレームの撮像画像を一時的に記憶し、表示部３０２に表示することができる。センサ部３０５は、センサ２０５を用いて実現されることができ、電子装置が回転した場合の角速度を示す情報、移動した場合の加速度を示す情報、電子装置の方位を示す情報等の電子装置の移動に関連する情報を示すセンサ値の少なくとも一つを測定する。

記憶部３０６は制御部３０１によって実行される情報処理に必要な情報を格納する。本実施形態において対象物は所定の掲示場所に掲示された掲示物とする。記憶部３０６は、既知の掲示物の画像であるテンプレート画像を掲示物の種類を示す掲示物識別情報（ＩＤ）に紐付けて記憶する。テンプレート画像は例えばビットマップ画像データとすることができる。本実施形態においては、掲示物の種類が複数あるものとするが、１種類だけであってもかまわない。テンプレート画像が１種類しかない場合は、テンプレート画像は掲示物ＩＤと紐付けて記憶されなくともよい。テンプレート画像から選択された１つの画像を基準画像とすることができる。基準画像は判定の基準として後述する基準画像決定部３１２によって複数のテンプレート画像から決定された基準となる画像である。

テンプレート画像は、例えば、サーバ１３０から閲覧確認用アプリケーションに含めて電子装置１２０の記憶部３０６にダウンロードすることができる。電子装置の記憶部３０６に記憶されたテンプレート画像は、サーバ１３０から通信部３０７を介して受信される情報に基づいて、所定のタイミングで更新することができる。例えば、特典付与のためのゲームイベントの更新のタイミングや一定期間毎に基準掲示物画像をダウンロードして更新することができる。閲覧確認用処理を実行する前に毎回サーバ１３０から取得して記憶部３０６に記憶してもよい。閲覧確認用アプリケーションをウェブブラウザとして、閲覧画像を撮影するためのウェブサイトへアクセスした際に基準掲示物画像をダウンロードしてもよい。

記憶部３０６は、撮像部３０４によって撮像された実空間領域の画像を所望の画像として記憶することができ、この所望の画像を記憶するために、繰り返し撮像部３０４によって撮像される実空間領域の画像を一時的に保存するバッファとしての機能も備える。所望の画像は、例えば、所望の画像情報を用いて閲覧確認要求を送信する、というその後の処理に使用する情報とすることができる。

特徴点抽出部３０８は、撮像部３０４によって撮像された実空間領域の画像及びテンプレート画像から画像の局所特徴量を示す点である特徴点（キーポイント）を抽出する。特徴点の抽出は、例えば、ＯＲＢ（Oriented FAST and Rotated BRIEF）等のアルゴリズムを用いることにより実現できる。特徴点位置決定部３０９は、撮像部によって撮像される実空間領域の画像の所定の領域内に基準画像を配置した場合の特徴点の位置を決定する。特徴点の位置は、例えば、画像における座標を示す座標情報x,yによって特定することができる。

特徴点距離算出部３１０は、特徴点距離を繰り返し算出するものであって、撮像部３０４によって撮像された空間の画像を取得し、撮像部３０４によって撮像された空間の画像から基準画像の特徴点に対応する点を検出し、検出された基準画像の特徴点に対応する点の位置と当該検出された点に対応する特徴点の前記決定された位置との距離を算出する、ことを繰り返し実行する。

判定部３１１は、センサ部３０５から取得された少なくとも１つのセンサ値の変化量及び算出された距離に基づいて、電子装置の移動量が所定の許容基準値以下であるか否かを判定する。許容基準値以下であると判定されると、制御部３０１は、撮像部３０４によって撮像された空間の画像を取得して所望の画像として記憶部に記憶させる。

基準画像決定部３１２は、記憶部３０６に記憶された対象物の画像である２以上のテンプレート画像から１つのテンプレート画像を選択して基準画像として決定する。基準画像決定部３１２は、撮像部３０４を用いて空間の画像を撮像し、撮像部３０４によって撮像された空間の画像から選択された１つのテンプレート画像の特徴点に対応する点を検出し、検出された特徴点に対応する点の数が所定の基準値以上である場合には、選択された１つのテンプレート画像を基準画像として決定する。テンプレート画像の特徴点は予め検出されて、特徴点を示す情報とともに記憶部３０６に記憶されていてもよいし、記憶部３０６から読み出していずれかの処理を実行する前や各処理の実行前に特徴点を検出してもよい。

次に、本実施形態における電子装置１２０及びサーバ１３０の動作のフローチャートを図４に示した。本実施形態においては、電子装置１２０であるスマートフォンのユーザがプレイしているオンラインゲームにおけるアイテムを取得するために、ユーザは対象物である所定の場所に掲示された掲示物（ポスター）を閲覧することを求められている場合を例にとって説明するが、既知の画像を用いて電子装置１２０を安定させた上で撮像された対象物の画像を用いるシステムであればどのようなものであっても本発明を用いることができる。

本実施形態においては、閲覧確認のためにユーザは掲示物の掲示場所を訪れて掲示物を撮像して撮像された画像を含む閲覧確認要求をサーバに送信し、サーバはその撮像画像が他人によって撮像されたものを取得したものではない等の真贋判定を行うことで、閲覧要求の正当性を確認する。ここでは、閲覧確認のために撮像される画像には掲示物に加えて掲示物の周辺部を含めて撮像させる。これにより、不正な閲覧確認要求の検出精度を高めることができる。掲示物の画像とともに撮像される周辺画像は、撮像時間や角度等により撮像される度に変化するため、完全に同一の画像が撮像される可能性は非常に低いことによる。スマートフォンの位置情報を利用して、ユーザが掲示物の掲示場所を訪れたことを確認する手法が知られているが、自宅等にてｗｅｂサイトから得た掲示物画像のＧＰＳ値を偽装する不正を検出することは難しい。本実施形態を用いれば、位置情報の改ざんによる不正チェックインを効果的に防止することができる。

サーバにおいて正当な閲覧画像として認証がなされると、ユーザが実際にその場所を訪問してポスターを閲覧したと認められ、このユーザのゲームアカウントに対してアイテムが配布される。本実施形態において掲示物は紙に印刷されたポスターとするが、情報等を提示するために掲示するものであれば液晶パネル等の表示装置や看板であってもよい。

まず、本実施形態においてユーザはプログラム２０９として閲覧確認用アプリケーションを電子装置１２０にダウンロードしてインストールし、所定の掲示場所を訪れてポスターを閲覧する。ユーザがポスターの画像を撮像するために電子装置１２０における閲覧確認用アプリケーションを起動すると、電子装置１２０は閲覧確認要求処理（Ｓ４０１）を実行する。

閲覧確認要求処理（Ｓ４０１）は、基準画像決定処理（Ｓ４０２）、所望画像記憶処理（Ｓ４０４）及び閲覧確認要求送信処理（Ｓ４０６）を含む。基準画像決定処理（Ｓ４０２）においては、記憶部３０６に記憶された対象物の画像である２以上のテンプレート画像から選択された１つのテンプレート画像を基準画像として決定する。所定の場所に掲示されている掲示物の種類が複数ある場合には、ユーザがいずれの掲示物の撮像を試みているのかを特定することが好ましい。そこで、掲示されている複数の掲示物の画像をテンプレート画像として記憶部に記憶しておき、その中から撮像を試みている画像を基準画像として決定する。

例えば、掲示物が１つのみの場合のように、掲示物が一意に特定される場合には、基準画像決定処理を省略することができる。また、複数の場所において掲示物が掲示されている場合には、テンプレート画像を位置情報と紐付けて記憶部３０６に記憶しておくとともに、ＧＰＳセンサ等を用いて電子装置１２０の位置を特定し、特定された位置情報に基づいて撮像される可能性のあるテンプレート画像を選択し、選択されたテンプレート画像から基準画像を決定するようにしてもよい。

所望画像記憶処理（Ｓ４０４）においては、基準画像と電子装置１２０のセンサ部３０５から取得されたセンサ値に基づいて電子装置の移動量が所定の許容基準を満たす撮像画像を所望の画像として記憶する。そして、閲覧確認要求送信処理（Ｓ４０６）において、記憶された所望の画像を含む閲覧要求をサーバ１３０へ送信する。

図５に１つの実施例としての表示部３０２に表示される閲覧確認用アプリケーションの表示画面５００を示す。図５（ａ）に示すように、表示部３０２は、撮像部３０４によって撮像された空間の画像とともに、ポスター５０２を納めるべき所定の領域を示す枠５０１及びポスター全体を枠内に入れるように指示するメッセージを表示する。ここでは表示部３０２には撮像部３０４の撮像領域の全体５０３が表示され、枠５０１はこの全体の領域よりも小さい領域である。このため、ポスター５０２が枠５０１に収められた際には枠５０１の外側領域にはポスター５０２の周辺の画像５０５が表示される。枠５０１内にポスターを収めるように指示されることにより、ユーザは電子装置１２０を移動させる。これにより、一定の距離及び角度からの周辺画像を含む撮像画像を得ることを可能とする。一定の距離及び角度は厳密に一定である必要はない。後述する所望の画像を撮像するための所定の条件を満たしたと判定される場合の距離及び角度の範囲内であればよい。

本発明において、所望の画像はポスターである対象物が必ずしも枠５０１に正確に収まっている必要はない。後に詳述する所望画像記憶処理（Ｓ４０４）において、所定の条件を満たしたと判定された際に、撮像された画像を所望の画像とする。好ましくは、基準画像が配置されている領域と重畳する枠５０１の近傍領域に対象物であるポスターが収まっているときに撮像を行う。枠５０１はユーザがこの要件を満たすための目安として用いることができる。

サーバ１３０は閲覧確認要求を受信して、閲覧確認処理を実行する（Ｓ４０８）。閲覧確認処理においてサーバ１３０は、ユーザによる閲覧が不正であるか否かを判定する。ユーザが実際に掲示場所を訪れていないにもかかわらず、掲示場所を訪れたものと偽って閲覧確認要求を行った場合には、この閲覧は不正な閲覧とする。ユーザが掲示物が掲示されている場所を実際に訪れて閲覧して閲覧確認要求を行った場合には、この閲覧は正当な閲覧とする。サーバ１３０は閲覧が不正であるか否かの判定結果に基づく処理を行う。

サーバ１３０は閲覧確認処理（Ｓ４０８）を実行すると、その判定結果に基づいて、判定結果通知を電子装置１２０へ送信し、電子装置１２０はこれに基づく処理（Ｓ４１０）を実行してもよい。例えば、その判定結果が正当であれば、当該閲覧画像を送信したユーザに対して、ユーザＩＤに基づいて特典付与のための処理を実行して、特典付与を行ったことを示す情報を判定結果通知として送信し、電子装置１２０は、かかる情報を電子装置の表示部に表示して、ユーザに通知することができる。判定結果通知処理は必ずしも必要ではない。例えば、サーバにおける特典付与処理だけを行って、特典付与の通知を行わないこともできるし、判定結果が不正である場合には、当該ユーザのアカウント停止処理のみを実行してもよい。閲覧確認処理（Ｓ４０８）及び通知に基づく処理（Ｓ４１０）は、それぞれ閲覧確認を行うことができる処理及び通知に基づく処理を実行できればどのような処理であってもかまわない。

次に、本実施形態における基準画像決定処理（Ｓ４０２）のより具体的な処理内容を図６に示す。ユーザが電子装置１２０における閲覧確認用アプリケーションを起動すると、電子装置１２０はテンプレート画像のためのカウンタｉを０にリセットし（Ｓ６０１）、撮像部３０４を起動して、実空間領域の撮像を開始する（Ｓ６０２）。撮像部３０４による一般的には３０フレーム／秒ないし６０フレーム／秒程度で撮像を行うことが可能であるが、本実施形態では、ＯＲＢアルゴリズムを用いた特徴量の計算は５回／秒の頻度で計算するものとし、撮像部によって撮像されたフレームから５フレーム／秒で取り込むことをＳ６０２における実空間の撮像とする。

Ｓ６０２において１フレームの画像を撮像すると、その撮像画像における特徴点の抽出処理を行う（Ｓ６０４）。特徴点の抽出は、ＯＲＢ（Oriented FAST and Rotated BRIEF）のアルゴリズムを用いるものとする。ここでは記憶部３０６において４つのテンプレート画像（Ｔ₀〜Ｔ₃）が記憶されているものとする。基準画像決定部３１２は、記憶部３０６からテンプレート画像Ｔ₀を読み出して、特徴点の抽出処理を実行する（Ｓ６０６）。記憶部３０６に特徴点の情報を含むテンプレート画像を記憶しておけば、特徴点の抽出処理を省略することができる。

次に、テンプレート画像Ｔ₀の特徴点に対応する撮像画像の特徴点を検出する（Ｓ６０８）。これは、例えば、ＯＲＢ（Oriented FAST and Rotated BRIEF）特徴量を用いたキーポイントマッチング技術を用いることにより実現できる。そして、テンプレート画像Ｔ₀と撮像された画像とがマッチしているか否かを判定する（Ｓ６１０）。すなわち、テンプレート画像Ｔ₀がユーザが撮像を試みようとしている対象物の画像であるか否かの判定を行う。具体的には、Ｓ６０８において検出された、テンプレート画像Ｔ₀の特徴点に対応する撮像画像の特徴点の数が所定の基準値（閾値）を上回れば、テンプレート画像Ｔ₀と撮像された画像とがマッチしていると判定する。所定の基準値は、例えば、基準画像で検出された総特徴点数の３％とすることができる。

テンプレート画像Ｔ₀と撮像された画像とがマッチしていないと判定されると、カウンタｉをインクリメントして（Ｓ６１２）、カウンタｉが記憶部に記憶されたテンプレート数４より小さければ（Ｓ６１４）、次のテンプレート画像Ｔ_iを記憶部３０６から読み出して、Ｓ６０６〜Ｓ６１４までの処理を繰り返し実行する。すべてのテンプレート画像についてＳ６０６〜Ｓ６１０の処理を実行した場合には、基準画像が決定するまで、カウンタｉをリセットし（Ｓ６０１）、次に撮像されたフレームの画像に基づいてＳ６０４〜Ｓ６１４の処理を繰り返し実行する。

Ｓ６１０において、テンプレート画像Ｔ_iと撮像された画像とがマッチしていると判定された場合には、当該マッチしていると判定されたテンプレート画像Ｔ_iを基準画像として決定する（Ｓ６１６）。

基準画像決定処理（Ｓ４０２）が終了すると、所望画像記憶処理（Ｓ４０４）が実行される。本実施形態における所望画像処理（Ｓ４０４）のより具体的な処理内容を図７に示す。電子装置１２０において、特徴点位置決定部３０９が、撮像部３０４によって撮像される空間の画像の所定の領域内に基準画像を配置した場合の特徴点の位置を決定する（Ｓ７０１）。ここでは、特徴点の位置は、撮像画像における座標を示す座標情報x,yによって特定するものとする。

次に、撮像部３０４を用いて、Ｓ６０２と同様に実空間領域の撮像を実行し（Ｓ７０２）、さらに、センサ部３０５からセンサ値を取得し（Ｓ７０４）、バッファとしての記憶部３０６に格納する。本実施形態においては、前述のとおりＯＲＢ特徴量の算出を伴う撮像部３０４による撮像は５回／秒で実空間領域の撮像を行うものとする。一方、センサ部によるセンサ値の測定は１００回／秒程度で実行することが可能である。したがって、５回／秒で画像の撮像を行い（Ｓ７０２）、Ｓ７０４において取得されるセンサ値については、例えばセンサ部において実行済の２０回分の測定を記憶部３０６に格納することができる。または、センサ値の取得処理は所望画像記憶処理と並列に実行されるものとして、センサ部３０５において測定される度に記憶部３０６へ逐次格納してもよい。

本実施形態においては、センサ部３０５は、ジャイロ３軸、加速度３軸及び方位３軸の９軸の値を測定して出力するものとするが、ジャイロ３軸、加速度３軸及び方位３軸のいずれか１つまたはいずれか２つの組合せとしても同様の効果を得ることができる。また、各センサが３軸である必要もない。基準画像決定処理の直後の処理においては、基準画像決定処理において撮像された実空間の画像を用いることでＳ７０２を省略することができる。

次に、Ｓ６０４〜Ｓ６１０と同様に、Ｓ７０２において撮像された撮像画像における特徴点の抽出処理を行い（Ｓ７０４）、基準画像における特徴点に対応する撮像画像における特徴点を抽出し（Ｓ７０８）、基準画像と撮像画像がマッチしているか否かを判定する（Ｓ７１０）。基準画像と撮像画像とがマッチしているか否かの判定は、基準画像における特徴点に対応する撮像画像における検出された特徴点の数が所定の値以上であるか否かに基づいて行うことができる。ここでの所定値は、基準画像決定処理における閾値よりも低い閾値としてもよい。基準画像決定処理より低い閾値とすることで、基準画像決定処理へ頻繁に戻ってしまうことを防止することができる。

本実施形態においては、基準画像と撮像画像がマッチしていないと判定された際には、基準画像決定処理（Ｓ４０２）に戻るものとする。基準画像の決定が正しくなかったか、ユーザが撮像する掲示物を変更したりした場合に、新たに適切な基準画像をテンプレート画像から選択することを可能とする。また、所定期間以上、検出された特徴点の数が所定の値以下である場合に、基準画像決定処理（Ｓ４０１）へ戻るようにしてもよい。Ｓ７０８及びＳ７１０を省略して、基準画像を決定した後には、その基準画像に基づいて所望画像を取得するまで所望画像記憶処理を継続するようにしてもよい。

Ｓ７１０において、基準画像と撮像画像とがマッチしていると判定されると、検出された基準画像の特徴点に対応する点の位置と当該検出された点に対応する特徴点の決定された位置との距離を算出する（Ｓ７１２）。基準画像の特徴点の集合ｐと撮像画像における対応する特徴点の集合ｐ’との距離ｄｉｓｔａｎｃｅ（ｐ，ｐ’）は次のように定義できる。

ここで、ｘ（ｐ_i）はｉ番目の特徴点のｘ座標であり、ｙ（ｐ_i）はｉ番目の特徴点のｙ座標を示す。この式では、距離としてすべての特徴点の距離の平均を求めている。異なる実施形態として、距離の最大値を求める方法や中央値またはそれらの組合せ等の他の統計値を求める方法を採用してもよい。

Ｓ７１４において、電子装置１２０の移動量が所定の許容基準以下であるか否かを判定する。本実施形態においては、移動量が所定の許容基準以下であるか否かの判定は、センサ部から取得されたセンサ値の変化量及び算出された距離に基づいて行うものとする。センサ値の変化量を算出するためには、２以上のタイミングで、好ましくは所定期間の間に取得された複数のセンサ値が必要である。したがって、Ｓ７１４において、必要な数のセンサ値が取得されていない場合には、移動量が所定の許容基準を満たさないものとして、Ｓ７０２へ戻り、必要な数のデータが取得されるまで繰り返しセンサ値の取得及び距離の算出を実行し、バッファとしての記憶部３０６に格納する。バッファとしての記憶部３０６に格納されるデータＤの一例を以下に示す。

データＤは、基準画像のビットマップデータbitmap、基準画像に紐付けられた識別子、撮像される画像内の基準画像の配置情報を示すx,y,h,w、センサから得られる所定時間のセンサ値情報Ｓ、画像内の特徴点の位置を示す情報Ｐ、の５つのデータを最大Ｍ秒間格納するデータ構造を有し、記憶部３０６のバッファに格納される。バッファはリングバッファのように最も古いデータから上書きしていくようにしてもよい。

配置情報は、撮像画像における基準画像が配置される部分の左下端の座標（ｘ，ｙ）とポスター部分の幅（ｗ）及び高さ（ｈ）を含む。［Ｓ₀，...，Ｓ_n-1]はＭ秒間分計測されたｎ組のセンサの値を示し、Ｓｉはｉ番目のセンサの値を示す。本実施形態においては、センサ値Ｓ_iは、ジャイロ３軸（ｘ_i，ｙ_i，ｚ_i）、加速度３軸（ａ_i，ｂ_i，ｇ_i）及び方位３軸（α_i，β_i，γ_i）のセンサ値を含む。［Ｐ₀，...，Ｐ_m-1]は、Ｍ秒間分計測された、ｍ個のフレームにおける特徴点の位置情報を示し、Ｐ_iはｉ番目のフレームにおけるＱ個の特徴点の位置情報を示すものである。一つの特徴点ｐの位置情報はその特徴点の座標情報x,yを含むものとする。このデータバッファのうちセンサ値と特徴点の位置情報の履歴情報の一例を以下に示す。

表１〜表３はそれぞれ、加速度センサ、ジャイロセンサ、方位センサのセンサ値の所定期間内の履歴データを示し、表４は各撮像画像における各特徴点の座標についての履歴データを示す。センサ値の変化量は、所定期間内に測定されたセンサ値の時間的に隣接する値の間の差分に基づいて算出することができる。この算出された差分の絶対値の合計値を移動量を判定するための一つの基準とすることができる。Timestampは測定された時間を示し、Timestampの値が大きいほど新しく測定された値である。

例えば、表１におけるaccelerometer(x)のTimestamp=1498798577、1498798578の値はそれぞれ、０．５、０．４であるからその差分の絶対値は０．１である。同様にaccelerometer(y)及びaccelerometer(z)についてもTimestamp=1498798577と1498798578との間の差分を算出する。すなわち、これらの差分は０．８及び０．４である。次に時間的に隣接するセンサ値はTimestamp＝1498798578と1498798579であり、accelerometer(x)、accelerometer(y)及びaccelerometer(z)の差分の絶対値は０．２、０．２、０．１である。Timestampが1498798577〜1498798579を所定の期間とすれば、これらの算出された差分の合計値である１．８を取得するものとする。

特徴点については、前述の数１に基づいて、基準画像の特徴点と、１つのTimestampが付けられた撮像画像における対応する特徴点との距離を算出する。本実施形態においては、距離として距離の平均値を算出して、移動量の判定に用いるものとするが、距離の最大値や中央値またはそれらの組合せを統計値として用いてもよい。距離の統計値は複数のTimestampが付けられた特徴点との距離の統計値としてもよい。距離は撮像画像の横幅で[0, 1]で正規化されているものとする。

また、一つの変形例として、所定期間内に撮像された画像についての距離の間の距離差分を距離の統計値として使用してもよい。例えば、Timestamp＝1498798500の時の距離の平均値が０．０５であり、Timestamp＝1498798800の距離の平均値が０．０３である場合、距離差分は０．０２である。所定期間内の隣接するTimestampが付けられた特徴点についての位置情報に基づいて算出された距離の平均値同士の差分をすべて算出して、その合計値を距離の統計値として取得する。

そして、センサ値の合計値が所定値以下であり、かつ、距離の統計値が所定値以下である状態が所定期間継続した場合に、移動量が所定の許容基準を満たすものとする。例えば、距離の平均値が０．１以下であり、かつ、センサ値の変化量の合計が２．０以下である状態が、０．５秒以上継続した場合に、移動量が所定の許容基準を満たしたものと判定す

電子装置１２０が有するジャイロセンサ、加速度センサ、方位センサ等のセンサは１００回／秒で移動や回転をモニタリングすることができ、電子装置１２０の突発的な動きを検出することができる。一方で、これらのセンサはユーザの手元の動きしかとらえられないため、微細な角度の変化などから生じる変化に反応することは難しい。本実施形態においては、移動量の判定のために、これらのセンサに加えて基準画像と撮像画像における特徴点の距離を用いる。撮像画像における特徴点の移動は、スマートフォンの動きを拡大した動きになるため、微細な手振れを検出できる。ＯＲＢ特徴量は５回／秒程度の頻度でしか計算できないため、突発的な動きの検出は難しい。そこで、加速度センサ等のセンサによって測定されたセンサ値と特徴点の距離の両方を用いることにより、突発的な動きと微細な動きのいずれもが起きていない安定状態を自動的に検出して、品質の高い画像の撮像を可能とする。

さらに検出された対応特徴点の数が所定値以上であることを要件とすることもできる。例えば、基準画像の総特徴点数の内の１５％以上の対応する特徴点を撮像画像で検出していることを要件とすることができる。十分な数の特徴点に基づいて移動量の判定を行うことにより、より品質の高い画像の撮像を可能とする。

移動量が所定の許容基準を満たさないと判定された場合には、Ｓ７０２に戻る。

移動量が所定の許容基準を満たすと判定された場合には、Ｓ７１６において、撮像部によって撮像された空間の画像を所望の画像として記憶部３０６に記憶して、所望画像記憶処理（Ｓ４０４）が終了する。所望の画像として記憶部３０６に記憶する画像は、Ｓ７０２において既に撮像された画像であり、移動量が所定の許容基準を満たすとの判定を行うために用いられた撮像画像の一つとすることができ、好ましくは、最後に撮像され、バッファとしての記憶部３０６に格納されていた撮像画像とすることができる。また、移動量が所定の許容基準以下であると判定された直後等の所定の期間内に撮像部３０４によって撮像した画像を所望の画像としてもよい。

所望画像記憶ステップＳ４０４が終了すると、電子装置１２０は、Ｓ４０６において閲覧確認要求をサーバ１３０へ送信する。閲覧確認要求には、所望画像に加えて、取得されたセンサ値及び特徴点についての情報を含ませることができる。センサ値及び特徴点についての情報は閲覧要求毎に固有であると考えられるため、サーバ１３０において閲覧要求の正当性の判断に用いることができる。すなわち、所望画像は他のユーザが撮影した画像と類似する可能性があるものの、その撮像の際の電子装置１２０の移動の履歴を示すデータであるセンサ値及び特徴点についての情報が一致する可能性は極めて低い。したがって、撮影毎に固有のシグネチャ情報として用いることができる。

本実施形態を用いることにより、追加の装置を用いることなく、電子装置１２０が安定した状態で対象物の画像を含む画像の撮像することが可能となり、手ぶれ等を原因とするブラーで歪む等の画像の品質低下を防止することができる。本実施形態を用いて撮像画像の真贋判定を行うことでより信頼性の高い判定を行うことが可能となる。加速度センサ等のセンサによって測定されたセンサ値と特徴点の距離の両方を用いることにより、突発的な動きと微細な動きのいずれもが起きていない安定状態を自動的に検出して、品質の高い画像の撮像を可能とする。

対象物が撮像画像の基準画像を配置した所定の領域、例えば、枠５０１に示された領域に収まっている画像を撮像するために、ユーザが電子装置１２０を移動させ、枠５０１に収まった瞬間に撮像を行うと、電子装置１２０が大きく移動している最中であるために、手ぶれ等により撮像された画像の品質が低くなりやすい。これは、特に、チェックイン等のための真贋判定の精度を低下させる恐れがある。本実施形態を用いることにより、対象物が撮像画像の基準画像を配置した所定の領域に収まっている画像を撮像しようとしてユーザが電子装置１２０を移動させた場合であっても、電子装置１２０の移動が終了して安定してから所望の画像としての記憶が実行されるから、一定の角度及び距離からの周辺画像を含む品質の高い画像の撮像が可能となる。

さらに一つの変形例として、図５に記載した閲覧確認用アプリケーションの表示画面５００における枠５０１に代えて、または枠５０１に加えて、撮像画像における基準画像の特徴点から撮像画像において検出された対応する特徴点とを結ぶ対応線分を描画して表示することができる。図８に枠５０１に代えて対応線分を描画した場合の表示画面の一例８００を示した。バツ印で示した点が基準画像の特徴点８０１の位置であり、丸印で示した点８０２が対応する撮像画像における特徴点の位置である。対応する特徴点の位置を対応線分８０３で結ぶことにより、どちらの方向にどの程度、電子装置１２０を移動させればよいのかをユーザが容易に理解することができる。各種センサ値を表示画面８００に表示させてもよい。電子装置１２０の移動量を安定させるためのユーザにとってのガイド情報として使用することができる。

以上に説明した処理または動作において、矛盾が生じない限りにおいて、処理または動作を自由に変更することができる。また以上に説明してきた各実施形態は、本発明を説明するための例示であり、本発明はこれらの実施形態に限定されるものではない。本発明は、その要旨を逸脱しない限り、種々の形態で実施することができる。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。

１００ ：システム
１１０ ：ネットワーク
１２０ ：電子装置
１３０ ：サーバ
２０１ ：プロセッサ
２０２ ：表示装置
２０３ ：入力装置
２０４ ：撮像装置
２０５ ：センサ
２０６ ：記憶装置
２０７ ：通信装置
２０８ ：バス
２０９ ：プログラム
２５１ ：プロセッサ
２５２ ：表示装置
２５３ ：入力装置
２５４ ：記憶装置
２５５ ：通信装置
２５６ ：プログラム
２５８ ：バス
３０１ ：制御部
３０２ ：表示部
３０３ ：入力部
３０４ ：撮像部
３０５ ：センサ部
３０６ ：記憶部
３０７ ：通信部
３０８ ：特徴点抽出部
３０９ ：特徴点位置決定部
３１０ ：特徴点距離算出部
３１１ ：判定部
３１２ ：基準画像決定部
３５１ ：制御部
３５２ ：表示部
３５３ ：入力部
３５４ ：記憶部
３５５ ：通信部
５００ ：表示画面
８００ ：表示画面

Claims (11)

1. 対象物の周辺を含む画像を撮像するための電子装置によって実行される方法であって、前記電子装置はジャイロセンサ、加速度センサ、方位センサのうちの少なくとも１つのセンサ、撮像部及び対象物の画像である基準画像を記憶する記憶部を備え、前記方法は、
   撮像部によって撮像される空間の画像の所定の領域内に前記基準画像を配置した場合の当該基準画像の局所特徴量を示す特徴点の位置を決定するステップと、
   特徴点距離を繰り返し算出するステップであって、
   撮像部によって空間の画像を撮像するステップと、
   前記撮像部によって撮像された空間の画像から基準画像の特徴点に対応する点を検出するステップと、
   前記検出された基準画像の特徴点に対応する点の位置と当該検出された点に対応する特徴点の前記決定された位置との距離を算出するステップと、
   を繰り返し実行する、ステップと、
   前記センサの内の少なくとも１つから取得されたセンサ値の変化量及び前記算出された距離に基づいて、電子装置の移動量が所定の許容基準値以下であるか否かを判定する判定ステップと、
   許容基準値以下であると判定されると、撮像部によって撮像された空間の画像を所望の画像として前記記憶部に記憶する画像記憶ステップと、
   を含むことを特徴とする方法。
2. 前記距離を算出するステップは、前記検出された基準画像の特徴点に対応する点の位置と当該検出された点に対応する特徴点の前記決定された位置との距離の統計値を算出する、請求項１に記載の方法。
3. 前記距離の統計値は、前記繰り返し算出された距離の間の距離差分の統計値である、請求項２に記載の方法。
4. 前記判定ステップは、所定期間の間のセンサ値の変化量の合計が所定のセンサ値変化量閾値以下であり、かつ、距離の統計値が所定の距離閾値以下であるときに、電子装置の移動量が所定の許容基準値以下であると判定する、請求項２または３に記載の方法。
5. 前記画像記憶ステップは、前記撮像された空間の画像において検出された特徴点に対応する点の数が所定数以上であるときに実行される、請求項１〜４のいずれか１項に記載の方法。
6. 前記記憶部は対象物の画像の２以上のテンプレート画像を記憶し、前記基準画像は前記２以上のテンプレート画像から決定された１つであり、
   前記方法は、
   前記２以上のテンプレート画像から１つのテンプレート画像を選択するステップと、
   撮像部によって空間の画像を撮像するステップと、
   前記撮像部によって撮像された空間の画像から前記選択された１つのテンプレート画像の特徴点に対応する点を検出するステップと、
   前記検出された特徴点に対応する点の数が所定の基準値以上である場合には、前記選択された１つのテンプレート画像を基準画像として決定するステップと、
   を含む、
   請求項１〜５のいずれか１項に記載の方法。
7. 電子装置の表示部において、前記撮像部によって撮像された空間の画像を表示する際に、前記撮像部によって撮像された空間の画像の前記所定の領域内に前記基準画像を配置した場合の特徴点の位置から、前記検出された特徴点に対応する点の位置とを結ぶ線を表示するステップを含む、請求項１〜６のいずれか１項に記載の方法。
8. 前記所望の画像として記憶された画像は、対象物である所定の場所に掲示された掲示物を電子装置のユーザが掲示場所を訪れて閲覧したことを確認するために使用される、請求項１〜７のいずれか１項に記載の方法。
9. 請求項１〜８のいずれか１項に記載の方法を１以上のコンピュータに実行させるためのプログラム。
10. 請求項９に記載のプログラムを格納するコンピュータ読み取り可能な記憶媒体。
11. 対象物の周辺を含む画像を撮像するための電子装置であって、
    ジャイロセンサ、加速度センサ、方位センサのうちの少なくとも１つのセンサと、
    撮像部と、
    対象物の画像である基準画像を記憶する記憶部と、
    撮像部によって撮像される空間の画像の所定の領域内に前記基準画像を配置した場合の当該基準画像の局所特徴量を示す特徴点の位置を決定する特徴点位置決定部と、
    特徴点距離を繰り返し算出する特徴点距離算出部であって、
    撮像部によって撮像された空間の画像を取得し、
    前記撮像部によって撮像された空間の画像から基準画像の特徴点に対応する点を検出し、
    前記検出された基準画像の特徴点に対応する点の位置と当該検出された点に対応する特徴点の前記決定された位置との距離を算出する、
    ことを繰り返し実行する、特徴点距離算出部と、
    前記センサの内の少なくとも１つから取得されたセンサ値の変化量及び前記算出された距離に基づいて、電子装置の移動量が所定の許容基準値以下であるか否かを判定する判定部と、
    許容基準値以下であると判定されると、撮像部によって撮像された空間の画像を所望の画像として前記記憶部に記憶させる制御部と、
    を含むことを特徴とする電子装置。

Images