JP5662787B2 - 携帯端末および画像処理方法 - Google Patents

Description

本発明は、撮影した撮影データに仮想オブジェクト等の画像データを合成して表示する携帯端末および画像処理方法に関する。

近年において、ＡＲ（Augmented Reality：拡張現実）技術を用いたサービスが開発・提供されている。例えば、カメラにより取得した画像中の対象物に対応付けられた付加情報を取得し、取得した付加情報を当該対象物に合成して表示する技術が知られている。この技術では、付加情報は、各ユーザの移動端末により、当該ユーザの所在位置に関連付けられて例えばサーバ装置等に投稿され、投稿された付加情報は、サーバ装置に集約されることによりユーザ間で共有される。また、このような技術に共通する技術として、構造物の名称等のデータを予め記憶しておき、カメラで撮影した構造物に、当該構造物の名称等を対応付けて表示する技術が知られている（例えば、特許文献１参照）。

特開２０００−５０１５６号公報

上述特許文献１に記載されているように、撮影データに、所定のデータを合成する場合、映像データの所定の位置に合わせてデータを合成する必要がある。一方で、携帯端末は、一般的には小型で手振れなどの影響を受けやすい。また、ユーザは簡単に撮影範囲を変えることができ、その際、撮影範囲を変えるスピードによっては、データの合成処理が追いつくことができず、合成対象となるデータの合成位置にばらつきが生じる。

そこで、本発明においては、上述の課題を解決するために、撮影範囲を変えても、また手振れなどが生じても、その影響を受けることなく、安定して仮想オブジェクト等のデータを撮影データに合成することができる携帯端末および画像処理方法を提供することを目的とする。

上述の課題を解決するために、本発明の携帯端末は、撮影データを取り込む撮影手段と、前記撮影手段の撮影範囲を示すセンサ値を検出するセンサ手段と、前記撮影手段の撮影状態を検出する連続性検出手段と、前記連続性検出手段により検出された撮影状態に基づいて定められた平滑化パラメータを用いて、前記センサ手段により検出されたセンサ値を平滑化する平滑化手段と、前記平滑化手段により平滑化されたセンサ値に基づいて、前記撮影手段により取り込まれた撮影データに対する合成位置を算出する算出手段と、前記算出手段により算出された、撮影データにおける合成位置に、画像データを合成する合成手段と、前記合成手段により画像データが合成された撮影データを表示する表示手段と、を備え、センサ手段は、所定間隔ごとにセンサ値を順次検出し、時系列で保持するものであって、平滑化手段は、時系列で保持されたセンサ値のうち、撮影状態に応じて直近から所定数抽出されたセンサ値を平滑化対象として、撮影状態に応じた重み付け処理を行う。

また、本発明の画像処理方法は、撮影データを取り込む撮影ステップと、前記撮影ステップの撮影範囲を示すセンサ値を検出するセンサステップと、前記撮影ステップの撮影状態を検出する連続性検出ステップと、前記連続性検出ステップにより検出された撮影状態に基づいて定められた平滑化パラメータを用いて、前記センサステップにより検出されたセンサ値を平滑化する平滑化ステップと、前記平滑化ステップにより平滑化されたセンサ値に基づいて、前記撮影ステップにより取り込まれた撮影データに対する合成位置を算出する算出ステップと、前記算出ステップにより算出された、撮影データにおける合成位置に、画像データを合成する合成ステップと、前記合成ステップにより画像データが合成された撮影データを表示する表示ステップと、を備え、センサステップでは、所定間隔ごとにセンサ値を順次検出し、時系列で保持し、平滑化ステップでは、時系列で保持されたセンサ値のうち、撮影状態に応じて直近から所定数抽出されたセンサ値を平滑化対象として、撮影状態に応じた重み付け処理を行う。

この発明によれば、撮影範囲を示すセンサ値を検出するとともに、撮影状態を検出し、検出された撮影状態に基づいて定められた平滑化パラメータを用いて、検出されたセンサ値を平滑化する。そして、平滑化されたセンサ値に基づいて、撮影データに対する合成位置を算出し、撮影データにおける算出された合成位置に、画像データを合成し、画像データが合成された撮影データを表示することができる。

これにより、撮影状態によっては、本来合成すべき位置から画像データがずれてしまうといったことを解消することができ、誤差の少ない合成位置に画像データを合成することができる。特に、撮影状態におけるすべての状態において、平滑化処理を行ってしまうと、即応性が低下するといった問題がある。すなわち、大きく撮影範囲が動いているときに、過去の値を利用して平滑化処理しても、その撮影範囲の動きに追従することができず、すでに過ぎ去ってしまった撮影範囲に対する位置を算出してしまう。本発明においては、撮影状態に応じて平滑化処理を行うことができるため、適切な合成位置を算出し、そのレスポンス性を向上させることができるとともに、その誤差を極力軽減することができる。また、撮影状態に応じた過去の所定数のセンサ値の影響を受けることができ、直近の誤差の影響を軽減することができる。

また、本発明の携帯端末において、前記センサ手段は、撮影範囲を示すセンサ値として、加速度センサ、地磁気センサ、または位置センサの少なくともいずれか一つを検出することが好ましい。

この発明によれば、撮影範囲を示すセンサ値として、加速度センサ、地磁気センサ、または位置センサの少なくともいずれか一つにより検出されたセンサ値であることが好ましい。これにより、撮影範囲を簡易かつ正確に取得することができ、画像データと撮影データとの合成処理を簡易かつ正確に行うことができる。

また、本発明の携帯端末において、前記連続性検出手段は、前記センサ手段により検出されたセンサ値に基づいて撮影状態を検出することを特徴とする請求項１または２に記載の携帯端末。

この発明によれば、センサ手段により検出されたセンサ値に基づいて撮影状態を検出することが好ましい。例えば、センサ値の変動によって、撮影状態が静止状態であるのか、大きく撮影範囲が変化した状態であるのか、若しくはゆっくり変化した状態であるのか判断することができる。これにより、撮影状態を判断するための特別な手段を設けることなく、撮影範囲を把握するために利用されているセンサ手段を利用することで、簡易な構成で撮影状態を判断することができる。

また、本発明の携帯端末において、前記連続性検出手段は、前記撮影手段により取り込まれた撮影データの変化の状態に応じて撮影状態を検出することが好ましい。

この発明によれば、撮影データの変化の状態に応じて撮影状態を検出することが好ましい。例えば、撮影データの画素ごとの変動によって、撮影状態が静止状態であるのか、大きく撮影範囲が変化した状態であるのか、若しくはゆっくり変化した状態であるのか判断することができる。これにより、撮影状態を判断するための特別な手段を設けることなく、撮影データを取り込むための撮影手段を利用することで、簡易な構成で撮影状態を判断することができる。

また、本発明の携帯端末において、前記センサ手段は、所定間隔ごとにセンサ値を順次検出し、時系列で保持するものであって、前記平滑化処理手段は、前記時系列で保持されたセンサ値のうち、撮影状態に応じて直近から所定数抽出されたセンサ値を平滑化対象として、前記撮影状態に応じた重み付け処理を行うことが好ましい。

また、本発明の携帯端末において、前記連続性検出手段は、ユーザによる端末操作に基づいた撮影状態が所定時間単位で所定値以上変動したか、否かに基づいて、当該撮影状態を検出し、さらに、所定時間単位で、その変動パターンが所定の変動パターンであるか否かを検出することで、撮影状態を判断することが好ましい。

この発明によれば、ユーザによる端末操作に基づいた撮影状態が所定時間単位で所定値以上変動したか、否かに基づいて、当該撮影状態を検出し、さらに、所定時間単位で、その振幅の有無を検出することが好ましい。これにより、適切に撮影状態を判断することができる。例えば、撮影状態が所定値以上変化した場合には、撮影範囲が急激に大きく変動したと判断することができる。また、所定値以上変化しなかった場合には、ユーザにより操作によりゆっくりと変動したものと判断することができる。さらに、変動パターンが所定の変動パターンである場合、手ぶれや外乱などにより変動したものと判断することができる。そして、これら３つの状態に応じた平滑化パラメータを利用することにより、適切な平滑化処理を行うことができる。

本発明によれば、撮影状態によっては、本来合成すべき位置から画像データがずれてしまうといったことを解消することができ、誤差の少ない合成位置に画像データを合成することができる。特に、撮影状態におけるすべての状態において、平滑化処理を行ってしまうと、即応性が低下するといった問題がある。すなわち、大きく撮影範囲が動いているときに、過去の値を利用して平滑化処理しても、その撮影範囲の動きに追従することができず、すでに過ぎ去ってしまった撮影範囲に対する位置を算出してしまう。本発明においては、撮影状態に応じて平滑化処理を行うことができるため、適切な合成位置を算出し、そのレスポンス性を向上させることができるとともに、その誤差を極力軽減することができる。

本実施形態の携帯端末１００の機能構成を示すブロック図である。 携帯端末１００のハードウェア構成図である。 センサ部１０５（例えば、地磁気センサ）のセンサ値の変動を示した説明図である。 撮影データを画像解析することによりそのピクセルの移動量（変動）を示した説明図である。 平滑化パラメータＤＢ１０４に記憶されているデータベースの具体例である。 仮想オブジェクトを記憶する管理テーブルを示す図である。 携帯端末１００の処理を示すフローチャートである。 連続性検出部１０３における処理を示すフローチャートである。 携帯端末１００の撮影状態が静止状態であるときの合成位置を比較するための説明図である。 携帯端末１００の撮影状態が大きく変動しているときの合成位置を比較するための説明図である。

添付図面を参照しながら本発明の実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。

図１は、本実施形態の携帯端末１００の機能構成を示すブロック図である。図１に示すとおり、携帯端末１００は、撮影部１０１（撮影手段）、ディスプレイ部１０２（表示手段）、連続性検出部１０３（連続性検出手段）、平滑化パラメータＤＢ部１０４、センサ部１０５（センサ手段）、平滑化処理部１０６（平滑化手段）、仮想オブジェクト格納部１０７、および仮想オブジェクト位置決定部１０８（算出手段、合成手段）を含んで構成している。この携帯端末１００は、図２に示すハードウェアにより構成されている。

図２は、携帯端末１００のハードウェア構成図である。図１に示される携帯端末１００は、物理的には、図２に示すように、ＣＰＵ１１、主記憶装置であるＲＡＭ１２及びＲＯＭ１３、入力デバイスであるキーボード及びマウス等の入力装置１４、ディスプレイ等の出力装置１５、ネットワークカード等のデータ送受信デバイスである通信モジュール１６、ハードディスク等の補助記憶装置１７などを含むコンピュータシステムとして構成されている。図１において説明した各機能は、図２に示すＣＰＵ１１、ＲＡＭ１２等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１１の制御のもとで入力装置１４、出力装置１５、通信モジュール１６を動作させるとともに、ＲＡＭ１２や補助記憶装置１７におけるデータの読み出し及び書き込みを行うことで実現される。以下、図２に示す機能ブロックに基づいて、各機能ブロックを説明する。

撮影部１０１は、カメラにより撮影した撮影データを取得する部分である。取得した撮影データは、ディスプレイ部１０２に出力される。

ディスプレイ部１０２は、撮影データを表示する部分である。このディスプレイ部１０２は、さらに、後述する仮想オブジェクト位置決定部１０８において、撮影部１０１により取り込まれた撮影データに仮想オブジェクトが合成されて得られた撮影データを表示する。

連続性検出部１０３は、センサ部１０５（ジャイロセンサ、加速度センサ、地磁気センサ、または位置センサ（ＧＰＳ）の少なくともいずれか一つ）から得られたセンサ値に基づいて、撮影部１０１において撮影された撮影データの変化の度合いを示す連続性を検出する部分である。すなわち、連続性検出部１０３は、ユーザが撮影部１０１による撮影を行う際に、その撮影範囲を大きく移動させるか、ゆっくりと撮影範囲を移動させるか、または移動させていないか、を判断する部分であり、上述したセンサ部１０５からのセンサ値に基づいて、そのセンサ値の変動が、所定値以上か、所定値未満（なお、０またはその近似値を含まない）か、もしくは、変動しないか（０またはその近似値を含む）を判断する。そして、所定値以上である判断すると、ユーザは撮影範囲を大きく移動させていると判断し、所定値未満であると判断すると、ユーザは撮影範囲をゆっくりと移動させていると判断し、変動していないと判断すると、ユーザは撮影範囲を移動させていないと判断する。

この連続性検出部１０３の処理についてより詳細に説明する。図３は、センサ部１０５（例えば、地磁気センサ）のセンサ値の変動を示した説明図である。この説明図においては、縦軸が方位を示し、横軸が時間を示している。時間（１）で示されている時間帯では、センサ値は、方位１８０度を少し下回った位置から右肩上がりに、方位が上昇するように変動している。このような、センサ値の変動幅が小さく（所定値以下で）、上下に規則的に変動するパターンを示していない変動パターンについては、ユーザはゆっくりと撮影範囲を移動させていると判断することができる。なお、この方位は、あらかじめ定めた基準値からの角度を示すものとする。

また、時間（２）で示されている時間帯では、センサ値は、方位１８０度から所定値以上の変動している。このような変動については、ユーザはその撮影範囲を急激に移動させていると判断することができる。

そして、時間（３）で示されている時間帯では、センサ値は、所定範囲の振幅をもって上下に規則的に変動している。このような変動については、ユーザは撮影範囲を移動させておらず、手振れもしくは外乱の影響を受けていると判断することができる。

なお、図３では、センサ値の変動に基づいた判断を行っているが、これに限るものではなく、撮影部１０１により撮影された撮影データに基づいて撮影部１０１の撮影範囲の移動の判断を行うことができる。図４は、撮影データを画像解析することによりそのピクセルの移動量（変動）を示した説明図である。

図４（ａ）は、撮影部１０１により撮影された撮影データの画素の移動遷移を示す図である。図に示すとおり、撮影範囲を右に移動（または回転）させると、建物の屋根の角を示したマークｍの位置は、左に移動していることがわかる。この移動量を判断することにより、どの程度移動をしたかを判断しようとするものである。

図４（ｂ）は、ピクセルの位置の移動量の変動を示した説明図である。図４（ｂ）における時間（４）で示される時間帯では、ピクセルの位置の移動量（変動）は、所定の変動パターンをとっており、時間（５）で示される時間帯は、所定値以上の移動量（変動）があることを示し、時間（６）で示される時間帯では、センサ値の所定値未満の移動量（変動）があることを示し、時間（７）で示される時間帯は、センサ値の所定値以上の移動量（変動）があること示している。このように画像解析を行い、ピクセルの移動量を判断することにより、撮影状態を判断することができる。この図４（ｂ）においては、時間（４）が、手ぶれなどの影響を受けている場合であり、時間（５）、（７）が、撮影範囲を大きく変動させた場合であり、時間（６）が、撮影範囲をゆっくりと変動させた場合を示している。

図２に戻り、引き続き説明する。平滑化パラメータＤＢ部１０４は、平滑化パラメータとして、重み係数Ａ（ｔ）および遡り値Ｎを、撮影状態に対応付けて記憶する部分である。図５に、平滑化パラメータＤＢ１０４に記憶されているデータベースの具体例を示す。図５に示されるとおり、撮影状態として、「ゆっくり移動」、「大きく移動」、「静止」があり、それぞれ、重み係数Ａ（ｔ）と遡り値Ｎとが対応付けられている。さらに、遡り値Ｎの数に応じた重み係数Ａ（ｔ）が設定されている。例えば、図５においては、遡り値Ｎが２であるため、重み係数Ａ（ｔ）として２つの重み係数Ａ（ｔ）が設定されている。この利用の仕方は後述する。

センサ部１０５は、加速度センサ、地磁気センサ、および位置センサ（ＧＰＳモジュール）の少なくとも一つから構成される部分であり、撮影部１０１の撮影範囲を把握するための情報として、センサ値を取得する部分である。

平滑化処理部１０６は、平滑化パラメータＤＢ部１０４に記憶されている重み係数Ａ（ｔ）および遡り値Ｎを用いて、センサ部１０５のセンサ値に対して平滑化処理を行う部分である。具体的には、以下の式（１）の演算処理を行う。

ここでは、ある時間tのセンサ値をf(t)とし、ある時間tの平滑化したセンサ値をF(t)とする。また、どこまで遡ってセンサ値を利用するかを示す値をnとする。例えば、ある時間tにセンサ取得した前回の情報を利用する場合はn=1となる。遡ったセンサ値に対する重み付け係数をa(n)とする。ｉは、ｔを基準にして、遡った過去のセンサ値を示す。そして、F(t)の値から仮想オブジェクトをディスプレイ部１０２に表示する位置をX(t)とする。なお、上述のF(t)は、加速度センサ、地磁気センサ、または位置センサのうちの一つを示すものであるが、これらすべてのセンサのセンサ値に対して上述の式（１）を適用して、平滑化処理を行う。

図５における平滑化パラメータＤＢ部１０４では、「ゆっくり移動」パターンには、重み係数Ａ（ｔ）として、０．２、０．１が設定されており、遡り値Ｎは２と設定されている。

そして、上述の式（１）にこれを当てはめると、
F(t)=f(t)+a(t-1)*f(t-1)+a(t-2)*f(t-2)=f(t)+0.2*f(t-1)+0.1*f(t-2)
となる。

仮想オブジェクト格納部１０７は、仮想オブジェクトを記憶する部分である。図６に仮想オブジェクトを記憶する管理テーブルを示す。この管理テーブルでは、仮想オブジェクトのイメージデータのファイル名、距離（メートル）、配置方角（度）を対応付けて記憶している。この管理テーブルに基づいて、撮影データのどの方向の、どの位置に仮想オブジェクトを合成させるかを、仮想オブジェクト位置決定部１０８は判断することができる。

なお、仮想オブジェクト格納部１０７は、携帯端末１００の位置を中心に所定範囲に存在する仮想オブジェクトを予めネットワーク等を介して取得しておき、移動機の撮影範囲等に基づいて、仮想的に生成されている管理テーブルである。よって、携帯端末１００の撮影範囲が変わるごとに、この管理テーブルは書き換えられることになる。

仮想オブジェクト位置決定部１０８は、仮想オブジェクト格納部１０７に記憶されている管理テーブルに従って、仮想オブジェクトを読み出し、撮影データに対して合成する処理を行う。合成処理に先立って、仮想オブジェクトの合成位置を決定する。この決定に際して、平滑化処理部１０６において、合成位置を決定するためのセンサ値が予め平滑化されており、その平滑化されたセンサ値を用いて合成位置を算出して、決定する。この仮想オブジェクト位置決定部１０８は、所定時間単位で繰り返し合成位置の決定処理を行うことにより、撮影範囲が移動したとしても、撮影状態に応じて仮想オブジェクトの合成表示を追従させることができる。なお、加速度センサ、地磁気センサ、位置センサなどからのセンサ値から合成位置を算出する方法は、一般的に知られたものである。

ディスプレイ部１０２は、仮想オブジェクトが所定の合成位置に合成された撮影データを表示する部分である。

つぎに、このように構成された携帯端末１００の処理について説明する。図７は、携帯端末１００の処理を示すフローチャートである。

まず、携帯端末１００の撮影部１０１が、ユーザ操作により起動され、撮影データが取り込まれる（Ｓ１０１）。その起動に応じて、センサ部１０５が起動され（Ｓ１０２）、現在位置や、撮影範囲、撮影範囲が把握され、携帯端末１００の位置に応じた仮想オブジェクトが無線ネットワークを介して取得され、仮想オブジェクト格納部１０７に記憶される。

つぎに、仮想オブジェクト位置決定部１０８により、仮想オブジェクト格納部１０７において、合成すべき仮想オブジェクトの有無が判断される（Ｓ１０３）。ここで合成すべき仮想オブジェクトがあると判断されると、連続性検出部１０３による各種センサ値が平滑化処理部１０６に取得される（Ｓ１０４）。そして、連続性検出部１０３により、撮影データの連続性、すなわち、撮影範囲の状態変化の速さが判断される（Ｓ１０５）。

平滑化処理部１０６においては、平滑化パラメータＤＢ部１０４に記憶されている平滑化パラメータである重み付け係数Ａ（ｔ）および遡り値Ｎが、連続性に基づいて抽出される（Ｓ１０６）。そして、抽出された平滑化パラメータを用いて、平滑化処理部１０６において各種センサ値が平滑化される（Ｓ１０７）。そして、平滑化されたセンサ値に基づいて、撮影データにおける合成位置が算出される。そして、その撮影データの合成位置に仮想オブジェクトが合成されて、ディスプレイ部１０２に表示される（Ｓ１０８）。

そして、こらＳ１０４からＳ１０８の処理は、撮影部１０１の起動状態がオフとなるまで繰り返し行われる。よって、センサ部１０５によるセンサ値の取得タイミングに応じて、撮影データにおける仮想オブジェクトの合成位置が定まり、撮影データと仮想オブジェクトとの合成処理が行われる。

つぎに、連続性検出部１０３における処理について詳細に説明する。図８は、連続性検出部１０３における処理を示すフローチャートである。

連続性検出部１０３において、直近のセンサ値との差が計測される（Ｓ２０１）。そして、所定の閾値Ｘと比較し、ここで直近のセンサ値が閾値Ｘ以上であると判断されると、撮影状態のパターンＢと判断される（Ｓ２０５）。ここで撮影状態のパターンＢとは、撮影範囲を大きく変化させる操作を示す。

また、センサ値が閾値Ｘより小さいと判断されると、さらに単位時間あたりのセンサ値が計測される（Ｓ２０３）。そして、単位時間あたりでのセンサ値の変動パターンが導き出され、所定の変動パターンをとっているか否かが判断される（Ｓ２０４）。ここで、所定の変動パターンをとっていると判断されると、撮影状態のパターンＣであると判断される。すなわち、手ぶれや外乱による振幅であると判断される（Ｓ２０６）。この所定の変動パターンは、例えば、センサ値の振幅の差が所定値以下であり、そのセンサ値が規則的に上下に変動するパターンが考えられるが、そのほか手ぶれを示すような変動パターンであればよい。また、所定の変動パターンではないと判断されると、撮影状態のパターンＡであると判断され、ユーザはゆっくりと撮影範囲を変えている操作をしている判断する（Ｓ２０７）。

なお、パターンによって、仮想オブジェクトの合成位置を構成するタイミングを変えるようにすると、消費電力を低減させる上では、好適である。

例えば、連続性のパターンとして、パターンＡであると判断される場合は、ユーザはゆっくり撮影範囲を変えている操作を行っているため、ディスプレイ部１０２に合成された仮想オブジェクトの合成位置はゆっくり変化する。また、パターンＣと判断される場合は、手ブレや外乱による影響と判断され、ディスプレイ部１０２に合成された仮想オブジェクトの合成位置の変化は小さい。このため、パターンＡ及びパターンＣは、ディスプレイ部１０２に仮想オブジェクトの合成位置を更新する時間間隔は長くしてもよい。

すなわち、所定の基準値Ｔ１を定めておき、Ｓ１０５において、連続性のパターンとしてパターンＡまたはＣであると判断されると、連続性検出部１０３は、Ｓ１０６に移行する前に前回更新した時間から所定の基準値Ｔ１で定める時間が経過したかを判断し、経過した場合には、Ｓ１０６における抽出処理および平滑化処理が行われる。経過していない場合には、これら抽出処理、平滑化処理は行われない。

一方、連続性のパターンとしてパターンＢと判断される場合は、ユーザは撮影範囲を大きく変化させる操作を行っており、ディスプレイ部１０２に合成された仮想オブジェクトの合成位置の変化は大きい。このため、パターンＢと判断される場合は、ディスプレイ部１０２に仮想オブジェクトの合成位置を更新する時間間隔は短くしてもよい。

例えば、所定の基準値Ｔ２（＜Ｔ１）を定めておき、Ｓ１０５において連続性のパターンとしてパターンＢであると判断されると、連続性検出部１０３は、Ｓ１０６に移行する前に前回更新した時間から所定の基準値で定める時間が経過したかを判断し、経過した場合には、Ｓ１０６における抽出処理および平滑化処理を行う。経過していない場合には、抽出処理および平滑化処理は行わない。

このように、仮想オブジェクトの合成位置を更新する時間間隔を変化させることにより、消費電力の低減させることも可能となる。なお、合成位置の更新する時間は、仮想オブジェクト位置決定部１０８において記憶されてもよいし、連続性検出部１０３において、その検出処理をした時間として記憶されてもよい。

このようにして、撮影状態のパターンが判断され、その撮影状態のパターンに応じた平滑化パラメータが平滑化パラメータＤＢ１０４から抽出され、平滑化処理部１０６において処理される。

よって、携帯端末１００は、仮想オブジェクトを撮影データに合成してディスプレイ部１０２に表示させる際、携帯端末１００の撮影範囲の移動状態に応じて、仮想オブジェクトの合成位置を平滑化して表示することができる。すなわち、撮影範囲の状態遷移スピードに応じて合成位置が平滑化され、そのスピードに応じて合成処理に対する即応性と、合成位置の誤差軽減とをバランスよく処理することができる。よって、速く撮影範囲を変えても、それに応じて直前の合成位置の影響をあまり受けることなく、合成処理が行われ、ゆっくりと撮影範囲を変えると、直前の合成位置の影響を受けつつ合成処理を行い、直近のセンサ値の誤差の影響を受けることがない。

つぎに、本実施形態の携帯端末１００の作用効果について説明する。本実施形態の携帯端末１００において、連続性検出部１０３が、撮影部１０１の撮影範囲を示すセンサ値を検出するとともに、撮影状態を検出し、平滑化処理部１０６は、検出された撮影状態に基づいて定められた平滑化パラメータを用いて、検出されたセンサ値を平滑化する。そして、仮想オブジェクト位置決定部１０８は、平滑化されたセンサ値に基づいて、撮影データに対する合成位置を算出し、撮影データにおける算出された合成位置に、画像データを合成し、ディスプレイ部１０２は、画像データが合成された撮影データを表示することができる。

これにより、撮影状態によっては、本来合成すべき位置から画像データがずれてしまうといったことを解消することができ、誤差の少ない合成位置に画像データを合成することができる。一方で、撮影状態におけるすべての状態において、平滑化処理を行ってしまうと、即応性が低下するといった問題がある。すなわち、大きく撮影範囲が動いているときに、過去の値を利用して平滑化処理しても、その撮影範囲の動きに追従することができず、すでに過ぎ去ってしまった撮影範囲に対する位置を算出してしまう。しかしながら、本実施形態の携帯端末１００においては、撮影状態に応じて平滑化処理を行うことができるため、適切な合成位置を算出し、そのレスポンス性を向上させることができるとともに、その誤差を極力軽減することができる。

ここで、その本実施形態を適用した場合と適用しなかった場合のそれぞれの仮想オブジェクトと撮影データの合成位置について説明する。

携帯端末１００の撮影範囲の変動が小さい場合について説明する。例えば、携帯端末１００をゆっくり動かした場合や、手振れなどの影響を受けている場合である。図９は、その合成位置を比較するための説明図である。

図９（ａ）に示す合成例では、平滑化処理を大きくした場合の合成例を示したものであり、例えば平滑化処理のセンサ値の対象を直近から所定数（例えばｎ）のセンサ値を対象とした例である。図９（ａ）に示すとおり、ディスプレイ部１０２には、撮影データＳのほぼ中央に、仮想オブジェクトＭが合成されて表示されている。ここでの例では、撮影データの中央（十字マークＣ）に仮想オブジェクトＭが合成されたものが適正位置での合成位置であるとしている。このように平滑化処理を大きくした場合には、過去のセンサ値の影響を受けることになるため、直近のセンサ値に誤差が合ったとしてもその影響軽減し、結果的に、適正な合成位置に仮想オブジェクトは合成される。

図９（ｂ）に示す合成例は、合成位置が不良な場合を示す例であり、例えば、平滑化処理のセンサ値の対象を直近から所定数（例えばｍ＜ｎ）のセンサ値を対象とした例である。図９（ｂ）に示すとおり、ディスプレイ部１０２には、撮影データＳに、仮想オブジェクトＭが合成されて表示されているが、仮想オブジェクトＭは、撮影データの中央（十字マークＣ）から少し左にずれた位置に合成されている。このように平滑化処理を小さくした場合には、直近のセンサ値の影響を大きく受けることになり、その直近のセンサ値に誤差が多く含まれている場合には、その合成位置もずれることになる。

本実施形態の携帯端末１００においては、図９（ｂ）に示されるような、撮影データにおける合成位置に仮想オブジェクトは合成されること無く、図９（ａ）に示される適正な合成位置に仮想オブジェクトが合成されることになる。

つぎに、携帯端末１００の撮影範囲の変動が大きい場合について説明する。例えば、携帯端末１００を急激に大きく動かした場合で、その撮影範囲が大きく変動した場合である。図１０は、その合成位置を比較するための説明図である。この図１０では、撮影範囲を左から右に回転させて停止した瞬間における撮影データを示す図である。

図１０（ａ）に示す合成例は、本実施形態の技術を適用しなかった場合の合成位置が不良な場合を示す例であって、例えば、平滑化処理のセンサ値の対象を直近から所定数（例えばｎ）のセンサ値を対象とした例である。この例では、図１０（ａ）に示すとおり、ディスプレイ部１０２には、撮影データＳの中央（十字マークＣ）からやや右側に、仮想オブジェクトＭが合成されて表示されている。ここでの例では、急激に撮影範囲を変えたために、平滑化処理を大きくした場合には、過去のセンサ値を利用して平滑化処理をすると、その過去のセンサ値に合成位置が影響して、結果的に、仮想オブジェクトの合成位置がずれてしまう。

これに対して、図１０（ｂ）に示す合成例では、本実施形態の技術を適用した場合の合成位置が良好な場合を示す例である。例えば、平滑化処理のセンサ値の対象を直近から所定数（ｎ＜ｍ）のセンサ値を対象とした例である。この例では、図１０（ｂ）に示すとおり、ディスプレイ部１０２には、撮影データＳのほぼ中央（十字マークＣ）に、仮想オブジェクトＭが合成されて表示されている。これは、平滑化処理をあえて小さくして、過去のセンサ値の利用を制限したため、撮影範囲の変動にその合成位置が遅れることなく、合成処理を行うことができたためである。

このようにして、本実施形態の携帯端末１００はその撮影状態に応じた平滑化処理を行うことにより、撮影データと仮想オブジェクトとの適正な合成処理を行うことができる。

さらに、携帯端末１００において、撮影範囲を示すセンサ値として、加速度センサ、地磁気センサ、または位置センサの少なくともいずれか一つにより検出されたセンサ値であることが好ましい。これにより、撮影範囲を簡易かつ正確に取得することができ、画像データと撮影データとの合成処理を簡易かつ正確に行うことができる。

また、携帯端末１００において、撮影範囲を判断するためのセンサ部１０５により検出されたセンサ値に基づいて撮影状態を検出することが好ましい。例えば、センサ値の変動によって、撮影状態が静止状態であるのか、大きく撮影範囲が変化した状態であるのか、若しくはゆっくり変化した状態であるのか判断することができる。これにより、撮影状態を判断するための特別な手段を設けることなく、撮影範囲を把握するために利用されているセンサ部１０５を利用することで、簡易な構成で撮影状態を判断することができる。

また、携帯端末１００において、撮影部１０１により取り込まれた撮影データの変化の状態に応じて撮影状態を検出することが好ましい。例えば、撮影データの画素ごとの変動によって、撮影状態が静止状態であるのか、大きく撮影範囲が変化した状態であるのか、若しくはゆっくり変化した状態であるのか判断することができる。これにより、撮影状態を判断するための特別な手段を設けることなく、撮影データを取り込むための撮影手段を利用することで、簡易な構成で撮影状態を判断することができる。

また、携帯端末１００において、センサ部１０５は、所定間隔ごとにセンサ値を順次検出し、時系列で保持しておき、時系列で保持されたセンサ値のうち、平滑化処理部１０６は、撮影状態に応じて直近から所定数抽出されたセンサ値を平滑化対象として、撮影状態に応じた重み付け処理を行うことが好ましい。これにより撮影状態に応じた過去の所定数のセンサ値の影響を受けることができ、直近の誤差の影響を軽減することができる。

また、携帯端末１００において、連続性検出部１０３は、ユーザによる端末操作に基づいた撮影状態が所定時間単位で所定値以上変動したか、否かに基づいて、当該撮影状態を検出し、さらに、所定時間単位で、その振幅の有無を検出することが好ましい。これにより、適切に撮影状態を判断することができる。例えば、撮影状態が所定値以上変化した場合には、撮影範囲が急激に大きく変動したと判断することができる。また、所定値以上変化しなかった場合には、ユーザにより操作によりゆっくりと変動したものと判断することができる。さらに、その変動パターンが所定の変動パターン（所定の振幅差をもった規則的な変動パターン）であった場合、手ぶれや外乱などにより変動したものと判断することができる。そして、これら３つの状態に応じた平滑化パラメータを利用することにより、適切な平滑化処理を行うことができる。

１００…携帯端末、１０１…撮影部、１０２…ディスプレイ部、１０２…ディスプレイ部、１０３…連続性検出部、１０４…平滑化パラメータＤＢ部、１０５…センサ部、１０６…平滑化処理部、１０７…仮想オブジェクト格納部、１０８…仮想オブジェクト位置決定部。

Claims (6)

1. 撮影データを取り込む撮影手段と、
   前記撮影手段の撮影範囲を示すセンサ値を検出するセンサ手段と、
   前記撮影手段の撮影状態を検出する連続性検出手段と、
   前記連続性検出手段により検出された撮影状態に基づいて定められた平滑化パラメータを用いて、前記センサ手段により検出されたセンサ値を平滑化する平滑化手段と、
   前記平滑化手段により平滑化されたセンサ値に基づいて、前記撮影手段により取り込まれた撮影データに対する合成位置を算出する算出手段と、
   前記算出手段により算出された、撮影データにおける合成位置に、画像データを合成する合成手段と、
   前記合成手段により画像データが合成された撮影データを表示する表示手段と、
   を備え、
   前記センサ手段は、所定間隔ごとにセンサ値を順次検出し、時系列で保持するものであって、
   前記平滑化手段は、前記時系列で保持されたセンサ値のうち、撮影状態に応じて直近から所定数抽出されたセンサ値を平滑化対象として、前記撮影状態に応じた重み付け処理を行うことを特徴とする携帯端末。
2. 前記センサ手段は、撮影範囲を示すセンサ値として、ジャイロセンサ、加速度センサ、地磁気センサ、または位置センサの少なくともいずれか一つを利用することを特徴とする請求項１に記載の携帯端末。
3. 前記連続性検出手段は、前記センサ手段により検出されたセンサ値に基づいて撮影状態を検出することを特徴とする請求項１または２に記載の携帯端末。
4. 前記連続性検出手段は、前記撮影手段により取り込まれた撮影データの変化の状態に応じて撮影状態を検出することを特徴とする請求項１または２に記載の携帯端末。
5. 前記連続性検出手段は、ユーザによる端末操作に基づいた撮影状態が所定時間単位で所定値以上変動したか、否かに基づいて、当該撮影状態を検出し、
   さらに、所定時間単位で、その変動パターンが所定の変動パターンであるか否かを検出することで、撮影状態を判断することを特徴とする請求項１から４のいずれか一項に記載の携帯端末。
6. 撮影データを取り込む撮影ステップと、
   前記撮影ステップの撮影範囲を示すセンサ値を検出するセンサステップと、
   前記撮影ステップの撮影状態を検出する連続性検出ステップと、
   前記連続性検出ステップにより検出された撮影状態に基づいて定められた平滑化パラメータを用いて、前記センサステップにより検出されたセンサ値を平滑化する平滑化ステップと、
   前記平滑化ステップにより平滑化されたセンサ値に基づいて、前記撮影ステップにより取り込まれた撮影データに対する合成位置を算出する算出ステップと、
   前記算出ステップにより算出された、撮影データにおける合成位置に、画像データを合成する合成ステップと、
   前記合成ステップにより画像データが合成された撮影データを表示する表示ステップと、
   を備え、
   前記センサステップでは、所定間隔ごとにセンサ値を順次検出し、時系列で保持し、
   前記平滑化ステップでは、前記時系列で保持されたセンサ値のうち、撮影状態に応じて直近から所定数抽出されたセンサ値を平滑化対象として、前記撮影状態に応じた重み付け処理を行うことを特徴とする画像処理方法。

Images