JP6905417B2 - 画像処理装置、画像処理方法、角度検出装置、角度検出方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、角度検出装置及びプログラムに関する。

画像を撮影する方法の一つとして、所定時間の間隔毎に撮影し、得た画像データのそれぞれをフレームの画像データとして出力し、フレームの画像データを合成することで、画像を生成する方法がある（特許文献１）。
特開２０１５−１７３４９６

しかしながら、特許文献１の方法では、ユーザの手振れや、画像処理装置を一定方向へ動かす際のスピードのばらつきにより、理想的な画像を生成することが困難であった。

本発明は、例えば、撮影角度の検出精度の点で有利な画像処理装置を提供することを目的とする。

上記課題を解決するために、本発明は、筐体と、筐体の動きを検知するセンサ部を有する画像処理装置であって、撮影対象を撮影し、画像情報を取得する撮影部と、センサ部が検知した情報に基づき、筐体の角度情報を求め、角度情報と撮影部が取得した画像情報とを紐付けて記録する記録部と、記録部に記録された角度情報に基づき、複数の角度から撮影された画像情報を少なくとも一つの組合わせ画像として生成する生成部と、組合わせ画像を表示する表示部と、を含み、記録部は、四元数を用いて角度情報を求め、撮影対象の撮影時において、筐体が所望の方向とは異なる方向に移動していると判断した場合又は筐体が所定の軸に対してしきい値を超えた角度で傾いていると判断した場合に、画像情報を記録しないことを特徴とする。

本発明によれば、例えば、撮影角度の検出精度の点で有利な画像処理装置を提供することができる。

第１実施形態に係る画像処理装置のブロック図である。 入力部の動作を説明するフローチャートである。 第１実施形態に係る画像情報の一例を示す図である。 回転四元数を説明する図である。 第１実施形態に係る角度情報の算出方法を説明する図である。 第１実施形態に係る筐体のＺ軸に対する傾きの角度の算出方法を説明する図である。 第１実施形態に係る警告画像を説明する図である。 生成部の動作を説明するフローチャートである。 出力部の動作を説明するフローチャートである。 第２実施形態に係る画像取得の一例を説明する図である 第２実施形態に係る表示部に表示される画像の一例を示す図である。 第２実施形態に係る画像情報の記録を説明する図である。 第３実施形態に係る画像処置装置の動作を説明するフローチャートである。 第１実施形態に係る角度情報の算出方法を用いた角度検出装置のブロック図である。

以下、本発明を実施するための形態について図面などを参照して説明する。

（第１実施形態）
図１は、第１実施形態に係る画像処理装置１００のブロック図である。画像処理装置１００は、制御部１１０と、センサ部１２０と、入力部１３０と、生成部１４０と、出力部１５０と、を有する。各構成部は、画像処理装置１００の筐体１０１（図７に図示）に内蔵されうる。本実施形態において、画像処理装置１００は、一例として、いわゆるスマートフォンと呼ばれる携帯情報端末である場合を例に挙げて説明する。ただし、画像処理装置１００は、センサ部１２０を備えていれば良く、タブレット端末や、カメラ付き携帯電話等の携帯情報端末であってもよいし、コンピュータであってもよく、これらに限られない。

制御部１１０は、プログラムを実行することにより画像処理装置１００を制御する処理手段である。制御部１１０は、ＣＰＵを含み得る。本実施例において、各構成部は制御部１１０により制御される。

センサ部１２０は、画像処理装置の筐体１０１の動きをセンサ情報として検知する。ここでの動きとは、筐体１０１に内蔵される撮影部が回転して撮影角度そのものが変更される動き、撮影角度は保持しつつ一方向に移動する動き等のように、筐体１０１又は撮影部１３１そのものの動きを意味する。動き検知のために、センサ部１２０は、重量加速度センサや、地磁気センサ、ジャイロセンサ等の多様なセンサで実現されてよい。

入力部１３０は、撮影部１３１と、記録部１３２を含みうる。撮影部１３１は、風景や人物などの撮影対象を撮影し、一定の間隔で画像情報を取得する。撮影部１３１は、レンズ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、Ａ／Ｄ（Ａｎａｌｏｇ/Ｄｉｇｉｔａｌ）変換器を含み得る。撮影部１３１は、入力手段又は撮影手段として機能する。撮影部１３１は、例えばスマートフォンのカメラ機能などであって良い。

記録部１３２は、センサ情報から、後述する方法により、筐体１０１の位置、姿勢、角度、撮影方向などの角度情報を一定の間隔で算出する。記録部１３２は、算出した角度情報と、同時刻に撮影部１３１により撮影された画像情報とを紐づけ、記録情報として記録する。記録部１３２は、算出した角度情報に基づき記録情報を記録する否かを判断する。

記録部１３２は、制御部１１０が処理を実行する際の記憶領域としても機能する。記録部１３２は、画像処理装置１００そのものに設けられた内部メモリであってよいが、例えば、画像処理装置１００に装着及び分離が容易なメモリカード、ＵＳＢメモリスティック等であってよい。または、画像処理装置１００と有線または無線インターフェースを通じて接続された外部記録ユニットであってよい。

生成部１４０は、記録部１３２に記録された記録情報を読み込み、画像の生成に使用する画像情報を選定する。生成部１４０は、選定した画像情報を組合わせて組合わせ画像を生成する。具体的には、生成部１４０、記録された角度情報に基づき、各方向（角度）から撮影された画像情報を選定し、選定した画像情報を組合わせる。これにより、一つの画像を生成する。生成された画像は、記録部１３２または通信部１５２に保存されて良い。

出力部１５０は、表示部１５１と、通信部１５２を含む。表示部１５１は、例えば、撮影部１３１で撮影される画像や生成部１４０で生成される組み合わせ画像などを画面上に表示する。表示部１５１は、通常の携帯型機器のようにＬＣＤパネルで実現されてよいが、必ずしもそれに限定されるものではない。

なお、表示部１５１は、タッチスクリーンで実現されてよい。それにより、ユーザはタッチスクリーンを直接タッチしたり、画像処理装置１００の本体に備えられた各種キーを選択したりすることで、撮影指示などの多様な指示の入力を行う。例えば、撮影部１３１を起動させた状態で、ユーザが撮影開始指示を入力すると、制御部１１０は撮影部１３１を制御して撮影を行う。

通信部１５２は、生成部１４０により生成された組合わせ画像をサーバにアップロードする。ユーザがアップロードの指示を入力すると、制御部１１０は、通信部１５２を制御し、画像のアップロードが行われる。サーバは、通信部１５２からアップロードされる組合わせ画像を共有するためのサービスを提供する。例えば、サーバは、ＳＮＳを提供するサーバであってよいし、画像共有（配信）サービスを提供するサーバであってもよい。サーバにより提供される情報共有サービスは、対象とするユーザを登録会員に限定してもよく、また一般に開放してもよい。

さらに、通信部１５２は、ユーザからの指示により、組合わせ画像のサイズの変更、画像の一部の切り出し、圧縮などの編集を行うことも可能である。

図２は、入力部１３０の動作を説明するフローチャートである。まず、撮影部１３１の動作について説明する。撮影部１３１は、制御部１１０からの指示により、起動される（ステップＳ２１１）。その後、制御部１１０によって撮影開始が指示されると、撮影部１３１は、撮影対象を撮影して画像情報を取得する（ステップＳ２１２）。

図３は、第１実施形態に係る画像情報の一例を示す図である。例えば、ユーザは、撮影対象３０１に撮影部１３１のレンズを向け、位置Ｌ１を始点として、撮影対象３０１の周囲を移動方向Ｄ１に沿って移動し、３６０度方向から撮影対象の撮影を行う。撮影部１３１は、一定の間隔で、画像情報を取得する。

なお、本実施形態においては、３６０度方向から撮影対象を撮影した場合について説明するが、複数の角度から撮影した複数の画像情報が取得されていれば良く、これに限られない。また、撮影対象３０１を、Ｚ軸を中心に回転させ、撮影部１３１固定させてもよい。

図２に戻り、撮影部１３１は、ステップＳ２３０において、制御部１１０から撮影終了の指示があった場合（ＹＥＳ）、動作を終了する。撮影終了の指示がなかった場合（ＮＯ）、撮影終了の指示があるまで画像情報の取得（ステップＳ２１２）を続ける。

続いて、記録部１３２の動作について説明する。記録部１３２は、制御部１１０からの指示により、起動される（ステップＳ２２１）。制御部１１０は、撮影部１３１に起動の指示を行うのと同時に、記録部１３２にも起動の指示を行う。つまり、記録部１３２は、撮影部１３１が起動するのと同時に起動する。その後、制御部１１０によって撮影開始が指示されると、記録部１３２は、例えば、撮影部１３１が画像情報を取得する間隔と同一の間隔で、角度情報を算出する（ステップＳ２２２）。つまり、ステップＳ２１２とステップＳ２２２は平行して行われる。

ここで、記録部１３２が角度情報を算出する方法について説明する。記録部１３２は、センサ情報から、四元数を用いて、角度情報を算出する。基本的な四元数の公式は、以下のように表される。

回転四元数は次のような式で定義される。

例えば、１２０度のｖ軸（ｖ＝ｉ＋ｊ＋ｋ）を中心とする回転四元数は、以下のように表される。まず、以下の式において、ｖを単位ベクトルｕに正規化する。

すると、単位四元数の回転は以下のようになる。

例えば、点ｐ（ｘ、ｙ、ｚ）をｑベクトルに回転させるには、次の式を使用する。

式５において、ｑ´は、回転後のｐの単位ベクトルである。また、ｑ＊は、ｑの共役四元数である。共役四元数は、次の式で表される。

そして、ｑ´は次の式で表される。

回転は、図４に示すようになる。上記計算において、点p（x、y、z）はp'（z、x、y）に変更されたことが示された。

記録部１３２は、上記式１〜７を組合わせて、角度情報を算出する。具体的には以下の通りである。まず、センサ情報を四元数に変換して、撮影空間内に、仮想ベクトル、一例として仮想回転ベクトルｐを設定する。これにより、角度情報を算出する。

式８において、ｑは、四元数に変換されたセンサ情報を表し、上記式によりｑの回転四元数が算出される。次に、仮想回転ベクトルｐを例えば、ｐ＝Ｈ（０，１，１，１）と定義する。そして、ｑの回転四元数は以下で求められる。

そして、以下の式でp'とx軸の角度αを算出する。

以上から、角度情報が算出される。仮想回転ベクトルｐは、３次元の空間上に設定されるため、記録部１３２は、図５に示すように、３次元空間上に仮想面５０１を設定し、仮想回転ベクトルｐを回転させてｐ´とし、仮想面５０１に投影する。記録部１３２は、仮想面上において、ｐ´とｘ軸との角度αを算出する。

図２に戻り、記録部１３２は、筐体が移動する方向が所望の方向であるか及び筐体はしきい値を超えた角度で傾いていないかの判断も行う（ステップＳ２２３）。本ステップは、撮影部１３１が画像情報取得（ステップＳ２１２）を行っている際、つまり撮影時に行われる。

筐体が移動する方向が所望の方向であるかの判断について説明する。例えば、時刻tでの角度情報（θ）を次のように定義する。

次に、現在の移動方向を以下の式で算出する。

（式１２）において、Ｓｉｇｎcurrentは、現在の移動方向を表す。

次に、連続した複数時点での移動方向（角度情報）から、所望の移動方向を求める。

式１３において、Ｓｉｇｎinitialは、所望の移動方向を表す。式１３において、連続した複数時点ではなく、一時点での移動方向のみから、筐体の移動方向を求めると、例えば、手振れや誤った動作により、ユーザが瞬間的に望まない方向に筐体を移動させてしまった時点を算出対象としてしまった場合に、誤った方向が所望の方向であると判断してしまう。本実施形態では、連続した複数時点での移動方向から所望の移動方向を算出することで、上記のような誤認を解消している。

そして、以下の式に当てはまる場合、筐体は誤った方向に移動していると判断される。

例えば、所望の方向（Ｓｉｇｎinitial）が＋Ｘ方向であった場合、現在の移動方向（Ｓｉｇｎcurrent）が−Ｘ方向であれば、ＳｉｇｎinitialとＳｉｇｎcurrentの積は、＜０となるため、記録部１３２は、現在の移動方向は誤りであると判断する。

次に、筐体のＺ軸に対する傾きの角度がしきい値を超えていないかの判断について説明する。式９から、Ｚ軸に対するp'の角度を求めると、以下の通りとなる。

次に、時刻t＝０でθを定義する。

そうすると、時刻ｔ＝ｎのθは以下の通りとなる。

これを角度に変換すると、

となる。

以下の式に当てはまる場合、筐体１０１はしきい値を超えた角度で傾いていると判断される。

式１９において、ｋはしきい値を示している。

図６は、第１実施形態に係る筐体のＺ軸に対する傾きの角度の算出方法を説明する図である。記録部１３２は、回転後のベクトルｐ´とＺ軸との角度θを算出することで、筐体のＺ軸に対する傾きの角度を求める。

図２に戻り、ステップＳ２２３において、筐体が所望の方向に移動しており、かつ、筐体のＺ軸に対する傾きの角度がしきい値を超えていないと判断した場合（ＹＥＳ）、記録部１３２は、算出した角度情報と、撮影部１３１が取得した画像情報とを紐付け、記録情報として記録する（ステップＳ２２４）。画像情報には、撮影部１３１が、画像情報を取得した時間情報も含まれる。つまり、記録情報には、画像情報、角度情報、時間情報が含まれる。

ステップＳ２２３において、筐体が誤った方向に移動している、又は、筐体がしきい値を超えた角度で傾いていると判断した場合（ＮＯ）記録部１３２は、画像情報（記録情報）の記録を行わず、次の時点での角度情報の算出を行う（ステップＳ２２２）。

なお、記録部１３２は、筐体が誤った方向に移動している、又は、筐体がしきい値を超えた角度で傾いていると判断した場合に、表示部１５１に図７に示すような警告画像７０１を表示しても良い。これにより、ユーザは、適切な方向又は角度において撮影が行われていないことを認識することが可能となる。

図２に戻り、記録部１３２は、ステップＳ２３０において、制御部１１０から撮影終了の指示があるまでステップＳ２２２〜ステップＳ２２４を繰り返す。

図８は、生成部１４０の動作を説明するフローチャートである。まず、生成部１４０は、記録情報を読み込む（ステップＳ８０１）。生成部１４０は、読み込んだ記録情報から組合わせ画像の生成に用いる画像情報の選定を行う（ステップＳ８０２）。

画像情報の選定について、図３を用いて説明する。例えば、ユーザが図３に示すように撮影対象３０１を３６０度方向から撮影した場合、生成部１４０は、記録情報の中から、角方向（角度）に対応する画像情報ｇ１〜ｇ２４を選定する。生成部１４０は、例えば０．１度につき１つの画像情報を選定する。

図８に戻り、ステップＳ８０３において、制御部１１０が、画像情報の選定が完了したと判断した場合（ＹＥＳ）、生成部１４０は、選定した画像情報を組合わせ、組合わせ画像を生成する（ステップＳ８０４）。ここで生成される組合わせ画像は、例えば、撮影対象を複数の角度から撮影した画像を組合わせた３次元画像である。通常の静止画では、一つの撮影対象を一方向から撮影した画像となるが、本実施形態の組合わせ画像は、１つの組合わせ画像データで、撮影対象を複数の角度から確認することが可能となる。

ステップＳ８０３において、制御部１１０が、画像情報の選定が完了していないと判断した場合（ＮＯ）、生成部１４０は、画像情報の選定が完了するまで画像の選定を続ける。

なお、本実施形態では、一度に撮影された一群の画像情報から、一つの組み合わせ画像を生成する例を説明したが、一度に撮影された一群の画像情報から複数の組み合わせ画像を生成してもよい。

図９は、出力部１５０の動作を説明するフローチャートである。まず、表示部１５１の動作について説明する。表示部１５１は、生成部１４０で生成された画像を読み込み、表示部１５１に表示させる（ステップＳ９１１）。

表示部１５１に表示される画像は、ユーザからの指示基づき、変化する（ステップＳ９１２）。例えば、表示部１５１に、図３中のｇ１が表示されているとする。ユーザが、表示部１５１をスワイプすると、表示部１５１に表示されている撮影対象３０１が回転し、スワイプの方向や大きさに応じて、ｇ２〜ｇ２４のうち何れかの画像が表示される。また、ピンチインによる縮小、ピンチアウトによる拡大、などにより、表示される画像を縮小したり拡大したりすることも可能である。

次に通信部１５２の動作について説明する。通信部１５２は、制御部１１０からの指示により、生成された画像をサーバにアップロードする（ステップＳ９２１）。この際、画像サイズの変更や、画像データ量の変更などの編集を画像に対して行ってもよい。サーバにアップロードされた画像は、画像をアップロードしたユーザ以外の他のユーザがアクセス（例えば閲覧）することも可能となる。

（第２実施形態）
図１０は、第２実施形態に係る画像取得の一例を説明する図である。第１実施形態と同様の及び構成は同符号で示し、説明は省略する。本実施形態では、パノラマ画像を生成する。ユーザ１００１は、例えば、ユーザ１００１の周囲を撮影対象１００２として撮影を開始する。

具体的には、撮影対象１００２に撮影部１３１のレンズを向け、例えば、Ｌ２の位置を始点として、ユーザ自身がＤ２方向に３６０度回転する。なお、３６０度回転するのではなく、円を描くように移動して、３６０°方向の周囲にある撮影対象１００２を撮影しても良い。なお、複数の角度から撮影した複数の画像情報が取得されていれば良くこれらに限られない。

図１０中のａ及びｂは、撮影中の表示部１５１に表示される一例を示す。図１１は、ａ及びｂを拡大した図である。ユーザ１００１は、撮影部のレンズを撮影対象１００２に向け、水平方向に移動させることで、撮影対象１００２を撮影する。この際、手振れなどにより、水平を保つのは困難である。本実施形態においても、記録部１３２は、第１実施形態と同様に角度情報を算出するため、一定のしきい値を超えた振れ幅（角度情報）が検出された場合、画像情報を記録しない。

図１２は、第２実施形態に係る画像情報の記録を説明する図である。記録部１３２は、ｔ１及びｔ２の時点において、振れ幅がしきい値を超えていることを検出した。よって、記録部１３２は、ｔ１及びｔ２の時点の画像情報は記録しない。

生成部１４０は、記録情報の中から、角方向（角度）に対応する画像情報を選定する。この際、生成部１４０は、振れ幅が理想値内となる画像情報を優先して選定する。これにより、理想的なパノラマ画像を生成することが可能となる。

（第３実施形態）
図１３は、第３実施形態に係る画像処置装置の動作を説明するフローチャートである。本実施形態では、生成された画像を表示部１５１に表示させる際に、画像表示時点の筐体の角度情報を算出し、これに対応した画像を表示させる。

表示部１５１は、生成部１４０で生成された画像を読みこむ（ステップＳ１３０１）。記録部１３２は、表示時点の筐体の角度情報を算出する（ステップＳ１３０２）。表示部１５１は、記録部１３２が算出した筐体の角度情報に最も近い角度情報に紐付けられた画像情報を表示部に表示させる（ステップＳ１３０３）。つまり、筐体の位置や角度を変更することで、表示される画像も変更される。

（角度検出装置）
図１４は第１実施形態に係る角度情報の算出方法を用いた角度検出装置１４００のブロック図である。第１実施例に係る角度情報の検出方法は、角度検出装置としても利用することが可能である。例えば、角度検出装置は、制御部１１０と、センサ部１２０と、取得部１３３と、記録部１３２と、を有する。取得部は、記録部１３２が筐体の角度情報を算出した時間情報を取得する。記録部１３２は、時間情報と算出した角度情報を紐付けて記録する。

１００ 画像処理装置
１１０ 制御部
１２０ センサ部
１３０ 入力部
１３１ 撮影部
１３２ 記録部
１４０ 生成部
１５０ 出力部
１５１ 表示部
１５２ 通信部

Claims (9)

1. 筐体と、前記筐体の動きを検知するセンサ部を有する画像処理装置であって、
   撮影対象を撮影し、画像情報を取得する撮影部と、
   前記センサ部が検知した情報に基づき、前記筐体の角度情報を求め、前記角度情報と前記撮影部が取得した画像情報とを紐付けて記録する記録部と、
   前記記録部に記録された角度情報に基づき、複数の角度から撮影された前記画像情報を少なくとも一つの組合わせ画像として生成する生成部と、
   前記組合わせ画像を表示する表示部と、
   を含み、
   前記記録部は、四元数を用いて前記角度情報を求め、前記撮影対象の撮影時において、前記筐体が所望の方向とは異なる方向に移動していると判断した場合又は前記筐体が所定の軸に対してしきい値を超えた角度で傾いていると判断した場合に、前記画像情報を記録しないことを特徴とする画像処理装置。
2. 前記記録部は、前記撮影部が前記撮影を行う空間内に、仮想ベクトルを設定し、前記仮想ベクトルを用いて角度情報を求める、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像情報は、前記撮影部が前記画像情報を取得した時間情報を含む、ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記記録部は、連続した複数時点での前記角度情報から、前記筐体の移動方向を判断する、ことを特徴とする請求項１乃至３のうちいずれか１項に記載の画像処理装置。
5. 前記記録部は、前記撮影対象の前記撮影時において、前記筐体が前記所望の方向とは異なる方向に移動していると判断した場合又は前記筐体が前記しきい値を超えた角度で傾いていると判断した場合に、前記表示部に警告画像を表示させる、ことを特徴とする請求項１乃至４のうちいずれか１項に記載の画像処理装置。
6. 前記生成部が生成する画像は、水平方向に前記撮影対象が撮影されたパノラマ画像である、ことを特徴とする請求項１乃至５のうちいずれか１項に記載の画像処理装置。
7. 前記表示部は、前記生成部が生成した画像を表示させる際に、前記筐体の角度に対応した画像を表示する、ことを特徴とする請求項１乃至６のうちいずれか１項に記載の画像処理装置。
8. 筐体の動きを検知するセンサを用いた画像処理方法であって、
   撮影対象を撮影し、画像情報を取得し、
   前記センサが検知した情報に基づき、前記筐体の角度情報を求め、前記角度情報と前記画像情報とを紐付けて記録し、
   前記記録された角度情報に基づき、複数の角度から撮影された前記画像情報を一つの画像として生成し、
   前記記録する工程において、四元数を用いて前記角度情報を求め、前記撮影対象の撮影時において、前記筐体が所望の方向とは異なる方向に移動していると判断した場合又は前記筐体が所定の軸に対してしきい値を超えた角度で傾いていると判断した場合には、前記画像情報を記録しないことを特徴とする画像処理方法。
9. 請求項８に記載の方法をコンピュータに実行させるためのプログラム。

Images