JPWO2019176177A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】ＭＦＮＲ時の画像のぶれ、またはノイズの低減効果をより高めることが可能な情報処理装置を提供する。【解決手段】撮像装置により連続的に撮像された複数枚の画像から、各々の画像が撮像された時に慣性センサにより取得された前記撮像装置の情報に基づき基準画像を選択し、前記基準画像に対して位置合わせを行いながら残りの画像を重ね合わせて１枚の画像に合成する制御部と、を備える、情報処理装置。【選択図】図２

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。

一般的なカメラでは、撮像された画像の画質は、シャッター速度、ＩＳＯ感度、絞り値の組み合わせにより決定される。現在普及しているスマートフォンに搭載されたカメラでは、シャッター速度とＩＳＯ感度を適切に設定されることにより、よりよい画質の画像を撮影することが可能となる。例えば、シャッター速度が遅く設定されると、露光時間が長くなるため、より明るい画像が撮影されるが、手ぶれが生じたり、動被写体にぶれが生じたりしてしまう。また、ＩＳＯ感度が高く設定されても、より明るい画像が撮影されるが、ノイズが増加してしまう。このように、シャッター速度とＩＳＯ感度の設定においては、高画質を求める設定を行うと、ぶれが生じたり、ノイズが増加したりと、トレードオフの関係がある。

これに関連し、複数枚の画像を合成することにより、ノイズを低減することができるＭＦＮＲ（Ｍｕｌｔｉ Ｆｒａｍｅ Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）という画像を合成する技術が一般的に使用されている。ＭＦＮＲでは、連続的に撮像された複数枚の画像が重ね合わせられ、１枚の画像に合成される。ＩＳＯ感度が高くノイズが多い画像であっても、複数の画像を使用して平均化されることでノイズが低減される。なお、下記の特許文献１では、複数の画像を合成する撮像装置において、露光時間を長くすることが可能な技術が開示されている。

特開２０１８−０１１１６２号公報

既存のＭＦＮＲでは、連続的に撮像された複数枚の画像のうち、１枚目の画像に、後続する画像が順に重ね合わせられていた。しかしながら、このような単純な重ね合わせでは、１枚目の画像がぶれた画像であった場合に、重ね合わせ処理を実施した最終画像にぶれが残ってしまう問題があった。

そこで、本開示では、ＭＦＮＲ時の画像のぶれ、またはノイズの低減効果をより高めることが可能な、新規かつ改良された情報処理装置、情報処理方法、及びプログラムを提案する。

本開示によれば、撮像装置により連続的に撮像された複数枚の画像から、各々の画像が撮像された時に慣性センサにより取得された前記撮像装置の情報に基づき基準画像を選択し、前記基準画像に対して位置合わせを行いながら残りの画像を重ね合わせて１枚の画像に合成する制御部と、を備える、情報処理装置が提供される。

また、本開示によれば、撮像装置により連続的に撮像された複数枚の画像から、各々の画像が撮像された時に慣性センサにより取得された前記撮像装置の情報に基づき基準画像を選択し、前記基準画像に対して位置合わせを行いながら残りの画像を重ね合わせて１枚の画像に合成することと、を含む、プロセッサにより実行される、情報処理方法が提供される。

また、本開示によれば、コンピュータを、撮像装置により連続的に撮像された複数枚の画像から、各々の画像が撮像された時に慣性センサにより取得された前記撮像装置の情報に基づき基準画像を選択し、前記基準画像に対して位置合わせを行いながら残りの画像を重ね合わせて１枚の画像に合成する制御部と、として機能させるための、プログラムが提供される。

以上説明したように本開示によれば、ＭＦＮＲ時の画像のぶれ、またはノイズの低減効果をより高めることが可能である。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の実施形態に係る携帯端末の回転軸の定義を示す説明図である。 同実施形態に係る携帯端末の構成例を示すブロック図である。 同実施形態に係る画素のぶれの軌跡を示す説明図である。 同実施形態に係る支点から特定の画素までの距離と回転角を示す説明図である。 同実施形態に係る画像の撮像時における角速度及び回転の角度を示す説明図である。 同実施形態に係る携帯端末の動作例を示すフローチャートである。 同実施形態に係る手ぶれ画像低減効果を示す説明図である。 同実施形態に係る手ぶれ画像低減効果を示す説明図である。 同実施形態に係る携帯端末のハードウェア構成例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．本開示の概要
２．本開示の実施形態
２．１．構成例
２．２．動作例
２．３．実験結果
３．変形例
４．ハードウェア構成
５．まとめ

＜＜１．本開示の概要 ＞＞
＜１．１．情報処理装置の概要＞
以下では、図１を参照しながら、本開示の実施形態の概要について説明する。図１は、本開示の実施形態に係る携帯端末の回転軸の定義を示す説明図である。携帯端末１０は、スマートフォン、タブレット端末、デジタルカメラ等の情報処理装置である。以下では、携帯端末１０としてスマートフォンが用いられる例について説明する。

以下では、携帯端末１０の長辺が地面に対して水平、かつ短辺が地面に対して垂直である状態を横向きと表現する。また、携帯端末１０の長辺が地面に対して垂直、かつ短辺が地面に対して水平である状態を縦向きと表現する。

ユーザが携帯端末１０で撮影をする方法には、複数の方法がある。例えば、ユーザは、左手で横向きの携帯端末１０の左側１２を支持し、右手でソフトウェアスイッチ１２２を押下して撮影する。また、ユーザは、左手で縦向きの携帯端末１０の下側（横向きの時の右側１４）を支持し、左手でソフトウェアスイッチ１２２を押下して撮影してもよい。また、ユーザは、左手で横向きの携帯端末１０の左側１２を支持し、右手で横向きの携帯端末の右側１４を支持し、右手でハードウェアスイッチ１２４を押下して撮影してもよい。なお、本明細書では、特に言及しない限り、ユーザが左手で横向きの携帯端末１０の左側１２を支持し、右手でソフトウェアスイッチ１２２を押下して撮影することを前提とする。

携帯端末１０は、撮像装置として撮像部１３０を備えている。携帯端末１０は、当該撮像部１３０の撮像方向の軸をロール（ｒｏｌｌ）軸（ｚ軸）とする。また、図１に示すように、携帯端末１０は、携帯端末１０の長辺方向の軸をピッチ（ｐｉｔｃｈ）軸（ｘ軸）、携帯端末１０の短辺方向の軸をヨー（ｙａｗ）軸（ｙ軸）とする。なお、ピッチ軸及びヨー軸は、かかる例に限定されず、任意に設定されてもよい。ｘ軸、ｙ軸、及びｚ軸の３軸は、互いに直交する。また、３軸が直交している場合、ｘ軸、及びｙ軸は、携帯端末１０の長辺方向、及び短辺方向に対してそれぞれ水平でなくてもよい。

ユーザがソフトウェアスイッチ１２２を押下することで携帯端末１０に加わる力により、携帯端末１０がｘ軸、ｙ軸、またはｚ軸の少なくともいずれかを軸とした回転が生じることがある。また、ユーザがソフトウェアスイッチ１２２を押下したことにより、撮像部１３０が撮像している最中に、携帯端末１０を支えるユーザの手が動くことにより、携帯端末１０の位置が撮像開始時の位置からずれてしまうことがある。これらの回転とずれは、撮像画像にぶれが生じる要因となる。

画像のぶれは、撮像時にシャッター速度を速くすることで低減されるが、その分露光時間が短くなるため、画像が暗くなる場合がある。また、画像を明るさは、ＩＳＯ感度の設定により調整できるが、画像を明るくするためにＩＳＯ感度高くすると、画像にノイズが生じてしまう場合がある。

・ＭＦＮＲの原理
そこで、連続的に撮像された複数枚の画像を重ね合わせることでノイズを低減することができるＭＦＮＲ（Ｍｕｌｔｉ Ｆｒａｍｅ Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）という技術がある。ＭＦＮＲでは、基準となる画像に対して位置合わせを行いながら画像を重ね合わせて、複数枚の画像が１枚の画像に合成する処理（以下では、ＭＦＮＲ処理とも称される）が行われる。ここで、位置合わせとは、基準画像における第１の画素と、重ね合わせられる画像における当該第１の画素に対応する第２の画素の位置が一致するように位置を合わせることである。ＭＦＮＲ処理では、ＩＳＯ感度が高くノイズが多い画像であっても、複数の画像を使用して平均化されることでノイズが低減される。

例えば、ＭＦＮＲを用いずに撮像された１枚の画像と、ＭＦＮＲを用いて合成された１枚の画像を比較してみる。両画像のぶれ量が同程度となる撮像条件（例えば、シャッター速度が同一）では、ＭＦＮＲに用いられる各々の画像の撮像時の露光時間と、ＭＦＮＲを用いない場合に撮像される画像の露光時間とが同じになる。しかし、ＭＦＮＲを用いる場合は、複数枚の画像の明るさが足し合わされるため、ＭＦＮＲを用いない場合よりＩＳＯ感度を低く設定しても、ＭＦＮＲを用いない場合と同程度以上の明るさを確保した画像を撮像することができる。よって、ＭＦＮＲを用いる場合は、ＩＳＯ感度を低く設定することができ、ノイズを低減することができる。

また、両画像のノイズ量が同程度となる撮像条件（例えば、ＩＳＯ感度が同一）では、ＭＦＮＲを用いる場合、ＭＦＮＲに用いられる各々の画像の撮像時の露光時間が、ＭＦＮＲを用いない場合の画像よりも短く設定される。そのため、両画像のノイズ量が同程度であっても、ＭＦＮＲを用いて合成された画像の方がぶれ量は少なくなる。よって、ＭＦＮＲを用いる場合は、ＭＦＮＲを用いない場合と比較して、よりぶれ量が少ない画像を撮像することができる。

また、ＭＦＮＲでは、連続的に撮像された複数枚の画像の中から予め選択された基準画像に、ＭＦＮＲにより基準画像以外の残りの画像が撮像された順に重ね合わせられる。当該基準画像は、一般的に、連続的に撮像された複数枚の画像の内、１枚目の画像が基準画像として選択される。

・ＭＦＮＲの改良
しかし、１枚目の画像は、１枚目の画像を撮像するために露光を開始するタイミングとユーザによりシャッターが押下されたタイミングが近いため、他の画像と比較し、画像にぶれが生じている可能性が高い。ぶれが生じている画像を基準画像として用いることは、ＭＦＮＲ処理を行った画像にもぶれが生じる可能性が高い。

そこで、本開示の実施形態では、連続的に撮像された複数枚の画像から、よりぶれが少ない画像を基準画像として選択し、残りの画像をぶれが少ない順に並び替えた上で当該基準画像に対してＭＦＮＲ処理を行うことで、画像からぶれ、またはノイズをより低減する技術を提案する。

例えば、１枚目の画像を基準画像とした場合のＭＦＮＲ処理と、提案技術によるＭＦＮＲ処理（即ち、よりぶれが少ない画像を基準画像とした場合のＭＦＮＲ処理）を比較してみる。両処理で用いられる画像のぶれ量が同程度となる撮像条件（例えば、シャッター速度が同一）では、各々の処理で用いられる画像の撮像時の露光時間が同じになる。露光時間が同じであっても、複数枚の画像の各々の画像のぶれ量が同一であるとは限らない。例えば、シャッター押下のタイミングと露光タイミングとの関係で、１枚目の画像よりも小さなぶれ量の画像が、２枚目以降の画像に存在する。一例として、１枚目の画像のぶれ量が一番大きかったとする。この時、１枚目の画像を基準画像とするＭＦＮＲ処理の場合、当該ぶれ量が一番大きい画像をベースに、他の画像が重ね合わせられるため、ＭＦＮＲ処理後の画像のぶれ量は大きいままである。一方、提案技術によるＭＦＮＲ処理の場合、ぶれ量が小さい画像をベースに、他の画像が重ね合わせられるため、１枚目の画像を基準画像とするＭＦＮＲ処理と比較して、ＭＦＮＲ処理後の画像のぶれ量は小さい。さらには、提案技術によるＭＦＮＲでは、ぶれ量が小さい順に他の画像が重ね合わされるので、重ね合わせの効果をより高めることができる。

１枚目の画像を基準画像とするＭＦＮＲ処理におけるぶれ量を、提案技術によるＭＦＮＲ処理と同程度にする方法としては、露光時間を短くすることが挙げられる。しかし、露光時間を短くすることで、撮像される画像の明るさが暗くなってしまう。そのため、画像のぶれをさらに少なくしつつ、画像の明るさを保つには、ＩＳＯ感度を高くすることが考えられる。しかし、ＩＳＯ感度を高くすることで、撮像される画像のノイズが増加してしまう。すなわち、提案技術によるＭＦＮＲ処理の場合、１枚目の画像を基準画像とするＭＦＮＲ処理と比較して、ＩＳＯ感度を低く設定することができるため、ＭＦＮＲ処理後の画像のノイズの低減が期待される。

なお、上述のＭＦＮＲの原理では、一般的な例として、ＭＦＮＲ時に複数枚の画像を加算して重ね合わせる方法を用いる例を説明したが、本開示の実施形態では、ＭＦＮＲ時に複数枚の画像を平均化して重ね合わせる方法を用いる。なぜならば、複数枚の画像を平均化して重ね合わせる方法を用いるＭＦＮＲでは、画像の明るさ（ＩＳＯ感度の設定）を変えずにノイズを低減することができるからである。具体的に、１枚の撮影で、ＩＳＯ感度が８００でシャッター速度が１／３０ｓで適正露出になる環境で、４枚の画像を使用し、ＭＦＮＲ処理を実施する場合を例として説明する。上述した一般的な方法を用いる場合、４枚の画像が加算されるため、１枚の画像を撮像する時のＩＳＯ感度を２００に設定し、加算することで適正露出の画像を取得できる。なお、シャッター速度は１／３０ｓであるとすると、トータルの撮像時間は４／３０ｓとなる。しかし、一般的な方法では、量子化ノイズの影響を受けやすく、ノイズが残りやすい。一方、本開示の実施形態の方法を用いる場合、４枚の画像が平均化されるため、ＩＳＯ感度を変えずに適正露出の画像を取得できる。なお、シャッター速度は１／３０ｓであるとすると、トータルの撮像時間は４／３０ｓとなる。本開示の実施形態の方法では、複数枚の画像を平均化することでノイズも平均化されるため、ＭＦＮＲ処理後の画像のノイズを低減することができる。

このように、提案技術によるＭＦＮＲ処理は、１枚目の画像を基準画像とするＭＦＮＲ処理と比較して、ＭＦＮＲ処理後の画像のぶれ、またはノイズをより低減することが可能となる。

上述の技術を実現するために、本実施形態に係る携帯端末１０は、連続的に撮像された画像と、当該画像の撮像時に慣性センサにより取得された撮像部１３０の位置の移動に関する情報を取得する。取得した画像と撮像部１３０の位置の移動に関する情報に基づき、携帯端末１０は、複数枚の画像から、画像を重ね合わせる時の基準となる基準画像を選択し、当該基準画像に対して位置合わせを行いながら残りの画像を重ね合わせて１枚の画像に合成する。

以上、図１を参照しながら、本開示の概要について説明した。続いて、本開示の実施形態について説明する。

＜＜２．本開示の実施形態＞＞
＜２．１．構成例＞
以下では、図２〜図５を参照しながら、本開示の実施形態に係る携帯端末１０の構成例について説明する。図２は、本開示の一実施形態に係る情報処理装置の構成例を示すブロック図である。図２に示すように、携帯端末１０は、操作部１２０、撮像部１３０、センサ部１４０、制御部１５０、記憶部１６０、及び表示部１７０で構成されている。

（１）操作部１２０
操作部１２０は、ユーザが撮像指示を入力するための機能を有する。例えば、操作部１２０は、図１に示したように、カメラアプリケーションにより画面に表示されたソフトウェアスイッチ１２２により実現される。また、操作部１２０は、携帯端末１０が備えるハードウェアスイッチにより実現されてもよい。

（２）撮像部１３０
撮像部１３０は、画像を撮像するための機能を有する。撮像部１３０は、例えば、カメラであり、ユーザからの撮像指示に基づき撮像を行う。具体的に、撮像部１３０は、制御部１５０を介してユーザからの撮像指示が入力されることにより撮像を行う。この時、撮像部１３０は、ユーザからの１回の撮像指示に対して、連続的に複数枚の画像を撮像する。そして、撮像部１３０は、撮像した画像を制御部１５０へ出力する。なお、撮像部１３０が撮像する画像の枚数は限定されず、任意の枚数の画像が撮像されてもよい。

なお、本開示の実施形態において、撮像部１３０として用いられるカメラの台数、及び種類は特に限定されず、任意の台数のカメラ、及び任意の種類のカメラが用いられてもよい。例えば、携帯端末１０は、図１に示されている外カメラ（撮像部１３０）以外に、ディスプレイ側（表示部１７０側）に内カメラを備えてもよい。

（３）センサ部１４０
センサ部１４０は、携帯端末１０の動きに関する情報を計測する機能を有する。センサ部１４０は、例えば、センサとして慣性センサを備え、撮像時の手ぶれの大きさを示す指標を算出するための情報を当該慣性センサにより計測する。

センサ部１４０は、慣性センサとしてジャイロセンサを備えてよい。ジャイロセンサは、物体の角速度を取得する機能を備える慣性センサである。ジャイロセンサは、一定の時間に物体が回転した際の角度の変化量を求めるためのセンサである。ジャイロセンサの種類には、回転する物体に加わる慣性力から角速度を得る機械式のセンサ、または流路中の気体の流れの変化より角速度を得る流体式のセンサ等があるが、ジャイロセンサの種類については特に限定せず、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）技術を応用してもよい。

本開示の実施形態において、上述のジャイロセンサは、ユーザが撮像指示を入力した際に変化する携帯端末１０の姿勢の変化量を計測し、計測した値を制御部１５０へ出力する。姿勢の変化量は、ｘ軸を回転軸とする回転、ｙ軸を回転軸とする回転、及びｚ軸を回転軸とする回転により生じる角速度（°／ｓｅｃ）である。本実施形態における角速度のサンプリング周波数は、２００Ｈｚ（５ｍｓ）である。なお、サンプリング周波数の値は、特に限定されず、任意の値が設定されてもよい。

また、当該ジャイロセンサは、撮像部１３０が当該撮像指示に基づき撮像している最中に変化する携帯端末１０の姿勢の変化量も計測し、計測した値を制御部１５０へ出力する。

また、センサ部１４０は、慣性センサとして加速度センサを備えてもよい。加速度センサは、物体の加速度を取得する機能を備える慣性センサである。加速度センサは、一定の時間に物体が移動した際の速度の変化量を求めるための機器である。加速度センサの種類には、ばねにつながれた錘の位置変化から加速度を得る方式のセンサ、または錘をつけたばねに振動を加えた際の周波数の変化から加速度を得る方式のセンサ等があるが、加速度センサの種類については特に限定せず、ＭＥＭＳ技術を応用してもよい。

（４）制御部１５０
制御部１５０は、携帯端末１０の動作を制御するための機能を有する。例えば、制御部１５０は、ユーザからの撮像指示に基づき、撮像部１３０による撮像を制御する。具体的に、制御部１５０は、ユーザが操作部１２０に入力した撮像指示を操作部１２０から入力され、当該撮像指示に基づき撮像部１３０に撮像を指示する。

また、制御部１５０は、複数枚の画像を重ね合わせる処理（ＭＦＮＲ処理）を行う機能を有する。例えば、制御部１５０は、慣性センサが取得した情報に基づき、撮像部１３０が撮像した複数枚の画像を重ね合わせる。具体的に、制御部１５０は、連続的に撮像された画像と、当該画像の撮像時に慣性センサにより取得された撮像部１３０の位置の移動に関する情報を取得する。取得した画像と撮像部１３０の位置の移動に関する情報に基づき、制御部１５０は、複数枚の画像から、画像を重ね合わせる時の基準となる基準画像を選択する。そして、制御部１５０は、当該基準画像に対して位置合わせを行いながら残りの画像を重ね合わせて１枚の画像に合成することで、ぶれ、またはノイズを低減した画像を生成する。

制御部１５０は、基準画像を選択するために、複数の画像の各々のぶれの大きさを示す指標を算出する。例えば、制御部１５０は、複数の画像の各々が撮像された際にジャイロセンサが計測した角速度に基づき、各々の画像のぶれの大きさを示す指標を算出し、当該指標が一番小さい画像を基準画像として選択する。なお、ぶれの大きさを示す指標は、撮像時の露光時間内にジャイロセンサにより計測された角速度を積分することで算出される角度で表現される。

以下では、図３〜図５を参照しながら、ジャイロセンサが計測した角速度からぶれの大きさを示す指標を算出する方法について、具体的に説明する。

まず、図３、及び図４を参照しながら、ぶれの大きさを示す指標を算出する式について説明する。図３は、本実施形態に係るぶれの軌跡を示す説明図である。図４は、本実施形態に係る支点から特定の画素までの距離と回転角を示す説明図である。

画像のぶれ方は、携帯端末１０の回転軸、回転する時の支点、及び支点から画素までの距離に応じて変化する。例えば、図３の左側の図に示すように、携帯端末１０がｚ軸を回転軸に、携帯端末１０の左下角を支点に回転する時、支点から画素（例えば画素２０）までの距離が大きくなる程、ぶれの軌跡（例えば軌跡２２）が大きくなる。

また、図３の中央の図に示すように、携帯端末１０がｙ軸を回転軸に、携帯端末１０の左中央を支点に回転する時、支点から画素（例えば画素３０）までの距離が大きくなる程、回転開始時のｚ軸方向へのぶれの軌跡が大きくなる。ただし、無限遠点の被写体の場合、ぶれの軌跡は、ｘ軸方向への軌跡（例えば軌跡３２）となる。

また、図３の右側の図に示すように、携帯端末１０がｘ軸を回転軸に、携帯端末１０の下中央を支点に回転する時、支点から画素（例えば画素４０）までの距離が大きくなる程、回転開始時のｚ軸方向へのぶれの軌跡が大きくなる。ただし、無限遠点の被写体の場合、図３に示すように、ぶれの軌跡は、ｙ軸方向への軌跡（例えば軌跡４２）となる。

上述のように、画像のぶれ方にいくつかのパターンがある中で、制御部１５０がより厳密にぶれの大きさの指標を算出するには、支点から各画素までの距離、角速度、及び画素ピッチに基づき、ある画素におけるぶれの量が何画素分かを算出することが望ましい。さらに、制御部１５０は、ぶれている画素の数だけぶれの量を算出し、全体的なぶれの大きさの指標を算出するとよい。例えば、図４の左側に示すように、携帯端末１０がｚ軸を回転軸に、ｘ軸とｙ軸の交点の位置を支点に回転する時、撮像部１３０の初期座標Ｐを（ｘ_０、ｙ_０、ｚ_０）、回転した角度をθ_ｚとする。この時、ぶれの量は、ｘ軸方向に（ｘ_０ｃｏｓθ_ｚ−ｙ_０ｓｉｎθ_ｚ）／ｐｉｘｃｅｌ ｐｉｔｃｈ画素、ｙ軸方向に（ｘ_０ｓｉｎθ_ｚ＋ｙ_０ｃｏｓθ_ｚ）／ｐｉｘｃｅｌ ｐｉｔｃｈ画素として、画素数で算出される。

また、図４の中央に示すように、携帯端末１０がｙ軸を回転軸に、ｘ軸とｚ軸の交点の位置を支点に回転する時、撮像部１３０の初期座標Ｐを（ｘ_０、ｙ_０、ｚ_０）、回転した角度をθ_ｙとする。この時、ぶれの量は、ｘ軸方向に（ｘ_０ｃｏｓθ_ｙ−ｚ_０ｓｉｎθ_ｙ）／ｐｉｘｃｅｌ ｐｉｔｃｈ画素として、画素数で算出される。

また、図４の右側に示すように、携帯端末１０がｘ軸を回転軸に、ｙ軸とｚ軸の交点の位置を支点に回転する時、撮像部１３０の初期座標Ｐを（ｘ_０、ｙ_０、ｚ_０）、回転した角度をθ_ｘとする。この時、ぶれの量は、ｙ軸方向に（ｙ_０ｃｏｓθ_ｘ−ｚ_０ｓｉｎθ_ｘ）／ｐｉｘｃｅｌ ｐｉｔｃｈ画素として、画素数で算出される。

ぶれの大きさの指標を厳密に算出するには、上述のように算出することが理想的である。上述の方法では、ぶれが生じた画素の数だけ計算を行うことになるため、ぶれの大きさによっては計算対象の数が多くなり、計算処理に時間がかかる場合がある。よって、本開示の実施形態では、計算量を低減するため、慣性センサが計測した携帯端末１０に関する情報に基づき、ぶれの大きさを示す指標を簡易的に算出する方法を用いることとする。

制御部１５０は、簡易的に指標を算出するにあたり、撮像部１３０の撮像方向の軸をロール軸とし、当該ロール軸に直交するピッチ軸、及びヨー軸に対する各々の角速度の内の少なくともいずれか１つを用いる。この時、制御部１５０は、ユーザにより入力される撮像指示の種別に応じて、ロール軸、ピッチ軸、及びヨー軸のどの軸に対する角速度を用いるか選択する。

例えば、制御部１５０は、撮像部１３０がヨー軸、またはピッチ軸を回転軸として回転する種別の撮像指示が入力された場合、角速度の内、少なくともピッチ軸、及びヨー軸に対する角速度を用いて指標を算出する。具体的に、本開示の実施形態のように、ユーザがソフトウェアスイッチ１２２を押下して撮像指示を入力する場合、ピッチ軸（ｘ軸）、及びヨー軸（ｙ軸）の回転成分が主であり、ロール軸（ｚ軸）の回転成分が小さいと想定される。

よって、制御部１５０は、ロール軸（ｚ軸）の回転成分に関する計算を省略した、以下の数式（１）により指標を算出する。制御部１５０は、ロール軸（ｚ軸）の回転成分に関する計算を省略することで、計算量を削減することができる上に、基準画像をより適切に選択する効果も期待される。

なお、数式（１）において、ｍａｘ．θ_ｘは、指標の算出対象の１枚の画像の露光時間中に取得されたｘ軸における複数の角速度から算出される角度の最大値である。ｍｉｎ．θ_ｘは、指標の算出対象の１枚の画像の露光時間中に取得されたｘ軸における複数の角速度から算出される角度の最小値である。また、ｍａｘ．θ_ｙは、指標の算出対象の１枚の画像の露光時間中に取得されたｙ軸における複数の角速度から算出される角度の最大値である。ｍｉｎ．θ_ｙは、指標の算出対象の１枚の画像の露光時間中に取得されたｙ軸における複数の角速度から算出される角度の最小値である。

また、制御部１５０は、撮像部１３０がロール軸を回転軸として回転する種別の撮像指示が入力された場合、角速度の内、少なくともロール軸に対する角速度を用いて指標を算出する。具体的に、ユーザが図１に示されたハードウェアスイッチ１２４を押下して撮像指示を入力する場合、ロール軸（ｚ軸）の回転成分が主であり、ピッチ軸（ｘ軸）、及びヨー軸（ｙ軸）の回転成分は小さいと想定される。

よって、制御部１５０は、ピッチ軸（ｘ軸）、及びヨー軸（ｙ軸）の回転成分に関する計算を省略した、以下の数式（２）により指標を算出する。制御部１５０は、ピッチ軸（ｘ軸）、及びヨー軸（ｙ軸）の回転成分に関する計算を省略することで、計算量を削減することができる上に、基準画像をより適切に選択する効果も期待される。なお、以下の数式（２）は、ハードウェアスイッチ１２４は、携帯端末１０の長辺上部、かつ支点の対角に備えられていることを前提として用いられる。

なお、数式（２）において、ｍａｘ．θ_ｚは、指標の算出対象の１枚の画像の露光時間中に取得されたｚ軸における複数の角速度から算出される角度の最大値である。ｍｉｎ．θ_ｚは、指標の算出対象の１枚の画像の露光時間中に取得されたｚ軸における複数の角速度から算出される角度の最小値である。

続いて、図５を参照しながら、上述の算出式を用いて大きさのぶれを示す指標を算出する方法について説明する。図５は、本実施形態に係る画像の撮像時における角速度及び回転の確度を示す説明図である。

図５の上部のグラフは、ジャイロセンサが計測した角速度の時間変化を示している。また、上部のグラフの縦軸は、ｘ軸における角速度を示しており、横軸は、時間を示している。なお、上部のグラフに示されている情報は、時間Ｔ_０にユーザが撮像指示を入力してから、撮像部１３０が連続的に５枚の画像を撮像した時に計測されたｘ軸における角速度の時間変化が示されている。また、グラフに示されている角速度は、５ｍｓ間隔で取得されている。なお、説明の簡略化のため、ｙ軸における角速度を示すグラフの図示は省略する。

上部のグラフにおける時間Ｔ_１〜Ｔ_２、Ｔ_３〜Ｔ_４、Ｔ_５〜Ｔ_６、Ｔ_７〜Ｔ_８、及びＴ_９〜Ｔ_１０は、それぞれ、1枚目の撮像画像、２枚目の撮像画像、３枚目の撮像画像、４枚目の撮像画像、及び５枚目の撮像画像の露光時間をそれぞれ示している。角速度は、複数枚の画像の各々が撮像された時に、ジャイロセンサにより１回の露光時間中に複数回取得されている。そして、各画像のぶれの大きさを示す指標は、各画像の露光時間内に取得された撮像部１３０の角速度に基づき算出される。

また、上部のグラフにおける時間Ｔ_２〜Ｔ_３、Ｔ_４〜Ｔ_５、Ｔ_６〜Ｔ_７、Ｔ_８〜Ｔ_９、及びＴ_１０〜Ｔ_１１は、それぞれ、1枚目の撮像画像、２枚目の撮像画像、３枚目の撮像画像、４枚目の撮像画像、及び５目の撮像画像の読み出し時間をそれぞれ示している。

また、図５の下部のグラフは、露光時間の始期を０とした、露光時間の始期から終期までの角度変化を示している。下部のグラフの縦軸は、時間Ｔにおけるｘ軸まわりの回転角度を示しており、横軸は、時間を示している。

下部のグラフにおける時間Ｔ_１〜Ｔ_２、Ｔ_３〜Ｔ_４、Ｔ_５〜Ｔ_６、Ｔ_７〜Ｔ_８、及びＴ_９〜Ｔ_１０は、上部のグラフと同様に、それぞれ、1枚目の撮像画像、２枚目の撮像画像、３枚目の撮像画像、４枚目の撮像画像、及び５目の撮像画像の露光時間をそれぞれ示している。

角速度が時間Ｔで積分されることで、時間Ｔにおける角度が算出される。例えば、上部のグラフに示された角速度が時間Ｔで積分されると、下部のグラフに示すように、時間Ｔにおける角度が算出される。下部のグラフにおける角度は、時間Ｔにおいて携帯端末１０がｘ軸まわりに回転した角度を示している。

制御部１５０は、上部のグラフに示された角速度から算出された、下部のグラフに示された角度に基づき、複数枚の画像の各々のぶれの大きさを示す指標を算出し、指標が一番小さい画像を基準画像として選択する。例えば、下部のグラフの角度に基づき、上述の数式（１）を用いて算出される１枚目の画像のぶれの大きさの指標は、２５×１０^−６である。なお、図５において、ｙ軸における角速度を示すグラフの図示を省略しているため、当該ぶれの大きさを示す指標は、ｙ軸の回転成分を考慮せずに算出されている。

同様にして算出される２枚目〜５枚目の画像のぶれの大きさを示す指標は、それぞれ、４×１０^−６、１×１０^−６、２×１０^−６、３×１０^−６である。この算出結果より、ぶれの大きさを示す指標が一番小さいのは、３枚目の画像であるため、制御部１５０は、３枚目の画像を基準画像として選択する。

このように、制御部１５０がぶれの大きさを示す指標が一番小さい画像を基準画像として選択することで、残りの画像は、ぶれの小さい画像に合わせて重ね合わせられる。よって、ぶれの大きさを考慮せずに１枚目の画像を基準画像とし、残りの画像を重ね合わせる場合と比較し、制御部１５０は、ぶれをより低減した画像を生成することができる。

基準画像の選択後、制御部１５０は、基準画像に対して、残りの画像を指標が小さい順に重ね合わせて合成する。例えば、下部のグラフに示された角速度から、制御部１５０は、４番目の画像（指標＝２×１０^−６）、５番目の画像（指標＝３×１０^−６）、３番目の画像（指標＝４×１０^−６）、１番目の画像（指標＝２５×１０^−６）の順に、各画像を基準画像に重ね合わせる。この時、制御部１５０は、ＭＦＮＲにより、位置合わせを行いながら各画像を基準画像に重ね合わせる。

このように、制御部１５０がぶれの大きさを示す指標が小さい順に、残りの画像を基準画像に対して重ね合わせることで、残りの画像は、よりぶれの小さい画像に対して順に重ね合わせられる。よって、ぶれの大きさを考慮せずに撮像された順に残りの画像を重ね合わせる場合と比較し、制御部１５０は、ぶれをより低減した画像を生成することができる。

なお、上述の例では、ジャイロセンサが計測した角速度に基づきぶれの大きさを示す例を説明したが、制御部１５０は、加速度センサが計測した加速度に基づき、ぶれの大きさを示す指標を推定してもよい。例えば、制御部１５０は、携帯端末１０の位置が移動した際に加速度センサが計測した加速度より求められる並進成分に基づき、ぶれの大きさを示す指標を推定する。また、制御部１５０は、撮像部１３０が撮像指示に基づき撮像している最中に、携帯端末１０の位置が移動した際に加速度センサが計測した加速度より求められる並進成分に基づき、ぶれの大きさを示す指標を推定してもよい。

上述のように、本実施形態に係るぶれの大きさを示す指標は、上述の角速度と加速度の少なくともいずれかに基づき推定される。例えば、ぶれの大きさを示す指標が角速度と加速度の両方に基づき推定される場合、その推定の精度はさらに向上する。ただし、撮像部１３０から被写体までの距離が遠い場合、並進成分よりも回転成分が支配的であるため、制御部１５０は、加速度を用いずに角速度のみでぶれの大きさを示す指標を推定してもよい。

また、制御部１５０は、画像の記憶に関する処理も制御する。具体的に、制御部１５０は、撮像部１３０から入力された画像を記憶部１６０に出力し、記憶部１６０に記憶させる。また、制御部１５０は、ノイズ低減処理を行った後の画像を記憶部１６０に出力し、記憶部１６０に記憶させてもよい。

また、制御部１５０は、画像を表示部１７０に表示する処理を制御する。具体的に、制御部１５０は、撮像部１３０から入力された画像にノイズ低減処理を行った画像を表示部１７０にサムネイルとして表示させる。なお、サムネイルの表示位置、及び大きさは特に限定されず、サムネイルは、任意の位置に任意の大きさで表示されてよい。

なお、ノイズ低減処理に時間がかかり、サムネイルを表示するまでに時間がかかってしまう場合がある。それを避けるために、制御部１５０は、撮像部１３０から入力された画像をそのままサムネイルとして表示部１７０に表示させてもよい。そして、画像重ね合わせ処理の完了後に、処理後の画像を差し替えて表示部１７０にサムネイルとして表示させてもよい。

なお、撮像部１３０が撮像した画像に対して制御部１５０が行う処理は、携帯端末１０が備える内カメラが撮像した画像に対して行われてもよい。

（５）記憶部１６０
記憶部１６０は、携帯端末１０に関する情報を記憶するための機能を有する。例えば、記憶部１６０は、撮像部１３０が撮像した画像を記憶する。具体的に、記憶部１６０は、撮像部１３０が撮像した画像を制御部１５０により入力され、当該画像を記憶する。また、記憶部１６０は、制御部１５０によるＭＦＮＲ処理後の画像を記憶してもよい。

なお、記憶部１６０が記憶する情報は、上述の画像に限定されない。例えば、記憶部１６０は、制御部１５０の処理において出力される画像以外のデータ、各種アプリケーション等のプログラム、及びデータ等を記憶してもよい。

（６）表示部１７０
表示部１７０は、画像を表示するための機能を有する。例えば、表示部１７０は、ＭＦＮＲ処理後の画像を表示する。具体的に、表示部１７０は、制御部１５０がＭＦＮＲ処理を行った画像を表示する。

また、表示部１７０は、撮像部１３０が撮像した画像を表示してもよい。具体的に、表示部１７０は、撮像部１３０が撮像した画像を制御部１５０に入力され、当該画像をサムネイルとして表示する。なお、表示部１７０は、制御部１５０が手ぶれ低減処理を行った画像をサムネイルとして表示してもよい。

表示部１７０としての機能は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、またはＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置等により実現される。

なお、図２において、携帯端末１０は、表示部１７０および操作部１２０が分離された構成であるが、表示部１７０および操作部１２０が一体化された構成であってもよい。その場合、表示部１７０としてタッチパネルが用いられることにより、表示部１７０は、操作部１２０としての機能を有してもよい。表示部１７０にタッチパネルが用いられることにより、ユーザは、表示部１７０に表示されるソフトウェアスイッチをタッチ（押下）することにより、撮像指示を入力することが可能となる。

タッチパネルは、指またはペンなどの物体で表示パネルの表面（検出面）をタッチされたとき、タッチされた位置を検出する。例えば、タッチパネルは、表示パネルが画像などを表示しているエリア等に、指またはペンが接触したことを検出する。なお、タッチパネルは、表示パネルに積層された状態で構成されてもよく、また表示パネルと一体的に構成されてもよい。タッチパネルは、例えば静電容量式であってもよく、この場合、指などで表示パネルの表面がタッチされたことが静電容量の変化から検出される。

タッチパネルが検出したタッチ位置のデータは、制御部１５０に出力される。制御部１５０は、入力されるタッチ位置に基づいて、起動中のアプリケーションを実行する。タッチ位置は、例えば直交する２つの軸であるＸ軸（横軸）とＹ軸（縦軸）の座標位置で示される。タッチパネルが検出する座標位置は、１点に限られない。複数の点が同時にタッチされた場合、制御部１５０は、検出される複数の点に基づく制御を行う。また、タッチパネルの広い範囲が同時にタッチされたとき、制御部１５０は、タッチされた範囲全体を検出する。

以上、図２〜図５を参照しながら、本開示の実施形態に係る携帯端末１０の構成例について説明した。続いて、本開示の実施形態に係る情報処理装置の動作例について説明する。

＜２．２．動作例＞
以下では、図６を参照しながら、本開示の実施形態に係る携帯端末１０の動作例について説明する。図６は、本開示の実施形態に係る携帯端末の動作例を示すフローチャートである。

図６に示すように、まず、携帯端末１０の撮像部１３０は、ユーザの操作により入力された撮像指示をトリガーに、複数枚の画像を撮像する（ステップＳ１０００）。また、携帯端末１０のセンサ部１４０は、撮像部１３０が撮像している間に携帯端末１０が動くことにより生じる角速度をジャイロセンサにより計測する（ステップＳ１０００）。

携帯端末１０の制御部１５０は、ジャイロセンサが計測した角速度に基づき、複数枚の画像の各々における手ぶれの大きさを示す指標を算出する。そして、制御部１５０は、複数枚の画像の中で指標が一番小さい画像を基準画像として選択し、基準画像を先頭に残りの画像を指標が小さい順に並び替える（ステップＳ１００２）。

画像の並び替え後、制御部１５０は、基準画像に対して、残りの画像を指標が小さい順に重ね合わせるＭＦＮＲ処理を行う（ステップＳ１００４）。

制御部１５０は、ＭＦＮＲ処理後の画像を記憶部１６０に出力し、記憶部１６０に当該画像を記憶させて処理を終了する（ステップＳ１００６）。

以上、図６を参照しながら、本開示の実施形態に係る情報処理装置の動作例について説明した。続いて、本開示の実施形態に係る実験結果について説明する。
＜２．３．実験結果＞
以下では、図７、及び図８を参照しながら、本開示の実施形態に係る実験結果について説明する。図７は、本実施形態に係るシャッター速度が１／６０ｓの時の手ぶれ画像低減効果を示す説明図である。図８は、本実施形態に係るシャッター速度が１／１５ｓの時の手ぶれ画像低減効果を示す説明図である。

図７に示すグラフは、ユーザが横向きの携帯端末１０を手で持つことにより手ぶれが生じる状態で、シャッター速度を１／６０ｓに設定して５０回の撮影を行った際にＭＦＮＲ処理がされた画像の種類の各割合を示すグラフである。なお、画像の種類は、ぶれていない画像、ややぶれている画像、及びぶれている画像の３種類である。これらの分類は、実験者の目視により行われた。また、当該グラフの左側の縦軸は、画像の種類の各割合を示し、右側の縦軸は基準画像の角速度の平均値を示している。また、横軸は、連続的に撮像された画像の中で基準画像として選択された画像を示している。例えば、ＭＩＮは、ぶれの大きさを示す指標が一番小さい画像が基準画像として選択されたことを示している。また、１枚目は、１枚目に撮像された画像が基準画像として選択されたことを示している。２枚目〜６枚目は、１枚目と同様の意味を示している。

図７に示すように、ぶれの大きさを示す指標が１番小さい画像が基準画像として用いられた場合の方が、ぶれを考慮せずに１枚目が基準画像として用いられた場合よりも、ぶれていない画像の割合が約１２倍も大きいことが分かる。また、１枚目と同様に、ぶれを考慮せずに２〜６枚目のいずれかの画像が基準画像として用いられた場合と比較しても、指標が１番小さい画像が基準画像として用いられた場合の方が、ぶれていない画像の割合が大きいことが分かる。なお、ＭＩＮ、及び１〜６枚目のいずれの場合においても、ＩＳＯ感度の設定は変更していないため、いずれの場合もノイズ量は同程度である。

よって、ぶれの大きさを示す指標が一番小さい画像を基準画像として選択することで、一般的な方法とノイズ量が同程度で手ぶれ量がより少ない画像を撮像することができる。

図８に示すグラフは、シャッター速度以外の条件が図７に示したグラフと同様の条件にて、ユーザが撮像を５０回行った際にＭＦＮＲ処理がされた画像の種類の各割合を示すグラフである。

図８に示すように、ＭＩＮの場合の画像の種類の各割合は、図７のグラフに示されている１〜６枚目の場合の画像の種類の各割合と近い割合を示している。すなわち、ＭＩＮの場合、シャッター速度を１／６０から１／１５に遅くしても、シャッター速度が１／６０で一般的な方法を用いた場合とぶれている画像の割合がほぼ変わらない。また、その分ＩＳＯ感度を下げて撮影することが可能となるため、ノイズを低減することができる。

よって、ぶれの大きさを示す指標が一番小さい画像を基準画像として選択することで、一般的な方法と手ぶれ量が同程度でノイズがより少ない画像を撮像することができる。

以上、図７、及び図８を参照しながら、本開示の実施形態に係る実験結果について説明した。

以上、図２〜図８を参照しながら、本開示の実施形態に係る情報処理装置について説明した。続いて、本開示の一実施形態に係る変形例について説明する。

＜＜３．変形例＞＞
以下では、本開示の一実施形態の変形例を説明する。なお、以下に説明する変形例は、単独で本開示の実施形態に適用されてもよいし、組み合わせで本開示の実施形態に適用されてもよい。また、変形例は、本開示の実施形態で説明した構成に代えて適用されてもよいし、本開示の実施形態で説明した構成に対して追加的に適用されてもよい。

（１）第１の変形例
上述の実施形態では、制御部１５０が基準画像に対して、基準画像以外の残りの画像を全て重ね合わせる例について説明した。第１の変形例では、制御部１５０が残りの画像の内、指標が所定の閾値以下の画像を基準画像に対して重ね合わせる例について説明する。

例えば、制御部１５０は、上述した数式（１）で複数の画像の各々のぶれの大きさを示す指標を算出し、ＭＦＮＲ処理を行う前に、算出した指標が予め設定された所定の閾値よりも小さいかどうかを判定する。指標が所定の閾値よりも小さい場合、制御部１５０は、当該指標に対応する画像をＭＦＮＲ処理に用いる。また、指標が所定の閾値よりも大きい場合、制御部１５０は、当該指標に対応する画像をＭＦＮＲ処理に用いない。

上述のように、制御部１５０は、ぶれの大きさを示す指標に基づく判定処理を行うことで、指標が所定の閾値より大きい、即ちぶれの大きさが所定の大きさよりも大きい画像を重ね合わせに用いる画像から除外することができる。よって、制御部１５０は、ぶれの大きさが所定の大きさよりも小さい画像を重ね合わせるため、当該判定処理を行わない場合と比較し、画像のぶれをより低減した画像を生成することができる。

（２）第２の変形例
上述の実施形態では、制御部１５０が基準画像に対して、基準画像以外の残りの画像をそのまま重ね合わせる例について説明した。第２の変形例では、制御部１５０が指標に応じた重みを設定し、重みを複数枚の画像の各々の指標に適用した上で、基準画像に対して残りの画像を重ね合わせる例について説明する。

例えば、制御部１５０は、上述した数式（１）で複数の画像の各々のぶれの大きさを示す指標を算出し、ＭＦＮＲ処理を行う前に、指標に応じた重みを設定する。具体的には、指標が大きいほど小さい重みを設定し、指標が小さいほど大きい重みを設定する。そして、制御部１５０は、当該重みを対応する指標に乗じた上で、ＭＦＮＲ処理を行う。

上述のように、制御部１５０は、指標が大きいほど小さい重みを設定することで、ぶれの大きさが大きいほど重ね合わせにおける重みを小さくすることができる。よって、制御部１５０は、画像のぶれをより低減した画像を生成することができる。

以上、本開示の実施形態に係る変形例について説明した。続いて、本開示の一実施形態に係るハードウェア構成について説明する。

＜＜４．ハードウェア構成＞＞
最後に、図９を参照して、本実施形態に係る携帯端末のハードウェア構成について説明する。図９は、本実施形態に係る携帯端末のハードウェア構成の一例を示すブロック図である。本実施形態に係る携帯端末１０による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。

携帯端末１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３、及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０５を備える。また、携帯端末１０は、入力装置１０７、表示装置１０９、音声出力装置１１１、ストレージ装置１１３、及び通信装置１１５を備える。

ＣＰＵ１０１は、演算処理装置及び制御装置として機能し、各種プログラムに従って携帯端末１０内の動作全般を制御する。また、ＣＰＵ１０１は、マイクロプロセッサであってもよい。ＲＯＭ１０３は、ＣＰＵ１０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ１０５は、ＣＰＵ１０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。ＣＰＵ１０１、ＲＯＭ１０３及びＲＡＭ１０５は、例えば、図１を参照して説明した制御部１５０の機能を実現し得る。

入力装置１０７は、タッチパネル、ボタン、カメラ、マイクロフォン、センサ、スイッチ及びレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１０１に出力する入力制御回路などから構成されている。入力装置１０７は、例えば、図１を参照して説明した操作部１２０、撮像部１３０、及びセンサ部１４０の機能を実現し得る。

表示装置１０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、プロジェクター装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置及びランプなどの表示部を含む。例えば、表示装置１０９は、図１を参照して説明した表示部１７０の機能を実現し得る。また、音声出力装置１１１は、スピーカ及びヘッドホンなどの音声出力装置を含む。

ストレージ装置１１３は、データ格納用の装置である。ストレージ装置１１３は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置１１３は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔｒａｇｅ Ｄｒｉｖｅ）、あるいは同等の機能を有するメモリ等で構成される。このストレージ装置１１３は、ストレージを駆動し、ＣＰＵ１０１が実行するプログラムや各種データを格納する。ストレージ装置１１３は、例えば、図１を参照して説明した記憶部１６０の機能を実現し得る。

通信装置１１５は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。かかる通信インタフェースは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＺｉｇＢｅｅ（登録商標）等の近距離無線通信インタフェースや、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｗｉ−Ｆｉ、または携帯通信網（ＬＴＥ、３Ｇ）等の通信インタフェースである。また、通信装置１１５は、有線による通信を行う有線通信装置であってもよい。

以上、図９を参照しながら、携帯端末１０のハードウェア構成について説明した。

＜＜５．まとめ＞＞
以上説明したように、本開示に係る情報処理装置が備える制御部は、連続的に撮像された複数枚の画像から、当該複数の画像が撮像された時に慣性センサにより取得された情報に基づき、基準画像を選択する。そして、制御部は、選択した基準画像に対して位置合わせを行いながら残りの画像を重ね合わせて１枚の画像に合成する処理を行う。

情報処理装置は、ぶれの大きさを示す指標が一番小さい画像を基準画像として選択することで、１枚目の画像を基準としたＭＦＮＲ処理と撮像条件が同程度であってもぶれがより少ない画像を撮像することができる。

また、情報処理装置は、ぶれの大きさを示す指標が一番小さい画像を基準画像として選択することで、シャッター速度を遅くして撮像しても、１枚目の画像を基準画像としたＭＦＮＲ処理後の画像と同程度の手ぶれ量の画像を撮像することができる。よって、情報処理装置は、ＩＳＯ感度を下げることができ、１枚目の画像を基準画像としたＭＦＮＲ処理後の画像とぶれが同程度でノイズをより低減した画像を撮像することができる。

以上より、ＭＦＮＲ時の画像のぶれ、またはノイズの低減効果をより高めることが可能な、新規かつ改良された情報処理装置、情報処理方法、及びプログラムを提供することが可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書において説明した各装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記録媒体（非一時的な媒体：ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｍｅｄｉａ）に予め格納される。そして、各プログラムは、例えば、コンピュータによる実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。

また、本明細書においてフローチャートを用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像装置により連続的に撮像された複数枚の画像から、各々の画像が撮像された時に慣性センサにより取得された前記撮像装置の情報に基づき基準画像を選択し、前記基準画像に対して位置合わせを行いながら残りの画像を重ね合わせて１枚の画像に合成する制御部と、
を備える、情報処理装置。
（２）
前記制御部は、前記情報に基づき前記複数枚の画像の各々のぶれの大きさを示す指標を取得し、前記指標が示す前記ぶれの大きさが一番小さい画像を基準画像として選択する、前記（１）に記載の情報処理装置。
（３）
前記制御部は、前記基準画像に対して、前記残りの画像を前記指標が小さい順に重ね合わせて合成する、前記（２）に記載の情報処理装置。
（４）
前記制御部は、前記複数枚の画像の各々が撮像された時に、ジャイロセンサにより１回の露光時間中に複数回取得されている前記撮像装置の角速度に基づき、前記指標を算出する、前記（２）または（３）に記載の情報処理装置。
（５）
前記制御部は、前記撮像装置の撮像方向の軸をロール軸とし、前記ロール軸に直交するピッチ軸、及びヨー軸に対する各々の角速度の内の少なくともいずれか１つを用いて、前記指標を算出する、前記（４）に記載の情報処理装置。
（６）
前記制御部は、ユーザによる撮像指示の種別に応じて、前記ロール軸、前記ピッチ軸、及び前記ヨー軸のどの軸に対する前記角速度を用いるか選択する、前記（５）に記載の情報処理装置。
（７）
前記制御部は、前記撮像装置が前記ヨー軸、または前記ピッチ軸を回転軸として回転する前記種別の前記撮像指示が入力された場合、前記角速度の内、少なくとも前記ピッチ軸、及び前記ヨー軸に対する前記角速度を用いて前記指標を算出する、前記（６）に記載の情報処理装置。
（８）
前記制御部は、前記撮像装置が前記ロール軸を回転軸として回転する前記種別の前記撮像指示が入力された場合、前記角速度の内、少なくとも前記ロール軸に対する前記角速度を用いて前記指標を算出する、前記（６）または（７）のいずれか一項に記載の情報処理装置。
（９）
前記制御部は、前記残りの画像の内、前記指標が所定の閾値以下の画像を前記基準画像に対して重ね合わせる、前記（２）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記制御部は、前記指標に応じた重みを設定し、前記重みを前記複数枚の画像の各々の前記指標に適用した上で、前記基準画像に対して前記残りの画像を重ね合わせる、前記（２）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
撮像装置により連続的に撮像された複数枚の画像から、各々の画像が撮像された時に慣性センサにより取得された前記撮像装置の情報に基づき基準画像を選択し、前記基準画像に対して位置合わせを行いながら残りの画像を重ね合わせて１枚の画像に合成することと、
を含む、プロセッサにより実行される、情報処理方法。
（１２）
コンピュータを、
撮像装置により連続的に撮像された複数枚の画像から、各々の画像が撮像された時に慣性センサにより取得された前記撮像装置の情報に基づき基準画像を選択し、前記基準画像に対して位置合わせを行いながら残りの画像を重ね合わせて１枚の画像に合成する制御部と、
として機能させるための、プログラム。

１０ 携帯端末
１２０ 操作部
１３０ 撮像部
１４０ センサ部
１５０ 制御部
１６０ 記憶部
１７０ 表示部

Claims (12)

1. 撮像装置により連続的に撮像された複数枚の画像から、各々の画像が撮像された時に慣性センサにより取得された前記撮像装置の情報に基づき基準画像を選択し、前記基準画像に対して位置合わせを行いながら残りの画像を重ね合わせて１枚の画像に合成する制御部と、
   を備える、情報処理装置。
2. 前記制御部は、前記情報に基づき前記複数枚の画像の各々のぶれの大きさを示す指標を取得し、前記指標が示す前記ぶれの大きさが一番小さい画像を基準画像として選択する、請求項１に記載の情報処理装置。
3. 前記制御部は、前記基準画像に対して、前記残りの画像を前記指標が小さい順に重ね合わせて合成する、請求項２に記載の情報処理装置。
4. 前記制御部は、前記複数枚の画像の各々が撮像された時に、ジャイロセンサにより１回の露光時間中に複数回取得されている前記撮像装置の角速度に基づき、前記指標を算出する、請求項２に記載の情報処理装置。
5. 前記制御部は、前記撮像装置の撮像方向の軸をロール軸とし、前記ロール軸に直交するピッチ軸、及びヨー軸に対する各々の角速度の内の少なくともいずれか１つを用いて、前記指標を算出する、請求項４に記載の情報処理装置。
6. 前記制御部は、ユーザによる撮像指示の種別に応じて、前記ロール軸、前記ピッチ軸、及び前記ヨー軸のどの軸に対する前記角速度を用いるか選択する、請求項５に記載の情報処理装置。
7. 前記制御部は、前記撮像装置が前記ヨー軸、または前記ピッチ軸を回転軸として回転する前記種別の前記撮像指示が入力された場合、前記角速度の内、少なくとも前記ピッチ軸、及び前記ヨー軸に対する前記角速度を用いて前記指標を算出する、請求項６に記載の情報処理装置。
8. 前記制御部は、前記撮像装置が前記ロール軸を回転軸として回転する前記種別の前記撮像指示が入力された場合、前記角速度の内、少なくとも前記ロール軸に対する前記角速度を用いて前記指標を算出する、請求項６に記載の情報処理装置。
9. 前記制御部は、前記残りの画像の内、前記指標が所定の閾値以下の画像を前記基準画像に対して重ね合わせる、請求項２に記載の情報処理装置。
10. 前記制御部は、前記指標に応じた重みを設定し、前記重みを前記複数枚の画像の各々の前記指標に適用した上で、前記基準画像に対して前記残りの画像を重ね合わせる、請求項２に記載の情報処理装置。
11. 撮像装置により連続的に撮像された複数枚の画像から、各々の画像が撮像された時に慣性センサにより取得された前記撮像装置の情報に基づき基準画像を選択し、前記基準画像に対して位置合わせを行いながら残りの画像を重ね合わせて１枚の画像に合成することと、
    を含む、プロセッサにより実行される、情報処理方法。
12. コンピュータを、
    撮像装置により連続的に撮像された複数枚の画像から、各々の画像が撮像された時に慣性センサにより取得された前記撮像装置の情報に基づき基準画像を選択し、前記基準画像に対して位置合わせを行いながら残りの画像を重ね合わせて１枚の画像に合成する制御部と、
    として機能させるための、プログラム。

Images