JPWO2013099021A1 - 情報処理装置、情報処理方法並びに情報処理用プログラム及び情報記録媒体並びに撮像システム - Google Patents

Abstract

特別なハードウェアを追加することなく、画像の品質を評価することを連続して安定的に行うことが可能な情報処理装置を提供する。書面等の少なくとも一部を撮像するカメラ９を備えるスマートフォンＳにおいて、カメラ９により連続して撮像された複数の画像に基づいて、書面等との関係におけるカメラ９の動きを推定し、その推定結果に基づいて、当該動きの前後に対応する画像の品質を評価するＣＰＵ１を備える。

Description

本発明は、情報処理装置、情報処理方法並びに情報処理用プログラム及び情報記録媒体並びに撮像システムの技術分野に属する。より詳細には、カメラ等の撮像部を備える情報処理装置及び当該情報処理装置において実行される情報処理方法、並びに当該情報処理装置用のプログラム及び当該プログラムが記録された情報記録媒体並びに当該情報処理装置を含む撮像システムの技術分野に属する。

従来、静止している撮像対象物をデジタル的に画像化する場合には、一般にはデジタルカメラが用いられる場合が多い。そしてこのデジタルカメラを用いる場合、撮像の度に、そのピントや撮像範囲を決めて撮像する必要がある。

これに対し、最近では、デジタル的な動画の撮像又は静止画の連写が可能であり且つ小型軽量なカメラが、広く一般化しつつある。このようなカメラを用いる場合、数多くの画像（静止画）を一度に取得し、それらを用いて上記の画像化を行うことができる可能性がある。

一方、上記のようにカメラが小型軽量化されると、それを携行しながらの撮像も可能となる。しかしながら、例えば一般の個人がこのようなカメラを携行しながら撮像する場合、撮像時に手ブレが起きる、或いは周囲の照明が不適切といった理由により、画質のよい撮像に失敗する場合が多い。更に撮像間の画質にばらつきが生じる場合もあり得る。またカメラの撮像諸元や周囲の撮像環境を撮像中に一定以上に適切に維持することも、個人には難しい場合が多い。

他方、これらとは別に、特に医療における検査画像の合成等の分野において、同一の撮像対象物を撮像して得られた複数の画像同士の位置合わせ処理を、非剛体（非線形）により行う技術が開発されている（例えば、下記非特許文献１参照）。

「３次元脳地図と医用頭部画像の自動非線形位置合わせ（Automated, Non-linear Registration Between 3-Dimensional Brain Map and Medical Head Image）」, pp175 - 183, "MEDICAL IMAGING TECHNOLOGY", Vol. 16, No. 3, May 1998

以上のように、動画の撮像又は静止画の連写により撮像対象物を画像化する場合、撮像中における画質の均一化等が望まれるところである。そして、当該均一化等のためには、撮像された画像の画質を適切に評価することが必要となる。しかしながら、このような評価を個人で簡易に実現できる有効な方法は、現状では存在していない。よって、このような評価の方法の確立が望まれている。

そこで本発明は、上記の要請に鑑みて為されたもので、その課題は、例えば特別なハードウェアを追加することなく、画像の品質を評価することを連続して安定的に行うことが可能な情報処理装置及び当該情報処理装置において実行される情報処理方法、並びに当該情報処理装置用のプログラム及び当該プログラムが記録された情報記録媒体並びに当該情報処理装置を含む撮像システムを提供することにある。

上記の課題を解決するために、請求項１に記載の発明は、撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力するカメラ等の撮像手段と、前記撮像手段により連続して撮像された複数の前記フレーム画像にそれぞれ対応するフレーム画像情報に基づいて、前記撮像対象物との関係における前記撮像手段の動きを推定するＣＰＵ等の推定手段と、前記推定された動きに基づいて、当該動きの前後に対応する前記フレーム画像の品質を示す品質情報を生成するＣＰＵ等の品質情報生成手段と、を備える。

上記の課題を解決するために、請求項１９に記載の発明は、撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力するカメラ等の撮像手段を備える情報処理装置において実行される情報処理方法において、前記撮像手段により連続して撮像された複数の前記フレーム画像にそれぞれ対応するフレーム画像情報に基づいて、前記撮像対象物との関係における前記撮像手段の動きを推定する推定工程と、前記推定された動きに基づいて、当該動きの前後に対応する前記フレーム画像の品質を示す品質情報を生成する品質情報生成工程と、を含む。

上記の課題を解決するために、請求項２１に記載の発明は、撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力するカメラ等の撮像手段を備える情報処理装置に含まれるコンピュータを、前記撮像手段により連続して撮像された複数の前記フレーム画像にそれぞれ対応するフレーム画像情報に基づいて、前記撮像対象物との関係における前記撮像手段の動きを推定する推定手段、及び、前記推定された動きに基づいて、当該動きの前後に対応する前記フレーム画像の品質を示す品質情報を生成する品質情報生成手段、として機能させる。

上記の課題を解決するために、請求項２３に記載の発明は、撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力するカメラ等の撮像手段を備える情報処理装置に含まれるコンピュータを、前記撮像手段により連続して撮像された複数の前記フレーム画像にそれぞれ対応するフレーム画像情報に基づいて、前記撮像対象物との関係における前記撮像手段の動きを推定する推定手段、及び、前記推定された動きに基づいて、当該動きの前後に対応する前記フレーム画像の品質を示す品質情報を生成する品質情報生成手段、として機能させる情報処理用プログラムが前記コンピュータにより読み取り可能に記録されている。

請求項１、請求項１９、請求項２１又は請求項２３のいずれか一項に記載の発明によれば、連続して撮像された複数のフレーム画像にそれぞれ対応するフレーム画像情報に基づいて、撮像対象物との関係における撮像手段の動きを推定し、その推定された動きに基づいて動きの前後に対応するフレーム画像の品質を示す品質情報を生成するので、撮像手段を備える情報処理装置に特別なハードウェアを追加することなく、各フレーム画像の品質を評価することができる。

また、連続撮像に対応して撮像手段の動きを推定し、その結果を用いて品質情報を生成するので、情報処理装置の動きを見失うことなく、各フレーム画像の品質評価を連続して安定的に行うことができる。

上記の課題を解決するために、請求項２に記載の発明は、請求項１に記載の情報処理装置において、前記推定手段は、前記撮像対象物に対して予め設定された位置に保持されている撮像手段により連続して撮像された複数の前記フレーム画像同士の差分を示す差分情報に更に基づいて前記動きを推定し、前記生成された品質情報に基づいて、複数の前記フレーム画像から二以上の前記フレーム画像を抽出するＣＰＵ等の抽出手段と、抽出されたフレーム画像にそれぞれ相当する前記フレーム画像情報に基づいて、前記撮像対象物に対応する合成画像であって前記撮像手段により撮像された各前記フレーム画像よりも高画質或いは広範囲の合成画像を合成するＣＰＵ等の合成手段と、を更に備える。

請求項２に記載の発明によれば、請求項１に記載の発明の作用に加えて、連続して撮像された複数のフレーム画像同士の差分を示す差分情報に更に基づいて撮像手段の動きを推定し、品質情報に基づいて抽出された二以上のフレーム画像にそれぞれ相当するフレーム画像情報に基づいて各フレーム画像よりも高画質或いは広範囲の合成画像を合成するので、撮像手段を備える情報処理装置に特別なハードウェアを追加することなく、撮像対象物に対応したより高画質或いは広範囲の合成画像を合成することができる。

上記の課題を解決するために、請求項３に記載の発明は、請求項２に記載の情報処理装置において、当該情報処理装置が携帯可能であるように構成される。

請求項３に記載の発明によれば、請求項２に記載の発明の作用に加えて、情報処理装置が携帯可能であるので、より簡便に各フレーム画像の品質を評価して高画質或いは広範囲の合成画像を合成することができる。

上記の課題を解決するために、請求項４に記載の発明は、請求項１に記載の情報処理装置において、前記連続して撮像された複数の前記フレーム画像同士の位置合わせを行う位置合わせ処理を、当該各フレーム画像に相当する複数の前記フレーム画像情報を用いて、前記フレーム画像の連続撮像に対応して逐次行うＣＰＵ等の位置合わせ手段を更に備え、前記推定手段は、位置合わせされた各前記フレーム画像にそれぞれ相当するフレーム画像情報及び前記位置合わせ処理に用いられた位置合わせ情報に基づいて、前記撮像対象物との関係における前記撮像手段の動きを推定するように構成される。

請求項４に記載の発明によれば、請求項１に記載の発明の作用に加えて、携帯された情報処理装置の移動に伴って連続して撮像された複数のフレーム画像同士の位置合わせを連続撮像に対応して逐次行い、位置合わせされた各フレーム画像にそれぞれ相当するフレーム画像情報及び位置合わせ処理に用いられた位置合わせ情報に基づいて撮像手段の動きを推定する。よって、撮像手段を備える情報処理装置に特別なハードウェアを追加することなく、各フレーム画像の品質を評価することができる。

また、連続撮像に対応して位置合わせを逐次行い、その結果を用いて品質情報を生成するので、各フレーム画像の品質評価を連続して更に安定的に行うことができる。

上記の課題を解決するために、請求項５に記載の発明は、請求項１から請求項４のいずれか一項に記載の情報処理装置において、前記生成された品質情報又は前記推定された動きの少なくともいずれか一方に基づいて、前記撮像手段における当該撮像に係る機能を、前記フレーム画像の連続撮像に対応して逐次制御するＣＰＵ等の制御手段を備える。

請求項５に記載の発明よれば、請求項１から請求項４のいずれか一項に記載の発明の作用に加えて、品質情報又は推定された動きの少なくともいずれか一方に基づき、フレーム画像の連続撮像に対応して撮像機能を逐次制御するので、撮像手段を備える情報処理装置に特別なハードウェアを追加することなく、撮像手段の動きに応じて撮像機能をタイミング良く適切に制御することができる。

上記の課題を解決するために、請求項６に記載の発明は、請求項５に記載の情報処理装置において、前記機能は、前記撮像手段におけるシャッタースピード、絞り、フォーカス合わせ又は撮像時における照度の少なくともいずれか一つであるように構成される。

請求項６に記載の発明によれば、請求項５に記載の発明の作用に加えて、撮像手段におけるシャッタースピード、絞り、フォーカス合わせ又は照度の少なくともいずれか一つが、品質情報又は推定された動きの少なくともいずれか一方に基づいて制御されるので、撮像手段の動きに応じてより適切に各機能を制御することができる。

上記の課題を解決するために、請求項７に記載の発明は、撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力するカメラ等の撮像手段と、前記撮像手段により連続して撮像された複数の前記フレーム画像同士の位置合わせを行う位置合わせ処理を、当該各フレーム画像に相当し且つ前記撮像手段からそれぞれ出力された複数の前記フレーム画像情報を用いて、前記フレーム画像の連続撮像に対応して逐次行うＣＰＵ等の位置合わせ手段と、位置合わせされた各前記フレーム画像同士の差分を示す差分情報を生成するＣＰＵ等の差分情報生成手段と、前記生成された差分情報に基づいて、当該差分情報の生成に用いられた前記フレーム画像の品質を示す品質情報を生成するＣＰＵ等の品質情報生成手段と、を備える。

上記の課題を解決するために、請求項２０に記載の発明は、撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力するカメラ等の撮像手段を備える情報処理方法において、前記撮像手段により連続して撮像された複数の前記フレーム画像同士の位置合わせを行う位置合わせ処理を、当該各フレーム画像に相当し且つ前記撮像手段からそれぞれ出力された複数の前記フレーム画像情報を用いて、前記フレーム画像の連続撮像に対応して逐次行う位置合わせ工程と、位置合わせされた各前記フレーム画像同士の差分を示す差分情報を生成する差分情報生成工程と、前記生成された差分情報に基づいて、当該差分情報の生成に用いられた前記フレーム画像の品質を示す品質情報を生成する品質情報生成工程と、を含む。

上記の課題を解決するために、請求項２２に記載の発明は、撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力するカメラ等の撮像手段を備える情報処理装置にコンピュータを、前記撮像手段により連続して撮像された複数の前記フレーム画像同士の位置合わせを行う位置合わせ処理を、当該各フレーム画像に相当し且つ前記撮像手段からそれぞれ出力された複数の前記フレーム画像情報を用いて、前記フレーム画像の連続撮像に対応して逐次行う位置合わせ手段、位置合わせされた各前記フレーム画像同士の差分を示す差分情報を生成する差分情報生成手段、及び、前記生成された差分情報に基づいて、当該差分情報の生成に用いられた前記フレーム画像の品質を示す品質情報を生成する品質情報生成手段、として機能させる。

上記の課題を解決するために、請求項２４に記載の発明は、撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力するカメラ等の撮像手段を備える情報処理装置にコンピュータを、前記撮像手段により連続して撮像された複数の前記フレーム画像同士の位置合わせを行う位置合わせ処理を、当該各フレーム画像に相当し且つ前記撮像手段からそれぞれ出力された複数の前記フレーム画像情報を用いて、前記フレーム画像の連続撮像に対応して逐次行う位置合わせ手段、位置合わせされた各前記フレーム画像同士の差分を示す差分情報を生成する差分情報生成手段、及び、前記生成された差分情報に基づいて、当該差分情報の生成に用いられた前記フレーム画像の品質を示す品質情報を生成する品質情報生成手段、として機能させる情報処理用プログラムが前記コンピュータにより読み取り可能に記録されている。

請求項７、請求項２０、請求項２２又は請求項２４のいずれか一項に記載の発明によれば、連続して撮像された複数のフレーム画像同士の位置合わせを連続撮像に対応して逐次行い、位置合わせされた各フレーム画像同士の差分情報に基づいて品質情報を生成するので、撮像手段を備える情報処理装置に特別なハードウェアを追加することなく、各フレーム画像の品質を評価することができる。

また、連続撮像に対応して位置合わせを逐次行い、その結果を用いて品質情報を生成するので、情報処理装置の動きを見失うことなく、各フレーム画像の品質評価を連続して安定的に行うことができる。

上記の課題を解決するために、請求項８に記載の発明は、請求項７に記載の情報処理装置において、位置合わせされた各前記フレーム画像にそれぞれ相当するフレーム画像情報及び前記位置合わせ処理に用いられた位置合わせ情報に基づいて、前記撮像対象物との関係における前記撮像手段の動きを推定するＣＰＵ等の推定手段を更に備え、前記品質情報生成手段は、前記生成された差分情報と、前記推定された動きと、に基づいて、当該差分情報の生成に用いられた前記フレーム画像の品質を示す品質情報を生成するように構成される。

請求項８に記載の発明によれば、請求項７に記載の発明の作用に加えて、位置合わせされた各フレーム画像にそれぞれ相当するフレーム画像情報及び位置合わせ情報に基づいて、撮像対象物との関係における撮像手段の動きを推定し、その推定された動きと、差分情報と、に基づいて品質情報を生成するので、撮像手段を備える情報処理装置に特別なハードウェアを追加することなく、各フレーム画像の品質をより正確に評価することができる。

上記の課題を解決するために、請求項９に記載の発明は、請求項４、請求項７又は請求項８のいずれか一項に記載の情報処理装置において、前記位置合わせ手段は、それぞれ出力された複数の前記フレーム画像情報を用いて、非線形の前記位置合わせ処理を逐次行うように構成される。

請求項９に記載の発明によれば、請求項４、請求項７又は請求項８のいずれか一項に記載の発明の作用に加えて、それぞれ出力された複数のフレーム画像情報を用いて非線形の位置合わせ処理を逐次行うので、一般的な画像歪みを非線形位置合わせ処理により補正することで、汎用性が高い画質評価を行うことができる。

上記の課題を解決するために、請求項１０に記載の発明は、請求項４又は請求項７から請求項９のいずれか一項に記載の情報処理装置において、位置合わせされた各前記フレーム画像にそれぞれ相当するフレーム画像情報と、前記生成された品質情報と、を用いて、前記撮像対象物に対応する合成画像であって前記撮像手段により撮像された各前記フレーム画像よりも高画質或いは広範囲の合成画像を合成するＣＰＵ等の合成手段を更に備える。

請求項１０に記載の発明によれば、請求項４又は請求項７から請求項９のいずれか一項に記載の発明の作用に加えて、位置合わせされた各フレーム画像にそれぞれ相当するフレーム画像情報と、品質情報と、を用いて、各フレーム画像よりも高画質或いは広範囲の合成画像を合成するので、撮像対象物に対応する高画質或いは広範囲の合成画像を簡易に合成することができる。

上記の課題を解決するために、請求項１１に記載の発明は、請求項１から請求項１０のいずれか一項に記載の情報処理装置において、前記品質情報生成手段は、前記品質情報の生成を、前記フレーム画像の連続撮像に対応して逐次行い、前記生成された品質情報を当該生成の都度告知する告知手段を更に備える。

請求項１１に記載の発明によれば、請求項１から請求項１０のいずれか一項に記載の発明の作用に加えて、フレーム画像の連続撮像に対応して品質情報の生成を逐次行い、生成された品質情報をその都度告知するので、画質向上のための撮像手段に対する諸操作を、情報処理装置の使用者に的確に促すことができる。

上記の課題を解決するために、請求項１２に記載の発明は、請求項１から請求項１０のいずれか一項に記載の情報処理装置において、前記品質情報生成手段は、前記品質情報の生成を、前記フレーム画像の連続撮像に対応して逐次行い、前記生成された品質情報に基づいて、前記撮像手段における撮像を行わせるＣＰＵ等の撮像制御手段を更に備える。

請求項１２に記載の発明によれば、請求項１から請求項１０のいずれか一項に記載の発明の作用に加えて、品質情報の生成がフレーム画像の連続撮像に対応して逐次行われ、生成された品質情報に基づいて撮像が行われるので、高画質のフレーム画像を撮像することができる。

上記の課題を解決するために、請求項１３に記載の発明は、請求項１２に記載の情報処理装置において、前記撮像手段は、複数の前記フレーム画像を動画として連続撮像するカメラ等の動画撮像手段と、前記フレーム画像を静止画として撮像するカメラ等の静止画撮像手段と、により構成されており、前記推定手段は、前記動画撮像手段により連続して撮像された複数の前記フレーム画像にそれぞれ対応する前記フレーム画像情報に基づいて前記動きを推定し、前記品質情報生成手段は、前記推定された動きに基づく前記品質情報の生成を、前記動画撮像手段による連続撮像に対応して逐次行い、前記撮像制御手段は、前記生成された品質情報に基づいて、前記静止画撮像手段における撮像を行わせるように構成される。

請求項１３に記載の発明によれば、請求項１２に記載の発明の作用に加えて、動画撮像手段により連続して撮像された複数のフレーム画像にそれぞれ対応するフレーム画像情報に基づいて撮像手段の動きを推定し、推定された動きに基づいて生成された品質情報に基づいて静止画撮像手段における撮像を行わせるので、より高画質のフレーム画像を撮像することができる。

上記の課題を解決するために、請求項１４に記載の発明は、請求項１から請求項１０のいずれか一項に記載の情報処理装置において、前記品質情報生成手段は、前記品質情報の生成を、前記フレーム画像の連続撮像に対応して逐次行い、前記生成された品質情報に基づいて、前記撮像手段におけるフォーカスを逐次制御するＣＰＵ等のフォーカス制御手段を更に備える。

請求項１４に記載の発明によれば、請求項１から請求項１０のいずれか一項に記載の発明の作用に加えて、品質情報の生成がフレーム画像の連続撮像に対応して逐次行われ、生成された品質情報に基づいて撮像手段のフォーカスを逐次制御するので、高画質のフレーム画像を撮像することができる。

上記の課題を解決するために、請求項１５に記載の発明は、請求項１から請求項１０のいずれか一項に記載の情報処理装置において、前記品質情報生成手段は、前記品質情報の生成を、前記フレーム画像の連続撮像に対応して逐次行い、前記生成された品質情報に基づいて、前記撮像手段におけるシャッター速度を逐次制御するＣＰＵ等のシャッター速度制御手段を更に備える。

請求項１５に記載の発明によれば、請求項１から請求項１０のいずれか一項に記載の発明の作用に加えて、品質情報の生成がフレーム画像の連続撮像に対応して逐次行われ、生成された品質情報に基づいて撮像手段のシャッター速度を逐次制御するので、高画質のフレーム画像を撮像することができる。

上記の課題を解決するために、請求項１６に記載の発明は、請求項１から請求項１０のいずれか一項に記載の情報処理装置において、前記品質情報生成手段は、前記品質情報の生成を、前記フレーム画像の連続撮像に対応して逐次行い、前記生成された品質情報に基づいて、前記撮像手段における絞りを逐次制御するＣＰＵ等の絞り制御手段を更に備える。

請求項１６に記載の発明によれば、請求項１から請求項１０のいずれか一項に記載の発明の作用に加えて、品質情報の生成がフレーム画像の連続撮像に対応して逐次行われ、生成された品質情報に基づいて絞りを逐次制御するので、高画質のフレーム画像を撮像することができる。

上記の課題を解決するために、請求項１７に記載の発明は、請求項１から請求項１０のいずれか一項に記載の情報処理装置において、前記品質情報生成手段は、前記品質情報の生成を、前記フレーム画像の連続撮像に対応して逐次行い、前記生成された品質情報に基づいて、動画を撮像する前記撮像手段におけるフレームレートを逐次制御するＣＰＵ等のレート制御手段を更に備える。

請求項１７に記載の発明によれば、請求項１から請求項１０のいずれか一項に記載の発明の作用に加えて、品質情報の生成がフレーム画像の連続撮像に対応して逐次行われ、生成された品質情報に基づいて動画撮像時のフレームレートを逐次制御するので、動画として高画質のフレーム画像を撮像することができる。

上記の課題を解決するために、請求項１８に記載の発明は、請求項１から請求項１７のいずれか一項に記載の情報処理装置を含む撮像システムであって、前記情報処理装置が携帯可能な情報処理装置であり、当該情報処理装置を前記撮像対象物に対して予め設定された位置に保持する保持具であって携帯可能な保持具を含む。

請求項１８に記載の発明によれば、請求項１から請求項１７のいずれか一項に記載の発明の作用に加えて、携帯可能な情報処理装置を撮像対象物に対して保持する携帯可能な保持具を含むので、より簡便に各フレーム画像の品質を評価して高画質或いは広範囲の合成画像を合成することができる。

以上説明したように、本発明によれば、特別なハードウェアを追加することなく、撮像手段を備える情報処理装置において複数のフレーム画像の品質を評価することができる。また、当該情報処理装置において、当該情報処理装置の動きを見失うことなく、各フレーム画像の品質評価を連続して安定的に行うことができる。

第１実施形態に係るスマートフォンの概要構成を示すブロック図である。 第１実施形態に係る画像処理を示すフローチャートである。 第１実施形態に係る画像処理において表示される画面例等を示す図であり、（ａ）は撮像対象物としての書面を例示する図であり、（ｂ）は位置合わせ処理時の表示例を示す図である。 第１実施形態に係る位置合わせ処理を例示する図（ｉ）であり、（ａ）は位置合わせ前の状態を例示する図であり、（ｂ）は位置合わせ処理中を例示する図（ｉ）であり、（ｃ）は位置合わせ処理中を例示する図（ii）である。 第１実施形態に係る位置合わせ処理を例示する図（ii）であり、（ａ）は位置合わせ処理中を例示する図（iii）であり、（ｂ）は位置合わせ処理中を例示する図（iv）であり、（ｃ）は位置合わせ処理中を例示する図（ｖ）であり、（ｄ）は位置合わせ処理中を例示する図（vi）である。 第１実施形態に係る位置合わせ処理を例示する図（iii）であり、（ａ）は位置合わせ処理の他の例を示す図（i）であり、（ｂ）は位置合わせ処理の他の例を示す図（ii）であり、（ｃ）は位置合わせ処理の他の例を示す図（iii）であり、（ｄ）は位置合わせ処理の他の例を示す図（iv）である。 第２実施形態に係る画像処理を示すフローチャートである。

次に、本発明を実施するための形態について、図面に基づいて説明する。なお、以下に説明する各実施形態は、連写及び動画の撮像が可能なデジタルカメラ（以下、単にカメラと称する）を備える携帯可能なスマートフォンに対して本発明を適用した場合の実施の形態である。なお当該スマートフォンに備えられているデジタルカメラではなく、装置として独立したデジタルカメラに対して本発明を適用しても良い。また、第１実施形態に係るスマートフォンの携帯者を、以下、単に「携帯者」と称する。
（Ｉ）第１実施形態
初めに、本発明に係る第１実施形態について、図１乃至図６を用いて説明する。なお、図１は第１実施形態に係るスマートフォンの概要構成を示すブロック図であり、図２は第１実施形態に係る画像処理を示すフローチャートである。また、図３は第１実施形態に係る画像処理において表示される画面例を示す図であり、図４乃至図６は第１実施形態に係る位置合わせ処理をそれぞれ例示する図である。

第１実施形態に係るスマートフォンは、撮像対象物の一例としての例えば書面又は立体物上に文字、記号又は図形等を用いて記載されている情報を、上記カメラを用いて連写又は動画撮像する。その後当該スマートフォンは、第１実施形態に係る後述の画像処理により、当該撮像により得られた画像データの一部又は全部を複数フレーム分用いて、当該画像データ相互の位置合わせ処理及び当該位置合わせ処理後の各画像データを合成する合成処理を実行する。これにより当該スマートフォンは、撮像対象物上の情報を高画質或いは広範囲にデジタル化する。

即ち図１に示すように、第１実施形態に係る「情報処理装置」の一例としてのスマートフォンＳは、ＣＰＵ１と、ＲＯＭ（Read Only Memory）２と、ＲＡＭ（Random Access Memory）３と、操作ボタン及びタッチパネル等からなる操作部４と、当該タッチパネルがその表面に配置されている液晶ディスプレイ等からなるディスプレイ５と、スピーカ７及びマイク８が接続されている通話制御部６と、第１実施形態に係る「撮像手段」の一例、「動画撮像手段の一例」及び「静止画撮像手段」の一例としての上記カメラ９と、図１において図示しない外部のネットワーク（無線ＬＡＮ（Local Area Network）、専用回線、インターネット又はいわゆる３Ｇ回線等のネットワーク）に接続するためのアンテナＡＮＴを備える通信インターフェース１０と、カメラ９による撮像の対象となる上記撮像対象物の一部又は全部を当該撮像時に照らすライト１１と、により構成されている。またＲＡＭ３内には、ＣＰＵ１を中心とした第１実施形態に係る画像処理を実行するために必要な各種バッファとして、位置合わせデータバッファ３０と、データ量バッファ３１と、合成画像バッファ３２と、広域画像バッファ３３と、カレント画像バッファ３４と、位置合わせ済みカレント画像バッファ３５と、が、揮発性の記憶領域として形成されている。

上記の構成のうちＣＰＵ１が、第１実施形態に係る「推定手段」の一例、「品質情報生成手段」の一例、「抽出手段」の一例、「合成手段」の一例、「位置合わせ手段」の一例、「制御手段」の一例、「撮像制御手段」の一例、「フォーカス制御手段」の一例、「シャッター速度制御手段」の一例、「絞り制御手段」の一例及び「レート制御手段」の一例に、それぞれ相当する。またディスプレイ５が第１実施形態に係る「告知手段」の一例に相当する。

この構成において通信インターフェース１０は、ＣＰＵ１の制御の下、アンテナＡＮＴを介した上記ネットワークとのデータの授受を制御する。この時通信インターフェース１０は、アンテナＡＮＴを介した無線によるデータの授受だけでなく、例えば有線ＬＡＮやいわゆるＵＳＢ（Universal Serial Bus）等を介した有線によるデータの授受を制御するように構成することもできる。

また通話制御部６は、ＣＰＵ１の制御の下、マイク８及びスピーカ７を用いたスマートフォンＳとしての音声通話を制御する。更に操作部４は、スマートフォンＳの使用者による操作に基づいて、当該操作に対応する操作信号を生成してＣＰＵ１に出力する。これによりＣＰＵ１は、当該操作信号に基づいてスマートフォンＳ全体を制御する。

一方ＲＯＭ２には、後述する第１実施形態に係る画像処理を初めとするスマートフォンＳとしての処理のためのプログラム等が予め不揮発性に記録されている。そしてＣＰＵ１は、当該プログラム等をＲＯＭ２から読み出して実行することにより、上記スマートフォンＳとしての処理を制御する。この他ＲＯＭ２は、例えば電話番号データやアドレスデータ等、スマートフォンＳとしての処理に必要なデータも不揮発性に記憶する。またＲＡＭ３は、上記各バッファとして必要なデータを一時的に記憶し、更に上記スマートフォンＳとしての処理に必要な他のデータを一時的に記憶する。更にディスプレイ５は、ＣＰＵ１の制御の下、第１実施形態に係る画像処理のために必要な情報に加えて、スマートフォンＳとしての処理に必要な情報を、その携帯者に対して表示する。

他方、カメラ９は、ＣＰＵ１の制御の下、上記書面等上の情報を連写又は動画撮像し、当該撮像した画像に対応する画像データ（デジタル化された画像データ）を、当該連写の都度又は動画撮像の場合にあっては連続して、ＣＰＵ１に出力する。これによりＣＰＵ１は、ＲＡＭ３内の各バッファにそれぞれ記憶されているデータを用いて、第１実施形態に係る画像処理を実行する。またこの際にライト１１は、ＣＰＵ１の制御の下、カメラ９により撮像される上記書面等の一部又は全部を、当該撮像時において当該撮像に好適な照度となるように照らす。

次に、当該ＲＡＭ３内の各バッファについて、具体的に説明する。

先ず、ＲＡＭ３内の位置合わせデータバッファ３０は、後述する位置合わせ処理の結果としての変形状態を示す座標データを記憶する。次にＲＡＭ３内のデータ量バッファ３１は、カメラ９により撮像された画像における各画素のそれぞれについて、第１実施形態に係る画像処理のうちの位置合わせ処理及び合成処理の対象となった画像（後述するカレント画像）の数（無名数）を、合成画像における各画素ごとに記憶する。ここで、データ量バッファ３１に記憶されている値が大きいほど、その画素については第１実施形態に係る位置合わせ処理及び合成処理による高画質化が進んでいることを意味する。なお、例えば画像内の位置に応じて重み付けをした値を、画素ごとにデータ量バッファ３１に記憶させるように構成することもできる。

一方、ＲＡＭ３内の合成画像バッファ３２は、第１実施形態に係る画像処理のうちの合成処理により高画質／広範囲化して形成された合成画像に相当する画像データを、当該合成処理の進捗に合わせて逐次記憶する。これに対してＲＡＭ３内の広域画像バッファ３３は、後述する位置合わせ処理に用いるべく、第１実施形態に係る画像処理において撮像された書面等の全体画像に相当する一フレーム分の画像データ（フレーム画像データ）を記憶する。ここで、この場合の「全体画像」とは、例えば書面一枚に記載されている情報をデジタル化する場合は、その書面の全体を撮像した一つの画像を言う。

またＲＡＭ３内のカレント画像バッファ３４は、その時点で第１実施形態に係る画像処理のうちの位置合わせ処理の対象となっている一フレーム分の画像データを記憶する。この場合の一フレーム分の画像データ（フレーム画像データ）に相当する画像を、「カレント画像」と称する。最後にＲＡＭ３内の位置合わせ済みカレント画像バッファ３５は、第１実施形態に係る画像処理のうちの位置合わせ処理後で、且つこれから合成処理の対象となる一フレーム分の画像データを記憶する。

次に、第１実施形態に係る画像処理について、具体的に図２乃至図６を用いて説明する。

第１実施形態に係る画像処理は、例えば、携帯者による所定の操作が操作部４において実行されたときに開始される。

そして当該画像処理が開始されると、図２に示すようにＣＰＵ１は先ず、上記位置合わせデータバッファ３０を、「変形なし」を意味する内容のデータを用いて初期化する（ステップＳ１）。これにより、第１実施形態に係る位置合わせ処理が開始される。次にＣＰＵ１は、上記データ量バッファ３１及び合成画像バッファ３２を、それぞれ「ゼロ」に初期化する（ステップＳ２）。

次にＣＰＵ１は、上記全体画像を撮像する旨の表示をディスプレイ５において実行する等の処理により、携帯者に対して当該全体画像の撮像を告知する。これにより当該全体画像が携帯者の操作により撮像されると、ＣＰＵ１は、当該全体画像に相当する一フレーム分の画像データを広域画像バッファ３３に入力する（ステップＳ３）。

次にＣＰＵ１は、撮像対象物の任意の位置から連写又は動画撮像を開始する旨の表示をディスプレイ５において実行する等の処理により、携帯者に対して連写又は動画撮像を告知する。これにより当該連写又は動画撮像が携帯者の操作により実行されると、ＣＰＵ１は、当該撮像に伴って入力されてくるカレント画像に相当する一フレーム分の画像データをカレント画像バッファ３４に入力する（ステップＳ４）。これによりＣＰＵ１は、第１実施形態に係る非剛体の位置合わせ処理を、広域画像バッファ３３に記憶されている画像データ（即ち全体画像に相当する画像データ）と、そのタイミングにおいてカレント画像バッファ３４に記憶されている画像データと、を用いて行う（ステップＳ５）。このときの非剛体の位置合わせ処理は、カレント画像として撮像された撮像対象物の部分と、全体画像における当該部分と、を比較し、両者が画像として一致するようにカレント画像の位置合わせを行う処理である。この位置合わせ処理は、位置合わせデータバッファ３０に記憶されている座標データを用いて行われる。当該位置合わせ処理には、例えば上記非特許文献１に記載されているものがあるが、より具体的には図４乃至図６を用いて後ほど詳説する。

カレント画像に相当する一フレーム分の画像データに対する非剛体の位置合わせ処理が完了すると（ステップＳ５）、ＣＰＵ１は次に、ステップＳ５の位置合わせ処理の結果としての変形状態を示す座標データ等に基づき、その時にカレント画像バッファ３４に記憶されている画像データに対応するカレント画像の撮像時におけるカメラ９の移動情報を生成する（ステップＳ６）。より具体的にＣＰＵ１は、上記座標データ等に基づいて、その撮像時における上記書面等に対するカメラ９の相対的な位置、角度又は距離を推定する。この推定方法について具体的には、図６（ｂ）乃至図６（ｄ）を用いて後ほど詳述する。ＣＰＵ１は、この推定結果に対応する上記移動情報を生成する。なお、カメラ９を含むスマートフォンＳ自体の位置、速度及び加速度等の諸元をＣＰＵ１が加味して上記移動情報を生成するように構成することもできる。この場合ＣＰＵ１は、スマートフォンＳに備えられた図示しない例えば加速度センサ及びＧＰＳ（Global Positioning System）センサ等からのデータに基づいて上記位置等の諸元を取得するように構成するのが好適である。

カメラ９の移動情報が生成されたら、次にＣＰＵ１は、当該移動情報に基づいて、その時のカレント画像の画質を評価する。そしてＣＰＵ１は、その評価結果に基づいて以降の合成処理等に用いる画像データを選択する（ステップＳ７）。具体的にＣＰＵ１は、上記移動情報に基づき、例えば、カレント画像の撮像時にカメラ９が手ぶれと判断される予め設定された移動量以上に移動していた場合は、そのカレント画像の画質は以降の合成処理に用い得るだけの画質ではないと評価する。そしてＣＰＵ１は、当該評価結果に相当する評価情報に基づき、そのように判断した画像データを選択対象から除外する。なお上記予め設定された移動量とは、例えば二乃至三画素（ピクセル）程度が好適である。この移動量についてＣＰＵ１は、撮像時のカメラ９におけるシャッタースピードが所定スピード以上であった場合、たとえ移動量が三画素以上であっても手ぶれと判定しないように構成することもできる。またＣＰＵ１は、カレント画像において上記書面等が直前よりも大きく撮像されていた場合、その撮像時にカメラ９が当該書面等に近づいたことによるフォーカスずれがあると推定し、そのカレント画像の画質は以降の合成処理に用い得るだけの画質ではないと評価する。この場合もＣＰＵ１は、当該評価結果に相当する評価情報に基づき、そのように判断した画像データを選択対象から除外する。なお、この画像データの選択処理に、上記スマートフォンＳ自体の位置、速度及び加速度等の諸元を考慮するように構成することもできる。

一方、上記ステップＳ７の処理と並行してＣＰＵ１は、上記ステップＳ６の処理により生成された移動情報に基づいて、カメラ９の撮像機能及びライト１１を制御するための制御データを生成する（ステップＳ８）。具体的にＣＰＵ１は、上記移動情報に基づき、例えば、カメラ９の撮像時におけるシャッター速度、絞り、フォーカス合わせ又は動画としての撮像時におけるフレームレート等をリアルタイムに制御するための制御データを生成する。またＣＰＵ１は、同様に移動情報に基づき、ライト１１の照射機能としての当該ライト１１のオン／オフ、強度、照射範囲及び照射方法をリアルタイムに変更するための制御データを生成する。なおこの時の「照射方法」とは、例えば、上記移動情報により示されるカメラ９の動きが速い場合には、ライト９の照射をパルス間隔が短いパルス照射とする等の照射方法である。その後ＣＰＵ１は、カメラ９の撮像機能を制御するための上記制御データをカメラ９に出力する。カメラ９は、当該制御データにより示される機能を用いて、次回のカレント画像ＧＴの撮像を行う。またＣＰＵ１は、ライト１１の照射機能を制御するための上記制御データに基づき、当該ライト１１のその後の上記照射機能を制御する。なおカメラ９用の上記制御データ及びライト１１用の制御データそれぞれの生成については、上記評価情報により示される評価が向上するようにこれらの制御データを生成することとしてもよい。

次にＣＰＵ１は、ステップＳ７の処理により選択されたカレント画像の画像データを位置合わせ済みカレント画像バッファ３５に記憶させる（ステップＳ９）。更にＣＰＵ１は、ステップＳ５の位置合わせ処理の結果としての変形状態を示す上記座標データを、位置合わせデータバッファ３０に新たに記憶させる（ステップＳ１０）。

次にＣＰＵ１は、位置合わせ処理後のカレント画像の画質が、第１実施形態の画像処理として所望される高画質として十分な解像度を有しているか否かを判定する（ステップＳ１１）。このステップＳ１１の処理においてＣＰＵ１は、例えば、当該高画質に相当する予め設定された目標解像度を示すデータと、撮像対象物全体の大きさを示す予め入力されたサイズデータと、を用いて当該カレント画像の解像度を判定する。この場合、撮像対象物全体を高画質或いは広範囲にデジタル化するためには、目標解像度或いはサイズデータが大きいほど多くのカレント画像を撮像する必要があり、また目標解像度が高いほど各カレント画像に要求される解像度が高いことになる。ここで「カレント画像の解像度が高い」とは、通常は撮像対象物により近くなっていることを意味しており、解像度が高い反面、撮像範囲としては狭くなっている状況である。ステップＳ１１の判定において、位置合わせ処理後のカレント画像の画質が十分な解像度を有していない場合（ステップＳ１１；ＮＯ）、ＣＰＵ１は後述するステップＳ１５の処理に移行する。一方ステップＳ１１の判定において、位置合わせ処理後のカレント画像の画質が十分な解像度を有している場合（ステップＳ１１；ＹＥＳ）、ＣＰＵ１は次に、位置合わせ済みカレント画像バッファ３５内の画像データを合成画像バッファ３２内の画像データに加算する（ステップＳ１２）。このステップＳ１２の処理により、高画質のカレント画像が、それまでに合成されていた合成画像に追加される。これにより、撮像対象物全体に占める合成画像の領域的な割合が拡大されることになる。

次にＣＰＵ１は、ステップＳ５の位置合わせ処理及びステップＳ１２の合成処理に伴い、当該カレント画像に含まれているいずれかの画素に対応する合成画像の各画素に対応するデータ量バッファ３１の値（位置合わせ処理及び合成処理の対象となったカレント画像の数の値）を、当該位置合わせ処理及び合成処理に対応して「１」だけインクリメントする（ステップＳ１３）。

次にＣＰＵ１は、ステップＳ１２の処理後の合成画像において、各画素に対応するデータ量バッファ３１の値が撮像対象物の全ての領域について十分な値であるか否かを判定する（ステップＳ１４）。このステップＳ１４の処理においてＣＰＵ１は、例えば、第１実施形態に係る画像処理の結果としての合成画像において、当該画像処理として所望される高画質或いは広範囲として十分な数のカレント画像が、撮像対象物の全領域に渡って第１実施形態に係る位置合わせ処理及び合成処理の対象となったか否かを、データ量バッファ３１に記憶されている各画素ごとの値に基づいて判定する。ステップＳ１４の判定において十分な値（カレント画像の数）を有している場合（ステップＳ１４；ＹＥＳ）、撮像対象物を高画質或いは広範囲にデジタル化できたことになる。そこでＣＰＵ１は、合成画像バッファ３２に記憶されている合成画像の各画素の画素値を、その時のデータ量バッファ３１に記憶されているその画素に対応する値で除算し（ステップＳ１７）、その結果を図示しないメモリ等に記憶して、第１実施形態に係る画像処理を終了する。このステップＳ１７の処理は、第１実施形態に係る画像処理として最終的に合成された高画質或いは広範囲の合成画像における各画素の画素値を、その画像処理に必要となったカレント画像の数で除する処理であり、例えば爾後に撮像されるカレント画像との一貫性を担保するための処理である。

一方、ステップＳ１４の判定において、ステップＳ１２の処理後の合成画像において十分な数のカレント画像が撮像対象物の全領域に渡って第１実施形態に係る位置合わせ処理及び合成処理の対象となっていない場合（ステップＳ１４；ＮＯ）、ＣＰＵ１は、追加のカレント画像を新たに撮像すべく、現在のカレント画像を構成する各画素に対応する値をデータ量バッファ３１から取得する（ステップＳ１５）。この場合にＣＰＵ１は、既に第１実施形態に係る位置合わせ処理及び合成処理の対象となった画素をカレント画像内で特定すべく、位置合わせデータバッファ３０に記憶されている座標データを取得し、これを用いて上記ステップＳ５に係る非剛体の位置合わせ処理とは逆の処理（逆変換処理）を行う。その後ＣＰＵ１は、ステップＳ１５の処理により取得した各画素に対応する値に対応する色を、第１実施形態に係る案内情報として、カレント画像に重畳してディスプレイ５上に表示させる（ステップＳ１６）。これによりＣＰＵ１は、更なるカレント画像の撮像が必要な撮像対象物内の領域を、携帯者に告知する。その後ＣＰＵ１は、上記ステップＳ４に戻り、新たに撮像されるカレント画像について上記ステップＳ４乃至Ｓ１６の処理を繰り返す。これによりＣＰＵ１は、上記ステップＳ１４の判定結果が「ＹＥＳ」となるまで、新たなカレント画像の撮像と、撮像されたカレント画像に相当する画像データを用いた位置合わせ処理（上記ステップＳ５参照）及びその後の合成処理（上記ステップＳ１１乃至Ｓ１４参照）を実行することを繰り返す。

次に、上述した繰り返し処理の過程において、ステップＳ１６の処理としてディスプレイ５上に表示される画像例を、図３を用いて説明する。

図３において、撮像対象物は、例えば図３（ａ）に例示されるような文字が記載された書面Ｐであるとする。また図３（ｂ）は、ディスプレイ５と、操作部４に属する操作ボタン４Ａ乃至４Ｃと、を備えたスマートフォンＳの正面図である。この書面Ｐを撮像対象物として第１実施形態に係る画像処理が実行される過程では、例えば図３（ｂ）に例示するように、第１実施形態の画像処理として所望される高画質（解像度）の合成画像が合成できている領域（図２ステップＳ１１；ＹＥＳ参照）については、例えば両方向ハッチングが掛かるように表示される（図２ステップＳ１６参照）。一方、所望される高画質に到達していない領域（図２ステップＳ１１；ＮＯ参照）については、それまでの画像処理にて到達している画質（解像度。換言すればデータ量バッファ３１に記憶されている値）に応じて、段階的に異なる状態で表示される（図２ステップＳ１６参照）。例えば図３（ｂ）に例示する場合では、未だカレント画像が撮像されていない領域については元の書面Ｐの当該領域がそのまま表示される。これに対し、高画質に相当する解像度にまで到達していない第１の領域については、例えば右下方向ハッチングが掛かるように表示される。更に、第１の領域よりも更に解像度は低いが、カレント画像が一つ以上撮像されて第１実施形態に係る位置合わせ処理及び合成処理の対象とされている領域（第１実施形態に係る画像処理が開始済みの領域）については、例えば左下方向ハッチングが掛かるように表示される。なお図３（ｂ）において、両方向ハッチングが掛けられている領域を例えば赤色に、右下方向ハッチングが掛けられている領域をオレンジ色に、左下方向ハッチングが掛けられている領域を黄色に、それぞれ色により到達している解像度を区別して表示するように構成してもよい。そして図３（ｂ）に例示されるような表示を見た携帯者は、右下方向ハッチングが掛けられている領域又は左下方向ハッチングが掛けられている領域についてのカレント画像を追加して撮像すべく、スマートフォンＳを移動させて必要なカレント画像を撮像する（二巡目以降の図２ステップＳ４参照）。

次に、上記ステップＳ５に係る非剛体の位置合わせ処理について、具体的に図４乃至図６を用いて説明する。

上記ステップ５に係る位置合わせ処理は、上述したように、カレント画像として撮像された撮像対象物の部分と、全体画像における当該部分と、を比較し、両者が画像として一致するようにカレント画像の位置合わせ（変形）を行う処理である。ここで、図４乃至図６に示す例では、図４（ａ）左に示す全体画像ＧＡを基準画像とし、図４（ａ）右に示すカレント画像ＧＴについて非剛体の位置合わせ処理を行うものとする。なお図４乃至図６に示す例では、カレント画像ＧＴと全体画像ＧＡとの撮像領域は一致している。

ステップＳ５に係る位置合わせ処理として先ずＣＰＵ１は、図４（ｂ）に例示するように、カレント画像ＧＴを所定数に分割する。図４（ｂ）右に例示する場合では、カレント画像ＧＴを四つの分割画像ＧＴａ乃至ＧＴｄに分割しているが、より高画質を得るためには分割数は多いほどよい。次にＣＰＵ１は、図４（ｃ）に例示するように一つの分割画像に着目する。図４（ｃ）に例示する場合、ＣＰＵ１は分割画像ＧＴａに着目している。

次にＣＰＵ１は、図５（ａ）に例示するように、着目している分割画像ＧＴａを全体画像ＧＡに重ねる。なお図５における座標軸は、全体画像ＧＡにおける各分割画像に対応する領域の左上隅と、各分割画像の左上隅と、を原点（０，０）とし、図５において右方向がｘ座標軸の正方向、図５において下方向がｙ座標軸の正方向である。図５（ａ）において分割画像ＧＴａを全体画像ＧＡに最初に重ねる場合、そのオフセットは（０，０）とされる。

その後ＣＰＵ１は、図５（ｂ）に例示するように、全体画像ＧＡ内において、分割画像ＧＴａとその内容が最もよく一致する位置（オフセット）を探索する。なお、画像同士の内容の一致を定量化するためには、例えば相互情報量（Mutual Information）を用いる手法や、対象となる領域（図５（ｂ）に例示する場合は、分割画像ＧＴａの領域）に対する輝度差の総和（ＳＡＤ（Sum of Absolute Difference））を用いる手法などが好適である。図５（ｂ）の例でＣＰＵ１は、当該オフセットとして座標データ（−２，＋３）が得られている。

その後ＣＰＵ１は、図５に例示する分割画像ＧＴａ以外の他の分割画像ＧＴｂ乃至分割画像ＧＴｄについても、同様にその内容が最もよく一致する位置（オフセット）を全体画像ＧＡ内において探索する。図５（ｃ）に例示する場合、分割画像ＧＴａの場合は当該オフセットとして座標データ（−２，＋３）が、分割画像ＧＴｂの場合は当該オフセットとして座標データ（＋２，＋３）が、分割画像ＧＴｃの場合は当該オフセットとして座標データ（＋４，−１）が、分割画像ＧＴｄの場合は当該オフセットとして座標データ（−３，−１）が、それぞれＣＰＵ１により得られている。

以上の一連の処理により、ステップＳ５に係る位置合わせ処理として各分割画像ＧＴａ乃至分割画像ＧＴｄそれぞれの中心点が移動されるべき量が、上記オフセットとして、例えば図５（ｄ）右に例示するようにそれぞれ得られる。なおこの中心点は、一般に「アンカー」と称されることもある。そして、一つのカレント画像ＧＴについて、全てのアンカーが移動されるべき量を加算して集めた座標データが、上記位置合わせデータバッファ３０に逐次記憶される座標データである。

この他、各分割画像ＧＴａ乃至分割画像ＧＴｄそれぞれのアンカーの移動量に基づいたいわゆる内挿法又は外挿法により、図６（ａ）に例示するようにカレント画像ＧＴ全体を変形させるように位置合わせ処理を行うことも可能である。この場合には、カレント画像ＧＴの内容と全体画像ＧＡの内容とを、より一致させることができる。更には、カレント画像ＧＴ全体、或いは分割画像ＧＴａ乃至分割画像ＧＴｄ全体の移動や変形（それらの回転、拡大／縮小又は台形変形等を含む）を用いることもできる。

またＣＰＵ１は、図６（ｂ）乃至図６（ｄ）に例示するように、変形後のカレント画像ＧＴ全体の形状又は位置と、元の全体画像ＧＡ全体の形状又は位置と、を比較することによりスマートフォンＳ全体の動きを推定し、図２ステップＳ６において説明した移動情報を生成する。なおこの移動情報に基づきＣＰＵ１が、次のカレント画像ＧＴの撮像範囲を携帯者に告知するように構成することもできる。またこの際、当該移動情報をも携帯者に告知するように構成してもよい。より具体的に例えば、図６（ｂ）に例示する場合はスマートフォンＳ全体が左下方向へ移動したことがその移動量と共に推定され、また図６（ｃ）に例示する場合はスマートフォンＳ全体が上向きに回転した（首を上に振った）ことがその回転量と共に推定される。更に図６（ｄ）に例示する場合はスマートフォンＳ全体が後方に移動した（撮像対象物から離れた）ことがその移動量と共に推定される。これらのようにＣＰＵ１は、カレント画像ＧＴ撮像時におけるカメラ９の移動状態や移動量等を推定し、それに対応する上記移動情報を生成する（図２ステップＳ６参照）。

以上説明したように、第１実施形態に係る画像処理によれば、カメラ９により連続して撮像された複数の画像に基づいて、撮像対象物との関係におけるカメラ９の動きをＣＰＵ１が推定し、その推定された動きに基づいて動きの前後に対応する画像の画質（品質）を評価するので（図２ステップＳ７参照）、スマートフォンＳに特別なハードウェアを追加することなく、各フレーム画像の品質を評価することができる。また、連続撮像に対応してカメラ９の動きをＣＰＵ１が推定し、その結果を用いて画質を評価するので（図２ステップＳ７参照）、スマートフォンＳの動きを見失うことなく、各画像の画質評価を連続して安定的に行うことができる。

従って、携帯者が携行するスマートフォンＳ以外の装置を別途用いることなく、画像の評価を行うことができる。即ち、スマートフォンＳ以外に画像等のデータが記録されることがないので、いつでも誰でもどこででも、個人ならそのプライバシーを、仕事なら関連する情報のセキュリティを、それぞれ最高レベルで確保しながら、手間を取らずに簡単に画質の評価を行って、それを例えば高画質或いは広範囲の画像の合成等に用いることができる。これは、今までの装置等にはなかった、画期的な価値である。

更に、携帯されたスマートフォンＳの移動に伴って連続して撮像された複数の画像同士の位置合わせを連続撮像に対応してＣＰＵ１が逐次行い、位置合わせされた各画像及び移動情報に基づいてカメラ９の動きを推定するので（図２参照）、カメラ９を備えるスマートフォンＳに特別なハードウェアを追加することなく、各フレーム画像の品質をより正確に評価することができる。

更にまた、画質評価の結果又は移動情報の少なくともいずれか一方に基づき、画像の連続撮像に対応してカメラ９の撮像機能をＣＰＵ１が逐次制御するので（図２ステップＳ８参照）、カメラ９を備えるスマートフォンＳに特別なハードウェアを追加することなく、カメラ９の動きに応じて撮像機能をタイミング良く適切に制御することができる。

また、カメラ９におけるシャッタースピード、絞り又はフォーカス合わせ或いはライト１１による照度の少なくともいずれか一つが、画質評価の結果又は移動情報の少なくともいずれか一方に基づいてＣＰＵ１により制御されるので（図２ステップＳ８参照）、カメラ９の動きに応じてより適切にカメラ９の各機能及びライト１１を制御することができる。

更に、複数の画像を用いて非剛体の位置合わせ処理をＣＰＵ１が逐次行うので（図２ステップＳ５参照）、一般的な画像歪みを非線形位置合わせ処理により補正することで、汎用性が高い画質評価を行うことができる。

更にまた、位置合わせされた各画像と、画質の評価結果と、を用いて、カレント画像ＧＴ等よりも高画質或いは広範囲の合成画像を合成するので（図２ステップＳ１２参照）、撮像対象物に対応する高画質或いは広範囲の合成画像を簡易に合成することができる。

また、カレント画像ＧＴの連続撮像に対応して画質評価を逐次行い、その結果をその都度携帯者に告知する場合には、画質向上のためのカメラ９に対する諸操作を、スマートフォンＳの使用者に的確に促すことができる。

更にまた、画質評価が画像の連続撮像に対応して逐次行われ、その評価結果に基づいてカメラ９のフォーカス、シャッター速度、絞り又は動画撮像時のフレームレートの少なくともいずれか一つを逐次制御するので（図２ステップＳ８参照）、高画質の画像を撮像することができる。
（II）第２実施形態
次に、本発明に係る他の実施形態である第２実施形態について、図７を用いて説明する。なお図７は、第２実施形態に係る画像処理を示すフローチャートであり、図２に示す第１実施形態に係る画像処理と同一の処理については同一のステップ番号を付して、細部の説明は省略する。また第２実施形態に係るスマートフォンのハードウェア的な構成は、基本的には第１実施形態に係るスマートフォンＳと同一である。よって以下の説明では、第１実施形態に係るスマートフォンＳと同一の部材番号を用いて第２実施形態に係るスマートフォンを説明する。

上述した第１実施形態に係る画像処理においては、カレント画像ＧＴの画質評価（図２ステップＳ７参照）並びにカメラ９用の制御データ及びライト１１用の制御データそれぞれの生成（図２ステップＳ８参照）を、カレント画像ＧＴ撮像時におけるカメラ９の移動情報を用いて行っていた（図２ステップＳ６参照）。これに対して以下に説明する第２実施形態に係る画像処理では、当該画質評価及び当該制御データの生成を、位置合わせ処理の対象となった画像同士の差分を示す差分情報を用いて行う。

即ち図７に示すように、第２実施形態に係る画像処理においてＣＰＵ１は、当該画像処理に係る上記位置合わせ処理及び合成処理として、第１実施形態に係る画像処理と同様のステップＳ１乃至ステップＳ５の処理を実行する。

次にＣＰＵ１は、ステップＳ５の位置合わせ処理の対象となった画像同士の差分を算出し、その差分を示す差分情報を生成する（ステップＳ２０）。この差分情報とは、例えば、当該位置合わせ処理の対象となった画像データにおける各画素の輝度値の差分の絶対値の、当該画像データの画素全てに渡る総和を示す情報として生成される。

当該差分情報が生成されたら、次にＣＰＵ１は、当該差分情報に基づいて、その時のカレント画像の画質を評価する。そしてＣＰＵ１は、その評価結果に基づいて以降の合成処理等に用いる画像データを選択する（ステップＳ２１）。具体的にＣＰＵ１は、上記差分情報に基づき、例えば、当該差分情報により示される差分が上記手ぶれと判断される予め設定された差分以上であった場合は、そのカレント画像の画質は以降の合成処理に用い得るだけの画質ではないと評価する。そしてＣＰＵ１は、そのように判断した画像データを選択対象から除外する。なお上記予め設定された差分とは、ステップＳ５の位置合わせ処理の対象となった画像同士が、例えばカレント画像の画素数に対して予め設定された数パーセントに当たる数の画素以上ずれていた場合、当該差分が上記手ぶれと判断する。

一方、上記ステップＳ２１の処理と並行してＣＰＵ１は、上記ステップＳ２０の処理により生成された差分情報に基づいて、第１実施形態と同様のカメラ９用の制御データを生成する（ステップＳ２２）。またＣＰＵ１は、同様に差分情報に基づき、第１実施形態と同様のライト１１用の制御データを生成する。その後ＣＰＵ１は、カメラ９用の上記制御データをカメラ９に出力する。カメラ９は、当該制御データにより示される機能を用いて、次回のカレント画像ＧＴの撮像を行う。またＣＰＵ１は、ライト１１用の上記制御データに基づき、当該ライト１１のその後の上記照射機能を制御する。

これ以降ＣＰＵ１は、第２実施形態に係る画像処理として、第１実施形態に係る画像処理と同様のステップＳ９乃至ステップＳ１７の処理を実行する。

以上説明したように、第２実施形態に係る画像処理によれば、その独自の作用効果として、連続して撮像された複数の画像同士の差分を示す差分情報に更に基づいてカメラ９の動きをＣＰＵ１が推定し、画質の評価結果に基づいて抽出された二以上の画像に基づいて各画像よりも高画質或いは広範囲の合成画像を合成する（図７ステップＳ１２参照）。また、連続して撮像された複数の画像同士の位置合わせを連続撮像に対応してＣＰＵ１が逐次行い、位置合わせされた各画像同士の差分情報に基づいて画質評価を行う（図７ステップＳ７参照）。よって、カメラ９を備えるスマートフォンＳに特別なハードウェアを追加することなく、撮像対象物に対応したより高画質或いは広範囲の合成画像を合成し、また、各画像の品質を評価することができる。

更に、連続撮像に対応して位置合わせを逐次行い、その結果を用いて画質評価を行うので、スマートフォンＳの動きを見失うことなく、各画像の画質評価を連続して安定的に行うことができる。

更にまた、位置合わせされた各画像及び移動情報に基づいてカメラ９の動きを推定し、その推定された動きと、差分情報と、に基づいて画質評価を行うので、各画像の画質をより正確に評価することができる。
（III）変形形態
なお、本発明は、上述してきた各実施形態以外にも様々な応用が可能である。

先ず第一の変形形態として、各実施形態に係る画質評価を、画像の連続撮像に対応して逐次行い、その結果に基づいて、例えば評価された画質が予め設定されている閾値以上の画質であった場合に自動的にカメラ９のシャッターをＣＰＵ１が切るように構成することもできる。この第一の変形形態によれば、画質評価が画像の連続撮像に対応して逐次行われ、その評価結果に基づいて撮像が自動的に行われるので、高画質の画像を撮像することができる。また、特に各実施形態に係るスマートフォンＳのように携帯可能な情報処理装置においてカメラ９により静止画等を撮像する場合、シャッターを切る操作により手ぶれが生じる可能性が高いが、第一の変形形態では、このような場合でも高画質の撮像が可能となる。このような機能は、スマートフォンＳだけでなく、携帯可能な情報処理装置による撮像において特に有効である。

次に第二の変形形態として、カメラ９に動画撮像機能と静止画撮像機能とを備えさせ、動画撮像機能により連続して撮像された複数の画像に基づいてカメラ９の動きをＣＰＵ１が推定し、更に推定された動きに基づく画質評価を当該連続撮像に対応してＣＰＵ１が逐次行うように構成することもできる。そして画質評価の結果に基づいて、静止画撮像機能による静止画の撮像をＣＰＵ１が行わせる（自動で静止画撮像のシャッターを切らせる）ように構成することもできる。この第二の変形形態によれば、より高画質の静止画像を撮像することができる。

更に第三の変形形態として、上記各実施形態に係るスマートフォンＳと、これを撮像対象物に対して予め設定された位置に保持する保持具であって携帯可能な保持具（例えば厚紙制の折り畳み式スタンド等）とを組み合わせ、当該保持具に各実施形態に係るスマートフォンＳを載置して各実施形態に係る撮像を行うように構成することもできる。この場合には、携帯可能なスマートフォンＳを撮像対象物に対して保持する携帯可能なスタンド等を含むので、より簡便に各フレーム画像の品質を評価して高画質或いは広範囲の合成画像を合成することができる。

なお、図２又は図７に示すフローチャートに対応するプログラムを、インターネット等のネットワークを介して取得し、或いは光ディスク等の情報記録媒体に記録されているものを取得して、例えば汎用のマイクロコンピュータによりこれを読み出して実行するように構成することもできる。この場合のマイクロコンピュータは、各実施形態に係るＣＰＵ１と同様の処理を実行することになる。

以上夫々説明したように、本発明は情報処理装置の分野に利用することが可能であり、特に画像処理用の情報処理装置の分野に適用すれば特に顕著な効果が得られる。また上述したように、いつでも誰でもどこででも、個人のプライバシー等を最高レベルで確保しながら、手間を取らずに簡単に画質の評価を行って、それを例えば高画質或いは広範囲の画像の合成等に用いることができるといった、今までの装置等にはなかった画期的な価値が得られる。

１ ＣＰＵ
２ ＲＯＭ
３ ＲＡＭ
４ 操作部
５ ディスプレイ
６ 通話制御部
７ スピーカ
８ マイク
９ カメラ
１０ 通信インターフェース
１１ カメラ
３０ 位置合わせデータバッファ
３１ データ量バッファ
３２ 合成画像バッファ
３３ 広域画像バッファ
３４ カレント画像バッファ
３５ 位置合わせ済みカレント画像バッファ
４Ａ、４Ｂ、４Ｃ 操作ボタン
Ｓ スマートフォン
ＡＮＴ アンテナ
ＧＡ 全体画像
ＧＴ カレント画像
ＧＴａ、ＧＴｂ、ＧＴｃ、ＧＴｄ 分割画像

Claims (24)

1. 撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力する撮像手段と、
   前記撮像手段により連続して撮像された複数の前記フレーム画像にそれぞれ対応するフレーム画像情報に基づいて、前記撮像対象物との関係における前記撮像手段の動きを推定する推定手段と、
   前記推定された動きに基づいて、当該動きの前後に対応する前記フレーム画像の品質を示す品質情報を生成する品質情報生成手段と、
   を備えることを特徴とする情報処理装置。
2. 請求項１に記載の情報処理装置において、
   前記推定手段は、前記撮像対象物に対して予め設定された位置に保持されている撮像手段により連続して撮像された複数の前記フレーム画像同士の差分を示す差分情報に更に基づいて前記動きを推定し、
   前記生成された品質情報に基づいて、複数の前記フレーム画像から二以上の前記フレーム画像を抽出する抽出手段と、
   抽出されたフレーム画像にそれぞれ相当する前記フレーム画像情報に基づいて、前記撮像対象物に対応する合成画像であって前記撮像手段により撮像された各前記フレーム画像よりも高画質或いは広範囲の合成画像を合成する合成手段と、
   を更に備えることを特徴とする情報処理装置。
3. 請求項２に記載の情報処理装置において、
   当該情報処理装置が携帯可能であることを特徴とする情報処理装置。
4. 請求項１に記載の情報処理装置において、
   前記連続して撮像された複数の前記フレーム画像同士の位置合わせを行う位置合わせ処理を、当該各フレーム画像に相当する複数の前記フレーム画像情報を用いて、前記フレーム画像の連続撮像に対応して逐次行う位置合わせ手段を更に備え、
   前記推定手段は、位置合わせされた各前記フレーム画像にそれぞれ相当するフレーム画像情報及び前記位置合わせ処理に用いられた位置合わせ情報に基づいて、前記撮像対象物との関係における前記撮像手段の動きを推定することを特徴とする情報処理装置。
5. 請求項１から請求項４のいずれか一項に記載の情報処理装置において、
   前記生成された品質情報又は前記推定された動きの少なくともいずれか一方に基づいて、前記撮像手段における当該撮像に係る機能を、前記フレーム画像の連続撮像に対応して逐次制御する制御手段を備えることを特徴とする情報処理装置。
6. 請求項５に記載の情報処理装置において、
   前記機能は、前記撮像手段におけるシャッタースピード、絞り、フォーカス合わせ又は撮像時における照度の少なくともいずれか一つであることを特徴とする情報処理装置。
7. 撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力する撮像手段と、
   前記撮像手段により連続して撮像された複数の前記フレーム画像同士の位置合わせを行う位置合わせ処理を、当該各フレーム画像に相当し且つ前記撮像手段からそれぞれ出力された複数の前記フレーム画像情報を用いて、前記フレーム画像の連続撮像に対応して逐次行う位置合わせ手段と、
   位置合わせされた各前記フレーム画像同士の差分を示す差分情報を生成する差分情報生成手段と、
   前記生成された差分情報に基づいて、当該差分情報の生成に用いられた前記フレーム画像の品質を示す品質情報を生成する品質情報生成手段と、
   を備えることを特徴とする情報処理装置。
8. 請求項７に記載の情報処理装置において、
   位置合わせされた各前記フレーム画像にそれぞれ相当するフレーム画像情報及び前記位置合わせ処理に用いられた位置合わせ情報に基づいて、前記撮像対象物との関係における前記撮像手段の動きを推定する推定手段を更に備え、
   前記品質情報生成手段は、前記生成された差分情報と、前記推定された動きと、に基づいて、当該差分情報の生成に用いられた前記フレーム画像の品質を示す品質情報を生成することを特徴とする情報処理装置。
9. 請求項４、請求項７又は請求項８のいずれか一項に記載の情報処理装置において、
   前記位置合わせ手段は、それぞれ出力された複数の前記フレーム画像情報を用いて、非線形の前記位置合わせ処理を逐次行うことを特徴とする情報処理装置。
10. 請求項４又は請求項７から請求項９のいずれか一項に記載の情報処理装置において、
    位置合わせされた各前記フレーム画像にそれぞれ相当するフレーム画像情報と、前記生成された品質情報と、を用いて、前記撮像対象物に対応する合成画像であって前記撮像手段により撮像された各前記フレーム画像よりも高画質或いは広範囲の合成画像を合成する合成手段を更に備えることを特徴とする情報処理装置。
11. 請求項１から請求項１０のいずれか一項に記載の情報処理装置において、
    前記品質情報生成手段は、前記品質情報の生成を、前記フレーム画像の連続撮像に対応して逐次行い、
    前記生成された品質情報を当該生成の都度告知する告知手段を更に備えることを特徴とする情報処理装置。
12. 請求項１から請求項１０のいずれか一項に記載の情報処理装置において、
    前記品質情報生成手段は、前記品質情報の生成を、前記フレーム画像の連続撮像に対応して逐次行い、
    前記生成された品質情報に基づいて、前記撮像手段における撮像を行わせる撮像制御手段を更に備えることを特徴とする情報処理装置。
13. 請求項１２に記載の情報処理装置において、
    前記撮像手段は、
    複数の前記フレーム画像を動画として連続撮像する動画撮像手段と、
    前記フレーム画像を静止画として撮像する静止画撮像手段と、
    により構成されており、
    前記推定手段は、前記動画撮像手段により連続して撮像された複数の前記フレーム画像にそれぞれ対応する前記フレーム画像情報に基づいて前記動きを推定し、
    前記品質情報生成手段は、前記推定された動きに基づく前記品質情報の生成を、前記動画撮像手段による連続撮像に対応して逐次行い、
    前記撮像制御手段は、前記生成された品質情報に基づいて、前記静止画撮像手段における撮像を行わせることを特徴とする情報処理装置。
14. 請求項１から請求項１０のいずれか一項に記載の情報処理装置において、
    前記品質情報生成手段は、前記品質情報の生成を、前記フレーム画像の連続撮像に対応して逐次行い、
    前記生成された品質情報に基づいて、前記撮像手段におけるフォーカスを逐次制御するフォーカス制御手段を更に備えることを特徴とする情報処理装置。
15. 請求項１から請求項１０のいずれか一項に記載の情報処理装置において、
    前記品質情報生成手段は、前記品質情報の生成を、前記フレーム画像の連続撮像に対応して逐次行い、
    前記生成された品質情報に基づいて、前記撮像手段におけるシャッタ−速度を逐次制御するシャッタ−速度制御手段を更に備えることを特徴とする情報処理装置。
16. 請求項１から請求項１０のいずれか一項に記載の情報処理装置において、
    前記品質情報生成手段は、前記品質情報の生成を、前記フレーム画像の連続撮像に対応して逐次行い、
    前記生成された品質情報に基づいて、前記撮像手段における絞りを逐次制御する絞り制御手段を更に備えることを特徴とする情報処理装置。
17. 請求項１から請求項１０のいずれか一項に記載の情報処理装置において、
    前記品質情報生成手段は、前記品質情報の生成を、前記フレーム画像の連続撮像に対応して逐次行い、
    前記生成された品質情報に基づいて、動画を撮像する前記撮像手段におけるフレームレートを逐次制御するレート制御手段を更に備えることを特徴とする情報処理装置。
18. 請求項１から請求項１７のいずれか一項に記載の情報処理装置を含む撮像システムであって、
    前記情報処理装置が携帯可能な情報処理装置であり、
    当該情報処理装置を前記撮像対象物に対して予め設定された位置に保持する保持具であって携帯可能な保持具を含むことを特徴とする撮像システム。
19. 撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力する撮像手段を備える情報処理装置において実行される情報処理方法において、
    前記撮像手段により連続して撮像された複数の前記フレーム画像にそれぞれ対応するフレーム画像情報に基づいて、前記撮像対象物との関係における前記撮像手段の動きを推定する推定工程と、
    前記推定された動きに基づいて、当該動きの前後に対応する前記フレーム画像の品質を示す品質情報を生成する品質情報生成工程と、
    を含むことを特徴とする情報処理方法。
20. 撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力する撮像手段を備える情報処理方法において、
    前記撮像手段により連続して撮像された複数の前記フレーム画像同士の位置合わせを行う位置合わせ処理を、当該各フレーム画像に相当し且つ前記撮像手段からそれぞれ出力された複数の前記フレーム画像情報を用いて、前記フレーム画像の連続撮像に対応して逐次行う位置合わせ工程と、
    位置合わせされた各前記フレーム画像同士の差分を示す差分情報を生成する差分情報生成工程と、
    前記生成された差分情報に基づいて、当該差分情報の生成に用いられた前記フレーム画像の品質を示す品質情報を生成する品質情報生成工程と、
    を含むことを特徴とする情報処理方法。
21. 撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力する撮像手段を備える情報処理装置に含まれるコンピュータを、
    前記撮像手段により連続して撮像された複数の前記フレーム画像にそれぞれ対応するフレーム画像情報に基づいて、前記撮像対象物との関係における前記撮像手段の動きを推定する推定手段、及び、
    前記推定された動きに基づいて、当該動きの前後に対応する前記フレーム画像の品質を示す品質情報を生成する品質情報生成手段、
    として機能させることを特徴とする情報処理用プログラム。
22. 撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力する撮像手段を備える情報処理装置にコンピュータを、
    前記撮像手段により連続して撮像された複数の前記フレーム画像同士の位置合わせを行う位置合わせ処理を、当該各フレーム画像に相当し且つ前記撮像手段からそれぞれ出力された複数の前記フレーム画像情報を用いて、前記フレーム画像の連続撮像に対応して逐次行う位置合わせ手段、
    位置合わせされた各前記フレーム画像同士の差分を示す差分情報を生成する差分情報生成手段、及び、
    前記生成された差分情報に基づいて、当該差分情報の生成に用いられた前記フレーム画像の品質を示す品質情報を生成する品質情報生成手段、
    として機能させることを特徴とする情報処理用プログラム。
23. 撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力する撮像手段を備える情報処理装置に含まれるコンピュータを、
    前記撮像手段により連続して撮像された複数の前記フレーム画像にそれぞれ対応するフレーム画像情報に基づいて、前記撮像対象物との関係における前記撮像手段の動きを推定する推定手段、及び、
    前記推定された動きに基づいて、当該動きの前後に対応する前記フレーム画像の品質を示す品質情報を生成する品質情報生成手段、
    として機能させる情報処理用プログラムが前記コンピュータにより読み取り可能に記録されていることを特徴とする情報記録媒体。
24. 撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力する撮像手段を備える情報処理装置にコンピュータを、
    前記撮像手段により連続して撮像された複数の前記フレーム画像同士の位置合わせを行う位置合わせ処理を、当該各フレーム画像に相当し且つ前記撮像手段からそれぞれ出力された複数の前記フレーム画像情報を用いて、前記フレーム画像の連続撮像に対応して逐次行う位置合わせ手段、
    位置合わせされた各前記フレーム画像同士の差分を示す差分情報を生成する差分情報生成手段、及び、
    前記生成された差分情報に基づいて、当該差分情報の生成に用いられた前記フレーム画像の品質を示す品質情報を生成する品質情報生成手段、
    として機能させる情報処理用プログラムが前記コンピュータにより読み取り可能に記録されていることを特徴とする情報記録媒体。