JP6221465B2 - 情報処理装置、及びプログラム - Google Patents

Description

本発明は、情報処理装置、及びプログラムに関する。

携帯電話やスマートフォンなどの携帯端末にはカメラが搭載されており、携帯端末を利用して気軽に撮影を行うことができる。イベント会場や観光地などでは、デジタルスチルカメラの代わりに携帯端末を利用して記念撮影を行う人を多く見かける。また、ＱＲコード（登録商標）の読み取りやテレビ電話などに携帯端末のカメラが利用されることもある。その他にも、携帯端末のカメラをより有効に活用するために様々なアプリケーションプログラムが開発されている。

例えば、３軸加速度センサを利用して表示画面に垂直な方向への携帯端末の移動を検知し、カメラで撮像している画像の表示サイズを移動量に応じて変更する第１の方法が提案されている。第１の方法によれば「虫眼鏡」を動かしているような自然な感覚で画像の表示サイズを変更することが可能になる。また、カメラで撮像した印刷物の画像から位置データを取得し、予め用意した画像と印刷物の画像とを位置合わせして重ねたマルチメディアコンテンツを表示する第２の方法が提案されている。

特開２００５− ２５１７０号公報 特開２００２−２５９９９１号公報

携帯端末を携行している機会は多い。そのため、上記第１の方法を適用すれば、細かな文字が記載された印刷物を読みたい場合や地図の細部を確認したい場合に、身近にある携帯端末を利用して容易に所望の情報を得ることができると考えられる。但し、上記第１の方法のようにカメラが撮像している画像を表示する方法では、携帯端末を撮影対象に近づけ過ぎると鮮明な画像が得られなくなる。例えば、レンズの最短撮影距離よりも携帯端末が撮影対象に近づくとピントが合わなくなる。さらに、撮影対象と携帯端末の影とが重なると露光量が不足する。

また、上記第２の方法のように予め用意した撮影対象の画像をカメラが撮像した画像と位置合わせして表示すれば携帯端末と撮影対象との間の距離にかかわらず好適な画像を表示することができる。但し、上記第２の方法のような位置合わせ処理は演算負荷が高い。そのため、携帯端末が移動する度に位置合わせの処理が実行されると、他の処理が遅延する原因やバッテリ消費が増大する原因となる。そこで、１つの側面によれば、本発明の目的は、表示処理の負荷を低減することが可能な情報処理装置、及びプログラムを提供することにある。

本開示の１つの側面によれば、対象物を撮像する撮像部と、画像を記憶する記憶部と、撮像部により撮像されている対象物の画像をリアルタイムで画面に表示し、少なくとも１枚の画像を記憶部に記憶させ、設定した条件を満たした場合には記憶部が記憶している画像を読み出し、読み出した画像から現時点の撮像範囲に対応する部分画像を抽出して画面の表示を部分画像に切り替える制御部とを有する、情報処理装置が提供される。

また、本開示の他の１つの側面によれば、カメラ、メモリ、及びプロセッサを有するコンピュータのプロセッサに、カメラにより撮像されている対象物の画像をリアルタイムで画面に表示し、少なくとも１枚の画像をメモリに記憶させ、設定した条件を満たした場合にはメモリが記憶している画像を読み出し、読み出した画像から現時点の撮像範囲に対応する部分画像を抽出して画面の表示を部分画像に切り替える処理を実行させる、プログラムが提供される。

以上説明したように本発明によれば、表示処理の負荷を低減することが可能になる。

第１実施形態に係る情報処理装置の一例を示した図である。 第２実施形態に係る情報処理装置による表示方法の一例を示した第１の図である。 第２実施形態に係る情報処理装置による表示方法の一例を示した第２の図である。 第２実施形態に係る情報処理装置が有する機能を実現可能なハードウェアの一例を示した図である。 第２実施形態に係る情報処理装置の機能について説明するための第１のブロック図である。 第２実施形態に係る情報処理装置の機能について説明するための第２のブロック図である。 第２実施形態に係る情報処理装置の機能について説明するための第３のブロック図である。 第２実施形態に係る情報処理装置が有する画像保持機能について説明するための図である。 第２実施形態に係る情報処理装置が有する切り替え判定機能（静止判定）について説明するための図である。 第２実施形態に係る情報処理装置が有する領域計算機能について説明するための図である。 第２実施形態に係る情報処理装置が実行する表示処理の流れを示したフロー図である。 第２実施形態に係る情報処理装置が実行する切り替え判定処理の流れを示したフロー図である。 第２実施形態の一変形例（変形例＃１）に係る情報処理装置が有する切り替え判定機能について説明するための第１の図である。 第２実施形態の一変形例（変形例＃１）に係る情報処理装置が有する切り替え判定機能について説明するための第２の図である。 第２実施形態の一変形例（変形例＃１）に係る情報処理装置が実行する切り替え判定処理の流れを示したフロー図である。 第２実施形態の一変形例（変形例＃２）に係る情報処理装置が有する切り替え判定機能について説明するための図である。 第２実施形態の一変形例（変形例＃２）に係る情報処理装置が実行する切り替え判定処理の流れを示したフロー図である。 第２実施形態の一変形例（変形例＃３）に係る情報処理装置が有する切り替え判定機能について説明するための図である。 第２実施形態の一変形例（変形例＃３）に係る情報処理装置が実行する切り替え判定処理の流れを示したフロー図である。 第２実施形態の一変形例（変形例＃４）に係る情報処理装置が実行する切り替え判定処理の流れを示したフロー図である。 第２実施形態の一変形例（変形例＃５）に係る情報処理装置が有する撮像画像の記録機能について説明するための第１の図である。 第２実施形態の一変形例（変形例＃５）に係る情報処理装置が有する撮像画像の記録機能について説明するための第２の図である。 第２実施形態の一変形例（変形例＃５）に係る情報処理装置が有する撮像画像の記録機能について説明するための第３の図である。 第２実施形態の一変形例（変形例＃５）に係る情報処理装置が実行する表示処理の流れを示したフロー図である。 第２実施形態の一変形例（変形例＃５）に係る情報処理装置が実行する撮像画像の記録処理の流れを示したフロー図である。 第２実施形態の一変形例（変形例＃６）に係る情報処理装置が有する撮像画像の記録機能について説明するための第１の図である。 第２実施形態の一変形例（変形例＃６）に係る情報処理装置が有する撮像画像の記録機能について説明するための第２の図である。 第２実施形態の一変形例（変形例＃６）に係る情報処理装置が実行する撮像画像の記録処理の流れを示したフロー図である。

以下に添付図面を参照しながら、本発明の実施形態について説明する。なお、本明細書及び図面において実質的に同一の機能を有する要素については、同一の符号を付することにより重複説明を省略する場合がある。

＜１．第１実施形態＞
図１を参照しながら、第１実施形態について説明する。図１は、第１実施形態に係る情報処理装置の一例を示した図である。

図１に示すように、情報処理装置１０は、撮像部１１、記憶部１２、表示部１３、及び制御部１４を有する。
なお、撮像部１１は、例えば、レンズなどの光学系、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの撮像素子、ＡＤ変換器（Analog-to-Digital Converter）、及び信号処理回路などを含むデバイスである。

記憶部１２は、例えば、ＲＡＭ（Random Access Memory）などの揮発性記憶装置、又はＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの不揮発性記憶装置である。
表示部１３は、例えば、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、又はＥＬＤ（Electro-Luminescence Display）などのディスプレイデバイスである。

制御部１４は、例えば、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）などのプロセッサである。制御部１４は、ＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field Programmable Gate Array）などのプロセッサ以外の電子回路であってもよい。制御部１４は、例えば、記憶部１２や他のメモリに記憶されたプログラムを実行する。

撮像部１１は、対象物２１を撮像する。対象物２１としては、例えば、文字や写真が掲載された印刷物や地図などがある。記憶部１２は、画像を記憶する。但し、記憶部１２は、画像以外の情報を記憶してもよい。表示部１３は、画像が表示される画面を有する。例えば、表示部１３の画面には、撮像部１１が撮像している画像が表示される。また、表示部１３の画面には、記憶部１２に記憶されていた画像が表示される。

制御部１４は、撮像部１１により撮像されている対象物２１の画像をリアルタイムで画面に表示する。また、制御部１４は、少なくとも１枚の画像２３ｂを記憶部１２に記憶させる。例えば、ユーザが行った撮像操作に応じて、制御部１４は、画像２３ｂを記憶部１２に記憶させる。なお、記憶部１２に画像２３ｂを記憶させるタイミングは、情報処理装置１０の加速度変化に応じて自動的に決定されてもよいし、複数の撮像画像の関係に基づいて自動的に決定されてもよい。

図１の例では、情報処理装置１０が位置Ａから位置Ｂへと移動し、情報処理装置１０と対象物２１との間の距離がＤ２（Ｄ２＜Ｄ１）となる。情報処理装置１０が対象物２１に近づくと対象物２１上に情報処理装置１０の影２４が重なり、撮像部１１により撮像される画像２３ａは暗くなる。また、距離Ｄ２が十分に短いと（例えば、最短撮影距離よりも短いと）ピントが合わなくなり、撮像部１１により撮像される画像２３ａはぼける。

設定した条件を満たした場合、制御部１４は、記憶部１２が記憶している画像２３ｂを読み出す。例えば、撮像部１１により撮像される画像が暗くなる場合やピントが合わなくなる場合が上記の条件として設定される。設定した条件を満たしたか否かの判定方法としては、例えば、撮像部１１により撮像される画像の変化を利用して行う方法などが考えられる。なお、情報処理装置１０に加速度センサが搭載されている場合には、情報処理装置１０の加速度変化が、設定した時間、設定した閾値を下回る状態が継続された場合を上記の条件として設定することもできる。

制御部１４は、読み出した画像２３ｂから現時点の撮像範囲２２に対応する画像の一部（以下、部分画像）を抽出し、画面の表示を部分画像に切り替える。図１の例では、情報処理装置１０と対象物２１との間の距離がＤ２の場合、現時点で撮像されている画像２３ａには明度不足やぼけが生じている。しかし、読み出した画像２３ｂの部分画像が画面に表示されるため、表示部１３には、明度不足やぼけの少ない好適な画像が表示される。

図１に示した例のように、画面の表示を部分画像に切り替えた後は、情報処理装置１０と対象物２１とが接触した状態（情報処理装置１０が位置Ｃの状態）でも表示部１３には好適な画像が表示される。

上記のように、設定した条件を満たす前は、撮像部１１により撮像されている画像が表示部１３に表示されるため、画像の位置合わせ処理をせずに好適な画像の表示が実現される。一方、設定した条件を満たした後は、記憶部１２に記憶されている画像の部分画像が表示部１３に表示されるため、好適な画像表示が維持される。従って、情報処理装置１０によれば撮影距離によらず好適な画像表示が得られる。また、設定した条件を満たす前の状態では部分画像を利用しないため、少なくとも部分画像の位置合わせ処理を行わずに済む分だけ演算負荷を抑制することができる。

以上、第１実施形態について説明した。
＜２．第２実施形態＞
次に、第２実施形態について説明する。

［２−１．表示方法］
まず、図２及び図３を参照しながら、第２実施形態に係る情報処理装置１００による表示方法について説明する。図２は、第２実施形態に係る情報処理装置による表示方法の一例を示した第１の図である。図３は、第２実施形態に係る情報処理装置による表示方法の一例を示した第２の図である。

図２に示すように、情報処理装置１００は、対象物Ｍを撮像し、撮像画像を画面上に表示する機能を有する。例えば、位置Ａ１にある場合、情報処理装置１００は、筐体が透けて対象物Ｍが見えているかのように、位置Ａ１で撮像している対象物Ｍの撮像画像を画面上に表示する。以下では、このような表示方法を透過表示と呼ぶ場合がある。透過表示は、情報処理装置１００が撮像した撮像画像をリアルタイムで画面上に表示することにより実現できる。例えば、位置Ａ２に移動した情報処理装置１００は、位置Ａ２で撮像した撮像画像をリアルタイムで画面上に表示する。

また、情報処理装置１００は、ユーザが拡大操作や縮小操作を行った場合に、操作内容に応じて画面上に表示される撮像画像の表示サイズを変更する。例えば、情報処理装置１００は、画像処理により撮像画像を拡大し、拡大した撮像画像の一部を画面上に表示する。なお、情報処理装置１００にズームレンズが搭載されている場合には、ズームレンズの焦点距離をテレ端側へと駆動して撮像した撮像画像の一部を画面上に表示する仕組みにすることもできる。但し、以下の説明では簡単のために、単焦点レンズが搭載された情報処理装置１００を考える。また、撮像画像の一部を部分画像と呼ぶ場合がある。

透過表示を実現する方法としては、上記のように撮像画像をそのまま画面上に表示する方法の他、対象物Ｍの画像を１枚用意しておき、その画像から情報処理装置１００の位置に応じた対象物Ｍの撮像範囲を切り出して画面上に表示する方法が考えられる。例えば、位置Ａ１にある情報処理装置１００は、位置Ａ１における撮像範囲を計算し、予め用意しておいた対象物Ｍの画像（以下、保持画像）の中から撮像範囲に対応する領域（以下、対象領域）を検出する。対象領域の検出は、例えば、実際の撮像画像と保持画像とのパターンマッチングを行うことで実現できる。

位置Ａ１において情報処理装置１００は、保持画像から対象領域を切り出して画面上に表示する。また、情報処理装置１００が位置Ａ１から位置Ａ２に移動した場合、情報処理装置１００は、位置Ａ２において対象領域を計算し、計算した対象領域を保持画像から切り出して画面上に表示する。つまり、この方法では情報処理装置１００の位置が変化する度にパターンマッチングによる対象領域の計算が発生する。対象物Ｍと平行なＸ−Ｙ平面内で情報処理装置１００が移動した場合の他、Ｘ−Ｙ面に対して情報処理装置１００が傾いた場合も、同様の計算が発生する。

対象物Ｍと情報処理装置１００との間の距離が大きければ大きいほど、情報処理装置１００の姿勢変化や位置変化が画像の見え方に与える影響が大きくなるため、対象領域を計算する演算の負荷は増大する。このような演算負荷の増大を抑制するため、情報処理装置１００は、図３に示すように、対象物Ｍと情報処理装置１００との間の位置関係に応じて透過表示の仕組みを切り替える。

図３には、情報処理装置１００が位置Ｂ１、Ｂ２、Ｂ３の順に移動する様子が例示されている。位置Ｂ１にある情報処理装置１００と対象物Ｍとの間の距離Ｄ１は大きい。位置Ｂ２にある情報処理装置１００と対象物Ｍとの間の距離Ｄ２はＤ１より小さい。そして、位置Ｂ３にある情報処理装置１００は対象物Ｍ上に置かれている。つまり、図３の例では、対象物Ｍに近づく方向（Ｚ方向）へと情報処理装置１００が移動する様子が示されている。

上記のように、対象物Ｍと情報処理装置１００との間の距離は対象領域の計算時にかかる演算負荷に影響する。そのため、対象物Ｍと情報処理装置１００との間の距離が、ある距離よりも大きい場合、情報処理装置１００は、撮像画像をリアルタイムで画面上に表示する方法（以下、リアルタイム表示）により、低い演算負荷で透過表示を実現する。但し、リアルタイム表示の場合、対象物Ｍと情報処理装置１００との間の距離が、ある距離よりも小さいと鮮明な撮像画像を得ることができない場合がある。

例えば、被写体にピントを合わせることができる撮影距離の最短（最短撮影距離）はレンズ毎に決まっているため、レンズの最短撮影距離よりも対象物Ｍと情報処理装置１００（厳密には撮像素子）との間の距離が短い場合にはピントが合わない。また、情報処理装置１００が対象物Ｍに近すぎると対象物Ｍに情報処理装置１００の影が重なり、像が暗くなる。この様子を図３（位置Ｂ２に情報処理装置１００がある場合）に示している。位置Ｂ２にある情報処理装置１００が撮像する撮像画像は、像が暗くピントの合っていない不鮮明な画像となる。

そこで、情報処理装置１００は、鮮明な撮像画像を予め記憶しておき、情報処理装置１００の位置変化に応じて撮像画像が不鮮明になる前に、保持画像を利用する方法（以下、保持画像表示）へと透過表示の仕組みを切り替える。保持画像表示に切り替えると、上述したように対象領域の計算にかかる演算負荷は生じるが、情報処理装置１００と対象物Ｍとの距離が小さいため、比較的少ない演算負荷で透過表示を実現することができる。また、位置Ｂ３に情報処理装置１００が移動した場合（対象物Ｍに密着した場合）であっても、対象物Ｍの内容を表示することが可能になる。

第２実施形態に係る技術は様々なアプリケーションプログラムに適用可能であるが、一例として、虫眼鏡アプリケーションプログラムに適用する場合について考える。このアプリケーションプログラムは、情報処理装置１００を対象物Ｍに近づけると、あたかも虫眼鏡で対象物Ｍを見ているかのように拡大表示されるというものである。なお、拡大倍率は予め設定されているものとする。ユーザが情報処理装置１００を対象物Ｍに近づけると、情報処理装置１００と対象物Ｍとの間の距離に応じて対象物Ｍの一部が情報処理装置１００の画面上に拡大表示され、虫眼鏡で対象物Ｍを見ているのと同じように見える。

リアルタイム表示だけを利用して透過表示を実現している場合、ユーザが情報処理装置１００を対象物Ｍに近づけ過ぎると表示が乱れたり、真っ暗な表示になってしまう。一方、保持画像表示だけを利用して透過表示を実現している場合、プロセッサの性能によっては表示に遅延が生じる可能性や、発熱量やバッテリ消費量が大きくなる可能性がある。

しかし、上記の情報処理装置１００によれば、情報処理装置１００を対象物Ｍに密着させても透過表示が可能である上、表示遅延、発熱量の増加、バッテリ消費量の増加などが生じにくい。従って、虫眼鏡アプリケーションプログラムは第２実施形態に係る技術の好適な適用例であると言える。もちろん、透過表示を利用する任意のアプリケーションプログラムに対して第２実施形態に係る技術を適用可能である。

以上、情報処理装置１００による表示方法について説明した。
［２−２．ハードウェア］
次に、図４を参照しながら、情報処理装置１００のハードウェアについて説明する。図４は、第２実施形態に係る情報処理装置が有する機能を実現可能なハードウェアの一例を示した図である。

情報処理装置１００が有する機能は、例えば、図４に示すハードウェア資源を用いて実現することが可能である。つまり、情報処理装置１００が有する機能は、コンピュータプログラムを用いて図４に示すハードウェアを制御することにより実現される。

図４に示すように、このハードウェアは、主に、ＣＰＵ９０２と、ＲＯＭ（Read Only Memory）９０４と、ＲＡＭ９０６と、ホストバス９０８と、ブリッジ９１０とを有する。さらに、このハードウェアは、外部バス９１２と、インタフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６とを有する。

ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータなどを格納する記憶装置の一例である。ＲＡＭ９０６には、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に変化する各種パラメータなどが一時的又は永続的に格納される。

これらの要素は、例えば、高速なデータ伝送が可能なホストバス９０８を介して相互に接続される。一方、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続される。また、入力部９１６としては、例えば、マウス、キーボード、タッチパネル、タッチパッド、ボタン、スイッチ、及びレバーなどが用いられる。さらに、入力部９１６としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラが用いられることもある。

出力部９１８としては、例えば、ＣＲＴ、ＬＣＤ、ＰＤＰ、又はＥＬＤなどのディスプレイデバイスが用いられる。また、出力部９１８として、スピーカやヘッドホンなどのオーディオ出力装置、又はプリンタなどが用いられることもある。つまり、出力部９１８は、情報を視覚的又は聴覚的に出力することが可能な装置である。

記憶部９２０は、各種のデータを格納するための装置である。記憶部９２０としては、例えば、ＨＤＤなどの磁気記憶デバイスが用いられる。また、記憶部９２０として、ＳＳＤ（Solid State Drive）やＲＡＭディスクなどの半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイスなどが用いられてもよい。

ドライブ９２２は、着脱可能な記録媒体であるリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８としては、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどが用いられる。

接続ポート９２４は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）、ＲＳ−２３２Ｃポート、又は光オーディオ端子など、外部接続機器９３０を接続するためのポートである。外部接続機器９３０としては、例えば、カメラ、マイク、イヤホン、赤外光源などが用いられる。

通信部９２６は、ネットワーク９３２に接続するための通信デバイスである。通信部９２６としては、例えば、有線又は無線ＬＡＮ（Local Area Network）用の通信回路、ＷＵＳＢ（Wireless USB）用の通信回路、光通信用の通信回路やルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用の通信回路やルータ、携帯電話ネットワーク用の通信回路などが用いられる。通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークであり、例えば、インターネット、ＬＡＮ、放送網、衛星通信回線などを含む。

以上、情報処理装置１００のハードウェアについて説明した。
［２−３．機能］
次に、図５〜図７を参照しながら、情報処理装置１００の機能について説明する。図５は、第２実施形態に係る情報処理装置の機能について説明するための第１のブロック図である。図６は、第２実施形態に係る情報処理装置の機能について説明するための第２のブロック図である。図７は、第２実施形態に係る情報処理装置の機能について説明するための第３のブロック図である。なお、説明の中で、適宜、図８〜図１０を参照する。

図５に示すように、情報処理装置１００は、位置情報取得部１０１、撮像部１０２、制御部１０３、表示部１０４、及び記憶部１０５を有する。なお、位置情報取得部１０１及び制御部１０３の機能は、例えば、上述したＣＰＵ９０２などを用いて実現できる。表示部１０４の機能は、例えば、上述した出力部９１８などを用いて実現できる。記憶部１０５の機能は、例えば、上述したＲＡＭ９０６や記憶部９２０などを用いて実現できる。

（位置情報取得部１０１）
位置情報取得部１０１は、情報処理装置１００の位置に関する情報を取得する要素である。例えば、位置情報取得部１０１は、図６に示すように、加速度センサ１１１、及び移動情報計算部１１２を含む。

加速度センサ１１１は、例えば、Ｘ軸方向の加速度値ａｘ、Ｙ軸方向の加速度値ａｙ、及びＺ軸方向の加速度値ａｚを検知する３軸加速度センサである。適用可能な３軸加速度センサとしては、ＭＥＭＳ（Micro Electro Mechanical Systems）を利用した半導体方式の加速度センサなどがある。例えば、静電容量の変化から加速度を検出する静電容量型の加速度センサや、ピエゾ抵抗素子を利用して加速度を検出するピエゾ抵抗型の加速度センサなどが利用可能である。もちろん、他の方式に係る３軸加速度センサも適用可能である。

加速度センサ１１１から出力される軸毎の加速度値は、移動情報計算部１１２及び制御部１０３に入力される。移動情報計算部１１２は、加速度センサ１１１により検出された軸毎の加速度値を時間について２階積分し、情報処理装置１００の移動方向及び移動量を計算する。移動情報計算部１１２により計算された情報処理装置１００の移動方向及び移動量を示す情報（以下、移動情報）は制御部１０３に入力される。

（撮像部１０２）
撮像部１０２は、対象物Ｍを撮像する要素である。撮像部１０２により撮像された対象物Ｍの画像（撮像画像）は制御部１０３に入力される。なお、透過表示を利用するアプリケーションプログラムが動作している間、撮像部１０２は、対象物Ｍを継続的に撮像し続け、逐次、撮像画像を制御部１０３に入力する。なお、撮像画像を撮像し続ける時間や、撮像の開始及び終了のタイミングをユーザが操作できる仕組みにしてもよい。この場合、ユーザ操作に応じて撮像された対象物Ｍの撮像画像が制御部１０３に入力される。

（制御部１０３）
制御部１０３は、撮像画像の記録（保持画像の選択）、対象領域の計算、画像の表示、リアルタイム表示から保持画像表示への切り替え、及び保持画像表示からリアルタイム表示への切り替えなどを行う要素である。

図７に示すように、制御部１０３は、表示制御部１３１、操作情報取得部１３２、画像記録部１３３、切り替え判定部１３４、及び対象領域計算部１３５を含む。
表示制御部１３１は、撮像画像又は保持画像を表示部１０４に表示する。操作情報取得部１３２は、ユーザが入力した操作情報を取得する。例えば、ユーザがシャッタ操作を行った場合、操作情報取得部１３２は、シャッタ操作を示す操作情報を取得する。また、ユーザが表示サイズの拡大操作を行った場合、操作情報取得部１３２は、拡大操作を示す操作情報を取得する。また、ユーザが表示サイズの縮小操作を行った場合、操作情報取得部１３２は、縮小操作を示す操作情報を取得する。

シャッタ操作を示す操作情報は、画像記録部１３３に入力される。また、拡大操作を示す操作情報は、倍率の情報と共に対象領域計算部１３５に入力される。また、縮小操作を示す操作情報は、倍率の情報と共に対象領域計算部１３５に入力される。

画像記録部１３３は、シャッタ操作を示す操作情報が入力された場合、図８に示すように、撮像部１０２により撮像された撮像画像を記憶部１０５に記録する。図８は、第２実施形態に係る情報処理装置が有する画像保持機能について説明するための図である。なお、画像記録部１３３により記憶部１０５に記録された撮像画像を保持画像と呼ぶ。保持画像の幅をＷ、保持画像の高さをＨ、保持画像の中心座標をＯと表記する。保持画像の撮影時における情報処理装置１００の位置を基準位置と呼ぶことにする。

切り替え判定部１３４は、設定した条件を満たすか否かを判定する。設定した条件を満たした場合、切り替え判定部１３４は、リアルタイム表示から保持画像表示へと表示方法を切り替える。また、設定した条件を満たさなくなった場合、切り替え判定部１３４は、保持画像表示からリアルタイム表示へと表示方法を切り替える。

条件の設定方法はいくつか考えられるが、ここでは、図９を参照しながら、Ｚ軸方向に関する情報処理装置１００の加速度変化に応じて表示方法を切り替える例について説明する。他の例（変形例）については後述する。図９は、第２実施形態に係る情報処理装置が有する切り替え判定機能（静止判定）について説明するための図である。

切り替え判定部１３４は、位置情報取得部１０１から入力されるＺ軸方向の加速度値ａｚを時間Ｔｚ毎に記録する。このとき、切り替え判定部１３４は、現時刻から時間Ｔａ前までの加速度値ａｚを記録する。

なお、時間Ｔｚ及びＴａは予め設定されているものとする。また、現時刻における加速度値をａｚ［ｎ］（ｎ＝Ｔａ／Ｔｚ）、時間Ｔａ前の時刻における加速度値をａｚ［１］と表記し、時間Ｔａ前の時刻から現時刻までに記録される加速度値を順にａｚ［ｊ］（ｊ＝１，…，ｎ）と表記する。なお、記録にはリングバッファなどを用いてもよい。

図９には、ある期間における加速度値ａｚの変化が記載されている。切り替え判定部１３４は、時間Ｔａにおける加速度値ａｚの変化が０又は０に近い値であればリアルタイム表示から保持画像表示へと切り替える。

例えば、切り替え判定部１３４は、区間ｄｔ１における加速度値ａｚの変化量ａｚｚと、予め設定された０に近い値ａｚｚ＿ｍａｘとを比較する。なお、区間ｄｔ１では変化量ａｚｚが値ａｚｚ＿ｍａｘより小さいものとする。この場合、切り替え判定部１３４は、リアルタイム表示から保持画像表示へと表示方法を切り替える。

また、切り替え判定部１３４は、区間ｄｔ２における加速度値ａｚの変化量ａｚｚと、予め設定された０に近い値ａｚｚ＿ｍａｘとを比較する。なお、区間ｄｔ２では変化量ａｚｚが値ａｚｚ＿ｍａｘより小さいものとする。この場合、切り替え判定部１３４は、表示方法を切り替えずに保持画像表示を維持する。

また、切り替え判定部１３４は、区間ｄｔ３における加速度値ａｚの変化量ａｚｚと、予め設定された０に近い値ａｚｚ＿ｍａｘとを比較する。なお、区間ｄｔ３では変化量ａｚｚが値ａｚｚ＿ｍａｘより大きいものとする。この場合、切り替え判定部１３４は、保持画像表示からリアルタイム表示へと表示方法を切り替える。

ところで、虫眼鏡を利用して新聞や地図を見る場合、人は、文字や図形が所望の大きさで表示されるまで虫眼鏡を上下に動かす。文字や図形が所望の大きさで表示された場合、人は、現在の位置から虫眼鏡を上下に大きく動かすことなく新聞や地図を読み始める。読んでいる間、読む範囲を変えるために、新聞や地図に平行な方向に虫眼鏡を動かすことはあるが、新聞や地図へと虫眼鏡を急に近づけたり、離したりすることは少ない。このような行動の変化はＺ軸方向への加速度変化に基づいて検知することが可能である。

対象物Ｍを観察している状態では保持画像表示により鮮明な画像を表示し、人が文字や図形の大きさを調整している状態ではリアルタイム表示にして演算負荷を減らすという仕組みは合理的である。つまり、表示品質と演算負荷との良好なバランスが実現できる。なお、値ａｚｚ＿ｍａｘを０に調整すれば情報処理装置１００を対象物Ｍの上に載置した際にリアルタイム表示から保持画像表示へと切り替わる仕組みに変形することができる。

さて、リアルタイム表示であるか、保持画像表示であるかを示す情報は、表示制御部１３１及び対象領域計算部１３５に入力される。保持画像表示である場合、対象領域計算部１３５は、図１０に示すように、現時刻における情報処理装置１００の撮像範囲に対応する対象領域を計算する。図１０は、第２実施形態に係る情報処理装置が有する領域計算機能について説明するための図である。

なお、情報処理装置１００は位置Ｐにあるとする。対象領域計算部１３５は、位置情報取得部１０１から入力された基準位置及び位置Ｐの位置情報、及び操作情報取得部１３２から入力された倍率（以下、倍率Ｂ）の情報を利用する。

対象領域計算部１３５は、視野角θ（図１０（Ｂ）を参照）、位置ＰのＺ座標Ｚ_P、保持画像の幅Ｗに基づき、下記の式（１）に従って基準倍率Ａを計算する。また、対象領域計算部１３５は、下記の式（２）で定義される表示倍率Ｃを計算する。そして、対象領域計算部１３５は、表示倍率Ｃに基づいて対象領域の幅Ｃ＊Ｗ及び高さＣ＊Ｈを計算する。また、対象領域計算部１３５は、基準位置から位置Ｐへの移動方向及び移動量（図１０（Ｃ）の符号Ｖを参照）に基づき、対象領域の中心座標（Ｘ_P，Ｙ_P）を計算する。

対象領域計算部１３５により計算された対象領域の幅Ｃ＊Ｗ及び高さＣ＊Ｈ、中心座標（Ｘ_P，Ｙ_P）、及び表示倍率Ｃは、表示制御部１３１に入力される。そして、表示制御部１３１により、保持画像から対象領域に対応する部分画像が切り出され、部分画像を１／Ｃ倍した画像が表示部１０４に表示される。

（表示部１０４、記憶部１０５）
表示部１０４は、撮像画像又は保持画像を表示する。記憶部１０５は、保持画像を記憶する。なお、情報処理装置１００の外部に接続された表示装置に撮像画像又は保持画像を表示する仕組みに変形することもできる。また、情報処理装置１００の外部に接続された記憶装置が保持画像を記憶する仕組みに変形することもできる。

以上、情報処理装置１００の機能について説明した。
［２−４．処理フロー］
次に、図１１及び図１２を参照しながら、情報処理装置１００が実行する表示処理の流れについて説明する。

（表示処理の全体的な流れ）
まず、図１１を参照しながら、表示処理の全体的な流れについて説明する。図１１は、第２実施形態に係る情報処理装置が実行する表示処理の流れを示したフロー図である。

（Ｓ１０１）撮像部１０２が対象物Ｍを撮像する。撮像部１０２により撮像された対象物Ｍの撮像画像は制御部１０３に入力される。
（Ｓ１０２）ユーザによりシャッタ操作が行われた場合、制御部１０３は、シャッタ操作に応じて撮像部１０２から入力された撮像画像を保持画像として記憶部１０５に記憶させる。一方、シャッタ操作が行われない場合には、Ｓ１０２の処理はスキップされる。なお、保持画像として記憶部１０５に記録された撮像画像の撮像時における情報処理装置１００の位置が基準位置に設定される。

（Ｓ１０３）制御部１０３は、保持画像を表示部１０４に表示させるか否かを判定する。保持画像を表示部１０４に表示させる場合、処理はＳ１０４に進む。一方、保持画像を表示部１０４に表示しない場合（撮像画像を表示部１０４に表示させる場合）、処理はＳ１０９に進む。

（Ｓ１０４）位置情報取得部１０１は、検知した加速度値から情報処理装置１００の移動方向及び移動量を計算する。位置情報取得部１０１により計算された移動方向及び移動量を示す情報（移動情報）は制御部１０３に入力される。また、位置情報取得部１０１が検知した加速度値の情報も制御部１０３に入力される。

（Ｓ１０５、Ｓ１０６）制御部１０３は、入力された移動情報から基準位置を基準とする情報処理装置１００の位置を計算する。また、制御部１０３は、視野角θ（図１０（Ｂ）を参照）、現在位置のＺ座標Ｚ_P、保持画像の幅Ｗに基づき、上記の式（１）に従って基準倍率Ａを計算する。さらに、制御部１０３は、ユーザによる拡大操作又は縮小操作に応じて操作倍率Ｂを設定する。

（Ｓ１０７）制御部１０３は、上記の式（２）で定義される表示倍率Ｃを計算する。次いで、制御部１０３は、表示倍率Ｃに基づいて対象領域の幅Ｃ＊Ｗ及び高さＣ＊Ｈを計算する。また、制御部１０３は、移動情報（図１０（Ｃ）の符号Ｖを参照）に基づき、対象領域の中心座標（Ｘ_P，Ｙ_P）を計算する。

（Ｓ１０８）制御部１０３は、記憶部１０５から保持画像を読み出す。次いで、制御部１０３は、Ｓ１０７で計算した対象領域の幅Ｃ＊Ｗ及び高さＣ＊Ｈ及び中心座標（Ｘ_P，Ｙ_P）に基づいて保持画像から対象領域に対応する部分画像を切り出す。次いで、制御部１０３は、切り出した部分画像を表示部１０４に表示させる。Ｓ１０８の処理が完了すると、処理はＳ１１０に進む。

（Ｓ１０９）制御部１０３は、撮像部１０２から入力された撮像画像を表示部１０４に表示させる。Ｓ１０９の処理が完了すると、処理はＳ１１０に進む。
（Ｓ１１０）アプリケーションプログラムを終了する操作が行われていない場合、処理はＳ１０１に戻る。一方、アプリケーションプログラムを終了する操作が行われた場合、図１１に示した一連の処理は終了する。

（切り替え判定処理の流れ）
ここで、図１２を参照しながら、図１１に示したＳ１０３の処理に対応する切り替え判定処理の流れについて、さらに説明する。図１２は、第２実施形態に係る情報処理装置が実行する切り替え判定処理の流れを示したフロー図である。なお、図１２に示す切り替え判定処理は、主に制御部１０３が有する切り替え判定部１３４により実行される。

なお、切り替え判定部１３４は、位置情報取得部１０１から入力されるＺ軸方向の加速度値ａｚを時間Ｔｚ毎に保持しているものとする。また、切り替え判定部１３４は、現時刻から時間Ｔａ前までの加速度値ａｚを保持しているものとする。時間Ｔｚ及びＴａは予め設定されているものとする。また、現時刻における加速度値をａｚ［ｎ］（ｎ＝Ｔａ／Ｔｚ）、時間Ｔａ前の時刻における加速度値をａｚ［１］と表記し、時間Ｔａ前の時刻から現時刻までに記録される加速度値を順にａｚ［ｊ］（ｊ＝１，…，ｎ）と表記する。

（Ｓ１１１）切り替え判定部１３４は、位置情報取得部１０１から入力された加速度値のうち、Ｚ軸方向の加速度値ａｚを用いて加速度値の差ａｚｚを計算する。但し、加速度値の差ａｚｚは、例えば、下記の式（３）で定義される。

（Ｓ１１２）切り替え判定部１３４は、Ｓ１１１で計算した加速度値の差ａｚｚが閾値ａｚｚ＿ｍａｘ以下であるか否かを判定する。閾値ａｚｚ＿ｍａｘは、予め設定された０に近い値である。例えば、閾値ａｚｚ＿ｍａｘは、人が虫眼鏡やルーペを利用して紙面などを見る際に行う動作を考慮して実験的に設定される。加速度値の差ａｚｚが閾値ａｚｚ＿ｍａｘ以下である場合、処理はＳ１１３に進む。一方、加速度値の差ａｚｚが閾値ａｚｚ＿ｍａｘ以下でない場合、処理はＳ１１７に進む。

（Ｓ１１３）切り替え判定部１３４は、加速度値の変化量ｄａｚ［ｊ］（ｊ＝１，…，ｎ−１）を計算する。但し、加速度値の変化量ｄａｚ［ｊ］は、ｊ＝１，…，ｎ−１のそれぞれについて、下記の式（４）で定義される。

（Ｓ１１４）切り替え判定部１３４は、Ｓ１１３で計算した加速度値の変化量ｄａｚ［ｊ］（ｊ＝１，…，ｎ−１）の中から最大値ｄａｚｚを抽出する。
（Ｓ１１５）切り替え判定部１３４は、Ｓ１１４で抽出した最大値ｄａｚｚが閾値ｄａｚｚ＿ｍａｘ以下であるか否かを判定する。閾値ｄａｚｚ＿ｍａｘは、予め設定された０に近い値である。例えば、閾値ｄａｚｚ＿ｍａｘは、人が虫眼鏡やルーペを利用して紙面などを見る際に行う動作を考慮して実験的に設定される。加速度値の差ｄａｚｚが閾値ｄａｚｚ＿ｍａｘ以下である場合、処理はＳ１１６に進む。一方、加速度値の差ｄａｚｚが閾値ｄａｚｚ＿ｍａｘ以下でない場合、処理はＳ１１７に進む。

（Ｓ１１６）切り替え判定部１３４は、表示部１０４に表示する画像を保持画像に設定する。つまり、切り替え判定部１３４は、表示方法を保持画像表示に設定する。Ｓ１１６の処理が完了すると、図１２に示した一連の処理は終了する。

（Ｓ１１７）切り替え判定部１３４は、表示部１０４に表示する画像を撮像画像に設定する。つまり、切り替え判定部１３４は、表示方法をリアルタイム表示に設定する。Ｓ１１７の処理が完了すると、図１２に示した一連の処理は終了する。

以上、情報処理装置１００が実行する表示処理の流れについて説明した。
［２−５．変形例＃１（距離に基づく切り替え判定）］
次に、図１３〜図１５を参照しながら、第２実施形態の一変形例（変形例＃１）について説明する。変形例＃１は、情報処理装置１００と対象物Ｍとの間の距離に応じてリアルタイム表示と保持画像表示とを切り替える方法に関する。つまり、変形例＃１では、情報処理装置１００が有する機能のうち切り替え判定部１３４の機能が変形される。

（切り替え判定機能）
図１３及び図１４を参照しながら、変形例＃１に係る情報処理装置１００が有する切り替え判定部１３４の機能について説明する。

なお、図１３は、第２実施形態の一変形例（変形例＃１）に係る情報処理装置が有する切り替え判定機能について説明するための第１の図である。図１４は、第２実施形態の一変形例（変形例＃１）に係る情報処理装置が有する切り替え判定機能について説明するための第２の図である。

ここでは撮像画像の変化から情報処理装置１００と対象物Ｍとの間の距離を計算する方法について考える。一例として、図１３に示すように、情報処理装置１００が位置Ｐ１にある状況で撮像された撮像画像Ｉ１、及び情報処理装置１００が位置Ｐ２にある状況で撮像された撮像画像Ｉ２を利用して距離を計算する方法について説明する。位置Ｐ１は、対象物Ｍと情報処理装置１００との間の距離が（Ｄ＋ｄｄ）となる位置である。位置Ｐ２は、対象物Ｍと情報処理装置１００との間の距離がＤとなる位置である。

切り替え判定部１３４は撮像画像Ｉ１を記録する。さらに、切り替え判定部１３４は、撮像画像Ｉ１の撮像時におけるＺ軸方向の加速度値ａｚ１を記録する。その後、切り替え判定部１３４は、時間Ｔｂが経過するまで待機する。時間Ｔｂは予め設定された値である。例えば、時間Ｔｂは、人が情報処理装置１００を移動させる時間よりも十分に短い時間（例えば、５０ミリ秒）に設定される。

撮像画像Ｉ１を撮像した後、時間Ｔｂが経過した時点で情報処理装置１００の位置が位置Ｐ２に移動しているとする。切り替え判定部１３４は、この時点で撮像された撮像画像Ｉ２を記録する。さらに、切り替え判定部１３４は、撮像画像Ｉ２の撮像時におけるＺ軸方向の加速度値ａｚ２を記録する。そして、切り替え判定部１３４は、下記の式（５）に基づいて、情報処理装置１００が位置Ｐ１から位置Ｐ２へと移動した距離ｄｄを計算する。

次に、切り替え判定部１３４は、撮像画像Ｉ１から特徴点ｐ１ｉ（ｉ＝１，２，…，ｎ１）を抽出する。そして、切り替え判定部１３４は、全ての特徴点間の距離を計算し、計算した距離の平均値をｄｃｍａとする。

例えば、図１４に示すように、切り替え判定部１３４は、特徴点ｐ１１、ｐ１２を抽出し、特徴点ｐ１１、ｐ１２間の距離ｄｃａを計算する。切り替え判定部１３４は、他の特徴点についても同様に距離ｄｃａを計算し、計算した距離ｄｃａの平均値ｄｃｍａを算出する。

なお、撮像画像Ｉ１から抽出する特徴点としては、例えば、端点、角、分岐点などが用いられる。特徴点の抽出方法としては、撮像画像Ｉ１を二値化し、細線化した後、隣接する画素間の配置から端点などを検出する方法が適用可能である。適用可能な例として、H.P.MoravecやC.Harrisのアルゴリズムなどがある。

特徴点ｐ１ｉ（ｉ＝１，２，…，ｎ１）の座標が（ｘｉ，ｙｉ）で与えられる場合、距離の平均値ｄｃｍａは、下記の式（６）により与えられる。同様に、切り替え判定部１３４は、撮像画像Ｉ２から特徴点ｐ２ｋ（ｋ＝１，２，…，ｎ２）を抽出する。そして、切り替え判定部１３４は、全ての特徴点間の距離を計算し、計算した距離の平均値をｄｃｍｂとする。

撮像画像Ｉ１に関する平均値ｄｃｍａ及び撮像画像Ｉ２に関する平均値ｄｃｍｂを計算した切り替え判定部１３４は、平均値ｄｃｍａ、ｄｃｍｂ及び距離ｄｄを用いて距離Ｄを計算する。距離Ｄは、下記の式（７）により与えられる。

距離Ｄを計算した切り替え判定部１３４は、距離Ｄと予め設定した値Ｄ＿ｍａｘとを比較する。距離Ｄが値Ｄ＿ｍａｘ以下である場合、切り替え判定部１３４は、表示方法を保持画像表示に設定する。一方、距離Ｄが値Ｄ＿ｍａｘ以下でない場合、切り替え判定部１３４は、表示方法をリアルタイム表示に設定する。

このように、変形例＃１においては、情報処理装置１００と対象物Ｍとの間の距離Ｄに応じて表示方法の切り替えが行われる。値Ｄ＿ｍａｘより距離Ｄが大きい状況ではリアルタイム表示が行われるため、保持画像から撮像範囲に対応する部分画像を切り出す処理の負荷が低減される。

（切り替え判定処理の流れ）
次に、図１５を参照しながら、変形例＃１に係る情報処理装置１００が実行する切り替え判定処理の流れについて説明する。この切り替え判定処理は、図１１に示したＳ１０３の処理に対応する処理である。なお、図１５は、第２実施形態の一変形例（変形例＃１）に係る情報処理装置が実行する切り替え判定処理の流れを示したフロー図である。図１５に示した処理は、主に制御部１０３が有する切り替え判定部１３４により実行される。

（Ｓ２０１）切り替え判定部１３４は、撮像画像Ｉ１を記録する。さらに、切り替え判定部１３４は、撮像画像Ｉ１の撮像時におけるＺ軸方向の加速度値ａｚ１を記録する。
（Ｓ２０２）切り替え判定部１３４は、時間Ｔｂが経過するまで待機する。時間Ｔｂは予め設定された値である。例えば、時間Ｔｂは、人が情報処理装置１００を移動させる時間よりも十分に短い時間（例えば、５０ミリ秒）に設定される。

（Ｓ２０３）切り替え判定部１３４は撮像画像Ｉ２を記録する。さらに、切り替え判定部１３４は、撮像画像Ｉ２の撮像時におけるＺ軸方向の加速度値ａｚ２を記録する。
（Ｓ２０４）切り替え判定部１３４は、上記の式（５）に基づいて、情報処理装置１００が位置Ｐ１から位置Ｐ２へと移動した距離ｄｄを計算する。

（Ｓ２０５）切り替え判定部１３４は、撮像画像Ｉ１から特徴点ｐ１ｉ（ｉ＝１，２，…，ｎ１）を抽出する。また、切り替え判定部１３４は、撮像画像Ｉ２から特徴点ｐ２ｋ（ｋ＝１，２，…，ｎ２）を抽出する。

（Ｓ２０６）切り替え判定部１３４は、撮像画像Ｉ１について全ての特徴点間の距離を計算し、計算した距離の平均値をｄｃｍａとする。なお、特徴点ｐ１ｉ（ｉ＝１，２，…，ｎ１）の座標が（ｘｉ，ｙｉ）で与えられる場合、距離の平均値ｄｃｍａは、上記の式（６）により与えられる。同様に、切り替え判定部１３４は、撮像画像Ｉ２について全ての特徴点間の距離を計算し、計算した距離の平均値をｄｃｍｂとする。

（Ｓ２０７）切り替え判定部１３４は、撮像画像Ｉ１に関する平均値ｄｃｍａ、撮像画像Ｉ２に関する平均値ｄｃｍｂ、及び距離ｄｄを用いて距離Ｄを計算する。このとき、切り替え判定部１３４は、上記の式（７）に基づいて距離Ｄを計算する。

（Ｓ２０８）切り替え判定部１３４は、距離Ｄが閾値Ｄ＿ｍａｘ以下であるか否かを判定する。距離Ｄが閾値Ｄ＿ｍａｘ以下である場合、処理はＳ２０９に進む。一方、距離Ｄが閾値Ｄ＿ｍａｘ以下でない場合、処理はＳ２１０に進む。

（Ｓ２０９）切り替え判定部１３４は、表示部１０４に表示する画像を保持画像に設定する。つまり、切り替え判定部１３４は、表示方法を保持画像表示に設定する。Ｓ２０９の処理が完了すると、図１５に示した一連の処理は終了する。

（Ｓ２１０）切り替え判定部１３４は、表示部１０４に表示する画像を撮像画像に設定する。つまり、切り替え判定部１３４は、表示方法をリアルタイム表示に設定する。Ｓ２１０の処理が完了すると、図１５に示した一連の処理は終了する。

以上、変形例＃１について説明した。
［２−６．変形例＃２（ピント状態に基づく切り替え判定）］
次に、図１６及び図１７を参照しながら、第２実施形態の一変形例（変形例＃２）について説明する。変形例＃２は、撮像画像のピント状態に応じてリアルタイム表示と保持画像表示とを切り替える方法に関する。つまり、変形例＃２では、情報処理装置１００が有する機能のうち切り替え判定部１３４の機能が変形される。

（切り替え判定機能）
図１６を参照しながら、変形例＃２に係る情報処理装置１００が有する切り替え判定部１３４の機能について説明する。なお、図１６は、第２実施形態の一変形例（変形例＃２）に係る情報処理装置が有する切り替え判定機能について説明するための図である。

ここでは撮像画像のピント状態を検出する方法について考える。図１６には、ピント状態が優れた撮像画像Ｉ１、ピント状態が劣る撮像画像Ｉ３、及びこれらの中間くらいのピント状態にある撮像画像Ｉ２を模式的に示した。

ピント状態が合っている場合、像がシャープなため、像内の画素と周辺画素との間で画素値の差が大きくなる。一方、撮像画像Ｉ３のようにピントが大きく外れている場合、像がぼやけてしまうため、像内の画素と周辺画素との間で画素値の差は小さくなる。従って、撮像画像毎に隣接画素間での画素値の差分を計算し、その平均値を計算して撮像画像Ｉ１、Ｉ２、Ｉ３間で比較すると、撮像画像Ｉ１が最も大きな値となり、撮像画像Ｉ３が最も小さな値となる。変形例＃２では、このような性質を利用して撮像画像のピント状態を検出する方法を提案する。

まず、切り替え判定部１３４は撮像画像をグレースケール化する。例えば、切り替え判定部１３４は、ＲＧＢの３チャンネルで取得した３つの画素値を平均し、平均値を画素値ｇ［ｘ，ｙ］とする。但し、（ｘ，ｙ）は画素の位置座標である。なお、切り替え判定部１３４は、３つの画素値から最大値を抽出して画素値ｇ［ｘ，ｙ］としてもよい。次いで、切り替え判定部１３４は、画素値ｇ［ｘ，ｙ］の変化量ｄｇ［ｘ，ｙ］を計算する。変化量ｄｇ［ｘ，ｙ］は、例えば、下記の式（８）で与えられる。

撮像画像に含まれる全ての画素について変化量ｄｇ［ｘ，ｙ］を計算した切り替え判定部１３４は、全ての画素に関する変化量ｄｇ［ｘ，ｙ］の平均値Ｄｇを計算する。そして、切り替え判定部１３４は、平均値Ｄｇと予め設定しておいた値Ｄｇ＿ｍａｘとを比較する。なお、値Ｄｇ＿ｍａｘは、保持画像から求めた値に設定されてもよい。平均値Ｄｇが値Ｄｇ＿ｍａｘ以下である場合、切り替え判定部１３４は、表示方法を保持画像表示に設定する。一方、平均値Ｄｇが値Ｄｇ＿ｍａｘ以下でない場合、切り替え判定部１３４は、表示方法をリアルタイム表示に設定する。

このように、変形例＃２においては、ピントが合わない状態になったタイミングで表示方法がリアルタイム表示から保持画像表示に切り替えられる。そのため、ピントが合う状態にある間はリアルタイム表示が行われ、保持画像から撮像範囲に対応する部分画像を切り出す処理の負荷が低減される。また、情報処理装置１００の位置によらずピントが合った状態が維持されるため、シームレスな操作感をユーザに提供することができる。

（切り替え判定処理の流れ）
次に、図１７を参照しながら、変形例＃２に係る情報処理装置１００が実行する切り替え判定処理の流れについて説明する。この切り替え判定処理は、図１１に示したＳ１０３の処理に対応する処理である。なお、図１７は、第２実施形態の一変形例（変形例＃２）に係る情報処理装置が実行する切り替え判定処理の流れを示したフロー図である。図１７に示した処理は、主に制御部１０３が有する切り替え判定部１３４により実行される。

（Ｓ２３１）切り替え判定部１３４は、撮像画像をグレースケール化する。例えば、切り替え判定部１３４は、ＲＧＢの３チャンネルで取得した３つの画素値を平均し、平均値を画素値ｇ［ｘ，ｙ］とする。

（Ｓ２３２）切り替え判定部１３４は、画素値ｇ［ｘ，ｙ］の変化量ｄｇ［ｘ，ｙ］を計算する。例えば、変化量ｄｇ［ｘ，ｙ］は、画素毎に周辺画素との間で画素値の差分を計算し、計算した差分の最大値を変化量ｄｇ［ｘ，ｙ］とする（上記の式（８）を参照）。

（Ｓ２３３）切り替え判定部１３４は、撮像画像に含まれる全ての画素を対象に変化量ｄｇ［ｘ，ｙ］の平均値Ｄｇを計算する。
（Ｓ２３４）切り替え判定部１３４は、平均値Ｄｇが閾値Ｄｇ＿ｍａｘ以下であるか否かを判定する。平均値Ｄｇが閾値Ｄｇ＿ｍａｘ以下である場合、処理はＳ２３５に進む。一方、平均値Ｄｇが閾値Ｄｇ＿ｍａｘ以下でない場合、処理はＳ２３６に進む。

（Ｓ２３５）切り替え判定部１３４は、表示部１０４に表示する画像を保持画像に設定する。つまり、切り替え判定部１３４は、表示方法を保持画像表示に設定する。Ｓ２３５の処理が完了すると、図１７に示した一連の処理は終了する。

（Ｓ２３６）切り替え判定部１３４は、表示部１０４に表示する画像を撮像画像に設定する。つまり、切り替え判定部１３４は、表示方法をリアルタイム表示に設定する。Ｓ２３６の処理が完了すると、図１７に示した一連の処理は終了する。

以上、変形例＃２について説明した。
［２−７．変形例＃３（明度状態に基づく切り替え判定）］
次に、図１８及び図１９を参照しながら、第２実施形態の一変形例（変形例＃３）について説明する。変形例＃３は、撮像画像の明度状態に応じてリアルタイム表示と保持画像表示とを切り替える方法に関する。つまり、変形例＃３では、情報処理装置１００が有する機能のうち切り替え判定部１３４の機能が変形される。

（切り替え判定機能）
図１８を参照しながら、変形例＃３に係る情報処理装置１００が有する切り替え判定部１３４の機能について説明する。なお、図１８は、第２実施形態の一変形例（変形例＃３）に係る情報処理装置が有する切り替え判定機能について説明するための図である。

ここでは撮像画像の明度状態を検出する方法について考える。図１８には、明度状態が優れた撮像画像Ｉ１、明度状態が劣る撮像画像Ｉ３、及びこれらの中間くらいの明度状態にある撮像画像Ｉ２を模式的に示した。

情報処理装置１００が対象物Ｍに過度に近づくと情報処理装置１００の影が対象物Ｍに重なり、撮像画像Ｉ３に示すように撮像画像の明度が低下する。そこで、切り替え判定部１３４は、光量不足により明度が低下する前にリアルタイム表示から保持画像表示に切り替える。切り替え判定部１３４は、撮像画像に含まれる全ての画素について画素毎に明度ｂｐ［ｘ，ｙ］を求める。但し、（ｘ，ｙ）は画素の位置座標である。

（ｘ，ｙ）にある画素について、ＲＧＢの３チャンネルで取得した３つの画素値（Ｒ，Ｇ，Ｂ）の最大値をＩｍａｘ［ｘ，ｙ］及び最小値をＩｍｉｎ［ｘ，ｙ］と表現する。切り替え判定部１３４は、撮像画像に含まれる全ての画素について、例えば、下記の式（９）又は式（１０）で与えられる明度ｂｐ［ｘ，ｙ］を計算する。

切り替え判定部１３４は、撮像画像に含まれる全ての画素について計算した明度ｂｐ［ｘ，ｙ］について平均値Ｂｐを求める。そして、切り替え判定部１３４は、計算した平均値Ｂｐと予め設定した値Ｂｐ＿ｍａｘとを比較する。なお、値Ｂｐ＿ｍａｘは保持画像から求めた値であってもよい。平均値Ｂｐが値Ｂｐ＿ｍａｘ以下である場合、切り替え判定部１３４は、表示方法を保持画像表示に設定する。一方、平均値Ｂｐが値Ｂｐ＿ｍａｘ以下でない場合、切り替え判定部１３４は、表示方法をリアルタイム表示に設定する。

このように、変形例＃３においては、光量が不足した状態になったタイミングで表示方法がリアルタイム表示から保持画像表示に切り替えられる。そのため、光量が充足している間はリアルタイム表示が行われ、保持画像から撮像範囲に対応する部分画像を切り出す処理の負荷が低減される。また、情報処理装置１００の位置によらず良好な明度状態が維持されるため、シームレスな操作感をユーザに提供することができる。

（切り替え判定処理の流れ）
次に、図１９を参照しながら、変形例＃３に係る情報処理装置１００が実行する切り替え判定処理の流れについて説明する。なお、図１９は、第２実施形態の一変形例（変形例＃３）に係る情報処理装置が実行する切り替え判定処理の流れを示したフロー図である。図１９に示した処理は、主に制御部１０３が有する切り替え判定部１３４により実行される。

（Ｓ２５１）切り替え判定部１３４は、撮像画像の画素毎に明度ｂｐ［ｘ，ｙ］を計算する。例えば、切り替え判定部１３４は、撮像画像に含まれる全ての画素について、上記の式（９）又は式（１０）で与えられる明度ｂｐ［ｘ，ｙ］を計算する。

（Ｓ２５２）切り替え判定部１３４は、撮像画像に含まれる全ての画素について計算した明度ｂｐ［ｘ，ｙ］について平均値Ｂｐを計算する。
（Ｓ２５３）切り替え判定部１３４は、平均値Ｂｐが閾値Ｂｐ＿ｍａｘ以下であるか否かを判定する。平均値Ｂｐが閾値Ｂｐ＿ｍａｘ以下である場合、処理はＳ２５４に進む。一方、平均値Ｂｐが閾値Ｂｐ＿ｍａｘ以下でない場合、処理はＳ２５５に進む。

（Ｓ２５４）切り替え判定部１３４は、表示部１０４に表示する画像を保持画像に設定する。つまり、切り替え判定部１３４は、表示方法を保持画像表示に設定する。Ｓ２５４の処理が完了すると、図１９に示した一連の処理は終了する。

（Ｓ２５５）切り替え判定部１３４は、表示部１０４に表示する画像を撮像画像に設定する。つまり、切り替え判定部１３４は、表示方法をリアルタイム表示に設定する。Ｓ２５５の処理が完了すると、図１９に示した一連の処理は終了する。

以上、変形例＃３について説明した。
［２−８．変形例＃４（ピント状態及び明度状態に基づく切り替え判定）］
次に、図２０を参照しながら、第２実施形態の一変形例（変形例＃４）について説明する。変形例＃４は、変形例＃２の仕組みと変形例＃３の仕組みとを組み合わせる方法に関する。つまり、変形例＃４では、情報処理装置１００が有する機能のうち切り替え判定部１３４の機能が変形される。なお、図２０は、第２実施形態の一変形例（変形例＃４）に係る情報処理装置が実行する切り替え判定処理の流れを示したフロー図である。図２０に示した処理は、主に制御部１０３が有する切り替え判定部１３４により実行される。

（Ｓ２７１）切り替え判定部１３４は、ピント状態に基づく判定処理を実行する。このとき、切り替え判定部１３４は、図１７に示した変形例＃２に係る切り替え判定処理を実行する。

（Ｓ２７２）切り替え判定部１３４は、表示を保持画像にするか否かを判定する。Ｓ２７１の処理で表示方法が保持画像表示に設定された場合、処理はＳ２７３に進む。一方、Ｓ２７１の処理で表示方法がリアルタイム表示に設定された場合、処理はＳ２７６に進む。

（Ｓ２７３）切り替え判定部１３４は、明度状態に基づく判定処理を実行する。このとき、切り替え判定部１３４は、図１９に示した変形例＃３に係る切り替え判定処理を実行する。

（Ｓ２７４）切り替え判定部１３４は、表示を保持画像にするか否かを判定する。Ｓ２７３の処理で表示方法が保持画像表示に設定された場合、処理はＳ２７５に進む。一方、Ｓ２７３の処理で表示方法がリアルタイム表示に設定された場合、処理はＳ２７６に進む。

（Ｓ２７５）切り替え判定部１３４は、表示部１０４に表示する画像を保持画像に設定する。つまり、切り替え判定部１３４は、表示方法を保持画像表示に設定する。Ｓ２７５の処理が完了すると、図２０に示した一連の処理は終了する。

（Ｓ２７６）切り替え判定部１３４は、表示部１０４に表示する画像を撮像画像に設定する。つまり、切り替え判定部１３４は、表示方法をリアルタイム表示に設定する。Ｓ２７６の処理が完了すると、図２０に示した一連の処理は終了する。

上記のように、変形例＃４においては、ピントが合わなくなった状態又は光量が不足した状態になったタイミングで表示方法がリアルタイム表示から保持画像表示に切り替えられる。そのため、ピントが合っており、光量が充足している間はリアルタイム表示が行われ、保持画像から撮像範囲に対応する部分画像を切り出す処理の負荷が低減される。また、情報処理装置１００の位置によらず良好なピント状態及び明度状態が維持されるため、シームレスな操作感をユーザに提供することができる。

以上、変形例＃４について説明した。
［２−９．変形例＃５（縮小判定に基づく撮像画像の記録）］
次に、図２１〜図２５を参照しながら、第２実施形態の一変形例（変形例＃５）について説明する。変形例＃５は、時系列で撮像された撮像画像の比較結果に基づく保持画像の選択方法に関する。つまり、変形例＃５では、情報処理装置１００が有する機能のうち画像記録部１３３の機能が変形される。

（撮像画像の記録機能）
図２１〜図２３を参照しながら、変形例＃５に係る情報処理装置１００が有する画像記録部１３３の機能について説明する。

なお、図２１は、第２実施形態の一変形例（変形例＃５）に係る情報処理装置が有する撮像画像の記録機能について説明するための第１の図である。図２２は、第２実施形態の一変形例（変形例＃５）に係る情報処理装置が有する撮像画像の記録機能について説明するための第２の図である。図２３は、第２実施形態の一変形例（変形例＃５）に係る情報処理装置が有する撮像画像の記録機能について説明するための第３の図である。

これまで、ユーザのシャッタ操作に応じて撮像画像が記憶部１０５に記録され、保持画像として保持されることを前提に説明を進めてきた。変形例＃５では、画像記録部１３３が一定量の撮像画像を保持し、その中から設定した条件を満たす撮像画像を選択して保持画像とする方法を提案する。

変形例＃５に係る画像記録部１３３は、図２１に示すように、現時刻から予め設定した時間Ｔｅ（例えば、２秒）前の時刻までに撮像された撮像画像Ｉ［１］、Ｉ［２］、…、Ｉ［ｎ］を保持する。なお、Ｉ［ｎ］は現時刻に撮像された撮像画像であり、Ｉ［１］は時間Ｔｅ前の時刻に撮像された撮像画像である。

リアルタイム表示から保持画像表示へと表示方法が切り替わった場合に、画像記録部１３３は、切り替わった時刻（現時刻）の前に撮像された撮像画像Ｉ［ｎ−１］を抽出する。そして、画像記録部１３３は、抽出した撮像画像Ｉ［ｎ−１］の縮小画像となっていない撮像画像を過去に遡って探索する。

図２１の例では、撮像画像Ｉ［ｎ−１］、…、Ｉ［ｊ＋１］が撮像画像Ｉ［ｎ−１］の縮小画像となっている。そのため、画像記録部１３３は、撮像画像Ｉ［ｎ−１］の縮小画像となっていない撮像画像（以下、非縮小画像）として撮像画像Ｉ［ｊ］を検出する。この場合、画像記録部１３３は、非縮小画像である撮像画像Ｉ［ｊ］の後に撮像された撮像画像Ｉ［ｊ＋１］を保持画像として選択する。そして、画像記録部１３３は、選択した撮像画像Ｉ［ｊ＋１］を記憶部１０５に記憶させる。

このように、撮像画像の記録を自動化することで、情報処理装置１００を対象物Ｍに近づける際にユーザがシャッタ操作を行わなくても保持画像が得られる。その結果、シャッタ操作を忘れるリスクや、シャッタ操作に失敗して保持画像表示への切り替えができなくなるリスクを回避することができる。また、対象物Ｍを含む広い撮影範囲に対応する保持画像が得られるため、保持画像表示の状態を維持しつつ情報処理装置１００が移動できる範囲を広く確保することができる。

（縮小画像／非縮小画像の判別）
ここで、図２２及び図２３を参照しながら、縮小画像であるか否かを判別する方法について説明する。

まず、図２２を参照する。図２２の例では、撮像画像Ｉ［ｊ＋１］と撮像画像Ｉ［ｎ−１］とを比較している。画像記録部１３３は、撮像画像Ｉ［ｎ−１］から特徴点を抽出する。特徴点としては、例えば、端点、角、分岐点などが用いられる。特徴点の抽出方法としては、撮像画像Ｉ［ｎ−１］を二値化し、細線化した後、隣接する画素間の配置から端点などを検出する方法が適用可能である。適用可能な例として、H.P.MoravecやC.Harrisのアルゴリズムなどがある。

図２２の例では、５つの特徴点ｐ１、…、ｐ５が抽出されている。特徴点ｐ１、…、ｐ５の情報は、例えば、原点Ｏから特徴点ｐ１、…、ｐ５に延びるベクトルで表現される。以下では、特徴点ｐ１、…、ｐ５をそれぞれ特徴点ベクトルｐ１（ｘ１，ｙ１）、…、ｐ５（ｘ５，ｙ５）と表現する場合がある。図２２に示すように、撮像画像Ｉ［ｎ−１］は、５つの特徴点ベクトルｐ１（ｘ１，ｙ１）、…、ｐ５（ｘ５，ｙ５）により特徴付けられる。同様に、画像記録部１３３は、撮像画像Ｉ［ｊ＋１］から特徴点ｐ６、…、ｐ１０を抽出し、特徴点ベクトルｐ６（ｘ６，ｙ６）、…、ｐ１０（ｘ１０，ｙ１０）により撮像画像Ｉ［ｊ＋１］を特徴付ける。

画像記録部１３３は、撮像画像Ｉ［ｎ−１］から抽出した特徴点ベクトルｐ１（ｘ１，ｙ１）のｒ（ｒ＜１）倍となる特徴点ベクトルを撮像画像Ｉ［ｊ＋１］の特徴点ベクトルｐ６（ｘ６，ｙ６）、…、ｐ１０（ｘ１０，ｙ１０）から検出する。図２２の例では、特徴点ベクトルｐ６（ｘ６，ｙ６）が特徴点ベクトルｐ１（ｘ１，ｙ１）のｒ１（ｒ１＝ｘ６／ｘ１＝ｙ６／ｙ１）倍となっている。そのため、画像記録部１３３は、特徴点ベクトルｐ１（ｘ１，ｙ１）のｒ（ｒ＜１）倍となる特徴点ベクトルとして特徴点ベクトルｐ６（ｘ６，ｙ６）を検出する。

図２２の例では、特徴点ベクトルｐ７（ｘ７，ｙ７）が特徴点ベクトルｐ２（ｘ２，ｙ２）のｒ２（ｒ２＝ｘ７／ｘ２＝ｙ７／ｙ２）倍となっている。特徴点ベクトルｐ８（ｘ８，ｙ８）が特徴点ベクトルｐ３（ｘ３，ｙ３）のｒ３（ｒ３＝ｘ８／ｘ３＝ｙ８／ｙ３）倍となっている。特徴点ベクトルｐ９（ｘ９，ｙ９）が特徴点ベクトルｐ４（ｘ４，ｙ４）のｒ４（ｒ４＝ｘ９／ｘ３＝ｙ９／ｙ３）倍となっている。特徴点ベクトルｐ１０（ｘ１０，ｙ１０）が特徴点ベクトルｐ５（ｘ５，ｙ５）のｒ５（ｒ５＝ｘ１０／ｘ５＝ｙ１０／ｙ５）倍となっている。

そのため、画像記録部１３３は、特徴点ベクトルｐ２（ｘ２，ｙ２）のｒ（ｒ＜１）倍となる特徴点ベクトルとして特徴点ベクトルｐ７（ｘ７，ｙ７）を検出する。同様に、画像記録部１３３は、特徴点ベクトルｐ３（ｘ３，ｙ３）のｒ（ｒ＜１）倍となる特徴点ベクトルとして特徴点ベクトルｐ８（ｘ８，ｙ８）を検出する。さらに、画像記録部１３３は、特徴点ベクトルｐ４（ｘ４，ｙ４）のｒ（ｒ＜１）倍となる特徴点ベクトルとして特徴点ベクトルｐ９（ｘ９，ｙ９）を検出する。そして、画像記録部１３３は、特徴点ベクトルｐ５（ｘ５，ｙ５）のｒ（ｒ＜１）倍となる特徴点ベクトルとして特徴点ベクトルｐ１０（ｘ１０，ｙ１０）を検出する。

画像記録部１３３は、撮像画像Ｉ［ｎ−１］から抽出した特徴点ベクトルｐ１（ｘ１，ｙ１）のｒ（ｒ＜１）倍となる特徴点ベクトルが、撮像画像Ｉ［ｊ＋１］の特徴点ベクトルの中にいくつ存在するかを計算する。そして、画像記録部１３３は、計算した特徴点ベクトルの数ｑが設定した値Ｒｖ＊ｎｖ以上であるか否かを判定する。但し、値Ｒｖ（Ｒｖ＜１；例えば、Ｒｖ＝０．７）は、予め設定した値である。ｎｖは、撮像画像Ｉ［ｎ−１］から抽出した特徴点の数である。

さらに、画像記録部１３３は、ｒ１、ｒ２、…の平均値ｒ０を計算し、ｒ１、ｒ２、…とｒ０との差がそれぞれ±σ以内であるかを判定する。数ｑが値Ｒｖ＊ｎｖ以上であり、かつ、ｒ１、ｒ２、…とｒ０との差がそれぞれ±σ以内である場合、画像記録部１３３は、撮像画像Ｉ［ｊ＋１］が撮像画像Ｉ［ｎ−１］の縮小画像であると判断する。図２３の例では、撮像画像Ｉ［ｊ］の特徴点ベクトルｐ１１（ｘ１１，ｙ１１）、…、ｐ１５（ｘ１５，ｙ１５）が、撮像画像Ｉ［ｎ−１］の特徴点ベクトルｐ１（ｘ１，ｙ１）、…、ｐ５（ｘ５，ｙ５）のｒ（ｒ＜１）倍となっていない。そのため、画像記録部１３３は、撮像画像Ｉ［ｊ］が撮像画像Ｉ［ｎ−１］の縮小画像でないと判断する（非縮小画像であると判断する）。

以上、縮小画像であるか否かを判別する方法について説明した。
（撮像画像の記録処理の流れ）
次に、図２４及び図２５を参照しながら、変形例＃５に係る情報処理装置１００が実行する撮像画像の記録処理の流れについて説明する。

（表示処理の全体的な流れ）
まず、図２４を参照しながら、表示処理の全体的な流れについて説明する。図２４は、第２実施形態の一変形例（変形例＃５）に係る情報処理装置が実行する表示処理の流れを示したフロー図である。

（Ｓ３０１）撮像部１０２が対象物Ｍを撮像する。撮像部１０２により撮像された対象物Ｍの撮像画像は制御部１０３に入力される。
（Ｓ３０２）制御部１０３は、撮像画像をバッファに記録する。例えば、制御部１０３は、現時刻から予め設定した時間Ｔｅ（例えば、２秒）前の時刻までに撮像された撮像画像Ｉ［１］、Ｉ［２］、…、Ｉ［ｎ］をバッファに記録して保持する。なお、Ｉ［ｎ］は現時刻に撮像された撮像画像であり、Ｉ［１］は時間Ｔｅ前の時刻に撮像された撮像画像である。

（Ｓ３０３）制御部１０３は、保持画像を表示部１０４に表示させるか否かを判定する。保持画像を表示部１０４に表示させる場合（表示方法が保持画像表示に設定された場合）、処理はＳ３０４に進む。一方、保持画像を表示部１０４に表示しない場合（表示方法がリアルタイム表示に設定された場合）、処理はＳ３１０に進む。

（Ｓ３０４）制御部１０３は、バッファに記録した撮像画像Ｉ［１］、Ｉ［２］、…、Ｉ［ｎ］から保持画像として記憶部１０５に記憶させる画像を選択する。そして、制御部１０３は、選択した画像を保持画像として記憶部１０５に記憶させる。

（Ｓ３０５）位置情報取得部１０１は、検知した加速度値から情報処理装置１００の移動方向及び移動量を計算する。位置情報取得部１０１により計算された移動方向及び移動量を示す情報（移動情報）は制御部１０３に入力される。また、位置情報取得部１０１が検知した加速度値の情報も制御部１０３に入力される。

（Ｓ３０６、Ｓ３０７）制御部１０３は、入力された移動情報から基準位置を基準とする情報処理装置１００の位置を計算する。また、制御部１０３は、視野角θ（図１０（Ｂ）を参照）、現在位置のＺ座標ＺＰ、保持画像の幅Ｗに基づき、上記の式（１）に従って基準倍率Ａを計算する。さらに、制御部１０３は、ユーザによる拡大操作又は縮小操作に応じて操作倍率Ｂを設定する。

（Ｓ３０８）制御部１０３は、上記の式（２）で定義される表示倍率Ｃを計算する。次いで、制御部１０３は、表示倍率Ｃに基づいて対象領域の幅Ｃ＊Ｗ及び高さＣ＊Ｈを計算する。また、制御部１０３は、移動情報（図１０（Ｃ）の符号Ｖを参照）に基づき、対象領域の中心座標（ＸＰ，ＹＰ）を計算する。

（Ｓ３０９）制御部１０３は、記憶部１０５から保持画像を読み出す。次いで、制御部１０３は、Ｓ３０８で計算した対象領域の幅Ｃ＊Ｗ及び高さＣ＊Ｈ及び中心座標（ＸＰ，ＹＰ）に基づいて保持画像から対象領域に対応する部分画像を切り出す。次いで、制御部１０３は、切り出した部分画像を表示部１０４に表示させる。Ｓ３０９の処理が完了すると、処理はＳ３１１に進む。

（Ｓ３１０）制御部１０３は、撮像部１０２から入力された撮像画像を表示部１０４に表示させる。Ｓ３１０の処理が完了すると、処理はＳ３１１に進む。
（Ｓ３１１）アプリケーションプログラムを終了する操作が行われていない場合、処理はＳ３０１に戻る。一方、アプリケーションプログラムを終了する操作が行われた場合、図２４に示した一連の処理は終了する。

（撮像画像の記録処理の流れ）
ここで、図２５を参照しながら、撮像画像の記録処理（保持画像の選択・記録処理）の流れについて、さらに説明する。この処理は、図２４に示したＳ３０４の処理に対応する。図２５は、第２実施形態の一変形例（変形例＃５）に係る情報処理装置が実行する撮像画像の記録処理の流れを示したフロー図である。なお、図２５に示す記録処理は、主に制御部１０３が有する画像記録部１３３により実行される。

（Ｓ３２１）画像記録部１３３は、表示方法の判定処理前における表示が保持画像表示であるか否かを判定する。判定処理前の表示方法が保持画像表示である場合、図２５に示した一連の処理は終了する。一方、判定処理前の表示方法がリアルタイム表示である場合、処理はＳ３２２に進む。

（Ｓ３２２）画像記録部１３３は、リアルタイム表示から保持画像表示へと表示方法が切り替わった時刻（現時刻）の前に撮像された撮像画像Ｉ［ｎ−１］を抽出する。そして、画像記録部１３３は、撮像画像Ｉ［ｎ−１］の特徴点を抽出する。

（Ｓ３２３）画像記録部１３３は、インデックスｊの初期値を設定する。このとき、ｊ＝ｎ−１とされる。
（Ｓ３２４）画像記録部１３３は、インデックスｊの値を更新する。このとき、ｊ＝ｊ−１とされる。

（Ｓ３２５）画像記録部１３３は、インデックスｊが１より大きいか否かを判定する。インデックスｊが１より大きい場合（ｊ＞１）、処理はＳ３２７に進む。一方、インデックスｊが１より大きくない場合、処理はＳ３２６に進む。

（Ｓ３２６）画像記録部１３３は、バッファに記録しておいた撮像画像Ｉ［１］を選択する。Ｓ３２６の処理が完了すると、図２５に示した一連の処理は終了する。
（Ｓ３２７）画像記録部１３３は、撮像画像Ｉ［ｊ］の特徴点を抽出する。

（Ｓ３２８）画像記録部１３３は、撮像画像Ｉ［ｎ−１］の特徴点と撮像画像Ｉ［ｊ］の特徴点とを比較する。例えば、画像記録部１３３は、図２２及び図２３に示した判別方法により、特徴点の比較から撮像画像Ｉ［ｊ］が撮像画像Ｉ［ｎ−１］の縮小画像であるか否かを確認する。

（Ｓ３２９）撮像画像Ｉ［ｊ］が撮像画像Ｉ［ｎ−１］の縮小画像である場合、処理はＳ３３０に進む。一方、撮像画像Ｉ［ｊ］が撮像画像Ｉ［ｎ−１］の縮小画像でない場合、処理はＳ３２４に戻る。

（Ｓ３３０）画像記録部１３３は、バッファに記録した撮像画像Ｉ［ｊ＋１］を選択する。そして、画像記録部１３３は、選択した撮像画像Ｉ［ｊ＋１］を保持画像として記憶部１０５に記憶させる。Ｓ３３０の処理が完了すると、図２５に示した一連の処理は終了する。

以上、変形例＃５について説明した。
［２−１０．変形例＃６（加速度判定に基づく撮像画像の記録）］
次に、図２６〜図２８を参照しながら、第２実施形態の一変形例（変形例＃６）について説明する。変形例＃６は、加速度値の変化に応じた保持画像の選択方法に関する。つまり、変形例＃６では、情報処理装置１００が有する機能のうち画像記録部１３３の機能が変形される。

（撮像画像の記録機能）
図２６及び図２７を参照しながら、変形例＃６に係る情報処理装置１００が有する画像記録部１３３の機能について説明する。

なお、図２６は、第２実施形態の一変形例（変形例＃６）に係る情報処理装置が有する撮像画像の記録機能について説明するための第１の図である。図２７は、第２実施形態の一変形例（変形例＃６）に係る情報処理装置が有する撮像画像の記録機能について説明するための第２の図である。

変形例＃６では、上記の変形例＃５と同様に、画像記録部１３３が一定量の撮像画像を保持し、その中から設定した条件を満たす撮像画像を選択して保持画像とする方法を提案する。但し、変形例＃５では撮像画像の変化に基づいて撮像画像の選択を行う方法を提案したが、変形例＃６では加速度変化に基づいて撮像画像の選択を行う方法を提案する。

変形例＃６に係る画像記録部１３３は、図２６に示すように、現時刻から予め設定した時間Ｔｅ（例えば、２秒）前の時刻までに撮像された撮像画像Ｉ［１］、Ｉ［２］、…、Ｉ［ｎ］を保持する。なお、Ｉ［ｎ］は現時刻に撮像された撮像画像であり、Ｉ［１］は時間Ｔｅ前の時刻に撮像された撮像画像である。さらに、画像記録部１３３は、位置情報取得部１０１から取得した加速度値ａｘ，ａｙ，ａｚを撮像画像Ｉ［１］、Ｉ［２］、…、Ｉ［ｎ］に対応付けて保持する。

リアルタイム表示から保持画像表示へと表示方法が切り替わった場合に、画像記録部１３３は、切り替わった時刻（現時刻）以前に撮像された撮像画像Ｉ［ｋ］（ｋ＝１，…，ｎ−１）に対応する加速度値ａｘ，ａｙ，ａｚを参照する。さらに、画像記録部１３３は、過去に遡りながら加速度値ａｘ，ａｙ，ａｚの変化量ｄＡを調査する。

このとき、画像記録部１３３は、加速度値ａｘ，ａｙ，ａｚそれぞれの変化量ｄａｘ，ｄａｙ，ｄａｚを下記の式（１１）〜式（１３）に従って計算する。なお、ａｘ［ｊ］は、撮像画像Ｉ［ｊ］の撮像時刻におけるＸ軸方向の加速度値を表す。同様に、ａｙ［ｊ］は、撮像画像Ｉ［ｊ］の撮像時刻におけるＹ軸方向の加速度値を表す。ａｚ［ｊ］は、撮像画像Ｉ［ｊ］の撮像時刻におけるＺ軸方向の加速度値を表す。そして、画像記録部１３３は、変化量ｄａｘ，ｄａｙ，ｄａｚの最大値を選択し、選択した最大値を変化量ｄＡとする。

画像記録部１３３は、変化量ｄＡが予め設定した値ｄＡ＿ｍａｘを超えた時刻の次に撮像された撮像画像を保持画像として記憶部１０５に記憶させる。図２６の例では、撮像画像Ｉ［ｊ］の撮像時刻で加速度値の変化量ｄＡが値ｄＡ＿ｍａｘを超えたため、撮像画像Ｉ［ｊ＋１］が保持画像として記憶部１０５に記録される。

このように、撮像画像の記録を自動化することで、情報処理装置１００を対象物Ｍに近づける際にユーザがシャッタ操作を行わなくても保持画像が得られる。その結果、シャッタ操作を忘れるリスクや、シャッタ操作に失敗して保持画像表示への切り替えができなくなるリスクを回避することができる。また、対象物Ｍを含む広い撮影範囲に対応する保持画像が得られるため、保持画像表示の状態を維持しつつ情報処理装置１００が移動できる範囲を広く確保することができる。

（撮像画像の記録処理の流れ）
次に、図２８を参照しながら、変形例＃６に係る情報処理装置１００が実行する撮像画像の記録処理の流れについて説明する。この処理は、図２４に示したＳ３０４の処理に対応する。但し、撮像画像と共に加速度値がバッファに記録されるものとする。なお、図２８は、第２実施形態の一変形例（変形例＃６）に係る情報処理装置が実行する撮像画像の記録処理の流れを示したフロー図である。

（Ｓ３５１）画像記録部１３３は、表示方法の判定処理前における表示が保持画像表示であるか否かを判定する。判定処理前の表示方法が保持画像表示である場合、図２８に示した一連の処理は終了する。一方、判定処理前の表示方法がリアルタイム表示である場合、処理はＳ３５２に進む。

（Ｓ３５２）画像記録部１３３は、インデックスｊの初期値を設定する。このとき、ｊ＝ｎ−１とされる。
（Ｓ３５３）画像記録部１３３は、インデックスｊの値を更新する。このとき、ｊ＝ｊ−１とされる。

（Ｓ３５４）画像記録部１３３は、インデックスｊが１より大きいか否かを判定する。インデックスｊが１より大きい場合（ｊ＞１）、処理はＳ３５６に進む。一方、インデックスｊが１より大きくない場合、処理はＳ３５５に進む。

（Ｓ３５５）画像記録部１３３は、バッファに記録しておいた撮像画像Ｉ［１］を選択する。Ｓ３５５の処理が完了すると、図２８に示した一連の処理は終了する。
（Ｓ３５６、Ｓ３５７）画像記録部１３３は、加速度値ａｘ，ａｙ，ａｚそれぞれの変化量ｄａｘ，ｄａｙ，ｄａｚを上記の式（１１）〜式（１３）に従って計算する。そして、画像記録部１３３は、変化量ｄａｘ，ｄａｙ，ｄａｚの最大値ｄＡを選択する。

（Ｓ３５８）画像記録部１３３は、最大値ｄＡが設定値ｄＡ＿ｍａｘより大きいか否かを判定する。最大値ｄＡが設定値ｄＡ＿ｍａｘより大きい場合、処理はＳ３５９に進む。一方、最大値ｄＡが設定値ｄＡ＿ｍａｘより大きくない場合、処理はＳ３５３に戻る。

（Ｓ３５９）画像記録部１３３は、バッファに記録した撮像画像Ｉ［ｊ＋１］を選択する。そして、画像記録部１３３は、選択した撮像画像Ｉ［ｊ＋１］を保持画像として記憶部１０５に記憶させる。Ｓ３５９の処理が完了すると、図２８に示した一連の処理は終了する。

以上、変形例＃６について説明した。
以上、第２実施形態について説明した。
これまで添付図面を参照しながら好適な実施形態について説明してきたが、本発明は係る例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、様々な変形例や修正例に想到し得ることは明らかであり、こうした変形例や修正例についても当然に本発明の技術的範囲に属することは言うまでもない。

例えば、保持画像表示に切り替えた場合に、保持画像に他の情報を重畳して表示するなどの表示方法が考えられる。一例として、地図を対象物Ｍとするケースについて考える。地図には、様々な道路や施設などの情報が含まれる。そのため、情報処理装置１００を地図に近づけて拡大表示するだけでは所望の情報を素早く見つけられない場合がある。

そこで、保持画像表示に切り替えた場合に、保持画像に画像処理を施して特定の色彩を強調表示する方法を適用すれば、地図上にある特定の道路や施設が強調表示され、強調表示の部分を目印に所望の情報を素早く見つけることができるようになる。例えば、緑色を強調表示する設定にすれば、高速道路及びその入り口表示などが強調表示され、場所の特定や地域の判別を効率化することができると期待される。このような変形例についても当然に上記の技術的範囲に属する。

１０ 情報処理装置
１１ 撮像部
１２ 記憶部
１３ 表示部
１４ 制御部
２１ 対象物
２２ 撮像範囲
２３ａ、２３ｂ 画像
２４ 影
Ｄ１、Ｄ２ 距離

Claims (13)

1. 対象物を撮像する撮像部と、
   画像を記憶する記憶部と、
   加速度を検知する加速度センサと、
   前記撮像部により撮像されている前記対象物の画像をリアルタイムで画面に表示し、少なくとも１枚の前記画像を前記記憶部に記憶させ、前記対象物へと向かう方向について前記加速度センサから出力される値の変化量が設定した第１の値よりも小さいという条件を満たした場合には前記記憶部が記憶している画像を読み出し、読み出した前記画像から現時点の撮像範囲に対応する部分画像を抽出して前記画面の表示を前記部分画像に切り替える制御部と
   を有する、情報処理装置。
2. 対象物を撮像する撮像部と、
   画像を記憶する記憶部と、
   前記撮像部により撮像されている前記対象物の画像をリアルタイムで画面に表示し、少なくとも１枚の前記画像を前記記憶部に記憶させ、前記撮像部が撮像した画像のぼけ具合を示す指標値が設定した第３の値よりも大きいという条件を満たした場合には前記記憶部が記憶している画像を読み出し、読み出した前記画像から現時点の撮像範囲に対応する部分画像を抽出して前記画面の表示を前記部分画像に切り替える制御部と
   を有する、情報処理装置。
3. 前記制御部は、前記部分画像を前記画面上に表示させている状態で前記条件を満たさなくなった場合、現時点で前記撮像部が撮像している前記対象物の画像に前記画面の表示を切り替える
   請求項１又は２に記載の情報処理装置。
4. 対象物を撮像する撮像部と、
   画像を記憶する記憶部と、
   前記撮像部により撮像されている前記対象物の画像をリアルタイムで画面に表示し、少なくとも１枚の前記画像を前記記憶部に記憶させ、前記対象物との間の距離が設定した第２の値よりも小さいという条件を満たした場合には前記記憶部が記憶している画像を読み出し、読み出した前記画像から現時点の撮像範囲に対応する部分画像を抽出して前記画面の表示を前記部分画像に切り替える制御部と
   を有する、情報処理装置。
5. 対象物を撮像する撮像部と、
   画像を記憶する記憶部と、
   前記撮像部により撮像されている前記対象物の画像をリアルタイムで画面に表示し、少なくとも１枚の前記画像を前記記憶部に記憶させ、前記撮像部が撮像した画像の明度が設定した第４の値よりも小さいという条件を満たした場合には前記記憶部が記憶している画像を読み出し、読み出した前記画像から現時点の撮像範囲に対応する部分画像を抽出して前記画面の表示を前記部分画像に切り替える制御部と
   を有する、情報処理装置。
6. 前記制御部は、前記撮像部が撮像した画像の明度が設定した第４の値よりも小さいという追加条件をさらに満たした場合に前記記憶部が記憶している画像を読み出し、読み出した前記画像から現時点の撮像範囲に対応する部分画像を抽出して前記画面の表示を前記部分画像に切り替える
   請求項２に記載の情報処理装置。
7. 前記制御部は、前記撮像部により撮像されている前記対象物の画像を新しい順に設定した量だけ保持し、前記条件を満たした場合には、保持している画像の中から前記条件を満たす直前に保持した画像の縮小画像となっている画像を選択し、選択した画像から現時点の撮像範囲に対応する部分画像を抽出して前記画面の表示を前記部分画像に切り替える
   請求項１〜５のいずれか１項に記載の情報処理装置。
8. 前記制御部は、前記保持している画像の中から前記条件を満たす直前に保持した画像の縮小画像となっている画像のうち最も古い画像を選択する
   請求項７に記載の情報処理装置。
9. 前記制御部は、前記撮像部により撮像されている前記対象物の画像を新しい順に設定した量だけ保持し、保持した画像の撮像時における前記加速度センサの出力値を当該画像に対応付けて保持し、前記条件を満たした場合には、保持している画像の中から、変化量が設定した第５の値よりも大きくなる前記出力値に対応する画像を選択し、選択した画像から現時点の撮像範囲に対応する部分画像を抽出して前記画面の表示を前記部分画像に切り替える
   請求項１に記載の情報処理装置。
10. カメラ、メモリ、プロセッサ、及び、加速度を検知する加速度センサを有するコンピュータの前記プロセッサに、
    前記カメラにより撮像されている対象物の画像をリアルタイムで画面に表示し、少なくとも１枚の前記画像を前記メモリに記憶させ、前記対象物へと向かう方向について前記加速度センサから出力される値の変化量が設定した値よりも小さいという条件を満たした場合には前記メモリが記憶している画像を読み出し、読み出した前記画像から現時点の撮像範囲に対応する部分画像を抽出して前記画面の表示を前記部分画像に切り替える
    処理を実行させる、プログラム。
11. カメラ、メモリ、及びプロセッサを有するコンピュータの前記プロセッサに、
    前記カメラにより撮像されている対象物の画像をリアルタイムで画面に表示し、少なくとも１枚の前記画像を前記メモリに記憶させ、前記カメラが撮像した画像のぼけ具合を示す指標値が設定した値よりも大きいという条件を満たした場合には前記メモリが記憶している画像を読み出し、読み出した前記画像から現時点の撮像範囲に対応する部分画像を抽出して前記画面の表示を前記部分画像に切り替える
    処理を実行させる、プログラム。
12. カメラ、メモリ、及びプロセッサを有するコンピュータの前記プロセッサに、
    前記カメラにより撮像されている対象物の画像をリアルタイムで画面に表示し、少なくとも１枚の前記画像を前記メモリに記憶させ、前記対象物との間の距離が設定した値よりも小さいという条件を満たした場合には前記メモリが記憶している画像を読み出し、読み出した前記画像から現時点の撮像範囲に対応する部分画像を抽出して前記画面の表示を前記部分画像に切り替える
    処理を実行させる、プログラム。
13. カメラ、メモリ、及びプロセッサを有するコンピュータの前記プロセッサに、
    前記カメラにより撮像されている対象物の画像をリアルタイムで画面に表示し、少なくとも１枚の前記画像を前記メモリに記憶させ、前記カメラが撮像した画像の明度が設定した値よりも小さいという条件を満たした場合には前記メモリが記憶している画像を読み出し、読み出した前記画像から現時点の撮像範囲に対応する部分画像を抽出して前記画面の表示を前記部分画像に切り替える
    処理を実行させる、プログラム。
    

Images