JP6281409B2 - 表示制御方法、情報処理プログラム、及び情報処理装置 - Google Patents

Description

本発明は、フォーカス調整の制御に関する。

撮像した画像に含まれる基準物（マーカー）を認識し、認識したマーカーに対して所定の情報を付加して提示する技術であるＡＲ（augmented reality）がある。ＡＲにおいては先ず、被写体がカメラを用いて撮影され、撮影された画像データがＡＲに関する処理を行うＡＲアプリケーションに入力される。そしてＡＲアプリケーションは、入力された画像データに含まれるマーカーを認識し、認識したマーカーに対応する所定の情報を付加して表示する。

カメラは、自動的にピントを合わせるオートフォーカス機能を有する。また、カメラの撮影のタイミングは一定のフレーム間隔となる。ＡＲアプリケーションは、カメラの動作の制御は行なわず、カメラの撮影やオートフォーカスは、ＡＲアプリケーションとは独立して動作する。

撮影と撮影画像の処理について、以下の第１と第２の技術がある。
第１の技術の撮像装置は、撮像手段と合焦手段と被写体探索手段を備える。撮像手段は、結像面に結像される光学像を画像データに変換する。合焦手段は、光学像の焦点調整を行うためにフォーカスレンズを移動させて合焦位置を検出し、検出された合焦位置にフォーカスレンズを位置させる。被写体探索手段は、直近の合焦動作で焦点を合わせて得た映像信号領域上の被写体の画像領域が、現在の映像信号領域の所定の探索領域内で所定の閾値を基準にして変化したかどうかを探索し、被写体画像領域が変化した場合にのみ、合焦手段を再起動させる。

第２の技術において、フォーカス制御用マイコンは、フォーカスを合わせた後フォーカス調整を停止する。この後撮像画像を構成する複数のブロック毎にフォーカスが合焦しているか否かを判定する。パン／チルト駆動したときには、フォーカスが合焦していたブロックが撮像画像内から全て外れたとき、或いは所定の個数以下残る状態となったとき、或いは所定の割合で外れたときにフォーカス調整手段のフォーカス調整を起動する。

特開２００７−５２０６１号公報 特開２００７−５２３４９号公報

カメラのオートフォーカス処理はＡＲアプリケーションとは独立に、所定の時間間隔毎、または所定のタイミングで実行されるが、このオートフォーカスの実行中はピントが大きくずれることになる。そのため、オートフォーカスの実行中に撮影された画像からは、ＡＲアプリケーションはマーカーを認識できない。

ピントが大きくずれている画像からは、ＡＲアプリケーションはマーカーを認識できないが、ピントのズレが少ない画像の場合には、ＡＲアプリケーションはマーカーを認識できる場合がある。すなわち、ピントがずれているか否かは、ＡＲアプリケーションがマーカーを認識できるか否かの結果と一致しないことがある。

ＡＲにおいては、取得した画像にマーカーが映っている場合に、正しくマーカーを認識できればよく、取得した画像のピントが合っているか否かは重要ではない。ＡＲアプリケーションがマーカーを認識できているときに実行されるオートフォーカス処理は、マーカーの認識を不能にさせる。その結果、ＡＲコンテンツが非表示となり、ＡＲの品質が低下する。

ＡＲに関する処理と、オートフォーカス処理とが独立して実行される場合、ＡＲアプリケーションがマーカーを認識できている場合でも、カメラ側でオートフォーカス処理が行われる可能性がある。また、画像内の被写体とカメラとの距離に基づき、オートフォーカス動作の実施要否を決定する場合も、ＡＲアプリケーションがマーカーを認識できている場合に、オートフォーカス処理が行われる可能性がある。

そこで、１つの側面では、本発明は、カメラによるフォーカス調整に起因する基準物の認識への影響を防止する。

一態様の方法は、画像データを取得し、取得した画像データに含まれる基準物の識別情報の認識処理を行い、認識処理の結果、識別情報を認識したとの判定が得られた場合、画像データのフォーカス調整を所定のタイミングで実行する制御処理を行う調整部に制御処理を停止させる停止指示情報を出力し、停止指示情報の出力後に識別情報を認識したとの判定が識別情報を認識しないとの判定に変化した場合、調整部に制御処理を開始させる開始指示情報を出力する。

一態様によれば、カメラによるフォーカス調整に起因する基準物の認識への影響を防止することができる。

実施形態と比較例１について、マーカーに対する合焦状態に応じたオートフォーカスの実行の有無を比較した図である。 マーカーが撮像された角度に応じて、マーカーを認識可能な被写体からの距離の範囲が変化する様子を説明するための図である。 実施形態１に係る情報処理装置の構成の一例を示す。 実施形態１に係る撮像装置の構成の一例を示す。 実施形態１に係る制御部による合焦制御処理の実行の制御を図解したフローチャートの一例である。 実施形態１に係る制御部によるマーカー認識時の処理の動作を図解したフローチャートの一例である。 実施形態に係る撮像装置のハードウェア構成の一例を示す。 実施形態２に係る情報処理装置の構成の一例を示す。 実施形態２に係る撮像装置の構成の一例を示す。 実施形態２に係る制御部による合焦制御処理の実行の制御を図解したフローチャートの一例である。 実施形態２に係る制御部によるマーカーの認識処理の動作を図解したフローチャートの一例である。

実施形態では、マーカーの認識状態、すなわち、マーカーを認識できたか否かに基いて、オートフォーカス動作の実行と停止が制御される。具体的には、マーカーを認識できている場合には、オートフォーカス動作が実行されないように制御され、マーカーを認識できない場合に、オートフォーカス動作が実行されるように制御される。このようにすることで、マーカーを認識しているときには、オートフォーカス動作が実行されないように制御することができ、不要なフォーカス調整を防ぐことができる。その結果、認識しているマーカーが、不要なフォーカス調整のために認識不能になることを防ぐことができる。

先ず、実施形態の処理を説明するために、比較例と動作を比較する。先ず、被写体（マーカー）にピントが合っているか否かに応じて、オートフォーカス動作の実行が制御される比較例１と、実施形態の動作を比較する。

図１は、実施形態と比較例１について、マーカーに対する合焦状態（ピントが合っているか否か）に応じたオートフォーカスの実行の有無を比較した図である。図１（Ａ）は、マーカーにピントが合っている状態（ケースＡ）を示している。図１（Ｂ）は、マーカーに対してピントが若干ずれている状態（ケースＢ）を示している。図１（Ｃ）は、マーカーにピントが全く合っていない状態（ケースＣ）を示している。図１（Ｄ）は、ケースＡ〜Ｃのそれぞれにおいて、比較例１と実施形態の、オートフォーカスの実行の有無を示している。尚、図１（Ａ）〜（Ｃ）のパイプは図を見やすくするためにマーカーに対するピントのズレを表現するための指標として記載するものであり、マーカーとは異なるレイヤに設置されているものである。

図１（Ａ）の場合、マーカーにピントがあっており、マーカーの認識も可能である。従って、比較例１、実施形態ともに、オートフォーカスは実行されない。

図１（Ｂ）の場合、マーカーに対してピントが若干ずれているが、マーカーの認識は可能である。従って、マーカーにピントが合っているか否かに応じてオートフォーカスの実行が制御される比較例１では、オートフォーカスが実行される。一方、ＡＲアプリケーションがマーカーを認識できたか否かに基いて、オートフォーカスの実行が制御される実施形態では、オートフォーカスは実行されない。

図１（Ｃ）の場合、マーカーにピントが全く合っておらず、マーカーの認識も不可能である。従って、比較例１、実施形態ともに、オートフォーカスが実行される。

実施形態によると、ケース２のように、マーカーに対してピントが若干ずれているが、マーカーの認識は可能である場合に、オートフォーカスを実行しないように制御することができる。マーカーの認識が可能であるにもかかわらず実行されるオートフォーカスは、認識できていたマーカーの認識を不能にする。このようなオートフォーカスの実行を防ぐことで、マーカー認識の品質を向上させることができる。

次に、被写体とカメラの距離が所定の閾値以内か否かに基いてオートフォーカスの実行を制御する比較例２と、実施形態の動作を比較する。

マーカーを認識可能な被写体からの距離の範囲は、マーカーが撮像された角度に応じて変化する。図２は、マーカーが撮像された角度に応じて、マーカーを認識可能な被写体からの距離の範囲が変化する様子を説明するための図である。図２において、マーカーが撮像された角度と、焦点距離が所定の値のときにマーカーを認識可能な範囲と、の関係が示されている。図２では、カメラの焦点距離はｘ（一定値）であり、Ｂは、マーカーにピントが合っているときのマーカーからのカメラの位置を示している。Ａ及びＡ’は、マーカーの認識限界のマーカーからのカメラの距離を示している。すなわち、Ａ〜Ａ’の範囲は、カメラの焦点距離がｘの場合の、マーカーを認識可能なカメラの位置の範囲を示している。a、b、cは、所定の角度毎のＢとＡの距離を示す。

図２に示すように、マーカーの認識が可能なＢからのずれ幅は、識別子に対する角度により異なる。図２においては、「a > b > c」となっている。従って、被写体とカメラの距離が一定の範囲であるか否かは、マーカーを認識可能か否かの判定結果と正確には一致しない。よって、被写体とカメラの距離が所定の閾値以内か否かに基いてオートフォーカスの実行を制御する比較例２においては、角度によっては、マーカーを認識できているにもかかわらず、オートフォーカスが実行される場合がある。

（実施形態１）
図３は、実施形態１に係る情報処理装置の構成の一例を示す。図３において、情報処理装置１は、取得部３、認識部４、出力部５を含む。出力部５は調整部２に接続される。尚、調整部２は、情報処理装置１に含まれてもよい。

調整部２は、画像データのフォーカス調整を所定のタイミングで実行する制御処理を行う。

取得部３は、画像データを取得する。
認識部４は、取得部３が取得した画像データに含まれる基準物の識別情報の認識処理を行う。

出力部５は、認識部４による認識処理の結果、識別情報を認識したとの判定が得られた場合、調整部２に制御処理を停止させる停止指示情報を出力し、停止指示情報の出力後に識別情報を認識したとの判定が識別情報を認識しないとの判定に変化した場合、調整部２に制御処理を開始させる開始指示情報を出力する。

また、調整部２は、画像データのフォーカス調整を第１の時間間隔毎に実行する。
また、出力部５は、認識部４による認識処理の結果、識別情報を認識したとの判定が得られた場合、調整部２に制御処理を停止させる停止指示情報を出力する。次に出力部５は、停止指示情報の出力後に識別情報を認識したとの判定が識別情報を認識しないとの判定に変化した場合、調整部２に画像データのフォーカス調整を、第１の時間間隔よりも短い第２の時間間隔毎に実行する制御処理を開始させる開始指示情報を出力する。そして出力部５は、開始指示情報の出力後に識別情報を認識したとの判定が所定期間得られない場合、調整部２に画像データのフォーカス調整を第１の時間間隔毎に実行する制御処理を開始させる制御指示情報を出力する。

図４は、実施形態１に係る撮像装置の構成の一例を示す。図４において、撮像装置１０は、撮像部１１、合焦部１２、及び制御部１３を含む。撮像装置１０は、情報処理装置１の一例である。合焦部１２は、調整部２の一例である。制御部１３は、取得部３、認識部４、及び出力部５の一例である。

撮像部１１は、被写体を撮像し、撮像した画像（静止画または動画）を制御部１３に出力する。

合焦部１２は、所定の時間間隔毎に、自動的に撮像部１１の被写体に対するピントを合わせるオートフォーカスを実行する。すなわち合焦部１２は、所定の時間間隔毎に、撮像部１１が撮像する画像のフォーカスを合わせるフォーカス調整を行う。以下の説明では、所定の時間間隔毎にオートフォーカスが繰り返し実行される所定期間の処理を、合焦制御処理と記す。尚、合焦制御処理において、各オートフォーカスの実行のタイミングは、一定の時間間隔毎でなくともよく、所定のタイミングで繰り返し実行されてもよい。

制御部１３は、撮像部１１から画像を取得し、所定の時間間隔毎、または所定のタイミングで、取得した画像が有する基準物を認識する処理を行う。基準物は、取得した画像が有する所定の形態（形状、模様若しくは色彩又はこれらの結合）である。基準物は例えばマーカーや特定のパターンの画像であってもよく、ＱＲ（Quick Response）コードやバーコードでもよい。ＡＲにおいては、基準物は、付加情報を表示する位置を特定し、付加情報の出現キーとなる。もしくは、制御部１３が認識の対象とするものは、現実に存在する特定の物体または図形としてもよい（マーカーレス型のＡＲにおける認識対象でもよい）。以下、説明を簡略にするために、制御部１３が認識の対象とする基準物をまとめてマーカーと記す。制御部１３はマーカーを認識したら、認識したマーカーに対応する画像をマーカーに重畳させて所定の出力装置へ出力する。尚、マーカーと、そのマーカーに重畳させる画像とを対応付けた対応情報が、撮像装置１０の所定の記憶領域に記憶されてもよく、この対応情報を参照することによって、制御部１３は、認識したマーカーに対応する画像を特定してもよい。

制御部１３は、マーカーの認識処理を所定の時間間隔毎に実行する。そして制御部１３は、マーカーの認識処理の認識結果に応じて、合焦制御処理の実行を制御する。すなわち、制御部１３はマーカーを認識した場合、合焦制御処理を停止させる停止指示情報を合焦部１２に出力する。また制御部１３は、合焦制御処理の停止指示情報を出力後、マーカーを認識できなくなった場合に、合焦制御処理を再開（開始）させる再開指示情報を合焦部１２に出力する。

制御部１３がマーカーを認識できなくなった場合とは、具体的には、認識処理において所定の回数以上連続してマーカーの認識ができなかった場合を指す。例えば、0.1秒毎にマーカーの認識処理を行う場合、連続して5回以上マーカーの認識ができなかった場合、すなわち、0.5秒以上マーカーの認識ができなかった場合に、マーカーの認識ができなくなったと判定してもよい。このような動作により、言い換えると、制御部１３は、最後にマーカーを認識してから所定の時間以上マーカーの認識ができない場合に、合焦制御処理を再開させる再開指示情報を出力する。

ここで、例えば、最後にマーカーを認識してから再開指示情報を出力するまでの所定時間を、ＡＲコンテンツの連続表示時間と対応付けることもできる。ＡＲコンテンツの連続表示時間とは、制御部１３がマーカーを認識してから、その認識したマーカーに重畳したＡＲコンテンツを連続して表示させる時間を指す。これにより、例えば、ＡＲコンテンツが表示されなくなるタイミングと、合焦制御処理を再開させるタイミングを同期させることができる。

合焦制御処理の再開指示情報を出力した後、その後の認識処理においてマーカーを認識できた場合は、制御部１３は、合焦制御処理を停止させる停止指示情報を合焦部１２に出力する。

制御部１３によるマーカーの認識は例えば以下のように行われる。すなわち、制御部１３は先ず、取得した画像からマーカーを探索する。探索の結果、マーカーを発見したら、制御部１３は発見したマーカーを解析する。そして制御部１３は、解析の結果からマーカーの識別情報などのマーカーに関する情報を取得する。マーカーに関する情報が取得できた場合は、制御部１３は、マーカーを認識できたと判定する。一方、マーカーに関する情報が取得できなかった場合は、制御部１３は、マーカーを認識できなかったと判定する。

また、制御部１３によるマーカーの認識は例えば以下のように行ってもよい。すなわち予め、所定の規則に基いてパターンファイルを所定の記憶部に記憶しておく。パターンファイルに含まれるパターンは、複数のパターンファイルのうちで各々を一意に識別可能なパターンである。そして制御部１３は、撮像部１１から取得した画像に含まれるマーカーを、例えば、所定の規則に基いて検出し、検出したマーカーとパターンファイルとの一致率を算出する。そして、一致率が所定の閾値以上であれば制御部１３は、検出したマーカーが、パターンファイルに対応するマーカーであると認識する。パターンファイルには、マーカーに重畳されるオブジェクトが対応付けられており、マーカーの認識後、制御部１３はパターンファイルに対応するオブジェクトをマーカーに重畳させて、所定の出力装置を介して表示する。

制御部１３は、合焦制御処理の再開指示において、合焦制御処理の再開から所定の期間の間は、オートフォーカスの間隔が短くなるように（タイミングを早めるように）制御してもよい。すなわち、合焦制御処理の停止前のオートフォーカスの実行間隔をＴ１とすると、再開後の所定の期間の間は、Ｔ１よりも小さいＴ２の間隔毎にオートフォーカスを実行するように、制御部１３は合焦部１２に指示してもよい。再開後の所定の期間は、マーカーの認識ができなくなった直後の期間であり、撮像装置１０のユーザがマーカーを探索している可能性が高い。よって、オートフォーカスの実行間隔を短くすることで、マーカーを含む被写体へのフォーカスの調整を早めることができ、その結果、再度マーカーを認識するまでの期間を短くすることができる。

尚、合焦制御処理の再開後、所定の期間が経過した場合は、制御部１３はオートフォーカスの間隔をＴ１に戻すように制御する。例えば、再開指示情報を出力後、所定の時間が経過したら、制御部１３は再度、オートフォーカスの間隔をＴ１で実行するように再開指示を合焦部１２に出力してもよい。もしくは、制御部１３は予め再開指示に、所定の時間経過後にオートフォーカスのタイミングを変更するように制御する内容を含めてもよい。

次に、合焦制御処理の実行制御のフローを、図５及び図６を参照して説明する。図５は、実施形態１に係る制御部１３による合焦制御処理の実行の制御を図解したフローチャートの一例である。

図５において、制御部１３は先ず、合焦部１２に対して、Ｔ１毎にオートフォーカスを実行する合焦制御処理の開始命令を出力する（Ｓ１０１）。Ｔ１は、予め定められた所定の時間間隔である。この開始命令を受信した合焦部１２は、Ｔ１毎にオートフォーカスを実行する合焦制御処理を開始する。

次に制御部１３は、撮像部１１から画像を取得する（Ｓ１０２）。ここで取得する画像は、撮像部１１が撮像した画像である。

次に制御部１３は、Ｓ１０２で取得した画像に含まれるマーカーの認識処理を行い、その結果、マーカーを認識できたか否かを判定する（Ｓ１０３）。認識処理においてマーカーを認識すると、制御部１３は、認識したマーカーに、対応する画像を重畳させてＡＲコンテンツを表示する等の所定の処理を行ってもよい。

Ｓ１０３において、マーカーを認識できなかったと判定した場合（Ｓ１０３でＮｏ）、制御部１３は、処理をＳ１０２に再度遷移させ、Ｓ１０２とＳ１０３の動作を繰り返す。一方、マーカーを認識できたと判定した場合（Ｓ１０３でＹｅｓ）、制御部１３は、マーカー認識時の処理を実行する（Ｓ１０４）。マーカー認識時の処理は、後ほど図６を参照して説明する。そしてマーカー認識時の処理が終了したら、制御部１３は処理を再度Ｓ１０１に遷移させ、合焦部１２に対して、Ｔ１毎にオートフォーカスを実行する合焦制御処理の開始命令を出力する（Ｓ１０１）。尚、Ｓ１０１において、既に合焦制御処理が実行されている場合には、開始命令を受信した合焦部は、オートフォーカスのタイミングをＴ１に変更して、Ｔ１毎にオートフォーカスを実行する合焦制御処理を開始する。

図６は、実施形態１に係る制御部１３によるマーカー認識時の処理の動作を図解したフローチャートの一例である。図６のフローにおいては、所定の閾値Ｎ、Ｍ、及び、所定の変数である、カウンタＡ、Ｂが用いられる。Ｎは、合焦制御処理の実行の開始（再開）命令を発行するタイミングを制御するための変数である。Ｍは、マーカーが認識できなくなった後に再開された合焦制御処理において、オートフォーカス処理の間隔を短くする期間を制御するための閾値である。

図６において、制御部１３は先ず、合焦部１２に対して、合焦制御処理の停止指示情報を出力する（Ｓ２０１）。この停止指示情報を受信した合焦部１２は、合焦制御処理を停止する。

次に制御部１３は、カウンタＡ及びカウンタＢの値をリセットする（Ｓ２０２）。具体的には例えば制御部１３は、カウンタＡ及びカウンタＢの値に「0」を代入する。

次に制御部１３は、撮像部１１から画像を取得する（Ｓ２０３）。ここで取得する画像は、撮像部１１が撮像した画像である。

次に制御部１３は、Ｓ２０３で取得した画像に含まれるマーカーの認識処理を行い、その結果、マーカーを認識できたか否かを判定する（Ｓ２０４）。認識処理においてマーカーを認識すると、制御部１３は、認識したマーカーに、対応する画像を重畳させてＡＲコンテンツを表示する等の所定の処理を行ってもよい。マーカーを認識できたと判定した場合（Ｓ２０４でＹｅｓ）、制御部１３は再度、処理をＳ２０２に遷移させ、カウンタＡ及びカウンタＢの値をリセットする（Ｓ２０２）。

一方Ｓ２０４において、マーカーを認識できなかったと判定した場合（Ｓ２０４でＮｏ）、制御部１３は、カウンタＡの値を１インクリメントする（Ｓ２０５）。

そして制御部１３は、カウンタＡの値が閾値Ｎ以上か否かを判定する（Ｓ２０６）。カウンタＡの値が閾値Ｎ未満であると判定した場合（Ｓ２０６でＮｏ）、制御部１３は再度、処理をＳ２０３に遷移させる。

一方、Ｓ２０６において、カウンタＡの値が閾値Ｎ以上であると判定した場合（Ｓ２０６でＹｅｓ）、制御部１３は、合焦部１２に対して、Ｔ２毎にオートフォーカスを実行する合焦制御処理の再開指示情報を出力する（Ｓ２０７）。Ｔ２は、予め定められた所定の時間間隔であり、例えば、Ｔ１よりも短い時間間隔である。この再開指示情報を受信した合焦部１２は、Ｔ２毎にオートフォーカスを実行する合焦制御処理を開始する。

次に制御部１３は、撮像部１１から画像を取得する（Ｓ２０８）。ここで取得する画像は、撮像部１１が撮像した画像である。

次に制御部１３は、Ｓ２０８で取得した画像に含まれるマーカーの認識処理を行い、その結果、マーカーを認識できたか否かを判定する（Ｓ２０９）。認識処理においてマーカーを認識すると、制御部１３は、認識したマーカーに、対応する画像を重畳させてＡＲコンテンツを表示する等の所定の処理を行ってもよい。マーカーを認識できたと判定した場合（Ｓ２０９でＹｅｓ）、制御部１３は再度、処理をＳ２０１に遷移させる。

一方、Ｓ２０９において、マーカーを認識できなかったと判定した場合（Ｓ２０９でＮｏ）、制御部１３は、カウンタＢの値を１インクリメントする（Ｓ２１０）。

そして制御部１３は、カウンタＢの値が閾値Ｍ以上か否かを判定する（Ｓ２１１）。カウンタＢの値が閾値Ｍ未満であると判定した場合（Ｓ２１１でＮｏ）、制御部１３は再度、処理をＳ２０８に遷移させる。一方、カウンタＢの値が閾値Ｍ以上であると判定した場合（Ｓ２１１でＹｅｓ）、処理は終了する。

尚、図５及び図６においては、合焦制御処理においてＴ１毎にオートフォーカス処理が行われるのは、起動後、または、マーカー認識から一定時間経過している時間帯である。この時間帯は、撮像装置１０のユーザがマーカーの認識と関係のない動作をしていると考えられる時間帯である。また、Ｔ２毎にオートフォーカス処理が行われるのは、マーカーの認識ができなくなった直後であり、撮像装置１０のユーザがマーカーを探索している可能性がある時間帯である。Ｔ２をＴ１よりも短い時間とすることで、ユーザがマーカーを探索している可能性の高い時間帯におけるマーカーの認識間隔を狭めることができる。また、Ｔ２毎にオートフォーカス処理が行われる合焦制御処理の間に、少なくとも１回は、実際にオートフォーカスが行われることが望ましい。従って、認識処理の実行間隔をｔとすると、Ｔ２＜（ｔ×Ｍ）を満たすように、Ｔ２の値を設定してもよい。

尚、Ｓ１０２、Ｓ２０３、及びＳ２０８で制御部１３が取得する画像は、撮像部１１が撮像した画像であって、それぞれ異なる時刻に撮像された画像である。

次に、実施形態に係る撮像装置１０のハードウェア構成を説明する。図７は、撮像装置１０のハードウェア構成の一例を示す。

図７において、撮像装置１０は、ＣＰＵ（Central Processing Unit）２１、メモリ２２、記憶装置２３、読取装置２４、通信インターフェース２５、カメラ２６、入力装置２７、及び出力装置２８を含む。ＣＰＵ２１、メモリ２２、記憶装置２３、読取装置２４、通信インターフェース２５、カメラ２６、入力装置２７、及び出力装置２８は、バスまたは通信ネットワークを介して接続される。

ＣＰＵ２１は、メモリ２２を利用して上述のフローチャートの手順を記述したプログラムを実行することにより、制御部１３の一部または全部の機能を提供する。

メモリ２２は、例えば半導体メモリであり、ＲＡＭ（Random Access Memory）領域およびＲＯＭ（Read Only Memory）領域を含んで構成される。記憶装置２３は、例えばハードディスクである。なお、記憶装置２３は、フラッシュメモリ等の半導体メモリであってもよい。また、記憶装置２３は、外部記録装置であってもよい。尚、記憶装置２３の所定の記憶領域に、マーカーに対応するパターンを記憶してもよいし、マーカーに重畳して表示するオブジェクトの情報を、各パターンに対応付けて記憶してもよい。

読取装置２４は、ＣＰＵ２１の指示に従って着脱可能記憶媒体８０にアクセスする。着脱可能記憶媒体８０は、たとえば、半導体デバイス（ＵＳＢメモリ等）、磁気的作用により情報が入出力される媒体（磁気ディスク等）、光学的作用により情報が入出力される媒体（ＣＤ−ＲＯＭ、ＤＶＤ等）などにより実現される。尚、読取装置２４は撮像装置１０に含まれなくてもよい。

通信インターフェース２５は、ＣＰＵ２１の指示に従ってネットワークを介して通信をおこなうインターフェースである。通信インターフェース２５は、撮像装置１０に含まれなくてもよい。

カメラ２６は、被写体を撮像し、また、被写体に対してフォーカスの調整を自動で行う装置である。カメラ２６は、撮像部１１、及び合焦部１２の機能の一部または全てを提供する。尚、カメラ２６は、撮像装置１０の外部に通信ネットワーク又はバスを介して接続されてもよい。

入力装置２７は、ユーザから所定の指示を受け付ける。入力装置２７は、撮像装置１０に含まれなくてもよい。

出力装置２８は、ＣＰＵ２１の指示に従い、所定の情報を出力する。出力装置２８は、例えば、マーカーに付加情報が重畳された情報を表示する表示装置である。

実施形態のプログラムは、例えば、下記の形態で撮像装置１０に提供される。
（１）記憶装置２３に予めインストールされている。
（２）着脱可能記憶媒体８０により提供される。
（３）プログラムサーバ（図示せず）から通信インターフェース２５を介して提供される。

さらに、撮像装置１０の一部は、ハードウェアで実現してもよい。或いは、撮像装置１０は、ソフトウェアおよびハードウェアの組み合わせで実現してもよい。

（実施形態２）
実施形態２では、制御部は合焦制御処理中に取得された画像をマーカーの認識処理の対象としない。合焦制御処理中に取得された画像は、オートフォーカス実行中である場合にピントが大きくずれている可能性が高く、その場合はマーカーの認識は不可能であるため、合焦制御処理中に取得された画像を認識処理の対象としないことで、制御部にかかる負荷を軽減する。

図８は、実施形態２に係る情報処理装置の構成の一例を示す。図８において、情報処理装置３１は、取得部３３、認識部３４、出力部３５を含む。出力部３５は調整部３２に接続される。尚、調整部３２は、情報処理装置３１に含まれてもよい。

調整部３２は、画像データのフォーカス調整を所定の時間間隔毎に実行する制御処理を行う。

取得部３３は、所定の形態を有する対象を撮像した画像データを取得する。
出力部３５は、取得部３３が取得した画像データに含まれる対象の形態を認識可能な場合、制御処理を停止させる停止指示情報を調整部に出力する。また出力部３５は、停止指示情報の出力後に対象の形態が認識不能となった場合、制御処理を開始させる開始指示情報を調整部に出力する。

認識部３４は、調整部による制御処理が停止中の場合に、画像データに含まれる対象の形態を認識し、調整部による制御処理が実行中である場合に、対象の形態を認識しない。

図９は、実施形態２に係る撮像装置の構成の一例を示す。図９において、撮像装置４０は、撮像部４１、合焦部４２、及び制御部４３を含む。撮像装置４０は、情報処理装置３１の一例である。合焦部４２は、調整部３２の一例である。制御部４３は、取得部３３、認識部３４、出力部３５の一例である。

実施形態２に係る撮像部４１、合焦部４２の動作はそれぞれ、実施形態１の撮像部１１、合焦部１２と同様である。

制御部４３は、合焦部４２による合焦制御処理が停止中に、所定の時間間隔毎に、撮像部４１から取得した画像に含まれるマーカーを認識する処理を行う。一方、合焦部４２による合焦制御処理が実行中である場合には、マーカーの認識処理は行わない。

具体的には制御部４３は、所定の時間間隔毎にマーカーを認識できるか否かを判定する判定処理を行い、判定処理の結果に基いて、合焦制御処理を停止する制御を行う。具体的には制御部４３は、判定処理の結果、マーカーを認識できると判定した場合、合焦制御処理を停止させる停止指示情報を合焦部４２に出力する。

また制御部４３は、合焦制御処理の停止指示情報を出力後、マーカーの認識処理を所定の時間間隔で行い、マーカーを認識できなくなった場合に、合焦制御処理を再開（開始）させる再開指示情報を合焦部４２に出力する。マーカーの認識処理は、実施形態１と同様である。合焦制御処理の再開指示情報を出力した後、制御部４３は所定の時間間隔で判定処理を行い、判定処理の結果に基いて、合焦制御処理を停止させる停止指示情報を合焦部４２に出力する。

判定処理において具体的には例えば、制御部４３は、先ず取得した画像からマーカーを探索する。探索の結果、マーカーを発見したら、制御部４３は発見したマーカーを解析する。そして制御部４３は、解析の結果からマーカーの識別子などのマーカーに関する情報を取得できるか否かを判定する。解析の結果からマーカーの識別子などのマーカーに関する情報を取得できると判定した場合、制御部４３は、マーカーを認識できると判定する。一方、解析の結果からマーカーの識別子などのマーカーに関する情報を取得できないと判定した場合、制御部４３は、マーカーを認識できないと判定する。尚、取得した画像からマーカーを発見できなかった場合は、制御部４３は、マーカーを認識できないと判定する。

次に、実施形態２に係る合焦制御処理の実行制御のフローを、図１０及び図１１を参照して説明する。尚、図１０及び図１１において、Ｔ１、Ｔ２、Ｎ、Ｍ、カウンタＡ、及びカウンタＢは、図５、６におけるものと同様である。

図１０は、実施形態２に係る制御部４３による合焦制御処理の実行の制御を図解したフローチャートの一例である。

図１０において、制御部４３は先ず、合焦部４２に対して、Ｔ１毎にオートフォーカスを実行する合焦制御処理の開始命令を出力する（Ｓ３０１）。この開始命令を受信した合焦部４２は、Ｔ１毎にオートフォーカスを実行する合焦制御処理を開始する。

次に制御部４３は、撮像部４１から画像を取得する（Ｓ３０２）。
次に制御部４３は、Ｓ３０２で取得した画像に対して判定処理を行う（Ｓ３０３）。マーカーを認識できないと判定した場合（Ｓ３０３でＮｏ）、制御部４３は、処理をＳ３０２に再度遷移させ、Ｓ３０２とＳ３０３の動作を繰り返す。一方、マーカーを認識できると判定した場合（Ｓ３０３でＹｅｓ）、制御部４３は、マーカーの認識処理を実行する（Ｓ３０４）。マーカーの認識処理は、後ほど図１１を参照して説明する。そしてマーカーの認識処理が終了したら、制御部４３は再度、合焦部４２に対して、Ｔ１毎にオートフォーカスを実行する合焦制御処理の開始命令を出力する（Ｓ３０１）。

図１１は、実施形態２に係る制御部４３によるマーカーの認識処理の動作を図解したフローチャートの一例である。

図１１において、制御部４３は先ず、合焦部４２に対して、合焦制御処理の停止指示情報を出力する（Ｓ４０１）。この停止指示情報を受信した合焦部４２は、合焦制御処理を停止する。

次に制御部４３は、カウンタＡ及びカウンタＢの値をリセットする（Ｓ４０２）。具体的には例えば制御部４３は、カウンタＡ及びカウンタＢの値に「0」を代入する。

次に制御部４３は、撮像部４１から画像を取得する（Ｓ４０３）。
次に制御部４３は、Ｓ４０３で取得した画像に含まれるマーカーの認識処理を行い、その結果、マーカーを認識できたか否かを判定する（Ｓ４０４）。認識処理においてマーカーを認識すると、制御部４３は、認識したマーカーに、対応する画像を重畳させてＡＲコンテンツを表示する等の所定の処理を行ってもよい。マーカーを認識できたと判定した場合（Ｓ４０４でＹｅｓ）、制御部４３は再度、処理をＳ４０２に遷移させ、カウンタＡ及びカウンタＢの値をリセットする。

一方Ｓ４０４において、マーカーを認識できなかったと判定した場合（Ｓ４０４でＮｏ）、制御部４３は、カウンタＡの値を１インクリメントする（Ｓ４０５）。

そして制御部４３は、カウンタＡの値が閾値Ｎ以上か否かを判定する（Ｓ４０６）。カウンタＡの値が閾値Ｎ未満であると判定した場合（Ｓ４０６でＮｏ）、制御部４３は再度、処理をＳ４０３に遷移させる。

一方、Ｓ４０６において、カウンタＡの値が閾値Ｎ以上であると判定した場合（Ｓ４０６でＹｅｓ）、制御部４３は、合焦部４２に対して、Ｔ２毎にオートフォーカスを実行する合焦制御処理の再開指示情報を出力する（Ｓ４０７）。この再開指示情報を受信した合焦部４２は、Ｔ２毎にオートフォーカスを実行する合焦制御処理を開始する。

次に制御部４３は、撮像部４１から画像を取得する（Ｓ４０８）。
次に制御部４３は、Ｓ４０８で取得した画像に対して判定処理を行う（Ｓ４０９）。判定処理において、マーカーを認識できると判定した場合（Ｓ４０９でＹｅｓ）、制御部４３は再度、処理をＳ４０１に遷移させる。

一方、Ｓ４０９の判定処理において、マーカーを認識できないと判定した場合（Ｓ４０９でＮｏ）、制御部４３は、カウンタＢの値を１インクリメントする（Ｓ４１０）。

そして制御部４３は、カウンタＢの値が閾値Ｍ以上か否かを判定する（Ｓ４１１）。カウンタＢの値が閾値Ｍ未満であると判定した場合（Ｓ４１１でＮｏ）、制御部４３は再度、処理をＳ４０８に遷移させる。一方、カウンタＮの値が閾値Ｍ以上であると判定した場合（Ｓ４１１でＹｅｓ）、処理は終了する。

実施形態２に係る撮像装置４０のハードウェア構成の一例は、図７に示したものと同様である。図７において、ＣＰＵ２１は、制御部４３の機能の一部または全てを提供する。またカメラ２６は、撮像部４１と合焦部４２の機能の一部又は全てを提供する。

実施形態では、マーカーを認識した後、マーカーに対応する画像を重畳して出力する構成としたが、マーカー認識後の動作は、これに限定されない。例えば、マーカーを認識した後、認識したマーカーから所定の情報を抽出し、抽出した情報を他のアプリケーションに出力する等の、種々の構成としてもよい。

尚、本実施形態は、以上に述べた実施の形態に限定されるものではなく、本実施形態の要旨を逸脱しない範囲内で種々の構成または実施形態を取ることができる。

１ 情報処理装置
２ 調整部
３ 取得部
４ 認識部
５ 出力部
１０ 撮像装置
１１ 撮像部
１２ 合焦部
１３ 制御部
２１ ＣＰＵ
２２ メモリ
２３ 記憶装置
２４ 読取装置
２５ 通信インターフェース
２６ カメラ
２７ 入力装置
２８ 出力装置
３１ 情報処理装置
３２ 調整部
３３ 取得部
３４ 認識部
３５ 出力部
４０ 撮像装置
４１ 撮像部
４２ 合焦部
４３ 制御部
８０ 着脱可能記憶媒体

Claims (4)

1. 画像データを取得し、
   取得した前記画像データに含まれる基準物の識別情報の認識処理を行い、
   前記認識処理の結果、前記識別情報を認識したとの判定が得られた場合、前記画像データのフォーカス調整を第１の時間間隔毎に実行する制御処理を行う調整部に該制御処理を停止させる停止指示情報を出力し、
   前記停止指示情報の出力後に前記識別情報を認識したとの判定が前記識別情報を認識しないとの判定に変化した場合、前記調整部に前記画像データのフォーカス調整を、前記第１の時間間隔よりも短い第２の時間間隔毎に実行する制御処理を開始させる開始指示情報を出力する
   ことを特徴とするフォーカス調整制御方法。
2. 前記画像データのフォーカス調整を、前記開始指示情報の出力後に前記識別情報を認識したとの判定が所定期間得られない場合、前記調整部に前記画像データのフォーカス調整を前記第１の時間間隔毎に実行する制御処理を開始させる制御指示情報を出力する
   ことを特徴とする請求項１に記載のフォーカス調整制御方法。
3. コンピュータに、
   画像データを取得し、
   取得した前記画像データに含まれる基準物の識別情報の認識処理を行い、
   前記認識処理の結果、前記識別情報を認識したとの判定が得られた場合、前記画像データのフォーカス調整を第１の時間間隔毎に実行する制御処理を行う調整部に該制御処理を停止させる停止指示情報を出力し、
   前記停止指示情報の出力後に前記識別情報を認識したとの判定が前記識別情報を認識しないとの判定に変化した場合、前記調整部に前記前記データのフォーカス調整を、前記第１の時間間隔よりも短い第２の時間間隔毎に実行する制御処理を開始させる開始指示情報を出力する
   処理を実行させることを特徴とする情報処理プログラム。
4. 画像データを取得する取得部と、
   取得した前記画像データに含まれる基準物の識別情報の認識処理を行う認識部と、
   前記認識処理の結果、前記識別情報を認識したとの判定が得られた場合、前記画像データのフォーカス調整を第１の時間間隔毎に実行する制御処理を行う調整部に該制御処理を停止させる停止指示情報を出力し、前記停止指示情報の出力後に前記識別情報を認識したとの判定が前記識別情報を認識しないとの判定に変化した場合、前記調整部に前記画像データのフォーカス調整を、前記第１の時間間隔よりも短い第２の時間間隔毎に実行する制御処理を開始させる開始指示情報を出力する出力部と、
   を備えることを特徴とする情報処理装置。