JP6155893B2 - 画像処理装置、及びプログラム - Google Patents

Description

本発明は、画像処理装置、及びプログラムに関する。

近年、実空間に仮想物体が存在するかのように重畳させる拡張現実技術を用いた拡張現実感システム（ＡＲ（Augmented Reality：拡張現実）システム）が用いられるようになってきている。例えば、ＡＲ用のマーカを含む画像を撮影すると、このマーカの種類及び配置した位置に対応して、撮影画像中に仮想物体画像を合成して表示する拡張現実感システムが知られている。

しかし、マーカを用いた拡張現実感システムでは、表示したい仮想物体画像の種類等に対応するマーカがそれぞれ必要となる。そこで、例えば、特許文献１には、マーカ掲示用携帯端末に、複数種類のマーカと仮想物体画像とを対応付けて記憶させておき、ユーザにより選択されたマーカをマーカ掲示用携帯端末に表示することで、複数のマーカの印刷物等を持ち歩かなくても複数種類の仮想物体の中から表示する仮想物体を選択できるようにした技術が記載されている。

特開２００５−２５０９５０号公報

しかしながら、特許文献１においても、１つのＡＲマーカに対応付けられている仮想物体画像は一つであり、他の表示をさせるためにはユーザが選択操作をして、マーカ掲示用携帯端末に表示させるマーカの種類を切り替える必要があった。

本発明の課題は、一つのマーカで異なる複数の表示ができるようにすることである。

上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
撮像手段と、
前記撮像手段により取得された撮像画像を表示する表示手段と、
前記表示手段の画面内に所定のマーカがフレームインしたことを認識するフレームイン認識手段と、
前記マーカがフレームインした方向を認識するフレームイン方向認識手段と、
前記マーカがフレームインした方向に応じた所定の表示を前記表示手段に行わせる制御手段と、
を備える。

請求項３に記載の画像処理装置は、
撮像手段と、
前記撮像手段により取得された撮像画像を表示する表示手段と、
前記表示手段の画面内に所定のマーカがフレームインしたことを認識するフレームイン認識手段と、
前記表示手段の画面から前記マーカがフレームアウトしたことを認識するフレームアウト認識手段と、
前記マーカがフレームアウトした方向を認識するフレームアウト方向認識手段と、
前記マーカがフレームアウトした方向を記憶する記憶手段と、
前記マーカのフレームアウトが認識された後に前記マーカのフレームインが認識された際に、前記記憶手段に記憶されている前記マーカがフレームアウトした方向に応じた所定の表示を前記表示手段に行わせる制御手段と、
を備える。

請求項６に記載の画像処理装置は、
撮像手段と、
前記撮像手段により取得された撮像画像を表示する表示手段と、
前記表示手段の画面内に所定のマーカを認識するマーカ認識手段と、
前記マーカがフレームアウトした方向を認識するフレームアウト方向認識手段と、
前記マーカがフレームアウトした方向に応じた所定の表示を前記表示手段に行わせる制御手段と、
を備える。

本発明によれば、一つのマーカで異なる複数の表示を行うことが可能となる。

本実施形態における画像処理装置の機能的構成を示すブロック図である。 フレームイン／フレームアウト情報記憶部のデータ格納例を示す図である。 動作パターンデータベースのデータ格納例を示す図である。 図１のＣＰＵにより実行される表示制御処理を示すフローチャートである。 ＡＲマーカがフレームインした方向及びフレームアウトした方向を認識する方法を説明するための図である。 表示制御処理による表示動作の一例を示す図である。 手に持つタイプの移動型端末でのフレームイン、フレームアウトの操作方法を示す図である。 、眼鏡型ＨＭＤでのフレームイン、フレームアウトの操作方法を示す図である。

以下、添付図面を参照して本発明に係る好適な実施形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。

＜画像処理装置１の構成＞
まず、本実施形態に係る画像処理装置１の構成について説明する。
画像処理装置１としては、例えば、スマートフォン、タブレット端末、ノートＰＣ（Personal Computer）、ハンディターミナル等の移動型端末が適用可能である。

図１に、画像処理装置１の機能構成例を示す。図１に示すように、画像処理装置１は、ＣＰＵ（Central Processing Unit）１０、ＲＡＭ（Random Access Memory）１１、記憶部１２、通信部１３、表示部１４、操作部１５、カメラ１６、現在時刻取得部１７等を備えて構成され、各部はバス１８により接続されている。

ＣＰＵ１０は、記憶部１２に記憶されているプログラムを読み出してＲＡＭ１１のワークエリアに展開し、展開したプログラムに従って、後述する表示制御処理を始めとする各種処理を実行する。ＣＰＵ１０は、表示制御処理を実行することにより、フレームイン認識手段、フレームイン方向認識手段、フレームアウト認識手段、フレームアウト方向認識手段、マーカ認識手段、制御手段として機能する。

ＲＡＭ１１は、揮発性のメモリであり、ＣＰＵ１０により実行される各種プログラムやこれら各種プログラムに係るデータ等を記憶するワークエリアを有する。

また、ＲＡＭ１１は、ＡＲ（Augmented Reality）マーカ５（図６参照）がフレームインした方向及びフレームアウトした方向の履歴情報を記憶するためのフレームイン／フレームアウト情報記憶部１１１を有する。
ここで、ＡＲマーカ５は、表示部１４の画面上に表示する情報（例えば、仮想物体画像等）を規定するための画像である。フレームインとは、カメラ１６により取得された撮像画像を表示部１４の画面上に表示させている場合において、当該画面上にＡＲマーカ５がない状態から当該画面上にＡＲマーカ５が入ってくることをいう。フレームアウトとは、カメラ１６により取得された撮像画像を表示部１４の画面上に表示させている場合において、表示部１４の画面上に表示されていたＡＲマーカ５が当該画面上からなくなる（出て行く）ことをいう。

図２に、フレームイン／フレームアウト情報記憶部１１１のデータ格納例を示す。図２に示すように、フレームイン／フレームアウト情報記憶部１１１は、例えば、「順番」、「動作内容」、「方向」のフィールドを有する。「順番」は、動作が行われた順番を格納する。「動作内容」は、動作がフレームインであるか又はフレームアウトであるかを示す情報を格納する。「方向」は、フレームイン又はフレームアウトされた方向を示す情報を格納する。

記憶部１２は、ＨＤＤ（Hard Disk Drive）、半導体の不揮発性メモリ等により構成される。記憶部１２には、例えば、図１に示すように、プログラム記憶部１２１、動作パターンデータベース１２２が設けられている。

プログラム記憶部１２１には、ＣＰＵ１０で実行されるシステムプログラムや各種処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。例えば、プログラム記憶部１２１には、ＡＲマーカアプリケーションプログラムが記憶されている。これらのプログラムは、コンピュータ読み取り可能なプログラムコードの形態でプログラム記憶部１２１に格納されている。ＣＰＵ１０は、当該プログラムコードに従った動作を逐次実行する。

動作パターンデータベース１２２には、図３に示すように、ＡＲマーカ５のフレームイン／フレームアウトの一連の動作パターンの情報と、その動作パターンに対応する表示情報（その動作パターンに応じて表示部１４に表示する内容を示す情報）とが対応付けて格納されている。動作パターンの情報は、一連の動作を構成する各動作の内容（フレームインか、フレームアウトか）、順番、及びその方向（例えば、左から、右から、上から、下から）を含む。なお、フレームアウトはフレームインをしてから行われる動作であるため、奇数の順番の動作はフレームイン、偶数の順番の動作はフレームアウトである。また、動作パターンデータベース１２２には、各方向からの１回目のフレームインのみからなる動作パターンと、それぞれのフレームインの方向の動作に対応する表示情報とが対応付けて記憶されている。
また、記憶部１２には、ＡＲマーカ５の画像パターンを示すパターンファイルが記憶されている。

通信部１３は、ＬＡＮ（Local Area Network）アダプタやルータ等により構成され、ＬＡＮ等の通信ネットワークを介して外部装置と通信接続し、データ送受信を行う。

表示部１４は、ＬＣＤ（Liquid Crystal Display）等により構成され、ＣＰＵ１０からの表示制御信号に従って、画面上に各種表示を行う表示手段である。

操作部１５は、カーソルキー、各種機能キー、シャッターキーを備え、ユーザによる各キーの押下入力を受け付けてその操作情報をＣＰＵ１０に出力する。また、操作部１５は、表示部１４の表面を覆うように透明電極を格子状に配置したタッチパネル等を有し、手指やタッチペン等で押下された位置を検出し、その位置情報を操作情報としてＣＰＵ１０に出力する。

カメラ１６は、レンズ、絞り、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備え、撮像素子上に被写体の光学像を結像し、その像を電気的な信号としてＣＰＵ１０に出力する撮像手段である。
現在時刻取得部１７は、ＲＴＣ（Real Time Clock）等により構成され、現在日時を計測してＣＰＵ１０に出力する。

＜画像処理装置１の動作＞
次に、本実施形態における画像処理装置１の動作について説明する。

図４に、画像処理装置１によって実行される表示制御処理のフローチャートを示す。表示制御処理は、操作部１５によりＡＲマーカアプリケーションの起動が指示された際に、ＣＰＵ１０とプログラム記憶部１２１に記憶されているＡＲマーカアプリケーションプログラムとの協働により実行される。

まず、ＣＰＵ１０は、カメラ１６を起動させる（ステップＳ１）。なお、カメラ１６の起動後、表示制御処理の実行中において、カメラ１６は、所定時間毎に撮像画像を取得する。ＣＰＵ１０は、カメラ１６により取得された撮像画像を現在時刻取得部１７からの現在時刻と対応付けてＲＡＭ１１に記憶するとともに、略リアルタイムで表示部１４の画面上に表示させる。

次いで、ＣＰＵ１０は、ＡＲマーカ５のフレームインが認識されるのを待機する（ステップＳ２）。具体的には、ＣＰＵ１０は、カメラ１６により所定時間毎に取得される撮像画像に対して画像処理によるＡＲマーカ５の認識処理を行う。ＡＲマーカ５の認識処理は、公知の手法により行うことができる。例えば、撮像画像から黒枠で囲まれた矩形領域を認識し、この黒枠で囲まれた領域内の画像パターンと記憶部１２に記憶されているＡＲマーカ５のパターンファイルとを比較し、一致率が所定の閾値以上である場合に、ＡＲマーカ５を認識する。ＡＲマーカ５が認識されていなかった状態から認識された状態となったときに、ＣＰＵ１０は、ＡＲマーカ５がフレームインしたと認識する。

ＡＲマーカ５のフレームインが認識されると（ステップＳ２；ＹＥＳ）、ＣＰＵ１０は、ＡＲマーカ５のフレームインが認識された以降にカメラ１６から取得された複数の撮像画像に基づいて、ＡＲマーカ５の座標の軌跡を取得し、取得された軌跡に基づいて、ＡＲマーカ５がフレームインした方向を認識する（ステップＳ３）。
具体的に、まず、ＣＰＵ１０は、撮像画像上にＸ軸、Ｙ軸、及び座標の原点Ｏ（０，０）を設定する。次いで、図５に示すように、ＡＲマーカ５が認識された状態となった撮像画像及びその後所定時間間隔でカメラ１６により取得されたｎ枚の撮像画像のそれぞれからＡＲマーカ５の中心座標Ｐ１（Ｘ，Ｙ）、Ｐ２（Ｘ，Ｙ）・・・Ｐｎ（Ｘ，Ｙ）を求め、求めた中心座標群に対して回帰曲線Ｌを引く。そして、ＡＲマーカ５が認識された状態となった撮像画像の中心座標Ｐ１（Ｘ，Ｙ）から最も近い位置で回帰曲線とＬ交わった辺Ｅ（表示部１４の画面枠の辺）をＡＲマーカ５がフレームインした辺と認識し、ＡＲマーカ５がフレームインした辺の方向をＡＲマーカ５がフレームインした方向として認識する。例えば、ＡＲマーカ５がフレームインした辺が左であれば、ＡＲマーカ５がフレームインした方向は「左から」と認識する。

次いで、ＣＰＵ１０は、フレームイン／フレームアウト情報記憶部１１１に、ＡＲマーカ５がフレームインした方向の履歴情報を記憶する（ステップＳ４）。

次いで、ＣＰＵ１０は、ＲＡＭ１１のフレームイン／フレームアウト情報記憶部１１１に記憶されている履歴と一致する動作パターンが動作パターンデータベース１２２に記憶されているか否かを判断する（ステップＳ５）。
フレームイン／フレームアウト情報記憶部１１１に記憶されている履歴と一致する動作パターンが動作パターンデータベース１２２に記憶されていると判断した場合（ステップＳ５；ＹＥＳ）、ＣＰＵ１０は、動作パターンデータベース１２２においてその一致する動作パターンに対応付けて記憶されている表示情報に基づいて、表示部１４に表示を行わせる（ステップＳ６）。即ち、ＡＲマーカがフレームインした方向及びフレームアウトした方向の履歴に応じた所定の表示を表示部１４に行わせる。例えば、表示部１４に表示されている撮像画像中のＡＲマーカ５の位置に、動作パターンに応じた仮想物体画像を合成して表示させる。
フレームイン／フレームアウト情報記憶部１１１に記憶されている履歴と一致する動作パターンが動作パターンデータベース１２２に記憶されていないと判断した場合（ステップＳ５；ＮＯ）、ＣＰＵ１０は、ステップＳ７の処理に移行する。即ち、現在表示している情報の表示をそのまま継続させる。

なお、上述のように、動作パターンデータベース１２２には、各方向からの１回目のフレームインのみからなる動作パターンと、それぞれのフレームインの方向に対応する表示情報とが対応付けて記憶されている。よって、初期状態から初めてフレームインが認識された際には、ＡＲマーカ５がフレームインした方向に応じた所定の表示が行われる。

次いで、ＣＰＵ１０は、ＡＲマーカ５のフレームアウトが認識されるのを待機する（ステップＳ７）。この間、ＣＰＵ１０は、カメラ１６により所定時間毎に取得される撮像画像に対し、上述のＡＲマーカ５の認識処理を行い、ＡＲマーカ５が認識されなくなった場合に、ＡＲマーカ５がフレームアウトしたと認識する。

ＡＲマーカ５のフレームアウトを認識すると（ステップＳ７；ＹＥＳ）、ＣＰＵ１０は、内部クロックにより計時を開始する（ステップＳ８）。また、ＣＰＵ１０は、ＡＲマーカ５のフレームアウトが認識される直前にカメラ１６から取得された複数の撮像画像に基づいて、ＡＲマーカ５の座標の軌跡を取得し、この取得された軌跡に基づいて、ＡＲマーカ５がフレームアウトした方向を認識する（ステップＳ９）。具体的に、ＣＰＵ１０は、図５に示すように、ＲＡＭ１１に記憶されている、ＡＲマーカ５が認識されなくなる直前のｎ枚の撮像画像からＡＲマーカ５の中心座標Ｐ１１（Ｘ，Ｙ）、Ｐ１２（Ｘ，Ｙ）・・・Ｐ１ｎ（Ｘ，Ｙ）を求め、求めた中心座標群に対して回帰曲線Ｌを引く。次いで、ＡＲマーカ５が認識されなくなる最も直前の中心座標Ｐ１１（Ｘ，Ｙ）から最も近い位置で回帰曲線Ｌと交わった辺Ｅ（表示部１４の画面枠の辺）をＡＲマーカ５がフレームアウトした辺と認識し、ＡＲマーカ５がフレームアウトした辺の方向をＡＲマーカ５がフレームアウトした方向として認識する。例えば、ＡＲマーカ５がフレームアウトした辺が左であると認識した場合、ＡＲマーカ５がフレームアウトした方向は「左から」と認識する。

次いで、ＣＰＵ１０は、ＲＡＭ１１のフレームイン／フレームアウト情報記憶部１１１に、フレームアウトした方向の履歴情報を記憶する（ステップＳ１０）。

次いで、ＣＰＵ１０は、フレームアウト後の撮像画像に対し、ＡＲマーカ５の認識処理を行い、ＡＲマーカ５のフレームインが認識されたか否かを判断する（ステップＳ１１）。ＡＲマーカ５のフレームインが認識されたと判断した場合（ステップＳ１１；ＹＥＳ）、ＣＰＵ１０は、ステップＳ３の処理に戻り、ステップＳ３〜ステップＳ１１の処理を繰り返し実行する。

ＡＲマーカ５のフレームインが認識されていないと判断した場合（ステップＳ１１；ＮＯ）、ＣＰＵ１０は、計時開始から（即ち、フレームアウトしてから）所定時間が経過したか否かを判断する（ステップＳ１２）。
計時開始から（即ち、フレームアウトしてから）所定時間が経過していないと判断した場合（ステップＳ１２；ＮＯ）、処理はステップＳ１１に戻る。
計時開始から（即ち、フレームアウトしてから）所定時間が経過したと判断した場合（ステップＳ１２；ＹＥＳ）、ＣＰＵ１０は、ＲＡＭ１１に記憶されている撮像画像及びフレームイン／フレームアウト情報記憶部１１１に記憶されている履歴情報をリセット（消去）する（ステップＳ１３）。これにより、初期状態となる。

操作部１５からＡＲマーカアプリケーションの終了指示が入力されるまでステップＳ２〜ステップＳ１３の処理が繰り返し実行される。操作部１５からＡＲマーカアプリケーションの終了指示が入力されると（ステップＳ１４；ＹＥＳ）、ＣＰＵ１０は、表示制御処理を終了する。

ここで、上記の表示制御処理による表示動作について、図６に具体例を挙げて説明する。
例えば、図６（ａ）に示す初期状態において、画像処理装置１を左に動かすと、図６（ｂ）に示すようにＡＲマーカ５が左からフレームインする。ここで、初期状態からこれまでの動作履歴（左からのフレームイン）は、図３に示すように、動作パターンデータベース１２２に記憶されている動作パターンと一致しているので、この動作パターンに対応付けられている表示情報（ウサギ）に基づいて、ＡＲマーカ５の位置にウサギの画像が表示される。

次に、画像処理装置１を右に動かすと、図６（ｃ）に示すように、ＡＲマーカ５が左からフレームアウトする。ここから画像処理装置１を左に動かすと、図６（ｄ）に示すようにＡＲマーカ５が左からフレームインする。ここで、初期状態からこれまでの動作履歴（左からフレームイン→左からフレームアウト→左からフレームイン）は、動作パターンデータベース１２２には記憶されていない。よって、ＡＲマーカ５の上にウサギが引き続き表示される。

次に、画像処理装置１を上に動かすと、図６（ｅ）に示すように、ＡＲマーカ５が下からフレームアウトする。ここから画像処理装置１を下に動かすと、図６（ｆ）に示すようにＡＲマーカ５が下からフレームインする。ここで、初期状態からこれまでの動作履歴（左からフレームイン→左からフレームアウト→左からフレームイン→下からフレームアウト→下からフレームイン）は、動作パターンデータベース１２２に記憶されている動作パターンと一致しているので、この動作パターンに対応付けられている表示情報（ネコ）に基づいて、ＡＲマーカ５の位置にネコの画像が表示される。

このように、図７に示すように、画像処理装置１を上下左右に動かして、一つのＡＲマーカ５を動作パターンデータベース１２２に登録されている動作パターンでフレームイン／フレームアウトさせるだけで、表示部１４にその動作に応じた所望の表示を行わせることができる。

以上説明したように、本実施形態における画像処理装置１によれば、ＣＰＵ１０は、カメラ１６からの撮像画像に基づいて、表示部１４の画面内にＡＲマーカ５がフレームインしたことを認識するとともに、当該ＡＲマーカ５がフレームインした方向を認識し、ＡＲマーカ５がフレームインした方向に応じた所定の表示を表示部１４に行わせる。
従って、同じ一つのＡＲマーカ５であっても、ＡＲマーカ５がフレームインした方向に応じて異なる複数の表示を表示部１４に行わせることが可能となる。その結果、ＡＲマーカの種類を選択するための選択操作を行う必要がなくなり、利便性が向上する。

また、ＣＰＵ１０は、ＡＲマーカ５がフレームインした方向及びフレームアウトした方向の履歴情報をフレームイン／フレームアウト情報記憶部１１１に記憶しておき、ＡＲマーカ５のフレームインが認識された際に、フレームイン／フレームアウト情報記憶部１１１に記憶されているＡＲマーカ５がフレームインした方向及びフレームアウトした方向の履歴に応じた所定の表示を表示部１４に行わせる。
従って、同じ一つのＡＲマーカ５であっても、ＡＲマーカ５がフレームインした方向及びフレームアウトした方向の一連の動作に応じて異なる複数の表示を表示部１４に行わせることが可能となる。その結果、ＡＲマーカの種類を選択するための選択操作を行う必要がなくなり、利便性が向上する。

また、ＣＰＵ１０は、ＡＲマーカ５がフレームインした方向及びフレームアウトした方向の認識を画像処理技術を用いて行うため、加速度センサ等のハードウエアを搭載することなく、簡単な装置構成で実現することが可能となる。

なお、上記実施形態における記述内容は、画像処理装置の好適な一例であり、これに限定されるものではない。

例えば、上記実施形態においては、画像処理装置１がスマートフォン等の手に持つタイプの移動型端末である場合を例にとり説明したが、眼鏡型ＨＭＤ（Head Mounted Display）等であってもよい。この場合、図８に示すように、首振り動作でマーカのフレームイン、フレームアウトを行うことができるので、ハンズフリーで表示部１４への表示を切り替えることが可能となる。

また、上記実施形態においては、様々な方向からのフレームイン及びフレームアウトを組み合わせた動作パターンに対して表示情報を予め対応付けておくこととしたが、例えば、フレームインのみの動作パターン（例えば、右からフレームイン→左からフレームイン→上からフレームイン・・・等）に表示情報を対応付けて記憶しておくこととしてもよい。そして、ＡＲマーカ５のフレームインが認識された際に、ＣＰＵ１０は、ＡＲマーカ５がフレームインした方向の履歴が予め記憶された動作パターンに一致するか否かを判断し、一致した場合に、その動作パターンに応じた表示情報に基づき表示部１４の表示を行うこととしてもよい。また、例えば、フレームアウトのみの動作パターン（例えば、右からフレームアウト→左からフレームアウト→上からフレームアウト・・・等）に表示情報を対応付けて記憶しておくこととしてもよい。そして、ＡＲマーカ５のフレームインが認識された際に、ＣＰＵ１０は、それまでにＡＲマーカ５がフレームアウトした方向の履歴が予め記憶された動作パターンに一致するか否かを判断し、一致した場合に、その動作パターンに応じた表示情報に基づき表示部１４の表示を行うこととしてもよい。

また、上記実施形態においては、初期状態からのフレームイン及びフレームアウトの一連の動作履歴が動作パターンデータベース１２２に記憶された動作パターンと一致した場合に、その動作パターンに応じた表示を行うこととしたが、これに限定されない。
例えば、記憶部１２に、フレームインの方向と、これに対応する表示情報とを予め対応付けて記憶しておき、ＣＰＵ１０は、ＡＲマーカ５がフレームインした方向が認識される毎に、認識されたフレームインの方向に予め対応付けられた表示情報に基づいて、ＡＲマーカ５がフレームインした方向に応じた所定の表示を表示部１４に行わせることとしてもよい。
また、例えば、記憶部１２に、フレームアウトの方向と、これに対応する表示情報とを予め対応付けて記憶しておき、ＣＰＵ１０は、ＡＲマーカ５のフレームアウトの方向を認識すると、その認識した方向をＲＡＭ１１に記憶し、ＡＲマーカ５のフレームインが認識されると、その直前に認識されたフレームアウトの方向に予め対応付けられた表示情報に基づいて、直前にＡＲマーカ５がフレームアウトした方向に応じた所定の表示を表示部１４に行わせることとしてもよい。
また、例えば、記憶部１２に、フレームアウトの方向と、これに対応する表示情報とを予め対応付けて記憶しておき、ＣＰＵ１０は、ＡＲマーカ５のフレームアウトの方向を認識すると、そのフレームアウトした方向に対応付けられた表示情報を表示してもよい。この時、マーカ５のフレームアウトをトリガとして表示情報を表示しているため、その後、マーカ５がフレームインしなくても表示情報を表示することができる。
このようにしても、上記実施形態と同様に、同じ一つのＡＲマーカ５であっても、ＡＲマーカ５がフレームインした方向やフレームアウトした方向に応じて異なる複数の表示を表示部１４に行わせることが可能となる。

また、上記実施形態においては、画像処理技術によってＡＲマーカ５がフレームインした方向及びフレームアウトした方向を認識することとしたが、加速度センサやジャイロセンサを搭載している画像処理装置１であれば、これらによってフレームインした方向及びフレームアウトした方向を認識することとしてもよい。

また、上記実施形態においては、一つのＡＲマーカ５に基づく表示について説明したが、ＡＲマーカの種類は複数あってもよい。この場合、動作パターンデータベース１２２は、ＡＲマーカの種類毎に複数記憶され、認識されたＡＲパターンの種類に応じた動作パターンデータベースを用いて表示制御処理が行われる。

また、ＡＲマーカ５がフレームインした方向及びフレームアウトした方向だけでなく、フレームインしてからフレームアウトするまでの時間も表示内容を制御するためのパラメータとしてもよい。

また、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

その他、画像処理装置を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
[付記]
＜請求項１＞
撮像手段と、
前記撮像手段により取得された撮像画像を表示する表示手段と、
前記表示手段の画面内に所定のマーカがフレームインしたことを認識するフレームイン認識手段と、
前記マーカがフレームインした方向を認識するフレームイン方向認識手段と、
前記マーカがフレームインした方向に応じた所定の表示を前記表示手段に行わせる制御手段と、
を備える画像処理装置。
＜請求項２＞
前記表示手段の画面から前記マーカがフレームアウトしたことを認識するフレームアウト認識手段と、
前記マーカがフレームアウトした方向を認識するフレームアウト方向認識手段と、
前記マーカがフレームインした方向及びフレームアウトした方向の履歴情報を記憶する記憶手段と、
を更に備え、
前記制御手段は、前記マーカのフレームアウトが認識された後に前記マーカのフレームインが認識された際に、前記記憶手段に記憶されている前記マーカがフレームインした方向及びフレームアウトした方向の履歴に応じた所定の表示を前記表示手段に行わせる請求項１に記載の画像処理装置。
＜請求項３＞
撮像手段と、
前記撮像手段により取得された撮像画像を表示する表示手段と、
前記表示手段の画面内に所定のマーカがフレームインしたことを認識するフレームイン認識手段と、
前記表示手段の画面から前記マーカがフレームアウトしたことを認識するフレームアウト認識手段と、
前記マーカがフレームアウトした方向を認識するフレームアウト方向認識手段と、
前記マーカがフレームアウトした方向を記憶する記憶手段と、
前記マーカのフレームアウトが認識された後に前記マーカのフレームインが認識された際に、前記記憶手段に記憶されている前記マーカがフレームアウトした方向に応じた所定の表示を前記表示手段に行わせる制御手段と、
を備える画像処理装置。
＜請求項４＞
前記フレームイン方向認識手段は、前記マーカのフレームインが認識された以降に前記撮像手段から取得された複数の撮像画像に基づいて、前記マーカのフレームインが認識された後の前記マーカの座標の軌跡を取得し、この取得された軌跡に基づいて、前記マーカがフレームインした方向を認識する請求項１又は２に記載の画像処理装置。
＜請求項５＞
前記フレームアウト方向認識手段は、前記マーカのフレームアウトが認識される直前に前記撮像手段から取得された複数の撮像画像に基づいて、前記マーカのフレームアウトが認識される直前の前記マーカの座標の軌跡を取得し、この取得された軌跡に基づいて、前記マーカがフレームアウトした方向を認識する請求項２又は３に記載の画像処理装置。
＜請求項６＞
撮像手段と、
前記撮像手段により取得された撮像画像を表示する表示手段と、
前記表示手段の画面内に所定のマーカを認識するマーカ認識手段と、
前記マーカがフレームアウトした方向を認識するフレームアウト方向認識手段と、
前記マーカがフレームアウトした方向に応じた所定の表示を前記表示手段に行わせる制御手段と、
を備える画像処理装置。
＜請求項７＞
撮像手段を備える画像処理装置に用いられるコンピュータを、
前記撮像手段により取得された撮像画像を表示する表示手段、
前記表示手段の画面内に所定のマーカがフレームインしたことを認識するフレームイン認識手段、
前記マーカがフレームインした方向を認識するフレームイン方向認識手段、
前記マーカがフレームインした方向に応じた所定の表示を前記表示手段に行わせる制御手段、
として機能させるためのプログラム。
＜請求項８＞
撮像手段を備える画像処理装置に用いられるコンピュータを、
前記撮像手段により取得された撮像画像を表示する表示手段、
前記表示手段の画面内に所定のマーカがフレームインしたことを認識するフレームイン認識手段、
前記表示手段の画面から前記マーカがフレームアウトしたことを認識するフレームアウト認識手段、
前記マーカがフレームアウトした方向を認識するフレームアウト方向認識手段、
前記マーカがフレームアウトした方向を記憶する記憶手段、
前記マーカのフレームアウトが認識された後に前記マーカのフレームインが認識された際に、前記記憶手段に記憶されている前記マーカがフレームアウトした方向に応じた所定の表示を前記表示手段に行わせる制御手段、
として機能させるためのプログラム。
＜請求項９＞
撮像手段を備える画像処理装置に用いられるコンピュータを、
前記撮像手段により取得された撮像画像を表示する表示手段、
前記表示手段の画面内に所定のマーカを認識するマーカ認識手段、
前記マーカがフレームアウトした方向を認識するフレームアウト方向認識手段、
前記マーカがフレームアウトした方向に応じた所定の表示を前記表示手段に行わせる制御手段、
として機能させるためのプログラム。

１ 画像処理装置
１０ ＣＰＵ
１１ ＲＡＭ
１１１ フレームイン／フレームアウト情報記憶部
１２ 記憶部
１２１ プログラム記憶部
１２２ 動作パターンデータベース
１３ 通信部
１４ 表示部
１５ 操作部
１６ カメラ
１７ 現在時刻取得部

Claims (9)

1. 撮像手段と、
   前記撮像手段により取得された撮像画像を表示する表示手段と、
   前記表示手段の画面内に所定のマーカがフレームインしたことを認識するフレームイン認識手段と、
   前記マーカがフレームインした方向を認識するフレームイン方向認識手段と、
   前記マーカがフレームインした方向に応じた所定の表示を前記表示手段に行わせる制御手段と、
   を備える画像処理装置。
2. 前記表示手段の画面から前記マーカがフレームアウトしたことを認識するフレームアウト認識手段と、
   前記マーカがフレームアウトした方向を認識するフレームアウト方向認識手段と、
   前記マーカがフレームインした方向及びフレームアウトした方向の履歴情報を記憶する記憶手段と、
   を更に備え、
   前記制御手段は、前記マーカのフレームアウトが認識された後に前記マーカのフレームインが認識された際に、前記記憶手段に記憶されている前記マーカがフレームインした方向及びフレームアウトした方向の履歴に応じた所定の表示を前記表示手段に行わせる請求項１に記載の画像処理装置。
3. 撮像手段と、
   前記撮像手段により取得された撮像画像を表示する表示手段と、
   前記表示手段の画面内に所定のマーカがフレームインしたことを認識するフレームイン認識手段と、
   前記表示手段の画面から前記マーカがフレームアウトしたことを認識するフレームアウト認識手段と、
   前記マーカがフレームアウトした方向を認識するフレームアウト方向認識手段と、
   前記マーカがフレームアウトした方向を記憶する記憶手段と、
   前記マーカのフレームアウトが認識された後に前記マーカのフレームインが認識された際に、前記記憶手段に記憶されている前記マーカがフレームアウトした方向に応じた所定の表示を前記表示手段に行わせる制御手段と、
   を備える画像処理装置。
4. 前記フレームイン方向認識手段は、前記マーカのフレームインが認識された以降に前記撮像手段から取得された複数の撮像画像に基づいて、前記マーカのフレームインが認識された後の前記マーカの座標の軌跡を取得し、この取得された軌跡に基づいて、前記マーカがフレームインした方向を認識する請求項１又は２に記載の画像処理装置。
5. 前記フレームアウト方向認識手段は、前記マーカのフレームアウトが認識される直前に前記撮像手段から取得された複数の撮像画像に基づいて、前記マーカのフレームアウトが認識される直前の前記マーカの座標の軌跡を取得し、この取得された軌跡に基づいて、前記マーカがフレームアウトした方向を認識する請求項２又は３に記載の画像処理装置。
6. 撮像手段と、
   前記撮像手段により取得された撮像画像を表示する表示手段と、
   前記表示手段の画面内に所定のマーカを認識するマーカ認識手段と、
   前記マーカがフレームアウトした方向を認識するフレームアウト方向認識手段と、
   前記マーカがフレームアウトした方向に応じた所定の表示を前記表示手段に行わせる制御手段と、
   を備える画像処理装置。
7. 撮像手段を備える画像処理装置に用いられるコンピュータを、
   前記撮像手段により取得された撮像画像を表示する表示手段、
   前記表示手段の画面内に所定のマーカがフレームインしたことを認識するフレームイン認識手段、
   前記マーカがフレームインした方向を認識するフレームイン方向認識手段、
   前記マーカがフレームインした方向に応じた所定の表示を前記表示手段に行わせる制御手段、
   として機能させるためのプログラム。
8. 撮像手段を備える画像処理装置に用いられるコンピュータを、
   前記撮像手段により取得された撮像画像を表示する表示手段、
   前記表示手段の画面内に所定のマーカがフレームインしたことを認識するフレームイン認識手段、
   前記表示手段の画面から前記マーカがフレームアウトしたことを認識するフレームアウト認識手段、
   前記マーカがフレームアウトした方向を認識するフレームアウト方向認識手段、
   前記マーカがフレームアウトした方向を記憶する記憶手段、
   前記マーカのフレームアウトが認識された後に前記マーカのフレームインが認識された際に、前記記憶手段に記憶されている前記マーカがフレームアウトした方向に応じた所定の表示を前記表示手段に行わせる制御手段、
   として機能させるためのプログラム。
9. 撮像手段を備える画像処理装置に用いられるコンピュータを、
   前記撮像手段により取得された撮像画像を表示する表示手段、
   前記表示手段の画面内に所定のマーカを認識するマーカ認識手段、
   前記マーカがフレームアウトした方向を認識するフレームアウト方向認識手段、
   前記マーカがフレームアウトした方向に応じた所定の表示を前記表示手段に行わせる制御手段、
   として機能させるためのプログラム。

Images