WO2016043342A2 - 情報処理装置 - Google Patents
情報処理装置 Download PDFInfo
- Publication number
- WO2016043342A2 WO2016043342A2 PCT/JP2015/077225 JP2015077225W WO2016043342A2 WO 2016043342 A2 WO2016043342 A2 WO 2016043342A2 JP 2015077225 W JP2015077225 W JP 2015077225W WO 2016043342 A2 WO2016043342 A2 WO 2016043342A2
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- information processing
- information
- processing apparatus
- screen
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
Abstract
市場にて容易に入手できるコンポーネントを利用できる優れたインターフェースを実現する。情報処理装置は、一面側に配置された画像表示部１１０と、一面の所定の位置に設けられ、一面が向く方向を撮影する撮影手段１２０とを備える。撮影手段１２０には、画像表示部１１０の少なくとも一部の画像を撮影するよう光を導く光学装置１３０が載置される。画像表示部１１０の画面１１１上に位置する対象物１５３ａ，１５３ｂおよび／または画面１１１近傍に位置する対象物１５３ｃ，１５３ｄを含む画像を、撮影手段１２０に撮影させる。撮影させた撮影画像に基づいて、対象物の種類、位置、向き、移動量、回転量、および輪郭の内の少なくとも１つを特定し、特定した対象物の情報に基づいて画像表示部１１０を制御する。
Description
本発明は、撮影手段により撮影された画像に基づいて処理する情報処理装置、情報処理装置に設けられる撮影手段と組み合わされる光学装置、情報処理装置と光学装置を含む情報処理システム、撮影手段により撮影された画像に基づく処理に用いられるプログラム、及びこれらとともに用いられる対象物に関する。
従来、画面上に載置されたカードなどの位置や動きに応じて処理する情報処理装置が知られている。
特許文献１には、ステージ面に載置されたカードをステージ面の下に配置されたカメラで撮影してカードの位置を特定する情報出力装置が開示されている。ステージ面の下にはプロジェクタが配置されており、カードの位置に応じた画像をステージ面に投影する。ユーザがカードを移動させると、例えばユーザが所望する映像がステージ面に投影される。
カードは、情報出力装置に映像の投影に関する指示を与えるためのインターフェースとして機能する。カードを動かすという直感的な動作により、情報出力装置に指示を与えることができる。
特許文献１には、ステージ面に載置されたカードをステージ面の下に配置されたカメラで撮影してカードの位置を特定する情報出力装置が開示されている。ステージ面の下にはプロジェクタが配置されており、カードの位置に応じた画像をステージ面に投影する。ユーザがカードを移動させると、例えばユーザが所望する映像がステージ面に投影される。
カードは、情報出力装置に映像の投影に関する指示を与えるためのインターフェースとして機能する。カードを動かすという直感的な動作により、情報出力装置に指示を与えることができる。
しかしながら、特許文献１の情報出力装置では、上記のような優れたインターフェースを実現するために、映像を投影するためのディスプレイやカードの位置を特定するための高価な光学系を専用に設計・製造する必要がある。市場にて容易に入手できるコンポーネントを適用することが難しい。
本発明の目的は、このような点に鑑みてなされたものであり、市場にて容易に入手できるコンポーネントを利用できる優れたインターフェースを実現する情報処理装置を提供することである。また、本発明の目的は、本発明に係る情報処理装置と組み合わされる簡便な光学装置を提供することである。また、本発明の目的は、本発明に係る情報処理装置を簡便な光学装置と組み合わせることで、優れたインターフェースを安価に実現する情報処理システムを提供することである。また、本発明の目的は、本発明に係る情報処理装置を利用するプログラムを提供することである。本発明に係る情報処理装置、光学装置、情報処理システム、又はプログラムとともに用いられる対象物を提供することである。
本発明の目的は、このような点に鑑みてなされたものであり、市場にて容易に入手できるコンポーネントを利用できる優れたインターフェースを実現する情報処理装置を提供することである。また、本発明の目的は、本発明に係る情報処理装置と組み合わされる簡便な光学装置を提供することである。また、本発明の目的は、本発明に係る情報処理装置を簡便な光学装置と組み合わせることで、優れたインターフェースを安価に実現する情報処理システムを提供することである。また、本発明の目的は、本発明に係る情報処理装置を利用するプログラムを提供することである。本発明に係る情報処理装置、光学装置、情報処理システム、又はプログラムとともに用いられる対象物を提供することである。
本発明の第１の態様に係る情報処理装置は、
一面側に配置された画像表示部と、
前記一面の所定の位置に設けられ、該一面が向く方向を撮影する撮影手段と、
を備える情報処理装置であって、
前記画像表示部の少なくとも一部の画像が撮影されるよう光を前記撮影手段に導く光学装置が取り付けられ、
前記画像表示部の画面上に位置する対象物を含む画像、又は、画面上に位置する対象物と画面近傍に位置する対象物とを含む画像を前記撮影手段に撮影させ、
前記撮影させた撮影画像に基づいて処理する。
本発明の第２の態様に係る情報処理装置は、
前記撮影画像に基づいて、対象物の種類、前記画像表示部の前記画面上に位置する対象物の位置、前記画面上に位置する対象物の向き、前記画面上に位置する対象物の移動量、前記画面上に位置する対象物の回転量、及び前記画面上に位置する対象物の輪郭の内の少なくとも１つを特定し、
特定した対象物の情報に基づいて処理する。
本発明の第３の態様に係る情報処理装置では、
前記対象物には、グラフィック、マーク、マークの配列、自動認識コードのパターンの内の少なくとも１つを含む指標が設けられており、
前記撮影画像に含まれる該指標の画像に基づいて対象物を特定し、該特定した対象物に基づいて処理する。
本発明の第４の態様に係る情報処理装置では、
前記自動認識コードは、バーコード、２次元コード、ドットコードの内の少なくとも１つを含む。
本発明の第５の態様に係る情報処理装置では、
前記対象物には、ドットパターンが設けられており、
前記ドットパターンは、１以上の情報ドットを含む１以上のブロックを有し、
各ブロックに含まれる１以上の情報ドットで表現される情報は、前記対象物における該ブロックの位置情報及び／又はコード値を含んでいる。
本発明の第６の態様に係る情報処理装置では、
前記情報ドットの各々には、該情報ドットの配置、大きさ、形状、色の内の少なくとも１つに基づいて基礎情報が定義される。
本発明の第７の態様に係る情報処理装置では、
前記指標は、所定の波長の光を吸収する特性、所定の波長の光を反射する特性、及び、所定の特性をもった光に反応して該光とは異なる特性をもつ光を発する特性の内の少なくとも１つをもつ。
本発明の第８の態様に係る情報処理装置では、
前記処理は、前記画像表示部の制御を含む。
本発明の第９の態様に係る情報処理装置では、
前記光学装置は、プリズム、ミラー、及び光ファイバの内の少なくとも１つを含む。
本発明の第１０の態様に係る情報処理装置では、
前記対象物は、印刷媒体、薄板状の媒体、及びフィギアの内の少なくとも１つを含む。
本発明の第１１の態様に係る情報処理装置は、板状である。
本発明の第１２の態様に係る情報処理装置は、
前記対象物の所定領域を示す指示体と該対象物の所定領域、又は、前記対象物の所定領域に当接した指示体と該対象物の所定領域を、前記撮影画像に基づいてさらに特定し、
特定した対象物の所定領域に基づいて、又は、特定した対象物の所定領域及び該指示体に基づいて処理する。
本発明の第１３の態様に係る情報処理装置では、
前記対象物には、ドットパターンが設けられており、
前記ドットパターンは、１以上の情報ドットを含む１以上のブロックを有し、
各ブロックに含まれる１以上の情報ドットで表現される情報は、前記対象物における該ブロックの位置情報を含んでおり、
前記撮影画像に基づいて前記所定領域を特定する際、前記対象物におけるブロックの位置情報に基づいて特定する。
本発明の第１４の態様に係る情報処理装置は、
前記画像表示部又は前記対象物に当接された指示体の画面上の位置を検知する検知手段をさらに有しており、
検知された該指示体の画面上の位置と前記特定された対象物の情報とに基づいて処理する、又は、検知された該指示体の画面上の位置と前記特定された対象物の情報とに基づいて該指示体が当接された対象物の所定領域を特定し、該特定した所定対象物の領域と前記特定された対象物の情報とに基づいて処理する。
本発明の第１５の態様に係る情報処理装置では、
前記検知手段は、静電容量タッチパネルである。
本発明の第１６の態様に係る情報処理装置では、
前記撮影画像は、静止画又は動画を形成する。
本発明の第１７の態様に係る情報処理装置では、
前記撮影手段により動作体の動画が撮影され、
該動画に基づいて動作体の動作をさらに特定し、処理する際、該特定した動作体の動作にさらに基づく。
本発明の第１８の態様に係る情報処理装置では、
前記指示体は、指である。
本発明の第１９の態様に係る情報処理装置では、
前記光学装置は、前記撮影手段が撮影する撮影領域を変更できる。
本発明の第２０の態様に係る情報処理装置では、
前記撮影領域の変更は、前記撮影領域の移動、拡大、縮小の内の少なくとも１つを含む。
本発明の第２１の態様に係る情報処理装置では、
互いに識別可能な複数の識別画像を含むキャリブレーション画像を前記画像表示部の画面に表示させて、複数の識別画像によりそれぞれ画面上の基準点を指定させ、
前記撮影手段に撮影させた撮影画像に基づいて該撮影画像に含まれた各識別画像を識別し、該識別した識別画像により指定される基準点の位置を示す撮影画像基準位置を特定し、
前記画像表示部の画面に表示された表示画像に含まれる識別画像から、該識別した識別画像と同一のものを特定して、該同一と特定された識別画像により指定される基準点の位置を示す表示画像基準位置を特定し、
前記特定した撮影画像基準位置と、前記特定した表示画像基準位置との対応を示す基準対応関係を求め、
前記基準対応関係に基づいて、撮影画像における位置と表示画像における位置との対応を示す位置対応関係を求め、
該位置対応関係と前記撮影画像に基づいて対象物の情報を特定する。
本発明の第２２の態様に係る情報処理装置では、
前記撮影画像における位置（ｘ，ｙ）と、前記表示画像における位置（Ｘ，Ｙ）との対応を示す前記位置対応関係を求める際、
（Ｘ，Ｙ）＝Ｆ（ｘ，ｙ）
で定義される、前記位置対応関係を決める関数Ｆ、又は前記位置対応関係を決めるテーブルを求める。
本発明の第２３の態様に係る情報処理装置では、
前記キャリブレーション画像は、格子線、シンボルの配列又はドットパターンを表し、前記複数の識別画像で形成される画像を含む。
本発明の第２４の態様に係る情報処理装置では、
前記格子線を表す画像を形成する前記識別画像は、線の種類、線の色、線の太さ、線の間隔の内の少なくとも１つに基づいて識別される。
本発明の第２５の態様に係る情報処理装置では、
前記格子線を表す画像を形成する前記複数の識別画像は、該格子線で区切られた複数の格子領域を囲む矩形の線をそれぞれ表しており、
該識別画像は、矩形の辺の比に基づいて識別される。
本発明の第２６の態様に係る情報処理装置では、
前記シンボルの配列を表す画像を形成する前記識別画像は、シンボルの形状、シンボルの大きさ、シンボルの色、シンボルの配置パターンの内の少なくとも１つに基づいて識別される。
本発明の第２７の態様に係る情報処理装置では、
ドットパターンを含む画像を前記画像表示部の画面に表示させ、
前記ドットパターンは、１以上の情報ドットを含む１以上のブロックを有し、
各ブロックに含まれる１以上の情報ドットで表現される情報は、該ブロックが表示される位置を含む情報を含んでいる。
本発明の第２８の態様に係る情報処理装置では、
前記撮影手段により撮影された撮影画像に基づいて、該撮影画像に含まれた前記画像表示部の画面の画像の輪郭の一部又は全部を特定し、
前記特定した輪郭の一部又は全部に基づいて、前記撮影手段により撮影される撮影画像における位置と前記画像表示部の画面に表示される表示画像における位置との対応を示す位置対応関係を求め、
該位置対応関係と前記撮影画像に基づいて対象物の情報を特定する。
本発明の第２９の態様に係る情報処理装置では、
前記光学装置には、前記撮影手段により撮影される撮影領域を照射する照射手段が設けられる。
本発明の第３０の態様に係る情報処理装置では、
前記照射手段は、所定の波長の光を照射する。
本発明の第３１の態様に係る情報処理装置では、
前記光学装置には、第１の波長の光を透過し、第２の波長の光を遮断するフィルタが設けられ、該フィルタを介して前記撮影領域が撮影される。
本発明の一態様に係る光学装置は、上記第１乃至第３１の態様に係る情報処理装置と組み合わされる。
本発明の一態様に係る情報処理システムは、上記第１乃至第３１の態様に係る情報処理装置、上記一態様に係る光学装置、及び上記第１乃至第３１の態様に係る情報処理装置と組み合わされる対象物を備える。
本発明の一態様に係るプログラムは、上記一態様に係る情報処理システムと組み合わされ、前記処理を情報処理装置に実行させる。
本発明の一態様に係る対象物は、上記第１乃至第３１の態様に係る情報処理装置と組み合わされる。
一面側に配置された画像表示部と、
前記一面の所定の位置に設けられ、該一面が向く方向を撮影する撮影手段と、
を備える情報処理装置であって、
前記画像表示部の少なくとも一部の画像が撮影されるよう光を前記撮影手段に導く光学装置が取り付けられ、
前記画像表示部の画面上に位置する対象物を含む画像、又は、画面上に位置する対象物と画面近傍に位置する対象物とを含む画像を前記撮影手段に撮影させ、
前記撮影させた撮影画像に基づいて処理する。
本発明の第２の態様に係る情報処理装置は、
前記撮影画像に基づいて、対象物の種類、前記画像表示部の前記画面上に位置する対象物の位置、前記画面上に位置する対象物の向き、前記画面上に位置する対象物の移動量、前記画面上に位置する対象物の回転量、及び前記画面上に位置する対象物の輪郭の内の少なくとも１つを特定し、
特定した対象物の情報に基づいて処理する。
本発明の第３の態様に係る情報処理装置では、
前記対象物には、グラフィック、マーク、マークの配列、自動認識コードのパターンの内の少なくとも１つを含む指標が設けられており、
前記撮影画像に含まれる該指標の画像に基づいて対象物を特定し、該特定した対象物に基づいて処理する。
本発明の第４の態様に係る情報処理装置では、
前記自動認識コードは、バーコード、２次元コード、ドットコードの内の少なくとも１つを含む。
本発明の第５の態様に係る情報処理装置では、
前記対象物には、ドットパターンが設けられており、
前記ドットパターンは、１以上の情報ドットを含む１以上のブロックを有し、
各ブロックに含まれる１以上の情報ドットで表現される情報は、前記対象物における該ブロックの位置情報及び／又はコード値を含んでいる。
本発明の第６の態様に係る情報処理装置では、
前記情報ドットの各々には、該情報ドットの配置、大きさ、形状、色の内の少なくとも１つに基づいて基礎情報が定義される。
本発明の第７の態様に係る情報処理装置では、
前記指標は、所定の波長の光を吸収する特性、所定の波長の光を反射する特性、及び、所定の特性をもった光に反応して該光とは異なる特性をもつ光を発する特性の内の少なくとも１つをもつ。
本発明の第８の態様に係る情報処理装置では、
前記処理は、前記画像表示部の制御を含む。
本発明の第９の態様に係る情報処理装置では、
前記光学装置は、プリズム、ミラー、及び光ファイバの内の少なくとも１つを含む。
本発明の第１０の態様に係る情報処理装置では、
前記対象物は、印刷媒体、薄板状の媒体、及びフィギアの内の少なくとも１つを含む。
本発明の第１１の態様に係る情報処理装置は、板状である。
本発明の第１２の態様に係る情報処理装置は、
前記対象物の所定領域を示す指示体と該対象物の所定領域、又は、前記対象物の所定領域に当接した指示体と該対象物の所定領域を、前記撮影画像に基づいてさらに特定し、
特定した対象物の所定領域に基づいて、又は、特定した対象物の所定領域及び該指示体に基づいて処理する。
本発明の第１３の態様に係る情報処理装置では、
前記対象物には、ドットパターンが設けられており、
前記ドットパターンは、１以上の情報ドットを含む１以上のブロックを有し、
各ブロックに含まれる１以上の情報ドットで表現される情報は、前記対象物における該ブロックの位置情報を含んでおり、
前記撮影画像に基づいて前記所定領域を特定する際、前記対象物におけるブロックの位置情報に基づいて特定する。
本発明の第１４の態様に係る情報処理装置は、
前記画像表示部又は前記対象物に当接された指示体の画面上の位置を検知する検知手段をさらに有しており、
検知された該指示体の画面上の位置と前記特定された対象物の情報とに基づいて処理する、又は、検知された該指示体の画面上の位置と前記特定された対象物の情報とに基づいて該指示体が当接された対象物の所定領域を特定し、該特定した所定対象物の領域と前記特定された対象物の情報とに基づいて処理する。
本発明の第１５の態様に係る情報処理装置では、
前記検知手段は、静電容量タッチパネルである。
本発明の第１６の態様に係る情報処理装置では、
前記撮影画像は、静止画又は動画を形成する。
本発明の第１７の態様に係る情報処理装置では、
前記撮影手段により動作体の動画が撮影され、
該動画に基づいて動作体の動作をさらに特定し、処理する際、該特定した動作体の動作にさらに基づく。
本発明の第１８の態様に係る情報処理装置では、
前記指示体は、指である。
本発明の第１９の態様に係る情報処理装置では、
前記光学装置は、前記撮影手段が撮影する撮影領域を変更できる。
本発明の第２０の態様に係る情報処理装置では、
前記撮影領域の変更は、前記撮影領域の移動、拡大、縮小の内の少なくとも１つを含む。
本発明の第２１の態様に係る情報処理装置では、
互いに識別可能な複数の識別画像を含むキャリブレーション画像を前記画像表示部の画面に表示させて、複数の識別画像によりそれぞれ画面上の基準点を指定させ、
前記撮影手段に撮影させた撮影画像に基づいて該撮影画像に含まれた各識別画像を識別し、該識別した識別画像により指定される基準点の位置を示す撮影画像基準位置を特定し、
前記画像表示部の画面に表示された表示画像に含まれる識別画像から、該識別した識別画像と同一のものを特定して、該同一と特定された識別画像により指定される基準点の位置を示す表示画像基準位置を特定し、
前記特定した撮影画像基準位置と、前記特定した表示画像基準位置との対応を示す基準対応関係を求め、
前記基準対応関係に基づいて、撮影画像における位置と表示画像における位置との対応を示す位置対応関係を求め、
該位置対応関係と前記撮影画像に基づいて対象物の情報を特定する。
本発明の第２２の態様に係る情報処理装置では、
前記撮影画像における位置（ｘ，ｙ）と、前記表示画像における位置（Ｘ，Ｙ）との対応を示す前記位置対応関係を求める際、
（Ｘ，Ｙ）＝Ｆ（ｘ，ｙ）
で定義される、前記位置対応関係を決める関数Ｆ、又は前記位置対応関係を決めるテーブルを求める。
本発明の第２３の態様に係る情報処理装置では、
前記キャリブレーション画像は、格子線、シンボルの配列又はドットパターンを表し、前記複数の識別画像で形成される画像を含む。
本発明の第２４の態様に係る情報処理装置では、
前記格子線を表す画像を形成する前記識別画像は、線の種類、線の色、線の太さ、線の間隔の内の少なくとも１つに基づいて識別される。
本発明の第２５の態様に係る情報処理装置では、
前記格子線を表す画像を形成する前記複数の識別画像は、該格子線で区切られた複数の格子領域を囲む矩形の線をそれぞれ表しており、
該識別画像は、矩形の辺の比に基づいて識別される。
本発明の第２６の態様に係る情報処理装置では、
前記シンボルの配列を表す画像を形成する前記識別画像は、シンボルの形状、シンボルの大きさ、シンボルの色、シンボルの配置パターンの内の少なくとも１つに基づいて識別される。
本発明の第２７の態様に係る情報処理装置では、
ドットパターンを含む画像を前記画像表示部の画面に表示させ、
前記ドットパターンは、１以上の情報ドットを含む１以上のブロックを有し、
各ブロックに含まれる１以上の情報ドットで表現される情報は、該ブロックが表示される位置を含む情報を含んでいる。
本発明の第２８の態様に係る情報処理装置では、
前記撮影手段により撮影された撮影画像に基づいて、該撮影画像に含まれた前記画像表示部の画面の画像の輪郭の一部又は全部を特定し、
前記特定した輪郭の一部又は全部に基づいて、前記撮影手段により撮影される撮影画像における位置と前記画像表示部の画面に表示される表示画像における位置との対応を示す位置対応関係を求め、
該位置対応関係と前記撮影画像に基づいて対象物の情報を特定する。
本発明の第２９の態様に係る情報処理装置では、
前記光学装置には、前記撮影手段により撮影される撮影領域を照射する照射手段が設けられる。
本発明の第３０の態様に係る情報処理装置では、
前記照射手段は、所定の波長の光を照射する。
本発明の第３１の態様に係る情報処理装置では、
前記光学装置には、第１の波長の光を透過し、第２の波長の光を遮断するフィルタが設けられ、該フィルタを介して前記撮影領域が撮影される。
本発明の一態様に係る光学装置は、上記第１乃至第３１の態様に係る情報処理装置と組み合わされる。
本発明の一態様に係る情報処理システムは、上記第１乃至第３１の態様に係る情報処理装置、上記一態様に係る光学装置、及び上記第１乃至第３１の態様に係る情報処理装置と組み合わされる対象物を備える。
本発明の一態様に係るプログラムは、上記一態様に係る情報処理システムと組み合わされ、前記処理を情報処理装置に実行させる。
本発明の一態様に係る対象物は、上記第１乃至第３１の態様に係る情報処理装置と組み合わされる。
撮影手段を備える本発明の情報処理装置、光学装置、情報処理システム、プログラム、及び対象物を用いれば、市場にて容易に入手できるコンポーネントを利用して優れたインターフェースを実現できる。
図１は本発明の一実施の形態に係る情報処理システムの平面図。
図２は本発明の一実施の形態に係る情報処理システムの側面図。
図３は本発明の一実施の形態に係る光学装置の斜視図であり、（ａ）は、カバーを取り外した状態を示す図。（ｂ）は、カバーを取り付けた状態を示す図。（ｃ）は、照射手段を取り付けた状態を示す図。
図４は本発明の別の実施の形態に係る、プリズムを含む光学装置の斜視図。
図５は本発明のまた別の実施の形態に係る、光ファイバモジュールを含む光学装置の斜視図。
図６は本発明のさらに別の実施の形態に係る光学装置を示す図であり、（ａ）は、情報処理装置を挟持する取付部を有する光学装置の斜視図。（ｂ）は、情報処理装置を挟持する取付部を有する光学装置が情報処理装置に取り付けられた状態を示す光学装置の側面図。（ｃ）は、凹面鏡を有する光学装置の斜視図。（ｄ）は、光の入射面が凸形状に形成されたプリズムを有する光学装置の斜視図。
図７は（ａ）は、画像表示部の画面上に位置する、本発明の一実施の形態に係る対象物、及び、画面外に位置する、本発明の一実施の形態に係る対象物の画像を撮影する様子を示す本発明の一実施の形態に係る情報処理システムの斜視図。（ｂ）は、画像表示部の画面上に位置する、本発明の一実施の形態に係る対象物の画像を撮影する様子を示す本発明の一実施の形態に係る情報処理システムの斜視図。（ｃ）は、撮影手段により撮影された撮影画像の一例を示す図。（ｄ）は、撮影手段により撮影された撮影画像の別の例を示す図。
図８は本発明の第１の実施の形態に係る情報処理装置のブロック図。
図９は本発明の第１の実施の形態に係る情報処理装置の動作を表すフローチャート。
図１０は対象物の情報に基づいて制御された画像表示部に表示される画像の例を示す図。
図１１は本発明の第２の実施の形態に係る情報処理装置のブロック図。
図１２はドットパターンの一例を示す図。
図１３は情報ドットの配置と情報の値との対応を示す図であり、（ａ）は、情報ドットが８通りに配置できる例における対応を示す図。（ｂ）は、情報ドットが４通りに配置できる例における対応を示す図。（ｃ）は、情報ドットが４通りに配置できる別の例における対応を示す図。
図１４は情報ドットが１６通りに配置できる例における、情報ドットの配置と情報の値との対応を示す図。
図１５は０個~８つの情報ドットを予め定められた８つの位置に配置できる例における、情報ドットの配置と情報の値との対応を示す図であり、（ａ）は、ある２つの位置にそれぞれ情報ドットを位置させる配置とその配置に対応する情報の値を示す図。（ｂ）は、ある４つの位置にそれぞれ情報ドットを位置させる配置とその配置に対応する情報の値を示す図。（ｃ）は、ある５つの位置にそれぞれ情報ドットを位置させる配置とその配置に対応する情報の値を示す図。
図１６は（ａ）は、本発明の第４の実施の形態に係る情報処理装置の画面に格子線の画像を含むキャリブレーション画像の一例が表示されている様子を示す平面図。（ｂ）は、画面に格子線の画像を含むキャリブレーション画像の一例が表示されている状態で撮影手段により撮影された情報処理装置の撮影画像を示す図。
図１７は（ａ）は、表示画像中の基準点の一例を示す図。（ｂ）は、撮影画像中の基準点の一例を示す図。（ｃ）は、位置対応関係を決めるテーブルの一例を示す図。
図１８は（ａ）は、撮影画像中の基準点と画面に載置されたカードの画像を示す図。（ｂ）は、表示画像中の基準点と画面に載置されたカードの代表点の位置関係を示す図であり、また、撮影画像を関数で変換した画像の基準点も示す。
図１９は（ａ）は、キャリブレーション画像に含まれるシンボルの配列の一例を示す図。（ｂ）は、（ａ）のシンボルを配置する位置の一例を示す図であり、また、キャリブレーション画像に含まれるドットの配列の一例も示す。
図２０は（ａ）は、撮影画像の一例を示す図。（ｂ）は、撮影画像を関数で変換した画像を示す図。
図２は本発明の一実施の形態に係る情報処理システムの側面図。
図３は本発明の一実施の形態に係る光学装置の斜視図であり、（ａ）は、カバーを取り外した状態を示す図。（ｂ）は、カバーを取り付けた状態を示す図。（ｃ）は、照射手段を取り付けた状態を示す図。
図４は本発明の別の実施の形態に係る、プリズムを含む光学装置の斜視図。
図５は本発明のまた別の実施の形態に係る、光ファイバモジュールを含む光学装置の斜視図。
図６は本発明のさらに別の実施の形態に係る光学装置を示す図であり、（ａ）は、情報処理装置を挟持する取付部を有する光学装置の斜視図。（ｂ）は、情報処理装置を挟持する取付部を有する光学装置が情報処理装置に取り付けられた状態を示す光学装置の側面図。（ｃ）は、凹面鏡を有する光学装置の斜視図。（ｄ）は、光の入射面が凸形状に形成されたプリズムを有する光学装置の斜視図。
図７は（ａ）は、画像表示部の画面上に位置する、本発明の一実施の形態に係る対象物、及び、画面外に位置する、本発明の一実施の形態に係る対象物の画像を撮影する様子を示す本発明の一実施の形態に係る情報処理システムの斜視図。（ｂ）は、画像表示部の画面上に位置する、本発明の一実施の形態に係る対象物の画像を撮影する様子を示す本発明の一実施の形態に係る情報処理システムの斜視図。（ｃ）は、撮影手段により撮影された撮影画像の一例を示す図。（ｄ）は、撮影手段により撮影された撮影画像の別の例を示す図。
図８は本発明の第１の実施の形態に係る情報処理装置のブロック図。
図９は本発明の第１の実施の形態に係る情報処理装置の動作を表すフローチャート。
図１０は対象物の情報に基づいて制御された画像表示部に表示される画像の例を示す図。
図１１は本発明の第２の実施の形態に係る情報処理装置のブロック図。
図１２はドットパターンの一例を示す図。
図１３は情報ドットの配置と情報の値との対応を示す図であり、（ａ）は、情報ドットが８通りに配置できる例における対応を示す図。（ｂ）は、情報ドットが４通りに配置できる例における対応を示す図。（ｃ）は、情報ドットが４通りに配置できる別の例における対応を示す図。
図１４は情報ドットが１６通りに配置できる例における、情報ドットの配置と情報の値との対応を示す図。
図１５は０個~８つの情報ドットを予め定められた８つの位置に配置できる例における、情報ドットの配置と情報の値との対応を示す図であり、（ａ）は、ある２つの位置にそれぞれ情報ドットを位置させる配置とその配置に対応する情報の値を示す図。（ｂ）は、ある４つの位置にそれぞれ情報ドットを位置させる配置とその配置に対応する情報の値を示す図。（ｃ）は、ある５つの位置にそれぞれ情報ドットを位置させる配置とその配置に対応する情報の値を示す図。
図１６は（ａ）は、本発明の第４の実施の形態に係る情報処理装置の画面に格子線の画像を含むキャリブレーション画像の一例が表示されている様子を示す平面図。（ｂ）は、画面に格子線の画像を含むキャリブレーション画像の一例が表示されている状態で撮影手段により撮影された情報処理装置の撮影画像を示す図。
図１７は（ａ）は、表示画像中の基準点の一例を示す図。（ｂ）は、撮影画像中の基準点の一例を示す図。（ｃ）は、位置対応関係を決めるテーブルの一例を示す図。
図１８は（ａ）は、撮影画像中の基準点と画面に載置されたカードの画像を示す図。（ｂ）は、表示画像中の基準点と画面に載置されたカードの代表点の位置関係を示す図であり、また、撮影画像を関数で変換した画像の基準点も示す。
図１９は（ａ）は、キャリブレーション画像に含まれるシンボルの配列の一例を示す図。（ｂ）は、（ａ）のシンボルを配置する位置の一例を示す図であり、また、キャリブレーション画像に含まれるドットの配列の一例も示す。
図２０は（ａ）は、撮影画像の一例を示す図。（ｂ）は、撮影画像を関数で変換した画像を示す図。
本発明の第１の実施の形態に係る情報処理装置１００、一実施の形態に係る光学装置１３０、及び一実施の形態に係る情報処理システムを説明する。図１は、情報処理システムの平面図である。図２は、情報処理システムの側面図である。図３（ａ）及び図３（ｂ）は、光学装置１３０の斜視図である。光学装置１３０は、情報処理装置１００と組み合わされる。情報処理システムは、情報処理装置１００と光学装置１３０を含んでいる。情報処理装置１００は、画像を表示する画像表示部１１０と画像を撮影する撮影手段１２０と光学装置１３０を有している。画像表示部１１０は、例えば液晶ディスプレイを含んでいる。撮影手段１２０は、例えばＣＣＤカメラ又はＣ−ＭＯＳカメラを含んでいる。撮影手段１２０により撮影された撮影画像は、静止画又は動画を形成する。撮影手段１２０には、撮影手段１２０により撮影された撮影画像が記憶される画像記憶手段が設けられている。画像表示部１１０と撮影手段１２０は板状の筐体１４０に格納されている。情報処理装置１００は板状である。画像表示部１１０は情報処理装置１００の一面側（筐体１４０の上面１４２側）に配置されている。画像表示部１１０の画面１１１は露出している。画面１１１は、情報処理装置１００の上記一面が向く方向に向いている。撮影手段１２０は、情報処理装置１００の上記一面の所定の位置に設けられ、上記一面が向く方向を撮影する。撮影手段１２０は板状の筐体１４０の周縁に配置されている。筐体１４０には撮影孔１４１が穿たれており、撮影手段１２０は撮影孔１４１を介して撮影を行う。
光学装置１３０は、画像表示部の画面１１１の少なくとも一部の画像が撮影されるよう、撮影手段１２０に光を導く。光学装置１３０は、情報処理装置１００の筐体１４０に取り付けられている。光学装置１３０は、ベース１３１ｂを介して筐体１４０の上面１４２に載置されている。ベース１３１ｂの部分１３１ａは、筐体１４０の撮影孔１４１を避けるように形成されている。ベース１３１ｂの下面には、ベース１３１ｂを支持する支持部１３１ｃが設けられている。支持部１３１ｃはベース１３１ｂの傾きを変更することができる。ベース１３１ｂと支持部１３１ｃは取付部１３１を構成する。取付部１３１により光学装置１３０は筐体１４０に取り付けられる。
光学装置１３０を情報処理装置１００に着脱可能に取り付けるために、図１、図２、図３（ａ）及び図３（ｂ）に示した取付部１３１とは別の手段を光学装置１３０と情報処理装置１００との少なくとも一方に設けてもよい。例えば、支持部１３１ｃを省略し、ベース１３１ｂを筐体１４０の上面１４２に着脱可能に固定する手段を光学装置１３０に設けてもよい。この場合、ベース１３１ｂの傾きを変更する手段は不要になり、光学装置１３０の構成をより簡便にすることができる。光学装置１３０を情報処理装置１００に着脱可能に取り付けなくてもよい。例えば、光学装置１３０を情報処理装置１００に所定の方法で固定してもよい。
取付部１３１には支柱１３２が回動自在に取り付けられている。光学装置１３０が載置されたとき、支柱１３２の長手方向は、筐体１４０の上面１４２と交差する方向になる。支柱１３２は長手方向周りに回動できる。支柱１３２には、ミラー１３４を回動自在に支持する支持部１３３が取り付けられている。ミラー１３４は、撮影のために撮影手段１２０に光を導く。ミラー１３４の回動軸は、画像表示部１１０の画面１１１と平行である。支持部１３３は、支柱１３２の長手方向にスライド可能である。
ミラー１３４は２軸方向で回動可能であり、支柱１３２の長手方向にスライド可能である。即ち３自由度が実現される。これにより、光学装置１３０は、撮影手段１２０の撮影領域を変更することができる。２軸方向の回動と長手方向のスライドを利用すれば、光学装置１３０は、撮影領域の移動、拡大、縮小の内の少なくとも１つが行われるよう撮影領域を変更できる。ミラーを動かすことに関する自由度は、任意に設定することができる。０以上の自由度を設定することができる。このような自由度を実現する光学装置は、よく知られた機構を用いれば実現することができる。ミラーは、画面と平行な軸周りに回動可能で、画面に垂直な方向にスライド可能にするような機構を光学装置に設けてもよい。この場合、２自由度が実現される。
支持部１３３には、ミラー１３４を覆うカバー１３５が取り付けられる。カバー１３５は撮影孔１４１を覆うように配置されるので、外部の照明などからの光が撮影手段１２０に直接入射することを防止することができる。カバー１３５と支持部１３３は一体的に形成してもよい。
支持部１３３には、図３（ｃ）に示すように、撮影手段１２０の撮影領域を照射する照射手段１３６を取り付けてもよい。対象を撮影するのに必要な光量を十分に確保できないときに、照射により対象を鮮明に撮影できる。
光学装置１３０は、ミラー１３４の代わりに、図４に示すプリズム１３４ｂ又は図５に示す光ファイバを有する光ファイバモジュール１３４ｃを含んでもよい。
光学装置を情報処理装置１００に着脱可能に取り付けるために、情報処理装置１００を挟持するクリップを用いてもよい。取付部１３１は、図６（ａ）及び図６（ｂ）に示すように、支持部１３１ｃの代わりに筐体１４０の下面に当接する当接部１３１ｄを有する。当接部１３１ｄはベース１３１ｂから延びており、当接部１３１ｄとベース１３１ｂは、筐体１４０を挟持する。図６（ｃ）には、凹面鏡を有する光学装置１３０ｂが示されている。光学装置１３０ｂの凹面鏡は、光学装置１３０ｂを筐体１４０の上面１４２の所定の位置に所定の向きで載置したときに画面１１１の全体が撮影されるように設計されている。図６（ｄ）には、光の入射面が凸形状に形成されたプリズムを有する光学装置１３０ｃが示されている。光学装置１３０ｃの凸面は、光学装置１３０ｂと同様に、光学装置１３０ｂを筐体１４０の上面１４２の所定の位置に所定の向きで載置したときに画面１１１の全体が撮影されるように設計されている。光学装置１３０ｂ，１３０ｃは、画面１１１を撮影するに際して、広い視野を実現する。このため、所定の位置に所定の向きで載置するだけで所望の領域を容易に撮影することができる。図３、図４、図５、図６（ａ）及び図６（ｂ）に示された光学装置では、所望の領域を撮影するためにミラー、プリズムなどの光学素子の向き及び位置を調整する必要があるが、光学装置１３０ｂ，１３０ｃでは、調整する必要がない。また、光学素子の向き及び位置を調整する手段を必要としないので、構造が簡便である。光学装置１３０ｂ，１３０ｃを情報処理装置１００に取り付けるために、光学装置１３０ｂ，１３０ｃを上面１４２に貼着してもよい。その場合、光学装置１３０ｂ，１３０ｃを上面１４２から容易に剥がすことができ、また再度貼着することが可能な接着剤を用いることができる。また、図６（ａ）及び図６（ｂ）に示された取付部１３１と同様のクリップを用いてもよい。以上、様々な光学装置の実施の形態を記載したが、画面１１１の少なくとも一部又は全部が、撮影手段１２０の撮影領域に含まれるように光を導くことができれば、どのような構造であってもよい。
撮影手段１２０は、画像表示部１１０の画面１１１上に位置する対象物及び／又は画面１１１外に位置する対象物を含む画像を撮影する。画面１１１外に位置する対象物は、画面近傍に位置することが望ましい。画面１１１上に位置する対象物と画面１１１外に位置する対象物との両方が同時に撮影されるときには、特に望ましい。対象物は、印刷媒体、薄板状の媒体、及びフィギアの内の少なくとも１つを含む。図７（ａ）には、本発明の一実施の形態に係る対象物を撮影する様子が示されている。図７（ａ）に示す例では、撮影手段１２０は、画像表示部１１０の画面１１１上に位置する対象物１５３ａ，１５３ｂ及び／又は画面１１１外に位置する対象物１５３ｃ，１５３ｄの画像を撮影することができる。対象物１５３ａはカードである。カードは印刷媒体であり、薄板状の媒体である。対象物１５３ｂはコインである。対象物１５３ｃはフィギアである。対象物１５３ｄはグラスである。図７（ｃ）及び図７（ｄ）は、撮影手段１２０により撮影された画像の例である。撮影手段１２０の撮影領域を変更する光学装置１３０の機能を利用すれば、様々な領域の画像を撮影できる。
図７（ｂ）に示すように撮影手段１２０が、画面１１１の外から画面１１１上の対象物（例えばカード１５３ａ）を指し示す指示体も撮影できるように、画面１１１外まで撮影領域を広げてもよい。指示体にはユーザの指１５４を用いてもよいし、タッチペンを用いてもよい。撮影領域を変更するには、光学装置１３０の向きを変更してもよいし、広範な領域を撮影できるように、光を集光する構造をもつ光学装置及び／又は光を集光する材料で形成された光学装置を予め用意してもよい。
情報処理装置１００を利用する本発明の一実施の形態に係るプログラムを説明する。
図８は、情報処理装置１００のブロック図である。情報処理装置１００は、画像解析部１６１と制御部１６２と記憶部１６３と音声再生部１６４とを有する。記憶部１６３には、画像解析部１６１にてなされる画像の解析と、制御部１６２にてなされる制御を情報処理装置１００に実行させるプログラムが記憶されている。記憶部１６３には、さらに画像表示部１１０にて表示される画像データ及び／又は動画データと、画像解析部１６１により撮影画像の解析のために用いられる画像データ及び／又は動画データと、音声再生部１６４にて再生される音声データが記憶されている。プログラム、画像データ、動画データ及び音声データは、図示しない通信手段を用いて所定のサーバーよりダウンロードすることができる。
図９は、情報処理装置１００の動作を表すフローチャートである。情報処理装置１００は、対象物を含む画像を撮影手段１２０に撮影させ、撮影させた撮影画像に基づいて撮影画像に関連する情報を処理する。例えば、撮影画像に基づいて画像表示部１１０と音声再生部１６４の少なくとも一方を制御する。プログラムは、記憶部１６３から読み出され、プログラムに基づいて制御部１６２にて情報処理が行われる。画像データ、動画データ及び音声データは、適宜に記憶部１６３から読み出され、制御部１６２や画像解析部１６１にて利用される。制御部１６２は、画像表示部１１０の画面１１１上に位置する対象物１５３ａ，１５３ｂ及び／又は画面１１１外に位置する対象物１５３ｃ，１５３ｄ（図７（ａ））を含む画像を撮影手段１２０に撮影させる（工程１７１）。画面１１１上に位置する対象物１５３ａ，１５３ｂを含む画像が常に撮影されるようにしてもよい。その場合、画面１１１上に位置する対象物１５３ａ，１５３ｂを含む画像、又は、画面１１１上に位置する対象物１５３ａ，１５３ｂと画面１１１近傍に位置する対象物１５３ｃ，１５３ｄとを含む画像が撮影される。次に、制御部１６２は、画像解析部１６１に画像の解析を行わせる。画像解析部１６１は、撮影手段１２０により撮影された対象物の画像（画像記憶手段１２１に記憶されている画像）に基づいて、対象物の種類、位置、向き、移動量、回転量、及び輪郭の内の少なくとも１つを含む対象物の情報を特定する（工程１７２）。対象物の種類には、例えば、カード類、フィギア類、コイン類がある。対象物の種類が特定されると、対象物がカードなのか、フィギアなのかが特定される。工程１７１にて、画面１１１上に位置する対象物１５３ａ，１５３ｂを含む画像を撮影手段１２０が常に撮影される場合には、工程１７２にて、対象物の種類（画面１１１上に位置する対象物１５３ａ，１５３ｂと画面１１１外に位置する対象物１５３ｃ，１５３ｄの両方が撮影される場合には、対象物１５３ａ，１５３ｂ，１５３ｃ，１５３ｄの少なくとも１つの種類。対象物１５３ａ，１５３ｂだけが撮影される場合には対象物１５３ａ，１５３ｂの少なくとも１つの種類。）、画面１１１上に位置する対象物１５３ａ，１５３ｂの少なくとも１つの位置、対象物１５３ａ，１５３ｂの少なくとも１つの向き、対象物１５３ａ，１５３ｂの少なくとも１つの移動量、対象物１５３ａ，１５３ｂの少なくとも１つの回転量、及び対象物１５３ａ，１５３ｂの少なくとも１つの輪郭の内の少なくとも１つを含む対象物の情報が特定される。制御部１６２は、画像解析部１６１により特定された対象物の情報に基づいて画像表示部１１０と音声再生部１６４の少なくとも一方を制御する（工程１７３）。上述したように、撮影画像は動画を形成することができる。工程１７２にて対象物の移動量が特定される場合には、動画に基づいて、時々刻々変化する対象物の位置が解析される。回転量が特定される場合には、動画に基づいて、時々刻々変化する対象物の向きが解析される。
例えば、戦車の絵が描かれたカード１５３ａを画面１１１上の所定の位置に配置すると、制御部１６２は、音声再生部１６４が戦車のエンジンの始動音を再生するよう音声再生部１６４を制御する。同時に、カード１５３ａの周りで土煙が上がるような画像が表示されるよう画像表示部１１０を制御する。図１０に示すように、戦車の絵が描かれたカード１５６を画面１１１上で移動及び／又は回転をさせたときに、これに応じて、カード１５６の軌跡に沿って無限軌道の走行跡の画像１５６ａを表示させたり、カード１５６に描かれた戦車が、動画として画面１１１に表示される車両１５７に向けて発砲するような画像１５６ｂを表示させたりしてもよい。
図１に示すように、指示体１５４（例えば、ユーザの指）でカード１５３（対象物）の所定領域１５１（図１の例では、星のしるし「☆」が描かれている領域）を示す（所定領域１５１から離れた位置から所定領域１５１を指し示す）と、それに応じて制御部１６２は所定の制御を行う。指の代わりにペンを用いてもよい。指示体１５４は所定領域１５１に当接してもよい。撮影された撮影画像に基づいて、指示体１５４で示された所定領域１５１（戦車の大砲の近傍の領域）を特定する。特定された領域に基づいて制御部１６２は画像表示部１１０と音声再生部１６４の少なくとも一方を制御できる。例えば、大砲が発砲したような音が再生され、領域１５１の近傍に火花の画像が表示されるよう制御を行う。
画像解析部１６１は、指示体１５４が所定領域１５１から離れた位置から所定領域１５１を指し示しているか、指示体１５４が所定領域１５１に当接しているかを特定できる。画像解析部１６１は、特定する際、撮影画像に含まれた指示体１５４の影などに基づいて特定する。指示体１５４が所定領域１５１から離れた位置から所定領域１５１を指し示していると特定された場合、画像解析部１６１は、（現実に）指示体１５４が所定領域１５１を指し示す方向を特定し、その方向に基づいて所定領域１５１を特定する。指示体１５４が所定領域１５１に当接していると特定された場合、画像解析部１６１は、撮影画像を解析し、（現実に）指示体１５４の直下に位置していると判断される対象物の領域を所定領域１５１として特定する。指示体１５４が離れているか当接しているかの特定のために、画像表示部１１０の画面１１１上に位置する対象物１５３に当接する指示体１５４の画面１１１上の位置を検知する検知手段を用いてもよい。検知手段は画面１１１に設けられていて、静電容量タッチパネルを含んでいる。検知手段により指示体１５４の画面１１１上の位置が検知されれば、指示体１５４は当接すると特定される。位置が検知されなければ、指示体１５４は離れていると特定される。
画像解析部１６１は、撮影手段１２０により撮影された撮影画像に基づいて、カード１５３の所定領域１５１だけでなく指示体１５４も特定することができる。所定領域１５１の特定は上述と同様に行うことができる。指示体１５４を特定する際には、画像解析部１６１は、記憶部１６３に記憶された画像データ及び／又は動画データと指示体１５４の画像とを比較して指示体１５４を特定する。例えば、画像解析部１６１は、指示体１５４の画像と、記憶部１６３に記憶されたユーザの指の画像データやペンの画像データとを比較照合し、指示体１５４がユーザの指であると判断する。この比較照合は、指示体１５４の画像と記憶された画像データとの特徴点を抽出して判断してもよい。制御部１６２は、特定された所定領域１５１と指示体１５４に基づいて画像表示部１１０と音声再生部１６４の少なくとも一方を制御できる。この場合、特定された指示体が赤いタッチペンであれば制御部１６２はある制御（例えば、領域１５１の近傍に火花の画像が表示されるような制御）を行い、特定された指示体が青いタッチペンだった場合には別の制御（例えば、領域１５１の近傍に大砲の残弾数を示す画像が表示されるような制御）を行う、といった処理が可能である。
動きを表現する動作体の動作に基づいて制御してもよい。動作体として、ペンやユーザの手を用いることができる。画像解析部１６１は、動画を形成する撮影画像に基づいて、対象物の情報（対象物の種類、位置、向き、移動量、回転量、及び輪郭の内の少なくとも１つを含む情報）に加えて、撮影手段１２０により撮影された動作体の動作をさらに特定することができる。制御部１６２は、特定された動作体の動作に基づいて画像表示部１１０と音声再生部１６４の少なくとも一方を制御できる。例えば、動作体で右回りか左回りに円を描いたり、動作体を画面１１１に沿って動かしたり、画面１１１から遠ざかる向きか近づく向きに動かしたりする。画像解析部１６１は、記憶部１６３に記憶された画像データ及び／又は動画データと、撮影された動作体の動画とを比較して動作体の動作を特定する。特定の際、動作体の速度や動作体の軌跡を特定できる。制御部１６２は、動作体の速度や動作体の軌跡に基づいて制御できる。動作体としてユーザの手を用いる場合、じゃんけんの動作（例えば、グーからパーへの変化）に基づいて制御してもよい。動作体の軌跡は、動作を特徴付ける特徴点を抽出して特定してもよい。
次に、本発明の第２の実施の形態に係る情報処理装置２００を説明する。第２の実施の形態の情報処理装置２００の構成の大部分は、第１の実施の形態の情報処理装置１００と同様である。第１の実施の形態の情報処理装置１００の構成要素と同じ構成と機能を有する構成要素には、同じ参照符号を付す。
図１及び図２を参照して情報処理装置２００の構成を説明する。情報処理装置２００は、画像表示部１１０の画面１１１上に位置する対象物１５３に当接する指示体１５４（ユーザの指）の画面１１１上の位置を検知する検知手段をさらに有している（図１及び図２では検知手段は図示されていない）。検知手段は画面１１１に設けられていて、静電容量タッチパネルを含んでいる。なお、検知手段は、静電容量タッチパネルの他、光学式タッチパネル、感圧式タッチパネルなど、対象物１５３、及び／又は、対象物１５３又は画面１１１に当接する指示体１５４の画面１１１上の位置を検知できれば、どのような手段であってもよい。
図１１は、情報処理装置２００のブロック図である。画像解析部１６１は、撮影された撮影画像に基づいてカード１５３の種類、位置、向き、移動量、回転量、及び輪郭の内の少なくとも１つを含むカード１５３の情報を特定できる。例えば、カード１５３の位置、即ち画面１１１上の位置と、カード１５３の向きを含む情報が特定される。次に、画像解析部１６１は、カード１５３の情報（画面１１１上の位置と向き）と、検知手段２６５により検知されたユーザの指の画面１１１上の位置とに基づいて、ユーザの指が当接しているカード１５３の領域１５１を特定する。制御部１６２は、特定したカード１５３の領域１５１とカード１５３の情報（画面１１１上の位置と向き）に基づいて画像表示部１１０と音声再生部１６４の少なくとも一方を制御する。例えば、ユーザがカード１５３の領域１５１（戦車の大砲の近傍の領域）に指を載せると、大砲が発砲したような音が再生され、領域１５１の近傍に火花の画像が表示されるような制御がなされる。
指示体１５４が対象物１５３の近傍の画面１１１上の領域に当接する（指示体１５４は対象物１５３に接していない）場合には、情報処理装置２００は以下のように動作する。画像解析部１６１は、撮影された撮影画像に基づいて、カード１５３の情報（画面１１１上の位置と向きを含む情報）を特定する。制御部１６２は、特定したカード１５３の情報と、検知手段２６５により検知されたユーザの指の画面１１１上の位置とに基づいて画像表示部１１０と音声再生部１６４の少なくとも一方を制御する。例えば、ユーザがカード１５３の領域１５１（戦車の大砲の近傍の領域）の近傍の画面１１１上の領域に指を載せると、大砲が発砲したような音が再生され、領域１５１の近傍に火花の画像が表示されるような制御がなされる。
次に、本発明の第３の実施の形態に係る情報処理装置及びこれとともに用いられる本発明の一実施の形態に係る対象物を説明する。第３の実施の形態の情報処理装置の構成の大部分は、第１の実施の形態の情報処理装置１００と同様である。第１の実施の形態の情報処理装置１００の構成要素と同じ構成と機能を有する構成要素には、同じ参照符号を付す。
本実施の形態の対象物には、対象物を特定するための指標が設けられている。指標は、グラフィック、マーク、マークの配列、自動認識コードのパターンの内の少なくとも１つを含む。撮影手段１２０により指標が設けられた対象物が撮影されたとき、情報処理装置は、撮影画像に含まれる指標の画像に基づいて対象物を特定する。情報処理装置は、特定した対象物に基づいて処理する。
例えば、猫のグラフィックの指標が設けられたカード（対象物）が画像表示部１１０の画面１１１の中央に載置され、犬のグラフィックの指標が設けられたカード（対象物）が画面１１１の端に載置されているとする。猫のカードにはカードを特定するための所定のＩＤ番号、例えば「１」が設定されている。犬のカードにはＩＤ番号として「２」が設定されている。記憶部１６３（図８）には、ＩＤ番号、指標（グラフィック）の画像データ、及びＩＤ番号と指標の対応関係が記憶されている。これらのカードが撮影されたとき、画像解析部１６１は、撮影画像に含まれる指標の画像と記憶部１６３に記憶されている指標の画像データとを比較して、撮影画像において画面１１１の画像の中央に位置するカードの画像に、記憶部１６３に記憶されている猫のグラフィックの指標の画像が含まれていることを特定する。同様に、画像解析部１６１は、撮影画像において画面１１１の画像の端に位置するカードの画像に、記憶部１６３に記憶されている犬のグラフィックの指標の画像が含まれていることを特定する。画像解析部１６１は、記憶部１６３に記憶されたＩＤ番号と指標の対応関係に基づいて画面１１１の中央のカードのＩＤ番号が「１」であり、画面１１１の端のカードのＩＤ番号が「２」であることを特定する。このようにして対象物は特定される。記憶部１６３には、カードのＩＤ番号と対応付けられたプログラム、画像データ、動画データ、音声データ等が記憶されている。カードのＩＤ番号が特定されると、制御部１６２は、カードのＩＤ番号に対応したプログラムに基づいて制御を行う。例えば、ＩＤ番号が「１」であるカード（猫のカード）の近くの画面１１１の領域に「猫」の文字を表示し、ＩＤ番号が「２」であるカード（犬のカード）の近くの画面１１１の領域に「犬」の文字を表示するといった制御を行う。
指標としてマークが用いられている場合も、指標としてグラフィックが用いられている場合と同様に対象物を特定できる。マークは、例えばハート形や、ダイヤ形である。マークの違いによって対象物を特定することができる。
上述したように指標としてマークの配列を用いることができる。マークの配列は、例えば多角形を想定し、その多角形の頂点の位置にマークを配置したものである。多角形の頂点はマークを代表する点、例えばマークの図心と一致している。２枚のカード（対象物）にマークの配列が設けられているとする。一方のカードには３つのマークが設けられており、３つのマークは、想定された正三角形の頂点の位置にそれぞれ配置されている。他方のカードにも３つのマークが設けられており、３つのマークは、想定された２等辺三角形の頂点の位置にそれぞれ配置されている。正三角形配置のカードは画面１１１の中央に載置されており、２等辺三角形配置のカードは画面１１１の端に載置されている。画像解析部１６１は、マークの形状とマークの配列（この場合には多角形の形状）に基づいてカードを特定する。正三角形配置のカードにはＩＤ番号として「３」が設定されており、２等辺三角形配置のカードにはＩＤ番号として「４」が設定されている。記憶部１６３には、ＩＤ番号、マークの形状のデータ、マークの配列のデータ、及びこれらの対応関係が記憶されている。これらのカードが撮影されたとき、画像解析部１６１は、撮影画像に基づいて、それぞれのカードに設けられたマークの形状及びマークの配列を特定する。画像解析部１６１は、特定したマークの形状及びマークの配列と、記憶部１６３に記憶されたマークの形状のデータ及びマークの配列のデータとを比較し、記憶部１６３に記憶された対応関係に基づいて画面１１１の中央のカードのＩＤ番号が「３」であり、画面１１１の端のカードのＩＤ番号が「４」であることを特定する。カードのＩＤ番号が特定されると、制御部１６２は、カードのＩＤ番号に対応したプログラムに基づいて制御を行う。
想定された多角形（以下、想定多角形という）の形状は、撮影されると乱れる。マークの配列を斜めから撮影すると、撮影された想定多角形の形状（撮影されたマークを代表する点を頂点とする多角形の形状）は、実際の想定多角形の形状とは異なるものになる。例えば正三角形を斜めから撮影すると、撮影された正三角形の形状は２等辺三角形になる。画像解析部１６１は、撮影された画面１１１の輪郭の形状などを利用して、撮影画像から実際の想定多角形の形状を推定する。画像解析部１６１は、撮影画像に基づいてマークの配列を特定する際、この推定された実際の想定多角形の形状を利用する。
このようにしてマークの配列を用いることによって、複数のカード（対象物）を互いに識別することができる。マークを代表する点の配置（以下、代表点配置という）はユニークであることが望ましい。即ち、２枚のカードを任意に選択し、一方のカードの代表点配置を拡大し、並行移動し、回転したときに、その代表点配置を他方のカードの代表点配置に重ねることができないことが望ましい。
指標は、対象物に不可視のインクを用いて印刷することができる。指標を印刷するのに使用するインクとして、所定の波長の光に反応する特性、及び、所定の特性をもった第１の光に反応して第１の光とは異なる特性をもつ第２の光を発する特性の内の少なくとも１つをもつインクを用いてもよい。また、インクの代わりにこのような特性をもつ材料を用いて指標を対象物に設けてもよい。例えば所定の波長の光を吸収する特性をもつインクで指標が印刷されると、対象物の指標の部分では、所定の波長の光が吸収され、他の部分では所定の波長の光が拡散反射される。対象物は、少なくとも所定の波長の光を透過するフィルタを介して撮影される。つまり、対象物の指標の部分に対応する画素のみ所定の波長の光が撮影されないことにより、指標を特定することができる。さらに、所定の特性をもった第１の光に反応して第１の光とは異なる特性をもつ第２の光を発する特性をもつ不可視のインクで指標が印刷される。指標は、対象物の色とは異なる色の波長の可視光を発し撮影され、指標が特定される。
指標に用いる自動認識コードは、バーコード、２次元コード、ドットコードの内の少なくとも１つを含む。ドットコードに用いるパターンであるドットパターンについて図１２乃至図１５を参照して説明する。ドットパターンは複数のドットからなる。図１２乃至図１５にて描かれている線分及び曲線は、説明の便宜のために付したものであり、ドットパターンには含まれない。
図１２は、本実施の形態のドットパターンを示す図である。図１２に示すドットパターンは、ＧＲＩＤ１と呼ばれる。図３（ｃ）に示すように、光学装置１３０には撮影領域を照射する照射手段１３６を取り付けることができる。照射手段１３６には、ドットパターンが施された対象物に所定の波長の光を照射できるＬＥＤを用いることができる。撮影手段１２０は所定の波長の光で撮影できる。光学装置１３０には、第１の波長の光を透過させ、第２の波長の光を遮断するフィルタ１３７を設けることができる。フィルタ１３７は、筐体１４０の撮影孔１４１を覆うように、部分１３１ａに設けることができる。撮影領域はフィルタ１３７を介して撮影される。もちろん、ドットを特定できる配色でドットを印刷し、照射手段１３６やフィルタ１３７を設けないでドットパターンを撮影してもよい。
ドットパターン１は、ドットコード生成アルゴリズムにより、微細なドット、即ち、キードット２、情報ドット３、基準格子点ドット４を所定の規則に則って配列することにより生成される。図１２に示すように、ドットパターン１が設けられる媒体（対象物）上には、一方向に延び、並列する複数の線分と、この方向と直行する方向に延び、並列する複数の線分とにより形成される格子が想定される。この格子に基づいて各種のドットが配置される。これらのドットで１つのブロックが構成される。格子点には基準格子点ドット４が配置される。格子点からずれた位置にキードット２が配置される。図１２の例では、キードット２はブロックのコーナーに配置されているが、ブロック内のどこに配置されてもよい。格子を形成する線により区切られた矩形の格子領域の四つ角のそれぞれには基準格子点ドット４が配置される。それぞれの格子領域の中心（矩形の対角線の交点）には仮想格子点が設定される。仮想格子点を基準として仮想格子点の周囲に情報ドット３が配置される。図１２には、近接して配列された４つのブロックが示されている。それぞれのブロックの基礎となる格子の枠は太線で示されている。隣り合うブロックは、格子の枠上の基準格子点ドット４とキードット２を共有する。
基準格子点ドット４は格子状に配列されているので、撮影された基準格子点ドット４は規則的に配列する。しかしながら、撮影手段１２０のレンズの歪み、基準格子点ドット４が設けられた媒体の変形などにより、撮影された基準格子点ドット４の配列が変形する。基準格子点ドット４の配列の変形は、ドットパターン１の解析のエラーの原因になる。特に、格子領域の四つ角に配置されている（矩形の角に位置する）４つの基準格子点ドットを斜めから撮影すると、撮影する角度に応じてこれらの基準格子点ドットに囲まれた格子領域の変形の度合いが大きくなる。このような変形は、所定の関数ｆを用いて撮影画像を変換することにより、補正することができる。関数ｆを求めるには、まず、撮影された基準格子点ドットから、格子領域の四つ角に配置されていると推定される４つの基準格子点ドットを選択する。４つの基準格子点ドットの位置を変換し、これらが正方形の角に位置するようになるような関数ｆを求める。撮影画像における変換前の基準格子点ドットの位置を（Ｘｉ’，Ｙｉ’）（ｉ＝１，２，３，４）、撮影画像における変換後の基準格子点ドットの位置（正方形の角に位置する基準格子点ドットの位置）を（Ｘｉ，Ｙｉ）（ｉ＝１，２，３，４）とすると、関数ｆは（Ｘｉ，Ｙｉ）＝ｆ（Ｘｉ’，Ｙｉ’）
で定義される。
このように、基準格子点ドット４を利用すれば、撮影手段１２０のレンズに歪みが生じている場合でも、ドットパターンを撮影する角度が大きい場合でも、ドットパターン１の解析のエラーを少なくすることができる。
キードット２は、図１２に示すように、格子点から所定方向にずれた位置に配置されている。撮影画像からキードット２を抽出することにより、ブロックの向きと大きさを特定することができる。ドットパターン１を撮影し、撮影画像においてキードット２のずれの方向が特定されたとき、その方向又は、関連する方向がブロックの向きとして特定される。キードット２のずれの量は例えば、隣り合う基準格子点ドット間の間隔の２０％程度である。ずれの量はこれに限定されず、ブロックの寸法に応じて可変し得るものである。キードット２は、ブロックを代表するドットである。ブロックに情報を定義するとき、ドットパターン１が設けられた媒体上のブロックの位置を情報に含ませることができる（本実施の形態では、対象物を特定するためのＩＤ番号が含まれている）。
情報ドット３は種々の情報を表現するためのドットである。ブロックには１以上の情報ドット３が含まれる。各情報ドット３には個別に数値情報などの基礎情報が定義される。１つのブロックに含まれるこれら１以上の情報ドット３に定義された基礎情報で種々の情報、例えばブロックの位置の座標値等を表現する。情報ドット３の基礎情報は、その情報ドット３の配置、大きさ、形状、色の内の少なくとも１つに基づいて定義される。基礎情報が数値情報である場合、基礎情報は値をもつ。
基礎情報が情報ドット３の配置に基づいて定義される場合について説明する。情報ドット３は、仮想格子点を基準として配置される。仮想格子点は、格子を形成する線により区切られた矩形の格子領域の中心に設定されている。仮想格子点を始点、情報ドット３の位置を終点とするベクトルを想定する。情報ドット３に定義された基礎情報は、ベクトルの方向と長さに基づいて特定される。ベクトルの方向は、所定の基準方向を基準として特定される。基準方向として、キードット２のずれの方向（ブロックの向き）が用いられる。ベクトル、即ち情報ドット３の配置に対応する情報の値（２進値）が予め決められている。情報ドット３の位置の特定を容易にするために、情報ドット３を予め決められた幾つかの位置にだけ位置させることができるようにしてもよい。図１３（ａ）に示す例では、情報ドット３は、仮想格子点５を基準として８つの位置にだけ位置させることができる。図１３（ａ）では、仮想格子点５は白抜きの丸のしるし「○」で描かれている。仮想格子点５は仮想的な点であり、ドットパターン１にはしるし「○」は含まれない。
情報ドット３は８通りの状態をとることができるので、３ビットの情報を表現することができる。図１３（ａ）には、各状態に対応する情報の値が２進値で示されている。１つのブロックには１６個の情報ドットが含まれている（図１２）ので、１つのブロックは、３ビット×１６個＝４８ビットの情報を表現することができる。
情報ドット３がとり得る状態の数は、８つに限られない。例えば、図１３（ｂ）、図１３（ｃ）に示すように、４つでもよい。情報ドット３は４通りの状態をとることができるので、２ビットの情報を表現することができる。１つのブロックでは、２ビット×１６個＝３２ビットの情報を表現することができる。情報ドット３がとり得る状態の数は、１６でもよい。
図１３の例では、ベクトルの長さ（情報ドット３の仮想格子点５からの距離）が一定である。図１４の例では、ベクトルの長さが長いか短いかの２通りの状態を情報ドット３にとらせることができる。情報ドット３は予め決められた８つの方向に配置することができる。即ち、図１４の例では、情報ドット３は２×８＝１６通りの状態をとることができ、４ビットを表現することができる。長い方のベクトルの長さは、隣り合う基準格子点ドット４の間隔の２５％前後、短い方のベクトルの長さは、隣り合う基準格子点ドット４の間隔の１５％前後であることが望ましい。ただし、長短のベクトルの長さの値は、情報ドット３の径の値よりも大きいことが望ましい。
図１５（ａ）は、２つの情報ドットが配置された状態を示す。図１５（ｂ）は、４つの情報ドットが配置された状態を示す。図１５（ｃ）は、５つの情報ドットが配置された状態を示す。
指標を施した対象物の別の実施の形態を説明する。指標としてドットパターンを用いる。上述した、指標を施した対象物の実施の形態では、指標として用いたドットパターンの情報ドットの情報には、対象物を特定するためのＩＤ番号が含まれていたが、本実施の形態の対象物に設けたドットパターンの情報ドットの情報には、対象物における位置情報及び／又はコード値を含ませる。
コード値として、例えば対象物を特定するためのＩＤ番号を用いることができる。２枚のカード（対象物）にドットパターンとグラフィック（例えば、猫のグラフィック）を重ねて印刷する。２枚のカードには同じ猫のグラフィックを印刷する。ドットパターンを用いれば、同じグラフィックが印刷されたカードを区別することができる。一方のカードにＩＤ番号として「１」を設定し、他方のカードにＩＤ番号として「２」を設定する。即ち、一方のカードのコード値は「１」であり、他方のカードのコード値は「２」である。これらのカードが撮影されたときに、例えば、ＩＤ番号が「１」であるカードの近くの画面１１１の領域に「双子の兄」の文字を表示し、ＩＤ番号が「２」であるカードの近くの画面１１１の領域に「双子の弟」の文字を表示するといった制御を行う。
ドットパターンが施されたカード（対象物）の表面には、１以上のブロックが印刷されており、各ブロックに含まれる情報ドット３が表現する情報には、カード上のブロックの位置情報を含ませることができる。例えば、ブロックに含まれる情報ドット３がもつ情報に、そのブロックに含まれるいずれかの基準格子点ドット４のカード上の座標を含ませることができる。これを利用して、撮影されたカードの所定領域に施されたドットパターンの画像に基づいて所定領域のカード上の位置を特定できる。このとき、画像解析部１６１（図８）は、その画像から、所定領域に施されたブロックに含まれる情報ドットが表現する情報、即ちカード上のそのブロックの位置情報を取得して、この位置情報に基づいて所定領域を特定する。このように、ドットパターンを利用してカードの所定領域、例えば指示体１５４（ユーザの指）が当接しているカードの所定領域１５１（図１及び図２を参照。ドットパターンは図示せず。）を特定できる。領域の特定のために、微細なドットの位置を利用しているので、領域の特定を極めて高精度で行うことができる。
上記指標を施した対象物の実施の形態では、光学装置１３０を用いて、撮影領域を拡大して撮影することができる。これにより、微細なドットをより確実に撮影できる。
次に、本発明の第４の実施の形態に係る情報処理装置を説明する。第４の実施の形態の情報処理装置の構成の大部分は、第２の実施の形態の情報処理装置２００と同様である。第２の実施の形態の情報処理装置２００の構成要素と同じ構成と機能を有する構成要素には、同じ参照符号を付す。
第４の実施の形態の情報処理装置は、指示体１５４の画面１１１上の位置を検知する検知手段２６５（図１１）を有している。また、第３の実施の形態と同様に、対象物にはドットパターンが施されている。上述したように、検知手段２６５を利用しても、ドットパターンを利用しても指示体で指示された対象物上の所定領域を特定できる。
次に、本発明の第５の実施の形態に係る情報処理装置５００を説明する。第５の実施の形態の情報処理装置の構成の大部分は、第１の実施の形態の情報処理装置１００と同様である。第１の実施の形態の情報処理装置１００の構成要素と同じ構成と機能を有する構成要素には、同じ参照符号を付す。
情報処理システムでは、画面１１１上に載置されたカードを画面１１１とともに撮影手段１２０により撮影し、撮影された撮影画像から例えばカードの角を特定し、その角の周囲にアクション画像を表示するといったことが行われる。カードの角の周囲にアクション画像を表示する際、画面１１１に表示する表示画像を構成する画素のどれにアクション画像を表示すればよいかを決める必要がある。これを決めるには、撮影画像のどの画素が表示画像のどの画素に対応するのかを求めることが必要である。この対応関係を求めるために、キャリブレーション画像が利用される。
画像表示部１１０の画面１１１（図１及び図２）には、キャリブレーション画像が表示される。キャリブレーション画像は、画面１１１上に位置する対象物１５３とともに撮影手段１２０により撮影され、画像記憶手段１２１（図８）に記憶される。キャリブレーション画像は、画面１１１に表示される表示画像における位置（表示画像の画素の位置）と、画像記憶手段１２１に記憶されている撮影画像における位置（撮影画像の画素の位置）とを対応付けるために用いられる。キャリブレーション画像は、互いに識別可能な複数の識別画像を含む。
キャリブレーション画像は、格子線を表す画像を含むことができる。ここで、格子線は、一方向に延び、並列する複数の線と、この一方向と交差する他の方向に延び、並列する複数の線とを含む複数の線を指すものとする。並列する線の間隔は一定でもよいし、一定でなくてもよい。
図１６（ａ）には、格子線を表す画像を含むキャリブレーション画像が、画面１１１に表示画像として表示されている様子が示されている。格子点を通る十字の線を表す画像が識別画像である。複数の識別画像はそれぞれ画面１１１上の基準点を指定する。画面１１１上の基準点は、画面１１１上に幾何学的に設定された仮想的な点である。基準点は、図１７（ａ）で示される画面１１１上の任意の位置を特定するための基準となる点である。図１６（ａ）の例では、各識別画像は、この識別画像が表す縦横の線の交点、即ち格子点を基準点として指定する。各格子点について識別画像が設定されている。識別画像は、線の種類、線の色、線の太さ、線の間隔の内の少なくとも１つに基づいて識別される。キャリブレーション画像はこのような識別画像の集まりで形成されている。
撮影手段１２０で撮影され、画像記憶手段１２１に記憶されている撮影画像に含まれる識別画像は、図１６（ｂ）の例では、線の種類と線の太さに基づいて識別される。横線及び縦線は等間隔に並んでいる。同じ種類で同じ太さの線はない。種類（例えば、点線、鎖線、破線、実線、２重線）と太さを指定すれば横線（例えば細い２点鎖線の横線５１２ａ）を特定することができる。各横線が表示される位置は予め決められている。したがって、横線の種類と太さに基づいてその横線が表示された画面１１１の画像１１１ａ上の領域の縦の位置を特定することができる。縦線についても同様である。縦線（例えば、細い実線の縦線５１３ａ）の種類と太さに基づいてその縦線が表示された画面１１１の画像１１１ａ上の領域の横の位置を特定することができる。これを利用すれば、格子点５１４ａを通る縦線５１３ａと横線５１２ａの種類と太さに基づいて、格子点５１４ａが表示された画面１１１の画像１１１ａ上の基準点の位置を特定することができる。このようにして、各基準点の位置を特定することができる。各基準点と、画面１１１上に位置する対象物との位置関係が特定できれば、対象物の画面１１１上の位置及び向きを特定することができる。同様に対象物の移動量と回転量を特定することができる。
なお、図１６（ｂ）では、撮影手段１２０により近い画面１１１の部分は大きくなり、より遠い部分は小さくなる。このため、格子線は変形しているが、格子線の種類と太さに基づいて撮影画像における図１７（ｂ）の各基準点の位置（基準点の撮影フレームバッファの画素アドレス）を特定することができる。画像解析部１６１（図８）は、撮影画像に基づいてこの撮影画像に含まれた各識別画像を識別し、識別した識別画像により指定される基準点の位置を示す撮影画像基準位置を特定する。撮影画像に含まれる画面の画像１１１ａには、細い２点鎖線の横線５１２ａと細い実線の縦線５１３ａを表す画像が含まれている。画像解析部１６１は、線の種類と線の太さに基づいて横線５１２ａを識別して、横線５１２ａが細い２点鎖線の横線であると特定する。また、画像解析部１６１は、線の種類と線の太さに基づいて縦線５１３ａを識別して、縦線５１３ａが細い実線の縦線であると特定する。即ち、横線５１２ａと、縦線５１３ａで形成された識別画像が識別される。次に、画像解析部１６１は、識別した識別画像により指定される基準点、即ち横線５１２ａと縦線５１３ａの交点である格子点の撮影画像における位置（撮影画像基準位置（ｘｒ１，ｙｒ１））を特定する。次に、画像解析部１６１は、画面１１１に表示された表示画像に含まれる識別画像から、識別した識別画像と同一のものを特定する。
画像表示部１１０は、表示画像データに基づいて画面１１１に画像を表示する。表示画像データには複数の識別画像を表示するための識別画像表示情報がそれぞれ含まれている。また、表示画像データには各識別画像により指定される基準点（格子点）の表示画像における位置の情報（格子点周りの領域の画像を表示する画素の位置の情報）が含まれている。各識別画像の識別画像表示情報には、この識別画像を特定するための情報、例えば線の種類と線の太さの情報が含まれている。画像解析部１６１は、表示画像データに基づいて、特定した横線５１２ａ及び縦線５１３ａ（図１６（ｂ）の撮影画像）の線の種類と線の太さと同一のものをもつ横線５１２及び縦線５１３（図１６（ａ）の表示画像）を特定する。この際、横線５１２及び縦線５１３（表示画像）から形成される識別画像の識別画像表示情報を複数の識別画像の識別画像表示情報の中から特定する。即ち、特定した識別画像（撮影画像中の横線５１２ａと縦線５１３ａで形成）と同一の識別画像（表示画像中の横線５１２と縦線５１３で形成）が特定される。画像解析部１６１は、同一と特定された識別画像（横線５１２ａ、縦線５１３ａ）により指定される基準点（格子点５１４ａ）の表示画像における位置（表示画像基準位置（Ｘｒ１，Ｙｒ１））を表示画像データに基づいて特定する。
画像解析部１６１は、図１７（ｂ）に示す特定した撮影画像基準位置（ｘｒ１，ｙｒ１）と、特定した表示画像基準位置（Ｘｒ１，Ｙｒ１）との対応を示す基準対応関係を求める。基準対応関係を各識別画像について求める。即ち、撮影画像基準位置（ｘｒｉ，ｙｒｉ）と表示画像基準位置（Ｘｒｉ，Ｙｒｉ）（ｉ＝１，２，３，・・・）との対応を示す基準対応関係を求める。
なお、特殊な光学装置１３０を使用して歪の無い、表示画像と同程度のアスペクト比の撮影画像を取得することもできる。さらに、どのような識別画像であっても、撮影フレームバッファ内の識別画像と表示フレームバッファ内の識別画像とを対比することにより、撮影フレームバッファ内の基準点の画素アドレス（撮影画像基準位置）と表示フレームバッファ内の基準点の画素アドレス（表示画像基準位置）との対応関係（基準対応関係）を求めることができる。位置は座標値で取り扱われる。撮影フレームバッファ内の撮影画像にｘｙ座標が設定され、表示フレームバッファ内の表示画像にＸＹ座標が設定される。一旦、基準位置ｘｙ座標−ＸＹ座標の対応関係を求めれば、その後、キャリブレーション画像を画面１１１に表示させる必要はない。
撮影画像基準位置のｘｙ座標と表示画像基準位置のＸＹ座標とを対応付ける変換関数又は図１７（ｃ）のような変換テーブルを求め、これを用いることにより、撮影フレームバッファ内の撮影画像のどの画素アドレス（位置座標）が、表示フレームバッファ内の表示画像のどの画素アドレス（位置座標）に対応するかを特定することができる。即ち、画面１１１に載置された対象物、例えばカードが撮影された場合、撮影フレームバッファ内の対象物の画像の位置座標を特定することにより、特定された位置座標に対応する表示フレームバッファ内の表示画像中の位置座標（画面１１１上のカードの位置）を特定することができる。さらに、カードが載置された方向について言えば、例えば、撮影画像において基準点の縦の列又は横の列に対するカードの回転角を特定するか、カード上の少なくとも２点の位置を特定すれば、画面１１１上でのカードの方向を特定することができる。
画面１１１に載置されたカードの幾何学的に特徴的な点、例えば中心や枠（輪郭）を形成する点の画面１１１上の位置は、以下のようにして特定することができる。以下ではカードの中心の位置を特定する。図１８（ａ）は、撮影画像から抽出された基準点と画面１１１に載置されたカードの画像を示している。撮影フレームバッファ内の撮影画像において、カードの中心を示す撮影画像におけるカード座標値（ｘｃ，ｙｃ）を所定の画像処理又はパターン認識により求め、カード座標値（ｘｃ，ｙｃ）を囲む４つの基準点Ａ１，Ａ２，Ａ３，Ａ４の位置座標を選択する。次に、これらの４つの基準点Ａ１，Ａ２，Ａ３，Ａ４に対応する表示フレームバッファ内の表示画像中の図１８（ｂ）に示す４つの基準点Ｂ１，Ｂ２，Ｂ３，Ｂ４の位置座標を、図１７（ｃ）の変換テーブルで特定する。表示フレームバッファの４つの基準点Ｂ１，Ｂ２，Ｂ３，Ｂ４は、画面１１１に載置された、表示フレームバッファにおけるカードの中心を囲む。そこで、図１８（ａ）の撮影フレームバッファの４つの基準点Ａ１，Ａ２，Ａ３，Ａ４の位置座標と、図１８（ｂ）の表示フレームバッファの４つの基準点Ｂ１，Ｂ２，Ｂ３，Ｂ４の位置座標と、図１８（ａ）の撮影フレームバッファ内の撮影画像中のカードの中心の位置座標（ｘｃ，ｙｃ）とに基づいて、内挿法などを用いて、図１８（ｂ）の表示フレームバッファ内の表示画像中のカード座標値（Ｘｃ，Ｙｃ）を正確に求めることができる。一方、変換テーブルを基に、変換関数Ｘ＝ｆｘ（ｘ，ｙ）、Ｙ＝ｆｙ（ｘ，ｙ）を求めておけば、内挿法などを使用しなくともダイレクトにカード座標値（Ｘｃ，Ｙｃ）を求めることができる。そのような変換関数は、所定の座標系（撮影画像の座標）から異なる他の座標系（表示画像の座標）に写像する方法や、撮影画像を正規化して表示画像の座標を求める方法などを用いて求めればよい。変換関数を用いてカード座標値（Ｘｃ，Ｙｃ）を求める場合、撮像画像に対して画像処理又はパターン認識を施すことによりカード座標値（ｘｃ，ｙｃ）を求め、変換関数を用いてカード座標値（ｘｃ，ｙｃ）をカード座標値（Ｘｃ，Ｙｃ）に変換してもよい。また、撮像画像を変換関数で変換（撮像画像を形成する画素の座標系を図１８（ａ）に示すｘｙ座標系から図１８（ｂ）に示すＸＹ座標系に変換）し、変換した画像に対して画像処理又はパターン認識を施すことによりカードの中心を求めて、カード座標値（Ｘｃ，Ｙｃ）を取得してもよい。
対象物（カード）の画面１１１上の位置を特定するために、撮影画像中のカードの所定の位置に代表点を設定する場合、カードの中心や枠などの幾何学的に特徴的な部分だけではなく、カードに描かれたグラフィックの位置に対応する画面１１１上の所定の位置（例えば、矢印のグラフィックの矢の先の位置）に代表点を設定してもよい。この場合、画像認識を用いて撮影フレームバッファに記憶された撮影画像内からカードを抽出し、そのカードに描かれたグラフィックに、予め記録された矢印と同様の画像が存在していないかを所定の画像処理やパターン認識で検索し、矢印が認識される。もちろん、カードを抽出することなく、撮影画像を変換した画像（図１８（ｂ））で対象のグラフィックを直接的に特定してもよい。グラフィックの所定の位置（代表点）は指示体で示してもよい。同様に、指示体１５４や所定領域１５１の画面１１１上の位置（図１）も変換テーブルや変換関数を使用して特定することができる。カードを画面１１１上で移動させた場合の、カード上に設定した点の画面１１１上の軌跡も特定することができる。複数の点の軌跡を特定すれば、移動量と回転量を特定することができる。
撮影画像の座標から表示画像の座標の変換に関して、さらに詳しく説明すると、撮影画像における格子点５１４ａ周りの領域の画像を形成する画素と、表示画像における格子点５１４周りの領域の画像を形成する画素とは、一対一に対応している。画像解析部１６１は、基準対応関係に基づいて、撮影画像における位置（ｘ，ｙ）と、表示画像における位置（Ｘ，Ｙ）との対応を示す位置対応関係を求める。位置対応関係を求める際、
（Ｘ，Ｙ）＝Ｆ（ｘ，ｙ）
で定義される関数Ｆを求める。関数Ｆは位置対応関係を決める。上述したような所定のアルゴリズムを用いれば関数Ｆを求めることができる。位置対応関係と画像記憶手段１２１に記憶させた撮影画像を組み合わせれば、対象物の種類、位置、向き、移動量、回転量及び輪郭の内の少なくとも１つを特定することができる。特定した対象物の情報に基づいて画像表示部１１０と音声再生部１６４の少なくとも一方を制御できる。例えば、位置対応関係を決める関数Ｆを利用して、撮影画像に含まれた対象物の画像の周囲の画素（（ｘａｉ，ｙａｉ）（ｉ＝１，２，３，・・・）に位置する画素）に対応する、表示画像の画素（（Ｘａｉ，Ｙａｉ）（ｉ＝１，２，３，・・・）に位置する画素）を求め（（Ｘａｉ，Ｙａｉ）＝Ｆ（ｘａｉ，ｙａｉ）（ｉ＝１，２，３，・・・））、対象物の周囲に所定の画像を表示するような制御を行うことができる。位置対応関係を決めるために、関数Ｆの代わりにテーブルを用いてもよい。図２０（ａ）に示すような撮影画像を、関数Ｆやテーブルを用いて変換することにより、図２０（ｂ）に示すような元の表示画像を得ることができる。図２０（ａ）及び図２０（ｂ）には、画面１１１に載置されたカードとコイン、カードを示す指示体（ユーザの指）、及び画面１１１に表示された車の画像が示されている。実際には元の表示画像には車の画像のみが表示される。
格子線の代わりにキャリブレーション画像の識別画像として図１９（ａ）に示すようなシンボル（図形）を用いてもよい（この場合、キャリブレーション画像はシンボルの配列の画像を含む）。各シンボルの画像は識別画像として用いられる。識別画像が指定する基準点は、例えばシンボルの重心に設定することができる。識別画像は、シンボルの形状、シンボルの大きさ、シンボルの色、シンボルの配置パターンの内の少なくとも１つに基づいて識別される。シンボルは図示しない格子点上に配置されている。シンボルは等間隔に配置されている。図１９（ａ）の例では、識別画像は、シンボルの大きさとシンボルの形状に基づいて識別される。同じ種類で同じ大きさのシンボルはない。各シンボルが表示される位置は、図１９（ｂ）に示されているような格子の格子点の位置に配置されていてもよい。シンボルの種類とシンボルの大きさに基づいて、識別画像が表示された画面１１１上の基準点の位置座標を特定することができる。これにより、基準点の位置に格子状に配置されたシンボルから、前述した内挿法、写像法や、撮影画像を正規化して表示画像の座標を求める方法など精度の高いアルゴリズムを使用すれば、撮像画像の変形が線型的な変形の場合、キャリブレーション時に少なくとも表示画像の四隅にシンボルを配置（撮影画像中の画面の四隅にシンボルが配置される）しても、変形した撮影画像を変換して元の表示画像を概ね再現できる。
図１９（ｂ）は、格子状に配置された基準点の位置にドットを並べているだけであるが、これらのドットをキャリブレーション画像として用いた場合、全てのドットを撮像すれば、それらの撮像された基準点の配置順番によって、撮影画像基準位置の座標値と表示画像基準位置の座標値との対応関係が容易に認識できる。
なお、図示しないがシンボルの間隔は一定でなくてもよい。識別画像は、シンボルの配置パターンに基づいて識別することができる。
撮影画像における位置と表示画像における位置との対応を示す位置対応関係を求めるために、図１２で示したドットパターンを含む画像を画像表示部１１０の画面１１１に表示させてもよい。ドットパターンは、情報を表現する情報ドットを含む１以上のブロックを有している。各ブロックに含まれる情報ドットが表現する情報は、ブロックが表示される位置を含む情報を含んでいる。撮影画像に基づいて、撮影画像におけるあるブロックの位置を特定する。そのブロックに含まれる情報ドットが表現する情報からそのブロックが表示される位置を取得できる。この結果、そのブロックの撮影画像における位置と表示画像における位置との対応を示す位置対応関係を取得することができる。なお、ここで使用するドットパターンの配置精度（ドット間隔及びドットサイズ）は、表示画像及び撮像画像の解像度以内に収めることが当然であるが、所定の関数を作成する場合は、数ｍｍ前後~数ｃｍ程度のドット間隔及び１ｍｍ前後~数ｍｍ程度のドットサイズであることが望ましい。また、国際公開第２０１０／０６１５８４号で記載されたような補間計算によって高精度の変換テーブルを作成することもできる。
また、撮影画像における位置と表示画像における位置との対応を示す位置対応関係を求めるために、撮影された画像表示部１１０の画面１１１の輪郭の形を利用することができる。撮影画像に基づいて、撮影画像に含まれた画像表示部１１０の画面１１１の画像の輪郭の一部又は全部を特定する。特定した輪郭の一部又は全部に基づいて、撮影画像における位置と画像表示部の画面に表示される表示画像における位置との対応を示す位置対応関係を求めることができる。
光学装置１３０は、画像表示部の画面１１１の少なくとも一部の画像が撮影されるよう、撮影手段１２０に光を導く。光学装置１３０は、情報処理装置１００の筐体１４０に取り付けられている。光学装置１３０は、ベース１３１ｂを介して筐体１４０の上面１４２に載置されている。ベース１３１ｂの部分１３１ａは、筐体１４０の撮影孔１４１を避けるように形成されている。ベース１３１ｂの下面には、ベース１３１ｂを支持する支持部１３１ｃが設けられている。支持部１３１ｃはベース１３１ｂの傾きを変更することができる。ベース１３１ｂと支持部１３１ｃは取付部１３１を構成する。取付部１３１により光学装置１３０は筐体１４０に取り付けられる。
光学装置１３０を情報処理装置１００に着脱可能に取り付けるために、図１、図２、図３（ａ）及び図３（ｂ）に示した取付部１３１とは別の手段を光学装置１３０と情報処理装置１００との少なくとも一方に設けてもよい。例えば、支持部１３１ｃを省略し、ベース１３１ｂを筐体１４０の上面１４２に着脱可能に固定する手段を光学装置１３０に設けてもよい。この場合、ベース１３１ｂの傾きを変更する手段は不要になり、光学装置１３０の構成をより簡便にすることができる。光学装置１３０を情報処理装置１００に着脱可能に取り付けなくてもよい。例えば、光学装置１３０を情報処理装置１００に所定の方法で固定してもよい。
取付部１３１には支柱１３２が回動自在に取り付けられている。光学装置１３０が載置されたとき、支柱１３２の長手方向は、筐体１４０の上面１４２と交差する方向になる。支柱１３２は長手方向周りに回動できる。支柱１３２には、ミラー１３４を回動自在に支持する支持部１３３が取り付けられている。ミラー１３４は、撮影のために撮影手段１２０に光を導く。ミラー１３４の回動軸は、画像表示部１１０の画面１１１と平行である。支持部１３３は、支柱１３２の長手方向にスライド可能である。
ミラー１３４は２軸方向で回動可能であり、支柱１３２の長手方向にスライド可能である。即ち３自由度が実現される。これにより、光学装置１３０は、撮影手段１２０の撮影領域を変更することができる。２軸方向の回動と長手方向のスライドを利用すれば、光学装置１３０は、撮影領域の移動、拡大、縮小の内の少なくとも１つが行われるよう撮影領域を変更できる。ミラーを動かすことに関する自由度は、任意に設定することができる。０以上の自由度を設定することができる。このような自由度を実現する光学装置は、よく知られた機構を用いれば実現することができる。ミラーは、画面と平行な軸周りに回動可能で、画面に垂直な方向にスライド可能にするような機構を光学装置に設けてもよい。この場合、２自由度が実現される。
支持部１３３には、ミラー１３４を覆うカバー１３５が取り付けられる。カバー１３５は撮影孔１４１を覆うように配置されるので、外部の照明などからの光が撮影手段１２０に直接入射することを防止することができる。カバー１３５と支持部１３３は一体的に形成してもよい。
支持部１３３には、図３（ｃ）に示すように、撮影手段１２０の撮影領域を照射する照射手段１３６を取り付けてもよい。対象を撮影するのに必要な光量を十分に確保できないときに、照射により対象を鮮明に撮影できる。
光学装置１３０は、ミラー１３４の代わりに、図４に示すプリズム１３４ｂ又は図５に示す光ファイバを有する光ファイバモジュール１３４ｃを含んでもよい。
光学装置を情報処理装置１００に着脱可能に取り付けるために、情報処理装置１００を挟持するクリップを用いてもよい。取付部１３１は、図６（ａ）及び図６（ｂ）に示すように、支持部１３１ｃの代わりに筐体１４０の下面に当接する当接部１３１ｄを有する。当接部１３１ｄはベース１３１ｂから延びており、当接部１３１ｄとベース１３１ｂは、筐体１４０を挟持する。図６（ｃ）には、凹面鏡を有する光学装置１３０ｂが示されている。光学装置１３０ｂの凹面鏡は、光学装置１３０ｂを筐体１４０の上面１４２の所定の位置に所定の向きで載置したときに画面１１１の全体が撮影されるように設計されている。図６（ｄ）には、光の入射面が凸形状に形成されたプリズムを有する光学装置１３０ｃが示されている。光学装置１３０ｃの凸面は、光学装置１３０ｂと同様に、光学装置１３０ｂを筐体１４０の上面１４２の所定の位置に所定の向きで載置したときに画面１１１の全体が撮影されるように設計されている。光学装置１３０ｂ，１３０ｃは、画面１１１を撮影するに際して、広い視野を実現する。このため、所定の位置に所定の向きで載置するだけで所望の領域を容易に撮影することができる。図３、図４、図５、図６（ａ）及び図６（ｂ）に示された光学装置では、所望の領域を撮影するためにミラー、プリズムなどの光学素子の向き及び位置を調整する必要があるが、光学装置１３０ｂ，１３０ｃでは、調整する必要がない。また、光学素子の向き及び位置を調整する手段を必要としないので、構造が簡便である。光学装置１３０ｂ，１３０ｃを情報処理装置１００に取り付けるために、光学装置１３０ｂ，１３０ｃを上面１４２に貼着してもよい。その場合、光学装置１３０ｂ，１３０ｃを上面１４２から容易に剥がすことができ、また再度貼着することが可能な接着剤を用いることができる。また、図６（ａ）及び図６（ｂ）に示された取付部１３１と同様のクリップを用いてもよい。以上、様々な光学装置の実施の形態を記載したが、画面１１１の少なくとも一部又は全部が、撮影手段１２０の撮影領域に含まれるように光を導くことができれば、どのような構造であってもよい。
撮影手段１２０は、画像表示部１１０の画面１１１上に位置する対象物及び／又は画面１１１外に位置する対象物を含む画像を撮影する。画面１１１外に位置する対象物は、画面近傍に位置することが望ましい。画面１１１上に位置する対象物と画面１１１外に位置する対象物との両方が同時に撮影されるときには、特に望ましい。対象物は、印刷媒体、薄板状の媒体、及びフィギアの内の少なくとも１つを含む。図７（ａ）には、本発明の一実施の形態に係る対象物を撮影する様子が示されている。図７（ａ）に示す例では、撮影手段１２０は、画像表示部１１０の画面１１１上に位置する対象物１５３ａ，１５３ｂ及び／又は画面１１１外に位置する対象物１５３ｃ，１５３ｄの画像を撮影することができる。対象物１５３ａはカードである。カードは印刷媒体であり、薄板状の媒体である。対象物１５３ｂはコインである。対象物１５３ｃはフィギアである。対象物１５３ｄはグラスである。図７（ｃ）及び図７（ｄ）は、撮影手段１２０により撮影された画像の例である。撮影手段１２０の撮影領域を変更する光学装置１３０の機能を利用すれば、様々な領域の画像を撮影できる。
図７（ｂ）に示すように撮影手段１２０が、画面１１１の外から画面１１１上の対象物（例えばカード１５３ａ）を指し示す指示体も撮影できるように、画面１１１外まで撮影領域を広げてもよい。指示体にはユーザの指１５４を用いてもよいし、タッチペンを用いてもよい。撮影領域を変更するには、光学装置１３０の向きを変更してもよいし、広範な領域を撮影できるように、光を集光する構造をもつ光学装置及び／又は光を集光する材料で形成された光学装置を予め用意してもよい。
情報処理装置１００を利用する本発明の一実施の形態に係るプログラムを説明する。
図８は、情報処理装置１００のブロック図である。情報処理装置１００は、画像解析部１６１と制御部１６２と記憶部１６３と音声再生部１６４とを有する。記憶部１６３には、画像解析部１６１にてなされる画像の解析と、制御部１６２にてなされる制御を情報処理装置１００に実行させるプログラムが記憶されている。記憶部１６３には、さらに画像表示部１１０にて表示される画像データ及び／又は動画データと、画像解析部１６１により撮影画像の解析のために用いられる画像データ及び／又は動画データと、音声再生部１６４にて再生される音声データが記憶されている。プログラム、画像データ、動画データ及び音声データは、図示しない通信手段を用いて所定のサーバーよりダウンロードすることができる。
図９は、情報処理装置１００の動作を表すフローチャートである。情報処理装置１００は、対象物を含む画像を撮影手段１２０に撮影させ、撮影させた撮影画像に基づいて撮影画像に関連する情報を処理する。例えば、撮影画像に基づいて画像表示部１１０と音声再生部１６４の少なくとも一方を制御する。プログラムは、記憶部１６３から読み出され、プログラムに基づいて制御部１６２にて情報処理が行われる。画像データ、動画データ及び音声データは、適宜に記憶部１６３から読み出され、制御部１６２や画像解析部１６１にて利用される。制御部１６２は、画像表示部１１０の画面１１１上に位置する対象物１５３ａ，１５３ｂ及び／又は画面１１１外に位置する対象物１５３ｃ，１５３ｄ（図７（ａ））を含む画像を撮影手段１２０に撮影させる（工程１７１）。画面１１１上に位置する対象物１５３ａ，１５３ｂを含む画像が常に撮影されるようにしてもよい。その場合、画面１１１上に位置する対象物１５３ａ，１５３ｂを含む画像、又は、画面１１１上に位置する対象物１５３ａ，１５３ｂと画面１１１近傍に位置する対象物１５３ｃ，１５３ｄとを含む画像が撮影される。次に、制御部１６２は、画像解析部１６１に画像の解析を行わせる。画像解析部１６１は、撮影手段１２０により撮影された対象物の画像（画像記憶手段１２１に記憶されている画像）に基づいて、対象物の種類、位置、向き、移動量、回転量、及び輪郭の内の少なくとも１つを含む対象物の情報を特定する（工程１７２）。対象物の種類には、例えば、カード類、フィギア類、コイン類がある。対象物の種類が特定されると、対象物がカードなのか、フィギアなのかが特定される。工程１７１にて、画面１１１上に位置する対象物１５３ａ，１５３ｂを含む画像を撮影手段１２０が常に撮影される場合には、工程１７２にて、対象物の種類（画面１１１上に位置する対象物１５３ａ，１５３ｂと画面１１１外に位置する対象物１５３ｃ，１５３ｄの両方が撮影される場合には、対象物１５３ａ，１５３ｂ，１５３ｃ，１５３ｄの少なくとも１つの種類。対象物１５３ａ，１５３ｂだけが撮影される場合には対象物１５３ａ，１５３ｂの少なくとも１つの種類。）、画面１１１上に位置する対象物１５３ａ，１５３ｂの少なくとも１つの位置、対象物１５３ａ，１５３ｂの少なくとも１つの向き、対象物１５３ａ，１５３ｂの少なくとも１つの移動量、対象物１５３ａ，１５３ｂの少なくとも１つの回転量、及び対象物１５３ａ，１５３ｂの少なくとも１つの輪郭の内の少なくとも１つを含む対象物の情報が特定される。制御部１６２は、画像解析部１６１により特定された対象物の情報に基づいて画像表示部１１０と音声再生部１６４の少なくとも一方を制御する（工程１７３）。上述したように、撮影画像は動画を形成することができる。工程１７２にて対象物の移動量が特定される場合には、動画に基づいて、時々刻々変化する対象物の位置が解析される。回転量が特定される場合には、動画に基づいて、時々刻々変化する対象物の向きが解析される。
例えば、戦車の絵が描かれたカード１５３ａを画面１１１上の所定の位置に配置すると、制御部１６２は、音声再生部１６４が戦車のエンジンの始動音を再生するよう音声再生部１６４を制御する。同時に、カード１５３ａの周りで土煙が上がるような画像が表示されるよう画像表示部１１０を制御する。図１０に示すように、戦車の絵が描かれたカード１５６を画面１１１上で移動及び／又は回転をさせたときに、これに応じて、カード１５６の軌跡に沿って無限軌道の走行跡の画像１５６ａを表示させたり、カード１５６に描かれた戦車が、動画として画面１１１に表示される車両１５７に向けて発砲するような画像１５６ｂを表示させたりしてもよい。
図１に示すように、指示体１５４（例えば、ユーザの指）でカード１５３（対象物）の所定領域１５１（図１の例では、星のしるし「☆」が描かれている領域）を示す（所定領域１５１から離れた位置から所定領域１５１を指し示す）と、それに応じて制御部１６２は所定の制御を行う。指の代わりにペンを用いてもよい。指示体１５４は所定領域１５１に当接してもよい。撮影された撮影画像に基づいて、指示体１５４で示された所定領域１５１（戦車の大砲の近傍の領域）を特定する。特定された領域に基づいて制御部１６２は画像表示部１１０と音声再生部１６４の少なくとも一方を制御できる。例えば、大砲が発砲したような音が再生され、領域１５１の近傍に火花の画像が表示されるよう制御を行う。
画像解析部１６１は、指示体１５４が所定領域１５１から離れた位置から所定領域１５１を指し示しているか、指示体１５４が所定領域１５１に当接しているかを特定できる。画像解析部１６１は、特定する際、撮影画像に含まれた指示体１５４の影などに基づいて特定する。指示体１５４が所定領域１５１から離れた位置から所定領域１５１を指し示していると特定された場合、画像解析部１６１は、（現実に）指示体１５４が所定領域１５１を指し示す方向を特定し、その方向に基づいて所定領域１５１を特定する。指示体１５４が所定領域１５１に当接していると特定された場合、画像解析部１６１は、撮影画像を解析し、（現実に）指示体１５４の直下に位置していると判断される対象物の領域を所定領域１５１として特定する。指示体１５４が離れているか当接しているかの特定のために、画像表示部１１０の画面１１１上に位置する対象物１５３に当接する指示体１５４の画面１１１上の位置を検知する検知手段を用いてもよい。検知手段は画面１１１に設けられていて、静電容量タッチパネルを含んでいる。検知手段により指示体１５４の画面１１１上の位置が検知されれば、指示体１５４は当接すると特定される。位置が検知されなければ、指示体１５４は離れていると特定される。
画像解析部１６１は、撮影手段１２０により撮影された撮影画像に基づいて、カード１５３の所定領域１５１だけでなく指示体１５４も特定することができる。所定領域１５１の特定は上述と同様に行うことができる。指示体１５４を特定する際には、画像解析部１６１は、記憶部１６３に記憶された画像データ及び／又は動画データと指示体１５４の画像とを比較して指示体１５４を特定する。例えば、画像解析部１６１は、指示体１５４の画像と、記憶部１６３に記憶されたユーザの指の画像データやペンの画像データとを比較照合し、指示体１５４がユーザの指であると判断する。この比較照合は、指示体１５４の画像と記憶された画像データとの特徴点を抽出して判断してもよい。制御部１６２は、特定された所定領域１５１と指示体１５４に基づいて画像表示部１１０と音声再生部１６４の少なくとも一方を制御できる。この場合、特定された指示体が赤いタッチペンであれば制御部１６２はある制御（例えば、領域１５１の近傍に火花の画像が表示されるような制御）を行い、特定された指示体が青いタッチペンだった場合には別の制御（例えば、領域１５１の近傍に大砲の残弾数を示す画像が表示されるような制御）を行う、といった処理が可能である。
動きを表現する動作体の動作に基づいて制御してもよい。動作体として、ペンやユーザの手を用いることができる。画像解析部１６１は、動画を形成する撮影画像に基づいて、対象物の情報（対象物の種類、位置、向き、移動量、回転量、及び輪郭の内の少なくとも１つを含む情報）に加えて、撮影手段１２０により撮影された動作体の動作をさらに特定することができる。制御部１６２は、特定された動作体の動作に基づいて画像表示部１１０と音声再生部１６４の少なくとも一方を制御できる。例えば、動作体で右回りか左回りに円を描いたり、動作体を画面１１１に沿って動かしたり、画面１１１から遠ざかる向きか近づく向きに動かしたりする。画像解析部１６１は、記憶部１６３に記憶された画像データ及び／又は動画データと、撮影された動作体の動画とを比較して動作体の動作を特定する。特定の際、動作体の速度や動作体の軌跡を特定できる。制御部１６２は、動作体の速度や動作体の軌跡に基づいて制御できる。動作体としてユーザの手を用いる場合、じゃんけんの動作（例えば、グーからパーへの変化）に基づいて制御してもよい。動作体の軌跡は、動作を特徴付ける特徴点を抽出して特定してもよい。
次に、本発明の第２の実施の形態に係る情報処理装置２００を説明する。第２の実施の形態の情報処理装置２００の構成の大部分は、第１の実施の形態の情報処理装置１００と同様である。第１の実施の形態の情報処理装置１００の構成要素と同じ構成と機能を有する構成要素には、同じ参照符号を付す。
図１及び図２を参照して情報処理装置２００の構成を説明する。情報処理装置２００は、画像表示部１１０の画面１１１上に位置する対象物１５３に当接する指示体１５４（ユーザの指）の画面１１１上の位置を検知する検知手段をさらに有している（図１及び図２では検知手段は図示されていない）。検知手段は画面１１１に設けられていて、静電容量タッチパネルを含んでいる。なお、検知手段は、静電容量タッチパネルの他、光学式タッチパネル、感圧式タッチパネルなど、対象物１５３、及び／又は、対象物１５３又は画面１１１に当接する指示体１５４の画面１１１上の位置を検知できれば、どのような手段であってもよい。
図１１は、情報処理装置２００のブロック図である。画像解析部１６１は、撮影された撮影画像に基づいてカード１５３の種類、位置、向き、移動量、回転量、及び輪郭の内の少なくとも１つを含むカード１５３の情報を特定できる。例えば、カード１５３の位置、即ち画面１１１上の位置と、カード１５３の向きを含む情報が特定される。次に、画像解析部１６１は、カード１５３の情報（画面１１１上の位置と向き）と、検知手段２６５により検知されたユーザの指の画面１１１上の位置とに基づいて、ユーザの指が当接しているカード１５３の領域１５１を特定する。制御部１６２は、特定したカード１５３の領域１５１とカード１５３の情報（画面１１１上の位置と向き）に基づいて画像表示部１１０と音声再生部１６４の少なくとも一方を制御する。例えば、ユーザがカード１５３の領域１５１（戦車の大砲の近傍の領域）に指を載せると、大砲が発砲したような音が再生され、領域１５１の近傍に火花の画像が表示されるような制御がなされる。
指示体１５４が対象物１５３の近傍の画面１１１上の領域に当接する（指示体１５４は対象物１５３に接していない）場合には、情報処理装置２００は以下のように動作する。画像解析部１６１は、撮影された撮影画像に基づいて、カード１５３の情報（画面１１１上の位置と向きを含む情報）を特定する。制御部１６２は、特定したカード１５３の情報と、検知手段２６５により検知されたユーザの指の画面１１１上の位置とに基づいて画像表示部１１０と音声再生部１６４の少なくとも一方を制御する。例えば、ユーザがカード１５３の領域１５１（戦車の大砲の近傍の領域）の近傍の画面１１１上の領域に指を載せると、大砲が発砲したような音が再生され、領域１５１の近傍に火花の画像が表示されるような制御がなされる。
次に、本発明の第３の実施の形態に係る情報処理装置及びこれとともに用いられる本発明の一実施の形態に係る対象物を説明する。第３の実施の形態の情報処理装置の構成の大部分は、第１の実施の形態の情報処理装置１００と同様である。第１の実施の形態の情報処理装置１００の構成要素と同じ構成と機能を有する構成要素には、同じ参照符号を付す。
本実施の形態の対象物には、対象物を特定するための指標が設けられている。指標は、グラフィック、マーク、マークの配列、自動認識コードのパターンの内の少なくとも１つを含む。撮影手段１２０により指標が設けられた対象物が撮影されたとき、情報処理装置は、撮影画像に含まれる指標の画像に基づいて対象物を特定する。情報処理装置は、特定した対象物に基づいて処理する。
例えば、猫のグラフィックの指標が設けられたカード（対象物）が画像表示部１１０の画面１１１の中央に載置され、犬のグラフィックの指標が設けられたカード（対象物）が画面１１１の端に載置されているとする。猫のカードにはカードを特定するための所定のＩＤ番号、例えば「１」が設定されている。犬のカードにはＩＤ番号として「２」が設定されている。記憶部１６３（図８）には、ＩＤ番号、指標（グラフィック）の画像データ、及びＩＤ番号と指標の対応関係が記憶されている。これらのカードが撮影されたとき、画像解析部１６１は、撮影画像に含まれる指標の画像と記憶部１６３に記憶されている指標の画像データとを比較して、撮影画像において画面１１１の画像の中央に位置するカードの画像に、記憶部１６３に記憶されている猫のグラフィックの指標の画像が含まれていることを特定する。同様に、画像解析部１６１は、撮影画像において画面１１１の画像の端に位置するカードの画像に、記憶部１６３に記憶されている犬のグラフィックの指標の画像が含まれていることを特定する。画像解析部１６１は、記憶部１６３に記憶されたＩＤ番号と指標の対応関係に基づいて画面１１１の中央のカードのＩＤ番号が「１」であり、画面１１１の端のカードのＩＤ番号が「２」であることを特定する。このようにして対象物は特定される。記憶部１６３には、カードのＩＤ番号と対応付けられたプログラム、画像データ、動画データ、音声データ等が記憶されている。カードのＩＤ番号が特定されると、制御部１６２は、カードのＩＤ番号に対応したプログラムに基づいて制御を行う。例えば、ＩＤ番号が「１」であるカード（猫のカード）の近くの画面１１１の領域に「猫」の文字を表示し、ＩＤ番号が「２」であるカード（犬のカード）の近くの画面１１１の領域に「犬」の文字を表示するといった制御を行う。
指標としてマークが用いられている場合も、指標としてグラフィックが用いられている場合と同様に対象物を特定できる。マークは、例えばハート形や、ダイヤ形である。マークの違いによって対象物を特定することができる。
上述したように指標としてマークの配列を用いることができる。マークの配列は、例えば多角形を想定し、その多角形の頂点の位置にマークを配置したものである。多角形の頂点はマークを代表する点、例えばマークの図心と一致している。２枚のカード（対象物）にマークの配列が設けられているとする。一方のカードには３つのマークが設けられており、３つのマークは、想定された正三角形の頂点の位置にそれぞれ配置されている。他方のカードにも３つのマークが設けられており、３つのマークは、想定された２等辺三角形の頂点の位置にそれぞれ配置されている。正三角形配置のカードは画面１１１の中央に載置されており、２等辺三角形配置のカードは画面１１１の端に載置されている。画像解析部１６１は、マークの形状とマークの配列（この場合には多角形の形状）に基づいてカードを特定する。正三角形配置のカードにはＩＤ番号として「３」が設定されており、２等辺三角形配置のカードにはＩＤ番号として「４」が設定されている。記憶部１６３には、ＩＤ番号、マークの形状のデータ、マークの配列のデータ、及びこれらの対応関係が記憶されている。これらのカードが撮影されたとき、画像解析部１６１は、撮影画像に基づいて、それぞれのカードに設けられたマークの形状及びマークの配列を特定する。画像解析部１６１は、特定したマークの形状及びマークの配列と、記憶部１６３に記憶されたマークの形状のデータ及びマークの配列のデータとを比較し、記憶部１６３に記憶された対応関係に基づいて画面１１１の中央のカードのＩＤ番号が「３」であり、画面１１１の端のカードのＩＤ番号が「４」であることを特定する。カードのＩＤ番号が特定されると、制御部１６２は、カードのＩＤ番号に対応したプログラムに基づいて制御を行う。
想定された多角形（以下、想定多角形という）の形状は、撮影されると乱れる。マークの配列を斜めから撮影すると、撮影された想定多角形の形状（撮影されたマークを代表する点を頂点とする多角形の形状）は、実際の想定多角形の形状とは異なるものになる。例えば正三角形を斜めから撮影すると、撮影された正三角形の形状は２等辺三角形になる。画像解析部１６１は、撮影された画面１１１の輪郭の形状などを利用して、撮影画像から実際の想定多角形の形状を推定する。画像解析部１６１は、撮影画像に基づいてマークの配列を特定する際、この推定された実際の想定多角形の形状を利用する。
このようにしてマークの配列を用いることによって、複数のカード（対象物）を互いに識別することができる。マークを代表する点の配置（以下、代表点配置という）はユニークであることが望ましい。即ち、２枚のカードを任意に選択し、一方のカードの代表点配置を拡大し、並行移動し、回転したときに、その代表点配置を他方のカードの代表点配置に重ねることができないことが望ましい。
指標は、対象物に不可視のインクを用いて印刷することができる。指標を印刷するのに使用するインクとして、所定の波長の光に反応する特性、及び、所定の特性をもった第１の光に反応して第１の光とは異なる特性をもつ第２の光を発する特性の内の少なくとも１つをもつインクを用いてもよい。また、インクの代わりにこのような特性をもつ材料を用いて指標を対象物に設けてもよい。例えば所定の波長の光を吸収する特性をもつインクで指標が印刷されると、対象物の指標の部分では、所定の波長の光が吸収され、他の部分では所定の波長の光が拡散反射される。対象物は、少なくとも所定の波長の光を透過するフィルタを介して撮影される。つまり、対象物の指標の部分に対応する画素のみ所定の波長の光が撮影されないことにより、指標を特定することができる。さらに、所定の特性をもった第１の光に反応して第１の光とは異なる特性をもつ第２の光を発する特性をもつ不可視のインクで指標が印刷される。指標は、対象物の色とは異なる色の波長の可視光を発し撮影され、指標が特定される。
指標に用いる自動認識コードは、バーコード、２次元コード、ドットコードの内の少なくとも１つを含む。ドットコードに用いるパターンであるドットパターンについて図１２乃至図１５を参照して説明する。ドットパターンは複数のドットからなる。図１２乃至図１５にて描かれている線分及び曲線は、説明の便宜のために付したものであり、ドットパターンには含まれない。
図１２は、本実施の形態のドットパターンを示す図である。図１２に示すドットパターンは、ＧＲＩＤ１と呼ばれる。図３（ｃ）に示すように、光学装置１３０には撮影領域を照射する照射手段１３６を取り付けることができる。照射手段１３６には、ドットパターンが施された対象物に所定の波長の光を照射できるＬＥＤを用いることができる。撮影手段１２０は所定の波長の光で撮影できる。光学装置１３０には、第１の波長の光を透過させ、第２の波長の光を遮断するフィルタ１３７を設けることができる。フィルタ１３７は、筐体１４０の撮影孔１４１を覆うように、部分１３１ａに設けることができる。撮影領域はフィルタ１３７を介して撮影される。もちろん、ドットを特定できる配色でドットを印刷し、照射手段１３６やフィルタ１３７を設けないでドットパターンを撮影してもよい。
ドットパターン１は、ドットコード生成アルゴリズムにより、微細なドット、即ち、キードット２、情報ドット３、基準格子点ドット４を所定の規則に則って配列することにより生成される。図１２に示すように、ドットパターン１が設けられる媒体（対象物）上には、一方向に延び、並列する複数の線分と、この方向と直行する方向に延び、並列する複数の線分とにより形成される格子が想定される。この格子に基づいて各種のドットが配置される。これらのドットで１つのブロックが構成される。格子点には基準格子点ドット４が配置される。格子点からずれた位置にキードット２が配置される。図１２の例では、キードット２はブロックのコーナーに配置されているが、ブロック内のどこに配置されてもよい。格子を形成する線により区切られた矩形の格子領域の四つ角のそれぞれには基準格子点ドット４が配置される。それぞれの格子領域の中心（矩形の対角線の交点）には仮想格子点が設定される。仮想格子点を基準として仮想格子点の周囲に情報ドット３が配置される。図１２には、近接して配列された４つのブロックが示されている。それぞれのブロックの基礎となる格子の枠は太線で示されている。隣り合うブロックは、格子の枠上の基準格子点ドット４とキードット２を共有する。
基準格子点ドット４は格子状に配列されているので、撮影された基準格子点ドット４は規則的に配列する。しかしながら、撮影手段１２０のレンズの歪み、基準格子点ドット４が設けられた媒体の変形などにより、撮影された基準格子点ドット４の配列が変形する。基準格子点ドット４の配列の変形は、ドットパターン１の解析のエラーの原因になる。特に、格子領域の四つ角に配置されている（矩形の角に位置する）４つの基準格子点ドットを斜めから撮影すると、撮影する角度に応じてこれらの基準格子点ドットに囲まれた格子領域の変形の度合いが大きくなる。このような変形は、所定の関数ｆを用いて撮影画像を変換することにより、補正することができる。関数ｆを求めるには、まず、撮影された基準格子点ドットから、格子領域の四つ角に配置されていると推定される４つの基準格子点ドットを選択する。４つの基準格子点ドットの位置を変換し、これらが正方形の角に位置するようになるような関数ｆを求める。撮影画像における変換前の基準格子点ドットの位置を（Ｘｉ’，Ｙｉ’）（ｉ＝１，２，３，４）、撮影画像における変換後の基準格子点ドットの位置（正方形の角に位置する基準格子点ドットの位置）を（Ｘｉ，Ｙｉ）（ｉ＝１，２，３，４）とすると、関数ｆは（Ｘｉ，Ｙｉ）＝ｆ（Ｘｉ’，Ｙｉ’）
で定義される。
このように、基準格子点ドット４を利用すれば、撮影手段１２０のレンズに歪みが生じている場合でも、ドットパターンを撮影する角度が大きい場合でも、ドットパターン１の解析のエラーを少なくすることができる。
キードット２は、図１２に示すように、格子点から所定方向にずれた位置に配置されている。撮影画像からキードット２を抽出することにより、ブロックの向きと大きさを特定することができる。ドットパターン１を撮影し、撮影画像においてキードット２のずれの方向が特定されたとき、その方向又は、関連する方向がブロックの向きとして特定される。キードット２のずれの量は例えば、隣り合う基準格子点ドット間の間隔の２０％程度である。ずれの量はこれに限定されず、ブロックの寸法に応じて可変し得るものである。キードット２は、ブロックを代表するドットである。ブロックに情報を定義するとき、ドットパターン１が設けられた媒体上のブロックの位置を情報に含ませることができる（本実施の形態では、対象物を特定するためのＩＤ番号が含まれている）。
情報ドット３は種々の情報を表現するためのドットである。ブロックには１以上の情報ドット３が含まれる。各情報ドット３には個別に数値情報などの基礎情報が定義される。１つのブロックに含まれるこれら１以上の情報ドット３に定義された基礎情報で種々の情報、例えばブロックの位置の座標値等を表現する。情報ドット３の基礎情報は、その情報ドット３の配置、大きさ、形状、色の内の少なくとも１つに基づいて定義される。基礎情報が数値情報である場合、基礎情報は値をもつ。
基礎情報が情報ドット３の配置に基づいて定義される場合について説明する。情報ドット３は、仮想格子点を基準として配置される。仮想格子点は、格子を形成する線により区切られた矩形の格子領域の中心に設定されている。仮想格子点を始点、情報ドット３の位置を終点とするベクトルを想定する。情報ドット３に定義された基礎情報は、ベクトルの方向と長さに基づいて特定される。ベクトルの方向は、所定の基準方向を基準として特定される。基準方向として、キードット２のずれの方向（ブロックの向き）が用いられる。ベクトル、即ち情報ドット３の配置に対応する情報の値（２進値）が予め決められている。情報ドット３の位置の特定を容易にするために、情報ドット３を予め決められた幾つかの位置にだけ位置させることができるようにしてもよい。図１３（ａ）に示す例では、情報ドット３は、仮想格子点５を基準として８つの位置にだけ位置させることができる。図１３（ａ）では、仮想格子点５は白抜きの丸のしるし「○」で描かれている。仮想格子点５は仮想的な点であり、ドットパターン１にはしるし「○」は含まれない。
情報ドット３は８通りの状態をとることができるので、３ビットの情報を表現することができる。図１３（ａ）には、各状態に対応する情報の値が２進値で示されている。１つのブロックには１６個の情報ドットが含まれている（図１２）ので、１つのブロックは、３ビット×１６個＝４８ビットの情報を表現することができる。
情報ドット３がとり得る状態の数は、８つに限られない。例えば、図１３（ｂ）、図１３（ｃ）に示すように、４つでもよい。情報ドット３は４通りの状態をとることができるので、２ビットの情報を表現することができる。１つのブロックでは、２ビット×１６個＝３２ビットの情報を表現することができる。情報ドット３がとり得る状態の数は、１６でもよい。
図１３の例では、ベクトルの長さ（情報ドット３の仮想格子点５からの距離）が一定である。図１４の例では、ベクトルの長さが長いか短いかの２通りの状態を情報ドット３にとらせることができる。情報ドット３は予め決められた８つの方向に配置することができる。即ち、図１４の例では、情報ドット３は２×８＝１６通りの状態をとることができ、４ビットを表現することができる。長い方のベクトルの長さは、隣り合う基準格子点ドット４の間隔の２５％前後、短い方のベクトルの長さは、隣り合う基準格子点ドット４の間隔の１５％前後であることが望ましい。ただし、長短のベクトルの長さの値は、情報ドット３の径の値よりも大きいことが望ましい。
図１５（ａ）は、２つの情報ドットが配置された状態を示す。図１５（ｂ）は、４つの情報ドットが配置された状態を示す。図１５（ｃ）は、５つの情報ドットが配置された状態を示す。
指標を施した対象物の別の実施の形態を説明する。指標としてドットパターンを用いる。上述した、指標を施した対象物の実施の形態では、指標として用いたドットパターンの情報ドットの情報には、対象物を特定するためのＩＤ番号が含まれていたが、本実施の形態の対象物に設けたドットパターンの情報ドットの情報には、対象物における位置情報及び／又はコード値を含ませる。
コード値として、例えば対象物を特定するためのＩＤ番号を用いることができる。２枚のカード（対象物）にドットパターンとグラフィック（例えば、猫のグラフィック）を重ねて印刷する。２枚のカードには同じ猫のグラフィックを印刷する。ドットパターンを用いれば、同じグラフィックが印刷されたカードを区別することができる。一方のカードにＩＤ番号として「１」を設定し、他方のカードにＩＤ番号として「２」を設定する。即ち、一方のカードのコード値は「１」であり、他方のカードのコード値は「２」である。これらのカードが撮影されたときに、例えば、ＩＤ番号が「１」であるカードの近くの画面１１１の領域に「双子の兄」の文字を表示し、ＩＤ番号が「２」であるカードの近くの画面１１１の領域に「双子の弟」の文字を表示するといった制御を行う。
ドットパターンが施されたカード（対象物）の表面には、１以上のブロックが印刷されており、各ブロックに含まれる情報ドット３が表現する情報には、カード上のブロックの位置情報を含ませることができる。例えば、ブロックに含まれる情報ドット３がもつ情報に、そのブロックに含まれるいずれかの基準格子点ドット４のカード上の座標を含ませることができる。これを利用して、撮影されたカードの所定領域に施されたドットパターンの画像に基づいて所定領域のカード上の位置を特定できる。このとき、画像解析部１６１（図８）は、その画像から、所定領域に施されたブロックに含まれる情報ドットが表現する情報、即ちカード上のそのブロックの位置情報を取得して、この位置情報に基づいて所定領域を特定する。このように、ドットパターンを利用してカードの所定領域、例えば指示体１５４（ユーザの指）が当接しているカードの所定領域１５１（図１及び図２を参照。ドットパターンは図示せず。）を特定できる。領域の特定のために、微細なドットの位置を利用しているので、領域の特定を極めて高精度で行うことができる。
上記指標を施した対象物の実施の形態では、光学装置１３０を用いて、撮影領域を拡大して撮影することができる。これにより、微細なドットをより確実に撮影できる。
次に、本発明の第４の実施の形態に係る情報処理装置を説明する。第４の実施の形態の情報処理装置の構成の大部分は、第２の実施の形態の情報処理装置２００と同様である。第２の実施の形態の情報処理装置２００の構成要素と同じ構成と機能を有する構成要素には、同じ参照符号を付す。
第４の実施の形態の情報処理装置は、指示体１５４の画面１１１上の位置を検知する検知手段２６５（図１１）を有している。また、第３の実施の形態と同様に、対象物にはドットパターンが施されている。上述したように、検知手段２６５を利用しても、ドットパターンを利用しても指示体で指示された対象物上の所定領域を特定できる。
次に、本発明の第５の実施の形態に係る情報処理装置５００を説明する。第５の実施の形態の情報処理装置の構成の大部分は、第１の実施の形態の情報処理装置１００と同様である。第１の実施の形態の情報処理装置１００の構成要素と同じ構成と機能を有する構成要素には、同じ参照符号を付す。
情報処理システムでは、画面１１１上に載置されたカードを画面１１１とともに撮影手段１２０により撮影し、撮影された撮影画像から例えばカードの角を特定し、その角の周囲にアクション画像を表示するといったことが行われる。カードの角の周囲にアクション画像を表示する際、画面１１１に表示する表示画像を構成する画素のどれにアクション画像を表示すればよいかを決める必要がある。これを決めるには、撮影画像のどの画素が表示画像のどの画素に対応するのかを求めることが必要である。この対応関係を求めるために、キャリブレーション画像が利用される。
画像表示部１１０の画面１１１（図１及び図２）には、キャリブレーション画像が表示される。キャリブレーション画像は、画面１１１上に位置する対象物１５３とともに撮影手段１２０により撮影され、画像記憶手段１２１（図８）に記憶される。キャリブレーション画像は、画面１１１に表示される表示画像における位置（表示画像の画素の位置）と、画像記憶手段１２１に記憶されている撮影画像における位置（撮影画像の画素の位置）とを対応付けるために用いられる。キャリブレーション画像は、互いに識別可能な複数の識別画像を含む。
キャリブレーション画像は、格子線を表す画像を含むことができる。ここで、格子線は、一方向に延び、並列する複数の線と、この一方向と交差する他の方向に延び、並列する複数の線とを含む複数の線を指すものとする。並列する線の間隔は一定でもよいし、一定でなくてもよい。
図１６（ａ）には、格子線を表す画像を含むキャリブレーション画像が、画面１１１に表示画像として表示されている様子が示されている。格子点を通る十字の線を表す画像が識別画像である。複数の識別画像はそれぞれ画面１１１上の基準点を指定する。画面１１１上の基準点は、画面１１１上に幾何学的に設定された仮想的な点である。基準点は、図１７（ａ）で示される画面１１１上の任意の位置を特定するための基準となる点である。図１６（ａ）の例では、各識別画像は、この識別画像が表す縦横の線の交点、即ち格子点を基準点として指定する。各格子点について識別画像が設定されている。識別画像は、線の種類、線の色、線の太さ、線の間隔の内の少なくとも１つに基づいて識別される。キャリブレーション画像はこのような識別画像の集まりで形成されている。
撮影手段１２０で撮影され、画像記憶手段１２１に記憶されている撮影画像に含まれる識別画像は、図１６（ｂ）の例では、線の種類と線の太さに基づいて識別される。横線及び縦線は等間隔に並んでいる。同じ種類で同じ太さの線はない。種類（例えば、点線、鎖線、破線、実線、２重線）と太さを指定すれば横線（例えば細い２点鎖線の横線５１２ａ）を特定することができる。各横線が表示される位置は予め決められている。したがって、横線の種類と太さに基づいてその横線が表示された画面１１１の画像１１１ａ上の領域の縦の位置を特定することができる。縦線についても同様である。縦線（例えば、細い実線の縦線５１３ａ）の種類と太さに基づいてその縦線が表示された画面１１１の画像１１１ａ上の領域の横の位置を特定することができる。これを利用すれば、格子点５１４ａを通る縦線５１３ａと横線５１２ａの種類と太さに基づいて、格子点５１４ａが表示された画面１１１の画像１１１ａ上の基準点の位置を特定することができる。このようにして、各基準点の位置を特定することができる。各基準点と、画面１１１上に位置する対象物との位置関係が特定できれば、対象物の画面１１１上の位置及び向きを特定することができる。同様に対象物の移動量と回転量を特定することができる。
なお、図１６（ｂ）では、撮影手段１２０により近い画面１１１の部分は大きくなり、より遠い部分は小さくなる。このため、格子線は変形しているが、格子線の種類と太さに基づいて撮影画像における図１７（ｂ）の各基準点の位置（基準点の撮影フレームバッファの画素アドレス）を特定することができる。画像解析部１６１（図８）は、撮影画像に基づいてこの撮影画像に含まれた各識別画像を識別し、識別した識別画像により指定される基準点の位置を示す撮影画像基準位置を特定する。撮影画像に含まれる画面の画像１１１ａには、細い２点鎖線の横線５１２ａと細い実線の縦線５１３ａを表す画像が含まれている。画像解析部１６１は、線の種類と線の太さに基づいて横線５１２ａを識別して、横線５１２ａが細い２点鎖線の横線であると特定する。また、画像解析部１６１は、線の種類と線の太さに基づいて縦線５１３ａを識別して、縦線５１３ａが細い実線の縦線であると特定する。即ち、横線５１２ａと、縦線５１３ａで形成された識別画像が識別される。次に、画像解析部１６１は、識別した識別画像により指定される基準点、即ち横線５１２ａと縦線５１３ａの交点である格子点の撮影画像における位置（撮影画像基準位置（ｘｒ１，ｙｒ１））を特定する。次に、画像解析部１６１は、画面１１１に表示された表示画像に含まれる識別画像から、識別した識別画像と同一のものを特定する。
画像表示部１１０は、表示画像データに基づいて画面１１１に画像を表示する。表示画像データには複数の識別画像を表示するための識別画像表示情報がそれぞれ含まれている。また、表示画像データには各識別画像により指定される基準点（格子点）の表示画像における位置の情報（格子点周りの領域の画像を表示する画素の位置の情報）が含まれている。各識別画像の識別画像表示情報には、この識別画像を特定するための情報、例えば線の種類と線の太さの情報が含まれている。画像解析部１６１は、表示画像データに基づいて、特定した横線５１２ａ及び縦線５１３ａ（図１６（ｂ）の撮影画像）の線の種類と線の太さと同一のものをもつ横線５１２及び縦線５１３（図１６（ａ）の表示画像）を特定する。この際、横線５１２及び縦線５１３（表示画像）から形成される識別画像の識別画像表示情報を複数の識別画像の識別画像表示情報の中から特定する。即ち、特定した識別画像（撮影画像中の横線５１２ａと縦線５１３ａで形成）と同一の識別画像（表示画像中の横線５１２と縦線５１３で形成）が特定される。画像解析部１６１は、同一と特定された識別画像（横線５１２ａ、縦線５１３ａ）により指定される基準点（格子点５１４ａ）の表示画像における位置（表示画像基準位置（Ｘｒ１，Ｙｒ１））を表示画像データに基づいて特定する。
画像解析部１６１は、図１７（ｂ）に示す特定した撮影画像基準位置（ｘｒ１，ｙｒ１）と、特定した表示画像基準位置（Ｘｒ１，Ｙｒ１）との対応を示す基準対応関係を求める。基準対応関係を各識別画像について求める。即ち、撮影画像基準位置（ｘｒｉ，ｙｒｉ）と表示画像基準位置（Ｘｒｉ，Ｙｒｉ）（ｉ＝１，２，３，・・・）との対応を示す基準対応関係を求める。
なお、特殊な光学装置１３０を使用して歪の無い、表示画像と同程度のアスペクト比の撮影画像を取得することもできる。さらに、どのような識別画像であっても、撮影フレームバッファ内の識別画像と表示フレームバッファ内の識別画像とを対比することにより、撮影フレームバッファ内の基準点の画素アドレス（撮影画像基準位置）と表示フレームバッファ内の基準点の画素アドレス（表示画像基準位置）との対応関係（基準対応関係）を求めることができる。位置は座標値で取り扱われる。撮影フレームバッファ内の撮影画像にｘｙ座標が設定され、表示フレームバッファ内の表示画像にＸＹ座標が設定される。一旦、基準位置ｘｙ座標−ＸＹ座標の対応関係を求めれば、その後、キャリブレーション画像を画面１１１に表示させる必要はない。
撮影画像基準位置のｘｙ座標と表示画像基準位置のＸＹ座標とを対応付ける変換関数又は図１７（ｃ）のような変換テーブルを求め、これを用いることにより、撮影フレームバッファ内の撮影画像のどの画素アドレス（位置座標）が、表示フレームバッファ内の表示画像のどの画素アドレス（位置座標）に対応するかを特定することができる。即ち、画面１１１に載置された対象物、例えばカードが撮影された場合、撮影フレームバッファ内の対象物の画像の位置座標を特定することにより、特定された位置座標に対応する表示フレームバッファ内の表示画像中の位置座標（画面１１１上のカードの位置）を特定することができる。さらに、カードが載置された方向について言えば、例えば、撮影画像において基準点の縦の列又は横の列に対するカードの回転角を特定するか、カード上の少なくとも２点の位置を特定すれば、画面１１１上でのカードの方向を特定することができる。
画面１１１に載置されたカードの幾何学的に特徴的な点、例えば中心や枠（輪郭）を形成する点の画面１１１上の位置は、以下のようにして特定することができる。以下ではカードの中心の位置を特定する。図１８（ａ）は、撮影画像から抽出された基準点と画面１１１に載置されたカードの画像を示している。撮影フレームバッファ内の撮影画像において、カードの中心を示す撮影画像におけるカード座標値（ｘｃ，ｙｃ）を所定の画像処理又はパターン認識により求め、カード座標値（ｘｃ，ｙｃ）を囲む４つの基準点Ａ１，Ａ２，Ａ３，Ａ４の位置座標を選択する。次に、これらの４つの基準点Ａ１，Ａ２，Ａ３，Ａ４に対応する表示フレームバッファ内の表示画像中の図１８（ｂ）に示す４つの基準点Ｂ１，Ｂ２，Ｂ３，Ｂ４の位置座標を、図１７（ｃ）の変換テーブルで特定する。表示フレームバッファの４つの基準点Ｂ１，Ｂ２，Ｂ３，Ｂ４は、画面１１１に載置された、表示フレームバッファにおけるカードの中心を囲む。そこで、図１８（ａ）の撮影フレームバッファの４つの基準点Ａ１，Ａ２，Ａ３，Ａ４の位置座標と、図１８（ｂ）の表示フレームバッファの４つの基準点Ｂ１，Ｂ２，Ｂ３，Ｂ４の位置座標と、図１８（ａ）の撮影フレームバッファ内の撮影画像中のカードの中心の位置座標（ｘｃ，ｙｃ）とに基づいて、内挿法などを用いて、図１８（ｂ）の表示フレームバッファ内の表示画像中のカード座標値（Ｘｃ，Ｙｃ）を正確に求めることができる。一方、変換テーブルを基に、変換関数Ｘ＝ｆｘ（ｘ，ｙ）、Ｙ＝ｆｙ（ｘ，ｙ）を求めておけば、内挿法などを使用しなくともダイレクトにカード座標値（Ｘｃ，Ｙｃ）を求めることができる。そのような変換関数は、所定の座標系（撮影画像の座標）から異なる他の座標系（表示画像の座標）に写像する方法や、撮影画像を正規化して表示画像の座標を求める方法などを用いて求めればよい。変換関数を用いてカード座標値（Ｘｃ，Ｙｃ）を求める場合、撮像画像に対して画像処理又はパターン認識を施すことによりカード座標値（ｘｃ，ｙｃ）を求め、変換関数を用いてカード座標値（ｘｃ，ｙｃ）をカード座標値（Ｘｃ，Ｙｃ）に変換してもよい。また、撮像画像を変換関数で変換（撮像画像を形成する画素の座標系を図１８（ａ）に示すｘｙ座標系から図１８（ｂ）に示すＸＹ座標系に変換）し、変換した画像に対して画像処理又はパターン認識を施すことによりカードの中心を求めて、カード座標値（Ｘｃ，Ｙｃ）を取得してもよい。
対象物（カード）の画面１１１上の位置を特定するために、撮影画像中のカードの所定の位置に代表点を設定する場合、カードの中心や枠などの幾何学的に特徴的な部分だけではなく、カードに描かれたグラフィックの位置に対応する画面１１１上の所定の位置（例えば、矢印のグラフィックの矢の先の位置）に代表点を設定してもよい。この場合、画像認識を用いて撮影フレームバッファに記憶された撮影画像内からカードを抽出し、そのカードに描かれたグラフィックに、予め記録された矢印と同様の画像が存在していないかを所定の画像処理やパターン認識で検索し、矢印が認識される。もちろん、カードを抽出することなく、撮影画像を変換した画像（図１８（ｂ））で対象のグラフィックを直接的に特定してもよい。グラフィックの所定の位置（代表点）は指示体で示してもよい。同様に、指示体１５４や所定領域１５１の画面１１１上の位置（図１）も変換テーブルや変換関数を使用して特定することができる。カードを画面１１１上で移動させた場合の、カード上に設定した点の画面１１１上の軌跡も特定することができる。複数の点の軌跡を特定すれば、移動量と回転量を特定することができる。
撮影画像の座標から表示画像の座標の変換に関して、さらに詳しく説明すると、撮影画像における格子点５１４ａ周りの領域の画像を形成する画素と、表示画像における格子点５１４周りの領域の画像を形成する画素とは、一対一に対応している。画像解析部１６１は、基準対応関係に基づいて、撮影画像における位置（ｘ，ｙ）と、表示画像における位置（Ｘ，Ｙ）との対応を示す位置対応関係を求める。位置対応関係を求める際、
（Ｘ，Ｙ）＝Ｆ（ｘ，ｙ）
で定義される関数Ｆを求める。関数Ｆは位置対応関係を決める。上述したような所定のアルゴリズムを用いれば関数Ｆを求めることができる。位置対応関係と画像記憶手段１２１に記憶させた撮影画像を組み合わせれば、対象物の種類、位置、向き、移動量、回転量及び輪郭の内の少なくとも１つを特定することができる。特定した対象物の情報に基づいて画像表示部１１０と音声再生部１６４の少なくとも一方を制御できる。例えば、位置対応関係を決める関数Ｆを利用して、撮影画像に含まれた対象物の画像の周囲の画素（（ｘａｉ，ｙａｉ）（ｉ＝１，２，３，・・・）に位置する画素）に対応する、表示画像の画素（（Ｘａｉ，Ｙａｉ）（ｉ＝１，２，３，・・・）に位置する画素）を求め（（Ｘａｉ，Ｙａｉ）＝Ｆ（ｘａｉ，ｙａｉ）（ｉ＝１，２，３，・・・））、対象物の周囲に所定の画像を表示するような制御を行うことができる。位置対応関係を決めるために、関数Ｆの代わりにテーブルを用いてもよい。図２０（ａ）に示すような撮影画像を、関数Ｆやテーブルを用いて変換することにより、図２０（ｂ）に示すような元の表示画像を得ることができる。図２０（ａ）及び図２０（ｂ）には、画面１１１に載置されたカードとコイン、カードを示す指示体（ユーザの指）、及び画面１１１に表示された車の画像が示されている。実際には元の表示画像には車の画像のみが表示される。
格子線の代わりにキャリブレーション画像の識別画像として図１９（ａ）に示すようなシンボル（図形）を用いてもよい（この場合、キャリブレーション画像はシンボルの配列の画像を含む）。各シンボルの画像は識別画像として用いられる。識別画像が指定する基準点は、例えばシンボルの重心に設定することができる。識別画像は、シンボルの形状、シンボルの大きさ、シンボルの色、シンボルの配置パターンの内の少なくとも１つに基づいて識別される。シンボルは図示しない格子点上に配置されている。シンボルは等間隔に配置されている。図１９（ａ）の例では、識別画像は、シンボルの大きさとシンボルの形状に基づいて識別される。同じ種類で同じ大きさのシンボルはない。各シンボルが表示される位置は、図１９（ｂ）に示されているような格子の格子点の位置に配置されていてもよい。シンボルの種類とシンボルの大きさに基づいて、識別画像が表示された画面１１１上の基準点の位置座標を特定することができる。これにより、基準点の位置に格子状に配置されたシンボルから、前述した内挿法、写像法や、撮影画像を正規化して表示画像の座標を求める方法など精度の高いアルゴリズムを使用すれば、撮像画像の変形が線型的な変形の場合、キャリブレーション時に少なくとも表示画像の四隅にシンボルを配置（撮影画像中の画面の四隅にシンボルが配置される）しても、変形した撮影画像を変換して元の表示画像を概ね再現できる。
図１９（ｂ）は、格子状に配置された基準点の位置にドットを並べているだけであるが、これらのドットをキャリブレーション画像として用いた場合、全てのドットを撮像すれば、それらの撮像された基準点の配置順番によって、撮影画像基準位置の座標値と表示画像基準位置の座標値との対応関係が容易に認識できる。
なお、図示しないがシンボルの間隔は一定でなくてもよい。識別画像は、シンボルの配置パターンに基づいて識別することができる。
撮影画像における位置と表示画像における位置との対応を示す位置対応関係を求めるために、図１２で示したドットパターンを含む画像を画像表示部１１０の画面１１１に表示させてもよい。ドットパターンは、情報を表現する情報ドットを含む１以上のブロックを有している。各ブロックに含まれる情報ドットが表現する情報は、ブロックが表示される位置を含む情報を含んでいる。撮影画像に基づいて、撮影画像におけるあるブロックの位置を特定する。そのブロックに含まれる情報ドットが表現する情報からそのブロックが表示される位置を取得できる。この結果、そのブロックの撮影画像における位置と表示画像における位置との対応を示す位置対応関係を取得することができる。なお、ここで使用するドットパターンの配置精度（ドット間隔及びドットサイズ）は、表示画像及び撮像画像の解像度以内に収めることが当然であるが、所定の関数を作成する場合は、数ｍｍ前後~数ｃｍ程度のドット間隔及び１ｍｍ前後~数ｍｍ程度のドットサイズであることが望ましい。また、国際公開第２０１０／０６１５８４号で記載されたような補間計算によって高精度の変換テーブルを作成することもできる。
また、撮影画像における位置と表示画像における位置との対応を示す位置対応関係を求めるために、撮影された画像表示部１１０の画面１１１の輪郭の形を利用することができる。撮影画像に基づいて、撮影画像に含まれた画像表示部１１０の画面１１１の画像の輪郭の一部又は全部を特定する。特定した輪郭の一部又は全部に基づいて、撮影画像における位置と画像表示部の画面に表示される表示画像における位置との対応を示す位置対応関係を求めることができる。
１ ドットパターン
２ キードット
３ 情報ドット
４ 基準格子点ドット
５ 仮想格子点
１００，２００，５００ 情報処理装置
１１０ 画像表示部
１１１ 画面
１２０ 撮影手段
１２１ 画像記憶手段
１３０ 光学装置
１４０ 筐体
１４１ 撮影孔
１４２ 筐体の上面
１５３，１５３ａ，１５３ｂ，１５３ｃ，１５３ｄ 対象物
１５１ 対象物の所定領域
１６１ 画像解析部
１６２ 制御部
１６３ 記憶部
１６４ 音声再生部
２６５ 検知手段
２ キードット
３ 情報ドット
４ 基準格子点ドット
５ 仮想格子点
１００，２００，５００ 情報処理装置
１１０ 画像表示部
１１１ 画面
１２０ 撮影手段
１２１ 画像記憶手段
１３０ 光学装置
１４０ 筐体
１４１ 撮影孔
１４２ 筐体の上面
１５３，１５３ａ，１５３ｂ，１５３ｃ，１５３ｄ 対象物
１５１ 対象物の所定領域
１６１ 画像解析部
１６２ 制御部
１６３ 記憶部
１６４ 音声再生部
２６５ 検知手段
Claims (31)
- 一面側に配置された画像表示部と、
前記一面の所定の位置に設けられ、該一面が向く方向を撮影する撮影手段と、
を備える情報処理装置であって、
前記画像表示部の少なくとも一部の画像が撮影されるよう光を前記撮影手段に導く光学装置が取り付けられ、
前記画像表示部の画面上に位置する対象物を含む画像、又は、画面上に位置する対象物と画面近傍に位置する対象物とを含む画像を前記撮影手段に撮影させ、
前記撮影させた撮影画像に基づいて前記対象物を特定する処理を行い、
前記情報処理装置には、複数の識別画像を含むキャリブレーション画像が記憶されており、
該キャリブレーション画像は、前記画像表示部の画面に表示画像として表示され、前記撮影手段により撮影されて撮影画像として記憶され、
前記複数の識別画像を用いて、前記撮影画像における所定の位置と前記表示画像における該所定の位置との対応関係を求め、該対応関係に基づいて、前記表示画像における前記対象物の位置情報を特定する
ことを特徴とする情報処理装置。 - 前記複数の識別画像によりそれぞれ画面上の基準点を指定させ、
前記撮影画像に基づいて該撮影画像に含まれた各識別画像を識別し、該識別した識別画像により指定される基準点の位置を示す撮影画像基準位置を特定し、
前記表示画像に含まれる識別画像から、該識別した識別画像と同一のものを特定して、該同一と特定された識別画像により指定される基準点の位置を示す表示画像基準位置を特定し、
前記特定した撮影画像基準位置と、前記特定した表示画像基準位置との対応を示す基準対応関係を求め、
前記基準対応関係に基づいて、前記対応関係を求め、
該対応関係と前記撮影画像に基づいて対象物の情報を特定することを特徴とする請求項１記載の情報処理装置。 - 前記撮影画像における所定の位置（ｘ，ｙ）と、前記表示画像における所定の位置（Ｘ，Ｙ）との前記対応関係を求める際、
（Ｘ，Ｙ）＝Ｆ（ｘ，ｙ）
で定義される、前記対応関係を決める関数Ｆ、又は前記対応関係を決めるテーブルを求めることを特徴とする請求項１又は請求項２に記載の情報処理装置。 - 前記キャリブレーション画像は、格子線、シンボルの配列又はドットパターンを表し、前記複数の識別画像で形成される画像を含むことを特徴とする請求項１乃至請求項３のいずれか１項に記載の情報処理装置。
- 前記格子線を表す画像を形成する前記識別画像は、線の種類、線の色、線の太さ、線の間隔の内の少なくとも１つに基づいて識別されることを特徴とする請求項４に記載の情報処理装置。
- 前記格子線を表す画像を形成する前記複数の識別画像は、該格子線で区切られた複数の格子領域を囲む矩形の線をそれぞれ表しており、
該識別画像は、矩形の辺の比に基づいて識別されることを特徴とする請求項４に記載の情報処理装置。 - 前記シンボルの配列を表す画像を形成する前記識別画像は、シンボルの形状、シンボルの大きさ、シンボルの色、シンボルの配置パターンの内の少なくとも１つに基づいて識別されることを特徴とする請求項４に記載の情報処理装置。
- 一面側に配置された画像表示部と、
前記一面の所定の位置に設けられ、該一面が向く方向を撮影する撮影手段と、
を備える情報処理装置であって、
前記画像表示部の少なくとも一部の画像が撮影されるよう光を前記撮影手段に導く光学装置が取り付けられ、
前記画像表示部の画面上に位置する対象物を含む画像、又は、画面上に位置する対象物と画面近傍に位置する対象物とを含む画像を前記撮影手段に撮影させ、
前記撮影させた撮影画像に基づいて前記対象物を特定する処理を行い、
前記撮影手段により撮影された撮影画像に基づいて、該撮影画像に含まれた前記画像表示部の画面の画像の輪郭の一部又は全部を特定し、
前記特定した輪郭の一部又は全部に基づいて、前記撮影手段により撮影される撮影画像における所定の位置と前記画像表示部の画面に表示される表示画像における該所定の位置との対応関係を求め、
該対応関係と前記撮影画像に基づいて、前記表示画像における対象物の位置情報を特定することを特徴とする情報処理装置。 - 前記撮影画像に基づいて、対象物の種類、前記画像表示部の前記画面上に位置する対象物の位置、前記画面上に位置する対象物の向き、前記画面上に位置する対象物の移動量、前記画面上に位置する対象物の回転量、及び前記画面上に位置する対象物の輪郭の内の少なくとも１つを特定し、
特定した対象物の情報に基づいて処理することを特徴とする請求項１乃至請求項８のいずれか１項に記載の情報処理装置。 - 前記対象物には、グラフィック、マーク、マークの配列、自動認識コードのパターンの内の少なくとも１つを含む指標が設けられており、
前記撮影画像に含まれる該指標の画像に基づいて対象物を特定し、
該特定した対象物に基づいて処理することを特徴とする請求項１乃至請求項９のいずれか１項に記載の情報処理装置。 - 前記自動認識コードは、バーコード、２次元コード、ドットコードの内の少なくとも１つを含むことを特徴とする請求項１０に記載の情報処理装置。
- 前記対象物には、ドットパターンが設けられており、
前記ドットパターンは、１以上の情報ドットを含む１以上のブロックを有し、
各ブロックに含まれる１以上の情報ドットで表現される情報は、前記対象物における該ブロックの位置情報及び／又はコード値を含んでいることを特徴とする請求項１乃至請求項１１のいずれか１項に記載の情報処理装置。 - 前記情報ドットの各々には、該情報ドットの配置、大きさ、形状、色の内の少なくとも１つに基づいて基礎情報が定義されることを特徴とする請求項１２に記載の情報処理装置。
- 前記指標は、所定の波長の光を吸収する特性、所定の波長の光を反射する特性、及び、所定の特性をもった光に反応して該光とは異なる特性をもつ光を発する特性の内の少なくとも１つをもつことを特徴とする請求項１０又は請求項１１に記載の情報処理装置。
- 前記画像表示部を制御する処理をさらに含むことを特徴とする請求項１乃至請求項１４のいずれか１項に記載の情報処理装置。
- 前記光学装置は、プリズム、ミラー、及び光ファイバの内の少なくとも１つを含むことを特徴とする請求項１乃至請求項１５のいずれか１項に記載の情報処理装置。
- 前記対象物は、印刷媒体、薄板状の媒体、及びフィギアの内の少なくとも１つを含むことを特徴とする請求項１乃至請求項１６のいずれか１項に記載の情報処理装置。
- 前記情報処理装置は、板状であることを特徴とする請求項１乃至請求項１７のいずれか１項に記載の情報処理装置。
- 前記対象物の所定領域を示す指示体と該対象物の所定領域、又は、前記対象物の所定領域に当接した指示体と該対象物の所定領域を、前記撮影画像に基づいてさらに特定し、
特定した対象物の所定領域に基づいて、又は、特定した対象物の所定領域及び該指示体に基づいて処理することを特徴とする請求項１乃至請求項１８のいずれか１項に記載の情報処理装置。 - 前記対象物には、ドットパターンが設けられており、
前記ドットパターンは、１以上の情報ドットを含む１以上のブロックを有し、
各ブロックに含まれる１以上の情報ドットで表現される情報は、前記対象物における該ブロックの位置情報を含んでおり、
前記撮影画像に基づいて前記所定領域を特定する際、前記対象物におけるブロックの位置情報に基づいて特定することを特徴とする請求項１９に記載の情報処理装置。 - 前記画像表示部又は前記対象物に当接された指示体の画面上の位置を検知する検知手段をさらに有しており、
検知された該指示体の画面上の位置と特定された対象物の情報とに基づいて処理する、又は、検知された該指示体の画面上の位置と前記特定された対象物の情報とに基づいて該指示体が当接された対象物の所定領域を特定し、該特定した対象物の所定領域と前記特定された対象物の情報とに基づいて処理することを特徴とする請求項１乃至請求項２０のいずれか１項に記載の情報処理装置。 - 前記検知手段は、静電容量タッチパネルであることを特徴とする請求項２１に記載の情報処理装置。
- 前記撮影画像は、静止画又は動画を形成することを特徴とする請求項１乃至請求項２２のいずれか１項に記載の情報処理装置。
- 前記撮影手段により動作体の動画が撮影され、
該動画に基づいて動作体の動作をさらに特定し、処理する際、該特定した動作体の動作にさらに基づくことを特徴とする請求項２３に記載の情報処理装置。 - 前記指示体は、指であることを特徴とする請求項１９乃至請求項２２のいずれか１項に記載の情報処理装置。
- 前記光学装置は、前記撮影手段が撮影する撮影領域を変更できることを特徴とする請求項１乃至請求項２５のいずれか１項に記載の情報処理装置。
- 前記撮影領域の変更は、前記撮影領域の移動、拡大、縮小の内の少なくとも１つを含むことを特徴とする請求項２６に記載の情報処理装置。
- ドットパターンを含む画像を前記画像表示部の画面に表示させ、
前記ドットパターンは、１以上の情報ドットを含む１以上のブロックを有し、
各ブロックに含まれる１以上の情報ドットで表現される情報は、該ブロックが表示される位置を含む情報を含んでいることを特徴とする請求項１乃至請求項２７のいずれか１項に記載の情報処理装置。 - 前記光学装置には、前記撮影手段により撮影される撮影領域を照射する照射手段が設けられることを特徴とする請求項１乃至請求項２８のいずれか１項に記載の情報処理装置。
- 前記照射手段は、所定の波長の光を照射することを特徴とする請求項２９に記載の情報処理装置。
- 前記光学装置には、第１の波長の光を透過し、第２の波長の光を遮断するフィルタが設けられ、該フィルタを介して、前記撮影手段により撮影領域が撮影されることを特徴とする請求項１乃至請求項３０のいずれか１項に記載の情報処理装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014-187536 | 2014-09-16 | ||
| JP2014187536A JP5756215B1 (ja) | 2014-09-16 | 2014-09-16 | 情報処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| WO2016043342A2 true WO2016043342A2 (ja) | 2016-03-24 |
| WO2016043342A3 WO2016043342A3 (ja) | 2016-05-19 |
Family
ID=53759629
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2015/077225 WO2016043342A2 (ja) | 2014-09-16 | 2015-09-16 | 情報処理装置 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP5756215B1 (ja) |
| WO (1) | WO2016043342A2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017189445A (ja) * | 2016-04-14 | 2017-10-19 | 株式会社ソニー・インタラクティブエンタテインメント | 処理装置および投影画像生成方法 |
| CN113038070A (zh) * | 2019-12-25 | 2021-06-25 | 浙江宇视科技有限公司 | 一种设备调焦方法、装置和云平台 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104548594B (zh) * | 2005-08-03 | 2018-06-01 | 株式会社Ip舍路信 | 信息输出装置、媒体及信息输入/输出装置 |
| JP2008501490A (ja) * | 2006-08-02 | 2008-01-24 | 健治 吉田 | 情報出力装置、媒体および情報入出力装置 |
| JP2008110206A (ja) * | 2006-10-05 | 2008-05-15 | Kenji Yoshida | 情報処理装置 |
| CN107273021A (zh) * | 2010-11-22 | 2017-10-20 | 株式会社Ip舍路信 | 信息输入系统、程序、介质 |
| JP2012208926A (ja) * | 2011-03-15 | 2012-10-25 | Nikon Corp | 検出装置、入力装置、プロジェクタ、及び電子機器 |
| JP5784721B2 (ja) * | 2011-06-10 | 2015-09-24 | オリンパス株式会社 | アタッチメント |
| JP5325311B2 (ja) * | 2012-03-23 | 2013-10-23 | 株式会社コナミデジタルエンタテインメント | ゲーム装置、ゲーム装置の制御方法、ならびに、プログラム |
| JP6294012B2 (ja) * | 2012-07-02 | 2018-03-14 | グリッドマーク株式会社 | レンズユニット |
| JP5294100B1 (ja) * | 2012-07-02 | 2013-09-18 | 健治 吉田 | ドットパターン読み取り用レンズユニット、ドットパターン読み取り用レンズユニットを台座に装着されたフィギュア、ドットパターン読み取り用レンズユニットに載置するカード、情報処理装置、情報処理システム |
| JP5299547B1 (ja) * | 2012-08-27 | 2013-09-25 | 富士ゼロックス株式会社 | 撮影装置及び鏡 |
| JP5583741B2 (ja) * | 2012-12-04 | 2014-09-03 | 株式会社バンダイ | 携帯端末装置、端末プログラムおよび玩具 |
| JP5939469B2 (ja) * | 2013-02-20 | 2016-06-22 | 富士ゼロックス株式会社 | 閲覧装置及び閲覧システム |
-
2014
- 2014-09-16 JP JP2014187536A patent/JP5756215B1/ja not_active Expired - Fee Related
-
2015
- 2015-09-16 WO PCT/JP2015/077225 patent/WO2016043342A2/ja active Application Filing
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017189445A (ja) * | 2016-04-14 | 2017-10-19 | 株式会社ソニー・インタラクティブエンタテインメント | 処理装置および投影画像生成方法 |
| CN113038070A (zh) * | 2019-12-25 | 2021-06-25 | 浙江宇视科技有限公司 | 一种设备调焦方法、装置和云平台 |
| CN113038070B (zh) * | 2019-12-25 | 2022-10-14 | 浙江宇视科技有限公司 | 一种设备调焦方法、装置和云平台 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5756215B1 (ja) | 2015-07-29 |
| WO2016043342A3 (ja) | 2016-05-19 |
| JP2016062144A (ja) | 2016-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109416744B (zh) | 改进的相机校准系统、目标和过程 | |
| KR101187500B1 (ko) | 광 투영 장치, 조명 장치 | |
| JP3885458B2 (ja) | 投写画像の校正方法及びその装置、並びに機械可読媒体 | |
| JP6153564B2 (ja) | カメラとマーク出力とによるポインティング装置 | |
| KR100953606B1 (ko) | 화상 표시 장치, 화상 표시 방법 및 명령 입력 방법 | |
| US20110304548A1 (en) | Mouse provided with a dot pattern reading function | |
| US10326894B1 (en) | Self stabilizing projector | |
| JP2016114963A (ja) | 入力操作検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、及びプロジェクタシステム | |
| JP2001148025A (ja) | 位置検出装置及びその方法、平面姿勢検出装置及びその方法 | |
| JP5756215B1 (ja) | 情報処理装置 | |
| WO2005096130A1 (ja) | 撮像装置の指示位置検出方法および装置、撮像装置の指示位置検出用プログラム | |
| CN109644248A (zh) | 投射型影像显示装置和投射影像的调整方法 | |
| JP2005267257A (ja) | 手書き情報入力システム | |
| JP5883688B2 (ja) | 設置状態検出システム、設置状態検出装置、及び設置状態検出方法 | |
| US9268415B2 (en) | Touch positioning method utilizing optical identification (OID) technology, OID positioning system and OID reader | |
| JP2016062589A (ja) | 情報処理装置、光学装置、情報処理システム、プログラム、及びこれらとともに用いられる対象物 | |
| US10403002B2 (en) | Method and system for transforming between physical images and virtual images | |
| US20110044544A1 (en) | Method and system for recognizing objects in an image based on characteristics of the objects | |
| JP2011071746A (ja) | 映像出力装置及び映像出力方法 | |
| US8963835B2 (en) | Method for displaying an item on a display unit | |
| EP3288259A1 (en) | Array detector for depth mapping | |
| JP4167453B2 (ja) | デジタイザおよび座標認識用シート | |
| US20230239442A1 (en) | Projection device, display system, and display method | |
| KR102044928B1 (ko) | 가상공간 내 복수의 디스플레이 배치방법 | |
| KR20240066218A (ko) | 장면 뷰 이미지의 생성 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15842242 Country of ref document: EP Kind code of ref document: A2 |
|
| NENP | Non-entry into the national phase in: |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 15842242 Country of ref document: EP Kind code of ref document: A2 |