JP5756215B1 - Information processing device - Google Patents
Information processing device Download PDFInfo
- Publication number
- JP5756215B1 JP5756215B1 JP2014187536A JP2014187536A JP5756215B1 JP 5756215 B1 JP5756215 B1 JP 5756215B1 JP 2014187536 A JP2014187536 A JP 2014187536A JP 2014187536 A JP2014187536 A JP 2014187536A JP 5756215 B1 JP5756215 B1 JP 5756215B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- information processing
- information
- processing apparatus
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 152
- 230000003287 optical effect Effects 0.000 claims abstract description 77
- 238000003384 imaging method Methods 0.000 claims abstract description 31
- 238000001514 detection method Methods 0.000 claims description 16
- 230000009471 action Effects 0.000 claims description 13
- 238000000034 method Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 8
- 239000013307 optical fiber Substances 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 3
- 238000010191 image analysis Methods 0.000 description 38
- 238000006243 chemical reaction Methods 0.000 description 15
- 239000013598 vector Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 241000282326 Felis catus Species 0.000 description 7
- 238000003909 pattern recognition Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000001678 irradiating effect Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000010304 firing Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 102100022193 Glutamate receptor ionotropic, delta-1 Human genes 0.000 description 1
- 101000900493 Homo sapiens Glutamate receptor ionotropic, delta-1 Proteins 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 239000000344 soap Substances 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】市場にて容易に入手できるコンポーネントを利用できる優れたインターフェースを実現する。【解決手段】情報処理装置は、一面側に配置された画像表示部110と、一面の所定の位置に設けられ、一面が向く方向を撮影する撮影手段とを備える。撮影手段には、画像表示部110の少なくとも一部の画像を撮影するよう光を導く光学装置130が載置される。画像表示部110の画面111上に位置する対象物153a,153bおよび/または画面111近傍に位置する対象物153c,153dを含む画像を、撮影手段120に撮影させる。撮影させた撮影画像に基づいて、対象物の種類、位置、向き、移動量、回転量、および輪郭の内の少なくとも1つを特定し、特定した対象物の情報に基づいて画像表示部110を制御する。【選択図】図7An excellent interface capable of using components that are easily available in the market is realized. An information processing apparatus includes an image display unit 110 disposed on one side and an imaging unit that is provided at a predetermined position on one side and captures a direction in which the one side faces. An optical device 130 that guides light so as to capture at least a part of the image of the image display unit 110 is placed on the imaging unit. The photographing unit 120 is caused to photograph an image including the objects 153 a and 153 b located on the screen 111 of the image display unit 110 and / or the objects 153 c and 153 d located near the screen 111. Based on the captured image, at least one of the type, position, orientation, movement amount, rotation amount, and contour of the object is specified, and the image display unit 110 is displayed based on the information on the specified object. Control. [Selection] Figure 7
Description
本発明は、撮影手段により撮影された画像に基づいて処理する情報処理装置、情報処理装置に設けられる撮影手段と組み合わされる光学装置、情報処理装置と光学装置を含む情報処理システム、撮影手段により撮影された画像に基づく処理に用いられるプログラム、及びこれらとともに用いられる対象物に関する。 The present invention relates to an information processing apparatus that performs processing based on an image photographed by a photographing means, an optical apparatus combined with a photographing means provided in the information processing apparatus, an information processing system including the information processing apparatus and the optical apparatus, and photographing by the photographing means. The present invention relates to a program used for processing based on a processed image and an object used therewith.
従来、画面上に載置されたカードなどの位置や動きに応じて処理する情報処理装置が知られている。 Conventionally, an information processing apparatus that performs processing in accordance with the position and movement of a card or the like placed on a screen is known.
特許文献1には、ステージ面に載置されたカードをステージ面の下に配置されたカメラで撮影してカードの位置を特定する情報出力装置が開示されている。ステージ面の下にはプロジェクタが配置されており、カードの位置に応じた画像をステージ面に投影する。ユーザがカードを移動させると、例えばユーザが所望する映像がステージ面に投影される。
カードは、情報出力装置に映像の投影に関する指示を与えるためのインターフェースとして機能する。カードを動かすという直感的な動作により、情報出力装置に指示を与えることができる。
The card functions as an interface for giving an instruction regarding video projection to the information output device. An instruction can be given to the information output device by an intuitive operation of moving the card.
しかしながら、特許文献1の情報出力装置では、上記のような優れたインターフェースを実現するために、映像を投影するためのディスプレイやカードの位置を特定するための高価な光学系を専用に設計・製造する必要がある。市場にて容易に入手できるコンポーネントを適用することが難しい。
However, the information output device of
本発明の目的は、このような点に鑑みてなされたものであり、市場にて容易に入手できるコンポーネントを利用できる優れたインターフェースを実現する情報処理装置を提供することである。また、本発明の目的は、本発明に係る情報処理装置と組み合わされる簡便な光学装置を提供することである。また、本発明の目的は、本発明に係る情報処理装置を簡便な光学装置と組み合わせることで、優れたインターフェースを安価に実現する情報処理システムを提供することである。また、本発明の目的は、本発明に係る情報処理装置を利用するプログラムを提供することである。本発明に係る情報処理装置、光学装置、情報処理システム、又はプログラムとともに用いられる対象物を提供することである。 An object of the present invention is to provide an information processing apparatus that realizes an excellent interface that can use components that are easily available in the market. Moreover, the objective of this invention is providing the simple optical apparatus combined with the information processing apparatus which concerns on this invention. Another object of the present invention is to provide an information processing system that realizes an excellent interface at a low cost by combining the information processing apparatus according to the present invention with a simple optical device. Another object of the present invention is to provide a program that uses the information processing apparatus according to the present invention. It is providing the target object used with the information processing apparatus which concerns on this invention, an optical apparatus, an information processing system, or a program.
本発明の第1の態様に係る情報処理装置は、
一面側に配置された画像表示部と、
前記一面の所定の位置に設けられ、該一面が向く方向を撮影する撮影手段と、
を備える情報処理装置であって、
前記画像表示部の少なくとも一部の画像が撮影されるよう光を前記撮影手段に導く光学装置が取り付けられ、
前記画像表示部の画面上に位置する対象物を含む画像、又は、画面上に位置する対象物と画面近傍に位置する対象物とを含む画像を前記撮影手段に撮影させ、
前記撮影させた撮影画像に基づいて処理する。
An information processing apparatus according to the first aspect of the present invention includes:
An image display unit arranged on one side;
An imaging unit that is provided at a predetermined position on the one surface and that captures a direction in which the one surface faces;
An information processing apparatus comprising:
An optical device that guides light to the photographing means so that at least a part of the image of the image display unit is photographed is attached;
An image including an object positioned on the screen of the image display unit, or an image including an object positioned on the screen and an object positioned in the vicinity of the screen;
Processing is performed based on the captured image.
本発明の第2の態様に係る情報処理装置は、
前記撮影画像に基づいて、対象物の種類、前記画像表示部の前記画面上に位置する対象物の位置、前記画面上に位置する対象物の向き、前記画面上に位置する対象物の移動量、前記画面上に位置する対象物の回転量、及び前記画面上に位置する対象物の輪郭の内の少なくとも1つを特定し、
特定した対象物の情報に基づいて処理する。
An information processing apparatus according to the second aspect of the present invention includes:
Based on the photographed image, the type of the object, the position of the object located on the screen of the image display unit, the direction of the object located on the screen, and the amount of movement of the object located on the screen Identifying at least one of the amount of rotation of the object located on the screen and the contour of the object located on the screen;
Process based on information on the identified object.
本発明の第3の態様に係る情報処理装置では、
前記対象物には、グラフィック、マーク、マークの配列、自動認識コードのパターンの内の少なくとも1つを含む指標が設けられており、
前記撮影画像に含まれる該指標の画像に基づいて対象物を特定し、
該特定した対象物に基づいて処理する。
In the information processing device according to the third aspect of the present invention,
The object is provided with an index including at least one of a graphic, a mark, an arrangement of marks, and a pattern of an automatic recognition code,
Identifying an object based on the image of the index included in the captured image,
Processing is performed based on the identified object.
本発明の第4の態様に係る情報処理装置では、
前記自動認識コードは、バーコード、2次元コード、ドットコードの内の少なくとも1つを含む。
In the information processing device according to the fourth aspect of the present invention,
The automatic recognition code includes at least one of a bar code, a two-dimensional code, and a dot code.
本発明の第5の態様に係る情報処理装置では、
前記対象物には、ドットパターンが設けられており、
前記ドットパターンは、1以上の情報ドットを含む1以上のブロックを有し、
各ブロックに含まれる1以上の情報ドットで表現される情報は、前記対象物における該ブロックの位置情報及び/又はコード値を含んでいる。
In the information processing device according to the fifth aspect of the present invention,
The object is provided with a dot pattern,
The dot pattern has one or more blocks including one or more information dots,
Information expressed by one or more information dots included in each block includes position information and / or code value of the block in the object.
本発明の第6の態様に係る情報処理装置では、
前記情報ドットの各々には、該情報ドットの配置、大きさ、形状、色の内の少なくとも1つに基づいて基礎情報が定義される。
In the information processing device according to the sixth aspect of the present invention,
For each information dot, basic information is defined based on at least one of the arrangement, size, shape, and color of the information dot.
本発明の第7の態様に係る情報処理装置では、
前記指標は、所定の波長の光を吸収する特性、所定の波長の光を反射する特性、及び、所定の特性をもった光に反応して該光とは異なる特性をもつ光を発する特性の内の少なくとも1つをもつ。
In the information processing device according to the seventh aspect of the present invention,
The indicator has a characteristic of absorbing light of a predetermined wavelength, a characteristic of reflecting light of a predetermined wavelength, and a characteristic of emitting light having characteristics different from the light in response to light having the predetermined characteristic. At least one of the following.
本発明の第8の態様に係る情報処理装置では、
前記処理は、前記画像表示部の制御を含む。
In the information processing device according to the eighth aspect of the present invention,
The processing includes control of the image display unit.
本発明の第9の態様に係る情報処理装置では、
前記光学装置は、プリズム、ミラー、及び光ファイバの内の少なくとも1つを含む。
In the information processing device according to the ninth aspect of the present invention,
The optical device includes at least one of a prism, a mirror, and an optical fiber.
本発明の第10の態様に係る情報処理装置では、
前記対象物は、印刷媒体、薄板状の媒体、及びフィギアの内の少なくとも1つを含む。
In the information processing device according to the tenth aspect of the present invention,
The object includes at least one of a print medium, a thin plate-like medium, and a figure.
本発明の第11の態様に係る情報処理装置は、板状である。 The information processing apparatus according to the eleventh aspect of the present invention is plate-shaped.
本発明の第12の態様に係る情報処理装置は、
前記対象物の所定領域を示す指示体と該対象物の所定領域、又は、前記対象物の所定領域に当接した指示体と該対象物の所定領域を、前記撮影画像に基づいてさらに特定し、
特定した対象物の所定領域に基づいて、又は、特定した対象物の所定領域及び該指示体に基づいて処理する。
An information processing apparatus according to a twelfth aspect of the present invention includes:
The indicator indicating the predetermined area of the object and the predetermined area of the object, or the indicator in contact with the predetermined area of the object and the predetermined area of the object are further specified based on the captured image. ,
Processing is performed based on the predetermined area of the identified object or based on the predetermined area of the identified object and the indicator.
本発明の第13の態様に係る情報処理装置では、
前記対象物には、ドットパターンが設けられており、
前記ドットパターンは、1以上の情報ドットを含む1以上のブロックを有し、
各ブロックに含まれる1以上の情報ドットで表現される情報は、前記対象物における該ブロックの位置情報を含んでおり、
前記撮影画像に基づいて前記所定領域を特定する際、前記対象物におけるブロックの位置情報に基づいて特定する。
In the information processing device according to the thirteenth aspect of the present invention,
The object is provided with a dot pattern,
The dot pattern has one or more blocks including one or more information dots,
Information expressed by one or more information dots included in each block includes position information of the block in the object,
When the predetermined area is specified based on the captured image, the predetermined area is specified based on block position information on the object.
本発明の第14の態様に係る情報処理装置は、
前記画像表示部又は前記対象物に当接された指示体の画面上の位置を検知する検知手段をさらに有しており、
検知された該指示体の画面上の位置と前記特定された対象物の情報とに基づいて処理する、又は、検知された該指示体の画面上の位置と前記特定された対象物の情報とに基づいて該指示体が当接された対象物の所定領域を特定し、該特定した所定対象物の領域と前記特定された対象物の情報とに基づいて処理する。
An information processing apparatus according to a fourteenth aspect of the present invention includes:
The image display unit or a detection unit that detects a position on the screen of the indicator that is in contact with the object;
Processing is performed based on the detected position of the indicator on the screen and the information of the identified object, or the detected position of the indicator on the screen and the information of the identified object A predetermined area of the target object with which the indicator is brought into contact is specified based on the information, and processing is performed based on the specified predetermined target object area and information on the specified target object.
本発明の第15の態様に係る情報処理装置では、
前記検知手段は、静電容量タッチパネルである。
In the information processing device according to the fifteenth aspect of the present invention,
The detection means is a capacitive touch panel.
本発明の第16の態様に係る情報処理装置では、
前記撮影画像は、静止画又は動画を形成する。
In the information processing device according to the sixteenth aspect of the present invention,
The photographed image forms a still image or a moving image.
本発明の第17の態様に係る情報処理装置では、
前記撮影手段により動作体の動画が撮影され、
該動画に基づいて動作体の動作をさらに特定し、処理する際、該特定した動作体の動作にさらに基づく。
In the information processing device according to the seventeenth aspect of the present invention,
A moving body video is shot by the shooting means,
When further identifying and processing the action of the action body based on the moving image, the action body is further based on the action of the identified action body.
本発明の第18の態様に係る情報処理装置では、
前記指示体は、指である。
In the information processing device according to the eighteenth aspect of the present invention,
The indicator is a finger.
本発明の第19の態様に係る情報処理装置では、
前記光学装置は、前記撮影手段が撮影する撮影領域を変更できる。
In the information processing device according to the nineteenth aspect of the present invention,
The optical device can change a photographing region photographed by the photographing means.
本発明の第20の態様に係る情報処理装置では、
前記撮影領域の変更は、前記撮影領域の移動、拡大、縮小の内の少なくとも1つを含む。
In the information processing device according to the twentieth aspect of the present invention,
The change of the shooting area includes at least one of movement, enlargement, and reduction of the shooting area.
本発明の第21の態様に係る情報処理装置では、
互いに識別可能な複数の識別画像を含むキャリブレーション画像を前記画像表示部の画面に表示させて、複数の識別画像によりそれぞれ画面上の基準点を指定させ、
前記撮影手段に撮影させた撮影画像に基づいて該撮影画像に含まれた各識別画像を識別し、該識別した識別画像により指定される基準点の位置を示す撮影画像基準位置を特定し、
前記画像表示部の画面に表示された表示画像に含まれる識別画像から、該識別した識別画像と同一のものを特定して、該同一と特定された識別画像により指定される基準点の位置を示す表示画像基準位置を特定し、
前記特定した撮影画像基準位置と、前記特定した表示画像基準位置との対応を示す基準対応関係を求め、
前記基準対応関係に基づいて、撮影画像における位置と表示画像における位置との対応を示す位置対応関係を求め、
該位置対応関係と前記撮影画像に基づいて対象物の情報を特定する。
In the information processing device according to the twenty-first aspect of the present invention,
A calibration image including a plurality of identification images that can be distinguished from each other is displayed on the screen of the image display unit, and a reference point on the screen is designated by each of the plurality of identification images,
Identifying each identification image included in the photographed image based on the photographed image photographed by the photographing means, specifying a photographed image reference position indicating a position of a reference point designated by the identified identification image;
From the identification image included in the display image displayed on the screen of the image display unit, the same identification image as the identified identification image is identified, and the position of the reference point specified by the identification image identified as the same is determined. Specify the display image reference position to show,
Obtaining a reference correspondence relationship indicating correspondence between the specified captured image reference position and the specified display image reference position;
Based on the reference correspondence relationship, a position correspondence relationship indicating the correspondence between the position in the captured image and the position in the display image is obtained,
Information on the object is specified based on the positional correspondence and the captured image.
本発明の第22の態様に係る情報処理装置では、
前記撮影画像における位置(x,y)と、前記表示画像における位置(X,Y)との対応を示す前記位置対応関係を求める際、
(X,Y)=F(x,y)
で定義される、前記位置対応関係を決める関数F、又は前記位置対応関係を決めるテーブルを求める。
In the information processing device according to the twenty-second aspect of the present invention,
When obtaining the position correspondence relationship indicating the correspondence between the position (x, y) in the captured image and the position (X, Y) in the display image,
(X, Y) = F (x, y)
The function F that determines the position correspondence or the table that determines the position correspondence is defined.
本発明の第23の態様に係る情報処理装置では、
前記キャリブレーション画像は、格子線、シンボルの配列又はドットパターンを表し、前記複数の識別画像で形成される画像を含む。
In the information processing device according to the twenty-third aspect of the present invention,
The calibration image represents a grid line, a symbol array, or a dot pattern, and includes an image formed by the plurality of identification images.
本発明の第24の態様に係る情報処理装置では、
前記格子線を表す画像を形成する前記識別画像は、線の種類、線の色、線の太さ、線の間隔の内の少なくとも1つに基づいて識別される。
In the information processing device according to the twenty-fourth aspect of the present invention,
The identification image forming the image representing the grid line is identified based on at least one of the line type, line color, line thickness, and line spacing.
本発明の第25の態様に係る情報処理装置では、
前記格子線を表す画像を形成する前記複数の識別画像は、該格子線で区切られた複数の格子領域を囲む矩形の線をそれぞれ表しており、
該識別画像は、矩形の辺の比に基づいて識別される。
In the information processing device according to the twenty-fifth aspect of the present invention,
The plurality of identification images forming an image representing the grid lines respectively represent rectangular lines surrounding a plurality of grid areas partitioned by the grid lines,
The identification image is identified based on a ratio of rectangular sides.
本発明の第26の態様に係る情報処理装置では、
前記シンボルの配列を表す画像を形成する前記識別画像は、シンボルの形状、シンボルの大きさ、シンボルの色、シンボルの配置パターンの内の少なくとも1つに基づいて識別される。
In the information processing device according to the twenty-sixth aspect of the present invention,
The identification image forming the image representing the symbol arrangement is identified based on at least one of a symbol shape, a symbol size, a symbol color, and a symbol arrangement pattern.
本発明の第27の態様に係る情報処理装置では、
ドットパターンを含む画像を前記画像表示部の画面に表示させ、
前記ドットパターンは、1以上の情報ドットを含む1以上のブロックを有し、
各ブロックに含まれる1以上の情報ドットで表現される情報は、該ブロックが表示される位置を含む情報を含んでいる。
In the information processing device according to the twenty-seventh aspect of the present invention,
An image including a dot pattern is displayed on the screen of the image display unit,
The dot pattern has one or more blocks including one or more information dots,
Information expressed by one or more information dots included in each block includes information including a position where the block is displayed.
本発明の第28の態様に係る情報処理装置では、
前記撮影手段により撮影された撮影画像に基づいて、該撮影画像に含まれた前記画像表示部の画面の画像の輪郭の一部又は全部を特定し、
前記特定した輪郭の一部又は全部に基づいて、前記撮影手段により撮影される撮影画像における位置と前記画像表示部の画面に表示される表示画像における位置との対応を示す位置対応関係を求め、
該位置対応関係と前記撮影画像に基づいて対象物の情報を特定する。
In the information processing device according to the twenty-eighth aspect of the present invention,
Based on the photographed image photographed by the photographing means, specify part or all of the outline of the image on the screen of the image display unit included in the photographed image,
Based on a part or all of the specified contour, a position correspondence relationship indicating a correspondence between a position in a captured image photographed by the photographing unit and a position in a display image displayed on the screen of the image display unit is obtained.
Information on the object is specified based on the positional correspondence and the captured image.
本発明の第29の態様に係る情報処理装置では、
前記光学装置には、前記撮影手段により撮影される撮影領域を照射する照射手段が設けられる。
In the information processing device according to the twenty-ninth aspect of the present invention,
The optical device is provided with an irradiating unit that irradiates an imaging region imaged by the imaging unit.
本発明の第30の態様に係る情報処理装置では、
前記照射手段は、所定の波長の光を照射する。
In the information processing device according to the thirtieth aspect of the present invention,
The irradiation unit irradiates light having a predetermined wavelength.
本発明の第31の態様に係る情報処理装置では、
前記光学装置には、第1の波長の光を透過し、第2の波長の光を遮断するフィルタが設けられ、該フィルタを介して前記撮影領域が撮影される。
In the information processing device according to the thirty-first aspect of the present invention,
The optical device is provided with a filter that transmits light of the first wavelength and blocks light of the second wavelength, and the imaging region is imaged through the filter.
本発明の一態様に係る光学装置は、上記第1乃至第31の態様に係る情報処理装置と組み合わされる。 The optical device according to one aspect of the present invention is combined with the information processing device according to any of the first to thirty-first aspects.
本発明の一態様に係る情報処理システムは、上記第1乃至第31の態様に係る情報処理装置、上記一態様に係る光学装置、及び上記第1乃至第31の態様に係る情報処理装置と組み合わされる対象物を備える。 An information processing system according to one aspect of the present invention is combined with the information processing apparatus according to the first to thirty-first aspects, the optical apparatus according to the one aspect, and the information processing apparatus according to the first to thirty-first aspects. Equipped with a target object.
本発明の一態様に係るプログラムは、上記一態様に係る情報処理システムと組み合わされ、前記処理を情報処理装置に実行させる。 A program according to an aspect of the present invention is combined with the information processing system according to the above aspect, and causes the information processing apparatus to execute the processing.
本発明の一態様に係る対象物は、上記第1乃至第31の態様に係る情報処理装置と組み合わされる。 The object according to one aspect of the present invention is combined with the information processing apparatus according to the first to thirty-first aspects.
撮影手段を備える本発明の情報処理装置、光学装置、情報処理システム、プログラム、及び対象物を用いれば、市場にて容易に入手できるコンポーネントを利用して優れたインターフェースを実現できる。 By using the information processing apparatus, the optical apparatus, the information processing system, the program, and the target object of the present invention including the photographing unit, an excellent interface can be realized using components that can be easily obtained on the market.
本発明の第1の実施の形態に係る情報処理装置100、一実施の形態に係る光学装置130、及び一実施の形態に係る情報処理システムを説明する。図1は、情報処理システムの平面図である。図2は、情報処理システムの側面図である。図3(a)及び図3(b)は、光学装置130の斜視図である。光学装置130は、情報処理装置100と組み合わされる。情報処理システムは、情報処理装置100と光学装置130を含んでいる。情報処理装置100は、画像を表示する画像表示部110と画像を撮影する撮影手段120と光学装置130を有している。画像表示部110は、例えば液晶ディスプレイを含んでいる。撮影手段120は、例えばCCDカメラ又はC−MOSカメラを含んでいる。撮影手段120により撮影された撮影画像は、静止画又は動画を形成する。撮影手段120には、撮影手段120により撮影された撮影画像が記憶される画像記憶手段が設けられている。画像表示部110と撮影手段120は板状の筐体140に格納されている。情報処理装置100は板状である。画像表示部110は情報処理装置100の一面側(筐体140の上面142側)に配置されている。画像表示部110の画面111は露出している。画面111は、情報処理装置100の上記一面が向く方向に向いている。撮影手段120は、情報処理装置100の上記一面の所定の位置に設けられ、上記一面が向く方向を撮影する。撮影手段120は板状の筐体140の周縁に配置されている。筐体140には撮影孔141が穿たれており、撮影手段120は撮影孔141を介して撮影を行う。
An
光学装置130は、画像表示部の画面111の少なくとも一部の画像が撮影されるよう、撮影手段120に光を導く。光学装置130は、情報処理装置100の筐体140に取り付けられている。光学装置130は、ベース131bを介して筐体140の上面142に載置されている。ベース131bの部分131aは、筐体140の撮影孔141を避けるように形成されている。ベース131bの下面には、ベース131bを支持する支持部131cが設けられている。支持部131cはベース131bの傾きを変更することができる。ベース131bと支持部131cは取付部131を構成する。取付部131により光学装置130は筐体140に取り付けられる。
The
光学装置130を情報処理装置100に着脱可能に取り付けるために、図1、図2、図3(a)及び図3(b)に示した取付部131とは別の手段を光学装置130と情報処理装置100との少なくとも一方に設けてもよい。例えば、支持部131cを省略し、ベース131bを筐体140の上面142に着脱可能に固定する手段を光学装置130に設けてもよい。この場合、ベース131bの傾きを変更する手段は不要になり、光学装置130の構成をより簡便にすることができる。光学装置130を情報処理装置100に着脱可能に取り付けなくてもよい。例えば、光学装置130を情報処理装置100に所定の方法で固定してもよい。
In order to detachably attach the
取付部131には支柱132が回動自在に取り付けられている。光学装置130が載置されたとき、支柱132の長手方向は、筐体140の上面142と交差する方向になる。支柱132は長手方向周りに回動できる。支柱132には、ミラー134を回動自在に支持する支持部133が取り付けられている。ミラー134は、撮影のために撮影手段120に光を導く。ミラー134の回動軸は、画像表示部110の画面111と平行である。支持部133は、支柱132の長手方向にスライド可能である。
A
ミラー134は2軸方向で回動可能であり、支柱132の長手方向にスライド可能である。即ち3自由度が実現される。これにより、光学装置130は、撮影手段120の撮影領域を変更することができる。2軸方向の回動と長手方向のスライドを利用すれば、光学装置130は、撮影領域の移動、拡大、縮小の内の少なくとも1つが行われるよう撮影領域を変更できる。ミラーを動かすことに関する自由度は、任意に設定することができる。0以上の自由度を設定することができる。このような自由度を実現する光学装置は、よく知られた機構を用いれば実現することができる。ミラーは、画面と平行な軸周りに回動可能で、画面に垂直な方向にスライド可能にするような機構を光学装置に設けてもよい。この場合、2自由度が実現される。
The
支持部133には、ミラー134を覆うカバー135が取り付けられる。カバー135は撮影孔141を覆うように配置されるので、外部の照明などからの光が撮影手段120に直接入射することを防止することができる。カバー135と支持部133は一体的に形成してもよい。
A
支持部133には、図3(c)に示すように、撮影手段120の撮影領域を照射する照射手段136を取り付けてもよい。対象を撮影するのに必要な光量を十分に確保できないときに、照射により対象を鮮明に撮影できる。
As shown in FIG. 3C, an
光学装置130は、ミラー134の代わりに、図4に示すプリズム134b又は図5に示す光ファイバを有する光ファイバモジュール134cを含んでもよい。
The
光学装置を情報処理装置100に着脱可能に取り付けるために、情報処理装置100を挟持するクリップを用いてもよい。取付部131は、図6(a)及び図6(b)に示すように、支持部131cの代わりに筐体140の下面に当接する当接部131dを有する。当接部131dはベース131bから延びており、当接部131dとベース131bは、は筐体140を挟持する。図6(c)には、凹面鏡を有する光学装置130bが示されている。光学装置130bの凹面鏡は、光学装置130bを筐体140の上面142の所定の位置に所定の向きで載置したときに画面111の全体が撮影されるように設計されている。図6(d)には、光の入射面が凸形状に形成されたプリズムを有する光学装置130cが示されている。光学装置130cの凸面は、光学装置130bと同様に、光学装置130bを筐体140の上面142の所定の位置に所定の向きで載置したときに画面111の全体が撮影されるように設計されている。光学装置130b,130cは、画面111を撮影するに際して、広い視野を実現する。このため、所定の位置に所定の向きで載置するだけで所望の領域を容易に撮影することができる。図3、図4、図5、図6(a)及び図6(b)に示された光学装置では、所望の領域を撮影するためにミラー、プリズムなどの光学素子の向き及び位置を調整する必要があるが、光学装置130b,130cでは、調整する必要がない。また、光学素子の向き及び位置を調整する手段を必要としないので、構造が簡便である。光学装置130b,130cを情報処理装置100に取り付けるために、光学装置130b,130cを上面142に貼着してもよい。その場合、光学装置130b,130cを上面142から容易に剥がすことができ、また再度貼着することが可能な接着剤を用いることができる。また、図6(a)及び図6(b)に示された取付部131と同様のクリップを用いてもよい。以上、様々な光学装置の実施の形態を記載したが、画面111の少なくとも一部又は全部が、撮影手段120の撮影領域に含まれるように光を導くことができれば、どのような構造であってもよい。
In order to detachably attach the optical device to the
撮影手段120は、画像表示部110の画面111上に位置する対象物及び/又は画面111外に位置する対象物を含む画像を撮影する。画面111外に位置する対象物は、画面近傍に位置することが望ましい。画面111上に位置する対象物と画面111外に位置する対象物との両方が同時に撮影されるときには、特に望ましい。対象物は、印刷媒体、薄板状の媒体、及びフィギアの内の少なくとも1つを含む。図7(a)には、本発明の一実施の形態に係る対象物を撮影する様子が示されている。図7(a)に示す例では、撮影手段120は、画像表示部110の画面111上に位置する対象物153a,153b及び/又は画面111外に位置する対象物153c,153dの画像を撮影することができる。対象物153aはカードである。カードは印刷媒体であり、薄板状の媒体である。対象物153bはコインである。対象物153cはフィギアである。対象物153dはグラスである。図7(c)及び図7(d)は、撮影手段120により撮影された画像の例である。撮影手段120の撮影領域を変更する光学装置130の機能を利用すれば、様々な領域の画像を撮影できる。
The
図7(b)に示すように撮影手段120が、画面111の外から画面111上の対象物(例えばカード153a)を指し示す指示体も撮影できるように、画面111外まで撮影領域を広げてもよい。指示体にはユーザの指154を用いてもよいし、タッチペンを用いてもよい。撮影領域を変更するには、光学装置130の向きを変更してもよいし、広範な領域を撮影できるように、光を集光する構造をもつ光学装置及び/又は光を集光する材料で形成された光学装置を予め用意してもよい。
As shown in FIG. 7B, even if the photographing
情報処理装置100を利用する本発明の一実施の形態に係るプログラムを説明する。
図8は、情報処理装置100のブロック図である。情報処理装置100は、画像解析部161と制御部162と記憶部163と音声再生部164とを有する。記憶部163には、画像解析部161にてなされる画像の解析と、制御部162にてなされる制御を情報処理装置100に実行させるプログラムが記憶されている。記憶部163には、さらに画像表示部110にて表示される画像データ及び/又は動画データと、画像解析部161により撮影画像の解析のために用いられる画像データ及び/又は動画データと、音声再生部164にて再生される音声データが記憶されている。プログラム、画像データ、動画データ及び音声データは、図示しない通信手段を用いて所定のサーバーよりダウンロードすることができる。
A program according to an embodiment of the present invention that uses the
FIG. 8 is a block diagram of the
図9は、情報処理装置100の動作を表すフローチャートである。情報処理装置100は、対象物を含む画像を撮影手段120に撮影させ、撮影させた撮影画像に基づいて撮影画像に関連する情報を処理する。例えば、撮影画像に基づいて画像表示部110と音声再生部164の少なくとも一方を制御する。プログラムは、記憶部163から読み出され、プログラムに基づいて制御部162にて情報処理が行われる。画像データ、動画データ及び音声データは、適宜に記憶部163から読み出され、制御部162や画像解析部161にて利用される。制御部162は、画像表示部110の画面111上に位置する対象物153a,153b及び/又は画面111外に位置する対象物153c,153d(図7(a))を含む画像を撮影手段120に撮影させる(工程171)。画面111上に位置する対象物153a,153bを含む画像が常に撮影されるようにしてもよい。その場合、画面111上に位置する対象物153a,153bを含む画像、又は、画面111上に位置する対象物153a,153bと画面111近傍に位置する対象物153c,153dとを含む画像が撮影される。次に、制御部162は、画像解析部161に画像の解析を行わせる。画像解析部161は、撮影手段120により撮影された対象物の画像(画像記憶手段121に記憶されている画像)に基づいて、対象物の種類、位置、向き、移動量、回転量、及び輪郭の内の少なくとも1つを含む対象物の情報を特定する(工程172)。対象物の種類には、例えば、カード類、フィギア類、コイン類がある。対象物の種類が特定されると、対象物がカードなのか、フィギアなのかが特定される。工程171にて、画面111上に位置する対象物153a,153bを含む画像を撮影手段120が常に撮影される場合には、工程172にて、対象物の種類(画面111上に位置する対象物153a,153bと画面111外に位置する対象物153c,153dの両方が撮影される場合には、対象物153a,153b,153c,153dの少なくとも1つの種類。対象物153a,153bだけが撮影される場合には対象物153a,153bの少なくとも1つの種類。)、画面111上に位置する対象物153a,153bの少なくとも1つの位置、対象物153a,153bの少なくとも1つの向き、対象物153a,153bの少なくとも1つの移動量、対象物153a,153bの少なくとも1つの回転量、及び対象物153a,153bの少なくとも1つの輪郭の内の少なくとも1つを含む対象物の情報が特定される。制御部162は、画像解析部161により特定された対象物の情報に基づいて画像表示部110と音声再生部164の少なくとも一方を制御する(工程173)。上述したように、撮影画像は動画を形成することができる。工程172にて対象物の移動量が特定される場合には、動画に基づいて、時々刻々変化する対象物の位置が解析される。回転量が特定される場合には、動画に基づいて、時々刻々変化する対象物の向きが解析される。
FIG. 9 is a flowchart showing the operation of the
例えば、戦車の絵が描かれたカード153aを画面111上の所定の位置に配置すると、制御部162は、音声再生部164が戦車のエンジンの始動音を再生するよう音声再生部164を制御する。同時に、カード153aの周りで土煙が上がるような画像が表示されるよう画像表示部110を制御する。図10に示すように、戦車の絵が描かれたカード156を画面111上で移動及び/又は回転をさせたときに、これに応じて、カード156の軌跡に沿って無限軌道の走行跡の画像156aを表示させたり、カード156に描かれた戦車が、動画として画面111に表示される車両157に向けて発砲するような画像156bを表示させたりしてもよい。
For example, when the
図1に示すように、指示体154(例えば、ユーザの指)でカード153(対象物)の所定領域151(図1の例では、星のしるし「☆」が描かれている領域)を示す(所定領域151から離れた位置から所定領域151を指し示す)と、それに応じて制御部162は所定の制御を行う。指の変わりにペンを用いてもよい。指示体154は所定領域151に当接してもよい。撮影された撮影画像に基づいて、指示体154で示された所定領域151(戦車の大砲の近傍の領域)を特定する。特定された領域に基づいて制御部162は画像表示部110と音声再生部164の少なくとも一方を制御できる。例えば、大砲が発砲したような音が再生され、領域151の近傍に火花の画像が表示されるよう制御を行う。
As shown in FIG. 1, a predetermined area 151 (in the example of FIG. 1, an area where a star mark “☆” is drawn) of a card 153 (object) is indicated by an indicator 154 (for example, a user's finger). When the
画像解析部161は、指示体154が所定領域151から離れた位置から所定領域151を指し示しているか、指示体154が所定領域151に当接しているかを特定できる。画像解析部161は、特定する際、撮影画像に含まれた指示体154の影などに基づいて特定する。指示体154が所定領域151から離れた位置から所定領域151を指し示していると特定された場合、画像解析部161は、(現実に)指示体154が所定領域151を指し示す方向を特定し、その方向に基づいて所定領域151を特定する。指示体154が所定領域151に当接していると特定された場合、画像解析部161は、撮影画像を解析し、(現実に)指示体154の直下に位置していると判断される対象物の領域を所定領域151として特定する。指示体154が離れているか当接しているかの特定のために、画像表示部110の画面111上に位置する対象物153に当接する指示体154の画面111上の位置を検知する検知手段を用いてもよい。検知手段は画面111に設けられていて、静電容量タッチパネルを含んでいる。検知手段により指示体154の画面111上の位置が検知されれば、指示体154は当接すると特定される。位置が検知されなければ、指示体154は離れていると特定される。
The
画像解析部161は、撮影手段120により撮影された撮影画像に基づいて、カード153の所定領域151だけでなく指示体154も特定することができる。所定領域151の特定は上述と同様に行うことができる。指示体154を特定する際には、画像解析部161は、記憶部163に記憶された画像データ及び/又は動画データと指示体154の画像とを比較して指示体154を特定する。例えば、画像解析部161は、指示体154の画像と、記憶部163に記憶されたユーザの指の画像データやペンの画像データとを比較照合し、指示体154がユーザの指であると判断する。この比較照合は、指示体154の画像と記憶された画像データとの特徴点を抽出して判断してもよい。制御部162は、特定された所定領域151と指示体154に基づいて画像表示部110と音声再生部164の少なくとも一方を制御できる。この場合、特定された指示体が赤いタッチペンであれば制御部162はある制御(例えば、領域151の近傍に火花の画像が表示されるような制御)を行い、特定された指示体が青いタッチペンだった場合には別の制御(例えば、領域151の近傍に大砲の残弾数を示す画像が表示されるような制御)を行う、といった処理が可能である。
The
動きを表現する動作体の動作に基づいて制御してもよい。動作体として、ペンやユーザの手を用いることができる。画像解析部161は、動画を形成する撮影画像に基づいて、対象物の情報(対象物の種類、位置、向き、移動量、回転量、及び輪郭の内の少なくとも1つを含む情報)に加えて、撮影手段120により撮影された動作体の動作をさらに特定することができる。制御部162は、特定された動作体の動作に基づいて画像表示部110と音声再生部164の少なくとも一方を制御できる。例えば、動作体で右回りか左回りに円を描いたり、動作体を画面111に沿って動かしたり、画面111から遠ざかる向きか近づく向きに動かしたりする。画像解析部161は、記憶部163に記憶された画像データ及び/又は動画データと、撮影された動作体の動画とを比較して動作体の動作を特定する。特定の際、動作体の速度や動作体の軌跡を特定できる。制御部162は、動作体の速度や動作体の軌跡に基づいて制御できる。動作体としてユーザの手を用いる場合、じゃんけんの動作(例えば、グーからパーへの変化)に基づいて制御してもよい。動作体の軌跡は、動作を特徴付ける特徴点を抽出して特定してもよい。
You may control based on operation | movement of the action body expressing a motion. A pen or a user's hand can be used as the operating body. The
次に、本発明の第2の実施の形態に係る情報処理装置200を説明する。第2の実施の形態の情報処理装置200の構成の大部分は、第1の実施の形態の情報処理装置100と同様である。第1の実施の形態の情報処理装置100の構成要素と同じ構成と機能を有する構成要素には、同じ参照符号を付す。
Next, an information processing apparatus 200 according to the second embodiment of the present invention will be described. Most of the configuration of the information processing apparatus 200 according to the second embodiment is the same as that of the
図1及び図2を参照して情報処理装置200の構成を説明する。情報処理装置200は、画像表示部110の画面111上に位置する対象物153に当接する指示体154(ユーザの指)の画面111上の位置を検知する検知手段をさらに有している(図1及び図2では検知手段は図示されていない)。検知手段は画面111に設けられていて、静電容量タッチパネルを含んでいる。なお、検知手段は、静電容量タッチパネルの他、光学式タッチパネル、感圧式タッチパネルなど、対象物153、及び/又は、対象物153又は画面111に当接する指示体154の画面111上の位置を検知できれば、どのような手段であってもよい。
The configuration of the information processing apparatus 200 will be described with reference to FIGS. 1 and 2. The information processing apparatus 200 further includes detection means for detecting the position on the
図11は、情報処理装置200のブロック図である。画像解析部161は、撮影された撮影画像に基づいてカード153の種類、位置、向き、移動量、回転量、及び輪郭の内の少なくとも1つを含むカード153の情報を特定できる。例えば、カード153の位置、即ち画面111上の位置と、カード153の向きを含む情報が特定される。次に、画像解析部161は、カード153の情報(画面111上の位置と向き)と、検知手段265により検知されたユーザの指の画面111上の位置とに基づいて、ユーザの指が当接しているカード153の領域151を特定する。制御部162は、特定したカード153の領域151とカード153の情報(画面111上の位置と向き)に基づいて画像表示部110と音声再生部164の少なくとも一方を制御する。例えば、ユーザがカード153の領域151(戦車の大砲の近傍の領域)に指を載せると、大砲が発砲したような音が再生され、領域151の近傍に火花の画像が表示されるような制御がなされる。
FIG. 11 is a block diagram of the information processing apparatus 200. The
指示体154が対象物153の近傍の画面111上の領域に当接する(指示体154は対象物153に接していない)場合には、情報処理装置200は以下のように動作する。画像解析部161は、撮影された撮影画像に基づいて、カード153の情報(画面111上の位置と向きを含む情報)を特定する。制御部162は、特定したカード153の情報と、検知手段265により検知されたユーザの指の画面111上の位置とに基づいて画像表示部110と音声再生部164の少なくとも一方を制御する。例えば、ユーザがカード153の領域151(戦車の大砲の近傍の領域)の近傍の画面111上の領域に指を載せると、大砲が発砲したような音が再生され、領域151の近傍に火花の画像が表示されるような制御がなされる。
When the
次に、本発明の第3の実施の形態に係る情報処理装置及びこれとともに用いられる本発明の一実施の形態に係る対象物を説明する。第3の実施の形態の情報処理装置の構成の大部分は、第1の実施の形態の情報処理装置100と同様である。第1の実施の形態の情報処理装置100の構成要素と同じ構成と機能を有する構成要素には、同じ参照符号を付す。
Next, an information processing apparatus according to a third embodiment of the present invention and an object according to an embodiment of the present invention used therewith will be described. Most of the configuration of the information processing apparatus according to the third embodiment is the same as that of the
本実施の形態の対象物には、対象物を特定するための指標が設けられている。指標は、グラフィック、マーク、マークの配列、自動認識コードのパターンの内の少なくとも1つを含む。撮影手段120により指標が設けられた対象物が撮影されたとき、情報処理装置は、撮影画像に含まれる指標の画像に基づいて対象物を特定する。情報処理装置は、特定した対象物に基づいて処理する。
The object of the present embodiment is provided with an index for specifying the object. The indicator includes at least one of a graphic, a mark, a mark arrangement, and a pattern of an automatic recognition code. When the object on which the index is provided is imaged by the
例えば、猫のグラフィックの指標が設けられたカード(対象物)が画像表示部110の画面111の中央に載置され、犬のグラフィックの指標が設けられたカード(対象物)が画面111の端に載置されているとする。猫のカードにはカードを特定するための所定のID番号、例えば「1」が設定されている。犬のカードにはID番号として「2」が設定されている。記憶部163(図8)には、ID番号、指標(グラフィック)の画像データ、及びID番号と指標の対応関係が記憶されている。これらのカードが撮影されたとき、画像解析部161は、撮影画像に含まれる指標の画像と記憶部163に記憶されている指標の画像データとを比較して、撮影画像において画面111の画像の中央に位置するカードの画像に、記憶部163に記憶されている猫のグラフィックの指標の画像が含まれていることを特定する。同様に、画像解析部161は、撮影画像において画面111の画像の端に位置するカードの画像に、記憶部163に記憶されている犬のグラフィックの指標の画像が含まれていることを特定する。画像解析部161は、記憶部163に記憶されたID番号と指標の対応関係に基づいて画面111の中央のカードのID番号が「1」であり、画面111の端のカードのID番号が「2」であることを特定する。このようにして対象物は特定される。記憶部163には、カードのID番号と対応付けられたプログラム、画像データ、動画データ、音声データ等が記憶されている。カードのID番号が特定されると、制御部162は、カードのID番号に対応したプログラムに基づいて制御を行う。例えば、ID番号が「1」であるカード(猫のカード)の近くの画面111の領域に「猫」の文字を表示し、ID番号が「2」であるカード(犬のカード)の近くの画面111の領域に「犬」の文字を表示するといった制御を行う。
For example, a card (object) provided with a cat graphic index is placed at the center of the
指標としてマークが用いられている場合も、指標としてグラフィックが用いられている場合と同様に対象物を特定できる。マークは、例えばハート形や、ダイヤ形である。マークの違いによって対象物を特定することができる。 Even when a mark is used as an index, an object can be specified in the same manner as when a graphic is used as an index. The mark is, for example, a heart shape or a diamond shape. The object can be specified by the difference in the marks.
上述したように指標としてマークの配列を用いることができる。マークの配列は、例えば多角形を想定し、その多角形の頂点の位置にマークを配置したものである。多角形の頂点はマークを代表する点、例えばマークの図心と一致している。2枚のカード(対象物)にマークの配列が設けられているとする。一方のカードには3つのマークが設けられており、3つのマークは、想定された正三角形の頂点の位置にそれぞれ配置されている。他方のカードにも3つのマークが設けられており、3つのマークは、想定された2等辺三角形の頂点の位置にそれぞれ配置されている。正三角形配置のカードは画面111の中央に載置されており、2等辺三角形配置のカードは画面111の端に載置されている。画像解析部161は、マークの形状とマークの配列(この場合には多角形の形状)に基づいてカードを特定する。正三角形配置のカードにはID番号として「3」が設定されており、2等辺三角形配置のカードにはID番号として「4」が設定されている。記憶部163には、ID番号、マークの形状のデータ、マークの配列のデータ、及びこれらの対応関係が記憶されている。これらのカードが撮影されたとき、画像解析部161は、撮影画像に基づいて、それぞれのカードに設けられたマークの形状及びマークの配列を特定する。画像解析部161は、特定したマークの形状及びマークの配列と、記憶部163に記憶されたマークの形状のデータ及びマークの配列のデータとを比較し、記憶部163に記憶された対応関係に基づいて画面111の中央のカードのID番号が「3」であり、画面111の端のカードのID番号が「4」であることを特定する。カードのID番号が特定されると、制御部162は、カードのID番号に対応したプログラムに基づいて制御を行う。
As described above, an array of marks can be used as an index. The array of marks is, for example, a polygon, and marks are arranged at the positions of the vertices of the polygon. The vertex of the polygon coincides with a point representing the mark, for example, the centroid of the mark. It is assumed that an array of marks is provided on two cards (objects). One card is provided with three marks, and the three marks are respectively arranged at the positions of the assumed vertices of an equilateral triangle. The other card is also provided with three marks, and the three marks are respectively arranged at the positions of the vertices of the assumed isosceles triangle. The equilateral triangle arrangement card is placed at the center of the
想定された多角形(以下、想定多角形という)の形状は、撮影されると乱れる。マークの配列を斜めから撮影すると、撮影された想定多角形の形状(撮影されたマークを代表する点を頂点とする多角形の形状)は、実際の想定多角形の形状とは異なるものになる。例えば正三角形を斜めから撮影すると、撮影された正三角形の形状は2等辺三角形になる。画像解析部161は、撮影された画面111の輪郭の形状などを利用して、撮影画像から実際の想定多角形の形状を推定する。画像解析部161は、撮影画像に基づいてマークの配列を特定する際、この推定された実際の想定多角形の形状を利用する。
The shape of an assumed polygon (hereinafter referred to as an assumed polygon) is disturbed when photographed. When the mark array is photographed from an oblique direction, the photographed assumed polygon shape (polygon shape having a vertex representing the photographed mark) is different from the actual assumed polygon shape. . For example, when an equilateral triangle is photographed from an oblique direction, the shape of the photographed equilateral triangle is an isosceles triangle. The
このようにしてマークの配列を用いることによって、複数のカード(対象物)を互いに識別することができる。マークを代表する点の配置(以下、代表点配置という)はユニークであることが望ましい。即ち、2枚のカードを任意に選択し、一方のカードの代表点配置を拡大し、並行移動し、回転したときに、その代表点配置を他方のカードの代表点配置に重ねることができないことが望ましい。 By using the mark arrangement in this way, a plurality of cards (objects) can be distinguished from each other. The arrangement of points representing the mark (hereinafter referred to as representative point arrangement) is preferably unique. That is, when two cards are arbitrarily selected, the representative point arrangement of one card is enlarged, moved in parallel, and rotated, the representative point arrangement cannot be superimposed on the representative point arrangement of the other card. Is desirable.
指標は、対象物に不可視のインクを用いて印刷することができる。指標を印刷するのに使用するインクとして、所定の波長の光に反応する特性、及び、所定の特性をもった第1の光に反応して第1の光とは異なる特性をもつ第2の光を発する特性の内の少なくとも1つをもつインクを用いてもよい。また、インクの代わりにこのような特性をもつ材料を用いて指標を対象物に設けてもよい。例えば所定の波長の光を吸収する特性をもつインクで指標が印刷されると、対象物の指標の部分では、所定の波長の光が吸収され、他の部分では所定の波長の光が拡散反射される。対象物は、少なくとも所定の波長の光を透過するフィルタを介して撮影される。つまり、対象物の指標の部分に対応する画素のみ所定の波長の光が撮影されないことにより、指標を特定することができる。さらに、所定の特性をもった第1の光に反応して第1の光とは異なる特性をもつ第2の光を発する特性をもつ不可視のインクで指標が印刷される。指標は、対象物の色とは異なる色の波長の可視光を発し撮影され、指標が特定される。 The indicator can be printed using ink that is invisible on the object. As the ink used for printing the index, a second characteristic that is different from the first light in response to the first light having the characteristic that reacts to the light having the predetermined wavelength and the first light having the predetermined characteristic. An ink having at least one of the characteristics of emitting light may be used. Further, an index may be provided on the object using a material having such characteristics instead of ink. For example, when an index is printed with ink having a characteristic of absorbing light of a predetermined wavelength, light of a predetermined wavelength is absorbed in the target index portion, and light of the predetermined wavelength is diffusely reflected in other portions. Is done. The object is photographed through a filter that transmits at least light of a predetermined wavelength. That is, the index can be specified by not capturing light of a predetermined wavelength only for the pixel corresponding to the index portion of the object. Further, the indicator is printed with invisible ink having a characteristic of emitting a second light having a characteristic different from the first light in response to the first light having a predetermined characteristic. The index is photographed by emitting visible light having a wavelength different from the color of the object, and the index is specified.
指標に用いる自動認識コードは、バーコード、2次元コード、ドットコードの内の少なくとも1つを含む。ドットコードに用いるパターンであるドットパターンについて図12乃至図15を参照して説明する。ドットパターンは複数のドットからなる。図12乃至図15にて描かれている線分及び曲線は、説明の便宜のために付したものであり、ドットパターンには含まれない。 The automatic recognition code used for the indicator includes at least one of a bar code, a two-dimensional code, and a dot code. A dot pattern which is a pattern used for a dot code will be described with reference to FIGS. A dot pattern consists of a plurality of dots. The line segments and curves drawn in FIGS. 12 to 15 are given for convenience of explanation, and are not included in the dot pattern.
図12は、本実施の形態のドットパターンを示す図である。図12に示すドットパターンは、GRID1と呼ばれる。図3(c)に示すように、光学装置130には撮影領域を照射する照射手段136を取り付けることができる。照射手段136には、ドットパターンが施された対象物に所定の波長の光を照射できるLEDを用いることができる。撮影手段120は所定の波長の光で撮影できる。光学装置130には、第1の波長の光を透過させ、第2の波長の光を遮断するフィルタ137を設けることができる。フィルタ137は、筐体140の撮影孔141を覆うように、部分131aに設けることができる。撮影領域はフィルタ137を介して撮影される。もちろん、ドットを特定できる配色でドットを印刷し、照射手段136やフィルタ137を設けないでドットパターンを撮影してもよい。
FIG. 12 is a diagram showing a dot pattern according to the present embodiment. The dot pattern shown in FIG. 12 is called GRID1. As shown in FIG. 3C, the
ドットパターン1は、ドットコード生成アルゴリズムにより、微細なドット、即ち、キードット2、情報ドット3、基準格子点ドット4を所定の規則に則って配列することにより生成される。図12に示すように、ドットパターン1が設けられる媒体(対象物)上には、一方向に延び、並列する複数の線分と、この方向と直行する方向に延び、並列する複数の線分とにより形成される格子が想定される。この格子に基づいて各種のドットが配置される。これらのドットで1つのブロックが構成される。格子点には基準格子点ドット4が配置される。格子点からずれた位置にキードット2が配置される。図12の例では、キードット2はブロックのコーナーに配置されているが、ブロック内のどこに配置されてもよい。格子を形成する線により区切られた矩形の格子領域の四つ角のそれぞれには基準格子点ドット4が配置される。それぞれの格子領域の中心(矩形の対角線の交点)には仮想格子点が設定される。仮想格子点を基準として仮想格子点の周囲に情報ドット3が配置される。図12には、近接して配列された4つのブロックが示されている。それぞれのブロックの基礎となる格子の枠は太線で示されている。隣り合うブロックは、格子の枠上の基準格子点ドット4とキードット2を共有する。
The
基準格子点ドット4は格子状に配列されているので、撮影された基準格子点ドット4は規則的に配列する。しかしながら、撮影手段120のレンズの歪み、基準格子点ドット4が設けられた媒体の変形などにより、撮影された基準格子点ドット4の配列が変形する。基準格子点ドット4の配列の変形は、ドットパターン1の解析のエラーの原因になる。特に、格子領域の四つ角に配置されている(矩形の角に位置する)4つの基準格子点ドットを斜めから撮影すると、撮影する角度に応じてこれらの基準格子点ドットに囲まれた格子領域の変形の度合いが大きくなる。このような変形は、所定の関数fを用いて撮影画像を変換することにより、補正することができる。関数fを求めるには、まず、撮影された基準格子点ドットから、格子領域の四つ角に配置されていると推定される4つの基準格子点ドットを選択する。4つの基準格子点ドットの位置を変換し、これらが正方形の角に位置するようになるような関数fを求める。撮影画像における変換前の基準格子点ドットの位置を(Xi’,Yi’)(i=1,2,3,4)、撮影画像における変換後の基準格子点ドットの位置(正方形の角に位置する基準格子点ドットの位置)を(Xi,Yi)(i=1,2,3,4)とすると、関数fは
(Xi,Yi)=f(Xi’,Yi’)
で定義される。
Since the reference
Defined by
このように、基準格子点ドット4を利用すれば、撮影手段120のレンズに歪みが生じている場合でも、ドットパターンを撮影する角度が大きい場合でも、ドットパターン1の解析のエラーを少なくすることができる。
Thus, if the reference
キードット2は、図12に示すように、格子点から所定方向にずれた位置に配置されている。撮影画像からキードット2を抽出することにより、ブロックの向きと大きさを特定することができる。ドットパターン1を撮影し、撮影画像においてキードット2のずれの方向が特定されたとき、その方向又は、関連する方向がブロックの向きとして特定される。キードット2のずれの量は例えば、隣り合う基準格子点ドット間の間隔の20%程度である。ずれの量はこれに限定されず、ブロックの寸法に応じて可変し得るものである。キードット2は、ブロックを代表するドットである。ブロックに情報を定義するとき、ドットパターン1が設けられた媒体上のブロックの位置を情報に含ませることができる(本実施の形態では、対象物を特定するためのID番号が含まれている)。
As shown in FIG. 12, the
情報ドット3は種々の情報を表現するためのドットである。ブロックには1以上の情報ドット3が含まれる。各情報ドット3には個別に数値情報などの基礎情報が定義される。1つのブロックに含まれるこれら1以上の情報ドット3に定義された基礎情報で種々の情報、例えばブロックの位置の座標値等を表現する。情報ドット3の基礎情報は、その情報ドット3の配置、大きさ、形状、色の内の少なくとも1つに基づいて定義される。基礎情報が数値情報である場合、基礎情報は値をもつ。
The information dot 3 is a dot for expressing various information. One or
基礎情報が情報ドット3の配置に基づいて定義される場合について説明する。情報ドット3は、仮想格子点を基準として配置される。仮想格子点は、格子を形成する線により区切られた矩形の格子領域の中心に設定されている。仮想格子点を始点、情報ドット3の位置を終点とするベクトルを想定する。情報ドット3に定義された基礎情報は、ベクトルの方向と長さに基づいて特定される。ベクトルの方向は、所定の基準方向を基準として特定される。基準方向として、キードット2のずれの方向(ブロックの向き)が用いられる。ベクトル、即ち情報ドット3の配置に対応する情報の値(2進値)が予め決められている。情報ドット3の位置の特定を容易にするために、情報ドット3を予め決められた幾つかの位置にだけ位置させることができるようにしてもよい。図13(a)に示す例では、情報ドット3は、仮想格子点5を基準として8つの位置にだけ位置させることができる。図13(a)では、仮想格子点5は白抜きの丸のしるし「○」で描かれている。仮想格子点5は仮想的な点であり、ドットパターン1にはしるし「○」は含まれない。
A case where the basic information is defined based on the arrangement of the
情報ドット3は8通りの状態をとることができるので、3ビットの情報を表現することができる。図13(a)には、各状態に対応する情報の値が2進値で示されている。1つのブロックには16個の情報ドットが含まれている(図12)ので、1つのブロックは、3ビット×16個=48ビットの情報を表現することができる。 Since the information dot 3 can take eight states, 3-bit information can be expressed. In FIG. 13A, the value of information corresponding to each state is shown as a binary value. Since one block contains 16 information dots (FIG. 12), one block can express 3 bits × 16 pieces = 48 bits of information.
情報ドット3がとり得る状態の数は、8つに限られない。例えば、図13(b)、図13(c)に示すように、4つでもよい。情報ドット3は4通りの状態をとることができるので、2ビットの情報を表現することができる。1つのブロックでは、2ビット×16個=32ビットの情報を表現することができる。情報ドット3がとり得る状態の数は、16でもよい。 The number of states that the information dot 3 can take is not limited to eight. For example, as shown in FIG. 13B and FIG. Since the information dot 3 can take four states, 2-bit information can be expressed. One block can express 2 bits × 16 pieces = 32 bits of information. The number of states that the information dot 3 can take may be 16.
図13の例では、ベクトルの長さ(情報ドット3の仮想格子点5からの距離)が一定である。図14の例では、ベクトルの長さが長いか短いかの2通りの状態を情報ドット3にとらせることができる。情報ドット3は予め決められた8つの方向に配置することができる。即ち、図14の例では、情報ドット3は2×8=16通りの状態をとることができ、4ビットを表現することができる。長い方のベクトルの長さは、隣り合う基準格子点ドット4の間隔の25%前後、短い方のベクトルの長さは、隣り合う基準格子点ドット4の間隔の15%前後であることが望ましい。ただし、長短のベクトルの長さの値は、情報ドット3の径の値よりも大きいことが望ましい。
In the example of FIG. 13, the length of the vector (distance from the virtual dot 5 of the information dot 3) is constant. In the example of FIG. 14, the information dot 3 can take two states, that is, whether the length of the vector is long or short. The
図15(a)は、2つの情報ドットが配置された状態を示す。図15(b)は、4つの情報ドットが配置された状態を示す。図15(c)は、5つの情報ドットが配置された状態を示す。 FIG. 15A shows a state in which two information dots are arranged. FIG. 15B shows a state in which four information dots are arranged. FIG. 15C shows a state in which five information dots are arranged.
指標を施した対象物の別の実施の形態を説明する。指標としてドットパターンを用いる。上述した、指標を施した対象物の実施の形態では、指標として用いたドットパターンの情報ドットの情報には、対象物を特定するためのID番号が含まれていたが、本実施の形態の対象物に設けたドットパターンの情報ドットの情報には、対象物における位置情報及び/又はコード値を含ませる。 Another embodiment of the object to which the index is applied will be described. A dot pattern is used as an index. In the above-described embodiment of the target object with the index, the dot number information dot information used as the index includes an ID number for identifying the target object. The information dot information of the dot pattern provided on the object includes position information and / or code values on the object.
コード値として、例えば対象物を特定するためのID番号を用いることができる。2枚のカード(対象物)にドットパターンとグラフィック(例えば、猫のグラフィック)を重ねて印刷する。2枚のカードには同じ猫のグラフィックを印刷する。ドットパターンを用いれば、同じグラフィックが印刷されたカードを区別することができる。一方のカードにID番号として「1」を設定し、他方のカードにID番号として「2」を設定する。即ち、一方のカードのコード値は「1」であり、他方のカードのコード値は「2」である。これらのカードが撮影されたときに、例えば、ID番号が「1」であるカードの近くの画面111の領域に「双子の兄」の文字を表示し、ID番号が「2」であるカードの近くの画面111の領域に「双子の弟」の文字を表示するといった制御を行う。
As a code value, for example, an ID number for specifying an object can be used. A dot pattern and a graphic (for example, a cat graphic) are overlaid and printed on two cards (objects). Print the same cat graphic on the two cards. If a dot pattern is used, cards on which the same graphic is printed can be distinguished. “1” is set as the ID number for one card, and “2” is set as the ID number for the other card. That is, the code value of one card is “1”, and the code value of the other card is “2”. When these cards are photographed, for example, the characters “Twin Brothers” are displayed in the area of the
ドットパターンが施されたカード(対象物)の表面には、1以上のブロックが印刷されており、各ブロックに含まれる情報ドット3が表現する情報には、カード上のブロックの位置情報を含ませることができる。例えば、ブロックに含まれる情報ドット3がもつ情報に、そのブロックに含まれるいずれかの基準格子点ドット4のカード上の座標を含ませることができる。これを利用して、撮影されたカードの所定領域に施されたドットパターンの画像に基づいて所定領域のカード上の位置を特定できる。このとき、画像解析部161(図8)は、その画像から、所定領域に施されたブロックに含まれる情報ドットが表現する情報、即ちカード上のそのブロックの位置情報を取得して、この位置情報に基づいて所定領域を特定する。このように、ドットパターンを利用してカードの所定領域、例えば指示体154(ユーザの指)が当接しているカードの所定領域151(図1及び図2を参照。ドットパターンは図示せず。)を特定できる。領域の特定のために、微細なドットの位置を利用しているので、領域の特定を極めて高精度で行うことができる。
One or more blocks are printed on the surface of the card (object) to which the dot pattern is applied, and the information represented by the information dot 3 included in each block includes the position information of the block on the card. Can be made. For example, the information on the information dot 3 included in the block can include the coordinates of any reference
上記指標を施した対象物の実施の形態では、光学装置130を用いて、撮影領域を拡大して撮影することができる。これにより、微細なドットをより確実に撮影できる。
In the embodiment of the object to which the above index is applied, the
次に、本発明の第4の実施の形態に係る情報処理装置を説明する。第4の実施の形態の情報処理装置の構成の大部分は、第2の実施の形態の情報処理装置200と同様である。第2の実施の形態の情報処理装置200の構成要素と同じ構成と機能を有する構成要素には、同じ参照符号を付す。 Next, an information processing apparatus according to the fourth embodiment of the present invention will be described. Most of the configuration of the information processing apparatus according to the fourth embodiment is the same as that of the information processing apparatus 200 according to the second embodiment. Components having the same configuration and function as those of the information processing apparatus 200 according to the second embodiment are denoted by the same reference numerals.
第4の実施の形態の情報処理装置は、指示体154の画面111上の位置を検知する検知手段265(図11)を有している。また、第3の実施の形態と同様に、対象物にはドットパターンが施されている。上述したように、検知手段265を利用しても、ドットパターンを利用しても指示体で指示された対象物上の所定領域を特定できる。
The information processing apparatus according to the fourth embodiment includes a detection unit 265 (FIG. 11) that detects the position of the
次に、本発明の第5の実施の形態に係る情報処理装置500を説明する。第5の実施の形態の情報処理装置の構成の大部分は、第1の実施の形態の情報処理装置100と同様である。第1の実施の形態の情報処理装置100の構成要素と同じ構成と機能を有する構成要素には、同じ参照符号を付す。
Next, an
情報処理システムでは、画面111上に載置されたカードを画面111とともに撮影手段120により撮影し、撮影された撮影画像から例えばカードの角を特定し、その角の周囲にアクションン画像を表示するといったことが行われる。カードの角の周囲にアクションン画像を表示する際、画面111に表示する表示画像を構成する画素のどれにアクションン画像を表示すればよいかを決める必要がある。これを決めるには、撮影画像のどの画素が表示画像のどの画素に対応するのかを求めることが必要である。この対応関係を求めるために、キャリブレーション画像が利用される。
In the information processing system, the card placed on the
画像表示部110の画面111(図1及び図2)には、キャリブレーション画像が表示される。キャリブレーション画像は、画面111上に位置する対象物153とともに撮影手段120により撮影され、画像記憶手段121(図8)に記憶される。キャリブレーション画像は、画面111に表示される表示画像における位置(表示画像の画素の位置)と、画像記憶手段121に記憶されている撮影画像における位置(撮影画像の画素の位置)とを対応付けるために用いられる。キャリブレーション画像は、互いに識別可能な複数の識別画像を含む。
A calibration image is displayed on the screen 111 (FIGS. 1 and 2) of the
キャリブレーション画像は、格子線を表す画像を含むことができる。ここで、格子線は、一方向に延び、並列する複数の線と、この一方向と交差する他の方向に延び、並列する複数の線とを含む複数の線を指すものとする。並列する線の間隔は一定でもよいし、一定でなくてもよい。 The calibration image can include an image representing a grid line. Here, the grid line refers to a plurality of lines including a plurality of lines extending in one direction and arranged in parallel and a plurality of lines extending in another direction intersecting with the one direction and arranged in parallel. The interval between the parallel lines may or may not be constant.
図16(a)には、格子線を表す画像を含むキャリブレーション画像が、画面111に表示画像として表示されている様子が示されている。格子点を通る十字の線を表す画像が識別画像である。複数の識別画像はそれぞれ画面111上の基準点を指定する。画面111上の基準点は、画面111上に幾何学的に設定された仮想的な点である。基準点は、図17(a)で示される画面111上の任意の位置を特定するための基準となる点である。図16(a)の例では、各識別画像は、この識別画像が表す縦横の線の交点、即ち格子点を基準点として指定する。各格子点について識別画像が設定されている。識別画像は、線の種類、線の色、線の太さ、線の間隔の内の少なくとも1つに基づいて識別される。キャリブレーション画像はこのような識別画像の集まりで形成されている。
FIG. 16A shows a state in which a calibration image including an image representing a grid line is displayed on the
撮影手段120で撮影され、画像記憶手段121に記憶されている撮影画像に含まれる識別画像は、図16(b)の例では、線の種類と線の太さに基づいて識別される。横線及び縦線は等間隔に並んでいる。同じ種類で同じ太さの線はない。種類(例えば、点線、鎖線、破線、実線、2重線)と太さを指定すれば横線(例えば細い2点鎖線の横線512a)を特定することができる。各横線が表示される位置は予め決められている。したがって、横線の種類と太さに基づいてその横線が表示された画面111の画像111a上の領域の縦の位置を特定することができる。縦線についても同様である。縦線(例えば、細い実線の縦線513a)の種類と太さに基づいてその縦線が表示された画面111の画像111a上の領域の横の位置を特定することができる。これを利用すれば、格子点514aを通る縦線513aと横線512aの種類と太さに基づいて、格子点514aが表示された画面111の画像111a上の基準点の位置を特定することができる。このようにして、各基準点の位置を特定することができる。各基準点と、画面111上に位置する対象物との位置関係が特定できれば、対象物の画面111上の位置及び向きを特定することができる。同様に対象物の移動量と回転量を特定することができる。
In the example of FIG. 16B, the identification image captured by the
なお、図16(b)では、撮影手段120により近い画面111の部分は大きくなり、より遠い部分は小さくなる。このため、格子線は変形しているが、格子線の種類と太さに基づいて撮影画像における図17(b)の各基準点の位置(基準点の撮影フレームバッファの画素アドレス)を特定することができる。画像解析部161(図8)は、撮影画像に基づいてこの撮影画像に含まれた各識別画像を識別し、識別した識別画像により指定される基準点の位置を示す撮影画像基準位置を特定する。撮影画像に含まれる画面の画像111aには、細い2点鎖線の横線512aと細い実線の縦線513aを表す画像が含まれている。画像解析部161は、線の種類と線の太さに基づいて横線512aを識別して、横線512aが細い2点鎖線の横線であると特定する。また、画像解析部161は、線の種類と線の太さに基づいて縦線513aを識別して、縦線513aが細い実線の縦線であると特定する。即ち、横線512aと、縦線513aで形成された識別画像が識別される。次に、画像解析部161は、識別した識別画像により指定される基準点、即ち横線512aと縦線513aの交点である格子点の撮影画像における位置(撮影画像基準位置(xr1,yr1))を特定する。次に、画像解析部161は、画面111に表示された表示画像に含まれる識別画像から、識別した識別画像と同一のものを特定する。
In FIG. 16B, the portion of the
画像表示部110は、表示画像データに基づいて画面111に画像を表示する。表示画像データには複数の識別画像を表示するための識別画像表示情報がそれぞれ含まれている。また、表示画像データには各識別画像により指定される基準点(格子点)の表示画像における位置の情報(格子点周りの領域の画像を表示する画素の位置の情報)が含まれている。各識別画像の識別画像表示情報には、この識別画像を特定するための情報、例えば線の種類と線の太さの情報が含まれている。画像解析部161は、表示画像データに基づいて、特定した横線512a及び縦線513a(図16(b)の撮影画像)の線の種類と線の太さと同一のものをもつ横線512及び縦線513(図16(a)の表示画像)を特定する。この際、横線512及び縦線513(表示画像)から形成される識別画像の識別画像表示情報を複数の識別画像の識別画像表示情報の中から特定する。即ち、特定した識別画像(撮影画像中の横線512aと縦線513aで形成)と同一の識別画像(表示画像中の横線512と縦線513で形成)が特定される。画像解析部161は、同一と特定された識別画像(横線512a、縦線513a)により指定される基準点(格子点514a)の表示画像における位置(表示画像基準位置(Xr1,Yr1))を表示画像データに基づいて特定する。
The
画像解析部161は、図17(b)に示す特定した撮影画像基準位置(xr1,yr1)と、特定した表示画像基準位置(Xr1,Yr1)との対応を示す基準対応関係を求める。基準対応関係を各識別画像について求める。即ち、撮影画像基準位置(xri,yri)と表示画像基準位置(Xri,Yri)(i=1,2,3,・・・)との対応を示す基準対応関係を求める。
The
なお、特殊な光学装置130を使用して歪の無い、表示画像と同程度のアスペクト比の撮影画像を取得することもできる。さらに、どのような識別画像であっても、撮影フレームバッファ内の識別画像と表示フレームバッファ内の識別画像とを対比することにより、撮影フレームバッファ内の基準点の画素アドレス(撮影画像基準位置)と表示フレームバッファ内の基準点の画素アドレス(表示画像基準位置)との対応関係(基準対応関係)を求めることができる。位置は座標値で取り扱われる。撮影フレームバッファ内の撮影画像にxy座標が設定され、表示フレームバッファ内の表示画像にXY座標が設定される。一旦、基準位置xy座標−XY座標の対応関係を求めれば、その後、キャリブレーション画像を画面111に表示させる必要はない。
Note that it is also possible to acquire a captured image having an aspect ratio comparable to that of a display image without distortion using the special
撮影画像基準位置のxy座標と表示画像基準位置のXY座標とを対応付ける変換関数又は図17(c)のような変換テーブルを求め、これを用いることにより、撮影フレームバッファ内の撮影画像のどの画素アドレス(位置座標)が、表示フレームバッファ内の表示画像のどの画素アドレス(位置座標)に対応するかを特定することができる。即ち、画面111に載置された対象物、例えばカードが撮影された場合、撮影フレームバッファ内の対象物の画像の位置座標を特定することにより、特定された位置座標に対応する表示フレームバッファ内の表示画像中の位置座標(画面111上のカードの位置)を特定することができる。さらに、カードが載置された方向について言えば、例えば、撮影画像において基準点の縦の列又は横の列に対するカードの回転角を特定するか、カード上の少なくとも2点の位置を特定すれば、画面111上でのカードの方向を特定することができる。
A conversion function associating the xy coordinates of the captured image reference position with the XY coordinates of the display image reference position or a conversion table as shown in FIG. 17C is obtained and used to determine which pixel of the captured image in the captured frame buffer. It is possible to specify which pixel address (position coordinate) of the display image in the display frame buffer corresponds to the address (position coordinate). In other words, when an object placed on the
画面111に載置されたカードの幾何学的に特徴的な点、例えば中心や枠(輪郭)を形成する点の画面111上の位置は、以下のようにして特定することができる。以下ではカードの中心の位置を特定する。図18(a)は、撮影画像から抽出された基準点と画面111に載置されたカードの画像を示している。撮影フレームバッファ内の撮影画像において、カードの中心を示す撮影画像におけるカード座標値(xc,yc)を所定の画像処理又はパターン認識により求め、カード座標値(xc,yc)を囲む4つの基準点A1,A2,A3,A4の位置座標を選択する。次に、これらの4つの基準点A1,A2,A3,A4に対応する表示フレームバッファ内の表示画像中の図18(b)に示す4つの基準点B1,B2,B3,B4の位置座標を、図17(c)の変換テーブルで特定する。表示フレームバッファの4つの基準点B1,B2,B3,B4は、画面111に載置された、表示フレームバッファにおけるカードの中心を囲む。そこで、図18(a)の撮影フレームバッファの4つの基準点A1,A2,A3,A4の位置座標と、図18(b)の表示フレームバッファの4つの基準点B1,B2,B3,B4の位置座標と、図18(a)の撮影フレームバッファ内の撮影画像中のカードの中心の位置座標(xc,yc)とに基づいて、内挿法などを用いて、図18(b)の表示フレームバッファ内の表示画像中のカード座標値(Xc,Yc)を正確に求めることができる。一方、変換テーブルを基に、変換関数X=fx(x,y)、Y=fy(x,y)を求めておけば、内挿法などを使用しなくともダイレクトにカード座標値(Xc,Yc)を求めることができる。そのような変換関数は、所定の座標系(撮影画像の座標)から異なる他の座標系(表示画像の座標)に写像する方法や、撮影画像を正規化して表示画像の座標を求める方法などを用いて求めればよい。変換関数を用いてカード座標値(Xc,Yc)を求める場合、撮像画像に対して画像処理又はパターン認識を施すことによりカード座標値(xc,yc)を求め、変換関数を用いてカード座標値(xc,yc)をカード座標値(Xc,Yc)に変換してもよい。また、撮像画像を変換関数で変換(撮像画像を形成する画素の座標系を図18(a)に示すxy座標系から図18(b)に示すXY座標系に変換)し、変換した画像に対して画像処理又はパターン認識を施すことによりカードの中心を求めて、カード座標値(Xc,Yc)を取得してもよい。
The position on the
対象物(カード)の画面111上の位置を特定するために、撮影画像中のカードの所定の位置に代表点を設定する場合、カードの中心や枠などの幾何学的に特徴的な部分だけではなく、カードに描かれたグラフィックの位置に対応する画面111上の所定の位置(例えば、矢印のグラフィックの矢の先の位置)に代表点を設定してもよい。この場合、画像認識を用いて撮影フレームバッファに記憶された撮影画像内からカードを抽出し、そのカードに描かれたグラフィックに、予め記録された矢印と同様の画像が存在していないかを所定の画像処理やパターン認識で検索し、矢印が認識される。もちろん、カードを抽出することなく、撮影画像を変換した画像(図18(b))で対象のグラフィックを直接的に特定してもよい。グラフィックの所定の位置(代表点)は指示体で示してもよい。同様に、指示体154や所定領域151の画面111上の位置(図1)も変換テーブルや変換関数を使用して特定することができる。カードを画面111上で移動させた場合の、カード上に設定した点の画面111上の軌跡も特定することができる。複数の点の軌跡を特定すれば、移動量と回転量を特定することができる。
In order to specify the position of the object (card) on the
撮影画像の座標から表示画像の座標の変換に関して、さらに詳しく説明すると、撮影画像における格子点514a周りの領域の画像を形成する画素と、表示画像における格子点514周りの領域の画像を形成する画素とは、一対一に対応している。画像解析部161は、基準対応関係に基づいて、撮影画像における位置(x,y)と、表示画像における位置(X,Y)との対応を示す位置対応関係を求める。位置対応関係を求める際、
(X,Y)=F(x,y)
で定義される関数Fを求める。関数Fは位置対応関係を決める。上述したような所定のアルゴリズムを用いれば関数Fを求めることができる。位置対応関係と画像記憶手段121に記憶させた撮影画像を組み合わせれば、対象物の種類、位置、向き、移動量、回転量及び輪郭の内の少なくとも1つを特定することができる。特定した対象物の情報に基づいて画像表示部110と音声再生部164の少なくとも一方を制御できる。例えば、位置対応関係を決める関数Fを利用して、撮影画像に含まれた対象物の画像の周囲の画素((xai,yai)(i=1,2,3,・・・)に位置する画素)に対応する、表示画像の画素((Xai,Yai)(i=1,2,3,・・・)に位置する画素)を求め((Xai,Yai)=F(xai,yai)(i=1,2,3,・・・))、対象物の周囲に所定の画像を表示するような制御を行うことができる。位置対応関係を決めるために、関数Fの代わりにテーブルを用いてもよい。図20(a)に示すような撮影画像を、関数Fやテーブルを用いて変換することにより、図20(b)に示すような元の表示画像を得ることができる。図20(a)及び図20(b)には、画面111に載置されたカードとコイン、カードを示す指示体(ユーザの指)、及び画面111に表示された車の画像が示されている。実際には元の表示画像には車の画像のみが表示される。
The conversion from the coordinates of the captured image to the coordinates of the display image will be described in more detail. Pixels that form an image of the area around the
(X, Y) = F (x, y)
A function F defined by is obtained. The function F determines the position correspondence. If the predetermined algorithm as described above is used, the function F can be obtained. By combining the position correspondence and the captured image stored in the
格子線の代わりにキャリブレーション画像の識別画像として図19(a)に示すようなシンボル(図形)を用いてもよい(この場合、キャリブレーション画像はシンボルの配列の画像を含む)。各シンボルの画像は識別画像として用いられる。識別画像が指定する基準点は、例えばシンボルの重心に設定することができる。識別画像は、シンボルの形状、シンボルの大きさ、シンボルの色、シンボルの配置パターンの内の少なくとも1つに基づいて識別される。シンボルは図示しない格子点上に配置されている。シンボルは等間隔に配置されている。図19(a)の例では、識別画像は、シンボルの大きさとシンボルの形状に基づいて識別される。同じ種類で同じ大きさのシンボルはない。各シンボルが表示される位置は、図19(b)に示されているような格子の格子点の位置に配置されていてもよい。シンボルの種類とシンボルの大きさに基づいて、識別画像が表示された画面111上の基準点の位置座標を特定することができる。これにより、基準点の位置に格子状に配置されたシンボルから、前述した内挿法、写像法や、撮影画像を正規化して表示画像の座標を求める方法など精度の高いアルゴリズムを使用すれば、撮像画像の変形が線型的な変形の場合、キャリブレーション時に少なくとも表示画像の四隅にシンボルを配置(撮影画像中の画面の四隅にシンボルが配置される)しても、変形した撮影画像を変換して元の表示画像を概ね再現できる。
A symbol (graphic) as shown in FIG. 19A may be used as an identification image of the calibration image instead of the grid lines (in this case, the calibration image includes an image of an array of symbols). The image of each symbol is used as an identification image. The reference point designated by the identification image can be set, for example, at the center of gravity of the symbol. The identification image is identified based on at least one of a symbol shape, a symbol size, a symbol color, and a symbol arrangement pattern. The symbols are arranged on lattice points (not shown). The symbols are arranged at equal intervals. In the example of FIG. 19A, the identification image is identified based on the symbol size and the symbol shape. There are no symbols of the same type and size. The position where each symbol is displayed may be arranged at the position of the lattice point of the lattice as shown in FIG. Based on the symbol type and the symbol size, the position coordinates of the reference point on the
図19(b)は、格子状に配置された基準点の位置にドットを並べているだけであるが、これらのドットをキャリブレーション画像として用いた場合、全てのドットを撮像すれば、それらの撮像された基準点の配置順番によって、撮影画像基準位置の座標値と表示画像基準位置の座標値との対応関係が容易に認識できる。 In FIG. 19B, only dots are arranged at the positions of the reference points arranged in a grid pattern, but when these dots are used as a calibration image, if all the dots are imaged, those images are captured. The correspondence relationship between the coordinate value of the captured image reference position and the coordinate value of the display image reference position can be easily recognized by the arrangement order of the reference points.
なお、図示しないがシンボルの間隔は一定でなくてもよい。識別画像は、シンボルの配置パターンに基づいて識別することができる。 Although not shown, the symbol interval does not have to be constant. The identification image can be identified based on the symbol arrangement pattern.
撮影画像における位置と表示画像における位置との対応を示す位置対応関係を求めるために、図12で示したドットパターンを含む画像を画像表示部110の画面111に表示させてもよい。ドットパターンは、情報を表現する情報ドットを含む1以上のブロックを有している。各ブロックに含まれる情報ドットが表現する情報は、ブロックが表示される位置を含む情報を含んでいる。撮影画像に基づいて、撮影画像におけるあるブロックの位置を特定する。そのブロックに含まれる情報ドットが表現する情報からそのブロックが表示される位置を取得できる。この結果、そのブロックの撮影画像における位置と表示画像における位置との対応を示す位置対応関係を取得することができる。なお、ここで使用するドットパターンの配置精度(ドット間隔及びドットサイズ)は、表示画像及び撮像画像の解像度以内に収めることが当然であるが、所定の関数を作成する場合は、数mm前後〜数cm程度のドット間隔及び1mm前後〜数mm程度のドットサイズであることが望ましい。また、国際公開第2010/061584号で記載されたような補間計算によって高精度の変換テーブルを作成することもできる。
In order to obtain the position correspondence relationship indicating the correspondence between the position in the captured image and the position in the display image, an image including the dot pattern shown in FIG. 12 may be displayed on the
また、撮影画像における位置と表示画像における位置との対応を示す位置対応関係を求めるために、撮影された画像表示部110の画面111の輪郭の形を利用することができる。撮影画像に基づいて、撮影画像に含まれた画像表示部110の画面111の画像の輪郭の一部又は全部を特定する。特定した輪郭の一部又は全部に基づいて、撮影画像における位置と画像表示部の画面に表示される表示画像における位置との対応を示す位置対応関係を求めることができる。
In addition, in order to obtain a position correspondence indicating the correspondence between the position in the captured image and the position in the display image, the shape of the contour of the
1 ドットパターン
2 キードット
3 情報ドット
4 基準格子点ドット
5 仮想格子点
100,200,500 情報処理装置
110 画像表示部
111 画面
120 撮影手段
121 画像記憶手段
130 光学装置
140 筐体
141 撮影孔
142 筐体の上面
153,153a,153b,153c,153d 対象物
151 対象物の所定領域
161 画像解析部
162 制御部
163 記憶部
164 音声再生部
265 検知手段
1 dot
Claims (31)
前記一面の所定の位置に設けられ、該一面が向く方向を撮影する撮影手段と、
を備える情報処理装置であって、
前記画像表示部の少なくとも一部の画像が撮影されるよう光を前記撮影手段に導く光学装置が取り付けられ、
前記画像表示部の画面上に位置する対象物を含む画像、又は、画面上に位置する対象物と画面近傍に位置する対象物とを含む画像を前記撮影手段に撮影させ、
前記撮影させた撮影画像に基づいて前記対象物を特定する処理を行い、
前記情報処理装置には、複数の識別画像を含むキャリブレーション画像が記憶されており、
該キャリブレーション画像は、前記画像表示部の画面に表示画像として表示され、前記撮影手段により撮影されて撮影画像として記憶され、
前記複数の識別画像を用いて、前記撮影画像における所定の位置と前記表示画像における該所定の位置との対応関係を求め、該対応関係に基づいて、前記表示画像における前記対象物の位置情報を特定する
ことを特徴とする情報処理装置。 An image display unit arranged on one side;
An imaging unit that is provided at a predetermined position on the one surface and that captures a direction in which the one surface faces;
An information processing apparatus comprising:
An optical device that guides light to the photographing means so that at least a part of the image of the image display unit is photographed is attached;
An image including an object positioned on the screen of the image display unit, or an image including an object positioned on the screen and an object positioned in the vicinity of the screen;
Performing a process of identifying the object based on the captured image,
The information processing apparatus stores a calibration image including a plurality of identification images,
The calibration image is displayed as a display image on the screen of the image display unit, photographed by the photographing unit, and stored as a photographed image.
Using the plurality of identification images, a correspondence relationship between a predetermined position in the captured image and the predetermined position in the display image is obtained, and position information of the object in the display image is obtained based on the correspondence relationship. An information processing apparatus characterized by specifying .
前記撮影画像に基づいて該撮影画像に含まれた各識別画像を識別し、該識別した識別画像により指定される基準点の位置を示す撮影画像基準位置を特定し、Identifying each identification image included in the photographed image based on the photographed image, identifying a photographed image reference position indicating a position of a reference point designated by the identified identification image;
前記表示画像に含まれる識別画像から、該識別した識別画像と同一のものを特定して、該同一と特定された識別画像により指定される基準点の位置を示す表示画像基準位置を特定し、Identifying the same identification image as the identified identification image from the identification image included in the display image, identifying a display image reference position indicating the position of the reference point specified by the identification image identified as the same,
前記特定した撮影画像基準位置と、前記特定した表示画像基準位置との対応を示す基準対応関係を求め、Obtaining a reference correspondence relationship indicating correspondence between the specified captured image reference position and the specified display image reference position;
前記基準対応関係に基づいて、前記対応関係を求め、Based on the standard correspondence, the correspondence is obtained,
該対応関係と前記撮影画像に基づいて対象物の情報を特定することを特徴とする請求項1記載の情報処理装置。The information processing apparatus according to claim 1, wherein information on an object is specified based on the correspondence relationship and the captured image.
(X,Y)=F(x,y)(X, Y) = F (x, y)
で定義される、前記対応関係を決める関数F、又は前記対応関係を決めるテーブルを求めることを特徴とする請求項1又は請求項2に記載の情報処理装置。The information processing apparatus according to claim 1, wherein a function F for determining the correspondence relationship or a table for determining the correspondence relationship is obtained.
該識別画像は、矩形の辺の比に基づいて識別されることを特徴とする請求項4に記載の情報処理装置。The information processing apparatus according to claim 4, wherein the identification image is identified based on a ratio of rectangular sides.
前記一面の所定の位置に設けられ、該一面が向く方向を撮影する撮影手段と、An imaging unit that is provided at a predetermined position on the one surface and that captures a direction in which the one surface faces;
を備える情報処理装置であって、An information processing apparatus comprising:
前記画像表示部の少なくとも一部の画像が撮影されるよう光を前記撮影手段に導く光学装置が取り付けられ、An optical device that guides light to the photographing means so that at least a part of the image of the image display unit is photographed is attached;
前記画像表示部の画面上に位置する対象物を含む画像、又は、画面上に位置する対象物と画面近傍に位置する対象物とを含む画像を前記撮影手段に撮影させ、An image including an object positioned on the screen of the image display unit, or an image including an object positioned on the screen and an object positioned in the vicinity of the screen;
前記撮影させた撮影画像に基づいて前記対象物を特定する処理を行い、Performing a process of identifying the object based on the captured image,
前記撮影手段により撮影された撮影画像に基づいて、該撮影画像に含まれた前記画像表示部の画面の画像の輪郭の一部又は全部を特定し、Based on the photographed image photographed by the photographing means, specify part or all of the outline of the image on the screen of the image display unit included in the photographed image,
前記特定した輪郭の一部又は全部に基づいて、前記撮影手段により撮影される撮影画像における所定の位置と前記画像表示部の画面に表示される表示画像における該所定の位置との対応関係を求め、Based on a part or all of the specified contour, a correspondence relationship between a predetermined position in the captured image captured by the imaging unit and the predetermined position in the display image displayed on the screen of the image display unit is obtained. ,
該対応関係と前記撮影画像に基づいて、前記表示画像における対象物の位置情報を特定することを特徴とする情報処理装置。An information processing apparatus that identifies position information of an object in the display image based on the correspondence and the captured image.
特定した対象物の情報に基づいて処理することを特徴とする請求項1乃至請求項8のいずれか1項に記載の情報処理装置。 Based on the photographed image, the type of the object, the position of the object located on the screen of the image display unit, the direction of the object located on the screen, and the amount of movement of the object located on the screen Identifying at least one of the amount of rotation of the object located on the screen and the contour of the object located on the screen;
The information processing apparatus according to any one of claims 1 to 8, characterized in that the processing based on the information of the specified object.
前記撮影画像に含まれる該指標の画像に基づいて対象物を特定し、
該特定した対象物に基づいて処理することを特徴とする請求項1乃至請求項9のいずれか1項に記載の情報処理装置。 The object is provided with an index including at least one of a graphic, a mark, an arrangement of marks, and a pattern of an automatic recognition code,
Identifying an object based on the image of the index included in the captured image,
The information processing apparatus according to any one of claims 1 to 9, characterized in that the processing based on the object to the specified.
前記ドットパターンは、1以上の情報ドットを含む1以上のブロックを有し、
各ブロックに含まれる1以上の情報ドットで表現される情報は、前記対象物における該ブロックの位置情報及び/又はコード値を含んでいることを特徴とする請求項1乃至請求項11のいずれか1項に記載の情報処理装置。 The object is provided with a dot pattern,
The dot pattern has one or more blocks including one or more information dots,
Information represented by one or more information dots included in each block, any of claims 1 to 11, characterized in that it includes the location information and / or code value of the block in the object The information processing apparatus according to item 1.
特定した対象物の所定領域に基づいて、又は、特定した対象物の所定領域及び該指示体に基づいて処理することを特徴とする請求項1乃至請求項18のいずれか1項に記載の情報処理装置。 The indicator indicating the predetermined area of the object and the predetermined area of the object, or the indicator in contact with the predetermined area of the object and the predetermined area of the object are further specified based on the captured image. ,
The information according to any one of claims 1 to 18 , wherein processing is performed based on a predetermined area of the specified object, or based on the predetermined area of the specified object and the indicator. Processing equipment.
前記ドットパターンは、1以上の情報ドットを含む1以上のブロックを有し、
各ブロックに含まれる1以上の情報ドットで表現される情報は、前記対象物における該ブロックの位置情報を含んでおり、
前記撮影画像に基づいて前記所定領域を特定する際、前記対象物におけるブロックの位置情報に基づいて特定することを特徴とする請求項19に記載の情報処理装置。 The object is provided with a dot pattern,
The dot pattern has one or more blocks including one or more information dots,
Information expressed by one or more information dots included in each block includes position information of the block in the object,
The information processing apparatus according to claim 19 , wherein when the predetermined area is specified based on the captured image, the predetermined area is specified based on position information of a block in the object.
検知された該指示体の画面上の位置と特定された対象物の情報とに基づいて処理する、又は、検知された該指示体の画面上の位置と前記特定された対象物の情報とに基づいて該指示体が当接された対象物の所定領域を特定し、該特定した対象物の所定領域と前記特定された対象物の情報とに基づいて処理することを特徴とする請求項1乃至請求項20のいずれか1項に記載の情報処理装置。 The image display unit or a detection unit that detects a position on the screen of the indicator that is in contact with the object;
Based processing of the information detected the indicator position and the specific physical object on the screen, or, the information of the detected said indicator position and the identified object on the screen the pointer is specifying a predetermined region of the abutment physical object, characterized by processing based on the information of the identified object and the predetermined region of the specified target object on the basis of The information processing apparatus according to any one of claims 1 to 20 .
該動画に基づいて動作体の動作をさらに特定し、処理する際、該特定した動作体の動作にさらに基づくことを特徴とする請求項23に記載の情報処理装置。 A moving body video is shot by the shooting means,
The information processing apparatus according to claim 23 , wherein when the action of the operating body is further specified and processed based on the moving image, the action body is further based on the action of the specified operating body.
前記ドットパターンは、1以上の情報ドットを含む1以上のブロックを有し、
各ブロックに含まれる1以上の情報ドットで表現される情報は、該ブロックが表示される位置を含む情報を含んでいることを特徴とする請求項1乃至請求項27のいずれか1項に記載の情報処理装置。 An image including a dot pattern is displayed on the screen of the image display unit,
The dot pattern has one or more blocks including one or more information dots,
Information represented by one or more information dots included in each block according to any one of claims 1 to 27, characterized in that it contains information including the position in which the block is displayed Information processing device.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014187536A JP5756215B1 (en) | 2014-09-16 | 2014-09-16 | Information processing device |
PCT/JP2015/077225 WO2016043342A2 (en) | 2014-09-16 | 2015-09-16 | Information processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014187536A JP5756215B1 (en) | 2014-09-16 | 2014-09-16 | Information processing device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015108531A Division JP2016062589A (en) | 2015-05-28 | 2015-05-28 | Information processing unit, optical device, information processing system, program, and object used therewith |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5756215B1 true JP5756215B1 (en) | 2015-07-29 |
JP2016062144A JP2016062144A (en) | 2016-04-25 |
Family
ID=53759629
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014187536A Expired - Fee Related JP5756215B1 (en) | 2014-09-16 | 2014-09-16 | Information processing device |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5756215B1 (en) |
WO (1) | WO2016043342A2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6285980B2 (en) * | 2016-04-14 | 2018-02-28 | 株式会社ソニー・インタラクティブエンタテインメント | Processing apparatus and projection image generation method |
CN113038070B (en) * | 2019-12-25 | 2022-10-14 | 浙江宇视科技有限公司 | Equipment focusing method and device and cloud platform |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SG166092A1 (en) * | 2005-08-03 | 2010-11-29 | Grid Ip Pte Ltd | Information output device, medium and information input/output device |
JP2008501490A (en) * | 2006-08-02 | 2008-01-24 | 健治 吉田 | Information output device, medium, and information input / output device |
JP2008110206A (en) * | 2006-10-05 | 2008-05-15 | Kenji Yoshida | Information processing device |
CN103270479B (en) * | 2010-11-22 | 2017-05-24 | 株式会社Ip舍路信 | Information input system, program, medium |
JP2012208926A (en) * | 2011-03-15 | 2012-10-25 | Nikon Corp | Detection device, input device, projector and electronic apparatus |
JP5784721B2 (en) * | 2011-06-10 | 2015-09-24 | オリンパス株式会社 | attachment |
JP5325311B2 (en) * | 2012-03-23 | 2013-10-23 | 株式会社コナミデジタルエンタテインメント | GAME DEVICE, GAME DEVICE CONTROL METHOD, AND PROGRAM |
JP5294100B1 (en) * | 2012-07-02 | 2013-09-18 | 健治 吉田 | Dot pattern reading lens unit, figure with dot pattern reading lens unit mounted on pedestal, card placed on dot pattern reading lens unit, information processing apparatus, information processing system |
JP6294012B2 (en) * | 2012-07-02 | 2018-03-14 | グリッドマーク株式会社 | Lens unit |
JP5299547B1 (en) * | 2012-08-27 | 2013-09-25 | 富士ゼロックス株式会社 | Imaging device and mirror |
JP5583741B2 (en) * | 2012-12-04 | 2014-09-03 | 株式会社バンダイ | Portable terminal device, terminal program, and toy |
JP5939469B2 (en) * | 2013-02-20 | 2016-06-22 | 富士ゼロックス株式会社 | Browsing device and browsing system |
-
2014
- 2014-09-16 JP JP2014187536A patent/JP5756215B1/en not_active Expired - Fee Related
-
2015
- 2015-09-16 WO PCT/JP2015/077225 patent/WO2016043342A2/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2016043342A2 (en) | 2016-03-24 |
JP2016062144A (en) | 2016-04-25 |
WO2016043342A3 (en) | 2016-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101187500B1 (en) | Light projection device and illumination device | |
KR100953606B1 (en) | Image displaying apparatus, image displaying method, and command inputting method | |
JP5122641B2 (en) | Pointing device with camera and mark output | |
CN109416744A (en) | Improved camera calibration system, target and process | |
CN104166509B (en) | A kind of contactless screen exchange method and system | |
US20110304548A1 (en) | Mouse provided with a dot pattern reading function | |
JP2014102246A (en) | Position attitude detection system | |
US10326894B1 (en) | Self stabilizing projector | |
JP2007079993A (en) | Information output device | |
US20120212408A1 (en) | Image generation device, projector, and image generation method | |
JP5482522B2 (en) | Display control apparatus, display control method, and program | |
JP3690581B2 (en) | POSITION DETECTION DEVICE AND METHOD THEREFOR, PLAIN POSITION DETECTION DEVICE AND METHOD THEREOF | |
JP2016114963A (en) | Input operation detection device, projector device, electronic blackboard device, digital signage device, and projector system | |
JP6528964B2 (en) | INPUT OPERATION DETECTING DEVICE, IMAGE DISPLAY DEVICE, PROJECTOR DEVICE, PROJECTOR SYSTEM, AND INPUT OPERATION DETECTING METHOD | |
JP5756215B1 (en) | Information processing device | |
JP2005267257A (en) | Handwritten information input system | |
WO2005096130A1 (en) | Method and device for detecting directed position of image pickup device and program for detecting directed position of image pickup device | |
JP2014132478A (en) | Display control device, display control method, and program | |
JP2016062589A (en) | Information processing unit, optical device, information processing system, program, and object used therewith | |
JP4167453B2 (en) | Digitizer and coordinate recognition sheet | |
JP2000222098A (en) | Hand pointing device, instruction position displaying method and recording medium | |
US8963835B2 (en) | Method for displaying an item on a display unit | |
JP2004070023A (en) | Document presenting device | |
JP5533311B2 (en) | Exhibit information presentation device and presentation method | |
US20230239442A1 (en) | Projection device, display system, and display method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150428 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150528 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5756215 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |