JP6393114B2 - Information processing system, information processing program, information processing method, and imaging apparatus - Google Patents
Information processing system, information processing program, information processing method, and imaging apparatus Download PDFInfo
- Publication number
- JP6393114B2 JP6393114B2 JP2014171884A JP2014171884A JP6393114B2 JP 6393114 B2 JP6393114 B2 JP 6393114B2 JP 2014171884 A JP2014171884 A JP 2014171884A JP 2014171884 A JP2014171884 A JP 2014171884A JP 6393114 B2 JP6393114 B2 JP 6393114B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- mirror
- partial image
- image
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 130
- 230000010365 information processing Effects 0.000 title claims description 77
- 238000003672 processing method Methods 0.000 title claims description 9
- 238000009434 installation Methods 0.000 claims description 119
- 238000001514 detection method Methods 0.000 claims description 31
- 239000002131 composite material Substances 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 238000000034 method Methods 0.000 description 18
- 238000012545 processing Methods 0.000 description 15
- 230000003287 optical effect Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 11
- 230000001419 dependent effect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 239000003550 marker Substances 0.000 description 9
- 238000013500 data storage Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 239000011347 resin Substances 0.000 description 3
- 229920005989 resin Polymers 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Position Input By Displaying (AREA)
Description
この発明は情報処理システム、情報処理プログラム、情報処理方法および撮像装置に関し、特にたとえば、カメラおよび当該カメラに対向する位置にミラーを備える、情報処理システム、情報処理プログラム、情報処理方法および撮像装置に関する。 The present invention relates to an information processing system, an information processing program, an information processing method, and an imaging apparatus, and particularly relates to an information processing system, an information processing program, an information processing method, and an imaging apparatus that include a camera and a mirror at a position facing the camera. .
背景技術の一例が特許文献1に開示される。この特許文献1に開示される全方位3次元空間認識入力装置では、ミラー部とカメラ部で構成される光学系により全方位画像を撮像する撮像手段が設けられ、全方位のステレオ画像と、被写体の形状および構造を表す3次元座標値が抽出される。
An example of background art is disclosed in
しかし、この背景技術では、全方位のステレオ画像と、被写体の形状および構造を表す3次元座標値が抽出されるに留まっている。 However, in this background art, an omnidirectional stereo image and three-dimensional coordinate values representing the shape and structure of a subject are only extracted.
この発明の主たる目的は、新規な、情報処理システム、情報処理プログラム、情報処理方法および撮像装置を提供することである。 A main object of the present invention is to provide a novel information processing system, information processing program, information processing method, and imaging apparatus.
また、この発明の他の目的は、カメラ画像のうち、曲面ミラーに相当する部分画像と、曲面ミラーに相当しない部分画像を用いることにより新規な情報処理を実行可能な、情報処理システム、情報処理プログラム、情報処理方法および撮像装置を提供することである。 Another object of the present invention is to provide an information processing system and an information processing system capable of executing new information processing by using a partial image corresponding to a curved mirror and a partial image not corresponding to a curved mirror among camera images. A program, an information processing method, and an imaging apparatus are provided.
第1の発明の情報処理システムは、カメラ、ミラー、第1検出手段、および接触判定手段を備える。ミラーは、カメラに対向して設置される。第1検出手段は、カメラによって撮像されたカメラ画像のうち、ミラーに相当する第1部分画像と、第1部分画像に隣接し、ミラーに相当しない第2部分画像とに基づいて、当該カメラの周囲に存在する物体の位置を検出する。接触判定手段は、ミラー側を設置面に設置させるとき、第1部分画像における物体についての第1物体画像と、当該第1部分画像と第2部分画像の境界とが接触するかどうかで、物体が当該設置面と接触するかどうかを判定する。ミラー側を設置面に設置させるとき、当該設置面に平行な方向に当該設置面に沿って進行する光が当該ミラーの少なくとも一部で反射されるように、カメラとミラーとの位置関係および当該ミラーの形状が決定される。 An information processing system according to a first invention includes a camera, a mirror , a first detection unit , and a contact determination unit . The mirror is installed facing the camera. The first detection unit is configured to detect, based on the first partial image corresponding to the mirror, and the second partial image adjacent to the first partial image and not corresponding to the mirror among the camera images captured by the camera. Detects the position of surrounding objects. The contact determination means determines whether or not the first object image for the object in the first partial image and the boundary between the first partial image and the second partial image are in contact with each other when the mirror side is installed on the installation surface. It is determined whether or not is in contact with the installation surface. When installing the mirror side on the installation surface, the positional relationship between the camera and the mirror and the light so that light traveling along the installation surface in a direction parallel to the installation surface is reflected by at least a part of the mirror. The shape of the mirror is determined.
第1の発明によれば、カメラ画像のうち、ミラーに相当する第1部分画像とミラーに相当しない第2部分画像の境界がカメラを設置した設置面に相当するので、第2部分画像におけるオブジェクトが当該境界に接触しているかどうかに応じて、オブジェクトが設置面に接触しているかどうかを判定することができる。 According to the first invention, since the boundary between the first partial image corresponding to the mirror and the second partial image not corresponding to the mirror corresponds to the installation surface on which the camera is installed in the camera image, the object in the second partial image Whether the object is in contact with the installation surface can be determined according to whether the object is in contact with the boundary .
第2の発明は、第1の発明に従属し、第1検出手段は、第1部分画像における物体についての第1物体画像の第1位置と、第2部分画像における物体についての第2物体画像の第2位置に基づいて、物体の位置を検出する。 A second invention is dependent on the first invention, and the first detection means includes a first position of the first object image for the object in the first partial image and a second object image for the object in the second partial image. The position of the object is detected based on the second position.
第2の発明によれば、第1部分画像および第2部分画像に基づいて物体の位置を算出することができる。 According to the second aspect, the position of the object can be calculated based on the first partial image and the second partial image.
第3の発明は、第1の発明に従属し、第2検出手段をさらに備える。第2検出手段は、少なくとも、第1部分画像と第2部分画像の境界線と、当該第1部分画像における物体についての第1物体画像の第1位置関係を検出する。第1物体画像が境界線に接触している場合には、境界線に相当するカメラが設けられた面に物体が接触していることが分かる。第1検出手段は、第2検出手段によって検出された第1位置関係に応じて、物体の位置を検出する。つまり、物体がカメラの設けられた面に接触している場合には、高さを0として、第2部分画像の第2位置に基づいてカメラの設けられた面における2次元座標が算出される。また、物体がカメラの設けられた面に接触していない場合には、第1部分画像および第2部分画像に基づいて物体の3次元位置が算出される。 A third invention is dependent on the first invention and further comprises a second detection means. The second detection means detects at least a boundary between the first partial image and the second partial image and a first positional relationship of the first object image with respect to an object in the first partial image. When the first object image is in contact with the boundary line, it can be seen that the object is in contact with the surface provided with the camera corresponding to the boundary line. The first detection means detects the position of the object according to the first positional relationship detected by the second detection means. That is, when the object is in contact with the surface on which the camera is provided, the height is set to 0, and the two-dimensional coordinates on the surface on which the camera is provided are calculated based on the second position of the second partial image. . When the object is not in contact with the surface on which the camera is provided, the three-dimensional position of the object is calculated based on the first partial image and the second partial image.
第3の発明によれば、物体がカメラの設けられた面に接触しているかどうかに応じて、適切な方法で物体の位置を算出することができる。 According to the third aspect, the position of the object can be calculated by an appropriate method depending on whether the object is in contact with the surface on which the camera is provided.
第4の発明は、第3の発明に従属し、第2検出手段は、第1部分画像の基準位置と第2部分画像における物体についての第2物体画像の第2位置関係をさらに検出する。また、第1検出手段は、第2検出手段によって検出された第1位置関係と第2位置関係に基づいて、物体の位置を検出する。 A fourth invention is dependent on the third invention, and the second detection unit further detects a second positional relationship between the reference position of the first partial image and the second object image with respect to the object in the second partial image. The first detection unit detects the position of the object based on the first positional relationship and the second positional relationship detected by the second detection unit.
第4の発明によれば、第2位置関係をさらに検出するので、適切な方法で物体の位置を算出することができる。 According to the fourth aspect, since the second positional relationship is further detected, the position of the object can be calculated by an appropriate method.
第5の発明は、第4の発明に従属し、第1検出手段は、第1位置関係が境界線に第1物体画像が接触していることを示すかどうかと、第2位置関係に基づいて、物体の位置を検出する。 A fifth invention is dependent on the fourth invention, and the first detection means is based on whether the first positional relationship indicates that the first object image is in contact with the boundary line and on the second positional relationship. The position of the object is detected.
第5の発明によれば、物体が境界線に相当するカメラが設置された面に接触しているかどうかに応じて、適切な方法で物体の位置を算出することができる。 According to the fifth aspect, the position of the object can be calculated by an appropriate method depending on whether the object is in contact with the surface on which the camera corresponding to the boundary line is installed.
第6の発明は、第1の発明に従属し、第3検出手段をさらに備える。第3検出手段は、カメラ画像のうち、第1部分画像の基準位置を通る直線上における、当該第1部分画像における物体についての第1物体画像の第1位置および第2部分画像における物体についての第2物体画像の第2位置を検出する。第1検出手段は、第3検出手段によって検出された第1位置と第2位置に基づいて、物体の位置を検出する。 A sixth invention is dependent on the first invention, and further includes third detection means. The third detecting means is a first position of the first object image for an object in the first partial image and an object in the second partial image on a straight line passing through the reference position of the first partial image in the camera image. A second position of the second object image is detected. The first detection means detects the position of the object based on the first position and the second position detected by the third detection means.
第6の発明によれば、第1部分画像と第2部分画像とに基づいて、物体の位置を算出することができる。 According to the sixth aspect, the position of the object can be calculated based on the first partial image and the second partial image.
第7の発明は、第1ないし第6の発明のいずれかに従属し、カメラの画角は180度である。 The seventh invention is dependent on any one of the first to sixth inventions, and the angle of view of the camera is 180 degrees.
第7の発明によれば、カメラの光軸に対して垂直な方向を撮影することができる。 According to the seventh aspect , it is possible to photograph a direction perpendicular to the optical axis of the camera.
第8の発明は、第1ないし第7の発明のいずれかに従属し、カメラは周囲の360度を撮影可能である。 The eighth invention is dependent on any one of the first to seventh inventions, and the camera can photograph 360 degrees around the camera.
第8の発明によれば、カメラの周囲に存在する物体を撮影可能である。 According to the eighth aspect , it is possible to photograph an object existing around the camera.
第9の発明は、第1ないし第8の発明のいずれかに従属し、第1部分画像および第2部分画像の両方にカメラの周囲に存在する物体の画像が含まれるように、当該カメラとミラーの相対的な位置関係および当該ミラーの形状が決定される。 A ninth invention is dependent on any one of the first to eighth inventions, and the first partial image and the second partial image include the camera so that an image of an object existing around the camera is included. The relative positional relationship of the mirror and the shape of the mirror are determined.
第9の発明によれば、第1部分画像および第2部分画像に基づいて、物体の位置を検出することができる。 According to the ninth aspect , the position of the object can be detected based on the first partial image and the second partial image.
第10の発明は、第1ないし第9の発明のいずれかに従属し、ミラーは曲面を有する。 A tenth invention is dependent on any one of the first to ninth inventions, and the mirror has a curved surface.
第10の発明によれば、第1部分画像にもカメラの周囲の画像を含めることができる。 According to the tenth aspect , an image around the camera can also be included in the first partial image.
第11の発明は、第10の発明に従属し、曲面はカメラ側に突出する双曲面、円錐面、楕円面またはこれらのいずれか2つの複合面である。 An eleventh invention is according to the tenth invention, and the curved surface is a hyperboloid, a conical surface, an elliptical surface, or a composite surface of any two of these protruding toward the camera.
第11の発明によれば、用途に応じた曲面のミラーを用いることができる。 According to the eleventh aspect , a curved mirror can be used according to the application.
第12の発明は、第1ないし第11の発明のいずれかに従属し、カメラとミラーを含む撮像装置は携帯型である。 A twelfth invention is dependent on any one of the first to eleventh inventions, and the imaging device including the camera and the mirror is portable.
第12の発明によれば、撮像装置を任意の設置面に設置して物体の位置を検出することができる。 According to the twelfth aspect, the position of the object can be detected by installing the imaging device on an arbitrary installation surface.
第13の発明は、第1ないし第12の発明のいずれかに従属し、カメラとミラーを含む撮像装置は円筒形状に形成される。 A thirteenth invention is dependent on any one of the first to twelfth inventions, and the imaging device including the camera and the mirror is formed in a cylindrical shape.
第13の発明によれば、撮像装置自体の形状に起因して画像を補正する処理が不要である。 According to the thirteenth aspect , processing for correcting an image due to the shape of the imaging device itself is unnecessary.
第14の発明は、第1ないし第13の発明のいずれかに従属し、ミラーは曲面ミラーであり、第1検出手段は、第1部分画像を所定のアルゴリズムで補正した画像と、第2部分画像とに基づいて、物体の位置を検出する。 A fourteenth invention is according to any one of the first to thirteenth inventions, wherein the mirror is a curved mirror, and the first detection means includes an image obtained by correcting the first partial image with a predetermined algorithm, and the second portion. The position of the object is detected based on the image.
第14の発明によれば、曲面ミラーによる画像の歪みを補正するので、歪みによる誤差を低減または無くして物体の位置を検出することができる。 According to the fourteenth aspect , since the distortion of the image by the curved mirror is corrected, the position of the object can be detected without reducing or eliminating the error due to the distortion.
第15の発明は、カメラ、およびカメラに対向して設置されるミラーを備える情報処理システムのコンピュータで実行される情報処理プログラムであって、情報処理システムのミラー側を設置面に設置させるとき、当該設置面に平行な方向に当該設置面に沿って進行する光が当該ミラーの少なくとも一部で反射されるように、カメラとミラーとの位置関係および当該ミラーの形状が決定され、コンピュータを、カメラによって撮像されたカメラ画像のうち、ミラーに相当する第1部分画像と、第1部分画像に隣接し、ミラーに相当しない第2部分画像とに基づいて、当該カメラの周囲に存在する物体の位置を検出する検出手段、および情報処理システムのミラー側を設置面に設置させるとき、第1部分画像における物体についての第1物体画像と、当該第1部分画像と第2部分画像の境界とが接触するかどうかで、物体が当該設置面と接触するかどうかを判定する接触判定手段として機能させる、情報処理プログラムである。 A fifteenth aspect of the invention is an information processing program executed by a computer of an information processing system including a camera and a mirror that is installed facing the camera, and when the mirror side of the information processing system is installed on the installation surface, The positional relationship between the camera and the mirror and the shape of the mirror are determined so that light traveling along the installation surface in a direction parallel to the installation surface is reflected by at least a part of the mirror, and the computer is Of the camera images captured by the camera, based on the first partial image corresponding to the mirror and the second partial image adjacent to the first partial image and not corresponding to the mirror, an object existing around the camera is displayed. detecting means for detecting a position, and when to set up the mirror side of the information processing system to the installation surface, the first object image for the object in the first partial image If, on whether the boundary of the first partial image and the second partial image are in contact, the object is to function as a contact determination means for determining whether or not to contact with the installation surface, an information processing program.
第15の発明においても、第1の発明と同様に、第2部分画像におけるオブジェクトが当該境界に接触しているかどうかに応じて、オブジェクトが設置面に接触しているかどうかを判定することができる。 In the fifteenth invention, as in the first invention, it can be determined whether the object is in contact with the installation surface according to whether the object in the second partial image is in contact with the boundary. .
第16の発明は、カメラ、およびカメラに対向して設置されるミラーを備える情報処理システムの情報処理方法であって、情報処理システムのミラー側を設置面に設置させるとき、当該設置面に平行な方向に当該設置面に沿って進行する光が当該ミラーの少なくとも一部で反射されるように、カメラとミラーとの位置関係および当該ミラーの形状が決定され、(a)カメラによって撮像されたカメラ画像のうち、ミラーに相当する第1部分画像と、第1部分画像に隣接し、ミラーに相当しない第2部分画像とに基づいて、当該カメラの周囲に存在する物体の位置を検出するステップと、(b)情報処理システムのミラー側を設置面に設置させるとき、第1部分画像における物体についての第1物体画像と、当該第1部分画像と第2部分画像の境界とが接触するかどうかで、物体が当該設置面と接触するかどうかを判定するステップを含む、情報処理方法である。 A sixteenth aspect of the invention is an information processing method for an information processing system including a camera and a mirror that is installed opposite to the camera, and is parallel to the installation surface when the mirror side of the information processing system is installed on the installation surface. The positional relationship between the camera and the mirror and the shape of the mirror are determined so that the light traveling along the installation surface in any direction is reflected by at least a part of the mirror, and (a) the image is captured by the camera A step of detecting a position of an object existing around the camera based on a first partial image corresponding to a mirror and a second partial image adjacent to the first partial image and not corresponding to a mirror among the camera images. If, (b) when is installed mirror side of the information processing system to the installation surface, and a first object image of the object in the first partial image, of the first partial image and the second partial image On whether the field Metropolitan contacting includes determining whether an object is in contact with the installation surface, an information processing method.
第16の発明においても、第1の発明と同様に、第2部分画像におけるオブジェクトが当該境界に接触しているかどうかに応じて、オブジェクトが設置面に接触しているかどうかを判定することができる。 In the sixteenth invention, as in the first invention, it can be determined whether the object is in contact with the installation surface according to whether the object in the second partial image is in contact with the boundary. .
第17の発明は、カメラ、カメラに対向して設置されるミラー、およびカメラによって撮影されたカメラ画像に基づいて、当該カメラの周囲に存在する物体が所定の面に接触しているかどうかを判定する接触判定手段を備え、カメラによって撮像されたカメラ画像が、ミラーに相当する第1部分画像と、第1部分画像に隣接し、ミラーに相当しない第2部分画像を含むように、カメラとミラーとを配置し、ミラー側を所定の面に設置させるとき、当該所定の面に平行な方向に当該所定の面に沿って進行する光が当該ミラーの少なくとも一部で反射されるように、カメラとミラーとの位置関係および当該ミラーの形状が決定され、接触判定手段は、ミラー側を所定の面に設置させるとき、第1部分画像における物体についての第1物体画像と、当該第1部分画像と第2部分画像の境界とが接触するかどうかで、物体が当該所定の面と接触するかどうかを判定する、情報処理システムである。 In a seventeenth aspect, based on a camera, a mirror installed facing the camera, and a camera image taken by the camera, it is determined whether an object existing around the camera is in contact with a predetermined surface. The camera and the mirror so that the camera image captured by the camera includes a first partial image corresponding to the mirror and a second partial image adjacent to the first partial image and not corresponding to the mirror. So that the light traveling along the predetermined surface in a direction parallel to the predetermined surface is reflected by at least a part of the mirror when the mirror side is installed on the predetermined surface. A positional relationship between the mirror and the shape of the mirror is determined, and when the contact determination unit sets the mirror side on a predetermined surface, the first object image of the object in the first partial image; On whether the boundary of the first partial image and the second partial image are in contact, the object determines whether contact with the predetermined surface, an information processing system.
第17の発明によれば、物体が所定の面に接触したかどうかを容易に判定することができる。 According to the seventeenth aspect, it is possible to easily determine whether or not an object has contacted a predetermined surface.
第18の発明は、周囲の360度を撮影可能な広角カメラ、広角カメラに対向して配置され、所定の面に平行であり、当該所定の面に沿って進行する光線方向となる形状に形成されたミラー、および広角カメラによって撮影されたカメラ画像に基づいて、当該広角カメラの周囲に存在する物体が所定の面に接触しているかどうかを判定する接触判定手段を備え、広角カメラによってミラーに相当する第1部分画像と、当該第1部分画像に隣接し、ミラーに相当しない第2部分画像を含むカメラ画像を撮影可能に、広角カメラとミラーを配置し、接触判定手段は、ミラー側を所定の面に設置させるとき、第1部分画像における物体についての第1物体画像と、当該第1部分画像と第2部分画像の境界とが接触するかどうかで、物体が当該所定の面と接触するかどうかを判定する、撮像装置である。 An eighteenth invention is around 360 degrees enable photographing a wide-angle camera, disposed opposite the wide angle camera is parallel to the predetermined plane, the shape becomes a ray traveling direction along the predetermined plane Based on the formed mirror and a camera image taken by the wide-angle camera, a contact determination unit that determines whether an object existing around the wide-angle camera is in contact with a predetermined surface is provided. a first partial image corresponding to, the first portion adjacent to the image, to take pictures of the camera image containing the second partial image that does not correspond to the mirror, arranged wide-angle camera and a mirror, the contact determination means, a mirror-side Is placed on a predetermined surface, the object is determined by whether the first object image of the object in the first partial image is in contact with the boundary between the first partial image and the second partial image. It determines whether contact with an imaging device.
第18の発明によれば、物体が所定の面に接触したかどうかを簡単に判定できるカメラ画像を撮影することができる。 According to the eighteenth aspect, it is possible to capture a camera image that can easily determine whether or not an object has touched a predetermined surface.
この発明によれば、カメラ画像のうち、ミラーに相当する第1部分画像とミラーに相当しない第2部分画像の境界がカメラを設置した設置面に相当するので、第2部分画像におけるオブジェクトが当該境界に接触しているかどうかに応じて、オブジェクトが設置面に接触しているかどうかを判定することができる。 According to this invention, in the camera image, the boundary between the first partial image corresponding to the mirror and the second partial image not corresponding to the mirror corresponds to the installation surface on which the camera is installed. Whether the object is in contact with the installation surface can be determined according to whether the object is in contact with the boundary .
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施形態の詳細な説明から一層明らかとなろう。 The above object, other objects, features, and advantages of the present invention will become more apparent from the following detailed description of embodiments with reference to the drawings.
図1を参照して、この発明の一実施例である情報処理システム10は、撮像装置12およびコンピュータ14を含み、撮像装置12およびコンピュータ14は無線通信可能に接続される。ただし、撮像装置12とコンピュータ14は、有線により通信可能に接続されてもよい。
Referring to FIG. 1, an
図2からも分かるように、撮像装置12は、カメラユニット12a、ミラー部12bおよびこれらを固定する固定部材12cによって構成され、カメラユニット12aおよびミラー部12bによって両端部が閉じられた円筒形状に形成される。
As can be seen from FIG. 2, the
カメラユニット12aは、上面視で円形に形成され、CCDやCMOSのような撮像素子を用いたカメラ20を含む。カメラ20は、後述するように、撮像処理および通信処理を行う電子部品と電気的に接続され、このような電子部品などがカメラユニット12aの筐体内に収納される。ミラー部12bは、上面視で円形に形成され、曲面ミラー30および当該曲面ミラー30を固定する固定部材32を含む。曲面ミラー30は、上面視で円形に形成され、カメラ20に対向して設けられる。また、曲面ミラー30は、カメラ20側に突出する凸面(この実施例では、双曲面)を有している。固定部材12cは、円筒形状であり、透明の樹脂またはガラスで形成される。固定部材12cの高さ(長さ)は、所定の長さに決定される。後述するように、撮像装置12を所定の面上に置いた場合に、当該所定の面に平行な光線方向で当該所定の面に沿って進む光が曲面ミラー30の端部で反射されるように、カメラ20と曲面ミラー30との位置関係および曲面ミラー30の形状(面の形状)が決定される。したがって、このような位置関係となるように、固定部材12cの高さが決定される。ただし、曲面ミラー30で反射された光は、カメラ20の広角レンズ22を介して撮像素子に入射される。
The
図3は、カメラユニット12aの電気的な構成を示すブロック図である。カメラユニット12aは、CPU100を含み、CPU100は、内部バス102を介して、上述したカメラ20に接続されるとともに、ROM104、RAM106および通信モジュール108に接続される。
FIG. 3 is a block diagram showing an electrical configuration of the
CPU100は、カメラユニット12aの全体的な制御を司る。ROM104には、カメラユニット12aの制御プログラムが記憶される。RAM106は、CPU100のワーク領域およびバッファ領域として使用される。通信モジュール108は、たとえば、無線LANに接続する機能を有する。したがって、撮像装置12は、外部のコンピュータ(この実施例では、コンピュータ14)と直接またはネットワークを介して通信することができる。
The
図1に戻って、コンピュータ14は、汎用のパーソナルコンピュータやサーバ等であり、この実施例では、撮像装置12のホストコンピュータとして機能する。詳細な説明は省略するが、コンピュータ14は、CPU14aおよびRAM14bとともに、通信モジュールやHDDなどのコンポーネントを備えている。
Returning to FIG. 1, the
たとえば、撮像装置12は、机上や壁面(白板などを含む)のような所定の面上に載置ないし設置され、コンピュータ14は、撮像装置12の周囲に存在する物体(オブジェクト)の位置を算出(検出)する。この実施例では、ユーザの指が所定の面に接触(タッチ)しているかどうかを判定し、当該指の位置(現実空間における3次元位置)を算出するようにしてある。
For example, the
なお、この実施例では、撮像装置12の周囲に存在するオブジェクトの位置を算出するようにしてあるが、単に、撮像装置12の周囲に存在するオブジェクトが所定の面に接触しているかどうか、撮像装置12の周囲にオブジェクトが存在するかどうかを判断することもできる。
In this embodiment, the position of the object existing around the
図4(A)は撮像装置12が或る設置面に設置された場合にカメラ20の広角レンズ22に入射される光(光線)の光路の一部を示す。この実施例では、カメラ20の画角は180度に設定される。したがって、光路L1で示すように、カメラ20の光軸に対して垂直な光も広角レンズ22を介して撮像素子に入射される。また、曲面ミラー30で反射された光も広角レンズ22を介して撮像素子に入射される。この実施例では、曲面ミラー30は、上述したように、カメラ20側に突出した双曲面を有し、設置面に平行であり、この設置面に沿って進む光も広角レンズ22を介して撮像素子に入射可能な形状にされる。ただし、光路L2で示すように、設置面に平行であり、この設置面に沿って進む光は、曲面ミラー30の端部(最外周)で反射される。
FIG. 4A shows a part of an optical path of light (light beam) incident on the wide-
したがって、カメラ20で撮影される撮影画像のうち、曲面ミラー30に相当する部分の部分画像C1(図4(B)参照)には、その中央にカメラ20自体が写り、中央から曲面ミラー30の端部まで、撮像装置12の周囲の環境が写る。撮像装置12の周囲とは、円筒の側面方向についての全方位(360度の方位)を意味する。以下、同様である。また、曲面ミラー30以外の部分に相当する部分画像C2(図4(B)参照)には、曲面ミラー30の固定部材32と、撮像装置12の周囲(円筒の側面方向)の環境が写る。
Therefore, in the captured image captured by the
カメラ20は、広角レンズ22を有し、この広角レンズ22によって撮像素子(イメージセンサ)に被写体像を結像させる。撮像素子は、結像された被写体像に対応する光学像を電気信号に変換し、これによって、撮像画像信号が得られる。撮像画像信号に対してA/D変換、YUV変換、ガンマ補正、色補正などの所定の画像処理が施され、これによって撮影画像に対応する撮影画像データが生成される。この撮影画像データがカメラ20からCPU100に与えられ、CPU100は撮影画像データをRAM106に一時記憶した後、通信モジュール108を用いてコンピュータ14に送信する。
The
図4(B)は、図4(A)に示す撮像装置12に設けられるカメラ20の撮影画像(カメラ画像)の一例を示す。撮影画像は、二重の円で示される円形の画像を含む。撮影画像のうち、円形の部分画像C1は曲面ミラー30の部分についての画像(ミラー画像)であり、部分画像C1に隣接し、この部分画像C1を囲む、ドーナツ状の部分画像C2は曲面ミラー30以外の部分についての画像である。つまり、部分画像C2は、曲面ミラー30で反射された被写体像ではなく、カメラ20で直接的に撮影された被写体像についての画像である。
FIG. 4B illustrates an example of a captured image (camera image) of the
このように、この実施例の撮像装置12は、部分画像C1および部分画像C2の両方に、撮像装置12の周囲に存在するオブジェクトの画像が含まれるように(図2、図5(A)、(B)参照)、カメラ20と曲面ミラー30の位置関係および曲面ミラー30の形状が決定される。
As described above, in the
なお、図4(B)では、簡単のため、部分画像C1および部分画像C2の具体的な内容については省略してある。実際には、撮像装置12が配置される部屋に存在する物(たとえば、机、壁、扉)および人間などが撮影され、その撮影された画像が表示される。これらのことは、後述する他の撮影画像についても同様である。
In FIG. 4B, specific contents of the partial image C1 and the partial image C2 are omitted for simplicity. Actually, an object (for example, a desk, a wall, a door) and a person existing in a room where the
また、撮影画像において、部分画像C2よりも大きい四角枠は、カメラ20の撮像素子の撮像面の全範囲に相当する。また、撮影画像の全範囲のうち、この実施例の撮像装置12に設けられるカメラ20で撮影されない範囲(画角を超える範囲)については黒色となるが、図面では斜線を付して示してある。他の図面においては、撮影画像のうち、黒色となる範囲については省略することにする。
In the captured image, a square frame larger than the partial image C2 corresponds to the entire range of the imaging surface of the imaging element of the
この実施例では、部分画像C1および部分画像C2を用いることにより、撮像装置12の周囲に存在するオブジェクト(たとえば、ユーザの指)が、この撮像装置12を設置している設置面に接触(タッチ)しているかどうかを判定するとともに、オブジェクトの位置(現実空間における3次元位置)を算出することができる。ただし、オブジェクトの位置は、撮像装置12が設置されている設置面上の所定の位置を基準にして算出されたローカル座標系の3次元位置である(図6(A)、図7(A)参照)。たとえば、基準となる所定の位置は、カメラ20の光軸と設置面の交点に設定されるが、これに限定される必要はない。ただし、カメラ20の光軸と設置面の交点を基準にすると、オブジェクトの3次元位置の算出が比較的簡単である。また、ローカル座標系のX軸およびY軸の向きは、カメラ20の撮影面(撮像素子)のX軸(横)およびY軸(縦)の向きとそれぞれ一致される。
In this embodiment, by using the partial image C1 and the partial image C2, an object (for example, a user's finger) existing around the
図5(A)は、ユーザが指で、撮像装置12を設置した面をタッチした場合(タッチ時)の撮影画像の一例であり、図5(B)は、ユーザが指で、撮像装置12を設置した面をタッチしていない場合(非タッチ時)の撮影画像の一例である。ただし、図5(A)および図5(B)においては、部分画像C1内の指の画像は一部のみを示してある。
5A is an example of a captured image when the user touches the surface on which the
図5(A)に示すように、タッチ時では、部分画像C1に表示される指の画像が曲面ミラー30の画像の端部に触れている。また、図5(B)に示すように、非タッチ時では、部分画像C1に表示される指の画像が曲面ミラー30の画像の端部から離れている。これは、上述したように、設置面と平行であり、この設置面に沿って進行する光が曲面ミラー30の端部で反射され、広角レンズ22を介して撮像素子に入射されるからである。
As shown in FIG. 5A, at the time of touching, the finger image displayed in the partial image C1 touches the end of the
次に、タッチ時および非タッチ時のそれぞれについて、ローカル座標系の3次元位置を算出方法について説明する。たとえば、ローカル座標系のXY平面は、撮像装置12を設置した設置面に設定され、その中心は撮影画像の中心すなわちカメラ20の光軸と設置面との交点に設定される。また、撮影画像の横方向がX軸に設定され、撮影画像の縦方向がY軸に設定される。そして、XY平面に対して垂直な方向にZ軸が設定される。
Next, a method for calculating the three-dimensional position of the local coordinate system for each of touching and non-touching will be described. For example, the XY plane of the local coordinate system is set to the installation surface on which the
図6(A)および図6(B)は、撮像装置12の設置面をタッチしている場合(タッチ時)の部分画像C1および部分画像C2に設定されたローカル座標系および部分画像C1内のオブジェクトの画像(オブジェクト画像)の位置Uおよび部分画像C2内のオブジェクト画像の位置Tを示す。ただし、オブジェクト画像の位置は、撮像装置12の設置面に、接触している位置または最も接近している位置であり、具体的には、指先に相当する位置である。
6A and 6B show the local coordinate system set in the partial image C1 and the partial image C2 when the installation surface of the
ここでは、簡単のため、オブジェクト画像の位置Uおよび位置TがX軸上である場合について説明する。ただし、位置Uおよび位置TがX軸上に無い場合には、設置面(XY平面)上の2次元座標については、X軸を基準として、X軸と位置Uおよび位置Tを通る直線とがなす角度(局座標の回転角)θを用いて表される。後述する図7(A)、(B)についても同様である。 Here, for simplicity, the case where the position U and the position T of the object image are on the X axis will be described. However, when the position U and the position T are not on the X axis, the two-dimensional coordinates on the installation surface (XY plane) are based on the X axis and the straight line passing through the position U and the position T. It is expressed using an angle (rotation angle of local coordinates) θ. The same applies to FIGS. 7A and 7B described later.
また、ここでは、カメラ20の広角レンズ22に歪みが無いと仮定し、双曲面の曲面ミラー30に代えて円錐面の曲面ミラー30が設けられているものと仮定する。また、撮像装置12の設置面と、曲面ミラー30の端(最外周)の高さが同じであると仮定する。後述する図7(A)、(B)についても同様である。なお、実際には、広角レンズ22や曲面ミラー30の歪みによって、撮影画像にも歪みが発生しているため、この歪みが補正された後に、3次元位置が算出される。ただし、3次元位置の算出を行うときに、歪み補正も行うようにしてもよい。したがって、歪みによる誤差を低減または無くして、オブジェクトの3次元位置を検出することができる。
Here, it is assumed that the wide-
図6(A)に示すように、部分画像C1内のオブジェクト画像(位置U)が部分画像C1の端部に接触している場合には、上述したように、ユーザが指で設置面をタッチしていることが判定される。したがって、この場合には、オブジェクトのローカル座標系における高さ(Z座標)は0(z=0)である。 As shown in FIG. 6A, when the object image (position U) in the partial image C1 is in contact with the end of the partial image C1, the user touches the installation surface with a finger as described above. It is determined that Therefore, in this case, the height (Z coordinate) of the object in the local coordinate system is 0 (z = 0).
この場合、ローカル座標系における3次元座標は、数1に従って算出される。ただし、上述したように、設置面をユーザが指でタッチしているため、Z座標は算出する必要はない。また、図6(A)に示すように、ローカル座標系の原点(中心)から部分画像C2におけるオブジェクト画像の位置Tまでの長さをr(ピクセル)とし、中心から部分画像C2の外周までの長さをR(ピクセル)とする。また、図6(B)に示すように、カメラ20の画角をαとし、画角αの基点である点Mから設置面までの距離(固定の長さ(高さ))h(mm)としてある。実際のオブジェクトの位置Tまでの距離p(mm)が算出され、これを用いてオブジェクトの3次元位置が算出される。
In this case, the three-dimensional coordinates in the local coordinate system are calculated according to
ただし、上述したように、この実施例のカメラ20の画角αは180度であるが、これをそのまま使用すると、数1においては、距離p(mm)が無限大になってしまうため、たとえば、αは179度またはこの近傍の値(180度未満の値)に設定される。ただし、撮像装置12が設置された設置面の範囲内だけでオブジェクトの位置を算出する場合には、この設置面の大きさ(たとえば、机の広さ)に応じてαの値を適宜設定してもよい。したがって、画角αは180度に限定される必要はない。
However, as described above, the angle of view α of the
図7(A)に示すように、部分画像C1内のオブジェクト画像(位置U)が部分画像C1の端部に接触していない場合には、上述したように、ユーザが指で設置面をタッチしていないことが判定される。この場合には、図7(A)および図7(B)に示すように、実際の(現実空間における)オブジェクトの位置Tよりも中心から離れているように写る。かかる場合には、数2に従ってオブジェクトの3次元位置が算出される。ただし、部分画像C1の半径(中心からミラー画像の端部までの距離)をb(ピクセル)とし、部分画像C1におけるオブジェクト画像の位置Uと部分画像C1の端部の距離をa(ピクセル)とする。また、曲面ミラー30の高さをd(mm)とし、部分画像C1における中心から部分画像C2における見かけのオブジェクト画像の位置T´までの距離をr´(ピクセル)とし、そして、部分画像C1における中心から部分画像C2における見かけのオブジェクト画像の位置T´までの距離をp´(mm)としてある。
As shown in FIG. 7A, when the object image (position U) in the partial image C1 is not in contact with the end of the partial image C1, the user touches the installation surface with a finger as described above. It is determined that it is not. In this case, as shown in FIGS. 7 (A) and 7 (B), the image appears to be farther from the center than the actual position T of the object (in real space). In such a case, the three-dimensional position of the object is calculated according to
このように、オブジェクトが撮像装置12の設置面に接触している場合と接触していない場合とで、当該オブジェクトのローカル座標系における3次元位置の算出方法が異なる。この実施例では、このような算出処理は、撮像装置12からの撮影画像データを受信したコンピュータ14で実行される。
Thus, the method of calculating the three-dimensional position of the object in the local coordinate system differs depending on whether the object is in contact with the installation surface of the
なお、撮影命令は、コンピュータ14から撮像装置12に与えられ、これに応じて、撮像装置12は撮影処理を実行し、撮影画像に対応する撮影画像データをコンピュータ14に送信する。また、コンピュータ14からの撮影命令によらず、撮像装置12において所定時間毎に撮影処理を実行し、撮影画像に対応する撮影画像データをコンピュータ14に送信してもよい。
The imaging command is given from the
また、この実施例では、部分画像C1(撮影画像)の中心を基準位置として、ローカル座標系におけるオブジェクトの3次元座標を算出するようにしてあるが、基準位置は部分画像Cの外周上の点、すなわち部分画像C1と部分画像C2の境界上の点であってもよい。このとき、部分画像C1の外周上の点のうち、オブジェクト画像の位置Uと最短距離となる点の位置が基準位置となる。また、同様に、部分画像C1に含まれるカメラ20自体の画像の外周上の点の位置が基準位置に設定されてもよい。
In this embodiment, the three-dimensional coordinates of the object in the local coordinate system are calculated using the center of the partial image C1 (captured image) as a reference position, but the reference position is a point on the outer periphery of the partial image C. That is, it may be a point on the boundary between the partial image C1 and the partial image C2. At this time, among the points on the outer periphery of the partial image C1, the position of the point having the shortest distance from the position U of the object image is the reference position. Similarly, the position of a point on the outer periphery of the image of the
図8は図1に示したコンピュータ14に内蔵されるRAM14bのメモリマップ300の一例を示す。図8に示すように、RAM14bは、プログラム記憶領域302およびデータ記憶領域304を含む。
FIG. 8 shows an example of the memory map 300 of the
プログラム記憶領域302には、情報処理プログラムが記憶され、情報処理プログラムは、通信プログラム302a、画像取得プログラム302b、歪み補正プログラム302c、接触判定プログラム302dおよび位置検出プログラム302eなどを含む。
An information processing program is stored in the
通信プログラム302aは、撮像装置12や他のコンピュータと通信するためのプログラムである。画像取得プログラム302bは、撮像装置12から送信される撮影画像データを受信して、データ記憶領域304に記憶するためのプログラムである。
The communication program 302a is a program for communicating with the
歪み補正プログラム302cは、撮影画像の歪みを補正するためのプログラムである。広角レンズ22による歪みや曲面ミラー30による歪みを補正する処理であり、画素の位置が補正される。補正するための係数は、画素単位で、使用する広角レンズ22および曲面ミラー30に応じて予め試験等により経験的に得られている。
The distortion correction program 302c is a program for correcting distortion of a captured image. This process corrects distortion caused by the wide-
接触判定プログラム302dは、オブジェクトが撮像装置12の設置面に接触しているかどうかを判定するためのプログラムである。なお、詳細な説明は省略するが、たとえば、撮像装置12が設置面に設置されたときに、オブジェクトが写り込まない状態で撮影画像(ここでは、「基準画像」という)を取得しておき、オブジェクトが撮像装置12の周囲に存在するかどうか(オブジェクトの有無)は、予め取得しておいた基準画像と、その後に撮影される撮影画像との差分により、検出することができる。ただし、この実施例では、ユーザの指の位置を算出するので、肌色検出により、オブジェクト(指)の有無を検出するようにしてもよい。
The
位置検出プログラム302eは、撮像装置12の周囲に存在するオブジェクトの現実空間における3次元位置を算出するプログラムである。上述したように、位置検出プログラム302eは、接触判定プログラム302dの判定結果に応じて、ローカル座標系の3次元位置を算出する。
The
図示は省略するが、プログラム記憶領域302には、コンピュータ14で実行される各種のアプリケーションについてのプログラムが記憶される。
Although illustration is omitted, the
データ記憶領域304には、撮影画像データ304a、位置データ304bおよび基準画像データ304cが記憶される。
The
撮影画像データ304aは、撮像装置12から受信した撮影画像データまたは受信した撮影画像データを歪み補正した撮影画像データである。位置データ304bは、撮影画像データに基づいて算出した撮像装置12の周囲に存在するオブジェクトの3次元位置についての位置(座標)データである。したがって、複数のオブジェクトが撮像装置12の周囲に存在する場合には、各オブジェクトについて3次元位置が算出され、オブジェクト毎の位置データが記憶される。基準画像データ304cは、上述した基準画像に対応する画像データである。
The photographed
なお、図示は省略するが、データ記憶領域304には、情報処理プログラム等のプログラムを実行するために必要な、他のデータが記憶されたり、フラグやタイマ(カウンタ)が設けられたりする。
Although not shown, the
図9および図10は、図1に示したコンピュータ14に内蔵されるCPU14aの位置算出処理の一例を示すフロー図である。図9に示すように、CPU14aは、位置算出処理を開始すると、ステップS1で、撮影画像を取得する。つまり、CPU14aは、撮像装置12から送信された撮影画像データを受信して、データ記憶領域304に記憶する。
9 and 10 are flowcharts showing an example of the position calculation process of the
次のステップS3では、撮影画像の歪みを補正する。したがって、データ記憶領域304に記憶された撮影画像データは、歪みを補正されて、更新される。次のステップS5では、オブジェクトを検出する。ここでは、基準画像と撮影画像との差分からオブジェクトが検出される。ただし、複数(N個)のオブジェクトが検出された場合には、これ以降の処理において、各オブジェクトは識別可能に管理される。たとえば、各オブジェクトに、識別情報として、シリアルの番号(1、2、…、N)が付される。
In the next step S3, distortion of the captured image is corrected. Therefore, the captured image data stored in the
なお、基準画像に対応する基準画像データ304cは、予め取得され、データ記憶領域304に記憶されている。
The reference image data 304c corresponding to the reference image is acquired in advance and stored in the
続くステップS7では、オブジェクトが有るかどうかを判断する。ステップS7で“NO”であれば、つまりオブジェクトが無ければ、そのまま位置算出処理を終了する。一方、ステップS7で“YES”であれば、つまりオブジェクトが有れば、ステップS9で、変数iを初期化する(i=1)。 In a succeeding step S7, it is determined whether or not there is an object. If “NO” in the step S7, that is, if there is no object, the position calculating process is ended as it is. On the other hand, if “YES” in the step S7, that is, if there is an object, the variable i is initialized in a step S9 (i = 1).
続いて、図10に示すステップS11では、ミラー画像(部分画像C1)に基づいて、オブジェクトiが設置面に接触しているかどうかを判定する。つまり、CPU14aは、着目しているオブジェクトiのオブジェクト画像が部分画像C1の端部(外周)に接しているかどうかを判断する。
Subsequently, in step S11 shown in FIG. 10, it is determined whether or not the object i is in contact with the installation surface based on the mirror image (partial image C1). That is, the
次のステップS13では、判定結果が接触であるかどうかを判断する。ステップS13で“YES”であれば、つまりオブジェクトiが設置面に接触している場合には、ステップS15で、ミラー画像外の画像(部分画像C2)に基づいて、オブジェクトiの3次元位置を算出する。ここでは、CPU14aは、数1に従って、オブジェクトiの3次元位置を算出する。ただし、オブジェクトiは設置面に接触しているため、Z座標(高さ)は0である。このとき、算出された3次元位置の位置データは、当該オブジェクトiの識別情報に関連付けて、データ記憶領域304に記憶される。後述するステップS17においても同じである。
In the next step S13, it is determined whether or not the determination result is contact. If “YES” in the step S13, that is, if the object i is in contact with the installation surface, the three-dimensional position of the object i is determined based on the image (partial image C2) outside the mirror image in a step S15. calculate. Here, the
一方、ステップS13で“NO”であれば、つまりオブジェクトiが設置面に接触していない場合には、ステップS17で、ミラー画像(部分画像C1)とミラー画像外の画像(部分画像C2)に基づいて、オブジェクトiの3次元位置を算出する。ここでは、CPU14aは、数2に従って、オブジェクトiの3次元位置を算出する。
On the other hand, if “NO” in the step S13, that is, if the object i is not in contact with the installation surface, in a step S17, the mirror image (partial image C1) and the image outside the mirror image (partial image C2) are displayed. Based on this, the three-dimensional position of the object i is calculated. Here, the
そして、ステップS19で、変数iがN以上である(i≧N)かどうかを判断する。つまり、CPU14aは、すべてのオブジェクトiについて、接触判定を行うとともに、3次元位置を算出したかどうかを判断する。
Then, in step S19, it is determined whether or not the variable i is N or more (i ≧ N). That is, the
ステップS19で“NO”であれば、つまり変数iがN未満であれば、ステップS21で、変数iを1加算して(i=i+1)、次のオブジェクトiについてステップS11−S17の処理を実行する。一方、ステップS19で“YES”であれば、つまり変数iがN以上であれば、位置算出処理を終了する。 If “NO” in the step S19, that is, if the variable i is less than N, in the step S21, the variable i is incremented by 1 (i = i + 1), and the processing of the steps S11 to S17 is executed for the next object i. To do. On the other hand, if “YES” in the step S19, that is, if the variable i is equal to or greater than N, the position calculating process is ended.
なお、図9および図10に示した位置算出処理は、アプリケーションからの要求に応じて実行されたり、所定の時間間隔で実行されたりする。また、コンピュータ14(CPU14a)は、位置算出処理の実行に先立って、撮像装置12に撮影命令を送信することがある。
Note that the position calculation processing shown in FIGS. 9 and 10 is executed in response to a request from the application or is executed at predetermined time intervals. In addition, the computer 14 (
この実施例によれば、広角レンズを備えるカメラに対向して曲面ミラーを配置し、カメラの撮影画像に含まれるミラー部の画像とそれに隣接するミラー部外の画像の境界が撮像装置を設置した設置面に相当するので、ミラー部の画像におけるオブジェクトが当該画像の端部(外周)すなわち境界に接触しているかどうかに応じて、適切な算出方法でオブジェクトの3次元位置を算出することができる。 According to this embodiment, a curved mirror is arranged facing a camera equipped with a wide-angle lens, and an imaging device is installed between the image of the mirror part included in the photographed image of the camera and the image outside the mirror part adjacent thereto. Since it corresponds to the installation surface, the three-dimensional position of the object can be calculated by an appropriate calculation method depending on whether or not the object in the image of the mirror part is in contact with the end (outer periphery) of the image, that is, the boundary. .
また、この実施例によれば、オブジェクトが撮像装置の設置面に接触しているかどうかを判定するので、ユーザの指で設置面をタッチしているかどうかを判定することができる。かかる場合には、撮像装置およびコンピュータを含む情報処理システムをポインティングデバイスとして使用することができる。 Further, according to this embodiment, since it is determined whether or not the object is in contact with the installation surface of the imaging apparatus, it can be determined whether or not the installation surface is touched with the user's finger. In such a case, an information processing system including an imaging device and a computer can be used as a pointing device.
なお、この実施例では、撮像装置から撮影画像データを外部のコンピュータに送信し、当該コンピュータで接触の判定および位置の算出を行うようにしたが、これに限定される必要はない。CPU100の処理能力およびRAM106の容量が十分であれば、接触の判定および位置の算出を撮像装置12(カメラユニット12a)で行うようにしてもよい。かかる場合には、単体の撮像装置12(カメラユニット12a)が情報処理装置として機能する。また、かかる場合には、上述したような情報処理プログラムやデータ等はRAM106に記憶され、図9および図10に示した位置算出処理がCPU100によって実行される。
In this embodiment, the captured image data is transmitted from the image capturing apparatus to an external computer, and the touch determination and the position calculation are performed by the computer. However, the present invention is not limited to this. If the processing capacity of the
また、この実施例では、撮像装置とコンピュータが無線または有線で通信可能に接続される旨を説明したが、これらはインターネットのようなネットワークを介して接続されてもよい。かかる場合には、コンピュータは、複数の撮像装置から撮影画像データを取得して、各撮像装置について、接触の判定および位置の算出を行うようにしてもよい。 Further, in this embodiment, it has been described that the imaging apparatus and the computer are connected so as to be communicable wirelessly or by wire, but they may be connected via a network such as the Internet. In such a case, the computer may acquire captured image data from a plurality of imaging devices and perform contact determination and position calculation for each imaging device.
さらに、この実施例では、撮像装置が配置される環境が照明されていることを前提としたが、暗所においてもオブジェクトおよびオブジェクトの位置を検出できるように、ミラー部12bおよび撮像装置12の設置面に白色光を照明する照明装置を撮像装置に設けるようにしてもよい。
Furthermore, in this embodiment, it is assumed that the environment in which the imaging device is arranged is illuminated, but the
さらにまた、この実施例では、CCDやCMOSのような撮像素子を用いたカメラを用いる場合について説明したが、これに限定される必要はない。たとえば、IRカメラを用いることもできる。IRカメラを用いる場合には、撮像装置の周囲に存在するオブジェクトおよびオブジェクトの位置を検出する場合に、撮像装置が設置される場所の明るさによる影響を低減することができる。また、IRカメラがミラー部12bおよび撮像装置12の設置面に赤外線を放射するIR−LEDを備えるようにすれば、暗所においても撮像装置の周囲に存在するオブジェクトおよびオブジェクトの位置を検出することができる。
Furthermore, in this embodiment, the case where a camera using an image sensor such as a CCD or CMOS is used has been described. However, the present invention is not limited to this. For example, an IR camera can be used. In the case of using an IR camera, it is possible to reduce the influence of the brightness of the place where the imaging device is installed when detecting the objects existing around the imaging device and the positions of the objects. Further, if the IR camera is provided with an IR-LED that emits infrared rays on the installation surface of the
また、この実施例では、撮像装置の設置面と、曲面ミラーの端(最外周)の高さが同じであると仮定して説明したが、これに限定される必要はない。撮像装置の設置面と曲面ミラーの端の高さが異なる場合には、指の画像が曲面ミラーの画像(部分画像C1)において予め設定している基準線(部分画像C1と部分画像C2の境界とは異なる)に触れているか否かで、ユーザの指が設置面に接触(タッチ)しているかどうかを判定するようにしてもよい。 In this embodiment, the height of the installation surface of the imaging device and the end (outermost circumference) of the curved mirror is assumed to be the same. However, the present invention is not limited to this. When the height of the edge of the curved mirror is different from the installation surface of the imaging device, the finger image is a preset reference line in the curved mirror image (partial image C1) (the boundary between the partial image C1 and the partial image C2). Whether or not the user's finger is in contact with (touching) the installation surface may be determined based on whether or not it is touching.
さらに、この実施例では、撮像装置12を机上のような水平の設置面上に置くようにしたが、これに限定される必要はない。撮像装置12は、壁面やホワイトボードのような垂直の面に引っ付けてもよい。たとえば、壁面やホワイトボードには、両面テープやマグネットを用いて貼り付ければ(設置すれば)よい。たとえば、マグネットを用いる場合には、固定部材32をマグネットで構成すればよい。このようにすれば、壁面やホワイトボードのような垂直な面に対するオブジェクトの接触の有無や当該面をXY平面とした場合のオブジェクトの3次元位置を算出(検出)することができる。
Furthermore, in this embodiment, the
さらにまた、この実施例では、撮像装置を曲面ミラー側が設置面に設置されるように配置する場合に、全周に亘って設置面に平行な光を反射するようにしたが、これに限定される必要はない。曲面ミラーの一部(たとえば、1/4周、半周など)で設置面に平行な光を反射するように、カメラと曲面ミラーとの位置関係および曲面ミラーの形状が決定されてもよい。たとえば、設置面に平行な光を反射する部分が曲面ミラーの1/4周である場合には、その部分以外の部分をホワイトボードのいずれか1つの角部に合わせるように撮像装置を設置すれば、撮影画像に基づいて、ホワイトボード上のオブジェクトの有無やオブジェクトの位置を検出することができる。また、設置面に平行な光を反射する部分が曲面ミラーの半周である場合には、その部分以外の部分をホワイトボードのいずれかの辺の外側に向けるように撮像装置を当該辺上または当該辺の近傍に設置すれば、撮影画像に基づいて、ホワイトボード上のオブジェクトの有無やオブジェクトの位置を検出することができる。 Furthermore, in this embodiment, when the imaging device is arranged so that the curved mirror side is installed on the installation surface, the light parallel to the installation surface is reflected over the entire circumference, but the present invention is not limited to this. There is no need to The positional relationship between the camera and the curved mirror and the shape of the curved mirror may be determined so that light parallel to the installation surface is reflected by a part of the curved mirror (for example, ¼ turn, half turn, etc.). For example, if the part reflecting light parallel to the installation surface is a quarter of the curved mirror, install the imaging device so that the other part matches the corner of one of the whiteboards. For example, the presence or absence of an object on the whiteboard and the position of the object can be detected based on the photographed image. In addition, when the part that reflects light parallel to the installation surface is a half circumference of the curved mirror, the imaging device is placed on the side or the side so that the part other than the part is directed to the outside of any side of the whiteboard. If it is installed in the vicinity of the side, the presence or absence of an object on the whiteboard and the position of the object can be detected based on the photographed image.
また、この実施例では、オブジェクトとしてユーザの指を検出するようにしたが、これに限定される必要はない。たとえば、図11に示すように、フィギュアのような他のオブジェクトを検出するようにしてもよい。ただし、図11では、一例として、2つのフィギュア200、202が撮像装置12の周囲に配置されている。撮影画像を用いて、オブジェクトの有無を判断する方法、オブジェクトが設置面に接触しているかどうかを判定する方法およびオブジェクトの位置を算出する方法は、上記の実施例と同様である。ただし、オブジェクトの有無を判断する場合には、撮影画像において、フィギュア(200、202)の色または模様の有無を検出するようにすればよい。ただし、色または模様に代えて、または、これらとともに、フィギュア(200、202)に付された特定の文字や図形を撮影画像から認識して、フィギュア(200、202)の有無を検出するようにしてもよい。また、特定の色、模様、文字または図形或いはこれらのいずれか2つ以上の組み合わせを認識することにより、フィギュア(200、202)の種類を特定することもできる。
In this embodiment, the user's finger is detected as the object. However, the present invention is not limited to this. For example, as shown in FIG. 11, another object such as a figure may be detected. However, in FIG. 11, as an example, two figures 200 and 202 are arranged around the
さらに、図12に示すような用紙210を用いることにより、情報処理システム10をユーザインターフェイス(UI)として使用することができる。たとえば、用紙210には、操作ボタンに相当するボタン図柄が描画されている。また、撮像装置12および用紙210の向きおよび位置は、予め決定された相対的な向きおよび位置に設定される。上述の実施例で示したように、コンピュータ14は、ユーザの指が撮像装置12の設置面に接触したかどうかを判定する。コンピュータ14は、接触したことを判定すると、接触している指の位置を算出して、用紙210上のタッチされたボタン図柄を判定する。そして、コンピュータ14は、ユーザの指が接触していることが判断されたボタン図柄(操作ボタン)に設定されたコマンドをアプリケーションに出力する。
Furthermore, by using a
また、用紙210に描画する内容を変えることにより、他のUIとして使用することもできる。たとえば、仮想のゲーム空間で実行されるロールプレイングゲームのマップと同様のマップを用紙210に描画し、用紙210上に図11に示したようなフィギュア(200、202)を配置したり、用紙210上でフィギュア(200、202)を移動させたりする。コンピュータ14は、用紙210上におけるフィギュア(200、202)の位置を算出して、算出した位置を仮想のゲーム空間におけるプレイヤキャラクタなどのキャラクタの位置に反映する。
Further, by changing the content drawn on the
また、図13に示すように、専用のディスプレイ220を設けて、当該ディスプレイ220を用いてタッチ操作を実行することもできる。ただし、図13では、異なる2人のユーザの手を図示してある。たとえば、ディスプレイ220は、コンピュータ14に接続され、CPU14aの指示の下、コンピュータ14に内蔵される表示コントローラによって表示を制御される。図13に示す例のディスプレイ220は、円筒形状に形成され、撮像装置12上に設置される。たとえば、ディスプレイ220の表示領域を分割せずに、1人のユーザまたは複数のユーザで使用することができる。また、ユーザの数に応じてディスプレイ220の表示領域を分割して個別に使用することもできる。
As shown in FIG. 13, a
また、図14に示すように、撮像装置12に、ディスプレイ(230a、232a)を着脱可能に設けるようにしてもよい。ただし、図14では、異なる2人のユーザの手を図示してある。たとえば、図14に示す例では、スマートフォンやタブレットPCのような、ディスプレイ(230a、232a)が一体型の電子機器(以下、「携帯端末」という)(230、232)が撮像装置12上に設置される。携帯端末(230、232)は、コンピュータ14と通信可能であり、コンピュータ14から送信される操作データに従ってアプリケーションの処理を実行し、実行結果をディスプレイ(230a、232a)に表示する。つまり、この場合には、撮像装置12およびコンピュータ14で構成される情報処理システム10が共通のポインティングデバイスとして使用され、コンピュータ14はユーザ毎のタッチ操作を検出して、検出したタッチ操作に応じた操作データを対応する携帯端末に送信(入力)するのである。つまり、かかる場合には、情報処理システム10を携帯端末(230、232)の入力装置として用いることができ、携帯端末(230、232)の画面の全体を見ながら入力することができる。
Moreover, as shown in FIG. 14, you may make it provide the
ただし、複数のユーザで情報処理システム10(撮像装置12)を共通に使用するため、使用に先立って、ユーザと携帯端末(230、232)とを対応付ける処理が必要である。 However, since the information processing system 10 (imaging device 12) is used in common by a plurality of users, a process for associating the user with the mobile terminals (230, 232) is necessary prior to use.
さらに、図15(A)に示すように、電気的な構成を有していない樹脂性の操作部240を用いることにより、情報処理システム10をコントローラとして使用することもできる。たとえば、操作部240には、ハンドル240aおよびレバー240bが設けられ、図15(A)に示す操作部240の背面側には、図15(B)に示すような表示窓240cが設けられる。図15(B)に示すように、ハンドル240aの操作に連動して左右に移動するマーカ242が操作部240の筐体内であって、表示窓240cが設けられる位置に配置される。具体的には、ユーザがハンドル240aを右に切ると、図15(B)において、マーカ242が右に移動される。したがって、表示窓240cを通して見えるマーカ242の長さが短くなる。一方、ユーザがハンドル240aを左に切ると、図15(B)において、マーカ242が左に移動される。したがって、表示窓240cを通して見えるマーカ242の長さが長くなる。コンピュータ14は、撮像装置12で撮影される撮影画像のうち、表示窓240の縦方向の長さに対する、表示窓240cを通して見えるマーカ242の縦方向の長さに応じて、ハンドル240aが左右のどちらにどの程度切られているか(回転角度)を知ることができる。
Furthermore, as illustrated in FIG. 15A, the
図示は省略するが、レバー240bについても同様に、その傾きに連動して上下に移動するマーカ(マーカ242とは異なる)が操作部240の内部に設けられる。このマーカも表示窓(表示部240cとは異なる)を通して見える。したがって、レバー240bの傾き方向および傾き量についても撮影画像から知ることができる。
Although not shown in the drawing, the
したがって、コンピュータ14は、撮影画像から、ハンドル240aを切っている方向および切っている量を検出するとともに、レバー240bの傾き方向および傾き量を検出して、検出した情報をカーレースゲームのようなアプリケーションに与える。たとえば、操作部240を用いると、情報処理システム10によって、タッチ操作以外の操作を行うことができる。また、操作部240に電気的な構成を設ける必要がないため、電池(一次電池または二次電池)を内蔵するなどの電力供給が不要である。
Therefore, the
また、図16(A)に示す例では、撮像装置12が上述の実施例で示した場合と上下逆向きに設置面に設置される。このようにしても、180度の画角を有するカメラ20を備えるので、撮影画像に基づいて、ユーザが設置面をタッチしているかどうかを判定することができる。これは、カメラ20の画角が180度であり、水平な設置面に撮像装置12を置いた場合に、当該設置面に平行な方向の光を撮影(取得)することができるからである。
In the example shown in FIG. 16A, the
たとえば、図16(A)に示すように、ユーザが設置面をタッチすると、図16(B)に示すような撮影画像が得られる。この場合には、ユーザが設置面をタッチしたかどうかは、部分画像C2において、ユーザの指の画像が部分画像C2の端部(外周)に接しているかどうかで判断される。 For example, as shown in FIG. 16A, when the user touches the installation surface, a captured image as shown in FIG. 16B is obtained. In this case, whether or not the user has touched the installation surface is determined based on whether or not the image of the user's finger is in contact with the end (outer periphery) of the partial image C2 in the partial image C2.
図16(B)は、ユーザが撮像装置12の設置面をタッチしている場合の撮影画像の位置を示す。部分画像C2には、ユーザの指先に相当する部分の画像は撮影されない。これは、図16(A)に示すように、カメラユニット12aの厚みの分だけ、カメラ20の撮影範囲が設置面の上方に平行移動されるからである。
FIG. 16B shows the position of the captured image when the user is touching the installation surface of the
したがって、厳密に言うと、ユーザの指が設置面にタッチしたかどうかを判定することはできない。このため、図16(A)に示した状態で撮像装置12を使用する場合には、コンピュータ14は、部分画像C2の端部に指の画像が接したことによって、ユーザが設置面にタッチしたと判定するようにしてある。このように、上述の実施例とは逆向きに撮像装置12を設置した場合であっても、タッチの有無を判定することができる。
Therefore, strictly speaking, it cannot be determined whether or not the user's finger has touched the installation surface. For this reason, when using the
また、図16(A)に示すように、撮像装置12を設置した場合においても、曲面ミラー30の端部には設置面に平行な光線が入射されるため、部分画像C1と部分画像C2の境界(部分画像C1の端部)に接触するオブジェクト画像が存在する場合には、設置面に平行な面に接触するオブジェクトが存在することを検出することができる。したがって、たとえば、図11に示したようなフィギュア(200、202)が置かれていることは、部分画像C1に基づいて判断することもできる。
Further, as shown in FIG. 16A, even when the
また、上述の実施例では、双曲面の曲面ミラー30を用いるようにしたが、これに限定される必要はない。たとえば、図17(A)−(D)に示すように、楕円面、円錐面または複合面の曲面ミラー(30a、30b、30c)を用いることもできる。
In the above-described embodiment, the hyperbolic
上述の実施例で示した双曲面の曲面ミラー30は、その端で撮像装置12の設置面と平行な光線になるように設計し、当該設置面よりも上空のものが曲面ミラー30に映り込むことになる。したがって、双曲面の曲面ミラー30は、図11で示したようなフィギュア(200、202)など、設置面上に配置された立体物を認識したい場合に有効である。
The hyperboloidal
図17(A)に示す楕円面の曲面ミラー30aは、双曲面の曲面ミラー30の場合と同様に、曲面ミラー30aの端で設置面と平行な光線になるように設計すると、設置面を俯瞰するように曲面ミラー30aに像が映り込むことになる。そのため、設置面上の平らなオブジェクト(たとえば、カードや図12に示した用紙210)を読み取る際には有効である。
When the elliptical
また、図17(B)に示す円錐面の曲面ミラー30bは、平坦な斜面を有するため、高さ方向に歪みが発生しない。このため、上述の実施例でも説明したように、曲面ミラー30bの反射像から測定点(たとえば、指先)の高さを算出するのが簡単である。ただし、円錐面の曲面ミラー30bについても、その端で撮像装置12の設置面と平行な光線になるように設計される。
In addition, since the conical
このように、想定される使用状況に応じて、双曲面、楕円面または円錐面のいずれかを選択して撮像装置12を構成することになるが、図17(C)および図17(D)に示すように、曲面を合成(複合)することも可能である。
As described above, the
図17(C)に示す複合面の曲面ミラー30cでは、設置面(固定部材32)付近では双曲面であり、カメラ20の方向に突出する(上方に向かう)に従って楕円面となるように、曲面が合成される。このようにすれば、双曲面の場合の利点と楕円面の場合の利点を有する曲面ミラー30cが形成される。ただし、これは一例であり、同じ複合面の曲面ミラー30cであっても、図17(D)に示すように、設置面付近と上方で、異なる角度で傾斜する円錐面を合成してもよい。
In the
また、上述の実施例では、全方位を撮影可能なカメラ20を設けるようにしたが、一方向を撮影するカメラであっても、同様に、タッチの有無を検出することができる。図18(A)は、携帯電話機のようなカメラ付きの携帯端末250を充電台260に置いた状態を示す。ただし、図18(A)では、携帯端末250の筐体の一部および筐体内に設けられるカメラ252のみを示し、充電台260についても筐体の一部および筐体内に設けられるミラー262aおよびミラー262bのみを示してある。
Further, in the above-described embodiment, the
図18(A)に示すように、携帯端末250は充電台260に横にして載置される。このとき、カメラ252は、たとえば、携帯端末250の底面から水平方向を撮影する。また、充電台260の筐体の一部には、この充電台260を設置した設置面に平行な光をカメラ252で撮影するための開口260aが形成され、開口260aの近傍には、上記の平行な光をカメラ252の画角内に導くためのミラー262aおよびミラー262bが配置される。また、充電台260の筐体の他の一部には、この充電台260に装着(載置)した携帯端末250のカメラ252の撮影方向と対向する位置に開口260bが形成される。
As shown in FIG. 18A, the
たとえば、開口260aは、図18(A)に示す状態において、ミラー262aの下端部からミラー262bの下端部までの縦幅を有し、横幅はカメラ252の水平方向の画角によって決定される。また、開口260bは、ミラー262bで反射された光をカメラ252に導く大きさに決定される。さらに、図18(A)からも分かるように、ミラー262aおよびミラー262bは、いずれも平面のミラーであり、反射面が互いに対向するように配置される。
For example, in the state shown in FIG. 18A, the
図18(A)に示すような構成では、カメラ252の画角の略下半分において、ミラー262aおよびミラー262bで反射された光が入射される。また、カメラ252の画角略上半分においては、充電台260の筐体で撮影方向が遮蔽されていないため、直接光が入射される。したがって、カメラ250では、図18(B)に示すように、ミラー262bに相当する部分の部分画像C1およびミラー262bに相当しない部分の部分画像C2を含む撮影画像が撮影される。ただし、図18(B)では、指の画像以外の画像については省略してある。また、図18(B)では、簡単のため、部分画像C2を斜線で示してあるが、図18(A)に示すような状況においては、たとえば、部分画像C2には、指の第2関節から指の付け根についての画像が含まれる。
In the configuration as shown in FIG. 18A, light reflected by the
図18(B)に示すように、撮影画像のうち、部分画像C1(撮影画像)の下端部が充電台260を設置している設置面に相当し、部分画像C1の下端部に指の画像が接触している場合に、設置面にタッチしていることが判定される。また、部分画像C1の下端部に指の画像が接触していない場合には、設置面にタッチしていないことが判定される。
As shown in FIG. 18B, among the captured images, the lower end of the partial image C1 (captured image) corresponds to an installation surface on which the charging
この場合、携帯端末250および充電台260が、上述の実施例で示した撮像装置12として機能する。
In this case, the
なお、たとえば、所定の位置をタッチしている場合に、カメラ252で撮影された撮影画像において、部分画像C1の指の画像の大きさ(指の太さ)や部分画像C2の指の画像の大きさ(指の太さ)を予め検出しておく。そして、今回の撮影画像から上記の所定の位置を基準としてカメラ252側から見た場合の指の左右の位置を検出し、また、今回の撮影画像における指の画像の大きさと比較することによって、上記の所定の位置を基準としてカメラ252側から見た場合の指の奥行き方向の位置を検出することができる。
Note that, for example, when a predetermined position is touched, the size of the finger image (finger thickness) of the partial image C1 or the finger image of the partial image C2 in the captured image captured by the
また、図19(A)に示すように、携帯電話機のような携帯端末270を縦置きで充電台280に挿し込んでいる場合にも、図18(A)および図18(B)に示した場合と同様に、タッチの有無を検出することができる。ただし、図19(A)では、携帯端末270の概略を示し、充電台280については筐体の一部および筐体内に設けられる曲面ミラー282および広角レンズ284のみを示してある。
In addition, as shown in FIG. 19A, when a
図19(A)に示すように、携帯端末270は充電台280に縦(少し斜め向き)にして挿し込まれる。このとき、カメラ272(図19(A)ではレンズのみを示す)は、たとえば、携帯端末270の底面から下向きに撮影する。また、充電台280の筐体の一部には、この充電台280を設置した設置面に平行な光をカメラ272で撮影するための開口270aが形成される。また、筐体の内部には、上記の平行な光をカメラ272に導くための曲面ミラー282が設けられる。また、筐体の内部には、携帯端末270を充電台280に挿し込んだ場合に、カメラ272の画角を拡大するための広角レンズ284が設けられる。
As shown in FIG. 19A, the
たとえば、開口280aは、図19(A)に示す状態において、充電台280の筐体内部の底面から天井面までの縦幅を有し、充電台280の横幅(図19(A)では、紙面に対して垂直な方向の幅)と略同じ幅の横幅を有している。
For example, in the state shown in FIG. 19A, the
図19(A)に示すような構成では、図19(B)に示すように、曲面ミラー282の部分の部分画像C1と曲面ミラー282以外の部分の部分画像C2とを含む撮影画像がカメラ272で撮影される。図19(B)に示すように、部分画像C1と部分画像C2の境界が充電台270を設置した設置面に相当する。ただし、図19(B)では、指の画像以外の画像については省略してある。
In the configuration shown in FIG. 19A, as shown in FIG. 19B, a captured image including a partial image C1 of the
したがって、部分画像C1において、部分画像C2との境界(部分画像C1の下端部)に指の画像が接触している場合に、ユーザの指が設置面にタッチしていることが判定される。また、部分画像C1の下端部に指の画像が接触していない場合には、ユーザの指が設置面にタッチしていないことが判定される。 Therefore, in the partial image C1, when the finger image is in contact with the boundary with the partial image C2 (the lower end portion of the partial image C1), it is determined that the user's finger is touching the installation surface. If the finger image is not in contact with the lower end of the partial image C1, it is determined that the user's finger is not touching the installation surface.
また、図19(B)に示す撮影画像において、部分画像C2の指の画像の先端と部分画像C1との境界までの距離が、図19(A)における指先と曲面ミラー282の下端までの距離に相当する。
In the captured image shown in FIG. 19B, the distance from the tip of the finger image of the partial image C2 to the boundary between the partial image C1 is the distance from the fingertip to the lower end of the
したがって、上述の実施例で示した場合と同様に、部分画像C1および部分画像C2を用いて、タッチしているか否かを判定し、判定結果に応じて指の位置を算出することができる。 Therefore, similarly to the case shown in the above-described embodiment, it is possible to determine whether or not the touch is performed using the partial image C1 and the partial image C2, and to calculate the position of the finger according to the determination result.
この場合、携帯端末270および充電台280が、上述の実施例で示した撮像装置12として機能する。
In this case, the
なお、図19(A)および図19(B)に示す例では、曲面ミラー282を用いるようにしたが、平面ミラーを用いるようにしてもよい。
In the example shown in FIGS. 19A and 19B, the
また、上述の実施例では、曲面ミラー30を用いて全方位を撮影可能な撮像装置12を構成した場合について説明したが、他の実施例として、プロジェクタ装置16を構成することも可能である。
Further, in the above-described embodiment, the case where the
図20(A)に示すように、プロジェクタ装置16は、プロジェクタユニット16a、ミラー部16bおよびこれらを固定する固定部材16cによって構成され、プロジェクタユニット16aおよびミラー部16bによって両端部が閉じられた円筒形状に形成される。
As shown in FIG. 20A, the
プロジェクタユニット12aは、上面視で円形に形成され、RGBの三原色をそれぞれ発光する光源および当該光源を駆動する駆動装置を備え、これらを含む電子部品が筐体内に収納される。プロジェクタユニット16aのブロック図は省略するが、図3に示したカメラユニット12aのブロック図において、カメラ20を駆動装置に置き換えて、駆動装置に光源を接続すればよい。
The
曲面ミラー50は、プロジェクタユニット16a側に突出し、楕円面を有している。固定部材16cは、円筒形状であり、透明の樹脂またはガラスで形成される。固定部材16cの高さ(長さ)は、所定の長さに決定される。たとえば、プロジェクタ装置16を所定の面上に置いた場合に、当該所定の面に所望の画像を投影するように、プロジェクタユニット16a(光源)と曲面ミラー50との位置関係および曲面ミラー50の形状(面の形状)が決定される。したがって、このような位置関係となるように、固定部材16cの高さが決定される。
The
ただし、図20(A)に示す例では、プロジェクタユニット16aには、広角レンズ40が設けられるため、プロジェクタ装置16の周囲(円筒の側面方向)にも画像を投影することができる。つまり、プロジェクタ装置16は、自身が設置された設置面と、この設置面と交差する面に、画像を投影することができる。
However, in the example shown in FIG. 20A, since the wide-
たとえば、ホストコンピュータであるコンピュータ14から投影するための画像データ(以下、「投影画像データ」という)を送信することにより、プロジェクタ装置16がこれを受信して、投影画像データに対応する画像を投影することができる。ただし、プロジェクタ装置16内のROM(フラッシュメモリなどでもよい)に予め投影画像データを記憶しておくことにより、この予め記憶しておいた投影画像データに対応する画像を投影することもできる。したがって、プロジェクタ装置16およびコンピュータ14を備える情報処理システムが構成されたり、プロジェクタ装置16が情報処理システムとして機能したりする。
For example, by transmitting image data (hereinafter referred to as “projection image data”) to be projected from the
また、図20(B)に示すように、上述の実施例で示した撮像装置12と、図20(A)に示したプロジェクタ装置16とを含む電子機器60を構成することも可能である。図20(B)に示す例では、撮像装置12上にプロジェクタ装置16が設置される。たとえば、撮像装置12のカメラ20の光軸とプロジェクタユニット16aの光源の光軸とは一致される。また、撮像装置12およびプロジェクタ装置16は、それぞれ、コンピュータ14と通信可能に接続される。つまり、コンピュータ14と電子機器60を備える情報処理システムが構成される。
As shown in FIG. 20B, an electronic apparatus 60 including the
このような情報処理システムでは、たとえば、図12に示したような用紙210に代えて、ボタンの図柄をプロジェクタ装置16によって電気機器60の設置面に投影することができる。そして、コンピュータ14は、撮像装置12の撮影画像を取得し、この撮影画像に基づいて、ユーザがタッチした位置を検出し、タッチしたボタン図柄を決定して、決定したボタン図柄(操作ボタン)に設定されたコマンドをアプリケーションに出力する。したがって、電子機器60およびコンピュータ14によってコントローラが実現される。
In such an information processing system, for example, instead of the
また、ボタンの図柄に代えて、ゲームマップをプロジェクタ装置16によって設置面に投影し、設置面上で図11に示したようなフィギュア(200、202)を移動させるようにしてもよい。かかる場合には、撮像装置12の撮影画像からゲームマップ上のフィギュア(200、202)の位置を算出して、アプリケーション(ゲーム)の処理に反映することもできる。
Further, instead of the design of the button, a game map may be projected onto the installation surface by the
10 …情報処理システム
12 …撮像装置
14 …コンピュータ
16 …プロジェクタ装置
20 …カメラ
22,40 …広角レンズ
30,50 …曲面ミラー
DESCRIPTION OF
Claims (18)
前記カメラに対向して設置されるミラー、
前記カメラによって撮像されたカメラ画像のうち、前記ミラーに相当する第1部分画像と、前記第1部分画像に隣接し、前記ミラーに相当しない第2部分画像とに基づいて、当該カメラの周囲に存在する物体の位置を検出する第1検出手段、および
前記ミラー側を設置面に設置させるとき、前記第1部分画像における前記物体についての第1物体画像と、当該第1部分画像と前記第2部分画像の境界とが接触するかどうかで、前記物体が当該設置面と接触するかどうかを判定する接触判定手段を備え、
前記ミラー側を前記設置面に設置させるとき、当該設置面に平行な方向に当該設置面に沿って進行する光が当該ミラーの少なくとも一部で反射されるように、前記カメラと前記ミラーとの位置関係および当該ミラーの形状が決定される、情報処理システム。 camera,
A mirror installed opposite the camera,
Based on the first partial image corresponding to the mirror and the second partial image that is adjacent to the first partial image and does not correspond to the mirror among the camera images captured by the camera, around the camera A first detecting means for detecting a position of an existing object; and a first object image of the object in the first partial image, the first partial image, and the second when the mirror side is installed on an installation surface. Contact determination means for determining whether or not the object is in contact with the installation surface depending on whether or not the boundary of the partial image is in contact;
When the mirror side is installed on the installation surface, the camera and the mirror are arranged such that light traveling along the installation surface in a direction parallel to the installation surface is reflected by at least a part of the mirror. An information processing system in which the positional relationship and the shape of the mirror are determined.
前記第1検出手段は、前記第2検出手段によって検出された前記第1位置関係に応じて、前記物体の位置を検出する、請求項1記載の情報処理システム。 At least a second detection means for detecting a first positional relationship between the first partial image and the second partial image, and a first positional relationship of the first object image with respect to the object in the first partial image;
The information processing system according to claim 1, wherein the first detection unit detects a position of the object according to the first positional relationship detected by the second detection unit.
前記第1検出手段は、前記第2検出手段によって検出された第1位置関係と第2位置関係に基づいて、前記物体の位置を検出する、請求項3記載の情報処理システム。 The second detection means further detects a second positional relationship between a reference position of the first partial image and a second object image with respect to the object in the second partial image;
The information processing system according to claim 3, wherein the first detection unit detects the position of the object based on the first positional relationship and the second positional relationship detected by the second detection unit.
前記第1検出手段は、前記第3検出手段によって検出された前記第1位置と前記第2位置に基づいて、前記物体の位置を検出する、請求項1記載の情報処理システム。 The first position of the first object image for the object in the first partial image and the first position of the object in the second partial image on a straight line passing through the reference position of the first partial image among the camera images. Further comprising third detection means for detecting a second position of the two object images;
The information processing system according to claim 1, wherein the first detection unit detects the position of the object based on the first position and the second position detected by the third detection unit.
前記第1検出手段は、前記第1部分画像を所定のアルゴリズムで補正した画像と、前記第2部分画像とに基づいて、前記物体の位置を検出する、請求項1ないし13のいずれかに記載の情報処理システム。 The mirror is a curved mirror;
The said 1st detection means detects the position of the said object based on the image which correct | amended the said 1st partial image with the predetermined | prescribed algorithm, and the said 2nd partial image. Information processing system.
前記情報処理システムの前記ミラー側を設置面に設置させるとき、当該設置面に平行な方向に当該設置面に沿って進行する光が当該ミラーの少なくとも一部で反射されるように、前記カメラと前記ミラーとの位置関係および当該ミラーの形状が決定され、
前記コンピュータを、前記カメラによって撮像されたカメラ画像のうち、前記ミラーに相当する第1部分画像と、前記第1部分画像に隣接し、前記ミラーに相当しない第2部分画像とに基づいて、当該カメラの周囲に存在する物体の位置を検出する検出手段、および
前記情報処理システムの前記ミラー側を設置面に設置させるとき、前記第1部分画像における前記物体についての第1物体画像と、当該第1部分画像と前記第2部分画像の境界とが接触するかどうかで、前記物体が当該設置面と接触するかどうかを判定する接触判定手段として機能させる、情報処理プログラム。 An information processing program that is executed by a computer and a computer of an information processing system that includes a camera and a mirror that is installed facing the camera,
When for installing the mirror side of the information processing system to the installation surface, so that the light travels along the installation surface in a direction parallel to the installation surface is reflected at least part of the mirror, and the camera The positional relationship with the mirror and the shape of the mirror are determined,
Based on the first partial image corresponding to the mirror and the second partial image adjacent to the first partial image and not corresponding to the mirror, among the camera images captured by the camera, the computer detecting means for detecting a position of an object existing around the camera, and when to set up the mirror side of the information processing system to the installation surface, and a first object image of the object in the first partial image, said first An information processing program that functions as contact determination means for determining whether or not the object is in contact with the installation surface based on whether or not a boundary between the first partial image and the second partial image is in contact.
前記情報処理システムの前記ミラー側を設置面に設置させるとき、当該設置面に平行な方向に当該設置面に沿って進行する光が当該ミラーの少なくとも一部で反射されるように、前記カメラと前記ミラーとの位置関係および当該ミラーの形状が決定され、
(a)前記カメラによって撮像されたカメラ画像のうち、前記ミラーに相当する第1部分画像と、前記第1部分画像に隣接し、前記ミラーに相当しない第2部分画像とに基づいて、当該カメラの周囲に存在する物体の位置を検出するステップと、
(b)前記情報処理システムの前記ミラー側を前記設置面に設置させるとき、前記第1部分画像における前記物体についての第1物体画像と、当該第1部分画像と前記第2部分画像の境界とが接触するかどうかで、前記物体が当該設置面と接触するかどうかを判定するステップを含む、情報処理方法。 An information processing method for an information processing system comprising a camera and a mirror installed opposite to the camera,
When for installing the mirror side of the information processing system to the installation surface, so that the light travels along the installation surface in a direction parallel to the installation surface is reflected at least part of the mirror, and the camera The positional relationship with the mirror and the shape of the mirror are determined,
(A) Based on a first partial image corresponding to the mirror and a second partial image adjacent to the first partial image and not corresponding to the mirror among the camera images captured by the camera. Detecting the position of an object existing around
(B) when for installing the mirror side of the information processing system to the installation surface, and a first object image of the object in the first partial image, the boundary of the first partial image and the second partial image The information processing method including the step of determining whether the said object contacts the said installation surface by whether it contacts.
前記カメラに対向して設置されるミラー、および
前記カメラによって撮影されたカメラ画像に基づいて、当該カメラの周囲に存在する物体が所定の面に接触しているかどうかを判定する接触判定手段を備え、
前記カメラによって撮像されたカメラ画像が、前記ミラーに相当する第1部分画像と、前記第1部分画像に隣接し、前記ミラーに相当しない第2部分画像を含むように、前記カメラと前記ミラーとを配置し、
前記ミラー側を前記所定の面に設置させるとき、当該所定の面に平行な方向に当該所定の面に沿って進行する光が当該ミラーの少なくとも一部で反射されるように、前記カメラと前記ミラーとの位置関係および当該ミラーの形状が決定され、
前記接触判定手段は、前記ミラー側を前記所定の面に設置させるとき、前記第1部分画像における前記物体についての第1物体画像と、当該第1部分画像と前記第2部分画像の境界とが接触するかどうかで、前記物体が当該所定の面と接触するかどうかを判定する、情報処理システム。 camera,
A mirror installed opposite to the camera, and contact determination means for determining whether an object existing around the camera is in contact with a predetermined surface based on a camera image taken by the camera ,
The camera and the mirror so that a camera image captured by the camera includes a first partial image corresponding to the mirror and a second partial image adjacent to the first partial image and not corresponding to the mirror. And place
When the mirror side is set on the predetermined surface, the camera and the camera are arranged so that light traveling along the predetermined surface in a direction parallel to the predetermined surface is reflected by at least a part of the mirror. The positional relationship with the mirror and the shape of the mirror are determined,
When the contact determination unit sets the mirror side on the predetermined surface, a first object image of the object in the first partial image and a boundary between the first partial image and the second partial image are obtained. An information processing system that determines whether or not the object is in contact with the predetermined surface based on whether or not the object is in contact.
前記広角カメラに対向して配置され、所定の面に平行であり、当該所定の面に沿って進行する光線方向となる形状に形成されたミラー、および
前記広角カメラによって撮影されたカメラ画像に基づいて、当該広角カメラの周囲に存在する物体が所定の面に接触しているかどうかを判定する接触判定手段を備え、
前記広角カメラによって前記ミラーに相当する第1部分画像と、当該第1部分画像に隣接し、前記ミラーに相当しない第2部分画像を含むカメラ画像を撮影可能に、前記広角カメラと前記ミラーを配置し、
前記接触判定手段は、前記ミラー側を前記所定の面に設置させるとき、前記第1部分画像における前記物体についての第1物体画像と、当該第1部分画像と前記第2部分画像の境界とが接触するかどうかで、前記物体が当該所定の面と接触するかどうかを判定する、撮像装置。 A wide-angle camera that can shoot 360 degrees around ,
A mirror that is disposed facing the wide-angle camera, is parallel to a predetermined surface, and is formed in a shape that is a direction of a light beam traveling along the predetermined surface ; and
Contact determining means for determining whether an object existing around the wide-angle camera is in contact with a predetermined surface based on a camera image captured by the wide-angle camera;
The wide-angle camera and the mirror are arranged so that a camera image including a first partial image corresponding to the mirror and a second partial image adjacent to the first partial image and not corresponding to the mirror can be taken by the wide-angle camera. And
When the contact determination unit sets the mirror side on the predetermined surface, a first object image of the object in the first partial image and a boundary between the first partial image and the second partial image are obtained. on whether contact, the object you determine if contact with the predetermined surface, the imaging apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014171884A JP6393114B2 (en) | 2014-08-26 | 2014-08-26 | Information processing system, information processing program, information processing method, and imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014171884A JP6393114B2 (en) | 2014-08-26 | 2014-08-26 | Information processing system, information processing program, information processing method, and imaging apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016045173A JP2016045173A (en) | 2016-04-04 |
JP6393114B2 true JP6393114B2 (en) | 2018-09-19 |
Family
ID=55635855
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014171884A Active JP6393114B2 (en) | 2014-08-26 | 2014-08-26 | Information processing system, information processing program, information processing method, and imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6393114B2 (en) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3723282B2 (en) * | 1996-06-20 | 2005-12-07 | シャープ株式会社 | Ranging omnidirectional vision sensor |
US9250510B2 (en) * | 2012-02-15 | 2016-02-02 | City University Of Hong Kong | Panoramic stereo catadioptric imaging |
-
2014
- 2014-08-26 JP JP2014171884A patent/JP6393114B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016045173A (en) | 2016-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6626954B2 (en) | Imaging device and focus control method | |
TWI547828B (en) | Calibration of sensors and projector | |
KR102098277B1 (en) | Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device | |
KR101343748B1 (en) | Transparent display virtual touch apparatus without pointer | |
WO2017147748A1 (en) | Wearable system gesture control method and wearable system | |
KR102159767B1 (en) | Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device | |
JP2013198062A (en) | Image processing apparatus, image processing method, and imaging apparatus | |
JP2012238293A (en) | Input device | |
JP6381361B2 (en) | DATA PROCESSING DEVICE, DATA PROCESSING SYSTEM, DATA PROCESSING DEVICE CONTROL METHOD, AND PROGRAM | |
JP2016114963A (en) | Input operation detection device, projector device, electronic blackboard device, digital signage device, and projector system | |
KR102439502B1 (en) | Electronic device and method for processing image of the same | |
JP2016103137A (en) | User interface system, image processor and control program | |
US9924066B2 (en) | Image processing apparatus, information processing method, and program | |
US9406136B2 (en) | Information processing device, information processing method and storage medium for identifying communication counterpart based on image including person | |
US10725586B2 (en) | Presentation of a digital image of an object | |
JP2018018308A (en) | Information processing device and control method and computer program therefor | |
US20170302908A1 (en) | Method and apparatus for user interaction for virtual measurement using a depth camera system | |
CN112351188B (en) | Apparatus and method for displaying graphic element according to object | |
JP6686319B2 (en) | Image projection device and image display system | |
KR20140090538A (en) | Display apparatus and controlling method thereof | |
JP6393114B2 (en) | Information processing system, information processing program, information processing method, and imaging apparatus | |
JP2017068468A (en) | Information processing device, information processing method, and program | |
JP6643825B2 (en) | Apparatus and method | |
KR102614026B1 (en) | Electronic device having a plurality of lens and controlling method thereof | |
JP5939469B2 (en) | Browsing device and browsing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170724 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180515 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180516 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180710 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180724 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180724 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180807 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180824 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6393114 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |