WO2014050161A1 - 電子ボードシステム、光学ユニット装置及びプログラム - Google Patents

電子ボードシステム、光学ユニット装置及びプログラム Download PDF

Info

Publication number
WO2014050161A1
WO2014050161A1 PCT/JP2013/054375 JP2013054375W WO2014050161A1 WO 2014050161 A1 WO2014050161 A1 WO 2014050161A1 JP 2013054375 W JP2013054375 W JP 2013054375W WO 2014050161 A1 WO2014050161 A1 WO 2014050161A1
Authority
WO
WIPO (PCT)
Prior art keywords
reference height
pair
electronic board
index
height
Prior art date
Application number
PCT/JP2013/054375
Other languages
English (en)
French (fr)
Inventor
中野　雅史
Original Assignee
株式会社日立ソリューションズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立ソリューションズ filed Critical 株式会社日立ソリューションズ
Publication of WO2014050161A1 publication Critical patent/WO2014050161A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/13338—Input devices, e.g. touch panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual

Definitions

  • the present invention relates to a technique for adjusting a reference height of retroreflected light in an electronic board system that detects information related to an operation input by photographing retroreflected light from a pointing device.
  • One method is to attach a reflection frame for reflecting LED light along the outer frame of the electronic board. This method detects the position of the pointing device by photographing the reflected light from the reflection frame for the LED light irradiated from two different points with an optical camera and examining the position where the reflected light is blocked from the photographed image. Is the method.
  • the pixel where the reflected light is present has high luminance, and the pixel whose reflected light is blocked by the pointing device has low luminance.
  • the X coordinate of the captured image represents a coordinate in which the sides of the reflection frame are arranged horizontally
  • the Y coordinate represents the height in the direction perpendicular to the plate surface of the electronic board.
  • this type of electronic board system requires a reflective frame to be placed around the electronic board (or the wall and display screen used as the electronic board) and has many components, so it must be installed. There is a disadvantage that the burden of is large.
  • the pointing coordinate only by the reflected light from the pointing device it is determined in advance at which height coordinate in the captured image the electronic board is present, and the pointing device is placed on the board. It must be used to determine whether it is grounded.
  • the pointing coordinates are determined only by the reflected light from the pointing device, when projecting an image from the front side of the electronic board, the coordinates on the electronic board and the coordinates of the image projected on the electronic board are It is necessary to execute the process for adjusting the deviation (coordinate calibration process) separately from the process for determining the reference height (reference height calibration).
  • the present invention adjusts the reference height representing the plate surface of the electronic board from the captured image in order to determine the pointing coordinates only with the retroreflected light from the pointing device in the electronic board system using the optical camera. It aims to provide a method. Another object of the present invention is to provide a method of executing the reference height calibration and the coordinate calibration at the same time in addition to providing this function.
  • An electronic board system includes an optical unit device including a pair of light source devices and a pair of optical cameras, and a terminal device that receives a pair of captured images acquired by the pair of optical cameras from the optical unit device. Consists of.
  • one invention is a processing unit that acquires a pair of captured images in a state in which a pointing device having a retroreflective member is grounded or in contact with an index displayed on a projection surface or a display surface on the terminal device side.
  • a processing unit that sequentially extracts partial images having different height ranges from a pair of captured images and detects a reference height corresponding to the coordinate position of each index from a reflected light pattern that appears in each partial image; And a processing unit that registers the reference height in the storage unit.
  • an optical unit device that constitutes an electronic board system together with a pointing member having a retroreflective member, a pair of light source devices, a pair of optical cameras, and an index displayed on a projection surface or a display surface
  • a processing unit that acquires a pair of captured images in a state where a pointing device having a retroreflective member is in contact with or in contact with the image, and partial images having different height ranges from the pair of captured images are sequentially extracted and appear in each partial image.
  • a processing unit that detects a reference height corresponding to the coordinate position of each index from the reflected light pattern, and a processing unit that registers the detected reference height in the storage unit.
  • the processing part which performs coordinate calibration based on the coordinates of the pointing device detected from a pair of picked-up images and the reference coordinates set for each index.
  • a reflection frame is not required from an electronic board system using an optical camera, and it is possible to reduce the number of components and the burden of user installation work.
  • the invention additionally having a function capable of executing the reference height calibration and the coordinate calibration in a single process, it is possible to further reduce the initial setting work burden of the user in addition to the effects described above. . Problems, configurations, and effects other than those described above will be clarified by the description of the following examples.
  • FIG. 1 shows a configuration of an electronic board system according to the embodiment.
  • This electronic board system outputs an optical unit device 100, a pointing device 106 having a retroreflective member 105, a board 112 on which a projection screen 113 is projected, a projection device 115 that projects the projection screen 113 onto the board 112, and a projection screen 113.
  • a terminal device 114 for detecting the position coordinates of the pointing device 106.
  • the optical unit device 100 has two LEDs 101 and 102, two optical cameras 109 and 110, a memory 111, and a communication interface (not shown).
  • the optical unit device 100 may be fixed to the board 112 or may be detachable from the board 112.
  • the LED 101 and the optical camera 109 are arranged as a set of optical components in the upper left direction toward the board 112
  • the LED 102 and the optical camera 110 are arranged as a set of optical components in the upper right direction toward the board 112. Is done.
  • the LEDs 101 and 102 irradiate the LED lights 103 and 104 in parallel with the plate surface of the board 112.
  • the irradiation ranges of the LED lights 103 and 104 are both about 180 °.
  • the optical cameras 109 and 110 are devices for photographing the reflected lights 107 and 108 reflected by the retroreflective member 105, and the imaging range thereof is about 180 °. Further, the optical cameras 109 and 110 can acquire an image in a predetermined range (height range) in a direction perpendicular to the plate surface of the board 112.
  • the memory 111 stores captured images captured by the optical cameras 109 and 110.
  • the memory 111 also holds a reference height that gives a height when the tip of the pointing device 106 is in contact with the plate surface of the board 112.
  • a communication interface (not shown) is a communication device that outputs a captured image held in the memory 111 to the terminal device 114.
  • the pointing device 106 is a device used for operation input to the projection screen 113 projected on the board 112.
  • a retroreflective tape as a retroreflective member 105 is wound around the tip of the pointing device 106.
  • the board 112 is a flat plate on which the projection screen 113 is projected.
  • the board 112 has legs, but it may be attached to a wall surface.
  • any wall surface can be used as the board 112.
  • the projection screen 113 is projected from the projection device 115 toward the board 112, but a configuration in which the projection device 115 is not used is also possible.
  • a display device may be used as the board 112.
  • the terminal device 114 in the present embodiment executes a function of outputting the projection screen 113 to the projection device 115, a function of detecting the position coordinates of the pointing device 106, a function of executing reference height calibration, and coordinate calibration. It has the function to do.
  • FIGS. 2-1 and 2-2 show a captured image 201 captured by the optical camera 109 in a state where the pointing device 106 is grounded on the surface of the board 112.
  • the range of the left side 205, the lower side 206, and the right side 207 when the board 112 is viewed from the front corresponds to the X coordinate shooting ranges 208, 209, and 210 on the shot image 201, respectively.
  • the shooting range 211 in the direction perpendicular to the plate surface when the board 112 is viewed from the side corresponds to the shooting range 212 in the Y coordinate direction in the shot image 201.
  • the shooting range 211 in the vertical direction of the shot image 201 can be changed according to the change of the reference height 214 held in the memory 111, and has a height of ⁇ ⁇ with the reference height 214 as the center of the shooting range 211.
  • the range is filmed.
  • pixels in the captured image 201 that do not have reflected light are displayed dark, and pixels that have reflected light are displayed brightly.
  • the LED light 103 emitted from the LED 101 is retroreflected by the retroreflective member 105 of the pointing device 106. That is, ideally, the reflected light is reflected in parallel with the LED light 103. However, in practice, a part of the reflected light is reflected in the direction of the surface of the board 112 as shown in FIG.
  • direct reflected light 1071 the light directly incident on the optical camera 109 out of the reflected light from the retroreflective member 105 is referred to as direct reflected light 1071, and the light incident on the optical camera 109 after being reflected again on the surface of the board 112 is indirectly reflected. This is called light 1072.
  • These two types of reflected light components appear as a direct reflected light region 223 and an indirect reflected light region 224 in the captured image 201.
  • the direct reflected light region 223 is displayed above the captured image 201, and the indirect reflected light region 224 is displayed below the captured image 201.
  • the direct reflected light region 223 and the indirect reflected light region 224 are separated into two by a region where no reflected light exists (gap 225).
  • the Y coordinate that gives the lower end position of the direct reflected light region 223 or the upper end position of the gap 225 is a reference height indicating a state in which the pointing device 106 is in contact with or in contact with the surface of the board 112. Therefore, the terminal device 114 in the present embodiment detects the Y coordinate that gives the upper end position of the gap 225 from the captured image 201 and sets it as the reference height 226.
  • the terminal device 114 registers the detected reference height 226 in the memory 111 of the optical unit device 100.
  • the terminal device 114 projects a reference height adjustment screen (projection screen 113) onto the board 112 in order for the user to ground the tip of the pointing device 106 to the designated coordinates on the board 112. .
  • FIG. 3 shows an example of the reference height adjustment screen 300.
  • indicators 301 to 305 are arranged to indicate to the user the coordinate points for adjusting the reference height by grounding the tip of the pointing device 106.
  • the indicator 301 is displayed at the center position of the board 112
  • the indicator 302 is displayed at the upper left position toward the board 112
  • the indicator 303 is displayed at the lower left position toward the board 112
  • the indicator 304 is lower right toward the board 112.
  • the index 305 is displayed at the upper right position toward the board 112.
  • each index is projected onto the board 112 one by one in the order of the index 301, the index 302, the index 303, the index 304, and the index 305. This is for associating the relationship between the index and the reference height on a one-to-one basis.
  • the order in which the indices are projected is arbitrary.
  • FIG. 4A shows an outline of the reference height adjustment processing procedure according to the present embodiment.
  • the processing procedure is executed for each index.
  • FIG. 4B shows details of a reference height determination processing step executed as a part of the reference height adjustment processing procedure.
  • the reference height adjustment process is executed by dividing the captured image 201 into three partial images having different height ranges and determining whether or not a reference height exists for each partial image.
  • FIG. 5 shows an example of three partial images 501, 503, and 505 having different height ranges.
  • the partial image located in the middle is referred to as a partial image 501
  • the partial image located at the top is referred to as a partial image 503.
  • the partial image located at the bottom is a partial image 505.
  • the number of partial image divisions is not limited to three. Further, the height range of each partial image need not be evenly spaced.
  • 4-1 is shown on the assumption that the captured image 201 is divided into three partial images 501, 503, and 505 as shown in FIG.
  • reference height adjustment processing executed by the terminal device 114 will be described with reference to FIG. 4-1. Note that the reference height adjustment process is executed for the index 301 at the center of the screen.
  • the X coordinate range of the acquired partial image 501 is 0 to X1
  • the Y coordinate range is from ⁇ to + ⁇ . It should be noted that ⁇ in FIGS. 4-1, 4-2, and 5 is one third of ⁇ in FIG. Further, the origin 0 of the X coordinate is the upper left corner toward the board 112 in this embodiment.
  • the terminal device 114 has a value equal to or greater than the threshold value for the pixel located in the uppermost row of the partial image 501 (that is, the pixel whose coordinate value is (0, ⁇ ) to (X1, ⁇ )). It is determined whether or not a pixel exists (step 402).
  • the terminal device 114 executes a reference height determination process (step 403).
  • the terminal device 114 sets the coordinates of the pixel having a value equal to or greater than the threshold as (X2, Y2) (step 421). In the case of this step, Y2 is ⁇ .
  • the terminal device 114 determines whether or not each pixel positioned below in the Y-axis direction has a value equal to or less than the threshold value in order (step 422).
  • the search range in the Y-axis direction is 2 ⁇ . That is, the range from (X2, Y2) to (X2, Y2-2 ⁇ ) is set as the search range.
  • the terminal device 114 determines that the pixel is a pixel representing the upper end of the gap 225 between the directly reflected light and the indirectly reflected light, and uses Y3 that is the Y coordinate as a new reference.
  • the height is registered in the memory 111 of the optical unit device 100 (step 423).
  • the transition from step 422 to step 423 is executed immediately when a pixel satisfying the determination condition is found.
  • the terminal device 114 outputs Y as a return value, and ends the reference height adjustment process without executing the processes of the other two partial images 503 and 505.
  • the terminal device 114 has a value equal to or larger than the threshold value for a pixel located in the uppermost row of the partial image 503 (that is, a pixel whose coordinate value is (0, 3 ⁇ ) to (X1, 3 ⁇ )). It is determined whether or not a pixel exists (step 405). If there is a pixel having a value equal to or greater than the threshold value, the terminal device 114 executes the processes of steps 421 to 423 described above. If an affirmative result is obtained in step 422, the terminal device 114 registers the value of the Y coordinate of the pixel having a value equal to or smaller than the threshold as the reference height in the memory 111 of the optical unit device 100 and adjusts the reference height. The process ends.
  • step 405 If a negative result is obtained in step 405 or a negative result is obtained in step 422, the terminal device 114 executes a reference height finding process for the next partial image.
  • the terminal device 114 targets a pixel located in the uppermost row of the partial image 505 (that is, a pixel whose coordinate value is (0, ⁇ ) to (X1, ⁇ )) as a value equal to or greater than a threshold value. It is determined whether or not there is a pixel having (step 408). If there is a pixel having a value equal to or greater than the threshold value, the terminal device 114 executes the processes of steps 421 to 423 described above. If an affirmative result is obtained in step 422, the terminal device 114 registers the value of the Y coordinate of the pixel having a value equal to or smaller than the threshold as the reference height in the memory 111 of the optical unit device 100 and adjusts the reference height. The process ends. Note that if a negative result is obtained in step 408 or a negative result is obtained in step 422 (that is, the plate surface of the board 112 cannot be determined), the terminal device 114 outputs a search error ( Step 410).
  • the partial image to be determined is changed once each in the upper direction and lower direction in the height direction (perpendicular to the board surface), and the reference height search process is executed for each partial image.
  • the search process may be executed by acquiring upper and lower partial images.
  • the mounting height of the optical camera 109 with respect to the board surface may be adjusted manually or automatically, and the optical axis angle of the optical camera 109 may be adjusted manually or automatically.
  • a known drive mechanism may be used for adjusting the mounting height and the optical axis angle.
  • ⁇ in FIG. 6 is also one third of ⁇ in FIG.
  • FIG. 6 shows a photographed image 601 that is photographed in a state where the pointing device 106 is grounded, for example, on the index 301 after the reference height is changed.
  • the captured image 601 direct reflected light 602 and indirect reflected light 604 are captured.
  • the lowermost portion of the direct reflected light 602 of the pointing device 106 that is, the Y coordinate representing the board surface coincides with the center 603 of the captured image 601 in the Y axis direction.
  • the registration process of the new reference height Y3 corresponding to the index 301 is completed.
  • the height position of the board surface (the lowest position of the directly reflected light) at each X coordinate in the captured image is due to the warpage of the plate surface, the imaging angle of the optical camera, etc.
  • the reference height Y3 determined by the index 301 may not always coincide.
  • the index 302 is displayed at the four corners of the board 112, that is, the index 303 at the upper left corner, the index 303 at the lower left corner, the index 304 at the lower right corner, and the index 305 at the upper right corner.
  • the captured image 601 having the new reference height Y3 determined for the index 301 as the center height is used, and the index height is set at each index position by the same method as the method for obtaining the reference height for the index 301.
  • the height position of the corresponding board surface (the lowest end of the direct reflected light) is obtained.
  • the height obtained for each index is referred to as a reference height, but the reference height corresponding to the indices 302 to 305 is a correction value (reference height Y3 for the reference height Y3 corresponding to the index 301. Also referred to as a difference value).
  • the detection of the height position of the board surface corresponding to each of the indices 302 to 305 is executed, for example, for each partial image obtained by dividing the captured image 601 into three equal parts in the height direction.
  • Fig. 7 shows the relationship between the reference height and the correction value.
  • the captured image shown in FIG. 7 corresponds to the captured image 601 in FIG.
  • the captured image is divided into five regions 701, 704, 707, 709, and 712 with respect to the X-axis direction.
  • Five areas 701, 704, 707, 709, and 712 correspond to five indicators 301 to 305, respectively.
  • the region 707 corresponds to the index 301.
  • ⁇ in FIG. 7 is also one third of ⁇ in FIG.
  • the area 701 corresponds to the index 302.
  • the lowermost end of the direct reflected light 702 photographed with the tip of the pointing device 106 in contact with the plate surface of the board 112 is used as the reference height in the corresponding area.
  • the reference height of the area 701 is represented by a correction value 703 for the reference height Y3 determined for the center position (area 707) of the board 112.
  • the area 704 corresponds to the index 303.
  • the lowermost end of the direct reflected light 705 photographed with the tip of the pointing device 106 in contact with the plate surface of the board 112 is used as the reference height in the corresponding area.
  • the reference height of the area 704 is represented by a correction value 706 for the reference height Y3 determined for the center position (area 707) of the board 112.
  • the area 709 corresponds to the indicator 304.
  • the lowermost end of the direct reflected light 710 taken with the tip of the pointing device 106 in contact with the plate surface of the board 112 is used as the reference height in the corresponding area.
  • the reference height of the area 709 is represented by a correction value 711 for the reference height Y3 determined for the center position (area 707) of the board 112.
  • the area 712 corresponds to the index 305.
  • the lowermost end of the direct reflected light 713 photographed in a state where the tip of the pointing device 106 is in contact with the plate surface of the board 112 is used as the reference height in the corresponding area.
  • the reference height of the area 712 is represented by a correction value 714 for the reference height Y3 determined for the center position (area 707) of the board 112.
  • the reference height Y3 corresponding to the center of the board 112 is obtained, and for the four indexes 302 to 305 corresponding to the four corners of the board 112, a photographed image centered on the reference height Y3 is obtained.
  • the correction value for the entire board surface can be obtained efficiently.
  • the processing operation described above is performed twice for each index. It is executed one by one. That is, the above-described processing operation is individually executed for the pair of LED 101 and optical camera 109 and the pair of LED 102 and optical camera 110 for one index.
  • the operation position of the pointing device 106 on the board 112 based on the two captured images acquired by the terminal device 114 from the two optical cameras 109 and 110 as in the existing electronic board system. Is detected.
  • the terminal device 114 for each of the captured images corresponding to the optical cameras 109 and 110, the pointing device 106 based on the reference height (or correction value) for each region determined for each captured image (or optical camera).
  • the contact position of the pointing device 106 on the board 112 is detected by detecting the contact position with the board surface and processing the two contact positions by applying the principle of triangulation.
  • the operation position of the pointing device 106 in each captured image is detected as the X coordinate of the directly reflected light of the pointing device 106 that is in contact with the board surface.
  • the reference height calibration is executed using the pointing device 106 in which the retroreflective member 105 is attached in the vicinity of the tip.
  • the terminal device 114 projects an index for grounding or contacting the pointing device 106 on the projection surface or the display surface on the board 112, and the pointing device 106 has the index for each index.
  • a reference height (or correction value) to be used in an area range corresponding to each index is detected from a photographed image photographed with the tip touching or touching.
  • the lower end is set as a reference height (or correction value) corresponding to each index.
  • not only the center of the board 112 but also the four corners of the board 112 are sequentially displayed with the indicators 302 to 305 to calculate the reference height correction value.
  • the operation input by the pointing device 106 can be accurately detected.
  • the number of indices used for acquiring the correction value is four.
  • the number of indices (coordinates) used for acquiring the correction value may be further increased.
  • the area for determining the correction value for each index is associated one-to-one.
  • the division area is increased by obtaining the correction value between the coordinates corresponding to each index by linear interpolation. Also good. By increasing the number of divided areas in this way, it is possible to further increase the detection accuracy of the operation input.
  • Example 3 In the above-described embodiment, the case where the index shown in FIG. 3 is used only for the purpose of reference height calibration has been described. However, an input operation for bringing the tip of the pointing device 106 into contact with each index can also be used as an input operation for coordinate calibration.
  • the coordinate position on the board 112 of the pointing device 106 can also be detected simultaneously from these two captured images. If the coordinate position of the pointing device 106 on the board 112 is obtained in this way, the coordinate position on the adjustment screen of each index is known, and the coordinate axis deviation is adjusted by comparing the two coordinate positions. be able to.
  • Example 4 In the above-described embodiment, the case where each processing operation of the reference height calibration and the coordinate calibration is executed in the terminal device 114 has been described. However, both or one of these processing operations may be executed using a processor mounted on the optical unit device 110 side or a dedicated processing circuit. In this case, the optical unit device 110 needs to know the coordinates on the adjustment screen of the index projected or displayed on the board 112. The coordinates on the adjustment screen may be built in the optical unit device 110 or may be given from the terminal device 114.
  • the present invention is not limited to the above-described embodiments, and includes various modifications.
  • the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • a part of a certain embodiment can be replaced with a component of another embodiment, and the configuration of another embodiment can be added to the configuration of a certain embodiment.
  • each of the above-described configurations, functions, processing units, processing means, and the like may be partly or entirely realized as, for example, an integrated circuit or other hardware.
  • Each of the above-described configurations, functions, and the like may be realized by the processor interpreting and executing a program that realizes each function. That is, it may be realized as software.
  • Information such as programs, tables, and files for realizing each function can be stored in a memory, a hard disk, a storage device such as an SSD (Solid State Drive), or a storage medium such as an IC card, an SD card, or a DVD.
  • control lines and information lines indicate what is considered necessary for explanation, and do not represent all control lines and information lines necessary for the product. In practice, it can be considered that almost all components are connected to each other.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Nonlinear Science (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Position Input By Displaying (AREA)

Abstract

　本発明は、光学カメラを利用した電子ボードシステムにおいて、ポインティングデバイスからの再帰反射光のみによってポインティング座標を決定するために、撮影画像中から電子ボード板面を表す基準高さを調整する方法を提供する。本発明は、端末装置又は光学ユニット装置に対し、投影面又は表示面上に表示された指標に、再帰反射部材を有するポインティングデバイスが接地又は接触した状態における一対の撮影画像を取得する取得部と、一対の撮影画像から高さの範囲が異なる部分画像を順番に抽出し、各部分画像に現われる反射光パターンより各指標の座標位置に対応する基準高さを検出する検出部と、検出された基準高さを記憶部に登録する登録部とを設ける。

Description

電子ボードシステム、光学ユニット装置及びプログラム
　本発明は、ポインティングデバイスからの再帰反射光を撮影して操作入力に関する情報を検出する電子ボードシステムにおいて、再帰反射光の基準高さを調整するための技術に関する。
　近年、光学カメラを利用した電子ボードシステムが普及している。この一方法として、電子ボードの外枠に沿ってＬＥＤ光を反射させるための反射枠を取り付ける方法がある。この方法は、異なる２地点から照射したＬＥＤ光に対する反射枠からの反射光を光学カメラによって撮影し、撮影画像中から反射光が遮られている位置を調べることにより、ポインティングデバイスの位置を検出する方法である。
　この方法の場合、反射光が存在する画素は輝度が高く、ポインティングデバイスによって反射光が遮られた画素は輝度が低くなる。なお、撮影画像のＸ座標は反射枠の各辺を水平に並べた座標を表し、Ｙ座標は電子ボードの板面に対して垂直方向の高さを表す。
　この方法では、撮影画像中の反射光の輝度変化を調べる必要がある。すなわち、反射光が撮影画像中のどのＹ座標に表れるかを予め決定しておく必要がある。そのため、この種の電子ボードシステムでは、反射枠を取り付けた後に、反射光を遮断する物体が電子ボードの板面上に存在しない状態で撮影を行い、反射枠による反射光が撮影画像上のどの高さに表れるかを検出し、基準高さとして電子ボード上のメモリに登録する。この基準高さの輝度が閾値より低くなった場合、そのＸ座標上にポインティングデバイスが存在することが分かる。この動作を、異なる２点から照射される２つのＬＥＤ光について個別に取得される２つの撮影画像についてそれぞれ実行することにより、電子ボードの板面上のどの座標にポインティングデバイスが接地しているかを検出する。
特開２０１２－０６６５６４号公報
　しかし、この種の電子ボードシステムは、電子ボード（又は電子ボードとして使用される壁面や表示画面を含む）を取り囲むように反射枠を配置する必要がある上に、構成部品も多いため、設置時の負担が大きいという欠点がある。
　これに対し、ポインティングデバイス自体にＬＥＤ光を再帰反射させるテープ部材等を取り付け、光学カメラによってその反射光を撮影し、ポインティングデバイスの位置を特定する方式の電子ボードシステムが考えられる。この種の電子ボードシステムでは、反射枠を取り付ける必要がなく、前述した電子ボードシステムの欠点を解消することができる。
　その一方で、ポインティングデバイスからの反射光のみによってポインティング座標を決定するためには、撮影画像中のどの高さ座標に電子ボードの板面が存在するかを予め決定し、ポインティングデバイスが板面に接地しているかどうかの判定に使用する必要がある。
　また、ポインティングデバイスからの反射光のみによってポインティング座標を決定する場合にも、電子ボードの前方側から画像を投影するときは、電子ボード上での座標と、電子ボードに投影された画像の座標のずれを調整する処理（座標キャリブレーション処理）を、基準高さを決定する処理（基準高さキャリブレーション）とは別に実行する必要がある。
　そこで、本発明は、光学カメラを利用した電子ボードシステムにおいて、ポインティングデバイスからの再帰反射光のみによってポインティング座標を決定するために、撮影画像中から電子ボードの板面を表す基準高さを調整する方法を提供することを目的とする。また、一部の発明では、この機能の提供に加え、基準高さキャリブレーションと座標キャリブレーションを同時に実行する方法を提供することを目的にする。
　１つの発明に係る電子ボードシステムは、一対の光源装置及び一対の光学カメラを備えた光学ユニット装置と、前記一対の光学カメラで取得された一対の撮影画像を光学ユニット装置から受信する端末装置とで構成される。
　このうち、１つの発明は、端末装置側に、投影面又は表示面上に表示された指標に、再帰反射部材を有するポインティングデバイスが接地又は接触した状態における一対の撮影画像を取得する処理部と、一対の撮影画像から高さの範囲が異なる部分画像を順番に抽出し、各部分画像に現われる反射光パターンより各指標の座標位置に対応する基準高さを検出する処理部と、検出された基準高さを記憶部に登録する処理部とを有する。
　また、１つの発明は、再帰反射部材を有するポインティング部材と共に電子ボードシステムを構成する光学ユニット装置に、一対の光源装置と、一対の光学カメラと、投影面又は表示面上に表示された指標に、再帰反射部材を有するポインティングデバイスが接地又は接触した状態における一対の撮影画像を取得する処理部と、一対の撮影画像から高さの範囲が異なる部分画像を順番に抽出し、各部分画像に現われる反射光パターンより各指標の座標位置に対応する基準高さを検出する処理部と、検出された基準高さを記憶部に登録する処理部とを有する。
　なお、１つの発明では、前述の機能部に加え、一対の撮影画像から検出されたポインティングデバイスの座標と各指標について設定された基準座標とに基づいて座標キャリブレーションを実行する処理部を有する。
　１つの発明によれば、光学カメラを利用した電子ボードシステムから反射枠が不要となり、構成部品の削減および利用者の設置作業の負担を削減することができる。また、基準高さキャリブレーションと座標キャリブレーションを一回の処理で実行できる機能を追加的に有する発明においては、前述した効果に加え、利用者の初期設定の作業負担を更に削減することができる。なお、上述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
実施例に係る電子ボードシステムの構成を示す図。 直接反射光と間接反射光の出現原因を説明する図。 直接反射光と間接反射光を含む撮影画像の例を示す図。 基準高さ調整画面の例を示す図。 基準高さの決定処理手順を示すフローチャート。 基準高さの判定処理の詳細を示すフローチャート。 基準高さの位置が異なる部分画像を説明する図。 基準高さ決定後の撮影画像を示す図。 各指標に対応する補正値の適用範囲を説明する図。
　以下、本発明を適用した電子ボードシステムの一実施形態について説明する。
〔実施例１〕
　［装置構成］
　図１に、実施例に係る電子ボードシステムの構成を示す。この電子ボードシステムは、光学ユニット装置１００、再帰反射部材１０５を有するポインティングデバイス１０６、投影画面１１３が投影されるボード１１２、ボード１１２に投影画面１１３を投影する投影装置１１５、投影画面１１３を出力すると共にポインティングデバイス１０６の位置座標を検出する端末装置１１４とを有している。
　光学ユニット装置１００は、２つのＬＥＤ１０１、１０２と、２つの光学カメラ１０９、１１０と、メモリ１１１と、不図示の通信インタフェースを有している。光学ユニット装置１００はボード１１２に固定されていても良いし、ボード１１２に対して着脱自在でも良い。本実施例の場合、ＬＥＤ１０１と光学カメラ１０９は一組の光学部品としてボード１１２に向かって左上方に配置され、ＬＥＤ１０２と光学カメラ１１０は一組の光学部品としてボード１１２に向かって右上方に配置される。
　ＬＥＤ１０１、１０２は、ボード１１２の板面に対して平行にＬＥＤ光１０３、１０４を照射する。本実施例の場合、ＬＥＤ光１０３、１０４の照射範囲はいずれも約１８０°である。光学カメラ１０９、１１０は、再帰反射部材１０５で反射された反射光１０７、１０８を撮影するためのデバイスであり、その撮像範囲はいずれも約１８０°である。また、光学カメラ１０９、１１０は、ボード１１２の板面に対して垂直方向に所定の範囲（高さ範囲）の画像を取得することができる。メモリ１１１は、光学カメラ１０９、１１０で撮影された撮影画像が格納される。また、メモリ１１１は、ポインティングデバイス１０６の先端がボード１１２の板面に接した状態での高さを与える基準高さも保持する。不図示の通信インタフェースは、メモリ１１１に保持されている撮影画像を端末装置１１４に出力する通信デバイスである。
　ポインティングデバイス１０６は、ボード１１２に投影された投影画面１１３に対する操作入力に使用されるデバイスである。本実施例の場合、ポインティングデバイス１０６の先端付近には、再帰反射部材１０５としての再帰反射テープが巻きつけられている。
　ボード１１２は、投影画面１１３が投影される平板である。図１の場合、ボード１１２には脚が付いているが、壁面に取り付けられていても良い。また、任意の壁面をボード１１２として使用することもできる。また、本実施例では、投影装置１１５からボード１１２に向けて投影画面１１３を投影しているが、投影装置１１５を使用しない形態も可能である。この場合は、ボード１１２として表示装置を用いれば良い。
　本実施例における端末装置１１４は、投影画面１１３を投影装置１１５に出力する機能と、ポインティングデバイス１０６の位置座標を検出する機能と、基準高さキャリブレーションを実行する機能と、座標キャリブレーションを実行する機能とを有している。
　［基準高さの検出原理］
　図２－１及び図２－２を使用し、光学カメラにより撮影される画像を説明する。これらの図は、ボード１１２の表面にポインティングデバイス１０６を接地させた状態で、光学カメラ１０９が撮影する撮影画像２０１について表している。
　ボード１１２を正面から見た場合の左辺２０５、下辺２０６、右辺２０７の範囲が、それぞれ撮影画像２０１上のＸ座標の撮影範囲２０８、２０９、２１０に相当する。また、ボード１１２を側方から見た場合の板面に対して垂直方向の撮影範囲２１１が、撮影画像２０１におけるＹ座標方向の撮影範囲２１２に相当する。撮影画像２０１の垂直方向の撮影範囲２１１は、メモリ１１１に保持されている基準高さ２１４の変更に応じて変更可能であり、基準高さ２１４を撮影範囲２１１の中心として±αの高さの範囲が撮影される。
　本実施例の場合、撮影画像２０１のうち反射光が存在しない画素は暗く表示され、反射光が存在する画素は明るく表示される。ボード１１２を横から見た図２－１に示すように、ＬＥＤ１０１から射出されたＬＥＤ光１０３は、ポインティングデバイス１０６の再帰反射部材１０５で再帰反射される。すなわち、理想的には、反射光はＬＥＤ光１０３と平行に反射される。ただし、実際には、図２－１に示すように、反射光の一部はボード１１２の表面の方向に反射する。本明細書では、再帰反射部材１０５からの反射光のうち光学カメラ１０９に直接入射する光を直接反射光１０７１と呼び、ボード１１２の表面で再度反射した後に光学カメラ１０９に入射する光を間接反射光１０７２と呼ぶ。これら２種類の反射光成分は、撮影画像２０１において直接反射光領域２２３及び間接反射光領域２２４として出現する。
　直接反射光領域２２３は撮影画像２０１の上方に表示され、間接反射光領域２２４は撮影画像２０１の下方に表示される。なお、直接反射光領域２２３と間接反射光領域２２４は、反射光が存在しない領域（ギャップ２２５）により２つに分離される。ここで、直接反射光領域２２３の下端位置又はギャップ２２５の上端位置を与えるＹ座標が、ポインティングデバイス１０６がボード１１２の表面に接地又は接触した状態を示す基準高さとなる。従って、本実施例における端末装置１１４は、撮影画像２０１の中からギャップ２２５の上端位置を与えるＹ座標を検出し、基準高さ２２６とする。なお、端末装置１１４は、検出された基準高さ２２６を光学ユニット装置１００のメモリ１１１に登録する。
　［基準高さ調整画面］
　ところで、前述した基準高さ２２６の検出処理（基準高さキャリブレーション）の実行には、ユーザがポインティングデバイス１０６の先端をボード１１２上に接地又は接触させる操作が必要になる。
　そこで、本実施例に係る端末装置１１４は、ユーザに対し、ポインティングデバイス１０６の先端をボード１１２上の指定座標に接地させるために、基準高さ調整画面（投影画面１１３）をボード１１２に投影する。
　図３に、基準高さ調整画面３００の一例を示す。基準高さ調整画面３００には、ポインティングデバイス１０６の先端を接地させて基準高さを調整する座標点をユーザに指し示す指標３０１～３０５が配置されている。指標３０１はボード１１２の中央位置に表示され、指標３０２はボード１１２に向かって左上位置に表示され、指標３０３はボード１１２に向かって左下位置に表示され、指標３０４はボード１１２に向かって右下位置に表示され、指標３０５はボード１１２に向かって右上位置に表示される。本実施例の場合、各指標は、指標３０１、指標３０２、指標３０３、指標３０４、指標３０５の順番に、１つずつボード１１２上に投影される。指標と基準高さとの関係を１対１に対応付けるためである。もっとも、指標を投影する順番は任意である。
　［基準高さ調整処理手順］
　図４－１に、本実施例に係る基準高さ調整処理手順の概要を示す。当該処理手順は指標毎に実行される。なお、図４－２には、基準高さ調整処理手順の一部として実行される基準高さ判定処理ステップの詳細を示す。本実施例の場合、基準高さ調整処理は、撮影画像２０１を高さ範囲が異なる３つの部分画像に分割し、各部分画像について基準高さが存在するか否かを判定することにより実行する。図５に、高さ範囲が異なる３つの部分画像５０１、５０３、５０５の例を示す。ここでは、撮影画像２０１を高さ方向に３等分して得られる３つの部分画像のうち真ん中に位置する部分画像を部分画像５０１とし、一番上に位置する部分画像を部分画像５０３とし、一番下に位置する部分画像を部分画像５０５とする。なお、部分画像の分割数は３つに限らない。また、各部分画像の高さ範囲も等間隔である必要は無い。
　図４－１は、撮影画像２０１を図５のように３つの部分画像５０１、５０３、５０５に分割する場合を前提に表されている。以下、図４－１に従って、端末装置１１４で実行される基準高さ調整処理について説明する。なお、基準高さ調整処理は、画面中央の指標３０１について実行されるものとする。
　まず、端末装置１１４は、初期状態の基準高さ（Ｙ＝０）５０２に対応する部分画像５０１を取得する（ステップ４０１）。ここで、取得した部分画像５０１のＸ座標の範囲は０～Ｘ１であり、Ｙ座標の範囲は－αから＋αまでである。なお、図４－１、図４－２、図５におけるαは、図２－２のαの３分の１であるものとする。また、Ｘ座標の原点０は、本実施例の場合、ボード１１２に向かって左上隅であるものとする。
　次に、端末装置１１４は、部分画像５０１の最上部行に位置する画素（すなわち、座標値が（０、α）から（Ｘ１、α）までの画素）を対象として、閾値以上の値を持つ画素が存在するか否かを判定する（ステップ４０２）。
　閾値以上の画素が存在した場合、端末装置１１４は、基準高さ判定処理を実行する（ステップ４０３）。基準高さ判定処理（ステップ４０３）において、端末装置１１４は、閾値以上の値を持つ画素の座標を（Ｘ２、Ｙ２）とする（ステップ４２１）。同ステップの場合、Ｙ２はαである。
　次に、端末装置１１４は、当該座標（Ｘ２、Ｙ２）を起点として、Ｙ軸方向の下方に位置する各画素について順番に閾値以下の値を有するか否かを判定する（ステップ４２２）。なお、Ｙ軸方向の検索範囲は２αである。すなわち、（Ｘ２、Ｙ２）から（Ｘ２、Ｙ２－２α）の範囲を検索範囲とする。
　閾値以下の値を有する画素が存在した場合、端末装置１１４は、当該画素が直接反射光と間接反射光のギャップ２２５の上端を表す画素であると判定し、そのＹ座標であるＹ３を新しい基準高さとして光学ユニット装置１００のメモリ１１１に登録する（ステップ４２３）。ここで、ステップ４２２からステップ４２３への移行は、判定条件を満たす画素が見つかった時点で直ちに実行される。また、端末装置１１４は、戻り値としてＹを出力し、他の２つの部分画像５０３及び５０５の処理を実行することなく、基準高さ調整処理を終了する。
　これに対し、ステップ４２２で閾値以下の値を有する画素を発見できなかった場合、又は、ステップ４０２で否定結果が得られた場合、端末装置１１４は、次の部分画像について、基準高さの発見処理を実行する。本実施例の場合、基準高さ（Ｙ＝２α）５０４に対応する部分画像５０３を取得する（ステップ４０４）。すなわち、部分画像５０１に対して垂直方向上方に位置する部分画像５０３を探索範囲とする。
　この場合、端末装置１１４は、部分画像５０３の最上部行に位置する画素（すなわち、座標値が（０、３α）から（Ｘ１、３α）までの画素）を対象として、閾値以上の値を持つ画素が存在するか否かを判定する（ステップ４０５）。閾値以上の値を有する画素が存在した場合、端末装置１１４は、前述したステップ４２１～４２３の処理を実行する。そして、ステップ４２２で肯定結果が得られた場合、端末装置１１４は、閾値以下の値を持つ画素のＹ座標の値を基準高さとして光学ユニット装置１００のメモリ１１１に登録して基準高さ調整処理を終了する。なお、ステップ４０５で否定結果が得られた場合又はステップ４２２で否定結果が得られた場合、端末装置１１４は、次の部分画像について、基準高さの発見処理を実行する。本実施例の場合、基準高さ（Ｙ＝－２α）５０６に対応する部分画像５０５を取得する（ステップ４０７）。
　この場合、端末装置１１４は、部分画像５０５の最上部行に位置する画素（すなわち、座標値が（０、－α）から（Ｘ１、－α）までの画素）を対象として、閾値以上の値を持つ画素が存在するか否かを判定する（ステップ４０８）。閾値以上の値を持つ画素が存在した場合、端末装置１１４は、前述したステップ４２１～４２３の処理を実行する。そして、ステップ４２２で肯定結果が得られた場合、端末装置１１４は、閾値以下の値を持つ画素のＹ座標の値を基準高さとして光学ユニット装置１００のメモリ１１１に登録して基準高さ調整処理を終了する。なお、ステップ４０８で否定結果が得られた場合又はステップ４２２で否定結果が得られた場合（すなわち、ボード１１２の板面を決定できなかった場合）、端末装置１１４は、検索エラーを出力する（ステップ４１０）。
　因みに、図５に例示した撮影画像２０１の場合、部分画像５０１と部分画像５０３には直接反射光５０７のみが撮影されている。このため、これらの部分画像内では、前述したステップ４２２において閾値以下の値を有する画素を発見することができない。これに対し、部分画像５０５では直接反射光５０７と間接反射光５０８の両方が撮影されている。このため、ギャップ２２５の最上端が、新しい基準高さＹ３（５０９）として検出されることになる。
　本実施例では、判定対象とする部分画像を高さ方向（ボード面に対して垂直方向）の上方と下方に対してそれぞれ１回ずつ変更し、各部分画像について基準高さの検索処理を実行しているが、さらに上方や下方の部分画像を取得して検索処理を実行してもよい。この際、光学カメラ１０９のボード面に対する取付高さを手動又は自動で調整しても良く、光学カメラ１０９の光軸角度を手動又は自動で調整しても良い。なお、取付高さの調整や光軸角度の調整には、既知の駆動機構を用いれば良い。
　なお、新しい基準高さＹ３が光学ユニット装置１００のメモリ１１１に登録されると、以降の撮影画像２０１の取得処理では、この基準高さＹ３に対して±αの範囲の部分画像が、光学カメラ１０９及び１１０から端末装置１１４に出力されるようになる。図６におけるαも、図２－２のαの３分の１である。
　図６は、基準高さが変更された後、例えば指標３０１上にポインティングデバイス１０６を接地させた状態で撮影された撮影画像６０１を示している。撮影画像６０１には、直接反射光６０２と間接反射光６０４が撮影されている。図６に示すように、ポインティングデバイス１０６の直接反射光６０２の最下部、つまりボード面を表すＹ座標が撮影画像６０１のＹ軸方向の中央６０３に一致する。
　以上で、指標３０１に対応する新しい基準高さＹ３の登録処理が終了する。ところで、ボード１１２の全面を考える場合、撮影画像中における各Ｘ座標におけるボード面の高さ位置（直接反射光の最下端位置）は、板面の反りや光学カメラの撮影角度等のために、必ずしも指標３０１で決定した基準高さＹ３と一致しないことがある。
　そこで、本実施例では、ボード１１２の４隅に、すなわち左上隅に指標３０２、左下隅に指標３０３、右下隅に指標３０４、右上隅に指標３０５を順番に表示する。各指標の表示座標についても、指標３０１について決定された新しい基準高さＹ３を中心高さとする撮影画像６０１を使用し、指標３０１について基準高さを求めた手法と同様の手法により各指標位置に対応するボード面の高さ位置（直接反射光の最下端）を求める。
　本実施例では、各指標について求められた高さを基準高さと呼ぶが、指標３０２～３０５に対応する基準高さについては、指標３０１に対応する基準高さＹ３に対する補正値（基準高さＹ３に対する差分値）とも呼ぶ。ここで、各指標３０２～３０５に対応するボード面の高さ位置の検出は、例えば撮影画像６０１を高さ方向に３等分した各部分画像について実行される。
　図７に、基準高さと補正値の関係を示す。図７に示す撮影画像は、図６の撮影画像６０１に対応する。図７に示すように、撮影画像は、Ｘ軸方向に対し、５つの領域７０１、７０４、７０７、７０９、７１２に分割される。５つの領域７０１、７０４、７０７、７０９、７１２は、それぞれ５つの指標３０１～３０５に対応する。因みに、領域７０７は指標３０１に対応する。なお、図７におけるαも、図２－２のαの３分の１である。
　領域７０１は、指標３０２に対応する。この領域７０１においては、ポインティングデバイス１０６の先端をボード１１２の板面に接した状態で撮影された直接反射光７０２の最下端を対応領域における基準高さとして使用する。領域７０１の基準高さは、ボード１１２の中央位置（領域７０７）について決定された基準高さＹ３に対する補正値７０３で表される。
　領域７０４は、指標３０３に対応する。この領域７０４においては、ポインティングデバイス１０６の先端をボード１１２の板面に接した状態で撮影された直接反射光７０５の最下端を対応領域における基準高さとして使用する。領域７０４の基準高さは、ボード１１２の中央位置（領域７０７）について決定された基準高さＹ３に対する補正値７０６で表される。
　領域７０９は、指標３０４に対応する。この領域７０９においては、ポインティングデバイス１０６の先端をボード１１２の板面に接した状態で撮影された直接反射光７１０の最下端を対応領域における基準高さとして使用する。領域７０９の基準高さは、ボード１１２の中央位置（領域７０７）について決定された基準高さＹ３に対する補正値７１１で表される。
　領域７１２は、指標３０５に対応する。この領域７１２においては、ポインティングデバイス１０６の先端をボード１１２の板面に接した状態で撮影された直接反射光７１３の最下端を対応領域における基準高さとして使用する。領域７１２の基準高さは、ボード１１２の中央位置（領域７０７）について決定された基準高さＹ３に対する補正値７１４で表される。
　このように、最初にボード１１２の中央に対応する基準高さＹ３を求め、ボード１１２の４隅に対応する４つの指標３０２から３０５については、基準高さＹ３を高さ中心とする撮影画像を使用して各補正値を決定することにより、効率的にボード全面の補正値を求めることができる。
　なお実際には、ＬＥＤ１０１、１０２及び光学カメラ１０９、１１０が、ボード１１２の上辺（何れか１辺であれば良い）の異なる２点に設置されるため、前述した処理動作が各指標について２回ずつ実行される。すなわち、前述した処理動作が、１つの指標について、ＬＥＤ１０１と光学カメラ１０９の組とＬＥＤ１０２と光学カメラ１１０の組について個別に実行される。
　［ポインティング位置の検出］
　以上説明した調整処理が終了すると、既存の電子ボードシステムと同様、端末装置１１４が２つの光学カメラ１０９及び１１０から取得される２つの撮影画像に基づいて、ポインティングデバイス１０６のボード１１２上における操作位置を検出する。ここで、端末装置１１４は、各光学カメラ１０９及び１１０に対応する撮影画像のそれぞれについて、各撮影画像（又は光学カメラ）について決定された領域別の基準高さ（又は補正値）によるポインティングデバイス１０６のボード面との接触位置を検出し、これら２つの接触位置に三角測量の原理を適用して処理し、ボード１１２上におけるポインティングデバイス１０６の操作位置を検出する。なお、各撮影画像におけるポインティングデバイス１０６の操作位置は、ボード面と接触状態にあるポインティングデバイス１０６の直接反射光のＸ座標として検出される。
　［まとめ］
　本実施例では、先端付近に再帰反射部材１０５を取り付けたポインティングデバイス１０６を使用して、基準高さキャリブレーションを実行する。この基準高さキャリブレーションにおいて、本実施例に係る端末装置１１４は、投影面又は表示面上にポインティングデバイス１０６を接地又は接触させるための指標をボード１１２に投影し、各指標にポインティングデバイス１０６の先端が接地又は接触した状態で撮影された撮影画像から各指標に対応する領域範囲で使用する基準高さ（又は補正値）を検出する。具体的には、高さ方向の範囲が異なる部分画像を撮影画像から順番に抽出し、抽出された部分画像内に再帰反射部材１０５からの直接反射光の最下端が検出されるとき、当該最下端を各指標に対応付ける基準高さ（又は補正値）とする。
　これにより、光学カメラ１０９及び１１０を利用する電子ボードシステムとして、ボード１１２の外周に反射枠を設置しなくても、ポインティングデバイス１０６のボード面への接触を検出することが可能になる。結果的に、構成部品の削減および利用者の設置作業の負担を削減することができる。
　また、本実施例の場合には、ボード１１２の中央だけでなくボード１１２の４隅にも指標３０２～３０５を順番に表示して基準高さの補正値を算出するため、ボード１１２の全体に亘ってポインティングデバイス１０６による操作入力を正確に検出することができる。
〔実施例２〕
　前述した実施例では、補正値を取得するために使用する指標の数が４つであるが、補正値を取得するために使用する指標の数（座標）を更に増やしても良い。また、本実施例の場合、指標毎に補正値を定める領域を１対１に対応付けているが、各指標に対応する座標間の補正値を線形補間により求める等して分割領域を増やしても良い。このように分割領域を増やすことにより、操作入力の検出精度をより高めることができる。
〔実施例３〕
　前述した実施例では、図３に示す指標を、基準高さキャリブレーションの目的でのみ使用する場合について説明した。しかし、各指標に対してポインティングデバイス１０６の先端を接触させる入力操作は、座標キャリブレーションのための入力操作としても兼用することができる。
　例えば座標キャリブレーションは、既知の座標位置に指標を有する調整画面をボード１１２に投影又は表示した状態で、電子ボードシステムによる当該指標の検出座標のずれを求め、当該ずれが無くなる方向に調整画面上における座標軸とボード１１２上における座標軸のずれを調整することにより実行される。
　前述したように、基準高さの調整時には、ユーザがポインティングデバイス１０６の先端をボード１１２の表面に投影された指標に接触させる操作入力を行うと、１つの指標に対して２つの撮影画像が取得されるため、これら２つの撮影画像からポインティングデバイス１０６のボード１１２上における座標位置も同時に検出することができる。このようにボード１１２上におけるポインティングデバイス１０６の座標位置が求まれば、各指標の調整画面上での座標位置は既知であるので、２つの座標位置を比較することにより、座標軸のずれを調整することができる。
　このように、基準高さキャリブレーションと座標キャリブレーションを一回の操作入力で兼用する機能を追加すれば、基準高さキャリブレーションと座標キャリブレーションを別々に実行する必要が無く、ユーザの初期設定時の作業負担を削減することができる。
〔実施例４〕
　前述の実施例においては、基準高さキャリブレーション及び座標キャリブレーションの各処理動作を、端末装置１１４において実行する場合について説明した。しかし、これらの処理動作の両方又は一方を、光学ユニット装置１１０側に搭載したプロセッサや専用の処理回路を用いて実行しても良い。この場合、ボード１１２に投影又は表示される指標の調整画面上の座標を光学ユニット装置１１０が知っている必要がある。調整画面上における座標は、光学ユニット装置１１０に内蔵されていても良いし、端末装置１１４から与えられても良い。
〔他の実施例〕
　前述したように、本発明は、上述した実施例に限定されるものでなく、様々な変形例を含む。例えば、上述した実施例は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の一部を他の実施例の構成要素に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成を追加、削除又は置換することも可能である。
　また、上述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路その他のハードウェアとして実現しても良い。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することにより実現しても良い。すなわち、ソフトウェアとして実現しても良い。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、SSD（Solid State Drive）等の記憶装置、ICカード、SDカード、DVD等の記憶媒体に格納することができる。
　また、制御線や情報線は、説明上必要と考えられるものを示すものであり、製品上必要な全ての制御線や情報線を表すものでない。実際にはほとんど全ての構成が相互に接続されていると考えて良い。
　１００…光学ユニット装置
　１０１、１０２…ＬＥＤ
　１０３、１０４…ＬＥＤ光
　１０５…再帰反射部材
　１０６…ポインティングデバイス
　１０７、１０８…反射光
　１０９、１１０…光学カメラ
　１１１…メモリ
　１１２…ボード
　１１３…投影画面
　１１４…端末装置
　１１５…投影装置
　２０１…撮影画像
　２２３…直接反射光領域
　２２４…間接反射光領域
　２２５…ギャップ
　１０７１…直接反射光
　１０７２…間接反射光

Claims (7)

  1. 　一対の光源装置及び一対の光学カメラを備えた光学ユニット装置と、前記一対の光学カメラで取得された一対の撮影画像を光学ユニット装置から受信する端末装置とで構成される電子ボードシステムにおいて、
    　前記端末装置は、
    　投影面又は表示面上に表示された指標に、再帰反射部材を有するポインティングデバイスが接地又は接触した状態における一対の撮影画像を取得する取得部と、
    　前記一対の撮影画像のそれぞれから高さの範囲が異なる部分画像を順番に抽出し、各部分画像に現われる反射光パターンより各指標の座標位置に対応する基準高さを検出する検出部と、
    　検出された基準高さを記憶部に登録する登録部と
    　を有することを特徴とする電子ボードシステム。
  2. 　請求項１に記載の電子ボードシステムにおいて、
    　前記端末装置は、
    　前記投影面又は表示面上に前記指標を複数配置し、各指標に対応する領域について基準高さ又は特定の基準高さに対する補正高さを設定する設定部を有する
    　ことを特徴とする電子ボードシステム。
  3. 　請求項２に記載の電子ボードシステムにおいて、
    　前記端末装置は、
    　最初に、前記投影面又は表示面の中央位置に位置する指標についての基準高さを調整し、続いて、前記投影面又は表示面の４隅に対応する指標について順番に前記基準高さに対する前記補正高さを設定する
    　ことを特徴とする電子ボードシステム。
  4. 　請求項２に記載の電子ボードシステムにおいて、
    　前記端末装置は、
    　複数の前記指標の間に位置する領域に対する補正高さを、各指標に対応する前記基準高さ及び前記補正高さ間又は複数の前記補正高さ間の線型補間値として算出する
    　ことを特徴とする電子ボードシステム。
  5. 　請求項２に記載の電子ボードシステムにおいて、
    　前記端末装置は、
    　複数の前記指標のそれぞれについて前記基準高さ又は前記補正高さを検出する際に、前記指標に接地又は接触した前記ポインティングデバイスの検出座標を求める検出部と、
    　前記指標の既知の座標と前記検出座標とを比較し、端末装置側の座標系と検出座標系とのずれを補正する補正部と
    　を有することを特徴とする電子ボードシステム。
  6. 　再帰反射部材を有するポインティングデバイスと共に電子ボードシステムを構成する光学ユニット装置において、
    　一対の光源装置と、
    　一対の光学カメラと、
    　投影面又は表示面上に表示された指標に、再帰反射部材を有するポインティングデバイスが接地又は接触した状態における一対の撮影画像を取得する取得部と、
    　前記一対の撮影画像のそれぞれから高さの範囲が異なる部分画像を順番に抽出し、各部分画像に現われる反射光パターンより各指標の座標位置に対応する基準高さを検出する検出部と、
    　検出された基準高さを記憶部に登録する登録部と
    　を有することを特徴とする光学ユニット装置。
  7. 　一対の光源装置及び一対の光学カメラを備えた光学ユニット装置と、端末装置とで構成される電子ボードシステムに搭載されるコンピュータに、
    　投影面又は表示面上に表示された指標に、再帰反射部材を有するポインティングデバイスが接地又は接触した状態における一対の撮影画像を取得する処理と、
    　前記一対の第２の撮影画像のそれぞれから高さの範囲が異なる部分画像を順番に抽出させ、各部分画像に現われる反射光パターンより各指標の座標位置に対応する基準高さを検出させる処理と、
    　検出された基準高さを記憶部に登録させる処理と
    　を実行させるプログラム。
PCT/JP2013/054375 2012-09-27 2013-02-21 電子ボードシステム、光学ユニット装置及びプログラム WO2014050161A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-213342 2012-09-27
JP2012213342A JP2014067318A (ja) 2012-09-27 2012-09-27 電子ボードシステム、光学ユニット装置及びプログラム

Publications (1)

Publication Number Publication Date
WO2014050161A1 true WO2014050161A1 (ja) 2014-04-03

Family

ID=50387587

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/054375 WO2014050161A1 (ja) 2012-09-27 2013-02-21 電子ボードシステム、光学ユニット装置及びプログラム

Country Status (2)

Country Link
JP (1) JP2014067318A (ja)
WO (1) WO2014050161A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116719435A (zh) * 2022-06-06 2023-09-08 广州众远智慧科技有限公司 拼接式黑板的红外扫描控制方法、装置及拼接式黑板

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001084092A (ja) * 1999-09-10 2001-03-30 Ricoh Co Ltd 座標入力装置
JP2003122494A (ja) * 2001-10-18 2003-04-25 Ricoh Co Ltd 座標入力／検出装置及び座標入力／検出方法
JP2003241872A (ja) * 2002-02-20 2003-08-29 Ricoh Co Ltd 描画処理方法、その方法によったプログラムおよびそのプログラムを記憶した記憶媒体
JP2003330612A (ja) * 2002-05-13 2003-11-21 Ricoh Co Ltd 情報入出力システム、プログラムおよび記憶媒体
JP2008176802A (ja) * 1998-05-11 2008-07-31 Ricoh Co Ltd 座標入力／検出装置および電子黒板システム
JP2011159270A (ja) * 2010-01-07 2011-08-18 Panasonic Corp 位置検出装置
JP2012068892A (ja) * 2010-09-24 2012-04-05 Hitachi Solutions Ltd 光学式位置検出装置及び再帰性反射板ユニット
JP2012221060A (ja) * 2011-04-05 2012-11-12 Hitachi Solutions Ltd 可搬可能な電子黒板システムにおける再帰性反射材の設置支援方法及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008176802A (ja) * 1998-05-11 2008-07-31 Ricoh Co Ltd 座標入力／検出装置および電子黒板システム
JP2001084092A (ja) * 1999-09-10 2001-03-30 Ricoh Co Ltd 座標入力装置
JP2003122494A (ja) * 2001-10-18 2003-04-25 Ricoh Co Ltd 座標入力／検出装置及び座標入力／検出方法
JP2003241872A (ja) * 2002-02-20 2003-08-29 Ricoh Co Ltd 描画処理方法、その方法によったプログラムおよびそのプログラムを記憶した記憶媒体
JP2003330612A (ja) * 2002-05-13 2003-11-21 Ricoh Co Ltd 情報入出力システム、プログラムおよび記憶媒体
JP2011159270A (ja) * 2010-01-07 2011-08-18 Panasonic Corp 位置検出装置
JP2012068892A (ja) * 2010-09-24 2012-04-05 Hitachi Solutions Ltd 光学式位置検出装置及び再帰性反射板ユニット
JP2012221060A (ja) * 2011-04-05 2012-11-12 Hitachi Solutions Ltd 可搬可能な電子黒板システムにおける再帰性反射材の設置支援方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116719435A (zh) * 2022-06-06 2023-09-08 广州众远智慧科技有限公司 拼接式黑板的红外扫描控制方法、装置及拼接式黑板
CN116719435B (zh) * 2022-06-06 2024-05-14 广州众远智慧科技有限公司 拼接式黑板的红外扫描控制方法、装置及拼接式黑板

Also Published As

Publication number Publication date
JP2014067318A (ja) 2014-04-17

Similar Documents

Publication Publication Date Title
JP5680976B2 (ja) 電子黒板システム及びプログラム
JP4820285B2 (ja) 自動位置合わせタッチシステムおよび方法
US20150049063A1 (en) Touch Sensing Systems
US10395389B2 (en) Calibration based on intrinsic parameter selection and a projected calibration target
EP2302491A2 (en) Optical touch system and method
JP2015173428A (ja) 投影システム及び投影方法
KR20100055516A (ko) 개선된 조광을 가진 광학 터치 스크린
JP7145432B2 (ja) 投影システム、画像処理装置および投影方法
US8937593B2 (en) Interactive projection system and method for calibrating position of light point thereof
TWI498792B (zh) 光學觸控系統及觸控顯示系統
CN105700736A (zh) 输入操作检测设备、投影装置、交互白板和数字标识装置
JP2016184362A (ja) 入力装置、入力操作検出方法及び入力操作検出用コンピュータプログラム
WO2014050161A1 (ja) 電子ボードシステム、光学ユニット装置及びプログラム
US20120032921A1 (en) Optical touch system
TWI525507B (zh) 光學觸控系統、觸控偵測方法及電腦程式產品
JP5502771B2 (ja) 電子黒板システム及びプログラム
TWI528247B (zh) 觸控點感測方法及光學觸控系統
JP2018055685A (ja) 情報処理装置、その制御方法、プログラム、および記憶媒体
TWI498790B (zh) 多點觸控系統與多點觸控訊號處理方法
US20170052642A1 (en) Information processing apparatus, information processing method, and storage medium
US10310668B2 (en) Touch screen display system and a method for controlling a touch screen display system
US20120038765A1 (en) Object sensing system and method for controlling the same
US10073561B2 (en) Touch apparatus and correction method thereof
JP5623966B2 (ja) 可搬可能な電子黒板システムにおける再帰性反射材の設置支援方法及びプログラム
US20170124688A1 (en) Image processor, image processing method, and measuring apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13840871

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13840871

Country of ref document: EP

Kind code of ref document: A1