WO2010137192A1 - 操作情報入力システム及び方法 - Google Patents

操作情報入力システム及び方法 Download PDF

Info

Publication number
WO2010137192A1
WO2010137192A1 PCT/JP2009/070209 JP2009070209W WO2010137192A1 WO 2010137192 A1 WO2010137192 A1 WO 2010137192A1 JP 2009070209 W JP2009070209 W JP 2009070209W WO 2010137192 A1 WO2010137192 A1 WO 2010137192A1
Authority
WO
WIPO (PCT)
Prior art keywords
operation information
light
information input
input member
polarized light
Prior art date
Application number
PCT/JP2009/070209
Other languages
English (en)
French (fr)
Inventor
英樹 小池
俊樹 佐藤
暖子 間宮
Original Assignee
国立大学法人電気通信大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人電気通信大学 filed Critical 国立大学法人電気通信大学
Priority to JP2011515836A priority Critical patent/JP5435509B2/ja
Publication of WO2010137192A1 publication Critical patent/WO2010137192A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/286—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising for controlling or changing the state of polarisation, e.g. transforming one polarisation state into another
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected

Definitions

  • the present invention relates to an operation information input system and method, and is particularly suitable for application to a configuration in which an operation input means is interposed in an optical path between an imaging light source using linearly polarized light and an imaging apparatus.
  • Patent Document 1 proposes a configuration in which the image is picked up by an image pickup device (CCD camera) provided with a polarization filter in the incident optical path portion.
  • CCD camera image pickup device
  • a transparent sheet made of a polarizing plate describing operation information that an operator wants to input is placed on an imaging light source, for example, in an optical path between a linearly polarized imaging light source and an imaging device.
  • the imaging device By changing the polarization angle of the projection light from the imaging light source, only the projection light portion of the polarization angle that has passed through the transparent sheet can be transmitted through the polarization filter of the imaging device. Thus, when the operator does not place the transparent sheet on the linearly polarized imaging light source, the imaging device cannot read the projection light because the linearly polarized projection light of the linearly polarized imaging device is blocked by the polarization filter. become.
  • the imaging apparatus can read the input information described on the transparent sheet as one of the operation input information of the operator, and the linearly polarized imaging light source
  • the position information indicating the position where the operator places the transparent sheet can be read as other operation input information of the operator.
  • the operator inputs as the operation input information.
  • Input operation information based on operator actions such as touching a predetermined position on a linearly polarized light source with a finger, pressing, or changing a shape of a predetermined shape. If it is possible to do so, it is considered that the convenience of the man-machine system can be further enhanced.
  • the present invention has been made in consideration of the above points, and an object of the present invention is to propose an operation information input system and method capable of reliably inputting operation information based on the operation of the operator.
  • the linearly polarized imaging light source 4 that emits linearly polarized projection light 10A that is linearly polarized light, and the linearly polarized projection light 10A is converted into circularly polarized light and emitted as circularly polarized light 10B.
  • a quarter-wave plate 11 for conversion and a photoelastic material that is transparent and has a photoelastic effect are transmitted through the deformed portion 22 that has been transformed by applying pressure to the light converted into the circularly polarized converted light 10B.
  • the operation information input member 12 that converts the circularly polarized light 10B into elliptically polarized light and emits it as a modified elliptically polarized light 10F by birefringence, and the circle that is emitted from the conversion quarter-wave plate 11
  • the polarization-converted light 10B and the circularly-polarized converted light 10B pass through the non-deformed portion 23 of the operation information input member 12 and the undeformed circularly-polarized converted light 10D emitted from the operation information input member 12 is linearly converted.
  • the light is converted back to light and sequentially emitted as first and second linearly polarized light inversely converted lights 10C and 10E, and the modified elliptically polarized light converted 10F is emitted as elliptically polarized light inversely converted light 10G without being converted back to linearly polarized light.
  • An imaging device 15 that receives the transmitted light 10H and obtains an imaging signal S2 having an operation information display region 22X representing a user input operation to the operation information input member 12 is provided.
  • the linearly polarized projection light emitted from the linearly polarized imaging light source is obtained.
  • FIG. 1 is a schematic perspective view showing an operation information input system according to a first embodiment of the present invention.
  • FIG. 2 is a partial perspective view for explaining how to set the operation information input member 12 of FIG.
  • FIG. 3 is a perspective view showing an operation information input member.
  • FIG. 4 is a schematic diagram for explaining a transmission state of projection light from a linearly polarized imaging light source.
  • FIG. 5 is a schematic diagram for explaining an imaging signal output from the imaging apparatus.
  • FIG. 6 is a block diagram illustrating a detailed configuration of the first image processing unit.
  • FIG. 7 is a flowchart illustrating an image processing procedure of the image processing unit.
  • FIG. 8 is a schematic diagram for explaining the captured image data.
  • FIG. 1 is a schematic perspective view showing an operation information input system according to a first embodiment of the present invention.
  • FIG. 2 is a partial perspective view for explaining how to set the operation information input member 12 of FIG.
  • FIG. 3 is a perspective view showing an operation information input member.
  • FIG. 9 is a schematic diagram for explaining that the size of the high luminance region changes in accordance with the applied pressure.
  • FIG. 10 is a characteristic curve diagram showing an experimental result on the relationship between the applied pressure and the size of the high luminance region.
  • FIG. 11 is a schematic diagram for explanation when the applied pressure swings in the front-rear direction.
  • FIG. 12 is a schematic diagram for explaining the case where the applied pressure swings left and right.
  • FIG. 13 is a flowchart showing an application program (coloring) execution processing procedure in the subroutine of FIG.
  • FIG. 14 is a schematic perspective view showing an operation information input system as a comparative example.
  • FIG. 15 is a schematic diagram for explanation of a transmitted light transmission state in a comparative example.
  • FIG. 16 is a schematic diagram for explaining the output of the imaging device in the comparative example.
  • FIG. 17 is a plan view showing a character input keyboard according to the second embodiment.
  • FIG. 18 is a plan view showing a character input keyboard display 50 in which a related character display field 53 is displayed around the reference character display field 51.
  • FIG. 19 is a schematic diagram for explaining how to check the pressure direction.
  • FIG. 20 is a flowchart showing an application program (keyboard display) execution processing procedure.
  • FIG. 21 is a plan view showing an electronic musical instrument performance panel according to the third embodiment.
  • FIG. 22 is a schematic diagram showing an operation information input system using an electronic musical instrument performance panel.
  • FIG. 23 is a flowchart showing an application program (electronic musical instrument performance panel) execution processing procedure.
  • FIG. 24 is a flowchart showing the Gummypad program execution processing procedure of FIG.
  • FIG. 25 is a flowchart showing the execution procedure of the Keyboard program shown in FIG.
  • FIG. 26 is a flowchart showing the LoopTrack program execution processing procedure of FIG.
  • FIG. 27 is a flowchart showing the Button program execution processing procedure of FIG.
  • FIG. 28 is a schematic perspective view showing an operation information input system according to the fourth embodiment.
  • FIG. 29 is a schematic diagram illustrating a detailed configuration of the stereoscopic imaging apparatus.
  • reference numeral 1 denotes an operation information input system as a whole, and an image signal S1 sent from an image processing unit 5 is supplied to a linearly polarized imaging light source 4 having a liquid crystal display 3 in a frame 2.
  • the projection light 10 composed of linearly polarized light is generated.
  • Projection light 10 (which is also referred to as linearly polarized projection light as shown in FIG. 4), which is projected from the linearly polarized imaging light source 4, is sequentially a quarter wavelength plate 11 and an operation information input member.
  • the imaging device 15 generates an imaging signal S2 representing the image content of the received transmitted light and supplies it to the image processing unit 5.
  • a quarter wavelength plate 11 is provided so as to be laminated on the surface of the liquid crystal display 3, and an operation information input member is further provided on the quarter wavelength plate 11. 12 is placed.
  • the quarter-wave plate 11 has two components (that is, a fast axis component and a slow axis component) whose vibration planes are perpendicular to each other, whereas the projection light 10 generated from the liquid crystal display 3 is linearly polarized light.
  • the linearly polarized projection light 10 projected from the liquid crystal display 3 is converted into circularly polarized light by the quarter-wave plate 11 and emitted from the entire surface of the quarter-wave plate 11 toward the imaging device 15 (this straight line).
  • the quarter-wave plate 11 that converts circularly polarized light into polarized light is also referred to as a conversion quarter-wave plate, and the emitted light is also referred to as circularly polarized light.
  • an operation information input member 12 is placed at a position designated by the user.
  • the operation information input member 12 is composed of a transparent elastic body having a photoelastic effect, and as shown in FIG. 3, the operation information input member 12 has an arbitrary thickness and an arbitrary shape according to the content of the operation information that the user wants to input. Molded. As shown in FIG. 2, when the user's finger 21 performs a pressing operation from the surface, the operation information input member 12 is deformed by the pressing force and causes birefringence to the circularly polarized light incident on the deformed portion 22.
  • the operation information input member 12 changes the polarization characteristics of light transmitted through the deformed portion 22 of the incident circularly polarized light (this is generally called a photoelastic effect). Since the operation information input member 12 transmits the circularly polarized light incident on the non-deformed portion 23 other than the deformed portion 22 out of the incident circularly polarized light without changing the polarization characteristic, it is incident on the operation information input member 12.
  • the quarter wavelength plate 13 reversely converts the circularly polarized light 10 ⁇ / b> B converted into the circularly polarized light by the conversion quarter wavelength plate 11 out of the basically incident light into linearly polarized light.
  • the polarization filter 14 having the polarization characteristic orthogonal thereto.
  • the modified elliptically polarized light 10 ⁇ / b> F emitted from the deformed portion 22 deformed by the user's finger 21 has a polarization characteristic. Since the circularly polarized light is changed to the elliptically polarized light, the elliptically polarized light inversely converted light 10G that cannot return to the circularly polarized light is transmitted through the reverse conversion quarter-wave plate 13, so that it passes through the polarizing filter 14. Then, it enters the imaging device 15 as transmitted light 10H. Thus, the imaging signal S2 obtained from the imaging device 15 is only the transmitted light 10H that has been transmitted through the polarizing filter 14 shown in FIG.
  • the operation information input member 12 of the circularly polarized converted light 10B is converted.
  • the light that does not pass is reversely converted into linearly polarized light by the reverse conversion quarter-wave plate 13, and when the linearly polarized reverse-converted light 10 ⁇ / b> C enters the polarizing filter 14, it is blocked without being transmitted through the polarizing filter 14.
  • the undeformed circularly polarized light 10D transmitted through the undeformed portion 23 of the operation information input member 12 remains circularly polarized because the polarization characteristics are not changed by the operation information input member 12.
  • the light is incident on the reverse conversion quarter-wave plate 13 to be converted back into linearly polarized light, enters the polarization filter 14 as the linearly polarized light inversely converted light 10E, and is blocked without being transmitted through the polarization filter 14.
  • the circularly polarized light 10B converted into circularly polarized light by the conversion quarter-wave plate 11 the light transmitted through the deformed portion 22 of the operation information input member 12 deformed by the user's finger 21 is deformed.
  • the light is converted into elliptically polarized light by the birefringence of the portion 22 and is incident on the inverse conversion quarter-wave plate 13 as the modified elliptically polarized light 10F.
  • the inverse conversion 1 ⁇ 4 wavelength plate 13 does not reversely convert the deformed elliptically polarized light 10F into linearly polarized light but makes it enter the polarizing filter 14 as elliptically polarized reversely converted light 10G.
  • the reverse polarization converted light 10G cannot be blocked, and is incident on the imaging device 15 as transmitted light 10H. As shown in FIG.
  • the imaging signal S ⁇ b> 2 obtained from the imaging device 15 includes an image 21 ⁇ / b> X of the user's finger and a bright high-luminance region that has passed through the deformed portion 22 of the operation information input member 12 deformed by the user's finger.
  • An image 22X of the deformed part is included as an image that can be viewed by the user.
  • the image 21X of the user's finger is obtained by reflecting external light to the finger, so that a dark region is formed, and the user's finger is pressed among the deformed portions of the operation information input member 12.
  • the deformed portion image 22X is eventually the user's finger among the portions that are deformed by the force applied from the user's finger.
  • the image is captured as a high brightness area adjacent to the periphery of the video 21X.
  • the periphery of this visible image is linearly polarized light inversely converted light 10E based on light that has passed through a portion of the operation information input member 12 that has not been deformed, and linearly polarized light inversely converted light that has not passed through the operation information input member 12.
  • the background image 23X shielded by the polarizing filter 14 is obtained.
  • the image processing section 5 includes an operation information display portion representing information of the input operation mode, and the image processing section 5 converts the image pickup signal S2 into the image pickup signal S2 when the central processing unit (CPU) 31 shown in FIG. 6 executes the image processing procedure RT0 of FIG. Capture the included operation information.
  • CPU central processing unit
  • the CPU 31 of the image processing unit 5 fetches the program in the ROM configuration program memory 33 from the imaging device 15 via the input interface 35 by executing the program in the ROM configuration program memory 33 using the RAM configuration operation memory 34 via the bus 32. Image processing is performed on the imaging signal S2, and the image processing result is stored in the operation memory 34 or the hard disk storage device 36.
  • the CPU 31 When the user inputs an image processing command through the operation input unit 41, the CPU 31 enters the image processing procedure RT0, and in step SP1, based on the imaging signal S2, the plane coordinates (x, y) of the linearly polarized imaging light source 4 and After the adjustment process for determining the correspondence with the plane coordinates (x, y) of the image pickup device 15, an image is taken at, for example, a shutter speed of 5 [msec], and then the taken image data is stored in the operation memory 34 in step SP2. take in. As shown in FIG. 8A, the CPU 31 first stores a captured image in which no pressure is applied to the operation information input member 12 in the operation memory 34 as the background image P1 before starting the processing of the image processing procedure RT0.
  • a captured image obtained by preloading and applying pressure to the operation information input member 12 is captured as a pressure applied image P2 as shown in FIG. 8B
  • the difference between the pressure applied image P2 and the background image P1 is calculated.
  • a binarized image P3 as shown in FIG. 8C is obtained and stored in the image data memory 42 as photographed image data.
  • a binarized image P3 represented by the luminance level is obtained.
  • the CPU 31 confirms whether or not the high luminance area has been extracted in the next step SP3, and when an affirmative result is obtained, the CPU 31 proceeds to the next step SP4 to determine the position (centroid of the high luminance area X). ) Calculate the area and brightness.
  • the pressure application image P2 (FIG. 8B) is displayed on the display unit 43, the circumscribed frame W1 of the bright image portion is set, and the region in the circumscribed frame W1 is defined as the high luminance region X.
  • a binarized image P3 is obtained.
  • the CPU 31 calculates the position (center of gravity), area, and luminance based on the extracted high luminance area circumscribing frame W1.
  • the CPU 31 stores the position (center of gravity), area, and luminance of the high luminance region X calculated in this way in the high luminance region information memory 44 as high luminance region information in the next step SP5.
  • the high luminance area information is stored in three groups of luminance 100 to 149, 150 to 199, 200 or more according to luminance, for example, if the luminance group is different, the operation information It can be recognized that there is a difference in the magnitude of the pressure applied to the input member 12.
  • step SP6 the CPU 31 calculates the applied pressure direction and pressure displacement based on the time-series information in the high luminance area information memory 44.
  • the amount of change in the area of the high luminance region, the amount of change in the center of gravity position, and the amount of change in the high luminance position are detected as time-series information to be calculated.
  • the CPU 31 can recognize that the pressure applied to the operation information input member 12 by the user has changed according to the amount of change in area as one piece of information representing the user's operation mode. For example, as shown in FIG. 9, the CPU 31 changes the state (FIG. 9B) in which the high brightness area X11 is increased from a small information (FIG. 9A) to a medium level like the high brightness area X12. After that, when it is determined that the area has become larger as in the high luminance area X13 (FIG.
  • the operation mode performed by gradually increasing the pressure applied by the user to the operation information input member 12 is the user operation information.
  • the magnitude of the pressure on the operation information input member 12 is taken on the horizontal axis and the area of the high luminance region for each pressure is taken as shown in FIG. It was confirmed that it was almost proportional to the pressure. Further, the amount of change in the center of gravity position can recognize that the user has operated the linearly polarized imaging light source 4 by moving the operation information input member 12 back and forth and right and left.
  • the amount of change in the high-luminance position is changed by changing the pressure direction from front to back and left and right by performing an operation such as swinging the finger placed on the high luminance area back and forth and left and right without moving the position.
  • the CPU 31 can recognize this. For example, as shown in FIGS. 11 (A) and 11 (B), as shown in the high luminance region X22 from the state where the high luminance portion of the high luminance region X21 is greatly spread forward from the finger (FIG. 11 (A)). If it has changed as if it has moved backward from the finger (FIG. 11B), the CPU 31 changes the pressure direction to the front-rear direction by performing an operation such as the user swinging the finger back and forth. Can be recognized. Also, as shown in FIGS.
  • CPU 31 can recognize that the user has performed an operation to swing the finger to the left or right. In the case of this embodiment, the CPU 31 can obtain input information from the user in the above-described steps SP1 to SP6. Therefore, as an example of the application program, the CPU 31 has already input it in the application program execution subroutine RT1 (FIG. 7). It is possible to execute a process for coloring the high luminance area.
  • the CPU 31 sets the barycentric position (x, y) to the color area (x in step SP11 in accordance with the application program execution processing procedure RT1 of FIG. 1-n , Y 1-n It is determined whether or not the position is above, and if a positive result is obtained, the center of gravity position (x, y) is stored in the color setting memory 45 (FIG. 6) in step SP12. More specifically, the color region (x 1-n , Y 1-n ) Is set as a plurality of color areas, for example, one area (x 2 , Y 2 : Blue) When there is a center of gravity position (x, y), blue is set as color information described later.
  • step SP11 if a negative result is obtained in step SP11, the CPU 31 proceeds to step SP13, and after reading the setting information, that is, the color information and the center of gravity, area, and pressure information from the color setting memory 45 and the hard disk storage device 36, In the next step SP14, the center of gravity (x, y) is colored based on the color, area, and pressure information, and then the image signal S1 is transmitted via the output interface 49. As a result, the CPU 31 displays on the liquid crystal display 3 an image in which the high luminance area input by the operation information input member 12 is colored. Thus, the CPU 31 ends the application program execution subroutine RT1 in step SP15 and returns to the image processing procedure RT0 which is the main routine.
  • the setting information that is, the color information and the center of gravity, area, and pressure information
  • the CPU 31 displays on the liquid crystal display 3 an image in which the high luminance area input by the operation information input member 12 is colored.
  • the CPU 31 determines whether or not to end the processing of the image processing procedure RT0 in step SP21 following the application program processing RT1, and when the user has not issued an end command by the operation input unit 41, the above-described step SP1. The process returns to step SP1 to SP6 and subroutine RT1 again. On the other hand, when a positive result is obtained in step SP21, the CPU 31 ends the image processing procedure RT0 in step SP22.
  • the operation information input member 12 is provided between the linearly polarized imaging light source 4 and the imaging device 15, and a transparent member that causes a photoelastic effect is used as the operation information input member 12.
  • the imaging device captures an image 22X of a deformed portion having a high-luminance region that changes in accordance with the operation operation. 15 can be generated in the imaging signal S2 obtained in FIG. Since the brightness, area, and barycentric position of the high-brightness region change according to the user input operation, the user's information input operation is expressed as an imaging signal S2 obtained from the imaging device 15 without any excess or deficiency. An imaging signal S2 can be generated. Therefore, it is possible to realize an operation information input system that is multi-functional as a user interface function and is therefore highly convenient.
  • (2) Comparative example As a comparative example with respect to the embodiment of FIG. 1, as shown in FIG.
  • the quarter wavelength plate 11 provided in the embodiment of FIG. 1 An operation information input system 1X in which 13 is omitted can be considered.
  • the portion of light that does not pass through the operation information input member 12 and the operation information in the linearly polarized projection light 10A projected from the linearly polarized imaging light source 4 The portion of the light that passes through the non-deformed portion of the input member 12 enters the polarizing filter 14 without being changed in its polarization characteristics, and is blocked by the polarizing filter 14.
  • the linearly polarized light projection light 10A the light transmitted through the deformed portion of the operation information input member 12 is converted into the deformed elliptically polarized light 10J in principle by the action of birefringence and is incident on the polarization filter 14. By doing so, it enters the imaging device 15 as transmitted light 10K.
  • the linearly polarized projection light 10A becomes elliptically polarized light. It may not be possible.
  • the linearly polarized light of the linearly polarized projection light 10A has a vibration surface parallel to the fast axis or the slow axis of birefringence. There is a case. At this time, linearly polarized light that does not become elliptically polarized light in the linearly polarized projection light 10 ⁇ / b> A passes through the deformed portion of the operation information input member 12 as it is, enters the polarizing filter 14, and is blocked by the polarizing filter 14. As shown in FIG.
  • the imaging signal S2 of the imaging device 15 results in a striped region 22Z that does not appear depending on the direction of pressure applied by the image 21Y of the user's finger. This is a problem because the imaging signal S2 representing the input operation of the image 21Y of the user's finger cannot be obtained.
  • the problem that occurs in the comparative example of FIG. 14 is that, in the embodiment described above with reference to FIG. 1, the pair of quarter-wave plates 11 and 13 are provided so as to sandwich the operation information input member 12. Since the light transmitted through the deformed portion of the operation information input member 12 becomes circularly polarized light, the transmitted light 10H (FIG. 4) that reliably represents the birefringence caused by the deformation of the operation information input member 12 can be obtained. can be solved.
  • the operation information input member 12 is directly placed on the liquid crystal display 3 (FIG. 2).
  • the operation information input member 12 is a liquid crystal display. 3 may be operated by floating without being placed directly on the screen 3. In short, the user may perform a deformation operation on the operation information input member 12 in the space between the pair of quarter-wave plates 11 and 13. .
  • (3-2) In the above-described embodiment, the case where the liquid crystal display 3 is provided in the frame 2 installed in the horizontal direction has been described. However, the liquid crystal display 3 is not provided in the horizontal direction. The display surface may be inclined obliquely or may be erected in the vertical direction. (3-3) In the above-described embodiment, the projection light is obtained from the liquid crystal display 3.
  • the present invention is not limited to this, and a straight line that produces projection light projected from a surface light source that produces linearly polarized light as projection light.
  • a polarized imaging light source may be used.
  • the position where the user touches the screen of the liquid crystal display 3 via the operation information input member 12 can be obtained as operation input information.
  • the operation input information when a plurality of points are touched, the operation input information of the plurality of points can be input simultaneously. Further, the pressure when touched at each point can be input as the size of the high luminance region.
  • the 3D model browsing application is executed by performing processing to rotate the 3D solid model in various directions. Also good.
  • Second embodiment 17 to 20 show the second embodiment.
  • the CPU 31 executes the application program (keyboard display) execution processing procedure of FIG. 20 instead of FIG. 13 as the application execution processing program RT1 of FIG.
  • RT1B By executing RT1B, a more compact character input keyboard can be realized.
  • the image processing unit 5 displays the character input keyboard display 50 shown in FIG. 17 on the liquid crystal display 3 (FIG.
  • the character input keyboard display 50 displays hiragana characters or
  • the user can use the liquid crystal display 3 to input characters for English characters or numbers.
  • the character input keyboard display 50 has a configuration in which a plurality of reference character display columns 51 arranged in a compact manner are arranged at the center of the liquid crystal display 3 at the center of the displayed circular display frame 50A.
  • the hiragana characters arranged and displayed in the order of “Aiueo” are presented to the user by displaying some representative characters of all the characters in the reference character display field 51, so that the user can display all hiragana characters. Characters can be input using the character input keyboard display 50.
  • step SP21 the gravity center position (x, y) is on the character type change key. If a positive result is obtained, the process changes to the designated character type in step SP22 and the process returns to step SP21.
  • the “calculator” column 52A and the “ABC123” column 52B are provided as the character type change keys, and when the center of gravity position of the high brightness area is above these character type change keys, the CPU 31 performs the reference.
  • the character type displayed in the character display field 51 is changed.
  • the CPU 31 proceeds to step SP23 and determines whether or not the gravity center position of the luminance area is on any one of the character keys in the reference character display column 51. If an affirmative result is obtained here, this means that the user has designated the input of the character of the character key.
  • the CPU 31 moves to step SP24, and as shown in FIG.
  • a related character display field 53 is displayed at the vertical and horizontal positions of the reference character display field 51 of the key.
  • the user designates the reference character display field 51 of the hiragana character “A”, and the CPU 31 displays four related characters adjacent to each other at the front, rear, left, and right positions of the designated reference character display field 51.
  • the display field 53 is added to the character input keyboard display 50.
  • the character “A” is the first character of the “A” line of the 50-sound index, other characters “I”, “U”, “E”, “O” is displayed.
  • the CPU 31 provides the related character display field 53 representing the other four characters related to the character of the reference character display field 51 designated by the user, so that the user can display one of the characters displayed in the reference character display field 51.
  • the four characters displayed in the related character display field 53 can be selected and specified.
  • the CPU 31 determines whether or not the gravity center position of the luminance area has changed vertically and horizontally. If a negative result is obtained, this means that the user does not change the pressure direction with respect to the operation information input member 12 in a state where the character “A” in the reference character display field 51 is designated.
  • step SP26 When the CPU 31 determines that the user has designated the character “A” displayed in the reference character display field 51, the CPU 31 moves to step SP26 and takes in the designated input from the designated character key. On the other hand, when an affirmative result is obtained in step SP25, this means that the direction of the pressure applied by the user to the operation information input member 12 has been changed (oscillated) to any one of up, down, left and right. At this time, the CPU 31 determines that one of the four related character display fields 53 has been designated by the user, and takes in a character key designation input in the related character display field 53.
  • the CPU 31 determines whether or not the end key is pressed in the next step SP28, and when a negative result is obtained, the CPU 31 proceeds to the above-described step SP21. Return and repeat the process for the next specified character.
  • the CPU 31 returns to the main routine RT10 (FIG. 7) in step SP29, assuming that the application program (keyboard display) execution processing procedure has been completed. As shown in FIG.
  • the CPU 31 confirms the pressure application direction with respect to the operation information input member 12 by the user, with the barycentric position of the high luminance region as the reference point P1, and two orthogonal to each other passing through the reference point P1
  • the confirmation boundary lines L1 and L2 By setting the confirmation boundary lines L1 and L2 and determining whether the moving point P2 of the center of gravity of the high luminance region caused by the user's pressure direction is above or below the confirmation boundary lines L1 and L2,
  • the movement region of the movement point P2 from the reference point P1 is in the upper pressure confirmation region M1, the right pressure confirmation region M2, the lower pressure confirmation region M3, or the left pressure confirmation region M4. Determine if there is.
  • the movement process from the reference point P1 exceeds the threshold value t, it is grasped as a change in the pressure direction, and if it does not exceed the threshold value t, it is determined that the center of gravity of the high luminance region is at the reference point P1.
  • the user's finger operation has occurred in either the upper, lower, left, or right direction. It can be recognized without moving (moving to shift). As a result, even if the input operation surface becomes small, it is possible to reliably perform an operation on the input character adjacent to the designated input character.
  • the input keys can be made more compact.
  • the input operation can be performed.
  • the character input keyboard display 50 is displayed at a predetermined position.
  • the present invention is not limited to this, and the position and angle of the operation information input member 12 shown in FIG.
  • the character input keyboard display 50 can be displayed in accordance with the detected position and angle. For example, as described in the patent document (Japanese Patent Laid-Open No.
  • FIGS. 21 to 27 show the third embodiment.
  • the CPU 31 executes the application program (electronic musical instrument performance panel) execution processing procedure RT1C shown in FIG. 23 as the application program execution processing procedure RT1 of FIG. .
  • the operation information input system 1 attaches the same reference numerals to the parts corresponding to those in FIGS. 1 and 4 and, as shown in FIG. 22, the quarter-wave plate 11 for conversion and the operation information input on the liquid crystal display 3.
  • the electronic musical instrument performance panel 61 having a configuration in which the members 12 are stacked is provided, and the projection light LT emitted from the electronic musical instrument performance panel 61 is operated by the user in the space between the electronic musical instrument performance panel 61 and the imaging device 15.
  • Auxiliary operation information input member 12X that is moved or deformed by is interposed.
  • the auxiliary operation information input member 12X is made of a transparent elastic body having a photoelastic effect, and as shown in FIG. 21, the auxiliary operation information input member 12X has a circular shape so that the user can hold it with a finger. It has a shape.
  • the auxiliary operation information input member 12X passes the projection light LT emitted from the electronic musical instrument performance panel 61 through the operation information input member 12 and passes through the quarter wavelength plate 13 and the polarization filter 14 to the imaging device 15.
  • the auxiliary operation information input member 12X is deformed according to the grasping force of the user, so that the projection light LT having the intensity corresponding to the degree of deformation is incident on the imaging device 15.
  • the projection light LT transmitted through the operation information input member 12 and the auxiliary operation information input member 12X becomes elliptically polarized light.
  • the electronic musical instrument performance panel 61 transmitted through the quarter-wave plate 13 and the polarizing filter 14 and incident on the imaging device 15 and as a result displayed on the liquid crystal display 3 by the image signal S1 given from the image processing unit 5,
  • the imaging device 15 is caused to take an image.
  • the projection light LT emitted from the electronic musical instrument performance panel 61 remains a circularly polarized wave plate. 13 and the polarizing filter 14 make it impossible to enter the imaging device 15.
  • the electronic musical instrument performance panel 61 forms a loop track area 62 in the upper right portion and a keyboard area 63 in the lower right portion.
  • the electronic musical instrument playing panel 61 forms a ganmi pad area 64 in the upper left part and a button area 65 in the lower left part.
  • the loop track area 62 has a function of inputting the rhythm of an electronic musical instrument sound, and displays a circular indicator representing a pre-programmed melody as a series of tracks from the left side to the right side.
  • the loop track area 62 is formed with five types of timbre tracks: bass drum, snare, closed hi-hat, open hi-hat, and bass, from top to bottom.
  • the user presses the circular indicator displayed by the liquid crystal display 3 on the operation information input member 12 of the electronic musical instrument performance panel 61 as desired for the five types of tone tracks displayed in the loop track area 62.
  • the user's operation input information for the five types of timbre tracks is taken into the image processing unit 5 together with the coordinate position information of the electronic musical instrument performance panel 61 by the imaging device 15.
  • the keyboard area 63 has a keyboard indicator.
  • the designated keyboard information is taken into the image processing unit 5 via the imaging device 15. .
  • the user can input a melody by sequentially designating the keyboard indicator, and the input melody is taken in as data of the base track area displayed in the loop track area 62.
  • the ganmi pad area 64 displays a grid-like display line having an X-axis representing the pitch of the sound and a Y-axis representing the gain of the sound as the electronic musical instrument performance panel 61, and an operation information input member obtained by deforming the intersection position. 12 or the auxiliary operation information input member 12X is used to specify the tone color determined by the pitch determined by the X axis and the volume determined by the Y axis, and the operation information input member 12 or auxiliary operation information input at the intersection position.
  • the tempo is designated by the size of the area of the deformation region of the member 12X.
  • the user presses the electronic musical instrument performance panel 61, or the user operates the auxiliary operation information input member 12X to be positioned at the intersection position, so that the three parameters regarding the musical sound, that is, pitch, gain, and tempo. Can be input at a time by one-handed operation of the user.
  • the button area 65 of the electronic musical instrument playing panel 61 can input a so-called button function for switching the scale and tone color of the generated musical tone as a whole, and has a circular indicator having three kinds of colors. Can be input by the operation information input member 12 or the auxiliary operation information input member 12X.
  • the user can play the melody information stored in the base track area of the loop track area 62 from a speaker or the like (not shown) while switching the scale and tone by selecting the color of the circular indicator in the button area 65. can do.
  • the CPU 31 (FIG. 6) of the image processing unit 5 executes the application program (electronic musical instrument performance panel) execution processing procedure RT1C shown in FIG. 23 as the application program execution routine RT1 of the image processing procedure (FIG. 7).
  • the CPU 31 determines whether or not the gravity center position (x, y) of the high luminance area is on the ganmi pad area 64.
  • step SP32 the CPU 31 moves to step SP32 and is shown in FIG.
  • the execution process procedure of the Gummypad program is entered.
  • the CPU 31 confirms in step SP41 that the center of gravity (x, y) of the high luminance area is on the ganmi pad area 64 of the electronic musical instrument playing panel 61, and then moves to step SP42 to specify the ganmi pad area 64 specified by the user.
  • step SP43 The sound effect having the pitch, volume and tempo corresponding to the designated position (x, y) is set, and in step SP43, the Gummypad program execution processing procedure SP32 is terminated, and the process returns to the above-described step SP31.
  • step SP41 if a negative result is obtained in step SP41, this means that the user cannot confirm that the parameter is specified by the ganmi pad area 64.
  • the CPU 31 jumps to step SP42 and The process ends.
  • the sound effect information corresponding to the three parameters can be taken into the image processing unit 5 at a stroke only by the user performing a simple designation operation on the ganmi pad area 64. .
  • step SP31 the CPU 31 proceeds to step SP33 and determines whether or not the barycentric position (x, y) of the high luminance area is on the keyboard area 63. If a positive result is obtained here, the CPU 31 proceeds to step SP34 and enters step SP51 of the Keyboard program execution processing procedure SP34 shown in FIG. In this step SP51, the CPU 31 confirms that the user has designated and operated the keyboard area 63 of the electronic musical instrument playing panel 61. Then, the CPU 31 moves to step SP52 and designated the keyboard display displayed in the keyboard area 63. The sound corresponding to the key is taken into the image processing unit 5 as a volume corresponding to the pressing pressure on the operation information input member 12.
  • step SP53 to confirm whether or not the center of gravity position of the high luminance region is moving in the left-right direction (x direction). If an affirmative result is obtained, the CPU 31 proceeds to SP54 and corresponds to the key. After the process of applying vibrato to the sound to be performed, the process proceeds to step SP55. On the other hand, if a negative result is obtained in step SP53, the CPU 31 proceeds to step SP55 without performing the process of step SP54. In this step SP55, the CPU 31 confirms whether or not the center of gravity position of the high brightness area is moving in the vertical direction (y direction). If an affirmative result is obtained, the CPU 31 moves to step SP56 and sets the pitch of the sound corresponding to the key.
  • step SP57 After performing processing that changes according to the amount of movement in the y direction, the processing of the Keyboard program execution processing procedure SP34 is terminated in step SP57, and the processing returns to step SP31 described above.
  • the CPU 31 ends the execution processing procedure without performing the processing in step SP56. Further, when a negative result is obtained in step SP51 described above, this means that the user cannot confirm that the user is performing an input operation on the key in the keyboard area 63. At this time, the CPU 31 proceeds to step SP57 and proceeds to the step SP57. The processing procedure ends.
  • the CPU 31 captures sound information of the key that has been input, and when the user performs a movement operation in the x direction and / or the y direction, By capturing the effect information for adding the effect and / or the effect of changing the pitch, it is possible to realize a keyboard capable of simultaneously and easily performing the effect of slightly changing the volume and pitch when the user inputs the melody performance information. . If a negative result is obtained in step SP33 in FIG. 23, the CPU 31 proceeds to step SP35 and confirms that the center of gravity position (x, y) of the high luminance area is on the loop track area 62, and then proceeds to step SP36. Then, the LoopTrack program execution processing procedure SP36 shown in FIG.
  • step SP36 the CPU 31 confirms that the barycentric position (x, y) of the high luminance area is on the loop track area 62 in step SP61, and then proceeds to step SP62.
  • the confirmation of this position is to confirm which loop track is selected because the drum, snare, closed hi-hat, open hi-hat and bass loop track are formed as five types of loop tracks.
  • step SP62 the CPU 31 captures the musical instrument sound corresponding to the center of gravity (x, y) at a volume corresponding to the applied pressure, and then ends the LoopTrack program execution processing procedure SP36 in step SP63. Return to SP31.
  • step SP61 when a negative result is obtained in step SP61, it is determined that five types of loop tracks have not been selected, and the execution processing procedure is terminated.
  • the user can easily operate the five types of loop tracks in the loop track area 62 formed on the electronic musical instrument performance panel 61, so that a large number of instrument sounds can be formed. It is possible to realize an operation information input system that can input the parameter information with less operations.
  • step SP35 of FIG. 23 the CPU 31 proceeds to step SP37 to confirm that the barycentric position (x, y) of the high luminance area is on the button area 65, and the Button program shown in FIG. Step SP71 of the execution processing procedure SP38 is entered.
  • the CPU 31 confirms that the barycentric position (x, y) of the luminance area is on the three button indicators in the button area 65 in step SP71, and displays the button in step SP72.
  • the button program execution processing procedure SP38 is terminated in step SP73, and the process returns to the above-described step SP31.
  • the processing procedure SP38 is terminated.
  • the CPU 31 is provided in the end key (operation input unit 41 (FIG. 6) in step SP39 in the application program (electronic musical instrument performance panel) execution processing procedure RT1C of FIG. ) Until it can be confirmed that the user has operated, by the loop of steps SP31-SP33-SP35-SP37-SP39-SP31, the user can select any of the ganmi pad area 64, the keyboard area 63, the loop track area 62, and the button area 65. If the button is operated, operation input information corresponding to the operation can be taken into the image processing unit 5.
  • the user can use the operation information input member 12 or the auxiliary display of the operator indicators in the loop track area 62, keyboard area 63, ganmi pad area 64, and button area 65 of the electronic musical instrument performance panel 61 displayed on the liquid crystal display 3.
  • a simple operation information input system that can simultaneously input and input a plurality of parameters for forming musical tones of an electronic musical instrument with a small number of operations that only require a simple information input operation to deform the operation information input member 12X. it can.
  • Fourth embodiment 28 to 29 show a fourth embodiment. The same reference numerals are assigned to the corresponding parts in FIG. 1, and the image displayed on the liquid crystal display 3 by the image processing unit 5 as shown in FIG.
  • the imaging device 15 can be captured by the imaging device 15, and the image can be captured by the stereoscopic imaging device 15X configured by a stereo camera.
  • the operation information input member 12 provided so as to be stacked on the liquid crystal display 3 described above with reference to FIGS. 1 and 2 is omitted, and instead, the liquid crystal display 3 and the imaging device 15 are omitted.
  • a cube-shaped operation information input member 12Y that can be moved by a user's operation in the space between the 3D imaging device 15X.
  • the stereoscopic imaging device 15X has a left optical system in a three-dimensional coordinate system XYZ centered on the origin O at a position symmetrically separated by a reference distance b about the origin O on the X axis.
  • the left optical center Ol of 15XL is provided, and the right optical center Or of the right optical system 15XR is provided.
  • the left optical system 15XL and the right optical system 15XR image a point on the operation information input member 12Y from the left optical center Ol and the right optical center Or along the lines of sight EL and ER, respectively, as a detection point P (XYZ).
  • the operation information input member 12Y is deformed by being pressed by the user, the projection light transmitted through the operation information input member 12Y is converted from circularly polarized light to elliptically polarized light due to the change in deformation characteristics.
  • the left optical system 15XL and the right optical system 15XR By causing the left optical system 15XL and the right optical system 15XR to capture the high luminance region into the image processing unit 5 as the imaging signal S2X, the coordinates of the detection point P (using the parallax of the left optical system 15XL and the right optical system 15XL) ( X, Y, Z) can be detected.
  • the left optical system 15XL and the right optical system 15XR have the left optical center Ol and the right optical center Or symmetrically provided at positions separated from the origin O by the reference value b on the X axis.
  • the image processing unit 5 can be taken into the image processing unit 5 as information indicating the mass of Z.
  • the image processing unit 5 can be applied as information input means for processing an image displayed on the liquid crystal display 3 in accordance with the deformation operation of the operation information input member 12Y.
  • the deformation detected for the operation information input member 12Y is the same height as the table surface on which the liquid crystal display 3 is provided. When it can be confirmed that the area of the detected region is smaller than the predetermined threshold, it is determined that the operation information input member 12Y makes a light contact on the table.
  • “Strong contact on the table (push-in)” means strong contact on the table when the height of deformation is the same as the height of the table surface and the area of the deformation area is equal to or greater than a predetermined threshold. It is determined that “Crushing with a hand (pinch)” can be identified from the fact that the height of the luminance region is higher than the table surface. Alternatively, “the squeezed high-intensity region becomes elongated”, so that the direction can be obtained from the angle of the inertial support shaft. “Tension with both hands” is the operation with the largest amount of deformation, the high brightness area is at a high position with respect to the table surface, and the minimum inclusion rectangle has a clear difference between the length of the short side and the long side.
  • An index of the amount of tension can be obtained by examining the change in the length of the long side (becomes a rectangle).
  • the direction of stretching is determined from the direction of the inertial support axis in the high luminance region. 28 and 29, when the user picks up the operation information input member 12Y and moves it back and forth, right and left, and up and down, the movement can be recognized as a change in the three-dimensional coordinate value. It can be used for an application example in which the displayed image is processed. For example, in a state where the “photo” is displayed on the liquid crystal display 3, the detailed information of the photo is displayed by picking up the photo, or the photo is printed with a printer by picking up the photo at a higher position. It is also possible to select an operation such as sending by e-mail.
  • the present invention can be used when inputting a user operation and its operation mode as input information for an electronic device.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)

Abstract

ユーザの操作とその動作対応とを操作情報として入力する。操作情報入力部材（１２）の変形部分を透過することにより複屈折された変形楕円偏光変換光（１０Ｆ）に対応する撮像信号（Ｓ２）を得るにつき、これを直線偏光撮像光源（４）から射出される直線偏光投射光（１０Ａ）を変換用１／４波長板（１１）によって一旦円偏光に変換した円偏光変換光（１０Ｂ）を用いるようにしたことにより、逆変換用１／４波長板（１３）及び偏光フィルタ（１４）を透過して得られる変形部分（２２）に対応する操作情報表示領域（２２Ｘ）として、ユーザの入力操作を過不足なく表わしたものを得ることができる。

Description

操作情報入力システム及び方法
　本発明は操作情報入力システム及び方法に関し、特に直線偏光を用いた撮像用光源と撮像装置との間の光路に操作入力手段を介在させた構成のものに適用して好適なものである。
　この種の従来の操作情報入力システムとして、直線偏光でなる投射光を発生する光源として液晶ディスプレイ（ＬＣＤ）を用いたテーブル型の直線偏光撮像光源を用意し、当該直線偏光撮像光源からの投射光を、入射光路部分に偏光フィルタを設けた撮像装置（ＣＣＤカメラ）によって撮像する構成のものが、特許文献１において提案されている。
　この特許文献１の操作情報入力システムは、直線偏光撮像光源と撮像装置との間の光路に、オペレータが入力したい操作情報を記載した偏光板でなる透明シートを例えば撮像光源上に置くことによって、撮像光源からの投射光の偏光角を変更することによって、透明シートを透過した当該偏光角の投射光部分だけを撮像装置の偏光フィルタを透過できるようにする。
　これにより撮像装置は、オペレータが透明シートを直線偏光撮像光源上に置かないときには、直線偏光撮像装置の直線偏光投射光が偏光フィルタによってしゃ光されることにより撮像装置が投射光の読み取りができない状態になる。
　これに対して、直線偏光撮像光源上に透明シートを置いたとき、撮像装置は透明シートに記載された入力情報をオペレータの操作入力情報の１つとして読み取ることができると共に、直線偏光撮像光源に対してオペレータが透明シートを置いた位置を表す位置情報をオペレータの他の操作入力情報として読み取ることができる。
特願２００８−３００４７３明細書及び図面（特開２００９−１５７３６０号公報）
　このように、直線偏光撮像光源と撮像装置との間に所定の偏光角をもつ透明シートを撮像装置を介して認識することができるこの種の操作情報入力システムにおいて、操作入力情報として、オペレータが指で直線偏光撮像光源上の所定の位置を触る操作をしたり、押す操作をしたり、所定の形状のものを変形する操作をしたり、することなどのオペレータの動作に基づく操作情報を入力するようにできれば、マン−マシンシステムとして一段と利便性を高めることができると考えられる。
　本発明は以上の点を考慮してなされたもので、オペレータの動作に基づく操作情報の入力を確実になし得るようにした操作情報入力システム及び方法を提案しようとするものである。
　かかる課題を解決するため本発明においては、直線偏光でなる直線偏光投射光１０Ａを射出する直線偏光撮像光源４と、直線偏光投射光１０Ａを円偏光に変換して円偏光変換光１０Ｂとして射出する変換用１／４波長板１１と、透明で光弾性効果をもつ光弾性材料で構成され、円偏光変換光１０Ｂに変換された光を、ユーザによって圧力を付与されて変形した変形部分２２を透過させたとき複屈折させることにより、円偏光変換光１０Ｂを楕円偏光に変換して変形楕円偏光変換光１０Ｆとして射出する操作情報入力部材１２と、変換用１／４波長板１１から射出される円偏光変換光１０Ｂ及び当該円偏光変換光１０Ｂが操作情報入力部材１２の非変形部分２３を透過して操作情報入力部材１２から射出される非変形円偏光変換光１０Ｄを直線偏光に逆変換して順次第１及び第２の直線偏光逆変換光１０Ｃ及び１０Ｅとして射出すると共に、変形楕円偏光変換光１０Ｆを直線偏光に逆変換せずに楕円偏光逆変換光１０Ｇとして射出する逆変換用１／４波長板１３と、楕円偏光逆変換光１０Ｇを透過させ、かつ第１及び第２の直線偏光逆変換光１０Ｃ及び１０Ｅをしゃ光する偏光フィルタ１４と、偏光フィルタ１４を透過した透過光１０Ｈを入射して操作情報入力部材１２に対するユーザの入力操作を表す操作情報表示領域２２Ｘを有する撮像信号Ｓ２を得る撮像装置１５とを設けるようにする。
　本発明によれば、操作情報入力部材の変形部分を透過することにより複屈折された変形楕円偏光変換光に対応する撮像信号を得るにつき、これを直線偏光撮像光源から射出される直線偏光投射光を変換用１／４波長板によって一旦円偏光に変換した円偏光変換光を用いるようにしたことにより、逆変換用１／４波長板及び偏光フィルタを透過して得られる変形部分に対応する操作情報表示領域として、ユーザの入力操作を過不足なく表わしたものを得ることができる。
　図１は、本発明の第１の実施の形態による操作情報入力システムを示す略線的斜視図である。
　図２は、図１の操作情報入力部材１２の設定の仕方の説明に供する部分的斜視図である。
　図３は、操作情報入力部材を示す斜視図である。
　図４は、直線偏光撮像光源からの投射光の透過状態の説明に供する略線図である。
　図５は、撮像装置から出力される撮像信号の説明に供する略線図である。
　図６は、第１の画像処理部の詳細構成を示すブロック図である。
　図７は、画像処理部の画像処理手順を示すフローチャートである。
　図８は、取り込まれる撮像データの説明に供する略線図である。
　図９は、付与される圧力の大きさに応じて高輝度領域の大きさが変化することの説明に供する略線図である。
　図１０は、付与された圧力と高輝度領域の大きさとの関係についての実験結果を示す特性曲線図である。
　図１１は、付与される圧力が前後方向に揺動した場合の説明に供する略線図である。
　図１２は、付与される圧力が左右に揺動した場合の説明に供する略線図である。
　図１３は、図７のサブルーチンにおけるアプリケーションプログラム（色付け）実行処理手順を示すフローチャートである。
　図１４は、比較例である操作情報入力システムを示す略線的斜視図である。
　図１５は、比較例における投射光透過状態の説明に供する略線図である。
　図１６は、比較例における撮像装置の出力の説明に供する略線図である。
　図１７は、第２の実施の形態の文字入力キーボードを示す平面図である。
　図１８は、基準文字表示欄５１の周囲に関連文字表示欄５３を表示させた文字入力キーボード表示５０を示す平面図である。
　図１９は、圧力方向の確認の仕方の説明に供する略線図である。
　図２０は、アプリケーションプログラム（キーボード表示）実行処理手順を示すフローチャートである。
　図２１は、第３の実施の形態の電子楽器演奏パネルを示す平面図である。
　図２２は、電子楽器演奏パネルを用いた操作情報入力システムを示す略線図である。
　図２３は、アプリケーションプログラム（電子楽器演奏パネル）実行処理手順を示すフローチャートである。
　図２４は、図２３のＧｕｍｍｉｐａｄプログラム実行処理手順を示すフローチャートである。
　図２５は、図２３のＫｅｙｂｏａｒｄプログラム実行処理手順を示すフローチャートである。
　図２６は、図２３のＬｏｏｐＴｒａｃｋプログラム実行処理手順を示すフローチャートである。
　図２７は、図２３のＢｕｔｔｏｎプログラム実行処理手順を示すフローチャートである。
　図２８は、第４の実施の形態の操作情報入力システムを示す略線的斜視図である。
　図２９は、立体撮像装置の詳細構成を示す略線図である。
　以下図面について、本発明の一実施の形態を詳述する。
（１）第１の実施の形態
　図１において、１は全体として操作情報入力システムを示し、枠台２内に液晶ディスプレイ３を設けてなる直線偏光撮像光源４に対して、画像処理部５から送出される画像信号Ｓ１が供給されることにより、直線偏光でなる投射光１０を発生する。
　この直線偏光撮像光源４から投射された直線偏光でなる投射光１０（これを、図４に示すように、直線偏光投射光とも呼ぶ）は、順次、１／４波長板１１、操作情報入力部材１２、１／４波長板１３及び偏光フィルタ１４を透過して撮像装置１５（ＣＣＤで構成されている）に入射できるようになされている。
　かくして撮像装置１５は受光した透過光の画像内容を表す撮像信号Ｓ２を発生して画像処理部５に供給する。
　この実施の形態の場合、図２に示すように、液晶ディスプレイ３の表面に積層するように１／４波長板１１が設けられていると共に、さらに１／４波長板１１上に操作情報入力部材１２が置かれている。
　１／４波長板１１は、液晶ディスプレイ３から発生される投射光１０が直線偏光であるのに対して、その振動面を互いに垂直な２つの成分（すなわち進相軸成分及び遅相軸成分）に分け、進相軸成分に対して遅相軸成分を１／４波長遅らせる複屈折材料で構成されており、枠台２に設けられている液晶ディスプレイ３の表面に貼り付けられている。
　かくして液晶ディスプレイ３から投射される直線偏光投射光１０は、１／４波長板１１によって円偏光に変換されて１／４波長板１１の全表面から撮像装置１５の方向に射出される（この直線偏光から円偏光変換する１／４波長板１１を、図４に示すように、変換用１／４波長板とも呼び、当該射出光を円偏光変換光とも呼ぶ）。
　１／４波長板１１上には、操作情報入力部材１２が、ユーザによって指定された位置に置かれている。
　操作情報入力部材１２は、透明の光弾性効果を有する弾性体によって構成され、図３に示すように、ユーザが入力したいと考えている操作情報の内容に応じて任意の厚み及び任意の形状に成形されている。
　操作情報入力部材１２は、図２に示すように、ユーザの指２１が表面から押付操作をしたとき、その押付力によって変形すると共に、当該変形部分２２に入射した円偏光に複屈折を生じさせることにより、楕円偏光を射出する（この変形部分２２の出射光を、図４に示すように、変形楕円偏光変換光とも呼ぶ）。
　このように操作情報入力部材１２は、入射した円偏光のうち、当該変形部分２２を透過する光の偏光特性を変化させる（これを一般に光弾性効果と呼ぶ）。
　操作情報入力部材１２は、入射した円偏光のうち、変形部分２２以外の非変形部分２３に入射した円偏光には偏光特性の変化を与えないで透過させるので、操作情報入力部材１２に入射した円偏光はその偏光特性に変化を受けることなく１／４波長板１３の方向に射出して行くことになる（この射出光を、図４に示すように、非変形円偏光変換光とも呼ぶ）。
　１／４波長板１３は、図４に示すように、基本的に入射する光のうち、変換用１／４波長板１１によって円偏光に変換された円偏光変換光１０Ｂを直線偏光に逆変換することにより、液晶ディスプレイ３から発生した投射光１０の偏光特性と同じ偏光特性をもたせることにより、これと直交する偏光特性を有する偏光フィルタ１４を透過できなくする。
　これに対して、図４に示すように、操作情報入力部材１２から射出させる光のうち、ユーザの指２１によって変形された変形部分２２から射出する変形楕円偏光変換光１０Ｆは、その偏光特性が円偏光から楕円偏光に変更されていることによって、逆変換用１／４波長板１３を透過する際に、円偏光に戻ることができない楕円偏光逆変換光１０Ｇとなるので、偏光フィルタ１４を透過して透過光１０Ｈとして、撮像装置１５に入射する。
　かくして撮像装置１５から得られる撮像信号Ｓ２は、図４に示す偏光フィルタ１４を透過できた透過光１０Ｈだけになる。
　すなわち、直線偏光撮像光源４から出射した直線偏光投射光１０Ａが変換用１／４波長板１１によって円偏光変換光１０Ｂに変換された後、当該円偏光変換光１０Ｂのうち、操作情報入力部材１２を通らない光は逆変換用１／４波長板１３によって直線偏光に逆変換され、当該直線偏光逆変換光１０Ｃは偏光フィルタ１４に入射したとき偏光フィルタ１４を透過できずにしゃ光される。
　また、円偏光変換光１０Ｂのうち、操作情報入力部材１２の非変形部分２３を透過した非変形円偏光変換光１０Ｄは、操作情報入力部材１２によって偏光特性が変更されないことにより、円偏光のまま逆変換用１／４波長板１３に入射して直線偏光に逆変換され、当該直線偏光逆変換光１０Ｅとして偏光フィルタ１４に入射し、この偏光フィルタ１４を透過できずにしゃ光される。
　さらに、変換用１／４波長板１１によって円偏光に変換された円偏光変換光１０Ｂのうち、ユーザの指２１によって変形された操作情報入力部材１２の変形部分２２を透過した光は、当該変形部分２２の複屈折により楕円偏光に変換されて当該変形楕円偏光変換光１０Ｆとして逆変換用１／４波長板１３に入射する。
　このとき逆変換用１／４波長板１３はこの変形楕円偏光変換光１０Ｆを直線偏光には逆変換できずに楕円偏光逆変換光１０Ｇとして偏光フィルタ１４に入射させるが、偏光フィルタ１４は当該楕円偏光逆変換光１０Ｇをしゃ光できないで透過光１０Ｈとして撮像装置１５に入射させる。
　撮像装置１５から得られる撮像信号Ｓ２は、図５に示すように、ユーザの指の映像２１Ｘと、ユーザの指によって変形された操作情報入力部材１２の変形部分２２を透過した明るい高輝度領域となる変形部分の映像２２Ｘとを、ユーザが目視できる映像として含んでいる。
　この実施の形態の場合、ユーザの指の映像２１Ｘは外光が指に反射して得たものであるので暗い領域を形成し、また操作情報入力部材１２の変形部分のうちユーザの指を押し付けられた部分は撮像装置１５側から見えない黒い背景部分の映像２３Ｘとなるので、結局変形部分の映像２２Ｘとしては、ユーザの指から付与された力によって変形が生じた部分のうち、ユーザの指の映像２１Ｘの周囲に隣接する高輝度領域として撮像される。
　この目視できる映像の周囲は、操作情報入力部材１２のうち変形を受けなかった部分を透過した光に基づく直線偏光逆変換光１０Ｅと、操作情報入力部材１２を透過しなかった直線偏光逆変換光１０Ｃとに対応して、偏光フィルタ１４によってしゃ光された背景部分の映像２３Ｘになる。
　このようにして、撮像信号Ｓ２において高輝度領域でなる明るい変形部分の映像２２Ｘの大きさ及び形状は、ユーザの指２１が操作情報入力部材１２に付与した変形力の位置、強さ及び方向などの入力操作態様の情報を表す操作情報表示部分を含んでおり、画像処理部５は図６に示す中央処理ユニット（ＣＰＵ）３１が図７の画像処理手順ＲＴ０を実行することにより撮像信号Ｓ２に含まれる操作情報を取り込む。
　画像処理部５のＣＰＵ３１は、バス３２を介して、ＲＯＭ構成のプログラムメモリ３３のプログラムを、ＲＡＭ構成の動作メモリ３４を用いて実行することにより、入力インターフェース３５を介して撮像装置１５から取り込んだ撮像信号Ｓ２についての画像処理を実行し、当該画像処理結果を動作メモリ３４又はハードディスク記憶装置３６に蓄積する。
　ＣＰＵ３１は、操作入力部４１によってユーザが画像処理命令を入力したとき、画像処理手順ＲＴ０に入って、ステップＳＰ１において撮像信号Ｓ２に基づいて、直線偏光撮像光源４の平面座標（ｘ、ｙ）と、撮像装置１５の平面座標（ｘ、ｙ）との対応関係を決める調整処理をした後、例えばシャッタ速度５〔ｍｓｅｃ〕で画像を撮影し、続いてステップＳＰ２において撮影画像データを動作メモリ３４に取り込む。
　ＣＰＵ３１は、図８（Ａ）に示すように、まず、操作情報入力部材１２に圧力を加えていない撮像画像を、画像処理手順ＲＴ０の処理を開始する前に、背景画像Ｐ１として動作メモリ３４に予め取り込んでおき、操作情報入力部材１２に圧力を付与した撮影画像を図８（Ｂ）に示すような圧力付与画像Ｐ２として取り込んだとき、圧力付与画像Ｐ２と背景画像Ｐ１との間の差分を求めて当該差分が所定の閾値を越えたとき、図８（Ｃ）に示すような２値化処理画像Ｐ３を得て、これを撮影画像データとして画像データメモリ４２に格納する。
　この実施の形態の場合、背景画像Ｐ１と、変形があった領域との間には約１００個以上の輝度差があるので、当該輝度レベルで表わされる２値化処理画像Ｐ３を得る。
　続いて、ＣＰＵ３１は、次のステップＳＰ３において高輝度領域の抽出ができたか否かの確認をし、肯定結果が得られたとき、次のステップＳＰ４に移って当該高輝度領域Ｘの位置（重心）、面積及び輝度を算出する。
　高輝度領域の抽出は、圧力付与画像Ｐ２（図８（Ｂ））を表示部４３上に表示して明るい画像部分の外接枠Ｗ１を設定し、当該外接枠Ｗ１内の領域を高輝度領域Ｘとして２値化処理画像Ｐ３を得る。
　ステップＳＰ４においてＣＰＵ３１は、当該抽出された高輝度領域外接枠Ｗ１に基づいて、その位置（重心）と、面積と、輝度と、を算出する。
　ＣＰＵ３１は、このようにして算出した高輝度領域Ｘの位置（重心）、面積及び輝度を次のステップＳＰ５において高輝度領域情報として高輝度領域情報メモリ４４に時系列的に保存する。
　この実施の形態の場合、高輝度領域情報の保存は、例えば輝度別に、輝度１００~１４９、１５０~１９９、２００以上の３群に分けて保存されており、かくして輝度群が違えば、操作情報入力部材１２に付与された圧力の大きさに違いがあると認識できる。
　続いてＣＰＵ３１はステップＳＰ６において高輝度領域情報メモリ４４の時系列情報に基づいて、付与された圧力の方向及び圧力の変位を算出する。
　この実施の形態の場合、算出すべき時系列情報として、高輝度領域の面積の変化量、重心位置の変化量、高輝度位置の変化量を検出するようになされている。
　かくして、ＣＰＵ３１は、面積の変化量によって、ユーザが操作情報入力部材１２に対して付与した圧力が変化したことを、ユーザの操作態様を表す１つの情報として認識することができる。
　例えば図９に示すように、ＣＰＵ３１は、高輝度領域Ｘ１１が小さい情報（図９（Ａ））から、高輝度領域Ｘ１２のように中程度にまで大きくなった状態（図９（Ｂ））を経て、高輝度領域Ｘ１３のように大きくなった（図９（Ｃ））と判断したとき、ユーザが操作情報入力部材１２に対して与える圧力を次第に大きくして行った操作態様をユーザの操作情報として認識することができる。
　７名のユーザについての実験によれば、操作情報入力部材１２に対する圧力の大きさを横軸にとりかつ各圧力に対する高輝度領域の面積をとって図１０に示すように、高輝度領域の面積は圧力とほぼ比例することを確認できた。
　また、重心位置の変化量は、ユーザが直線偏光撮像光源４に対して操作情報入力部材１２上を前後左右に移動させた操作動作をしたことを認識させることができる。
　さらに、高輝度位置の変化量は、ユーザが高輝度領域に当てた指を、位置を移動させずに前後左右に揺動させたような操作動作をすることにより圧力方向を前後左右に変更したことをＣＰＵ３１が認識することができる。
　例えば図１１（Ａ）及び（Ｂ）に示すように、高輝度領域Ｘ２１の高輝度部分が指より前方に大きく広がっている状態（図１１（Ａ））から、高輝度領域Ｘ２２に示すように指より後方に移ったように（図１１（Ｂ））変化していれば、ＣＰＵ３１は、ユーザが指を前後に揺動させたような操作動作をすることにより圧力方向を前後方向に変更したと認識することができる。
　また図１２（Ａ）及び（Ｂ）に示すように、高輝度領域Ｘ３１の高輝度部分が指より右側にある状態（図１２（Ａ））から、高輝度領域Ｘ３２に示すように高輝度部分が指より左側に移動した状態（図１２（Ｂ））に変化をしていれば、ＣＰＵ３１は、ユーザが指を左右に揺動させるような操作動作をしたと認識することができる。
　この実施の形態の場合、ＣＰＵ３１は、上述のステップＳＰ１~ＳＰ６においてユーザからの入力情報を得ることができるので、さらにアプリケーションプログラムの一例として、アプリケーションプログラム実行サブルーチンＲＴ１（図７）において、既に入力した高輝度領域に色付けをするような処理を実行することができる。
　アプリケーションプログラム実行サブルーチンＲＴ１に入ると、ＣＰＵ３１は、図１３のアプリケーションプログラム実行処理手順ＲＴ１に従って、ステップＳＰ１１において重心位置（ｘ、ｙ）がカラー領域（ｘ１−ｎ、ｙ１−ｎ）上にあるか否かの判断をし、肯定結果が得られたときステップＳＰ１２においてカラー設定メモリ４５（図６）に当該重心位置（ｘ、ｙ）を保存する。詳述すると、カラー領域（ｘ１−ｎ、ｙ１−ｎ）は、複数の色の領域として設定されており、例えば一の領域（ｘ２、ｙ２：青）上に重心位置（ｘ、ｙ）があるとき、後述のカラー情報として青が設定される。
　その結果ステップＳＰ１１において否定結果が得られると、ＣＰＵ３１は、ステップＳＰ１３に移ってカラー設定メモリ４５及びハードディスク記憶装置３６から設定情報、すなわちカラーの情報及び重心、面積及び圧力の情報を読み出した後、次のステップＳＰ１４において重心（ｘ、ｙ）にカラー、面積及び圧力情報に基づいて色付けをした後、出力インターフェース４９を介して画像信号Ｓ１を送出する。
　この結果、ＣＰＵ３１は、操作情報入力部材１２によって入力した高輝度領域に色付けをした画像が液晶ディスプレイ３上に表示する。
　かくしてＣＰＵ３１は、ステップＳＰ１５において当該アプリケーションプログラム実行サブルーチンＲＴ１を終了してメインルーチンである画像処理手順ＲＴ０に戻る。
　このときＣＰＵ３１は、アプリケーションプログラム処理ＲＴ１に続くステップＳＰ２１において当該画像処理手順ＲＴ０の処理を終了するか否かの判断をし、ユーザが操作入力部４１によって終了命令を出していないときには上述のステップＳＰ１に戻って再度ステップＳＰ１~ＳＰ６及びサブルーチンＲＴ１の処理を繰り返す。
　これに対してステップＳＰ２１において肯定結果が得られたとき、ＣＰＵ３１はステップＳＰ２２において当該画像処理手順ＲＴ０を終了する。
　以上の構成において、直線偏光撮像光源４と撮像装置１５との間に操作情報入力部材１２を設け、当該操作情報入力部材１２として光弾性効果を生じさせる透明な部材を用いるようにしたことにより、操作情報入力部材１２に対してユーザが圧力を付与して変形させるような操作入力動作をすれば、その操作動作に対応して変化するような高輝度領域を有する変形部分の映像２２Ｘを撮像装置１５において得られる撮像信号Ｓ２に生じさせることができる。
　この高輝度領域の輝度、面積及び重心位置は、ユーザの入力操作が変わればこれに応じて変わるので、結局撮像装置１５から得られる撮像信号Ｓ２として、ユーザの情報入力操作を過不足なく表した撮像信号Ｓ２を生成することができる。
　従って、ユーザインタフェースの機能として一段として多機能な従って利便性の大きい操作情報入力システムを実現できる。
（２）比較例
　図１の実施の形態に対する比較例として、図１４に、図１との対応部分に同一符号を付して示すように、図１の実施の形態において設けられていた１／４波長板１１及び１３を省略した操作情報入力システム１Ｘが考えられる。
　この比較例の操作情報入力システム１Ｘにおいては、図１５に示すように、直線偏光撮像光源４から投射される直線偏光投射光１０Ａのうち、操作情報入力部材１２を透過しない光の部分及び操作情報入力部材１２の非変形部分を透過する光の部分は、その偏光特性が変更されることなく偏光フィルタ１４に入射して当該偏光フィルタ１４においてしゃ光される。
　これに対して、直線偏光投射光１０Ａのうち、操作情報入力部材１２の変形部分を透過した光は、その複屈折の作用により、原則として変形楕円偏光光１０Ｊに変換されて偏光フィルタ１４に入射することにより透過光１０Ｋとして撮像装置１５に入射する。
　ところが操作情報入力部材１２の変形部分の複屈折の際に、進相軸又は遅相軸のどちらかに平行な振動面をもつ直線偏光が入射したとき、当該直線偏光投射光１０Ａは楕円偏光にならない場合がある。
　因に、操作情報入力部材１２はユーザの操作によって種々の方向に向けられるので、直線偏光投射光１０Ａの直線偏光が複屈折の進相軸又は遅相軸に平行な振動面をもつ状態になる場合がある。
　このとき、直線偏光投射光１０Ａのうち楕円偏光にならない直線偏光は、操作情報入力部材１２の変形部分をそのまま透過して偏光フィルタ１４に入射して偏光フィルタ１４においてしゃ光される。
　当該撮像装置１５の撮像信号Ｓ２は、図１６に示すように、ユーザの指の映像２１Ｙによって付与される圧力の方向によっては映らない縞状の領域２２Ｚが生じる結果になる。
　このことは、ユーザの指の映像２１Ｙの入力操作を表す撮像信号Ｓ２が得られないことになるので問題である。
　このようにして図１４の比較例において生じる問題は、図１について上述した実施の形態においては、一対の１／４波長板１１及び１３を操作情報入力部材１２を挟み込むように設けたことにより、操作情報入力部材１２の変形部分を透過する光が円偏光になるので、操作情報入力部材１２の変形により生じた複屈折を確実に表した透過光１０Ｈ（図４）を得ることができるので、解決できる。
（３）他の実施の形態
（３−１）上述の第１の実施の形態においては、操作情報入力部材１２を液晶ディスプレイ３上に直接置くようにした場合について述べたが（図２）、操作情報入力部材１２を液晶ディスプレイ３上に直接に置かずに浮かして操作するようにしても良く、要はユーザが一対の１／４波長板１１及び１３間の空間において操作情報入力部材１２に対して変形操作をすれば良い。
（３−２）上述の実施の形態においては、液晶ディスプレイ３を水平方向に設置された枠台２内に設けるようにした場合について述べたが、液晶ディスプレイ３としては、水平方向に設けずに、ディスプレイ表面を斜めに傾斜させたり、垂直方向に立設させたりするようにしても良い。
（３−３）上述の実施の形態においては、液晶ディスプレイ３から投射光を得るようにしたが、これに限らず投射光として直線偏光を生じる面光源から投射された投射光を生ずるような直線偏光撮像光源を用いるようにすれば良い。
（３−４）上述の実施の形態においては、図７の画像処理手順ＲＴ０において、アプリケーションプログラム実行サブルーチンＲＴ１の処理として、図１３に示すように、ステップＳＰ１~ＳＰ６において取得した操作入力情報を利用して色を付ける処理をするようにしたが、当該アプリケーションプログラム処理ルーチンＲＴ１の処理として、圧力の検出に対応したタッチパネルを実現するような処理を実行するようにしても良い。
　この場合、画像処理手順ＲＴ０（図７）のステップＳＰ１~ＳＰ６において、ユーザが操作情報入力部材１２を介して液晶ディスプレイ３の画面に触った位置を操作入力情報として得ることができる。
　この操作入力情報としては、複数点を触った場合には、これら複数点の操作入力情報を同時に入力することができる。
　また各点において触った際の圧力を高輝度領域の大きさとして入力することができる。
（３−５）また、図７の画像処理手順ＲＴ０におけるアプリケーションプログラム実行サブルーチンＲＴ１において、３Ｄ立体モデルをさまざまな方向に回転させるような処理をすることにより、３Ｄモデル閲覧アプリケーションを実行するようにしても良い。
　この場合ユーザは指を画面に接触させたままで、指にかける圧力の方向をコントロールすることで、図１１及び図１２について上述したように、前後方向や左右方向への操作入力態様を操作入力情報として入力することができることにより、ユーザの当該操作態様に応じて３Ｄモデルを回転させるようにすれば良い。
（４）第２の実施の形態
　図１７~図２０は第２の実施の形態を示すもので、この場合ＣＰＵ３１は、図７のアプリケーション実行処理プログラムＲＴ１として、図１３に代えて、図２０のアプリケーションプログラム（キーボード表示）実行処理手順ＲＴ１Ｂを実行することにより、一段と小型化した文字入力キーボードを実現できるようにする。
　この実施の形態の場合、画像処理部５は、画像信号Ｓ１として、図１７に示す文字入力キーボード表示５０を液晶ディスプレイ３（図１）に表示し、この文字入力キーボード表示５０によって平仮名文字、又は英文字、又は数字についての文字入力を、ユーザが液晶ディスプレイ３を用いて入力できるようになされている。
　文字入力キーボード表示５０は液晶ディスプレイ３の中央位置に、表示された円形の表示枠５０Ａの中央部分に、コンパクトにまとめられた複数の基準文字表示欄５１を配列した構成を有する。
　この実施の形態の場合、原理的に「あいうえお」順に配列表示した平仮名文字を、基準文字表示欄５１に全文字のうちの一部の代表文字をユーザに提示することにより、ユーザは全ての平仮名文字を文字入力キーボード表示５０を用いて入力できる。
　すなわち、文字入力キーボード表示５０は、五十音索引を構成する五文字の配列「あいうえお」、「かきくけこ」……「わいうえを」のうち、先頭文字「あ」、「か」……「わ」を五文字を代表する基準文字として表示する１０個の基準文字表示欄５１を格子状に配列した構成を有する。
　各基準文字表示欄５１の位置は、撮像装置１５の撮像信号Ｓ２が撮像画面の左上の点を原点とした直交座標系によって表わされる。
　画像処理部５が画像信号Ｓ２として文字入力キーボード表示５０を液晶ディスプレイ３に表示した状態において、ユーザが基準文字表示欄５１の１つを押圧操作することにより指定すると、画像処理部５のＣＰＵ３１は図７の画像処理手順ＲＴ０におけるアプリケーションプログラム実行サブルーチンＲＴ１として、図２０のアプリケーションプログラム（キーボード表示）実行処理手順ＲＴ１Ｂを実行し、先ずステップＳＰ２１において重心位置（ｘ、ｙ）が文字種変更キー上にあるか否かの判断をし、肯定結果が得られたときステップＳＰ２２において当該指定された文字種に変更する処理をしてステップＳＰ２１に戻る。
　この実施の形態の場合、文字種変更キーとして、「電卓」欄５２Ａ及び「ＡＢＣ１２３」欄５２Ｂが設けられており、これらの文字種変更キーの上に高輝度領域の重心位置があるとき、ＣＰＵ３１は基準文字表示欄５１に表示する文字種を変更する。
　ステップＳＰ２１において否定結果が得られたとき、ＣＰＵ３１はステップＳＰ２３に移って輝度領域の重心位置が基準文字表示欄５１の文字キーのいずれか１つの上にあるか否かの判断をする。
　ここで肯定結果が得られると、このことはユーザが当該文字キーの文字の入力を指定したことを意味し、このときＣＰＵ３１はステップＳＰ２４に移って、図１８に示すように、指定された文字キーの基準文字表示欄５１の上下左右位置に関連文字表示欄５３を表示する。
　図１８の場合、ユーザが平仮名文字「あ」の基準文字表示欄５１を指定した場合を示し、ＣＰＵ３１は当該指定された基準文字表示欄５１の前後左右位置に、隣り合うように４つの関連文字表示欄５３を、文字入力キーボード表示５０に書き加える。
　この実施の形態の場合、文字「あ」は５０音索引の「あ」行の先頭文字であるところから、当該「あ」行に属する他の文字「い」、「う」、「え」、「お」を表示する。
　かくしてＣＰＵ３１は、ユーザが指定した基準文字表示欄５１の文字に関連する他の４つの文字を表する関連文字表示欄５３を設けることにより、ユーザが基準文字表示欄５１に表示されている１つの文字に加えて関連文字表示欄５３に表示されている４つの文字をも選択指定できるようにする。
　ＣＰＵ３１は次のステップＳＰ２５において輝度領域の重心位置が上下左右に変化したか否かの判断をする。
　否定結果が得られると、このことはユーザが基準文字表示欄５１の文字「あ」を指定した状態で操作情報入力部材１２に対して圧力方向の変化をしない状態にあることを意味し、このときＣＰＵ３１は、ユーザが基準文字表示欄５１に表示されている文字「あ」を指定したものと判断して、ステップＳＰ２６に移って当該指定された文字キーから指定入力を取り込む。
　これに対してステップＳＰ２５において肯定結果が得られたとき、このことはユーザが操作情報入力部材１２に付与した圧力の方向を上下左右のいずれかに変化させた（揺動させた）ことを意味し、このときＣＰＵ３１はユーザが４つの関連文字表示欄５３のうちの１つを指定したものと判断して、当該関連文字表示欄５３の文字キーの指定入力を取り込む。
　かくしてユーザの１回の指定入力操作についての指定入力処理が終了したので、ＣＰＵ３１は次のステップＳＰ２８において終了キーが押されたか否かを判断し、否定結果が得られたとき上述のステップＳＰ２１に戻って次の指定文字についての処理を繰り返す。
　これに対してステップＳＰ２８において肯定結果が得られたとき、ＣＰＵ３１は、当該アプリケーションプログラム（キーボード表示）実行処理手順を終了したものとして、ステップＳＰ２９においてメインルーチンＲＴ１０（図７）にリターンする。
　このユーザによる操作情報入力部材１２に対する圧力付与方向についてのＣＰＵ３１の確認処理は、図１９に示すように、高輝度領域の重心位置を基準点Ｐ１として、当該基準点Ｐ１を通る互いに直交する２本の確認境界線Ｌ１及びＬ２を設定し、ユーザの圧力方向によって生じる高輝度領域の重心の移動点Ｐ２が確認境界線Ｌ１及びＬ２の上側にあるか又は下側にあるかを判断することにより、基準点Ｐ１からの移動点Ｐ２の移動領域が上方圧力確認領域Ｍ１にあるか、又は右方圧力確認領域Ｍ２にあるか、又は下方圧力確認領域Ｍ３にあるか、又は左方圧力確認領域Ｍ４にあるかを判断する。
　このとき基準点Ｐ１からの移動処理が閾値ｔを越えたものを圧力方向の変化として把握し、閾値ｔを越えないものは高輝度領域の重心が基準点Ｐ１にあるものとして判断する。
　以上の構成において、ユーザが操作情報入力部材１２を変形させることにより生ずる高輝度領域の重心の移動の有無に基づいて、ユーザの入力操作が上下左右のいずれかに生じたことをユーザの指の移動（シフトする移動）がない状態のまま認識することができる。
　これにより入力操作面が例え小さくなったとしても、指定した入力文字に隣接する入力文字に対する操作を確実に行うことができる。
　かくするにつき図１８について上述したように、基準文字表示欄５１が指定されたとき、これと隣り合うように４つの関連文字表示欄５３を設定するようにすれば、さらにコンパクトにまとまった入力キーについての入力操作を行うことができる。なお、該第２の実施の形態においては、予め定められた位置に文字入力キーボード表示５０を表示するようにしたが、これに限ることなく、図１４に示す操作情報入力部材１２の位置と角度を検出し、その検出した位置と角度に合せて、文字入力キーボード表示５０を表示するようにすることもできる。
　例えば、特許文献（特開２００９−１５７３６０）に記載のように、透明な識別子を操作情報入力部材１２に設けることで、操作情報入力部材１２の位置と角度を検出でき、液晶ディスプレイ３上の自由な位置で文字入力キーボード表示５０を表示することができるようになる。
（５）第３の実施の形態
　図２１~図２７は第３の実施の形態を示すもので、ＣＰＵ３１は、図７のアプリケーションプログラム実行処理手順ＲＴ１として、図２３に示すアプリケーションプログラム（電子楽器演奏パネル）実行処理手順ＲＴ１Ｃを実行する。
　この場合の操作情報入力システム１は、図１及び図４との対応部分に同一符号を付して図２２に示すように、液晶ディスプレイ３上に変換用１／４波長板１１及び操作情報入力部材１２を積層した構成の電子楽器演奏パネル６１を有し、当該電子楽器演奏パネル６１から射出される投射光ＬＴを、電子楽器演奏パネル６１と撮像装置１５との間の空間に、ユーザの操作によって移動ないし変形される補助操作情報入力部材１２Ｘを介在させる。
　この補助操作情報入力部材１２Ｘは操作情報入力部材１２と同様に、透明の光弾性効果を有する弾性体によって構成されると共に、図２１に示すように、ユーザが指で摘んで保持できるように円形形状をもっている。
　かくして補助操作情報入力部材１２Ｘは、電子楽器演奏パネル６１から操作情報入力部材１２を透過して射出された投射光ＬＴを、通過させて１／４波長板１３及び偏光フィルタ１４を通して撮像装置１５に入射させる際に、補助操作情報入力部材１２Ｘがユーザの把握力に応じて変形することにより、その変形度に応じた強さの輝度をもつ投射光ＬＴを撮像装置１５に入射させる。
　その結果、ユーザが操作情報入力部材１２及び又は補助操作情報入力部材１２Ｘを変形させたとき、この操作情報入力部材１２及び補助操作情報入力部材１２Ｘを透過した投射光ＬＴが楕円偏光になることにより、１／４波長板１３及び偏光フィルタ１４を透過して撮像装置１５に入射され、その結果画像処理部５から与えられる画像信号Ｓ１によって液晶ディスプレイ３に映出された電子楽器演奏パネル６１を、撮像装置１５に撮像させる。
　これに対して、操作情報入力部材１２及び補助操作情報入力部材１２Ｘに対してユーザが変形を与えないときには、電子楽器演奏パネル６１から出射された投射光ＬＴは円偏光のまま１／４波長板１３及び偏光フィルタ１４に入射されることにより、撮像装置１５には入射できなくなる。
　電子楽器演奏パネル６１は、図２１に示すように、右上部分にループトラック領域６２を形成すると共に、右下部分にキーボード領域６３を形成する。
　これに加えて電子楽器演奏パネル６１は、左上部分にガンミパッド領域６４を形成すると共に、左下部分にボタン領域６５を形成する。
　ループトラック領域６２は、電子楽器音のリズムを打ち込む機能をもつ部分で、予めプログラムされたメロディを表す円形表示子を左側から右側に一連のトラックとして表示するようになされている。
　この実施の形態の場合、ループトラック領域６２は上から下に向かってバスドラム、スネア、クローズドハイハット、オープンハイハット及びベースの５種類の音色トラックが形成されている。
　ユーザは当該ループトラック領域６２に表示されている５種類の音色トラックについて、電子楽器演奏パネル６１の操作情報入力部材１２上に、液晶ディスプレイ３によって表示された円形表示子を所望に応じて押すことにより、リズムを打ち込む。
　当該５種類の音色トラックについてのユーザの操作入力情報は、撮像装置１５によって電子楽器演奏パネル６１の座標位置情報と共に画像処理部５に取り込まれる。
　キーボード領域６３は、鍵盤表示子を有し、ユーザが白鍵又は黒鍵表示子上の操作情報入力部材１２を押すことにより、指定した鍵盤情報を撮像装置１５を介して画像処理部５に取り込む。
　かくしてユーザは鍵盤表示子を順次指定することによりメロディを入力することができ、当該入力されたメロディはループトラック領域６２に表示されたベーストラック領域のデータとして取り込まれる。
　このようにしてユーザがメロディを入力する際に、キーボード領域６３の操作情報入力部材１２に対する押付圧力を変更すると、当該押付圧力の変更情報は、メロディを構成する各音の音量情報として画像処理部５に取り込まれる。
　ガンミパッド領域６４は、音のピッチを表すＸ軸と、音のゲインを表すＹ軸とを有する格子状の表示線を電子楽器演奏パネル６１として表示し、その交点位置を変形操作した操作情報入力部材１２又は補助操作情報入力部材１２Ｘを用いて指定することにより、Ｘ軸によって決まるピッチによる音色と、Ｙ軸によって決まる音量とを指定すると共に、当該交点位置における操作情報入力部材１２又は補助操作情報入力部材１２Ｘの変形領域の面積の大きさによってテンポを指定する。
　かくしてユーザは、電子楽器演奏パネル６１をユーザが押圧したり又はユーザが補助操作情報入力部材１２Ｘを交点位置に位置合せ操作したりすることによって、楽音についての３つのパラメータ、すなわちピッチ、ゲイン及びテンポをユーザの片手の操作で一度に入力することができる。
　電子楽器演奏パネル６１のボタン領域６５は、発生する楽音の音階や音色を全体として切り換える、いわゆるボタン機能を入力できるもので、３種類の色を有する円形表示子を有し、ユーザはその１つを操作情報入力部材１２又は補助操作情報入力部材１２Ｘによって入力操作することができる。
　かくしてユーザは、ループトラック領域６２のベーストラック領域に格納されたメロディ情報について、その音階や音色をボタン領域６５の円形表示子の色を選定することにより切り換えながら、図示しないスピーカー等から出力し演奏することができる。
　画像処理部５のＣＰＵ３１（図６）は、画像処理手順（図７）のアプリケーションプログラム実行ルーチンＲＴ１として図２３に示すアプリケーションプログラム（電子楽器演奏パネル）実行処理手順ＲＴ１Ｃを実行する。
　ＣＰＵ３１は、先ずステップＳＰ３１において、高輝度領域の重心位置（ｘ、ｙ）がガンミパッド領域６４上にあるか否かの判断をする。
　ここで肯定結果が得られると、このことはユーザがガンミパッド領域６４についてベーストラックの音色、音量及びテンポを指定しようとしていることを意味し、このときＣＰＵ３１は、ステップＳＰ３２に移って図２４に示すＧｕｍｍｉｐａｄプログラムの実行処理手順に入る。
　このとき、ＣＰＵ３１はステップＳＰ４１において高輝度領域の重心位置（ｘ、ｙ）が電子楽器演奏パネル６１のガンミパッド領域６４上にあることを確認した後、ステップＳＰ４２に移ってユーザが指定したガンミパッド領域６４の指定位置（ｘ、ｙ）に対応するピッチ、音量及びテンポをもつ効果音を設定してステップＳＰ４３においてＧｕｍｍｉｐａｄプログラム実行処理手順ＳＰ３２を終了して上述のステップＳＰ３１に戻る。
　これに対してステップＳＰ４１において否定結果が得られると、このことはユーザがガンミパッド領域６４によるパラメータの指定をしていることを確認できないことを意味し、このときＣＰＵ３１はステップＳＰ４２をジャンプして当該処理を終了する。
　かくして図２４のＧｕｍｍｉｐａｄプログラム実行処理手順ＳＰ３２によれば、ユーザがガンミパッド領域６４に対する簡易な指定操作をするだけで、一挙に３つのパラメータに対応する効果音情報を画像処理部５に取り込むことができる。ＣＰＵ３１は、ステップＳＰ３１において否定結果が得られると、ステップＳＰ３３に移って、高輝度領域の重心位置（ｘ、ｙ）がキーボード領域６３上にあるか否かの判断をする。
　ここで肯定結果が得られると、ＣＰＵ３１はステップＳＰ３４に移って図２５に示すＫｅｙｂｏａｒｄプログラム実行処理手順ＳＰ３４のステップＳＰ５１に入る。
　このステップＳＰ５１においてＣＰＵ３１は、ユーザが電子楽器演奏パネル６１のキーボード領域６３を指定操作していることを確認してステップＳＰ５２に移ってユーザがキーボード領域６３に表示されたキーボード表示のうち、指定したキーに対応する音を操作情報入力部材１２に対する押圧圧力に応じた音量として画像処理部５に取り込む。
　続いてＣＰＵ３１は、ステップＳＰ５３に移って高輝度領域の重心位置が左右方向（ｘ方向）に動いているか否かの確認をし、肯定結果が得られたとき、ＳＰ５４に移って当該キーに対応する音にビブラートをかける処理をした後ステップＳＰ５５に移る。
　これに対してステップＳＰ５３において否定結果が得られると、ＣＰＵ３１はステップＳＰ５４の処理をせずにステップＳＰ５５に移る。
　このステップＳＰ５５においてＣＰＵ３１は高輝度領域の重心位置が上下方向（ｙ方向）に動いているか否かを確認し、肯定結果が得られたときステップＳＰ５６に移って当該キーに対応する音のピッチをｙ方向の移動量に応じて変更するような処理を行った後、ステップＳＰ５７において当該Ｋｅｙｂｏａｒｄプログラム実行処理手順ＳＰ３４の処理を終了して上述のステップＳＰ３１に戻る。
　これに対してステップＳＰ５５において否定結果が得られたときＣＰＵ３１はステップＳＰ５６の処理をせずに当該実行処理手順を終了する。
　また上述のステップＳＰ５１において否定結果が得られたとき、このことはユーザがキーボード領域６３のキーに対する入力操作をしていることを確認できないことを意味し、このときＣＰＵ３１はステップＳＰ５７に移って当該処理手順を終了する。
　かくしてＣＰＵ３１はユーザがキーボード領域６３に対して情報入力操作をしたとき、入力操作をしたキーの音情報を取り込むと共に、当該キーに対してｘ方向及び又はｙ方向に移動操作がされたとき、ビブラート効果及び又はピッチの変更効果をつける効果情報を取り込むことにより、ユーザがメロディの演奏情報を入力する際に、音量及びピッチを微妙に変化させる効果を同時にかつ簡便になし得るようなキーボードを実現できる。
　ＣＰＵ３１は、図２３のステップＳＰ３３において否定結果が得られたとき、ステップＳＰ３５に移って高輝度領域の重心位置（ｘ、ｙ）がループトラック領域６２上にあることを確認して、ステップＳＰ３６に移って図２６に示すＬｏｏｐＴｒａｃｋプログラム実行処理手順ＳＰ３６を実行する。
　当該ＬｏｏｐＴｒａｃｋプログラム実行処理手順ＳＰ３６に入ると、ＣＰＵ３１はステップＳＰ６１において高輝度領域の重心位置（ｘ、ｙ）がループトラック領域６２上にあることを確認した後、ステップＳＰ６２に移る。
　この位置の確認は、５種類のループトラックとして、ドラム、スネア、クローズドハイハット、オープンハイハット及びベースのループトラックが形成されていることから、どのループトラックが選択されているかを確認するもので、確認したときＣＰＵ３１はステップＳＰ６２において重心位置（ｘ、ｙ）に対応する楽器音を、付与された圧力に応じた音量で取り込んだ後ステップＳＰ６３において当該ＬｏｏｐＴｒａｃｋプログラム実行処理手順ＳＰ３６を終了して上述のステップＳＰ３１に戻る。
　これに対してステップＳＰ６１において否定結果が得られたとき、５種類のループトラックの選択がされていないとして、当該実行処理手順を終了する。
　図２６のＬｏｏｐＴｒａｃｋプログラム実行処理手順によれば、電子楽器演奏パネル６１上に形成されたループトラック領域６２の５種類のループトラックをユーザが簡便に操作することにより、楽器音を形成するための多数のパラメータの情報を少ない操作で入力することができるような操作情報入力システムを実現できる。
　図２３のステップＳＰ３５において否定結果が得られるとＣＰＵ３１はステップＳＰ３７に移って、高輝度領域の重心位置（ｘ、ｙ）がボタン領域６５上にあることを確認して、図２７に示すＢｕｔｔｏｎプログラムの実行処理手順ＳＰ３８のステップＳＰ７１に入る。
　このＢｕｔｔｏｎプログラム実行処理手順ＳＰ３８において、ＣＰＵ３１は、ステップＳＰ７１において輝度領域の重心位置（ｘ、ｙ）がボタン領域６５の３つのボタン表示子上にあることを確認して、ステップＳＰ７２において当該ボタン表示に対応するモードに切り換える情報を取り込んだ後、ステップＳＰ７３において当該Ｂｕｔｔｏｎプログラム実行処理手順ＳＰ３８を終了して上述のステップＳＰ３１に戻る。
　これに対してステップＳＰ７１において否定結果が得られると、当該処理手順ＳＰ３８を終了する。
　かくして図２７のＢｕｔｔｏｎプログラム実行処理手順によれば、ユーザがボタン領域６５内のボタン表示の１つに変形を加えるような操作をするだけで、発生する楽音のモードを簡便に切り換えることができる。
　図２１~図２７の構成によれば、ＣＰＵ３１は、図２３のアプリケーションプログラム（電子楽器演奏パネル）実行処理手順ＲＴ１Ｃにおいて、ステップＳＰ３９で終了キー（操作入力部４１（図６）に設けられている）をユーザが操作したことを確認できるまで、ステップＳＰ３１−ＳＰ３３−ＳＰ３５−ＳＰ３７−ＳＰ３９−ＳＰ３１のループによって、ユーザが、ガンミパッド領域６４、キーボード領域６３、ループトラック領域６２及びボタン領域６５のいずれかを操作していれば、その操作に対応する操作入力情報を画像処理部５に取り込むことができる。
かくするにつき、液晶ディスプレイ３上に表示された電子楽器演奏パネル６１のループトラック領域６２、キーボード領域６３、ガンミパッド領域６４及びボタン領域６５の操作子表示子を、ユーザが操作情報入力部材１２又は補助操作情報入力部材１２Ｘを変形操作するだけの簡便な情報入力操作をするだけの少ない操作で、電子楽器の楽音を形成するためのパラメータを複数同時に操作入力できるような簡便な操作情報入力システムを実現できる。
（６）第４の実施の形態
　図２８~図２９は第４の実施の形態を示すもので、図１との対応部分に同一符号を付して図２８に示すように、画像処理部５によって液晶ディスプレイ３に表示された画像を撮像装置１５によって撮像できるようにすることに加えて、当該画像をステレオカメラによって構成された立体撮像装置１５Ｘによって撮像できるようになされている。
　この実施の形態の場合、図１及び図２について上述した液晶ディスプレイ３上に積層するように設けられている操作情報入力部材１２は省略されており、これに代え、液晶ディスプレイ３と撮像装置１５及び立体撮像装置１５Ｘとの間の空間をユーザの操作によって移動できる、立方体形状の操作情報入力部材１２Ｙが設けられている。
　立体撮像装置１５Ｘは、図２９に示すように、原点Ｏを中心とする３次元座標系ＸＹＺにおいて、Ｘ軸上に原点Ｏを中心にして対称に基準距離ｂだけ離れた位置に、左光学系１５ＸＬの左光学中心Ｏｌを設けると共に、右光学系１５ＸＲの右光学中心Ｏｒを設ける。
　左光学系１５ＸＬ及び右光学系１５ＸＲは左光学中心Ｏｌ及び右光学中心Ｏｒからそれぞれ視線ＥＬ及びＥＲに沿って操作情報入力部材１２Ｙ上の点を検出点Ｐ（ＸＹＺ）として撮像する。
　これにより操作情報入力部材１２Ｙがユーザによって加圧されることにより変形したとき、その変形特性の変化によって当該操作情報入力部材１２Ｙを透過する投射光が円偏光から楕円偏光に変換されることにより生じる高輝度領域を、左光学系１５ＸＬ及び右光学系１５ＸＲが撮像信号Ｓ２Ｘとして画像処理部５に取り込ませることにより、左光学系１５ＸＬ及び右光学系１５ＸＲの視差を利用して検出点Ｐの座標（Ｘ、Ｙ、Ｚ）を検出できるようになされている。
　図２９の立体撮像装置１５Ｘの光学系において、左光学中心Ｏｌ及び右光学中心ＯｒからＺ方向に焦点距離ｆだけ離れた位置に左画像ＰＣＬ及び右画像ＰＣＲを撮像したとき、左画像ＰＣＬ及び右画像ＰＣＲのｘｌ、ｙｌ座標系及びｘｒ、ｙｒ座標系において、視線ＥＬ及びＥＲが通り抜ける点ｐｌ及びｐｒの座標（ｘｌ、ｙｌ）及び（ｘｒ、ｙｒ）について、以下の関係が求められる。
　すなわち、左光学系１５ＸＬ及び右光学系１５ＸＲは原点Ｏを中心として、Ｘ軸上に基準値ｂだけ離れた位置に対称に、左光学中心Ｏｌ及び右光学中心Ｏｒが設けられていることにより、通過点ｐｌ及びｐｒをＹ軸方向の座標ｙｌ及びｙｒは次式
　ｙｌ＝ｙｒ　　　　　　　　　　　　　　　　　　　　　　　……（１）
になると共に、通過点ｐｌ及びｐｒ間のＸ方向の距離ｄは次式
　ｄ＝ｘｌ−ｘｒ　　　　　　　　　　　　　　　　　　　　　……（２）
として求められる。
　この関係を用いて検出点Ｐの座標（Ｘ、Ｙ、Ｚ）を求めれば、以下の式
Figure JPOXMLDOC01-appb-I000001
によって求めることができる。
　このようにして、操作情報入力部材１２Ｙに生じた変形部分は、立体撮像装置１５Ｘによって立体画像を構成する高輝度領域として操作情報入力部材１２Ｙを構成する各部分の検出点Ｐ（Ｘ、Ｙ、Ｚ）の固まりを表す情報として、画像処理部５に取り込むことができる。
　画像処理部５は、操作情報入力部材１２Ｙの変形動作に応じて液晶ディスプレイ３に表示される画像を、加工処理するための情報入力手段として適用することができる。
　先ず、変形動作の判別の仕方として、「テーブル上での軽い接触」については、操作情報入力部材１２Ｙについて検出された変形が液晶ディスプレイ３が設けられたテーブル面の高さと同じ高さであり、かつ検出された領域の面積が所定の閾値より小さいことが確認できたときには、操作情報入力部材１２Ｙが当該テーブル上での軽い接触をしていると判断する。
　「テーブル上での強い接触（押込み）」は、変形の高さがテーブル面の高さと同じ高さであり、かつ変形領域の面積が所定の閾値以上であるとき、テーブル上での強い接触をしていると判別する。
　「手に持っての押し潰し（摘まみ）」は、輝度領域の高さがテーブル面に対して高い位置にあることから識別できる。
　又は、「押しつぶされた高輝度領域は細長くなる」ことから、その方向が慣性支軸の角度から求めることができる。
　「両手での引張」は、一番変形量が大きい動作で、高輝度領域はテーブル面に対して高い位置にあり、かつ最小包含矩形は短辺と長辺の長さの差が明確になり（長方形になり）、長辺の長さの変化を調べることにより、引張り量の指標が得られる。
　また引き伸ばしの方向は高輝度領域の慣性支軸方向から求められる。
　図２８及び図２９の構成によれば、ユーザが操作情報入力部材１２Ｙを摘んで前後左右及び上下に移動動作させたとき、その移動を３次元座標値の変化として認識できることにより、液晶ディスプレイ３に表示した画像を加工処理するような応用例に利用できる。
　例えば、「写真」を液晶ディスプレイ３に表示した状態で、写真を摘まみ上げることによってその写真のもつ詳細情報を表示したり、さらに高い位置に摘まみ上げることにより当該写真をプリンタで印刷したり、メールで送信したりするといった操作を選択できるようにすることもできる。
　写真に位置合せした操作情報入力部材１２Ｙを押し込むことによって、写真に隠されている情報を引き出すような処理をしたり、写真の上で弾性体を引き伸ばすことにより写真を拡大したりするようにもできる。
　上述の実施の形態においては、操作情報入力部材１２Ｙとして立方体形状のものを用いた場合について述べたが、その形状はこれに限らず、骨型、星型、人形型、円形型などの種々の形状を選択し得る。
　また上述の実施の形態においては、操作情報入力部材１２Ｙとして１種類の素材を用いた場合について述べたが、これに代え、硬さの異なる素材を混ぜ合わせて成形することにより、１つの操作情報入力部材１２Ｙの中て硬さの違う弾性体を構成するようにしても良い。
　以上の構成によれば、操作情報入力部材を立体的な位置で入力操作することにより、一段と多様な操作情報を入力することができる操作情報入力システムを実現できる。
　本発明は電子機器に対する入力情報として、ユーザの操作とその動作態様を入力する場合に利用できる。
　１、１Ｘ……操作情報入力システム、２……枠台、３……液晶ディスプレイ、４……直線偏光撮像光源、５……画像処理部、１０……投射光、１１……１／４波長板、１２……操作情報入力部材、１３……１／４波長板、１４……偏光フィルタ、１５……撮像装置、２１……ユーザの指、２２……変形部分、２３……非変形部分、３１……中央処理ユニット（ＣＰＵ）、３２……バス、３３……プログラムメモリ、３４……動作メモリ、３５……入力インターフェース、３６……ハードディスク記憶装置、４１……操作入力部、４２……画像データメモリ、４３……表示部、４４……高輝度領域情報メモリ、４５……カラー設定メモリ、５０……文字入力キーボード表示、５０Ａ……表示枠、５１……基準文字表示欄、５２Ａ、５２Ｂ……文字種変更キー、６１……電子楽器演奏パネル、６２……ループトラック領域、６３……キーボード領域、６４……ガンミパッド領域、６５……ボタン領域、１２Ｘ……補助操作情報入力部材、１２Ｙ……操作情報入力部材、１５Ｘ……立体撮像装置、１５ＸＬ、１５ＸＲ……左、右光学系

Claims (5)

  1. 　直線偏光でなる直線偏光投射光を射出する直線偏光撮像光源と、
    　上記直線偏光投射光を円偏光に変換して円偏光変換光として射出する変換用１／４波長板と、
    　透明で光弾性効果をもつ光弾性材料で構成され、上記円偏光変換光を、ユーザによって圧力を付与されて変形した変形部分を透過させたとき複屈折させることにより、上記円偏光変換光を楕円偏光に変換して変形楕円偏光変換光として射出する操作情報入力部材と、
    　上記変換用１／４波長板から射出される上記円偏光変換光及び当該円偏光変換光が上記操作情報入力部材の非変形部分を透過して上記操作情報入力部材から射出される非変形円偏光変換光を直線偏光に逆変換して順次第１及び第２の直線偏光逆変換光として射出すると共に、上記変形楕円偏光変換光を直線偏光に逆変換せずに楕円偏光逆変換光として射出する逆変換用１／４波長板と、
    　上記楕円偏光変換光を透過させ、かつ上記第１及び第２の直線偏光逆変換光をしゃ光する偏光フィルタと、
    　上記偏光フィルタを透過した上記透過光を入射して上記操作情報入力部材に対するユーザの入力操作を表す操作情報表示領域を有する撮像信号を得る撮像装置と
    　を具える操作情報入力システム。
  2. 　上記撮像装置から得られる撮像信号は、上記操作情報入力部材の上記変形部分を透過することにより得られる上記変形楕円偏光変換光に基づいて高輝度領域を含む画像信号でなり、上記高輝度領域の外接枠の面積の大きさから、上記操作情報入力部材に対してユーザから付与された圧力を求める画像処理手段
    　を具える請求項１に記載の操作情報入力システム。
  3. 　上記画像処理手段は、上記高輝度領域の外接枠内の高輝度部分の変化を認識することにより、上記操作情報入力部材に対するユーザの入力操作態様を判別する
    　請求項２に記載の操作情報入力システム。
  4. 　左光学中心及び右光学中心に設けた左光学系及び右光学系を有する立体撮像装置に上記偏光フィルタを透過した上記透過光を入射し、上記操作情報入力部材に対するユーザの変形操作によって当該操作情報入力部材に生じた立体的な変形及び当該変形が生じた高さ位置を表す操作情報表示領域を含む撮像信号を得る
    　請求項１に記載の操作情報入力システム。
  5. 　直線偏光撮像光源から射出される直線偏光投射光を変換用１／４波長板において円偏光に変換し、
    　上記変換用１／４波長板から射出される円偏光変換光を、透明で光弾性効果をもつ光弾性材料で構成された操作情報入力部材のうちユーザによって圧力を付与されて変形した変形部分を透過させることにより、当該透過させる際に複屈折させることによって上記円偏光変換光を楕円偏光に変換し、
    　逆変換用１／４波長板によって、上記操作情報入力部材の上記変形部分から射出される上記変形楕円偏光変換光を逆変換せずに楕円偏光逆変換光として射出すると共に、上記操作情報入力部材の非変形部分から射出される非変形円偏光変換光及び上記変換用１／４波長板から射出される上記円偏光変換光を第１及び第２の直線偏光に逆変換し、
    　偏光フィルタにおいて、上記逆変換用１／４波長板から射出される光のうち、上記楕円偏光変換光から得られた楕円偏光逆変換光を透過させて撮像装置に入射すると共に、上記非変形部分及び上記変換用１／４波長板から得られた上記第１及び第２の直線偏光逆変換光を上記偏光フィルタによってしゃ光し、
    　上記撮像装置から、上記操作情報入力部材に対するユーザの入力操作を表す操作情報表示領域を有する撮像信号を得る
    　操作情報入力方法。
PCT/JP2009/070209 2009-05-25 2009-11-25 操作情報入力システム及び方法 WO2010137192A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011515836A JP5435509B2 (ja) 2009-05-25 2009-11-25 操作情報入力システム及び方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009125482 2009-05-25
JP2009-125482 2009-05-25

Publications (1)

Publication Number Publication Date
WO2010137192A1 true WO2010137192A1 (ja) 2010-12-02

Family

ID=43222327

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/070209 WO2010137192A1 (ja) 2009-05-25 2009-11-25 操作情報入力システム及び方法

Country Status (2)

Country Link
JP (1) JP5435509B2 (ja)
WO (1) WO2010137192A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016017101A1 (ja) * 2014-07-30 2016-02-04 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN111512083A (zh) * 2017-12-29 2020-08-07 恩德斯+豪斯流量技术股份有限公司 用于换能器的管件、包括该管件的换能器以及由此形成的测量系统
WO2020240386A1 (en) * 2019-05-29 2020-12-03 3M Innovative Properties Company Display device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60109114A (ja) * 1983-11-16 1985-06-14 積水化学工業株式会社 光弾性タッチパネル
JP2001147772A (ja) * 1999-11-19 2001-05-29 Fujitsu Takamisawa Component Ltd タッチパネル
US7859519B2 (en) * 2000-05-01 2010-12-28 Tulbert David J Human-machine interface

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TOSHIKI SATO ET AL.: "PhotoelasticTouch:LCD to Hikari Dansei Koka o Oyo shita Tomei Danseitai", 16TH WORKSHOP ON INTERACTIVE SYSTEMS AND SOFTWARE (WISS2008) KOEN YOKOSHU, 26 November 2008 (2008-11-26), pages 62 - 72 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016017101A1 (ja) * 2014-07-30 2016-02-04 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN106662923A (zh) * 2014-07-30 2017-05-10 索尼公司 信息处理装置、信息处理方法和程序
JPWO2016017101A1 (ja) * 2014-07-30 2017-06-15 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US10346992B2 (en) 2014-07-30 2019-07-09 Sony Corporation Information processing apparatus, information processing method, and program
CN111512083A (zh) * 2017-12-29 2020-08-07 恩德斯+豪斯流量技术股份有限公司 用于换能器的管件、包括该管件的换能器以及由此形成的测量系统
CN111512083B (zh) * 2017-12-29 2022-07-05 恩德斯+豪斯流量技术股份有限公司 用于换能器的管件、包括该管件的换能器以及由此形成的测量系统
US11441930B2 (en) 2017-12-29 2022-09-13 Endress+Hauser Flowtec Ag Tube for a transducer, transducer comprising such a tube, and measuring system formed therewith
WO2020240386A1 (en) * 2019-05-29 2020-12-03 3M Innovative Properties Company Display device

Also Published As

Publication number Publication date
JPWO2010137192A1 (ja) 2012-11-12
JP5435509B2 (ja) 2014-03-05

Similar Documents

Publication Publication Date Title
US9018510B2 (en) Musical instrument, method and recording medium
TWI343031B (en) Method and device for keyboard instrument learning
US7976387B2 (en) Free-standing input device
JP5261786B2 (ja) ３次元触覚センサ及び３次元触覚センシング方法
US20040021663A1 (en) Information processing method for designating an arbitrary point within a three-dimensional space
JP6729939B2 (ja) 行分割光学モジュール、及びそれを利用した電子鍵盤
US20130012314A1 (en) Game system, game system control method, and computer program for game system
TW201135558A (en) Projecting system with touch controllable projecting picture
CN101840288A (zh) 光-触觉转换系统和用于提供触觉反馈的方法
JP5435509B2 (ja) 操作情報入力システム及び方法
TW201241682A (en) Multi-functional position sensing device
US20140248956A1 (en) Game device, control method of game device, program, and information storage medium
TW200928879A (en) Positioning apparatus and related method of orientation devices
JPH1195895A (ja) 情報入力装置
TW201043304A (en) Two-dimensional input device, control device and interactive game system
Berthaut et al. Revgest: Augmenting gestural musical instruments with revealed virtual objects
US20220375362A1 (en) Virtual tutorials for musical instruments with finger tracking in augmented reality
US20130106689A1 (en) Methods of operating systems having optical input devices
JPH04123121A (ja) 画像入力装置
JP3938327B2 (ja) 作曲支援システムおよび作曲支援プログラム
JP2006201621A (ja) 電子鍵盤楽器
Bandara A music keyboard with gesture controlled effects based on computer vision
US20130100015A1 (en) Optical input devices
JP2007156370A (ja) 空間に表示した実像を入力指標とした電子楽器
CN1834772A (zh) 提示型相机

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09845252

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011515836

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09845252

Country of ref document: EP

Kind code of ref document: A1