WO2013175819A1 - 映像表示装置、およびその映像操作方法 - Google Patents

映像表示装置、およびその映像操作方法 Download PDF

Info

Publication number
WO2013175819A1
WO2013175819A1 PCT/JP2013/054438 JP2013054438W WO2013175819A1 WO 2013175819 A1 WO2013175819 A1 WO 2013175819A1 JP 2013054438 W JP2013054438 W JP 2013054438W WO 2013175819 A1 WO2013175819 A1 WO 2013175819A1
Authority
WO
WIPO (PCT)
Prior art keywords
pen
display device
video display
input device
user interface
Prior art date
Application number
PCT/JP2013/054438
Other languages
English (en)
French (fr)
Inventor
孝志 松原
森　直樹
沙希子 田代
Original Assignee
日立コンシューマエレクトロニクス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立コンシューマエレクトロニクス株式会社 filed Critical 日立コンシューマエレクトロニクス株式会社
Publication of WO2013175819A1 publication Critical patent/WO2013175819A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Definitions

  • the present invention relates to an image display apparatus that projects an image on a whiteboard or the like and can input writing on the whiteboard, and more particularly to an image display apparatus that performs an operation instruction with an electronic pen and an image operation method thereof.
  • Patent Document 1 shows an example of an electronic pen.
  • an electronic pen disclosed in Patent Document 1 includes a substantially cylindrical casing that is gripped by a user, a pen tip portion formed on a tip side of the casing, and a three-dimensional configuration of the pen tip section. It is disclosed that the apparatus includes a detecting unit that detects a target displacement and calculates a writing pressure or an inclination of the pen tip portion.
  • the electronic pen includes a substantially cylindrical housing that is gripped by a user, a pen tip portion formed on a tip side of the housing, and the pen tip portion.
  • Patent Document 2 An electronic board system using the above electronic pen as an input device is disclosed in Patent Document 2, for example.
  • a coordinate detection device is attached to the board, pen position information on the electronic pen board is detected, and writing data is projected onto the board from the switch information of the pen tip and the pen position information. is doing.
  • the writing pressure of the electronic pen and the inclination of the pen shaft can be detected.
  • the display device such as the electronic board system disclosed in Patent Document 2
  • the conventional pen is not available.
  • the writing function of the writing instrument is merely electronic, and it has not yet reached the point of providing a new input device function.
  • the purpose of the present invention is to detect pen pressure and tilt pen status using an electronic pen that can detect the detection of pen pressure and tilt detection with higher accuracy, and improve usability based on this.
  • Another object of the present invention is to provide a video display device having a new usage method.
  • a video display device operated with a pen includes a display unit that displays a graphical user interface, a pen position detection unit that detects a position of the pen on the display surface of the video display device, A pen position detected by the pen position detecting means, comprising: pen state information input means including presence / absence of contact of the pen tip with the display surface of the video display device and inclination with respect to the surface with which the pen tip contacts.
  • pen state information input means including presence / absence of contact of the pen tip with the display surface of the video display device and inclination with respect to the surface with which the pen tip contacts.
  • the user can smoothly switch operations such as line drawing and line deletion performed on the GUI using the pen-type input device by the user, an image of an electronic board system or the like can be obtained.
  • the effect of improving the operability of the display device is brought about.
  • FIG. 1 is a diagram illustrating an example of a configuration of a video display device in Embodiment 1.
  • FIG. 10 is a diagram illustrating an example of processing in Embodiment 1.
  • FIG. 6 is a diagram illustrating an example of an operation in Embodiment 1.
  • FIG. 6 is a diagram illustrating an example of an operation in Embodiment 1.
  • FIG. 6 is a diagram illustrating an example of an operation in Embodiment 1.
  • FIG. 6 is a diagram illustrating an example of an operation in Embodiment 1.
  • FIG. 6 is a diagram illustrating an example of an operation in Embodiment 1.
  • FIG. 6 is a diagram illustrating an example of an operation in Embodiment 1.
  • FIG. 6 is a diagram illustrating an example of an operation in Embodiment 1.
  • FIG. 1 is a diagram illustrating an example of a configuration of a video display device in Embodiment 1.
  • FIG. 1 is a diagram illustrating an example of a configuration of a video display device in Embodiment 1.
  • FIG. 10 is a diagram illustrating an example of an operation in Embodiment 2.
  • FIG. 10 is a diagram illustrating an example of an operation in Embodiment 2.
  • FIG. 10 is a diagram illustrating an example of an operation in Embodiment 2.
  • FIG. 10 is a diagram illustrating an example of an operation in Embodiment 2.
  • FIG. 10 is a diagram illustrating an example of an operation in the third embodiment.
  • FIG. 10 is a diagram illustrating an example of an operation in the third embodiment.
  • FIG. 10 is a diagram illustrating an example of an operation in the third embodiment.
  • FIG. 10 is a diagram illustrating an example of an operation in the third embodiment.
  • FIG. 10 is a diagram illustrating an example of an operation in the third embodiment.
  • FIG. 10
  • FIG. 10 is a diagram illustrating an example of an operation in the third embodiment.
  • FIG. 10 is a diagram illustrating an example of an operation in the fourth embodiment.
  • FIG. 10 is a diagram illustrating an example of an operation in the fourth embodiment.
  • FIG. 10 is a diagram illustrating an example of an operation in the fourth embodiment.
  • FIG. 10 is a diagram illustrating an example of an operation in the fifth embodiment.
  • FIG. 10 is a diagram illustrating an example of an operation in the fifth embodiment.
  • FIG. 25 is a diagram illustrating an example of the structure of the pen-type input device according to the embodiment.
  • FIG. 26 is a table showing the correspondence between the state of the pen-type input device and the detected value.
  • the structure of the pen-type input device of this embodiment is such that a strain sensor (2501, 2502) whose output value changes according to the amount of strain in one direction such as a semiconductor strain sensor is the surface of the pen shaft. It is the structure installed in.
  • the strain sensor detects the amount of deformation of the pen shaft as a strain amount.
  • the contact state of the pen tip of the pen type input device, the pressure of the pen tip, and the tilt direction of the pen are determined from the amount of distortion.
  • the number of sensors is not limited as long as the amount of strain can be detected.
  • the inner surface of the pen shaft or the inner surface may be used.
  • FIG. 26 shows a processing flow for determining the pen tip contact state, the pen tip pressure, and the pen tilt direction based on the strain amount ⁇ detected by the strain sensor.
  • ⁇ 0 means a sensor output value in an equilibrium state of the strain sensor
  • E means a sensor threshold value for processing.
  • FIG. 27 shows the specific processing contents of S503 in the processing flow of FIG.
  • the amount of change of the strain output from the strain sensor from the equilibrium state is compared with the threshold value, and the contact state of the pen tip with the writing surface and the pen tilt direction are determined based on the magnitude.
  • Example 1 will be described.
  • the operation of the projected image of the projector using the pen-type input device will be described.
  • FIG. 1 shows an appearance of an example in which a user operates a projected image of a projector using the pen-type input device.
  • FIG. 2 shows an external appearance when viewed from the side with the same device configuration as FIG.
  • 100 is the pen type input device
  • 2100 is a projector
  • 2101 is a projected image
  • 2102 is projection light
  • 2103 is a wall surface
  • 2104 is a pen position detection sensor.
  • the projector 2100 is attached to the wall surface 2103, and the projection image 2101 is displayed on the wall surface 2103 by outputting the projection light 2102 based on a predetermined image signal such as a GUI.
  • the pen position detection sensor 2104 is a sensor provided in the projector 2100, and has a function of detecting the position of the pen tip of the pen-type input device 100 with respect to the projection image 2101.
  • an ultrasonic sensor, a camera, Sensor devices such as an electric field sensor, an infrared distance sensor, a laser distance sensor, and a distance image sensor are used.
  • the sensor used for the pen position detection sensor 2104 is not particularly limited, and the pen-type input on the projection plane of the projected image 2101 is performed in combination with a microcomputer that processes sensor data and software that operates on the microcomputer. It is only necessary to have a function of obtaining the position of the pen tip of the device 100.
  • the projector 2100 calculates coordinates corresponding to the projected image 2101 from the position of the pen tip of the pen type input device 100 obtained by the pen position detection sensor 2104, and further calculates the position and movement of the coordinates. Accordingly, the position, movement, configuration, etc. of the graphic in the video displayed on the projected video 2101 are changed. As a result, the user can perform an operation on the projected image 2101 using the pen-type input device 100.
  • FIG. 3 shows an example of the configuration of the pen-type input device 100 and the projector 2100.
  • the configuration of the pen-type input device 100 is the same as that described above.
  • 2300 is a pen position detection unit
  • 2301 is a calculation unit
  • 2302 is a pen communication unit
  • 2303 is an operation unit
  • 2304 is a central processing unit
  • 2305 is a memory
  • 2306 is a video control unit
  • 2307 is a video. It is a projection unit.
  • the pen position detection unit 2300 includes the pen position detection sensor 2104, a microcomputer that processes sensor data of the pen position detection sensor 2104, software that operates on the microcomputer, and the like, and the pen-type input for the projection image 2101 The position of the pen tip of the device 100 is detected.
  • the arithmetic unit 2301 is composed of a circuit board or the like, and the pen-type input device obtained via the pen-tip position of the pen-type input device 100 obtained by the pen-position detecting unit 2300 or the pen communication unit 2302 described later. Information such as the inclination of 100, how to be gripped, and the contact state with other objects is processed to determine the state of various operations of the user using the pen-type input device 100.
  • the pen communication unit 2302 is configured by a wireless communication device such as an ultrasonic unit or an infrared communication device, or a wired communication device such as a universal serial bus (USB), and is an interface that can communicate with the pen-type input device 100.
  • the pen communication unit 2302 receives information from the pen-type input device 100 such as tilt, how to hold, and contact state with other objects.
  • the operation unit 2303 includes buttons, switches, an operation panel, and the like, and is an interface that can accept input from the user.
  • the central processing unit 2304 is composed of a semiconductor chip such as a central processing unit (hereinafter referred to as CPU), software such as an operating system (hereinafter referred to as OS), and various user operation states obtained from the arithmetic unit 2301. Based on a user input from the operation unit 2303, input / output of information to / from a memory 2305, which will be described later, and each unit of the projector 2100 such as a video control unit 2306, a video projection unit 2307, which will be described later, are controlled.
  • a central processing unit hereinafter referred to as CPU
  • OS operating system
  • the memory 2305 is composed of a semiconductor or the like, and stores information necessary for calculation and control of the central processing unit 2304, video information displayed as the projected video 2101, and the like.
  • the video control unit 2306 is composed of a circuit board or the like, performs arithmetic processing necessary for drawing video information in accordance with the control of the central processing unit 2304, and has a format suitable for input to the video projection unit 2307 described later. Rendering information consisting of a set of pixels is output.
  • the image projection unit 2307 is composed of a light source such as a lamp, optical components such as a lens and a reflection mirror, a liquid crystal panel, and the like, and draws information obtained from the image control unit 2306 by modulating a light beam emitted from the light source. Image light corresponding to the above is formed, and the image light is enlarged and projected on a projection surface such as a screen.
  • each part of FIG. 3 is independent, you may comprise by one or several structural requirements as needed.
  • 2301, 2304, 2305, and 2306 may be configured to perform the processing using one or a plurality of semiconductor chips (System-on-a-chip: SoC or the like).
  • the projector 2100 detects the position of the pen tip of the pen type input device 100, information on whether or not the pen tip is in contact, information on stress applied to the pen tip, and the pen type input device.
  • the flow of processing when changing the position, movement, configuration, etc. of the graphic in the video displayed in the projected video 2101 in accordance with the tilt information of the projection video 2101 is shown.
  • FIG. 4 is a processing flow showing a flow of control mainly performed by the central processing unit 2304 in the projector 2100.
  • S2401 the detection state of the position of the pen tip of the pen-type input device 100 obtained by the pen position detection unit 2300 is determined, and if it can be detected, the process proceeds to S2402.
  • step S2403 the position of the graphic in the image displayed on the projected image 2101 according to the position of the pen tip of the pen type input device 100, the pen tip contact state, the pen tip pressure, and the pen tilt direction detection state. Change movement, composition, etc. Details of changes in the position, movement, configuration, etc. of the graphic will be described later with reference to another drawing.
  • S2404 it is determined whether the user has instructed to end the operation of the pen-type input device 100 by a predetermined operation via the operation unit 2303. If the end is not instructed, The processes after S2401 are continuously performed.
  • the projected image 2101 according to the pen tip position, the pen tip contact state, the pen tip pressure, and the pen tilt direction detection state of the pen input device 100.
  • a description will be given of changes in the position, movement, composition, etc. of the graphic in the video displayed in FIG.
  • FIG. 5 shows an example of the configuration of the graphic in the video displayed as the projected video 2101 and the appearance when the user operates the graphic using the pen-type input device 100.
  • 2500 is a strain sensor output graph
  • 2501 is a feedback GUI
  • 2502 is an icon
  • 2503 is a linear graphic.
  • the strain sensor output graph 2500 shows the output of the strain detection unit 101 of the pen-type input device 100, as in FIG.
  • the strain sensor output graph 2500 shows an example of the pen-type input device 100 in which the strain sensor 200 is arranged in the same manner as in FIG.
  • the pen-type input device 100 is in contact with the wall surface 2103 and tilted to the left as viewed from the user.
  • ⁇ > Er the pen-type input device 100 is similarly inclined to the right when viewed from the user.
  • the feedback GUI 2501 is a graphic displayed on the projected video 2101.
  • An icon 2502 and a linear graphic 2503 are graphic parts constituting the feedback GUI 2501.
  • the feedback GUI 2501 is a display for allowing the user to visually recognize the inclination recognition state of the pen-type input device 100 in the projector 2100.
  • the output from the strain detection unit 101 of the pen-type input device 100 satisfies ⁇ ⁇ l.
  • the projector 2100 performs display in which the icon 2502 is moved to the left end of the linear graphic 2503 in the feedback GUI 2501.
  • the icon 2502 is displayed at the right end of the linear graphic 2503 in the feedback GUI 2501. The display is moved.
  • the projector 2100 changes the display of the feedback GUI 2501 in accordance with the tilt recognition state of the pen type input device 100, so that the user can change the display of the pen type input device 100.
  • the effect of being able to operate reliably while visually confirming the operation status is obtained.
  • FIG. 5 it has been described that the projector 2100 recognizes the tilt of the pen-type input device 100 in three stages of FIG. 5 (a), (b), and (c).
  • a plurality of threshold levels may be provided, and the same operation as described above may be realized by recognizing the tilt of the pen-type input device 100 in a plurality of steps. .
  • FIG. 6 shows the appearance of the projected image 2101 and the appearance of the user's operation when the user performs an operation of drawing a line on the projected image 2101 using the pen-type input device 100.
  • 2600 is an eraser icon.
  • An eraser icon 2600 is a graphic displayed on the projected image 2101.
  • the user moves the pen-type input device 100 while holding the pen-type input device 100 at a predetermined writing angle and keeping the pen tip of the pen-type input device 100 in contact with the wall surface 2103. Then, the projector 2100 draws a line on the projected image 2101 along the position of the pen tip of the pen-type input device 100.
  • the user holds the pen-type input device 100 by tilting it to the left as viewed from the user with respect to a predetermined writing angle, and the pen of the pen-type input device 100.
  • the projector 2100 moves in a state in which the tip is in contact with the wall surface 2103, the projector 2100 displays the eraser icon 2600 on the projection image 2101, and at the same time, projects the projection along the pen tip position of the pen-type input device 100.
  • the line in the video 2101 is deleted.
  • the projector 2100 turns off the display of the eraser icon 2600 of the projected image 2101 and (a) of FIG. ).
  • the projector 2100 estimates the inclination during normal writing from the change in the inclination of the pen-type input device 100 over time in the operation of the user using the pen-type input device 100.
  • the predetermined writing inclination may be dynamically determined.
  • FIG. 7 shows the display of the projected image 2101 when the user performs an operation of drawing a line on the projected image 2101 using the pen-type input device 100 by a method different from that shown in FIG. The external appearance of a user's operation is shown.
  • FIG. 7A shows an operation when the user deletes a line in the projected image 2101.
  • the projector 2100 displays the projected image.
  • the eraser icon 2600 is displayed on 2101, the line in the projected image 2101 is deleted along the position of the pen tip of the pen-type input device 100.
  • the eraser icon 2600 is displayed even after the user returns the pen-type input device 100 to a predetermined writing inclination. Is displayed, and the state in which the line in the projected image 2101 is deleted continues.
  • FIG. 7B shows an operation when the user draws a line on the projected image 2101.
  • the projector 2100 displays the projected image.
  • the display of the eraser icon 2600 2101 is erased, and a line is drawn on the projected image 2101 as in FIG. 6A described above.
  • the projector 2100 thickens the line to be drawn on the projected video 2101, and the user views the pen-type input device 100 from the user rather than a predetermined writing inclination, as in (b-1) of FIG.
  • the line drawn on the projected image 2101 may be thinned.
  • the projector 2100 switches the drawing operation of the line on the projection image 2101, the deletion operation of the line, and the thickness of the line to be drawn according to the inclination recognition state of the pen-type input device 100. Accordingly, an effect is obtained in which the user can switch the operation on the projection image 2101 with a simple operation of tilting the pen-type input device 100.
  • the projector 2100 described with reference to FIG. 3 includes all the components 2300 to 2307 inside the projector 2100.
  • one or more configurations of the projector 2100 are provided.
  • An equivalent function may be realized by combining the projector 2100 and the PC 2900 by configuring the requirements in a personal computer (hereinafter, PC) 2900 connected to the projector 2100.
  • PC personal computer
  • the projector 2100 described in FIG. 3 is a device that displays an image on a display such as a tablet terminal 3000, and the tablet terminal 3000 includes the pen position detection unit 2300 and the calculation unit. 2301 and the pen communication unit 2302 may be provided to realize an equivalent function in the video of the display.
  • Example 2 In the second embodiment, in the operation of the projected image 2101 of the projector 2100 using the pen-type input device 100 described in the first embodiment, the projection image 2101 is displayed according to the tilt of the pen-type input device 100.
  • the graphic display / non-display switching operation and the operation for changing the display position will be described.
  • FIG. 11 shows the appearance of the projected image 2101 and the appearance of the user's operation when the user performs an operation for displaying a menu on the projected image 2101 using the pen-type input device 100.
  • 3100 is a menu GUI.
  • the menu GUI 3100 is a graphic displayed on the projected video 2101.
  • the menu GUI 3100 includes operation buttons that allow a user to select and execute a predetermined operation.
  • the predetermined operation is, for example, a text selected by a user in advance, as in a general PC OS. Operations such as cutting and copying for graphics.
  • the projector 2100 moves the pen-type input device.
  • the menu GUI 3100 is displayed at the position of the 100 nib. Further, as shown in FIG. 11B, the user can select an operation button of the displayed menu GUI 3100.
  • FIG. 12 shows the appearance of the projected image 2101 and the appearance of the user's operation when the user performs an operation for displaying a menu on the projected image 2101 using the pen-type input device 100.
  • the display position of the menu GUI differs depending on whether the user holds the pen-type input device 100 with his / her left or right hand.
  • 3200 is a pointer.
  • the pointer 3200 is a graphic displayed on the predetermined projected image 2101, and is a graphic for visually confirming the position indicated by the pen tip of the pen-type input device 100 on the projected image 2101.
  • the projector 2100 dynamically determines the predetermined writing inclination as described above. Also, as shown in FIG. 12, when the predetermined writing inclination satisfies ⁇ ⁇ E0 in the strain sensor output of the pen-type input device 100, the projector 2100 has the user's left hand as the pen-type input. It is determined that the device 100 is held. Similarly, when ⁇ > E0 is satisfied, it is determined that the user has the pen-type input device 100 with the right hand. Furthermore, when the user displays the menu GUI 3100 by the same operation as described with reference to FIG. 11, the projector 2100 determines that the user has the pen-type input device 100 with the left hand.
  • the projector 2100 is effective in operating the projector 2100 depending on whether the user has the pen input device 100 with the left or right hand.
  • the inclination, the display position and angle of the graphic, the graphic type, and the like may be changed.
  • FIG. 13 shows the appearance of the projected image 2101 and the appearance of the user's operation when the user performs an operation for displaying a menu on the projected image 2101 using the pen-type input device 100.
  • the graphic moves in the projected image 2101 by the user tilting the pen-type input device 100.
  • 3300 is a panel GUI, and 3301 indicates the position of the pen tip of the pen-type input device 100.
  • the panel GUI 3300 is a graphic displayed on the projected video 2101 and has a graphic structure for selecting and operating an arbitrary panel from among a plurality of arranged panels.
  • the user points the position of the panel 3 at the upper right of the projected image 2101 with the pen tip of the pen type input device 100, and the left direction as viewed from the user
  • the projector 2100 moves the position of the panel GUI 3300 so that the panel 3 is positioned at the center of the projected image 2101 as shown in FIG. To move.
  • the projector 2100 displays the panel 1 so that the panel 1 is positioned at the center of the projected image 2101 as shown in (2-c) of FIG. The position of the GUI 3300 is moved.
  • the projector 2100 switches the display and non-display of the GUI displayed on the projected image 2101 and changes the display position in accordance with the tilt and position recognition state of the pen-type input device 100.
  • the user can smoothly operate the projected image 2101 with a simple operation of tilting the pen-type input device 100.
  • Example 3 In the third embodiment, in the operation of the projection image 2101 of the projector 2100 using the pen-type input device 100 described in the first embodiment, the operation according to the continuous change in the tilt of the pen-type input device 100. explain.
  • FIG. 14 shows an example of the configuration of the graphic in the video displayed as the projected video 2101 and the external appearance when the user operates the graphic using the pen-type input device 100, as in FIG.
  • the change in display of the feedback GUI 2501 is different from that in FIG. 25 described above, and in the feedback GUI 2501 according to the continuous change of ⁇ indicated by the strain sensor output of the strain sensor output graph 2500, An icon 2502 moves continuously over the linear graphic 2503.
  • FIG. 15 shows the appearance of the projected image 2101 and the user's operation when the user operates the graphic of the projected image 2101 using the pen-type input device 100.
  • 3500 is a page turning GUI
  • 3501 is a scroll GUI
  • 3502 is a moving image content
  • 3503 is a time bar GUI.
  • the page turning GUI 3500 is a graphic displayed on the projected image 2101, and the displayed page is switched by the movement of the graphic that turns the page left and right.
  • the scroll GUI 3501 is a graphic displayed on the projected image 2101.
  • the panels are arranged in a horizontal row, and the display position of the panel is changed by the movement of the graphic that the panel moves to the left and right.
  • the moving image content 3502 is a moving image such as a so-called movie displayed on the projected image 2101.
  • a time bar GUI 3503 is a graphic displayed on the projected video 2101, and indicates a playback position of the moving image content 3502 by a change in the position, size, and color of the graphic in the time bar.
  • the projector 2100 changes to ⁇ indicated by the strain sensor output.
  • the page being displayed on the page turning GUI 3500 is moved to the left of the projected video 2101.
  • the projector 2100 The page being displayed on the page turning GUI 3500 is moved to the outside in the left direction of the projected image 2101, and the page being displayed on the page turning GUI 3500 is switched. 15 (c) and (1), the same applies when the user tilts the pen-type input device 100 to the right as viewed from the user.
  • the operation is the same as the operation of the page turning GUI 3500, and the user tilts the pen-type input device 100.
  • the projector 2100 moves the panel of the scroll GUI 3501 according to the direction.
  • the speed at which the panel moves may change according to the change in ⁇ indicated by the strain sensor output.
  • the operation is the same as the operation of the page turning GUI 3500, and the user tilts the pen-type input device 100.
  • the projector 2100 moves the playback position of the moving image content 3502 indicated by the time bar GUI 3503 in accordance with the selected direction. Note that the speed at which the reproduction position moves may change according to a change in ⁇ indicated by the strain sensor output.
  • the pointer 3200 is moved with respect to the position of the pen tip of the pen type input device 100.
  • the position is shifted and the position of the pointer 3200 is corrected by so-called calibration or the like, the user changes the inclination of the pen-type input device 100 as described with reference to FIG. You may correct
  • FIG. 17 shows the appearance of the projected image 2101 and the user's operation when the user operates the graphic of the projected image 2101 using the pen-type input device 100.
  • 3700 is an image display GUI
  • 3701 is an image list GUI.
  • the image display GUI 3700 is a graphic displayed on the projected video 2101.
  • the image display GUI 3700 displays image data such as photographs and illustrations, and can be browsed while performing operations such as enlargement, reduction, and movement.
  • the image list GUI 3701 is a graphic displayed on the projected image 2101 and displays a plurality of image data such as photographs and illustrations at the same time, and performs operations such as enlarging, reducing, and moving all or part of the plurality of image data. You can browse while doing.
  • the projector 2100 changes to ⁇ indicated by the strain sensor output. Accordingly, the image data being displayed on the image display GUI 3700 is reduced.
  • FIGS. 17C and 17A when the user tilts the pen-type input device 100 to the right side when viewed from the user, the image data being displayed on the image display GUI 3700 is enlarged. To do.
  • the speed of the change of enlargement or reduction of the image data being displayed on the image display GUI 3700 may change according to the change of ⁇ indicated by the strain sensor output.
  • the image data being displayed on the image display GUI 3600 is enlarged or reduced while being positioned at the center of the projected image 2101. As shown in FIG.
  • the image data being displayed on the image display GUI 3700 may be enlarged or reduced about the pen tip position 3301 of the pen-type input device 100.
  • the projector 2100 changes to ⁇ indicated by the strain sensor output. Accordingly, the entire display of the image data being displayed in the image list GUI 3701 is reduced.
  • FIGS. 17C and 17C when the user tilts the pen-type input device 100 to the right side when viewed from the user, the image data displayed on the image list GUI 3701 The image data corresponding to the pen tip position 3301 of the pen-type input device 100 is enlarged.
  • the pen input is performed in the same manner as the image display GUI 3700.
  • the figure may be enlarged or reduced.
  • the projector 2100 performs an operation on the GUI displayed on the projection image 2101 in accordance with a continuous change in the tilt of the pen-type input device 100, so that the user can perform the pen-type operation.
  • the simple operation of tilting the input device 100 an effect can be obtained in which the operation on the projected image 2101 can be performed smoothly.
  • Example 4 will be described.
  • the fourth embodiment in the operation of the projection image 2101 of the projector 2100 using the pen-type input device 100 described in the first embodiment, an operation according to the stress applied to the pen tip of the pen-type input device 100 will be described. .
  • FIG. 19 shows an example of the configuration of the graphic in the video displayed as the projected video 2101 and the appearance when the user operates the graphic using the pen-type input device 100.
  • 3900 is the operation layer A
  • 3901 is the operation layer B.
  • the operation layer A 3900 and the operation layer B 3901 are virtual operation areas in the projected image 2101, and the user independently configures graphics so that the user can operate the operation layer A 3900 or the operation layer B 3901. One of these can be selected by a predetermined operation, and an operation such as graphic drawing can be performed on the selected operation layer. Further, as shown in FIG. 19A, the operation layer A 3900 and the operation layer B 3901 can be displayed in an overlapped manner in the projection image 2101, and the user has operated each operation layer. The result can be viewed as a single video.
  • FIG. 19B shows that the user can select either the operation layer A 3900 or the operation layer B 3901 according to the strength of the force pressing the pen-type input device 100 against the wall surface 2103. Yes. Accordingly, in the strain sensor output of the strain sensor output graph 2500, when
  • FIG. 20 shows that when the projector 2100 linearly displays a line drawn by the user on the projected image 2101 with the curvature of the line corrected, the user places the pen-type input device 100 on the wall surface 2103. It shows a state where the presence or absence of correction of the curve of the line is switched depending on the strength of the pressing force.
  • the projector 2100 may alert the user by displaying a graphic such as a warning icon 4100 on the projected video 2101.
  • the projector 2100 may alert the user with the warning icon 4100 or a predetermined warning sound.
  • the projector 2100 performs an operation on the GUI displayed on the projection image 2101 in accordance with the stress applied to the pen tip of the pen input device 100, so that the user can input the pen input.
  • An effect that the operation on the projected image 2101 can be smoothly performed by a simple operation of simply changing the force pressing the apparatus 100 against the wall surface 2103 is obtained.
  • Example 5 In the fifth embodiment, in the operation of the projection image 2101 of the projector 2100 using the pen-type input device 100 described in the first embodiment, an operation according to stresses other than the pen tip of the pen-type input device 100 will be described. .
  • FIG. 22 shows an example of the configuration of a graphic in the video displayed as the projected video 2101 and an external appearance when the user operates the graphic using the pen-type input device 100.
  • the pen-type input device 100 shown in FIG. 22 can detect the contact of the pen base of the pen-type input device 100 as in the case of FIG. 8 described above. Accordingly, as shown in FIG. 22A, when the user operates the projection image 2101 with the pen tip of the pen-type input device 100, as in FIG. A line is drawn on the projected image 2101 along the trajectory of the pen tip of the pen-type input device 100. Further, as shown in FIG. 22B, when the user operates the projection image 2101 at the pen base of the pen-type input device 100, the same as in FIG. A line previously drawn in the projected image 2101 is deleted along the pen source trajectory of the pen-type input device 100.
  • FIG. 23 shows an example of the configuration of the graphic in the video displayed as the projected video 2101 and the appearance when the user operates the graphic using the pen-type input device 100.
  • the pen-type input device 100 shown in FIG. 23 can detect the force with which the user holds the grip portion of the pen-type input device 100, as in FIG. 13 described above. Accordingly, as shown in FIG. 23A, when the projected image 2101 is operated by gripping a portion close to the pen tip of the pen-type input device 100 as shown in FIG. Similarly to FIG. 6A, a line is drawn on the projected image 2101 along the trajectory of the pen tip of the pen-type input device 100 as writing means. Further, as shown in FIG. 23B, when the user grips a portion near the pen base of the pen-type input device 100 and operates the projection image 2101 of the user, the force gripped by the user Cannot be detected. In this case, similarly to the above-described FIG.
  • the pointer 3200 is displayed at the position of the pen tip of the pen-type input device 100.
  • the selection of the button displayed on the projected image 2101 is selected.
  • an operation according to the position of the pen tip of the pen-type input device 100 can be performed.
  • FIG. 24 shows an example of the configuration of the graphic in the video displayed as the projected video 2101 and the appearance when the user operates the graphic using the pen-type input device 100.
  • the pen-type input device 100 shown in FIG. 24 can detect the force with which the user grips the grip portion of the pen-type input device 100, as in FIG. 13 described above. Accordingly, as shown in FIG. 24A, the user points to a graphic such as an icon displayed on the projected image 2101 at the position of the pen tip of the pen-type input device 100, and the user When the pen-type input device 100 is gripped with a strong force, the graphic position such as the icon can be moved according to the position of the pen tip of the pen-type input device 100 like a so-called drag operation.
  • the user holds the pen-type input device 100 with a strong force, and the pen-type input device.
  • the pen-type input device 100 is moved in a state where the pen tip of 100 does not contact the wall surface 2103, and the pen tip of the pen-type input device 100 is again moved to the wall surface 2103 as shown in FIG. Further, the movement of the graphic position such as the icon may be completed when the force of gripping the pen-type input device 100 is weakened.
  • the projector 2100 detects the contact of the pen base of the pen-type input device 100 described above, or detects the force with which the user holds the grip portion of the pen-type input device 100. You may perform operation similar to an Example.
  • the projector 2100 is displayed on the projection image 2101 according to the stress applied to the pen base of the pen-type input device 100 and the position and force with which the user holds the pen-type input device 100.
  • an effect can be obtained in which the user can smoothly operate the projection image 2101 with a simple operation using the pen-type input device 100.
  • 200 Semiconductor strain sensor
  • 201 Sensor sensitivity axis, 2100 ... Projector, 2101 ... Projected image, 2102 ... Projected light, 2103 ... Wall surface, 2104 ... Pen position detection sensor, 2500 ... Strain sensor output graph, 2501 ... Feedback GUI, 2502 ... Icon, 2503 ... Linear graphic, 2600 ... Eraser icon, 2900 ... PC, 3000 ... Tablet terminal 3100 ... Menu GUI, 3200 ... Pointer, 3300 ... Panel GUI, 3301 ... Pen tip position, 3700 ... Image display GUI, 3701 ... Image list GUI, 3800 ... circle, 3900 ... operation layer A, 3901 ... operation layer B, 4100 ... Warning icon Warning icon

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

　筆圧検出や傾き検出の状態検出をより高精度検出可能とした電子ペンを利用して、筆圧や傾きのペンの状態検出をおこなって、これを基により使い勝手の向上や新たな使用方法をもつ映像表示装置を提供する。　グラフィカルユーザインタフェースを表示する表示手段と、前記ペンの映像表示装置の表示面における位置を検出するペン位置検出手段と、前記ペン先の映像表示装置の表示面への接触の有無と、前記ペン先が接触する面に対する傾きを含むのペン状態情報の入力手段と、を備え、前記ペン位置検出手段が検出したペン位置情報により前記グラフィカルユーザインタフェースを特定し、前記ペン状態情報に応じて前記グラフィカルユーザインタフェースの表示内容を変更する。

Description

映像表示装置、およびその映像操作方法
　本発明は、映像をホワイトボード等に投写するとともに、ホワイトボードに筆記入力をおこなえる映像表示装置に係り、電子ペンによる操作指示をおこなう映像表示装置およびその映像操作方法に関する。
　近年、モニタの大画面化やプロジェクター装置の普及により、筆記用具で白板に文字や図形を記入するのと同じ形態で、データ表示した表示面にコンピュータによる加筆をおこなえる電子ペンが提供されている。この電子ペンには、軌跡情報をコンピューターに通知するとともに、電子ペンの筆圧や傾き等の操作情報をコンピュータに通知することが必要となる。
　例えば、特許文献１に電子ペンの一例が示されている。詳しくは、特許文献１に開示される電子ペンは、使用者に把持される略筒状の筐体と、前記筐体の先端側に形成されたペン先部と、前記ペン先部の三次元的変位を検出して、前記ペン先部の筆圧または傾きを算出する検出手段と、を備えた構成であることが開示されている。
　そして、電子ペンと、表示装置のタッチパネル面に前記電子ペンによりタッチされた座標位置を検出する座標位置検出装置と、前記座標位置検出装置の座標位置の検出結果に応じた情報を前記表示装置に表示させる表示制御装置とからなるタッチパネル装置において、前記電子ペンは、使用者に把持される略筒状の筐体と、前記筐体の先端側に形成されたペン先部と、前記ペン先部の三次元的変位を検出して、前記電子ペンの筆圧を算出する検出手段と、を含み、前記表示制御装置は、前記検出手段で算出された前記電子ペンの筆圧に応じて、前記表示装置に表示する情報の表示態様を変更することが開示されている。
　上記の電子ペンを入力装置とした電子ボードシステムが、例えば、特許文献２に示されている。特許文献２に開示される電子ボードシステムでは、ボードに座標検出装置が取り付けられ電子ペンのボード上のペン位置情報を検出し、ペン先のスイッチ情報とペン位置情報から、ボードに筆記データを投影している。
特開２００６－９２４１０号公報 特開２０１０－７９８３４号公報
　前記特許文献１に記載の電子ペンによれば、電子ペンの筆圧やペン軸の傾きを検出できるようになったが、特許文献２に開示される電子ボードシステム等の表示装置では、従来の筆記用具の筆記機能を電子化にすぎず、新たな入力装置の機能を提供するまでには到っていない。
　本発明の目的は、筆圧検出や傾き検出の状態検出をより高精度検出可能とした電子ペンを利用して、筆圧や傾きのペンの状態検出をおこなって、これを基により使い勝手の向上や新たな使用方法をもつ映像表示装置を提供することにある。
　上記課題を解決するために、本発明のペンで操作する映像表示装置は、グラフィカルユーザインタフェースを表示する表示手段と、前記ペンの映像表示装置の表示面における位置を検出するペン位置検出手段と、前記ペン先の映像表示装置の表示面への接触の有無と、前記ペン先が接触する面に対する傾きを含むのペン状態情報の入力手段と、を備え、前記ペン位置検出手段が検出したペン位置情報により前記グラフィカルユーザインタフェースを特定し、前記ペン状態情報に応じて前記グラフィカルユーザインタフェースの表示内容を変更するようにした。
　本発明によれば、ユーザが前記ペン型入力装置を用いてＧＵＩに対して行う、線の描画、線の削除等の操作を、ユーザが円滑に切り替えることができるので、電子ボードシステム等の映像表示装置の操作性の向上効果をもたらす。
実施例１における映像表示装置をユーザが操作する外観の一例を示す図である。 実施例１における映像表示装置をユーザが操作する外観の一例を示す図である。 実施例１における映像表示装置の構成の一例を示す図である。 実施例１における処理の一例を示す図である。 実施例１における操作の一例を示す図である。 実施例１における操作の一例を示す図である。 実施例１における操作の一例を示す図である。 実施例１における操作の一例を示す図である。 実施例１における映像表示装置の構成の一例を示す図である。 実施例１における映像表示装置の構成の一例を示す図である。 実施例２における操作の一例を示す図である。 実施例２における操作の一例を示す図である。 実施例２における操作の一例を示す図である。 実施例３における操作の一例を示す図である。 実施例３における操作の一例を示す図である。 実施例３における操作の一例を示す図である。 実施例３における操作の一例を示す図である。 実施例３における操作の一例を示す図である。 実施例４における操作の一例を示す図である。 実施例４における操作の一例を示す図である。 実施例４における操作の一例を示す図である。 実施例５における操作の一例を示す図である。 実施例５における操作の一例を示す図である。 実施例５における操作の一例を示す図である。 実施例の電子ペンの構造例を示す図である。 電子ペンの歪検出の処理フロー 電子ペンの状態と歪検出値を関係を示す表である。
　実施例の説明に先立ち、図２５～２７により本実施例のペン型入力装置（電子ペン）の概要を説明する。図２５は、実施例のペン型入力装置の構造の一例を示す図である。図２６は、ペン型入力装置の状態と検出値の対応を示す表である。
　本実施例ペン型入力装置の構造は、図２５に示されるように、半導体歪センサ等の一方向の歪量に対応して出力値が変わる歪センサ（2501、2502）が、ペン軸の表面に設置された構造となっている。ユーザがぺん軸の把持部をもちボードやスクリーン等の筆記面に筆記動作をおこなってとき、前記歪センサは、ペン軸の変形量を歪量として検出する。本実施例では、この歪量からペン型入力装置のペン先の接触状態、ペン先の圧力、ペンの傾き方向を判定する。
　ここで、図２５には２つの半導体歪センサ（2501、2502）が記載されているが、歪量を検出できれば、この個数に限定されるものではなく、また、センサの設置場所も、ペン軸の表面に限定されず、ペン軸の内側や、内部表面であってもよい。
　また、以下の実施例には記述していないが、ペン先以外に、ペン軸の央部や、ペン軸の元部に歪センサを設置したり、複数箇所に設置することにより、ペン軸のひねり動作、ペン軸の引っ張り／押し込み、ペン軸の保持状態等を判定でき、実施例以外の操作指示情報を示すことが可能となる。
　図２６は、前記歪センサで検出した歪量εを元に、ペン先の接触状態、ペン先の圧力、ペンの傾き方向を判定する処理フローをしめす。ここで、ε0は、歪センサの平衡状態のセンサ出力値を意味し、Ｅは、処理のためのセンサ閾値を意味する。
　図２７に、図２６の処理フローのＳ５０３の具体的な処理内容を示す。図２７に示す処理では、歪センサの出力する歪量の平衡状態からの変化量と閾値を比較し、その大小により、ペン先の筆記面への接触状態・ペンの傾き方向を判定する。
　以下に、図面を参照しながら、本発明の実施例を説明する。
　次に、実施例１を説明する。実施例１では、前記ペン型入力装置を用いたプロジェクタの投写映像の操作について説明する。
　図１はユーザが前記ペン型入力装置を用いて、プロジェクタの投写映像を操作する一例の外観を示す。また、図２は、図１と同等の機器構成で側面から見た場合の外観を示す。図１および図２において、１００は前記ペン型入力装置であり、２１００はプロジェクタ、２１０１は投写映像、２１０２は投写光、２１０３は壁面、２１０４はペン位置検出センサである。
　プロジェクタ２１００は、壁面２１０３に取り付けられており、ＧＵＩ等の所定の映像信号に基づき、投写光２１０２を出力することにより、前記壁面２１０３に投写映像２１０１を映し出す。
　ペン位置検出センサ２１０４は、前記プロジェクタ２１００が備えるセンサであり、前記投写映像２１０１に対する前記ペン型入力装置１００のペン先の位置を検出する機能を有しており、例えば、超音波センサ、カメラ、電界センサ、赤外線距離センサ、レーザ距離センサ、距離画像センサなどのセンサデバイスが用いられる。前記ペン位置検出センサ２１０４に用いるセンサは、特に限定されず、センサデータを処理するマイコン、及びマイコン上で動作するソフトウェア等との組合せにより、前記投写映像２１０１の投写面上での前記ペン型入力装置１００のペン先の位置が得られる機能を有すればよい。
　また、前記プロジェクタ２１００は、前記ペン位置検出センサ２１０４で得られる前記ペン型入力装置１００のペン先の位置から、前記投写映像２１０１に対応する座標を算出し、さらに、前記座標の位置や動きに応じて前記投写映像２１０１で表示する映像内のグラフィックの位置や動き、構成等を変化させる。これにより、ユーザは、前記ペン型入力装置１００を用いて前記投写映像２１０１に対する操作を行うことができる。
　図３は、前記ペン型入力装置１００、前記プロジェクタ２１００の構成の一例を示す。図３において、前記ペン型入力装置１００の構成は先に述べたものと同等である。図３の前記プロジェクタ２１００において、２３００はペン位置検出部、２３０１は演算部、２３０２はペン通信部、２３０３は操作部、２３０４は中央処理部、２３０５はメモリ、２３０６は映像制御部、２３０７は映像投写部である。
　ペン位置検出部２３００は、前記ペン位置検出センサ２１０４や、前記ペン位置検出センサ２１０４のセンサデータを処理するマイコン、及びマイコン上で動作するソフトウェア等で構成され、前記投写映像２１０１に対する前記ペン型入力装置１００のペン先の位置を検出する。
　演算部２３０１は、回路基板などで構成され、前記ペン位置検出部２３００で得られる前記ペン型入力装置１００のペン先の位置や、後述するペン通信部２３０２を介して得られる前記ペン型入力装置１００の傾き、握られ方、他の物体との接触状態などの情報を演算処理し、前記ペン型入力装置１００を用いたユーザの各種操作の状態を決定する。
　ペン通信部２３０２は、超音波ユニットや赤外線通信装置などの無線通信装置、もしくは、ユニバーサルシリアルバス（ＵＳＢ）などの有線通信装置で構成され、前記ペン型入力装置１００と通信できるインタフェースである。前記ペン通信部２３０２は、前記ペン型入力装置１００から、傾き、握られ方、他の物体との接触状態などの情報を受信する。操作部２３０３は、ボタンやスイッチ、操作パネルなどで構成され、ユーザからの入力を受け付けることができるインタフェースである。
　中央処理部２３０４は、中央処理装置（以下、ＣＰＵ）等の半導体チップや、オペレーティングシステム（以下、ＯＳ）等のソフトウェアで構成され、前記演算部２３０１から得られるユーザの各種操作の状態や、前記操作部２３０３からのユーザの入力に基づいて、後述するメモリ２３０５への情報の入出力や、後述する映像制御部２３０６、映像投写部２３０７等の前記プロジェクタ２１００の各部を制御する。
　メモリ２３０５は、半導体などで構成され、前記中央処理部２３０４の演算や制御に必要な情報や、前記投写映像２１０１として表示する映像情報などを記憶する。映像制御部２３０６は、回路基板などで構成され、前記中央処理部２３０４の制御に応じて、映像情報の描画に必要な演算処理を行い、後述する映像投写部２３０７の入力に適した形式で、画素の集合からなる描画情報を出力する。
　映像投写部２３０７は、ランプ等の光源や、レンズ、反射ミラー等の光学部品や、液晶パネル等から構成され、光源から出射される光束を変調して、前記映像制御部２３０６から得られる描画情報に応じた画像光を形成し、スクリーン等の投写面上に前記画像光を拡大投写する。
　なお、図３の各部は独立しているが、必要に応じて１または複数の構成要件で構成してもよい。例えば、２３０１と２３０４と２３０５と２３０６は、１または複数の半導体チップ（Ｓｙｅｔｅｍ－ｏｎ－ａ－ｃｈｉｐ：ＳｏＣ等）でその処理を行うように構成してもよい。
　次に、図４を用いて、前記プロジェクタ２１００が、前記ペン型入力装置１００のペン先の位置、および、ペン先の接触有無の情報、前記ペン先にかかる応力の情報、前記ペン型入力装置の傾きの情報に応じて、前記投写映像２１０１で表示する映像内のグラフィックの位置や動き、構成等を変化させる際の処理の流れを示す。
　図４は、前記プロジェクタ２１００において、主に前記中央処理部２３０４が行う制御の流れを示す処理フローである。
  Ｓ２４０１では、前記ペン位置検出部２３００で得られる、前記ペン型入力装置１００のペン先の位置の検出状態を判定し、検出できると、Ｓ２４０２に進む。
　Ｓ２４０２では、前記ペン通信部２３０２でで得られる、前記ペン型入力装置１００のペン先の接触状態、ペン先の圧力、ペンの傾き方向の検出状態を判定し、検出できると、Ｓ２４０３に進む。
　なお、Ｓ２４０１とＳ２４０２で、前記ペン型入力装置１００のペン先の位置等が検出できない場合には、Ｓ２４０１およびＳ２４０２の処理が繰り返し行われる。
　Ｓ２４０３では、前記ペン型入力装置１００のペン先の位置、ペン先の接触状態、ペン先の圧力、ペンの傾き方向の検出状態に応じて、前記投写映像２１０１で表示する映像内のグラフィックの位置や動き、構成等を変化させる。前記グラフィックの位置や動き、構成等の変化の詳細については、別図を用いて後述する。
　また、Ｓ２４０４では、ユーザが、前記操作部２３０３を介した所定の操作などで、前記ペン型入力装置１００による操作を終了する指示をしたかを判定し、終了が指示されていない場合には、Ｓ２４０１以降の処理が継続して行われる。
　次に、図５から図８を用いて、前記ペン型入力装置１００のペン先の位置、ペン先の接触状態、ペン先の圧力、ペンの傾き方向の検出状態に応じて、前記投写映像２１０１で表示する映像内のグラフィックの位置や動き、構成等の変化について説明する。
　図５は、前記投写映像２１０１で表示する映像内のグラフィックの構成と、ユーザが前記ペン型入力装置１００を用いて前記グラフィックを操作した際の外観の一例を示す。図５において、２５００は歪センサ出力グラフであり、２５０１はフィードバックＧＵＩ、２５０２はアイコン、２５０３は線形グラフィックである。
　歪センサ出力グラフ２５００は、図３と同様に、前記ペン型入力装置１００の前記歪検出部１０１における出力を示している。また、前記歪センサ出力グラフ２５００は、前記ペン型入力装置１００において、前記歪センサ２００が図４と同様に配置された場合の一例を示している。
　従って、前記歪センサ出力グラフ２５００において、Δε＜Ｅlを満たす場合は、前記ペン型入力装置１００が前記壁面２１０３に接触し、かつ、ユーザから見て左側に傾いた状態となる。また、Δε＞Ｅrを満たす場合は、同様に前記ペン型入力装置１００がユーザから見て右側に傾いた状態となる。
　フィードバックＧＵＩ２５０１は、前記投写映像２１０１に表示されるグラフィックである。アイコン２５０２および線形グラフィック２５０３は、前記フィードバックＧＵＩ２５０１を構成するグラフィック部品である。また、フィードバックＧＵＩ２５０１は、プロジェクタ２１００における前記ペン型入力装置１００の傾きの認識状態を、ユーザが視覚的に把握できるようにするための表示となる。
　図５の（ａ）に示すように、ユーザが前記ペン型入力装置１００をユーザから見て左側に傾けることにより、前記ペン型入力装置１００の歪検出部１０１における出力がΔε＜εlを満たす場合は、前記プロジェクタ２１００は、前記フィードバックＧＵＩ２５０１において前記アイコン２５０２が前記線形グラフィック２５０３の左端に移動した表示を行う。同様に、図５の（ｃ）に示すように、ユーザが前記ペン型入力装置１００をユーザから見て右側に傾けた場合は、前記フィードバックＧＵＩ２５０１において、前記アイコン２５０２が前記線形グラフィック２５０３の右端に移動した表示となる。
　上述したように、前記プロジェクタ２１００が、前記ペン型入力装置１００の傾きの認識状態に応じて、前記フィードバックＧＵＩ２５０１の表示を変更することにより、ユーザが、前記ペン型入力装置１００の傾きに応じた操作を行う際に、操作状況を視覚的に確認しながら確実に操作できる効果が得られる。
なお、図５では、前記プロジェクタ２１００が、前記ペン型入力装置１００の傾きを、図５の（ａ）、（ｂ）、（ｃ）の３段階で認識することを説明したが、前記Δεによる前記ペン型入力装置１００の傾き判定のために、複数の段階の閾値を設け、前記ペン型入力装置１００の傾きを複数の段階で認識することにより、上記と同様の操作を実現してもよい。
　次に、ユーザが前記ペン型入力装置１００を用いて、前記投写映像２１０１に対して行う操作パターンの一例を説明する。
  図６は、ユーザが前記ペン型入力装置１００を用いて、前記投写映像２１０１に線を描画する操作を行う際の、前記投写映像２１０１の表示とユーザの操作の外観を示す。図６において、２６００は消しゴムアイコンである。
消しゴムアイコン２６００は、前記投写映像２１０１に表示されるグラフィックである。
　図６の（ａ）に示すように、ユーザが、前記ペン型入力装置１００を所定の筆記時の傾きで持ち、前記ペン型入力装置１００のペン先を前記壁面２１０３に接触させた状態で移動すると、前記プロジェクタ２１００は、前記ペン型入力装置１００のペン先の位置に沿って、前記投写映像２１０１に線を描画する。
　一方、図６の（ｂ）に示すように、ユーザが、前記ペン型入力装置１００を所定の筆記時の傾きよりもユーザから見て左側に大きく傾けて持ち、前記ペン型入力装置１００のペン先を前記壁面２１０３に接触させた状態で移動すると、前記プロジェクタ２１００は、前記投写映像２１０１に前記消しゴムアイコン２６００を表示すると同時に、前記ペン型入力装置１００のペン先の位置に沿って、前記投写映像２１０１にある線を削除する。また、ユーザが、前記ペン型入力装置１００を所定の筆記時の傾きに戻すと、前記プロジェクタ２１００は、前記投写映像２１０１の前記消しゴムアイコン２６００の表示を消し、先に述べた図６の（ａ）と同じ状態となる。
　なお、前記プロジェクタ２１００は、ユーザの前記ペン型入力装置１００を用いた操作における、時間経過に伴う前記ペン型入力装置１００の傾きの変化から、通常の筆記時の傾きを推定するなどして、前記所定の筆記時の傾きを動的に定めてもよい。
　図７は、先に述べた図６とは異なる方法で、ユーザが前記ペン型入力装置１００を用いて、前記投写映像２１０１に線を描画する操作を行う場合の、前記投写映像２１０１の表示とユーザの操作の外観を示す。
　図７の（ａ）は、ユーザが前記投写映像２１０１にある線を削除する際の操作を示している。図７の（ａ－１）に示すように、ユーザが、前記ペン型入力装置１００を所定の筆記時の傾きよりもユーザから見て左側に大きく一度傾けると、前記プロジェクタ２１００は、前記投写映像２１０１に前記消しゴムアイコン２６００を表示すると同時に、前記ペン型入力装置１００のペン先の位置に沿って、前記投写映像２１０１にある線が削除する。また、図７の（ａ－２）に示すように、先に述べた図６とは異なり、ユーザが前記ペン型入力装置１００を所定の筆記時の傾きに戻した後も、前記消しゴムアイコン２６００が表示され、前記投写映像２１０１にある線が削除される状態は継続される。
　一方、図７の（ｂ）は、ユーザが前記投写映像２１０１に線を描画する際の操作を示している。図７の（ｂ－１）に示すように、ユーザが、前記ペン型入力装置１００を所定の筆記時の傾きよりもユーザから見て右側に大きく一度傾けると、前記プロジェクタ２１００は、前記投写映像２１０１の消しゴムアイコン２６００の表示を消し、先に述べた図６の（ａ）と同様に前記投写映像２１０１に線が描画される。
　また、図８に示すように、図７の（ａ－１）と同様に、ユーザが、前記ペン型入力装置１００を所定の筆記時の傾きよりもユーザから見て左側に大きく一度傾けると、前記プロジェクタ２１００は、前記投写映像２１０１に描画する線を太くし、図７の（ｂ－１）と同様に、ユーザが、前記ペン型入力装置１００を所定の筆記時の傾きよりもユーザから見て右側に大きく一度傾けると、前記プロジェクタ２１００は、前記投写映像２１０１に描画する線を細くしてもよい。
　上述したように、前記プロジェクタ２１００が、前記ペン型入力装置１００の傾きの認識状態に応じて、前記投写映像２１０１への線の描画、線の削除の操作や、描画する線の太さを切り替えることにより、ユーザが、前記ペン型入力装置１００を傾ける簡単な操作で、前記投写映像２１０１に対する操作を切り替えることができる効果が得られる。
　なお、図３で説明した前記プロジェクタ２１００は、前記２３００～２３０７の各部を全て前記プロジェクタ２１００の内部に構成しているが、例えば、図９に示すように、前記プロジェクタ２１００の１または複数の構成要件を、前記プロジェクタ２１００と接続されたパーソナルコンピュータ（以下、ＰＣ）２９００に構成するなどして、前記プロジェクタ２１００と前記ＰＣ２９００の組合せにより、同等の機能を実現してもよい。
　また、図３で説明した前記プロジェクタ２１００は、例えば、図１０に示すように、タブレット端末３０００等のディスプレイに映像を表示する装置とし、前記タブレット端末３０００が前記ペン位置検出部２３００や前記演算部２３０１、前記ペン通信部２３０２を備えることにより、前記ディスプレイの映像において同等の機能を実現してもよい。
　次に、実施例２を説明する。実施例２では、実施例１で述べた前記ペン型入力装置１００を用いた前記プロジェクタ２１００の前記投写映像２１０１の操作において、前記ペン型入力装置１００の傾きに応じて、前記投写映像２１０１に表示されるグラフィックの表示と非表示の切り替え操作、および表示位置を変更する操作について説明する。
　図１１は、ユーザが前記ペン型入力装置１００を用いて、前記投写映像２１０１にメニューを表示する操作を行う際の、前記投写映像２１０１の表示とユーザの操作の外観を示す。図１１において、３１００はメニューＧＵＩである。
　メニューＧＵＩ３１００は、前記投写映像２１０１に表示されるグラフィックである。前記メニューＧＵＩ３１００には、所定の操作をユーザが選択して実行できる操作ボタンが含まれており、前記所定の操作は、例えば、一般的なＰＣのＯＳと同様に、予めユーザが選択したテキスト、グラフィックについての、切り取り、コピー等の操作となる。
　図１１の（ａ）に示すように、ユーザが、前記ペン型入力装置１００を所定の筆記時の傾きよりもユーザから見て右側に大きく一度傾けると、前記プロジェクタ２１００は、前記ペン型入力装置１００のペン先の位置に、前記メニューＧＵＩ３１００を表示する。また、図１１の（ｂ）に示すように、ユーザは、表示された前記メニューＧＵＩ３１００の操作ボタンを選択できる。
　一方、図１１の（ｃ）に示すように、前記メニューＧＵＩ３１００が表示されている状態で、ユーザが、前記ペン型入力装置１００を所定の筆記時の傾きよりもユーザから見て左側に大きく一度傾けると、前記メニューＧＵＩ３１００は非表示の状態となる。
　図１２は、ユーザが前記ペン型入力装置１００を用いて、前記投写映像２１０１にメニューを表示する操作を行う際の、前記投写映像２１０１の表示とユーザの操作の外観を示す。図１２では、先に説明した図１１とは異なり、ユーザが左右どちらの手で前記ペン型入力装置１００を持つかによって、前記メニューＧＵＩの表示位置が異なる。図１２では、３２００はポインタである。
　ポインタ３２００は、所定投写映像２１０１に表示されるグラフィックであり、ユーザが、前記ペン型入力装置１００のペン先で指し示す位置を、前記投写映像２１０１において視覚的に確認するためのグラフィックである。
　図１２で示す操作において、前記プロジェクタ２１００は、先に述べたように前記所定の筆記時の傾きを動的に定めている。また、図１２に示すように、前記所定の筆記時の傾きが、前記ペン型入力装置１００の歪センサ出力においてΔε＜Ｅ0を満たす場合は、前記プロジェクタ２１００は、ユーザが左手で前記ペン型入力装置１００を持っていると判定し、同様に、Δε＞Ｅ0を満たす場合はユーザが右手で前記ペン型入力装置１００を持っていると判定する。さらに、ユーザが図１１の説明と同様の操作でメニューＧＵＩ３１００を表示させた場合に、前記プロジェクタ２１００は、ユーザが左手で前記ペン型入力装置１００を持っていると判定した場合には、図１２の（ａ－１）に示すように、前記ペン型入力装置１００のペン先の位置の右側に前記メニューＧＵＩ３１００を表示し、ユーザが右手で前記ペン型入力装置１００を持っていると判定した場合には、図１２の（ａ－２）に示すように、前記ペン型入力装置１００のペン先の位置の左側に前記メニューＧＵＩ３１００を表示する。
　なお、図１２の（ｂ）に示す、前記ポインタ３２００等の前記投写映像２１０１に表示される他のグラフィックや、先に述べた実施例１、ないし、後述する他の実施例の操作においても、図１２の（ａ）の説明と同様に、前記プロジェクタ２１００が、ユーザが左右どちらの手で前記ペン型入力装置１００を持っているかによって、前記プロジェクタ２１００の操作に有効な前記ペン型入力装置１００の傾きや、前記グラフィックの表示の位置や角度、グラフィックの種類等を変更してもよい。
　図１３は、ユーザが前記ペン型入力装置１００を用いて、前記投写映像２１０１にメニューを表示する操作を行う際の、前記投写映像２１０１の表示とユーザの操作の外観を示す。図１３では、先に説明した図１１および図１２とは異なり、ユーザが前記ペン型入力装置１００を傾ける操作によって、前記投写映像２１０１においてグラフィックが移動する。図１３では、３３００はパネルＧＵＩであり、３３０１は前記ペン型入力装置１００のペン先の位置を示す。
　パネルＧＵＩ３３００は、前記投写映像２１０１に表示されるグラフィックであり、複数並べられたパネルの中から、任意のパネルを選択および操作するためのグラフィックの構造を持つ。
　図１３の（１－ａ）に示すように、ユーザが前記ペン型入力装置１００のペン先で前記投写映像２１０１の右上にあるパネル３の位置を指示した状態で、ユーザから見て左側の方向に前記ペン型入力装置１００を傾けると、図１３の（２－ａ）に示すように、前記プロジェクタ２１００は、前記パネル３が前記投写映像２１０１の中央に位置するように、前記パネルＧＵＩ３３００の位置を移動する。同様に、図１３の（１－ｃ）に示すように、ユーザが前記ペン型入力装置１００のペン先で前記投写映像２１０１の左上にあるパネル１の位置を指示した状態で、ユーザから見て右側の方向に前記ペン型入力装置１００を傾けると、図１３の（２－ｃ）に示すように、前記プロジェクタ２１００は、前記パネル１が前記投写映像２１０１の中央に位置するように、前記パネルＧＵＩ３３００の位置を移動する。
　上述したように、前記プロジェクタ２１００が、前記ペン型入力装置１００の傾きや位置の認識状態に応じて、前記投写映像２１０１に表示されるＧＵＩの表示と非表示の切り替え操作、および表示位置を変更することにより、ユーザが、前記ペン型入力装置１００を傾ける簡単な操作で、前記投写映像２１０１に対する操作を円滑に行える効果が得られる。
　次に、実施例３を説明する。実施例３では、実施例１で述べた前記ペン型入力装置１００を用いた前記プロジェクタ２１００の前記投写映像２１０１の操作において、前記ペン型入力装置１００の傾きの連続的な変化に応じた操作について説明する。
　図１４は、図２５と同様に、前記投写映像２１０１で表示する映像内のグラフィックの構成と、ユーザが前記ペン型入力装置１００を用いて前記グラフィックを操作した際の外観の一例を示す。図１４では、先に説明した図２５と前記フィードバックＧＵＩ２５０１の表示の変化が異なり、前記歪センサ出力グラフ２５００の歪センサ出力で示されるΔεの連続的な変化に応じて、前記フィードバックＧＵＩ２５０１において、前記アイコン２５０２が前記線形グラフィック２５０３の上を連続的に移動する。
　次に、ユーザが前記ペン型入力装置１００の傾きの連続的に変化を用いて、前記投写映像２１０１に対して行う操作パターンの一例を説明する。
  図１５は、ユーザが前記ペン型入力装置１００を用いて、前記投写映像２１０１のグラフィックを操作する際の、前記投写映像２１０１の表示とユーザの操作の外観を示す。図１５において、３５００はページめくりＧＵＩであり、３５０１はスクロールＧＵＩ、３５０２は動画コンテンツ、３５０３はタイムバーＧＵＩである。
　ページめくりＧＵＩ３５００は、前記投写映像２１０１に表示されるグラフィックであり、左右にページがめくられるグラフィックの動きにより、表示されるページが切り替えられる。
　スクロールＧＵＩ３５０１は、前記投写映像２１０１に表示されるグラフィックであり、横一列にパネルが並んでおり、前記パネルが左右に移動するグラフィックの動きにより、前記パネルの表示位置が変更される。
　動画コンテンツ３５０２は、前記投写映像２１０１に表示される、いわゆるムービー等の動画である。タイムバーＧＵＩ３５０３は、前記投写映像２１０１に表示されるグラフィックであり、前記タイムバーの中のグラフィックの位置や大きさ、色の変化により、前記動画コンテンツ３５０２の再生位置を示す。
　図１５（ａ）及び（１）に示すように、ユーザが、前記ペン型入力装置１００を、ユーザから見て左側に傾けると、前記プロジェクタ２１００は、前記歪センサ出力で示されるΔεの変化に応じて、前記ページめくりＧＵＩ３５００で表示中のページを、前記投写映像２１０１の左方向に移動させる。また、ユーザが、前記ペン型入力装置１００を、ユーザから見て左側にさらに大きく傾け、例えば、図１４の前記歪センサ出力グラフ２５００においてΔε＜Ｅlを満たす場合には、前記プロジェクタ２１００は前記、前記ページめくりＧＵＩ３５００で表示中のページを、前記投写映像２１０１の左方向の外側に移動させ、前記ページめくりＧＵＩ３５００で表示中のページが切り替わる。　図１５（ｃ）及び（１）に示すように、ユーザが、前記ペン型入力装置１００を、ユーザから見て右側に傾けた場合も同様となる。
　また、図１５（ａ）及び（２）に示すように、ユーザが、前記スクロールＧＵＩ３５０１を操作する場合も、前記ページめくりＧＵＩ３５００の操作と同様となり、ユーザが、前記ペン型入力装置１００を傾けた方向に応じて、前記プロジェクタ２１００は、前記スクロールＧＵＩ３５０１の前記パネルを移動させる。なお、前記歪センサ出力で示されるΔεの変化に応じて、前記パネルが移動する速度が変化してもよい。
　また、図１５（ａ）及び（３）に示すように、ユーザが、前記タイムバーＧＵＩ３５０３を操作する場合も、前記ページめくりＧＵＩ３５００の操作と同様となり、ユーザが、前記ペン型入力装置１００を傾けた方向に応じて、前記プロジェクタ２１００は、前記タイムバーＧＵＩ３５０３で示される前記動画コンテンツ３５０２の再生位置を移動させる。なお、前記歪センサ出力で示されるΔεの変化に応じて、前記再生位置が移動する速度が変化してもよい。
　なお、図１６に示すように、ユーザが前記ペン型入力装置１００を用いて、前記投写映像２１０１に操作する際に、前記ペン型入力装置１００のペン先の位置に対して、前記ポインタ３２００の位置がずれており、いわゆるキャリブレーションなどで前記ポインタ３２００の位置を補正する場合に、図１５で説明と同様に、ユーザが前記ペン型入力装置１００の傾きを変化させることによって、前記ポインタ３２００の位置を移動して補正してもよい。
　図１７は、ユーザが前記ペン型入力装置１００を用いて、前記投写映像２１０１のグラフィックを操作する際の、前記投写映像２１０１の表示とユーザの操作の外観を示す。図１７において、３７００は画像表示ＧＵＩであり、３７０１は画像一覧ＧＵＩである。
　画像表示ＧＵＩ３７００は、前記投写映像２１０１に表示されるグラフィックであり、写真やイラスト等の画像データを表示し、前記画像データを、拡大、縮小、移動など操作を行いながら閲覧できる。
　画像一覧ＧＵＩ３７０１は、前記投写映像２１０１に表示されるグラフィックであり、写真やイラスト等の複数の画像データを同時に表示し、前記複数の画像データの全部もしくは一部を、拡大、縮小、移動など操作を行いながら閲覧できる。
　図１７（ａ）及び（１）に示すように、ユーザが、前記ペン型入力装置１００を、ユーザから見て左側に傾けると、前記プロジェクタ２１００は、前記歪センサ出力で示されるΔεの変化に応じて、前記画像表示ＧＵＩ３７００で表示中の画像データを縮小する。また、図１７（ｃ）及び（１）に示すように、ユーザが、前記ペン型入力装置１００を、ユーザから見て右側に傾けた場合は、前記画像表示ＧＵＩ３７００で表示中の画像データは拡大する。
　なお、前記歪センサ出力で示されるΔεの変化に応じて、前記画像表示ＧＵＩ３７００で表示中の画像データの拡大または縮小の変化の速度が変化してもよい。また、図１７の（１）では、前記画像表示ＧＵＩ３６００で表示中の画像データが、前記投写映像２１０１の中心に位置したまま拡大または縮小したが、前記図１７の（２）に示すように、前記ペン型入力装置１００の前記ペン先の位置３３０１を中心にして、前記画像表示ＧＵＩ３７００で表示中の画像データを拡大または縮小させてもよい。
　図１７（ａ）及び（３）に示すように、ユーザが、前記ペン型入力装置１００を、ユーザから見て左側に傾けると、前記プロジェクタ２１００は、前記歪センサ出力で示されるΔεの変化に応じて、前記画像一覧ＧＵＩ３７０１で表示中の画像データの全体の表示を縮小する。また、図１７（ｃ）及び（３）に示すように、ユーザが、前記ペン型入力装置１００を、ユーザから見て右側に傾けた場合は、前記画像一覧ＧＵＩ３７０１で表示中の画像データのうち、前記ペン型入力装置１００のペン先の位置３３０１に対応する画像データを拡大する。
　なお、図１８に示すように、ユーザが前記ペン型入力装置１００を用いて、前記投写映像２１０１に円３８００等の図形を描画する際にも、前記画像表示ＧＵＩ３７００と同様に、前記ペン型入力装置１００の傾きに応じて、前記図形の拡大または縮小させてもよい。
　上述したように、前記プロジェクタ２１００が、前記ペン型入力装置１００の傾きの連続的な変化に応じて、前記投写映像２１０１に表示されるＧＵＩに対する操作を実行することにより、ユーザが、前記ペン型入力装置１００を傾ける簡単な操作で、前記投写映像２１０１に対する操作を円滑に行える効果が得られる。
　次に、実施例４を説明する。実施例４では、実施例１で述べたペン型入力装置１００を用いた前記プロジェクタ２１００の前記投写映像２１０１の操作において、前記ペン型入力装置１００のペン先にかかる応力に応じた操作について説明する。
　図１９は、前記投写映像２１０１で表示する映像内のグラフィックの構成と、ユーザが前記ペン型入力装置１００を用いて前記グラフィックを操作した際の外観の一例を示す。図１９において、３９００は操作レイヤーＡ、３９０１は操作レイヤーＢである。
　操作レイヤーＡ３９００、および、操作レイヤーＢ３９０１は、前記投写映像２１０１における仮想的な操作領域であり、それぞれに独立してグラフィックを構成することにより、ユーザは、前記操作レイヤーＡ３９００、または、前記操作レイヤーＢ３９０１のどちらかを所定の操作で選択して、選択した前記操作レイヤーに対して、グラフィックの描画等の操作を行うことができる。また、図１９（ａ）に示すように、前記操作レイヤーＡ３９００と前記操作レイヤーＢ３９０１は、前記投写映像２１０１において重ねて表示することができ、ユーザは、それぞれの操作レイヤーに対して操作を行った結果を、ひとつの映像として合成して閲覧することができる。
　図１９の（ｂ）は、ユーザが、前記ペン型入力装置１００を前記壁面２１０３に押し付ける力の強さによって、前記操作レイヤーＡ３９００、または、前記操作レイヤーＢ３９０１のどちらかが選択できる様子を示している。従って、前記歪センサ出力グラフ２５００の歪センサ出力において、｜Δε｜≦Ｅsを満たす場合には、前記プロジェクタ２１００は、ユーザが前記操作レイヤーＡ３９００に対して操作できるようにし、同様に、｜Δε｜＞Ｅsを満たす場合には、前記プロジェクタ２１００は、ユーザが前記操作レイヤーＢ３９０１に対して操作できるようにする。
　図２０は、前記プロジェクタ２１００が、ユーザが前記投写映像２１０１に描画した線を、前記線の曲りを補正して直線的に表示する場合に、ユーザが前記ペン型入力装置１００を前記壁面２１０３に押し付ける力の強さによって、前記線の曲りの補正の有無を切り替える様子を示している。
　図２０で示す操作において、前記プロジェクタ２１００は、前記ペン型入力装置１００の歪センサ出力が｜Δε｜＞Ｅs満たす場合には、前記線の曲りの補正を行わず、｜Δε｜≦Ｅsを満たす場合には、前記線の曲りの補正を行う。従って、図２０の（ａ）に示すように、ユーザが強い力で前記ペン型入力装置１００を前記壁面２１０３に押し付けて移動すると、前記投写映像２１０１に前記ペン型入力装置１００のペン先に沿った線が描画される。一方、図２０の（ｂ）に示すように、ユーザが弱い力で前記ペン型入力装置１００を前記壁面２１０３に押し付けて移動すると、前記投写映像２１０１に前記ペン型入力装置１００のペン先の軌道が直線的に補正された線が描画される。
　なお、図２１に示すように、ユーザが前記ペン型入力装置１００を前記壁面２１０３に押し付ける力が強すぎることで、例えば、前記ペン型入力装置１００の歪センサ出力が｜Δε｜＞Ｅmaxを満たす場合には、警告アイコン４１００等のグラフィックを前記投写映像２１０１に表示するなどして、前記プロジェクタ２１００がユーザに注意を促してもよい。また、例えば、前記ペン型入力装置１００の歪センサ出力が｜Δε｜＜Ｅmaxを満たす場合に、ユーザが前記ペン型入力装置１００を前記壁面２１０３に押し付ける力が弱すぎる、もしくは、前記ペン型入力装置１００のペン先が前記壁面２１０３から離れたとして、前記プロジェクタ２１００が、前記警告アイコン４１００や所定の警告音により、ユーザに注意を促してもよい。
　上述したように、前記プロジェクタ２１００が、前記ペン型入力装置１００のペン先にかかる応力に応じて、前記投写映像２１０１に表示されるＧＵＩに対する操作を実行することにより、ユーザが、前記ペン型入力装置１００を前記壁面２１０３に押し付ける力を変更するだけの簡単な操作で、前記投写映像２１０１に対する操作を円滑に行える効果が得られる。
　次に、実施例５を説明する。実施例５では、実施例１で述べた前記ペン型入力装置１００を用いた前記プロジェクタ２１００の投写映像２１０１の操作において、前記ペン型入力装置１００のペン先以外の応力に応じた操作について説明する。
　図２２は、前記投写映像２１０１で表示する映像内のグラフィックの構成と、ユーザが前記ペン型入力装置１００を用いて前記グラフィックを操作した際の外観の一例を示す。
　図２２に示す前記ペン型入力装置１００は、先に述べた図８と同様に、前記ペン型入力装置１００のペン元の接触を検出することができる。これにより、図２２の（ａ）に示すように、ユーザが前記ペン型入力装置１００のペン先で前記投写映像２１０１を操作した場合には、先に述べた図２６（ａ）と同様に、前記ペン型入力装置１００のペン先の軌道に沿って、前記投写映像２１０１に線が描画される。また、図２２の（ｂ）に示すように、ユーザが前記ペン型入力装置１００のペン元で前記投写映像２１０１を操作した場合には、先に述べた図２６（ｂ）と同様に、前記ペン型入力装置１００のペン元の軌道に沿って、前記投写映像２１０１に予め描画されていた線が削除される。
　図２３は、前記投写映像２１０１で表示する映像内のグラフィックの構成と、ユーザが前記ペン型入力装置１００を用いて前記グラフィックを操作した際の外観の一例を示す。
　図２３に示す前記ペン型入力装置１００は、先に述べた図１３と同様に、前記ペン型入力装置１００の把持部をユーザが把持する力を検出することができる。これにより、図２３の（ａ）に示すように、ユーザが把持する力前記ペン型入力装置１００のペン先に近い部分を把持して、前記投写映像２１０１を操作した場合には、先に述べた図６（ａ）と同様に、筆記手段として前記ペン型入力装置１００のペン先の軌道に沿って、前記投写映像２１０１に線が描画される。また、図２３の（ｂ）に示すように、ユーザが前記ペン型入力装置１００のペン元に近い部分を把持して、ユーザの前記投写映像２１０１を操作した場合には、ユーザが把持する力を検出できない。この場合には、先に述べた図３２（ｂ）と同様に、前記ペン型入力装置１００のペン先の位置に前記ポインタ３２００が表示され、例えば、前記投写映像２１０１に表示されたボタンの選択等の指示手段として、前記ペン型入力装置１００のペン先の位置に応じた操作を行うことができる。
　図２４は、前記投写映像２１０１で表示する映像内のグラフィックの構成と、ユーザが前記ペン型入力装置１００を用いて前記グラフィックを操作した際の外観の一例を示す。
　図２４に示す前記ペン型入力装置１００は、先に述べた図１３と同様に、前記ペン型入力装置１００の把持部をユーザが把持する力を検出することができる。これにより、図２４の（ａ）に示すように、ユーザが前記ペン型入力装置１００のペン先の位置で、前記投写映像２１０１に表示されたアイコン等のグラフィックを指し示し、尚且つ、ユーザが前記ペン型入力装置１００を強い力で把持すると、いわゆる、ドラッグ操作のように、前記ペン型入力装置１００のペン先の位置に応じて、前記アイコン等のグラフィックの位置を移動させることができる。
　なお、前記アイコン等のグラフィックの位置を移動させる際に、図２４の（ｂ）に示すように、ユーザが前記ペン型入力装置１００を強い力で把持して、尚且つ、前記ペン型入力装置１００のペン先を前記壁面２１０３に接触しない状態で前記ペン型入力装置１００を移動させ、さらに、図２４の（ｃ）に示すように、前記ペン型入力装置１００のペン先を再び前記壁面２１０３に接触させ、尚且つ、前記ペン型入力装置１００を把持する力を弱めたときに、前記アイコン等のグラフィックの位置の移動が完了するようにしてもよい。
　また、上述した、前記ペン型入力装置１００のペン元の接触を検出や、前記ペン型入力装置１００の把持部をユーザが把持する力を検出により、前記プロジェクタ２１００が、先に述べた他の実施例と同様の操作を行ってもよい。
　上述したように、前記プロジェクタ２１００が、前記ペン型入力装置１００のペン元にかかる応力や、ユーザが前記ペン型入力装置１００を把持する位置や力に応じて、前記投写映像２１０１に表示されるＧＵＩに対する操作を実行することにより、ユーザが、前記ペン型入力装置１００を用いた簡単な操作で、前記投写映像２１０１に対する操作を円滑に行える効果が得られる。
　なお、上述した本実施形態は本発明の説明のための例示であり、本発明の範囲を実施形態にのみ限定する趣旨ではない。
２００…半導体歪センサ、２０１…センサ感度軸、
２１００…プロジェクタ、２１０１…投写映像、２１０２…投写光、２１０３…壁面、
２１０４…ペン位置検出センサ、２５００…歪センサ出力グラフ、
２５０１…フィードバックＧＵＩ、２５０２…アイコン、２５０３…線形グラフィック、２６００…消しゴムアイコン、２９００…ＰＣ、３０００…タブレット端末
３１００…メニューＧＵＩ、３２００…ポインタ、３３００…パネルＧＵＩ、
３３０１…ペン先の位置、３７００…画像表示ＧＵＩ、３７０１…画像一覧ＧＵＩ、
３８００…円、３９００…操作レイヤーＡ、３９０１…操作レイヤーＢ、
４１００…警告アイコン警告アイコン

Claims (15)

  1. ペンで操作する映像表示装置であって、
    グラフィカルユーザインタフェースを表示する表示手段と、
    前記ペンの映像表示装置の表示面における位置を検出するペン位置検出手段と、
    前記ペン先の映像表示装置の表示面への接触の有無と、前記ペン先が接触する面に対する傾きを含むのペン状態情報の入力手段と、を備え、
    前記ペン位置検出手段が検出したペン位置情報により前記グラフィカルユーザインタフェースを特定し、
    前記ペン状態情報に応じて前記グラフィカルユーザインタフェースの表示内容を変更することを特徴とする映像表示装置。
  2. 請求項１に記載の映像表示装置において、
    前記ペン状態情報のペン先が接触する面に対する傾きに応じて、
    メニューを含むグラフィックユーザインターフェイスを構成するひとつまたは複数のグラフィック要素の表示位置、表示サイズ、表示形状のうち少なくともひとつのグラフィックユーザインターフェイスを変更することを特徴とする映像表示装置。
  3. 請求項１に記載の映像表示装置において、
    前記ペン状態情報のペン先が接触する面に対する傾きに応じて、
    ペンの位置変化により軌跡表示された表示内容の消去の機能を無効、あるいは、ペンの位置変化による軌跡表示のオン・オフ、あるいは、操作メニューの表示・非表示、あるいは、ペンの位置変化による軌跡表示の表示幅のいずれかのグラフィックユーザインターフェイスを変更することを特徴とする映像表示装置。
  4. 請求項１に記載の映像表示装置において、
    前記ペン状態情報のペン先が接触する面に対する傾きに応じて、
    ページめくり操作、あるいは、スクロール操作、あるいは、タイムバー操作のいずれかのグラフィックユーザインターフェイスの操作方向あるいは操作速度を変更することを特徴とする映像表示装置。
  5. 請求項１に記載の映像表示装置において、
    前記ペン状態情報のペン先が接触する面に対する傾きに応じて、
    ペン先位置に対応して表示されるカーソルポインタの表示位置とペン先位置のずれ量を補正をおこなうことを特徴とする映像表示装置。
  6. 請求項１に記載の映像表示装置において、
    前記ペン状態情報のペン先が接触する面に対する傾きに応じて、
    ペン先位置に対応するグラフィック要素の拡大・縮小をおこなうことを特徴とする映像表示装置。
  7. 請求項１に記載の映像表示装置において、
    前記ペン状態情報のペン先が接触する面に対する傾きの時間変化から標準のペン傾きを求め、入力された前記ペン状態情報のペン先が接触する面に対する傾きが前記標準のペン傾きと異なる場合に、グラフィックユーザインターフェイスの表示内容を変更することを特徴とする映像表示装置。
  8. ペンで操作する映像表示装置であって、
    グラフィカルユーザインタフェースを表示する表示手段と、
    前記ペンの映像表示装置の表示面における位置を検出するペン位置検出手段と、
    前記ペン先の映像表示装置の表示面への接触の有無と、前記ペン先の応力値を含むのペン状態情報の入力手段と、を備え、
    前記ペン位置検出手段が検出したペン位置情報により前記グラフィカルユーザインタフェースを特定し、前記ペン状態情報に応じて前記グラフィカルユーザインタフェースの表示内容を変更することを特徴とする映像表示装置。
  9. 請求項８に記載の映像表示装置において、
    前記ペン状態情報のペン先の応力値に応じて、
    グラフィックユーザインターフェイスを構成するグラフィック要素を変更することを特徴とする映像表示装置。
  10. 請求項８に記載の映像表示装置において、
    前記ペン状態情報のペン先の応力値に応じて、
    ペン先の軌跡情報を直線に補正して表示する機能の有効・無効を選択することを特徴とする映像表示装置。
  11. 請求項８に記載の映像表示装置において、
    前記ペン状態情報のペン先の応力値が所定の値より大きい場合あるいは所定の値より小さい場合に、警告表示をおこなうことを特徴とする映像表示装置。
  12. ペンで操作する映像表示装置であって、
    グラフィカルユーザインタフェースを表示する表示手段と、
    前記ペンの映像表示装置の表示面における位置を検出するペン位置検出手段と、
    前記ペン先の映像表示装置の表示面への接触の有無と、ユーザのペンを把持する力を含むのペン状態情報の入力手段と、を備え、
    前記ペン位置検出手段が検出したペン位置情報により前記グラフィカルユーザインタフェースを特定し、前記ペン状態情報に応じて前記グラフィカルユーザインタフェースの表示内容を変更することを特徴とする映像表示装置。
  13. 請求項１２に記載の映像表示装置において、
    前記ペン状態情報のペンを把持する力が所定の値以上のときに、
    前記ペン位置検出手段が検出したペン位置情報により特定されるグラフィク要素を移動することを特徴とする映像表示装置。
  14. 請求項１２に記載の映像表示装置において、
    前記ペン状態情報のペンを把持する力が検出できたときには、前記ペン位置検出手段が検出したペン位置情報により軌跡表示をおこない、前記ペン状態情報のペンを把持する力が検出できなかったときには、前記ペン位置検出手段が検出したペン位置情報によりグラフィック要素の選択指示をおこなうことを特徴とする映像表示装置。
  15. 映像表示装置における映像操作方法であって、
    前記映像表示装置は筒状の筐体の先端にペン先を形成するペンで操作する映像表示装置であり、
    グラフィカルユーザインタフェースを前記映像表示装置において表示し、
    前記ペン先が前記グラフィカルユーザインタフェースを指し示す位置と、前記ペン先の他の物体への接触の有無と、前記ペン先が接触する面に対する傾きとを前記映像表示装置において検出し、
    前記ペン先が前記グラフィカルユーザインタフェースを指し示す位置と、前記ペン先の他の物体への接触の有無と、前記ペン先が接触する面に対する傾きと、に応じて変更された前記グラフィカルユーザインタフェースを前記映像表示装置において表示することを特徴とする映像操作方法。
PCT/JP2013/054438 2012-05-23 2013-02-22 映像表示装置、およびその映像操作方法 WO2013175819A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-117106 2012-05-23
JP2012117106A JP5808712B2 (ja) 2012-05-23 2012-05-23 映像表示装置

Publications (1)

Publication Number Publication Date
WO2013175819A1 true WO2013175819A1 (ja) 2013-11-28

Family

ID=49623524

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/054438 WO2013175819A1 (ja) 2012-05-23 2013-02-22 映像表示装置、およびその映像操作方法

Country Status (2)

Country Link
JP (1) JP5808712B2 (ja)
WO (1) WO2013175819A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9787961B2 (en) 2016-01-13 2017-10-10 Seiko Epson Corporation Projector and method for controlling projector
EP3314380A4 (en) * 2015-06-26 2018-08-22 Samsung Electronics Co., Ltd. Input device, electronic device for receiving signal from input device, and control method thereof
US10372239B2 (en) 2015-06-26 2019-08-06 Samsung Electronics Co., Ltd. Input device, electronic device for receiving signal from input device, and control method thereof
CN110955350A (zh) * 2018-09-26 2020-04-03 富士施乐株式会社 信息处理系统及记录介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014110016A (ja) * 2012-12-04 2014-06-12 Sharp Corp 描画器
JP5977768B2 (ja) 2014-01-14 2016-08-24 シャープ株式会社 画像表示装置及びその操作方法
US10423245B2 (en) 2014-01-31 2019-09-24 Qualcomm Incorporated Techniques for providing user input to a device
JP2017062662A (ja) 2015-09-25 2017-03-30 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN106203008A (zh) * 2016-06-28 2016-12-07 宇龙计算机通信科技(深圳)有限公司 终端控制方法、终端控制装置和终端
JP6221001B1 (ja) * 2017-03-17 2017-10-25 京セラ株式会社 電子機器、プログラムおよび制御方法
JP7253939B2 (ja) * 2019-03-07 2023-04-07 シャープ株式会社 ペン型入力装置
KR20220017143A (ko) * 2020-08-04 2022-02-11 삼성전자주식회사 전자 장치 및 이의 전자 펜 포인터를 표시하는 방법
KR20230023158A (ko) 2021-08-10 2023-02-17 삼성전자주식회사 전자 장치 및 전자 펜 동작 방법
JP7473832B1 (ja) 2022-12-01 2024-04-24 富士通クライアントコンピューティング株式会社 電子機器及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0337708A (ja) * 1989-07-05 1991-02-19 Canon Inc 座標入力装置
JPH0367320A (ja) * 1989-05-01 1991-03-22 Wacom Co Ltd 角度情報入力装置
JPH0619612A (ja) * 1992-07-01 1994-01-28 Matsushita Electric Ind Co Ltd ペン入力・メニュー表示装置
JPH10240422A (ja) * 1997-02-25 1998-09-11 Fujitsu Takamizawa Component Kk ペン入力パネル
JP2002366294A (ja) * 2001-06-13 2002-12-20 Minolta Co Ltd データ入力装置およびそのプログラム
JP2012079328A (ja) * 2004-10-12 2012-04-19 Nippon Telegr & Teleph Corp <Ntt> ３次元ポインティング方法、３次元ポインティング装置、及び３次元ポインティングプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03171321A (ja) * 1989-11-30 1991-07-24 Hitachi Ltd 入出力装置
JPH06230880A (ja) * 1993-01-29 1994-08-19 Hitachi Ltd バーコードリーダ付座標入力ペン
JP3120022B2 (ja) * 1995-06-29 2000-12-25 シャープ株式会社 ペン入力装置
JPH11232389A (ja) * 1998-02-09 1999-08-27 Pilot Corp 入力ペンによるパターン認識システム及びそれを備えた筆記ボード認識セット
JP2009003608A (ja) * 2007-06-20 2009-01-08 Seiko Epson Corp ペン入力装置、ペン入力方法
JP2009266097A (ja) * 2008-04-28 2009-11-12 Toshiba Corp 入力機器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0367320A (ja) * 1989-05-01 1991-03-22 Wacom Co Ltd 角度情報入力装置
JPH0337708A (ja) * 1989-07-05 1991-02-19 Canon Inc 座標入力装置
JPH0619612A (ja) * 1992-07-01 1994-01-28 Matsushita Electric Ind Co Ltd ペン入力・メニュー表示装置
JPH10240422A (ja) * 1997-02-25 1998-09-11 Fujitsu Takamizawa Component Kk ペン入力パネル
JP2002366294A (ja) * 2001-06-13 2002-12-20 Minolta Co Ltd データ入力装置およびそのプログラム
JP2012079328A (ja) * 2004-10-12 2012-04-19 Nippon Telegr & Teleph Corp <Ntt> ３次元ポインティング方法、３次元ポインティング装置、及び３次元ポインティングプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3314380A4 (en) * 2015-06-26 2018-08-22 Samsung Electronics Co., Ltd. Input device, electronic device for receiving signal from input device, and control method thereof
US10372239B2 (en) 2015-06-26 2019-08-06 Samsung Electronics Co., Ltd. Input device, electronic device for receiving signal from input device, and control method thereof
US10649553B2 (en) 2015-06-26 2020-05-12 Samsung Electronics Co., Ltd. Input device, electronic device for receiving signal from input device, and control method thereof
US9787961B2 (en) 2016-01-13 2017-10-10 Seiko Epson Corporation Projector and method for controlling projector
CN110955350A (zh) * 2018-09-26 2020-04-03 富士施乐株式会社 信息处理系统及记录介质

Also Published As

Publication number Publication date
JP2013242821A (ja) 2013-12-05
JP5808712B2 (ja) 2015-11-10

Similar Documents

Publication Publication Date Title
JP5808712B2 (ja) 映像表示装置
EP2256614B1 (en) Display control apparatus, display control method, and computer program
JP5295328B2 (ja) スクリーンパッドによる入力が可能なユーザインタフェース装置、入力処理方法及びプログラム
US9552071B2 (en) Information processing apparatus, information processing method and computer program
JP6000797B2 (ja) タッチパネル式入力装置、その制御方法、および、プログラム
US9544556B2 (en) Projection control apparatus and projection control method
JP2010224764A (ja) タッチパネル式ディスプレイを持った携帯型ゲーム装置
JP5713180B2 (ja) 検知領域がディスプレイの表示領域よりも小さくても同等時のように動作するタッチパネル装置
JP5374564B2 (ja) 描画装置、描画制御方法、及び描画制御プログラム
JP4924164B2 (ja) タッチ式入力装置
US20150268828A1 (en) Information processing device and computer program
WO2011055451A1 (ja) 情報処理装置、その方法、および、表示装置
JP2019045637A (ja) 表示制御装置、ポインタ表示方法及びプログラム
US10114501B2 (en) Wearable electronic device using a touch input and a hovering input and controlling method thereof
JP5041730B2 (ja) オブジェクト処理装置及びオブジェクト処理プログラム
TWI442305B (zh) 多點控制的操作方法及其控制系統
US9292185B2 (en) Display device and display method
WO2012169189A1 (ja) タッチパネル入力装置
JP2016122345A (ja) 画像投影装置、及び対話型入出力システム。
JP2009238004A (ja) ポインティングデバイス
JP2012146017A (ja) 電子黒板システム、電子黒板システムの制御方法、プログラムおよびその記録媒体
JP2019046088A (ja) 表示制御装置、ポインタの表示方法及びプログラム
JP2009157448A (ja) 手書き情報入力表示システム
JP2017215857A (ja) 表示装置、表示方法およびプログラム
JP2003186620A (ja) ポインティング機能付き表示装置を備えた情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13793377

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13793377

Country of ref document: EP

Kind code of ref document: A1