WO2017072913A1 - 制御方法、電子黒板システム、表示装置およびプログラム - Google Patents

制御方法、電子黒板システム、表示装置およびプログラム Download PDF

Info

Publication number
WO2017072913A1
WO2017072913A1 PCT/JP2015/080563 JP2015080563W WO2017072913A1 WO 2017072913 A1 WO2017072913 A1 WO 2017072913A1 JP 2015080563 W JP2015080563 W JP 2015080563W WO 2017072913 A1 WO2017072913 A1 WO 2017072913A1
Authority
WO
WIPO (PCT)
Prior art keywords
input object
color
image
unit
touch
Prior art date
Application number
PCT/JP2015/080563
Other languages
English (en)
French (fr)
Inventor
靖志 引地
Original Assignee
Ｎｅｃディスプレイソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｎｅｃディスプレイソリューションズ株式会社 filed Critical Ｎｅｃディスプレイソリューションズ株式会社
Priority to US15/750,094 priority Critical patent/US20180239486A1/en
Priority to JP2017547277A priority patent/JPWO2017072913A1/ja
Priority to PCT/JP2015/080563 priority patent/WO2017072913A1/ja
Publication of WO2017072913A1 publication Critical patent/WO2017072913A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons

Definitions

  • the present invention relates to a control method, an electronic blackboard system, a display device, and a program.
  • Patent Document 1 discloses an electronic blackboard system having the following functions.
  • the electronic blackboard system described in Patent Literature 1 has a function of detecting the color of an input object from an image obtained by imaging the input object for specifying coordinates and reflecting the detection result on the drawing color on the computer operation screen.
  • the electronic blackboard system described in Patent Document 1 aims to automatically set the drawing color to the original color of the input object. Therefore, in the electronic blackboard system described in Patent Document 1, for example, it is not easy to set the drawing color to a color different from the color of the input object, and there is a problem that the operability may be lowered.
  • the present invention has been made in view of the above circumstances, and an object thereof is to provide a control method, an electronic blackboard system, a display device, and a program that can solve the above-described problems.
  • an aspect of the present invention includes a touch detection step of detecting a touch by an input object, an image acquisition step of acquiring an image including at least a part of the input object, and the touch detection step.
  • a control method includes a process determination step for determining a process to be executed in accordance with a detection result and an acquired image in the image acquisition step.
  • a detection unit that detects a touch by an input object
  • an imaging unit that captures an image including at least a part of the input object
  • a detection result by the detection unit and a captured image by the imaging unit
  • a display unit that displays an image by the process determined by the control unit.
  • a process to be executed is determined according to a detection result by a detection unit that detects a touch by an input object and a captured image by an imaging unit that captures an image including at least a part of the input object.
  • the display device includes a display unit that displays an image by the process determined by the control unit.
  • a touch detection step of detecting a touch by an input object an image acquisition step of acquiring an image including at least a part of the input object, a detection result in the touch detection step, and the image
  • the process to be executed can be determined according to the result of touch detection and the acquired image, the operability can be easily improved.
  • FIG. 1 is a block diagram showing a configuration example of the first embodiment of the present invention.
  • the control device 1 according to the first embodiment illustrated in FIG. 1 includes a touch detection unit 2, an image acquisition unit 3, and a process determination unit 4.
  • the control device 1 can be configured using, for example, one or a plurality of computers, computer peripheral devices, and programs executed by the computers.
  • the computer may be a terminal such as a personal computer or a smartphone, or may be a built-in computer such as a microcontroller.
  • the peripheral device includes, for example, a detection device that detects a touch operation.
  • the peripheral device does not include, for example, a detection device that detects a touch operation, but includes an interface for inputting and outputting signals to and from the detection device.
  • the peripheral device includes, for example, an imaging device that captures an image.
  • the peripheral device includes, for example, an interface for inputting / outputting a signal to / from the imaging device.
  • the peripheral device includes, for example, a display device that displays an image.
  • the peripheral device includes, for example, an interface for inputting / outputting a signal to / from the display device.
  • the display device displays an image by processing determined by the processing determination unit 4 as described later.
  • the touch detection unit 2, the image acquisition unit 3, and the processing determination unit 4 are fixed functions that are realized by executing a predetermined program on a computer using a computer and peripheral devices, respectively.
  • blocks corresponding to certain functions such as the touch detection unit 2, the image acquisition unit 3, and the processing determination unit 4 are referred to as function blocks.
  • the touch detection unit 2 detects a touch on the detection surface by an input object such as a user's finger, hand, or pen, or inputs a signal representing the detected result.
  • the touch detection unit 2 outputs information indicating that the detection surface is touched and information indicating the position on the one or more touched detection surfaces to the processing determination unit 4.
  • the touch detection unit 2 includes, for example, a detection device in a touch panel including a display device and a touch operation detection device. Or the touch detection part 2 is an input interface of the signal which the detection apparatus of touch operation output, for example.
  • the image acquisition unit 3 acquires an image including, as a subject, at least a part of an input object that touches or is about to touch the touch detection unit 2.
  • the image including at least a part of the input object is an image including a part of the input object to such an extent that feature data of the input object can be extracted.
  • the image acquisition unit 3 includes, for example, an imaging device.
  • the image acquisition part 3 is an input interface of the image data which the imaging device output, for example.
  • the process determination unit 4 determines a process to be executed according to the detection result output by the touch detection unit 2 and the image acquired by the image acquisition unit 3.
  • the entity that executes the process determined by the process determining unit 4 may be the process determining unit 4, a functional block different from the process determining unit 4, or both.
  • the process to be executed is, for example, a drawing process.
  • the process determination unit 4 determines the content of the drawing process according to, for example, the detection result by the touch detection unit 2 and the image acquired by the image acquisition unit 3.
  • the process determining unit 4 determines a drawing color and a pen shape to be drawn when drawing a character or a line in response to a touch operation.
  • the process to perform is a process which recognizes operation with respect to the detection surface by the input object mentioned above as virtual mouse operation, and produces
  • the process determination unit 4 generates information according to the detection result of the touch detection unit 2 and the image acquired by the image acquisition unit 3, and the information content indicating the click state of the mouse button and the position of the mouse. To decide.
  • the process determined by the process determination unit 4 is not limited to these examples.
  • the control device 1 executes a touch detection step in which the touch detection unit 2 detects a touch by an input object or inputs a touch detection result.
  • the image acquisition unit 3 executes an image acquisition step of acquiring an image including at least a part of the input object.
  • the process determination part 4 performs the process determination step which determines the process performed according to the detection result in a touch detection step, and the acquired image in an image acquisition step. Therefore, according to this embodiment, the process to be executed can be determined according to the result of touch detection and the acquired image. Therefore, it is possible to flexibly deal with various processes and easily improve operability.
  • FIG. 2 is a schematic block diagram illustrating a configuration example of the electronic blackboard system 10.
  • the electronic blackboard system 10 illustrated in FIG. 2 includes an imaging unit 11, a control unit 12, and a touch panel 13.
  • the entire electronic blackboard system 10 may be regarded as the second embodiment of the present invention, or the control unit 12 is configured as the second embodiment of the present invention. You may catch it.
  • a combination of the imaging unit 11 and the control unit 12 or a combination of the control unit 12 and the touch panel 13 may be regarded as the second embodiment of the present invention.
  • the display unit 19 that displays an image in accordance with an image signal input from the control unit 12 may be regarded as the second embodiment of the present invention.
  • the display unit 19 can be configured as a display device including the display unit 19 without including the imaging unit 11, the control unit 12, and the detection unit 18 described later.
  • the imaging unit 11 is a camera attached to the touch panel 13 as shown in FIG. 3, for example.
  • the imaging unit 11 captures an area including an operation range for the screen 13 a of the touch panel 13. That is, the imaging unit 11 captures an image including at least a part of an input object that performs an input operation on the detection unit 18.
  • the imaging unit 11 always shoots a moving image, shoots a still image repeatedly at a constant period, or shoots a moving image or a still image when a control signal (not shown) is received from the control unit 12.
  • the imaging unit 11 may be configured by a plurality of cameras.
  • a plurality of cameras can be provided on the upper side and the right side or left side of the display unit 19, respectively.
  • the attachment of one or a plurality of cameras is not limited to being attached to the touch panel 13 as long as the input object in the region including the operation range can be photographed.
  • the touch panel 13 includes a detection unit 18 and is attached to the display unit 19.
  • the touch panel 13 and the display unit 19 may be an integrated device.
  • the display unit 19 displays an image according to the image signal input from the control unit 12. For example, the display unit 19 displays an image by the drawing process determined by the control unit 12.
  • the display unit 19 is, for example, a liquid crystal display.
  • the detection unit 18 detects a touch operation on the display surface of the display unit 19, that is, the screen 13 a of the touch panel 13 by an input object such as a user's finger or pen.
  • the detection unit 18 outputs a signal representing the presence or absence of the touch and the touched position to the control unit 12 as a detection result.
  • the detection unit 18 is, for example, a touch pad formed in a transparent screen shape on the display surface of the liquid crystal display.
  • the control unit 12 is a computer, and includes a CPU (Central Processing Unit), a storage device including volatile and nonvolatile memories, an input / output interface, a communication device, and the like.
  • the control unit 12 includes an image recognition processing unit 14, a determination processing unit 15, a drawing processing unit 17, and an association storage unit 16.
  • the image recognition processing unit 14, the determination processing unit 15, the drawing processing unit 17, and the association storage unit 16 are the functional blocks described above.
  • the image recognition processing unit 14 temporarily stores the image data acquired from the imaging unit 11 in a storage device in the control unit 12. Then, the image recognition processing unit 14 executes, for example, processing for recognizing the shape and color (that is, the shape and / or color) of the input object from the image captured when the detection unit 18 detects the touch of the input object. . For example, the image recognition processing unit 14 compares the feature data of the shape extracted from the image to be recognized with the feature extraction data of the input object stored in the association storage unit 16 in advance, and features with high similarity. The identification information of the extracted data is output as a recognition result.
  • the image recognition processing unit 14 compares the pixel value of each component of the color that occupies a certain area in the image to be recognized with the pixel value of each component of the color stored in advance, and the degree of similarity Is output as a recognition result.
  • the determination processing unit 15 determines the content of the drawing process for the display unit 19 according to the detection result of the detection unit 18 and the recognition result of the image recognition processing unit 14. For example, as illustrated in FIG. 4, when the shape 91 is input to the screen 13 a by the input object 31, the determination processing unit 15 is set in association with feature extraction data similar to the feature data of the input object 31.
  • the drawing processing unit 17 is controlled so as to draw the shape 91 with the set color.
  • the input object 31 is a hand in a state where the screen 13 a is touched with the right index finger.
  • the drawing color is black.
  • the input to the screen 13a means that the screen 13a is touched with an input object or the input object is moved while touching the screen 13a.
  • the determination processing unit 15 associates the feature extraction data with the feature data similar to the feature data of the input object 32.
  • the drawing processing unit 17 is controlled to draw the shape 92 with the set color.
  • the input object 32 is a hand in a state where the screen 13a is touched with the middle finger of the right hand.
  • the drawing color is red.
  • the determination processing unit 15 also associates the recognized shape and color of the input object with the content of the drawing process according to the detection result of the detection unit 18 and the shape and color of the input object recognized by the image recognition processing unit 14. Set the date.
  • the determination processing unit 15 controls the drawing processing unit 17 to display the color setting menu 20 on the screen 13a, for example, as shown in FIG.
  • the color setting menu 20 can be displayed, for example, when a button (not shown) provided on the touch panel 13 is pressed by the user or when the user performs a specific gesture toward the imaging unit 11.
  • the color setting menu 20 shown in FIG. 6 includes a black icon 21, a red icon 22, a blue icon 23, a green icon 24, a yellow icon 25, and a white icon 26. For example, as illustrated in FIG.
  • the determination processing unit 15 stores setting information that associates the feature data of the input object 31 with black in the association storage unit 16.
  • the determination processing unit 15 displays setting information that associates the feature data of the input object 32 with red. 16 is stored.
  • the association storage unit 16 stores information associating information representing the shape and color of the input object with information representing the content of processing.
  • FIG. 9 shows an example of the contents stored in the association storage unit 16.
  • the table 161 shown in FIG. 9 associates feature extraction data information with display information.
  • the feature extraction data information is information representing data obtained by extracting the shape and color features of the input object.
  • the display information is information indicating the contents of the drawing process, and in this example, the display information represents a process of deleting the drawing color or drawing.
  • FIG. 9 shows input objects 31 to 36, which are feature extraction bases when feature extraction data information is generated, in association with arrows.
  • the input objects 31 to 34 are the right hand 41, and the input objects 35 and 36 are the right hand 42.
  • the feature extraction data information of the input object 31 having the shape in which the screen 13a is touched with the right index finger is “0045abd59932f096” in hexadecimal, and the drawing color “black” is included in this feature extraction data information. Is associated with the display information. Further, for example, the feature extraction data information of the input object 35 having a shape in which the screen 13a is touched with the left index finger is associated with display information indicating “eraser” which is a process for erasing the drawing made in the touched area. It has been.
  • the feature extraction data information of the input object 36 having a shape in which the left hand is spread and the screen 13a is touched includes display information indicating “all erase” which is a process of erasing the drawing of the entire area of the screen 13a. It is associated.
  • the association storage unit 16 may store a plurality of sets of typical feature extraction data information and display information in association with each other from the product shipment stage, for example, before performing the above-described setting process by the user. it can.
  • the drawing processing unit 17 shown in FIG. 2 generates an image signal to be displayed on the display unit 19 under the control of the determination processing unit 15, and outputs the generated image signal to the display unit 19.
  • the rendering processing unit 17 can generate an image signal by superimposing the image to be rendered and the input video signal under the control of the determination processing unit 15.
  • steps S13 to S16 correspond to the color setting process
  • steps S17 to S21 correspond to the drawing process. Further, it is assumed that the feature storage data of each input object having the shapes A to F or the shape Z is already stored in the association storage unit 16.
  • the determination processing unit 15 determines whether or not the color setting menu 20 is displayed (step S12).
  • the image recognition processing unit 14 acquires an image captured by the imaging unit 11 (step S13), stores the image in a predetermined memory, and recognizes the image. Processing is executed (step S14).
  • the determination processing unit 15 compares the recognition result in the image recognition processing unit 14 with the setting value (that is, feature extraction data information) of the feature extraction data of the input object already stored in the association storage unit 16. (Step S15).
  • the determination processing unit 15 can compare the recognition result and the set value, for example, using a table reference method.
  • the determination processing unit 15 displays the display information corresponding to the feature extraction data information of the shape A as follows.
  • the color information designated by the user in the color setting menu 20 is stored (step S16). For example, when the black icon 21 is touched with the input object 31 as illustrated in FIG. 7, the determination processing unit 15 displays the display information corresponding to the feature extraction data information of the input object 31 as illustrated in FIG. 9. Store black. After step S16, the process returns to step S11.
  • the image recognition processing unit 14 acquires an image captured by the imaging unit 11 (step S17), and stores it in a predetermined memory. Image recognition is executed (step S18).
  • the determination processing unit 15 compares the recognition result in the image recognition processing unit 14 with the set value of the feature extraction data of the input object already stored in the association storage unit 16 (step S19). In step S19, the determination processing unit 15 can compare the recognition result and the set value by, for example, a table reference method.
  • the determination processing unit 15 stores the display information corresponding to the feature extraction data information of the shape A.
  • the read color information is read from the association storage unit 16 (step S20).
  • the determination processing unit 15 controls the drawing processing unit 17 to execute the drawing processing with the color specified by the read color information (step S21). For example, if the shape 91 is input from the input object 31 as illustrated in FIG. 4, the determination processing unit 15 draws the shape 91 in black. After step S21, the process returns to step S11.
  • the picture can be written in black, and if the right hand middle finger touches the screen 13a, the picture can be written in red. Further, for example, the user can arbitrarily set the correspondence between the shape and color of the input object.
  • the detection unit 18 detects a touch by an input object.
  • the imaging unit 11 captures an image including at least a part of the input object.
  • the control unit 12 determines processing to be executed according to the detection result by the detection unit 18 and the captured image by the imaging unit 11. Further, the display unit 19 displays an image by the process determined by the control unit 12. Therefore, according to the second embodiment, the process to be executed can be determined according to the result of touch detection and the acquired image, so that the operability can be easily improved.
  • the second embodiment can be modified as follows, for example.
  • the storage content of the association storage unit 16 can be updated. That is, the determination processing unit 15 can rewrite the feature extraction data information of the shape determined to be the most similar according to the recognition result based on the image acquired in step S13.
  • the color setting menu 20 may have a hierarchical structure.
  • the electronic blackboard system 10 can display, for example, a setting menu 20a for selecting a line shape shown in FIG.
  • the setting menu 20a shown in FIG. 11 has an icon 26 for selecting one line and an icon 27 for selecting two lines.
  • the icon 26 is touched, in the drawing process, when an input operation is performed with the shape of the input object when the color is selected, the line of the color is drawn with a single line.
  • the icon 27 is touched, in the drawing process, when an input operation is performed with the shape of the input object when the color is selected, the line of the color is drawn with two lines.
  • the setting menu 20a can be used to associate the content of the drawing process with the shape of the input object.
  • the line shape and the input object shape are set using the setting menu 20a.
  • the shape of the input object 31 touched with the icon 26 of the setting menu 20a is associated with the drawing with one line.
  • the shape of the input object 33 touched with the icon 27 is associated with the drawing with two lines.
  • the user can change the line into a single line by inputting in the shape of the input object 31 and the line into two lines by inputting in the shape of the input object 33.
  • the correspondence between the input object and the color can be set using a general-purpose pen with a different color.
  • a general-purpose pen with a different color.
  • an icon 28 for instructing color identification processing is provided on the setting menu 20b.
  • the user prepares one general-purpose pen or general-purpose pens 43 to 45 having different colors.
  • the pen 43 is blue
  • the pen 44 is red
  • the pen 45 is black.
  • the shapes of the pens 43 to 45 may be the same or different.
  • the electronic blackboard system 10 recognizes the shape and color of the pens 43 to 45 when the icon 28 is touched, and sets blue for drawing with the pen 43, red for drawing with the pen 44, and black for drawing with the pen 45. To do.
  • the contents of processing can be changed at the position touched by the pen. For example, the color can be designated when touched with one end of the pen, and the eraser when touched with the other end.
  • the shape of the recognized input object and the color associated therewith can be displayed by the icon 81 or the icon 82 on the screen 13a.
  • the icon 81 having a shape touched with the index finger is displayed in black.
  • the icon 82 having a shape touched with the middle finger is displayed in red.
  • the icon 81 or the icon 82 may be always displayed until another shape or color is recognized, or may be displayed for a certain period of time when the shape or color is changed.
  • the user can always check information on what color can be described now. For example, in the case of an unintended color, the user can take an action such as changing the shape of the finger again.
  • the icon display is less likely to be an obstacle.
  • the drawing process is performed with a preset color from the start of the touch and a case where the color is changed to a preset color when the touch is finished.
  • the line drawing 92 is drawn with a color corresponding to the shape recognized immediately before the start of touch.
  • the line drawing 93 is drawn once with the color before change or the standard color, and the shape recognized during the drawing of the line drawing 93 when the touch is finished.
  • the line drawing 92 is redrawn with a color corresponding to.
  • the line drawing 92 may be drawn with a color corresponding to the recognition result when the touch is finished without drawing the line drawing 93.
  • the setting of the correspondence between the shape and color of the input object and the content of the drawing process may be uniform for the entire screen 13a, or the screen 13a is divided into a plurality of partial areas and set for each partial area. May be changed. That is, for example, as shown in FIG. 18, one area 51 that covers the entire screen 13a can be used as an input and drawing area. In this case, in the area 51, the drawing process can be performed while changing the processing content according to the shape and color of the input object. Alternatively, as shown in FIG. 19, an area 52 that covers about half of the screen 13a is set, and the drawing process is performed only in the area 52 while changing the processing contents according to the shape and color of the input object. Also good. In the remaining area 53, input and drawing can be prevented from being performed. In this case, the drawing process to be executed for the region 53 according to the input is not determined.
  • the screen 13a is divided into a plurality of areas 54, 55 and 56, and the setting for associating the shape and color of the input object with the content of the drawing process is different for each area. It may be allowed.
  • the color setting menus 20c, 20d, and 20e can be displayed separately for each of the areas 54, 55, and 56.
  • the imaging unit 11 is not limited to the camera, and an infrared sensor or the like can be used, or the camera and the infrared sensor can be used in combination.
  • the electronic blackboard system is not limited to the one using a liquid crystal display, and may be one using a projector.
  • the input object is not limited to the above, and any object that can identify the shape and color and that does not easily damage the screen 13a may be used.
  • the touch panel 13 may be a touch panel included in, for example, a tablet terminal or a smartphone.
  • the imaging part 11 can be comprised using the in-camera built in the tablet-type terminal and the smart phone, and the prism externally attached so that an input object could be imaged, for example.
  • the control device 1 shown in FIG. 1 corresponds to the entire electronic blackboard system 10, the control unit 12 alone, and the like shown in FIG.
  • the touch detection unit 2 illustrated in FIG. 1 corresponds to the detection unit 18, the combination of the detection unit 18 and the determination processing unit 15, the determination processing unit 15, and the like illustrated in FIG.
  • the image acquisition unit 3 illustrated in FIG. 1 corresponds to the imaging unit 11, the combination of the imaging unit 11 and the image recognition processing unit 14, the image recognition processing unit 14, and the like illustrated in FIG.
  • the processing determination unit 4 illustrated in FIG. 1 corresponds to the determination processing unit 15 illustrated in FIG.
  • FIG. 21 is a schematic block diagram showing a configuration example of the electronic blackboard system 10a.
  • the electronic blackboard system 10a illustrated in FIG. 21 includes a camera 100, a CPU 200, a touch panel 300, a personal computer (hereinafter referred to as a PC) 400, and a storage unit 500.
  • a PC personal computer
  • the camera 100 includes an optical module 101 and a signal processing unit 104.
  • the optical module 101 includes an optical system 102 and an image sensor 103.
  • the image sensor 103 is a CMOS (complementary metal oxide semiconductor) image sensor, a CCD (charge-coupled device) image sensor, or the like.
  • the signal processing unit 104 reads a pixel value from the image sensor 103, performs signal processing on the read pixel value, converts the pixel value into a predetermined format video signal, and outputs the video signal. Further, the signal processing unit 104 controls the optical system 102, controls the image sensor 103, and changes the content of signal processing based on the control signal output from the CPU 200.
  • the touch panel 300 includes a liquid crystal display device 301 and a touch sensor 302.
  • the liquid crystal display device 301 displays an image based on the image signal output from the PC 400.
  • the touch sensor 302 detects a touch operation on the display screen of the liquid crystal display device 301, and outputs a touch detection signal indicating that the touch is detected and screen coordinate data indicating the touched position.
  • the CPU 200 includes a camera interface 201 and an arithmetic processing unit 202.
  • the camera interface 201 is a circuit for inputting the video signal output from the camera 100 to the arithmetic processing unit 202.
  • the arithmetic processing unit 202 inputs a touch detection signal and screen coordinate data from the touch panel 300.
  • the arithmetic processing unit 202 outputs a control signal to the camera 100 and controls, for example, imaging timing.
  • the arithmetic processing unit 202 outputs a control signal to the PC 400 to instruct an image to be drawn, for example.
  • the storage unit 500 stores, for example, a table representing a correspondence relationship between data obtained by extracting the shape and color characteristics of the input object and processing associated with the shape and color.
  • the storage unit 500 is, for example, a rewritable nonvolatile memory that is detachably connected to the CPU 200.
  • the PC 400 generates an image to be displayed on the touch panel 300 from the control signal input from the CPU 200 and information indicating the video instructed by the user or the operation screen of the application, and outputs the image as a video signal of a predetermined format.
  • the operation related to the setting process and the drawing process according to the touch operation of the electronic blackboard system 10a of the third embodiment is the same as the operation of the electronic blackboard system 10 of the second embodiment.
  • the camera 100 of the third embodiment corresponds to the imaging unit 11 of the second embodiment.
  • a touch panel 300 according to the third embodiment corresponds to the touch panel 13 according to the second embodiment.
  • a combination of the CPU 200, the PC 400, and the storage unit 500 according to the third embodiment corresponds to the control unit 12 according to the second embodiment.
  • the process to be executed can be determined according to the result of touch detection and the acquired image, similarly to the second embodiment, the operability can be easily improved. Further, when the storage unit 500 is detachable, information indicating the correspondence relationship between the shape and color and the processing can be easily updated.
  • the third embodiment has a simple configuration suitable for displaying on the touch panel 300 by combining the operation screen of the application program of the PC 400 and characters and lines written on the touch panel 300, for example.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本発明の一態様は、タッチを検出するタッチ検出ステップと、少なくとも前記入力物体の一部を含む画像を取得する画像取得ステップと、前記タッチ検出ステップでの検出結果と前記画像取得ステップでの取得画像とに応じて実行する処理を決定する処理決定ステップとを含む制御方法である。

Description

制御方法、電子黒板システム、表示装置およびプログラム
　本発明は、制御方法、電子黒板システム、表示装置およびプログラムに関する。
　特許文献１は、次の機能を有する電子黒板システムを開示する。特許文献１に記載された電子黒板システムは、座標指定用の入力物体を撮像した画像から入力物体の色を検出し、検出結果をコンピュータ操作画面上の描画色に反映させる機能を有する。
国際公開ＷＯ２０１２／０２６３４７号
　特許文献１に記載された電子黒板システムによれば、例えばオンスクリーンディスプレイメニューから色を選択する操作が不要となる。また、特許文献１に記載された電子黒板システムによれば、例えば色指定用に複数の専用のペンを用意する必要がなくなる。したがって、特許文献１に記載された電子黒板システムによれば、操作や構成を簡易化することができる。
　しかしながら、特許文献１に記載された電子黒板システムは、描画色を入力物体の本来の色に自動的に設定することを目的とする。そのため、特許文献１に記載された電子黒板システムでは、例えば描画色を入力物体の色と異なる色に設定することが容易ではなく、操作性が低くなる場合があるという課題がある。
　本発明は、上記の事情に鑑みてなされたものであり、上記の課題を解決することができる制御方法、電子黒板システム、表示装置およびプログラムを提供することを目的とする。
　上記課題を解決するため、本発明の一態様は、入力物体によるタッチを検出するタッチ検出ステップと、少なくとも前記入力物体の一部を含む画像を取得する画像取得ステップと、前記タッチ検出ステップでの検出結果と前記画像取得ステップでの取得画像とに応じて実行する処理を決定する処理決定ステップとを含む制御方法である。
　また、本発明の一態様は、入力物体によるタッチを検出する検出部と、少なくとも前記入力物体の一部を含む画像を撮像する撮像部と、前記検出部による検出結果と前記撮像部による撮像画像とに応じて実行する処理を決定する制御部と、前記制御部が決定した処理により画像を表示する表示部とを備えた電子黒板システムである。
　また、本発明の一態様は、入力物体によるタッチを検出する検出部による検出結果と少なくとも前記入力物体の一部を含む画像を撮像する撮像部による撮像画像とに応じて実行する処理を決定する制御部が決定した前記処理により画像を表示する表示部を備えた表示装置である。
　また、本発明の一態様は、入力物体によるタッチを検出するタッチ検出ステップと、少なくとも前記入力物体の一部を含む画像を取得する画像取得ステップと、前記タッチ検出ステップでの検出結果と前記画像取得ステップでの取得画像とに応じて実行する処理を決定する処理決定ステップとをコンピュータに実行させるプログラムである。
　本発明によれば、タッチ検出の結果と取得画像とに応じて実行する処理を決定することができるので、容易に操作性を高めることができる。
本発明の第１の実施形態の構成例を示すブロック図である。 本発明の第２の実施形態の構成例を示すブロック図である。 本発明の第２の実施形態の動作例を説明するための模式図である。 本発明の第２の実施形態の動作例を説明するための模式図である。 本発明の第２の実施形態の動作例を説明するための模式図である。 本発明の第２の実施形態の動作例を説明するための模式図である。 本発明の第２の実施形態の動作例を説明するための模式図である。 本発明の第２の実施形態の動作例を説明するための模式図である。 本発明の第２の実施形態における対応づけ記憶部１６の記憶内容の一例を示す図である。 本発明の第２の実施形態の動作例を示すフローチャートである。 本発明の第２の実施形態の動作例を説明するための模式図である。 本発明の第２の実施形態の動作例を説明するための模式図である。 本発明の第２の実施形態の動作例を説明するための模式図である。 本発明の第２の実施形態の動作例を説明するための模式図である。 本発明の第２の実施形態の動作例を説明するための模式図である。 本発明の第２の実施形態の動作例を説明するための模式図である。 本発明の第２の実施形態の動作例を説明するための模式図である。 本発明の第２の実施形態の動作例を説明するための模式図である。 本発明の第２の実施形態の動作例を説明するための模式図である。 本発明の第２の実施形態の動作例を説明するための模式図である。 本発明の第３の実施形態の構成例を示すブロック図である。
＜第１の実施形態＞
　以下、本発明の第１の実施形態について図面を参照して説明する。図１は、本発明の第１の実施形態の構成例を示したブロック図である。図１に示した第１の実施形態の制御装置１は、タッチ検出部２と、画像取得部３と、処理決定部４とを備える。
　制御装置１は、例えば、１または複数のコンピュータと、コンピュータの周辺装置と、コンピュータで実行されるプログラムとを用いて構成することができる。ここで、コンピュータは、パーソナルコンピュータ、スマートフォン等の端末であってもよいし、マイクロコントローラ等の組み込み用のコンピュータであってもよい。また、周辺装置は、例えば、タッチ操作を検出する検出装置を含む。あるいは、周辺装置は、例えば、タッチ操作を検出する検出装置を含まず、その検出装置との間で信号を入出力するためのインタフェースを含む。また、周辺装置は、例えば、画像を撮影する撮像装置を含む。あるいは、周辺装置は、例えば、撮像装置との間で信号を入出力するためのインタフェースを含む。また、周辺装置は、例えば、画像を表示する表示装置を含む。あるいは、周辺装置は、例えば、表示装置との間で信号を入出力するためのインタフェースを含む。表示装置は、処理決定部４が後述するようにして決定した処理により画像を表示する。また、タッチ検出部２、画像取得部３および処理決定部４は、それぞれコンピュータと周辺装置とを用いてコンピュータで所定のプログラムを実行することで実現される一定の機能である。本願では、タッチ検出部２、画像取得部３および処理決定部４のような一定の機能に対応したブロックを機能ブロックと呼ぶ。
　タッチ検出部２は、ユーザの指や手、ペン等の入力物体による検出面へのタッチを検出するか、検出された結果を表す信号を入力する。タッチ検出部２は、検出面がタッチされていることを示す情報と、１または複数のタッチされた検出面上の位置を示す情報とを処理決定部４に対して出力する。タッチ検出部２は、例えば、表示装置とタッチ操作の検出装置とを備えたタッチパネルにおける検出装置を備える。あるいは、タッチ検出部２は、例えば、タッチ操作の検出装置が出力した信号の入力インタフェースである。
　画像取得部３は、タッチ検出部２にタッチしたかまたはタッチしようとする入力物体の少なくとも一部を被写体として含んだ画像を取得する。ここで、少なくとも入力物体の一部を含む画像とは、入力物体の特徴データを抽出できる程度に入力物体の一部を含む画像である。例えば、入力物体がユーザの指である場合、ユーザの指先から手首までを含む画像である。画像取得部３は、例えば、撮像装置を備える。あるいは、画像取得部３は、例えば、撮像装置が出力した画像データの入力インタフェースである。
　処理決定部４は、タッチ検出部２が出力した検出結果と画像取得部３が取得した画像とに応じて実行する処理を決定する。処理決定部４が決定した処理を実行する主体は、処理決定部４であってもよいし、処理決定部４とは異なる機能ブロックであってもよいし、または、その両方であってもよい。実行する処理とは、例えば、描画処理である。この場合、処理決定部４は、例えば、タッチ検出部２による検出結果と画像取得部３が取得した画像とに応じて、描画処理の内容を決定する。処理決定部４は、例えば、タッチ操作に応じて文字や線を描画する際に、描画色や描画するペンの形状を決定する。あるいは、実行する処理とは、例えば、上述した入力物体による検出面に対する操作を、仮想的なマウス操作として認識し、認識したマウス操作を表す情報を生成および出力する処理である。この場合、処理決定部４は、例えば、タッチ検出部２による検出結果と画像取得部３が取得した画像とに応じて生成する、マウスボタンのクリックの状態とマウスの位置とを表す情報の内容を決定する。なお、処理決定部４が決定する処理は、これらの例に限定されない。
　以上の構成において、制御装置１は、タッチ検出部２が、入力物体によるタッチを検出するかあるいはタッチの検出結果を入力するタッチ検出ステップを実行する。また、画像取得部３が、少なくとも入力物体の一部を含む画像を取得する画像取得ステップを実行する。そして、処理決定部４が、タッチ検出ステップでの検出結果と画像取得ステップでの取得画像とに応じて実行する処理を決定する処理決定ステップを実行する。したがって、本実施形態によれば、タッチ検出の結果と取得画像とに応じて実行する処理を決定することができる。よって、種々の処理に柔軟に対応することができ、容易に操作性を高めることができる。
＜第２の実施形態＞
　次に、本発明の第２の実施形態について図面を参照して説明する。図２は、電子黒板システム１０の構成例を示した概略ブロック図である。図２に示した電子黒板システム１０は、撮像部１１と、制御部１２と、タッチパネル１３とを備える。図２に示した電子黒板システム１０においては、例えば、電子黒板システム１０全体を本発明の第２の実施形態としてとらえてもよいし、または、制御部１２を本発明の第２の実施形態としてとらえてもよい。あるいは、撮像部１１と制御部１２とを組み合わせたもの、もしくは制御部１２とタッチパネル１３とを組み合わせたものを本発明の第２の実施形態としてとらえてもよい。あるいは、制御部１２から入力された画像信号に応じて画像を表示する表示部１９を、本発明の第２の実施形態としてとらえてもよい。この場合、表示部１９は、例えば、撮像部１１と制御部１２と後述する検出部１８とを備えず、表示部１９を備えた表示装置として構成することができる。
　撮像部１１は、例えば図３に示したようにタッチパネル１３に取り付けられたカメラである。撮像部１１は、タッチパネル１３の画面１３ａに対する操作範囲を含む領域を撮影する。すなわち、撮像部１１は、検出部１８に対して入力操作を行う入力物体の少なくとも一部を含む画像を撮像する。撮像部１１は、動画を常時撮影したり、一定の周期で繰り返し静止画を撮影したり、あるいは制御部１２から図示していない制御信号を受信したときに動画または静止画を撮影したりする。
　なお、撮像部１１は、複数のカメラにより構成されてもよい。また、複数のカメラは、表示部１９の上辺および右辺もしくは左辺にそれぞれ設けることができる。この場合、異なる方向からを入力物体の画像を取得できるので、入力物体の形状や色を正確に判断できる。さらに、１または複数のカメラの取り付けは、操作範囲を含む領域における入力物体を撮影できればよく、タッチパネル１３に取り付けられることに限られない。
　タッチパネル１３は、検出部１８を有し、表示部１９に取り付けられる。また、タッチパネル１３と表示部１９は、一体的な装置であってもよい。表示部１９は、制御部１２から入力された画像信号に応じて画像を表示する。例えば、表示部１９は、制御部１２が決定した描画処理によって画像を表示する。表示部１９は、例えば液晶ディスプレイである。検出部１８は、ユーザの指やペンなどの入力物体による表示部１９の表示面すなわちタッチパネル１３の画面１３ａに対するタッチ操作を検出する。検出部１８は、タッチの有無とタッチされた位置とを表す信号を、検出結果として制御部１２に対して出力する。検出部１８は、例えば液晶ディスプレイの表示面に透明のスクリーン状に形成されたタッチパッドである。
　制御部１２は、コンピュータであり、例えばＣＰＵ（中央処理装置）、揮発性および不揮発性のメモリを含む記憶装置、入出力インタフェース、通信装置等を備える。制御部１２は、画像認識処理部１４と、判断処理部１５と、描画処理部１７と、対応づけ記憶部１６とを有する。画像認識処理部１４、判断処理部１５、描画処理部１７、および対応づけ記憶部１６は、上述した機能ブロックである。
　画像認識処理部１４は、撮像部１１から取得した画像データを制御部１２内の記憶装置に一旦記憶する。そして、画像認識処理部１４は、例えば、検出部１８が入力物体のタッチを検出した際に撮影された画像から入力物体の形状や色（すなわち形状および／または色）を認識する処理を実行する。画像認識処理部１４は、例えば、認識対象の画像から抽出した形状の特徴データと、対応づけ記憶部１６に予め記憶しておいた入力物体の特徴抽出データとを比較し、類似度が高い特徴抽出データの識別情報を、認識結果として出力する。あるいは、画像認識処理部１４は、認識対象の画像中で一定の領域を占めた色の各成分の画素値と、予め記憶しておいた色の各成分の画素値とを比較し、類似度が高い色の識別情報を、認識結果として出力する。
　判断処理部１５は、検出部１８の検出結果と画像認識処理部１４の認識結果とに応じて、表示部１９に対する描画処理の内容を決定する。例えば、図４に示したように、入力物体３１によって画面１３ａに対して形状９１が入力された場合、判断処理部１５は、入力物体３１の特徴データに類似する特徴抽出データに対応づけて設定されている色で形状９１を描画するよう描画処理部１７を制御する。図４に示した例では、入力物体３１が右手人差し指で画面１３ａにタッチした状態の手である。また、描画色は黒である。なお、画面１３ａに対する入力とは、入力物体で画面１３ａにタッチするか、画面１３ａにタッチしたまま入力物体を移動させることを意味する。
　また、例えば、図５に示したように、入力物体３２によって画面１３ａに対して形状９２が入力された場合、判断処理部１５は、入力物体３２の特徴データに類似する特徴抽出データに対応づけて設定されている色で形状９２を描画するよう描画処理部１７を制御する。図５に示した例では、入力物体３２が右手中指で画面１３ａにタッチした状態の手である。また、描画色は赤である。
　また、判断処理部１５は、検出部１８の検出結果と画像認識処理部１４が認識した入力物体の形状や色とに応じて、認識した入力物体の形状や色と描画処理の内容との対応づけを設定する。設定の際、判断処理部１５は、例えば図６に示したように、画面１３ａ上に色設定メニュー２０を表示するよう描画処理部１７を制御する。色設定メニュー２０は、例えば、タッチパネル１３が備えた図示していないボタンがユーザによって押されたり、撮像部１１に向けてユーザが特定のジェスチャーを行ったりしたときに表示することができる。図６に示した色設定メニュー２０は、黒のアイコン２１、赤のアイコン２２、青のアイコン２３、緑のアイコン２４、黄色のアイコン２５および白のアイコン２６を含む。判断処理部１５は、例えば図７に示したように、入力物体３１が黒のアイコン２１をタッチした場合、入力物体３１の特徴データと黒とを対応づける設定情報を、対応づけ記憶部１６に記憶する。あるいは、判断処理部１５は、例えば図８に示したように、入力物体３２が赤のアイコン２２をタッチした場合、入力物体３２の特徴データと赤とを対応づける設定情報を、対応づけ記憶部１６に記憶する。
　対応づけ記憶部１６は、入力物体の形状や色を表す情報と処理の内容を表す情報とを対応づける情報を記憶する。図９は、対応づけ記憶部１６の記憶内容の一例を示す。図９に示したテーブル１６１は、特徴抽出データ情報と、表示情報とを対応づけている。特徴抽出データ情報は、入力物体の形状や色の特徴を抽出したデータを表す情報である。表示情報は、描画処理の内容を表す情報であり、この例では、描画色または描画を消去する処理を表す。また、図９は、説明のため、特徴抽出データ情報を生成する際に特徴の抽出基であった入力物体３１～３６を矢印で対応づけて示す。入力物体３１～３４は右手４１であり、入力物体３５および３６は右手４２である。
　図９において、例えば、上述した右手人差し指で画面１３ａにタッチした状態の形状を有する入力物体３１の特徴抽出データ情報は１６進数で「００４５ａｂｄ５９９３２ｆ０９６」であり、この特徴抽出データ情報には描画色「黒」を示す表示情報が対応づけられている。また、例えば、左手人差し指で画面１３ａにタッチした状態の形状を有する入力物体３５の特徴抽出データ情報にはタッチした領域になされた描画を消去する処理である「消しゴム」を示す表示情報が対応づけられている。また、例えば、左手を広げて画面１３ａにタッチした状態の形状を有する入力物体３６の特徴抽出データ情報には画面１３ａの全領域の描画を消去する処理である「全消去」を示す表示情報が対応づけられている。
　なお、対応づけ記憶部１６には、上述したユーザによる設定処理を行う前に、例えば製品の出荷段階から典型的な特徴抽出データ情報と表示情報とを対応づけて複数組記憶させておくことができる。
　一方、図２に示した描画処理部１７は、判断処理部１５による制御に従い、表示部１９に表示させる画像信号を生成し、生成した画像信号を表示部１９へ出力する。描画処理部１７は、外部から映像信号が入力された場合には、判断処理部１５の制御の下で描画する画像と入力された映像信号とを重畳させて画像信号を生成することができる。
　次に、図１０に示したフローチャートを参照して、図２に示した電子黒板システム１０の動作例について説明する。図１０において、ステップＳ１３～Ｓ１６が色設定処理に対応し、ステップＳ１７～Ｓ２１が描画処理に対応する。また、対応づけ記憶部１６には、形状Ａ～Ｆまたは形状Ｚを有する各入力物体の特徴抽出データがすでに格納されているものとする。
　検出部１８が入力物体による画面１３ａのタッチを検出すると（ステップＳ１１）、色設定メニュー２０が表示されているか否かを判断処理部１５が判定する（ステップＳ１２）。色設定メニュー２０が表示されている場合（ステップＳ１２でＹｅｓの場合）、画像認識処理部１４が、撮像部１１が撮像した画像を取得し（ステップＳ１３）、所定のメモリに格納して画像認識処理を実行する（ステップＳ１４）。次に、判断処理部１５が、画像認識処理部１４での認識結果と、対応づけ記憶部１６にすでに格納されている入力物体の特徴抽出データの設定値（すなわち特徴抽出データ情報）とを比較する（ステップＳ１５）。ステップＳ１５において、判断処理部１５は、例えばテーブル参照方式で認識結果と設定値とを比較することができる。
　例えば認識された入力物体の形状が形状Ａに最も類似していると判定されたとすると（ステップＳ１５で形状Ａ）、判断処理部１５は、形状Ａの特徴抽出データ情報に対応する表示情報に、色設定メニュー２０でユーザが指定した色情報を格納する（ステップＳ１６）。例えば、図７に示したように入力物体３１で黒のアイコン２１がタッチされた場合、判断処理部１５は、図９に示したように入力物体３１の特徴抽出データ情報に対応する表示情報に黒を格納する。そして、ステップＳ１６の後はステップＳ１１へ戻る。
　一方、色設定メニュー２０が表示されてない場合（ステップＳ１２でＮｏの場合）、画像認識処理部１４が、撮像部１１が撮像した画像を取得し（ステップＳ１７）、所定のメモリに格納して画像認識を実行する（ステップＳ１８）。次に、判断処理部１５が、画像認識処理部１４での認識結果と、対応づけ記憶部１６にすでに格納されている入力物体の特徴抽出データの設定値とを比較する（ステップＳ１９）。ステップＳ１９において、判断処理部１５は、例えばテーブル参照方式で認識結果と設定値とを比較することができる。
　例えば認識された入力物体の形状が形状Ａに最も類似していると判定されたとすると（ステップＳ１９で形状Ａ）、判断処理部１５は、形状Ａの特徴抽出データ情報に対応する表示情報として記憶されている色情報を対応づけ記憶部１６から読み出す（ステップＳ２０）。次に、判断処理部１５は、読み出した色情報で指定された色で描画処理を実行するよう描画処理部１７を制御する（ステップＳ２１）。例えば、図４に示したように入力物体３１で形状９１が入力されたとすると、判断処理部１５は、形状９１を黒で描画させる。そして、ステップＳ２１の後はステップＳ１１へ戻る。
　以上の動作によれば、例えば右手人差し指で画面１３ａにタッチすれば黒で絵画を書き込むことができ、右手中指で画面１３ａにタッチすれば赤で絵画を書き込むことができる。また、例えば、入力物体の形状と色の対応関係をユーザが任意に設定することができる。
　以上のように、第２の実施形態では、検出部１８が、入力物体によるタッチを検出する。撮像部１１が、少なくとも入力物体の一部を含む画像を撮像する。制御部１２が、検出部１８による検出結果と撮像部１１による撮像画像とに応じて実行する処理を決定する。また、表示部１９が、制御部１２が決定した処理により画像を表示する。したがって、第２の実施形態によれば、タッチ検出の結果と取得画像とに応じて実行する処理を決定することができるので、容易に操作性を高めることができる。
　なお、第２の実施形態は、例えば次のように変形することができる。例えば、図１０のステップＳ１６では、対応づけ記憶部１６の記憶内容を更新することができる。すなわち、判断処理部１５は、ステップＳ１３で取得された画像に基づく認識結果に応じて、最も類似すると判定された形状の特徴抽出データ情報を書き換えることができる。
　また、色設定メニュー２０を階層構造としてもよい。電子黒板システム１０は、色設定メニュー２０で色が選択された後、例えば、図１１に示した線の形状を選択する設定メニュー２０ａを表示することができる。図１１に示した設定メニュー２０ａは、１本線を選択するためのアイコン２６と２本線を選択するためのアイコン２７とを有する。ここでアイコン２６がタッチされた場合、描画処理では、色を選択したときの入力物体の形状で入力操作が行われたとき、１本線で当該色の線が描画される。一方、アイコン２７がタッチされた場合、描画処理では、色を選択したときの入力物体の形状で入力操作が行われたとき、２本線で当該色の線が描画される。
　また、色設定メニュー２０に代えて、設定メニュー２０ａのみを使用して描画処理の内容を入力物体の形状に対応づけることもできる。例えば、電子黒板システム１０をモノクロ表示で使用する場合、設定メニュー２０ａで線の形状と入力物体の形状とを設定する。この場合、例えば、図１２に示したように、設定メニュー２０ａのアイコン２６をタッチした入力物体３１の形状を１本線での描画に対応づける。また、アイコン２７をタッチした入力物体３３の形状を２本線での描画に対応づける。この場合、ユーザは、入力物体３１の形状で入力することで線を１本線に、そして、入力物体３３の形状で入力することで線を２本線にすることができる。
　また、入力物体と色との対応づけを、色が異なる汎用のペンを用いて設定することができる。例えば、図１３に示したように、設定メニュー２０ｂに色識別処理を指示するアイコン２８を設ける。設定の際、ユーザは、１本の汎用のペンまたは複数の色が異なる汎用のペン４３～４５を用意する。この場合、ペン４３は青、ペン４４は赤、そしてペン４５は黒である。ペン４３～４５の形状は同一であっても異なっていてもよい。ユーザは、ペン４３～４５にキャップをした状態で、ペン４３～４５でアイコン２８にタッチする。電子黒板システム１０は、アイコン２８がタッチされたときにペン４３～４５の形状と色とを認識し、ペン４３による描画に青、ペン４４による描画に赤、そしてペン４５による描画に黒を設定する。また、この変形例では、ペンのタッチする位置で処理の内容を変えることができる。例えば、ペンの一方の端部でタッチされたときは色指定で、他方の端部でタッチされたときは消しゴムとすることができる。
　また、例えば、図１４および図１５に示したように、認識された入力物体の形状と、それに対応づけられている色とを画面１３ａ上にアイコン８１またはアイコン８２によって表示することができる。例えば、人差し指によるタッチが認識されている場合には、図１４に示したように、人差し指でタッチする形状のアイコン８１を黒で表示する。また、例えば、中指によるタッチが認識されている場合には、図１５に示したように、中指でタッチする形状のアイコン８２を赤で表示する。
　なお、アイコン８１またはアイコン８２は、他の形状や色が認識されるまで常時表示しておいてもよいし、形状や色が変わったときに一定時間表示するだけでもよい。常時表示した場合、ユーザは、今、何色で記載することができるのかの情報を常に確認することができる。例えば、意図しない色の場合、ユーザは、指の形を再度変更するなどのアクションを取ることができる。他方、形状や色が変わったときに一定時間表示する場合、アイコン表示が目障りになりにくい。
　また、描画色などの変更のタイミングには次の２通りが考えられる。すなわち、タッチを開始したときから予め設定した色などで描画処理を行う場合と、タッチを終了したときに予め設定した色などに変化させる場合とがある。図１６に示したように、タッチ開始時に色を変更する場合、タッチ開始の直前に認識した形状に対応する色で線画９２を描画する。一方、図１７に示したように、タッチ終了時に色を変更する場合、変更前の色または標準色にて線画９３を一度描画し、タッチが終了した時点で線画９３の描画中に認識した形状に対応する色で線画９２を再描画する。あるいは、線画９３を描画せずに、タッチが終了したときに認識結果に応じた色で線画９２を描画してもよい。
　また、入力物体の形状や色と描画処理の内容との対応づけの設定は、画面１３ａの全体に対して一律としてもよいし、画面１３ａを複数の部分領域に分割し、部分領域毎に設定を変えてもよい。すなわち、例えば、図１８に示したように、画面１３ａの全体にわたるような１つの領域５１を入力および描画領域とすることができる。この場合、領域５１では入力物体の形状や色に応じて処理内容を変更しながら描画処理を行わせることができる。あるいは、図１９に示したように、画面１３ａの約半分を覆う領域５２を設定し、領域５２内でのみ入力物体の形状や色に応じて処理内容を変更しながら描画処理を行うようにしてもよい。そして、残りの領域５３では入力および描画を行わないようにすることができる。この場合、領域５３に対しては入力に応じて実行すべき描画処理は決定されないことになる。
　また、例えば、図２０に示したように、画面１３ａを複数の領域５４、５５および５６に分割し、領域毎に入力物体の形状や色と、描画処理の内容との対応づけの設定を異ならせてもよい。この場合、例えば、領域５４、５５および５６毎に色設定メニュー２０ｃ、２０ｄおよび２０ｅを別々に表示することができる。
　なお、撮像部１１は、カメラに限らず、赤外線センサーなどを用いたり、カメラと赤外線センサーを併用したりすることができる。また、電子黒板システムは、液晶ディスプレイを用いるものに限定されず、プロジェクタを用いたものであってもよい。また、入力物体は上記のものに限定されず、形状や色を識別可能な物体であって画面１３ａに損傷を与えにくいものであればよい。また、タッチパネル１３は、例えばタブレット型端末やスマートフォンが有するタッチパネルであってもよい。その場合、撮像部１１は、例えば、タブレット型端末やスマートフォンに内蔵されているインカメラと、入力物体を撮像可能に外付けしたプリズムとを用いて構成することができる。
　また、第１の実施形態の構成要素と、第２の実施形態の構成要素の対応関係は例えば次のように考えることができる。図１に示した制御装置１は、図２に示した、電子黒板システム１０全体、制御部１２単体等に対応する。図１に示したタッチ検出部２は、図２に示した、検出部１８、検出部１８と判断処理部１５とを組み合わせたもの、判断処理部１５等に対応する。図１に示した画像取得部３は、図２に示した、撮像部１１、撮像部１１と画像認識処理部１４とを組み合わせたもの、画像認識処理部１４等に対応する。そして、図１に示した処理決定部４は、図２に示した判断処理部１５等に対応する。
＜第３の実施形態＞
　次に、本発明の第３の実施形態について図面を参照して説明する。図２１は、電子黒板システム１０ａの構成例を示した概略ブロック図である。図２１に示した電子黒板システム１０ａは、カメラ１００と、ＣＰＵ２００と、タッチパネル３００と、パーソナルコンピュータ（以下、ＰＣと言う）４００と、記憶部５００とを備える。
　カメラ１００は、光学モジュール１０１と、信号処理部１０４とを備える。光学モジュール１０１は、光学系１０２と、撮像素子１０３とを備える。撮像素子１０３は、ＣＭＯＳ（complementary metal oxide semiconductor）イメージセンサ、ＣＣＤ（charge-coupled device）イメージセンサ等である。信号処理部１０４は、撮像素子１０３から画素値を読み出し、読み出した画素値に対して信号処理を行って所定形式の映像信号に変換して出力する。また、信号処理部１０４は、ＣＰＵ２００が出力した制御信号に基づいて、光学系１０２を制御したり、撮像素子１０３を制御したり、信号の処理の内容を変化させたりする。
　タッチパネル３００は、液晶表示装置３０１と、タッチセンサ３０２とを備える。液晶表示装置３０１は、ＰＣ４００が出力した映像信号に基づいて映像を表示する。タッチセンサ３０２は、液晶表示装置３０１の表示画面に対するタッチ操作を検出し、タッチを検出したことを示すタッチ検出信号と、タッチされた位置を示す画面座標データとを出力する。
　ＣＰＵ２００は、カメラインタフェース２０１と、演算処理部２０２とを備える。カメラインタフェース２０１は、カメラ１００が出力した映像信号を演算処理部２０２へ入力するための回路である。演算処理部２０２は、タッチパネル３００からタッチ検出信号と画面座標データとを入力する。また、演算処理部２０２は、カメラ１００へ制御信号を出力し、例えば撮像タイミングを制御する。また、演算処理部２０２は、ＰＣ４００へ制御信号を出力し、例えば描画する画像を指示する。
　記憶部５００は、例えば、入力物体の形状や色の特徴を抽出したデータと、当該形状や色に対応づける処理との対応関係を表すテーブルを記憶する。記憶部５００は、例えば、ＣＰＵ２００に対して着脱可能に接続された書き換え可能な不揮発性メモリである。
　ＰＣ４００は、ＣＰＵ２００から入力した制御信号と、ユーザが指示した映像やアプリケーションの操作画面を示す情報とから、タッチパネル３００に表示する画像を生成し、所定形式の映像信号として出力する。
　第３の実施形態の電子黒板システム１０ａのタッチ操作に応じた設定処理と描画処理に関する動作は、第２の実施形態の電子黒板システム１０の動作と同一である。なお、第３の実施形態のカメラ１００が、第２の実施形態の撮像部１１に対応する。第３の実施形態のタッチパネル３００が、第２の実施形態のタッチパネル１３に対応する。そして、第３の実施形態のＣＰＵ２００とＰＣ４００と記憶部５００とを組み合わせたものが、第２の実施形態の制御部１２に対応する。
　第３の実施形態によれば、第２の実施形態と同様に、タッチ検出の結果と取得画像とに応じて実行する処理を決定することができるので、容易に操作性を高めることができる。また、記憶部５００を着脱自在とした場合には、形状や色と処理との対応関係を示す情報を容易に更新することができる。また、第３の実施形態は、例えば、ＰＣ４００のアプリケーションプログラムの操作画面と、タッチパネル３００に対して書き込んだ文字や線とを組み合わせてタッチパネル３００に表示するのに適した簡易な構成である。
　以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
１　制御装置
２　タッチ検出部
３　画像取得部
４　処理決定部
１０、１０ａ　電子黒板システム
１１　撮像部
１２　制御部
１３　タッチパネル
１３ａ　画面
１４　画像認識処理部
１５　判断処理部
１６　対応づけ記憶部
１７　描画処理部
１８　検出部
１９　表示部
２１～２６　アイコン（第１アイコン）
２８　アイコン（第２アイコン）
８１、８２　アイコン（第３アイコン）

Claims (20)

  1. 　入力物体によるタッチを検出するタッチ検出ステップと、
    　少なくとも前記入力物体の一部を含む画像を取得する画像取得ステップと、
    　前記タッチ検出ステップでの検出結果と前記画像取得ステップでの取得画像とに応じて実行する処理を決定する処理決定ステップと
    　を含む制御方法。
  2. 　前記処理決定ステップで決定する前記処理は、予め記憶させた前記入力物体の形状及び／又は色に対応づけた処理である
    　請求項１に記載の制御方法。
  3. 　前記処理決定ステップにおいて、前記取得画像から前記入力物体の形状及び／又は色を認識し、さらに前記認識した結果に応じて前記処理を決定する
    　請求項１又は２に記載の制御方法。
  4. 　前記タッチ検出ステップでの検出結果と前記画像取得ステップでの取得画像とに応じて、タッチした前記入力物体の形状及び／又は色を認識して記憶するとともに、前記処理決定ステップで決定する前記処理を前記記憶した入力物体の形状及び／又は色に対応づける設定ステップをさらに含む
    　請求項２又は３に記載の制御方法。
  5. 　前記設定ステップが、
    　前記処理を表す第１アイコンを表示するステップと、
    　前記第１アイコンが表す前記処理を、前記第１アイコンにタッチした前記入力物体の形状及び／又は色に対応づけるステップと
    　を含む請求項４に記載の制御方法。
  6. 　前記設定ステップが、
    　色識別処理を表す第２アイコンを表示するステップと、
    　前記処理を、前記第２アイコンにタッチした前記入力物体の色に対応づけるステップと
    　を含む請求項４又は５に記載の制御方法。
  7. 　前記処理決定ステップで、タッチの開始又は終了の際に前記処理を決定する
    　請求項１から６のいずれか１項に記載の制御方法。
  8. 　前記処理決定ステップで決定した前記処理を表す第３アイコンを表示する表示ステップを
    　さらに含む請求項１から７のいずれか１項に記載の制御方法。
  9. 　前記表示ステップで、前記処理決定ステップで決定された前記処理が変化した場合に一定時間前記第３アイコンを表示する
    　請求項８に記載の制御方法。
  10. 　前記処理決定ステップで、前記表示面に含まれた複数の部分領域毎に、前記実行する処理を決定する
    　請求項１から９のいずれか１項に記載の制御方法。
  11. 　前記処理決定ステップで、前記複数の部分領域の少なくとも一つに対して、前記実行する処理を決定しない
    　請求項１０項に記載の制御方法。
  12. 　入力物体によるタッチを検出する検出部と、
    　少なくとも前記入力物体の一部を含む画像を撮像する撮像部と、
    　前記検出部による検出結果と前記撮像部による撮像画像とに応じて実行する処理を決定する制御部と、
    　前記制御部が決定した処理により画像を表示する表示部と
    　を備えた電子黒板システム。
  13. 　前記制御部が決定する前記処理は、予め記憶させた前記入力物体の形状及び／又は色に対応づけた処理である
    　請求項１２に記載の電子黒板システム。
  14. 　前記制御部が、前記撮像画像から前記入力物体の形状及び／又は色を認識し、さらに前記認識した結果に応じて前記処理を決定する
    　請求項１２又は１３に記載の電子黒板システム。
  15. 　前記制御部は、さらに、
    　前記検出部の検出結果と前記撮像部の撮像画像とに応じて、タッチした前記入力物体の形状及び／又は色を認識し、
    　前記決定する処理と、前記認識した入力物体の形状及び／又は色との対応づけを設定する
    　請求項１３又は１４に記載の電子黒板システム。
  16. 　前記制御部は、前記対応づけを設定する際に、
    　前記処理を表す第１アイコンを表示し、
    　前記第１アイコンが表す前記処理を、前記第１アイコンにタッチした前記入力物体の形状及び／又は色に対応づける
    　請求項１５に記載の電子黒板システム。
  17. 　前記制御部は、前記対応づけを設定する際に、
    　色識別処理を表す第２アイコンを表示し、
    　前記決定する処理を、前記第２アイコンにタッチした前記入力物体の色に対応づける
    　請求項１５又は１６に記載の電子黒板システム。
  18. 　前記制御部は、タッチの開始又は終了の際に前記処理を決定する
    　請求項１２から１７のいずれか１項に記載の電子黒板システム。
  19. 　入力物体によるタッチを検出する検出部による検出結果と前記入力物体の一部を少なくとも含む画像を撮像する撮像部による撮像画像とに応じて実行する処理を決定する制御部が決定した前記処理により画像を表示する表示部を
    　備えた表示装置。
  20. 　入力物体によるタッチを検出するタッチ検出ステップと、
    　少なくとも前記入力物体の一部を含む画像を取得する画像取得ステップと、
    　前記タッチ検出ステップでの検出結果と前記画像取得ステップでの取得画像とに応じて実行する処理を決定する処理決定ステップと
    　をコンピュータに実行させるプログラム。
PCT/JP2015/080563 2015-10-29 2015-10-29 制御方法、電子黒板システム、表示装置およびプログラム WO2017072913A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/750,094 US20180239486A1 (en) 2015-10-29 2015-10-29 Control method, electronic blackboard system, display device, and program
JP2017547277A JPWO2017072913A1 (ja) 2015-10-29 2015-10-29 制御方法、電子黒板システム、表示装置およびプログラム
PCT/JP2015/080563 WO2017072913A1 (ja) 2015-10-29 2015-10-29 制御方法、電子黒板システム、表示装置およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/080563 WO2017072913A1 (ja) 2015-10-29 2015-10-29 制御方法、電子黒板システム、表示装置およびプログラム

Publications (1)

Publication Number Publication Date
WO2017072913A1 true WO2017072913A1 (ja) 2017-05-04

Family

ID=58629921

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/080563 WO2017072913A1 (ja) 2015-10-29 2015-10-29 制御方法、電子黒板システム、表示装置およびプログラム

Country Status (3)

Country Link
US (1) US20180239486A1 (ja)
JP (1) JPWO2017072913A1 (ja)
WO (1) WO2017072913A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10761670B2 (en) * 2018-06-13 2020-09-01 Tactual Labs Co. Sensing of multiple writing instruments

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0784715A (ja) * 1993-09-10 1995-03-31 Hitachi Ltd 情報処理装置
JPH09185456A (ja) * 1995-04-28 1997-07-15 Matsushita Electric Ind Co Ltd インターフェイス装置
JPH1138949A (ja) * 1997-07-15 1999-02-12 Sony Corp 描画装置、描画方法及び記録媒体
WO2011086600A1 (ja) * 2010-01-15 2011-07-21 パイオニア株式会社 情報処理装置、その方法
JP2012053584A (ja) * 2010-08-31 2012-03-15 Sanyo Electric Co Ltd 情報表示システムおよびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120044140A1 (en) * 2010-08-19 2012-02-23 Sanyo Electric Co., Ltd. Information display system and program, and optical input system, projection-type images and display apparatus
US20140210797A1 (en) * 2013-01-31 2014-07-31 Research In Motion Limited Dynamic stylus palette
US20150058753A1 (en) * 2013-08-22 2015-02-26 Citrix Systems, Inc. Sharing electronic drawings in collaborative environments

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0784715A (ja) * 1993-09-10 1995-03-31 Hitachi Ltd 情報処理装置
JPH09185456A (ja) * 1995-04-28 1997-07-15 Matsushita Electric Ind Co Ltd インターフェイス装置
JPH1138949A (ja) * 1997-07-15 1999-02-12 Sony Corp 描画装置、描画方法及び記録媒体
WO2011086600A1 (ja) * 2010-01-15 2011-07-21 パイオニア株式会社 情報処理装置、その方法
JP2012053584A (ja) * 2010-08-31 2012-03-15 Sanyo Electric Co Ltd 情報表示システムおよびプログラム

Also Published As

Publication number Publication date
JPWO2017072913A1 (ja) 2018-05-24
US20180239486A1 (en) 2018-08-23

Similar Documents

Publication Publication Date Title
US11048333B2 (en) System and method for close-range movement tracking
CN105814522B (zh) 基于运动识别来显示虚拟输入设备的用户界面的设备和方法
KR102339674B1 (ko) 디스플레이 장치 및 방법
US9910498B2 (en) System and method for close-range movement tracking
KR101514168B1 (ko) 정보 처리 장치, 정보 처리 방법 및 기록 매체
JP5658552B2 (ja) 表示制御装置及びその制御方法、プログラム、及び記録媒体
US9519365B2 (en) Display control apparatus and control method for the same
WO2015045676A1 (ja) 情報処理装置、および制御プログラム
US10684772B2 (en) Document viewing apparatus and program
US20160300321A1 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
JP5760886B2 (ja) 画像表示装置、画像表示方法及び画像表示プログラム
US20110037731A1 (en) Electronic device and operating method thereof
WO2017072913A1 (ja) 制御方法、電子黒板システム、表示装置およびプログラム
TWI653540B (zh) 顯示裝置、投影機、及顯示控制方法
US20200257396A1 (en) Electronic device and control method therefor
CN108932054B (zh) 显示装置、显示方法和非暂时性的记录介质
US10212382B2 (en) Image processing device, method for controlling image processing device, and computer-readable storage medium storing program
JP5994903B2 (ja) 画像表示装置、画像表示方法及び画像表示プログラム
JP2020071544A (ja) 情報表示装置、電子ペン、表示制御方法、及び表示制御プログラム
CN109218599B (zh) 全景图像的显示方法及其电子装置
JP6409777B2 (ja) 撮像装置、撮像方法及びプログラム
JP6276630B2 (ja) 情報処理装置、情報処理プログラムおよび情報処理方法
TWI502519B (zh) 手勢辨識模組及手勢辨識方法
US20220256095A1 (en) Document image capturing device and control method thereof
JP2018097280A (ja) 表示装置、表示方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15907277

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017547277

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15750094

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15907277

Country of ref document: EP

Kind code of ref document: A1