WO2015186453A1 - 座標検知装置、画像処理装置、及び座標検知方法 - Google Patents

座標検知装置、画像処理装置、及び座標検知方法 Download PDF

Info

Publication number
WO2015186453A1
WO2015186453A1 PCT/JP2015/062518 JP2015062518W WO2015186453A1 WO 2015186453 A1 WO2015186453 A1 WO 2015186453A1 JP 2015062518 W JP2015062518 W JP 2015062518W WO 2015186453 A1 WO2015186453 A1 WO 2015186453A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
event
image
coordinates
coordinate detection
Prior art date
Application number
PCT/JP2015/062518
Other languages
English (en)
French (fr)
Inventor
香川　正明
Original Assignee
株式会社リコー
香川　正明
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社リコー, 香川　正明 filed Critical 株式会社リコー
Publication of WO2015186453A1 publication Critical patent/WO2015186453A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Definitions

  • the present invention relates to a coordinate detection device, an image processing device, and a coordinate detection method for detecting coordinates of a position designated by the indicator using an indicator for indicating a position on a display surface of the display device.
  • a so-called “electronic information board” product in which a touch panel is mounted on a display using a flat panel or a projector such as liquid crystal or plasma, is on the market.
  • an optical touch panel is often used.
  • the optical touch panel has a feature that it can be touched or written by any pen as long as it is a pen-shaped bar or finger (hereinafter referred to as a stylus) that blocks or reflects light.
  • a stylus a pen-shaped bar or finger
  • Detection is performed by blocking or reflecting a predetermined amount of light (hereinafter referred to as probe light). That is, it is determined whether or not the intensity of light detected by a predetermined light receiving element has reached a predetermined threshold value. When it is determined that the threshold value has been reached, the touch position information at that time is issued as a mouse event to the connected personal computer to notify the personal computer of the touch position.
  • probe light a predetermined amount of light
  • a dedicated stylus hereinafter referred to as a dedicated pen
  • a dedicated pen provides with a pressure sensor or the like that detects that the tip is physically in contact with the display surface.
  • the dedicated pen blocks the light
  • the pen tip physically contacts the display surface
  • the pressure sensor installed at the pen tip detects a predetermined pressure
  • Coordinate values are issued as mouse events.
  • coordinates are detected only when the pen tip physically contacts the display surface.
  • Patent Document 1 in a display device with a touch panel, a coordinate point on the display surface is detected, a physical contact of the dedicated pen with the display surface is detected, and an elapsed time after the coordinate point is detected is measured.
  • Event 1 is issued when contact with the display surface of the dedicated pen is detected, and event 2 is detected when contact with the display surface of the dedicated pen is not detected and the elapsed time exceeds a predetermined time ⁇ t.
  • event 1 such as drawing mode
  • other than a dedicated pen such as a finger
  • events such as erase mode 2 will reduce the burden on the user when switching events, and will allow the user to switch events without being aware of the current mode. It has the advantage.
  • the light blocking method is configured to detect the coordinate point by detecting the contact and the contact position of the pen or finger by blocking the light that the pen or finger scans the front of the display. Yes.
  • contact is detected when it is determined that the light scanning a certain distance on the front surface of the display is blocked. Therefore, if coordinate detection is performed with an indicator that does not have a switch on the finger or the tip of the pen, a detection event (mouse down event) is issued before the shielding object touches the front of the display, and it is actually shielded from there. By the time the object (pen or finger) touches the front of the display, the coordinate position is shifted, or a detection event (mouse move event) in which the coordinate detection is moved is issued.
  • the pen tip contacts the display.
  • double mouse down events are issued.
  • a double mouse up event is issued when the pen tip leaves the display.
  • the driver corresponding to the coordinate detection unit and the driver of the contact detection unit are independent, when a mouse down event is issued when the pen tip touches, the acquisition of the contact position is coordinate detection. May return the value acquired by the part, and the coordinate value in the double mouse down event is used as the starting point of the stroke, and an unnecessary line segment may be generated. was there.
  • the present invention has been made in view of the above, and as its purpose, coordinate detection that can prevent generation of unnecessary coordinates even when the coordinate detection unit and the contact detection unit are combined as independent devices.
  • the invention according to claim 1 is a coordinate detection device that detects the coordinates of the position indicated by the indicator using an indicator for indicating the position on the display surface of the display device. And when the indicator is in contact with the display surface or in a non-contact and approaching state, the first event state by the operation using the indicator is detected and the instruction on the display surface is detected.
  • Coordinate detection means for detecting the coordinates of a body, contact detection means for detecting a second event situation by an operation using the indicator when the indicator is in contact with the display surface, and the first event Effective coordinate extraction means for extracting effective coordinates for one stroke by handwriting operation on the display surface based on the situation, the second event situation, and the coordinates detected by the coordinate detection means; Characterized in that it obtain.
  • FIG. 1 is an overall configuration diagram of an image processing system according to the present embodiment.
  • FIG. 2 is a hardware configuration diagram of the electronic blackboard.
  • FIG. 3 is a functional block diagram of the electronic blackboard.
  • FIG. 4 is a functional block diagram of the file processing unit.
  • FIG. 5 is a functional block diagram of the server unit and the client unit.
  • FIG. 6 is a conceptual diagram showing page data.
  • FIG. 7 is a conceptual diagram showing stroke arrangement data.
  • FIG. 8 is a conceptual diagram showing coordinate array data.
  • FIG. 9 is a conceptual diagram showing media data.
  • FIG. 10 is a conceptual diagram showing a remote license management table.
  • FIG. 11 is a conceptual diagram showing an address book management table.
  • FIG. 12 is a conceptual diagram showing backup data.
  • FIG. 13 is a conceptual diagram showing a connection destination management table.
  • FIG. 14 is a conceptual diagram showing a participating base management table.
  • FIG. 15 is a conceptual diagram showing operation data.
  • FIG. 16 is a configuration diagram of each image layer.
  • FIG. 17 is a sequence diagram showing processing of each electronic blackboard.
  • FIG. 18 is a sequence diagram showing processing of each electronic blackboard.
  • FIG. 19 is a processing sequence diagram of event distribution processing by the event distribution unit.
  • FIG. 20 is a flowchart showing event distribution processing by the event distribution unit.
  • FIG. 1 is an overall configuration diagram of an image processing system according to the present embodiment.
  • the image processing system 1 includes a plurality of electronic blackboards 2a and 2b, a plurality of electronic pens 4a and 4b, USB memories 5a and 5b, notebook PCs (Personal Computer) 6a and 6b, a television ( Video) having conference terminals 7a, 7b and PC8.
  • PCs Personal Computer
  • the electronic blackboards 2a and 2b and the PC 8 are connected via a communication network 9 so that they can communicate with each other. Further, the plurality of electronic blackboards 2a and 2b are provided with displays 3a and 3b, respectively. Further, on the electronic blackboard 2a, an image drawn by an event generated by the electronic pen 4a (touch of the pen tip of the electronic pen 4a or the pen tip of the electronic pen 4a on the display 3a) is displayed on the display 3a. Can do. Note that the image displayed on the display 3a can be changed based not only on the electronic pen 4a but also on an event (a gesture such as enlargement, reduction, or page turning) generated by the user's hand Ha or the like.
  • an event a gesture such as enlargement, reduction, or page turning
  • a USB memory 5a can be connected to the electronic blackboard 2a, and the electronic blackboard 2a can read an electronic file such as PDF from the USB memory 5a or record an electronic file in the USB memory 5a.
  • the electronic blackboard 2a is connected to a display port, a DVI (Digital Visual Interface), an HDMI (registered trademark) (High-Definition Multimedia Interface), and a cable 10a1 capable of communication according to a standard such as VGA (Video Graphics Array).
  • a notebook PC 6a is connected. Then, the electronic blackboard 2a generates an event by touching the display 3a, and transmits event information indicating the event to the notebook PC 6a in the same manner as an event from an input device such as a mouse or a keyboard.
  • a television (video) conference terminal 7a is connected to the electronic blackboard 2a via a cable 10a2 capable of communication according to the above-mentioned standards.
  • the notebook PC 6a and the video conference terminal 7a may communicate with the electronic blackboard 2a by wireless communication complying with various wireless communication protocols such as Bluetooth (registered trademark).
  • the electronic blackboard 2b with the display 3b, the electronic pen 4b, the USB memory 5b, the notebook PC 6b, the video conference terminal 7b, the cable 10b1, and the cable 10b2 in the same manner as described above. Is used.
  • the image displayed on the display 3b can be changed based on an event caused by the user's hand Hb or the like.
  • the image drawn on the display 3a of the electronic blackboard 2a at one base is also displayed on the display 3b of the electronic blackboard 2b at another base, and conversely on the display 3b of the electronic blackboard 2b at another base.
  • the image drawn on is displayed on the display 3a of the electronic blackboard 2a at one base.
  • the image processing system 1 can perform remote sharing processing for sharing the same image at a remote location, and thus is very convenient when used for a conference or the like at a remote location.
  • an arbitrary electronic blackboard among the plurality of electronic blackboards is indicated, it is indicated as “electronic blackboard 2”.
  • display 3 is shown.
  • an arbitrary electronic pen among a plurality of electronic pens When an arbitrary electronic pen among a plurality of electronic pens is indicated, it is indicated as “electronic pen 4”.
  • USB memory When an arbitrary USB memory is indicated among the plurality of USB memories, it is indicated as “USB memory 5”.
  • an arbitrary notebook PC among the plurality of notebook PCs When an arbitrary video conference terminal is indicated among the plurality of video conference terminals, it is indicated as “video conference terminal 7”.
  • “hand H” is used when an arbitrary hand among the hands of a plurality of users is shown.
  • an arbitrary cable When an arbitrary cable is indicated among the plurality of cables, it is indicated as “cable 10”.
  • the electronic blackboard 2 will be described as an example of an image processing apparatus.
  • the electronic blackboard 2 is not limited thereto, and other examples of the image processing apparatus include an electronic signboard (digital signage), sports, weather forecasts, and the like. It may be a telestrator used in or a remote image (video) diagnostic device.
  • a notebook PC will be described as an example of the information processing terminal.
  • the present invention is not limited to this, and other examples of the information processing terminal include a desktop PC, a tablet PC, a PDA, a digital video camera, a digital camera, and a game. It may be a terminal capable of supplying image frames such as a machine.
  • the communication network 9 includes the Internet, a LAN (Local Area Network), a mobile phone communication network, and the like.
  • a USB memory is described as an example of a recording medium.
  • various recording media such as an SD card may be used as another example of the recording medium.
  • FIG. 2 is a hardware configuration diagram of the electronic blackboard.
  • the electronic blackboard 2 includes a CPU 101 that controls the operation of the electronic blackboard 2 as a whole, a ROM 102 that stores a program used to drive the CPU 101 such as an IPL, and a RAM 103 that is used as a work area of the CPU 101.
  • An SSD 104 for storing various data such as a program for the electronic blackboard 2, a network controller 105 for controlling communication with the communication network 9, and an external storage controller 106 for controlling communication with the USB memory 5.
  • the electronic blackboard 2 also captures video information displayed on the display of the notebook PC 6 as a still image or a moving image, a GPU (Graphics Processing Unit) 112 that specializes in graphics, and an output image from the GPU 112.
  • a display controller 113 is provided for controlling and managing screen display for output to the display 3 and the video conference terminal 7.
  • the electronic blackboard 2 further includes a sensor controller 114 that controls processing of the contact sensor 115 and a contact sensor 115 that detects that the electronic pen 4 or the hand H of the user touches the display 3.
  • the contact sensor 115 performs coordinate input and coordinate detection by an infrared ray blocking method.
  • two light emitting / receiving devices installed at both upper ends of the display 3 emit a plurality of infrared rays in parallel with the display 3 and are provided around the display 3.
  • This is a method of receiving light that is reflected by the reflecting member and returns on the same optical path as the light path emitted by the light receiving element.
  • the contact sensor 115 outputs infrared ID (Identification) emitted by the two light receiving and emitting devices blocked by the indicator to the sensor controller 114, and the sensor controller 114 specifies the coordinate position that is the contact position of the indicator. . All IDs shown below are examples of identification information.
  • the contact sensor 115 is not limited to the infrared ray blocking method, but a capacitance type touch panel that identifies a contact position by detecting a change in capacitance, or a contact position determined by a voltage change of two opposing resistance films.
  • Various detection means such as a resistance film type touch panel to be identified and an electromagnetic induction type touch panel to identify a contact position by detecting electromagnetic induction caused by contact of a contact object with the display unit may be used.
  • the electronic blackboard 2 includes an electronic pen controller 116. This electronic pen controller 116 communicates with the electronic pen 4 to determine whether or not there is a pen tip touch or a pen butt touch on the display 3.
  • the electronic pen controller 116 may determine whether or not the user grips the part of the electronic pen 4 as well as the other electronic pen part, as well as the pen tip and the bottom of the electronic pen 4.
  • the electronic blackboard 2 includes the CPU 101, ROM 102, RAM 103, SSD 104, network controller 105, external storage controller 106, capture device 111, GPU 112, sensor controller 114, and electronic pen controller 116 as shown in FIG.
  • a bus line 120 such as an address bus or a data bus for electrical connection is provided.
  • the program for the electronic blackboard 2 may be recorded and distributed on a computer-readable recording medium such as a CD-ROM.
  • FIG. 3 is a functional block diagram of the electronic blackboard.
  • the electronic blackboard 2 has each functional configuration shown in FIG. 3 by the hardware configuration and program shown in FIG.
  • the electronic blackboard 2 can be a “host device” that starts the remote sharing process first, and can also be a “participating device” that participates in the remote sharing process that has already started.
  • the electronic blackboard 2 is roughly composed of both the client unit 20 and the server unit 90.
  • the client unit 20 and the server unit 90 are functions realized in one housing of the electronic blackboard 2.
  • the electronic blackboard 2 When the electronic blackboard 2 is a hosting device, the electronic blackboard 2 implements the client unit 20 and the server unit 90. Further, when the electronic blackboard 2 is a participating device, in the electronic blackboard 2, the client unit 20 is realized, but the server unit 90 is not realized. That is, in FIG. 1, when the electronic blackboard 2a is the hosting device and the electronic blackboard 2b is the participating device, the client unit 20 of the electronic blackboard 2a receives the other via the server unit 90 realized in the same electronic blackboard 2a. Communicate with the client unit 20 of the electronic blackboard 2b. On the other hand, the client unit 20 of the electronic blackboard 2b communicates with the client unit 20 of the other electronic blackboard 2a via the server unit 90 realized in the other electronic blackboard 2a.
  • the client unit 20 includes a video acquisition unit 21, a coordinate detection unit 22, an automatic adjustment unit 23, a contact detection unit 24, an event distribution unit 25 (effective coordinate extraction unit), an operation processing unit 26, a gesture processing unit 27, and a video superimposition unit. 28, an image processing unit 30, and a communication control unit 60.
  • the video acquisition unit 21 acquires the output video of the video output device connected to the cable 10.
  • the video acquisition unit 21 analyzes the image signal, and updates the resolution of the image frame that is a display image of the video output device formed by the image signal.
  • Image information such as frequency is derived and output to the image acquisition unit 31.
  • the coordinate detection unit 22 detects the coordinate position of an event (such as an operation in which the user's hand H is touched on the display 3) generated by the user on the display 3.
  • the coordinate detection unit 22 also detects the touched area.
  • the coordinate detection unit 22 detects the first event situation by the operation using the electronic pen 4 when the electronic pen 4 is in contact with the display surface of the display 3 or in a non-contact and approaching state, and the display is performed.
  • the coordinates of the electronic pen 4 on the surface are detected.
  • the first event situation detected by the coordinate detection unit 22 includes a mouse down event, a mouse move event, a mouse up event, and the like.
  • the automatic adjustment unit 23 is activated when the electronic blackboard 2 is activated, and adjusts the image processing parameters of the sensor camera in the optical sensor method of the contact sensor 115 so that the contact sensor 115 can output an appropriate value to the coordinate detection unit 22.
  • the contact detection unit 24 detects an event (such as an operation in which the pen tip of the electronic pen 4 or the pen tip of the electronic pen 3 is pressed (touched) on the display 3).
  • the contact detection unit 24 detects a second event situation caused by an operation using the electronic pen 4 when the electronic pen 4 is in contact with the display surface.
  • the second event situation detected by the contact detection unit 24 includes a mouse down event, a mouse move event, a mouse up event, and the like.
  • the event distribution unit 25 distributes the coordinate position of the event detected by the coordinate detection unit 22 and the detection result detected by the contact detection unit 24 to each event of stroke drawing, UI operation, and gesture operation.
  • stroke drawing is performed when the user presses the electronic pen 4 on the display 3 when a stroke image (B) described later shown in FIG. 16 is displayed on the display 3. In this state, the electronic pen 4 is moved and finally the electronic pen 4 is released from the display 3.
  • alphabets “S” and “T” are drawn on the display 3.
  • the “stroke drawing” includes not only drawing an image but also an event of deleting an already drawn image or editing a drawn image.
  • the “UI operation” is an event in which the user presses a predetermined position with the electronic pen 4 or the hand H when a UI image (A) described later shown in FIG. 16 is displayed on the display 3. .
  • UI operation for example, the color or width of a line drawn by the electronic pen 4 is set.
  • the “gesture operation” is an event that the user touches and moves the display 3 with the hand H when a later-described stroke image (B) shown in FIG. 16 is displayed on the display 3.
  • this gesture operation for example, by moving the hand H while the user touches the display 3 with the hand H, the image can be enlarged (or reduced), the display area can be changed, or the page can be switched. it can.
  • the event distribution unit 25 Based on the first event situation, the second event situation, and the coordinates detected by the coordinate detection unit 22, the event distribution unit 25 extracts effective coordinates for one stroke by handwriting operation on the display surface.
  • the coordinate detection unit 22 detects a down event as the first event situation
  • the contact detection unit 24 detects a down event as the second event situation
  • the coordinates of the start point detected by the coordinate detection unit 22 are validated.
  • the event distribution unit 25 detects an electronic event detected by the coordinate detection unit 22 when the coordinate detection unit 22 detects a move event as the first event situation and the contact detection unit 24 detects an up event as the second event situation.
  • the coordinates of the end point of the pen 4 are valid.
  • the event distribution unit 25 extracts the coordinates of the points that have passed from the coordinates of the start point to the coordinates of the end point as the coordinates of the passing point.
  • the event distribution unit 25 is detected by the coordinate detection unit 22 when the coordinate detection unit 22 detects the down event as the first event situation and the contact detection unit 24 does not detect the down event as the second event situation.
  • the coordinates are invalid.
  • the event distribution unit 25 detects the coordinate detection unit 22 until the coordinate detection unit 22 detects the up event as the first event situation after the contact detection unit 24 detects the up event as the second event situation.
  • the coordinates of the electronic pen 4 are invalidated.
  • the operation processing unit 26 executes various operations according to the UI element in which the event is generated, from what is determined as the UI operation by the event distribution unit 25.
  • Examples of the UI element include a button, a list, a check box, and a text box.
  • the gesture processing unit 27 performs an operation corresponding to what is determined as a gesture operation by the event distribution unit 25.
  • the video superimposing unit 28 displays an image superimposed by a display superimposing unit 36 (to be described later) on the video output device (display 3 or the like) as a video.
  • the video superimposing unit 28 performs picture-in-picture of the video sent from another video output device (such as the video conference terminal 7) with respect to the video from the video output device (such as the notebook PC 6).
  • the video superimposing unit 28 performs switching for displaying the video that is picture-in-picture and displayed on a part of the display 3 on the entire display 3.
  • the image processing unit 30 performs superimposing processing of each image layer as shown in FIG.
  • the image processing unit 30 includes an image acquisition unit 31, a stroke processing unit 32, a UI image generation unit 33, a background generation unit 34, a layout management unit 35, a display superimposition unit 36, a page processing unit 37, a file processing unit 40, page data.
  • a storage unit 300 and a remote license management table 310 are provided.
  • the image acquisition unit 31 acquires each frame as an image from the video acquired by the video acquisition unit 21.
  • the image acquisition unit 31 outputs the image data to the page processing unit 37. This image corresponds to an output image (C) from the video output device (notebook PC 6 or the like) shown in FIG.
  • the stroke processing unit 32 draws an image, deletes the drawn image, or edits the drawn image based on the coordinate data for the event related to the stroke drawing allocated by the event distribution unit 25.
  • the image by this stroke drawing corresponds to the stroke image (B) shown in FIG.
  • the results of drawing, deleting, and editing an image based on the stroke drawing are stored in the operation data storage unit 840 as operation data described later.
  • the UI image generation unit 33 generates a UI (user interface) image set in advance on the electronic blackboard 2. This UI image corresponds to the UI image (A) shown in FIG.
  • the background generation unit 34 receives media data from the page data read from the page data storage unit 300 by the page processing unit 37 from the page processing unit 37.
  • the background generation unit 34 outputs the received media data to the display superimposing unit 36.
  • the image based on the media data corresponds to the background image (D) shown in FIG.
  • the pattern of the background image (D) is plain or grid display.
  • the layout management unit 35 provides layout information indicating the layout of each image output from the image acquisition unit 31, the stroke processing unit 32, and the UI image generation unit 33 (or the background generation unit 34) to the display superimposing unit 36. I manage. Thereby, the layout management unit 35 causes the display superimposing unit 36 to display the output image (C) and the stroke image (B) in the UI image (A) and the background image (D). It is possible to instruct whether to hide.
  • the display superimposing unit 36 displays the layout of each image output from the image acquisition unit 31, the stroke processing unit 32, and the UI image generation unit 33 (background generation unit 34). Do.
  • the page processing unit 37 stores the data of the stroke image (B) and the data of the output image (C) in one page data and stores them in the page data storage unit 300.
  • the data of the stroke image (B) forms part of page data as stroke arrangement data (each stroke data) indicated by the stroke arrangement data ID shown in FIG.
  • the data of the output image (C) forms part of the page data as the media data indicated by the media data ID shown in FIG.
  • the page processing unit 37 transmits the media data of the once stored page data to the display superimposing unit 36 via the background generating unit 34 so that the video superimposing unit 28 displays the background image (D). 3 can be displayed again.
  • the page processing unit 37 can return the stroke arrangement data (each stroke data) in the page data to the stroke processing unit 32 so that the stroke can be re-edited. Further, the page processing unit 37 can delete or duplicate page data. That is, the data of the output image (C) displayed on the display 3 when the page processing unit 37 stores the page data in the page data storage unit 300 is temporarily stored in the page data storage unit 300 and then When read from the page data storage unit 300, it is read as media data indicating the background image (D). Then, the page processing unit 37 outputs stroke arrangement data indicating the stroke image (B) among the page data read from the page data storage unit 300 to the stroke processing unit 32. Further, the page processing unit 37 outputs media data indicating the background image (D) among the page data read from the page data storage unit 300 to the background generation unit 34.
  • the display superimposing unit 36 includes an output image (C) from the image acquisition unit 31, a stroke image (B) from the stroke processing unit 32, a UI image (A) from the UI image generation unit 33, and a background generation unit 34.
  • the background image (D) is superimposed according to the layout designated by the layout management unit 35. Accordingly, as shown in FIG. 16, each of the UI image (A), the stroke image (B), the output image (C), and the background image (D) is displayed in the order in which the user can see even if the images overlap. It has a layer structure. Further, the display superimposing unit 36 can also superimpose the image (A) and the image (B) exclusively by switching the image (C) and the image (D) shown in FIG. .
  • the display superimposing unit 36 also performs display enlargement, display reduction, and display area movement processing.
  • the page data storage unit 300 stores page data as shown in FIG.
  • FIG. 6 is a conceptual diagram showing page data.
  • the page data is data for one page displayed on the display 3 (stroke arrangement data (each stroke data) and media data). Since there are many types of parameters included in the page data, the contents of the page data will be described here separately in FIGS.
  • the page data includes a page data ID for identifying an arbitrary page, a disclosure time indicating the start time of display of this page, and rewriting of the contents of the page by a stroke, a gesture, or the like.
  • the stroke arrangement data is data for displaying a stroke image (B) shown in FIG.
  • the media data is data for displaying a background image (D) shown in FIG.
  • the stroke arrangement data shows detailed information as shown in FIG.
  • FIG. 7 is a conceptual diagram showing stroke arrangement data.
  • one stroke arrangement data is represented by a plurality of stroke data.
  • One stroke data includes a stroke data ID for identifying the stroke data, a start time indicating the start time of writing one stroke, an end time indicating the end time of writing one stroke, the color of the stroke, A stroke width and coordinate array data ID for identifying an array of stroke passing points are shown.
  • the coordinate array data shows detailed information as shown in FIG.
  • FIG. 8 is a conceptual diagram showing coordinate array data. As shown in FIG.
  • the coordinate array data includes one point (X coordinate value, Y coordinate value) on the display 3, and a time difference (ms from the disclosure time of the stroke when the one point is passed) ) And writing pressure information of the electronic pen 4 at this one point. That is, the collection of one point shown in FIG. 8 is shown by one coordinate array data shown in FIG. For example, when the user draws the alphabet “S” with the electronic pen 4, it is drawn with a single stroke, but passes through a plurality of passing points until the drawing of “S” is completed. Information.
  • FIG. 9 is a conceptual diagram showing media data.
  • the media data is stored in the page data storage unit 300 from the page processing unit 37, the media data ID in the page data shown in FIG.
  • the recording time, the position of the image displayed on the display 3 by the page data (X coordinate value, Y coordinate value), the image size (width, height), and data indicating the contents of the media data are shown in association with each other.
  • the remote license management table 310 manages license data necessary to execute the remote sharing process.
  • the product ID of the electronic blackboard 3, the license ID used for authentication, and the expiration date of the license are managed in association with each other.
  • FIG. 4 is a functional block diagram of the file processing unit.
  • the file processing unit 40 includes a recovery processing unit 41, a file input unit 42a, a file output unit 42b, a file conversion unit 43, a file transmission unit 44, an address book input unit 45, a backup processing unit 46, a backup output unit 47, and a setting management unit. 48, a setting file input unit 49a, a setting file output unit 49b, and an address book input unit 50.
  • the file processing unit 40 includes an address book management table 410, a backup data storage unit 420, a setting file storage unit 430, and a connection destination management table 440.
  • the recovery processing unit 41 detects the abnormal end after the electronic blackboard 2 ends abnormally, and recovers the unsaved page data. For example, in the case of a normal end, page data is recorded as a PDF file in the USB memory 5 via the file processing unit 40, but in the case of an abnormal end such as a power down, the page data is stored in the page data storage unit 300. Is still recorded. Therefore, when the power is turned on again, the recovery processing unit 41 recovers by reading the page data from the page data storage unit 300.
  • the file input unit 42a reads a PDF file from the USB memory 5 and stores each page in the page data storage unit 300 as page data.
  • the file conversion unit 43 converts the page data stored in the page data storage unit 300 into a PDF format file.
  • the file output unit 42 b records the PDF file output by the file conversion unit 43 in the USB memory 5.
  • the file transmission unit 44 transmits the PDF file generated by the file conversion unit 43 by attaching it to an electronic mail.
  • the transmission destination of the file is displayed by displaying the contents of the address book management table 410 on the display 3 by the display superimposing unit 36, and the file transmitting unit 44 accepts the selection of the destination by the operation of the input device such as a touch panel by the user. It is determined.
  • the address book management table 410 as shown in FIG. 11, the name of the destination and the mail address of the destination e-mail are managed in association with each other. Further, the file transmission unit 44 can accept an input of a mail address as a destination by an operation of an input device such as a touch panel
  • the address book input unit 45 reads a list file of e-mail addresses from the USB memory 5 and manages it in the address book management table 410.
  • the backup processing unit 46 performs backup by storing the file output by the file output unit 42 b and the file transmitted by the file transmission unit 44 in the backup data storage unit 420. If the user does not set backup, backup processing is not performed.
  • the backup data is stored in the PDF format as shown in FIG.
  • the backup output unit 47 stores the backed up file in the USB memory 5. At the time of storage, a password is input for security by the operation of an input device such as a touch panel by the user.
  • the setting management unit 48 stores and reads various setting information of the electronic blackboard 2 in the setting file storage unit 430 for management.
  • the various setting information include network settings, date and time settings, region and language settings, mail server settings, address book settings, connection destination list settings, and backup settings.
  • the network setting is, for example, an IP address setting of the electronic blackboard 2, a net mask setting, a default gateway setting, a DNS (Domain Name System) setting, or the like.
  • the setting file output unit 49b records various setting information of the electronic blackboard 2 in the USB memory 5 as a setting file. Note that the settings file cannot be viewed by the user due to security.
  • the setting file input unit 49 a reads a setting file stored in the USB memory 5 and reflects various setting information on various settings on the electronic blackboard 2.
  • the address book input unit 50 reads a list file of connection destination IP addresses for remote sharing processing from the USB memory 5 and manages it in the connection destination management table 440. As shown in FIG. 13, in the connection destination management table 440, when the electronic blackboard 2 is a participating device that intends to participate in the remote sharing process, the user of the participating device plays a role as a host device.
  • connection destination management table 440 It is a table for managing beforehand in order to reduce the effort which inputs the IP address of the electronic blackboard 2.
  • the name of the base where the electronic blackboard 2 as a hosting apparatus that can participate is installed and the IP address of the electronic blackboard 2 as the hosting apparatus are managed in association with each other.
  • the connection destination management table 440 may be omitted.
  • the user of the participating device needs to input the IP address of the host device using an input device such as a touch panel in order to start remote sharing processing with the host device. Therefore, the user of the participating device obtains the IP address of the sponsoring device from the user of the sponsoring device by telephone or electronic mail.
  • FIG. 5 is a functional block diagram of the server unit and the client unit.
  • the communication control unit 60 controls communication with other electronic whiteboards 2 and communication with the later-described communication control unit 70 in the server unit 90 via the communication network 9. Therefore, the communication control unit 60 includes a remote start processing unit 61, a remote participation processing unit 62, a remote image transmission unit 63, a remote image reception unit 64, a remote operation transmission unit 65, a remote operation reception unit 66, and a participation base management table 610. have.
  • the remote start processing unit 61 requests the server unit 90 of the same electronic blackboard 2 to start a new remote sharing process, and receives the request result from the server unit 90.
  • the remote start processing unit 61 refers to the remote license management table 310 and makes a request to start remote sharing processing when license information (product ID, license ID, and expiration date) is managed. be able to.
  • license information product ID, license ID, and expiration date
  • the participation base management table 610 is a table for managing the electronic blackboard 2 as a participating device currently participating in the remote sharing process when the electronic blackboard 2 is a sponsor device. In the participating site management table 610, as shown in FIG.
  • the remote participation processing unit 62 sends the remote connection processing to the remote sharing processing to the remote connection request receiving unit 71 in the server unit 90 of the electronic blackboard 2 as the host apparatus that has already started the remote sharing processing via the communication network 9. Request participation. Also in this case, the remote participation processing unit 62 refers to the remote license management table 310. In addition, when the remote participation processing unit 62 participates in the remote sharing process that has already been started, the IP address of the electronic blackboard 2 of the participation destination is acquired with reference to the connection destination management table 440.
  • the connection destination management table 440 may not be referred to by the remote participation processing unit 62, and the IP address of the participation electronic blackboard 2 may be input by an operation of an input device such as a touch panel by the user.
  • the remote image transmission unit 63 transmits the output image (C) sent from the video acquisition unit 21 via the image acquisition unit 31 to the server unit 90.
  • the remote image receiving unit 64 receives image data from the video output device connected to the other electronic blackboard 2 from the server unit 90 and outputs it to the display superimposing unit 36, thereby enabling remote sharing processing.
  • the remote operation transmission unit 65 transmits various operation data necessary for remote sharing processing to the server unit 90. Examples of the operation data include adding a stroke, deleting a stroke, editing a stroke (enlarging, reducing, moving), storing page data, creating page data, duplicating page data, deleting page data, and displaying. Data related to the switching of the current page. Further, the remote operation receiving unit 66 receives the operation data input from another electronic blackboard 2 from the server unit 90 and outputs it to the image processing unit 30 to perform remote sharing processing.
  • server unit 90 includes a communication control unit 70 and a data management unit 80.
  • the communication control unit 70 controls communication with the communication control unit 60 in the client unit 20 in the same electronic blackboard 2 and the communication control unit 60 in the client unit 20 in another electronic blackboard 2 via the communication network 9.
  • the data management unit 80 manages operation data, image data, and the like. More specifically, the communication controller 70 includes a remote connection request receiver 71, a remote connection result transmitter 72, a remote image receiver 73, a remote image transmitter 74, a remote operation receiver 75, and a remote operation transmitter 75. have.
  • the remote connection request receiving unit 71 can receive a remote sharing processing start request from the remote start processing unit 61, or can receive a participation request for remote sharing processing from the remote participation processing unit 62.
  • the remote connection result transmission unit 72 can transmit the result of the remote sharing processing start request to the remote start processing unit 61 or can transmit the result of the participation request for the remote sharing processing to the remote participation processing unit 62.
  • the remote image receiving unit 73 receives the image data (data of the output image (C)) from the remote image transmitting unit 63 and transmits it to the remote image processing unit 82 described later.
  • the remote image transmission unit 74 receives image data from the remote image processing unit 82 and transmits this image data to the remote image reception unit 64.
  • the remote operation receiving unit 75 receives operation data (data such as a stroke image (B)) from the remote operation transmitting unit 65 and transmits it to the remote operation processing unit 83 described later.
  • the remote operation transmission unit 76 receives operation data from the remote operation processing unit 83 and transmits this operation data to the remote operation reception unit 66.
  • the data management unit 80 includes a remote connection processing unit 81, a remote image processing unit 82, a remote operation processing unit 83, an operation composition processing unit 84, and a page processing unit 85. Further, the data management unit 80 includes a passcode management unit 810, a participating site management table 820, an image data storage unit 830, an operation data storage unit 840, and a page data storage unit 850. Among these, the remote connection processing unit 81 starts the remote sharing process and ends the remote sharing process.
  • the remote connection processing unit 81 also receives the license information received by the remote connection request receiving unit 71 from the remote start processing unit 61 together with the remote sharing processing start request or the remote sharing processing unit 62 from the remote sharing processing participation request. Based on the received license information, it is confirmed whether there is a license and whether it is within the license period. Further, the remote connection processing unit 81 confirms whether or not the participation request from the other electronic blackboard 2 as the client unit exceeds the predetermined number of possible participations. Further, the remote connection processing unit 81 has the same passcode that is sent when another electronic blackboard 2 has requested to participate in remote sharing processing as the passcode managed by the passcode management unit 810. It is determined whether or not there is the same, and if they are the same, participation in the remote sharing process is permitted.
  • This passcode is issued by the remote connection processing unit 81 when a new remote sharing process is started, and the user of the electronic blackboard 2 as a participating apparatus who intends to participate in the remote sharing process can It is transmitted from the user of the electronic blackboard 2 by telephone or e-mail.
  • a user of a participating device who intends to participate in the remote sharing process inputs the pass code to the participating device using an input device such as a touch panel and requests participation, thereby permitting participation.
  • the confirmation of the passcode may be omitted only by confirming the license information.
  • the remote connection processing unit 81 uses the participation base information included in the participation request sent from the remote participation processing unit 62 of the participating device via the communication network 9 as the server unit.
  • the data are stored in the 90 participating site management table 820.
  • the remote connection processing unit 81 reads out the remote site information stored in the participating site management table 820 and transmits it to the remote connection result transmission unit 72.
  • the remote connection result transmission unit 72 transmits the remote base information to the remote start processing unit 61 in the client unit 20 of the same sponsor device.
  • the remote start processing unit 61 stores the remote site information in the participating site management table 610.
  • the host device manages remote site information in both the client unit 20 and the server unit 90.
  • the remote image processing unit 82 is an image from a video output device (notebook PC 6 or the like) connected to the client unit 20 of each electronic blackboard 2 (including the client unit of its own electronic blackboard that is the hosting device) during remote sharing processing.
  • Data output image (C)
  • the image data to be remotely shared in the server unit 90 of the electronic blackboard 2 that is the host device is displayed.
  • the remote image processing unit 82 refers to the participating site management table 820, and refers to all the client units 20 of the electronic blackboard 2 participating in the remote sharing process (including the client unit of its own electronic blackboard that is the host device).
  • the image data is transmitted in the determined order via the communication control unit 70 (remote image transmission unit 74).
  • the remote operation processing unit 83 performs various operation data (stroke image (B) including a stroke image drawn by the client unit of each electronic blackboard 2 (including the client unit of its own electronic blackboard that is the host device) during the remote sharing process. )) And the like, and the display order of the images to be remotely shared is determined in the order of time of arrival at the server unit 90 of the electronic blackboard 2 that is the host device.
  • the various operation data is the same as the various operation data described above.
  • the remote operation processing unit 83 refers to the participating site management table 820, and operates the operation data in the client units 20 of all electronic blackboards 2 (including the client unit of its own electronic blackboard that is the host device) during the remote sharing process. Send.
  • the operation synthesis processing unit 84 synthesizes the operation data of each electronic blackboard 2 output from the remote operation processing unit 83, stores the operation data as a result of this synthesis in the operation data storage unit 840 and the remote operation processing unit 83.
  • This operation data is transmitted from the remote operation transmission unit 76 to each of the client unit of the electronic blackboard that is the host device and the client unit of the electronic blackboard that is the participating device, so that the same operation data is obtained in each electronic blackboard 2. Such an image is displayed. Therefore, as shown in FIG. 15, the operation data includes SEQ (Sequence), the operation name of the operation data, the IP address of the electronic blackboard 2 that is the transmission source of the operation data, and the Port of the client unit (server unit). No.
  • the IP address of the electronic blackboard 2 which is the transmission destination of the operation data, and the Port No. of the client unit (server unit).
  • the operation type of the operation data, the operation target of the operation data, and the data indicating the contents of the operation data are shown in association with each other. For example, in SEQ1, when a stroke is drawn on a client unit (Port No .: 50001) of an electronic blackboard (IP address: 192.0.0.1) that is a hosting device, the electronic blackboard (IP It is shown that the operation data is sent to the server part (Port No .: 50000) of the address: 192.0.0.1).
  • the operation type is “STROKE”
  • the operation target is the page data ID “p005”
  • the data indicating the contents of the operation data is data indicating the stroke.
  • SEQ2 from the server unit (Port No .: 50000) of the electronic blackboard (IP address: 192.0.0.1) that is the hosting device, another electronic blackboard (IP address: 192.0) that is the participating device. 0.2) indicates that the operation data has been sent to the client unit (Port No .: 50001).
  • the operation composition processing unit 84 performs composition in the order in which the operation data is input to the operation composition processing unit 84. Therefore, if the communication network 9 is not congested, remote sharing is performed in the order of strokes by the users of the electronic blackboards 2.
  • a stroke image (B) is displayed on the displays 3 of all the electronic blackboards 2 being processed.
  • the page processing unit 85 has the same function as the page processing unit 37 in the image processing unit 30 of the client unit 20, and the server unit 90 also converts the page data shown in FIGS. 6 to 8 into a page data storage unit.
  • Store in 850 Note that the page data storage unit 850 has the same contents as the page data storage unit 300 in the image processing unit 30, and therefore the description thereof is omitted.
  • FIGS. 17 and 18 are sequence diagrams showing the processing of each electronic blackboard.
  • the electronic blackboard 2a serves as a hosting device (server unit and client unit) that hosts the remote sharing process, and the electronic blackboards 2b and 2c participate in the remote sharing process. A case where it plays a role as a device (client unit) will be described.
  • displays 3a, 3b, and 3c are connected to the electronic blackboards 2a, 2b, and 2c, respectively, and notebook PCs 6a, 6b, and 6c are connected to the electronic blackboards 2a, 2b, and 2c, respectively.
  • electronic pens 4a, 4b, and 4c are used, respectively.
  • the UI image generating unit 33 in the client unit 20 of the electronic blackboard 2a generates connection information for establishing a connection with the electronic blackboard 2a, and the video superimposing unit 28 transmits the display superimposing unit 36 from the UI image generating unit 33.
  • the connection information obtained through is displayed on the display 3a (step S22).
  • This connection information includes the host device's IP address and the passcode generated for the current remote sharing process.
  • the passcode stored in the passcode management unit 810 is read by the remote connection processing unit 81 shown in FIG. 5 and transmitted in the order of the remote connection result transmission unit 72 and the remote start processing unit 61.
  • the passcode is transmitted from the communication control unit 60 including the remote start processing unit 61 to the image processing unit 30 illustrated in FIG.
  • connection information includes the passcode.
  • the connection information is transmitted to the users of the electronic blackboards 2b and 2c by telephone or electronic mail by the user of the electronic blackboard 2a. If there is the connection destination management table 440, even if the connection information does not include the IP address of the hosting device, the participating device can make a participation request.
  • the remote participation processing unit 62 in the client unit 20 of each electronic blackboard 2a and 2b Based on the IP address, a participation request is made by transmitting a passcode to the communication control unit 70 in the server unit 90 of the electronic blackboard 2a via the communication network 9 (steps S23 and S24).
  • the remote connection request receiving unit 71 of the communication control unit 70 receives a participation request (including a passcode) from each of the electronic blackboards 2 b and 2 c, and outputs this passcode to the remote connection processing unit 81.
  • the remote connection processing unit 81 authenticates the passcode received from each electronic blackboard 2b, 2c using the passcode managed by the passcode management unit 810 (step S25). And the remote connection result transmission part 72 notifies an authentication result to the client part 20 of each electronic blackboard 2b, 2c (step S26, S27). If it is determined by the authentication in step S25 that each of the electronic blackboards 2b and 2c is a legitimate electronic blackboard, remote sharing between the electronic blackboard 2a that is the hosting device and the electronic blackboards 2b and 2c that are the participating devices Processing communication is established, and the remote participation processing unit 62 in the client unit 20 of each electronic blackboard 2b, 2c enables the start of remote sharing processing with other electronic blackboards (steps S28 and S29).
  • the electronic blackboard 2b displays the output image (C) on the display 3b (step S30).
  • the image acquisition unit 31 of the electronic blackboard 2b receives the data of the output image (C) displayed on the notebook PC 6b from the notebook PC 6b via the video acquisition unit 21, and displays the display superimposing unit 36 and the video.
  • the display 3b displays the output image (C).
  • the image processing unit 30 including the image acquisition unit 31 of the electronic blackboard 2 b transmits the output image (C) data to the remote image transmission unit 63, so that the communication control unit 60 including the remote image transmission unit 63 is performed.
  • the data of the output image (C) is transmitted to the communication control unit 70 of the electronic blackboard 2a that is the hosting device via the communication network 9 (step S31).
  • the remote image receiving unit 73 of the electronic blackboard 2a receives the output image (C) data and outputs it to the remote image processing unit 82, so that the remote image processing unit 82 outputs the output image to the image data storage unit 830.
  • the data of (C) is stored.
  • the electronic blackboard 2a which is the hosting device, displays the output image (C) on the display 3a (step S32).
  • the remote image processing unit 82 of the electronic blackboard 2 a outputs the output image (C) data received from the remote image receiving unit 73 to the remote image transmitting unit 74.
  • the remote image transmitting unit 74 outputs the data of the output image (C) to the remote image receiving unit 64 in the client unit 20 of the electronic blackboard 2a which is the same host device.
  • the remote image receiving unit 64 outputs the data of the output image (C) to the display superimposing unit 36.
  • the display superimposing unit 36 outputs the output image (C) data to the video superimposing unit 28.
  • the video superimposing unit 28 outputs the data of the output image (C) to the display 3a. Thereby, the display 3a displays the output image (C).
  • the communication control unit 70 including the remote image transmission unit 74 in the server unit 90 of the electronic blackboard 2a as the hosting device via the communication network 9 is the electronic blackboard 2b that is the transmission source of the data of the output image (C).
  • the data of the output image (C) is transmitted to the communication control unit 60 of the electronic blackboard 2c other than (step S33).
  • the remote image receiving part 64 of the electronic blackboard 2c which is a participating apparatus receives the data of an output image (C).
  • the electronic blackboard 2c displays the output image (C) on the display 3c (step S34).
  • the remote image receiving unit 64 of the electronic blackboard 2c outputs the data of the output image (C) received in step S33 to the display superimposing unit 36 of the electronic blackboard 2c.
  • the display superimposing unit 36 outputs the output image (C) data to the video superimposing unit 28.
  • the video superimposing unit 28 outputs the data of the output image (C) to the display 3c.
  • the display 3c displays the output image (C).
  • the display superimposing unit 36 superimposes them.
  • Images (A, B, C) are generated, and the video superimposing unit 28 outputs the data of the superimposed images (A, B, C) to the display 3c.
  • video conferencing video (E) data is sent from the video conference terminal 7 to the video superimposing unit 28, the video superimposing unit 28 displays the superimposed image (A, B, C).
  • Video conferencing video (E) data is superimposed by picture-in-picture and output to the display 3c.
  • the stroke processing unit 32 of the electronic blackboard 2b receives the coordinate data of the stroke image (B) as the operation data from the coordinate detection unit 22 and the contact detection unit 24 via the event distribution unit 25, and displays them. Transmit to the superimposing unit 36. Accordingly, the display superimposing unit 36 can superimpose the stroke image (B) on the UI image (A) and the output image (C), and the video superimposing unit 28 is placed on the display 3b of the electronic blackboard 2b. Superimposed images (A, B, C) can be displayed.
  • the image processing unit 30 including the stroke processing unit 32 of the electronic blackboard 2b transmits the coordinate data of the stroke image (B) to the remote operation transmission unit 65, so that the remote operation transmission unit 65 of the electronic blackboard 2b
  • the data of the stroke image (B) is transmitted via the communication network 9 to the communication control unit 70 of the electronic blackboard 2a that is the hosting device (step S43).
  • the remote operation receiving unit 75 of the electronic blackboard 2a receives the data of the stroke image (B) and outputs it to the remote operation processing unit 83, so that the remote operation processing unit 83 sends the stroke image to the operation composition processing unit 84.
  • the data of (B) is output.
  • the data of the stroke image (B) drawn on the electronic blackboard 2b is sequentially transmitted to the remote operation processing unit 83 of the electronic blackboard 2a that is the hosting device every time it is drawn.
  • the data of the stroke image (B) is data shown for each stroke data ID shown in FIG. Therefore, for example, as described above, when the user draws the alphabet “T” with the electronic pen 4, the stroke image (B) indicated by each of the two stroke data IDs is sequentially transmitted. Is done.
  • the electronic blackboard 2a which is the hosting apparatus, displays on the display 3a a superimposed image (A, B, C) including the data of the stroke image (B) sent from the electronic blackboard 2b (Step S). S44).
  • the operation composition processing unit 84 of the electronic blackboard 2a synthesizes the data of the plurality of stroke images (B) sequentially sent via the remote operation processing unit 83 and stores them in the operation data storage unit 840. Store and return to the remote operation processing unit 83.
  • the remote operation processing unit 83 outputs the combined stroke image (B) data received from the operation synthesis processing unit 84 to the remote operation transmission unit 76.
  • the remote operation transmitting unit 76 outputs the combined stroke image (B) data to the remote operation receiving unit 66 in the client unit 20 of the electronic blackboard 2a which is the same hosting device.
  • the remote operation receiving unit 66 outputs the combined stroke image (B) data to the display superimposing unit 36 in the image processing unit 30. Therefore, the display superimposing unit 36 superimposes the combined stroke image (B) on the UI image (A) and the output image (C).
  • the video superimposing unit 28 displays the superimposed image (A, B, C) superimposed by the display superimposing unit 36 on the display 3a.
  • the communication control unit 70 including the remote operation transmission unit 76 in the server unit 90 of the electronic blackboard 2a as the hosting device via the communication network 9 is the electronic blackboard 2b that is the transmission source of the stroke image (B) data.
  • the composite stroke image (B) data is transmitted to the communication control unit 60 of the electronic blackboard 2c other than (step S45).
  • the remote operation receiving part 66 of the electronic blackboard 2c which is a participating apparatus receives the data of the synthesized stroke image (B).
  • the electronic blackboard 2c displays a superimposed image (A, B, C) on the display 3c (step S46).
  • the remote operation receiving unit 66 of the electronic blackboard 2c outputs the combined stroke image (B) data received in step S45 to the image processing unit 30 of the electronic blackboard 2c.
  • the display superimposing unit 36 of the image processing unit 30 superimposes each data of the UI image (A) and the output image (C) and the data of the combined stroke image (B), and superimposes the superimposed image ( A, B, C) data is output.
  • the video superimposing unit 28 outputs the superimposed image (A, B, C) data to the display 3c. Thereby, the display 3c displays a superimposed image (A, B, C).
  • the output image (C) is displayed on the display 3, but a background image (D) may be displayed instead of the output image (C).
  • the exclusive relationship between the output image (C) and the background image (D) may be stopped, and both the output image (C) and the background image (D) may be displayed on the display 3 at the same time.
  • the remote connection request receiving unit 71 of the communication control unit 70 receives the participation end request from the electronic blackboard 2c, and outputs the participation end request together with the IP address of the electronic blackboard 2c to the remote connection processing unit 81. . Then, the remote connection processing unit 81 of the electronic blackboard 2a, based on the IP address sent from the remote connection request receiving unit 71, from the participation base management table 820, the IP of the electronic blackboard 2c that has requested participation. The address and the name of the base where the electronic blackboard 2c is installed are deleted. Next, the remote connection processing unit 81 outputs to the remote connection result transmission unit 72 an IP address of the electronic blackboard 2c and a notification that it has been deleted.
  • the communication control unit 70 including the remote connection result transmission unit 72 instructs the communication control unit 60 in the client unit 20 of the electronic blackboard 2c to end participation via the communication network 9 (step S48).
  • the remote participation processing unit 62 of the communication control unit 60 in the electronic blackboard 2c disconnects the communication of the remote sharing processing and performs the participation end processing, thereby completing the participation (step S49).
  • FIG. 19 is a processing sequence diagram of event distribution processing by the event distribution unit 25.
  • notification of each event will be described.
  • the coordinate detection unit 22 when an indicator such as the electronic pen 4a approaches the front of the display and blocks light, the mouse down event is notified to the event distribution unit 25, and these indicators are displayed on the front of the display.
  • the event distribution unit 25 When moved, the event distribution unit 25 is notified of a mouse move event.
  • the coordinate detection unit 22 notifies the event distribution unit 25 of a mouse up event when those objects do not leave the front of the display and block light.
  • the mouse down event is assigned to the event distribution unit 25.
  • a button installed on the electronic pen 4a such as a pen tip or a pen butt is pressed (such as when the pen tip touches the front of the display)
  • the mouse down event is assigned to the event distribution unit 25.
  • a mouse move event is notified to the event distribution unit 25 and when the pressed button is released (the pen tip moves away from the front of the display), the mouse up The event is notified to the event distribution unit 25.
  • the event distribution unit 25 receives a mouse down event notification from the coordinate detection unit 22 and receives a mouse down event notification from the contact detection unit 24.
  • the stroke drawing start instruction is transmitted to the stroke processing unit 32.
  • the stroke processing unit 32 that has received a stroke drawing start instruction from the event distribution unit 25 starts preparation for stroke drawing.
  • the event distribution unit 25 acquires the coordinate data of the stroke start point from the coordinate detection unit 22 and transmits this coordinate data to the stroke processing unit 32.
  • the stroke processing unit 32 that has received the coordinate data of the stroke start point from the event distribution unit 25 starts stroke drawing.
  • the event distribution unit 25 acquires the coordinate data of the stroke passing point from the coordinate detection unit 22 every time there is a mouse move event from the coordinate detection unit 22, and transmits this coordinate data to the stroke processing unit 32. .
  • the stroke processing unit 32 that has received the coordinate data of the stroke passing point from the event allocating unit 25 draws a locus formed by the stroke passing point.
  • the event distribution unit 25 transmits a stroke drawing end instruction to the stroke processing unit 32 when there is a mouse up event from the contact detection unit 24.
  • the stroke processing unit 32 that has received the stroke drawing end instruction from the event distribution unit 25 ends the stroke drawing.
  • FIG. 20 is a flowchart showing event distribution processing by the event distribution unit 25.
  • the event distribution unit 25 starts processing (step S101).
  • the event distribution unit 25 receives the event notification (step S103).
  • the event distribution unit 25 determines whether or not the received event is the first mouse down event (step S105). If it is the first mouse down event, it is an event from the coordinate detection unit 22, and therefore the process proceeds to step S107. If it is not the first mouse down event, the process returns to step S101. If it is the first mouse down event, a notification of the next event is received (step S107).
  • the event distribution unit 25 determines whether or not the received event is a second mouse down event (step S109).
  • step S110 If it is the second mouse down event, the event distribution unit 25 proceeds to step S110 because it is a genuine event from the contact detection unit 24. If it is not the second mouse down event, the event distribution unit 25 proceeds to step S101. Return. Accordingly, generation of unnecessary coordinates can be prevented by invalidating unnecessary coordinates, and the accuracy of coordinates representing the starting point when drawing one stroke can be improved.
  • the event distribution unit 25 transmits a stroke drawing start instruction to the stroke processing unit 32 (step S110).
  • the event distribution unit 25 receives an event notification (step S111).
  • the event distribution unit 25 determines whether or not the received event is the first mouse move event (step S113). If it is the first mouse move event, the process proceeds to step S115. Thereby, generation of unnecessary coordinates can be prevented, and the accuracy of coordinates representing the starting point when drawing one stroke can be improved. If it is not the first mouse move event, the event distribution unit 25 returns to step S101.
  • the event distribution unit 25 acquires the coordinate data of the stroke start point from the coordinate detection unit 22 (step S115).
  • the event distribution unit 25 transmits the coordinate data of the stroke start point to the stroke processing unit 32 (step S116).
  • the event distribution unit 25 receives an event notification (step S117).
  • the event distribution unit 25 determines whether or not the received event is a mouse up event (step S119), and if it is a mouse up event, the process proceeds to step S125. Thereby, generation of unnecessary coordinates can be prevented, and the accuracy of coordinates representing the starting point when drawing one stroke can be improved.
  • the event distribution part 25 is until the coordinate detection part 22 detects an up event as a 1st event situation.
  • the detected coordinates of the electronic pen 4 may be invalidated. Thereby, generation
  • step S121 the event distribution unit 25 determines whether or not the received event is a mouse move event (step S121), and if it is a mouse move event, the process proceeds to step S123, where the mouse move event is determined. If it is not an event, the process proceeds to step S125.
  • step S121 the event distribution unit 25 acquires the coordinate data of the stroke passing point from the coordinate detection unit 22 (step S123).
  • step S124 the event distribution unit 25 transmits the coordinate data of the stroke passing point to the stroke processing unit 32 (step S124), and returns to step S117.
  • step S119 if it is a mouse up event (step S119, Yes) or not a mouse move event (step S121, No), the event distribution unit 25 sends a stroke drawing end instruction to the stroke processing unit 32. Transmit (step S125). Next, the event distribution unit 25 ends the event distribution process related to one stroke. Thereby, generation of unnecessary coordinates can be prevented, and the accuracy of coordinates representing the start point and the end point when drawing one stroke can be improved.
  • the electronic blackboard 2 of this embodiment is an electronic blackboard that detects the coordinates of the position indicated by the electronic pen 4 using the electronic pen 4 for indicating the position on the display surface of the display 3.
  • a contact detection unit 24 that detects a second event situation by an operation using the electronic pen 4 when the electronic pen 4 is in contact with the display surface, a first event situation, a second event situation, and coordinates And an event distribution unit 25 for extracting effective coordinates for one stroke by a handwriting operation on the display surface based on the coordinates detected by the detection unit 22. According to this aspect, generation of unnecessary coordinates can be prevented, and the accuracy of coordinates representing the start point and end point when drawing one stroke can be improved.
  • the coordinate detection unit 22 detects a down event as a first event situation
  • the contact detection unit 24 detects a down event as a second event situation
  • a move event as a first event situation
  • the coordinates of the start point detected by the coordinate detection unit 22 are validated. According to this aspect, generation of unnecessary coordinates can be prevented, and the accuracy of coordinates representing the starting point when drawing one stroke can be improved.
  • the event distribution unit 25 of this aspect is detected by the coordinate detection unit 22 when the coordinate detection unit 22 detects a move event as the first event situation and the contact detection unit 24 detects an up event as the second event situation.
  • the coordinate of the end point of the electronic pen 4 is made valid. According to this aspect, generation of unnecessary coordinates can be prevented, and the accuracy of coordinates representing the end point when drawing one stroke can be improved.
  • the event distribution unit 25 is characterized in that the coordinates of the points that have passed from the coordinates of the start point to the coordinates of the end point are extracted as the coordinates of the passage point. According to this aspect, generation of unnecessary coordinates can be prevented, and the accuracy of coordinates representing the start point and end point when drawing one stroke can be improved.
  • the event distribution unit 25 includes the coordinate detection unit 22 when the coordinate detection unit 22 detects a down event as the first event situation and the contact detection unit 24 does not detect the down event as the second event situation.
  • the coordinates detected by are invalidated. According to this aspect, it is possible to prevent generation of unnecessary coordinates by invalidating unnecessary coordinates, and it is possible to improve the accuracy of coordinates representing the start point when drawing one stroke.
  • the event distribution unit 25 includes the coordinate detection unit 22 until the coordinate detection unit 22 detects the up event as the first event situation after the contact detection unit 24 detects the up event as the second event situation.
  • the coordinates of the electronic pen 4 detected by is invalidated. According to this aspect, generation of unnecessary coordinates can be prevented by invalidating unnecessary coordinates, and the accuracy of coordinates representing the end point when drawing one stroke can be improved.
  • the electronic blackboard 2 according to this aspect includes the coordinate detection device according to the first aspect. According to this aspect, generation of unnecessary coordinates can be prevented, and the accuracy of coordinates representing the start point and end point when drawing one stroke can be improved.
  • the coordinate detection method of this aspect is a coordinate detection method for detecting the coordinates of the position designated by the electronic pen 4 using the electronic pen 4 for designating the position on the display surface of the display 3.
  • the first event situation by the operation using the electronic pen 4 is detected, and the coordinates of the electronic pen 4 on the display surface are detected by the coordinate detection unit 22.
  • step S109 based on the first event situation, the second event situation, and the coordinates detected in the coordinate detection step, one stroke by handwriting operation on the display surface
  • the program according to this aspect is characterized by causing a processor to execute the steps of the eighth aspect. According to this aspect, since each step can be executed by the CPU (processor), generation of unnecessary coordinates can be prevented, and coordinates of the start point and end point when drawing one stroke are represented. Accuracy can be improved.
  • Page processing 40 ... file processing unit, 41 ... recovery processing unit, 43 ... file conversion unit, 44 ... file transmission unit, 45 ... address book input unit, 46 ... backup processing unit, 47 ... backup Output unit 48 ... Setting management unit 60 ... Communication control unit 61 ... Remote start processing unit 62 ... Remote participation processing unit 63 ... Remote image transmission unit 64 ... Remote image reception unit 65 ... Remote operation transmission unit 66 ... Remote operation reception unit, 71 ... Remote connection request reception unit, 72 ... Remote connection result transmission unit, 80 ... Data management unit, 81 ... Remote connection processing unit, 82 ... Remote image processing unit, 83 ... Remote operation processing unit, 84 ... Operational synthesis processing unit, 90 ... Server unit, 101 ...

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　電子黒板２は、ディスプレイ３の表示面上の位置を指示するための電子ペン４を用いて、電子ペン４により指示された位置の座標を検知する電子黒板であって、電子ペン４が表示面に接触状態、又は非接触且つ接近状態にあるときに、電子ペン４を用いた操作による第１イベント状況を検知するとともに、表示面上の電子ペン４の座標を検知する座標検知部２２と、電子ペン４が表示面に接触状態にあるときに、電子ペン４を用いた操作による第２イベント状況を検知する接触検知部２４と、第１イベント状況、第２イベント状況、及び座標検知部２２が検知した座標に基づいて、表示面への手書き操作による１つのストロークについての有効な座標を抽出するイベント振分部２５と、を備える。

Description

座標検知装置、画像処理装置、及び座標検知方法
　本発明は、表示装置の表示面上の位置を指示するための指示体を用いて、前記指示体により指示された位置の座標を検知する座標検知装置、画像処理装置、及び座標検知方法に関する。
　液晶やプラズマなどのフラットパネルやプロジェクタを用いたディスプレイに、タッチパネルを搭載した、いわゆる「電子情報ボード」製品が市場に出ている。電子情報ボードに搭載されるタッチパネルとしては、光学式のタッチパネルが多く用いられている。光学式タッチパネルは、例えば、光を遮断あるいは反射するペン状の形態の棒や指（以下、スタイラスと呼ぶ）であれば、何を用いてもタッチしたり筆記したりできるという特徴がある。
　このような光学式タッチパネルでは、スタイラスがディスプレイ面に挿入されたか否か、すなわちスタイラスがディスプレイ面に接触したか否かの判定は、スタイラスがディスプレイ面に挿入される過程で、ディスプレイ面近傍に配光された光（以下、プローブ光）を所定量遮るまたは反射することで検知する。すなわち所定の受光素子で検知される光の強度が所定のしきい値に達したか否かで判定される。しきい値に達したと判定されたときに、そのときのタッチ位置の情報を、接続されたパソコンに対してマウスイベントとして発行することで、タッチ位置をパソコンに通知している。
　しかし、光源とディスプレイ面との機械的配置精度、プローブ光の拡がり、スタイラスの像が常に受光素子上に結像する系ではないことによる受光素子上の像の拡がり、などいくつかの理由によって、ディスプレイ面上の全ての場所に渡って、スタイラスがディスプレイ面に物理的に接触する瞬間のディスプレイ面に垂直な方向に対するスタイラス先端の位置と、前記しきい値を一致させることが困難である。あるいは一致させるためには実用的なレベルを越えた高い機械精度が要求される。
　光学式タッチパネルを用いた従来のほとんどの電子情報ボードでは、しきい値に余裕度をとり、スタイラスがディスプレイ面に物理的に接触する少し前の状態に前記しきい値を設定する設計が行われている。その結果、スタイラスがディスプレイ面に物理的に接触する位置よりわずかにディスプレイ面からスタイラスが浮いた状態で、スタイラスがディスプレイ面にタッチしたとタッチパネルは判断する。そして、その位置でのマウスイベントが発行される。
　また、従来の電子情報ボードでは、先端がディスプレイ面に物理的に接触したことを検知する圧力センサ等を設置した専用のスタイラス（以下、専用ペン）を具備したものが多い。専用ペンを用いた場合では、専用ペンが光を遮り、さらにペン先がディスプレイ面に物理的に接触してペン先に設置された圧力センサが所定の圧力を検知したときに、そのときのタッチ座標値がマウスイベントとして発行される。この状態では、ペン先がディスプレイ面に物理的に接触したときのみ座標が検知されることになる。
　特許文献１には、タッチパネル付き表示装置において、表示面上の座標点を検出し、表示面に専用ペンが物理的に接触したことを検出し、座標点を検出してからの経過時間を計測し、専用ペンの表示面への接触を検出したときにはイベント１を発行し、専用ペンの表示面への接触を検出しない状態で、且つ、経過時間が所定の時間Δｔを超えている時にはイベント２を発行することで、タッチパネル付き表示装置の電子情報ボードを操作する時に、専用ペンで操作したときには描画モードなどのイベント１になり、専用ペン以外（指など）で操作したときには消去モードなどのイベント２になるので、イベント切替え時のユーザの負担が少なくなり、また、ユーザが現在のモードを意識することなくイベントを切替えることが可能になるという利点を有している。
　このように、光遮断方式では、ペンや指などがディスプレイ前面を走査している光を遮断することで、ペンや指の接触、接触位置を検出して座標点を検知するように構成されている。
　しかしながら、光遮断方式では、ディスプレイ前面の一定の距離を走査する光を遮断したと判定されると接触を検知してしまう。そのため、指やペン先にスイッチ等のない指示体で座標検知を行うと、遮蔽物体がディスプレイ前面に接触する前に検知イベント（マウス・ダウン・イベント）を発行してしまい、そこから実際に遮蔽物体（ペンや指）がディスプレイ前面に接触するまでに、座標位置がズレたり、座標検知が移動した検知イベント（マウス・ムーブ・イベント）を発行してしまう。
　このため、これらのイベントを使って、そのまま、ストロークを描画すると、ペンまたは指がディスプレイ前面に接触する前の位置から描画が開始される。同様に、ディスプレイ前面からペンまたは指が離れた位置より、ディスプレイ前面の走査光の距離から離れた位置までのストロークを描画してしまう。このため、ストロークの開始と終了に不要な線分が描画されてしまうといった問題があった。
　このような問題を解決するため、ペン先にスイッチを付け、スイッチのオン・オフにより、ストロークの開始・終了を判定することで、不要な線分を描画することなく、精度のよいストロークを描画することができる。
　しかし、光遮断を利用する座標検知部と、ペン先に付けたスイッチのオン・オフを利用する接触検知部をそれぞれ、独立したイベント発行装置として組み合わせて構成した場合、ペン先がディスプレイに接触するときに、２重にマウス・ダウン・イベントが発行される。同様に、ペン先がディスプレイから離れるときも、２重にマウス・アップ・イベントが発行される。
　さらに、座標検知部に対応するドライバと、接触検知部のドライバとが独立していることにより、ペン先の接触時にマウス・ダウン・イベントが発行されたときに、接触位置の取得は、座標検知部で取得された値を返してしまうことがあり、２重のマウス・ダウン・イベントでの座標値をストロークの開始点に利用したので、不要な線分を生成してしまうことがあるといった問題があった。
　本発明は、上記に鑑みてなされたもので、その目的としては、座標検知部と接触検知部とを独立した装置として組み合わせた場合でも、不要な座標の生成を防止することが可能な座標検知装置、画像処理装置、及び座標検知方法を提供することにある。
　上記課題を解決するため、請求項１記載の発明は、表示装置の表示面上の位置を指示するための指示体を用いて、前記指示体により指示された位置の座標を検知する座標検知装置であって、前記指示体が前記表示面に接触状態、又は非接触且つ接近状態にあるときに、前記指示体を用いた操作による第１イベント状況を検知するとともに、前記表示面上の前記指示体の座標を検知する座標検知手段と、前記指示体が前記表示面に接触状態にあるときに、前記指示体を用いた操作による第２イベント状況を検知する接触検知手段と、前記第１イベント状況、前記第２イベント状況、及び前記座標検知手段が検知した座標に基づいて、前記表示面への手書き操作による１つのストロークについての有効な座標を抽出する有効座標抽出手段と、を備えることを特徴とする。
　本発明によれば、不要な座標の生成を防止することができ、１つのストロークを描画する際の開始点と終了点を表す座標の精度を向上することができる。
図１は、本実施形態の画像処理システムの全体構成図である。 図２は、電子黒板のハードウェア構成図である。 図３は、電子黒板の機能ブロック図である。 図４は、ファイル処理部の機能ブロック図である。 図５は、サーバ部及びクライアント部の機能ブロック図である。 図６は、ページデータを示す概念図である。 図７は、ストローク配列データを示す概念図である。 図８は、座標配列データを示す概念図である。 図９は、メディアデータを示す概念図である。 図１０は、遠隔ライセンス管理テーブルを示す概念図である。 図１１は、アドレス帳管理テーブルを示す概念図である。 図１２は、バックアップデータを示す概念図である。 図１３は、接続先管理テーブルを示す概念図である。 図１４は、参加拠点管理テーブルを示す概念図である。 図１５は、操作データを示す概念図である。 図１６は、各画像レイヤの構成図である。 図１７は、各電子黒板の処理を示したシーケンス図である。 図１８は、各電子黒板の処理を示したシーケンス図である。 図１９は、イベント振分部によるイベント振分処理の処理シーケンス図である。 図２０は、イベント振分部によるイベント振分処理を示すフローチャートである。
　以下、図面を参照して、本発明の一実施形態について説明する。
＜システムの概要＞
　図１は、本実施形態の画像処理システムの全体構成図である。なお、図１では、説明を簡略化するために、２台の電子黒板２ａ、２ｂ及びこれに付随する電子ペン４ａ、４ｂ等を示しているだけであって、３台以上の電子黒板や電子ペン等を利用してもよい。
　図１に示されているように、画像処理システム１は、複数の電子黒板２ａ、２ｂ、複数の電子ペン４ａ、４ｂ、ＵＳＢメモリ５ａ、５ｂ、ノートＰＣ（Personal　Computer）６ａ、６ｂ、テレビ（ビデオ）会議端末７ａ、７ｂ、及びＰＣ８を有する。また、電子黒板２ａ、２ｂ、及びＰＣ８は、通信ネットワーク９を介して通信可能に接続されている。更に、複数の電子黒板２ａ、２ｂには、それぞれディスプレイ３ａ、３ｂが設けられている。
　また、電子黒板２ａには、電子ペン４ａによって生じたイベント（ディスプレイ３ａに電子ペン４ａのペン先、又は、電子ペン４ａのペン尻のタッチ）により描画された画像を、ディスプレイ３ａに表示させることができる。なお、電子ペン４ａだけでなく、ユーザの手Ｈａ等によって生じたイベント（拡大、縮小、ページめくり等のジェスチャ）に基づいて、ディスプレイ３ａ上に表示されている画像を変更させることもできる。
　また、電子黒板２ａには、ＵＳＢメモリ５ａが接続可能であり、電子黒板２ａは、ＵＳＢメモリ５ａからＰＤＦ等の電子ファイルを読み出したり、ＵＳＢメモリ５ａに電子ファイルを記録したりすることができる。また、電子黒板２ａには、ＤｉｓｐｌａｙＰｏｒｔ、ＤＶＩ（Digital　Visual　Interface）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface）及びＶＧＡ（Video　Graphics　Array）等の規格による通信が可能なケーブル１０ａ１を介して、ノートＰＣ６ａが接続されている。そして、電子黒板２ａは、ディスプレイ３ａに対する接触によってイベントを発生させ、このイベントを示すイベント情報を、マウスやキーボード等の入力装置からのイベントと同様に、ノートＰＣ６ａに送信する。同じく、電子黒板２ａには、上記規格による通信が可能なケーブル１０ａ２を介して、テレビ（ビデオ）会議端末７ａが接続されている。なお、ノートＰＣ６ａ、及びテレビ会議端末７ａは、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の各種無線通信プロトコルに準拠した無線通信により、電子黒板２ａと通信してもよい。
　一方、電子黒板２ｂが設置されている他の拠点では、上記と同様に、ディスプレイ３ｂを備えた電子黒板２ｂ、電子ペン４ｂ、ＵＳＢメモリ５ｂ、ノートＰＣ６ｂ、テレビ会議端末７ｂ、ケーブル１０ｂ１、ケーブル１０ｂ２が利用される。更に、ユーザの手Ｈｂ等によって生じたイベントに基づいて、ディスプレイ３ｂ上に表示されている画像を変更させることもできる。
　これにより、一の拠点で電子黒板２ａのディスプレイ３ａ上に描画された画像は、他の拠点で電子黒板２ｂのディスプレイ３ｂ上にも表示され、逆に他の拠点で電子黒板２ｂのディスプレイ３ｂ上に描画された画像は、一の拠点で電子黒板２ａのディスプレイ３ａ上に表示される。このように、画像処理システム１では、遠隔地において同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、非常に便利である。
　なお、以下では、複数の電子黒板のうち任意の電子黒板を示す場合には「電子黒板２」と示す。複数のディスプレイのうち任意のディスプレイを示す場合には「ディスプレイ３」と示す。複数の電子ペンのうち任意の電子ペンを示す場合には「電子ペン４」と示す。複数のＵＳＢメモリのうち任意のＵＳＢメモリを示す場合には「ＵＳＢメモリ５」と示す。複数のノートＰＣのうち任意のノートＰＣを示す場合には「ノートＰＣ６」と示す。複数のテレビ会議端末のうち任意のテレビ会議端末を示す場合には「テレビ会議端末７」と示す。また、複数のユーザの手のうち任意の手を示す場合には「手Ｈ」と示す。複数のケーブルのうち任意のケーブルを示す場合には「ケーブル１０」と示す。
　また、本実施形態では、画像処理装置の一例として、電子黒板２を説明するが、これに限るものではなく、画像処理装置の他の例として、電子看板（デジタルサイネージ）、スポーツや天気予報等で利用されるテレストレータ、又は、遠隔画像（映像）診断装置等であってもよい。また、情報処理端末の一例として、ノートＰＣを説明するが、これに限るものではなく、情報処理端末の他の例として、デスクトップ型ＰＣやタブレット型ＰＣ、ＰＤＡ、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末であってもよい。更に、通信ネットワーク９には、インターネット、ＬＡＮ（Local　Area　Network）、携帯電話通信網等が含まれる。また、本実施形態では、記録媒体の一例として、ＵＳＢメモリを説明するが、これに限るものではなく、記録媒体の他の例として、ＳＤカード等の各種記録メディアであってもよい。
＜電子黒板のハードウェア構成＞
　続いて、図２を用いて、本実施形態の電子黒板のハードウェア構成を説明する。なお、図２は、電子黒板のハードウェア構成図である。
　図２に示されているように、電子黒板２は、電子黒板２全体の動作を制御するＣＰＵ１０１、ＩＰＬ等のＣＰＵ１０１の駆動に用いられるプログラムを記憶したＲＯＭ１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ１０３、電子黒板２用のプログラム等の各種データを記憶するＳＳＤ１０４、通信ネットワーク９との通信を制御するネットワークコントローラ１０５、及び、ＵＳＢメモリ５との通信を制御する外部記憶コントローラ１０６を備えている。
　また、電子黒板２は、ノートＰＣ６のディスプレイに表示された映像情報を静止画または動画として取得するキャプチャデバイス１１１、グラフィクスを専門に扱うＧＰＵ（Graphics　Processing　Unit）１１２、及び、ＧＰＵ１１２からの出力画像をディスプレイ３やテレビ会議端末７へ出力するために画面表示の制御及び管理を行うディスプレイコントローラ１１３を備えている。
　更に、電子黒板２は、接触センサ１１５の処理を制御するセンサコントローラ１１４、ディスプレイ３上に電子ペン４やユーザの手Ｈ等が接触したことを検知する接触センサ１１５を備えている。この接触センサ１１５は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ３の上側両端部に設置された２つ受発光装置が、ディスプレイ３に平行して複数の赤外線を放射し、ディスプレイ３の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ１１５は、指示体によって遮断された２つの受発光装置が放射した赤外線のＩＤ（Identification）をセンサコントローラ１１４に出力し、センサコントローラ１１４が、指示体の接触位置である座標位置を特定する。なお、以下に示す全ての各ＩＤは、識別情報の一例である。
　また、接触センサ１１５としては、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２の抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。
　また、電子黒板２は、電子ペンコントローラ１１６を備えている。この電子ペンコントローラ１１６は、電子ペン４と通信することで、ディスプレイ３へのペン先のタッチやペン尻のタッチの有無を判断する。なお、電子ペンコントローラ１１６が、電子ペン４のペン先及びペン尻だけでなく、電子ペン４のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
　更に、電子黒板２は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＳＳＤ１０４、ネットワークコントローラ１０５、外部記憶コントローラ１０６、キャプチャデバイス１１１、ＧＰＵ１１２、センサコントローラ１１４、及び電子ペンコントローラ１１６を、図２に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン１２０を備えている。
　なお、電子黒板２用のプログラムは、ＣＤ－ＲＯＭ等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
＜電子黒板の機能構成＞
　続いて、図３乃至図１６を用いて、電子黒板の機能構成について説明する。なお、先ずは、図３を用いて、電子黒板２の全体的な機能構成について説明する。図３は、電子黒板の機能ブロック図である。
　電子黒板２は、図２に示されているハードウェア構成及びプログラムによって、図３に示されている各機能構成を有する。電子黒板２は、最初に遠隔共有処理を開始する「主催装置」となり得ると共に、既に開始されている遠隔共有処理に後から参加する「参加装置」にもなり得る。
　また、電子黒板２は、大きく分けて、クライアント部２０及びサーバ部９０の両方によって構成されている。クライアント部２０及びサーバ部９０は、電子黒板２の１台の筐体内で実現される機能である。そして、電子黒板２が主催装置となる場合には、この電子黒板２では、クライアント部２０とサーバ部９０が実現される。また、電子黒板２が参加装置となる場合には、この電子黒板２では、クライアント部２０は実現されるが、サーバ部９０は実現されない。即ち、図１において、電子黒板２ａが主催装置で、電子黒板２ｂが参加装置となる場合、電子黒板２ａのクライアント部２０は、同じ電子黒板２ａ内に実現されたサーバ部９０を介して、他の電子黒板２ｂのクライアント部２０と通信を行う。一方、電子黒板２ｂのクライアント部２０は、他の電子黒板２ａ内に実現されたサーバ部９０を介して、他の電子黒板２ａのクライアント部２０と通信を行う。
〔クライアント部２０の機能構成〕
　続いて、主に図３乃至図５を用いて、クライアント部２０の機能構成について説明する。クライアント部２０は、映像取得部２１、座標検知部２２、自動調整部２３、接触検知部２４、イベント振分部２５（有効座標抽出手段）、操作処理部２６、ジェスチャ処理部２７、映像重畳部２８、画像処理部３０、及び通信制御部６０を有する。
　このうち、映像取得部２１は、ケーブル１０に接続された映像出力機器の出力映像を取得する。映像取得部２１は、映像出力機器から画像信号を受信すると、この画像信号を解析して、この画像信号によって形成される映像出力機器の表示画像である画像フレームの解像度や、この画像フレームの更新頻度などの画像情報を導出し、画像取得部３１に出力する。
　座標検知部２２は、ディスプレイ３上でユーザによって生じたイベント（ディスプレイ３上にユーザの手Ｈがタッチされた動作等）の座標位置を検出する。また、座標検知部２２は、タッチされた面積も検出する。さらに、座標検知部２２は、電子ペン４がディスプレイ３の表示面に接触状態、又は非接触且つ接近状態にあるときに、電子ペン４を用いた操作による第１イベント状況を検知するとともに、表示面上の電子ペン４の座標を検知する。なお、座標検知部２２により検知される第１イベント状況としては、マウス・ダウン・イベント、マウス・ムーブ・イベント、マウス・アップ・イベントなどがある。
　自動調整部２３は、電子黒板２の起動時に起動され、接触センサ１１５が座標検知部２２に適切な値を出力できるように、接触センサ１１５の光センサ方式におけるセンサーカメラの画像処理のパラメータを調整する。
　接触検知部２４は、ユーザによって生じたイベント（ディスプレイ３上に電子ペン４のペン先又は電子ペン３のペン尻が押下（タッチ）された動作等）を検出する。接触検知部２４は、電子ペン４が表示面に接触状態にあるときに、電子ペン４を用いた操作による第２イベント状況を検知する。接触検知部２４により検知される第２イベント状況としては、マウス・ダウン・イベント、マウス・ムーブ・イベント、マウス・アップ・イベントなどがある。
　イベント振分部２５は、座標検知部２２によって検知されたイベントの座標位置と接触検知部２４によって検出された検出結果を、ストローク描画、ＵＩ操作、及びジェスチャ操作の各イベントに振り分ける。
　ここで、「ストローク描画」は、ディスプレイ３上に図１６に示されている後述のストローク画像（Ｂ）が表示されている場合に、ユーザがディスプレイ３上で電子ペン４を押下し、この押下した状態で電子ペン４を移動させ、最終的にディスプレイ３上から電子ペン４を離すまでのイベントである。このストローク描画により、例えば、アルファベット「Ｓ」や「Ｔ」等がディスプレイ３上に描画される。なお、この「ストローク描画」には、画像を描画するだけでなく、既に描画された画像を削除したり、描画された画像を編集したりするイベントも含まれる。
　「ＵＩ操作」は、ディスプレイ３上に図１６に示されている後述のＵＩ画像（Ａ）が表示されている場合に、ユーザが電子ペン４又は手Ｈによって所定の位置を押下したイベントである。このＵＩ操作により、例えば、電子ペン４により描画される線の色や幅等が設定される。
　「ジェスチャ操作」は、ディスプレイ３上に図１６に示されている後述のストローク画像（Ｂ）が表示されている場合に、ユーザが手Ｈでディスプレイ３上をタッチして移動させるイベントである。このジェスチャ操作により、例えば、ユーザがディスプレイ３に手Ｈをタッチさせた状態で手Ｈを移動させることで、画像の拡大（若しくは縮小）、表示領域の変更、又は、ページ切り換え等を行うことができる。
　イベント振分部２５は、第１イベント状況、第２イベント状況、及び座標検知部２２が検知した座標に基づいて、表示面への手書き操作による１つのストロークについての有効な座標を抽出する。
　イベント振分部２５は、座標検知部２２が第１イベント状況としてダウンイベントを検知し、接触検知部２４が第２イベント状況としてダウンイベントを検知し、且つ第１イベント状況としてムーブイベントを検知したときに、座標検知部２２により検知された開始点の座標を有効とする。
　イベント振分部２５は、座標検知部２２が第１イベント状況としてムーブイベントを検知し、接触検知部２４が第２イベント状況としてアップイベントを検知したときに、座標検知部２２により検知された電子ペン４の終了点の座標を有効とする。
　イベント振分部２５は、開始点の座標から、終了点の座標までに通過した点の座標を通過点の座標として抽出する。
　イベント振分部２５は、座標検知部２２が第１イベント状況としてダウンイベントを検知し、接触検知部２４が第２イベント状況としてダウンイベントを検知していないときに、座標検知部２２が検知した座標を無効とする。
　イベント振分部２５は、接触検知部２４が第２イベント状況としてアップイベントを検知した後に、座標検知部２２が第１イベント状況としてアップイベントを検知するまでの間、座標検知部２２が検知した電子ペン４の座標を無効とする。
　操作処理部２６は、イベント振分部２５によってＵＩ操作と判断されたものから、イベントが発生されたＵＩの要素に従って、各種操作を実行する。このＵＩの要素としては、例えば、ボタン、リスト、チェックボックス、テキストボックスが挙げられる。
　ジェスチャ処理部２７は、イベント振分部２５によってジェスチャ操作と判断されたものに対応した操作を実行する。
　映像重畳部２８は、後述の表示重畳部３６で重畳された画像を映像として映像出力機器（ディスプレイ３等）に対して表示する。また、映像重畳部２８は、映像出力機器（ノートＰＣ６等）からの映像に対して、他の映像出力機器（テレビ会議端末７等）から送られて来た映像をピクチャ・イン・ピクチャする。更に、映像重畳部２８は、ピクチャ・イン・ピクチャされてディスプレイ３の一部に表示された映像を、ディスプレイ３の全体に表示させるための切り替えを行う。
　画像処理部３０は、図１６に示されているような各画像レイヤの重畳処理等を行う。この画像処理部３０は、画像取得部３１、ストローク処理部３２、ＵＩ画像生成部３３、背景生成部３４、レイアウト管理部３５、表示重畳部３６、ページ処理部３７、ファイル処理部４０、ページデータ記憶部３００、及び遠隔ライセンス管理テーブル３１０を有している。
　このうち、画像取得部３１は、映像取得部２１で取得された映像から、各フレームを画像として取得する。画像取得部３１は、この画像のデータを、ページ処理部３７に出力する。この画像は、図１６に示されている映像出力機器（ノートＰＣ６等）からの出力画像（Ｃ）に相当する。
　ストローク処理部３２は、イベント振分部２５によって割り振られたストローク描画に係るイベントについて座標データに基づいて、画像を描画したり、描画された画像を削除したり、描画された画像を編集する。このストローク描画による画像は、図１６に示されているストローク画像（Ｂ）に相当する。また、このストローク描画に基づいた画像の描画、削除、編集の各結果は、後述の操作データとして、操作データ記憶部８４０に記憶される。
　ＵＩ画像生成部３３は、電子黒板２に予め設定されているＵＩ（ユーザインターフェース）画像を生成する。このＵＩ画像は、図１６に示されているＵＩ画像（Ａ）に相当する。
　背景生成部３４は、ページ処理部３７がページデータ記憶部３００から読み出したページデータのうちのメディアデータを、ページ処理部３７から受信する。背景生成部３４は、この受信したメディアデータを表示重畳部３６に出力する。また、このメディアデータによる画像は、図１６に示されている背景画像（Ｄ）に相当する。背景画像（Ｄ）のパターンは、無地、グリッド表示等である。
　レイアウト管理部３５は、表示重畳部３６に対して、画像取得部３１、ストローク処理部３２、及びＵＩ画像生成部３３（又は背景生成部３４）から出力された各画像のレイアウトを示すレイアウト情報を管理している。これにより、レイアウト管理部３５は、表示重畳部３６に対して、出力画像（Ｃ）及びストローク画像（Ｂ）を、ＵＩ画像（Ａ）及び背景画像（Ｄ）中のどの位置に表示させるか又は非表示にさせるかを指示することができる。
　表示重畳部３６は、レイアウト管理部３５から出力されたレイアウト情報に基づき、画像取得部３１、ストローク処理部３２、及びＵＩ画像生成部３３（背景生成部３４）から出力された各画像のレイアウトを行う。
　ページ処理部３７は、ストローク画像（Ｂ）のデータと出力画像（Ｃ）のデータを、１つのページデータにまとめてページデータ記憶部３００に記憶する。ストローク画像（Ｂ）のデータは、図６に示されているストローク配列データＩＤで示されるストローク配列データ（各ストロークデータ）として、ページデータの一部を成す。出力画像（Ｃ）のデータは、図６に示されているメディアデータＩＤで示されているメディアデータとして、ページデータの一部を成す。そして、このメディアデータは、ページデータ記憶部３００から読み出されると、背景画像（Ｄ）のデータとして取り扱われる。
　また、ページ処理部３７は、一旦記憶されたページデータのうちのメディアデータを、背景生成部３４を介して表示重畳部３６に送信することで、映像重畳部２８が背景画像（Ｄ）をディスプレイ３に再表示させることができる。また、ページ処理部３７は、ページデータのうちのストローク配列データ（各ストロークデータ）を、ストローク処理部３２に戻すことで、ストロークの再編集ができる状態にすることができる。更に、ページ処理部３７は、ページデータを削除したり、複製したりすることもできる。
　即ち、ページ処理部３７がページデータ記憶部３００にページデータを記憶する時点でディスプレイ３上に表示されている出力画像（Ｃ）のデータは、一旦、ページデータ記憶部３００に記憶され、その後にページデータ記憶部３００から読み出される際には、背景画像（Ｄ）を示すメディアデータとして読みされる。そして、ページ処理部３７は、ページデータ記憶部３００から読み出したページデータのうち、ストローク画像（Ｂ）を示すストローク配列データを、ストローク処理部３２に出力する。また、ページ処理部３７は、ページデータ記憶部３００から読み出したページデータのうち、背景画像（Ｄ）を示すメディアデータを、背景生成部３４に出力する。
　表示重畳部３６は、画像取得部３１からの出力画像（Ｃ）、ストローク処理部３２からのストローク画像（Ｂ）、ＵＩ画像生成部３３からのＵＩ画像（Ａ）、及び、背景生成部３４からの背景画像（Ｄ）を、レイアウト管理部３５によって指定されたレイアウトに従って重畳する。これにより、図１６に示されているように、各画像が重なってもユーザが見える順に、ＵＩ画像（Ａ）、ストローク画像（Ｂ）、出力画像（Ｃ）、及び背景画像（Ｄ）の各レイヤの構成となっている。
　また、表示重畳部３６は、図１６に示されている画像（Ｃ）と画像（Ｄ）を切り替えて、画像（Ａ）及び画像（Ｂ）に対して排他的に重畳することも可能である。例えば、当初、画像（Ａ）、画像（Ｂ）及び画像（Ｃ）が表示されている状態で、電子黒板２と映像出力機器（ノートＰＣ６等）との間のケーブル１０が抜かれた場合には、レイアウト管理部３５の指定によって、画像（Ｃ）を重畳対象から外し、画像（Ｄ）を表示させることができる。この場合に、また、表示重畳部３６は、表示の拡大、表示の縮小、表示領域の移動処理も行う。
　ページデータ記憶部３００は、図６に示されているようなページデータを記憶する。図６は、ページデータを示す概念図である。ページデータは、ディスプレイ３に表示される１ページ分のデータ（ストローク配列データ（各ストロークデータ）及びメディアデータ）である。なお、ページデータに含まれるパラメータの種類が多いため、ここでは、図６乃至９に分けて、ページデータの内容を説明する。
　ページデータは、図６に示されているように、任意の１ページを識別するためのページデータＩＤ、このページの表示を開始した時刻を示す開示時刻、ストロークやジェスチャ等によるページの内容の書き換えが行われなくなった時刻を示す終了時刻、電子ペン４やユーザの手Ｈによるストロークによって生じたストローク配列データを識別するためのストローク配列データＩＤ、及びメディアデータを識別するためのメディアデータＩＤが関連付けて記憶されている。ストローク配列データは、後述の図１６に示されているストローク画像（Ｂ）がディスプレイ３上に表示されるためのデータである。メディアデータは、後述の図１６に示されている背景画像（Ｄ）がディスプレイ３上に表示されるためのデータである。
　このようなページデータにより、例えば、ユーザが電子ペン４によってアルファベット「Ｓ」を描く場合は一筆書きとなるため、ストローク配列データＩＤが１つで一文字のアルファベット［Ｓ］が示される。ところが、ユーザが電子ペン４によってアルファベット「Ｔ」を描く場合、二筆書きとなるため、ストローク配列データＩＤが２つで一文字のアルファベット「Ｔ」が示されることになる。
　また、ストローク配列データは、図７に示されているように詳細な情報を示している。図７は、ストローク配列データを示す概念図である。図７に示されているように、１つのストローク配列データは、複数のストロークデータによって表される。そして、１つのストロークデータは、このストロークデータを識別するためのストロークデータＩＤ、１つのストロークの書き始めの時刻を示す開始時刻、１つのストロークの書き終わりの時刻を示す終了時刻、ストロークの色、ストロークの幅、及び、ストロークの通過点の配列を識別するための座標配列データＩＤを示している。
　更に、この座標配列データは、図８に示されているように詳細な情報を示している。図８は、座標配列データを示す概念図である。図８に示されているように、座標配列データは、ディスプレイ３上の１点（Ｘ座標値、Ｙ座標値）、この１点を通過したときのストロークの開示時刻からの差分の時刻（ｍｓ）、及び、この１点における電子ペン４の筆圧の各情報を示している。即ち、図８に示されている１点の集まりが、図７に示されている１つの座標配列データで示されている。例えば、ユーザが電子ペン４によってアルファベット「Ｓ」を描く場合、一筆書きとなるが、「Ｓ」を描き終えるまでに、複数の通過点を通過するため、座標配列データは、これら複数の通過点の情報を示している。
　また、図６に示されているページデータのうちのメディアデータは、図９に示されているように詳細な情報を示している。図９は、メディアデータを示す概念図である。図９に示されているように、メディアデータは、図６に示されているページデータにおけるメディアデータＩＤ、メディアデータのデータ種類、ページ処理部３７からページデータ記憶部３００にページデータが記憶された記録時刻、ページデータによってディスプレイ３上に表示される画像の位置（Ｘ座標値、Ｙ座標値）及び画像のサイズ（幅、高さ）、並びにメディアデータの内容を示すデータが関連付けられて示されている。このうち、ページデータによってディスプレイ３上に表示される画像の位置は、ディスプレイ３の左上端の座標を（Ｘ座標値，Ｙ座標値）＝（０，０）とした場合に、ページデータによって表示される画像の左上端の位置を示している。
　また、図３に戻り、遠隔ライセンス管理テーブル３１０は、遠隔共有処理を実行するために必要なライセンスデータを管理する。この遠隔ライセンス管理テーブル３１０では、図１０に示されているように、電子黒板３のプロダクトＩＤ、認証に用いられるライセンスＩＤ、及びライセンスの有効期限が関連付けて管理されている。
（ファイル処理部４０の機能構成）
　続いて、図４を用いて、図３に示されているファイル処理部４０の機能構成を説明する。なお、図４は、ファイル処理部の機能ブロック図である。
　ファイル処理部４０は、リカバリ処理部４１、ファイル入力部４２ａ、ファイル出力部４２ｂ、ファイル変換部４３、ファイル送信部４４、アドレス帳入力部４５、バックアップ処理部４６、バックアップ出力部４７、設定管理部４８、設定ファイル入力部４９ａ、設定ファイル出力部４９ｂ、及びアドレス帳入力部５０を有している。更に、ファイル処理部４０は、アドレス帳管理テーブル４１０、バックアップデータ記憶部４２０、設定ファイル記憶部４３０、及び接続先管理テーブル４４０を有している。
　このうち、リカバリ処理部４１は、電子黒板２が異常終了した後に、異常終了を検知し、未保存のページデータを復旧する。例えば、正常終了の場合は、ページデータがＰＤＦファイルとしてファイル処理部４０を介してＵＳＢメモリ５に記録されるが、電源がダウンした等の異常終了の場合は、ページデータがページデータ記憶部３００に記録されたままになっている。そのため、再び、電源オンになった際に、リカバリ処理部４１は、ページデータ記憶部３００からページデータを読み出すことで復旧させる。
　ファイル入力部４２ａは、ＵＳＢメモリ５から、ＰＤＦファイルを読み込み、各ページをページデータとしてページデータ記憶部３００に記憶する。
　ファイル変換部４３は、ページデータ記憶部３００に記憶されているページデータを、ＰＤＦ形式のファイルに変換する。
　ファイル出力部４２ｂは、ファイル変換部４３によって出力されたＰＤＦファイルをＵＳＢメモリ５に記録する。
　ファイル送信部４４は、ファイル変換部４３によって生成されたＰＤＦファイルを、電子メールに添付して送信する。このファイルの送信先は、表示重畳部３６によってディスプレイ３上にアドレス帳管理テーブル４１０の内容を表示し、ファイル送信部４４がユーザによるタッチパネル等の入力装置の操作により、宛先の選択を受け付けることによって決定される。アドレス帳管理テーブル４１０には、図１１に示されているように、宛先の名前及び宛先の電子メールのメールアドレスが関連付けて管理されている。また、ファイル送信部４４が、ユーザによるタッチパネル等の入力装置の操作により、宛先としてのメールアドレスの入力を受け付けることもできる。
　アドレス帳入力部４５は、ＵＳＢメモリ５から電子メールアドレスの一覧ファイルを読み込み、アドレス帳管理テーブル４１０に管理する。
　バックアップ処理部４６は、ファイル出力部４２ｂによって出力されたファイルや、ファイル送信部４４によって送信されたファイルを、バックアップデータ記憶部４２０に記憶することでバックアップする。なお、ユーザがバックアップ設定しない場合は、バックアップの処理は行われない。バックアップデータは、図１２に示されているように、ＰＤＦ形式で記憶される。
　バックアップ出力部４７は、バックアップされたファイルをＵＳＢメモリ５に記憶する。この記憶の際には、ユーザによるタッチパネル等の入力装置の操作により、セキュリティーのためにパスワードが入力される。
　設定管理部４８は、電子黒板２の各種設定情報を設定ファイル記憶部４３０に記憶したり読み出したりして管理する。この各種設定情報としては、例えば、ネットワーク設定、日付や時刻の設定、地域や言語の設定、メールサーバの設定、アドレス帳の設定、接続先リストの設定、バックアップに関する設定が挙げられる。なお、ネットワーク設定は、例えば、電子黒板２のＩＰアドレスの設定、ネットマスクの設定、デフォルトゲートウェイの設定、又はＤＮＳ（Domain　Name　System）の設定等である。
　設定ファイル出力部４９ｂは、電子黒板２の各種設定情報を、設定ファイルとしてＵＳＢメモリ５に記録させる。なお、設定ファイルはセキュリティーによって、ユーザは中身を見ることができない。
　設定ファイル入力部４９ａは、ＵＳＢメモリ５に記憶されている設定ファイルを読み込み、各種設定情報を電子黒板２の各種設定に反映させる。
　アドレス帳入力部５０は、ＵＳＢメモリ５から遠隔共有処理の接続先ＩＰアドレスの一覧ファイルを読み込み、接続先管理テーブル４４０に管理する。なお、図１３に示されているように、接続先管理テーブル４４０は、電子黒板２が遠隔共有処理に参加しようとする参加装置である場合、この参加装置のユーザが主催装置としての役割を果たす電子黒板２のＩＰアドレスを入力する手間を削減するために、予め管理しておくためのテーブルである。この接続先管理テーブル４４０では、参加されることが可能な主催装置としての電子黒板２が設置されている拠点の名称、及び主催装置としての電子黒板２のＩＰアドレスが関連付けて管理されている。
　なお、接続先管理テーブル４４０は、無くてもよい。但し、この場合には、参加装置のユーザは、主催装置との間で遠隔共有処理を開始するために、タッチパネル等の入力装置によって、主催装置のＩＰアドレスを入力する必要がある。そのため、参加装置のユーザは、電話や電子メール等によって、主催装置のユーザから、主催装置のＩＰアドレスを知得する。
（通信制御部６０の機能構成）
　次に、図５を用いて、通信制御部６０の機能構成について説明する。図５は、サーバ部及びクライアント部の機能ブロック図である。通信制御部６０は、通信ネットワーク９を介して、他の電子黒板２と行う通信や、サーバ部９０における後述の通信制御部７０と行う通信を制御する。そのため、通信制御部６０は、遠隔開始処理部６１、遠隔参加処理部６２、遠隔画像送信部６３、遠隔画像受信部６４、遠隔操作送信部６５、遠隔操作受信部６６、及び参加拠点管理テーブル６１０を有している。
　このうち、遠隔開始処理部６１は、同じ電子黒板２のサーバ部９０に対して、新たに遠隔共有処理を開始する要求を行い、サーバ部９０から要求の結果を受信する。この場合、遠隔開始処理部６１は、遠隔ライセンス管理テーブル３１０を参照し、ライセンス情報（プロダクトＩＤ、ライセンスＩＤ、及び有効期限）が管理されている場合には、遠隔共有処理を開始する要求を行うことができる。但し、ライセンス情報が管理されていない場合には遠隔共有処理を開始する要求を行うことができない。
　参加拠点管理テーブル６１０は、電子黒板２が主催装置である場合、現在、遠隔共有処理に参加している参加装置としての電子黒板２を管理するテーブルである。この参加拠点管理テーブル６１０では、図１４に示されているように、参加中の電子黒板２が設置されている拠点の名称及び当該電子黒板２のＩＰアドレスが関連付けて管理されている。
　遠隔参加処理部６２は、通信ネットワーク９を介して、既に遠隔共有処理を開始している主催装置としての電子黒板２のサーバ部９０における遠隔接続要求受信部７１に対して、遠隔共有処理への参加要求を行う。この場合も、遠隔参加処理部６２は、遠隔ライセンス管理テーブル３１０を参照する。また、遠隔参加処理部６２が、既に開始されている遠隔共有処理に参加する場合には、接続先管理テーブル４４０を参照して、参加先の電子黒板２のＩＰアドレスを取得する。なお、遠隔参加処理部６２によって接続先管理テーブル４４０が参照されず、ユーザによるタッチパネル等の入力装置の操作により参加先の電子黒板２のＩＰアドレスが入力されてもよい。
　遠隔画像送信部６３は、映像取得部２１から画像取得部３１を介して送られて来た出力画像（Ｃ）を、サーバ部９０に送信する。
　遠隔画像受信部６４は、サーバ部９０から、他の電子黒板２に接続された映像出力機器からの画像データを受信し、表示重畳部３６に出力することで、遠隔共有処理を可能にする。
　遠隔操作送信部６５は、遠隔共有処理に必要な各種操作データをサーバ部９０に送信する。この各種操作データとしては、例えば、ストロークの追加、ストロークの削除、ストロークの編集（拡大、縮小、移動）、ページデータの記憶、ページデータの作成、ページデータの複製、ページデータの削除、表示されているページの切り替え等に関するデータが挙げられる。また、遠隔操作受信部６６は、サーバ部９０から、他の電子黒板２で入力された操作データを受信し、画像処理部３０に出力することで、遠隔共有処理を行う。
〔サーバ部９０の機能構成〕
　続いて、図５を用いて、サーバ部９０の機能構成について説明する。サーバ部９０は、各電子黒板２に設けられており、いずれの電子黒板２であっても、サーバ部としての役割を果たすことができる。そのため、サーバ部９０は、通信制御部７０、及びデータ管理部８０を有している。
（通信制御部７０の機能構成）
　次に、図５を用いて、通信制御部７０の機能構成について説明する。
　通信制御部７０は、同じ電子黒板２内のクライアント部２０における通信制御部６０、及び通信ネットワーク９を介して他の電子黒板２内のクライアント部２０における通信制御部６０との通信を制御する。データ管理部８０は、操作データや画像データ等を管理する。
　更に詳細に説明すると、通信制御部７０は、遠隔接続要求受信部７１、遠隔接続結果送信部７２、遠隔画像受信部７３、遠隔画像送信部７４、遠隔操作受信部７５、及び遠隔操作送信部７５を有している。
　このうち、遠隔接続要求受信部７１は、遠隔開始処理部６１からの遠隔共有処理の開始要求を受信したり、遠隔参加処理部６２からの遠隔共有処理に対する参加要求を受信したりできる。遠隔接続結果送信部７２は、遠隔開始処理部６１へ遠隔共有処理の開始要求の結果を送信したり、遠隔参加処理部６２へ遠隔共有処理に対する参加要求の結果を送信したりできる。
　遠隔画像受信部７３は、遠隔画像送信部６３からの画像データ（出力画像（Ｃ）のデータ）を受信し、後述の遠隔画像処理部８２に送信する。遠隔画像送信部７４は、遠隔画像処理部８２から画像データを受信し、遠隔画像受信部６４に対して、この画像データを送信する。
　遠隔操作受信部７５は、遠隔操作送信部６５からの操作データ（ストローク画像（Ｂ）等のデータ）を受信し、後述の遠隔操作処理部８３に送信する。遠隔操作送信部７６は、遠隔操作処理部８３から操作データを受信し、遠隔操作受信部６６に対して、この操作データを送信する。
（データ管理部８０の機能構成）
　次に、図５を用いて、データ管理部８０の機能構成について説明する。
　データ管理部８０は、遠隔接続処理部８１、遠隔画像処理部８２、遠隔操作処理部８３、操作合成処理部８４、及びページ処理部８５を有している。更に、データ管理部８０は、パスコード管理部８１０、参加拠点管理テーブル８２０、画像データ記憶部８３０、操作データ記憶部８４０、及びページデータ記憶部８５０を有している。
　このうち、遠隔接続処理部８１は、遠隔共有処理の開始、及び遠隔共有処理の終了を行う。また、遠隔接続処理部８１は、遠隔接続要求受信部７１が、遠隔開始処理部６１から遠隔共有処理の開始要求と共に受信したライセンス情報、又は、遠隔参加処理部６２から遠隔共有処理の参加要求と共に受信したライセンス情報に基づいて、ライセンスの有無やライセンスの期間内であるかを確認する。更に、遠隔接続処理部８１は、クライアント部としての他の電子黒板２からの参加要求が予め定められた参加可能数を超えていないかを確認する。
　更に、遠隔接続処理部８１は、他の電子黒板２から遠隔共有処理に対する参加要求があった際に送られて来たパスコードが、パスコード管理部８１０で管理されているパスコードと同じであるか否かを判断し、同じである場合には、遠隔共有処理の参加を許可する。なお、このパスコードは、新たに遠隔共有処理を開始する際に、遠隔接続処理部８１によって発行され、遠隔共有処理に参加しようとする参加装置としての電子黒板２のユーザが、主催装置としての電子黒板２のユーザから、電話や電子メール等により伝えられる。これにより、遠隔共有処理に参加しようとする参加装置のユーザが、タッチパネル等の入力装置によって参加装置にパスコードを入力して参加要求することで、参加が許可されることになる。なお、セキュリティーよりもユーザの使い勝手を優先して、ライセンス情報の確認だけで、パスコードの確認を省略してもよい。
　また、電子黒板２が主催装置の場合、遠隔接続処理部８１は、参加装置の遠隔参加処理部６２から通信ネットワーク９を介して送られて来た参加要求に含まれる参加拠点情報を、サーバ部９０の参加拠点管理テーブル８２０に記憶する。そして、遠隔接続処理部８１は、参加拠点管理テーブル８２０に記憶されている遠隔拠点情報を読み出し、遠隔接続結果送信部７２に送信する。遠隔接続結果送信部７２は、同じ主催装置のクライアント部２０における遠隔開始処理部６１に遠隔拠点情報を送信する。遠隔開始処理部６１は、参加拠点管理テーブル６１０に、遠隔拠点情報を記憶する。これにより、主催装置では、クライアント部２０及びサーバ部９０の両方で、遠隔拠点情報を管理することになる。
　遠隔画像処理部８２は、遠隔共有処理中の各電子黒板２のクライアント部２０（主催装置である自己の電子黒板のクライアント部を含む）に接続された映像出力機器（ノートＰＣ６等）からの画像データ（出力画像（Ｃ））を受信して画像データ記憶部８３０に記憶すると共に、主催装置である自己の電子黒板２のサーバ部９０に届いた時間順で遠隔共有処理すべき画像データの表示順を判定する。また、遠隔画像処理部８２は、参加拠点管理テーブル８２０を参照し、遠隔共有処理に参加中の全ての電子黒板２のクライアント部２０（主催装置である自己の電子黒板のクライアント部を含む）に、通信制御部７０（遠隔画像送信部７４）を介して、上記判定した順番で画像データを送信する。
　遠隔操作処理部８３は、遠隔共有処理中の各電子黒板２のクライアント部（主催装置である自己の電子黒板のクライアント部を含む）で描画されたストローク画像等の各種操作データ（ストローク画像（Ｂ）等）を受信し、主催装置である自己の電子黒板２のサーバ部９０に届いた時間順で遠隔共有処理すべき画像の表示順を判定する。なお、各種操作データは、上述の各種操作データと同じである。また、遠隔操作処理部８３は、参加拠点管理テーブル８２０を参照し、遠隔共有処理中の全ての電子黒板２のクライアント部２０（主催装置である自己の電子黒板のクライアント部を含む）に操作データを送信する。
　操作合成処理部８４は、遠隔操作処理部８３から出力された各電子黒板２の操作データを合成し、この合成結果としての操作データを、操作データ記憶部８４０に記憶するとともに遠隔操作処理部８３に戻す。この操作データは、遠隔操作送信部７６から、主催装置である電子黒板のクライアント部、及び参加装置である電子黒板のクライアント部のそれぞれに送信されることで、各電子黒板２で同じ操作データに係る画像が表示される。
　そのために、操作データは、図１５に示されているように、ＳＥＱ（Ｓｅｑｕｅｎｃｅ）、操作データの操作名、操作データの送信元である電子黒板２のＩＰアドレス及びクライアント部（サーバ部）のＰｏｒｔ　Ｎｏ．、操作データの送信先である電子黒板２のＩＰアドレス及びクライアント部（サーバ部）のＰｏｒｔ　Ｎｏ．、操作データの操作種類、操作データの操作対象、並びに操作データの内容を示すデータが関連付けられて示されている。例えば、ＳＥＱ１では、主催装置である電子黒板（ＩＰアドレス：１９２．０．０．１）のクライアント部（Ｐｏｒｔ　Ｎｏ．：５０００１）でストロークが描画されると、同じ主催装置である電子黒板（ＩＰアドレス：１９２．０．０．１）のサーバ部（Ｐｏｒｔ　Ｎｏ．：５００００）に操作データが送られたことが示されている。この場合の操作種類は「ＳＴＲＯＫＥ」、操作対象はページデータＩＤ「ｐ００５」、及び、操作データの内容を示すデータはストロークを示すデータである。また、ＳＥＱ２では、主催装置である電子黒板（ＩＰアドレス：１９２．０．０．１）のサーバ部（Ｐｏｒｔ　Ｎｏ．：５００００）から、参加装置である他の電子黒板（ＩＰアドレス：１９２．０．０．２）のクライアント部（Ｐｏｒｔ　Ｎｏ．：５０００１）に、操作データが送られたことが示されている。
　なお、操作合成処理部８４は、この操作合成処理部８４に操作データが入力された順に合成を行うため、通信ネットワーク９が混雑していなければ、各電子黒板２のユーザによるストローク順に、遠隔共有処理中の全ての電子黒板２のディスプレイ３にストローク画像（Ｂ）が表示される。
　ページ処理部８５は、クライアント部２０の画像処理部３０におけるページ処理部３７と同様の機能を有し、サーバ部９０でも、図６乃至図８に示されているページデータを、ページデータ記憶部８５０に記憶する。なお、ページデータ記憶部８５０は、画像処理部３０におけるページデータ記憶部３００と同じ内容であるため、その説明を省略する。
＜実施形態の処理又は動作＞
　続いて、図１７及び図１８を用いて、本実施形態の処理又は動作について説明する。なお、図１７及び図１８は、各電子黒板の処理を示したシーケンス図である。
　図１７及び図１８に示す実施形態では、電子黒板２ａが遠隔共有処理を主催する主催装置（サーバ部及びクライアント部）としての役割を果たしており、電子黒板２ｂ、２ｃが遠隔共有処理に参加する参加装置（クライアント部）としての役割を果たす場合について説明する。また、ここでは、電子黒板２ａ、２ｂ、２ｃには、それぞれディスプレイ３ａ、３ｂ、３ｃが接続され、更に、それぞれノートＰＣ６ａ、６ｂ、６ｃが接続されている。また、電子黒板２ａ、２ｂ、２ｃでは、それぞれ電子ペン４ａ、４ｂ、４ｃが使用される。
（参加の処理）
　まずは、図１７を用いて、電子黒板２ｂ、２ｃが遠隔共有処理に参加するための処理について説明する。
　ユーザが電子黒板２ａの電源スイッチをオンにすると、電子黒板２ａのクライアント部２０が起動する。そして、ユーザがタッチパネル等の入力装置によってサーバ部９０を起動させる操作をすると、クライアント部２０の遠隔開始処理部６１から同じ電子黒板２ａのサーバ部９０における遠隔接続要求受信部７１に、サーバ部９０の処理を開始させる指示を出力する。これにより、電子黒板２ａでは、クライアント部２０だけでなくサーバ部９０も各種処理を開始可能となる（ステップＳ２１）。
　次に、電子黒板２ａのクライアント部２０におけるＵＩ画像生成部３３が電子黒板２ａとの接続を確立するための接続情報を生成し、映像重畳部２８が、ＵＩ画像生成部３３から表示重畳部３６を介して得た接続情報をディスプレイ３ａに表示させる（ステップＳ２２）。この接続情報には、主催装置のＩＰアドレス、及び今回の遠隔共有処理のために生成されたパスコードが含まれている。この場合、パスコード管理部８１０に記憶されているパスコードは、図５に示されている遠隔接続処理部８１によって読み出され、遠隔接続結果送信部７２、遠隔開始処理部６１の順に送信される。更に、パスコードは、遠隔開始処理部６１を含む通信制御部６０から、図３に示されている画像処理部３０に送信され、最終的にＵＩ画像生成部３３に入力される。これにより、接続情報には、パスコードが含まれる。そして、接続情報は、電子黒板２ａのユーザによって、電話や電子メールにより、電子黒板２ｂ、２ｃのユーザに伝えられる。なお、接続先管理テーブル４４０があれば、接続情報には、主催装置のＩＰアドレスが含まれていなくても、参加装置は参加要求を行うことができる。
　次に、電子黒板２ｂ、２ｃでは、各ユーザによるタッチパネル等の入力装置の操作によって接続情報の入力を受け付けると、各電子黒板２ａ、２ｂのクライアント部２０における遠隔参加処理部６２が、接続情報のＩＰアドレスに基づき、通信ネットワーク９を介して、電子黒板２ａのサーバ部９０における通信制御部７０に対してパスコードを送信して参加要求を行う（ステップＳ２３、Ｓ２４）。これにより、通信制御部７０の遠隔接続要求受信部７１は、各電子黒板２ｂ、２ｃから、参加要求（パスコードを含む）を受信し、このパスコードを遠隔接続処理部８１に出力する。
　次に、遠隔接続処理部８１は、各電子黒板２ｂ、２ｃから受信したパスコードに対し、パスコード管理部８１０で管理されているパスコードを用いて認証する（ステップＳ２５）。そして、遠隔接続結果送信部７２が、各電子黒板２ｂ、２ｃのクライアント部２０に認証結果を通知する（ステップＳ２６、Ｓ２７）。ステップＳ２５の認証により、各電子黒板２ｂ、２ｃが正当な電子黒板であると判断されていた場合には、主催装置である電子黒板２ａと、参加装置である電子黒板２ｂ、２ｃとの遠隔共有処理の通信が確立され、各電子黒板２ｂ、２ｃのクライアント部２０における遠隔参加処理部６２が、それぞれ他の電子黒板との間の遠隔共有処理の開始を可能にする（ステップＳ２８、Ｓ２９）。
（出力画像の表示）
　続いて、図１７を用いて、遠隔共有処理における出力画像（Ｃ）が表示される処理について説明する。
　まず、電子黒板２ｂは、ディスプレイ３ｂに出力画像（Ｃ）を表示する（ステップＳ３０）。具体的には、電子黒板２ｂの画像取得部３１が、ノートＰＣ６ｂから映像取得部２１を介して、ノートＰＣ６ｂで表示されている出力画像（Ｃ）のデータを受信し、表示重畳部３６及び映像重畳部２８を介してディスプレイ３ｂに送信することで、ディスプレイ３ｂは出力画像（Ｃ）を表示する。
　次に、電子黒板２ｂの画像取得部３１を含む画像処理部３０が、遠隔画像送信部６３に出力画像（Ｃ）のデータを送信することで、遠隔画像送信部６３を含む通信制御部６０が通信ネットワーク９を介して、主催装置である電子黒板２ａの通信制御部７０に出力画像（Ｃ）のデータを送信する（ステップＳ３１）。これにより、電子黒板２ａの遠隔画像受信部７３は、出力画像（Ｃ）のデータを受信し、遠隔画像処理部８２に出力することで、遠隔画像処理部８２が画像データ記憶部８３０に出力画像（Ｃ）のデータを記憶する。
　次に、主催装置である電子黒板２ａは、ディスプレイ３ａに出力画像（Ｃ）を表示する（ステップＳ３２）。具体的には、電子黒板２ａの遠隔画像処理部８２は、遠隔画像受信部７３から受信した出力画像（Ｃ）のデータを、遠隔画像送信部７４に出力する。遠隔画像送信部７４は、同じ主催装置である電子黒板２ａのクライアント部２０における遠隔画像受信部６４に、出力画像（Ｃ）のデータを出力する。遠隔画像受信部６４は、表示重畳部３６に出力画像（Ｃ）のデータを出力する。表示重畳部３６は、映像重畳部２８に出力画像（Ｃ）のデータを出力する。映像重畳部２８はディスプレイ３ａに出力画像（Ｃ）のデータを出力する。これにより、ディスプレイ３ａは、出力画像（Ｃ）を表示する。
　次に、主催装置としての電子黒板２ａのサーバ部９０における遠隔画像送信部７４を含む通信制御部７０は、通信ネットワーク９を介して、出力画像（Ｃ）のデータの送信元である電子黒板２ｂ以外の電子黒板２ｃの通信制御部６０に出力画像（Ｃ）のデータを送信する（ステップＳ３３）。これにより、参加装置である電子黒板２ｃの遠隔画像受信部６４は、出力画像（Ｃ）のデータを受信する。
　次に、電子黒板２ｃは、ディスプレイ３ｃに出力画像（Ｃ）を表示する（ステップＳ３４）。具体的には、電子黒板２ｃの遠隔画像受信部６４が、上記ステップＳ３３によって受信された出力画像（Ｃ）のデータを、電子黒板２ｃの表示重畳部３６に出力する。表示重畳部３６は、映像重畳部２８に出力画像（Ｃ）のデータを出力する。映像重畳部２８はディスプレイ３ｃに出力画像（Ｃ）のデータを出力する。これにより、ディスプレイ３ｃは、出力画像（Ｃ）を表示する。
　なお、出力画像（Ｃ）のデータだけでなく、ＵＩ画像（Ａ）、及びストローク画像（Ｂ）の各データが、表示重畳部３６に入力されている場合には、表示重畳部３６により、重畳画像（Ａ、Ｂ、Ｃ）が生成され、映像重畳部２８はディスプレイ３ｃに重畳画像（Ａ、Ｂ、Ｃ）のデータを出力する。また、テレビ会議端末７から映像重畳部２８に、テレビ会議用の映像（Ｅ）のデータが送られて来ている場合には、映像重畳部２８は、重畳画像（Ａ、Ｂ、Ｃ）にピクチャ・イン・ピクチャによりテレビ会議用の映像（Ｅ）のデータを重畳して、ディスプレイ３ｃに出力する。
（重畳画像の表示）
　続いて、図１８を用いて、遠隔共有処理における重畳画像が表示される処理について説明する。
　まず、電子黒板２ｂは、ユーザが電子ペン４ｂを用いて電子黒板２ｂにストローク画像（Ｂ）を描画する（ステップＳ４１）。
　次に、電子黒板２ｂの表示重畳部３６は、図１６に示されているように、ＵＩ画像（Ａ）、及び出力画像（Ｃ）に対して、ストローク画像（Ｂ）を重畳し、映像重畳部２８が電子黒板２ｂのディスプレイ３ｂ上に、重畳された重畳画像（Ａ、Ｂ、Ｃ）を表示させる（ステップＳ４２）。
　具体的には、電子黒板２ｂのストローク処理部３２が座標検知部２２及び接触検知部２４からイベント振分部２５を介して、操作データとしてのストローク画像（Ｂ）の座標データを受信し、表示重畳部３６に送信する。これにより、表示重畳部３６は、ＵＩ画像（Ａ）、及び出力画像（Ｃ）に対して、ストローク画像（Ｂ）を重畳することができ、映像重畳部２８が電子黒板２ｂのディスプレイ３ｂ上に重畳画像（Ａ、Ｂ、Ｃ）を表示させることができる。
　次に、電子黒板２ｂのストローク処理部３２を含む画像処理部３０が、遠隔操作送信部６５にストローク画像（Ｂ）の座標データを送信することで、電子黒板２ｂの遠隔操作送信部６５は、通信ネットワーク９を介して、主催装置である電子黒板２ａの通信制御部７０にストローク画像（Ｂ）のデータを送信する（ステップＳ４３）。これにより、電子黒板２ａの遠隔操作受信部７５は、ストローク画像（Ｂ）のデータを受信し、遠隔操作処理部８３に出力することで、遠隔操作処理部８３が操作合成処理部８４にストローク画像（Ｂ）のデータを出力する。このようにして、電子黒板２ｂで描画されたストローク画像（Ｂ）のデータは、描画される度に、主催装置である電子黒板２ａの遠隔操作処理部８３に順次送信される。このストローク画像（Ｂ）のデータは、図７に示されているストロークデータＩＤ毎に示されるデータである。よって、例えば、上述したように、ユーザが電子ペン４によってアルファベット「Ｔ」を描く場合は二筆書きとなるため、２つのストロークデータＩＤのそれぞれで示されるストローク画像（Ｂ）のデータが順次送信される。
　次に、主催装置である電子黒板２ａは、ディスプレイ３ａに、電子黒板２ｂから送られて来たストローク画像（Ｂ）のデータが含まれた重畳画像（Ａ、Ｂ、Ｃ）を表示する（ステップＳ４４）。具体的には、電子黒板２ａの操作合成処理部８４は、遠隔操作処理部８３を介して順次送られて来た複数のストローク画像（Ｂ）のデータを合成して、操作データ記憶部８４０に記憶するとともに遠隔操作処理部８３に戻す。これにより、遠隔操作処理部８３は、操作合成処理部８４から受信した、合成後のストローク画像（Ｂ）のデータを、遠隔操作送信部７６に出力する。遠隔操作送信部７６は、同じ主催装置である電子黒板２ａのクライアント部２０における遠隔操作受信部６６に、合成後のストローク画像（Ｂ）のデータを出力する。遠隔操作受信部６６は、画像処理部３０における表示重畳部３６に、合成後のストローク画像（Ｂ）のデータを出力する。よって、表示重畳部３６は、ＵＩ画像（Ａ）、及び出力画像（Ｃ）に対して、合成後のストローク画像（Ｂ）を重畳する。最後に、映像重畳部２８が、表示重畳部３６によって重畳された重畳画像（Ａ、Ｂ、Ｃ）をディスプレイ３ａ上に表示させる。
　次に、主催装置としての電子黒板２ａのサーバ部９０における遠隔操作送信部７６を含む通信制御部７０は、通信ネットワーク９を介して、ストローク画像（Ｂ）のデータの送信元である電子黒板２ｂ以外の電子黒板２ｃの通信制御部６０に、合成後のストローク画像（Ｂ）のデータを送信する（ステップＳ４５）。これにより、参加装置である電子黒板２ｃの遠隔操作受信部６６は、合成後のストローク画像（Ｂ）のデータを受信する。
　次に、電子黒板２ｃは、ディスプレイ３ｃに重畳画像（Ａ、Ｂ、Ｃ）を表示する（ステップＳ４６）。具体的には、電子黒板２ｃの遠隔操作受信部６６が、上記ステップＳ４５によって受信された合成後のストローク画像（Ｂ）のデータを、電子黒板２ｃの画像処理部３０に出力する。画像処理部３０の表示重畳部３６は、ＵＩ画像（Ａ）、及び出力画像（Ｃ）の各データと、合成後のストローク画像（Ｂ）のデータを重畳し、映像重畳部２８に重畳画像（Ａ、Ｂ、Ｃ）のデータを出力する。映像重畳部２８は、ディスプレイ３ｃに重畳画像（Ａ、Ｂ、Ｃ）のデータを出力する。これにより、ディスプレイ３ｃは、重畳画像（Ａ、Ｂ、Ｃ）を表示する。
　なお、上記処理では、ディスプレイ３上に出力画像（Ｃ）が表示されているが、この出力画像（Ｃ）に代えて、背景画像（Ｄ）を表示してもよい。また、出力画像（Ｃ）と背景画像（Ｄ）との排他的な関係をやめて、出力画像（Ｃ）と背景画像（Ｄ）との両方を同時にディスプレイ３上に表示させてもよい。
（参加の終了）
　続いて、図１８を用いて、参加装置が遠隔共有処理への参加を終了する処理について説明する。図１８に示す実施形態では、電子黒板２ｃが参加を終了する処理が示されている。
　まず、電子黒板２ｃでは、ユーザによるタッチパネル等の入力装置の操作によって参加の終了要求を受け付けると、遠隔参加処理部６２は、主催装置としての電子黒板２ａのサーバ部９０における通信制御部７０に、参加の終了要求を行う（ステップＳ４７）。これにより、通信制御部７０の遠隔接続要求受信部７１は、電子黒板２ｃから、参加の終了要求を受信し、遠隔接続処理部８１に、電子黒板２ｃのＩＰアドレスとともに参加の終了要求を出力する。
　そして、電子黒板２ａの遠隔接続処理部８１は、遠隔接続要求受信部７１から送られて来たＩＰアドレスに基づいて、参加拠点管理テーブル８２０から、参加の終了要求を行った電子黒板２ｃのＩＰアドレス及び電子黒板２ｃが設置されている拠点の名称を削除する。次いで、遠隔接続処理部８１は、遠隔接続結果送信部７２に、電子黒板２ｃのＩＰアドレス及び削除した旨の通知を出力する。
　次に、遠隔接続結果送信部７２を含んだ通信制御部７０が、通信ネットワーク９を介して、電子黒板２ｃのクライアント部２０における通信制御部６０に、参加の終了を指示する（ステップＳ４８）。これにより、電子黒板２ｃにおける通信制御部６０の遠隔参加処理部６２が、遠隔共有処理の通信を切断し、参加の終了処理を行うことで、参加が終了する（ステップＳ４９）。
　次に、図１９を参照して、イベント振分処理について説明する。図１９は、イベント振分部２５によるイベント振分処理の処理シーケンス図である。
　まず、各イベントの通知について説明する。
　座標検知部２２では、電子ペン４ａなどの指示体がディスプレイ前面に接近して光を遮断した場合にマウス・ダウン・イベントをイベント振分部２５に通知し、それらの指示体がディスプレイ前面上において移動するとマウス・ムーブ・イベントをイベント振分部２５に通知する。
　次いで、座標検知部２２では、それらの物体がディスプレイ前面上から離れて光を遮断することがなくなるとマウス・アップ・イベントをイベント振分部２５に通知する。
　次いで、接触検知部２４では、ペン先やペン尻など電子ペン４ａに設置されたボタンが押された場合（ペン先がディスプレイ前面に接触した等）にマウス・ダウン・イベントをイベント振分部２５に通知する。次いで、ペン先がディスプレイ前面上において移動するとマウス・ムーブ・イベントをイベント振分部２５に通知し、押されたボタンが離された場合（ペン先がディスプレイ前面より離れた）にマウス・アップ・イベントをイベント振分部２５に通知する。
　イベント振分部２５では、座標検知部２２からマウス・ダウン・イベントの通知を受信した場合に、接触検知部２４からマウス・ダウン・イベントの通知を受信したときに、真正のマウス・ダウン・イベントがあったこととして判断し、ストローク描画開始指示をストローク処理部３２へ送信する。
　このとき、イベント振分部２５からストローク描画開始指示を受信したストローク処理部３２は、ストローク描画の準備を開始する。
　次いで、イベント振分部２５では、座標検知部２２からマウス・ムーブ・イベントがあった場合に、座標検知部２２からストローク開始点の座標データを取得し、この座標データをストローク処理部３２へ送信する。
　このとき、イベント振分部２５からストローク開始点の座標データを受信したストローク処理部３２は、ストローク描画を開始する。
　次いで、イベント振分部２５では、座標検知部２２からマウス・ムーブ・イベントがある都度に、座標検知部２２からストローク通過点の座標データを取得し、この座標データをストローク処理部３２へ送信する。
　このとき、イベント振分部２５からストローク通過点の座標データを受信したストローク処理部３２は、ストローク通過点により形成される軌跡を描画する。
　次いで、イベント振分部２５では、接触検知部２４からのマウス・アップ・イベントがあった場合に、ストローク描画終了指示をストローク処理部３２へ送信する。
　このとき、イベント振分部２５からストローク描画終了指示を受信したストローク処理部３２は、ストローク描画を終了する。
　次に、図２０を参照して、イベント振分処理について説明する。図２０は、イベント振分部２５によるイベント振分処理を示すフローチャートである。
　イベント振分部２５は、処理を開始する（ステップＳ１０１）。
　イベント振分部２５は、イベントの通知を受信する（ステップＳ１０３）。
　イベント振分部２５は、受信したイベントが一回目のマウス・ダウン・イベントであるか否かを判断する（ステップＳ１０５）。一回目のマウス・ダウン・イベントである場合は、座標検知部２２からのイベントであるためステップＳ１０７に進み、一回目のマウス・ダウン・イベントではない場合はステップＳ１０１に戻る。
　一回目のマウス・ダウン・イベントである場合は、次のイベントの通知を受信する（ステップＳ１０７）。
　次に、イベント振分部２５は、受信したイベントが二回目のマウス・ダウン・イベントであるか否かを判断する（ステップＳ１０９）。イベント振分部２５は、二回目のマウス・ダウン・イベントである場合は接触検知部２４からの真正イベントであるためステップＳ１１０に進み、二回目のマウス・ダウン・イベントではない場合はステップＳ１０１に戻る。これにより、不要な座標を無効とすることで不要な座標の生成を防止することができ、１つのストロークを描画する際の開始点を表す座標の精度を向上することができる。
　次いで、イベント振分部２５は、ストローク描画開始指示をストローク処理部３２へ送信する（ステップＳ１１０）。
　次いで、イベント振分部２５は、イベントの通知を受信する（ステップＳ１１１）。
　イベント振分部２５は、受信したイベントが一回目のマウス・ムーブ・イベントであるか否かを判断する（ステップＳ１１３）。一回目のマウス・ムーブ・イベントである場合は、ステップＳ１１５に進む。
　これにより、不要な座標の生成を防止することができ、１つのストロークを描画する際の開始点を表す座標の精度を向上することができる。
　イベント振分部２５は、一回目のマウス・ムーブ・イベントではない場合はステップＳ１０１に戻る。
　次いで、イベント振分部２５は、座標検知部２２からストローク開始点の座標データを取得する（ステップＳ１１５）。
　次いで、イベント振分部２５は、ストローク開始点の座標データをストローク処理部３２へ送信する（ステップＳ１１６）。
　次いで、イベント振分部２５は、イベントの通知を受信する（ステップＳ１１７）。
　次いで、イベント振分部２５は、受信したイベントがマウス・アップ・イベントであるか否かを判断し（ステップＳ１１９）、マウス・アップ・イベントである場合は、ステップＳ１２５に進む。これにより、不要な座標の生成を防止することができ、１つのストロークを描画する際の開始点を表す座標の精度を向上することができる。
　なお、イベント振分部２５は、接触検知部２４が第２イベント状況としてアップイベントを検知した後に、座標検知部２２が第１イベント状況としてアップイベントを検知するまでの間、座標検知部２２が検知した電子ペン４の座標を無効としてもよい。これにより、不要な座標を無効とすることで不要な座標の生成を防止することができ、１つのストロークを描画する際の終了点を表す座標の精度を向上することができる。
　イベント振分部２５は、マウス・アップ・イベントではない場合はステップＳ１２１に進む。
　次いで、イベント振分部２５は、受信したイベントがマウス・ムーブ・イベントであるか否かを判断し（ステップＳ１２１）、マウス・ムーブ・イベントである場合は、ステップＳ１２３に進み、マウス・ムーブ・イベントではない場合はステップＳ１２５に進む。
　次いで、イベント振分部２５は、座標検知部２２からストローク通過点の座標データを取得する（ステップＳ１２３）。
　次いで、イベント振分部２５は、ストローク通過点の座標データをストローク処理部３２へ送信し（ステップＳ１２４）、ステップＳ１１７に戻る。
　一方、マウス・アップ・イベントである場合（ステップＳ１１９、Ｙｅｓ）、又はマウス・ムーブ・イベントではない場合（ステップＳ１２１、Ｎｏ）、イベント振分部２５は、ストローク描画終了指示をストローク処理部３２へ送信する（ステップＳ１２５）。次いで、イベント振分部２５は、一つのストロークに関するイベント振分処理を終了する。
　これにより、不要な座標の生成を防止することができ、１つのストロークを描画する際の開始点と終了点を表す座標の精度を向上することができる。
＜本発明の実施態様例と効果＞
＜第１態様＞
　本態様の電子黒板２は、ディスプレイ３の表示面上の位置を指示するための電子ペン４を用いて、電子ペン４により指示された位置の座標を検知する電子黒板であって、電子ペン４が表示面に接触状態、又は非接触且つ接近状態にあるときに、電子ペン４を用いた操作による第１イベント状況を検知するとともに、表示面上の電子ペン４の座標を検知する座標検知部２２と、電子ペン４が表示面に接触状態にあるときに、電子ペン４を用いた操作による第２イベント状況を検知する接触検知部２４と、第１イベント状況、第２イベント状況、及び座標検知部２２が検知した座標に基づいて、表示面への手書き操作による１つのストロークについての有効な座標を抽出するイベント振分部２５と、を備えることを特徴とする。
　本態様によれば、不要な座標の生成を防止することができ、１つのストロークを描画する際の開始点と終了点を表す座標の精度を向上することができる。
＜第２態様＞
　本態様のイベント振分部２５は、座標検知部２２が第１イベント状況としてダウンイベントを検知し、接触検知部２４が第２イベント状況としてダウンイベントを検知し、且つ第１イベント状況としてムーブイベントを検知したときに、座標検知部２２により検知された開始点の座標を有効とすることを特徴とする。
　本態様によれば、不要な座標の生成を防止することができ、１つのストロークを描画する際の開始点を表す座標の精度を向上することができる。
＜第３態様＞
　本態様のイベント振分部２５は、座標検知部２２が第１イベント状況としてムーブイベントを検知し、接触検知部２４が第２イベント状況としてアップイベントを検知したときに、座標検知部２２により検知された電子ペン４の終了点の座標を有効とすることを特徴とする。
　本態様によれば、不要な座標の生成を防止することができ、１つのストロークを描画する際の終了点を表す座標の精度を向上することができる。
＜第４態様＞
　本態様のイベント振分部２５は、開始点の座標から、終了点の座標までに通過した点の座標を通過点の座標として抽出することを特徴とする。
　本態様によれば、不要な座標の生成を防止することができ、１つのストロークを描画する際の開始点と終了点を表す座標の精度を向上することができる。
＜第５態様＞
　本態様のイベント振分部２５は、座標検知部２２が第１イベント状況としてダウンイベントを検知し、接触検知部２４が第２イベント状況としてダウンイベントを検知していないときに、座標検知部２２が検知した座標を無効とすることを特徴とする。
　本態様によれば、不要な座標を無効とすることで不要な座標の生成を防止することができ、１つのストロークを描画する際の開始点を表す座標の精度を向上することができる。
＜第６態様＞
　本態様のイベント振分部２５は、接触検知部２４が第２イベント状況としてアップイベントを検知した後に、座標検知部２２が第１イベント状況としてアップイベントを検知するまでの間、座標検知部２２が検知した電子ペン４の座標を無効とすることを特徴とする。
　本態様によれば、不要な座標を無効とすることで不要な座標の生成を防止することができ、１つのストロークを描画する際の終了点を表す座標の精度を向上することができる。
＜第７態様＞
　本態様の電子黒板２は、第１態様に記載の座標検知装置を備えたことを特徴とする。
　本態様によれば、不要な座標の生成を防止することができ、１つのストロークを描画する際の開始点と終了点を表す座標の精度を向上することができる。
＜第８態様＞
　本態様の座標検知方法は、ディスプレイ３の表示面上の位置を指示するための電子ペン４を用いて、電子ペン４により指示された位置の座標を検知する座標検知方法であって、電子ペン４が表示面に接触状態、又は非接触且つ接近状態にあるときに、電子ペン４を用いた操作による第１イベント状況を検知するとともに、表示面上の電子ペン４の座標を座標検知部２２により検知する座標検知ステップ（ステップＳ１０５）と、電子ペン４が表示面に接触状態にあるときに、電子ペン４を用いた操作による第２イベント状況を接触検知部２４により検知する接触検知ステップ（ステップＳ１０９）と、第１イベント状況、第２イベント状況、及び座標検知ステップで検知した座標に基づいて、表示面への手書き操作による１つのストロークについての有効な座標をイベント振分部２５により抽出する有効座標抽出ステップ（ステップＳ１１５）と、を備えることを特徴とする。
　本態様によれば、不要な座標の生成を防止することができ、１つのストロークを描画する際の開始点と終了点を表す座標の精度を向上することができる。
＜第９態様＞
　本態様のプログラムは、第８態様の各ステップをプロセッサに実行させることを特徴とする。
　本態様によれば、各ステップをＣＰＵ（プロセッサ）に実行させることができるので、不要な座標の生成を防止することができ、１つのストロークを描画する際の開始点と終了点を表す座標の精度を向上することができる。
１…画像処理システム、２…電子黒板、３…ディスプレイ、４…電子ペン、５…ＵＳＢメモリ、６…ノートＰＣ、７…テレビ会議端末、８…ＰＣ、９…通信ネットワーク、１０ａ１…ケーブル、２０…クライアント部、２１…映像取得部、２２…座標検知部、２３…自動調整部、２４…接触検知部、２５…イベント振分部、２６…操作処理部、２７…ジェスチャ処理部、２８…映像重畳部、３０…画像処理部、３１…画像取得部、３２…ストローク処理部、３３…ＵＩ画像生成部、３４…背景生成部、３５…レイアウト管理部、３６…表示重畳部、３７…ページ処理部、４０…ファイル処理部、４１…リカバリ処理部、４３…ファイル変換部、４４…ファイル送信部、４５…アドレス帳入力部、４６…バックアップ処理部、４７…バックアップ出力部、４８…設定管理部、６０…通信制御部、６１…遠隔開始処理部、６２…遠隔参加処理部、６３…遠隔画像送信部、６４…遠隔画像受信部、６５…遠隔操作送信部、６６…遠隔操作受信部、７１…遠隔接続要求受信部、７２…遠隔接続結果送信部、８０…データ管理部、８１…遠隔接続処理部、８２…遠隔画像処理部、８３…遠隔操作処理部、８４…操作合成処理部、９０…サーバ部、１０１…ＣＰＵ、１０２…ＲＯＭ、１０３…ＲＡＭ、１０４…ＳＳＤ、１０５…ネットワークコントローラ、１０６…外部記憶コントローラ、１１１…キャプチャデバイス、１１２…ＧＰＵ、１１３…ディスプレイコントローラ、１１５…接触センサ、１１４…センサコントローラ、１１６…電子ペンコントローラ、１２０…バスライン、３００…ページデータ記憶部、３１０…遠隔ライセンス管理テーブル、４１０…アドレス帳管理テーブル、４２０…バックアップデータ記憶部、４３０…設定ファイル記憶部、４４０…接続先管理テーブル、６１０…参加拠点管理テーブル、８１０…パスコード管理部、８３０…画像データ記憶部、８４０…操作データ記憶部
特開２０１２－１９０３９２号公報

Claims (8)

  1. 　表示装置の表示面上の位置を指示するための指示体を用いて、前記指示体により指示された位置の座標を検知する座標検知装置であって、
    　前記指示体が前記表示面に接触状態、又は非接触且つ接近状態にあるときに、前記指示体を用いた操作による第１イベント状況を検知するとともに、前記表示面上の前記指示体の座標を検知する座標検知手段と、
    　前記指示体が前記表示面に接触状態にあるときに、前記指示体を用いた操作による第２イベント状況を検知する接触検知手段と、
    　前記第１イベント状況、前記第２イベント状況、及び前記座標検知手段が検知した座標に基づいて、前記表示面への手書き操作による１つのストロークについての有効な座標を抽出する有効座標抽出手段と、を備えることを特徴とする座標検知装置。
  2. 　前記有効座標抽出手段は、
    　前記座標検知手段が前記第１イベント状況としてダウンイベントを検知し、前記接触検知手段が前記第２イベント状況としてダウンイベントを検知し、且つ前記第１イベント状況としてムーブイベントを検知したときに、前記座標検知手段により検知された開始点の座標を有効とすることを特徴とする請求項１記載の座標検知装置。
  3. 　前記有効座標抽出手段は、
    　前記座標検知手段が前記第１イベント状況としてムーブイベントを検知し、前記接触検知手段が前記第２イベント状況としてアップイベントを検知したときに、前記座標検知手段により検知された前記指示体の終了点の座標を有効とすることを特徴とする請求項２記載の座標検知装置。
  4. 　前記有効座標抽出手段は、
    　前記開始点の座標から、前記終了点の座標までに通過した点の座標を通過点の座標として抽出することを特徴とする請求項３記載の座標検知装置。
  5. 　前記有効座標抽出手段は、
    　前記座標検知手段が前記第１イベント状況としてダウンイベントを検知し、前記接触検知手段が前記第２イベント状況としてダウンイベントを検知していないときに、前記座標検知手段が検知した座標を無効とすることを特徴とする請求項１記載の座標検知装置。
  6. 　前記有効座標抽出手段は、
    　前記接触検知手段が前記第２イベント状況としてアップイベントを検知した後に、前記座標検知手段が前記第１イベント状況としてアップイベントを検知するまでの間、前記座標検知手段が検知した前記指示体の座標を無効とすることを特徴とする請求項３記載の座標検知装置。
  7. 　請求項１に記載の座標検知装置を備えたことを特徴とする画像処理装置。
  8. 　表示装置の表示面上の位置を指示するための指示体を用いて、前記指示体により指示された位置の座標を検知する座標検知方法であって、
    　前記指示体が前記表示面に接触状態、又は非接触且つ接近状態にあるときに、前記指示体を用いた操作による第１イベント状況を検知するとともに、前記表示面上の前記指示体の座標を検知する座標検知ステップと、
    　前記指示体が前記表示面に接触状態にあるときに、前記指示体を用いた操作による第２イベント状況を検知する接触検知ステップと、
    　前記第１イベント状況、前記第２イベント状況、及び前記座標検知ステップで検知した座標に基づいて、前記表示面への手書き操作による１つのストロークについての有効な座標を抽出する有効座標抽出ステップと、を備えることを特徴とする座標検知方法。
PCT/JP2015/062518 2014-06-05 2015-04-24 座標検知装置、画像処理装置、及び座標検知方法 WO2015186453A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-116604 2014-06-05
JP2014116604A JP2017129890A (ja) 2014-06-05 2014-06-05 座標検知装置、画像処理装置、座標検知方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2015186453A1 true WO2015186453A1 (ja) 2015-12-10

Family

ID=54766532

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/062518 WO2015186453A1 (ja) 2014-06-05 2015-04-24 座標検知装置、画像処理装置、及び座標検知方法

Country Status (2)

Country Link
JP (1) JP2017129890A (ja)
WO (1) WO2015186453A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220049407A (ko) 2020-10-14 2022-04-21 삼성전자주식회사 디스플레이 장치 및 그 제어 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004334488A (ja) * 2003-05-07 2004-11-25 Make Softwear:Kk 画像入力装置および画像入力方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004334488A (ja) * 2003-05-07 2004-11-25 Make Softwear:Kk 画像入力装置および画像入力方法

Also Published As

Publication number Publication date
JP2017129890A (ja) 2017-07-27

Similar Documents

Publication Publication Date Title
JP6094550B2 (ja) 情報処理装置、プログラム
JP2016134014A (ja) 電子情報ボード装置、情報処理方法およびプログラム
JP6493546B2 (ja) 電子黒板、記憶媒体、及び情報表示方法
JP6583432B2 (ja) 画像処理装置、画像表示方法、プログラム
WO2016121401A1 (en) Information processing apparatus and program
JP6620494B2 (ja) 通信システム、情報処理装置、通信方法、プログラム
JP6885416B2 (ja) 電子黒板、電子黒板の画像処理方法、及びプログラム
JP5846270B2 (ja) 画像処理システム、情報処理装置
JP6459545B2 (ja) 画像処理装置、画像処理システム及び画像処理方法
US20180082663A1 (en) Information processing apparatus, image displaying method, and non-transitory computer readable medium
WO2016121310A1 (en) Image processing device and electronic whiteboard
WO2017138233A1 (ja) 画像処理装置、画像処理システム及び画像処理方法
JP6036621B2 (ja) システム、情報処理装置
WO2015186453A1 (ja) 座標検知装置、画像処理装置、及び座標検知方法
JP2016075976A (ja) 画像処理装置、画像処理方法、画像通信システム、及びプログラム
JP2018067018A (ja) 電子黒板、画像処理方法、画像処理プログラム、及び画像処理システム
JP2020154660A (ja) 表示装置、及び表示方法
WO2016121403A1 (en) Information processing apparatus, image processing system, and program
JP7363064B2 (ja) 画像処理装置、方法、およびプログラム
JP2016076775A (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP2021086576A (ja) 表示装置、表示方法
JP2015056038A (ja) 画像処理装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15803783

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 15803783

Country of ref document: EP

Kind code of ref document: A1