WO2017110505A1 - 画像処理装置、画像表示方法、プログラム - Google Patents

画像処理装置、画像表示方法、プログラム Download PDF

Info

Publication number
WO2017110505A1
WO2017110505A1 PCT/JP2016/086581 JP2016086581W WO2017110505A1 WO 2017110505 A1 WO2017110505 A1 WO 2017110505A1 JP 2016086581 W JP2016086581 W JP 2016086581W WO 2017110505 A1 WO2017110505 A1 WO 2017110505A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
display
input
electronic blackboard
Prior art date
Application number
PCT/JP2016/086581
Other languages
English (en)
French (fr)
Inventor
加藤 喜永
笠谷 潔
Original Assignee
株式会社リコー
加藤 喜永
笠谷 潔
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社リコー, 加藤 喜永, 笠谷 潔 filed Critical 株式会社リコー
Priority to CN201680075106.5A priority Critical patent/CN108475160A/zh
Priority to JP2017557866A priority patent/JP6583432B2/ja
Priority to EP16878397.5A priority patent/EP3396510B1/en
Publication of WO2017110505A1 publication Critical patent/WO2017110505A1/ja
Priority to US16/008,370 priority patent/US20180292951A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G06F3/1462Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay with means for detecting differences between the image stored in the host and the images displayed on the remote displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2358/00Arrangements for display data security
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/022Centralised management of display operation, e.g. in a server instead of locally
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/027Arrangements and methods specific for the display of internet documents

Definitions

  • the present invention relates to an image processing apparatus, an image display method, and a program.
  • An electronic blackboard with a touch panel mounted on a large flat panel display is known.
  • the electronic blackboard displays a screen that functions as a blackboard, detects the coordinates touched by an indicator such as an electronic pen or a finger, and draws the coordinate locus on the screen as handwritten content. Therefore, the user can use the screen like a blackboard.
  • Patent Document 1 discloses a display device that converts a moving image transmitted from an external information processing device into image data, stores it, and redisplays it.
  • the electronic blackboard has a function to capture (capture) video displayed on the display, and can capture video input from a PC as a still image, not limited to handwritten content.
  • an electronic blackboard when used, there is a request to display an arbitrary translucent image separately from video from a PC or the like. For example, if an arbitrary image is made translucent and displayed on the electronic blackboard, a participant or the like in the conference can see the handwritten content while looking at the translucent image. If the characters “Confidential” and “secret” are described in the translucent image, the participants can always be aware that the information displayed on the display is highly confidential.
  • an object of the present invention is to provide an electronic blackboard that can suppress a decrease in the visibility of an image being displayed.
  • an image processing apparatus that displays an input video input by an external device is a first image acquisition unit that acquires a first image stored in a storage unit. And a second image acquisition means for acquiring a second image from the input video, and when the input video input from the external device does not satisfy a predetermined condition, the first image is not displayed.
  • Determining to display the second image and determining that the first image and the second image are to be displayed when the input video input from the external device satisfies the predetermined condition;
  • an image determination unit that determines to display the first image, and a determination that the image determination unit displays the first image and the second image
  • the first image The includes an image superimposing means for superimposing the second image, and a display unit the image superimposing means for displaying on the display unit the second image and the first image superimposed.
  • FIG. 1 is an example of an overall configuration diagram of an image processing system. It is an example of the hardware block diagram of an electronic blackboard. It is an example of the functional block diagram of an electronic blackboard. It is an example of a functional block diagram of a file processing unit. It is an example of the functional block diagram of a server part and a client part. It is an example of the block diagram of each image layer.
  • FIG. 1A shows a state where a notebook PC 6 (Personal Computer), which is an external device, and the electronic blackboard 2 are not connected to the electronic blackboard 2.
  • the notebook PC 6 displays an image on its own display, but this image is not output to the electronic blackboard 2.
  • the electronic blackboard 2 has a function of displaying a translucent image (hereinafter referred to as a watermark image), and displays the characters “Confidential” using the watermark image. Since the watermark image (character “Confidential”) is translucent, participants in a meeting or the like (hereinafter sometimes referred to as a user who uses the electronic blackboard 2) may be displayed on the display 3. Information is visible.
  • NDA non-disclosure agreement
  • FIG. 1B shows the operation of the comparative example compared with the electronic blackboard 2 of the present embodiment.
  • FIG. 1B shows a state in which the notebook PC 6 and the electronic blackboard 2 are connected.
  • a video this is referred to as an output image (C)
  • the watermark image (E) is in front of the image of the notebook PC 6, it is translucent so that the user can see the image of the notebook PC 6 through the watermark image.
  • the character “Confidential” is always displayed on the display 3 of the electronic blackboard 2, the visibility of the image of the notebook PC 6 decreases.
  • the portion where the characters “Confidential” and the video overlap also changes with time. Since the user sees the change as a moving image and the change in the overlapping portion of the watermark image and the moving image, it is difficult to grasp the timing for capturing the video of the notebook PC 6.
  • FIG. 1C is a diagram for explaining the operation when the electronic blackboard 2 of the present embodiment displays the image of the notebook PC 6.
  • the electronic blackboard 2 to which the video from the notebook PC 6 is input switches the watermark image (E) to non-display.
  • the characters “Confidential” are not displayed on the display 3. Since the video of the notebook PC 6 does not overlap with the characters “Confidential”, the user can capture the video of the notebook PC 6 as a still image at the timing when the video desired to be stored as a still image is displayed.
  • FIG. 1D is a diagram for explaining the operation when the electronic blackboard 2 of the present embodiment does not display the image of the notebook PC 6.
  • the electronic blackboard 2 to which no video from the notebook PC 6 is input displays the watermark image (E) on the display 3. Even without the user's operation, the display and non-display of the watermark image (E) can be switched depending on whether or not the video of the notebook PC 6 is input.
  • the electronic blackboard 2 displays the first image (for example, a watermark image such as the characters “Confidential”) stored in the electronic blackboard 2 (in advance). ) Is displayed on the display 3. In this case, the video of the notebook PC 6 is not displayed on the display 3. As will be described later with reference to FIG. 20 and the like, when the video (input video) input from the notebook PC 6 does not satisfy the predetermined condition, the electronic blackboard 2 displays the first image (watermark image such as the characters “Confidential”).
  • the electronic blackboard 2 displays the first image (such as the characters “Confidential”).
  • the watermark image) and the video input from the notebook PC 6 are displayed on the display 3.
  • the predetermined condition is not satisfied.
  • the predetermined condition is satisfied.
  • the electronic blackboard 2 controls the display and non-display of the watermark image, so that the watermark image can be used when the video of the notebook PC 6 is not input, and the notebook when the video of the notebook PC 6 is input.
  • the video of PC6 can be displayed with high image quality.
  • the external device in the claims may be an external device to the electronic blackboard 2, and refers to a device that can be connected via a cable, a network, or an interface.
  • the notebook PC 6 and an equivalent device are examples of the external device.
  • a portable storage medium also corresponds to an external device.
  • the image processing device is a device that displays an image.
  • the electronic blackboard 2 described above is an example of an image processing apparatus.
  • the image processing apparatus may have a display or may project an image using a projector. In the present embodiment, the image processing apparatus will be described in terms of the electronic blackboard 2.
  • the display unit is a means for displaying an image, such as a display or a projector.
  • the display image
  • the display image
  • the display image
  • the image processing apparatus projects an image using a projector
  • the portion on which the image is projected is the display unit.
  • FIG. 2 is an overall configuration diagram of the image processing system 1 of the present embodiment.
  • FIG. 2 only two electronic blackboards 2a and 2b and electronic pens 4a and 4b associated therewith are shown for the sake of simplicity.
  • An electronic pen or the like may be used.
  • the image processing system 1 includes a plurality of electronic blackboards 2a and 2b, a plurality of electronic pens 4a and 4b, USB memories 5a and 5b, a notebook PC 6 (Personal Computer) 6a and 6b, a television ( Video) having conference terminals 7a, 7b and PC8.
  • the electronic blackboards 2a and 2b and the PC 8 are connected via a communication network 9 so that they can communicate with each other.
  • the plurality of electronic blackboards 2a and 2b are provided with displays 3a and 3b, respectively.
  • an image drawn by an event (touch of the pen tip of the electronic pen 4a or the pen tip of the electronic pen 4a on the display 3a) generated by the electronic pen 4a is displayed on the display 3a.
  • an event a gesture such as enlargement, reduction, or page turning generated by the user's hand Ha or the like.
  • the electronic blackboard 2a can be connected to a USB memory 5a.
  • the electronic blackboard 2a reads an electronic file such as PDF from the USB memory 5a, and the electronic blackboard 2a records an electronic file in the USB memory 5a. Can do.
  • the electronic blackboard 2a includes a cable 10a1 capable of communication according to standards such as DisplayPort (registered trademark), DVI (Digital Visual Interface), HDMI (registered trademark: High-Definition Multimedia Interface), and VGA (Video Graphics Array). Via the notebook PC 6a. Then, the electronic blackboard 2a generates an event by touching the display 3a, and transmits event information indicating the event to the notebook PC 6a in the same manner as an event from an input device such as a mouse or a keyboard.
  • DisplayPort registered trademark
  • DVI Digital Visual Interface
  • HDMI registered trademark: High-Definition Multimedia Interface
  • VGA Video Graphics Array
  • a television (video) conference terminal 7a is connected to the electronic blackboard 2a via a cable 10a2 capable of communication according to the above-mentioned standards.
  • the notebook PC 6a and the video conference terminal 7a may communicate with the electronic blackboard 2a by wireless communication complying with various wireless communication protocols such as Bluetooth (registered trademark).
  • the electronic blackboard 2b with the display 3b, the electronic pen 4b, the USB memory 5b, the notebook PC 6b, the video conference terminal 7b, the cable 10b1, and the cable 10b2 in the same manner as described above. Is used. Furthermore, the image displayed on the display 3b can be changed based on an event caused by the user's hand Hb or the like.
  • the image drawn on the display 3a of the electronic blackboard 2a at one base is also displayed on the display 3b of the electronic blackboard 2b at another base, and conversely on the display 3b of the electronic blackboard 2b at another base.
  • the image drawn on is displayed on the display 3a of the electronic blackboard 2a at one base.
  • the image processing system 1 can perform remote sharing processing for sharing the same image at a remote location, and thus is very convenient when used for a conference or the like at a remote location.
  • an arbitrary electronic blackboard 2 among the plurality of electronic blackboards 2 it is indicated as “electronic blackboard 2”.
  • display 3 When an arbitrary display among a plurality of displays is shown, “display 3” is shown.
  • an arbitrary electronic pen among a plurality of electronic pens When an arbitrary USB memory is indicated among the plurality of USB memories, it is indicated as “USB memory 5”.
  • an arbitrary notebook PC 6 among the plurality of notebook PCs 6 is indicated, it is indicated as “note PC 6”.
  • an arbitrary video conference terminal is indicated among the plurality of video conference terminals, it is indicated as “video conference terminal 7”.
  • “hand H” is used when an arbitrary hand among the hands of a plurality of users is shown.
  • an arbitrary cable is indicated among the plurality of cables, it is indicated as “cable 10”.
  • the electronic blackboard 2 will be described as an example of an image processing apparatus.
  • the electronic blackboard 2 is not limited thereto, and other examples of the image processing apparatus include an electronic signboard (digital signage), sports, weather forecasts, and the like. It may be a telestrator used in or a remote image (video) diagnostic device.
  • the notebook PC 6 will be described as an example of the information processing terminal, but is not limited thereto.
  • Other examples of the information processing terminal include a desktop PC, a tablet PC, a PDA, a smartphone, a digital video camera, and a digital camera.
  • a terminal capable of supplying image frames such as a game machine may be used.
  • the communication network includes the Internet, a LAN (Local Area Network), a mobile phone communication network, and the like.
  • a USB memory is described as an example of a recording medium.
  • the present invention is not limited to this, and various recording media such as an SD card may be used as another example of the recording medium.
  • FIG. 3 is a hardware configuration diagram of the electronic blackboard 2.
  • the electronic blackboard 2 includes a CPU 101 that controls the operation of the electronic blackboard 2 as a whole, a ROM 102 that stores programs used to drive the CPU 101 such as an IPL, and a RAM 103 that is used as a work area for the CPU 101. , An SSD 104 for storing various data such as a program for the electronic blackboard 2, a network controller 105 for controlling communication with the communication network 9, and an external storage controller 106 for controlling communication with the USB memory 5.
  • the electronic blackboard 2 displays a capture device 111 that displays video information as a still image or a moving image on the display of the notebook PC 6, a GPU (Graphics Processing Unit) 112 that specializes in graphics, and an output image from the GPU. 3 and a display controller 113 for controlling and managing screen display for output to the video conference terminal 7.
  • a capture device 111 that displays video information as a still image or a moving image on the display of the notebook PC 6, a GPU (Graphics Processing Unit) 112 that specializes in graphics, and an output image from the GPU. 3 and a display controller 113 for controlling and managing screen display for output to the video conference terminal 7.
  • a GPU Graphics Processing Unit
  • the electronic blackboard 2 includes a sensor controller 114 that controls the processing of the contact sensor 115 and a contact sensor 115 that detects that the electronic pen 4 or the user's hand H is in contact with the display 3.
  • the contact sensor 115 performs coordinate input and coordinate detection by an infrared ray blocking method.
  • this coordinate input and coordinate detection method two light emitting / receiving devices installed at both upper ends of the display 3 emit a plurality of infrared rays in parallel with the display 3 and are provided around the display 3. This is a method of receiving light that is reflected by the reflecting member and returns on the same optical path as the light path emitted by the light receiving element.
  • the contact sensor 115 outputs infrared ID (Identification) emitted by the two light receiving and emitting devices blocked by the object to the sensor controller 114, and the sensor controller 114 identifies the coordinate position that is the contact position of the object. All IDs shown below are examples of identification information.
  • the contact sensor 115 is not limited to the infrared ray blocking method, but a capacitance type touch panel that identifies a contact position by detecting a change in capacitance, or a contact position determined by a voltage change of two opposing resistance films.
  • Various detection means such as a resistance film type touch panel to be identified and an electromagnetic induction type touch panel to identify a contact position by detecting electromagnetic induction caused by contact of a contact object with the display unit may be used.
  • the electronic blackboard 2 includes an electronic pen controller 116. This electronic pen controller 116 communicates with the electronic pen 4 to determine whether or not there is a pen tip touch or a pen butt touch on the display 3. It should be noted that the electronic pen controller 116 may determine whether or not the user grips the part of the electronic pen 4 as well as the other electronic pen part, as well as the pen tip and the bottom of the electronic pen 4.
  • the electronic blackboard 2 includes a CPU 101, ROM 102, RAM 103, SSD 104, network controller 105, external storage controller 106, capture device 111, GPU 112, sensor controller 114, and electronic pen controller 116 as shown in FIG.
  • a bus line 120 such as an address bus or a data bus for electrical connection is provided.
  • program for the electronic blackboard 2 may be recorded and distributed on a computer-readable recording medium such as a CD-ROM.
  • FIG. 4 is a functional block diagram of the electronic blackboard 2.
  • the electronic blackboard 2 has each functional configuration shown in FIG. 4 by the hardware configuration and program shown in FIG.
  • the electronic blackboard 2 can be a “host device” that starts the remote sharing process first, and can also be a “participating device” that participates in the remote sharing process that has already started.
  • the electronic blackboard 2 is roughly composed of both the client unit 20 and the server unit 90.
  • the client unit 20 and the server unit 90 are functions realized in one housing of the electronic blackboard 2.
  • the electronic blackboard 2 implements the client unit 20 and the server unit 90.
  • the electronic blackboard 2 is a participating device, in the electronic blackboard 2, the client unit 20 is realized, but the server unit 90 is not realized. That is, in FIG.
  • the client unit 20 of the electronic blackboard 2 a passes through the server unit 90 realized in the same electronic blackboard 2 a. Communicate with the client unit 20 of the electronic blackboard 2b.
  • the client unit 20 of the electronic blackboard 2b communicates with the client units of the other electronic blackboard 2a via the server unit 90 realized in the other electronic blackboard 2a.
  • the client unit 20 includes a video acquisition unit 21, a coordinate detection unit 22, an automatic adjustment unit 23, a contact detection unit 24, an event distribution unit 25, an operation processing unit 26, a gesture processing unit 27, a video superimposing unit 28, and an image processing unit 30. And a communication control unit 60.
  • the video acquisition unit 21 acquires the output image of the video output device connected to the cable 10.
  • the video acquisition unit 21 analyzes the image signal, and updates the resolution of the image frame that is a display image of the video output device formed by the image signal.
  • Image information such as frequency is derived and output to the image acquisition unit 31.
  • the coordinate detection unit 22 detects the coordinate position of an event (such as an operation in which the user's hand H is touched on the display 3) generated by the user on the display 3.
  • the coordinate detection unit 22 also detects the touched area.
  • the automatic adjustment unit 23 is activated when the electronic blackboard 2 is activated (may be expressed as restarting), and coordinates that detect coordinates by an optical sensor method so that the coordinate detection unit 22 can output an appropriate value.
  • the detection unit 22 adjusts parameters when processing the image of the sensor camera.
  • the contact detection unit 24 detects an event (such as an operation in which the pen tip of the electronic pen 4 or the pen butt of the electronic pen 4 is pressed (touched) on the display 3).
  • the event distribution unit 25 distributes the coordinate position of the event detected by the coordinate detection unit 22 and the detection result detected by the contact detection unit 24 to each event of stroke drawing, UI operation, and gesture operation.
  • stroke drawing is performed when the user presses the electronic pen 4 on the display 3 when a stroke image (B) described later shown in FIG. 7 is displayed on the display 3. In this state, the electronic pen 4 is moved and finally the electronic pen 4 is released from the display 3.
  • alphabets “S” and “T” are drawn on the display 3.
  • the “stroke drawing” includes not only drawing an image but also an event of deleting an already drawn image or editing a drawn image.
  • the “UI operation” is an event in which the user presses a predetermined position with the electronic pen 4 or the hand H when a UI image (A) described later shown in FIG. 7 is displayed on the display 3. .
  • a UI image (A) described later shown in FIG. 7 is displayed on the display 3. .
  • this UI operation for example, the color or width of a line drawn by the electronic pen 4 is set.
  • “Gesture operation” is an event in which the user touches or moves the display 3 with the hand H when a stroke image (B) described later shown in FIG. 7 is displayed on the display 3. is there.
  • this gesture operation for example, by moving the hand H while the user touches the display 3 with the hand H, the image can be enlarged (or reduced), the display area can be changed, or the page can be switched. it can.
  • the operation processing unit 26 executes various operations according to the UI element in which the event is generated, from what is determined as the UI operation by the event distribution unit 25.
  • Examples of the UI element include a button, a list, a check box, and a text box.
  • the gesture processing unit 27 performs an operation corresponding to what is determined as a gesture operation by the event distribution unit 25.
  • the video superimposing unit 28 displays the image superimposed by the display superimposing unit 36 described later on the display unit 29 as a video.
  • the display unit 29 shows a display function realized by the display 3.
  • the video superimposing unit 28 performs picture-in-picture on the video sent from another video output device (such as the video conference terminal 7) with respect to the video from the video output device (such as the notebook PC 6). Further, the video superimposing unit 28 performs switching for displaying the video that is picture-in-picture and displayed on a part of the display unit 29 on the entire display unit 29.
  • the image processing unit 30 performs superimposing processing of each image layer as shown in FIG.
  • the image processing unit 30 includes an image acquisition unit 31, a stroke processing unit 32, a UI image generation unit 33, a background generation unit 34, a watermark image generation unit 38, a layout management unit 35, a display superimposition unit 36, a page processing unit 37, a file A processing unit 40, a page data storage unit 300, and a remote license management table 310 are included.
  • the image acquisition unit 31 acquires each frame as an image from the video acquired by the video acquisition unit 21.
  • the image acquisition unit 31 outputs the image data to the page processing unit 37.
  • This image corresponds to an output image (C) from the video output device (notebook PC 6 or the like) shown in FIG.
  • the stroke processing unit 32 draws an image, deletes the drawn image, or edits the drawn image based on the event related to the stroke drawing allocated by the event distribution unit 25.
  • the image by this stroke drawing corresponds to the stroke image (B) shown in FIG.
  • the results of drawing, deleting, and editing an image based on the stroke drawing are stored in the operation data storage unit 840 as operation data described later.
  • the UI image generation unit 33 generates a UI (user interface) image set in advance on the electronic blackboard 2. This UI image corresponds to the UI image (A) shown in FIG.
  • the background generation unit 34 receives the media data from the page data read from the page data storage unit 300 by the page processing unit 37 from the page processing unit 37.
  • the background generation unit 34 outputs the received media data to the display superimposing unit 36.
  • the image based on the media data corresponds to the background image (D) shown in FIG.
  • the pattern of the background image (D) is plain or grid display.
  • the watermark image generation unit 38 outputs the watermark image data stored in the page data storage unit 300 as storage means of the electronic blackboard 2 to the display superimposing unit 36.
  • This watermark image data corresponds to the watermark image (E) shown in FIG.
  • the watermark image generation unit 38 performs processing such as matching the watermark image data in the page data storage unit 300 to the resolution and aspect ratio of the display 3 to generate watermark image data.
  • the transparency may be previously stored in the watermark image data, or may be set by the user on the electronic blackboard 2.
  • the watermark image data regarding the watermark image (E) may include at least information regarding the transparency of the watermark image (E).
  • the layout management unit 35 for the display superimposing unit 36, lays out the images output from the image acquisition unit 31, the stroke processing unit 32, the UI image generation unit 33 (or the background generation unit 34), and the watermark image generation unit 38. Is managed. Thereby, the layout management unit 35 outputs the output image (C), the stroke image (B), and the watermark image (E) to the display superimposing unit 36 in the UI image (A) and the background image (D). It is possible to indicate whether the position is displayed or not.
  • the display superimposing unit 36 is output from the image acquisition unit 31, the stroke processing unit 32, the UI image generation unit 33 (background generation unit 34), and the watermark image generation unit 38 based on the layout information output from the layout management unit 35. Each image is laid out (superposed).
  • the page processing unit 37 stores the data of the stroke image (B) and the data of the output image (C) in one page data and stores them in the page data storage unit 300.
  • the data of the stroke image (B) forms part of page data as the stroke arrangement data (each stroke data) indicated by the stroke arrangement data ID shown in FIG.
  • the data of the output image (C) forms part of page data as the media data indicated by the media data ID shown in FIG. Then, when this media data is read from the page data storage unit 300, it is handled as data of the background image (D).
  • the page processing unit 37 transmits the media data of the once stored page data to the display superimposing unit 36 via the background generating unit 34 so that the video superimposing unit 28 displays the background image (D). 3 can be displayed again.
  • the page processing unit 37 can return the stroke arrangement data (each stroke data) in the page data to the stroke processing unit 32 so that the stroke can be re-edited. Further, the page processing unit 37 can delete or duplicate page data.
  • the data of the output image (C) displayed on the display 3 when the page processing unit 37 stores the page data in the page data storage unit 300 is temporarily stored in the page data storage unit 300 and then When read from the page data storage unit 300, it is read as media data indicating the background image (D). Then, the page processing unit 37 outputs stroke arrangement data indicating the stroke image (B) among the page data read from the page data storage unit 300 to the stroke processing unit 32. Further, the page processing unit 37 outputs media data indicating the background image (D) among the page data read from the page data storage unit 300 to the background generation unit 34.
  • the page processing unit 37 sends the watermark image data stored in the page data storage unit 300 to the watermark image generation unit 38.
  • the watermark image generating unit 38 transmits the watermark image to the display superimposing unit 36.
  • the display superimposing unit 36 includes an output image (C) from the image acquisition unit 31, a stroke image (B) from the stroke processing unit 32, a UI image (A) from the UI image generation unit 33, and a background from the background generation unit 34.
  • the image (D) and the watermark image (E) from the watermark image generation unit 38 are superimposed according to the layout designated by the layout management unit 35. Accordingly, as shown in FIG. 7, the UI image (A), the stroke image (B), the watermark image (E), the output image (C), and the background are displayed in the order in which the user can see each image even if they overlap. Each layer of the image (D) is configured.
  • the display superimposing unit 36 switches between the output image (C) and the background image (D) shown in FIG. 7, and performs the UI image (A), the stroke image (B), and the watermark image (E). It is also possible to superimpose them exclusively.
  • the cable 10 between the electronic blackboard 2 and the video output device (notebook PC 6 or the like) was disconnected while the UI image (A), stroke image (B), and output image (C) were initially displayed.
  • the output image (C) can be excluded from the superimposition target and the background image (D) can be displayed as specified by the layout management unit 35.
  • the layout management unit 35 switches the watermark image (E) from non-display to display.
  • the display superimposing unit 36 also performs display enlargement, display reduction, and display area movement processing.
  • the page data storage unit 300 stores page data as shown in Table 1.
  • Table 1 conceptually shows the page data.
  • the page data is data for one page displayed on the display 3 (stroke arrangement data (each stroke data) and media data). Since there are many types of parameters included in the page data, here, the contents of the page data will be described separately in Tables 1 to 4.
  • the page data is a page data ID for identifying an arbitrary page, a start time indicating the start time of display of this page, and rewriting of the contents of the page by a stroke, a gesture or the like.
  • the stroke arrangement data ID for identifying the stroke arrangement data generated by the stroke of the electronic pen 4 or the user's hand H
  • the media data ID for identifying the media data. Is remembered.
  • the stroke arrangement data is data for displaying a stroke image (B) shown in FIG.
  • the media data is data for displaying a background image (D) shown in FIG.
  • the stroke arrangement data shows detailed information as shown in Table 2.
  • Table 2 conceptually shows the stroke arrangement data.
  • one stroke arrangement data is represented by a plurality of stroke data.
  • One stroke data includes a stroke data ID for identifying the stroke data, a start time indicating the start time of writing one stroke, an end time indicating the end time of writing one stroke, the color of the stroke, A stroke width and coordinate array data ID for identifying an array of stroke passing points are shown.
  • the coordinate array data shows detailed information as shown in Table 3.
  • Table 3 conceptually shows the coordinate array data.
  • the coordinate array data includes one point on the display 3 (X coordinate value, Y coordinate value), and a time difference (ms from the start time of the stroke when the one point is passed) ) And writing pressure information of the electronic pen 4 at this one point. That is, a set of one point shown in Table 3 is shown by one coordinate array data shown in Table 2. For example, when the user draws the alphabet “S” with the electronic pen 4, it is drawn with a single stroke, but passes through a plurality of passing points until the drawing of “S” is completed. Information.
  • the media data of the page data shown in Table 1 has detailed information as shown in Table 4.
  • Table 4 conceptually shows the media data.
  • the media data is stored in the page data storage unit 300 from the page processing unit 37, the media data ID in the page data shown in Table 1, the data type of the media data, and the page data storage unit 300.
  • the recording time, the position of the image displayed on the display 3 by the page data (X coordinate value, Y coordinate value), the image size (width, height), and data indicating the contents of the media data are shown in association with each other Has been.
  • the position of the upper left corner of the image to be displayed is shown.
  • the page data storage unit 300 stores watermark image data.
  • the watermark image data has information as shown in Table 5.
  • Table 5 conceptually shows watermark image data stored in the page data storage unit 300.
  • the watermark image data is held as a file, and the file name, update date / time, type, and creator information are held in association with each other. These are items that the information processing apparatus has as file attributes, and other attributes that the file may have may be registered.
  • file attributes and other attributes that the file may have may be registered.
  • three files are registered, but one or more files may be registered.
  • no file may be registered (a watermark image cannot be displayed).
  • the watermark image data displayed last, the watermark image data selected by the user, the watermark image data with the newest (or oldest) update date, or the user who has logged into the electronic blackboard 2
  • the watermark image data as the creator is appropriately selected and used.
  • the file type is transparent PNG that can handle transparency (hereinafter simply referred to as PNG), but any file that can represent transparency, such as transparent GIF, may be used. Further, even if the transparency of the file function cannot be maintained, the watermark image generation unit 38 may create a watermark image whose transparency is controlled from JPEG or the like.
  • the remote license management table 310 manages license data necessary for executing remote sharing processing.
  • the product ID of the electronic blackboard 2 As shown in Table 6, the product ID of the electronic blackboard 2, the license ID used for authentication, and the expiration date of the license are managed in association with each other.
  • FIG. 5 is a functional block diagram of the file processing unit.
  • the file processing unit 40 includes a recovery processing unit 41, a file input unit 42a, a file output unit 42b, a file conversion unit 43, a file transmission unit 44, an address book input unit 45, a backup processing unit 46, a backup output unit 47, and a setting management unit. 48, a setting file input unit 49a, and a setting file output unit 49b.
  • the file processing unit 40 includes an address book management table 410, a backup data storage unit 420, a setting file storage unit 430, and a connection destination management table 440.
  • the recovery processing unit 41 detects the abnormal end after the electronic blackboard 2 is abnormally terminated, and recovers the unsaved page data. For example, in the case of a normal end, the page data is recorded as a PDF file on the USB 5 via the file processing unit 40, but in the case of an abnormal end such as when the power is down, the page data is recorded in the page data storage unit 300. Has been done. Therefore, when the power is turned on again, the recovery processing unit 41 recovers by reading the page data from the page data storage unit 300.
  • the file input unit 42a reads a PDF file from the USB memory 5 and stores each page in the page data storage unit 300 as page data.
  • the file conversion unit 43 converts the page data stored in the page data storage unit 300 into a PDF format file.
  • the file input unit 42 a reads the watermark image data and stores it in the page data storage unit 300.
  • a predetermined type of file such as PNG may be automatically read from the USB memory 5 mounted on the electronic blackboard 2, or the file specified by the user is copied from the USB memory 5 to the page data storage unit 300. May be.
  • the user may operate an arbitrary terminal to communicate with the electronic blackboard 2 and input the watermark image data to the electronic blackboard 2 by uploading using a Web page prepared by the electronic blackboard 2.
  • the file input unit 42a functions as a Web server.
  • An arbitrary terminal receives from the electronic blackboard 2 HTML data that can be transmitted by specifying the IP address of the electronic blackboard 2 using a browser or the like. Since the browser accepts the user's selection of the file, an arbitrary terminal transmits the watermark image data file selected by the user to the file input unit 42a.
  • the file input unit 42 a stores the watermark image data file in the page data storage unit 300.
  • the file input unit 42a can capture (acquire) watermark image data having information related to the transparency of the watermark image (E) from the outside, and the watermark image data is stored in the page data storage unit 300. Can be memorized.
  • the file output unit 42 b records the PDF file output by the file conversion unit 43 in the USB memory 5.
  • the file transmission unit 44 transmits the PDF file generated by the file conversion unit 43 as an attachment to an e-mail.
  • the transmission destination of the file is displayed by displaying the contents of the address book management table 410 on the display 3 by the display superimposing unit 36, and the file transmitting unit 44 accepts the selection of the destination by the operation of the input device such as a touch panel by the user. It is determined.
  • the address book management table 410 as shown in Table 7, the name of the destination and the mail address of the destination e-mail are managed in association with each other.
  • the file transmission unit 44 can accept an input of a mail address as a destination by an operation of an input device such as a touch panel by the user.
  • the address book input unit 45 reads the e-mail address list file from the USB memory 5 and manages it in the address book management table 410.
  • the backup processing unit 46 performs backup by storing the file output by the file output unit 42b and the file transmitted by the file transmission unit 44 in the backup data storage unit 420. If the user does not set backup, backup processing is not performed.
  • the backup data is stored in PDF format as shown in Table 8.
  • the backup output unit 47 stores the backed up file in the USB memory 5. During this storage, a passcode is input for security by the operation of an input device such as a touch panel by the user.
  • the setting management unit 48 stores and reads various setting information of the electronic blackboard 2 in the setting file storage unit 430 for management.
  • the various setting information include network settings, date and time settings, region and language settings, mail server settings, address book settings, connection destination list settings, and backup settings.
  • the network setting is, for example, an IP address setting of the electronic blackboard 2, a net mask setting, a default gateway setting, a DNS (Domain Name System) setting, or the like.
  • the setting file output unit 49b records various setting information of the electronic blackboard 2 in the USB memory 5 as a setting file. Note that the settings file cannot be viewed by the user due to security.
  • the setting file input unit 49a reads the setting file stored in the USB memory 5 and reflects various setting information in the various settings of the electronic blackboard 2.
  • the address book input unit 50 reads a list file of connection destination IP addresses for remote sharing processing from the USB memory 5 and manages it in the connection destination management table 440.
  • An example of the connection destination management table 440 is shown in Table 9.
  • the connection destination management table 440 reduces the effort for the user of the participating device to input the IP address of the electronic blackboard 2 that plays the role of the host device. This is a table for managing in advance.
  • the name of the base where the electronic blackboard 2 as a hosting apparatus that can participate is installed and the IP address of the electronic blackboard 2 as the hosting apparatus are managed in association with each other.
  • connection destination management table 440 may be omitted.
  • the user of the participating device needs to input the IP address of the host device using an input device such as a touch panel in order to start remote request processing with the host device. Therefore, the user of the participating device obtains the IP address of the sponsoring device from the user of the sponsoring device by telephone or electronic mail.
  • FIG. 6 is an example of a functional block diagram of the server unit 90 and the client unit 20.
  • the communication control unit 60 controls communication with other electronic whiteboards 2 and communication with the later-described communication control unit 70 in the server unit 90 via the communication network 9. Therefore, the communication control unit 60 includes a remote start processing unit 61, a remote participation processing unit 62, a remote image transmission unit 63, a remote image reception unit 64, a remote operation transmission unit 65, a remote operation reception unit 66, and a participation base management table 610. have.
  • the remote start processing unit 61 makes a request for starting a new remote sharing process to the server unit 90 of the same electronic blackboard 2, and receives the result of the request from the server unit 90.
  • the remote start processing unit 61 refers to the remote license management table 310 and makes a request to start remote sharing processing when license information (product ID, license ID, and expiration date) is managed. be able to. However, if the license information is not managed, a request to start remote sharing processing cannot be made.
  • the participation base management table 610 is a table for managing the electronic blackboard 2 as a participating device that is currently participating in the remote sharing process when the electronic blackboard 2 is the sponsoring device.
  • An example of the participating base management table 610 is shown in Table 10.
  • the participating base management table 610 the name of the base where the participating electronic blackboard 2 is installed and the IP address of the electronic blackboard 2 are managed in association with each other.
  • the remote participation processing unit 62 sends the remote connection processing to the remote sharing processing to the remote connection request receiving unit 71 in the server unit 90 of the electronic blackboard 2 as the host apparatus that has already started the remote sharing processing via the communication network 9. Request participation. Also in this case, the remote participation processing unit 62 refers to the remote license management table 310. In addition, when the remote participation processing unit 62 participates in the remote sharing process that has already been started, the IP address of the electronic blackboard 2 of the participation destination is acquired with reference to the connection destination management table 440. Note that the remote participation processing unit 62 may not input the connection destination management table, and may input the IP address of the electronic blackboard 2 as a participation destination by an operation of an input device such as a touch panel by the user.
  • the remote image transmission unit 63 transmits the output image (C) sent from the video acquisition unit 21 via the image acquisition unit 31 to the server unit 90.
  • the remote image receiving unit 64 receives image data from the video output device connected to the other electronic blackboard 2 from the server unit 90 and outputs it to the display superimposing unit 36, thereby enabling remote sharing processing.
  • the remote operation transmission unit 65 transmits various operation data necessary for remote sharing processing to the server unit 90.
  • Examples of the operation data include adding a stroke, deleting a stroke, editing a stroke (enlarging, reducing, moving), storing page data, creating page data, duplicating page data, deleting page data, and displaying. Data related to the switching of the current page.
  • the remote operation receiving unit 66 receives the operation data input from another electronic blackboard 2 from the server unit 90 and outputs it to the image processing unit 30 to perform remote sharing processing.
  • the server unit 90 includes a communication control unit 70 and a data management unit 80. (Functional configuration of communication control unit 70) Next, the functional configuration of the communication control unit 70 will be described with reference to FIG.
  • the communication control unit 70 controls communication with the communication control unit 70 in the client unit 20 in the same electronic blackboard 2 and the communication control unit 70 in the client unit 20 in another electronic blackboard 2 via the communication network 9.
  • the data management unit 80 manages operation data, image data, and the like.
  • the communication controller 70 includes a remote connection request receiver 71, a remote connection result transmitter 72, a remote image receiver 73, a remote image transmitter 74, a remote operation receiver 75, and a remote operation transmitter 76. have.
  • the remote connection request receiving unit 71 receives a remote sharing processing start request from the remote start processing unit 61 or receives a participation request for remote sharing processing from the remote participation processing unit 62.
  • the remote connection result transmission unit 72 transmits the result of the remote sharing processing start request to the remote start processing unit 61, or transmits the result of the participation request for the remote sharing processing to the remote participation processing unit 62.
  • the remote image receiving unit 73 receives the image data (data of the output image (C)) from the remote image transmitting unit 63 and transmits it to the remote image processing unit 82 described later.
  • the remote image transmission unit 74 receives image data from the remote image processing unit 82 and transmits this image data to the remote image reception unit 64.
  • the remote operation receiving unit 75 receives operation data (data such as a stroke image (B)) from the remote operation transmitting unit 65 and transmits it to the remote operation processing unit 83 described later.
  • the remote operation transmission unit 76 receives operation data from the remote operation processing unit 83 and transmits this operation data to the remote operation reception unit 66.
  • the data management unit 80 includes a remote connection processing unit 81, a remote image processing unit 82, a remote operation processing unit 83, an operation composition processing unit 84, and a page processing unit 85.
  • the server unit 90 includes a passcode management unit 810, a participating site management table 820, an image data storage unit 830, an operation data storage unit 840, and a page data storage unit 850.
  • the remote connection processing unit 81 starts remote sharing processing and ends remote sharing processing.
  • the remote connection processing unit 81 also receives the license information received by the remote connection request receiving unit 71 from the remote start processing unit 61 together with the remote sharing processing start request or the remote sharing processing unit 62 from the remote sharing processing participation request. Based on the received license information, it is confirmed whether there is a license and whether it is within the license period. Further, the remote connection processing unit 81 confirms whether or not the participation request from the other electronic blackboard 2 as the client unit exceeds the predetermined number of possible participations.
  • the remote connection processing unit 81 has the same passcode that is sent when another electronic blackboard 2 has requested to participate in remote sharing processing as the passcode managed by the passcode management unit 810. It is determined whether or not there is the same, and if they are the same, participation in the remote sharing process is permitted.
  • This passcode is issued by the remote connection processing unit 81 when a new remote sharing process is started, and the user of the electronic blackboard 2 as a participating apparatus who intends to participate in the remote sharing process can It is transmitted from the user of the electronic blackboard 2 by telephone or e-mail.
  • a user of a participating device who intends to participate in the remote sharing process inputs the pass code to the participating device using an input device such as a touch panel and requests participation, thereby permitting participation.
  • the user's ease of use may be given priority over security, and the confirmation of the passcode may be omitted only by confirming the license status.
  • the remote connection processing unit 81 uses the participation base information included in the participation request sent from the remote participation processing unit 62 of the participating device via the communication network 9 as the server unit.
  • the data are stored in the 90 participating site management table 820.
  • the remote connection processing unit 81 reads out the remote site information stored in the participating site management table 820 and transmits it to the remote connection result transmission unit 72.
  • the remote connection result transmission unit 72 transmits the remote base information to the remote start processing unit 61 in the client unit 20 of the same sponsor device.
  • the remote start processing unit 61 stores the remote site information in 610 in the participating site management table.
  • the host device manages remote site information in both the client unit 20 and the server unit 90.
  • the remote image processing unit 82 is an image from a video output device (notebook PC 6 or the like) connected to the client unit of each electronic blackboard 2 (including the client unit of its own electronic blackboard 2 which is the hosting device) during remote sharing processing.
  • Data output image (C)
  • the remote image processing unit 82 refers to the participation base management table 820, and includes the client units 20 of all the electronic blackboards 2 participating in the remote sharing process (including the client units of the electronic blackboard 2 that is the host device).
  • the image data is transmitted in the determined order via the communication control unit 70 (remote image transmission unit 74).
  • the remote operation processing unit 83 performs various types of operation data (stroke images (including stroke images) drawn by the client unit of each electronic blackboard 2 (including the client unit of its own electronic blackboard 2 that is the host device) during the remote sharing process. B) and the like are received, and the display order of the images to be remotely shared is determined in the order in which they arrived at the server unit 90 of the electronic blackboard 2 that is the host device.
  • the various operation data is the same as the various operation data described above.
  • the remote operation processing unit 83 refers to the participating site management table 820 and operates all the client units 20 of the electronic blackboard 2 (including the client unit of the electronic blackboard 2 that is the hosting device) during the remote sharing process. Send data.
  • the operation synthesis processing unit 84 synthesizes the operation data of each electronic blackboard 2 output from the remote operation processing unit 83, stores the operation data as a result of the synthesis in the operation data storage unit 840 and the remote operation processing unit 83.
  • the operation data is transmitted from the remote operation transmission unit 76 to each of the client unit of the electronic blackboard 2 that is the host device and the client unit of the electronic blackboard 2 that is the participating device, so that the same operation is performed on each electronic blackboard 2.
  • An image related to the data is displayed.
  • An example of the operation data is shown in Table 11.
  • the operation data includes SEQ (Sequence), the operation name of the operation data, the IP address of the electronic blackboard 2 that is the transmission source of the operation data, the Port No. of the client unit (server unit), Shows the IP address of the electronic blackboard 2 to which the operation data is sent, the port number of the client unit (server unit), the operation type of the operation data, the operation target of the operation data, and data indicating the contents of the operation data in association with each other. Has been.
  • the electronic blackboard 2 shows that operation data has been sent to the server part (Port No .: 50000).
  • the operation type is “STROKE”
  • the operation object is the page data ID “p005”
  • the data indicating the contents of the operation data is data indicating the stroke.
  • the other electronic blackboard 2 (IP address: 192.0.0.1) that is the participating device.
  • the client part (Port No .: 50001) indicates that operation data has been sent.
  • the operation composition processing unit 84 performs composition in the order in which the operation data is input to the operation composition processing unit 84. Therefore, if the communication network 9 is not congested, remote sharing is performed in the order of strokes by the users of the electronic blackboards 2. A stroke image (B) is displayed on the displays 3 of all the electronic blackboards 2 being processed.
  • the page processing unit 85 has the same function as the page processing unit 37 in the image processing unit 30 of the client unit 20, and the server unit 90 also converts the page data shown in Tables 1 to 3 into the page data storage unit. Store in 850. Note that the page data storage unit 850 has the same contents as the page data storage unit 300 in the image processing unit 30, and therefore the description thereof is omitted.
  • FIGS. 8 and 9 are sequence diagrams showing the processing of each electronic blackboard 2.
  • the electronic blackboard 2a serves as a hosting device (server unit and client unit) that hosts the remote sharing process, and the electronic blackboards 2b and 2c participate in the remote sharing process. A case where it plays a role as a device (client unit) will be described.
  • the displays 3a, 3b, 3c are connected to the electronic blackboards 2a, 2b, 2c, respectively, and further notebook PCs 6a, 6b, 6c are connected respectively.
  • electronic pens 4a, 4b, and 4c are used, respectively.
  • the client unit 20 of the electronic blackboard 2a When the user turns on the power switch of the electronic blackboard 2a, the client unit 20 of the electronic blackboard 2a is activated.
  • the server unit 90 When the user performs an operation to activate the server unit 90 using an input device such as a touch panel, the server unit 90 is transferred from the remote start processing unit 61 of the client unit 20 to the remote connection request receiving unit 71 in the server unit 90 of the same electronic blackboard 2a. An instruction to start the process is output.
  • the server unit 90 In the electronic blackboard 2a, not only the client unit 20 but also the server unit 90 can start various processes (step S21).
  • the UI image generating unit 33 in the client unit 20 of the electronic blackboard 2a generates connection information for establishing a connection with the electronic blackboard 2a, and the video superimposing unit 28 transmits the display superimposing unit 36 from the UI image generating unit 33.
  • the connection information obtained through is displayed on the display 3a (step S22).
  • connection information includes the host device's IP address and the passcode generated for this remote sharing process.
  • the passcode stored in the passcode management unit 810 is read by the remote connection processing unit 81 shown in FIG. 7 and transmitted in the order of the remote connection result transmission unit 72 and the remote start processing unit 61.
  • the pass code is transmitted from the communication control unit 60 including the remote start processing unit 61 to the image processing unit 30 shown in FIG. 5 and finally input to the UI image generation unit 33.
  • the connection information includes the passcode.
  • the connection information is transmitted to the users of the electronic blackboards 2b and 2c by telephone or electronic mail by the user of the electronic blackboard 2a. If there is the connection destination management table 440, even if the connection information does not include the IP address of the hosting device, the participating device can make a participation request.
  • the remote participation processing unit 62 in the client unit 20 of each electronic blackboard 2a and 2b Based on the IP address, a participation request is made by transmitting a pass code to the communication control unit 70 in the server unit 90 of the electronic blackboard 2a via the communication network 9 (steps S23 and S24).
  • the remote connection request receiving unit 71 of the communication control unit 70 receives a participation request (including a passcode) from each of the electronic blackboards 2b and 2c, and outputs this passcode to the remote connection processing unit 81.
  • the remote connection processing unit 81 authenticates the passcode received from each of the electronic blackboards 2b and 2c using the passcode managed by the passcode management unit 810 (step S25).
  • the remote connection result transmission unit 72 notifies the authentication result to the client unit 20 of each electronic blackboard 2b, 2c (steps S26, S27).
  • each of the electronic blackboards 2b and 2c is a valid electronic blackboard 2
  • the electronic blackboard 2a that is the host device and the electronic blackboards 2b and 2c that are the participating devices are remotely connected. Communication of the sharing process is established, and the remote participation processing unit 62 in the client unit 20 of each electronic blackboard 2b, 2c enables the start of remote sharing processing with each other electronic blackboard 2 (steps S28, S29). ).
  • the electronic blackboard 2b displays the output image (C) on the display 3b (step S30).
  • the image acquisition unit 31 of the electronic blackboard 2b receives the data of the output image (C) displayed on the notebook PC 6b from the notebook PC 6b via the video acquisition unit 21, and displays the display superimposing unit 36 and the video.
  • the display 3b displays the output image (C).
  • the image processing unit 30 including the image acquisition unit 31 of the electronic blackboard 2 b transmits the output image (C) data to the remote image transmission unit 63, so that the communication control unit 60 including the remote image transmission unit 63 is performed.
  • the data of the output image (C) is transmitted to the communication control unit 70 of the electronic blackboard 2a that is the hosting device via the communication network 9 (step S31).
  • the remote image receiving unit 73 of the electronic blackboard 2a receives the output image (C) data and outputs it to the remote image processing unit 82, so that the remote image processing unit 82 outputs the output image to the image data storage unit 830.
  • the data of (C) is stored.
  • the electronic blackboard 2a which is the hosting device, displays the output image (C) on the display 3a (step S32).
  • the remote image processing unit 82 of the electronic blackboard 2 a outputs the output image (C) data received from the remote image receiving unit 73 to the remote image transmitting unit 74.
  • the remote image transmitting unit 74 outputs the data of the output image (C) to the remote image receiving unit 64 in the client unit 20 of the electronic blackboard 2a which is the same host device.
  • the remote image receiving unit 64 outputs the data of the output image (C) to the display superimposing unit 36.
  • the display superimposing unit 36 outputs the output image (C) data to the video superimposing unit 28.
  • the video superimposing unit 28 outputs the data of the output image (C) to the display 3a. Thereby, the display 3a displays the output image (C).
  • the communication control unit 70 including the remote image transmission unit 74 in the server unit 90 of the electronic blackboard 2a as the hosting device via the communication network 9 is the electronic blackboard 2b that is the transmission source of the data of the output image (C).
  • the data of the output image (C) is transmitted to the communication control unit 60 of the electronic blackboard 2c other than (step S33).
  • the remote image receiving part 64 of the electronic blackboard 2c which is a participating apparatus receives the data of an output image (C).
  • the electronic blackboard 2c displays the output image (C) on the display 3c (step S34).
  • the remote image receiving unit 64 of the electronic blackboard 2c outputs the data of the output image (C) received in step S33 to the display superimposing unit 36 of the electronic blackboard 2c.
  • the display superimposing unit 36 outputs the output image (C) data to the video superimposing unit 28.
  • the video superimposing unit 28 outputs the data of the output image (C) to the display 3c. Thereby, the display 3c displays the output image (C).
  • the display superimposition is performed.
  • the superimposed image (A, B, C) is generated by the unit 36, and the video overlapping unit 28 outputs the data of the superimposed image (A, B, C) to the display 3c.
  • the watermark image (E) is not displayed.
  • video conference video (F) data is sent from the video conference terminal 7 to the video superimposing unit 28, the video superimposing unit 28 displays the superimposed image (A, B, C).
  • the video conference video (F) data is superimposed by picture-in-picture and output to the display 3c.
  • the watermark image (E) is not transmitted / received between the sponsor device and the participating device. Therefore, whether or not the watermark image (E) is displayed differs depending on the electronic blackboard 2. Also, the watermark image (E) displayed by each electronic blackboard 2 may be different depending on the electronic blackboard 2 (there may be the same case).
  • the watermark image data may be transmitted and received between the electronic blackboards 2.
  • the electronic blackboard 2 has a function of transmitting setting information in which settings related to the operation of the electronic blackboard 2 are described.
  • the setting information includes, for example, settings for appropriately operating the electronic blackboard 2 (synchronization time, restart time, etc.), and settings for permitting or restricting the operation of the electronic blackboard 2 (settings related to security such as a passcode).
  • On / off settings for each function settings for communicating with the Internet and other devices via a network (IP address, etc.), and the like.
  • the watermark image data can be shared between the electronic blackboards 2 together with the setting information by using the function of transmitting the setting information.
  • the user draws a stroke image (B) on the electronic blackboard 2b using the electronic pen 4b (step S41).
  • the display superimposing unit 36 of the electronic blackboard 2b superimposes the stroke image (B) on the UI image (A) and the output image (C), as shown in FIG.
  • the unit 28 displays the superimposed images (A, B, C) superimposed on the display 3b of the electronic blackboard 2b (step S42).
  • the stroke processing unit 32 of the electronic blackboard 2b receives the stroke image (B) data as the operation data from the coordinate detection unit 22 and the contact detection unit 24 via the event distribution unit 25, and displays the superimposed image. It transmits to the part 36.
  • the display superimposing unit 36 can superimpose the stroke image (B) on the UI image (A) and the output image (C), and the video superimposing unit 28 is placed on the display 3b of the electronic blackboard 2b.
  • the superimposed image (A, B, C) can be displayed.
  • the image processing unit 30 including the stroke processing unit 32 of the electronic blackboard 2b transmits the stroke image (B) data to the remote operation transmission unit 65, so that the remote operation transmission unit 65 of the electronic blackboard 2b communicates.
  • the data of the stroke image (B) is transmitted via the network 9 to the communication control unit 70 of the electronic blackboard 2a that is the hosting device (step S43).
  • the remote operation receiving unit 75 of the electronic blackboard 2a receives the data of the stroke image (B) and outputs it to the remote operation processing unit 83, so that the remote operation processing unit 83 sends the stroke image to the operation composition processing unit 84.
  • the data of (B) is output.
  • the data of the stroke image (B) drawn on the electronic blackboard 2b is sequentially transmitted to the remote operation processing unit 83 of the electronic blackboard 2a that is the hosting device every time it is drawn.
  • the data of the stroke image (B) is data shown for each stroke data ID shown in FIG. Therefore, for example, as described above, when the user draws the alphabet “T” with the electronic pen 4, the stroke image (B) indicated by each of the two stroke data IDs is sequentially transmitted. Is done.
  • the electronic blackboard 2a which is the hosting device, displays on the display 3a a superimposed image (A, B, C) including the data of the stroke image (B) sent from the electronic blackboard 2b (Step S). S44).
  • the operation composition processing unit 84 of the electronic blackboard 2a synthesizes the data of the plurality of stroke images (B) sequentially sent via the remote operation processing unit 83 and stores them in the operation data storage unit 840. Store and return to the remote operation processing unit 83.
  • the remote operation processing unit 83 outputs the combined stroke image (B) data received from the operation synthesis processing unit 84 to the remote operation transmission unit 76.
  • the remote operation transmitting unit 76 outputs the combined stroke image (B) data to the remote operation receiving unit 66 in the client unit 20 of the electronic blackboard 2a which is the same hosting device.
  • the remote operation receiving unit 66 outputs the combined stroke image (B) data to the display superimposing unit 36 in the image processing unit 30. Therefore, the display superimposing unit 36 superimposes the combined stroke image (B) on the UI image (A) and the output image (C).
  • the video superimposing unit 28 displays the superimposed image (A, B, C) superimposed by the display superimposing unit 36 on the display 3a.
  • the communication control unit 70 including the remote operation transmission unit 76 in the server unit 90 of the electronic blackboard 2a as the hosting device via the communication network 9 is the electronic blackboard 2b that is the transmission source of the stroke image (B) data.
  • the composite stroke image (B) data is transmitted to the communication control unit 60 of the electronic blackboard 2c other than (step S45).
  • the remote operation receiving part 66 of the electronic blackboard 2c which is a participating apparatus receives the data of the synthesized stroke image (B).
  • the electronic blackboard 2c displays a superimposed image (A, B, C) on the display 3c (step S46).
  • the remote operation receiving unit 66 of the electronic blackboard 2c outputs the combined stroke image (B) data received in step S45 to the image processing unit 30 of the electronic blackboard 2c.
  • the display superimposing unit 36 of the image processing unit 30 superimposes each data of the UI image (A) and the output image (C) and the data of the combined stroke image (B), and superimposes the superimposed image ( A, B, C) data is output.
  • the video superimposing unit 28 outputs the data of the superimposed image (A, B, C) to the display 3c. Thereby, the display 3c displays a superimposed image (A, B, C).
  • the output image (C) is displayed on the display 3, but a background image (D) may be displayed instead of the output image (C).
  • a background image (D) may be displayed instead of the output image (C).
  • the exclusive relationship between the output image (C) and the background image (D) may be stopped, and both the output image (C) and the background image (D) may be displayed on the display 3 at the same time.
  • the remote participation processing unit 62 sends a communication control unit 70 in the server unit 90 of the electronic blackboard 2a as a host device to the communication control unit 70.
  • a request to end participation is made (step S47).
  • the remote connection request receiving unit 71 of the communication control unit 70 receives the participation end request from the electronic blackboard 2c, and outputs the participation end request to the remote connection processing unit 81 together with the IP address of the electronic blackboard 2c. .
  • the remote connection processing unit 81 of the electronic blackboard 2a based on the IP address sent from the remote connection request receiving unit 71, from the participation base management table 820, the IP of the electronic blackboard 2c that has requested participation.
  • the address and the name of the base where the electronic blackboard 2c is installed are deleted, and the remote connection result transmission unit 72 outputs the IP address of the electronic blackboard 2c and a notification of the deletion.
  • the communication control unit 70 including the remote connection result transmission unit 72 instructs the communication control unit 60 in the client unit 20 of the electronic blackboard 2c to end participation via the communication network 9 (step S48).
  • the remote participation processing unit 62 of the communication control unit 60 in the electronic blackboard 2c disconnects the communication of the remote sharing process, thereby completing the participation process, thereby completing the participation (step S49).
  • the administrator can communicate with the electronic blackboard 2 using the administrator terminal and upload the watermark image file to the electronic blackboard 2.
  • FIG. 10A shows a screen example of the administrator terminal.
  • FIG. 10A shows a part of a Web page provided by the Web server of the electronic blackboard 2.
  • the upload screen 601 includes a port number column 602, an IPID column 603, and an upload button 604.
  • the port number column 602 port numbers for the electronic blackboard 2 to accept various settings are set.
  • An IPID is entered in the IPID column 603.
  • the IPID is information for specifying the IP address of the electronic blackboard 2, and has the same value as the ID of the electronic blackboard 2. Since the administrator only has to input an IPID instead of an IP address, it becomes easy to upload a watermark image.
  • the table in which the ID of the electronic blackboard 2 is associated with the IP address is transmitted from the electronic blackboard 2 or stored in the administrator terminal.
  • An IP address may be input.
  • an IP address or a host name associated with the target electronic blackboard is often input. In such a case, since the IP address has already been specified, there is no need for the IPID column.
  • a file selection screen 611 in FIG. 10B is displayed.
  • the file selection screen 611 has a file list part 612 and an open button 613.
  • the administrator selects a watermark image file from the file list section 612 and presses an open button 613. As a result, the watermark image file is transmitted to the electronic blackboard 2.
  • FIG. 11A shows an example of a watermark image.
  • FIG. 11B shows another example of a watermark image.
  • FIG. 11A is a watermark image that displays the characters “Confidential”, and
  • FIG. 11B is a watermark image that is entirely uniform.
  • FIGS. 11A and 11B show a state in which the UI image (A), the stroke image (B), the output image (C), and the background image (D) are not displayed.
  • the watermark image of FIG. 11A When the watermark image of FIG. 11A is displayed on the display 3, one or more users watching the display 3 can be notified that the stroke image (B) and the background image (C) are confidential matters.
  • the watermark image of FIG. 11B when the watermark image of FIG. 11B is displayed on the display 3, it is possible to suppress the user from feeling dazzled because the white display 3 can be normally displayed in a shade with lower luminance. If the brightness of the display 3 is lowered, the screen may feel dark. However, if the watermark image (E) is used, the brightness of the display 3 can be reduced without lowering the brightness. For example, if the uniform color is green or black (not necessarily completely black), the color is similar to that of a blackboard on which characters are drawn with chalk. If it is a transparent uniform color watermark image, the entire image becomes dark, so that an effect of adjusting the contrast can be obtained.
  • the watermark image (E) as shown in FIG. 11 is in front of the output image (C), the user can visually recognize the output image (C) through the watermark image (E).
  • the watermark image (E) stored in the electronic blackboard 2 is, for example, an image having one or more predetermined characters as shown in FIG. 11A or a uniform color image as shown in FIG. 11B. There may be.
  • PNG has a function of setting transparency in units of pixels. In this embodiment, it is assumed that 0% is completely transparent and 100% is completely opaque. The opposite of the interpretation of general words is that it follows the definition of PNG transparency, and may be defined as 0% completely opaque and 100% completely transparent.
  • FIG. 11A is a watermark image in which the transparency of the character portion “Confidential” (pixel unit) is 20% and the others are 0% transparency.
  • FIG. 11B shows an example in which a watermark image having a black color and 20% transparency is superimposed on a white image.
  • the characters in FIG. 11A and the uniform image in FIG. 11B are merely examples.
  • the electronic blackboard 2 can display various characters as watermark images, and can display various landscapes and photographs as watermark images.
  • the watermark image may be a moving image.
  • the operation processing unit 26 can accept a transparency setting (setting value) of part or all of the watermark image (E).
  • the watermark image (E) is displayed with the set transparency.
  • FIG. 12 is an example of a flowchart illustrating a transparency setting method. This will be described with reference to FIGS. 13A and 13B as appropriate.
  • the user selects a menu for selecting the transparency of the watermark image from the UI image (A).
  • the user selects watermark image data for which transparency is to be set from the list.
  • the watermark image generation unit 38 displays the watermark image (E) on the display 3 (step S10).
  • the watermark image generation unit 38 receives a color or region setting for setting the transparency (step S20). More specifically, when the coordinate detection unit 22 detects a coordinate touched by the electronic pen 4 or the finger, the event distribution unit 25 determines that a UI operation has been performed, and notifies the operation processing unit 26 of it. The operation processing unit 26 determines the operation content from the coordinates touched by the electronic pen 4 or the finger (color or region setting operation), and notifies the watermark image generation unit 38 of the operation content.
  • the watermark image generation unit 38 receives a transparency setting (step S30). For example, the transparency of the watermark image is set by the user.
  • the flow of processing from the coordinate detection unit 22 to the watermark image generation unit 38 is the same as in step S20.
  • the watermark image generation unit 38 redisplays the transparency of the color or region specified in step S20 with the transparency set in step S30.
  • the watermark image generation unit 38 repeats the processing of steps S20 to S40 until the user finishes setting the transparency (step S50).
  • FIG. 13A shows an example of a transparency setting screen 501 that accepts a color specification and accepts a transparency setting.
  • the transparency setting screen 501 includes a watermark image field 502 in which a watermark image is displayed, a color setting unit 503, a transparency slider 504, and a transparency input field 505.
  • the user designates the color whose transparency is changed with the electronic pen 4 or the finger. For example, when changing the transparency of the characters “Confidential”, the user touches a part of “Confidential” with the electronic pen 4 or a finger anywhere. Since the pixel touched by the coordinate detection unit 22 is known (can be detected), the watermark image generation unit 38 can detect the color of this pixel.
  • the watermark image generation unit 38 accepts this and sets all the pixels having the same color to the set transparency.
  • the transparency is recorded in the watermark image data for each pixel.
  • the character part can be specified and the transparency can be changed in this way, the transparency of only the character can be changed without changing the overall transparency of the watermark image data having two or more colors (character part and others).
  • the user can change (set) the transparency of the watermark image partially and entirely.
  • the user can change the text “Confidential” and the background color.
  • the watermark image generation unit 38 accepts this and displays a color palette. The user can select an arbitrary color from the color palette and change the selected color of the pixel designated by touching the electronic pen 4 or the finger.
  • FIG. 13B shows an example of a transparency setting screen 501 that accepts designation of a region and accepts transparency settings.
  • the user designates the area 506 whose transparency is to be changed with the electronic pen 4 or the finger. For example, the user draws a rectangular area by designating two points, draws a circle, or draws the area 506 by free writing. Since the watermark image generation unit 38 acquires the coordinates of the region 506 via the coordinate detection unit 22, the pixels in this region can be specified.
  • the watermark image generation unit 38 accepts this, and sets the pixels in the designated area to the set transparency.
  • the transparency can be set by designating an arbitrary area of watermark image data having a uniform color or complex watermark image data having a large number of colors. As in FIG. 13A, the color of the area designated by the user can be changed. If the entire watermark image is selected as the area 506, the transparency of the entire watermark image can be set.
  • the setting method in FIG. 13A and the setting method in FIG. 13B are both mounted on the electronic blackboard 2 and can be arbitrarily selected by the user.
  • Enabling the watermark image (E) means that the watermark image (E) is automatically displayed when the condition (display condition) for displaying the watermark image (E) is satisfied. That is, if the display condition is not satisfied even if the watermark image (E) is valid, the electronic blackboard 2 does not display the watermark image (E).
  • the display condition is, for example, that a video is input. Details of the display conditions will be described later.
  • FIG. 14 is an example of a flowchart showing a control procedure for determining whether the watermark image generation unit 38 validates or invalidates the watermark image (E). The process of FIG. 14 is periodically executed, for example, when the electronic blackboard 2 is activated or during activation.
  • the watermark image generation unit 38 determines whether watermark image data is stored in the page data storage unit 300 via the page processing unit 37 (step S10).
  • the page data storage unit 300 determines whether there is a file in the folder or directory. Further, based on whether data with a predetermined extension (* .png) is stored or whether data with a predetermined file name is stored, the watermark image generation unit 38 is configured to store the page data storage unit 300. It may be determined whether or not watermark image data is stored.
  • the watermark image generation unit 38 acquires watermark image data from the page processing unit 37 via the page processing unit 37 (step S20).
  • the watermark image data selected on the screen as shown in FIG. 15 is acquired.
  • the operation processing unit 26 displays a plurality of watermark images on the display 3, and accepts one image selected from the plurality of watermark images as a watermark image to be used (displayed).
  • the watermark image generation unit 38 sets the watermark image to be effective for the layout management unit 35 (step S30). Since the watermark image (E) is valid, the layout management unit 35 requests the display superimposing unit 36 to display the layer of the watermark image (E). When the watermark image generating unit 38 sends the watermark image to the display superimposing unit 36, the watermark image (E) is displayed on the display 3.
  • step S10 determines whether the determination in step S10 is No. If the determination in step S10 is No, the watermark image generation unit 38 sets the layer of the watermark image (E) to be invalid in the layout management unit 35 (step S40). Since the watermark image (E) is invalid, the layout management unit 35 requests the display superimposing unit 36 not to display the layer of the watermark image (E). Even if the watermark image generating unit 38 sends the watermark image to the display superimposing unit 36, the watermark image (E) is not displayed on the display 3.
  • determination in FIG. 14 may be performed by the layout management unit 35 instead of the watermark image generation unit 38.
  • the validity or invalidity of the watermark image is automatically set in this way, it is not necessary to set the watermark image (E) to be valid when the user wants to display the watermark image (E). However, there may be cases where the user does not want to display the watermark image. In this case, the user may delete the watermark image data from the page data storage unit 300, but this may be troublesome for the user. Therefore, it is effective that the user can select valid / invalid as follows.
  • FIG. 15 is a diagram showing an example of the valid / invalid setting screen 511 in which the validity / invalidity of the watermark image is set.
  • the valid / invalid setting screen 511 includes a reduced watermark image data column 512, a data selection button 513, a valid setting column 514, and a valid setting button 515.
  • the valid / invalid setting screen 511 is displayed by, for example, the UI image generation unit 33 when the user performs a predetermined operation.
  • the user selects one watermark image data from the list of watermark image data. Since the data selection button 513 is an exclusive button, the user can select only one arbitrary button (one watermark image). Further, when the user wants to validate the watermark image, the user selects the valid setting button 515 before “Yes”. When invalidating the watermark image, the user selects the valid setting button 515 in front of “No”.
  • the valid setting button 515 is also an exclusive button. As described above, the user can select the watermark image and can set whether the watermark image is valid or invalid on the display 3 of the electronic blackboard 2. Note that the selected watermark image data and the setting contents of validity or invalidity are stored in the page data storage unit 300.
  • FIG. 16 is an example of a flowchart illustrating a control procedure for determining whether the watermark image generation unit 38 validates or invalidates the watermark image (E). In the description of FIG. 16, differences from FIG. 14 will be described.
  • the watermark image generation unit 38 refers to the setting contents of the user stored in the page data storage unit 300, and determines whether or not the watermark image is set to be valid (step S5).
  • step S5 determines whether the watermark image is displayed even if the watermark image data is stored in the page data storage unit 300. If the user wants to display a watermark image, if the watermark image data is stored in the page data storage unit 300, the watermark image data can be automatically displayed when the display condition is satisfied.
  • the display superimposing unit 36 can display the watermark image (E) on the display 3.
  • the layout management unit 35 determines whether or not the display condition is satisfied, and switches between displaying and hiding the watermark image (E) as follows.
  • FIG. 17 is an example of a flowchart illustrating a procedure in which the layout management unit 35 switches between display and non-display of the watermark image (E) depending on whether video is input.
  • FIG. 17 is periodically executed, for example, when the watermark image is valid.
  • the layout management unit 35 determines whether an image is input from the notebook PC 6 (step S10).
  • the video from the notebook PC 6 is acquired by the video acquisition unit 21 and acquired by the image acquisition unit 31.
  • the layout management unit 35 inquires of the image acquisition unit 31 whether or not a video is input.
  • the layout management unit 35 may inquire of the display superimposing unit 36 whether or not the output image (C) is output from the image acquisition unit 31. Further, such determination is made in consideration of the convenience of explanation, and may be determined based on whether or not the capture device 111 detects a video signal.
  • the case where no video is input means that the notebook PC 6 and the electronic blackboard 2 are not connected by a video cable (D-Sub, HDMI (registered trademark), DVI, etc.). Even if the notebook PC 6 is connected to the electronic blackboard 2 with the video cable, if the video cannot be input because the power of the notebook PC 6 is OFF, it is determined that no video is input.
  • D-Sub HDMI (registered trademark), DVI, etc.
  • step S10 the layout management unit 35 notifies (requests) the display superimposing unit 36 to hide the watermark image (E) layer and display the output image (C) layer.
  • Step S20 the layer of the output image (C) is often displayed as long as video is input, and there is no need to notify the layer of the output image (C).
  • step S10 the layout management unit 35 notifies (requests) the display superimposing unit 36 to display the layer of the watermark image (E) and hide the layer of the output image (C).
  • Step S30 Since the layer of the output image (C) is not displayed unless a video is input, there is no need to notify the layer of the output image (C) to be hidden.
  • the watermark image (E) is not displayed when the output image (C) is displayed, the watermark image does not get in the way and the user can easily specify the video of the notebook PC 6 that he / she wants to capture as a still image. . If the output image (C) is not displayed, the watermark image (E) is displayed. If “Confidential” is displayed, the user knows that the confidentiality of the stroke image (B) and the background image (D) is high. it can. If a uniform watermark image is displayed, the stroke image (B) and the background image (D) can be visually observed with a desired color and contrast.
  • FIG. 18A is an example of a flowchart showing an operation when a still image acquisition operation is performed when video is input.
  • 18B and 18C are examples of images displayed on the display 3.
  • the UI image (A) and the stroke image (B) are not displayed.
  • the user operates the UI image (A) to capture a still image.
  • the operation processing unit 26 receives this operation (step S10).
  • FIG. 18B shows an output image (C) when a still image is captured.
  • a stroke image (B) and an output image (C) are acquired as still images.
  • the UI image (A) is not an acquisition target, and the watermark image (E) is not displayed (even if displayed, the watermark image (E) is not an acquisition target). Since the output image (C) is displayed, the background image (D) is not displayed.
  • the page processing unit 37 acquires the output image (C) from the image acquisition unit 31, acquires the stroke image (B) from the stroke processing unit 32, and stores it in the page data storage unit 300 as the background image (D).
  • the page processing unit 37 sends the background image (D) to the background generation unit 34, and the background generation unit 34
  • the background image (D) is sent to the display superimposing unit 36 (step S20).
  • the layout management unit 35 notifies the display superimposing unit 36 to hide the output image (C) in order to prioritize the background image (D) and to display the layer of the watermark image (E) (step S30). ).
  • FIG. 18C shows a still image and a watermark image (E) displayed as a background image (D).
  • the electronic blackboard 2 can display the watermark image (E) again.
  • Characters such as “Confidential” allow the user to grasp that the confidentiality of the background image (D) is high even if the watermark image (E) is not displayed in the output image (C).
  • FIG. 18C Video is input from the notebook PC 6 while the background image (D) and the watermark image (E) are displayed. After the elapse of a certain time, the processing of FIG. 17 is executed again, and the display state of the display 3 is switched from the state of displaying the background image (D) and the watermark image (E) to the state of displaying the output image (C). . In order to switch the display state of the display 3 before the fixed time has elapsed, the user performs an operation of switching from the background image (D) and the watermark image (E) to the output image (C).
  • FIG. 19A shows an output image (C) in which the electronic blackboard 2 displays the video of the notebook PC 6 in full screen.
  • the video icon 622 for capturing the video of the notebook PC 6 is highlighted. For example, a frame of a predetermined color is displayed on the video icon 622, the frame becomes thick, or blinks.
  • FIG. 19B shows the stage at the end of FIG. 18A. That is, the background image (D) and the watermark image (E) are displayed.
  • a still image is captured, a new page is generated, and a thumbnail 623 is displayed at the bottom of the display 3. Further, since the output image (C) is not displayed, the video icon 622 is not highlighted. Further, since the currently displayed thumbnail 623 is highlighted, the user can grasp that it is the background image (D).
  • FIG. 19C shows a state where the process of FIG. 17 has been executed.
  • the background image (D) and the watermark image (E) are switched to the output image (C). For this reason, the video icon 622 is highlighted. Further, since the currently displayed thumbnail 623 is not highlighted, the user can grasp that the image displayed on the display 3 is the output image (C).
  • the page processing unit 37 freezes the second image displayed on the display 3 (video input to the electronic blackboard 2 from the notebook PC 6). Acquire (capture) as an image.
  • the video superimposing unit 28 displays the acquired still image and the first image (character “Confidential”) on the display 3 for a predetermined time. After a predetermined time has elapsed, the video superimposing unit 28 displays the second image (video input from the notebook PC 6 to the electronic blackboard 2) again.
  • the user presses the video icon 622.
  • the display state of the display 3 is a state in which a stroke image (B) handwritten by the user is displayed and a background image (D) is also displayed. If no video is input, the user cannot perform the capture operation.
  • the watermark image (E) is hidden when a video is input, and the watermark image (E) is displayed when no video is input. Further, the display and non-display of the watermark image (E) may be switched based on whether or not the video input from the notebook PC 6 to the electronic blackboard 2 is a moving image. That is, whether or not a moving image is input is a display condition.
  • FIG. 20 is a modification of the flowchart showing a procedure in which the layout management unit 35 switches between display and non-display of the watermark image (E) depending on whether or not a video is input.
  • the layout management unit 35 switches between display and non-display of the watermark image (E) depending on whether or not a video is input.
  • the layout management unit 35 determines whether the input video (input video) is a moving image (step S15).
  • This moving image may be, for example, a video that continuously displays a series of images taken at regular time intervals.
  • the moving image may be a video that changes with time when the user operates the notebook PC 6. For example, even when the screen is switched or scrolled by browser software, the video is a moving image.
  • Whether or not the video is a moving image can be determined by a time series frame difference calculation acquired by the image acquisition unit 31. If the difference calculation is performed on the entire frame and the load is high, it may be performed only on a part of the frame.
  • the layout management unit 35 hides the layer of the watermark image (E) and displays the layer of the output image (C). 36 is notified (requested) (step S20). Therefore, in this case, the video superimposing unit 28 displays the output image (C) without displaying the watermark image (E).
  • the layout management unit 35 notifies the display superimposing unit 36 to display both the watermark image (E) layer and the output image (C) layer.
  • the video superimposing unit 28 displays the watermark image (E) and the output image (C). More specifically, the display superimposing unit 36 superimposes the watermark image (E) and the output image (C), and the video superimposing unit 28 superimposes the watermark image (E) superimposed on the display superimposing unit 36 and the output image (C). ) Is displayed on the display 3. In other words, the video superimposing unit 28 displays an image obtained by superimposing the watermark image (E) and the output image (C).
  • the watermark image (E) When a video is input, it is unclear which video the user wants to see, and there is a possibility that the watermark image (E) may become an obstacle to search for the video. In the case of being performed, the watermark image (E) can be hidden. In other words, the user can see a plurality of images constituting the moving image input from the notebook PC 6 without being disturbed by the watermark image (E). Thereby, for example, the user can acquire (capture) one of a plurality of images at a desired timing (time point). Also, when a still image is input, the user can view the video slowly, so the electronic blackboard 2 determines that the watermark image (E) does not get in the way, and the watermark image (E) and the output image (C) is displayed.
  • the electronic blackboard 2 displays the watermark image (E) when the video changes while the output image (C) is displayed, and displays the watermark image (E) when the video no longer changes. Can be used.
  • the video is still, for example, the word “Confidential” can be displayed, so that even if the video is input, the watermark image (E) can be displayed if it is a still image.
  • the video superimposing unit 28 displays the watermark image (E) and the output image (C). 3 may be superimposed and displayed.
  • the video superimposing unit 28 displays the output image (C) without displaying the watermark image (E). 3 may be displayed.
  • the electronic blackboard 2 can switch between displaying and hiding the watermark image depending on the presence / absence of video input from the notebook PC 6 without operation by the user.
  • a watermark image is not limited to text or a uniform color on a white background, and can be a watermark image if it is an image regardless of the information contained in the image.
  • the notebook PC 6 may wirelessly input an image to the electronic blackboard 2.
  • the presence or absence of video input is determined by whether or not a communication device such as a wireless LAN has received video.
  • this embodiment can be applied not only when the notebook PC 6 and the electronic blackboard 2 are connected or communicated one-on-one but also when communicating via a network (wired or wireless).
  • FIG. 4 and the like is divided according to main functions in order to facilitate understanding of processing by the electronic blackboard 2.
  • the present invention is not limited by the way of dividing the processing unit or the name.
  • the processing of the electronic blackboard 2 can be divided into more processing units according to the processing content. Moreover, it can also divide
  • the watermark image generation unit 38 is an example of a first image acquisition unit
  • the image acquisition unit 31 is an example of a second image acquisition unit
  • the layout management unit 35 is an example of an image determination unit.
  • the unit 36 is an example of an image superimposing unit
  • the video superimposing unit 28 is an example of a display unit.
  • the watermark image is an example of a first image
  • the output image is an example of a second image.
  • the file input unit 42a is an example of an image capturing unit
  • the operation processing unit 26 is an example of a transparency receiving unit
  • the page processing unit 37 is an example of a still image acquisition unit.
  • the image processing apparatus may be realized by a device memory storing one or more programs and one or more processors.
  • the one or more processors execute the processes described in the embodiments by executing the one or more programs.
  • the device memory and the one or more processors can realize (implement) the functions described in the embodiments.
  • the device memory and the one or more processors may be realized (implemented) by hardware elements as described in the embodiments.
  • One or more programs for causing a computer such as an image processing apparatus to execute processing may be stored in a non-volatile recording medium.

Abstract

外部機器が入力する入力映像を表示する画像処理装置は、記憶手段に記憶された第一の画像を取得する第一の画像取得手段と、前記入力映像から第二の画像を取得する第二の画像取得手段と、前記外部機器から入力された前記入力映像が所定の条件を満たさない場合、前記第一の画像を表示せずに前記第二の画像を表示させると判断し、前記外部機器から入力された前記入力映像が前記所定の条件を満たす場合、前記第一の画像と前記第二の画像を表示させると判断し、前記外部機器から前記入力映像が入力されていない場合、前記第一の画像を表示させると判断する画像判断手段と、前記画像判断手段が前記第一の画像と前記第二の画像を表示させると判断した場合、前記第一の画像と前記第二の画像を重畳する画像重畳手段と、前記画像重畳手段が重畳した前記第一の画像と前記第二の画像を表示部に表示する表示手段と、を有する。

Description

画像処理装置、画像表示方法、プログラム
 本発明は、画像処理装置、画像表示方法及びプログラムに関する。
 大型のフラットパネルディスプレイにタッチパネルが搭載された電子黒板が知られている。電子黒板は黒板の役割をする画面を表示し、電子ペンや指など指示体が接触した座標をタッチパネルで検出し、座標の軌跡を手書き内容として画面に描画する。したがって、ユーザは画面を黒板のように使用することができる。
 また、PC(Personal Computer)と接続することができる電子黒板では、PCと同じ画面をディスプレイに表示して手書き内容を重畳して描画することができる(例えば、特許文献1参照。)。特許文献1には、外部の情報処理装置から送信された動画を画像データに変換して保存したり再表示させたりする表示装置について開示されている。
 電子黒板はディスプレイに表示した映像を取り込む(キャプチャする)機能を有しており、手書き内容に限られずPCから入力された映像を静止画として取り込むことができる。
 しかしながら、電子黒板のディスプレイに表示された映像のうち会議などへの参加者が所望する映像を取り込むことができない場合があるという問題がある。以下、具体的な例を説明する。
 まず、電子黒板が使用される際、PCなどからの映像とは別に半透明の任意の画像を表示したいという要請がある。例えば、任意の画像を半透明にして電子黒板が表示すれば、会議への参加者等は半透明の画像を見ながら手書き内容等を見ることができる。半透明の画像に「Confidential」や「秘」という文字が記載されていれば、参加者等はディスプレイに表示されている情報の秘匿性が高いことを常に意識できる。
 しかし、半透明の画像が常に表示されていると、参加者は半透明の画像が邪魔になって、静止画として取り込みたいPCの映像を特定しにくい場合がある。例えば、PCの映像のうち参加者がよく見たい場所に「Confidential」等の文字が重なっている場合、参加者はPCの映像を取り込んでよいかどうかを確認しづらい。
 本発明は、上記課題に鑑み、表示中の画像の見やすさが低下することを抑制することができる電子黒板を提供することを目的とする。
 上記課題に鑑み、本発明の一つの実施形態によれば、外部機器が入力する入力映像を表示する画像処理装置は、記憶手段に記憶された第一の画像を取得する第一の画像取得手段と、前記入力映像から第二の画像を取得する第二の画像取得手段と、前記外部機器から入力された前記入力映像が所定の条件を満たさない場合、前記第一の画像を表示せずに前記第二の画像を表示させると判断し、前記外部機器から入力された前記入力映像が前記所定の条件を満たす場合、前記第一の画像と前記第二の画像を表示させると判断し、前記外部機器から前記入力映像が入力されていない場合、前記第一の画像を表示させると判断する画像判断手段と、前記画像判断手段が前記第一の画像と前記第二の画像を表示させると判断した場合、前記第一の画像と前記第二の画像を重畳する画像重畳手段と、前記画像重畳手段が重畳した前記第一の画像と前記第二の画像を表示部に表示する表示手段と、を有する。
 表示中の画像の見やすさが低下することを抑制することができる画像処理装置を提供することができる。
電子黒板の動作の概略の例を説明する図である。 電子黒板の動作の概略の例を説明する図である。 電子黒板の動作の概略の例を説明する図である。 電子黒板の動作の概略の例を説明する図である。 画像処理システムの全体構成図の一例である。 電子黒板のハードウェア構成図の一例である。 電子黒板の機能ブロック図の一例である。 ファイル処理部の機能ブロック図の一例である。 サーバ部とクライアント部の機能ブロック図の一例である。 各画像レイヤの構成図の一例である。 各電子黒板の処理を示したシーケンス図の一例である。 各電子黒板の処理を示したシーケンス図の一例である。 透かし画像のアップロード時に表示される画面の例を説明する図である。 透かし画像のアップロード時に表示される画面の例を説明する図である。 透かし画像の一例を示す図である。 透かし画像の別の例を示す図である。 透明度の設定方法を説明するフローチャートの一例である。 透明度の設定画面の例を示す図である。 透明度の設定画面の例を示す図である。 透かし画像生成部が透かし画像を有効とするか無効とするかの制御手順を示すフローチャートの一例である。 透かし画像の有効/無効が設定される有効無効設定画面の一例を示す図である。 透かし画像生成部が透かし画像を有効とするか無効とするかの制御手順を示すフローチャートの一例である。 レイアウト管理部が映像の入力の有無に応じて透かし画像の表示と非表示を切り替える手順を示すフローチャートの一例である。 映像が入力されている場合に静止画の取得操作が行われた場合の動作を示すフローチャートの一例である。 ディスプレイに表示された画像の例を示す図である。 ディスプレイに表示された画像の例を示す図である。 静止画を取り込み時の電子黒板の動作の例を説明する図である。 静止画を取り込み時の電子黒板の動作の例を説明する図である。 静止画を取り込み時の電子黒板の動作の例を説明する図である。 レイアウト管理部が映像の入力の有無に応じて透かし画像(E)の表示と非表示を切り替える手順を示すフローチャートの変形例である。
 以下、本発明を実施する形態の一例の装置である電子黒板2と電子黒板2が行う画像表示方法について図面を参照しながら説明する。
 <動作の概略>
 図1A-図1Dは、本実施形態の電子黒板2の動作の概略を説明する図の一例である。図1Aは電子黒板2に対し外部機器となるノートPC6(Personal Computer)と電子黒板2が接続されていない状態を示す。ノートPC6は自機のディスプレイに映像を表示しているがこの映像は電子黒板2には出力されていない。電子黒板2は半透明の画像(以下、透かし画像という)を表示する機能を有しており、透かし画像を利用して「Confidential」という文字を表示している。透かし画像(文字「Confidential」)は半透明であるため、会議などへの参加者(以下、電子黒板2を使用する者という意味でユーザという場合がある)はディスプレイ3に表示されている各種の情報を目視できる。
 例えば、プレゼンテーションなどで機密情報が公開される場合、発表者が参加者と秘密保持契約(NDA:Non-disclosure agreement)を結ぶことが困難な場合がある。このような場合、電子黒板2に「Confidential」と表示されていれば、発表者と参加者は秘密保持契約を結んだと推定されるため、プレゼンテーション等を円滑に行うことができるという利点がある。
 図1Bは本実施形態の電子黒板2と比較される比較例の動作を示す点に注意されたい。図1BはノートPC6と電子黒板2が接続されている状態を示す。図1Bに示すように、ノートPC6がディスプレイ3に表示する映像(これを出力画像(C)という)がディスプレイ3に出力されている。透かし画像(E)はノートPC6の映像より手前であるが、半透明なのでユーザは透かし画像越しにノートPC6の映像を目視できる。しかし、電子黒板2のディスプレイ3においては、「Confidential」という文字が常に表示されているため、ノートPC6の映像の視認性が低下してしまう。例えば、ノートPC6がディスプレイ3に動画を表示させている場合、映像が時間と共に変化するため、「Confidential」という文字と映像が重なっている部分も時間と共に変化する。ユーザは動画としての変化と、透かし画像と動画の重なり部分の変化を見てしまうため、ノートPC6の映像を取り込むタイミングを把握しにくい。
 図1Cは本実施形態の電子黒板2がノートPC6の映像を表示する場合の動作を説明する図である。ノートPC6からの映像が入力された電子黒板2は、透かし画像(E)を非表示に切り替える。これにより、図1Cに示すように「Confidential」という文字がディスプレイ3に表示されない。ノートPC6の映像が「Confidential」という文字と重なることがないので、ユーザは静止画として保存しておきたい映像が表示されたタイミングでノートPC6の映像を静止画として取り込むことができる。
 図1Dは本実施形態の電子黒板2がノートPC6の映像を表示しない場合の動作を説明する図である。ノートPC6からの映像が入力されない電子黒板2は、透かし画像(E)をディスプレイ3に表示する。ユーザが操作しなくても、透かし画像(E)の表示と非表示をノートPC6の映像の入力の有無により切り替えることができる。
 以上説明したように、ノートPC6から映像(入力映像)が入力されていない場合、電子黒板2は、電子黒板2に(予め)記憶された第一画像(例えば、文字「Confidential」などの透かし画像)をディスプレイ3に表示する。この場合、ノートPC6の映像はディスプレイ3に表示されない。また、図20等において後述するように、ノートPC6から入力された映像(入力映像)が所定の条件を満たさない場合、電子黒板2は第一画像(文字「Confidential」などの透かし画像)を表示せずにノートPC6から入力された映像をディスプレイ3に表示し、ノートPC6から入力された映像(入力映像)が所定の条件を満たす場合、電子黒板2は第一画像(文字「Confidential」などの透かし画像)とノートPC6から入力された映像とをディスプレイ3に表示する。なお、例えば、図20に示すように、ノートPC6から入力された映像が動画である場合、所定の条件は満たされない。例えば、ノートPC6から入力された映像が動画ではない場合、所定の条件は満たされる。
 このように電子黒板2が透かし画像の表示と非表示を制御することで、ノートPC6の映像が入力されていない場合は透かし画像を活用でき、ノートPC6の映像が入力されている場合にはノートPC6の映像を高画質に表示できる。
 <用語について>
 特許請求の範囲の外部機器は、電子黒板2に対し外部の機器であればよく、ケーブル、ネットワーク、又はインタフェースを介して接続できる機器を言う。例えば、ノートPC6及びこれと同等の機器が外部機器の一例である。また、可搬性の記憶媒体も外部機器に相当する。
 画像処理装置は画像を表示する装置である。上記した電子黒板2は画像処理装置の一例である。画像処理装置は、ディスプレイを有していてもよいし、プロジェクタを使って画像を投影してもよい。本実施形態では、画像処理装置を電子黒板2という用語で説明する。
 表示部はディスプレイやプロジェクタなど、画像を表示する手段をいう。画像処理装置がディスプレイを有する場合、ディスプレイが、画像処理装置に(予め)記憶された文字「Confidential」などの画像(第一画像)及びノートPC6などの外部機器から入力された画像(第二の画像)を表示することが可能な表示部である。画像処理装置がプロジェクタを使って画像を投影する場合、画像が投影される部分(被投影面)が表示部である。
 <システムの概要>
 図2は、本実施形態の画像処理システム1の全体構成図である。なお、図2では、説明を簡略化するために、2台の電子黒板2a,2b及びこれに付随する電子ペン4a,4b等を示しているだけであって、3台以上の電子黒板2や電子ペン等を利用してもよい。
 図2に示されているように、画像処理システム1は、複数の電子黒板2a,2b、複数の電子ペン4a,4b、USBメモリ5a,5b、ノートPC6(Personal Computer)6a,6b、テレビ(ビデオ)会議端末7a,7b、及びPC8を有する。また、電子黒板2a,2b、及びPC8は、通信ネットワーク9を介して通信可能に接続されている。更に、複数の電子黒板2a,2bには、それぞれディスプレイ3a,3bが設けられている。
 また、電子黒板2aには、電子ペン4aによって生じたイベント(ディスプレイ3aに電子ペン4aのペン先、又は、電子ペン4aのペン尻のタッチ)による描画された画像を、ディスプレイ3aに表示させることができる。なお、電子ペン4aだけでなく、ユーザの手Ha等によって生じたイベント(拡大、縮小、ページめくり等のジェスチャ)に基づいて、ディスプレイ3a上に表示されている画像を変更させることもできる。
 また、電子黒板2aには、USBメモリ5aが接続可能であり、電子黒板2aはUSBメモリ5aからPDF等の電子ファイルを読み出したり、電子黒板2aはUSBメモリ5aに電子ファイルを記録したりすることができる。また、電子黒板2aには、DisplayPort(登録商標)、DVI(Digital Visual Interface)、HDMI(登録商標。High-Definition Multimedia Interface)及びVGA(Video Graphics Array)等の規格による通信が可能なケーブル10a1を介して、ノートPC6aが接続されている。そして、電子黒板2aは、ディスプレイ3aに対する接触によってイベントを発生させ、このイベントを示すイベント情報を、マウスやキーボード等の入力装置からのイベントと同様に、ノートPC6aに送信する。同じく、電子黒板2aには、上記規格による通信が可能なケーブル10a2を介して、テレビ(ビデオ)会議端末7aが接続されている。なお、ノートPC6a、及びテレビ会議端末7aは、Bluetooth(登録商標)等の各種無線通信プロトコルに準拠した無線通信により、電子黒板2aと通信してもよい。
 一方、電子黒板2bが設置されている他の拠点では、上記と同様に、ディスプレイ3bを備えた電子黒板2b、電子ペン4b、USBメモリ5b、ノートPC6b、テレビ会議端末7b、ケーブル10b1、ケーブル10b2が利用される。更に、ユーザの手Hb等によって生じたイベントに基づいて、ディスプレイ3b上に表示されている画像を変更させることもできる。
 これにより、一の拠点で電子黒板2aのディスプレイ3a上に描画された画像は、他の拠点で電子黒板2bのディスプレイ3b上にも表示され、逆に他の拠点で電子黒板2bのディスプレイ3b上に描画された画像は、一の拠点で電子黒板2aのディスプレイ3a上に表示される。このように、画像処理システム1では、遠隔地において同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、非常に便利である。
 なお、以下では、複数の電子黒板2のうち任意の電子黒板2を示す場合には「電子黒板2」と示す。複数のディスプレイのうち任意のディスプレイを示す場合には「ディスプレイ3」と示す。複数の電子ペンのうち任意の電子ペンを示す場合には「電子ペン4」と示す。複数のUSBメモリのうち任意のUSBメモリを示す場合には「USBメモリ5」と示す。複数のノートPC6のうち任意のノートPC6を示す場合には「ノートPC6」と示す。複数のテレビ会議端末のうち任意のテレビ会議端末を示す場合には「テレビ会議端末7」と示す。また、複数のユーザの手のうち任意の手を示す場合には「手H」と示す。複数のケーブルのうち任意のケーブルを示す場合には「ケーブル10」と示す。
 また、本実施形態では、画像処理装置の一例として、電子黒板2を説明するが、これに限るものではなく、画像処理装置の他の例として、電子看板(デジタルサイネージ)、スポーツや天気予報等で利用されるテレストレータ、又は、遠隔画像(映像)診断装置等であってもよい。また、情報処理端末の一例として、ノートPC6を説明するが、これに限るものではなく、情報処理端末の他の例として、デスクトップ型PCやタブレット型PC、PDA、スマートフォン、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末であってもよい。更に、通信ネットワークには、インターネット、LAN(Local Area Network)、携帯電話通信網等が含まれる。また、本実施形態では、記録媒体の一例として、USBメモリを説明するが、これに限るものではなく、記録媒体の他の例として、SDカード等の各種記録メディアであってもよい。
 <電子黒板2のハードウェア構成>
 続いて、図3を用いて、本実施形態の電子黒板2のハードウェア構成を説明する。なお、図3は、電子黒板2のハードウェア構成図である。
 図3に示されているように、電子黒板2は、電子黒板2全体の動作を制御するCPU101、IPL等のCPU101の駆動に用いられるプログラムを記憶したROM102、CPU101のワークエリアとして使用されるRAM103、電子黒板2用のプログラム等の各種データを記憶するSSD104、通信ネットワーク9との通信を制御するネットワークコントローラ105、及び、USBメモリ5との通信を制御する外部記憶コントローラ106を備えている。
 また、電子黒板2は、ノートPC6のディスプレイに対して映像情報を静止画又は動画として表示させるキャプチャデバイス111、グラフィクスを専門に扱うGPU(Graphics Processing Unit)112、及び、GPUからの出力画像をディスプレイ3やテレビ会議端末7へ出力するために画面表示の制御及び管理を行うディスプレイコントローラ113を備えている。
 更に、電子黒板2は、接触センサ115の処理を制御するセンサコントローラ114、ディスプレイ3上に電子ペン4やユーザの手H等が接触したことを検知する接触センサ115を備えている。この接触センサ115は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ3の上側両端部に設置された2つ受発光装置が、ディスプレイ3に平行して複数の赤外線を放射し、ディスプレイ3の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ115は、物体によって遮断された2つの受発光装置が放射した赤外線のID(Identification)をセンサコントローラ114に出力し、センサコントローラ114が、物体の接触位置である座標位置を特定する。なお、以下に示す全ての各IDは、識別情報の一例である。
 また、接触センサ115としては、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2の抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。
また、電子黒板2は、電子ペンコントローラ116を備えている。この電子ペンコントローラ116は、電子ペン4と通信することで、ディスプレイ3へのペン先のタッチやペン尻のタッチの有無を判断する。なお、電子ペンコントローラ116が、電子ペン4のペン先及びペン尻だけでなく、電子ペン4のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
 更に、電子黒板2は、CPU101、ROM102、RAM103、SSD104、ネットワークコントローラ105、外部記憶コントローラ106、キャプチャデバイス111、GPU112、センサコントローラ114、及び電子ペンコントローラ116を、図4に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン120を備えている。
 なお、電子黒板2用のプログラムは、CD-ROM等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
 <電子黒板2の機能構成>
 続いて、図4~図7を用いて、電子黒板2の機能構成について説明する。なお、先ずは、図4を用いて、電子黒板2の全体的な機能構成について説明する。図4は、電子黒板2の機能ブロック図である。
 電子黒板2は、図4に示されているハードウェア構成及びプログラムによって、図4に示されている各機能構成を有する。電子黒板2は、最初に遠隔共有処理を開始する「主催装置」となり得ると共に、既に開始されている遠隔共有処理に後から参加する「参加装置」にもなり得る。また、電子黒板2は、大きく分けて、クライアント部20及びサーバ部90の両方によって構成されている。クライアント部20及びサーバ部90は、電子黒板2の1台の筐体内で実現される機能である。そして、電子黒板2が主催装置となる場合には、この電子黒板2では、クライアント部20とサーバ部90が実現される。また、電子黒板2が参加装置となる場合には、この電子黒板2では、クライアント部20は実現されるが、サーバ部90は実現されない。即ち、図3において、電子黒板2aが主催装置で、電子黒板2bが参加装置となる場合、電子黒板2aのクライアント部20は、同じ電子黒板2a内に実現されたサーバ部90を介して、他の電子黒板2bのクライアント部20と通信を行う。一方、電子黒板2bのクライアント部20は、他の電子黒板2a内に実現されたサーバ部90を介して、他の電子黒板2aのクライアント部と通信を行う。
 <<クライアント部20の機能構成>>
 続いて、主に図4から図7を用いて、クライアント部20の機能構成について説明する。クライアント部20は、映像取得部21、座標検知部22、自動調整部23、接触検知部24、イベント振分部25、操作処理部26、ジェスチャ処理部27、映像重畳部28、画像処理部30、及び通信制御部60を有する。
 このうち、映像取得部21は、ケーブル10に接続された映像出力機器の出力画像を取得する。映像取得部21は、映像出力機器から画像信号を受信すると、この画像信号を解析して、この画像信号によって形成される映像出力機器の表示画像である画像フレームの解像度や、この画像フレームの更新頻度などの画像情報を導出し、画像取得部31に出力する。
 座標検知部22は、ディスプレイ3上でユーザによって生じたイベント(ディスプレイ3上にユーザの手Hがタッチされた動作等)の座標位置を検出する。また、座標検知部22は、タッチされた面積も検出する。
 自動調整部23は、電子黒板2の起動時(再起動時と表現してもよい)に起動され、座標検知部22が適切な値を出力できるように、光センサ方式により座標を検知する座標検知部22がセンサーカメラの画像を処理する際のパラメータを調整する。
 接触検知部24は、ユーザによって生じたイベント(ディスプレイ3上に電子ペン4のペン先又は電子ペン4のペン尻が押下(タッチ)された動作等)を検出する。
 イベント振分部25は、座標検知部22によって検知されたイベントの座標位置と接触検知部24によって検出された検出結果を、ストローク描画、UI操作、及びジェスチャ操作の各イベントに振り分ける。ここで、「ストローク描画」は、ディスプレイ3上に図7に示されている後述のストローク画像(B)が表示されている場合に、ユーザがディスプレイ3上で電子ペン4を押下し、この押下した状態で電子ペン4を移動させ、最終的にディスプレイ3上から電子ペン4を離すまでのイベントである。このストローク描画により、例えば、アルファベット「S」や「T」等がディスプレイ3上に描画される。なお、この「ストローク描画」には、画像を描画するだけでなく、既に描画された画像を削除したり、描画された画像を編集したりするイベントも含まれる。
 「UI操作」は、ディスプレイ3上に図7に示されている後述のUI画像(A)が表示されている場合に、ユーザが電子ペン4又は手Hによって所定の位置を押下したイベントである。このUI操作により、例えば、電子ペン4により描画される線の色や幅等が設定される。
 「ジェスチャ操作」は、ディスプレイ3上に図7に示されている後述のストローク画像(B)が表示されている場合に、ユーザが手Hでディスプレイ3上をタッチしたり移動させたりするイベントである。このジェスチャ操作により、例えば、ユーザがディスプレイ3に手Hをタッチさせた状態で手Hを移動させることで、画像の拡大(若しくは縮小)、表示領域の変更、又は、ページ切り換え等を行うことができる。
 操作処理部26は、イベント振分部25によってUI操作と判断されたものから、イベントが発生されたUIの要素にしたがって、各種操作を実行する。このUIの要素としては、例えば、ボタン、リスト、チェックボックス、テキストボックスが挙げられる。ジェスチャ処理部27は、イベント振分部25によってジェスチャ操作と判断されたものに対応した操作を実行する。
 映像重畳部28は、後述の表示重畳部36で重畳された画像を映像として表示部29に対して表示する。表示部29はディスプレイ3により実現される表示機能を示す。また、映像重畳部28は、映像出力機器(ノートPC6等)からの映像に対して、他の映像出力機器(テレビ会議端末7等)から送られて来た映像をピクチャーインピクチャーする。更に、映像重畳部28は、ピクチャーインピクチャーされて表示部29の一部に表示された映像を、表示部29の全体に表示させるための切り替えを行う。
 画像処理部30は、図7に示されているような各画像レイヤの重畳処理等を行う。この画像処理部30は、画像取得部31、ストローク処理部32、UI画像生成部33、背景生成部34、透かし画像生成部38、レイアウト管理部35、表示重畳部36、ページ処理部37、ファイル処理部40、ページデータ記憶部300、及び遠隔ライセンス管理テーブル310を有している。
 このうち、画像取得部31は、映像取得部21で取得された映像から、各フレームを画像として取得する。画像取得部31は、この画像のデータを、ページ処理部37に出力する。この画像は、図7に示されている映像出力機器(ノートPC6等)からの出力画像(C)に相当する。
 ストローク処理部32は、イベント振分部25によって割り振られたストローク描画に係るイベントに基づいて、画像を描画したり、描画された画像を削除したり、描画された画像を編集する。このストローク描画による画像は、図7に示されているストローク画像(B)に相当する。また、このストローク描画に基づいた画像の描画、削除、編集の各結果は、後述の操作データとして、操作データ記憶部840に記憶される。
 UI画像生成部33は、電子黒板2に予め設定されているUI(ユーザインターフェース)画像を生成する。このUI画像は、図7に示されているUI画像(A)に相当する。
 背景生成部34は、ページ処理部37がページデータ記憶部300から読み出したページデータのうちのメディアデータを、ページ処理部37から受信する。背景生成部34は、この受信したメディアデータを表示重畳部36に出力する。また、このメディアデータによる画像は、図7に示されている背景画像(D)に相当する。背景画像(D)のパターンは、無地、グリッド表示等である。
 透かし画像生成部38は、電子黒板2の記憶手段としてページデータ記憶部300に記憶されている透かし画像データを表示重畳部36に出力する。この透かし画像データは、図7に示されている透かし画像(E)に相当する。透かし画像の詳細は後述されるが、透かし画像生成部38はページデータ記憶部300の透かし画像データをディスプレイ3の解像度やアスペクト比に合わせるなどの処理を行って透かし画像データを生成する。透明度は予め透かし画像データが保持していてもよいし、ユーザが電子黒板2で設定してもよい。別の言い方をすれば、透かし画像(E)に関する透かし画像データは、少なくとも透かし画像(E)の透明度に関する情報を有していてもよい。
 レイアウト管理部35は、表示重畳部36に対して、画像取得部31、ストローク処理部32、UI画像生成部33(又は背景生成部34)及び透かし画像生成部38から出力された各画像のレイアウトを示すレイアウト情報を管理している。これにより、レイアウト管理部35は、表示重畳部36に対して、出力画像(C)、ストローク画像(B)及び透かし画像(E)を、UI画像(A)及び背景画像(D)中のどの位置に表示させるか又は非表示にさせるかを指示することができる。
 表示重畳部36は、レイアウト管理部35から出力されたレイアウト情報に基づき、画像取得部31、ストローク処理部32、UI画像生成部33(背景生成部34)及び透かし画像生成部38から出力された各画像のレイアウト(重ね合わせ)を行う。
 ページ処理部37は、ストローク画像(B)のデータと出力画像(C)のデータを、1つのページデータにまとめてページデータ記憶部300に記憶する。ストローク画像(B)のデータは、図7に示されているストローク配列データIDで示されるストローク配列データ(各ストロークデータ)として、ページデータの一部を成す。出力画像(C)のデータは、図7に示されているメディアデータIDで示されているメディアデータとして、ページデータの一部を成す。そして、このメディアデータは、ページデータ記憶部300から読み出されると、背景画像(D)のデータとして取り扱われる。
 また、ページ処理部37は、一旦記憶されたページデータのうちのメディアデータを、背景生成部34を介して表示重畳部36に送信することで、映像重畳部28が背景画像(D)をディスプレイ3に再表示させることができる。また、ページ処理部37は、ページデータのうちのストローク配列データ(各ストロークデータ)を、ストローク処理部32に戻すことで、ストロークの再編集ができる状態にすることができる。更に、ページ処理部37は、ページデータを削除したり複製したりすることもできる。
 即ち、ページ処理部37がページデータ記憶部300にページデータを記憶する時点でディスプレイ3上に表示されている出力画像(C)のデータは、一旦、ページデータ記憶部300に記憶され、その後にページデータ記憶部300から読み出される際には、背景画像(D)を示すメディアデータとして読みされる。そして、ページ処理部37は、ページデータ記憶部300から読み出したページデータのうち、ストローク画像(B)を示すストローク配列データを、ストローク処理部32に出力する。また、ページ処理部37は、ページデータ記憶部300から読み出したページデータのうち、背景画像(D)を示すメディアデータを、背景生成部34に出力する。
 また、ページ処理部37は、ページデータ記憶部300に記憶された透かし画像データを透かし画像生成部38に送出する。透かし画像生成部38は透かし画像を表示重畳部36に送信する。
 表示重畳部36は、画像取得部31からの出力画像(C)、ストローク処理部32からのストローク画像(B)、UI画像生成部33からのUI画像(A)、背景生成部34からの背景画像(D)、及び透かし画像生成部38からの透かし画像(E)を、レイアウト管理部35によって指定されたレイアウトにしたがって重畳する。これにより、図7に示されているように、各画像が重なってもユーザが見える順に、UI画像(A)、ストローク画像(B)、透かし画像(E)、出力画像(C)、及び背景画像(D)の各レイヤの構成となっている。
 また、表示重畳部36は、図7に示されている出力画像(C)と背景画像(D)を切り替えて、UI画像(A)、ストローク画像(B)及び透かし画像(E)に対して排他的に重畳することも可能である。例えば、当初、UI画像(A)、ストローク画像(B)及び出力画像(C)が表示されている状態で、電子黒板2と映像出力機器(ノートPC6等)との間のケーブル10が抜かれた場合には、レイアウト管理部35の指定によって、出力画像(C)を重畳対象から外し、背景画像(D)を表示させることができる。この場合、レイアウト管理部35は透かし画像(E)を非表示から表示に切り替える。また、表示重畳部36は、表示の拡大、表示の縮小、表示領域の移動処理も行う。
 ページデータ記憶部300は、表1に示されているようなページデータを記憶する。
Figure JPOXMLDOC01-appb-T000001
 表1は、ページデータを概念的に示す。ページデータは、ディスプレイ3に表示される1ページ分のデータ(ストローク配列データ(各ストロークデータ)及びメディアデータ)である。なお、ページデータに含まれるパラメータの種類が多いため、ここでは、表1~表4に分けて、ページデータの内容を説明する。
 ページデータは、表1に示されているように、任意の1ページを識別するためのページデータID、このページの表示を開始した時刻を示す開始時刻、ストロークやジェスチャ等によるページの内容の書き換えが行われなくなった時刻を示す終了時刻、電子ペン4やユーザの手Hによるストロークによって生じたストローク配列データを識別するためのストローク配列データID、及びメディアデータを識別するためのメディアデータIDが関連付けて記憶されている。ストローク配列データは、後述の図7に示されているストローク画像(B)がディスプレイ3上に表示されるためのデータである。メディアデータは、後述の図7に示されている背景画像(D)がディスプレイ3上に表示されるためのデータである。
 このようなページデータにより、例えば、ユーザが電子ペン4によってアルファベット「S」を描く場合は一筆書きとなるため、ストロークデータIDが1つで一文字のアルファベット[S]が示される。ところが、ユーザが電子ペン4によってアルファベット「T」を描く場合、二筆書きとなるため、ストロークデータIDが2つで一文字のアルファベット「T」が示されることになる。
Figure JPOXMLDOC01-appb-T000002
 また、ストローク配列データは、表2に示されているように詳細な情報を示している。表2は、ストローク配列データを概念的に示す。表2に示されているように、1つのストローク配列データは、複数のストロークデータによって表される。そして、1つのストロークデータは、このストロークデータを識別するためのストロークデータID、1つのストロークの書き始めの時刻を示す開始時刻、1つのストロークの書き終わりの時刻を示す終了時刻、ストロークの色、ストロークの幅、及び、ストロークの通過点の配列を識別するための座標配列データIDを示している。
Figure JPOXMLDOC01-appb-T000003
 更に、この座標配列データは、表3に示されているように詳細な情報を示している。表3は、座標配列データを概念的に示す。表3に示されているように、座標配列データは、ディスプレイ3上の1点(X座標値、Y座標値)、この1点を通過したときのストロークの開始時刻からの差分の時刻(ms)、及び、この1点における電子ペン4の筆圧の各情報を示している。即ち、表3に示されている1点の集まりが、表2に示されている1つの座標配列データで示されている。例えば、ユーザが電子ペン4によってアルファベット「S」を描く場合、一筆書きとなるが、「S」を描き終えるまでに、複数の通過点を通過するため、座標配列データは、これら複数の通過点の情報を示している。
 また、表1に示されているページデータのうちのメディアデータは、表4に示されているように詳細な情報を有している。
Figure JPOXMLDOC01-appb-T000004
 表4は、メディアデータを概念的に示す。表4に示されているように、メディアデータは、表1に示されているページデータにおけるメディアデータID、メディアデータのデータ種類、ページ処理部37からページデータ記憶部300にページデータが記憶された記録時刻、ページデータによってディスプレイ3上に表示される画像の位置(X座標値、Y座標値)及び画像のサイズ(幅、高さ)、並びにメディアデータの内容を示すデータが関連付けられて示されている。このうち、ページデータによってディスプレイ3上に表示される画像の位置は、ディスプレイ3の左上端の座標を(X座標値,Y座標値)=(0,0)とした場合に、ページデータによって表示される画像の左上端の位置を示している。
 図4に戻って説明する。ページデータ記憶部300には、透かし画像データが記憶されている。透かし画像データは表5に示されているような情報を有している。
Figure JPOXMLDOC01-appb-T000005
 表5は、ページデータ記憶部300に記憶された透かし画像データを概念的に示す。表5に示されているように、透かし画像データはファイルとして保持されており、ファイル名、更新日時、種類、及び、作成者の各情報を対応付けて保持している。これらは情報処理装置がファイルの属性として有する項目であり、この他、ファイルが持ちうる属性が登録されていてよい。また、表5では3つのファイルが登録されているが、ファイルは1つ以上登録されていればよい。また、1つもファイルが登録されていない場合もあり得る(透かし画像は表示できない)。複数のファイルが登録されている場合、最後に表示された透かし画像データ、ユーザが選択した透かし画像データ、更新日時が最も新しい(又は古い)透かし画像データ、又は、電子黒板2にログインしたユーザを作成者とする透かし画像データが適宜、選択して使用される。
 ファイルの種類は透明度を扱える透過PNG(以下、単にPNGという)であるが、透過GIFなど透明度を表すことができるファイルであればよい。また、ファイルの機能として透明度を保持できなくても透かし画像生成部38が、JPEGなどから透明度が制御された透かし画像を作成してもよい。
 次に、遠隔ライセンス管理テーブル310について説明する。遠隔ライセンス管理テーブル310は、遠隔共有処理を実行するために必要なライセンスデータを管理する。この遠隔ライセンス管理テーブル310では、表6に示されているように、電子黒板2のプロダクトID、認証に用いられるライセンスID、及びライセンスの有効期限が関連付けて管理されている。
Figure JPOXMLDOC01-appb-T000006
 (ファイル処理部40の機能構成)
 続いて、図5を用いて、図4に示されているファイル処理部40の機能構成を説明する。なお、図5は、ファイル処理部の機能ブロック図である。ファイル処理部40は、リカバリ処理部41、ファイル入力部42a、ファイル出力部42b、ファイル変換部43、ファイル送信部44、アドレス帳入力部45、バックアップ処理部46、バックアップ出力部47、設定管理部48、設定ファイル入力部49a、及び設定ファイル出力部49bを有している。更に、ファイル処理部40は、アドレス帳管理テーブル410、バックアップデータ記憶部420、設定ファイル記憶部430、及び接続先管理テーブル440を有している。
 このうち、リカバリ処理部41は、電子黒板2が異常終了した後に、異常終了を検知し、未保存のページデータを復旧する。例えば、正常終了の場合は、ページデータがPDFファイルとしてファイル処理部40を介してUSB5に記録されるが、電源がダウンした等の異常終了の場合は、ページデータがページデータ記憶部300に記録されたままになっている。そのため、再び、電源オンになった際に、リカバリ処理部41は、ページデータ記憶部300からページデータを読み出すことで復旧させる。
 ファイル入力部42aは、USBメモリ5から、PDFファイルを読み込み、各ページをページデータとしてページデータ記憶部300に記憶する。ファイル変換部43は、ページデータ記憶部300に記憶されているページデータを、PDF形式のファイルに変換する。また、ファイル入力部42aは、透かし画像データを読み取り、ページデータ記憶部300に記憶する。電子黒板2に装着されたUSBメモリ5からPNGなど所定の種類のファイルを自動で読み取ってもよいし、ユーザが指定するファイルをファイル入力部42aがUSBメモリ5からページデータ記憶部300にコピーしてもよい。
 また、ユーザが任意の端末を操作して電子黒板2と通信し、電子黒板2が用意したWebページを使って透かし画像データを電子黒板2にアップロードで入力してもよい。この場合、ファイル入力部42aはWebサーバとして機能する。任意の端末はブラウザ等で電子黒板2のIPアドレスを指定してファイル送信が可能なHTMLデータを電子黒板2から受信する。ブラウザはユーザによるファイルの選択を受け付けるので、ユーザが選択した透かし画像データのファイルを任意の端末がファイル入力部42aに送信する。ファイル入力部42aは透かし画像データのファイルをページデータ記憶部300に記憶させる。別の言い方をすれば、ファイル入力部42aは、透かし画像(E)の透明度に関する情報を有する透かし画像データを、外部から取り込む(取得する)ことができ、その透かし画像データをページデータ記憶部300に記憶することができる。
 ファイル出力部42bは、ファイル変換部43によって出力されたPDFファイルをUSBメモリ5に記録する。
 ファイル送信部44は、ファイル変換部43によって生成されたPDFファイルを、電子メールに添付して送信する。このファイルの送信先は、表示重畳部36によってディスプレイ3上にアドレス帳管理テーブル410の内容を表示し、ファイル送信部44がユーザによるタッチパネル等の入力装置の操作により、宛先の選択を受け付けることによって決定される。アドレス帳管理テーブル410には、表7に示されているように、宛先の名前及び宛先の電子メールのメールアドレスが関連付けて管理されている。
Figure JPOXMLDOC01-appb-T000007
 また、ファイル送信部44が、ユーザによるタッチパネル等の入力装置の操作により、宛先としてのメールアドレスの入力を受け付けることもできる。
 アドレス帳入力部45は、USBメモリ5から電子メールアドレスの一覧ファイルを読み込み、アドレス帳管理テーブル410に管理する。
 バックアップ処理部46は、ファイル出力部42bによって出力されたファイルや、ファイル送信部44によって送信されたファイルを、バックアップデータ記憶部420に記憶することでバックアップする。なお、ユーザがバックアップ設定しない場合は、バックアップの処理は行われない。バックアップデータは、表8に示されているように、PDF形式で記憶される。
Figure JPOXMLDOC01-appb-T000008
 バックアップ出力部47は、バックアップされたファイルをUSBメモリ5に記憶する。この記憶の際には、ユーザによるタッチパネル等の入力装置の操作により、セキュリティのためにパスコードが入力される。
 設定管理部48は、電子黒板2の各種設定情報を設定ファイル記憶部430に記憶したり読み出したりして管理する。この各種設定情報としては、例えば、ネットワーク設定、日付や時刻の設定、地域や言語の設定、メールサーバの設定、アドレス帳の設定、接続先リストの設定、バックアップに関する設定が挙げられる。なお、ネットワーク設定は、例えば、電子黒板2のIPアドレスの設定、ネットマスクの設定、デフォルトゲートウェイの設定、又はDNS(Domain Name System)の設定等である。
 設定ファイル出力部49bは、電子黒板2の各種設定情報を、設定ファイルとしてUSBメモリ5に記録させる。なお、設定ファイルはセキュリティによって、ユーザは中身を見ることができない。
 設定ファイル入力部49aは、USBメモリ5に記憶されている設定ファイルを読み込み、各種設定情報を電子黒板2の各種設定に反映させる。
 アドレス帳入力部50は、USBメモリ5から遠隔共有処理の接続先IPアドレスの一覧ファイルを読み込み、接続先管理テーブル440に管理する。接続先管理テーブル440の一例を表9に示す。
Figure JPOXMLDOC01-appb-T000009
 接続先管理テーブル440は、電子黒板2が遠隔共有処理に参加しようとする参加装置である場合、この参加装置のユーザが主催装置としての役割を果たす電子黒板2のIPアドレスを入力する手間を削減するために、予め管理しておくためのテーブルである。この接続先管理テーブル440では、参加されることが可能な主催装置としての電子黒板2が設置されている拠点の名称、及び主催装置としての電子黒板2のIPアドレスが関連付けて管理されている。
 なお、接続先管理テーブル440は、無くてもよい。但し、この場合には、参加装置のユーザは、主催装置との間で遠隔要求処理の開始するために、タッチパネル等の入力装置によって、主催装置のIPアドレスを入力する必要がある。そのため、参加装置のユーザは、電話や電子メール等によって、主催装置のユーザから、主催装置のIPアドレスを知得する。
 (通信制御部60の機能構成)
 次に、図6を用いて、通信制御部60の機能構成について説明する。図6は、サーバ部90とクライアント部20の機能ブロック図の一例である。通信制御部60は、通信ネットワーク9を介して、他の電子黒板2と行う通信や、サーバ部90における後述の通信制御部70と行う通信を制御する。そのため、通信制御部60は、遠隔開始処理部61、遠隔参加処理部62、遠隔画像送信部63、遠隔画像受信部64、遠隔操作送信部65、遠隔操作受信部66、及び参加拠点管理テーブル610を有している。
 このうち、遠隔開始処理部61は、同じ電子黒板2のサーバ部90に対して、新たに遠隔共有処理を開始する要求を行い、サーバ部90から要求の結果を受信する。この場合、遠隔開始処理部61は、遠隔ライセンス管理テーブル310を参照し、ライセンス情報(プロダクトID、ライセンスID、及び有効期限)が管理されている場合には、遠隔共有処理を開始する要求を行うことができる。但し、ライセンス情報が管理されていない場合には遠隔共有処理を開始する要求を行うことができない。
 参加拠点管理テーブル610は、電子黒板2が主催装置である場合、現在、遠隔共有処理に参加している参加装置としての電子黒板2を管理するテーブルである。参加拠点管理テーブル610の一例を表10に示す。
Figure JPOXMLDOC01-appb-T000010
この参加拠点管理テーブル610では、参加中の電子黒板2が設置されている拠点の名称及び当該電子黒板2のIPアドレスが関連付けて管理されている。
 遠隔参加処理部62は、通信ネットワーク9を介して、既に遠隔共有処理を開始している主催装置としての電子黒板2のサーバ部90における遠隔接続要求受信部71に対して、遠隔共有処理への参加要求を行う。この場合も、遠隔参加処理部62は、遠隔ライセンス管理テーブル310を参照する。また、遠隔参加処理部62が、既に開始されている遠隔共有処理に参加する場合には、接続先管理テーブル440を参照して、参加先の電子黒板2のIPアドレスを取得する。なお、遠隔参加処理部62によって接続先管理テーブルが参照されず、ユーザによるタッチパネル等の入力装置の操作により参加先の電子黒板2のIPアドレスが入力されてもよい。
 遠隔画像送信部63は、映像取得部21から画像取得部31を介して送られて来た出力画像(C)を、サーバ部90に送信する。
 遠隔画像受信部64は、サーバ部90から、他の電子黒板2に接続された映像出力機器からの画像データを受信し、表示重畳部36に出力することで、遠隔共有処理を可能にする。
 遠隔操作送信部65は、遠隔共有処理に必要な各種操作データをサーバ部90に送信する。この各種操作データとしては、例えば、ストロークの追加、ストロークの削除、ストロークの編集(拡大、縮小、移動)、ページデータの記憶、ページデータの作成、ページデータの複製、ページデータの削除、表示されているページの切り替え等に関するデータが挙げられる。また、遠隔操作受信部66は、サーバ部90から、他の電子黒板2で入力された操作データを受信し、画像処理部30に出力することで、遠隔共有処理を行う。
 <<サーバ部の機能構成>>
 続いて、図6を用いて、サーバ部90の機能構成について説明する。サーバ部90は、各電子黒板2に設けられており、いずれの電子黒板2であっても、サーバ部としての役割を果たすことができる。そのため、サーバ部90は、通信制御部70、及びデータ管理部80を有している。
(通信制御部70の機能構成)
 次に、図6を用いて、通信制御部70の機能構成について説明する。
 通信制御部70は、同じ電子黒板2内のクライアント部20における通信制御部70、及び通信ネットワーク9を介して他の電子黒板2内のクライアント部20における通信制御部70との通信を制御する。データ管理部80は、操作データや画像データ等を管理する。
 更に詳細に説明すると、通信制御部70は、遠隔接続要求受信部71、遠隔接続結果送信部72、遠隔画像受信部73、遠隔画像送信部74、遠隔操作受信部75、及び遠隔操作送信部76を有している。
 このうち、遠隔接続要求受信部71は、遠隔開始処理部61からの遠隔共有処理の開始要求を受信したり、遠隔参加処理部62からの遠隔共有処理に対する参加要求を受信したりする。遠隔接続結果送信部72は、遠隔開始処理部61へ遠隔共有処理の開始要求の結果を送信したり、遠隔参加処理部62へ遠隔共有処理に対する参加要求の結果を送信したりする。
 遠隔画像受信部73は、遠隔画像送信部63からの画像データ(出力画像(C)のデータ)を受信し、後述の遠隔画像処理部82に送信する。遠隔画像送信部74は、遠隔画像処理部82から画像データを受信し、遠隔画像受信部64に対して、この画像データを送信する。
 遠隔操作受信部75は、遠隔操作送信部65からの操作データ(ストローク画像(B)等のデータ)を受信し、後述の遠隔操作処理部83に送信する。遠隔操作送信部76は、遠隔操作処理部83から操作データを受信し、遠隔操作受信部66に対して、この操作データを送信する。
 (データ管理部の機能構成)
 次に、図6を用いて、データ管理部80の機能構成について説明する。データ管理部80は、遠隔接続処理部81、遠隔画像処理部82、遠隔操作処理部83、操作合成処理部84、及びページ処理部85を有している。更に、サーバ部90は、パスコード管理部810、参加拠点管理テーブル820、画像データ記憶部830、操作データ記憶部840、及びページデータ記憶部850を有している。
 このうち、遠隔接続処理部81は、遠隔共有処理の開始、及び遠隔共有処理の終了を行う。また、遠隔接続処理部81は、遠隔接続要求受信部71が、遠隔開始処理部61から遠隔共有処理の開始要求と共に受信したライセンス情報、又は、遠隔参加処理部62から遠隔共有処理の参加要求と共に受信したライセンス情報に基づいて、ライセンスの有無やライセンスの期間内であるかを確認する。更に、遠隔接続処理部81は、クライアント部としての他の電子黒板2からの参加要求が予め定められた参加可能数を超えていないかを確認する。
 更に、遠隔接続処理部81は、他の電子黒板2から遠隔共有処理に対する参加要求があった際に送られて来たパスコードが、パスコード管理部810で管理されているパスコードと同じであるか否かを判断し、同じである場合には、遠隔共有処理の参加を許可する。なお、このパスコードは、新たに遠隔共有処理を開始する際に、遠隔接続処理部81によって発行され、遠隔共有処理に参加しようとする参加装置としての電子黒板2のユーザが、主催装置としての電子黒板2のユーザから、電話や電子メール等により伝えられる。これにより、遠隔共有処理に参加しようとする参加装置のユーザが、タッチパネル等の入力装置によって参加装置にパスコードを入力して参加要求することで、参加が許可されることになる。なお、セキュリティよりもユーザの使い勝手を優先して、ライセンス状況の確認だけで、パスコードの確認を省略してもよい。
 また、電子黒板2が主催装置の場合、遠隔接続処理部81は、参加装置の遠隔参加処理部62から通信ネットワーク9を介して送られて来た参加要求に含まれる参加拠点情報を、サーバ部90の参加拠点管理テーブル820に記憶する。そして、遠隔接続処理部81は、参加拠点管理テーブル820に記憶されている遠隔拠点情報を読み出し、遠隔接続結果送信部72に送信する。遠隔接続結果送信部72は、同じ主催装置のクライアント部20における遠隔開始処理部61に遠隔拠点情報を送信する。遠隔開始処理部61は、参加拠点管理テーブルに610に、遠隔拠点情報を記憶する。これにより、主催装置では、クライアント部20及びサーバ部90の両方で、遠隔拠点情報を管理することになる。
 遠隔画像処理部82は、遠隔共有処理中の各電子黒板2のクライアント部(主催装置である自己の電子黒板2のクライアント部を含む)に接続された映像出力機器(ノートPC6等)からの画像データ(出力画像(C))を受信して画像データ記憶部830に記憶すると共に、主催装置である自己の電子黒板2のサーバ部90に届いた時間順で遠隔共有処理すべき画像データの表示順を判断する。また、遠隔画像処理部82は、参加拠点管理テーブル820を参照し、遠隔共有処理に参加中の全ての電子黒板2のクライアント部20(主催装置である自己の電子黒板2のクライアント部を含む)に、通信制御部70(遠隔画像送信部74)を介して、上記判断した順番で画像データを送信する。
 遠隔操作処理部83は、遠隔共有処理中の各電子黒板2のクライアント部(主催装置である自己の電子黒板2のクライアント部を含む)で描画されたストローク画像等の各種操作データ(ストローク画像(B)等)を受信し、主催装置である自己の電子黒板2のサーバ部90に届いた時間順で遠隔共有処理すべき画像の表示順を判断する。なお、各種操作データは、上記の各種操作データと同じである。また、遠隔操作処理部83は、参加拠点管理テーブル820を参照し、遠隔共有処理中の全ての電子黒板2のクライアント部20(主催装置である自己の電子黒板2のクライアント部を含む)に操作データを送信する。
 操作合成処理部84は、遠隔操作処理部83から出力された各電子黒板2の操作データを合成し、この合成結果としての操作データを、操作データ記憶部840に記憶すると共に遠隔操作処理部83に戻す。この操作データは、遠隔操作送信部76から、主催装置である電子黒板2のクライアント部、及び参加装置である電子黒板2のクライアント部のそれぞれに送信されることで、各電子黒板2で同じ操作データに係る画像が表示される。操作データの一例を表11に示す。
Figure JPOXMLDOC01-appb-T000011
 操作データは、表11に示されているように、SEQ(Sequence)、操作データの操作名、操作データの送信元である電子黒板2のIPアドレス及びクライアント部(サーバ部)のPort No.、操作データの送信先である電子黒板2のIPアドレス及びクライアント部(サーバ部)のPort No,、操作データの操作種類、操作データの操作対象、並びに操作データの内容を示すデータが関連付けられて示されている。例えば、SEQ1では、主催装置である電子黒板2(IPアドレス:192.0.0.1)のクライアント部(Port No.:50001)でストロークが描画されると、同じ主催装置である電子黒板2(IPアドレス:192.0.0.1)のサーバ部(Port No.:50000)に操作データが送られたことが示されている。この場合の操作種類は「STROKE」、操作対象はページデータID「p005」、及び、操作データの内容を示すデータはストロークを示すデータである。また、SEQ2では、主催装置である電子黒板2(IPアドレス:192.0.0.1)のサーバ部(Port No.:50000)から、参加装置である他の電子黒板2(IPアドレス:192.0.0.1)のクライアント部(Port No.:50001)に、操作データが送られたことが示されている。
 なお、操作合成処理部84は、この操作合成処理部84に操作データが入力された順に合成を行うため、通信ネットワーク9が混雑していなければ、各電子黒板2のユーザによるストローク順に、遠隔共有処理中の全ての電子黒板2のディスプレイ3にストローク画像(B)が表示される。
 ページ処理部85は、クライアント部20の画像処理部30におけるページ処理部37と同様の機能を有し、サーバ部90でも、表1から表3に示されているページデータを、ページデータ記憶部850に記憶する。なお、ページデータ記憶部850は、画像処理部30におけるページデータ記憶部300と同じ内容であるため、その説明を省略する。
 <実施形態の処理又は動作>
 続いて、図8及び図9を用いて、本実施形態の処理又は動作について説明する。なお、図8及び図9は、各電子黒板2の処理を示したシーケンス図である。図8及び図9に示す実施形態では、電子黒板2aが遠隔共有処理を主催する主催装置(サーバ部及びクライアント部)としての役割を果たしており、電子黒板2b,2cが遠隔共有処理に参加する参加装置(クライアント部)としての役割を果たす場合について説明する。また、ここでは、電子黒板2a,2b,2cには、それぞれディスプレイ3a,3b,3cが接続され、更に、それぞれノートPC6a,6b,6cが接続されている。また、電子黒板2a,2b,2cでは、それぞれ電子ペン4a,4b,4cが使用される。
 (参加の処理)
 まずは、図8を用いて、電子黒板2b,2cが遠隔共有処理に参加するための処理について説明する。
 ユーザが電子黒板2aの電源スイッチをオンにすると、電子黒板2aのクライアント部20が起動する。そして、ユーザがタッチパネル等の入力装置によってサーバ部90を起動させる操作をすると、クライアント部20の遠隔開始処理部61から同じ電子黒板2aのサーバ部90における遠隔接続要求受信部71に、サーバ部90の処理を開始させる指示を出力する。これにより、電子黒板2aでは、クライアント部20だけでなくサーバ部90も各種処理を開始可能となる(ステップS21)。
 次に、電子黒板2aのクライアント部20におけるUI画像生成部33が電子黒板2aとの接続を確立するための接続情報を生成し、映像重畳部28が、UI画像生成部33から表示重畳部36を介して得た接続情報をディスプレイ3aに表示させる(ステップS22)。
 この接続情報には、主催装置のIPアドレス、及び今回の遠隔共有処理のために生成されたパスコードが含まれている。この場合、パスコード管理部810に記憶されているパスコードは、図7に示されている遠隔接続処理部81によって読み出され、遠隔接続結果送信部72、遠隔開始処理部61の順に送信される。更に、パスコードは、遠隔開始処理部61を含む通信制御部60から、図5に示されている画像処理部30に送信され、最終的にUI画像生成部33に入力される。これにより、接続情報には、パスコードが含まれる。そして、接続情報は、電子黒板2aのユーザによって、電話や電子メールにより、電子黒板2b,2cのユーザに伝えられる。なお、接続先管理テーブル440があれば、接続情報には、主催装置のIPアドレスが含まれていなくても、参加装置は参加要求を行うことができる。
 次に、電子黒板2b,2cでは、各ユーザによるタッチパネル等の入力装置の操作によって接続情報の入力を受け付けると、各電子黒板2a,2bのクライアント部20における遠隔参加処理部62が、接続情報のIPアドレスに基づき、通信ネットワーク9を介して、電子黒板2aのサーバ部90における通信制御部70に対してパスコードを送信して参加要求を行う(ステップS23,S24)。これにより、通信制御部70の遠隔接続要求受信部71は、各電子黒板2b,2cから、参加要求(パスコードを含む)を受信し、このパスコードを遠隔接続処理部81に出力する。
 次に、遠隔接続処理部81は、各電子黒板2b,2cから受信したパスコードに対し、パスコード管理部810で管理されているパスコードを用いて認証する(ステップS25)。
 そして、遠隔接続結果送信部72が、各電子黒板2b,2cのクライアント部20に認証結果を通知する(ステップS26,S27)。
 ステップS25の認証により、各電子黒板2b,2cが正当な電子黒板2であると判断されていた場合には、主催装置である電子黒板2aと、参加装置である電子黒板2b,2cとの遠隔共有処理の通信が確立され、各電子黒板2b,2cのクライアント部20における遠隔参加処理部62が、それぞれ他の電子黒板2との間の遠隔共有処理の開始を可能にする(ステップS28,S29)。
 (出力画像の表示)
 続いて、図8を用いて、遠隔共有処理における出力画像(C)が表示される処理について説明する。
 まず、電子黒板2bは、ディスプレイ3bに出力画像(C)を表示する(ステップS30)。具体的には、電子黒板2bの画像取得部31が、ノートPC6bから映像取得部21を介して、ノートPC6bで表示されている出力画像(C)のデータを受信し、表示重畳部36及び映像重畳部28を介してディスプレイ3bに送信することで、ディスプレイ3bは出力画像(C)を表示する。
 次に、電子黒板2bの画像取得部31を含む画像処理部30が、遠隔画像送信部63に出力画像(C)のデータを送信することで、遠隔画像送信部63を含む通信制御部60が通信ネットワーク9を介して、主催装置である電子黒板2aの通信制御部70に出力画像(C)のデータを送信する(ステップS31)。これにより、電子黒板2aの遠隔画像受信部73は、出力画像(C)のデータを受信し、遠隔画像処理部82に出力することで、遠隔画像処理部82が画像データ記憶部830に出力画像(C)のデータを記憶する。
 次に、主催装置である電子黒板2aは、ディスプレイ3aに出力画像(C)を表示する(ステップS32)。具体的には、電子黒板2aの遠隔画像処理部82は、遠隔画像受信部73から受信した出力画像(C)のデータを、遠隔画像送信部74に出力する。遠隔画像送信部74は、同じ主催装置である電子黒板2aのクライアント部20における遠隔画像受信部64に、出力画像(C)のデータを出力する。遠隔画像受信部64は、表示重畳部36に出力画像(C)のデータを出力する。表示重畳部36は、映像重畳部28に出力画像(C)のデータを出力する。映像重畳部28はディスプレイ3aに出力画像(C)のデータを出力する。これにより、ディスプレイ3aは、出力画像(C)を表示する。
 次に、主催装置としての電子黒板2aのサーバ部90における遠隔画像送信部74を含む通信制御部70は、通信ネットワーク9を介して、出力画像(C)のデータの送信元である電子黒板2b以外の電子黒板2cの通信制御部60に出力画像(C)のデータを送信する(ステップS33)。これにより、参加装置である電子黒板2cの遠隔画像受信部64は、出力画像(C)のデータを受信する。
 次に、電子黒板2cは、ディスプレイ3cに出力画像(C)を表示する(ステップS34)。具体的には、電子黒板2cの遠隔画像受信部64が、上記ステップS33によって受信された出力画像(C)のデータを、電子黒板2cの表示重畳部36に出力する。表示重畳部36は、映像重畳部28に出力画像(C)のデータを出力する。映像重畳部28はディスプレイ3cに出力画像(C)のデータを出力する。これにより、ディスプレイ3cは、出力画像(C)を表示する。
 なお、出力画像(C)のデータだけでなく、UI画像(A)、ストローク画像(B)及び透かし画像(E)の各画像が、映像重畳部28に入力されている場合には、表示重畳部36により、重畳画像(A,B,C)が生成され、映像重畳部28はディスプレイ3cに重畳画像(A,B,C)のデータを出力する。後述するように、透かし画像(E)は表示されない。また、テレビ会議端末7から映像重畳部28に、テレビ会議用の映像(F)のデータが送られて来ている場合には、映像重畳部28は、重畳画像(A,B,C)にピクチャーインピクチャーによりテレビ会議用の映像(F)のデータを重畳して、ディスプレイ3cに出力する。
 なお、透かし画像(E)に関しては主催装置と参加装置の間で送受信されない。したがって、透かし画像(E)が表示されるかどうかは電子黒板2によって異なる。また、各電子黒板2が表示する透かし画像(E)も電子黒板2によって異なっていてよい(同じ場合もある)。
 また、透かし画像データは電子黒板2の間で送受信されてもよい。電子黒板2は、電子黒板2の動作に関する設定が記述された設定情報を伝達する機能を有している。設定情報とは、例えば、電子黒板2が適切に動作するための設定(同期時刻、再起動時刻など)、電子黒板2の動作を許可又は制限するための設定(パスコードなどのセキュリティに関する設定)、各機能のオン/オフの設定、ネットワークを介してインターネットや他の機器と通信するための設定(IPアドレス等)、などを含む。設定情報を伝達する機能を利用して、設定情報と共に透かし画像データを電子黒板2の間で共有できる。
 (重畳画像の表示)
 続いて、図9を用いて、遠隔共有処理における重畳画像が表示される処理について説明する。
 まず、電子黒板2bは、ユーザが電子ペン4bを用いて電子黒板2bにストローク画像(B)を描画する(ステップS41)。
 次に、電子黒板2bの表示重畳部36は、図7に示されているように、UI画像(A)、及び出力画像(C)に対して、ストローク画像(B)を重畳し、映像重畳部28が電子黒板2bのディスプレイ3b上に、重畳された重畳画像(A,B,C)を表示させる(ステップS42)。具体的には、電子黒板2bのストローク処理部32が座標検知部22及び接触検知部24からイベント振分部25を介して、操作データとしてのストローク画像(B)のデータを受信し、表示重畳部36に送信する。これにより、表示重畳部36は、UI画像(A)、及び出力画像(C)に対して、ストローク画像(B)を重畳することができ、映像重畳部28が電子黒板2bのディスプレイ3b上に重畳画像(A,B,C)を表示させることができる。
 次に、電子黒板2bのストローク処理部32を含む画像処理部30が、遠隔操作送信部65にストローク画像(B)のデータを送信することで、電子黒板2bの遠隔操作送信部65は、通信ネットワーク9を介して、主催装置である電子黒板2aの通信制御部70にストローク画像(B)のデータを送信する(ステップS43)。
 これにより、電子黒板2aの遠隔操作受信部75は、ストローク画像(B)のデータを受信し、遠隔操作処理部83に出力することで、遠隔操作処理部83が操作合成処理部84にストローク画像(B)のデータを出力する。このようにして、電子黒板2bで描画されたストローク画像(B)のデータは、描画される度に、主催装置である電子黒板2aの遠隔操作処理部83に順次送信される。このストローク画像(B)のデータは、図8に示されているストロークデータID毎に示されるデータである。よって、例えば、上記したように、ユーザが電子ペン4によってアルファベット「T」を描く場合は二筆書きとなるため、2つのストロークデータIDのそれぞれで示されるストローク画像(B)のデータが順次送信される。
 次に、主催装置である電子黒板2aは、ディスプレイ3aに、電子黒板2bから送られて来たストローク画像(B)のデータが含まれた重畳画像(A,B,C)を表示する(ステップS44)。具体的には、電子黒板2aの操作合成処理部84は、遠隔操作処理部83を介して順次送られて来た複数のストローク画像(B)のデータを合成して、操作データ記憶部840に記憶すると共に遠隔操作処理部83に戻す。これにより、遠隔操作処理部83は、操作合成処理部84から受信した、合成後のストローク画像(B)のデータを、遠隔操作送信部76に出力する。遠隔操作送信部76は、同じ主催装置である電子黒板2aのクライアント部20における遠隔操作受信部66に、合成後のストローク画像(B)のデータを出力する。遠隔操作受信部66は、画像処理部30における表示重畳部36に、合成後のストローク画像(B)のデータを出力する。よって、表示重畳部36は、UI画像(A)、及び出力画像(C)に対して、合成後のストローク画像(B)を重畳する。最後に、映像重畳部28が、表示重畳部36によって重畳された重畳画像(A,B,C)をディスプレイ3a上に表示させる。
 次に、主催装置としての電子黒板2aのサーバ部90における遠隔操作送信部76を含む通信制御部70は、通信ネットワーク9を介して、ストローク画像(B)のデータの送信元である電子黒板2b以外の電子黒板2cの通信制御部60に、合成後のストローク画像(B)のデータを送信する(ステップS45)。これにより、参加装置である電子黒板2cの遠隔操作受信部66は、合成後のストローク画像(B)のデータを受信する。
 次に、電子黒板2cは、ディスプレイ3cに重畳画像(A,B,C)を表示する(ステップS46)。具体的には、電子黒板2cの遠隔操作受信部66が、上記ステップS45によって受信された合成後のストローク画像(B)のデータを、電子黒板2cの画像処理部30に出力する。画像処理部30の表示重畳部36は、UI画像(A)、及び出力画像(C)の各データと、合成後のストローク画像(B)のデータを重畳し、映像重畳部28に重畳画像(A,B,C)のデータを出力する。映像重畳部28は、ディスプレイ3cに重畳画像(A,B,C)のデータを出力する。これにより、ディスプレイ3cは、重畳画像(A,B,C)を表示する。
 なお、上記処理では、ディスプレイ3上に出力画像(C)が表示されているが、この出力画像(C)に代えて、背景画像(D)を表示してもよい。また、出力画像(C)と背景画像(D)との排他的な関係をやめて、出力画像(C)と背景画像(D)との両方を同時にディスプレイ3上に表示させてもよい。
 (参加の終了)
 続いて、図9を用いて、参加装置が遠隔共有処理への参加を終了する処理について説明する。図9に示す実施形態では、電子黒板2cが参加を終了する処理が示されている。
 まず、電子黒板2cでは、ユーザによるタッチパネル等の入力装置の操作によって参加の終了要求を受け付けると、遠隔参加処理部62は、主催装置としての電子黒板2aのサーバ部90における通信制御部70に、参加の終了要求を行う(ステップS47)。これにより、通信制御部70の遠隔接続要求受信部71は、電子黒板2cから、参加の終了要求を受信し、遠隔接続処理部81に、電子黒板2cのIPアドレスと共に参加の終了要求を出力する。そして、電子黒板2aの遠隔接続処理部81は、遠隔接続要求受信部71から送られて来たIPアドレスに基づいて、参加拠点管理テーブル820から、参加の終了要求を行った電子黒板2cのIPアドレス及び電子黒板2cが設置されている拠点の名称を削除し、遠隔接続結果送信部72に、電子黒板2cのIPアドレス及び削除した旨の通知を出力する。
 次に、遠隔接続結果送信部72を含んだ通信制御部70が、通信ネットワーク9を介して、電子黒板2cのクライアント部20における通信制御部60に、参加の終了を指示する(ステップS48)。これにより、電子黒板2cにおける通信制御部60の遠隔参加処理部62が、遠隔共有処理の通信を切断することで、参加の終了処理を行うことで、参加が終了する(ステップS49)。
 <透かし画像のアップロード>
 上記のように例えば管理者は管理者端末を使って電子黒板2と通信し、透かし画像のファイルを電子黒板2にアップロードできる。
 図10Aは管理者端末の画面例を示す。図10Aは電子黒板2のWebサーバが提供するWebページの一部を示す。以下、図10Aに示す画面をアップロード画面601という。アップロード画面601はポート番号欄602、IPID欄603、及びアップロードボタン604を有する。ポート番号欄602には電子黒板2が各種の設定を受け付けるポート番号が設定される。IPID欄603にはIPIDが入力される。IPIDは電子黒板2のIPアドレスを特定する情報であり、電子黒板2のIDと同じ値である。管理者はIPアドレスでなくIPIDを入力すればよいので透かし画像のアップロードをすることが容易になる。電子黒板2のIDとIPアドレスが対応付けられたテーブルは電子黒板2から送信されるか管理者端末が記憶している。なお、IPアドレスを入力してもよい。なお、図10Aのアドレス入力欄には対象となる電子黒板を特定するため、対象となる電子黒板と関連付けられたIPアドレスやホスト名を入力することがよくある。このような場合には、既にIPアドレスが特定されているため、IPID欄はなくてもよい。
 管理者がアップロードボタン604を押下すると、図10Bのファイル選択画面611が表示される。ファイル選択画面611はファイル一覧部612、及び開くボタン613を有している。管理者はファイル一覧部612から透かし画像のファイルを選択し、開くボタン613を押下する。これにより、透かし画像のファイルが電子黒板2に送信される。
 <透かし画像について>
 図11Aは透かし画像の一例を示す。図11Bは、透かし画像の別の例を示す。図11Aは「Confidential」という文字を表示する透かし画像であり、図11Bは全体が均一色の透かし画像である。なお、説明の便宜上、図11A及び図11Bは、UI画像(A)、ストローク画像(B)、出力画像(C)及び背景画像(D)が表示されていない状態を示している。
 図11Aの透かし画像がディスプレイ3に表示された場合、ストローク画像(B)及び背景画像(C)が機密事項であることをディスプレイ3を見ている1以上のユーザに報知できる。また、図11Bの透かし画像がディスプレイ3に表示された場合、通常は白色のディスプレイ3をより輝度の小さい色合いで表示できるためユーザがまぶしく感じることを抑制できる。ディスプレイ3の明るさを下げると画面を暗く感じるおそれがあるが、透かし画像(E)を使えばディスプレイ3の明るさを下げずにまぶしく感じにくくすることができる。例えば、グリーンや黒色(完全な黒でなくてもよい)の均一色とすれば、チョークで文字等が描かれる黒板に似た色合いとなる。透明な均一色の透かし画像であれば、全体が暗くなるためコントラストを調整するような効果も得られる。
 図11のような透かし画像(E)が出力画像(C)よりも手前にあるため、ユーザは透かし画像(E)越しに出力画像(C)を視認できる。上記したように、電子黒板2に記憶された透かし画像(E)は、例えば、図11Aに示すような1以上の所定の文字を有する画像または、図11Bに示すような均一な色の画像であってもよい。
 ユーザは、透明度を百分率で設定することができる。また、PNGは画素単位で透明度が設定される機能を持つ。本実施形態では、0%が完全な透明、100%が完全な不透明であるものとする。一般の言葉の解釈と逆なのは、PNGの透明度の定義にしたがっているためであり、0%が完全な不透明、100%が完全な透明であると定義してもよい。
 図11Aは「Confidential」という文字の部分(画素単位)の透明度が20%、それ以外を透明度が0%の透かし画像である。図11Bは全体が白い画像に全体が黒く透明度が20%の透かし画像を重ね合わせた例である。
 図11Aの文字や図11Bの均一画像は一例に過ぎない。電子黒板2は種々の文字を透かし画像で表示できるし、種々の風景や写真などを透かし画像で表示できる。また、透かし画像は動画でもよい。上記したように、操作処理部26は、透かし画像(E)の一部又は全部の透明度の設定(設定値)を受け付けることができる。透かし画像(E)は設定された透明度で表示される。
 図12は透明度の設定方法を説明するフローチャートの一例である。適宜、図13A及びBを参照して説明する。まず、ユーザは透かし画像の透明度を選択するメニューをUI画像(A)から選択する。複数の透かし画像データがページデータ記憶部300に記憶されている場合、ユーザは透明度を設定したい透かし画像データを一覧から選択する。これにより、透かし画像生成部38はディスプレイ3に透かし画像(E)を表示させる(ステップS10)。
 また、透かし画像生成部38は透明度を設定する色又は領域の設定を受け付ける(ステップS20)。より詳細には座標検知部22が電子ペン4又は指が接触した座標を検知すると、イベント振分部25がUI操作が行われたと判断し、操作処理部26に通知する。操作処理部26は電子ペン4又は指が接触した座標により操作内容を判断し(色又は領域の設定操作)、透かし画像生成部38に通知する。
 次に、透かし画像生成部38は透明度の設定を受け付ける(ステップS30)。例えば、透かし画像の透明度は、ユーザにより設定される。座標検知部22から透かし画像生成部38までの処理の流れはステップS20と同様である。透かし画像生成部38はステップS20で指定された色又は領域の透明度をステップS30で設定された透明度で再表示する。
 透かし画像生成部38はユーザが透明度の設定を終了するまでステップS20~S40の処理を繰り返す(ステップS50)。
 図13Aは、色の指定を受け付けて透明度の設定を受け付ける透明度設定画面501の一例を示す。透明度設定画面501は、透かし画像が表示される透かし画像欄502、色設定部503、透明度スライダ504、及び透明度入力欄505を有する。
 ユーザは電子ペン4又は指で透明度を変更する色を指定する。例えば、「Confidential」という文字の透明度を変更する場合は、ユーザは「Confidential」のどこでも一部を電子ペン4又は指でタッチする。座標検知部22によりタッチされた画素が分かる(検知できる)ので、透かし画像生成部38はこの画素の色を検出できる。
 次に、ユーザが透明度スライダ504又は透明度入力欄505を操作して透明度を設定すると、透かし画像生成部38がこれを受け付け、同じ色を持つ全ての画素を設定された透明度に設定する。透明度は画素ごとに透かし画像データに記録される。
 このように文字の部分を指定して透明度を変更できるので、2色以上の色(文字の部分とその他)を有する透かし画像データの全体の透明度を変えることなく文字のみの透明度を変更できる。別の言い方をすれば、ユーザは透かし画像の透明度を部分的に及び全体的に変更(設定)することができる。
 また、ユーザは「Confidential」という文字や背景の色を変更することができる。ユーザが電子ペン4又は指で色設定部503を押下すると透かし画像生成部38がこれを受け付け、色パレットを表示する。ユーザは色パレットから任意の色を選択して、電子ペン4又は指のタッチで指定した画素の色を選択した色を変更できる。
 図13Bは、領域の指定を受け付けて透明度の設定を受け付ける透明度設定画面501の一例を示す。ユーザは電子ペン4又は指で透明度を変更する領域506を指定する。例えば、ユーザは、2点を指定して矩形領域を描画したり、円を描画したり、自由筆記で領域506を描画する。透かし画像生成部38は座標検知部22を介して領域506の座標を取得するのでこの領域内の画素を特定できる。
 次に、ユーザが透明度スライダ504又は透明度入力欄505を操作して透明度を設定すると、透かし画像生成部38がこれを受け付け、指定された領域の画素を設定された透明度に設定する。図13Bの透明度設定画面501では、均一の色を有する透かし画像データや色数が多い複雑な透かし画像データの任意の領域を指定して透明度を設定できる。なお、図13Aと同様に、ユーザが指定した領域の色を変更することも可能である。領域506として透かし画像の全体を選択すれば透かし画像の全体の透明度を設定できる。
 図13Aの設定方法と図13Bの設定方法は、両方とも電子黒板2に実装されており、ユーザが任意に選択できる。
 <透かし画像データの有効化>
 電子黒板2が透かし画像を表示するか否かの制御について説明する。透かし画像データがページデータ記憶部300に記憶されている場合、電子黒板2が自動的に(ユーザの操作がなくても)ディスプレイ3に透かし画像(E)を表示すれば、ユーザが透かし画像(E)を表示し忘れたりすることがなく便利である。そこで、電子黒板2は透かし画像(E)が記憶されている場合、透かし画像(E)を有効にするものとする。
 透かし画像(E)を有効にするとは、透かし画像(E)を表示する条件(表示条件)が成立した場合は自動的に透かし画像(E)を表示することを言う。すなわち、透かし画像(E)が有効であっても表示条件が成立しない場合、電子黒板2は透かし画像(E)を表示しない。表示条件は例えば映像が入力されていることである。表示条件の詳細は後述する。
 図14は、透かし画像生成部38が透かし画像(E)を有効とするか無効とするかの制御手順を示すフローチャートの一例である。図14の処理は、例えば電子黒板2の起動時、又は、起動中に定期的に実行される。
 まず、透かし画像生成部38は、ページ処理部37を介してページデータ記憶部300に透かし画像データが記憶されているか否かを判断する(ステップS10)。透かし画像データがページデータ記憶部300の所定のフォルダ又はディレクトリに記憶されている場合、ページデータ記憶部300は該フォルダ又はディレクトリのファイルの有無を判断する。更に、所定の拡張子(*.png)のデータが記憶されているか否か又は所定のファイル名のデータが記憶されているか否かに基づいて、透かし画像生成部38は、ページデータ記憶部300に透かし画像データが記憶されているか否かを判断してもよい。
 ステップS10の判断がYesの場合、透かし画像生成部38は、ページ処理部37を介して透かし画像データをページ処理部37から取得する(ステップS20)。透かし画像が複数ある場合は、例えば図15のような画面で選択された透かし画像データを取得する。別の言い方をすれば、操作処理部26は複数の透かし画像をディスプレイ3に表示し、複数の透かし画像から選択された一つの画像を使用(表示)されるべき透かし画像として受け付ける。
 そして、透かし画像生成部38は、レイアウト管理部35に対し透かし画像を有効に設定する(ステップS30)。レイアウト管理部35は透かし画像(E)が有効なので、表示重畳部36に対し透かし画像(E)のレイヤを表示するよう要求する。透かし画像生成部38が透かし画像を表示重畳部36に送出すれば、ディスプレイ3に透かし画像(E)が表示される。
 ステップS10の判断がNoの場合、透かし画像生成部38は、レイアウト管理部35に対し透かし画像(E)のレイヤを無効に設定する(ステップS40)。透かし画像(E)が無効なので、レイアウト管理部35は表示重畳部36に対し透かし画像(E)のレイヤを表示しないよう要求する。透かし画像生成部38が透かし画像を表示重畳部36に送出しても、ディスプレイ3に透かし画像(E)は表示されない。
 なお、図14の判断は透かし画像生成部38ではなくレイアウト管理部35が行ってもよい。
 このように自動的に透かし画像の有効又は無効が設定されることで、ユーザが透かし画像(E)を表示したい場合に透かし画像(E)を有効に設定する必要がない。しかしながら、ユーザが透かし画像を表示したくない場合も存在すると考えられる。この場合、ユーザはページデータ記憶部300から透かし画像データを削除すればよいが、ユーザにとっては手間となる場合がある。そこで、以下のようにユーザが有効/無効を選択できることが有効である。
 図15は、透かし画像の有効/無効が設定される有効無効設定画面511の一例を示す図である。有効無効設定画面511は、縮小透かし画像データ欄512、データ選択ボタン513、有効設定欄514、及び有効設定ボタン515を有している。有効無効設定画面511はユーザが所定の操作を行うことで例えばUI画像生成部33が表示させる。
 ユーザは透かし画像データの一覧の中から透かし画像データを1つ選択する。データ選択ボタン513は排他ボタンであるのでユーザは任意の1つのボタン(1つの透かし画像)のみを選択できる。また、ユーザは透かし画像を有効とする場合は「はい」の前にある有効設定ボタン515を選択する。ユーザは、透かし画像を無効とする場合は「いいえ」の前にある有効設定ボタン515を選択する。有効設定ボタン515も排他ボタンである。このようにユーザは透かし画像を選択できると共に有効とするか無効とするかを電子黒板2のディスプレイ3で設定できる。なお、選択された透かし画像データ、及び、有効か無効かの設定内容はページデータ記憶部300に記憶される。
 図16は、透かし画像生成部38が透かし画像(E)を有効とするか無効とするかの制御手順を示すフローチャートの一例である。図16の説明では図14との相違を説明する。
 図16では、透かし画像生成部38はページデータ記憶部300に記憶されているユーザの設定内容を参照し、透かし画像が有効に設定されているか否かを判断する(ステップS5)。
 ステップS5の判断がYesの場合、処理はステップS10に進み、ステップS5の判断がNoの場合、処理はステップS40に進む。以降は、図14の処理と同様に処理が実行される。したがって、ユーザが透かし画像を表示したくない場合は、透かし画像データがページデータ記憶部300に記憶されていても透かし画像を表示させない。ユーザが透かし画像を表示させたい場合、透かし画像データがページデータ記憶部300に記憶されていれば、表示条件が成立した場合に自動的に透かし画像データを表示させることができる。
 <映像入力の有無に基づく透かし画像の表示と非表示の切り替え>
 以上のように、透かし画像データが有効に設定された場合、表示重畳部36は透かし画像(E)をディスプレイ3に表示することができる。しかし、透かし画像が邪魔になる場合があるため、以下のようにレイアウト管理部35は表示条件が成立するか否かを判断し、透かし画像(E)の表示と非表示を切り替える。
 図17は、レイアウト管理部35が映像の入力の有無に応じて透かし画像(E)の表示と非表示を切り替える手順を示すフローチャートの一例である。図17は、透かし画像が有効である場合に例えば定期的に実行される。
 まず、レイアウト管理部35はノートPC6から映像が入力されているか否かを判断する(ステップS10)。ノートPC6からの映像は映像取得部21が取得し画像取得部31が取得する。レイアウト管理部35は画像取得部31に映像の入力の有無を問い合わせる。あるいは、レイアウト管理部35は、表示重畳部36に、画像取得部31から出力画像(C)が出力されているか否かを問い合わせてもよい。また、このような判断は説明の便宜を考慮したもので、キャプチャデバイス111が映像の信号を検出するか否かにより判断されてよい。
 なお、映像が入力されていない場合とは、ノートPC6と電子黒板2が映像のケーブル(D-Sub、HDMI(登録商標)、DVI等)で接続されていないことをいう。映像のケーブルでノートPC6が電子黒板2に接続されていても、ノートPC6の電源がOFFであるなど映像を入力することができない場合は、映像が入力されていないと判断される。
 ステップS10の判断がYesの場合、レイアウト管理部35は、透かし画像(E)のレイヤを非表示にして、出力画像(C)のレイヤを表示するように表示重畳部36に通知(要求)する(ステップS20)。なお、出力画像(C)のレイヤは、映像が入力されていれば表示されている場合が多く、出力画像(C)のレイヤを表示させる通知はなくてもよい。
 ステップS10の判断がNoの場合、レイアウト管理部35は、透かし画像(E)のレイヤを表示にして、出力画像(C)のレイヤを非表示するように表示重畳部36に通知(要求)する(ステップS30)。なお、出力画像(C)のレイヤは、映像が入力されていなければ表示されないので、出力画像(C)のレイヤを非表示にする通知はなくてもよい。
 このように、出力画像(C)が表示される場合は透かし画像(E)が表示されないので、ユーザが透かし画像が邪魔になることがなく、静止画として取り込みたいノートPC6の映像を特定しやすい。出力画像(C)が表示されない場合は透かし画像(E)が表示されるので、「Confidential」と表示されればユーザはストローク画像(B)及び背景画像(D)の秘匿性が高いことを把握できる。また、均一な透かし画像が表示されれば、好みの色合いやコントラストでストローク画像(B)及び背景画像(D)を目視できる。
 <静止画の取得処理>
 ノートPC6から電子黒板2に映像が入力されている場合の静止画の取得処理について説明する。
 図18Aは映像が入力されている場合に静止画の取得操作が行われた場合の動作を示すフローチャートの一例である。図18BとCはディスプレイ3に表示された画像の例である。映像が入力されているので、図18Aの処理のスタート時、透かし画像(E)は表示されていない。なお、見やすくするため、UI画像(A)とストローク画像(B)は表示していない。
 まず、ユーザがUI画像(A)を操作して静止画を取り込む操作を行う。操作処理部26はこの操作を受け付ける(ステップS10)。図18Bは静止画の取り込み時の出力画像(C)を示す。
 静止画として取得されるのは、ストローク画像(B)及び出力画像(C)である。UI画像(A)は取得の対象とならず、透かし画像(E)は表示されていない(表示されていても透かし画像(E)は取り込みの対象ではない)。出力画像(C)が表示されているので背景画像(D)も表示されていない。ページ処理部37は画像取得部31から出力画像(C)を取得し、ストローク処理部32からストローク画像(B)を取得し、背景画像(D)としてページデータ記憶部300に記憶する。また、背景画像(D)が取得されたのでユーザが背景画像(D)を見たいと判断し、ページ処理部37は背景生成部34に背景画像(D)を送出し、背景生成部34は表示重畳部36に背景画像(D)送出する(ステップS20)。
 また、レイアウト管理部35は、背景画像(D)を優先するため出力画像(C)を非表示にし、更に透かし画像(E)のレイヤを表示させるように表示重畳部36に通知する(ステップS30)。
 図18Cは背景画像(D)として表示された静止画と透かし画像(E)を示す。このように、静止画(背景画像(D))を取得した後は、電子黒板2は再び、透かし画像(E)を表示させることができる。「Confidential」等の文字により、出力画像(C)では透かし画像(E)が表示されていなくても背景画像(D)の秘匿性が高いことをユーザに把握させることができる。
 <<静止画を取り込み後の遷移>>
 図18Cに示すように背景画像(D)と透かし画像(E)が表示されている間もノートPC6から映像が入力されている。一定時間の経過後、再び、図17の処理が実行され、ディスプレイ3の表示状態が、背景画像(D)と透かし画像(E)を表示する状態から出力画像(C)を表示する状態に切り替わる。一定時間が経過する前にディスプレイ3の表示状態を切り替えるには、ユーザは背景画像(D)及び透かし画像(E)から出力画像(C)に切り替える操作を行う。
 図19を用いて説明する。図19AはノートPC6の映像を電子黒板2が全画面で表示している出力画像(C)を示す。電子黒板2が出力画像(C)を表示している場合、ノートPC6の映像を取り込むための映像アイコン622が強調表示される。例えば、映像アイコン622に所定の色の枠が表示されたり、枠が太くなったり、点滅したりする。
 次に、ユーザがカメラアイコン621を押下すると、図19Bに示すように、出力画像(C)が静止画として取り込まれる。図19Bは、図18Aの終了時の段階を示す。つまり、背景画像(D)と透かし画像(E)が表示されている。静止画が取り込まれると新しいページが生成され、ディスプレイ3の下部にサムネイル623が表示される。また、出力画像(C)が表示されていないので、映像アイコン622が強調表示されなくなる。また、現在表示中のサムネイル623が強調表示されていることから、ユーザは背景画像(D)であることを把握できる。
 この図19Bの状態で一定時間(たとえば30秒)が経過すると、図17の処理の開始に移行する。図19Cは図17の処理が実行された状態を示す。背景画像(D)と透かし画像(E)が出力画像(C)に切り替わっている。このため、映像アイコン622が強調表示される。また、現在表示中のサムネイル623が強調表示されないことから、ユーザはディスプレイ3に表示された画像が出力画像(C)であることを把握できる。
 以上説明したように、ユーザにより行われる所定の操作に応答して、ページ処理部37は、ディスプレイ3に表示されている第二の画像(ノートPC6から電子黒板2に入力された映像)を静止画として取得(キャプチャ)する。所定の操作が行われた後に、映像重畳部28は、ディスプレイ3に、取得された静止画と第一画像(文字「Confidential」)を所定時間表示する。所定時間が経過した後に、映像重畳部28は再び第二の画像(ノートPC6から電子黒板2に入力された映像)を表示する。
 図19Bの状態で一定時間が経過する前に図19Cの状態にディスプレイ3の表示状態を移行させるには、ユーザが映像アイコン622を押下する。
 <<映像が入力されていない場合>>
 映像が入力されていない場合、出力画像(C)は非表示で透かし画像(E)が表示されている。また、ディスプレイ3の表示状態は、ユーザが手書きしたストローク画像(B)が表示され、背景画像(D)も表示されている状態である。映像が入力されていない場合、ユーザは取り込む操作を行えない。
 <映像の入力に対する透かし画像の表示と非表示の切り替えの変形例>
 図17の処理では、映像が入力されていれば透かし画像(E)を非表示にして、映像が入力されていなければ透かし画像(E)を表示した。更に、ノートPC6から電子黒板2に入力された映像が動画か否かに基づいて、透かし画像(E)の表示と非表示を切り替えてもよい。つまり、動画が入力されているかどうかが表示条件となる。
 図20は、レイアウト管理部35が映像の入力の有無に応じて透かし画像(E)の表示と非表示を切り替える手順を示すフローチャートの変形例である。なお、図20の説明では図17との相違を主に説明する。
 映像が入力されている場合(ステップS10のYes)、レイアウト管理部35は入力されている映像(入力映像)が動画か否かを判断する(ステップS15)。この動画は、例えば、一定時間間隔で撮影された一連の画像を連続表示する映像でもよい。また、動画は、ユーザがノートPC6を操作することで時間的に変化する映像でもよい。例えば、画面を切り替えたりブラウザソフトウェアでスクロールしたりするような場合も、映像は動画である。
 映像が動画であるかどうかは、画像取得部31が取得する時系列のフレームの差分演算により判断できる。フレームの全体で差分演算を行うと負荷が高いような場合は、フレームの一部にのみ行ってもよい。
 映像が動画であると判断した場合(ステップS15においてYes)、レイアウト管理部35は、透かし画像(E)のレイヤを非表示にして、出力画像(C)のレイヤを表示するように表示重畳部36に通知(要求)する(ステップS20)。したがって、この場合、映像重畳部28は、透かし画像(E)を表示せずに出力画像(C)を表示する。
 映像が動画ではないと判断した場合(ステップS15においてNo)、レイアウト管理部35は、透かし画像(E)のレイヤと出力画像(C)のレイヤをどちらも表示するように表示重畳部36に通知(要求)する(ステップS40)。したがって、この場合、映像重畳部28は、透かし画像(E)と出力画像(C)を表示する。より具体的には、表示重畳部36は透かし画像(E)と出力画像(C)を重畳し、映像重畳部28は、表示重畳部36により重畳された透かし画像(E)と出力画像(C)をディスプレイ3に表示する。別の言い方をすれば、映像重畳部28は、透かし画像(E)と出力画像(C)を重畳することで得られた画像を表示する。
 動画が入力される場合は、ユーザがどの映像を見たいのか不明であるし、映像を探すために透かし画像(E)が邪魔になるおそれがあるが、図20の処理によれば動画が入力される場合は透かし画像(E)を非表示にできる。別の言い方をすれば、透かし画像(E)に妨げられることなく、ユーザは、ノートPC6から入力された動画を構成する複数の画像を見ることができる。これにより、例えば、ユーザは、複数の画像のうちの一つの画像を、所望のタイミング(時点)で取得(キャプチャ)することができる。また、静止画が入力される場合は、ユーザがゆっくりと映像を見ることができるので、電子黒板2は、透かし画像(E)はそれほど邪魔にならないと判断し、透かし画像(E)と出力画像(C)を表示する。したがって、出力画像(C)を表示したまま、映像が変化している場合は透かし画像(E)を非表示にして、映像が変化しなくなると透かし画像(E)を表示させるような電子黒板2の使い方が可能になる。映像が静止すると例えば「Confidential」という文字を表示できるので、映像が入力されている場合でも静止画なら透かし画像(E)を表示できる。別の言い方をすれば、ノートPC6から入力された映像(入力画像)がディスプレイ3上において所定時間以上変化しない場合には、映像重畳部28は透かし画像(E)と出力画像(C)をディスプレイ3に重畳して表示してもよい。ノートPC6から入力された映像(入力画像)がディスプレイ3上において所定時間未満の間隔で変化する場合には、映像重畳部28は透かし画像(E)を表示せずに出力画像(C)をディスプレイ3に表示してもよい。
 <まとめ>
 以上説明したように、本実施形態の電子黒板2は、ユーザが操作しなくても、透かし画像の表示と非表示をノートPC6の映像の入力の有無により切り替えることができる。
 <その他の適用例>
 以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
 例えば、透かし画像は、白地に文字又は均一色に限られず、画像が含む情報に関係なく画像であれば透かし画像となりうる。
 また、本実施形態では、電子黒板2に有線でノートPC6が接続された場合を説明したが、ノートPC6は無線で映像を電子黒板2に入力してもよい。この場合、映像の入力の有無は無線LANなどの通信装置が映像を受信したか否かにより判断される。
 更に、ノートPC6と電子黒板2が1対1で接続又は通信する場合だけでなく、ネットワーク(有線又は無線)で通信する場合も本実施形態を適用できる。
 また、図4などの構成例は、電子黒板2による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。電子黒板2の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、1つの処理単位が更に多くの処理を含むように分割することもできる。
 なお、透かし画像生成部38は第一の画像取得手段の一例であり、画像取得部31は第二の画像取得手段の一例であり、レイアウト管理部35は画像判断手段の一例であり、表示重畳部36は画像重畳手段の一例であり、映像重畳部28は表示手段の一例である。また、透かし画像は第一の画像の一例であり、出力画像は第二の画像の一例であり。ファイル入力部42aは画像取り込み手段の一例であり、操作処理部26は透明度受付手段の一例であり、ページ処理部37は静止画取得手段の一例である。
 なお、上記した実施形態に係る画像処理装置は、1以上のプログラムを記憶したデバイスメモリーと、1以上のプロセッサによって実現されてもよい。1以上のプロセッサは、1以上のプログラムを実行することで、実施形態において記載された処理を実行する。例えば、デバイスメモリーと1以上のプロセッサは、実施形態に記載されたような機能を実現(実装)することができる。例えば、デバイスメモリーと1以上のプロセッサは、実施形態において記載されたようなハードウェア要素によって実現(実装)されてもよい。また、画像処理装置などのコンピュータに処理を実行させるための1以上のプログラムは、不揮発性の記録媒体に記憶されていてもよい。
 以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。
 本願は、日本特許庁に2015年12月25日に出願された基礎出願2015-253020号及び日本特許庁に2016年10月25日に出願された基礎出願2016-209023号の優先権を主張するものであり、その全内容を参照によりここに援用する。
 2   電子黒板
 3   ディスプレイ
 4   電子ペン
 30  画像処理部
 31  画像取得部
 33  UI画像生成部
 34  背景生成部
 35  レイアウト管理部
 36  表示重畳部
 37  ページ処理部
 38  透かし画像生成部
特開2013-210957号公報

Claims (11)

  1.  外部機器が入力する入力映像を表示する画像処理装置であって、
     記憶手段に記憶された第一の画像を取得する第一の画像取得手段と、
     前記入力映像から第二の画像を取得する第二の画像取得手段と、
     前記外部機器から入力された前記入力映像が所定の条件を満たさない場合、前記第一の画像を表示せずに前記第二の画像を表示させると判断し、前記外部機器から入力された前記入力映像が前記所定の条件を満たす場合、前記第一の画像と前記第二の画像を表示させると判断し、前記外部機器から前記入力映像が入力されていない場合、前記第一の画像を表示させると判断する画像判断手段と、
     前記画像判断手段が前記第一の画像と前記第二の画像を表示させると判断した場合、前記第一の画像と前記第二の画像を重畳する画像重畳手段と、
     前記画像重畳手段が重畳した前記第一の画像と前記第二の画像を表示部に表示する表示手段と、を有する画像処理装置。
  2.  前記第一の画像取得手段は、少なくとも一部に透明度に関する情報を有する前記第一の画像を取得する請求項1に記載の画像処理装置。
  3.  外部から透明度に関する情報を有する前記第一の画像を取り込み、前記記憶手段に記憶させる画像取り込み手段を有する請求項1又は2に記載の画像処理装置。
  4.  前記第一の画像は、所定の文字を有するか又は均一色である請求項2又は3に記載の画像処理装置。
  5.  前記第一の画像の一部又は全体の透明度の設定を受け付ける透明度受付手段を有する請求項2~4のいずれか1項に記載の画像処理装置。
  6.  前記透明度受付手段は、複数の画像を表示し、前記複数の画像から選択された一つの画像を前記第一の画像として受け付け、
     前記第一の画像取得手段は選択された前記第一の画像を前記記憶手段から取得する請求項5に記載の画像処理装置。
  7.  前記画像判断手段は、前記外部機器から入力された前記入力映像が動画である場合、前記第一の画像を表示せず、前記第二の画像を表示させると判断し、
     前記画像判断手段は、前記外部機器から入力された前記入力映像が動画でない場合、前記第一の画像及び前記第二の画像を表示させると判断する請求項1~6のいずれか1項に記載の画像処理装置。
  8.  所定の操作により前記第二の画像を静止画として取得する静止画取得手段を有し、
     前記静止画取得手段が前記静止画を取得した場合、前記入力映像が入力されていても、前記画像判断手段は前記第二の画像を表示せず、前記静止画と共に前記第一の画像を表示させると判断する請求項1~7のいずれか1項に記載の画像処理装置。
  9.  所定の操作に応答して前記第二の画像を静止画として取得する静止画取得手段を有し、
     前記所定の操作が行われた後に、前記表示手段は前記静止画と前記第一の画像を所定時間表示し、
     前記所定時間が経過した後に、前記表示手段は前記第二の画像を表示する請求項1~7のいずれか1項に記載の画像処理装置。
  10.  外部機器が入力する入力映像を表示する画像処理装置が行う画像表示方法であって、
     第一の画像取得手段が、記憶手段に記憶された第一の画像を取得するステップと、
     第二の画像取得手段が、前記入力映像から第二の画像を取得するステップと、
     画像判断手段が、前記外部機器から入力された前記入力映像が所定の条件を満たさない場合、前記第一の画像を表示せずに前記第二の画像を表示させると判断し、前記外部機器から入力された前記入力映像が前記所定の条件を満たす場合、前記第一の画像と前記第二の画像を表示させると判断し、前記外部機器から前記入力映像が入力されていない場合、前記第一の画像を表示させると判断するステップと、
     画像重畳手段が、前記画像判断手段が前記第一の画像と前記第二の画像を表示させると判断した場合、前記第一の画像と前記第二の画像を重畳するステップと、
     表示手段が、前記画像重畳手段が重畳した前記第一の画像と前記第二の画像を表示部に表示するステップと、を有する画像表示方法。
  11.  外部機器が入力する入力映像を表示する画像処理装置を、
     記憶手段に記憶された第一の画像を取得する第一の画像取得手段と、
     前記入力映像から第二の画像を取得する第二の画像取得手段と、
     前記外部機器から入力された前記入力映像が所定の条件を満たさない場合、前記第一の画像を表示せずに前記第二の画像を表示させると判断し、前記外部機器から入力された前記入力映像が前記所定の条件を満たす場合、前記第一の画像と前記第二の画像を表示させると判断し、前記外部機器から前記入力映像が入力されていない場合、前記第一の画像を表示させると判断する画像判断手段と、
     前記画像判断手段が前記第一の画像と前記第二の画像を表示させると判断した場合、前記第一の画像と前記第二の画像を重畳する画像重畳手段と、
     前記画像重畳手段が重畳した前記第一の画像と前記第二の画像を表示部に表示する表示手段、として機能させるためのプログラム。
PCT/JP2016/086581 2015-12-25 2016-12-08 画像処理装置、画像表示方法、プログラム WO2017110505A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201680075106.5A CN108475160A (zh) 2015-12-25 2016-12-08 图像处理装置、图像显示方法和程序
JP2017557866A JP6583432B2 (ja) 2015-12-25 2016-12-08 画像処理装置、画像表示方法、プログラム
EP16878397.5A EP3396510B1 (en) 2015-12-25 2016-12-08 Image processing device, image display method, and program
US16/008,370 US20180292951A1 (en) 2015-12-25 2018-06-14 Image processing apparatus, image display method, and non-transitory recording medium

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015253020 2015-12-25
JP2015-253020 2015-12-25
JP2016-209023 2016-10-25
JP2016209023 2016-10-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/008,370 Continuation US20180292951A1 (en) 2015-12-25 2018-06-14 Image processing apparatus, image display method, and non-transitory recording medium

Publications (1)

Publication Number Publication Date
WO2017110505A1 true WO2017110505A1 (ja) 2017-06-29

Family

ID=59090097

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/086581 WO2017110505A1 (ja) 2015-12-25 2016-12-08 画像処理装置、画像表示方法、プログラム

Country Status (5)

Country Link
US (1) US20180292951A1 (ja)
EP (1) EP3396510B1 (ja)
JP (1) JP6583432B2 (ja)
CN (1) CN108475160A (ja)
WO (1) WO2017110505A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11061513B2 (en) 2019-03-26 2021-07-13 Seiko Epson Corporation Method for controlling display device, and display device
JP2023515030A (ja) * 2020-02-24 2023-04-12 北京字節跳動網絡技術有限公司 画像処理方法、モジュール、電子装置及び記憶媒体

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018101514A1 (ko) * 2016-12-01 2018-06-07 엘지전자 주식회사 영상표시장치, 및 이를 구비하는 영상표시 시스템
CN110087098B (zh) 2018-01-26 2021-12-03 阿里巴巴(中国)有限公司 水印处理方法及装置
US11132122B2 (en) 2019-04-11 2021-09-28 Ricoh Company, Ltd. Handwriting input apparatus, handwriting input method, and non-transitory recording medium
US11551480B2 (en) 2019-04-11 2023-01-10 Ricoh Company, Ltd. Handwriting input apparatus, handwriting input method, program, and input system
CN111176531A (zh) * 2020-01-03 2020-05-19 京东方科技集团股份有限公司 电子设备及其交互方法、计算机可读存储介质
CN113630606B (zh) * 2020-05-07 2024-04-19 百度在线网络技术(北京)有限公司 视频水印处理方法、装置、电子设备及存储介质
CN111930653B (zh) * 2020-07-13 2022-06-24 四川钛阁科技有限责任公司 一种usb设备的远程分配使用方法及装置
CN115618812A (zh) * 2021-07-16 2023-01-17 富泰华工业(深圳)有限公司 基于色彩编码的用户信息嵌入方法、电子设备及存储介质
TWI796265B (zh) * 2022-07-27 2023-03-11 友達光電股份有限公司 顯示裝置以及影像顯示方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010102267A (ja) * 2008-10-27 2010-05-06 Sharp Corp 画像表示装置、携帯端末
JP2015501023A (ja) * 2011-10-11 2015-01-08 ファスドットコム カンパニー リミテッドFASOO.COM Co.,Ltd. ウォーターマークを画面上に表示する装置及び方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3898651B2 (ja) * 2003-02-25 2007-03-28 株式会社東芝 情報表示装置、情報表示方法および情報表示システム
US20070041608A1 (en) * 2003-05-28 2007-02-22 Oki Electric Industry Co., Ltd. Watermark information embedding apparatus, image processing device, watermark information embedding method and image processing method
US7546528B2 (en) * 2004-12-20 2009-06-09 Ricoh Co., Ltd. Stamp sheets
JP4596156B2 (ja) * 2005-08-11 2010-12-08 ブラザー工業株式会社 情報処理装置及びプログラム
US20100259560A1 (en) * 2006-07-31 2010-10-14 Gabriel Jakobson Enhancing privacy by affecting the screen of a computing device
EP1981274A1 (en) * 2007-04-12 2008-10-15 Alcatel Lucent Multimedia descriptions for adding additional multimedia
EP2071822A1 (en) * 2007-12-13 2009-06-17 Thomson Licensing Method and apparatus for inserting a removable visible watermark in an image and method and apparatus for removing such watermarks
US20130128120A1 (en) * 2011-04-06 2013-05-23 Rupen Chanda Graphics Pipeline Power Consumption Reduction
US20140176562A1 (en) * 2012-12-21 2014-06-26 Appsense Limited Systems and methods for providing a software application privacy screen
JP2015069284A (ja) * 2013-09-27 2015-04-13 株式会社リコー 画像処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010102267A (ja) * 2008-10-27 2010-05-06 Sharp Corp 画像表示装置、携帯端末
JP2015501023A (ja) * 2011-10-11 2015-01-08 ファスドットコム カンパニー リミテッドFASOO.COM Co.,Ltd. ウォーターマークを画面上に表示する装置及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3396510A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11061513B2 (en) 2019-03-26 2021-07-13 Seiko Epson Corporation Method for controlling display device, and display device
JP2023515030A (ja) * 2020-02-24 2023-04-12 北京字節跳動網絡技術有限公司 画像処理方法、モジュール、電子装置及び記憶媒体

Also Published As

Publication number Publication date
CN108475160A (zh) 2018-08-31
JPWO2017110505A1 (ja) 2018-10-04
EP3396510B1 (en) 2020-06-03
JP6583432B2 (ja) 2019-10-02
EP3396510A4 (en) 2018-12-05
EP3396510A1 (en) 2018-10-31
US20180292951A1 (en) 2018-10-11

Similar Documents

Publication Publication Date Title
JP6583432B2 (ja) 画像処理装置、画像表示方法、プログラム
JP6094550B2 (ja) 情報処理装置、プログラム
JP2015069284A (ja) 画像処理装置
JP6493546B2 (ja) 電子黒板、記憶媒体、及び情報表示方法
US11294495B2 (en) Electronic whiteboard, method for image processing in electronic whiteboard, and recording medium containing computer program of electronic whiteboard
JP6402826B2 (ja) 情報処理装置、画像表示方法、プログラム
JP2019186946A (ja) 電子黒板
JP2016208394A (ja) 情報処理装置、画像表示方法
CN107037939B (zh) 电子黑板和图像处理方法
JP6143100B2 (ja) 画像処理装置及び画像処理システム
JP2016139322A (ja) 画像処理装置及びそれを備えた電子黒板
JP6631643B2 (ja) 画像処理装置、画像処理システム及び画像処理方法
JP6036621B2 (ja) システム、情報処理装置
JP6589621B2 (ja) 表示装置、カメラ位置制御方法、およびプログラム
JP7298224B2 (ja) 表示装置、及び表示方法
JP7363064B2 (ja) 画像処理装置、方法、およびプログラム
JP2019114123A (ja) データ共有システム、情報処理装置、プログラム、データ共有方法
JP2017129890A (ja) 座標検知装置、画像処理装置、座標検知方法及びプログラム
JP2015056038A (ja) 画像処理装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16878397

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017557866

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016878397

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016878397

Country of ref document: EP

Effective date: 20180725