WO2016178365A1 - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

情報処理装置、情報処理方法および情報処理プログラム Download PDF

Info

Publication number
WO2016178365A1
WO2016178365A1 PCT/JP2016/062362 JP2016062362W WO2016178365A1 WO 2016178365 A1 WO2016178365 A1 WO 2016178365A1 JP 2016062362 W JP2016062362 W JP 2016062362W WO 2016178365 A1 WO2016178365 A1 WO 2016178365A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
data
image
electronic blackboard
information processing
Prior art date
Application number
PCT/JP2016/062362
Other languages
English (en)
French (fr)
Inventor
加藤　喜永
笠谷　潔
恵介 塚田
Original Assignee
株式会社リコー
加藤　喜永
笠谷　潔
恵介 塚田
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社リコー, 加藤　喜永, 笠谷　潔, 恵介 塚田 filed Critical 株式会社リコー
Priority to CN201680025383.5A priority Critical patent/CN107534704B/zh
Priority to EP16789501.0A priority patent/EP3293955A4/en
Priority to JP2017516580A priority patent/JP6460228B2/ja
Publication of WO2016178365A1 publication Critical patent/WO2016178365A1/ja
Priority to US15/800,227 priority patent/US10419618B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/567—Multimedia conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H04L65/1089—In-session procedures by adding media; by removing media
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels

Definitions

  • the present invention relates to an information processing apparatus system.
  • Electronic conference boards that can draw stroke images such as letters, numbers, and figures on the background image displayed on a large display are used in meetings at companies, educational institutions, government agencies, and the like.
  • an electronic blackboard an electronic information board system in which a computer device that controls a display device superimposes an insertion image on a background image and displays the image on the display device is known (for example, see Patent Document 1).
  • the user who used the video conference system is encouraged to use the electronic blackboard.
  • the user who has used the video conference system uses the electronic blackboard by adding the function of the electronic blackboard.
  • the convenience of being able to use the UI (User Interface) of the video conference system as it is can be improved, and the introduction of the electronic blackboard can be promoted.
  • the software for operating the video conference system and the software for operating the electronic blackboard are operated independently.
  • the present invention has been proposed in view of the above problems, and its object is to effectively use network resources when the functions of the second information processing system are introduced into the first information processing system. There is.
  • An information processing apparatus connected via a communication network, From the communication path set between the information processing apparatus and the other information processing apparatus to transmit the first content data of the first content according to the first information processing system, the other information processing apparatus And a transmission unit for transmitting second content data of the second content created with respect to the first content in accordance with the second information processing system.
  • network resources can be used effectively when the functions of the second information processing system are introduced into the first information processing system.
  • FIG. 1 is an overall configuration diagram of an image processing system according to the present embodiment. It is a hardware block diagram of an electronic blackboard. It is a hardware block diagram of a transmission management system. It is a functional block diagram of an electronic blackboard. It is a functional block diagram of a file processing unit. It is a functional block diagram of a server part and a communication control part. It is a conceptual diagram which shows page data. It is a conceptual diagram which shows stroke data. It is a conceptual diagram which shows coordinate arrangement
  • FIG. 1 is an overall configuration diagram of an image processing system 1 according to the present embodiment.
  • two electronic blackboards (whiteboards) 2a and 2b and electronic pens 4a and 4b associated therewith are shown for simplicity of explanation.
  • An electronic pen or the like may be used.
  • a data providing system that communicates content data in one direction from a communication terminal such as one electronic blackboard to a communication terminal such as another electronic blackboard via a transmission management system, or transmission management
  • a communication system that transmits information, emotions, and the like between a plurality of communication terminals via the system is included.
  • This communication system is a system for mutually transmitting information, emotions, etc. between a plurality of communication terminals (corresponding to “communication terminals”) via a communication management system (corresponding to “transmission management system”).
  • a video conference system, a video phone system, a voice conference system, a voice phone system, a PC (Personal computer) screen sharing system, and the like can be given as examples.
  • the image processing system 1 includes a plurality of electronic blackboards 2a and 2b, a plurality of electronic pens 4a and 4b, USB memories 5a and 5b, notebook PCs (Personal Computers) 6a and 6b, a television ( Video) conference terminals 7a and 7b, a transmission management system 50, and a PC 8.
  • the electronic blackboards 2a and 2b, the conference terminals 7a and 7b, the transmission management system 50, and the PC 8 are connected via a communication network 9 so as to be communicable.
  • the plurality of electronic blackboards 2a and 2b are provided with displays 3a and 3b, respectively.
  • the electronic blackboard 2 transmits / receives image data, audio data, and the like to / from other electronic blackboards or the TV (video) conference terminal 7 and the PC 8.
  • a video conference is performed by transmitting and receiving high-quality image data, audio data, and the like between the electronic blackboard 2a whose communication ID is “01aa” and the electronic blackboard 2b whose communication ID is “01bb”.
  • the image of the image data is a still image will be described, but it may be a moving image as well as a still image. Moreover, both the moving image and the still image may be included in the image of the image data.
  • the transmission management system 50 is for managing a plurality of electronic blackboards 2 in an integrated manner.
  • the electronic blackboard 2a can cause the display 3a to display an image drawn by an event generated by the electronic pen 4a (touch of the pen tip of the electronic pen 4a or the pen butt of the electronic pen 4a on the display 3a). It can. Note that the electronic blackboard 2a changes the image displayed on the display 3a based on not only the electronic pen 4a but also an event (a gesture such as enlargement, reduction, and page turning) generated by the user's hand Ha or the like. You can also.
  • the electronic blackboard 2a can be connected to a USB memory 5a.
  • the electronic blackboard 2a reads an electronic file such as PDF (Portable Document Format) from the USB memory 5a, and the electronic blackboard 2a is a USB (Universal Serial Bus) memory.
  • An electronic file can be recorded in 5a.
  • the electronic blackboard 2a is connected via a cable 10a1 capable of communication according to standards such as DisplayPort, DVI (Digital Visual Interface), HDMI (registered trademark) (High-Definition Multimedia Interface), and VGA (Video Graphics Array).
  • a notebook PC 6a is connected.
  • the electronic blackboard 2a generates an event by touching the display 3a, and transmits event information indicating the event to the notebook PC 6a in the same manner as an event from an input device such as a mouse or a keyboard.
  • a television (video) conference terminal 7a is connected to the communication network 9 via a cable 10a2 capable of communication according to the above standard.
  • the notebook PC 6a and the video conference terminal 7a may communicate with the electronic blackboard 2a by wireless communication complying with various wireless communication protocols such as Bluetooth (registered trademark).
  • the electronic blackboard 2b having the display 3b, the electronic pen 4b, the USB memory 5b, the notebook PC 6b, the video conference terminal 7b, the cable, etc. 10b1 and cable 10b2 are used. Furthermore, the image displayed on the display 3b can be changed based on an event caused by the user's hand Hb or the like.
  • the image drawn on the display 3a of the electronic blackboard 2a at one base is also displayed on the display 3b of the electronic blackboard 2b at another base, and conversely on the display 3b of the electronic blackboard 2b at another base.
  • the image drawn on is displayed on the display 3a of the electronic blackboard 2a at one base.
  • the image processing system 1 can perform remote sharing processing for sharing the same image at a remote location, and thus is very convenient when used for a conference or the like at a remote location.
  • an arbitrary electronic blackboard among the plurality of electronic blackboards it is indicated as “electronic blackboard 2”.
  • display 3 When an arbitrary display among a plurality of displays is shown, “display 3” is shown.
  • an arbitrary electronic pen among a plurality of electronic pens When an arbitrary USB memory is indicated among the plurality of USB memories, it is indicated as “USB memory 5”.
  • an arbitrary notebook PC among the plurality of notebook PCs it is indicated as “notebook PC 6”.
  • an arbitrary video conference terminal is indicated among the plurality of video conference terminals, it is indicated as “video conference terminal 7”.
  • “hand H” is used when an arbitrary hand among the hands of a plurality of users is shown.
  • an arbitrary cable is indicated among the plurality of cables, it is indicated as “cable 10”.
  • an image processing system as an example of a communication system a transmission management system as an example of a communication management system, and an electronic blackboard as an example of a communication terminal are assumed.
  • the electronic blackboard will be described. That is, the electronic blackboard and the transmission management system are applied not only to an image processing system, a television or a video conference system, but also to a communication system or a transmission system.
  • an electronic blackboard is described as an example of the information processing apparatus.
  • the present invention is not limited to this, and other examples of the information processing apparatus include a desktop PC, a tablet PC, and an electronic signboard ( It may be a digital signage), a telestrator used in sports or weather forecasts, or an image processing device such as a remote image (video) diagnostic device.
  • the notebook PC 6 will be described as an example of the information processing terminal, but is not limited thereto.
  • Other examples of the information processing terminal include a desktop PC, a tablet PC, a PDA, a digital video camera, a digital camera, and a game. It may be a terminal capable of supplying image frames such as a machine.
  • the communication network includes the Internet, a LAN (Local Area Network), a mobile phone communication network, and the like.
  • a USB memory is described as an example of a recording medium.
  • the present invention is not limited to this, and various recording media such as an SD card may be used as another example of the recording medium.
  • FIG. 2 is a hardware configuration diagram of the electronic blackboard.
  • the electronic blackboard 2 includes a CPU 101 that controls the operation of the electronic blackboard 2 as a whole, a ROM 102 that stores a program used to drive the CPU 101 such as an IPL, and a RAM 103 that is used as a work area of the CPU 101. , An SSD 104 for storing various data such as an electronic blackboard program, a network controller 105 for controlling communication with the communication network 9, and an external storage controller 106 for controlling communication with the USB memory 5. Further, the electronic blackboard 2 captures video information as a still image on the display of the camera 107 that captures an image of the subject and obtains image data under the control of the CPU 101, the image sensor I / F 108 that controls the driving of the camera 107, and the notebook PC 6.
  • the capture device 111 to be displayed as a moving image, the GPU (Graphics Processing Unit) 112 that specializes in graphics, and the screen display control and management for outputting an output image from the GPU to the display 3 or the video conference terminal 7 are performed.
  • a display controller 113 is provided.
  • the electronic blackboard 2 further includes a sensor controller 114 that controls processing of the contact sensor 115 and a contact sensor 115 that detects that the electronic pen 4 or the hand H of the user touches the display 3.
  • the contact sensor 115 performs input of coordinates and detection of coordinates by an infrared ray blocking method.
  • two light emitting / receiving devices installed at both upper ends of the display 3 emit a plurality of infrared rays in parallel with the display 3 and are provided around the display 3.
  • This is a method of receiving light that is reflected by the reflecting member and returns on the same optical path as the light path emitted by the light receiving element.
  • the contact sensor 115 outputs infrared ID (Identification) emitted by the two light receiving and emitting devices blocked by the object to the sensor controller 114, and the sensor controller 114 identifies the coordinate position that is the contact position of the object. All IDs shown below are examples of identification information.
  • the contact sensor 115 is not limited to the infrared ray blocking method, but a capacitance type touch panel that identifies a contact position by detecting a change in capacitance, or a contact position determined by a voltage change of two opposing resistance films.
  • Various detection means such as a resistance film type touch panel to be identified and an electromagnetic induction type touch panel to identify a contact position by detecting electromagnetic induction caused by contact of a contact object with the display unit may be used.
  • the contact sensor 115 may determine contact using a camera and specify a coordinate position.
  • the electronic blackboard 2 includes an electronic pen controller 116.
  • This electronic pen controller 116 communicates with the electronic pen 4 to determine whether or not there is a pen tip touch or a pen butt touch on the display 3. It should be noted that the electronic pen controller 116 may determine whether or not the user grips the part of the electronic pen 4 or the other electronic pen part as well as the pen tip and pen butt of the electronic pen 4.
  • the electronic blackboard 2 includes a microphone 122 that inputs sound, a speaker 123 that outputs sound, and a sound input / output I / F 124 that processes input and output of sound signals between the microphone 122 and the speaker 123 according to the control of the CPU 101. And an operation button 125 for receiving a user operation, and a power switch 126 for switching on / off the power of the electronic blackboard 2.
  • the electronic blackboard 2 includes a CPU 101, a ROM 102, a RAM 103, an SSD 104, a network controller 105, an external storage controller 106, a capture device 111, a GPU 112, a sensor controller 114, an electronic pen controller 116, an image sensor I / F 108, a voice input / output I / O.
  • a bus line 120 such as an address bus or a data bus is provided for electrically connecting the F 124, the operation button 125, and the power switch 126.
  • program for the electronic blackboard may be distributed and downloaded by being recorded on a computer-readable recording medium such as a CD-ROM or a server on a network.
  • FIG. 3 is a hardware configuration diagram of the transmission management system 50.
  • the transmission management system 50 includes a CPU 201 that controls the overall operation of the transmission management system 50, a ROM 202 that stores a transmission management program, a RAM 203 that is used as a work area for the CPU 201, and an HD (Hard Disk) that stores various data. 204, an HDD 205 that controls reading and writing of various data to and from the HD 204 according to the control of the CPU 201, and a media drive 207 that controls reading and writing (storage) of data to and from a recording medium 206 such as a flash memory.
  • the transmission management system 50 includes a display I / F 208 for displaying various information such as a cursor, menus, windows, characters, and images on the display 216 and a network I for transmitting data using the communication network 9. / F209, a keyboard 211 having a plurality of keys for inputting characters, numerical values, various instructions, etc., and a mouse for selecting and executing various instructions, selecting a processing target, moving a pointing device such as a mouse cursor, etc. 212.
  • the transmission management system 50 includes a CD-ROM drive 214 that controls reading and writing of data with respect to a CD-ROM (Compact Disc Read Only Memory) 213 as an example of a removable recording medium, and an external device. And an external device I / F 215 for transmitting and receiving information, and a bus line 210 such as an address bus and a data bus for electrically connecting the respective components to each other.
  • a display I / F 208 for displaying various information such as a cursor, menus, windows
  • the transmission management program may be installed in an installable or executable format, and recorded on a computer-readable recording medium such as the recording medium 206 or CD-ROM 213 for distribution. .
  • the transmission management program may be stored in the HD 204.
  • FIG. 4 is a functional block diagram of the electronic blackboard 2.
  • the electronic blackboard 2 has each functional configuration shown in FIG. 4 by the hardware configuration and program shown in FIG.
  • the electronic blackboard 2 can be a “host device” that starts the remote sharing process first, and can also be a “participating device” that participates in the remote sharing process that has already started.
  • the electronic blackboard 2 is roughly composed of both the client unit 20 and the server unit 90.
  • the electronic blackboard 2 may include the client unit 20, and the server unit 90 may be a device different from the electronic blackboard 2 such as a distribution control device.
  • the client unit 20 and the server unit 90 are functions realized in one housing of the electronic blackboard 2.
  • the electronic blackboard 2 When the electronic blackboard 2 is a hosting device, the electronic blackboard 2 realizes (executes) the client unit 20 and the server unit 90.
  • the client unit 20 When the electronic blackboard 2 is a participating device, the client unit 20 is realized (executed) in the electronic blackboard 2, but the server unit 90 is not realized (executed). That is, in FIG. 1, when the electronic blackboard 2a is the hosting device and the electronic blackboard 2b is the participating device, the client unit 20 of the electronic blackboard 2a receives the other via the server unit 90 realized in the same electronic blackboard 2a. Communicate with the client unit 20 of the electronic blackboard 2b. On the other hand, the client unit 20 of the electronic blackboard 2b communicates with the client units of the other electronic blackboard 2a via the server unit 90 realized in the other electronic blackboard 2a.
  • the client unit 20 includes an operation input reception unit 11, a login request unit 12, a voice input / output unit 13, an imaging unit 14, a video acquisition unit 21, a coordinate detection unit 22, an automatic adjustment unit 23, a contact It has a detection unit 24, an event distribution unit 25, an operation processing unit 26, a gesture processing unit 27, a video superimposing unit 28, an image processing unit 30, and a communication control unit 60.
  • Each of these functional units is a function or means realized by any one of the constituent elements shown in FIG. 2 operating according to a command from the CPU 101 in accordance with a program stored in the ROM 102.
  • a program for an electronic conference system that realizes an operation input receiving unit 11, a login request unit 12, a voice input / output unit 13, and an imaging unit 14, a video acquisition unit 21, a coordinate detection unit 22, and automatic adjustment Unit 23, contact detection unit 24, event distribution unit 25, operation processing unit 26, gesture processing unit 27, video superimposing unit 28, image processing unit 30, and electronic blackboard program for realizing communication control unit 60 are prepared.
  • the electronic conference system program stored in the ROM 102 and the electronic blackboard program operate the CPU 101 in cooperation.
  • the electronic blackboard 2 has a storage unit constructed by the SSD 104 shown in FIG.
  • the operation input receiving unit 11 is realized by the operation button 125 and the power switch 126 shown in FIG. 2, and receives various inputs by the user. For example, when the user turns on the power switch of the main body of the electronic blackboard 2, the operation input receiving unit 11 receives the power ON and turns on the power.
  • the login request unit 12 is realized by a command from the CPU 101 shown in FIG. 2 and indicates that the login is requested from the communication control unit 60 to the transmission management system 50 via the communication network 9 in response to a user operation.
  • the login request information and the current IP address of the electronic blackboard 2 are automatically transmitted.
  • the voice input / output unit 13 is realized by the microphone 122, the speaker 123, and the voice input / output I / F 124 shown in FIG.
  • the voice input / output unit 13 inputs a user's voice, converts the voice into a voice signal, outputs voice data related to the voice signal, and converts the voice signal related to the voice data into voice and outputs the voice data.
  • the imaging unit 14 is realized by the camera 107 and the imaging element I / F 108 shown in FIG. 2, and generates image data representing an image obtained by imaging a subject.
  • the video acquisition unit 21 acquires the output video of the video output device connected to the cable 10.
  • the video acquisition unit 21 analyzes the image signal, and updates the resolution of the image frame that is a display image of the video output device formed by the image signal.
  • Image information such as frequency is derived and output to the image acquisition unit 31.
  • Image data such as output video and display data are data in a format such as JPEG (Joint Photographic Experts Group), Bitmap, GDI (Graphics Device Interfacing).
  • the coordinate detection unit 22 detects the coordinate position of an event (such as an operation in which the user's hand H is touched on the display 3) generated by the user on the display 3.
  • the coordinate detection unit 22 also detects the touched area.
  • the automatic adjustment unit 23 is activated when the electronic blackboard 2 is activated, and adjusts the image processing parameters of the sensor camera in the optical sensor method of the contact sensor 115 so that the contact sensor 115 can output an appropriate value to the coordinate detection unit 22. To do.
  • the contact detection unit 24 detects an event (such as an operation in which the pen tip of the electronic pen 4 or the pen butt of the electronic pen 4 is pressed (touched) on the display 3).
  • the event distribution unit 25 distributes the coordinate position of the event detected by the coordinate detection unit 22 and the detection result detected by the contact detection unit 24 to each event of stroke drawing, UI operation, and gesture operation.
  • stroke drawing is a state in which the user presses the electronic pen 4 on the display 3 when a stroke image (B) described later is displayed on the display 3 (see FIG. 17), This is an event until the electronic pen 4 is moved and finally the electronic pen 4 is released from the display 3.
  • a stroke drawing for example, alphabets “S” and “T” are drawn on the display 3.
  • the “stroke drawing” includes not only drawing an image but also an event of deleting an already drawn image or editing a drawn image.
  • UI operation is an event in which the user presses a predetermined position with the electronic pen 4 or the hand H when a UI image (A) described later is displayed on the display 3 (see FIG. 17).
  • UI operation for example, the color or width of a line drawn by the electronic pen 4 is set.
  • “Gesture operation” is an event that the user touches or moves the display 3 with the hand H when a stroke image (B) described later is displayed on the display 3 (see FIG. 17).
  • this gesture operation for example, by moving the hand H while the user touches the display 3 with the hand H, the image can be enlarged (or reduced), the display area can be changed, or the page can be switched. it can.
  • the operation processing unit 26 executes various operations according to the UI element in which the event is generated, from what is determined as the UI operation by the event distribution unit 25.
  • Examples of the UI element include a button, a list, a check box, and a text box.
  • the gesture processing unit 27 executes an operation corresponding to what is determined as a gesture operation by the event distribution unit 25.
  • the video superimposing unit 28 displays an image superimposed by a display superimposing unit 36 described later as a video on a video output device (display 3 or the like).
  • the video superimposing unit 28 performs picture-in-picture of the video sent from another video output device (such as the video conference terminal 7) with respect to the video from the video output device (such as the notebook PC 6).
  • the video superimposing unit 28 performs switching for displaying the video that has been picture-in-picture and displayed on a part of the display 3 on the entire display 3.
  • the image processing unit 30 performs superimposing processing of each image layer.
  • the image processing unit 30 includes an image acquisition unit 31, a stroke processing unit 32, a UI image generation unit 33, a background generation unit 34, a layout management unit 35, a display superimposition unit 36, a page processing unit 37, a file processing unit 40, and page data storage. Section 300 and a remote license management table 310.
  • the image acquisition unit 31 acquires each frame as an image from the video acquired by the video acquisition unit 21.
  • the image acquisition unit 31 outputs the image data to the page processing unit 37.
  • This image corresponds to an output image (C) from a video output device (notebook PC 6 or the like).
  • the image acquisition unit 31 serializes the image data by converting it to text (see FIG. 8), and uses a communication application such as an instant message to the remote image transmission unit 63 (to be described later) of the communication control unit 60. Send.
  • the stroke processing unit 32 draws an image, deletes the drawn image, or edits the drawn image based on the event related to the stroke drawing allocated by the event distribution unit 25.
  • the image by the stroke drawing corresponds to the stroke image (B).
  • the results of drawing, deleting, and editing an image based on the stroke drawing are stored in the operation data storage unit 840 of the data management unit 80 as operation data described later.
  • the UI image generation unit 33 generates a UI (user interface) image set in advance on the electronic blackboard 2. This UI image corresponds to the UI image (A).
  • the background generation unit 34 receives the media data from the page data read from the page data storage unit 300 by the page processing unit 37 from the page processing unit 37.
  • the background generation unit 34 outputs the received media data to the display superimposing unit 36.
  • the image based on the media data corresponds to the background image (D).
  • the pattern of the background image (D) is plain or grid display.
  • the layout management unit 35 provides the layout information indicating the layout of each image output from the image acquisition unit 31, the stroke processing unit 32, and the UI image generation unit 33 (or the background generation unit 34) to the display superimposition unit 36. I manage. Thereby, the layout management unit 35 causes the display superimposing unit 36 to display the output image (C) and the stroke image (B) in the UI image (A) and the background image (D). It is possible to instruct whether to hide.
  • the display superimposing unit 36 Based on the layout information output from the layout management unit 35, the display superimposing unit 36 displays the layout of each image output from the image acquisition unit 31, the stroke processing unit 32, and the UI image generation unit 33 (background generation unit 34). Do.
  • the page processing unit 37 stores the data of the stroke image (B) and the data of the output image (C) in one page data and stores them in the page data storage unit 300.
  • the data of the stroke image (B) forms part of page data as stroke arrangement data (each stroke data) indicated by the stroke arrangement data ID.
  • the data of the output image (C) forms part of page data as media data indicated by the media data ID. Then, when this media data is read from the page data storage unit 300, it is handled as data of the background image (D).
  • the page processing unit 37 transmits media data of the page data once stored to the display superimposing unit 36 via the background generating unit 34.
  • the video superimposing unit 28 can re-display the background image (D) on the display 3.
  • the page processing unit 37 can return the stroke arrangement data (each stroke data) in the page data to the stroke processing unit 32 so that the stroke can be re-edited. Further, the page processing unit 37 can delete or duplicate page data.
  • the data of the output image (C) displayed on the display 3 when the page processing unit 37 stores the page data in the page data storage unit 300 is temporarily stored in the page data storage unit 300 and then When read from the page data storage unit 300, it is read as media data indicating the background image (D). Then, the page processing unit 37 outputs stroke arrangement data indicating the stroke image (B) among the page data read from the page data storage unit 300 to the stroke processing unit 32. Further, the page processing unit 37 outputs media data indicating the background image (D) among the page data read from the page data storage unit 300 to the background generation unit 34.
  • the display superimposing unit 36 includes an output image (C) from the image acquisition unit 31, a stroke image (B) from the stroke processing unit 32, a UI image (A) from the UI image generation unit 33, and a background generation unit 34.
  • the background image (D) is superimposed according to the layout designated by the layout management unit 35. Thereby, even if each image overlaps, it becomes a structure of each layer of UI image (A), stroke image (B), output image (C), and background image (D) in the order which a user can see.
  • the display superimposing unit 36 can also superimpose the image (A) and the image (B) exclusively by switching the image (C) and the image (D). For example, when the cable 10 between the electronic blackboard 2 and the video output device (notebook PC 6 or the like) is disconnected while the image (A), the image (B), and the image (C) are initially displayed. As specified by the layout management unit 35, the image (C) can be removed from the superimposition target and the image (D) can be displayed. In this case, the display superimposing unit 36 also performs display enlargement, display reduction, and display area movement processing.
  • the page data storage unit 300 stores page data.
  • FIG. 7 is a conceptual diagram showing page data.
  • the page data is data for one page displayed on the display 3 (stroke arrangement data (each stroke data) and media data). Since there are many types of parameters included in the page data, the contents of the page data will be described here with reference to FIGS.
  • the page data includes a page data ID for identifying an arbitrary page, a start time indicating the time when the display of this page is started, and rewriting the contents of the page by a stroke or a gesture.
  • a stroke arrangement data ID for identifying the stroke arrangement data generated by the stroke of the electronic pen 4 or the user's hand H
  • the media data ID for identifying the media data. Is remembered.
  • the stroke arrangement data is data for displaying the stroke image (B) on the display 3.
  • the media data is data for displaying the background image (D) on the display 3.
  • FIG. 8 is a conceptual diagram showing stroke arrangement data.
  • one stroke arrangement data is represented by a plurality of stroke data.
  • One stroke data includes a stroke data ID for identifying the stroke data, a start time indicating the start time of writing one stroke, an end time indicating the end time of writing one stroke, the color of the stroke, A stroke array and coordinate array data ID for identifying the array of stroke passing points are shown.
  • this coordinate array data shows detailed information as shown in FIG.
  • FIG. 9 is a conceptual diagram showing coordinate array data.
  • the coordinate array data includes one point (X coordinate value, Y coordinate value) on the display 3, and the time difference (ms from the start time of the stroke when passing through the one point) ) And the writing pressure information of the electronic pen 4 at this one point. That is, the collection of one point shown in FIG. 9 is shown by one coordinate array data shown in FIG. For example, when the user draws the alphabet “S” with the electronic pen 4, it is drawn with a single stroke, but passes through a plurality of passing points until the drawing of “S” is completed. Information.
  • the media data in the page data shown in FIG. 7 shows detailed information as shown in FIG.
  • FIG. 10 is a conceptual diagram showing media data.
  • the media data includes the media data ID in the page data shown in FIG. 7, the data type of the media data, and the page data from the page processing unit 37 to the page data storage unit 300.
  • the recording time, the position of the image displayed on the display 3 by the page data (X coordinate value, Y coordinate value), the size of the image (width, height), and data indicating the contents of the media data are shown in association with each other. Has been.
  • the position of the upper left corner of the image to be displayed is shown.
  • the remote license management table 310 manages license data necessary for executing remote sharing processing.
  • the product ID of the electronic blackboard 2, the license ID used for authentication, and the expiration date of the license are managed in association with each other.
  • FIG. 5 is a functional block diagram of the file processing unit 40.
  • the file processing unit 40 includes a recovery processing unit 41, a file input unit 42a, a file output unit 42b, a file conversion unit 43, a file transmission unit 44, an address book input unit 45, a backup processing unit 46, a backup output unit 47, and a setting management unit. 48, a setting file input unit 49a, a setting file output unit 49b, and an address book input unit 50. Furthermore, the file processing unit 40 includes an address book management table 410, a backup data storage unit 420, a setting file storage unit 430, and a connection destination management table 440.
  • the recovery processing unit 41 detects the abnormal end when the electronic blackboard 2 ends abnormally, and recovers the unsaved page data. For example, in the case of a normal end, the page data is recorded as a PDF file on the USB 5 via the file processing unit 40, but in the case of an abnormal end such as when the power is down, the page data is recorded in the page data storage unit 300. Has been done. Therefore, when the power is turned on again, the recovery processing unit 41 recovers by reading the page data from the page data storage unit 300.
  • the file input unit 42a reads a PDF file from the USB memory 5 and stores each page in the page data storage unit 300 as page data.
  • the file conversion unit 43 converts the page data stored in the page data storage unit 300 into a PDF format file.
  • the file output unit 42 b records the PDF file output by the file conversion unit 43 in the USB memory 5.
  • the file transmission unit 44 transmits the PDF file generated by the file conversion unit 43 as an attachment to an e-mail.
  • the transmission destination of this PDF file displays the contents of the address book management table 410 on the display 3 by the display superimposing unit 36, and the file transmission unit 44 accepts the selection of the destination by the operation of the input device such as a touch panel by the user. Determined by.
  • the address book management table 410 as shown in FIG. 12, the name of the destination and the mail address of the destination e-mail are managed in association with each other. Further, the file transmission unit 44 can accept an input of a mail address as a destination by an operation of an input device such as a touch panel by the user.
  • the address book input unit 45 reads the e-mail address list file from the USB memory 5 and manages it in the address book management table 410.
  • the backup processing unit 46 performs backup by storing the file output by the file output unit 42b and the file transmitted by the file transmission unit 44 in the backup data storage unit 420. If the user does not set backup, backup processing is not performed.
  • the backup data is stored in PDF format as shown in FIG.
  • the backup output unit 47 stores the backed up file in the USB memory 5. At the time of storage, a password is input for security by the operation of an input device such as a touch panel by the user.
  • the setting management unit 48 stores and reads various setting information of the electronic blackboard 2 in the setting file storage unit 430 for management.
  • the various setting information include network settings, date and time settings, region and language settings, mail server settings, address book settings, connection destination list settings, and backup settings.
  • the network setting is, for example, an IP address setting of the electronic blackboard 2, a net mask setting, a default gateway setting, a DNS (Domain Name System) setting, or the like.
  • the setting file output unit 49b records various setting information of the electronic blackboard 2 in the USB memory 5 as a setting file. Note that the settings file cannot be viewed by the user due to security.
  • the setting file input unit 49a reads the setting file stored in the USB memory 5 and reflects various setting information in the various settings of the electronic blackboard 2.
  • the connection destination input unit 50 reads a list file of connection destination IP addresses for remote sharing processing from the USB memory 5 and manages the list file with the connection destination management table 440.
  • the connection destination management table 440 when the electronic blackboard 2 is a participating device that intends to participate in the remote sharing process, the user of the participating device plays a role as a host device. It is a table for managing beforehand in order to reduce the trouble of inputting the IP address of the electronic blackboard.
  • the connection destination management table 440 the name of the base where the electronic blackboard 2 as a hosting apparatus that can participate is installed and the IP address of the electronic blackboard 2 as the hosting apparatus are managed in association with each other.
  • connection destination management table 440 can be omitted.
  • the user of the participating device needs to input the IP address of the host device using an input device such as a touch panel in order to start remote request processing with the host device. Therefore, the user of the participating device obtains the IP address of the sponsoring device from the user of the sponsoring device by telephone or electronic mail.
  • the communication control unit 60 performs communication for setting a communication path such as opening a message communication port with another electronic blackboard 2 via the communication network 9, or with a communication control unit 70 described later in the server unit 90. Control communication. Therefore, the communication control unit 60 includes a remote start processing unit 61, a remote participation processing unit 62, a remote image transmission unit 63, a remote image reception unit 64, a remote operation transmission unit 65, a remote operation reception unit 66, and a participation base management table 610. have.
  • the remote start processing unit 61 requests the server unit 90 of the same electronic blackboard 2 to add and open a message communication port, and newly requests the server unit 90 to start remote sharing processing. Receive the request result from.
  • the remote start processing unit 61 refers to the remote license management table 310 and makes a request to start remote sharing processing when license information (product ID, license ID, and expiration date) is managed. be able to. However, if the license information is not managed, a request to start remote sharing processing cannot be made.
  • the participation base management table 610 is a table for managing the electronic blackboard as a participating device currently participating in the remote sharing process when the electronic blackboard 2 is the sponsor device.
  • the participating site management table 610 as shown in FIG. 15, the name of the site where the participating electronic blackboard 2 is installed and the IP address of the electronic blackboard 2 are managed in association with each other.
  • the remote participation processing unit 62 adds a message communication port to the remote connection request receiving unit 71 in the server unit 90 of the electronic blackboard 2 as a hosting device that has already started remote sharing processing via the communication network 9. And request to participate in the remote sharing process. Also in this case, the remote participation processing unit 62 refers to the remote license management table 310.
  • the remote participation processing unit 62 participates in the remote sharing process that has already been started, the IP address of the electronic blackboard 2 of the participation destination is acquired with reference to the connection destination management table 440.
  • the connection destination management table 440 may not be referred to by the remote participation processing unit 62, and the IP address of the participation electronic blackboard 2 may be input by an operation of an input device such as a touch panel by the user.
  • the remote image transmission unit 63 adds and opens the output image (C) sent from the video acquisition unit 21 via the image acquisition unit 31 and opens the message communication port (hereinafter referred to as “additional message communication port”). To the server unit 90.
  • the remote image receiving unit 64 receives the image data transmitted from the server unit 90 by the video output device connected to the other electronic blackboard 2 from the additional message communication port and outputs the image data to the display superimposing unit 36, thereby Enable sharing processing.
  • the remote operation transmission unit 65 transmits various operation data necessary for remote sharing processing to the server unit 90 from the additional message communication port.
  • Examples of the operation data include adding a stroke, deleting a stroke, editing a stroke (enlarging, reducing, moving), storing page data, creating page data, duplicating page data, deleting page data, and displaying. Data related to the switching of the current page.
  • the remote operation receiving unit 66 performs remote sharing processing by receiving operation data input from another electronic blackboard 2 from the server unit 90 from the additional message communication port and outputting it to the image processing unit 30.
  • the server unit 90 includes a communication control unit 70 and a data management unit 80.
  • the communication control unit 70 controls communication between the communication control unit 70 in the client unit 20 in the same electronic blackboard 2 and the communication control unit 70 in the client unit 20 in another electronic blackboard 2 via the communication network 9. To do.
  • the data management unit 80 manages operation data, image data, and the like.
  • the communication controller 70 includes a remote connection request receiver 71, a remote connection result transmitter 72, a remote image receiver 73, a remote image transmitter 74, a remote operation receiver 75, and a remote operation transmitter 76. have.
  • the remote connection request receiving unit 71 receives a message communication port addition request for requesting addition of a message communication port or a request for starting remote sharing processing from the remote start processing unit 61, or from the remote participation processing unit 62.
  • a message communication port addition request for adding a message communication port or a participation request for remote sharing processing is received.
  • the remote connection result transmission unit 72 transmits the result of the request for adding the message communication port to the remote start processing unit 61, the result of the request for starting the remote sharing process, or requests the remote participation processing unit 62 to add the message communication port. And the result of the participation request for the remote sharing process.
  • the remote image receiving unit 73 receives the image data (output image (C) data) from the remote image transmitting unit 63 from the additional message communication port, and transmits it to the remote image processing unit 82 described later.
  • the remote image transmission unit 74 receives the image data from the remote image processing unit 82 and transmits this image data to the remote image reception unit 64 from the additional message communication port.
  • the remote operation receiving unit 75 receives the operation data (data such as the stroke image (B)) from the remote operation transmitting unit 65 from the additional message communication port and transmits it to the remote operation processing unit 83 described later.
  • the remote operation transmission unit 76 receives the operation data from the remote operation processing unit 83 and transmits the operation data to the remote operation reception unit 66 from the additional message communication port.
  • the data management unit 80 includes a remote connection processing unit 81, a remote image processing unit 82, a remote operation processing unit 83, an operation composition processing unit 84, and a page processing unit 85. Further, the data management unit 80 includes a passcode management unit 810, a participating site management table 820, an image data storage unit 830, an operation data storage unit 840, and a page data storage unit 850.
  • the remote connection processing unit 81 starts the remote sharing process and ends the remote sharing process. Further, the remote connection processing unit 81 opens a message communication port according to the message communication port addition request received from the remote start processing unit 61 by the remote connection request receiving unit 71. Further, the remote connection processing unit 81 is based on the license information received together with the remote sharing processing start request from the remote start processing unit 61 or the license information received together with the remote sharing processing participation request from the remote participation processing unit 62. Check whether there is a license and whether it is within the license period. Further, the remote connection processing unit 81 confirms whether or not the participation request from the other electronic blackboard 2 as the client unit exceeds the predetermined number of possible participations.
  • the remote connection processing unit 81 opens a message communication port in accordance with a message communication port addition request from another electronic whiteboard 2. Further, the remote connection processing unit 81 has the same passcode that is sent when a request for participation in remote sharing processing is received from another electronic blackboard 2 as the passcode managed by the passcode management unit 810. It is determined whether or not there is the same, and if they are the same, participation in the remote sharing process is permitted. This passcode is issued by the remote connection processing unit 81 when a new remote sharing process is started, and the user of the electronic blackboard 2 as a participating apparatus who intends to participate in the remote sharing process can It is transmitted from the user of the electronic blackboard 2 by telephone or e-mail.
  • a user of a participating device who intends to participate in the remote sharing process inputs the pass code to the participating device using an input device such as a touch panel and requests participation, thereby permitting participation.
  • an input device such as a touch panel
  • the user's usability is given priority over security, and the confirmation of the passcode may be omitted only by confirming the license status.
  • the remote connection processing unit 81 uses the participation base information included in the participation request sent from the remote participation processing unit 62 of the participating device via the communication network 9 as the server unit.
  • the data are stored in the 90 participating site management table 820.
  • the remote connection processing unit 81 reads out the remote site information stored in the participating site management table 820 and transmits it to the remote connection result transmission unit 72.
  • the remote connection result transmission unit 72 transmits the remote base information to the remote start processing unit 61 in the client unit 20 of the same sponsor device.
  • the remote start processing unit 61 stores the remote site information in 610 in the participating site management table.
  • the remote site information is managed by both the client unit 20 and the server unit 90.
  • the remote image processing unit 82 is sent from a video output device (notebook PC 6 or the like) connected to the client unit 20 of each electronic blackboard 2 (including the client unit 20 of its own electronic blackboard 2 that is the hosting device) during remote sharing processing.
  • Image data output image (C)
  • the remote image processing unit 82 determines the display order of the image data to be remotely shared in the order of time when it arrives at the server unit 90 of the electronic blackboard 2 that is the host device.
  • the remote image processing unit 82 refers to the participation base management table 820, and includes the client units 20 of all the electronic blackboards 2 participating in the remote sharing process (including the client units 20 of the electronic blackboard 2 that is the hosting device). ), The image data is transmitted in the determined order via the communication control unit 70 (remote image transmission unit 74).
  • the remote operation processing unit 83 performs various operation data (strokes) such as stroke images drawn by the client unit 20 of each electronic blackboard 2 (including the client unit 20 of its own electronic blackboard 2 which is the host device) during the remote sharing process.
  • the image (B) or the like) is received via the additional message communication port, and the display order of the images to be remotely shared is determined in the order of time when it arrives at the server unit 90 of the electronic blackboard 2 that is the host device.
  • the various operation data is the same as the various operation data described above.
  • the remote operation processing unit 83 refers to the participating site management table 820, and operates the operation data in the client units 20 of all electronic blackboards 2 (including the client unit of its own electronic blackboard that is the host device) during the remote sharing process. Send.
  • the operation synthesis processing unit 84 synthesizes the operation data of each electronic blackboard 2 output from the remote operation processing unit 83, stores the operation data as a result of this synthesis in the operation data storage unit 840 and the remote operation processing unit 83.
  • the operation data is transmitted from the remote operation transmission unit 76 to the client unit 20 of the electronic blackboard 2 that is the host device and the client unit 20 of the electronic blackboard 2 that is the participating device via the additional message communication port.
  • the operation data includes SEQ (Sequence), the operation name of the operation data, the IP address of the electronic blackboard 2 that is the transmission source of the operation data, and the Port of the client unit (server unit).
  • the IP address of the electronic blackboard 2 to which the operation data is transmitted the Port No. of the client unit 20 (server unit 90), the operation type of the operation data, the operation target of the operation data, and the data indicating the contents of the operation data Is shown associated with.
  • the client unit 20 Port No.: 50001
  • the electronic blackboard 2 IP address: 192.0.0.1
  • the server unit 90 Port No .: 50000
  • the operation type is “STROKE”
  • the operation target is the page data ID “p005”
  • the data indicating the contents of the operation data is data indicating the stroke.
  • SEQ2 from the server unit 90 (Port No .: 50000) of the electronic blackboard 2 (IP address: 192.0.0.1) that is the hosting device, another electronic blackboard 2 (IP address: 192.0.0.1) that is the participating device. It is shown that operation data is sent to the client unit 20 (Port No .: 50001).
  • the operation composition processing unit 84 performs composition in the order in which the operation data is input to the operation composition processing unit 84. Therefore, if the communication network 9 is not congested, remote sharing is performed in the order of strokes by the users of the electronic blackboards 2. A stroke image (B) is displayed on the displays 3 of all the electronic blackboards 2 being processed.
  • the page processing unit 85 has the same function as the page processing unit 37 in the image processing unit 30 of the client unit 20, and the server unit 90 also converts the page data shown in FIGS. Store in 850.
  • the page data storage unit 850 has the same contents as the page data storage unit 300 in the image processing unit 30.
  • the transmission management system 50 includes a transmission / reception unit 51, an authentication unit 52, a management unit 53, a session control unit 57, and a storage / read processing unit 59.
  • Each of these functional units is a function or means realized by any one of the constituent elements shown in FIG. 3 operating according to a command from the CPU 201 in accordance with a program stored in the ROM 202.
  • the transmission management system 50 includes a storage unit 5000 constructed by the ROM 202, the RAM 203 or the HDD 205 shown in FIG.
  • an authentication management DB 5002 configured by an authentication management table as shown in FIG.
  • each password is associated with each communication ID of each electronic blackboard 2 managed by the transmission management system 50 and managed.
  • the terminal authentication management table shown in FIG. 19 indicates that the communication ID of the electronic blackboard 2a is “01aa” and the password is “aaaa”.
  • a terminal management DB 5003 configured by a terminal management table as shown in FIG. 20 is constructed.
  • the operating state of each electronic blackboard 2 the reception date and time when login request information described later is received by the transmission management system 50, and the IP address of the electronic blackboard 2 are associated.
  • the electronic blackboard 2 a with the communication ID “01aa” has the operation state “ON line”, and the date and time when the log-in request information is received by the transmission management system 50 is “2009”. 11:10 on November 10, 2011, "indicating that the IP address of the electronic blackboard 2a is" 1.2.1.3 ".
  • each functional unit of the transmission management system 50 will be described in detail.
  • the main components for realizing the functional units of the transmission management system 50 among the components illustrated in FIG. The relationship is also explained.
  • the transmission / reception unit 51 is executed by the network I / F 209 shown in FIG. 3, and transmits / receives various data to / from the electronic blackboard 2 via the communication network 9.
  • the authentication unit 52 searches the terminal authentication management DB 5002 of the storage unit 5000 using the communication ID and password included in the login request information received via the transmission / reception unit 51 as search keys, and is identical to the terminal authentication management DB 5002. Terminal authentication is performed by determining whether the communication ID and password are managed.
  • the management unit 53 receives the communication ID of the electronic blackboard 2, the operating state of the electronic blackboard 2, and the login request information received by the transmission management system 50 in the terminal management table.
  • the received date and time and the IP address of the electronic blackboard 2 are stored in association with each other and managed.
  • the session control unit 57 is realized by a command from the CPU 201 and controls establishment of a communication session for transmitting image data, sound data, and the like via the communication network 9 between the electronic blackboards (2a, 2b).
  • the method for establishing the communication session is not particularly limited. For example, when the communication network 9 is provided with a relay device that relays image data, sound data, and the like, connection information for connecting to this relay device is provided. Based on the control by the session control unit 57, there is a method in which the transmission / reception unit 51 transmits to the electronic blackboard (2a, 2b).
  • the transmission / reception unit 51 may transmit a request to start relaying image data and sound data between the electronic blackboards (2a, 2b) to the relay device.
  • the electronic blackboard (2a, 2b) can transmit and receive image data and sound data to and from the electronic blackboard (2b, 2a) as a communication partner. It becomes like this.
  • FIGS. 21 to 23 are sequence diagrams showing processing of each electronic blackboard.
  • the electronic blackboard 2a serves as a hosting device (server unit 90 and client unit 20) that hosts the remote sharing process, and the electronic blackboard 2b participates in the remote sharing process ( The case where it plays the role as the client part 20) is demonstrated.
  • the electronic blackboard 2a serves as a hosting device (server unit 90 and client unit 20) that hosts the remote sharing process, and the electronic blackboards 2b and 2c perform the remote sharing process. The case where it plays the role as a participating apparatus (client part 20) to participate is demonstrated.
  • displays 3a, 3b, 3c are connected to the electronic blackboards 2a, 2b, 2c, respectively, and notebook PCs 6a, 6b, 6c are connected to the electronic blackboards 2a, 2b, 2c, respectively.
  • electronic pens 4a, 4b, and 4c are used, respectively.
  • the electronic blackboard 2a makes a login request to the management system 50 by the login request unit 12 (step S1).
  • This login request includes a communication ID and a password for identifying the electronic blackboard 2a that is the login request source.
  • the transmission / reception unit 51 of the management system 50 receives the login request, the communication ID, and the password.
  • the authentication unit 52 determines whether the same set as the combination of the communication ID and password received by the transmission / reception unit 51 is managed in the authentication management table (see FIG. 19), thereby Authentication of the blackboard 2a is performed (step S2). If it is determined by this authentication that the electronic blackboard is valid, the management unit 53 manages the operation state “ON line” for the corresponding communication ID in the terminal management table (see FIG. 20). (Step S3).
  • the transmission / reception unit 51 transmits the authentication result to the electronic blackboard 2a that is the login request source (step S4).
  • requirement part 12 of the electronic blackboard 2a receives an authentication result.
  • a communication session sei is established between the electronic blackboard 2a as the login request source and the management system 50 (step 5).
  • the communication session between the various electronic blackboards 2 and the management system 50 is described as a communication session sei.
  • the electronic blackboard 2b makes a login request to the management system 50 by the login request unit 12 (step S6).
  • This login request includes a communication ID and a password for identifying the electronic blackboard 2b as the login request source.
  • the transmission / reception unit 51 of the management system 50 receives the login request, the communication ID, and the password.
  • the authentication unit 52 determines whether the same set as the combination of the communication ID and password received by the transmission / reception unit 51 is managed in the authentication management table (see FIG. 19), thereby Authentication of the blackboard 2b is performed (step S7). If it is determined by this authentication that the electronic blackboard is a legitimate electronic blackboard, the management unit 53 sets the operation state “ON line (communicable) for the corresponding communication ID in the terminal management table (see FIG. 20). ) "Is managed (step S8).
  • the transmission / reception unit 51 transmits the authentication result to the electronic blackboard 2b as the login request source (step S9). Thereby, the login request
  • the communication session for transmitting content data between the electronic blackboards includes a communication session sed1 for transmitting sound data, image data, and operation data between the electronic blackboards 2.
  • the electronic blackboard 2a makes a communication start request to the management system 50 by the communication control unit 60 according to the operation of the operation button 125 by the user (step S11).
  • This communication start request includes the communication ID of the electronic blackboard 2a that is the communication start request source and the communication ID of the destination electronic blackboard 2b.
  • the communication start request source is the electronic blackboard 2a and the destination is the electronic blackboard 2b will be described.
  • the transmission / reception unit 51 of the management system 50 receives a communication start request. Subsequently, the management unit 53 of the management system 50 manages the operation state “ON line (during communication)” for the communication ID of the electronic blackboard 2a that is the communication start request source in the terminal management table (see FIG. 20). (Step S12).
  • the transmission / reception unit 51 of the management system 50 makes a communication start request to the destination electronic blackboard 2b (step S13).
  • This communication start request includes the communication ID of the electronic blackboard 2a as the communication start request source and the communication ID of the destination electronic blackboard 2b sent in step S11. Thereby, the destination electronic blackboard 2b receives the communication start request.
  • the electronic blackboard 2b transmits information indicating whether or not a response is possible to the management system 50 by the communication control unit 60 according to the operation of the operation button 125 by the user (step S14).
  • the information indicating whether or not the response is possible indicates that a response is made when the user starts a call on the destination electronic blackboard 2b side, and no response is made if the user does not start a call on the destination electronic blackboard 2b side. The effect is shown.
  • the electronic blackboard 2b transmits information indicating that it responds to the management system 50 will be described.
  • the transmission / reception unit 51 of the management system 50 receives the information indicating whether or not the response is possible. Subsequently, the management unit 53 of the management system 50 manages the operation state “ON line (during communication)” for the communication ID of the destination electronic blackboard 2b in the terminal management table (see FIG. 20) (step S15). ).
  • the transmission / reception unit 51 of the management system 50 transmits to the start request source electronic blackboard 2a information indicating that a response has been sent from the destination electronic blackboard 2b in step S14 (step S16). ). Thereby, the electronic blackboard 2a receives information indicating that a response is made by the communication control unit 60.
  • the session control unit 57 of the management system 50 controls the establishment of the communication session sed1 for transmitting image data and sound data between the electronic blackboards (2a, 2b) via the communication network 9 (step S17).
  • a method for establishing the communication session sed1 is not particularly limited. For example, when a relay device that relays image data and sound data is provided in the communication network 9, connection information for connecting to the relay device is provided. Based on the control by the session control unit 57, there is a method in which the transmission / reception unit 51 transmits to the electronic blackboard (2a, 2b).
  • the transmission / reception unit 51 may transmit a request to start relaying image data and sound data between the electronic blackboards (2a, 2b) to the relay device.
  • the communication session sed1 is established (step S18).
  • the electronic blackboard (2a, 2b) can transmit and receive image data, sound data, and operation data to and from the electronic blackboard (2b, 2a) that is the communication partner.
  • Participation process A process for the electronic blackboards 2b and 2c to participate in the remote sharing process will be described with reference to FIG.
  • the client unit 20 of the electronic blackboard 2a When the user turns on the power switch 126 of the electronic blackboard 2a, the client unit 20 of the electronic blackboard 2a is activated. Then, when the user performs an operation of starting the server unit 90 with the operation button 125 such as a touch panel, the remote connection request receiving unit 71 in the server unit 90 of the same electronic blackboard 2a is transferred from the remote start processing unit 61 of the client unit 20 to the server unit. An instruction to start 90 processing is output. Thereby, in the electronic blackboard 2a, not only the client unit 20 but also the server unit 90 can start various processes (step S21).
  • the UI image generating unit 33 in the client unit 20 of the electronic blackboard 2a generates connection information for establishing a connection with the electronic blackboard 2a, and the video superimposing unit 28 transmits the display superimposing unit 36 from the UI image generating unit 33.
  • the connection information obtained through is displayed on the display 3a (step S22).
  • This connection information includes the IP address of the host device and the passcode generated for the current remote sharing process.
  • the passcode stored in the passcode management unit 810 is read by the remote connection processing unit 81 and transmitted in the order of the remote connection result transmission unit 72 and the remote start processing unit 61. Further, the passcode is transmitted from the communication control unit 60 including the remote start processing unit 61 to the image processing unit 30 and finally input to the UI image generation unit 33.
  • connection information includes the passcode. Then, the connection information is transmitted to the users of the electronic blackboards 2b and 2c by telephone or electronic mail by the user of the electronic blackboard 2a. If there is the connection destination management table 440, even if the connection information does not include the IP address of the hosting device, the participating device can make a participation request.
  • the remote participation processing unit 62 in the client unit 20 of each electronic blackboard 2b and 2c Is requested to add a message communication port to the communication control unit 70 in the server unit 90 of the electronic blackboard 2a via the communication network 9 and send a passcode to make a participation request (step S23). , S24).
  • the remote connection request receiving unit 71 of the communication control unit 70 receives a request for adding a message communication port and a participation request (including a passcode) from each of the electronic blackboards 2b and 2c, and opens the message communication port.
  • the pass code is output to the remote connection processing unit 81.
  • the port number may be specified by the message communication port addition request, or the port number to be added by the message communication port addition request may be set in advance.
  • the remote connection processing unit 81 authenticates the passcode received from each of the electronic blackboards 2b and 2c using the passcode managed by the passcode management unit 810 (step S25). And the remote connection result transmission part 72 notifies an authentication result to the client part 20 of each electronic blackboard 2b, 2c (step S26, S27).
  • step S25 remote sharing between the electronic blackboard 2a that is the hosting device and the electronic blackboards 2b and 2c that are the participating devices Processing communication is established, and the remote participation processing unit 62 in the client unit 20 of each electronic blackboard 2b, 2c enables the start of remote sharing processing with each of the other electronic blackboards (steps S28 and S29).
  • the electronic blackboard 2b displays the output image (C) on the display 3b (step S30).
  • the image acquisition unit 31 of the electronic blackboard 2b receives the data of the output image (C) displayed on the notebook PC 6b from the notebook PC 6b via the video acquisition unit 21, and displays the display superimposing unit 36 and the video.
  • the display 3b displays the output image (C).
  • the image processing unit 30 including the image acquisition unit 31 of the electronic blackboard 2 b transmits the output image (C) data to the remote image transmission unit 63, so that the communication control unit 60 including the remote image transmission unit 63 is performed.
  • the data of the output image (C) is transmitted from the additional message communication port to the communication control unit 70 of the electronic blackboard 2a that is the hosting apparatus via the communication network 9 (step S31).
  • the image processing unit 30 including the image acquisition unit 31 of the electronic blackboard 2b serializes the serialized image by converting the data of the output image (C) to the remote image transmission unit 63 (see FIG. 8), and instant Send using a communication application such as a message.
  • the array data may be in the form of a data description language such as JSON (Jason, JavaScript Object Notation).
  • JSON JavaScript Object Notation
  • the image processing unit 30 serializes the data of the output image (C)
  • by making the array data into a data description language format such as JSON the readability can be improved and the processing efficiency can be improved. it can.
  • the remote image receiving unit 73 of the electronic blackboard 2a receives the output image (C) data from the additional message communication port and outputs it to the remote image processing unit 82, so that the remote image processing unit 82 stores the data in the image data storage unit 830. Data of the output image (C) is stored.
  • the remote image processing unit 82 deserializes (parallelizes) the data of the output image (C) received from the additional message communication port, and outputs it to the image data storage unit 830.
  • the electronic blackboard 2a which is the hosting device, displays the output image (C) on the display 3a (step S32).
  • the remote image processing unit 82 of the electronic blackboard 2 a outputs the output image (C) data received from the remote image receiving unit 73 to the remote image transmitting unit 74.
  • the remote image transmitting unit 74 outputs the data of the output image (C) to the remote image receiving unit 64 in the client unit 20 of the electronic blackboard 2a which is the same host device.
  • the remote image receiving unit 64 outputs the data of the output image (C) to the display superimposing unit 36.
  • the display superimposing unit 36 outputs the output image (C) data to the video superimposing unit 28.
  • the video superimposing unit 28 outputs the data of the output image (C) to the display 3a. Thereby, the display 3a displays the output image (C).
  • the communication control unit 70 including the remote image transmission unit 74 in the server unit 90 of the electronic blackboard 2a as the hosting apparatus transmits the data of the output image (C) from the additional message communication port via the communication network 9.
  • the data of the output image (C) is transmitted to the communication control unit 60 of the electronic blackboard 2c other than the electronic blackboard 2b (step S33).
  • the image processing unit 30 including the image acquisition unit 31 of the electronic blackboard 2a serializes the data of the output image (C) in the remote image transmission unit 63 by converting it into text (see FIG. 8), and communication such as an instant message. Send using the application.
  • the array data may be in the form of a data description language such as JSON.
  • the remote image receiving unit 64 of the electronic blackboard 2c which is a participating device receives the data of the output image (C) from the additional message communication port.
  • the electronic blackboard 2c displays the output image (C) on the display 3c (step S34).
  • the remote image receiving unit 64 of the electronic blackboard 2c outputs the data of the output image (C) received in step S33 to the display superimposing unit 36 of the electronic blackboard 2c.
  • the display superimposing unit 36 outputs the output image (C) data to the video superimposing unit 28.
  • the video superimposing unit 28 outputs the data of the output image (C) to the display 3c. Thereby, the display 3c displays the output image (C).
  • the display superimposing unit 36 superimposes them.
  • An image (A, B, C) is generated, and the video superimposing unit 28 outputs the data of the superimposed image (A, B, C) to the display 3c.
  • video conferencing video (E) data is sent from the video conference terminal 7 to the video superimposing unit 28, the video superimposing unit 28 converts the video superimposing image (A, B, C).
  • the video (E) data for video conference is superimposed by picture-in-picture and output to the display 3c.
  • the user draws a stroke image (B) on the electronic blackboard 2b using the electronic pen 4b (step S41).
  • the display superimposing unit 36 of the electronic blackboard 2b superimposes the stroke image (B) on the UI image (A) and the output image (C), and the video superimposing unit 28 is displayed on the display 3b of the electronic blackboard 2b.
  • the superimposed images (A, B, C) are displayed (step S42).
  • the stroke processing unit 32 of the electronic blackboard 2b receives the stroke image (B) data as the operation data from the coordinate detection unit 22 and the contact detection unit 24 via the event distribution unit 25, and displays the superimposed image. It transmits to the part 36.
  • the display superimposing unit 36 can superimpose the stroke image (B) on the UI image (A) and the output image (C), and the video superimposing unit 28 is placed on the display 3b of the electronic blackboard 2b.
  • the superimposed image (A, B, C) can be displayed.
  • the image processing unit 30 including the stroke processing unit 32 of the electronic blackboard 2b serializes the data of the stroke image (B) by converting it into text, and the serialized stroke image (B) data is remotely operated and transmitted.
  • the array data may be in the form of a data description language such as JSON.
  • the remote operation transmission unit 65 of the electronic blackboard 2b transmits the data of the stroke image (B) from the additional message communication port via the communication network 9 to the communication control unit 70 of the electronic blackboard 2a that is the host device (step S43). .
  • the image processing unit 30 including the stroke processing unit 32 of the electronic blackboard 2b transmits stroke image data in units of strokes when transmitting stroke image (B) data using a communication application such as an instant message. .
  • the remote operation receiving unit 75 of the electronic blackboard 2 a receives the stroke image (B) data from the additional message communication port and outputs it to the remote operation processing unit 83, so that the remote operation processing unit 83 is transferred to the operation composition processing unit 84.
  • the data of the stroke image (B) is output. In this way, the data of the stroke image (B) drawn on the electronic blackboard 2b is sequentially transmitted to the remote operation processing unit 83 of the electronic blackboard 2a that is the hosting device every time it is drawn.
  • the data of the stroke image (B) is data shown for each stroke data ID shown in FIG. Therefore, for example, as described above, when the user draws the alphabet “T” with the electronic pen 4, the stroke image (B) indicated by each of the two stroke data IDs is sequentially transmitted. Is done.
  • the image processing unit 30 including the stroke processing unit 32 of the electronic blackboard 2b may transmit a plurality of stroke image data collectively when transmitting the stroke image (B) data.
  • the electronic blackboard 2a which is the hosting device, displays on the display 3a a superimposed image (A, B, C) including the data of the stroke image (B) sent from the electronic blackboard 2b (Step S). S44).
  • the operation composition processing unit 84 of the electronic blackboard 2a synthesizes the data of the plurality of stroke images (B) sequentially sent via the remote operation processing unit 83 and stores them in the operation data storage unit 840. Store and return to the remote operation processing unit 83.
  • the remote operation processing unit 83 outputs the combined stroke image (B) data received from the operation synthesis processing unit 84 to the remote operation transmission unit 76.
  • the remote operation transmitting unit 76 outputs the combined stroke image (B) data to the remote operation receiving unit 66 in the client unit 20 of the electronic blackboard 2a which is the same hosting device.
  • the remote operation receiving unit 66 outputs the combined stroke image (B) data to the display superimposing unit 36 in the image processing unit 30. Therefore, the display superimposing unit 36 superimposes the combined stroke image (B) on the UI image (A) and the output image (C).
  • the video superimposing unit 28 displays the superimposed image (A, B, C) superimposed by the display superimposing unit 36 on the display 3a.
  • the communication control unit 70 including the remote operation transmission unit 76 in the server unit 90 of the electronic blackboard 2a as the hosting device transmits the data of the stroke image (B) from the additional message communication port via the communication network 9.
  • the data of the combined stroke image (B) is transmitted from the additional message communication port to the communication control unit 60 of the electronic blackboard 2c other than the electronic blackboard 2b (step S45).
  • the image processing unit 30 including the stroke processing unit 32 of the electronic blackboard 2a transmits stroke image data in units of strokes when transmitting stroke image (B) data.
  • the remote operation receiving part 66 of the electronic blackboard 2c which is a participating apparatus receives the data of the synthesized stroke image (B).
  • the image processing unit 30 including the stroke processing unit 32 of the electronic blackboard 2a may collectively transmit the data of a plurality of stroke images.
  • the electronic blackboard 2c displays a superimposed image (A, B, C) on the display 3c (step S46).
  • the remote operation receiving unit 66 of the electronic blackboard 2c outputs the combined stroke image (B) data received in step S45 to the image processing unit 30 of the electronic blackboard 2c.
  • the display superimposing unit 36 of the image processing unit 30 superimposes each data of the UI image (A) and the output image (C) and the data of the combined stroke image (B), and superimposes the superimposed image ( A, B, C) data is output.
  • the video superimposing unit 28 outputs the data of the superimposed image (A, B, C) to the display 3c. Thereby, the display 3c displays a superimposed image (A, B, C).
  • the output image (C) is displayed on the display 3, but a background image (D) may be displayed instead of the output image (C).
  • a background image (D) may be displayed instead of the output image (C).
  • the exclusive relationship between the output image (C) and the background image (D) may be stopped, and both the output image (C) and the background image (D) may be displayed on the display 3 at the same time.
  • the remote participation processing unit 62 sends the communication control unit 70 in the server unit 90 of the electronic blackboard 2a as the hosting device. Then, an end request for participation is made through the additional message communication port (step S47). As a result, the remote connection request receiving unit 71 of the communication control unit 70 of the electronic blackboard 2a receives the participation end request from the electronic blackboard 2c, and the remote connection processing unit 81 ends the participation together with the IP address of the electronic blackboard 2c. Output the request.
  • the remote connection processing unit 81 of the electronic blackboard 2a based on the IP address sent from the remote connection request receiving unit 71, from the participation base management table 820, the IP of the electronic blackboard 2c that has requested participation.
  • the address and the name of the base where the electronic blackboard 2c is installed are deleted, and the IP address of the electronic blackboard 2c and a notification of deletion are output to the remote connection result transmission unit 72.
  • the communication control unit 70 including the remote connection result transmission unit 72 of the electronic blackboard 2a instructs the communication control unit 60 in the client unit 20 of the electronic blackboard 2c to end participation via the communication network 9 (Ste S48).
  • the remote participation processing unit 62 of the communication control unit 60 in the electronic blackboard 2c disconnects the communication of the remote sharing process, thereby completing the participation process, thereby completing the participation (step S49).
  • the communication path is set by setting a common message communication port in the electronic conference system and the communication system using the electronic blackboard.
  • FIG. 24 is a schematic diagram of an image processing system 1000 according to the embodiment.
  • the function of the server unit included in the electronic blackboard 2 according to the first embodiment is realized by the distribution control device.
  • the image processing system 1000 of this embodiment is constructed by a distribution control device 600, a plurality of communication terminals (500a to 500f), and a management device 700.
  • a distribution control device 600 a plurality of communication terminals (500a to 500f)
  • a management device 700 an arbitrary communication terminal among the plurality of communication terminals (500a to 500f) is represented as “communication terminal 500”.
  • both the distribution control device 600 and the management device 700 are constructed by server computers.
  • the communication terminal 500 is a terminal used by a user who receives a service of the image processing system 1000.
  • the communication terminal 500a is a notebook PC (Personal Computer).
  • the communication terminal 500b is a mobile terminal such as a smartphone or a tablet terminal.
  • the communication terminal 500c is an MFP (Multifunction Peripheral / Printer / Product) in which copy, scan, print, and fax functions are combined.
  • the communication terminal 500d is a projector.
  • the communication terminal 500e is a television (video) conference terminal provided with a camera, a microphone, and a speaker.
  • the communication terminal 500f is an electronic blackboard (whiteboard) capable of electronically converting content drawn by a user or the like.
  • the communication terminal 500 is not only a terminal as shown in FIG. 24, but also a wristwatch, a vending machine, a gas meter, a car navigation device, a game machine, an air conditioner, a lighting fixture, a camera alone, a microphone alone, a speaker alone, etc. However, it may be a device capable of communicating via a communication network such as the Internet.
  • the distribution control device 600, the communication terminal 500, and the management device 700 can communicate with each other via a communication network 9 such as the Internet or a LAN (Local Area Network).
  • Some communication terminals 500 do not have a function of communicating with other terminals or systems via the communication network 9.
  • the communication terminal 500d communicates with other terminals and systems via the communication network 9. It becomes possible.
  • the distribution control device 600 includes a whiteboard unit 620.
  • a renderer function in the whiteboard unit 620 obtains and renders single or plural content data represented in a predetermined description language.
  • frame data can be generated as sound data (that is, still image (sound) data) such as still image data such as bitmap data using RGB (Red Green Blue) or PCM (Pulse Code Modulation) data.
  • the content data is data acquired from an arbitrary communication terminal or the like, and is image (sound) data based on HTML (Hypertext Markup Language) or CSS (Cascading Style Styles), or image (sound) data based on MP4 (MPEG-4).
  • Sound data based on AAC (Advanced Audio Coding) and the like are included.
  • the distribution control apparatus 600 includes an encoding unit 660, and the encoding unit 660 plays a role as an encoder, so that each frame data as still image (sound) data is converted into H.264 (MPEG-4CAVC). , H.265, Motion JPEG, and other compression-encoded video (sound) data.
  • the management device 700 performs login authentication of the communication terminal 500 and manages contract information and the like of the communication terminal 500.
  • the management apparatus 700 has a function of an SMTP (Simple Mail Transfer Protocol) server for transmitting electronic mail.
  • SMTP Simple Mail Transfer Protocol
  • the management apparatus 700 can be realized as a virtual machine deployed on a cloud service (IaaS: Infrastructure as Service).
  • IaaS Infrastructure as Service
  • the management device 700 is desirably operated in a multiplexed manner in order to provide a continuous service in response to an unexpected situation.
  • the whiteboard unit 620 enables real-time communication (RTC: Real-time communication / collaboration).
  • the distribution control apparatus 600 includes an encoding unit 660 described later, and the encoding unit 660 performs real-time encoding on the frame data output by the whiteboard unit 620, and the H.264 standard or the like.
  • the video (sound) data generated by the conversion based on can be output. Therefore, the processing of the distribution control device 600 is different from the case where video (sound) data having no real time property recorded on a DVD is read and distributed by a DVD player.
  • the distribution control device 600 may have a whiteboard unit.
  • the whiteboard unit 620 of the distribution control device 600 it is not necessary to activate the whiteboard unit of each communication terminal 500.
  • FIG. 25 is a conceptual diagram showing a basic distribution method.
  • the whiteboard unit 620 of the distribution control device 600 acquires content data [A] as image (sound) data from an arbitrary communication terminal or the like and renders it. As a result, each frame data [A] as still image (sound) data is generated.
  • the encoder bridge unit 630 including the encoding unit 660 encodes each frame data [A] into video (sound) data [A] (an example of transmission data) of a compression encoding method such as H.264. Convert.
  • the distribution control device 600 distributes the converted video (sound) data [A] to the communication terminal 500.
  • the image processing system 1000 can also apply the above-described distribution method to distribute content data as video (sound) data to a plurality of bases.
  • a method for distributing content data to a plurality of bases will be described below.
  • FIG. 26 is a conceptual diagram of multicast.
  • the whiteboard unit 620 of the distribution control device 600 acquires and renders content data [A] as image (sound) data from an arbitrary communication terminal or the like, thereby rendering a still image.
  • Each frame data [A] as (sound) data is generated.
  • the encoder bridge unit 630 encodes each frame data [A] and converts it into video (sound) data.
  • the distribution control device 600 distributes the video (sound) data [A] (an example of transmission data) to a plurality of communication terminals (500f1, 500f2, 500f3).
  • the same video (sound) is played back at multiple locations.
  • the communication terminals 500f1, 500f2, 500f3 do not need to have the same display reproduction capability (the same resolution, etc.).
  • Such a distribution method is called, for example, “multicast”.
  • FIG. 27 is a conceptual diagram of a multi-display.
  • the whiteboard unit 620 of the distribution control device 600 acquires and renders content data [XYZ] as image (sound) data from an arbitrary communication terminal or the like, thereby rendering a still image.
  • Each frame data [XYZ] as (sound) data is generated.
  • the encoder bridge unit 630 divides the frame data [XYZ] into a plurality of frame data ([X], [Y], [Z]), and then encodes the plurality of pieces of video (sound) data ( [X], [Y], [Z]).
  • the distribution control device 600 distributes video (sound) data [X] (an example of transmission data) to the communication terminal 500f1.
  • the distribution control device 600 distributes video (sound) data [Y] (an example of transmission data) to the communication terminal 500f2, and communicates video (sound) data [Z] (an example of transmission data). Delivered to the terminal 500f3.
  • FIG. 28 is a conceptual diagram of composite distribution using a plurality of communication terminals via the distribution control device 600.
  • the communication terminal 500f1 as an electronic blackboard and the communication terminal 500e1 as a video conference terminal are used, and the second base (in FIG. 28).
  • a communication terminal 500f2 as an electronic blackboard and a communication terminal 500e2 as a video conference terminal are used.
  • an electronic pen P1 is used for causing the communication terminal 500f1 to draw characters or the like by stroke.
  • the electronic pen P2 for causing the communication terminal 500f2 to draw characters or the like by stroke. Is being used.
  • the video (sound) data acquired by the communication terminal 500e1 is encoded by the encoding unit 660 and then serialized by being converted into text, and an application for communication such as an instant message is used. And transmitted to the distribution control device 600 via the additional message communication port. Thereafter, the data is deserialized, decoded, and input to the whiteboard unit 620 by the decoding unit 640 of the distribution control apparatus 600.
  • operation data indicating a stroke drawn on the communication terminal 500f1 by the electronic pen P1 (in this case, coordinate data on the display of the communication terminal 500f1, etc.) is serialized by being converted into text, and used for communication such as an instant message.
  • the message is transmitted to the distribution control device 600 via the additional message communication port and input to the whiteboard unit 620.
  • the video (sound) data acquired by the communication terminal 500e2 is encoded by the encoding unit 660 and then converted into text, which is serialized, and communication applications such as instant messages are used. Then, it is transmitted to the distribution control device 600 via the additional message communication port. Thereafter, the data is deserialized, decoded, and input to the whiteboard unit 620 by the decoding unit 640 of the distribution control apparatus 600.
  • operation data indicating a stroke drawn on the communication terminal 500f2 by the electronic pen P2 (in this case, coordinate data on the display of the communication terminal 500f2, etc.) is serialized by being converted into text and used for communication such as an instant message.
  • the message is transmitted to the distribution control device 600 via the additional message communication port and input to the whiteboard unit 620.
  • the whiteboard unit 620 obtains content data [A] that is a background image displayed on each display of the communication terminals (500f1, 500f2) from, for example, an arbitrary communication terminal. Then, the whiteboard unit 620 combines and renders the content data [A], the operation data ([p1], [p2]), and the video (sound) content data ([E1], [E2]). Each piece of content ([A], [p1], [p2], [E1], [E2]) generates frame data as still image (sound) data set in a desired layout.
  • the encoder bridge unit 630 encodes each frame data, serializes it by converting it into text, and uses a communication application such as an instant message, so that the distribution control device 600 has the same content ([A], Video (sound) data (an example of transmission data) indicating [p1], [p2], [E1], [E2]) is distributed via the additional message communication port.
  • the video [A], [p1], [p2], [E1 (video part)] and [E2 (video part)]
  • the video [A], [p1], [p2], [E1 (video part)] and [E2 (video part)]
  • sound [E1 (sound part)] is output from the speaker of the communication terminal 500e2.
  • the sound [E1 (sound part)] of the site is not output by the echo cancellation function of the communication terminal 500f1.
  • the sound [E2 (sound part)] of the local site is not output by the echo cancellation function of the communication terminal 500f2.
  • the image processing system 1000 can be used for a remote conference or the like. It is valid.
  • FIG. 29 is a hardware configuration diagram of the distribution control device 600 and the management device 700 according to the embodiment.
  • the distribution control device 600 controls the overall operation of the distribution control device 600 (host) CPU 601, ROM 602 storing programs used to drive the CPU 601 such as IPL, and work area of the CPU 601.
  • HDC Hard Disk Controller
  • an expansion bus line 650 such as an address bus or a data bus is provided for electrical connection.
  • an expansion bus line 650 such as an address bus or a data bus is provided for electrical connection.
  • no GPU is provided as in the communication terminal 500d as a projector.
  • the hardware configuration of the management apparatus 700 is the same as the hardware configuration of the distribution control apparatus 600, description thereof is omitted.
  • FIG. 30 is a functional block diagram showing each function of distribution control apparatus 600 according to the present embodiment.
  • FIG. 30 illustrates a functional configuration when the distribution control device 600 distributes video (sound) data to the communication terminal 500f1, but the distribution control device 600 has the same functional configuration even when the distribution destination is other than the communication terminal 500f1.
  • the distribution control device 600 includes a plurality of distribution engine servers. However, in order to simplify the description, a case where a single distribution engine server is included will be described below.
  • the distribution control device 600 has each functional configuration illustrated in FIG. 30 by a hardware configuration and a program such as a processor that is the CPU 601 or the GPU 615 illustrated in FIG. 29. .
  • the distribution control device 600 includes a whiteboard unit 620, a transmission / reception unit 621, a whiteboard control unit 622, a transmission FIFO (First-InFirst-Out) 624, a time management unit 625, a time acquisition unit 626, and a line adaptation.
  • a control unit 627, an encoder bridge unit 630, a transmission / reception unit 631, a reception FIFO 634, a recognition unit 635, a delay information acquisition unit 637a, a line adaptive control unit 637b, and a decoding unit 640 are provided.
  • the distribution control device 600 includes a storage unit 2000, a coordinate storage unit 122, and a data management unit 120 constructed by the HDD 604 shown in FIG.
  • the storage unit 2000 stores later-described recognition information output from the recognition unit 635 and sent via the whiteboard control unit 622.
  • the content data acquired by the whiteboard unit 620 can be temporarily stored in the storage unit 2000 as a cache.
  • the coordinate storage unit 122 stores the coordinates input to the communication terminal 500.
  • the data management unit 120 stores stroke data indicating a stroke generated from the coordinates.
  • the transmission / reception unit 621 transmits / receives various data, various requests, various instructions, and the like to / from the management device 700 and an arbitrary communication terminal. For example, the transmission / reception unit 621 acquires content data from an arbitrary communication terminal via an additional message communication port. Also, the transmission / reception unit 621 outputs various data acquired from the management apparatus 700 to each functional configuration in the distribution control apparatus 600, or distributes based on various data acquired from the management apparatus 700, various requests, or various instructions. Each functional configuration in the control device 600 is controlled. For example, the transmission / reception unit 621 switches the combination of the components in the encoder bridge unit 630 illustrated in FIG. 31 based on a distribution switching request from the management device 700.
  • the whiteboard control unit 622 controls the whiteboard unit 620. Specifically, the whiteboard control unit 622 acquires various operation data indicating the operation by the user transmitted via the additional message communication port from the communication terminal 500 via the transmission / reception unit 631, and sends it to the whiteboard unit 620. Output.
  • the operation data is data generated by an operation event (such as an operation with the keyboard 611 or the mouse 612 or a stroke with the electronic pen P) in the communication terminal 500.
  • the whiteboard control unit 622 stores the coordinates input to the display of the communication terminal 500 in the operation data in the coordinate storage unit 122. Then, the whiteboard control unit 622 generates stroke data indicating a stroke by a user operation from all the coordinates stored and accumulated in the coordinate accumulation unit 122 and outputs the stroke data to the whiteboard unit 620.
  • the whiteboard control unit 622 when the user operation is a page command (page addition instruction), the whiteboard control unit 622 outputs the added page to the whiteboard unit 620. Further, when the user operation is an image command (an instruction to add an image), the whiteboard control unit 622 outputs the added image to the whiteboard unit 620. The whiteboard control unit 622 outputs a mouse event to the whiteboard unit 620 when no operation is performed by the user.
  • the whiteboard control unit 622 is transmitted from the communication terminal 500 via the additional message communication port. Sensor information which is an output signal of each sensor is acquired and output to the whiteboard unit 620. Further, the whiteboard control unit 622 acquires image (sound) data from the recognition unit 635 and outputs the image (sound) data to the whiteboard unit 620, acquires recognition information described later from the recognition unit 635, and stores it in the storage unit 2000. To do. In addition, the whiteboard control unit 622 acquires video (sound) data from the reception FIFO 634 and outputs the video (sound) data to the whiteboard unit 620.
  • the whiteboard unit 620 generates each frame data as still image (sound) data by rendering content data or the like as image (sound) data by a renderer function.
  • the renderer is also a layout engine (Layout Engine) for laying out a plurality of types of content ([p1], [p2], [E1], [E2]) as shown in FIG.
  • the whiteboard unit 620 when the whiteboard unit 620 acquires the stroke data generated by the whiteboard control unit 622, the whiteboard unit 620 stores the stroke data in the data management unit 120. At this time, the whiteboard unit 620 stores the stroke data in, for example, a text format or a PDF (Portable Document Format) format. Then, the whiteboard unit 620 generates frame data as still image (sound) data by rendering the acquired stroke data. At this time, if there is content data that has already been acquired, the whiteboard unit 620 outputs the content data in a layout in which stroke data that is operation data is combined.
  • the whiteboard unit 620 stores the acquired page in the data management unit 120.
  • the whiteboard unit 620 stores the acquired image in the data management unit 120 when the user operation is an image command (an instruction to add an image).
  • the transmission FIFO 624 is a buffer that stores each frame data as still image (sound) data generated by the whiteboard unit 620.
  • the time management unit 625 manages the time T unique to the distribution control device 600.
  • the time acquisition unit 626 performs time adjustment processing in cooperation with a time control unit 656 in the communication terminal 500 described later. Specifically, the time acquisition unit 626 acquires time information (T) indicating the time T in the distribution control device 600 from the time management unit 625, or the time control described below via the transmission / reception unit 631 and the transmission / reception unit 651. The time information (t) indicating the time t in the communication terminal 500 is received from the unit 556, or the time information (t) and the time information (T) are transmitted to the time control unit 556.
  • the line adaptation control unit 627 calculates the reproduction delay time U based on the transmission delay time information (D), and calculates the operating conditions such as the frame rate and data resolution of the conversion unit 661 in the encoder bridge unit 630. To do.
  • the reproduction delay time U is a time for delaying reproduction by buffering data before reproduction. That is, the line adaptation control unit 627 changes the operation of the encoder bridge unit 630 based on the transmission delay time information (D) and the data size (number of bits, number of bytes, etc.).
  • the transmission delay time information (D) indicates frequency distribution information configured by a plurality of transmission delay times D1 acquired from the reproduction control unit 553 by the delay information acquisition unit 557 in the communication terminal 500. Each transmission delay time D ⁇ b> 1 indicates a time from when the video (sound) data is transmitted by the distribution control device 600 to when it is received by the communication terminal 500.
  • the encoder bridge unit 630 outputs each frame data as still image (sound) data generated by the whiteboard unit 620 to the conversion unit 661 (see FIG. 31) in the encoder bridge unit 630. At this time, the conversion unit 661 performs each process in consideration of the operation condition calculated by the line adaptive control unit 627.
  • the encoder bridge unit 630 will be described in more detail with reference to FIGS. 31 and 32.
  • FIG. 31 is a detailed view of the encoder bridge unit.
  • FIG. 32 is a functional block diagram showing each function of the conversion unit.
  • the encoder bridge unit 630 includes a creation / selection / transfer unit 660, a selection unit 670, and a plurality of conversion units (661a, 661b, 661c) between them. . Although three conversion units are shown here, the number may be 1-2, or four or more. Hereinafter, an arbitrary conversion unit is represented as “conversion unit 661”.
  • the conversion unit 661 can transmit the data format of each frame data as still image (sound) data generated by the whiteboard unit 620 to the communication terminal 500 via the communication network 9. Convert to Therefore, as shown in FIG. 32, the conversion unit 661 includes a trimming unit 662, a resizing unit 663, a dividing unit 664, and an encoding unit 665, thereby performing various processes on the frame data.
  • the trimming unit 662, the resizing unit 663, and the dividing unit 664 do not perform processing in the case of sound data.
  • the trimming unit 662 performs a process of cutting out only a part of the still image.
  • the resizing unit 663 changes the scale of the still image.
  • the dividing unit 664 divides the still image as shown in FIG.
  • the encoding unit 665 distributes video (sound) data to the communication terminal 500 via the communication network 9 by encoding each frame data as still image (sound) data generated by the whiteboard unit 620. Convert as you can.
  • the encoding unit 665 saves bandwidth by inserting skip frame (also referred to as “frame skip”) data until the video moves after that if the video does not move (no update (change) between frames). To do.
  • the creation / selection / transfer unit 660 creates a new conversion unit 661, selects frame data as still image (sound) data to be input to the conversion unit 661 that has already been created, The frame data is transferred to the unit 661.
  • the creation / selection / transfer unit 660 creates the conversion unit 661 capable of conversion according to the reproduction capability of video (sound) data in the communication terminal 500.
  • the creation / selection / transfer unit 660 selects the conversion unit 661 that has already been created. For example, when starting distribution to the communication terminal 500b in addition to distribution to the communication terminal 500a, the same video (sound) data as the video (sound) data distributed to the communication terminal 500a is distributed to the communication terminal 500b. There is.
  • the creation / selection / transfer unit 660 creates a new conversion for the communication terminal 500b.
  • the conversion unit 661a already created for the communication terminal 500a is used without creating the unit 661b.
  • the creation / selection / transfer unit 660 transfers the frame data stored in the transmission FIFO 624 to the conversion unit 661.
  • the selection unit 670 selects a desired one from the conversion unit 661 already created.
  • the selection unit 670 selects a desired one from the conversion unit 661 already created.
  • the transmission / reception unit 631 transmits / receives various data and requests to / from the communication terminal 500 via the additional message communication port.
  • the transmission / reception unit 631 transmits various data, requests, and the like from the cloud to the communication terminal 500 via the communication network 9, so that the distribution control device 600 distributes the various data, requests, and the like to the communication terminal 500. be able to.
  • the transmission / reception unit 631 transmits authentication screen data for prompting the user to log in to the transmission / reception unit 651 of the communication terminal 500.
  • the transmission / reception unit 631 receives operation data indicating an operation by the user from the communication terminal 500 via the additional message communication port.
  • the transmission / reception unit 631 converts frame data (converted video data) obtained by converting each frame data as still image (sound) data into a data format that can be distributed to the communication terminal 500 via the communication network 9 by the conversion unit 661.
  • the message is transmitted to the communication terminal 500 via the additional message communication port.
  • the transmission / reception unit 631 corresponds to a reception unit and a transmission unit.
  • the transmission / reception unit 631 performs data transmission to the user application of the communication terminal 500 and the device application of the communication terminal 500 by using a protocol unique to the image processing system 1000 via a HypertextHTransfer Protocol Secure Socket Layer (HTTPS) server. Receive data.
  • HTTPS HypertextHTransfer Protocol Secure Socket Layer
  • This unique protocol is an HTTPS-based application layer protocol for transmitting and receiving data between the distribution control device 600 and the communication terminal in real time without interruption.
  • the transmission / reception unit 631 performs transmission response control, real-time data creation, command transmission, reception response control, reception data analysis, and gesture conversion.
  • the transmission response control is a process for managing a download HTTPS session requested (requested) from the communication terminal 500 in order to transmit data from the distribution control device 600 to the communication terminal 500.
  • the response of the HTTPS session for download does not end immediately, but is held for a certain time (1 to several minutes).
  • the transmission / reception unit 631 dynamically writes the data to be transmitted to the communication terminal 500 in the body part of the response. In order to eliminate the cost of reconnection, another request is received from the communication terminal 500 before the previous session is completed. By making the transmission / reception unit 631 wait until the previous request is completed, the overhead can be deleted even if reconnection is performed.
  • Real-time data creation is a process of adding a unique header to the compressed video (and compressed sound) data generated by the encoding unit 665 in FIG. 32 and writing it in the Body part of HTTPS.
  • the command transmission is a process for generating command data to be transmitted to the communication terminal 500 and writing it in the Body part of the HTTPS to the communication terminal 500.
  • the reception response control is a process for managing an HTTPS session requested from the communication terminal 500 in order for the distribution control device 600 to receive data from the communication terminal 500.
  • the response of this HTTPS session does not end immediately, but is held for a certain time (1 to several minutes).
  • the communication terminal 500 dynamically writes the data to be transmitted to the transmission / reception unit 631 of the distribution control device 600 in the Body part of the request.
  • the received data analysis is a process of analyzing the data sent from the communication terminal 500 for each type and passing the data to a necessary process.
  • the gesture conversion is a process of converting a gesture event input by the user to the communication terminal 500f as an electronic blackboard by an electronic pen or handwriting into data in a format that can be received by the whiteboard unit 620.
  • the reception FIFO 634 is a buffer for storing video (sound) data after being decoded by the decoding unit 640.
  • the recognition unit 635 performs processing on image (sound) data received from the communication terminal 500. Specifically, the recognizing unit 635 recognizes the face, age, sex, and the like of a person or an animal from an image taken by the camera 562 for signage, for example. In addition, the recognition unit 635 performs name tagging by face recognition, background image replacement processing, and the like from an image captured by the camera 562 for the office. The recognition unit 635 causes the storage unit 2000 to store recognition information indicating the recognized content. The recognizing unit 635 achieves high speed by performing processing with the recognition expansion board.
  • the delay information acquisition unit 637a is used for uplink channel adaptive control processing corresponding to the delay information acquisition unit 557 on the communication terminal 500 side used for downlink channel adaptive control processing. Specifically, the delay information acquisition unit 637a acquires the transmission delay time information (d1) indicating the transmission delay time d1 from the decoding unit 640, holds the transmission delay time information (d1) for a certain period, and stores a plurality of transmission delay time information (d1). Once acquired, the transmission delay time information (d) indicating the frequency distribution information by the plurality of transmission delay times d1 is output to the line adaptive control unit 637b.
  • the transmission delay time information (d1) indicates the time from when the video (sound) data is transmitted by the communication terminal 500 until it is received by the distribution control device 600.
  • the line adaptive control unit 637b is used for uplink line adaptive control processing corresponding to the line adaptive control unit 627 used for downlink line adaptive control processing. Specifically, the line adaptation control unit 637b calculates the operating condition of the encoding unit 560 on the communication terminal 500 side based on the transmission delay time information (d). Also, the line adaptation control unit 637b transmits a line adaptation control signal indicating operation conditions such as a frame rate and data resolution to the encoding unit 560 of the communication terminal 500 via the transmission / reception unit 631 and the transmission / reception unit 651.
  • the decoding unit 640 decodes video (sound) data transmitted from the communication terminal 500.
  • the decoding unit 640 outputs transmission delay time information (d1) indicating the transmission delay time d1 to the delay information acquisition unit 637a.
  • FIG. 33 is a functional block diagram showing functions of communication terminal 500 according to the present embodiment.
  • the communication terminal 500 is a terminal that serves as an interface for a user to log in to the image processing system 1000 and start or stop the distribution of video (sound) data.
  • the communication terminal 500 has each functional configuration shown in FIG. 33 by the hardware configuration and program such as the CPU 601 shown in FIG.
  • the program an electronic conference system program and an electronic blackboard program may be prepared.
  • the electronic conference system program and the electronic blackboard program cooperate to operate the CPU 601.
  • the communication terminal 500 can communicate with other terminals and systems via the communication network 9 by inserting a dongle, the hardware configuration and program shown in FIG. It has each functional composition made.
  • the communication terminal 500 includes a decoding unit 550, a transmission / reception unit 551, an operation unit 552, a reproduction control unit 553, a rendering unit 555, a time control unit 556, a delay information acquisition unit 557, a display unit 558, and an encoding unit 560.
  • the communication terminal 500 has a storage unit 5000 constructed by the RAM 603 shown in FIG.
  • the storage unit 5000 stores time difference information ( ⁇ ) indicating a time difference ⁇ described later, and time information (t) indicating a time t in the communication terminal 500.
  • the decoding unit 550 deserializes and decodes video (sound) data distributed from the distribution control device 600 and output from the reproduction control unit 553. If the decoded video (sound) data includes audio, the audio is output from the speaker 561.
  • the transmission / reception unit 551 transmits / receives various data and requests to / from the transmission / reception unit 531 of the distribution control apparatus 600 and the management apparatus 700.
  • the transmission / reception unit 551 makes a login request to the management apparatus 700 based on the activation of the communication terminal 500 by the operation unit 552 in the login process of the communication terminal 500.
  • the operation unit 552 performs a process of accepting a user's operation input.
  • the operation unit 552 accepts an input or selection by a power switch, a keyboard, a mouse, an electronic pen P, or the like, and sends it to the whiteboard control unit 622 of the distribution control device 600 as operation data. Send.
  • the reproduction control unit 553 buffers the video (sound) data (real-time data packet) received from the transmission / reception unit 551 and outputs the data to the decoding unit 550 in consideration of the reproduction delay time U. In addition, the reproduction control unit 553 calculates transmission delay time information (D1) indicating the transmission delay time D1, and outputs it to the delay information acquisition unit 557.
  • D1 transmission delay time information
  • the rendering unit 555 renders the data decoded by the decoding unit 550.
  • the time control unit 556 performs time adjustment processing in cooperation with the time acquisition unit 626 of the distribution control device 600. Specifically, time control unit 556 acquires time information (t) indicating time t in communication terminal 500 from storage unit 5000. Further, the time control unit 556 requests time information (T) indicating the time T in the distribution control device 600 from the time acquisition unit 626 of the distribution control device 600 via the transmission / reception unit 551 and the transmission / reception unit 531. In this case, time information (t) is transmitted together with a request for time information (T).
  • the delay information acquisition unit 557 acquires transmission delay time information (D1) indicating the transmission delay time D1 from the reproduction control unit 553, holds the transmission delay time information for a certain time, and acquires a plurality of transmission delay time information (D1).
  • Transmission delay time information (D) indicating frequency distribution information based on a plurality of transmission delay times D1 is transmitted to the channel adaptation control unit 627 via the transmission / reception unit 551 and the transmission / reception unit 531.
  • the transmission delay time information (D) is transmitted once every 100 frames, for example.
  • the display unit 558 reproduces the data rendered by the rendering unit 555.
  • the encoding unit 560 is acquired from the built-in microphone 613, the external camera 562 and the microphone 563, encoded and converted into text, and serialized video (sound) data [E], and acquired from the storage unit 5000.
  • the data is transmitted to the decoding unit 640 of the device 600.
  • the time difference ⁇ is the difference between the time managed by the distribution control device 600 and the time managed by the communication terminal 500.
  • the encoding unit 560 changes the operating condition of the encoding unit 560 based on the operating condition indicated by the channel adaptive control signal received from the channel adaptive control unit 637b. Furthermore, the encoding unit 560 acquires video (sound) data [E] serialized by acquiring from the camera 562 and the microphone 563, encoding and texting in accordance with the new operation conditions, and the current communication acquired from the storage unit 5000.
  • the time information (t0) indicating the time t0 in the terminal 500 and the time difference information ( ⁇ ) indicating the time difference ⁇ acquired from the storage unit 5000 are transmitted via the transmission / reception unit 551 and the transmission / reception unit 531 using the communication application.
  • the message is transmitted from the additional message communication port to the decoding unit 640 of the distribution control device 600.
  • the input means may be capable of outputting touch data and smell data in addition to video (sound) data.
  • the input means includes various sensors such as a temperature sensor, a direction sensor, and an acceleration sensor.
  • FIG. 34 is a sequence diagram showing basic distribution processing of the distribution control apparatus according to the present embodiment.
  • a login request is made using the communication terminal 500a
  • a login may be made using a communication terminal 500 other than the communication terminal 500a.
  • the transmission / reception unit 551 of the communication terminal 500a transmits a login request to the management device 700 (step S51).
  • the management device 700 receives the login request and authenticates the communication terminal 500a (step S52).
  • the communication terminal 500a is authenticated as a valid terminal in the image processing system 1000 will be described subsequently.
  • the management apparatus 700 transmits the IP address of the distribution control apparatus 600 to the transmission / reception unit 551 of the communication terminal 500a (step S53).
  • the IP address of the distribution control device 600 is acquired from the distribution control device 600 by the management device 700 and stored in advance.
  • the management apparatus 700 makes a distribution process start request to the transmission / reception unit 621 of the distribution control apparatus 600 (step S54).
  • the transmission / reception unit 621 receives a request to start the distribution control apparatus process.
  • the whiteboard control unit 622 controls the whiteboard unit 620 based on the start request received by the transmission / reception unit 621.
  • the creation / selection / transfer unit 660 of the encoder bridge unit 630 creates the conversion unit 661 according to the playback capability (display resolution, etc.) of the communication terminal 500a and the type of content (step S55).
  • the transmission / reception unit 551 of the communication terminal 500a may transmit a message communication port addition request to the distribution control device 600.
  • the port number may be specified by the message communication port addition request, or the port number to be added by the message communication port addition request may be set in advance.
  • the distribution control device 600 opens the message communication port and notifies the communication terminal 500a that the message communication port has been opened.
  • the transmission / reception unit 621 acquires content data [A] from an arbitrary communication terminal 500 via the additional message communication port according to the instruction of the whiteboard unit 620 (step S56).
  • the whiteboard unit 620 generates each frame data as still image (sound) data by rendering the content data [A] acquired by the transmission / reception unit 621, and outputs the frame data to the transmission FIFO 624 ( Step S57).
  • the conversion unit 661 encodes each frame data stored in the transmission FIFO 624, serializes it by converting it into text, and converts it into video (sound) data [A] to be distributed to the communication terminal 500a (step S58).
  • the transmission / reception unit 631 transmits the video (sound) data [A] from the additional message communication port to the transmission / reception unit 651 of the communication terminal 500a (step S59). Thereby, the transmission / reception unit 551 of the communication terminal 500a receives the video (sound) data [A] and outputs it to the reproduction control unit 553.
  • the decoding unit 550 acquires the video (sound) data [A] from the reproduction control unit 553, decodes it, and deserializes it (step S60). Thereafter, the speaker 561 reproduces sound based on the decoded sound data [A], and the display unit 558 is based on the video data [A] obtained by the rendering unit 555 from the decoding unit 550 and rendered. The video is reproduced (step S61).
  • FIG. 35 is a sequence diagram illustrating distribution processing using a plurality of communication terminals 500 via distribution control device 600 according to the embodiment. Here, specific processing will be described for the patterns shown in FIG. 28 as the plurality of communication terminals 500. In FIG. 35, the processing is the same as the login processing, the start request, and the creation of the conversion unit similar to steps S51 to S55 in FIG.
  • the encoding unit 560 of the communication terminal 500f1 receives input of content data as video (sound) data [E] from the camera 562 and the microphone 563 (step S71), the encoding unit 560 encodes the content data [E] ( Step S72).
  • the transmission / reception unit 551 transmits the content data [E] encoded by the encoding unit 560 to the transmission / reception unit 631 of the distribution control device 600 (step S73). Thereby, the transmission / reception unit 631 of the distribution control device 600 receives the content data [E].
  • the decoding unit 640 of the distribution control device 600 decodes the content data [E] received by the transmission / reception unit 631 and outputs it to the reception FIFO 634 (step S74).
  • the whiteboard unit 620 renders the content data [E] stored in the reception FIFO 634 to generate frame data [E] as still image (sound) data, and outputs the frame data [E] to the transmission FIFO 624. (Step S75). In this case, if there is already acquired content data, the whiteboard unit 620 outputs the content data [E] in a combined layout.
  • the transmission / reception unit 551 displays operation data [p] indicating the content of the stroke operation received by the operation unit 552. Is transmitted to the transmission / reception unit 631 of the distribution control apparatus 600 (step S77). As a result, the transmission / reception unit 631 of the distribution control apparatus 600 receives the operation data [p]. Then, the whiteboard control unit 622 outputs the operation data [p] received by the transmission / reception unit 631 to the whiteboard unit 620.
  • the whiteboard unit 620 generates frame data [p] as still image (sound) data by rendering the operation data [p], and outputs the frame data [p] to the transmission FIFO 624 (step S78). In this case, the whiteboard unit 620 outputs the layout data in which the operation data [p] is combined with the already acquired content data [E].
  • the conversion unit 661 encodes each frame data ([E], [p]) as still image (sound) data stored in the transmission FIFO 624 and serializes it by converting it into text, thereby enabling communication. It is converted into video (sound) data ([E], [p]) to be distributed to the terminal 500a (step S79).
  • the transmission / reception unit 631 acquires the encoded video (sound) data ([E], [p]) from the encoder bridge unit 630 including the conversion unit 661, and performs additional message communication with the transmission / reception unit 551 of the communication terminal 500f1. Transmission is performed via the port (step S80-1). Thereby, the transmission / reception unit 551 of the communication terminal 500f1 receives the video (sound) data ([E], [p]) via the additional message communication port, and the reproduction control unit 553 of the communication terminal 500f1 receives the transmission / reception unit 551 from the transmission / reception unit 551. Video (sound) data ([E], [p]) is acquired.
  • the decoding unit 550 acquires the video (sound) data ([E], [p]) from the reproduction control unit 553 and decodes it (step S81-1). Thereafter, the speaker 561 reproduces a sound based on the decoded sound data [E], and the display unit 558 acquires the video data ([E], [R] acquired from the decoding unit 550 by the rendering unit 555 and rendered. p]), the video is reproduced (step S82-1).
  • the transmission / reception unit 531 acquires the encoded video (sound) data ([E], [p]) from the encoder bridge unit 630, and performs communication.
  • the data is transmitted to the transmission / reception unit 551 of the terminal 500f2 (step S80-2).
  • the reproduction control unit 553 of the communication terminal 500f2 acquires video (sound) data ([E], [p]).
  • the decoding unit 550 acquires the video (sound) data ([E], [p]) from the reproduction control unit 553 and decodes it (step S81-2). Thereafter, the speaker 561 reproduces a sound based on the decoded sound data [E], and the display unit 558 acquires the video data ([E], [R] acquired from the decoding unit 550 by the rendering unit 555 and rendered. p]), the video is reproduced (step S82-2).
  • FIG. 36 is a flowchart showing the flow of rendering processing by the whiteboard unit of the distribution control apparatus according to this embodiment.
  • the whiteboard control unit 622 determines whether the data received by the transmission / reception unit 631 is operation data [p] (step S91). When the received data is not operation data (step S91: No), that is, when the received data is content data [E], the whiteboard unit 620 renders the content data [E] (step S99). This processing is the rendering processing in step S75 in FIG.
  • step S91 when the received data is operation data (step S91: Yes), the whiteboard control unit 622 determines whether the command included in the operation data is a stroke command (step S92). When the command included in the operation data is a stroke command (step S92: Yes), the whiteboard control unit 622 determines whether a mouse up event has been received (step S93).
  • the whiteboard control unit 622 stores the coordinates included in the operation data together with the transmission ID in the coordinate storage unit 122 (step S94).
  • the transmission ID is an identification number given when operation data including a scroll command is received.
  • meta-stroke information such as color and thickness included in the operation data may be stored in the coordinate storage unit 122.
  • the coordinates may include time and pressure information in addition to the X and Y coordinates. In the following, it is assumed that the stroke data is generated from the metastroke information and the coordinate sequence.
  • step S93 when the mouse up event is received in step S93 (step S93: Yes), the whiteboard control unit 622 determines whether or not the coordinates related to the transmission ID are stored in the coordinate storage unit 122 (step S93). S95). If the coordinates related to the transmission ID are not accumulated in the coordinate accumulation unit 122 (step S95: No), the process ends without doing anything.
  • step S95 when the coordinates related to the transmission ID are stored in the coordinate storage unit 122 (step S95: Yes), the whiteboard control unit 622 extracts all the coordinates stored in the coordinate storage unit 122, and extracts all the extracted coordinates. Stroke data indicating a stroke is generated from the coordinates (step S96). The whiteboard control unit 622 deletes the extracted coordinates from the coordinate storage unit 122.
  • the whiteboard control unit 622 outputs the generated stroke data to the whiteboard unit 620 (step S97).
  • the whiteboard unit 620 stores the acquired stroke data in the data management unit 120 (step S97). Then, the whiteboard unit 620 renders the acquired stroke data (step S99).
  • step S92 when the command included in the operation data is not a stroke command (step S92: No), the whiteboard control unit 622 determines whether the command included in the operation data is a page command (step S100). .
  • step S100 If the command included in the operation data is a page command (step S100: Yes), the whiteboard control unit 622 outputs an additional page to the whiteboard unit 620 (step S101).
  • the whiteboard unit 620 stores the acquired page in the data management unit 120 (step S102) and renders it (step S99).
  • step S100 when the command included in the operation data is not a page command (step S100: No), the whiteboard control unit 622 determines whether the command included in the operation data is an image command (step S103).
  • the whiteboard control unit 622 outputs an additional image to the whiteboard unit 620 (step S104).
  • the whiteboard unit 620 stores the acquired image in the data management unit 120 (step S105) and renders (step S99).
  • the whiteboard control unit 622 outputs the mouse event to the whiteboard unit 620 (step S106), and the whiteboard unit 620 renders the command. (Step S99).
  • the whiteboard unit 620 At the time of data registration in the data management unit 120, the whiteboard unit 620 generates PDF data from all pages and stores it in the data management unit 120 as backup data.
  • the distribution control apparatus 600 stores coordinates input on the display of the communication terminal 500, and generates stroke data indicating a stroke by an operation from the user from all the accumulated coordinates. Then, the generated stroke data is stored, and the acquired stroke data is rendered to generate frame data as still image (sound) data. At this time, if there is content data that has already been acquired, the content data is output in a layout in which stroke data that is operation data is combined.
  • each frame data as still image (sound) data is converted to a data format that can be distributed to the communication terminal 500, the frame data is transmitted to the communication terminal 500 and is reproduced on the display of the communication terminal 500. In this way, by saving the operation input by the user at the time of distributing the frame data (video data), the operation input such as the stroke can be displayed on the display even after the distribution of the frame data, and the convenience is improved.
  • the program executed by the distribution control apparatus 600 according to the present embodiment is an installable or executable file, such as a CD-ROM, a flexible disk (FD), a CD-R, a DVD (Digital Versatile Disk), etc. And recorded on a computer-readable recording medium.
  • the program executed by the distribution control apparatus 600 according to the present embodiment may be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network. Further, the program executed by the distribution control apparatus 600 according to the present embodiment may be configured to be provided or distributed via a network such as the Internet. Further, the program executed by the distribution control apparatus 600 according to the present embodiment may be configured to be provided by being incorporated in advance in a ROM or the like.
  • the program executed by the distribution control apparatus 600 according to the present embodiment includes the above-described units (transmission / reception unit 621, whiteboard control unit 622, transmission FIFO 624, time management unit 625, time acquisition unit 626, line adaptation control unit 627). , Encoder bridge unit 630, transmission / reception unit 631, reception FIFO 634, recognition unit 635, delay information acquisition unit 637a, line adaptation control unit 637b, decoding unit 640). Furthermore, in the distribution control apparatus 600 according to the present embodiment, as the actual hardware, the CPU (processor) reads the program from the storage medium and executes the program, so that the respective units are loaded on the main storage device. Are generated on the main memory. In addition, for example, some or all of the functions of the above-described units may be realized by a dedicated hardware circuit.
  • the communication path is set by setting a common message communication port in the electronic conference system and the communication system using the electronic blackboard.
  • the number of communication ports to be used does not increase, so that network resources can be prevented from being compressed. For this reason, network resources can be used effectively.
  • the processing load of a communication terminal such as an electronic blackboard can be reduced by providing the distribution control device.
  • the image forming system is an example of an information processing system
  • the communication terminal 500 and the electronic blackboard 2 are examples of an information processing device
  • the first information processing system is an example of a conference system
  • the second The information processing system is an example of a communication system using the electronic blackboard 2.
  • the remote start processing unit 61 and the remote participation processing unit 62 are examples of setting units
  • the video superimposing unit 28 and the display superimposing unit 36 are examples of content processing units
  • the coordinate detecting unit 22 and the contact detecting unit 24 are operated. It is an example of a reception part
  • the program for the electronic blackboard 2 is an example of an information processing program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

通信ネットワークを介して接続される情報処理装置は、第１の情報処理システムにしたがって第１のコンテンツの第１のコンテンツデータを送信するために前記情報処理装置と他の情報処理装置との間で設定された通信経路から、該他の情報処理装置に第２の情報処理システムにしたがって第１のコンテンツに関して作成される第２のコンテンツの第２のコンテンツデータを送信する送信部を有する。

Description

情報処理装置、情報処理方法および情報処理プログラム
　本発明は、情報処理装置システムに関する。
　企業や教育機関、行政機関等における会議等において、大型ディスプレイに表示させた背景画像に文字や数字、図形等のストローク画像を描画可能な電子黒板が利用されている。電子黒板の一例として、表示装置を制御するコンピュータ装置が背景画像に挿入画像を重畳して表示装置に表示させる電子情報ボードシステムが知られている（例えば、特許文献１参照）。
特開２０１３－１３１２０４号公報
　テレビ会議システムを利用していたユーザに電子黒板の利用を促すことを考える。この場合、テレビ会議システムを利用していたユーザに、電子黒板の機能を追加させることによって電子黒板を利用させるのが好ましい。これによって、テレビ会議システムのＵＩ(User Interface)をそのまま利用できるなどの利便性を向上できるため、電子黒板の導入を促進させることができる。ここで、テレビ会議システムと電子黒板とを共存させるには、テレビ会議システムを動作させるソフトウェアと、電子黒板を動作させるソフトウェアとを独立して動作させることが考えられる。
　しかし、テレビ会議システムを動作させるソフトウェアと、電子黒板を動作させるソフトウェアとを独立して動作させるには、テレビ会議を行う拠点間の通信経路と、該拠点間で電子黒板を用いて通信を行う通信経路とを確保することが必要となる。このため、電子黒板の導入先において、ネットワーク資源を圧迫するおそれがある。
　以上は、テレビ会議システムなどの第１の情報処理システムに電子黒板などの第２の情報処理システムの機能を導入する場合に当てはまる。
　本発明は上記の問題点に鑑み提案されたものであり、その目的とするところは、第１の情報処理システムに第２の情報処理システムの機能を導入した場合にネットワーク資源を有用に利用することにある。
　開示の一実施の形態の情報処理装置は、
　通信ネットワークを介して接続される情報処理装置であって、
　第１の情報処理システムにしたがって第１のコンテンツの第１のコンテンツデータを送信するために前記情報処理装置と他の情報処理装置との間で設定された通信経路から、該他の情報処理装置に第２の情報処理システムにしたがって前記第１のコンテンツに関して作成される第２のコンテンツの第２のコンテンツデータを送信する送信部
　を有する。
　開示の実施の形態によれば、第１の情報処理システムに第２の情報処理システムの機能を導入した場合にネットワーク資源を有用に利用することができる。
本実施の形態に係る画像処理システムの全体構成図である。 電子黒板のハードウェア構成図である。 伝送管理システムのハードウェア構成図である。 電子黒板の機能ブロック図である。 ファイル処理部の機能ブロック図である。 サーバ部及び通信制御部の機能ブロック図である。 ページデータを示す概念図である。 ストロークデータを示す概念図である。 座標配列データを示す概念図である。 メディアデータを示す概念図である。 遠隔ライセンス管理テーブルを示す概念図である。 アドレス帳管理テーブルを示す概念図である。 バックアップデータを示す概念図である。 接続先管理テーブルを示す概念図である。 参加拠点管理テーブルを示す概念図である。 操作データを示す概念図である。 各画像レイヤの構成図である。 伝送管理システムの機能ブロック図である。 認証管理テーブルの一例を示す図である。 端末管理テーブルの一例を示す図である。 画像処理システムの処理を示したシーケンス図である。 各電子黒板の処理を示したシーケンス図である。 各電子黒板の処理を示したシーケンス図である。 本実施の形態に係る画像処理システムの概略図である。 基本的な配信方法を示した概念図である。 マルチキャストの概念図である。 マルチディスプレイの概念図である。 配信制御装置を介して複数の通信端末を使った複合配信の概念図である。 本実施の形態に係る配信制御装置及び管理装置のハードウェア構成図である。 本実施の形態に係る配信制御装置の各機能を示す機能ブロック図である。 エンコーダブリッジ部の詳細図である。 変換部の各機能を示す機能ブロック図である。 本実施の形態に係る通信端末の各機能を示す機能ブロック図である。 本実施の形態に係る配信制御装置の基本的な配信処理を示したシーケンス図である。 本実施の形態に係る配信制御装置を介して複数の通信端末を使った配信の処理を示すシーケンス図である。 本実施の形態の配信制御装置のホワイトボード部によるレンダリング処理の流れを示すフローチャートである。 メタストローク情報の一例を示す図である。
　次に、本発明を実施するための形態を、以下の実施例に基づき図面を参照しつつ説明する。以下で説明する実施例は一例に過ぎず、本発明が適用される実施の形態は、以下の実施例に限られない。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を用い、繰り返しの説明は省略する。
　以下、図面を用いて、本発明の一実施の形態を説明する。
　＜第１の実施の形態＞
　＜画像処理システムの概要＞
　図１は、本実施の形態の画像処理システム１の全体構成図である。なお、図１では、説明を簡略化するために、２台の電子黒板（ホワイトボード）２ａ，２ｂおよびこれに付随する電子ペン４ａ，４ｂ等を示しているが、３台以上の電子黒板や電子ペン等を利用してもよい。
　一般に画像処理システムなどの伝送システムには、伝送管理システムを介して一方の電子黒板などの通信端末から他方の電子黒板などの通信端末に一方向でコンテンツデータを通信するデータ提供システムや、伝送管理システムを介して複数の通信端末間で情報や感情等を相互に伝達するコミュニケーションシステムが含まれる。このコミュニケーションシステムは、コミュニケーション管理システム（「伝送管理システム」に相当）を介して複数のコミュニケーション端末（「通信端末」に相当）間で情報や感情等を相互に伝達するためのシステムであり、テレビまたはビデオ会議システム、テレビ電話システム、音声会議システム、音声電話システム、ＰＣ（Personal computer）画面共有システム等が例として挙げられる。
　図１に示されているように、画像処理システム１は、複数の電子黒板２ａ，２ｂ、複数の電子ペン４ａ，４ｂ、ＵＳＢメモリ５ａ，５ｂ、ノートＰＣ(Personal Computer)６ａ，６ｂ、テレビ（ビデオ）会議端末７ａ，７ｂ、伝送管理システム５０、およびＰＣ８を有する。また、電子黒板２ａ，２ｂ、会議端末７ａ，７ｂ、伝送管理システム５０、およびＰＣ８は、通信ネットワーク９を介して通信可能に接続されている。さらに、複数の電子黒板２ａ，２ｂには、それぞれディスプレイ３ａ，３ｂが設けられている。
　電子黒板２は、他の電子黒板またはテレビ（ビデオ）会議端末７、およびＰＣ８との間で、画像データ、音声データ等の送受信を行うようになっている。例えば、通信ＩＤが「０１ａａ」である電子黒板２ａと、通信ＩＤが「０１ｂｂ」である電子黒板２ｂとの間で高画質の画像データ、音声データ等の送受信を行うことによってテレビ会議を行うことができる。本実施の形態では、画像データの画像が静止画の場合について説明するが、静止画だけでなく動画であってもよい。また、画像データの画像に動画と静止画の両方が含まれていてもよい。伝送管理システム５０は、複数の電子黒板２を一元的に管理するためのものである。
　また、電子黒板２ａは、電子ペン４ａによって生じたイベント（ディスプレイ３ａに電子ペン４ａのペン先、又は、電子ペン４ａのペン尻のタッチ）により描画された画像を、ディスプレイ３ａに表示させることができる。なお、電子黒板２ａは、電子ペン４ａだけでなく、ユーザの手Ｈａ等によって生じたイベント（拡大、縮小、ページめくり等のジェスチャ）に基づいて、ディスプレイ３ａ上に表示されている画像を変更させることもできる。
　また、電子黒板２ａには、ＵＳＢメモリ５ａが接続可能であり、電子黒板２ａはＵＳＢメモリ５ａからＰＤＦ(Portable Document Format)等の電子ファイルを読み出したり、電子黒板２ａはＵＳＢ(Universal Serial Bus)メモリ５ａに電子ファイルを記録したりすることができる。また、電子黒板２ａには、DisplayPort、DVI(Digital Visual Interface)、HDMI（登録商標）(High-Definition Multimedia Interface)およびVGA(Video Graphics Array)等の規格による通信が可能なケーブル１０ａ１を介して、ノートＰＣ６ａが接続されている。そして、電子黒板２ａは、ディスプレイ３ａに対する接触によってイベントを発生させ、このイベントを示すイベント情報を、マウスやキーボード等の入力装置からのイベントと同様に、ノートＰＣ６ａに送信する。通信ネットワーク９には、上記規格による通信が可能なケーブル１０ａ２を介して、テレビ（ビデオ）会議端末７ａが接続されている。なお、ノートＰＣ６ａ、およびテレビ会議端末７ａは、Bluetooth（登録商標）等の各種無線通信プロトコルに準拠した無線通信により、電子黒板２ａと通信してもよい。
　一方、電子黒板２ｂが設置されている他の拠点では、上記の電子黒板２ａと同様に、ディスプレイ３ｂを備えた電子黒板２ｂ、電子ペン４ｂ、ＵＳＢメモリ５ｂ、ノートＰＣ６ｂ、テレビ会議端末７ｂ、ケーブル１０ｂ１、ケーブル１０ｂ２が利用される。さらに、ユーザの手Ｈｂ等によって生じたイベントに基づいて、ディスプレイ３ｂ上に表示されている画像を変更させることもできる。
　これにより、一の拠点で電子黒板２ａのディスプレイ３ａ上に描画された画像は、他の拠点で電子黒板２ｂのディスプレイ３ｂ上にも表示され、逆に他の拠点で電子黒板２ｂのディスプレイ３ｂ上に描画された画像は、一の拠点で電子黒板２ａのディスプレイ３ａ上に表示される。このように、画像処理システム１では、遠隔地において同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、非常に便利である。
　なお、以下では、複数の電子黒板のうち任意の電子黒板を示す場合には「電子黒板２」と示す。複数のディスプレイのうち任意のディスプレイを示す場合には「ディスプレイ３」と示す。複数の電子ペンのうち任意の電子ペンを示す場合には「電子ペン４」と示す。複数のＵＳＢメモリのうち任意のＵＳＢメモリを示す場合には「ＵＳＢメモリ５」と示す。複数のノートＰＣのうち任意のノートＰＣを示す場合には「ノートＰＣ６」と示す。複数のテレビ会議端末のうち任意のテレビ会議端末を示す場合には「テレビ会議端末７」と示す。また、複数のユーザの手のうち任意の手を示す場合には「手Ｈ」と示す。複数のケーブルのうち任意のケーブルを示す場合には「ケーブル１０」と示す。
　本実施の形態では、コミュニケーションシステムの一例としての画像処理システム、コミュニケーション管理システムの一例としての伝送管理システム、およびコミュニケーション端末の一例としての電子黒板を想定した上で、画像処理システム、および伝送管理システム、および電子黒板について説明する。すなわち、電子黒板および伝送管理システムは、画像処理システム、テレビまたはビデオ会議システムに適用されるだけでなく、コミュニケーションシステム、または伝送システムにも適用される。
　また、本実施の形態では、情報処理装置の一例として、電子黒板を説明するが、これに限るものではなく、情報処理装置の他の例として、デスクトップ型ＰＣやタブレット型ＰＣや、電子看板（デジタルサイネージ）、スポーツや天気予報等で利用されるテレストレータ、又は、遠隔画像（映像）診断装置等の画像処理装置であってもよい。また、情報処理端末の一例として、ノートＰＣ６を説明するが、これに限るものではなく、情報処理端末の他の例として、デスクトップ型ＰＣやタブレット型ＰＣ、ＰＤＡ、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末であってもよい。さらに、通信ネットワークには、インターネット、ＬＡＮ(Local Area Network)、携帯電話通信網等が含まれる。また、本実施の形態では、記録媒体の一例として、ＵＳＢメモリを説明するが、これに限るものではなく、記録媒体の他の例として、ＳＤカード等の各種記録メディアであってもよい。
　＜電子黒板のハードウェア構成＞
　図２を用いて、本実施の形態の電子黒板のハードウェア構成を説明する。なお、図２は、電子黒板のハードウェア構成図である。
　図２に示されているように、電子黒板２は、電子黒板２全体の動作を制御するＣＰＵ１０１、ＩＰＬ等のＣＰＵ１０１の駆動に用いられるプログラムを記憶したＲＯＭ１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ１０３、電子黒板用のプログラム等の各種データを記憶するＳＳＤ１０４、通信ネットワーク９との通信を制御するネットワークコントローラ１０５、および、ＵＳＢメモリ５との通信を制御する外部記憶コントローラ１０６を備えている。さらに、電子黒板２は、ＣＰＵ１０１の制御に従って被写体を撮像し画像データを得るカメラ１０７と、このカメラ１０７の駆動を制御する撮像素子Ｉ／Ｆ１０８と、ノートＰＣ６のディスプレイに対して映像情報を静止画または動画として表示させるキャプチャデバイス１１１、グラフィクスを専門に扱うＧＰＵ(Graphics Processing Unit)１１２、および、ＧＰＵからの出力画像をディスプレイ３やテレビ会議端末７へ出力するために画面表示の制御および管理を行うディスプレイコントローラ１１３を備えている。さらに、電子黒板２は、接触センサ１１５の処理を制御するセンサコントローラ１１４、ディスプレイ３上に電子ペン４やユーザの手Ｈ等が接触したことを検知する接触センサ１１５を備えている。本実施の形態における、この接触センサ１１５は、赤外線遮断方式による座標の入力および座標の検出を行う。この座標の入力および座標の検出する方法は、ディスプレイ３の上側両端部に設置された２つ受発光装置が、ディスプレイ３に平行して複数の赤外線を放射し、ディスプレイ３の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ１１５は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤ(Identification)をセンサコントローラ１１４に出力し、センサコントローラ１１４が、物体の接触位置である座標位置を特定する。なお、以下に示す全ての各ＩＤは、識別情報の一例である。
　また、接触センサ１１５としては、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２の抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。また、接触センサ１１５は、カメラを用いて、接触を判断し、座標位置を特定するものであっても良い。
　また、電子黒板２は、電子ペンコントローラ１１６を備えている。この電子ペンコントローラ１１６は、電子ペン４と通信することで、ディスプレイ３へのペン先のタッチやペン尻のタッチの有無を判断する。なお、電子ペンコントローラ１１６が、電子ペン４のペン先およびペン尻だけでなく、電子ペン４のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
　さらに、電子黒板２は、音声を入力するマイク１２２と、音声を出力するスピーカ１２３と、ＣＰＵ１０１の制御に従ってマイク１２２およびスピーカ１２３との間で音声信号の入出力を処理する音声入出力Ｉ／Ｆ１２４と、ユーザの操作を受け付ける操作ボタン１２５と、電子黒板２の電源のＯＮ／ＯＦＦを切り換えるための電源スイッチ１２６と、を備えている。
　さらに、電子黒板２は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＳＳＤ１０４、ネットワークコントローラ１０５、外部記憶コントローラ１０６、キャプチャデバイス１１１、ＧＰＵ１１２、センサコントローラ１１４、電子ペンコントローラ１１６、撮像素子Ｉ／Ｆ１０８、音声入出力Ｉ／Ｆ１２４、操作ボタン１２５、および電源スイッチ１２６を、図２に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン１２０を備えている。
　なお、電子黒板用のプログラムは、ＣＤ－ＲＯＭ等のコンピュータで読み取り可能な記録媒体や、ネットワーク上のサーバに記録して流通やダウンロードさせるようにしてもよい。
　＜伝送管理システム５０のハードウェア構成＞
　図３を用いて、本実施の形態に係る伝送管理システムのハードウェア構成を説明する。なお、図３は、伝送管理システム５０のハードウェア構成図である。
　伝送管理システム５０は、伝送管理システム５０全体の動作を制御するＣＰＵ２０１と、伝送管理用プログラムを記憶したＲＯＭ２０２と、ＣＰＵ２０１のワークエリアとして使用されるＲＡＭ２０３と、各種データを記憶するＨＤ(Hard Disk)２０４と、ＣＰＵ２０１の制御に従ってＨＤ２０４に対する各種データの読み出しおよび書き込みを制御するＨＤＤ２０５と、フラッシュメモリ等の記録メディア２０６に対するデータの読み出しおよび書き込み（記憶）を制御するメディアドライブ２０７とを備えている。さらに、伝送管理システム５０は、カーソル、メニュー、ウィンドウ、文字、画像等の各種情報をディスプレイ２１６に表示させるためのディスプレイＩ／Ｆ２０８と、通信ネットワーク９を利用してデータ伝送をするためのネットワークＩ／Ｆ２０９と、文字、数値、各種指示等を入力するための複数のキーを備えたキーボード２１１と、各種指示の選択や実行、処理対象の選択、マウスカーソルなどのポインティングデバイスの移動等を行うマウス２１２とを備えている。さらに、伝送管理システム５０は、着脱可能な記録媒体の一例としてのＣＤ－ＲＯＭ(Compact Disc Read Only Memory)２１３に対するデータの読み出しおよび書き込みを制御するＣＤ－ＲＯＭドライブ２１４と、外部の装置との間で情報を送受信するための外部装置Ｉ／Ｆ２１５と、上記各構成要素間を相互に電気的に接続するためのアドレスバスやデータバス等のバスライン２１０とを備えている。
　また、上記伝送管理用プログラムは、インストール可能な形式または実行可能な形式のファイルで、上記記録メディア２０６やＣＤ－ＲＯＭ２１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。上記伝送管理用プログラムはＨＤ２０４に記憶されていてもよい。
　＜電子黒板の機能構成＞
　図４を用いて、電子黒板２の全体的な機能構成について説明する。図４は、電子黒板２の機能ブロック図である。
　電子黒板２は、図２に示されているハードウェア構成およびプログラムによって、図４に示されている各機能構成を有する。電子黒板２は、最初に遠隔共有処理を開始する「主催装置」となり得ると共に、既に開始されている遠隔共有処理に後から参加する「参加装置」にもなり得る。また、電子黒板２は、大きく分けて、クライアント部２０およびサーバ部９０の両方によって構成されている。クライアント部２０およびサーバ部９０のうち、電子黒板２にクライアント部２０を備え、サーバ部９０を配信制御装置などの電子黒板２とは異なる装置とするようにしてもよい。クライアント部２０およびサーバ部９０は、電子黒板２の１台の筐体内で実現される機能である。そして、電子黒板２が主催装置となる場合には、この電子黒板２では、クライアント部２０とサーバ部９０が実現（実行）される。また、電子黒板２が参加装置となる場合には、この電子黒板２では、クライアント部２０は実現（実行）されるが、サーバ部９０は実現（実行）されない。即ち、図１において、電子黒板２ａが主催装置で、電子黒板２ｂが参加装置となる場合、電子黒板２ａのクライアント部２０は、同じ電子黒板２ａ内に実現されたサーバ部９０を介して、他の電子黒板２ｂのクライアント部２０と通信を行う。一方、電子黒板２ｂのクライアント部２０は、他の電子黒板２ａ内に実現されたサーバ部９０を介して、他の電子黒板２ａのクライアント部と通信を行う。
　〔クライアント部２０の機能構成〕
　続いて、クライアント部２０の機能構成について説明する。図４に示されるように、クライアント部２０は、操作入力受付部１１、ログイン要求部１２、音声入出力部１３、撮像部１４、映像取得部２１、座標検知部２２、自動調整部２３、接触検知部２４、イベント振分部２５、操作処理部２６、ジェスチャ処理部２７、映像重畳部２８、画像処理部３０、および通信制御部６０を有する。これら各機能部は、図２に示される各構成要素のいずれかが、ＲＯＭ１０２に格納されているプログラムに従ったＣＰＵ１０１からの命令により動作することで実現される機能または手段である。これら各機能部のうち、操作入力受付部１１、ログイン要求部１２、音声入出力部１３、および撮像部１４を実現する電子会議システム用プログラムと、映像取得部２１、座標検知部２２、自動調整部２３、接触検知部２４、イベント振分部２５、操作処理部２６、ジェスチャ処理部２７、映像重畳部２８、画像処理部３０、および通信制御部６０を実現する電子黒板用プログラムとが用意されてもよい。この場合、ＲＯＭ１０２に格納されている電子会議システム用プログラムと、電子黒板用プログラムとが協調してＣＰＵ１０１を動作させる。また、電子黒板２は、図２に示されるＳＳＤ１０４によって構築される記憶部を有している。
　操作入力受付部１１は、図２に示される操作ボタン１２５および電源スイッチ１２６によって実現され、ユーザによる各種入力を受け付ける。例えば、ユーザが、電子黒板２の本体の電源スイッチをＯＮにすると、操作入力受付部１１が電源ＯＮを受け付けて、電源をＯＮにする。
　ログイン要求部１２は、図２に示されるＣＰＵ１０１からの命令によって実現され、ユーザの操作を契機として、通信制御部６０から通信ネットワーク９を介して伝送管理システム５０に、ログインを要求する旨を示すログイン要求情報、および電子黒板２の現時点のＩＰアドレスを自動的に送信する。
　音声入出力部１３は、図２に示されるマイク１２２、スピーカ１２３、および音声入出力Ｉ／Ｆ１２４によって実現される。音声入出力部１３は、ユーザの音声を入力し、この音声を音声信号に変換することで音声信号に係る音声データを出力するとともに、音声データに係る音声信号を音声に変換して出力する。撮像部１４は、図２に示されるカメラ１０７および撮像素子Ｉ／Ｆ１０８によって実現され、被写体を撮像した画像を表す画像データを生成する。
　映像取得部２１は、ケーブル１０に接続された映像出力機器の出力映像を取得する。映像取得部２１は、映像出力機器から画像信号を受信すると、この画像信号を解析して、この画像信号によって形成される映像出力機器の表示画像である画像フレームの解像度や、この画像フレームの更新頻度などの画像情報を導出し、画像取得部３１に出力する。出力映像などの画像データおよび表示データは、例えばＪＰＥＧ(Joint Photographic Experts Group)、Ｂｉｔｍａｐ、ＧＤＩ(Graphics Device Interface)等の形式のデータである。
　座標検知部２２は、ディスプレイ３上でユーザによって生じたイベント（ディスプレイ３上にユーザの手Ｈがタッチされた動作等）の座標位置を検出する。また、座標検知部２２は、タッチされた面積も検出する。
　自動調整部２３は、電子黒板２の起動時に起動され、接触センサ１１５が座標検知部２２に適切な値を出力できるように、接触センサ１１５の光センサ方式におけるセンサーカメラの画像処理のパラメータを調整する。
　接触検知部２４は、ユーザによって生じたイベント（ディスプレイ３上に電子ペン４のペン先又は電子ペン４のペン尻が押下（タッチ）された動作等）を検出する。
　イベント振分部２５は、座標検知部２２によって検知されたイベントの座標位置と接触検知部２４によって検出された検出結果を、ストローク描画、ＵＩ操作、およびジェスチャ操作の各イベントに振り分ける。
　ここで、「ストローク描画」は、ディスプレイ３上に後述のストローク画像（Ｂ）が表示されている場合（図１７参照）に、ユーザがディスプレイ３上で電子ペン４を押下し、この押下した状態で電子ペン４を移動させ、最終的にディスプレイ３上から電子ペン４を離すまでのイベントである。このストローク描画により、例えば、アルファベット「Ｓ」や「Ｔ」等がディスプレイ３上に描画される。なお、この「ストローク描画」には、画像を描画するだけでなく、既に描画された画像を削除したり、描画された画像を編集したりするイベントも含まれる。
　「ＵＩ操作」は、ディスプレイ３上に後述のＵＩ画像（Ａ）が表示されている場合（図１７参照）に、ユーザが電子ペン４又は手Ｈによって所定の位置を押下したイベントである。このＵＩ操作により、例えば、電子ペン４により描画される線の色や幅等が設定される。
　「ジェスチャ操作」は、ディスプレイ３上に後述のストローク画像（Ｂ）が表示されている場合（図１７参照）に、ユーザが手Ｈでディスプレイ３上をタッチしたり移動したりさせるイベントである。このジェスチャ操作により、例えば、ユーザがディスプレイ３に手Ｈをタッチさせた状態で手Ｈを移動させることで、画像の拡大（若しくは縮小）、表示領域の変更、又は、ページ切り換え等を行うことができる。
　操作処理部２６は、イベント振分部２５によってＵＩ操作と判断されたものから、イベントが発生されたＵＩの要素に従って、各種操作を実行する。このＵＩの要素としては、例えば、ボタン、リスト、チェックボックス、テキストボックスが挙げられる。
　ジェスチャ処理部２７は、イベント振分部２５によってジェスチャ操作と判断されたものに対応した操作を実行する。
　映像重畳部２８は、後述の表示重畳部３６で重畳された画像を映像として映像出力機器（ディスプレイ３等）に対して表示する。また、映像重畳部２８は、映像出力機器（ノートＰＣ６等）からの映像に対して、他の映像出力機器（テレビ会議端末７等）から送られて来た映像をピクチャ・イン・ピクチャする。さらに、映像重畳部２８は、ピクチャ・イン・ピクチャされてディスプレイ３の一部に表示された映像を、ディスプレイ３の全体に表示させるための切り替えを行う。
　画像処理部３０は、各画像レイヤの重畳処理等を行う。画像処理部３０は、画像取得部３１、ストローク処理部３２、ＵＩ画像生成部３３、背景生成部３４、レイアウト管理部３５、表示重畳部３６、ページ処理部３７、ファイル処理部４０、ページデータ記憶部３００、および遠隔ライセンス管理テーブル３１０を有している。
　このうち、画像取得部３１は、映像取得部２１で取得された映像から、各フレームを画像として取得する。画像取得部３１は、この画像のデータを、ページ処理部３７に出力する。この画像は、映像出力機器（ノートＰＣ６等）からの出力画像（Ｃ）に相当する。また、画像取得部３１は、この画像のデータをテキスト化することによってシリアライズし（図８参照）、インスタントメッセージなどのコミュニケーション用アプリケーションを使用して通信制御部６０の後述する遠隔画像送信部６３に送信する。
　ストローク処理部３２は、イベント振分部２５によって割り振られたストローク描画に係るイベントに基づいて、画像を描画したり、描画された画像を削除したり、描画された画像を編集する。このストローク描画による画像は、ストローク画像（Ｂ）に相当する。また、このストローク描画に基づいた画像の描画、削除、編集の各結果は、後述の操作データとして、データ管理部８０の操作データ記憶部８４０に記憶される。
　ＵＩ画像生成部３３は、電子黒板２に予め設定されているＵＩ（ユーザインターフェース）画像を生成する。このＵＩ画像は、ＵＩ画像（Ａ）に相当する。
　背景生成部３４は、ページ処理部３７がページデータ記憶部３００から読み出したページデータのうちのメディアデータを、ページ処理部３７から受信する。背景生成部３４は、この受信したメディアデータを表示重畳部３６に出力する。また、このメディアデータによる画像は、背景画像（Ｄ）に相当する。背景画像（Ｄ）のパターンは、無地、グリッド表示等である。
　レイアウト管理部３５は、表示重畳部３６に対して、画像取得部３１、ストローク処理部３２、およびＵＩ画像生成部３３（又は背景生成部３４）から出力された各画像のレイアウトを示すレイアウト情報を管理している。これにより、レイアウト管理部３５は、表示重畳部３６に対して、出力画像（Ｃ）およびストローク画像（Ｂ）を、ＵＩ画像（Ａ）および背景画像（Ｄ）中のどの位置に表示させるか又は非表示にさせるかを指示することができる。
　表示重畳部３６は、レイアウト管理部３５から出力されたレイアウト情報に基づき、画像取得部３１、ストローク処理部３２、およびＵＩ画像生成部３３（背景生成部３４）から出力された各画像のレイアウトを行う。
　ページ処理部３７は、ストローク画像（Ｂ）のデータと出力画像（Ｃ）のデータを、１つのページデータにまとめてページデータ記憶部３００に記憶する。ストローク画像（Ｂ）のデータは、ストローク配列データＩＤで示されるストローク配列データ（各ストロークデータ）として、ページデータの一部を成す。出力画像（Ｃ）のデータは、メディアデータＩＤで示されているメディアデータとして、ページデータの一部を成す。そして、このメディアデータは、ページデータ記憶部３００から読み出されると、背景画像（Ｄ）のデータとして取り扱われる。
　また、ページ処理部３７は、一旦記憶されたページデータのうちのメディアデータを、背景生成部３４を介して表示重畳部３６に送信する。これによって、映像重畳部２８は、背景画像（Ｄ）をディスプレイ３に再表示することができる。また、ページ処理部３７は、ページデータのうちのストローク配列データ（各ストロークデータ）を、ストローク処理部３２に戻すことで、ストロークの再編集ができる状態にすることができる。さらに、ページ処理部３７は、ページデータを削除したり複製したりすることもできる。
　即ち、ページ処理部３７がページデータ記憶部３００にページデータを記憶する時点でディスプレイ３上に表示されている出力画像（Ｃ）のデータは、一旦、ページデータ記憶部３００に記憶され、その後にページデータ記憶部３００から読み出される際には、背景画像（Ｄ）を示すメディアデータとして読み出される。そして、ページ処理部３７は、ページデータ記憶部３００から読み出したページデータのうち、ストローク画像（Ｂ）を示すストローク配列データを、ストローク処理部３２に出力する。また、ページ処理部３７は、ページデータ記憶部３００から読み出したページデータのうち、背景画像（Ｄ）を示すメディアデータを、背景生成部３４に出力する。
　表示重畳部３６は、画像取得部３１からの出力画像（Ｃ）、ストローク処理部３２からのストローク画像（Ｂ）、ＵＩ画像生成部３３からのＵＩ画像（Ａ）、および、背景生成部３４からの背景画像（Ｄ）を、レイアウト管理部３５によって指定されたレイアウトに従って重畳する。これにより、各画像が重なってもユーザが見える順に、ＵＩ画像（Ａ）、ストローク画像（Ｂ）、出力画像（Ｃ）、および背景画像（Ｄ）の各レイアの構成となる。
　また、表示重畳部３６は、画像（Ｃ）と画像（Ｄ）を切り替えて、画像（Ａ）および画像（Ｂ）に対して排他的に重畳することも可能である。例えば、当初、画像（Ａ）、画像（Ｂ）および画像（Ｃ）が表示されている状態で、電子黒板２と映像出力機器（ノートＰＣ６等）との間のケーブル１０が抜かれた場合には、レイアウト管理部３５の指定によって、画像（Ｃ）を重畳対象から外し、画像（Ｄ）を表示させることができる。この場合に、表示重畳部３６は、表示の拡大、表示の縮小、表示領域の移動処理も行う。
　ページデータ記憶部３００は、ページデータを記憶する。図７は、ページデータを示す概念図である。ページデータは、ディスプレイ３に表示される１ページ分のデータ（ストローク配列データ（各ストロークデータ）およびメディアデータ）である。なお、ページデータに含まれるパラメータの種類が多いため、ここでは、図７乃至１０に分けて、ページデータの内容を説明する。
　ページデータは、図７に示されているように、任意の１ページを識別するためのページデータＩＤ、このページの表示を開始した時刻を示す開始時刻、ストロークやジェスチャ等によるページの内容の書き換えが行われなくなった時刻を示す終了時刻、電子ペン４やユーザの手Ｈによるストロークによって生じたストローク配列データを識別するためのストローク配列データＩＤ、およびメディアデータを識別するためのメディアデータＩＤが関連付けられて記憶されている。ストローク配列データは、ストローク画像（Ｂ）がディスプレイ３上に表示されるためのデータである。メディアデータは、背景画像（Ｄ）がディスプレイ３上に表示されるためのデータである。
　このようなページデータにより、例えば、ユーザが電子ペン４によってアルファベット「Ｓ」を描く場合は一筆書きとなるため、ストロークデータＩＤが１つで一文字のアルファベット［Ｓ］が示される。ところが、ユーザが電子ペン４によってアルファベット「Ｔ」を描く場合、二筆書きとなるため、ストロークデータＩＤが２つで一文字のアルファベット「Ｔ」が示されることになる。
　また、ストローク配列データは、図８に示されているように詳細な情報を示している。図８は、ストローク配列データを示す概念図である。図８に示されているように、１つのストローク配列データは、複数のストロークデータによって表される。そして、１つのストロークデータは、このストロークデータを識別するためのストロークデータＩＤ、１つのストロークの書き始めの時刻を示す開始時刻、１つのストロークの書き終わりの時刻を示す終了時刻、ストロークの色、ストロークの幅、および、ストロークの通過点の配列を識別するための座標配列データＩＤを示している。
　さらに、この座標配列データは、図９に示されているように詳細な情報を示している。図９は、座標配列データを示す概念図である。図９に示されているように、座標配列データは、ディスプレイ３上の１点（Ｘ座標値、Ｙ座標値）、この１点を通過したときのストロークの開始時刻からの差分の時刻（ｍｓ）、および、この１点における電子ペン４の筆圧の各情報を示している。即ち、図９に示されている１点の集まりが、図８に示されている１つの座標配列データで示されている。例えば、ユーザが電子ペン４によってアルファベット「Ｓ」を描く場合、一筆書きとなるが、「Ｓ」を描き終えるまでに、複数の通過点を通過するため、座標配列データは、これら複数の通過点の情報を示している。
　また、図７に示されているページデータのうちのメディアデータは、図１０に示されているように詳細な情報を示している。図１０は、メディアデータを示す概念図である。図１０に示されているように、メディアデータは、図７に示されているページデータにおけるメディアデータＩＤ、メディアデータのデータ種類、ページ処理部３７からページデータ記憶部３００にページデータが記憶された記録時刻、ページデータによってディスプレイ３上に表示される画像の位置（Ｘ座標値、Ｙ座標値）および画像のサイズ（幅、高さ）、並びにメディアデータの内容を示すデータが関連付けられて示されている。このうち、ページデータによってディスプレイ３上に表示される画像の位置は、ディスプレイ３の左上端の座標を（Ｘ座標値，Ｙ座標値）＝（０，０）とした場合に、ページデータによって表示される画像の左上端の位置を示している。
　図４に戻り説明を続ける。遠隔ライセンス管理テーブル３１０は、遠隔共有処理を実行するために必要なライセンスデータを管理する。この遠隔ライセンス管理テーブル３１０では、図１１に示されているように、電子黒板２のプロダクトＩＤ、認証に用いられるライセンスＩＤ、およびライセンスの有効期限が関連付けて管理されている。
　（ファイル処理部４０の機能構成）
　続いて、図５を用いて、図４に示されているファイル処理部４０の機能構成を説明する。なお、図５は、ファイル処理部４０の機能ブロック図である。
　ファイル処理部４０は、リカバリ処理部４１、ファイル入力部４２ａ、ファイル出力部４２ｂ、ファイル変換部４３、ファイル送信部４４、アドレス帳入力部４５、バックアップ処理部４６、バックアップ出力部４７、設定管理部４８、設定ファイル入力部４９ａ、設定ファイル出力部４９ｂ、およびアドレス帳入力部５０を有している。さらに、ファイル処理部４０は、アドレス帳管理テーブル４１０、バックアップデータ記憶部４２０、設定ファイル記憶部４３０、および接続先管理テーブル４４０を有している。
　このうち、リカバリ処理部４１は、電子黒板２が異常終了した際に、異常終了を検知し、未保存のページデータを復旧する。例えば、正常終了の場合は、ページデータがＰＤＦファイルとしてファイル処理部４０を介してＵＳＢ５に記録されるが、電源がダウンした等の異常終了の場合は、ページデータがページデータ記憶部３００に記録されたままになっている。そのため、再び、電源オンになった際に、リカバリ処理部４１は、ページデータ記憶部３００からページデータを読み出すことで復旧させる。
　ファイル入力部４２ａは、ＵＳＢメモリ５から、ＰＤＦファイルを読み込み、各ページをページデータとしてページデータ記憶部３００に記憶する。
　ファイル変換部４３は、ページデータ記憶部３００に記憶されているページデータを、ＰＤＦ形式のファイルに変換する。
　ファイル出力部４２ｂは、ファイル変換部４３によって出力されたＰＤＦファイルをＵＳＢメモリ５に記録する。
　ファイル送信部４４は、ファイル変換部４３によって生成されたＰＤＦファイルを、電子メールに添付して送信する。このＰＤＦファイルの送信先は、表示重畳部３６によってディスプレイ３上にアドレス帳管理テーブル４１０の内容を表示し、ファイル送信部４４がユーザによるタッチパネル等の入力装置の操作により、宛先の選択を受け付けることによって決定される。アドレス帳管理テーブル４１０には、図１２に示されているように、宛先の名前および宛先の電子メールのメールアドレスが関連付けられて管理されている。また、ファイル送信部４４が、ユーザによるタッチパネル等の入力装置の操作により、宛先としてのメールアドレスの入力を受け付けることもできる。
　アドレス帳入力部４５は、ＵＳＢメモリ５から電子メールアドレスの一覧ファイルを読み込み、アドレス帳管理テーブル４１０に管理する。
　バックアップ処理部４６は、ファイル出力部４２ｂによって出力されたファイルや、ファイル送信部４４によって送信されたファイルを、バックアップデータ記憶部４２０に記憶することでバックアップする。なお、ユーザがバックアップ設定しない場合は、バックアップの処理は行われない。バックアップデータは、図１３に示されているように、ＰＤＦ形式で記憶される。
　バックアップ出力部４７は、バックアップされたファイルをＵＳＢメモリ５に記憶する。この記憶の際には、ユーザによるタッチパネル等の入力装置の操作により、セキュリティーのためにパスワードが入力される。
　設定管理部４８は、電子黒板２の各種設定情報を設定ファイル記憶部４３０に記憶したり読み出したりして管理する。この各種設定情報としては、例えば、ネットワーク設定、日付や時刻の設定、地域や言語の設定、メールサーバの設定、アドレス帳の設定、接続先リストの設定、バックアップに関する設定が挙げられる。なお、ネットワーク設定は、例えば、電子黒板２のＩＰアドレスの設定、ネットマスクの設定、デフォルトゲートウェイの設定、又はＤＮＳ(Domain Name System)の設定等である。
　設定ファイル出力部４９ｂは、電子黒板２の各種設定情報を、設定ファイルとしてＵＳＢメモリ５に記録させる。なお、設定ファイルはセキュリティーによって、ユーザは中身を見ることができない。
　設定ファイル入力部４９ａは、ＵＳＢメモリ５に記憶されている設定ファイルを読み込み、各種設定情報を電子黒板２の各種設定に反映させる。
　接続先入力部５０は、ＵＳＢメモリ５から遠隔共有処理の接続先ＩＰアドレスの一覧ファイルを読み込み、接続先管理テーブル４４０で管理する。なお、図１４に示されているように、接続先管理テーブル４４０は、電子黒板２が遠隔共有処理に参加しようとする参加装置である場合、この参加装置のユーザが主催装置としての役割を果たす電子黒板のＩＰアドレスを入力する手間を削減するために、予め管理しておくためのテーブルである。この接続先管理テーブル４４０では、参加されることが可能な主催装置としての電子黒板２が設置されている拠点の名称、および主催装置としての電子黒板２のＩＰアドレスが関連付けて管理されている。
　なお、接続先管理テーブル４４０は、省略することも可能である。但し、この場合には、参加装置のユーザは、主催装置との間で遠隔要求処理の開始するために、タッチパネル等の入力装置によって、主催装置のＩＰアドレスを入力する必要がある。そのため、参加装置のユーザは、電話や電子メール等によって、主催装置のユーザから、主催装置のＩＰアドレスを知得する。
　（通信制御部６０の機能構成）
　次に、図６を用いて、通信制御部６０の機能構成について説明する。
　通信制御部６０は、通信ネットワーク９を介して、他の電子黒板２とメッセージ通信ポートを開くことなどの通信経路を設定するために行う通信や、サーバ部９０における後述の通信制御部７０と行う通信を制御する。そのため、通信制御部６０は、遠隔開始処理部６１、遠隔参加処理部６２、遠隔画像送信部６３、遠隔画像受信部６４、遠隔操作送信部６５、遠隔操作受信部６６、および参加拠点管理テーブル６１０を有している。
　このうち、遠隔開始処理部６１は、同じ電子黒板２のサーバ部９０に対して、メッセージ通信ポートを追加して開くことを要求するとともに新たに遠隔共有処理を開始する要求を行い、サーバ部９０から要求の結果を受信する。この場合、遠隔開始処理部６１は、遠隔ライセンス管理テーブル３１０を参照し、ライセンス情報（プロダクトＩＤ、ライセンスＩＤ、および有効期限）が管理されている場合には、遠隔共有処理を開始する要求を行うことができる。但し、ライセンス情報が管理されていない場合には遠隔共有処理を開始する要求を行うことができない。
　参加拠点管理テーブル６１０は、電子黒板２が主催装置である場合、現在、遠隔共有処理に参加している参加装置としての電子黒板を管理するテーブルである。この参加拠点管理テーブル６１０では、図１５に示されているように、参加中の電子黒板２が設置されている拠点の名称および当該電子黒板２のＩＰアドレスが関連付けて管理されている。
　遠隔参加処理部６２は、通信ネットワーク９を介して、既に遠隔共有処理を開始している主催装置としての電子黒板２のサーバ部９０における遠隔接続要求受信部７１に対して、メッセージ通信ポートを追加して開くことを要求するとともに遠隔共有処理への参加要求を行う。この場合も、遠隔参加処理部６２は、遠隔ライセンス管理テーブル３１０を参照する。また、遠隔参加処理部６２が、既に開始されている遠隔共有処理に参加する場合には、接続先管理テーブル４４０を参照して、参加先の電子黒板２のＩＰアドレスを取得する。なお、遠隔参加処理部６２によって接続先管理テーブル４４０が参照されず、ユーザによるタッチパネル等の入力装置の操作により参加先の電子黒板２のＩＰアドレスが入力されてもよい。
　遠隔画像送信部６３は、映像取得部２１から画像取得部３１を介して送られて来た出力画像（Ｃ）を、追加して開いたメッセージ通信ポート（以下、「追加メッセージ通信ポート」という）からサーバ部９０に送信する。
　遠隔画像受信部６４は、サーバ部９０から、他の電子黒板２に接続された映像出力機器によって送信された画像データを追加メッセージ通信ポートから受信し、表示重畳部３６に出力することで、遠隔共有処理を可能にする。
　遠隔操作送信部６５は、遠隔共有処理に必要な各種操作データを追加メッセージ通信ポートからサーバ部９０に送信する。この各種操作データとしては、例えば、ストロークの追加、ストロークの削除、ストロークの編集（拡大、縮小、移動）、ページデータの記憶、ページデータの作成、ページデータの複製、ページデータの削除、表示されているページの切り替え等に関するデータが挙げられる。また、遠隔操作受信部６６は、サーバ部９０から、他の電子黒板２で入力された操作データを追加メッセージ通信ポートから受信し、画像処理部３０に出力することで、遠隔共有処理を行う。
　〔サーバ部の機能構成〕
　続いて、図６を用いて、サーバ部９０の機能構成について説明する。サーバ部９０は、各電子黒板２に設けられており、いずれの電子黒板２であっても、サーバ部としての役割を果たすことができる。そのため、サーバ部９０は、通信制御部７０、およびデータ管理部８０を有している。
　（通信制御部７０の機能構成）
　次に、図６を用いて、通信制御部７０の機能構成について説明する。
　通信制御部７０は、同じ電子黒板２内のクライアント部２０における通信制御部７０、および通信ネットワーク９を介して他の電子黒板２内のクライアント部２０における通信制御部７０との間における通信を制御する。データ管理部８０は、操作データや画像データ等を管理する。
　さらに詳細に説明すると、通信制御部７０は、遠隔接続要求受信部７１、遠隔接続結果送信部７２、遠隔画像受信部７３、遠隔画像送信部７４、遠隔操作受信部７５、および遠隔操作送信部７６を有している。
　このうち、遠隔接続要求受信部７１は、遠隔開始処理部６１から、メッセージ通信ポートの追加を要求するメッセージ通信ポート追加要求や、遠隔共有処理の開始要求を受信したり、遠隔参加処理部６２からのメッセージ通信ポートを追加するメッセージ通信ポート追加要求や、遠隔共有処理に対する参加要求を受信したりする。遠隔接続結果送信部７２は、遠隔開始処理部６１へメッセージ通信ポートの追加の要求の結果、遠隔共有処理の開始要求の結果を送信したり、遠隔参加処理部６２へメッセージ通信ポートの追加の要求の結果や、遠隔共有処理に対する参加要求の結果を送信したりする。
　遠隔画像受信部７３は、遠隔画像送信部６３からの画像データ（出力画像（Ｃ）のデータ）を追加メッセージ通信ポートから受信し、後述の遠隔画像処理部８２に送信する。遠隔画像送信部７４は、遠隔画像処理部８２から画像データを受信し、遠隔画像受信部６４に対して、この画像データを追加メッセージ通信ポートから送信する。
　遠隔操作受信部７５は、遠隔操作送信部６５からの操作データ（ストローク画像（Ｂ）等のデータ）を追加メッセージ通信ポートから受信し、後述の遠隔操作処理部８３に送信する。遠隔操作送信部７６は、遠隔操作処理部８３から操作データを受信し、遠隔操作受信部６６に対して、この操作データを追加メッセージ通信ポートから送信する。
　（データ管理部の機能構成）
　次に、図６を用いて、データ管理部８０の機能構成について説明する。
　データ管理部８０は、遠隔接続処理部８１、遠隔画像処理部８２、遠隔操作処理部８３、操作合成処理部８４、およびページ処理部８５を有している。さらに、データ管理部８０は、パスコード管理部８１０、参加拠点管理テーブル８２０、画像データ記憶部８３０、操作データ記憶部８４０、およびページデータ記憶部８５０を有している。
　このうち、遠隔接続処理部８１は、遠隔共有処理の開始、および遠隔共有処理の終了を行う。また、遠隔接続処理部８１は、遠隔接続要求受信部７１が遠隔開始処理部６１から受信したメッセージ通信ポート追加要求にしたがってメッセージ通信ポートを開く。また、遠隔接続処理部８１は、遠隔開始処理部６１から遠隔共有処理の開始要求と共に受信したライセンス情報、又は、遠隔参加処理部６２から遠隔共有処理の参加要求と共に受信したライセンス情報に基づいて、ライセンスの有無やライセンスの期間内であるかを確認する。さらに、遠隔接続処理部８１は、クライアント部としての他の電子黒板２からの参加要求が予め定められた参加可能数を超えていないかを確認する。さらに、遠隔接続処理部８１は、他の電子黒板２からのメッセージ通信ポート追加要求にしたがってメッセージ通信ポートを開く。また、遠隔接続処理部８１は、他の電子黒板２から遠隔共有処理に対する参加要求があった際に送られて来たパスコードが、パスコード管理部８１０で管理されているパスコードと同じであるか否かを判断し、同じである場合には、遠隔共有処理の参加を許可する。なお、このパスコードは、新たに遠隔共有処理を開始する際に、遠隔接続処理部８１によって発行され、遠隔共有処理に参加しようとする参加装置としての電子黒板２のユーザが、主催装置としての電子黒板２のユーザから、電話や電子メール等により伝えられる。これにより、遠隔共有処理に参加しようとする参加装置のユーザが、タッチパネル等の入力装置によって参加装置にパスコードを入力して参加要求することで、参加が許可されることになる。なお、セキュリティーよりもユーザの使い勝手を優先して、ライセンス状況の確認だけで、パスコードの確認を省略してもよい。
　また、電子黒板２が主催装置の場合、遠隔接続処理部８１は、参加装置の遠隔参加処理部６２から通信ネットワーク９を介して送られて来た参加要求に含まれる参加拠点情報を、サーバ部９０の参加拠点管理テーブル８２０に記憶する。そして、遠隔接続処理部８１は、参加拠点管理テーブル８２０に記憶されている遠隔拠点情報を読み出し、遠隔接続結果送信部７２に送信する。遠隔接続結果送信部７２は、同じ主催装置のクライアント部２０における遠隔開始処理部６１に遠隔拠点情報を送信する。遠隔開始処理部６１は、参加拠点管理テーブルに６１０に、遠隔拠点情報を記憶する。これにより、主催装置では、クライアント部２０およびサーバ部９０の両方で、遠隔拠点情報を管理することになる。
　遠隔画像処理部８２は、遠隔共有処理中の各電子黒板２のクライアント部２０（主催装置である自己の電子黒板２のクライアント部２０を含む）に接続された映像出力機器（ノートＰＣ６等）からの画像データ（出力画像（Ｃ））を追加メッセージ通信ポートを介して受信して画像データ記憶部８３０に記憶する。さらに、遠隔画像処理部８２は、主催装置である自己の電子黒板２のサーバ部９０に届いた時間順で遠隔共有処理すべき画像データの表示順を判定する。また、遠隔画像処理部８２は、参加拠点管理テーブル８２０を参照し、遠隔共有処理に参加中の全ての電子黒板２のクライアント部２０（主催装置である自己の電子黒板２のクライアント部２０を含む）に、通信制御部７０（遠隔画像送信部７４）を介して、上記判定した順番で画像データを送信する。
　遠隔操作処理部８３は、遠隔共有処理中の各電子黒板２のクライアント部２０（主催装置である自己の電子黒板２のクライアント部２０を含む）で描画されたストローク画像等の各種操作データ（ストローク画像（Ｂ）等）を追加メッセージ通信ポートを介して受信し、主催装置である自己の電子黒板２のサーバ部９０に届いた時間順で遠隔共有処理すべき画像の表示順を判定する。なお、各種操作データは、上述の各種操作データと同じである。また、遠隔操作処理部８３は、参加拠点管理テーブル８２０を参照し、遠隔共有処理中の全ての電子黒板２のクライアント部２０（主催装置である自己の電子黒板のクライアント部を含む）に操作データを送信する。
　操作合成処理部８４は、遠隔操作処理部８３から出力された各電子黒板２の操作データを合成し、この合成結果としての操作データを、操作データ記憶部８４０に記憶するとともに遠隔操作処理部８３に戻す。この操作データは、遠隔操作送信部７６から、主催装置である電子黒板２のクライアント部２０、および参加装置である電子黒板２のクライアント部２０のそれぞれに追加メッセージ通信ポートを介して送信されることで、各電子黒板２で同じ操作データに係る画像が表示される。そのために、操作データは、図１６に示されているように、SEQ(Sequence)、操作データの操作名、操作データの送信元である電子黒板２のＩＰアドレスおよびクライアント部（サーバ部）のPort No.、操作データの送信先である電子黒板２のＩＰアドレスおよびクライアント部２０（サーバ部９０）のPort No,、操作データの操作種類、操作データの操作対象、並びに操作データの内容を示すデータが関連付けられて示されている。例えば、SEQ1では、主催装置である電子黒板２（ＩＰアドレス：192.0.0.1）のクライアント部２０（Port No.:50001）でストロークが描画されると、同じ主催装置である電子黒板２（ＩＰアドレス：192.0.0.1）のサーバ部９０（Port No.:50000）に操作データが送られたことが示されている。この場合の操作種類は「STROKE」、操作対象はページデータＩＤ「p005」、および、操作データの内容を示すデータはストロークを示すデータである。また、SEQ2では、主催装置である電子黒板２（ＩＰアドレス：192.0.0.1）のサーバ部９０（Port No.:50000）から、参加装置である他の電子黒板２（ＩＰアドレス：192.0.0.1）のクライアント部２０（Port No.:50001）に、操作データが送られたことが示されている。
　なお、操作合成処理部８４は、この操作合成処理部８４に操作データが入力された順に合成を行うため、通信ネットワーク９が混雑していなければ、各電子黒板２のユーザによるストローク順に、遠隔共有処理中の全ての電子黒板２のディスプレイ３にストローク画像（Ｂ）が表示される。
　ページ処理部８５は、クライアント部２０の画像処理部３０におけるページ処理部３７と同様の機能を有し、サーバ部９０でも、図７乃至図９に示されているページデータを、ページデータ記憶部８５０に記憶する。なお、ページデータ記憶部８５０は、画像処理部３０におけるページデータ記憶部３００と同じ内容である。
　＜伝送管理システムの機能構成＞
　次に、伝送管理システム５０の機能（または手段）について説明する。伝送管理システム５０は、図１８に示されるように送受信部５１と、認証部５２と、管理部５３と、セッション制御部５７と、記憶・読出処理部５９とを有している。これら各機能部は、図３に示される各構成要素のいずれかが、ＲＯＭ２０２に記憶されているプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能または手段である。また、伝送管理システム５０は、図３に示されるＲＯＭ２０２、ＲＡＭ２０３またはＨＤＤ２０５によって構築される記憶部５０００を有している。
　＜認証管理テーブル＞
　また、記憶部５０００には、図１９に示されるような認証管理テーブルによって構成される認証管理ＤＢ５００２が構築されている。この認証管理テーブルでは、伝送管理システム５０によって管理される全ての電子黒板２の各通信ＩＤに対して、各パスワードが関連付けられて管理される。例えば、図１９に示される端末認証管理テーブルにおいて、電子黒板２ａの通信ＩＤは「０１ａａ」で、パスワードは「ａａａａ」であることが示されている。
　＜端末管理テーブル＞
　また、記憶部５０００には、図２０に示されるような端末管理テーブルによって構成される端末管理ＤＢ５００３が構築されている。この端末管理テーブルでは、各電子黒板２の通信ＩＤ毎に、各電子黒板２の稼働状態、後述のログイン要求情報が伝送管理システム５０で受信された受信日時および電子黒板２のＩＰアドレスが関連付けられて管理される。例えば、図２０に示される端末管理テーブルにおいて、通信ＩＤが「０１ａａ」の電子黒板２ａは、稼働状態が「ＯＮライン」であり、伝送管理システム５０でログイン要求情報が受信された日時が「２００９年１１月１０日の１３時４０分」であり、この電子黒板２ａのＩＰアドレスが「１．２．１．３」であることが示されている。
　＜伝送管理システムの各機能部＞
　次に、伝送管理システム５０の各機能部について詳細に説明する。なお、以下の記載では、伝送管理システム５０の各機能部を説明するにあたって、図３に示される各構成要素のうち、伝送管理システム５０の各機能部を実現させるための主な構成要素との関係についても説明する。
　まず、送受信部５１は、図３に示されるネットワークＩ／Ｆ２０９によって実行され、通信ネットワーク９を介して電子黒板２との間で各種データの送受信を行う。認証部５２は、送受信部５１を介して受信されたログイン要求情報に含まれている通信ＩＤおよびパスワードを検索キーとし、記憶部５０００の端末認証管理ＤＢ５００２を検索し、端末認証管理ＤＢ５００２に同一の通信ＩＤおよびパスワードが管理されているかを判断することによって端末認証を行う。
　管理部５３は、ログイン要求してきた電子黒板２の稼働状態を管理すべく、端末管理テーブルに、この電子黒板２の通信ＩＤ、電子黒板２の稼働状態、伝送管理システム５０でログイン要求情報が受信された受信日時、および電子黒板２のＩＰアドレスを関連付けて記憶して管理する。
　セッション制御部５７は、ＣＰＵ２０１からの命令によって実現され、電子黒板（２ａ，２ｂ）間で通信ネットワーク９を介して画像データおよび音データなどを送信する通信セッションの確立を制御する。通信セッションを確立させる方法は、特に限定されないが、例えば、通信ネットワーク９に画像データおよび音データなどを中継する中継装置が設けられている場合には、この中継装置に接続するための接続情報を、セッション制御部５７による制御に基づいて、送受信部５１が電子黒板（２ａ，２ｂ）へ送信する方法が挙げられる。また、セッション制御部５７による制御に基づいて、送受信部５１は、中継装置へ、電子黒板（２ａ，２ｂ）間での画像データおよび音データの中継開始の要求を送信してもよい。上記の制御に基づいて、通信セッションが確立されると、電子黒板（２ａ，２ｂ）は、通信相手である電子黒板（２ｂ，２ａ）との間で画像データおよび音データを送受信することができるようになる。
　＜実施の形態の処理又は動作＞
　続いて、図２１乃至図２３を用いて、本実施の形態の処理又は動作について説明する。なお、図２１乃至図２３は、各電子黒板の処理を示したシーケンス図である。
　図２１に示す実施の形態では、電子黒板２ａが遠隔共有処理を主催する主催装置（サーバ部９０およびクライアント部２０）としての役割を果たしており、電子黒板２ｂが遠隔共有処理に参加する参加装置（クライアント部２０）としての役割を果たす場合について説明する。図２２および図２３に示す実施の形態では、電子黒板２ａが遠隔共有処理を主催する主催装置（サーバ部９０およびクライアント部２０）としての役割を果たしており、電子黒板２ｂ，２ｃが遠隔共有処理に参加する参加装置（クライアント部２０）としての役割を果たす場合について説明する。また、ここでは、電子黒板２ａ，２ｂ，２ｃには、それぞれディスプレイ３ａ，３ｂ，３ｃが接続され、さらに、それぞれノートＰＣ６ａ，６ｂ，６ｃが接続されている。また、電子黒板２ａ，２ｂ，２ｃでは、それぞれ電子ペン４ａ，４ｂ，４ｃが使用される。
　（セッション確立処理）
　図２１を用いて、電子黒板２ａ，２ｂがセッションを確立する処理について説明する。
　電子黒板２ａは、ログイン要求部１２によって、管理システム５０に対し、ログイン要求を行う（ステップＳ１）。このログイン要求には、ログイン要求元の電子黒板２ａを識別するための通信ＩＤおよびパスワードが含まれる。これにより、管理システム５０の送受信部５１は、ログイン要求並びに通信ＩＤおよびパスワードを受信する。
　次に、認証部５２は、送受信部５１によって受信された通信ＩＤおよびパスワードの組と同じ組が、認証管理テーブル（図１９参照）で管理されているかを判断することで、ログイン要求元の電子黒板２ａの認証を行う（ステップＳ２）。そして、この認証により、正当な電子黒板であると判断された場合には、管理部５３は、端末管理テーブル（図２０参照）の対応する通信ＩＤに対して、稼動状態「ＯＮライン」を管理する（ステップＳ３）。
　次に、送受信部５１は、ログイン要求元の電子黒板２ａに対して、認証結果を送信する（ステップＳ４）。これにより、電子黒板２ａのログイン要求部１２は、認証結果を受信する。そして、上記ステップＳ２により、正当な電子黒板２であると判断された場合には、ログイン要求元の電子黒板２ａと管理システム５０との間で通信セッションｓｅｉが確立される（ステップ５）。なお、電子黒板間の通信セッション（ｓｅｄ１）と区別するため、各種電子黒板２と、管理システム５０との間の通信セッションを、通信セッションｓｅｉと表記する。
　同じく、図２１に示されているように、電子黒板２ｂは、ログイン要求部１２によって、管理システム５０に対し、ログイン要求を行う（ステップＳ６）。このログイン要求には、ログイン要求元の電子黒板２ｂを識別するための通信ＩＤおよびパスワードが含まれる。これにより、管理システム５０の送受信部５１は、ログイン要求並びに通信ＩＤおよびパスワードを受信する。
　次に、認証部５２は、送受信部５１によって受信された通信ＩＤおよびパスワードの組と同じ組が、認証管理テーブル（図１９参照）で管理されているかを判断することで、ログイン要求元の電子黒板２ｂの認証を行う（ステップＳ７）。そして、この認証により、正当な電子黒板であると判断された場合には、管理部５３は、端末管理テーブル（図２０参照）の対応する通信ＩＤに対して、稼動状態「ＯＮライン（通信可能）」を管理する（ステップＳ８）。
　次に、送受信部５１は、ログイン要求元の電子黒板２ｂに対して、認証結果を送信する（ステップＳ９）。これにより、電子黒板２ｂのログイン要求部１２は、認証結果を受信する。そして、上記ステップＳ７により、正当な電子黒板であると判断された場合には、ログイン要求元の電子黒板２ｂと管理システム５０との間で通信セッションｓｅｉが確立される（ステップ１０）。
　続いて、電子黒板間でコンテンツデータを送信する通信セッションを確立する処理を説明する。上記の電子黒板間でコンテンツデータを送信する通信セッションには、電子黒板２間で音データ、画像データ、および操作データを送信する通信セッションｓｅｄ１が含まれる。
　電子黒板２ａは、ユーザによる操作ボタン１２５の操作に応じて、通信制御部６０によって、管理システム５０に対し、通信の開始要求を行う（ステップＳ１１）。この通信の開始要求には、通信の開始要求元の電子黒板２ａの通信ＩＤ、および宛先の電子黒板２ｂの通信ＩＤが含まれている。以下、通信の開始要求元は電子黒板２ａであり、宛先は電子黒板２ｂである場合について説明する。
　管理システム５０の送受信部５１は、通信の開始要求を受信する。続いて、管理システム５０の管理部５３は、端末管理テーブル（図２０参照）における、通信の開始要求元の電子黒板２ａの通信ＩＤに対して、稼働状態「ＯＮライン（通信中）」を管理する（ステップＳ１２）。
　次に、管理システム５０の送受信部５１は、宛先の電子黒板２ｂに対して、通信の開始要求を行う（ステップＳ１３）。この通信の開始要求には、上記ステップＳ１１によって送られて来た通信の開始要求元の電子黒板２ａの通信ＩＤおよび宛先の電子黒板２ｂの通信ＩＤが含まれている。これにより、宛先の電子黒板２ｂは、通信の開始要求を受信する。
　これに対して、電子黒板２ｂは、ユーザによる操作ボタン１２５の操作に応じて、通信制御部６０によって、管理システム５０に対し、応答可否を示す情報を送信する（ステップＳ１４）。この応答可否を示す情報には、宛先の電子黒板２ｂ側でユーザが通話を開始する場合には応答する旨が示され、宛先の電子黒板２ｂ側でユーザが通話を開始しない場合には応答しない旨が示される。以下、電子黒板２ｂが、応答する旨を示す情報を管理システム５０へ送信した場合について説明を続ける。
　これにより、管理システム５０の送受信部５１は、応答可否を示す情報を受信する。続いて、管理システム５０の管理部５３は、端末管理テーブル（図２０参照）における、宛先の電子黒板２ｂの通信ＩＤに対して、稼働状態「ＯＮライン（通信中）」を管理する（ステップＳ１５）。
　次に、管理システム５０の送受信部５１は、開始要求元の電子黒板２ａに対し、上記ステップＳ１４によって宛先の電子黒板２ｂから送られて来た、応答する旨を示す情報を送信する（ステップＳ１６）。これにより、電子黒板２ａは、通信制御部６０によって、応答する旨を示す情報を受信する。
　続いて、管理システム５０のセッション制御部５７は、電子黒板（２ａ，２ｂ）間で通信ネットワーク９を介して画像データおよび音データを送信する通信セッションｓｅｄ１の確立を制御する（ステップＳ１７）。通信セッションｓｅｄ１を確立させる方法は、特に限定されないが、例えば、通信ネットワーク９に画像データおよび音データを中継する中継装置が設けられている場合には、この中継装置に接続するための接続情報を、セッション制御部５７による制御に基づいて、送受信部５１が電子黒板（２ａ，２ｂ）へ、送信する方法が挙げられる。また、セッション制御部５７による制御に基づいて、送受信部５１は、中継装置へ、電子黒板（２ａ，２ｂ）間での画像データおよび音データの中継開始の要求を送信してもよい。上記の制御に基づいて、通信セッションｓｅｄ１は確立される（ステップＳ１８）。これにより、電子黒板（２ａ，２ｂ）は、通信相手である電子黒板（２ｂ，２ａ）との間で画像データ、音データ、および操作データを送受信することができるようになる。
　（参加の処理）
　図２２を用いて、電子黒板２ｂ，２ｃが遠隔共有処理に参加するための処理について説明する。
　ユーザが電子黒板２ａの電源スイッチ１２６をオンにすると、電子黒板２ａのクライアント部２０が起動する。そして、ユーザがタッチパネル等の操作ボタン１２５によってサーバ部９０を起動させる操作をすると、クライアント部２０の遠隔開始処理部６１から同じ電子黒板２ａのサーバ部９０における遠隔接続要求受信部７１に、サーバ部９０の処理を開始させる指示を出力する。これにより、電子黒板２ａでは、クライアント部２０だけでなくサーバ部９０も各種処理を開始可能となる（ステップＳ２１）。
　次に、電子黒板２ａのクライアント部２０におけるＵＩ画像生成部３３が電子黒板２ａとの接続を確立するための接続情報を生成し、映像重畳部２８が、ＵＩ画像生成部３３から表示重畳部３６を介して得た接続情報をディスプレイ３ａに表示させる（ステップＳ２２）。この接続情報には、主催装置のＩＰアドレス、および今回の遠隔共有処理のために生成されたパスコードが含まれている。この場合、パスコード管理部８１０に記憶されているパスコードは、遠隔接続処理部８１によって読み出され、遠隔接続結果送信部７２、遠隔開始処理部６１の順に送信される。さらに、パスコードは、遠隔開始処理部６１を含む通信制御部６０から、画像処理部３０に送信され、最終的にＵＩ画像生成部３３に入力される。これにより、接続情報には、パスコードが含まれる。そして、接続情報は、電子黒板２ａのユーザによって、電話や電子メールにより、電子黒板２ｂ，２ｃのユーザに伝えられる。なお、接続先管理テーブル４４０があれば、接続情報には、主催装置のＩＰアドレスが含まれていなくても、参加装置は参加要求を行うことができる。
　次に、電子黒板２ｂ，２ｃでは、各ユーザによるタッチパネル等の操作ボタン１２５の操作によって接続情報の入力を受け付けると、各電子黒板２ｂ，２ｃのクライアント部２０における遠隔参加処理部６２が、接続情報のＩＰアドレスに基づき、通信ネットワーク９を介して、電子黒板２ａのサーバ部９０における通信制御部７０に対してメッセージ通信ポートの追加を要求するとともにパスコードを送信して参加要求を行う（ステップＳ２３，Ｓ２４）。これにより、通信制御部７０の遠隔接続要求受信部７１は、各電子黒板２ｂ，２ｃから、メッセージ通信ポートの追加要求、参加要求（パスコードを含む）を受信し、メッセージ通信ポートを開くとともにこのパスコードを遠隔接続処理部８１に出力する。ここで、メッセージ通信ポート追加要求でポート番号が指定されてもよいし、メッセージ通信ポート追加要求によって追加するポート番号が予め設定されていてもよい。
　次に、遠隔接続処理部８１は、各電子黒板２ｂ，２ｃから受信したパスコードに対し、パスコード管理部８１０で管理されているパスコードを用いて認証する（ステップＳ２５）。そして、遠隔接続結果送信部７２が、各電子黒板２ｂ，２ｃのクライアント部２０に認証結果を通知する（ステップＳ２６，Ｓ２７）。ステップＳ２５の認証により、各電子黒板２ｂ，２ｃが正当な電子黒板であると判断されていた場合には、主催装置である電子黒板２ａと、参加装置である電子黒板２ｂ，２ｃとの遠隔共有処理の通信が確立され、各電子黒板２ｂ，２ｃのクライアント部２０における遠隔参加処理部６２が、それぞれ他の電子黒板との間の遠隔共有処理の開始を可能にする（ステップＳ２８，Ｓ２９）。
　（出力画像の表示）
　続いて、遠隔共有処理における出力画像（Ｃ）が表示される処理について説明する。
　まず、電子黒板２ｂは、ディスプレイ３ｂに出力画像（Ｃ）を表示する（ステップＳ３０）。具体的には、電子黒板２ｂの画像取得部３１が、ノートＰＣ６ｂから映像取得部２１を介して、ノートＰＣ６ｂで表示されている出力画像（Ｃ）のデータを受信し、表示重畳部３６および映像重畳部２８を介してディスプレイ３ｂに送信することで、ディスプレイ３ｂは出力画像（Ｃ）を表示する。
　次に、電子黒板２ｂの画像取得部３１を含む画像処理部３０が、遠隔画像送信部６３に出力画像（Ｃ）のデータを送信することで、遠隔画像送信部６３を含む通信制御部６０が追加メッセージ通信ポートから通信ネットワーク９を介して、主催装置である電子黒板２ａの通信制御部７０に出力画像（Ｃ）のデータを送信する（ステップＳ３１）。例えば、電子黒板２ｂの画像取得部３１を含む画像処理部３０は、遠隔画像送信部６３に出力画像（Ｃ）のデータをテキスト化することによってシリアライズ（直列化）し（図８参照）、インスタントメッセージなどのコミュニケーション用アプリケーションを使用して送信する。画像処理部３０は、出力画像（Ｃ）のデータをシリアライズする際に、配列データをＪＳＯＮ（ジェイソン、JavaScript Object Notation）などのデータ記述言語の形式としてもよい。画像処理部３０が出力画像（Ｃ）のデータをシリアライズする際に、配列データをＪＳＯＮなどのデータ記述言語の形式とすることによって、可読性を向上させることができるとともに、処理効率を向上させることができる。
　電子黒板２ａの遠隔画像受信部７３は、追加メッセージ通信ポートから出力画像（Ｃ）のデータを受信し、遠隔画像処理部８２に出力することで、遠隔画像処理部８２が画像データ記憶部８３０に出力画像（Ｃ）のデータを記憶する。遠隔画像処理部８２は、追加メッセージ通信ポートから受信した出力画像（Ｃ）のデータをデシリアライズ（並列化）し、画像データ記憶部８３０に出力する。
　次に、主催装置である電子黒板２ａは、ディスプレイ３ａに出力画像（Ｃ）を表示する（ステップＳ３２）。具体的には、電子黒板２ａの遠隔画像処理部８２は、遠隔画像受信部７３から受信した出力画像（Ｃ）のデータを、遠隔画像送信部７４に出力する。遠隔画像送信部７４は、同じ主催装置である電子黒板２ａのクライアント部２０における遠隔画像受信部６４に、出力画像（Ｃ）のデータを出力する。遠隔画像受信部６４は、表示重畳部３６に出力画像（Ｃ）のデータを出力する。表示重畳部３６は、映像重畳部２８に出力画像（Ｃ）のデータを出力する。映像重畳部２８はディスプレイ３ａに出力画像（Ｃ）のデータを出力する。これにより、ディスプレイ３ａは、出力画像（Ｃ）を表示する。
　次に、主催装置としての電子黒板２ａのサーバ部９０における遠隔画像送信部７４を含む通信制御部７０は、追加メッセージ通信ポートから通信ネットワーク９を介して、出力画像（Ｃ）のデータの送信元である電子黒板２ｂ以外の電子黒板２ｃの通信制御部６０に出力画像（Ｃ）のデータを送信する（ステップＳ３３）。例えば、電子黒板２ａの画像取得部３１を含む画像処理部３０は、遠隔画像送信部６３に出力画像（Ｃ）のデータをテキスト化することによってシリアライズし（図８参照）、インスタントメッセージなどのコミュニケーション用アプリケーションを使用して送信する。画像処理部３０は、出力画像（Ｃ）のデータをシリアライズする際に、配列データをＪＳＯＮなどのデータ記述言語の形式としてもよい。これにより、参加装置である電子黒板２ｃの遠隔画像受信部６４は、追加メッセージ通信ポートから出力画像（Ｃ）のデータを受信する。
　次に、電子黒板２ｃは、ディスプレイ３ｃに出力画像（Ｃ）を表示する（ステップＳ３４）。具体的には、電子黒板２ｃの遠隔画像受信部６４が、上記ステップＳ３３によって受信された出力画像（Ｃ）のデータを、電子黒板２ｃの表示重畳部３６に出力する。表示重畳部３６は、映像重畳部２８に出力画像（Ｃ）のデータを出力する。映像重畳部２８はディスプレイ３ｃに出力画像（Ｃ）のデータを出力する。これにより、ディスプレイ３ｃは、出力画像（Ｃ）を表示する。
　なお、出力画像（Ｃ）のデータだけでなく、ＵＩ画像（Ａ）、およびストローク画像（Ｂ）の各データが、画像取得部３１に入力されている場合には、表示重畳部３６により、重畳画像（Ａ，Ｂ，Ｃ）が生成され、映像重畳部２８はディスプレイ３ｃに重畳画像（Ａ，Ｂ，Ｃ）のデータを出力する。また、テレビ会議端末７から映像重畳部２８に、テレビ会議用の映像（Ｅ）のデータが送られて来ている場合には、映像重畳部２８は、重畳画像（Ａ，Ｂ，Ｃ）にピクチャー・イン・ピクチャーによりテレビ会議用の映像（Ｅ）のデータを重畳して、ディスプレイ３ｃに出力する。
　（重畳画像の表示）
　続いて、図２３を用いて、遠隔共有処理における重畳画像が表示される処理について説明する。
　まず、電子黒板２ｂは、ユーザが電子ペン４ｂを用いて電子黒板２ｂにストローク画像（Ｂ）を描画する（ステップＳ４１）。
　次に、電子黒板２ｂの表示重畳部３６は、ＵＩ画像（Ａ）、および出力画像（Ｃ）に対して、ストローク画像（Ｂ）を重畳し、映像重畳部２８が電子黒板２ｂのディスプレイ３ｂ上に、重畳された重畳画像（Ａ，Ｂ，Ｃ）を表示させる（ステップＳ４２）。具体的には、電子黒板２ｂのストローク処理部３２が座標検知部２２および接触検知部２４からイベント振分部２５を介して、操作データとしてのストローク画像（Ｂ）のデータを受信し、表示重畳部３６に送信する。これにより、表示重畳部３６は、ＵＩ画像（Ａ）、および出力画像（Ｃ）に対して、ストローク画像（Ｂ）を重畳することができ、映像重畳部２８が電子黒板２ｂのディスプレイ３ｂ上に重畳画像（Ａ，Ｂ，Ｃ）を表示させることができる。
　次に、電子黒板２ｂのストローク処理部３２を含む画像処理部３０が、ストローク画像（Ｂ）のデータをテキスト化することによってシリアライズし、該シリアライズしたストローク画像（Ｂ）のデータを遠隔操作送信部６５に送信する。画像処理部３０は、ストローク画像（Ｂ）のデータをシリアライズする際に、配列データをＪＳＯＮなどのデータ記述言語の形式としてもよい。電子黒板２ｂの遠隔操作送信部６５は、追加メッセージ通信ポートから通信ネットワーク９を介して、主催装置である電子黒板２ａの通信制御部７０にストローク画像（Ｂ）のデータを送信する（ステップＳ４３）。電子黒板２ｂのストローク処理部３２を含む画像処理部３０は、ストローク画像（Ｂ）のデータをインスタントメッセージなどのコミュニケーション用アプリケーションを使用して送信する際に、ストローク単位でストローク画像のデータを送信する。電子黒板２ａの遠隔操作受信部７５は、ストローク画像（Ｂ）のデータを追加メッセージ通信ポートから受信し、遠隔操作処理部８３に出力することで、遠隔操作処理部８３が操作合成処理部８４にストローク画像（Ｂ）のデータを出力する。このようにして、電子黒板２ｂで描画されたストローク画像（Ｂ）のデータは、描画される度に、主催装置である電子黒板２ａの遠隔操作処理部８３に順次送信される。このストローク画像（Ｂ）のデータは、図８に示されているストロークデータＩＤ毎に示されるデータである。よって、例えば、上述したように、ユーザが電子ペン４によってアルファベット「Ｔ」を描く場合は二筆書きとなるため、２つのストロークデータＩＤのそれぞれで示されるストローク画像（Ｂ）のデータが順次送信される。電子黒板２ｂのストローク処理部３２を含む画像処理部３０は、ストローク画像（Ｂ）のデータを送信する際に、複数のストローク画像のデータをまとめて送信してもよい。
　次に、主催装置である電子黒板２ａは、ディスプレイ３ａに、電子黒板２ｂから送られて来たストローク画像（Ｂ）のデータが含まれた重畳画像（Ａ，Ｂ，Ｃ）を表示する（ステップＳ４４）。具体的には、電子黒板２ａの操作合成処理部８４は、遠隔操作処理部８３を介して順次送られて来た複数のストローク画像（Ｂ）のデータを合成して、操作データ記憶部８４０に記憶するとともに遠隔操作処理部８３に戻す。これにより、遠隔操作処理部８３は、操作合成処理部８４から受信した、合成後のストローク画像（Ｂ）のデータを、遠隔操作送信部７６に出力する。遠隔操作送信部７６は、同じ主催装置である電子黒板２ａのクライアント部２０における遠隔操作受信部６６に、合成後のストローク画像（Ｂ）のデータを出力する。遠隔操作受信部６６は、画像処理部３０における表示重畳部３６に、合成後のストローク画像（Ｂ）のデータを出力する。よって、表示重畳部３６は、ＵＩ画像（Ａ）、および出力画像（Ｃ）に対して、合成後のストローク画像（Ｂ）を重畳する。最後に、映像重畳部２８が、表示重畳部３６によって重畳された重畳画像（Ａ，Ｂ，Ｃ）をディスプレイ３ａ上に表示させる。
　次に、主催装置としての電子黒板２ａのサーバ部９０における遠隔操作送信部７６を含む通信制御部７０は、追加メッセージ通信ポートから通信ネットワーク９を介して、ストローク画像（Ｂ）のデータの送信元である電子黒板２ｂ以外の電子黒板２ｃの通信制御部６０に、合成後のストローク画像（Ｂ）のデータを追加メッセージ通信ポートから送信する（ステップＳ４５）。電子黒板２ａのストローク処理部３２を含む画像処理部３０は、ストローク画像（Ｂ）のデータを送信する際に、ストローク単位でストローク画像のデータを送信する。これにより、参加装置である電子黒板２ｃの遠隔操作受信部６６は、合成後のストローク画像（Ｂ）のデータを受信する。電子黒板２ａのストローク処理部３２を含む画像処理部３０は、ストローク画像（Ｂ）のデータを送信する際に、複数のストローク画像のデータをまとめて送信してもよい。
　次に、電子黒板２ｃは、ディスプレイ３ｃに重畳画像（Ａ，Ｂ，Ｃ）を表示する（ステップＳ４６）。具体的には、電子黒板２ｃの遠隔操作受信部６６が、上記ステップＳ４５によって受信された合成後のストローク画像（Ｂ）のデータを、電子黒板２ｃの画像処理部３０に出力する。画像処理部３０の表示重畳部３６は、ＵＩ画像（Ａ）、および出力画像（Ｃ）の各データと、合成後のストローク画像（Ｂ）のデータを重畳し、映像重畳部２８に重畳画像（Ａ，Ｂ，Ｃ）のデータを出力する。映像重畳部２８は、ディスプレイ３ｃに重畳画像（Ａ，Ｂ，Ｃ）のデータを出力する。これにより、ディスプレイ３ｃは、重畳画像（Ａ，Ｂ，Ｃ）を表示する。
　なお、上記処理では、ディスプレイ３上に出力画像（Ｃ）が表示されているが、この出力画像（Ｃ）に代えて、背景画像（Ｄ）を表示してもよい。また、出力画像（Ｃ）と背景画像（Ｄ）との排他的な関係をやめて、出力画像（Ｃ）と背景画像（Ｄ）との両方を同時にディスプレイ３上に表示させてもよい。
　（参加の終了）
　続いて、図２３を用いて、参加装置が遠隔共有処理への参加を終了する処理について説明する。図２３に示す実施の形態では、電子黒板２ｃが参加を終了する処理が示されている。
　まず、電子黒板２ｃでは、ユーザによるタッチパネル等の操作ボタン１２５の操作によって参加の終了要求を受け付けると、遠隔参加処理部６２は、主催装置としての電子黒板２ａのサーバ部９０における通信制御部７０に、追加メッセージ通信ポートを介して参加の終了要求を行う（ステップＳ４７）。これにより、電子黒板２ａの通信制御部７０の遠隔接続要求受信部７１は、電子黒板２ｃから、参加の終了要求を受信し、遠隔接続処理部８１に、電子黒板２ｃのＩＰアドレスとともに参加の終了要求を出力する。そして、電子黒板２ａの遠隔接続処理部８１は、遠隔接続要求受信部７１から送られて来たＩＰアドレスに基づいて、参加拠点管理テーブル８２０から、参加の終了要求を行った電子黒板２ｃのＩＰアドレスおよび電子黒板２ｃが設置されている拠点の名称を削除し、遠隔接続結果送信部７２に、電子黒板２ｃのＩＰアドレスおよび削除した旨の通知を出力する。
　次に、電子黒板２ａの遠隔接続結果送信部７２を含んだ通信制御部７０が、通信ネットワーク９を介して、電子黒板２ｃのクライアント部２０における通信制御部６０に、参加の終了を指示する（ステップＳ４８）。これにより、電子黒板２ｃにおける通信制御部６０の遠隔参加処理部６２が、遠隔共有処理の通信を切断することで、参加の終了処理を行うことで、参加が終了する（ステップＳ４９）。
　本実施の形態に係る画像処理システムによれば、電子会議システムと、電子黒板を使用する通信システムで共通のメッセージ通信ポートを設定することによって通信経路を設定する。これによって、電子会議システムに、電子黒板を導入した場合に、使用する通信ポートが増加しないため、ネットワーク資源が圧迫されることを防止できる。このため、ネットワーク資源を有用に利用することができる。
　＜第２の実施の形態＞
　＜画像処理システムの概要＞
　画像処理システム１０００の構成について説明する。図２４は、実施の形態に係る画像処理システム１０００の概略図である。本実施の形態に係る画像処理システム１０００では、第１の実施の形態に係る電子黒板２が有していたサーバ部の機能を配信制御装置によって実現したものである。
　図２４に示されているように、本実施の形態の画像処理システム１０００は、配信制御装置６００、複数の通信端末（５００ａ～５００ｆ）、および管理装置７００によって構築されている。以下では、複数の通信端末（５００ａ～５００ｆ）のうち、任意の通信端末を「通信端末５００」として表す。また、配信制御装置６００および管理装置７００は、いずれもサーバコンピュータによって構築されている。
　通信端末５００は、画像処理システム１０００のサービスを受けるユーザが使用する端末である。このうち、通信端末５００ａは、ノートＰＣ（Personal　Computer）である。通信端末５００ｂは、スマートフォンやタブレット端末等のモバイル端末である。通信端末５００ｃは、コピー、スキャン、プリント、およびファックスの各機能が複合されたＭＦＰ（Multifunction　Peripheral／Printer／Product）である。通信端末５００ｄは、プロジェクタである。通信端末５００ｅは、カメラ、マイクおよびスピーカを備えたテレビ（ビデオ）会議端末である。通信端末５００ｆは、ユーザ等によって描かれた内容を電子的に変換することが可能な電子黒板（ホワイトボード）である。
　なお、通信端末５００は、図２４に示されているような端末だけでなく、腕時計、自動販売機、ガスメータ、カーナビゲーション装置、ゲーム機、エアコン、照明器具、カメラ単体、マイク単体、スピーカ単体等であって、インターネット等の通信ネットワークを介して通信可能な装置であってもよい。
　また、配信制御装置６００、通信端末５００、および管理装置７００は、インターネットやＬＡＮ（Local Area Network）等の通信ネットワーク９によって通信することができる。この通信ネットワーク９には、３Ｇ（3rd Generation）、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）、ＬＴＥ（Long Term Evolution）等の無線通信によるネットワークも含まれる。
　通信端末５００によっては、通信端末５００ｄ等のように、通信ネットワーク９を介して他の端末やシステムと通信する機能を有していないものがある。しかし、ユーザが通信端末５００ｄのＵＳＢ（Universal Serial Bus）やＨＤＭＩ（High－Definition Multimedia Interface）のインターフェース部にドングルを差し込むことで、通信端末５００ｄは通信ネットワーク９を介して他の端末やシステムと通信可能となる。
　また、配信制御装置６００は、ホワイトボード部６２０を有する。ホワイトボード部６２０におけるレンダラ（Renderer）の機能が、所定の記述言語で示された単一又は複数のコンテンツデータを取得して、レンダリングする。これにより、ＲＧＢ（Red Green Blue）によるビットマップデータ等の静止画データやＰＣＭ（Pulse Code Modulation）データ等の音データ（即ち、静止画（音）データ）としてのフレームデータを生成することができる。コンテンツデータは、任意の通信端末等から取得されたデータであって、ＨＴＭＬ（Hypertext Markup Language）やＣＳＳ（Cascading Style Sheets）による画像（音）データ、ＭＰ４（MPEG-4）による画像（音）データ、ＡＡＣ（Advanced Audio Coding）による音データ等が含まれる。
　さらに、配信制御装置６００は、エンコード部６６０を有し、エンコード部６６０がエンコーダとしての役割を果たすことにより、静止画（音）データとしての各フレームデータを、Ｈ.２６４（MPEG-4 AVC）、Ｈ.２６５、Ｍｏｔｉｏｎ　ＪＰＥＧ等の圧縮符号化方式の映像（音）データに変換する。
　一方、管理装置７００は、通信端末５００のログイン認証を行ったり、通信端末５００の契約情報等の管理を行ったりする。また、管理装置７００は、電子メールを送信するためのＳＭＴＰ（Simple Mail Transfer Protocol）サーバの機能を有している。管理装置７００は、例えば、クラウドのサービス（ＩａａＳ:Infrastructure as a Service）上に展開される仮想マシンとして実現することができる。管理装置７００は、不測の事態に対応して継続的なサービスを提供するために、多重化して運用することが望ましい。
　また、ホワイトボード部６２０は、リアルタイムコミュニケーション（ＲＴＣ：Real－time communication／collaboration）を可能にしている。さらに、配信制御装置６００は後述のエンコード部６６０を有しており、このエンコード部６６０は、ホワイトボード部６２０によって出力されたフレームデータに対して、リアルタイムのエンコードを行い、Ｈ.２６４の規格等に基づく変換により生成された映像（音）データを出力することができる。そのため、配信制御装置６００の処理は、ＤＶＤプレーヤによって、ＤＶＤに記録されているリアルタイム性のない映像（音）データを読み出して配信する場合等とは異なる。
　なお、配信制御装置６００だけでなく、通信端末５００もホワイトボード部を有してもよい。この場合、配信制御装置６００のホワイトボード部６２０を最新化することで、各通信端末５００のホワイトボード部を起動させる必要はなくなる。
　＜各種配信方法＞
　次に、各種配信方法について説明する。
　（基本配信）
　図２５は、基本的な配信方法を示した概念図である。画像処理システム１０００では、図２５に示されているように、配信制御装置６００のホワイトボード部６２０が、任意の通信端末等から画像（音）データとしてのコンテンツデータ〔Ａ〕を取得してレンダリングすることにより、静止画（音）データとしての各フレームデータ〔Ａ〕を生成する。そして、エンコード部６６０を含むエンコーダブリッジ部６３０が、各フレームデータ〔Ａ〕をエンコード等することによりＨ.２６４等の圧縮符号化方式の映像（音）データ〔Ａ〕（送信データの一例）に変換する。配信制御装置６００は、変換された後の映像（音）データ〔Ａ〕を通信端末５００に配信する。
　さらに、画像処理システム１０００は、上述の配信方法を応用し、コンテンツデータを複数の拠点に映像（音）データとして配信することも可能である。以下に、コンテンツデータを複数の拠点に配信する方法について説明する。
　（マルチキャスト）
　図２６は、マルチキャストの概念図である。図２６に示されているように、配信制御装置６００のホワイトボード部６２０は、任意の通信端末等から画像（音）データとしてのコンテンツデータ〔Ａ〕を取得してレンダリングすることにより、静止画（音）データとしての各フレームデータ〔Ａ〕を生成する。そして、エンコーダブリッジ部６３０が、各フレームデータ〔Ａ〕をエンコードして、映像（音）データに変換する。その後、配信制御装置６００は、映像（音）データ〔Ａ〕（送信データの一例）を複数の通信端末（５００ｆ１，５００ｆ２，５００ｆ３）に配信する。
　以上により、複数の拠点では、同じ映像（音）が再生される。この場合、通信端末（５００ｆ１，５００ｆ２，５００ｆ３）は同じ表示再生能力（解像度が同じ等）を有する必要はない。このような配信方法は、例えば「マルチキャスト」と呼ぶ。
　（マルチディスプレイ）
　図２７は、マルチディスプレイの概念図である。図２７に示されているように、配信制御装置６００のホワイトボード部６２０は、任意の通信端末等から画像（音）データとしてのコンテンツデータ〔ＸＹＺ〕を取得してレンダリングすることにより、静止画（音）データとしての各フレームデータ〔ＸＹＺ〕を生成する。そして、エンコーダブリッジ部６３０が、フレームデータ〔ＸＹＺ〕毎に、複数のフレームデータ（〔Ｘ〕，〔Ｙ〕，〔Ｚ〕）に分割した後にエンコードすることで、複数の映像（音）データ（〔Ｘ〕，〔Ｙ〕，〔Ｚ〕）に変換する。その後、配信制御装置６００は、映像（音）データ〔Ｘ〕（送信データの一例）を通信端末５００ｆ１に配信する。また、同じように、配信制御装置６００は、映像（音）データ〔Ｙ〕（送信データの一例）を通信端末５００ｆ２に配信し、映像（音）データ〔Ｚ〕（送信データの一例）を通信端末５００ｆ３に配信する。
　以上により、例えば、横長のコンテンツ〔ＸＹＺ〕であっても、複数の通信端末５００で分割して映像（音）が再生されるため、通信端末（５００ｆ１，５００ｆ２，５００ｆ３）を一列に並べて設置すれば、１つの大きな映像を再生させることと同様の効果を得ることができる。この場合、通信端末（５００ｆ１，５００ｆ２，５００ｆ３）は同じ表示再生能力（解像度が同じ等）を有する必要がある。このような配信方法は、例えば「マルチディスプレイ」と呼ぶ。
　（複合配信）
　図２８は、配信制御装置６００を介して複数の通信端末を使った複合配信の概念図である。図２８に示されているように、第１の拠点（図２８の右側）では、電子黒板としての通信端末５００ｆ１およびテレビ会議端末としての通信端末５００ｅ１が利用され、第２の拠点（図２８の左側）では、同じく電子黒板としての通信端末５００ｆ２、およびテレビ会議端末としての通信端末５００ｅ２が利用されている。また、第１の拠点では、通信端末５００ｆ１にストロークによる文字等を描画させるための電子ペンＰ１が利用され、第２の拠点では、通信端末５００ｆ２にストロークによる文字等を描画させるための電子ペンＰ２が利用されている。
　そして、第１の拠点において、通信端末５００ｅ１によって取得された映像（音）データは、エンコード部６６０でエンコードされた後に、テキスト化されることよってシリアライズされ、インスタントメッセージなどのコミュニケーション用アプリケーションを使用して、追加メッセージ通信ポートを介して配信制御装置６００に送信される。その後、配信制御装置６００のデコード部６４０で、デシリアライズされ、デコードされて、ホワイトボード部６２０に入力される。また、電子ペンＰ１によって通信端末５００ｆ１に描かれたストロークを示す操作データ（この場合、通信端末５００ｆ１のディスプレイ上における座標データ等）は、テキスト化されることよってシリアライズされ、インスタントメッセージなどのコミュニケーション用アプリケーションを使用して、追加メッセージ通信ポートを介して配信制御装置６００に送信され、ホワイトボード部６２０に入力される。
　一方、第２の拠点においても、通信端末５００ｅ２によって取得された映像（音）データは、エンコード部６６０でエンコードされた後に、テキスト化されることよってシリアライズされ、インスタントメッセージなどのコミュニケーション用アプリケーションを使用して、追加メッセージ通信ポートを介して配信制御装置６００に送信される。その後、配信制御装置６００のデコード部６４０で、デシリアライズされ、デコードされて、ホワイトボード部６２０に入力される。また、電子ペンＰ２によって通信端末５００ｆ２に描かれたストロークを示す操作データ（この場合、通信端末５００ｆ２のディスプレイ上における座標データ等）は、テキスト化されることよってシリアライズされ、インスタントメッセージなどのコミュニケーション用アプリケーションを使用して、追加メッセージ通信ポートを介して配信制御装置６００に送信され、ホワイトボード部６２０に入力される。
　一方、ホワイトボード部６２０は、例えば、任意の通信端末等から通信端末（５００ｆ１，５００ｆ２）のそれぞれのディスプレイに表示される背景画像であるコンテンツデータ〔Ａ〕を取得する。そして、ホワイトボード部６２０は、コンテンツデータ〔Ａ〕、操作データ（〔ｐ１〕，〔ｐ２〕）および映像（音）コンテンツデータ（〔Ｅ１〕，〔Ｅ２〕）を結合してレンダリングすることで、各コンテンツ（〔Ａ〕，〔ｐ１〕，〔ｐ２〕，〔Ｅ１〕，〔Ｅ２〕）が所望のレイアウトに設置された静止画（音）データとしてのフレームデータを生成する。そして、エンコーダブリッジ部６３０は、各フレームデータをエンコードし、テキスト化することよってシリアライズし、インスタントメッセージなどのコミュニケーション用アプリケーションを使用して、配信制御装置６００が各拠点に同じコンテンツ（〔Ａ〕，〔ｐ１〕，〔ｐ２〕，〔Ｅ１〕，〔Ｅ２〕）を示す映像（音）データ（送信データの一例）を追加メッセージ通信ポートを介して配信する。
　これにより、第１の拠点では、通信端末５００ｆ１のディスプレイ上に、映像（〔Ａ〕、〔ｐ１〕、〔ｐ２〕、〔Ｅ１（映像部分）〕および〔Ｅ２（映像部分）〕）が表示されると共に、通信端末５００ｅ１のスピーカから音〔Ｅ２（音部分）〕が出力される。一方、第２の拠点でも、通信端末５００ｆ２のディスプレイ上に、映像（〔Ａ〕、〔ｐ１〕、〔ｐ２〕、〔Ｅ１（映像部分）〕および〔Ｅ２（映像部分）〕）が表示されると共に、通信端末５００ｅ２のスピーカから音〔Ｅ１（音部分）〕が出力される。
　第１の拠点では、通信端末５００ｆ１のエコーキャンセル機能により、自拠点の音〔Ｅ１（音部分）〕は出力されない。一方、第２の拠点では、通信端末５００ｆ２のエコーキャンセル機能により、自拠点の音〔Ｅ２（音部分）〕は出力されない。
　以上により、第１の拠点と第２の拠点とでは、遠隔地間においてリアルタイムで同じ情報を共有する遠隔共有処理を行うことができるため、本実施の形態の画像処理システム１０００は遠隔会議等に有効である。
　＜ハードウェア構成＞
　図２９を用いて、本実施の形態に係る装置のハードウェア構成を説明する。図２９は、実施の形態に係る配信制御装置６００および管理装置７００のハードウェア構成図である。
　まず、配信制御装置６００について説明する。図２９に示されているように、配信制御装置６００は、配信制御装置６００全体の動作を制御する（ホスト）ＣＰＵ６０１、ＩＰＬ等のＣＰＵ６０１の駆動に用いられるプログラムを記憶したＲＯＭ６０２、ＣＰＵ６０１のワークエリアとして使用されるＲＡＭ６０３、プログラム等の各種データを記憶するＨＤＤ６０４、ＣＰＵ６０１の制御にしたがってＨＤＤ６０４に対する各種データの読み出し又は書き込みを制御するＨＤＣ（Hard Disk Controller）６０５、フラッシュメモリ等の記録メディア６０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ６０７、各種情報を表示するディスプレイ６０８、通信ネットワーク９を利用してデータ送信したりドングルを接続したりするためのＩ／Ｆ６０９、キーボード６１１、マウス６１２、マイク６１３、スピーカ６１４、ＧＰＵ（Graphics Processing Unit）６１５、ＧＰＵ６１５の駆動に用いられるプログラムを記憶したＲＯＭ６１６、ＧＰＵ６１５のワークエリアとして使用されるＲＡＭ６１７、上記各構成要素を図２９に示されているように電気的に接続するためのアドレスバスやデータバス等の拡張バスライン６５０を備えている。なお、プロジェクタとしての通信端末５００ｄのように、ＧＰＵが備えられていない場合もある。また、管理装置７００のハードウェア構成は、配信制御装置６００のハードウェア構成と同様であるため、それらの説明を省略する。
　＜機能構成＞
　次に、図３０－３３を用いて、本実施の形態に係る装置の機能構成について説明する。
　（配信制御装置の機能構成）
　まずは、図３０を用いて、配信制御装置６００の機能構成について説明する。図３０は、本実施の形態に係る配信制御装置６００の各機能を示す機能ブロック図である。図３０では、配信制御装置６００が通信端末５００ｆ１に対して映像（音）データを配信する場合の機能構成が示されているが、配信先が通信端末５００ｆ１以外の場合も、同じ機能構成を有する。なお、配信制御装置６００は、複数の配信エンジンサーバを備えているが、説明を簡単にするために、以下では、単一の配信エンジンサーバを備えている場合について説明する。
　図３０に示されているように、配信制御装置６００は、図２９に示されているＣＰＵ６０１又はＧＰＵ６１５であるプロセッサ等のハードウェア構成およびプログラムによって、図３０に示されている各機能構成を有する。
　具体的に、配信制御装置６００は、ホワイトボード部６２０、送受信部６２１、ホワイトボード制御部６２２、送信用ＦＩＦＯ（First-In First-Out）６２４、時刻管理部６２５、時刻取得部６２６、回線適応制御部６２７、エンコーダブリッジ部６３０、送受信部６３１、受信用ＦＩＦＯ６３４、認識部６３５、遅延情報取得部６３７ａ、回線適応制御部６３７ｂ、およびデコード部６４０を有している。
　さらに、配信制御装置６００は、図２９に示されているＨＤＤ６０４によって構築される記憶部２０００、座標蓄積部１２２、およびデータ管理部１２０を有している。この記憶部２０００には、認識部６３５から出力されホワイトボード制御部６２２を介して送られた後述の認識情報が記憶される。ホワイトボード部６２０が取得したコンテンツデータは、キャッシュとして、記憶部２０００に一時的に記憶しておくこともできる。座標蓄積部１２２は、通信端末５００に入力された座標が記憶される。また、データ管理部１２０は、当該座標から生成されたストロークを示すストロークデータが記憶される。
　送受信部６２１は、管理装置７００や任意の通信端末との間で、各種データ、各種要求、各種指示等の送受信を行う。例えば、送受信部６２１は、任意の通信端末から追加メッセージ通信ポートを介してコンテンツデータを取得する。また、送受信部６２１は、管理装置７００から取得した各種データを配信制御装置６００内の各機能構成に出力したり、管理装置７００から取得した各種データ、各種要求、又は各種指示等に基づいて配信制御装置６００内の各機能構成を制御したりする。例えば、送受信部６２１は、管理装置７００からの配信の切替え要求に基づいて、図３１に示されているエンコーダブリッジ部６３０内の各構成の組み合わせの切替えを行う。
　ホワイトボード制御部６２２は、ホワイトボード部６２０の制御を行う。具体的には、ホワイトボード制御部６２２は、送受信部６３１を介して通信端末５００から、追加メッセージ通信ポートを介して送信されるユーザによる操作を示す各種操作データを取得し、ホワイトボード部６２０に出力する。操作データは、通信端末５００での操作イベント（キーボード６１１やマウス６１２等による操作や電子ペンＰによるストローク等）によって生じたデータである。ユーザによる操作がストロークコマンド（ストロークの指示）であった場合、ホワイトボード制御部６２２は、操作データにおける通信端末５００のディスプレイに入力された座標を、座標蓄積部１２２に保存する。そして、ホワイトボード制御部６２２は、座標蓄積部１２２に保存されて蓄積した全ての座標から、ユーザからの操作によるストロークを示すストロークデータを生成し、ホワイトボード部６２０に出力する。
　また、ホワイトボード制御部６２２は、ユーザによる操作がページコマンド（ページの追加指示）であった場合、追加されたページをホワイトボード部６２０に出力する。また、ホワイトボード制御部６２２は、ユーザによる操作が画像コマンド（画像の追加指示）であった場合、追加された画像をホワイトボード部６２０に出力する。また、ホワイトボード制御部６２２は、ユーザによる操作がいずれでもなかった場合、マウスイベントとしてホワイトボード部６２０に出力する。
　また、通信端末５００に、温度センサ、湿度センサ、および加速度センサ等の各種センサが設けられている場合には、ホワイトボード制御部６２２は、通信端末５００から追加メッセージ通信ポートを介して送信される各センサの出力信号であるセンサ情報を取得し、ホワイトボード部６２０に出力する。さらに、ホワイトボード制御部６２２は、認識部６３５から画像（音）データを取得してホワイトボード部６２０に出力したり、認識部６３５から後述の認識情報を取得して記憶部２０００に記憶したりする。また、ホワイトボード制御部６２２は、受信用ＦＩＦＯ６３４から映像（音）データを取得してホワイトボード部６２０に出力する。
　ホワイトボード部６２０は、レンダラの機能によって、画像（音）データとしてのコンテンツデータ等をレンダリングすることにより、静止画（音）データとしての各フレームデータを生成する。また、レンダラは、図２８に示されているように、複数種類のコンテンツ（〔ｐ１〕，〔ｐ２〕，〔Ｅ１〕，〔Ｅ２〕）のレイアウトを行うレイアウトエンジン（Layout　Engine）でもある。
　また、ホワイトボード部６２０は、ホワイトボード制御部６２２により生成されたストロークデータを取得すると、データ管理部１２０に保存する。このときホワイトボード部６２０は、ストロークデータを例えばテキスト形式や、ＰＤＦ（Portable　Document　Format）形式で保存する。そして、ホワイトボード部６２０は、取得したストロークデータをレンダリングすることにより、静止画（音）データとしてのフレームデータを生成する。この時、ホワイトボード部６２０は、既に取得しているコンテンツデータがあった場合、当該コンテンツデータに対して、操作データであるストロークデータを結合したレイアウトにして出力する。
　また、ホワイトボード部６２０は、ユーザによる操作がページコマンド（ページの追加指示）であった場合、取得したページをデータ管理部１２０に保存する。また、ホワイトボード部６２０は、ユーザによる操作が画像コマンド（画像の追加指示）であった場合、取得した画像をデータ管理部１２０に保存する。
　送信用ＦＩＦＯ６２４は、ホワイトボード部６２０で生成された静止画（音）データとしての各フレームデータを格納するバッファである。
　時刻管理部６２５は、配信制御装置６００独自の時刻Ｔを管理している。
　時刻取得部６２６は、後述の通信端末５００における時刻制御部６５６と連携して、時刻調整の処理を行う。具体的には、時刻取得部６２６は、時刻管理部６２５から配信制御装置６００における時刻Ｔを示す時刻情報（Ｔ）を取得したり、送受信部６３１および送受信部６５１を介して、後述の時刻制御部５５６から通信端末５００における時刻ｔを示す時刻情報（ｔ）を受信したり、時刻制御部５５６に時刻情報（ｔ）および時刻情報（Ｔ）を送信する。
　回線適応制御部６２７は、送信遅延時間情報（Ｄ）に基づいて、再生遅延時間Ｕを計算したり、エンコーダブリッジ部６３０における変換部６６１のフレームレートやデータの解像度等の動作条件を計算したりする。この再生遅延時間Ｕは、再生までにデータがバッファリングされることで、再生を遅延させるための時間である。つまり、回線適応制御部６２７は、送信遅延時間情報（Ｄ）とデータのサイズ（ビット数やバイト数等）に基づき、エンコーダブリッジ部６３０の動作を変更する。この送信遅延時間情報（Ｄ）は、通信端末５００における遅延情報取得部５５７が再生制御部５５３から取得した複数の送信遅延時間Ｄ１によって構成された度数分布情報を示す。各送信遅延時間Ｄ１は、映像（音）データが配信制御装置６００によって送信されてから通信端末５００によって受信されるまでの時間を示す。
　エンコーダブリッジ部６３０は、ホワイトボード部６２０が生成した静止画（音）データとしての各フレームデータを、エンコーダブリッジ部６３０における変換部６６１（図３１参照）に出力する。この際、変換部６６１は、回線適応制御部６２７で計算された動作条件を考慮して各処理を行なう。エンコーダブリッジ部６３０については、図３１および図３２を用いて、さらに詳細に説明する。図３１は、エンコーダブリッジ部の詳細図である。また、図３２は、変換部の各機能を示す機能ブロック図である。
　図３１に示されているように、エンコーダブリッジ部６３０は、作成・選択・転送部６６０、および選択部６７０と、これらの間に複数の変換部（６６１ａ，６６１ｂ，６６１ｃ）が構築されている。ここでは、３つの変換部を示したが、１－２個であってもよいし、４個以上であってもよい。以下、任意の変換部を「変換部６６１」として表す。
　さらに、変換部６６１は、ホワイトボード部６２０によって生成された静止画（音）データとしての各フレームデータのデータ形式を、通信ネットワーク９を介して通信端末５００に配信できるＨ.２６４等のデータ形式に変換する。そのため、変換部６６１は、図３２に示されているように、トリミング部６６２、リサイズ部６６３、分割部６６４、およびエンコード部６６５を有することで、フレームデータに各種処理を施す。トリミング部６６２、リサイズ部６６３、および分割部６６４は、音データの場合は、処理を行わない。
　このうち、トリミング部６６２は、静止画の一部だけを切り出す処理を行う。リサイズ部６６３は、静止画の縮尺を変更する。分割部６６４は、図２７に示されているように、静止画を分割する。
　また、エンコード部６６５は、ホワイトボード部６２０で生成された、静止画（音）データとしての各フレームデータをエンコードすることにより、通信ネットワーク９を介して通信端末５００に映像（音）データを配信できるように変換する。また、エンコード部６６５は、映像が動かなければ（フレーム間で更新（変化）がなければ）、以降、映像が動くまでスキップフレーム（「フレームスキップ」ともいう）データを挿入することで帯域をセーブする。
　なお、レンダリングにより静止画データと共に音データが生成される場合には、これら両方のデータがエンコードされるが、音データだけが生成される場合には、トリミングやリサイズ、分割は行われることはなく、エンコードだけが行われてデータ圧縮される。
　また、作成・選択・転送部６６０は、新たに変換部６６１を作成したり、既に作成されている変換部６６１に対して入力させる静止画（音）データとしてのフレームデータを選択したり、変換部６６１にフレームデータを転送したりする。作成する場合としては、作成・選択・転送部６６０は、通信端末５００における映像（音）データの再生能力に応じた変換が可能な変換部６６１を作成する。また、選択する場合としては、作成・選択・転送部６６０は、既に作成されている変換部６６１を選択する。例えば、通信端末５００ａへの配信に加えて通信端末５００ｂへの配信を開始するにあたって、通信端末５００ａへ配信している映像（音）データと同じ映像（音）データを通信端末５００ｂへ配信する場合がある。このような場合で、さらに、通信端末５００ｂが通信端末５００ａにおける映像（音）データの再生能力と同じ再生能力を有する場合には、作成・選択・転送部６６０は通信端末５００ｂ用に新たな変換部６６１ｂを作成せずに、通信端末５００ａ用に既に作成している変換部６６１ａを利用する。また、転送する場合としては、作成・選択・転送部６６０は、送信用ＦＩＦＯ６２４に記憶されているフレームデータを、変換部６６１に転送する。
　一方、選択部６７０は、既に作成されている変換部６６１から所望のものを選択する。これら作成・選択・転送部６６０と選択部６７０による選択によって、図２８に示したような様々なパターンの配信を行うことができる。
　図３０に戻り説明を続ける。送受信部６３１は、通信端末５００との間で、追加メッセージ通信ポートを介して各種データや要求等の送受信を行う。この送受信部６３１が、クラウド上から通信ネットワーク９を介して通信端末５００に各種データや要求等を送信することで、配信制御装置６００は通信端末５００に対して、各種データや要求等を配信することができる。
　例えば、送受信部６３１は、通信端末５００のログイン処理において、通信端末５００の送受信部６５１に対し、ユーザにログイン要求を促すための認証画面データを送信する。また、送受信部６３１は、通信端末５００から、ユーザによる操作を示す操作データを追加メッセージ通信ポートを介して受信する。さらに、送受信部６３１は、変換部６６１によって静止画（音）データとしての各フレームデータが通信ネットワーク９を介して通信端末５００に配信可能なデータ形式に変換されたフレームデータ（変換映像データ）を追加メッセージ通信ポートを介して通信端末５００に送信する。送受信部６３１が、受信部と送信部に相当する。
　その他に、送受信部６３１は、ＨＴＴＰＳ（Hypertext Transfer Protocol over Secure Socket Layer）サーバを介して画像処理システム１０００の独自のプロトコルにより、通信端末５００のユーザアプリや通信端末５００のデバイスアプリへのデータ送信およびデータ受信を行う。この独自のプロトコルは、配信制御装置６００と通信端末との間でリアルタイムに途切れることなくデータを送受信するためのＨＴＴＰＳベースのアプリケーション層プロトコルである。また、送受信部６３１は、送信レスポンス制御、リアルタイムのデータ作成、コマンド送信、受信レスポンス制御、受信データ分析、およびジェスチャ変換を行う。
　このうち、送信レスポンス制御は、配信制御装置６００から通信端末５００にデータを送信するために、通信端末５００からリクエスト（要求）されたダウンロード用のＨＴＴＰＳセッションを管理する処理である。このダウンロード用のＨＴＴＰＳセッションのレスポンスはすぐに終了せず、一定時間（１～数分）保持する。送受信部６３１は、通信端末５００に送るデータを動的にレスポンスのＢｏｄｙ部に書き込む。また、再接続のコストをなくすため、通信端末５００からは前のセッションが終了しないうちに別のリクエストが届くようにする。送受信部６３１を、前のリクエストが完了するまで待機させておくようにすることで、再接続を行っても、オーバヘッドを削除することができる。
　リアルタイムのデータ作成は、図３２におけるエンコード部６６５で生成された圧縮映像（および圧縮音）のデータに独自のヘッダを付与して、ＨＴＴＰＳのＢｏｄｙ部に書き込む処理である。
　コマンド送信は、通信端末５００に送信するコマンドデータを生成し、通信端末５００へのＨＴＴＰＳのＢｏｄｙ部に書き込む処理である。
　受信レスポンス制御は、配信制御装置６００が通信端末５００からデータを受信するために、通信端末５００からリクエストされたＨＴＴＰＳセッションを管理する処理である。このＨＴＴＰＳセッションのレスポンスはすぐに終了せず、一定時間（１～数分）保持される。通信端末５００は、配信制御装置６００の送受信部６３１に送るデータを動的にリクエストのＢｏｄｙ部に書き込む。
　受信データ分析は、通信端末５００から送られてきたデータを種別ごとに分析し、必要なプロセスにデータを渡す処理である。
　ジェスチャ変換は、ユーザが電子黒板としての通信端末５００ｆに電子ペンや手書きにより入力したジェスチャイベントを、ホワイトボード部６２０が受け取れる形式のデータに変換する処理である。
　また、受信用ＦＩＦＯ６３４は、デコード部６４０でデコードされた後の映像（音）データを格納するバッファである。
　認識部６３５は、通信端末５００から受信する画像（音）データに対しての処理を行う。具体的には、認識部６３５は、例えば、サイネージ向けにカメラ５６２で撮影された画像から人や動物の顔、年齢、および性別などを認識する。また、認識部６３５は、オフィス向けに、カメラ５６２で撮影された画像から顔認識による名前タグ付けや背景画像の差し替え処理などを行う。認識部６３５は、認識した内容を示す認識情報を記憶部２０００に記憶させる。この認識部６３５は、認識拡張ボードで処理を行うことで高速化が実現される。
　遅延情報取得部６３７ａは、下り用の回線適応制御の処理に用いられる通信端末５００側の遅延情報取得部５５７に対応して、上り用の回線適応制御の処理に用いられる。具体的には、遅延情報取得部６３７ａは、デコード部６４０から送信遅延時間ｄ１を示す送信遅延時間情報（ｄ１）を取得して一定時間保持しておき、複数の送信遅延時間情報（ｄ１）を取得したところで、回線適応制御部６３７ｂに、複数の送信遅延時間ｄ１による度数分布情報を示す送信遅延時間情報（ｄ）を出力する。送信遅延時間情報（ｄ１）は、映像（音）データが通信端末５００によって送信されてから配信制御装置６００によって受信されるまでの時間を示す。
　回線適応制御部６３７ｂは、下り用の回線適応制御の処理に用いられる回線適応制御部６２７に対応して、上り用の回線適応制御の処理に用いられる。具体的には、回線適応制御部６３７ｂは、送信遅延時間情報（ｄ）に基づいて、通信端末５００側のエンコード部５６０の動作条件を計算する。また、回線適応制御部６３７ｂは、送受信部６３１および送受信部６５１を介して通信端末５００のエンコード部５６０に、フレームレートやデータの解像度等の動作条件を示す回線適応制御信号を送信する。
　デコード部６４０は、通信端末５００から送信されて来た映像（音）データをデコードする。
　また、デコード部６４０は、送信遅延時間ｄ１を示す送信遅延時間情報（ｄ１）を遅延情報取得部６３７ａに出力する。
　（通信端末の機能構成）
　次に、図３３を用いて、通信端末５００の機能構成について説明する。図３３は、本実施の形態に係る通信端末５００の各機能を示す機能ブロック図である。通信端末５００は、ユーザが画像処理システム１０００へのログインや映像（音）データの配信の開始又は停止などを行うためのインターフェースとなる端末である。
　図３３に示されているように、通信端末５００は、図２９に示されているＣＰＵ６０１等のハードウェア構成およびプログラムによって、図３３に示されている各機能構成を有する。ここで、プログラムは、電子会議システム用プログラムと、電子黒板用プログラムとが用意されてもよい。この場合、電子会議システム用プログラムと、電子黒板用プログラムとが協調してＣＰＵ６０１を動作させる。また、ドングルを差し込まれることで通信端末５００が通信ネットワーク９を介して他の端末やシステムと通信可能となる場合には、図２９に示されているハードウェア構成およびプログラムによって、図３３に示されている各機能構成を有する。
　具体的に、通信端末５００は、デコード部５５０、送受信部５５１、操作部５５２、再生制御部５５３、レンダリング部５５５、時刻制御部５５６、遅延情報取得部５５７、表示部５５８、およびエンコード部５６０を有している。さらに、通信端末５００は、図２９に示されているＲＡＭ６０３によって構築される記憶部５０００を有している。この記憶部５０００には、後述の時刻差Δを示す時刻差情報（Δ）、および通信端末５００における時刻ｔを示す時刻情報（ｔ）が記憶される。
　このうち、デコード部５５０は、配信制御装置６００から配信され、再生制御部５５３から出力された映像（音）データをデシリアライズし、デコードする。デコードした映像（音）データに音声が含まれている場合は、スピーカ５６１により出力する。
　送受信部５５１は、配信制御装置６００の送受信部５３１、および管理装置７００との間で、各種データや要求等の送受信を行う。例えば、送受信部５５１は、通信端末５００のログイン処理において、操作部５５２による通信端末５００の起動に基づき、管理装置７００にログイン要求を行う。
　操作部５５２は、ユーザの操作入力を受け付ける処理を行い、例えば、電源スイッチ、キーボード、マウス、電子ペンＰ等による入力や選択等を受け付け、操作データとして配信制御装置６００のホワイトボード制御部６２２に送信する。
　再生制御部５５３は、送受信部５５１から受けた映像（音）データ（リアルタイムデータのパケット）をバッファリングし、再生遅延時間Ｕを考慮してデコード部５５０に出力する。また、再生制御部５５３は、送信遅延時間Ｄ１を示す送信遅延時間情報（Ｄ１）を算出し、遅延情報取得部５５７に出力する。
　レンダリング部５５５は、デコード部５５０によってデコードされたデータをレンダリングする。
　時刻制御部５５６は、配信制御装置６００の時刻取得部６２６と連携して、時刻調整の処理を行う。具体的には、時刻制御部５５６は、記憶部５０００から通信端末５００における時刻ｔを示す時刻情報（ｔ）を取得する。また、時刻制御部５５６は、送受信部５５１および送受信部５３１を介して、配信制御装置６００の時刻取得部６２６に、配信制御装置６００における時刻Ｔを示す時刻情報（Ｔ）を要求する。この場合、時刻情報（Ｔ）の要求と共に、時刻情報（ｔ）が送信される。
　遅延情報取得部５５７は、再生制御部５５３から送信遅延時間Ｄ１を示す送信遅延時間情報（Ｄ１）を取得して一定時間保持しておき、複数の送信遅延時間情報（Ｄ１）を取得したところで、送受信部５５１および送受信部５３１を介して回線適応制御部６２７に、複数の送信遅延時間Ｄ１による度数分布情報を示す送信遅延時間情報（Ｄ）を送信する。送信遅延時間情報（Ｄ）は、例えば、１００フレームに１回送信される。
　表示部５５８は、レンダリング部５５５によってレンダリングされたデータを再生する。
　エンコード部５６０は、内蔵されたマイク６１３や、外付けのカメラ５６２およびマイク５６３から取得してエンコードし、テキスト化することによってシリアライズした映像（音）データ〔Ｅ〕と、記憶部５０００から取得した現時点の通信端末５００における時刻ｔ０を示す時刻情報（ｔ０）と、同じく記憶部５０００から取得した時刻差Δを示す時刻差情報（Δ）を、送受信部５５１および送受信部５３１を介して、配信制御装置６００のデコード部６４０に送信する。時刻差Δとは、配信制御装置６００独自で管理されている時刻と通信端末５００独自で管理されている時刻との差である。
　また、エンコード部５６０は、回線適応制御部６３７ｂから受信した回線適応制御信号で示される動作条件に基づいて、エンコード部５６０の動作条件を変更する。さらに、エンコード部５６０は、新たな動作条件に従って、カメラ５６２およびマイク５６３から取得してエンコードしテキスト化することによってシリアライズした映像（音）データ〔Ｅ〕と、記憶部５０００から取得した現時点の通信端末５００における時刻ｔ０を示す時刻情報（ｔ０）と、記憶部５０００から取得した時刻差Δを示す時刻差情報（Δ）とを、コミュニケーション用アプリケーションを使用して送受信部５５１および送受信部５３１を介して、追加メッセージ通信ポートから配信制御装置６００のデコード部６４０に送信する。
　なお、内蔵されたマイク６１３、外付けのカメラ５６２およびマイク５６３等は、入力手段の一例であり、エンコードやデコードが必要な各種デバイスである。入力手段は、映像（音）データの他に、触覚（touch）データや嗅覚（smell）データを出力することができてもよい。入力手段には、温度センサ、方位センサ、加速度センサ等の各種センサも含まれる。
　＜動作または処理＞
　続いて、図３４～３７を用いて、本実施の形態の動作または処理について説明する。これらの処理は、配信制御装置６００、通信端末５００、および管理装置７００における各ＣＰＵが、それぞれに格納されているプログラムに従って動作することにより実行される処理である。
　（基本的な配信処理）
　まず、図３４を用いて、図２５に示されている基本的な配信方法における具体的な配信処理を説明する。図３４は、本実施の形態に係る配信制御装置の基本的な配信処理を示したシーケンス図である。ここでは、通信端末５００ａを用いてログイン要求する場合について説明するが、通信端末５００ａ以外の通信端末５００を用いてログインしてもよい。
　図３４に示されているように、通信端末５００ａにおいてユーザが電源オンにすると、通信端末５００ａの送受信部５５１は、管理装置７００にログイン要求を送信する（ステップＳ５１）。これにより、管理装置７００は、ログイン要求を受信し、通信端末５００ａの認証を行う（ステップＳ５２）。ここでは、通信端末５００ａが画像処理システム１０００における正当な端末であると認証された場合について、以下に続けて説明する。
　管理装置７００は、通信端末５００ａの送受信部５５１に、配信制御装置６００のＩＰアドレスを送信する（ステップＳ５３）。配信制御装置６００のＩＰアドレスは、予め、管理装置７００によって配信制御装置６００から取得されて記憶されている。
　次に、管理装置７００は、配信制御装置６００の送受信部６２１に、配信処理の開始要求を行う（ステップＳ５４）。これにより、送受信部６２１は、配信制御装置処理の開始要求を受信する。そして、ホワイトボード制御部６２２は、送受信部６２１によって受信された開始要求に基づいて、ホワイトボード部６２０を制御する。
　次に、エンコーダブリッジ部６３０の作成・選択・転送部６６０は、通信端末５００ａの再生能力（ディスプレイの解像度等）およびコンテンツの種類に従って変換部６６１を作成する（ステップＳ５５）。ここで、通信端末５００ａの送受信部５５１は、配信制御装置６００にメッセージ通信ポート追加要求を送信するようにしてもよい。ここで、メッセージ通信ポート追加要求でポート番号が指定されてもよいし、メッセージ通信ポート追加要求によって追加するポート番号が予め設定されていてもよい。配信制御装置６００は、通信端末５００ａによって送信されたメッセージ通信ポート追加要求に応じて、メッセージ通信ポートを開き、メッセージ通信ポートを開いたことを通信端末５００ａに通知する。
　次に、送受信部６２１は、ホワイトボード部６２０の命令に従い、任意の通信端末５００から追加メッセージ通信ポートを介してコンテンツデータ〔Ａ〕を取得する（ステップＳ５６）。
　次に、ホワイトボード部６２０が、送受信部６２１によって取得されたコンテンツデータ〔Ａ〕をレンダリングすることにより、静止画（音）データとしての各フレームデータを生成して、送信用ＦＩＦＯ６２４に出力する（ステップＳ５７）。そして、変換部６６１が、送信用ＦＩＦＯ６２４に格納された各フレームデータをエンコードし、テキスト化することによってシリアライズし、通信端末５００ａに配信すべき映像（音）データ〔Ａ〕に変換する（ステップＳ５８）。
　次に、送受信部６３１は、追加メッセージ通信ポートから通信端末５００ａの送受信部６５１に映像（音）データ〔Ａ〕を送信する（ステップＳ５９）。これにより、通信端末５００ａの送受信部５５１は、映像（音）データ〔Ａ〕を受信して、再生制御部５５３に出力する。
　次に、通信端末５００ａでは、デコード部５５０が再生制御部５５３から映像（音）データ〔Ａ〕を取得してデコードし、デシリアライズする（ステップＳ６０）。その後、スピーカ５６１は、デコードされた音データ〔Ａ〕に基づいて音を再生すると共に、表示部５５８は、レンダリング部５５５によってデコード部５５０から取得されてレンダリングされた映像データ〔Ａ〕に基づいて映像を再生する（ステップＳ６１）。
　（複数の通信端末を使った複合配信の処理）
　次に、図３５を用いて、配信制御装置を介して複数の通信端末を使った通信の処理を説明する。図３５は、実施の形態に係る配信制御装置６００を介して複数の通信端末５００を使った配信の処理を示すシーケンス図である。ここでは、複数の通信端末５００として、図２８に示されているパターンについて具体的な処理を説明する。図３５では、図３４におけるステップＳ５１～Ｓ５５と同様のログイン処理、開始要求、および変換部の作成を行った後の処理とする。
　通信端末５００ｆ１のエンコード部５６０が、カメラ５６２およびマイク５６３から映像（音）データ〔Ｅ〕としてのコンテンツデータの入力を受け付けると（ステップＳ７１）、エンコード部５６０はコンテンツデータ〔Ｅ〕をエンコードする（ステップＳ７２）。送受信部５５１は、エンコード部５６０によってエンコードされたコンテンツデータ〔Ｅ〕を、配信制御装置６００の送受信部６３１に送信する（ステップＳ７３）。これにより、配信制御装置６００の送受信部６３１は、コンテンツデータ〔Ｅ〕を受信する。
　次に、配信制御装置６００のデコード部６４０は、送受信部６３１によって受信されたコンテンツデータ〔Ｅ〕をデコードして、受信用ＦＩＦＯ６３４に出力する（ステップＳ７４）。そして、ホワイトボード部６２０が、受信用ＦＩＦＯ６３４に格納されたコンテンツデータ〔Ｅ〕をレンダリングすることにより、静止画（音）データとしてのフレームデータ〔Ｅ〕を生成して、送信用ＦＩＦＯ６２４に出力する（ステップＳ７５）。この場合、ホワイトボード部６２０は、既に取得しているコンテンツデータがあった場合、コンテンツデータ〔Ｅ〕を結合したレイアウトにして出力する。
　さらに、通信端末５００ｆ１の操作部５５２が、電子ペンＰ１によるストローク操作の入力を受け付けると（ステップＳ７６）、送受信部５５１は、操作部５５２によって受け付けられたストローク操作の内容を示す操作データ〔ｐ〕を、配信制御装置６００の送受信部６３１に送信する（ステップＳ７７）。これにより、配信制御装置６００の送受信部６３１は、操作データ〔ｐ〕を受信する。そして、ホワイトボード制御部６２２は、送受信部６３１によって受信された操作データ〔ｐ〕をホワイトボード部６２０に出力する。
　次に、ホワイトボード部６２０は、操作データ〔ｐ〕をレンダリングすることにより、静止画（音）データとしてのフレームデータ〔ｐ〕を生成して、送信用ＦＩＦＯ６２４に出力する（ステップＳ７８）。この場合、ホワイトボード部６２０は、既に取得しているコンテンツデータ〔Ｅ〕に対して、操作データ〔ｐ〕を結合したレイアウトにして出力する。
　次に、変換部６６１が、送信用ＦＩＦＯ６２４に格納された静止画（音）データとしての各フレームデータ（〔Ｅ〕，〔ｐ〕）をエンコードし、テキスト化することによってシリアライズすることで、通信端末５００ａに配信すべき映像（音）データ（〔Ｅ〕，〔ｐ〕）に変換する（ステップＳ７９）。
　次に、送受信部６３１は、変換部６６１を含むエンコーダブリッジ部６３０からエンコード後の映像（音）データ（〔Ｅ〕，〔ｐ〕）を取得し、通信端末５００ｆ１の送受信部５５１に追加メッセージ通信ポートを介して送信する（ステップＳ８０－１）。これにより、通信端末５００ｆ１の送受信部５５１は、映像（音）データ（〔Ｅ〕，〔ｐ〕）を追加メッセージ通信ポートを介して受信し、通信端末５００ｆ１の再生制御部５５３が送受信部５５１から映像（音）データ（〔Ｅ〕，〔ｐ〕）を取得する。
　そして、通信端末５００ｆ１では、デコード部５５０が再生制御部５５３から映像（音）データ（〔Ｅ〕，〔ｐ〕）を取得してデコードする（ステップＳ８１－１）。その後、スピーカ５６１は、デコードされた音データ〔Ｅ〕に基づいて音を再生すると共に、表示部５５８は、レンダリング部５５５によってデコード部５５０から取得されてレンダリングされた映像データ（〔Ｅ〕，〔ｐ〕）に基づいて映像を再生する（ステップＳ８２－１）。
　また、通信端末５００ｆ２に対しても、ステップＳ８０－１と同様に、送受信部５３１は、エンコーダブリッジ部６３０からエンコード後の映像（音）データ（〔Ｅ〕，〔ｐ〕）を取得し、通信端末５００ｆ２の送受信部５５１に送信する（ステップＳ８０－２）。これにより、通信端末５００ｆ２の再生制御部５５３が映像（音）データ（〔Ｅ〕，〔ｐ〕）を取得する。
　そして、通信端末５００ｆ２では、デコード部５５０が再生制御部５５３から映像（音）データ（〔Ｅ〕，〔ｐ〕）を取得してデコードする（ステップＳ８１－２）。その後、スピーカ５６１は、デコードされた音データ〔Ｅ〕に基づいて音を再生すると共に、表示部５５８は、レンダリング部５５５によってデコード部５５０から取得されてレンダリングされた映像データ（〔Ｅ〕，〔ｐ〕）に基づいて映像を再生する（ステップＳ８２－２）。
　以上より、通信端末５００ｆ１で出力される映像（音）と同じ映像（音）が、通信端末５００ｆ２でも出力されることになる。
　次に、図３５のステップＳ７８におけるホワイトボード部６２０のレンダリング処理の詳細について説明する。図３６は、本実施の形態に係る配信制御装置のホワイトボード部によるレンダリング処理の流れを示すフローチャートである。
　まず、ホワイトボード制御部６２２は、送受信部６３１によって受信したデータが操作データ〔ｐ〕であるか否かを判断する（ステップＳ９１）。受信したデータが操作データでなかった場合（ステップＳ９１：Ｎｏ）、すなわちコンテンツデータ〔Ｅ〕であった場合、ホワイトボード部６２０は、コンテンツデータ〔Ｅ〕をレンダリングする（ステップＳ９９）。この処理が図３５におけるステップＳ７５のレンダリング処理となる。
　一方、受信したデータが操作データであった場合（ステップＳ９１：Ｙｅｓ）、ホワイトボード制御部６２２は、操作データに含まれるコマンドがストロークコマンドか否かを判断する（ステップＳ９２）。操作データに含まれるコマンドがストロークコマンドであった場合（ステップＳ９２：Ｙｅｓ）、ホワイトボード制御部６２２は、マウスアップイベントを受信したか否かを判断する（ステップＳ９３）。
　マウスアップイベントを受信していない場合（ステップＳ９３：Ｎｏ）、ホワイトボード制御部６２２は、送信ＩＤとともに操作データに含まれる座標を座標蓄積部１２２に保存する（ステップＳ９４）。送信ＩＤとは、スクロールコマンドを含む操作データを受信した際に付される識別番号である。
　ここで、座標蓄積部１２２には、図３７に示すように、操作データに含まれる色、太さのようなメタストローク情報を蓄積してもよい。また、座標はＸ，Ｙ座標に加え、時刻や圧力の情報を含んで構成してもよい。以下では、ストロークデータはメタストローク情報と座標列とから生成されているものとする。
　一方、ステップＳ９３において、マウスアップイベントを受信した場合（ステップＳ９３：Ｙｅｓ）、ホワイトボード制御部６２２は、座標蓄積部１２２に送信ＩＤに関連する座標が蓄積されているか否かを判断する（ステップＳ９５）。座標蓄積部１２２に送信ＩＤに関連する座標が蓄積されていない場合（ステップＳ９５：Ｎｏ）、何もせず処理を終了する。
　一方、座標蓄積部１２２に送信ＩＤに関する座標が蓄積されている場合（ステップＳ９５：Ｙｅｓ）、ホワイトボード制御部６２２は、座標蓄積部１２２に蓄積されている全ての座標を取り出し、取り出した全ての座標からストロークを示すストロークデータを生成する（ステップＳ９６）。なお、ホワイトボード制御部６２２は、取り出した座標は座標蓄積部１２２から削除する。
　次に、ホワイトボード制御部６２２は、生成したストロークデータをホワイトボード部６２０に出力する（ステップＳ９７）。ホワイトボード部６２０は、取得したストロークデータをデータ管理部１２０に保存する（ステップＳ９７）。そして、ホワイトボード部６２０は、取得したストロークデータをレンダリングする（ステップＳ９９）。
　ステップＳ９２において、操作データに含まれるコマンドがストロークコマンドでなかった場合（ステップＳ９２：Ｎｏ）、ホワイトボード制御部６２２は、操作データに含まれるコマンドがページコマンドか否かを判断する（ステップＳ１００）。
　操作データに含まれるコマンドがページコマンドであった場合（ステップＳ１００：Ｙｅｓ）、ホワイトボード制御部６２２は、追加ページをホワイトボード部６２０に出力する（ステップＳ１０１）。ホワイトボード部６２０は、取得したページをデータ管理部１２０に保存し（ステップＳ１０２）、レンダリングする（ステップＳ９９）。
　一方、操作データに含まれるコマンドがページコマンドでなかった場合（ステップＳ１００：Ｎｏ）、ホワイトボード制御部６２２は、操作データに含まれるコマンドが画像コマンドか否かを判断する（ステップＳ１０３）。
　操作データに含まれるコマンドが画像コマンドであった場合（ステップＳ１０３：Ｙｅｓ）、ホワイトボード制御部６２２は、追加画像をホワイトボード部６２０に出力する（ステップＳ１０４）。ホワイトボード部６２０は、取得した画像をデータ管理部１２０に保存し（ステップＳ１０５）、レンダリングする（ステップＳ９９）。
　一方、操作データに含まれるコマンドが画像コマンドでなかった場合（ステップＳ１０３：Ｎｏ）、ホワイトボード制御部６２２は、マウスイベントとしてホワイトボード部６２０に出力し（ステップＳ１０６）、ホワイトボード部６２０がレンダリングする（ステップＳ９９）。なお、データ管理部１２０でのデータ登録時に、ホワイトボード部６２０は、全ページからＰＤＦデータを生成し、バックアップデータとしてデータ管理部１２０に保存する。
　本実施の形態に係る配信制御装置６００では、通信端末５００のディスプレイに入力された座標を保存し、蓄積した全ての座標からユーザからの操作によるストロークを示すストロークデータを生成する。そして、生成されたストロークデータを保存した上で、取得したストロークデータをレンダリングすることにより、静止画（音）データとしてのフレームデータを生成する。この時、既に取得しているコンテンツデータがあった場合、当該コンテンツデータに対して、操作データであるストロークデータを結合したレイアウトにして出力する。そして、静止画（音）データとしての各フレームデータを通信端末５００に配信可能なデータ形式に変換されたフレームデータを通信端末５００に送信すると、通信端末５００のディスプレイに再生される。このように、フレームデータ（映像データ）の配信時におけるユーザによる操作入力を保存することで、フレームデータの配信後もストローク等の操作入力をディスプレイに表示でき、利便性を向上させる。
　本実施の形態に係る配信制御装置６００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital　Versatile　Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
　また、本実施の形態に係る配信制御装置６００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態に係る配信制御装置６００で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、本実施の形態に係る配信制御装置６００で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
　本実施の形態に係る配信制御装置６００で実行されるプログラムは、上述した各部（送受信部６２１、ホワイトボード制御部６２２、送信用ＦＩＦＯ６２４、時刻管理部６２５、時刻取得部６２６、回線適応制御部６２７、エンコーダブリッジ部６３０、送受信部６３１、受信用ＦＩＦＯ６３４、認識部６３５、遅延情報取得部６３７ａ、回線適応制御部６３７ｂ、デコード部６４０）を含むモジュール構成となっている。さらに、本実施の形態に係る配信制御装置６００は、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上記各部が主記憶装置上に生成されるようになっている。また、例えば、上述した各部の機能のうちの一部または全部が専用のハードウェア回路で実現されてもよい。
　本実施の形態に係る画像処理システムによれば、電子会議システムと、電子黒板を使用する通信システムで共通のメッセージ通信ポートを設定することによって通信経路を設定する。これによって、電子会議システムに、電子黒板を導入した場合に、使用する通信ポートが増加しないため、ネットワーク資源が圧迫されることを防止できる。このため、ネットワーク資源を有用に利用することができる。さらに、配信制御装置を設けたことによって、電子黒板などの通信端末の処理負荷を低減できる。
　上述した実施の形態を適宜組み合わせることも可能である。
　上述した実施例において、画像形成システムは情報処理システムの一例であり、通信端末５００、電子黒板２は情報処理装置の例であり、第１の情報処理システムは会議システムの一例であり、第２の情報処理システムは電子黒板２を用いた通信システムの一例である。また、遠隔開始処理部６１、遠隔参加処理部６２は設定部の例であり、映像重畳部２８、表示重畳部３６はコンテンツ処理部の例であり、座標検知部２２、接触検知部２４は操作受付部の例であり、電子黒板２用のプログラムは情報処理プログラムの一例である。
　本発明は特定の実施例、変形例を参照しながら説明されてきたが、各実施例、変形例は単なる例示に過ぎず、当業者は様々な変形例、修正例、代替例、置換例等を理解するであろう。説明の便宜上、本発明の実施例に従った装置は機能的なブロック図を用いて説明されたが、そのような装置はハードウェアで、ソフトウエアでまたはそれらの組み合わせで実現されてもよい。本発明は上記実施例に限定されず、本発明の精神から逸脱することなく、様々な変形例、修正例、代替例、置換例等が包含される。
　本国際特許出願は、２０１５年５月７日に出願した日本国特許出願第２０１５－０９４６５４号に基づきその優先権を主張するものであり、日本国特許出願第２０１５－０９４６５４号の全内容を参照によりここに援用する。
　１、１０００　画像処理システム
　２　電子黒板
　３　ディスプレイ
　４　電子ペン
　５　ＵＳＢメモリ
　６　ノートＰＣ
　７　テレビ会議端末
　８　ＰＣ
　９　通信ネットワーク
　５０　伝送管理システム
　５００　通信端末
　６００　配信制御装置
　７００　管理装置

Claims (8)

  1. 　通信ネットワークを介して接続される情報処理装置であって、
    　第１の情報処理システムにしたがって第１のコンテンツの第１のコンテンツデータを送信するために前記情報処理装置と他の情報処理装置との間で設定された通信経路から、該他の情報処理装置に第２の情報処理システムにしたがって前記第１のコンテンツに関して作成される第２のコンテンツの第２のコンテンツデータを送信する送信部
    　を有する、情報処理装置。
  2. 　前記第１のコンテンツデータを送信するために前記情報処理装置と他の情報処理装置との間で通信経路を設定する設定部
    　を有する、請求項１に記載の情報処理装置。
  3. 　前記情報処理装置に入力される前記第１のコンテンツを表示するコンテンツ処理部と、
    　前記第１のコンテンツに対する操作を受け付ける操作受付部と、
    　該操作受付部によって受け付けた操作に基づいて、前記第２のコンテンツの第２のコンテンツデータを作成する操作処理部と
    　を有する、請求項１または２に記載の情報処理装置。
  4. 　前記操作処理部は、前記第２のコンテンツデータを直列化し、
    　前記送信部は、前記直列化した前記第２のコンテンツデータを前記通信経路から前記他の情報処理装置に送信する、請求項３に記載の情報処理装置。
  5. 　前記設定部は、前記他の情報処理装置との間で通信ポートを追加することによって、前記通信経路を設定する、請求項２に記載の情報処理装置。
  6. 　前記操作処理部は、前記第１のコンテンツに対する操作に基づいて入力された座標からストロークを示すストロークデータを生成する、請求項３または４に記載の情報処理装置。
  7. 　通信ネットワークを介して接続される情報処理装置によって実行される情報処理方法であって、
    　第１の情報処理システムにしたがって第１のコンテンツの第１のコンテンツデータを送信するためのセッションを確立した他の情報処理装置との間で設定された通信経路から、該他の情報処理装置に第２の情報処理システムにしたがって前記第１のコンテンツに関して作成される第２のコンテンツの第２のコンテンツデータを送信する、情報処理方法。
  8. 　請求項７に記載の情報処理方法を情報処理装置に実行させるための情報処理プログラム。
PCT/JP2016/062362 2015-05-07 2016-04-19 情報処理装置、情報処理方法および情報処理プログラム WO2016178365A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201680025383.5A CN107534704B (zh) 2015-05-07 2016-04-19 一种经由通信网络连接的信息处理方法、设备和介质
EP16789501.0A EP3293955A4 (en) 2015-05-07 2016-04-19 Information processing device, information processing method and information processing program
JP2017516580A JP6460228B2 (ja) 2015-05-07 2016-04-19 情報処理装置、情報処理方法および情報処理プログラム
US15/800,227 US10419618B2 (en) 2015-05-07 2017-11-01 Information processing apparatus having whiteboard and video conferencing functions

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015094654 2015-05-07
JP2015-094654 2015-05-07

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/800,227 Continuation US10419618B2 (en) 2015-05-07 2017-11-01 Information processing apparatus having whiteboard and video conferencing functions

Publications (1)

Publication Number Publication Date
WO2016178365A1 true WO2016178365A1 (ja) 2016-11-10

Family

ID=57217888

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/062362 WO2016178365A1 (ja) 2015-05-07 2016-04-19 情報処理装置、情報処理方法および情報処理プログラム

Country Status (5)

Country Link
US (1) US10419618B2 (ja)
EP (1) EP3293955A4 (ja)
JP (1) JP6460228B2 (ja)
CN (1) CN107534704B (ja)
WO (1) WO2016178365A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11349888B2 (en) 2020-03-31 2022-05-31 Ricoh Company, Ltd. Text data transmission-reception system, shared terminal, and method of processing information

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6747025B2 (ja) * 2016-04-13 2020-08-26 セイコーエプソン株式会社 表示システム、表示装置、及び、表示システムの制御方法
US10387747B2 (en) * 2017-06-26 2019-08-20 Huddly As Intelligent whiteboard collaboratio systems and methods
TWI657369B (zh) * 2018-03-08 2019-04-21 和碩聯合科技股份有限公司 傳送連續資料的方法及資料傳輸系統
CN110062275B (zh) * 2018-06-21 2021-07-09 安徽赛迈特光电股份有限公司 一种液晶显示屏远程控制装置及方法
JP2020076908A (ja) * 2018-11-09 2020-05-21 セイコーエプソン株式会社 表示装置及び表示装置の制御方法
JP7234612B2 (ja) * 2018-11-30 2023-03-08 株式会社リコー 情報処理システム及び情報処理方法
CN111381918A (zh) * 2018-12-29 2020-07-07 中兴通讯股份有限公司 一种实现远程协助的方法及相关设备
WO2020147032A1 (zh) * 2019-01-16 2020-07-23 永信科技股份有限公司 网络安全管理系统及其方法
US11551480B2 (en) 2019-04-11 2023-01-10 Ricoh Company, Ltd. Handwriting input apparatus, handwriting input method, program, and input system
US11132122B2 (en) 2019-04-11 2021-09-28 Ricoh Company, Ltd. Handwriting input apparatus, handwriting input method, and non-transitory recording medium
CN110446002A (zh) * 2019-07-30 2019-11-12 视联动力信息技术股份有限公司 一种视频会议的处理方法、系统及装置和存储介质
JP7373712B2 (ja) * 2019-08-19 2023-11-06 株式会社リコー 通信端末、通信システム、データ共有方法およびプログラム
CN110798650B (zh) * 2019-09-24 2022-02-22 福建星网智慧科技有限公司 一种基于rtp的多系统媒体流传输控制方法和装置
WO2021064784A1 (ja) * 2019-09-30 2021-04-08 シャープＮｅｃディスプレイソリューションズ株式会社 設備管理装置、設備管理方法、及びプログラム
US11733830B2 (en) 2019-11-20 2023-08-22 Ricoh Company, Ltd. Display apparatus for displaying handwritten data with displayed operation menu
JP7396136B2 (ja) * 2020-03-13 2023-12-12 株式会社リコー 通信管理装置、通信システム、通信方法およびプログラム
CN111522438A (zh) * 2020-03-25 2020-08-11 华为技术有限公司 内容传输方法、设备及介质
CN113055635A (zh) * 2021-02-05 2021-06-29 福建中会智通信息科技有限公司 一种进行终端会议的方法和系统
JP2024512171A (ja) 2021-03-12 2024-03-19 京東方科技集團股▲ふん▼有限公司 表示デバイスと端末デバイスとのインタラクション方法、記憶媒体、及び電子デバイス
US20220391055A1 (en) * 2021-05-28 2022-12-08 Ricoh Company, Ltd. Display apparatus, display system, and display method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002116729A (ja) * 2000-10-04 2002-04-19 Internatl Business Mach Corp <Ibm> データ変換方法、画像表示方法、画像処理装置、画像表示装置、画像表示システムおよび画像処理システム
JP2012081112A (ja) * 2010-10-13 2012-04-26 Toshiba Corp 画像データ圧縮システム及び画像データ圧縮方法
JP2014195183A (ja) * 2013-03-29 2014-10-09 Brother Ind Ltd プログラム、通信装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63138893A (ja) * 1986-12-01 1988-06-10 Nec Corp テレビ会議システム
JP4321203B2 (ja) * 2002-10-29 2009-08-26 富士ゼロックス株式会社 遠隔会議システム及び遠隔会議支援方法、並びにコンピュータ・プログラム
KR20090011436A (ko) * 2007-07-26 2009-02-02 삼성전자주식회사 디스플레이장치와, 디스플레이장치의 제어방법 및 이를포함하는 디스플레이시스템
CN101286865B (zh) * 2008-05-14 2010-11-10 华为技术有限公司 音视频会议中实现电子白板的方法、装置及系统
CN101370115A (zh) * 2008-10-20 2009-02-18 深圳华为通信技术有限公司 会议终端、会议服务器、会议系统及数据处理方法
CN101646056B (zh) * 2009-08-28 2011-07-27 华为终端有限公司 实现视频会议和数据会议协同工作的方法、装置及系统
JP5668365B2 (ja) * 2009-11-20 2015-02-12 株式会社リコー 描画処理システム、サーバ装置、ユーザ端末、描画処理方法、プログラム及び記録媒体
JP6069898B2 (ja) 2011-11-25 2017-02-01 株式会社リコー 画像処理装置、画像処理システム、方法およびプログラム
EP2837154B1 (de) 2013-02-22 2018-11-14 Unify GmbH & Co. KG Verfahren zur steuerung von datenströmen einer virtuellen sitzung mit mehreren teilnehmern, kollaborationsserver, computerprogramm, computerprogrammprodukt und digitales speichermedium
JP6323048B2 (ja) * 2013-03-15 2018-05-16 株式会社リコー 配信システム、配信方法、及びプログラム
JP6398215B2 (ja) * 2013-03-15 2018-10-03 株式会社リコー 配信制御システム、配信システム、配信制御方法、及びプログラム
WO2016031549A1 (ja) 2014-08-26 2016-03-03 株式会社リコー セッション制御システム、通信端末、通信システム、セッション制御方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002116729A (ja) * 2000-10-04 2002-04-19 Internatl Business Mach Corp <Ibm> データ変換方法、画像表示方法、画像処理装置、画像表示装置、画像表示システムおよび画像処理システム
JP2012081112A (ja) * 2010-10-13 2012-04-26 Toshiba Corp 画像データ圧縮システム及び画像データ圧縮方法
JP2014195183A (ja) * 2013-03-29 2014-10-09 Brother Ind Ltd プログラム、通信装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3293955A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11349888B2 (en) 2020-03-31 2022-05-31 Ricoh Company, Ltd. Text data transmission-reception system, shared terminal, and method of processing information
US11979440B2 (en) 2020-03-31 2024-05-07 Ricoh Company, Ltd. Text data transmission-reception system, shared terminal, and method of processing information

Also Published As

Publication number Publication date
JP6460228B2 (ja) 2019-02-06
EP3293955A4 (en) 2018-03-21
JPWO2016178365A1 (ja) 2018-05-24
CN107534704A (zh) 2018-01-02
CN107534704B (zh) 2020-11-06
EP3293955A1 (en) 2018-03-14
US10419618B2 (en) 2019-09-17
US20180069962A1 (en) 2018-03-08

Similar Documents

Publication Publication Date Title
JP6460228B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP6398215B2 (ja) 配信制御システム、配信システム、配信制御方法、及びプログラム
JP6354764B2 (ja) 配信管理装置、配信方法、及びプログラム
JP6326855B2 (ja) 配信制御システム、配信システム、配信制御方法、及びプログラム
US9723337B2 (en) Distribution control system and distribution system
US9578079B2 (en) Distribution control system, distribution system, distribution control method, and computer-readable storage medium
JP6354195B2 (ja) 配信システム、配信方法、及びプログラム
US10250665B2 (en) Distribution control system, distribution system, distribution control method, and computer-readable storage medium
US20140280446A1 (en) Distribution control system, distribution system, distribution control method, and computer-readable storage medium
US20140280777A1 (en) Distribution control system, distribution system, distribution control method, and computer-readable storage medium
US20150082359A1 (en) Distribution management apparatus and distribution management system
US20150029196A1 (en) Distribution management apparatus
US9596435B2 (en) Distribution control apparatus, distribution control method, and computer program product
JP5754117B2 (ja) 外部入力装置、表示データ作成方法、プログラム
JP6248488B2 (ja) 通信端末及び通信方法
US9596282B2 (en) Delivery managing device, terminal, and delivery managing method
JP2015056046A (ja) 配信管理システム、配信システム、配信管理方法、及びプログラム
US9525901B2 (en) Distribution management apparatus for distributing data content to communication devices, distribution system, and distribution management method
JP2016063247A (ja) 配信システム及び配信方法
JP2016058812A (ja) 配信制御システム、配信システム、配信制御システムの制御方法、及びプログラム
JP6442832B2 (ja) 配信制御システム、配信システム、配信制御方法、及びプログラム
JP6248492B2 (ja) 配信管理装置、配信管理システム、及び配信管理方法
JP2015201695A (ja) 配信管理装置
JP2016054375A (ja) 配信システム、配信制御方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16789501

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017516580

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE