WO2016117249A1 - 通信端末、通信システム、表示制御方法、及びプログラム - Google Patents

通信端末、通信システム、表示制御方法、及びプログラム Download PDF

Info

Publication number
WO2016117249A1
WO2016117249A1 PCT/JP2015/085332 JP2015085332W WO2016117249A1 WO 2016117249 A1 WO2016117249 A1 WO 2016117249A1 JP 2015085332 W JP2015085332 W JP 2015085332W WO 2016117249 A1 WO2016117249 A1 WO 2016117249A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
communication
communication terminal
content data
display control
Prior art date
Application number
PCT/JP2015/085332
Other languages
English (en)
French (fr)
Inventor
太郎 奥山
野村　香苗
Original Assignee
株式会社リコー
太郎 奥山
野村　香苗
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社リコー, 太郎 奥山, 野村　香苗 filed Critical 株式会社リコー
Publication of WO2016117249A1 publication Critical patent/WO2016117249A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Definitions

  • the present invention relates to a communication terminal, a communication system, a display control method, and a program.
  • a communication system for making a call or a conference via a communication network such as the Internet or a dedicated line has become widespread along with a request for reducing expenses and time of movement of parties.
  • content data such as image data and sound data is transmitted and received, thereby realizing communication between bases.
  • various content data can be transmitted not only between dedicated terminals specialized for the conference function but also between general-purpose terminals such as tablets and smartphones installed with a conference application.
  • Patent Document 1 while transmitting the agenda items of a conference for proceedings from a terminal device to all terminal devices, handwritten data, which is handwritten information input by handwriting in each terminal device, is transmitted to other terminal devices.
  • a method for transmitting is disclosed. Each terminal device displays the received agenda item and handwritten data on the same window.
  • the communication terminal receives a first content data and a second content data transmitted by another communication terminal, and the first content data received by the reception means. Display a first image based on the second content data based on the second content data received by the receiving means, or display either the first image or the second image Display control means for controlling the above.
  • FIG. 1 is a schematic diagram of a communication system according to an embodiment. It is a hardware block diagram of the telephone terminal which concerns on one Embodiment. It is a hardware block diagram of the management system which concerns on one Embodiment. It is each function block diagram of the telephone terminal which concerns on one Embodiment, and a management system. It is the sequence diagram which showed the process which establishes the session between a telephone call terminal and a management system. It is the sequence diagram which showed the process which establishes the session between call terminals. It is the flowchart which showed the process which controls the display of an image. It is a figure which shows an example of a display image. It is the figure which showed notionally the mode that an image was superimposed.
  • FIG. 1 is a schematic diagram of a communication system according to an embodiment of the present invention.
  • the communication system 1 includes a relay device 30 for relaying content data between a call terminal (10a, 10b) and a call terminal (10a, 10b), which are smartphones as an example, and information sharing. It is constructed by a system 40 and a management system 50 that manages the call terminal 10.
  • the management system 50 is a computer having a server function.
  • the relay device 30 relays captured image data related to an image (video) captured by each call terminal 10 and sound data related to sound collected by each call terminal 10.
  • the information sharing system 40 relays input image data relating to an image input by operating the touch panel of each call terminal 10.
  • the communication system 1 can make a call between users of the call terminals (10a, 10b). This call can be realized by mutually transmitting sound, a captured image (video), or sound and a captured image (video) between the call terminals (10a, 10b). In addition, an input image on which characters, figures, symbols, and the like are drawn can be shared between the call terminals (10a, 10b).
  • the call terminal 10, the relay device 30, the information sharing system 40, and the management system 50 can communicate with each other via the Internet, a mobile phone network, or a communication network 2 such as a LAN (Local Area Network).
  • the communication network 2 also includes base stations (8a, 8b) at the end of the mobile phone network for communicating with the call terminal 10.
  • base stations (8a, 8b) When an arbitrary base station among the base stations (8a, 8b) is represented, it is referred to as a base station 8.
  • the call terminal 10 may include a dedicated terminal specialized for a video conference function, or a general-purpose terminal such as a PC (Personal Computer) or a tablet.
  • FIG. 2 is a hardware configuration diagram of the call terminal 10 according to an embodiment.
  • the call terminal 10 includes a CPU 101 that controls the operation of the call terminal 10 as a whole, a ROM (Read Only Memory) 102 that stores a program, a RAM 103 that is used as a work area of the CPU 101, An EEPROM (Electrically Erasable and Programmable ROM) 104 that reads or writes data according to control, and a media drive 107 that controls reading or writing (storage) of data to a recording medium 106 such as a flash memory are provided.
  • ROM Read Only Memory
  • RAM 103 that is used as a work area of the CPU 101
  • An EEPROM (Electrically Erasable and Programmable ROM) 104 that reads or writes data according to control
  • a media drive 107 that controls reading or writing (storage) of data to a recording medium 106 such as a flash memory are provided.
  • the recording medium 106 on which the already recorded data is read or the data is newly written and stored is detachable.
  • the EEPROM 104 stores an operating system (OS) executed by the CPU 101, other programs, and various data.
  • OS operating system
  • the call terminal 10 includes an antenna 111a and a communication circuit 111 that communicates with the nearest base station 8 using a radio communication signal using the antenna 111a. Further, the call terminal 10 captures a subject under the control of the CPU 101 and obtains captured image data.
  • a CMOS (Complementary Metal Oxide Semiconductor) sensor 112 a sound input unit 114 that converts sound into a sound signal, and a sound output that converts sound signal into sound Part 115 is provided.
  • the CMOS sensor 112 is a charge-coupled element that converts light into electric charge and digitizes an image of a subject. As long as the subject can be imaged, not only a CMOS sensor but also a CCD (Charge Coupled Device) sensor may be used.
  • CCD Charge Coupled Device
  • the sound input unit 114 includes a microphone that collects sound
  • the sound output unit 115 includes a speaker that outputs sound.
  • the call terminal 10 is a liquid crystal or organic EL display 120 that displays an image of a subject, various icons, and the like, and is placed on the display 120 and is configured by a pressure-sensitive or electrostatic panel, and is configured by a finger or a touch pen.
  • a touch panel 121 that detects a touch position on the display 120 by touch is provided.
  • the call terminal 10 includes a bus line 110 such as an address bus or a data bus for electrically connecting the above-described units.
  • FIG. 3 is a hardware configuration diagram of the management system 50 according to an embodiment.
  • the management system 50 includes a CPU 501 that controls the overall operation of the management system 50, a ROM 502 that stores a program used to drive the CPU 501 such as an IPL, a RAM 503 that is used as a work area for the CPU 501, a program for the management system 50, and the like.
  • HD 504 for storing data
  • HDD (Hard Disk Drive) 505 for controlling reading or writing of various data to the HD 504 according to control of the CPU 501
  • media for controlling reading or writing (storage) of data to a recording medium 506 such as a flash memory Drive 507
  • display 508 for displaying various information such as a cursor, menu, window, character, or image
  • network I / F 509 for data communication using communication network 2, character
  • a keyboard 511 having a plurality of keys for inputting numerical values and various instructions
  • a mouse 512 for selecting and executing various instructions, selecting a processing target, moving a cursor, and the like
  • a CD-ROM drive 514 for controlling reading / writing of various data to / from a CD-ROM (Compact Disc Read Only Memory) 513, and for electrically connecting the above components as shown in FIG.
  • a bus line 510 such as an address bus or a data bus is provided. Note that the relay device 30 and the information sharing
  • FIG. 4 is a functional block diagram of the call terminal 10 and the management system 50 that constitute a part of the communication system 1 according to the embodiment.
  • the call terminal 10 and the management system 50 are connected so that data communication can be performed via the communication network 2.
  • the call terminal 10 includes a transmission / reception unit 11, an operation input reception unit 12, an analysis unit 13, a display control unit 14, and a storage / readout unit 19. Each of these units is a function realized by any one of the components shown in FIG. 2 operating according to a command from the CPU 101 according to a program expanded from the EEPROM 104 onto the RAM 103.
  • the call terminal 10 includes a storage unit 1000 constructed by a ROM 102, a RAM 103, an EEPROM 104, and a recording medium 106.
  • the conference application is stored in the nonvolatile storage area of the storage unit 1000.
  • the conference application implements a function for transmitting captured images between the call terminals 10 and a function for sharing an input image input by operating the touch panel 121 between the call terminals 10.
  • a function for transmitting a captured image between call terminals and a function for sharing an input image between call terminals have been independent. For this reason, even if a conference is started between call terminals, this function may not be used without the user noticing the function of sharing the input image.
  • both functions can be used by starting the conference application.
  • each functional configuration of the call terminal 10 will be described in detail.
  • the relationship with the main components for realizing each functional configuration of the call terminal 10 is also described. explain.
  • the transmission / reception unit 11 of the call terminal 10 is realized by a command from the CPU 101 and the communication circuit 111, and transmits / receives various data (or information) to / from the other party's call terminal, each device or system via the communication network 2. Do.
  • the operation input reception unit 12 is realized by a command from the CPU 101 and the touch panel 121, and receives various operation inputs by the user or various selections by the user.
  • the above operations include taps, strokes, and swipe operations on the touch panel 121.
  • the analyzing unit 13 is realized by an instruction from the CPU 101 and analyzes the operation information received by the operation input receiving unit 12. For example, the analysis unit 13 converts operation information indicating a tap, a stroke, and a swipe operation on the touch panel 121 into coordinate information and passes it to another functional unit.
  • the display control unit 14 is realized by a command from the CPU 101, and the captured image data or input image data sent from the other party's call terminal and the captured image data or input image data generated in the own terminal are displayed on the display 120. Control to send.
  • the storage / reading unit 19 is realized by an instruction from the CPU 101, stores various data in the storage unit 1000, and reads out various data stored in the storage unit 1000.
  • the management system 50 includes a transmission / reception unit 51, an authentication unit 52, a management unit 53, a session control unit 58, and a storage / readout unit 59. Each of these units is a function realized by any one of the constituent elements shown in FIG. 3 being operated by an instruction from the CPU 501 according to the program for the management system 50 expanded from the HD 504 to the RAM 503, or Means.
  • the management system 50 includes a storage unit 5000 constructed by the HD 504.
  • Terminal management table Table 1 is a conceptual diagram showing a terminal management table.
  • the storage unit 5000 stores a terminal management DB 5002 constructed by a terminal management table.
  • the terminal name, the operating state of each call terminal 10, and the IP address of each call terminal 10 are associated and managed.
  • the communication ID is information for identifying the communication terminal 10 that is the communication destination in the communication system 1.
  • the communication ID is arbitrary as long as it is information that can identify the communication terminal 10 as a communication destination, and includes information for identifying the call terminal 10, information for identifying the user of the call terminal 10, and the like.
  • the operating state includes “online” indicating that the call terminal 10 is connected to the management system 50 and “offline” indicating that the call terminal 10 is not connected to the management system 50. Further, in the online state, “communication is possible” in which communication with the call terminal 10 indicated by this communication ID is possible, and the call terminal 10 indicated by this communication ID is communicating with other call terminals. There is a certain “communication” state.
  • each functional configuration of the management system 50 will be described in detail.
  • the relationship with the main components for realizing each functional configuration of the management system 50 is also described. explain.
  • the transmission / reception unit 51 is realized by an instruction from the CPU 501 and a network I / F 509, and transmits / receives various data (or information) to / from each call terminal, device, or system via the communication network 2.
  • the authentication unit 52 is realized by a command from the CPU 501, and uses the communication ID and password received by the transmission / reception unit 51 as a search key to determine whether the same communication ID and password are managed in the storage unit 5000.
  • the terminal 10 is authenticated.
  • the management unit 53 is realized by a command from the CPU 501 and stores the operation state and IP address of the call terminal 10 in association with each communication ID and terminal name of the call terminal 10 in the terminal management table (see Table 1). Manage.
  • the session control unit 58 is realized by a command from the CPU 501 and controls a session for transmitting content data between the call terminals 10.
  • the above control includes control for establishing a session, control for allowing the call terminal 10 to participate in the established session, control for disconnecting the session, and the like.
  • the storage / reading unit 59 is realized by an instruction from the CPU 501 and the HDD 505, or realized by an instruction from the CPU 501, and stores various data in the storage unit 5000 or extracts various data stored in the storage unit 5000. I do.
  • FIG. 5 is a sequence diagram showing processing for establishing a session between the call terminal 10 and the management system 50.
  • the transmission / reception unit 11 of the call terminal 10 transmits a login request to the management system 50 (step S1).
  • This login request includes a communication ID and password for identifying the call terminal 10 that is the login request source.
  • the transmission / reception unit 51 of the management system 50 receives the login request, the communication ID, and the password.
  • the authentication unit 52 determines whether the same set as the combination of the communication ID and password received by the transmission / reception unit 51 is managed by the storage unit 5000, thereby authenticating the call request terminal 10 that is the login request source. Perform (step S2).
  • the storage unit 5000 stores in advance a set of authentication communication ID and password. If it is determined by this authentication that the call terminal 10 is legitimate, the management unit 53 sets the operation state “ON line” for the communication ID of the terminal in the terminal management table (see Table 1). (Communication is possible) "and the IP address is recorded (step S3).
  • the IP address is obtained from information sent from the call terminal 10 when the transmission / reception unit 51 accepts a login request.
  • the transmission / reception unit 51 transmits an authentication result to the call request source call terminal 10 (step S4). Thereby, the transmission / reception part 11 receives an authentication result. If it is determined in step S2 that the call terminal is a legitimate call terminal, a session sei is established between the call request source call terminal 10 and the management system 50 (step S5).
  • FIG. 6 is a sequence diagram showing processing for establishing a session between the call terminals 10.
  • the session includes a session sed1 for transmitting sound data and captured image data between the call terminals 10 and a session sed2 for transmitting input image data between the call terminals 10.
  • the transmission / reception unit 11 of the call terminal 10a transmits a communication start request to the management system 50 (step S21).
  • This communication start request includes the communication ID of the call terminal 10a that is the communication start request source and the communication ID of the destination call terminal 10b.
  • the transmission / reception unit 51 of the management system 50 receives a communication start request. Subsequently, the management unit 53 of the management system 50 sets the operation state corresponding to the communication ID of the call terminal 10a that is the communication start request source to “ON line (during communication)” in the terminal management table (see Table 1). (Step S22).
  • the transmission / reception unit 51 of the management system 50 transmits a communication start request to the destination call terminal 10b (step S23).
  • This communication start request includes the communication ID of the call terminal 10a as the communication start request source and the communication ID of the destination call terminal 10b.
  • the destination call terminal 10b receives the communication start request.
  • the transmission / reception unit 11 of the call terminal 10b transmits a response indicating acceptance or rejection of the communication start request to the management system 50 in accordance with an operation by the user (step S24).
  • the call terminal 10b transmits a response indicating acceptance of the request to the management system 50 in accordance with an operation by the user (step S24).
  • the transmission / reception unit 51 of the management system 50 receives a response indicating acceptance of the request. Subsequently, the management unit 53 of the management system 50 sets the operation state corresponding to the communication ID of the destination call terminal 10b to “ON line (during communication)” in the terminal management table (see Table 1) (step S25). ).
  • the transmission / reception unit 51 of the management system 50 transmits a response indicating acceptance of the request to the call terminal 10a as the start request source (step S26).
  • the call terminal 10 a receives a response indicating acceptance of the request through the transmission / reception unit 11.
  • the session control unit 58 of the management system 50 controls the establishment of a session sed1 for transmitting captured image data and sound data via the communication network 2 between the call terminals (10a, 10b) (step S27).
  • a method for establishing the session sed1 may be arbitrarily selected. For example, there is a method in which the session control unit 58 transmits connection information for connecting to the relay device 30 to the call terminals (10a, 10b) via the transmission / reception unit 51.
  • the call terminals (10a, 10b) establish a session sed1 by connecting to the relay device 30 based on the connection information.
  • each call terminal (10a, 10b) collects captured image data based on the image captured by the own terminal and the sound collected by the own terminal.
  • the sound data based on the sound is transmitted to the call terminal (10b, 10a) on the other side via the relay device 30 (step S28).
  • the transmission / reception unit 11 of each call terminal (10a, 10b) receives captured image data and sound data sent from the other call terminal (10b, 10a) via the relay device 30.
  • the session control unit 58 of the management system 50 controls the establishment of the session sed2 for transmitting the input image data between the call terminals (10a, 10b) via the communication network 2 (step S31).
  • a method for establishing the session sed2 may be arbitrarily selected. For example, there is a method in which the session control unit 58 transmits connection information for connecting to the information sharing system 40 to the call terminals (10a, 10b) via the transmission / reception unit 51. In this case, the call terminal (10a, 10b) establishes the session sed2 by connecting to the information sharing system 40 based on the connection information.
  • the operation input receiving unit 12 of each call terminal (10a, 10b) receives an operation input to the touch panel 121 (S32-1, S32-2).
  • the analysis unit 13 analyzes operation information such as taps, strokes, and swipes indicating operations on the touch panel 121, and generates input image data of the input image (steps S33-1 and S33-2).
  • This input image data may include information such as color, thickness, and coordinates.
  • the storage / reading unit 19 additionally stores the generated input image data in the storage unit 1000.
  • the transmitting / receiving unit 11 of each call terminal (10a, 10b) transmits the input image data generated in the own terminal to the call terminal (10b, 10a) on the other side via the information sharing system 40 (step S34-1). , S34-2). Further, the transmission / reception unit 11 of each call terminal (10a, 10b) receives the input image data transmitted from the other call terminal (10b, 10a) via the information sharing system 40. Each time input image data is received, the storage / reading unit 19 additionally stores the received input image data in the storage unit 1000.
  • FIG. 7 is a flowchart showing processing for controlling display of images in each call terminal 10.
  • the storage unit 1000 stores 50% as a default value of the transparency of the input image.
  • the transparency is a value indicating how much an image is transmitted when a plurality of images are superimposed and displayed, and can be expressed as an alpha value in a digital image, for example.
  • step S41 When the session (sed1, sed2) between the call terminals 10 is established and the call terminal 10 is ready to display content, the display control unit 14 of the call terminal 10 transmits the transparency ( 50%) is referred to (step S41).
  • the display control unit 14 superimposes the image based on the input image data stored in the storage unit 1000 and the image of the operation icon on the white background, and the transparency of the composite image is referred to.
  • a value (50%) is set (corrected) (step S42). Note that the storage unit 1000 stores all input image data generated at the own call terminal after the session sed2 is established, or all input image data sent from another call terminal.
  • FIG. 8A is a diagram illustrating an example of a display image on the display after the session (sed1, sed2) is started.
  • FIG. 8B is a diagram conceptually showing how images are superimposed.
  • the icon I1 is an icon indicating a pencil function, that is, a function for inputting an image to the touch panel 121 by freehand.
  • the icon I2 is an icon indicating an eraser function, that is, a function for erasing the input image.
  • the slider S is used for setting the transparency of the input image.
  • the storage / reading unit 19 updates the transparency stored in the storage unit 1000 according to the position after the movement.
  • 8A and 8B show a state immediately after the conference is started and before an input image is generated or received.
  • FIG. 9A is a diagram illustrating an example of a display image on the display after the input image is generated or received.
  • FIG. 9B is a diagram conceptually showing how images are superimposed.
  • FIG. 10A is a diagram illustrating an example of a display image on the display when the transparency is set to 100%.
  • FIG. 10B is a diagram conceptually illustrating a state in which images are superimposed. As a result, only the captured image and the slider S are displayed.
  • FIG. 11A is a diagram illustrating an example of a display image on the display when the transparency is set to 0%.
  • FIG. 11B is a diagram conceptually illustrating a state in which images are superimposed. As a result, only the input image, icons (I1, I2), and slider S are displayed.
  • FIG. 12 is a flowchart showing a modification of the process for controlling the display of an image.
  • the storage unit 1000 stores a first transparency and a second transparency as the transparency of the input image.
  • the second transmittance is preferably smaller than the first transmittance.
  • a predetermined value that is 0% or more and smaller than the first transmittance, or a predetermined value is subtracted from the first transmittance. Value.
  • the description will be continued assuming that the first transmittance is 100% and the second transmittance is 50%.
  • the display control unit 14 uses the first transparency (100) stored in the storage unit 1000. %) Is referred to (step S61). Subsequently, the display control unit 14 sets (corrects) the transparency of the input image based on the referenced first transparency (100%) in the same manner as the process of step S42 (step S62). The display of the image is controlled in the same manner as the process of S43 (step S63). At this time, since the transparency of the input image is set to 100%, an image as shown in FIGS. 10A and 10B is displayed on the display 120.
  • the display control unit 14 When the input of a new image is received by the operation input receiving unit 12 or when new input image data is received by the transmission / reception unit 11 (YES in step S64), the display control unit 14 is stored in the storage unit 1000. The stored second transmittance (50%) is referred to (step S65). Subsequently, the display control unit 14 sets (corrects) the transparency of the input image based on the referenced second transparency (50%) in the same manner as the process of step S42 (step S66). The display of the image is controlled in the same manner as the process of S43 (step S67). At this time, since the transparency of the input image is set to 50%, an image as shown in FIGS. 9A and 9B is displayed on the display 120.
  • the display control unit 14 determines whether or not a predetermined elapsed time has elapsed since the input of a new image was received by the operation input receiving unit 12 or the new input image data was received by the transmission / reception unit 11. Judgment is made (step S68).
  • the display control unit 14 repeatedly executes the processes of steps S65 to S67 until a predetermined time has elapsed. When the predetermined time has elapsed, the process proceeds to step S61. At this time, since the transparency of the input image is set to 100% again, an image as shown in FIG. 10 is displayed on the display 120 again.
  • the transmitting / receiving unit 11 receives captured image data (an example of first content data) and input image data (a second content data) transmitted by another call terminal 10.
  • An example of content data is received.
  • the display control unit 14 (an example of a display control unit) of the call terminal 10 includes a captured image (an example of a first image) based on the captured image data received by the transmission / reception unit 11 and an input image received by the transmission / reception unit 11. It controls whether to display an input image (an example of a second image) based on data, or to display either a captured image or an input image.
  • the call terminal 10 can display either the input image or the captured image when the displayed input image increases and the visibility decreases with the progress of communication. To do.
  • the display control unit 14 sets the transparency of the input image.
  • the input image having the transparency set by the display control unit 14 is displayed superimposed on the captured image.
  • the display control unit 14 displays the input image by setting the transparency to 0%, displays the captured image by setting the transparency to 100%, and sets the transparency to other values.
  • the captured image can be displayed together with the input image.
  • the display control unit 14 sets the transparency of the input image to a transparency different from that before the new input image data is received by the transmission / reception unit 11. .
  • the change in the transparency of the displayed input image makes it easier for the user to notice the update of the input image.
  • the display control unit 14 sets the input image to the transparency before the new input image data is received. Accordingly, when the next input image data is received, the display control unit 14 can change the transparency in the same manner as described above.
  • the operation input reception unit 12 of the call terminal 10 receives an operation input based on the operation of the slider S displayed on the display 120.
  • the display control unit 14 sets the transparency of the input image based on the operation input received by the operation input receiving unit 12. Thereby, it is possible to set the transparency of the input image based on the operation by the user.
  • the display control unit 14 is a graphical user interface for accepting input of an image when a session (sed1, sed2) (an example of a communication session) with another call terminal 10 is established. Control is performed so that a pencil function icon I1 (an example of an interface) is displayed on the display 120. This makes it easier for the user to notice the pencil function when performing a video conference.
  • Management system 50 (an example of a control device) performs control to establish a session (sed1, sed2) between call terminals. Thereby, a plurality of sessions (sed1, sed2) can be established in cooperation.
  • Each program for the call terminal 10 and the management system 50 is recorded and distributed on a computer-readable recording medium (such as the recording medium 106) in an installable or executable format file. Also good.
  • the recording medium include CD-R (Compact Disc Recordable), DVD (Digital Versatile Disk), and Blu-ray Disc.
  • the recording medium or an HD (Hard Disk) in which these programs are stored can be provided domestically or abroad as a program product.
  • each of the call terminal 10 and the management system 50 in the above embodiment may be constructed by a single device, or may be constructed by a plurality of devices arbitrarily assigned by dividing each unit (function or means). It may be.
  • the video conference is performed using the image sharing device (intermediate concept) such as the call terminal 10 (subordinate concept), but the present invention is not limited to this.
  • the present invention includes an application of the above-described embodiment in a communication technology as a broader concept including a video conference. For example, when transmitting a plurality of content data between a plurality of communication terminals (superordinate concepts) in a projector system, a digital signage, a text sharing system, a car navigation system, a communication system for a game machine, etc. Can be applied.

Abstract

【課題】　通信端末間で複数種の画像コンテンツを送信することで、多様な情報を伝達可能になる。しかしながら、コミュニケーションの進捗に伴って、表示される画像コンテンツが増加すると、通信端末毎に画像コンテンツを表示可能なスペースは限られているため、視認性が低下する。 【解決手段】　通話端末１０の送受信部１１は、他の通話端末１０によって送信される撮像画像データ及び入力画像データを受信する。通話端末１０の表示制御部１４は、送受信部１１によって受信された撮像画像データに基づく撮像画像、及び送受信部１１によって受信された入力画像データに基づく入力画像を表示するか、若しくは撮像画像、又は入力画像の一方を表示するかを制御する。

Description

通信端末、通信システム、表示制御方法、及びプログラム
　本発明は、通信端末、通信システム、表示制御方法、及びプログラムに関する。
　近年、当事者の移動の経費や時間を削減する要請等に伴い、インターネットや専用線等の通信ネットワークを介して通話や会議等を行う通信システムが普及している。このような通信システムでは、通信端末間で通信を開始すると、画像データ及び音データ等のコンテンツデータの送受信が行われ、拠点間のコミュニケーションを実現する。最近では、会議機能に特化した専用端末間だけでなく、会議用のアプリケーションがインストールされたタブレットやスマートフォン等の汎用端末間で各種コンテンツデータを送信できるようになっている。
　また、拠点間のコミュニケーションを円滑に行うために、複数種の画像コンテンツを拠点間で送信する方法が提案されている。例えば、特許文献１には、端末装置から全ての端末装置へ議事進行用の会議の議事項目を送信する一方で、各端末装置において手書き入力された手書き情報である手書きデータを他の端末装置へ送信する方法が開示されている。
各端末装置は、受信した議事項目及び手書きデータを同一ウインドウ上に表示する。
　通信端末間で複数種の画像コンテンツを送信することで、多様な情報を伝達可能になる。しかしながら、コミュニケーションの進捗に伴って、表示される画像コンテンツが増加すると、通信端末毎に画像コンテンツを表示可能なスペースは限られているため、視認性が低下するという課題が生じる。
　ある実施例によれば、通信端末は、他の通信端末によって送信される第１のコンテンツデータ及び第２のコンテンツデータを受信する受信手段と、前記受信手段によって受信された前記第１のコンテンツデータに基づく第１の画像、及び前記受信手段によって受信された前記第２のコンテンツデータに基づく第２の画像を表示するか、若しくは前記第１の画像、又は前記第２の画像の一方を表示するかを制御する表示制御手段と、を有することを特徴とする。
　少なくとも１つの実施例によれば、通信端末間で複数種の画像コンテンツを送信する場合に、通信端末において表示される画像コンテンツの視認性を向上させることが可能になるという効果を奏する。
一実施形態に係る通信システムの概略図である。 一実施形態に係る通話端末のハードウェア構成図である。 一実施形態に係る管理システムのハードウェア構成図である。 一実施形態に係る通話端末、及び管理システムの各機能ブロック図である。 通話端末と管理システムとの間のセッションを確立する処理を示したシーケンス図である。 通話端末間のセッションを確立する処理を示したシーケンス図である。 画像の表示を制御する処理を示したフロー図である。 表示画像の一例を示す図である。 画像が重畳される様子を概念的に示した図である。 表示画像の一例を示す図である。 画像が重畳される様子を概念的に示した図である。 表示画像の一例を示す図である。 画像が重畳される様子を概念的に示した図である。 表示画像の一例を示す図である。 画像が重畳される様子を概念的に示した図である。 画像の表示を制御する処理を示したフロー図である。
　以下、本発明の実施形態について説明する。
　＜＜実施形態の全体構成＞＞
　図１は、本発明の一実施形態に係る通信システムの概略図である。図１に示されているように、通信システム１は、スマートフォンが一例である通話端末（１０ａ，１０ｂ）、通話端末（１０ａ，１０ｂ）間でコンテンツデータを中継するための中継装置３０及び情報共有システム４０、並びに、通話端末１０を管理する管理システム５０によって構築されている。以下、通話端末（１０ａ，１０ｂ）のうち任意の通話端末を表す場合は、通話端末１０と記載する。管理システム５０は、サーバ機能を備えたコンピュータである。中継装置３０は、各通話端末１０において撮像された画像（映像）に係る撮像画像データ、各通話端末１０において集音された音に係る音データを中継する。情報共有システム４０は、各通話端末１０のタッチパネルの操作により入力された画像に係る入力画像データを中継する。
　この通信システム１によって、通話端末（１０ａ，１０ｂ）のユーザ間で、通話を行うことができる。この通話は、通話端末（１０ａ，１０ｂ）間で、音、撮像画像（映像）、又は、音及び撮像画像（映像）を相互に送信することによって実現することができる。また、通話端末（１０ａ，１０ｂ）間で、文字、図形、記号等が描かれた入力画像を共有することができる。
　また、通話端末１０、中継装置３０、情報共有システム４０、及び管理システム５０は、インターネット、携帯電話網、あるいは、ＬＡＮ(Local Area Network)等の通信ネットワーク２によって通信可能である。通信ネットワーク２には、通話端末１０と通信を行うための携帯電話網の末端にある基地局（８ａ，８ｂ）も含まれている。以下、基地局（８ａ，８ｂ）のうち任意の基地局を表す場合は、基地局８と記載する。なお、図１では、説明を簡単にするために、通信システム１に２台の通話端末１０が表されているが、３台以上の通話端末１０が設けられていても良い。また、通話端末１０として、テレビ会議の機能に特化した専用端末、あるいはＰＣ（Personal Computer）やタブレット等の汎用端末が含まれていても良い。
　＜＜実施形態のハードウェア構成＞＞
　図２は、一実施形態に係る通話端末１０のハードウェア構成図である。図２に示されているように、通話端末１０は、通話端末１０全体の動作を制御するＣＰＵ１０１、プログラムを記憶したＲＯＭ(Read Only Memory)１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ１０３、ＣＰＵ１０１の制御にしたがってデータの読み出し又は書き込みを行うＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）１０４、フラッシュメモリ等の記録メディア１０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ１０７を備えている。そして、メディアドライブ１０７の制御に従って、既に記録されていたデータが読み出され、又は新たにデータが書き込まれて記憶する記録メディア１０６が着脱自在な構成となっている。なお、ＥＥＰＲＯＭ１０４には、ＣＰＵ１０１が実行するオペレーティングシステム（ＯＳ）、その他のプログラム、及び、種々データが記憶されている。
　更に、通話端末１０は、アンテナ１１１ａ、このアンテナ１１１ａを利用して無線通信信号により、最寄りの基地局８と通信を行う通信回路１１１を備えている。更に通話端末１０は、ＣＰＵ１０１の制御に従って被写体を撮像し撮像画像データを得るＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ１１２、音を音信号に変換する音入力部１１４、音信号を音に変換する音出力部１１５を備えている。なお、ＣＭＯＳセンサ１１２は、光を電荷に変換して被写体の画像を電子化する電荷結合素子である。被写体を撮像することができれば、ＣＭＯＳセンサに限らず、ＣＣＤ(Charge Coupled Device)センサを用いてもよい。また、音入力部１１４は、集音するマイクが含まれ、音出力部１１５には、音を出力するスピーカが含まれている。更に通話端末１０は、被写体や各種アイコン等の画像を表示する液晶や有機ＥＬなどのディスプレイ１２０、このディスプレイ１２０上に載せられ、感圧式又は静電式のパネルによって構成され、指やタッチペン等によるタッチによってディスプレイ１２０上におけるタッチ位置を検出するタッチパネル１２１を備えている。更に、通話端末１０は、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。
　図３は、一実施形態に係る管理システム５０のハードウェア構成図である。管理システム５０は、管理システム５０全体の動作を制御するＣＰＵ５０１、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶したＲＯＭ５０２、ＣＰＵ５０１のワークエリアとして使用されるＲＡＭ５０３、管理システム５０用のプログラム等の各種データを記憶するＨＤ５０４、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)５０５、フラッシュメモリ等の記録メディア５０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ５０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ５０８、通信ネットワーク２を利用してデータ通信するためのネットワークＩ／Ｆ５０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード５１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス５１２、着脱可能な記録媒体の一例としてのＣＤ－ＲＯＭ(Compact Disc Read Only Memory)５１３に対する各種データの読み出し又は書き込みを制御するＣＤ－ＲＯＭドライブ５１４、及び、上記各構成要素を図３に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン５１０を備えている。なお、中継装置３０、情報共有システム４０は、管理システム５０と同様のハードウェア構成を有するため説明を省略する。
　＜＜実施形態の機能構成＞＞
　次に、本実施形態の機能構成について説明する。図４は、一実施形態に係る通信システム１の一部を構成する通話端末１０、及び管理システム５０の機能ブロック図である。図４では、通話端末１０、及び管理システム５０が、通信ネットワーク２を介してデータ通信することができるように接続されている。
　＜通話端末の機能構成＞
　通話端末１０は、送受信部１１、操作入力受付部１２、解析部１３、表示制御部１４、及び記憶・読出部１９を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ１０４からＲＡＭ１０３上に展開されたプログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能である。また、通話端末１０は、ＲＯＭ１０２、ＲＡＭ１０３、ＥＥＰＲＯＭ１０４、及び記録メディア１０６によって構築される記憶部１０００を有している。
　記憶部１０００の不揮発性の記憶領域には、会議用アプリケーションが格納されている。会議用アプリケーションは、撮像画像を通話端末１０間で送信するための機能、及び、タッチパネル１２１の操作により入力された入力画像を通話端末１０間で共有するための機能を実現する。従来の通話端末において、撮像画像を通話端末間で送信するための機能と、入力画像を通話端末間で共有する機能は独立していた。このため、通話端末間で会議が開始されても、ユーザが入力画像を共有する機能に気づかずに、この機能が利用されないことがあった。これに対して、本実施形態によると、会議用アプリケーションを起動することで、両方の機能が利用可能な状態となる。
　次に、通話端末１０の各機能構成について詳細に説明する。なお、以下では、通話端末１０の各機能構成を説明するにあたって、図４に示されている各構成要素のうち、通話端末１０の各機能構成を実現させるための主な構成要素との関係も説明する。
　通話端末１０の送受信部１１は、ＣＰＵ１０１からの命令、及び通信回路１１１によって実現され、通信ネットワーク２を介して、相手側の通話端末、各装置又はシステム等と各種データ（または情報）の送受信を行う。
　操作入力受付部１２は、ＣＰＵ１０１からの命令、及びタッチパネル１２１によって実現され、ユーザによる各種操作入力を受け付けたり、ユーザによる各種選択を受け付ける。上記の操作には、タッチパネル１２１へのタップやストローク、スワイプ操作が含まれる。
　解析部１３は、ＣＰＵ１０１からの命令によって実現され、操作入力受付部１２によって受け付けられた操作情報を解析する。例えば、解析部１３は、タッチパネル１２１へのタップやストローク、スワイプ操作を示す操作情報を座標情報に変換して他の機能部に受け渡す。
　表示制御部１４は、ＣＰＵ１０１からの命令によって実現され、相手側の通話端末から送られてきた撮像画像データまたは入力画像データ、並びに、自端末において生成した撮像画像データまたは入力画像データをディスプレイ１２０に送信するための制御を行う。
　記憶・読出部１９は、ＣＰＵ１０１からの命令によって実現され、記憶部１０００に各種データを記憶したり、記憶部１０００に記憶された各種データを読み出す。
　＜管理システムの機能構成＞
　管理システム５０は、送受信部５１、認証部５２、管理部５３、セッション制御部５８、及び記憶・読出部５９を有している。これら各部は、図３に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された管理システム５０用のプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。また、管理システム５０は、ＨＤ５０４により構築される記憶部５０００を有している。
　（端末管理テーブル）
　表１は、端末管理テーブルを示す概念図である。記憶部５０００には端末管理テーブルによって構築される端末管理ＤＢ５００２が記憶されている。この端末管理テーブルでは、各通話端末１０の通信ＩＤ毎に、端末名、各通話端末１０の稼働状態、及び各通話端末１０のＩＰアドレスが関連付けられて管理される。なお、通信ＩＤは、通信システム１において通信先の通話端末１０を識別するための情報である。通信ＩＤとしては、通信先の通話端末１０を特定可能な情報であれば任意であるが、例えば、通話端末１０を識別する情報、通話端末１０のユーザを識別する情報等が含まれる。また、稼働状態には、通話端末１０が管理システム５０と接続している状態を示す「オンライン」、通話端末１０が管理システム５０と接続していない状態を示す「オフライン」が含まれる。更に、オンラインには、この通信ＩＤで示された通話端末１０との通信が可能である「通信可能」の状態、及びこの通信ＩＤで示された通話端末１０が他の通話端末と通信中である「通信中」の状態がある。
Figure JPOXMLDOC01-appb-T000001
　次に、管理システム５０の各機能構成について詳細に説明する。なお、以下では、管理システム５０の各機能構成を説明するにあたって、図３に示されている各構成要素のうち、管理システム５０の各機能構成を実現させるための主な構成要素との関係も説明する。
　送受信部５１は、ＣＰＵ５０１からの命令、及びネットワークＩ／Ｆ５０９によって実現され、通信ネットワーク２を介して各通話端末、装置又はシステムと各種データ（または情報）の送受信を行う。
　認証部５２は、ＣＰＵ５０１からの命令によって実現され、送受信部５１で受信された通信ＩＤ及びパスワードを検索キーとして、記憶部５０００に同一の通信ＩＤ及びパスワードが管理されているかを判断することによって通話端末１０の認証を行う。
　管理部５３は、ＣＰＵ５０１からの命令によって実現され、端末管理テーブル（表１参照）で、通話端末１０の通信ＩＤ及び端末名毎に、通話端末１０の稼働状態、及びＩＰアドレスを関連付けて記憶して管理する。
　セッション制御部５８は、ＣＰＵ５０１からの命令によって実現され、通話端末１０間でコンテンツデータを送信するためのセッションを制御する。上記の制御としては、セッションを確立するための制御、確立されたセッションに通話端末１０を参加させる制御、セッションを切断する制御等が含まれる。
　記憶・読出部５９は、ＣＰＵ５０１からの命令及びＨＤＤ５０５によって実現され、又はＣＰＵ５０１からの命令によって実現され、記憶部５０００に各種データを記憶したり、記憶部５０００に記憶された各種データを抽出する処理を行う。
　＜＜実施形態の処理または動作＞＞
　続いて、本実施形態の通信システム１を構成する通話端末１０、及び管理システム５０の処理または動作について説明する。また、図５は、通話端末１０と管理システム５０との間のセッションを確立する処理を示したシーケンス図である。
　通話端末１０の送受信部１１は、管理システム５０に対し、ログイン要求を送信する（ステップＳ１）。このログイン要求には、ログイン要求元の通話端末１０を識別するための通信ＩＤ及びパスワードが含まれる。これにより、管理システム５０の送受信部５１は、ログイン要求並びに通信ＩＤ及びパスワードを受信する。
　次に、認証部５２は、送受信部５１によって受信された通信ＩＤ及びパスワードの組と同じ組が、記憶部５０００で管理されているかを判断することで、ログイン要求元の通話端末１０の認証を行う（ステップＳ２）。なお、記憶部５０００には、認証用の通信ＩＤ及びパスワードの組が予め記憶されている。そして、この認証により、正当な通話端末１０であると判断された場合には、管理部５３は、端末管理テーブル（表１参照）において、当該端末の通信ＩＤに対して、稼働状態「ＯＮライン（通信可能）」とし、ＩＰアドレスを記録する（ステップＳ３）。なお、ＩＰアドレスは、送受信部５１が、ログイン要求を受け付けるときに、通話端末１０から送られてくる情報から取得したものである。
　次に、送受信部５１は、ログイン要求元の通話端末１０に対して、認証結果を送信する（ステップＳ４）。これにより、送受信部１１は、認証結果を受信する。上記ステップＳ２により、正当な通話端末であると判断された場合には、ログイン要求元の通話端末１０と管理システム５０との間でセッションｓｅｉが確立される（ステップＳ５）。
　続いて、図６を用いて、管理システム５０へログインした各通話端末１０間でコンテンツデータを送信するためのセッションを確立する処理を説明する。なお、図６は、通話端末１０間のセッションを確立する処理を示したシーケンス図である。上記のセッションには、通話端末１０間で音データ及び撮像画像データを送信するセッションｓｅｄ１と、通話端末１０間で入力画像データを送信するセッションｓｅｄ２と、が含まれる。
　以下、通信の開始要求元は通話端末１０ａであり、宛先は通話端末１０ｂである場合について説明する。ユーザによる操作に応じて、通話端末１０ａの送受信部１１は、管理システム５０に対し、通信の開始要求を送信する（ステップＳ２１）。この通信の開始要求には、通信の開始要求元の通話端末１０ａの通信ＩＤ、及び宛先の通話端末１０ｂの通信ＩＤが含まれている。
　管理システム５０の送受信部５１は、通信の開始要求を受信する。続いて、管理システム５０の管理部５３は、端末管理テーブル（表１参照）において、通信の開始要求元の通話端末１０ａの通信ＩＤに対応する稼働状態を「ＯＮライン（通信中）」にする（ステップＳ２２）。
　次に、管理システム５０の送受信部５１は、宛先の通話端末１０ｂに対して、通信の開始要求を送信する（ステップＳ２３）。この通信の開始要求には、通信の開始要求元の通話端末１０ａの通信ＩＤ及び宛先の通話端末１０ｂの通信ＩＤが含まれている。これにより、宛先の通話端末１０ｂは、通信の開始要求を受信する。
　この通信の開始要求に対して、通話端末１０ｂの送受信部１１は、ユーザによる操作に応じて、管理システム５０に、通信の開始要求の受諾又は拒絶を示す応答を送信する（ステップＳ２４）。以下、通話端末１０ｂが、要求の受諾を示す応答を管理システム５０へ送信した場合について説明を続ける。
　管理システム５０の送受信部５１は、要求の受諾を示す応答を受信する。続いて、管理システム５０の管理部５３は、端末管理テーブル（表１参照）において、宛先の通話端末１０ｂの通信ＩＤに対応する稼働状態を、「ＯＮライン（通信中）」にする（ステップＳ２５）。
　次に、管理システム５０の送受信部５１は、開始要求元の通話端末１０ａに対し、要求の受諾を示す応答を送信する（ステップＳ２６）。これにより、通話端末１０ａは、送受信部１１によって、要求の受諾を示す応答を受信する。
　続いて、管理システム５０の、セッション制御部５８は、通話端末（１０ａ，１０ｂ）間で通信ネットワーク２を介して撮像画像データ及び音データを送信するセッションｓｅｄ１の確立を制御する（ステップＳ２７）。セッションｓｅｄ１を確立させる方法は、任意に選択してよい。例えば、セッション制御部５８が、送受信部５１を介して、中継装置３０に接続するための接続情報を、通話端末（１０ａ，１０ｂ）へ送信する方法が挙げられる。通話端末（１０ａ，１０ｂ）は、接続情報に基づいて中継装置３０と接続することでセッションｓｅｄ１は確立する。
　上記の制御に基づいて、セッションｓｅｄ１が確立されると、各通話端末（１０ａ，１０ｂ）の送受信部１１は、自端末において撮像された画像に基づく撮像画像データ、及び自端末において集音された音に基づく音データを、中継装置３０を介して相手側の通話端末（１０ｂ，１０ａ）へ送信する（ステップＳ２８）。また、各通話端末（１０ａ，１０ｂ）の送受信部１１は、相手側の通話端末（１０ｂ，１０ａ）から中継装置３０を介して送られてきた撮像画像データ及び音データを受信する。
　続いて、管理システム５０の、セッション制御部５８は、通話端末（１０ａ，１０ｂ）間で通信ネットワーク２を介して入力画像データを送信するためのセッションｓｅｄ２の確立を制御する（ステップＳ３１）。セッションｓｅｄ２を確立させる方法は任意に選択してよい。例えば、セッション制御部５８が、送受信部５１を介して、情報共有システム４０に接続するための接続情報を、通話端末（１０ａ，１０ｂ）へ送信する方法が挙げられる。この場合、通話端末（１０ａ，１０ｂ）は、接続情報に基づいて情報共有システム４０と接続することでセッションｓｅｄ２は確立する。
　上記の制御に基づいて、セッションｓｅｄ２が確立されてから、各通話端末（１０ａ，１０ｂ）の操作入力受付部１２は、タッチパネル１２１への操作入力を受け付ける（Ｓ３２－１，Ｓ３２－２）。解析部１３は、タッチパネル１２１への操作を示すタップやストローク、スワイプ等の操作情報を解析して、入力された画像の入力画像データを生成する（ステップＳ３３－１，Ｓ３３－２）。この入力画像データは、色、太さ、座標等の情報を含んでいても良い。入力画像データが生成される度、記憶・読出部１９は、生成された入力画像データを追加的に記憶部１０００に記憶する。
　各通話端末（１０ａ，１０ｂ）の送受信部１１は、自端末において生成された入力画像データを、情報共有システム４０を介して相手側の通話端末（１０ｂ，１０ａ）へ送信する（ステップＳ３４－１，Ｓ３４－２）。また、各通話端末（１０ａ，１０ｂ）の送受信部１１は、相手側の通話端末（１０ｂ，１０ａ）から情報共有システム４０を介して送られてきた入力画像データを受信する。入力画像データが受信される度、記憶・読出部１９は、受信された入力画像データを追加的に記憶部１０００に記憶する。
　続いて、図７を用いて、各通話端末１０において、画像の表示を制御する処理について説明する。図７は、各通話端末１０において、画像の表示を制御する処理を示したフロー図である。
　記憶部１０００には、入力画像の透過度のデフォルト値として５０％が記憶されている。なお、透過度とは、複数の画像を重畳して表示するときに画像をどの程度透過させるかを示す値であり、例えば、デジタル画像におけるアルファ値として表すことができる。
　通話端末１０間のセッション（ｓｅｄ１，ｓｅｄ２）が確立して、通話端末１０においてコンテンツを表示可能な状態となると、通話端末１０の表示制御部１４は、記憶部１０００において記憶されている透過度（５０％）を参照する（ステップＳ４１）。
　続いて、表示制御部１４は、白地のバックグラウンドに、記憶部１０００に記憶されている入力画像データに基づく画像、及び操作用のアイコンの画像を重畳し、合成画像の透過度を参照された値（５０％）に設定（補正）する（ステップＳ４２）。なお、記憶部１０００には、セッションｓｅｄ２が確立されてから自通話端末において生成されたすべての入力画像データ、又は他通話端末から送られてきたすべての入力画像データが記憶されている。
　続いて表示制御部１４は、ステップＳ２８において受信される撮像画像データに基づく撮像画像（層Ｌ１）に、透過度５０％に設定された合成画像（層Ｌ２）とスライダＳの画像（層Ｌ３）を重畳してディスプレイ１２０に表示する制御を行う（ステップＳ４３）。図８Ａは、セッション（ｓｅｄ１，ｓｅｄ２）開始後のディスプレイの表示画像の一例を示す図である。図８Ｂは、画像が重畳される様子を概念的に示した図である。
　アイコンＩ１は、鉛筆機能、即ち、フリーハンドでタッチパネル１２１に画像を入力する機能を示すアイコンである。アイコンＩ２は、消しゴム機能、即ち、入力画像を消す機能を示すアイコンである。スライダＳは、入力画像の透過度を設定するために用いられる。操作入力受付部１２がスライダＳの移動を受け付けると、記憶・読出部１９は、移動後の位置に応じて、記憶部１０００に記憶されている透過度を更新する。なお、図８Ａおよび図８Ｂでは、会議が開始された直後で入力画像が生成又は受信される前の状態を示している。
　通話端末（１０ａ，１０ｂ）間のコミュニケーションの進捗に伴い、自通話端末又は通信相手の通話端末において画像が入力されると、記憶部１０００には入力画像データが追加的に記憶される。ステップＳ４１乃至Ｓ４３の処理は、通話端末１０がセッション（ｓｅｄ１，ｓｅｄ２）から退出するまで繰り返し実行されるため、記憶部１０００に入力画像データが記憶されると、ステップＳ４１乃至Ｓ４３の処理によりディスプレイ１２０には設定された透過度の入力画像が表示される。図９Ａは、入力画像の生成後又は受信後のディスプレイの表示画像の一例を示す図である。図９Ｂは、画像が重畳される様子を概念的に示した図である。
　続いて、操作入力受付部１２が、スライダＳの最上部への移動を受け付けると、記憶・読出部１９は、移動後の位置に応じて、記憶部１０００に記憶された透過度を１００％に更新する。このとき、ステップＳ４１で参照される透過度は１００％となるので、ステップＳ４２の処理によりバックグラウンド、入力画像、及びアイコン（Ｉ１，Ｉ２）は透明になり、層Ｌ２上に画像は形成されなくなる。図１０Ａは、透過度１００％に設定されたときのディスプレイの表示画像の一例を示す図である。図１０Ｂは、画像が重畳される様子を概念的に示した図である。これにより、撮像画像及びスライダＳのみが表示されるようになる。
　続いて、操作入力受付部１２が、スライダの最下部への移動を受け付けると、記憶・読出部１９は、移動後の位置に応じて、記憶部１０００に記憶された透過度を０％に更新する。このとき、ステップＳ４１で参照される透過度は０％であり、ステップＳ４２の処理により層Ｌ２は不透過になる。図１１Ａは、透過度０％に設定されたときのディスプレイの表示画像の一例を示す図である。図１１Ｂは、画像が重畳される様子を概念的に示した図である。これにより、入力画像、アイコン（Ｉ１，Ｉ２）、スライダＳのみが表示されるようになる。
　＜＜実施形態の変形例＞＞
　続いて、本発明の他の一実施形態として、画像の表示を制御する処理の変形例について説明する。図１２は、画像の表示を制御する処理の変形例を示したフロー図である。
　変形例において、記憶部１０００には、入力画像の透過度として第１の透過度と、第２の透過度が記憶されている。第２の透過度は、第１の透過度よりも小さいことが好ましく、例えば、０％以上で第１の透過度より小さい所定の値、あるいは、第１の透過度から所定の値を減じた値である。以下、第１の透過度は１００％、第２の透過度は５０％であるものとして説明を続ける。
　通話端末１０間のセッション（ｓｅｄ１，ｓｅｄ２）が確立して、通話端末１０においてコンテンツを表示可能な状態となると、表示制御部１４は、記憶部１０００において記憶されている第１の透過度（１００％）を参照する（ステップＳ６１）。続いて、表示制御部１４は、参照された第１の透過度（１００％）に基づいて、ステップＳ４２の処理と同様にして入力画像の透過度を設定（補正）し（ステップＳ６２）、ステップＳ４３の処理と同様にして画像の表示を制御する（ステップＳ６３）。このとき、入力画像の透過度は１００％に設定されるため、ディスプレイ１２０には、図１０Ａおよび図１０Ｂにおいて示されているような画像が表示される。
　操作入力受付部１２において新たな画像の入力が受け付けられた場合、又は、送受信部１１において新たな入力画像データが受信された場合（ステップＳ６４のＹＥＳ）、表示制御部１４は、記憶部１０００において記憶されている第２の透過度（５０％）を参照する（ステップＳ６５）。続いて、表示制御部１４は、参照された第２の透過度（５０％）に基づいて、ステップＳ４２の処理と同様にして入力画像の透過度を設定（補正）し（ステップＳ６６）、ステップＳ４３の処理と同様にして画像の表示を制御する（ステップＳ６７）。このとき、入力画像の透過度は５０％に設定されるため、ディスプレイ１２０には、図９Ａおよび図９Ｂにおいて示されているような画像が表示される。
　表示制御部１４は、操作入力受付部１２において新たな画像の入力が受け付けられてから、又は、送受信部１１において新たな入力画像データが受信されてから、所定の経過時間経過したか否かを判断する（ステップＳ６８）。所定の時間経過するまで、表示制御部１４は、ステップＳ６５乃至Ｓ６７の処理を繰り返し実行する。所定の時間が経過すると、ステップＳ６１の処理に移行する。このとき、入力画像の透過度は再び１００％に設定されるため、ディスプレイ１２０には、図１０において示されているような画像が再び表示される。
　＜＜実施形態の効果＞＞
　続いて、上記実施形態の主な効果について説明する。
　通話端末１０（通信端末の一例）の送受信部１１（受信手段の一例）は、他の通話端末１０によって送信される撮像画像データ（第１のコンテンツデータの一例）及び入力画像データ（第２のコンテンツデータの一例）を受信する。通話端末１０の表示制御部１４（表示制御手段の一例）は、送受信部１１によって受信された撮像画像データに基づく撮像画像（第１の画像の一例）、及び送受信部１１によって受信された入力画像データに基づく入力画像（第２の画像の一例）を表示するか、若しくは撮像画像、又は入力画像の一方を表示するかを制御する。これにより、コミュニケーションの進捗に伴い、表示される入力画像が増加して視認性が低下してきたときに、通話端末１０は入力画像又は撮像画像の一方を表示できるようになるので、視認性が向上する。
　表示制御部１４は、入力画像の透過度を設定する。通話端末１０では、表示制御部１４によって設定された透過度の入力画像を、撮像画像に重畳して表示する。表示制御部１４は、透過度を０％に設定することで入力画像を表示し、透過度を１００％に設定することで撮像画像を表示し、透過度をそれ以外の値に設定することで、撮像画像を、入力画像とともに表示することができる。
　送受信部１１によって新たな入力画像データが受信された後、表示制御部１４は、入力画像の透過度を、送受信部１１によって新たな入力画像データが受信される前とは異なる透過度に設定する。このとき、表示される入力画像の透過度の変化により、ユーザは、入力画像の更新に気づきやすくなる。
　送受信部１１によって新たな入力画像データが受信されてから所定の時間経過すると、表示制御部１４は、入力画像を、新たな入力画像データが受信される前の透過度に設定する。これにより、次の入力画像データが受信されるときに、表示制御部１４が、上記と同様に透過度を変化させることが可能になる。
　通話端末１０の操作入力受付部１２は、ディスプレイ１２０上に表示されるスライダＳの操作に基づいて操作入力を受け付ける。表示制御部１４は、操作入力受付部１２によって受け付けられた操作入力に基づいて、入力画像の透過度を設定する。これにより、ユーザによる操作に基づいて、入力画像の透過度を設定することが可能になる。
　表示制御部１４は、他の通話端末１０との間のセッション（ｓｅｄ１，ｓｅｄ２）（通信セッションの一例）が確立されるときに、画像の入力を受け付けるためのグラフィカルユーザインタフェースであって、例えば、鉛筆機能のアイコンＩ１（インタフェースの一例）がディスプレイ１２０に表示されるよう制御する。これにより、ユーザは、テレビ会議を行うときに、鉛筆機能に気づきやすくなる。
　管理システム５０（制御装置の一例）は、通話端末間のセッション（ｓｅｄ１，ｓｅｄ２）を確立する制御を行う。これにより、複数のセッション（ｓｅｄ１，ｓｅｄ２）を連携して確立させることが可能になる。
　＜＜実施形態の補足＞＞
　通話端末１０、及び管理システム５０用の各プログラムは、インストール可能な形式又は実行可能な形式のファイルによって、コンピュータで読み取り可能な記録媒体（記録メディア１０６等）に記録されて流通されるようにしてもよい。また、上記記録媒体の他の例として、ＣＤ－Ｒ(Compact Disc Recordable)、ＤＶＤ(Digital Versatile Disk)、ブルーレイディスク等が挙げられる。また、上記記録媒体、あるいは、これらプログラムが記憶されたＨＤ(Hard Disk)は、プログラム製品(Program Product)として、国内又は国外へ提供可能である。
　また、上記実施形態における通話端末１０、及び管理システム５０は、それぞれ単一の装置によって構築されてもよいし、各部（機能又は手段）を分割して任意に割り当てられた複数の装置によって構築されていてもよい。
　更に、上記では、通話端末１０（下位概念）等の画像共有装置（中位概念）によって、テレビ会議を行うことに関して説明したが、これに限るものではない。本発明は、テレビ会議を含めたより広い概念としての通信技術において上記実施形態を応用したものを含む。例えば、プロジェクターシステム、デジタルサイネージ、テキスト共有システム、カーナビゲーションシステム、ゲーム機用の通信システム等で、複数のコンテンツデータを、複数の通信端末（上位概念）間で送信する場合に、上記実施形態を応用することができる。
　本国際特許出願は２０１５年１月２２日に出願した日本国特許出願第２０１５－０１０２３４号に基づきその優先権を主張するものであり、日本国特許出願第２０１５－０１０２３４号の全内容を本願に援用する。
１　通信システム
２　通信ネットワーク
１０　通話端末
１１　送受信部
１２　操作入力受付部
１３　解析部
１４　表示制御部
１９　記憶・読出部
３０　中継装置
４０　情報共有システム
５０　管理システム
５１　送受信部
５２　認証部
５３　管理部
５８　セッション制御部
５９　記憶・読出部
１０００　記憶部
５０００　記憶部
特許第３２３７３３９号公報

Claims (11)

  1. 　他の通信端末によって送信される第１のコンテンツデータ及び第２のコンテンツデータを受信する受信手段と、
    　前記受信手段によって受信された前記第１のコンテンツデータに基づく第１の画像、及び前記受信手段によって受信された前記第２のコンテンツデータに基づく第２の画像を表示するか、若しくは前記第１の画像、又は前記第２の画像の一方を表示するかを制御する表示制御手段と、
    　を有することを特徴とする通信端末。
  2. 　前記第１のコンテンツデータは、前記他の通信端末において撮像された画像に基づいて生成される画像データであり、
    　前記第２のコンテンツデータは、前記他の通信端末のユーザの操作入力によって入力された画像に基づいて生成される画像データである
    　ことを特徴とする請求項１に記載の通信端末。
  3. 　前記表示制御手段は、前記第２の画像の透過度を設定し、
    　前記表示制御手段によって設定された透過度の前記第２の画像が、前記第１の画像に重畳されて表示されることを特徴とする請求項１または２に記載の通信端末。
  4. 　前記受信手段によって新たな前記第２のコンテンツデータが受信された後、前記表示制御手段は、前記第２の画像の透過度を、前記新たな第２のコンテンツデータが受信される前とは異なる透過度に設定することを特徴とする請求項３に記載の通信端末。
  5. 　前記受信手段によって新たな前記第２のコンテンツデータが受信されてから所定の時間経過すると、前記表示制御手段は、前記第２の画像を、新たな前記第２のコンテンツデータが受信される前の透過度に設定することを特徴とする請求項４に記載の通信端末。
  6. 　操作入力を受け付ける操作入力受付手段をさらに有し、
    　前記表示制御手段は、前記操作入力受付手段によって受け付けられた前記操作入力に基づいて、前記第２の画像の透過度を設定することを特徴とする請求項３乃至５のいずれか一項に記載の通信端末。
  7. 　前記他の通信端末と通信するための通信セッションが確立されるときに、画像の入力を受け付けるためのインタフェースを表示することを特徴とする請求項６に記載の通信端末。
  8. 　請求項１乃至７のいずれか一項に記載の通信端末を複数備えたことを特徴とする通信システム。
  9. 　通信端末間で前記第１のコンテンツデータを送信するための通信セッション、及び前記通信端末間で前記第２のコンテンツデータを送信するための通信セッションを確立する制御を行う制御装置をさらに備えたことを特徴とする請求項８に記載の通信システム。
  10. 　通信端末が、
    　他の通信端末によって送信される第１のコンテンツデータ及び第２のコンテンツデータを受信する受信処理と、
    　前記受信処理によって受信された前記第１のコンテンツデータに基づく第１の画像、及び前記受信処理によって受信された前記第２のコンテンツデータに基づく第２の画像を表示するか、若しくは前記第１の画像、又は前記第２の画像の一方を表示するかを制御する表示制御処理と、
    　を実行することを特徴とする表示制御方法。
  11. 　前記通信端末に、請求項１０に記載の各処理を実行させることを特徴とするプログラム。
PCT/JP2015/085332 2015-01-22 2015-12-17 通信端末、通信システム、表示制御方法、及びプログラム WO2016117249A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015010234A JP2018041990A (ja) 2015-01-22 2015-01-22 通信端末、通信システム、表示制御方法、及びプログラム
JP2015-010234 2015-01-22

Publications (1)

Publication Number Publication Date
WO2016117249A1 true WO2016117249A1 (ja) 2016-07-28

Family

ID=56416809

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/085332 WO2016117249A1 (ja) 2015-01-22 2015-12-17 通信端末、通信システム、表示制御方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP2018041990A (ja)
WO (1) WO2016117249A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11052974B2 (en) 2016-07-01 2021-07-06 Kongsberg Maritime As Dynamic tug winch control

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6714942B1 (ja) * 2020-03-04 2020-07-01 フォクレット合同会社 コミュニケーションシステム、コンピュータプログラム、及び情報処理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010219635A (ja) * 2009-03-13 2010-09-30 Brother Ind Ltd テレビ会議装置、テレビ会議システム、テレビ会議方法、及びテレビ会議プログラム
JP2013134387A (ja) * 2011-12-27 2013-07-08 Sharp Corp 表示画像の操作システム、それを構成する画像表示装置、及びその制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010219635A (ja) * 2009-03-13 2010-09-30 Brother Ind Ltd テレビ会議装置、テレビ会議システム、テレビ会議方法、及びテレビ会議プログラム
JP2013134387A (ja) * 2011-12-27 2013-07-08 Sharp Corp 表示画像の操作システム、それを構成する画像表示装置、及びその制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11052974B2 (en) 2016-07-01 2021-07-06 Kongsberg Maritime As Dynamic tug winch control

Also Published As

Publication number Publication date
JP2018041990A (ja) 2018-03-15

Similar Documents

Publication Publication Date Title
JP7255728B2 (ja) 通信端末、通信システム、送信方法、及びプログラム
AU2013345759B2 (en) Transmission system and program
KR102049789B1 (ko) 휴대단말기의 정보 전송장치 및 방법
JP6798288B2 (ja) 通信端末、通信システム、映像出力方法、及びプログラム
JP2015097070A (ja) 通信システム、情報処理装置、プログラム
JP6398343B2 (ja) 通信管理システム、通信管理方法、及びプログラム
EP3089025B1 (en) Information processing device, program, and transfer system
JP2015029255A (ja) 伝送端末、プログラム、画像表示方法、伝送システム
EP3304323B1 (en) Communication terminal, communication control method and recording medium for sharing and displaying stroke data
US10511700B2 (en) Communication terminal with first application displaying status of second application
US9729826B2 (en) Communication management system, communication system, and communication management method
JP6540367B2 (ja) 表示制御装置、通信端末、通信システム、表示制御方法、及びプログラム
JP2017142610A (ja) サーバ装置、伝送システム及びプログラム
JP2017102635A (ja) 通信端末、通信システム、通信制御方法、及びプログラム
JP6163788B2 (ja) 通信端末、通信方法、及びプログラム
JP6451276B2 (ja) 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
WO2016117249A1 (ja) 通信端末、通信システム、表示制御方法、及びプログラム
JP2020149338A (ja) 通信端末、通信システム、表示制御方法およびプログラム
TW201716975A (zh) 即時視訊互動方法與裝置
WO2016208396A1 (ja) 通信端末、管理システム、通信システム、表示方法、及びプログラム
JP6911595B2 (ja) 通信端末、通信システム、出力方法、及びプログラム
CN115103231A (zh) 视频通话方法、装置、第一电子设备及第二电子设备
EP3770748A1 (en) Communication terminal, communication system, display control method, and carrier medium
JP6589621B2 (ja) 表示装置、カメラ位置制御方法、およびプログラム
JP2018060513A (ja) 通信端末、通信システム、送信方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15878938

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15878938

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP