WO2017163323A1 - 画面共有システム、画面共有方法、および画面共有プログラム - Google Patents

画面共有システム、画面共有方法、および画面共有プログラム Download PDF

Info

Publication number
WO2017163323A1
WO2017163323A1 PCT/JP2016/059110 JP2016059110W WO2017163323A1 WO 2017163323 A1 WO2017163323 A1 WO 2017163323A1 JP 2016059110 W JP2016059110 W JP 2016059110W WO 2017163323 A1 WO2017163323 A1 WO 2017163323A1
Authority
WO
WIPO (PCT)
Prior art keywords
screen
area
sharing
focus
priority
Prior art date
Application number
PCT/JP2016/059110
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
Original Assignee
株式会社オプティム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オプティム filed Critical 株式会社オプティム
Priority to PCT/JP2016/059110 priority Critical patent/WO2017163323A1/ja
Publication of WO2017163323A1 publication Critical patent/WO2017163323A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Definitions

  • the present invention relates to a screen sharing system that performs screen sharing with a connection destination terminal, a screen sharing method, and a screen sharing program.
  • screen sharing between terminals has been performed using a public line network such as the Internet.
  • An example of such a screen sharing system is a video conference system, and various improvements have been proposed for improving the audio, image quality, etc. of the video conference.
  • Patent Document 1 when a video conference is performed between two parties, an appropriate conference mode is set according to feature detection of both terminals, a video frame is divided, and pre-processing is performed on the divided area.
  • a system that can obtain a better image by encoding video is disclosed.
  • Patent Document 1 classifies scenes in a video conference by performing feature detection such as presence / absence of a whiteboard, presence / absence of a speaker, and the like, and is effective in a conventional video conference system.
  • feature detection such as presence / absence of a whiteboard, presence / absence of a speaker, and the like
  • a screen sharing system, a screen sharing method, and a screen sharing program that are highly user-friendly and capable of sharing important data with high accuracy while suppressing waste of data transfer.
  • the purpose is to provide.
  • the present invention provides the following solutions.
  • the invention according to the first feature is a screen sharing system for sharing a screen with a connection destination terminal, Focus recognition means for recognizing the focus of the captured image; A focus area selecting means for selecting a focus area recognized by the focus recognition means from the captured image; and Priority sharing means for preferentially sharing the screen with the connection destination terminal with priority on the focal area;
  • a screen sharing system is provided.
  • Focus area selecting means for selecting an area from the captured image, and priority sharing means for sharing the screen with the connection destination terminal with priority on the focus area.
  • the invention according to the first feature is a category of the screen sharing system, but the screen sharing method and the screen sharing program have the same operations and effects.
  • the invention according to the second feature is a screen sharing system for sharing a screen with a connection destination terminal, Image recognition means for recognizing a captured image; An object area selecting means for selecting an object area from the captured image that has been image-recognized; Priority sharing means for preferentially sharing the screen of the object area with the connection destination terminal; A screen sharing system is provided.
  • the invention according to the third feature is a screen sharing system for sharing a screen with a connection destination terminal, Area designating means for designating a predetermined area in the captured image; Priority sharing means for preferentially sharing the screen with the connection destination terminal in preference to the predetermined area; A screen sharing system is provided.
  • the invention according to the fourth feature is a screen sharing system which is the invention according to any one of the first to third features, There is provided a screen sharing system comprising resolution changing means for changing the resolution of an area to be screen shared by the priority sharing means.
  • the screen sharing system according to any one of the first to third aspects further includes a resolution changing unit that changes a resolution of an area shared by the priority sharing unit. Prepare.
  • An invention according to a fifth feature is a screen sharing system that is an invention according to any one of the first to third features, There is provided a screen sharing system comprising frame rate changing means for changing a frame rate of an area shared by the priority sharing means.
  • the screen sharing system according to any one of the first to third aspects is characterized in that the frame rate is changed by changing the frame rate of the area shared by the priority sharing means. Means.
  • An invention according to a sixth feature is a screen sharing system according to any one of the first to third features, wherein There is provided a screen sharing system comprising image size changing means for changing the image size of an area shared by the priority sharing means.
  • the screen sharing system changes the image size of an area to be shared by the priority sharing unit, and the image size change Means.
  • An invention according to a seventh aspect is a screen sharing method for sharing a screen with a connection destination terminal, A focus recognition step for recognizing the focus of the captured image; A focal region selection step of selecting a focal region in focus recognized in the focal recognition step from the captured image; A priority sharing step of preferentially sharing the screen with the connection destination terminal in preference to the focal region; A screen sharing method is provided.
  • the invention according to the eighth feature provides a screen sharing system for sharing a screen with a connection destination terminal.
  • a focus recognition step for recognizing the focus of the captured image;
  • a focal region selection step for selecting a focal region in focus recognized in the focal recognition step from the captured image;
  • a priority sharing step of preferentially sharing the screen with the connection destination terminal in preference to the focal region;
  • a screen sharing program characterized in that is executed.
  • a screen sharing system a screen sharing method, and a screen sharing program that are highly user-friendly and capable of sharing important data with high accuracy while suppressing waste of data transfer. It becomes possible to provide.
  • FIG. 1 is a schematic diagram of a preferred embodiment of the present invention.
  • FIG. 2 is a diagram illustrating the relationship between the function blocks of the terminal 100 and each function when focus recognition is performed and the screen is shared.
  • FIG. 3 is a flowchart of screen sharing processing when the connection source terminal 100a displays a screen on the connection destination terminal 100b.
  • FIG. 4 is a flowchart of the screen sharing process when the screen of the connection destination terminal 100b is displayed on the connection source terminal 100a.
  • FIG. 5 is a flowchart when the screen is recognized and the screen is shared.
  • FIG. 6 is a diagram illustrating the relationship between the function blocks of the terminal 100 and each function when image recognition is performed and the screen is shared.
  • FIG. 7 is a flowchart for image recognition and screen sharing.
  • FIG. 1 is a schematic diagram of a preferred embodiment of the present invention.
  • FIG. 2 is a diagram illustrating the relationship between the function blocks of the terminal 100 and each function when focus recognition is performed and the screen is shared.
  • FIG. 8 is a diagram illustrating the relationship between the function blocks of the terminal 100 and each function when a predetermined area is designated and screen sharing is performed.
  • FIG. 9 is a flowchart in the case of sharing a screen by designating a predetermined area.
  • FIG. 10 is a diagram illustrating the relationship between the function blocks of the terminal 100 and the functions when the screen sharing area includes a resolution changing unit, a frame rate changing unit, and an image size changing unit.
  • FIG. 11 is a flowchart of shared data creation according to the resolution.
  • FIG. 12 is a flowchart of shared data creation and transmission according to the frame rate.
  • FIG. 13 is a flowchart of shared data creation according to the image size.
  • FIG. 14 is an example of a display screen when performing focus recognition and screen sharing.
  • FIG. 15 is an example of a display for indicating that the priority of the focus area is high.
  • FIG. 16 is an example of a display for indicating that the priority outside the focus area is low.
  • FIG. 17 is an example of a display screen when focus recognition is performed by character recognition.
  • FIG. 18 is an example of a display screen when focus recognition is performed by edge detection.
  • FIG. 19 is an example of a display screen when image recognition is performed and screen sharing is performed.
  • FIG. 20 is an example of a display screen when performing face recognition and screen sharing.
  • FIG. 21 is an example of a display screen when a predetermined area is specified and the screen is shared.
  • FIG. 22 is an example of a display of the priority setting screen.
  • FIG. 23 is an example of a resolution setting screen display according to priority.
  • FIG. 24 is an example of a frame rate setting screen display according to priority.
  • FIG. 25 is an example of display of an image size setting screen according to priority.
  • FIG. 26 is an example of a display when
  • the terminal 100 includes a camera unit 110, an input unit 120, an output unit 130, a storage unit 140, a control unit 150, and a communication unit 160.
  • Information such as image data captured by the camera unit 110 and settings at the time of imaging is stored in the storage unit 140.
  • the storage unit 140 implements the focus recognition module 141 in cooperation with the control unit 150.
  • the input unit 120 implements the focal area selection module 121 in cooperation with the control unit 150.
  • the communication unit 160 implements the priority sharing module 161 in cooperation with the control unit 150.
  • the communication network 200 may be a public communication network or a dedicated communication network.
  • the connection source terminal 100a is a terminal that issues a screen sharing request to the connection destination terminal 100b on the network via the communication network 200.
  • connection destination terminal 100b When the image captured by the camera unit 110 of the connection source terminal 100a is screen-shared to the connection destination terminal 100b, when attempting to transmit all of the captured image data to be shared, the data capacity increases, In particular, when the communication speed between the terminals is not fast, there are cases where the display at the connection destination terminal 100b becomes slow. In order to avoid useless data transmission, it is necessary to increase the priority of image data of an important part and share it.
  • selection of a focus area by focus recognition selection of an object area or face area by image recognition, area selection by a user, and the like can be considered.
  • a description will be given by way of example of selection of a focus area by focus recognition.
  • the image data captured by the camera unit 110 of the connection source terminal 100a and information such as settings at the time of imaging are stored in the storage unit 140.
  • the focus recognition module 141 performs focus recognition on the stored image data.
  • the focus recognition here is a process of determining a portion in the image data that is in focus and a portion that is not in focus.
  • a processing method for focus recognition by detecting and comparing the contrast between pixels in a captured image, a portion having a large brightness difference with the adjacent pixel is in focus. It can be determined that the portion where the difference in brightness is small is not in focus. Or, if the captured image contains characters, optical character recognition (Optical Character Recognition) processing is performed, and the portion with good character recognition accuracy is in focus, and the portion with poor recognition accuracy is in focus. You may decide not to. Alternatively, edge detection processing of a captured image may be performed, and it may be determined that a portion with a large amount of edge detection is in focus and a portion with a small amount of edge detection is not in focus.
  • Optical Character Recognition Optical Character Recognition
  • the focus position information is stored as a setting at the time of image capturing together with the captured image, it may be determined that the focus position is in focus and the other positions are not in focus. Further, these methods may be used in combination.
  • the focal area selection module 121 selects a focal area in the captured image that is in focus.
  • the focus area is displayed as the shaded portion 13.
  • display is performed as a balloon 14 so that the shaded portion 13 is a focal region.
  • the display here is merely an example, and it is only necessary for the user to be able to determine which part is the focus area, and the display need not be limited to shading and balloons.
  • the priority sharing module 161 performs screen sharing with the connection destination terminal 100b with priority on the focus area.
  • the user may be allowed to select whether or not to perform screen sharing by increasing the priority of the focus area.
  • screen sharing is performed by increasing the priority of the focus area.
  • No button 11 is selected, normal screen sharing is performed and when the screen sharing end button 12 is selected. Can end screen sharing.
  • methods such as increasing the resolution of the focal region, increasing the frame rate of the focal region, and increasing the image size of the focal region can be considered. Details of these methods will be described later.
  • FIG. 2 is a diagram illustrating the relationship between the function blocks of the terminal 100 and each function when focus recognition is performed and the screen is shared.
  • the screen sharing system includes a plurality of terminals 100 and a communication network 200.
  • the connection source terminal 100a and the connection destination terminal 100b in FIGS. 1 and 2 are assumed to have the same functions as the terminal 100.
  • the communication network 200 may be a public communication network or a dedicated communication network.
  • the terminal 100 includes a camera unit 110, an input unit 120, an output unit 130, a storage unit 140, a control unit 150, and a communication unit 160.
  • Information such as image data captured by the camera unit 110 and settings at the time of imaging is stored in the storage unit 140.
  • the storage unit 140 implements the focus recognition module 141 in cooperation with the control unit 150.
  • the input unit 120 implements the focal area selection module 121 in cooperation with the control unit 150.
  • the communication unit 160 implements the priority sharing module 161 in cooperation with the control unit 150.
  • the terminal 100 may be a general information terminal that can take an image with a camera, and is an information device or an electrical appliance having a function to be described later.
  • General information appliances such as mobile phones, smart phones, camera functions, or PCs with tablet PCs, notebook PCs, wearable devices, or displays that can be connected to external cameras such as webcams It can be an electrical appliance.
  • the smartphone illustrated as the terminal 100 is just one example.
  • the terminal 100 includes a camera in the camera unit 110.
  • the captured image is converted into digital data and stored in the storage unit 140.
  • the captured image may be a still image or a moving image.
  • a part of the moving image is cut out by the operation of the control unit 150 and stored in the storage unit 140 as a still image. It is also possible to do this.
  • an image obtained by imaging is a precise image having a necessary amount of information, and the number of pixels and image quality can be specified.
  • the input unit 120 has functions necessary to execute imaging and specify a region for a displayed captured image.
  • a liquid crystal display that realizes a touch panel function, a keyboard, a mouse, a pen tablet, a hardware button on the apparatus, a microphone for performing voice recognition, and the like can be provided.
  • the function of the present invention is not particularly limited by the input method.
  • the input unit 120 implements the focal area selection module 121 in cooperation with the control unit 150.
  • the output unit 130 has functions necessary for displaying captured images and sharing screens with the connection destination terminal 100b. Examples include a liquid crystal display, a PC display, a display such as projection on a projector, and an audio output.
  • the function of the present invention is not particularly limited by the output method.
  • the storage unit 140 includes a data storage unit such as a hard disk or a semiconductor memory, and stores captured moving images and still images, information such as settings at the time of imaging, data necessary for focus recognition processing, and the like.
  • the storage unit 140 implements the focus recognition module 141 in cooperation with the control unit 150.
  • the control unit 150 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like.
  • a CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • a device for enabling communication with other devices for example, a WiFi (Wireless Fidelity) compliant device compliant with IEEE802.11 or an IMT-2000 standard such as a third generation or fourth generation mobile communication system. Compliant wireless device etc. It may be a wired LAN connection.
  • the communication unit 160 realizes the priority sharing module 161 in cooperation with the control unit 150.
  • FIG. 3 is a flowchart of screen sharing processing when the connection source terminal 100a displays a screen on the connection destination terminal 100b.
  • the processing executed by the modules of each device described above will be described together with this processing.
  • the connection source terminal 100a and the connection destination terminal 100b are described as performing direct communication.
  • a configuration may be adopted in which a server is interposed therebetween depending on the system.
  • connection source terminal 100a performs an authentication process for screen sharing (step S101).
  • the authentication process here is for maintaining security when the screen is shared to the connection destination terminal 100b, and a general method in the screen sharing system may be used.
  • communication with the connection destination terminal 100b may be performed, and in the case of a configuration in which a server is interposed therebetween, communication with the server may be performed.
  • step S102 After performing the authentication process, it is confirmed whether or not the authentication is successful (step S102). If the authentication is successful, a connection is made to the connection destination terminal 100b and a screen sharing request is made (step S103). If authentication fails, the screen sharing process is terminated.
  • connection destination terminal 100b receives a screen sharing request from the connection source terminal 100a, and confirms whether to approve screen sharing (step S104).
  • the response when approving the screen sharing request, the response is YES, and when rejecting the screen sharing request, the response is NO (step S105).
  • connection source terminal 100a confirms whether the screen sharing request has been approved (step S106). When the screen sharing is approved, the connection source terminal 100a notifies the connection destination terminal 100b of the start of screen sharing (step S107). If the screen sharing request is denied, the screen sharing process ends.
  • connection source terminal 100a creates shared data after notifying the start of screen sharing (step S108).
  • FIG. 5 is a flowchart for creating shared data when focus recognition is performed and the screen is shared. This corresponds to the shared data creation sub-process in step S108 in the flowchart of FIG.
  • the connection source terminal 100a performs focus recognition of a captured image captured by the camera unit 110 by the focus recognition module 141 (step S301).
  • focus recognition by detecting and comparing the contrast between pixels in a captured image, a portion having a large brightness difference with the adjacent pixel is in focus. It is possible to use a contrast detection method for determining that a portion where the brightness difference is small is not in focus.
  • step S302 it is confirmed whether or not the focus recognition is successful.
  • the focus area selection module 121 selects a focus area in the captured image that is in focus (step S303). When this focal area is selected, the irregularities on the outer edge of the selected area may be reduced.
  • FIG. 14 is an example of a display screen of the connection source terminal 100a after focus recognition is performed and a focus area is selected.
  • a captured image is displayed at the top of the screen, and a focus area is displayed as a shaded portion 144.
  • display is performed as a balloon 145 so that the shaded portion 144 can be seen as a focal region.
  • the display here is merely an example, and it is only necessary for the user to be able to determine which part is the focus area, and the display need not be limited to shading and balloons.
  • the fact that the shaded area is automatically recognized as the focal area is displayed to confirm whether or not the focal area can be confirmed.
  • the Yes button 141 is selected, the focal region is determined.
  • screen sharing may be performed without designating the focus area, or object areas and face areas may be detected by other image recognition.
  • the reset button 143 is manually selected, the focus area may be changed and reset by the user.
  • the user designates an area to be prioritized (step S304).
  • the captured image may be displayed on the output unit 130 of the connection source terminal 100 a so that the user can directly specify the area to be prioritized via the input unit 120.
  • two vertices that are diagonals of a rectangle may be designated, or three or more points may be designated, and a range in the designated area may be designated.
  • FIG. 22 is an example of a display of the priority setting screen.
  • the priority of the focus recognition range can be selected by the combo box 225
  • the priority of the area designation range can be selected by the combo box 226, and the priority of the object recognition range can be selected by the combo box 227.
  • the order of priority is changed from ⁇ 1> to ⁇ 4> in the display 223. It may be selectable.
  • the settings on this screen are saved by selecting the setting save button 221, the changes are discarded by selecting the cancel button 222, and the screen returns to the original screen.
  • the screen in FIG. 22 does not need to be displayed every time in step 305, and is set in advance or once set, it is applied in subsequent processing.
  • FIG. 15 is an example of a display for indicating that the priority of the focus area is high.
  • a high priority area which is a focal area is displayed.
  • the display is performed as a balloon 152 so that the shaded portion 151 is the focal region and the priority is high.
  • FIG. 16 is an example of a display for indicating that the priority outside the focus area is low.
  • the shaded portion 161 a low priority area outside the focus area is displayed.
  • the display is performed as a balloon 162 so that the shaded portion 161 is out of the focal region and the priority is low.
  • the display of FIGS. 15 and 16 may be performed as an aid to easily show the relationship between the area and the priority level to the user.
  • the priority of the focal area when the priority of the focal area is set to high on the setting screen of FIG. 22, the priority outside the focal area is automatically set to low, but the priority level is However, it is not always necessary to have two stages of high and low, and may be three stages of high, medium and low, or more settings may be required.
  • Data creation according to priority includes methods such as a resolution change, a frame rate change, and an image size change. Details of these methods will be described later.
  • the priority sharing module 161 of the connection source terminal 100a transmits the shared data to the connection destination terminal 100b (step S109).
  • connection destination terminal 100b displays a sharing screen based on the shared data received from the connection source terminal 100a (step S110).
  • connection destination terminal 100b may notify the connection source terminal 100a of the end of the screen sharing and end the screen sharing process. Further, when it is necessary to switch the connection destination terminal 100b to share the screen of the connection destination terminal 100b with the connection source terminal 100a, the connection source terminal 100a is notified of the switching, and the shared data
  • the transmission source may be the connection destination terminal 100b.
  • connection source terminal 100a confirms whether or not to end the screen sharing after transmitting the shared data (step S111). In the case of termination, the connection destination terminal 100b is notified that the screen sharing is to be terminated, and the screen sharing is terminated (step S112). If not, the process returns to step S108 and continues.
  • step S111 when it is necessary to switch so that the screen of the connection destination terminal 100b is shared with the connection source terminal 100a, the switching is performed for the connection destination terminal 100b. It may be switched so that the shared data transmitted from the connection destination terminal 100b is received and displayed by the connection source terminal 100a.
  • FIG. 17 is an example of a display screen when focus recognition is performed by character recognition.
  • a captured image is displayed at the top of the screen, and a focus area is displayed as a shaded portion 174.
  • display is performed as a balloon 175 so that the shaded portion 174 can be seen as the focal region.
  • the fact that the shaded area is automatically recognized as the focal area is displayed to confirm whether or not the focal area can be confirmed.
  • the Yes button 171 the focus area is determined.
  • screen sharing may be performed without designating the focus area, or object areas and face areas may be detected by other image recognition.
  • the reset button 173 is manually selected, the focus area may be changed and reset by the user.
  • FIG. 18 is an example of a display screen when focus recognition is performed by edge detection.
  • a captured image is displayed at the top of the screen, and a focus area is displayed as a shaded portion 184.
  • display is performed as a balloon 185 so that the shaded portion 184 can be seen as the focal region.
  • the focal region is determined.
  • the No button 182 is selected, the screen sharing may be performed without designating the focus area, or the object area or the face area may be detected by other image recognition.
  • the reset button 183 is manually selected, the focus area may be changed and reset by the user.
  • focus recognition processing method when face recognition is performed by the camera unit 110 at the time of imaging and the face position is stored, the periphery of the face position is in focus, and the rest is in focus. You may decide not to.
  • focus position information is stored as a setting at the time of image capturing together with the captured image, it may be determined that the focus position is in focus and the other positions are not in focus. Further, these methods may be used in combination.
  • FIG. 4 is a flowchart of the screen sharing process when the screen of the connection destination terminal 100b is displayed on the connection source terminal 100a. Description will be made mainly on the difference in processing from FIG. Since S201 to S207 in FIG. 4 correspond to S101 to S107 in FIG. 3, S208 and subsequent steps will be described.
  • connection destination terminal 100b creates shared data (step S208).
  • FIG. 5 is a flowchart for creating shared data when focus recognition is performed and the screen is shared. This corresponds to the sub-process for creating shared data in step S208 in the flowchart of FIG.
  • the connection destination terminal 100b performs focus recognition of a captured image captured by the camera unit 110 using the focus recognition module 141 (step S301).
  • a processing method for focus recognition by detecting and comparing the contrast between pixels in a captured image, a portion having a large brightness difference with the adjacent pixel is in focus. It is possible to use a contrast detection method for determining that a portion where the brightness difference is small is not in focus.
  • step S302 it is confirmed whether or not the focus recognition is successful.
  • the focus area selection module 121 selects a focus area in the captured image that is in focus (step S303). When this focal area is selected, the irregularities on the outer edge of the selected area may be reduced.
  • the user designates an area to be prioritized (step S304).
  • the captured image may be displayed on the output unit 130 of the connection destination terminal 100 b so that the user can directly specify the area to be prioritized via the input unit 120.
  • two vertices that are diagonals of a rectangle may be designated, or three or more points may be designated, and a range in the designated area may be designated.
  • FIG. 22 is an example of a display of the priority setting screen.
  • the priority of the focus recognition range can be selected by the combo box 225
  • the priority of the area designation range can be selected by the combo box 226, and the priority of the object recognition range can be selected by the combo box 227.
  • the order of priority is changed from ⁇ 1> to ⁇ 4> on the display 223. It may be selectable.
  • the settings on this screen are saved by selecting the setting save button 221, the changes are discarded by selecting the cancel button 222, and the screen returns to the original screen.
  • the screen in FIG. 22 does not need to be displayed every time in step 305, and is set in advance or once set, it is applied in subsequent processing.
  • FIG. 15 is an example of a display for indicating that the priority of the focus area is high. When the priority is set, the priority of the focus area may be displayed together.
  • FIG. 16 is an example of a display for indicating that the priority outside the focus area is low. Outside the focus area, display may be performed to indicate to the user that the priority is low.
  • the priority of the focal region is set to high, the priority outside the focal region is set to low, but the priority level is not necessarily two levels, high and low. There is no need to have three stages, high, medium, and low.
  • Data creation according to priority includes methods such as a resolution change, a frame rate change, and an image size change. Details of these methods will be described later.
  • the priority sharing module 161 of the connection destination terminal 100b transmits the shared data to the connection source terminal 100a (step S209).
  • connection source terminal 100a displays a shared screen based on the shared data received from the connection destination terminal 100b (step S210).
  • connection destination terminal 100b may notify the connection source terminal 100a of the end of the screen sharing and end the screen sharing process. Further, when it is necessary to switch the connection destination terminal 100b to share the screen of the connection destination terminal 100b with the connection source terminal 100a, the connection source terminal 100a is notified of the switching, and the shared data
  • the transmission source may be the connection destination terminal 100b.
  • connection source terminal 100a checks whether or not to end the screen sharing after displaying the sharing screen (step S211). In the case of ending, the connection destination terminal 100b is notified that the screen sharing is to be ended, and the screen sharing is ended (step S212). If not, the process returns to step S207 and continues.
  • step S207 when it is necessary to switch so that the screen of the connection source terminal 100a is shared with the connection destination terminal 100b, the switching is performed on the connection destination terminal 100b. It may be switched so that the shared data transmitted from the connection source terminal 100a is received and displayed by the connection destination terminal 100b.
  • FIG. 6 is a diagram illustrating the relationship between the function blocks of the terminal 100 and each function when image recognition is performed and the screen is shared. Similar to the screen sharing system in the case of performing the focus recognition and sharing the screen in FIG. It is assumed that the connection source terminal 100a and the connection destination terminal 100b in FIG.
  • the communication network 200 may be a public communication network or a dedicated communication network.
  • the terminal 100 includes a camera unit 110, an input unit 120, an output unit 130, a storage unit 140, a control unit 150, and a communication unit 160.
  • Information such as image data captured by the camera unit 110 and settings at the time of imaging is stored in the storage unit 140.
  • the storage unit 140 implements the image recognition module 142 in cooperation with the control unit 150.
  • the input unit 120 implements the object area selection module 122 in cooperation with the control unit 150.
  • the communication unit 160 implements the priority sharing module 161 in cooperation with the control unit 150.
  • the terminal 100 may be a general information terminal that can take an image with a camera, and is an information device or an electrical appliance having a function to be described later.
  • General information appliances such as mobile phones, smart phones, camera functions, or PCs with tablet PCs, notebook PCs, wearable devices, or displays that can be connected to external cameras such as webcams It can be an electrical appliance.
  • the smartphone illustrated as the terminal 100 is just one example.
  • the terminal 100 includes a camera in the camera unit 110.
  • the captured image is converted into digital data and stored in the storage unit 140.
  • the captured image may be a still image or a moving image.
  • a part of the moving image is cut out by the operation of the control unit 150 and stored in the storage unit 140 as a still image. It is also possible to do this.
  • an image obtained by imaging is a precise image having a necessary amount of information, and the number of pixels and image quality can be specified.
  • the input unit 120 has functions necessary to execute imaging and specify a region for a displayed captured image.
  • a liquid crystal display that realizes a touch panel function, a keyboard, a mouse, a pen tablet, a hardware button on the apparatus, a microphone for performing voice recognition, and the like can be provided.
  • the function of the present invention is not particularly limited by the input method.
  • the input unit 120 implements the object area selection module 122 in cooperation with the control unit 150.
  • the output unit 130 has functions necessary for displaying captured images and sharing screens with the connection destination terminal 100b. Examples include a liquid crystal display, a PC display, a display such as projection on a projector, and an audio output.
  • the function of the present invention is not particularly limited by the output method.
  • the storage unit 140 includes a data storage unit such as a hard disk or a semiconductor memory, and stores captured moving images and still images, information such as settings at the time of imaging, data necessary for focus recognition processing, and the like.
  • the storage unit 140 implements the image recognition module 142 in cooperation with the control unit 150.
  • the control unit 150 includes a CPU, RAM, ROM, and the like.
  • a device for enabling communication with other devices for example, a WiFi (Wireless Fidelity) compliant device compliant with IEEE802.11 or an IMT-2000 standard such as a third generation or fourth generation mobile communication system. Compliant wireless device etc. It may be a wired LAN connection.
  • the communication unit 160 realizes the priority sharing module 161 in cooperation with the control unit 150.
  • FIG. 7 is a flowchart for creating shared data when image recognition is performed and screen sharing is performed. This corresponds to the shared data creation subprocess of step S108 in the flowchart of FIG. 3 or the shared data creation subprocess of step S208 of the flowchart of FIG.
  • a screen sharing process when the connection source terminal 100a displays a screen on the connection destination terminal 100b will be described as an example.
  • the connection source terminal 100a performs image recognition of the captured image captured by the camera unit 110 by the image recognition module 142 (step S401).
  • the image recognition is object recognition as to whether or not there is a specific object in the captured image, or face recognition for determining a human face.
  • a feature amount of a captured image is detected, and based on the detected feature amount, it is determined whether there is a specific object and whether there is a human face.
  • a human face is described as being included in the object.
  • the image recognition method here is not particularly limited to the present invention, and an existing image recognition technique may be used.
  • the captured image and the detected feature amount may be separately transmitted to the server, image recognition may be performed on the server side, and the result may be received.
  • an API Application Programming Interface
  • image recognition may be transmitted to an external server, and the image recognition result may be received.
  • step S402 it is confirmed whether or not the object has been successfully recognized.
  • the object area selection module 122 selects an object area in which the object exists in the captured image (step S403). When this object area is selected, the unevenness of the outer edge of the selected area may be reduced.
  • FIG. 19 is an example of a display screen of the connection source terminal 100a after image recognition is performed and an object area is selected.
  • a captured image is displayed at the top of the screen, and an object area is displayed as a shaded portion 194.
  • display is performed as a balloon 195 so that the shaded portion 194 can be seen as an object area.
  • the display here is merely an example, and it is only necessary for the user to be able to determine which part is the object area, and there is no need to be limited to shading and balloons.
  • the fact that the shaded part is automatically recognized as the object area is displayed to confirm whether the object area can be confirmed.
  • the Yes button 191 is selected, the object area is determined.
  • screen sharing may be performed without specifying an object area, or other focus recognition may be performed.
  • the reset button 193 is manually selected, the object area may be changed and reset by the user.
  • the type of the recognized object may be specifically displayed.
  • the display is performed here, it is possible to display a car, a passenger car, a car, or the like.
  • FIG. 20 is an example of a display screen of the connection source terminal 100a after image recognition is performed and a face area is selected.
  • a captured image is displayed at the top of the screen, and a face area is displayed as a shaded portion 204.
  • display is performed as a balloon 205 so that the shaded portion 204 can be seen as a face region.
  • the display here is merely an example, and it is only necessary for the user to be able to determine which part is the face area, and there is no need to be limited to shading and balloons.
  • the fact that the shaded part is automatically recognized as a face area is displayed to confirm whether the face area can be confirmed.
  • the Yes button 201 is selected, the face area is determined.
  • screen sharing may be performed without designating a face area, or other focus recognition may be performed.
  • the reset button 203 is manually selected, the face area may be changed and reset by the user.
  • the user designates an area that the user wants to prioritize (step S404).
  • the captured image may be displayed on the output unit 130 of the connection source terminal 100 a so that the user can directly specify the area to be prioritized via the input unit 120.
  • two vertices that are diagonals of a rectangle may be designated, or three or more points may be designated, and a range in the designated area may be designated.
  • FIG. 22 is an example of a display of the priority setting screen.
  • the priority of the focus recognition range, the priority of the face recognition range, the priority of the area designation range, and the priority of the object recognition range are set to high or low, respectively.
  • a box 225, a combo box 226, and a combo box 227 are selectable.
  • the order of priority is changed from ⁇ 1> to ⁇ 4> on the display 223. It may be selectable.
  • the settings on this screen are saved by selecting the setting save button 221, the changes are discarded by selecting the cancel button 222, and the screen returns to the original screen.
  • the screen of FIG. 22 does not need to be displayed every time in step 405, and is set in advance or once set, it is applied in subsequent processing.
  • Data creation according to priority includes methods such as a resolution change, a frame rate change, and an image size change. Details of these methods will be described later.
  • FIG. 8 is a diagram illustrating the relationship between the function blocks of the terminal 100 and each function when a predetermined area is designated and screen sharing is performed. Similar to the screen sharing system in the case of sharing the screen by performing focus recognition in FIG. 2 and the screen sharing system in the case of sharing the screen by performing image recognition in FIG. It is assumed that the connection source terminal 100a and the connection destination terminal 100b in FIG.
  • the communication network 200 may be a public communication network or a dedicated communication network.
  • the terminal 100 includes a camera unit 110, an input unit 120, an output unit 130, a storage unit 140, a control unit 150, and a communication unit 160.
  • Information such as image data captured by the camera unit 110 and settings at the time of imaging is stored in the storage unit 140.
  • the input unit 120 implements the area designation module 123 in cooperation with the control unit 150.
  • the communication unit 160 implements the priority sharing module 161 in cooperation with the control unit 150.
  • the terminal 100 may be a general information terminal that can take an image with a camera, and is an information device or an electrical appliance having a function to be described later.
  • General information appliances such as mobile phones, smart phones, camera functions, or PCs with tablet PCs, notebook PCs, wearable devices, or displays that can be connected to external cameras such as webcams It can be an electrical appliance.
  • the smartphone illustrated as the terminal 100 is just one example.
  • the terminal 100 includes a camera in the camera unit 110.
  • the captured image is converted into digital data and stored in the storage unit 140.
  • the captured image may be a still image or a moving image.
  • a part of the moving image is cut out by the operation of the control unit 150 and stored in the storage unit 140 as a still image. It is also possible to do this.
  • an image obtained by imaging is a precise image having a necessary amount of information, and the number of pixels and image quality can be specified.
  • the input unit 120 has functions necessary to execute imaging and specify a region for a displayed captured image.
  • a liquid crystal display that realizes a touch panel function, a keyboard, a mouse, a pen tablet, a hardware button on the apparatus, a microphone for performing voice recognition, and the like can be provided.
  • the function of the present invention is not particularly limited by the input method.
  • the input unit 120 implements the area designation module 123 in cooperation with the control unit 150.
  • the output unit 130 has functions necessary for displaying captured images and sharing screens with the connection destination terminal 100b. Examples include a liquid crystal display, a PC display, a display such as projection on a projector, and an audio output.
  • the function of the present invention is not particularly limited by the output method.
  • the storage unit 140 includes a data storage unit such as a hard disk or a semiconductor memory, and stores captured moving images and still images, information such as settings at the time of imaging, data necessary for focus recognition processing, and the like.
  • the control unit 150 includes a CPU, RAM, ROM, and the like.
  • a device for enabling communication with other devices for example, a WiFi (Wireless Fidelity) compliant device compliant with IEEE 802.11 or an IMT-2000 standard such as a third generation or fourth generation mobile communication system. Compliant wireless device etc. It may be a wired LAN connection.
  • the communication unit 160 realizes the priority sharing module 161 in cooperation with the control unit 150.
  • FIG. 9 is a flowchart when the screen is shared by designating a predetermined area. This corresponds to the shared data creation subprocess of step S108 in the flowchart of FIG. 3 or the shared data creation subprocess of step S208 of the flowchart of FIG.
  • a screen sharing process when the connection source terminal 100a displays a screen on the connection destination terminal 100b will be described as an example.
  • connection source terminal 100a displays the captured image captured by the camera unit 110 on the output unit 130 (step S501).
  • step S502 the user selects a priority area to be displayed with priority when sharing the screen.
  • FIG. 21 shows an example of a display screen when a predetermined area is designated by the area designation module 123 and the screen is shared.
  • a captured image is displayed on the upper part of the screen of the connection source terminal 100a, and the user wants to specify an area to be shared with priority through the input unit 120.
  • display is performed as a balloon 214 so that the shaded portion 213 can be seen as the designated area.
  • the display here is merely an example, and it is only necessary for the user to be able to determine which part is the designated area, and there is no need to be limited to shading and balloons.
  • FIG. 22 is an example of a display of the priority setting screen.
  • the priority of the focus recognition range, the priority of the face recognition range, the priority of the area designation range, and the priority of the object recognition range are set to high or low, respectively.
  • a box 225, a combo box 226, and a combo box 227 are selectable.
  • the order of priority is changed from ⁇ 1> to ⁇ 4> on the display 223. It may be selectable.
  • the settings on this screen are saved by selecting the setting save button 221, the changes are discarded by selecting the cancel button 222, and the screen returns to the original screen.
  • the screen of FIG. 22 does not need to be displayed every time in step 503, and is set in advance or once set, it is applied to subsequent processing.
  • Data creation according to priority includes methods such as a resolution change, a frame rate change, and an image size change. Details of these methods will be described later.
  • FIG. 10 is a diagram illustrating the relationship between the function blocks of the terminal 100 and the functions when the screen sharing area includes a resolution changing unit, a frame rate changing unit, and an image size changing unit.
  • a plurality of terminals 100 and a communication network 200 are included.
  • the connection source terminal 100 a and the connection destination terminal 100 b in FIG. 10 have functions equivalent to those of the terminal 100.
  • the communication network 200 may be a public communication network or a dedicated communication network.
  • the terminal 100 has all the functions of image sharing by focus recognition, screen sharing by image recognition, and screen sharing by designating a predetermined area.
  • the terminal 100 includes a camera unit 110, an input unit 120, an output unit 130, a storage unit 140, a control unit 150, and a communication unit 160.
  • the control unit 150 includes a resolution change module 151, a frame rate change module 152, and an image size change module 153.
  • Information such as image data captured by the camera unit 110 and settings at the time of imaging is stored in the storage unit 140.
  • the storage unit 140 implements a focus recognition module 141 and an image recognition module 142 in cooperation with the control unit 150.
  • the input unit 120 implements a focal area selection module 121, an object area selection module 122, and an area designation module 123 in cooperation with the control unit 150.
  • the communication unit 160 implements the priority sharing module 161 in cooperation with the control unit 150.
  • the terminal 100 may be a general information terminal that can take an image with a camera, and is an information device or an electrical appliance having a function to be described later.
  • General information appliances such as mobile phones, smart phones, camera functions, or PCs with tablet PCs, notebook PCs, wearable devices, or displays that can be connected to external cameras such as webcams It can be an electrical appliance.
  • the smartphone illustrated as the terminal 100 is just one example.
  • the terminal 100 includes a camera in the camera unit 110.
  • the captured image is converted into digital data and stored in the storage unit 140.
  • the captured image may be a still image or a moving image.
  • a part of the moving image is cut out by the operation of the control unit 150 and stored in the storage unit 140 as a still image. It is also possible to do this.
  • an image obtained by imaging is a precise image having a necessary amount of information, and the number of pixels and image quality can be specified.
  • the input unit 120 has functions necessary to execute imaging and specify a region for a displayed captured image.
  • a liquid crystal display that realizes a touch panel function, a keyboard, a mouse, a pen tablet, a hardware button on the apparatus, a microphone for performing voice recognition, and the like can be provided.
  • the function of the present invention is not particularly limited by the input method.
  • the input unit 120 realizes a focal area selection module 121, an object area selection module 122, and an area designation module 123 in cooperation with the control unit 150.
  • the output unit 130 has functions necessary for displaying captured images and sharing screens with the connection destination terminal 100b. Examples include a liquid crystal display, a PC display, a display such as projection on a projector, and an audio output.
  • the function of the present invention is not particularly limited by the output method.
  • the storage unit 140 includes a data storage unit such as a hard disk or a semiconductor memory, and stores captured moving images and still images, information such as settings at the time of imaging, data necessary for focus recognition processing, and the like. Further, the storage unit 140 realizes the focus recognition module 141 and the image recognition module 142 in cooperation with the control unit 150.
  • a data storage unit such as a hard disk or a semiconductor memory
  • the control unit 150 includes a CPU, RAM, ROM, and the like.
  • the control unit 150 includes a resolution change module 151, a frame rate change module 152, and an image size change module 153.
  • a device for enabling communication with other devices for example, a WiFi (Wireless Fidelity) compliant device compliant with IEEE802.11 or an IMT-2000 standard such as a third generation or fourth generation mobile communication system. Compliant wireless device etc. It may be a wired LAN connection.
  • the communication unit 160 realizes the priority sharing module 161 in cooperation with the control unit 150.
  • FIG. 11 is a flowchart for creating shared data in accordance with the resolution. This corresponds to step S306 in FIG. 5, step S406 in the flowchart in FIG. 7, or step S504 in the flowchart in FIG.
  • a screen sharing process by focus recognition when the connection source terminal 100a displays a screen on the connection destination terminal 100b will be described as an example.
  • the resolution change module 151 When creating data according to the resolution, the resolution change module 151 performs the following processing. First, the priority setting of the focus area is acquired (step S601). As described above, the priority setting of the focus area is set on the priority setting screen as shown in FIG. Here, in the combo box 224 of FIG. 22, the priority for the focus recognition range, that is, the focus area is designated as high.
  • FIG. 23 is an example of a resolution setting screen display according to priority.
  • the resolution of the high priority area and low priority area is set to the highest (most clean), high (clean), normal (standard), or low (coarse), respectively.
  • the combo box 233 and the combo box 234 are selectable.
  • the resolution is high (beautiful), and when the priority is low, the resolution is low (coarse) is selected.
  • the setting is saved by selecting the setting save button 231 and the change of the setting is discarded by selecting the cancel button 232.
  • a warning screen may be displayed in the case where the resolution is higher in the low priority area than in the high priority area. Further, the screen of FIG. 23 does not need to be displayed every time in step 602, and is set in advance or once set, it is applied to subsequent processing.
  • FIG. 23 shows an example in which settings are made when the priority is high and low, but if there are more various priorities, the setting items on this screen can be increased accordingly.
  • step S603 it is checked whether or not the resolution conversion of the focus area of the captured image is necessary in accordance with the acquired resolution setting.
  • step S604 resolution conversion of the focal area is performed (step S604).
  • an existing method suitable for the system such as a bicubic method, a bilinear method, or a nearest neighbor method, may be used.
  • the user may be able to specify a desired resolution conversion method. If resolution conversion is not necessary, that is, if the resolution of the captured image is the same as the acquired resolution setting, the process proceeds to step S605.
  • step S605 the priority setting outside the focus area is acquired.
  • the priority is automatically set to low outside the focus area, outside the object area, outside the face area, and outside the designated area.
  • a setting screen similar to FIG. A priority may be set for the.
  • step S606 the resolution setting corresponding to the priority outside the focus area is acquired.
  • the setting on the resolution setting screen as shown in FIG. 23 is acquired.
  • step S607 it is confirmed whether or not resolution conversion outside the focus area of the captured image is necessary.
  • step S608 When resolution conversion is necessary, resolution conversion outside the focus area is performed (step S608).
  • the resolution conversion here may use an existing method suitable for the system, such as a bicubic method, a bilinear method, or a nearest neighbor method. Alternatively, the user may be able to specify a desired resolution conversion method. If resolution conversion is not necessary, that is, if the resolution of the captured image is the same as the acquired resolution setting, the process proceeds to step S609.
  • step S609 the image in the focal area and the image outside the focal area are synthesized.
  • the shared data creation processing according to the resolution by the resolution changing module 151.
  • FIG. 12 is a flowchart of shared data creation and transmission according to the frame rate. This corresponds to steps S108 and S109 in the flowchart of FIG. 3 or steps S208 and S209 in the flowchart of FIG.
  • a screen sharing process based on object recognition when the connection source terminal 100a displays a screen on the connection destination terminal 100b will be described as an example.
  • the frame rate changing module 152 performs the following processing.
  • the previous object area update time is acquired (step S701). This is because the frame rate is the number of frames to be processed per unit time (number of still images) in a moving image. Therefore, if the frame rate is determined, the image rate depends on the elapsed time from the previous update. This is because it can be determined whether or not an update is necessary.
  • the priority setting of the object area is acquired (step S702).
  • the priority setting of the object area is set on the priority setting screen as shown in FIG.
  • the object recognition range that is, the priority for the object area is designated as high.
  • FIG. 24 is an example of a frame rate setting screen display according to priority.
  • the frame rate of the high priority area and low priority area is set to high speed (60 fps), fast (30 fps), standard (25 fps), or slow (15 fps), respectively.
  • the combo box 243 and the combo box 244 are selectable.
  • the parentheses may be omitted.
  • the numerical value of the frame rate is merely an example, and may be a numerical value according to the system.
  • the frame rate is fast (30 fps), and when the priority is low, the frame rate is slow (15 fps) is selected.
  • the setting is saved by selecting the setting save button 241 and the change of the setting is discarded by selecting the cancel button 242.
  • a warning screen may be displayed when the frame rate is higher in the low priority area than in the high priority area.
  • the screen in FIG. 24 does not need to be displayed every time in step S703, and is set in advance or once set, it is also applied in the subsequent processing.
  • FIG. 24 shows an example of setting when the priority is high and when it is low. However, if there are more various priorities, the setting items on this screen can be increased accordingly.
  • step S704 it is confirmed whether display update of the object area of the captured image is necessary in accordance with the acquired frame rate.
  • step S705 If it is necessary to update the display of the object area, the previous update time outside the object area is acquired (step S705). If it is not necessary to update the display of the object area, the process ends.
  • step S706 the priority setting outside the object area is acquired.
  • the priority is automatically set to low outside the focus area, outside the object area, outside the face area, and outside the designated area.
  • a setting screen similar to FIG. A priority may be set for the.
  • step S707 the frame rate setting corresponding to the priority outside the object area is acquired.
  • the setting on the frame rate setting screen as shown in FIG. 24 described above is acquired.
  • step S708 it is confirmed whether or not display update outside the object area of the captured image is necessary.
  • step S708 When the display update is necessary in step S708, the display update is necessary for both the object area and the outside of the object area, and therefore the preferential sharing module 161 transmits data of the entire captured image (step S709).
  • the priority sharing module 161 transmits data only for the object area (step S710).
  • the high-priority portion has a high frame rate
  • the low-priority portion has a low frame rate.
  • FIG. 13 is a flowchart of shared data creation and transmission according to the image size. This corresponds to steps S108 and S109 in the flowchart of FIG. 3 or steps S208 and S209 in the flowchart of FIG.
  • a screen sharing process by specifying a predetermined area when the connection source terminal 100a displays a screen on the connection destination terminal 100b will be described as an example.
  • the image size changing module 153 performs the following processing.
  • the priority setting of the designated area is acquired (step S801). As described above, the priority setting of the designated area is set on the priority setting screen as shown in FIG. Here, in the combo box 226 of FIG. 22, the priority for the area designation range, that is, the designated area is designated as high.
  • FIG. 25 is an example of display of an image size setting screen according to priority.
  • a combo box 253 indicates whether the image size of the high priority area and the low priority area is large (enlarged), medium (normal), or small (thumbnail).
  • a combo box 254 can be selected.
  • the size such as enlarged, normal, and thumbnail, together with the large, medium, and small sizes are shown in parentheses, but the parentheses need not be written.
  • the image size options are merely examples, and the contents may be adapted to the system.
  • the image size is selected as large (enlarged), and when the priority is low, the image size is selected as small (thumbnail).
  • the setting is saved by selecting the setting save button 251, and the change of the setting is discarded by selecting the cancel button 252.
  • a warning screen may be displayed when the image size is larger in the low priority area than in the high priority area.
  • the screen of FIG. 25 does not need to be displayed every time in step 802, and is set in advance or once set, it is applied in subsequent processing.
  • FIG. 25 shows an example in which settings are made when the priority is high and low, but if there are more various priorities, the setting items on this screen can be increased accordingly.
  • step S803 the priority setting outside the designated area is acquired.
  • the priority is automatically set to low outside the focus area, outside the object area, outside the face area, and outside the designated area.
  • a setting screen similar to FIG. A priority may be set for the.
  • step S804 an image size setting corresponding to the priority outside the designated area is acquired.
  • the setting on the image size setting screen as shown in FIG. 25 described above is acquired.
  • step S806 If the image size setting for the designated area is the same as the image size setting for the outside of the designated area, it is subsequently confirmed whether or not the image size needs to be changed.
  • the image size of the entire captured image is changed in accordance with the image size setting (step S807).
  • an existing method suitable for the system such as a bicubic method, a bilinear method, or a nearest neighbor method, may be used.
  • the user may be able to specify a desired image size changing method. If the image size change is unnecessary, that is, if the image size of the captured image is the same as the acquired image size setting, the process proceeds to step S808.
  • step S808 the priority sharing module 161 of the connection source terminal 100a transmits data of the entire captured image in which the image size has been changed as necessary to the connection destination terminal 100b.
  • the image size setting of the designated area is the same as the image size setting outside the designated area
  • the shared data image is displayed on the output unit 130 of the connection destination terminal 100b
  • the entire captured image is It may be displayed according to the size setting specification.
  • step S809 If the image size setting of the designated area is not the same as the image size setting outside the designated area, it is first confirmed whether or not the image size of the designated area needs to be changed.
  • the image of the designated area is changed in accordance with the image size setting (step S810).
  • the image size conversion here may use an existing method suitable for the system, such as a bicubic method, a bilinear method, or a nearest neighbor method. Alternatively, the user may be able to specify a desired image size conversion method. If the image size conversion of the designated area is unnecessary, that is, if the image size of the captured image is the same as the acquired image size setting of the designated area, the process proceeds to step S811.
  • step S811 the priority sharing module 161 of the connection source terminal 100a transmits the data of the designated area whose image size has been changed as necessary to the connection destination terminal 100b.
  • step S812 it is confirmed whether or not the image size outside the designated area needs to be changed.
  • the image outside the designated area is changed in accordance with the image size setting (step S813).
  • the image size conversion here may use an existing method suitable for the system, such as a bicubic method, a bilinear method, or a nearest neighbor method. Alternatively, the user may be able to specify a desired image size conversion method. If the image size conversion outside the designated area is not necessary, that is, if the image size of the captured image is the same as the acquired image size setting outside the designated area, the process proceeds to step S814.
  • step S814 the connection source terminal 100a transmits data outside the designated area, the image size of which has been changed as necessary, to the connection destination terminal 100b.
  • FIG. 26 is an example of a display when the image size is changed according to the priority.
  • the connection destination terminal 100b receives the image data in the designated area and the image data outside the designation area from the connection source terminal 100a and displays them on the display unit 130.
  • the image of the designated area is displayed in a large (enlarged) image size in the center of the screen of the connection destination terminal 100b.
  • an image outside the designated area is displayed in a small image size (thumbnail) at the upper left of the screen.
  • a message indicating that only the designated area is displayed with a larger image size is displayed, and a button for setting when switching the display is arranged.
  • the screen sharing end button 261 is selected, the screen sharing processing is ended.
  • both the designated area and the image size setting outside the designated area are switched to medium (normal), and the entire captured image is displayed in the normal size.
  • the specified area portion of the thumbnail image is shaded, but the thumbnail image may display the entire captured image in accordance with system settings and user requests.
  • the means and functions described above are realized by a computer (including a CPU, an information processing apparatus, and various terminals) reading and executing a predetermined program.
  • the program is provided in a form recorded on a computer-readable recording medium such as a flexible disk, CD (CD-ROM, etc.), DVD (DVD-ROM, DVD-RAM, etc.), compact memory, and the like.
  • the computer reads the program from the recording medium, transfers it to the internal storage device or the external storage device, stores it, and executes it.
  • the program may be recorded in advance in a storage device (recording medium) such as a magnetic disk, an optical disk, or a magneto-optical disk, and provided from the storage device to a computer via a communication line.
  • 100 terminal 100a connection source terminal, 100b connection destination terminal, 200 communication network

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

【課題】　画面共有を行う際のデータ転送の無駄を抑えつつ、重要なデータは画像の精度をあげて共有可能な、ユーザの利便性の高い画面共有を行う。 【解決手段】　接続先端末と画面を共有する画面共有システムで、撮像画像の焦点を認識する焦点認識モジュール１４１と、焦点が合っている焦点領域を撮像画像から選択する焦点領域選択モジュール１２１とを備え、優先共有モジュール１６１により、焦点領域を優先して前記接続先端末と画面共有する。優先共有の手段として、解像度変更、フレームレート変更、画像サイズ変更等を行う。

Description

画面共有システム、画面共有方法、および画面共有プログラム
　本発明は、接続先端末と画面共有を行う画面共有システム、画面共有方法、および画面共有プログラムに関する。
　近年、インターネット等の公衆回線網を利用し、端末間での画面共有を実行することが行われている。このような画面共有システムの一例として、テレビ会議システムがあげられ、テレビ会議の音声、画質等を改善するための様々な改善案が提案されている。
　特許文献１には、二者間でテレビ会議を行う場合に、両端末の特徴検出に応じた適切な会議モードの設定を行い、映像フレームを分割して、分割後の領域に前処理を施して映像の符号化を行うことで、より良い画像を得ることのできるシステムが開示されている。
特開２０１１－１８６８２７号公報
　しかしながら、特許文献１の手法は、ホワイトボードの有無、話者の有無、等の特徴検出によって、テレビ会議におけるシーンを分類してフィルタ処理を行うものであり、従来のテレビ会議システムにおいては有効であったが、近年のスマートフォン等を用いた画面共有システムに対しては、十分であるとは言い難い。
　そこで、本発明では、データ転送の無駄を抑えつつ、重要なデータは画像の精度をあげて共有することが可能な、ユーザの利便性の高い画面共有システム、画面共有方法、および画面共有プログラムを提供することを目的とする。
　本発明では、以下のような解決手段を提供する。
　第１の特徴に係る発明は、接続先端末と画面を共有する画面共有システムであって、
　撮像画像の焦点を認識する焦点認識手段と、
　前記焦点認識手段で認識された焦点が合っている焦点領域を、前記撮像画像から選択する焦点領域選択手段と、
　前記焦点領域を優先して前記接続先端末と画面共有する優先共有手段と、
を備えることを特徴とする画面共有システムを提供する。
　第１の特徴に係る発明によれば、接続先端末と画面を共有する画面共有システムは、撮像画像の焦点を認識する焦点認識手段と、前記焦点認識手段で認識された焦点が合っている焦点領域を、前記撮像画像から選択する焦点領域選択手段と、前記焦点領域を優先して前記接続先端末と画面共有する優先共有手段と、を備える。
　第１の特徴に係る発明は、画面共有システムのカテゴリであるが、画面共有方法、および画面共有プログラムであっても同様の作用、効果を奏する。
　第２の特徴に係る発明は、接続先端末と画面を共有する画面共有システムであって、
　撮像画像を画像認識する画像認識手段と、
　前記画像認識された撮像画像からオブジェクト領域を選択するオブジェクト領域選択手段と、
　前記オブジェクト領域を優先して前記接続先端末と画面共有する優先共有手段と、
を備えることを特徴とする画面共有システムを提供する。
　第２の特徴に係る発明によれば、接続先端末と画面を共有する画面共有システムは、撮像画像を画像認識する画像認識手段と、前記画像認識された撮像画像からオブジェクト領域を選択するオブジェクト領域選択手段と、前記オブジェクト領域を優先して前記接続先端末と画面共有する優先共有手段と、を備える。
　第３の特徴に係る発明は、接続先端末と画面を共有する画面共有システムであって、
　撮像画像に所定の領域を指定する領域指定手段と、
　前記所定の領域を優先して前記接続先端末と画面共有する優先共有手段と、
を備えることを特徴とする画面共有システムを提供する。
　第３の特徴に係る発明によれば、接続先端末と画面を共有する画面共有システムは、撮像画像に所定の領域を指定する領域指定手段と、前記所定の領域を優先して前記接続先端末と画面共有する優先共有手段と、を備える。
　第４の特徴に係る発明は、第１から第３のいずれかの特徴に係る発明である画面共有システムであって、
　前記優先共有手段で画面共有する領域の解像度を変更する、解像度変更手段を備えることを特徴とする画面共有システムを提供する。
　第４の特徴に係る発明によれば、第１から第３のいずれかの特徴に係る発明である画面共有システムは、前記優先共有手段で画面共有する領域の解像度を変更する、解像度変更手段を備える。
　第５の特徴に係る発明は、第１から第３のいずれかの特徴に係る発明である画面共有システムであって、
　前記優先共有手段で画面共有する領域のフレームレートを変更する、フレームレート変更手段を備えることを特徴とする画面共有システムを提供する。
　第５の特徴に係る発明によれば、第１から第３のいずれかの特徴に係る発明である画面共有システムは、前記優先共有手段で画面共有する領域のフレームレートを変更する、フレームレート変更手段を備える。
　第６の特徴に係る発明は、第１から第３のいずれかの特徴に係る発明である画面共有システムであって、
　前記優先共有手段で画面共有する領域の画像サイズを変更する、画像サイズ変更手段を備えることを特徴とする画面共有システムを提供する。
　第６の特徴に係る発明によれば、第１から第３のいずれかの特徴に係る発明である画面共有システムは、前記優先共有手段で画面共有する領域の画像サイズを変更する、画像サイズ変更手段を備える。
　第７の特徴に係る発明は、接続先端末と画面を共有する画面共有方法であって、
　撮像画像の焦点を認識する焦点認識ステップと、
　前記焦点認識ステップで認識された焦点が合っている焦点領域を、前記撮像画像から選択する焦点領域選択ステップと、
　前記焦点領域を優先して前記接続先端末と画面共有する優先共有ステップと、
を備えることを特徴とする画面共有方法を提供する。
　第８の特徴に係る発明は、接続先端末と画面を共有するための画面共有システムに、
　撮像画像の焦点を認識する焦点認識ステップ、
　前記焦点認識ステップで認識された焦点が合っている焦点領域を、前記撮像画像から選択する焦点領域選択ステップ、
　前記焦点領域を優先して前記接続先端末と画面共有する優先共有ステップ、
を実行させることを特徴とする画面共有プログラムを提供する。
　本発明によれば、データ転送の無駄を抑えつつ、重要なデータは画像の精度をあげて共有することが可能な、ユーザの利便性の高い画面共有システム、画面共有方法、および画面共有プログラムを提供することが可能となる。
図１は、本発明の好適な実施形態の概要図である。 図２は、焦点認識を行い画面共有する場合の端末１００の機能ブロックと各機能の関係を示す図である。 図３は、接続元端末１００ａが接続先端末１００ｂに画面を表示する場合の画面共有処理のフローチャート図である。 図４は、接続元端末１００ａに接続先端末１００ｂの画面を表示する場合の画面共有処理のフローチャート図である。 図５は、焦点認識を行い画面共有する場合のフローチャート図である。 図６は、画像認識を行い画面共有する場合の端末１００の機能ブロックと各機能の関係を示す図である。 図７は、画像認識を行い画面共有する場合のフローチャート図である。 図８は、所定の領域を指定して画面共有する場合の端末１００の機能ブロックと各機能の関係を示す図である。 図９は、所定の領域を指定して画面共有する場合のフローチャート図である。 図１０は、画面共有する領域の、解像度変更手段、フレームレート変更手段、画像サイズ変更手段、を備える場合の端末１００の機能ブロックと各機能の関係を示す図である。 図１１は、解像度に応じた共有データ作成のフローチャート図である。 図１２は、フレームレートに応じた共有データ作成と送信のフローチャート図である。 図１３は、画像サイズに応じた共有データ作成のフローチャート図である。 図１４は、焦点認識を行い画面共有する場合の表示画面の一例である。 図１５は、焦点領域の優先度が高であることを示すための表示の一例である。 図１６は、焦点領域外の優先度が低であることを示すための表示の一例である。 図１７は、文字認識による焦点認識を行った場合の表示画面の一例である。 図１８は、エッジ検出による焦点認識を行った場合の表示画面の一例である。 図１９は、画像認識を行い画面共有する場合の表示画面の一例である。 図２０は、顔認識を行い画面共有する場合の表示画面の一例である。 図２１は、所定の領域を指定して画面共有する場合の表示画面の一例である。 図２２は、優先度設定画面の表示の一例である。 図２３は、優先度に応じた解像度設定画面の表示の一例である。 図２４は、優先度に応じたフレームレート設定画面の表示の一例である。 図２５は、優先度に応じた画像サイズ設定画面の表示の一例である。 図２６は、優先度に応じて画像サイズを変更した場合の表示の一例である。
　以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
　［画面共有システムのシステム概要］
　本発明の概要について図１に基づいて、説明する。端末１００は、図２に示すように、カメラ部１１０、入力部１２０、出力部１３０、記憶部１４０、制御部１５０、通信部１６０から構成される。カメラ部１１０で撮像した画像データや撮像時の設定等の情報は、記憶部１４０に保存するものとする。記憶部１４０は制御部１５０と協働して焦点認識モジュール１４１を実現する。また入力部１２０は制御部１５０と協働して焦点領域選択モジュール１２１を実現する。また、通信部１６０は制御部１５０と協働して優先共有モジュール１６１を実現する。端末間は、通信網２００を介して接続されているものとする。通信網２００は、公衆通信網でも専用通信網でも良い。ここでは、接続元端末１００ａを、通信網２００を介して、ネットワーク上にある接続先端末１００ｂに対して、画面共有依頼を実行する端末であるとする。
　接続元端末１００ａのカメラ部１１０で撮像した画像を、接続先端末１００ｂに対して画面共有する場合、撮像した画像データの全てを共有するために送信しようとすると、データ容量が大きくなってしまい、特に端末間の通信速度が速くない場合に、接続先端末１００ｂでの表示が遅くなる等の影響が出てしまう場合がある。無駄なデータの送信を避けるためには、重要な部分の画像データの優先度を上げて共有を行う必要がある。
　撮像画像の重要な部分を指定する方法としては、焦点認識による焦点領域の選択、画像認識によるオブジェクト領域や顔領域の選択、ユーザによる領域選択等が考えられる。ここでは、焦点認識による焦点領域の選択を例として説明する。
　接続元端末１００ａのカメラ部１１０で撮像した画像データや撮像時の設定等の情報は、記憶部１４０に保存する。焦点認識モジュール１４１は、この保存した画像データに対して、焦点認識を行う。ここでの焦点認識とは、画像データ内の、焦点が合っている部分と合っていない部分を判断する処理である。
　焦点認識の処理方法としては、撮像画像に対して、画素同士のコントラストを検出して比較することで、隣の画素との明るさの差が大きい部分は焦点が合っている、隣の画素との明るさの差が小さい部分は焦点が合っていないと判断することができる。または、撮像画像に文字が含まれる場合には、光学文字認識（Ｏｐｔｉｃａｌ　Ｃｈａｒａｃｔｅｒ　Ｒｅｃｏｇｎｉｔｉｏｎ）処理を行って、文字の認識精度が良い部分は焦点が合っている、認識精度が悪い部分は焦点が合っていないと判断してもよい。または、撮像画像のエッジ検出処理を行い、エッジ検出量が多い部分は焦点が合っている、エッジ検出量が少ない部分は焦点が合っていないと判断してもよい。または、撮像時にカメラ部１１０で顔認識を行いその顔位置が保存されている場合には、顔位置周辺は焦点が合っている、それ以外は焦点が合っていないと判断してもよい。または、撮像画像とあわせて撮像時の設定としてフォーカス位置の情報が保存されている場合には、フォーカス位置周辺は焦点が合っている、それ以外は焦点が合っていないと判断してもよい。さらに、これらの方法を組み合わせて使用してもよい。
　次に、焦点領域選択モジュール１２１は、撮像画像の中の焦点が合っている焦点領域を選択する。図１では、網掛け部１３として、焦点領域を表示している。また、網掛け部１３が焦点領域であることが分かるように吹き出し１４として表示を行っている。ここでの表示はあくまで一例であり、ユーザがどの部分が焦点領域であるかを判断できれば良く、網掛けと吹き出しに限定される必要はない。
　次に、優先共有モジュール１６１は、焦点領域を優先して、接続先端末１００ｂとの画面共有を行う。ここでは、図１の接続元端末１００ａの画面下部に表示しているように、焦点領域の優先度をあげて画面共有を行うかどうかを、ユーザに選択させてもよい。はいボタン１０を選択した場合には、焦点領域の優先度をあげて画面共有を行い、いいえボタン１１を選択した場合には、通常の画面共有を行い、画面共有終了ボタン１２を選択した場合には、画面共有を終了させることができる。
　具体的に、焦点領域を優先して画面共有する方法としては、焦点領域の解像度を上げる、焦点領域のフレームレートを上げる、焦点領域の画像サイズを大きくする、等の方法が考えられる。これらの方法の詳細については、後述する。
　［各機能の説明］
　図２は、焦点認識を行い画面共有する場合の端末１００の機能ブロックと各機能の関係を示す図である。画面共有システムは、複数の端末１００と通信網２００から構成される。図１および図２の接続元端末１００ａ、接続先端末１００ｂは、端末１００と同等の機能を備えるものとする。通信網２００は、公衆通信網でも専用通信網でも良い。
　端末１００は、カメラ部１１０、入力部１２０、出力部１３０、記憶部１４０、制御部１５０、通信部１６０から構成される。カメラ部１１０で撮像した画像データや撮像時の設定等の情報は、記憶部１４０に保存するものとする。記憶部１４０は制御部１５０と協働して焦点認識モジュール１４１を実現する。また入力部１２０は制御部１５０と協働して焦点領域選択モジュール１２１を実現する。また、通信部１６０は制御部１５０と協働して優先共有モジュール１６１を実現する。
　端末１００は、カメラによる撮像を行える一般的な情報端末であって良く、後述する機能を備える情報機器や電化製品である。携帯電話やスマートフォン、カメラ機能を備えた、または、ウェブカメラ等の外付けカメラを接続可能な、タブレットＰＣ、ノートＰＣ、ウェアラブルデバイス、またはディスプレイを備えたＰＣ等の一般的な情報家電やその他の電化製品であって良い。端末１００として図示しているスマートフォンはその一例にすぎない。
　端末１００は、カメラ部１１０にカメラを備える。撮像した画像をデジタルデータに変換して、記憶部１４０に保存する。また、撮像画像は静止画像であっても動画像であってもよく、動画像の場合には、制御部１５０の働きにより、動画像の一部を切り出して、静止画像として記憶部１４０に保存することも可能であるとする。また、撮像して得られる画像は、ユーザが必要なだけの情報量を持った精密な画像であるものとし、画素数や画質を指定可能であるものとする。
　入力部１２０は、撮像の実行や表示した撮像画像に対する領域指定を行うために必要な機能を備えるものとする。例として、タッチパネル機能を実現する液晶ディスプレイ、キーボード、マウス、ペンタブレット、装置上のハードウェアボタン、音声認識を行うためのマイク等を備えることが可能である。入力方法により、本発明は特に機能を限定されるものではない。また、入力部１２０は制御部１５０と協働して焦点領域選択モジュール１２１を実現するものとする。
　出力部１３０は、撮像画像の表示や、接続先端末１００ｂとの画面共有を行うために必要な機能を備えるものとする。例として、液晶ディスプレイ、ＰＣのディスプレイ、プロジェクターへの投影等の表示と音声出力等の形態が考えられる。出力方法により、本発明は特に機能を限定されるものではない。
　記憶部１４０として、ハードディスクや半導体メモリによる、データのストレージ部を備え、撮像した動画や静止画と、撮像時の設定などの情報、焦点認識処理等に必要なデータ等を記憶する。また、記憶部１４０は制御部１５０と協働して焦点認識モジュール１４１を実現するものとする。
　制御部１５０として、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等を備える。
　通信部１６０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）対応デバイス又は第３世代、第４世代移動通信システム等のＩＭＴ－２０００規格に準拠した無線デバイス等を備える。有線によるＬＡＮ接続であってもよい。また、通信部１６０は制御部１５０と協働して優先共有モジュール１６１を実現するものとする。
　［画面共有処理］
　図３は、接続元端末１００ａが接続先端末１００ｂに画面を表示する場合の画面共有処理のフローチャート図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。なお、ここでは接続元端末１００ａと接続先端末１００ｂが直接通信を行う記載としているが、システムに応じて、間にサーバを介する構成としてもよい。
　初めに、接続元端末１００ａは、画面共有のための認証処理を行う（ステップＳ１０１）。ここでの認証処理は、接続先端末１００ｂへの画面共有の際のセキュリティを維持するためのもので、画面共有システムにおける一般的な手法を用いてよいものとする。認証のために、接続先端末１００ｂとの通信を行ってもよいし、間にサーバを介する構成の場合には、サーバとの通信を行ってもよい。
　認証処理を行った後、認証が成功したかどうか確認を行う（ステップＳ１０２）。認証が成功した場合、接続先端末１００ｂに対して接続を行い、画面共有要求を行う（ステップＳ１０３）。認証が失敗した場合、画面共有処理を終了する。
　接続先端末１００ｂは、接続元端末１００ａからの画面共有要求を受けて、画面共有を承認するかどうか確認を行う（ステップＳ１０４）。
　ここで、画面共有要求に承認する場合はＹＥＳとして応答し、画面共有要求に否認する場合はＮＯとして応答する（ステップＳ１０５）。
　次に、接続元端末１００ａは、画面共有要求が承認されたかどうかの確認を行う（ステップＳ１０６）。画面共有が承認された場合、接続元端末１００ａは、接続先端末１００ｂに対して、画面共有開始を通知する（ステップＳ１０７）。画面共有要求が否認された場合、画面共有処理を終了する。
　接続元端末１００ａは、画面共有開始の通知後、共有データの作成を行う（ステップＳ１０８）。
　図５は、焦点認識を行い画面共有する場合の、共有データ作成のフローチャートである。図３のフローチャートの、ステップＳ１０８の共有データ作成のサブプロセスに該当する。まず、接続元端末１００ａは焦点認識モジュール１４１により、カメラ部１１０で撮像した撮像画像の焦点認識を行う（ステップＳ３０１）。焦点認識の処理方法としては、撮像画像に対して、画素同士のコントラストを検出して比較することで、隣の画素との明るさの差が大きい部分は焦点が合っている、隣の画素との明るさの差が小さい部分は焦点が合っていないと判断するコントラスト検出方式を用いることができる。
　次に、焦点の認識が成功したかどうか確認を行う（ステップＳ３０２）。
　焦点の認識が成功した場合には、焦点領域選択モジュール１２１により、撮像画像の中の焦点が合っている焦点領域を選択する（ステップＳ３０３）。この焦点領域選択の際には、選択領域の外縁の凹凸が少なくなるようにしてもよい。
　図１４は、焦点認識を行い焦点領域が選択された後の、接続元端末１００ａの表示画面の一例である。画面上部に、撮像画像を表示し、網掛け部１４４として、焦点領域を表示している。また、網掛け部１４４が焦点領域であることが分かるように吹き出し１４５として表示を行っている。ここでの表示はあくまで一例であり、ユーザがどの部分が焦点領域であるかを判断できれば良く、網掛けと吹き出しに限定される必要はない。画面下部には、網掛けの部分が焦点領域として自動認識されたことを表示して、焦点領域を確定してよいかの確認を行っている。ここで、はいボタン１４１を選択した場合には、焦点領域を確定する。いいえボタン１４２を選択した場合には、焦点領域を指定せずに画面共有を行ってもよいし、他の画像認識によるオブジェクト領域や顔領域の検出を行ってもよい。手動で再設定ボタン１４３を選択した場合には、焦点領域をユーザが変更、再設定できるようにしてよい。
　焦点の認識が失敗した場合には、ユーザが優先したい領域を指定する（ステップＳ３０４）。ここでは、接続元端末１００ａの出力部１３０に撮像画像を表示して、ユーザが入力部１２０を介して、優先したい領域を直接指定できるようにしてよい。領域の指定方法としては、矩形の対角となる頂点２点を指定してもよいし、３点以上の点を指定してその中の範囲を指定の領域としてもよい。
　次に、焦点領域の優先度確認を行う（ステップＳ３０５）。図２２は、優先度設定画面の表示の一例である。ここでは、焦点認識範囲の優先度を、高、低、のどちらにするかをコンボボックス２２４から選択できるようにしている。同じように、顔認識範囲の優先度をコンボボックス２２５で、領域指定範囲の優先度をコンボボックス２２６で、オブジェクト認識範囲の優先度をコンボボックス２２７で選択可能とする。さらに、焦点認識、オブジェクト認識、顔認識、領域指定、の複数の手段により領域が選択された場合に、どの領域を優先するかを、表示２２３の＜１＞から＜４＞の順番を入れ替えることで、選択可能としてもよい。この画面での設定は、設定保存ボタン２２１の選択により保存し、キャンセルボタン２２２の選択により変更を破棄して、元の画面に遷移するものとする。図２２の画面は、ステップ３０５で毎回表示する必要はなく、事前に設定を行うか、一度設定を行えば、その後の処理でも適用されるものとする。
　図１５は、焦点領域の優先度が高であることを示すための表示の一例である。網掛け部１５１として、焦点領域である優先度高の領域を表示している。また、網掛け部１５１が焦点領域であり優先度が高であることが分かるように吹き出し１５２として表示を行っている。また、図１６は、焦点領域外の優先度が低であることを示すための表示の一例である。網掛け部１６１として、焦点領域外である優先度低の領域を表示している。また、網掛け部１６１が焦点領域外であり優先度が低であることが分かるように吹き出し１６２として表示を行っている。図１５、図１６の表示は、ユーザに領域と優先度の関係を分かりやすく示すための助けとして、行ってもよい。また、ここでは、図２２の設定画面で、焦点領域の優先度が高に設定された場合、焦点領域外の優先度は自動的に低に設定されることとしたが、優先度の段階は、必ずしも高、低、の二段階である必要はなく、高、中、低、の三段階としてもよいし、もっと設定が多くてもよい。
　次に、焦点領域の優先度に応じて、撮像画像からデータ作成を行う（ステップＳ３０６）。優先度に応じたデータ作成は、解像度の変更、フレームレートの変更、画像サイズの変更、等の方法があり、これらの方法の詳細については後述する。
　共有データの作成後、接続元端末１００ａの優先共有モジュール１６１は接続先端末１００ｂに対して、共有データの送信を行う（ステップＳ１０９）。
　接続先端末１００ｂは、接続元端末１００ａから受信した共有データを基にして、共有画面を表示する（ステップＳ１１０）。
　また、画面共有を終了したい場合には、接続先端末１００ｂは、接続元端末１００ａに対して、画面共有終了を通知して、画面共有処理を終了させてもよい。さらに、途中で接続先端末１００ｂの画面を接続元端末１００ａと共有するように切り替えが必要になった場合には、接続元端末１００ａに対して、切り替えを行う旨の通知を行い、共有データの送信元を接続先端末１００ｂとしてもよい。
　接続元端末１００ａは、共有データの送信後、画面共有を終了するかどうかの確認を行う（ステップＳ１１１）。終了する場合には、画面共有を終了することを、接続先端末１００ｂに通知し、画面共有を終了する（ステップＳ１１２）。終了しない場合には、ステップＳ１０８にもどって処理を継続する。
　ステップＳ１０８からステップＳ１１１までの一連の処理の中で、接続先端末１００ｂの画面を接続元端末１００ａと共有するように切り替えが必要になった場合には、接続先端末１００ｂに対して、切り替えを行う旨の通知を行い、接続先端末１００ｂから送信された共有データを接続元端末１００ａで受信して表示するよう切り替えても良い。
　焦点認識処理の方法として、コントラスト検出方式を前述したが、撮像画像に文字が含まれる場合には、光学文字認識処理を行って、文字の認識精度が良い部分は焦点が合っている、認識精度が悪い部分は焦点が合っていないと判断してもよい。図１７は、文字認識による焦点認識を行った場合の表示画面の一例である。画面上部に、撮像画像を表示し、網掛け部１７４として、焦点領域を表示している。また、網掛け部１７４が焦点領域であることが分かるように吹き出し１７５として表示を行っている。画面下部には、網掛けの部分が焦点領域として自動認識されたことを表示して、焦点領域を確定してよいかの確認を行っている。ここで、はいボタン１７１を選択した場合には、焦点領域を確定する。いいえボタン１７２を選択した場合には、焦点領域を指定せずに画面共有を行ってもよいし、他の画像認識によるオブジェクト領域や顔領域の検出を行ってもよい。手動で再設定ボタン１７３を選択した場合には、焦点領域をユーザが変更、再設定できるようにしてよい。
　また、別の焦点認識処理の方法として、撮像画像のエッジ検出処理を行い、エッジ検出量が多い部分は焦点が合っている、エッジ検出量が少ない部分は焦点が合っていないと判断してもよい。図１８は、エッジ検出による焦点認識を行った場合の表示画面の一例である。画面上部に、撮像画像を表示し、網掛け部１８４として、焦点領域を表示している。また、網掛け部１８４が焦点領域であることが分かるように吹き出し１８５として表示を行っている。画面下部には、網掛けの部分が焦点領域として自動認識されたことを表示して、焦点領域を確定してよいかの確認を行っている。ここで、はいボタン１８１を選択した場合には、焦点領域を確定する。いいえボタン１８２を選択した場合には、焦点領域を指定せずに画面共有を行ってもよいし、他の画像認識によるオブジェクト領域や顔領域の検出を行ってもよい。手動で再設定ボタン１８３を選択した場合には、焦点領域をユーザが変更、再設定できるようにしてよい。
　さらに、別の焦点認識処理の方法として、撮像時にカメラ部１１０で顔認識を行いその顔位置が保存されている場合には、顔位置周辺は焦点が合っている、それ以外は焦点が合っていないと判断してもよい。または、撮像画像とあわせて撮像時の設定としてフォーカス位置の情報が保存されている場合には、フォーカス位置周辺は焦点が合っている、それ以外は焦点が合っていないと判断してもよい。さらに、これらの方法を組み合わせて使用してもよい。
　図４は、接続元端末１００ａに接続先端末１００ｂの画面を表示する場合の画面共有処理のフローチャート図である。図３との処理の違いを中心に説明を行う。図４のＳ２０１からＳ２０７は、図３のＳ１０１からＳ１０７に相当するため、Ｓ２０８以降について説明する。
　接続元端末１００ａからの画面共有開始の通知後、接続先端末１００ｂは共有データの作成を行う（ステップＳ２０８）。
　図５は、焦点認識を行い画面共有する場合の、共有データ作成のフローチャートである。図４のフローチャートの、ステップＳ２０８の共有データ作成のサブプロセスに該当する。まず、接続先端末１００ｂは焦点認識モジュール１４１により、カメラ部１１０で撮像した撮像画像の焦点認識を行う（ステップＳ３０１）。焦点認識の処理方法としては、撮像画像に対して、画素同士のコントラストを検出して比較することで、隣の画素との明るさの差が大きい部分は焦点が合っている、隣の画素との明るさの差が小さい部分は焦点が合っていないと判断するコントラスト検出方式を用いることができる。
　次に、焦点の認識が成功したかどうか確認を行う（ステップＳ３０２）。
　焦点の認識が成功した場合には、焦点領域選択モジュール１２１により、撮像画像の中の焦点が合っている焦点領域を選択する（ステップＳ３０３）。この焦点領域選択の際には、選択領域の外縁の凹凸が少なくなるようにしてもよい。
　焦点の認識が失敗した場合には、ユーザが優先したい領域を指定する（ステップＳ３０４）。ここでは、接続先端末１００ｂの出力部１３０に撮像画像を表示して、ユーザが入力部１２０を介して、優先したい領域を直接指定できるようにしてよい。領域の指定方法としては、矩形の対角となる頂点２点を指定してもよいし、３点以上の点を指定してその中の範囲を指定の領域としてもよい。
　次に、焦点領域の優先度確認を行う（ステップＳ３０５）。図２２は、優先度設定画面の表示の一例である。ここでは、焦点認識範囲の優先度を、高、低、のどちらにするかをコンボボックス２２４から選択できるようにしている。同じように、顔認識範囲の優先度をコンボボックス２２５で、領域指定範囲の優先度をコンボボックス２２６で、オブジェクト認識範囲の優先度をコンボボックス２２７で選択可能とする。さらに、焦点認識、顔認識、オブジェクト認識、領域指定、の複数の手段により領域が選択された場合に、どの領域を優先するかを、表示２２３の＜１＞から＜４＞の順番を入れ替えることで、選択可能としてもよい。この画面での設定は、設定保存ボタン２２１の選択により保存し、キャンセルボタン２２２の選択により変更を破棄して、元の画面に遷移するものとする。図２２の画面は、ステップ３０５で毎回表示する必要はなく、事前に設定を行うか、一度設定を行えば、その後の処理でも適用されるものとする。
　図１５は、焦点領域の優先度が高であることを示すための表示の一例である。優先度の設定がされている場合には、焦点領域の優先度も、あわせて表示してもよい。また、図１６は、焦点領域外の優先度が低であることを示すための表示の一例である。焦点領域外は、優先度が低くなることを、ユーザに示すための表示を行ってもよい。また、ここでは、焦点領域の優先度が高に設定された場合、焦点領域外の優先度が低に設定されることとしたが、優先度の段階は、必ずしも高、低、の二段階である必要はなく、高、中、低、の三段階としてもよい。
　次に、焦点領域の優先度に応じて、撮像画像からデータ作成を行う（ステップＳ３０６）。優先度に応じたデータ作成は、解像度の変更、フレームレートの変更、画像サイズの変更、等の方法があり、これらの方法の詳細については後述する。
　共有データの作成後、接続先端末１００ｂの優先共有モジュール１６１は接続元端末１００ａに対して、共有データの送信を行う（ステップＳ２０９）。
　接続元端末１００ａは、接続先端末１００ｂから受信した共有データを基にして、共有画面を表示する（ステップＳ２１０）。
　また、画面共有を終了したい場合には、接続先端末１００ｂは、接続元端末１００ａに対して、画面共有終了を通知して、画面共有処理を終了させてもよい。さらに、途中で接続先端末１００ｂの画面を接続元端末１００ａと共有するように切り替えが必要になった場合には、接続元端末１００ａに対して、切り替えを行う旨の通知を行い、共有データの送信元を接続先端末１００ｂとしてもよい。
　接続元端末１００ａは、共有画面の表示後、画面共有を終了するかどうかの確認を行う（ステップＳ２１１）。終了する場合には、画面共有を終了することを、接続先端末１００ｂに通知し、画面共有を終了する（ステップＳ２１２）。終了しない場合には、ステップＳ２０７にもどって処理を継続する。
　ステップＳ２０７からステップＳ２１１までの一連の処理の中で、接続元端末１００ａの画面を接続先端末１００ｂと共有するように切り替えが必要になった場合には、接続先端末１００ｂに対して、切り替えを行う旨の通知を行い、接続元端末１００ａから送信された共有データを接続先端末１００ｂで受信して表示するよう切り替えても良い。
　［画像認識による画面共有処理］
　図６は、画像認識を行い画面共有する場合の端末１００の機能ブロックと各機能の関係を示す図である。図２の焦点認識を行い画面共有する場合の画面共有システムと同じく、複数の端末１００と通信網２００から構成される。図６の接続元端末１００ａ、接続先端末１００ｂは、端末１００と同等の機能を備えるものとする。通信網２００は、公衆通信網でも専用通信網でも良い。
　端末１００は、カメラ部１１０、入力部１２０、出力部１３０、記憶部１４０、制御部１５０、通信部１６０から構成される。カメラ部１１０で撮像した画像データや撮像時の設定等の情報は、記憶部１４０に保存するものとする。記憶部１４０は制御部１５０と協働して画像認識モジュール１４２を実現する。また入力部１２０は制御部１５０と協働してオブジェクト領域選択モジュール１２２を実現する。また、通信部１６０は制御部１５０と協働して優先共有モジュール１６１を実現する。
　端末１００は、カメラによる撮像を行える一般的な情報端末であって良く、後述する機能を備える情報機器や電化製品である。携帯電話やスマートフォン、カメラ機能を備えた、または、ウェブカメラ等の外付けカメラを接続可能な、タブレットＰＣ、ノートＰＣ、ウェアラブルデバイス、またはディスプレイを備えたＰＣ等の一般的な情報家電やその他の電化製品であって良い。端末１００として図示しているスマートフォンはその一例にすぎない。
　端末１００は、カメラ部１１０にカメラを備える。撮像した画像をデジタルデータに変換して、記憶部１４０に保存する。また、撮像画像は静止画像であっても動画像であってもよく、動画像の場合には、制御部１５０の働きにより、動画像の一部を切り出して、静止画像として記憶部１４０に保存することも可能であるとする。また、撮像して得られる画像は、ユーザが必要なだけの情報量を持った精密な画像であるものとし、画素数や画質を指定可能であるものとする。
　入力部１２０は、撮像の実行や表示した撮像画像に対する領域指定を行うために必要な機能を備えるものとする。例として、タッチパネル機能を実現する液晶ディスプレイ、キーボード、マウス、ペンタブレット、装置上のハードウェアボタン、音声認識を行うためのマイク等を備えることが可能である。入力方法により、本発明は特に機能を限定されるものではない。また、入力部１２０は制御部１５０と協働してオブジェクト領域選択モジュール１２２を実現するものとする。
　出力部１３０は、撮像画像の表示や、接続先端末１００ｂとの画面共有を行うために必要な機能を備えるものとする。例として、液晶ディスプレイ、ＰＣのディスプレイ、プロジェクターへの投影等の表示と音声出力等の形態が考えられる。出力方法により、本発明は特に機能を限定されるものではない。
　記憶部１４０として、ハードディスクや半導体メモリによる、データのストレージ部を備え、撮像した動画や静止画と、撮像時の設定などの情報、焦点認識処理等に必要なデータ等を記憶する。また、記憶部１４０は制御部１５０と協働して画像認識モジュール１４２を実現するものとする。
　制御部１５０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。
　通信部１６０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）対応デバイス又は第３世代、第４世代移動通信システム等のＩＭＴ－２０００規格に準拠した無線デバイス等を備える。有線によるＬＡＮ接続であってもよい。また、通信部１６０は制御部１５０と協働して優先共有モジュール１６１を実現するものとする。
　図７は、画像認識を行い画面共有する場合の、共有データ作成のフローチャートである。図３のフローチャートの、ステップＳ１０８の共有データ作成のサブプロセス、または、図４のフローチャートの、ステップＳ２０８の共有データ作成のサブプロセスに該当する。以下では、接続元端末１００ａが接続先端末１００ｂに画面を表示する場合の画面共有処理を例に説明するものとする。
　まず、接続元端末１００ａは画像認識モジュール１４２により、カメラ部１１０で撮像した撮像画像の画像認識を行う（ステップＳ４０１）。ここでの画像認識とは、撮像画像内に、ある特定のオブジェクトがあるかどうかのオブジェクト認識、または、人の顔を判別する顔認識であるものとする。画像認識の処理方法としては、撮像画像の特徴量を検出し、それを基にある特定のオブジェクトがあるかどうか、人の顔があるかどうかを判別するものである。以下では、人の顔もオブジェクトに含まれるものとして記載する。ここでの画像認識方法は、特に本発明を限定するものではなく、既存の画像認識技術を用いてよい。また、画面共有システムが、サーバを含む構成である場合には、撮像画像や検出した特徴量を、別途サーバに送信し、サーバ側で画像認識を行い、その結果を受信してもよい。また、外部のサーバに対して、画像認識のためのＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ　Ｐｒｏｇｒａｍｍｉｎｇ　Ｉｎｔｅｒｆａｃｅ）を送信して、画像認識の結果を受信してもよい。
　次に、オブジェクトの認識が成功したかどうか確認を行う（ステップＳ４０２）。
　オブジェクトの認識が成功した場合には、オブジェクト領域選択モジュール１２２により、撮像画像の中のオブジェクトが存在するオブジェクト領域を選択する（ステップＳ４０３）。このオブジェクト領域選択の際には、選択領域の外縁の凹凸が少なくなるようにしてもよい。
　図１９は、画像認識を行いオブジェクト領域が選択された後の、接続元端末１００ａの表示画面の一例である。画面上部に、撮像画像を表示し、網掛け部１９４として、オブジェクト領域を表示している。また、網掛け部１９４がオブジェクト領域であることが分かるように吹き出し１９５として表示を行っている。ここでの表示はあくまで一例であり、ユーザがどの部分がオブジェクト領域であるかを判断できれば良く、網掛けと吹き出しに限定される必要はない。画面下部には、網掛けの部分がオブジェクト領域として自動認識されたことを表示して、オブジェクト領域を確定してよいかの確認を行っている。ここで、はいボタン１９１を選択した場合には、オブジェクト領域を確定する。いいえボタン１９２を選択した場合には、オブジェクト領域を指定せずに画面共有を行ってもよいし、他の焦点認識等を行ってもよい。手動で再設定ボタン１９３を選択した場合には、オブジェクト領域をユーザが変更、再設定できるようにしてよい。図１９では表示していないが、認識したオブジェクトの種類を具体的に表示してもよい。ここで表示を行う場合には、自動車、乗用車、車等の表示が考えられる。
　図２０は、画像認識を行い顔領域が選択された後の、接続元端末１００ａの表示画面の一例である。画面上部に、撮像画像を表示し、網掛け部２０４として、顔領域を表示している。また、網掛け部２０４が顔領域であることが分かるように吹き出し２０５として表示を行っている。ここでの表示はあくまで一例であり、ユーザがどの部分が顔領域であるかを判断できれば良く、網掛けと吹き出しに限定される必要はない。画面下部には、網掛けの部分が顔領域として自動認識されたことを表示して、顔領域を確定してよいかの確認を行っている。ここで、はいボタン２０１を選択した場合には、顔領域を確定する。いいえボタン２０２を選択した場合には、顔領域を指定せずに画面共有を行ってもよいし、他の焦点認識等を行ってもよい。手動で再設定ボタン２０３を選択した場合には、顔領域をユーザが変更、再設定できるようにしてよい。
　オブジェクト認識が失敗した場合には、ユーザが優先したい領域を指定する（ステップＳ４０４）。ここでは、接続元端末１００ａの出力部１３０に撮像画像を表示して、ユーザが入力部１２０を介して、優先したい領域を直接指定できるようにしてよい。領域の指定方法としては、矩形の対角となる頂点２点を指定してもよいし、３点以上の点を指定してその中の範囲を指定の領域としてもよい。
　次に、オブジェクト領域の優先度確認を行う（ステップＳ４０５）。図２２は、優先度設定画面の表示の一例である。ここでは、焦点認識範囲の優先度、顔認識範囲の優先度、領域指定範囲の優先度、オブジェクト認識範囲の優先度、を、それぞれ高、低、のどちらにするかを、コンボボックス２２４、コンボボックス２２５、コンボボックス２２６、コンボボックス２２７、で選択可能としている。さらに、焦点認識、顔認識、オブジェクト認識、領域指定、の複数の手段により領域が選択された場合に、どの領域を優先するかを、表示２２３の＜１＞から＜４＞の順番を入れ替えることで、選択可能としてもよい。この画面での設定は、設定保存ボタン２２１の選択により保存し、キャンセルボタン２２２の選択により変更を破棄して、元の画面に遷移するものとする。図２２の画面は、ステップ４０５で毎回表示する必要はなく、事前に設定を行うか、一度設定を行えば、その後の処理でも適用されるものとする。
　最後に、オブジェクト領域の優先度に応じて、撮像画像からデータ作成を行う（ステップＳ４０６）。優先度に応じたデータ作成は、解像度の変更、フレームレートの変更、画像サイズの変更、等の方法があり、これらの方法の詳細については後述する。
　［所定の領域の指定による画面共有処理］
　図８は、所定の領域を指定して画面共有する場合の端末１００の機能ブロックと各機能の関係を示す図である。図２の焦点認識を行い画面共有する場合の画面共有システム、図６の画像認識を行い画面共有する場合の画面共有システムと同じく、複数の端末１００と通信網２００から構成される。図８の接続元端末１００ａ、接続先端末１００ｂは、端末１００と同等の機能を備えるものとする。通信網２００は、公衆通信網でも専用通信網でも良い。
　端末１００は、カメラ部１１０、入力部１２０、出力部１３０、記憶部１４０、制御部１５０、通信部１６０から構成される。カメラ部１１０で撮像した画像データや撮像時の設定等の情報は、記憶部１４０に保存するものとする。入力部１２０は制御部１５０と協働して領域指定モジュール１２３を実現する。また、通信部１６０は制御部１５０と協働して優先共有モジュール１６１を実現する。
　端末１００は、カメラによる撮像を行える一般的な情報端末であって良く、後述する機能を備える情報機器や電化製品である。携帯電話やスマートフォン、カメラ機能を備えた、または、ウェブカメラ等の外付けカメラを接続可能な、タブレットＰＣ、ノートＰＣ、ウェアラブルデバイス、またはディスプレイを備えたＰＣ等の一般的な情報家電やその他の電化製品であって良い。端末１００として図示しているスマートフォンはその一例にすぎない。
　端末１００は、カメラ部１１０にカメラを備える。撮像した画像をデジタルデータに変換して、記憶部１４０に保存する。また、撮像画像は静止画像であっても動画像であってもよく、動画像の場合には、制御部１５０の働きにより、動画像の一部を切り出して、静止画像として記憶部１４０に保存することも可能であるとする。また、撮像して得られる画像は、ユーザが必要なだけの情報量を持った精密な画像であるものとし、画素数や画質を指定可能であるものとする。
　入力部１２０は、撮像の実行や表示した撮像画像に対する領域指定を行うために必要な機能を備えるものとする。例として、タッチパネル機能を実現する液晶ディスプレイ、キーボード、マウス、ペンタブレット、装置上のハードウェアボタン、音声認識を行うためのマイク等を備えることが可能である。入力方法により、本発明は特に機能を限定されるものではない。また、入力部１２０は制御部１５０と協働して領域指定モジュール１２３を実現するものとする。
　出力部１３０は、撮像画像の表示や、接続先端末１００ｂとの画面共有を行うために必要な機能を備えるものとする。例として、液晶ディスプレイ、ＰＣのディスプレイ、プロジェクターへの投影等の表示と音声出力等の形態が考えられる。出力方法により、本発明は特に機能を限定されるものではない。
　記憶部１４０として、ハードディスクや半導体メモリによる、データのストレージ部を備え、撮像した動画や静止画と、撮像時の設定などの情報、焦点認識処理等に必要なデータ等を記憶する。
　制御部１５０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。
　通信部１６０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）対応デバイス又は第３世代、第４世代移動通信システム等のＩＭＴ－２０００規格に準拠した無線デバイス等を備える。有線によるＬＡＮ接続であってもよい。また、通信部１６０は制御部１５０と協働して優先共有モジュール１６１を実現するものとする。
　図９は、所定の領域を指定して画面共有する場合のフローチャート図である。図３のフローチャートの、ステップＳ１０８の共有データ作成のサブプロセス、または、図４のフローチャートの、ステップＳ２０８の共有データ作成のサブプロセスに該当する。以下では、接続元端末１００ａが接続先端末１００ｂに画面を表示する場合の画面共有処理を例に説明するものとする。
　まず、接続元端末１００ａは、カメラ部１１０で撮像した撮像画像を出力部１３０に表示する（ステップＳ５０１）。
　次に、接続元端末１００ａの領域指定モジュール１２３により、ユーザは画面共有の際に優先して表示したい、優先領域を選択する（ステップＳ５０２）。
　図２１は、領域指定モジュール１２３により所定の領域を指定して画面共有する場合の表示画面の一例である。接続元端末１００ａの画面上部に撮像画像を表示し、ユーザに優先して共有したい領域を、入力部１２０を介して指定させる。網掛け部２１３として、ユーザが指定した領域を表示している。また、網掛け部２１３が指定領域であることが分かるように吹き出し２１４として表示を行っている。ここでの表示はあくまで一例であり、ユーザがどの部分が指定領域であるかを判断できれば良く、網掛けと吹き出しに限定される必要はない。領域の指定方法としては、図示しているように、矩形の対角となる頂点２点を指定してもよいし、３点以上の点を指定してその中の範囲を指定の領域としてもよい。画面下部には、優先して共有したい領域を、上の画面上に指定するよう、ユーザに対する指示を表示している。ここで、指定完了ボタン２１１を選択した場合には、指定領域を確定する。キャンセルボタン２１２を選択した場合には、指定領域を指定せずに画面共有を行ってもよいし、他の焦点認識、オブジェクト認識、顔認識等を行ってもよい。
　次に、指定領域の優先度確認を行う（ステップＳ５０３）。図２２は、優先度設定画面の表示の一例である。ここでは、焦点認識範囲の優先度、顔認識範囲の優先度、領域指定範囲の優先度、オブジェクト認識範囲の優先度、を、それぞれ高、低、のどちらにするかを、コンボボックス２２４、コンボボックス２２５、コンボボックス２２６、コンボボックス２２７、で選択可能としている。さらに、焦点認識、顔認識、オブジェクト認識、領域指定、の複数の手段により領域が選択された場合に、どの領域を優先するかを、表示２２３の＜１＞から＜４＞の順番を入れ替えることで、選択可能としてもよい。この画面での設定は、設定保存ボタン２２１の選択により保存し、キャンセルボタン２２２の選択により変更を破棄して、元の画面に遷移するものとする。図２２の画面は、ステップ５０３で毎回表示する必要はなく、事前に設定を行うか、一度設定を行えば、その後の処理でも適用されるものとする。
　最後に、指定領域の優先度に応じて、撮像画像からデータ作成を行う（ステップＳ５０４）。優先度に応じたデータ作成は、解像度の変更、フレームレートの変更、画像サイズの変更、等の方法があり、これらの方法の詳細については後述する。
　［優先度に応じたデータ作成処理］
　図１０は、画面共有する領域の、解像度変更手段、フレームレート変更手段、画像サイズ変更手段、を備える場合の端末１００の機能ブロックと各機能の関係を示す図である。複数の端末１００と通信網２００から構成される。図１０の接続元端末１００ａ、接続先端末１００ｂは、端末１００と同等の機能を備えるものとする。通信網２００は、公衆通信網でも専用通信網でも良い。ここでは、前述した、焦点認識による画像共有、画像認識による画面共有、所定の領域の指定による画面共有、のすべての機能を端末１００に備える場合を例として記述する。
　端末１００は、カメラ部１１０、入力部１２０、出力部１３０、記憶部１４０、制御部１５０、通信部１６０から構成される。制御部１５０には、解像度変更モジュール１５１、フレームレート変更モジュール１５２、画像サイズ変更モジュール１５３、を備える。カメラ部１１０で撮像した画像データや撮像時の設定等の情報は、記憶部１４０に保存するものとする。記憶部１４０は制御部１５０と協働して焦点認識モジュール１４１、画像認識モジュール１４２を実現する。また入力部１２０は制御部１５０と協働して焦点領域選択モジュール１２１、オブジェクト領域選択モジュール１２２、領域指定モジュール１２３を実現する。また、通信部１６０は制御部１５０と協働して優先共有モジュール１６１を実現する。
　端末１００は、カメラによる撮像を行える一般的な情報端末であって良く、後述する機能を備える情報機器や電化製品である。携帯電話やスマートフォン、カメラ機能を備えた、または、ウェブカメラ等の外付けカメラを接続可能な、タブレットＰＣ、ノートＰＣ、ウェアラブルデバイス、またはディスプレイを備えたＰＣ等の一般的な情報家電やその他の電化製品であって良い。端末１００として図示しているスマートフォンはその一例にすぎない。
　端末１００は、カメラ部１１０にカメラを備える。撮像した画像をデジタルデータに変換して、記憶部１４０に保存する。また、撮像画像は静止画像であっても動画像であってもよく、動画像の場合には、制御部１５０の働きにより、動画像の一部を切り出して、静止画像として記憶部１４０に保存することも可能であるとする。また、撮像して得られる画像は、ユーザが必要なだけの情報量を持った精密な画像であるものとし、画素数や画質を指定可能であるものとする。
　入力部１２０は、撮像の実行や表示した撮像画像に対する領域指定を行うために必要な機能を備えるものとする。例として、タッチパネル機能を実現する液晶ディスプレイ、キーボード、マウス、ペンタブレット、装置上のハードウェアボタン、音声認識を行うためのマイク等を備えることが可能である。入力方法により、本発明は特に機能を限定されるものではない。また、入力部１２０は制御部１５０と協働して焦点領域選択モジュール１２１、オブジェクト領域選択モジュール１２２、領域指定モジュール１２３、を実現するものとする。
　出力部１３０は、撮像画像の表示や、接続先端末１００ｂとの画面共有を行うために必要な機能を備えるものとする。例として、液晶ディスプレイ、ＰＣのディスプレイ、プロジェクターへの投影等の表示と音声出力等の形態が考えられる。出力方法により、本発明は特に機能を限定されるものではない。
　記憶部１４０として、ハードディスクや半導体メモリによる、データのストレージ部を備え、撮像した動画や静止画と、撮像時の設定などの情報、焦点認識処理等に必要なデータ等を記憶する。また、記憶部１４０は制御部１５０と協働して焦点認識モジュール１４１、画像認識モジュール１４２を実現するものとする。
　制御部１５０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。制御部１５０には、解像度変更モジュール１５１、フレームレート変更モジュール１５２、画像サイズ変更モジュール１５３、を備える。
　通信部１６０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）対応デバイス又は第３世代、第４世代移動通信システム等のＩＭＴ－２０００規格に準拠した無線デバイス等を備える。有線によるＬＡＮ接続であってもよい。また、通信部１６０は制御部１５０と協働して優先共有モジュール１６１を実現するものとする。
　図１１は、解像度に応じた共有データ作成のフローチャート図である。図５のフローチャートステップＳ３０６、または、図７のフローチャートのステップＳ４０６、または、図９のフローチャートのステップＳ５０４に該当する。以下では、接続元端末１００ａが接続先端末１００ｂに画面を表示する場合の、焦点認識による画面共有処理を例に説明するものとする。
　解像度に応じたデータ作成を行う場合、解像度変更モジュール１５１によって以下の処理を行う。まず、焦点領域の優先度設定を取得する（ステップＳ６０１）。焦点領域の優先度設定は、前述した通り、図２２に示すような優先度設定画面で設定されているものとする。ここでは、図２２のコンボボックス２２４で、焦点認識範囲つまり焦点領域に対する優先度が高と指定されている。
　次に、焦点領域の優先度に応じた解像度設定を取得する（ステップＳ６０２）。図２３は、優先度に応じた解像度設定画面の表示の一例である。この画面で、優先度が高の領域、優先度が低の領域の解像度を、それぞれ、最高（もっともきれい）、高い（きれい）、普通（標準）、低い（粗い）、のいずれにするかを、コンボボックス２３３、コンボボックス２３４、で選択可能としている。ここでは、解像度の表示である、最高、高い、普通、低い、とあわせて、解像度が何を意味するかよくわからないユーザのために、画質の目安として、もっともきれい、きれい、標準、粗い、を括弧内に併記した例を示したが、括弧書きはなくてもよい。ここでは、優先度高の場合には、解像度は高い（きれい）が、優先度低の場合には、解像度は低い（粗い）が選択されていることを図示している。コンボボックスでの設定選択後、設定保存ボタン２３１の選択により、設定を保存し、キャンセルボタン２３２の選択により、設定の変更を破棄するものとする。設定保存ボタン２３１の選択時に、優先度が高の領域より優先度が低の領域の方が、解像度が高くなっている場合には、警告画面を表示してもよい。また、図２３の画面は、ステップ６０２で毎回表示する必要はなく、事前に設定を行うか、一度設定を行えば、その後の処理でも適用されるものとする。図２３では、優先度が高の場合と低の場合の設定を行う例を示したが、もっと様々な優先度が存在する場合には、それに応じて本画面での設定項目を増やして対応可能であるものとする。
　次に、取得した解像度設定にあわせて、撮像画像の焦点領域の解像度変換が必要かどうかの確認を行う（ステップＳ６０３）。
　解像度変換が必要な場合には、焦点領域の解像度変換を行う（ステップＳ６０４）。ここでの解像度変換は、バイキュービック法、バイリニア法、ニアレストネイバー法等、システムに適した既存の方法を使用してよい。または、ユーザが所望の解像度変換方法を指定可能としてもよい。解像度変換が不要な場合、つまり、撮像画像の解像度と取得した解像度設定が同じである場合には、ステップＳ６０５に進む。
　次に、焦点領域外の優先度設定を取得する（ステップＳ６０５）。ここでは、焦点領域外、オブジェクト領域外、顔領域外、指定領域外、は、自動で優先度が低に設定されているものとするが、図２２と同じような設定画面を設けて、ユーザに優先度を設定させてもよい。
　次に、焦点領域外の優先度に応じた解像度設定を取得する（ステップＳ６０６）。ここでは、前述した図２３に示すような、解像度設定画面での設定を取得する。
　取得した解像度設定にあわせて、撮像画像の焦点領域外の解像度変換が必要かどうかの確認を行う（ステップＳ６０７）。
　解像度変換が必要な場合には、焦点領域外の解像度変換を行う（ステップＳ６０８）。ステップＳ６０４と同じく、ここでの解像度変換は、バイキュービック法、バイリニア法、ニアレストネイバー法等、システムに適した既存の方法を使用してよい。または、ユーザが所望の解像度変換方法を指定可能としてもよい。解像度変換が不要な場合、つまり、撮像画像の解像度と取得した解像度設定が同じである場合には、ステップＳ６０９に進む。
　最後に、焦点領域の画像と焦点領域外の画像を合成する（ステップＳ６０９）。これにより、優先度が高の部分の画像は解像度が高く綺麗であり、優先度が低の部分の画像は解像度が低いがデータ量が少ない共有データを作成することができる。以上が、解像度変更モジュール１５１による解像度に応じた共有データの作成処理である。
　図１２は、フレームレートに応じた共有データ作成と送信のフローチャート図である。図３のフローチャートのステップＳ１０８とＳ１０９、または、図４のフローチャートのステップＳ２０８とＳ２０９の処理に該当する。以下では、接続元端末１００ａが接続先端末１００ｂに画面を表示する場合の、オブジェクト認識による画面共有処理を例に説明するものとする。
　フレームレートに応じたデータ作成を行う場合、フレームレート変更モジュール１５２によって以下の処理を行う。まず、前回のオブジェクト領域更新時間を取得する（ステップＳ７０１）。これは、フレームレートとは、動画において、単位時間あたりに処理させるフレーム数（静止画像数）であるため、フレームレートが決定していれば、前回の更新からの経過時間に応じて、画像の更新が必要であるかどうかを判断可能であるためである。
　次に、オブジェクト領域の優先度設定を取得する（ステップＳ７０２）。オブジェクト領域の優先度設定は、前述した通り、図２２に示すような優先度設定画面で設定されているものとする。ここでは、図２２のコンボボックス２２７で、オブジェクト認識範囲つまりオブジェクト領域に対する優先度が高と指定されている。
　次に、オブジェクト領域の優先度に応じたフレームレート設定を取得する（ステップＳ７０３）。図２４は、優先度に応じたフレームレート設定画面の表示の一例である。この画面で、優先度が高の領域、優先度が低の領域のフレームレートを、それぞれ、高速（６０ｆｐｓ）、早い（３０ｆｐｓ）、標準（２５ｆｐｓ）、遅い（１５ｆｐｓ）、のいずれにするかを、コンボボックス２４３、コンボボックス２４４、で選択可能としている。ここでは、高速、早い、標準、遅い、とあわせて、フレームレート（ｆｐｓ：ｆｒａｍｅｓ　ｐｅｒ　ｓｅｃｏｎｄ＝フレーム毎秒）を括弧内に併記した例を示したが、括弧書きはなくてもよい。また、フレームレートの数値はあくまで一例であり、システムにあわせた数値として良い。ここでは、優先度高の場合には、フレームレートは早い（３０ｆｐｓ）が、優先度低の場合には、フレームレートは遅い（１５ｆｐｓ）が選択されていることを図示している。コンボボックスでの設定選択後、設定保存ボタン２４１の選択により、設定を保存し、キャンセルボタン２４２の選択により、設定の変更を破棄するものとする。設定保存ボタン２４１の選択時に、優先度が高の領域より優先度が低の領域の方が、フレームレートが高くなっている場合には、警告画面を表示してもよい。また、図２４の画面は、ステップＳ７０３で毎回表示する必要はなく、事前に設定を行うか、一度設定を行えば、その後の処理でも適用されるものとする。図２４では、優先度が高の場合と低の場合の設定を行う例を示したが、もっと様々な優先度が存在する場合には、それに応じて本画面での設定項目を増やして対応可能であるものとする。
　次に、取得したフレームレートにあわせて、撮像画像のオブジェクト領域の表示更新が必要かどうかの確認を行う（ステップＳ７０４）。
　オブジェクト領域の表示更新が必要な場合には、続けて、前回のオブジェクト領域外更新時間を取得する（ステップＳ７０５）。オブジェクト領域の表示更新が不要な場合には、処理を終了する。
　次に、オブジェクト領域外の優先度設定を取得する（ステップＳ７０６）。ここでは、焦点領域外、オブジェクト領域外、顔領域外、指定領域外、は、自動で優先度が低に設定されているものとするが、図２２と同じような設定画面を設けて、ユーザに優先度を設定させてもよい。
　次に、オブジェクト領域外の優先度に応じたフレームレート設定を取得する（ステップＳ７０７）。ここでは、前述した図２４に示すような、フレームレート設定画面での設定を取得する。
　取得したフレームレート設定にあわせて、撮像画像のオブジェクト領域外の表示更新が必要かどうかの確認を行う（ステップＳ７０８）。
　ステップＳ７０８で表示更新が必要な場合には、オブジェクト領域とオブジェクト領域外の双方について表示更新が必要であるため、優先共有モジュール１６１により、撮像画像全体のデータ送信を行う（ステップＳ７０９）。
　オブジェクト領域外の表示更新が不要な場合には、優先共有モジュール１６１により、オブジェクト領域のみのデータを送信する（ステップＳ７１０）。これにより、優先度が高の部分はフレームレートが早く、優先度が低の部分はフレームレートが遅い、画面共有の表示更新が可能である。以上が、フレームレート変更モジュール１５２によるフレームレートに応じた共有データの作成と優先共有モジュール１６１による共有データの送信処理である。
　図１３は、画像サイズに応じた共有データ作成と送信のフローチャート図である。図３のフローチャートのステップＳ１０８とＳ１０９、または、図４のフローチャートのステップＳ２０８とＳ２０９の処理に該当する。以下では、接続元端末１００ａが接続先端末１００ｂに画面を表示する場合の、所定の領域指定による画面共有処理を例に説明するものとする。
　画像サイズに応じたデータ作成を行う場合、画像サイズ変更モジュール１５３によって以下の処理を行う。まず、指定領域の優先度設定を取得する（ステップＳ８０１）。指定領域の優先度設定は、前述した通り、図２２に示すような優先度設定画面で設定されているものとする。ここでは、図２２のコンボボックス２２６で、領域指定範囲つまり指定領域に対する優先度が高と指定されている。
　次に、指定領域の優先度に応じた画像サイズ設定を取得する（ステップＳ８０２）。図２５は、優先度に応じた画像サイズ設定画面の表示の一例である。この画面で、優先度が高の領域、優先度が低の領域の画像サイズを、それぞれ、大（拡大）、中（通常）、小（サムネイル）、のいずれにするかを、コンボボックス２５３、コンボボックス２５４、で選択可能としている。ここでは、大、中、小、とあわせて、拡大、通常、サムネイル、というサイズの目安を括弧内に併記した例を示したが、括弧書きはなくてもよい。また、画像サイズの選択肢はあくまで一例であり、システムにあわせた内容として良い。ここでは、優先度高の場合には、画像サイズは大（拡大）が、優先度低の場合には、画像サイズは小（サムネイル）が選択されていることを図示している。コンボボックスでの設定選択後、設定保存ボタン２５１の選択により、設定を保存し、キャンセルボタン２５２の選択により、設定の変更を破棄するものとする。設定保存ボタン２５１の選択時に、優先度が高の領域より優先度が低の領域の方が、画像サイズが大きくなっている場合には、警告画面を表示してもよい。また、図２５の画面は、ステップ８０２で毎回表示する必要はなく、事前に設定を行うか、一度設定を行えば、その後の処理でも適用されるものとする。図２５では、優先度が高の場合と低の場合の設定を行う例を示したが、もっと様々な優先度が存在する場合には、それに応じて本画面での設定項目を増やして対応可能であるものとする。
　次に、指定領域外の優先度設定を取得する（ステップＳ８０３）。ここでは、焦点領域外、オブジェクト領域外、顔領域外、指定領域外、は、自動で優先度が低に設定されているものとするが、図２２と同じような設定画面を設けて、ユーザに優先度を設定させてもよい。
　次に、指定領域外の優先度に応じた画像サイズ設定を取得する（ステップＳ８０４）。ここでは、前述した図２５に示すような、画像サイズ設定画面での設定を取得する。
　指定領域の画像サイズ設定と、指定領域外の画像サイズ設定が、同じかどうかの確認を行う（ステップＳ８０５）。
　指定領域の画像サイズ設定と、指定領域外の画像サイズ設定が、同じである場合には、続けて、画像サイズの変更が必要であるかどうかの確認を行う（ステップＳ８０６）。
　画像サイズの変更が必要である場合には、撮像画像全体の画像サイズを、画像サイズ設定にあわせて変更する（ステップＳ８０７）。ここでの画像サイズの変更は、バイキュービック法、バイリニア法、ニアレストネイバー法等、システムに適した既存の方法を使用してよい。または、ユーザが所望の画像サイズ変更方法を指定可能としてもよい。画像サイズ変更が不要な場合、つまり、撮像画像の画像サイズと取得した画像サイズ設定が同じである場合には、ステップＳ８０８に進む。
　ステップＳ８０８で、接続元端末１００ａの優先共有モジュール１６１は、接続先端末１００ｂに対して、必要に応じて画像サイズの変更が行われた、撮像画像全体のデータを送信する。指定領域の画像サイズ設定と、指定領域外の画像サイズ設定が、同じである場合には、接続先端末１００ｂの出力部１３０に共有データの画像表示を行う場合には、撮像画像全体を、画像サイズ設定の指定にあわせて表示すればよい。
　指定領域の画像サイズ設定と、指定領域外の画像サイズ設定が、同じでない場合には、まず、指定領域の画像サイズの変更が必要であるかどうかの確認を行う（ステップＳ８０９）。
　指定領域の画像サイズの変更が必要である場合には、指定領域の画像を、画像サイズ設定にあわせて変更する（ステップＳ８１０）。ここでの画像サイズ変換も、バイキュービック法、バイリニア法、ニアレストネイバー法等、システムに適した既存の方法を使用してよい。または、ユーザが所望の画像サイズ変換方法を指定可能としてもよい。指定領域の画像サイズ変換が不要な場合、つまり、撮像画像の画像サイズと取得した指定領域の画像サイズ設定が同じである場合には、ステップＳ８１１に進む。
　ステップＳ８１１で、接続元端末１００ａの優先共有モジュール１６１は、接続先端末１００ｂに対して、必要に応じて画像サイズの変更が行われた、指定領域のデータを送信する。
　次に、指定領域外の画像サイズの変更が必要であるかどうかの確認を行う（ステップＳ８１２）。
　指定領域外の画像サイズの変更が必要である場合には、指定領域外の画像を、画像サイズ設定にあわせて変更する（ステップＳ８１３）。ここでの画像サイズ変換も、バイキュービック法、バイリニア法、ニアレストネイバー法等、システムに適した既存の方法を使用してよい。または、ユーザが所望の画像サイズ変換方法を指定可能としてもよい。指定領域外の画像サイズ変換が不要な場合、つまり、撮像画像の画像サイズと取得した指定領域外の画像サイズ設定が同じである場合には、ステップＳ８１４に進む。
　ステップＳ８１４で、接続元端末１００ａから接続先端末１００ｂに対して、必要に応じて画像サイズの変更が行われた、指定領域外のデータを送信する。
　図２６は、優先度に応じて画像サイズを変更した場合の表示の一例である。接続先端末１００ｂは、指定領域の画像データと、指定領域外の画像データを、接続元端末１００ａから受信し、表示部１３０に表示する。ここでは、接続先端末１００ｂの画面中央に、指定領域の画像を画像サイズ大（拡大）で表示している。また、画面左上部に、指定領域外の画像を画像サイズ小（サムネイル）で表示している。画面下部には、指定領域のみ画像サイズを大きくして表示している旨を表示するとともに、表示切り替えを行いたい場合の設定を行うためのボタンを配置している。ここで、画面共有終了ボタン２６１を選択すると、画面共有処理を終了する。全体表示に切り替えボタン２６２を選択すると、指定領域および指定領域外の画像サイズ設定をともに中（通常）に切り替え、撮像画像全体を通常サイズで表示するものとする。図２６では、サムネイル画像の指定領域部分は、網掛け表示としているが、システムの設定やユーザの要望にあわせて、サムネイル画像は撮像画像全体を表示するものとしてもよい。以上が、画像サイズ変更モジュール１５３による画像サイズに応じた共有データの作成と優先共有モジュール１６１による共有データの送信処理である。
　上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭなど）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなど）、コンパクトメモリ等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
　以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
　１００　端末、１００ａ　接続元端末、１００ｂ　接続先端末、２００　通信網

Claims (8)

  1. 　接続先端末と画面を共有する画面共有システムであって、
    　撮像画像の焦点を認識する焦点認識手段と、
    　前記焦点認識手段で認識された焦点が合っている焦点領域を、前記撮像画像から選択する焦点領域選択手段と、
    　前記焦点領域を優先して前記接続先端末と画面共有する優先共有手段と、
    を備えることを特徴とする画面共有システム。
  2. 　接続先端末と画面を共有する画面共有システムであって、
    　撮像画像を画像認識する画像認識手段と、
    　前記画像認識された撮像画像からオブジェクト領域を選択するオブジェクト領域選択手段と、
    　前記オブジェクト領域を優先して前記接続先端末と画面共有する優先共有手段と、
    を備えることを特徴とする画面共有システム。
  3. 　接続先端末と画面を共有する画面共有システムであって、
    　撮像画像に所定の領域を指定する領域指定手段と、
    　前記所定の領域を優先して前記接続先端末と画面共有する優先共有手段と、
    を備えることを特徴とする画面共有システム。
  4. 　前記優先共有手段で画面共有する領域の解像度を変更する、解像度変更手段を備えることを特徴とする請求項１から請求項３のいずれかに記載の画面共有システム。
  5. 　前記優先共有手段で画面共有する領域のフレームレートを変更する、フレームレート変更手段を備えることを特徴とする請求項１から請求項３のいずれかに記載の画面共有システム。
  6. 　前記優先共有手段で画面共有する領域の画像サイズを変更する、画像サイズ変更手段を備えることを特徴とする請求項１から請求項３のいずれかに記載の画面共有システム。
  7. 　接続先端末と画面を共有する画面共有方法であって、
    　撮像画像の焦点を認識する焦点認識ステップと、
    　前記焦点認識ステップで認識された焦点が合っている焦点領域を、前記撮像画像から選択する焦点領域選択ステップと、
    　前記焦点領域を優先して前記接続先端末と画面共有する優先共有ステップと、
    を備えることを特徴とする画面共有方法。
  8. 　接続先端末と画面を共有するための画面共有システムに、
    　撮像画像の焦点を認識する焦点認識ステップ、
    　前記焦点認識ステップで認識された焦点が合っている焦点領域を、前記撮像画像から選択する焦点領域選択ステップ、
    　前記焦点領域を優先して前記接続先端末と画面共有する優先共有ステップ、
    を実行させるための画面共有プログラム。
     

     
PCT/JP2016/059110 2016-03-23 2016-03-23 画面共有システム、画面共有方法、および画面共有プログラム WO2017163323A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/059110 WO2017163323A1 (ja) 2016-03-23 2016-03-23 画面共有システム、画面共有方法、および画面共有プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/059110 WO2017163323A1 (ja) 2016-03-23 2016-03-23 画面共有システム、画面共有方法、および画面共有プログラム

Publications (1)

Publication Number Publication Date
WO2017163323A1 true WO2017163323A1 (ja) 2017-09-28

Family

ID=59900034

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/059110 WO2017163323A1 (ja) 2016-03-23 2016-03-23 画面共有システム、画面共有方法、および画面共有プログラム

Country Status (1)

Country Link
WO (1) WO2017163323A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948606A (zh) * 2019-02-20 2019-06-28 深圳威尔视觉传媒有限公司 基于图像识别自动获取焦点的方法和相关装置
CN113556598A (zh) * 2020-09-10 2021-10-26 华为终端有限公司 多窗口投屏方法及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1042180A (ja) * 1996-07-26 1998-02-13 Sharp Corp 画像入力装置
JPH11285001A (ja) * 1998-01-27 1999-10-15 Sharp Corp 動画像符号化装置及び動画像復号装置
JP2016506669A (ja) * 2012-12-20 2016-03-03 マイクロソフト テクノロジー ライセンシング，エルエルシー プライバシー・モードのあるカメラ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1042180A (ja) * 1996-07-26 1998-02-13 Sharp Corp 画像入力装置
JPH11285001A (ja) * 1998-01-27 1999-10-15 Sharp Corp 動画像符号化装置及び動画像復号装置
JP2016506669A (ja) * 2012-12-20 2016-03-03 マイクロソフト テクノロジー ライセンシング，エルエルシー プライバシー・モードのあるカメラ

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948606A (zh) * 2019-02-20 2019-06-28 深圳威尔视觉传媒有限公司 基于图像识别自动获取焦点的方法和相关装置
CN109948606B (zh) * 2019-02-20 2023-09-19 深圳威尔视觉传媒有限公司 基于图像识别自动获取焦点的方法和相关装置
CN113556598A (zh) * 2020-09-10 2021-10-26 华为终端有限公司 多窗口投屏方法及电子设备

Similar Documents

Publication Publication Date Title
JP6507467B2 (ja) 情報処理装置
US9692978B2 (en) Image capturing apparatus, control method therefor, and storage medium
EP3531689B1 (en) Optical imaging method and apparatus
US9253340B2 (en) Wireless camera with image sharing prioritization
US20130120592A1 (en) Method for wireless sharing of images
JP2008210143A (ja) 画像処理システム、情報処理装置、画像処理方法、及びプログラム
US10327144B2 (en) Printing apparatus for performing wireless communication, method for controlling printing apparatus, and storage medium
JP2016031411A (ja) 無線通信システム、表示装置、及び表示方法
US20100149356A1 (en) Display method and photographing apparatus and display apparatus using the same
WO2017163323A1 (ja) 画面共有システム、画面共有方法、および画面共有プログラム
US10853012B2 (en) Image forming apparatus performing wireless LAN communication through access point, control method therefor, and storage medium storing control program therefor
JP6766914B2 (ja) 映像出力システム
US20230229367A1 (en) Information processing apparatus having a plurality of lines, control method therefor, and storage medium
US11681487B2 (en) Electronic apparatus and control method thereof and storage medium
JP2018005091A (ja) 表示制御プログラム、表示制御方法および表示制御装置
US20180007279A1 (en) Information processing apparatus, method of controlling image display, and storage medium
US10595186B2 (en) Communication apparatus capable of switching connection to external apparatus, method of controlling the same, and storage medium
JPWO2017042983A1 (ja) 画面共有装置、画面共有方法及び、画面共有システム、及びそのプログラム
US11477367B2 (en) Information processing apparatus, image processing apparatus, and method of controlling the same
US11178343B2 (en) Combining images from different devices according to a determined wipe shape
US11558804B2 (en) Communication apparatus capable of wireless communication with external apparatus, control method therefor, and storage medium storing program for executing control method
JP2017204718A (ja) 撮像装置およびそのズーム制御方法
JP2024049938A (ja) 電子機器及びその制御方法及びプログラム
CN114489550A (zh) 投屏控制方法、投屏器及存储介质
JP2016063472A (ja) 携帯端末および携帯端末の制御方法

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16895359

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 11.01.2019)

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 16895359

Country of ref document: EP

Kind code of ref document: A1