WO2017163324A1 - コミュニケーションシステム、コミュニケーション方法及びプログラム - Google Patents

コミュニケーションシステム、コミュニケーション方法及びプログラム Download PDF

Info

Publication number
WO2017163324A1
WO2017163324A1 PCT/JP2016/059111 JP2016059111W WO2017163324A1 WO 2017163324 A1 WO2017163324 A1 WO 2017163324A1 JP 2016059111 W JP2016059111 W JP 2016059111W WO 2017163324 A1 WO2017163324 A1 WO 2017163324A1
Authority
WO
WIPO (PCT)
Prior art keywords
captured image
cameras
camera
person
communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/059111
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optim Corp
Original Assignee
Optim Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optim Corp filed Critical Optim Corp
Priority to PCT/JP2016/059111 priority Critical patent/WO2017163324A1/ja
Priority to US16/081,089 priority patent/US10432894B2/en
Priority to JP2018506667A priority patent/JP6387205B2/ja
Publication of WO2017163324A1 publication Critical patent/WO2017163324A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for programme selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for programme selection
    • H04N21/4821—End-user interface for programme selection using a grid, e.g. sorted out by channel and broadcast time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image

Definitions

  • the present invention relates to a communication system, a communication method, and a program connected to a plurality of cameras via a network.
  • cameras installed in various places take images such as moving images and still images, and display captured images on information terminals connected to the cameras via a network.
  • the user can display a captured image of a camera installed at this place by designating an arbitrary place.
  • Patent Document 1 it is possible to display a captured image, but it is difficult to communicate with a person near the camera.
  • an object of the present invention is to select an arbitrary captured image from a plurality of captured images and facilitate communication with a person around the camera that captures the selected captured image.
  • the purpose is to provide a communication system, communication method and program.
  • the present invention provides the following solutions.
  • the invention is a communication system connected to a plurality of cameras via a network, Display means for displaying captured images of the plurality of cameras; Picked-up image selecting means for selecting a desired picked-up image from the displayed picked-up images of a plurality of cameras; Communication means for communicating with a person in the vicinity of the camera via a device attached to the camera corresponding to the selected captured image;
  • a communication system characterized by comprising:
  • a communication system connected to a plurality of cameras via a network displays captured images of the plurality of cameras, and from among the displayed captured images of the plurality of cameras. Then, the user selects a desired captured image, and communicates with a person in the vicinity of the camera via a device attached to the camera corresponding to the selected captured image.
  • the invention according to the first feature is a category of the communication system, but the same operation and effect corresponding to the category are exhibited in other categories such as a method or a program.
  • the invention according to the second feature is a communication system connected to a plurality of cameras via a network, Display means for displaying captured images of the plurality of cameras; Picked-up image selecting means for selecting a desired picked-up image from the displayed picked-up images of a plurality of cameras; Image recognition means for identifying a person shown in the selected captured image by image recognition; A communication means for communicating with the information device used by the identified person;
  • a communication system characterized by comprising:
  • a communication system connected to a plurality of cameras via a network displays captured images of the plurality of cameras, and from among the displayed captured images of the plurality of cameras. Then, a desired captured image is selected, a person shown in the selected captured image is specified by image recognition, and communication is performed with respect to an information device used by the specified person.
  • the invention according to the second feature is a category of the communication system, but the same operation / effect according to the category is exhibited in other categories such as a method or a program.
  • the display means displays a list of images captured by the plurality of cameras.
  • a communication system that is an invention according to either the first or second feature is provided.
  • the communication system displays a list of images captured by the plurality of cameras.
  • the attached device is an audio device or a projection device
  • the communication means communicates by calling or projection
  • a communication system which is an invention according to the first feature is provided.
  • the attached device is an audio device or a projection device, and communicates by calling or projecting.
  • the communication means communicates by phone call, mail or chat.
  • a communication system according to the second feature is provided.
  • the communication system according to the second aspect of the invention communicates by phone call, mail, or chat.
  • An invention according to a sixth aspect is a communication method executed by a communication system connected to a plurality of cameras via a network, Displaying captured images of the plurality of cameras; Selecting a desired captured image from among the displayed captured images of the plurality of cameras; Communicating with a person near the camera via a device attached to the camera corresponding to the selected captured image;
  • a communication method characterized by comprising:
  • An invention according to a seventh aspect is a communication method executed by a communication system connected to a plurality of cameras via a network, Displaying captured images of the plurality of cameras; Selecting a desired captured image from among the displayed captured images of the plurality of cameras; Identifying the person shown in the selected captured image by image recognition; Communicating with the information device used by the identified person;
  • a communication method characterized by comprising:
  • the invention according to the eighth feature provides a communication system connected to a plurality of cameras via a network. Displaying captured images of the plurality of cameras; Selecting a desired captured image from among the displayed captured images of the plurality of cameras; Communicating with a person in the vicinity of the camera via a device attached to the camera corresponding to the selected captured image; Provide a program that executes
  • the invention according to the ninth feature is provided in a communication system connected to a plurality of cameras via a network. Displaying captured images of the plurality of cameras; Selecting a desired captured image from among the displayed captured images of the plurality of cameras; Identifying a person appearing in the selected captured image by image recognition; Communicating with the information device used by the identified person; Provide a program that executes
  • a communication system capable of easily selecting an arbitrary captured image from a plurality of captured images and communicating with a person around the camera that captures the selected captured image.
  • a program can be provided.
  • FIG. 1 is a diagram showing an outline of a communication system 1 in the first embodiment.
  • FIG. 2 is a diagram showing an outline of the communication system 1 in the second embodiment.
  • FIG. 3 is an overall configuration diagram of the communication system 1 according to the first embodiment.
  • FIG. 4 is an overall configuration diagram of the communication system 1 in the second embodiment.
  • FIG. 5 is a functional block diagram of the operator terminal 100 and the camera 300 in the first embodiment.
  • FIG. 6 is a functional block diagram of the operator terminal 100, the information device 200, and the camera 300 according to the second embodiment.
  • FIG. 7 is a flowchart illustrating communication processing executed by the operator terminal 100 and the camera 300 in the first embodiment.
  • FIG. 8 is a flowchart showing image display processing executed by the operator terminal 100 and the camera 300 in the first embodiment.
  • FIG. 9 is a flowchart illustrating communication processing executed by the operator terminal 100, the information device 200, and the camera 300 according to the second embodiment.
  • FIG. 10 is a captured image list screen displayed by the operator terminal 100.
  • FIG. 11 is a captured image screen displayed by the operator terminal 100.
  • FIG. 12 is a person search screen displayed on the operator terminal 100.
  • FIG. 13 is a captured image list screen displayed by the operator terminal 100.
  • FIG. 14 is a person information table stored in the operator terminal 100.
  • FIG. 1 is a diagram for explaining the outline of a communication system 1 which is a preferred first embodiment of the present invention.
  • the communication system 1 includes an operator terminal 100 and a plurality of cameras 300.
  • one camera 300 is illustrated as the plurality of cameras 300, but only one camera 300 is illustrated among the plurality of cameras 300, and the number thereof can be changed as appropriate. is there.
  • the number of operator terminals 100 is not limited to one and may be plural.
  • Each device may be realized by either or both of an actual device and a virtual device.
  • Each process described below may be realized by either or both of the operator terminal 100 and the camera 300.
  • the operator terminal 100 is an information terminal capable of data communication with the camera 300.
  • the operator terminal 100 is, for example, an electronic product such as a netbook terminal, a slate terminal, an electronic book terminal, a portable music player, or other articles in addition to a mobile phone, a portable information terminal, a tablet terminal, or a personal computer.
  • the camera 300 is an imaging device that captures images such as still images and moving images that can communicate with the operator terminal 100.
  • the camera 300 is accompanied by an audio device and a projection device.
  • the camera 300 may include an audio device or a projection device inside the camera 300 main body, or may be attached to a position near the camera 300.
  • the operator terminal 100 receives an input from the operator, acquires a captured image of the camera 300, and displays it on itself (step S01).
  • the camera 300 may capture an image based on an input from the operator terminal 100, or may capture an image regardless of the input from the operator terminal 100. Further, the operator terminal 100 may display a list of captured images acquired from a plurality of cameras 300, or list captured images acquired from the cameras 300 that meet specific conditions such as a person name, a place name, and a building name. Or a captured image acquired from any one of the plurality of cameras 300 may be displayed by a method other than the list.
  • the operator terminal 100 receives an operator input to the displayed plurality of captured images, and receives a selection input of a captured image desired by the operator (step S02).
  • the operator terminal 100 transmits and receives audio data or captured image data to and from the camera 300 that captures the selected captured image, and communicates with the operator and a person in the vicinity of the camera 300 (step S03).
  • an operator and a person receive an operator's voice input via an acoustic device such as a microphone or a speaker of the operator terminal 100, and input a person's voice input via an acoustic device attached to the camera 300.
  • an operator terminal 100 and the camera 300 transmit and receive audio data input to each of them, and output audio based on audio data received by the audio equipment of the operator terminal 100 and the audio equipment attached to the camera 300.
  • the operator terminal 100 captures the operator's image using its own imaging device, and the camera 300 captures the person's image.
  • the operator terminal 100 and the camera 300 each transmit and receive captured image data captured by the operator terminal 100 and the captured image data received by the display unit of the operator terminal 100 and a projection device such as a projector attached to the camera 300 and the display unit. Based on the captured image, the image is output.
  • FIG. 3 is a diagram showing a system configuration of the communication system 1 according to the preferred first embodiment of the present invention.
  • the communication system 1 includes an operator terminal 100, a plurality of cameras 300, and a public line network (Internet network, third and fourth generation communication network, etc.) 5.
  • the number of operator terminals 100 is not limited to one, and a plurality of operator terminals 100 may exist on the system.
  • FIG. 3 although only one camera 300 is shown in FIG. 3 as the plurality of cameras 300, this is merely an example.
  • Each device may be realized by either or both of an actual device and a virtual device.
  • Each process described below may be realized by either or both of the operator terminal 100 and the camera 300.
  • the operator terminal 100 is the above-described terminal device having the functions described later.
  • the camera 300 is the above-described imaging device having the functions described below.
  • FIG. 5 is a diagram illustrating functional blocks of the operator terminal 100 and the camera 300.
  • the operator terminal 100 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), etc. as the control unit 110, and a device for enabling the communication unit 120 to communicate with other devices.
  • a WiFi (Wireless Fidelity) compatible device compliant with IEEE 802.11 is provided.
  • the operator terminal 100 includes a data storage unit such as a hard disk, a semiconductor memory, a recording medium, or a memory card as a storage unit.
  • the operator terminal 100 also serves as an input / output unit 140, such as a display unit that outputs and displays data and images controlled by the control unit 110, an input unit such as a touch panel, keyboard, and mouse that receives input from the user, a speaker, and a microphone. Etc., and an imaging device such as a camera.
  • the control unit 110 when the control unit 110 reads a predetermined program, the captured image acquisition instruction transmission module 150, the captured image data reception module 151, and the operator side communication module 152 are realized in cooperation with the communication unit 120. Further, in the operator terminal 100, the control unit 110 reads a predetermined program, so that the captured image acquisition input reception module 170, the captured image display module 171 and the operator side voice input / output reception module cooperate with the input / output unit 140. 172, the operator side video input / output reception module 173 and the person information input reception module 174 are realized.
  • the camera 300 includes a CPU, RAM, ROM, and the like as the control unit 310, and a wireless device and the like for enabling communication with other devices as the communication unit 320.
  • the camera 300 outputs and displays data and images controlled by an imaging device such as an imaging device and a lens, an acoustic device such as a speaker and a microphone, a projection device such as a projector, and the control unit 310 as the input / output unit 340.
  • a display unit and the like are provided.
  • the audio device, the projection device, and the display unit may be provided inside the camera 300 or may be attached in the vicinity of the camera 300.
  • the control unit 310 when the control unit 310 reads a predetermined program, the captured image acquisition instruction reception module 350, the captured image data transmission module 351, and the camera side communication module 352 are realized in cooperation with the communication unit 320. Further, in the camera 300, the control unit 310 reads a predetermined program, so that the imaging module 360, the camera side audio input / output reception module 361, and the camera side video input / output reception module 362 cooperate with the input / output unit 340. Realize.
  • FIG. 7 is a flowchart illustrating communication processing executed by the operator terminal 100 and the camera 300. The processing executed by the modules of each device described above will be described together with this processing.
  • the captured image acquisition input reception module 170 determines whether an input from the operator has been received (step S20). In step S ⁇ b> 20, the captured image acquisition / input reception module 170 makes a determination based on, for example, whether a dedicated application is started, or an input for instructing acquisition of a captured image is received on a dedicated WEB site. In step S20, when the captured image acquisition input receiving module 170 determines that no input is received (NO in step S20), the process is repeated until an input is received.
  • step S20 when the captured image acquisition input reception module 170 determines that the input has been received (step S20 YES), the captured image acquisition instruction transmission module 150 transmits the captured image acquisition instruction to the plurality of cameras 300. (Step S21).
  • the captured image acquisition instruction receiving module 350 receives the acquisition instruction transmitted by the operator terminal 100. Based on the acquisition instruction, the imaging module 360 captures an image such as a still image or a moving image of the place where the imaging module 360 is installed (step S22).
  • the captured image data transmission module 351 transmits captured image data indicating the captured image to the operator terminal 100 (step S23).
  • the camera 300 does not capture an image based on the acquisition instruction, but always captures an image, and transmits captured image data indicating the image being captured based on the acquisition instruction. It may be configured to.
  • the captured image data receiving module 151 receives captured image data transmitted by the camera 300.
  • the captured image display module 171 displays the captured images captured by the plurality of cameras 300 as a captured image list based on the received captured image data (step S24).
  • the captured image data display module 171 may display the captured images of the plurality of cameras 300 as a list, or display the captured images captured by the camera 300 that meets specific conditions as a list. Alternatively, it may be displayed by a method other than the list.
  • the specific condition is, for example, a captured image including a person, a captured image of a camera 300 in which position information is specified and installed in the position information, and a captured image of a camera 300 to which an audio device or a projection device is attached.
  • FIG. 10 is a diagram showing a captured image list screen displayed by the captured image display module 171.
  • the captured image display module 171 displays a message display area 400 and captured image display areas 410 to 490 as a captured image list screen.
  • the message display area 400 displays a notification indicating that this screen is a list screen of captured images of the camera 300.
  • the captured image display areas 410 to 490 display captured images of the camera 300 at different points and notifications indicating the location of the camera 300.
  • the number of captured image display areas 410 to 490 displayed by the captured image display module 171 can be changed as appropriate.
  • the information displayed by the captured image display module 171 may be changed as appropriate.
  • the captured image display module 171 receives an operator's input operation to the captured image display areas 410 to 490, and receives a selection input of a captured image desired by the operator. When a selection input is received, the captured image display module 171 enlarges the captured image that has received the selection input and displays it as a captured image screen.
  • the captured image display module 171 determines whether or not the operator has received selection input of a desired captured image (step S25). In step S25, when the captured image display module 171 determines that the selection input is not received (NO in step S25), the process is repeated until the selection input is received.
  • step S25 when the captured image display module 171 determines that the selection input has been received (step S25 YES), the captured image that has received the selection input is enlarged and displayed (step S26).
  • FIG. 11 is a diagram showing a captured image screen displayed by the captured image display module 171.
  • the captured image display module 171 displays a message display area 500 and a captured image display area 510 as a captured image screen.
  • the message display area 500 displays a notification indicating that this screen is a captured image desired by the operator.
  • the captured image display area 510 enlarges and displays the captured image that has received the selection input, and displays a notification indicating the location of the camera 300.
  • the captured image display module 171 may receive selection inputs to a plurality of captured images, and may display the received captured images in an enlarged manner or may display them as they are.
  • the operator side communication module 152 communicates with the camera side communication module 352 (step S27).
  • the operator side voice input / output receiving module 172 receives an operator's voice input.
  • the operator-side communication module 152 transmits the received voice to the camera 300 as operator voice data.
  • the camera side communication module 352 receives operator voice data.
  • the camera-side voice input / output receiving module 361 outputs a voice based on the received operator voice data and receives a voice input of a person near the camera.
  • the camera side communication module 352 transmits the received voice to the operator terminal 100 as camera voice data.
  • the camera side voice input / output receiving module 361 receives a voice input of a person through a microphone and outputs a voice of an operator through a speaker.
  • the operator side voice input / output receiving module 172 receives an operator's voice input through a microphone and outputs a person's voice through a speaker.
  • the operator terminal 100 and the camera 300 can communicate with each other between the operator and the person by transmitting and receiving the operator voice data and the camera voice data.
  • the operator side video input / output reception module 173 captures an image of the operator.
  • the operator-side communication module 152 transmits the captured image to the camera 300 as operator video data.
  • the camera side communication module 352 receives operator video data.
  • the camera-side video input / output reception module 362 outputs video based on the received operator video data, and the imaging module 360 captures an image of a person near the camera.
  • the camera side communication module 352 transmits the captured image to the operator terminal 100 as camera video data.
  • the camera-side video input / output reception module 362 projects an operator's video on a wall surface, the ground, a screen, or the like using a projection device such as a projector, and the imaging module 362 captures an image of a person.
  • the camera-side video input / output reception module 362 may output an operator video on the display.
  • the operator side video input / output receiving module 173 outputs a video of a person on the display unit and takes an image of the operator.
  • the operator terminal 100 and the camera 300 can communicate with each other between the operator and the person by transmitting and receiving the operator video data and the camera video data.
  • operator terminal 100 and the camera 300 may communicate with both video and audio, or may communicate with other methods.
  • the above is communication processing.
  • FIG. 8 is a diagram showing a flowchart of image display processing executed by the operator terminal 100 and the camera 300. The processing executed by the modules of each device described above will be described together with this processing.
  • the person information input receiving module 174 determines whether or not an input of person information, which is information relating to a person who wants to communicate, has been received (step S30). In step S30, the person information input receiving module 174 makes a determination based on, for example, whether a dedicated application is started or an input for instructing acquisition of a captured image is received on a dedicated WEB site. If it is determined in step S30 that the personal information input receiving module 174 has not received an input (NO in step S30), this process is repeated until an input is received.
  • step S30 determines in step S30 that the input has been received (step S30 YES)
  • the person information input receiving module 174 displays a person search screen (step S31).
  • FIG. 12 is a diagram showing a person search screen displayed by the person information input receiving module 174.
  • the person information input receiving module 174 displays a message display area 600, a person name input area 610, a building name input area 620, and a facility name input area 630.
  • the message display area 600 displays a notification indicating that this screen is a screen that accepts input of personal information.
  • the person name input area 610 receives input from an operator and receives input of the name of a person to be searched.
  • the building name input area 620 receives input from the operator and receives input of the name of the building to be searched.
  • the facility name input area 630 receives input from the operator and receives input of the name of the facility to be searched.
  • the person information input receiving module 174 may receive other input contents, or may receive only one of the input contents described above.
  • the person information input receiving module 174 determines whether or not a search input has been received (step S32). In step S32, when the personal information input receiving module 174 determines that the search input is not received (NO in step S32), this process is repeated until the search input is received.
  • step S32 when the personal information input receiving module 174 receives a search input (YES in step S32), the personal information input receiving module 174 selects any one of a person name, a building name, a facility name, and the like to be searched. Or the camera 300 which images this person, a building, a facility, etc. is specified by receiving the input of a some combination (step S33).
  • the person information input receiving module 174 specifies the camera 300 that captures the person in the target building or facility based on, for example, a database or a table, and the operator terminal 100 performs the processing in steps S20 to S24 described above.
  • the captured image display module 171 displays a list of captured images obtained by capturing the person from a plurality of directions (step S34).
  • FIG. 13 is a diagram showing a captured image list screen displayed by the captured image display module 171.
  • the captured image display module 171 displays a message display area 700 and captured images 710 to 790 as a captured image list screen.
  • the message display area 700 displays a notification indicating that this screen is a list screen of captured images obtained by capturing a person from a plurality of directions.
  • the captured image display areas 710 to 790 each display a captured image obtained by capturing a person from different directions and a notification indicating the imaging direction. That is, the captured image display module 171 displays the captured image display areas 710 to 790 as many as the number of captured images that can be displayed by itself.
  • the number of captured image display areas 410 to 490 displayed by the captured image display module 171 can be changed as appropriate.
  • the information displayed by the captured image display module 171 may be changed as appropriate.
  • the captured image display module 171 receives an operator input operation to the captured image display areas 710 to 790, and receives a selection input of a captured image desired by the operator. When a selection input is received, the captured image display module 171 enlarges the captured image that has received the selection input, and displays it as a captured image screen as in FIG. 11 described above.
  • the captured image display module 171 determines whether or not the operator has received selection input of a desired captured image (step S35). If the captured image display module 171 determines in step S35 that no selection input has been received (NO in step S35), this process is repeated until a selection input is received.
  • step S35 when the captured image display module 171 determines that a selection input has been received (step S35 YES), the captured image that has received the selection input is enlarged and displayed (step S36).
  • the operator terminal 100 and the camera 300 execute the process of step S27 described above, and the operator and the person communicate with each other.
  • the above is the image display processing.
  • FIG. 2 is a diagram for explaining the outline of the communication system 1 which is a preferred second embodiment of the present invention.
  • the communication system 1 includes an operator terminal 100, an information device 200, and a plurality of cameras 300.
  • symbol is attached
  • the number of operator terminals 100 or information devices 200 is not limited to one, and a plurality of operator terminals 100 or information devices 200 may exist on the system.
  • one camera 300 is illustrated as the plurality of cameras 300, but only one camera 300 is illustrated among the plurality of cameras 300, and the number thereof can be changed as appropriate. is there.
  • Each device may be realized by either or both of an actual device and a virtual device.
  • each process to be described later may be realized by any one or a combination of the operator terminal 100, the information device 200, and the camera 300.
  • the operator terminal 100 is an information terminal similar to that in the first embodiment described above that can perform data communication with the information device 200 and the camera 300.
  • the information device 200 is an information terminal capable of data communication with the operator terminal 100, and is an electrical appliance or other article similar to the operator terminal 100 described above.
  • the camera 300 is an imaging device that can perform data communication with the operator terminal 100 and is similar to the first embodiment described above. Note that an audio device, a projection device, or the like may not be attached.
  • the operator terminal 100 receives an input from the operator, acquires a captured image of the camera 300, and displays it on itself (step S10).
  • the process in step S10 is the same as the process in step S01 described above.
  • the operator terminal 100 receives an operator input to the displayed plurality of captured images, and receives a selection input of a captured image desired by the operator (step S11).
  • the process of step S11 is the same as the process of step S02 mentioned above.
  • the operator terminal 100 recognizes the captured image that has received the selection input, and identifies a person shown in the captured image.
  • the operator terminal 100 identifies the information device 200 associated with the identified person.
  • the operator terminal 100 acquires the telephone number, mail address, SNS account, and the like of the information device 200 associated with the specified person based on the database, table, etc., and communicates (step S12).
  • the operator terminal 100 calls the acquired telephone number, and the information device 200 receives the call to start a call. Take communication.
  • the operator and the person perform communication by mail the operator terminal 100 transmits a mail to the information device 200 based on the acquired mail address, and the information device 200 receives the mail.
  • a mail is transmitted to the operator terminal 100 to communicate.
  • the operator terminal 100 transmits a message or the like to the SNS of the person based on the acquired SNS account, and the information device 200 receives the message or the like. Communicate by replying to messages.
  • the operator terminal 100 and the information device 200 may communicate by executing chat by transmitting and receiving messages in real time based on the mail address.
  • the operator and the person may communicate with each other by sending and receiving messages based on the acquired telephone number or mail address.
  • the contents of communication performed by the operator and the person may be contents other than the example described above.
  • FIG. 4 is a diagram showing a system configuration of a communication system 1 which is a preferred second embodiment of the present invention.
  • the communication system 1 includes an operator terminal 100, an information device 200, a plurality of cameras 300, and a public line network 5.
  • symbol is attached
  • the operator terminal 100 has the functions described later and is the terminal device described above.
  • the information device 200 has the functions described later and is the terminal device described above.
  • the camera 300 has the functions described later and is the above-described imaging device.
  • FIG. 6 is a functional block diagram of the operator terminal 100, the information device 200, and the camera 300.
  • the operator terminal 100 includes a control unit 110, a communication unit 120, a storage unit 130, and an input / output unit 140 as in the first embodiment described above.
  • the control unit 110 when the control unit 110 reads a predetermined program, the captured image acquisition instruction transmission module 150, the captured image data reception module 151, and the operator side communication module 152 are realized in cooperation with the communication unit 120.
  • the personal information storage module 160 is realized in cooperation with the storage unit 130.
  • the control unit 110 reads a predetermined program, so that in cooperation with the input / output unit 140, the captured image acquisition / input reception module 170, the captured image display module 171, the image recognition module 175, the person specification Module 176 is implemented.
  • the information device 200 includes a CPU, RAM, ROM, and the like as the control unit 210, and a wireless device for enabling communication with other devices as the communication unit 220.
  • the information device 200 includes a display unit, an input unit, an acoustic device, an imaging device, and the like as the input / output unit, like the operator terminal 100.
  • control unit 210 reads a predetermined program, thereby realizing the person-side communication module 230 in cooperation with the communication unit 220.
  • the camera 300 includes a control unit 310, a communication unit 320, and an input / output unit 340, as in the first embodiment described above. Note that an audio device, a projection device, and a display unit may not be attached.
  • the control unit 310 when the control unit 310 reads a predetermined program, the captured image acquisition instruction reception module 350, the captured image data transmission module 351, and the camera side communication module 352 are realized in cooperation with the communication unit 320. In the camera 300, the control unit 310 reads a predetermined program, thereby realizing the imaging module 360 in cooperation with the input / output unit 340.
  • FIG. 9 is a diagram illustrating a flowchart of communication processing executed by the operator terminal 100, the information device 200, and the camera 300. Note that a detailed description of the same processing as in the first embodiment described above is omitted.
  • the captured image acquisition input reception module 170 determines whether an input from the operator has been received (step S40).
  • the process of step S40 is the same as the process of step S20 described above.
  • step S40 when the captured image acquisition input receiving module 170 determines that the input is not received (step S40: NO), the process is repeated until the input is received.
  • step S40 when the captured image acquisition input reception module 170 determines that the input has been received (step S40 YES), the captured image acquisition instruction transmission module 150 transmits the captured image acquisition instruction to the plurality of cameras 300. (Step S41).
  • the process of step S41 is the same as the process of step S21 described above.
  • the captured image acquisition instruction receiving module 350 receives the acquisition instruction transmitted by the operator terminal 100. Based on the acquisition instruction, the imaging module 360 captures an image of the place where the imaging module 360 is installed (step S42).
  • the process of step S42 is the same as the process of step S22 described above.
  • the captured image data transmission module 351 transmits captured image data indicating the captured image to the operator terminal 100 (step S43).
  • the process in step S43 is the same as the process in step S23 described above.
  • the captured image data receiving module 151 receives captured image data transmitted by the camera 300.
  • the captured image display module 171 displays the captured images captured by the plurality of cameras 300 based on the received captured image data as a captured image list (step S44).
  • the process in step S44 is the same as the process in step S24 described above.
  • the captured image display module 171 determines whether or not the operator has received selection input of a desired captured image (step S45).
  • the process of step S45 is the same as the process of step S25 described above.
  • step S45 when the captured image display module 171 determines that the selection input has not been received (NO in step S45), the process is repeated until the selection input is received.
  • step S45 when the captured image display module 171 determines that the selection input has been received (step S45: YES), the captured image that has received the selection input is enlarged and displayed (step S46).
  • step S46 is the same as the process in step S26 described above.
  • the image recognition module 175 performs image recognition of the captured image that has received the selection input, and identifies a person shown in the captured image (step S47).
  • the image recognition module 175 may be a general image recognition method.
  • the person identification module 176 refers to the person information table stored in the person information storage module 160, identifies the information device 200 associated with the identified person, the telephone number, mail address, SNS account, etc. of the information device 200 Personal information is acquired (step S48).
  • the person information table will be described with reference to FIG. FIG. 14 is a diagram showing a person information table stored in the person information storage module 160.
  • the person information storage module 160 stores person names, telephone numbers, e-mail addresses, and SNS accounts in association with each other as person information.
  • the person name is the name of the person.
  • the telephone number is the telephone number of the information device 200 used by a person.
  • the email address is the email address of the information device 200 used by a person.
  • the SNS account is a blog, miniblog ID, SNS application ID, SNS site ID, or the like.
  • the person information table may store other information in association with each other, or may store only one of the information. A plurality of SNS accounts may be stored for one person.
  • the operator-side communication module 152 communicates with the person-side communication module 230 based on the acquired person information by executing communication or a telephone call (step S49).
  • the operator-side communication module 152 makes a call to the information device 200 based on the acquired telephone number.
  • the person side communication module 230 receives this call, and the operator terminal 100 and the information device 200 communicate by executing a telephone call.
  • the operator terminal 100 and the information device 200 can communicate with each other by making a call.
  • the operator-side communication module 152 transmits a mail to the information device 200 based on the acquired mail address.
  • the content of the mail may be input by the operator as appropriate, or a preset fixed sentence or the like may be input.
  • the person side communication module 230 receives the mail and returns the mail in response to the received mail.
  • the content of the mail may be input by a person as appropriate, or a preset fixed sentence or the like may be input.
  • the operator terminal 100 and the information device 200 may communicate with each other not only by e-mail but also by chat that executes transmission and reception of messages in real time.
  • the operator terminal 100 and the information device 200 can communicate with each other by sending and receiving mails.
  • the operator-side communication module 152 Based on the acquired SNS account information, the operator-side communication module 152 transmits writing information such as a message, chat, and posting of text to the corresponding SNS.
  • the person side communication module 230 browses the SNS, so that the operator terminal 100 and the information device 200 communicate with each other by the SNS.
  • the operator terminal 100 and the information device 200 can communicate with each other by communicating with the SNS.
  • the communication system 1 in the second embodiment executes the same process as the image display process in the first embodiment described above.
  • the communication system 1 executes the processes of steps S30 to S36 described above.
  • the operator terminal 100 and the information device 200 used by the person to be searched execute the process of step S49 described above, and the operator and the person communicate with each other.
  • the means and functions described above are realized by a computer (including a CPU, an information processing apparatus, and various terminals) reading and executing a predetermined program.
  • the program is provided in a form recorded on a computer-readable recording medium such as a flexible disk, CD (CD-ROM, etc.), DVD (DVD-ROM, DVD-RAM, etc.).
  • the computer reads the program from the recording medium, transfers it to the internal storage device or the external storage device, stores it, and executes it.
  • the program may be recorded in advance in a storage device (recording medium) such as a magnetic disk, an optical disk, or a magneto-optical disk, and provided from the storage device to a computer via a communication line.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】複数の撮像画像から任意の撮像画像を選択し、選択された撮像画像を撮像するカメラ周辺の人物とコミュニケーションを取ることを容易にすることが可能なコミュニケーションシステム、コミュニケーション方法及びプログラムを提供することを目的とする。 【解決手段】複数のカメラ３００とネットワークを介して接続されたコミュニケーションシステム１は、複数のカメラ３００の撮像画像を表示し、表示された複数のカメラ３００の撮像画像の中から、所望の撮像画像を選択させ、選択された撮像画像に対応するカメラ３００に付属された機器を介して、カメラ３００付近にいる人物とコミュニケーションを取る。

Description

コミュニケーションシステム、コミュニケーション方法及びプログラム
　本発明は、複数のカメラとネットワークを介して接続されたコミュニケーションシステム、コミュニケーション方法及びプログラムに関する。
　近年、様々な場所に設置されたカメラが、動画や静止画等の画像を撮像し、ネットワークを介してこのカメラに接続された情報端末上に撮像画像を表示することが行われている。このような情報端末において、ユーザは、任意の場所を指定することにより、この場所に設置されたカメラの撮像画像を表示することが可能となっている。
　また、リモートコミュニケーションにおいて、カメラで撮像した撮像画像を、端末装置へとストリーミングするとともに、ストリーミングされている間、リモートユーザのユーザ画像を表示する構成が開示されている（特許文献１参照）。
特開２０１６－５０８３号公報
　しかしながら、特許文献１の構成では、撮像画像を表示することは可能となるものの、このカメラ付近にいる人物とコミュニケーションを行うことは、困難であった。
　本発明の目的は、このような課題に鑑み、複数の撮像画像から任意の撮像画像を選択し、選択された撮像画像を撮像するカメラ周辺の人物とコミュニケーションを取ることを容易にすることが可能なコミュニケーションシステム、コミュニケーション方法及びプログラムを提供することを目的とする。
　本発明では、以下のような解決手段を提供する。
　第１の特徴に係る発明は、複数のカメラとネットワークを介して接続されたコミュニケーションシステムであって、
　前記複数のカメラの撮像画像を表示する表示手段と、
　前記表示された複数のカメラの撮像画像の中から、所望の撮像画像を選択させる撮像画像選択手段と、
　前記選択された撮像画像に対応するカメラに付属された機器を介して、当該カメラ付近にいる人物とコミュニケーションを取るコミュニケーション手段と、
　を備えることを特徴とするコミュニケーションシステムを提供する。
　第１の特徴に係る発明によれば、複数のカメラとネットワークを介して接続されたコミュニケーションシステムは、前記複数のカメラの撮像画像を表示し、前記表示された複数のカメラの撮像画像の中から、所望の撮像画像を選択させ、前記選択された撮像画像に対応するカメラに付属された機器を介して、当該カメラ付近にいる人物とコミュニケーションを取る。
　ここで、第１の特徴に係る発明は、コミュニケーションシステムのカテゴリであるが、方法又はプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
　第２の特徴に係る発明は、複数のカメラとネットワークを介して接続されたコミュニケーションシステムであって、
　前記複数のカメラの撮像画像を表示する表示手段と、
　前記表示された複数のカメラの撮像画像の中から、所望の撮像画像を選択させる撮像画像選択手段と、
　前記選択された撮像画像に映っている人物を画像認識で特定する画像認識手段と、
　前記特定された人物が使用する情報機器に対してコミュニケーションを取るコミュニケーション手段と、
　を備えることを特徴とするコミュニケーションシステムを提供する。
　第２の特徴に係る発明によれば、複数のカメラとネットワークを介して接続されたコミュニケーションシステムは、前記複数のカメラの撮像画像を表示し、前記表示された複数のカメラの撮像画像の中から、所望の撮像画像を選択させ、前記選択された撮像画像に映っている人物を画像認識で特定し、前記特定された人物が使用する情報機器に対してコミュニケーションを取る。
　ここで、第２の特徴に係る発明は、コミュニケーションシステムのカテゴリであるが、方法又はプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
　第３の特徴に係る発明は、前記表示手段は、前記複数のカメラの撮像画像を一覧にして表示する、
　ことを特徴とする第１又は第２のいずれかの特徴に係る発明であるコミュニケーションシステムを提供する。
　第３の特徴に係る発明によれば、第１又は第２のいずれかの特徴に係る発明であるコミュニケーションシステムは、前記複数のカメラの撮像画像を一覧にして表示する。
　第４の特徴に係る発明は、前記付属された機器が、音響機器又は投影機器であって、
　前記コミュニケーション手段は、通話又はプロジェクションによってコミュニケーションを取る、
　ことを特徴とする第１の特徴に係る発明であるコミュニケーションシステムを提供する。
　第４の特徴に係る発明によれば、第１の特徴に係る発明であるコミュニケーションシステムは、前記付属された機器が、音響機器又は投影機器であって、通話又はプロジェクションによってコミュニケーションを取る。
　第５の特徴に係る発明は、前記コミュニケーション手段は、通話、メール又はチャットによってコミュニケーションを取る、
　ことを特徴とする第２の特徴に係る発明であるコミュニケーションシステムを提供する。
　第５の特徴に係る発明によれば、第２の特徴に係る発明であるコミュニケーションシステムは、通話、メール又はチャットによってコミュニケーションを取る。
　第６の特徴に係る発明は、複数のカメラとネットワークを介して接続されたコミュニケーションシステムが実行するコミュニケーション方法であって、
　前記複数のカメラの撮像画像を表示するステップと、
　前記表示された複数のカメラの撮像画像の中から、所望の撮像画像を選択させるステップと、
　前記選択された撮像画像に対応するカメラに付属された機器を介して、当該カメラ付近にいる人物とコミュニケーションを取るステップと、
　を備えることを特徴とするコミュニケーション方法を提供する。
　第７の特徴に係る発明は、複数のカメラとネットワークを介して接続されたコミュニケーションシステムが実行するコミュニケーション方法であって、
　前記複数のカメラの撮像画像を表示するステップと、
　前記表示された複数のカメラの撮像画像の中から、所望の撮像画像を選択させるステップと、
　前記選択された撮像画像に映っている人物を画像認識で特定するステップと、
　前記特定された人物が使用する情報機器に対してコミュニケーションを取るステップと、
　を備えることを特徴とするコミュニケーション方法を提供する。
　第８の特徴に係る発明は、複数のカメラとネットワークを介して接続されたコミュニケーションシステムに、
　前記複数のカメラの撮像画像を表示するステップ、
　前記表示された複数のカメラの撮像画像の中から、所望の撮像画像を選択させるステップ、
　前記選択された撮像画像に対応するカメラに付属された機器を介して、当該カメラ付近にいる人物とコミュニケーションを取るステップ、
　を実行させるプログラムを提供する。
　第９の特徴に係る発明は、複数のカメラとネットワークを介して接続されたコミュニケーションシステムに、
　前記複数のカメラの撮像画像を表示するステップ、
　前記表示された複数のカメラの撮像画像の中から、所望の撮像画像を選択させるステップ、
　前記選択された撮像画像に映っている人物を画像認識で特定するステップ、
　前記特定された人物が使用する情報機器に対してコミュニケーションを取るステップ、
　を実行させるプログラムを提供する。
　本発明によれば、複数の撮像画像から任意の撮像画像を選択し、選択された撮像画像を撮像するカメラ周辺の人物とコミュニケーションを取ることを容易にすることが可能なコミュニケーションシステム、コミュニケーション方法及びプログラムを提供することが可能となる。
図１は、第１の実施形態におけるコミュニケーションシステム１の概要を示す図である。 図２は、第２の実施形態におけるコミュニケーションシステム１の概要を示す図である。 図３は、第１の実施形態におけるコミュニケーションシステム１の全体構成図である。 図４は、第２の実施形態におけるコミュニケーションシステム１の全体構成図である。 図５は、第１の実施形態におけるオペレータ端末１００、カメラ３００の機能ブロック図である。 図６は、第２の実施形態におけるオペレータ端末１００、情報機器２００、カメラ３００の機能ブロック図である。 図７は、第１の実施形態におけるオペレータ端末１００、カメラ３００が実行するコミュニケーション処理を示すフローチャートである。 図８は、第１の実施形態におけるオペレータ端末１００、カメラ３００が実行する画像表示処理を示すフローチャートである。 図９は、第２の実施形態におけるオペレータ端末１００、情報機器２００、カメラ３００が実行するコミュニケーション処理を示すフローチャートである。 図１０は、オペレータ端末１００が表示する撮像画像一覧画面である。 図１１は、オペレータ端末１００が表示する撮像画像画面である。 図１２は、オペレータ端末１００が表示する人物検索画面である。 図１３は、オペレータ端末１００が表示する撮像画像一覧画面である。 図１４は、オペレータ端末１００が記憶する人物情報テーブルである。
　以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これらはあくまでも例であって、本発明の技術的範囲はこれに限られるものではない。
　［第１の実施形態におけるコミュニケーションシステム１の概要］
　本発明の好適な第１の実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な第１の実施形態であるコミュニケーションシステム１の概要を説明するための図である。コミュニケーションシステム１は、オペレータ端末１００、複数のカメラ３００から構成される。なお、図１において、複数のカメラ３００として、一のカメラ３００を図示しているが、複数のカメラ３００のうち、一のカメラ３００を例示しているに過ぎず、その個数は適宜変更可能である。また、オペレータ端末１００は、１つに限らず複数であってもよい。また、各装置は、実在する装置又は仮想的な装置のいずれか又は双方により実現されてもよい。また、後述する各処理は、オペレータ端末１００又はカメラ３００のいずれか又は双方により実現されてもよい。
　オペレータ端末１００は、カメラ３００とデータ通信可能な情報端末である。オペレータ端末１００は、例えば、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品やその他の物品である。
　カメラ３００は、オペレータ端末１００とデータ通信可能な、静止画や動画等の画像を撮像する撮像装置である。また、カメラ３００は、音響機器や投影機器が付属する。なお、カメラ３００は、音響機器や投影機器をカメラ３００本体内部に付属していてもよいし、カメラ３００近傍の位置に付属していてもよい。
　オペレータ端末１００は、オペレータからの入力を受け付け、カメラ３００の撮像画像を取得し、自身に表示する（ステップＳ０１）。なお、カメラ３００は、オペレータ端末１００の入力に基づいて画像を撮像してもよいし、オペレータ端末１００の入力によらず画像を撮像してもよい。また、オペレータ端末１００は、複数のカメラ３００から取得した撮像画像を一覧として表示してもよいし、人物名、地名、建物名等の特定の条件に適合するカメラ３００から取得した撮像画像を一覧として表示してもよいし、複数のカメラ３００のうち、いずれかのカメラ３００から取得した撮像画像を一覧以外の方法で表示してもよい。
　オペレータ端末１００は、表示した複数の撮像画像への、オペレータの入力を受け付け、オペレータが所望する撮像画像の選択入力を受け付ける（ステップＳ０２）。
　オペレータ端末１００は、選択された撮像画像を撮像するカメラ３００と音声データ又は撮像画像データの送受信を実行し、オペレータとカメラ３００の付近にいる人物とコミュニケーションを取る（ステップＳ０３）。オペレータと人物とは、音声によるコミュニケーションを実行する場合、オペレータ端末１００のマイクやスピーカ等の音響機器を介してオペレータの音声入力を受け付け、カメラ３００に付属する音響機器を介して人物の音声入力を受け付ける。オペレータ端末１００とカメラ３００とは、この各々に入力された音声データを送受信し、オペレータ端末１００の音響機器と、カメラ３００に付属する音響機器とが受信した音声データに基づいた音声を出力する。また、オペレータと人物とは、画像によりコミュニケーションを実行する場合、オペレータ端末１００は、自身が有する撮影装置によりオペレータの画像を撮像し、カメラ３００は、人物の画像を撮像する。オペレータ端末１００とカメラ３００とはこの各々が撮像した撮像画像データを送受信し、オペレータ端末１００の表示部と、カメラ３００に付属するプロジェクタ等の投影機器や表示部等とが受信した撮像画像データに基づいた撮像画像を出力する。
　以上が、第１の実施形態におけるコミュニケーションシステム１の概要である。
　［コミュニケーションシステム１のシステム構成］
　図３に基づいて、第１の実施形態におけるコミュニケーションシステム１のシステム構成について説明する。図３は、本発明の好適な第１の実施形態におけるコミュニケーションシステム１のシステム構成を示す図である。コミュニケーションシステム１は、オペレータ端末１００、複数のカメラ３００、公衆回線網（インターネット網や、第３、第４世代通信網等）５から構成される。なお、オペレータ端末１００は、１つに限らず、複数のオペレータ端末１００がシステム上に存在していてもよい。また、複数のカメラ３００は、図３において、一のカメラ３００のみが図示されているが、これはあくまでも例示に過ぎない。また、各装置は、実在する装置又は仮想的な装置のいずれか又は双方により実現されてもよい。また、後述する各処理は、オペレータ端末１００又はカメラ３００のいずれか又は双方により実現されてもよい。
　オペレータ端末１００は、後述の機能を備えた、上述した端末装置である。
　カメラ３００は、後述の機能を備えた、上述した撮像装置である。
　［各機能の説明］
　図５に基づいて、第１の実施形態におけるコミュニケーションシステム１の機能について説明する。図５は、オペレータ端末１００及びカメラ３００の機能ブロックを示す図である。
　オペレータ端末１００は、制御部１１０として、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等を備え、通信部１２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）対応デバイスを備える。また、オペレータ端末１００は、記憶部として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。また、オペレータ端末１００は、入出力部１４０として、制御部１１０で制御したデータや画像を出力表示する表示部や、ユーザからの入力を受け付けるタッチパネルやキーボード、マウス等の入力部や、スピーカやマイク等の音響機器や、カメラ等の撮像デバイス等を備える。
　オペレータ端末１００において、制御部１１０が所定のプログラムを読み込むことにより、通信部１２０と協働して、撮像画像取得指示送信モジュール１５０、撮像画像データ受信モジュール１５１、オペレータ側コミュニケーションモジュール１５２を実現する。また、オペレータ端末１００において、制御部１１０が所定のプログラムを読み込むことにより、入出力部１４０と協働して、撮像画像取得入力受付モジュール１７０、撮像画像表示モジュール１７１、オペレータ側音声入出力受付モジュール１７２、オペレータ側映像入出力受付モジュール１７３、人物情報入力受付モジュール１７４を実現する。
　カメラ３００は、オペレータ端末１００と同様に、制御部３１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部３２０として、他の機器と通信可能にするための無線デバイス等を備える。また、カメラ３００は、入出力部３４０として、撮像素子、レンズ等の撮像デバイスや、スピーカやマイク等の音響機器や、プロジェクタ等の投影機器や制御部３１０で制御したデータや画像を出力表示する表示部等を備える。なお、音響機器や投影機器や表示部は、カメラ３００内部に設けられていてもよいし、カメラ３００の近傍に付属していてもよい。
　カメラ３００において、制御部３１０が所定のプログラムを読み込むことにより、通信部３２０と協働して、撮像画像取得指示受信モジュール３５０、撮像画像データ送信モジュール３５１、カメラ側コミュニケーションモジュール３５２を実現する。また、カメラ３００において、制御部３１０が所定のプログラムを読み込むことにより、入出力部３４０と協働して、撮像モジュール３６０、カメラ側音声入出力受付モジュール３６１、カメラ側映像入出力受付モジュール３６２を実現する。
　［コミュニケーション処理］
　図７に基づいて、オペレータ端末１００、カメラ３００が実行するコミュニケーション処理について説明する。図７は、オペレータ端末１００、カメラ３００が実行するコミュニケーション処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
　撮像画像取得入力受付モジュール１７０は、オペレータからの入力を受け付けたか否かを判断する（ステップＳ２０）。ステップＳ２０において、撮像画像取得入力受付モジュール１７０は、専用のアプリケーションの起動や、専用のＷＥＢサイトに撮像画像の取得を指示する入力を受け付けたか否か等に基づいて、判断する。ステップＳ２０において、撮像画像取得入力受付モジュール１７０は、入力を受け付けていないと判断した場合（ステップＳ２０　ＮＯ）、入力を受け付けるまで本処理を繰り返す。
　一方、ステップＳ２０において、撮像画像取得入力受付モジュール１７０は、入力を受け付けたと判断した場合（ステップＳ２０　ＹＥＳ）、撮像画像取得指示送信モジュール１５０は、撮像画像の取得指示を、複数のカメラ３００に送信する（ステップＳ２１）。
　撮像画像取得指示受信モジュール３５０は、オペレータ端末１００が送信した取得指示を受信する。撮像モジュール３６０は、取得指示に基づいて、自身が設置された場所の静止画や動画等の画像を撮像する（ステップＳ２２）。
　撮像画像データ送信モジュール３５１は、撮像した画像を示す撮像画像データを、オペレータ端末１００に送信する（ステップＳ２３）。なお、ステップＳ２３において、カメラ３００は、取得指示に基づいて、画像を撮像するのではなく、常に画像を撮像しており、取得指示に基づいて、撮像している画像を示す撮像画像データを送信する構成であってもよい。
　撮像画像データ受信モジュール１５１は、カメラ３００が送信した撮像画像データを受信する。撮像画像表示モジュール１７１は、受信した撮像画像データに基づいて、複数のカメラ３００が撮像した撮像画像を、撮像画像一覧として表示する（ステップＳ２４）。
　なお、ステップＳ２４において、撮像画像データ表示モジュール１７１は、複数のカメラ３００の撮像画像を、一覧として表示してもよいし、特定の条件に適合するカメラ３００が撮像する撮像画像を、一覧として表示してもよいし、一覧以外の方法で表示してもよい。特定の条件とは、例えば、人物が含まれる撮像画像、位置情報が指定されこの位置情報に設置されたカメラ３００の撮像画像、音響機器や投影機器が付属するカメラ３００の撮像画像である。
　図１０は、撮像画像表示モジュール１７１が表示する撮像画像一覧画面を示す図である。図１０において、撮像画像表示モジュール１７１は、撮像画像一覧画面として、メッセージ表示領域４００、撮像画像表示領域４１０～４９０を表示する。メッセージ表示領域４００は、本画面が、カメラ３００の撮像画像の一覧画面であることを示す旨の通知を表示する。撮像画像表示領域４１０～４９０は、各々が異なる地点のカメラ３００の撮像画像及びこのカメラ３００の場所を示す通知を表示する。
　なお、図１０において、撮像画像表示モジュール１７１が表示する撮像画像表示領域４１０～４９０の数は、適宜変更可能である。また、撮像画像表示モジュール１７１が表示する情報は、適宜変更してもよい。
　撮像画像表示モジュール１７１は、撮像画像表示領域４１０～４９０へのオペレータの入力操作を受け付け、オペレータが所望する撮像画像の選択入力を受け付ける。撮像画像表示モジュール１７１は、選択入力を受け付けた場合、選択入力を受け付けた撮像画像を拡大し、撮像画像画面として表示する。
　撮像画像表示モジュール１７１は、オペレータが所望する撮像画像の選択入力を受け付けたか否かを判断する（ステップＳ２５）。ステップＳ２５において、撮像画像表示モジュール１７１は、選択入力を受け付けていないと判断した場合（ステップＳ２５　ＮＯ）、選択入力を受け付けるまで、本処理を繰り返す。
　一方、ステップＳ２５において、撮像画像表示モジュール１７１は、選択入力を受け付けたと判断した場合（ステップＳ２５　ＹＥＳ）、選択入力を受け付けた撮像画像を、拡大して表示する（ステップＳ２６）。
　図１１は、撮像画像表示モジュール１７１が表示する撮像画像画面を示す図である。図１１において、撮像画像表示モジュール１７１は、撮像画像画面として、メッセージ表示領域５００、撮像画像表示領域５１０を表示する。メッセージ表示領域５００は、本画面が、オペレータが所望する撮像画像であることを示す旨の通知を表示する。撮像画像表示領域５１０は、選択入力を受け付けた撮像画像を、拡大して表示するとともに、このカメラ３００の場所を示す通知を表示する。
　なお、撮像画像表示モジュール１７１は、複数の撮像画像への選択入力を受け付け、受け付けた複数の撮像画像を拡大して表示しても良いし、そのまま表示しても良い。
　オペレータ側コミュニケーションモジュール１５２は、カメラ側コミュニケーションモジュール３５２とコミュニケーションを取る（ステップＳ２７）。
　ステップＳ２７において、オペレータ端末１００とカメラ３００とが音声によるコミュニケーションを取る場合について説明する。オペレータ側音声入出力受付モジュール１７２は、オペレータの音声入力を受け付ける。オペレータ側コミュニケーションモジュール１５２は、受け付けた音声を、オペレータ音声データとして、カメラ３００に送信する。
　カメラ側コミュニケーションモジュール３５２は、オペレータ音声データを受信する。カメラ側音声入出力受付モジュール３６１は、受信したオペレータ音声データに基づいて、音声を出力するとともに、カメラ付近の人物の音声入力を受け付ける。カメラ側コミュニケーションモジュール３５２は、受け付けた音声を、カメラ音声データとして、オペレータ端末１００に送信する。
　例えば、カメラ側音声入出力受付モジュール３６１は、マイクにより人物の音声入力を受け付け、スピーカによりオペレータの音声を出力する。また、オペレータ側音声入出力受付モジュール１７２は、マイクによりオペレータの音声入力を受け付け、スピーカにより人物の音声を出力する。
　このように、オペレータ端末１００とカメラ３００とは、オペレータ音声データ及びカメラ音声データを送受信することにより、オペレータと人物とは、コミュニケーションを取ることが可能となる。
　また、ステップＳ２７において、オペレータ端末１００とカメラ３００とが映像によるコミュニケーションを取る場合について説明する。オペレータ側映像入出力受付モジュール１７３は、オペレータの画像を撮像する。オペレータ側コミュニケーションモジュール１５２は、撮像した画像を、オペレータ映像データとしてカメラ３００に送信する。
　カメラ側コミュニケーションモジュール３５２は、オペレータ映像データを受信する。カメラ側映像入出力受付モジュール３６２は、受信したオペレータ映像データに基づいて、映像を出力するとともに、撮像モジュール３６０は、カメラ付近の人物の画像を撮像する。カメラ側コミュニケーションモジュール３５２は、撮像した画像を、カメラ映像データとして、オペレータ端末１００に送信する。
　例えば、カメラ側映像入出力受付モジュール３６２は、プロジェクタ等の投影機器によりオペレータの映像を壁面、地面、スクリーン等に投影し、撮像モジュール３６２により、人物の画像を撮像する。また、カメラ側映像入出力受付モジュール３６２は、ディスプレイにオペレータ映像を出力しても良い。オペレータ側映像入出力受付モジュール１７３は、表示部に人物の映像を出力し、オペレータの画像を撮像する。
　このように、オペレータ端末１００とカメラ３００とは、オペレータ映像データ及びカメラ映像データを送受信することにより、オペレータと人物とは、コミュニケーションを取ることが可能となる。
　なお、オペレータ端末１００とカメラ３００とは、映像及び音声の双方によりコミュニケーションを取ってもよいし、他の方法によりコミュニケーションを取ってもよい。
　以上が、コミュニケーション処理である。
　［画像表示処理］
　次に、図８に基づいて、オペレータ端末１００、カメラ３００が実行する画像表示処理について説明する。図８は、オペレータ端末１００、カメラ３００が実行する画像表示処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
　はじめに、人物情報入力受付モジュール１７４は、コミュニケーションを取りたい人物に関する情報である、人物情報の入力を受け付けたか否かを判断する（ステップＳ３０）。ステップＳ３０において、人物情報入力受付モジュール１７４は、専用のアプリケーションの起動や、専用のＷＥＢサイトに撮像画像の取得を指示する入力を受け付けたか否か等に基づいて、判断する。ステップＳ３０において、人物情報入力受付モジュール１７４は、入力を受け付けていないと判断した場合（ステップＳ３０　ＮＯ）、入力を受け付けるまで本処理を繰り返す。
　一方、ステップＳ３０において、人物情報入力受付モジュール１７４は、入力を受け付けたと判断した場合（ステップＳ３０　ＹＥＳ）、人物情報入力受付モジュール１７４は、人物検索画面を表示する（ステップＳ３１）。
　図１２は、人物情報入力受付モジュール１７４が表示する人物検索画面を示す図である。図１２において、人物情報入力受付モジュール１７４は、メッセージ表示領域６００、人物名入力領域６１０、建物名入力領域６２０、施設名入力領域６３０を表示する。メッセージ表示領域６００は、本画面が、人物情報の入力を受け付ける画面であることを示す旨の通知を表示する。人物名入力領域６１０は、オペレータからの入力を受け付け、検索対象とする人物の名称の入力を受け付ける。建物名入力領域６２０は、オペレータからの入力を受け付け、検索対象とする建物の名称の入力を受け付ける。施設名入力領域６３０は、オペレータからの入力を受け付け、検索対象とする施設の名称の入力を受け付ける。
　なお、人物情報入力受付モジュール１７４は、他の入力内容を受け付けてもよいし、上述した入力内容のいずれかのみを受け付けてもよい。
　人物情報入力受付モジュール１７４は、検索入力を受け付けたか否かを判断する（ステップＳ３２）。ステップＳ３２において、人物情報入力受付モジュール１７４は、検索入力を受け付けていないと判断した場合（ステップＳ３２　ＮＯ）、検索入力を受け付けるまで本処理を繰り返す。
　一方、ステップＳ３２において、人物情報入力受付モジュール１７４は、検索入力を受け付けた場合（ステップＳ３２　ＹＥＳ）、人物情報入力受付モジュール１７４は、検索対象とする人物名、建物名、施設名等のいずれか又は複数の組合せの入力を受け付けることにより、この人物、建物、又は施設等を撮像するカメラ３００を特定する（ステップＳ３３）。
　人物情報入力受付モジュール１７４は、例えば、データベースやテーブル等に基づいて、対象とする建物や施設にいる人物を撮像するカメラ３００を特定し、オペレータ端末１００は、上述したステップＳ２０～ステップＳ２４の処理を実行し、撮像画像表示モジュール１７１は、この人物を複数の方向から撮像した撮像画像の一覧を表示する（ステップＳ３４）。
　図１３は、撮像画像表示モジュール１７１が表示する撮像画像一覧画面を示す図である。図１３において、撮像画像表示モジュール１７１は、撮像画像一覧画面として、メッセージ表示領域７００、撮像画像７１０～７９０を表示する。メッセージ表示領域７００は、本画面が、人物を複数の方向から撮像した撮像画像の一覧画面であることを示す旨の通知を表示する。撮像画像表示領域７１０～７９０は、各々が、人物を異なる方向から撮像した撮像画像及び撮像方向を示す通知を表示する。すなわち、撮像画像表示モジュール１７１は、撮像画像表示領域７１０～７９０を、自身が表示可能な撮像画像の数だけ表示する。
　なお、図１３において、撮像画像表示モジュール１７１が表示する撮像画像表示領域４１０～４９０の数は、適宜変更可能である。また、撮像画像表示モジュール１７１が表示する情報は適宜変更してもよい。
　撮像画像表示モジュール１７１は、撮像画像表示領域７１０～７９０へのオペレータの入力操作を受け付け、オペレータが所望する撮像画像の選択入力を受け付ける。撮像画像表示モジュール１７１は、選択入力を受け付けた場合、選択入力を受け付けた撮像画像を、拡大し、上述した図１１と同様に撮像画像画面として表示する。
　撮像画像表示モジュール１７１は、オペレータが所望する撮像画像の選択入力を受け付けたか否かを判断する（ステップＳ３５）。ステップＳ３５において、撮像画像表示モジュール１７１は、選択入力を受け付けていないと判断した場合（ステップＳ３５　ＮＯ）、選択入力を受け付けるまで、本処理を繰り返す。
　一方、ステップＳ３５において、撮像画像表示モジュール１７１は、選択入力を受け付けたと判断した場合（ステップＳ３５　ＹＥＳ）、選択入力を受け付けた撮像画像を、拡大して表示する（ステップＳ３６）。
　オペレータ端末１００とカメラ３００とは、上述したステップＳ２７の処理を実行し、オペレータと人物とは、コミュニケーションを取る。
　以上が、画像表示処理である。
　以上が第１の実施形態におけるコミュニケーションシステム１の説明である。
　次に、第２の実施形態におけるコミュニケーションシステム１について説明する。
　［コミュニケーションシステム１の概要］
　本発明の好適な第２の実施形態の概要について、図２に基づいて説明する。図２は、本発明の好適な第２の実施形態であるコミュニケーションシステム１の概要を説明するための図である。コミュニケーションシステム１は、オペレータ端末１００、情報機器２００、複数のカメラ３００から構成される。なお、上述した第１の実施形態と同様の構成については、同様の符号を付し、その詳細な説明は省略する。また、本実施形態において、オペレータ端末１００又は情報機器２００は、１つに限らず、システム上に複数存在していてもよい。また、図２において、複数のカメラ３００として、一のカメラ３００を図示しているが、複数のカメラ３００のうち、一のカメラ３００を例示しているに過ぎず、その個数は適宜変更可能である。また、各装置は、実在する装置又は仮想的な装置のいずれか又は双方により実現されてもよい。また、後述する各処理は、オペレータ端末１００、情報機器２００又はカメラ３００のいずれか又は複数の組合せにより実現されてもよい。
　オペレータ端末１００は、情報機器２００及びカメラ３００とデータ通信可能な、上述した第１の実施形態と同様の情報端末である。
　情報機器２００は、オペレータ端末１００とデータ通信可能な情報端末であり、上述したオペレータ端末１００と同様の電化製品又はその他の物品である。
　カメラ３００は、オペレータ端末１００とデータ通信可能な、上述した第１の実施形態と同様の撮像装置である。なお、音響機器や投影機器等が付属していなくてもよい。
　オペレータ端末１００は、オペレータからの入力を受け付け、カメラ３００の撮像画像を取得し、自身に表示する（ステップＳ１０）。なお、ステップＳ１０の処理は、上述したステップＳ０１の処理と同様である。
　オペレータ端末１００は、表示した複数の撮像画像への、オペレータの入力を受け付け、オペレータが所望する撮像画像の選択入力を受け付ける（ステップＳ１１）。なお、ステップＳ１１の処理は、上述したステップＳ０２の処理と同様である。
　オペレータ端末１００は、選択入力を受け付けた撮像画像を画像認識し、撮像画像に映っている人物を特定する。オペレータ端末１００は、特定した人物に対応付けられた情報機器２００を特定する。オペレータ端末１００は、データベースやテーブル等に基づいて、この特定した人物に対応付けられた情報機器２００の電話番号、メールアドレス、ＳＮＳアカウント等を取得し、コミュニケーションを取る（ステップＳ１２）。オペレータと人物とは、電話によるコミュニケーションを実行する場合、オペレータ端末１００は、取得した電話番号を発呼し、情報機器２００がこの発呼を受けることにより、通話を開始し、オペレータと人物とは、コミュニケーションを取る。また、オペレータと人物とは、メールによるコミュニケーションを実行する場合、オペレータ端末１００は、取得したメールアドレスに基づいて、情報機器２００にメールを送信し、情報機器２００は、メールを受信し、このオペレータ端末１００のメールアドレスに基づいて、オペレータ端末１００にメールを送信し、コミュニケーションを取る。オペレータと人物とは、ＳＮＳによるコミュニケーションを実行する場合、オペレータ端末１００は、取得したＳＮＳアカウントに基づいて、この人物のＳＮＳへメッセージ等を送信し、情報機器２００は、このメッセージ等を受信し、メッセージ等への返信をすることにより、コミュニケーションを取る。
　なお、オペレータ端末１００と情報機器２００とは、メールアドレスに基づいて、リアルタイムでメッセージを送受信することによるチャットを実行し、コミュニケーションを取ってもよい。また、オペレータと人物とは、取得した電話番号又はメールアドレスに基づいて、メッセージを送受信することにより、コミュニケーションを取ってもよい。また、オペレータと人物とが実行するコミュニケーションの内容は、上述した例以外の内容であってもよい。
　以上が、第２の実施形態におけるコミュニケーションシステム１の概要である。
　［コミュニケーションシステム１のシステム構成］
　図４に基づいて、第２の実施形態におけるコミュニケーションシステム１のシステム構成について説明する。図４は、本発明の好適な第２の実施形態であるコミュニケーションシステム１のシステム構成を示す図である。コミュニケーションシステム１は、オペレータ端末１００、情報機器２００、複数のカメラ３００及び公衆回線網５から構成される。なお、上述した第１の実施形態と同様の構成については、同様の符号を付し、その詳細な説明は省略する。
　オペレータ端末１００は、後述の機能を備え、上述した端末装置である。
　情報機器２００は、後述の機能を備え、上述した端末装置である。
　カメラ３００は、後述の機能を備え、上述した撮像装置である。
　［各機能の説明］
　図６に基づいて、第２の実施形態におけるコミュニケーションシステム１の機能について説明する。図６は、オペレータ端末１００、情報機器２００及びカメラ３００の機能ブロック図を示す図である。
　オペレータ端末１００は、上述した第１の実施形態と同様に、制御部１１０、通信部１２０、記憶部１３０、入出力部１４０を備える。
　オペレータ端末１００において、制御部１１０が所定のプログラムを読み込むことにより、通信部１２０と協働して、撮像画像取得指示送信モジュール１５０、撮像画像データ受信モジュール１５１、オペレータ側コミュニケーションモジュール１５２を実現する。オペレータ端末１００において、制御部１１０が所定のプログラムを読み込むことにより、記憶部１３０と協働して、人物情報記憶モジュール１６０を実現する。また、オペレータ端末１００において、制御部１１０が所定のプログラムを読み込むことにより、入出力部１４０と協働して、撮像画像取得入力受付モジュール１７０、撮像画像表示モジュール１７１、画像認識モジュール１７５、人物特定モジュール１７６を実現する。
　情報機器２００は、オペレータ端末１００と同様に、制御部２１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部２２０として、他の機器と通信可能にするための無線デバイス等を備える。また、情報機器２００は、入出力部として、オペレータ端末１００と同様に、表示部や、入力部や、音響機器や、撮像デバイス等を備える。
　情報機器２００において、制御部２１０が所定のプログラムを読み込むことにより、通信部２２０と協働して、人物側コミュニケーションモジュール２３０を実現する。
　カメラ３００は、上述した第１の実施形態と同様に、制御部３１０、通信部３２０、入出力部３４０を備える。なお、音響機器や投影機器や表示部が付属していなくてもよい。
　カメラ３００において、制御部３１０が所定のプログラムを読み込むことにより、通信部３２０と協働して、撮像画像取得指示受信モジュール３５０、撮像画像データ送信モジュール３５１、カメラ側コミュニケーションモジュール３５２を実現する。また、カメラ３００において、制御部３１０が所定のプログラムを読み込むことにより、入出力部３４０と協働して、撮像モジュール３６０を実現する。
　［コミュニケーション処理］
　図９に基づいて、オペレータ端末１００、情報機器２００、カメラ３００が実行するコミュニケーション処理について説明する。図９は、オペレータ端末１００、情報機器２００、カメラ３００が実行するコミュニケーション処理のフローチャートを示す図である。なお、上述した第１の実施形態と同様の処理については、その詳細な説明は省略する。
　撮像画像取得入力受付モジュール１７０は、オペレータからの入力を受け付けたか否かを判断する（ステップＳ４０）。ステップＳ４０の処理は、上述したステップＳ２０の処理と同様である。
　ステップＳ４０において、撮像画像取得入力受付モジュール１７０は、入力を受け付けていないと判断した場合（ステップＳ４０　ＮＯ）、入力を受け付けるまで本処理を繰り返す。
　一方、ステップＳ４０において、撮像画像取得入力受付モジュール１７０は、入力を受け付けたと判断した場合（ステップＳ４０　ＹＥＳ）、撮像画像取得指示送信モジュール１５０は、複数のカメラ３００に、撮像画像の取得指示を送信する（ステップＳ４１）。ステップＳ４１の処理は、上述したステップＳ２１の処理と同様である。
　撮像画像取得指示受信モジュール３５０は、オペレータ端末１００が送信した取得指示を受信する。撮像モジュール３６０は、取得指示に基づいて、自身が設置された場所の画像を撮像する（ステップＳ４２）。ステップＳ４２の処理は、上述したステップＳ２２の処理と同様である。
　撮像画像データ送信モジュール３５１は、撮像した画像を示す撮像画像データを、オペレータ端末１００に送信する（ステップＳ４３）。なお、ステップＳ４３の処理は、上述したステップＳ２３の処理と同様である。
　撮像画像データ受信モジュール１５１は、カメラ３００が送信した撮像画像データを受信する。撮像画像表示モジュール１７１は、受信した撮像画像データに基づいて、複数のカメラ３００が撮像した撮像画像を、撮像画像一覧として表示する（ステップＳ４４）。ステップＳ４４の処理は、上述したステップＳ２４の処理と同様である。
　撮像画像表示モジュール１７１は、オペレータが所望する撮像画像の選択入力を受け付けたか否かを判断する（ステップＳ４５）。ステップＳ４５の処理は、上述したステップＳ２５の処理と同様である。
　ステップＳ４５において、撮像画像表示モジュール１７１は、選択入力を受け付けていないと判断した場合（ステップＳ４５　ＮＯ）、選択入力を受け付けるまで、本処理を繰り返す。
　一方、ステップＳ４５において、撮像画像表示モジュール１７１は、選択入力を受け付けたと判断した場合（ステップＳ４５　ＹＥＳ）、選択入力を受け付けた撮像画像を、拡大して表示する（ステップＳ４６）。ステップＳ４６の処理は、上述したステップＳ２６の処理と同様である。
　画像認識モジュール１７５は、選択入力を受け付けた撮像画像の画像認識を実行し、この撮像画像に映っている人物を特定する（ステップＳ４７）。画像認識モジュール１７５は、一般的な画像認識の方法であってよい。
　人物特定モジュール１７６は、人物情報記憶モジュール１６０が記憶する人物情報テーブルを参照し、特定した人物に対応付けられた情報機器２００を特定し、この情報機器２００の電話番号、メールアドレス、ＳＮＳアカウント等の人物情報を取得する（ステップＳ４８）。
　［人物情報テーブル］
　図１４に基づいて、人物情報テーブルを説明する。図１４は、人物情報記憶モジュール１６０が記憶する人物情報テーブルを示す図である。人物情報記憶モジュール１６０は、人物情報として、人物名と、電話番号と、メールアドレスと、ＳＮＳアカウントとを対応付けて記憶する。人物名とは、人物の名称である。電話番号とは、人物が使用する情報機器２００の電話番号である。メールアドレスとは、人物が使用する情報機器２００のメールアドレスである。ＳＮＳアカウントとは、ブログ、ミニブログのＩＤ、ＳＮＳアプリケーションのＩＤ、ＳＮＳサイトのＩＤ等である。なお、人物情報テーブルは、その他の情報を対応付けて記憶していてもよいし、いずれかの情報のみを記憶していてもよい。また、ＳＮＳアカウントは、一の人物に対して複数記憶していてもよい。
　オペレータ側コミュニケーションモジュール１５２は、取得した人物情報に基づいて、人物側コミュニケーションモジュール２３０と通信又は通話を実行することにより、コミュニケーションを取る（ステップＳ４９）。
　ステップＳ４９において、オペレータ端末１００と情報機器２００とが通話によるコミュニケーションを取る場合について説明する。オペレータ側コミュニケーションモジュール１５２は、取得した電話番号に基づいて、情報機器２００に発呼する。人物側コミュニケーションモジュール２３０は、この発呼を受け、オペレータ端末１００と情報機器２００とは電話による通話を実行することにより、コミュニケーションを取る。
　このように、オペレータ端末１００と情報機器２００とは、通話をすることにより、オペレータと人物とは、コミュニケーションを取ることが可能となる。
　また、ステップＳ４９において、オペレータ端末１００と情報機器２００とがメールによるコミュニケーションを取る場合について説明する。オペレータ側コミュニケーションモジュール１５２は、取得したメールアドレスに基づいて、情報機器２００にメールを送信する。メールの内容は、オペレータが適宜入力してもよいし、予め設定された定型文等が入力されてもよい。人物側コミュニケーションモジュール２３０は、メールを受信し、受信したメールに対してメールを返信する。メールの内容は、人物が適宜入力してもよいし、予め設定された定型文等が入力されてもよい。なお、オペレータ端末１００と情報機器２００とは、メールに限らず、リアルタイムにメッセージの送受信を実行するチャットにより、コミュニケーションを取ってもよい。
　このように、オペレータ端末１００と情報機器２００とは、メールの送受信をすることにより、オペレータと人物とは、コミュニケーションを取ることが可能となる。
　また、ステップＳ４９において、オペレータ端末１００と情報機器２００とがＳＮＳによるコミュニケーションを取る場合について説明する。オペレータ側コミュニケーションモジュール１５２は、取得したＳＮＳアカウント情報に基づいて、該当するＳＮＳに、メッセージ、チャット、文章の投稿等の書込情報を送信する。人物側コミュニケーションモジュール２３０は、ＳＮＳを閲覧することにより、オペレータ端末１００と情報機器２００とはＳＮＳによるコミュニケーションを取る。
　このように、オペレータ端末１００と情報機器２００とは、ＳＮＳによるコミュニケーションを取ることにより、オペレータと人物とは、コミュニケーションを取ることが可能となる。
　以上が、第２の実施形態におけるコミュニケーション処理である。
　また、第２の実施形態におけるコミュニケーションシステム１は、上述した第１の実施形態における画像表示処理と同様の処理を実行する。第２の実施形態において、コミュニケーションシステム１は、上述したステップＳ３０～Ｓ３６の処理を実行する。オペレータ端末１００と、検索対象とした人物が使用する情報機器２００とは、上述したステップＳ４９の処理を実行し、オペレータと人物とはコミュニケーションを取る。
　上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭなど）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
　以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
　１　情報端末制御システム、１００　オペレータ端末、２００　情報機器、３００　カメラ

Claims (9)

  1. 　複数のカメラとネットワークを介して接続されたコミュニケーションシステムであって、
    　前記複数のカメラの撮像画像を表示する表示手段と、
    　前記表示された複数のカメラの撮像画像の中から、所望の撮像画像を選択させる撮像画像選択手段と、
    　前記選択された撮像画像に対応するカメラに付属された機器を介して、当該カメラ付近にいる人物とコミュニケーションを取るコミュニケーション手段と、
    　を備えることを特徴とするコミュニケーションシステム。
  2. 　複数のカメラとネットワークを介して接続されたコミュニケーションシステムであって、
    　前記複数のカメラの撮像画像を表示する表示手段と、
    　前記表示された複数のカメラの撮像画像の中から、所望の撮像画像を選択させる撮像画像選択手段と、
    　前記選択された撮像画像に映っている人物を画像認識で特定する画像認識手段と、
    　前記特定された人物が使用する情報機器に対してコミュニケーションを取るコミュニケーション手段と、
    　を備えることを特徴とするコミュニケーションシステム。
  3. 　前記表示手段は、前記複数のカメラの撮像画像を一覧にして表示する、
    　ことを特徴とする請求項１又は２に記載のコミュニケーションシステム。
  4. 　前記付属された機器が、音響機器又は投影機器であって、
    　前記コミュニケーション手段は、通話又はプロジェクションによってコミュニケーションを取る、
    　ことを特徴とする請求項１に記載のコミュニケーションシステム。
  5. 　前記コミュニケーション手段は、通話、メール又はチャットによってコミュニケーションを取る、
    　ことを特徴とする請求項２に記載のコミュニケーションシステム。
  6. 　複数のカメラとネットワークを介して接続されたコミュニケーションシステムが実行するコミュニケーション方法であって、
    　前記複数のカメラの撮像画像を表示するステップと、
    　前記表示された複数のカメラの撮像画像の中から、所望の撮像画像を選択させるステップと、
    　前記選択された撮像画像に対応するカメラに付属された機器を介して、当該カメラ付近にいる人物とコミュニケーションを取るステップと、
    　を備えることを特徴とするコミュニケーション方法。
  7. 　複数のカメラとネットワークを介して接続されたコミュニケーションシステムが実行するコミュニケーション方法であって、
    　前記複数のカメラの撮像画像を表示するステップと、
    　前記表示された複数のカメラの撮像画像の中から、所望の撮像画像を選択させるステップと、
    　前記選択された撮像画像に映っている人物を画像認識で特定するステップと、
    　前記特定された人物が使用する情報機器に対してコミュニケーションを取るステップと、
    　を備えることを特徴とするコミュニケーション方法。
  8. 　複数のカメラとネットワークを介して接続されたコミュニケーションシステムに、
    　前記複数のカメラの撮像画像を表示するステップ、
    　前記表示された複数のカメラの撮像画像の中から、所望の撮像画像を選択させるステップ、
    　前記選択された撮像画像に対応するカメラに付属された機器を介して、当該カメラ付近にいる人物とコミュニケーションを取るステップ、
    　を実行させるプログラム。
  9. 　複数のカメラとネットワークを介して接続されたコミュニケーションシステムに、
    　前記複数のカメラの撮像画像を表示するステップ、
    　前記表示された複数のカメラの撮像画像の中から、所望の撮像画像を選択させるステップ、
    　前記選択された撮像画像に映っている人物を画像認識で特定するステップ、
    　前記特定された人物が使用する情報機器に対してコミュニケーションを取るステップ、
    　を実行させるプログラム。
PCT/JP2016/059111 2016-03-23 2016-03-23 コミュニケーションシステム、コミュニケーション方法及びプログラム Ceased WO2017163324A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2016/059111 WO2017163324A1 (ja) 2016-03-23 2016-03-23 コミュニケーションシステム、コミュニケーション方法及びプログラム
US16/081,089 US10432894B2 (en) 2016-03-23 2016-03-23 Communication system, communication method, and program
JP2018506667A JP6387205B2 (ja) 2016-03-23 2016-03-23 コミュニケーションシステム、コミュニケーション方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/059111 WO2017163324A1 (ja) 2016-03-23 2016-03-23 コミュニケーションシステム、コミュニケーション方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2017163324A1 true WO2017163324A1 (ja) 2017-09-28

Family

ID=59900070

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/059111 Ceased WO2017163324A1 (ja) 2016-03-23 2016-03-23 コミュニケーションシステム、コミュニケーション方法及びプログラム

Country Status (3)

Country Link
US (1) US10432894B2 (ja)
JP (1) JP6387205B2 (ja)
WO (1) WO2017163324A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019026392A1 (ja) * 2017-07-31 2019-02-07 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006014148A (ja) * 2004-06-29 2006-01-12 Matsushita Electric Ind Co Ltd ネットワークカメラ及びネットワークシステム
JP2006148737A (ja) * 2004-11-24 2006-06-08 Matsushita Electric Ind Co Ltd 通信装置およびネットワークカメラ
JP2007201816A (ja) * 2006-01-26 2007-08-09 Mitsubishi Electric Corp 映像表示システム及び映像受信装置
JP2011114699A (ja) * 2009-11-27 2011-06-09 Sharp Corp 情報共有システム
JP2013098668A (ja) * 2011-10-28 2013-05-20 Konica Minolta Business Technologies Inc 遠隔制御装置、遠隔制御方法および遠隔制御プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102714705A (zh) * 2012-03-08 2012-10-03 华为技术有限公司 视频会议中突显关注者的方法、设备及系统
EP2915101A4 (en) * 2012-11-02 2017-01-11 Itzhak Wilf Method and system for predicting personality traits, capabilities and suggested interactions from images of a person
KR101990536B1 (ko) * 2012-11-02 2019-06-18 삼성전자주식회사 영상 통화 수행 시 사용자들의 관심 정보를 제공하는 정보 제공 방법 및 이를 적용한 전자 장치
JP2016005083A (ja) 2014-06-16 2016-01-12 ソニー株式会社 情報処理装置、情報処理方法及び端末装置
US9800831B2 (en) * 2015-06-18 2017-10-24 Jie Diao Conveying attention information in virtual conference

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006014148A (ja) * 2004-06-29 2006-01-12 Matsushita Electric Ind Co Ltd ネットワークカメラ及びネットワークシステム
JP2006148737A (ja) * 2004-11-24 2006-06-08 Matsushita Electric Ind Co Ltd 通信装置およびネットワークカメラ
JP2007201816A (ja) * 2006-01-26 2007-08-09 Mitsubishi Electric Corp 映像表示システム及び映像受信装置
JP2011114699A (ja) * 2009-11-27 2011-06-09 Sharp Corp 情報共有システム
JP2013098668A (ja) * 2011-10-28 2013-05-20 Konica Minolta Business Technologies Inc 遠隔制御装置、遠隔制御方法および遠隔制御プログラム

Also Published As

Publication number Publication date
US10432894B2 (en) 2019-10-01
JP6387205B2 (ja) 2018-09-05
JPWO2017163324A1 (ja) 2018-09-13
US20190075273A1 (en) 2019-03-07

Similar Documents

Publication Publication Date Title
KR102049789B1 (ko) 휴대단말기의 정보 전송장치 및 방법
CN104158985A (zh) 通话方法、装置和系统
CN105488145B (zh) 网页内容的显示方法、装置及终端
US20150282233A1 (en) Communication management system, communication management method, and recording medium storing communication management program
CN104464238A (zh) 移动终端之间的操作控制方法及装置
KR20150074226A (ko) 단말 및 콘텐츠 공유 방법
CN109104564B (zh) 一种拍摄提示方法及终端设备
US9959083B2 (en) System and method for sharing screen
JP5997824B1 (ja) 遠隔端末、遠隔指示方法及び遠隔端末用プログラム
CN105119984B (zh) 发送文件的方法及装置
JP2008270912A (ja) 制御装置、移動通信システム及び通信端末
JP6387205B2 (ja) コミュニケーションシステム、コミュニケーション方法及びプログラム
JP6451625B2 (ja) 通信端末及び通信方法
JP6391219B2 (ja) システム
CN108495276B (zh) 一种数字名片的分享方法和装置
JP5594087B2 (ja) 画像表示装置及びプログラム
JP2015141234A (ja) 情報取得プログラム、情報取得方法及び情報処理装置
US9532181B2 (en) Device retrieval server, method of retrieving device, and program for device retrieval server
JP5972302B2 (ja) オペレータ端末、携帯端末、指示送信方法、オペレータ端末用プログラム
JP6195960B2 (ja) 遠隔指示方法及び遠隔端末用プログラム
JP7020132B2 (ja) 端末装置、情報処理方法、プログラム、通信システム
JP6448866B2 (ja) 画像取得システム、画像取得方法及びプログラム
JP2008010935A (ja) 移動無線端末装置
US10757242B2 (en) Computer system, and method and program for setting
JP2015015623A (ja) テレビ電話機、及び、プログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018506667

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16895360

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 10.01.2019)

122 Ep: pct application non-entry in european phase

Ref document number: 16895360

Country of ref document: EP

Kind code of ref document: A1