WO2018020611A1 - 画像取得システム、画像取得方法及びプログラム - Google Patents

画像取得システム、画像取得方法及びプログラム Download PDF

Info

Publication number
WO2018020611A1
WO2018020611A1 PCT/JP2016/072025 JP2016072025W WO2018020611A1 WO 2018020611 A1 WO2018020611 A1 WO 2018020611A1 JP 2016072025 W JP2016072025 W JP 2016072025W WO 2018020611 A1 WO2018020611 A1 WO 2018020611A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
alert
camera
permission
acquisition request
Prior art date
Application number
PCT/JP2016/072025
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
Original Assignee
株式会社オプティム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オプティム filed Critical 株式会社オプティム
Priority to JP2018530259A priority Critical patent/JP6448866B2/ja
Priority to PCT/JP2016/072025 priority patent/WO2018020611A1/ja
Publication of WO2018020611A1 publication Critical patent/WO2018020611A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Definitions

  • the present invention relates to an image acquisition system, an image acquisition method, and a program for acquiring an image captured by a camera.
  • an image acquisition system in which an image captured by an imaging device such as a network camera is acquired by a user terminal and the acquired image is displayed on the user terminal.
  • the user can acquire an image captured by the designated imaging device by designating the imaging device desired by the user.
  • Patent Document 1 when the imaging device captures a person, there is a problem that the person to be imaged captures an image regardless of his / her intention and is displayed on the terminal. It was.
  • An object of the present invention is to provide an image acquisition system, an image acquisition method, and a program capable of confirming a person's intention to image when a person is imaged.
  • the present invention provides the following solutions.
  • the invention according to the first aspect includes an acquisition request notification means for notifying an acquisition request for an image captured by a camera; Permission accepting means for accepting permission for the notified acquisition request; An alert notification means for notifying an alert when the permission is accepted or when the permission is not accepted for a certain period of time; Image notification means for acquiring the image after notifying the alert; An image acquisition system is provided.
  • the acquisition request of the image captured by the camera is notified, the permission for the notified acquisition request is received, and when the permission is received or when the permission is not received for a certain period of time, After notifying the alert and notifying the alert, the image is acquired.
  • the invention according to the first feature is a category of the image acquisition system, but the same actions and effects corresponding to the category are exhibited in other categories such as methods and programs.
  • the invention according to the second feature is characterized by: designation means for designating an area of the acquired image; With The image acquisition means acquires an image of the designated area; An image acquisition system that is an invention according to a first feature is provided.
  • the image acquisition system which is the invention relating to the first feature designates an area of the obtained image and obtains an image of the designated area.
  • the invention according to the third feature is characterized in that, when acquiring the image, voice notification means for notifying a voice at a predetermined time interval;
  • An image acquisition system that is an invention according to a first feature is provided.
  • the image acquisition system notifies the sound at predetermined time intervals when acquiring the image.
  • the invention according to the fourth feature is an image analysis means for image analysis of the acquired image; With The voice notification means changes the content of the voice to be notified based on the result of the image analysis.
  • An image acquisition system according to the third feature is provided.
  • the image acquisition system performs image analysis on the acquired image and, based on the result of the image analysis, determines the content of the voice to be notified. change.
  • the invention according to the fifth feature is a step of notifying an acquisition request for an image captured by the camera; Receiving permission for the notified acquisition request; A step of notifying an alert when the permission is accepted or when the permission is not accepted for a certain period of time; Obtaining the image after notifying the alert; and An image acquisition method is provided.
  • the invention according to the sixth aspect provides an image acquisition system, A step of notifying an acquisition request for an image captured by the camera; Receiving permission for the notified acquisition request; A step of notifying an alert when the permission is accepted or when the permission is not accepted for a certain period of time; Obtaining the image after notifying the alert; Provide a program to execute.
  • an image acquisition system an image acquisition method, and a program capable of confirming a person's intention of imaging when imaging a person.
  • FIG. 1 is a diagram showing an outline of the image acquisition system 1.
  • FIG. 2 is an overall configuration diagram of the image acquisition system 1.
  • FIG. 3 is a functional block diagram of the user terminal 100 and the camera 200.
  • FIG. 4 is a flowchart showing image acquisition processing executed by the user terminal 100 and the camera 200.
  • FIG. 5 is a flowchart showing image acquisition processing executed by the user terminal 100 and the camera 200.
  • FIG. 6 is a flowchart showing notification processing executed by the camera 200.
  • FIG. 7 is a flowchart showing notification content change processing executed by the camera 200.
  • FIG. 8 is a diagram illustrating an example of a state in which the user terminal 100 accepts an area specification.
  • FIG. 9 is a diagram illustrating an example of the designated area image displayed on the user terminal 100.
  • FIG. 1 is a diagram for explaining an outline of an image acquisition system 1 which is a preferred embodiment of the present invention.
  • the image acquisition system 1 includes a user terminal 100 and a camera 200.
  • the number of user terminals 100 and cameras 200 is not limited to one and may be plural. Each process described below may be realized by either or both of the user terminal 100 and the camera 200.
  • the user terminal 100 is a terminal device possessed by the user that can perform data communication with the camera 200.
  • the user terminal 100 is, for example, a cellular phone, a portable information terminal, a tablet terminal, a personal computer, an electric appliance such as a netbook terminal, a slate terminal, an electronic book terminal, a portable music player, a smart glass, a head mounted display, or the like Wearable terminals and other items.
  • the camera 200 is an imaging device such as a network camera that can perform data communication with the user terminal 100 and captures images such as moving images and still images.
  • the owner of the user terminal 100 will be described as a user A, and the person captured by the camera 200 will be described as a person B.
  • the user terminal 100 transmits an acquisition request for acquiring an image captured by the camera 200 to the camera 200 (step S01). For example, the user terminal 100 selects a camera 200 that captures an image desired by the user, and transmits an acquisition request to the camera 200.
  • the camera 200 receives the acquisition request, and notifies the acquisition request to the person imaged by the camera 200 (step S02).
  • the camera 200 notifies that the user terminal 100 is about to acquire an image.
  • the camera 200 notifies the user of “Are you sure to send the captured image to the user A?” From a speaker or the like.
  • the camera 200 may notify a person who captures an image with a configuration other than sound that the user terminal 100 is about to acquire an image.
  • the camera 200 accepts permission for the acquisition request (step S03).
  • the camera 200 accepts a permission by a voice, a gesture, or the like from a person to be imaged.
  • the camera 200 accepts the permission by receiving a voice, a gesture or the like that can be generally recognized as permission from the person to be imaged.
  • the camera 200 may accept permission by a configuration other than voice or gesture, for example, input by a switch or detection by a sensor.
  • a voice or gesture that is recognized as permission may be stored in advance, and if the stored voice or gesture is accepted, the permission may be accepted. Other configurations may also be used.
  • the camera 200 notifies an alert when the permission is accepted or when the permission is not accepted for a certain period of time (step S04). For example, the camera 200 notifies an alert by audio output. Specifically, the camera 200 notifies the person to be imaged of an alert by outputting a voice saying “I will send the image to be captured to the user A”. That is, the camera 200 notifies the person B to be imaged of a point at which an image is captured and a point at which the captured image is transmitted to another person. The camera 200 may notify the alert by a configuration other than sound, for example, light, characters, images, and the like.
  • the camera 200 captures an image and transmits image data of the captured image to the user terminal 100 (step S05).
  • the camera 200 may be configured to notify an alert to a person who captures images at predetermined time intervals while transmitting image data to the user terminal 100.
  • the camera 200 outputs a voice message at a predetermined time interval to notify that “currently an image to be captured is being transmitted to the user A”. That is, the camera 200 notifies the person B to be imaged of the point at which an image is being captured and the point at which the image being captured is being transmitted to another person.
  • the camera 200 may notify the alert by a configuration other than sound, for example, light, characters, images, or the like.
  • the camera 200 may be configured to analyze the image to be captured and change the content of the alert to be notified based on the result of the image analysis. For example, when the camera 200 recognizes that the person B appears in the image as a result of image analysis of the captured image, the camera 200 changes the content of the alert to be notified to “user A You may send a notification to this changed alert. That is, the camera 200 changes to an alert that clearly indicates the point at which the person B is taking an image and is notified. Further, the camera 200 may change the contents of the above-described alert and notify the changed alert even if the configuration is other than audio.
  • User terminal 100 receives image data and acquires an image captured by camera 200.
  • the user terminal 100 displays an image captured by the camera 200 on itself based on the acquired image (step S06).
  • the user terminal 100 may be configured to designate an area of the displayed image and acquire an image of the designated area. For example, the user terminal 100 designates the person B shown in the displayed image, acquires an image of only the person B, or designates a part of the body of the person B, thereby An image of a part of the person's body is acquired, or an image other than the person B is designated to acquire an image other than the person B.
  • the user terminal 100 transmits a specified area acquisition request for acquiring an image of the specified area to the camera 200, and the camera 200 determines the image of the area specified by the user terminal 100 based on the specified area acquisition request.
  • the designated area image data is transmitted to the user terminal 100.
  • FIG. 2 is a diagram showing a system configuration of the image acquisition system 1 which is a preferred embodiment of the present invention.
  • the image acquisition system 1 includes a user terminal 100, a camera 200, and a public network (Internet network, third and fourth generation communication network, etc.) 5. Note that the number of user terminals 100 and cameras 200 is not limited to one and may be plural. Each process described below may be realized by either or both of the user terminal 100 and the camera 200.
  • the user terminal 100 is the above-described terminal device having the functions described later. In the following description, the owner of the user terminal 100 will be described as a user A.
  • the camera 200 is the above-described imaging device having the functions described below. In the following description, a person captured by the camera 200 is described as a person B.
  • FIG. 3 is a functional block diagram of the user terminal 100 and the camera 200.
  • the user terminal 100 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), etc. as the control unit 110, and a device for enabling communication with other devices as the communication unit 120.
  • a WiFi (Wireless Fidelity) compatible device compliant with IEEE 802.11 is provided.
  • the user terminal 100 includes, as the input / output unit 140, a display unit that outputs and displays data and images controlled by the control unit 110, an input unit such as a touch panel, a keyboard, and a mouse that receives input from the user.
  • the control unit 110 when the control unit 110 reads a predetermined program, the acquisition request transmission module 150 and the image reception module 151 are realized in cooperation with the communication unit 120. In the user terminal 100, the control unit 110 reads a predetermined program, thereby realizing the input receiving module 170 and the display module 171 in cooperation with the input / output unit 140.
  • the camera 200 includes a CPU, RAM, ROM, and the like as the control unit 210, a device for enabling communication with other devices, as the communication unit 220, and the input / output unit 240.
  • a display unit an imaging device such as a lens, an image sensor, various buttons, a flash, a sound emitting device such as a speaker, a sound collecting device such as a microphone, and the like.
  • the control unit 210 when the control unit 210 reads a predetermined program, the acquisition request reception module 250 and the image transmission module 251 are realized in cooperation with the communication unit 220. In the camera 200, the control unit 210 reads a predetermined program, and thereby cooperates with the input / output unit 240 to obtain an acquisition request notification module 270, a permission reception module 271, an alert notification module 272, an imaging module 273, and an analysis module. 274 is realized.
  • FIGS. 4 and 5 are flowcharts of image acquisition processing executed by the user terminal 100 and the camera 200.
  • FIG. The processing executed by the modules of each device described above will be described together with this processing.
  • the input receiving module 170 receives a selection input of the camera 200 that acquires an image (step S10).
  • step S10 for example, the input reception module 170 displays a list of images captured by the plurality of cameras 200 on the display unit, and acquires one or more images from the images, thereby acquiring the images. 200 selection inputs are accepted. Further, the input receiving module 170 receives the input of device information unique to the device such as the location of the camera 200, a specific keyword, a telephone number, a user name, and an IP address, thereby selecting and inputting the camera 200 that acquires an image. Accept.
  • the acquisition request transmission module 150 transmits an acquisition request for acquiring an image captured by the camera 200 to the camera 200 that has received the selection input (step S11).
  • the acquisition request receiving module 250 receives an acquisition request.
  • the acquisition request notification module 270 notifies the acquisition request to a person in the vicinity of the camera 200 (step S12).
  • the acquisition request notification module 270 notifies the user terminal 100 that the user terminal 100 is about to acquire an image by voice, light, text, image, or the like.
  • the acquisition request notification module 270 notifies the acquisition request by outputting sound from a speaker or the like attached to the camera 200. Specifically, the acquisition request notification module 270 outputs a voice message “Can I send the captured image to the user A?”. Further, the acquisition request notification module 270 notifies the acquisition request by outputting light from a light or the like attached to the camera 200. Specifically, the acquisition request notification module 270 notifies the acquisition request described above by blinking a light or causing a specific color to emit light. Further, the acquisition request notification module 270 notifies the acquisition request by displaying characters on an electric bulletin board attached to the camera 200, a liquid crystal panel, or the like.
  • the acquisition request notification module 270 outputs and displays as a text “Can I send the captured image to the user A?”.
  • the acquisition request notification module 270 notifies the acquisition request by displaying an image on the above-described electronic bulletin board, liquid crystal panel, or the like.
  • the acquisition request notification module 270 outputs and displays an image indicating that an image captured by the camera 200 is transmitted.
  • the acquisition request notification module 270 may notify the acquisition request by a configuration other than the configuration described above. Moreover, the structure which notifies an acquisition request by combining two or more structures mentioned above may be sufficient.
  • the permission acceptance module 271 determines whether or not permission for the acquisition request has been accepted (step S13).
  • step S ⁇ b> 13 the permission receiving module 271 determines whether or not permission has been received based on, for example, whether or not an input of a voice or a gesture from the person B has been received.
  • the permission receiving module 271 collects the voice of the person B using a microphone attached to the camera 200 and determines whether the permission is received.
  • the permission receiving module 271 determines whether the imaging module 273 has captured a part or all of the body of the person B and has received permission.
  • the permission receiving module 271 determines whether or not the person B has made a sound that can be recognized as generally permitted, such as “Okay”, “Allow”, “No problem”, and the like. . In addition, the permission receiving module 271 determines whether or not the person B has executed a generally recognizable gesture such as a gesture of forming a circle with an arm or a finger, a gesture of pointing the thumb up, or a whispering gesture. .
  • the permission receiving module 271 may receive permission with a configuration other than the above-described configuration. Further, the permission receiving module 271 may determine whether or not a voice or gesture other than the voice or gesture described above has been executed. Further, it may be determined whether or not the permission is accepted by storing a voice or gesture indicating permission in advance and determining whether or not the stored voice or gesture is accepted. Further, the permission accepting module 271 may accept permission by a configuration other than voice or gesture, for example, input by a switch or detection by a sensor.
  • processing in step S13 may be configured to be executed by an external computer (not shown) or the user terminal 100.
  • the configuration may be such that the camera 200 transmits data such as received voices and gestures to an external computer and the external computer determines whether or not permission has been received.
  • step S13 when the permission receiving module 271 determines that the permission has been received (step S13: YES), the permission receiving module 271 executes a process of step S15 described later.
  • step S13 when it is determined in step S13 that the permission receiving module 271 has not received permission (NO in step S13), the permission receiving module 271 determines whether or not a predetermined time has passed (step S14). In step S14, the permission receiving module 271 determines whether or not a predetermined time such as 30 seconds, 1 minute, 3 minutes, or the like has elapsed since the acquisition request was notified.
  • the predetermined time may be a time required for the person B to respond to the acquisition request, and the time can be changed as appropriate.
  • step S14 when the permission receiving module 271 determines that the predetermined time has not elapsed (NO in step S14), the permission receiving module 271 executes the process of step S13 described above again.
  • step S14 when the permission receiving module 271 determines in step S14 that the predetermined time has elapsed (YES in step S14), the alert notification module 272 notifies the alert (step S15).
  • step S15 the alert notification module 272 notifies the person B of an alert by voice, light, characters, images, or the like.
  • step S15 the alert notification module 272 notifies the person B of an alert by outputting sound from a speaker or the like. Specifically, the alert notification module 272 notifies the person B that the image to be captured is to be transmitted to the user A by outputting a voice message “Start transmitting the image to be captured to the user A”. .
  • step S15 the alert notification module 272 notifies the person B of an alert using a light or the like. Specifically, the alert notification module 272 notifies the person B that the image to be captured is to be transmitted to the user A by emitting, blinking, changing the color of the light or the like of the alert described above.
  • step S15 the alert notification module 272 notifies the person B of an alert by displaying characters on an electric bulletin board or a liquid crystal panel. Specifically, the alert notification module 272 outputs to the person B that the image to be captured is to be transmitted to the user A by outputting and displaying the characters “Start transmitting the image to be captured to the user A”. Notice.
  • step S15 the alert notification module 272 notifies the person B of an alert by displaying an image on an electric bulletin board or a liquid crystal panel. Specifically, the alert notification module 272 outputs and displays an image indicating that an image captured by the camera 200 is about to be transmitted.
  • alert notification module 272 may notify the alert by a configuration other than the configuration described above. Moreover, the alert notification module 272 may notify an alert by combining the above-described configurations.
  • step S13 the structure which performs only any one of the process of step S13 mentioned above and the process of step S14 may be sufficient.
  • step S13 or step S14 the permission receiving module 271 ends this process when receiving a permission to reject.
  • This permission is a voice or gesture that can be generally recognized as being rejected.
  • the structure which transmits to the user terminal 100 after performing image processing which cannot identify individuals, such as a mosaic may be sufficient as a person at this time.
  • the camera 200 transmits image data to the user terminal 100
  • the user terminal 100 performs image processing such that a mosaic or the like cannot be identified, and the image processing is performed in step S ⁇ b> 18 described later. It may be configured to display an image subjected to.
  • the imaging module 273 captures an image (step S16).
  • the image transmission module 251 transmits the image data of the captured image to the user terminal 100 (step S17).
  • the image receiving module 151 receives image data.
  • the display module 171 displays an image captured by the camera 200 based on the image data (step S18).
  • the input receiving module 170 determines whether or not an input for designating an area has been received (step S19).
  • step S ⁇ b> 19 the input reception module 170 determines whether or not this input has been received for an image to be displayed by an input device such as a tap operation or a mouse.
  • step S19 for example, the input receiving module 170 designates a part or all of the face, eyes, mouth, etc. of the person B shown in the image to be displayed or part or all of the area other than the person B as the area designation. It is determined whether or not it has been accepted.
  • FIG. 8 is a diagram illustrating an example of a state in which the input receiving module 170 has received designation of an area.
  • the display module 171 displays an image 300 captured by the camera 200.
  • the icon 320 schematically shows the hand of the user A.
  • the user A designates a desired area 310 by tapping the image 300.
  • FIG. 8 shows a state in which the input receiving module 170 has designated the area around the face of the person B as the area 310.
  • An area 310 means a part of an image that is to be acquired in a process to be described later by an input from the user A.
  • the input receiving module 170 indicates the region 310 by enclosing the region of the image with a line, but may indicate the region 310 with other configurations.
  • the input reception module 170 may recognize the entire person as the region 310 by tapping a part of the person. Further, by tapping a part of a person, the tapped part may be recognized as the region 310. Alternatively, a part excluding a person may be recognized as the region 310 by tapping a part other than the person. This may be performed by analyzing the image and identifying each boundary of each person's part, person, background, and the like.
  • step S19 when the input reception module 170 determines that the designation has been accepted (YES in step S19), the acquisition request transmission module 150 sends a designated area image acquisition request for obtaining an image of the area in which the designation has been received to the camera 200. Transmit (step S20). In step S20, the acquisition request transmission module 150 transmits a specified area image acquisition request for acquiring an image of only the area for which the specification has been accepted.
  • the acquisition request receiving module 250 receives a specified area image acquisition request.
  • the image transmission module 251 transmits the image data of the area designated by the user A to the user terminal 100 as the designated area image data based on the received designated area image acquisition request (step S21).
  • the image receiving module 151 receives the designated area image data.
  • the display module 171 displays the image of the designated area based on the designated area image data (step S22). Thereafter, the user terminal 100 executes a process of step S23 described later.
  • FIG. 9 is a diagram showing an example of the designated area image displayed by the display module 171.
  • the display module 171 displays the designated area image 400 of the area 310 designated in FIG.
  • the display module 171 displays the image 400 in an enlarged size to the same size as the aspect ratio of the image 300 displayed in FIG.
  • the display module 171 changes the size of the designated area image 400, but may display it without changing it.
  • step S19 when it is determined in step S19 that the input receiving module 170 has not received an input (NO in step S19), the input receiving module 170 determines whether an input of an image acquisition end instruction has been received (step S19). S23). In step S23, for example, the input receiving module 170 determines whether or not an input such as a voice input related to the end instruction from the user A, a gesture input related to the end instruction, and an operation input of the end icon displayed on the display unit has been received. To do.
  • step S23 when the input reception module 170 determines that the input is not received (step S23: NO), the process of step S19 described above is executed.
  • step S23 when the input receiving module 170 determines in step S23 that the input has been received (YES in step S23), the image receiving module 151 ends the acquisition of the image and ends the present process.
  • FIG. 6 is a flowchart of notification processing executed by the camera 200. Processing executed by each module described above will be described together with this processing.
  • the image transmission module 251 determines whether image data is being transmitted to the user terminal 100 (step S30). In step S ⁇ b> 30, the image transmission module 251 determines whether image data or designated area image data is being transmitted to the user terminal 100. If the image transmission module 251 determines in step S30 that image data has not been transmitted (NO in step S30), the process ends.
  • step S31 the alert notification module 272 determines whether or not a predetermined time has elapsed.
  • the predetermined time is, for example, 30 seconds, 1 minute, 2 minutes, 5 minutes, or the like. This predetermined time can be changed as appropriate.
  • the alert notification module 272 determines whether or not a predetermined time has elapsed since the start of transmission of image data, and whether or not a predetermined time has elapsed since the previous execution of this process.
  • step S31 when the alert notification module 272 determines that the time has not elapsed (NO in step S31), the alert notification module 272 executes the process of step S30 described above.
  • step S31 when the alert notification module 272 determines in step S31 that the time has elapsed (YES in step S31), the alert notification module 272 notifies the alert (step S32). In step S32, the alert notification module 272 notifies voice, light, characters, images, etc. as an alert.
  • step S32 for example, the alert notification module 272 notifies the person B of an alert by outputting sound from a speaker or the like. Specifically, the alert notification module 272 notifies the person B that the image to be captured is being transmitted to the user A by outputting a voice message “Currently transmitting the captured image to the user A”. To do.
  • step S32 for example, the alert notification module 272 notifies the person B of an alert using a light or the like. Specifically, the alert notification module 272 notifies the person B that the image to be captured is being transmitted to the user A by changing the color of light, blinking, or light of the alert described above.
  • step S32 the alert notification module 272 notifies the person B of an alert by displaying characters on an electric bulletin board or a liquid crystal panel. Specifically, the alert notification module 272 indicates that the image to be captured is being transmitted to the user A by outputting and displaying the characters “Currently transmitting the captured image to the user A”. Notify
  • step S32 for example, the alert notification module 272 notifies the person B of an alert by displaying an image on an electric bulletin board or a liquid crystal panel. Specifically, the alert notification module 272 outputs and displays an image indicating that the camera 200 is currently transmitting an image to the user terminal 100.
  • alert notification module 272 may notify the alert by a configuration other than the configuration described above. Moreover, the alert notification module 272 may notify an alert by combining the above-described configurations.
  • the image transmission module 251 determines whether the image acquisition is completed (step S33). In step S ⁇ b> 33, the image transmission module 251 determines based on whether the image reception module 151 has finished acquiring images. Note that the image transmission module 251 may determine whether or not the image acquisition has been completed with another configuration.
  • step S33 when it is determined that the image transmission module 251 has not ended (step S33: NO), the process of step S30 described above is executed. On the other hand, when the image transmission module 251 determines in step S33 that the processing has ended (YES in step S33), the processing ends.
  • Each process described above is executed by the camera 200, but may be configured to be executed by an external computer or user terminal 100 (not shown), or may be configured by the user terminal 100, the camera 200, or an external not shown.
  • the configuration may be executed by any one or a combination of computers.
  • FIG. 7 is a diagram illustrating a flowchart of notification content change processing executed by the camera 200. Processing executed by each module described above will be described together with this processing. In addition, this process is a process which changes the content of the alert notified in step S32 mentioned above.
  • the image transmission module 251 determines whether or not the designated area image data is transmitted (step S40). If the image transmission module 251 determines in step S40 that transmission has not been performed (NO in step S40), the process ends.
  • step S40 may be executed based on whether or not normal image data is being transmitted instead of the designated area image data.
  • the image transmission module 251 may determine whether or not image data is being transmitted.
  • step S40 when the image transmission module 251 determines in step S40 that transmission is in progress (YES in step S40), the analysis module 274 performs image analysis on the designated area image data currently being transmitted, and based on the image analysis result. Then, an object included in the designated area image data is recognized (step S41). In step S41, the analysis module 274 extracts the feature amount of the object included in the designated area image data, and the extracted feature amount and the feature of the object stored in the database stored by itself or the database stored by the external computer. The object included in the designated area image data is recognized by comparing the quantity.
  • step S41 the analysis module 274 may recognize an object included in the designated area image data with another configuration.
  • the alert notification module 272 changes the content of the alert notified in step S32 described above based on the recognized object (step S42).
  • step S42 a case where the object recognized by the analysis module 274 is a person B will be described as an example.
  • step S42 the alert notification module 272 changes the content of the notification in step S32 described above as “currently sending an image of the person B to the user A”.
  • the alert notification module 272 changes alerts such as voice, light, characters, images, etc. based on the contents of the changed notification and notifies the person B.
  • Each process described above is executed by the camera 200, but may be configured to be executed by an external computer or user terminal 100 (not shown), or may be configured by the user terminal 100, the camera 200, or an external not shown.
  • the configuration may be executed by any one or a combination of computers.
  • the notification content changing process may be executed again when the alert content is changed once or when the designated area image data is changed. That is, it may be executed when a change occurs in the recognized object.
  • the above is the notification content change processing.
  • the means and functions described above are realized by a computer (including a CPU, an information processing apparatus, and various terminals) reading and executing a predetermined program.
  • the program is provided in a form recorded on a computer-readable recording medium such as a flexible disk, CD (CD-ROM, etc.), DVD (DVD-ROM, DVD-RAM, etc.).
  • the computer reads the program from the recording medium, transfers it to the internal storage device or the external storage device, stores it, and executes it.
  • the program may be recorded in advance in a storage device (recording medium) such as a magnetic disk, an optical disk, or a magneto-optical disk, and provided from the storage device to a computer via a communication line.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

【課題】人物を撮像するとき、この人物に撮像意思を確認することが可能な画像取得システム、画像取得方法及びプログラムを提供することを目的とする。 【解決手段】画像取得システム１は、カメラ２００が撮像する画像の取得要求を通知し、通知した取得要求に対する許諾を受け付け、許諾を受け付けた場合又は一定時間前記許諾を受け付けなかった場合、アラートを通知し、アラートを通知した後、画像を取得する。

Description

画像取得システム、画像取得方法及びプログラム
　本発明は、カメラにより撮像した画像を取得する画像取得システム、画像取得方法及びプログラムに関する。
　近年、ネットワークカメラ等の撮像装置により撮像した画像を、ユーザ端末により取得し、取得した画像をユーザ端末に表示する画像取得システムが開示されている。このような画像取得システムにおいて、ユーザは自身が所望する撮像装置を指定することにより、指定した撮像装置が撮像する画像を取得することが可能となる。
　このような画像取得システムにおいて、撮像装置により撮像した画像を、管理用端末に転送することにより、画像を取得する構成が開示されている（特許文献１参照）。
特開２００６－３４５２０８号公報
　しかしながら、特許文献１の構成では、撮像装置が人物を撮像する場合、撮像対象となる人物は、自身の意思とは無関係に画像を撮像されるとともに、端末上に表示されてしまうという問題があった。
　本発明は、人物を撮像するとき、この人物に撮像意思を確認することが可能な画像取得システム、画像取得方法及びプログラムを提供することを目的とする。
本発明では、以下のような解決手段を提供する。
　第１の特徴に係る発明は、カメラが撮像する画像の取得要求を通知する取得要求通知手段と、
　前記通知した取得要求に対する許諾を受け付ける許諾受付手段と、
　前記許諾を受け付けた場合又は一定時間前記許諾を受け付けなかった場合、アラートを通知するアラート通知手段と、
　前記アラートを通知した後、前記画像を取得する画像取得手段と、
　を備えることを特徴とする画像取得システムを提供する。
　第１の特徴に係る発明によれば、カメラが撮像する画像の取得要求を通知し、前記通知した取得要求に対する許諾を受け付け、前記許諾を受け付けた場合又は一定時間前記許諾を受け付けなかった場合、アラートを通知し、前記アラートを通知した後、前記画像を取得する。
　第１の特徴に係る発明は、画像取得システムのカテゴリであるが、方法及びプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
　第２の特徴に係る発明は、前記取得する画像の領域を指定する指定手段と、
　を備え、
　前記画像取得手段が、前記指定した領域の画像を取得する、
　ことを特徴とする第１の特徴に係る発明である画像取得システムを提供する。
　第２の特徴に係る発明によれば、第１の特徴に係る発明である画像取得システムは、前記取得する画像の領域を指定し、前記指定した領域の画像を取得する。
　第３の特徴に係る発明は、前記画像を取得するとき、所定時間間隔で音声を通知する音声通知手段と、
　を備えることを特徴とする第１の特徴に係る発明である画像取得システムを提供する。
　第３の特徴に係る発明によれば、第１の特徴に係る発明である画像取得システムは、前記画像を取得するとき、所定時間間隔で音声を通知する。
　第４の特徴に係る発明は、前記取得した画像を画像解析する画像解析手段と、
　を備え、
　前記音声通知手段が、前記画像解析の結果に基づいて、前記通知する音声の内容を変更する、
　ことを特徴とする第３の特徴に係る発明である記載の画像取得システムを提供する。
　第４の特徴に係る発明によれば、第３の特徴に係る発明である画像取得システムは、前記取得した画像を画像解析し、前記画像解析の結果に基づいて、前記通知する音声の内容を変更する。
　第５の特徴に係る発明は、カメラが撮像する画像の取得要求を通知するステップと、
　前記通知した取得要求に対する許諾を受け付けるステップと、
　前記許諾を受け付けた場合又は一定時間前記許諾を受け付けなかった場合、アラートを通知するステップと、
　前記アラートを通知した後、前記画像を取得するステップと、
　を備えることを特徴とする画像取得方法を提供する。
　第６の特徴に係る発明は、画像取得システムに、
　カメラが撮像する画像の取得要求を通知するステップ、
　前記通知した取得要求に対する許諾を受け付けるステップ、
　前記許諾を受け付けた場合又は一定時間前記許諾を受け付けなかった場合、アラートを通知するステップ、
　前記アラートを通知した後、前記画像を取得するステップ、
　を実行させるためのプログラムを提供する。
　本発明によれば、人物を撮像するとき、この人物に撮像意思を確認することが可能な画像取得システム、画像取得方法及びプログラムを提供することが可能となる。
図１は、画像取得システム１の概要を示す図である。 図２は、画像取得システム１の全体構成図である。 図３は、ユーザ端末１００、カメラ２００の機能ブロック図である。 図４は、ユーザ端末１００、カメラ２００が実行する画像取得処理を示すフローチャートである。 図５は、ユーザ端末１００、カメラ２００が実行する画像取得処理を示すフローチャートである。 図６は、カメラ２００が実行する通知処理を示すフローチャートである。 図７は、カメラ２００が実行する通知内容変更処理を示すフローチャートである。 図８は、ユーザ端末１００が領域の指定を受け付けた状態の一例を示す図である。 図９は、ユーザ端末１００が表示する指定領域画像の一例を示す図である。
　以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
　［画像取得システム１の概要］
　本発明の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態である画像取得システム１の概要を説明するための図である。画像取得システム１は、ユーザ端末１００、カメラ２００から構成される。ユーザ端末１００、カメラ２００の数は、１つに限らず複数であってもよい。また、後述する各処理は、ユーザ端末１００、カメラ２００のいずれか又は双方により実現されてもよい。
　ユーザ端末１００は、カメラ２００とデータ通信可能な、ユーザが所持する端末装置である。ユーザ端末１００は、例えば、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末や、その他の物品である。
　カメラ２００は、ユーザ端末１００とデータ通信可能な、ネットワークカメラ等の撮像装置であり、動画や静止画等の画像を撮像する。
　なお、以下の説明において、ユーザ端末１００の所持者をユーザＡ、カメラ２００が撮像する人物を人物Ｂとして説明する。
　はじめに、ユーザ端末１００は、カメラ２００が撮像する画像を取得する取得要求をカメラ２００に送信する（ステップＳ０１）。ユーザ端末１００は、例えば、ユーザが所望する画像を撮像するカメラ２００を選択し、このカメラ２００に取得要求を送信する。
　カメラ２００は、取得要求を受信し、この取得要求を、カメラ２００が撮像する人物に対して通知する（ステップＳ０２）。カメラ２００は、ユーザ端末１００が画像を取得しようとしている旨を通知する。例えば、カメラ２００は、スピーカ等から「撮像した画像をユーザＡに送信していいですか？」と音声により通知する。なお、カメラ２００は、音声以外の構成により撮像する人物に対して、ユーザ端末１００が画像を取得しようとしている旨を通知してもよい。
　カメラ２００は、取得要求に対する許諾を受け付ける（ステップＳ０３）。カメラ２００は、例えば、撮像する人物からの音声やジェスチャー等により許諾を受け付ける。具体的には、カメラ２００は、撮像する人物から、一般的に許諾と認識可能な音声やジェスチャー等を受け付けることにより、許諾を受け付ける。なお、カメラ２００は、音声やジェスチャー以外の構成、例えば、スイッチによる入力やセンサによる検出等により許諾を受け付けてもよい。また、予め許諾と認識する音声やジェスチャーを記憶しておき、この記憶した音声やジェスチャーを受け付けた場合、許諾を受け付けてもよい。また、この他の構成であってもよい。
　カメラ２００は、許諾を受け付けた場合又は一定時間許諾を受け付けなかった場合、アラートを通知する（ステップＳ０４）。カメラ２００は、例えば、音声出力によりアラートを通知する。具体的には、カメラ２００は、「撮像する画像を、ユーザＡに送信します」と音声出力することにより、撮像する人物にアラートを通知する。すなわち、カメラ２００は、撮像する人物Ｂに対して、画像を撮像する点及び撮像した画像を他の人物に送信する点を通知する。なお、カメラ２００は、音声以外の構成、例えば、光、文字、画像等によりアラートを通知してもよい。
　カメラ２００は、アラートを通知した後、画像を撮像し、撮像した画像の画像データを、ユーザ端末１００に送信する（ステップＳ０５）。なお、カメラ２００は、画像データをユーザ端末１００に送信している間、所定時間間隔で撮像する人物に対して、アラートを通知する構成であってもよい。例えば、カメラ２００は、「現在、撮像する画像をユーザＡに送信しています」と所定時間間隔で音声出力して通知する。すなわち、カメラ２００は、撮像する人物Ｂに対して、画像を撮像中である点及び撮像中の画像を他の人物に送信している点を通知する。また、このとき、カメラ２００は、音声以外の構成、例えば、光、文字、画像等によりアラートを通知してもよい。
　また、このとき、カメラ２００は、撮像する画像を画像解析し、画像解析の結果に基づいて、通知するアラートの内容を変更する構成であってもよい。例えば、カメラ２００は、撮像した画像を画像解析した結果、画像に人物Ｂが映っていることを認識したとき、通知するアラートの内容を、「現在、人物Ｂが映っている画像を、ユーザＡに送信しています」と変更し、この変更したアラートを通知してもよい。すなわち、カメラ２００は、撮像する人物Ｂに対して、現在自身が撮像されている点を明示したアラートに変更し、通知する。また、カメラ２００は、音声以外の構成であっても、上述したアラートの内容を変更し、この変更したアラートを通知してもよい。
　ユーザ端末１００は、画像データを受信し、カメラ２００が撮像する画像を取得する。ユーザ端末１００は、取得した画像に基づいて、カメラ２００が撮像する画像を自身に表示する（ステップＳ０６）。なお、ユーザ端末１００は、表示した画像の領域を指定し、この指定した領域の画像を取得する構成であってもよい。例えば、ユーザ端末１００は、この表示した画像に映っている人物Ｂを指定することにより、この人物Ｂのみの画像を取得したり、人物Ｂの身体の一部を指定することにより、この人物Ｂの身体の一部の画像を取得したり、人物Ｂ以外の画像を指定することにより、この人物Ｂ以外の画像を取得したりする。このとき、ユーザ端末１００は、指定した領域の画像を取得する指定領域取得要求をカメラ２００に送信し、カメラ２００は、この指定領域取得要求に基づいて、ユーザ端末１００が指定した領域の画像の指定領域画像データをユーザ端末１００に送信する。
　以上が、画像取得システム１の概要である。
　［画像取得システム１のシステム構成］
　図２に基づいて、画像取得システム１のシステム構成について説明する。図２は、本発明の好適な実施形態である画像取得システム１のシステム構成を示す図である。画像取得システム１は、ユーザ端末１００、カメラ２００、公衆回線網（インターネット網や、第３、第４世代通信網等）５から構成される。なお、ユーザ端末１００、カメラ２００は、１つに限らず、複数であってもよい。また、後述する各処理は、ユーザ端末１００、カメラ２００のいずれか又は双方により実現されてもよい。
　ユーザ端末１００は、後述の機能を備えた上述した端末装置である。以下の説明において、このユーザ端末１００の所持者をユーザＡとして説明する。
　カメラ２００は、後述の機能を備えた上述した撮像装置である。以下の説明において、カメラ２００が撮像する人物を人物Ｂとして説明する。
　［各機能の説明］
　図３に基づいて、画像取得システム１の機能について説明する。図３は、ユーザ端末１００、カメラ２００の機能ブロック図を示す図である。
　ユーザ端末１００は、制御部１１０として、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等を備え、通信部１２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）対応デバイスを備える。また、ユーザ端末１００は、入出力部１４０として、制御部１１０で制御したデータや画像を出力表示する表示部や、ユーザからの入力を受け付けるタッチパネルやキーボード、マウス等の入力部等を備える。
　ユーザ端末１００において、制御部１１０が所定のプログラムを読み込むことにより、通信部１２０と協働して、取得要求送信モジュール１５０、画像受信モジュール１５１を実現する。また、ユーザ端末１００において、制御部１１０が所定のプログラムを読み込むことにより、入出力部１４０と協働して、入力受付モジュール１７０、表示モジュール１７１を実現する。
　カメラ２００は、ユーザ端末１００と同様に、制御部２１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部２２０として、他の機器と通信可能にするためのデバイス等を備え、入出力部２４０として、表示部や、レンズ、撮像素子、各種ボタン、フラッシュ等の撮像デバイスや、スピーカ等の放音デバイスや、マイク等の集音デバイス等を備える。
　カメラ２００において、制御部２１０が所定のプログラムを読み込むことにより、通信部２２０と協働して、取得要求受信モジュール２５０、画像送信モジュール２５１を実現する。また、カメラ２００において、制御部２１０が所定のプログラムを読み込むことにより、入出力部２４０と協働して、取得要求通知モジュール２７０、許諾受付モジュール２７１、アラート通知モジュール２７２、撮像モジュール２７３、解析モジュール２７４を実現する。
　なお、以下の説明において、ユーザ端末１００、カメラ２００の各装置は１つであるものとして説明しているが、複数であっても本処理は実行可能であることはいうまでもない。
　［画像取得処理］
　図４及び図５に基づいて、画像取得システム１が実行する画像取得処理について説明する。図４及び図５は、ユーザ端末１００、カメラ２００が実行する画像取得処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
　入力受付モジュール１７０は、画像を取得するカメラ２００の選択入力を受け付ける（ステップＳ１０）。ステップＳ１０において、例えば、入力受付モジュール１７０は、複数のカメラ２００が撮像する画像の一覧を表示部に表示し、この画像の中から一又は複数の画像を選択することにより、画像を取得するカメラ２００の選択入力を受け付ける。また、入力受付モジュール１７０は、カメラ２００の所在地、特定のキーワード、電話番号やユーザ名やＩＰアドレス等の機器に固有な機器情報等の入力を受け付けることにより、画像を取得するカメラ２００の選択入力を受け付ける。
　取得要求送信モジュール１５０は、選択入力を受け付けたカメラ２００に対して、このカメラ２００が撮像する画像を取得する取得要求を送信する（ステップＳ１１）。
　取得要求受信モジュール２５０は、取得要求を受信する。取得要求通知モジュール２７０は、この取得要求を、カメラ２００近傍にいる人物に対して通知する（ステップＳ１２）。ステップＳ１２において、取得要求通知モジュール２７０は、ユーザ端末１００が画像を取得しようとしている旨を音声、光、文字、画像等により通知する。
　ステップＳ１２において、例えば、取得要求通知モジュール２７０は、カメラ２００に付属するスピーカ等から音声を出力することにより、取得要求を通知する。具体的には、取得要求通知モジュール２７０は、「撮像した画像を、ユーザＡに送信していいですか？」と音声出力する。また、取得要求通知モジュール２７０は、カメラ２００に付属するライト等から光を出力することにより、取得要求を通知する。具体的には、取得要求通知モジュール２７０は、ライトを点滅させることや、特定の色に発光させることにより、上述した取得要求を通知する。また、取得要求通知モジュール２７０は、カメラ２００に付属する電光掲示板や液晶パネル等に文字を表示することにより、取得要求を通知する。具体的には、取得要求通知モジュール２７０は、「撮像した画像を、ユーザＡに送信していいですか？」と文字として出力表示する。また、取得要求通知モジュール２７０は、上述した電光掲示板や液晶パネル等に画像を表示することにより、取得要求を通知する。具体的には、取得要求通知モジュール２７０は、このカメラ２００が撮像する画像を送信することを示す画像を出力表示する。
　なお、取得要求通知モジュール２７０は、上述した構成以外の構成により、取得要求を通知してもよい。また、上述した構成を複数組合わせることにより、取得要求を通知する構成であってもよい。
　許諾受付モジュール２７１は、取得要求に対する許諾を受け付けたか否かを判断する（ステップＳ１３）。ステップＳ１３において、許諾受付モジュール２７１は、例えば、人物Ｂからの音声やジェスチャー等の入力を受け付けたか否かに基づいて、許諾を受け付けたか否かを判断する。例えば、許諾受付モジュール２７１は、カメラ２００に付属するマイク等により人物Ｂの音声を集音し、許諾を受け付けたか否かを判断する。また、許諾受付モジュール２７１は、撮像モジュール２７３が人物Ｂの身体の一部又は全部を撮像し、許諾を受け付けたか否かを判断する。具体的には、許諾受付モジュール２７１は、人物Ｂが「オーケーです」、「許可します」、「問題ありません」等の一般的に許諾したと認識可能な音声を発したか否かを判断する。また、許諾受付モジュール２７１は、人物Ｂが腕や指で丸を形作るジェスチャー、親指を上に向けるジェスチャー、頷くジェスチャー等の一般的に許諾したと認識可能なジェスチャーを実行したか否かを判断する。
　なお、許諾受付モジュール２７１は、上述した構成以外の構成により、許諾を受け付けてもよい。また、許諾受付モジュール２７１は、上述した音声又はジェスチャー以外の音声又はジェスチャーを実行したか否かを判断してもよい。また、予め許諾を示す音声やジェスチャーを記憶しておき、この記憶する音声やジェスチャーを受け付けたか否かを判断することにより、許諾を受け付けたか否かを判断してもよい。また、許諾受付モジュール２７１は、音声やジェスチャー以外の構成、例えば、スイッチによる入力やセンサによる検出等により許諾を受け付けてもよい。
　また、ステップＳ１３の処理は、図示していない外部コンピュータや、ユーザ端末１００が実行する構成であってもよい。例えば、カメラ２００が、受け付けた音声やジェスチャー等のデータを、外部コンピュータに送信し、外部コンピュータにより、許諾を受け付けたか否かを判断する構成であってもよい。
　ステップＳ１３において、許諾受付モジュール２７１は、許諾を受け付けたと判断した場合（ステップＳ１３　ＹＥＳ）、後述するステップＳ１５の処理を実行する。
　一方、ステップＳ１３において、許諾受付モジュール２７１は、許諾を受け付けていないと判断した場合（ステップＳ１３　ＮＯ）、許諾受付モジュール２７１は、所定時間が経過したか否かを判断する（ステップＳ１４）。ステップＳ１４において、許諾受付モジュール２７１は、例えば、３０秒、１分、３分等の所定時間が、取得要求を通知した時点から経過したか否かを判断する。なお、所定時間とは、人物Ｂが取得要求に対して応答するために必要な時間であればよく、その時間は適宜変更可能である。
　ステップＳ１４において、許諾受付モジュール２７１は、所定時間が経過していないと判断した場合（ステップＳ１４　ＮＯ）、上述したステップＳ１３の処理を再度実行する。
　一方、ステップＳ１４において、許諾受付モジュール２７１は、所定時間が経過したと判断した場合（ステップＳ１４　ＹＥＳ）、アラート通知モジュール２７２は、アラートを通知する（ステップＳ１５）。ステップＳ１５において、アラート通知モジュール２７２は、音声、光、文字、画像等により、人物Ｂに対してアラートを通知する。
　ステップＳ１５において、例えば、アラート通知モジュール２７２は、スピーカ等から音声を出力することにより、人物Ｂに対してアラートを通知する。具体的には、アラート通知モジュール２７２は、「撮像する画像をユーザＡに送信することを開始します」と音声出力することにより、撮像する画像をユーザＡに送信することを人物Ｂに通知する。
　また、ステップＳ１５において、例えば、アラート通知モジュール２７２は、ライト等により、人物Ｂに対してアラートを通知する。具体的には、アラート通知モジュール２７２は、上述するアラートを発光、点滅、光の色の変更等することにより、撮像する画像をユーザＡに送信することを人物Ｂに通知する。
　また、ステップＳ１５において、例えば、アラート通知モジュール２７２は、電光掲示板や液晶パネル等に文字を表示することにより、人物Ｂに対してアラートを通知する。具体的には、アラート通知モジュール２７２は、「撮像する画像をユーザＡに送信することを開始します」と文字を出力表示することにより、撮像する画像をユーザＡに送信することを人物Ｂに通知する。
　また、ステップＳ１５において、例えば、アラート通知モジュール２７２は、電光掲示板や液晶パネル等に画像を表示することにより、人物Ｂに対してアラートを通知する。具体的には、アラート通知モジュール２７２は、このカメラ２００が撮像する画像を送信しようとしていることを示す画像を出力表示する。
　なお、アラート通知モジュール２７２は、上述した構成以外の構成により、アラートを通知してもよい。また、アラート通知モジュール２７２は、上述した構成を組合わせることにより、アラートを通知してもよい。
　また、上述したステップＳ１３の処理とステップＳ１４の処理とは、いずれか一方のみを実行する構成であってもよい。
　また、ステップＳ１３又はステップＳ１４において、許諾受付モジュール２７１は、拒否する許諾を受け付けた場合、本処理を終了する。この許諾としては、一般的に拒否したと認識可能な音声やジェスチャー等である。また、このとき、人物に対して、モザイク等の個人を識別できないような画像処理を施したうえで、ユーザ端末１００に送信する構成であってもよい。また、このとき、カメラ２００が画像データをユーザ端末１００に送信するものの、ユーザ端末１００が、モザイク等の個人が識別できないような画像処理を施したうえで、後述するステップＳ１８において、この画像処理が施された画像を表示する構成であってもよい。
　撮像モジュール２７３は、画像を撮像する（ステップＳ１６）。
　画像送信モジュール２５１は、撮像した画像の画像データを、ユーザ端末１００に送信する（ステップＳ１７）。
　画像受信モジュール１５１は、画像データを受信する。表示モジュール１７１は、画像データに基づいて、カメラ２００が撮像する画像を表示する（ステップＳ１８）。
　入力受付モジュール１７０は、領域を指定する入力を受け付けたか否かを判断する（ステップＳ１９）。ステップＳ１９において、入力受付モジュール１７０は、表示する画像に対して、タップ操作やマウス等の入力装置により、この入力を受け付けたか否かを判断する。ステップＳ１９において、例えば、入力受付モジュール１７０は、領域の指定として、表示する画像に映っている人物Ｂの顔、目、口等の一部又は全部や、人物Ｂ以外の領域の一部又は全部を受け付けたか否か等を判断する。
　図８は、入力受付モジュール１７０が領域の指定を受け付けた状態の一例を示す図である。図８において、表示モジュール１７１は、カメラ２００が撮像する画像３００を表示する。また、アイコン３２０は、ユーザＡの手を模式的に示す。ユーザＡは、画像３００をタップすることにより、所望する領域３１０を指定する。図８において、入力受付モジュール１７０が、人物Ｂの顔周辺を領域３１０として指定した状態を示す。領域３１０は、ユーザＡからの入力により、後述する処理において、取得したい画像の部位を意味する。
　なお、入力受付モジュール１７０は、画像の部位を線で囲うことにより、領域３１０を示しているが、その他の構成により領域３１０を示しても良い。例えば、入力受付モジュール１７０は、人物の一部をタップすることにより、この人物の全体を領域３１０として認識してもよい。また、人物の一部をタップすることにより、このタップした部位を領域３１０として認識してもよい。また、人物以外の部位をタップすることにより、人物を除外した部位を領域３１０として認識してもよい。これは、画像を画像解析し、各人物の部位、人物、背景等の各境界を識別することにより、実行すればよい。
　ステップＳ１９において、入力受付モジュール１７０は、指定を受け付けたと判断した場合（ステップＳ１９　ＹＥＳ）、取得要求送信モジュール１５０は、指定を受け付けた領域の画像を取得する指定領域画像取得要求を、カメラ２００に送信する（ステップＳ２０）。ステップＳ２０において、取得要求送信モジュール１５０は、指定を受け付けた領域のみの画像を取得する指定領域画像取得要求を送信する。
　取得要求受信モジュール２５０は、指定領域画像取得要求を受信する。画像送信モジュール２５１は、受信した指定領域画像取得要求に基づいて、ユーザＡが指定した領域の画像のデータを、指定領域画像データとしてユーザ端末１００に送信する（ステップＳ２１）。
　画像受信モジュール１５１は、指定領域画像データを受信する。表示モジュール１７１は、指定領域画像データに基づいて、指定した領域の画像を表示する（ステップＳ２２）。その後、ユーザ端末１００は、後述するステップＳ２３の処理を実行する。
　図９は、表示モジュール１７１が表示する指定領域画像の一例を示す図である。図９において、表示モジュール１７１は、図８において指定した領域３１０の指定領域画像４００を表示する。図９において、表示モジュール１７１は、画像４００を、上述した図８において表示した画像３００の縦横比と同様のサイズに拡大して表示する。
　なお、表示モジュール１７１は、指定領域画像４００のサイズを変更しているが、変更せずに表示してもよい。
　一方、ステップＳ１９において、入力受付モジュール１７０は、入力を受け付けていないと判断した場合（ステップＳ１９　ＮＯ）、入力受付モジュール１７０は、画像取得の終了指示の入力を受け付けたか否かを判断する（ステップＳ２３）。ステップＳ２３において、入力受付モジュール１７０は、例えば、ユーザＡからの終了指示に係る音声入力、終了指示に係るジェスチャー入力、表示部に表示する終了アイコンの操作入力等の入力を受け付けたか否かを判断する。
　ステップＳ２３において、入力受付モジュール１７０は、入力を受け付けていないと判断した場合（ステップＳ２３　ＮＯ）、上述したステップＳ１９の処理を実行する。
　一方、ステップＳ２３において、入力受付モジュール１７０は、入力を受け付けたと判断した場合（ステップＳ２３　ＹＥＳ）、画像受信モジュール１５１は、画像の取得を終了し、本処理を終了する。
　なお、上述した各処理は、ユーザ端末１００とカメラ２００とにより実行しているが、これらの構成に加え、外部コンピュータ等の図示していないその他の構成により実行してもよい。
　以上が、画像取得処理である。
　［通知処理］
　図６に基づいて、画像取得システム１が実行する通知処理について説明する。図６は、カメラ２００が実行する通知処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。
　画像送信モジュール２５１は、画像データをユーザ端末１００に送信しているか否かを判断する（ステップＳ３０）。ステップＳ３０において、画像送信モジュール２５１は、画像データ又は指定領域画像データをユーザ端末１００に送信しているか否かを判断する。ステップＳ３０において、画像送信モジュール２５１は、画像データを送信していないと判断した場合（ステップＳ３０　ＮＯ）、本処理を終了する。
　一方、ステップＳ３０において、画像送信モジュール２５１は、画像データを送信していると判断した場合（ステップＳ３０　ＹＥＳ）、アラート通知モジュール２７２は、所定時間が経過したか否かを判断する（ステップＳ３１）。ステップＳ３１において、所定時間とは、例えば、３０秒、１分、２分、５分等である。この所定時間は、適宜変更可能である。ステップＳ３１において、アラート通知モジュール２７２は、画像データの送信が開始されてから所定時間経過したか否か、前回本処理を実行してから所定時間が経過したか否かを判断する。
　ステップＳ３１において、アラート通知モジュール２７２は、経過していないと判断した場合（ステップＳ３１　ＮＯ）、上述したステップＳ３０の処理を実行する。
　一方、ステップＳ３１において、アラート通知モジュール２７２は、経過していると判断した場合（ステップＳ３１　ＹＥＳ）、アラート通知モジュール２７２は、アラートを通知する（ステップＳ３２）。ステップＳ３２において、アラート通知モジュール２７２は、アラートとして、音声、光、文字、画像等を通知する。
　ステップＳ３２において、例えば、アラート通知モジュール２７２は、スピーカ等から音声を出力することにより、人物Ｂに対してアラートを通知する。具体的には、アラート通知モジュール２７２は、「現在、撮像した画像をユーザＡに送信しています」と音声出力することにより、撮像する画像をユーザＡに送信中であることを人物Ｂに通知する。
　また、ステップＳ３２において、例えば、アラート通知モジュール２７２は、ライト等により、人物Ｂに対してアラートを通知する。具体的には、アラート通知モジュール２７２は、上述するアラートを、発光、点滅、光の色を変更等することにより、撮像する画像をユーザＡに送信中であることを人物Ｂに通知する。
　また、ステップＳ３２において、例えば、アラート通知モジュール２７２は、電光掲示板や液晶パネル等に文字を表示することにより、人物Ｂに対してアラートを通知する。具体的には、アラート通知モジュール２７２は、「現在、撮像した画像をユーザＡに送信しています」と文字を出力表示することにより、撮像する画像をユーザＡに送信中であることを人物Ｂに通知する。
　また、ステップＳ３２において、例えば、アラート通知モジュール２７２は、電光掲示板や液晶パネル等に画像を表示することにより、人物Ｂに対してアラートを通知する。具体的には、アラート通知モジュール２７２は、カメラ２００が現在ユーザ端末１００に画像送信中であることを示す画像を出力表示する。
　なお、アラート通知モジュール２７２は、上述した構成以外の構成により、アラートを通知してもよい。また、アラート通知モジュール２７２は、上述した構成を組合わせることにより、アラートを通知してもよい。
　画像送信モジュール２５１は、画像取得が終了したか否かを判断する（ステップＳ３３）。ステップＳ３３において、画像送信モジュール２５１は、画像受信モジュール１５１が画像の取得を終了したか否かに基づいて判断する。なお、画像送信モジュール２５１は、その他の構成により画像取得が終了したか否かを判断してもよい。
　ステップＳ３３において、画像送信モジュール２５１は、終了していないと判断した場合（ステップＳ３３　ＮＯ）、上述したステップＳ３０の処理を実行する。一方、ステップＳ３３において、画像送信モジュール２５１は、終了したと判断した場合（ステップＳ３３　ＹＥＳ）、本処理を終了する。
　なお、上述した各処理は、カメラ２００が実行しているが、図示していない外部コンピュータやユーザ端末１００が実行する構成であってもよいし、ユーザ端末１００、カメラ２００、図示していない外部コンピュータのいずれか又は複数の組合わせにより実行する構成であってもよい。
　以上が、通知処理である。
　［通知内容変更処理］
　図７に基づいて、画像取得システム１が実行する通知内容変更処理について説明する。図７は、カメラ２００が実行する通知内容変更処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。なお、本処理は、上述したステップＳ３２において通知するアラートの内容を変更する処理である。
　画像送信モジュール２５１は、指定領域画像データを送信しているか否かを判断する（ステップＳ４０）。ステップＳ４０において、画像送信モジュール２５１は、送信していないと判断した場合（ステップＳ４０　ＮＯ）、本処理を終了する。
　なお、ステップＳ４０の処理は、指定領域画像データではなく、通常の画像データが送信中であるか否かに基づいて実行してもよい。この場合、画像送信モジュール２５１は、画像データを送信しているか否かを判断すればよい。
　一方、ステップＳ４０において、画像送信モジュール２５１は、送信していると判断した場合（ステップＳ４０　ＹＥＳ）、解析モジュール２７４は、現在送信中の指定領域画像データを画像解析し、この画像解析結果に基づいて、指定領域画像データに含まれる物体を認識する（ステップＳ４１）。ステップＳ４１において、解析モジュール２７４は、指定領域画像データに含まれる物体の特徴量を抽出し、抽出した特徴量と、自身が記憶するデータベースや外部コンピュータが記憶するデータベース等に格納された物体の特徴量とを比較することにより、この指定領域画像データに含まれる物体を認識する。
　なお、ステップＳ４１において、解析モジュール２７４は、その他の構成により、指定領域画像データに含まれる物体を認識してもよい。
　アラート通知モジュール２７２は、認識した物体に基づいて、上述したステップＳ３２において通知するアラートの内容を変更する（ステップＳ４２）。
　ステップＳ４２において、一例として、解析モジュール２７４が認識した物体が人物Ｂである場合について説明する。
　ステップＳ４２において、例えば、アラート通知モジュール２７２は、上述したステップＳ３２における通知の内容を、「現在、人物Ｂを撮像する画像を、ユーザＡに送信しています」と変更する。アラート通知モジュール２７２は、この変更した通知の内容に基づいて、音声、光、文字、画像等のアラートを変更し、人物Ｂに通知する。
　なお、上述した各処理は、カメラ２００が実行しているが、図示していない外部コンピュータやユーザ端末１００が実行する構成であってもよいし、ユーザ端末１００、カメラ２００、図示していない外部コンピュータのいずれか又は複数の組合わせにより実行する構成であってもよい。
　また、通知内容変更処理は、一度アラート内容を変更した場合、指定領域画像データが変更された場合において、再度実行すればよい。すなわち、認識した物体に変化が生じた場合に、実行すればよい。
　以上が、通知内容変更処理である。
　上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭなど）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
　以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
　１　画像取得システム、１００　ユーザ端末、２００　カメラ

Claims (6)

  1. 　カメラが撮像する画像の取得要求を通知する取得要求通知手段と、
    　前記通知した取得要求に対する許諾を受け付ける許諾受付手段と、
    　前記許諾を受け付けた場合又は一定時間前記許諾を受け付けなかった場合、アラートを通知するアラート通知手段と、
    　前記アラートを通知した後、前記画像を取得する画像取得手段と、
    　を備えることを特徴とする画像取得システム。
  2. 　前記取得する画像の領域を指定する指定手段と、
    　を備え、
    　前記画像取得手段は、前記指定した領域の画像を取得する、
    　ことを特徴とする請求項１に記載の画像取得システム。
  3. 　前記画像を取得するとき、所定時間間隔で音声を通知する音声通知手段と、
    　を備えることを特徴とする請求項１に記載の画像取得システム。
  4. 　前記取得した画像を画像解析する画像解析手段と、
    　を備え、
    　前記音声通知手段は、前記画像解析の結果に基づいて、前記通知する音声の内容を変更する、
    　ことを特徴とする請求項３に記載の画像取得システム。
  5. 　カメラが撮像する画像の取得要求を通知するステップと、
    　前記通知した取得要求に対する許諾を受け付けるステップと、
    　前記許諾を受け付けた場合又は一定時間前記許諾を受け付けなかった場合、アラートを通知するステップと、
    　前記アラートを通知した後、前記画像を取得するステップと、
    　を備えることを特徴とする画像取得方法。
  6. 　画像取得システムに、
    　カメラが撮像する画像の取得要求を通知するステップ、
    　前記通知した取得要求に対する許諾を受け付けるステップ、
    　前記許諾を受け付けた場合又は一定時間前記許諾を受け付けなかった場合、アラートを通知するステップ、
    　前記アラートを通知した後、前記画像を取得するステップ、
    　を実行させるためのプログラム。
PCT/JP2016/072025 2016-07-27 2016-07-27 画像取得システム、画像取得方法及びプログラム WO2018020611A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018530259A JP6448866B2 (ja) 2016-07-27 2016-07-27 画像取得システム、画像取得方法及びプログラム
PCT/JP2016/072025 WO2018020611A1 (ja) 2016-07-27 2016-07-27 画像取得システム、画像取得方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/072025 WO2018020611A1 (ja) 2016-07-27 2016-07-27 画像取得システム、画像取得方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2018020611A1 true WO2018020611A1 (ja) 2018-02-01

Family

ID=61015852

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/072025 WO2018020611A1 (ja) 2016-07-27 2016-07-27 画像取得システム、画像取得方法及びプログラム

Country Status (2)

Country Link
JP (1) JP6448866B2 (ja)
WO (1) WO2018020611A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2578424A (en) * 2018-09-27 2020-05-13 Muir Ip Ltd Configurable escape room system having one or more elements which are altered based upon user consent

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004260631A (ja) * 2003-02-26 2004-09-16 Sony Ericsson Mobilecommunications Japan Inc 携帯端末装置
JP2005039510A (ja) * 2003-07-14 2005-02-10 Sony Corp 撮像システムおよび撮像方法
JP2008067008A (ja) * 2006-09-06 2008-03-21 Sharp Corp 撮影装置、撮影方法、撮影プログラムおよび記録媒体
JP2011170373A (ja) * 2011-04-11 2011-09-01 Fujifilm Corp 撮影装置
JP2013021409A (ja) * 2011-07-07 2013-01-31 Olympus Imaging Corp 撮像装置、撮像方法およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001103462A (ja) * 1999-09-30 2001-04-13 Matsushita Electric Works Ltd 映像監視システム
JP2001145097A (ja) * 1999-11-16 2001-05-25 Matsushita Electric Ind Co Ltd 介護用カメラ装置
JP2005057416A (ja) * 2003-08-01 2005-03-03 Matsushita Electric Ind Co Ltd 撮像装置及び撮像方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004260631A (ja) * 2003-02-26 2004-09-16 Sony Ericsson Mobilecommunications Japan Inc 携帯端末装置
JP2005039510A (ja) * 2003-07-14 2005-02-10 Sony Corp 撮像システムおよび撮像方法
JP2008067008A (ja) * 2006-09-06 2008-03-21 Sharp Corp 撮影装置、撮影方法、撮影プログラムおよび記録媒体
JP2011170373A (ja) * 2011-04-11 2011-09-01 Fujifilm Corp 撮影装置
JP2013021409A (ja) * 2011-07-07 2013-01-31 Olympus Imaging Corp 撮像装置、撮像方法およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2578424A (en) * 2018-09-27 2020-05-13 Muir Ip Ltd Configurable escape room system having one or more elements which are altered based upon user consent
GB2578424B (en) * 2018-09-27 2022-12-21 Muir Ip Ltd Configurable escape room system having one or more elements which are altered based upon user consent

Also Published As

Publication number Publication date
JP6448866B2 (ja) 2019-01-09
JPWO2018020611A1 (ja) 2018-12-20

Similar Documents

Publication Publication Date Title
CN110209952B (zh) 信息推荐方法、装置、设备及存储介质
CN106663245B (zh) 社交提醒
CN107533360A (zh) 一种显示、处理的方法及相关装置
RU2635238C1 (ru) Способ, устройство и терминал для воспроизведения музыки на основе фотоальбома с фотографиями лиц
CN110932963B (zh) 多媒体资源分享方法、系统、装置、终端、服务器及介质
CN109151044B (zh) 信息推送方法、装置、电子设备及存储介质
CN110572716B (zh) 多媒体数据播放方法、装置及存储介质
WO2016115716A1 (zh) 一种语音播放方法和语音播放设备
CN110798327B (zh) 消息处理方法、设备及存储介质
CN108833262B (zh) 会话处理方法、装置、终端及存储介质
CN111343346B (zh) 基于人机对话的来电代接方法、装置、存储介质及设备
CN112236767A (zh) 用于通过输入单元向应用提供与图像相关的信息的电子装置和方法
CN108701455A (zh) 信息处理装置、信息处理方法和程序
JP2015126524A (ja) 遠隔会議プログラム、端末装置および遠隔会議方法
US20170034347A1 (en) Method and device for state notification and computer-readable storage medium
US20140176689A1 (en) Apparatus and method for assisting the visually impaired in object recognition
JP6448866B2 (ja) 画像取得システム、画像取得方法及びプログラム
CN109671425B (zh) 音频分类方法、装置及存储介质
CN112866470A (zh) 来电处理方法、装置、电子设备及介质
KR102051828B1 (ko) 영상 통화 방법 및 영상 통화 중개 장치
CN114827651A (zh) 信息处理方法、装置、电子设备及存储介质
CN105577653B (zh) 建立视频通话的方法及装置
CN115086759A (zh) 视频处理方法、装置、计算机设备及介质
CN114816600A (zh) 会话消息显示方法、装置、终端及存储介质
CN105262676A (zh) 一种即时通讯中的消息发送方法及装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018530259

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16910514

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 02.05.2019)

122 Ep: pct application non-entry in european phase

Ref document number: 16910514

Country of ref document: EP

Kind code of ref document: A1