WO2017038375A1 - 映像投影装置 - Google Patents

映像投影装置 Download PDF

Info

Publication number
WO2017038375A1
WO2017038375A1 PCT/JP2016/072996 JP2016072996W WO2017038375A1 WO 2017038375 A1 WO2017038375 A1 WO 2017038375A1 JP 2016072996 W JP2016072996 W JP 2016072996W WO 2017038375 A1 WO2017038375 A1 WO 2017038375A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
irradiation
unit
image
captured image
Prior art date
Application number
PCT/JP2016/072996
Other languages
English (en)
French (fr)
Inventor
梅津 克彦
誠悟 伊藤
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2017038375A1 publication Critical patent/WO2017038375A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor

Definitions

  • the present invention relates to a video projection device, and more particularly to a video projection device that projects a video image on a screen.
  • a video projection device for example, a projector
  • the image projection apparatus is variously devised so that the irradiation light irradiated on the screen does not hit the human body (for example, human eyes).
  • a human body for example, human eyes.
  • Patent Document 1 when an infrared sensor is used to search for a person included in an irradiation area (an area to which irradiation light hits) on a screen and a person is detected in the irradiation area, no irradiation light is output.
  • a projection-type image display device (video projection device) is described.
  • Patent Literature 1 when the projection-type image display device described in Patent Literature 1 detects a person in the irradiation area and does not output irradiation light, the user has experienced a failure in the projection-type image display device. There is a possibility of misunderstanding when light is not irradiated. Alternatively, since the user does not know the reason why the irradiation light is not irradiated, there is a possibility that the user cannot take an appropriate action (ie, deviate from the irradiation area). That is, the projection type image display apparatus has a problem that the intention of controlling the irradiation light is not easily transmitted to the user.
  • the present invention has been made in view of the above problems, and an object thereof is to provide a video projection device that can clearly warn the user that the user may be included in the irradiation region. There is to do.
  • an image projection apparatus includes an image acquisition unit that acquires a captured image including the irradiation area in the image projection apparatus including an irradiation unit that projects an image on the irradiation area.
  • a person search unit that searches for a person from the captured image acquired by the image acquisition unit; and a voice output unit that outputs a predetermined sound when the person search unit detects a person in the captured image; It is equipped with.
  • FIG. 1 is a block diagram illustrating a configuration of a video projection device according to a first embodiment. It is a figure which shows the screen seen from the irradiation direction of the irradiation light irradiated from the video projector which concerns on Embodiment 1, and is a figure which shows the example of arrangement
  • 6 is a flowchart showing a flow of irradiation control processing executed by the control unit of the video projection apparatus according to the first embodiment. It is the figure which looked at the screen shown in FIG. 2 from the top (or the bottom).
  • Embodiment 1 Hereinafter, an embodiment of the present invention will be described in detail with reference to FIGS.
  • FIG. 1 is a block diagram illustrating a configuration of the video projection device 1.
  • the video projection apparatus 1 includes a control unit 10, an imaging device 20, an irradiation device 30 (irradiation unit), and an audio output device 40 (audio output unit).
  • the control unit 10 controls each unit of the video projector 1 in an integrated manner. Further, the control unit 10 determines whether or not the user is included in the imaging region Ry, and executes an irradiation control process A (described later) for stopping or starting output of irradiation light by the irradiation device 30 according to the determination result. To do. As shown in FIG. 1, the control unit 10 includes an image acquisition unit 11, a person detection unit 12 (person search unit), an irradiation control unit 13, an audio output control unit 14, a timer 15, and an irradiation area estimation unit 16. Yes. In addition, operation
  • the imaging device 20 captures an imaging region Ry (see FIG. 2) that is a part or all of the screen SC, and transmits the acquired captured image data to the image acquisition unit 11.
  • the imaging region Ry includes an irradiation region Rx (see FIG. 2) described later.
  • the imaging device 20 may be a camera, for example.
  • the imaging device 20 is arranged so that the irradiation device 30 described later can image the same direction as the irradiation direction in which the irradiation light is irradiated.
  • the irradiation device 30 projects an image in the irradiation region Rx on the screen SC by irradiating the irradiation light toward the screen SC.
  • the irradiation device 30 may be a projector, for example. Note that the irradiation device 30 may project an image other than the screen SC.
  • the voice output device 40 outputs a warning voice (predetermined voice) for notifying the user that there is a possibility that the irradiation light will hit.
  • the audio output device 40 may be a speaker, for example.
  • voice messages "Please move (outside of the screen SC)" "(Because there is a possibility that the irradiation light hits the person in front of the screen SC", projection cannot be started) etc.
  • alert sounds are included.
  • the voice output device 40 may output a predetermined specific voice (for example, a voice set by the user) instead of the warning voice. That is, the sound output from the sound output device 40 when there is a possibility that the user will be exposed to the light is not particularly limited as long as the meaning of the sound can be understood by the user.
  • control unit 10 may use a means other than the warning sound (for example, lighting of the warning lamp) to change the user. You may be warned.
  • FIG. 2 is a diagram illustrating the screen SC viewed from the irradiation direction of the irradiation light, and is a diagram illustrating an arrangement example of the irradiation region Rx and the imaging region Ry in the screen SC.
  • the irradiation region Rx is included in the imaging region Ry. Note that the shapes of the irradiation region Rx and the imaging region Ry are not particularly limited.
  • the user is usually located in the vicinity of the irradiation region Rx where the image is displayed.
  • the user is included in the imaging region Ry, but is not included in the irradiation region Rx.
  • the user may or may not be included in both the irradiation region Rx and the imaging region Ry.
  • FIG. 3 is a flowchart showing the flow of the irradiation control process A.
  • the image acquisition unit 11 of the control unit 10 performs an irradiation request (for example, an operation of pressing a button provided on the remote control of the video projection device 1 or a user's voice.
  • an irradiation request for example, an operation of pressing a button provided on the remote control of the video projection device 1 or a user's voice.
  • Instruction is received (S10).
  • the image acquisition unit 11 that has received the irradiation request activates the imaging device 20 (S20).
  • the image acquisition unit 11 causes the activated imaging device 20 to photograph the imaging region Ry (see FIG. 2).
  • the position of the irradiation region Rx is estimated by the irradiation region estimation unit 16.
  • the irradiation region estimation unit 16 uses the information on the distance d (see FIG. 4) from the imaging device 20 to the screen SC, the information on the angle of view of the imaging device 20, and the like to determine the position of the irradiation region Rx on the screen SC. May be estimated.
  • the image acquisition unit 11 acquires a captured image captured using the imaging device 20 (S30). Thereafter, the image acquisition unit 11 acquires a captured image every predetermined time, and outputs the acquired captured image to the person detection unit 12.
  • the person detection unit 12 searches for a person (user) from the captured image input from the image acquisition unit 11 (S40).
  • the person detection unit 12 can also detect a person by the following method. Specifically, the person detection unit 12 outputs infrared rays and sound waves (ultrasonic waves) toward the screen SC using the irradiation device 30, the audio output device 40, or a device (not shown), and the infrared rays and sound waves (ultrasonic waves). ) Is reflected by the sensor. Then, the person detection unit 12 (i) includes an object that is included in the photographed image and (ii) is located on the near side of the screen SC (that is, a position closer to the video projector 1 than the screen SC). , It may be detected as a person. Alternatively, the person detection unit 12 may search for a person by analyzing the heat distribution around the screen SC.
  • the irradiation control unit 13 and the audio output control unit 14 determine whether or not the person detection unit 12 has detected a person in the captured image (S50).
  • the audio output control unit 14 gives a warning to the person by voice (S60).
  • the sound output control unit 14 uses the sound output device 40 to output a warning sound for notifying the user that there is a possibility that the irradiation light may be applied.
  • the warning sound includes not only a word or a message but also a simple alert sound.
  • the timer 15 starts measuring time (S70). Thereafter, the person detection unit 12 determines whether or not a predetermined set time (for example, several seconds to several tens of seconds) has elapsed since the sound output control unit 14 issued a warning (S80). Until the set time elapses (No in S80), the person detection unit 12 repeatedly executes the determination in S80. Then, after the set time has elapsed (Yes in S80), the irradiation control process A returns to S30.
  • a predetermined set time for example, several seconds to several tens of seconds
  • the irradiation control unit 13 uses the irradiation device 30 to irradiate the irradiation region Rx in the screen SC with irradiation light. (S90). Further, the timer 15 starts measuring time from the time when the irradiation device 30 starts to be irradiated with irradiation light (S100).
  • the person detection unit 12 inquires of the timer 15 whether or not a predetermined set time (for example, several seconds to several tens of seconds) has elapsed since the irradiation light started to be emitted (S110). Until the set time elapses (No in S110), the person detection unit 12 repeatedly executes the process of S110. Then, after the set time has elapsed (Yes in S110), the person detection unit 12 searches for a person again in the captured image (S120).
  • a predetermined set time for example, several seconds to several tens of seconds
  • the irradiation control unit 13 and the audio output control unit 14 determine whether or not the person detection unit 12 has detected a person in the captured image (S130). When the person detection unit 12 does not detect a person in the captured image (No in S130), the irradiation control unit 13 continues irradiation of irradiation light (S140).
  • the voice output control unit 14 gives a warning to the person by voice (S150). Thereafter, the irradiation controller 13 stops the irradiation of irradiation light (S160). This is the end of the irradiation control process A. Alternatively, after S150, the irradiation control process A may return to S30.
  • the configuration in which the person detection unit 12 (see FIG. 1) searches for a person from the entire captured image obtained by capturing the imaging region Ry has been described.
  • the person detection unit 12 searches for a person from a part of a captured image obtained by imaging the imaging region Ry, more specifically, from the part corresponding to the irradiation region Rx included in the imaging region Ry.
  • the structure to perform is demonstrated. Therefore, in the present embodiment, the irradiation area estimation unit 16 (see FIG. 1) of the video projection device 1 estimates the position of the irradiation area Rx included in the imaging area Ry.
  • the person detection unit 12 searches for a person from a part of the captured image corresponding to the irradiation region Rx estimated by the irradiation region estimation unit 16.
  • the irradiation region Rx and the imaging region Ry have similar shapes.
  • FIG. 4 is a view of the screen SC shown in FIG. 2 as viewed from above (or below).
  • the irradiation area estimation unit 16 measures the distance d (see FIG. 4) from the imaging device 20 and the irradiation device 30 to the screen SC using the imaging device 20 or a known distance measuring device.
  • the irradiation region estimation unit 16 causes the irradiation device 30 to emit visible light, and reflects the visible light on the screen SC.
  • the distance d may be measured based on the time when the optical sensor of the imaging device 20 detects the reflected light from the screen SC.
  • the irradiation area estimation unit 16 uses an existing distance measuring device to reflect infrared rays or sound waves (ultrasound) on the screen SC, and a sensor of the distance measuring device detects the reflected infrared rays or sound waves (ultrasonic waves). The distance d may be measured based on the measured time.
  • the irradiation area estimation unit 16 uses the distance d, the angle ⁇ 11 shown in FIG. 4, and the angle ⁇ 21 shown in FIG. 4, based on the following calculation formula, the length W1 and the length shown in FIG. W2 is calculated.
  • W1 d ⁇ tan ⁇ 11
  • W2 d ⁇ tan ⁇ 21
  • the angle ⁇ 21 is a half of the angle of view of the imaging device 20 in the horizontal direction of the screen SC (the direction of the length W1 and the length W2)
  • the angle ⁇ 11 is the image of the irradiation device 30 in the horizontal direction of the screen SC. Half the corner.
  • the length W1 is half of the width of the irradiation region Rx (the length of the horizontal side of the irradiation region Rx shown in FIG. 2), and the length W2 is the width of the imaging region Ry (the imaging region Ry shown in FIG. 2).
  • the length of the horizontal side Note that the angles ⁇ 11 and ⁇ 21 are both known because they are defined by the angles of view of the imaging device 20 and the irradiation device 30.
  • the irradiation region estimation unit 16 uses the distance d, the angle ⁇ 12 (not shown), and the angle ⁇ 22 (not shown), based on the following calculation formula, the length H1 and the length shown in FIG.
  • the height H2 is calculated.
  • H1 d ⁇ tan ⁇ 12
  • H2 d ⁇ tan ⁇ 22
  • the angle ⁇ 12 is half of the angle of view of the imaging device 20 in the vertical direction of the screen SC (the direction of the length H1 and the length H2 shown in FIG. 2)
  • the angle ⁇ 22 is the irradiation in the vertical direction of the screen SC. This is half the angle of view of the device 30.
  • the length H1 is half of the height of the irradiation region Rx (the length of the vertical side of the irradiation region Rx in FIG. 2), and the length H2 is the height of the imaging region Ry (the imaging region Ry in FIG. 2).
  • the angle ⁇ 11 and the angle ⁇ 21, the angle ⁇ 21 and the angle ⁇ 22 are also defined by the angles of view of the imaging device 20 and the irradiation device 30, and thus are both known.
  • the irradiation region estimation unit 16 calculates the lengths W1 and W2 and the lengths H1 and H2. As shown in FIG. 2, when the center of the irradiation region Rx and the center of the imaging region Ry match, the irradiation region estimation unit 16 multiplies the length of the horizontal side of the imaging region Ry by (W1 / W2) times.
  • the irradiation area Rx can be estimated by reducing and reducing the length of the vertical side of the imaging area Ry by (H1 / H2) times.
  • the irradiation region estimation unit 16 performs irradiation using the method described above before or after the image acquisition unit 11 acquires a captured image (S30 in FIG. 3).
  • the region Rx may be estimated.
  • the irradiation region estimation unit 16 notifies the person detection unit 12 of information on the estimated irradiation region Rx.
  • the person detection unit 12 searches for the person in the irradiation region Rx estimated by the irradiation region estimation unit 16 instead of searching for the person in the imaging region Ry (S40 in FIG. 3).
  • the method has been described in which the irradiation region estimation unit 16 estimates the irradiation region Rx included in the imaging region Ry, and the person detection unit 12 searches for the person in the estimated irradiation region Rx.
  • the imaging device 20 zooms in until the imaging area Ry and the irradiation area Rx become the same size. Thereby, the irradiation region Rx is enlarged in the captured image obtained by the imaging device 20 imaging the imaging region Ry.
  • the enlarged irradiation region Rx ′ coincides with the imaging region Ry. Therefore, the person detection unit 12 can search for a person in the enlarged irradiation region Rx ′ that matches the imaging region Ry.
  • FIG. 5A shows the relationship between the irradiation region Rx and the imaging region Ry that are not enlarged.
  • FIG. 5B shows the relationship between the enlarged irradiation region Rx ′ and the imaging region Ry.
  • FIG. 6 is a diagram for explaining the optical zoom function of the imaging device 20.
  • FIGS. 5A and 5B show the screen SC viewed from the irradiation direction of the irradiation light (direction perpendicular to the screen SC), and FIG. 6 shows the screen SC from the side of the screen SC.
  • the screen SC viewed in parallel is shown.
  • the irradiation region estimation unit 16 estimates the position of the irradiation region Rx in the imaging region Ry.
  • the non-enlarged irradiation region Rx is included in the imaging region Ry.
  • the control unit 10 uses the optical zoom-in function of the imaging device 20 to enlarge the irradiation region Rx, thereby matching the enlarged irradiation region Rx ′ with the imaging region Ry. .
  • the control unit 10 can change the size of the irradiation region Rx in the captured image by adjusting the focal length of the imaging device 20 (optical zoom function). Therefore, the control unit 10 uses the optical zoom function of the imaging device 20 to enlarge the irradiation region Rx.
  • the control unit 10 uses the second embodiment to match the enlarged irradiation region Rx ′ with the imaging region Ry.
  • the relationship between the length W1 and the length W2 described above and the relationship between the length H1 and the length H2 can be used.
  • control unit 10 multiplies the width of the irradiation region Rx (the length in the horizontal direction of the irradiation region Rx in FIG. 2) by (W2 / W1) to multiply the irradiation region Rx ′ in the horizontal direction. Is matched with the horizontal range of the imaging region Ry. Further, by multiplying the height of the irradiation region Rx (the length in the vertical direction of the irradiation region Rx in FIG. 2) by (H2 / H1), the range in the vertical direction of the enlarged irradiation region Rx ′ is changed to that of the imaging region Ry. Match the vertical range.
  • control unit 10 enlarges a part of the captured image corresponding to the irradiation region Rx by image processing instead of using the optical zoom function of the imaging device 20 to expand the irradiation region Rx. At the same time, a part other than the above part in the captured image may be erased (trimming or electronic zoom).
  • Modification 2 In another modification of the present embodiment, instead of the control unit 10 expanding the irradiation region Rx in the captured image, the irradiation device 30 actually expands the irradiation region Rx, thereby expanding the irradiation region Rx ′.
  • the imaging region Ry may be matched.
  • the audio output control unit 14 issues a warning to a person included in the imaging region Ry or the irradiation regions Rx, Rx ′, the name of the person is called.
  • the person included in the imaging region Ry or the irradiation regions Rx, Rx ′ is called his / her name, it is easy to notice that he / she is receiving a warning.
  • FIG. 7 is a block diagram showing a configuration of the video projection device 2.
  • the video projection apparatus 2 (see FIG. 7) according to the fourth embodiment includes an irradiation area estimation unit 16 as compared with the video projection apparatus 1 (see FIG. 1) according to the first to third embodiments.
  • a person determination unit 17 (person identification unit) (see FIG. 7) is further provided. The process executed by the person determination unit 17 will be described below in the explanation of the irradiation control process B.
  • FIG. 8 is a flowchart showing the flow of the irradiation control process B.
  • the processes from S10 to S50 of the irradiation control process B are the same as S10 to S50 of the irradiation control process A (see FIG. 3) described in the first embodiment.
  • the person determination unit 17 identifies the person (for example, face authentication). Then, it is determined whether information relating to the identified person (for example, information associated with a face-name) is registered in a storage unit (not shown) (S210).
  • the audio output control unit 14 outputs only the warning audio (S220).
  • the person determination unit 17 causes the voice output control unit 14 to output the name of the person.
  • the sound output control unit 14 calls the name of the person determined by the person determination unit 17 and outputs a warning sound (S230).
  • the timer 15 starts measuring time (S240). Thereafter, the person detection unit 12 inquires of the timer 15 whether or not a predetermined set time (for example, several seconds to several tens of seconds) has elapsed since the voice output control unit 14 issued a warning (S80). Until the set time elapses (No in S80), the person detection unit 12 repeatedly executes the process of S80. Then, after the set time has elapsed (Yes in S80), the irradiation control process B returns to S50.
  • a predetermined set time for example, several seconds to several tens of seconds
  • S50 of the irradiation control process B when the person detection unit 12 does not detect a person in the captured image (No in S50), the irradiation control process B proceeds to S90. Since S90 to S150 of the irradiation control process B are the same as S90 to S150 of the irradiation control process A, description thereof is omitted in this embodiment.
  • the voice output control unit 14 outputs a voice message, thereby causing the person (user) included in the captured image to move in the direction desired to move (that is, the irradiation region Rx, Rx ′ or The direction away from the imaging region Ry). Since the user is given specific instructions regarding which direction to move, the user can move in an appropriate direction.
  • the irradiation control process C the operation of the audio output control unit 14 in the present embodiment will be described in more detail.
  • FIG. 9 is a flowchart showing the flow of the irradiation control process C.
  • the processes from S10 to S50 of the irradiation control process C are the same as S10 to S50 of the irradiation control process A (see FIG. 3) described in the first embodiment.
  • the audio output control unit 14 determines whether the person is located in the right half of the captured image. Is determined (S310).
  • the audio output control unit 14 A warning sound saying “I want to move in the left direction (right for the user side)” is output (S320).
  • the audio output control unit 14 "desirs to move in the right (left for the user side)" A warning sound to that effect is output (S330).
  • the timer 15 starts measuring time (S340). Thereafter, the person detection unit 12 inquires of the timer 15 whether or not a predetermined set time (for example, several seconds to several tens of seconds) has elapsed since the voice output control unit 14 issued a warning (S80). Until the set time elapses (No in S80), the person detection unit 12 repeatedly executes the process of S80. Then, after the set time has elapsed (Yes in S80), the irradiation control process C returns to S50.
  • a predetermined set time for example, several seconds to several tens of seconds
  • S50 of the irradiation control process C if the person detection unit 12 does not detect a person in the captured image (No in S50), the irradiation control process C proceeds to S90. Since S90 to S150 of the irradiation control process C are the same as S90 to S150 of the irradiation control process A, description thereof is omitted in this embodiment.
  • the configuration of the present embodiment may be combined with the configuration of the fourth embodiment.
  • the audio output control unit 14 calls the person's name and gives the person a “left (right for the user) direction”. “I want you to move” or “I want you to move in the right (left for the user)” voice request.
  • the configuration in which the image acquisition unit 11 acquires a captured image before the irradiation device 30 starts irradiation (see FIGS. 3, 8, and 9).
  • a configuration in which the image acquisition unit 11 acquires a captured image after the irradiation device 30 starts irradiating the screen SC will be described.
  • the captured image acquired by the image acquisition unit 11 includes (2) a person in the video projected on the screen SC in addition to (1) a person included in the imaging region Ry. Therefore, the person detection unit 12 of the present embodiment detects only the person (1) above from the captured image acquired by the image acquisition unit 11 and does not detect the person (2) above. Specifically, as described below, the person detection unit 12 extracts only the person (1) from the captured image.
  • FIG. 10 is a diagram illustrating a method in which the person detection unit 12 detects the person (1) from the captured image.
  • the person detection unit 12 acquires irradiation image data projected by the irradiation device 30 onto the screen SC (S400).
  • the person detection unit 12 acquires irradiation image data from the irradiation control unit 13. A person is shown in the projected image shown in FIG.
  • the person detection unit 12 acquires the captured image acquired by the image acquisition unit 11.
  • the person detection unit 12 extracts a part of the captured image including only the irradiation region Rx.
  • the control unit 10 matches the irradiation region Rx and the imaging region Ry by the method described in the third embodiment.
  • the person detection part 12 can acquire the picked-up image containing only the irradiated image which the irradiation device 30 irradiated to the screen SC.
  • the person detection unit 12 detects a person in the captured image.
  • the captured image acquired by the person detection unit 12 includes the person in the irradiation video and the user in front of the screen SC (S410A).
  • the person detection unit 12 obtains a difference image by calculating the difference between the captured image and the irradiated image (S420A). As shown in FIG. 10, in the difference image, the person shown in the irradiation image is removed, and only the person in front of the screen SC is included. Therefore, the person detection unit 12 can detect the user's face from the difference image.
  • the captured image acquired by the person detection unit 12 includes only the person in the irradiation video (S410B).
  • the person detection unit 12 obtains a difference image by calculating the difference between the captured image and the irradiated image (S420B). As shown in FIG. 10, in the difference image, the person shown in the irradiated image is removed, and no other person is included. Therefore, the person detection unit 12 does not detect the face of the person in the irradiation video from the difference image.
  • the person detecting unit 12 detects only the person in front of the screen SC. Can do.
  • face authentication has been described as an example of a person detection method.
  • the person detection method is not limited to face authentication as long as it can identify a person.
  • the person determination unit 17 identifies a person detected in the captured image by the person detection unit 12, and the audio output control unit 14 and the audio output device 40 store the person identified by the person determination unit 17 in a storage unit (not shown). Different warning sounds may be output depending on whether or not the person is registered in advance. Note that the configuration of this modification can also be applied to the fourth and fifth embodiments.
  • control unit 10 of the video projection device 1 and the control unit 50 of the video projection device 2 may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like, or may be a CPU (Central Processing Unit). ) May be implemented by software.
  • the video projection device 1 and the video projection device 2 include a CPU that executes instructions of a program that is software that realizes each function, and a ROM in which the program and various data are recorded so as to be readable by a computer (or CPU). (Read Only Memory) or a storage device (these are referred to as “recording media”), a RAM (Random Access Memory) for expanding the program, and the like. And the objective of this invention is achieved when a computer (or CPU) reads the said program from the said recording medium and runs it.
  • a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used.
  • the program may be supplied to the computer via an arbitrary transmission medium (such as a communication network or a broadcast wave) that can transmit the program.
  • a transmission medium such as a communication network or a broadcast wave
  • the present invention can also be realized in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.
  • the video projection device (control unit 10) acquires a captured image including the irradiation region in the video projection device including the irradiation unit (irradiation device 30) that projects an image on the irradiation region (Ry).
  • an audio output unit audio output device 40 that outputs predetermined audio is provided.
  • a predetermined sound is output. Therefore, the person (user) who has heard the predetermined voice can know that he / she may be located in a place (irradiation area) where he / she hits the irradiation light. Note that before the captured image including the irradiation area is acquired, the video may or may not be projected onto the irradiation area.
  • the person search unit may search for a person between the irradiation unit and the irradiation area from the captured image.
  • the person who is irradiated with the irradiation light from the irradiation unit is searched. Therefore, useless predetermined sound is not emitted to a person who is included in the captured image but is not between the irradiation unit and the irradiation region, that is, a person who does not receive the irradiation light.
  • the video projection apparatus further includes an irradiation area estimation unit that estimates the position of the irradiation area in the aspect 1, and the image acquisition unit is configured to estimate the irradiation area estimated by the irradiation area estimation unit. You may acquire the picked-up image which image
  • the audio output unit may output the predetermined audio including an audio message.
  • the user can take an appropriate action according to the content of the voice message.
  • the voice message can include a description of the intention of the predetermined voice and a description of the response required from the user.
  • the video projection device further includes a person identification unit (person determination unit 17) that identifies the person detected by the person search unit in the captured image in any of the above aspects 1 to 4.
  • the sound output unit may output the predetermined sound related to the person identified by the person identifying unit.
  • the video projection device further includes a person identification unit that identifies the person detected by the person search unit in the captured image in any one of the aspects 1 to 4, and the audio output unit includes: Depending on whether or not the person identified by the person identifying unit is a person registered in advance, different predetermined voices may be output.
  • a predetermined sound including the person's name is output, while when other persons are detected, an alarm sound is output. It is possible to output a predetermined sound including only the sound.
  • the person search unit may search for a person excluding the person in the video from the captured image.
  • the person in the video Predetermined audio can be output only when a person other than is detected.
  • the video projection apparatus may be realized by a computer.
  • the video projection apparatus is operated on each computer by causing the computer to operate as each unit (software element) included in the video projection apparatus.
  • the control program for the video projection apparatus realized and the computer-readable recording medium on which the control program is recorded also fall within the scope of the present invention.

Abstract

ユーザが照射領域内に含まれる可能性があることを、そのユーザに明確に警告する。画像取得部(11)は、スクリーン(SC)上の撮像領域を撮影した撮影画像を取得し、人物検出部(12)は、撮影画像に含まれる人物を探索し、音声出力制御部(14)は、人物が検出された場合に、音声出力デバイス(40)から警告音声を出力する。

Description

映像投影装置
 本発明は、映像投影装置に関し、詳細には、スクリーン上に映像を投影する映像投影装置に関する。
 従来、スクリーン(投影面)に照射光を照射することによって、該スクリーン上に映像を投影する映像投影装置(例えば、プロジェクタ)が知られている。映像投影装置は、スクリーンに照射される照射光が人体(例えば、人の目)に当たらないよう、様々に工夫されている。例えば、特許文献1には、赤外線センサを用いて、スクリーン上の照射領域(照射光が当たる領域)内に含まれる人物を探索し、照射領域内で人物を検出した場合、照射光を出力しない投射型画像表示装置(映像投影装置)が記載されている。
日本特許4504802号公報(2010年4月30日登録)
 しかしながら、特許文献1に記載の上記投射型画像表示装置が、照射領域内で人物を検知したために、照射光を出力しない場合、ユーザは、上記投射型画像表示装置に故障が発生したために、照射光が照射されないと勘違いする可能性がある。あるいは、ユーザは、照射光が照射されない理由が分からないために、適切な対応(すなわち、照射領域から外れること)をすることができない可能性もある。すなわち、上記投射型画像表示装置には、照射光の制御の意図がユーザに伝わり難いという問題がある。
 本発明は、上記の課題に鑑みてなされたものであり、その目的は、ユーザが照射領域内に含まれる可能性があることを、そのユーザに明確に警告することができる映像投影装置を提供することにある。
 上記の課題を解決するために、本発明の一態様に係る映像投影装置は、照射領域に映像を投影する照射部を有する映像投影装置において、上記照射領域を含む撮影画像を取得する画像取得部と、上記画像取得部が取得した上記撮影画像中から、人物を探索する人物探索部と、上記人物探索部が上記撮影画像中の人物を検出した場合、所定の音声を出力する音声出力部と、を備えている。
 本発明の一態様によれば、ユーザが照射領域内に含まれる可能性があることを、そのユーザに明確に警告することができる。
実施形態1に係る映像投影装置の構成を示すブロック図である。 実施形態1に係る映像投影装置から照射される照射光の照射方向から見たスクリーンを示す図であり、スクリーン内の撮像領域および照射領域の配置例を示す図である。 実施形態1に係る映像投影装置の制御部によって実行される照射制御処理の流れを示すフローチャートである。 図2に示すスクリーンを上(または下)から見た図である。 実施形態3に係る照射制御部が制御する照射領域と、撮像領域との関係を示す図であり、(a)は、拡大されていない照射領域と撮像領域との関係を示し、(b)は、照射制御部によって拡大された照射領域と撮像領域との関係を示す。 実施形態3に係る映像投影装置が備えた撮像デバイスの光学ズーム機能を説明する図である。 実施形態4に係る映像投影装置の構成を示すブロック図である。 実施形態4に係る照射制御処理の流れを示すフローチャートである。 実施形態5に係る照射制御処理の流れを示すフローチャートである。 実施形態6において、映像投影装置の人物検出部が人物を検出する方法を説明する図である。
 〔実施形態1〕
 以下、本発明の実施の形態について、図1~図3を用いて、詳細に説明する。
 (映像投影装置1)
 図1を用いて、本実施形態に係る映像投影装置1の構成を説明する。図1は、映像投影装置1の構成を示すブロック図である。図1に示すように、映像投影装置1は、制御部10、撮像デバイス20、照射デバイス30(照射部)、および音声出力デバイス40(音声出力部)を備えている。
 制御部10は、映像投影装置1の各部を統合的に制御する。また、制御部10は、ユーザが撮像領域Ryに含まれるか否かを判定し、判定結果に応じて、照射デバイス30による照射光の出力を停止または開始させる照射制御処理A(後述)を実行する。図1に示すように、制御部10は、画像取得部11、人物検出部12(人物探索部)、照射制御部13、音声出力制御部14、タイマ15、および照射領域推定部16を含んでいる。なお、制御部10の各部の動作については、後述する照射制御処理Aの説明中で説明する。
 撮像デバイス20は、スクリーンSCの一部または全部である撮像領域Ry(図2参照)を撮影し、取得した撮影画像データを、画像取得部11に送信する。撮像領域Ryは、後述する照射領域Rx(図2参照)を含んでいる。撮像デバイス20は、例えば、カメラであってよい。撮像デバイス20は、後述する照射デバイス30が照射光を照射する照射方向と同じ方向を撮像できるように配置されている。
 照射デバイス30は、スクリーンSCに向けて照射光を照射することによって、スクリーンSC上の照射領域Rx内に映像を投影する。照射デバイス30は、例えば、プロジェクタであってよい。なお、照射デバイス30は、スクリーンSC以外に映像を投影してもよい。
 音声出力デバイス40は、ユーザに照射光が当たる可能性があることを通知するための警告音声(所定の音声)を出力する。音声出力デバイス40は、例えば、スピーカであってよい。警告音声には、音声メッセージ(「(スクリーンSCの外側に)移動してください」「(スクリーンSCの手前にいる方に照射光が当たる可能性があるので)投影開始できません」等)の他に、アラート音も含まれる。あるいは、音声出力デバイス40は、警告音声の代わりに、予め定められた特定の音声(例えば、ユーザが設定した音声)を出力してもよい。すなわち、ユーザに照射光が当たる可能性がある場合に音声出力デバイス40が出力する音声は、ユーザにその音声の意味が通じるものであれば、特に限定されない。
 なお、音声出力デバイス40が警告音声を出力する代わりに、または、音声出力デバイス40が警告音声を出力するとともに、制御部10は、警告音声以外の手段(例えば、警告ランプの点灯)によって、ユーザに警告してもよい。
 (照射領域Rxおよび撮像領域Ryの例)
 図2は、照射光の照射方向から見たスクリーンSCを示す図であり、スクリーンSC内の照射領域Rxおよび撮像領域Ryの配置例を示す図である。図2に示すように、照射領域Rxは撮像領域Ryに含まれている。なお、照射領域Rxおよび撮像領域Ryの形状は、特に限定されない。
 図2に示すように、ユーザは、通常、映像が表示される照射領域Rxの近傍に位置していると考えられる。図2では、ユーザは、撮像領域Ryには含まれているが、照射領域Rxには含まれていない。しかしながら、ユーザは、照射領域Rxおよび撮像領域Ryの両方に含まれる場合もあるし、両方に含まれない場合もある。
 (照射制御処理A)
 図3を用いて、映像投影装置1が実行する照射制御処理Aの流れを説明する。図3は、照射制御処理Aの流れを示すフローチャートである。
 図3に示すように、照射制御処理Aでは、まず、制御部10の画像取得部11が、照射要求(例えば、映像投影装置1のリモコンに設けられたボタンを押す操作や、ユーザの音声による指示)を受信する(S10)。照射要求を受信した画像取得部11は、撮像デバイス20を起動させる(S20)。そして、画像取得部11は、起動した撮像デバイス20に、撮像領域Ry(図2参照)を撮影させる。ここで、照射領域Rxの位置は、照射領域推定部16によって推定される。例えば、照射領域推定部16は、撮像デバイス20からスクリーンSCまでの距離d(図4参照)の情報や、撮像デバイス20の画角の情報等を用いて、スクリーンSC上における照射領域Rxの位置を推定してよい。
 S20の後、画像取得部11は、撮像デバイス20を用いて撮影した撮影画像を取得する(S30)。以後、画像取得部11は、所定時間ごとに撮影画像を取得して、取得した撮影画像を人物検出部12に出力する。
 人物検出部12は、画像取得部11より入力される撮影画像中から、人物(ユーザ)を探索する(S40)。
 あるいは、S40において、人物検出部12は、以下の方法で、人物を検出することもできる。具体的には、人物検出部12は、照射デバイス30、音声出力デバイス40、または図示しないデバイスを用いて、赤外線や音波(超音波)をスクリーンSCに向けて出力し、赤外線や音波(超音波)の反射光をセンサで検出する。そして、人物検出部12は、(i)撮影画像中に含まれており、かつ(ii)スクリーンSCよりも手前側(すなわち、スクリーンSCよりも映像投影装置1に近い位置)に位置する物体を、人物として検出してよい。あるいは、人物検出部12は、スクリーンSCの周辺における熱分布を分析することによって、人物を探索してもよい。
 照射制御部13および音声出力制御部14は、人物検出部12が撮影画像中に人物を検出したか否かを判定する(S50)。人物検出部12が撮影画像中に人物を検出(発見)した場合(S50でYes)、音声出力制御部14は、その人物に対し、音声で警告を行う(S60)。具体的には、音声出力制御部14は、音声出力デバイス40を用いて、ユーザに照射光が当たる可能性があることを通知するための警告音声を出力させる。ここで、警告音声には、単語またはメッセージの他に、単なるアラート音も含まれる。
 S60の後、タイマ15は、時間の計測を開始する(S70)。その後、人物検出部12は、音声出力制御部14が警告をした時点から、所定の設定時間(例えば、数秒~十数秒)が経過したか否かを判定する(S80)。設定時間が経過するまで(S80でNo)、人物検出部12は、S80の判定を繰り返し実行する。そして、設定時間が経過した後(S80でYes)、照射制御処理AはS30に戻る。
 一方、人物検出部12が撮影画像中に人物を検出しなかった場合(S50でNo)、照射制御部13は、照射デバイス30を用いて、スクリーンSC内の照射領域Rxに照射光を照射させる(S90)。また、タイマ15は、照射デバイス30に照射光が照射され始めた時点から、時間の計測を開始する(S100)。
 その後、人物検出部12は、照射光が照射され始めた時点から、所定の設定時間(例えば、数秒~十数秒)が経過したか否かをタイマ15に問い合わせる(S110)。設定時間が経過するまで(S110でNo)、人物検出部12は、S110の処理を繰り返し実行する。そして、設定時間が経過した後(S110でYes)、人物検出部12は、再び、撮影画像中から人物を探索する(S120)。
 照射制御部13および音声出力制御部14は、人物検出部12が撮影画像中に人物を検出したか否かを判定する(S130)。人物検出部12が撮影画像中に人物を検出しなかった場合(S130でNo)、照射制御部13は、照射光の照射を継続させる(S140)。
 一方、人物検出部12が撮影画像中に人物を検出した場合(S130でYes)、音声出力制御部14は、その人物に対し、音声で警告を行う(S150)。その後、照射制御部13は、照射光の照射を停止させる(S160)。以上で、照射制御処理Aは終了する。あるいは、S150の後、照射制御処理Aは、S30に戻ってもよい。
 〔実施形態2〕
 本発明の他の実施形態について、図4に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
 前記実施形態1では、人物検出部12(図1参照)が、撮像領域Ryを撮影した撮影画像の全体から、人物を探索する構成を説明した。一方、本実施形態では、人物検出部12が、撮像領域Ryを撮像した撮影画像の一部、より詳細には、撮像領域Ryに含まれる照射領域Rxに対応する上記一部から、人物を探索する構成を説明する。そのために、本実施形態では、映像投影装置1の照射領域推定部16(図1参照)が、撮像領域Ryに含まれる照射領域Rxの位置を推定する。そして、人物検出部12は、照射領域推定部16が推定した照射領域Rxに対応する撮影画像の一部から、人物を探索する。なお、本実施形態では、照射領域Rxと撮像領域Ryとは、相似する形状であるとする。
 (照射領域Rxの推定方法)
 図2および図4を用いて、照射領域推定部16が、撮像領域Ryに含まれる照射領域Rxの位置を推定する方法を説明する。図4は、図2に示すスクリーンSCを上(または下)から見た図である。
 まず、照射領域推定部16は、撮像デバイス20または周知の測距デバイスを用いて、撮像デバイス20および照射デバイス30からスクリーンSCまでの距離d(図4参照)を測定する。例えば、照射領域推定部16は、照射デバイス30に可視光を出射させ、その可視光をスクリーンSCで反射させる。そして、撮像デバイス20の光センサが、スクリーンSCからの反射光を検出した時刻に基づいて、距離dを測定してもよい。あるいは、照射領域推定部16は、既存の測距デバイスを用いて、赤外線や音波(超音波)などをスクリーンSCで反射させ、反射した赤外線や音波(超音波)を測距デバイスのセンサが検出した時刻に基づいて、距離dを測定してもよい。
 次に、照射領域推定部16は、距離dと、図4に示す角度θ11と、図4に示す角度θ21とを用いて、以下の計算式に基づき、図4に示す長さW1および長さW2を計算する。
W1=d・tanθ11
W2=d・tanθ21
 ここで、角度θ21は、スクリーンSCの横方向(長さW1および長さW2の方向)における撮像デバイス20の画角の半分であり、角度θ11は、スクリーンSCの横方向における照射デバイス30の画角の半分である。また、長さW1は、照射領域Rxの幅(図2に示す照射領域Rxの横辺の長さ)の半分であり、長さW2は、撮像領域Ryの幅(図2に示す撮像領域Ryの横辺の長さ)の半分である。なお、角度θ11および角度θ21は、撮像デバイス20および照射デバイス30の画角によって規定されるので、どちらも既知である。
 また、照射領域推定部16は、距離dと、角度θ12(図示せず)と、角度θ22(図示せず)とを用いて、以下の計算式に基づき、図2に示す長さH1および長さH2を計算する。
H1=d・tanθ12
H2=d・tanθ22
 ここで、角度θ12は、スクリーンSCの縦方向(図2に示す長さH1および長さH2の方向)における撮像デバイス20の画角の半分であり、角度θ22は、スクリーンSCの縦方向における照射デバイス30の画角の半分である。また、長さH1は、照射領域Rxの高さ(図2における照射領域Rxの縦辺の長さ)の半分であり、長さH2は、撮像領域Ryの高さ(図2における撮像領域Ryの縦辺の長さ)の半分である。角度θ21および角度θ22も、角度θ11および角度θ21と同様に、撮像デバイス20および照射デバイス30の画角によって規定されるので、どちらも既知である。
 以上のように、照射領域推定部16は、長さW1、W2、および長さH1、H2を計算する。図2に示すように、照射領域Rxの中心と撮像領域Ryの中心とが一致している場合、照射領域推定部16は、撮像領域Ryの横辺の長さを(W1/W2)倍に縮小するとともに、撮像領域Ryの縦辺の長さを(H1/H2)倍に縮小することによって、照射領域Rxを推定することができる。
 前記実施形態1で説明した照射制御処理A(図3参照)において、照射領域推定部16は、画像取得部11が撮影画像を取得する(図3のS30)前または後に、上述した方法で照射領域Rxを推定してよい。そして、照射領域推定部16は、推定した照射領域Rxの情報を人物検出部12に通知する。その後、人物検出部12は、撮像領域Ryの中から人物を探索する(図3のS40)代わりに、照射領域推定部16によって推定された照射領域Rxの中から人物を探索する。
 〔実施形態3〕
 本発明の他の実施形態について、図5の(a)(b)および図6に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
 前記実施形態2では、照射領域推定部16が、撮像領域Ryに含まれる照射領域Rxを推定し、人物検出部12が、推定された照射領域Rx内から人物を探索する方法を説明した。
 一方、本実施形態では、撮像デバイス20が、撮像領域Ryと照射領域Rxとが等しい大きさになるまでズームインする。これにより、撮像デバイス20が撮像領域Ryを撮像することによって得られる撮影画像において、照射領域Rxが拡大される。拡大された照射領域Rx’は、撮像領域Ryと一致する。したがって、人物検出部12は、撮像領域Ryと一致する拡大された照射領域Rx’内から、人物を探索することができる。
 (照射領域Rxの拡大方法)
 図5の(a)(b)および図6を用いて、本実施形態の制御部10が、撮像デバイス20の光学ズームイン機能を用いて、照射領域Rxを拡大する方法を説明する。図5の(a)は、拡大されていない照射領域Rxと撮像領域Ryとの関係を示す。また、図5の(b)は、拡大された照射領域Rx’と撮像領域Ryとの関係を示す。図6は、撮像デバイス20の光学ズーム機能を説明する図である。
 ここで、図5の(a)(b)は、照射光の照射方向(スクリーンSCに垂直な方向)から見たスクリーンSCを示し、図6は、スクリーンSCの横側から、スクリーンSCに対して平行に見たスクリーンSCを示す。予め、照射領域推定部16は、撮像領域Ryにおける照射領域Rxの位置を推定する。
 図5の(a)に示すように、拡大されていない照射領域Rxは、撮像領域Ryに含まれている。図5の(b)に示すように、制御部10は、撮像デバイス20の光学ズームイン機能を用いて、照射領域Rxを拡大することによって、拡大された照射領域Rx’を撮像領域Ryに一致させる。
 図6に示すように、制御部10は、撮像デバイス20の焦点距離を調整することによって、撮影画像における照射領域Rxの大きさを変化させることができる(光学ズーム機能)。そこで、制御部10は、撮像デバイス20の光学ズーム機能を用いて、照射領域Rxを拡大させる。ここで、照射領域Rxおよび撮像領域Ryが矩形であり、両者の中心が一致する場合、制御部10は、拡大された照射領域Rx’を撮像領域Ryに一致させるために、前記実施形態2で説明した長さW1と長さW2との関係、および長さH1と長さH2との関係を利用することができる。具体的には、制御部10は、照射領域Rxの幅(図2における照射領域Rxの横方向の長さ)を(W2/W1)倍することによって、拡大された照射領域Rx’の横方向の範囲を撮像領域Ryの横方向の範囲に一致させる。また、照射領域Rxの高さ(図2における照射領域Rxの縦方向の長さ)を(H2/H1)倍することによって、拡大された照射領域Rx’の縦方向の範囲を撮像領域Ryの縦方向の範囲に一致させる。
 なお、図6では、撮像デバイス20の撮像素子を移動させることにより焦点距離を調整する例を説明したが、レンズを移動させて焦点距離を調整することもできる。
 (変形例1)
 本実施形態の一変形例において、制御部10は、撮像デバイス20の光学ズーム機能を使用して照射領域Rxを拡大する代わりに、照射領域Rxに対応する撮影画像の一部を画像処理によって拡大するとともに、撮影画像中の上記一部以外の部分を消去(トリミングあるいは電子式ズーム)してもよい。
 (変形例2)
 本実施形態の他の変形例では、制御部10が撮影画像における照射領域Rxを拡大する代わりに、照射デバイス30が照射領域Rxを現実に拡大することによって、拡大された照射領域Rx’と、撮像領域Ryとを一致させてもよい。
 〔実施形態4〕
 本発明の他の実施形態について、図7~図8に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
 本実施形態では、音声出力制御部14が、撮像領域Ryまたは照射領域Rx、Rx’内に含まれる人物に対して警告をする際に、その人物の名前を呼ぶ構成を説明する。本実施形態の構成によれば、撮像領域Ryまたは照射領域Rx、Rx’内に含まれる人物は、自分の名前を呼ばれるので、自分が警告を受けていることに気付き易くなる。
 (映像投影装置2)
 図7を用いて、本実施形態に係る映像投影装置2の構成を説明する。図7は、映像投影装置2の構成を示すブロック図である。図7に示すように、実施形態4に係る映像投影装置2(図7参照)は、実施形態1~3に係る映像投影装置1(図1参照)と比較すると、照射領域推定部16を備えない代わりに、人物判定部17(人物識別部)(図7参照)をさらに備える。人物判定部17の実行する処理については、以下で、照射制御処理Bの説明中で説明する。
 (照射制御処理B)
 図8を用いて、本実施形態に係る映像投影装置2が実行する照射制御処理Bの流れを説明する。図8は、照射制御処理Bの流れを示すフローチャートである。
 図8に示すように、照射制御処理BのS10~50までの処理は、実施形態1で説明した照射制御処理A(図3参照)のS10~S50と同じである。しかし、照射制御処理Bでは、人物検出部12が撮影画像中に人物を検出した場合(S50でYes)、人物判定部17は、その人物を識別(例えば顔認証)する。そして、識別した人物に関する情報(例えば、顔-名前が紐付けられた情報)が記憶部(図示せず)に登録されているか否かを判定する(S210)。
 人物検出部12が検出した人物の情報が記憶部に登録されていない場合(S210でNo)、音声出力制御部14は、警告音声のみを出力する(S220)。
 一方、人物検出部12が検出した人物の情報が記憶部に登録されている場合(S210でYes)、人物判定部17は、その人物の名前を音声出力制御部14に出力させる。人物判定部17からの指示を受けた音声出力制御部14は、人物判定部17が判定した人物の名前を呼ぶとともに、警告音声を出力する(S230)。
 S220またはS230の後、タイマ15は、時間を計測することを開始する(S240)。その後、人物検出部12は、音声出力制御部14が警告をした時点から、所定の設定時間(例えば、数秒~十数秒)が経過したか否かをタイマ15に問い合わせる(S80)。設定時間が経過するまで(S80でNo)、人物検出部12は、S80の処理を繰り返し実行する。そして、設定時間が経過した後(S80でYes)、照射制御処理BはS50に戻る。
 照射制御処理BのS50において、人物検出部12が撮影画像中に人物を検出しなかった場合(S50でNo)、照射制御処理Bは、S90に進む。照射制御処理BのS90~S150は、照射制御処理AのS90~S150と同じであるので、本実施形態では説明を省略する。
 〔実施形態5〕
 本発明の他の実施形態について、図9に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
 本実施形態では、音声出力制御部14は、音声メッセージを出力することによって、撮影画像に含まれている人物(ユーザ)に対して、移動してほしい方向(すなわち、照射領域Rx、Rx’または撮像領域Ryから外れる方向)を指示する。ユーザは、どの方向に移動すればよいのかに関して、具体的な指示を与えられるので、適切な方向に移動することができる。以下の照射制御処理Cの説明中で、本実施形態における音声出力制御部14の動作をより詳細に説明する。
 (照射制御処理C)
 図9を用いて、本実施形態に係る照射制御処理Cの流れを説明する。図9は、照射制御処理Cの流れを示すフローチャートである。
 図9に示すように、照射制御処理CのS10~S50までの処理は、実施形態1で説明した照射制御処理A(図3参照)のS10~S50と同じである。しかし、照射制御処理Cでは、人物検出部12が撮影画像中に人物を検出した場合(S50でYes)、音声出力制御部14は、その人物が撮影画像の右半分内に位置するか否かを判定する(S310)。
 撮影画像中の人物が、撮影画像の右半分内に位置していない場合(S310でNo)、すなわち、人物が撮影画像の左半分内に位置している場合、音声出力制御部14は、「左(ユーザ側にとっての右)方向へ移動してほしい」旨の警告音声を出力する(S320)。一方、撮影画像中の人物が、撮影画像の右半分内に位置している場合(S310でYes)、音声出力制御部14は、「右(ユーザ側にとっての左)方向へ移動してほしい」旨の警告音声を出力する(S330)。
 S320またはS330の後、タイマ15は、時間を計測することを開始する(S340)。その後、人物検出部12は、音声出力制御部14が警告をした時点から、所定の設定時間(例えば、数秒~十数秒)が経過したか否かをタイマ15に問い合わせる(S80)。設定時間が経過するまで(S80でNo)、人物検出部12は、S80の処理を繰り返し実行する。そして、設定時間が経過した後(S80でYes)、照射制御処理CはS50に戻る。
 照射制御処理CのS50において、人物検出部12が撮影画像中で人物を検出しなかった場合(S50でNo)、照射制御処理Cは、S90に進む。照射制御処理CのS90~S150は、照射制御処理AのS90~S150と同じであるので、本実施形態では説明を省略する。
 (変形例)
 本実施形態の一変形例では、本実施形態の構成を、前記実施形態4の構成と組み合わせてもよい。すなわち、人物検出部12が検出した人物が既に登録されていた場合、音声出力制御部14は、その人物の名前を呼ぶとともに、その人物に対して、「左(ユーザ側にとっての右)方向へ移動してほしい」または「右(ユーザ側にとっての左)方向へ移動してほしい」と音声で依頼してもよい。
 〔実施形態6〕
 本発明の他の実施形態について、図10に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
 前記実施形態1~5では、照射デバイス30が照射を開始する前に、画像取得部11が撮像画像を取得する構成を説明した(図3、図8、図9参照)。一方、本実施形態では、照射デバイス30がスクリーンSCへ照射を開始した後に、画像取得部11が撮像画像を取得する構成を説明する。
 本実施形態の構成では、画像取得部11が取得した撮像画像には、(1)撮像領域Ryに含まれる人物の他に、(2)スクリーンSCに投影された映像中の人物も含まれる。そこで、本実施形態の人物検出部12は、画像取得部11が取得した撮影画像から、上記(1)の人物のみを検出し、上記(2)の人物を検出しない。具体的には、人物検出部12は、以下で説明するように、撮影画像中から、上記(1)の人物のみを抽出する。
 (照射映像を含む撮影画像から人物を検出する方法)
 図10は、人物検出部12が、撮影画像中から、上記(1)の人物を検出する方法を説明する図である。図10に示すように、まず、人物検出部12は、照射デバイス30がスクリーンSCに投影する照射映像のデータを取得する(S400)。例えば、人物検出部12は、照射制御部13から、照射映像のデータを取得する。図10に示す投影映像には人物が映っている。
 次に、人物検出部12は、画像取得部11が取得した撮像画像を取得する。ここで、撮像領域Ryが照射領域Rxよりも大きい場合、人物検出部12は、照射領域Rxのみを含む撮影画像の一部を抽出する。あるいは、制御部10は、前記実施形態3で説明した方法によって、照射領域Rxと撮像領域Ryとを一致させる。これにより、人物検出部12は、照射デバイス30がスクリーンSCに照射した照射映像のみを含む撮影画像を取得することができる。続いて、人物検出部12は、撮影画像中の人物を検出する。
 まず、第1の場合として、スクリーンSCの前に、人物(ユーザ)がいたとする。この場合、人物検出部12が取得した撮像画像に、照射映像中の人物と、スクリーンSCの前にいるユーザとが含まれる(S410A)。人物検出部12は、撮影画像と照射映像との差分を計算することによって、差分画像を取得する(S420A)。図10に示すように、差分画像では、照射映像に映る人物は除去されており、スクリーンSCの前にいる人物のみが含まれている。したがって、人物検出部12は、差分画像から、ユーザの顔を検出することができる。
 次に、第2の場合として、スクリーンSCの前に、人物(ユーザ)がいなかったとする。この場合、人物検出部12が取得した撮像画像に、照射映像中の人物のみが含まれる(S410B)。人物検出部12は、撮影画像と照射映像との差分を計算することによって、差分画像を取得する(S420B)。図10に示すように、差分画像では、照射映像に映る人物は除去されており、他の人物は含まれていない。したがって、人物検出部12は、差分画像から、照射映像中の人物の顔を検出することはない。
 以上のように、撮影画像中に照射映像が含まれており、照射映像中に人物が映っている場合であっても、人物検出部12は、スクリーンSCの前にいる人物のみを検出することができる。
 なお、人物検出の方法の例として、顔認証を説明した。しかし、人物検出の方法は、人物を特定できる方法であれば、顔認証には限定されない。
 (変形例)
 人物判定部17は、人物検出部12が撮影画像中に検出した人物を識別し、音声出力制御部14および音声出力デバイス40は、人物判定部17によって識別された人物が、図示しない記憶部に予め登録された人物であるか否かに応じて、異なる警告音声を出力してもよい。なお、本変形例の構成は、前記実施形態4および5にも適用可能である。
 〔ソフトウェアによる実現例〕
 映像投影装置1の制御部10、および映像投影装置2の制御部50は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
 後者の場合、映像投影装置1および映像投影装置2は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
 〔まとめ〕
 本発明の態様1に係る映像投影装置(制御部10)は、照射領域(Ry)に映像を投影する照射部(照射デバイス30)を有する映像投影装置において、上記照射領域を含む撮影画像を取得する画像取得部(11)と、上記画像取得部が取得した上記撮影画像中から、人物を探索する人物探索部(人物検出部12)と、上記人物探索部が上記撮影画像中の人物を検出した場合、所定の音声を出力する音声出力部(音声出力デバイス40)と、を備えている。
 上記の構成によれば、照射領域を含む領域を撮像した撮影画像に人物が含まれる場合、所定の音声が出力される。そのため、所定の音声を聞いた人物(ユーザ)は、自分が照射光に当たる場所(照射領域)に位置している可能性があることを知ることができる。なお、照射領域を含む撮影画像が取得される前に、映像が照射領域に投影されていてもよいし、投影されていなくてもよい。
 本発明の態様2に係る映像投影装置は、上記態様1において、上記人物探索部は、上記撮影画像中から、上記照射部と上記照射領域との間にいる人物を探索してもよい。
 上記の構成によれば、照射部からの照射光が当たる人物を探索する。そのため、撮影画像に含まれるが、照射部と照射領域との間にはいない人物、すなわち、照射光が当たらない人物に対して、無駄な所定の音声が発せられない。
 本発明の態様3に係る映像投影装置は、上記態様1において、上記照射領域の位置を推定する照射領域推定部をさらに備え、上記画像取得部は、上記照射領域推定部が推定した上記照射領域を撮影した撮影画像を取得してもよい。
 上記の構成によれば、推定された照射領域が撮影されるので、撮影画像には、照射領域内にいる人物のみが含まれる。そのため、照射領域内にいる人物のみに、所定の音声が発せられる。
 本発明の態様4に係る映像投影装置は、上記態様1から3のいずれかにおいて、上記音声出力部は、音声メッセージを含む上記所定の音声を出力してもよい。
 上記の構成によれば、ユーザは、音声メッセージの内容に応じて、適切な対応を取ることができる。例えば、音声メッセージには、所定の音声の意図の説明やユーザに求める対応の説明を含めることができる。
 本発明の態様5に係る映像投影装置は、上記態様1から4のいずれかにおいて、上記人物探索部が上記撮影画像中に検出した人物を識別する人物識別部(人物判定部17)をさらに備え、上記音声出力部は、上記人物識別部が識別した人物に関係する上記所定の音声を出力してもよい。
 上記の構成によれば、撮影画像に含まれる人物は、自分に関係する所定の音声を聞くので、自分が照射領域に含まれる可能性があることに気付き易くなる。
 本発明の態様6に係る映像投影装置は、上記態様1から4のいずれかにおいて、上記人物探索部が上記撮影画像中に検出した人物を識別する人物識別部をさらに備え、上記音声出力部は、上記人物識別部が識別した人物が、予め登録された人物であるか否かに応じて、異なる上記所定の音声を出力してもよい。
 上記の構成によれば、例えば、予め登録された人物が検出された場合には、その人物の名前を含む所定の音声を出力する一方、それ以外の人物が検出された場合には、アラーム音のみを含む所定の音声を出力することができる。
 本発明の態様7に係る映像投影装置は、上記態様1から6のいずれかにおいて、上記人物探索部は、上記撮影画像中から、上記映像中の人物を除いた人物を探索してもよい。
 上記の構成によれば、照射領域を含む撮影画像が取得される前に、映像が照射領域に投影されており、かつ、映像中に人物が映っている場合であっても、映像中の人物を除いた人物が検出された場合のみ、所定の音声を出力することができる。
 本発明の各態様に係る映像投影装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記映像投影装置が備える各部(ソフトウェア要素)として動作させることにより上記映像投影装置をコンピュータにて実現させる映像投影装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
 本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
  1 映像投影装置
 11 画像取得部
 12 人物検出部(人物探索部)
 16 照射領域推定部
 17 人物判定部(人物識別部)
 30 照射デバイス(照射部)
 40 音声出力デバイス(音声出力部)
 50 制御部
 SC スクリーン
 Rx 照射領域
 Ry 撮像領域

Claims (7)

  1.  照射領域に映像を投影する照射部を有する映像投影装置において、
     上記照射領域を含む撮影画像を取得する画像取得部と、
     上記画像取得部が取得した上記撮影画像中から、人物を探索する人物探索部と、
     上記人物探索部が上記撮影画像中の人物を検出した場合、所定の音声を出力する音声出力部と、を備えたことを特徴とする映像投影装置。
  2.  上記人物探索部は、上記撮影画像中から、上記照射部と上記照射領域との間にいる人物を探索することを特徴とする請求項1に記載の映像投影装置。
  3.  上記照射領域の位置を推定する照射領域推定部をさらに備え、
     上記画像取得部は、上記照射領域推定部が推定した上記照射領域を撮影した撮影画像を取得することを特徴とする請求項1に記載の映像投影装置。
  4.  上記音声出力部は、音声メッセージを含む上記所定の音声を出力することを請求項1から3のいずれか1項に記載の映像投影装置。
  5.  上記人物探索部が上記撮影画像中に検出した人物を識別する人物識別部をさらに備え、
     上記音声出力部は、上記人物識別部が識別した人物に関係する上記所定の音声を出力することを特徴とする請求項1から4のいずれか1項に記載の映像投影装置。
  6.  上記人物探索部が上記撮影画像中に検出した人物を識別する人物識別部をさらに備え、
     上記音声出力部は、上記人物識別部が識別した人物が、予め登録された人物であるか否かに応じて、異なる上記所定の音声を出力することを特徴とする請求項1から4のいずれか1項に記載の映像投影装置。
  7.  上記人物探索部は、上記撮影画像中から、上記映像中の人物を除いた人物を探索することを特徴とする請求項1から6のいずれか1項に記載の映像投影装置。
PCT/JP2016/072996 2015-09-03 2016-08-04 映像投影装置 WO2017038375A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015174157 2015-09-03
JP2015-174157 2015-09-03

Publications (1)

Publication Number Publication Date
WO2017038375A1 true WO2017038375A1 (ja) 2017-03-09

Family

ID=58187235

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/072996 WO2017038375A1 (ja) 2015-09-03 2016-08-04 映像投影装置

Country Status (1)

Country Link
WO (1) WO2017038375A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018159835A (ja) * 2017-03-23 2018-10-11 カシオ計算機株式会社 投影装置
JP2019005095A (ja) * 2017-06-23 2019-01-17 ウエストユニティス株式会社 遠隔支援システム、情報提示システム、表示システムおよび手術支援システム
CN113727081A (zh) * 2020-05-26 2021-11-30 精工爱普生株式会社 投影仪的控制方法和投影仪

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005031528A (ja) * 2003-07-09 2005-02-03 Sony Corp 画像投射装置及び画像投射方法
JP2009069808A (ja) * 2007-09-14 2009-04-02 Ctx Opto Electronics Corp プロジェクター及びその操作方法
JP2011137878A (ja) * 2009-12-25 2011-07-14 Sanyo Electric Co Ltd 投写型映像表示装置および侵入検知方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005031528A (ja) * 2003-07-09 2005-02-03 Sony Corp 画像投射装置及び画像投射方法
JP2009069808A (ja) * 2007-09-14 2009-04-02 Ctx Opto Electronics Corp プロジェクター及びその操作方法
JP2011137878A (ja) * 2009-12-25 2011-07-14 Sanyo Electric Co Ltd 投写型映像表示装置および侵入検知方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018159835A (ja) * 2017-03-23 2018-10-11 カシオ計算機株式会社 投影装置
JP2019005095A (ja) * 2017-06-23 2019-01-17 ウエストユニティス株式会社 遠隔支援システム、情報提示システム、表示システムおよび手術支援システム
CN113727081A (zh) * 2020-05-26 2021-11-30 精工爱普生株式会社 投影仪的控制方法和投影仪
JP2021189222A (ja) * 2020-05-26 2021-12-13 セイコーエプソン株式会社 プロジェクターの制御方法及びプロジェクター
US11627293B2 (en) 2020-05-26 2023-04-11 Seiko Epson Corporation Method of controlling projector and projector
CN113727081B (zh) * 2020-05-26 2023-06-20 精工爱普生株式会社 投影仪的控制方法和投影仪

Similar Documents

Publication Publication Date Title
US9760765B2 (en) Digital signage apparatus which performs face recognition and determines whether a behavior of a person satisfies a predetermined condition, and computer readable medium
WO2017038375A1 (ja) 映像投影装置
US9418436B2 (en) Image processing apparatus, imaging apparatus, and image processing method
JP2007328214A (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
TW201516890A (zh) 路人偵測方法、裝置與電腦程式產品
US9500939B2 (en) Safety feature for projection subsystem using laser technology
KR101733553B1 (ko) 눈 건강 관리 장치 및 방법
JP2010178259A (ja) デジタルカメラ
JP5981015B1 (ja) 万引き犯行現場録画装置
WO2023134215A1 (zh) 一种调试摄像机的方法及相关设备
JP2010041309A (ja) 撮像装置、携帯電話端末、撮像方法、プログラム及び記録媒体
JP6486654B2 (ja) 画像表示システム
US20170034473A1 (en) Communication system and method for controlling the same
WO2020031850A1 (ja) 情報処理装置
JP4016281B2 (ja) 記録制御システム
WO2017018259A1 (ja) 電子機器、制御方法、およびプログラム
JP4732141B2 (ja) 赤外線送信装置および赤外線送信範囲表示方法
JP2008263500A (ja) コミュニケーション装置及びコミュニケーションプログラム
JP2016057417A (ja) 情報出力装置、コンテンツ出力方法、及びプログラム
JP2016012846A (ja) 撮像装置、その制御方法、および制御プログラム
KR101885513B1 (ko) 눈 건강 관리 장치 및 방법
JP2014068281A (ja) 撮像装置
JP2008245168A (ja) 情報処理システム、情報処理装置及び情報処理プログラム
JP2012027302A (ja) 投影機能付き撮像装置
JP2004151812A (ja) 顔画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16841407

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16841407

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP