WO2016171190A1 - 暗視装置、暗視方法およびプログラム - Google Patents
暗視装置、暗視方法およびプログラム Download PDFInfo
- Publication number
- WO2016171190A1 WO2016171190A1 PCT/JP2016/062557 JP2016062557W WO2016171190A1 WO 2016171190 A1 WO2016171190 A1 WO 2016171190A1 JP 2016062557 W JP2016062557 W JP 2016062557W WO 2016171190 A1 WO2016171190 A1 WO 2016171190A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- night vision
- region
- imaging
- information indicating
- unit
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/12—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices with means for image conversion or intensification
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
Definitions
- the present invention is based on a Japanese patent application: Japanese Patent Application No. 2015-087297 (filed on April 22, 2015), and the entire contents of this application are incorporated in the present specification by reference.
- the present invention relates to a night vision device, a night vision method, and a program, and more particularly, to a night vision device, a night vision method, and a program for low-light night vision.
- Night vision devices are used in situations where sufficient lighting is not available, such as indoor dark places, nighttime criminal investigations, and rescue operations.
- Patent Document 1 describes night vision goggles that secure a wide field of view by bundling a photomultiplier tube, an objective lens, and an eyepiece.
- Patent Document 2 describes a fusion night vision system that superimposes and displays an infrared image on an image of a photomultiplier tube.
- Patent Document 3 describes a head-mounted night vision device that optically superimposes and displays an image of a photomultiplier tube and a near-infrared camera image.
- Patent Documents 1 to 3 The entire disclosure of the above Patent Documents 1 to 3 is incorporated herein by reference. The following analysis was made by the present inventors.
- An object of the present invention is to provide a night-vision device, a night-vision method, and a program that contribute to solving such problems. Other problems and solutions will be clarified based on the description of the modes for carrying out the invention described later.
- the night vision apparatus includes a first imaging unit that images a first region based on visible light, a second imaging unit that images a second region based on infrared rays, and the second imaging unit.
- An extraction unit that extracts an object from an image obtained by imaging an area, and an output unit that outputs information indicating the object together with an image obtained by imaging the first area.
- the night vision method includes a step of imaging the first area based on visible light, a step of imaging the second area based on infrared light, and an image obtained by imaging the second area.
- the program according to the third aspect of the present invention includes a process for imaging the first area based on visible light, a process for imaging the second area based on infrared rays, and an image obtained by imaging the second area. And a process of outputting information indicating the target object together with an image obtained by imaging the first region.
- the program can also be provided as a program product recorded in a non-transitory computer-readable storage medium.
- the night-vision device night-vision method, and program according to the present invention, it is possible to grasp the presence of a heat source in a wide visual field in the night-vision device.
- (B) is a figure which shows the example of a display by the display part of the night vision apparatus which concerns on 1st Embodiment (the 1).
- (C) is a figure which illustrates the display image (the 1) by the night vision apparatus which concerns on 1st Embodiment.
- (A) is a figure which illustrates each acquired image (the 2) of the low-light night-vision part and IR camera of the night-vision device concerning a 1st embodiment.
- (B) is a figure which illustrates the display image (the 2) by the night vision apparatus which concerns on 1st Embodiment. It is a figure which illustrates the imaging range by the night vision apparatus which concerns on 1st Embodiment (modification 3). It is a block diagram which illustrates the composition of the night vision device concerning a 2nd embodiment.
- FIG. 1 is a block diagram illustrating the configuration of a night vision device 1 according to an embodiment.
- the night vision device 1 includes a first imaging unit 2 that captures an image of a first region (for example, the faint night vision unit field 15 in FIG. 6A) based on visible light, and a second region.
- a target for example, a predetermined object
- a second imaging unit for example, an infrared camera
- images the IR camera visual fields 14 and 16 for example, FIG. 6A
- an image obtained by imaging the first area, and information indicating the extracted object is output (for example, the presence of the object is set as presence indications 18 to 20).
- Display unit 5 for display).
- a night vision device 1 it is possible to grasp the presence of a heat source (for example, a person, an animal, etc.) with a wide field of view. This is because, according to the night vision device 1, a second region different from the first region imaged based on visible light is imaged with infrared rays, and an object existing as a heat source in the second region is extracted and output. This is because the existence of a heat source can be suggested for a wide area that is not limited to an area that is imaged with visible light.
- a heat source for example, a person, an animal, etc.
- the first imaging unit 2 that captures only the central visual field (low-light night vision unit visual field 15) with visible light is covered,
- the peripheral visual field (IR camera visual fields 14 and 16) is covered with an inexpensive small and low-resolution second imaging unit 3 (for example, a plurality of small IR cameras 7 and 8). This makes it possible to cover a wide field of view with respect to the heat source.
- the output from the second imaging unit 3 (for example, an infrared camera) is not output as it is, but the number of pixels that fall within a certain temperature range is counted by the extraction unit 4, and information corresponding to the generation position and the number of pixels (for example, the presence indications 18 to 20 having a size corresponding to the number of pixels in FIG. 6B may be displayed superimposed on the image captured by the first imaging unit 2 (FIG. 6C). Good.
- a small and lightweight second imaging unit 3 (for example, a plurality of infrared cameras) while minimizing the first imaging unit 2 with visible light that occupies most of the weight and volume of the night vision device 1. ), It is possible to detect the presence of a heat source that can be a potential risk in a wide field of view while ensuring the minimum necessary low-light night vision field. That is, according to one embodiment, it is possible to provide a night vision device that effectively covers a wide field of view with respect to a heat source while being small, lightweight, power saving, and low cost.
- FIG. 2 is a block diagram illustrating the configuration of the night vision device 1 of this embodiment.
- the night-vision device 1 includes a low-light night-vision unit 6 corresponding to the first imaging unit 2 in FIG. 1, IR cameras 7 and 8 corresponding to the second imaging unit 3, and an extraction unit 4.
- Corresponding processing units 9 and 10, a display unit 11 corresponding to the output unit 5, a fusion unit 12, and a relay lens 13 are provided.
- FIG. 3 is a diagram illustrating a state in which the night vision device 1 shown in FIG. 2 is mounted.
- Each functional block in FIG. 2 is arranged as shown in FIG. 3 as an example.
- the display unit 11 and the fusion unit 12 are integrated with the low light night vision unit 6.
- the relay lens 13 (not shown in FIG. 3) is arranged between the low light night vision unit 6 and the observer. 3 is merely an example, and the configuration of the night vision device 1 of the present embodiment is not limited to the illustrated mode.
- the low-light night-vision unit 6 captures a visual field image with a wavelength of near-infrared from visible light, amplifies the brightness to a level that can be visually recognized by human eyes, and outputs it.
- the IR camera 7 captures three-dimensional temperature information as a two-dimensional far-infrared image and outputs it to the processing unit 9.
- the processing unit 9 refers to the two-dimensional far-infrared image input from the IR camera 7, selects pixels included in a preset temperature range, and counts the number of pixels. In addition, the processing unit 9 informs the display unit 11 of the position where the pixel that falls within the set temperature range is detected in the two-dimensional infrared image (or the barycentric position of the set of pixels) and the number of pixels. Output.
- Display unit 11 displays information on the position and the number of pixels input from processing unit 9.
- the IR camera 8 captures a two-dimensional far-infrared image and outputs it to the processing unit 10.
- the processing unit 10 refers to the two-dimensional infrared image acquired from the IR camera 8, converts it into information on the position and the number of pixels where a pixel that falls within a preset temperature range is detected, and outputs the information to the display unit 11.
- the display unit 11 displays information on the position and the number of pixels for the output from the processing unit 10 as well as the output of the processing unit 9.
- the fusion unit 12 merges the screen displayed on the display unit 11 and the screen obtained from the low light night vision unit 6 to generate a fused image.
- the fusion unit 12 is configured by, for example, a half mirror.
- the fused image generated by the fusion unit 12 is visually recognized by the observer via the relay lens 13.
- the IR cameras 7 and 8 in FIG. 3 are arranged so as to capture the left and right sides of the visual field that do not overlap with the visual field of the low-light night-vision unit 6.
- the viewing angles of the low light night vision unit 6 and the IR cameras 7 and 8 are not particularly limited, but may be 40 ° as an example.
- the visual field captured by the low light night vision unit 6 corresponds to the low light night vision unit visual field 15.
- the visual fields captured by the IR cameras 7 and 8 correspond to the IR camera visual fields 14 and 16, respectively.
- the IR cameras 7 and 8 are elements that pick up infrared rays, they look different from the visual field seen with visible light. However, by using far-infrared cameras as the IR cameras 7 and 8, the heat generated by the human body can be captured as two-dimensional video information.
- the landscape shown in FIG. 4 is captured as the image shown in FIG. 5 by the faint night vision unit 6 and the IR cameras 7 and 8. Note that the areas other than the IR camera visual fields 14 and 16 and the faint night vision field 15 in FIG.
- the processing units 9 and 10 process the output signals of the IR cameras 7 and 8, respectively, to output only signals that fall within a predetermined lower limit value and upper limit value, and output them to the display unit 11.
- a predetermined lower limit value and upper limit value As an example, when the lower limit value is set to 30 ° C. and the upper limit value is set to 45 ° C., only the human body can be extracted without being disturbed by a heat source such as a flame.
- the processing units 9 and 10 correspond to a group of pixels on the display unit 11 when the number of pixels based on a signal that falls within a predetermined lower limit value / upper limit value in the field of view exceeds a predetermined threshold value.
- the position of the object and the number of pixels may be output. This makes it possible to selectively extract the presence of a heat source (for example, a person) close to the observer. That is, when the object occupies a certain area or more in the image, it is possible to notify the observer only of the object existing in the vicinity that can be a higher risk by displaying the object on the display unit 11. Become.
- the display unit 11 displays at least the position of the object extracted by the processing units 9 and 10 in a size corresponding to the number of pixels. Specifically, the display unit 11 displays a direction in which the object exists (for example, a relative direction with respect to the low-light night-vision unit visual field 15, for example, left and right).
- a direction in which the object exists for example, a relative direction with respect to the low-light night-vision unit visual field 15, for example, left and right.
- the display unit 11 displays the presence displays 18 to 20 with arrows ( ⁇ ) as in the display unit screen 17 shown in FIG. 6B.
- the display mode of the presence displays 18 to 20 is not limited to the illustrated mode.
- the display unit 11 changes the size of the arrows ( ⁇ ) of the presence displays 18 to 20 according to the number of pixels of the object (that is, based on the distance of the object from the night vision device 1). May be. Specifically, the display unit 11 displays the arrow ( ⁇ ) relatively large when the number of pixels of the object is large (the distance from the night vision device 1 is short). On the other hand, when the number of pixels of the object is small (the distance from the night vision device 1 is long), the display unit 11 may display the arrow ( ⁇ ) relatively small. Further, the display unit 11 may display an arrow ( ⁇ ) on the screen at the same height as the barycentric position of the pixels constituting the object.
- the fusion unit 12 fuses the display unit screen 17 generated by the display unit 11 and the image of the low-light night-vision unit visual field 15 obtained from the low-light night-vision unit 6.
- the observer is provided with a fusion display screen 21 shown in FIG. 6C as a display image of the night vision device 1 via the relay lens 13.
- the actual visual field is only the visual field acquired by the low-light night vision unit 6.
- the IR cameras 7 and 8 that are small, light, inexpensive, and have a small number of pixels, it is possible to detect the existence of a potential risk corresponding to the human body from a wide field of view.
- the lurking person can be displayed in monochrome, for example, but it may be difficult for the observer to recognize. Even in such a case, the IR cameras 7 and 8 detect infrared rays, and the processing units 9 and 10 display the result of applying only the signal that falls between the predetermined lower limit value and the upper limit value, for example, in color. Thus, the visibility of a person can be greatly improved.
- the night vision device 1 a night vision device that achieves both compactness and light weight and an effective wide field of view is realized.
- an infrared camera IR cameras 7 and 8 captures a wide field of view of the presence of a heat source that can be a potential risk.
- the low-light night-vision unit 6 amplifies the light and displays it to a level that can be easily recognized by the human eye in a situation where the illumination light from the visible light to the near-infrared region is scarce. It is close to the landscape and makes it easy to recognize human space and provide images to make it easier to act.
- a form such as a panoramic night vision goggle in which a plurality of photomultiplier tubes are bundled to secure a wide field of view
- the weight of the apparatus increases and the size also increases.
- the minimum required central visual field ensures an image that is easy to recognize close to a landscape in a normal bright place. To do. Thereby, since the number of the low light night vision parts 6 can be reduced, it is possible to greatly reduce the size and weight.
- the night vision device 1 of the present embodiment a wide field of view is covered by the infrared camera (IR cameras 7 and 8). This makes it easier to detect objects that are hotter or colder than the atmosphere, and increases the potential risk detection capability over a wide field of view. If the purpose is to detect the presence or absence of an object in a specific temperature range and the direction in which the object exists based on the image of the infrared camera, the infrared camera is small and lightweight with a small number of pixels. It is enough to adopt one.
- the central visual field is secured by the minimum low-light night vision unit 6, and the wide visual field is covered by a plurality of IR cameras 7, 8.
- a night vision device that achieves both an effective wide field of view is realized.
- a night vision device having an effective wide field of view can be realized at low cost.
- the reason is that a plurality of inexpensive infrared cameras are provided while minimizing the number of low-light night vision sections 6.
- the low light night vision section 6 is composed of an expensive part such as an image tube and a lens that transmits and processes a small amount of light with a minimum loss, so that it is very expensive when a wide field of view is secured.
- a wide field of view is secured by a plurality of infrared cameras while minimizing the number of the most expensive low-light night vision units 6 (usually one is sufficient).
- a night vision apparatus can be implement
- a combination of a minimum low-light night-vision unit and a plurality of inexpensive infrared cameras / infrared lenses can provide a low-cost and effective wide-field dark field.
- a visual device can be realized.
- the low-light night-vision field 15 at the center is secured by the low-light night-vision unit 6, and two IR camera fields 14 and 16 on the left and right sides of the visual field are provided.
- the configuration secured by the IR cameras 7 and 8 is illustrated.
- the relative positional relationship between the low-light night vision field and the IR camera field is not limited to the illustrated mode. That is, the area imaged by the IR camera is not limited to the left-right direction with respect to the area imaged by the low-light night-vision unit, and may be the up-down direction or cover a different area in the depth direction. Further, an area obtained by combining a plurality of these may be covered.
- the low-light night-vision field 15 at the center is secured by the low-light night-vision unit 6, and two IR camera fields 14 and 16 on the left and right sides of the visual field are provided.
- the configuration secured by the IR cameras 7 and 8 is illustrated.
- a third IR camera (not shown) is arranged between the IR cameras 7 and 8 in FIG. You may make it cover the visual field 15 in duplication.
- the viewing angles of the IR cameras 7 and 8 and the third IR camera may be 40 °, respectively, and a combined viewing angle of 120 ° in the horizontal direction may be realized by three IR cameras.
- the image from the third IR camera is processed by a third processing unit (not shown) to extract only the contour information, which is displayed on the display unit 11 and displayed by the fusion unit 12. You may superimpose on a light night vision image and provide it to an observer.
- FIG. 8 a configuration in which the low-light night-vision portion visual field 23 by the low-light night-vision portion 6 and the IR camera visual fields 22 and 24 by the IR cameras 7 and 8 have portions overlapping each other. May be adopted.
- an overlapping region and a region covered only by the IR cameras 7 and 8 exist between the low-light night vision field 23 and the IR camera fields 22 and 24.
- the processing units 9 and 10 obtain the IR camera visual fields 22 and 24 for the overlapping portion between the low light night vision field 23 and the IR camera visual fields 22 and 24. Only outline information is extracted from the infrared image thus obtained and displayed on the display unit 11. Further, the fusion unit 12 superimposes and displays infrared outline information on the video obtained from the low light night vision unit 6.
- the processing units 9 and 10 perform a process of outputting only a signal that falls within a predetermined lower limit value and upper limit value, and the display unit 11 (for example, , As shown in the presence displays 18 to 20 in FIG. Furthermore, the fusion unit 12 superimposes and displays the display by the display unit 11 on the image with respect to the low light night vision field of view 23.
- the presence / absence of the object and the relative position of the object are extracted from the infrared images obtained by the IR cameras 7 and 8, and the image obtained by the low light night vision unit 6 is extracted.
- the information indicating the presence of the object is displayed in an overlapping manner.
- the sound is output as sound.
- FIG. 9 is a block diagram illustrating the configuration of the night vision device 1 of the present embodiment.
- the night-vision device 1 of the present embodiment has the same configuration as the night-vision device 1 of the first embodiment shown in FIG.
- the night-vision device 1 of the present embodiment has a configuration in which an audio output unit 25 is provided instead of the display unit 11 of FIG.
- the processing units 9 and 10 refer to the two-dimensional far-infrared images input from the IR cameras 7 and 8, respectively, and pixels that fall within a preset temperature range Is selected and the number of pixels is counted. In addition, the processing units 9 and 10 obtain information on the position where the pixel within the set temperature range is detected in the two-dimensional infrared image (or the position of the center of gravity of the set of consecutive pixels) and the number of pixels. Output to the audio output unit 25.
- the audio output unit 25 outputs the position of the target object based on the information on the number of pixels of the target object and the information on the position of the target object received from the processing units 9 and 10.
- the IR camera visual field 14 by the IR cameras 7 and 8 is provided on the left and right of the low light night vision field 15 by the low light night vision unit 6.
- the audio output unit 25 outputs the sound that the object exists on the right side, while when the object is observed in the IR camera field of view 14, The sound output unit 25 outputs a sound indicating that the object is present on the left side.
- the sound output unit 25 may change the sound output mode according to the number of pixels of the target object (that is, based on the distance of the target object from the night vision device 1). Specifically, when the number of pixels of the object is large (distance from the night vision device 1), the sound output unit 25 outputs sound at a relatively large volume, while the number of pixels of the object is small. In the case where the distance from the night vision device 1 is long, sound may be output at a relatively low volume.
- the sound output unit 25 may output sound to headphones or earphones that can be worn on both ears of the observer when leakage of sound to the outside of the night vision device 1 becomes a problem. Good.
- the sound output unit 25 when the object is observed in the IR camera visual field 16, the sound output unit 25 outputs to the right headphone or earphone that the object is present (or sound having a volume corresponding to the number of pixels). May be.
- the sound output unit 25 when the object is observed in the IR camera visual field 14, the sound output unit 25 outputs the sound indicating that the object is present to the left headphone or the earphone or the sound having a volume corresponding to the number of pixels. Good.
- the night vision apparatus of the present embodiment the same effects as the night vision apparatus of the first embodiment are brought about. Further, the present embodiment notifies the observer by voice about the presence of a heat source that can be a potential risk. According to such a configuration, the observer can perform observation using a plurality of sensory organs such as visual and auditory senses, and it is easy to find an object (such as a person) even in a nighttime situation, thereby avoiding risk. It becomes easy to take.
- the night vision apparatus of the present invention has been described according to the embodiment, the night vision apparatus according to the above embodiment can be used for various applications.
- the night-vision device of the above embodiment is particularly effective when it is necessary to act in a situation where illumination cannot be used in the dark or in a situation where illumination cannot be performed with sufficient illuminance.
- an object with a temperature different from the ambient temperature such as a person, a high-temperature object, or a low-temperature object, while obtaining an image close to the visible light field at the center of the field of view. It can be used in situations where it is useful to detect what is done with a wide field of view. Specifically, it can be effectively used in crime investigations, hostage rescue, nighttime disaster area rescue activities, nighttime field verification after the end of firefighting activities, mountainous and forest search activities, etc.
- the night vision apparatus is as described above.
- the extraction unit extracts the position of the object;
- the output unit outputs information indicating a relative direction of the object with respect to the first region when the position of the extracted object is outside the first region;
- the night vision apparatus according to aspect 1.
- the output unit displays information indicating a relative direction of the target object in an overlapping manner on an image obtained by imaging the first region;
- the night vision apparatus according to the second aspect.
- the output unit outputs information indicating a direction of the object by voice;
- the night vision apparatus according to the second or third aspect.
- the output unit When the position of the extracted object is within the first area, the output unit displays information indicating the position of the object so as to be superimposed on an image obtained by imaging the first area.
- the night vision apparatus according to any one of Forms 2 to 4.
- the extraction unit extracts an object within a predetermined temperature range.
- the night vision apparatus according to any one of forms 2 to 5.
- the extraction unit extracts the number of pixels of the object in the predetermined temperature region, The output unit outputs the object when the number of pixels is equal to or greater than a predetermined threshold; The night vision apparatus according to mode 6.
- the output unit displays information indicating a relative direction of the target object according to the number of pixels by superimposing the information on the image obtained by imaging the first region and / or indicates the direction of the target object. Outputting information at a volume corresponding to the number of pixels;
- the night vision apparatus according to the seventh aspect.
- the night vision method according to the second aspect is as described above.
- the information indicating the relative direction of the object is displayed superimposed on an image obtained by imaging the first region.
- the night vision method according to the tenth aspect In the outputting step, information indicating the direction of the object is output by voice. The night vision method according to Form 10 or 11. [Form 13] In the outputting step, when the position of the extracted object is within the first area, information indicating the position of the object is displayed superimposed on an image obtained by imaging the first area. The night vision method according to any one of Forms 10 to 12. [Form 14] In the extracting step, an object in a predetermined temperature range is extracted. The night vision method according to any one of forms 10 to 13. [Form 15] Extracting the number of pixels of the object in the predetermined temperature range, In the outputting step, when the number of pixels is equal to or greater than a predetermined threshold, the object is output.
- the night vision method according to the fourteenth aspect.
- information indicating a relative direction of the object is displayed in accordance with the number of pixels while being superimposed on an image obtained by imaging the first region, and / or the direction of the object is displayed.
- Output information indicating the volume according to the number of pixels The night vision method according to the fifteenth aspect.
- [Form 19] Causing the computer to execute a process of displaying the information indicating the relative direction of the object in a superimposed manner on an image obtained by imaging the first region.
- [Mode 20] Causing the computer to execute a process of outputting information indicating the direction of the object by voice;
- [Form 21] When the extracted position of the object is within the first area, the computer is caused to execute a process of displaying the information indicating the position of the object so as to be superimposed on an image obtained by imaging the first area. , The program according to any one of forms 18 to 20.
- [Form 22] Causing the computer to execute a process of extracting an object within a predetermined temperature range; The program according to any one of forms 18 to 21.
- [Form 23] A process of extracting the number of pixels of the object in the predetermined temperature range; When the number of pixels is equal to or greater than a predetermined threshold, the computer executes the process of outputting the object.
- Information indicating the relative direction of the object is displayed in accordance with the number of pixels superimposed on an image obtained by imaging the first region, and / or information indicating the direction of the object is the number of pixels. Causing the computer to execute a process of outputting at a volume corresponding to The program according to form 23.
- Patent Documents 1 to 3 are incorporated herein by reference. Within the scope of the entire disclosure (including claims) of the present invention, the embodiment can be changed and adjusted based on the basic technical concept. Further, various combinations or selections of various disclosed elements (including each element of each claim, each element of each embodiment, each element of each drawing, etc.) are possible within the framework of the entire disclosure of the present invention. is there. That is, the present invention of course includes various variations and modifications that could be made by those skilled in the art according to the entire disclosure including the claims and the technical idea. In particular, with respect to the numerical ranges described in this document, any numerical value or small range included in the range should be construed as being specifically described even if there is no specific description.
Abstract
暗視装置は、第１領域を可視光に基づいて撮像する第１撮像部と、第２領域を赤外線に基づいて撮像する第２撮像部と、第２領域を撮像した画像から対象物を抽出する抽出部と、第１領域を撮像した画像とともに、対象物を示す情報を出力する出力部と、を備えている。暗視装置において広い視野で熱源の存在を把握できるようにする。
Description
［関連出願についての記載］
本発明は、日本国特許出願：特願２０１５－０８７２９７号（２０１５年４月２２日出願）に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、暗視装置、暗視方法およびプログラムに関し、特に、微光暗視用の暗視装置、暗視方法およびプログラムに関する。
本発明は、日本国特許出願：特願２０１５－０８７２９７号（２０１５年４月２２日出願）に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、暗視装置、暗視方法およびプログラムに関し、特に、微光暗視用の暗視装置、暗視方法およびプログラムに関する。
屋内の暗い場所や夜間の犯罪捜査、救助活動等において、十分な照明を利用できない状況下において、暗視装置が用いられる。
特許文献１には、光電子倍増管と対物レンズ、接眼レンズとを束ねることにより、広い視野を確保した暗視ゴーグルが記載されている。
また、特許文献２には、光電子倍増管の画像に対して、赤外の映像を重畳して表示する融合型暗視（Fusion Night Vision）システムが記載されている。
さらに、特許文献３には、光電子倍増管の画像と近赤外カメラの映像を光学的に重畳表示するヘッドマウント型の暗視装置が記載されている。
上記特許文献１ないし３の全開示内容は、本書に引用をもって繰り込み記載されているものとする。以下の分析は、本発明者によってなされたものである。
特許文献１に記載された技術のように、光電子倍増管を複数用いて広い視野を確保する場合、暗視装置が大型化し、重量が増大する。これにより、暗視装置を装着したユーザの首が疲れるなどの身体的負荷が増大するという問題がある。特に、光電子倍増管を用いた暗視装置は、対物レンズ、光電子倍増管、接眼レンズを光学的に同軸に並べる必要がある。このとき、重量が増大するとともに、長さが伸びることで慣性モーメントも増大する。また、広い視野をカバーするために、複数セットを並べた構成を採用した場合には、セット数に応じて慣性モーメントがさらに増大する。
また、特許文献１に記載された技術のように、光電子倍増管を用いた暗視装置においては、反射光の多寡のみを明暗情報として表示する。このとき、視野内に存在する静止物体と、動きを止めている生き物（人、動物等）との識別が困難となる。その理由は、反射光の多寡のみを明暗情報として表示するため、温度の差異が検出できないからである。したがって、例えば、犯罪捜査等において潜在的リスクの検出が必ずしも容易ではないという問題がある。
さらに、特許文献２、３のように、光電子倍増管および赤外線カメラから得られる映像を融合した暗視装置においては、光電子倍増管の光軸と赤外線カメラの視野が同一となる。かかる構成に基づいて広視野を確保した場合、暗視装置が大型化するとともに重量が増大し、ユーザが装着して行動しうる実用的な体積、重量にならないという問題がある。なぜなら、光電子倍増管の追加による装置の増大化に加えて、赤外線カメラの追加により、さらに体積および重量が増し、これらによって撮像された画像を融合するための回路部品も追加されることになるからである。
以上より、特許文献１ないし３に記載された技術によると、暗視装置において、装置の増大化を防ぎつつ、潜在的なリスクを実効的に広い視野で認識することが困難となる。
そこで、暗視装置において広い視野で熱源の存在を把握できるようにすることが課題となる。本発明の目的は、かかる課題解決に寄与する暗視装置、暗視方法およびプログラムを提供することにある。なお、その他の課題および解決手段は、後述の発明を実施するための形態の記載に基づいて明らかにされる。
本発明の第１の態様に係る暗視装置は、第１領域を可視光に基づいて撮像する第１撮像部と、第２領域を赤外線に基づいて撮像する第２撮像部と、前記第２領域を撮像した画像から対象物を抽出する抽出部と、前記第１領域を撮像した画像とともに、前記対象物を示す情報を出力する出力部と、を備えている。
本発明の第２の態様に係る暗視方法は、第１領域を可視光に基づいて撮像するステップと、第２領域を赤外線に基づいて撮像するステップと、前記第２領域を撮像した画像から対象物を抽出するステップと、前記第１領域を撮像した画像とともに、前記対象物を示す情報を出力するステップと、を含む。
本発明の第３の態様に係るプログラムは、第１領域を可視光に基づいて撮像する処理と、第２領域を赤外線に基づいて撮像する処理と、前記第２領域を撮像した画像から対象物を抽出する処理と、前記第１領域を撮像した画像とともに、前記対象物を示す情報を出力する処理と、をコンピュータに実行させる。なお、プログラムは、非一時的なコンピュータ可読記録媒体（non-transitory computer-readable storage medium）に記録されたプログラム製品として提供することもできる。
本発明に係る暗視装置、暗視方法およびプログラムによると、暗視装置において広い視野で熱源の存在を把握することが可能となる。
はじめに、一実施形態の概要について説明する。なお、この概要に付記する図面参照符号は、専ら理解を助けるための例示であり、本発明を図示の態様に限定することを意図するものではない。
図１は、一実施形態に係る暗視装置１の構成を例示するブロック図である。図１を参照すると、暗視装置１は、第１領域（例えば、図６（ａ）の微光暗視部視野１５）を可視光に基づいて撮像する第１撮像部２と、第２領域（例えば、図６（ａ）のＩＲカメラ視野１４、１６）を赤外線に基づいて撮像する第２撮像部（例えば、赤外線カメラ）３と、第２領域を撮像した画像から対象物（例えば、所定の温度領域の対象物）を抽出する抽出部４と、第１領域を撮像した画像とともに、前記抽出された対象物を示す情報を出力する（例えば、対象物の存在を存在表示１８～２０として表示する）出力部５と、を備えている。
かかる暗視装置１によると、広い視野で熱源（例えば、人、動物等）の存在を把握することが可能となる。なぜなら、暗視装置１によると、可視光に基づいて撮像される第１領域とは異なる第２領域を赤外線で撮像し、第２領域に熱源として存在する対象物を抽出して出力することにより、可視光で撮像される領域に限定されない広い領域に関して、熱源の存在を示唆することができるからである。
特許文献１に記載された技術のように広視野を有する暗視装置を実現した場合、暗視装置が大型化し、重量および慣性モーメントがいずれも増大することで、装着者の肉体的負担が増大する。また、かかる技術によると、高価な光電子増倍管や高開口率の高価レンズ等を複数セット備え、相互の角度調整をして束ねる必要があり、暗視装置の製造コストが増大するという問題もある。
一実施形態に係る暗視装置１では、例えば、図６（ａ）に示すように、中心視野（微光暗視部視野１５）のみを可視光で撮像する第１撮像部２でカバーし、周辺視野（ＩＲカメラ視野１４、１６）を廉価な小型、低解像度の第２撮像部３（例えば、複数の小型のＩＲカメラ７、８）でカバーする。これにより、熱源に対して広い視野をカバーすることが可能となる。
また、第２撮像部３（例えば、赤外線カメラ）からの出力をそのまま出力せず、抽出部４により一定温度範囲に入る画素の画素数をカウントし、その発生位置および画素数に応じた情報（例えば、図６（ｂ）の画素数に応じたサイズの存在表示１８～２０）を、第１撮像部２によって撮像された画像に重畳して表示する（図６（ｃ））ようにしてもよい。
一実施形態によると、暗視装置１の重量および体積の大部分を占める可視光による第１撮像部２を最小限にとどめつつ、小型で軽量な第２撮像部３（例えば、複数の赤外線カメラ）を設けることにより、必要最小限の微光暗視視野を確保しつつ、潜在的なリスクとなり得る熱源の存在を広視野に検出することが可能となる。すなわち、一実施形態によると、小型、軽量、省電力、低価格でありながら、熱源に対して実効的に広視野をカバーする暗視装置を提供することができる。
＜実施形態１＞
次に、本発明の第１の実施形態について図面を参照して詳細に説明する。
次に、本発明の第１の実施形態について図面を参照して詳細に説明する。
［構成］
図２は、本実施形態の暗視装置１の構成を例示するブロック図である。図２を参照すると、暗視装置１は、図１の第１撮像部２に相当する微光暗視部６と、第２撮像部３に相当するＩＲカメラ７、８と、抽出部４に相当する処理部９、１０と、出力部５に相当する表示部１１、融合部１２、および、リレーレンズ１３と、を備えている。
図２は、本実施形態の暗視装置１の構成を例示するブロック図である。図２を参照すると、暗視装置１は、図１の第１撮像部２に相当する微光暗視部６と、第２撮像部３に相当するＩＲカメラ７、８と、抽出部４に相当する処理部９、１０と、出力部５に相当する表示部１１、融合部１２、および、リレーレンズ１３と、を備えている。
図３は、図２に示した暗視装置１を装着した状態を例示する図である。図２の各機能ブロックは、一例として、図３のように配置される。図３においては、表示部１１および融合部１２は、微光暗視部６と一体化して配置されている。また、図３において図示しないリレーレンズ１３は、微光暗視部６と観察者の間に配置されている。なお、図３の実装は例示に過ぎず、本実施形態の暗視装置１の構成は図示の態様に限定されない。
微光暗視部６は、可視光から近赤外の波長による視野像を捉え、人の目で視認できるレベルまで明るさを増幅して出力する。
ＩＲカメラ７は、３次元の温度情報を２次元の遠赤外線画像として撮影して処理部９に出力する。
処理部９は、ＩＲカメラ７から入力した２次元の遠赤外線画像を参照し、予め設定された温度範囲に含まれる画素を選択して画素数をカウントする。また、処理部９は、２次元の赤外線画像の中で、設定された温度範囲に入る画素が検出された位置（または、画素の集合の重心位置）と、画素数の情報を表示部１１に出力する。
表示部１１は、処理部９から入力した位置と画素数の情報を表示する。
同様に、ＩＲカメラ８は、２次元の遠赤外線画像を撮像して処理部１０に出力する。
処理部１０は、ＩＲカメラ８から取得した２次元赤外線画像を参照し、予め設定された温度範囲に入る画素が検出された位置と画素数の情報に変換して、表示部１１に出力する。
表示部１１は、処理部９の出力と同様に、処理部１０からの出力についても、位置と画素数の情報を表示する。
融合部１２は、表示部１１に表示される画面と、微光暗視部６から得られる画面を融合して、融合画像を生成する。融合部１２は、例えばハーフミラー等により構成される。
融合部１２で生成された融合画像は、リレーレンズ１３を経由して、観測者によって視認される。
［動作例］
次に、具体的な動作例に従って、本実施形態の暗視装置１の動作を説明する。
次に、具体的な動作例に従って、本実施形態の暗視装置１の動作を説明する。
ここでは、図３のＩＲカメラ７、８は、微光暗視部６の視野と重複しない左右両サイドの視野を捉えるように配置されているものとする。微光暗視部６およびＩＲカメラ７、８の視野角は、特に限定されないが、一例として４０°としてもよい。
このとき、図４に示す状況において、微光暗視部６が捉える視野は微光暗視部視野１５に対応する。一方、ＩＲカメラ７、８が捉える視野は、それぞれＩＲカメラ視野１４、１６に対応する。
ＩＲカメラ７、８は赤外線を撮像する素子であるため、可視光で見た視野とは異なる見え方となる。しかし、ＩＲカメラ７、８として遠赤外線カメラを使用することにより、人体の発する熱を２次元の映像情報として捉えることができる。
したがって、図４に示した風景は、微光暗視部６およびＩＲカメラ７、８により、図５に示すイメージとして捉えられることになる。なお、図５のＩＲカメラ視野１４、１６および微光暗視部視野１５以外の領域は視野外であるため、観測者の視野外となる。
処理部９、１０は、それぞれＩＲカメラ７、８の出力信号に対して、所定の下限値と上限値の間に収まる信号のみを出力する処理を施して、表示部１１に出力する。一例として、下限値を３０℃に設定し、上限値を４５℃に設定した場合、火炎等の熱源に邪魔されることなく、人体のみを抽出することが可能となる。
また、処理部９、１０は、視野内に占める所定の下限値・上限値の間に収まる信号に基く画素数が所定の閾値を超過した場合に、表示部１１に当該画素の集まりに相当する対象物の位置と画素数を出力するようにしてもよい。これにより、観測者に近接する熱源（例えば、人物）の存在を選択的に抽出することが可能となる。すなわち、対象物が画像において一定以上の領域を占有する場合に、表示部１１に対象物を表示させることにより、より高いリスクとなり得る近傍に存在する対象物のみを観測者に知らせることが可能となる。
ここで、表示部１１は、少なくとも、処理部９、１０によって抽出された対象物の位置を、画素数に応じた大きさで表示する。具体的には、表示部１１は、対象物が存在する方向（例えば、微光暗視部視野１５に対する相対的な方向、例えば、左右の別）を表示する。
図６（ａ）に示す状況では、表示部１１は、図６（ｂ）に示す表示部画面１７のように、存在表示１８～２０を矢印（▼）で表示する。なお、存在表示１８～２０の表示態様は、図示の態様に限定されない。
ここで、表示部１１は、対象物の画素数に応じて（すなわち、対象物の暗視装置１からの距離に基づいて）、存在表示１８～２０の矢印（▼）の大きさを変更してもよい。具体的には、表示部１１は、対象物の画素数が多い（暗視装置１からの距離が近い）場合、矢印（▼）を相対的に大きく表示する。一方、対象物の画素数が少ない（暗視装置１からの距離が遠い）場合には、表示部１１は矢印（▼）を相対的に小さく表示してもよい。さらに、表示部１１は、画面上において、対象物を構成する画素の重心位置と同一の高さに矢印（▼）を表示してもよい。
融合部１２は、表示部１１によって生成された表示部画面１７と、微光暗視部６から得られる微光暗視部視野１５の映像を融合する。観測者には、リレーレンズ１３を経由して、暗視装置１の表示画像として、図６（ｃ）に示す融合表示画面２１が提供される。
本実施形態の暗視装置１では、実視野は微光暗視部６によって取得される視野のみである。しかしながら、小型軽量、廉価、かつ、画素数の少ないＩＲカメラ７、８を複数設置して組み合わせることで、人体に相当する潜在的リスクの存在を広視野で察知することが可能となる。
微光暗視部６によると、潜んでいる人物を例えばモノクロで表示することができるが、観測者には認識し難い場合もある。かかる場合においても、ＩＲカメラ７、８で赤外線を検出し、処理部９、１０で所定の下限値と上限値の間に収まる信号のみを出力する処理を施した結果を、例えばカラーで表示することで、人物の視認性を大幅に改善することができる。
暗闇の未知の場所に突入するような状況では、人間の認識は前方の狭い視野に注意を集中しがちである。このような状況にあって、本発明によれば、視野外にある潜在的リスクのみを検出して選別的に表示することができる。このとき、観測者は前方へ意識を集中しつつ、潜在的リスクを早期に発見して回避、対処行動に繋げることができる。したがって、本実施形態の暗視装置１によると、例えば、犯罪捜査等における作戦行動の成功率を高めることが可能となる。
以下、本実施形態の暗視装置１によってもたらされる効果について、さらに詳述する。
ます、暗視装置１によると、小型・軽量化と実効的な広視野とを両立した暗視装置が実現される。その理由は、潜在的なリスクとなり得る熱源の存在を赤外線カメラ（ＩＲカメラ７、８）で広視野を捉えることによる。
微光暗視部６は、可視光から近赤外領域の照明光が乏しい状況で、光を増幅して人間の目で認知し易いレベルまで拡大して表示するため、通常の明るい場所での景観に近く、人間の空間認識を容易にして、活動し易くするための映像を提供する。一方で、広視野を確保するために、光電子倍増管を複数束ねたパノラミック・ナイトビジョン・ゴーグルのような形態を採用すると、装置の重量が増し、サイズも増大してしまう。本実施形態の暗視装置１では、微光暗視部６の数を最小に抑えつつ、最低限必要とされる中心視野については、通常の明るい場所での景観に近く認識し易い映像を確保する。これにより、微光暗視部６の数が少なくて済むため、大幅な小型化、軽量化が可能となる。
また、本実施形態の暗視装置１では、赤外線カメラ（ＩＲカメラ７、８）によって広視野をカバーする。これにより、雰囲気よりも高温または低温の対象物を検出し易くし、広視野にわたる潜在的リスクの検出力を高めることが可能となる。なお、赤外線カメラの映像に基づいて、特定の温度範囲にある対象物の有無と、対象物が存在する方向を検出することを目的とする場合には、赤外線カメラとして画素数の少ない小型・軽量のものを採用すれば十分である。
さらに、単一の赤外線カメラ・レンズで広視野を確保する場合、画像が歪み、画面が暗くなり、レンズが大型化し重量が増大する等の問題が生じる。しかしながら、本実施形態の暗視装置１のように画素数の少ない小型、軽量の赤外線カメラを複数設置して、合成の視野角として実効視野を確保することにより、小型・軽量化の効果がもたらされる。
以上のように、暗視装置１では、中心視野を最小限の微光暗視部６によって確保し、広い視野を複数台のＩＲカメラ７、８でカバーすることにより、小型化・軽量化と実効的広視野を両立した暗視装置が実現される。
さらに、本実施形態の暗視装置１によると、実効的に広視野な暗視装置を廉価に実現することができる。その理由は、微光暗視部６の台数を最小限としつつ、廉価な赤外線カメラを複数台設けたことによる。
一般に、微光暗視部６はイメージ管などの高価な部品と、僅かな光を損失最小で伝達・処理するレンズで構成されるため、広視野を確保する場合、非常に高価となる。しかしながら、本実施形態の暗視装置１によれば、最も高価な微光暗視部６の個数を最小限（通常、１台で足りる）としつつ、広視野を複数の赤外線カメラによって確保する。これにより、同様の視野を微光暗視部のみで実現した場合と比較して、暗視装置を非常に廉価に実現することができる。
なお、特定の温度範囲にある対象物の有無と、その方向を検出することを目的とした場合、赤外線カメラとして画素数の少ない廉価なものを採用すれば十分であり、レンズも小型・軽量で済む。したがって、赤外線カメラの光学素子にも、廉価なものを採用することが可能となる。
以上のように、本実施形態の暗視装置１によると、最小限の微光暗視部と、廉価な赤外線カメラ・赤外線用レンズを複数台組み合わせることで、廉価かつ実効的に広視野な暗視装置を実現することができる。
＜実施形態１の変形例１＞
第１の実施形態では、図３、４に示すように、中央の微光暗視部視野１５を微光暗視部６によって確保し、当該視野の左右のＩＲカメラ視野１４、１６を２台のＩＲカメラ７、８によって確保する構成を例示した。
第１の実施形態では、図３、４に示すように、中央の微光暗視部視野１５を微光暗視部６によって確保し、当該視野の左右のＩＲカメラ視野１４、１６を２台のＩＲカメラ７、８によって確保する構成を例示した。
ただし、微光暗視部視野とＩＲカメラ視野との相対的な位置関係は、図示の態様に限定されない。すなわち、ＩＲカメラによって撮像する領域は、微光暗視部によって撮像される領域に対して、左右方向に限定されず、上下方向であってもよいし、奥行き方向について異なる領域をカバーするようにしてもよいし、さらに、これらの複数を組み合わせた領域をカバーするようにしてもよい。
＜実施形態１の変形例２＞
第１の実施形態では、図３、４に示すように、中央の微光暗視部視野１５を微光暗視部６によって確保し、当該視野の左右のＩＲカメラ視野１４、１６を２台のＩＲカメラ７、８によって確保する構成を例示した。
第１の実施形態では、図３、４に示すように、中央の微光暗視部視野１５を微光暗視部６によって確保し、当該視野の左右のＩＲカメラ視野１４、１６を２台のＩＲカメラ７、８によって確保する構成を例示した。
かかる構成の変形例として、第３のＩＲカメラ（非図示）を図３のＩＲカメラ７、８の間に配置し、第３のＩＲカメラと微光暗視部６によって、微光暗視部視野１５を重複してカバーするようにしてもよい。
このとき、ＩＲカメラ７、８と第３のＩＲカメラの視野角をそれぞれ４０°とし、３台のＩＲカメラによって水平方向について１２０°の合成視野角を実現してもよい。
なお、第３のＩＲカメラを設けた場合、第３のＩＲカメラによる映像を図示しない第３の処理部によって処理して輪郭情報のみを抽出し、表示部１１に表示させるとともに融合部１２で微光暗視画像に重畳して観測者に提供してもよい。
かかる変形例によると、第１の実施形態の暗視装置１と比較して、微光暗視部視野１５における対象物の視認性をさらに向上させることが可能となる。
＜実施形態１の変形例３＞
第１の実施形態では、図３、４に示すように、微光暗視部６による微光暗視部視野１５と、ＩＲカメラ７、８によるＩＲカメラ視野１４、１６とが互いに重ならないようにした構成について説明した。
第１の実施形態では、図３、４に示すように、微光暗視部６による微光暗視部視野１５と、ＩＲカメラ７、８によるＩＲカメラ視野１４、１６とが互いに重ならないようにした構成について説明した。
かかる構成の変形例として、図８に示すように、微光暗視部６による微光暗視部視野２３とＩＲカメラ７、８によるＩＲカメラ視野２２、２４とが互いに重複する部分を有する構成を採用してもよい。図８に例示した構成では、微光暗視部視野２３と、ＩＲカメラ視野２２、２４との間には、重複する領域と、ＩＲカメラ７、８のみによってカバーされる領域とが存在する。
図８のように視野を配置した場合、微光暗視部視野２３と、ＩＲカメラ視野２２、２４の間で重複する部分については、処理部９、１０は、ＩＲカメラ視野２２、２４について得られた赤外線画像から輪郭情報のみを取り出し、表示部１１に表示させる。さらに、融合部１２は、微光暗視部６から得られる映像の上に赤外線の輪郭情報を重畳表示する。
また、ＩＲカメラ視野２２、２４のみによってカバーされる領域に関しては、処理部９、１０は、所定の下限値と上限値の間に収まる信号のみを出力する処理を施し、表示部１１に（例えば、図６（ｂ）の存在表示１８～２０のように）表示させる。さらに、融合部１２は、微光暗視部視野２３に対する画像に対して、表示部１１による表示を重畳して表示する。
かかる変形例においても、第１の実施形態と同様の効果がもたらされる。また、ＩＲカメラ視野２２、２４と微光暗視部視野２３とが重なる領域については、上記変形例２と同様の効果を奏することが可能となる。
＜実施形態２＞
第１の実施形態では、ＩＲカメラ７、８によって得られた赤外線画像から対象物の有無と、対象物の相対的な位置を抽出し、微光暗視部６によって得られた画像に対して、対象物の存在を示す情報（図６（ｃ）の存在表示１８～２０）を重ねて表示する構成について説明した。
第１の実施形態では、ＩＲカメラ７、８によって得られた赤外線画像から対象物の有無と、対象物の相対的な位置を抽出し、微光暗視部６によって得られた画像に対して、対象物の存在を示す情報（図６（ｃ）の存在表示１８～２０）を重ねて表示する構成について説明した。
本実施形態では、赤外線画像から抽出した、対象物の有無と、対象物の相対的な位置を表示する代わりに、音声として出力する。
図９は、本実施形態の暗視装置１の構成を例示するブロック図である。図９を参照すると、本実施形態の暗視装置１は、図２に示す第１の実施形態の暗視装置１と同様の構成を有する。ただし、本実施形態の暗視装置１は、図２の表示部１１の代わりに、音声出力部２５を備え、融合部１２を削除した構成を有する。
第１の実施形態の暗視装置１と同様に、処理部９、１０は、それぞれ、ＩＲカメラ７、８から入力した２次元の遠赤外線画像を参照し、予め設定された温度範囲に入る画素を選択して画素数をカウントする。また、処理部９、１０は、２次元の赤外線画像の中で、設定された温度範囲に入る画素が検出された位置（または、連なった画素の集合の重心位置）と、画素数の情報を音声出力部２５に出力する。
音声出力部２５は、処理部９、１０から受信した、対象物の画素数の情報と、対象物の位置に関する情報に基づいて、対象物の位置を音声出力する。
ここでは、一例として、図３、図４に示すように、ＩＲカメラ７、８によるＩＲカメラ視野１４が微光暗視部６による微光暗視部視野１５の左右に設けられている場合を想定する。この場合、対象物がＩＲカメラ視野１６において観測されたときには、音声出力部２５は右側に対象物が存在する旨を音声で出力し、一方、対象物がＩＲカメラ視野１４において観測されたときには、音声出力部２５は左側に対象物が存在する旨を音声で出力する。
さらに、音声出力部２５は、対象物の画素数に応じて（すなわち、対象物の暗視装置１からの距離に基づいて）、音声出力の態様を変更してもよい。具体的には、音声出力部２５は、対象物の画素数が多い（暗視装置１からの距離が近い）場合、相対的に大きい音量で音声出力し、一方、対象物の画素数が少ない（暗視装置１からの距離が遠い）場合には、相対的に小さい音量で音声出力するようにしてもよい。
また、音声出力部２５は、暗視装置１の外部への音声の漏れが問題となる場合には、観測者の両耳に装着可能なヘッドフォンまたはイヤホンに対して音声出力を行うようにしてもよい。かかる場合、対象物がＩＲカメラ視野１６において観測されたときには、音声出力部２５は右側のヘッドフォンまたはイヤホンに対して対象物が存在する旨（または、画素数に応じた音量の音声）を出力してもよい。一方、対象物がＩＲカメラ視野１４において観測されたときには、音声出力部２５は左側のヘッドフォンまたはイヤホンに対して対象物が存在する旨、または、画素数に応じた音量の音声を出力してもよい。
本実施形態の暗視装置によると、第１の実施形態の暗視装置と同様の効果がもたらされる。さらに、本実施形態、潜在的なリスクと成り得る熱源の存在については音声によって観測者に通知する。かかる構成によると、観測者は視覚と聴覚という複数の感覚器官を用いて観測を行うことができ、夜間等の状況においても、対象物（人など）の発見が容易となり、リスクを回避する行動も取り易くなる。
以上、実施形態に従って本発明の暗視装置について説明したが、上記実施形態に係る暗視装置は、さまざまな用途に活用することができる。
一例として、上記実施形態の暗視装置は、暗闇の中で照明を用いることができない状況、または、十分な照度で照明できない状況の中で、活動をする必要がある場合に特に有効となる。また、人が夜間や暗闇の中を歩行する場面で、視野の中心において可視光の視界に近い映像を得つつ、人、高温物体、低温物体等の雰囲気温度とは異なる温度の対象物が存在することを広い視野で検知することが有用な場面での利用が可能である。具体的には、犯罪捜査、人質救出、夜間の被災地救助活動、消火活動終了後の夜間の現場検証、山岳、森林での捜索活動等おいて、有効に活用することができる。
なお、本発明において、下記の形態が可能である。
［形態１］
上記第１の態様に係る暗視装置のとおりである。
［形態２］
前記抽出部は、前記対象物の位置を抽出し、
前記出力部は、抽出された前記対象物の位置が前記第１領域外である場合、前記第１領域に対する前記対象物の相対的な方向を示す情報を出力する、
形態１に記載の暗視装置。
［形態３］
前記出力部は、前記対象物の相対的な方向を示す情報を、前記第１領域を撮像した画像に重ね合わせて表示する、
形態２に記載の暗視装置。
［形態４］
前記出力部は、前記対象物の方向を示す情報を音声で出力する、
形態２または３に記載の暗視装置。
［形態５］
前記出力部は、抽出された前記対象物の位置が前記第１領域内である場合、前記対象物の位置を示す情報を、前記第１領域を撮像した画像に重ね合わせて表示する、
形態２ないし４のいずれか一に記載の暗視装置。
［形態６］
前記抽出部は、所定の温度領域内の対象物を抽出する、
形態２ないし５のいずれか一に記載の暗視装置。
［形態７］
前記抽出部は、前記所定の温度領域内の対象物の画素数を抽出し、
前記出力部は、前記画素数が所定の閾値以上である場合、前記対象物を出力する、
形態６に記載の暗視装置。
［形態８］
前記出力部は、前記対象物の相対的な方向を示す情報を、前記第１領域を撮像した画像に重ね合わせて前記画素数に応じて表示し、かつ／または、前記対象物の方向を示す情報を前記画素数に応じた音量で出力する、
形態７に記載の暗視装置。
［形態９］
上記第２の態様に係る暗視方法のとおりである。
［形態１０］
前記対象物の位置を抽出するステップを含み、
前記出力するステップにおいて、抽出された前記対象物の位置が前記第１領域外である場合、前記第１領域に対する前記対象物の相対的な方向を示す情報を出力する、
形態９に記載の暗視方法。
［形態１１］
前記出力するステップにおいて、前記対象物の相対的な方向を示す情報を、前記第１領域を撮像した画像に重ね合わせて表示する、
形態１０に記載の暗視方法。
［形態１２］
前記出力するステップにおいて、前記対象物の方向を示す情報を音声で出力する、
形態１０または１１に記載の暗視方法。
［形態１３］
前記出力するステップにおいて、抽出された前記対象物の位置が前記第１領域内である場合、前記対象物の位置を示す情報を、前記第１領域を撮像した画像に重ね合わせて表示する、
形態１０ないし１２のいずれか一に記載の暗視方法。
［形態１４］
前記抽出するステップにおいて、所定の温度領域内の対象物を抽出する、
形態１０ないし１３のいずれか一に記載の暗視方法。
［形態１５］
前記所定の温度領域内の対象物の画素数を抽出するステップを含み、
前記出力するステップにおいて、前記画素数が所定の閾値以上である場合、前記対象物を出力する、
形態１４に記載の暗視方法。
［形態１６］
前記出力するステップにおいて、前記対象物の相対的な方向を示す情報を、前記第１領域を撮像した画像に重ね合わせて前記画素数に応じて表示し、かつ／または、前記対象物の方向を示す情報を前記画素数に応じた音量で出力する、
形態１５に記載の暗視方法。
［形態１７］
第３の態様に係るプログラムのとおりである。
［形態１８］
前記対象物の位置を抽出する処理と、
抽出された前記対象物の位置が前記第１領域外である場合、前記第１領域に対する前記対象物の相対的な方向を示す情報を出力する処理と、を前記コンピュータに実行させる、
形態１７に記載のプログラム。
［形態１９］
前記対象物の相対的な方向を示す情報を、前記第１領域を撮像した画像に重ね合わせて表示する処理を、前記コンピュータに実行させる、
形態１８に記載のプログラム。
［形態２０］
前記対象物の方向を示す情報を音声で出力する処理を、前記コンピュータに実行させる、
形態１８または１９に記載のプログラム。
［形態２１］
抽出された前記対象物の位置が前記第１領域内である場合、前記対象物の位置を示す情報を、前記第１領域を撮像した画像に重ね合わせて表示する処理を、前記コンピュータに実行させる、
形態１８ないし２０のいずれか一に記載のプログラム。
［形態２２］
所定の温度領域内の対象物を抽出する処理を前記コンピュータに実行させる、
形態１８ないし２１のいずれか一に記載のプログラム。
［形態２３］
前記所定の温度領域内の対象物の画素数を抽出する処理と、
前記画素数が所定の閾値以上である場合、前記対象物を出力する処理と、を前記コンピュータに実行させる、
形態２２に記載のプログラム。
［形態２４］
前記対象物の相対的な方向を示す情報を、前記第１領域を撮像した画像に重ね合わせて前記画素数に応じて表示し、かつ／または、前記対象物の方向を示す情報を前記画素数に応じた音量で出力する処理を、前記コンピュータに実行させる、
形態２３に記載のプログラム。
［形態１］
上記第１の態様に係る暗視装置のとおりである。
［形態２］
前記抽出部は、前記対象物の位置を抽出し、
前記出力部は、抽出された前記対象物の位置が前記第１領域外である場合、前記第１領域に対する前記対象物の相対的な方向を示す情報を出力する、
形態１に記載の暗視装置。
［形態３］
前記出力部は、前記対象物の相対的な方向を示す情報を、前記第１領域を撮像した画像に重ね合わせて表示する、
形態２に記載の暗視装置。
［形態４］
前記出力部は、前記対象物の方向を示す情報を音声で出力する、
形態２または３に記載の暗視装置。
［形態５］
前記出力部は、抽出された前記対象物の位置が前記第１領域内である場合、前記対象物の位置を示す情報を、前記第１領域を撮像した画像に重ね合わせて表示する、
形態２ないし４のいずれか一に記載の暗視装置。
［形態６］
前記抽出部は、所定の温度領域内の対象物を抽出する、
形態２ないし５のいずれか一に記載の暗視装置。
［形態７］
前記抽出部は、前記所定の温度領域内の対象物の画素数を抽出し、
前記出力部は、前記画素数が所定の閾値以上である場合、前記対象物を出力する、
形態６に記載の暗視装置。
［形態８］
前記出力部は、前記対象物の相対的な方向を示す情報を、前記第１領域を撮像した画像に重ね合わせて前記画素数に応じて表示し、かつ／または、前記対象物の方向を示す情報を前記画素数に応じた音量で出力する、
形態７に記載の暗視装置。
［形態９］
上記第２の態様に係る暗視方法のとおりである。
［形態１０］
前記対象物の位置を抽出するステップを含み、
前記出力するステップにおいて、抽出された前記対象物の位置が前記第１領域外である場合、前記第１領域に対する前記対象物の相対的な方向を示す情報を出力する、
形態９に記載の暗視方法。
［形態１１］
前記出力するステップにおいて、前記対象物の相対的な方向を示す情報を、前記第１領域を撮像した画像に重ね合わせて表示する、
形態１０に記載の暗視方法。
［形態１２］
前記出力するステップにおいて、前記対象物の方向を示す情報を音声で出力する、
形態１０または１１に記載の暗視方法。
［形態１３］
前記出力するステップにおいて、抽出された前記対象物の位置が前記第１領域内である場合、前記対象物の位置を示す情報を、前記第１領域を撮像した画像に重ね合わせて表示する、
形態１０ないし１２のいずれか一に記載の暗視方法。
［形態１４］
前記抽出するステップにおいて、所定の温度領域内の対象物を抽出する、
形態１０ないし１３のいずれか一に記載の暗視方法。
［形態１５］
前記所定の温度領域内の対象物の画素数を抽出するステップを含み、
前記出力するステップにおいて、前記画素数が所定の閾値以上である場合、前記対象物を出力する、
形態１４に記載の暗視方法。
［形態１６］
前記出力するステップにおいて、前記対象物の相対的な方向を示す情報を、前記第１領域を撮像した画像に重ね合わせて前記画素数に応じて表示し、かつ／または、前記対象物の方向を示す情報を前記画素数に応じた音量で出力する、
形態１５に記載の暗視方法。
［形態１７］
第３の態様に係るプログラムのとおりである。
［形態１８］
前記対象物の位置を抽出する処理と、
抽出された前記対象物の位置が前記第１領域外である場合、前記第１領域に対する前記対象物の相対的な方向を示す情報を出力する処理と、を前記コンピュータに実行させる、
形態１７に記載のプログラム。
［形態１９］
前記対象物の相対的な方向を示す情報を、前記第１領域を撮像した画像に重ね合わせて表示する処理を、前記コンピュータに実行させる、
形態１８に記載のプログラム。
［形態２０］
前記対象物の方向を示す情報を音声で出力する処理を、前記コンピュータに実行させる、
形態１８または１９に記載のプログラム。
［形態２１］
抽出された前記対象物の位置が前記第１領域内である場合、前記対象物の位置を示す情報を、前記第１領域を撮像した画像に重ね合わせて表示する処理を、前記コンピュータに実行させる、
形態１８ないし２０のいずれか一に記載のプログラム。
［形態２２］
所定の温度領域内の対象物を抽出する処理を前記コンピュータに実行させる、
形態１８ないし２１のいずれか一に記載のプログラム。
［形態２３］
前記所定の温度領域内の対象物の画素数を抽出する処理と、
前記画素数が所定の閾値以上である場合、前記対象物を出力する処理と、を前記コンピュータに実行させる、
形態２２に記載のプログラム。
［形態２４］
前記対象物の相対的な方向を示す情報を、前記第１領域を撮像した画像に重ね合わせて前記画素数に応じて表示し、かつ／または、前記対象物の方向を示す情報を前記画素数に応じた音量で出力する処理を、前記コンピュータに実行させる、
形態２３に記載のプログラム。
なお、上記特許文献１ないし３の全開示内容は、本書に引用をもって繰り込み記載されているものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素（各請求項の各要素、各実施形態の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。
１ 暗視装置
２ 第１撮像部
３ 第２撮像部
４ 抽出部
５ 出力部
６ 微光暗視部
７、８ ＩＲカメラ
９、１０ 処理部
１１ 表示部
１２ 融合部
１３ リレーレンズ
１４、１６、２２、２４ ＩＲカメラ視野
１５、２３ 微光暗視部視野
１７ 表示部画面
１８～２０ 存在表示
２１ 融合表示画面
２５ 音声出力部
２ 第１撮像部
３ 第２撮像部
４ 抽出部
５ 出力部
６ 微光暗視部
７、８ ＩＲカメラ
９、１０ 処理部
１１ 表示部
１２ 融合部
１３ リレーレンズ
１４、１６、２２、２４ ＩＲカメラ視野
１５、２３ 微光暗視部視野
１７ 表示部画面
１８～２０ 存在表示
２１ 融合表示画面
２５ 音声出力部
Claims (10)
- 第１領域を可視光に基づいて撮像する第１撮像部と、
第２領域を赤外線に基づいて撮像する第２撮像部と、
前記第２領域を撮像した画像から対象物を抽出する抽出部と、
前記第１領域を撮像した画像とともに、前記対象物を示す情報を出力する出力部と、を備える、
ことを特徴とする暗視装置。 - 前記抽出部は、前記対象物の位置を抽出し、
前記出力部は、前記位置が前記第１領域外である場合、前記第１領域に対する前記対象物の相対的な方向を示す情報を出力する、
請求項１に記載の暗視装置。 - 前記出力部は、前記第１領域に対する前記対象物の相対的な方向を示す情報を、前記第１領域を撮像した画像に重ね合わせて表示する、
請求項２に記載の暗視装置。 - 前記出力部は、前記第１領域に対する前記対象物の相対的な方向を示す情報を、音声で出力する、
請求項２または３に記載の暗視装置。 - 前記出力部は、前記対象物の位置が前記第１領域内である場合、前記対象物の位置を示す情報を、前記第１領域を撮像した画像に重ね合わせて表示する、
請求項２ないし４のいずれか１項に記載の暗視装置。 - 前記抽出部は、所定の温度領域に含まれる対象物を抽出する、
請求項２ないし５のいずれか１項に記載の暗視装置。 - 前記抽出部は、前記所定の温度領域に含まれる対象物の画素数を抽出し、
前記出力部は、前記画素数が所定の閾値以上である場合、前記対象物を出力する、
請求項６に記載の暗視装置。 - 前記出力部は、前記第１領域に対する前記対象物の相対的な方向を示す情報を、前記第１領域を撮像した画像に重ね合わせて前記画素数に応じて表示し、かつ／または、前記第１の領域に対する前記対象物の相対的な方向を示す情報を前記画素数に応じた音量で出力する、
請求項７に記載の暗視装置。 - 第１領域を可視光に基づいて撮像するステップと、
第２領域を赤外線に基づいて撮像するステップと、
前記第２領域を撮像した画像から対象物を抽出するステップと、
前記第１領域を撮像した画像とともに、前記対象物を示す情報を出力するステップと、を含む、
ことを特徴とする暗視方法。 - 第１領域を可視光に基づいて撮像する処理と、
第２領域を赤外線に基づいて撮像する処理と、
前記第２領域を撮像した画像から対象物を抽出する処理と、
前記第１領域を撮像した画像とともに、前記対象物を示す情報を出力する処理と、をコンピュータに実行させる、
ことを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017514172A JP6575593B2 (ja) | 2015-04-22 | 2016-04-20 | 暗視装置、暗視方法およびプログラム |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015-087297 | 2015-04-22 | ||
| JP2015087297 | 2015-04-22 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2016171190A1 true WO2016171190A1 (ja) | 2016-10-27 |
Family
ID=57143118
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2016/062557 WO2016171190A1 (ja) | 2015-04-22 | 2016-04-20 | 暗視装置、暗視方法およびプログラム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6575593B2 (ja) |
| WO (1) | WO2016171190A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018128483A (ja) * | 2017-02-06 | 2018-08-16 | 鎌倉光機株式会社 | 光学観察装置 |
| JP2018128484A (ja) * | 2017-02-06 | 2018-08-16 | 鎌倉光機株式会社 | 光学観察装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0974504A (ja) * | 1995-09-05 | 1997-03-18 | Canon Inc | 撮像装置 |
| JP2004246252A (ja) * | 2003-02-17 | 2004-09-02 | Takenaka Komuten Co Ltd | 画像情報収集装置及び方法 |
| JP2006050280A (ja) * | 2004-08-05 | 2006-02-16 | Sony Corp | 撮像装置及び撮像方法 |
| JP2010118984A (ja) * | 2008-11-14 | 2010-05-27 | Nikon Corp | 撮影装置 |
| JP2012029245A (ja) * | 2010-07-27 | 2012-02-09 | Sanyo Electric Co Ltd | 撮像装置 |
| JP2014155083A (ja) * | 2013-02-12 | 2014-08-25 | Seiko Epson Corp | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0739168U (ja) * | 1993-12-17 | 1995-07-14 | キヤノン株式会社 | 撮像装置 |
| JP2015167310A (ja) * | 2014-03-04 | 2015-09-24 | キヤノン株式会社 | 撮像装置及び撮像方法 |
-
2016
- 2016-04-20 WO PCT/JP2016/062557 patent/WO2016171190A1/ja active Application Filing
- 2016-04-20 JP JP2017514172A patent/JP6575593B2/ja active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0974504A (ja) * | 1995-09-05 | 1997-03-18 | Canon Inc | 撮像装置 |
| JP2004246252A (ja) * | 2003-02-17 | 2004-09-02 | Takenaka Komuten Co Ltd | 画像情報収集装置及び方法 |
| JP2006050280A (ja) * | 2004-08-05 | 2006-02-16 | Sony Corp | 撮像装置及び撮像方法 |
| JP2010118984A (ja) * | 2008-11-14 | 2010-05-27 | Nikon Corp | 撮影装置 |
| JP2012029245A (ja) * | 2010-07-27 | 2012-02-09 | Sanyo Electric Co Ltd | 撮像装置 |
| JP2014155083A (ja) * | 2013-02-12 | 2014-08-25 | Seiko Epson Corp | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018128483A (ja) * | 2017-02-06 | 2018-08-16 | 鎌倉光機株式会社 | 光学観察装置 |
| JP2018128484A (ja) * | 2017-02-06 | 2018-08-16 | 鎌倉光機株式会社 | 光学観察装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2016171190A1 (ja) | 2018-03-15 |
| JP6575593B2 (ja) | 2019-09-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105739093B (zh) | 透过式增强现实近眼显示器 | |
| US11126014B2 (en) | Eyewear, eyewear systems and associated methods for enhancing vision | |
| WO2014197109A3 (en) | Infrared video display eyewear | |
| US11206341B2 (en) | Fusion night vision system | |
| US10630892B2 (en) | Display control apparatus to perform predetermined process on captured image | |
| JP2008011456A (ja) | 撮像装置 | |
| WO2019041614A1 (zh) | 沉浸式虚拟现实头戴显示装置和沉浸式虚拟现实显示方法 | |
| US20160264051A1 (en) | Night Driving System and Method | |
| JP5484453B2 (ja) | 複数の動作モードの光学機器 | |
| WO2008145735A3 (fr) | Camera infrarouge comportant un zoom optique de grand rapport | |
| JP6575593B2 (ja) | 暗視装置、暗視方法およびプログラム | |
| US20190011702A1 (en) | Helmet-Mounted Visualization Device Without Parallax and its Operation Method | |
| JP5020553B2 (ja) | 顔面装着型画像視認装置 | |
| WO2016157923A1 (ja) | 情報処理装置及び情報処理方法 | |
| KR102254174B1 (ko) | 야간 투시경 기능을 갖는 머리 착용형 디스플레이 장치 | |
| JP2003287708A (ja) | 視覚拡張装置および表示システム | |
| US20130127986A1 (en) | Common holographic imaging platform | |
| KR102614494B1 (ko) | 비동일 카메라 기반 영상 처리 장치 | |
| CN206563533U (zh) | 电子瞄准镜 | |
| US11867908B2 (en) | Folded optic augmented reality display | |
| CN216291220U (zh) | 一种单筒双目夜视仪 | |
| CN218848452U (zh) | 一种微光夜视装置 | |
| JP5281904B2 (ja) | ビューファインダーシステム及びそれを備えた撮像装置 | |
| JP6447981B2 (ja) | 光学観察装置 | |
| TWM451562U (zh) | 全方位電子眼鏡 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16783211 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2017514172 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 16783211 Country of ref document: EP Kind code of ref document: A1 |