WO2024018973A1 - 情報処理方法、情報処理装置、及び情報処理プログラム - Google Patents

情報処理方法、情報処理装置、及び情報処理プログラム Download PDF

Info

Publication number
WO2024018973A1
WO2024018973A1 PCT/JP2023/025796 JP2023025796W WO2024018973A1 WO 2024018973 A1 WO2024018973 A1 WO 2024018973A1 JP 2023025796 W JP2023025796 W JP 2023025796W WO 2024018973 A1 WO2024018973 A1 WO 2024018973A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
photographable
area
markers
recognized
Prior art date
Application number
PCT/JP2023/025796
Other languages
English (en)
French (fr)
Inventor
智司 松井
正真 遠間
光波 中
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2024018973A1 publication Critical patent/WO2024018973A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to a technique for masking areas other than the photographable area within an image.
  • an imaging possible area is set in a work area in which video sharing with a remote support worker is permitted, and a masked video in which the work area that is not the imaging possible area is masked is sent to the remote support worker.
  • a video control device for transmitting data to a remote terminal for use in a remote location is disclosed.
  • Conventional video control devices detect markers included in video data, extract marker information indicating the imageable area from the detected markers, and extract images that are determined to be outside the imageable area from the video data.
  • the area is determined as a non-shareable video area, and the non-shareable video area is masked to generate a masked video.
  • the present disclosure has been made to solve the above problem, and even when multiple markers are not recognized, it is possible to output an image in which areas other than the photographable area surrounded by multiple markers are masked.
  • the purpose is to provide technology.
  • An information processing method is an information processing method in a computer, in which an image taken by a camera is acquired, a plurality of markers included in the image are recognized, and the plurality of markers are recognized. , a photographable area surrounded by the plurality of recognized markers is specified, and if the plurality of markers are not recognized, a currently acquired image that matches a photographable image within the photographable area identified in the past is identified. A region in the image that has been captured is specified as the photographable region, a mask image is created in which a region outside the photographable region in the image is masked, and the mask image is output.
  • FIG. 1 is a diagram illustrating an example of a configuration of a work support system according to Embodiment 1 of the present disclosure.
  • FIG. 3 is a diagram showing an example of a work space in the first embodiment.
  • 1 is a diagram illustrating an example of the configuration of an image processing apparatus in Embodiment 1.
  • FIG. 3 is a diagram showing an example of an image taken by a camera so that all markers are visible in the first embodiment.
  • FIG. 3 is a diagram showing an example of an initial photographable image in the first embodiment.
  • 5 is a diagram showing an example of a mask image created based on the image shown in FIG. 4 in the first embodiment.
  • FIG. 5 is a diagram illustrating an example of an image taken by a camera that approaches a support target device in the first embodiment;
  • FIG. 3 is a diagram showing an example of a work space in the first embodiment.
  • 1 is a diagram illustrating an example of the configuration of an image processing apparatus in Embodiment 1.
  • FIG. 3 is a diagram
  • FIG. 8 is a diagram showing an example of a mask image created based on the image shown in FIG. 7 in the first embodiment
  • FIG. FIG. 3 is a diagram illustrating an example of an image photographed by a camera whose photographing range has moved to the right in the first embodiment
  • 10 is a diagram showing an example of a mask image created based on the image shown in FIG. 9 in the first embodiment.
  • FIG. FIG. 2 is a first flowchart for explaining work support processing by the image processing device according to Embodiment 1 of the present disclosure.
  • FIG. FIG. 7 is a second flowchart for explaining work support processing by the image processing device in Embodiment 1 of the present disclosure.
  • FIG. 3 is a diagram illustrating an example of the configuration of an image processing device in Embodiment 2.
  • FIG. 12 is a first flowchart for explaining work support processing by the image processing apparatus according to Embodiment 2 of the present disclosure.
  • 12 is a second flowchart for explaining work support processing by the image processing device according to Embodiment 2 of the present disclosure.
  • 3 is a diagram illustrating an example of the configuration of an image processing apparatus in Embodiment 3.
  • FIG. 12 is a diagram showing an example of an image taken by a camera when all the plurality of markers are recognized for the first time in Embodiment 3;
  • FIG. 9 is a diagram showing an example of a mask image created when the camera approaches the support target device from the initial position in the third embodiment.
  • FIG. 9 is a diagram showing an example of a mask image created when the camera approaches the support target device from the initial position and the imaging range moves to the right in the third embodiment.
  • 12 is a first flowchart for explaining work support processing by the image processing device in Embodiment 3 of the present disclosure.
  • 12 is a second flowchart for explaining work support processing by the image processing device according to Embodiment 3 of the present disclosure.
  • 13 is a third flowchart for explaining work support processing by the image processing device according to Embodiment 3 of the present disclosure.
  • Confidential information may be reflected in the video when it is transmitted to a remote location. Therefore, in order to prevent confidential information from leaking to the outside through video transmission, processing is performed to identify objects that can transmit video or objects that are confidential information, and mask the area corresponding to the confidential information in the video. be exposed.
  • a worker at the site places multiple markers to surround an area where video may be transmitted, that is, an area that does not contain confidential information.
  • a plurality of markers in the photographed video are recognized, and an area outside the imageable area surrounded by the recognized markers is masked, thereby preventing confidential information from leaking.
  • the imageable area cannot be determined and all pixels of the video are masked. There is a possibility that the desired video cannot be transmitted.
  • each of the plurality of markers is a two-dimensional code having marker information. Therefore, if one or more of the multiple markers is within the field of view of the camera, conventional video control devices cannot extract marker information indicating the imageable area from the detected one or more markers. can. Then, the conventional video control device determines a video area of the video data that is determined to be outside the imageable area as a non-shareable video area, masks the non-shareable video area, and generates a masked video. be able to.
  • An information processing method is an information processing method in a computer, which acquires an image taken by a camera, recognizes a plurality of markers included in the image, and recognizes a plurality of markers included in the image. If a marker is recognized, a photographable area surrounded by the plurality of recognized markers is specified, and if the plurality of markers are not recognized, a photographable image within the photographable area identified in the past is identified. A matching area in the currently acquired image is identified as the photographable area, a mask image is created in which a region outside the photographable area in the image is masked, and the mask image is output.
  • a photographable area surrounded by the plurality of recognized markers is specified.
  • an area within the currently acquired image that matches a photographable image within the photographable area specified in the past is specified as the photographable area. Then, a mask image is created by masking the area outside the photographable area in the image, and the mask image is output.
  • the mask image may be created by masking everything in the image.
  • the photographable image within the photographable area in the image is stored in memory as an initial photographable image. If the plurality of markers are not recognized in specifying the photographable area, the initial photographable image is compared with the currently acquired image, and the image that matches the initial photographable image is determined. The area within may be specified as the photographable area.
  • a first sensing value representing the position and orientation of the camera is stored in the memory as a first initial sensing value. If the photographable area is not specified, the first initial sensing value and the current first sensing value are acquired, and further, the first initial sensing value and the current first sensing value are stored. Based on the current position and current orientation of the camera with respect to the initial position and initial orientation of the camera, which are estimated based on sensing values, a region within the currently acquired image that matches the initial photographable image is determined. It may also be specified as a photographable area.
  • the initial position and initial orientation of the camera Based on the current position and current orientation of the camera, it is possible to specify the photographable area within the currently acquired image.
  • the area in the image that matches the image that can be photographed is estimated as the area that can be photographed in the current frame, and the image that can be photographed within the estimated area that can be photographed in the current frame is
  • the estimated photographable area of the current frame may be specified as the photographable area.
  • the photographable area is estimated for each frame, so if multiple markers are not recognized, the estimated photographable area of the current frame is used as the photographable area in the currently acquired image. It can be specified as
  • the information processing method described in (7) above further, acquiring a first sensing value representing the position and orientation of the camera for each frame, and storing the acquired first sensing value in the memory; Further, if the photographable area is not specified, the first sensing value of one frame before and the current first sensing value are acquired, and further, the first sensing value of one frame before and the current first sensing value are obtained. Based on the current position and orientation of the camera with respect to the position and orientation of the camera one frame before, which are estimated based on the first sensing value, the currently acquired image matches the photographable image one frame before. A region within the image may be specified as the photographable region.
  • the photographable image within the photographable area in the image of the initial frame is The image is stored in the memory as an initial photographable image, and the image from one frame before is compared with the image from the current frame, and the change in the imaging range of the image from one frame before and the imaging range of the current frame is determined.
  • the amount of change is calculated for each frame, and the cumulative value of the amount of change from the initial frame to the current frame is calculated, and when the plurality of markers are not recognized in specifying the photographable area, the The photographable area of the current frame may be specified based on the initial photographable area and the cumulative value.
  • the photographable area of the current frame can be specified based on the change in the photographing range of the image from the initial frame to the current frame and the initial photographable image within the image of the initial frame.
  • the present disclosure can be realized not only as an information processing method that executes the above-described characteristic processing, but also as an information processing method that has a characteristic configuration corresponding to the characteristic processing that the information processing method executes. It can also be realized as a device. Further, it can also be realized as a computer program that causes a computer to execute the characteristic processing included in such an information processing method. Therefore, the following other aspects can also produce the same effects as the above information processing method.
  • An information processing device includes an acquisition unit that acquires an image captured by a camera, a recognition unit that recognizes a plurality of markers included in the image, and a recognition unit that recognizes a plurality of markers included in the image. If recognized, a photographable area surrounded by the plurality of recognized markers is specified, and if the plurality of markers are not recognized, the image matches a photographable image within the photographable area identified in the past. , a specifying unit that specifies a region in the currently acquired image as the photographable region; a creating unit that creates a mask image in which an area outside the photographable region in the image is masked; An output unit for outputting the output.
  • An information processing program acquires an image taken by a camera, recognizes a plurality of markers included in the image, and when the plurality of markers are recognized, the information processing program A photographable area surrounded by the plurality of markers is identified, and if the plurality of markers are not recognized, the currently acquired image that matches the photographable image within the photographable area identified in the past is identified.
  • a computer is operated to specify an area within the image as the photographable area, create a mask image in which an area outside the photographable area within the image is masked, and output the mask image.
  • a non-transitory computer-readable recording medium records an information processing program, and the information processing program acquires an image taken by a camera and includes information in the image.
  • a plurality of included markers are recognized, and if the plurality of markers are recognized, a photographable area surrounded by the plurality of recognized markers is identified, and if the plurality of markers are not recognized, a region identified in the past is identified.
  • a mask image in which a region in the currently acquired image that matches the photographable image within the photographable region that has been acquired is specified as the photographable region, and an area outside the photographable region in the image is masked.
  • the computer is operated to create the mask image and output the mask image.
  • FIG. 1 is a diagram illustrating an example of the configuration of a work support system according to Embodiment 1 of the present disclosure.
  • the work support system shown in FIG. 1 includes a camera 1, an image processing device 2, and a remote terminal 3.
  • the camera 1 is, for example, a wearable camera worn on the head of a worker at the site.
  • the worker wears the camera 1 and performs the work.
  • the on-site worker receives work support from the remote worker while photographing the support target device in the on-site work space with the camera 1.
  • a worker at a remote location provides support such as operating and repairing the support target device while viewing images transmitted from the site.
  • FIG. 2 is a diagram showing an example of the work space in the first embodiment.
  • a support target device 101 is installed in the work space 100.
  • a worker at the site photographs the support target device 101 using the camera 1. Images captured by the camera 1 are transmitted to a remote terminal 3 operated by a remote worker. At this time, there is a possibility that confidential information may be reflected in the captured image. Therefore, in order to prevent images containing confidential information from being sent, areas other than a specific work area are hidden by image processing (mask processing).
  • a worker at the site attaches a plurality of markers 111, 112, 113, and 114 to surround a work area that does not include confidential information of the support target device 101.
  • the plurality of markers 111, 112, 113, and 114 are directly attached, for example, with an adhesive substance or a magnet so as to surround the photographable work area.
  • the camera 1 transmits the captured image to the image processing device 2 by short-range wireless communication. Camera 1 transmits images to image processing device 2 at a predetermined frame rate. Therefore, the moving image is transmitted from the camera 1 to the image processing device 2. Note that although the camera 1 is connected wirelessly to the image processing device 2, it may be connected to the image processing device 2 by wire.
  • the camera 1 may be a terminal equipped with a camera, such as a smartphone or a tablet computer. Further, the camera 1 may be a digital camera.
  • the image processing device 2 is, for example, a personal computer operated by a worker at the site.
  • the image processing device 2 is connected to a remote terminal 3 via a network 4 so as to be able to communicate with each other.
  • Network 4 is, for example, the Internet.
  • FIG. 3 is a diagram showing an example of the configuration of the image processing device 2 in the first embodiment.
  • the image processing device 2 shown in FIG. 3 includes a processor 21, a memory 22, and a communication section 23.
  • the processor 21 is, for example, a CPU (central processing unit).
  • the processor 21 realizes an image acquisition section 211, a marker recognition section 212, an area identification section 213, a mask image creation section 214, and an output section 215.
  • the memory 22 is a storage device capable of storing various information, such as a RAM (Random Access Memory), an HDD (Hard Disk Drive), an SSD (Solid State Drive), or a flash memory.
  • RAM Random Access Memory
  • HDD Hard Disk Drive
  • SSD Solid State Drive
  • the image processing device 2 corresponds to an example of an information processing device
  • the image acquisition unit 211 corresponds to an example of an acquisition unit
  • the marker recognition unit 212 corresponds to an example of a recognition unit
  • the area identification unit 213 corresponds to an example of an identification unit.
  • the mask image creation section 214 corresponds to an example of a creation section
  • the output section 215 corresponds to an example of an output section.
  • the communication unit 23 receives the image transmitted by the camera 1.
  • the communication unit 23 outputs the received image to the processor 21.
  • the communication unit 23 receives the moving image transmitted at a predetermined frame rate, and outputs the image to the processor 21 frame by frame.
  • the image acquisition unit 211 acquires an image photographed by the camera 1.
  • the image acquisition unit 211 acquires an image for each frame.
  • the marker recognition unit 212 recognizes multiple markers included in the image acquired by the image acquisition unit 211.
  • four different types of markers 111, 112, 113, and 114 are used. As shown in FIG. 2, the four markers 111, 112, 113, and 114 are rectangular and have different designs.
  • a worker at the site attaches a marker 111 to the upper left of the photographable work area 150, a marker 112 to the lower left of the photographable work area 150, and a marker 113 to the upper right of the photographable work area 150.
  • the marker 114 is attached to the lower right of the work area 150 that can be photographed. Note that the positions where the four markers 111, 112, 113, and 114 are arranged are not particularly determined. The four markers 111, 112, 113, and 114 may be placed at any of the upper left, lower left, upper right, and lower right of the photographable work area 150.
  • the marker recognition unit 212 recognizes the four markers 111, 112, 113, and 114 included in the image by pattern matching. That is, the marker recognition unit 212 compares the patterns of the plurality of markers stored in advance in the memory 22 with the patterns of the four markers 111, 112, 113, and 114 included in the image, thereby identifying the patterns in the image. Four markers 111, 112, 113, and 114 are recognized.
  • the marker recognition unit 212 can recognize not only markers photographed from the front but also markers photographed from an oblique direction.
  • markers are used in the first embodiment, the present disclosure is not particularly limited thereto, and three markers or five or more markers may be used.
  • the area specifying unit 213 specifies a photographable area surrounded by the plurality of recognized markers 111, 112, 113, 114. .
  • the area specifying unit 213 determines whether the currently acquired image matches a photographable image within the previously identified photographable area. The area within the captured image is identified as a photographable area.
  • the area identifying unit 213 identifies a photographable area surrounded by the recognized multiple markers 111, 112, 113, and 114. In addition, if at least one of the plurality of markers 111, 112, 113, and 114 is not recognized, the area specifying unit 213 determines whether the currently acquired image matches a photographable image within the photographable area identified in the past. The area within the captured image is identified as a photographable area.
  • the area specifying unit 213 recognizes the upper left vertex of the upper left marker 111, the lower left vertex of the lower left marker 112, and the upper right vertex of the upper right marker 113. and the lower right vertex of the lower right marker 114 are connected with a straight line to specify a photographable area.
  • the area specifying unit 213 identifies the lower right vertex of the upper left marker 111, the upper right vertex of the lower left marker 112, and the upper right marker 113.
  • a photographable region may be specified by connecting the lower left vertex and the upper left vertex of the lower right marker 114 with a straight line.
  • the area specifying unit 213 specifies a photographable area connecting the center points of the four markers 111, 112, 113, and 114 with a straight line. Good too.
  • the area specifying unit 213 predicts the position of the unrecognized marker and determines the photographable area surrounded by the four markers. May be specified.
  • the area specifying unit 213 compares the image that can be photographed within the photographable area specified in the past with the currently acquired image, and selects an image that matches the image that can be photographed. Specify the area within as the photographable area.
  • the area specifying unit 213 stores a photographable image within the photographable area in the image in the memory 22 as an initial photographable image. Then, if multiple markers are not recognized, the area specifying unit 213 compares the initial photographable image with the currently acquired image, and selects an area in the image that matches the initial photographable image as a photographable area. Identify. At this time, the area specifying unit 213 extracts a plurality of feature points of the initial photographable image, extracts a plurality of feature points of the currently acquired image, and extracts a plurality of feature points of the initial photographable image and the currently acquired image. A region in the image having the same feature points as a plurality of feature points of the initial photographable image is identified as a photographable region.
  • the mask image creation unit 214 creates a mask image by masking the area outside the photographable area specified by the area identification unit 213 within the image.
  • the mask image creation unit 214 may create a mask image in which everything in the image is masked when the area identification unit 213 does not identify a photographable area.
  • the memory 22 stores an initial photographable image specified when a plurality of markers are first recognized.
  • the output unit 215 outputs the mask image created by the mask image creation unit 214.
  • the output unit 215 outputs the mask image to the communication unit 23.
  • the communication unit 23 transmits the mask image to the remote terminal 3.
  • FIG. 4 is a diagram showing an example of an image 121 taken by the camera 1 so that all markers are visible in the first embodiment.
  • FIG. 5 is a diagram showing an example of the initial photographable image 171 in the first embodiment. Note that in FIG. 4, the markers are illustrated larger than they actually are in order to make the explanation easier to understand.
  • the image 121 includes all four markers 111, 112, 113, and 114.
  • the marker recognition unit 212 recognizes four markers 111, 112, 113, and 114 included in the image 121 acquired by the image acquisition unit 211.
  • the area specifying unit 213 specifies a photographable area 131 surrounded by the four recognized markers 111, 112, 113, and 114. Further, when the four markers 111, 112, 113, and 114 are recognized for the first time, the area specifying unit 213 saves the photographable image 161 in the photographable area 131 in the image 121 to the memory 22 as the initial photographable image 171.
  • the area specifying unit 213 saves the photographable image 161 in the photographable area 131 in the image 121 to the memory 22 as the initial photographable image 171.
  • the initial photographable image 171 is an image obtained when all four markers 111, 112, 113, 114 are recognized for the first time. This is an image within the photographable area 131 surrounded by 114.
  • FIG. 6 is a diagram showing an example of a mask image 141 created based on the image 121 shown in FIG. 4 in the first embodiment.
  • the mask image creation unit 214 creates a mask image 141 in which a region 132 outside the photographable region 131 in the image 121 is masked.
  • the mask image creation unit 214 performs mask processing on a region 132 outside the photographable region 131 in the image 121.
  • the masking process may be, for example, a process of filling the area 132 with a predetermined color such as black, white, or gray, a process of shading the area 132, or a process of applying a mosaic process to the area 132.
  • the photographable image 161 within the photographable area 131 is visible, and the area 132 other than the photographable area 131 is hidden.
  • FIG. 7 is a diagram showing an example of an image 122 taken by the camera 1 approaching the support target device 101 in the first embodiment.
  • the photographing range of the camera 1 changes to the area 151 in FIG. 4.
  • the four markers 111, 112, 113, and 114 are no longer included in the image 122.
  • Image 122 does not include the four markers 111, 112, 113, 114. Therefore, the marker recognition unit 212 does not recognize the marker from the image 122 acquired by the image acquisition unit 211. If at least one of the four markers 111, 112, 113, and 114 is not recognized, the area specifying unit 213 compares the initial photographable image 171 with the currently acquired image 122, and selects the initial photographable image. The area in the image 122 that matches 171 is specified as a photographable area. In FIG.
  • the four markers 111, 112, 113, and 114 are not included in the image 122 because the camera 1 has approached the support target device 101.
  • the image 122 acquired this time matches the area 191 of the initial photographable image 171 shown in FIG. Therefore, the area specifying unit 213 specifies the entire image 122 acquired this time as the photographable area 131.
  • FIG. 8 is a diagram showing an example of the mask image 142 created based on the image 122 shown in FIG. 7 in the first embodiment.
  • the mask image creation unit 214 creates a mask image 142 in which a region 132 outside the photographable region 131 in the image 122 is masked.
  • the entire image 122 acquired this time is the photographable area 131, so the entire mask image 142 is visible.
  • FIG. 9 is a diagram showing an example of an image 123 taken by the camera 1 whose photographing range has moved to the right in the first embodiment.
  • the shooting range of camera 1 changes to area 152 in FIG. 4.
  • two of the four markers 111, 112, 113, and 114 are no longer included in the image 122.
  • Image 123 does not include two markers 111, 112 among four markers 111, 112, 113, 114. Therefore, the marker recognition unit 212 recognizes the two markers 113 and 114 included in the image 123 acquired by the image acquisition unit 211, and does not recognize the two markers 111 and 112 that are not included in the image 123.
  • the area specifying unit 213 compares the initial photographable image 171 with the currently acquired image 123, and selects the initial photographable image.
  • the area 181 in the image 123 that matches the area 171 is specified as the photographable area 131.
  • the two markers 111 and 112 are not included in the image 123 because the photographing range of the camera 1 has moved to the right.
  • the area 181 in the image 123 acquired this time matches the area 192 of the initial photographable image 171 shown in FIG. Therefore, the area identifying unit 213 identifies the area 181 in the image 123 that matches the initial imageable image 171 as the imageable area 131 .
  • FIG. 10 is a diagram showing an example of a mask image 143 created based on the image 123 shown in FIG. 9 in the first embodiment.
  • the mask image creation unit 214 creates a mask image 143 in which a region 132 outside the photographable region 131 in the image 123 is masked.
  • the mask image creation unit 214 performs mask processing on a region 132 outside the photographable region 131 in the image 123.
  • the photographable image 161 within the photographable area 131 is visible, and the area 132 other than the photographable area 131 is hidden.
  • the image processing device 2 is placed at the site, but the present disclosure is not particularly limited to this, and the image processing device 2 may be a server provided on a cloud. good.
  • the image processing device 2 is connected to the camera 1 via the network 4 so that they can communicate with each other.
  • the remote terminal 3 is, for example, a personal computer, a smartphone, or a tablet computer operated by a remote worker.
  • the remote terminal 3 receives the mask image sent by the image processing device 2.
  • the remote terminal 3 displays the received mask image.
  • Image processing device 2 transmits the mask image to remote terminal 3 at a predetermined frame rate. Therefore, the moving image is transmitted from the image processing device 2 to the remote terminal 3.
  • a worker at a remote location can support the work of a worker at the site while viewing the mask image displayed on the remote terminal 3.
  • the image processing device 2 and the remote terminal 3 may transmit and receive not only image data but also audio data to and from each other.
  • FIG. 11 is a first flowchart for explaining work support processing by the image processing device 2 in the first embodiment of the present disclosure
  • FIG. 12 is a first flowchart for explaining the work support processing by the image processing device 2 in the first embodiment of the present disclosure. It is a 2nd flowchart for demonstrating support processing.
  • step S1 the image acquisition unit 211 acquires an image photographed by the camera 1. Note that an image is acquired from the camera 1 when the camera 1 is powered on or when a button provided on the image processing device 2 to start transmitting a mask image is pressed.
  • step S2 the marker recognition unit 212 determines whether the initialization flag stored in the memory 22 is on. Here, if it is determined that the initialization flag is not on, that is, the initialization flag is off (NO in step S2), in step S3, the marker recognition unit 212 detects the Recognize multiple markers contained within an image.
  • step S4 the area specifying unit 213 determines whether all the markers have been recognized by the marker recognizing unit 212.
  • the number of multiple markers used for image recognition is determined in advance.
  • the memory 22 stores the number of multiple markers in advance. In the first embodiment, the number of multiple markers is four.
  • the area specifying unit 213 determines whether the four markers have been recognized by the marker recognizing unit 212.
  • step S4 if it is determined that all the markers are not recognized, that is, if it is determined that at least one of the plurality of markers is not recognized (NO in step S4), the process returns to step S1. .
  • step S5 the area specifying unit 213 specifies a photographable area surrounded by the plurality of markers recognized by the marker recognizing unit 212. do.
  • step S6 the area specifying unit 213 stores a photographable image within the photographable area within the image in the memory 22 as an initial photographable image.
  • step S7 the area specifying unit 213 turns on the initialization flag stored in the memory 22. After the initialization flag is turned on, the process returns to step S1.
  • the marker recognition unit 212 recognizes multiple markers included in the image acquired by the image acquisition unit 211 in step S8. .
  • step S9 the area specifying unit 213 determines whether all the markers have been recognized by the marker recognizing unit 212.
  • the area identification The unit 213 specifies a photographable area by matching the initial photographable image and the currently acquired image. That is, the area specifying unit 213 compares the initial photographable image with the currently acquired image, and specifies an area in the image that matches the initial photographable image as the photographable area. Note that if there is no region in the image that matches the initial photographable image, the region specifying unit 213 does not specify the photographable region.
  • step S11 the area specifying unit 213 determines whether a photographable area has been specified. Here, if it is determined that the photographable area has been identified (YES in step S11), the process moves to step S14.
  • step S11 if it is determined that the photographable area has not been specified (NO in step S11), the area specifying unit 213 turns off the initialization flag stored in the memory 22 in step S12. After the initialization flag is turned off, the process returns to step S1.
  • step S13 the area specifying unit 213 specifies a photographable area surrounded by the plurality of markers recognized by the marker recognizing unit 212. do.
  • step S14 the mask image creation unit 214 creates a mask image by masking the area outside the photographable area specified by the area identification unit 213 in the image.
  • step S15 the output unit 215 transmits the mask image created by the mask image creation unit 214 to the remote terminal 3 via the communication unit 23.
  • the remote terminal 3 receives the mask image sent by the image processing device 2.
  • the remote terminal 3 displays the received mask image.
  • step S16 the output unit 215 determines whether to end the transmission of the mask image. Note that when the power of the camera 1 is turned off, or when a button provided on the image processing device 2 to end the transmission of the mask image is pressed, the transmission of the mask image ends.
  • the output unit 215 ends the transmission of the mask image in step S17.
  • step S16 if it is determined that the transmission of the mask image is not finished (NO in step S16), the process returns to step S1.
  • a photographable area surrounded by the plurality of recognized markers is specified.
  • an area within the currently acquired image that matches a photographable image within the photographable area specified in the past is specified as the photographable area. Then, a mask image is created by masking the area outside the photographable area in the image, and the mask image is output.
  • a photographable image within a photographable area within the image is stored in the memory 22 as an initial photographable image, and thereafter, one frame before The photographable image within the image and the currently acquired image are compared frame by frame, and the region within the image that matches the photographable image one frame before is estimated as the photographable region. If a plurality of markers are not recognized from the acquired image, the estimated photographable area is specified as the photographable area of the acquired image.
  • FIG. 13 is a diagram showing an example of the configuration of the image processing device 2A in the second embodiment. Note that in the second embodiment, the configuration of the work support system other than the image processing device 2A is the same as the work support system in the first embodiment.
  • the image processing device 2A shown in FIG. 13 includes a processor 21A, a memory 22, and a communication section 23. Note that in the second embodiment, the same components as in the first embodiment are denoted by the same reference numerals, and the description thereof will be omitted.
  • the processor 21A realizes an image acquisition unit 211, a marker recognition unit 212, an area identification unit 213A, a mask image creation unit 214, an output unit 215, and an area estimation unit 216.
  • the area estimating unit 216 compares the photographable image within the photographable area estimated one frame ago and stored in the memory 22 with the image of the current frame acquired this time, and selects an image that matches the photographable image. The area within is estimated as the shootable area of the current frame. The area estimating unit 216 estimates the photographable area within the image of the current frame for each frame. The area estimation unit 216 stores in the memory 22 the estimated photographable image within the photographable area of the current frame.
  • the memory 22 stores a photographable image estimated from the image of the previous frame and a photographable image estimated from the image of the current frame.
  • the area specifying unit 213A specifies an area in the currently acquired image that matches the shootable image within the shootable area specified one frame before as the shootable area. . If a plurality of markers are not recognized, the area identifying unit 213A identifies a photographable area based on the photographable area of the current frame estimated by the area estimating unit 216.
  • FIG. 14 is a first flowchart for explaining work support processing by the image processing device 2A in the second embodiment of the present disclosure
  • FIG. 15 is a first flowchart for explaining work support processing by the image processing device 2A in the second embodiment of the present disclosure. It is a 2nd flowchart for demonstrating support processing.
  • step S21 to step S26 is the same as the processing from step S1 to step S6 shown in FIG. 11, so a description thereof will be omitted.
  • step S27 the mask image creation unit 214 creates a mask image by masking the area outside the photographable area specified by the area identification unit 213A in the image.
  • step S28 the area specifying unit 213A turns on the initialization flag stored in the memory 22. After the initialization flag is turned on, the process moves to step S37.
  • step S29 the area specifying unit 213A compares the current image with the image that can be captured one frame ago and is stored in the memory 22.
  • the photographable area is estimated through matching processing with the acquired current frame image.
  • the area specifying unit 213A compares the photographable image of one frame before with the currently acquired image of the current frame, and determines that it is possible to photograph the area in the image of the current frame that matches the photographable image of one frame before. Estimate as a region. Note that if there is no region in the image of the current frame that matches the photographable image one frame before, the region specifying unit 213A does not estimate the photographable region.
  • the area estimation unit 216 uses the initial photographable image stored in the memory 22 and the currently acquired current frame.
  • the area in the current frame image that matches the initial imageable image is estimated as the imageable area of the current frame.
  • the area estimating unit 216 performs matching processing between the photographable image of the previous frame and the image of the current frame for each frame, and selects the image in the current frame that matches the photographable image of the previous frame.
  • the area is estimated as the imageable area of the current frame.
  • the area estimating unit 216 estimates the imageable area of the current frame, it stores the imageable image within the estimated imageable area of the current frame in the memory 22.
  • step S30 the marker recognition unit 212 recognizes a plurality of markers included in the image acquired by the image acquisition unit 211.
  • step S31 the area specifying unit 213A determines whether all the markers have been recognized by the marker recognizing unit 212.
  • step S32 the area identification The unit 213A determines whether the area estimating unit 216 has estimated the photographable area of the current frame. Note that when the memory 22 stores the photographable image of the current frame, the area specifying unit 213A may determine that the photographable area of the current frame has been estimated. If the memory 22 does not store a photographable image of the current frame, the area specifying unit 213A may determine that the photographable area of the current frame is not estimated.
  • step S33 the area specifying unit 213A determines that the photographable area of the current frame estimated by the area estimating unit 216 is The photographable area is identified based on the following. That is, the area specifying unit 213A specifies the photographable area of the current frame estimated by the area estimation unit 216 as the photographable area of the currently acquired image.
  • step S32 if it is determined that the photographable area of the current frame has not been estimated (NO in step S32), the area specifying unit 213A turns off the initialization flag stored in the memory 22 in step S34. After the initialization flag is turned off, the process returns to step S21.
  • step S35 the area specifying unit 213A specifies a photographable area surrounded by the plurality of markers recognized by the marker recognition unit 212. do.
  • step S36 to step S39 is the same as the processing from step S14 to step S17 shown in FIG. 12, so a description thereof will be omitted.
  • the accuracy of identifying the photographable area is can be improved.
  • the area specifying unit 213A when a plurality of markers are recognized for the first time, stores in the memory 22 a photographable image within the photographable area in the image of the initial frame as an initial photographable image. You may. In addition, the area specifying unit 213A compares the image of one frame before and the image of the current frame, and calculates the amount of change between the shooting range of the image of one frame before and the shooting range of the image of the current frame for each frame. You can. Note that the amount of change indicates, for example, the direction and amount of movement of the imaging range of the current frame with respect to the imaging range of one frame before. Further, the area specifying unit 213A may calculate the cumulative value of the amount of change from the initial frame to the current frame. The cumulative value is stored in memory 22. If a plurality of markers are not recognized, the area specifying unit 213A may specify the imageable area of the current frame based on the initial imageable area and the cumulative value.
  • the amount of change in the image capturing range from the initial frame to the current frame can be determined from the cumulative value. Therefore, the photographable area in the current frame image can be specified based on the initial photographable area in the initial frame image and the cumulative value.
  • Embodiment 3 the first sensing value representing the position and orientation of the camera 1 is acquired, and if the photographable area is not specified by the matching process between the initial photographable image and the currently acquired image, or If the photographable area of the current frame is not specified by the matching process between the photographable image and the currently acquired image of the current frame, the photographable area is specified using the acquired first sensing value.
  • FIG. 16 is a diagram showing an example of the configuration of the image processing device 2B in the third embodiment.
  • the configuration of the work support system other than the camera 1 and the image processing device 2B is the same as the work support system in the first embodiment.
  • the camera 1 further includes a first sensor that detects the position and orientation of the camera 1.
  • the first sensor is, for example, an acceleration sensor and a gyro sensor, and detects the translational movement (x, y, z) and rotational movement (roll angle, pitch angle, yaw angle) of the camera 1 in three axial directions.
  • the camera 1 transmits an image to the image processing device 2 and also transmits to the image processing device 2 a first sensing value representing the position and orientation of the camera 1 detected by the first sensor.
  • the image processing device 2B shown in FIG. 16 includes a processor 21B, a memory 22, and a communication section 23.
  • symbol is attached
  • the processor 21B realizes an image acquisition unit 211, a marker recognition unit 212, an area identification unit 213B, a mask image creation unit 214, an output unit 215, an area estimation unit 216, and a sensing value acquisition unit 217.
  • the communication unit 23 receives the image and the first sensing value transmitted by the camera 1.
  • the communication unit 23 outputs the received image and the first sensing value to the processor 21.
  • the communication unit 23 receives the moving image transmitted at a predetermined frame rate and the first sensing value transmitted at a predetermined sampling period, and sends the image every frame and the first sensing value every sampling to the processor 21. Output.
  • the sensing value acquisition unit 217 acquires a first sensing value representing the position and orientation of the camera 1 for each frame.
  • the sampling period of a sensor such as a gyro sensor is higher than the frame rate of an image, and by acquiring sensing values at a high sampling period, changes in high frequencies can also be detected. Therefore, the first sensor acquires the first sensing value at the highest possible sampling period and performs signal processing.
  • signal processing for a gyro sensor includes processing for removing drift noise, processing for integrating angular velocity and converting it into an angle, and the like. Then, the sensing value acquisition unit 217 acquires the first sensing value that matches or is closest in time to the image frame.
  • the area specifying unit 213B specifies an area in the currently acquired image that matches the imageable image within the imageable area identified one frame before as the imageable area. . If a plurality of markers are not recognized, the area identifying unit 213B identifies a photographable area based on the photographable area of the current frame estimated by the area estimating unit 216.
  • the area specifying unit 213B stores a photographable image within the photographable area in the image in the memory 22 as an initial photographable image, and also stores a photographable image in the photographable area in the image as an initial photographable image, and also stores a photographable image in the photographable area in the image as an initial photographable image, and also stores a photographable image in the photographable area in the image as an initial photographable image.
  • One sensing value is stored in the memory 22 as a first initial sensing value. Then, if multiple markers are not recognized, the area specifying unit 213B compares the initial photographable image with the currently acquired image, and selects an area in the image that matches the initial photographable image as a photographable area. Identify.
  • the area specifying unit 213B uses the first initial sensing value stored in the memory 22 and the current and the first sensing value of the first sensing value.
  • the area specifying unit 213B determines an initial photographable image based on the current position and current orientation of the camera 1 relative to the initial position and initial orientation of the camera 1, which are estimated based on the first initial sensing value and the current first sensing value.
  • the area in the currently acquired image that matches this is specified as the imageable area.
  • the area specifying unit 213B calculates the current position and current attitude of the camera 1 relative to the initial position and initial attitude of the camera 1 represented by the first initial sensing value, and specifies a photographable area based on the calculation result. .
  • the area specifying unit 213B estimates the current photographing range of the camera 1 with respect to the initial photographable image from the initial position and initial posture of the camera 1 and the current position and current posture of the camera 1.
  • the area specifying unit 213B specifies, as a photographable area, an area in the currently acquired image that matches the initial photographable image from the current photographic range for the initial photographable image.
  • the moving direction and moving distance of the camera 1 from the initial position and initial attitude are calculated from the first initial sensing value and the current first sensing value. Then, the current position and current orientation of the camera 1 are estimated from the calculated moving direction and moving distance. From the estimated current position and current orientation of camera 1, the current photographing range of camera 1 with respect to the initial photographable image is estimated, and the area in the currently acquired image that matches the initial photographable image is set as the photographable area. be identified.
  • the memory 22 stores an initial photographable image specified when a plurality of markers are first recognized.
  • the memory 22 also stores a first initial sensing value obtained when a plurality of markers are first recognized.
  • FIG. 17 is a diagram showing an example of an image 121 taken by the camera 1 when all the plurality of markers are recognized for the first time in the third embodiment. Note that in FIG. 17, the markers are illustrated larger than they actually are in order to make the explanation easier to understand.
  • the image 121 includes all four markers 111, 112, 113, and 114.
  • the marker recognition unit 212 recognizes four markers 111, 112, 113, and 114 included in the image 121 acquired by the image acquisition unit 211.
  • the area specifying unit 213B specifies a photographable area 131 surrounded by the four recognized markers 111, 112, 113, and 114.
  • the area specifying unit 213B stores the photographable image 161 in the photographable area 131 in the image 121 as the initial photographable image 171 in the memory 22.
  • the first sensing value representing the position and orientation of the camera 1 is stored in the memory 22 as a first initial sensing value.
  • FIG. 18 is a diagram showing an example of the mask image 144 created when the camera 1 approaches the support target device 101 from the initial position in the third embodiment.
  • the photographing range at the initial position and initial posture of the camera 1 is the image 121 in FIG. 17.
  • the photographing range of the camera 1 photographed at the current position and posture of the camera 1 changes to the area 153 in FIG. 17 .
  • the area specifying unit 213B estimates the current photographing range of the camera 1 with respect to the initial photographable image from the initial position and initial posture of the camera 1 and the current position and current posture of the camera 1.
  • the mask image creation unit 214 creates a mask image 144 by masking the area outside the photographable area 131 in the currently acquired image.
  • the entire image acquired this time is the photographable area 131, so the entire mask image 144 is visible.
  • FIG. 19 is a diagram showing an example of the mask image 145 created when the camera 1 approaches the support target device 101 from the initial position and the imaging range moves to the right in the third embodiment.
  • the photographing range at the initial position and initial posture of the camera 1 is the image 121 in FIG. 17.
  • the photographing range of the camera 1 photographed at the current position and posture of the camera 1 changes to the area 154 in FIG. 17.
  • the area specifying unit 213B estimates the current photographing range of the camera 1 with respect to the initial photographable image from the initial position and initial posture of the camera 1 and the current position and current posture of the camera 1.
  • the mask image creation unit 214 creates a mask image 145 by masking the area 132 outside the photographable area 131 in the currently acquired image.
  • the mask image creation unit 214 performs mask processing on a region 132 outside the photographable region 131 in the currently acquired image.
  • the photographable image 161 within the photographable area 131 is visible, and the area 132 other than the photographable area 131 is hidden.
  • FIG. 20 is a first flowchart for explaining work support processing by the image processing device 2B in the third embodiment of the present disclosure
  • FIG. 21 is a first flowchart for explaining the work support processing by the image processing device 2B in the third embodiment of the present disclosure.
  • This is a second flowchart for explaining support processing
  • FIG. 22 is a third flowchart for explaining work support processing by image processing device 2B in Embodiment 3 of the present disclosure.
  • step S41 is the same as the process in step S21 shown in FIG. 14, so the explanation will be omitted.
  • step S42 the sensing value acquisition unit 217 acquires a first sensing value representing the position and orientation of the camera 1.
  • the sensing value acquisition unit 217 acquires the first sensing value measured by the camera 1.
  • step S43 to step S48 is the same as the processing from step S22 to step S27 shown in FIG. 14, so a description thereof will be omitted.
  • step S49 the area specifying unit 213B stores in the memory 22 the first sensing value representing the position and orientation of the camera 1 when all the markers are recognized for the first time, as the first initial sensing value.
  • step S50 the area specifying unit 213B turns on the initialization flag stored in the memory 22. After the initialization flag is turned on, the process moves to step S62.
  • step S51 to step S54 is the same as the processing from step S29 to step S32 shown in FIGS. 14 and 15, so a description thereof will be omitted.
  • step S54 if it is determined that the photographable area of the current frame has been estimated (YES in step S54), the process moves to step S59.
  • the process in step S59 is the same as the process in step S33 shown in FIG. 15, so the explanation will be omitted.
  • step S55 the area specifying unit 213B uses the first initial sensing value stored in the memory 22 and the sensing The current first sensing value acquired by the value acquisition unit 217 is acquired.
  • step S56 the area specifying unit 213B determines the position of the camera 1 relative to the initial position and initial orientation of the camera 1 estimated based on the first initial sensing value and the current first sensing value. Based on the current position and current posture, a region in the currently acquired image that matches the initial photographable image is specified as a photographable region.
  • step S57 the area specifying unit 213B determines whether a photographable area has been specified using the first initial sensing value and the current first sensing value.
  • step S57 if it is determined that the photographable area has not been specified (NO in step S57), the area specifying unit 213B turns off the initialization flag stored in the memory 22 in step S58. After the initialization flag is turned off, the process returns to step S41.
  • step S57 if it is determined that the photographable area has been identified (YES in step S57), the process moves to step S59.
  • step S60 the area specifying unit 213B specifies a photographable area surrounded by the plurality of markers recognized by the marker recognition unit 212. do.
  • step S61 to step S64 is the same as the processing from step S36 to step S39 shown in FIG. 15, so a description thereof will be omitted.
  • the support target device 101 may not be exposed to light. If a shadow is formed, matching processing may become difficult, and it may become impossible to estimate the photographable area.
  • the photographable area is specified using the first initial sensing value and the current first sensing value, so the accuracy of identifying the photographable area can be improved.
  • the first sensing value may include information regarding the zoom magnification.
  • the zoom function may optically enlarge or reduce the subject, or may enlarge or reduce the subject by image processing.
  • the photographable area is specified using the first initial sensing value and the current first sensing value, but the present disclosure is not particularly limited to this. If a shootable area is not specified based on the shootable area of the current frame estimated by the area estimation unit 216, the area specifying unit 213B determines the first sensing value of one frame before and the current first sensing value. may be obtained. The area specifying unit 213B is based on the current position and current orientation of the camera 1 with respect to the position and orientation of the camera 1 one frame before, which are estimated based on the first sensing value one frame before and the current first sensing value. , a region in the currently acquired image that matches the photographable image one frame before may be specified as the photographable region.
  • the area specifying unit 213B stores the first initial sensing value in the memory 22 when all the markers are recognized for the first time, and then calculates the first sensing value representing the position and orientation of the camera 1 for each frame.
  • the acquired first sensing value is stored in the memory 22.
  • the first initial sensing value stored in the memory 22 when all the markers were first recognized is updated every frame.
  • the area specifying unit 213B is based on the current position and current orientation of the camera 1 with respect to the position and orientation of the camera 1 one frame before, which are estimated based on the first sensing value one frame before and the current first sensing value. , a region in the currently acquired image that matches the photographable image one frame before is specified as the photographable region.
  • the area specifying unit 213B calculates the current position and current attitude of the camera 1 relative to the position and attitude of the camera 1 represented by the first sensing value one frame before, and specifies a photographable area based on the calculation result. do.
  • the area specifying unit 213B estimates the current photographing range for the photographable image one frame before from the position and orientation of the camera 1 one frame before and the current position and current orientation of the camera 1.
  • the area specifying unit 213B specifies, as a photographable area, an area in the currently acquired image that matches the photographable image one frame before from the current photographing range for the photographable image one frame before.
  • the movement direction and movement distance from the position and attitude of the camera 1 one frame before are calculated from the first sensing value one frame before and the current first sensing value.
  • the current position and current orientation of the camera 1 are estimated from the calculated moving direction and moving distance. From the estimated current position and current orientation of camera 1, the current shooting range of camera 1 with respect to the shootable image one frame before is estimated, and the current shooting range of the camera 1 in the currently acquired image that matches the shootable image one frame before is estimated.
  • the area is specified as a photographable area.
  • the image processing device 2A in the second embodiment includes the sensing value acquisition unit 217 and the area specifying unit 213B, but the present disclosure is not particularly limited to this, and the image processing device 2A in the second embodiment
  • the image processing device 2 may include a sensing value acquisition section 217 and an area identification section 213B.
  • the area specifying unit 213B stores the first sensing value representing the position and orientation of the camera 1 when all the markers are first recognized in the memory 22 as the first initial sensing value.
  • the area specifying unit 213B performs the process as shown in FIG. The processes from step S55 to step S59 may also be performed.
  • the camera 1 may further include a second sensor that detects the distance from the camera 1 to the object for each pixel in the image.
  • the second sensor is, for example, a depth sensor.
  • the camera 1 may transmit, together with the image, a second sensing value representing the distance from the camera 1 to the object for each pixel in the image to the image processing device 2.
  • the area specifying unit 213B stores a photographable image within the photographable area in the image as an initial photographable image in the memory 22, and also stores each pixel in the initial photographable image in the memory 22.
  • Each distance from the camera 1 to the object may be stored in the memory 22 as a second initial sensing value.
  • the area specifying unit 213B calculates the second initial sensing value and each pixel in the currently acquired image. A second sensing value representing the distance from the camera 1 to the object may also be acquired. Then, the area specifying unit 213B may specify an area where the second sensing values of the plurality of pixels in the currently acquired image are equal to or less than the longest distance among the second initial sensing values as a photographable area. .
  • the area specifying unit 213B may specify the photographable area using the first sensing value, or may specify the photographable area using the second sensing value. Further, the area specifying unit 213B may specify the imageable area using both the first sensing value and the second sensing value. In this case, the area specifying unit 213B may calculate the logical product of the imageable area specified using the first sensing value and the imageable area specified using the second sensing value.
  • each component may be configured with dedicated hardware, or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • the program may be executed by another independent computer system by recording the program on a recording medium and transferring it, or by transferring the program via a network.
  • LSI Large Scale Integration
  • circuit integration is not limited to LSI, and may be realized using a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • reconfigurable processor that can reconfigure the connections and settings of circuit cells inside the LSI may be used.
  • a processor such as a CPU executing a program.
  • the technology according to the present disclosure can output an image in which areas other than the photographable area surrounded by multiple markers are masked. It is useful as a masking technique.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

画像処理装置は、カメラによって撮影された画像を取得し、画像内に含まれる複数のマーカを認識し、複数のマーカが認識された場合、認識した複数のマーカに囲まれた撮影可能領域を特定し、複数のマーカが認識されなかった場合、過去に特定された撮影可能領域内の撮影可能画像と一致する、今回取得された画像内の領域を撮影可能領域として特定し、画像内の撮影可能領域の外側の領域をマスクしたマスク画像を作成し、マスク画像を出力する。

Description

情報処理方法、情報処理装置、及び情報処理プログラム
　本開示は、画像内の撮影可能領域以外をマスクする技術に関する。
　例えば、特許文献１には、作業領域において、遠隔支援作業者との映像共有が許可される撮像可能領域が設定されており、撮像可能領域ではない作業領域をマスキングしたマスキング映像を遠隔支援作業者向けの遠隔地端末に送信する映像制御装置が開示されている。従来の映像制御装置は、映像データ内に含まれるマーカを検出し、検出したマーカから、撮像可能領域を示すマーカ情報を抽出し、映像データのうち撮像可能領域の外にあると判断される映像領域を、共有不可映像領域として決定し、共有不可映像領域をマスキングして、マスキング映像を生成している。
　しかしながら、上記従来の技術では、複数のマーカが認識されない場合、複数のマーカに囲まれた撮像可能領域がマスクされた画像が出力されるので、現場にいる作業者は、遠隔地にいる作業者による支援を受けられなくなるおそれがあり、更なる改善が必要とされていた。
特開２０２１－１５０８６６号公報
　本開示は、上記の問題を解決するためになされたもので、複数のマーカが認識されない場合であっても、複数のマーカに囲まれた撮影可能領域以外をマスクした画像を出力することができる技術を提供することを目的とするものである。
　本開示に係る情報処理方法は、コンピュータにおける情報処理方法であって、カメラによって撮影された画像を取得し、前記画像内に含まれる複数のマーカを認識し、前記複数のマーカが認識された場合、認識した前記複数のマーカに囲まれた撮影可能領域を特定し、前記複数のマーカが認識されなかった場合、過去に特定された前記撮影可能領域内の撮影可能画像と一致する、今回取得された前記画像内の領域を前記撮影可能領域として特定し、前記画像内の前記撮影可能領域の外側の領域をマスクしたマスク画像を作成し、前記マスク画像を出力する。
　本開示によれば、複数のマーカが認識されない場合であっても、複数のマーカに囲まれた撮影可能領域以外をマスクした画像を出力することができる。
本開示の実施の形態１における作業支援システムの構成の一例を示す図である。 本実施の形態１における作業空間の一例を示す図である。 本実施の形態１における画像処理装置の構成の一例を示す図である。 本実施の形態１において、全てのマーカが映るようにカメラによって撮影された画像の一例を示す図である。 本実施の形態１における初期撮影可能画像の一例を示す図である。 本実施の形態１において、図４に示す画像に基づいて作成されたマスク画像の一例を示す図である。 本実施の形態１において、支援対象装置に接近したカメラによって撮影された画像の一例を示す図である。 本実施の形態１において、図７に示す画像に基づいて作成されたマスク画像の一例を示す図である。 本実施の形態１において、撮影範囲が右に移動したカメラによって撮影された画像の一例を示す図である。 本実施の形態１において、図９に示す画像に基づいて作成されたマスク画像の一例を示す図である。 本開示の実施の形態１における画像処理装置による作業支援処理について説明するための第１のフローチャートである。 本開示の実施の形態１における画像処理装置による作業支援処理について説明するための第２のフローチャートである。 本実施の形態２における画像処理装置の構成の一例を示す図である。 本開示の実施の形態２における画像処理装置による作業支援処理について説明するための第１のフローチャートである。 本開示の実施の形態２における画像処理装置による作業支援処理について説明するための第２のフローチャートである。 本実施の形態３における画像処理装置の構成の一例を示す図である。 本実施の形態３において、最初に複数のマーカ全てが認識された際にカメラによって撮影された画像の一例を示す図である。 本実施の形態３において、カメラが初期位置から支援対象装置に接近した際に作成されたマスク画像の一例を示す図である。 本実施の形態３において、カメラが初期位置から支援対象装置に接近するとともに撮影範囲が右に移動した際に作成されたマスク画像の一例を示す図である。 本開示の実施の形態３における画像処理装置による作業支援処理について説明するための第１のフローチャートである。 本開示の実施の形態３における画像処理装置による作業支援処理について説明するための第２のフローチャートである。 本開示の実施の形態３における画像処理装置による作業支援処理について説明するための第３のフローチャートである。
　（本開示の基礎となった知見）
　現場にいる作業者が、遠隔地にいる作業者からの業務支援を効率的に受けるためには、現場の状況を撮影した映像を遠隔地にいる作業者と共有することが効果的である。
　遠隔地に映像が伝送される際、映像に秘匿情報が映り込む可能性がある。そこで、映像伝送により秘匿情報が外部に漏洩するのを防ぐため、映像伝送可能な対象物又は秘匿情報である対象物を特定して、映像内の秘匿情報に対応する領域をマスクする処理が行われる。
　例えば、現場にいる作業者は、映像を伝送してもよい領域、すなわち秘匿情報が含まれない領域を囲むように複数のマーカを配置する。撮影された映像内の複数のマーカが認識され、認識された複数のマーカに囲まれた撮像可能領域の外側の領域がマスクされることで秘匿情報が漏洩するのを防止することができる。しかしながら、カメラが移動することで、複数のマーカの一部又は全部がカメラの撮影範囲外になった場合、撮像可能領域を決定することができず、映像の全画素がマスク処理されてしまい、所望の映像が伝送できなくなるおそれがある。
　上記の従来技術では、複数のマーカそれぞれは、マーカ情報を有する二次元コードである。そのため、従来の映像制御装置は、複数のマーカのうち、１つ以上のマーカがカメラの視野内にあれば、検出した１つ以上のマーカから、撮像可能領域を示すマーカ情報を抽出することができる。そして、従来の映像制御装置は、映像データのうち撮像可能領域の外にあると判断される映像領域を、共有不可映像領域として決定し、共有不可映像領域をマスキングして、マスキング映像を生成することができる。
　しかしながら、従来技術では、全てのマーカがカメラの視野外にある場合、撮像可能領域の決定は困難である。また、複数のマーカが二次元コードではなく、複数のマーカのうちの一部がカメラの視野外にある場合、撮像可能領域の決定は困難である。
　以上の課題を解決するために、下記の技術が開示される。
　（１）本開示の一態様に係る情報処理方法は、コンピュータにおける情報処理方法であって、カメラによって撮影された画像を取得し、前記画像内に含まれる複数のマーカを認識し、前記複数のマーカが認識された場合、認識した前記複数のマーカに囲まれた撮影可能領域を特定し、前記複数のマーカが認識されなかった場合、過去に特定された前記撮影可能領域内の撮影可能画像と一致する、今回取得された前記画像内の領域を前記撮影可能領域として特定し、前記画像内の前記撮影可能領域の外側の領域をマスクしたマスク画像を作成し、前記マスク画像を出力する。
　この構成によれば、画像内に含まれる複数のマーカが認識された場合、認識された複数のマーカに囲まれた撮影可能領域が特定される。一方、複数のマーカが認識されなかった場合、過去に特定された撮影可能領域内の撮影可能画像と一致する、今回取得された画像内の領域が撮影可能領域として特定される。そして、画像内の撮影可能領域の外側の領域をマスクしたマスク画像が作成され、マスク画像が出力される。
　したがって、複数のマーカが認識されない場合であっても、複数のマーカに囲まれた撮影可能領域以外をマスクしたマスク画像を出力することができる。この結果、現場にいる作業者は、遠隔地にいる作業者から効率 的な作業支援を受けることができる。
　（２）上記（１）記載の情報処理方法において、前記マスク画像の作成において、前記撮影可能領域が特定されなかった場合、前記画像内の全てをマスクした前記マスク画像を作成してもよい。
　この構成によれば、撮影可能領域が特定されなかった場合、画像内の全てをマスクしたマスク画像が作成されるので、秘匿するべき情報を含む画像が出力されるのを確実に防止することができる。
　（３）上記（１）又は（２）記載の情報処理方法において、前記撮影可能領域の特定において、前記複数のマーカが認識されなかった場合、過去に特定された前記撮影可能領域内の前記撮影可能画像と、今回取得された前記画像とを比較し、前記撮影可能画像と一致する前記画像内の領域を前記撮影可能領域として特定してもよい。
　この構成によれば、複数のマーカが認識されなかった場合、過去に特定された撮影可能領域内の前記撮影可能画像と、今回取得された画像とのマッチング処理が行われることにより、今回取得された画像内における撮影可能領域を特定することができる。
　（４）上記（３）記載の情報処理方法において、さらに、最初に前記複数のマーカが認識された場合、前記画像内の前記撮影可能領域内の前記撮影可能画像を初期撮影可能画像としてメモリに記憶し、前記撮影可能領域の特定において、前記複数のマーカが認識されなかった場合、前記初期撮影可能画像と、今回取得された前記画像とを比較し、前記初期撮影可能画像と一致する前記画像内の領域を前記撮影可能領域として特定してもよい。
　この構成によれば、複数のマーカが認識されなかった場合、最初に複数のマーカが認識された際に得られた初期撮影可能画像と、今回取得された画像とのマッチング処理が行われることにより、今回取得された画像内における撮影可能領域を特定することができる。
　（５）上記（４）記載の情報処理方法において、さらに、最初に前記複数のマーカが認識された場合、前記カメラの位置及び姿勢を表す第１センシング値を第１初期センシング値として前記メモリに記憶し、さらに、前記撮影可能領域が特定されなかった場合、前記第１初期センシング値と、現在の前記第１センシング値とを取得し、さらに、前記第１初期センシング値及び現在の前記第１センシング値に基づいて推定される、前記カメラの初期位置及び初期姿勢に対する前記カメラの現在位置及び現在姿勢に基づいて、前記初期撮影可能画像と一致する、今回取得された前記画像内の領域を前記撮影可能領域として特定してもよい。
　この構成によれば、過去に特定された撮影可能領域内の撮影可能画像と一致する、今回取得された画像内の領域が撮影可能領域として特定されなかった場合、カメラの初期位置及び初期姿勢に対するカメラの現在位置及び現在姿勢に基づいて、今回取得された画像内の撮影可能領域を特定することができる。
　（６）上記（３）記載の情報処理方法において、前記撮影可能領域の特定において、前記複数のマーカが認識されなかった場合、１フレーム前に特定された前記撮影可能領域内の前記撮影可能画像と一致する、今回取得された前記画像内の領域を前記撮影可能領域として特定してもよい。
　この構成によれば、複数のマーカが認識されなかった場合、１フレーム前に特定された撮影可能領域内の撮影可能画像と、今回取得された画像とのマッチング処理が行われることにより、今回取得された画像内における撮影可能領域を特定することができる。
　（７）上記（６）記載の情報処理方法において、さらに、メモリに記憶されている１フレーム前に推定された前記撮影可能領域内の前記撮影可能画像と、今回取得された現在フレームの前記画像とを比較し、前記撮影可能画像と一致する前記画像内の領域を前記現在フレームの前記撮影可能領域として推定し、さらに、推定した前記現在フレームの前記撮影可能領域内の前記撮影可能画像を前記メモリに記憶し、前記撮影可能領域の特定において、前記複数のマーカが認識されなかった場合、推定した前記現在フレームの前記撮影可能領域を前記撮影可能領域として特定してもよい。
　この構成によれば、１フレーム毎に撮影可能領域が推定されるので、複数のマーカが認識されなかった場合、推定された現在フレームの撮影可能領域を、今回取得された画像内における撮影可能領域として特定することができる。
　（８）上記（７）記載の情報処理方法において、さらに、１フレーム毎に前記カメラの位置及び姿勢を表す第１センシング値を取得し、取得した前記第１センシング値を前記メモリに記憶し、さらに、前記撮影可能領域が特定されなかった場合、１フレーム前の前記第１センシング値と、現在の前記第１センシング値とを取得し、さらに、１フレーム前の前記第１センシング値及び現在の前記第１センシング値に基づいて推定される、１フレーム前の前記カメラの位置及び姿勢に対する前記カメラの現在位置及び現在姿勢に基づいて、１フレーム前の前記撮影可能画像と一致する、今回取得された前記画像内の領域を前記撮影可能領域として特定してもよい。
　この構成によれば、過去に特定された撮影可能領域内の撮影可能画像と一致する、今回取得された画像内の領域が撮影可能領域として特定されなかった場合、１フレーム前のカメラの位置及び姿勢に対するカメラの現在位置及び現在姿勢に基づいて、今回取得された画像内の撮影可能領域を特定することができる。
　（９）上記（１）又は（２）記載の情報処理方法において、さらに、最初に前記複数のマーカが認識された場合、初期フレームの前記画像内の前記撮影可能領域内の前記撮影可能画像を初期撮影可能画像としてメモリに記憶し、さらに、１フレーム前の前記画像と現在フレームの前記画像とを比較し、１フレーム前の前記画像の撮影範囲と現在フレームの前記画像の撮影範囲との変化量を１フレーム毎に算出し、さらに、前記初期フレームから前記現在フレームまでの前記変化量の累積値を算出し、前記撮影可能領域の特定において、前記複数のマーカが認識されなかった場合、前記初期撮影可能領域と前記累積値とに基づいて、前記現在フレームの前記撮影可能領域を特定してもよい。
　この構成によれば、初期フレームから現在フレームまでの画像の撮影範囲の変化と、初期フレームの画像内における初期撮影可能画像とに基づいて、現在フレームの撮影可能領域を特定することができる。
　（１０）上記（１）又は（２）記載の情報処理方法において、さらに、最初に前記複数のマーカが認識された場合、前記画像内の前記撮影可能領域内の前記撮影可能画像を初期撮影可能画像としてメモリに記憶し、さらに、最初に前記複数のマーカが認識された場合、前記初期撮影可能画像内の画素毎の前記カメラから物体までの各距離を第２初期センシング値として前記メモリに記憶し、さらに、前記撮影可能領域が特定されなかった場合、前記第２初期センシング値と、今回取得された前記画像内の画素毎の前記カメラから物体までの距離を表す第２センシング値とを取得し、さらに、今回取得された前記画像内の複数の画素の前記第２センシング値が、前記第２初期センシング値のうちの最も長い距離以下である領域を前記撮影可能領域として特定してもよい。
　この構成によれば、今回取得された画像内において、初期撮影可能画像内にある物体よりも遠くにある物体はマスクされるので、秘匿するべき情報を含む画像が出力されるのを簡単に防止することができる。
　また、本開示は、以上のような特徴的な処理を実行する情報処理方法として実現することができるだけでなく、情報処理方法が実行する特徴的な処理に対応する特徴的な構成を備える情報処理装置などとして実現することもできる。また、このような情報処理方法に含まれる特徴的な処理をコンピュータに実行させるコンピュータプログラムとして実現することもできる。したがって、以下の他の態様でも、上記の情報処理方法と同様の効果を奏することができる。
　（１１）本開示の他の態様に係る情報処理装置は、カメラによって撮影された画像を取得する取得部と、前記画像内に含まれる複数のマーカを認識する認識部と、前記複数のマーカが認識された場合、認識した前記複数のマーカに囲まれた撮影可能領域を特定し、前記複数のマーカが認識されなかった場合、過去に特定された前記撮影可能領域内の撮影可能画像と一致する、今回取得された前記画像内の領域を前記撮影可能領域として特定する特定部と、前記画像内の前記撮影可能領域の外側の領域をマスクしたマスク画像を作成する作成部と、前記マスク画像を出力する出力部と、を備える。
　（１２）本開示の他の態様に係る情報処理プログラムは、カメラによって撮影された画像を取得し、前記画像内に含まれる複数のマーカを認識し、前記複数のマーカが認識された場合、認識した前記複数のマーカに囲まれた撮影可能領域を特定し、前記複数のマーカが認識されなかった場合、過去に特定された前記撮影可能領域内の撮影可能画像と一致する、今回取得された前記画像内の領域を前記撮影可能領域として特定し、前記画像内の前記撮影可能領域の外側の領域をマスクしたマスク画像を作成し、前記マスク画像を出力するようにコンピュータを機能させる。
　（１３）本開示の他の態様に係る非一時的なコンピュータ読み取り可能な記録媒体は、情報処理プログラムを記録し、前記情報処理プログラムは、カメラによって撮影された画像を取得し、前記画像内に含まれる複数のマーカを認識し、前記複数のマーカが認識された場合、認識した前記複数のマーカに囲まれた撮影可能領域を特定し、前記複数のマーカが認識されなかった場合、過去に特定された前記撮影可能領域内の撮影可能画像と一致する、今回取得された前記画像内の領域を前記撮影可能領域として特定し、前記画像内の前記撮影可能領域の外側の領域をマスクしたマスク画像を作成し、前記マスク画像を出力するようにコンピュータを機能させる。
　以下添付図面を参照しながら、本開示の実施の形態について説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。
　（実施の形態１）
　図１は、本開示の実施の形態１における作業支援システムの構成の一例を示す図である。図１に示す作業支援システムは、カメラ１、画像処理装置２、及び遠隔端末３を備える。
　カメラ１は、例えば、現場の作業者の頭部に装着されるウェアラブルカメラである。作業者は、カメラ１を装着して作業を行う。このとき、現場の作業者は、現場の作業空間にある支援対象装置をカメラ１で撮影しながら、遠隔地の作業者から業務支援を受ける。遠隔地の作業者は、現場から伝送される画像を見ながら、支援対象装置の操作及び修理などの支援を行う。
　図２は、本実施の形態１における作業空間の一例を示す図である。
　図２に示すように、作業空間１００には、支援対象装置１０１が設置されている。現場の作業者は、カメラ１を用いて支援対象装置１０１を撮影する。カメラ１により撮影された画像は、遠隔地の作業者が操作する遠隔端末３に送信される。このとき、撮影した画像に秘匿情報が映り込む可能性がある。そこで、秘匿情報が含まれる画像が送信されるのを防ぐため、特定の作業領域以外を画像処理（マスク処理）により隠す。現場の作業者は、支援対象装置１０１の秘匿情報が含まれない作業領域を囲むように複数のマーカ１１１，１１２，１１３，１１４を貼り付ける。複数のマーカ１１１，１１２，１１３，１１４は、例えば、粘着物質又はマグネットなどにより撮影可能な作業領域を囲むように直接貼り付けられる。
　カメラ１は、撮影した画像を近距離無線通信により画像処理装置２に送信する。カメラ１は、所定のフレームレートで画像を画像処理装置２に送信する。そのため、動画像が、カメラ１から画像処理装置２に送信される。なお、カメラ１は、画像処理装置２と無線接続されているが、画像処理装置２と有線接続されていてもよい。
　なお、カメラ１は、スマートフォン又はタブレット型コンピュータなどのカメラ付きの端末であってもよい。また、カメラ１は、デジタルカメラであってもよい。
　画像処理装置２は、例えば、現場の作業者によって操作されるパーソナルコンピュータである。画像処理装置２は、遠隔端末３とネットワーク４を介して互いに通信可能に接続されている。ネットワーク４は、例えば、インターネットである。
　図３は、本実施の形態１における画像処理装置２の構成の一例を示す図である。
　図３に示す画像処理装置２は、プロセッサ２１、メモリ２２及び通信部２３を備える。
　プロセッサ２１は、例えば、ＣＰＵ（中央演算処理装置）である。プロセッサ２１により、画像取得部２１１、マーカ認識部２１２、領域特定部２１３、マスク画像作成部２１４、及び出力部２１５が実現される。
　メモリ２２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）又はフラッシュメモリ等の各種情報を記憶可能な記憶装置である。
　なお、画像処理装置２が情報処理装置の一例に相当し、画像取得部２１１が取得部の一例に相当し、マーカ認識部２１２が認識部の一例に相当し、領域特定部２１３が特定部の一例に相当し、マスク画像作成部２１４が作成部の一例に相当し、出力部２１５が出力部の一例に相当する。
　通信部２３は、カメラ１によって送信された画像を受信する。通信部２３は、受信した画像をプロセッサ２１に出力する。通信部２３は、所定のフレームレートで送信された動画像を受信し、１フレーム毎に画像をプロセッサ２１に出力する。
　画像取得部２１１は、カメラ１によって撮影された画像を取得する。画像取得部２１１は、１フレーム毎に画像を取得する。
　マーカ認識部２１２は、画像取得部２１１によって取得された画像内に含まれる複数のマーカを認識する。本実施の形態１では、種類の異なる４つのマーカ１１１，１１２，１１３，１１４が用いられる。図２に示すように、４つのマーカ１１１，１１２，１１３，１１４は、矩形状であり、それぞれ異なる図柄を有している。
　現場にいる作業者は、撮影可能な作業領域１５０の左上にマーカ１１１を貼り付け、撮影可能な作業領域１５０の左下にマーカ１１２を貼り付け、撮影可能な作業領域１５０の右上にマーカ１１３を貼り付け、撮影可能な作業領域１５０の右下にマーカ１１４を貼り付ける。なお、４つのマーカ１１１，１１２，１１３，１１４が配置される位置は特に決められていない。４つのマーカ１１１，１１２，１１３，１１４は、撮影可能な作業領域１５０の左上、左下、右上、及び右下のいずれに配置されてもよい。
　マーカ認識部２１２は、パターンマッチングにより、画像内に含まれる４つのマーカ１１１，１１２，１１３，１１４を認識する。すなわち、マーカ認識部２１２は、メモリ２２に予め記憶されている複数のマーカの図柄と、画像内に含まれる４つのマーカ１１１，１１２，１１３，１１４の図柄とを照合することにより、画像内における４つのマーカ１１１，１１２，１１３，１１４を認識する。
　なお、マーカ認識部２１２は、正面から撮影されたマーカだけでなく、斜め方向から撮影されたマーカも認識可能である。
　また、本実施の形態１では、４つのマーカが用いられるが、本開示は特にこれに限定されず、３つのマーカが用いられてもよく、５つ以上のマーカが用いられてもよい。
　領域特定部２１３は、マーカ認識部２１２によって複数のマーカ１１１，１１２，１１３，１１４が認識された場合、認識された複数のマーカ１１１，１１２，１１３，１１４に囲まれた撮影可能領域を特定する。また、領域特定部２１３は、マーカ認識部２１２によって複数のマーカ１１１，１１２，１１３，１１４が認識されなかった場合、過去に特定された撮影可能領域内の撮影可能画像と一致する、今回取得された画像内の領域を撮影可能領域として特定する。
　すなわち、領域特定部２１３は、複数のマーカ１１１，１１２，１１３，１１４の全てが認識された場合、認識された複数のマーカ１１１，１１２，１１３，１１４に囲まれた撮影可能領域を特定する。また、領域特定部２１３は、複数のマーカ１１１，１１２，１１３，１１４のうちの少なくとも１つが認識されなかった場合、過去に特定された撮影可能領域内の撮影可能画像と一致する、今回取得された画像内の領域を撮影可能領域として特定する。
　領域特定部２１３は、４つのマーカ１１１，１１２，１１３，１１４が認識された場合、左上のマーカ１１１の左上の頂点と、左下のマーカ１１２の左下の頂点と、右上のマーカ１１３の右上の頂点と、右下のマーカ１１４の右下の頂点とを直線で結んだ撮影可能領域を特定する。
　なお、領域特定部２１３は、４つのマーカ１１１，１１２，１１３，１１４が認識された場合、左上のマーカ１１１の右下の頂点と、左下のマーカ１１２の右上の頂点と、右上のマーカ１１３の左下の頂点と、右下のマーカ１１４の左上の頂点とを直線で結んだ撮影可能領域を特定してもよい。また、領域特定部２１３は、４つのマーカ１１１，１１２，１１３，１１４が認識された場合、４つのマーカ１１１，１１２，１１３，１１４それぞれの中心点を直線で結んだ撮影可能領域を特定してもよい。
　なお、４つのマーカのうちの１つが認識されなかった場合であっても、領域特定部２１３は、認識されなかった１つのマーカの位置を予測し、４つのマーカに囲まれた撮影可能領域を特定してもよい。
　また、領域特定部２１３は、複数のマーカが認識されなかった場合、過去に特定された撮影可能領域内の撮影可能画像と、今回取得された画像とを比較し、撮影可能画像と一致する画像内の領域を撮影可能領域として特定する。
　より具体的には、領域特定部２１３は、最初に複数のマーカが認識された場合、画像内の撮影可能領域内の撮影可能画像を初期撮影可能画像としてメモリ２２に記憶する。そして、領域特定部２１３は、複数のマーカが認識されなかった場合、初期撮影可能画像と、今回取得された画像とを比較し、初期撮影可能画像と一致する画像内の領域を撮影可能領域として特定する。このとき、領域特定部２１３は、初期撮影可能画像の複数の特徴点を抽出するとともに、今回取得された画像の複数の特徴点を抽出し、初期撮影可能画像の複数の特徴点と、今回取得された画像の複数の特徴点とを対応付け、初期撮影可能画像の複数の特徴点と同じ特徴点を有する画像内の領域を撮影可能領域として特定する。
　マスク画像作成部２１４は、画像内の領域特定部２１３によって特定された撮影可能領域の外側の領域をマスクしたマスク画像を作成する。マスク画像作成部２１４は、領域特定部２１３によって撮影可能領域が特定されなかった場合、画像内の全てをマスクしたマスク画像を作成してもよい。
　メモリ２２は、最初に複数のマーカが認識された際に特定された初期撮影可能画像を記憶する。
　出力部２１５は、マスク画像作成部２１４によって作成されたマスク画像を出力する。出力部２１５は、マスク画像を通信部２３に出力する。通信部２３は、マスク画像を遠隔端末３に送信する。
　図４は、本実施の形態１において、全てのマーカが映るようにカメラ１によって撮影された画像１２１の一例を示す図である。また、図５は、本実施の形態１における初期撮影可能画像１７１の一例を示す図である。なお、図４では、説明を分かりやすくするため、マーカが実際よりも大きく図示されている。
　画像１２１は、４つのマーカ１１１，１１２，１１３，１１４を全て含んでいる。マーカ認識部２１２は、画像取得部２１１によって取得された画像１２１内に含まれる４つのマーカ１１１，１１２，１１３，１１４を認識する。領域特定部２１３は、４つのマーカ１１１，１１２，１１３，１１４の全てが認識された場合、認識された４つのマーカ１１１，１１２，１１３，１１４に囲まれた撮影可能領域１３１を特定する。また、領域特定部２１３は、最初に４つのマーカ１１１，１１２，１１３，１１４が認識された場合、画像１２１内の撮影可能領域１３１内の撮影可能画像１６１を初期撮影可能画像１７１としてメモリ２２に記憶する。
　図５に示すように、初期撮影可能画像１７１は、最初に４つのマーカ１１１，１１２，１１３，１１４の全てが認識された際に得られた画像であり、４つのマーカ１１１，１１２，１１３，１１４に囲まれた撮影可能領域１３１内の画像である。
　図６は、本実施の形態１において、図４に示す画像１２１に基づいて作成されたマスク画像１４１の一例を示す図である。
　マスク画像作成部２１４は、画像１２１内の撮影可能領域１３１の外側の領域１３２をマスクしたマスク画像１４１を作成する。マスク画像作成部２１４は、画像１２１内の撮影可能領域１３１の外側の領域１３２に対してマスク処理を施す。マスク処理は、例えば、黒色、白色、又は灰色などの所定の色で領域１３２を塗りつぶす処理でもよいし、領域１３２にぼかし加工を施す処理でもよいし、領域１３２にモザイク加工を施す処理でもよい。図６に示すマスク画像１４１では、撮影可能領域１３１内の撮影可能画像１６１は視認可能となっており、撮影可能領域１３１以外の領域１３２は秘匿されている。
　図７は、本実施の形態１において、支援対象装置１０１に接近したカメラ１によって撮影された画像１２２の一例を示す図である。
　カメラ１が支援対象装置１０１に接近した場合、カメラ１の撮影範囲は、図４の領域１５１に変化する。この場合、４つのマーカ１１１，１１２，１１３，１１４が画像１２２内に含まれなくなる。画像１２２は、４つのマーカ１１１，１１２，１１３，１１４を含んでいない。そのため、マーカ認識部２１２は、画像取得部２１１によって取得された画像１２２からはマーカを認識しない。領域特定部２１３は、４つのマーカ１１１，１１２，１１３，１１４のうちの少なくとも１つが認識されなかった場合、初期撮影可能画像１７１と、今回取得された画像１２２とを比較し、初期撮影可能画像１７１と一致する画像１２２内の領域を撮影可能領域として特定する。図７では、カメラ１が支援対象装置１０１に接近したため、４つのマーカ１１１，１１２，１１３，１１４が画像１２２内に含まれていない。しかしながら、今回取得された画像１２２は、図５に示す初期撮影可能画像１７１の領域１９１と一致する。したがって、領域特定部２１３は、今回取得された画像１２２全体を撮影可能領域１３１として特定する。
　図８は、本実施の形態１において、図７に示す画像１２２に基づいて作成されたマスク画像１４２の一例を示す図である。
　マスク画像作成部２１４は、画像１２２内の撮影可能領域１３１の外側の領域１３２をマスクしたマスク画像１４２を作成する。図８に示すマスク画像１４２では、今回取得された画像１２２全体が撮影可能領域１３１であるため、マスク画像１４２全体が視認可能となっている。
　図９は、本実施の形態１において、撮影範囲が右に移動したカメラ１によって撮影された画像１２３の一例を示す図である。
　カメラ１の撮影範囲が右に移動した場合、カメラ１の撮影範囲は、図４の領域１５２に変化する。この場合、４つのマーカ１１１，１１２，１１３，１１４のうち、２つのマーカ１１１，１１２が画像１２２内に含まれなくなる。画像１２３は、４つのマーカ１１１，１１２，１１３，１１４のうち、２つのマーカ１１１，１１２を含んでいない。そのため、マーカ認識部２１２は、画像取得部２１１によって取得された画像１２３内に含まれる２つのマーカ１１３，１１４を認識し、画像１２３内に含まれない２つのマーカ１１１，１１２を認識しない。領域特定部２１３は、４つのマーカ１１１，１１２，１１３，１１４のうちの少なくとも１つが認識されなかった場合、初期撮影可能画像１７１と、今回取得された画像１２３とを比較し、初期撮影可能画像１７１と一致する画像１２３内の領域１８１を撮影可能領域１３１として特定する。図９では、カメラ１の撮影範囲が右方向に移動したため、２つのマーカ１１１，１１２が画像１２３内に含まれていない。しかしながら、今回取得された画像１２３内の領域１８１は、図５に示す初期撮影可能画像１７１の領域１９２と一致する。したがって、領域特定部２１３は、初期撮影可能画像１７１と一致する画像１２３内の領域１８１を撮影可能領域１３１として特定する。
　図１０は、本実施の形態１において、図９に示す画像１２３に基づいて作成されたマスク画像１４３の一例を示す図である。
　マスク画像作成部２１４は、画像１２３内の撮影可能領域１３１の外側の領域１３２をマスクしたマスク画像１４３を作成する。マスク画像作成部２１４は、画像１２３内の撮影可能領域１３１の外側の領域１３２に対してマスク処理を施す。図１０に示すマスク画像１４３では、撮影可能領域１３１内の撮影可能画像１６１は視認可能となっており、撮影可能領域１３１以外の領域１３２は秘匿されている。
　図１０に示すように、４つのマーカ１１１，１１２，１１３，１１４のうちの一部が認識されていなくても、取得された画像１２３全体をマスクするのではなく、撮影可能領域１３１内をマスクしないマスク画像１４３を作成することができる。
　なお、本実施の形態１では、画像処理装置２は、現場に配置されているが、本開示は特にこれに限定されず、画像処理装置２は、クラウド上に設けられたサーバであってもよい。この場合、画像処理装置２は、カメラ１とネットワーク４を介して互いに通信可能に接続される。
　遠隔端末３は、例えば、遠隔地の作業者によって操作されるパーソナルコンピュータ、スマートフォン、又はタブレット型コンピュータである。遠隔端末３は、画像処理装置２によって送信されたマスク画像を受信する。遠隔端末３は、受信したマスク画像を表示する。画像処理装置２は、所定のフレームレートでマスク画像を遠隔端末３に送信する。そのため、動画像が、画像処理装置２から遠隔端末３に送信される。
　遠隔地の作業者は、遠隔端末３に表示されたマスク画像を見ながら、現場の作業者の作業を支援することができる。なお、画像処理装置２及び遠隔端末３は画像データだけでなく、音声データを互いに送信及び受信してもよい。
　続いて、本開示の実施の形態１における画像処理装置２による作業支援処理について説明する。
　図１１は、本開示の実施の形態１における画像処理装置２による作業支援処理について説明するための第１のフローチャートであり、図１２は、本開示の実施の形態１における画像処理装置２による作業支援処理について説明するための第２のフローチャートである。
　まず、ステップＳ１において、画像取得部２１１は、カメラ１によって撮影された画像を取得する。なお、カメラ１の電源がオンされた場合、又は画像処理装置２に設けられたマスク画像の送信を開始するためのボタンが押下された場合、カメラ１から画像が取得される。
　次に、ステップＳ２において、マーカ認識部２１２は、メモリ２２に記憶されている初期化フラグがオンであるか否かを判定する。ここで、初期化フラグがオンではない、すなわち、初期化フラグがオフであると判定された場合（ステップＳ２でＮＯ）、ステップＳ３において、マーカ認識部２１２は、画像取得部２１１によって取得された画像内に含まれる複数のマーカを認識する。
　次に、ステップＳ４において、領域特定部２１３は、マーカ認識部２１２によって全てのマーカが認識されたか否かを判定する。なお、画像認識に用いられる複数のマーカの数は、予め決められている。メモリ２２は、複数のマーカの数を予め記憶している。本実施の形態１では、複数のマーカの数は４つである。領域特定部２１３は、マーカ認識部２１２によって４つのマーカが認識されたか否かを判定する。
　ここで、全てのマーカが認識されていないと判定された場合、すなわち、複数のマーカのうちの少なくとも１つが認識されていないと判定された場合（ステップＳ４でＮＯ）、ステップＳ１に処理が戻る。
　一方、全てのマーカが認識されたと判定された場合（ステップＳ４でＹＥＳ）、ステップＳ５において、領域特定部２１３は、マーカ認識部２１２によって認識された複数のマーカに囲まれた撮影可能領域を特定する。
　次に、ステップＳ６において、領域特定部２１３は、画像内の撮影可能領域内の撮影可能画像を初期撮影可能画像としてメモリ２２に記憶する。
　次に、ステップＳ７において、領域特定部２１３は、メモリ２２に記憶されている初期化フラグをオンにする。初期化フラグがオンにされた後、ステップＳ１に処理が戻る。
　一方、初期化フラグがオンであると判定された場合（ステップＳ２でＹＥＳ）、ステップＳ８において、マーカ認識部２１２は、画像取得部２１１によって取得された画像内に含まれる複数のマーカを認識する。
　次に、ステップＳ９において、領域特定部２１３は、マーカ認識部２１２によって全てのマーカが認識されたか否かを判定する。
　ここで、全てのマーカが認識されていないと判定された場合、すなわち、複数のマーカのうちの少なくとも１つが認識されていないと判定された場合（ステップＳ９でＮＯ）、ステップＳ１０において、領域特定部２１３は、初期撮影可能画像と今回取得された画像とのマッチング処理により撮影可能領域を特定する。すなわち、領域特定部２１３は、初期撮影可能画像と、今回取得された画像とを比較し、初期撮影可能画像と一致する画像内の領域を撮影可能領域として特定する。なお、初期撮影可能画像と一致する画像内の領域がない場合、領域特定部２１３は、撮影可能領域を特定しない。
　次に、ステップＳ１１において、領域特定部２１３は、撮影可能領域が特定されたか否かを判定する。ここで、撮影可能領域が特定されたと判定された場合（ステップＳ１１でＹＥＳ）、ステップＳ１４に処理が移行する。
　一方、撮影可能領域が特定されていないと判定された場合（ステップＳ１１でＮＯ）、ステップＳ１２において、領域特定部２１３は、メモリ２２に記憶されている初期化フラグをオフにする。初期化フラグがオフにされた後、ステップＳ１に処理が戻る。
　一方、全てのマーカが認識されたと判定された場合（ステップＳ９でＹＥＳ）、ステップＳ１３において、領域特定部２１３は、マーカ認識部２１２によって認識された複数のマーカに囲まれた撮影可能領域を特定する。
　次に、ステップＳ１４において、マスク画像作成部２１４は、画像内の領域特定部２１３によって特定された撮影可能領域の外側の領域をマスクするマスク処理によりマスク画像を作成する。
　次に、ステップＳ１５において、出力部２１５は、マスク画像作成部２１４によって作成されたマスク画像を、通信部２３を介して遠隔端末３に送信する。遠隔端末３は、画像処理装置２によって送信されたマスク画像を受信する。遠隔端末３は、受信したマスク画像を表示する。
　次に、ステップＳ１６において、出力部２１５は、マスク画像の送信を終了するか否かを判定する。なお、カメラ１の電源がオフされた場合、又は画像処理装置２に設けられたマスク画像の送信を終了するためのボタンが押下された場合、マスク画像の送信が終了する。
　ここで、マスク画像の送信を終了すると判定された場合（ステップＳ１６でＹＥＳ）、ステップＳ１７において、出力部２１５は、マスク画像の送信を終了する。
　一方、マスク画像の送信を終了しないと判定された場合（ステップＳ１６でＮＯ）、ステップＳ１に処理が戻る。
　このように、画像内に含まれる複数のマーカが認識された場合、認識された複数のマーカに囲まれた撮影可能領域が特定される。一方、複数のマーカが認識されなかった場合、過去に特定された撮影可能領域内の撮影可能画像と一致する、今回取得された画像内の領域が撮影可能領域として特定される。そして、画像内の撮影可能領域の外側の領域をマスクしたマスク画像が作成され、マスク画像が出力される。
　したがって、複数のマーカが認識されない場合であっても、複数のマーカに囲まれた撮影可能領域以外をマスクしたマスク画像を出力することができる。この結果、現場にいる作業者は、遠隔地にいる作業者から効率 的な作業支援を受けることができる。
　（実施の形態２）
　上記の実施の形態１では、最初に複数のマーカが認識された際に、画像内の撮影可能領域内の撮影可能画像が初期撮影可能画像としてメモリ２２に記憶され、以降、取得された画像から複数のマーカが認識されなかった場合、初期撮影可能画像と、今回取得された画像とが比較され、初期撮影可能画像と一致する画像内の領域が撮影可能領域として特定される。
　これに対し、実施の形態２では、最初に複数のマーカが認識された際に、画像内の撮影可能領域内の撮影可能画像が初期撮影可能画像としてメモリ２２に記憶され、以降、１フレーム前の画像内の撮影可能画像と、今回取得された画像とが１フレーム毎に比較され、１フレーム前の撮影可能画像と一致する画像内の領域が撮影可能領域として推定される。そして、取得された画像から複数のマーカが認識されなかった場合、推定された撮影可能領域が、取得された画像の撮影可能領域として特定される。
　図１３は、本実施の形態２における画像処理装置２Ａの構成の一例を示す図である。なお、本実施の形態２において、画像処理装置２Ａ以外の作業支援システムの構成は、実施の形態１における作業支援システムと同じである。
　図１３に示す画像処理装置２Ａは、プロセッサ２１Ａ、メモリ２２及び通信部２３を備える。なお、本実施の形態２において、実施の形態１と同じ構成については、同じ符号を付し、説明を省略する。
　プロセッサ２１Ａにより、画像取得部２１１、マーカ認識部２１２、領域特定部２１３Ａ、マスク画像作成部２１４、出力部２１５、及び領域推定部２１６が実現される。
　領域推定部２１６は、メモリ２２に記憶されている１フレーム前に推定された撮影可能領域内の撮影可能画像と、今回取得された現在フレームの画像とを比較し、撮影可能画像と一致する画像内の領域を現在フレームの撮影可能領域として推定する。領域推定部２１６は、１フレーム毎に現在フレームの画像内の撮影可能領域を推定する。領域推定部２１６は、推定した現在フレームの撮影可能領域内の撮影可能画像をメモリ２２に記憶する。
　メモリ２２は、１フレーム前の画像から推定された撮影可能画像と、現在フレームの画像から推定された撮影可能画像とを記憶する。
　領域特定部２１３Ａは、複数のマーカが認識されなかった場合、１フレーム前に特定された撮影可能領域内の撮影可能画像と一致する、今回取得された画像内の領域を撮影可能領域として特定する。領域特定部２１３Ａは、複数のマーカが認識されなかった場合、領域推定部２１６によって推定された現在フレームの撮影可能領域に基づいて撮影可能領域を特定する。
　続いて、本開示の実施の形態２における画像処理装置２Ａによる作業支援処理について説明する。
　図１４は、本開示の実施の形態２における画像処理装置２Ａによる作業支援処理について説明するための第１のフローチャートであり、図１５は、本開示の実施の形態２における画像処理装置２Ａによる作業支援処理について説明するための第２のフローチャートである。
　ステップＳ２１～ステップＳ２６の処理は、図１１に示すステップＳ１～ステップＳ６の処理と同じであるので、説明を省略する。
　次に、ステップＳ２７において、マスク画像作成部２１４は、画像内の領域特定部２１３Ａによって特定された撮影可能領域の外側の領域をマスクするマスク処理によりマスク画像を作成する。
　次に、ステップＳ２８において、領域特定部２１３Ａは、メモリ２２に記憶されている初期化フラグをオンにする。初期化フラグがオンにされた後、ステップＳ３７に処理が移行する。
　一方、初期化フラグがオンであると判定された場合（ステップＳ２２でＹＥＳ）、ステップＳ２９において、領域特定部２１３Ａは、メモリ２２に記憶されている１フレーム前に推定された撮影可能画像と今回取得された現在フレームの画像とのマッチング処理により撮影可能領域を推定する。すなわち、領域特定部２１３Ａは、１フレーム前の撮影可能画像と、今回取得された現在フレームの画像とを比較し、１フレーム前の撮影可能画像と一致する現在フレームの画像内の領域を撮影可能領域として推定する。なお、１フレーム前の撮影可能画像と一致する現在フレームの画像内の領域がない場合、領域特定部２１３Ａは、撮影可能領域を推定しない。
　なお、現在フレームが、全てのマーカが最初に認識された画像の次のフレームである場合、領域推定部２１６は、メモリ２２に記憶されている初期撮影可能画像と、今回取得された現在フレームの画像とを比較し、初期撮影可能画像と一致する現在フレームの画像内の領域を現在フレームの撮影可能領域として推定する。以降、領域推定部２１６は、１フレーム毎に、１フレーム前の撮影可能画像と、現在フレームの画像とのマッチング処理を実施し、１フレーム前の撮影可能画像と一致する現在フレームの画像内の領域を現在フレームの撮影可能領域として推定する。
　領域推定部２１６は、現在のフレームの撮影可能領域を推定した場合、推定した現在フレームの撮影可能領域内の撮影可能画像をメモリ２２に記憶する。
　次に、ステップＳ３０において、マーカ認識部２１２は、画像取得部２１１によって取得された画像内に含まれる複数のマーカを認識する。
　次に、ステップＳ３１において、領域特定部２１３Ａは、マーカ認識部２１２によって全てのマーカが認識されたか否かを判定する。
　ここで、全てのマーカが認識されていないと判定された場合、すなわち、複数のマーカのうちの少なくとも１つが認識されていないと判定された場合（ステップＳ３１でＮＯ）、ステップＳ３２において、領域特定部２１３Ａは、領域推定部２１６によって現在フレームの撮影可能領域が推定されているか否かを判定する。なお、メモリ２２に現在フレームの撮影可能画像が記憶されている場合、領域特定部２１３Ａは、現在フレームの撮影可能領域が推定されていると判定してもよい。メモリ２２に現在フレームの撮影可能画像が記憶されていない場合、領域特定部２１３Ａは、現在フレームの撮影可能領域が推定されていないと判定してもよい。
　ここで、現在フレームの撮影可能領域が推定されていると判定された場合（ステップＳ３２でＹＥＳ）、ステップＳ３３において、領域特定部２１３Ａは、領域推定部２１６によって推定された現在フレームの撮影可能領域に基づいて撮影可能領域を特定する。すなわち、領域特定部２１３Ａは、領域推定部２１６によって推定された現在フレームの撮影可能領域を、今回取得された画像の撮影可能領域として特定する。
　一方、現在フレームの撮影可能領域が推定されていないと判定された場合（ステップＳ３２でＮＯ）、ステップＳ３４において、領域特定部２１３Ａは、メモリ２２に記憶されている初期化フラグをオフにする。初期化フラグがオフにされた後、ステップＳ２１に処理が戻る。
　一方、全てのマーカが認識されたと判定された場合（ステップＳ３１でＹＥＳ）、ステップＳ３５において、領域特定部２１３Ａは、マーカ認識部２１２によって認識された複数のマーカに囲まれた撮影可能領域を特定する。
　ステップＳ３６～ステップＳ３９の処理は、図１２に示すステップＳ１４～ステップＳ１７の処理と同じであるので、説明を省略する。
　実施の形態１のように、最初に複数のマーカが認識された際の初期撮影可能画像と、現在フレームの画像とのマッチング処理では、初期位置からのカメラ１の移動量が大きい場合、マッチング処理が困難になるおそれがあり、撮影可能領域を特定する精度が低下するおそれがある。
　これに対し、本実施の形態２では、１フレーム毎に、１フレーム前の撮影可能領域内の撮影可能画像と、現在フレームの画像とのマッチング処理が行われるので、撮影可能領域を特定する精度を向上させることができる。
　なお、本実施の形態２において、領域特定部２１３Ａは、最初に複数のマーカが認識された場合、初期フレームの画像内の撮影可能領域内の撮影可能画像を初期撮影可能画像としてメモリ２２に記憶してもよい。また、領域特定部２１３Ａは、１フレーム前の画像と現在フレームの画像とを比較し、１フレーム前の画像の撮影範囲と現在フレームの画像の撮影範囲との変化量を１フレーム毎に算出してもよい。なお、変化量は、例えば、１フレーム前の撮影範囲に対する現在フレームの撮影範囲の移動方向及び移動量を示す。また、領域特定部２１３Ａは、初期フレームから現在フレームまでの変化量の累積値を算出してもよい。累積値は、メモリ２２に記憶される。領域特定部２１３Ａは、複数のマーカが認識されなかった場合、初期撮影可能領域と累積値とに基づいて、現在フレームの撮影可能領域を特定してもよい。
　この場合、累積値から、初期フレームから現在フレームまでの画像の撮影範囲の変化量が分かる。そのため、初期フレームの画像内における初期撮影可能領域と累積値とに基づいて、現在フレームの画像内における撮影可能領域を特定することができる。
　（実施の形態３）
　実施の形態３では、カメラ１の位置及び姿勢を表す第１センシング値を取得し、初期撮影可能画像と今回取得された画像とのマッチング処理により撮影可能領域が特定されない場合、又は１フレーム毎の撮影可能画像と今回取得された現在フレームの画像とのマッチング処理により現在フレームの撮影可能領域が特定されていない場合、取得した第１センシング値を用いて、撮影可能領域が特定される。
　図１６は、本実施の形態３における画像処理装置２Ｂの構成の一例を示す図である。なお、本実施の形態３において、カメラ１及び画像処理装置２Ｂ以外の作業支援システムの構成は、実施の形態１における作業支援システムと同じである。
　カメラ１は、カメラ１の位置及び姿勢を検出する第１センサをさらに備える。第１センサは、例えば、加速度センサ及びジャイロセンサであり、カメラ１の３軸方向の並進運動（ｘ，ｙ，ｚ）及び回転運動（ロール角、ピッチ角、ヨー角）を検出する。カメラ１は、画像を画像処理装置２に送信するとともに、第１センサによって検出されたカメラ１の位置及び姿勢を表す第１センシング値を画像処理装置２に送信する。
　図１６に示す画像処理装置２Ｂは、プロセッサ２１Ｂ、メモリ２２及び通信部２３を備える。なお、本実施の形態３において、実施の形態１及び実施の形態２と同じ構成については、同じ符号を付し、説明を省略する。
　プロセッサ２１Ｂにより、画像取得部２１１、マーカ認識部２１２、領域特定部２１３Ｂ、マスク画像作成部２１４、出力部２１５、領域推定部２１６、及びセンシング値取得部２１７が実現される。
　通信部２３は、カメラ１によって送信された画像及び第１センシング値を受信する。通信部２３は、受信した画像及び第１センシング値をプロセッサ２１に出力する。通信部２３は、所定のフレームレートで送信された動画像及び所定のサンプリング周期で送信された第１センシング値を受信し、１フレーム毎に画像及び１サンプリング毎に第１センシング値をプロセッサ２１に出力する。
　センシング値取得部２１７は、１フレーム毎にカメラ１の位置及び姿勢を表す第１センシング値を取得する。一般的に、ジャイロセンサなどのセンサのサンプリング周期は、画像のフレームレートよりも高く、高いサンプリング周期でセンシング値を取得することで、高周波の変化も検出することができる。そのため、第１センサは可能な限り高いサンプリング周期で第１センシング値を取得して信号処理を行う。例えば、ジャイロセンサの信号処理は、ドリフトノイズを除去する処理、及び角速度を積分して角度に変換する処理などである。そして、センシング値取得部２１７は、画像フレームと時間が一致する又は最も近い第１センシング値を取得する。
　領域特定部２１３Ｂは、複数のマーカが認識されなかった場合、１フレーム前に特定された撮影可能領域内の撮影可能画像と一致する、今回取得された画像内の領域を撮影可能領域として特定する。領域特定部２１３Ｂは、複数のマーカが認識されなかった場合、領域推定部２１６によって推定された現在フレームの撮影可能領域に基づいて撮影可能領域を特定する。
　領域特定部２１３Ｂは、最初に複数のマーカが認識された場合、画像内の撮影可能領域内の撮影可能画像を初期撮影可能画像としてメモリ２２に記憶するとともに、カメラ１の位置及び姿勢を表す第１センシング値を第１初期センシング値としてメモリ２２に記憶する。そして、領域特定部２１３Ｂは、複数のマーカが認識されなかった場合、初期撮影可能画像と、今回取得された画像とを比較し、初期撮影可能画像と一致する画像内の領域を撮影可能領域として特定する。
　また、領域特定部２１３Ｂは、領域推定部２１６によって推定された現在フレームの撮影可能領域に基づいて撮影可能領域が特定されなかった場合、メモリ２２に記憶されている第１初期センシング値と、現在の第１センシング値とを取得する。領域特定部２１３Ｂは、第１初期センシング値及び現在の第１センシング値に基づいて推定される、カメラ１の初期位置及び初期姿勢に対するカメラ１の現在位置及び現在姿勢に基づいて、初期撮影可能画像と一致する、今回取得された画像内の領域を撮影可能領域として特定する。
　領域特定部２１３Ｂは、第１初期センシング値で表されるカメラ１の初期位置及び初期姿勢に対する相対的なカメラ１の現在位置及び現在姿勢を算出し、算出結果に基づいて撮影可能領域を特定する。領域特定部２１３Ｂは、カメラ１の初期位置及び初期姿勢とカメラ１の現在位置及び現在姿勢とから、初期撮影可能画像に対するカメラ１の現在の撮影範囲を推定する。領域特定部２１３Ｂは、初期撮影可能画像に対する現在の撮影範囲から、初期撮影可能画像と一致する、今回取得された画像内の領域を撮影可能領域として特定する。
　すなわち、第１初期センシング値及び現在の第１センシング値から、カメラ１の初期位置及び初期姿勢からの移動方向及び移動距離が算出される。そして、算出された移動方向及び移動距離からカメラ１の現在位置及び現在姿勢が推定される。推定されたカメラ１の現在位置及び現在姿勢から、初期撮影可能画像に対するカメラ１の現在の撮影範囲が推定され、初期撮影可能画像と一致する、今回取得された画像内の領域が撮影可能領域として特定される。
　メモリ２２は、最初に複数のマーカが認識された際に特定された初期撮影可能画像を記憶する。また、メモリ２２は、最初に複数のマーカが認識された際に取得された第１初期センシング値を記憶する。
　図１７は、本実施の形態３において、最初に複数のマーカ全てが認識された際にカメラ１によって撮影された画像１２１の一例を示す図である。なお、図１７では、説明を分かりやすくするため、マーカが実際よりも大きく図示されている。
　画像１２１は、４つのマーカ１１１，１１２，１１３，１１４を全て含んでいる。マーカ認識部２１２は、画像取得部２１１によって取得された画像１２１内に含まれる４つのマーカ１１１，１１２，１１３，１１４を認識する。領域特定部２１３Ｂは、４つのマーカ１１１，１１２，１１３，１１４の全てが認識された場合、認識された４つのマーカ１１１，１１２，１１３，１１４に囲まれた撮影可能領域１３１を特定する。また、領域特定部２１３Ｂは、最初に４つのマーカ１１１，１１２，１１３，１１４が認識された場合、画像１２１内の撮影可能領域１３１内の撮影可能画像１６１を初期撮影可能画像１７１としてメモリ２２に記憶するとともに、カメラ１の位置及び姿勢を表す第１センシング値を第１初期センシング値としてメモリ２２に記憶する。
　図１８は、本実施の形態３において、カメラ１が初期位置から支援対象装置１０１に接近した際に作成されたマスク画像１４４の一例を示す図である。
　カメラ１の初期位置及び初期姿勢における撮影範囲は、図１７の画像１２１である。カメラ１が初期位置から支援対象装置１０１に接近した場合、カメラ１の現在位置及び現在姿勢において撮影されたカメラ１の撮影範囲は、図１７の領域１５３に変化する。領域特定部２１３Ｂは、カメラ１の初期位置及び初期姿勢と、カメラ１の現在位置及び現在姿勢とから、初期撮影可能画像に対するカメラ１の現在の撮影範囲を推定する。
　マスク画像作成部２１４は、今回取得された画像内の撮影可能領域１３１の外側の領域をマスクしたマスク画像１４４を作成する。図１８に示すマスク画像１４４では、今回取得された画像全体が撮影可能領域１３１であるため、マスク画像１４４全体が視認可能となっている。
　図１９は、本実施の形態３において、カメラ１が初期位置から支援対象装置１０１に接近するとともに撮影範囲が右に移動した際に作成されたマスク画像１４５の一例を示す図である。
　カメラ１の初期位置及び初期姿勢における撮影範囲は、図１７の画像１２１である。カメラ１が初期位置から支援対象装置１０１に接近するとともに撮影範囲が右に移動した場合、カメラ１の現在位置及び現在姿勢において撮影されたカメラ１の撮影範囲は、図１７の領域１５４に変化する。領域特定部２１３Ｂは、カメラ１の初期位置及び初期姿勢と、カメラ１の現在位置及び現在姿勢とから、初期撮影可能画像に対するカメラ１の現在の撮影範囲を推定する。
　マスク画像作成部２１４は、今回取得された画像内の撮影可能領域１３１の外側の領域１３２をマスクしたマスク画像１４５を作成する。マスク画像作成部２１４は、今回取得された画像内の撮影可能領域１３１の外側の領域１３２に対してマスク処理を施す。図１９に示すマスク画像１４５では、撮影可能領域１３１内の撮影可能画像１６１は視認可能となっており、撮影可能領域１３１以外の領域１３２は秘匿されている。
　続いて、本開示の実施の形態３における画像処理装置２Ｂによる作業支援処理について説明する。
　図２０は、本開示の実施の形態３における画像処理装置２Ｂによる作業支援処理について説明するための第１のフローチャートであり、図２１は、本開示の実施の形態３における画像処理装置２Ｂによる作業支援処理について説明するための第２のフローチャートであり、図２２は、本開示の実施の形態３における画像処理装置２Ｂによる作業支援処理について説明するための第３のフローチャートである。
　ステップＳ４１の処理は、図１４に示すステップＳ２１の処理と同じであるので、説明を省略する。
　次に、ステップＳ４２において、センシング値取得部２１７は、カメラ１の位置及び姿勢を表す第１センシング値を取得する。センシング値取得部２１７は、カメラ１によって測定された第１センシング値を取得する。
　ステップＳ４３～ステップＳ４８の処理は、図１４に示すステップＳ２２～ステップＳ２７の処理と同じであるので、説明を省略する。
　次に、ステップＳ４９において、領域特定部２１３Ｂは、最初に全てのマーカが認識された際のカメラ１の位置及び姿勢を表す第１センシング値を第１初期センシング値としてメモリ２２に記憶する。
　次に、ステップＳ５０において、領域特定部２１３Ｂは、メモリ２２に記憶されている初期化フラグをオンにする。初期化フラグがオンにされた後、ステップＳ６２に処理が移行する。
　ステップＳ５１～ステップＳ５４の処理は、図１４及び図１５に示すステップＳ２９～ステップＳ３２の処理と同じであるので、説明を省略する。
　ここで、現在フレームの撮影可能領域が推定されていると判定された場合（ステップＳ５４でＹＥＳ）、ステップＳ５９に処理が移行する。ステップＳ５９の処理は、図１５に示すステップＳ３３の処理と同じであるので、説明を省略する。
　一方、現在フレームの撮影可能領域が推定されていないと判定された場合（ステップＳ５４でＮＯ）、ステップＳ５５において、領域特定部２１３Ｂは、メモリ２２に記憶されている第１初期センシング値と、センシング値取得部２１７によって取得された現在の第１センシング値とを取得する。
　次に、ステップＳ５６において、領域特定部２１３Ｂは、領域特定部２１３Ｂは、第１初期センシング値及び現在の第１センシング値に基づいて推定される、カメラ１の初期位置及び初期姿勢に対するカメラ１の現在位置及び現在姿勢に基づいて、初期撮影可能画像と一致する、今回取得された画像内の領域を撮影可能領域として特定する。
　次に、ステップＳ５７において、領域特定部２１３Ｂは、第１初期センシング値と現在の第１センシング値とを用いて撮影可能領域が特定されたか否かを判定する。
　ここで、撮影可能領域が特定されていないと判定された場合（ステップＳ５７でＮＯ）、ステップＳ５８において、領域特定部２１３Ｂは、メモリ２２に記憶されている初期化フラグをオフにする。初期化フラグがオフにされた後、ステップＳ４１に処理が戻る。
　一方、撮影可能領域が特定されたと判定された場合（ステップＳ５７でＹＥＳ）、ステップＳ５９に処理が移行する。
　一方、全てのマーカが認識されたと判定された場合（ステップＳ５３でＹＥＳ）、ステップＳ６０において、領域特定部２１３Ｂは、マーカ認識部２１２によって認識された複数のマーカに囲まれた撮影可能領域を特定する。
　ステップＳ６１～ステップＳ６４の処理は、図１５に示すステップＳ３６～ステップＳ３９の処理と同じであるので、説明を省略する。
　実施の形態２のように、１フレーム毎に、１フレーム前の撮影可能領域内の撮影可能画像と、現在フレームの画像とのマッチング処理が行われたとしても、支援対象装置１０１に光が当たったり、影ができたりした場合、マッチング処理が困難になるおそれがあり、撮影可能領域を推定することができなくなるおそれがある。
　これに対し、本実施の形態３では、第１初期センシング値と現在の第１センシング値とを用いて撮影可能領域が特定されるので、撮影可能領域を特定する精度を向上させることができる。
　なお、本実施の形態３において、カメラ１が、被写体を拡大又は縮小するズーム機能を有している場合、第１センシング値は、ズーム倍率に関する情報を含んでもよい。ズーム機能は、光学的に被写体を拡大又は縮小してもよいし、画像処理により被写体を拡大又は縮小してもよい。
　また、本実施の形態３では、第１初期センシング値と現在の第１センシング値とを用いて撮影可能領域が特定されるが、本開示は特にこれに限定されない。領域特定部２１３Ｂは、領域推定部２１６によって推定された現在フレームの撮影可能領域に基づいて撮影可能領域が特定されなかった場合、１フレーム前の第１センシング値と、現在の第１センシング値とを取得してもよい。領域特定部２１３Ｂは、１フレーム前の第１センシング値及び現在の第１センシング値に基づいて推定される、１フレーム前のカメラ１の位置及び姿勢に対するカメラ１の現在位置及び現在姿勢に基づいて、１フレーム前の撮影可能画像と一致する、今回取得された画像内の領域を撮影可能領域として特定してもよい。
　この場合、領域特定部２１３Ｂは、最初に全てのマーカが認識された際に第１初期センシング値をメモリ２２に記憶した後、１フレーム毎にカメラ１の位置及び姿勢を表す第１センシング値を取得し、取得した第１センシング値をメモリ２２に記憶する。これにより、最初に全てのマーカが認識された際にメモリ２２に記憶された第１初期センシング値が、１フレーム毎に更新される。領域特定部２１３Ｂは、１フレーム前の第１センシング値及び現在の第１センシング値に基づいて推定される、１フレーム前のカメラ１の位置及び姿勢に対するカメラ１の現在位置及び現在姿勢に基づいて、１フレーム前の撮影可能画像と一致する、今回取得された画像内の領域を撮影可能領域として特定する。
　領域特定部２１３Ｂは、１フレーム前の第１センシング値で表されるカメラ１の位置及び姿勢に対する相対的なカメラ１の現在位置及び現在姿勢を算出し、算出結果に基づいて撮影可能領域を特定する。領域特定部２１３Ｂは、１フレーム前のカメラ１の位置及び姿勢とカメラ１の現在位置及び現在姿勢とから、１フレーム前の撮影可能画像に対する現在の撮影範囲を推定する。領域特定部２１３Ｂは、１フレーム前の撮影可能画像に対する現在の撮影範囲から、１フレーム前の撮影可能画像と一致する、今回取得された画像内の領域を撮影可能領域として特定する。
　すなわち、１フレーム前の第１センシング値及び現在の第１センシング値から、１フレーム前のカメラ１の位置及び姿勢からの移動方向及び移動距離が算出される。そして、算出された移動方向及び移動距離からカメラ１の現在位置及び現在姿勢が推定される。推定されたカメラ１の現在位置及び現在姿勢から、１フレーム前の撮影可能画像に対するカメラ１の現在の撮影範囲が推定され、１フレーム前の撮影可能画像と一致する、今回取得された画像内の領域が撮影可能領域として特定される。
　また、本実施の形態３では、実施の形態２における画像処理装置２Ａにセンシング値取得部２１７及び領域特定部２１３Ｂを備えているが、本開示は特にこれに限定されず、実施の形態１における画像処理装置２にセンシング値取得部２１７及び領域特定部２１３Ｂを備えてもよい。この場合、図１１のステップＳ６の後に、領域特定部２１３Ｂは、最初に全てのマーカが認識された際のカメラ１の位置及び姿勢を表す第１センシング値を第１初期センシング値としてメモリ２２に記憶する。また、初期撮影可能画像と今回取得された画像とのマッチング処理により撮影可能領域が特定されていないと判定された場合（図１２のステップＳ１１でＮＯ）、領域特定部２１３Ｂは、図２１に示すステップＳ５５～ステップＳ５９の処理を行ってもよい。
　また、カメラ１は、画像内の画素毎のカメラ１から物体までの距離を検出する第２センサをさらに備えてもよい。第２センサは、例えば、デプスセンサである。カメラ１は、画像とともに、画像内の画素毎のカメラ１から物体までの距離を表す第２センシング値を画像処理装置２に送信してもよい。領域特定部２１３Ｂは、最初に複数のマーカが認識された場合、画像内の撮影可能領域内の撮影可能画像を初期撮影可能画像としてメモリ２２に記憶するとともに、初期撮影可能画像内の画素毎のカメラ１から物体までの各距離を第２初期センシング値としてメモリ２２に記憶してもよい。領域特定部２１３Ｂは、領域推定部２１６によって推定された現在フレームの撮影可能領域に基づいて撮影可能領域が特定されなかった場合、第２初期センシング値と、今回取得された画像内の画素毎のカメラ１から物体までの距離を表す第２センシング値とを取得してもよい。そして、領域特定部２１３Ｂは、今回取得された画像内の複数の画素の第２センシング値が、第２初期センシング値のうちの最も長い距離以下である領域を撮影可能領域として特定してもよい。
　また、本実施の形態３において、領域特定部２１３Ｂは、第１センシング値を用いて撮影可能領域を特定してもよいし、第２センシング値を用いて撮影可能領域を特定してもよい。また、領域特定部２１３Ｂは、第１センシング値及び第２センシング値の両方を用いて撮影可能領域を特定してもよい。この場合、領域特定部２１３Ｂは、第１センシング値を用いて特定した撮影可能領域と、第２センシング値を用いて特定した撮影可能領域との論理積を算出してもよい。
　なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。また、プログラムを記録媒体に記録して移送することにより、又はプログラムをネットワークを経由して移送することにより、独立した他のコンピュータシステムによりプログラムが実施されてもよい。
　本開示の実施の形態に係る装置の機能の一部又は全ては典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　また、本開示の実施の形態に係る装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
　また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。
　また、上記フローチャートに示す各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、同様の効果が得られる範囲で上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
　本開示に係る技術は、複数のマーカが認識されない場合であっても、複数のマーカに囲まれた撮影可能領域以外をマスクした画像を出力することができるので、画像内の撮影可能領域以外をマスクする技術として有用である。

Claims (12)

  1. 　コンピュータにおける情報処理方法であって、
    　カメラによって撮影された画像を取得し、
    　前記画像内に含まれる複数のマーカを認識し、
    　前記複数のマーカが認識された場合、認識した前記複数のマーカに囲まれた撮影可能領域を特定し、前記複数のマーカが認識されなかった場合、過去に特定された前記撮影可能領域内の撮影可能画像と一致する、今回取得された前記画像内の領域を前記撮影可能領域として特定し、
    　前記画像内の前記撮影可能領域の外側の領域をマスクしたマスク画像を作成し、
    　前記マスク画像を出力する、
    　情報処理方法。
  2. 　前記マスク画像の作成において、前記撮影可能領域が特定されなかった場合、前記画像内の全てをマスクした前記マスク画像を作成する、
    　請求項１記載の情報処理方法。
  3. 　前記撮影可能領域の特定において、前記複数のマーカが認識されなかった場合、過去に特定された前記撮影可能領域内の前記撮影可能画像と、今回取得された前記画像とを比較し、前記撮影可能画像と一致する前記画像内の領域を前記撮影可能領域として特定する、
    　請求項１又は２記載の情報処理方法。
  4. 　さらに、最初に前記複数のマーカが認識された場合、前記画像内の前記撮影可能領域内の前記撮影可能画像を初期撮影可能画像としてメモリに記憶し、
    　前記撮影可能領域の特定において、前記複数のマーカが認識されなかった場合、前記初期撮影可能画像と、今回取得された前記画像とを比較し、前記初期撮影可能画像と一致する前記画像内の領域を前記撮影可能領域として特定する、
    　請求項３記載の情報処理方法。
  5. 　さらに、最初に前記複数のマーカが認識された場合、前記カメラの位置及び姿勢を表す第１センシング値を第１初期センシング値として前記メモリに記憶し、
    　さらに、前記撮影可能領域が特定されなかった場合、前記第１初期センシング値と、現在の前記第１センシング値とを取得し、
    　さらに、前記第１初期センシング値及び現在の前記第１センシング値に基づいて推定される、前記カメラの初期位置及び初期姿勢に対する前記カメラの現在位置及び現在姿勢に基づいて、前記初期撮影可能画像と一致する、今回取得された前記画像内の領域を前記撮影可能領域として特定する、
    　請求項４記載の情報処理方法。
  6. 　前記撮影可能領域の特定において、前記複数のマーカが認識されなかった場合、１フレーム前に特定された前記撮影可能領域内の前記撮影可能画像と一致する、今回取得された前記画像内の領域を前記撮影可能領域として特定する、
    　請求項３記載の情報処理方法。
  7. 　さらに、メモリに記憶されている１フレーム前に推定された前記撮影可能領域内の前記撮影可能画像と、今回取得された現在フレームの前記画像とを比較し、前記撮影可能画像と一致する前記画像内の領域を前記現在フレームの前記撮影可能領域として推定し、
    　さらに、推定した前記現在フレームの前記撮影可能領域内の前記撮影可能画像を前記メモリに記憶し、
    　前記撮影可能領域の特定において、前記複数のマーカが認識されなかった場合、推定した前記現在フレームの前記撮影可能領域を前記撮影可能領域として特定する、
    　請求項６記載の情報処理方法。
  8. 　さらに、１フレーム毎に前記カメラの位置及び姿勢を表す第１センシング値を取得し、取得した前記第１センシング値を前記メモリに記憶し、
    　さらに、前記撮影可能領域が特定されなかった場合、１フレーム前の前記第１センシング値と、現在の前記第１センシング値とを取得し、
    　さらに、１フレーム前の前記第１センシング値及び現在の前記第１センシング値に基づいて推定される、１フレーム前の前記カメラの位置及び姿勢に対する前記カメラの現在位置及び現在姿勢に基づいて、１フレーム前の前記撮影可能画像と一致する、今回取得された前記画像内の領域を前記撮影可能領域として特定する、
    　請求項７記載の情報処理方法。
  9. 　さらに、最初に前記複数のマーカが認識された場合、初期フレームの前記画像内の前記撮影可能領域内の前記撮影可能画像を初期撮影可能画像としてメモリに記憶し、
    　さらに、１フレーム前の前記画像と現在フレームの前記画像とを比較し、１フレーム前の前記画像の撮影範囲と現在フレームの前記画像の撮影範囲との変化量を１フレーム毎に算出し、
    　さらに、前記初期フレームから前記現在フレームまでの前記変化量の累積値を算出し、
    　前記撮影可能領域の特定において、前記複数のマーカが認識されなかった場合、前記初期撮影可能領域と前記累積値とに基づいて、前記現在フレームの前記撮影可能領域を特定する、
    　請求項１又は２記載の情報処理方法。
  10. 　さらに、最初に前記複数のマーカが認識された場合、前記画像内の前記撮影可能領域内の前記撮影可能画像を初期撮影可能画像としてメモリに記憶し、
    　さらに、最初に前記複数のマーカが認識された場合、前記初期撮影可能画像内の画素毎の前記カメラから物体までの各距離を第２初期センシング値として前記メモリに記憶し、
    　さらに、前記撮影可能領域が特定されなかった場合、前記第２初期センシング値と、今回取得された前記画像内の画素毎の前記カメラから物体までの距離を表す第２センシング値とを取得し、
    　さらに、今回取得された前記画像内の複数の画素の前記第２センシング値が、前記第２初期センシング値のうちの最も長い距離以下である領域を前記撮影可能領域として特定する、
    　請求項１又は２記載の情報処理方法。
  11. 　カメラによって撮影された画像を取得する取得部と、
    　前記画像内に含まれる複数のマーカを認識する認識部と、
    　前記複数のマーカが認識された場合、認識した前記複数のマーカに囲まれた撮影可能領域を特定し、前記複数のマーカが認識されなかった場合、過去に特定された前記撮影可能領域内の撮影可能画像と一致する、今回取得された前記画像内の領域を前記撮影可能領域として特定する特定部と、
    　前記画像内の前記撮影可能領域の外側の領域をマスクしたマスク画像を作成する作成部と、
    　前記マスク画像を出力する出力部と、
    　を備える情報処理装置。
  12. 　カメラによって撮影された画像を取得し、
    　前記画像内に含まれる複数のマーカを認識し、
    　前記複数のマーカが認識された場合、認識した前記複数のマーカに囲まれた撮影可能領域を特定し、前記複数のマーカが認識されなかった場合、過去に特定された前記撮影可能領域内の撮影可能画像と一致する、今回取得された前記画像内の領域を前記撮影可能領域として特定し、
    　前記画像内の前記撮影可能領域の外側の領域をマスクしたマスク画像を作成し、
    　前記マスク画像を出力するようにコンピュータを機能させる、
    　情報処理プログラム。
PCT/JP2023/025796 2022-07-20 2023-07-12 情報処理方法、情報処理装置、及び情報処理プログラム WO2024018973A1 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US202263368908P 2022-07-20 2022-07-20
US202263368914P 2022-07-20 2022-07-20
US63/368,914 2022-07-20
US63/368,908 2022-07-20
JP2023-100245 2023-06-19
JP2023100245 2023-06-19

Publications (1)

Publication Number Publication Date
WO2024018973A1 true WO2024018973A1 (ja) 2024-01-25

Family

ID=89617856

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/025796 WO2024018973A1 (ja) 2022-07-20 2023-07-12 情報処理方法、情報処理装置、及び情報処理プログラム

Country Status (1)

Country Link
WO (1) WO2024018973A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012054891A (ja) * 2010-09-03 2012-03-15 Nec Corp 画像処理装置、方法及びプログラム
JP2017211766A (ja) * 2016-05-24 2017-11-30 株式会社Ｓｃｒｅｅｎホールディングス 画像処理システム、画像処理プログラム、および画像処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012054891A (ja) * 2010-09-03 2012-03-15 Nec Corp 画像処理装置、方法及びプログラム
JP2017211766A (ja) * 2016-05-24 2017-11-30 株式会社Ｓｃｒｅｅｎホールディングス 画像処理システム、画像処理プログラム、および画像処理方法

Similar Documents

Publication Publication Date Title
JP5740884B2 (ja) 繰り返し撮影用ａｒナビゲーション及び差異抽出のシステム、方法及びプログラム
JP4692371B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体、ならびに移動物体検出システム
JP5093053B2 (ja) 電子カメラ
KR101871764B1 (ko) 가상현실 기반의 시설관리 플랫폼 구축 시스템
EP3425590B1 (en) Image processing apparatus, image processing method, and storage medium
US20190295216A1 (en) Image processing apparatus, image processing system, image capturing system, image processing method
KR20150127498A (ko) 감시 카메라 및 감시 시스템
CN114943773A (zh) 相机标定方法、装置、设备和存储介质
JP2008176768A (ja) 画像処理装置
WO2021168804A1 (zh) 图像处理方法、图像处理装置和图像处理系统
JP5152281B2 (ja) 画像処理装置、方法及びプログラム
JP2010217984A (ja) 像検出装置及び像検出方法
JP2022131778A5 (ja)
KR20220121533A (ko) 어레이 카메라를 통해 획득된 영상을 복원하는 영상 복원 방법 및 영상 복원 장치
KR20160073491A (ko) 모바일 단말기를 이용한 인터렉티브 건설 공정 관리 시스템 및 사용자 인터페이스
WO2024018973A1 (ja) 情報処理方法、情報処理装置、及び情報処理プログラム
KR102295857B1 (ko) 실시간 360 깊이 영상 측정을 위한 카메라 캘리브레이션 방법 및 그 장치
KR102076635B1 (ko) 산재된 고정 카메라를 이용한 파노라마 영상 생성 장치 및 방법
JP7179583B2 (ja) 画像処理装置および画像処理方法
KR102411612B1 (ko) 다수의 카메라를 이용한 열화상 감시 시스템
US11166005B2 (en) Three-dimensional information acquisition system using pitching practice, and method for calculating camera parameters
JP7040511B2 (ja) 情報処理装置および方法
KR20190064540A (ko) 파노라마 영상 생성 장치 및 방법
JP4446114B2 (ja) 画像撮影装置
JP2005275789A (ja) 三次元構造抽出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23842896

Country of ref document: EP

Kind code of ref document: A1