WO2020080101A1 - 映像処理装置、映像処理方法、及び映像処理プログラム - Google Patents

映像処理装置、映像処理方法、及び映像処理プログラム Download PDF

Info

Publication number
WO2020080101A1
WO2020080101A1 PCT/JP2019/038873 JP2019038873W WO2020080101A1 WO 2020080101 A1 WO2020080101 A1 WO 2020080101A1 JP 2019038873 W JP2019038873 W JP 2019038873W WO 2020080101 A1 WO2020080101 A1 WO 2020080101A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
video
distortion
target object
processing
Prior art date
Application number
PCT/JP2019/038873
Other languages
English (en)
French (fr)
Inventor
拓宏 水野
Original Assignee
株式会社アルファコード
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社アルファコード filed Critical 株式会社アルファコード
Publication of WO2020080101A1 publication Critical patent/WO2020080101A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a technique for image processing a 360 ° image.
  • FIG. 12 is a diagram showing a conventional configuration of the VR video processing system 100.
  • the VR camera 3 shoots a three-dimensional real space in the direction of 360 ° and transmits it to the video processing device 1 for the purpose of video distribution to a third party.
  • the video input unit 11 of the video processing device 1 inputs the 360 ° video from the VR camera 3 and stores it in the original video storage unit 12 in association with the file name of the video.
  • the video output unit 19 of the video processing device 1 reads the 360 ° video that received the video request from the original video storage unit 12 and outputs it as a VR video.
  • the 360 ° image is an image obtained by projecting the three-dimensional real space in the 360 ° direction on the screen of the two-dimensional plane, and the image shape is distorted in the image region vertically separated from the region on the center line in the horizontal direction. Therefore, the image correction unit 18 corrects the distortion of the image shape in the 360 ° image to a shape without distortion (distortion correction).
  • the VR goggles 5 receive the VR video corresponding to the video request from the video processing device 1, and display the video of the part corresponding to the direction and the inclination of the VR goggles 5 on the screen.
  • a part of the 360 ° image is displayed in a peeping state. Since distortion correction is applied to the 360 ° image, the VR goggles 5 display an image without distortion.
  • the viewer of the VR goggles 5 can correctly see the image in the direction and direction in which he or she is facing in the 360 ° direction without distortion. For example, if you turn to the right, you can see the virtual landscape in the right direction, and if you turn to the bottom, you can see the virtual landscape in the downward direction from the perspective of the travel destination, and you can experience the mood of travel while staying at home.
  • the 360 ° image captures every corner of the three-dimensional real space in the 360 ° direction, so of course, personal information is also included.
  • the provider of the VR video performs the mosaic processing on the personal information and correctly displays the mosaic display on the VR goggles 5. I expect that.
  • the computer cannot identify the personal information from the image. For example, even if the personal information is a “face”, the faces displayed on the upper and lower sides in the image are displayed in a stretched state, and thus the face may deviate from the standard shape of the “face”. , The computer cannot recognize the face in that state as a "face”.
  • a first object of the present invention is to accurately perform mosaic processing on an object to be mosaic-processed in an image of 360 ° video, and to generate a VR video accurately and without distortion.
  • the second purpose is to perform mosaic processing by using the above method.
  • the image processing device of the present invention includes an image dividing unit that divides an original image that is a 360 ° image, an image correcting unit that corrects distortion of the image shape in the divided image to a shape without distortion, and a divided image after distortion correction.
  • An image processing unit that calculates a corresponding position in the original image corresponding to the position of the target object detected by using, and performs image processing on the distorted target object in the original image formed at the corresponding position. And are provided.
  • the image processing unit distorts the mosaic processing object and attaches it to the distorted target object.
  • the image processing unit calculates a corresponding position in the original image by converting a position of a point representing the shape of the target object into a position in an image coordinate system before distortion correction. It is characterized by
  • the image correction unit designates the type of the target object and the number of points representing the shape of the target object to the object detection device, and the image processing unit responds to the designated number. It is characterized by receiving the position information of a certain number of points.
  • the image dividing unit divides the original image so that adjacent divided images partially overlap each other.
  • the above-mentioned video processing device is characterized by further comprising a video output unit for outputting the 360 ° video subjected to the image processing as a VR (Virtual Reality) video.
  • a video output unit for outputting the 360 ° video subjected to the image processing as a VR (Virtual Reality) video.
  • a video processing method is a video processing method performed by a video processing device, comprising the steps of dividing an original image that is a 360 ° video, and correcting distortion of the image shape in the divided image to a shape without distortion.
  • the corresponding position in the original image corresponding to the position of the target object detected using the divided image after distortion correction is calculated, and the target object having distortion in the original image formed at the corresponding position is calculated.
  • a step of performing image processing is a video processing method performed by a video processing device, comprising the steps of dividing an original image that is a 360 ° video, and correcting distortion of the image shape in the divided image to a shape without distortion.
  • the video processing program of the present invention is characterized by causing a computer to function as the above video processing device.
  • mosaic processing it is possible to accurately perform mosaic processing on a target object to be mosaic-processed in a 360 ° video image.
  • mosaic processing can be performed on a VR image accurately and without distortion.
  • the present invention has an object to detect a target object of mosaic processing from a distorted 360 ° video image and apply a mosaic.
  • the image processing device 1 divides an original image that is a 360 ° image, corrects the distortion of the image shape in the divided image to a shape without distortion, and uses the divided image after distortion correction.
  • the corresponding position in the original image corresponding to the detected position of the target object is calculated, and the distorted target object in the original image formed at the corresponding position is subjected to image processing (mosaic processing).
  • the present invention has an object to distort and mosaic the mosaic processing object so that it is correctly displayed when displayed on the VR goggles.
  • the video processing device 1 distorts the mosaic processing object and attaches it to the distorted target object.
  • FIG. 1 is a diagram showing the overall configuration of a VR video processing system 100 according to this embodiment.
  • the VR video processing system 100 includes a video processing device 1, an object detection device 2, a VR camera 3, a VR video editing terminal 4, and a VR goggles 5.
  • the video processing device 1 is arranged in the cloud of the Internet together with the object detection device 2, and is connected to the object detection device 2, the VR camera 3, the VR video editing terminal 4, and the VR goggles 5 via a communication network. Physically and electrically connected so that they can communicate with each other.
  • the video processing device 1 includes a video input unit 11, an original video storage unit 12, a video editing request reception unit 13, an image division unit 14, an image correction unit 15, and an image processing unit 16.
  • the image processing video storage unit 17, the video correction unit 18, and the video output unit 19 are provided.
  • the video input unit 11 has a function of inputting a 360 ° video transmitted from the VR camera 3.
  • the 360 ° image is an image obtained by photographing a three-dimensional real space (omnidirectional and omnidirectional real space of the VR camera 3) in the 360 ° direction centering on the body of the VR camera 3.
  • the 360 ° image is, for example, a moving image taken while the VR camera 3 is moved or fixed, a still image that is temporally continuous in the moving image, or a single still image that is not continuous.
  • the original image storage unit 12 has a function of storing the 360 ° image input by the image input unit 11 as the original image in association with the file name of the 360 ° image so that the image can be read out.
  • the file name of the 360 ° image is an example of an identifier for identifying the 360 ° image (hereinafter, also referred to as an image ID).
  • the original image storage unit 12 for example, the shooting time of the 360 ° image, the input time of the 360 ° image, the summary of the 360 ° image, the title of the 360 ° image, 360 ° Sequential numbers assigned to each video may be further associated and managed in the original video management table.
  • the video editing request receiving unit 13 provides a video editing request receiving screen used for editing a 360 ° video in response to access from the VR video editing terminal 4, and the video editing request input on the video editing request receiving screen is provided. It has a function to accept.
  • the operator of the VR video editing terminal 4 is assumed to be the same as the operator of the VR camera 3, and corresponds to the provider of the VR video.
  • the video ID of the mosaic processing target In the screen, the video ID of the mosaic processing target, the type of personal information (hereinafter, target object) to be subjected to the mosaic processing, and the number of points (hereinafter, shape points) representing the shape of the target object are designated, A video editing request including those conditions is transmitted to the video processing device 1.
  • the type of target object is, for example, the face of a person, the number of a car, or a nameplate.
  • the video editing request receiving unit 13 reads out the 360 ° video corresponding to the video ID specified in the video editing request from the original video storage unit 12, and sends the 360 ° video to the image dividing unit 14 and the image processing unit 16.
  • a function is provided for transmitting the respective types of the target object designated by the video editing request and the designated number of shape points to the image correction unit 15 via the image division unit 14 while transmitting each.
  • the image dividing unit 14 has a function of dividing an image of a 360 ° image (hereinafter, also referred to as an original image) received from the image edit request receiving unit 13 into a plurality of images (hereinafter, divided images).
  • the image of the 360 ° video is a moving image
  • the image dividing unit 14 divides each of the plurality of still images forming the moving image.
  • the image dividing unit 14 has a function of dividing the image of the 360 ° image received from the image edit request receiving unit 13 so that adjacent divided images partially overlap each other.
  • the image of the 360 ° image is an image obtained by projecting the three-dimensional real space in the 360 ° direction on the screen of the two-dimensional plane, it is an image distant from the area on the horizontal center line of the original image in the upper and lower vertical directions.
  • the image shape of the region is distorted, and the image shape is distorted at positions corresponding to the divided images as well.
  • the image correction unit 15 has a function of correcting the distortion of the image shape in the plurality of divided images to a shape without distortion (distortion correction). For example, since the image coordinate system in the divided image is polar coordinates, the image correction unit 15 converts the distortion of the image shape in the divided image into a shape without distortion by converting the polar coordinates to the orthogonal coordinates.
  • the image correction unit 15 transmits the plurality of divided images after the distortion correction to the object detection device 2, and also determines the type of the target object and the designated number of shape points received from the video editing request reception unit 13 as the object detection conditions.
  • the object detection device 2 is provided with a function of transmitting an object detection request including
  • the image processing unit 16 calculates the corresponding position in the original image of the 360 ° image corresponding to the position of the target object detected by the object detection device 2 using the plurality of divided images after distortion correction, and the corresponding position. It has a function of performing image processing on a distorted target object in the original image formed by the.
  • the image processing referred to here is, for example, image processing that makes the target object irreversibly difficult to see in pixel units, processing that adds a mosaic processing object to the target object, and the like.
  • the mosaic processing object is, for example, a black line over both eyes, an image over the face, or the like.
  • the image processing unit 16 converts the position of the shape point of the target object detected by the object detection device 2 using the divided image after distortion correction into the position in the image coordinate system of the original image before distortion correction ( Corresponding positions in the original image are calculated by converting the orthogonal coordinates to polar coordinates. Further, the image processing unit 16 generates a mosaic processing object in a Cartesian coordinate system, distorts the mosaic processing object by converting the image coordinate system from Cartesian coordinates to polar coordinates, and there is distortion in the original image. Assign to the target object.
  • the image-processed video storage unit 17 has a function of readablely storing a 360 ° image obtained by performing image processing (mosaic processing) on a target object in association with the file name of the 360 ° image.
  • the image-processed video storage unit 17 uses the file name of the 360 ° video as a search key to acquire the title of the 360 ° video from the original video management table of the video edit request reception unit 13 and uses it as an image-processed video management table. You may manage it.
  • the video correction unit 18 determines the image shape of the 360 ° video after the image processing (mosaic processing) corresponding to the video request from the VR goggles 5. It is equipped with a function to correct distortion (shape correction) into a shape without distortion. For example, since the image coordinate system in the original image of the 360 ° image is polar coordinates, the image correction unit 18 converts the distortion of the image shape in the 360 ° image into a distortion-free shape by converting the polar coordinates to the orthogonal coordinates. Convert.
  • the video output unit 19 When the video output unit 19 receives a video request from the VR goggles 5, the video output unit 19 reads the 360 ° video after the image processing (mosaic processing) corresponding to the video request from the image-processed video storage unit 17, and reads the 360 ° video within the 360 ° video.
  • An image correction request is sent to the image correction unit 18 in order to correct the distortion of the image shape to a shape without distortion, and the 360 ° image after the image correction is output as a VR (Virtual Reality) image to the VR goggles 5 that requested the image. It has a function to send it.
  • the video processing device 1 can be realized by a computer including a CPU, a memory, a hard disk, a communication interface, a keyboard, a mouse, and the like. It is also possible to create a video processing program for causing a computer to function as the video processing device 1, and it is also possible to create a storage medium for the video processing program.
  • the object detection device 2 responds to an object detection request from the video processing device 1 that is the object detection request source, and sends back object detection result data that matches the object detection condition included in the object detection request, a machine learning device, deep learning A device or an AI (Artificial Intelligence) device.
  • This object detection device 2 already exists on the Internet, and an existing AI device or the like can be used.
  • the object detection device 2 when the object detection device 2 receives a plurality of divided images after distortion correction and object detection conditions (type of target object, designated number of shape points) from the video processing device 1, While detecting the target object that matches the type from the divided images, the position of the shape point of the detected target object, the size of the target object, etc. are also detected, and the number of shape points corresponding to the specified number of specified shape points is detected.
  • the position information, the size of the target object, and the like are associated with the type of the target object to be detected and returned.
  • the VR camera 3 is a camera which is also called a 360 ° camera. While being fixed to a moving body such as a photographer or a vehicle body, the VR camera 3 moves along with the movement of the moving body while the VR camera 3 is rotated around the main body of the VR camera 3 in a 360 ° direction. The three-dimensional real space is captured, and a 360 ° image captured according to a transmission instruction from the photographer is transmitted (uploaded) to the image processing device 1. At this time, the image processing device 1 receives one or more 360 ° images transmitted from one or more VR cameras 3. As the VR camera 3, an existing VR camera can be used.
  • the VR video editing terminal 4 is a computer that can execute a web browser and a video editing request application on an OS (Operating System), and displays a video editing request acceptance screen provided by the video editing request acceptance unit 13 of the video processing device 1.
  • OS Operating System
  • a general-purpose computer can be used as the VR video editing terminal 4.
  • the VR goggles 5 transmit a video request for requesting a VR video associated with a video ID designated by the viewer to the video processing device 1, and the VR video returned from the video processing device 1 in response to the video request. It has a function of receiving and displaying an image of a portion corresponding to the direction and inclination of the VR goggles 5 on the screen. Since the distortion correction is performed on the 360 ° image after the image processing (mosaic processing) by the image correction unit 18 of the image processing device 1, the VR goggles 5 display an image without distortion.
  • VR goggles 5 existing VR goggles such as a dedicated VR goggles having a screen (monitor) integrated therein, a VR goggles having a smartphone terminal inserted in a goggle housing, and the like can be used.
  • a computer web browser may be used instead of the VR goggles 5.
  • FIG. 2 is a diagram showing a processing flow of the video processing operation.
  • Step S101 First, the video input unit 11 of the video processing device 1 inputs the 360 ° video uploaded from the VR camera 3, and stores the 360 ° video in the original video storage unit 12 in association with the video ID of the 360 ° video. .
  • the 360 ° image is an image obtained by photographing a three-dimensional real space in the 360 ° direction centering on the body of the VR camera 3.
  • Step S102; Next, the video editing request acceptance unit 13 provides a video editing request acceptance screen in response to the access from the VR video editing terminal 4, and accepts the video editing request input on the video editing request acceptance screen.
  • a plurality of video IDs are displayed in a selectable manner on the video editing request reception screen, and the operator of the VR video editing terminal 4 selects the video ID to be subjected to mosaic processing and the mosaic processing from among them.
  • the type of the target object to be performed (“face” in this example) and the number of shape points of the target object (“6” in this example) are designated.
  • a video editing request including those conditions is transmitted to the video processing device 1.
  • the video editing request receiving unit 13 After receiving the video editing request, the video editing request receiving unit 13 reads out the 360 ° video corresponding to the specified video ID from the original video storage unit 12 and transmits it to the image dividing unit 14 and the image processing unit 16, respectively. , The target object type (“face”) and the designated number of shape points (“6”) are transmitted to the image correction unit 15 via the image division unit 14.
  • the image of the 360 ° image is an image of the polar coordinate system in which the three-dimensional real space in the 360 ° direction is projected on the screen of the two-dimensional plane.
  • the image shape is distorted.
  • An example of a 360 ° video image is shown in FIG. It can be seen that there is distortion on the upper and lower sides of the image.
  • the person A at the lower left corner and the person B at the lower right corner are the same person, but since the image coordinate system is polar coordinates, the person image near the pole is displayed in a horizontally stretched state at the screen edge of the two-dimensional plane.
  • Step S103 the image dividing unit 14 divides the image (original image) of the 360 ° image transmitted from the image edit request receiving unit 13 into n ⁇ m (n, m; natural number). In this example, as shown in FIG. 4, it is divided into four in the horizontal direction and five in the vertical direction. As a result, a divided image having a size smaller than the original image is formed.
  • step S103 it is difficult to perform distortion correction (conversion from polar coordinates to Cartesian coordinates) of the spherical 360 ° video image as it is at once by the image correction unit 15 in the subsequent stage. It is divided into various areas.
  • Step S104 the image correction unit 15 performs a process of converting the image coordinate system of the divided image from polar coordinates to rectangular coordinates by using an existing mathematical expression that performs an inverse transformation f ′ of the polar coordinate transformation f for each of the plurality of divided images. To do. As a result, the distortion of the image shape in the divided image is eliminated, and the divided image having no distortion in the image shape is formed.
  • each divided image in the first column shown in FIG. 4 becomes a divided image as shown in FIG.
  • the fan-shaped black areas shown at the four corners represent a state in which the areas that were not in the divided image before the conversion processing have become apparent by the conversion processing.
  • the distortion of the image shape is corrected to a distortion-free state so that the object detection device 2 can detect the target object.
  • Step S105 Next, the image correction unit 15 transmits the plurality of divided images after distortion correction to the object detection device 2, and at the same time, the object type (“face”) and the designated number of shape points (“6”) are set as the object. An object detection request included as a detection condition is transmitted to the object detection device 2.
  • Step S108 the image processing unit 16 receives the position coordinates of the shape points according to the specified number of object detection conditions from the object detection device 2, and uses the existing mathematical formula for polar coordinate conversion f for the position coordinates of all the shape points. Then, the process of converting from rectangular coordinates to polar coordinates is performed. Since this conversion process corresponds to the inverse conversion process of step S104, as shown in FIG. 7, the corresponding position coordinates ⁇ P 1 '(0, 6) in the image coordinate system of the divided image before distortion correction or the original image are corrected. , P 2 ′ (0,22), P 3 ′ (13,26), P 4 ′ (14,21), P 5 ′ (20,11), P 6 ′ (9,7) ⁇ are calculated. .
  • Step S109 the image processing unit 16 generates an image of a standard rectangular mosaic processing object and converts the image coordinate system of the image from rectangular coordinates to polar coordinates using an existing mathematical expression that performs polar coordinate conversion f. Distortion is generated by performing the processing described above, and the distortion is added on the position coordinates of the “6” shape points for which the polar coordinate conversion f was performed in step S108. After that, the image processing unit 16 notifies the video editing request reception unit 13 that the mosaic processing has been completed, and the video editing request reception unit 13 returns a video editing end response to the VR video editing terminal 4.
  • a rectangular mosaic image M is subjected to polar coordinate conversion f to generate a divergent quarter arc-shaped mosaic image M ′, and the position coordinates where the polar coordinate conversion f was performed. It is superposed on ⁇ P 1 ′, P 2 ′, P 3 ′, P 4 ′, P 5 ′, P 6 ′ ⁇ .
  • the image of the mosaic processing object having a distorted shape is superimposed on the “face” of the distorted target object.
  • the image processing unit 16 may use, as the mosaic processing object, for example, a line or a point consisting of only a single number, a line group or a point group composed of a plurality of lines or points, or the like. The size of each line or each point may be different or the same. Further, the image processing unit 16 does not add the mosaic processing object, but instead of the area surrounded by the position coordinates ⁇ P 1 ′, P 2 ′, P 3 ′, P 4 ′, P 5 ′, P 6 ′ ⁇ . Image processing may be performed to make the distorted image irreversibly difficult to see.
  • the video processing device 1 performs steps S103 to S109 for all the images forming the designated 360 ° video. Then, the image processing unit 16 stores the mosaiced 360 ° image in the image processed image storage unit 17. The image-processed video storage unit 17 stores the image-processed video storage unit 17 in association with the video ID of the image-processed video storage unit 17. The video processing device 1 performs steps S102 to S109 each time a video editing request is received from the VR video editing terminal 4.
  • Step S110 After that, when receiving the video request from the VR goggles 5, the video output unit 19 reads the mosaiced 360 ° video corresponding to the video request from the image processing video storage unit 17, and the video correction unit 18 performs the video correction. Submit your request.
  • the video output unit 19 transmits the 360 ° video in which the inverse conversion f ′ of the polar coordinate conversion f is performed based on the video correction request to the VR goggles 5 as a VR video.
  • the mosaic image M in a correct state without distortion is displayed for the “face” of the person A without distortion, and a mosaic without discomfort is displayed. It can be applied to a desired target object.
  • step S103 the case has been described in which the original image of the 360 ° image is divided so that the divided images do not overlap each other.
  • the image dividing unit 14 may divide the original image of the 360 ° video so that adjacent divided images partially overlap each other.
  • this division method for example, the same person A is included in each of the two divided images, so that the detection accuracy of the target object performed by the object detection device 2 can be improved.
  • step S107 If the original image is divided in step S103 so that the adjacent images partially overlap each other, the same target object is included in each of the two adjacent divided images as shown in FIG.
  • different position coordinates are returned to the same target object for each divided image. For example, R 1 ⁇ P 11 (0,5), P 12 (0,20), P 13 (12,26), P 14 (10,20), P 15 (8,10), P 16 (3, 4), Face ⁇ , R 2 ⁇ P 21 (0, 5), P 22 (0, 10), P 23 (8, 10), P 24 (7, 8), P 25 (6, 0), P 26 (3,0), Face ⁇ is returned.
  • the coordinate position and the position of the target object are uniquely specified in the original original image I.
  • P 14 and P 24 indicate the same position of the target object
  • R 2 ⁇ P 24 (7,8) ⁇ ⁇ ⁇ f ⁇ ⁇ I ⁇ P 4 '(14,21) ⁇ and indicate the same position in the distorted original image I.
  • the positions and sizes of the target objects included in the divided images are integrated in the original original image I.
  • the image dividing unit 14 divides the original image which is a 360 ° image
  • the image correcting unit 15 corrects the distortion of the image shape in the divided image to a shape without distortion
  • the image processing unit. 16 calculates the corresponding position in the original image corresponding to the position of the target object detected by the object detection device 2 using the divided image after distortion correction, and the distortion in the original image formed at the corresponding position. Since image processing is performed on a certain target object, it is possible to accurately perform the mosaic processing on the target object of the mosaic processing included in the image of the 360 ° image.
  • the image processing unit 16 distorts the mosaic processing object and attaches it to the distorted target object, so that the mosaic processing target object included in the image of the 360 ° image is accurately and distorted. First, it is possible to perform mosaic processing on a VR image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

３６０°映像の画像に含まれるモザイク処理を行う対象オブジェクトを正確かつ歪まずにＶＲ映像にてモザイク処理する。映像処理装置１において、画像分割部１４が、３６０°映像である原画像を分割し、画像補正部１５が、分割画像内の画像形状の歪みを歪みのない形状に補正し、画像処理部１６が、歪み補正後の分割画像を用いてオブジェクト検出装置２により検出された対象オブジェクトの位置に対応する原画像内での対応位置を算出し、その対応位置に形成される原画像内の歪みのある対象オブジェクトを画像処理する。また、画像処理部１６が、モザイク処理用オブジェクトを歪ませて、原画像内の歪みのある対象オブジェクトに付与する。

Description

映像処理装置、映像処理方法、及び映像処理プログラム
　本発明は、３６０°映像を画像処理する技術に関する。
　現在、ＶＲ（Virtual Reality）映像に関する技術が研究開発されている。図１２は、ＶＲ映像処理システム１００の従来構成を示す図である。ＶＲカメラ３は、３６０°方向の３次元実空間を撮影し、第三者への映像配信を目的として映像処理装置１へ送信する。そして、映像処理装置１の映像入力部１１は、ＶＲカメラ３からの３６０°映像を入力し、その映像のファイル名に関連付けて原映像記憶部１２に記憶する。
　その後、第三者のＶＲゴーグル５から映像要求を受けた場合、映像処理装置１の映像出力部１９は、映像要求を受けた３６０°映像を原映像記憶部１２から読み出してＶＲ映像として出力する。このとき、３６０°映像は３６０°方向の３次元実空間を２次元平面の画面に投射した映像であり、水平方向の中央線上の領域から上下の垂直方向に離れた画像領域において画像形状に歪みが生じていることから、映像補正部１８は、３６０°映像内の画像形状の歪みを歪みのない形状に補正（歪み補正）する。
　一方、ＶＲゴーグル５は、映像要求に応じたＶＲ映像を映像処理装置１から受信し、ＶＲゴーグル５の向き及び傾きに対応する部分の映像を画面に表示する。ＶＲゴーグル５の画面には、３６０°映像の一部が覗き見る状態で表示される。３６０°映像に対して歪み補正が施されているので、ＶＲゴーグル５には歪みのない映像が表示される。
　これにより、ＶＲゴーグル５の視聴者は、３６０°方向のうち自身が向いている方向及び方角の映像を歪みのない形状で正しく見ることができる。例えば、右を向けば右方向の仮想風景、下を向けば下方向の仮想風景を旅行先の視点で見ることができ、家に居ながら旅気分を疑似的に味わうことができる。
　なお、ＶＲ映像の仕組みについては、例えば、非特許文献１に記載されている。
"ＶＲの仕組みをわかりやすく解説"、［online］、VR JOURNAL、2018.01.14、［平成30年10月11日検索］、インターネット、＜https://vrjour.jp/mechanism/＞
　３６０°映像には、３６０°方向の３次元実空間が隅々まで撮影されているので、個人情報も当然に含まれている。一方、不特定多数に開示予定のＶＲ映像には個人情報を含めるべきでないため、ＶＲ映像の提供元は、個人情報にモザイク処理を施し、かつ、モザイク表示についてもＶＲゴーグル５で正しく表示されることを期待する。
　しかしながら、３６０°映像の画像には歪みがあるため、コンピュータは、その画像から個人情報を特定できない。例えば、個人情報が「顔」であっても、画像内の上側や下側に表示された顔は引き伸ばされた状態で表示されているため、「顔」の標準的な形状と乖離することから、コンピュータは、その状態の顔を「顔」として認識できない。
　また、個人情報に対して標準的な矩形状のモザイク画像を施したとしても、映像処理装置１の映像補正部１８により３６０°映像の画像全体に対して歪み補正が施されるため、画像内の個人情報については歪みのない形状に変換されて正しく表示される反面、モザイク画像については歪みが生じてしまう。
　本発明は、上記事情を鑑みてなされたものであり、３６０°映像の画像において、モザイク処理を行う対象オブジェクトを正確にモザイク処理することを第１の目的とし、正確かつ歪まずにＶＲ映像にてモザイク処理することを第２の目的とする。
　本発明の映像処理装置は、３６０°映像である原画像を分割する画像分割部と、分割画像内の画像形状の歪みを歪みのない形状に補正する画像補正部と、歪み補正後の分割画像を用いて検出された対象オブジェクトの位置に対応する前記原画像内での対応位置を算出し、前記対応位置に形成される前記原画像内の歪みのある前記対象オブジェクトを画像処理する画像処理部と、を備えることを特徴とする。
　上記映像処理装置において、前記画像処理部は、モザイク処理用オブジェクトを歪ませて前記歪みのある対象オブジェクトに付与することを特徴とする。
　上記映像処理装置において、前記画像処理部は、前記対象オブジェクトの形状を表す点の位置を歪み補正前の画像座標系での位置に変換することにより、前記原画像内での対応位置を算出することを特徴とする。
　上記映像処理装置において、前記画像補正部は、前記対象オブジェクトの種類と前記対象オブジェクトの形状を表す点の数とをオブジェクト検出装置に対して指定し、前記画像処理部は、指定した数に応じた数の点の位置情報を受け取ることを特徴とする。
　上記映像処理装置において、前記画像分割部は、隣り合う分割画像で画像の一部が重なるように前記原画像を分割することを特徴とする。
　上記映像処理装置において、前記画像処理を行った３６０°映像をＶＲ（Virtual Reality）映像として出力する映像出力部を更に備えることを特徴とする。
　本発明の映像処理方法は、映像処理装置で行う映像処理方法において、３６０°映像である原画像を分割するステップと、分割画像内の画像形状の歪みを歪みのない形状に補正するステップと、歪み補正後の分割画像を用いて検出された対象オブジェクトの位置に対応する前記原画像内での対応位置を算出し、前記対応位置に形成される前記原画像内の歪みのある前記対象オブジェクトを画像処理するステップと、を行うことを特徴とする。
　本発明の映像処理プログラムは、上記映像処理装置としてコンピュータを機能させることを特徴とする。
　本発明によれば、３６０°映像の画像において、モザイク処理を行う対象オブジェクトを正確にモザイク処理することができる。また、正確かつ歪まずにＶＲ映像にてモザイク処理することができる。
ＶＲ映像処理システムの全体構成を示す図である。 ＶＲ映像処理システムの動作を示すシーケンスである。 ３６０°映像の原画像例を示す図である。 原画像の分割例を示す図である。 分割画像の歪み補正例を示す図である。 歪み補正後の分割画像からの対象オブジェクトの形状点の検出例を示す図である。 歪み補正前の原画像における対象オブジェクトの形状点の例を示す図である。 対象オブジェクトに対するモザイク処理例を示す図である。 モザイク処理後の対象オブジェクトのＶＲ映像例を示す図である。 原画像の分割例（変形例）を示す図である。 歪み補正後の分割画像からの対象オブジェクトの形状点の検出例（変形例）を示す図である。 ＶＲ映像処理システムの従来構成を示す図である。
　本発明は、上記課題を解決するため、歪みのある３６０°映像の画像からモザイク処理の対象オブジェクトを検出してモザイクをかけることを目的とする。この目的を達成するため、映像処理装置１は、３６０°映像である原画像を分割し、分割画像内の画像形状の歪みを歪みのない形状に補正して、歪み補正後の分割画像を用いて検出された対象オブジェクトの位置に対応する原画像内での対応位置を算出し、その対応位置に形成される原画像内の歪みのある対象オブジェクトを画像処理（モザイク処理）する。
　また、本発明は、上記課題を解決するため、モザイク処理用オブジェクトがＶＲゴーグルに表示される際に正しく表示されるように歪ませてモザイクをかけることを目的とする。この目的を達成するため、映像処理装置１は、モザイク処理用オブジェクトを歪ませて歪みのある対象オブジェクトに付与する。
　以下、本発明を実施する一実施の形態について図面を用いて説明する。
　＜ＶＲ映像処理システム１００の全体構成＞
　図１は、本実施形態に係るＶＲ映像処理システム１００の全体構成を示す図である。ＶＲ映像処理システム１００は、図１に示すように、映像処理装置１と、オブジェクト検出装置２と、ＶＲカメラ３と、ＶＲ映像編集端末４と、ＶＲゴーグル５と、を備えて構成される。映像処理装置１は、オブジェクト検出装置２とともにインターネットのクラウド内に配置されており、オブジェクト検出装置２と、ＶＲカメラ３と、ＶＲ映像編集端末４と、ＶＲゴーグル５とに、通信ネットワークを介して相互通信可能に物理的及び電気的に接続されている。
　＜映像処理装置１の機能＞
　次に、映像処理装置１の機能について説明する。映像処理装置１は、図１に示したように、映像入力部１１と、原映像記憶部１２と、映像編集要求受付部１３と、画像分割部１４、画像補正部１５と、画像処理部１６と、画像処理映像記憶部１７と、映像補正部１８と、映像出力部１９と、を備えて構成される。
　映像入力部１１は、ＶＲカメラ３から送信された３６０°映像を入力する機能を備える。３６０°映像とは、ＶＲカメラ３の本体を中心に３６０°方向の３次元実空間（ＶＲカメラ３の全方位・全天球の実空間）を撮影した映像である。３６０°映像は、例えば、ＶＲカメラ３を移動させながら又は固定した状態で撮影された動画、動画を構成する時系的に連続性のある静止画、連続性のない単独の静止画である。
　原映像記憶部１２は、映像入力部１１で入力した３６０°映像を原映像として、３６０°映像のファイル名に関連付けて読み出し可能に記憶する機能を備える。３６０°映像のファイル名は、３６０°映像を識別するための識別子の例である（以下、映像ＩＤとも称する）。原映像記憶部１２は、ＶＲカメラ３から送信される３６０°映像毎に、例えば、３６０°映像の撮影時刻、３６０°映像の入力時刻、３６０°映像の要約文、３６０°映像のタイトル、３６０°映像毎に割り振ったシーケンシャルな数字、を更に関連付けて原映像管理テーブルで管理してもよい。
　映像編集要求受付部１３は、ＶＲ映像編集端末４からのアクセスに応じて３６０°映像を編集するために用いる映像編集要求受付画面を提供し、その映像編集要求受付画面で入力された映像編集要求を受け付ける機能を備える。ＶＲ映像編集端末４の操作者は、ＶＲカメラ３の操作者と同一であることが想定され、ＶＲ映像の提供元に相当する。ＶＲ映像の提供元（＝ＶＲ映像編集端末４の操作者）は、撮影した３６０°映像に含まれる個人情報にモザイク処理を施すため、ＶＲ映像編集端末４の画面に表示された映像編集要求受付画面内で、モザイク処理対象の映像ＩＤと、モザイク処理を行う個人情報（以下、対象オブジェクト）の種類と、対象オブジェクトの形状を表す点（以下、形状点）の数と、をそれぞれ指定し、それらの条件を含む映像編集要求を映像処理装置１に送信する。なお、対象オブジェクトの種類とは、例えば、人物の顔、車のナンバー、表札等である。
　また、映像編集要求受付部１３は、映像編集要求で指定された映像ＩＤに対応する３６０°映像を原映像記憶部１２から読み出して、その３６０°映像を画像分割部１４と画像処理部１６へそれぞれ送信するとともに、映像編集要求で指定された対象オブジェクトの種別と形状点の指定数とを画像分割部１４を介して画像補正部１５へ送信する機能を備える。
　画像分割部１４は、映像編集要求受付部１３から受け取った３６０°映像の画像（以下、原画像とも称する）を複数の画像（以下、分割画像）に分割する機能を備える。３６０°映像の画像が動画像の場合、画像分割部１４は、その動画を構成する複数の静止画をそれぞれ分割する。また、画像分割部１４は、映像編集要求受付部１３から受け取った３６０°映像の画像を、隣り合う分割画像で画像の一部が重なるように分割する機能を備える。なお、３６０°映像の画像は、３６０°方向の３次元実空間を２次元平面の画面に投射した画像であるため、原画像の水平方向の中央線上の領域から上下の垂直方向に離れた画像領域の画像形状には歪みが生じており、分割画像にも対応する位置に画像形状に歪みが生じている。
　画像補正部１５は、複数の分割画像内の画像形状の歪みを歪みのない形状に補正（歪み補正）する機能を備える。例えば、画像補正部１５は、分割画像内の画像座標系は極座標であるため、極座標から直交座標へ変換することにより、分割画像内の画像形状の歪みを歪みのない形状に変換する。
　また、画像補正部１５は、歪み補正後の複数の分割画像をオブジェクト検出装置２へ送信するとともに、映像編集要求受付部１３から受け取った対象オブジェクトの種類と形状点の指定数とをオブジェクト検出条件として含むオブジェクト検出要求をオブジェクト検出装置２へ送信する機能を備える。
　画像処理部１６は、歪み補正後の複数の分割画像を用いてオブジェクト検出装置２により検出された対象オブジェクトの位置に対応する３６０°映像の原画像内での対応位置を算出し、その対応位置に形成される原画像内の歪みのある対象オブジェクトを画像処理する機能を備える。ここでいう画像処理とは、例えば、対象オブジェクトを非可逆的にピクセル単位で見えにくくする画像処理、対象オブジェクトにモザイク処理用オブジェクトを付与する処理等である。モザイク処理用オブジェクトとは、例えば、両目に被せる黒い線、顔に被せる画像等である。
　例えば、画像処理部１６は、歪み補正後の分割画像を用いてオブジェクト検出装置２により検出された対象オブジェクトの形状点の位置を、歪み補正前の原画像の画像座標系での位置に変換（直交座標から極座標へ変換）することにより、原画像内で対応する対応位置を算出する。また、画像処理部１６は、直交座標系のモザイク処理用オブジェクトを生成し、その画像座標系を直交座標から極座標へ変換することによりモザイク処理用オブジェクトを歪ませて、原画像内の歪みのある対象オブジェクトに付与する。
　画像処理映像記憶部１７は、対象オブジェクトに画像処理（モザイク処理）が施された３６０°映像を当該３６０°映像のファイル名に関連付けて読み出し可能に記憶する機能を備える。画像処理映像記憶部１７は、３６０°映像のファイル名を検索キーに用いて映像編集要求受付部１３の原映像管理テーブルから当該３６０°映像のタイトル等を取得し、画像処理映像管理テーブルとして独自に管理してもよい。
　映像補正部１８は、映像出力部１９からの映像補正要求に応じ、ＶＲゴーグル５からの映像要求に対応する画像処理（モザイク処理）後の３６０°映像について、その３６０°映像内の画像形状の歪みを歪みのない形状に補正（歪み補正）する機能を備える。例えば、映像補正部１８は、３６０°映像の原画像内の画像座標系は極座標であるため、極座標から直交座標へ変換することにより、３６０°映像内の画像形状の歪みを歪みのない形状に変換する。
　映像出力部１９は、ＶＲゴーグル５から映像要求を受けた場合、その映像要求に対応する画像処理（モザイク処理）後の３６０°映像を画像処理映像記憶部１７から読み出して、３６０°映像内の画像形状の歪みを歪みのない形状に補正するために映像補正要求を映像補正部１８に送信し、映像補正後の３６０°映像をＶＲ（Virtual Reality）映像として映像要求元のＶＲゴーグル５へ出力して送信する機能を備える。
　ここまで、映像処理装置１の機能について説明した。本実施形態に係る映像処理装置１は、ＣＰＵ、メモリ、ハードディスク、通信インタフェース、キーボード、マウス等を備えたコンピュータで実現可能である。また、映像処理装置１としてコンピュータを機能させるための映像処理プログラムを作成することも可能であり、その映像処理プログラムの記憶媒体を作成することも可能である。
　＜オブジェクト検出装置２の機能＞
　次に、オブジェクト検出装置２について説明する。オブジェクト検出装置２は、オブジェクト検出要求元である映像処理装置１からのオブジェクト検出要求に応じ、そのオブジェクト検出要求に含まれるオブジェクト検出条件に合致するオブジェクト検出結果データを返信する機械学習装置、深層学習装置、又はＡＩ（Artificial Intelligence）装置である。このオブジェクト検出装置２は、インターネット上に既に存在し、既存のＡＩ装置等を流用可能である。
　本実施形態では、オブジェクト検出装置２は、映像処理装置１から、歪み補正後の複数の分割画像と、オブジェクト検出条件（対象オブジェクトの種類，形状点の指定数）と、を受信した場合、その分割画像から当該種類に合致する対象オブジェクトを検出するとともに、検出した対象オブジェクトの形状点の位置、対象オブジェクトの大きさ等を検出し、指定された形状点の指定数に応じた数の形状点の位置情報、対象オブジェクトの大きさ等を、検出対象である対象オブジェクトの種類に関連付けて返信する機能を備える。
　＜ＶＲカメラ３の機能＞
　次に、ＶＲカメラ３について説明する。ＶＲカメラ３は、３６０°カメラとも称されるカメラであり、撮影者や車体等の移動体に固定された状態で移動体の移動とともに移動しながら、ＶＲカメラ３の本体を中心に３６０°方向の３次元実空間を撮影し、撮影者による送信指示に応じて撮影した３６０°映像を映像処理装置１へ送信（アップロード）する機能を備える。このとき、映像処理装置１は、１つ以上のＶＲカメラ３から送信される１つ以上の３６０°映像を受信する。ＶＲカメラ３は、既存のＶＲカメラを流用可能である。
　＜ＶＲ映像編集端末４の機能＞
　次に、ＶＲ映像編集端末４について説明する。ＶＲ映像編集端末４は、ＯＳ（Operating System）上でウェブブラウザや映像編集要求用アプリを実行可能なコンピュータであり、映像処理装置１の映像編集要求受付部１３が提供する映像編集要求受付画面をウェブブラウザ内に表示し、又は映像編集要求用アプリを実行して映像編集要求受付画面をアプリ内に表示して、ＶＲ映像編集端末４の操作者により入力されたモザイク処理を行うためのオブジェクト検出条件を含む映像編集要求を映像処理装置１に送信する機能を備える。ＶＲ映像編集端末４は、汎用のコンピュータ（いわゆるパソコン）を流用可能である。
　＜ＶＲゴーグル５の機能＞
　次に、ＶＲゴーグル５について説明する。ＶＲゴーグル５は、視聴者により指定された映像ＩＤに係るＶＲ映像を要求するための映像要求を映像処理装置１に送信し、その映像要求に応じて映像処理装置１から返信されたＶＲ映像を受信し、ＶＲゴーグル５の向き及び傾きに対応する部分の映像を画面に表示する機能を備える。映像処理装置１の映像補正部１８により画像処理（モザイク処理）後の３６０°映像に対して歪み補正が施されているので、ＶＲゴーグル５には歪みのない映像が表示される。ＶＲゴーグル５は、例えば、画面（モニタ）が一体化された専用ＶＲゴーグル、スマートフォン端末をゴーグル筐体内に挿入して用いるＶＲゴーグル等、既存のＶＲゴーグルを流用可能である。ＶＲゴーグル５に代えて、コンピュータのウェブブラウザを用いてもよい。
　＜ＶＲ映像処理システム１００で行う映像処理動作＞
　次に、ＶＲ映像処理システム１００で行う映像処理方法の映像処理動作について説明する。図２は、映像処理動作の処理フローを示す図である。
　ステップＳ１０１；
　まず、映像処理装置１の映像入力部１１は、ＶＲカメラ３からアップロードされた３６０°映像を入力し、その３６０°映像を当該３６０°映像の映像ＩＤに関連付けて原映像記憶部１２に記憶する。３６０°映像とは、ＶＲカメラ３の本体を中心に３６０°方向の３次元実空間を撮影した映像である。
　ステップＳ１０２；
　次に、映像編集要求受付部１３は、ＶＲ映像編集端末４からのアクセスに応じて映像編集要求受付画面を提供し、その映像編集要求受付画面で入力された映像編集要求を受け付ける。
　具体的には、映像編集要求受付画面には、複数の映像ＩＤが選択可能に表示されており、ＶＲ映像編集端末４の操作者は、その中からモザイク処理を施す映像ＩＤと、モザイク処理を行う対象オブジェクトの種類（本例では「顔」）と、その対象オブジェクトの形状点の数（本例では「６」）と、をそれぞれ指定する。その後、その操作者が画面内の要求ボタンを押し下げると、それらの条件を含む映像編集要求が映像処理装置１に送信される。
　映像編集要求を受け付けた後、映像編集要求受付部１３は、指定された映像ＩＤに対応する３６０°映像を原映像記憶部１２から読み出して画像分割部１４と画像処理部１６へそれぞれ送信するとともに、対象オブジェクトの種別（「顔」）と形状点の指定数（「６」）とを画像分割部１４を介して画像補正部１５へ送信する。
　ここで、３６０°映像を構成する画像の特徴について説明する。３６０°映像の画像は、３６０°方向の３次元実空間を２次元平面の画面に投射した極座標系の画像であるため、画像水平方向の中央線上の領域から上下の垂直方向に離れた画像領域の画像形状には歪みが生じている。３６０°映像の画像の例を図３に示す。画像の上側や下側に歪みがあることが分かる。左下端の人物Ａと右下端の人物Ｂは同一人物であるが、画像座標系は極座標であるため、２次元平面の画面端では極付近の人物像が横方向に引き伸ばされた状態で表示される。
　ステップＳ１０３；
　次に、画像分割部１４は、映像編集要求受付部１３から送信された３６０°映像の画像（原画像）をｎ×ｍ（ｎ，ｍ；自然数）に分割する。本例では、図４に示すように、横方向に４分割し、縦方向に５分割する。これにより、原画像よりも小さいサイズの分割画像が形成される。ステップＳ１０３では、球体状の３６０°映像の画像をそのまま丸ごと後段の画像補正部１５で一度に歪み補正（極座標から直交座標へ変換）することは困難であるため、大サイズの原画像を局所的な領域に分割している。
　ステップＳ１０４；
　次に、画像補正部１５は、複数の分割画像について、それぞれ、極座標変換ｆの逆変換ｆ’を行う既存の数式を用いて、分割画像の画像座標系を極座標から直交座標へ変換する処理を行う。これにより、分割画像内の画像形状の歪みが解消され、画像形状に歪みのない分割画像が形成される。
　例えば、図４に示した１列目の各分割画像は、図５に示すような分割画像となる。四隅に示された扇状の黒色領域は、変換処理前の分割画像内にはなかった領域が変換処理により顕在化した状態を表している。ステップＳ１０４では、オブジェクト検出装置２が対象オブジェクトを検出できるように、画像形状の歪みを歪みのない状態に歪み補正している。
　ステップＳ１０５；
　次に、画像補正部１５は、歪み補正後の複数の分割画像をオブジェクト検出装置２へ送信するとともに、対象オブジェクトの種別（「顔」）と形状点の指定数（「６」）とをオブジェクト検出条件として含むオブジェクト検出要求をオブジェクト検出装置２へ送信する。
　ステップＳ１０６，Ｓ１０７；
　次に、オブジェクト検出装置２は、映像処理装置１からオブジェクト検出要求を受信すると、歪み補正後の複数の分割画像からオブジェクト検出条件である対象オブジェクトの「顔」を検出し、検出した「顔」の輪郭形状を表す形状点の位置座標を指定数分（「６」つ）検出し、「顔」の領域に対応する大きさを算出して、映像処理装置１へ返信する。複数の分割画像は歪み補正されているので、オブジェクト検出装置２は、対象オブジェクト等を検出可能である。
　例えば、図５に示した１列目ａ行目の分割画像については、図６に示すように、「顔」である対象オブジェクトＲを囲む６つの形状点が検出され、その検出結果を示すＲ｛Ｐ１（０，５），Ｐ２（０，２０），Ｐ３（１２，２６），Ｐ４（１０，２０），Ｐ５（８，１０），Ｐ６（３，４），Ｆａｃｅ｝が返信される。
　ステップＳ１０８；
　次に、画像処理部１６は、オブジェクト検出条件の指定数に応じた形状点の位置座標をオブジェクト検出装置２から受け取り、全ての形状点の位置座標について、極座標変換ｆを行う既存の数式を用いて、直交座標から極座標へ変換する処理を行う。この変換処理は、ステップＳ１０４の逆変換処理に相当するので、図７に示すように、歪み補正前の分割画像又は原画像の画像座標系で対応する位置座標｛Ｐ１’（０，６），Ｐ２’（０，２２），Ｐ３’（１３，２６），Ｐ４’（１４，２１），Ｐ５’（２０，１１），Ｐ６’（９，７）｝が算出される。
　ステップＳ１０９；
　次に、画像処理部１６は、標準的な矩形状のモザイク処理用オブジェクトの画像を生成し、極座標変換ｆを行う既存の数式を用いて、その画像の画像座標系を直交座標から極座標に変換する処理を行うことで歪みを生じさせ、ステップＳ１０８で極座標変換ｆを行っていた「６」つの形状点の位置座標の上に付与する。その後、画像処理部１６は、モザイク処理が終了したことを映像編集要求受付部１３に伝え、映像編集要求受付部１３は、映像編集終了応答をＶＲ映像編集端末４へ返信する。
　例えば、図８に示すように、矩形状のモザイク画像Ｍに対して極座標変換ｆを行うことで末広がりの１／４円弧状のモザイク画像Ｍ’を生成し、極座標変換ｆを行っていた位置座標｛Ｐ１’，Ｐ２’，Ｐ３’，Ｐ４’，Ｐ５’，Ｐ６’｝に重畳する。これにより、歪みのある対象オブジェクトの「顔」に対して、歪みのある形状のモザイク処理用オブジェクトの画像が重畳される。
　画像処理部１６は、モザイク処理用オブジェクトとして、例えば、単一数のみからなる線又は点、複数の線又は点で構成される線群又は点群等を用いてもよい。各線又は各点の大きさは異なってもよいし同一でもよい。また、画像処理部１６は、モザイク処理用オブジェクトを付与する代わりに、位置座標｛Ｐ１’，Ｐ２’，Ｐ３’，Ｐ４’，Ｐ５’，Ｐ６’｝で囲まれる領域内の歪みのある画像を非可逆的に見えににくくする画像処理を行ってもよい。
　映像処理装置１は、ステップＳ１０３～ステップＳ１０９を指定された３６０°映像を構成する全ての画像についてそれぞれ行う。その後、画像処理部１６は、モザイク処理を行った３６０°映像を画像処理映像記憶部１７に記憶する。画像処理映像記憶部１７は、その画像処理映像記憶部１７を当該画像処理映像記憶部１７の映像ＩＤに関連付けて記憶する。映像処理装置１は、ＶＲ映像編集端末４から映像編集要求を受け付ける毎にステップＳ１０２～ステップＳ１０９を行う。
　ステップＳ１１０；
　その後、ＶＲゴーグル５から映像要求を受けた場合、映像出力部１９は、その映像要求に対応するモザイク処理後の３６０°映像を画像処理映像記憶部１７から読み出して、映像補正部１８に映像補正要求を送信する。
　そして、映像出力部１９は、映像補正要求に基づき極座標変換ｆの逆変換ｆ’が行われた３６０°映像をＶＲ映像としてＶＲゴーグル５へ送信する。これにより、図９に示すように、ＶＲゴーグル５で見たときに、歪みのない人物Ａの「顔」に対して、歪みのない正しい状態のモザイク画像Ｍが表示され、違和感のないモザイクを所望の対象オブジェクトにかけることができる。
　＜映像処理動作の処理フローの変形例＞
　次に、前述した映像処理動作の処理フローの変形例について説明する。
　ステップＳ１０３では、３６０°映像の原画像を、隣り合う分割画像で画像の一部が重ならないように分割する場合について説明した。一方、画像分割部１４は、図１０に示すように、隣り合う分割画像で画像の一部が重なるように３６０°映像の原画像を分割してもよい。この分割方法を用いることにより、例えば２つの分割画像内に同一の人物Ａがそれぞれ含まれるので、オブジェクト検出装置２で行う対象オブジェクトの検出精度を向上できる。
　ステップＳ１０３で隣り合う分割画像で画像の一部が重なるように原画像を分割していた場合、図１１に示すように、同一の対象オブジェクトが隣接する２つの分割画像にそれぞれ含まれるので、ステップＳ１０７では、当該同一の対象オブジェクトに対して分割画像毎に異なる位置座標が返信される。例えば、Ｒ１｛Ｐ１１（０，５），Ｐ１２（０，２０），Ｐ１３（１２，２６），Ｐ１４（１０，２０），Ｐ１５（８，１０），Ｐ１６（３，４），Ｆａｃｅ｝，Ｒ２｛Ｐ２１（０，５），Ｐ２２（０，１０），Ｐ２３（８，１０），Ｐ２４（７，８），Ｐ２５（６，０），Ｐ２６（３，０），Ｆａｃｅ｝が返信される。
　このとき、ステップＳ１０８でＲ１とＲ２をそれぞれ極座標変換ｆすることにより、元の原画像Ｉでは、対象オブジェクトの座標位置及び位置が一意に特定される。例えば、Ｐ１４とＰ２４が対象オブジェクトの同一位置を示す場合、それぞれを極座標変換ｆすることにより、Ｒ１｛Ｐ１４（１０，２０）｝×｛ｆ｝→Ｉ｛Ｐ４’（１４，２１）｝、Ｒ２｛Ｐ２４（７，８）｝×｛ｆ｝→Ｉ｛Ｐ４’（１４，２１）｝となり、歪みのある元の原画像Ｉにおいて同一の位置を示すことになり、分割画像にそれぞれ含まれていた各対象オブジェクトが元の原画像Ｉでは位置及び大きさが統合されることになる。
　＜実施形態の効果＞
　最後に、本実施形態の効果について説明する。
　本実施形態によれば、画像分割部１４が、３６０°映像である原画像を分割し、画像補正部１５が、分割画像内の画像形状の歪みを歪みのない形状に補正し、画像処理部１６が、歪み補正後の分割画像を用いてオブジェクト検出装置２により検出された対象オブジェクトの位置に対応する原画像内での対応位置を算出し、その対応位置に形成される原画像内の歪みのある対象オブジェクトを画像処理するので、３６０°映像の画像に含まれるモザイク処理の対象オブジェクトを正確にモザイク処理することができる。
　また、本実施形態によれば、画像処理部１６が、モザイク処理用オブジェクトを歪ませて歪みのある対象オブジェクトに付与するので、３６０°映像の画像に含まれるモザイク処理の対象オブジェクトを正確かつ歪まずにＶＲ映像にてモザイク処理することができる。
　１…映像処理装置
　１１…映像入力部
　１２…原映像記憶部
　１３…映像編集要求受付部
　１４…画像分割部
　１５…画像補正部
　１６…画像処理部
　１７…画像処理映像記憶部
　１８…映像補正部
　１９…映像出力部
　２…オブジェクト検出装置
　３…ＶＲカメラ
　４…ＶＲ映像編集端末
　５…ＶＲゴーグル

Claims (8)

  1. 　３６０°映像である原画像を分割する画像分割部と、
    　分割画像内の画像形状の歪みを歪みのない形状に補正する画像補正部と、
    　歪み補正後の分割画像を用いて検出された対象オブジェクトの位置に対応する前記原画像内での対応位置を算出し、前記対応位置に形成される前記原画像内の歪みのある前記対象オブジェクトを画像処理する画像処理部と、
    　を備えることを特徴とする映像処理装置。
  2. 　前記画像処理部は、
    　モザイク処理用オブジェクトを歪ませて前記歪みのある対象オブジェクトに付与することを特徴とする請求項１に記載の映像処理装置。
  3. 　前記画像処理部は、
    　前記対象オブジェクトの形状を表す点の位置を歪み補正前の画像座標系での位置に変換することにより、前記原画像内での対応位置を算出することを特徴とする請求項１又は２に記載の映像処理装置。
  4. 　前記画像補正部は、前記対象オブジェクトの種類と前記対象オブジェクトの形状を表す点の数とをオブジェクト検出装置に対して指定し、
    　前記画像処理部は、
    　指定した数に応じた数の点の位置情報を受け取ることを特徴とする請求項１乃至３のいずれかに記載の映像処理装置。
  5. 　前記画像分割部は、
    　隣り合う分割画像で画像の一部が重なるように前記原画像を分割することを特徴とする請求項１乃至４のいずれかに記載の映像処理装置。
  6. 　前記画像処理を行った３６０°映像をＶＲ（Virtual Reality）映像として出力する映像出力部を更に備えることを特徴とする請求項１乃至５のいずれかに記載の映像処理装置。
  7. 　映像処理装置で行う映像処理方法において、
    　３６０°映像である原画像を分割するステップと、
    　分割画像内の画像形状の歪みを歪みのない形状に補正するステップと、
    　歪み補正後の分割画像を用いて検出された対象オブジェクトの位置に対応する前記原画像内での対応位置を算出し、前記対応位置に形成される前記原画像内の歪みのある前記対象オブジェクトを画像処理するステップと、
    　を行うことを特徴とする映像処理方法。
  8. 　請求項１乃至６のいずれかに記載の映像処理装置としてコンピュータを機能させることを特徴とする映像処理プログラム。
PCT/JP2019/038873 2018-10-15 2019-10-02 映像処理装置、映像処理方法、及び映像処理プログラム WO2020080101A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-194427 2018-10-15
JP2018194427A JP6700539B2 (ja) 2018-10-15 2018-10-15 映像処理装置、映像処理方法、及び映像処理プログラム

Publications (1)

Publication Number Publication Date
WO2020080101A1 true WO2020080101A1 (ja) 2020-04-23

Family

ID=70284555

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/038873 WO2020080101A1 (ja) 2018-10-15 2019-10-02 映像処理装置、映像処理方法、及び映像処理プログラム

Country Status (2)

Country Link
JP (1) JP6700539B2 (ja)
WO (1) WO2020080101A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005286468A (ja) * 2004-03-29 2005-10-13 Mitsubishi Electric Corp マスキング機能付き監視システムおよびカメラ、並びに該カメラとともに用いられるマスク解除装置
JP2008102620A (ja) * 2006-10-17 2008-05-01 Toyota Motor Corp 画像処理装置
JP2016185319A (ja) * 2015-07-13 2016-10-27 グリー株式会社 プログラム、ゲームの制御方法、および情報処理装置
WO2016185522A1 (ja) * 2015-05-15 2016-11-24 三菱電機株式会社 画像処理装置及び画像処理方法及び画像処理プログラム
JP2017126352A (ja) * 2012-01-31 2017-07-20 パナソニックＩｐマネジメント株式会社 画像表示装置及び画像表示方法
JP2018085571A (ja) * 2016-11-21 2018-05-31 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005286468A (ja) * 2004-03-29 2005-10-13 Mitsubishi Electric Corp マスキング機能付き監視システムおよびカメラ、並びに該カメラとともに用いられるマスク解除装置
JP2008102620A (ja) * 2006-10-17 2008-05-01 Toyota Motor Corp 画像処理装置
JP2017126352A (ja) * 2012-01-31 2017-07-20 パナソニックＩｐマネジメント株式会社 画像表示装置及び画像表示方法
WO2016185522A1 (ja) * 2015-05-15 2016-11-24 三菱電機株式会社 画像処理装置及び画像処理方法及び画像処理プログラム
JP2016185319A (ja) * 2015-07-13 2016-10-27 グリー株式会社 プログラム、ゲームの制御方法、および情報処理装置
JP2018085571A (ja) * 2016-11-21 2018-05-31 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
JP2020065114A (ja) 2020-04-23
JP6700539B2 (ja) 2020-05-27

Similar Documents

Publication Publication Date Title
KR101761751B1 (ko) 직접적인 기하학적 모델링이 행해지는 hmd 보정
EP3334156B1 (en) Electronic device for generating 360 degree three-dimensional image, and method therefor
CN110809786B (zh) 校准装置、校准图表、图表图案生成装置和校准方法
JP5067476B2 (ja) 三次元モデル作成システム
KR101694969B1 (ko) 카메라 캘리브레이션 방법 및 장치
JP7024812B2 (ja) 画像処理方法、装置及びコンピュータ読み取り可能な記憶媒体
JP2012253444A (ja) 撮像装置、画像処理装置およびその方法
JP5067477B2 (ja) 撮像パラメータ取得装置、撮像パラメータ取得方法、及び、プログラム
JP5886242B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2018026064A (ja) 画像処理装置、画像処理方法、システム
CN110807814A (zh) 摄影机位姿计算方法、装置、设备及存储介质
JP2010217984A (ja) 像検出装置及び像検出方法
WO2020255766A1 (ja) 情報処理装置、情報処理方法、プログラム、投映装置、および情報処理システム
JP4554231B2 (ja) 歪みパラメータの生成方法及び映像発生方法並びに歪みパラメータ生成装置及び映像発生装置
JP2015156540A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6700539B2 (ja) 映像処理装置、映像処理方法、及び映像処理プログラム
JP5326816B2 (ja) 遠隔会議システム、情報処理装置、及びプログラム
JP2017215706A (ja) 映像合成方法、映像取得装置、映像合成装置、映像合成システム及びコンピュータプログラム。
JP2023527679A (ja) モバイルカメラを用いたパノラマ生成
CN117218320B (zh) 基于混合现实的空间标注方法
JP6937722B2 (ja) 画像処理装置および画像処理方法
Zhang et al. A setup for panoramic stereo imaging
JP2022077221A (ja) 画像処理装置、画像処理システム、画像処理方法、およびプログラム
JP2022178000A (ja) 撮像装置および方法
JP2000348199A (ja) テクスチャマッピング方法及び装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19872615

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19872615

Country of ref document: EP

Kind code of ref document: A1