WO2022201784A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2022201784A1
WO2022201784A1 PCT/JP2022/001677 JP2022001677W WO2022201784A1 WO 2022201784 A1 WO2022201784 A1 WO 2022201784A1 JP 2022001677 W JP2022001677 W JP 2022001677W WO 2022201784 A1 WO2022201784 A1 WO 2022201784A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
rectangular parallelepiped
unit
image processing
degree
Prior art date
Application number
PCT/JP2022/001677
Other languages
English (en)
French (fr)
Inventor
伸 高梨
真朗 江里口
諒 大口
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2023508677A priority Critical patent/JPWO2022201784A1/ja
Publication of WO2022201784A1 publication Critical patent/WO2022201784A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present technology relates to an image processing device and an image processing method, and more particularly, to an image processing device and an image processing method for generating a 360-degree image and obtaining a display image in a predetermined direction based thereon.
  • Patent Literature 1 discloses a technique for synthesizing and displaying images captured by front, rear, left, and right cameras of a vehicle.
  • the display image (composite image) in this case is assumed to be displayed on a display in the vehicle, and high resolution is not required.
  • the processing load increases when trying to synthesize captured images at a high resolution.
  • the purpose of this technology is to enable the generation of images for display with little discomfort without increasing the amount of processing.
  • the concept of this technology is a 360-degree image generation unit that generates a 360-degree image of a rectangular parallelepiped based on a plurality of captured images;
  • the image processing apparatus includes a display image generation unit that generates a display image in a predetermined direction based on the 360-degree image.
  • the 360-degree image generation unit generates a rectangular parallelepiped 360-degree image based on a plurality of captured images.
  • the plurality of captured images may be four captured images obtained by four imaging units mounted on the outside of the vehicle and respectively imaging the front, right, left, and rear. .
  • the 360-degree image generation unit pastes the captured image obtained by the imaging unit that captures the front to the front region of the rectangular parallelepiped, and pastes the captured image obtained by the imaging unit that captures the rear to the rear region of the rectangular parallelepiped.
  • a 360-degree image of a rectangular parallelepiped may be generated by pasting the obtained captured image on the left surface area of the rectangular parallelepiped and the left area halves of the upper surface and the lower surface adjacent to the left surface area. This makes it possible to easily create a 360-degree image centering on the vehicle based on the four captured images in the front, rear, left, and right directions.
  • the imaging units that capture front and rear images may be wide-angle image capturing units, and the imaging units that capture right and left images may be fisheye image capturing units. .
  • the captured images obtained by the four front, rear, left, and right imaging units capture a wider range, and a wider range of images can be included as a 360-degree image centered on the vehicle.
  • the 360-degree image generation unit may cut out and use the center portions of each of the four captured images. This makes it possible to generate an image with less distortion as a 360-degree image.
  • a receiving unit that receives four captured images from the vehicle may be further provided. This makes it possible to receive and process four captured images from the vehicle at a location remote from the vehicle.
  • a display image in a predetermined direction is generated by the display image generation unit based on the 360-degree image.
  • the display image generation unit captures a rectangular parallelepiped 360-degree image with a virtual camera having a predetermined angle of view and an imaging direction set in a predetermined direction, which is installed at the center of the rectangular parallelepiped.
  • An image for displaying the direction may be generated. This makes it possible to easily generate a display image in a predetermined direction based on a 360-degree image.
  • a selection unit that selects a predetermined direction based on a user operation may be further provided.
  • the predetermined direction can be selected based on the user's operation, it is possible to obtain the display image in any direction.
  • a distribution unit that distributes the display image may be further provided. This makes it possible to distribute the display image.
  • a display section for displaying a display image may be further provided. This makes it possible to display and check the display image.
  • a rectangular parallelepiped 360-degree image is generated based on a plurality of captured images, and a display image in a predetermined direction is generated based on the 360-degree image.
  • a display image in a predetermined direction is generated based on the 360-degree image.
  • the 360-degree image generation unit may provide a boundary portion at the joint portion between the surfaces of the rectangular parallelepiped 360-degree image.
  • the boundary portion may be generated by blur processing using images of two surfaces corresponding to the joint portion. In this case, it is possible to more naturally reduce the sense of incongruity at the seams between the captured images.
  • the plurality of captured images may be captured images after specific processing has been performed on the region of the specific object so that the object is not identified. This makes it possible to prevent the identification of a specific object such as a person, and to protect privacy.
  • the image processing method includes a procedure of generating a display image in a predetermined direction based on the 360-degree image.
  • FIG. 4 is a diagram showing that captured images obtained by four front, rear, left, and right cameras are transmitted from a transmission device of a vehicle to a remote monitoring device; It is a block diagram which shows the structural example of a remote monitoring apparatus. It is a figure which shows an example of the captured image imaged with four cameras of four front, back, left, and right, and an example of each extraction range.
  • FIG. 10 is a diagram for explaining generation of a 360-degree image by image pasting;
  • FIG. 4 is a diagram showing an example of a boundary;
  • FIG. 11 is a diagram schematically showing an example of a display image (two-dimensional image) when the predetermined direction is selected to be front upward; It is a figure which shows an example of the display image of the front upper part of a 360-degree image. It is a figure which shows an example of the image for a display of the rear lower part of a 360-degree image.
  • 4 is a flow chart showing an example of a processing procedure from generating a display image to displaying and distributing it in the remote monitoring device.
  • 10 is a diagram for explaining an example of performing specifying processing such that, when a specific object is included in a captured image after clipping, the specific object is not specified in the area of the specific object; 10 is a flow chart showing another example of a processing procedure from generating a display image to displaying and distributing it in the remote monitoring device; It is a block diagram which shows the hardware configuration example of a computer.
  • FIG. 1 shows an example of the appearance of a vehicle 10 according to the present technology.
  • the vehicle 10 is an automatic driving vehicle or a remotely controlled vehicle, and does not have windows.
  • a display 11 is provided outside the vehicle 10 . This display 11 is provided for displaying advertisements and the like.
  • Cameras 12a, 12b, 12c, and 12d are mounted on the front, right, left, and rear surfaces of the vehicle 10 as imaging units for imaging the front, right, left, and rear, respectively. .
  • the camera 12a for imaging the front and the camera 12d for imaging the rear are wide-angle imaging units each having a wide-angle lens
  • the camera 12b for imaging the right and the camera 12c for imaging the left are imaging units for fish-eye images each having a fish-eye lens.
  • FIG. 2 shows transmission of four captured images obtained by the cameras 12a, 12b, 12c, and 12d from the transmission device 13 of the vehicle 10 to the remote monitoring device 100.
  • the transmission device 13 transmits four captured images input from each of the cameras 12a, 12b, 12c, and 12d, that is, the front image Ia, the right image Ib, the left image Ic, and the rear image Id, to the remote monitoring device 100. to, for example, over a telephone line.
  • the resolution of the four captured images is limited depending on the communication capacity of the line.
  • FIG. 3 shows a configuration example of the remote monitoring device 100.
  • This remote monitoring apparatus 100 includes a control unit 101, a user operation unit 102, a reception unit 103, an image clipping unit 104, an image pasting unit 105, a boundary part processing unit 106, and a display image generation unit 107. , a display unit 108 and a distribution unit 109 .
  • the control unit 101 controls the operation of each unit of the remote monitoring device 100 .
  • a user operation unit 102 is a part where a user performs various operation instructions. This operation includes a selection operation in a predetermined direction that is necessary when generating a display image from a 360-degree image.
  • the receiving unit 103 receives the captured images Ia, Ib, Ic, and Id captured by the cameras 12a, 12b, 12c, and 12d sent from the transmitting device 13 of the vehicle 10 (see FIG. 2).
  • the image clipping unit 104 clips central portions, that is, portions with little distortion, from the captured images Ia, Ib, Ic, and Id received by the receiving unit 103, and creates captured images Ia´, Ib´, and Ic´ , Id´ By clipping in this way, it is possible to generate an image with less distortion as a 360-degree image centering on the vehicle 10, which will be described later.
  • FIG. 4 shows an example of the captured images Ia, Ib, Ic, and Id captured by the cameras 12a, 12b, 12c, and 12d, and an example of each cutout range.
  • the cutout range is indicated by enclosing it with a rectangular frame.
  • the clipping range is fixed, for example, the size and position thereof may be changed according to the user's operation.
  • FIG. 5A shows captured images Ia´, Ib´, Ic´, and Id´ after the front, right, left, and rear cutouts.
  • FIG. 5(b) is an expanded view of a rectangular parallelepiped, and shows areas where captured images Ia´, Ib´, Ic´ and Id´ are pasted.
  • the front captured image Ia' is attached to the front surface of the rectangular parallelepiped.
  • the rear captured image Id&acute is pasted on the rear surface of the rectangular parallelepiped.
  • the right imaging screen Ib&acute is pasted on the right surface position of the rectangular parallelepiped and on the right half positions of the upper surface and the lower surface adjacent to this right surface position.
  • the left imaging screen Ib&acute is pasted on the right surface of the rectangular parallelepiped and on the left half of each of the upper and lower surfaces adjacent to the right surface.
  • a 360-degree image centered on the vehicle 10 can be easily created based on the captured images Ia´, Ib´, Ic´, and Id´ in the front, rear, left, and right directions.
  • This 360-degree image is, as shown in FIG.
  • the right half of the upper surface, the right surface, and the right half of the lower surface of the rectangular parallelepiped can be observed, and the left half of the upper surface, the left surface, and the left half of the lower surface of the rectangular parallelepiped can be observed.
  • the image Ic' can be observed, and further, the captured image Id' behind the vehicle 10 can be observed on the rear surface of the rectangular parallelepiped.
  • the boundary part processing unit 106 provides a boundary part at the joint between the surfaces of the rectangular parallelepiped 360-degree image generated by the image pasting unit 105 .
  • This boundary satisfies, for example, that the scenery can be clearly seen, that it does not interfere with the scenery, and that the unnaturalness of the seams can be eliminated.
  • FIG. 6 shows an example of the boundary.
  • FIG. 6A shows an example in which a window frame 110a is provided as a boundary.
  • FIG. 6(b) is an example in which a frame 110b is provided as a boundary.
  • FIG. 6C shows an example in which a line (solid line) 110c is provided as a boundary.
  • FIG. 6(d) is an example in which a dotted line 110d is provided as a boundary.
  • FIG. 6(e) is an example in which a color pick line 110e is provided as a boundary.
  • FIG. 6F shows an example in which a blur processing unit 110f is provided that performs blur processing using images of two surfaces corresponding to a joint portion as a boundary portion.
  • boundary part By providing the boundary part in this way, it is possible to reduce the sense of incompatibility at the joint part between the captured images. In particular, by blurring the boundary portion, it is possible to more naturally reduce the sense of incompatibility at the joint portion between the captured images.
  • the captured image Ib&acute is not the joint between the captured images.
  • the captured image Ic&acute is not the joint between the captured images.
  • the right and left picked-up images are fisheye images, which also include upper and lower images, and the upper and lower images are pasted on the upper and lower surfaces of the rectangular parallelepiped.
  • the human eye has a narrow field of view in the vertical direction, and when looking at an image on the right or left side, it is not possible to see an image on the upper side or the lower side. In other words, it is unnatural that the upper and lower images, which are not visible when viewing the right and left images, are connected.
  • boundary portion processing unit 106 provides a boundary portion at the joint portion between the surfaces of the rectangular parallelepiped 360-degree image generated by the image pasting unit 105 as described above, and also sets the boundary portion on the right side of each of the upper surface and the lower surface. A similar boundary portion is also provided at the joint portion between the captured image on the left side and the captured image on the left side. As a result, discomfort at the joint portion is reduced.
  • the display image generation unit 107 generates a display image (two-dimensional image) in a predetermined direction based on the 360-degree image after the boundary portion has been provided by the boundary portion processing unit 106 .
  • This predetermined direction can be selected by a selection operation using the user operation unit 102, for example.
  • the display image generation unit 107 generates, for example, a rectangular parallelepiped 360-degree image at a predetermined angle of view in which the imaging direction is set in a predetermined direction set at the center position of the rectangular parallelepiped (refer to the head position in FIG. 5C).
  • a display image in a predetermined direction is generated by performing processing of capturing an image with the virtual camera of .
  • FIG. 7 schematically shows an example of a display image when, for example, the predetermined direction is selected to be front upper.
  • FIG. 8 and 9 show captured images Ia, Ib, Ic, and Id of cameras 12a, 12b, 12c, and 12d (see FIG. 1) attached to the front, right, left, and rear surfaces of the vehicle 10.
  • FIG. 8 shows a display image when the predetermined direction is selected to be the front upper direction
  • FIG. 9 shows a display image when the predetermined direction is selected to be the rear downward direction.
  • the borders are formed by blur processing.
  • the display unit 108 is composed of, for example, a liquid crystal display panel or an organic EL panel, and displays the display image generated by the display image generation unit 107. Thereby, the user of the remote monitoring device 100 can check the display image, that is, the image around the vehicle 10 . In this case, when changing the predetermined direction in which the display image is generated, the direction of the display image generated by the display image generation unit 107 can be changed. can be confirmed.
  • the distribution unit 109 distributes the display image generated by the display image generation unit 107 .
  • the end user (the user of the delivery destination) can check the display image, that is, the image around the vehicle 10 .
  • the end user can check the image in any direction around the vehicle 10 .
  • the flowchart in FIG. 10 shows an example of a processing procedure from generating a display image to displaying and distributing it in the remote monitoring device 100 shown in FIG.
  • the remote monitoring device 100 uses the reception unit 103 to transmit from the transmission device 13 (see FIG. 2) of the vehicle 10, the front of the vehicle 10 captured by the cameras 12a, 12b, 12c, and 12d. , right, left, and rear captured images Ia, Ib, Ic, and Id.
  • step ST2 the image clipping unit 104 of the remote monitoring device 100 clips central portions, that is, portions with little distortion, from the captured images Ia, Ib, Ic, and Id.
  • the remote monitoring device 100 uses the image pasting unit 105 to attach the clipped front, right, left, and rear captured images Ia´, Ib´, Ic´, and Id´ Paste it on each surface to generate a 360-degree rectangular parallelepiped image.
  • step ST4 the remote monitoring device 100 performs blur processing using two images corresponding to the joints between the surfaces of the rectangular parallelepiped 360-degree images in the boundary portion processing section 106. , establish a boundary.
  • step ST5 the remote monitoring device 100 generates a display image (two-dimensional image) in a predetermined direction based on the rectangular parallelepiped 360-degree image provided with a border in the display image generation unit 107. .
  • the remote monitoring device 100 displays the generated display image on the display unit 108 and distributes it on the distribution unit 109 in step ST6.
  • the region of the specific object is identified by pattern matching or segmentation processing using a learning model, and specific processing is performed such that the specific object is not identified in this region, such as blur processing, blackout processing, and character replacement processing. etc.
  • FIG. 11 shows an example of captured images Ia, Ib, Ic, and Id.
  • the captured image Ia includes, for example, a person M as a specific object.
  • the area of the person M in the captured image Ia is identified, and the blur processing is performed as the identification process so that the person M is not identified. It is Although detailed description is omitted, similar processing is performed on specific objects included in other captured images Ib, Ic, and Id.
  • the captured images Ia, Ib, Ic, and Id themselves are not distributed. ;, Ic´, and Id´ (see step ST2 in FIGS. 4 and 10). Therefore, in practice, it is determined whether or not the specific object is included in the captured images Ia', Ib', Ic', and Id' after the clipping. Such specific processing may be performed.
  • the flowchart in FIG. 12 shows another example of the processing procedure from the generation of the display image to the display and distribution in the remote monitoring device 100 shown in FIG.
  • the process of step ST2a is added between steps ST2 and ST3 in the flowchart of FIG. 10, and detailed description is omitted, but the rest is the same as the flowchart of FIG.
  • remote monitoring device 100 specifies an area of a specific object such as a person when captured images Ia´, Ib´, Ic´, and Id´ Then, a specific process is applied to the area so that the specific object is not specified.
  • a specific object such as a person when captured images Ia´, Ib´, Ic´, and Id&acute
  • the captured images Ia´, Ib´, Ic´, and Id´ of the front, right, left, and rear cut out in step ST3 are taken after performing a specific process such that the specific object is not specified. It becomes an image.
  • a processing unit that performs a specific process such that the specific object is not specified for the area.
  • the image clipping unit 104 or the image pasting unit 105 may have the function of this processing unit.
  • the user may be able to arbitrarily select what to select as the specific object, for example, whether to select only a person. Also, in the case of a person, it is conceivable to perform a specific process that does not specify only the face area. Moreover, the user may be allowed to select whether or not to perform the identification process that does not identify the specific object.
  • Processing by software The processing shown in the flowchart of FIG. 10 described above can be executed by hardware, but can also be executed by software.
  • the programs that make up the software are built into dedicated hardware, or various functions can be executed by installing various programs. installed from a recording medium, for example, on a general-purpose computer.
  • FIG. 11 is a block diagram showing a hardware configuration example of the computer 400.
  • Computer 400 includes CPU 401 , ROM 402 , RAM 403 , bus 404 , input/output interface 405 , input section 406 , output section 407 , storage section 408 , drive 409 , connection port 410 , communication section 411 have.
  • the hardware configuration shown here is an example, and some of the components may be omitted. Moreover, it may further include components other than the components shown here.
  • the CPU 401 functions, for example, as an arithmetic processing device or a control device, and controls the overall operation or a part of each component based on various programs recorded in the ROM 402, the RAM 403, the storage unit 408, or the removable recording medium 501. .
  • the ROM 402 is means for storing programs read by the CPU 401 and data used for calculations.
  • the RAM 403 temporarily or permanently stores, for example, a program read by the CPU 401 and various parameters that appropriately change when the program is executed.
  • the CPU 401 , ROM 402 and RAM 403 are interconnected via a bus 404 .
  • Various components are connected to the bus 404 via an interface 405 .
  • a mouse for example, a mouse, keyboard, touch panel, buttons, switches, levers, etc. are used.
  • a remote controller (hereinafter referred to as a remote controller) capable of transmitting control signals using infrared rays or other radio waves may be used.
  • the output unit 407 includes, for example, a display device such as a CRT (Cathode Ray Tube), an LCD, or an organic EL, an audio output device such as a speaker, headphones, a printer, a mobile phone, a facsimile, or the like, to transmit the acquired information to the user. It is a device capable of visually or audibly notifying the user.
  • a display device such as a CRT (Cathode Ray Tube), an LCD, or an organic EL
  • an audio output device such as a speaker, headphones, a printer, a mobile phone, a facsimile, or the like, to transmit the acquired information to the user. It is a device capable of visually or audibly notifying the user.
  • the storage unit 408 is a device for storing various data.
  • a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like is used.
  • the drive 409 is a device that reads information recorded on a removable recording medium 501 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, or writes information to the removable recording medium 501, for example.
  • a removable recording medium 501 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory
  • the removable recording medium 501 is, for example, DVD media, Blu-ray (registered trademark) media, HD DVD media, various semiconductor storage media, and the like.
  • the removable recording medium 501 may be, for example, an IC card equipped with a contactless IC chip, an electronic device, or the like.
  • connection port 410 is, for example, a USB (Universal Serial Bus) port, an IEEE1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or a port for connecting an external connection device 502 such as an optical audio terminal.
  • the externally connected device 502 is, for example, a printer, a portable music player, a digital camera, a digital video camera, an IC recorder, or the like.
  • the communication unit 411 is a communication device for connecting to the network 503, and includes, for example, a communication card for wired or wireless LAN, Bluetooth (registered trademark), or WUSB (Wireless USB), a router for optical communication, ADSL (Asymmetric Digital Subscriber Line) router or modem for various communications.
  • a communication card for wired or wireless LAN Bluetooth (registered trademark), or WUSB (Wireless USB)
  • WUSB Wireless USB
  • a router for optical communication for optical communication
  • ADSL Asymmetric Digital Subscriber Line
  • the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be executed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • a 360-degree rectangular parallelepiped image is generated based on the four captured images of the vehicle 10 in the front, rear, left, and right directions. It generates a display image, and the amount of processing is less than that of generating a display image in a predetermined direction based on a spherical or cylindrical 360-degree image obtained by performing distortion correction processing, stitch processing, etc. It is possible to obtain a display image (two-dimensional image) with little sense of incongruity without increasing the . In addition, since the processing load is small, each frame of a moving image can be easily processed in real time.
  • the number of captured images is not limited to four, and may be configured to generate a rectangular parallelepiped 360-degree image based on another number of captured images.
  • a display image (two-dimensional image) in a predetermined direction generated based on a 360-degree rectangular parallelepiped image to the end user from the distribution unit 109 has been described.
  • a configuration is also conceivable in which a rectangular parallelepiped 360-degree image is delivered to the end user.
  • the end user uses a predetermined image processing application to generate and display a display image in a predetermined direction from a 360-degree rectangular parallelepiped image.
  • a display image (two-dimensional image) in a predetermined direction generated by the remote monitoring device 100 is distributed to the vehicle 10 and displayed on a display unit provided inside the vehicle 10 . In this case, the occupant of the vehicle 10 can view the display image in 360-degree directions while facing the traveling direction.
  • this technique can also take the following structures.
  • a 360-degree image generation unit that generates a rectangular parallelepiped 360-degree image based on a plurality of captured images;
  • An image processing apparatus comprising a display image generation unit that generates a display image in a predetermined direction based on the 360-degree image.
  • the 360-degree image generation unit provides a boundary portion at a joint portion between surfaces of the rectangular parallelepiped 360-degree image.
  • the boundary portion is generated by blur processing using images of two surfaces corresponding to the joint portion.
  • the display image generating unit performs a process of capturing the 360-degree image of the rectangular parallelepiped with a virtual camera having a predetermined angle of view and having an imaging direction set in the predetermined direction, which is installed at the center of the rectangular parallelepiped.
  • the image processing device according to any one of (1) to (3), wherein the display image is generated in the predetermined direction.
  • the plurality of captured images are four captured images obtained by four imaging units attached to the outside of the vehicle and respectively capturing front, right, left, and rear images from (1) above.
  • the image processing device according to any one of (7).
  • the 360-degree image generation unit pastes the captured image obtained by the imaging unit that captures the front to the front region of the rectangular parallelepiped, and pastes the captured image obtained by the imaging unit that captures the rear to the rectangular parallelepiped. pasted on the rear surface region, and pasted the captured image obtained by the imaging unit that captures the right side to the right half region of the right surface region of the rectangular parallelepiped and the right half regions of the upper surface and the lower surface adjacent to the right surface region;
  • the imaging unit for imaging the front and the rear is an imaging unit for wide-angle images;
  • the image processing device according to (8) or (9), wherein the image capturing unit that captures the right and left images is a fisheye image capturing unit.
  • the image processing device according to (10), wherein the 360-degree image generation unit cuts out and uses central portions of four captured images.
  • Any one of (1) to (12) above, wherein the plurality of captured images are captured images after specific processing has been performed on a region of a specific object so that the specific object is not identified.
  • the described image processing device a procedure for generating a rectangular parallelepiped 360-degree image based on a plurality of captured images;
  • An image processing method comprising: generating a display image in a predetermined direction based on the 360-degree image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

処理量を増加させることなく違和感の少ない表示用画像の生成を可能とする。　３６０度画像生成部により、複数の撮像画像に基づいて直方体状の３６０度画像が生成される。例えば、直方体状の３６０度画像の面同士のつなぎ目部分には、例えばブラー処理により境界部が設けられる。表示用画像生成部により、３６０度画像に基づいて所定方向の表示用画像が生成される。この表示用画像は、表示部により表示され、あるいは配信部によりエンドユーザに配信される。

Description

画像処理装置および画像処理方法
　本技術は、画像処理装置および画像処理方法に関し、詳しく、３６０度画像を生成し、それに基づいて所定方向の表示用画像を得る画像処理装置および画像処理方法に関する。
　例えば、特許文献１には、車両の前後左右のカメラによる撮像画像を合成して表示する技術が開示されている。この場合の表示用画像（合成画像）は、車内のディスプレイに表示することを想定しており、高い解像度は求められていない。撮像画像を高い解像度で合成しようとした場合、処理負荷が高くなるという問題がある。
特開２０２０－１２７１７１号公報
　本技術の目的は、処理量を増加させることなく違和感の少ない表示用画像の生成を可能とすることにある。
　本技術の概念は、
　複数の撮像画像に基づいて直方体状の３６０度画像を生成する３６０度画像生成部と、
　前記３６０度画像に基づいて所定方向の表示用画像を生成する表示用画像生成部を備える
　画像処理装置にある。
　本技術において、３６０度画像生成部により、複数の撮像画像に基づいて直方体状の３６０度画像が生成される。例えば、複数の撮像画像は、車両の外部に取り付けられた、それぞれ前方、右方、左方および後方を撮像する４つの撮像部で得られた４つの撮像画像である、ようにされてもよい。この場合、直方体状の３６０度画像として、車両を中心とする３６０度画像を生成することが可能となる。
　この場合、例えば、３６０度画像生成部は、前方を撮像する撮像部で得られた撮像画像を直方体の前面領域に貼り付け、後方を撮像する撮像部で得られた撮像画像を直方体の後面領域に貼り付け、右方を撮像する撮像部で得られた撮像画像を直方体の右面領域と該右面領域に隣接する上面および下面のそれぞれの右半分領域に貼り付け、左方を撮像する撮像部で得られた撮像画像を前記直方体の左面領域と該左面領域に隣接する上面および下面のそれぞれの左領域半分に貼り付けて、直方体状の３６０度画像を生成する、ようにされてもよい。これにより、前後左右の４つの撮像画像に基づいて車両を中心とする３６０度画像を容易に作成し得る。
　また、この場合、例えば、前方および後方を撮像する撮像部は広角画像の撮像部であり、右方および左方を撮像する撮像部は魚眼画像の撮像部である、ようにされてもよい。これにより、前後左右の４つの撮像部で得られる撮像画像はより広い範囲を撮像したものとなり、車両を中心とする３６０度画像としてより広い範囲の画像を含ませることが可能となる。ここで、３６０度画像生成部は、４つの撮像画像のそれぞれの中央部分を切り出して利用する、ようにされてもよい。これにより、３６０度画像として歪の少ない画像を生成することが可能となる。
　また、この場合、例えば、４つの撮像画像を車両から受信する受信部をさらに備える、ようにされてもよい。これにより、車両から離れた場所において、車両から４つの撮像画像を受信して処理することが可能となる。
　表示用画像生成部により、３６０度画像に基づいて所定方向の表示用画像が生成される。例えば、表示用画像生成部は、直方体状の３６０度画像を、直方体の中心位置に設置された所定方向に撮像方向を設定した所定の画角の仮想カメラで撮像する処理を行うことで、所定方向の表示用画像を生成する、ようにされてもよい。これにより、３６０度画像に基づいて所定方向の表示用画像を容易に生成可能となる。
　また、例えば、ユーザ操作に基づいて所定方向を選択する選択部をさらに備える、ようにされてもよい。この場合、ユーザの操作に基づいて所定方向を選択できることから、任意の方向の表示用画像を得ることが可能となる。
　また、例えば、表示用画像を配信する配信部をさらに備える、ようにされてもよい。これにより、表示用画像を配信することが可能となる。また、表示用画像を表示する表示部をさらに備える、ようにされてもよい。これにより、表示用画像を表示して確認することが可能となる。
　このように本技術においては、複数の撮像画像に基づいて直方体状の３６０度画像を生成し、この３６０度画像に基づいて所定方向の表示用画像を生成するものであり、歪補正処理やスティッチ処理等を行って得られた球状や円筒状の３６０度画像に基づいて所定方向の表示用画像を生成するものと比べて、処理量を増加させることなく違和感の少ない表示用画像を得ることが可能となる。また、処理負荷が少なくて済むので、動画の各フレームに対する処理もリアルタイムで容易に可能となる。
　なお、本技術において、例えば、３６０度画像生成部は、直方体状の３６０度画像の面同士のつなぎ目部分に境界部を設ける、ようにされてもよい。これにより、各面に異なる撮像部からの撮像画像を単に張り付けて直方体状の３６０度画像を生成した場合であっても、撮像画像同士のつなぎ目部分の違和感を軽減することが可能となる。この場合、例えば、境界部は、つなぎ目部分に対応した２つの面の画像を用いたブラー処理で生成される、ようにされてもよい。この場合、撮像画像同士のつなぎ目部分の違和感をより自然に軽減可能となる。また、本技術において、例えば、複数の撮像画像は、特定オブジェクトの領域に対して、そのオブジェクトが特定されないような特定処理が施された後の撮像画像であってもよい。これにより、人物などの特定オブジェクトの特定を防止することが可能なり、プライバシー保護などを図ることが可能となる。
　また、本技術の他の概念は、
　複数の撮像画像に基づいて直方体状の３６０度画像を生成する手順と、
　前記３６０度画像に基づいて所定方向の表示用画像を生成する手順を有する
　画像処理方法にある。
本技術に係る車両の外観の一例を示す図である。 車両の送信装置から遠隔監視装置に前後左右の４つのカメラで得られた撮像画像を送信することを示す図である。 遠隔監視装置の構成例を示すブロック図である。 前後左右の４つのカメラで撮像された撮像画像の一例と、それぞれの切り出し範囲の一例を示す図である。 画像貼り付けによる３６０度画像の生成を説明するための図である。 境界部の例を示す図である。 所定方向をフロント上方に選択した場合の表示用画像（２次元画像）の一例を模式的に示す図である。 ３６０度画像のフロント上方の表示用画像の一例を示す図である。 ３６０度画像のリア下方の表示用画像の一例を示す図である。 遠隔監視装置において表示用画像を生成して表示や配信を行うまでの処理手順の一例を示すフローチャートである。 切り出し後の撮像画像に特定オブジェクトが含まれる場合、その特定オブジェクトの領域に対してその特定オブジェクトが特定されないような特定処理を行う一例を説明するための図である。 遠隔監視装置において表示用画像を生成して表示や配信を行うまでの処理手順の他の一例を示すフローチャートである。 コンピュータのハードウェア構成例を示すブロック図である。
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
　１．実施の形態
　２．変形例
　＜１．実施の形態＞
　図１は、本技術に係る車両１０の外観の一例を示している。車両１０は、自動運転車両、あるいは遠隔操作車両であって、窓は設けられていない。車両１０の外部にはディスプレイ１１が設けられている。このディスプレイ１１は、広告等を表示するために設けられている。
　また、車両１０の外部の前面、右側面、左側面、後面には、それぞれ前方、右方、左方、後方を撮像するための撮像部としてカメラ１２ａ，１２ｂ，１２ｃ，１２ｄが取り付けられている。
　この実施の形態において、前方を撮像するカメラ１２ａおよび後方を撮像するカメラ１２ｄはそれぞれ広角レンズを備えてなる広角画像の撮像部であり、右方を撮像するカメラ１２ｂおよび左方を撮像するカメラ１２ｃは、それぞれ魚眼レンズを備えてなる魚眼画像の撮像部である。これにより、前後左右の４つのカメラ１２ａ，１２ｂ，１２ｃ，１２ｄで得られる撮像画像はより広い範囲を撮像したものとなり、後述する車両１０を中心とする３６０度画像としてより広い範囲の画像を含ませることが可能となる。
　また、車両１０の内部には、図示していないが、カメラ１２ａ，１２ｂ，１２ｃ，１２ｄで撮像された４つの撮像画像を、本技術の画像処理装置を構成する遠隔監視装置に送信するための送信装置が配置されている。
　図２は、車両１０の送信装置１３から遠隔監視装置１００にカメラ１２ａ，１２ｂ，１２ｃ，１２ｄで得られる４つの撮像画像を送信することを示している。送信装置１３は、例えば、カメラ１２ａ，１２ｂ，１２ｃ，１２ｄのそれぞれから入力される４つの撮像画像、つまり前方画像Ｉａ、右方画像Ｉｂ、左方画像Ｉｃ，後方画像Ｉｄを、遠隔監視装置１００に、例えば電話回線を通じて送信する。この場合、回線の通信容量によっては、４つの撮像画像の解像度が制限される。
　図３は、遠隔監視装置１００の構成例を示している。この遠隔監視装置１００は、制御部１０１と、ユーザ操作部１０２と、受信部１０３と、画像切り出し部１０４と、画像貼り付け部１０５と、境界部分処理部１０６と、表示用画像生成部１０７と、表示部１０８と、配信部１０９を有している。
　制御部１０１は、遠隔監視装置１００の各部の動作を制御する。ユーザ操作部１０２は、ユーザが各種の操作指示を行う部分である。この操作として、３６０度画像から表示用画像を生成する際に必要となる所定方向の選択操作も含まれる。
　受信部１０３は、車両１０の送信装置１３（図２参照）から送られてくるカメラ１２ａ，１２ｂ，１２ｃ，１２ｄで撮像された撮像画像Ｉａ，Ｉｂ，Ｉｃ，Ｉｄを受信する。画像切り出し部１０４は、受信部１０３で受信された撮像画像Ｉａ，Ｉｂ，Ｉｃ，Ｉｄから、それぞれの中央部分、つまり歪の少ない部分を切り出し、切り出し後の撮像画像Ｉａ´，Ｉｂ´，Ｉｃ´，Ｉｄ´を得る。このように切り出しを行うことで、後述する車両１０を中心とする３６０度画像として歪の少ない画像を生成することが可能となる。
　図４は、カメラ１２ａ，１２ｂ，１２ｃ，１２ｄで撮像された撮像画像Ｉａ，Ｉｂ，Ｉｃ，Ｉｄの一例と、それぞれの切り出し範囲の一例を示している。図示の例において、切り出し範囲は矩形枠で囲って示している。なお、切り出し範囲は例えば固定とされるが、ユーザ操作に応じてその大きさや位置の変更が可能とされてもよい。
　図３に戻って、画像貼り付け部１０５は、画像切り出し部１０４で得られた撮像画像Ｉａ´，Ｉｂ´，Ｉｃ´，Ｉｄ´を直方体の各面に貼り付けて直方体状の３６０度画像を生成する。図５（ａ）は、前方、右方、左方、後方の切り出し後の撮像画像Ｉａ´，Ｉｂ´，Ｉｃ´，Ｉｄ´を示している。図５（ｂ）は、直方体を展開した図であり、撮像画像Ｉａ´，Ｉｂ´，Ｉｃ´，Ｉｄ´のそれぞれを貼り付ける領域を示している。
　この場合、前方の撮像画像Ｉａ´は、直方体の前面に貼り付けられる。また、後方の撮像画像Ｉｄ´は、直方体の後面に貼り付けられる。また、右方の撮像画面Ｉｂ´は、直方体の右面位置とこの右面位置に隣接する上面および下面のそれぞれの右半分位置に貼り付けられる。また、左方の撮像画面Ｉｂ´は、直方体の右面位置とこの右面位置に隣接する上面位および下面のそれぞれの左半分位置に貼り付けられる。これにより、前後左右の撮像画像Ｉａ´，Ｉｂ´，Ｉｃ´，Ｉｄ´に基づいて車両１０を中心とする３６０度画像を容易に作成される。
　この３６０度画像は、イメージ的には、図５（ｃ）に示すように、ユーザが直方体の内部に頭部をいれた場合に、その直方体の前面に車両１０の前方の撮像画像Ｉａ´を観察でき、その直方体の上面右半分、右面および下面右半分に車両１０の右方の撮像画像Ｉｂ´を観察でき、その直方体の上面左半分、左面および下面左半分に車両１０の左方の撮像画像Ｉｃ´を観察でき、さらにその直方体の後面に車両１０の後方の撮像画像Ｉｄ´を観察できる、ものとなる。
　図３に戻って、境界部分処理部１０６は、画像貼り付け部１０５で生成された直方体状の３６０度画像の面同士のつなぎ目部分に境界部を設ける。この境界部は、例えば、景色がしっかりと見えること、景色の邪魔にならないこと、つなぎ目の不自然さを消せること、を満たすものとされる。
　図６は、境界部の例を示している。図６（ａ）は、境界部として窓枠１１０ａを設けた例である。図６（ｂ）は、境界部としてフレーム１１０ｂを設けた例である。図６（ｃ）は、境界部としてライン（実線）１１０ｃを設けた例である。図６（ｄ）は、境界部として点線１１０ｄを設けた例である。図６（ｅ）は、境界部としてカラーピックライン１１０ｅを設けた例である。図６（ｆ）は、境界部としてつなぎ目部分に対応した２つの面の画像を用いてブラー処理を行ったブラー処理部１１０ｆを設けた例である。
　このように境界部を設けることで、撮像画像同士のつなぎ目部分の違和感を軽減することが可能となる。特にブラー処理による境界部とすることで、撮像画像同士のつなぎ目部分の違和感をより自然に軽減可能となる。
　ここで、直方体状の３６０度画像において、上面右半分、右面および下面右半分には車両１０の右方の撮像画像Ｉｂ´が貼り付けられており、上面および右面の境界部分と、右面および下面の境界部分に関しては、撮像画像同士のつなぎ目部分ではない。同様に、直方体状の３６０度画像において、上面左半分、左面および下面左半分には車両１０の左方の撮像画像Ｉｃ´が貼り付けられており、上面および左面の境界部分と、左面および下面の境界部分に関しては、撮像画像同士のつなぎ目部分ではない。
　このように撮像画像同士のつなぎ目部分でなくとも境界部を設けることで、３６０度画像の違和感を軽減することができる。この場合、右方および左方の撮像画像は魚眼画像であり、上方および下方の画像も含んでおり、直方体の上面および下面にはその上方および下方の画像が貼り付けられる。人の目の上下方向の視野は狭く、右方や左方の画像を見ていると上方や下方の画像は見えない。つまり、普通に右方や左方の画像を見ているときに見えない上方や下方の画像が繋がっていることは不自然であり、境界部を設けることでその違和感を軽減することができる。
　なお、境界部分処理部１０６は、上述したように画像貼り付け部１０５で生成された直方体状の３６０度画像の面同士のつなぎ目部分に境界部を設ける他に、上面と下面のそれぞれの右方の撮像画像と左方の撮像画像とのつなぎ目部分にも同様の境界部を設ける。これにより、このつなぎ目部分における違和感が軽減される。
　図３に戻って、表示用画像生成部１０７は、境界部分処理部１０６で境界部が設けられた後の３６０度画像に基づいて所定方向の表示用画像（２次元画像）を生成する。この所定方向は、例えばユーザ操作部１０２による選択操作により選択可能とされる。表示用画像生成部１０７は、例えば、直方体状の３６０度画像を、直方体の中心位置（図５（ｃ）の頭部位置参照）に設置された所定方向に撮像方向を設定した所定の画角の仮想カメラで撮像する処理を行うことで、所定方向の表示用画像を生成する。図７は、例えば所定方向をフロント上方に選択した場合の表示用画像の一例を模式的に示している。
　また、図８、図９は、車両１０の外部の前面、右側面、左側面、後面に取り付けられたカメラ１２ａ，１２ｂ，１２ｃ，１２ｄ（図１参照）の撮像画像Ｉａ，Ｉｂ，Ｉｃ，Ｉｄが図４に示す場合における表示用画像の一例を示している。図８は、所定方向をフロント上方に選択した場合における表示用画像を示しており、図９は、所定方向をリア下方に選択した場合における表示用画像を示している。なお、これらの表示用画像において境界部はブラー処理により形成されたものである。
　図３に戻って、表示部１０８が、例えば液晶表示パネルや有機ＥＬパネル等で構成され、表示用画像生成部１０７で生成された表示用画像を表示する。これにより、遠隔監視装置１００のユーザは、表示用画像、つまり車両１０の周囲の画像を確認できる。この場合、表示用画像を生成する所定方向を変更していく場合、表示用画像生成部１０７で生成される表示用画像の方向を変更でき、従ってユーザは車両１０の周囲の任意の方向の画像を確認することが可能となる。
　配信部１０９は、表示用画像生成部１０７で生成された表示用画像を配信する。これにより、エンドユーザ（配信先のユーザ）は、表示用画像、つまり車両１０の周囲の画像を確認できる。この場合、エンドユーザからの指示により表示用画像を生成する所定方向の変更を可能とすることで、エンドユーザは車両１０の周囲の任意の方向の画像を確認することが可能となる。
　図１０のフローチャートは、図３に示す遠隔監視装置１００において表示用画像を生成して表示や配信を行うまでの処理手順の一例を示している。
　まず、遠隔監視装置１００は、ステップＳＴ１において、受信部１０３で、車両１０の送信装置１３（図２参照）から送られてくる、カメラ１２ａ，１２ｂ，１２ｃ，１２ｄで撮像された車両１０の前方、右方、左方、後方の撮像画像Ｉａ，Ｉｂ，Ｉｃ，Ｉｄを受信する。
　次に、遠隔監視装置１００は、ステップＳＴ２において、画像切り出し部１０４で、撮像画像Ｉａ，Ｉｂ，Ｉｃ，Ｉｄから、それぞれの中央部分、つまり歪の少ない部分を切り出す。
　次に、遠隔監視装置１００は、ステップＳＴ３において、画像貼り付け部１０５で、切出された前方、右方、左方、後方の撮像画像Ｉａ´，Ｉｂ´，Ｉｃ´，Ｉｄ´を直方体の各面に貼り付けて、直方体状の３６０度画像を生成する。
　次に、遠隔監視装置１００は、ステップＳＴ４において、境界部分処理部１０６で、直方体状の３６０度画像の面同士のつなぎ目部分等に、対応した２つの画像を用いたブラー処理を行う等して、境界部を設ける。
　次に、遠隔監視装置１００は、ステップＳＴ５において、表示用画像生成部１０７で、境界部が設けられた直方体状の３６０度画像に基づいて所定方向の表示用画像（２次元画像）を生成する。
　次に、遠隔監視装置１００は、ステップＳＴ６において、生成された表示用画像を、表示部１０８で表示し、配信部１０９で配信する。
　なお、上述では、撮像画像Ｉａ，Ｉｂ，Ｉｃ，Ｉｄに含まれる特定オブジェクト、例えば人物、住所表示、広告看板などもそのままの状態で配信する例を示した。しかし、プライバシー保護等の観点から当該特定オブジェクトを特定できないような特定処理をした後に配信することも考えられる。
　この場合、パターンマッチングまたは学習モデルを用いるセグメンテーション処理により特定オブジェクトの領域を特定し、この領域に対して当該特定オブジェクトが特定されないような特定処理、例えばブラー処理、黒塗処理、キャラクターへの置き換え処理などを行うことが考えられる。
　図１１は、撮像画像Ｉａ，Ｉｂ，Ｉｃ，Ｉｄの一例を示している。例えば、撮像画像Ｉａには、特定オブジェクトとして、例えば人物Ｍが含まれている。この場合、図示の例においては、当該人物Ｍの領域を拡大して示すように、撮像画像Ｉａの当該人物Ｍの領域が特定され、当該人物Ｍが特定されないような特定処理としてブラー処理が施されている。詳細説明は省略するが、その他の撮像画像Ｉｂ，Ｉｃ，Ｉｄに含まれる特定オブジェクトに関しても同様の処理が施される。
　なお、上述したように、撮像画像Ｉａ，Ｉｂ，Ｉｃ，Ｉｄそのものを配信するわけではなく、撮像画像Ｉａ，Ｉｂ，Ｉｃ，Ｉｄから歪の少ない部分を切り出し、切り出し後の撮像画像Ｉａ´，Ｉｂ´，Ｉｃ´，Ｉｄ´を配信するものである（図４、図１０のステップＳＴ２参照）。したがって、実際には、切り出し後の撮像画像Ｉａ´，Ｉｂ´，Ｉｃ´，Ｉｄ´に特定オブジェクトが含まれるか判断し、含まれる場合、その特定オブジェクトの領域に対して当該特定オブジェクトが特定されないような特定処理を施せばよい。
　図１２のフローチャートは、図３に示す遠隔監視装置１００において表示用画像を生成して表示や配信を行うまでの処理手順の他の一例を示している。このフローチャートにおいては、図１０のフローチャートにおけるステップＳＴ２とＳＴ３との間に、ステップＳＴ２ａの処理が追加されており、詳細説明は省略するがその他は図１０のフローチャートと同様である。
　ステップＳＴ２ａにおいては、遠隔監視装置１００は、画像切り出し部１０４で切り出された撮像画像Ｉａ´，Ｉｂ´，Ｉｃ´，Ｉｄ´に人物などの特定オブジェクトが含まれる場合、その特定オブジェクトの領域を特定し、その領域に対して当該特定オブジェクトが特定されないような特定処理を施す。
　この場合、ステップＳＴ３における切り出された前方、右方、左方、後方の撮像画像Ｉａ´，Ｉｂ´，Ｉｃ´，Ｉｄ´は、特定オブジェクトが特定されないような特定処理が施された後の撮像画像ということになる。詳細説明は省略するが、図１２のフローチャートに対応しては、図３に示す遠隔監視装置１００において、画像切り出し部１０４と画像貼り付け部１０５の間に、特定オブジェクトの領域を特定し、その領域に対して当該特定オブジェクトが特定されないような特定処理を施す処理部が存在することになる。なお、この処理部の機能を、画像切り出し部１０４あるいは画像貼り付け部１０５が持つ構成であってもよい。
　また、特定オブジェクトとして何を選択するか、例えば人物のみとするか等はユーザが任意に選択可能としてもよい。また、人物の場合、顔領域だけに、特定されないような特定処理を施すことも考えられる。また、特定オブジェクトが特定されないような特定処理を行うか否かをユーザが選択可能としてもよい。
　「ソフトウェアによる処理」
　上述の図１０のフローチャートに示す処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
　図１１は、コンピュータ４００のハードウェア構成例を示すブロック図である。コンピュータ４００は、ＣＰＵ４０１と、ＲＯＭ４０２と、ＲＡＭ４０３と、バス４０４と、入出力インタフェース４０５と、入力部４０６と、出力部４０７と、記憶部４０８と、ドライブ４０９と、接続ポート４１０と、通信部４１１を有している。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
　ＣＰＵ４０１は、例えば、演算処理装置または制御装置として機能し、ＲＯＭ４０２、ＲＡＭ４０３、記憶部４０８、またはリムーバブル記録媒体５０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
　ＲＯＭ４０２は、ＣＰＵ４０１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ４０３には、例えば、ＣＰＵ４０１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的または永続的に格納される。
　ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３は、バス４０４を介して相互に接続される。一方、バス４０４には、インタフェース４０５を介して種々の構成要素が接続される。
　入力部４０６には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力部４０６としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。
　出力部４０７には、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
　記憶部４０８は、各種のデータを格納するための装置である。記憶部４０８としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等が用いられる。
　ドライブ４０９は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体５０１に記録された情報を読み出し、またはリムーバブル記録媒体５０１に情報を書き込む装置である。
　リムーバブル記録媒体５０１は、例えば、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、ＨＤ　ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体５０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、または電子機器等であってもよい。
　接続ポート４１０は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）、ＲＳ－２３２Ｃポート、または光オーディオ端子等のような外部接続機器５０２を接続するためのポートである。外部接続機器５０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、またはＩＣレコーダ等である。
　通信部４１１は、ネットワーク５０３に接続するための通信デバイスであり、例えば、有線または無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または各種通信用のモデム等である。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　以上説明したように、図３に示す遠隔監視装置１００においては、車両１０の前後左右の４つの撮像画像に基づいて直方体状の３６０度画像を生成し、この３６０度画像に基づいて所定方向の表示用画像を生成するものであり、歪補正処理やスティッチ処理等を行って得られた球状や円筒状の３６０度画像に基づいて所定方向の表示用画像を生成するものと比べて、処理量を増加させることなく違和感の少ない表示用画像（２次元画像）を得ることが可能となる。また、処理負荷が少なくて済むので、動画の各フレームに対する処理もリアルタイムで容易に可能となる。
　また、図３に示す遠隔監視装置１００においては、直方体状の３６０度画像を生成する際に、面同士のつなぎ目部分等に境界部を設けるものであり、各面に異なる方向の撮像画像を単に張り付けて直方体状の３６０度画像を生成した場合であっても、撮像画像同士のつなぎ目部分の違和感を軽減することが可能となる。
　＜２．変形例＞
　なお、上述実施の形態においては、車両１０の前後左右に取り付けられた４つのカメラ１２ａ～１２ｄで得られた撮像画像に基づいて直方体状の３６０度画像を生成する例を示した。しかし、本技術において、撮像画像の数は４に限定されるものであなく、その他の数の撮像画像に基づいて直方体状の３６０度画像を生成するように構成されてもよい。例えば、右前を向いたカメラと左後を向いたカメラの２つで撮像された撮像画像（例えば、魚眼画像）に基づいて、直方体状の３６０度画像を生成することも考えられる。
　また、上述実施の形態においては、車両１０に取り付けられたカメラで得られた撮像画像を処理する例を示したが、ドローンやロボットなどその他の移動装置に取り付けられたカメラで得られた撮像画像を処理する例も同様に考えることができる。その場合にもユーザはその移動装置の周囲の画像を遠隔で監視することが可能となる。
　また、上述実施の形態においては、配信部１０９からエンドユーザに直方体状の３６０度画像に基づいて生成された所定方向の表示用画像（２次元画像）を配信する例を示した。しかし、直方体状の３６０度画像をエンドユーザに配信する構成も考えられる。その場合、エンドユーザ側において、所定の画像処理アプリケーションを用いて、直方体状の３６０度画像から所定方向の表示用画像を生成して表示することになる。さらには、遠隔監視装置１００において生成された所定方向の表示用画像（２次元画像）を、車両１０に配信し、車両１０の車室内に設けられた表示部に表示させる構成も考えられる。その場合、車両１０の乗員は、進行方向を向きながら３６０度方向の表示画像を見ることができる。
　また、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　また、本技術は、以下のような構成を取ることもできる。
　（１）複数の撮像画像に基づいて直方体状の３６０度画像を生成する３６０度画像生成部と、
　前記３６０度画像に基づいて所定方向の表示用画像を生成する表示用画像生成部を備える
　画像処理装置。
　（２）前記３６０度画像生成部は、前記直方体状の３６０度画像の面同士のつなぎ目部分に境界部を設ける
　前記（１）に記載の画像処理装置。
　（３）前記境界部は、前記つなぎ目部分に対応した２つの面の画像を用いたブラー処理で生成される
　前記（２）に記載の画像処理装置。
　（４）前記表示用画像生成部は、前記直方体状の３６０度画像を、直方体の中心位置に設置された前記所定方向に撮像方向を設定した所定の画角の仮想カメラで撮像する処理を行うことで、前記所定方向の表示用画像を生成する
　前記（１）から（３）のいずれかに記載の画像処理装置。
　（５）ユーザ操作に基づいて前記所定方向を選択する選択部をさらに備える
　前記（１）から（４）のいずれかに記載の画像処理装置。
　（６）前記表示用画像を配信する配信部をさらに備える
　前記（１）から（５）のいずれかに記載の画像処理装置。
　（７）前記表示用画像を表示する表示部をさらに備える
　前記（１）から（６）のいずれかに記載の画像処理装置。
　（８）前記複数の撮像画像は、車両の外部に取り付けられた、それぞれ前方、右方、左方および後方を撮像する４つの撮像部で得られた４つの撮像画像である
　前記（１）から（７）のいずれかに記載の画像処理装置。
　（９）前記３６０度画像生成部は、前記前方を撮像する撮像部で得られた撮像画像を直方体の前面領域に貼り付け、前記後方を撮像する撮像部で得られた撮像画像を前記直方体の後面領域に貼り付け、前記右方を撮像する撮像部で得られた撮像画像を前記直方体の右面領域と該右面領域に隣接する上面および下面のそれぞれの右半分領域に貼り付け、前記左方を撮像する撮像部で得られた撮像画像を前記直方体の左面領域と該左面領域に隣接する上面および下面のそれぞれの左半分領域に貼り付けて、前記直方体状の３６０度画像を生成する
　前記（８）に記載の画像処理装置。
　（１０）前記前方および前記後方を撮像する撮像部は広角画像の撮像部であり、
　前記右方および前記左方を撮像する撮像部は魚眼画像の撮像部である
　前記（８）または（９）に記載の画像処理装置。
　（１１）前記３６０度画像生成部は、４つの撮像画像のそれぞれの中央部分を切り出して利用する
　前記（１０）に記載の画像処理装置。
　（１２）前記４つの撮像画像を前記車両から受信する受信部をさらに備える
　前記（８）から（１１）のいずれかに記載の画像処理装置。
　（１３）前記複数の撮像画像は、特定オブジェクトの領域に対して、該特定オブジェクトが特定されないような特定処理が施された後の撮像画像である
　前記（１）から（１２）のいずれかに記載の画像処理装置。
　（１４）複数の撮像画像に基づいて直方体状の３６０度画像を生成する手順と、
　前記３６０度画像に基づいて所定方向の表示用画像を生成する手順を有する
　画像処理方法。
　１０・・・車両
　１２ａ～１２ｄ・・・カメラ
　１３・・・送信装置
　１００・・・遠隔監視装置
　１０１・・・制御部
　１０２・・・ユーザ操作部
　１０３・・・受信部
　１０４・・・画像切り出し部
　１０５・・・画像貼り付け部
　１０６・・・境界部分処理部
　１０７・・・表示用画像生成部
　１０８・・・表示部
　１０９・・・配信部

Claims (14)

  1. 　複数の撮像画像に基づいて直方体状の３６０度画像を生成する３６０度画像生成部と、
    　前記３６０度画像に基づいて所定方向の表示用画像を生成する表示用画像生成部を備える
    　画像処理装置。
  2. 　前記３６０度画像生成部は、前記直方体状の３６０度画像の面同士のつなぎ目部分に境界部を設ける
    　請求項１に記載の画像処理装置。
  3. 　前記境界部は、前記つなぎ目部分に対応した２つの面の画像を用いたブラー処理で生成される
    　請求項２に記載の画像処理装置。
  4. 　前記表示用画像生成部は、前記直方体状の３６０度画像を、直方体の中心位置に設置された前記所定方向に撮像方向を設定した所定の画角の仮想カメラで撮像する処理を行うことで、前記所定方向の表示用画像を生成する
    　請求項１に記載の画像処理装置。
  5. 　ユーザ操作に基づいて前記所定方向を選択する選択部をさらに備える
    　請求項１に記載の画像処理装置。
  6. 　前記表示用画像を配信する配信部をさらに備える
    　請求項１に記載の画像処理装置。
  7. 　前記表示用画像を表示する表示部をさらに備える
    　請求項１に記載の画像処理装置。
  8. 　前記複数の撮像画像は、車両の外部に取り付けられた、それぞれ前方、右方、左方および後方を撮像する４つの撮像部で得られた４つの撮像画像である
    　請求項１に記載の画像処理装置。
  9. 　前記３６０度画像生成部は、前記前方を撮像する撮像部で得られた撮像画像を直方体の前面領域に貼り付け、前記後方を撮像する撮像部で得られた撮像画像を前記直方体の後面領域に貼り付け、前記右方を撮像する撮像部で得られた撮像画像を前記直方体の右面領域と該右面領域に隣接する上面および下面のそれぞれの右半分領域に貼り付け、前記左方を撮像する撮像部で得られた撮像画像を前記直方体の左面領域と該左面領域に隣接する上面および下面のそれぞれの左半分領域に貼り付けて、前記直方体状の３６０度画像を生成する
    　請求項８に記載の画像処理装置。
  10. 　前記前方および前記後方を撮像する撮像部は広角画像の撮像部であり、
    　前記右方および前記左方を撮像する撮像部は魚眼画像の撮像部である
    　請求項８に記載の画像処理装置。
  11. 　前記３６０度画像生成部は、４つの撮像画像のそれぞれの中央部分を切り出して利用する
    　請求項１０に記載の画像処理装置。
  12. 　前記４つの撮像画像を前記車両から受信する受信部をさらに備える
    　請求項８に記載の画像処理装置。
  13. 　前記複数の撮像画像は、特定オブジェクトの領域に対して、該特定オブジェクトが特定されないような特定処理が施された後の撮像画像である
    　請求項１に記載の画像処理装置。
  14. 　複数の撮像画像に基づいて直方体状の３６０度画像を生成する手順と、
    　前記３６０度画像に基づいて所定方向の表示用画像を生成する手順を有する
    　画像処理方法。
PCT/JP2022/001677 2021-03-26 2022-01-18 画像処理装置および画像処理方法 WO2022201784A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023508677A JPWO2022201784A1 (ja) 2021-03-26 2022-01-18

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021052986 2021-03-26
JP2021-052986 2021-03-26

Publications (1)

Publication Number Publication Date
WO2022201784A1 true WO2022201784A1 (ja) 2022-09-29

Family

ID=83396846

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/001677 WO2022201784A1 (ja) 2021-03-26 2022-01-18 画像処理装置および画像処理方法

Country Status (2)

Country Link
JP (1) JPWO2022201784A1 (ja)
WO (1) WO2022201784A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012065228A (ja) * 2010-09-17 2012-03-29 Fujitsu Ten Ltd 画像処理装置、画像表示システム及び画像表示方法
JP2016130917A (ja) * 2015-01-13 2016-07-21 三菱プレシジョン株式会社 三次元映像生成装置およびキューブマップ生成方法
JP2020008664A (ja) * 2018-07-05 2020-01-16 株式会社東陽テクニカ ドライビングシミュレーター
JP2021039619A (ja) * 2019-09-04 2021-03-11 株式会社デンソーテン 画像記録システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012065228A (ja) * 2010-09-17 2012-03-29 Fujitsu Ten Ltd 画像処理装置、画像表示システム及び画像表示方法
JP2016130917A (ja) * 2015-01-13 2016-07-21 三菱プレシジョン株式会社 三次元映像生成装置およびキューブマップ生成方法
JP2020008664A (ja) * 2018-07-05 2020-01-16 株式会社東陽テクニカ ドライビングシミュレーター
JP2021039619A (ja) * 2019-09-04 2021-03-11 株式会社デンソーテン 画像記録システム

Also Published As

Publication number Publication date
JPWO2022201784A1 (ja) 2022-09-29

Similar Documents

Publication Publication Date Title
CN107948505B (zh) 一种全景拍摄方法及移动终端
US20080030573A1 (en) Volumetric panoramic sensor systems
KR101961015B1 (ko) 가상 스튜디오 연동 스마트 증강현실 서비스 시스템 및 방법
CN101729788B (zh) 摄像装置、摄像区域显示方法
JPH11133347A (ja) 映像観察装置
JP2021514573A (ja) マルチセンサを使用してオムニステレオビデオを捕捉するためのシステム及び方法
CN104023169A (zh) 成像设备、控制该成像设备的方法和计算机程序
CN107911737A (zh) 媒体内容的展示方法、装置、计算设备及存储介质
JP2023039975A (ja) 通信端末、画像通信システム、表示方法、プログラム
WO2021147921A1 (zh) 图像处理方法、电子设备及计算机可读存储介质
CN111083371A (zh) 拍摄方法和电子设备
JP2007295559A (ja) ビデオ処理および表示
WO2021095573A1 (ja) 情報処理システム、情報処理方法及びプログラム
CN108449546A (zh) 一种拍照方法及移动终端
Fiala Pano-presence for teleoperation
WO2022201784A1 (ja) 画像処理装置および画像処理方法
JP2004355131A (ja) 複合現実感映像生成方法及び複合現実感画像生成装置
JP2006287731A (ja) 情報処理装置および方法、記録媒体、並びにプログラム
JPH10290387A (ja) 撮像、表示、記録、再生、伝送装置及び記録媒体
CN111263093B (zh) 一种录像方法及电子设备
JP6563694B2 (ja) 画像処理装置、画像処理システム、画像合成装置、画像処理方法及びプログラム
CN111630848B (zh) 图像处理装置、图像处理方法、程序和投影系统
US20230037102A1 (en) Information processing system, information processing method, and program
CN110855884B (zh) 可穿戴设备及其控制方法和控制装置
JP2014158244A (ja) 画像処理装置、画像処理方法、および画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22774587

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023508677

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22774587

Country of ref document: EP

Kind code of ref document: A1