WO2022195312A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2022195312A1
WO2022195312A1 PCT/IB2021/000167 IB2021000167W WO2022195312A1 WO 2022195312 A1 WO2022195312 A1 WO 2022195312A1 IB 2021000167 W IB2021000167 W IB 2021000167W WO 2022195312 A1 WO2022195312 A1 WO 2022195312A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
image processing
captured
blur correction
Prior art date
Application number
PCT/IB2021/000167
Other languages
English (en)
French (fr)
Inventor
純 河西
裕史 井上
雄宇 志小田
雅己 岡本
剛仁 寺口
放歌 陳
Original Assignee
日産自動車株式会社
ルノー エス． ア． エス．
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社, ルノー エス． ア． エス． filed Critical 日産自動車株式会社
Priority to CN202180095604.7A priority Critical patent/CN117178561A/zh
Priority to EP21931373.1A priority patent/EP4311218A4/en
Priority to US18/282,745 priority patent/US20240163555A1/en
Priority to JP2023506365A priority patent/JPWO2022195312A1/ja
Priority to PCT/IB2021/000167 priority patent/WO2022195312A1/ja
Publication of WO2022195312A1 publication Critical patent/WO2022195312A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors

Definitions

  • the present invention relates to an image processing device and an image processing method.
  • Driving means for changing the imaging direction of the imaging means by rotating imaging means comprising an imaging optical system and an imaging element, image correction means for correcting the captured image captured by the imaging means by image processing, and vibration of the imaging means and a control means for acquiring a detection signal from a detection means for detecting the .
  • the control means controls the image blur correction of the captured image by controlling the drive means, and the image correction for the vibration remaining in the image blur correction by the first control.
  • a second control for controlling image blur correction of the captured image is executed by controlling means (Patent Document 1).
  • Patent Document 1 requires image blur correction if image blur correction is performed on the entire captured image when there is a part in the captured image that becomes stationary due to shaking with the vibration of the imaging means. There is a problem that the portion of the stationary state that is not set is subjected to correction processing, and the portion of the stationary state moves unnaturally.
  • the problem to be solved by the present invention is to provide an image processing apparatus and an image processing method that can perform blur correction processing on an image that shakes due to the behavior of a moving object during movement.
  • the present invention it is determined whether or not a captured image includes a scene outside a moving body, and if it is determined that the captured image includes a scene outside the moving body, a behavior indicating behavior during movement of the moving body. Based on the data, the above problem is solved by performing blur correction processing on the captured image so as to cancel the shake of the captured image due to the behavior.
  • the present invention it is possible to suppress the shake of the image due to the behavior of the mobile body when it moves.
  • FIG. 1 is a block diagram of an image processing system according to this embodiment.
  • FIG. 2 is a diagram showing an example of an image captured by an in-vehicle camera.
  • FIG. 3 is a diagram showing an example of an image captured by an in-vehicle camera.
  • FIG. 4 is a flow chart showing an example of a sequence chart in the image processing system of this embodiment.
  • FIG. 5 is a flow chart showing an example of the procedure of the image processing method in the image processing apparatus of this embodiment.
  • FIG. 1 is a block diagram showing an example configuration of an image processing system 10 including an image processing apparatus 100 according to this embodiment.
  • the image processing system 10 includes an image processing device 100, a vehicle 200, and a terminal device 300 in this embodiment.
  • the image processing device 100 is a server capable of communicating with the vehicle 200 and the terminal device 300 and exchanging information.
  • the image processing system 10 performs task processing with a high computational load via the network, and also facilitates algorithm changes. Therefore, it is possible to provide high-speed and versatile services.
  • the image processing device 100 acquires an image of the interior and/or exterior of the vehicle 200 from the vehicle 200, performs image processing on the acquired image as necessary, and displays the interior and/or exterior of the vehicle 200. , the image is transmitted to the terminal device 300 in order to be displayed by the second user.
  • Terminal device 300 is located in a remote space away from vehicle 200 .
  • the remote space is a place where the image processing apparatus 100 is installed and a place away from the vehicle 200, such as the location of the second user.
  • the vehicle 200 is taken as an example of a moving body, but the moving body is not limited to the vehicle 200, and may be a moving body such as a ship or an airplane.
  • a first user is an occupant on board the vehicle 200 .
  • the first user is the driver of the vehicle 200, but may be an occupant in the front passenger seat or the rear seat.
  • the second user wears the display device 340 of the terminal device 300 over his or her eyes, looks at the display screen of the display device 340, and enjoys driving in virtual space with the first user riding in the vehicle 200. can. Also, the second user can use the terminal device 300 to have a conversation with the first user.
  • the image processing device 100 includes a controller 110 and a communication device 120 .
  • Controller 110 comprises a computer with hardware and software.
  • This computer includes a ROM storing a program, a CPU executing the program stored in the ROM, and a RAM functioning as an accessible storage device.
  • an MPU, DSP, ASIC, FPGA, or the like can be used instead of or together with the CPU.
  • the controller 110 includes at least an image acquisition unit 111, a behavior data acquisition unit 112, a determination unit 113, an image processing unit 114, a transmission unit 115, and a reception unit 116 as functional blocks.
  • Each functional block executes each function through the cooperation of hardware and software for realizing each function or executing each process.
  • the functions of the controller 110 are divided into six blocks, and the function of each functional block will be described. Blocks, or may be divided into seven or more functional blocks.
  • the controller 110 acquires captured images captured by the in-vehicle camera 221 and/or the exterior camera 222 from the running vehicle 200, and acquires behavior data indicating the behavior of the vehicle 200 during running.
  • the controller 110 Based on the behavior data, the controller 110 performs blur correction processing on the captured image so as to cancel the shaking of the captured image due to the behavior of the vehicle 200 , and transmits the captured image after the blur correction processing to the terminal device 300 .
  • Each functional block included in the controller 110 will be described below.
  • the image acquisition unit 111 acquires images captured by the in-vehicle camera 211 and/or the exterior camera 222 .
  • the captured image includes a vehicle interior image (moving body interior image) representing the interior of the vehicle such as a dashboard and pillars, and/or a landscape image representing scenery including buildings and nature outside the vehicle.
  • vehicle interior image moving body interior image
  • landscape image representing scenery including buildings and nature outside the vehicle.
  • the image captured by the in-vehicle camera 211 includes the scenery image and the vehicle interior image.
  • FIG. 2( a ) is an example of an image captured by the in-vehicle camera 211 .
  • the image within the area A showing the scenery is the landscape image
  • the image within the area B showing the pillars and the dashboard is the vehicle interior image.
  • the behavior data acquisition unit 112 acquires behavior data that indicates the behavior of the vehicle when it is running (moving).
  • the behavior is the vibration of vehicle 200 during running.
  • the behavior data is data detected by behavior detection sensor 240 in vehicle 200 .
  • the behavior of the vehicle 200 is represented by vertical movement (vibration) of the vehicle 200, rotation of the vehicle 200 about the vertical axis of the vehicle 200, inclination of the vehicle 200, and the like.
  • the vertical direction of vehicle 200 is normal to the running surface of vehicle 200 .
  • the data detected by the behavior detection sensor 240 is vibration wave data representing the vertical motion of the vehicle 200 and the rotation of the vehicle 200 about the vertical direction.
  • behavior data acquisition unit 112 identifies the movement of vehicle 200 in the vertical direction. Further, when the data detected by behavior detection sensor 240 includes data indicating rotation of vehicle 200 about the vertical direction, behavior data acquiring unit 112 detects rotation of vehicle 200 about the vertical direction. Identify. The behavior data acquirer 112 may identify the vertical movement and rotation about the vertical axis of the vehicle 200 . Note that the behavior data acquisition unit 112 may acquire, as behavior data, images captured by the in-vehicle camera 221 and/or the exterior camera 222 instead of the data detected by the behavior detection sensor 240 .
  • the determination unit 113 determines whether or not the vehicle behaves based on the behavior data acquired by the behavior data acquisition unit 112 . Specifically, the determination unit 113 identifies vibration waves having a specific frequency from the behavior data, and compares the amplitude value (magnitude of amplitude) of the identified vibration waves with a predetermined amplitude threshold. Then, when the amplitude value of the vibration wave is equal to or greater than the amplitude threshold value, the determination unit 113 determines that the vehicle behaves.
  • the specific frequency of the vibration wave is a frequency in a preset specific frequency band, and the specific frequency band is a vibration frequency range that affects human motion sickness due to image shake.
  • the amplitude threshold indicates the lower limit of vibration amplitude that causes VR sickness, and is determined by an experimental value, an empirical value, or the like. Note that "VR sickness" will be described later. Further, the determination unit 113 determines whether or not the captured image acquired by the image acquisition unit 111 includes the scenery outside the vehicle 200 . Since the in-vehicle camera 221 and the exterior camera 222 are fixed to the vehicle 200, the captured images of the in-vehicle camera 221 and the exterior camera 222 shake according to the behavior of the vehicle 200 when the vehicle behaves. In addition, since the vehicle interior image is an image showing a part of the vehicle such as a pillar, it vibrates according to the behavior of the vehicle 200 .
  • the scenery image does not vibrate according to the behavior of the vehicle 200 .
  • the images captured by the vehicle interior camera 221 and the exterior camera 222 shake in accordance with the behavior of the vehicle 200, and the vehicle interior image shakes in synchronization with the vehicle behavior. do not do.
  • the scenery image does not shake according to the behavior of the vehicle 200, it appears to vibrate. That is, when there is behavior of the vehicle 200, the scenery image appears to shake, and the vehicle interior image does not shake. In the example of FIG. 2, the image in area A shakes, and the image in area B does not shake. Also, when there is behavior of the vehicle, the captured image of the vehicle exterior camera 22 shakes as a whole.
  • the second user may feel "VR sickness".
  • the second user is in a remote location and does not directly feel the shaking of vehicle 200 .
  • the image shakes without feeling the vibration. The senses you feel will not match, and you will be in a state like motion sickness. Such a state is "VR sickness”.
  • the determination unit 113 determines whether or not the vehicle behaves based on the image captured. You may The determination unit 113 identifies the movement of the vehicle 200 using image movement information such as optical flow that can be acquired from images captured by the in-vehicle camera and/or the exterior camera 222, and determines whether the movement of the vehicle 200 is due to behavior. determine whether For example, if the motion of vehicle 200 is a periodic motion, it can be estimated that the motion is not caused by running of vehicle 200 but is vibration of vehicle 200 received from the road surface or vibration caused by the engine of vehicle 200 . Determining unit 113 determines whether or not there is behavior of vehicle 200 by identifying the periodic movement of vehicle 200 due to the behavior of vehicle 200 from the captured image.
  • image movement information such as optical flow that can be acquired from images captured by the in-vehicle camera and/or the exterior camera 222
  • the image processing unit 114 Based on the determination result of the determination unit 113 and the behavior data acquired by the behavior data acquisition unit 112, the image processing unit 114 performs blur correction processing on the captured image so as to cancel the shaking of the captured image due to the behavior of the vehicle 200. Run.
  • the image processing unit 114 performs blur correction processing on the captured image so as to cancel the fluctuation of the economic image.
  • the image processing unit 114 performs blur correction processing on the entire captured image.
  • the blur correction process is a process of processing a scenery image so as to cancel the shake of the scenery image.
  • a known image processing method for correcting blurring may be used for blur correction processing. For example, when the scenery image shakes at a predetermined cycle, the image processing unit 114 performs blur correction processing by applying an opposite-phase displacement to the scenery image. As a result, image shaking caused by the behavior of the vehicle 200 can be reduced.
  • the image processing unit 114 calculates the blur amount and blur period of the image due to the shaking of the economic image from the vibration amplitude and vibration frequency of the vehicle 200 specified by the behavior data acquisition unit 112, and calculates the calculated blur.
  • the position of the scenery image is corrected in accordance with the period so as to return the displacement corresponding to the blur amount.
  • FIG. 2B is an example of an image captured by the in-vehicle camera 211 when the vehicle 200 behaves.
  • 2(a) and 2(b) are images when the vehicle 200 is in the same position and the same scenery is seen from the windshield.
  • FIG. 2B shows a captured image in a state in which the landscape image is shaken due to the behavior of the vehicle 200.
  • the scenery image is shifted clockwise due to shaking.
  • the image of the portion indicated by the arrow P is omitted in order to explain the shaking of the scenery image due to shaking, but the scenery image is actually shown.
  • the image processing unit 114 corrects the captured image by rotating the scenery image counterclockwise by the displacement indicated by the arrow P.
  • FIG. 2B the blur correction processing is performed by rotating the scenery image. The position of the image may be corrected.
  • the image processing unit 114 performs image processing on the boundary portion between the landscape image after blur correction processing and the vehicle interior image, thereby correcting the deviation between the landscape image after blur correction processing and the vehicle interior image. can be corrected.
  • FIG. 3 is an example of an image captured by the in-vehicle camera 211. As shown in FIG. FIG. 3(a) is a captured image in a state in which the deviation between the scenery image and the vehicle interior image after blur correction processing is not corrected. FIG. 3(b) is a captured image in which the deviation between the landscape image and the vehicle interior image after blur correction processing is corrected. As shown in FIG. 3A, the scenery image shakes due to the behavior of the vehicle 200, and blur correction processing is performed on the scenery image so as to cancel the shaking.
  • the image processing unit 114 identifies the vehicle interior image and the scenery image from the captured image.
  • the image processing unit 114 performs blur correction processing so that the landscape image moves diagonally to the upper right on the paper surface of FIG. 3(a).
  • the image processing unit 114 identifies pillars included in the vehicle interior image as boundaries.
  • the boundary between the vehicle interior image and the landscape image is the boundary between the image that has not undergone blur correction processing and the image that has not undergone blur correction processing. be.
  • the image processing unit 114 performs image processing on the pillars to fill in the gaps. As shown in FIG. 3B, the image processing unit 114 thickens the pillars so as to fill the gaps. Note that the image processing unit 114 enlarges the image of the boundary portion in the image inside the vehicle, not limited to the pillar, so that the boundary between the image that has undergone the blur correction processing and the image that has not undergone the blur correction processing among the captured images. Image processing may be performed so that gaps between portions are eliminated.
  • the blur correction boundary portion image is the boundary between the scenery image and the vehicle interior image.
  • the image processing unit 114 enlarges the image of the boundary portion of the scenery image so as to fill the gap of the boundary portion between the image that has undergone blur correction processing and the image that has not undergone blur correction processing among the captured images. image processing may also be performed. Further, the image processing unit 114 not only enlarges the image, but also processes the color of the boundary portion so that the difference between the image that has undergone blur correction processing and the image that has not undergone blur correction processing in the captured image becomes less noticeable. You may do so.
  • the image processing unit 114 processes the landscape image processed by the blur correction processing and the image processed by the blur correction processing. Synthesize with an unprocessed vehicle interior image. It should be noted that the image processing unit 114 does not need to synthesize the image when the entire captured image is a landscape image and the blur correction process is performed on the landscape image. In addition, when the image processing unit 114 performs image processing on the vehicle interior image so as to fill the gap at the boundary with the image that has not been subjected to the blur correction processing, the image processing unit 114 performs image processing on the scenery image after the blur correction processing. , and an image inside the vehicle after image processing.
  • the image processing unit 114 When the image processing unit 114 performs blur correction processing on the captured image, the image data after the blur correction processing is stored in the memory.
  • the image data after the blur correction processing is data of the captured image that has undergone the synthesis processing.
  • the image processing unit 114 does not perform blur correction processing on the captured image when the vehicle does not behave in such a way as to cause VR sickness, and the image processing unit 114 does not perform blur correction processing on the captured image. data in memory.
  • the transmission unit 115 transmits to the terminal device 300 via the communication device 120 a control signal for displaying the image processed by the image processing unit 114 on the terminal device 300 .
  • the receiving unit 116 receives operation information input to the input device 320 by the second user.
  • the operation information is an operation command or the like for acquiring a VR image with respect to the vehicle 200 .
  • Vehicle 200 includes in-vehicle controller 210 , in-vehicle camera 221 , exterior camera 222 , in-vehicle communication device 230 , and behavior detection sensor 240 .
  • the in-vehicle controller 210 controls the functions of each device and sensor of the vehicle 200 .
  • the in-vehicle controller 210 outputs the image captured by the in-vehicle camera 221 and/or the exterior camera 222 and the detection data detected by the behavior detection sensor 240 to the in-vehicle communication device 230 .
  • the in-vehicle camera 221 is fixed in the vehicle interior, captures an image of the interior and/or exterior of the vehicle from a position fixed in the vehicle interior, and outputs the captured image data to the in-vehicle controller 210 .
  • the in-vehicle camera 221 images the scenery outside the vehicle through the window.
  • the in-vehicle camera 221 may be a camera that can be removed from a predetermined fixed position inside the vehicle.
  • a mobile terminal such as a smartphone may be brought into the vehicle, fixed to a folder or the like, and used as the in-vehicle camera 221 .
  • the exterior camera 222 is fixed to the body of the vehicle 200 or the like, captures an image of the scenery outside the vehicle interior and the surroundings of the vehicle 200 , and outputs the captured image data to the in-vehicle controller 210 .
  • the vehicle interior camera 221 and the vehicle exterior camera 222 do not necessarily have to be one, and may be multiple. Note that when a plurality of cameras are used, a plurality of images may be combined to form a vehicle interior image and a scenery image. Thereby, the resolution of the picked-up image can be improved.
  • the in-vehicle communication device 230 communicates with the communication device 120 to exchange data. Specifically, the in-vehicle communication device 230 receives a signal including an operation command for acquiring a VR image of the vehicle 200 from the communication device 120, and transmits a signal including a captured image and behavior data to the communication device 120. do.
  • Behavior detection sensor 240 is a sensor that detects the behavior of vehicle 200 and is provided in vehicle 200 .
  • a G sensor or the like is used for the behavior detection sensor 240 .
  • the behavior detection sensor 240 is not limited to the sensor provided in the vehicle 200 , and a mobile terminal with a built-in acceleration sensor may be brought into the vehicle and used as the behavior detection sensor 240 .
  • Behavior detection sensor 240 which is a mobile terminal, connects to in-vehicle controller 210 via an in-vehicle network and transmits data indicating behavior to in-vehicle controller 210 .
  • the terminal device 300 is a device used by the second user in a remote space, and outputs a virtual image when viewed from a predetermined position in the vehicle 200 such as the front passenger's seat.
  • the terminal device 300 may be installed in a remote space, for example.
  • the terminal device 300 includes a terminal controller 310 , an input device 320 , a terminal communication device 330 and a display device 340 .
  • the terminal controller 310 controls the functions of each device of the terminal device 300 . Specifically, the terminal controller 310 outputs a control signal for outputting the captured image indicated by the image data received by the terminal communication device 330 from the display device 340 to the second user.
  • the input device 320 is a device operated by the second user, and is used by the second user to input operation information to the image processing device 100 for acquiring a VR image viewed from a predetermined position of the vehicle 200 .
  • the terminal communication device 330 communicates with the image processing device 100 and the in-vehicle communication device 230 of the vehicle 200 to exchange information. Specifically, the terminal communication device 330 receives image data from the image processing device 100 and transmits operation information to the image processing device 100 .
  • the display device 340 is a device that outputs the environment inside and outside the vehicle at a predetermined position inside or outside the vehicle to the second user.
  • the display device 340 is, for example, a glasses-type or goggles-type VR head-mounted display, and is worn on the head of the second user.
  • the second user can visually recognize virtual reality (VR) in which the environment inside and outside the vehicle is displayed via the terminal device 300 .
  • the display device 340 outputs a virtual image representing the environment inside and outside the vehicle, and virtual audio information representing audio heard from a predetermined position inside or outside the vehicle.
  • the second user can see and hear the scenery as if he or she were in the vehicle 200 .
  • the second user can also see the scenery outside the vehicle 200 from the captured image of the vehicle exterior camera 222 .
  • the display device 340 has, for example, a non-transmissive display, a speaker, and the like.
  • FIG. 4 is a sequence chart for explaining the data flow in the image processing system 10. As shown in FIG. 4,
  • step S1 the second user operates the input device 320 to switch the VR system from off to on.
  • the VR system is a system for realizing virtual reality of the environment inside and outside the vehicle by displaying images on the display device 340 and providing a space as if the second user were in the vehicle 200 .
  • the terminal controller 310 transmits an operation signal for acquiring a VR image to the image processing device 100 .
  • step S2 when the controller 110 of the image processing device 100 receives the VR request signal from the communication device 120, it starts VR request processing.
  • the controller 110 transmits a VR request signal to the in-vehicle communication device 230 .
  • step S ⁇ b>3 the in-vehicle controller 210 determines whether or not to accept the VR request based on the VR request signal received by the in-vehicle communication device 230 . For example, when the VR request signal is received, the in-vehicle controller 210 displays on the in-vehicle display a selection screen asking whether to accept the VR request. When the first user performs an operation to accept the VR request, the in-vehicle controller 210 determines that the VR request can be accepted.
  • the in-vehicle controller 210 determines that the VR request cannot be accepted. When it is determined that the VR request can be accepted, the in-vehicle controller 210 uses the in-vehicle communication device 230 to transmit a VR permission signal to the image processing device 100 .
  • step S ⁇ b>4 the controller 110 of the image processing device 100 receives the VR permission signal from the vehicle 200 , starts the VR system, and transmits an image request signal to the vehicle 200 through the communication device 120 .
  • step S ⁇ b>5 in-vehicle controller 210 acquires VR data from in-vehicle camera 221 , exterior camera 222 , and behavior detection sensor 240 .
  • the VR data is an image captured by the in-vehicle camera 221 and/or the exterior camera 222 and data (behavior data) detected by the behavior detection sensor 240 .
  • the controller 110 transmits the acquired VR data to the image processing device 100 .
  • step S6 the controller 110 of the image processing device 100 determines whether blur correction processing is necessary for the captured image based on the captured image and behavior data included in the VR data. If the captured image includes a scenery image and there is behavior of the vehicle 200, the controller 110 determines that blur correction processing is necessary. If the captured image does not include a scenery image, or if the vehicle 200 does not behave, the controller 110 determines that blur correction processing is not necessary.
  • controller 110 When it is determined that blur correction processing is necessary, the controller 110 performs blur correction processing on the captured image in step S7.
  • step S8 controller 110 generates an image for VR display based on the image after blur correction processing.
  • the image processing unit 114 of the controller 110 performs the blur correction processing on the landscape image and the vehicle interior image. are synthesized, and a screen for VR display is generated based on the synthesized image.
  • the image processing unit 114 processes the image so that the image representing the character is included in the synthesized image. I do.
  • the image processing unit 114 generates a captured image for VR display.
  • the controller 110 then transmits data including the captured image for VR display to the terminal device 300 .
  • character display is performed to protect the privacy of the first user. Instead of the character, only the first user's face area may be masked.
  • step S9 the terminal controller 310 outputs the captured image for VR display received by the terminal communication device 330 to the display device 340, and the display device 340 displays the VR image.
  • FIG. 5 is a flow chart showing the control flow of the controller 110. As shown in FIG.
  • step S11 the image acquisition unit 111 of the controller 110 acquires the captured image captured by the vehicle interior camera 221 and/or the vehicle exterior camera 222.
  • step S12 the behavior data acquisition unit 112 acquires behavior data indicating the behavior of the vehicle 200 when moving.
  • step S13 determination unit 113 determines whether vehicle 200 behaves based on the behavior data. When it is determined that the vehicle does not behave, the controller 110 executes control processing in step S22, which will be described later.
  • the determination unit 113 determines whether or not the captured image includes the scenery outside the vehicle 200 . Whether or not scenery is included is determined by whether or not the captured image includes a scenery image. When the captured image does not include the scenery outside the vehicle 200, the controller 110 executes control processing in step S22, which will be described later.
  • step S15 the determination unit 113 determines whether the captured image includes an internal image of the vehicle 200 (vehicle internal image).
  • vehicle internal image the captured image includes an internal image of the vehicle 200 (vehicle internal image).
  • the controller 110 executes control processing in step S20, which will be described later.
  • the image processing unit 114 identifies the scenery image and the vehicle interior image from the captured image.
  • the image processing unit 114 performs blur correction processing on the landscape image based on the behavior data so as to cancel the shaking of the captured image caused by the behavior.
  • the image processing unit 114 does not perform blur correction processing on the vehicle interior image. That is, the image processing unit 114 does not perform blur correction processing on images that are not affected by the behavior of the vehicle 200 , but performs blur correction processing on images that are affected by the behavior of the vehicle 200 . This makes it possible to separate the image processing according to the shaking of the images for the images inside and outside the vehicle 200 .
  • step S18 the image processing unit 114 synthesizes the scenery image and the vehicle interior image that have undergone blur correction processing.
  • the image processing unit 114 performs image processing so that the synthesized captured image becomes an image for VR display, and stores data of the processed image in the memory.
  • the image processing unit 114 When it is determined in the control flow of step S15 that the captured image does not include the vehicle interior image, the image processing unit 114 performs blur correction processing on the entire captured image in step S20. In step S21, the image processing unit 114 performs image processing so that the image after blur correction processing becomes an image for VR display, and stores data of the processed image in the memory.
  • step S22 the image processing unit 114 performs image processing so that the captured image acquired by the image acquiring unit 111 becomes an image for VR display. and store the processed image data in memory.
  • step S ⁇ b>23 the transmission unit 115 transmits the captured image saved in the memory to the terminal device 300 via the communication device 120 .
  • the image processing device acquires captured images captured by the in-vehicle camera 221 and/or the exterior camera 222 fixed to the vehicle 200, and acquires the behavior data indicating the behavior of the vehicle 200 when moving. and determines whether the captured image includes the scenery outside the vehicle 200, and if it is determined that the captured image includes the scenery outside the vehicle 200, the behavior acquired by the behavior data acquisition unit 112 Based on the data, blur correction processing is performed on the picked-up image so as to cancel the shaking of the picked-up image due to behavior. As a result, it is possible to suppress image shaking caused by the behavior of the vehicle 200 when it is moving.
  • the image processing unit 114 identifies a scenery image and a vehicle interior image from the captured image, performs blur correction processing on the scenery image, and processes the scenery image processed by the blur correction processing and the blur corrected image.
  • a vehicle interior image that has not undergone image processing is synthesized.
  • the image processing device 100 includes a transmission section 115 that transmits a signal including the captured image synthesized by the image processing section 114 to the display device 340 located outside the vehicle 200 .
  • the second user can feel as if he or she is actually riding with the vehicle, and an image with reduced VR motion sickness can be provided to the second user.
  • the behavior data acquisition unit 112 identifies the vertical movement of the vehicle 200 and/or the rotation of the vehicle 200 about the vertical direction based on the behavior data, and determines the movement and/or rotation of the vehicle 200.
  • a blur correction process is performed on the captured image so as to cancel the shaking of the captured image caused by Thereby, the behavior of the vehicle 200 can be identified with high accuracy.
  • the behavior data acquisition unit 112 identifies the magnitude of behavior and the frequency of behavior based on the behavior data, and the image processing unit 114 determines if the magnitude of behavior having the specific frequency is equal to or greater than a threshold value.
  • blur correction processing is performed on the captured image. This makes it possible to perform blur correction processing on the captured image when a behavior that causes VR sickness is occurring.
  • the image processing unit 114 thickens the window frame included in the vehicle interior image. As a result, the deviation between the scenery image after the blur correction process and the inside of the vehicle can be eliminated.
  • the image processing unit 114 corrects the captured image by enlarging one of the scenery image and the vehicle interior image. As a result, the deviation between the image after blur correction processing and the image without blur correction processing can be eliminated.
  • the image processing unit 114 performs color processing on the boundary portion between the landscape image after blur correction processing and the vehicle interior image. Accordingly, it is possible to provide the user with an image that does not look unnatural between an image that has been subjected to blur correction processing and an image that has not been subjected to blur correction processing.
  • the image processing unit 114 does not perform blur correction processing on the captured image when the captured image is an image inside the vehicle, and when the captured image is a landscape image, the image processing unit 114 performs blur correction processing on the captured image. Perform blur correction processing. As a result, blur correction processing is performed in accordance with the timing of displaying an image that causes VR sickness, and image shaking that causes VR sickness can be prevented.
  • the image processing unit 114 has a correction mode in which blur correction processing is performed on the captured image and a non-correction mode in which blur correction processing is not performed on the captured image.
  • a mode with correction and a mode without correction can be selected according to the user's selection. Thereby, the mode with correction and the mode without correction can be selected according to the user's command.
  • the image processing device 100 may use the image processing unit 114 to distribute images for VR display to the network. This allows the second user to view VR images online or offline.
  • the image processing device 100 may be provided in the vehicle 200 in this embodiment. That is, the in-vehicle controller 210 has functional blocks such as the image acquisition unit 111 included in the controller 110, and constructs a VR system by communication between the vehicle 200 and the terminal device 300 without going through a server. good too. Further, when the in-vehicle controller 210 has functional blocks such as the image acquisition unit 111 included in the controller 110, the blur correction processing of the image processing unit 114 is performed by a mobile terminal equipped with a camera that can be brought into the vehicle. good too.
  • the image processing unit 114 when the in-vehicle camera 211 is fixed inside the vehicle via a vibration-absorbing head (camera mounting portion), the image processing unit 114 , the blur correction process may be performed on the vehicle interior image, and the blur correction process may not be performed on the landscape image.
  • the head has a mechanism that moves a pedestal that fixes the camera according to the behavior of the vehicle 200, for example.
  • the head may have a mechanism with a support member such as a tripod.
  • the behavior is transmitted to the internal equipment of the vehicle such as the dashboard and pillars. Therefore, when the image captured by the in-vehicle camera 211 includes a scenery image, the scenery image does not shake, but the vehicle interior image shakes. In such a case, the image processing unit 114 performs blur correction processing on the vehicle interior image, and does not perform blur correction processing on the landscape image. The image processing unit 114 synthesizes the vehicle interior image processed by the blur correction process and the scenery image not processed by the blur correction process. Then, the image processing unit 114 stores data of the captured image that has undergone the synthesis processing in the memory.
  • the image processing unit 114 identifies a scenery image and a vehicle interior image from the captured image, performs blur correction processing on the vehicle interior image, and performs image processing on the vehicle interior image by the blur correction processing.
  • a scenery image that has not been image-processed by blur correction processing is synthesized. That is, in the present embodiment, the image processing unit 114 identifies the scenery image and the vehicle interior image from the captured image, performs blur correction processing on either one of the scenery image or the vehicle interior image, Among the images inside the vehicle, one image that has been image-processed by blur correction processing and the other image that has not been image-processed by blur correction processing are synthesized. Thereby, when the second user views the synthesized image, the second user can feel as if he or she is actually riding with the vehicle, and can be provided with an image with reduced VR motion sickness.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

画像処理装置は、車両２００に固定された車内カメラ２２１及び／又は車外カメラ２ ２２により撮像された撮像画像を取得する画像取得部１１１と、車両２００の移動時 の挙動を示す挙動データを取得する挙動データ取得部１１２と、撮像画像が車両２０ ０の外の景色を含むか否か判定する判定部１１３と、撮像画像が車両２００の外の景 色を含むと判定された場合には、挙動データ取得部１１２により取得された挙動デー タに基づき、挙動による撮像画像の揺れを打ち消すように撮像画像に対してブレ補正 処理を行う画像処理部１１４とを備える。

Description

画像処理装置及び画像処理方法
　本発明は、画像処理装置及び画像処理方法に関するものである。
　撮像光学系および撮像素子を備える撮像手段を回転させることで撮像手段の撮像方向を変更する駆動手段と、撮像手段により撮像された撮像画像を画像処理により補正する画像補正手段と、撮像手段の振動を検出する検出手段から検出信号を取得する制御手段とを備えた撮像装置が知られている。この撮像装置において、制御手段は、駆動手段を制御することにより撮像画像の像ブレ補正の制御を行う第１の制御と、第１の制御による像ブレ補正では残存する振動に対して、画像補正手段を制御することにより前記撮像画像の像ブレ補正の制御を行う第２の制御を実行する（特許文献１）。
特開２０２０−１２９０１９号公報
　特許文献１記載の撮像装置は、撮像手段の振動と共に揺れることで静止状態となる部分が撮像画像内に存在する場合に、撮像画像全体に対して像ブレ補正を行うと、像ブレ補正を必要としない静止状態の部分が補正処理されてしまい、静止状態の部分が不自然に動いてしまうという問題がある。
　本発明が解決しようとする課題は、移動体の移動時の挙動により揺れる画像に対して、ブレ補正処理を実行できる画像処理装置及び画像処理方法を提供することである。
本発明は、撮像画像が移動体の外の景色を含むか否か判定し、撮像画像が移動体の外の景色を含むと判定された場合には、移動体の移動時の挙動を示す挙動データに基づき、挙動による撮像画像の揺れを打ち消すように撮像画像に対してブレ補正処理を行うことによって上記課題を解決する。
　本発明によれば、移動体の移動時の挙動による画像の揺れを抑制できる。
図１は、本実施形態における画像処理システムのブロック図である。 図２は、車内カメラの撮像画像の一例を示す図である。 図３は、車内カメラの撮像画像の一例を示す図である。 図４は、本実施形態の画像処理システムにおけるシーケンスチャートの一例を示すフローチャートである。 図５は、本実施形態の画像処理装置における画像処理方法の手順の一例を示すフローチャートである。
　≪第１実施形態≫
　本発明に係る画像処理装置の一実施形態を図面に基づいて説明する。図１は、本実施形態に係る画像処理装置１００を含む画像処理システム１０の構成の一例を示すブロック図である。図１で示されるように、本実施形態では、画像処理システム１０は、画像処理装置１００と、車両２００と、端末装置３００とを備える。画像処理装置１００は、車両２００及び端末装置３００と通信を行い、情報の授受が可能なサーバである。画像処理システム１０は、画像処理装置１００と、車両２００と、端末装置３００との間でネットワークを構築することで、ネットワーク経由で計算負荷の高いタスク処理を行い、またアルゴリズムの変更も容易になるため、高速かつ汎用性のあるサービスを提供することが可能となる。画像処理装置１００は、車両２００の車室内及び／又は車室外の画像を車両２００から取得し、取得した画像に対して必要に応じた画像処理を行い、車両２００の車室内及び／又は車室外の画像を第２ユーザに表示させるために、画像を端末装置３００に送信する。端末装置３００は、車両２００から離れた遠隔地空間に位置する。遠隔地空間は、画像処理装置１００が設置されている場所及び車両２００から離れた場所にあり、例えば第２ユーザの居所等である。なお、以下、画像処理システム１０の説明では、移動体として車両２００を例に挙げているが、移動体は車両２００に限らず、例えば船舶や飛行機等の移動体でもよい。
　第１ユーザは、車両２００に乗車している乗員である。図１の例では、第１ユーザは、車両２００のドライバーとしているが、助手席あるいは後部座席に乗車している乗員でもよい。第２ユーザは、端末装置３００の表示装置３４０を目の部分に装着して、表示装置３４０の表示画面を見て、車両２００に乗車している第１ユーザとバーチャル空間でドライブを楽しむことができる。また、第２ユーザは、端末装置３００を用いて第１ユーザと会話を行うことも可能である。
　画像処理装置１００は、コントローラ１１０と、通信装置１２０とを備える。コントローラ１１０は、ハードウェア及びソフトウェアを有するコンピュータを備えている。このコンピュータはプログラムを格納したＲＯＭと、ＲＯＭに格納されたプログラムを実行するＣＰＵと、アクセス可能な記憶装置として機能するＲＡＭを含む。なお、動作回路としては、ＣＰＵに代えて又はＣＰＵとともに、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡなどを用いることができる。
コントローラ１１０は、機能ブロックとして、少なくとも画像取得部１１１と、挙動データ取得部１１２と、判定部１１３と、画像処理部１１４と、送信部１１５と、受信部１１６とを含む。各機能ブロックは、上記各機能を実現する又は各処理を実行するためのソフトウェアと、ハードウェアとの協働により各機能を実行する。本実施形態では、コントローラ１１０が有する機能を６つのブロックとして分けた上で、各機能ブロックの機能を説明するが、コントローラ１１０の機能は必ずしも６つのブロックに分ける必要はなく、５つ以下の機能ブロック、あるいは、７つ以上の機能ブロックで分けてもよい。コントローラ１１０は、走行中の車両２００から、車内カメラ２２１及び／又は車外カメラ２２２により撮像された撮像画像を取得し、車両２００の走行時の挙動を示す挙動データを取得する。コントローラ１１０は、挙動データに基づき、車両２００の挙動による撮像画像の揺れを打ち消すように撮像画像に対してブレ補正処理を行い、ブレ補正処理後の撮像画像を、端末装置３００に送信する。以下、コントローラ１１０に含まれる各機能ブロックについて説明する。
　画像取得部１１１は、車内カメラ２１１及び／又は車外カメラ２２２により撮像された撮像画像を取得する。撮像画像は、ダッシュボード、ピラー等の車両の内部を表す車両内部画像（移動体内部画像）、及び／又は、車両外の建物や自然等を含んだ景色を表す景色画像を含んでいる。例えば、車内カメラ２１１が車両の窓越しに景色を写し、フレーム内にピラー及びダッシュボードを含む場合には、車内カメラ２１１の撮像画像は、景色画像及び車両内部画像を含む。図２（ａ）は、車内カメラ２１１の撮像画像の一例である。図２（ａ）の例では、景色を写した領域Ａ内の画像が景色画像となり、ピラー及びダッシュボードを写した領域Ｂ内の画像が車両内部画像となる。
　挙動データ取得部１１２は、車両の走行時（移動時）の挙動を示す挙動データを取得する。挙動は、走行中の車両２００の振動である。挙動データは、車両２００内の挙動検出センサ２４０により検出されたデータである。車両２００の挙動は、車両２００の垂直方向への動き（振動）や、車両２００の垂直方向の軸とした車両２００の回転、車両２００の傾き等で表される。車両２００の垂直方向は、車両２００の走行面に対して法線方向である。挙動検出センサ２４０により検出されたデータは、車両２００の垂直方向の動きや車両２００の垂直方向を軸とした回転を表す振動波のデータである。例えば、挙動検出センサ２４０により検出されたデータが、車両２００の垂直方向の振動を示すデータを含む場合には、挙動データ取得部１１２は、車両２００の垂直方向の動きを特定する。また、挙動検出センサ２４０により検出されたデータが、車両２００の垂直方向を軸とした回転を示すデータを含む場合には、挙動データ取得部１１２は、車両２００の垂直方向を軸とした回転を特定する。挙動データ取得部１１２は、車両の２００の垂直方向の動き及び垂直方向を軸とする回転を特定してもよい。なお、挙動データ取得部１１２は、挙動検出センサ２４０により検出されたデータの代わりに、車内カメラ２２１及び／又は車外カメラ２２２の撮像画像を、挙動データとして取得してもよい。
　判定部１１３は、挙動データ取得部１１２により取得された挙動データに基づき、車両の挙動があるか否かを判定する。具体的には、判定部１１３は、挙動データから、特定の周波数をもつ振動波を特定し、特定された振動波の振幅値（振幅の大きさ）と所定の振幅閾値を比較する。そして、振動波の振幅値が振幅閾値以上の場合には、判定部１１３は車両の挙動があると判定する。振動波の特定の周波数は、予め設定された特定の周波数帯の周波数であって、特定の周波数帯は、画像の揺れにより人間の酔いに影響する振動周波数の範囲である。振幅閾値は、ＶＲ酔いを生じる振動の振幅の下限値を示しており、実験的な値又は経験値等により決まる。なお、「ＶＲ酔い」については後述する。また、判定部１１３は、画像取得部１１１により取得された撮像画像が車両２００の外の景色を含むか否かを判定する。車内カメラ２２１及び車外カメラ２２２は、車両２００に固定されているため、車両の挙動がある場合に、車内カメラ２２１及び車外カメラ２２２の撮像画像は、車両２００の挙動に合わせて揺れる。また、車両内部画像は、ピラー等の車両の一部を写した画像のため、車両２００の挙動に合わせて振動する。一方、景色画像は車両２００の挙動に合わせて振動しない。そして、車内カメラ２２１及び車外カメラ２２２の撮像画像の全体は車両２００の挙動に合わせて揺れ、車両内部画像は、車両２００の挙動と同期をとるように揺れるため、車両内部画像は見かけ上、振動しない。一方、景色画像は、車両２００の挙動に合わせて揺れないため、見かけ上振動する。すなわち、車両２００の挙動がある場合には、撮像画像の見かけ上、景色画像が揺れて、車両内部画像は揺れない。図２の例では、領域Ａ内の画像が揺れ、領域Ｂ内の画像は揺れない。また、車両の挙動がある場合に、車外カメラ２２の撮像画像は全体で揺れる。
　そして、車両２００の挙動により揺れる撮像画像を第２ユーザに写した場合には、第２ユーザは「ＶＲ酔い」を感じるおそれがある。第２ユーザは遠隔地におり、車両２００の揺れを直接感じない。第２ユーザが、車両２００の挙動により揺れる撮像画像を視聴した時には、振動を感じない状態で揺れた画像をみることになるため、第２ユーザは、画像の揺れによって、視覚の感覚と三半規管で感じる感覚が一致しなくなり、映像酔いのような状態となる。そして、このような状態が「ＶＲ酔い」である。
　挙動データ取得部１１２が、車内カメラ２２１及び／又は車外カメラ２２２の撮像画像を挙動データとして取得する場合には、判定部１１３は、撮像画像に基づいて、車両の挙動があるか否かを判定してもよい。判定部１１３は、車内カメラ及び／又は車外カメラ２２２の撮像画像から取得可能なオプティカルフローなどの画像の動きの情報を用いて車両２００の動きを特定し、車両２００の動きが挙動によるものか否かを判定する。例えば、車両２００の動きが周期的な動きである場合には、車両２００の走行に伴う動きではなく、路面から受ける車両２００の振動、あるいは、車両２００のエンジンによる振動と推定できる。判定部１１３は、撮像画像から、車両２００の挙動による車両２００の周期的な動きを特定することで、車両２００の挙動があるか否かを判定する。
　画像処理部１１４は、判定部１１３の判定結果と、挙動データ取得部１１２により取得された挙動データに基づき、車両２００の挙動による撮像画像の揺れを打ち消すように撮像画像に対してブレ補正処理を実行する。撮像画像が景色画像を含む場合には、画像処理部１１４は、景気画像の揺れを打ち消すように撮像画像に対してブレ補正処理を実行する。また、撮像画像全体が景色画像である場合には、画像処理部１１４は、撮像画像全体に対してブレ補正処理を行う。ブレ補正処理は、景色画像の揺れを打ち消すように、景色画像を加工する処理である。ブレ補正処理には、ブレを補正するための公知の画像加工方法を用いればよい。例えば、景色画像の揺れが所定の周期で発生している場合には、画像処理部１１４は、景色画像に逆位相の変位を景色画像に付与することで、ブレ補正処理を行う。これにより、車両２００の挙動による画像の揺れを軽減できる。
　例えば、画像処理部１１４は、挙動データ取得部１１２により特定された車両２００の振動の振幅及び振動周波数から、景気画像の揺れによる画像のブレ量及びブレの周期を演算し、演算されたブレの周期に合わせて、ブレ量分のずれを戻すように、景色画像の位置を補正する。図２（ｂ）は、車両２００の挙動がある時の、車内カメラ２１１の撮像画像の一例である。なお、図２（ａ）及び図２（ｂ）は、車両２００が同じ位置でフロントガラスから同じ景色をみた時の画像であって、図２（ａ）は景色画像が車両２００の挙動により揺れていない状態の撮像画像を表しており、図２（ｂ）は景色画像が車両２００の挙動により揺れた状態の撮像画像を表している。図２（ｂ）の矢印Ｐ示すように、景色画像が揺れにより時計回りにずれている。なお、図２（ｂ）では、揺れによる景色画像の揺れを説明するために、矢印Ｐの部分の画像を省略しているが、実際には景色画像が写っている。このような場合に、画像処理部１１４は、矢印Ｐで表されるズレの分、景色画像を反時計回りに回転させることで、撮像画像を補正する。なお、図２（ｂ）の例では、景色画像を回転させることでブレ補正処理を実行したが、画像処理部１１４は、ブレ補正処理として、景色画像の水平方向及び／又は鉛直方向に、景色画像の位置を補正してもよい。
　画像処理部１１４は、ブレ補正処理後の景色画像と車両内部画像との間の境界部分に対して画像処理を行うことで、ブレ補正処理後の景色画像と車両内部画像との間のズレを補正してもよい。図３は、車内カメラ２１１の撮像画像の一例である。図３（ａ）はブレ補正処理後の景色画像と車両内部画像との間のズレを補正していない状態の撮像画像である。図３（ｂ）は、ブレ補正処理後の景色画像と車両内部画像との間のズレを補正した状態の撮像画像である。図３（ａ）に示すように、景色画像が車両２００の挙動により揺れ、揺れを打ち消すように景色画像に対してブレ補正処理が行われる。まず、画像処理部１１４は、撮像画像から、車両内部画像と景色画像を特定する。画像処理部１１４は、図３（ａ）の紙面上で、景色画像が斜め右上方向に移動するよう、ブレ補正処理を行う。ブレ補正処理後の景色画像と車両内部画像に含まれるピラー（窓枠）間には、景色画像の移動によりにズレ（隙間：図３（ａ）の矢印Ｑを参照）が生じている。図３の例では、画像処理部１１４は、車両内部画像に含まれるピラーを境界として特定する。車両内部画像と景色画像との間の境界部分は、ブレ補正処理がされてない画像と、ブレ補正処理がされてないが画像との境界部分になり、各画像を合成すると隙間が生じる場合がある。このような場合には、画像処理部１１４は、ピラーに対して画像処理を実行し、隙間を埋めるような画像処理を行う。図３（ｂ）に示すように、画像処理部１１４は、隙間部分を埋めるようにピラーを太くする。なお、画像処理部１１４は、ピラーに限らず、車両内部画像のうち境界部分の画像を拡大することで、撮像画像のうちブレ補正処理された画像とブレ補正処理がされていない画像との境界部分の隙間がなくなるように、画像処理を行ってもよい。ブレ補正境界部分の画像は、景色画像と車両内部画像との間の境界である。また、画像処理部１１４は、景色画像のうち境界部分の画像を拡大することで、撮像画像のうちブレ補正処理された画像とブレ補正処理がされていない画像との境界部分の隙間が埋まるように、画像処理を行ってもよい。また、画像処理部１１４は、画像の拡大に限らず、境界部分の色を加工することで、撮像画像のうちブレ補正処理された画像とブレ補正処理がされていない画像との間が目立たなくなるようにしてもよい。
　画像処理部１１４は、撮像画像が車両内部画像と景色画像を含む場合に、景色画像に対してブレ補正処理を行ったときには、ブレ補正処理により画像処理された景色画像と、ブレ補正処理による画像処理がされていない車両内部画像とを合成する。なお、画像処理部１１４は、撮像画像の全体が景色画像であり、景色画像に対してブレ補正処理を行った場合には、画像の合成をしなくてもよい。また、画像処理部１１４は、ブレ補正処理がされていない画像との境界部分の隙間が埋まるように、車両内部画像に対して画像処理を行った場合には、ブレ補正処理後の景色画像と、画像処理後の車両内部画像とを合成すればよい。
　画像処理部１１４は、撮像画像に対してブレ補正処理を行った場合には、ブレ補正処理後の画像データをメモリに保存する。撮像画像が車両内部画像と景色画像を含む場合には、ブレ補正処理後の画像データは合成処理された撮像画像のデータである。また画像処理部１１４は、ＶＲ酔いが生じるような車両の挙動が発生していない場合には、撮像画像に対してブレ補正処理を行わずに、ブレ補正処理による画像処理がされていない撮像画像のデータをメモリに保存する。
　送信部１１５は、画像処理部１１４により画像処理された画像を端末装置３００で表示させる制御信号を通信装置１２０を介して、端末装置３００に送信する。受信部１１６は、第２ユーザによって入力装置３２０に入力された操作情報を受信する。操作情報は、車両２００に対して、ＶＲ画像を取得するための操作指令等である。
　次に、車両２００について説明する。車両２００は、車載コントローラ２１０と、車内カメラ２２１と、車外カメラ２２２と、車載通信装置２３０と、挙動検出センサ２４０を備える。車載コントローラ２１０は、車両２００の各装置、センサの機能を制御する。車載コントローラ２１０は、車内カメラ２２１及び／又は車外カメラ２２２で撮影された撮像画像、及び、挙動検出センサ２４０により検出された検出データを車載通信装置２３０に出力する。
　車内カメラ２２１は、車室内に固定されており、車室内に固定された位置から、車室内及び又は車室外を撮像し、撮像された画像データを車載コントローラに２１０に出力する。車内カメラ２２１は、窓越しに車室外の景色を撮像する。なお、車内カメラ２２１は、車室内の所定の固定位置から取り外し可能なカメラでもよい。例えば、スマートフォンなどの携帯端末を車室内に持ち込み、携帯端末をフォルダーなどに固定し、車内カメラ２２１として使用されてもよい。車外カメラ２２２は、車両２００のボディ等に固定されており、車室外の景色や車両２００の周囲を撮像し、撮像された画像データを車載コントローラ２１０に出力する。なお、車内カメラ２２１及び車外カメラ２２２は、必ずしも１台である必要はなく、複数台でもよい。なお、複数台のカメラを使用した場合には、複数の画像を合成して、車両内部画像及び景色画像とすればよい。これにより、撮像画像の解像度を高めることができる。
　車載通信装置２３０は、通信装置１２０と通信を行い、データの授受を行う。具体的には、車載通信装置２３０は、通信装置１２０から、車両２００のＶＲ画像を取得するための操作指令を含む信号を受信し、通信装置１２０に、撮像画像や挙動データを含む信号を送信する。
　挙動検出センサ２４０は、車両２００の挙動を検出するセンサであり、車両２００に設けられている。挙動検出センサ２４０には、Ｇセンサなどが用いられる。なお、挙動検出センサ２４０は、車両２００に設けられたセンサに限らず、加速度センサーを内蔵した携帯端末を車室内に持ち込んで、携帯端末を挙動検出センサ２４０として使用してもよい。携帯端末である挙動検出センサ２４０は、車内ネットワークを介して、車載コントローラ２１０と接続し、挙動を示すデータを車載コントローラ２１０に送信する。
　端末装置３００は、遠隔地空間において、第２ユーザにより利用される装置であって、助手席などの車両２００内の所定の位置からみた時の仮想画像を出力する。端末装置３００は、例えば、遠隔地空間に設置されるものであってもよい。端末装置３００は、端末コントローラ３１０と、入力装置３２０と、端末通信装置３３０と、表示装置３４０とを備える。端末コントローラ３１０は、端末装置３００の各装置の機能を制御する。具体的には、端末コントローラ３１０は、端末通信装置３３０により受信された画像データで示される撮像画像を、表示装置３４０から第２ユーザに出力させる制御信号を出力する。
　入力装置３２０は、第２ユーザにより操作される装置であり、第２ユーザが画像処理装置１００に対して、車両２００の所定位置からみたＶＲ画像を取得する操作情報を入力するために用いられる。
　端末通信装置３３０は、画像処理装置１００及び車両２００の車載通信装置２３０と通信を行い、情報の授受を行う。具体的には、端末通信装置３３０は、画像処理装置１００から、画像データを受信し、画像処理装置１００に操作情報を送信する。
　表示装置３４０は、第２ユーザに、車両内又は車室外の所定の位置における車室内及び車室外の環境を出力する装置である。表示装置３４０は、例えば、メガネ型又はゴーグル型のＶＲヘッドマウントディスプレイであって、第２ユーザの頭部に装着される。第２ユーザは、端末装置３００を介して車室内外の環境が表示される仮想現実（ＶＲ）を視認することができる。表示装置３４０は、車室内外の環境を表す仮想画像や、車室内又は車室外の所定の位置から聞こえる音声を表す仮想音声情報を出力する。これにより、第２ユーザは、あたかも自分が車両２００に搭乗しているような景色や見たり、音声を聞いたりできる。また、第２ユーザは、車外カメラ２２２の撮像画像から、車両２００の外部の景色を見ることもできる。表示装置３４０は、例えば、非透過型ディスプレイ、スピーカー等を有している。
　次に、図４を参照して、画像処理装置１００、車両２００、及び端末装置３００の間のデータの送受信と、各装置のデータ処理を説明する。図４は、画像処理システム１０におけるデータフローを説明するためのシーケンスチャートである。
　ステップＳ１にて、第２ユーザは入力装置３２０を操作し、ＶＲシステムをオフからオンに切り替える。ＶＲシステムは、車室内外の環境の仮想現実を、表示装置３４０による画像表示で実現し、第２ユーザが車両２００に搭乗しているような空間を提供するためのシステムである。ＶＲシステムがオフからオンに切り替わると、端末コントローラ３１０は、ＶＲ画像を取得ための操作信号を画像処理装置１００に送信する。
　ステップＳ２にて、画像処理装置１００のコントローラ１１０は、通信装置１２０によりＶＲ要求信号を受信すると、ＶＲ要求処理を開始する。まず、コントローラ１１０は、ＶＲ要求信号を車載通信装置２３０に送信する。ステップＳ３にて、車載コントローラ２１０は、車載通信装置２３０により受信されたＶＲ要求信号に基づき、ＶＲ要求を受け入れるか否か判断する。例えば、車載コントローラ２１０は、ＶＲ要求信号が受信された場合には、車内のディスプレイに、ＶＲ要求を受け入れるか否かの選択画面を表示する。そして、第１ユーザからＶＲ要求を受け入れる旨の操作があった場合には、車載コントローラ２１０はＶＲ要求の受け入れ可と判定する。一方、第１ユーザからＶＲ要求を受け入れない旨の操作があった場合には、車載コントローラ２１０はＶＲ要求の受け入れ不可と判定する。ＶＲ要求の受け入れ可と判定した場合には、車載コントローラ２１０は車載通信装置２３０を用いて、ＶＲ許可信号を画像処理装置１００に送信する。
　ステップＳ４にて、画像処理装置１００のコントローラ１１０は、車両２００からＶＲ許可信号を受信し、ＶＲシステムを開始し、通信装置１２０により画像要求信号を車両２００に送信する。ステップＳ５にて、車載コントローラ２１０は、車内カメラ２２１、車外カメラ２２２、及び挙動検出センサ２４０からＶＲデータを取得する。ＶＲデータは、車内カメラ２２１及び／又は車外カメラ２２２の撮像画像と、挙動検出センサ２４０により検出されたデータ（挙動データ）である。コントローラ１１０は、取得したＶＲデータを、画像処理装置１００に送信する。
　ステップＳ６にて、画像処理装置１００のコントローラ１１０は、ＶＲデータに含まれる、撮像画像及び挙動データに基づき、撮像画像に対して、ブレ補正処理が必要か否かを判定する。撮像画像が景色画像を含んでおり、車両２００の挙動が有る場合は、コントローラ１１０はブレ補正処理が必要と判定する。撮像画像が景色画像を含んでいない、又は、車両２００の挙動が無い場合は、コントローラ１１０はブレ補正処理が必要ないと判定する。
　ブレ補正処理が必要と判定した場合には、ステップＳ７にて、コントローラ１１０は、撮像画像に対してブレ補正処理を行う。ステップＳ８にて、コントローラ１１０は、ブレ補正処理後の画像に基づき、ＶＲ表示用の画像を生成する。例えば、撮像画像が景色画像と車両内部画像を含んでおり、ブレ補正処理が景色画像に行われた場合には、コントローラ１１０の画像処理部１１４は、ブレ補正処理済みの景色画像と車両内部画像を合成し、合成された画像に基づき、ＶＲ表示用の画面を生成する。例えば、仮想現実の空間において、第１ユーザを表すキャラクターを、車室内の映像に加えて表示する場合には、画像処理部１１４は、キャラクターを表す画像が合成画像に含まれるよう画像の加工処理を行う。これにより、画像処理部１１４は、ＶＲ表示用の撮像画像を生成する。そして、コントローラ１１０は、ＶＲ表示用の撮像画像を含むデータを、端末装置３００に送信する。なお、キャラクター表示は、第１ユーザのプライバシー保護のために行われる。キャラクターの代わりに、第１ユーザの顔の領域のみマスキングをしてもよい。
　ステップＳ９にて、端末コントローラ３１０は、端末通信装置３３０により受信したＶＲ表示用の撮像画像を表示装置３４０に出力し、表示装置３４０はＶＲ画像を表示する。
　次に、図５を参照し、コントローラ１１０の詳細な制御フローを説明する。図５は、コントローラ１１０の制御フローを示したフローチャートである。
　ステップＳ１１にて、コントローラ１１０の画像取得部１１１は、車内カメラ２２１及び／又は車外カメラ２２２により撮像された撮像画像を取得する。ステップＳ１２にて、挙動データ取得部１１２は、車両２００の移動時の挙動を示す挙動データを取得する。ステップＳ１３にて、判定部１１３は、挙動データに基づき、車両２００の挙動があるか否かを判定する。車両の挙動がないと判定した場合には、コントローラ１１０は、後述するステップＳ２２の制御処理を実行する。
　ステップＳ１４にて、判定部１１３は、撮像画像が車両２００の外の景色を含むか否かを判定する。景色を含むか否かは、撮像画像に景色画像を含むか否かにより判定される。撮像画像が車両２００の外の景色を含まない場合には、コントローラ１１０は、後述するステップＳ２２の制御処理を実行する。
　撮像画像が車両２００の外の景色を含む場合には、ステップＳ１５にて、判定部１１３は、撮像画像が車両２００の内部画像（車両内部画像）を含むか否かを判定する。撮像画像が車両内部画像を含まない場合には、コントローラ１１０は、後述するステップＳ２０の制御処理を実行する。
　撮像画像が車両内部画像を含む場合には、ステップＳ１６にて、画像処理部１１４は、撮像画像から画像処理部１１４は景色画像と車両内部画像を特定する。ステップＳ１７にて、画像処理部１１４は、挙動データに基づき、挙動による撮像画像の揺れを打ち消すように、景色画像に対してブレ補正処理を行う。一方、画像処理部１１４は、車両内部画像に対してはブレ補正処理を行わない。すなわち、画像処理部１１４は、車両２００の挙動に影響されない画像に対してはブレ補正処理をせず、車両２００の挙動により影響を受ける画像に対してはブレ補正処理を行う。これにより、車両２００の内と外の画像に対して、画像の揺れに応じた画像処理を切り分けることができる。
　ステップＳ１８にて、画像処理部１１４は、ブレ補正処理済みの景色画像と車両内部画像を合成する。ステップＳ１９にて、画像処理部１１４は、合成された撮像画像がＶＲ表示用の画像になるよう画像処理を行い、処理された画像のデータをメモリに保存する。
　ステップＳ１５の制御フローにおいて、撮像画像が車両内部画像を含まないと判定した場合には、ステップＳ２０にて、画像処理部１１４は撮像画像全体に対してブレ補正処理を行う。ステップＳ２１にて、画像処理部１１４は、ブレ補正処理後の画像がＶＲ表示用の画像になるよう画像処理を行い、処理された画像のデータをメモリに保存する。
　ステップＳ１３の制御フローにおいて、車両の挙動無しと判定した場合には、ステップＳ２２にて、画像処理部１１４は、画像取得部１１１により取得された撮像画像がＶＲ表示用の画像になるよう画像処理を行い、処理された画像のデータをメモリに保存する。
　ステップＳ２３にて、送信部１１５は、メモリに保存された撮像画像を通信装置１２０を介して、端末装置３００に送信する。
　上記のように本実施形態において、画像処理装置は、車両２００に固定された車内カメラ２２１及び／又は車外カメラ２２２により撮像された撮像画像を取得し、車両２００の移動時の挙動を示す挙動データを取得し、撮像画像が車両２００の外の景色を含むか否か判定し、撮像画像が車両２００の外の景色を含むと判定された場合には、挙動データ取得部１１２により取得された挙動データに基づき、挙動による撮像画像の揺れを打ち消すように撮像画像に対してブレ補正処理を行う。これにより、車両２００の移動時の挙動による画像の揺れを抑制できる。例えば、遠隔地にいる第２ユーザは車両２００の挙動による揺れる画像を視聴した時に、第２ユーザは実際に車両２００に乗車しておらず、車両２００の振動を感じないため、ＶＲ酔いを感じるおそれがある。本実施形態では、車両２００の移動時の挙動による画像の揺れが抑制されるため、ＶＲ酔いを低減しつつ、第２ユーザが車両２００に乗車したかのような体験を提供することができる。
　また本実施形態において、画像処理部１１４は、撮像画像から景色画像と車両内部画像を特定し、景色画像に対してブレ補正処理を行い、ブレ補正処理により画像処理された景色画像と、ブレ補正処理により画像処理されていない車両内部画像を合成する。これにより、第２ユーザが、合成された画像を視聴した場合に、第２ユーザは実際に同乗しているように感じることができ、ＶＲ酔いを低減した画像を第２ユーザに提供できる。
　また本実施形態において、画像処理装置１００は、画像処理部１１４により合成された撮像画像を含む信号を、車両２００の外部に位置する表示装置３４０に送信する送信部１１５を備える。これにより、第２ユーザは実際に同乗しているように感じることができ、ＶＲ酔いを低減した画像を第２ユーザに提供できる。
　また本実施形態において、挙動データ取得部１１２は、挙動データに基づき、車両２００の垂直方向の動き及び／又は車両２００の垂直方向を軸とした回転を特定し、車両２００の動き及び／又は回転により生じる撮像画像の揺れを打ち消すように撮像画像に対してブレ補正処理を行う。これにより、車両２００の挙動を高い精度で特定できる。
　また本実施形態において、挙動データ取得部１１２は、挙動データに基づき、挙動の大きさ及び挙動の周波数を特定し、画像処理部１１４は、特定の周波数をもつ挙動の大きさが閾値以上の場合に、撮像画像に対してブレ補正処理を行う。これにより、ＶＲ酔いを生じるような挙動が発生している場合に、撮像画像に対してブレ補正処理を行うことができる。
　また本実施形態において、画像処理部１１４は、車両内部画像に含まれる窓枠を太くする。これにより、ブレ補正処理後の景色画像と車両内部との間のズレを解消できる。
　また本実施形態において、画像処理部１１４は、景色画像及び車両内部画像のいずれか一方の画像を拡大することで撮像画像を補正する。これにより、ブレ補正処理後の画像とブレ補正処理をしていない画像との間のズレを解消できる。
　また本実施形態において、画像処理部１１４は、ブレ補正処理後の景色画像と車両内部画像との間の境界部分に対して色加工処理を行う車両内部。これにより、撮像画像のうちブレ補正処理された画像とブレ補正処理がされていない画像との間が不自然にならないような画像をユーザに提供できる。
　また本実施形態において、画像処理部１１４は、撮像画像が車両内部画像である場合には撮像画像に対してブレ補正処理を行わず、撮像画像が景色画像である場合には撮像画像に対してブレ補正処理を行う。これにより、ＶＲ酔いを生じるような画像を表示するタイミングに合わせてブレ補正処理を行い、ＶＲ酔いを生じるような画像の揺れを防止できる。
　なお、本実施形態の変形例では、画像処理部１１４は、撮像画像に対してブレ補正処理を行う補正有りモードと、撮像画像に対してブレ補正処理を行わない補正無しモードとを有しており、ユーザの選択に応じて、補正有りモードと補正無しモードを選択できる。これにより、ユーザの指令に応じて、補正有りモードと補正無しモードを選択できる。
　また本実施形態の変形例において、画像処理装置１００は、画像処理部１１４により、ＶＲ表示用の画像をネットワークに配信してもよい。これにより、第２ユーザは、オンライン又はオフラインでＶＲ画像を視聴できる。
　なお、本実施形態において、画像処理装置１００は車両２００に設けられてもよい。すなわち、車載コントローラ２１０は、コントローラ１１０に含まれる画像取得部１１１等の機能ブロックを有しており、サーバを介さずに、車両２００と端末装置３００と間の通信で、ＶＲシステムを構築してもよい。また、車載コントローラ２１０は、コントローラ１１０に含まれる画像取得部１１１等の機能ブロックを有する場合に、画像処理部１１４のブレ補正処理は、カメラを備え、車内に持ち込み可能な携帯端末により実行されてもよい。
　なお、本実施形態の変形例に係る画像処理システム１０において、車内カメラ２１１が、振動を吸収するヘッド（カメラ取付部）を介して、車室内に固定されている場合には、画像処理部１１４は、車両内部画像に対してブレ補正処理を実行し、景色画像に対してブレ補正補正処理をしなくてもよい。ヘッドは、例えば車両２００の挙動に合わせて、カメラを固定する台座が動くような機構を有している。ヘッドは、三脚などの支持部材を有した機構を有してもよい。車内カメラ２１１がヘッドを介して車室内に固定されている状態で、車両の挙動が発生すると、ヘッドが振動を吸収するため、車両の挙動は車内カメラ２１１まで伝わらない。一方、ダッシュボード、ピラー等の車両の内部装備には挙動が伝わる。そのため、車内カメラ２１１の撮像画像に景色画像を含む場合には、景色画像は揺れず、車両内部画像が揺れる。このような場合には、画像処理部１１４は、車体内部画像に対してブレ補正処理を行い、景色画像に対してブレ補正処理を行わない。画像処理部１１４は、ブレ補正処理により画像処理された車両内部画像と、ブレ補正処理により画像処理されてない景色画像とを合成する。そして、画像処理部１１４は、合成処理された撮像画像のデータをメモリに保存する。
　本実施形態の変形例において、画像処理部１１４は、撮像画像から景色画像と車両内部画像を特定し、車両内部画像に対してブレ補正処理を行い、ブレ補正処理により画像処理された車両内部画像と、ブレ補正処理により画像処理されていない景色画像を合成する。すなわち、本実施形態において、画像処理部１１４は、撮像画像から、景色画像と車両内部画像を特定し、景色画像及び車両内部画像のいずれ一方の画像に対してブレ補正処理を行い、景色画像及び車両内部画像のうち、ブレ補正処理により画像処理された一方画像と、ブレ補正処理により画像処理されていない他方の画像を合成する。これにより、第２ユーザが、合成された画像を視聴した場合に、第２ユーザは実際に同乗しているように感じることができ、ＶＲ酔いを低減した画像を第２ユーザに提供できる。
　なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
１０…画像処理システム
１００…画像処理装置
１１１…画像取得部
１１２…挙動データ取得部
１１３…判定部
１１４…画像処理部
１１５…送信部
１１６…受信部
１２０…通信装置
２００…車両
３００…端末装置

Claims (11)

  1. 　移動体に固定された撮像装置により撮像される撮像画像を取得する画像取得部と、
    　前記移動体の移動時の挙動を示す挙動データを取得する挙動データ取得部と、
    　前記撮像画像が、前記移動体の外の景色を含むか否か判定する判定部と、
    　前記撮像画像が前記移動体の外の景色を含むと判定された場合には、前記挙動データ取得部により取得された挙動データに基づき、前記挙動による前記撮像画像の揺れを打ち消すように前記撮像画像に対してブレ補正処理を行う画像処理部とを備える画像処理装置。
  2. 　請求項１記載の画像処理装置において、
    　前記画像処理部は、前記撮像画像から、前記移動体の外の景色を表す景色画像と、前記移動体の内部を表す移動体内部画像を特定し、
    　前記景色画像及び前記移動体内部画像のいずれ一方の画像に対して前記ブレ補正処理を行い、
    　前記景色画像及び前記移動体内部画像のうち、前記ブレ補正処理により画像処理された一方画像と、前記ブレ補正処理により画像処理されていない他方の画像を合成する画像処理装置。
  3. 　請求項２記載の画像処理装置において、
    　前記画像処理部により合成された前記撮像画像を含む信号を、前記移動体の外部に位置する表示装置に送信する送信部を備える画像処理装置。
  4. 　請求項１~３のいずれか一項に記載の画像処理装置において、
    　前記挙動データ取得部は、前記挙動データに基づき、前記移動体の垂直方向の動き及び／又は前記移動体の垂直方向を軸とした前記移動体の回転を特定し、
    　前記移動体の垂直方向は、前記移動体の走行面に対して法線方向であり、
    　前記画像処理部は、前記動き及び／又は前記回転により生じる前記撮像画像の揺れを打ち消すように前記撮像画像に対して前記ブレ補正処理を行う画像処理装置。
  5. 　請求項１~４のいずれか一項に記載の画像処理装置において、
    　前記挙動データ取得部は、前記挙動データに基づき、前記挙動の大きさ及び前記挙動の周波数を特定し、
    　前記画像処理部は、特定の周波数をもつ前記挙動の大きさが閾値以上の場合に、前記撮像画像に対してブレ補正処理を行う画像処理装置。
  6. 　請求項１~５のいずれか一項に記載の画像処理装置において、
    　前記画像処理部は、
    　前記撮像画像から、前記移動体の外の景色を表す景色画像と前記移動体の内部を表す移動体内部画像を特定し、
    　前記景色画像に対して前記ブレ補正処理を行い、
    　前記移動体内部画像に含まれる前記移動体の窓枠を太くする画像処理装置。
  7. 　請求項１~５のいずれか一項に記載の画像処理装置において、
    　前記画像処理部は、
    　前記撮像画像から、前記移動体の外の景色を表す景色画像と、前記移動体の内部を表す移動体内部画像を特定し、
    　前記景色画像に対して前記ブレ補正処理を行い、
    　前記景色画像及び前記移動体内部画像のいずれか一方の画像を拡大する画像処理装置。
  8. 　請求項１~５のいずれか一項に記載の画像処理装置において、
    　前記画像処理部は、前記撮像画像から、前記移動体の外の景色を表す景色画像と、前記移動体の内部を表す移動体内部画像を特定し、
    　前記景色画像に対して前記ブレ補正処理を行い、
    　前記ブレ補正処理後の景色画像と前記移動体内部画像との間の境界部分に対して色加工処理を行う画像処理装置。
  9. 　請求項１~８のいずれか一項に記載の画像処理装置において、
    　前記画像処理部は、
    　前記撮像画像が前記移動体の内部を表す移動体内部画像である場合には、前記撮像画像に対して前記ブレ補正処理を行わず、
    　前記撮像画像が前記移動体の外の景色を表す景色画像である場合には、前記撮像画像に対して前記ブレ補正処理を行う画像処理装置。
  10. 　請求項１~７のいずれか一項に記載の画像処理装置において、
    　前記画像処理部は、前記撮像画像に対して前記ブレ補正処理を行うモードと、前記撮像画像に対して前記ブレ補正処理を行わないモードとを選択できる画像処理装置。
  11. 　プロセッサにより画像処理を行う画像処理方法において、
    　移動体に固定された撮像装置により撮像された撮像画像を取得し、
    　前記移動体の移動時の挙動を示す挙動データをし、
    　前記撮像画像が、前記移動体の外の景色を含むか否か判定し、
    　前記撮像画像が前記移動体の外の景色を含むと判定された場合には、前記挙動データに基づき、前記挙動による前記撮像画像の揺れを打ち消すように前記撮像画像に対してブレ補正処理を行う画像処理方法。
PCT/IB2021/000167 2021-03-18 2021-03-18 画像処理装置及び画像処理方法 WO2022195312A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202180095604.7A CN117178561A (zh) 2021-03-18 2021-03-18 图像处理装置和图像处理方法
EP21931373.1A EP4311218A4 (en) 2021-03-18 2021-03-18 IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
US18/282,745 US20240163555A1 (en) 2021-03-18 2021-03-18 Image processing device and image processing method
JP2023506365A JPWO2022195312A1 (ja) 2021-03-18 2021-03-18
PCT/IB2021/000167 WO2022195312A1 (ja) 2021-03-18 2021-03-18 画像処理装置及び画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2021/000167 WO2022195312A1 (ja) 2021-03-18 2021-03-18 画像処理装置及び画像処理方法

Publications (1)

Publication Number Publication Date
WO2022195312A1 true WO2022195312A1 (ja) 2022-09-22

Family

ID=83319894

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2021/000167 WO2022195312A1 (ja) 2021-03-18 2021-03-18 画像処理装置及び画像処理方法

Country Status (5)

Country Link
US (1) US20240163555A1 (ja)
EP (1) EP4311218A4 (ja)
JP (1) JPWO2022195312A1 (ja)
CN (1) CN117178561A (ja)
WO (1) WO2022195312A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017028527A (ja) * 2015-07-23 2017-02-02 株式会社Ｊｖｃケンウッド 動画撮影装置、動画撮影方法及びプログラム
JP2019033408A (ja) * 2017-08-09 2019-02-28 キヤノン株式会社 撮像装置およびその制御方法
JP2019092001A (ja) * 2017-11-13 2019-06-13 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2020129019A (ja) 2019-02-07 2020-08-27 キヤノン株式会社 撮像装置およびその制御方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5233631B2 (ja) * 2008-12-11 2013-07-10 ソニー株式会社 振れ補正装置と振れ補正方法および撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017028527A (ja) * 2015-07-23 2017-02-02 株式会社Ｊｖｃケンウッド 動画撮影装置、動画撮影方法及びプログラム
JP2019033408A (ja) * 2017-08-09 2019-02-28 キヤノン株式会社 撮像装置およびその制御方法
JP2019092001A (ja) * 2017-11-13 2019-06-13 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2020129019A (ja) 2019-02-07 2020-08-27 キヤノン株式会社 撮像装置およびその制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4311218A4

Also Published As

Publication number Publication date
US20240163555A1 (en) 2024-05-16
EP4311218A4 (en) 2024-05-01
JPWO2022195312A1 (ja) 2022-09-22
CN117178561A (zh) 2023-12-05
EP4311218A1 (en) 2024-01-24

Similar Documents

Publication Publication Date Title
CN106062826B (zh) 图像生成装置以及图像生成方法
JP3653790B2 (ja) 立体電子ズーム装置及び立体画質制御装置
US20150170423A1 (en) Image processing apparatus and image processing method
JP5652037B2 (ja) 模擬映像生成装置、方法、プログラム
EP0709816B1 (en) Display apparatus and its control method
JP2017185988A (ja) 車両用装置、車両用プログラム、フィルタ設計プログラム
JP2009017020A (ja) 画像処理装置及び表示画像生成方法
JP2008139600A (ja) 表示装置
US7940295B2 (en) Image display apparatus and control method thereof
JP2012014019A (ja) 撮像装置及びその制御方法
US11887281B2 (en) Information processing device, head-mounted display, and image displaying method
WO2019098198A1 (ja) 画像生成装置、ヘッドマウントディスプレイ、画像生成システム、画像生成方法、およびプログラム
JP2001346200A (ja) 画像切出し／表示システム
WO2022195312A1 (ja) 画像処理装置及び画像処理方法
CN108058643B (zh) 车辆后方区域图像显示装置以及存储车辆后方区域图像显示程序的计算机可读介质
WO2017168953A1 (ja) 車両用装置、車両用プログラム、フィルタ設計プログラム
WO2017108990A1 (en) Rear view device for a vehicle
JP2021180425A (ja) 遠隔制御システムとその遠隔作業装置、映像処理装置およびプログラム
US20230071690A1 (en) Remote control system, remote operation apparatus, video image processing apparatus, and computer-readable medium
JP4696825B2 (ja) 車両用死角映像表示装置
JP6655751B1 (ja) 映像表示制御装置、方法およびプログラム
JP2011234272A (ja) 携帯端末装置、サーバ装置および画像補正方法
CN113519166A (zh) 远程操作指示系统和安装式设备
JPWO2022195312A5 (ja)
JP2024084218A (ja) 画像処理装置、画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21931373

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023506365

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18282745

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2021931373

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021931373

Country of ref document: EP

Effective date: 20231018