WO2020122083A1 - 画像処理装置、画像処理方法および画像処理システム - Google Patents

画像処理装置、画像処理方法および画像処理システム Download PDF

Info

Publication number
WO2020122083A1
WO2020122083A1 PCT/JP2019/048361 JP2019048361W WO2020122083A1 WO 2020122083 A1 WO2020122083 A1 WO 2020122083A1 JP 2019048361 W JP2019048361 W JP 2019048361W WO 2020122083 A1 WO2020122083 A1 WO 2020122083A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
viewpoint position
vehicle
driver
unit
Prior art date
Application number
PCT/JP2019/048361
Other languages
English (en)
French (fr)
Inventor
長田　浩二
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP19895830.8A priority Critical patent/EP3896960A4/en
Priority to JP2020559262A priority patent/JP7428139B2/ja
Priority to CN201980080331.1A priority patent/CN113170082A/zh
Priority to US17/288,092 priority patent/US11383656B2/en
Priority to KR1020217016361A priority patent/KR20210100611A/ko
Publication of WO2020122083A1 publication Critical patent/WO2020122083A1/ja
Priority to US17/834,963 priority patent/US11794667B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Definitions

  • the present technology relates to an image processing device, an image processing method, and an image processing system, and more specifically, to an image processing device suitable for application to an on-vehicle electronic mirror.
  • Patent Document 1 in order to solve the fact that the appearance of the electronic mirror differs from the appearance of the actual mirror, the range of the camera image displayed on the display by using the relative position of the driver's head with respect to the display. A technique for changing the variable is proposed.
  • the purpose of this technology is to provide an intuitive and easy-to-see field of view while at the same time providing an appropriate rear field of view even if the driver's posture changes.
  • the concept of this technology is A processing unit that obtains a display image according to the deviation of the driver's viewpoint position from the reference viewpoint position based on a captured image obtained by shooting the rear of the vehicle,
  • the image processing apparatus includes an updating unit that updates the reference viewpoint position based on a long-term change in the viewpoint position.
  • the processing unit obtains the display image according to the deviation of the driver's viewpoint position from the reference viewpoint position, based on the captured image obtained by photographing the rear of the vehicle. Then, the updating unit updates the reference viewpoint position based on the long-term fluctuation of the viewpoint position. For example, the update unit may average the viewpoint positions obtained at a predetermined sample rate for each constant section to sequentially obtain the updated values of the reference viewpoint positions. As a result, it becomes possible to appropriately obtain the updated value of the reference viewpoint position corresponding to the long-term fluctuation of the viewpoint position due to the change in the posture of the driver.
  • the display image is obtained according to the deviation of the driver's viewpoint position from the reference viewpoint position based on the captured image obtained by shooting the rear of the vehicle, and
  • the reference viewpoint position is updated based on the dynamic variation. Therefore, while providing an intuitive and easy-to-see field of view, an appropriate rear field of view can be obtained even if the driver's posture changes.
  • the update unit may not update the reference viewpoint position when the driver's line of sight is in a certain area including the display unit that displays the display image.
  • the display angle of view of the rear image changes with high accuracy in response to the change of the driver's viewpoint, it is possible to provide an intuitive and easy-to-see visual field with high accuracy.
  • the vehicle may further include a registration unit that registers the driver's viewpoint position as the initial reference viewpoint position. By registering the initial reference viewpoint position in this way, it is possible to provide the driver with an appropriate rear view even from the beginning of driving even when the driver is changed.
  • the processing unit may be configured to superimpose an image showing a vehicle on a captured image to obtain a display image.
  • the display image is not formed only by the captured image obtained by capturing the rear part of the vehicle, but the image showing the vehicle is superimposed on the captured image to obtain the display image. It is easy to provide a sense of distance.
  • the image showing the vehicle may be a computer graphics image.
  • the computer graphics image it is possible to increase the degree of freedom in generating the image showing the vehicle.
  • the captured image obtained by capturing the rear of the vehicle is a captured image captured by a capturing device attached to the rear portion of the vehicle, and the image showing the vehicle is a vehicle interior image.
  • the display image corresponds to the room mirror display.
  • the captured image obtained by capturing the rear of the vehicle includes a captured image captured by a capturing device attached to the side of the vehicle, and the image showing the vehicle is a vehicle body image, May be done.
  • the display image corresponds to the side mirror display.
  • the processing unit may change the superimposed positional relationship between the captured image and the image showing the vehicle according to the deviation of the driver's viewpoint position from the reference viewpoint position.
  • a motion parallax similar to that when actually looking at the rearview mirror is generated, and the driver's perception of the distance can be assisted.
  • the processing unit arranges the captured image and the image showing the vehicle in a three-dimensional space, obtains a virtual viewpoint position that changes according to the deviation of the driver's viewpoint position from the reference viewpoint position, and at that virtual viewpoint position.
  • the display image may be obtained by converting the captured image and the image showing the vehicle into the projective coordinate system according to the determined field of view.
  • the processing unit may arrange the captured image at a position of a predetermined object located behind the vehicle.
  • the predetermined object may be the object closest to the vehicle or the object seen by the driver.
  • the processing unit may superimpose an image showing the vehicle on the captured image so that the captured image can be seen through. Thereby, even if the motion parallax is provided by superimposing the images showing the vehicle, the backward visibility can be prevented from being impaired.
  • FIG. 6 is a flowchart showing an example of processing of a normal operation flow in the image processing apparatus. It is a flow chart which shows an example of display image processing. It is a figure which shows the change of the overlapping degree of a drawing object movement by viewpoint movement. It is a figure which shows the variation of drawing processing. It is a figure for demonstrating the conventional electronic mirror (back mirror) technique. It is a figure for demonstrating the electronic mirror (rear-view mirror) technique of this technique. It is a figure for demonstrating the prior art regarding a side mirror.
  • FIG. 19 is a block diagram illustrating a configuration example of hardware of a computer.
  • FIG. 1 shows an example of the arrangement of components of a vehicle 10 as an embodiment.
  • the vehicle 10 has a vehicle body (body) 100, a vehicle body opening (window) 101, and an interior object 102 such as a seat.
  • 2A shows a vehicle body 100
  • a hatched portion in FIG. 2B shows a vehicle body opening (window) 101
  • FIG. 2C shows an interior object 102 such as a seat.
  • the vehicle 10 also has a rear photographing section 103, a rear distance measuring section 104, a viewpoint measuring section 105, and a line-of-sight measuring section 106.
  • the rear photographing unit 103 is composed of, for example, a CMOS (Complementary Metal Oxide Semiconductor) camera, and is attached to a rear side outer shell of the vehicle 10 so as to photograph the rear.
  • the rear distance measuring unit 104 is composed of, for example, a ToF (Time of Flight) type distance image sensor, and is attached to the rear side outer shell of the vehicle 10 so as to acquire a rear distance image.
  • ToF Time of Flight
  • the viewpoint measuring unit 105 detects the viewpoint position of the driver (user).
  • the viewpoint measuring unit 105 is attached inside the front side of the vehicle 10.
  • the viewpoint measuring unit 105 includes, for example, a CMOS camera, and measures the position of the driver's eyes as the viewpoint position based on the image captured by the camera.
  • the viewpoint measuring unit 105 may measure the driver's viewpoint position based on an image captured by an infrared camera, for example.
  • the line-of-sight measurement unit 106 detects the line of sight of the driver.
  • the line-of-sight measurement unit 106 is attached inside the front side of the vehicle 10.
  • the line-of-sight measurement unit 106 includes, for example, a CMOS camera, and detects the line of sight of the driver, that is, where the driver is looking, based on the image of the driver's eyes.
  • the vehicle 10 also includes a video display unit (display) 107, a user operation unit 108, and an image processing device 109.
  • the image display unit 107 is attached inside the front side of the vehicle 10 instead of the conventional rearview mirror, and has a substantially rectangular display surface.
  • the image display unit 107 is composed of an LCD (liquid crystal display), an organic EL (Electronic Luminescent) panel, or the like.
  • the user operation unit 108 constitutes a user interface that receives various operations by the driver.
  • the user operation unit 108 includes, for example, mechanical operation buttons arranged on the in-front panel, and a touch panel arranged on the screen of the image display unit 107.
  • the video display unit 107 basically displays a rear image of the vehicle 10, but if it has a touch panel function, a UI (User Interface) display for user operation is also displayed if necessary. ..
  • the image processing device 109 performs processing for obtaining a display image to be displayed on the video display unit 107.
  • the image processing device 109 is arranged at an arbitrary location inside the vehicle 10, for example, an infront panel portion as illustrated.
  • the image processing device 109 obtains a display image according to the deviation of the driver's viewpoint position from the reference viewpoint position based on the camera image obtained by the rear photographing unit 103. Then, in this case, the image processing apparatus 109 updates the reference viewpoint position based on the long-term fluctuation of the viewpoint position. As a result, an appropriate rear view can be obtained even if the driver's posture changes while providing an intuitive and easy-to-see view.
  • the image processing device 109 does not update the reference viewpoint position when the driver's line of sight is in a certain area including the display unit that displays the display image.
  • the display angle of view of the rear image changes with high accuracy in response to the change in the driver's viewpoint, so that an intuitive and easy-to-see field of view can be provided with high accuracy.
  • the image processing apparatus 109 keeps the driver's line of sight on the display unit displaying the display image for a certain period of time. If there is, the driver's viewpoint position is registered as the initial reference viewpoint position. As a result, even if the driver is changed, it is possible to provide the driver with a proper rear view from the beginning of driving.
  • the image processing apparatus 109 superimposes a vehicle interior image (seat, headrest, window, pillar, etc.) as an image showing the vehicle 10 on the camera image obtained by the rear image capturing unit 103 by 3DCG. To get the display image.
  • a vehicle interior image sleep, headrest, window, pillar, etc.
  • the display image is not formed only by the camera image but the vehicle interior image is superimposed on the camera image to obtain the display image, it is possible to easily provide a sense of distance due to the motion parallax.
  • the image processing apparatus 109 changes the superimposed positional relationship between the captured image and the vehicle interior image according to the deviation of the driver's viewpoint position obtained from the viewpoint measuring unit 105 from the reference viewpoint position.
  • the driver can be caused to have a motion parallax that is close to that when he is looking at an actual rearview mirror, and the driver's perception of the distance can be assisted.
  • FIG. 3 shows a configuration example of the image processing apparatus 109.
  • the image processing device 109 includes a storage unit 111, a view frustum shape position calculation unit 112, an object history storage unit 113, a long-term viewpoint motion measurement unit 114, a camera image arrangement calculation unit 115, and a virtual space arrangement calculation unit 116. And a projection calculation unit 117 and an image drawing unit 118.
  • the image processing device 109 adds a camera image obtained by shooting the rear side to the virtual space in addition to the configuration object of the image processing, that is, the 3D CG data (body, window, interior, etc.) of the vehicle 10. And a view frustum obtained based on the virtual viewpoint position and the virtual image display unit 107A is placed. Then, the image processing apparatus 109 outputs an image generated by this view frustum as a display image to be displayed on the video display unit 107 after performing an enlargement/reduction process as necessary.
  • the size of the virtual video display unit 107A is the same as the size of the video display unit 107, the scaling process is unnecessary.
  • the image processing apparatus 109 measures the movement of the driver's viewpoint position measured by the viewpoint measuring unit 105 as a relative motion with respect to the reference viewpoint position, and correspondingly the virtual viewpoint position. Is moved from the reference virtual viewpoint position to change the virtual image display unit 107A, and thus the image (image) displayed on the image display unit 107, and provide the driver with appropriate motion parallax.
  • the storage unit 111 stores information on the reference viewpoint position and the reference visual field setting, and further, 3D CG data of the vehicle.
  • the reference field of view is a standard backward field of view, and means a field of view by a view frustum formed by the virtual viewpoint position and the virtual image display unit 107A. Therefore, the information on the reference field of view setting is information on the reference virtual viewpoint position and the position and size of the virtual video display unit 107A.
  • FIG. 6 shows an example of a rear view that is preferable as the reference view.
  • the vanishing point is slightly above the center of the screen while traveling on a straight horizontal road.
  • the intersection of the broken lines extending in the vertical and horizontal directions represents the center of the screen.
  • the image processing apparatus 109 executes an initialization flow after the driver (user) is seated in the driver's seat, and automatically registers a reference viewpoint position suitable for the driver in the storage unit 111.
  • the reference viewpoint position registered in this initialization flow is the initial reference viewpoint position.
  • the flowchart in Fig. 7 shows an example of the initialization flow.
  • the image processing apparatus 109 starts the process in step ST11.
  • the image processing device 109 acquires the driver's current viewpoint position based on the detection result of the viewpoint measuring unit 105, and also calculates the driver's current viewpoint position based on the detection result of the line-of-sight measuring unit 106. Get the line-of-sight position.
  • step ST13 the image processing apparatus 109 determines whether or not the viewpoint is within the viewpoint detection area (see FIG. 8).
  • the viewpoint detection area is set in advance so as to include the driver's viewpoint in the state of sitting in the driver's seat. Therefore, the fact that the driver's viewpoint is within this viewpoint detection area can be regarded as that the driver is seated in the driver's seat.
  • the image processing apparatus 109 When the viewpoint is not within the viewpoint detection area, the image processing apparatus 109 returns to the process of step ST12. On the other hand, when the viewpoint is within the viewpoint detection region, the image processing apparatus 109 determines in step ST14 whether the line of sight is on the video display unit 107 within the line of sight detection region (see FIG. 8).
  • the line-of-sight detection area is set in advance in an area including the image display unit 107 and its periphery.
  • step ST12 the image processing apparatus 109 determines whether or not the line of sight is on the video display unit 107 for a certain period of time or more, here for one second or more.
  • the image processing apparatus 109 When the line of sight is not continuously present on the video display unit 107 for 1 second or more, the image processing apparatus 109 returns to the process of step ST12. On the other hand, when the line of sight is continuously on the video display unit 107 for one second or more, the image processing apparatus 109 registers the current viewpoint position as the reference viewpoint position in the storage unit 111 in step ST16. After that, the image processing apparatus 109 ends the series of processes in step ST17.
  • the driver can perform the touch operation on the touch panel arranged on the screen of the user operation unit 108, for example, the video display unit 107.
  • the visibility setting (such as the virtual viewpoint position) is adjusted so that the appearance of the rear view at the reference viewpoint position is desired, and the adjusted visibility setting is registered in the storage unit 111 as the reference view setting. To be done.
  • FIG. 9A and 9B show an example of adjustment of the visibility setting by the driver.
  • the driver slides rightward on the touch panel as shown in FIG. 9A to move from the virtual viewpoint position A to the virtual viewpoint position B as shown in FIG. 9B.
  • the reference view A is changed to the reference view B.
  • the driver sitting in the driver's seat does not have to register the standard visibility setting.
  • the reference visibility setting already registered in the storage unit 111 is used as it is. It is also conceivable that the storage unit 111 holds a plurality of reference visibility settings and uses them by switching them manually or automatically according to the driving situation.
  • the information of the reference viewpoint position and the reference field of view setting (stored) in the storage unit 111 is used in the normal operation flow, but the reference viewpoint position is sequentially updated based on the long-term fluctuation of the viewpoint position. .. Therefore, it is possible to always obtain an appropriate rear view even if the driver's posture changes.
  • the long-term viewpoint motion measurement unit 114 determines the reference viewpoint position stored in the storage unit 111 based on the long-term fluctuation of the viewpoint position of the driver obtained by the viewpoint measurement unit 105 in the normal operation flow. Update. In this case, the long-term viewpoint motion measuring unit 114 averages the viewpoint positions obtained at a predetermined sample rate for each fixed moving average section, and sequentially obtains the updated values of the reference viewpoint positions.
  • FIG. 10 shows an example of viewpoint movement and moving average, that is, an updated value.
  • the illustrated example shows a case where the sample rate at the viewpoint position is 60 sample/sec and the moving average section is 500 msec.
  • the example shown is for only one axis, but similar calculations are performed for the up-down direction, front-rear direction, and left-right direction, and by using the moving average value as the reference viewpoint position, viewpoint positions such as posture changes can be obtained. It is possible to always follow a long-term fluctuation and to provide a good rear view.
  • the sample rate of the viewpoint position and the moving average section are not limited to this value.
  • the long-term viewpoint motion measuring unit 114 does not update the reference viewpoint position when the driver's line of sight is within the line-of-sight detection area (see FIG. 8) including the video display unit 107.
  • the display angle of view of the rear image changes with high accuracy in response to the change in the driver's viewpoint, so that it is possible to accurately provide an intuitive and easy-to-see view. It is also possible to update the reference viewpoint position regardless of whether the driver's line of sight is within the line-of-sight detection area including the image display unit 107.
  • the view frustum shape position calculation unit 112 calculates a virtual position based on the reference viewpoint position and reference view setting information read from the storage unit 111 and the current viewpoint position detected by the viewpoint measurement unit 105. Calculate the shape and position of the view frustum in space.
  • the virtual viewpoint position (current virtual viewpoint position) displaced from the reference virtual viewpoint position according to the deviation (distance or direction deviation) of the viewpoint position (current viewpoint position) from the reference viewpoint position is obtained ( 5), the position and shape of the view frustum with the virtual viewpoint as the apex is obtained based on the virtual viewpoint position and the size and position of the virtual image display unit 107A (see FIG. 4).
  • the camera image arrangement calculation unit 115 is a rear range image acquired by the rear distance measurement unit 104, a rear camera image acquired by the rear photographing unit 103, and a view frustum obtained by the view frustum shape arrangement calculation unit 112.
  • the arrangement distance of the camera image in the virtual space is calculated based on the shape and position of the.
  • the appearance (motion parallax) of the subject in the camera image that appears and disappears in the vehicle interior image (body, window, interior) varies.
  • an image actually captured by a camera is a three-dimensional space compressed in the distance direction, and objects (objects) A to D at different distances are converted into a two-dimensional image in the distance. It was shot in a size that fits. Therefore, this camera image is not perfectly appropriate wherever it is placed in the three-dimensional space, and is only an appropriate position for an object existing at a distance where the camera image is placed. Note that in reality, an image that is out of the depth of field of the camera lens is blurred, but here it is considered as an ideal pan-focus camera.
  • FIG. 12 shows a case where a camera image is placed at the distance of the object A (image arrangement A) and a case where a camera image is placed at the distance of the object D (image arrangement D).
  • 13A, 13B, and 13C respectively show the visual fields when the visual field (corresponding to the view frustum determined by the virtual visual point position) is moved to the right, the center, and the left.
  • the range of the camera image entering the field of view is different between the case of the image arrangement A and the case of the image arrangement D, and the inside of the camera image changes as the view moves. You can see that the moving range is different. This is the motion parallax with respect to the object in the camera image, and by placing the camera image at the distance of the object (object) of interest, the motion parallax occurring between the object and the vehicle can be correctly expressed.
  • the feature of this technology is that by giving up motion parallax other than the object of interest, the motion parallax for the object of interest is provided with a relatively small amount of calculation.
  • FIG. 14 illustrates an example of the processing flow of the camera image layout calculation unit 115. This processing example takes into consideration the events (1), (2), and (3) described above, and can be realized using only the distance image acquired by the rear distance measuring unit 104.
  • the camera image placement calculation unit 115 executes the processing flow shown in the flowchart of FIG. 14 every time the rear distance measurement unit 104 acquires a distance image.
  • the backward distance measuring unit 104 acquires the distance image at a frequency of 120 fps, for example.
  • step ST21 the camera image layout calculation unit 115 starts processing at the timing when the rear distance measurement unit 104 acquires a distance image.
  • step ST22 the camera image placement calculation unit 115 extracts an object (object) from the distance image and creates a list of positions, shapes, sizes, and distances of objects having a certain size or more.
  • step ST23 the camera image arrangement calculation unit 115 stores the created list in the object history storage unit 113.
  • step ST24 the camera image placement calculation unit 115 browses the history data of the object history storage unit 113, searches for the same object from the feature of the shape, deletes the object without history from the list, and deletes the history. For some objects, the relative speed with the vehicle is calculated and added to the list.
  • step ST25 the camera image layout calculation unit 115 excludes objects out of the effective shooting distance of the camera from the created list. This is intended to remove objects at distances where the camera is out of focus. If the camera image cannot be captured even if the distance can be measured, it is excluded as the camera image arrangement distance is inappropriate.
  • step ST26 the camera image layout calculation unit 115 deletes from the list the object moving away at a certain speed or more.
  • the camera image placement calculation unit 115 deletes from the list the objects that deviate from the view frustum and its vicinity.
  • step ST28 the camera image layout calculation unit 115 determines whether or not data remains in the list.
  • the camera image placement calculation unit 115 adopts the distance from the vehicle to the closest object as the camera image placement distance in step ST29. After the process of step ST29, the camera image arrangement calculation unit 115 ends the series of processes in step ST30.
  • a predetermined default distance is adopted as the camera image arrangement distance in step ST31.
  • the default distance is a distance suitable for placing a distant view. In presenting a sense of distance, it is desirable to be far away as long as the computing ability allows.
  • the default distance is determined with reference to the calculation capability of the backward distance measuring unit 104.
  • the default distance may be about 100 m for Lidar (light detection and ranging) and about 250 m for the ToF sensor.
  • the flowchart of FIG. 15 shows another example of the processing flow of the camera image layout calculation unit 115.
  • This processing example takes into consideration the events (1), (3), and (4) described above, and is obtained by the rear photographing unit 103 in addition to the distance image acquired by the rear distance measuring unit 104. It can be realized by using a camera image.
  • the camera image placement calculation unit 115 executes the processing flow shown in the flowchart of FIG. 15 every time the rear distance measurement unit 104 acquires a distance image.
  • the backward distance measuring unit 104 acquires the distance image at a frequency of 120 fps, for example.
  • the camera image layout calculation unit 115 starts the process at the timing when the rear distance measurement unit 104 acquires the distance image in step ST61.
  • the camera image placement calculation unit 115 extracts objects from the distance image and creates a list of positions, shapes, sizes, and distances of objects having a certain size or more.
  • step ST63 the camera image layout calculation unit 115 excludes objects that deviate from the effective shooting distance of the camera from the created list. This is intended to remove objects at distances where the camera is out of focus. If the camera image cannot be captured even if the distance can be measured, it is excluded as the camera image arrangement distance is inappropriate.
  • step ST64 the camera image layout calculation unit 115 recognizes an object by image recognition and deletes an object (for example, a bird, dead leaf, etc.) that is not suitable for the image layout from the list.
  • step ST65 the camera image placement calculation unit 115 deletes from the list the objects that deviate from the view frustum and its vicinity.
  • step ST66 the camera image layout calculation unit 115 determines whether or not data remains in the list.
  • the camera image placement calculation unit 115 adopts the distance from the vehicle to the closest object as the camera image placement distance in step ST67. After the process of step ST67, the camera image placement calculation unit 115 ends the series of processes in step ST68.
  • step ST69 a predetermined default distance (distance suitable for distant view placement) is adopted as the camera image placement distance in step ST69.
  • the camera image arrangement calculation unit 115 ends the series of processes in step ST68.
  • the flowchart of FIG. 16 shows still another example of the processing flow of the camera image layout calculation unit 115.
  • This processing example considers the above-mentioned events (1), (3), and (5), and in addition to the distance image acquired by the rearward distance measuring unit 104, the driver ( This can be realized by using the line-of-sight detection result of the (user).
  • the camera image placement calculation unit 115 executes the processing flow shown in the flowchart of FIG. 16 every time the distance measurement unit 104 acquires a distance image.
  • the backward distance measuring unit 104 acquires the distance image at a frequency of 120 fps, for example.
  • the camera image layout calculation unit 115 starts the process at the timing when the distance measurement unit 104 acquires the distance image in step ST71.
  • the camera image placement calculation unit 115 extracts objects from the distance image and creates a list of positions, shapes, sizes, and distances for objects having a certain size or more.
  • step ST73 the camera image layout calculation unit 115 excludes objects out of the effective shooting distance of the camera from the created list. Then, in step ST74, the camera image layout calculation unit 115 determines whether or not data remains in the list.
  • the camera image layout calculation unit 115 acquires the line of sight of the driver (user) obtained by the line-of-sight measurement unit 106 in step ST75. Then, in step ST76, the camera image placement calculation unit 115 adopts the distance of the object closest to the line of sight as the camera image placement distance. After the process of step ST76, the camera image arrangement calculation unit 115 ends the series of processes in step ST77.
  • step ST78 a predetermined default distance (distance suitable for arranging a distant view) is adopted as the camera image arrangement distance in step ST78.
  • the camera image arrangement calculation unit 115 ends the series of processes in step ST77.
  • FIG. 17 shows the arrangement position of the camera image in the virtual space.
  • the camera image is obtained by being photographed by the rear photographing unit 103 at a predetermined photographing angle of view.
  • This camera image is arranged in the virtual space at a position separated from the rear portion of the vehicle 10 by the camera image arrangement distance calculated by the camera image arrangement calculation unit 115.
  • the virtual space arrangement calculation unit 116 arranges elements necessary for drawing in the virtual space. That is, the virtual space arrangement calculation unit 116 arranges the 3D CG data (body, window, interior, etc.) of the vehicle 10 stored in the storage unit 111 in the virtual space, and calculates it by the camera image arrangement calculation unit 115.
  • the camera image is arranged at the position of the determined camera image arrangement distance, and further, the view frustum is arranged based on the shape and position calculated by the view frustum shape arrangement calculation unit 112.
  • FIG. 18 shows an arrangement example of elements required for drawing in the virtual space.
  • the projection calculation unit 117 uses the virtual video display unit 107A as a projection plane to convert an object in the virtual space into a projected image.
  • the image drawing unit 118 draws details of the camera image and 3D CG data on the projection image obtained by the projection calculation unit 117, and further enlarges or reduces the image size to match the size of the video display unit 107. Then, the display image supplied to the video display unit 107 is output.
  • FIG. 19 shows an example of a display image obtained by the image drawing unit 118.
  • the flowchart in FIG. 20 shows an example of processing of the normal operation flow in the image processing apparatus 109.
  • the image processing apparatus 109 executes the processing shown in the flowchart of FIG. 20 in synchronism with the viewpoint and the sight line detection cycle in the viewpoint measurement unit 105 and the sight line measurement unit 106, for example, 1/60 seconds, and executes the processing in that cycle.
  • the image processing apparatus 109 starts the process in step ST40.
  • step ST41 the image processing apparatus 109 acquires the current viewpoint position based on the detection result of the viewpoint measuring unit 105 and acquires the current viewpoint position based on the detection result of the visual axis measuring unit 106.
  • the image processing apparatus 109 stores the viewpoint position data in step ST42.
  • step ST43 the image processing apparatus 109 determines whether or not the line of sight is within the line-of-sight detection area (see FIG. 8).
  • the image processing apparatus 109 converts the difference between the reference viewpoint position and the current viewpoint position into a virtual viewpoint difference from the reference virtual viewpoint position in step ST44 to set the virtual viewpoint position. Calculate (see FIG. 5).
  • step ST45 the image processing apparatus 109 calculates the shape and position of the view frustum from the virtual viewpoint position. The image processing apparatus 109 proceeds to the process of step ST46 after the process of step ST45.
  • the image processing apparatus 109 averages the viewpoint positions for each constant moving average section in step ST47 to obtain the updated value of the long-term viewpoint position, that is, the reference viewpoint position. get. Then, in step ST48, the image processing apparatus 109 adopts the long-term viewpoint position acquired in step ST47 as the reference viewpoint position and stores it in the storage unit 111.
  • steps ST47 and ST48 are executed every fixed moving average section, for example, every 500 msec. However, it is also conceivable to perform the steps ST47 and ST48 at the viewpoints of the viewpoint measuring unit 105 and the line-of-sight measuring unit 106 and the viewpoint detection cycle. In that case, in step ST47, the viewpoint positions in the past moving average section are averaged to acquire the long-term viewpoint position.
  • step ST49 the image processing apparatus 109 calculates the shape and position of the view frustum from the reference virtual viewpoint position.
  • the shape and position of the view frustum is always calculated from the reference virtual viewpoint position without being affected by the current viewpoint position.
  • the display image of the rear field of view displayed on the video display unit 107 becomes stable regardless of the movement of the viewpoint position of the driver (user).
  • the image processing apparatus 109 proceeds to the process of step ST46 after the process of step ST49.
  • the image processing apparatus 109 performs the display image processing in step ST46, returns to the processing of step ST41, and repeats the same processing as described above.
  • the flowchart of FIG. 21 shows an example of display image processing.
  • the image processing apparatus 109 starts the process in step ST50.
  • step ST51 the image processing apparatus 109 acquires the rear camera image obtained by the rear photographing unit 103.
  • step ST52 the image processing apparatus 109 calculates the camera image arrangement distance in step ST52.
  • step ST53 the image processing apparatus 109 arranges the 3D CG data (body, window, interior, etc.) of the vehicle 10, camera images, and view frustums, which are elements necessary for drawing, in the virtual space. (See Figure 18).
  • step ST54 the image processing apparatus 109 converts the constituents in the virtual space into a projective coordinate system to obtain a projected image.
  • step ST55 the image processing apparatus 109 performs a process of drawing the details of the camera image and 3DCG data on the projected image to obtain a display image.
  • the image processing device 109 outputs the display image to the video display unit 107 in step ST56.
  • the image processing apparatus 109 ends the series of processing in step ST57.
  • the image processing apparatus 109 executes the above-described processing of the normal operation flow for each viewpoint and line-of-sight detection cycle. Therefore, when the line of sight of the driver (user) is on the video display unit 107, the display image displayed on the video display unit 107 causes the drawing target object to overlap depending on the movement of the viewpoint and the distance to the rear object of interest. The condition appropriately changes, that is, an appropriate motion parallax is obtained, and the driver can obtain an appropriate sense of distance with respect to the rear camera image.
  • 22(a), (b), and (c) show examples of display images displayed on the video display unit 107.
  • 22A shows a case where the viewpoint position of the driver is at the standard viewpoint position
  • FIG. 22B shows a case where the viewpoint position of the driver moves from the standard viewpoint position to the right
  • 22(c) shows a case where the driver's viewpoint position moves to the left from the standard viewpoint position. It can be seen that the degree of overlap between the vehicle interior CG image and the object (vehicle) in the camera image changes depending on the viewpoint position of the driver.
  • interior objects and car bodies create blind spots where the rear cannot be seen if they are real mirrors, but with the present technology, it is possible to draw them transparently when drawing, or to hide some of them. It is also possible to maintain a wide rear view while assisting the perception of a sense of distance by motion parallax.
  • FIG. 23A the rear seat as an interior object is hidden.
  • FIG. 23(b) shows a vehicle body and a rear seat as an interior object having a low transmittance
  • FIG. 23(c) shows a vehicle body and a rear seat as an interior object having a high transmittance. is there.
  • the interior object or the vehicle body may be drawn with a transmittance of 0%, and an image like a real mirror may be generated and displayed.
  • the interior object is not limited to a sheet or the like, and it is possible to further emphasize the distance perception by drawing a pattern on the window glass, for example.
  • horizontal lines are provided as objects on the window glass.
  • the image processing apparatus 109 When the driver's (user)'s line of sight is not on the image display unit 107, the image processing apparatus 109 performs the above-described normal operation flow process, so that the reference viewpoint position is determined based on the long-term fluctuation of the driver's viewpoint position. Will be updated. Therefore, even if there is a change in the driver's posture, the rear view can be appropriately displayed on the image display unit 107.
  • FIG. 24A shows that when the posture of the driver (user) is at an appropriate position, the rear view is appropriately displayed in the reference view on the image display unit.
  • FIG. 24B shows that when there is a sudden change in the driver's viewpoint position (short-term viewpoint change) due to the driver's entire body sinking into the seat, the backward view displayed on the image display unit is high. It shows that it is suitable for.
  • FIG. 24C is a rear view that is displayed on the image display unit when there is a change in the viewpoint position of the driver (long-term viewpoint change) due to the fact that the entire body of the driver continues to sink into the seat. Shows that it will remain facing up.
  • FIG. 25(a) to 25(c) show the electronic mirror (rear-view mirror) technology of the present technology.
  • FIG. 25A shows that the rear view is appropriately displayed in the reference view on the image display unit 107 when the driver (user) is in the proper position.
  • FIG. 25( b) shows that when there is a sudden change in the viewpoint position of the driver (short-term viewpoint change) due to the entire body of the driver sinking into the seat, the backward view displayed on the image display unit 107 is Shows that it faces upwards.
  • FIG. 25C shows the rear part displayed on the image display unit 107 when there is a change in the viewpoint position of the driver (long-term viewpoint change) due to the fact that the entire body of the driver continues to sink into the seat. It shows that the view returns to the reference view and is displayed properly.
  • the image processing apparatus 109 shown in FIG. 3 is used to capture the rear of the vehicle 10 based on the camera image obtained from the reference viewpoint position of the driver's viewpoint position.
  • a display image is obtained according to a shift, and a reference viewpoint position is updated based on a long-term fluctuation of the viewpoint position. Therefore, while providing an intuitive and easy-to-see field of view, an appropriate rear field of view can be displayed even if the driver's posture changes.
  • the reference is set by the image processing device 109 shown in FIG.
  • the viewpoint position is not updated. Therefore, since the display angle of view of the rear image changes with high accuracy in response to the change of the driver's viewpoint, it is possible to provide an intuitive and easy-to-see visual field with high accuracy.
  • the driver's viewpoint position enters a certain area corresponding to the sitting state by the image processing device 109 shown in FIG. 3, the driver's line of sight displays a display image.
  • the visual point position of the driver when the visual display unit 107 has continued for a certain period of time is registered as the initial reference visual point position. Therefore, even if the driver is changed, it is possible to provide the driver with an appropriate rear view from the beginning of driving.
  • the image processing apparatus 109 shown in FIG. 3 superimposes the vehicle interior image on the camera image obtained by photographing the rear of the vehicle 10 to replace the conventional rearview mirror.
  • the display image to be displayed on the video display unit 107 arranged is obtained.
  • the display image is not composed only of the camera image obtained by photographing the rear of the vehicle, but the display image is obtained by superimposing the vehicle interior image on the camera image. Offer can be realized easily.
  • the image processing apparatus 109 shown in FIG. 3 changes the superimposed positional relationship between the camera image and the vehicle interior image in accordance with the deviation of the viewpoint position of the driver's viewpoint from the reference viewpoint position. It is a thing. Therefore, a motion parallax similar to that when actually looking at the rearview mirror is generated, and the driver's perception of the distance can be assisted.
  • the image processing apparatus 109 shown in FIG. 3 arranges the camera image and the image showing the vehicle 10 in a three-dimensional space, and sets the virtual viewpoint position that changes according to the movement of the driver's viewpoint.
  • the display image is obtained by converting the camera image and the vehicle interior image into the projective coordinate system according to the field of view determined by the virtual viewpoint position. Therefore, it is possible to accurately change the superposition positional relationship between the camera image and the vehicle interior image according to the movement of the driver's viewpoint.
  • the image processing apparatus 109 shown in FIG. 3 arranges the camera image at the position of a target object (object) existing behind the vehicle 10 to obtain a display image. Is. Therefore, the object of interest can be arranged at the correct position in the three-dimensional space with the correct size, and the motion parallax that occurs between the object and the vehicle interior image can be accurately expressed.
  • FIG. 26A shows an example of a blind spot range when a conventional side mirror or an electronic mirror that replaces the conventional side mirror is used.
  • FIG. 26B shows an example of an image displayed on a conventional side mirror. In this case, it is possible to obtain a sense of distance of the rear object due to the difference in size of the rear object and the motion parallax with the reflected vehicle body.
  • FIG. 26C shows an example of a display image of an electronic mirror that replaces the conventional side mirror. In this case, since the motion parallax does not occur even if the viewpoint moves, it is difficult to obtain a sense of distance unlike the real mirror.
  • FIG. 27( a) shows an example of a blind spot range when an electronic mirror that replaces the side mirror to which the present technology is applied is used.
  • the driver can also visually recognize the rear of the vehicle, which is a blind spot with the conventional side mirror or an electronic mirror that replaces the conventional side mirror.
  • 27B and 27C show examples of display images of an electronic mirror that replaces the side mirror to which the present technology is applied.
  • the own vehicle body is overlaid and drawn in 3DCG, it is possible to provide a sense of distance due to motion parallax. Further, as shown in FIG. 27(c), by transparently superposing the own vehicle body, the back of the own vehicle can be visually recognized.
  • FIG. 28 shows an example of the arrangement of components of the vehicle 10. 28, parts corresponding to those in FIG. 1 are designated by the same reference numerals, and detailed description thereof will be appropriately omitted.
  • the vehicle 10 has a vehicle body 100, a vehicle body opening (window) 101, and an interior object 102 such as a seat.
  • the vehicle 10 also includes a rear photographing section 103, a rear distance measuring section 104, a viewpoint measuring section 105, and a line-of-sight measuring section 106.
  • the vehicle 10 also has a right rear photographing section 103R, a right rear distance measuring section 104R, a left rear photographing section 103L, and a left rear distance measuring section 104L.
  • Each of the right rear photographing unit 103R and the left rear photographing unit 103L is composed of, for example, a CMOS camera, and is attached to the side mirror position of the vehicle 10, for example, so as to photograph the rear.
  • the right rear distance measuring unit 104R and the left rear distance measuring unit 104L are each configured of, for example, a ToF type distance image sensor, and are configured to acquire a rear distance image at a conventional side mirror position of the vehicle 10, for example. It is installed.
  • the vehicle 10 also includes a right rear image display unit (display) 107R, a left rear image display unit (display) 107L, a user operation unit 108, and an image processing device 109S.
  • the right rear image display unit 107R and the left rear image display unit 107L are each configured by an LCD, an organic EL panel, or the like, are attached to the right and left positions inside the front side of the vehicle 10, and have a substantially rectangular display. Has a face.
  • the user operation unit 108 constitutes a user interface that receives various operations by the driver.
  • the user operation unit 108 includes, for example, mechanical operation buttons arranged on the infront panel, a touch panel arranged on the screens of the right rear image display unit 107R and the left rear image display unit 107L, and the like. There is.
  • the image processing device 109S performs a process for obtaining a display image to be displayed on the right rear video display unit 107R and the left rear video display unit 107L.
  • the image processing device 109S is arranged at an arbitrary location inside the vehicle 10, for example, an infront panel portion as illustrated.
  • the image processing apparatus 109S superimposes a body image as an image showing the vehicle 10 on a camera image obtained by the rear photographing unit 103, the right rear photographing unit 103R, and the left rear photographing unit 103L by 3D CG. To obtain a display image.
  • the display image is not composed only of the camera image, but the body image is superimposed on the camera image to obtain the display image, so that it is possible to easily provide a sense of distance due to motion parallax. Further, by transparently superimposing the vehicle body image, the driver (user) can visually recognize an invisible object hidden behind the vehicle.
  • FIG. 29 shows a configuration example of the image processing apparatus 109S. 29, parts corresponding to those in FIG. 3 are designated by the same reference numerals, and detailed description thereof will be appropriately omitted.
  • the image processing apparatus 109S includes a storage unit 111, a viewing frustum shape position calculation unit 112, an object history storage unit 113, a long-term viewpoint motion measurement unit 114, a camera image arrangement calculation unit 115, and a virtual space arrangement calculation unit 116. And a projection calculation unit (right) 117R, a projection calculation unit (left) 117L, an image drawing unit (right) 118R, and an image drawing unit (left) 118L.
  • the image processing device 109S arranges a camera image obtained by photographing the rear side in the virtual space in addition to the component to be image-processed, that is, the 3D CG data (body etc.) of the vehicle 10. Then, the image processing apparatus 109S obtains a view frustum based on the virtual viewpoint position related to the right rear display and the virtual image display unit, and performs an enlargement/reduction process on the image generated by the view frustum as necessary. After the application, the image is output as a right rear display image displayed on the right rear image display unit 107R.
  • the image processing apparatus 109S obtains a view frustum based on the virtual viewpoint position related to the left rear display and the virtual image display unit, and enlarges or reduces the image generated by this view frustum as necessary. After the processing of (1) is performed, the image is output as a left rear display image displayed on the left rear image display unit 107L.
  • the image processing apparatus 109S measures the movement of the driver's viewpoint position measured by the viewpoint measuring unit 105 as a relative motion with respect to the reference viewpoint position, and moves the virtual viewpoint position from the reference virtual viewpoint position correspondingly.
  • the images (images) displayed on the right rear image display unit 107R and the left rear image display unit 107L are changed, and the driver is provided with an appropriate motion parallax.
  • the storage unit 111 stores information on the reference viewpoint position, the reference visibility setting related to the right rear display and the left rear display, and further 3D CG data of the vehicle.
  • the image processing apparatus 109 executes the initialization flow after the driver (user) sits in the driver's seat, and automatically registers the reference viewpoint position suitable for the driver in the storage unit 111.
  • the reference viewpoint position is sequentially updated from the initial reference viewpoint position based on the long-term fluctuation of the viewpoint position.
  • the image processing apparatus 109 executes an initialization flow after the driver (user) is seated in the driver's seat, and automatically registers a reference viewpoint position suitable for the driver in the storage unit 111.
  • the reference viewpoint position registered in this initialization flow is the initial reference viewpoint position.
  • the long-term viewpoint movement measurement unit 114 updates the reference viewpoint position stored in the storage unit 111 based on the long-term fluctuation of the driver's viewpoint position obtained by the viewpoint measurement unit 105 in the normal operation flow.
  • the view frustum shape position calculation unit 112 based on the information on the reference viewpoint position and the reference field of view setting read from the storage unit 111, and the current viewpoint position detected by the viewpoint measurement unit 105, on the right side in the virtual space. The shapes and positions of the two viewing frustums for the rear display and the left rear display are calculated.
  • the camera image arrangement calculation unit 115 includes a rear distance image acquired by the right rear distance measuring unit 104R, the rear distance measuring unit 104, and the left rear distance measuring unit 104L, the right rear photographing unit 103R, the rear photographing unit 103, and the left rear photographing.
  • the shapes and positions of the two viewing frustums for the right rear display and the left rear display which are obtained by the viewing frustum shape placement calculating unit 112, and the like.
  • the arrangement distance of the camera image of is calculated.
  • the distance to the object is calculated as the placement distance so that an appropriate motion parallax can be provided for the object of interest.
  • the object of interest is different for the right rear display and the left rear display. In that case, the arrangement distances of the camera images for the right rear display and the left rear display are calculated to have different values.
  • FIG. 30 shows the arrangement positions of camera images in the virtual space.
  • the camera image is obtained by being photographed by the right rear photographing unit 103R, the rear photographing unit 103, and the left rear photographing unit 103L at a predetermined photographing angle of view.
  • This camera image is arranged in the virtual space at a position separated from the rear portion of the vehicle 10 by the camera image arrangement distance calculated by the camera image arrangement calculation unit 115.
  • the virtual space placement calculation unit 116 places elements required for drawing in the virtual space. That is, the virtual space layout calculation unit 116 arranges the 3DCG data (body etc.) of the vehicle 10 stored in the storage unit 111 in the virtual space, and the camera image layout calculation unit 115 calculates the camera image.
  • the camera image is arranged at the position of the arrangement distance, and further, two view frustums for the right rear display and the left rear display are arranged based on the shape and position calculated by the view frustum shape arrangement calculation unit 112. ..
  • FIG. 31 shows an arrangement example of elements required for drawing in the virtual space.
  • the projection calculation unit (right) 117R converts the object in the virtual space into a projection image using the right virtual image display unit 107A as the projection surface.
  • the image drawing unit (right) 118R draws the details of the camera image and 3DCG data on the projection image obtained by the projection calculation unit 117R, and further sets the size of the image to the size of the right rear video display unit 107R. Enlargement/reduction processing for matching is performed, and the display image to be supplied to the right rear video display unit 107R is output.
  • the projection calculation unit (left) 117L converts the object in the virtual space into a projection image by using the left virtual video display unit 107A as a projection surface.
  • the image drawing unit (left) 118L draws the details of the camera image and 3DCG data on the projection image obtained by the projection calculation unit 117L, and further sets the size of the image to the size of the left rear video display unit 107L. Enlargement/reduction processing for matching is performed, and the display image to be supplied to the left rear video display unit 107L is output.
  • the basic processing flow in the image processing apparatus 109S is the same as the processing flow in the image processing apparatus 109 in the above-described embodiment, except that the processing is performed separately for the left and right display units, and therefore the description thereof will be given here. Is omitted.
  • the series of processes in the above-described image processing devices 109 and 109S can be executed by hardware or software.
  • a program forming the software is installed in the computer.
  • the computer includes a computer incorporated in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 32 is a block diagram showing a hardware configuration example of a computer 400 that executes the series of processes described above by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input/output interface 405 is further connected to the bus 404.
  • An input unit 406, an output unit 407, a recording unit 408, a communication unit 409, and a drive 410 are connected to the input/output interface 405.
  • the input unit 406 includes an input switch, a button, a microphone, an image sensor, and the like.
  • the output unit 407 includes a display, a speaker and the like.
  • the recording unit 408 includes a hard disk, a non-volatile memory, or the like.
  • the communication unit 409 includes a network interface or the like.
  • the drive 410 drives a removable medium 411 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 401 loads the program recorded in the recording unit 408 into the RAM 403 via the input/output interface 405 and the bus 404 and executes the program, for example. A series of processing is performed.
  • the program executed by the computer 400 can be provided, for example, by recording it on a removable medium 411 such as a package medium. Further, the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 408 via the input/output interface 405 by mounting the removable medium 411 in the drive 410. Further, the program can be received by the communication unit 409 via a wired or wireless transmission medium and installed in the recording unit 408. In addition, the program can be installed in the ROM 402 or the recording unit 408 in advance.
  • the program executed by the computer may be a program in which processing is performed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the present technology may have the following configurations.
  • a processing unit that obtains a display image according to a deviation of a driver's viewpoint position from a reference viewpoint position based on a captured image obtained by shooting the rear of the vehicle,
  • An image processing apparatus comprising: an updating unit that updates the reference viewpoint position based on a long-term change in the viewpoint position.
  • the updating unit does not update the reference viewpoint position when the driver's line of sight is in a certain area including the display unit that displays the display image.
  • the driver's viewpoint position enters a certain area corresponding to the sitting state, the driver's line of sight is continued for a certain period of time on the display unit that displays the display image.
  • the image processing device further including a registration unit that registers the viewpoint position of the person as an initial reference viewpoint position.
  • the updating unit obtains an updated value of the reference viewpoint position sequentially by averaging the viewpoint positions obtained at a predetermined sample rate for each constant section, according to any one of (1) to (3) above.
  • Image processing device (5) The image processing device according to any one of (1) to (4), wherein the processing unit superimposes an image showing the vehicle on the captured image to obtain the display image.
  • the image processing apparatus according to (5), wherein the image showing the vehicle is a computer graphics image.
  • the photographed image obtained by photographing the rear of the vehicle is a photographed image photographed by a photographing device attached to the rear portion of the vehicle,
  • the image showing the vehicle is a vehicle interior image.
  • the photographed image obtained by photographing the rear of the vehicle includes the photographed image photographed by the photographing device attached to the side portion of the vehicle,
  • the image showing the vehicle is a vehicle body image.
  • the image processing device according to (5) or (6). (9)
  • the processing unit changes the superimposed positional relationship between the photographed image and the image showing the vehicle in accordance with the deviation of the driver's viewpoint position from the reference viewpoint position.
  • the processing unit is Arrange the photographed image and the image showing the vehicle in a three-dimensional space, A virtual viewpoint position that changes according to the deviation of the driver's viewpoint position from a reference viewpoint position is obtained, and the display image is obtained by converting the captured image and the image showing the vehicle into a projective coordinate system according to the field of view determined by the virtual viewpoint position.
  • the image processing apparatus according to (9) above.
  • (11) The image processing device according to (10), wherein the processing unit arranges the captured image at a position of a predetermined object located behind the vehicle.
  • the predetermined object is an object closest to the vehicle.
  • the predetermined object is an object viewed by the driver.
  • An image capturing unit that captures an image of the rear of the vehicle
  • a processing unit that obtains a display image in accordance with a deviation of a driver's viewpoint position from a reference viewpoint position based on a captured image captured by the photographing unit
  • An updating unit that updates the reference viewpoint position based on long-term fluctuations of the viewpoint position
  • An image processing system comprising a display unit for displaying the display image obtained by the processing unit.
  • a program that functions as an updating unit that updates the reference viewpoint position based on long-term fluctuations in the viewpoint position.
  • Camera image layout calculation unit 116 Virtual space layout calculation unit 117... Projection calculation unit 117R... Projection calculation unit (right) 117L: Projection calculation unit (left) 118... Image drawing unit 118R... Image drawing unit (right) 118L: Image drawing unit (left)

Abstract

直感的で見易い視界を提供しながら、運転者の姿勢の変化があっても適切な後方視界が得られるようにする。　車両の後方を撮影して得られた撮影画像に基づき運転者の視点位置の基準視点位置からのずれに応じて表示画像を得る。視点位置の長期的変動に基づいて基準視点位置を更新する。例えば、運転者の視線が表示画像を表示する表示部を含む一定の領域にあるとき、基準視点位置を更新しない。例えば、運転者の視点位置が着座状態に対応した一定の領域に入ったとき、その運転者の視線が表示画像を表示する表示部上に一定時間継続してあった場合の当該運転者の視点位置を初期基準視点位置として登録する。

Description

画像処理装置、画像処理方法および画像処理システム
　本技術は、画像処理装置、画像処理方法および画像処理システムに関し、詳しくは、車載用電子ミラーに適用して好適な画像処理装置等に関する。
　従来、車両のバックミラー（ルームミラーや左右のドラミラー）をカメラとディスプレイに置き換えた車載用電子ミラーが提案されている。特許文献１では、電子ミラーの見え方が実際のミラーの見え方と異なることを解決するために、ディスプレイに対する運転者の頭部の相対位置を利用して、カメラ画像のうちディスプレイに表示する範囲を可変する技術が提案されている。
特開２０１３－２１６２８６号公報
　特許文献１に記載される技術では、頭部運動に従って後方映像の表示画角が変化するため、直感的で見易い視界を提供できる。しかし、運転者の姿勢の変化によって、適切な後方視界が得られなくなる可能性がある。
　本技術の目的は、直感的で見易い視界を提供しながら、運転者の姿勢の変化があっても適切な後方視界が得られるようにすることにある。
　本技術の概念は、
　車両の後方を撮影して得られた撮影画像に基づき運転者の視点位置の基準視点位置からのずれに応じて表示画像を得る処理部と、
　上記視点位置の長期的変動に基づいて上記基準視点位置を更新する更新部を備える
　画像処理装置にある。
　本技術において、処理部により、車両の後方を撮影して得られた撮影画像に基づき、運転者の視点位置の基準視点位置からのずれに応じて表示画像が得られる。そして、更新部により、視点位置の長期的変動に基づいて基準視点位置が更新される。例えば、更新部は、所定のサンプルレートで得られる視点位置を一定区間毎に平均して基準視点位置の更新値を順次得る、ようにされてもよい。これにより、運転者の姿勢の変化による視点位置の長期的変動に対応した基準視点位置の更新値を適切に得ることが可能となる。
　このように本技術においては、車両の後方を撮影して得られた撮影画像に基づき運転者の視点位置の基準視点位置からのずれに応じて表示画像を得るものにあって、視点位置の長期的変動に基づいて基準視点位置を更新するものである。そのため、直感的で見易い視界を提供しながら、運転者の姿勢の変化があっても適切な後方視界が得られるようになる。
　なお、本技術において、例えば、更新部は、運転者の視線が表示画像を表示する表示部を含む一定の領域にあるとき、基準視点位置を更新しない、ようにされてもよい。この場合、運転者の視点変動に対応して後方映像の表示画角が精度よく変化するため、直感的で見易い視界の提供を精度よく行い得る。
　また、本技術において、例えば、運転者の視点位置が着座状態に対応した一定の領域に入ったとき、その運転者の視線が表示画像を表示する表示部上に一定時間継続してあった場合の運転者の視点位置を初期基準視点位置として登録する登録部をさらに備える、ようにされてもよい。このように初期基準視点位置を登録することで、運転者の交代があった場合にあっても、運転の最初から運転者に対して適切な後方視界を提供することが可能となる。
　また、本技術において、例えば、処理部は、撮影画像に車両を示す画像を重畳して表示画像を得る、ようにされてもよい。この場合、車両の後方を撮影して得られた撮影画像だけで表示画像を構成するものではなく、その撮影画像に車両を示す画像を重畳して表示画像を得るものであることから、運動視差による距離感の提供を簡単に実現できる。
　この場合、例えば、車両を示す画像は、コンピュータグラフィックス画像である、ようにされてもよい。コンピュータグラフィックス画像を用いることで、車両を示す画像の生成自由度を高くできる。
　また、例えば、車両の後方を撮影して得られた撮影画像は、その車両の後部に取り付けられた撮影装置で撮影された撮影画像であり、車両を示す画像は、車室内画像である、ようにされてもよい。この場合、表示画像は、ルームミラー表示に対応したものとなる。また、例えば、車両の後方を撮影して得られた撮影画像は、その車両の側部に取り付けられた撮影装置で撮影された撮影画像を含み、その車両を示す画像は、車体画像である、ようにされてもよい。この場合、表示画像は、サイドミラー表示に対応したものとなる。
　また、例えば、処理部は、運転者の視点位置の基準視点位置からのずれに従って撮影画像と車両を示す画像との重畳位置関係を変化させる、ようにされてもよい。これにより、実際のバックミラーを見ているのに近い運動視差を生じさせ、運転者の距離間の知覚を補助できる。
　この場合、例えば、処理部は、撮影画像と車両を示す画像を三次元空間に配置し、運転者の視点位置の基準視点位置からのずれに従って変化する仮想視点位置を求め、その仮想視点位置で決まる視界によって撮影画像と車両を示す画像を射影座標系に変換して表示画像を得る、ようにされてもよい。これにより、運転者の視点の運動に従って撮影画像と車両を示す画像との重畳位置関係を精度よく変化させることができる。
　そして、この場合、例えば、処理部は、撮影画像を、車両の後方に存在する所定のオブジェクトの位置に配置する、ようにされてもよい。例えば、所定のオブジェクトは、車両に対して最も近くにあるオブジェクト、あるいは運転者が見ているオブジェクトである、ようにされてもよい。このように撮影画像を車両の後方に存在する所定のオブジェクトの位置に配置することで、所定のオブジェクトを三次元空間の正しい位置に正しい大きさで配置でき、その所定のオブジェクトと車両を示す画像との間で起こる運動視差を正しく表現することができる。
　また、例えば、処理部は、車両を示す画像を撮影画像が透過して見えるように、その撮影画像に重畳する、ようにされてもよい。これにより、車両を示す画像の重畳により運動視差を提供しても、後方視認性を損なわないようにできる。
実施の形態としての車両の構成物配置の一例を示す図である。 車両の車体（ボディ）、車体開口部（窓）および内装オブジェクトを示す図である。 画像処理装置の構成例を示すブロック図である。 仮想空間上の構成物配置を示す図である。 視点運動と仮想視点運動を説明するための図である。 基準視界での電子ミラーの見え方の一例を示す図である。 初期化フローの一例を示すフローチャートである。 視点検出領域と視線検出領域の一例を示す図である。 運転者による視界設定の調整の一例を示す図である。 視点運動と移動平均の一例を示す図である。 撮影されたカメラ画像を説明するための図である。 カメラ画像の配置例を示す図である。 カメラ画像の配置の違いによるカメラ画像の見え方の変化を示す図である。 カメラ画像配置演算部の処理フローの一例を示すフローチャートである。 カメラ画像配置演算部の処理フローの他の一例を示すフローチャートである。 カメラ画像配置演算部の処理フローの他の一例を示すフローチャートである。 仮想空間上のカメラ画像配置を示す図である。 仮想空間上における描画に必要な要素の配置例を示す図である。 画像描画部で得られる表示画像の一例を示す図である。 画像処理装置における通常動作フローの処理の一例を示すフローチャートである。 表示画像処理の一例を示すフローチャートである。 視点運動による描画オブジェクト移動の重なり具合の変化を示す図である。 描画処理のバリエーションを示す図である。 従来の電子ミラー（バックミラー）技術について説明するための図である。 本技術の電子ミラー（バックミラー）技術について説明するための図である。 サイドミラーに関する従来技術を説明するための図である。 本技術を適用したサイドミラーを代替する電子ミラーを説明するための図である。 車両の構成物配置の一例を示す図である。 画像処理装置の構成例を示すブロック図である。 仮想空間上におけるカメラ画像の配置位置を示す図である。 仮想空間上における描画に必要な要素の配置例を示す図である。 コンピュータのハードウェアの構成例を示すブロック図である。
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
　１．実施の形態
　２．変形例
　＜１．実施の形態＞
　［車両の構成物配置］
　図１は、実施の形態としての車両１０の構成物配置の一例を示している。車両１０は、車体（ボディ）１００と、車体開口部（窓）１０１と、シートなどの内装オブジェクト１０２を有している。図２（ａ）は車体（ボディ）１００を示し、図２（ｂ）のハッチング部分は車体開口部（窓）１０１を示し、図２（ｃ）はシート等の内装オブジェクト１０２を示している。
　また、車両１０は、後方撮影部１０３と、後方距離計測部１０４と、視点計測部１０５と、視線計測部１０６を有している。後方撮影部１０３は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラで構成されており、車両１０のリア側外郭に後方を撮影するように取り付けられている。後方距離計測部１０４は、例えばＴｏＦ（Time of Flight）方式距離画像センサで構成されており、車両１０のリア側外郭に後方の距離画像を取得するように取り付けられている。
　視点計測部１０５は、運転者（ユーザ）の視点位置を検出するものである。視点計測部１０５は、車両１０のフロント側内部に取り付けられている。視点計測部１０５は、例えば、ＣＭＯＳカメラを備えており、そのカメラの撮影画像に基づいて運転者の眼の位置を視点位置として計測する。なお、視点計測部１０５は、例えば、赤外線カメラにより撮影した画像に基づいて運転者の視点位置を計測してもよい。視線計測部１０６は、運転者の視線を検出するものである。視線計測部１０６は、車両１０のフロント側内部に取り付けられている。視線計測部１０６は、例えば、ＣＭＯＳカメラを備えており、運転者の瞳の画像に基づいて、運転者の視線、つまり運転者がどこを見ているかを検出する。
　また、車両１０は、映像表示部（ディスプレイ）１０７と、ユーザ操作部１０８と、画像処理装置１０９を有している。映像表示部１０７は、従来のルームミラーの代わりに、車両１０のフロント側内部に取り付けられており、略長方形状の表示面を有している。映像表示部１０７は、ＬＣＤ（liquid crystal display）や有機ＥＬ（Electronic Luminescent）パネルなどで構成される。
　ユーザ操作部１０８は、運転者による種々の操作を受け付けるユーザインタフェースを構成している。このユーザ操作部１０８は、例えば、インフロントパネルに配置される機械的な操作ボタン、さらには映像表示部１０７の画面上に配置されるタッチパネル等で構成されている。映像表示部１０７は、基本的には車両１０の後方画像を表示するものであるが、タッチパネル機能を有する場合には、必要に応じて、ユーザ操作のためのＵＩ（User Interface）表示もされる。
　画像処理装置１０９は、映像表示部１０７に表示する表示画像を得るための処理をする。画像処理装置１０９は、車両１０の内部の任意の場所、例えば図示のようにインフロントパネル部分に配置される。画像処理装置１０９は、後方撮影部１０３で得られたカメラ画像に基づき、運転者の視点位置の基準視点位置からのずれに応じて表示画像を得る。そして、この場合、画像処理装置１０９は、視点位置の長期的変動に基づいて基準視点位置を更新する。これにより、直感的で見易い視界を提供しながら、運転者の姿勢の変化があっても適切な後方視界が得られるようになる。
　この場合、画像処理装置１０９は、運転者の視線が表示画像を表示する表示部を含む一定の領域にあるとき、基準視点位置を更新しないようにする。これにより、運転者の視点変動に対応して後方映像の表示画角が精度よく変化するため、直感的で見易い視界の提供を精度よく行い得る。
　また、この場合、画像処理装置１０９は、運転者の視点位置が着座状態に対応した一定の領域に入ったとき、その運転者の視線が表示画像を表示する表示部上に一定時間継続してあった場合の運転者の視点位置を初期基準視点位置として登録する。これにより、運転者の交代があった場合にあっても、運転の最初から運転者に対して適切な後方視界を提供することが可能となる。
　また、この場合、画像処理装置１０９は、後方撮影部１０３で得られたカメラ画像に、車両１０を示す画像としての車室内画像（シート、ヘッドレスト、窓、ピラー等）を３Ｄ ＣＧで重畳合成して表示画像を得る。この場合、カメラ画像だけで表示画像を構成するものではなく、そのカメラ画像に車室内画像を重畳して表示画像を得るものであることから、運動視差による距離感の提供を簡単に実現できる。
　この場合、画像処理装置１０９は、視点計測部１０５で得られる運転者の視点位置の基準視点位置からのずれに従って撮影画像と車室内画像との重畳位置関係を変化させる。これにより、運転者に実際のルームミラーを見ているのに近い運動視差を生じさせ、運転者の距離間の知覚を補助できる。
　［画像処理装置の構成］
　図３は、画像処理装置１０９の構成例を示している。画像処理装置１０９は、記憶部１１１と、視錐台形状位置演算部１１２と、物体履歴記憶部１１３と、長期視点運動計測部１１４と、カメラ画像配置演算部１１５と、仮想空間配置演算部１１６と、射影演算部１１７と、画像描画部１１８を有している。
　画像処理装置１０９は、図４に示すように、画像処理の対象となる構成物、つまり車両１０の３Ｄ ＣＧデータ（ボディ、窓、内装など）に加え、後方を撮影したカメラ画像を仮想空間上に配置し、仮想視点位置および仮想映像表示部１０７Ａに基づいて求められる視錐台を置く。そして、画像処理装置１０９は、この視錐台によって生成される画像を、必要に応じて拡大縮小の処理を施した後、映像表示部１０７に表示される表示画像として出力する。なお、仮想映像表示部１０７Ａの大きさが映像表示部１０７と同じ大きさである場合には、拡大縮小の処理は不要となる。
　この場合、画像処理装置１０９は、図５に示すように、視点計測部１０５で計測された運転者の視点位置の運動を基準視点位置に対する相対運動として計測し、これに対応して仮想視点位置を基準仮想視点位置から動かすことで、仮想映像表示部１０７Ａ、従って映像表示部１０７に表示される画像（映像）を変化させ、運転者に適切な運動視差を提供する。
　図３に戻って、記憶部１１１は、基準視点位置や基準視界設定の情報、さらには車両の３Ｄ ＣＧデータを記憶する。ここで、基準視界は、基準となる後方視界であり、仮想視点位置および仮想映像表示部１０７Ａによって形成される視錐台による視界を意味する。そのため、基準視界設定の情報は、基準仮想視点位置と、仮想映像表示部１０７Ａの位置と大きさの情報である。
　基準視界として好ましい後方視界は、運転状況や個人によって異なるが、上下左右がバランスよく映り、消失点が画面中央のやや上にある視界が一般的な基準視界として考えられる。図６は、基準視界として好ましい後方視界の一例を示している。この例では、直線水平道路を走行している状態で、消失点が画面中央のやや上にある。なお、図６において、縦方向および横方向に延びる破線の交点は画面中心を表している。
　画像処理装置１０９は、運転者（ユーザ）が運転席に着座後に、初期化フローを実施し、記憶部１１１に、当該運転者に適切な基準視点位置を、自動的に登録する。この初期化フローで登録される基準視点位置は初期基準視点位置である。このように初期基準視点位置を登録することで、運転者の基準とすべき視点位置の個人差を吸収でき、運転者の交代があった場合にあっても運転の最初から当該運転者に対して適切な後方視界を提供することが可能となる。この実施の形態において、基準視点位置は、後述するように視点位置の長期的変動に基づいて、初期基準視点位置から順次更新されていく。
　図７のフローチャートは、初期化フローの一例を示している。画像処理装置１０９は、ステップＳＴ１１において、処理を開始する。次に、画像処理装置１０９は、ステップＳＴ１２において、視点計測部１０５の検出結果に基づいて運転者の現在の視点位置を取得すると共に、視線計測部１０６の検出結果に基づいて運転者の現在の視線位置を取得する。
　次に、画像処理装置１０９は、ステップＳＴ１３において、視点は視点検出領域（図８参照）内にあるか否かを判断する。ここで、視点検出領域は、予め、運転席に着座した状態における運転者の視点を含むように設定されている。そのため、運転者の視点がこの視点検出領域内にあるということは、運転者が運転席に着座しているものとみなすことができる。
　視点が視点検出領域内にないとき、画像処理装置１０９は、ステップＳＴ１２の処理に戻る。一方、視点が視点検出領域内にあるとき、画像処理装置１０９は、ステップＳＴ１４において、視線は視線検出領域（図８参照）内の映像表示部１０７上にあるか否かを判断する。ここで、視線検出領域は、映像表示部１０７およびその周辺を含む領域に予め設定されている。
　視線が映像表示部１０７上にないとき、画像処理装置１０９は、ステップＳＴ１２の処理に戻る。一方、視線が映像表示部１０７上にあるとき、画像処理装置１０９は、ステップＳＴ１５の処理に移る。ステップＳＴ１５において、画像処理装置１０９は、視線は一定時間以上、ここでは１秒以上継続して映像表示部１０７上にあるか否かを判断する。
　視線が１秒以上継続して映像表示部１０７上にないとき、画像処理装置１０９は、ステップＳＴ１２の処理に戻る。一方、視線が１秒以上継続して映像表示部１０７上にあるとき、画像処理装置１０９は、ステップＳＴ１６において、現在の視点位置を基準視点位置として、記憶部１１１に登録する。その後、画像処理装置１０９は、ステップＳＴ１７において、一連の処理を終了する。
　基準視界設定の登録に関しては、運転者は、ユーザ操作部１０８、例えば映像表示部１０７の画面上に配置されたタッチパネル上でのタッチ操作を行って実行することができる。この場合、基準視点位置での後方視界の見え方が所望のものとなるように視界設定（仮想視点位置など）が調整され、その調整後の視界設定が基準視界設定として、記憶部１１１に登録される。
　図９（ａ）、（ｂ）は、運転者による視界設定の調整の一例を示している。この例では、運転者が図９（ａ）に示すようにタッチパネル上で右方向にスライド操作をすることで、図９（ｂ）に示すように仮想視点位置Ａから仮想視点位置Ｂに移動し、基準視界Ａから基準視界Ｂへと変更されることを示している。
　なお、運転席に着座した運転者は、基準視界設定の登録をかならずしも行う必要はない。基準視界設定の登録を行わない場合、記憶部１１１に既に登録されている基準視界設定がそのまま用いられる。また、記憶部１１１が基準視界設定を複数保持し、運転状況に応じて手動あるいは自動で切り替えて使うことも考えられる。
　記憶部１１１に記憶（登録）されている基準視点位置および基準視界設定の情報は、通常動作フローにおいて用いられるが、基準視点位置に関しては、視点位置の長期的変動に基づいて順次更新されていく。そのため、運転者の姿勢の変化があっても適切な後方視界を常に得ることが可能となる。
　図３に戻って、長期視点運動計測部１１４は、通常動作フローにおいて、視点計測部１０５で得られる運転者の視点位置の長期的変動に基づいて記憶部１１１に記憶されている基準視点位置を更新する。この場合、長期視点運動計測部１１４は、所定のサンプルレートで得られる視点位置を一定の移動平均区間毎に平均して基準視点位置の更新値を順次得る。
　図１０は、視点運動と移動平均、つまり更新値の一例を示している。図示の例は、視点位置のサンプルレートが６０ｓａｍｐｌｅ/ｓｅｃであって移動平均区間が５００ｍｓｅｃである場合を示している。また、図示の例は、1軸分のみだが、同様の計算を上下方向、前後方向、左右方向それぞれで算出し、移動平均値を基準視点位置として採用することで、姿勢変動のような視点位置の長期的な変動に追従し、常に良好な後方視界を提供することができる。なお、視点位置のサンプルレートや移動平均区間は、この値に限定されるものではない。
　この実施の形態において、長期視点運動計測部１１４は、運転者の視線が映像表示部１０７を含む視線検出領域（図８参照）内にあるとき、基準視点位置を更新しない。これにより、運転者の視点変動に対応して後方映像の表示画角が精度よく変化するため、直感的で見易い視界の提供を精度よく行い得る。なお、運転者の視線が映像表示部１０７を含む視線検出領域内にあるか否かによらず基準視点位置を更新することも考えられる。
　図３に戻って、視錐台形状位置演算部１１２は、記憶部１１１から読み出される基準視点位置および基準視界設定の情報と、視点計測部１０５で検出される現在の視点位置に基づいて、仮想空間上での視錐台の形状と位置を算出する。この場合、基準視点位置からの視点位置（現在の視点位置）のずれ（距離、方向のずれ）に応じて基準仮想視点位置からずらされた仮想視点位置（現在の仮想視点位置）が求められ（図５参照）、この仮想視点位置と仮想映像表示部１０７Ａの大きさおよび位置に基づいて仮想視点を頂点とする視錐台の位置と形状が求められる（図４参照）。
　カメラ画像配置演算部１１５は、後方距離計測部１０４で取得される後方の距離画像、後方撮影部１０３で取得される後方のカメラ画像、視錐台形状配置演算部１１２で求められた視錐台の形状と位置などに基づいて、仮想空間上でのカメラ画像の配置距離を算出する。このカメラ画像の配置位置によって、運転者が視点位置を動かした際に、車室内画像（ボディ、窓、内装）に見え隠れするカメラ画像に映る被写体の見え方（運動視差）が異なってくる。適切な運動視差を提供するためには、仮想空間上においてカメラ画像を適切な位置に配置する必要がある。
　実際にカメラで撮影された画像は、図１１に示すように、３次元空間を距離方向に圧縮したものであり、別々の距離にある物体（オブジェクト）Ａ～Ｄが２次元の画像として距離に応じた大きさで撮影されている。そのため、このカメラ画像を３次元空間上のどこに置いても完全に適切にはならず、カメラ画像を置いた距離に存在する物体についてのみ適切な位置になる。なお、実際には、カメラレンズの被写界深度から外れた画像はボヤけるが、ここでは理想的なパンフォーカスカメラとして考察している。
　図１２は、物体Ａの距離にカメラ画像を置いた場合（画像配置Ａ）と、物体Ｄの距離にカメラ画像を置いた場合（画像配置Ｄ）を示している。そして、図１３（ａ），（ｂ），（ｃ）は、それぞれ、視界（仮想視点位置で決まる視錐台に対応）を右、中央、左と動かした場合の視野を示している。
　図１３（ａ），（ｂ），（ｃ）を見比べると、画像配置Ａの場合と画像配置Ｄの場合で、視界に入るカメラ画像の範囲が異なり、視界の運動に伴ってカメラ画像内を動く範囲が異なる事がわかる。これが、カメラ画像内の物体に対する運動視差であり、着目したい物体（オブジェクト）の距離にカメラ画像を置くことで、その物体と車両との間で起こる運動視差を正しく表現する事ができる。
　注意すべき点として、着目する物体以外の物体については、表示される大きさや、視点運動に伴って生じる運動視差が正しく表現されない事があげられる。全ての物体について正しい運動視差を提供するためには、後方を３Ｄで撮影し、全ての物体を分離して仮想空間上に配置する必要がある。しかし、そのような処理は非常に大きな計算力を必要とする。
　本技術は、着目する物体以外の運動視差を諦めることで、比較的小さな計算量で、着目した物体に対する運動視差を提供することを特徴としている。
　限定的な運動視差によって、有用な距離感を提示するためには、運転者に距離感を提示するのに相応しい、着目する物体を選択する必要がある。距離感を提示するのに相応しい物体を選択するにあたり、考慮すべき事象を以下に挙げる。
　（１）車両と物体との距離（車両に最も近い物体。）
　（２）車両と物体との距離の変化（近づいているか、遠ざかっているか。）
　（３）物体の大きさ（一定以下の大きさの物体には着目する必要がない。 Ex. 昆虫）
　（４）その物体が何か（車なのか、自転車なのか、人なのか、壁なのか、植物なのか。）
　（５）運転者が見ているもの（運転者はどこを見ているか）
　これらの全てを考慮して総合的に判断するのが理想的であるが、一部の事象のみでも有用なシステムを提供することは可能である。図１４のフローチャートは、カメラ画像配置演算部１１５の処理フローの一例を示している。この処理例は、上述の（１）、（２）、（３）の事象を考慮したものであり、後方距離計測部１０４で取得される距離画像のみを用いて実現し得るものである。
　カメラ画像配置演算部１１５は、後方距離計測部１０４で距離画像を取得する毎に、図１４のフローチャートに示す処理フローを実行する。なお、後方距離計測部１０４は、例えば、１２０ｆｐｓの頻度で距離画像を取得する。
　カメラ画像配置演算部１１５は、ステップＳＴ２１において、後方距離計測部１０４で距離画像を取得するタイミングで処理を開始する。次に、カメラ画像配置演算部１１５は、ステップＳＴ２２において、距離画像から物体（オブジェクト）を抽出し、一定以上の大きさの物体について、位置、形状、大きさ、距離のリストを作成する。そして、カメラ画像配置演算部１１５は、ステップＳＴ２３において、作成されたリストを物体履歴記憶部１１３に保存する。
　次に、カメラ画像配置演算部１１５は、ステップＳＴ２４において、物体履歴記憶部１１３の履歴データを閲覧し、形状の特徴から、同一の物体を探索し、履歴のない物体をリストから削除し、履歴のある物体は車両との相対速度を算出してリストに追加する。
　次に、カメラ画像配置演算部１１５は、ステップＳＴ２５において、作成されたリストからカメラの有効撮影距離を外れる物体を排除する。これは、カメラのフォーカスが合わない距離にある物体を外すことを意図している。距離が測定できても、カメラ画像が撮影できないのであれば、カメラ画像配置距離としては不適切なので、排除するものである。
　次に、カメラ画像配置演算部１１５は、ステップＳＴ２６において、一定以上の速度で遠ざかっている物体をリストから削除する。次に、カメラ画像配置演算部１１５は、ステップＳＴ２７において、視錐台およびその近傍から外れる物体をリストから削除する。そして、カメラ画像配置演算部１１５は、ステップＳＴ２８において、リストにデータが残っているか否かを判断する。
　リストにデータが残っているとき、カメラ画像配置演算部１１５は、ステップＳＴ２９において、車両から最も近い物体との距離をカメラ画像配置距離に採用する。カメラ画像配置演算部１１５は、ステップＳＴ２９の処理の後、ステップＳＴ３０において、一連の処理を終了する。
　また、ステップＳＴ２８でリストにデータが残っていないとき、ステップＳＴ３１において、予め定めたデフォルト距離をカメラ画像配置距離に採用する。ここで、デフォルト距離は、遠景を配置するのに適した距離である。距離感を提示する上では計算能力が許す限り遠方が望ましい。しかし、現実的には、例えば、後方距離計測部１０４の計算能力を参考にデフォルト距離が決められる。例えば、デフォルト距離は、Ｌｉｄａｒ（light detection and ranging）では１００ｍ程、ＴｏＦセンサでは２５０ｍ程とすることが考えられる。カメラ画像配置演算部１１５は、ステップＳＴ３１の処理の後、ステップＳＴ３０において、一連の処理を終了する。
　図１５のフローチャートは、カメラ画像配置演算部１１５の処理フローの他の一例を示している。この処理例は、上述の（１）、（３）、（４）の事象を考慮したものであり、後方距離計測部１０４で取得される距離画像の他に、後方撮影部１０３で得られたカメラ画像を用いて実現し得るものである。
　カメラ画像配置演算部１１５は、後方距離計測部１０４で距離画像を取得する毎に、図１５のフローチャートに示す処理フローを実行する。なお、後方距離計測部１０４は、例えば、１２０ｆｐｓの頻度で距離画像を取得する。
　カメラ画像配置演算部１１５は、ステップＳＴ６１において、後方距離計測部１０４で距離画像を取得するタイミングで処理を開始する。次に、カメラ画像配置演算部１１５は、ステップＳＴ６２において、距離画像から物体を抽出し、一定以上の大きさの物体について、位置、形状、大きさ、距離のリストを作成する。
　次に、カメラ画像配置演算部１１５は、ステップＳＴ６３において、作成されたリストからカメラの有効撮影距離を外れる物体を排除する。これは、カメラのフォーカスが合わない距離にある物体を外すことを意図している。距離が測定できても、カメラ画像が撮影できないのであれば、カメラ画像配置距離としては不適切なので、排除するものである。
　次に、カメラ画像配置演算部１１５は、ステップＳＴ６４において、画像認識により物体を認識し、画像配置に不相応な物体（例えば、鳥、枯れ葉など）をリストから削除する。次に、カメラ画像配置演算部１１５は、ステップＳＴ６５において、視錐台およびその近傍から外れる物体をリストから削除する。そして、カメラ画像配置演算部１１５は、ステップＳＴ６６において、リストにデータが残っているか否かを判断する。
　リストにデータが残っているとき、カメラ画像配置演算部１１５は、ステップＳＴ６７において、車両から最も近い物体との距離をカメラ画像配置距離に採用する。カメラ画像配置演算部１１５は、ステップＳＴ６７の処理の後、ステップＳＴ６８において、一連の処理を終了する。
　また、ステップＳＴ６６でリストにデータが残っていないとき、ステップＳＴ６９において、予め定めたデフォルト距離（遠景を配置するのに適した距離）をカメラ画像配置距離に採用する。カメラ画像配置演算部１１５は、ステップＳＴ６９の処理の後、ステップＳＴ６８において、一連の処理を終了する。
　図１６のフローチャートは、カメラ画像配置演算部１１５の処理フローのさらに他の一例を示している。この処理例は、上述の（１）、（３）、（５）の事象を考慮したものであり、後方距離計測部１０４で取得される距離画像の他に、視線計測部１０６における運転者（ユーザ）の視線検出結果を用いて実現し得るものである。
　カメラ画像配置演算部１１５は、後方距離計測部１０４で距離画像を取得する毎に、図１６のフローチャートに示す処理フローを実行する。なお、後方距離計測部１０４は、例えば、１２０ｆｐｓの頻度で距離画像を取得する。
　カメラ画像配置演算部１１５は、ステップＳＴ７１において、後方距離計測部１０４で距離画像を取得するタイミングで処理を開始する。次に、カメラ画像配置演算部１１５は、ステップＳＴ７２において、距離画像から物体を抽出し、一定以上の大きさの物体について、位置、形状、大きさ、距離のリストを作成する。
　次に、カメラ画像配置演算部１１５は、ステップＳＴ７３において、作成されたリストからカメラの有効撮影距離を外れる物体を排除する。そして、カメラ画像配置演算部１１５は、ステップＳＴ７４において、リストにデータが残っているか否かを判断する。
　リストにデータが残っているとき、カメラ画像配置演算部１１５は、ステップＳＴ７５において、視線計測部１０６で得られる運転者（ユーザ）の視線を取得する。そして、カメラ画像配置演算部１１５は、ステップＳＴ７６において、視線に最も近い位置にある物体の距離をカメラ画像配置距離に採用する。カメラ画像配置演算部１１５は、ステップＳＴ７６の処理の後、ステップＳＴ７７において、一連の処理を終了する。
　また、ステップＳＴ７４でリストにデータが残っていないとき、ステップＳＴ７８において、予め定めたデフォルト距離（遠景を配置するのに適した距離）をカメラ画像配置距離に採用する。カメラ画像配置演算部１１５は、ステップＳＴ７８の処理の後、ステップＳＴ７７において、一連の処理を終了する。
　図１７は、仮想空間上におけるカメラ画像の配置位置を示している。カメラ画像は後方撮影部１０３により所定の撮影画角で撮影されて得られたものである。このカメラ画像は、仮想空間上において、車両１０の後部から、カメラ画像配置演算部１１５で算出されたカメラ画像配置距離だけ離れた位置に配置される。
　図３に戻って、仮想空間配置演算部１１６は、仮想空間上に描画に必要な要素を配置する。すなわち、仮想空間配置演算部１１６は、仮想空間上に、記憶部１１１に記憶されている車両１０の３Ｄ ＣＧデータ（ボディ、窓、内装など）を配置すると共に、カメラ画像配置演算部１１５で算出されたカメラ画像配置距離の位置にカメラ画像を配置し、さらに、視錐台形状配置演算部１１２で算出された形状と位置に基づいて視錐台を配置する。図１８は、仮想空間上における描画に必要な要素の配置例を示している。
　射影演算部１１７は、仮想映像表示部１０７Ａを射影面として、仮想空間上のオブジェクトを射影画像に変換する。画像描画部１１８は、射影演算部１１７で得られた射影画像にカメラ画像および３Ｄ ＣＧデータのディテールを描画する処理、さらには画像の大きさを映像表示部１０７の大きさに合わせるための拡大縮小の処理を施し、映像表示部１０７に供給する表示画像を出力する。図１９は、画像描画部１１８で得られる表示画像の一例を示している。
　図２０のフローチャートは、画像処理装置１０９における通常動作フローの処理の一例を示している。画像処理装置１０９は、この図２０のフローチャートに示す処理を、視点計測部１０５、視線計測部１０６における視点、視線の検出周期、例えば１/６０秒に同期し、その周期で実行する。
　画像処理装置１０９は、ステップＳＴ４０において、処理を開始する。次に、画像処理装置１０９は、ステップＳＴ４１において、視点計測部１０５の検出結果に基づいて現在の視点位置を取得すると共に、視線計測部１０６の検出結果に基づいて現在の視線位置を取得する。そして、画像処理装置１０９は、ステップＳＴ４２において、視点位置データを蓄積する。
　次に、画像処理装置１０９は、ステップＳＴ４３において、視線は視線検出領域（図８参照）内にあるか否かを判断する。視線が視線検出領域内にあるとき、画像処理装置１０９は、ステップＳＴ４４において、基準視点位置と現在の視点位置との差分を基準仮想視点位置からの仮想視点の差分に変換して仮想視点位置を算出する（図５参照）。次に、画像処理装置１０９は、ステップＳＴ４５において、仮想視点位置から視錐台の形状と位置を算出する。画像処理装置１０９は、このステップＳＴ４５の処理の後、ステップＳＴ４６の処理に進む。
　一方、ステップＳＴ４３で視線が視線検出領域内にないとき、画像処理装置１０９は、ステップＳＴ４７において、視点位置を一定の移動平均区間毎に平均して長期視点位置、従って基準視点位置の更新値を取得する。そして、画像処理装置１０９は、ステップＳＴ４８において、ステップＳＴ４７で取得された長期視点位置を基準視点位置として採用し、記憶部１１１に保存する。
　なお、ステップＳＴ４７およびステップＳＴ４８は、一定の移動平均区間毎、例えば５００ｍｓｅｃ毎に実行される。しかし、このステップＳＴ４７およびステップＳＴ４８を、視点計測部１０５、視線計測部１０６における視点、視点の検出周期で行うことも考えられる。その場合、ステップＳＴ４７では、過去一定の移動平均区間の視点位置が平均されて長期視点位置が取得される。
　次に、画像処理装置１０９は、ステップＳＴ４９において、基準仮想視点位置から視錐台の形状と位置を算出する。このように、視線が視線検出領域内にないときは現在の視点位置に影響されることなく、常に、基準仮想視点位置から視錐台の形状と位置が算出される。これにより、映像表示部１０７に表示される後方視界の表示画像は、運転者（ユーザ）の視点位置の運動によらずに安定したものとなる。画像処理装置１０９は、このステップＳＴ４９の処理の後、ステップＳＴ４６の処理に進む。画像処理装置１０９は、ステップＳＴ４６において、表示画像処理を行い、その後ステップＳＴ４１の処理に戻り、上述したと同様の処理を繰り返す。
　図２１のフローチャートは、表示画像処理の一例を示している。画像処理装置１０９は、ステップＳＴ５０において、処理を開始する。次に、画像処理装置１０９は、ステップＳＴ５１において、後方撮影部１０３で得られる後方のカメラ画像を取得する。次に、画像処理装置１０９は、ステップＳＴ５２において、カメラ画像配置距離を算出する。
　次に、画像処理装置１０９は、ステップＳＴ５３において、仮想空間上に、描画に必要な要素である、車両１０の３Ｄ ＣＧデータ（ボディ、窓、内装など）、カメラ画像、視錐台を配置する（図１８参照）。次に、画像処理装置１０９は、ステップＳＴ５４において、仮想空間上の構成物を射影座標系に変換して射影画像を得る。
　次に、画像処理装置１０９は、ステップＳＴ５５において、射影画像にカメラ画像および３Ｄ ＣＧデータのディテールを描画する処理を行って表示画像を得る。次に、画像処理装置１０９は、ステップＳＴ５６において、表示画像を映像表示部１０７に出力する。画像処理装置１０９は、ステップＳＴ５６の処理の後、ステップＳＴ５７において、一連の処理を終了する。
　画像処理装置１０９は、上述の通常動作フローの処理を、視点、視線の検出周期ごとに実行する。そのため、運転者（ユーザ）の視線が映像表示部１０７上にある場合、映像表示部１０７に表示される表示画像は、視点の運動と、着目する後方物体との距離によって、描画対象オブジェクトの重なり具合が適切に変化し、つまり適切な運動視差が得られ、運転者は、後方のカメラ画像に対して適切な距離感を得ることができる。
　図２２（ａ），（ｂ），（ｃ）は映像表示部１０７に表示される表示画像の一例を示している。図２２（ａ）は運転者の視点位置が標準視点位置にある場合を示しており、図２２（ｂ）は運転者の視点位置が標準視点位置から右に移動した場合を示しており、さらに、図２２（ｃ）は運転者の視点位置が標準視点位置から左に移動した場合を示している。運転者の視点位置に応じて、車室内ＣＧ画像とカメラ画像内のオブジェクト（自動車）との重なり具合が変化していることが分かる。
　なお、内装オブジェクトや車体は、実ミラーであれば後方が見えない死角を作ってしまうが、本技術では、描画の際に透過して描画したり、或いは一部を非表示にしたりすることで、運動視差によって距離感の知覚を補助しつつ、後方視界を広く保つことも可能である。例えば、図２３（ａ）は、内装オブジェクトとしての後部シートを非表示としたものである。また、図２３（ｂ）は、車体および内装オブジェクトとしての後部シートを低透過率としたものであり、図２３（ｃ）は、車体および内装オブジェクトとしての後部シートを高透過率としたものである。
　勿論、死角の発生を気にしなければ、内装オブジェクトや車体を透過率０％で描画し、実ミラーのような画像を生成して表示してもよい。
　また、内装オブジェクトは、シート等に限らず、例えば窓ガラス上に絵柄を描くことで、より距離知覚を強調することもできる。図２３（ｄ）は、窓ガラス上のオブジェクトとして水平ラインを設けたものである。
　画像処理装置１０９は、上述の通常動作フローの処理をすることで、運転者（ユーザ）の視線が映像表示部１０７上にない場合、運転者の視点位置の長期的変動に基づいて基準視点位置が更新されていく。そのため、運転者の姿勢の変化があっても映像表示部１０７に後方視界を適切に表示し続けることができる。
　図２４（ａ）～（ｃ）は、従来の電子ミラー（バックミラー）技術について示している。図２４（ａ）は、運転者（ユーザ）の姿勢が適正な位置にある場合に、映像表示部に後方視界が基準の視界で適切に表示されることを示している。図２４（ｂ）は、運転者の体全体がシートに沈みこむことによる運転者の視点位置の急な変動（短期的視点変動）がある場合に、映像表示部に表示される後方視界が上に向くことを示している。図２４（ｃ）は、運転者の体全体がシートに沈みこむことが継続することによる運転者の視点位置の変動（長期的視点変動）がある場合に、映像表示部に表示される後方視界が上に向いたままとなることを示している。
　図２５（ａ）～（ｃ）は、本技術の電子ミラー（バックミラー）技術について示している。図２５（ａ）は、運転者（ユーザ）の姿勢が適正な位置にある場合に、映像表示部１０７に後方視界が基準視界で適切に表示されることを示している。図２５（ｂ）は、運転者の体全体がシートに沈みこむことによる運転者の視点位置の急な変動（短期的視点変動）がある場合に、映像表示部１０７に表示される後方視界が上に向くことを示している。図２５（ｃ）は、運転者の体全体がシートに沈みこむことが継続することによる運転者の視点位置の変動（長期的視点変動）がある場合に、映像表示部１０７に表示される後方視界が基準視界に戻って適切に表示されることを示している。
　上述したように、図１に示す車両１０においては、図３に示す画像処理装置１０９により、車両１０の後方を撮影して得られたカメラ画像に基づき運転者の視点位置の基準視点位置からのずれに応じて表示画像を得るものにあって、視点位置の長期的変動に基づいて基準視点位置を更新するものである。そのため、直感的で見易い視界を提供しながら、運転者の姿勢の変化があっても適切な後方視界の表示が可能となる。
　また、図１に示す車両１０においては、図３に示す画像処理装置１０９により、運転者の視線が表示画像を表示する映像表示部１０８を含む一定の領域（視線検出領域）にあるとき、基準視点位置を更新しないものである。そのため、運転者の視点変動に対応して後方映像の表示画角が精度よく変化するため、直感的で見易い視界の提供を精度よく行うことができる。
　また、図１に示す車両１０においては、図３に示す画像処理装置１０９により、運転者の視点位置が着座状態に対応した一定の領域に入ったとき、その運転者の視線が表示画像を表示する映像表示部１０７上に一定時間継続してあった場合の運転者の視点位置を初期基準視点位置として登録するものである。そのため、運転者の交代があった場合にあっても、運転の最初から運転者に対して適切な後方視界を提供することが可能となる。
　また、図１に示す車両１０においては、図３に示す画像処理装置１０９により、車両１０の後方を撮影して得られたカメラ画像に車室内画像を重畳して、従来のルームミラーの代わりに配される映像表示部１０７に表示する表示画像を得るものである。車両の後方を撮影して得られたカメラ画像だけで表示画像を構成するものではなく、そのカメラ画像に車室内画像を重畳して表示画像を得るものであることから、運動視差による距離感の提供を簡単に実現できる。
　また、図１に示す車両１０においては、図３に示す画像処理装置１０９により、運転者の視点の視点位置の基準視点位置からのずれに従ってカメラ画像と車室内画像との重畳位置関係を変化させるものである。そのため、実際のバックミラーを見ているのに近い運動視差を生じさせ、運転者の距離間の知覚を補助できる。
　また、図１に示す車両１０においては、図３に示す画像処理装置１０９により、カメラ画像と車両１０を示す画像を三次元空間に配置し、運転者の視点の運動に従って変化する仮想視点位置を求め、その仮想視点位置で決まる視界によってカメラ画像と車室内画像を射影座標系に変換して表示画像を得るものである。そのため、運転者の視点の運動に従ってカメラ画像と車室内画像との重畳位置関係を精度よく変化させることができる。
　また、図１に示す車両１０においては、図３に示す画像処理装置１０９により、カメラ画像を、車両１０の後方に存在する着目する物体（オブジェクト）の位置に配置して、表示画像を得るものである。そのため、着目する物体を三次元空間の正しい位置に正しい大きさで配置でき、その物体と車室内画像との間で起こる運動視差を正しく表現することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
　＜２．変形例＞
　なお、上述実施の形態においては、車両のルームミラーを代替する電子ミラーに本技術を適用した例を示したが、本技術は、車両のサイドミラーを代替する電子ミラーにも適用できる。また、車両用の電子ミラーのみならず、一人で使用することが前提の電子ミラーであれば、本技術を適用することで、実際のミラーに近い距離感の提示を行うことができる。同様に、一人で使用することが前提であれば、電子ミラーではなく、電子窓にも本技術を適用できる。
　本技術を、車両のサイドミラーを代替する電子ミラーに適用する場合について説明する。図２６（ａ）は、従来のサイドミラーあるいは従来のサイドミラーを代替する電子ミラーを使用した場合における死角の範囲の一例を示している。図２６（ｂ）は、従来のサイドミラーに映る画像の一例を示している。この場合、後方物体の大きさの違いや、映り込む車体との運動視差によって、後方物体の距離感を得ることができる。図２６（ｃ）は、従来のサイドミラーを代替する電子ミラーの表示画像の一例を示している。この場合、視点が運動しても運動視差が生じないため、実ミラーとは異なって、距離感をうることが困難であった。
　図２７（ａ）は、本技術を適用したサイドミラーを代替する電子ミラーを使用した場合における死角の範囲の一例を示している。従来のサイドミラーあるいは従来のサイドミラーを代替する電子ミラーで死角となる自車の背後に関しても、運転者は視認することが可能となる。図２７（ｂ），（ｃ）は、本技術を適用したサイドミラーを代替する電子ミラーの表示画像の一例を示している。この場合、自車体が３Ｄ ＣＧで重畳描画されることから、運動視差による距離感を提供できる。また、図２７（ｃ）に示すように、自車体を透過的に重畳することで、自車の背後も視認することが可能となる。
　図２８は、車両１０の構成物配置の一例を示している。この図２８において、図１と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。車両１０は、車体（ボディ）１００と、車体開口部（窓）１０１と、シートなどの内装オブジェクト１０２を有している。また、車両１０は、後方撮影部１０３と、後方距離計測部１０４と、視点計測部１０５と、視線計測部１０６を有している。
　また、車両１０は、右側後方撮影部１０３Ｒと、右側後方距離計測部１０４Ｒと、左側後方撮影部１０３Ｌと、左側後方距離計測部１０４Ｌを有している。右側後方撮影部１０３Ｒおよび左側後方撮影部１０３Ｌは、それぞれ、例えばＣＭＯＳカメラで構成されており、車両１０の例えば従来のサイドミラー位置に後方を撮影するように取り付けられている。また、右側後方距離計測部１０４Ｒおよび左側後方距離計測部１０４Ｌは、それぞれ、例えばＴｏＦ方式距離画像センサで構成されており、車両１０の例えば従来のサイドミラー位置に後方の距離画像を取得するように取り付けられている。
　また、車両１０は、右側後方映像表示部（ディスプレイ）１０７Ｒと、左側後方映像表示部（ディスプレイ）１０７Ｌと、ユーザ操作部１０８と、画像処理装置１０９Ｓを有している。右側後方映像表示部１０７Ｒおよび左側後方映像表示部１０７Ｌは、それぞれ、ＬＣＤや有機ＥＬパネルなどで構成され、車両１０のフロント側内部の右側および左側の位置に取り付けられており、略長方形状の表示面を有している。
　ユーザ操作部１０８は、運転者による種々の操作を受け付けるユーザインタフェースを構成している。このユーザ操作部１０８は、例えば、インフロントパネルに配置される機械的な操作ボタン、さらには右側後方映像表示部１０７Ｒや左側後方映像表示部１０７Ｌの画面上に配置されるタッチパネル等で構成されている。
　画像処理装置１０９Ｓは、右側後方映像表示部１０７Ｒや左側後方映像表示部１０７Ｌに表示する表示画像を得るための処理をする。画像処理装置１０９Ｓは、車両１０の内部の任意の場所、例えば図示のようにインフロントパネル部分に配置される。画像処理装置１０９Ｓは、後方撮影部１０３、右側後方撮影部１０３Ｒおよび左側後方撮影部１０３Ｌで撮影して得られるカメラ画像に、車両１０を示す画像としての車体（ボディ）を３Ｄ ＣＧで重畳合成して、表示画像を得る。
　このように、カメラ画像だけで表示画像を構成するものではなく、そのカメラ画像に車体画像を重畳して表示画像を得るものであることから、運動視差による距離感の提供を簡単に実現できる。また、車体画像を透過的に重畳することで、運転者（ユーザ）は自車の背後に隠れて見えない物体も視認することが可能となる。
　図２９は、画像処理装置１０９Ｓの構成例を示している。この図２９において、図３と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。画像処理装置１０９Ｓは、記憶部１１１と、視錐台形状位置演算部１１２と、物体履歴記憶部１１３と、長期視点運動計測部１１４と、カメラ画像配置演算部１１５と、仮想空間配置演算部１１６と、射影演算部（右）１１７Ｒと、射影演算部（左）１１７Ｌと、画像描画部（右）１１８Ｒと、画像描画部（左）１１８Ｌを有している。
　画像処理装置１０９Ｓは、画像処理の対象となる構成物、つまり車両１０の３Ｄ ＣＧデータ（ボディなど）に加え、後方を撮影したカメラ画像を仮想空間上に配置する。そして、画像処理装置１０９Ｓは、右側後方表示に係る仮想視点位置および仮想映像表示部に基づいて視錐台を求め、この視錐台によって生成される画像を、必要に応じて拡大縮小の処理を施した後、右後方映像表示部１０７Ｒに表示される右後方表示画像として出力する。
　また、同様に、画像処理装置１０９Ｓは、左側後方表示に係る仮想視点位置および仮想映像表示部に基づいて視錐台を求め、この視錐台によって生成される画像を、必要に応じて拡大縮小の処理を施した後、左後方映像表示部１０７Ｌに表示される左後方表示画像として出力する。
　この場合、画像処理装置１０９Ｓは、視点計測部１０５で計測された運転者の視点位置の運動を基準視点位置に対する相対運動として計測し、これに対応して仮想視点位置を基準仮想視点位置から動かすことで、右側後方映像表示部１０７Ｒおよび左側後方映像表示部１０７Ｌに表示される画像（映像）を変化させ、運転者に適切な運動視差を提供する。
　記憶部１１１は、基準視点位置や右側後方表示および左側後方表示に係る基準視界設定の情報、さらには車両の３Ｄ ＣＧデータを記憶する。画像処理装置１０９は、運転者（ユーザ）が運転席に着座後に、初期化フローを実施し、記憶部１１１に、当該運転者に適切な基準視点位置を、自動的に登録する。この基準視点位置は、視点位置の長期的変動に基づいて、初期基準視点位置から順次更新されていく。
　画像処理装置１０９は、運転者（ユーザ）が運転席に着座後に、初期化フローを実施し、記憶部１１１に、当該運転者に適切な基準視点位置を、自動的に登録する。この初期化フローで登録される基準視点位置は初期基準視点位置である。このように初期基準視点位置を登録することで、運転者の基準とすべき視点位置の個人差を吸収でき、運転者の交代があった場合にあっても運転の最初から当該運転者に対して適切な後方視界を提供することが可能となる。
　長期視点運動計測部１１４は、通常動作フローにおいて、視点計測部１０５で得られる運転者の視点位置の長期的変動に基づいて、記憶部１１１に記憶されている基準視点位置を更新する。視錐台形状位置演算部１１２は、記憶部１１１から読み出される基準視点位置や基準視界設定の情報と、視点計測部１０５で検出される現在の視点位置に基づいて、仮想空間上での、右側後方表示用および左側後方表示用の２つの視錐台の形状と位置を算出する。
　カメラ画像配置演算部１１５は、右側後方距離計測部１０４Ｒ、後方距離計測部１０４および左側後方距離計測部１０４Ｌで取得される後方の距離画像、右側後方撮影部１０３Ｒ、後方撮影部１０３および左側後方撮影部１０３Ｌで取得される後方のカメラ画像、視錐台形状配置演算部１１２で求められる右側後方表示用および左側後方表示用の２つの視錐台の形状と位置などに基づいて、仮想空間上でのカメラ画像の配置距離を算出する。
　このカメラ画像の配置位置によって、運転者が視点位置を動かした際に、車体（ボディ）に見え隠れするカメラ画像に映る被写体の見え方（運動視差）が異なってくる。この場合、着目する物体に対して適切な運動視差を提供できるように、当該物体までの距離が配置距離として算出される。ここで、右側後方表示用および左側後方表示用で着目する物体が異なる場合も想定される。その場合には、右側後方表示用および左側後方表示用でカメラ画像の配置距離が異なる値に算出される。
　図３０は、仮想空間上におけるカメラ画像の配置位置を示している。カメラ画像は、右側後方撮影部１０３Ｒ、後方撮影部１０３および左側後方撮影部１０３Ｌにより所定の撮影画角で撮影されて得られたものである。このカメラ画像は、仮想空間上において、車両１０の後部からカメラ画像配置演算部１１５で算出されたカメラ画像配置距離だけ離れた位置に配置される。
　仮想空間配置演算部１１６は、仮想空間上に描画に必要な要素を配置する。すなわち、仮想空間配置演算部１１６は、仮想空間上に、記憶部１１１に記憶されている車両１０の３Ｄ ＣＧデータ（ボディなど）を配置すると共に、カメラ画像配置演算部１１５で算出されたカメラ画像配置距離の位置にカメラ画像を配置し、さらに、視錐台形状配置演算部１１２で算出された形状と位置に基づいて、右側後方表示用および左側後方表示用の２つの視錐台を配置する。図３１は、仮想空間上における描画に必要な要素の配置例を示している。
　図２９に戻って、射影演算部（右）１１７Ｒは、右側の仮想映像表示部１０７Ａを射影面として、仮想空間上のオブジェクトを射影画像に変換する。画像描画部（右）１１８Ｒは、射影演算部１１７Ｒで得られた射影画像にカメラ画像および３Ｄ ＣＧデータのディテールを描画する処理、さらには画像の大きさを右側後方映像表示部１０７Ｒの大きさに合わせるための拡大縮小の処理を施し、右側後方映像表示部１０７Ｒに供給する表示画像を出力する。
　また、射影演算部（左）１１７Ｌは、左側の仮想映像表示部１０７Ａを射影面として、仮想空間上のオブジェクトを射影画像に変換する。画像描画部（左）１１８Ｌは、射影演算部１１７Ｌで得られた射影画像にカメラ画像および３Ｄ ＣＧデータのディテールを描画する処理、さらには画像の大きさを左側後方映像表示部１０７Ｌの大きさに合わせるための拡大縮小の処理を施し、左側後方映像表示部１０７Ｌに供給する表示画像を出力する。
　画像処理装置１０９Ｓにおける基本的な処理フローは、左右の表示部用に別々に処理されることを除き、上述の実施の形態における画像処理装置１０９の処理フローと同様となるので、ここではその説明を省略する。
　なお、上述の画像処理装置１０９、１０９Ｓにおける一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図３２は、上述の一連の処理をプログラムにより実行するコンピュータ４００のハードウェアの構成例を示すブロック図である。
　コンピュータ４００において、ＣＰＵ（Central Processing Unit）４０１、ＲＯＭ（Read Only Memory）４０２、ＲＡＭ（Random Access Memory）４０３は、バス４０４により相互に接続されている。
　バス４０４には、さらに、入出力インターフェース４０５が接続されている。入出力インターフェース４０５には、入力部４０６、出力部４０７、記録部４０８、通信部４０９およびドライブ４１０が接続されている。
　入力部４０６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部４０７は、ディスプレイ、スピーカなどよりなる。記録部４０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部４０９は、ネットワークインターフェースなどよりなる。ドライブ４１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア４１１を駆動する。
　以上のように構成されるコンピュータ４００では、ＣＰＵ４０１が、例えば、記録部４０８に記録されているプログラムを、入出力インターフェース４０５およびバス４０４を介して、ＲＡＭ４０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ４００（ＣＰＵ４０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア４１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア４１１をドライブ４１０に装着することにより、入出力インターフェース４０５を介して、記録部４０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部４０９で受信し、記録部４０８にインストールすることができる。その他、プログラムは、ＲＯＭ４０２や記録部４０８に予めインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本技術は、以下のような構成もとることができる。
　（１）車両の後方を撮影して得られた撮影画像に基づき運転者の視点位置の基準視点位置からのずれに応じて表示画像を得る処理部と、
　上記視点位置の長期的変動に基づいて上記基準視点位置を更新する更新部を備える
　画像処理装置。
　（２）上記更新部は、上記運転者の視線が上記表示画像を表示する表示部を含む一定の領域にあるとき、上記基準視点位置を更新しない
　前記（１）に記載の画像処理装置。
　（３）上記運転者の視点位置が着座状態に対応した一定の領域に入ったとき、上記運転者の視線が上記表示画像を表示する表示部上に一定時間継続してあった場合の上記運転者の視点位置を初期基準視点位置として登録する登録部をさらに備える
　前記（１）または（２）に記載の画像処理装置。
　（４）上記更新部は、所定のサンプルレートで得られる上記視点位置を一定区間毎に平均して上記基準視点位置の更新値を順次得る
　前記（１）から（３）のいずれかに記載の画像処理装置。
　（５）上記処理部は、上記撮影画像に上記車両を示す画像を重畳して上記表示画像を得る
　前記（１）から（４）のいずれかに記載の画像処理装置。
　（６）上記車両を示す画像は、コンピュータグラフィックス画像である
　前記（５）に記載の画像処理装置。
　（７）上記車両の後方を撮影して得られた撮影画像は、上記車両の後部に取り付けられた撮影装置で撮影された撮影画像であり、
　上記車両を示す画像は、車室内画像である
　前記（５）または（６）に記載の画像処理装置。
　（８）上記車両の後方を撮影して得られた撮影画像は、上記車両の側部に取り付けられた撮影装置で撮影された撮影画像を含み、
　上記車両を示す画像は、車体画像である
　前記（５）または（６）に記載の画像処理装置。
　（９）上記処理部は、上記運転者の視点位置の基準視点位置からのずれに従って上記撮影画像と上記車両を示す画像との重畳位置関係を変化させる
　前記（５）から（８）のいずれかに記載の画像処理装置。
　（１０）上記処理部は、
　上記撮影画像と上記車両を示す画像を三次元空間に配置し、
　上記運転者の視点位置の基準視点位置からのずれに従って変化する仮想視点位置を求め、該仮想視点位置で決まる視界によって上記撮影画像と上記車両を示す画像を射影座標系に変換して上記表示画像を得る
　前記（９）に記載の画像処理装置。
　（１１）上記処理部は、上記撮影画像を、上記車両の後方に存在する所定のオブジェクトの位置に配置する
　前記（１０）に記載の画像処理装置。
　（１２）上記所定のオブジェクトは、上記車両に対して最も近くにあるオブジェクトである
　前記（１１）に記載の画像処理装置。
　（１３）上記所定のオブジェクトは、上記運転者が見ているオブジェクトである
　前記（１１）に記載の画像処理装置。
　（１４）上記処理部は、上記車両を示す画像を上記撮影画像が透過して見えるように、該撮影画像に重畳する
　前記（５）から（１３）のいずれかに記載の画像処理装置。
　（１５）車両の後方を撮影して得られた撮影画像に基づき運転者の視点位置の基準視点位置からのずれに応じて表示画像を得る手順と、
　上記視点位置の長期的変動に基づいて上記基準視点位置を更新する手順を有する
　画像処理方法。
　（１６）車両の後方を撮影する撮影部と、
　上記撮影部で撮影して得られた撮影画像に基づき運転者の視点位置の基準視点位置からのずれに応じて表示画像を得る処理部と、
　上記視点位置の長期的変動に基づいて上記基準視点位置を更新する更新部と、
　上記処理部で得られた表示画像を表示する表示部を備える
　画像処理システム。
　（１７）コンピュータを、
　車両の後方を撮影して得られた撮影画像に基づき運転者の視点位置の基準視点位置からのずれに応じて表示画像を得る処理手段と、
　上記視点位置の長期的変動に基づいて上記基準視点位置を更新する更新手段として機能させる
　プログラム。
　１０・・・・車両
　１００・・・車体（ボディ）
　１０１・・・車体開口部（窓）
　１０２・・・内装オブジェクト
　１０３・・・後方撮影部
　１０３Ｒ・・・右側後方撮影部
　１０３Ｌ・・・左側後方撮影部
　１０４・・・後方距離計測部
　１０４Ｒ・・・右側後方距離計測部
　１０４Ｌ・・・左側後方距離計測部
　１０５・・・視点計測部
　１０６・・・視線計測部
　１０７・・・映像表示部
　１０７Ａ・・・仮想映像表示部
　１０７Ｒ・・・右側後方映像表示部
　１０７Ｌ・・・左側後方映像表示部
　１０８・・・ユーザ操作部
　１０９，１０９Ｓ・・・画像処理装置
　１１１・・・記憶部
　１１２・・・視錐台形状配置演算部
　１１３・・・物体履歴記憶部
　１１４・・・長期視点運動計測部
　１１５・・・カメラ画像配置演算部
　１１６・・・仮想空間配置演算部
　１１７・・・射影演算部
　１１７Ｒ・・・射影演算部（右）
　１１７Ｌ・・・射影演算部（左）
　１１８・・・画像描画部
　１１８Ｒ・・・画像描画部（右）
　１１８Ｌ・・・画像描画部（左）

Claims (16)

  1. 　車両の後方を撮影して得られた撮影画像に基づき運転者の視点位置の基準視点位置からのずれに応じて表示画像を得る処理部と、
    　上記視点位置の長期的変動に基づいて上記基準視点位置を更新する更新部を備える
    　画像処理装置。
  2. 　上記更新部は、上記運転者の視線が上記表示画像を表示する表示部を含む一定の領域にあるとき、上記基準視点位置を更新しない
    　請求項１に記載の画像処理装置。
  3. 　上記運転者の視点位置が着座状態に対応した一定の領域に入ったとき、上記運転者の視線が上記表示画像を表示する表示部上に一定時間継続してあった場合の上記運転者の視点位置を初期基準視点位置として登録する登録部をさらに備える
    　請求項１に記載の画像処理装置。
  4. 　上記更新部は、所定のサンプルレートで得られる上記視点位置を一定区間毎に平均して上記基準視点位置の更新値を順次得る
    　請求項１に記載の画像処理装置。
  5. 　上記処理部は、上記撮影画像に上記車両を示す画像を重畳して上記表示画像を得る
    　請求項１に記載の画像処理装置。
  6. 　上記車両を示す画像は、コンピュータグラフィックス画像である
    　請求項５に記載の画像処理装置。
  7. 　上記車両の後方を撮影して得られた撮影画像は、上記車両の後部に取り付けられた撮影装置で撮影された撮影画像であり、
    　上記車両を示す画像は、車室内画像である
    　請求項５に記載の画像処理装置。
  8. 　上記車両の後方を撮影して得られた撮影画像は、上記車両の側部に取り付けられた撮影装置で撮影された撮影画像を含み、
    　上記車両を示す画像は、車体画像である
    　請求項５に記載の画像処理装置。
  9. 　上記処理部は、上記運転者の視点位置の基準視点位置からのずれに従って上記撮影画像と上記車両を示す画像との重畳位置関係を変化させる
    　請求項５に記載の画像処理装置。
  10. 　上記処理部は、
    　上記撮影画像と上記車両を示す画像を三次元空間に配置し、
    　上記運転者の視点位置の基準視点位置からのずれに従って変化する仮想視点位置を求め、該仮想視点位置で決まる視界によって上記撮影画像と上記車両を示す画像を射影座標系に変換して上記表示画像を得る
    　請求項９に記載の画像処理装置。
  11. 　上記処理部は、上記撮影画像を、上記車両の後方に存在する所定のオブジェクトの位置に配置する
    　請求項１０に記載の画像処理装置。
  12. 　上記所定のオブジェクトは、上記車両に対して最も近くにあるオブジェクトである
    　請求項１１に記載の画像処理装置。
  13. 　上記所定のオブジェクトは、上記運転者が見ているオブジェクトである
    　請求項１１に記載の画像処理装置。
  14. 　上記処理部は、上記車両を示す画像を上記撮影画像が透過して見えるように、該撮影画像に重畳する
    　請求項５に記載の画像処理装置。
  15. 　車両の後方を撮影して得られた撮影画像に基づき運転者の視点位置の基準視点位置からのずれに応じて表示画像を得る手順と、
    　上記視点位置の長期的変動に基づいて上記基準視点位置を更新する手順を有する
    　画像処理方法。
  16. 　車両の後方を撮影する撮影部と、
    　上記撮影部で撮影して得られた撮影画像に基づき運転者の視点位置の基準視点位置からのずれに応じて表示画像を得る処理部と、
    　上記視点位置の長期的変動に基づいて上記基準視点位置を更新する更新部と、
    　上記処理部で得られた表示画像を表示する表示部を備える
    　画像処理システム。
PCT/JP2019/048361 2018-12-11 2019-12-10 画像処理装置、画像処理方法および画像処理システム WO2020122083A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP19895830.8A EP3896960A4 (en) 2018-12-11 2019-12-10 IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND IMAGE PROCESSING SYSTEM
JP2020559262A JP7428139B2 (ja) 2018-12-11 2019-12-10 画像処理装置、画像処理方法および画像処理システム
CN201980080331.1A CN113170082A (zh) 2018-12-11 2019-12-10 图像处理装置、图像处理方法和图像处理系统
US17/288,092 US11383656B2 (en) 2018-12-11 2019-12-10 Image processing apparatus, image processing method, and image processing system
KR1020217016361A KR20210100611A (ko) 2018-12-11 2019-12-10 화상 처리 장치, 화상 처리 방법 및 화상 처리 시스템
US17/834,963 US11794667B2 (en) 2018-12-11 2022-06-08 Image processing apparatus, image processing method, and image processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018232047 2018-12-11
JP2018-232047 2018-12-11

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/288,092 A-371-Of-International US11383656B2 (en) 2018-12-11 2019-12-10 Image processing apparatus, image processing method, and image processing system
US17/834,963 Continuation US11794667B2 (en) 2018-12-11 2022-06-08 Image processing apparatus, image processing method, and image processing system

Publications (1)

Publication Number Publication Date
WO2020122083A1 true WO2020122083A1 (ja) 2020-06-18

Family

ID=71077325

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/048361 WO2020122083A1 (ja) 2018-12-11 2019-12-10 画像処理装置、画像処理方法および画像処理システム

Country Status (6)

Country Link
US (2) US11383656B2 (ja)
EP (1) EP3896960A4 (ja)
JP (1) JP7428139B2 (ja)
KR (1) KR20210100611A (ja)
CN (1) CN113170082A (ja)
WO (1) WO2020122083A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210179086A1 (en) * 2019-12-13 2021-06-17 Honda Motor Co., Ltd. Parking assisting device, parking assisting method and storage medium storing program for the parking assisting device

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019216087A1 (ja) * 2018-05-08 2019-11-14 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、移動装置、および方法、並びにプログラム
JP7444073B2 (ja) * 2018-12-11 2024-03-06 ソニーグループ株式会社 画像処理装置、画像処理方法および画像処理システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005106648A (ja) * 2003-09-30 2005-04-21 Mazda Motor Corp 車両用情報提供装置
JP2007081590A (ja) * 2005-09-13 2007-03-29 Matsushita Electric Ind Co Ltd 車両側方確認装置
JP2013216286A (ja) 2012-04-12 2013-10-24 Suzuki Motor Corp 車両周囲確認用モニター装置
JP2016105256A (ja) * 2014-12-01 2016-06-09 株式会社デンソー 画像処理装置
JP2017196911A (ja) * 2016-04-25 2017-11-02 本田技研工業株式会社 画像表示装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4323377B2 (ja) 2004-05-24 2009-09-02 オリンパス株式会社 画像表示装置
EP2285109B1 (en) * 2008-05-29 2018-11-28 Fujitsu Limited Vehicle image processor, and vehicle image processing system
US9204108B2 (en) 2009-12-07 2015-12-01 Clarion Co., Ltd. Vehicle periphery monitoring system
US8744642B2 (en) 2011-09-16 2014-06-03 Lytx, Inc. Driver identification based on face data
US8702250B2 (en) 2012-04-02 2014-04-22 GM Global Technology Operations LLC System and method for adjusting vehicle mirrors automatically based on driver head position
JP5977130B2 (ja) * 2012-09-25 2016-08-24 富士通テン株式会社 画像生成装置、画像表示システム、および、画像生成方法
WO2014130049A1 (en) 2013-02-25 2014-08-28 Johnson Controls Technology Company Systems and methods for augmented rear-view displays
JP6364702B2 (ja) * 2013-03-29 2018-08-01 アイシン精機株式会社 画像表示制御装置、画像表示システム、および表示ユニット
EP3166311B1 (en) 2014-08-12 2020-02-12 Sony Corporation Signal processing device, signal processing method and monitoring system
JP6446925B2 (ja) * 2014-09-05 2019-01-09 アイシン精機株式会社 画像表示制御装置および画像表示システム
US9904362B2 (en) * 2014-10-24 2018-02-27 GM Global Technology Operations LLC Systems and methods for use at a vehicle including an eye tracking device
DE102015008042B3 (de) * 2015-06-23 2016-12-15 Mekra Lang Gmbh & Co. Kg Anzeigeeinrichtung für Fahrzeuge, insbesondere Nutzfahrzeuge
JP6493361B2 (ja) * 2016-04-01 2019-04-03 株式会社デンソー 車両用装置、車両用プログラム、フィルタ設計プログラム
US10909721B2 (en) * 2016-06-29 2021-02-02 Seeing Machines Limited Systems and methods for identifying pose of cameras in a scene
JP6649914B2 (ja) * 2017-04-20 2020-02-19 株式会社Ｓｕｂａｒｕ 画像表示装置
TWI642972B (zh) * 2018-03-07 2018-12-01 和碩聯合科技股份有限公司 抬頭顯示系統及其控制方法
US10755676B2 (en) * 2018-03-15 2020-08-25 Magic Leap, Inc. Image correction due to deformation of components of a viewing device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005106648A (ja) * 2003-09-30 2005-04-21 Mazda Motor Corp 車両用情報提供装置
JP2007081590A (ja) * 2005-09-13 2007-03-29 Matsushita Electric Ind Co Ltd 車両側方確認装置
JP2013216286A (ja) 2012-04-12 2013-10-24 Suzuki Motor Corp 車両周囲確認用モニター装置
JP2016105256A (ja) * 2014-12-01 2016-06-09 株式会社デンソー 画像処理装置
JP2017196911A (ja) * 2016-04-25 2017-11-02 本田技研工業株式会社 画像表示装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210179086A1 (en) * 2019-12-13 2021-06-17 Honda Motor Co., Ltd. Parking assisting device, parking assisting method and storage medium storing program for the parking assisting device
US11697408B2 (en) * 2019-12-13 2023-07-11 Honda Motor Co., Ltd. Parking assisting device, parking assisting method and storage medium storing program for the parking assisting device

Also Published As

Publication number Publication date
US20220297615A1 (en) 2022-09-22
US11383656B2 (en) 2022-07-12
JP7428139B2 (ja) 2024-02-06
EP3896960A1 (en) 2021-10-20
CN113170082A (zh) 2021-07-23
US11794667B2 (en) 2023-10-24
US20210380046A1 (en) 2021-12-09
EP3896960A4 (en) 2022-01-26
KR20210100611A (ko) 2021-08-17
JPWO2020122083A1 (ja) 2021-10-21

Similar Documents

Publication Publication Date Title
WO2020122083A1 (ja) 画像処理装置、画像処理方法および画像処理システム
WO2020122085A1 (ja) 画像処理装置、画像処理方法および画像処理システム
JP6134478B2 (ja) 情報処理装置、表示制御方法、プログラムおよび記憶媒体
US20150109444A1 (en) Vision-based object sensing and highlighting in vehicle image display systems
US11813988B2 (en) Image processing apparatus, image processing method, and image processing system
JP2007052304A (ja) 映像表示システム
WO2020122084A1 (ja) 画像処理装置、画像処理方法および画像処理システム
TW201919390A (zh) 顯示系統以及顯示方法
JP5476216B2 (ja) 車両用周囲監視装置
TWI486054B (zh) A portrait processing device, a three-dimensional image display device, a method and a program
KR101947372B1 (ko) Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd
US20190137770A1 (en) Display system and method thereof
KR20170044319A (ko) 헤드 마운트 디스플레이의 시야 확장 방법
JP7152873B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2015166835A (ja) 画像表示装置、画像表示システム
JP2021104792A (ja) 電子ミラー

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19895830

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020559262

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019895830

Country of ref document: EP

Effective date: 20210712