WO2023053516A1 - 仮想空間画像生成装置および方法 - Google Patents

仮想空間画像生成装置および方法 Download PDF

Info

Publication number
WO2023053516A1
WO2023053516A1 PCT/JP2022/012969 JP2022012969W WO2023053516A1 WO 2023053516 A1 WO2023053516 A1 WO 2023053516A1 JP 2022012969 W JP2022012969 W JP 2022012969W WO 2023053516 A1 WO2023053516 A1 WO 2023053516A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual space
viewpoint
space image
user
visibility
Prior art date
Application number
PCT/JP2022/012969
Other languages
English (en)
French (fr)
Inventor
大輔 根岸
英則 堀田
克典 岡嶋
峻平 大貫
Original Assignee
スズキ株式会社
国立大学法人横浜国立大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by スズキ株式会社, 国立大学法人横浜国立大学 filed Critical スズキ株式会社
Priority to KR1020247007964A priority Critical patent/KR20240047407A/ko
Priority to CN202280064034.XA priority patent/CN117980961A/zh
Priority to EP22875399.2A priority patent/EP4411661A1/en
Publication of WO2023053516A1 publication Critical patent/WO2023053516A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images

Definitions

  • the present invention relates to a virtual space image generation device and method.
  • Patent Document 1 discloses virtual space image provision for providing a virtual space image visually recognized by a user to a head mounted display (HMD).
  • HMD head mounted display
  • a method is disclosed.
  • the rotation direction and the rotation speed of the HMD are obtained, and in the end regions on both sides of the virtual space image in the direction on the screen corresponding to the rotation direction, with the range and intensity corresponding to the rotation speed.
  • VR Virtual Reality
  • the present invention has been made by focusing on the above points, and is a virtual space image generating apparatus capable of generating a virtual space image that realizes visibility close to the appearance of the real space when the user's viewpoint moves.
  • the purpose is to provide a method.
  • one aspect of the present invention provides a virtual space image generation device that generates a virtual space image including a visibility changing region whose visibility changes based on the movement of the user's viewpoint.
  • this virtual space image generation device when the user's viewpoint moves, the visibility of the visibility changing region transitions between a first state and a second state different from the first state.
  • An image generator is provided for generating the virtual space image in which the transition completion time changes based on a predetermined condition.
  • the visibility of the visibility changing region is changed based on a predetermined condition so that it takes a transition completion time to transition between the first and second states. Therefore, it is possible to generate a virtual space image that achieves visibility close to the appearance of the real space when the user's viewpoint moves.
  • FIG. 1 is a block diagram showing a schematic configuration of a driving simulator system to which a virtual space image generating device according to an embodiment of the invention is applied;
  • FIG. It is a figure which shows an example of the virtual space image before blurring processing is performed in the said embodiment.
  • FIG. 10 is a diagram showing an example of a virtual space image after blurring has been performed outside the viewpoint peripheral region in the embodiment;
  • 4 is a diagram showing an example of a user's viewpoint movement on the virtual space image of FIG. 3;
  • FIG. FIG. 5 is a conceptual diagram of movement of the viewpoint in FIG. 4 in virtual space as seen from above;
  • FIG. 10 is a diagram showing an example of a virtual space image after a required time has passed since the user's viewpoint movement in the above embodiment.
  • FIG. 4 is a flow chart showing an example of a method of generating a virtual space image in the embodiment; It is a graph which shows an example of the time change of visibility when a viewpoint moves to the direction which moves away in the said embodiment.
  • FIG. 9 is a graph exemplifying changes when the value of the time constant of the function representing the shape of the curve in the graph of FIG. 8 is changed;
  • FIG. It is a graph which shows an example of the time change of visibility in the case of moving to the direction where a viewpoint approaches in the said embodiment.
  • 11 is a graph exemplifying deformation when the value of the time constant of the function representing the shape of the curve in the graph of FIG. 10 is changed;
  • FIG. 1 is a block diagram showing a schematic configuration of a driving simulator system to which a virtual space image generating device according to one embodiment of the invention is applied.
  • a driving simulator system 1 is used, for example, for evaluating the visibility of various objects in the development of a vehicle such as an automobile and for simulated experience of driving a vehicle.
  • This driving simulator system 1 includes a virtual space image generation device 2, a sensor 3, and an image forming device 4 according to this embodiment.
  • the virtual space image generation device 2 detects the motion of the user U based on the output signal from the sensor 3, and generates a virtual space image including an area whose visibility changes according to the detected motion of the user U.
  • the virtual space image generating device 2 then transmits the generated virtual space image to the user U via an image forming device 4 such as a head mounted display (HMD) worn on the user's U head.
  • the image forming apparatus 4 of this embodiment has left and right display units corresponding to the left and right eyes of the user, respectively.
  • the image forming apparatus 4 causes the user to perceive a three-dimensional virtual space by displaying virtual space images having a parallax on each of the left and right display units.
  • different virtual space images may be displayed on each of the left and right display units, or a common virtual space image may be output on each of the left and right display units.
  • optical shutters may be provided on the left and right display units to generate parallax between the virtual space images output from the respective display units.
  • the image forming apparatus 4 is not limited to a configuration in which a display device that displays a virtual space image such as an HMD is mounted on the head of the user U, and an image display device such as a liquid crystal display that is placed in front of the user U. It can be a device. Further, the image forming device 4 may be an image projection device such as a projector or a head-up display that projects a virtual space image onto a predetermined projection surface (screen, glass, wall surface). In this case, in order to perceive the virtual space from the projected virtual space image, it is preferable to separately attach optical shutter devices to the left and right eyes of the user.
  • the virtual space image generation device 2 includes, for example, a viewpoint detection unit 11, an input unit 12, a storage unit 13, an image generation unit 14, and a display control unit 15 as its functional blocks.
  • the hardware configuration of the virtual space image generation device 2 includes, for example, a computer system including a processor, memory, user input interface, and communication interface. That is, in the virtual space image generation device 2, the functions of the viewpoint detection unit 11, the image generation unit 14, and the display control unit 15 are realized by the processor of the computer system reading and executing the program stored in the memory. .
  • the viewpoint detection unit 11 detects the user U's viewpoint using the output signal of the sensor 3 .
  • the viewpoint of the user U is the point on the image forming apparatus 4 where the user U's line of sight is focused.
  • the sensor 3 for example, a line-of-sight sensor or the like incorporated in the HMD worn by the user U is used.
  • the sensor 3 detects the eye movement of the user U, measures the direction of the line of sight, and outputs a signal indicating the direction of the line of sight to the viewpoint detection unit 11 via the communication interface of the computer system.
  • the viewpoint detection unit 11 uses the visual line direction of the user U measured by the sensor 3, the positional relationship between the eyes of the user U and the image forming device 4, and the image data of the virtual space stored in the storage unit 13.
  • the position of the user U's viewpoint (coordinates on a two-dimensional plane) on the image forming apparatus 4 is detected based on the obtained positional information on the virtual space.
  • a viewpoint detection function of the user U by the viewpoint detection unit 11 is sometimes called eye tracking.
  • the viewpoint detection unit 11 notifies the image generation unit 14 of positional information of the detected viewpoint.
  • the virtual space image generation device 2 has a head tracking function for detecting the movement of the head of the user U, and a position tracking function for detecting the movement of the user U's body. may have the function of
  • the detection results of these head tracking and position tracking are also transmitted to the image generation section 14 together with the detection results of the viewpoint detection section 11 .
  • This detection result includes, for example, information related to the orientation of the user U's head, and the orientation of the user U's line of sight may be estimated based on the information.
  • the input unit 12 is realized by a user input interface of a computer system, and has, for example, a keyboard, a mouse, an operation controller, and the like.
  • the input unit 12 also has a receiving unit that receives information from the outside by wire or wirelessly, and functions as an external information input interface that receives information from an external computer.
  • conditions related to the environment of the virtual space hereinafter referred to as "environmental conditions”
  • conditions related to the user U hereinafter referred to as "user conditions”
  • travel conditions of the vehicle in the virtual space moving route , speed
  • Environmental conditions include virtual space weather (sunny, cloudy, rainy, foggy, etc.), humidity, driving environment (outdoors, indoors, tunnels, etc.), windshield conditions, or combinations thereof.
  • User conditions also include user U's age, gender, eyesight, eye health, eye openness, dominant eye, or a combination thereof.
  • Information about the predetermined condition input by the input unit 12 is transmitted to the image generation unit 14 and stored in the storage unit 13 .
  • the above user conditions may be obtained by conducting experiments in advance on a subject who is assumed to be the user U of the driving simulator system 1, and may be input to the virtual space image generation device 2 using the input unit 12.
  • the user U may be photographed by a camera or the like separately provided in the virtual space image generation device 2, and the user condition may be determined or detected based on the photographed user image.
  • the storage unit 13 is realized by a storage device (for example, a magnetic disk, an optical disk, a flash memory, etc.) connected to the computer system. It stores various setting information such as user conditions and vehicle driving conditions.
  • the storage unit 13 also stores image data of a virtual space including various objects. Various objects are various objects included in the scene that the user U can see from the driver's seat of the vehicle in the virtual space.
  • the image generation unit 14 uses the image data stored in the storage unit 13, the image data received from the input unit 12, and various setting information to generate a virtual space image to be displayed on the image forming device 4. At this time, based on the viewpoint detected by the viewpoint detection unit 11, the image generation unit 14 determines that the visibility within the predetermined visibility change area is in the first state and that the visibility outside the visibility change area is in the first state. A virtual space image is generated in a second state, the nature of which is different from the first state. That is, the virtual space image generated by the image generator 14 includes an image portion with relatively high visibility and an image portion with relatively low visibility.
  • the image generation unit 14 creates a first state in which the image portion located within the visibility change region has relatively higher visibility than the image portion located outside the visibility change region, and The virtual space image is updated such that the image portion located outside the viewpoint peripheral region transitions between a second state in which visibility is relatively lower than that of the image portion located outside the viewpoint peripheral region.
  • the visibility change area includes not only the viewpoint peripheral area of the movement source and the viewpoint peripheral area of the movement destination, which will be described later, but also areas other than the viewpoint peripheral area.
  • the state of visibility is controlled, for example, by blurring the image displayed in the target area.
  • Blur processing is processing that changes the amount of information in image data so that the image appears blurred.
  • the blurring process is image processing that reduces the amount of information that the user U can visually confirm.
  • Examples of specific blurring processing include processing to reduce the amount of information, processing to lower the resolution, processing to gradually reduce the display area, and processing to reduce the display area of the image (object) displayed in the area to be processed.
  • a process of increasing the display area in stages and a process of decreasing the display area in stages can be performed in order or alternately to easily reproduce the out-of-focus state. .
  • the first state in which the visibility is relatively high is, for example, a state in which the image is in focus before the blurring process is performed, and represents a state in which the user U can visually confirm the image with a large amount of information.
  • the second state with relatively low visibility is, for example, a blurred state out of focus after the blurring process has been performed, and represents a state in which the amount of information that the user U can visually confirm about the image is small. ing.
  • FIG. 2 shows an example of a virtual space image before blurring.
  • This virtual space image is a virtual space image that is input to one of the left and right eyes.
  • Another virtual space image (not shown) having a different parallax from the virtual space image in FIG. 2 is input to the other of the left and right eyes.
  • the user U can perceive the virtual space from the virtual space images with different parallax input to the left and right eyes.
  • FIG. 3 shows an example of the virtual space image after the blurring process has been performed outside the viewpoint peripheral region.
  • the virtual space image generated by the image generating unit 14 expresses a scene in the virtual space that the user U can see from the driver's seat of the vehicle.
  • the virtual space image includes, as objects representing the vehicle, the upper part of the steering wheel, the upper part of the dashboard, the right front pillar, the front edge of the roof, the rearview mirror, the right side mirror, and the like.
  • the number "8" displayed at the bottom center of the virtual space image is an object for evaluating visibility near the upper end of the steering wheel.
  • the virtual space image also includes roads, sidewalks, buildings, road signs (stop), etc. as objects representing stationary objects outside the vehicle.
  • the user U's point of view ( ⁇ mark) is located at the position P on the number "8" displayed near the upper end of the steering wheel.
  • objects located inside the viewpoint peripheral area A enclosed by broken lines in the figure are in focus, and objects located outside the viewpoint peripheral area A are out of focus and blurred. That is, the virtual space image generated by the image generation unit 14 and subjected to blurring processing according to the position P of the viewpoint of the user U is in the first state in which the visibility in the viewpoint peripheral region A is relatively high. There is a second state in which the visibility outside the viewpoint peripheral region A is relatively low. Note that the ⁇ mark indicating the viewpoint of the user U is not displayed in the actual virtual space image.
  • the image generation unit 14 updates the virtual space image subjected to blurring processing when the viewpoint of the user U moves.
  • This virtual space image update process can be executed for any movement of the user U's viewpoint. For example, when the viewpoint position P of the user U moves to a different position within the viewpoint peripheral region A in FIG. Further, for example, when the position P of the viewpoint of the user U has moved to a distant position outside the viewpoint peripheral region A, and the destination viewpoint peripheral region is located outside the viewpoint peripheral region of the movement source, the destination viewpoint The image of the entire viewpoint surrounding area and the image of the entire viewpoint surrounding area of the movement source are updated.
  • FIG. 4 shows an example of the movement of the user U's viewpoint.
  • the viewpoint ( ⁇ ) of the user U is positioned from the position Pn on the number "8" object (first object) displayed near the upper end of the steering wheel to the left sidewalk in front of the vehicle. It moves to a position Pf on the road sign object (second object) installed above.
  • the road sign object is positioned farther in the depth direction in the virtual space than the object near the upper end of the steering wheel. Therefore, in the virtual space, the viewpoint of the user U moves to the upper left on a two-dimensional plane (on the virtual space image) that extends in the horizontal direction and the vertical direction, and moves farther in the depth direction. Become.
  • the depth direction in the virtual space differs depending on the form of the image forming apparatus 4 .
  • the depth direction is a preset unique direction (for example, the front-rear direction) in the virtual space.
  • the depth direction is a predetermined direction that relatively changes according to the position of the head.
  • it may be the direction in which the head faces, or the line-of-sight direction of the user U with respect to the viewpoint before the movement of the user U, that is, between the eye E of the user U and the viewpoint before the actual movement or the viewpoint in the virtual space before the movement. may be used as a direction to connect .
  • FIG. 5 is a conceptual diagram of the movement of the viewpoint of the user U in the virtual space as seen from above.
  • the arrow Z direction indicates the depth direction of the virtual space (vehicle front-rear direction)
  • the arrow X direction indicates the horizontal direction of the virtual space (vehicle width direction).
  • the viewpoint of the user U moves from position Pn to position Pf on the image forming device 4 (on the virtual space image).
  • the first object (number "8") displayed at the position Pn of the viewpoint of the movement source is located at a position Pn' apart from the image forming apparatus 4 by a distance Zn in the depth direction in the virtual space.
  • the second object (road sign) displayed at the destination viewpoint position Pf is located at a position Pf' away from the image forming apparatus 4 by a distance Zf in the depth direction in the virtual space.
  • Distance Zf is longer than distance Zn by distance ⁇ Z.
  • the focus of the eye E of the user U in the physical space is aligned with the position Pn on the image forming device 4 at the origin of the movement of the viewpoint, and is aligned with the position Pf on the image forming device 4 at the destination of the movement of the viewpoint.
  • the realistic focal length of the eye E of the user U is the distance Fn from the eye E to the position Pn at the viewpoint movement source, as indicated by the solid arrow in FIG. It becomes the distance Ff to the position Pf.
  • d represents the distance between the eye E of the user U and the image forming apparatus 4 in the depth direction.
  • the user U changes the line of sight by moving the line of sight, so the distances Fn and Ff are different between the position Pn and the position Pf, but the amount of change ⁇ d (not shown) in the distance before and after the movement is slight.
  • the virtual focal length of the eye E of the user U is the distance Fn' from the eye E to the position Pn' at the viewpoint movement source, as indicated by the dotted arrow in FIG.
  • the distance from E to position Pf' is Ff'. That is, in the virtual space, the position Pn' is arranged behind the position Pn by the distance Zn in the depth direction, and the position Pf' is arranged behind the position Pf by the distance Zf in the depth direction. Also, the position Pf' is positioned behind the position Pn' by a distance ⁇ Z in the depth direction. Furthermore, in FIG. 5, the distance ⁇ Z is much larger than the distance ⁇ d.
  • the difference in appearance due to the difference between the actual changes in the focal lengths Fn and Ff and the virtual changes in the focal lengths Fn' and Ff' accompanying the movement of the viewpoint of the user U is suppressed. Then, a virtual space image to be displayed on the image forming apparatus 4 is generated (updated).
  • the image generation unit 14 detects changes in viewpoint positions Pn and Pf (coordinates on a two-dimensional plane) detected by the viewpoint detection unit 11, and detects the position of the image forming apparatus 4. The moving direction and moving amount of the viewpoint above (on the virtual space image) are determined. Further, the image generation unit 14 extracts depth information corresponding to the viewpoint positions Pn and Pf detected by the viewpoint detection unit 11 from among the depth information defined for each pixel (or for each object) on the virtual space image. , determine the positions Pn' and Pf' of the viewpoint in the virtual space, and determine whether the viewpoint is moving at least in the depth direction in the virtual space, that is, whether the viewpoint is moving away or approaching in the virtual space. Determine if the direction is moving. Then, the image generating unit 14 executes the process of updating the virtual space image when the viewpoint moves in the depth direction within the virtual space.
  • the image generating unit 14 increases the visibility in the viewpoint surrounding area Af (visibility change area) of the movement destination from the second state to the first state, and increases the visibility from the first state to the first state.
  • the transition completion time is the time from the completion of the user U's viewpoint movement to the completion of the visibility transition.
  • the visibility in the viewpoint peripheral area Af of the movement destination changes from the second state to the first state over a transition completion time that changes based on a predetermined condition.
  • a virtual space image is generated in which the visibility in the viewpoint peripheral region An of the movement source transitions from the first state to the second state.
  • the virtual space image immediately after the viewpoint movement of the user U is in the first state (in-focus state) in the visibility in the viewpoint peripheral region An of the movement source, and the visibility around the viewpoint of the movement destination is The visibility in the area Af is in the second state (out-of-focus, blurred state).
  • the state of visibility (state of blur processing) in the virtual space image immediately after such a viewpoint movement is the same as the state of visibility in the virtual space image (before movement of the user U's viewpoint) shown in FIG. 3 described above. .
  • FIG. 6 shows an example of a virtual space image after the transition completion time has passed since the user U's viewpoint movement.
  • the virtual space image for which the update processing (the first processing and the second processing) has been completed after the transition completion time has elapsed is such that the visibility in the viewpoint peripheral region An of the movement source is in the second state (out of focus). ), and the visibility in the viewpoint peripheral area Af of the movement destination has changed to the first state (in-focus state).
  • the image generation unit 14 may change the virtual space image by following the movement of the head and body of the user U when the detection result by the head tracking or the position tracking described above is transmitted. .
  • the image generation unit 14 changes the scene to the left of the user U in the virtual space according to the movement of the user U's head detected by head tracking. Change the virtual space image so that it is projected.
  • the image generating unit 14 generates virtual space images so that the field of view of the user U changes according to the current position of the user U detected by position tracking. change.
  • the display control unit 15 ( FIG. 1 ) generates a control signal for causing the image forming device 4 to display the virtual space image generated by the image generating unit 14 and outputs the control signal to the image forming device 4 .
  • the image forming apparatus 4 that receives the control signal from the display control unit 15 displays the virtual space image according to the control signal.
  • FIG. 7 is a flow chart showing an example of a virtual space image generation method by the virtual space image generation device 2 .
  • the viewpoint detection unit 11 uses the output signal of the sensor 3 to detect the position of the viewpoint of the user U on the image forming device 4 ( coordinates).
  • the viewpoint position detection processing by the viewpoint detection unit 11 is repeatedly executed at a predetermined cycle.
  • the position information of the viewpoint of the user U detected by the viewpoint detection unit 11 is transmitted to the image generation unit 14 .
  • the image generation unit 14 that has received the viewpoint position information from the viewpoint detection unit 11 uses the image data stored in the storage unit 13 (or the image data received from the input unit 12) and various setting information. to generate a virtual space image to be displayed on the image forming apparatus 4 .
  • the image generator 14 blurs the image portion located outside the viewpoint peripheral region A based on the position P of the viewpoint of the user U, as in the example shown in FIG. As a result, a virtual space image is generated in which the visibility in the viewpoint peripheral region A is relatively high in the first state and the visibility outside the viewpoint peripheral region A is relatively low in the second state.
  • the image generation unit 14 executes processing for determining movement of the viewpoint of the user U based on viewpoint position information transmitted from the viewpoint detection unit 11 in a predetermined cycle. In this determination processing, it is determined whether or not the destination viewpoint has moved at least in the depth direction with respect to the viewpoint before movement. If the viewpoint has been moved (YES), the process proceeds to the next step S40, and if the viewpoint has not been moved (NO), the process proceeds to step S50.
  • step S40 the image generator 14 performs update processing of the virtual space image according to the movement of the user's viewpoint.
  • the process proceeds to the next step S50, and the display control unit 15 controls the image forming apparatus 4 to display the virtual space image generated (or updated) by the image generation unit 14.
  • FIG. When the virtual space image is displayed on the image forming device 4, the process returns to step S30 and the same processing is repeated.
  • the image generation unit 14 increases the visibility in the viewpoint peripheral region Af of the destination from the second state to the first state when the viewpoint of the user U moves, and the visibility increases.
  • a first process for updating the virtual space image so that the transition completion time required for the property to transition between the first state and the second state changes based on a predetermined condition;
  • a second process of updating the virtual space image is performed so that the visibility within the virtual space is lowered from the first state to the second state.
  • the transition from the second state to the first state of the visibility in the region around the viewpoint of the movement destination is performed by blurring the image in the region around the viewpoint of the movement destination.
  • This is achieved by reducing In other words, by reducing the amount of blurring (blurring rate) of the image subjected to blurring processing to bring it closer to a focused state, the visibility in the region is increased and the state is changed from the second state to the first state.
  • the process of reducing the amount of blur that causes the visibility to transition from the second state to the first state is performed over a transition completion time.
  • This transition completion time includes the delay time from the completion of the movement of the user U's viewpoint to the start of the blur amount reduction process, and the transition time from the start to the completion of the blur amount reduction process.
  • the transition from the first state to the second state of visibility in the viewpoint peripheral region of the movement source is realized by performing a blurring process on the image in the viewpoint peripheral region of the movement source. That is, by increasing the blurring amount (blurring ratio) of the image in the blurring process, the visibility in the region is lowered, and the state is changed from the first state to the second state.
  • the delay time and the transition time included in the transition completion time change according to the moving direction of the user U's viewpoint, which is one of the predetermined conditions.
  • the moving direction of the viewpoint of the user U includes the vertical and horizontal directions on the image forming device 4 (on the virtual space image), the depth direction in the virtual space, and combinations of these directions.
  • the delay time and the transition time change depending on whether the viewpoint of the user U moves away or approaches in the depth direction in the virtual space.
  • FIG. 8 is a graph showing an example of changes in visibility over time when the viewpoint moves away.
  • the upper graph in FIG. 8 corresponds to the destination viewpoint surrounding area Af
  • the lower graph in FIG. 8 corresponds to the movement source viewpoint surrounding area An.
  • the vertical axis of each graph represents the state of visibility V
  • the horizontal axis represents time t.
  • the state of the visibility V on the vertical axis increases as the distance from the intersection (origin) with the horizontal axis increases.
  • the state of the visibility V corresponds to the amount of blurring (blurring rate) of the image in the blurring process, as described above. Therefore, the vertical axis of each graph in FIG. 8 also represents the amount of blurring of the image, and the amount of blurring decreases as the distance from the origin increases.
  • the user U's viewpoint is at position Pn (on the first object with the number "8") at time t1, and moves to position Pf (on the second road sign object) at time t2.
  • the visibility in the viewpoint surrounding area Af of the movement destination is in the second state V2, which is relatively low
  • the visibility in the viewpoint surrounding area An of the movement source is in the first state V1, which is relatively high.
  • the dashed line in each graph in FIG. 8 represents the temporal change in visibility corresponding to the blurring process applied to the virtual space image in the conventional technology as described above.
  • the blurring process applied to the virtual space image is executed at a speed corresponding to the performance of hardware responsible for image processing. Therefore, the visibility (blur amount) transition between the first state V1 and the second state V2 is completed in a short period of time (time t1 to t2) substantially simultaneously with the movement of the user U's viewpoint.
  • the visibility in the viewpoint surrounding area Af of the movement destination gradually increases from the second state V2.
  • the visibility in the viewpoint peripheral region An of the movement source is immediately lowered from the first state V1, and the state is changed to the second state V2.
  • the change in visibility over time in the viewpoint surrounding area Af of the movement destination is such that a predetermined delay time L1 elapses after the viewpoint movement of the user U is completed.
  • the visibility is maintained in the second state V2, and at time t3, the visibility starts to increase.
  • the visibility in the destination viewpoint peripheral area Af gradually changes over time, and rises to the first state V1 at time t4.
  • the process of reducing the blur processing applied to the image in the viewpoint surrounding area Af of the movement destination is started after the elapse of the delay time L1. Then, the amount of blurring (blurring ratio) of the image is gradually reduced over time, so that the visibility in the viewpoint peripheral region Af of the movement destination changes from the second state V2 (out-of-focus, blurred state) to the second state. 1 state V1 (in-focus state).
  • a transition time ⁇ 1 from the start of the transition to the completion thereof is from t3 to t4.
  • a transition completion time T1 (time t2 to t4) required from the completion of the viewpoint movement of the user U to the completion of the visibility transition is the sum of the delay time L1 and the transition time ⁇ 1.
  • the state in which the image in the viewpoint peripheral area Af of the movement destination is in focus is when the focal point of the eye E of the user U is at the virtual position Pf of the viewpoint of the movement destination, which was described with reference to FIG. ' corresponds to a state that matches . That is, the image processing that raises the visibility in the viewpoint peripheral area Af of the movement destination to the first state on the virtual space image is performed by the user U activating the focus adjustment function of the eye E in the real space to set the focal length to Ff′. It corresponds to the action of adjusting. Therefore, the temporal change in the visibility when the visibility is increased to the first state V1 approaches the temporal change in the focal length when the focal length is set to Ff' by the focus adjustment function of the eye E. If so, it will be possible to generate a virtual space image that achieves visibility close to how it looks in the real space.
  • the curve C1 over the transition time ⁇ 1 represents the temporal change in the visibility when the visibility in the viewpoint surrounding area Af of the movement destination is increased to the first state V1. .
  • t represents the time [s] after the start of the blurring reduction process.
  • F represents the focal length [m] at time t.
  • Do represents a diopter that is the reciprocal of the focal length at the start of viewpoint movement.
  • Dt represents a diopter that is the reciprocal of the focal length at the end of the viewpoint movement.
  • e represents Napier's number (the base of natural logarithms).
  • ⁇ represents a time constant.
  • the focal length F in the above equation (1) corresponds to the state of visibility V at time t.
  • the time constant ⁇ in the above equation (1) is set according to the environmental conditions and user conditions described above, and the length of the transition time ⁇ 1 (the shape of the curve C1) changes according to the time constant ⁇ .
  • FIG. 9 illustrates changes in the transition time ⁇ 1 when the value of the time constant ⁇ is changed.
  • the lower graph in FIG. 8 shows the temporal change in visibility in the viewpoint peripheral region An of the movement source with respect to the temporal change in visibility in the destination viewpoint peripheral region Af as described above.
  • the visibility starts to decrease from the first state V1 immediately after the user U's viewpoint movement is completed, and decreases to the second state V2 at time t3'. That is, immediately after the user U's viewpoint movement is completed, the blurring process of the image in the viewpoint peripheral region An of the movement source is started.
  • the visibility in the viewpoint peripheral region An of the movement source changes from the first state V1 (in-focus state) to the second state V2 (in-focus state). is not matched).
  • FIG. 10 is a graph showing an example of changes in visibility over time when the viewpoint moves in the approaching direction.
  • the upper graph in FIG. 10 corresponds to the destination viewpoint surrounding area An
  • the lower graph in FIG. 10 corresponds to the movement source viewpoint surrounding area Af.
  • the vertical axis of each graph represents the state of visibility V (blur amount)
  • the horizontal axis represents time t.
  • the state of the visibility V on the vertical axis increases with increasing distance from the intersection (origin) with the horizontal axis (the amount of blurring decreases with increasing distance from the origin).
  • the user U's viewpoint is at position Pf (on the second object of the road sign) at time t1, and moves to position Pn (on the first object with the number "8") at time t2.
  • the visibility in the viewpoint surrounding area An of the movement destination is in the second state V2, which is relatively low
  • the visibility in the viewpoint surrounding area Af of the movement source is in the first state V1, which is relatively high.
  • the broken line in each graph in FIG. 10 represents the temporal change in visibility corresponding to the blurring process applied to the virtual space image in the conventional technology, as in the case of FIG. 8 described above.
  • the transition between the first state V1 and the second state V2 is completed in a short period of time (time t1 to t2).
  • the visibility in the viewpoint peripheral region An of the movement destination gradually increases from the second state V2.
  • the visibility in the viewpoint peripheral region Af of the movement source is immediately lowered from the first state V1, and the state is changed to the second state V2.
  • the change in visibility over time in the viewpoint surrounding area An of the movement destination is such that a predetermined delay time L2 elapses after the viewpoint movement of the user U is completed.
  • a predetermined delay time L2 elapses after the viewpoint movement of the user U is completed.
  • the aforementioned delay time L1 in moving the viewpoint away is set to be longer than the delay time L2 in moving the viewpoint in the approaching direction (L1>L2).
  • the delay time L1 in moving the viewpoint in the moving away direction should be at least twice the delay time L2 in moving the viewpoint in the approaching direction.
  • the delay time L1 in the movement of the viewpoint in the receding direction is set in the range from 0.05 seconds to 0.2 seconds (0.05 ⁇ L1 ⁇ 0.2), and the delay time in the movement of the viewpoint in the approaching direction is Experiments have shown that it is preferable to set L2 in the range from 0 seconds to 0.05 seconds (0 ⁇ L2 ⁇ 0.05). After time t3, the visibility in the destination viewpoint peripheral area Af gradually changes over time, and rises to the first state V1 at time t5.
  • the process of reducing the blur processing applied to the image in the viewpoint peripheral region An of the movement destination is started after the elapse of the delay time L2. Then, the amount of blurring (blurring ratio) of the image is gradually reduced over time, so that the visibility in the viewpoint peripheral region An of the movement destination changes from the second state V2 (out-of-focus blurred state) to the second state V2. 1 state V1 (in-focus state).
  • a transition time ⁇ 2 from the start of the transition to the completion of the transition is from t3 to t5.
  • the transition time ⁇ 1 in the movement of the viewpoint in the moving away direction described above is set to be longer than the transition time ⁇ 2 in the movement of the viewpoint in the approaching direction ( ⁇ 1> ⁇ 2).
  • a transition completion time T2 (time t2 to t5) required from the completion of the viewpoint movement of the user U to the completion of the visibility transition is the sum of the delay time L2 and the transition time ⁇ 2.
  • the shape of the curve C2 over the transition time ⁇ 2 can approximate the temporal change of the focal length due to the focus adjustment function of the eye E, for example, by making it follow the function shown in the above formula (1).
  • Do in the above equation (1) means 1/Ff' and Dt means 1/Fn'.
  • the time constant ⁇ is set according to the environmental conditions and user conditions described above, and the shape of the curve C2 (the length of the transition time ⁇ 2) changes according to the time constant ⁇ .
  • FIG. 11 illustrates changes in the transition time ⁇ 2 when the value of the time constant ⁇ is changed. In the example of FIG.
  • the time constant ⁇ for the movement of the viewpoint in the moving away direction is set in the range from 0.05 to 0.2 (0.05 ⁇ 0.2), and the time constant ⁇ for moving the viewpoint in the approaching direction is set to Experiments have confirmed that it is preferable to set it in the range of 0 to 0.1 (0 ⁇ 0.1).
  • the lower graph in FIG. 10 shows the temporal change in visibility in the viewpoint peripheral region Af of the movement source in contrast to the temporal change in visibility in the destination viewpoint peripheral region An as described above.
  • the visibility starts to decrease from the first state V1 immediately after the user U's viewpoint movement is completed, and decreases to the second state V2 at time t3'. That is, immediately after the user U's viewpoint movement is completed, the blurring process of the image in the viewpoint peripheral region Af of the movement source is started.
  • the visibility in the viewpoint peripheral region Af of the movement source changes from the first state V1 (in-focus state) to the second state V2 (in-focus state). in a short time.
  • the image generation unit 14 changes the visibility of the visibility change area located around the viewpoint of the movement source.
  • a virtual space image is generated in which the transition completion times T1 and T2 required to transition between the first state V1 and the second state V2 change based on predetermined conditions.
  • the visibility of the visibility changing region transitions between the first and second states V1 and V2 over transition completion times T1 and T2 that change based on a predetermined condition. It is possible to generate a virtual space image that realizes visibility close to the appearance of the real space even if the object moves.
  • the driving simulator system 1 is constructed by applying such a virtual space image generation device 2, various objects in the real space can be reproduced in the virtual space in the vehicle development, etc., and the visibility of the various objects can be displayed in the virtual space image. can be evaluated accurately.
  • the driving simulator system 1 to simulate driving a vehicle, it is possible to provide the user U with a more realistic driving experience.
  • the transition completion times T1 and T2 in the virtual space image generation device 2 of this embodiment include delay times L1 and L2 and transition times ⁇ 1 and ⁇ 2.
  • the delay times L1 and L2 included in the transition completion times T1 and T2 are appropriately set, and the transition times ⁇ 1 and ⁇ 2 are started after the delay times L1 and L2 have elapsed.
  • the visibility of the generated virtual space image can be brought closer to the appearance of the real space.
  • a virtual space image is generated in which the transition times ⁇ 1 and ⁇ 2 change according to the moving direction of the user U's viewpoint.
  • the focal length adjustment time (the time required for the eye to come into focus) varies depending on the direction of movement of the viewpoint, so the blurring of the region around the viewpoint changes depending on the direction of movement of the viewpoint.
  • the virtual space image generation device 2 of the present embodiment generates a virtual space image in which the transition time ⁇ 1 in moving the viewpoint away is longer than the transition time ⁇ 2 in moving the viewpoint in the approaching direction.
  • the focal length adjustment time is longer when the viewpoint moves away than when the viewpoint moves closer.
  • the transition times ⁇ 1 and ⁇ 2 in the processing of the virtual space image in accordance with the change in the focal length of the eye can be adjusted to the real space. can be closer to the appearance of
  • the delay time L1 in the viewpoint movement in the moving away direction is at least twice as long as the delay time L2 in the viewpoint movement in the approaching direction
  • a virtual space image is generated in which the time constant ⁇ of the function that determines the transition time ⁇ 1 is more than twice the time constant ⁇ of the function that determines the transition time ⁇ 2 in moving the viewpoint in the approaching direction.
  • the delay time L2 is set in the range from 0 second to 0.05 second
  • the time constant ⁇ is set in the range from 0 to 0.1, in the viewpoint movement in the approaching direction, the virtual space The visibility of the image can be reliably brought closer to the appearance of the real space.
  • the virtual space image generation device 2 of the present embodiment generates a virtual space image in which the transition completion time changes based on the conditions (environmental conditions) regarding the environment of the virtual space and the conditions (user conditions) regarding the user U.
  • the blurring of the area around the viewpoint when the viewpoint is moved in the real space depends on the environment of the virtual space (weather, humidity, driving environment, windshield conditions, etc.) and the user's condition (age, etc.). , gender, visual acuity, eye health, eye openness, dominant eye, etc.).
  • the transition completion time is set to a predetermined value.
  • a virtual space image is generated that changes based on the conditions.
  • the present invention is not limited to the above-described embodiments, and various modifications and changes are possible based on the technical idea of the present invention.
  • the viewpoint of the user U moves in the depth direction (the direction of moving away or the direction of approaching) in the virtual space.
  • the virtual space image generation technique according to the present invention can be applied even when the viewpoint movement does not involve movement in the depth direction, for example, when the user U's viewpoint moves between the left and right taillights of the preceding vehicle displayed in the virtual space image. By applying , it is possible to realize a virtual space image that is close to the appearance of the real space.
  • the visibility in the region around the viewpoint of the movement destination is maintained in the second state during the period from the completion of the movement of the viewpoint of the user U until the delay times L1 and L2 elapse.
  • a virtual space image whose visibility is slightly increased may be generated between the delay times L1 and L2.
  • an example was described in which the temporal change in visibility at the transition time follows a function such as formula (1). You may make it change a sex.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

仮想空間画像生成装置２は、ユーザＵの視点移動に基づいて視認性が変化する視認性変化領域を含む仮想空間画像を生成する。仮想空間画像生成装置２は、ユーザＵの視点が移動する場合に、視認性変化領域の視認性が第１状態と該第１状態とは異なる第２状態との間で遷移するのに要する遷移完了時間が所定条件に基づいて変化する仮想空間画像を生成する画像生成部１４を備えている。これにより、ユーザの視点が移動した際に現実空間の見え方に近い視認性を実現した仮想空間画像を生成することができる。

Description

仮想空間画像生成装置および方法
　本発明は、仮想空間画像生成装置および方法に関する。
　仮想空間画像を生成してディスプレイ装置に表示させる従来の技術として、例えば、特許文献１には、ユーザが視認する仮想空間画像をヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）に提供する仮想空間画像提供方法が開示されている。この仮想空間画像提供方法では、ＨＭＤの回転方向および回転速度が取得され、回転方向に対応する画面上の方向における仮想空間画像の両側の端部領域に、回転速度に応じた範囲および強さでぼかし処理が施されることにより、ＶＲ（Virtual Reality）酔いが低減されている。
特開２０１７－１３８７０１号公報
　ところで、車両開発等においては、仮想空間画像上に評価対象となるオブジェクトを表示して、現実空間における該オブジェクトの視認性を評価する場合がある。この場合、仮想空間画像上に表示されるオブジェクトの見え方が、現実空間の見え方に近づくようにする必要がある。例えば、現実空間において、ユーザの視点が変化した直後や視野内の物体の配置または距離が変化した直後には、視点や物体の周辺領域がぼやけて見える。このような視点等の移動に伴う周辺領域のぼやけ方は、眼の焦点調整特性やユーザの状態、車両周辺の状態などに応じて、時間の経過とともに変化する。このため、仮想空間画像上にオブジェクトを表示して視認性を評価する際にも、上記のような現実空間でのぼやけ方の時間的な変化が再現されるようにするのが望ましい。
　しかしながら、前述したような従来の技術では、ＨＭＤの回転速度に応じて仮想空間画像に施されるぼかし処理の範囲および強さが設定されているだけで、該設定された範囲に対して施されるぼかし処理の状態の時間的な変化までは考慮されていない。通常、画像データのぼかし処理は、画像処理を担うハードウェアの性能に応じた速度で実行され、眼の焦点調整速度よりも高速に、所望の強さでぼやけた状態の画像データが生成される。このため、従来の技術では、ＨＭＤの回転、つまりユーザの頭部の向きが変化して仮想空間画像上の視点が移動したときに、ＨＭＤに表示される仮想空間画像のぼやけ方の時間的な変化が現実空間の見え方とは異なってしまい、仮想空間画像上においてオブジェクトの視認性を評価する上で、改善の余地があった。
　本発明は上記の点に着目してなされたもので、ユーザの視点が移動した際に現実空間の見え方に近い視認性を実現した仮想空間画像を生成することのできる仮想空間画像生成装置および方法を提供することを目的とする。
　上記の目的を達成するため本発明の一態様は、ユーザの視点移動に基づいて視認性が変化する視認性変化領域を含む仮想空間画像を生成する仮想空間画像生成装置を提供する。この仮想空間画像生成装置は、前記ユーザの視点が移動する場合に、前記視認性変化領域の視認性が第１状態と該第１状態とは異なる第２状態との間で遷移するのに要する遷移完了時間が所定条件に基づいて変化する前記仮想空間画像を生成する画像生成部を備えている。
　本発明の一態様に係る仮想空間画像生成装置によれば、視認性変化領域の視認性が、所定条件に基づいて変化する遷移完了時間をかけて第１および第２状態の間で遷移するようになるため、ユーザの視点が移動した際に現実空間の見え方に近い視認性を実現した仮想空間画像を生成することができる。
本発明の一実施形態に係る仮想空間画像生成装置が適用された運転シミュレータシステムの概略構成を示すブロック図である。 上記実施形態においてぼかし処理が施される前の仮想空間画像の一例を示す図である。 上記実施形態において視点周辺領域外にぼかし処理が施された後の仮想空間画像の一例を示す図である。 図３の仮想空間画像上でのユーザの視点移動の一例を示す図である。 仮想空間内での図４の視点移動を上方から見た概念図である。 上記実施形態においてユーザの視点移動から所要時間が経過した後の仮想空間画像の一例を示す図である。 上記実施形態における仮想空間画像の生成方法の一例を示すフローチャートである。 上記実施形態において視点が遠ざかる方向に移動する場合の視認性の時間的な変化の一例を示すグラフである。 図８のグラフにおける曲線の形状を表す関数の時間定数の値を変更した場合の変化を例示したグラフである。 上記実施形態において視点が近づく方向に移動する場合の視認性の時間的な変化の一例を示すグラフである。 図１０のグラフにおける曲線の形状を表す関数の時間定数の値を変更した場合の変形を例示したグラフである。
　以下、本発明の実施の形態について添付図面を参照しながら詳細に説明する。
　図１は、本発明の一実施形態に係る仮想空間画像生成装置が適用された運転シミュレータシステムの概略構成を示すブロック図である。
　図１において、運転シミュレータシステム１は、例えば、自動車等の車両開発における各種オブジェクトの視認性評価や車両運転の模擬体験などに利用される。この運転シミュレータシステム１は、本実施形態による仮想空間画像生成装置２と、センサ３と、画像形成装置４とを備える。
　仮想空間画像生成装置２は、センサ３からの出力信号を基にユーザＵの動作を検出し、該検出したユーザＵの動作に応じて視認性が変化する領域を含む仮想空間画像を生成する。そして、仮想空間画像生成装置２は、生成した仮想空間画像を、ユーザＵの頭部に装着されているヘッドマウントディスプレイ（ＨＭＤ）等の画像形成装置４を介してユーザＵに伝達する。本実施形態の画像形成装置４は、ユーザの左右の眼にそれぞれ対応した左右の表示部を有する。画像形成装置４は、左右の表示部各々に互いに視差のある仮想空間画像を表示することにより、ユーザに立体的な仮想空間を知覚させる。左右の表示部各々に視差のある仮想空間画像を表示する方法としては、左右の表示部各々に異なる仮想空間画像を表示してもよいし、左右の表示部各々に共通の仮想空間画像を出力しつつ、左右の表示部に光学シャッターを設けて各表示部から出力される仮想空間画像の間に視差を発生させてもよい。
　なお、画像形成装置４は、ＨＭＤのように仮想空間画像を表示するディスプレイ装置がユーザＵの頭部に装着される構成に限定されず、ユーザＵの前方に配置される液晶ディスプレイ等の画像表示装置でもよい。また、画像形成装置４は、プロジェクタやヘッドアップディスプレイのように仮想空間画像を所定の投影面（スクリーン、ガラス、壁面）に投影する画像投影装置であってもよい。この場合、投影された仮想空間画像から仮想空間を知覚するために、ユーザの左右の眼に光学シャッター装置を別途装着することが好ましい。
　このような運転シミュレータシステム１では、画像形成装置４（または光学シャッター装置）を介してユーザＵの左右の眼各々に視差の異なる仮想空間画像を入力することにより、ユーザＵが仮想空間を視認（知覚）することができる。これにより、現実空間における各種オブジェクトを仮想空間上で再現して、各種オブジェクトの視認性を仮想空間画像上で評価したり、車両の運転を仮想空間画像上で模擬的に体験したりすることができる。
　具体的に、仮想空間画像生成装置２は、その機能ブロックとして、例えば、視点検出部１１と、入力部１２と、記憶部１３と、画像生成部１４と、表示制御部１５とを備える。仮想空間画像生成装置２のハードウェア構成は、ここでは図示を省略するが、例えば、プロセッサ、メモリ、ユーザ入力インターフェースおよび通信インターフェースを含むコンピュータシステムを備える。つまり、仮想空間画像生成装置２では、コンピュータシステムのプロセッサがメモリに格納されたプログラムを読み出して実行することによって、視点検出部１１、画像生成部１４および表示制御部１５の各機能が実現される。
　視点検出部１１は、センサ３の出力信号を用いてユーザＵの視点を検出する。ユーザＵの視点は、画像形成装置４上においてユーザＵの視線が注がれている点である。センサ３としては、例えば、ユーザＵが装着するＨＭＤに内蔵された視線センサ等が使用される。センサ３は、ユーザＵの眼の動きを検知して視線の方向を計測し、該視線の方向を示す信号を、コンピュータシステムの通信インターフェースを介して視点検出部１１に出力する。視点検出部１１は、センサ３で計測されたユーザＵの視線方向、ユーザＵの眼および画像形成装置４の位置関係、並びに、記憶部１３に記憶されている仮想空間の画像データを用いて提供される仮想空間上の位置情報に基づき、画像形成装置４上におけるユーザＵの視点の位置（２次元平面上の座標）を検出する。このような視点検出部１１によるユーザＵの視点検出機能は、アイトラッキングと呼ばれる場合がある。視点検出部１１は、検出した視点の位置情報を画像生成部１４に伝える。
　なお、仮想空間画像生成装置２は、視点検出部１１によるアイトラッキングの機能に加えて、ユーザＵの頭部の動きを検出するヘッドトラッキングの機能や、ユーザＵの身体の動きを検出するポジショントラッキングの機能を備えていてもよい。これらのヘッドトラッキングやポジショントラッキングによる検出結果も、視点検出部１１の検出結果とともに画像生成部１４に伝えられる。この検出結果には、例えば、ユーザＵの頭の向きに関わる情報が含まれており、該情報に基づきユーザＵの視線の向きを推定してもよい。
　入力部１２は、コンピュータシステムのユーザ入力インターフェースにより実現されており、例えば、キーボード、マウス、操作用コントローラ等を有している。また、入力部１２は、外部から有線または無線で情報を受信する受信部を有し、外部コンピュータとの間で情報を受信する外部情報入力インターフェースとしても機能する。入力部１２では、仮想空間の環境に関する条件（以下、「環境条件」とする）や、ユーザＵに関する条件（以下、「ユーザ条件」とする）、仮想空間内での車両の走行条件（移動経路、速度）などの所定条件が入力される。環境条件は、仮想空間の天候（晴れ、曇り、雨、霧など）、湿度、走行環境（屋外、屋内、トンネルなど）、ウィンドガラスの状況、またはこれらの組み合わせを含む。また、ユーザ条件は、ユーザＵの年齢、性別、視力、眼の健康度、開眼度、利き目、またはこれらの組み合わせを含む。入力部１２で入力された所定条件に関する情報は、画像生成部１４に伝えられるとともに記憶部１３に記憶される。
　なお、上記ユーザ条件は、運転シミュレータシステム１のユーザＵとして想定される被験者に対して予め実験を行って取得した値を、入力部１２を用いて仮想空間画像生成装置２に入力してもよく、或いは、仮想空間画像生成装置２に別途設けられたカメラ等でユーザＵを撮影し、該撮影したユーザ画像を基にユーザ条件を判定または検出するようにしてもよい。
　記憶部１３は、コンピュータシステムに接続されたストレージデバイス（例えば、磁気ディスクや光学ディスク、フラッシュメモリ等）により実現されており、前述したユーザＵの眼および画像形成装置４の位置関係や環境条件、ユーザ条件、車両の走行条件などの各種設定情報を記憶している。また、記憶部１３は、各種オブジェクトを含む仮想空間の画像データを記憶している。各種オブジェクトは、仮想空間内において、ユーザＵが車両の運転席から見ることのできる光景に含まれる様々な物体である。
　画像生成部１４は、記憶部１３に記憶された画像データや入力部１２から受信した画像データと各種設定情報とを用いて、画像形成装置４上に表示させる仮想空間画像を生成する。このとき、画像生成部１４は、視点検出部１１で検出される視点に基づいて、予め定められた視認性変化領域内の視認性が第１状態にあり、かつ、視認性変化領域外の視認性が第１状態とは異なる第２状態にある仮想空間画像を生成する。つまり、画像生成部１４で生成される仮想空間画像には、相対的に高い視認性を有する画像部分と相対的に低い視認性を有する画像部分が含まれる。そして、画像生成部１４は、視認性変化領域内に位置する画像部分が視認性変化領域外に位置する画像部分よりも相対的に高い視認性を有する第１状態と、視認性変化領域内に位置する画像部分が視点周辺領域外に位置する画像部分よりも相対的に低い視認性を有する第２状態との間で遷移するように、仮想空間画像を更新する。なお、視認性変化領域には、後述する移動元の視点周辺領域、移動先の視点周辺領域だけでなく、視点周辺領域以外の領域も含まれる。
　視認性の状態は、例えば、対象となる領域に表示する画像にぼかし処理を施すことで制御される。ぼかし処理は、画像データの情報量を変化させて当該画像がぼやけて見える状態にする処理である。言い換えると、ぼかし処理は、ユーザＵが視覚を通して確認できる情報量を減らす画像処理である。具体的なぼかし処理の例としては、処理の対象となる領域に表示する画像（オブジェクト）について、情報量を減らす処理、解像度を下げる処理、または表示面積を段階的に小さくする処理、表示面積を段階的に大きくする処理、或いはこれら処理の組み合わせなどがある。処理の組み合わせの例として、表示面積を段階的に大きくする処理と表示面積を段階的に小さくする処理とを順番に、またはこれらを交互に行うことでピントが合っていない状態を再現し易くなる。したがって、視認性が相対的に高い第１状態は、例えばぼかし処理を施す前のピントが合った状態であり、当該画像についてユーザＵが視覚を通して確認できる情報量が多い状態を表している。また、視認性が相対的に低い第２状態は、例えばぼかし処理を施した後のピントが合っていないぼやけた状態であり、当該画像についてユーザＵが視覚を通して確認できる情報量が少ない状態を表している。
　図２は、ぼかし処理が施される前の仮想空間画像の一例を示している。この仮想空間画像は、左右の眼の一方に入力される仮想空間画像である。図２の仮想空間画像とは視差の異なる他の仮想空間画像（図示省略）が左右の眼の他方に入力される。ユーザＵは、左右の眼にそれぞれ入力される視差の異なる仮想空間画像により仮想空間を知覚することができる。また、図３は、視点周辺領域外にぼかし処理が施された後の仮想空間画像の一例を示している。
　図２および図３に示すように、画像生成部１４で生成される仮想空間画像には、ユーザＵが車両の運転席から見ることのできる仮想空間内の光景が表現されている。図示の例では、仮想空間画像は、車両を表すオブジェクトとして、ステアリングホイールの上部、ダッシュボードの上部、右側のフロントピラー、ルーフの前端部、ルームミラー、および右側のサイドミラー等を含んでいる。仮想空間画像の下部中央に表示されている数字の「８」は、ステアリングホイールの上端部付近の視認性を評価するためのオブジェクトである。また、仮想空間画像は、車外の静止物体を表すオブジェクトとして、道路、歩道、建物、および道路標識（一時停止）等を含んでいる。
　ぼかし処理が施される前の仮想空間画像（図２）は、全てのオブジェクトにピントが合っており、仮想空間画像の全領域の視認性が高い状態にある。一方、ぼかし処理が施された後の仮想空間画像（図３）は、ユーザＵの視点（□印）がステアリングホイールの上端部付近に表示されている数字の「８」のオブジェクト上の位置Ｐにあり、図中の破線で囲んだ視点周辺領域Ａの内側に位置するオブジェクトにピントが合い、視点周辺領域Ａの外側に位置するオブジェクトにはピントが合っていないぼやけた状態となっている。つまり、画像生成部１４で生成され、かつ、ユーザＵの視点の位置Ｐに応じてぼかし処理が施された仮想空間画像は、視点周辺領域Ａ内の視認性が相対的に高い第１状態にあり、視点周辺領域Ａ外の視認性が相対的に低い第２状態にある。なお、ユーザＵの視点を示す□印は、実際の仮想空間画像には表示されない。
　また、画像生成部１４は、ユーザＵの視点が移動した際に、ぼかし処理が施された仮想空間画像を更新する。この仮想空間画像の更新処理は、ユーザＵの視点の任意の移動に対して実行する可能である。例えば、図３においてユーザＵの視点の位置Ｐが視点周辺領域Ａ内の異なる位置に移動した場合、移動前後で視点周辺領域にずれが生じた部分の画像が更新される。また例えば、ユーザＵの視点の位置Ｐが視点周辺領域Ａ外の離れた位置に移動し、移動先の視点周辺領域が移動元の視点周辺領域外に位置している場合には、移動先の視点周辺領域全体の画像と移動元の視点周辺領域全体の画像とが更新される。前者のような視点の移動量が少ない場合には、更新対象となる画像のデータ量は少ないので、画像生成部１４における画像処理の負荷は軽減される。以下では、後者のような視点の移動量が多い場合の画像処理について具体例を挙げて詳しく説明する。
　図４は、ユーザＵの視点移動の一例を示している。図４の例では、ユーザＵの視点（□印）は、ステアリングホイールの上端部付近に表示されている数字の「８」のオブジェクト（第１オブジェクト）上の位置Ｐｎから、車両前方の左側歩道上に設置されている道路標識のオブジェクト（第２オブジェクト）上の位置Ｐｆに移動している。道路標識のオブジェクトは、仮想空間内における奥行方向で、ステアリングホイールの上端部付近のオブジェクトよりも遠方に位置している。したがって、ユーザＵの視点は、仮想空間内において、左右方向および上下方向に広がる２次元平面上（仮想空間画像上）で左上方向に移動し、かつ、奥行方向で遠方に移動していることになる。
　なお、仮想空間内における奥行方向は、画像形成装置４の形態によって異なる。具体的には、ユーザＵの頭部位置が変化しない画像形成装置４の場合、奥行方向は、仮想空間内の予め設定された固有の方向（例えば前後方向）となる。一方、ヘッドトラッキング等によりユーザＵの頭部位置が変化する画像形成装置４の場合、奥行方向は、頭部の位置に応じて相対的に変わる所定の方向となる。例えば、頭部が向く方向としてもよいし、ユーザＵの移動前の視点に対するユーザＵの視線方向、つまり、ユーザＵの眼Ｅと現実の移動前の視点または仮想空間内における移動前の視点とをつなぐ方向としてもよい。
　図５は、上記のような仮想空間内でのユーザＵの視点移動を上方から見た概念図である。図５において、矢印Ｚ方向は仮想空間の奥行方向（車両前後方向）を示し、矢印Ｘ方向は仮想空間の水平方向（車両幅方向）を示している。図５に示すように、ユーザＵの視点は、画像形成装置４上（仮想空間画像上）で位置Ｐｎから位置Ｐｆに移動する。移動元の視点の位置Ｐｎに表示されている第１オブジェクト（数字の「８」）は、仮想空間内において、奥行方向で画像形成装置４から距離Ｚｎだけ離れた位置Ｐｎ’にある。また、移動先の視点の位置Ｐｆに表示されている第２オブジェクト（道路標識）は、仮想空間内において、奥行方向で画像形成装置４から距離Ｚｆだけ離れた位置Ｐｆ’にある。距離Ｚｆは、距離Ｚｎよりも距離ΔＺだけ長い。
　現実空間におけるユーザＵの眼Ｅの焦点（ピント）は、視点の移動元では画像形成装置４上の位置Ｐｎに合っており、視点の移動先では画像形成装置４上の位置Ｐｆに合っている。つまり、ユーザＵの眼Ｅの現実的な焦点距離は、図５中の実線矢印で示すように、視点の移動元では眼Ｅから位置Ｐｎまでの距離Ｆｎとなり、視点の移動先では眼Ｅから位置Ｐｆまでの距離Ｆｆとなる。ｄは、奥行方向におけるユーザＵの眼Ｅと画像形成装置４の間の距離を表す。図５ではユーザＵが目線移動によって視線を変えているので、位置Ｐｎと位置Ｐｆとは距離Ｆｎ，Ｆｆが異なっているが、移動前後の距離の変化量Δｄ（図示省略）は僅かである。
　一方、ユーザＵの眼Ｅの仮想的な焦点距離は、図５中の点線矢印で示すように、視点の移動元では眼Ｅから位置Ｐｎ’までの距離Ｆｎ’となり、視点の移動先では眼Ｅから位置Ｐｆ’までの距離Ｆｆ’となる。つまり、仮想空間内では、位置Ｐｎ’は奥行方向において位置Ｐｎよりも距離Ｚｎだけ後方に配置され、位置Ｐｆ’は、位置Ｐｆよりも奥行方向において距離Ｚｆだけ後方に配置されることになる。また、位置Ｐｆ’は、奥行方向において位置Ｐｎ’よりも距離ΔＺだけ後方に位置している。さらに、図５では、距離ΔＺは、距離Δｄよりも遙かに大きくなっている。本実施形態では、このようなユーザＵの視点移動に伴う現実的な焦点距離Ｆｎ，Ｆｆの変化と仮想的な焦点距離Ｆｎ’，Ｆｆ’の変化との差異による見え方の違いが抑えられるように、画像形成装置４上に表示させる仮想空間画像の生成（更新）処理が行われる。
　上記のようなユーザＵの視点移動が生じた際、画像生成部１４は、視点検出部１１で検出される視点の位置Ｐｎ，Ｐｆ（２次元平面上の座標）の変化から、画像形成装置４上（仮想空間画像上）での視点の移動方向および移動量を判断する。また、画像生成部１４は、仮想空間画像上の画素ごと（またはオブジェクトごと）に定義された奥行情報のうちで、視点検出部１１で検出される視点の位置Ｐｎ，Ｐｆに対応する奥行情報から、仮想空間内での視点の位置Ｐｎ’，Ｐｆ’を判断するとともに、仮想空間内で視点が少なくとも奥行方向に移動しているか、つまり、仮想空間内で視点が遠ざかる方向に移動しているか近づく方向に移動しているかを判断する。そして、画像生成部１４は、仮想空間内で視点が奥行方向に移動する場合に、仮想空間画像の更新処理を実行する。
　この更新処理において、画像生成部１４は、移動先の視点周辺領域Ａｆ（視認性変化領域）内の視認性が第２状態から第１状態に上昇し、かつ、該視認性が第１状態と第２状態との間で遷移するのに要する遷移完了時間が所定条件に基づいて変化するように、仮想空間画像を更新する第１処理と、移動元の視点周辺領域Ａｎ内の視認性が第１状態から第２状態に低下するように、仮想空間画像を更新する第２処理とを行う。遷移完了時間は、ユーザＵの視点移動が完了してから視認性の遷移が完了するまでの時間である。つまり、画像生成部１４による仮想空間画像の更新処理では、移動先の視点周辺領域Ａｆ内の視認性が、所定条件に基づいて変化する遷移完了時間をかけて、第２状態から第１状態に遷移するとともに、移動元の視点周辺領域Ａｎ内の視認性が第１状態から第２状態に遷移する仮想空間画像が生成される。
　ユーザＵの視点移動の直後における仮想空間画像は、図４に示すように、移動元の視点周辺領域Ａｎ内の視認性が第１状態（ピントが合った状態）にあり、移動先の視点周辺領域Ａｆ内の視認性が第２状態（ピントが合っていないぼやけた状態）にある。このような視点移動直後の仮想空間画像における視認性の状態（ぼかし処理の状態）は、前述の図３に示した仮想空間画像（ユーザＵの視点移動前）における視認性の状態と同じである。
　図６は、ユーザＵの視点移動から遷移完了時間が経過した後の仮想空間画像の一例を示している。遷移完了時間が経過して更新処理（第１処理および第２処理）が完了した仮想空間画像は、図６に示すように、移動元の視点周辺領域Ａｎ内の視認性が第２状態（ピントが合っていないぼやけた状態）に遷移し、移動先の視点周辺領域Ａｆ内の視認性が第１状態（ピントが合った状態）に遷移している。
　なお、画像生成部１４は、前述したヘッドトラッキングやポジショントラッキングによる検出結果が伝えられている場合に、ユーザＵの頭部の動きや身体の動きに追従して仮想空間画像を変化させてもよい。例えば、ユーザＵが頭部を左側に向けた場合、画像生成部１４は、ヘッドトラッキングにより検出されるユーザＵの頭部の動きに合わせて、仮想空間内でユーザＵの左方向にある光景が映し出されるように、仮想空間画像を変化させる。また例えば、ユーザＵが移動して身体の位置が変化した場合、画像生成部１４は、ポジショントラッキングにより検出されるユーザＵの現在位置に合わせて、ユーザＵの視界が移り変わるように、仮想空間画像を変化させる。
　表示制御部１５（図１）は、画像生成部１４で生成される仮想空間画像を画像形成装置４に表示させるための制御信号を生成し、該制御信号を画像形成装置４に出力する。表示制御部１５からの制御信号を受けた画像形成装置４は、該制御信号に従って仮想空間画像を表示する。
　次に、本実施形態による仮想空間画像生成装置２の動作について説明する。
　図７は、仮想空間画像生成装置２による仮想空間画像の生成方法の一例を示すフローチャートである。
　本実施形態生成装置２では、まず、図７のステップＳ１０において、視点検出部１１が、センサ３の出力信号を用いて、画像形成装置４上におけるユーザＵの視点の位置（２次元平面上の座標）を検出する。この視点検出部１１による視点位置の検出処理は、所定の周期で繰り返し実行される。視点検出部１１で検出されたユーザＵの視点の位置情報は、画像生成部１４に伝えられる。
　続くステップＳ２０では、視点検出部１１からの視点の位置情報を受けた画像生成部１４が、記憶部１３に記憶された画像データ（または入力部１２から受信した画像データ）および各種設定情報を用いて、画像形成装置４上に表示させる仮想空間画像を生成する。このとき、画像生成部１４は、前述の図３に示した一例にあるように、ユーザＵの視点の位置Ｐに基づき視点周辺領域Ａの外側に位置する画像部分にぼかし処理を施す。これにより、視点周辺領域Ａ内の視認性が相対的に高い第１状態にあり、かつ、視点周辺領域Ａ外の視認性が相対的に低い第２状態にある仮想空間画像が生成される。
　次のステップＳ３０では、画像生成部１４が、視点検出部１１から所定の周期で伝えられる視点の位置情報を基にユーザＵの視点の移動を判定する処理を実行する。この判定処理では、移動前の視点に対して移動先の視点が少なくとも奥行方向に移動しているか否かが判定される。視点移動があった場合には（ＹＥＳ）、次のステップＳ４０に進み、視点移動がなかった場合には（ＮＯ）、ステップＳ５０に移る。
　ステップＳ４０では、画像生成部１４が、ユーザの視点移動に応じた仮想空間画像の更新処理を行う。更新処理が完了すると、次のステップＳ５０に進み、表示制御部１５が、画像生成部１４で生成（または更新）された仮想空間画像を画像形成装置４に表示させる制御を行う。仮想空間画像が画像形成装置４に表示されると、ステップＳ３０に戻って同様の処理が繰り返し実行される。
　ここで、上記ステップＳ４０における仮想空間画像の更新処理について具体的に説明する。
　前述したように本実施形態による画像生成部１４は、ユーザＵの視点が移動した際、移動先の視点周辺領域Ａｆ内の視認性が第２状態から第１状態に上昇し、かつ、該視認性が第１状態と第２状態との間で遷移するのに要する遷移完了時間が所定条件に基づいて変化するように、仮想空間画像を更新する第１処理と、移動元の視点周辺領域Ａｎ内の視認性が第１状態から第２状態に低下するように、仮想空間画像を更新する第２処理とを行う。
　このような仮想空間画像の更新処理において、移動先の視点周辺領域内の視認性の第２状態から第１状態への遷移は、移動先の視点周辺領域内の画像に施されたぼかし処理を軽減することで実現される。つまり、ぼかし処理された画像のぼかし量（ぼかし割合）を減少させてピントの合った状態に近づけることで、当該領域内の視認性を上昇させて第２状態から第１状態に遷移させる。視認性を第２状態から第１状態に遷移させるぼかし量の軽減処理は、遷移完了時間をかけて行われる。この遷移完了時間は、ユーザＵの視点移動が完了してからぼかし量の軽減処理を開始するまでの遅延時間と、ぼかし量の軽減処理を開始してから完了するまでの遷移時間とを含んでいる。
　また、移動元の視点周辺領域内の視認性の第１状態から第２状態への遷移は、移動元の視点周辺領域内の画像にぼかし処理を施すことで実現される。つまり、ぼかし処理における画像のぼかし量（ぼかし割合）を増加させることで、当該領域内の視認性を低下させて第１状態から第２状態に遷移させる。
　画像生成部１４による仮想空間画像の第１処理では、遷移完了時間に含まれる遅延時間および遷移時間が、所定条件の１つであるユーザＵの視点の移動方向に応じて変化する。ユーザＵの視点の移動方向は、画像形成装置４上（仮想空間画像上）の上下および左右の各方向、仮想空間内での奥行方向、並びに、これらの方向の組み合わせを含んでいる。本実施形態では、例えば、仮想空間内での奥行方向に関し、ユーザＵの視点が遠ざかる方向に移動しているか近づく方向に移動しているかによって、遅延時間および遷移時間が変化する。前述の図４～図６に例示したユーザＵの視点の位置Ｐｎから位置Ｐｆへの移動は、遠ざかる方向の視点移動に該当し、その逆の移動（位置Ｐｆから位置Ｐｎへの移動）は、近づく方向の視点移動に該当する。以下では、遷移完了時間に含まれる遅延時間および遷移時間の変化の仕方について、視点移動の方向ごとに具体例を挙げて詳しく説明する。
　図８は、視点が遠ざかる方向に移動する場合の視認性の時間的な変化の一例を示すグラフである。図８の上段のグラフは、移動先の視点周辺領域Ａｆに対応しており、図８の下段のグラフは、移動元の視点周辺領域Ａｎに対応している。各グラフの縦軸は視認性Ｖの状態を表し、横軸は時間ｔを表す。縦軸の視認性Ｖの状態は、横軸との交点（原点）から離れるほど高くなる。なお、視認性Ｖの状態は、前述したようにぼかし処理における画像のぼかし量（ぼかし割合）に対応している。このため、図８の各グラフの縦軸は画像のぼかし量も表しており、該ぼかし量は原点から離れるほど少なくなる。
　図８において、ユーザＵの視点は、時間ｔ１で位置Ｐｎ（数字の「８」の第１オブジェクト上）にあり、時間ｔ２で位置Ｐｆ（道路標識の第２オブジェクト上）に移動している。時間ｔ１において、移動先の視点周辺領域Ａｆ内の視認性は相対的に低い第２状態Ｖ２にあり、移動元の視点周辺領域Ａｎ内の視認性は相対的に高い第１状態Ｖ１にある。
　図８の各グラフ中の破線は、上述したような従来の技術において仮想空間画像に施されるぼかし処理に対応した視認性の時間的な変化を表している。従来の技術では、仮想空間画像に施されるぼかし処理が、画像処理を担うハードウェアの性能に応じた速度で実行される。このため、視認性（ぼかし量）の第１状態Ｖ１および第２状態Ｖ２間の遷移が、ユーザＵの視点の移動と略同時の短期間（時間ｔ１～ｔ２）で完了している。
　一方、本実施形態における画像生成部１４による仮想空間画像の更新処理では、各グラフ中の実線で示すように、移動先の視点周辺領域Ａｆ内の視認性が第２状態Ｖ２から徐々に上昇して第１状態Ｖ１に遷移するとともに、移動元の視点周辺領域Ａｎ内の視認性が第１状態Ｖ１からすぐに低下して第２状態Ｖ２に遷移する。
　具体的に、移動先の視点周辺領域Ａｆ内の視認性の時間的な変化は、図８の上段のグラフに示すように、ユーザＵの視点移動が完了してから所定の遅延時間Ｌ１が経過するまでの期間（時間ｔ２～ｔ３）、視認性が第２状態Ｖ２に維持され、時間ｔ３になると視認性が上昇し始める。時間ｔ３以降、移動先の視点周辺領域Ａｆ内の視認性は、時間の経過に従って漸次変化し、時間ｔ４で第１状態Ｖ１まで上昇する。
　つまり、ユーザＵの視点移動の完了後、遅延時間Ｌ１の経過を待って、移動先の視点周辺領域Ａｆ内の画像に施されたぼかし処理を軽減する処理が開始される。そして、画像のぼかし量（ぼかし割合）が時間の経過とともに徐々に減らされることにより、移動先の視点周辺領域Ａｆ内の視認性が第２状態Ｖ２（ピントが合っていないぼやけた状態）から第１状態Ｖ１（ピントが合った状態）に遷移する。遷移を開始してから完了するまでの遷移時間α１は、時間ｔ３～ｔ４である。ユーザＵの視点移動が完了してから視認性の遷移が完了するまでに要する遷移完了時間Ｔ１（時間ｔ２～ｔ４）は、遅延時間Ｌ１および遷移時間α１の合計となる。
　ここで、移動先の視点周辺領域Ａｆ内の画像にピントが合った状態は、前述の図５を参照して説明した、ユーザＵの眼Ｅの焦点が移動先の視点の仮想的な位置Ｐｆ’に合った状態に相当している。つまり、仮想空間画像上において移動先の視点周辺領域Ａｆ内の視認性を第１状態に上昇させる画像処理は、現実空間においてユーザＵが眼Ｅの焦点調整機能を働かせて焦点距離をＦｆ’に調整する動作に相当している。したがって、視認性を第１状態Ｖ１に上昇させる際の当該視認性の時間的な変化が、眼Ｅの焦点調整機能により焦点距離をＦｆ’にする際の当該焦点距離の時間的な変化に近づくようになれば、現実空間の見え方に近い視認性を実現した仮想空間画像を生成することが可能になる。
　図８の上段のグラフにおいて、遷移時間α１に亘る曲線Ｃ１は、移動先の視点周辺領域Ａｆ内の視認性を第１状態Ｖ１に上昇させる際の当該視認性の時間的な変化を表している。この曲線Ｃ１の形状が、例えば、次の（１）式に示す関数に従うようにすることによって、眼Ｅの焦点調整機能による焦点距離の時間的な変化に近づけることができる。
Figure JPOXMLDOC01-appb-M000001
上記（１）式において、ｔは、ぼかし処理を軽減する処理を開始してからの時間［ｓ］を表している。Ｆは、時間ｔでの焦点距離［ｍ］を表している。Ｄｏは、視点移動開始時の焦点距離の逆数であるディオプター（diopter）を表している。Ｄｔは、視点移動終了時の焦点距離の逆数であるディオプターを表している。ｅは、ネイピア数（自然対数の底）を表している。τは、時間定数を表している。図８のように視点が遠ざかる方向に移動する場合、Ｄｏは１／Ｆｎ’を意味し、Ｄｔは１／Ｆｆ’を意味する。
　上記（１）式における焦点距離Ｆは、時間ｔでの視認性Ｖの状態に対応している。具体的に、視認性の第１状態Ｖ１は、（１）式の焦点距離Ｆが前述の図５に示した仮想的な焦点距離Ｆｆ’となる状態（Ｆ＝Ｆｆ’）に対応している。また、視認性の第２状態Ｖ２は、（１）式の焦点距離Ｆが図５の仮想的な焦点距離Ｆｎ’となる状態（Ｆ＝Ｆｎ’）に対応している。
　また、上記（１）式における時間定数τは、前述した環境条件およびユーザ条件に合わせて設定され、時間定数τに応じて遷移時間α１の長さ（曲線Ｃ１の形状）が変化する。図９は、時間定数τの値を変更した場合の遷移時間α１の変化を例示している。図９の例では、時間定数τの値をτ＝０．１としたときの遷移時間α１よりもτ＝０．２としたときの遷移時間α１’の方が長くなり、該遷移時間α１’よりもτ＝０．３としたときの遷移時間α１’’の方が更に長くなっている。
　上記のような移動先の視点周辺領域Ａｆ内の視認性の時間的な変化に対して、移動元の視点周辺領域Ａｎ内の視認性の時間的な変化は、図８の下段のグラフに示すように、ユーザＵの視点移動が完了してすぐに視認性が第１状態Ｖ１から低下し始め、時間ｔ３’で第２状態Ｖ２まで低下する。つまり、ユーザＵの視点移動の完了後直ちに移動元の視点周辺領域Ａｎ内の画像のぼかし処理が開始される。そして、画像のぼかし量（ぼかし割合）が時間の経過とともに増やされることにより、移動元の視点周辺領域Ａｎ内の視認性が第１状態Ｖ１（ピントが合った状態）から第２状態Ｖ２（ピントが合っていないぼやけた状態）に遷移する。このように移動元の視点周辺領域Ａｎ内の視認性を変化させることで、ユーザＵが移動元の視点周辺領域Ａｎの見え方に違和感を抱くことを防止できる。
　図１０は、視点が近づく方向に移動する場合の視認性の時間的な変化の一例を示すグラフである。図１０の上段のグラフは、移動先の視点周辺領域Ａｎに対応しており、図１０の下段のグラフは、移動元の視点周辺領域Ａｆに対応している。前述した図８と同様に、各グラフの縦軸は視認性Ｖの状態（ぼかし量）を表し、横軸は時間ｔを表す。縦軸の視認性Ｖの状態は、横軸との交点（原点）から離れるほど高くなる（ぼかし量は原点から離れるほど少なくなる）。
　図１０において、ユーザＵの視点は、時間ｔ１で位置Ｐｆ（道路標識の第２オブジェクト上）にあり、時間ｔ２で位置Ｐｎ（数字の「８」の第１オブジェクト上）に移動している。時間ｔ１において、移動先の視点周辺領域Ａｎ内の視認性は相対的に低い第２状態Ｖ２にあり、移動元の視点周辺領域Ａｆ内の視認性は相対的に高い第１状態Ｖ１にある。
　図１０の各グラフ中の破線は、前述した図８の場合と同様に、従来の技術において仮想空間画像に施されるぼかし処理に対応した視認性の時間的な変化を表しており、視認性の第１状態Ｖ１および第２状態Ｖ２間の遷移が短期間（時間ｔ１～ｔ２）で完了している。
　一方、本実施形態における画像生成部１４による仮想空間画像の更新処理では、各グラフ中の実線で示すように、移動先の視点周辺領域Ａｎ内の視認性が第２状態Ｖ２から徐々に上昇して第１状態Ｖ１に遷移するとともに、移動元の視点周辺領域Ａｆ内の視認性が第１状態Ｖ１からすぐに低下して第２状態Ｖ２に遷移する。
　具体的に、移動先の視点周辺領域Ａｎ内の視認性の時間的な変化は、図１０の上段のグラフに示すように、ユーザＵの視点移動が完了してから所定の遅延時間Ｌ２が経過するまでの期間（時間ｔ２～ｔ３）、視認性が第２状態Ｖ２に維持され、時間ｔ３になると視認性が上昇し始める。前述した遠ざかる方向の視点移動における遅延時間Ｌ１は、近づく方向の視点移動における遅延時間Ｌ２よりも長くなるように設定されている（Ｌ１＞Ｌ２）。好ましくは、近づく方向の視点移動における遅延時間Ｌ２に対して、遠ざかる方向の視点移動における遅延時間Ｌ１が２倍以上となるようにするのがよい。具体的には、遠ざかる方向の視点移動における遅延時間Ｌ１を０．０５秒から０．２秒までの範囲（０．０５＜Ｌ１＜０．２）に設定し、近づく方向の視点移動における遅延時間Ｌ２を０秒から０．０５秒までの範囲（０＜Ｌ２＜０．０５）に設定するのが好適であることが実験により確認されている。時間ｔ３以降、移動先の視点周辺領域Ａｆ内の視認性は、時間の経過に従って漸次変化し、時間ｔ５で第１状態Ｖ１まで上昇する。
　つまり、ユーザＵの視点移動の完了後、遅延時間Ｌ２の経過を待って、移動先の視点周辺領域Ａｎ内の画像に施されたぼかし処理を軽減する処理が開始される。そして、画像のぼかし量（ぼかし割合）が時間の経過とともに徐々に減らされることにより、移動先の視点周辺領域Ａｎ内の視認性が第２状態Ｖ２（ピントが合っていないぼやけた状態）から第１状態Ｖ１（ピントが合った状態）に遷移する。遷移を開始してから完了するまでの遷移時間α２は、時間ｔ３～ｔ５である。前述した遠ざかる方向の視点移動における遷移時間α１は、近づく方向の視点移動における遷移時間α２よりも長くなるように設定されている（α１＞α２）。ユーザＵの視点移動が完了してから視認性の遷移が完了するまでに要する遷移完了時間Ｔ２（時間ｔ２～ｔ５）は、遅延時間Ｌ２および遷移時間α２の合計となる。
　上記遷移時間α２に亘る曲線Ｃ２の形状は、例えば、前述した（１）式に示す関数に従うようにすることによって、眼Ｅの焦点調整機能による焦点距離の時間的な変化に近づけることができる。図１０のように視点が近づく方向に移動する場合、上記（１）式における、Ｄｏは１／Ｆｆ’を意味し、Ｄｔは１／Ｆｎ’を意味する。また、時間定数τは、前述した環境条件およびユーザ条件に合わせて設定され、時間定数τに応じて曲線Ｃ２の形状（遷移時間α２の長さ）が変化する。図１１は、時間定数τの値を変更した場合の遷移時間α２の変化を例示している。図１１の例では、時間定数τの値をτ＝０．１としたときの遷移時間α２よりもτ＝０．２としたときの遷移時間α２’の方が長くなり、該遷移時間α２’よりもτ＝０．３としたときの遷移時間α２’’の方が更に長くなっている。前述した遠ざかる方向の視点移動における時間定数τは、近づく方向の視点移動における時間定数τの２倍以上となるように設定するのが好ましい。具体的には、遠ざかる方向の視点移動における時間定数τを０．０５から０．２までの範囲（０．０５＜τ＜０．２）に設定し、近づく方向の視点移動における時間定数τを０から０．１の範囲（０＜τ＜０．１）に設定するのが好適であることが実験により確認されている。
　上記のような移動先の視点周辺領域Ａｎ内の視認性の時間的な変化に対して、移動元の視点周辺領域Ａｆ内の視認性の時間的な変化は、図１０の下段のグラフに示すように、ユーザＵの視点移動が完了してすぐに視認性が第１状態Ｖ１から低下し始め、時間ｔ３’で第２状態Ｖ２まで低下する。つまり、ユーザＵの視点移動の完了後直ちに移動元の視点周辺領域Ａｆ内の画像のぼかし処理が開始される。そして、画像のぼかし量（ぼかし割合）が時間の経過とともに増やされることにより、移動元の視点周辺領域Ａｆ内の視認性が第１状態Ｖ１（ピントが合った状態）から第２状態Ｖ２（ピントが合っていないぼやけた状態）に短時間で遷移する。このように移動元の視点周辺領域Ａｆ内の視認性を変化させることで、ユーザＵが移動元の視点周辺領域Ａｆの見え方に違和感を抱くことを防止できる。
　以上説明したように、本実施形態による仮想空間画像生成装置２では、画像生成部１４が、ユーザＵの視点が移動する場合に、移動元の視点周辺に位置する視認性変化領域の視認性が第１状態Ｖ１と第２状態Ｖ２との間で遷移するのに要する遷移完了時間Ｔ１，Ｔ２が所定条件に基づいて変化する仮想空間画像を生成する。これにより、視認性変化領域の視認性が、所定条件に基づき変化する遷移完了時間Ｔ１，Ｔ２をかけて第１および第２状態Ｖ１，Ｖ２の間で遷移するようになるため、ユーザＵの視点が移動しても現実空間の見え方に近い視認性を実現した仮想空間画像を生成することができる。このような仮想空間画像生成装置２を適用して運転シミュレータシステム１を構築すれば、車両開発等において、現実空間における各種オブジェクトを仮想空間上で再現して、各種オブジェクトの視認性を仮想空間画像上で正確に評価することが可能になる。また、運転シミュレータシステム１を利用して車両運転の模擬体験を行えば、ユーザＵに対してよりリアルな運転体験を提供できるようになる。
　また、本実施形態の仮想空間画像生成装置２における遷移完了時間Ｔ１，Ｔ２は、遅延時間Ｌ１，Ｌ２と遷移時間α１，α２を含んでいる。眼の焦点調整機能において、視点を移動させてから焦点距離が変化するまでの間には遅れ（タイムラグ）が生じる。このような眼の性質を考慮して、遷移完了時間Ｔ１，Ｔ２に含まれる遅延時間Ｌ１，Ｌ２を適切に設定し、遅延時間Ｌ１，Ｌ２の経過を待って遷移時間α１，α２を開始することにより、生成される仮想空間画像の視認性を現実空間の見え方により近づけることができる。
　また、本実施形態の仮想空間画像生成装置２では、ユーザＵの視点の移動方向に応じて遷移時間α１，α２が変化する仮想空間画像が生成される。眼の焦点調整機能において、焦点距離の調整時間（眼のピントが合うまでに要する時間）は視点の移動方向によって異なるので、視点の移動方向に依存して視点周辺領域のぼやけ方が変わる。このような眼の性質に合うように、視点の移動方向に応じて遷移時間α１，α２を変化させることによって、生成される仮想空間画像の視認性を現実空間の見え方に更に近づけることができる。
　また、本実施形態の仮想空間画像生成装置２では、遠ざかる方向の視点移動における遷移時間α１が、近づく方向の視点移動における遷移時間α２よりも長くなる仮想空間画像が生成される。眼の焦点調整機能において、視点が近づく方向に移動にする場合よりも、視点が遠ざかる方向に移動する場合の方が焦点距離の調整時間が長くなる。このような眼の性質に合うように、仮想空間画像の処理における遷移時間α１，α２を調整することによって、生成される仮想空間画像の視認性を現実空間の見え方に更に近づけることができる。
　さらに、本実施形態の仮想空間画像生成装置２では、仮想空間内でのユーザＵの視点の仮想的な位置（Ｐｎ’，Ｐｆ’）に対応するユーザの眼の焦点距離（Ｆｎ’，Ｆｆ’）の変化に応じて遷移時間α１，α２が変化する仮想空間画像が生成される。眼の焦点調整機能において、現実空間で視点を移動させたときの視点周辺領域のぼやけ方は、焦点距離の変化量に応じて変わる。このような眼の性質に合うように、眼の焦点距離の変化に応じて、仮想空間画像の処理における遷移時間α１，α２を変化させることによって、生成される仮想空間画像の視認性を現実空間の見え方に一層近づけることができる。
　加えて、本実施形態の仮想空間画像生成装置２では、遠ざかる方向の視点移動における遅延時間Ｌ１が、近づく方向の視点移動における遅延時間Ｌ２よりも２倍以上長く、かつ、遠ざかる方向の視点移動における遷移時間α１を決める関数の時間定数τが、近づく方向の視点移動における遷移時間α２を決める関数の時間定数τの２倍以上となる仮想空間画像が生成される。このような設定とすることにより、生成される仮想空間画像の視認性を現実空間の見え方により一層近づけることができる。特に、遠ざかる方向の視点移動において、遅延時間Ｌ１が０．０５秒から０．２秒までの範囲に設定され、かつ、時間定数τが０．０５から０．２までの範囲に設定されるとともに、近づく方向の視点移動において、遅延時間Ｌ２が０秒から０．０５秒までの範囲に設定され、かつ、時間定数τが０から０．１の範囲に設定されるようにすれば、仮想空間画像の視認性を現実空間の見え方に確実に近づけることができる。
　また、本実施形態の仮想空間画像生成装置２では、仮想空間の環境に関する条件（環境条件）や、ユーザＵに関する条件（ユーザ条件）に基づき遷移完了時間が変化する仮想空間画像が生成される。眼の焦点調整機能において、現実空間で視点を移動させたときの視点周辺領域のぼやけ方は、仮想空間の環境（天候、湿度、走行環境、ウィンドガラスの状況など）や、ユーザの状態（年齢、性別、視力、眼の健康度、開眼度、利き目など）に応じて変わる。このような眼の性質に合うように、仮想空間画像の処理における遷移完了時間を環境条件やユーザ条件に基づき変化させることによって、生成される仮想空間画像の視認性を現実空間の見え方に効果的に近づけることができる。
　また、本実施形態の仮想空間画像生成装置２では、ユーザＵの視点が移動して、移動先の視点周辺領域が移動元の視点周辺領域外に位置している場合に、遷移完了時間が所定条件に基づいて変化する仮想空間画像が生成される。これにより、ユーザＵの視点が、視点周辺領域外の離れた位置に大きく移動した場合にも、移動先の視点周辺領域全体の視認性を現実空間の見え方に確実に近づけることができる。
　以上、本発明の実施形態について述べたが、本発明は既述の実施形態に限定されるものではなく、本発明の技術的思想に基づいて各種の変形および変更が可能である。例えば、既述の実施形態では、ユーザＵの視点が仮想空間内で奥行方向（遠ざかる方向または近づく方向）に移動する一例を説明した。しかしながら、奥行方向の移動を伴わない視点移動、例えば、仮想空間画像に表示した先行車両の左右のテールランプ間でユーザＵの視点が移動するような場合にも、本発明による仮想空間画像の生成技術を適用することで、現実空間の見え方に近い仮想空間画像を実現できるようになる。
　また、既述の実施形態では、ユーザＵの視点移動が完了してから遅延時間Ｌ１，Ｌ２が経過するまでの期間、移動先の視点周辺領域内の視認性が第２状態に維持される一例を説明したが、遅延時間Ｌ１，Ｌ２の間に視認性が微増する仮想空間画像を生成するようにしてもよい。さらに、既述の実施形態では、遷移時間における視認性の時間的な変化が（１）式などの関数に従う一例を説明したが、視認性の状態と焦点距離とを関連付けたマップを用いて視認性を変化させるようにしてもよい。
　遷移時間における視認性の時間的な変化が（１）式に示した関数に従うようにした場合に、該（１）式のディオプターＤｏ（視点移動開始時の焦点距離の逆数）およびディオプターＤｔ（視点移動終了時の焦点距離の逆数）として、既述の実施形態では、ユーザＵの眼Ｅの仮想的な焦点距離Ｆｎ’，Ｆｆ’の逆数を用いる一例を示したが、該Ｆｎ’，Ｆｆ’の逆数に代えて、奥行き方向の距離Ｚｎ，Ｚｆの逆数を用いるようにしてもよい。
　加えて、視認性変化領域の視認性の変化度合は、視点移動開始時の焦点距離と視点移動終了時の焦点距離との偏差に応じて変化させるようにすることも可能である。
　１…運転シミュレータシステム
　２…仮想空間画像生成装置
　３…センサ
　４…画像形成装置
　１１…視点検出部
　１２…入力部
　１３…記憶部
　１４…画像生成部
　１５…表示制御部
　Ａ，Ａｎ，Ａｆ…視点周辺領域
　Ｆ，Ｆｎ，Ｆｎ’，Ｆｆ，Ｆｆ’…焦点距離
　Ｌ１，Ｌ２…遅延時間
　Ｐ，Ｐｎ，Ｐｆ…視点の位置
　Ｐｎ’，Ｐｆ’…仮想空間内での視点の位置
　Ｔ１，Ｔ２…遷移完了時間
　Ｕ…ユーザ
　Ｖ１…第１状態
　Ｖ２…第２状態
　α１，α２…遷移時間
　τ…時間定数
 

Claims (11)

  1. 　ユーザの視点移動に基づいて視認性が変化する視認性変化領域を含む仮想空間画像を生成する仮想空間画像生成装置において、
    　前記ユーザの視点が移動する場合に、前記視認性変化領域の視認性が第１状態と該第１状態とは異なる第２状態との間で遷移するのに要する遷移完了時間が所定条件に基づいて変化する前記仮想空間画像を生成する画像生成部を備えることを特徴とする仮想空間画像生成装置。
  2. 　前記遷移完了時間は、前記ユーザの視点移動が完了してから前記遷移を開始するまでの遅延時間と、前記遷移を開始してから完了するまでの遷移時間とを含むことを特徴とする請求項１に記載の仮想空間画像生成装置。
  3. 　前記画像生成部は、前記ユーザの視点が移動する方向を前記所定条件として、該視点の移動方向に応じて前記遷移時間が変化する前記仮想空間画像を生成するように構成されていることを特徴とする請求項２に記載の仮想空間画像生成装置。
  4. 　前記画像生成部は、前記視点の移動方向が遠ざかる方向である場合の前記遷移時間が、前記視点の移動方向が近づく方向である場合の前記遷移時間よりも長くなる前記仮想空間画像を生成するように構成されていることを特徴とする請求項３に記載の仮想空間画像生成装置。
  5. 　前記画像生成部は、仮想空間内での前記ユーザの視点の仮想的な位置の変化に対応する前記ユーザの眼の焦点距離の変化を前記所定条件として、該焦点距離の変化に応じて前記遷移時間が変化する前記仮想空間画像を生成するように構成されていることを特徴とする請求項４に記載の仮想空間画像生成装置。
  6. 　前記画像生成部は、遠ざかる方向の視点移動における前記遅延時間が、近づく方向の視点移動における前記遅延時間よりも２倍以上長く、かつ、前記遠ざかる方向の視点移動における前記遷移時間を決める関数の時間定数が、前記近づく方向の視点移動における前記遷移時間を決める関数の時間定数の２倍以上となる前記仮想空間画像を生成するように構成されていることを特徴とする請求項５に記載の仮想空間画像生成装置。
  7. 　前記遠ざかる方向の視点移動において、前記遅延時間は０．０５秒から０．２秒までの範囲に設定され、かつ、前記時間定数は０．０５から０．２までの範囲に設定され、
    　前記近づく方向の視点移動において、前記遅延時間は０秒から０．０５秒までの範囲に設定され、かつ、前記時間定数は０から０．１の範囲に設定される、ことを特徴とする請求項６に記載の仮想空間画像生成装置。
  8. 　前記画像生成部は、仮想空間の環境に関する条件を前記所定条件として、該環境に関する条件に基づき前記遷移完了時間が変化する前記仮想空間画像を生成するように構成されていることを特徴とする請求項１に記載の仮想空間画像生成装置。
  9. 　前記画像生成部は、前記ユーザに関する条件を前記所定条件として、該ユーザに関する条件に基づき前記遷移完了時間が変化する前記仮想空間画像を生成するように構成されていることを特徴とする請求項１に記載の仮想空間画像生成装置。
  10. 　前記画像生成部は、前記ユーザの視点が移動して、移動先の視点周辺領域が移動元の視点周辺領域外に位置している場合に、前記遷移完了時間が前記所定条件に基づいて変化する前記仮想空間画像を生成するように構成されていることを特徴とする請求項１に記載の仮想空間画像生成装置。
  11. 　ユーザの視点移動に基づいて視認性が変化する視認性変化領域を含む仮想空間画像を生成する仮想空間画像生成方法において、
    　前記ユーザの視点が移動する場合に、前記視認性変化領域の視認性が第１状態と該第１状態とは異なる第２状態との間で遷移するのに要する遷移完了時間が所定条件に基づいて変化する前記仮想空間画像を生成する仮想空間画像生成方法。
     
PCT/JP2022/012969 2021-09-30 2022-03-22 仮想空間画像生成装置および方法 WO2023053516A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020247007964A KR20240047407A (ko) 2021-09-30 2022-03-22 가상 공간 화상 생성 장치 및 방법
CN202280064034.XA CN117980961A (zh) 2021-09-30 2022-03-22 虚拟空间图像生成装置和方法
EP22875399.2A EP4411661A1 (en) 2021-09-30 2022-03-22 Virtual space image generation device and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-161258 2021-09-30
JP2021161258A JP2023050903A (ja) 2021-09-30 2021-09-30 仮想空間画像生成装置および方法

Publications (1)

Publication Number Publication Date
WO2023053516A1 true WO2023053516A1 (ja) 2023-04-06

Family

ID=85782153

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/012969 WO2023053516A1 (ja) 2021-09-30 2022-03-22 仮想空間画像生成装置および方法

Country Status (5)

Country Link
EP (1) EP4411661A1 (ja)
JP (1) JP2023050903A (ja)
KR (1) KR20240047407A (ja)
CN (1) CN117980961A (ja)
WO (1) WO2023053516A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017058493A (ja) * 2015-09-16 2017-03-23 株式会社コロプラ 仮想現実空間映像表示方法、及び、プログラム
JP2017138701A (ja) 2016-02-02 2017-08-10 株式会社コロプラ 仮想空間画像提供方法、及びそのプログラム
WO2020049838A1 (ja) * 2018-09-07 2020-03-12 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US20210096644A1 (en) * 2019-09-26 2021-04-01 Apple Inc. Gaze-independent dithering for dynamically foveated displays

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017058493A (ja) * 2015-09-16 2017-03-23 株式会社コロプラ 仮想現実空間映像表示方法、及び、プログラム
JP2017138701A (ja) 2016-02-02 2017-08-10 株式会社コロプラ 仮想空間画像提供方法、及びそのプログラム
WO2020049838A1 (ja) * 2018-09-07 2020-03-12 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US20210096644A1 (en) * 2019-09-26 2021-04-01 Apple Inc. Gaze-independent dithering for dynamically foveated displays

Also Published As

Publication number Publication date
JP2023050903A (ja) 2023-04-11
EP4411661A1 (en) 2024-08-07
KR20240047407A (ko) 2024-04-12
CN117980961A (zh) 2024-05-03

Similar Documents

Publication Publication Date Title
JP6138634B2 (ja) ヘッドアップディスプレイ装置
US9771083B2 (en) Cognitive displays
US20100073773A1 (en) Display system for vehicle and display method
CN111095363B (zh) 显示系统和显示方法
JP2018154154A (ja) 車両の表示システム及び車両の表示システムの制御方法
WO2023053515A1 (ja) 仮想空間画像生成装置および方法
CN113924518A (zh) 控制机动车的增强现实平视显示器装置的显示内容
JPWO2020105685A1 (ja) 表示制御装置、方法、及びコンピュータ・プログラム
WO2023053516A1 (ja) 仮想空間画像生成装置および方法
JP6196840B2 (ja) ヘッドアップディスプレイ装置
JPWO2018030320A1 (ja) 車両用表示装置
KR102384426B1 (ko) 운전 시 눈부심 방지 장치 및 방법
JP2007280203A (ja) 情報提示装置、自動車、及び情報提示方法
JP2021135933A (ja) 表示方法、表示装置及び表示システム
JP2021056358A (ja) ヘッドアップディスプレイ装置
WO2021200913A1 (ja) 表示制御装置、画像表示装置、及び方法
WO2023053517A1 (ja) 視認性情報取得装置の制御方法および視認性情報取得装置
JP2021160409A (ja) 表示制御装置、画像表示装置、及び方法
WO2021065700A1 (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び方法
JP2022113292A (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法
WO2020045330A1 (ja) 車両用表示装置、方法、及びコンピュータ・プログラム
EP3306373A1 (en) Method and device to render 3d content on a head-up display
JP2022077138A (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法
JP2023034268A (ja) 表示制御方法及び表示制御装置
JP2022057051A (ja) 表示制御装置、虚像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22875399

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20247007964

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202280064034.X

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18695067

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202417025782

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022875399

Country of ref document: EP

Effective date: 20240430