WO2010143600A1 - ３次元情報提示装置 - Google Patents

３次元情報提示装置 Download PDF

Info

Publication number
WO2010143600A1
WO2010143600A1 PCT/JP2010/059599 JP2010059599W WO2010143600A1 WO 2010143600 A1 WO2010143600 A1 WO 2010143600A1 JP 2010059599 W JP2010059599 W JP 2010059599W WO 2010143600 A1 WO2010143600 A1 WO 2010143600A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
dimensional information
light projecting
projecting means
information presentation
Prior art date
Application number
PCT/JP2010/059599
Other languages
English (en)
French (fr)
Inventor
佐藤　淳
文彦 坂上
雅彦 稲垣
Original Assignee
国立大学法人名古屋工業大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人名古屋工業大学 filed Critical 国立大学法人名古屋工業大学
Priority to EP10786131.2A priority Critical patent/EP2450736B1/en
Priority to JP2011518524A priority patent/JP5669212B2/ja
Priority to US13/376,004 priority patent/US8807810B2/en
Publication of WO2010143600A1 publication Critical patent/WO2010143600A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017—Devices integrating an element dedicated to another function
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017—Devices integrating an element dedicated to another function
    • B60Q1/0023—Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4911—Transmitters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/40—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images giving the observer of a single two-dimensional [2D] image a perception of depth
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/18—Stereoscopic photography by simultaneous viewing
    • G03B35/20—Stereoscopic photography by simultaneous viewing using two or more projectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2400/00—Special features or arrangements of exterior signal lamps for vehicles
    • B60Q2400/50—Projected symbol or information, e.g. onto the road or car body
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen

Definitions

  • the present invention relates to a three-dimensional information presentation device that presents three-dimensional information, for example, by coloring a road surface according to the height of unevenness or coloring an obstacle when the vehicle is traveling. It is possible to provide driver assistance.
  • Non-Patent Documents 1 and 2 many techniques for three-dimensional measurement using a projector and a camera have been proposed (for example, see Non-Patent Documents 1 and 2). These perform some coding on the projector light, receive the projected light with the camera, use the coding to take correspondence between the points on the projector image and the points on the camera image, and The three-dimensional distance is measured by the principle of surveying.
  • a technique for presenting the measured three-dimensional information information is displayed on the user using a display or the like (see Patent Documents 1 and 2), and information is displayed on the windshield surface using a head-up display (HUD). There is one that presents (see Patent Document 3).
  • Non-Patent Documents 1 and 2 a conventional three-dimensional measurement technique using a projector has a final purpose of restoring three-dimensional information. How to present this to the user is different. It has been considered a problem.
  • the information presentation technology as represented by Patent Documents 1 and 2, since the obtained three-dimensional information is presented using an information presentation device such as a display monitor, the user can visually recognize the information. The display monitor had to be watched and the line of sight had to be moved from the actual 3D scene. When presenting information when driving a vehicle, etc., this leads to side-view driving, which is not preferable for safety.
  • Patent Document 3 in the case of a technique for displaying distance information by displaying a virtual object at the position of a real object on the windshield using a head-up display, it is clear from being displayed on the windshield. Display is difficult, and since the focal length of the driver is greatly different between the real object and the display object on the windshield, there is a problem in terms of safety due to defocusing. In addition, to accurately present information according to the position of the real object, it is necessary to accurately measure the driver's viewpoint position. There are also problems such as misalignment. In addition, there is a method of presenting information using a head mounted display (HMD), but there are the same problems as HUD, and there are also problems that it is difficult to wear the HMD on the head during driving. These are all problems that occur because information is presented indirectly using a display device such as a display, HUD, or HMD.
  • HMD head mounted display
  • the present invention has been made in view of the above points, and it is an object of the present invention to directly present three-dimensional information on a target three-dimensional object surface rather than using a display device such as a display or a HUD.
  • a special coded light pattern is projected from two or more projectors installed at different positions and irradiated onto the object surface. Coding can be done using color or luminance. Light from two projectors placed at different positions is mixed on the object surface to become one color and brightness. However, if coding is devised, the color and brightness generated on the object surface will be It can be changed according to the distance. This is because the positions at which the lights of the two projectors change according to the distance of the object, based on the same principle as triangulation using two cameras.
  • the present invention has been made based on the above examination and has the following characteristics.
  • the present invention includes a plurality of light projecting units that irradiate light to the same spatial region, and a pattern of light irradiated from the plurality of light projecting units is spatially encoded to form a three-dimensional irradiation surface. It is characterized by visualizing information.
  • a light pattern is spatially encoded means, for example, a pattern as shown in FIGS. 2 and 9 (a pattern in which the wavelength and intensity of light are spatially changed) described later. ) To be set.
  • FIG. 1 shows the structure of the three-dimensional information presentation apparatus in 1st Embodiment of this invention. It is a figure which shows the projection pattern of the two projectors in FIG. It is a figure for demonstrating the setting of the reference plane at the time of applying the three-dimensional information presentation apparatus shown in FIG. 1 to a vehicle. It is a figure for demonstrating distance measurement using the distance from a reference plane. It is a figure for demonstrating the color change at the time of projecting a color gradation. It is a figure for demonstrating the emphasis presentation of the road surface shape using a vehicle-mounted projector. It is a figure for demonstrating the calculation of planar projection conversion.
  • FIG. 1 It is a figure which shows the structure of the three-dimensional information presentation apparatus in 2nd Embodiment of this invention. It is a figure which shows the projection pattern of the three projectors in FIG. It is a figure which shows the projection pattern of the three projectors in FIG. It is a figure which shows notionally the brightness
  • FIG. 1 shows a configuration of a three-dimensional information presentation apparatus according to the first embodiment of the present invention.
  • this three-dimensional information presentation apparatus light is irradiated from two projectors P1 and P2 onto the target object surface as shown in FIG.
  • the light emitted from the two projectors P1 and P2 is added on the object plane to become one color and luminance. Since light is simply added on the object plane, the color and brightness of the point A on the object plane in FIG. 1 are the same as the color and brightness of the point a 1 on the image plane of the first projector P1.
  • P2 color and brightness of a 2 points of the image on the surface is that the addition of the.
  • the color and luminance of the point B on the object plane are the addition of the light color and luminance at the points b 1 and b 2
  • the color and luminance of the point C are the light color and luminance at the points c 1 and c 2 . Addition of luminance.
  • the pattern of light emitted from the two projectors P1 and P2 is made to be a gradation pattern in which the change in shading is reversed between the two projectors as shown in FIG. 2, that is, spatially coded.
  • the direction in which the shade is changed is the direction in which the two projectors P1 and P2 are arranged, more specifically, the linear direction connecting the projection centers of the two projectors P1 and P2, and the change in the shade is linear. It shall be changed. Then, the luminance of the point A becomes black by adding the black of the point a 1 and the black of the point a 2 .
  • the brightness of point B is gray by adding the gray of point b 1 and the gray of point b 2
  • the brightness of point C is white by adding the white of point c 1 and the white of point c 2 . Since the brightness of the two projectors P1 and P2 changes linearly, all the points at the same distance as the point A are the same black, all the points at the same distance as the point B are the same gray, and the same distance as the point C All points in are the same white color. Therefore, the three-dimensional distance of each point on the object plane is visualized by the brightness generated on the object plane.
  • the three-dimensional distance visualized at this time can be a distance in a direction perpendicular to any reference plane provided in the three-dimensional space.
  • the vehicle traveling direction can be visualized as shown in FIG. 3A in order to visualize the distance to the vehicle or obstacle existing in front of the road.
  • the plane perpendicular to is the reference plane ⁇ .
  • the difference in height in the direction perpendicular to the road surface can be visualized by using the road surface as a reference plane ridge as shown in FIG. it can.
  • Equations 1 and 2 are equal except for the indefiniteness of a constant multiple.
  • the calculation of the planar projective transformation matrix Hcp1, Hcp2 can be performed by linear calculation as follows. Consider the case of seeking Hcp1. For this purpose, consider a vector h in which nine elements of a 3 ⁇ 3 matrix Hcp1 are vertically arranged (see Equation 3).
  • Hij is an element of i-th row and j-th column of Hcp1.
  • the following linear equation is obtained by developing and rearranging the projective transformation formula of Formula 1 (see Formula 4).
  • 0 is a zero vector
  • M is an 8 ⁇ 9 matrix shown below (see Equation 5).
  • the contents of the matrix M are all known because they are the coordinate values of the points in the projector image and the camera image. Accordingly, by solving the linear equation of Equation 4, the vector h is obtained, and the projective transformation matrix Hcp1 is obtained. Note that the solution h of Expression 4 is obtained as an eigenvector corresponding to the minimum eigenvalue of the matrix M T M. The calculation of Hcp2 can be performed in the same way.
  • projective transformation can be obtained from at least four corresponding points. When there are five or more corresponding points, projective transformation can be performed more stably by using all these N points. Can be requested.
  • the matrix M is a 2N ⁇ 9 matrix, but h may be obtained as an eigenvector corresponding to the minimum eigenvalue of M T M as before.
  • the gradation pattern of the two projectors P1 and P2 is created so that the luminance value obtained by adding the light emitted from the two projectors P1 and P2 is constant on the reference plane ⁇ .
  • two gradation images I1 and I2 (corresponding to FIGS. 2 (a) and 2 (b), respectively) in which the direction of luminance change is opposite as shown in FIG. 2 are created.
  • the gradation image I1 is subjected to projective transformation using the plane projection transformation Hcp1 so that the gradation images I1 and I2 can be obtained by the camera C1, and the gradation image I2 is subjected to projection transformation using the plane projection transformation Hcp2.
  • the first projector P1 is set so that the gradation image I1 ′ is projected from the first projector P1
  • the second projector P2 The second projector P2 is set so that the gradation image I2 ′ is projected.
  • the superimposed luminance changes according to the distance from the reference plane ⁇ , and the observed luminance value is Change.
  • the distance from the reference plane can be visualized and displayed. Since the reference plane can be set freely in the three-dimensional space, for example, if the reference plane is taken perpendicular to the vehicle traveling direction as shown in FIG. 3A, the luminance change according to the distance ahead of the vehicle If a reference plane is taken on the road surface as shown in FIG. 3B, a luminance change according to the unevenness of the road surface can be added.
  • plane projection transformations Hcp1 and Hcp2 are obtained by the same method as described above, and are projected from the projectors P1 and P2 using them. Set the color gradation image.
  • information acquisition and information presentation can be performed simultaneously by presenting three-dimensional information directly on the object surface using light mixing. It is possible to solve the problem of the calibration of the coordinate system in the existing system in which the presentation system is divided, the problem of the deviation between the real object and the display object that occurs when an indirect information presentation means such as a display is used. In other words, instead of performing 3D measurement and 3D information presentation separately as in Non-Patent Documents 1 and 2, these two are completely integrated, and visualization of 3D information restores 3D information. Can be done without intervention.
  • the presentation of the three-dimensional information is not performed using a display device (display screen) such as a display or a HUD, but is presented as a difference in color or brightness directly on the target three-dimensional object surface.
  • a display device display screen
  • HUD display screen
  • the distance from the reference plane ⁇ is emphasized and presented, but in the second embodiment, the specific three-dimensional region is emphasized and presented. In other words, in this embodiment, three-dimensional information that is not proportional to the distance is presented.
  • the light patterns ⁇ , ⁇ , and ⁇ emitted from the three projectors P1, P2, and P3 are gradation patterns in which the change in shading is nonlinear.
  • the luminance of the specific area D in the target object surface is high, and the luminance of the other areas is lower than the luminance of the specific area D. Therefore, the specific three-dimensional region is emphasized and presented by the luminance generated on the object plane.
  • region E of FIG. 11 has shown the area
  • ⁇ [ ⁇ 1 ,..., ⁇ N ] T
  • ⁇ [ ⁇ 1 ,..., ⁇ N ] T
  • the contribution W takes a value from 0 to 1, where 0 represents that the pixel does not contribute to the coloring of the point j at all, and 1 represents a large contribution.
  • the degree of contribution is determined in accordance with the size of the overlap between the light beam emitted from the pixel and the discrete point j.
  • the M ⁇ 3N matrix on the left side represents the contribution (weight) of each pixel.
  • This Formula 7 can be expressed as Formula 8 below.
  • W is an M ⁇ 3N matrix of Equation 7
  • Y is a vector that represents the projection pattern of each projector
  • I is a vector that represents the observed colors at M discrete points.
  • the contents of the matrix W are all known because they can be obtained in advance from the size of the overlap between the light rays emitted from each pixel and each point in the target space.
  • the vector I is set according to the target coloring. Therefore, by solving the linear equation of Equation 8, the vector Y, that is, the projection pattern of each projector can be obtained.
  • the projection pattern of each projector obtained in this way may include a negative luminance value, but negative light cannot be projected from the projector.
  • the projection pattern obtained in this way is projected from the projectors P1, P2, and P3, the superimposed luminance changes depending on the position on the target object surface, and the observed luminance value changes.
  • the projection results obtained in this way are shown in FIG. As described above, the luminance value observed in the specific three-dimensional area is increased, whereby the specific three-dimensional area can be emphasized.
  • this three-dimensional information presentation device when this three-dimensional information presentation device is applied to a vehicle to form an in-vehicle projector, an object 10 (a vehicle, an obstacle, etc.) existing in a specific area in front of a road can be highlighted as shown in FIG. .
  • an object 10 a vehicle, an obstacle, etc.
  • this three-dimensional information presentation device can be applied to a product inspection device. That is, as illustrated in FIG. 16, the product 11 is irradiated with light from a plurality of projectors P1, P2, and P3, so that the three-dimensional portion other than the regular shape portion of the product 11 (the rectangular parallelepiped shape portion in the example of FIG. 16). Try to highlight areas. As a result, the defect shape portion 12 of the product (columnar shape portion in the example of FIG. 16) is emphasized, and it is possible to easily determine the presence or absence of the product defect.
  • the color of the added light is white (colorless) on the reference plane by making one color complementary to the other color, Other than the reference plane, the color of the added light may be colored.
  • the coded pattern light projected from the projector does not need to be a stationary pattern light, and can be a dynamic pattern light that changes with time.
  • temporally and spatially encoded dynamic pattern light it is possible to color and change brightness according to the motion of a moving three-dimensional object, and to perform a specific motion It is possible to emphasize and present only the object to be performed.
  • the presented three-dimensional information may be acquired by a three-dimensional information acquisition unit and used for controlling various devices.
  • the projection results from the projectors P1 and P2 are photographed by the camera 30, and the photographed image is input to the control device 31 serving as a three-dimensional information acquisition unit.
  • Various determination processes may be performed based on the obtained image, and a control signal may be output to the various devices to be controlled 32 based on the determination result.
  • control target device 32 is a vehicle collision danger alarm device
  • the control device 31 determines whether a vehicle or an obstacle exists in front of the road, and the vehicle or obstacle exists in front of the road. If it is determined, an alarm sound generation signal may be output to the vehicle collision danger alarm device.
  • control target device 32 is a product defect alarm
  • the control device 31 determines whether or not the product has a defect shape, and if it determines that the product has a defect shape, What is necessary is just to make it output a notification sound generation signal to a defect alarm.
  • the coded pattern light projected from the projector does not need to be visible light, and can be invisible light.
  • infrared light is projected as invisible light from the projectors P ⁇ b> 1 and P ⁇ b> 2
  • an infrared camera is used as the camera 30, and an infrared image (invisible image) captured by the camera 30 is input to the control device 31. Also good.
  • the light projecting means may be configured using a plurality of light emitting means (LEDs or the like) instead of the projector as shown in FIG.
  • LEDs light emitting means
  • the light projecting means when the light projecting means is installed in the left and right headlight devices provided at the front of the vehicle, or the headlight is composed of a plurality of light emitting means (LEDs, etc.) Some of them may be used as a light projecting means for an in-vehicle projector.
  • the number of light projecting means is not limited to two and may be three or more according to the applied technology. By increasing the number of light projecting means, more complicated nonlinear three-dimensional information can be emphasized and presented.
  • the present invention comprises a plurality of light projecting means for irradiating light to the same spatial region, and a pattern of light emitted from the plurality of light projecting means is spatially encoded to obtain three-dimensional information of the irradiated surface.
  • the first feature is that it is made visible.
  • the light pattern is spatially encoded means, for example, that the light pattern is a pattern as shown in FIG. 2 or 9 (a pattern in which the wavelength or intensity of light is spatially changed). Say that it is set.
  • the light pattern emitted from the plurality of light projecting units is a space in which a distance in a direction perpendicular to a reference plane set in a three-dimensional space is presented.
  • the second feature is that the data is coded in an automatic manner.
  • the light emitted from the plurality of light projecting units is visible light, and the pattern of visible light is irradiated from the plurality of light projecting units to the reference plane.
  • a third feature is that the distance in the vertical direction is visualized.
  • the present invention is characterized in that, in the third feature described above, the light pattern irradiated from the plurality of light projecting means is a gradation pattern.
  • the present invention is characterized in that, in the fourth feature, the gradation pattern is a pattern in which light is changed in an arrangement direction of the plurality of light projecting means.
  • the gradation pattern is set such that a luminance value obtained by adding the light emitted from the plurality of light projecting units is constant on the reference plane. It is characterized by.
  • the seventh feature of the present invention is that, in any one of the third to sixth features, a pattern of light emitted from the plurality of light projecting means is coded by a change in shading.
  • the eighth feature of the present invention is that, in any one of the third to sixth features, a pattern of light emitted from the plurality of light projecting means is encoded by a change in color.
  • the reference color is a complementary color of the color of the light pattern projected from one of the plurality of light projecting units, and the reference color is the reference color.
  • the ninth feature is that the color of the added light is white on the plane, and the color of the added light is colored except on the reference plane.
  • the plurality of light projecting units are installed in a vehicle, and light is emitted from the plurality of light projecting units to a space area in front of the vehicle.
  • the tenth feature is that the distance to an object existing in front of the vehicle is visualized.
  • the plurality of light projecting units are installed in a vehicle, and light is emitted from the plurality of light projecting units to a space area in front of the vehicle.
  • the eleventh feature is that the difference in height in the vertical direction with respect to the road surface ahead of the vehicle is visualized.
  • the twelfth feature is that the plurality of light projecting means are installed in a headlight device of a vehicle.
  • the thirteenth feature is that the plurality of light projecting means are configured as a part of a plurality of light emitting means constituting a headlight of a vehicle.
  • the light emitted from the plurality of light projecting units is invisible light, and a pattern of invisible light is irradiated from the plurality of light projecting units to the reference plane.
  • a fourteenth feature is that the distance in the vertical direction is presented.
  • a fifteenth feature is provided with three-dimensional information acquisition means for acquiring three-dimensional information presented by invisible light emitted from the plurality of light projecting means.
  • the plurality of light projecting units are installed in a vehicle, and invisible light is irradiated from the plurality of light projecting units to a space area in front of the vehicle, so that the front of the vehicle
  • a sixteenth feature is to present a difference in height in a direction perpendicular to a distance to an existing object or a road surface in front of the vehicle.
  • the pattern of light emitted from the plurality of light projecting units is spatially encoded so that a specific three-dimensional region is highlighted.
  • the plurality of light projecting units are installed in a vehicle, and the front region of the vehicle is identified by irradiating invisible light to a space area in front of the vehicle from the plurality of light projecting units.
  • An eighteenth feature is that an object existing in a region is highlighted.
  • the present invention is the nineteenth feature according to the seventeenth feature, wherein the plurality of light projecting means irradiate the product with light to highlight and show a defective shape portion of the product.
  • the apparatus includes a plurality of light projecting units that irradiate light to the same spatial region, and a spatial pattern is formed in the light irradiated by the plurality of light projecting units.
  • a light pattern corresponding to three-dimensional information is generated on the object by overlapping the light emitted from the plurality of light projecting units on the existing object.
  • P1, P2 projector (light projection means)

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Non-Portable Lighting Devices Or Systems Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】３次元情報の提示をディスプレイやＨＵＤなどの表示装置を用いて行うのではなく、対象となる３次元物体面上に直接行う。 【解決手段】対象物体面に対して２台のプロジェクタＰ１、Ｐ２から空間的にコード化された光のパターンを照射する。２台のプロジェクタＰ１、Ｐ２から照射された光は物体面上において足し合わされて一つの色や輝度となる。物体面上においては、光は単純に加算されるので、物体面上には、距離や高さに応じた色や明るさのパターンが生じ、物体上の色や明るさにより物体までの距離情報や物体の３次元形状を強調して人間に知覚させることが可能となる。

Description

３次元情報提示装置
　本発明は、３次元情報を提示する３次元情報提示装置に関し、例えば、車両走行時において、道路面に対して凹凸の高さに応じた色付けを行ったり、障害物に対して着色することにより、ドライバー支援を行うことを可能とする。
　従来、プロジェクタとカメラを用いて３次元計測する技術が多数提案されている（例えば、非特許文献１、２参照）。これらは、プロジェクタ光に対して何らかのコード化を行い、投光された光をカメラで受光し、コード化を用いてプロジェクタ画像上の点とカメラ画像上の点との間で対応を取り、三角測量の原理で３次元距離を計測するものである。また、計測された３次元情報を提示する技術としては、ディスプレイなどを用いてユーザに情報表示するもの（特許文献１、２参照）、ヘッドアップディスプレイ（ＨＵＤ）を用いてフロントガラス面などに情報提示を行うものがある（特許文献３参照）。
特開２００８－２７５３８０号公報 特開２００７－２３５５２９号公報 特開２００５－７５１９０号公報
S.G.Narasimhan, S.J.Koppal, S. Yamazaki, Temporal Dithering of Illumination for Fast Active Vision, , Proc. ECCV2008, pp.830-844, 2008. T. Koninckx, I. Geys, T. Jaeggli, L.V. Gool, A graph cut based adaptive structures light approach for real-time range acquisition, Proc. 3DPVT, 2004.
　非特許文献１、２に代表されるように、従来のプロジェクタを用いた３次元計測技術は、３次元情報を復元することを最終目的としており、これを如何にユーザに提示するかは別の問題として考えられてきた。一方、情報提示技術においては、特許文献１、２に代表されるように、得られた３次元情報をディスプレイモニタなどの情報提示装置を用いて提示することから、ユーザーは情報を視認するためにディスプレイモニタを注視しなければならず、実際の３次元シーンから視線を移動させなければならなかった。車両運転時などに情報提示する場合には、これは脇見運転につながることから、安全上好ましくない。また、特許文献３のように、ヘッドアップディスプレイを用いてフロントガラスの実物体の位置に仮想物体を表示して距離情報を提示する技術の場合には、フロントガラス上に表示されることから鮮明な表示が難しく、また、ドライバーの焦点距離が実物体とフロントガラス上の表示物体とでは大きく異なることから焦点ずれが生じ安全上問題がある。また、実物体の位置に合わせて正確に情報提示するためには、ドライバーの視点位置を正確に計測する必要があるが、実際には正確な計測ができないため、実物体と表示物体との間で位置ずれが生じるなどの問題もある。また、ヘッドマウントディスプレイ（ＨＭＤ）を用いて情報提示する方法もあるが、ＨＵＤと同じ問題が生じる上に、運転時などにおいてはＨＭＤを頭部に装着することは難しいなどの問題もある。これらは、すべて、ディスプレイやＨＵＤ、ＨＭＤなどの表示装置を用いて間接的に情報提示を行っているために生じる問題である。
　本発明は上記点に鑑みて、３次元情報の提示をディスプレイやＨＵＤなどの表示装置を用いて行うのではなく、対象となる３次元物体面上に直接行うことを目的とする。
　上記目的を達成するため、本発明者らは、以下の検討を行った。異なる位置に設置された２台以上の複数のプロジェクタから特殊なコード化された光のパターンを投光し物体面に照射する。コード化は色を用いて行うことも輝度を用いて行うことも可能である。異なる位置に置かれた２台のプロジェクタからの光は、物体面上において混合されて一つの色や明るさとなるが、コード化を工夫すると、物体面上に生じる色や明るさは、プロジェクタからの距離に応じて変化させることができる。これは、２台のカメラによる三角測量と同じ原理により、２台のプロジェクタの光同士の交わる位置が、物体の距離に応じて変化するためである。この結果、物体面上には、距離や高さに応じた色や明るさのパターンが生じ、物体上の色や明るさにより物体までの距離情報や物体の３次元形状を強調して人間に知覚させることが可能となる。距離に応じた色や明るさの変化のさせ方は、コード化のパターンによって調節することができる。
　本発明は、上記の検討をもとになされたもので、以下のような特徴を有する。
　すなわち、本発明は、同一の空間領域に対して光を照射する複数の投光手段を備え、前記複数の投光手段から照射する光のパターンが空間的にコード化されて照射面の３次元情報を可視化するようになっていることを特徴とする。
　なお、本発明における「光のパターンが空間的にコード化される」とは、例えば光のパターンが後述する図２や図９のようなパターン（光の波長や強度が空間的に変化したパターン）に設定されることを言う。
本発明の第１実施形態における３次元情報提示装置の構成を示す図である。 図１中の２台のプロジェクタの投影パターンを示す図である。 図１に示す３次元情報提示装置を車両に適用した場合の基準平面の設定を説明するための図である。 基準平面からの距離を用いた距離計測を説明するための図である。 カラーグラデーションを投影した場合の色変化を説明するための図である。 車載プロジェクタを用いた路面形状の強調提示を説明するための図である。 平面投影変換の計算を説明するための図である。 本発明の第２実施形態における３次元情報提示装置の構成を示す図である。 図８中の３台のプロジェクタの投影パターンを示す図である。 図８中の３台のプロジェクタの投影パターンを示す図である。 図８に示す３次元情報提示装置によって照射された対象物体面の輝度を概念的に示す図である。 図８に示す３次元情報提示装置における投影パターンの計算方法を説明するための図である。 図８に示す３次元情報提示装置における輝度の表現方法を説明するための図である。 図８に示す３次元情報提示装置によって得られる投影結果の一例を示す図である。 車載プロジェクタを用いた障害物の強調提示を説明するための図である。 製品検査装置に適用した場合における製品の欠陥形状部分の強調提示を説明するための図である。 提示された３次元情報を利用して制御対象機器を制御する実施形態におけるシステム構成を示すブロック図である。
　（第１実施形態）
　図１に、本発明の第１実施形態に係る３次元情報提示装置の構成を示す。この３次元情報提示装置では、図１に示すように対象物体面に対して２台のプロジェクタＰ１、Ｐ２から光を照射する。２台のプロジェクタＰ１、Ｐ２から照射された光は物体面上において足し合わされて一つの色や輝度となる。物体面上においては、光は単純に加算されるので、図１の物体面上の点Ａの色や輝度は、第１プロジェクタＰ１の画像面上の点ａ１の色や輝度と第２プロジェクタＰ２の画像面上の点ａ２の色や輝度が加算されたものとなる。同様に、物体面上の点Ｂの色や輝度は点ｂ１と点ｂ２における光の色や輝度の加算となり、点Ｃの色や輝度は点ｃ１と点ｃ２における光の色や輝度の加算となる。
　このとき２台のプロジェクタＰ１、Ｐ２から照射する光のパターンを、図２に示すように、２台それぞれで濃淡の変化が逆であるようなグラデーションのパターンとする、つまり空間的にコード化する。濃淡を変化させる方向は、２台のプロジェクタＰ１、Ｐ２の並び方向、より具体的には２台のプロジェクタＰ１、Ｐ２の投影中心を結ぶ直線方向とし、また、濃淡の変化はリニア（線形）に変化させるものとする。すると、点Ａの輝度は点ａ１の黒と点ａ２の黒が加算されて黒色となる。また、点Ｂの輝度は点ｂ１の灰色と点ｂ２の灰色が加算されて灰色となり、点Ｃの輝度は点ｃ１の白と点ｃ２の白が加算されて白となる。２台のプロジェクタＰ１、Ｐ２の輝度はリニアに変化しているので、点Ａと同じ距離にある点は全て同じ黒色となり、点Ｂと同じ距離にある点は全て同じ灰色、点Ｃと同じ距離にある点は全て同じ白色となる。したがって、物体面上に生成される輝度によって、物体面上の各点の３次元距離が可視化される。
　このとき可視化する３次元距離は、３次元空間中に設けた任意の基準平面Πに対して垂直な方向の距離とすることができる。例えば、この３次元情報提示装置を車両に適用して車載プロジェクタとした場合、道路前方に存在する車両や障害物までの距離を可視化するには、図３（ａ）に示すように車両進行方向に垂直な面を基準平面Πとする。また、道路面の凹凸を可視化したい場合には、図３（ｂ）に示すように道路面を基準平面Πとすることにより、道路面に対して垂直方向の高さの違いを可視化することができる。
　なお、図２に示すように、白から黒に変化するようなグレースケールのグラデーション画像を投影した場合、図４に示すように、基準平面Πからの距離が変化すると、重ね合わさる画素値が変化し、観測される輝度値が変化する。これにより、観測輝度により基準平面Πからの距離を強調提示することができる。また、白から黒に変化するようなグレースケールのグラデーション画像ではなく、図５に示すように、赤から緑に変化（図２の白→灰色→黒に対し赤→黄→緑と変化）するカラーグラデーション画像を投影した場合、プロジェクタと物体の距離が遠い場合は観測輝度が緑に、近い場合は観測輝度が赤に変化することになる。したがって、図３（ｂ）のように道路面の凹凸を可視化する場合、路面上を基準平面として校正を行い、図６に示すように、車載プロジェクタＰ１、Ｐ２から路面に対してパターンを投影すると、路面上の凸部ａについては赤色が、凹部ｂについては緑色が観測されることになる。また、路面ｃについてはこの中間色である黄色が観測される。これにより、路面形状が色情報を用いて提示可能となり、ドライバに対する路面形状の強調提示が実現できる。
　次に、上記したような基準平面に応じた３次元距離の可視化の方法を詳しく説明する。まず、第１プロジェクタＰ１および第２プロジェクタＰ２から投影される画像の校正方法を説明する。プロジェクタＰ１、Ｐ２から投影される画像を校正する際にはカメラＣ１が用いられる。
　いま、図７に示すように、空間中に基準平面Π、カメラＣ１、プロジェクタＰ１、Ｐ２が配置されている場合を考える。このとき、プロジェクタＰ１の画像平面πp1とカメラＣ１の画像平面πcの間には平面Πを介した平面射影変換Hcp1が存在する。同様に、πcとπp2の間にも平面射影変換Hcp2が存在する。このような平面射影変換は４組の対応点組により計算することが可能である。
　そこで、プロジェクタＰ１から４つの点x1i＝[x1i，y1i，1]Ｔ（ｉ＝１，…，４）を、またプロジェクタＰ２ から４つの点x2i＝[x2i，y2i，1]Ｔ（ｉ＝１，…，４）をそれぞれ基準平面Πに投光する。ここで、点の座標は斉次座標を用いて表しており、Ｔは転置を表している。次に、これらの点をカメラＣ１によって撮影した像x'1i＝[x'1i，y'1i，1]Ｔ,x'2i[x'2i，y'2i，1]Ｔ（ｉ＝１，…，４）を基に、数式１、２の関係を満たす３×３の平面射影変換行列Hcp1, Hcp2 を求める。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　ここで数式１、２中の記号～は定数倍の不定性を除いて等しいことを表す。この平面射影変換行列Hcp1, Hcp2 の計算は、以下のようにして線形計算により行うことができる。今、Hcp1 を求める場合を考える。このために、３×３行列Hcp1の９つの要素を縦に並べたベクトルｈを考える（数式３参照）。
Figure JPOXMLDOC01-appb-M000003
　hijはHcp1のｉ行ｊ列の要素である。数式１の射影変換式を展開して整理しなおすことで、以下の線形方程式が得られる（数式４参照）。
Figure JPOXMLDOC01-appb-M000004
　ここで、0 は零ベクトルであり、Ｍは以下に示す８×９行列である（数式５参照）。
Figure JPOXMLDOC01-appb-M000005
　行列Ｍの中身は、プロジェクタ画像とカメラ画像における点の座標値であるため全て既知である。従って数式４の線形方程式を解くことで、ベクトルｈが求まり、射影変換行列Hcp1 が求まる。なお、数式４の解ｈは行列ＭＴＭの最小固有値に対応する固有ベクトルとして求まる。Hcp2 の計算も同様にして行うことができる。
　以上のようにして最低４点の対応点から射影変換を求めることができるが、５点以上のＮ点の対応点がある場合には、これらのＮ点全てを用いることでより安定に射影変換を求めることができる。この場合には、行列Mが２Ｎ×９行列となるが、先と同様にＭＴＭの最小固有値に対応する固有ベクトルとしてｈを求めればよい。
　このようにして求めた平面射影変換Hcp1、Hcp2を用いることにより、各プロジェクタから基準平面Πに対して任意の像を投影することが可能になる。
　ここで、２台のプロジェクタＰ１、Ｐ２から発光した光を加算した輝度値が基準平面Π上において一定になるように２台のプロジェクタＰ１、Ｐ２のグラデーションパターンを作成する。このために、まず図２に示すような輝度変化の方向が逆であるような２つのグラデーション画像I1とI2（それぞれ図２（ａ）と（ｂ）に対応）を作成する。カメラＣ１でグラデーション画像I1とI2のそれぞれが得られるように、グラデーション画像I1を平面射影変換Hcp1で射影変換し、グラデーション画像I2を平面射影変換Hcp2を用いて射影変換する。このようにして得られた２つのグラデーション画像をそれぞれI1'、I2'とすると、第１プロジェクタＰ１からグラデーション画像I1'が投影されるように第１プロジェクタＰ１の設定を行い、第２プロジェクタＰ２からグラデーション画像I2'が投影されるように第２プロジェクタＰ２の設定を行う。
　第１プロジェクタＰ１からグラデーション画像I1'が投影され、第２プロジェクタＰ２からグラデーション画像I2'が投影されると、基準平面Πからの距離に応じて重ね合わさる輝度が変化し、観測される輝度値が変化する。これにより、基準平面Πからの距離を可視化して表示することができる。基準平面Πは３次元空間中において自由に設定することができるので、例えば、図３（ａ）に示すように基準平面を車両進行方向に垂直に取れば、車両前方の距離に応じた輝度変化を付けることができ、図３（ｂ）に示すように基準平面を道路面上に取れば、道路面の凹凸に応じた輝度変化を付けることができる。
　なお、図５に示すように赤から緑に変化するカラーグラデーション画像を投影する場合も、上記と同様の方法により平面射影変換Hcp1、Hcp2を求め、それを用いてプロジェクタＰ１、Ｐ２から投影されるカラーグラデーション画像の設定を行う。
　以上述べた本実施形態によれば、光の混合を用いて物体面上において直接３次元情報を提示することで、情報獲得と情報提示を同時に行うことを可能にしているので、計測系と情報提示系が分かれた既存システムにおける座標系の校正の問題や、ディスプレイなどの間接的な情報提示手段を用いた場合に生じる実物体と表示物体のずれの問題などを解消することができる。つまり、非特許文献１、２のように３次元計測と３次元情報の提示とを別々に行うのではなく、これら２つを完全に一体化し、３次元情報の可視化が３次元情報の復元を介さずに行うことができる。また、３次元情報の提示は、ディスプレイやＨＵＤなどの表示装置（表示画面）を用いて行うのではなく、対象となる３次元物体面上に直接色や明るさの違いとして提示されるため、従来技術のようにユーザがディスプレイ画面を注視する必要がなく、またＨＵＤにおいて生じるような表示の位置ずれや観測者の焦点ずれなども一切生じることはない。
　（第２実施形態）
　上記第１実施形態では、基準平面Πからの距離を強調提示するが、本第２実施形態では、特定３次元領域を強調提示する。換言すれば、本実施形態では、距離に比例しない３次元情報を提示する。
　本実施形態では、３台のプロジェクタを用いて特定３次元領域を強調提示する例について説明するが、２台のプロジェクタを用いて特定３次元領域を強調提示することも可能である。
　本実施形態の３次元情報提示装置では、図８に示すように対象物体面に対して３台のプロジェクタＰ１、Ｐ２、Ｐ３から光を照射する。このとき図９、図１０に示すように、３台のプロジェクタＰ１、Ｐ２、Ｐ３から照射する光のパターンα、β、γを、それぞれ濃淡の変化が非線形であるようなグラデーションのパターンとする。
　すると、図１１に概念的に示すように、対象物体面のうち特定領域Ｄの輝度は高くなり、それ以外の領域の輝度は特定領域Ｄの輝度よりも低くなる。したがって、物体面上に生成される輝度によって、特定３次元領域が強調提示される。なお、図１１の領域Ｅは、３台のプロジェクタＰ１、Ｐ２、Ｐ３から照射する光が重なり合う領域を示している。
　次に、上記したような特定３次元領域の強調提示の方法を詳しく説明する。まず、特定領域強調提示の投影パターンの計算方法を説明する。いま、図１２に示すように、空間中にプロジェクタＰ１、Ｐ２、Ｐ３が配置されている場合を考える。このとき、対象物体面の任意の点ｊにおいて観測される色Ｉｊ　は、以下の線形方程式で表される（数式６参照）。
Figure JPOXMLDOC01-appb-M000006
　ここで、α=[α1,…,αN]Ｔ、β=[β1,…,βN]Ｔ、γ=[γ1,…,γN]Ｔは、各プロジェクタの投影パターンを表すベクトルであり、それぞれのベクトルはプロジェクタのＮ個の画素の明るさαi,βi, γi (i=1,…,N)よりなる。Ｗｊ α=[Ｗｊ α1,…,Ｗｊ αN]、Ｗｊ β=[Ｗｊ β1,…,Ｗｊ βN]、Ｗｊ γ=[Ｗｊ γ1,…,Ｗｊ γN]は、対象空間中の点jを着色する場合における投影パターンの各画素の寄与度Ｗｊ αi,Ｗｊ βi, Ｗｊ γi (i=1,…,N)よりなるベクトルである。寄与度Ｗは０から１までの値を取り、０はその画素が点ｊの着色に全く寄与しないことを表し、１は大きく寄与することを表す。寄与度は、その画素から出た光線と離散点jとの重なりの大きさに応じて決定する。
　したがって、対象物体面上の離散化されたＭ個の各点における観測色Ｉ１　～ＩＭ　は、次の線形方程式で表される（数式７参照）。
Figure JPOXMLDOC01-appb-M000007
　ここで、左辺のＭ×３Ｎ行列は各画素の寄与度（重み）を表す。
　この数式７は、以下の数式８のように表すことができる。
Figure JPOXMLDOC01-appb-M000008
　ここで、Ｗは数式７のＭ×３Ｎ行列であり、Ｙは各プロジェクタの投影パターンを表すベクトルであり、ＩはＭ個の離散点における観測色を表すベクトルである。
　行列Ｗの中身は、各画素から出る光線と対象空間中の各点との重なりの大きさより事前に求めておくことができるため全て既知である。ベクトルＩは、目的とする着色に応じて設定される。したがって、数式８の線形方程式を解くことで、ベクトルＹ、すなわち各プロジェクタの投影パターンが求まる。
　このようにして求められた各プロジェクタの投影パターンにはマイナスの輝度値が含まれうるが、プロジェクタからマイナスの光を投影することはできない。
　このようなマイナスの輝度値の問題を解決するため、本実施形態では以下に示す方法で光の輝度を表現する。例えば目的とする着色画像が図１３（ａ）に示す画像であるとすると、輝度Ｉを０～１の数値で表すこととし、強調したい領域の輝度Ｉを１（Ｉ＝１）、その他の領域の輝度Ｉを０．５（Ｉ＝０．５）とする。
　すなわち、図１３（ｂ）に示すように輝度（プロジェクタ光量）Ｉ＝０．５を疑似的なゼロレベルとすることで、マイナスの輝度値（負の光）を疑似的に表現することが可能になる。
　このようにして求められた投影パターンがプロジェクタＰ１、Ｐ２、Ｐ３から投影されると、対象物体面上の位置によって重ね合わさる輝度が変化し、観測される輝度値が変化する。このようにして得られた投影結果を図１４に示す。このように特定３次元領域で観測される輝度値が高くなることで、特定３次元領域を強調提示することができる。
　例えば、この３次元情報提示装置を車両に適用して車載プロジェクタとした場合、図１５に示すように道路前方の特定領域に存在する物体１０（車両や障害物等）を強調提示することができる。
　例えば、この３次元情報提示装置を製品検査装置に適用することができる。すなわち、図１６に例示するように、製品１１に対して複数のプロジェクタＰ１、Ｐ２、Ｐ３から光を照射して、製品１１の正規形状部分（図１６の例では直方体形状部分）以外の３次元領域を強調提示するようにする。これにより、製品の欠陥形状部分１２（図１６の例では円柱形状部分）が強調提示されるので、製品の欠陥の有無を容易に判別することが可能になる。
　（他の実施形態）
　なお、本発明は、上記した実施形態に限ることなく、以下のように変形することも可能である。
　（１）プロジェクタから投影するグラデーションパターンとして色の変化を用いる場合において、一方の色をもう一方の色の補色とすることにより、基準平面においては加算された光の色が白色（無色）となり、基準平面以外では加算された光の色が有色となるようにしてもよい。
　（２）プロジェクタから投光するコード化されたパターン光は、静止したパターン光である必要はなく、時間的に変化する動的パターン光とすることもできる。時間的および空間的にコード化された動的パターン光を用いることで、運動する３次元物体に対して、その運動に応じた色付けや明るさの変化付けを行うことができ、ある特定の運動をする物体のみを強調して提示することができる。
　（３）提示された３次元情報を人間に知覚させるのみならず、提示された３次元情報を３次元情報取得手段に取得させて各種機器の制御に利用するようにしてもよい。例えば、図１７に示すように、プロジェクタＰ１、Ｐ２からの投影結果をカメラ３０で撮影し、撮影された画像を、３次元情報取得手段をなす制御装置３１に入力し、制御装置３１が、撮影された画像に基づいて各種判別処理を行い、この判別結果に基づいて各種制御対象機器３２に制御信号を出力するようにしてもよい。
　例えば、制御対象機器３２が車両衝突危険警報器である場合には、制御装置３１は、道路前方に車両や障害物が存在するか否かの判別を行い、道路前方に車両や障害物が存在すると判断した場合には、車両衝突危険警報器に警報音発生信号を出力するようにすればよい。
　例えば、制御対象機器３２が製品欠陥報知器である場合には、制御装置３１は、製品に欠陥形状があるか否かの判別を行い、製品に欠陥形状があると判断した場合には、製品欠陥報知器に報知音発生信号を出力するようにすればよい。
　また、プロジェクタから投光するコード化されたパターン光（波長や強度が空間的に変化したパターン光）は、可視光である必要はなく、不可視光とすることもできる。例えば、図１７において、プロジェクタＰ１、Ｐ２から不可視光として赤外線を投光し、カメラ３０として赤外線カメラを用い、カメラ３０で撮影された赤外線画像（不可視画像）を制御装置３１に入力するようにしてもよい。
　（４）投光手段として、図１に示したようなプロジェクタではなく、複数の発光手段（ＬＥＤ等）を用いて構成したものでもよい。また、車載プロジェクタとした場合、投光手段を車両の前部に設けられた左右のヘッドライト装置内にそれぞれ設置したり、あるいはヘッドライトを複数の発光手段（ＬＥＤ等）で構成した場合には、そのうちの一部を車載プロジェクタ用の投光手段として用いるようにしてもよい。
　（５）投光手段は、２つに限らず適用技術に応じて３つ以上設けるようにしてもよい。投光手段の個数を増やすことによって、より複雑な非線形３次元情報を強調提示することができる。
　以下、上記した実施形態から把握できる発明について述べる。本発明は、同一の空間領域に対して光を照射する複数の投光手段を備え、前記複数の投光手段から照射する光のパターンが空間的にコード化されて照射面の３次元情報を可視化するようになっていることを第１の特徴とする。
　なお、本発明における「光のパターンが空間的にコード化される」とは、例えば光のパターンが図２や図９のようなパターン（光の波長や強度が空間的に変化したパターン）に設定されることを言う。
　本発明は、上記第１の特徴において、前記複数の投光手段から照射する光のパターンは、３次元空間中に設定された基準平面に対して垂直な方向の距離が提示されるように空間的にコード化されていることを第２の特徴とする。
　本発明は、上記第２の特徴において、前記複数の投光手段から照射する光は可視光であり、前記複数の投光手段から可視光のパターンが照射されることにより前記基準平面に対して垂直な方向の距離が可視化されることを第３の特徴とする。
　本発明は、上記第３の特徴において、前記複数の投光手段から照射する光のパターンはグラデーションパターンとなっていることを第４の特徴とする。　本発明は、上記第４の特徴において、前記グラデーションパターンは、前記複数の投光手段の並び方向に光が変化しているパターンであることを第５の特徴とする。
　本発明は、上記第５の特徴において、前記基準平面上において前記複数の投光手段から照射された光を加算した輝度値が一定になるように前記グラデーションパターンが設定されていることを第６の特徴とする。
　本発明は、上記第３ないし第６のいずれか１つの特徴において、前記複数の投光手段から照射する光のパターンは濃淡の変化によりコード化されていることを第７の特徴とする。
　本発明は、上記第３ないし第６のいずれか１つの特徴において、前記複数の投光手段から照射する光のパターンは色の変化によりコード化されていることを第８の特徴とする。
　本発明は、上記第８の特徴において、前記複数の投光手段のうち１つから投光する光のパターンの色を他の１つから投光する光のパターンの色の補色とし、前記基準平面においては加算された光の色が白色となり、前記基準平面以外においては加算された光の色が有色となることを第９の特徴とする。
　本発明は、上記第３ないし第９のいずれか１つの特徴において、前記複数の投光手段は車両に設置され、前記複数の投光手段から車両の前方の空間領域に対して光を照射して車両の前方に存在する物体までの距離を可視化することを第１０の特徴とする。
　本発明は、上記第３ないし第９のいずれか１つの特徴において、前記複数の投光手段は車両に設置され、前記複数の投光手段から車両の前方の空間領域に対して光を照射して車両の前方の道路面に対して垂直方向の高さの違いを可視化することを第１１の特徴とする。
　本発明は、上記第１０または第１１の特徴において、前記複数の投光手段は車両のヘッドライト装置内に設置されていることを第１２の特徴とする。
　本発明は、上記第１０または第１１の特徴において、前記複数の投光手段は車両のヘッドライトを構成する複数の発光手段の一部として構成されていることを第１３の特徴とする。
　本発明は、上記第２の特徴において、前記複数の投光手段から照射する光は不可視光であり、前記複数の投光手段から不可視光のパターンが照射されることにより前記基準平面に対して垂直な方向の距離が提示されることを第１４の特徴とする。
　本発明は、上記第１４の特徴において、前記複数の投光手段から照射された不可視光によって提示された３次元情報を取得する３次元情報取得手段を備えることを第１５の特徴とする。
　本発明は、上記第１５の特徴において、前記複数の投光手段は車両に設置され、前記複数の投光手段から車両の前方の空間領域に対して不可視光を照射して、車両の前方に存在する物体までの距離、または車両の前方の道路面に対して垂直方向の高さの違いを提示することを第１６の特徴とする。
　本発明は、上記第１の特徴において、前記複数の投光手段から照射する光のパターンは、特定３次元領域が強調提示されるように空間的にコード化されていることを第１７の特徴とする。
　本発明は、上記第１７の特徴において、前記複数の投光手段は車両に設置され、前記複数の投光手段から車両の前方の空間領域に対して不可視光を照射して車両の前方の特定領域に存在する物体を強調提示することを第１８の特徴とする。
　本発明は、上記第１７の特徴において、前記複数の投光手段は製品に対して光を照射して前記製品の欠陥形状部分を強調提示することを第１９の特徴とする。
　さらに、上記した実施形態から次のような３次元情報提示装置を把握できる。すなわち本装置は、同一の空間領域に対して光を照射する複数の投光手段を備え、前記複数の投光手段が照射する光には空間的なパターンが形成されており、前記空間領域に存在する物体上で前記複数の投光手段から照射された光同士が重なり合うことによって、３次元情報に応じた光のパターンを前記物体上に生じさせるものである。
　Ｐ１、Ｐ２　プロジェクタ（投光手段）

Claims (19)

  1. 　同一の空間領域に対して光を照射する複数の投光手段を備え、前記複数の投光手段から照射する光のパターンが空間的にコード化されて被照射面の３次元情報を提示するようになっていることを特徴とする３次元情報提示装置。
  2. 　前記複数の投光手段から照射する光のパターンは、３次元空間中に設定された基準平面に対して垂直な方向の距離が提示されるように空間的にコード化されていることを特徴とする請求項１に記載の３次元情報提示装置。
  3. 　前記複数の投光手段から照射する光は可視光であり、前記複数の投光手段から可視光のパターンが照射されることにより前記基準平面に対して垂直な方向の距離が可視化されることを特徴とする請求項２に記載の３次元情報提示装置。
  4. 　前記複数の投光手段から照射する光のパターンはグラデーションパターンとなっていることを特徴とする請求項３に記載の３次元情報提示装置。
  5. 　前記グラデーションパターンは、前記複数の投光手段の並び方向に光が変化しているパターンであることを特徴とする請求項４に記載の３次元情報提示装置。
  6. 　前記基準平面上において前記複数の投光手段から照射された光を加算した輝度値が一定になるように前記グラデーションパターンが設定されていることを特徴とする請求項５に記載の３次元情報提示装置。
  7. 　前記複数の投光手段から照射する光のパターンは濃淡の変化によりコード化されていることを特徴とする請求項３ないし６のいずれか１つに記載の３次元情報提示装置。
  8. 　前記複数の投光手段から照射する光のパターンは色の変化によりコード化されていることを特徴とする請求項３ないし６のいずれか１つに記載の３次元情報提示装置。
  9. 　前記複数の投光手段のうち１つから投光する光のパターンの色を他の１つから投光する光のパターンの色の補色とし、前記基準平面においては加算された光の色が白色となり、前記基準平面以外においては加算された光の色が有色となることを特徴とする請求項８に記載の３次元情報提示装置。
  10. 　前記複数の投光手段は車両に設置され、前記複数の投光手段から車両の前方の空間領域に対して光を照射して車両の前方に存在する物体までの距離を可視化することを特徴とする請求項３ないし９のいずれか１つに記載の３次元情報提示装置。
  11. 　前記複数の投光手段は車両に設置され、前記複数の投光手段から車両の前方の空間領域に対して光を照射して車両の前方の道路面に対して垂直方向の高さの違いを可視化することを特徴とする請求項３ないし９のいずれか１つに記載の３次元情報提示装置。
  12. 　前記複数の投光手段は車両のヘッドライト装置内に設置されていることを特徴とする請求項１０または１１に記載の３次元情報提示装置。
  13. 　前記複数の投光手段は車両のヘッドライトを構成する複数の発光手段の一部として構成されていることを特徴とする請求項１０または１１に記載の３次元情報提示装置。
  14. 　前記複数の投光手段から照射する光は不可視光であり、前記複数の投光手段から不可視光のパターンが照射されることにより前記基準平面に対して垂直な方向の距離が提示されることを特徴とする請求項２に記載の３次元情報提示装置。
  15. 　前記複数の投光手段から照射された不可視光によって提示された３次元情報を取得する３次元情報取得手段を備えることを特徴とする請求項１４に記載の３次元情報提示装置。
  16. 　前記複数の投光手段は車両に設置され、前記複数の投光手段から車両の前方の空間領域に対して不可視光を照射して、車両の前方に存在する物体までの距離、または車両の前方の道路面に対して垂直方向の高さの違いを提示することを特徴とする請求項１５に記載の３次元情報提示装置。
  17. 　前記複数の投光手段から照射する光のパターンは、特定３次元領域が強調提示されるように空間的にコード化されていることを特徴とする請求項１に記載の３次元情報提示装置。
  18. 　前記複数の投光手段は車両に設置され、前記複数の投光手段から車両の前方の空間領域に対して不可視光を照射して車両の前方の特定領域に存在する物体を強調提示することを特徴とする請求項１７に記載の３次元情報提示装置。
  19. 　前記複数の投光手段は製品に対して光を照射して前記製品の欠陥形状部分を強調提示することを特徴とする請求項１７に記載の３次元情報提示装置。
PCT/JP2010/059599 2009-06-08 2010-06-07 ３次元情報提示装置 WO2010143600A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP10786131.2A EP2450736B1 (en) 2009-06-08 2010-06-07 Three-dimensional information displaying device
JP2011518524A JP5669212B2 (ja) 2009-06-08 2010-06-07 ３次元情報提示装置
US13/376,004 US8807810B2 (en) 2009-06-08 2010-06-07 Three-dimensional information presentation device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-137269 2009-06-08
JP2009137269 2009-06-08

Publications (1)

Publication Number Publication Date
WO2010143600A1 true WO2010143600A1 (ja) 2010-12-16

Family

ID=43308855

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/059599 WO2010143600A1 (ja) 2009-06-08 2010-06-07 ３次元情報提示装置

Country Status (4)

Country Link
US (1) US8807810B2 (ja)
EP (1) EP2450736B1 (ja)
JP (1) JP5669212B2 (ja)
WO (1) WO2010143600A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101344884B1 (ko) 2012-05-08 2013-12-26 주식회사 만도 카메라와 ｈｕｄ 장치간의 간섭 보호 시스템
CN115079431A (zh) * 2021-03-12 2022-09-20 欧姆龙株式会社 导光板、显示装置、输入装置、以及具有显示装置的设备

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5754470B2 (ja) * 2012-12-20 2015-07-29 株式会社デンソー 路面形状推定装置
EP2869023B1 (en) * 2013-10-30 2018-06-13 Canon Kabushiki Kaisha Image processing apparatus, image processing method and corresponding computer program
JP6754425B2 (ja) 2015-05-30 2020-09-09 レイア、インコーポレイテッドＬｅｉａ Ｉｎｃ． 車両監視システム
JP6352892B2 (ja) * 2015-12-08 2018-07-04 トヨタ自動車株式会社 車両用ヘッドランプ構造及び車両用ヘッドランプの制御方法
WO2018002679A1 (en) * 2016-06-30 2018-01-04 Magicom Kft. Method for identifying and locating a movable object
FR3055431B1 (fr) * 2016-09-01 2019-08-02 Valeo Vision Dispositif de projection d'une image pixelisee
FR3061594B1 (fr) * 2017-01-03 2021-06-04 Valeo Vision Systeme d'aide a la conduite, vehicule automobile et procede d'aide a la conduite
CN107423720A (zh) * 2017-08-07 2017-12-01 广州明医医疗科技有限公司 目标跟踪系统和立体显示设备
JP2019078786A (ja) * 2017-10-20 2019-05-23 セイコーエプソン株式会社 画像投射システム、プロジェクター、及び画像投射システムの制御方法
US10885819B1 (en) * 2019-08-02 2021-01-05 Harman International Industries, Incorporated In-vehicle augmented reality system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07137574A (ja) * 1993-11-15 1995-05-30 Toyota Motor Corp 車両用前照灯装置
JP2005075190A (ja) 2003-09-01 2005-03-24 Nissan Motor Co Ltd 車両用表示装置
JP2007182151A (ja) * 2006-01-06 2007-07-19 Nissan Motor Co Ltd 車両用前照灯装置及び車両用前照灯制御方法
JP2007235529A (ja) 2006-03-01 2007-09-13 Nissan Motor Co Ltd 車両周囲監視システム及び画像表示方法
JP2008275380A (ja) 2007-04-26 2008-11-13 Toyota Motor Corp 車両周辺監視装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4724480A (en) * 1985-05-02 1988-02-09 Robotic Vision Systems, Inc. Method for optical alignment of one object with respect to another
US4914460A (en) * 1987-05-29 1990-04-03 Harbor Branch Oceanographic Institution Inc. Apparatus and methods of determining distance and orientation
JP3810976B2 (ja) 2000-02-15 2006-08-16 株式会社小糸製作所 自動車用赤外光照射ランプ
JP3988393B2 (ja) * 2001-01-26 2007-10-10 スタンレー電気株式会社 赤外線投光器
JP3823047B2 (ja) 2001-12-03 2006-09-20 株式会社藤森技術研究所 空間座標値測定方法及びその測定装置並びに欠陥検査装置
US7916278B2 (en) * 2004-04-06 2011-03-29 Bae Systems Information And Electronic Systems Integration Inc. Polyspectral rangefinder for close-in target ranging and identification of incoming threats
JP3960325B2 (ja) * 2004-08-11 2007-08-15 セイコーエプソン株式会社 ディスプレイ装置およびディスプレイ装置における画像情報生成方法
US7306341B2 (en) * 2005-02-28 2007-12-11 Hewlett-Packard Development Company, L.P. Multi-projector geometric calibration
IL167932A (en) * 2005-04-10 2012-03-29 Israel Aerospace Ind Ltd Optical screen, systems and methods for creatures and its operation
DE102008015499C5 (de) * 2008-03-25 2013-01-10 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zur Bestimmung der 3D-Koordinaten eines Objekts

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07137574A (ja) * 1993-11-15 1995-05-30 Toyota Motor Corp 車両用前照灯装置
JP2005075190A (ja) 2003-09-01 2005-03-24 Nissan Motor Co Ltd 車両用表示装置
JP2007182151A (ja) * 2006-01-06 2007-07-19 Nissan Motor Co Ltd 車両用前照灯装置及び車両用前照灯制御方法
JP2007235529A (ja) 2006-03-01 2007-09-13 Nissan Motor Co Ltd 車両周囲監視システム及び画像表示方法
JP2008275380A (ja) 2007-04-26 2008-11-13 Toyota Motor Corp 車両周辺監視装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JUN SATO: "Multiple View Geometry for Projector Camera Systems and Its Applications", TRANSACTIONS OF INFORMATION PROCESSING SOCIETY OF JAPAN IPSJ, vol. 49, no. SIG6, March 2008 (2008-03-01), pages 56 - 67 *
S.G. NARASIMHAN; S.J. KOPPAL; S. YAMAZAKI: "Temporal Dithering of Illumination for Fast Active Vision", PROC. ECCV2008, 2008, pages 830 - 844
See also references of EP2450736A4
T. KONINCKX; I. GEYS; T. JAEGGLI; L.V. GOOL: "A graph cut based adaptive structures light approach for real-time range acquisition", PROC. 3DPVT, 2004
TOMONORI HARUTA ET AL.: "Jikukan Code-ka Pattern Toei ni yoru 3 Jigen Keijo Keisoku", IPSJ SIG COMPUTERS AND THE HUMANITIES SYMPOSIUM RONBUNSHU, vol. 2001, - 14 December 2001 (2001-12-14), pages 149 - 155, XP008148434 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101344884B1 (ko) 2012-05-08 2013-12-26 주식회사 만도 카메라와 ｈｕｄ 장치간의 간섭 보호 시스템
CN115079431A (zh) * 2021-03-12 2022-09-20 欧姆龙株式会社 导光板、显示装置、输入装置、以及具有显示装置的设备

Also Published As

Publication number Publication date
EP2450736B1 (en) 2020-10-07
EP2450736A1 (en) 2012-05-09
JPWO2010143600A1 (ja) 2012-11-22
JP5669212B2 (ja) 2015-02-12
US20120075878A1 (en) 2012-03-29
EP2450736A4 (en) 2013-04-24
US8807810B2 (en) 2014-08-19

Similar Documents

Publication Publication Date Title
JP5669212B2 (ja) ３次元情報提示装置
US10852818B2 (en) Information provision device and information provision method
US11951834B2 (en) Information provision device, information provision method, and recording medium storing information provision program for a vehicle display
US10293745B2 (en) Projection of a pre-definable light pattern
CN107878301B (zh) 用于通过机动车辆的投影系统投射图像的方法和投影系统
JP7065383B2 (ja) 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
US10491870B2 (en) Image display apparatus and image display method
DE102011121627B4 (de) Verfahren zum dynamischen Ausrichten einer Graphik auf eine Fahrszene eines Fahrzeugs unter Nutzung einer im Wesentlichen durchsichtigen Windschutzscheiben-Headup-Anzeige
US9164281B2 (en) Volumetric heads-up display with dynamic focal plane
US20180339591A1 (en) Information display apparatus
JP6936791B2 (ja) 画像を投影面に投影するための自動車用投影方法
WO2018012031A1 (en) Display apparatus, movable body apparatus, producing method of the display apparatus, and display method
WO2011070783A1 (ja) 情報表示装置及び情報表示方法
KR20190012630A (ko) 이미지 처리 방법 및 이미지 처리 장치
DE112018000274T5 (de) Anzeigevorrichtung
WO2019009243A1 (ja) ３次元表示装置、３次元表示システム、移動体、および３次元表示方法
JP6504431B2 (ja) 画像表示装置、移動体、画像表示方法及びプログラム
JP6669053B2 (ja) ヘッドアップディスプレイシステム
US20150332654A1 (en) Display device for displaying a virtual image within the visual field of a driver and image generation device for said display device
JP2013174667A (ja) 車両用表示装置
DE112018001394T5 (de) Lauf-Unterstützungsvorrichtung, Lauf-Unterstützungsverfahren und Programm
JP6668564B1 (ja) ヘッドアップディスプレイ、ヘッドアップディスプレイシステム、および移動体
JP2021056357A (ja) レーザー光源制御装置、ヘッドアップディスプレイ装置、方法、及びコンピュータ・プログラム
JP7266257B2 (ja) 表示システム、及び表示システムの制御方法
WO2023120603A1 (ja) 撮像装置および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10786131

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13376004

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2011518524

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2010786131

Country of ref document: EP