WO2016103467A1 - カメラ位置推定制御装置、画像処理装置および拡張現実システム - Google Patents

カメラ位置推定制御装置、画像処理装置および拡張現実システム Download PDF

Info

Publication number
WO2016103467A1
WO2016103467A1 PCT/JP2014/084574 JP2014084574W WO2016103467A1 WO 2016103467 A1 WO2016103467 A1 WO 2016103467A1 JP 2014084574 W JP2014084574 W JP 2014084574W WO 2016103467 A1 WO2016103467 A1 WO 2016103467A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
image
unit
information
shape
Prior art date
Application number
PCT/JP2014/084574
Other languages
English (en)
French (fr)
Inventor
川浦　健央
隆博 加島
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2014/084574 priority Critical patent/WO2016103467A1/ja
Publication of WO2016103467A1 publication Critical patent/WO2016103467A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor

Definitions

  • the present invention relates to a camera position estimation control device that estimates a camera position when a virtual image for AR (Augmented Reality) is superimposed on an image in real space, an image processing device including the camera position estimation control device, And an augmented reality system.
  • a camera position estimation control device that estimates a camera position when a virtual image for AR (Augmented Reality) is superimposed on an image in real space
  • an image processing device including the camera position estimation control device
  • an augmented reality system an augmented reality system
  • Patent Document 1 discloses a display position of annotation information displayed in AR. Therefore, an image processing apparatus is disclosed that estimates the position and orientation of a camera by comparing the images of all objects photographed by the camera with point cloud information in which the positions of all objects are described by points and colors. ing.
  • the position and orientation of the camera are determined by comparing the images of all the objects photographed by the camera and the point cloud information in which the positions of all the objects are described by points and colors.
  • the point cloud information in which the positions of all the objects are described by points and colors.
  • preparation time is required before starting the comparison, and an expensive laser distance measuring device is also required.
  • a large-capacity database had to be prepared for the point cloud information that was capacity.
  • an image that is three-dimensionalized from the point cloud information must be projected again on the two-dimensional image and compared with all objects photographed by the camera. There were many issues.
  • the present invention has been made in order to solve the above-described problems.
  • a camera capable of estimating the position of the camera at high speed without requiring an expensive laser distance measuring device when estimating the position of the camera.
  • An object is to provide a position estimation control device, an image processing device including the camera position estimation control device, and an augmented reality system.
  • a camera position estimation control device refers to a database that stores position information and shape information of a plurality of objects, and searches the database to search for objects included in the image from images captured by the camera. And a camera position estimating unit for estimating the position of the camera based on the position information and shape information of the object specified by the object searching unit and the image.
  • the camera position estimation control apparatus of the present invention it is possible to estimate the camera position at high speed without requiring an expensive laser distance measuring device when estimating the camera position.
  • FIG. 1 is a configuration diagram of an image processing apparatus 1 equipped with a camera position estimation control apparatus 100 according to Embodiment 1 of the present invention.
  • the image processing apparatus 1 includes an antenna 3, a GPS 4, an inertial sensor 6, a camera 8, and a display unit 15, and is equipped with a camera position estimation control apparatus 100.
  • the camera position estimation control device 100 includes a database (DB) 2, an area designation unit 5, an orientation designation unit 7, an image detection unit 9, an object search unit 10, a distance calculation unit 11, and an object position storage.
  • the image processing apparatus 1 equipped with the camera position estimation control apparatus 100 is assumed to be, for example, a tablet terminal having a camera function.
  • the image processing apparatus 1 is mounted with the camera position estimation control apparatus 100.
  • the present invention is not limited to this, and the camera position estimation control apparatus 100 is not limited to image processing. It may be provided outside the apparatus 1.
  • the DB 2 stores position information and shape information of a plurality of objects, and position information and shape information of a virtual structure for AR display.
  • the object is an object used when estimating the position of the camera 8.
  • the antenna 3 receives a signal from a GPS satellite.
  • the GPS 4 calculates the self-position of the camera 8, that is, the position of the image processing apparatus 1 here, from the signal received by the antenna 3.
  • the self-position calculated by the GPS 4 may not be an accurate position but a rough position.
  • the area designating unit 5 designates a search range based on a position including an error range around the self-position calculated by the GPS 4. Note that the search range here refers to a range necessary for estimating the position of the camera 8.
  • the inertial sensor 6 measures the direction in which the camera 8 is shooting with respect to a predetermined reference direction.
  • the azimuth designation unit 7 designates a search range based on the visual field centered on the direction taken by the camera 8 and measured by the inertial sensor 6.
  • the camera 8 takes an image.
  • the image detection unit 9 extracts the shapes of various structures existing in the image from the image captured by the camera 8, and detects the presence or absence of the candidate object. Note that, in a memory or the like (not shown), shape information of a general structure corresponding to the type of various structures stored in the DB 2 as an object is stored, and the image detection unit 9 stores the information. It is determined whether or not a structure having a different shape exists in the image captured by the camera 8, and if it exists, the structure is regarded as a candidate object, and the information on the shape is distanced from the object search unit 10. It transmits to the calculation part 11.
  • the object search unit 10 performs a search based on the shape of the object candidate detected by the image detection unit 9 and the shape in the DB 2 and identifies the object included in the image.
  • the distance calculation unit 11 calculates a linear distance between the object detected by the image detection unit 9 and the reference point of the camera from the image of the camera.
  • the object position storage unit 12 stores the position information and shape information of the object specified by the object search unit 10.
  • the camera position estimation unit 13 includes a linear distance between the object candidate calculated by the distance calculation unit 11 and the reference point of the camera, and position information and shape of the object stored by the object position storage unit 12.
  • the camera position is estimated from the information and the image captured by the camera 8.
  • the graphics superimposing unit 14 is planned to be installed in the future based on the AR information, for example, the position information and the shape information of the virtual structure in the DB 2 based on the camera position, the direction the camera is photographing, the field of view range, and the DB2.
  • the graphics of the virtual structure that is present is generated and superimposed on the camera image.
  • the display unit 15 displays the camera image and the AR information by superimposing the AR information on the camera image.
  • the image processing apparatus 1 includes the display unit 15 here, the display unit 15 is not limited thereto, and the display unit 15 may be provided outside the image processing apparatus 1.
  • FIG. 2 is a flowchart for explaining the operation of the image processing apparatus 1 according to the first embodiment of the present invention.
  • the antenna 3 receives a signal from a GPS satellite, and the GPS 4 calculates a rough self-position of the image processing apparatus 1 from the signal received by the antenna 3 and transmits the self-position to the area specifying unit 5.
  • the area designating unit 5 designates a search range based on a position including an error range around the self-position of the rough image processing apparatus 1, and stores the search range in the DB 2 (step ST202).
  • the area designating unit 5 stores the search range based on the position in the DB 2.
  • the search range based on the position may be stored in a memory or the like owned by itself.
  • the search range refers to a range necessary when estimating the position of the camera 8, and the camera position estimation control device 100 determines from the position information and shape information of the object existing in the search range.
  • the position of the camera 8 is estimated.
  • the search range by position refers to a range set in advance with the position of the camera 8 as a reference, for example, within a radius of 50 m, with the position of the camera 8, that is, the image processing apparatus 1 as the center.
  • the inertial sensor 6 measures the direction taken by the camera 8 with respect to a predetermined reference direction, and transmits the measured direction to the azimuth designation unit 7 and the graphics superimposing unit 14 (step ST203).
  • the azimuth designation unit 7 designates a search range based on the field of view centered on the direction taken by the camera 8 and transmitted from the inertial sensor 6 in step ST203, and stores the search range in the DB 2 (step ST204). .
  • the azimuth specifying unit 7 stores the search range based on the visual field in the DB 2.
  • the present invention is not limited to this, and the search range based on the visual field may be stored in a memory or the like held by itself. Good.
  • the search range based on the field of view refers to a range set in advance on the basis of the direction in which the camera 8 is photographed, such as a range of 30 ° left and right around the direction in which the camera 8 is photographing.
  • the camera 8 captures an image and transmits the image to the image detection unit 9 and the graphics superimposition unit 14 (step ST205).
  • the image detection unit 9 extracts the shapes of various structures existing in the image from the image received from the camera 8 in step ST205, detects the presence or absence of the target candidate, and if there is a target candidate, The shape is detected, and the detected shape information of the candidate object is transmitted to the object search unit 10 and the distance calculation unit 11 (step ST206).
  • shape information of general structures corresponding to the types of various structures stored in the DB 2 as objects is stored in a memory (not shown) or the like, and the image detection unit 9 stores the information.
  • the structure is regarded as a candidate object and the shape information is calculated with the object search unit 10 as a distance.
  • the image detection unit 9 determines whether the camera 8 is based on the general shape of the manhole. It is determined whether or not a manhole exists in the photographed image. When a manhole is present, the manhole in the image is set as a candidate object, and the shape information is transmitted to the object search unit 10 and the distance calculation unit 11.
  • the image of the candidate object which can become a target object shall be image
  • the image detection unit 9 determines the candidate object with reference to the shape information of a general structure from the image including the candidate object photographed in advance.
  • FIG. 3 is a configuration diagram of the image detection unit 9 according to Embodiment 1 of the present invention.
  • the image detection unit 9 includes an image feature amount calculation unit 26, a determination unit 27, an object candidate image feature amount storage unit 28, and a non-object image feature amount storage unit 29.
  • the image feature amount calculation unit 26 traces an image captured by the camera 8 and calculates an image feature amount.
  • the image feature amount is a value obtained by calculating a difference from a pixel value at the center of a square for each small range (for example, a range indicated by a square in FIG. 4). .
  • the image feature amount calculation unit 26 calculates an image feature amount by tracing from the upper left for each range indicated by a square with respect to an image captured by the camera 8.
  • the target object candidate image feature amount storage unit 28 stores the target object image feature amount.
  • the non-object image feature amount storage unit 29 stores the image feature amount of the non-object.
  • the determination unit 27 determines whether the target object is a non-target object or not, depending on whether the image feature amount exceeds a threshold value. That is, when the image feature amount exceeds the threshold value, it is determined as an object candidate, and when the image feature amount does not exceed the threshold value, it is determined as a non-target object (see FIG. 5). Then, the shape of the structure determined to be a candidate for the object is detected by the object search unit 10 and the distance calculation unit 11.
  • the object search unit 10 refers to DB2, and in step ST202, the region specification unit 5 specifies the search range based on the position stored in DB2, and step ST204.
  • the search range based on the field of view designated by the azimuth designation unit 7 and stored in the DB 2 the shape of the target similar to the shape of the candidate object detected by the image detection unit 9 in step ST 206 is searched, and the searched shape is Identify the objects you have.
  • the position information and shape information of the identified object are acquired from the DB 2 as the position information of the object detected by the image detection unit 9 and stored in the object position storage unit 12 (step ST207).
  • the object search unit 10 first has an object similar to the shape of the object candidate detected by the image detection unit 9 that exists in the search range based on the position stored in the DB 2 and the range narrowed down by the search range based on the visual field.
  • the object having a shape similar to the shape of the candidate object is identified by retrieving the shape of the object from the DB 2, and the position information and shape information of the identified object are used as the position information and shape information of the candidate object.
  • the candidate object shown in the image captured by the camera 8 is determined as the object specified by searching the DB 2.
  • the position information and the shape information of the target object are acquired by searching for an object having a shape similar to the shape of the target object using both the search range based on the position and the search range based on the visual field.
  • an object having a shape similar to the shape of the target object may be searched from only the search range based on the position, and the position information and shape information of the target object may be acquired.
  • An object having a shape similar to the shape of the object may be searched to acquire position information and shape information of the object.
  • FIG. 6 is a diagram illustrating an example of information related to an object stored in DB2.
  • the object search unit 10 refers to the information in the DB 2 as shown in FIG. 6, and is an object within the search range by position and the search range by field of view, and the object detected by the image detection unit 9
  • An object having a shape similar to the candidate shape is specified, and position information such as longitude, latitude, and altitude of the specified object, and shape information are acquired as position information and shape information of the object. That is, here, for example, if a manhole as described in FIG. 4 is detected as an object, the position information and shape information of the manhole are acquired from the DB 2.
  • the image detection unit 9 detects only one target candidate from the image, but the image detection unit 9 detects when a target having two or more similar shapes is searched from the DB 2 in the search range. If there is a plurality of pieces of information on an object having a shape similar to the shape of the object, the object search unit 10 searches the DB 2 for an object having position information closest to the self-position calculated by the GPS 4 in step ST201. To identify as an object. At this time, the object search unit 10 collates the image captured by the camera 8 with the information stored in the DB 2 by using processing such as Euclidean distance determination and clustering, for example. 9 performs a collation process of an object having a shape similar to the shape of the object candidate detected by 9.
  • step ST207 the object search unit 10 acquires the position information and shape information of the searched object from the DB 2, and stores them in the object position storage unit 12. In addition, the object search unit 10 transmits the shape information of the object acquired from the DB 2 to the distance calculation unit 11.
  • the distance calculation unit 11 determines the size of the shape of the target object received from the image detection unit 9 in step ST206 on the image captured by the camera 8, and the shape information of the target received from the target search unit 10 in step ST207. Then, based on the orientation and viewing angle of the camera 8, a linear distance between the reference point of the camera 8 and the object is calculated, and the calculated linear distance is transmitted to the camera position estimation unit 13 (step ST208). ). Note that the object candidate detected by the image detection unit 9 in step ST206 is determined to be the object acquired from the DB 2 in step ST207.
  • the distance calculation unit 11 includes the camera 8 The reference point and the object of the camera 8 based on the size of the object on the photographed image, the object shape information acquired from the DB 2 by the object search unit 10, and the orientation and viewing angle of the camera 8.
  • the straight line distance between is calculated.
  • the linear distance between the reference point of the camera 8 and the object is determined in advance here, for example, the distance between the optical axis position on the lens surface of the camera 8 and the center position of the object, and the like. Let us say the distance of the line connecting the given points.
  • the control information of the camera 8 such as the orientation and the viewing angle of the camera 8 is received from the camera 8 via the image detection unit 9 and from the inertial sensor 6.
  • the camera position estimation unit 13 includes the position information and shape information of the object stored in the object position storage unit 12 regarding the object specified in step ST207, and the reference of the camera 8 calculated by the distance calculation unit 11 in step ST208.
  • the position of the camera 8 is estimated based on the linear distance between the point and the object and the image captured by the camera 8 received via the image detection unit 9 and the distance calculation unit 11, and the estimated position of the camera 8 Is transmitted to the graphics superimposing unit 14 (step ST209).
  • the camera position estimation unit 13 sets the position where the distance to the object is a linear distance between the reference point of the camera 8 calculated by the distance calculation unit 11 and the object as the position of the camera 8. Make a temporary decision.
  • the camera position estimation unit 13 captures the object from which position of the temporarily determined camera 8 from the shape information of the object stored in the object position storage unit 12 and the image captured by the camera 8. If it is, it is, it is verified whether the shape of the object is photographed as a shape on the image, a linear distance between the reference point of the camera 8 and the object, and a horizontal line passing through the reference point of the object And the orientation of the reference point of the camera 8 with respect to the reference point of the object. Then, of the temporarily determined positions of the camera 8, the position having the specified angle and direction is estimated as the position of the camera 8, and the estimated position of the camera 8 is transmitted to the graphics superimposing unit 14.
  • the graphics superimposing unit 14 refers to the DB 2 and extracts the position information and shape information of the virtual structure to be displayed in graphics by AR, and the camera position estimation unit 13 in step ST209 extracts the position information and shape information. Is generated based on the estimated position of the camera 8 and the orientation and field of view of the camera 8 measured by the inertial sensor 6 in step ST203, and the generated AR information is generated. A video signal for displaying a video superimposed on an image captured by the camera 8 is generated and output to the display unit 15 (step ST210).
  • the display unit 15 receives the video signal output from the graphics superimposing unit 14 in step ST210, and displays an image obtained by superimposing the virtual structure graphics on the image captured by the camera 8 (step ST211).
  • FIG. 7 is a diagram showing an example of a hardware configuration of the image processing apparatus 1 according to the first embodiment of the present invention.
  • the DB 2 uses the HDD 20.
  • the DB 2 may be configured by a DVD, a memory, or the like.
  • the area designation unit 5, the direction designation unit 7, the image detection unit 9, the object search unit 10, the distance calculation unit 11, and the camera position estimation unit 13 execute programs stored in the HDD 20, the memory 19, and the like.
  • This is realized by a processing circuit such as a CPU 21 and a system LSI.
  • a plurality of processing circuits may cooperate to execute the above function.
  • the object position storage unit 12 uses the memory 19. This is merely an example, and the object position storage unit 12 may be configured by an HDD 20, a DVD, or the like.
  • the graphics superimposing unit 14 uses a GPU (Graphics Processing Unit) 23, a frame memory 22, and a RAMDAC (Random Access Memory Digital-to-Analog Converter) 24. This is only an example, and the graphics superimposing unit 14 may be configured by other hardware.
  • the display unit 15 uses a monitor 25. This is an example, and the display unit 15 may be configured by other hardware.
  • the distance sensor 18 will be described later in a fourth embodiment.
  • shape information of a general structure corresponding to the type of various structures stored in the DB 2 as an object is stored in a memory or the like (not shown), and the image detection unit 9 Then, it is determined whether or not the structure having the stored shape exists in the image captured by the camera 8, and if it exists, the structure is regarded as a candidate object and the shape information is used as the object search unit 10.
  • the object search unit 10 refers to the DB 2 and searches for the shape of the object similar to the shape of the candidate object detected by the image detection unit 9 in the search range based on the position and the search range based on the field of view.
  • the object having the searched shape is specified, and the position information and shape information of the specified object are acquired from the DB as the position information of the object detected by the image detection unit 9.
  • the image detection unit 9 directly refers to the DB 2 to search for an object around the self-position and roughly resembles the structure in the image captured by the camera 8. If there is, the structure may be the object, and the position information and shape information of the object may be acquired from DB2. In that case, it is not necessary to store the shape information of general structures corresponding to the types of various structures stored in the DB as objects in a memory or the like (not shown), and the object search unit 10 Is also unnecessary.
  • DB2 that stores position information and shape information of a plurality of objects, and an object included in the image from an image captured by the camera 8 with reference to DB2.
  • a camera that estimates the position of the camera 8 based on the object search unit 10 that searches and identifies the object, the position information and shape information of the object identified by the object search unit 10, and the image captured by the camera 8 Since the position estimation unit 13 is provided, it is not necessary to use all the objects photographed by the camera 8 as point cloud information, and neither an expensive laser distance measuring device nor a large-capacity database for the point cloud information is required. It is.
  • the position of the camera 8 can be estimated and AR display can be performed.
  • Embodiment 2 FIG. In the first embodiment, the estimation of the camera position has been described assuming that there is one object in the camera image. However, in the second embodiment, there are a plurality of objects in the camera image. An embodiment will be described in which, when the image detection unit 9 detects a plurality of object candidate shapes, the shape of the object candidates to be searched by the object search unit 10 is narrowed down to one.
  • FIG. 8 is a configuration diagram of the image processing apparatus 1 according to the second embodiment of the present invention.
  • the image processing apparatus 1 shown in FIG. 8 differs from the image processing apparatus 1 described with reference to FIG. 1 in the first embodiment only in that the camera position estimation control apparatus 100 further includes a priority determination unit 16.
  • the other configuration is the same as that of the image processing apparatus 1 of FIG.
  • the priority determination unit 16 detects the target candidate to be searched by the target search unit 10 when a plurality of target candidate shapes detected by the image detection unit 9 are detected in the image captured by the camera 8. Narrow down the shape to one.
  • FIG. 9 is a flowchart for explaining the operation of the image processing apparatus 1 according to the second embodiment of the present invention.
  • the operation of the image processing apparatus 1 according to the second embodiment of the present invention shown in FIG. 9 is different from the operation described with reference to FIG. 2 in the first embodiment only in that a step ST901 is added.
  • the other operations in steps ST201 to ST211 are the same as those described with reference to FIG. 2, and thus redundant description will be omitted and only operations different from those in the first embodiment will be described.
  • step ST205 when the camera 8 captures an image and transmits the image to the image detection unit 9, the image detection unit 9 extracts the shapes of various structures existing in the image, and extracts object candidate candidates. The presence / absence is detected, and it is determined whether or not a structure having a shape stored in a memory or the like is present in an image captured by the camera 8. Is transmitted to the priority determination unit 16 (step ST206). At this time, it is assumed that the image detection unit 9 detects the shapes of a plurality of individual object candidates. The priority determination unit 16 selects the shape of the candidate object that is estimated to be closest to the position of the camera 8 from among the plurality of candidate object shapes received from the image detection unit 9, and selects the shape as the target object.
  • step ST901 It transmits to the search part 10 and the distance calculation part 11 (step ST901).
  • the priority determination unit 16 to estimate the shape of the candidate object closest to the position of the camera 8
  • the one having the largest shape of the candidate object can be selected. Instead, other methods may be used.
  • the target search target 10 searches for one target candidate shape. Since there are a plurality of target object candidates, the position of the camera 8 can be estimated at higher speed and AR display can be performed.
  • Embodiment 3 FIG.
  • the embodiment has been described in which the shape of the candidate object is detected from the image taken by the camera 8 and the object position is estimated, and the camera position is estimated based on the detected shape.
  • an embodiment in which an image with only an edge is generated from a camera image, the shape of a candidate object is detected from the generated image with only an edge, and the camera position is estimated will be described.
  • FIG. 10 is a configuration diagram of the image processing apparatus 1 according to the third embodiment of the present invention.
  • the image processing apparatus 1 shown in FIG. 10 differs from the image processing apparatus 1 described with reference to FIG. 1 in the first embodiment only in that the camera position estimation control apparatus 100 further includes an edge detection unit 17. Since other configurations are the same as those of the image processing apparatus 1 of FIG.
  • the edge detection unit 17 detects only a portion where the change of the pixel value is steep from the image taken by the camera 8, and generates an image of only the edge.
  • FIG. 11 is a flowchart for explaining the operation of the image processing apparatus 1 according to the third embodiment of the present invention.
  • the operation of the image processing apparatus 1 according to the third embodiment of the present invention shown in FIG. 11 is different from the operation described with reference to FIG. 2 in the first embodiment only in that a step ST1101 is added.
  • the other operations in steps ST201 to ST211 are the same as those described with reference to FIG. 2, and thus redundant description will be omitted and only operations different from those in the first embodiment will be described.
  • step ST ⁇ b> 205 the camera 8 captures an image and transmits the image to the edge detection unit 17 and the graphics superimposition unit 14.
  • the edge detection unit 17 detects only a portion where the change in the pixel value is steep from the image received from the camera 8, generates an image of only the edge, and transmits the image to the image detection unit 9 (step ST1101).
  • a method for the edge detection unit 17 to detect an edge for example, a Canny filter, a Gaussian filter, and the like are exemplified, but the present invention is not limited thereto, and other methods may be used.
  • the image detection unit 9 extracts the shape of various structures existing in the image from the image of only the edge received from the edge detection unit 17, and stores it in the memory or the like in the image captured by the camera 8. It is determined whether or not a structure having a stored shape exists, and if it exists, information on the shape is transmitted to the object search unit 10 and the distance calculation unit 11 with the structure as an object candidate. .
  • the image processing apparatus 1 is further provided with the edge detection unit 17.
  • the present invention is not limited to this, and the image processing apparatus 1 described with reference to FIG.
  • the priority determination unit 16 performs the image detection unit 9.
  • the shape of the candidate object that is estimated to be closest to the position of the camera 8 is selected from among the shapes of the plurality of object candidates received from, and the shape is transmitted to the object search unit 10 and the distance calculation unit 11. You may do it.
  • the target candidate since only the portion where the change in the pixel value is steep is detected from the image captured by the camera 8 and the image of only the edge is generated, the target candidate The shape of the object is simple with only an edge, the object can be searched at higher speed, and the position of the camera 8 can be estimated at higher speed to display AR.
  • Embodiment 4 FIG.
  • the camera position estimation unit 13 uses the distance between the camera 8 and the object used for estimating the position of the camera 8 as the distance between the camera 8 and the object calculated by the distance calculation unit 11.
  • the camera position estimation unit 13 acquires the distance between the camera 8 and the object used for estimating the position of the camera 8 from the distance sensor 18 will be described.
  • FIG. 12 is a configuration diagram of the image processing apparatus 1 according to the fourth embodiment of the present invention.
  • the image processing apparatus 1 shown in FIG. 12 further includes a distance sensor 18 and the camera position estimation control apparatus 100 does not include the distance calculation unit 11 as compared with the image processing apparatus 1 described with reference to FIG. Since only the differences are the same and the other configuration is the same as that of the image processing apparatus 1 of FIG. 1, redundant description is omitted.
  • the distance sensor 18 is provided in the image processing apparatus 1.
  • the present invention is not limited to this, and the distance sensor 18 can perform image processing as long as the distance sensor 18 is installed at a position where the distance between the camera 8 and the object can be detected. It may be provided outside the apparatus 1.
  • the distance sensor 18 measures the distance from the camera 8 to the object.
  • the measured distance from the camera 8 to the object is sent to the camera position estimation unit 13.
  • the distance sensor 18 is assumed to be an RGB-D sensor.
  • the RGB-D sensor has a camera function and a distance measurement function, and the distance from the camera 8 to the object can be measured using the function.
  • FIG. 13 is a flowchart for explaining the operation of the image processing apparatus 1 according to the fourth embodiment of the present invention.
  • the operation of the image processing apparatus 1 according to the fourth embodiment of the present invention shown in FIG. 13 is that step ST208 is deleted and the step ST1301 is added from the operation described with reference to FIG. 2 in the first embodiment. Only different.
  • the other operations of step ST201 to step ST207 and step ST209 to step ST211 are the same as those described with reference to FIG. 2, and therefore, redundant description will be omitted and only operations different from those of the first embodiment will be described. explain.
  • the distance sensor 18 measures the distance from the camera 8 to the object.
  • the camera position estimation unit 13 includes the position information and shape information of the object stored in the object position storage unit 12 regarding the object specified in step ST207, and the reference point of the camera 8 measured by the distance sensor 18 in step ST1301.
  • the position of the camera 8 is estimated based on the linear distance between the object and the object and the image captured by the camera 8 received via the image detection unit 9, and the estimated position of the camera 8 is determined by the graphics superimposing unit 14. (Step ST209).
  • the specific operation for estimating the position of the camera 8 is the same as the operation described in the first embodiment.
  • the distance calculation unit 11 is deleted from the image processing apparatus 1 of the first embodiment and the distance sensor 18 is further provided.
  • the image processing apparatus 1 may be configured to include the distance sensor 18 instead of the distance calculation unit 11, or in the image processing apparatus 1 described with reference to FIG. 10 in the third embodiment, instead of the distance calculation unit 11. It is good also as a structure provided with the distance sensor 18.
  • the fourth embodiment may be applied to the image processing apparatus 1 in which the second and third embodiments are combined.
  • the edge detection unit 17 detects an image with only an edge, and when there are a plurality of object candidates detected by the image detection unit 9 from an image with only an edge, the priority determination unit 16
  • the target candidate shape estimated to be closest to the position of the camera 8 is narrowed down to one among the received target object shapes, and the shape is transmitted to the object search unit 10.
  • the position estimation unit 13 includes the position information and shape information of the object acquired by the object search unit 10, the distance between the camera 8 and the object measured by the distance sensor 18, and the camera 8 received via the image detection unit 9. You may make it estimate the position of the camera 8 from the image
  • the distance sensor 18 that measures the distance to the object is used instead of the distance calculation unit 11, the relative relationship with the object can be obtained at a higher speed. Therefore, the AR display can be performed by estimating the position of the camera 8 at a higher speed.
  • Embodiment 5 FIG. In the fifth embodiment, an embodiment in which the graphics video signal generated by the image processing apparatus 1 of the first to fourth embodiments is displayed on the head-up display 30 will be described.
  • FIG. 14 is a diagram illustrating an example of an augmented reality system including the image processing device 1 and the head-up display 30 according to Embodiment 5 of the present invention.
  • the configuration of the image processing apparatus 1 in FIG. 14 is the same as that of any of the image processing apparatuses 1 described in the first to fourth embodiments with reference to FIGS.
  • the head-up display 30 is used as the display unit 15.
  • the head-up display 30 superimposes and displays an image on a real space landscape. For example, as shown in FIG. 15, AR display is performed on the windshield of an automobile.
  • graphics of a virtual structure planned to be installed in the future are generated and superimposed on the camera image.
  • FIG. 4 for example, graphics such as a line indicating a course are generated and AR-displayed on the windshield.
  • graphics such as a line indicating a course are generated and displayed on the windshield of the automobile and displayed in AR.
  • the display is not limited to the windshield, and AR display may be performed on the combiner.
  • the present invention is not limited to this, and the fifth embodiment can be applied to, for example, a railway vehicle, a ship, an aircraft, or the like as long as it is a moving body.
  • the AR display suitable for the landscape based on the position of the camera 8 estimated more accurately is Displayed on the windshield of the car.
  • the graphics superimposing unit 14 receives the orientation and field-of-view range of the camera 8 from the inertial sensor 6. If the posture of the camera 8 can be estimated but the inertial sensor 6 is not provided and the graphics superimposing unit 14 cannot receive the orientation and field of view of the camera 8 from the inertial sensor 6, the camera position is estimated.
  • the unit 13 may estimate the posture together with the position of the camera 8 and transmit information on the position and posture of the camera 8 to the graphics superimposing unit 14. In that case, the camera position estimation unit 13 determines from which position of the temporarily determined camera 8 position the object is based on the object shape information stored in the object position storage unit 12 and the image captured by the camera 8.
  • the orientation of the reference point of the camera 8 relative to the reference point of the object which is specified by verifying whether the shape of the object is taken as a shape on the image, is defined as the posture of the camera 8. What is necessary is just to make it transmit to the graphics superimposition part 14.
  • the camera position estimation control apparatus 100 is configured as shown in FIG. 1, but the camera position estimation control apparatus 100 includes the DB 2, the object search unit 10, and the camera position estimation unit 13.
  • the above-described effects can be obtained.
  • the hardware configuration of the image processing apparatus 1 according to the second to fourth embodiments is the same as that described with reference to FIG. 7 in the first embodiment.
  • the priority determination unit 16 and the edge detection unit 17 use the CPU 21.
  • the image processing apparatus 1 includes the antenna 3, the GPS 4, the inertial sensor 6, and the camera 8.
  • the antenna 3, the GPS 4, the inertial sensor 6, and the camera 8 are provided outside the image processing apparatus 1, and the camera position estimation control apparatus 100 uses the camera 8 based on rough position information of the external camera 8. It is also possible to estimate the position of. In that case, the antenna 3, the GPS 4, and the camera 8 are installed at close positions, and the inertial sensor 6 is provided in the camera 8.
  • the camera position estimation control device is configured to be able to estimate the camera position at high speed without requiring an expensive laser distance measurement device when estimating the camera position
  • the AR (expanded) The present invention can be applied to a camera position estimation control device that estimates a camera position when a virtual image for reality is superimposed on an image in real space.
  • 1 image processing device 2 database (DB), 3 antenna, 4 GPS, 5 area designation part, 6 inertial sensor, 7 orientation designation part, 8 camera, 9 image detection part, 10 object search part, 11 distance calculation part, 12 object position storage unit, 13 camera position estimation unit, 14 graphics superimposition unit, 15 display unit, 16 priority determination unit, 17 edge detection unit, 18 distance sensor, 19 memory, 20 HDD, 21 CPU, 22 frame memory , 23 GPU, 24 RAMDAC, 25 monitor, 26 image feature value calculation unit, 27 determination unit, 28 object candidate image feature value storage unit, 29 non-object image feature value storage unit, 30 head-up display, 100 camera position estimation Control device.
  • DB database
  • 3 antenna 3 antenna
  • 4 GPS 5 area designation part
  • 6 inertial sensor 7 orientation designation part
  • 8 camera 9 image detection part
  • 10 object search part 11 distance calculation part
  • 12 object position storage unit 13 camera position estimation unit
  • 14 graphics superimposition unit 15 display unit, 16 priority determination unit, 17 edge detection unit, 18 distance sensor, 19 memory, 20 HDD, 21 CPU, 22 frame memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

　複数の対象物の位置情報と形状情報とを保存するデータベースと、データベースを参照し、カメラが撮影した画像から、当該画像に含まれる対象物を検索して特定する対象物検索部と、対象物検索部が特定した対象物の位置情報および形状情報と、画像とに基づき、カメラの位置を推定するカメラ位置推定部とを備えた。

Description

カメラ位置推定制御装置、画像処理装置および拡張現実システム
　この発明は、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ：拡張現実）用の仮想画像を実空間の画像と重ね合わせる際にカメラ位置を推定するカメラ位置推定制御装置、当該カメラ位置推定制御装置を備えた画像処理装置、および、拡張現実システムに関するものである。
　従来、ＡＲ（拡張現実）用の仮想画像を実空間の画像と重ね合わせる際にカメラ位置推定を行う画像処理装置として、例えば、特許文献１には、ＡＲで表示するアノテーション情報の表示位置を決めるため、カメラで撮影した全ての対象物の画像と、全ての対象物の位置を点と色で記述した点群情報を比較することで、カメラの位置と姿勢を推定する画像処理装置が開示されている。
特開２０１３－１０９６２４号公報
　しかしながら、特許文献１のような従来技術では、カメラで撮影した全ての対象物の画像と、全ての対象物の位置を点と色で記述した点群情報の比較により、カメラの位置と姿勢を推定することはできるが、事前にカメラで撮影する全ての対象物を点群情報にする必要があるため比較開始前に準備時間がかかるうえ、高価なレーザ距離測定装置も必要となり、また、大容量である点群情報のために大容量のデータベースを用意しなければならないという課題があった。また、カメラの位置と姿勢の推定には点群情報から３次元化した画像を再度、２次元画像に投影して、カメラで撮影した全ての対象物と比較しなければならないため、計算量が多いという課題があった。
　この発明は上記のような課題を解決するためになされたもので、カメラの位置を推定するのに際し、高価なレーザ距離測定装置を必要とせず、高速にカメラの位置を推定することができるカメラ位置推定制御装置、当該カメラ位置推定制御装置を備えた画像処理装置、および、拡張現実システムを提供することを目的とする。
　この発明に係るカメラ位置推定制御装置は、複数の対象物の位置情報と形状情報とを保存するデータベースと、データベースを参照し、カメラが撮影した画像から、当該画像に含まれる対象物を検索して特定する対象物検索部と、対象物検索部が特定した対象物の位置情報および形状情報と、画像とに基づき、カメラの位置を推定するカメラ位置推定部とを備えたものである。
　この発明のカメラ位置推定制御装置によれば、カメラの位置を推定するのに際し、高価なレーザ距離測定装置を必要とせず、高速にカメラの位置を推定することができる。
この発明の実施の形態１に係るカメラ位置推定制御装置を搭載した画像処理装置１の構成図である。 この発明の実施の形態１の画像処理装置の動作を説明するフローチャートである。 この発明の実施の形態１における、画像検出部の構成図である。 画像特徴量算出部が算出する画像特徴量を説明する図である。 画像検出部の判定部による対象物候補の判定について説明する図である。 ＤＢに保存されている、対象物に関する情報の一例を説明する図である。 この発明の実施の形態１の画像処理装置のハードウェア構成の一例を示す図である。 この発明の実施の形態２の画像処理装置の構成図である。 この発明の実施の形態２の画像処理装置の動作を説明するフローチャートである。 この発明の実施の形態３の画像処理装置の構成図である。 この発明の実施の形態３の画像処理装置の動作を説明するフローチャートである。 この発明の実施の形態４の画像処理装置の構成図である。 この発明の実施の形態４の画像処理装置の動作を説明するフローチャートである。 この発明の実施の形態５における画像処理装置とヘッドアップディスプレイとを備えた拡張現実システムの一例を説明する図である。 自動車のフロントガラスにＡＲ表示を行った例を示す図である。
　以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
　図１は、この発明の実施の形態１に係るカメラ位置推定制御装置１００を搭載した画像処理装置１の構成図である。
　画像処理装置１は、アンテナ３と、ＧＰＳ４と、慣性センサ６と、カメラ８と、表示部１５とを備え、カメラ位置推定制御装置１００を搭載する。
　カメラ位置推定制御装置１００は、データベース（ＤＢ）２と、領域指定部５と、方位指定部７と、画像検出部９と、対象物検索部１０と、距離算出部１１と、対象物位置保存部１２と、カメラ位置推定部１３とを備える。
　ここでは、カメラ位置推定制御装置１００を搭載した画像処理装置１は、例えば、カメラ機能を有するタブレット端末などを想定している。
　なお、この実施の形態１では、図１に示すように、画像処理装置１がカメラ位置推定制御装置１００を搭載するようにしたが、これに限らず、カメラ位置推定制御装置１００は、画像処理装置１の外部に備えられるようにしてもよい。
　ＤＢ２は、複数の対象物の位置情報および形状情報、ＡＲ表示する仮想の構造物の位置情報および形状情報を保存する。対象物とは、カメラ８の位置を推定する際に用いる対象物のことであり、ここでは、例えば、マンホール、路肩、道路標識、信号機、ガードレール、バス停等の設置位置が固定された構造物を想定しているが、これに限定されるものではない。
　アンテナ３は、ＧＰＳ衛星からの信号を受信する。
　ＧＰＳ４は、アンテナ３が受信した信号からカメラ８の自己位置、すなわち、ここでは画像処理装置１の位置を計算する。なお、ＧＰＳ４によって計算される自己位置は、正確な位置ではなく、大まかな位置でよい。
　領域指定部５は、ＧＰＳ４が計算した自己位置を中心として、誤差範囲を含めた、位置による検索範囲を指定する。なお、検索範囲とは、ここでは、カメラ８の位置を推定する際に必要な範囲のことをいう。
　慣性センサ６は、予め決められた基準方向に対して、カメラ８が撮影している向きを計測する。
　方位指定部７は、慣性センサ６が計測した、カメラ８が撮影している向きを中心として、視野による検索範囲を指定する。
　カメラ８は、画像を撮影する。
　画像検出部９は、カメラ８が撮影した画像から、当該画像内に存在する各種構造物の形状を抽出し、対象物候補の有無を検出する。なお、図示しないメモリ等には、対象物としてＤＢ２に保存された各種構造物の種類に応じた一般的な構造物の形状情報が記憶されているものとし、画像検出部９は、当該記憶された形状の構造物が、カメラ８が撮影した画像内に存在するかどうかを判断し、存在した場合には、当該構造物を対象物候補として、その形状の情報を対象物検索部１０と距離算出部１１に送信する。
　対象物検索部１０は、画像検出部９が検出した対象物候補の形状と、ＤＢ２内の形状とに基づき、検索を行い、画像内に含まれる対象物を特定する。
　距離算出部１１は、画像検出部９が検出した対象物とカメラの基準点との間の直線的な距離を、カメラの画像から算出する。
　対象物位置保存部１２は、対象物検索部１０が特定した対象物の位置情報および形状情報を保存する。
　カメラ位置推定部１３は、距離算出部１１が算出した対象物候補とカメラの基準点との間の直線的な距離と、対象物位置保存部１２が保存している対象物の位置情報および形状情報と、カメラ８が撮影した画像とから、カメラ位置を推定する。
　グラフィックス重畳部１４は、カメラ位置、カメラが撮影している向き、視野範囲、ＤＢ２内の仮想の構造物の位置情報および形状情報をもとに、ＡＲ情報、例えば、今後設置を予定している仮想の構造物のグラフィックスを生成してカメラ画像に重畳する。
　表示部１５は、カメラ画像とＡＲ情報とを、カメラ画像にＡＲ情報を重畳させて表示する。
　なお、ここでは、画像処理装置１が表示部１５を備えるようにしたが、これに限らず、表示部１５は、画像処理装置１の外部に備えられるものであってもよい。
　図２は、この発明の実施の形態１の画像処理装置１の動作を説明するフローチャートである。
　まず、アンテナ３は、ＧＰＳ衛星からの信号を受信し、ＧＰＳ４は、アンテナ３が受信した信号から大まかな画像処理装置１の自己位置を計算して、当該自己位置を領域指定部５に送信する（ステップＳＴ２０１）。
　領域指定部５は、大まかな画像処理装置１の自己位置を中心として誤差範囲を含めた、位置による検索範囲を指定して、当該検索範囲をＤＢ２に記憶させる（ステップＳＴ２０２）。なお、ここでは、領域指定部５は、位置による検索範囲をＤＢ２に記憶させるものとしたが、これに限らず、自身が保有するメモリ等に位置による検索範囲を記憶しておくようにしてもよい。
　検索範囲とは、ここでは、カメラ８の位置を推定する際に必要な範囲のことをいい、カメラ位置推定制御装置１００は、この検索範囲に存在する、対象物の位置情報および形状情報から、カメラ８の位置を推定する。位置による検索範囲とは、カメラ８、すなわち、ここでは画像処理装置１の位置を中心として、例えば半径５０ｍ以内等、カメラ８の位置を基準として予め設定された範囲をいう。
　慣性センサ６は、予め定められた基準方向に対して、カメラ８が撮影している向きを計測して、計測した向きを方位指定部７とグラフィックス重畳部１４に送信する（ステップＳＴ２０３）。
　方位指定部７は、ステップＳＴ２０３において慣性センサ６から送信された、カメラ８が撮影している向きを中心として、視野による検索範囲を指定して、当該検索範囲をＤＢ２に記憶させる（ステップＳＴ２０４）。なお、ここでは、方位指定部７は、視野による検索範囲をＤＢ２に記憶させるものとしたが、これに限らず、自身が保有するメモリ等に視野による検索範囲を記憶しておくようにしてもよい。
　視野による検索範囲とは、カメラ８が撮影している向きを中心として左右３０°の範囲等、カメラ８が撮影している向きを基準として予め設定された範囲をいう。
　カメラ８は、画像を撮影して、当該画像を画像検出部９とグラフィックス重畳部１４に送信する（ステップＳＴ２０５）。
　画像検出部９は、ステップＳＴ２０５においてカメラ８から受信した画像から、当該画像内に存在する各種構造物の形状を抽出し、対象物候補の有無を検出し、対象物候補がある場合には、その形状を検出して、検出した対象物候補の形状情報を、対象物検索部１０と距離算出部１１に送信する（ステップＳＴ２０６）。具体的には、図示しないメモリ等に、対象物としてＤＢ２に保存された各種構造物の種類に応じた一般的な構造物の形状情報が記憶されており、画像検出部９は、当該記憶された形状の構造物が、カメラ８が撮影した画像内に存在するかどうかを判断し、存在した場合には、当該構造物を対象物候補として、その形状情報を対象物検索部１０と距離算出部１１に送信する。例えば、マンホールを対象物とすると、予めマンホールの一般的な形状等の情報が図示しないメモリ等に記憶されており、画像検出部９は、マンホールの一般的な形状をもとに、カメラ８が撮影した画像内にマンホールが存在するかどうかを判断する。そして、マンホールが存在する場合には、画像内でのマンホールを対象物候補とし、その形状情報を対象物検索部１０と距離算出部１１に送信する。
　なお、対象物候補については、事前に、目視作業、手作業等で、対象物となり得る対象物候補の画像を撮影しておくものとする。画像検出部９は、この、事前に撮影された対象物候補を含む画像から、一般的な構造物の形状情報を参照して、対象物候補を確定させる。
　ここで、画像検出部９による対象物候補の検出動作について説明する。
　図３は、この発明の実施の形態１における、画像検出部９の構成図である。
　画像検出部９は、図３に示すように、画像特徴量算出部２６と、判定部２７と、対象物候補画像特徴量保存部２８と、非対象物画像特徴量保存部２９とを備える。
　画像特徴量算出部２６は、カメラ８が撮影した画像をトレースして、画像特徴量を算出する。
　画像特徴量とは、例えば図４に示すように、画像に対して、小さな範囲（例えば、図４で四角で示す範囲）毎に、四角の中心の画素値からの差分を求めた値である。例えば、画像が、当該四角が５×５個の大きさであれば、画像特徴量は、２５個の０～２５５（８ｂｉｔ）の値の羅列となる。ここでは、例えば、図４に示すように、画像特徴量算出部２６は、カメラ８が撮影した画像について、四角で示す範囲毎に左上からトレースして画像特徴量を算出する。
　対象物候補画像特徴量保存部２８は、対象物候補の画像特徴量を保存する。
　非対象物画像特徴量保存部２９は、非対象物の画像特徴量を保存する。
　判定部２７は、画像特徴量が閾値を超えるかどうかによって、対象物候補と非対象物とに判別する。すなわち、画像特徴量が閾値を超える場合は、対象物候補であると判断し、画像特徴量が閾値を超えない場合は非対象物であると判断する（図５参照）。
　そして、対象物候補であると判断した構造物の形状を対象物検索部１０と距離算出部１１に検出する。
　図２のフローチャートに戻る。
　対象物検索部１０は、ステップＳＴ２０５において画像検出部９が対象物候補を検出すると、ＤＢ２を参照し、ステップＳＴ２０２において領域指定部５が指定しＤＢ２に記憶させた位置による検索範囲と、ステップＳＴ２０４において方位指定部７が指定しＤＢ２に記憶させた視野による検索範囲で、ステップＳＴ２０６において画像検出部９が検出した対象物候補の形状に類似した対象物の形状を検索し、検索された形状を有する対象物を特定する。さらに、その特定された対象物の位置情報と形状情報を、画像検出部９が検出した対象物の位置情報としてＤＢ２から取得し、対象物位置保存部１２に保存する（ステップＳＴ２０７）。
　対象物検索部１０は、まず、ＤＢ２に記憶された位置による検索範囲と、視野による検索範囲で絞り込まれた範囲に存在する、画像検出部９が検出した対象物候補の形状に類似した対象物の形状をＤＢ２から検索することで、対象物候補の形状に類似した形状を有する対象物を特定し、当該特定された対象物の位置情報および形状情報を、対象物候補の位置情報および形状情報とする。すなわち、カメラ８が撮影した画像に映った対象物候補が、当該ＤＢ２を検索して特定された対象物であるものとして確定される。
　なお、ここでは、位置による検索範囲および視野による検索範囲の両方を用いて対象物の形状に類似した形状の物体を検索して、対象物の位置情報および形状情報を取得するものとしたが、これに限らず、位置による検索範囲のみから対象物の形状に類似した形状の物体を検索し、対象物の位置情報および形状情報を取得するようにしてもよいし、視野による検索範囲のみから対象物の形状に類似した形状の物体を検索し、対象物の位置情報および形状情報を取得するようにしてもよい。
　図６は、ＤＢ２に保存されている、対象物に関する情報の一例を説明する図である。
　ＤＢ２には、図６に示すように、対象物の位置情報と形状情報とが保存されている。
　対象物検索部１０は、図６に示したようなＤＢ２の情報を参照し、位置による検索範囲と視野による検索範囲の範囲内にある対象物で、かつ、画像検出部９が検出した対象物候補の形状に類似した形状を有する対象物を特定し、当該特定した対象物の経度、緯度、標高といった位置情報、および、形状情報を対象物の位置情報および形状情報として取得する。すなわち、ここでは、例えば、対象物として、図４で説明したようなマンホールを検出したとすると、ＤＢ２からマンホールの位置情報および形状情報を取得する。
　なお、画像検出部９が画像から１つの対象物候補のみを検出したが、検索範囲においてＤＢ２から２つ以上の類似した形状を有する対象物が検索された場合等、画像検出部９が検出した対象物の形状に類似した形状を有する対象物の情報が複数ある場合は、対象物検索部１０は、ステップＳＴ２０１においてＧＰＳ４が計算した自己位置に最も近い位置情報を有する対象物をＤＢ２から検索して対象物として特定する。
　このとき、対象物検索部１０は、例えば、ユークリッド距離判定や、クラスタリング等の処理を用いて、カメラ８が撮影した画像とＤＢ２に格納されている情報との照合を行うことにより、画像検出部９が検出した対象物候補の形状に類似した形状を有する対象物の照合処理を行う。
　このステップＳＴ２０７において、対象物検索部１０は、検索した対象物の位置情報および形状情報をＤＢ２から取得し、対象物位置保存部１２に保存する。また、対象物検索部１０は、ＤＢ２から取得した対象物の形状情報を距離算出部１１に送信する。
　距離算出部１１は、ステップＳＴ２０６において画像検出部９から受信した対象物候補の、カメラ８が撮影した画像上の形状の大きさと、ステップＳＴ２０７において対象物検索部１０から受信した対象物の形状情報と、カメラ８の向きおよび視野角をもとに、カメラ８の基準点と対象物との間の直線距離を算出して、当該算出した直線距離をカメラ位置推定部１３に送信する（ステップＳＴ２０８）。なお、ステップＳＴ２０６で画像検出部９が検出した対象物候補は、ステップＳＴ２０７において、ＤＢ２から取得した対象物であるものと確定されているので、ステップＳＴ２０８において、距離算出部１１は、カメラ８が撮影した画像上の対象物の形状の大きさと、対象物検索部１０がＤＢ２から取得した対象物の形状情報と、カメラ８の向きおよび視野角をもとに、カメラ８の基準点と対象物との間の直線距離を算出することになる。
　カメラ８の基準点と対象物との間の直線距離は、ここでは、例えば、カメラ８のレンズ表面上の光軸位置と対象物の中心位置との距離等、カメラ８および対象物の予め決められた点を結ぶ線の距離をいうものとする。
　なお、カメラ８の向きおよび視野角など、カメラ８の制御情報は、カメラ８から画像検出部９を介して、および、慣性センサ６から受信する。
　カメラ位置推定部１３は、ステップＳＴ２０７において特定された対象物に関して対象物位置保存部１２に保存された対象物の位置情報および形状情報と、ステップＳＴ２０８において距離算出部１１が算出したカメラ８の基準点と対象物との間の直線距離と、画像検出部９および距離算出部１１を介して受信したカメラ８が撮影した画像とに基づき、カメラ８の位置を推定し、推定したカメラ８の位置をグラフィックス重畳部１４に送信する（ステップＳＴ２０９）。具体的には、カメラ位置推定部１３は、対象物までの距離が、距離算出部１１が算出したカメラ８の基準点と対象物との間の直線距離となる位置を、カメラ８の位置に仮決めする。その後、カメラ位置推定部１３は、対象物位置保存部１２に保存した対象物の形状情報とカメラ８が撮影した画像とから、仮決めしたカメラ８の位置のうち、どの位置から対象物が撮影されていれば、対象物の形状が、画像上の形状となって撮影されるのかを検証し、カメラ８の基準点と対象物との間の直線距離と対象物の基準点を通る水平線とが成す角度と対象物の基準点に対するカメラ８の基準点の向きとを特定する。そして、仮決めしたカメラ８の位置のうち、当該特定した角度および向きとなる位置を、カメラ８の位置と推定し、推定したカメラ８の位置をグラフィックス重畳部１４に送信する。
　グラフィックス重畳部１４は、ＤＢ２を参照して、ＡＲでグラフィックス表示する仮想の構造物の位置情報および形状情報を取り出し、当該取り出した位置情報および形状情報と、ステップＳＴ２０９においてカメラ位置推定部１３が推定したカメラ８の位置と、ステップＳＴ２０３において慣性センサ６が計測したカメラ８の向きおよび視野範囲とに基づき、適切な向き、位置、大きさのＡＲ情報を生成し、当該生成したＡＲ情報をカメラ８が撮影する画像に重畳させた映像を表示させる映像信号を生成して、表示部１５に出力する（ステップＳＴ２１０）。
　表示部１５は、ステップＳＴ２１０においてグラフィックス重畳部１４が出力した映像信号を受信し、カメラ８が撮影した画像に、仮想の構造物のグラフィックスを重畳した画像を表示する（ステップＳＴ２１１）。
　図７は、この発明の実施の形態１の画像処理装置１のハードウェア構成の一例を示す図である。
　この発明の実施の形態１において、ＤＢ２は、ＨＤＤ２０を使用する。なお、これは一例にすぎず、ＤＢ２は、ＤＶＤ、メモリ等によって構成されるものであってもよい。
　領域指定部５と、方位指定部７と、画像検出部９と、対象物検索部１０と、距離算出部１１と、カメラ位置推定部１３は、ＨＤＤ２０、メモリ１９等に記憶されたプログラムを実行するＣＰＵ２１、システムＬＳＩ等の処理回路により実現される。
　また、複数の処理回路が連携して上記機能を実行してもよい。
　対象物位置保存部１２は、メモリ１９を使用する。なお、これは一例であって、対象物位置保存部１２は、ＨＤＤ２０、ＤＶＤ等によって構成されるものであってもよい。
　グラフィックス重畳部１４は、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２３、フレームメモリ２２、ＲＡＭＤＡＣ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ　Ｄｉｇｉｔａｌ－ｔｏ－Ａｎａｌｏｇ　Ｃｏｎｖｅｒｔｅｒ。ＲＡＭ用Ｄ／Ａコンバータ）２４を使用する。なお、これは一例であって、グラフィックス重畳部１４は、その他のハードウェアで構成されるものであってもよい。
　表示部１５は、モニタ２５を使用する。なお、これは一例であって、表示部１５は、その他のハードウェアで構成されるものであってもよい。
　距離センサ１８については、実施の形態４において後述する。
　なお、上述した説明では、図示しないメモリ等に、対象物としてＤＢ２に保存された各種構造物の種類に応じた一般的な構造物の形状情報が記憶されているものとし、画像検出部９が、当該記憶された形状の構造物がカメラ８が撮影した画像内に存在するかどうかを判断し、存在した場合には、当該構造物を対象物候補として、その形状情報を対象物検索部１０に送信し、対象物検索部１０は、ＤＢ２を参照し、位置による検索範囲と、視野による検索範囲で、画像検出部９が検出した対象物候補の形状に類似した対象物の形状を検索し、検索された形状を有する対象物を特定して、特定された対象物の位置情報と形状情報を、画像検出部９が検出した対象物の位置情報としてＤＢから取得するようにした。しかしながら、これに限らず、画像検出部９が、直接ＤＢ２を参照し、おおまかな自己位置周辺の対象物を検索して、カメラ８が撮影した画像内の構造物に、形状の似ているものがあれば、当該構造物を対象物とし、当該対象物の位置情報と形状情報をＤＢ２から取得するようにしてもよい。
　その場合は、図示しないメモリ等に、対象物としてＤＢに保存された各種構造物の種類に応じた一般的な構造物の形状情報を記憶しておく必要はなく、また、対象物検索部１０も不要となる。
　以上のように、この実施の形態１によれば、複数の対象物の位置情報と形状情報とを保存するＤＢ２と、ＤＢ２を参照し、カメラ８が撮影した画像から、当該画像に含まれる対象物を検索して特定する対象物検索部１０と、対象物検索部１０が特定した対象物の位置情報および形状情報と、カメラ８が撮影した画像とに基づき、カメラ８の位置を推定するカメラ位置推定部１３とを備えるようにしたので、カメラ８で撮影する全ての対象物を点群情報にする必要がなく、高価なレーザ距離測定装置も点群情報のための大容量のデータベースも不要である。また、カメラ８の位置の推定に点群情報から３次元化した画像を再度、２次元画像に投影して、カメラ８で撮影した全ての対象物と比較する必要もないため、従来よりも高速にカメラ８の位置を推定してＡＲ表示できる。
実施の形態２．
　実施の形態１では、カメラ画像内には、対象物が１つであることを想定してカメラ位置の推定について説明したが、この実施の形態２では、カメラ画像内に、対象物が複数あり、画像検出部９が対象物候補の形状を複数検出した場合に、対象物検索部１０による検索対象となる対象物候補の形状を一つに絞り込む実施の形態について説明する。
　図８は、この発明の実施の形態２の画像処理装置１の構成図である。
　図８に示す画像処理装置１は、実施の形態１において図１を用いて説明した画像処理装置１と比べ、カメラ位置推定制御装置１００が、優先度判定部１６をさらに備える点が異なるのみであり、その他の構成については図１の画像処理装置１と同様であるため、重複した説明を省略する。
　優先度判定部１６は、カメラ８が撮影した画像内に、画像検出部９が検出した対象物候補の形状が複数検出された場合に、対象物検索部１０で検索対象となる対象物候補の形状を一つに絞り込む。
　図９は、この発明の実施の形態２の画像処理装置１の動作を説明するフローチャートである。
　図９に示すこの発明の実施の形態２の画像処理装置１の動作は、実施の形態１において図２を用いて説明した動作に、ステップＳＴ９０１のステップが追加された点のみ異なる。その他の、ステップＳＴ２０１～ステップＳＴ２１１の動作については、図２で説明したものと同様の動作であるので、重複した説明を省略し、実施の形態１とは異なる動作についてのみ説明する。
　ステップＳＴ２０５において、カメラ８が、画像を撮影して、当該画像を画像検出部９に送信すると、画像検出部９は、当該画像内に存在する各種構造物の形状を抽出し、対象物候補の有無を検出し、カメラ８が撮影した画像内に、メモリ等に記憶された形状の構造物が存在するかどうかを判断し、存在した場合には、当該構造物を対象物候補として、その形状の情報を、優先度判定部１６に送信する（ステップＳＴ２０６）。このとき、画像検出部９が複数の個別の対象物候補の形状を検出したとする。
　優先度判定部１６は、画像検出部９から受信した複数の対象物候補の形状のうち、最もカメラ８の位置に近いと推測される対象物候補の形状を選択して、当該形状を対象物検索部１０と距離算出部１１に送信する（ステップＳＴ９０１）。
　なお、優先度判定部１６が最もカメラ８の位置に近い対象物候補の形状を推測する手法としては、例えば、対象物候補の形状が最も大きいものを選択する等が挙げられるが、これに限らず、他の手法を用いてもよい。
　以上のように、この実施の形態２によれば、カメラ８が撮影した画像内に対象物候補の形状が複数ある場合に、対象物検索部１０で検索対象となる対象物候補の形状を一つに絞り込むようにしているので、対象物候補が複数ある場合でも、より高速にカメラ８の位置を推定してＡＲ表示できる。
実施の形態３．
　実施の形態１では、カメラ８が撮影した、対象物が撮影された画像から対象物候補の形状を検出し、当該検出した検出した形状に基づきカメラ位置を推定する実施の形態について説明したが、この実施の形態３では、カメラ画像から、エッジだけの画像を生成し、当該生成したエッジだけの画像から、対象物候補の形状を検出し、カメラ位置を推定する実施の形態について説明する。
　図１０は、この発明の実施の形態３の画像処理装置１の構成図である。
　図１０に示す画像処理装置１は、実施の形態１において図１を用いて説明した画像処理装置１と比べ、カメラ位置推定制御装置１００が、エッジ検出部１７をさらに備える点が異なるのみであり、その他の構成については図１の画像処理装置１と同様であるため、重複した説明を省略する。
　エッジ検出部１７は、カメラ８が撮影した画像から、画素の値の変化が急峻な部分だけを検出してエッジだけの画像を生成する。
　図１１は、この発明の実施の形態３の画像処理装置１の動作を説明するフローチャートである。
　図１１に示すこの発明の実施の形態３の画像処理装置１の動作は、実施の形態１において図２を用いて説明した動作に、ステップＳＴ１１０１のステップが追加された点のみ異なる。その他の、ステップＳＴ２０１～ステップＳＴ２１１の動作については、図２で説明したものと同様の動作であるので、重複した説明を省略し、実施の形態１とは異なる動作についてのみ説明する。
　ステップＳＴ２０５において、カメラ８は、画像を撮影して、当該画像をエッジ検出部１７とグラフィックス重畳部１４に送信する。
　エッジ検出部１７は、カメラ８から受信した画像から、画素の値の変化が急峻な部分だけを検出してエッジだけの画像を生成し、画像検出部９に送信する（ステップＳＴ１１０１）。
　なお、エッジ検出部１７がエッジを検出する手法としては、例えば、Ｃａｎｎｙフィルタやガウシアンフィルタ等が挙げられるが、これに限らず、他の手法を用いてもよい。
　画像検出部９は、ステップＳＴ２０６において、エッジ検出部１７から受信したエッジだけの画像から、当該画像内に存在する各種構造物の形状を抽出し、カメラ８が撮影した画像内に、メモリ等に記憶された形状の構造物が存在するかどうかを判断し、存在した場合には、当該構造物を対象物候補として、その形状の情報を、対象物検索部１０と距離算出部１１に送信する。
　なお、ここでは、実施の形態１の画像処理装置１に、エッジ検出部１７をさらに備えるものとしたが、これに限らず、実施の形態２において図８を用いて説明した画像処理装置１にエッジ検出部１７をさらに備える構成として、エッジ検出部１７が検出したエッジだけの画像から、画像検出部９が検出した対象物候補が複数ある場合に、優先度判定部１６が、画像検出部９から受信した複数の対象物候補の形状のうち、最もカメラ８の位置に近いと推測される対象物候補の形状を選択して、当該形状を対象物検索部１０と距離算出部１１に送信するようにしてもよい。
　以上のように、この実施の形態３によれば、カメラ８が撮影した画像から、画素の値の変化が急峻な部分だけを検出してエッジだけの画像を生成するようにしたため、対象物候補の形状がエッジだけの単純なものとなり、より高速に対象物が検索でき、より高速にカメラ８の位置を推定してＡＲ表示できる。
実施の形態４．
　実施の形態１では、カメラ位置推定部１３は、カメラ８の位置を推定するにあたり用いるカメラ８と対象物の距離は、距離算出部１１が算出したカメラ８と対象物の距離とする実施の形態としたが、この実施の形態４では、カメラ位置推定部１３は、カメラ８の位置を推定するにあたり用いるカメラ８と対象物の距離を、距離センサ１８から取得する実施の形態について説明する。
　図１２は、この発明の実施の形態４の画像処理装置１の構成図である。
　図１２に示す画像処理装置１は、実施の形態１において図１を用いて説明した画像処理装置１と比べ、距離センサ１８をさらに備え、カメラ位置推定制御装置１００は距離算出部１１を備えない点が異なるのみであり、その他の構成については図１の画像処理装置１と同様であるため、重複した説明を省略する。
　なお、ここでは距離センサ１８は画像処理装置１が備えるものとしたが、これに限らず、距離センサ１８は、カメラ８と対象物との距離を検出できる位置に設置されていれば、画像処理装置１の外部に備えられるようにしてもよい。
　距離センサ１８は、カメラ８から対象物までの距離を測定する。測定したカメラ８から対象物までの距離は、カメラ位置推定部１３に送られる。なお、ここでは、距離センサ１８は、ＲＧＢ－Ｄセンサを想定している。ＲＧＢ－Ｄセンサは、カメラ機能と距離測定機能を有しており、当該機能を使用して、カメラ８から対象物までの距離が測定可能となる。
　図１３は、この発明の実施の形態４の画像処理装置１の動作を説明するフローチャートである。
　図１３に示すこの発明の実施の形態４の画像処理装置１の動作は、実施の形態１において図２を用いて説明した動作から、ステップＳＴ２０８が削除され、ステップＳＴ１３０１のステップが追加された点のみ異なる。その他の、ステップＳＴ２０１～ステップＳＴ２０７、ステップＳＴ２０９～ステップＳＴ２１１の動作については、図２で説明したものと同様の動作であるので、重複した説明を省略し、実施の形態１とは異なる動作についてのみ説明する。
　ステップＳＴ１３０１において、距離センサ１８は、カメラ８から対象物までの距離を測定する。
　カメラ位置推定部１３は、ステップＳＴ２０７において特定された対象物に関して対象物位置保存部１２に保存された対象物の位置情報および形状情報と、ステップＳＴ１３０１において距離センサ１８が測定したカメラ８の基準点と対象物との間の直線距離と、画像検出部９を介して受信したカメラ８が撮影した画像とに基づき、カメラ８の位置を推定し、推定したカメラ８の位置をグラフィックス重畳部１４に送信する（ステップＳＴ２０９）。カメラ８の位置推定の具体的な動作は、実施の形態１で説明した動作と同様である。
　なお、ここでは、実施の形態１の画像処理装置１から距離算出部１１を削除し、距離センサ１８をさらに備えるものとしたが、これに限らず、実施の形態２において図８を用いて説明した画像処理装置１において、距離算出部１１の代わりに距離センサ１８を備える構成としてもよいし、実施の形態３において図１０を用いて説明した画像処理装置１において、距離算出部１１の代わりに距離センサ１８を備える構成としてもよい。
　また、実施の形態２、実施の形態３を組み合わせた画像処理装置１に対して、この実施の形態４を適用させてもよい。すなわち、エッジ検出部１７は、エッジだけの画像を検出し、エッジだけの画像から画像検出部９が検出した対象物候補が複数ある場合には、優先度判定部１６が、画像検出部９から受信した複数の対象物候補の形状のうち、最もカメラ８の位置に近いと推測される対象物候補の形状を一つに絞り込んで、当該形状を対象物検索部１０に送信するようにし、カメラ位置推定部１３は、対象物検索部１０が取得した対象物の位置情報および形状情報と、距離センサ１８が測定したカメラ８と対象物の距離と、画像検出部９を介して受信したカメラ８が撮影した画像とからカメラ８の位置を推定するようにしてもよい。
　以上のように、この実施の形態４によれば、距離算出部１１の代わりに対象物までの距離を測定する距離センサ１８を使用しているので、より高速に対象物との相対関係が求まるため、より高速にカメラ８の位置を推定してＡＲ表示できる。
実施の形態５．
　この実施の形態５では、実施の形態１～４の画像処理装置１が生成したグラフィックスの映像信号をヘッドアップディスプレイ３０に表示させる実施の形態について説明する。
　図１４は、この発明の実施の形態５における画像処理装置１とヘッドアップディスプレイ３０とを備えた拡張現実システムの一例を説明する図である。
　図１４の画像処理装置１の構成は、実施の形態１～４でそれぞれ図１，８，１０，１２を用いて説明した画像処理装置１のいずれかと同じものとする。ここでは、表示部１５として、ヘッドアップディスプレイ３０を使用する。
　ヘッドアップディスプレイ３０は、実空間の風景上に映像を重畳表示する。例えば、図１５に示すように、自動車のフロントガラスにＡＲ表示を行うものである。
　なお、実施の形態１～４では、例えば、今後設置を予定している仮想の構造物のグラフィックスを生成してカメラ画像に重畳するようにしていたが、この実施の形態５では、図１５に示すように、例えば、進路を示すライン等のグラフィックスを生成してフロントガラスにＡＲ表示するようにしている。
　なお、ここでは、自動車のフロントガラスに、例えば、進路を示すライン等のグラフィックスを生成してＡＲ表示するようにしたが、フロントガラスに限らず、コンバイナにＡＲ表示するようにしてもよい。
　また、ここでは、自動車を例に説明したが、これに限らず、移動体であれば、例えば、鉄道車両、船舶、航空機等に当該実施の形態５を適用させることもできる。
　以上のように、この実施の形態５によれば、表示部１５としてヘッドアップディスプレイ３０を使用している場合に、より正確に推定されたカメラ８の位置に基づき風景に適合したＡＲ表示が、自動車のフロントガラスに表示される。
　なお、上述した実施の形態１～５では、画像処理装置１が慣性センサ６を備えるものとしたので、グラフィックス重畳部１４は、慣性センサ６からカメラ８の向きおよび視野範囲を受信することで、カメラ８の姿勢を推定することができたが、慣性センサ６を備えず、グラフィックス重畳部１４が慣性センサ６からカメラ８の向きおよび視野範囲を受信することができない場合は、カメラ位置推定部１３が、カメラ８の位置とともに姿勢を推定し、当該カメラ８の位置および姿勢の情報をグラフィックス重畳部１４に送信するようにするようにすることもできる。
　その場合、カメラ位置推定部１３は、対象物位置保存部１２に保存した対象物の形状情報とカメラ８が撮影した画像とから、仮決めしたカメラ８の位置のうち、どの位置から対象物が撮影されていれば、対象物の形状が、画像上の形状となって撮影されるのかを検証して特定した、対象物の基準点に対するカメラ８の基準点の向きを、カメラ８の姿勢としてグラフィックス重畳部１４へ送信するようにすればよい。
　また、実施の形態１において、カメラ位置推定制御装置１００は、図１で示すような構成としたが、カメラ位置推定制御装置１００は、ＤＢ２と、対象物検索部１０と、カメラ位置推定部１３とを備えることにより、上述したような効果が得られるものである。
　また、実施の形態２～４の画像処理装置１のハードウェア構成は、実施の形態１において図７を用いて説明したものと同様の構成である。
　優先度判定部１６と、エッジ検出部１７は、ＣＰＵ２１を使用する。
　また、上述した実施の形態１～４では、アンテナ３、ＧＰＳ４、慣性センサ６、カメラ８を画像処理装置１が備えるものとし、例えば、カメラ機能を有するタブレット端末などを想定していたが、これに限らず、アンテナ３、ＧＰＳ４、慣性センサ６、カメラ８は画像処理装置１の外部に備えられ、カメラ位置推定制御装置１００は、外部のカメラ８の大まかな位置情報等をもとにカメラ８の位置を推定するものであってもよい。その場合、アンテナ３、ＧＰＳ４と、カメラ８とは、近い位置に設置され、慣性センサ６はカメラ８に備えられることとする。
　なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　この発明に係るカメラ位置推定制御装置は、カメラの位置を推定するのに際し、高価なレーザ距離測定装置を必要とせず、高速にカメラの位置を推定することができるように構成したため、ＡＲ（拡張現実）用の仮想画像を実空間の画像と重ね合わせる際にカメラ位置を推定するカメラ位置推定制御装置等に適用することができる。
　１　画像処理装置、２　データベース（ＤＢ）、３　アンテナ、４　ＧＰＳ、５　領域指定部、６　慣性センサ、７　方位指定部、８　カメラ、９　画像検出部、１０　対象物検索部、１１　距離算出部、１２　対象物位置保存部、１３　カメラ位置推定部、１４　グラフィックス重畳部、１５　表示部、１６　優先度判定部、１７　エッジ検出部、１８　距離センサ、１９　メモリ、２０　ＨＤＤ、２１　ＣＰＵ、２２　フレームメモリ、２３　ＧＰＵ、２４　ＲＡＭＤＡＣ、２５　モニタ、２６　画像特徴量算出部、２７　判定部、２８　対象物候補画像特徴量保存部、２９　非対象物画像特徴量保存部、３０　ヘッドアップディスプレイ、１００　カメラ位置推定制御装置。

Claims (9)

  1. 　複数の対象物の位置情報と形状情報とを保存するデータベースと、
    　前記データベースを参照し、カメラが撮影した画像から、当該画像に含まれる対象物を検索して特定する対象物検索部と、
    　前記対象物検索部が特定した前記対象物の位置情報および形状情報と、前記画像とに基づき、前記カメラの位置を推定するカメラ位置推定部
    　とを備えたカメラ位置推定制御装置。
  2. 　前記画像から、対象物候補の形状を検出する画像検出部を備え、
    　前記対象物検索部は、前記画像検出部が検出した前記対象物候補の形状と上記データベース内の形状情報とに基づき、前記対象物を特定する
    　ことを特徴とする請求項１記載のカメラ位置推定制御装置。
  3. 　前記画像から、前記カメラの基準点と前記対象物との間の直線距離を算出する距離算出部をさらに備え、
    　前記カメラ位置推定部は、前記対象物検索部が特定した前記対象物の位置情報および形状情報と、前記距離算出部が算出した前記カメラの基準点と前記対象物との間の直線距離と、前記画像とに基づき、前記カメラの位置を推定する
    　ことを特徴とする請求項１記載のカメラ位置推定制御装置。
  4. 　ＧＰＳ衛星からの信号に基づいて計算された前記カメラの位置を中心として、位置による検索範囲を指定する領域指定部をさらに備え、
    　前記対象物検索部は、
    　前記位置による検索範囲内で、前記対象物を検索して特定する
    　ことを特徴とする請求項１記載のカメラ位置推定制御装置。
  5. 　前記カメラが撮影する向きを中心として、前記カメラが撮影する視野による検索範囲を指定する方位指定部をさらに備え、
    　前記対象物検索部は、
    　前記視野による検索範囲内で、前記対象物を検索して特定する
    　ことを特徴とする請求項１記載のカメラ位置推定制御装置。
  6. 　前記画像検出部が、前記対象物候補の形状を複数検出した場合、前記対象物候補の形状を一つに絞り込む優先度判定部をさらに備え、
    　前記対象物検索部は、
    　前記優先度判定部が絞り込んだ前記対象物候補の形状から、前記対象物を検索して特定する
    　ことを特徴とする請求項２記載のカメラ位置推定制御装置。
  7. 　前記画像から、前記対象物候補のエッジだけの画像を生成するエッジ検出部をさらに備え、
    　前記画像検出部は、前記エッジ検出部が生成した前記対象物候補のエッジだけの画像から、前記対象物候補の形状を検出する
    　ことを特徴とする請求項２記載のカメラ位置推定制御装置。
  8. 　請求項１に記載のカメラ位置推定制御装置を搭載した画像処理装置であって、
    　前記データベースを、仮想の構造物の位置情報および形状情報をさらに保存するものとし、当該仮想の構造物の位置情報および形状情報と、前記カメラ位置推定部が推定した前記カメラの位置と、前記カメラの向きおよび視野範囲とに基づき、ＡＲ情報を生成し、当該ＡＲ情報を前記カメラが撮影する画像に重畳させた映像を表示させる映像信号を生成するグラフィックス重畳部を備えた
    　ことを特徴とする画像処理装置。
  9. 　請求項８記載の画像処理装置と、実空間の風景上に映像を重畳表示するヘッドアップディスプレイとを備えた拡張現実システムであって、
    　前記ヘッドアップディスプレイは、前記グラフィックス重畳部が生成した映像信号を表示する
    　ことを特徴とする拡張現実システム。
PCT/JP2014/084574 2014-12-26 2014-12-26 カメラ位置推定制御装置、画像処理装置および拡張現実システム WO2016103467A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/084574 WO2016103467A1 (ja) 2014-12-26 2014-12-26 カメラ位置推定制御装置、画像処理装置および拡張現実システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/084574 WO2016103467A1 (ja) 2014-12-26 2014-12-26 カメラ位置推定制御装置、画像処理装置および拡張現実システム

Publications (1)

Publication Number Publication Date
WO2016103467A1 true WO2016103467A1 (ja) 2016-06-30

Family

ID=56149555

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/084574 WO2016103467A1 (ja) 2014-12-26 2014-12-26 カメラ位置推定制御装置、画像処理装置および拡張現実システム

Country Status (1)

Country Link
WO (1) WO2016103467A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330938A (zh) * 2017-06-30 2017-11-07 深圳市强华科技发展有限公司 一种用于多个被测对象的视觉检测方法及其系统
WO2021156852A1 (en) * 2020-02-03 2021-08-12 Asherov Assaf System and method for identifying a relative position and direction of a camera relative to an object
US20230124231A1 (en) * 2021-10-19 2023-04-20 Hyundai Mobis Co., Ltd. Method of redundantly protecting driver in vehicle and apparatus therefor

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08247775A (ja) * 1995-03-15 1996-09-27 Toshiba Corp 移動体の自己位置同定装置および自己位置同定方法
JP2009020091A (ja) * 2007-06-12 2009-01-29 National Institute Of Information & Communication Technology ナビゲーションシステム、ナビゲーション方法、およびナビゲーションプログラム
JP2013222335A (ja) * 2012-04-17 2013-10-28 Hitachi Ltd 対象物特定システム、対象物特定サーバ及び対象物特定端末

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08247775A (ja) * 1995-03-15 1996-09-27 Toshiba Corp 移動体の自己位置同定装置および自己位置同定方法
JP2009020091A (ja) * 2007-06-12 2009-01-29 National Institute Of Information & Communication Technology ナビゲーションシステム、ナビゲーション方法、およびナビゲーションプログラム
JP2013222335A (ja) * 2012-04-17 2013-10-28 Hitachi Ltd 対象物特定システム、対象物特定サーバ及び対象物特定端末

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PEILIN LIU ET AL.: "Recognition of Urban Scene Using Silhouette of Buildings and City Map Database", IPSJ SIG NOTES, vol. 97, no. 70, 24 July 1997 (1997-07-24), pages 17 - 24 *
TOMOHIRO TERADA ET AL.: "A Real Generation of Image Overlaid Annotation for Car Navigation System", PROCEEDINGS OF THE 2001 IEICE GENERAL CONFERENCE, 7 March 2001 (2001-03-07), pages 316 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330938A (zh) * 2017-06-30 2017-11-07 深圳市强华科技发展有限公司 一种用于多个被测对象的视觉检测方法及其系统
CN107330938B (zh) * 2017-06-30 2020-12-08 深圳市强华科技发展有限公司 一种用于多个被测对象的视觉检测方法及其系统
WO2021156852A1 (en) * 2020-02-03 2021-08-12 Asherov Assaf System and method for identifying a relative position and direction of a camera relative to an object
US20230124231A1 (en) * 2021-10-19 2023-04-20 Hyundai Mobis Co., Ltd. Method of redundantly protecting driver in vehicle and apparatus therefor

Similar Documents

Publication Publication Date Title
US10949712B2 (en) Information processing method and information processing device
US10134196B2 (en) Mobile augmented reality system
US10788830B2 (en) Systems and methods for determining a vehicle position
CN111046743B (zh) 一种障碍物信息标注方法、装置、电子设备和存储介质
US10282860B2 (en) Monocular localization in urban environments using road markings
US10909395B2 (en) Object detection apparatus
US10872246B2 (en) Vehicle lane detection system
WO2020039937A1 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
CN112085003A (zh) 公共场所异常行为自动识别方法及装置、摄像机设备
Dawood et al. Harris, SIFT and SURF features comparison for vehicle localization based on virtual 3D model and camera
US10996469B2 (en) Method and apparatus for providing driving information of vehicle, and recording medium
US20190362512A1 (en) Method and Apparatus for Estimating a Range of a Moving Object
US20160169662A1 (en) Location-based facility management system using mobile device
WO2016103467A1 (ja) カメラ位置推定制御装置、画像処理装置および拡張現実システム
Bazin et al. UAV attitude estimation by vanishing points in catadioptric images
CN116958195A (zh) 物件追踪整合方法及整合装置
Choi et al. In‐Lane Localization and Ego‐Lane Identification Method Based on Highway Lane Endpoints
Cordes et al. Constrained Multi Camera Calibration for Lane Merge Observation.
Jiang et al. Multilayer map construction and vision-only multi-scale localization for intelligent vehicles in underground parking
WO2019119358A1 (en) Method, device and system for displaying augmented reality poi information
Antigny et al. Hybrid visual and inertial position and orientation estimation based on known urban 3D models
JP6959305B2 (ja) 生成装置、生成方法、および生成プログラム
JP2022186070A (ja) 位置情報算出装置、および、位置情報算出方法
Moun et al. Localization and building identification in outdoor environment for smartphone using integrated GPS and camera
CN111638500A (zh) 用于测量装置的标定方法和测量装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14909071

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 14909071

Country of ref document: EP

Kind code of ref document: A1