MX2010014049A - Registro de imagenes de nivel de calle para modelos de construccion tridimensional (3d). - Google Patents

Abstract

Un punto de información de origen para datos de imagen puede registrarse de forma inexacta contra una ubicación geográfica absoluta. Un procedimiento para alinear datos de imagen y de modelo altamente exactos ajusta un punto de origen de los datos de imagen al hacer coincidir elementos en la imagen con elementos correspondientes del modelo. En una imagen de nivel de calle, pueden extraerse los horizontes de edificios y los horizontes correspondientes del modelo de edificio pueden colocarse sobre el horizonte basado en imagen. Al ajustar el punto de origen de la imagen, pueden alinearse los horizontes respectivos. El borde del edificio y la información de profundidad de fachada pueden coincidir similarmente al ajustar el punto de imagen de origen de la imagen. El punto de origen ajustado de la imagen puede utilizarse para entonces colocar automáticamente imágenes en los modelos para una corrida larga de imágenes.

Description

G1STR0 PE IMAGENES DE NIVEL DE CALLE PARA M CONSTRUCCION TRIDI ENSIONAL Í3D) ANTECEDENTES En muchos casos, la ubicación precisa de un vehí terminarse al utilizar una combinación de un receptor posicionamiento global (GPS) y una unidad de medid U). Las imágenes tomadas de un vehículo utilizando icación pueden registrarse para una ubicación úti didas de colocación proporcionadas por el GPS y la IM Sin embargo, las distorsiones de señal en cañon erancias mecánicas, desgaste, etc. pueden hacer que l portada de uno o más sensores de imagen sea dife icación real del sensor en una forma impredecible.

Un ejemplo de tal falta de coincidencia se ilustra BREVE DESCRIPCION PE LA INVENCION Un sistema y un método utilizan una combinación d caneo de alta resolución para alinear las imágenes le a modelos de edificio 3D al ajustar esquemáticame origen de los datos de imagen hasta que ocurre incidencia entre la imagen y el modelo de edificio. Ai sté de origen (por ejemplo, una ubicación de cámar po de imágenes que pueden alinearse de forma s ede proporcionarse exactitud adicional cuando se elige ra lados opuestos de una calle, proporcionando mayo datos para el procedimiento de alineación.

Las imágenes están alineadas con modelos 3D de e eden generarse al utilizar otra técnica, tal como ran reo (LIDAR). Las imágenes de nivel de calle (es decir 9 metros sobre el suelo) pueden complementarse p ubicación calculada y el costo recalculado. El costo i rresponde a la mejor coincidencia entre las car traídas y las características modeladas entonces se S ede almacenarse la ubicación de cámara correspo cedimiento puede incorporar imágenes a lo largo de imágenes que incluyen imágenes desde lados op mplo, ambos lados de una calle. A medida que se icación de fuente, el costo global más bajo para ágenes consideradas representa la posición absoluta r ra la cámara. La Figura 2 ilustra la alineación de i delo 3D 56 como un resultado de esta técnica.

BREVE DESCRIPCION PE LOS DIBUJOS La Figura 1 es una ilustración de la técnica previa d información de ubicación de origen incorrecta en al ntificación ele horizonte en otro punto en una corrida d La Figura 6 es una ilustración de identificación de a imagen de nivel de calle; La Figura 7 es un diagrama de bloques que ilustr icación de origen que utiliza datos de horizonte; La Figura 8 es una ilustración de horizonte que coín agen de nivel de calle; La Figura 9 es un diagrama de bloques que ilustra DAR y la identificación de borde de edificio; y La Figura 10 es un cuadro de flujo de un método igen de imagen para registro de imagen.

DESCRIPCION DETALLADA Aunque el siguiente texto establece una descripci numerosas modalidades diferentes, se debe ente Se debe entender que, a menos que, a menos que defina expresamente en esta patente al utilizar la or utiliza aquí, el término ' ' se define aquí para una oración similar, no hay intención de limitar el sig e término, ya sea expresamente o por implicación, má no o significado ordinario, y tal término no debe i ra estar limitado en alcance basándose en cualquier cha en cualquier sección de esta patente (diferente al reivindicaciones). Al grado que cualquier término me reivindicaciones al final esta patente se denomi tente en una forma consistente con un significado indi hace para la búsqueda de claridad únicamente para n lector, y se pretende que tal término de reivindi itado, por implicación o de otra forma, a ese ividual. Finalmente, a menos que se defina un e vindicación al mencionar la palabra "significa" y una fu nología actual, y consideraciones económicas, cuand r los conceptos y principios aquí descritos será fácil generar tales instrucciones de software y programas perimentación mínima. Por lo tanto, en el interés de nimización de cualquier riesgo de obscurecer los nceptos de acuerdo con la presente invención, l icional de tal software e ICs, si hay alguna, se li encial con respecto a los principios y concept dalidades preferidas.

Con referencia a la Figura 3, un sistema ilust plementar el método y aparato reclamado incluye un di mputo de propósito general en la forma de una compu s componentes mostrados en el perfil punteado técni n parte de la computadora 110, pero se utilizan para dalidad ilustrativa de la Figura 3. Los compone mputadora 110 pueden incluir, pero no están limit tema de alta velocidad 123 entre el procesad moria/interfase de gráficos 121 y ta interfase l/ nductor común de lado frontal 124 entre la memoria/i ficos 121 y la memoria de sistema 130, y un conducto cesamiento de gráficos avanzado (AGP) 125 moria/interfase de gráficos 121 y el procesador de gr conductor común de sistema 123 puede ser cualquier 0S de estructuras de conductor común que incluyen, a mplo, y no de limitación, tales arquitecturas qu nductor común de Arquitectura de Estándar de Indu nductor común de Arquitectura de Microcanal (MCA) ISA mejorado (EISA). A medida que las arquitecturas olucionan, pueden utilizarse otras arquitecturas de mún y grupos de chips pero frecuentemente de for rrniten este patrón. Por ejemplo, las compañías tal c ID soportan la Arquitectura de Central de Intel mputadora incluyen tanto medios volátiles como n ovibles y no removibles implementados en cualquie nología para almacenamiento de información trucciones legibles por computadora, estructuras dulos de programa u otros datos. Los medios de alma r computadora incluyen, pero no se limitan a, RAM, RO moria flash u otra tecnología de memoria, CD-ROM, di ital (DVD) u otro almacenamiento de disco óptico gnéticos, cinta magnética, almacenamiento de disco os dispositivos de almacenamiento magnético, o cu dio que puede utilizarse para almacenar la informació e puede accederse por la computadora 110.

La memoria de sistema 130 incluye medios almacen mputadora en la forma de memoria volátil y/o no volá moria de sólo lectura (ROM) 131 y memoria de acce AM) 132. La ROM de sistema 131 puede contener datos La interfase de l/O 122 puede acoplar el conducto tema 123 con un número de otros conductores comunes 8 que acoplan una variedad de dispositivos internos y computadora 110. Un conductor común de interfase p rie (SPI) 126 puede conectarse a una memoria de trada/salida básico (BIOS) 133 que contiene las ruti e ayudan a transferir información entre elementos d mputadora 110, tal como durante el arranque.

Puede utilizarse un súper chip de entrada/salid ectarse a un número de periféricos de 'legado', tal xible 152, teclado/ratón 162, e impresora 196, como e per chip de l/O 160 puede estar conectado a la inter 2 con un conductor común 127, tal como un conducto enta de terminal baja (LPC), en algunas modalida dalidades del súper chip de l/O 160 están a ponibles en el mercado comercial. imo que es una interfase paralela compatible con teriores. En otras modalidades, el conductor común 12 conductor común de unión de tecnología avanzada ( ma de un conductor común de ATA en serie (SATA) o A ? T A ) .

La computadora 110 también puede incluir otros s elemento por computadora removibles/no látiles/no volátiles. A manera de ejemplo únicamente, stra una unidad de disco duro 140 que lee de o escrib gnéticos no removibles, no volátiles.

Los medios removibles, tal como una memoria d mún en serie universal (USB) 153, firewire (IEEE 139 CD/DVD 156 puede conectarse al conductor común ectamente o a través de una interfase 150. Los acenamiento 154 pueden acoplarse a través de la int ros medios de almacenamiento por computadora re mputadora 110. En la Figura 3, por ejemplo, la unid ro 140 se ilustra cómo almacenando el sistema ope gramas de aplicación 145, otros módulos de progr tos de programa 147. Se debe notar que estos c eden ser iguales o diferentes al sistema operativo 134, aplicación 135, otros módulos de programa 136, grama 137. El sistema operativo 144, programas de 5, otros módulos de programa 146, y datos de progra les proporciona números diferentes para ilustrar nimo, son copias diferentes. Un usuario puede ingresar información en la computadora 20 a través de un di trada tal como un ratón/teclado 162 u otra comb positivo de entrada. Otros dispositivos de entrada (no eden incluir un micrófono, palanca de mandos, alm gos, antena parabólica, escáner, o similares. Est positivos de entrada frecuentemente están con erfase de red (NIC) 170. La computadora remota 180 a computadora personal, un servidor, un enrutador, una dispositivo par u otro nodo de red común, y típicame chos o todos los elementos descritos anteriormente co computadora 110. La conexión lógica entre el NI mputadora remota 180 ilustrado en la Figura 3 puede de área local (LAN), una red de área ancha (WAN) ro también puede incluir otras redes. Tales ambientes e múnmente ubicados en oficinas, redes de computadora empresa, intranets, e Internet. La computadora remota resentar un servidor de web que soporta secciones n la computadora 110.

En algunas modalidades, la interfase de red puede dem (no ilustrado) cuando una conexión de banda an ponible o no se utiliza. Se apreciará que la conex strada es ilustrativa y pueden utilizarse otros m luyen edificios con exactitudes en el orden de 10 c nque tal modelo geográfico proporciona un recurso v a experiencia natural en una escena se puede requ regue un color y datos de textura a los modelo ografías de nivel de calle pueden proporcionar seado, pero, como se muestra en la Figura 1, cuand ográficos no están alineados apropiadamente con el ede resultar una confusión ininteligible. Los datos sados en calle pueden colocar la ubicación de fuente d ográficos con respecto al objeto de la fotografía (por ificio) dentro de un centímetro, pero la ubicación de la pecto a coordenadas geográficas, como se utiliza po pueden estar fuera por tanto como un metro o más. yectan datos de fotografía en un modelo 3D de un ntos de metros de altura, esta inexactitud de ubicació ede resultar fácilmente en la falta de coincidencia de la ervención.

La Figura 4 es un diagrama de bloques ntificación de horizonte en un punto en una corrida de calle 402 y en edificios representativos 404, 406, estran representando un ambiente de calle típico. U stra una trayectoria de corrida utilizada al captura agen a lo largo de la ruta 410. Las imágenes pueden ca ervalos periódicos a lo largo de la ruta. Una primera ub resentativa, cerca del inicio de la ruta 410, muestra resentativos 416, 418, y 420 de los edificios desde la la primera ubicación 412.

Una modalidad utiliza un algoritmo de detección d sado en un algoritmo de trayectoria óptimo conocido en I algoritmo depende de bordes, magnitud y dirección d í como bordes de clasificación de cielo e información svanecimiento. Por ejemplo, una combinación de borde modelo 3D.

La ilustración de las primeras y las segundas ubicac 4, respectivamente, ya que los cubos ilustran que l acta de la fuente de la imagen en ese punto en la rut timado en espacio tridimensional que puede ser má ciso, depende de la naturaleza del ambiente para r S y exactitud de IMU.

La Figura 1 es un diagrama de bloques ntificacion de horizonte en otro punto en una corrida como la corrida de imagen mostrada en la Figur teriormente, se muestra una calle 502 y edificios 504, a ruta 510 muestra la progresión de corrida de image la calle, con imágenes tomadas en intervalos a lo larg Ó, que incluye la primera ubicación 512 representativ cio y una segunda ubicación 514 representativa, cerca ruta 510. En algunas modalidades, pueden utili calle original.

La Figura 6 es una imagen de nivel de calle 602 rios edificios y su horizonte asociado. El horizonte de muestra con la línea blanca. La línea negra 606 re rizonte proyectado del modelo 3D sí la cámara realmen su ubicación reportada.

La Figura 7 muestra un edificio representativo rde de horizonte detectado 704. Un rango sobre el alizarse una fuente de imagen se representa por el c bo 706 puede centrarse en ta ubicación de la cáma istra por el equipo de GPS e IMU.

Como se ilustra en la Figura 7, los horizontes sados en datos de modelo 3D pueden compararse con tectado de la imagen. Por ejemplo, la primera proy ede localizarse desde una esquina izquierda superi 6, una segunda proyección 710 puede hacerse den ma falsa del horizonte. La ubicación de proyección a coincidencia más cercana entre horizontes de yectados puede seleccionarse y almacenarse, en este yección 710 representa la mejor coincidencia. Debid tos de IMU son extremadamente precisos a lo largo d una ruta dada, realizar la operación de ubicación al u sde la ruta dada puede utilizarse para reorientar la ru un cálculo.

La Figura 8 ilustra una imagen de nivel de calle 802 a pluralidad de horizontes proyectados 804 que erentes ubicaciones de cámara para generar los yectados 804.

La Figura 9 ilustra el uso de datos de LIDAR de ni ra complementar datos de horizonte para coincidencia edificio 902 puede capturarse en datos de image icación de cámara 904. Datos de borde 906 y 908, y El cálculo de la profundidad de LIDAR, para un s rrida, puede obtener primero modelos 3D de uno o m rcanos. Para cada edificio, las fachadas de edificio entadas al segmento de corrida y tienen una gran ár eden considerarse. Las posiciones de inicio y de rdes de cada sistema de fachada (en sistemas de c ales) se calculan basándose en el modelo de edific entos activadores de inicio y alto o que corresponden a las proyecciones de los bordes de fachada en el s rrida se calculan. Basándose en esta información la fachada del segmento de corrida puede obtenerse.

Los eventos activadores de inicio y alto se pasan a detección de profundidad de LIDAR. Las profundida nos dominantes encontrados se pasan de nuevo. minante que está más cerca de la fachada de int ntido de centro) se selecciona y se calcula la disparida tener modelos de edificio 3D para edificios en la cer gmento de corrida dado. Para cada edificio, los bor cularse al utilizar el modelo de geometría de edificio e coordenada local. Las posiciones de inicio y de alto d eventos activadores que corresponden al edificio se c Estos eventos activadores de inicio y de alto ju idad de LIDAR (de costado izquierdo o derecho) ividualmente a un módulo de detección de borde mbién, puede proporcionarse el lado del edificio de la fundidad de LIDAR. El módulo de detección de bord tecta el plano dominante alrededor del borde del cuentra el borde dependiendo del lado del edificio.

Los centros de los bordes detectados de LIDAR se p reso a las imágenes de observación de esquina milarmente, los puntos (que utilizan la misma altu mara, corresponden a la posición de esquina de ed eán los segmentos de corrida se consideran como cost borde de LIDAR. o figura de mérito, (en píxeles).

La Figura 10 ilustra un método 1000 para determin desplazamiento para una ubicación de fuente de datos el bloque 1002 puede cargarse un primer valor de des la ubicación de fuente. En el bloque 1004, una figur ra desplazamiento de horizonte entre un horizonte ext a imagen de fuente y un perfil calculado desde un rrespondiente. Puede utilizarse un número de imágene ra la figura de horizonte de cálculo de figura de mérit splazamiento de imagen de fuente que se prueba.

En el bloque 1006, puede calcularse una figura de borde de LIDAR y los datos de fachada al comparar l AR y datos de modelo 3D.

En el bloque 1008, las figuras de horizonte y de rito pueden calcularse. En una modalidad, simpl cución mínima actual puede seguir la ramificación 'no', robar valores de desplazamiento, la ejecución puede c bloque 1002.

Si se toma la ramificación 'sí' desde el bloque 1 que 1012, puede almacenarse el nuevo valor bajo pa mérito, así como el valor de desplazamiento que re evo valor bajo. Si se necesitan probar más splazamiento, la ejecución puede continuar en el bloqu Cuando se probaron todos los valores de desplaz lor de desplazamiento asociado con la figura de mérit ede utilizarse para corregir datos de corrida.

La capacidad de utilizar imágenes reales para f ificios modelados presta un nuevo nivel de reali ágenes 3D y las aplicaciones de geo localización. El nicas descritas anteriormente permite la automatizacio ría una tarea de división en etapas de coincidencia d scribe toda modalidad posible de la invención ya que e dalidad posible sería impráctico, sino es que imposi plementarse numerosas modalidades alternativas, nología actual o tecnología desarrollada después de sentación de esta patente, que aún caerá dentro del reivindicaciones que definen la invención.

De esa forma, pueden hacerse muchas modifi naciones en las técnicas y estructuras descritas e ilus apartarse del espíritu y alcance de la presente inv nsiguiente, se debe entender que los métodos de ap scritos son únicamente ilustrativos y no limitantes en el invención.

Claims (1)

1. REIVINDICACIONES 1.- Un método para corregir datos de po mprende: asignar una ubicación de fuente a una imagen; determinar un detalle de edificio (504) de un edific imagen ; extraer un modelo de edificio (504) que correspond edificio (504) de un escaneo tridimensional; proyectar un detalle de modelo del modelo de edifi detalle de edificio (504) de la imagen; ajustar la ubicación de fuente hasta que el detalle 4) y el detalle de modelo coincidan dentro de un valor registrar una ubicación de fuente ajustada que star la ubicación de fuente, hasta que el detalle de e l detalle de modelo coinciden dentro del valor de límite terminar el detalle de edificio (504) en la imagen compr evaluar bordes y magnitud de gradiente; evaluar píxeles en una línea asociada con un svanecimiento; y estimar el detalle de edificio (504) desde el modelo 4). 5. - El método de acuerdo con la reivindicación 1, mprende seleccionar una pluralidad de imágenes que c dificios (404) de un segmento de corrida y de lados o gmento de corrida. 6. - El método de acuerdo con la reivindicación 5, mprende combinar datos de profundidad de edificio (5 horizonte (416) de edificio (504) cuando existe la 0) del detalle de modelo. 7. - El método de acuerdo con la reivindicación 1 erminar el detalle de edificio (504) comprende det rde (912) de edificio (504) de Ll DAR. 11. - El método de acuerdo con la reivindicación 1 star la ubicación de fuente comprende: ajustar una ubicación de fuente de punto de inici go tridimensional de punto de inicio al utilizar una pl ágenes para proyectar una pluralidad de detalles de mo ralidad correspondiente de detalles de edificio (504) agen. 12. - Un método para alinear datos de imagen a un ificio (504) que comprende: capturar información de edificio (504) de nivel de cal asignar una ubicación de fuente a la información 4) de nivel de calle (402); determinar un horizonte (516) de edificio (504), bor ificio (504), y una profundidad de fachada (910) de e la información de edificio (504) de nivel de calle (402); splazamiento a la ubicación de fuente; y alinear los datos de imagen al modelo de edi lizando la ubicación de fuente modificada por el splazamiento. 13. - El método de acuerdo con la reivindicación 2 l icar la función de figura de mérito comprende rizonte (516) de nivel de calle (402) y un horizonte (51 reos. 14. - El método de acuerdo con la reivindicación 1 licar la función de figura de mérito comprende a hada de nivel de calle (402) y una fachada de datos aé 15. - El método de acuerdo con la reivindicación 1 licar la función de figura de mérito comprende analiz 2) de edificio (504) de nivel de calle (402) y un bor ificio (504) de datos aéreos. 16. - Un medio de almacenamiento legible por c extraer un modelo de edificio (504) de datos rresponden a una ubicación asociada con la informació 4) de nivel de calle (402); aplicar una función de figura de mérito a rrespondientes de la información de edificio (504) de ni 2) y el modelo de edificio (504) basándose en los dato determinar un factor de desplazamiento basado en una salida de la función de figura de mérito; modificar la ubicación de fuente al aplicar el splazamiento a la ubicación de fuente; y alinear los datos de imagen de escena de calle (402 edificio (504) al utilizar la ubicación de fuente identifi tor de desplazamiento. 17,- El medio de almacenamiento legible por com uerdo con la reivindicación 16, en donde aplicar la ura de mérito comprende comparar el horizonte (516) uerdo con la reivindicación 16, en donde capturar la edificio (504) de nivel de calle (402) comprende captur o de una fotografía bidimensional y datos de r imensional (LIDAR). 20.- El medio de almacenamiento legible por com uerdo con la reivindicación 16, en donde aplicar una ura de mérito a elementos correspondientes de la inf ificio (504) de nivel de calle (402) y el modelo de ed sado en datos aéreos comprende aplicar una función d rito a elementos correspondientes de la información 4) de nivel de calle (402) y el modelo de edificio (504) los datos aéreos para una pluralidad de ubicaciones a a escena de calle (402) y combinar linealmente las pectivas de mérito para cada una de la pluralidad de u