KR20120060283A - Navigation apparatus for composing camera images of vehicle surroundings and navigation information, method thereof - Google Patents

Navigation apparatus for composing camera images of vehicle surroundings and navigation information, method thereof Download PDF

Info

Publication number
KR20120060283A
KR20120060283A KR1020100121500A KR20100121500A KR20120060283A KR 20120060283 A KR20120060283 A KR 20120060283A KR 1020100121500 A KR1020100121500 A KR 1020100121500A KR 20100121500 A KR20100121500 A KR 20100121500A KR 20120060283 A KR20120060283 A KR 20120060283A
Authority
KR
South Korea
Prior art keywords
image
geographic information
vehicle
camera
driving
Prior art date
Application number
KR1020100121500A
Other languages
Korean (ko)
Other versions
KR101771657B1 (en
Inventor
박현진
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020100121500A priority Critical patent/KR101771657B1/en
Publication of KR20120060283A publication Critical patent/KR20120060283A/en
Application granted granted Critical
Publication of KR101771657B1 publication Critical patent/KR101771657B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3623—Destination input or retrieval using a camera or code reader, e.g. for optical or magnetic codes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969—Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)

Abstract

PURPOSE: A navigation device displaying by synthesizing actual images of a vehicle periphery and driving geographic information and a method using the same are provided to easily confirm a situation of a vehicle periphery and driving geographic information at the same time because a view point is freely set by a user. CONSTITUTION: A navigation device displaying by synthesizing actual images of a vehicle periphery and driving geographic information comprises an image processing part(250) and image outputting part(260). The image processing part generates screen images by synthesizing camera images obtained by one or more cameras mounted on a vehicle and driving geographic information to be matched up. The image outputting part outputs the generated screen images on a screen. The image processing part sets an imaginary sphere in the vehicle periphery, thereby tridimensionally mapping one or more camera images on a corresponding position of the set imaginary sphere. After tridimensionally mapping driving geographic information images and two dimensional screen images are generated.

Description

차량 주변 실사 영상과 주행 지리 정보를 합성하여 표시하는 내비게이션 장치 및 그 방법{Navigation apparatus for composing camera images of vehicle surroundings and navigation information, method thereof}Navigation apparatus for composing camera images and vehicle geography information and displaying them.

본 발명은 차량 운행자에게 길 안내를 하기 위한 내비게이션 기술에 관한 것으로, 특히 이미지화된 주행 지리 정보 외에 실사 영상을 함께 제공하여 길 안내 서비스를 제공하는 기술에 관한 것이다.The present invention relates to a navigation technology for guiding a road driver to a vehicle driver, and more particularly, to a technology for providing a road guidance service by providing a live action image in addition to the imaged driving geographic information.

일반적으로 내비게이션 장치는 GPS(Global Positioning System)를 이용한 차량 위치 파악 기술 및 저장장치에 저장된 지도 정보 혹은 외부로부터 무선 통신을 통해 획득되는 지도 정보 등을 이용하여 차량의 주행 정보를 이차원 혹은 삼차원 이미지로 생성 및 화면 표시하여 운전자에게 주행 안내 서비스를 제공한다. 그러나 화면상에 단지 지도 이미지만을 표시하여 주행 안내 서비스를 제공하는 경우, 운전자는 내비게이션 장치의 화면에 표시되는 지도 이미지와 운전자의 시야에 실제로 보이는 주변 영상을 매칭시키는 노력을 하여야 한다. 따라서 이 과정에서 운전자는 내비게이션 장치가 제공한 주행 정보를 오인식하는 경우가 발생할 수 있다.In general, a navigation device generates two-dimensional or three-dimensional images of driving information of a vehicle by using a vehicle positioning technology using a GPS (Global Positioning System), map information stored in a storage device, or map information obtained through wireless communication from the outside. And display the screen to provide the driving guidance service to the driver. However, when providing a driving guidance service by displaying only a map image on the screen, the driver should make an effort to match the map image displayed on the screen of the navigation device with the surrounding image actually seen in the driver's field of view. Therefore, in this process, the driver may misunderstand driving information provided by the navigation device.

이러한 문제 해결을 위한 기술로, 위성 사진 혹은 항공 사진을 지도 이미지와 함께 표시하거나, 차량의 주행 방향으로 카메라를 장착하고 그 장착된 카메라를 통해 획득된 실시간 영상을 주행 정보와 함께 표시하는 내비게이션 기술이 알려져 있다. 그러나 전자의 경우, 운전자가 의식적으로 매칭시키는 노력은 저감시킬 수 있으나, 해당 지역의 건물이나 도로가 신설, 소멸, 변경되었을 경우 실제와 다른 영상 표시로 인하여 운전자의 혼동이 초래될 수 있다. 후자의 경우에도, 차량의 주행 방향만 촬영된 실시간 영상이 지도 이미지에 단순 오버레이로 보여질 경우, 그 실시간 영상이 실제 지도 이미지 화면과 일치되기 힘들다는 문제가 있다.To solve this problem, navigation technology that displays satellite image or aerial image with map image, or mounts a camera in the driving direction of the vehicle and displays real-time image acquired through the mounted camera together with driving information Known. However, in the former case, the driver's conscious matching effort can be reduced, but if the building or road in the area is newly constructed, destroyed, or changed, the driver's confusion may be caused by the actual image display. Even in the latter case, when the real time image captured only in the driving direction of the vehicle is displayed as a simple overlay on the map image, there is a problem that the real time image is difficult to match the actual map image screen.

본 발명은 주행 안내를 위한 지도 이미지와 정확히 매칭되는 실제의 영상을 화면에 표시 가능하게 하는 내비게이션 장치 및 그 방법을 제공함을 목적으로 한다.It is an object of the present invention to provide a navigation apparatus and a method for displaying an actual image exactly matched with a map image for driving guidance on a screen.

나아가 본 발명은 차량의 전방뿐만 아니라 후방 및 측방에 대해서도 실제의 영상을 제공할 수는 내비게이션 장치 및 그 방법을 제공함을 목적으로 한다.Furthermore, an object of the present invention is to provide a navigation device and a method for providing an actual image not only in front of the vehicle but also in the rear and side.

전술한 기술적 과제를 달성하기 위한 차량 주변 실사 영상과 주행 지리 정보를 합성하여 표시하는 내비게이션 장치는 차량에 장착된 적어도 하나의 카메라로부터 획득되는 카메라 영상과 주행 지리 정보 영상이 매칭되도록 합성하여 화면 영상을 생성하는 영상 처리부, 및 생성된 영상을 화면 출력하는 영상 출력부를 포함한다. 여기서 영상 처리부는 차량 주변에 가상의 구면을 설정하여 적어도 하나의 카메라 영상을 설정된 가상 구면 상의 해당 위치에 삼차원(3D) 맵핑하고, 주행 지리 정보 영상을 상기 가상 구면에 상기 카메라 영상과 함께 오버레이시켜 3D 맵핑한 후, 이를 이차원(2D) 사용자 뷰 화면 영상으로 생성한다.In order to achieve the above-described technical problem, a navigation device for synthesizing and displaying actual surrounding images and driving geographic information of a vehicle may synthesize a screen image by synthesizing a camera image acquired from at least one camera mounted on a vehicle and a driving geographic information image. And an image output unit configured to screen output the generated image. Here, the image processor sets a virtual sphere around the vehicle to map at least one camera image to a corresponding position on the set virtual sphere in three dimensions (3D), and overlays a driving geographic information image on the virtual sphere together with the camera image in 3D. After mapping, it is generated as a two-dimensional (2D) user view screen image.

한편, 전술한 기술적 과제를 달성하기 위한 차량 주변 실사 영상과 주행 지리 정보를 합성하여 표시하는 내비게이션 방법은 차량 주변에 가상의 구면을 설정하는 단계, 차량의 전후좌우 각각에 장착된 카메라들로부터 획득된 카메라 영상을 설정된 가상 구면 상의 해당 위치에 픽셀 단위로 3D 맵핑하는 단계, 주행 지리 정보를 상기 가상 구면에 오버레이시켜 3D 맵핑하는 단계, 가상 구면에 3D 맵핑된 영상을 2D 사용자 뷰 화면 영상으로 생성하는 단계, 및 생성된 사용자 뷰 화면 영상을 화면 출력하는 단계를 포함한다.On the other hand, the navigation method for synthesizing the vehicle surroundings due diligence image and driving geographic information for achieving the above technical problem is to set a virtual sphere around the vehicle, obtained from the cameras mounted on each of the front, rear, left and right of the vehicle 3D mapping a camera image to a corresponding position on a set virtual sphere in pixel units, overlaying driving geographic information on the virtual sphere by 3D mapping, and generating a 3D mapped image on the virtual sphere as a 2D user view screen image And outputting the generated user view screen image.

본 발명은 내비게이션 이용 중 도심 및 복잡한 도로 등 특정 환경에서 사용자가 원하는 경우 실제 영상에 도로 등 지리 정보를 오버레이시켜 볼 수 있게 하므로, 사용자로 하여금 원하는 지점을 시각적으로 용이하게 감지할 수 있게 한다. 또한 본 발명은 사용자로 하여금 뷰 포인트를 자유롭게 설정할 수 있게 하므로, 사용자는 차량 주변의 상황(전방은 물론 후방과 측방을 포함)을 지리 정보와 함께 쉽게 확인할 수 있다. 또한 기존의 차량 주변 모니터링(Around View Monitoring) 시스템과 카메라 등의 장치를 공용으로 사용할 수 있어 부품수를 감소시킨다.The present invention allows the user to visually overlay a geographic information such as a road on a real image when the user desires in a specific environment such as a city center and a complicated road while using a navigation, thereby allowing the user to visually easily detect a desired point. In addition, the present invention allows the user to freely set the view point, so that the user can easily check the situation (including the front and the rear and the side as well as the front) of the vehicle with the geographical information. In addition, it can reduce the number of parts by using a common device such as the camera around view monitoring system and camera.

도 1은 본 발명의 일 실시예에 따라 차량의 전후좌우에 카메라 장착을 나타낸 도면.
도 2는 본 발명의 일 실시예에 따른 내비게이션 장치 블록도.
도 3은 본 발명의 일 실시예에 따른 카메라 영상 3D 맵핑 설명을 위한 참조도.
도 4는 본 발명의 일 실시예에 따른 내비게이션 장치의 차량 주변 실사 영상과 주행 지리 정보를 합성하여 표시하는 방법 흐름도.1 is a view showing the camera mounted on the front, rear, left and right of the vehicle according to an embodiment of the present invention.
2 is a block diagram of a navigation device according to an embodiment of the present invention;
3 is a reference diagram for explaining a camera image 3D mapping according to an embodiment of the present invention.
FIG. 4 is a flowchart illustrating a method of synthesizing and displaying live-view surrounding image and driving geographic information of a navigation apparatus according to an exemplary embodiment of the present invention. FIG.

전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명을 이러한 실시예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.The foregoing and further aspects of the present invention will become more apparent through the preferred embodiments described with reference to the accompanying drawings. Hereinafter, the present invention will be described in detail to enable those skilled in the art to easily understand and reproduce the present invention.

도 1은 본 발명의 일 실시예에 따라 차량의 전후좌우에 카메라 장착을 나타낸 개략적 도면이다.1 is a schematic diagram showing the mounting of the camera on the front, rear, left and right of the vehicle according to an embodiment of the present invention.

도시된 바와 같이, 차량의 전방, 후방, 좌측방, 우측방 각각에 카메라가 장착된다. 일 실시예에 있어서, 이들 카메라는 광각 카메라이다. 이 4대의 카메라, 즉 전방 카메라(110), 후방 카메라(120), 좌측방 카메라(130), 우측방 카메라(140)는 차량 주변 360°를 커버할 수 있도록 적합한 위치에 설치됨이 바람직하다. 일 실시예에 따라, 이 4대의 카메라는 내비게이션 장치에서 주행 지리 정보와 함께 합성될 차량 주변 실사 영상을 제공하는 역할을 한다. 여기서 주행 지리 정보라 함은 차량의 주행 위치와 차량의 주행 장소에 대한 지리 정보를 의미한다. 한편, 각 카메라는 DC 모터에 의해 촬영 각도가 조절될 수 있음이 바람직하며, 내비게이션 장치의 내비게이션 기능 비활성화시에는 차량 주변 모니터링(Around View Monitoring)을 위해 이용될 수 있다.As shown, the camera is mounted in each of the front, rear, left and right sides of the vehicle. In one embodiment, these cameras are wide angle cameras. The four cameras, that is, the front camera 110, the rear camera 120, the left camera 130, and the right camera 140 are preferably installed at a suitable position to cover the 360 ° around the vehicle. According to one embodiment, the four cameras serve to provide a live-view image around the vehicle to be combined with the driving geographic information in the navigation device. Here, the driving geographic information means geographic information about the driving position of the vehicle and the driving position of the vehicle. On the other hand, each camera is preferably a photographing angle can be adjusted by the DC motor, it can be used for around-view monitoring when the navigation function of the navigation device is deactivated.

도 2는 본 발명의 일 실시예에 따른 내비게이션 장치의 블록도이다.2 is a block diagram of a navigation device according to an embodiment of the present invention.

도시된 바와 같이, 내비게이션 장치는 표시부(210), 입력부(220), 지리 정보 데이터베이스(230), 차량 위치 및 각도 추적부(240), 영상 처리부(250), 영상 출력부(260)를 포함한다. 표시부(210)는 영상 표시를 위한 장치로써, 터치스크린으로 구현될 수 있다. 입력부(220)는 사용자 입력을 위한 구성으로써, 터치스크린을 수 있다. 따라서 논리적으로 입력부(220)와 표시부(210)를 별도로 표현하였으나, 이는 단일의 구성으로 구현될 수 있다. 지리 정보 데이터베이스(230)에는 지리 정보가 기저장되어 있으며, 영상 처리부(250)의 영상 합성시 이용된다. 지리 정보 데이터베이스(230)는 필수 구성이 아니며, 지리 정보 데이터베이스가 없을 경우 영상 처리부(250)는 외부로부터 무선 통신을 통해 실시간 수신되는 지리 정보를 이용하여 영상 합성시 이용할 수 있다. 차량 위치 및 각도 추적부(240)는 GPS 모듈, 자이로(Gyro) 센서 및 지자기 센서를 포함하여 구성된다. 이들 구성은 알려진 바와 같이, 차량의 위치를 추적하고 차량의 각도를 계산하기 위해 이용된다.As shown, the navigation device includes a display unit 210, an input unit 220, a geographic information database 230, a vehicle position and angle tracker 240, an image processor 250, and an image output unit 260. . The display unit 210 is an apparatus for displaying an image and may be implemented as a touch screen. The input unit 220 may be a touch screen as a configuration for user input. Therefore, although the input unit 220 and the display unit 210 are logically represented separately, this may be implemented in a single configuration. Geographic information is pre-stored in the geographic information database 230 and used when synthesizing an image of the image processor 250. The geographic information database 230 is not an essential configuration, and if there is no geographic information database, the image processor 250 may use the geographic information synthesized by using geographic information received in real time through wireless communication from the outside. The vehicle position and angle tracker 240 includes a GPS module, a gyro sensor, and a geomagnetic sensor. These configurations are used to track the location of the vehicle and to calculate the angle of the vehicle, as is known.

영상 처리부(250)는 전방 카메라(110), 후방 카메라(120), 좌측방 카메라(130), 우측방 카메라(140) 각각으로부터 전달되는 영상을 수신한다. 그리고 수신된 카메라 영상들과 주행 지리 정보 영상이 매칭되도록 합성하여 화면 영상을 생성한다. 이에 영상 출력부(260)는 생성된 영상을 표시부(210)로 화면 출력한다. 이때 영상 출력부(260)는 생성된 영상을 표시부(210) 출력에 맞게 RGB 변환하여 화면 출력하는 역할을 수행할 수 있다.The image processor 250 receives an image transmitted from each of the front camera 110, the rear camera 120, the left camera 130, and the right camera 140. The screen image is generated by synthesizing the received camera images to match the driving geographic information image. The image output unit 260 screen-outputs the generated image to the display unit 210. In this case, the image output unit 260 may perform a role of outputting the screen by converting the generated image to the output of the display unit 210.

이하, 영상 처리부(250)의 영상 처리에 대해 구체적으로 설명한다. 일 실시예에 있어서, 영상 처리부(250)는 ‘카메라 영상의 3D 맵핑 → 주행 지리 정보의 3D 오버레이 맵핑 → 2D 사용자 뷰 생성’의 순서로 영상 합성을 수행한다. 우선 카메라 영상의 3D 맵핑 단계에서, 영상 처리부(250)는 도 3과 같이 차량 주변에 가상의 구면을 설정하여 카메라들에 의해 촬영된 영상을 각 구면 상의 각각의 위치에 픽셀 단위로 맵핑을 수행한다. 이때 차량 주위의 실제 모습과 카메라 영상이 최대한 비슷하게 보이기 위해, 영상 처리부(250)는 카메라의 특성 또는 장착 위치에 따라 사전에 미리 설정된 맵 테이블을 이용하여 픽셀 단위로 맵핑을 수행할 수 있다.Hereinafter, the image processing of the image processor 250 will be described in detail. In one embodiment, the image processor 250 performs image synthesis in the order of '3D mapping of the camera image → 3D overlay mapping of the driving geographic information → 2D user view generation'. First, in the 3D mapping step of the camera image, the image processor 250 sets a virtual spherical surface around the vehicle as shown in FIG. 3 and maps the image photographed by the cameras to respective positions on each spherical surface in units of pixels. . In this case, in order to make the actual image around the vehicle and the camera image look as similar as possible, the image processor 250 may perform mapping in units of pixels using a map table preset in advance according to the characteristics of the camera or the mounting position.

주행 지리 정보의 3D 오버레이 맵핑 단계에서, 영상 처리부(250)는 차량 위치 및 각도 추적부(240)로부터 얻어지는 GPS 정보를 이용한 차량의 현재 위치 정보와 자이로(Gyro) 센서 및 지자기 센서 정보를 이용한 차량의 방위 정보를 이용하여 지도상의 차량의 위치 및 각도를 계산한 후, 해당 위치 주변의 3D 지리 주행 정보를 도 3의 가상 구면에 카메라 영상과 함께 오버레이시켜 맵핑한다. 그 다음으로 2D 사용자 뷰 생성 단계에서, 영상 처리부(250)는 카메라 영상의 3D 맵핑 및 주행 지리 정보의 3D 오버레이 맵핑을 통해 생성된 3D 정보를 사전에 미리 지정된 지점에서 보는 것처럼 보이도록 2D 영상으로 맵핑하여 영상 출력부(260)를 통해 표시부(210)로 화면 출력한다. 바람직하게, 영상 처리부(250)는 ‘카메라 영상의 3D 맵핑 → 주행 지리 정보의 3D 오버레이 맵핑 → 2D 사용자 뷰 생성’이라는 전체 과정이 매 초당 25회 이상 처리되도록 하여 부드러운 화면으로 표시 가능하게 한다.In the 3D overlay mapping step of the driving geographic information, the image processor 250 may determine the current position information of the vehicle using GPS information obtained from the vehicle position and angle tracker 240, and the vehicle using the Gyro sensor and geomagnetic sensor information. After calculating the position and angle of the vehicle on the map using the orientation information, 3D geographic driving information around the position is overlaid and mapped with the camera image on the virtual sphere of FIG. 3. Next, in the step of generating the 2D user view, the image processor 250 maps the 3D information generated through the 3D mapping of the camera image and the 3D overlay mapping of the driving geographic information to the 2D image so that it appears to be seen at a predetermined point. The screen is output to the display unit 210 through the image output unit 260. Preferably, the image processing unit 250 enables the entire process of '3D mapping of the camera image → 3D overlay mapping of the driving geographic information → 2D user view generation' to be processed at least 25 times per second to display a smooth screen.

한편, 영상 처리부(250)는 입력부(220)를 통한 사용자 입력에 따라 카메라 영상 혹은 주행 지리 정보 영상의 위치 조절을 수행할 수 있다. 이는 ‘카메라 영상의 3D 맵핑 → 주행 지리 정보의 3D 오버레이 맵핑 → 2D 사용자 뷰 생성’이라는 영상 합성을 통해서도 미세하게나마 매칭 오류가 발생되었을 경우에, 사용자로 하여금 직접 카메라 영상 혹은 주행 지리 정보 영상의 위치를 조절하여 카메라 영상과 주행 지리 정보 영상이 정확히 일치될 수 있도록 하기 위함이다.The image processor 250 may adjust the position of the camera image or the driving geographic information image according to a user input through the input unit 220. The user can directly adjust the location of the camera image or the driving geographic information image when a matching error occurs even through the image synthesis such as 3D mapping of the camera image → 3D overlay mapping of the driving geographic information → 2D user view generation. This is to adjust the camera image and the driving geographic information image exactly.

한편, 사용자는 전방 버드뷰, 후방 버드뷰 등 원하는 뷰 포인트를 입력부(220)를 통해 선택할 수 있다. 이에 영상 처리부(250)는 선택된 뷰 포인트에 따라 2D 사용자 뷰를 생성하여 영상 출력부(260)를 통해 표시부(210)로 화면 출력한다. 한편, 영상 처리부(250)는 사용자 선택에 따라 주행 지리 정보만을 생성하여 영상 출력부(260)로 출력하거나, 카메라 실사 영상만을 생성하여 영상 출력부(260)로 출력하거나, 카메라 실사 영상에 지리 주행 정보가 오버레이된 영상을 생성하여 영상 출력부(260)로 출력할 수도 있다. 즉, 사용자가 표시 모드를 선택할 수 있도록 하는 것이다.Meanwhile, the user may select a desired view point such as a front bird view and a rear bird view through the input unit 220. Accordingly, the image processor 250 generates a 2D user view according to the selected view point and outputs the screen to the display unit 210 through the image output unit 260. Meanwhile, the image processor 250 generates only driving geographic information according to a user's selection and outputs it to the image output unit 260, or generates only a camera photorealistic image and outputs it to the image output unit 260, or runs a geography on the camera photorealistic image. The image overlaid with the information may be generated and output to the image output unit 260. That is, the user can select the display mode.

도 4는 본 발명의 일 실시예에 따른 내비게이션 장치의 차량 주변 실사 영상과 주행 지리 정보를 합성하여 표시하는 방법 흐름도이다.4 is a flowchart illustrating a method of synthesizing and displaying live-view image and driving geographic information of a vehicle surroundings of a navigation apparatus according to an exemplary embodiment of the present invention.

영상 처리부(250)는 도 3에 예시된 바와 같이 차량 주변에 가상의 구면을 설정한다(S410). 그리고 차량의 전후좌우 각각에 장착된 카메라들로부터 획득된 카메라 영상을 각 가상 구면 상의 각각의 위치에 픽셀 단위로 3D 맵핑을 수행한다(S420). 전술한 바와 같이, 영상 처리부(250)는 사전에 미리 설정된 맵 테이블을 이용하여 픽셀 단위로 맵핑을 수행할 수 있다. 카메라 영상의 3D 맵핑이 완료되면, 영상 처리부(250)는 GPS 정보를 이용한 차량의 현재 위치 정보와 자이로 센서 및 지자기 센서 정보를 이용한 차량의 방위 정보를 이용하여 지도상의 차량의 위치 및 각도를 계산한 후, 해당 위치 주변의 지리 주행 정보를 가상 구면에 맵핑된 카메라 영상에 오버레이시켜 3D 맵핑한다(S430). 이후, 영상 처리부(250)는 카메라 영상의 3D 맵핑 및 주행 지리 정보의 3D 오버레이 맵핑을 통해 생성된 3D 정보를 사전에 미리 지정된 지점에서 보는 것처럼 보이도록 2D 영상으로 맵핑하여 화면 출력한다(S440)(S450).
The image processor 250 sets a virtual spherical surface around the vehicle as illustrated in FIG. 3 (S410). In operation S420, 3D mapping of camera images acquired from cameras mounted on the front, rear, left, and right sides of the vehicle is performed on a pixel basis at each position on each virtual sphere. As described above, the image processor 250 may perform mapping in units of pixels by using a map table preset in advance. When the 3D mapping of the camera image is completed, the image processor 250 calculates the position and angle of the vehicle on the map using current position information of the vehicle using GPS information and bearing information of the vehicle using gyro sensor and geomagnetic sensor information. Thereafter, geographic driving information around the corresponding location is overlaid on the camera image mapped to the virtual spherical surface and 3D mapped (S430). Thereafter, the image processor 250 maps the 3D information generated through the 3D mapping of the camera image and the 3D overlay mapping of the driving geographic information to a 2D image so as to be seen at a predetermined point in advance (S440) ( S450).

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the preferred embodiment for the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

110 : 전방 카메라 120 : 후방 카메라
130 : 좌측방 카메라 140 : 우측방 카메라
210 : 표시부 220 : 입력부
230 : 지리 정보 DB 240 : 차량 위치 및 각도 추적부
250 : 영상 처리부110: front camera 120: rear camera
130: left side camera 140: right side camera
210: display unit 220: input unit
230: geographic information DB 240: vehicle location and angle tracking unit
250: image processing unit

Claims (6)

차량에 장착된 적어도 하나의 카메라로부터 획득되는 카메라 영상과 주행 지리 정보 영상이 매칭되도록 합성하여 화면 영상을 생성하는 영상 처리부; 및
상기 생성된 영상을 화면 출력하는 영상 출력부;
를 포함하는 것을 특징으로 하는 차량 주변 실사 영상과 주행 지리 정보를 합성하여 표시하는 내비게이션 장치.An image processor configured to generate a screen image by synthesizing the camera image acquired from at least one camera mounted on the vehicle with the driving geographic information image; And
An image output unit which outputs the generated image on a screen;
Navigation apparatus for displaying a synthesized vehicle surroundings due diligence image and driving geographic information comprising a. 제1항에 있어서,
상기 영상 처리부는 차량 주변에 가상의 구면을 설정하여 상기 적어도 하나의 카메라 영상을 상기 설정된 가상 구면 상의 해당 위치에 삼차원 맵핑하고, 상기 주행 지리 정보 영상을 상기 가상 구면에 상기 카메라 영상과 함께 오버레이시켜 삼차원 맵핑한 후, 이를 이차원 사용자 뷰 화면 영상으로 생성함을 특징으로 하는 차량 주변 실사 영상과 주행 지리 정보를 합성하여 표시하는 내비게이션 장치.The method of claim 1,
The image processor sets a virtual sphere around a vehicle to three-dimensionally map the at least one camera image to a corresponding position on the set virtual sphere, and overlays the driving geographic information image on the virtual sphere together with the camera image in three dimensions. After mapping, the navigation apparatus for synthesizing and displaying the driving periphery image and driving geographic information, characterized in that to generate a two-dimensional user view screen image. 제2항에 있어서,
상기 영상 처리부는 카메라 영상과 주행 지리 정보 영상의 매칭을 위한 사용자 입력에 따라 카메라 영상 혹은 주행 지리 정보 영상의 위치 조절을 수행함을 특징으로 하는 차량 주변 실사 영상과 주행 지리 정보를 합성하여 표시하는 내비게이션 장치.The method of claim 2,
The image processor is a navigation device for synthesizing and displaying the live image and the driving geographic information around the vehicle, characterized in that for adjusting the position of the camera image or the driving geographic information image according to a user input for matching the camera image and the driving geographic information image. . 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 카메라 영상은 차량의 전후좌우 각각에 설치된 카메라들로부터 획득되는 영상임을 특징으로 하는 차량 주변 실사 영상과 주행 지리 정보를 합성하여 표시하는 내비게이션 장치.4. The method according to any one of claims 1 to 3,
The camera image is a navigation device for synthesizing and displaying the vehicle surroundings live action image and geography information, characterized in that the image is obtained from the cameras installed in each of the front, rear, left and right of the vehicle. 차량 주변에 가상의 구면을 설정하는 단계;
차량의 전후좌우 각각에 장착된 카메라들로부터 획득된 카메라 영상을 상기 설정된 가상 구면 상의 해당 위치에 픽셀 단위로 삼차원 맵핑하는 단계;
주행 지리 정보를 상기 가상 구면에 오버레이시켜 삼차원 맵핑하는 단계;
상기 가상 구면에 삼차원 맵핑된 영상을 이차원 사용자 뷰 화면 영상으로 생성하는 단계; 및
상기 생성된 사용자 뷰 화면 영상을 화면 출력하는 단계;
를 포함하는 것을 특징으로 하는 내비게이션 장치의 차량 주변 실사 영상과 주행 지리 정보를 합성하여 표시하는 방법.Establishing a virtual sphere around the vehicle;
Three-dimensionally mapping a camera image obtained from cameras mounted on each of front, rear, left, and right sides of the vehicle to a corresponding position on the set virtual sphere in pixel units;
Overlaying driving geographic information on the virtual sphere to three-dimensional mapping;
Generating a 3D mapped image of the virtual sphere as a 2D user view screen image; And
Screen outputting the generated user view screen image;
Method for synthesizing and displaying the vehicle surroundings live-action image and the driving geographic information of the navigation device comprising a. 제5항에 있어서,
상기 사용자 뷰 포인트는 사용자에 의해 설정 가능함을 특징으로 하는 차량 주변 실사 영상과 주행 지리 정보를 합성하여 표시하는 방법.The method of claim 5,
And the user view point is configured by the user and displays the vehicle surroundings due diligence image and driving geographic information.
KR1020100121500A 2010-12-01 2010-12-01 Navigation apparatus for composing camera images of vehicle surroundings and navigation information, method thereof KR101771657B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100121500A KR101771657B1 (en) 2010-12-01 2010-12-01 Navigation apparatus for composing camera images of vehicle surroundings and navigation information, method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100121500A KR101771657B1 (en) 2010-12-01 2010-12-01 Navigation apparatus for composing camera images of vehicle surroundings and navigation information, method thereof

Publications (2)

Publication Number Publication Date
KR20120060283A true KR20120060283A (en) 2012-06-12
KR101771657B1 KR101771657B1 (en) 2017-08-25

Family

ID=46611211

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100121500A KR101771657B1 (en) 2010-12-01 2010-12-01 Navigation apparatus for composing camera images of vehicle surroundings and navigation information, method thereof

Country Status (1)

Country Link
KR (1) KR101771657B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140095220A (en) * 2013-01-24 2014-08-01 주식회사 이미지넥스트 3D Vehicle Around View Generating Method and Apparatus
KR20160012023A (en) * 2014-07-23 2016-02-02 한화테크윈 주식회사 Recognition system
CN105987700A (en) * 2014-11-28 2016-10-05 现代摩比斯株式会社 Apparatus and method for guiding driving route using photographic image
KR102235474B1 (en) * 2020-09-08 2021-04-02 포티투닷 주식회사 Navigation device and vehicle navigation system including the same
KR20220064181A (en) * 2020-11-11 2022-05-18 농업회사법인 한국도시농업 주식회사 Navigation terminal for location-based convergence electronic map service matching real-time video, location-based convergence electronic map service method matching real-time video

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009027576A (en) * 2007-07-23 2009-02-05 Alpine Electronics Inc Image display device

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140095220A (en) * 2013-01-24 2014-08-01 주식회사 이미지넥스트 3D Vehicle Around View Generating Method and Apparatus
KR20160012023A (en) * 2014-07-23 2016-02-02 한화테크윈 주식회사 Recognition system
CN105987700A (en) * 2014-11-28 2016-10-05 现代摩比斯株式会社 Apparatus and method for guiding driving route using photographic image
KR102235474B1 (en) * 2020-09-08 2021-04-02 포티투닷 주식회사 Navigation device and vehicle navigation system including the same
KR20220064181A (en) * 2020-11-11 2022-05-18 농업회사법인 한국도시농업 주식회사 Navigation terminal for location-based convergence electronic map service matching real-time video, location-based convergence electronic map service method matching real-time video

Also Published As

Publication number Publication date
KR101771657B1 (en) 2017-08-25

Similar Documents

Publication Publication Date Title
JP6484587B2 (en) Method and system for determining spatial characteristics of a camera
EP3149698B1 (en) Method and system for image georegistration
CA2888943C (en) Augmented reality system and method for positioning and mapping
KR101265667B1 (en) Device for 3d image composition for visualizing image of vehicle around and method therefor
US8963999B1 (en) Augmented reality with earth data
US20170094227A1 (en) Three-dimensional spatial-awareness vision system
KR101509415B1 (en) Position searching method and apparatus based on electronic map
US20120105581A1 (en) 2d to 3d image and video conversion using gps and dsm
AU2016203902A1 (en) Augmented reality image processing apparatus and method
JP2015015527A (en) Video display system, video synthesis device and video synthesis method
JP2014085925A (en) Image processing apparatus, method, and program
CN102831816B (en) Device for providing real-time scene graph
KR20120060283A (en) Navigation apparatus for composing camera images of vehicle surroundings and navigation information, method thereof
JPWO2019050038A1 (en) Image generation method and image generation device
KR100806635B1 (en) Navigation system
CN110796706A (en) Visual positioning method and system
KR20160023362A (en) System and Method for realtime 3D tactical intelligence display
US10614308B2 (en) Augmentations based on positioning accuracy or confidence
KR20180098912A (en) Method and system for providing visualization service by interworking between panorama view of 360-degree image and map view
JP2010048616A (en) Mobile terminal
JP2011209622A (en) Device and method for providing information, and program
KR100960368B1 (en) System and method for providing viewing image using 3-dimension coordinates
JP2009276266A (en) Navigation device
KR101983727B1 (en) Argument Reality Virtual Studio System
JP2005258792A (en) Apparatus, method and program for generating image

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant