KR20130057699A - Method and apparatus for providing augmented reality view mode using sensor data and lane information - Google Patents

Method and apparatus for providing augmented reality view mode using sensor data and lane information Download PDF

Info

Publication number
KR20130057699A
KR20130057699A KR1020110123573A KR20110123573A KR20130057699A KR 20130057699 A KR20130057699 A KR 20130057699A KR 1020110123573 A KR1020110123573 A KR 1020110123573A KR 20110123573 A KR20110123573 A KR 20110123573A KR 20130057699 A KR20130057699 A KR 20130057699A
Authority
KR
South Korea
Prior art keywords
augmented reality
view mode
image
lane
reality view
Prior art date
Application number
KR1020110123573A
Other languages
Korean (ko)
Other versions
KR101285075B1 (en
Inventor
고석필
Original Assignee
팅크웨어(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 팅크웨어(주) filed Critical 팅크웨어(주)
Priority to KR1020110123573A priority Critical patent/KR101285075B1/en
Publication of KR20130057699A publication Critical patent/KR20130057699A/en
Application granted granted Critical
Publication of KR101285075B1 publication Critical patent/KR101285075B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

PURPOSE: A method for displaying an augmented reality view mode using the information of a gyroscope sensor and a vehicle lane and a device thereof are provided to display augmented reality by using the information of the gyroscope sensor with high accuracy, which is sensitive for rotation, and the information of the vehicle lane obtained from videos at high accuracy. CONSTITUTION: A method for displaying an augmented reality view mode comprises: a step(1140) of detecting the information of a vehicle lane by using videos photographed by a camera; a step(1150) of acquiring an output value of a gyroscope sensor; a step(1160) of setting a template area of the video by using the information of the vehicle lane and the output value of the sensor; and a step(1170) of providing the augmented reality view mode by mapping an information guide object in the template area. [Reference numerals] (1110) Execute calibration of a camera; (1120) Generate a virtual 3D space; (1130) Obtain a still image by capturing video photographed by a camera; (1140) Detect lane information from the still image; (1150) Input a sensor output value of a gyroscope; (1160) Set a template area using the lane information and the sensor output value; (1170) Provide an augmented reality view mode by mapping an information object in the template area; (AA) Start; (BB) End

Description

자이로스코프의 센서 정보와 차선 정보를 이용한 증강현실 뷰 모드 표현 방법 및 그 장치{METHOD AND APPARATUS FOR PROVIDING AUGMENTED REALITY VIEW MODE USING SENSOR DATA AND LANE INFORMATION}TECHNICAL FIELD AND APPARATUS FOR PROVIDING AUGMENTED REALITY VIEW MODE USING SENSOR DATA AND LANE INFORMATION}

본 발명의 실시예들은 자이로스코프의 센서 정보와 영상에서 얻은 차선 정보를 이용하여 증강현실 뷰 모드를 표현하는 방법 및 장치에 관한 것이다.Embodiments of the present invention relate to a method and an apparatus for expressing an augmented reality view mode using a gyroscope sensor information and lane information obtained from an image.

최근에는 단말 장치에 의하여 실시간으로 촬영되는 입력 영상에 컴퓨터 그래픽스(Computer Graphics: CG), 문자 등의 부가 정보를 합성하여 표시하는 증강 현실(Augmented Reality: AR)의 형태로 지리 정보를 제공하는 기술이 소개된 바 있다. 또한, 스마트폰이 보급화되면서 지자기 센서, 가속도 센서 등을 이용한 증강 현실의 어플리케이션이 활성화 되고 있다.Recently, a technology for providing geographic information in the form of Augmented Reality (AR), which synthesizes and displays additional information such as computer graphics (CG) and text on an input image captured by a terminal device in real time, has been described. It was introduced. In addition, as smart phones become popular, applications of augmented reality using geomagnetic sensors and acceleration sensors are being activated.

이러한 증강현실 기술에 따르면, 사용자가 실제로 보고 있는 현실 세계를 담고 있는 화면에 부가 정보(예를 들면, 관심 지점(Point Of Interest: POI)을 가리키는 그래픽 요소 등)를 시각적으로 중첩하여 제공할 수 있으므로 사용자에게 보다 직관적인 방법으로 지리 정보를 제공할 수 있게 된다.According to the augmented reality technology, additional information (for example, a graphic element indicating a point of interest (POI), etc.) may be visually superimposed on a screen containing the real world that the user actually sees. Geographic information can be presented to the user in a more intuitive manner.

국내등록특허 제10-0985737호(등록일 2010년 9월 30일)에는 단말 장치의 시야에 포함되는 객체에 대한 정보를 증강현실의 형태로 표시하는 기술이 개시되어 있다. 이와 같이, 내비게이션 단말에 증강현실 기술을 적용하여 주행 중인 차량의 전방을 촬영한 영상에 지도 데이터와 관련된 표현 정보를 합성하여 제공할 수 있다.Korean Patent Registration No. 10-0985737 (Registration date September 30, 2010) discloses a technology for displaying information on the object included in the field of view of the terminal device in the form of augmented reality. As described above, by applying augmented reality technology to the navigation terminal, it is possible to synthesize expression information related to map data to an image photographing the front of a driving vehicle.

기존의 내비게이션 단말에서는 지자기 센서, 가속도 센서, 중력 센서, GPS 수신 모듈 등 일반적인 센서들을 이용하여 증강현실 뷰 모드가 일부 제공되고 있으나, 센서의 정확도 및 위치 보정 기술의 부재로 큰 효과를 얻지 못하고 있다. 때문에, 내비게이션 단말에서 지도 데이터의 각종 표현 정보를 정확한 위치에 표출하는데 어려움이 있다.In the existing navigation terminal, augmented reality view mode is partially provided using general sensors such as a geomagnetic sensor, an acceleration sensor, a gravity sensor, and a GPS receiving module. However, a lack of accuracy and position correction technology of the sensor does not provide a great effect. Therefore, it is difficult for the navigation terminal to express various representation information of the map data at the correct position.

본 명세서에서는, 지도 데이터의 표현 정보를 정확한 위치에 표출하여 보다 향상된 증강현실 뷰 모드를 표현할 수 있는 방법 및 장치를 제안한다.In the present specification, a method and an apparatus capable of expressing an enhanced augmented reality view mode by displaying representation information of map data at an accurate location are proposed.

회전에 민감도가 높고 위치 정확도가 향상된 자이로스코프를 이용하고, 이에 영상에서 얻어진 차선 정보를 이용하여 보다 정확한 위치에 객체를 표출할 수 있는 증강현실 뷰 모드 표현 방법 및 장치를 제공한다.The present invention provides a method and apparatus for expressing augmented reality view mode using a gyroscope having high sensitivity to rotation and improved position accuracy, and expressing an object at a more accurate position using lane information obtained from the image.

카메라에서 촬영된 영상을 이용하여 차선 정보를 검출하는 차선 검출부; 자이로스코프(gyroscope)의 센서 출력 값을 취득하는 센서 입력부; 차선 정보 및 센서 출력 값을 이용하여 영상에서 템플릿 영역(template area)을 설정하는 영역 설정부; 및 정보 안내 객체를 템플릿 영역에 맵핑하여 증강현실 뷰 모드를 제공하는 증강현실 제공부를 포함하는 증강현실 뷰 모드 표현 장치가 제공된다.A lane detecting unit detecting lane information by using an image photographed by a camera; A sensor input unit for acquiring a sensor output value of a gyroscope; An area setting unit configured to set a template area in an image using lane information and sensor output values; And an augmented reality view mode providing unit for mapping an information guide object to a template area to provide an augmented reality view mode.

일 측면에 따르면, 증강현실 뷰 모드 표현 장치는 영상을 캡쳐하여 정지 영상을 획득하는 영상 캡쳐부를 더 포함할 수 있다. 이때, 차선 검출부는 정지 영상을 그레이(grey) 영상으로 변환한 후, 그레이 영상에서 에지(edge)를 검출하여 에지가 포함된 에지 영상으로 변환하고, 에지 영상으로부터 차량이 주행 중인 차선을 검출할 수 있다.According to one aspect, the augmented reality view mode representation device may further include an image capture unit for capturing an image to obtain a still image. At this time, the lane detector converts a still image into a gray image, detects an edge in the gray image, converts the edge image to an edge image including the edge, and detects a lane in which the vehicle is driving from the edge image. have.

다른 측면에 따르면, 차선 검출부는 차량의 주행 방향에 대하여 에지 간에 일정 폭을 가지는 위치를 차선으로 검출할 수 있다.According to another aspect, the lane detector may detect, as a lane, a position having a predetermined width between edges with respect to a driving direction of the vehicle.

또 다른 측면에 따르면, 영역 설정부는 차선 정보를 이용하여 기준점을 획득하고, 기준점을 중심으로 한 일정 영역을, 정보 안내 객체를 맵핑하기 위한 템플릿 영역으로 설정할 수 있다.According to another aspect, the area setting unit may acquire a reference point using lane information, and set a predetermined area around the reference point as a template area for mapping the information guide object.

또 다른 측면에 따르면, 기준점은 차선 정보에 해당되는 선과 선이 만나는 점인 소실점(vanishing point)일 수 있다.According to another aspect, the reference point may be a vanishing point that is a point where the line corresponding to the lane information meets the line.

또 다른 측면에 따르면, 일정 영역은 기준점을 중심점으로 설정하되, 카메라의 화각에 따라 영역 크기가 결정될 수 있다.According to another aspect, the predetermined area is set as the reference point as the center point, the area size may be determined according to the angle of view of the camera.

또 다른 측면에 따르면, 영역 설정부는 센서 출력 값을 기준으로 템플릿 영역을 보정할 수 있다.According to another aspect, the area setting unit may correct the template area based on the sensor output value.

또 다른 측면에 따르면, 영역 설정부는 센서 출력 값과 일정 영역에 대한 모션 벡터를 이용하여 템플릿 영역을 보정할 수 있다.According to another aspect, the area setting unit may correct the template area by using the sensor output value and the motion vector for the predetermined area.

또 다른 측면에 따르면, 증강현실 뷰 모드 표현 장치는 카메라에 해당되는 카메라 파라미터를 추정하기 위한 캘리브레이션(Calibration)을 수행하는 캘리브레이션부; 카메라 파라미터를 기초로 영상에 대한 가상 3D 공간을 생성하는 3D 생성부; 및 영상을 캡쳐하여 정지 영상을 획득하는 영상 캡쳐부를 더 포함할 수 있다.According to another aspect, an augmented reality view mode representation device includes a calibration unit for performing a calibration for estimating camera parameters corresponding to a camera; 3D generating unit for generating a virtual 3D space for the image based on the camera parameters; And an image capture unit for capturing an image to obtain a still image.

또 다른 측면에 따르면, 증강현실 제공부는 템플릿 영역을 가상 3D 공간에 맵핑한 후, 맵핑된 템플릿 영역에 정보 안내 객체를 합성하여 정지 영상에 표시할 수 있다.According to another aspect, the augmented reality providing unit may map the template region to the virtual 3D space, and then synthesize the information guide object in the mapped template region to display on the still image.

또 다른 측면에 따르면, 정보 안내 객체는 차량의 주행과 관련된 정보 또는 차량이 주행 중인 도로에 관련된 정보를 표시하는 오브젝트를 포함할 수 있다.According to another aspect, the information guide object may include an object displaying information related to driving of the vehicle or information related to a road on which the vehicle is driving.

카메라에서 촬영된 영상을 이용하여 차선 정보를 검출하는 차선 검출 단계; 자이로스코프의 센서 출력 값을 취득하는 센서 입력 단계; 차선 정보 및 센서 출력 값을 이용하여 영상에서 템플릿 영역을 설정하는 영역 설정 단계; 및 정보 안내 객체를 템플릿 영역에 맵핑하여 증강현실 뷰 모드를 제공하는 증강현실 제공 단계를 포함하는 증강현실 뷰 모드 표현 방법이 제공된다.A lane detection step of detecting lane information using an image photographed by a camera; A sensor input step of acquiring a sensor output value of the gyroscope; An area setting step of setting a template area in an image using lane information and sensor output values; And providing an augmented reality view mode by mapping the information guide object to a template region to provide an augmented reality view mode.

회전에 민감도가 높고 정확도가 향상된 자이로스코프를 이용하고, 이와 동시에 영상에서 얻어진 차선 정보를 이용하여 증강현실을 표현함으로써 높은 정확도를 제공할 수 있다.High accuracy can be provided by using a gyroscope having high sensitivity to rotation and improved accuracy, and simultaneously expressing augmented reality using lane information obtained from an image.

센서 데이터들과 함께 영상 정보를 이용하여 지도 데이터와의 정확한 매칭을 유도함으로써 맵핑 정밀도를 높일 수 있어 더욱 향상된 증강현실 뷰 모드를 제공할 수 있다.By using image information together with the sensor data to induce accurate matching with the map data, the mapping accuracy can be increased to provide an improved augmented reality view mode.

도 1은 본 발명의 일실시예에 있어서, 자이로스코프의 센서 데이터와 영상에서 얻어진 차선 정보를 이용하여 증강현실 뷰 모드를 제공하는 증강현실 뷰 모드 표현 장치의 내부 구성을 도시한 블록도이다.
도 2 내지 도 7은 본 발명의 일실시예에 있어서, 카메라를 통해 촬영된 영상을 이용하여 차선을 검출하는 과정을 설명하기 위한 예시 화면을 도시한 것이다.
도 8은 본 발명의 일실시예에 있어서, 템플릿 영역을 결정하는 과정을 설명하기 위한 예시 화면을 도시한 것이다.
도 9는 본 발명의 일실시예에 있어서, 템플릿 영역에 정보 안내 객체를 합성하는 과정을 설명하기 위한 예시 화면을 도시한 것이다.
도 10은 본 발명의 일실시예에 따라 제공되는 증강현실 뷰 모드의 예시 화면을 도시한 것이다.
도 11은 본 발명의 일실시예에 있어서, 자이로스코프의 센서 데이터와 영상에서 얻어진 차선 정보를 이용하여 증강현실 뷰 모드를 제공하는 증강현실 뷰 모드 표현 방법을 도시한 흐름도이다.1 is a block diagram illustrating an internal configuration of an augmented reality view mode representation apparatus for providing an augmented reality view mode using lane information obtained from sensor data and an image of a gyroscope according to an embodiment of the present invention.
2 to 7 illustrate example screens for explaining a process of detecting a lane using an image captured by a camera according to an embodiment of the present invention.
8 illustrates an example screen for describing a process of determining a template region according to an embodiment of the present invention.
9 illustrates an example screen for explaining a process of synthesizing an information guide object in a template area according to an embodiment of the present invention.
10 illustrates an example screen of an augmented reality view mode provided according to an embodiment of the present invention.
FIG. 11 is a flowchart illustrating an augmented reality view mode representation method of providing an augmented reality view mode by using lane information obtained from sensor data and an image of a gyroscope according to an embodiment of the present invention.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 증강현실 뷰 모드 표현 장치의 내부 구성을 도시한 블록도이다. 일실시예에 따른 증강현실 뷰 모드 표현 장치(100)는 카메라가 구비된 내비게이션 기기에 적용되는 것으로, 내비게이션 기기와 하나의 구성으로 이루어질 수 있다.1 is a block diagram illustrating an internal configuration of an augmented reality view mode representation device according to an embodiment of the present invention. The augmented reality view mode representation apparatus 100 according to an embodiment is applied to a navigation device equipped with a camera, and may be formed in one configuration with the navigation device.

도 1에 도시한 바와 같이, 일실시예에 따른 증강현실 뷰 모드 표현 장치(100)는 캘리브레이션부(110), 3D 생성부(120), 영상 캡쳐부(130), 차선 검출부(140), 센서 입력부(150), 영역 설정부(160), 및 증강현실 제공부(170)로 구성될 수 있다.As shown in FIG. 1, the apparatus 100 for displaying augmented reality view mode according to an exemplary embodiment may include a calibrator 110, a 3D generator 120, an image capture unit 130, a lane detector 140, and a sensor. The input unit 150, the region setting unit 160, and the augmented reality providing unit 170 may be configured.

캘리브레이션부(110)는 카메라가 촬영한 영상으로부터 카메라에 해당되는 카메라 파라미터를 추정하기 위한 캘리브레이션(Calibration)을 수행할 수 있다. 이때, 카메라는 내장 또는 외장 형태로 내비게이션 기기에 장착된 카메라일 수 있다. 상기한 카메라는 주행 중인 차량의 전방을 촬영하는 수단으로, 도 2에 도시한 바와 같이 일정 크기(예를 들어, 640*480)의 영상(201)을 촬영할 수 있다. 이때, 촬영된 영상(201)은 RGB(Red Green Blue)(칼라) 영상을 의미할 수 있다. 또한, 카메라 파라미터는 실사공간이 사진에 맺히는 관계를 나타내는 정보인 카메라 행렬을 구성하는 파라미터일 수 있다.The calibration unit 110 may perform a calibration for estimating a camera parameter corresponding to the camera from an image captured by the camera. In this case, the camera may be a camera mounted on the navigation device in an internal or external form. The camera is a means for photographing the front of a driving vehicle. As shown in FIG. 2, the camera may photograph an image 201 having a predetermined size (for example, 640 * 480). In this case, the captured image 201 may refer to a red green blue (RGB) image. In addition, the camera parameter may be a parameter constituting a camera matrix, which is information representing a relationship between the actual space and the picture.

3D 생성부(120)는 카메라가 촬영한 영상을 기초로 가상 3D 공간을 생성할 수 있다. 구체적으로, 3D 생성부(120)는 캘리브레이션부(110)가 추정한 카메라 파라미터를 기초로 카메라가 촬영한 영상으로부터 깊이 정보(Depths information)를 획득하고, 획득한 깊이 정보와 상기 영상을 기초로 가상 3D 공간을 생성할 수 있다.The 3D generator 120 may generate a virtual 3D space based on the image photographed by the camera. In detail, the 3D generator 120 obtains depth information from an image captured by the camera based on the camera parameter estimated by the calibrator 110, and virtually based on the acquired depth information and the image. You can create 3D space.

영상 캡쳐부(130)는 카메라가 촬영한 영상을 캡쳐하여 정지 영상을 획득할 수 있다. 카메라에서 촬영된 영상은 실시간으로 차량의 전방을 촬영한 동영상이므로 차선이 계속 흔들리기 때문에 차선 정보를 추출하기 어려운 점이 있다. 따라서, 본 실시예에서는 영상을 캡쳐하여 정지 영상을 획득한 후, 차선 정보를 추출하기 위해 정지 영상을 이용할 수 있다.The image capture unit 130 may obtain a still image by capturing an image captured by the camera. Since the image taken by the camera is a moving image of the front of the vehicle in real time, it is difficult to extract lane information because the lane keeps shaking. Therefore, in the present exemplary embodiment, after capturing a still image by capturing an image, the still image may be used to extract lane information.

차선 검출부(140)는 영상 캡쳐부(130)에서 이미지 캡쳐를 통해 획득한 정지 영상을 이용하여 차선 정보를 추출할 수 있다.The lane detecting unit 140 may extract lane information by using the still image acquired through the image capturing by the image capturing unit 130.

도 3 내지 도 7을 참조하여, 차선을 검출하는 과정을 상세하게 설명하기로 한다.3 to 7, the process of detecting the lane will be described in detail.

먼저, 차선 검출부(140)는 정지 영상에 해당되는 RGB 영상을 입력 받아 입력된 RGB 영상을 그레이(흑백) 영상으로 변환한다. 도로의 일부분이 그림자 영향을 받으면 차선 검출에 어려움이 있기 때문에 그림자 영향을 최소화 하기 위하여, 본 실시예에서는 광원을 보정할 수 있는 방법을 적용할 수 있다. 일례로, 카메라에서 촬영에 사용할 광원을 보정한 후 보정된 광원으로 차량의 전방을 촬영하여 RGB 영상을 얻을 수 있다. 다른 일례로, 차선 검출부(140)에서 RGB 영상에 대하여 광원 보정 알고리즘을 적용하여 RGB 영상의 광원을 보정한 후, 보정된 RGB 영상을 그레이 영상으로 변경할 수 있다.First, the lane detector 140 receives an RGB image corresponding to a still image and converts the input RGB image into a gray (black and white) image. If a part of the road is affected by the shadow, it is difficult to detect the lane, so in this embodiment, a method of correcting the light source may be applied to minimize the shadow effect. For example, after calibrating a light source to be used for photographing by the camera, the front of the vehicle may be photographed with the corrected light source to obtain an RGB image. As another example, the lane detection unit 140 may apply a light source correction algorithm to the RGB image to correct the light source of the RGB image, and then change the corrected RGB image to a gray image.

이어, 차선 검출부(140)는 그레이 영상에서 차선을 검출하기 위한 관심 영역(ROI: Region of Interest)을 설정할 수 있다. 이때, 관심 영역은 카메라의 설치 각도 및 시야각에 따라 촬영된 영상 내에서 차선이 존재 가능한 영역으로 설정될 수 있다. 일례로, 차선 검출부(140)는 도 3에 도시한 바와 같이 차선이 시작되는 위치(A)를 기점으로 y축 방향으로 일정 거리(B)만큼의 영역을 관심 영역(301)으로 설정할 수 있다. 이때, 관심 영역(301)이 결정되는 조건인, 차선이 시작되는 위치(A)와 일정 거리(B)는 차로의 폭과 카메라의 시야각으로 추정할 수 있다. 또한, 차선 검출부(140)는 관심 영역에 대한 적응형 에지 레벨 값을 찾는다. 여기서, 적응형 에지 레벨 값은 관심 영역에 해당되는 그레이 영상의 평균 휘도 값으로 결정될 수 있으며, 이는 후술하는 과정에서 에지 검출을 위한 기준 값으로 이용될 수 있다.Subsequently, the lane detection unit 140 may set a region of interest (ROI) for detecting a lane in the gray image. In this case, the ROI may be set to a region where lanes may exist in the captured image according to the installation angle and the viewing angle of the camera. For example, as illustrated in FIG. 3, the lane detecting unit 140 may set the region of interest 301 as the region B of a predetermined distance B in the y-axis direction from the position A where the lane starts. In this case, the position A and the predetermined distance B at which the lane of interest is determined may be estimated based on the width of the lane and the viewing angle of the camera. The lane detector 140 also finds an adaptive edge level value for the ROI. In this case, the adaptive edge level value may be determined as an average luminance value of the gray image corresponding to the ROI, which may be used as a reference value for edge detection in a process to be described later.

다음으로, 차선 검출부(140)는 관심 영역에 해당되는 그레이 영상에서 에지(edge)를 검출한 에지 영상으로 변환한다. 차선 검출부(140)는 캐니(Canny) 알고리즘을 적용하여 도 4에 도시한 바와 같은 에지 영상(401)을 얻을 수 있다. 이때, 차선 검출부(140)는 앞서 결정된 에지 레벨 값을 이용하여 에지를 검출할 수 있다. 본 실시예에서는, 일차적으로 RGB 영상의 광원이 보정된 후 변경된 그레이 영상에서 에지 레벨 값이 결정된다. 따라서, 터널, 그림자 등의 조명 조건이 크게 변하는 환경에서도 차선을 정확하게 검출할 수 있도록 적응형 에지 검출 방식을 적용할 수 있으며, 이로 인하여 터널이나 그림자가 있는 도로에서도 차선 에지를 보다 정확히 검출할 수 있다.Next, the lane detector 140 converts an edge from a gray image corresponding to the ROI into an edge image detected. The lane detection unit 140 may apply the Canny algorithm to obtain the edge image 401 as shown in FIG. 4. In this case, the lane detection unit 140 may detect the edge using the edge level value determined above. In the present embodiment, the edge level value is determined in the gray image which is changed after the light source of the RGB image is corrected. Therefore, an adaptive edge detection method can be applied to accurately detect a lane even in an environment where lighting conditions such as tunnels and shadows change drastically. As a result, lane edges can be more accurately detected even in a tunnel or a road with shadows. .

그리고, 차선 검출부(140)는 에지 영상으로부터 차량이 주행 중인 차선을 검출할 수 있다. 상세하게, 차선 검출부(140)는 에지 영상에 대하여 허프 변환(hough transform) 알고리즘을 적용하여 직선을 나타내는 에지를 검출하고 검출된 직선의 위치를 차선으로 인식할 수 있다. 도 5에 도시한 바와 같이, 허프 변환을 통해서 영상에 포함되어 있는 직선 후보들을 검출할 수 있다. 일례로, 차선 검출부(140)는 다수의 직선 후보 중에서 관심 영역의 중점으로부터의 거리가 최소인 직선을 차선으로 판단할 수 있다. 다른 일례로, 차선 검출부(140)는 다수의 직선 후보 중에서 차량의 주행 방향에 대하여 일정한 차선의 폭을 가지는 직선의 위치를 차선으로 판단할 수 있다. 차선은 일정 폭을 가지고 도로 면에 존재하며, 수평 선 위로는 나타나지 않고 차량의 진행 방향과 대응되는 선 상에 나타난다. 따라서, 차선 검출부(140)는 도 6에 도시한 바와 같이 차량의 진행 방향에 대응되는 직선 후보 간에 일정 폭을 가지는 직선을 차선으로 인식할 수 있다. 또 다른 일례로, 차선 검출부(140)는 다수의 직선 후보 중에서 관심 영역의 수직 중심선을 기준으로 서로 대칭을 이루는 직선을 차선으로 판단할 수 있다.The lane detector 140 may detect a lane in which the vehicle is driving, from the edge image. In detail, the lane detection unit 140 may apply a hough transform algorithm to the edge image to detect an edge representing a straight line and recognize the detected position of the straight line as a lane. As illustrated in FIG. 5, straight line candidates included in an image may be detected through Hough transform. For example, the lane detector 140 may determine a straight line having a minimum distance from the midpoint of the ROI among the plurality of straight line candidates as the lane. As another example, the lane detecting unit 140 may determine a position of a straight line having a width of a predetermined lane with respect to a driving direction of the vehicle, from among a plurality of straight line candidates. The lanes have a certain width on the road surface and do not appear above the horizontal line but on a line corresponding to the direction of travel of the vehicle. Accordingly, the lane detecting unit 140 may recognize a straight line having a predetermined width between the straight line candidates corresponding to the traveling direction of the vehicle, as shown in FIG. 6. As another example, the lane detection unit 140 may determine, as a lane, straight lines that are symmetrical with each other based on a vertical center line of the ROI among a plurality of straight line candidates.

노면의 차선이 직선에 가까우면서 뚜렷하면 차선 검출이 양호한 반면, 도로 상에 차선과 유사한 흔적이 남아있는 경우 이를 실제 차선인 것으로 검출하는 검출 오류가 발생할 수 있기 때문에, 이러한 검출 오류를 최소화 하기 위해 본 실시예에서는 이전 차선 정보와 현재 차선 정보 간의 상관도를 비교하여 차선을 검증할 수 있다. 상세하게, 차선 검출부(140)는 에지 영상으로부터 적어도 하나의 후보 차선을 검출한 후, 검출된 후보 차선 중 이전 영상에서 검출된 이전 차선과의 상관도를 통해 최종 차선을 판단할 수 있다. 여기서, 상관도는 후보 차선과 이전 차선과의 영상 내 위치를 비교하는 것으로부터 파악할 수 있으며, 차선 검출부(140)는 후보 차선 중 이전 영상에서 검출된 이전 차선의 위치와 가장 가까운 후보 차선을 차량이 주행 중인 차선인 것으로 최종 판단할 수 있다. 또한, 노면의 차선이 점선 등 다른 형태의 차선인 경우 차선을 검출하지 못하는 경우가 발생할 수 있다. 이러한 문제를 해결하기 위하여, 차선 검출부(140)는 현재 영상에서 차선이 검출되지 않으면 이전 영상에서 검출된 이전 차선의 위치를 현재 차량이 주행하고 있는 차선으로 대체하는 방식으로 차선을 판단할 수 있다.The lane detection is good if the lane on the road is close to the straight line and the lane is good.However, if there is a trace similar to the lane on the road, a detection error may be detected to detect it as a real lane. In an embodiment, the lane may be verified by comparing a correlation between previous lane information and current lane information. In detail, the lane detector 140 may detect at least one candidate lane from the edge image, and then determine the final lane based on a correlation with the previous lane detected in the previous image among the detected candidate lanes. The correlation may be determined by comparing the positions of the candidate lanes with the previous lanes in the image, and the lane detecting unit 140 may detect the candidate lanes closest to the positions of the previous lanes detected in the previous image. It can be finally determined that the vehicle is a driving lane. In addition, when the lane of the road surface is another type of lane such as a dotted line, it may occur that the lane cannot be detected. In order to solve this problem, the lane detecting unit 140 may determine the lane by replacing the position of the previous lane detected in the previous image with the lane in which the current vehicle is traveling, if the lane is not detected in the current image.

급격한 커브가 존재하는 도로에서는 도 7에 도시한 바와 같이, 차선 또한 직선보다는 곡선(701)의 형태를 가지므로 차선을 검출하지 못하는 경우가 발생할 수 있다. 이러한 문제를 해결하기 위하여, 본 실시예에서는 관심 영역을 몇 개의 부 영역으로 수평 분할한 후, 각각의 부 영역에 대하여 차선 에지를 검출할 수 있다. 이때, 차선 검출부(140)는 각각의 부 영역에서 검출된 차선 에지를 대상으로 커브 피팅(curve fitting) 알고리즘을 적용하여 곡선의 차선을 최종 검출할 수 있다. 또한, 자동차가 차선 변경 시 차선이 진행 방향에 근접하면 직선을 결정하는 연결성의 값이 적어서 차선을 검출하지 못하는 경우가 발생할 수 있다. 이러한 직선 연결성 값의 영향을 최소화하기 위하여, 마찬가지로 본 실시예에서는 관심 영역을 몇 개의 영역으로 분할하여 차선을 검출하는 방식을 적용할 수 있다.As shown in FIG. 7, in a road where a sudden curve exists, a lane may not be detected because the lane has a shape of a curve 701 rather than a straight line. In order to solve this problem, in the present exemplary embodiment, after dividing a region of interest into several subregions horizontally, a lane edge may be detected for each subregion. In this case, the lane detecting unit 140 may finally detect the lane of the curve by applying a curve fitting algorithm to the lane edge detected in each subregion. In addition, when the vehicle changes lanes, when the lane approaches the direction of travel, there may be a case where the lane cannot be detected because the value of the connectivity for determining the straight line is small. In order to minimize the influence of the linear connectivity value, in this embodiment, a method of detecting a lane by dividing a region of interest into several regions may be applied.

따라서, 차선 검출부(140)는 카메라에서 촬영된 영상을 이용하여 차량이 주행 중인 차선을 검출할 수 있다.Therefore, the lane detecting unit 140 may detect the lane in which the vehicle is driving by using the image photographed by the camera.

다시 도 1에서, 센서 입력부(150)는 자이로스코프 센서로부터 센서 출력 값을 입력 받을 수 있다. 이때, 자이로스코프 센서는 내장 또는 외장 형태로 내비게이션 기기에 장착된 센서일 수 있다. 또한, 자이로스코프 센서는 내비게이션 기기에 장착되어 차량에 대한 회전의 유무, 회전량, 각속도, 각가속도, 방향 등을 감지할 수 있다.In FIG. 1, the sensor input unit 150 may receive a sensor output value from a gyroscope sensor. In this case, the gyroscope sensor may be a sensor mounted in the navigation device in an internal or external form. In addition, the gyroscope sensor may be mounted on the navigation device to detect the presence or absence of rotation of the vehicle, the amount of rotation, the angular velocity, the angular acceleration, the direction, and the like.

본 실시예에서는 증강현실 뷰 모드를 제공하기 위하여 회전에 민감도가 높고 정확도가 향상된 자이로스코프에서 얻은 센서 데이터를 이용하고, 이에 영상에서 얻어진 차선 정보를 이용하여 증강현실을 표현하는 데에 있어 높은 정확도를 제공할 수 있다.In this embodiment, in order to provide an augmented reality view mode, sensor data obtained from a gyroscope having high sensitivity and high sensitivity to rotation is used, and high accuracy in expressing augmented reality using lane information obtained from the image is used. Can provide.

영역 설정부(160)는 영상에 얻은 차선 정보, 및 자이로스코프의 센서 출력 값을 이용하여 정보 안내 객체를 맵핑하기 위한 템플릿 영역을 설정할 수 있다. 상세하게, 영역 설정부(160)는 차선 검출부(140)에서 추출된 차선 정보를 이용하여 기준점을 획득한 후, 기준점을 중심으로 한 일정 영역을 템플릿 영역으로 설정할 수 있다. 이때, 기준점으로는 차선 정보에 해당되는 선과 선이 만나는 점인 소실점을 이용할 수 있다.The area setting unit 160 may set a template area for mapping the information guide object by using the lane information obtained in the image and the sensor output value of the gyroscope. In detail, the area setting unit 160 may obtain a reference point using the lane information extracted by the lane detection unit 140, and then set a predetermined area around the reference point as a template area. In this case, as a reference point, a vanishing point, which is a point where a line corresponding to lane information and a line meet, may be used.

일 예로, 도 8에 도시된 바와 같이 영역 설정부(160)는 차선 정보에 해당되는 두 선(810)(820)을 연장하여 서로 교차하게 되는 점인 소실점(830)을 획득할 수 있다. 이에, 영역 설정부(160)는 소실점(830)을 중심점으로 하는 소정 크기의 영역을 템플릿 매칭을 위한 일정 영역(840)으로 설정할 수 있다. 이때, 영역 설정부(160)는 카메라의 화각을 기준으로 하여 일정 영역(840)의 크기를 결정할 수 있다. 카메라의 화각이 넓으면 멀리 위치하는 사물에 대한 이동치가 상대적으로 크기 때문에 일정 영역(840)의 크기를 크게 설정하고, 반면에 카메라의 화각이 좁으면 멀리 위치하는 사물에 대한 이동치가 비교적 작기 때문에 일정 영역(840)의 크기를 작게 설정한다. 그리고, 영역 설정부(160)는 소실점(830)을 중심으로 설정된 일정 영역(840)에 템플릿을 매칭하여 템플릿 영역을 설정할 수 있다.For example, as illustrated in FIG. 8, the area setting unit 160 may obtain a vanishing point 830, which is a point at which two lines 810 and 820 corresponding to lane information are extended to cross each other. Accordingly, the area setting unit 160 may set an area having a predetermined size with the vanishing point 830 as a predetermined area 840 for template matching. In this case, the area setting unit 160 may determine the size of the predetermined area 840 based on the angle of view of the camera. If the angle of view of the camera is wide, the movement value of the far-away object is relatively large, and the size of the predetermined area 840 is set large. On the other hand, if the angle of view of the camera is narrow, the movement value of the far-away object is relatively small. The size of the region 840 is set small. In addition, the area setting unit 160 may set the template area by matching the template to the predetermined area 840 set around the vanishing point 830.

정상적인 직진 주행 중인 경우 영상의 상하좌우는 움직임이 크므로 모션에 대한 움직임 벡터를 사용하는 데에 어려움이 있으나, 임의 영역 중앙에 위치하는 소실점 부근의 영상은 큰 움직임이 없어 차량의 앞뒤로의 모션 방향을 비교적 정확하게 유추할 수 있다. 따라서, 본 실시예에서 영역 설정부(160)는 정보 안내 객체를 맵핑하기 위한 템플릿 영역을 차선 정보에서 획득한 소실점(830)을 기준으로 설정할 수 있다. 아울러, 영역 설정부(160)는 자이로스코프의 센서 출력 값을 이용하여 템플릿 영역의 x축 방향과 y축 방향에 대한 보정이 가능하다. 상기한 영역 설정부(160)는 자이로스코프의 센서 출력 값과 소실점을 중심점으로 한 일정 영역의 모션 벡터를 이용하여 정보 안내 객체를 맵핑하기 위한 템플릿 영역을 실시간으로 보정할 수 있다.It is difficult to use the motion vector for motion because the motion of the image is big in normal straight driving.However, the image near the vanishing point located in the middle of any area has no big motion, so the direction of motion of the vehicle is It can be inferred relatively accurately. Therefore, in the present embodiment, the area setting unit 160 may set a template area for mapping the information guide object based on the vanishing point 830 obtained from the lane information. In addition, the area setting unit 160 may correct the x-axis direction and the y-axis direction of the template area by using the sensor output value of the gyroscope. The area setting unit 160 may correct in real time a template area for mapping the information guide object using a motion vector of a predetermined area centered on the sensor output value and the vanishing point of the gyroscope.

증강현실 제공부(170)는 정보 안내 객체를 템플릿 영역에 맵핑하여 증강현실 뷰 모드를 제공할 수 있다. 일 예로, 도 9에 도시된 바와 같이 증강현실 제공부(170)는 영역 설정부(160)에서 설정된 템플릿 영역(940)을 3D 생성부(120)에서 생성된 가상 3D 공간에 맵핑하고, 가상 3D 공간에 맵핑된 템플릿 영역(940)에 정보 안내 객체(950)를 합성함으로써 캡쳐 영상에 정보 안내 객체를 표시할 수 있다. 이때, 증강현실 제공부(170)는 자이로스코프의 센서 출력 값과 해당 영역에 대한 모션 벡터에 따라 템플릿 영역(940)을 실시간으로 보정함으로써 정보 안내 객체(950)의 표출 위치나 크기를 정확하게 보정할 수 있다. 본 실시예에서, 정보 안내 객체는 차량이 주행할 경로나 차량이 주행 중인 도로에 관련된 정보를 표시하는 오브젝트를 포함할 수 있다. 일 예로, 정보 안내 객체는 특정 장소까지의 잔여 거리 정보, 횡단 보도와 같은 주의 장소를 표시하는 정보, 과속 카메라 위치 정보, 안내 심볼, 및 경로의 방향 정보 등 지도 데이터와 관련된 모든 표현 정보를 의미할 수 있다.The augmented reality providing unit 170 may provide an augmented reality view mode by mapping the information guide object to a template region. For example, as illustrated in FIG. 9, the augmented reality providing unit 170 maps the template region 940 set by the region setting unit 160 to the virtual 3D space generated by the 3D generating unit 120, and virtual 3D. The information guide object may be displayed on the captured image by synthesizing the information guide object 950 in the template region 940 mapped to the space. In this case, the augmented reality providing unit 170 may correct the display position or size of the information guide object 950 by correcting the template region 940 in real time according to the sensor output value of the gyroscope and the motion vector of the corresponding region. Can be. In the present embodiment, the information guide object may include an object displaying information related to a path on which the vehicle is traveling or a road on which the vehicle is driving. For example, the information guide object may mean all representation information related to map data such as remaining distance information to a specific place, information indicating a place of attention such as a crosswalk, speeding camera position information, guide symbols, and direction information of a route. Can be.

기본적으로는 회전각에 대한 자이로스코프의 정확도를 지자기 센서, 가속도 센서, 중력 센서, GPS 수신 모듈 등과 결부하여 90% 이상의 템플릿 매칭을 유도할 수 있다. 이에, 본 실시예에서는 영상에서 얻은 차선 정보 및 영상 내 소실점을 중심점으로 하는 일부 영역의 모션 벡터를 이용하여 나머지 오차를 줄이기 위한 템플릿 매칭을 수행함으로써 향상된 증강현실 뷰 모드를 제공할 수 있다.Basically, the gyroscope's accuracy with respect to rotation angle can be combined with geomagnetic sensors, acceleration sensors, gravity sensors, GPS receiver modules, and more than 90% of template matching can be induced. Accordingly, in the present exemplary embodiment, an enhanced augmented reality view mode may be provided by performing template matching to reduce the remaining error using the lane information obtained from the image and a motion vector of a partial region having the vanishing point in the image as a center point.

도 10은 본 발명의 일실시예에 따라 제공되는 증강현실 뷰 모드의 예시 화면을 도시한 것이다.10 illustrates an example screen of an augmented reality view mode provided according to an embodiment of the present invention.

상기한 구성의 일실시예에 따른 증강현실 뷰 모드 표현 장치(100)는 카메라가 촬영한 영상이 정보 안내 객체를 합성하여 증강현실 형태의 뷰 모드를 제공할 수 있다. 일 예로, 도 10에 도시된 바와 같이 카메라에서 촬영된 영상(1000)에 전방에 위치한 시설물 정보(1010)를 합성하여 표시할 수 있다. 다른 예로, 카메라에서 촬영한 영상(1000)에 경로의 방향 정보(1020)과 특정 장소까지 500M 남았다는 정보(1030)를 합성하여 표시할 수 있다.The augmented reality view mode representation apparatus 100 according to an embodiment of the above configuration may provide an augmented reality view mode by synthesizing an information guide object from an image photographed by a camera. For example, as shown in FIG. 10, the facility information 1010 located in front of the image 1000 captured by the camera may be synthesized and displayed. As another example, the direction information 1020 of the route and information 1030 indicating that 500M remains to a specific place may be displayed on the image 1000 captured by the camera.

본 발명의 일실시예에 따른 증강현실 뷰 모드 표현 장치(100)는 카메라로 촬영한 실시간 영상에 지도 데이터와 관련된 각종 정보를 합성하여 표시함으로써, 해당 장소에 대한 사용자의 인식성을 높일 수 있다. 더욱이, 증강현실 뷰 모드 표현 장치(100)는 센서들과 영상에서 얻은 차선 정보를 이용하여 지도 데이터에서의 각종 표현 정보를 정확한 위치에 표출함으로써 더욱 향상된 영상기반 증강현실 뷰 모드를 제공할 수 있다.The augmented reality view mode representation apparatus 100 according to an embodiment of the present invention synthesizes and displays various pieces of information related to map data on a real-time image captured by a camera, thereby improving the user's perception of a corresponding place. In addition, the augmented reality view mode representation apparatus 100 may provide an enhanced image-based augmented reality view mode by expressing various representation information in map data at an accurate location using lane information obtained from sensors and images.

도 11은 본 발명의 일실시예에 있어서, 증강현실 뷰 모드를 제공하는 증강현실 뷰 모드 표현 방법을 도시한 흐름도이다. 일실시예에 따른 증강현실 뷰 모드 표현 방법은 도 1을 통해 설명한 증강현실 뷰 모드 표현 장치(100)에 의해 각각의 단계가 수행될 수 있다.FIG. 11 is a flowchart illustrating an augmented reality view mode representation method for providing an augmented reality view mode according to an embodiment of the present invention. In the augmented reality view mode representation method according to an embodiment, each step may be performed by the augmented reality view mode representation device 100 described with reference to FIG. 1.

단계(1110)에서 증강현실 뷰 모드 표현 장치(100)는 카메라가 촬영한 영상으로부터 카메라에 해당되는 카메라 파라미터를 추정하기 위한 카메라 캘리브레이션을 수행할 수 있다.In operation 1110, the augmented reality view mode representation apparatus 100 may perform a camera calibration for estimating a camera parameter corresponding to a camera from an image captured by the camera.

단계(1120)에서 증강현실 뷰 모드 표현 장치(100)는 카메라 파라미터를 기초로 카메라가 촬영한 영상으로부터 깊이 정보를 획득하고, 획득한 깊이 정보와 상기 영상을 기초로 가상 3D 공간을 생성할 수 있다.In operation 1120, the augmented reality view mode representation apparatus 100 may obtain depth information from an image captured by a camera based on a camera parameter, and generate a virtual 3D space based on the acquired depth information and the image. .

단계(1130)에서 증강현실 뷰 모드 표현 장치(100)는 카메라가 촬영한 영상을 캡쳐하여 정지 영상을 획득할 수 있다.In operation 1130, the augmented reality view mode representation apparatus 100 may obtain a still image by capturing an image captured by the camera.

단계(1140)에서 증강현실 뷰 모드 표현 장치(100)는 이미지 캡쳐를 통해 획득한 정지 영상을 이용하여 차선 정보를 추출할 수 있다. 이때, 증강현실 뷰 모드 표현 장치(100)는 정지 영상에 해당되는 RGB 영상을 입력 받아 입력된 RGB 영상을 그레이 영상으로 변환한 후, 그레이 영상에서 차선을 검출하기 위한 관심 영역을 설정한다. 그리고, 증강현실 뷰 모드 표현 장치(100)는 관심 영역에 해당되는 그레이 영상에서 에지를 검출하여 에지 영상을 획득한 후, 에지 영상으로부터 차량이 주행 중인 차선을 검출할 수 있다. 상세하게, 증강현실 뷰 모드 표현 장치(100)는 에지 영상에 대하여 허프 변환 알고리즘을 적용하여 직선을 나타내는 에지를 검출하고 검출된 직선의 위치를 차선으로 인식할 수 있다. 이때, 증강현실 뷰 모드 표현 장치(100)는 차량의 주행 방향에 대하여 일정한 차선의 폭을 가지는 직선의 위치를 차선으로 판단하거나, 관심 영역의 수직 중심선을 기준으로 서로 대칭을 이루는 직선을 차선으로 판단할 수 있다. 또한, 증강현실 뷰 모드 표현 장치(100)는 관심 영역을 몇 개의 부 영역으로 수평 분할한 후, 각각의 부 영역에 대하여 차선 에지를 검출하고, 각각의 부 영역에서 검출된 차선 에지를 대상으로 커브 피팅 알고리즘을 적용하여 곡선의 차선을 최종 검출할 수 있다.In operation 1140, the augmented reality view mode representation apparatus 100 may extract lane information using a still image obtained through image capture. In this case, the augmented reality view mode representation apparatus 100 receives an RGB image corresponding to a still image, converts the input RGB image into a gray image, and sets a region of interest for detecting a lane in the gray image. The augmented reality view mode representation apparatus 100 may detect an edge from a gray image corresponding to a region of interest, acquire an edge image, and detect a lane in which the vehicle is driving from the edge image. In detail, the augmented reality view mode representation apparatus 100 may apply a Hough transform algorithm to an edge image to detect an edge representing a straight line and recognize the detected position of the straight line as a lane. At this time, the augmented reality view mode representation apparatus 100 determines a position of a straight line having a constant lane width with respect to the driving direction of the vehicle as a lane, or determines straight lines which are symmetrical with each other based on a vertical center line of the ROI. can do. Also, the augmented reality view mode representation apparatus 100 divides a region of interest into several subregions, detects a lane edge for each subregion, and curves the lane edge detected in each subregion. A fitting algorithm can be applied to finally detect the lane of the curve.

단계(1150)에서 증강현실 뷰 모드 표현 장치(100)는 자이로스코프 센서로부터 센서 출력 값을 입력 받을 수 있다. 이때, 자이로스코프 센서는 내비게이션 기기에 장착되어 차량에 대한 회전의 유무, 회전량, 각속도, 각가속도, 방향 등을 감지할 수 있다.In operation 1150, the augmented reality view mode representation apparatus 100 may receive a sensor output value from a gyroscope sensor. In this case, the gyroscope sensor may be mounted in the navigation device to detect the presence or absence of rotation of the vehicle, the amount of rotation, the angular velocity, the angular acceleration, the direction, and the like.

단계(1160)에서 증강현실 뷰 모드 표현 장치(100)는 영상에 얻은 차선 정보, 및 자이로스코프의 센서 출력 값을 이용하여 정보 안내 객체를 맵핑하기 위한 템플릿 영역을 설정할 수 있다. 상세하게, 증강현실 뷰 모드 표현 장치(100)는 차선 정보에 해당되는 선과 선이 만나는 점인 소실점을 획득한 후, 소실점을 중심으로 하는 소정 크기의 일정 영역을 설정할 수 있다. 이때, 증강현실 뷰 모드 표현 장치(100)는 카메라의 화각에 따라 일정 영역의 크기를 결정할 수 있다. 이어, 증강현실 뷰 모드 표현 장치(100)는 일정 영역에 정보 안내 객체를 맵핑하기 위한 템플릿을 매칭하여 템플릿 영역을 설정할 수 있다. 증강현실 뷰 모드 표현 장치(100)는 자이로스코프의 센서 출력 값을 이용하여 템플릿 영역의 x축 방향과 y축 방향에 대한 보정이 가능하다. 따라서, 증강현실 뷰 모드 표현 장치(100)는 자이로스코프의 센서 출력 값과 소실점을 중심점으로 한 일정 영역의 모션 벡터를 이용하여 정보 안내 객체를 맵핑하기 위한 템플릿 영역을 실시간으로 보정할 수 있다.In operation 1160, the augmented reality view mode representation apparatus 100 may set a template region for mapping the information guide object by using lane information obtained on an image and a sensor output value of a gyroscope. In detail, the augmented reality view mode representation apparatus 100 may acquire a vanishing point that is a point where a line corresponding to lane information meets a line, and then set a predetermined area having a predetermined size centering on the vanishing point. In this case, the augmented reality view mode representation apparatus 100 may determine the size of a predetermined area according to the angle of view of the camera. Subsequently, the augmented reality view mode representation apparatus 100 may set a template region by matching a template for mapping the information guide object to a predetermined region. The augmented reality view mode representation apparatus 100 may correct the x-axis direction and the y-axis direction of the template area by using a sensor output value of the gyroscope. Accordingly, the augmented reality view mode representation apparatus 100 may correct a template region for mapping an information guide object in real time using a motion vector of a predetermined region centered on a sensor output value of the gyroscope and a vanishing point.

단계(1170)에서 증강현실 뷰 모드 표현 장치(100)는 정보 안내 객체를 템플릿 영역에 맵핑하여 증강현실 뷰 모드를 제공할 수 있다. 다시 말해, 증강현실 뷰 모드 표현 장치(100)는 단계(1160)에서 설정된 템플릿 영역을 단계(1120)에서 생성된 가상 3D 공간에 맵핑하고, 가상 3D 공간에 맵핑된 템플릿 영역에 정보 안내 객체를 합성함으로써 캡쳐 영상에 정보 안내 객체를 표시할 수 있다. 이때, 정보 안내 객체는 특정 장소까지의 잔여 거리 정보, 횡단 보도와 같은 주의 장소를 표시하는 정보, 과속 카메라 위치 정보, 안내 심볼, 및 경로의 방향 정보 등 지도 데이터와 관련된 모든 표현 정보를 의미할 수 있다.In operation 1170, the apparatus 100 for displaying augmented reality view mode may provide an augmented reality view mode by mapping an information guide object to a template region. In other words, the augmented reality view mode representation apparatus 100 maps the template region set in operation 1160 to the virtual 3D space generated in operation 1120 and synthesizes the information guide object in the template region mapped in the virtual 3D space. Thus, the information guide object can be displayed on the captured image. In this case, the information guide object may mean all expression information related to the map data such as remaining distance information to a specific place, information indicating a place of attention such as a crosswalk, speeding camera position information, guide symbol, and direction information of a route. have.

이와 같이, 본 발명의 실시예들에 따르면, 회전에 민감도가 높고 정확도가 향상된 자이로스코프를 이용하고, 이와 아울러 영상에서 얻어진 차선 정보를 이용하여 증강현실을 표현함으로써 지도 데이터에서의 각종 표현 정보를 정확한 위치에 표출할 수 있다.As described above, according to embodiments of the present invention, by using a gyroscope having high sensitivity to rotation and improved accuracy, and expressing augmented reality by using lane information obtained from an image, various representation information in map data can be accurately represented. Can be expressed on location.

따라서, 본 발명의 실시예들에 따르면, 센서 데이터와 함께 영상 정보를 이용하여 지도 데이터와의 정확한 매칭을 유도함으로써 정보 안내 객체에 대한 맵핑 정밀도를 높일 수 있어 더욱 향상된 증강현실 뷰 모드를 제공할 수 있다.Therefore, according to embodiments of the present invention, by using the image information together with the sensor data to induce accurate matching with the map data can increase the mapping accuracy for the information guide object can provide a further enhanced augmented reality view mode have.

본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 또한, 상술한 파일 시스템은 컴퓨터 판독이 가능한 기록 매체에 기록될 수 있다.Methods according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. In addition, the above-described file system can be recorded in a computer-readable recording medium.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.

100: 증강현실 뷰 모드 표현 장치
110: 캘리브레이션부
120: 3D 생성부
130: 영상 캡쳐부
140: 차선 검출부
150: 센서 입력부
160: 영역 설정부
170: 증강현실 제공부100: augmented reality view mode representation device
110: calibration unit
120: 3D generator
130: the image capture unit
140: lane detection unit
150: sensor input unit
160: area setting unit
170: augmented reality provider

Claims (15)

카메라에서 촬영된 영상을 이용하여 차선 정보를 검출하는 차선 검출 단계;
자이로스코프(gyroscope)의 센서 출력 값을 취득하는 센서 입력 단계;
상기 차선 정보 및 상기 센서 출력 값을 이용하여 상기 영상에서 템플릿 영역(template area)을 설정하는 영역 설정 단계; 및
정보 안내 객체를 상기 템플릿 영역에 맵핑하여 증강현실 뷰 모드를 제공하는 증강현실 제공 단계
를 포함하는 증강현실 뷰 모드 표현 방법.A lane detection step of detecting lane information using an image photographed by a camera;
A sensor input step of acquiring a sensor output value of a gyroscope;
An area setting step of setting a template area in the image using the lane information and the sensor output value; And
Augmented reality providing step of providing an augmented reality view mode by mapping an information guide object to the template region
Augmented reality view mode representation method comprising a. 제1항에 있어서,
상기 영역 설정 단계는,
상기 차선 정보에 해당되는 선과 선이 만나는 점인 소실점(vanishing point)을 획득하는 단계; 및
상기 소실점을 중심으로 한 일정 영역을, 상기 정보 안내 객체를 맵핑하기 위한 상기 템플릿 영역으로 설정하는 단계
를 포함하고,
상기 일정 영역은,
상기 카메라의 화각에 따라 영역 크기가 결정되는 것
을 특징으로 하는 증강현실 뷰 모드 표현 방법.The method of claim 1,
The area setting step,
Obtaining a vanishing point, which is a point where a line corresponding to the lane information and a line meet each other; And
Setting a predetermined region around the vanishing point as the template region for mapping the information guide object;
Lt; / RTI >
The predetermined area,
Determining the area size according to the angle of view of the camera
Augmented reality view mode representation method characterized in that. 제2항에 있어서,
상기 영역 설정 단계는,
상기 센서 출력 값과 상기 일정 영역에 대한 모션 벡터를 이용하여 상기 템플릿 영역을 보정하는 단계
를 더 포함하는 증강현실 뷰 모드 표현 방법.The method of claim 2,
The area setting step,
Correcting the template region by using the sensor output value and the motion vector for the predetermined region.
Augmented reality view mode representation method further comprising. 제1항에 있어서,
상기 증강현실 뷰 모드 표현 방법은,
상기 카메라에 해당되는 카메라 파라미터를 추정하기 위한 캘리브레이션(Calibration)을 수행하는 캘리브레이션 단계;
상기 카메라 파라미터를 기초로 상기 영상에 대한 가상 3D 공간을 생성하는 3D 생성 단계; 및
상기 영상을 캡쳐하여 정지 영상을 획득하는 영상 캡쳐 단계
를 더 포함하고,
상기 증강현실 제공 단계는,
상기 템플릿 영역을 상기 가상 3D 공간에 맵핑하는 단계; 및
상기 맵핑된 템플릿 영역에 상기 정보 안내 객체를 합성하여 상기 정지 영상에 표시하는 단계
를 포함하는 증강현실 뷰 모드 표현 방법.The method of claim 1,
The augmented reality view mode representation method,
A calibration step of performing a calibration to estimate camera parameters corresponding to the camera;
Generating a virtual 3D space for the image based on the camera parameter; And
Image capture step of capturing the image to obtain a still image
Further comprising:
The augmented reality providing step,
Mapping the template region to the virtual 3D space; And
Synthesizing the information guide object with the mapped template region and displaying the information guide object on the still image;
Augmented reality view mode representation method comprising a. 제1항 내지 제4항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.A computer-readable recording medium in which a program for executing the method of any one of claims 1 to 4 is recorded. 카메라에서 촬영된 영상을 이용하여 차선 정보를 검출하는 차선 검출부;
자이로스코프의 센서 출력 값을 취득하는 센서 입력부;
상기 차선 정보 및 상기 센서 출력 값을 이용하여 상기 영상에서 템플릿 영역을 설정하는 영역 설정부; 및
정보 안내 객체를 상기 템플릿 영역에 맵핑하여 증강현실 뷰 모드를 제공하는 증강현실 제공부
를 포함하는 증강현실 뷰 모드 표현 장치.A lane detecting unit detecting lane information by using an image photographed by a camera;
A sensor input unit for acquiring a sensor output value of the gyroscope;
An area setting unit configured to set a template area in the image using the lane information and the sensor output value; And
Augmented reality providing unit for providing an augmented reality view mode by mapping the information guide object to the template region
Augmented reality view mode representation device comprising a. 제6항에 있어서,
상기 증강현실 뷰 모드 표현 장치는,
상기 영상을 캡쳐하여 정지 영상을 획득하는 영상 캡쳐부
를 더 포함하고,
상기 차선 검출부는,
상기 정지 영상을 그레이 영상으로 변환한 후, 상기 그레이 영상에서 에지를 검출하여 상기 에지가 포함된 에지 영상으로 변환하고, 상기 에지 영상으로부터 차량이 주행 중인 차선을 검출하는 것
을 특징으로 하는 증강현실 뷰 모드 표현 장치.The method according to claim 6,
The augmented reality view mode representation device,
Image capture unit for capturing the image to obtain a still image
Further comprising:
The lane detection unit,
Converting the still image to a gray image, detecting an edge in the gray image, converting the edge image to an edge image including the edge, and detecting a lane in which the vehicle is driven from the edge image
Augmented reality view mode representation device characterized in that. 제7항에 있어서,
상기 차선 검출부는,
상기 차량의 주행 방향에 대하여 상기 에지 간에 일정 폭을 가지는 위치를 상기 차선으로 검출하는 것
을 특징으로 하는 증강현실 뷰 모드 표현 장치.The method of claim 7, wherein
The lane detection unit,
Detecting a position having a predetermined width between the edges with respect to the driving direction of the vehicle with the lanes
Augmented reality view mode representation device characterized in that. 제6항에 있어서,
상기 영역 설정부는,
상기 차선 정보를 이용하여 기준점을 획득하고, 상기 기준점을 중심으로 한 일정 영역을, 상기 정보 안내 객체를 맵핑하기 위한 상기 템플릿 영역으로 설정하는 것
을 특징으로 하는 증강현실 뷰 모드 표현 장치.The method according to claim 6,
The area setting unit,
Acquiring a reference point using the lane information, and setting a predetermined region around the reference point as the template region for mapping the information guide object;
Augmented reality view mode representation device characterized in that. 제9항에 있어서,
상기 기준점은,
상기 차선 정보에 해당되는 선과 선이 만나는 점인 소실점인 것
을 특징으로 하는 증강현실 뷰 모드 표현 장치.10. The method of claim 9,
The reference point,
A vanishing point that is a point where a line corresponding to the lane information meets a line
Augmented reality view mode representation device characterized in that. 제9항에 있어서,
상기 일정 영역은,
상기 기준점을 중심점으로 설정하되, 상기 카메라의 화각에 따라 영역 크기가 결정되는 것
을 특징으로 하는 증강현실 뷰 모드 표현 장치.10. The method of claim 9,
The predetermined area,
The reference point is set as the center point, and the size of the area is determined according to the angle of view of the camera.
Augmented reality view mode representation device characterized in that. 제9항에 있어서,
상기 영역 설정부는,
상기 센서 출력 값을 기준으로 상기 템플릿 영역을 보정하는 것
을 특징으로 하는 증강현실 뷰 모드 표현 장치.10. The method of claim 9,
The area setting unit,
Correcting the template region based on the sensor output value
Augmented reality view mode representation device characterized in that. 제9항에 있어서,
상기 영역 설정부는,
상기 센서 출력 값과 상기 일정 영역에 대한 모션 벡터를 이용하여 상기 템플릿 영역을 보정하는 것
을 특징으로 하는 증강현실 뷰 모드 표현 장치.10. The method of claim 9,
The area setting unit,
Correcting the template region by using the sensor output value and the motion vector for the predetermined region.
Augmented reality view mode representation device characterized in that. 제6항에 있어서,
상기 증강현실 뷰 모드 표현 장치는,
상기 카메라에 해당되는 카메라 파라미터를 추정하기 위한 캘리브레이션(Calibration)을 수행하는 캘리브레이션부;
상기 카메라 파라미터를 기초로 상기 영상에 대한 가상 3D 공간을 생성하는 3D 생성부; 및
상기 영상을 캡쳐하여 정지 영상을 획득하는 영상 캡쳐부
를 더 포함하고,
상기 증강현실 제공부는,
상기 템플릿 영역을 상기 가상 3D 공간에 맵핑한 후, 상기 맵핑된 템플릿 영역에 상기 정보 안내 객체를 합성하여 상기 정지 영상에 표시하는 것
을 특징으로 하는 증강현실 뷰 모드 표현 장치.The method according to claim 6,
The augmented reality view mode representation device,
A calibration unit for performing a calibration for estimating a camera parameter corresponding to the camera;
A 3D generator configured to generate a virtual 3D space for the image based on the camera parameter; And
Image capture unit for capturing the image to obtain a still image
Further comprising:
The augmented reality providing unit,
Mapping the template region to the virtual 3D space, and then synthesizing the information guide object on the mapped template region to display on the still image
Augmented reality view mode representation device characterized in that. 제6항에 있어서,
상기 정보 안내 객체는,
차량의 주행과 관련된 정보 또는 상기 차량이 주행 중인 도로에 관련된 정보를 표시하는 오브젝트를 포함하는 것
을 특징으로 하는 증강현실 뷰 모드 표현 장치.The method according to claim 6,
The information guide object,
Including an object displaying information related to driving of the vehicle or information related to a road on which the vehicle is driving;
Augmented reality view mode representation device characterized in that.
KR1020110123573A 2011-11-24 2011-11-24 Method and apparatus for providing augmented reality view mode using sensor data and lane information KR101285075B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110123573A KR101285075B1 (en) 2011-11-24 2011-11-24 Method and apparatus for providing augmented reality view mode using sensor data and lane information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110123573A KR101285075B1 (en) 2011-11-24 2011-11-24 Method and apparatus for providing augmented reality view mode using sensor data and lane information

Publications (2)

Publication Number Publication Date
KR20130057699A true KR20130057699A (en) 2013-06-03
KR101285075B1 KR101285075B1 (en) 2013-07-17

Family

ID=48857216

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110123573A KR101285075B1 (en) 2011-11-24 2011-11-24 Method and apparatus for providing augmented reality view mode using sensor data and lane information

Country Status (1)

Country Link
KR (1) KR101285075B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150018990A (en) * 2013-08-12 2015-02-25 현대모비스 주식회사 Apparatus and method for guiding caution information of driving
KR20160010694A (en) * 2014-07-17 2016-01-28 팅크웨어(주) System and method for providing drive condition using augmented reality
WO2016080605A1 (en) * 2014-11-18 2016-05-26 엘지전자(주) Electronic device and control method therefor
CN108177524A (en) * 2017-12-22 2018-06-19 联创汽车电子有限公司 ARHUD systems and its lane line method for drafting
CN110930457A (en) * 2019-10-15 2020-03-27 中国第一汽车股份有限公司 Camera calibration method, device, vehicle and storage medium
KR102266996B1 (en) * 2019-12-10 2021-06-18 성균관대학교산학협력단 Method and apparatus for limiting object detection area in a mobile system equipped with a rotation sensor or a position sensor with an image sensor

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101480434B1 (en) * 2013-07-23 2015-01-08 현대오트론 주식회사 Lane departure warning system and method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007220013A (en) * 2006-02-20 2007-08-30 Mazda Motor Corp Device for detecting white line for vehicle
JP2007230491A (en) * 2006-03-03 2007-09-13 Nissan Motor Co Ltd Visual sense information presentation device and visual sense information presentation method
JP2007292545A (en) * 2006-04-24 2007-11-08 Nissan Motor Co Ltd Apparatus and method for route guidance
KR100921427B1 (en) * 2007-12-17 2009-10-14 한국전자통신연구원 Method and Apparatus for generating virtual lane for video based car navigation system
JP4513871B2 (en) * 2008-02-15 2010-07-28 ソニー株式会社 Image processing method, image processing program, and image processing apparatus
KR101268282B1 (en) * 2011-01-27 2013-05-28 팅크웨어(주) Lane departure warning system in navigation for vehicle and method thereof
KR101188105B1 (en) * 2011-02-11 2012-10-09 팅크웨어(주) Apparatus and method for providing argumented reality using image information
DE112011100180B4 (en) * 2011-06-08 2022-05-25 Toyota Jidosha Kabushiki Kaisha Lane keeping assist apparatus, method for displaying a lane boundary line and program

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150018990A (en) * 2013-08-12 2015-02-25 현대모비스 주식회사 Apparatus and method for guiding caution information of driving
KR20160010694A (en) * 2014-07-17 2016-01-28 팅크웨어(주) System and method for providing drive condition using augmented reality
WO2016080605A1 (en) * 2014-11-18 2016-05-26 엘지전자(주) Electronic device and control method therefor
US10354404B2 (en) 2014-11-18 2019-07-16 Lg Electronics Inc. Electronic device and control method therefor
CN108177524A (en) * 2017-12-22 2018-06-19 联创汽车电子有限公司 ARHUD systems and its lane line method for drafting
CN108177524B (en) * 2017-12-22 2020-01-14 联创汽车电子有限公司 ARHUD system and lane line drawing method thereof
CN110930457A (en) * 2019-10-15 2020-03-27 中国第一汽车股份有限公司 Camera calibration method, device, vehicle and storage medium
KR102266996B1 (en) * 2019-12-10 2021-06-18 성균관대학교산학협력단 Method and apparatus for limiting object detection area in a mobile system equipped with a rotation sensor or a position sensor with an image sensor
US11436815B2 (en) 2019-12-10 2022-09-06 Research & Business Foundation Sungkyunkwan University Method for limiting object detection area in a mobile system equipped with a rotation sensor or a position sensor with an image sensor, and apparatus for performing the same

Also Published As

Publication number Publication date
KR101285075B1 (en) 2013-07-17

Similar Documents

Publication Publication Date Title
JP6763448B2 (en) Visually enhanced navigation
KR101285075B1 (en) Method and apparatus for providing augmented reality view mode using sensor data and lane information
US9880010B2 (en) Method of and arrangement for mapping range sensor data on image sensor data
US20140285523A1 (en) Method for Integrating Virtual Object into Vehicle Displays
US8571354B2 (en) Method of and arrangement for blurring an image
KR101188105B1 (en) Apparatus and method for providing argumented reality using image information
JP4973736B2 (en) Road marking recognition device, road marking recognition method, and road marking recognition program
US9843810B2 (en) Method of using laser scanned point clouds to create selective compression masks
TW201710997A (en) Method and system for determining spatial characteristics of a camera
JP6820561B2 (en) Image processing device, display device, navigation system, image processing method and program
JP2015122547A (en) Calibration device, calibration method, camera for mounting moving body having calibration function, and program
WO2018134897A1 (en) Position and posture detection device, ar display device, position and posture detection method, and ar display method
US10607385B2 (en) Augmented reality positioning and tracking system and method
JP2009140402A (en) Information display device, information display method, information display program, and recording medium with recorded information display program
KR20130034528A (en) Position measuring method for street facility
CN110832851B (en) Image processing apparatus, image conversion method, and program
US9811889B2 (en) Method, apparatus and computer program product for generating unobstructed object views
JP5276032B2 (en) Device for calculating the position of an object
US20160275715A1 (en) Map image display device, navigation device, and map image display method
Itu et al. An efficient obstacle awareness application for android mobile devices
WO2019119358A1 (en) Method, device and system for displaying augmented reality poi information
KR101224176B1 (en) Accuracy improvement system for an outdoor Augmented Reality (AR) and the method
US9245192B2 (en) Ad collateral detection
JP2024022212A (en) Image processing apparatus, image processing method and program

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160705

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170704

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180705

Year of fee payment: 6