KR20190117213A

KR20190117213A - Apparatus and method for generating bird eye view image

Info

Publication number: KR20190117213A
Application number: KR1020180040442A
Authority: KR
Inventors: 류춘우; 이정표; 박재홍
Original assignee: 주식회사 와이즈오토모티브
Priority date: 2018-04-06
Filing date: 2018-04-06
Publication date: 2019-10-16
Also published as: KR102103418B1

Abstract

Presented are an apparatus and method for generating a bird eye view image to minimize pixel operation for image synthesis in synthesizing a bird eye view image and improve image synthesis speed. The presented apparatus for generating a bird eye view image generates a bird eye view image for a camera image acquired through the camera of a vehicle, synthesizes the bird eye view image of the current view into a synthesis bird eye view image stored in a frame buffer to generate a synthesis bird eye view image of the current view, and extracts a specific region from the synthesis bird eye view image to detect an output bird eye image output on the display of the vehicle.

Description

Bird's-eye view image generating apparatus and method {APPARATUS AND METHOD FOR GENERATING BIRD EYE VIEW IMAGE}

본 발명은 조감도 이미지 생성 장치 및 방법에 관한 것으로, 더욱 상세하게는 차량에 설치된 카메라에서 촬영된 카메라 영상을 이용하여 The present invention relates to a bird's eye view image generating apparatus and method, and more particularly, by using a camera image photographed by a camera installed in a vehicle.

차량의 상면에서 차량 방향을 주시하는 형태의 조감도 이미지를 생성하는 조감도 이미지 생성 장치 및 방법에 관한 것이다.A bird's-eye view image generating apparatus and method for generating a bird's-eye view image in the form of looking at a vehicle direction from an upper surface of a vehicle.

일반적으로, 차량은 차체에 장비한 엔진 등의 원동기를 동력원으로 하여 도로 등을 주행하며 사람이나 화물을 운반하거나 각종 작업을 수행하는 장치이고, 차량의 운전자는 주행 방향을 주시하면서 차량을 안전하게 운전한다.In general, a vehicle is a device for driving a road or the like and performing various tasks by driving a road, etc. using a prime mover such as an engine mounted on a vehicle body, and the driver of the vehicle drives the vehicle safely while watching the driving direction. .

하지만, 차량이 주차를 하는 등 후진하는 경우에 있어서는, 차량의 운전자는 차량의 후방인 주행 방향을 주시하기가 어렵다. 또한, 운전자가 전방 방향으로 운전하는 상황에서도 주변에 장애물이 많은 경우, 장애물과 차량 간의 거리를 직관적으로 판단하기 어려워 사고가 발생할 수 있는 가능성이 높다. 따라서, 차량의 주변을 디스플레이하기 위한 장치로서, 차량의 후방 또는 전방에 설치된 카메라로부터의 이미지를 모니터에 그대로 출력하거나, 상기 이미지를 변환하여 차량 주변에 대한 조감도 영상을 출력하는 디스플레이 장치가 알려져 있다.However, when the vehicle is backed up, such as parking, it is difficult for the driver of the vehicle to observe the driving direction behind the vehicle. In addition, even when the driver is driving in a forward direction, when there are a lot of obstacles around, it is difficult to intuitively determine the distance between the obstacle and the vehicle, which is likely to cause an accident. Accordingly, as a device for displaying the periphery of the vehicle, a display apparatus for outputting an image from a camera installed at the rear or front of the vehicle as it is on a monitor or converting the image to output a bird's eye view image of the periphery of the vehicle is known.

여기서, 조감도 영상을 출력하는 기술로서, 차량에 복수의 카메라를 장착하고, 복수의 카메라에서 촬영된 영상을 하나의 영상으로 합성함으로써 차량 주변 영역을 디스플레이하는 방법이 존재한다.Here, as a technique of outputting a bird's eye view image, there is a method of displaying a surrounding area of a vehicle by mounting a plurality of cameras in a vehicle and synthesizing the images photographed by the plurality of cameras into a single image.

하지만, 이 방법의 경우 조감도 영상의 생성을 위해 적어도 4개의 카메라가 요구되며, 카메라의 개수를 줄이기 위해서는 광각 카메라 등 상대적으로 비용이 많이 드는 카메라를 요구하는 단점이 존재한다.However, this method requires at least four cameras for generating a bird's eye view image, and a relatively expensive camera such as a wide angle camera is required to reduce the number of cameras.

또한, 종래에는 조감도 영상을 출력하는 기술로서, 차량에 하나의 카메라를 장착하고, 단일 카메라에서 촬영된 영상들을 합성함으로써, 조감도를 생성하는 기술이 존재한다.In addition, conventionally, as a technology for outputting a bird's eye view image, a technology for generating a bird's eye view exists by attaching one camera to a vehicle and synthesizing images captured by a single camera.

하지만, 이 기술의 경우 영상들의 합성 및 조감도 이미지 변환 과정에 의해, 다수의 이미지를 처리해야하기 때문에 부하가 높아지는 문제점이 있다.However, this technology has a problem in that the load is increased because a plurality of images have to be processed by the synthesis of the images and the bird's eye view image conversion process.

한국공개특허 제2015-0116116호(명칭: 차량 주변 이미지 생성 장치 및 방법)Korean Laid-Open Patent No. 2015-0116116 (Name: Apparatus and method for generating vehicle image around vehicle)

본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 조감도 이미지 합성시 이미지 합성을 위한 픽셀 연산을 최소화하여 이미지 합성 속도를 향상시키도록 한 조감도 이미지 생성 장치 및 방법을 제공하는 것을 목적으로 한다.The present invention has been proposed to solve the above-described problems, and an object of the present invention is to provide an apparatus and method for generating a bird's eye view image to improve image synthesis speed by minimizing pixel operations for image synthesis. .

또한, 본 발명은 픽셀 연산향을 최소화하여 저사양의 처리 장치가 적용된 차량에서도 조감도 이미지를 이용할 수 있도록 한 조감도 이미지 생성 장치 및 방법을 제공하는 것을 다른 목적으로 한다.Another object of the present invention is to provide a bird's-eye view image generating apparatus and method for minimizing pixel arithmetic directions so that a bird's-eye view image can be used even in a vehicle to which a low specification processing device is applied.

상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 조감도 이미지 생성 장치는 카메라 및 디스플레이를 포함하는 차량에 설치되고, 카메라를 통해 획득된 카메라 이미지에 대한 조감도 이미지를 생성하는 조감도 이미지 생성부, 차량의 이동 정보를 검출하는 이동 정보 검출부, 이전 시점의 합성 조감도 이미지를 복수의 텍스쳐로 구성된 프레임 버퍼에 저장하고, 조감도 이미지 생성부에서 생성된 현재 시점의 조감도 이미지를 이전 시점의 합성 조감도 이미지에 합성하여 현재 시점의 합성 조감도 이미지를 생성하는 합성 조감도 이미지 생성부 및 합성 조감도 이미지 생성부에서 생성된 합성 조감도 이미지 중 특정 영역을 추출하여 디스플레이에 출력되는 출력 조감도 이미지를 검출하는 출력 조감도 이미지 검출부를 포함한다.In order to achieve the above object, a bird's-eye view image generating apparatus according to an embodiment of the present invention is installed in a vehicle including a camera and a display, and a bird's-eye view image generating unit for generating a bird's-eye view image of the camera image obtained through the camera, A motion information detector for detecting the motion information of the camera, the synthesized bird's-eye view image of the previous view is stored in a frame buffer composed of a plurality of textures, and the bird's-eye view image generated by the bird's-eye view image generator is synthesized by the bird's-eye view image of the previous view. And an output bird's-eye view image detection unit for extracting a specific area from the synthesis bird's-eye view image generated by the synthesis bird's-eye view image generator and detecting an output bird's-eye image output on the display.

이동 정보 검출부는 차량의 이동 거리 및 이동 방향을 포함하는 이동 정보를 검출할 수 있다. 프레임 버퍼는 복수의 텍스쳐가 행렬 배치된 프레임 버퍼 오브젝트일 수 있다.The movement information detector may detect movement information including a movement distance and a movement direction of the vehicle. The frame buffer may be a frame buffer object in which a plurality of textures are arranged in a matrix.

합성 조감도 이미지 생성부는 합성 조감도 이미지의 텍스쳐 경계 이동 여부를 근거로 복수의 텍스쳐 중 적어도 하나의 텍스쳐를 이동시킬 수 있다.The composite bird's eye view image generator may move at least one texture among the plurality of textures based on whether the texture boundary of the composite bird's eye image is moved.

합성 조감도 이미지 생성부는 합성 조감도 이미지가 텍스쳐 상하 경계를 넘어서 이동하면 복수의 텍스쳐 중 적어도 하나의 텍스쳐를 수직 이동시킬 수 있다. 즉, 합성 조감도 이미지 생성부는 합성 조감도 이미지가 텍스쳐 상하 경계를 넘어서 이동하면, 합성 조감도 이미지 중 현재 시점의 조감도 이미지가 합성된 방향과 반대 방향에 배치된 한 행의 텍스쳐들을 조감도 이미지가 합성된 방향으로 수직 이동시킬 수 있다.The composite bird's eye view image generator may vertically move at least one texture among the plurality of textures when the composite bird's-eye view image moves beyond the upper and lower texture boundaries. That is, when the composite bird's eye view image moves beyond the upper and lower boundaries of the texture, the composite bird's eye view image generator generates a row of textures arranged in a direction opposite to the direction in which the bird's-eye view image is synthesized. Can be moved vertically.

합성 조감도 이미지 생성부는 합성 조감도 이미지가 텍스쳐 좌우 경계를 넘어서 이동하면 복수의 텍스쳐 중 적어도 하나의 텍스쳐를 수평 이동시킬 수 있다. 즉, 합성 조감도 이미지 생성부는 합성 조감도 이미지가 텍스쳐 좌우 경계를 넘어서 이동하면, 합성 조감도 이미지 중 현재 시점의 조감도 이미지가 합성된 방향과 반대 방향에 배치된 한 열의 텍스쳐들을 조감도 이미지가 합성된 방향으로 수평 이동시킬 수 있다.The composite bird's eye view image generator may horizontally move at least one texture among the plurality of textures when the composite bird's-eye view image moves beyond a texture left and right boundary. That is, when the composite bird's eye view image moves beyond the left and right boundary of the texture, the composite bird's eye view image generator horizontally moves a row of textures arranged in a direction opposite to the direction in which the bird's-eye view image is synthesized in the bird's-eye view image. You can move it.

이처럼, 합성 조감도 이미지 생성부는 복수의 텍스쳐 중 일부를 이동시켜 이전 시점의 합성 조감도 이미지에 합성된 현재 시점의 조감도 이미지를 프레임 버퍼의 중앙에 위치한 텍스쳐에 배치시킬 수 있다.As such, the composite bird's eye view image generating unit may move a part of the plurality of textures to place the bird's-eye view image synthesized in the composite bird's-eye view image of the previous view in a texture located in the center of the frame buffer.

합성 조감도 이미지 생성부는 이전 시점의 합성 조감도 이미지 및 이동 정보를 근거로 합성 기준 위치를 설정하고, 합성 기준 위치에 현재 시점의 조감도 이미지를 배치할 수 있다.The composite bird's eye view image generator may set the synthesis reference position based on the synthesis bird's eye view image and the movement information of the previous view, and may place the bird's-eye view image of the current view at the synthesis reference position.

상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 조감도 이미지 생성 장치를 이용한 조감도 이미지 생성 방법은 카메라를 통해 획득된 카메라 이미지에 대한 조감도 이미지를 생성하는 단계, 차량의 이동 정보를 검출하는 단계, 복수의 텍스쳐로 구성된 프레임 버퍼에 저장된 이전 시점의 합성 조감도 이미지에 조감도 이미지를 생성하는 단계에서 생성된 현재 시점의 조감도 이미지를 합성하여 현재 시점의 합성 조감도 이미지를 생성하는 단계 및 현재 시점의 합성 조감도 이미지 중 특정 영역을 추출하여 디스플레이에 출력되는 출력 조감도 이미지를 검출하는 단계를 포함한다.In order to achieve the above object, the method of generating a bird's eye view image using a bird's eye view image generating device according to an embodiment of the present invention includes generating a bird's eye view image of a camera image obtained through a camera, detecting movement information of a vehicle; Synthesizing the bird's-eye view image generated in the step of generating a bird's-eye view image from the previous bird's-eye view image stored in the frame buffer composed of a plurality of textures to generate a bird's-eye view image of the current view and a composite bird's-eye image of the current view Detecting an output bird's eye image that is output to the display by extracting a specific region from among the three regions;

이동 정보를 검출하는 단계에서는 차량의 이동 거리 및 이동 방향을 포함하는 이동 정보를 검출할 수 있다. 프레임 버퍼는 복수의 텍스쳐가 행렬 배치된 프레임 버퍼 오브젝트일 수 있다.In the detecting of the movement information, movement information including a movement distance and a movement direction of the vehicle may be detected. The frame buffer may be a frame buffer object in which a plurality of textures are arranged in a matrix.

합성 조감도 이미지의 텍스쳐 경계 이동 여부를 근거로 복수의 텍스쳐 중 적어도 하나의 텍스쳐를 이동시키는 단계를 더 포함할 수 있다.The method may further include moving at least one texture from among the plurality of textures based on whether the texture boundary of the composite bird's eye image moves.

텍스쳐를 이동시키는 단계는 합성 조감도 이미지가 텍스쳐 상하 경계를 넘어서 이동하면 복수의 텍스쳐 중 적어도 하나의 텍스쳐를 수직 이동시키는 단계를 포함할 수 있다. 이때, 텍스쳐를 수직 이동시키는 단계에서는 합성 조감도 이미지 중 현재 시점의 조감도 이미지가 합성된 방향과 반대 방향에 배치된 한 행의 텍스쳐들을 조감도 이미지가 합성된 방향으로 수직 이동시킬 수 있다.The moving of the texture may include vertically moving at least one of the plurality of textures when the composite bird's eye view image moves beyond the upper and lower texture boundaries. In this case, in the vertically moving the texture, one row of textures arranged in a direction opposite to the direction in which the bird's eye view image is synthesized in the bird's eye view image may be vertically moved in the direction in which the bird's eye view image is synthesized.

텍스쳐를 이동시키는 단계는 합성 조감도 이미지가 텍스쳐 좌우 경계를 넘어서 이동하면 복수의 텍스쳐 중 적어도 하나의 텍스쳐를 수평 이동시키는 단계를 포함할 수 있다. 이때, 텍스쳐를 수평 이동시키는 단계에서는 합성 조감도 이미지 중 현재 시점의 조감도 이미지가 합성된 방향과 반대 방향에 배치된 한 열의 텍스쳐들을 조감도 이미지가 합성된 방향으로 수평 이동시킬 수 있다.The moving of the texture may include horizontally moving at least one texture of the plurality of textures when the synthesized bird's eye view image moves beyond a texture left and right boundary. At this time, in the step of horizontally moving the texture, one row of textures arranged in a direction opposite to the direction in which the bird's-eye view image is synthesized in the bird's-eye view image may be horizontally moved in the direction in which the bird's-eye image is synthesized.

이를 통해, 텍스쳐를 이동시키는 단계에서는 복수의 텍스쳐 중 적어도 하나의 텍스쳐를 이동시켜 이전 시점의 합성 조감도 이미지에 합성된 현재 시점의 조감도 이미지를 프레임 버퍼의 중앙에 위치한 텍스쳐에 배치시킬 수 있다.In this manner, in the moving of the texture, at least one texture of the plurality of textures may be moved to place the bird's-eye view image synthesized in the previous bird's-eye view image on the texture located in the center of the frame buffer.

합성 조감도 이미지를 생성하는 단계는 이전 시점의 합성 조감도 이미지 및 이동 정보를 근거로 합성 기준 위치를 설정하는 단계 및 합성 기준 위치에 현재 시점의 조감도 이미지를 배치하는 단계를 포함할 수 있다.The generating of the composite bird's eye view image may include setting a synthesis reference position based on the synthesis bird's-eye view image and movement information of the previous view and disposing a bird's-eye view image of the current view at the synthesis reference position.

본 발명에 의하면, 조감도 이미지 생성 장치 및 방법 현재 시점의 합성 조감도 이미지를 생성하기 위해서 현재 시점의 조감도 이미지를 합성하고 합성 조감도 이미지에 대한 이미지 변환을 수행하기 때문에 이미지 처리를 위한 픽셀 연산량이 종래에 비해 감소하는 효과가 있다.According to the present invention, a bird's eye view image generating apparatus and method synthesizes a bird's eye view image of the current view and performs image conversion on the synthesized bird's-eye image to generate a composite bird's-eye image of the current view, compared to the conventional method. It has a decreasing effect.

또한, 조감도 이미지 생성 장치 및 방법은 프레임 버퍼에 합성 기준 위치를 설정하고, 합성 기준 위치에 현재 시점의 조감도 이미지를 배치함으로써, 합성 조감도 이미지 생성시 이전 시점들의 합성 조감도 이미지를 편집(회전, 이동, 크롭 등)하지 않고, 현재 시점의 조감도 이미지만을 편집하기 때문에, 종래의 조감도 이미지 생성 장치에 비해 픽셀 연산량을 최소화할 수 있다.In addition, the bird's eye view image generating apparatus and method sets a composition reference position in the frame buffer and arranges the bird's-eye view image at the composition reference position, thereby editing (rotating, moving, Since only the bird's-eye view image is edited without cropping, etc., the pixel calculation amount can be minimized as compared with the conventional bird's-eye view image generating device.

도 1 및 도 2는 종래의 조감도 이미지 생성 장치와 본 발명의 실시 예에 따른 조감도 이미지 생성 장치를 비교 설명하기 위한 도면.
도 3은 본 발명의 실시 예에 따른 조감도 이미지 생성 장치를 설명하기 위한 블록도.
도 4 내지 도 7은 도 3의 합성 조감도 이미지 생성부를 설명하기 위한 도면.
도 8은 도 3의 출력 조감도 이미지 검출부를 설명하기 위한 도면.
도 9 내지 도 11은 도 3의 합성 조감도 이미지 생성부에서 관리하는 프레임 버퍼를 설명하기 위한 도면.
도 12는 본 발명의 실시 예에 따른 조감도 이미지 생성 방법을 설명하기 위한 흐름도.
도 13 및 도 14는 도 12의 합성 조감도 이미지 생성 단계를 설명하기 위한 흐름도.1 and 2 are views for comparing a conventional bird's eye view image generating device and a bird's eye view image generating device according to an embodiment of the present invention.
3 is a block diagram illustrating a bird's eye view image generating apparatus according to an embodiment of the present invention.
4 to 7 are views for explaining the composite bird's eye view image generating unit of FIG.
FIG. 8 is a diagram for describing an output bird's eye view image detector of FIG. 3. FIG.
9 to 11 are diagrams for describing a frame buffer managed by the composite bird's eye view image generation unit of FIG. 3.
12 is a flowchart illustrating a method of generating a bird's eye view image, according to an exemplary embodiment.
13 and 14 are flowcharts for explaining the synthesis bird's-eye image generation step of FIG. 12.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시 예를 첨부 도면을 참조하여 설명하기로 한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, the most preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the technical idea of the present invention. . First of all, in adding reference numerals to the components of each drawing, it should be noted that the same reference numerals are used as much as possible even if displayed on different drawings. In addition, in describing the present invention, when it is determined that the detailed description of the related well-known configuration or function may obscure the gist of the present invention, the detailed description thereof will be omitted.

조감도 이미지 생성 장치는 차량에 장착된 카메라에서 촬영된 카메라 영상을 이용한 조감도 이미지를 생성하는 장치이다. 본 발명의 실시 예에 따른 조감도 이미지 생성 장치를 설명하기 전에, 종래 기술에 따른 조감도 이미지 생성 장치를 설명하면 아래와 같다.The bird's-eye view image generating device is a device for generating a bird's-eye view image using a camera image photographed by a camera mounted on a vehicle. Before describing the bird's eye view image generating apparatus according to the exemplary embodiment of the present invention, a bird's eye view image generating apparatus according to the prior art will be described below.

도 1을 참조하면, 종래의 조감도 이미지 생성 장치는 카메라 영상(CI)으로부터 현재 시점(t)의 조감도 이미지(BEV_t)를 생성한다. Referring to FIG. 1, the conventional bird's eye view image generating device generates a bird's-eye view image BEV _t of a current view t from a camera image CI.

종래의 조감도 이미지 생성 장치는 현재 시점(t) 이전에 생성된 복수의 과거 조감도 이미지들(BEV_t-1~BEV_t-4)과 현재 시점(t)의 조감도 이미지(BEV_t)를 합성하여 현재 시점(t)의 합성 조감도 이미지(CBEV_t)를 생성한다.The conventional bird's-eye view image generating device synthesizes a plurality of past bird's-eye view images BEV _t-1 to BEV _t-4 and a bird's-eye view image BEV _{t of} the current view _t before the current view _t . A composite aerial view image CBEV _t of a viewpoint _t is generated.

이때, 종래의 조감도 이미지 생성 장치는 현재 시점(t)의 조감도 이미지(BEV_t)의 시점에 맞춰 과거 조감도 이미지들(BEV_t-1~BEV_t-4)을 회전시키고, 회전된 과거 조감도 이미지(BEV_t-1~BEV_t-4)와 현재 시점(t)의 조감도 이미지(BEV_t)를 합성하여 합성 조감도 이미지(CBEV_t)를 생성한다.In this case, a conventional bird's eye view image generating apparatus to rotate past a bird's eye view image _{_{(BEV t-1 ~ BEV t}} -4) according to the time of the bird's eye view image (BEV _t) at the current time (t), the rotated past a bird's eye view image ( BEV _t-1 to BEV _t-4 ) and the bird's-eye view image BEV _t are generated to generate a composite bird's-eye image CBEV _t .

종래의 조감도 이미지 생성 장치는 합성 조감도 이미지(CBEV_t)의 생성시 과거 조감도 이미지들(BEV_t-1~BEV_t-4)을 회전시켜야 하기 때문에 이미지 처리를 위한 픽셀 연산량을 증가하게 된다. 일례로, 카메라 영상을 256×64 사이즈의 조감도 이미지로 변환하고, 1개 내지 100개의 조감도 이미지들을 합성하는 경우, 합성 조감도 이미지 생성을 위한 픽셀 연산량은 대략 16384 내지 1638400 정도이다.The conventional bird's-eye view image generating apparatus needs to rotate past bird's-eye view images BEV _t-1 to BEV _t-4 when generating the composite bird's-eye view image CBEV _t , thereby increasing the amount of pixel computation for image processing. For example, when the camera image is converted into a 256 × 64 view image and synthesized from 1 to 100 view images, the pixel calculation amount for generating the synthesized view image is about 16384 to 1638400.

차량은 조감도 이미지 생성 장치의 적용을 고려한 경우 고사양의 처리 장치(예를 들면, CPU, MPU, GPU)가 적용되기 때문에 상술한 연산량이 문제가 되지 않을 수 있다.When the vehicle considers the application of the bird's eye view image generating device, since a high-performance processing device (for example, a CPU, an MPU, and a GPU) is applied, the amount of calculation described above may not be a problem.

하지만, 최근의 차량은 차량 상태, 주행 정보 등을 이미지화하여 제공하고, 다양한 정보를 처리하기 때문에, 연산량의 증가로 인해 제조 비용이 상승하고, 정보 처리에 있어 오류가 발생할 수 있다.However, since recent vehicles provide images of vehicle status, driving information, and the like, and process various types of information, manufacturing costs may increase due to an increase in calculation amount, and errors may occur in information processing.

또한, 차량은 조감도 이미지 생성 장치의 적용을 고려하지 않은 경우 저사양의 처리 장치가 적용되기 때문에 조감도 이미지의 합성시 동작 속도가 초당 30 프레임이 되지 않는 경우가 발생한다. 이로 인해, 조감도 이미지가 부드럽게 출력되지 않아 운전자가 이질감을 느끼게 되어, 조감도 이미지 생성 장치를 적용하기 어려워질 수 있다.In addition, when the vehicle does not consider the application of the bird's eye view image generating device, since a low specification processing device is applied, the operation speed may not be 30 frames per second when synthesizing the bird's eye view image. As a result, the bird's-eye view image is not output smoothly, so that the driver may feel heterogeneous, and it may be difficult to apply the bird's-eye view image generating device.

이에, 본 발명의 실시 예에 따른 조감도 이미지 생성 장치는 조감도 이미지 합성시 이미지 합성을 위한 픽셀 연산을 최소화하여 이미지 합성 속도를 향상시키는 것을 목적으로 한다.Accordingly, an apparatus for generating a bird's eye view according to an exemplary embodiment of the present invention aims to improve image synthesis speed by minimizing pixel operations for image synthesis during bird's eye view image synthesis.

이를 위해, 도 2에 도시된 바와 같이, 본 발명의 실시 예에 따른 조감도 이미지 생성 장치는 이전 시점(t-1)에 생성되어 프레임 버퍼(FB)에 저장된 합성 조감도 이미지(CBEV_t-1)에 현재 시점(t)의 조감도 이미지(BEV_t)를 합성하여 현재 시점(t)의 합성 조감도 이미지(CBEV_t)를 생성한다.To this end, as shown in FIG. 2, the apparatus for generating a bird's eye view image according to an exemplary embodiment of the present invention may be generated at a composite bird's _- eye view image CBEV _t-1 generated at a previous time point t-1 and stored in the frame buffer FB. A bird's-eye view image BEV _{t of} the current view t is synthesized to generate a synthesized bird's-eye image CBEV _t of the current view t.

이때, 본 발명의 실시 예에 따른 조감도 이미지 생성 장치는 이전 시점(t-n)의 합성 조감도 이미지를 회전시키지 않고, 차량의 이동 정보에 따라 현재 시점(t)의 조감도 이미지(BEV_t)를 합성할 위치를 설정한 후, 이전 시점(t-1)의 합성 조감도 이미지(CBEV_t-1)에 조감도 이미지(BEV_t)를 합성하여 현재 시점(t)의 합성 조감도 이미지(CBEV_t)를 생성한다.In this case, the bird's-eye view image generating apparatus according to an embodiment of the present invention does not rotate the composite bird's-eye view image of the previous view tn, and a position to synthesize the bird's-eye view image BEV _t of the current view t according to the movement information of the vehicle. After setting, the bird's _- eye view image BEV _t is synthesized with the composite bird's-eye image CBEV _t-1 of the previous view _t-1 to generate a composite bird's-eye view CBEV _t of the current view t.

본 발명의 실시 예에 따른 조감도 이미지 생성 장치는 생성한 합성 조감도 이미지(CBEV_t)를 스케일 조정, 회전 및 수평 이동 등의 이미지 변환한 후 차량의 화면에 출력한다.The bird's-eye view image generating apparatus according to an embodiment of the present invention converts the generated bird's-eye view image CBEV _t into an image on a vehicle screen after converting an image such as scale adjustment, rotation, and horizontal movement.

본 발명의 실시 예에 따른 조감도 이미지 생성 장치는 현재 시점(t)의 합성 조감도 이미지(CBEV_t)를 생성하기 위해서 현재 시점(t)의 조감도 이미지(BEV_t)만을 합성하고 합성 조감도 이미지(CBEVt)에 대한 이미지 변환을 수행하기 때문에 이미지 처리를 위한 픽셀 연산량이 종래에 비해 감소하게 된다. The bird's-eye view image generating apparatus according to an embodiment of the present invention synthesizes only the bird's-eye view image BEV _t of the current view t in order to generate a composite bird's-eye view image CBEV _{t of the} current view t. Since the image conversion is performed for, the pixel computation amount for image processing is reduced as compared with the conventional art.

일례로, 카메라 영상을 256×64 사이즈의 조감도 이미지로 변환하고, 이전 시점(t-1)의 합성 조감도 이미지(CBEV_t-1)와 현재 시점(t)의 조감도 이미지(BEV_t)를 합성하기 때문에 합성 조감도 이미지 생성을 위한 픽셀 연산량은 대략 147456 정도이다.For example, converting the camera image into a 256 × 64 size bird's-eye view image, and synthesizing the composite bird's _- eye image CBEV _t-1 of the previous viewpoint t-1 and the bird's _- eye image BEV _t of the current viewpoint t. Therefore, the amount of pixel computation for generating the composite bird's eye view image is approximately 147456.

이하에서는 첨부된 도면을 참조하여 본 발명의 실시 예에 따른 조감도 이미지 생성 장치를 설명한다.Hereinafter, a bird's eye view image generating apparatus according to an exemplary embodiment will be described with reference to the accompanying drawings.

도 3을 참조하면, 조감도 이미지 생성 장치(100)는 카메라 이미지 저장부(110), 조감도 이미지 생성부(120), 이동 정보 검출부(130), 합성 조감도 이미지 생성부(140) 및 출력 조감도 이미지 검출부(160)를 포함한다.Referring to FIG. 3, the bird's eye view image generating apparatus 100 includes a camera image storage unit 110, a bird's eye view image generator 120, a movement information detector 130, a synthesized bird's-eye view image generator 140, and an output bird's-eye view image detector. 160.

카메라 이미지 저장부(110)는 차량(10)에 장착된 카메라(12)로부터 각 시점에 촬영된 카메라 이미지들이 저장될 수 있다. 카메라 이미지 저장부(110)는 카메라 이미지들에 생성 시점 정보를 연계하여 저장할 수 있다. 생성 시점 정보는 카메라 이미지의 촬영 시점인 것을 일례로 한다. 여기서, 카메라(12)는 복수개가 포함될 수 있으며, 그 설치 위치도 특정 위치로 제한되지 않는다. 즉, 본 발명의 일 실시예에 따른 조감도 이미지 생성 장치(100)는 카메라(12)의 종류, 설치 위치 및 개수에 관계없이 적용될 수 있다.The camera image storage unit 110 may store camera images photographed at each viewpoint from the camera 12 mounted on the vehicle 10. The camera image storage unit 110 may store generation time information in association with camera images. As an example, the generation time information is a shooting time of the camera image. Here, the camera 12 may include a plurality, the installation position is not limited to a specific position. That is, the bird's eye view image generating apparatus 100 according to an embodiment of the present invention may be applied regardless of the type, installation location, and number of the cameras 12.

카메라 이미지 저장부(110)는 조감도 이미지 생성부(120)에서 생성된 조감도 이미지를 저장할 수도 있다. 이때, 카메라 이미지 저장부(110)는 조감도 이미지의 생성 시점 또는 촬영 시점을 조감도 이미지와 연계하여 저장한다.The camera image storage unit 110 may store the bird's-eye view image generated by the bird's-eye view image generator 120. In this case, the camera image storage unit 110 stores a view point of generating or photographing the bird's eye view image in association with the bird's-eye view image.

조감도 이미지 생성부(120)는 카메라 이미지를 이용하여 현재 시점의 조감도 이미지를 생성한다. 조감도 이미지 생성부(120)는 카메라 이미지를 시점 변환하여 조감도 이미지를 생성한다. 조감도 이미지는 별도의 저장부(미도시) 또는 카메라 이미지 저장부(110)에 저장될 수 있다.The bird's-eye view image generator 120 generates a bird's-eye view of the current view using the camera image. The bird's eye view image generator 120 converts a camera image to generate a bird's eye view image. The bird's eye view image may be stored in a separate storage unit (not shown) or the camera image storage unit 110.

예를 들어, 조감도 이미지 생성부(120)는 카메라 이미지를 투시 변환하여 조감도 이미지를 생성할 수 있다. 조감도 이미지 생성부(120)는 지면상의 이미지의 위치 데이터가 카메라(12)의 위치(R)로부터 초점 거리(f)를 갖는 스크린 평면(T)상으로 투영되는 방식으로 투시 변환을 실행할 수 있다.For example, the bird's eye view image generating unit 120 may generate a bird's eye view image by perspective converting the camera image. The bird's-eye view image generator 120 may perform perspective transformation in such a manner that position data of an image on the ground is projected onto the screen plane T having a focal length f from the position R of the camera 12.

조감도 이미지 생성부(120)는 상술한 방법 이외에도 다양한 방법으로 조감도 이미지를 생성할 수 있다.The bird's-eye view image generating unit 120 may generate the bird's-eye view image in various ways in addition to the above-described method.

이동 정보 검출부(130)는 차량(10)의 이동 정보를 검출한다. 이동 정보 검출부(130)는 차량(10)의 이동 거리, 이동 방향(각도) 등을 포함하는 이동 정보를 검출할 수 있다.The movement information detector 130 detects movement information of the vehicle 10. The movement information detector 130 may detect movement information including a movement distance, a movement direction (angle), and the like of the vehicle 10.

이동 정보 검출부(130)는 조감도 이미지 생성부(120)에서 생성된 조감도 이미지를 이용하여 이동 정보를 검출할 수 있다. 이동 정보 검출부(130)는 현재 시점과 이전 시점의 조감도 이미지들을 비교하여 차량(10)의 이동 거리, 이동 방향(각도) 등을 검출한다. The movement information detector 130 may detect the movement information by using the bird's-eye view image generated by the bird's-eye view image generator 120. The movement information detector 130 detects a moving distance, a moving direction (angle) of the vehicle 10 by comparing the bird's-eye view images of the current view and the previous view.

예를 들어, 이동 정보 검출부(130)는 현재 시점의 조감도 이미지 및 이전 시점의 조감도 이미지를 검출한다.For example, the movement information detector 130 detects the bird's-eye view image of the current view and the bird's-eye view image of the previous view.

이동 정보 검출부(130)는 검출한 2개의 조감도 이미지들로부터 비교 대상을 검출한다. 이때, 이동 정보 검출부(130)는 조감도 이미지들에 모두 포함된 객체, 특징점, 이미지 등을 비교 대상으로 검출한다.The movement information detector 130 detects a comparison target from the two bird's eye view images detected. In this case, the movement information detector 130 detects an object, a feature point, an image, and the like included in all bird's eye view images as a comparison target.

이동 정보 검출부(130)는 검출한 비교 대상들의 매칭 과정을 통해 두 시점 간 차량(10)의 이동 정보를 검출한다. 이때, 현재 시점을 제1 시점이라고 하고, 이전 시점을 제2 시점이라고 할 때, 이동 정보 검출부(130)는 제1 시점의 조감도 이미지에 포함된 비교 대상과 제2 시점의 조감도 이미지에 포함된 비교 대상을 매칭함으로써, 차량(10)의 이동 정보를 검출할 수 있다.The movement information detector 130 detects movement information of the vehicle 10 between two viewpoints through a matching process of the detected comparison targets. In this case, when the current view is referred to as the first view and the previous view as the second view, the movement information detector 130 compares the comparison target included in the bird's-eye view image with the bird's-eye view image of the second view. By matching the object, the movement information of the vehicle 10 can be detected.

이동 정보 검출부(130)는 차량(10)에 설치된 각종 센서(14)들의 센싱값을 이용하여 이동 정보를 검출할 수도 있다. 일례로, 이동 정보 검출부(130)는 차량(10)에 장착된 휠 펄스 센서의 감지값을 근거로 차량(10)의 이동 거리를 검출하고, 조향 각도 센서의 검출 조향 각도 값을 근거로 이동 방향(각도)을 검출할 수 있다.The movement information detector 130 may detect movement information by using sensing values of various sensors 14 installed in the vehicle 10. For example, the movement information detector 130 detects a movement distance of the vehicle 10 based on the detected value of the wheel pulse sensor mounted on the vehicle 10, and moves the movement direction based on the detected steering angle value of the steering angle sensor. (Angle) can be detected.

이동 정보 검출부(130)는 상술한 방법 이외에도 다양한 방법으로 이동 정보를 검출할 수 있다.The movement information detector 130 may detect movement information in various ways in addition to the above-described methods.

합성 조감도 이미지 생성부(140)는 이전 시점에 생성된 합성 조감도 이미지를 관리한다. 합성 조감도 이미지 생성부(140)는 복수의 텍스쳐(155)를 프레임 버퍼(150)를 통해 이전 시점의 합성 조감도 이미지를 관리한다. The composite bird's eye view image generator 140 manages the composite bird's eye view image generated at a previous time. The composite bird's eye view image generator 140 manages the composite bird's-eye view image of the previous time through the plurality of textures 155 through the frame buffer 150.

이때, 도 4를 참조하면, 프레임 버퍼(150)가 단일 텍스쳐(155)로 구성된 경우, 합성 조감도 이미지가 텍스쳐(155) 영역을 벗어나게 될 수 있다.In this case, referring to FIG. 4, when the frame buffer 150 is composed of a single texture 155, the composite bird's eye view image may be out of the texture 155 region.

이에, 합성 조감도 이미지 생성부(140)는 복수의 텍스쳐(155)를 N*N 배열로 배치된 프레임 버퍼(150)를 구성한다. 합성 프레임 버퍼(150)는 이전 시점의 합성 조감도 이미지(CBEV_t-1)를 저장한다. 도 5를 참조하면, 합성 조감도 이미지 생성부(140)는 고정된 크기를 갖는 9개의 텍스쳐(155)들이 3행 3열로 배치된 FBO(Frame Buffer Object)인 것을 일례로 한다.Accordingly, the composite bird's eye view image generator 140 configures the frame buffer 150 in which the plurality of textures 155 are arranged in an N * N array. The composite frame buffer 150 stores the composite bird's eye view image CBEV _t-1 of a previous time. Referring to FIG. 5, the composite bird's eye view image generation unit 140 is an example that nine textures 155 having a fixed size are FBOs (Frame Buffer Objects) arranged in three rows and three columns.

합성 조감도 이미지 생성부(140)는 각각의 텍스쳐(155)의 배치 위치에 따른 물리적 주소를 설정할 수 있다. 합성 조감도 이미지 생성부(140)는 복수의 텍스쳐(155)에 물리적 주소를 설정하고, 하나의 텍스쳐(155)을 기준 텍스쳐(155)로 설정하고, 다른 텍스쳐(155)들에 기준 텍스쳐(155)와의 상대적 위치(주소)를 설정하여 프레임 버퍼(150)를 관리할 수도 있다.The composite bird's eye view image generator 140 may set a physical address according to an arrangement position of each texture 155. The composite bird's eye view image generator 140 sets a physical address to the plurality of textures 155, sets one texture 155 as the reference texture 155, and sets the reference texture 155 to the other textures 155. The frame buffer 150 may be managed by setting a relative position (address) of the.

합성 조감도 이미지 생성부(140)는 이동 정보 생성부에서 생성된 이동 정보를 근거로 현재 시점의 합성 조감도 이미지를 생성한다. 합성 조감도 이미지 생성부(140)는 프레임 버퍼(150)에 저장된 이전 시점의 합성 조감도 이미지에 현재 시점의 조감도 이미지를 합성하여 현재 시점의 합성 조감도 이미지를 생성한다. 현재 시점의 합성 조감도 이미지를 생성하는 방법을 상세하게 설명하면 아래와 같다.The composite bird's eye view image generator 140 generates a composite bird's eye view image of the current view based on the movement information generated by the movement information generator. The synthesized bird's eye view image generator 140 generates a bird's-eye view image of the current view by combining the bird's-eye view image with the synthesized bird's-eye view image stored in the frame buffer 150. A method of generating a composite bird's eye view image at the present time is described in detail below.

합성 조감도 이미지 생성부(140)는 이동 정보를 근거로 현재 시점의 조감도 이미지의 합성 위치를 설정한다. 합성 조감도 이미지 생성부(140)는 이동 정보에 포함된 이동 거리, 이동 방향(각도)를 근거로 합성 기준 위치를 설정한다.The composite bird's eye view image generation unit 140 sets the synthesis position of the bird's-eye view image based on the movement information. The composite bird's eye view image generation unit 140 sets the composition reference position based on the movement distance and the movement direction (angle) included in the movement information.

일례로, 도 6을 참조하면, 차량(10)이 전방으로 제1 거리(D1)만큼 이동한 경우, 합성 조감도 이미지 생성부(140)는 프레임 버퍼(150)에 저장된 이전 시점(t-1)의 합성 조감도 이미지(CBEV_t-1) 중에서 차량(10)의 이동 방향에 대응하는 변에서 제1 거리(D1)만큼 이동시킨 선분을 합성 기준 위치(P_th)로 설정한다.For example, referring to FIG. 6, when the vehicle 10 moves forward by the first distance D1, the composite bird's eye view image generator 140 may store the previous time point t-1 stored in the frame buffer 150. The line segment moved from the side corresponding to the moving direction of the vehicle 10 in the synthesized bird's eye view image CBEV _t-1 by the first distance D1 is set as the synthesized reference position P _th .

다른 일례로, 도 7을 참조하면, 차량(10)이 제1 각도(θ1)만큼 좌측 전방 방향으로 회전하면서 제2 거리(D2)만큼 이동한 경우, 합성 조감도 이미지 생성부(140)는 프레임 버퍼(150)에 저장된 이전 시점(t-1) 합성 조감도 이미지(CBEV_t-1) 중에서 차량(10)의 이동 방향에 대응하는 변에서 제2 거리(D2)만큼 이동시킨 선분을 제1 각도(θ1)만큼 좌측으로 회전 이동시킨 선분을 합성 기준 위치(P_th)로 설정한다.As another example, referring to FIG. 7, when the vehicle 10 is moved by the second distance D2 while rotating in the left front direction by the first angle θ1, the synthesized aerial view image generator 140 may perform a frame buffer. The first angle (θ1) of a line segment moved by the second distance D2 from the side corresponding to the moving direction of the vehicle 10 among the previous viewpoint t-1 synthesized bird's eye view image CBEV _t-1 stored at 150. The line segment rotated to the left by) is set to the compound reference position P _th .

여기서, 합성 조감도 이미지 생성부(140)는 선분을 합성 기준 위치(P_th)로 설정하는 것을 예로 들어 설명하였으나, 이에 한정되지 않고, 하나 이상의 기준점 좌표를 합성 기준 위치로 설정할 수도 있다.Here, the composite bird's eye view image generation unit 140 has been described by setting the line segment to the synthesis reference position P _th as an example, but is not limited thereto, and may set one or more reference point coordinates as the synthesis reference position.

즉, 합성 조감도 이미지 생성부(140)는 이전 시점의 조감도 이미지와 현재 시점의 조감도 이미지를 매칭하여 두 조감도 이미지에 공통으로 존재하는 하나 이상의 특징점을 기준점으로 검출하고, 이동 거리를 반영하여 이동시킨 기준점의 좌표를 합성 기준 위치로 설정할 수도 있다.That is, the composite bird's eye view image generation unit 140 matches the bird's-eye view image and the bird's-eye view image of the previous view to detect one or more feature points that are common to the two bird's-eye views as a reference point, and moves the reference point to reflect the moving distance. It is also possible to set the coordinate of to the composition reference position.

합성 조감도 이미지 생성부(140)는 프레임 버퍼(150)의 합성 기준 위치에 현재 시점의 조감도 이미지를 배치한다. 즉, 합성 조감도 이미지 생성부(140)는 프레임 버퍼(150)에 저장된 이전 시점의 합성 조감도 이미지에 현재 시점의 조감도 이미지를 배치시켜 이전 시점의 합성 조감도 이미지와 합성함으로써, 현재 시점의 합성 조감도 이미지를 생성한다.The composite bird's eye view image generator 140 arranges the bird's-eye view image of the current view at the composition reference position of the frame buffer 150. That is, the composite bird's eye view image generating unit 140 arranges the bird's-eye view image of the current view in the synthesized bird's-eye view image stored in the frame buffer 150 to synthesize the bird's-eye view image of the current view. Create

이때, 합성 조감도 이미지 생성부(140)는 프레임 버퍼(150)에 합성 기준 위치를 설정하고, 합성 기준 위치에 현재 시점의 조감도 이미지를 배치함으로써, 합성 조감도 이미지 생성시 이전 시점들의 합성 조감도 이미지를 편집(회전, 이동, 크롭 등)하지 않고, 현재 시점의 조감도 이미지만을 편집하기 때문에, 종래의 조감도 이미지 생성 장치(100)에 비해 픽셀 연산량을 최소화할 수 있다.In this case, the composite bird's eye view image generator 140 sets the composite reference position in the frame buffer 150 and arranges the bird's-eye image of the current view at the composite reference position, thereby editing the composite bird's-eye image of the previous viewpoints when the composite bird's-eye image is generated. Since only the bird's-eye view image is edited without rotation (movement, cropping, etc.), the pixel calculation amount can be minimized as compared with the conventional bird's-eye view image generating apparatus 100.

합성 조감도 이미지 생성부(140)는 후술할 출력 조감도 이미지 검출부(160)의 출력 조감도 이미지의 검출이 완료된 이후 프레임 버퍼(150)에 저장된 현재 시점의 합성 조감도 이미지를 이전 시점의 합성 조감도 이미지로 설정한다. 합성 조감도 이미지 생성부(140)는 상술한 합성 조감도 이미지 생성 전에 프레임 버퍼(150)에 저장된 현재 시점의 합성 조감도 이미지를 이전 시점의 합성 조감도 이미지로 설정할 수도 있다.The composite bird's eye image generator 140 sets the composite bird's eye image of the current view stored in the frame buffer 150 as the composite bird's eye image of the previous view after the detection of the output bird's-eye view image of the output bird's-eye image detector 160, which will be described later, is completed. . The composite bird's eye view image generator 140 may set the composite bird's eye view image of the current view stored in the frame buffer 150 as the composite bird's-eye view image of the previous view before generating the above-described composite bird's-eye view image.

출력 조감도 이미지 검출부(160)는 차량(10)의 디스플레이(16)에 출력할 조감도 이미지인 출력 조감도 이미지를 검출한다. 출력 조감도 이미지 검출부(160)는 프레임 버퍼(150)에 저장된 현재 시점의 합성 조감도 이미지 중에서 일부를 크롭(Crop)하여 출력 조감도 이미지를 검출한다. 출력 조감도 이미지 검출부(160)는 크롭을 통해 현재 시점의 합성 조감도 이미지 중 특정 영역을 출력 조감도 이미지로 검출한다. 출력 조감도 이미지 검출부(160)는 합성 기준 위치를 기준으로 설정된 크기(면적)의 영역을 크롭하여 출력 조감도 이미지를 검출한다. The output bird's eye image detection unit 160 detects an output bird's-eye image, which is a bird's-eye image to be output to the display 16 of the vehicle 10. The output bird's-eye view image detector 160 crops a part of the composite bird's-eye view image stored in the frame buffer 150 to detect the output bird's-eye view image. The output bird's eye view image detection unit 160 detects a specific region of the composite bird's-eye view image of the current view through the crop as an output bird's-eye view image. The output bird's-eye image detector 160 detects an output bird's-eye image by cropping an area having a size (area) set based on the composition reference position.

출력 조감도 이미지 검출부(160)는 출력 조감도 이미지에 대한 스케일 조정, 회전, 수평 이동 등의 이미지 변환을 수행한다. 출력 조감도 이미지 검출부(160)는 이미지 변환된 출력 조감도 이미지를 차량(10)의 디스플레이(16)에 출력한다.The output bird's eye view image detection unit 160 performs image conversion such as scale adjustment, rotation, and horizontal movement on the output bird's-eye view image. The output bird's eye view image detector 160 outputs the converted image of the bird's-eye view to the display 16 of the vehicle 10.

일례로, 도 8을 참조하면, 출력 조감도 이미지 검출부(160)는 합성 기준 위치를 기준으로 합성 조감도 이미지를 크롭하여 크롭 조감도 이미지(BEV_crop)를 검출한다. 출력 조감도 이미지 검출부(160)는 크롭 조감도 이미지(BEV_crop)의 크기를 차량(10)의 디스플레이(16)에 설정된 크기로 스케일 조정한다. 출력 조감도 이미지 검출부(160)는 차량(10)의 위치를 반영하여 크롭 조감도 이미지(BEV_crop)를 회전 및 수평 이동시켜 출력 조감도 이미지(BEV_output)로 검출한다. 출력 조감도 이미지 검출부(160)는 출력 조감도 이미지(BEV_output)를 차량(10)의 디스플레이(16)에 출력한다.For example, referring to FIG. 8, the output bird's-eye view image detector 160 detects a crop bird's-eye image (BEV _crop ) by cropping the composite bird's-eye image based on the synthesis reference position. The output bird's eye view image detector 160 scales the size of the crop bird's-eye view image BEV _crop to a size set on the display 16 of the vehicle 10. The output bird's eye view image detection unit 160 rotates and horizontally moves the crop bird's-eye view image BEV _crop to reflect the position of the vehicle 10 and detects the output bird's-eye view image BEV _output . The output bird's-eye view image detector 160 outputs the output bird's-eye view image BEV _output to the display 16 of the vehicle 10.

이처럼, 조감도 이미지 생성 장치(100)는 조감도 이미지 합성시 이미지 합성을 위한 픽셀 연산을 최소화하여 이미지 합성 속도를 향상시킬 수 있는 효과가 있다.As such, the bird's eye view image generating apparatus 100 may increase the image synthesis speed by minimizing pixel operations for image synthesis when the bird's-eye view image is synthesized.

또한, 조감도 이미지 생성 장치(100)는 픽셀 연산향을 최소화하여 저사양의 처리 장치가 적용된 차량(10)에서도 조감도 이미지를 이용할 수 있는 효과가 있다.In addition, the bird's eye view image generating apparatus 100 may use the bird's-eye view image even in a vehicle 10 to which a low specification processing device is applied by minimizing pixel computational aroma.

한편, 합성 조감도 이미지 생성시 현재 시점의 조감도 이미지의 합성 기준 위치가 프레임 버퍼(150)의 외부에 설정될 수 있다. 합성 기준 위치가 프레임 버퍼(150)의 외부에 설정되면 현재 시점의 조감도 이미지의 일부 또는 전체가 현재 시점의 합성 조감도 이미지에 포함되지 않는다. 그에 따라, 운전자에게 제공되는 출력 조감도 이미지가 현재 상황을 반영하지 못하고 과거 상황만을 표시하게 되어 오히려 운전에 방해가 될 수 있다.Meanwhile, when generating the synthesized bird's-eye view image, the synthesis reference position of the bird's-eye view image of the current view may be set outside the frame buffer 150. When the composition reference position is set outside the frame buffer 150, some or all of the bird's eye view image of the current view is not included in the synthesis bird's eye view image of the current view. Accordingly, the output bird's eye view image provided to the driver does not reflect the current situation and only displays the past situation, which may interfere with driving.

이에, 합성 조감도 이미지 생성부(140)는 합성 조감도 이미지가 항상 프레임 버퍼(150)의 중앙에 배치되도록 한다. 합성 조감도 이미지 생성부(140)는 현재 시점의 조감도 이미지의 적어도 일부가 프레임 버퍼(150)의 중앙 영역에 배치되도록 프레임 버퍼(150)의 텍스쳐(155)를 이동시킨다. 합성 조감도 이미지 생성부(140)는 텍스쳐(155)를 수직 이동 또는 수평 이동시켜 현재 시점의 조감도 이미지의 적어도 일부가 프레임 버퍼(150)의 중앙 영역에 배치되도록 한다.Thus, the composite bird's eye view image generator 140 always arranges the composite bird's eye image in the center of the frame buffer 150. The composite bird's eye view image generator 140 moves the texture 155 of the frame buffer 150 so that at least a portion of the bird's eye view image is disposed in the center area of the frame buffer 150. The composite bird's eye view image generator 140 vertically or horizontally moves the texture 155 so that at least a part of the bird's eye view image is disposed in the center area of the frame buffer 150.

합성 조감도 이미지 생성부(140)는 합성 조감도 이미지의 진행 방향(즉, 차량(10)의 진행 방향)을 고려하여 텍스쳐(155)를 이동시킨다. 합성 조감도 이미지 생성부(140)는 합성 조감도 이미지의 최근 합성 위치(즉, 이전 합성 기준 위치)를 고려하여 텍스쳐(155)를 이동시킬 수도 있다. 합성 조감도 이미지 생성부(140)는 합성 조감도 이미지의 생성 전 또는 생성 후에 이전 시점의 합성 조감도 이미지의 기준점을 프레임 버퍼(150)의 중앙에 위치시킨다.The composite bird's eye view image generator 140 moves the texture 155 in consideration of the traveling direction of the synthesized bird's-eye view image (ie, the moving direction of the vehicle 10). The composite bird's eye view image generator 140 may move the texture 155 in consideration of a recent synthesis position (that is, a previous synthesis reference position) of the composite bird's eye view image. The composite bird's eye view image generation unit 140 positions the reference point of the composite bird's eye view image at a previous point in time before or after the generation of the composite bird's eye view image in the center of the frame buffer 150.

여기서, 텍스쳐(155)의 이동은 텍스쳐(155)에 설정된 물리적 주소를 이동 위치에 대응되는 메모리의 물리적 주소로 변경하는 것일 수 있다. 텍스쳐(155)의 이동은 텍스쳐(155)의 물리적 주소를 유지한체 텍스쳐(155) 간의 상대적 주소를 변경하는 것일 수도 있다.Here, the movement of the texture 155 may be to change the physical address set in the texture 155 to the physical address of the memory corresponding to the movement position. The movement of the texture 155 may be to change the relative address between the textures 155 while maintaining the physical address of the texture 155.

일례로, 도 9를 참조하면, 프레임 버퍼(150)는 제1 텍스쳐(T1) 내지 제9 텍스쳐(T9)가 3행 3열로 배치되어 구성되고, 합성 조감도 이미지(CBEV_t-1)는 제2 텍스쳐(T2) 및 제5 텍스쳐(T5)에 걸쳐 배치된 경우를 가정한다.For example, referring to FIG. 9, the frame buffer 150 may include a first texture T1 to a ninth texture T9 arranged in three rows and three columns, and the composite aerial view image CBEV _t-1 may include a second image. Assume that the case is disposed over the texture T2 and the fifth texture T5.

합성 조감도 이미지는 제5 텍스쳐(T5)에서 제2 텍스쳐(T2)로 이동하여 제5 텍스쳐(T5) 및 제2 텍스쳐(T2)의 상하 경계를 넘어서 배치되는 과정이다.The composite bird's eye image is a process in which the image moves from the fifth texture T5 to the second texture T2 and is disposed beyond the upper and lower boundaries of the fifth texture T5 and the second texture T2.

따라서, 합성 조감도 이미지 생성부(140)는 3행에 배치된 제7 텍스쳐(T7) 내지 제9 텍스쳐(T9)를 제1 텍스쳐(T1) 내지 제3 텍스쳐(T3)의 상부로 수직 이동시킨다.Therefore, the composite bird's eye view image generator 140 vertically moves the seventh textures T7 to ninth textures T9 arranged in three rows to the upper portion of the first textures T1 to third texture T3.

다른 일례로, 도 10을 참조하면, 합성 조감도 이미지는 제4 텍스쳐(T4) 및 제5 텍스쳐(T5)에 걸쳐 배치된 경우를 가정한다.As another example, referring to FIG. 10, it is assumed that the composite bird's eye view image is disposed over the fourth texture T4 and the fifth texture T5.

합성 조감도 이미지는 제5 텍스쳐(T5)에서 제4 텍스쳐(T4)로 이동하여 제5 텍스쳐(T5) 및 제4 텍스쳐(T4)의 좌우 경계를 넘어서 배치되는 과정이다.The composite bird's eye view image is a process of moving from the fifth texture T5 to the fourth texture T4 and being disposed beyond the left and right boundaries of the fifth texture T5 and the fourth texture T4.

따라서, 합성 조감도 이미지 생성부(140)는 3열에 배치된 제3 텍스쳐(T3), 제6 텍스쳐(T6) 내지 제9 텍스쳐(T9)를 제1 텍스쳐(T1), 제4 텍스쳐(T4) 및 제7 텍스쳐(T7)의 좌측으로 수직 이동시킨다.Therefore, the composite bird's eye view image generator 140 may include the first texture T1, the fourth texture T4, and the third texture T3, the sixth texture T6 to the ninth texture T9 arranged in three columns. Vertically shift the left side of the seventh texture T7.

또 다른 일례로, 도 11을 참조하면, 합성 조감도 이미지가 제1 텍스쳐(T1) 제2 텍스쳐(T2), 제4 텍스쳐(T4) 및 제5 텍스쳐(T5)에 걸쳐 배치된 경우를 가정한다.As another example, referring to FIG. 11, it is assumed that a composite bird's eye view image is disposed over a first texture T1, a second texture T2, a fourth texture T4, and a fifth texture T5.

합성 조감도 이미지는 제5 텍스쳐(T5)에서 시작하여 제2 텍스쳐(T2)를 거쳐 제1 텍스쳐(T1)로 이동하여 제5 텍스쳐(T5) 및 제2 텍스쳐(T2)의 상하 경계 및 제2 텍스쳐(T2)와 제1 텍스쳐(T1)의 좌우 경계를 넘어서 배치되는 과정이다. The composite bird's eye view image starts from the fifth texture T5, moves through the second texture T2 to the first texture T1, and the upper and lower boundaries and the second textures of the fifth texture T5 and the second texture T2. The process is disposed over the left and right boundaries of the T2 and the first texture T1.

따라서, 합성 조감도 이미지 생성부(140)는 3행에 배치된 제7 텍스쳐(T7) 내지 제9 텍스쳐(T9)를 제1 텍스쳐(T1) 내지 제3 텍스쳐(T3)의 상부로 수직 이동시킨 후에, 3열에 배치된 제3 텍스쳐(T3), 제6 텍스쳐(T6) 내지 제9 텍스쳐(T9)를 제1 텍스쳐(T1), 제4 텍스쳐(T4) 및 제7 텍스쳐(T7)의 좌측으로 수평 이동시킨다. 이때, 합성 조감도 이미지 생성부(140)는 제3 텍스쳐(T3), 제6 텍스쳐(T6) 내지 제9 텍스쳐(T9)를 수평 이동시킨 후에 제7 텍스쳐(T7) 내지 제9 텍스쳐(T9)를 수직 이동시킬 수도 있다.Therefore, the composite bird's eye view image generator 140 vertically moves the seventh textures T7 to ninth texture T9 arranged in three rows to the upper portion of the first texture T1 to the third texture T3. , The third textures T3, the sixth textures T6 to ninth textures T9 arranged in three rows are horizontally disposed to the left of the first texture T1, the fourth texture T4, and the seventh texture T7. Move it. In this case, the composite bird's eye view image generator 140 horizontally moves the third textures T3, the sixth textures T6 to ninth textures T9, and then moves the seventh textures T7 to ninth textures T9 to each other. You can also move it vertically.

이처럼, 조감도 이미지 생성 장치(100)는 합성 조감도 이미지의 이동 방향을 고려하여 텍스쳐(155)를 이동시켜 합성 조감도 이미지가 항상 프레임 버퍼(150)의 중앙에 배치되도록 함으로써, 한정된 프레임 버퍼(150)를 이용하여 연속적인 합성 조감도 이미지를 생성할 수 있는 효과가 있다.As such, the bird's-eye view image generating apparatus 100 moves the texture 155 in consideration of the moving direction of the composite bird's-eye view image so that the composite bird's-eye view image is always disposed in the center of the frame buffer 150, thereby providing a limited frame buffer 150. It has the effect of generating a continuous composite bird's eye image.

또한, 조감도 이미지 생성 장치(100)는 합성 조감도 이미지의 이동 방향을 고려하여 텍스쳐(155)를 이동시켜 합성 조감도 이미지가 항상 프레임 버퍼(150)의 중앙에 배치되도록 함으로써, 현재 상황이 반영되지 않은 합성 조감도 이미지를 운전자에게 제공하는 것을 방지할 수 있는 효과가 있다In addition, the bird's-eye view image generating apparatus 100 moves the texture 155 in consideration of the moving direction of the composite bird's-eye view image so that the composite bird's-eye view image is always placed in the center of the frame buffer 150, thereby not including the current situation. It is effective to prevent providing the bird's eye view image to the driver.

도 12를 참조하여 본 발명의 실시 예에 따른 조감도 이미지 생성 방법을 설명하면 아래와 같다.A method of generating a bird's eye view image according to an exemplary embodiment of the present disclosure will be described with reference to FIG. 12.

조감도 이미지 생성부(120)는 현재 시점(t)의 카메라 이미지를 획득한다(S100). 조감도 이미지 생성부(120)는 카메라 이미지 저장부(110)에 저장된 카메라 이미지들 중에서 현재 시점(t)에 대응하는 카메라 이미지를 획득한다.The bird's eye view image generator 120 acquires a camera image of the current view t (S100). The bird's eye view image generator 120 acquires a camera image corresponding to the current viewpoint t among the camera images stored in the camera image storage unit 110.

조감도 이미지 생성부(120)는 획득한 카메라 이미지를 이용하여 조감도 이미지를 생성한다(S200). 조감도 이미지 생성부(120)는 현재 시점의 조감도 이미지를 생성한다. 조감도 이미지 생성부(120)는 카메라 이미지를 투시 변환하여 조감도 이미지를 생성할 수 있다. 조감도 이미지 생성부(120)는 지면상의 이미지의 위치 데이터가 카메라(12)의 위치(R)로부터 초점 거리(f)를 갖는 스크린 평면(T)상으로 투영되는 방식으로 투시 변환을 실행할 수 있다. 조감도 이미지 생성부(120)는 상술한 방법 이외에도 다양한 방법으로 조감도 이미지를 생성할 수 있다.The bird's-eye view image generating unit 120 generates a bird's-eye view image using the acquired camera image (S200). The bird's eye view image generator 120 generates a bird's eye view image of the current view. The bird's-eye view image generating unit 120 may generate a bird's-eye view image by perspective converting the camera image. The bird's-eye view image generator 120 may perform perspective transformation in such a manner that position data of an image on the ground is projected onto the screen plane T having a focal length f from the position R of the camera 12. The bird's-eye view image generating unit 120 may generate the bird's-eye view image in various ways in addition to the above-described method.

이동 정보 검출부(130)는 차량(10)의 이동 정보를 검출한다(S300). 이동 정보 검출부(130)는 차량(10)의 이동 거리, 이동 방향(각도) 등을 포함하는 이동 정보를 검출할 수 있다. 이동 정보 검출부(130)는 조감도 이미지 생성부(120)에서 생성된 조감도 이미지를 이용하여 이동 정보를 검출할 수 있다. 이동 정보 검출부(130)는 현재 시점과 이전 시점의 조감도 이미지들을 비교하여 차량(10)의 이동 거리, 이동 방향(각도) 등을 검출한다. The movement information detector 130 detects movement information of the vehicle 10 (S300). The movement information detector 130 may detect movement information including a movement distance, a movement direction (angle), and the like of the vehicle 10. The movement information detector 130 may detect the movement information by using the bird's-eye view image generated by the bird's-eye view image generator 120. The movement information detector 130 detects a moving distance, a moving direction (angle) of the vehicle 10 by comparing the bird's-eye view images of the current view and the previous view.

이동 정보 검출부(130)는 차량(10)에 설치된 각종 센서(14)들의 센싱값을 이용하여 이동 정보를 검출할 수도 있다. 일례로, 이동 정보 검출부(130)는 차량(10)에 장착된 휠 펄스 센서(14)의 감지값을 근거로 차량(10)의 이동 거리를 검출하고, 조향 각도 센서(14)의 검출 조향 각도 값을 근거로 이동 방향(각도)을 검출할 수 있다.The movement information detector 130 may detect movement information by using sensing values of various sensors 14 installed in the vehicle 10. For example, the movement information detector 130 detects a movement distance of the vehicle 10 based on the detected value of the wheel pulse sensor 14 mounted on the vehicle 10, and detects a steering angle of the steering angle sensor 14. The direction of movement (angle) can be detected based on the value.

합성 조감도 이미지 생성부(140)는 차량(10)의 이동 정보를 근거로 현재 시점(t)의 합성 조감도 이미지를 생성한다(S400). 합성 조감도 이미지 생성부(140)는 프레임 버퍼(150)에 저장된 이전 시점의 합성 조감도 이미지에 S200 단계에서 생성된 현재 시점의 조감도 이미지를 합성하여 현재 시점의 합성 조감도 이미지를 생성한다.The composite bird's eye view image generation unit 140 generates a composite bird's eye view image of the current view point t based on the movement information of the vehicle 10 (S400). The composite bird's eye view image generation unit 140 generates a composite bird's eye view image of the current view by synthesizing the bird's-eye view image generated in step S200 with the synthesized bird's-eye view image stored in the frame buffer 150.

도 13을 참조하여 조감도 이미지 생성 단계는 합성 기준 위치 설정 단계 및 조감도 이미지 배치 단계를 포함할 수 있다.Referring to FIG. 13, the method of generating a bird's eye view image may include a synthesis reference position setting step and a bird's eye view image arrangement step.

합성 기준 위치 설정 단계(S410)에서, 합성 조감도 이미지 생성부(140)는 이동 정보를 근거로 합성 기준 위치를 설정한다. 이전 시점의 합성 조감도 이미지는 프레임 버퍼(150)에 저장되어 있으며, 합성 조감도 이미지 생성부(140)는 이동 정보를 근거로 현재 시점의 조감도 이미지의 합성 기준 위치를 설정한다. 이때, 합성 조감도 이미지 생성부(140)는 이동 정보에 포함된 이동 거리, 이동 방향(각도)를 근거로 합성 기준 위치를 설정한다.In the synthesis reference position setting step (S410), the synthesis bird's eye view image generation unit 140 sets the synthesis reference position based on the movement information. The composite aerial view image of the previous viewpoint is stored in the frame buffer 150, and the composite aerial view image generator 140 sets the composition reference position of the aerial view image of the current viewpoint based on the movement information. In this case, the composite bird's eye view image generator 140 sets the composition reference position based on the movement distance and the movement direction (angle) included in the movement information.

합성 조감도 이미지 생성부(140)는 이전 시점의 합성 조감도 이미지 중에서 차량(10)의 이동 방향에 대응하는 변에서 차량(10)의 이동 거리 및 이동 방향을 고려하여 이동시킨 선분을 합성 기준 위치로 설정한다. The composite bird's eye view image generation unit 140 sets the line segment moved in consideration of the moving distance and the moving direction of the vehicle 10 from the side corresponding to the moving direction of the vehicle 10 among the composite bird's eye view images at the previous time point as the composite reference position. do.

합성 조감도 이미지 생성부(140)는 이전 시점의 조감도 이미지와 현재 시점의 조감도 이미지를 매칭하여 두 조감도 이미지에 공통으로 존재하는 하나 이상의 특징점을 기준점으로 검출하고, 이동 거리를 반영하여 이동시킨 기준점의 좌표를 합성 기준 위치로 설정할 수도 있다.Synthetic bird's eye view image generation unit 140 matches the bird's-eye view image of the previous view and the bird's-eye view image to detect one or more feature points that are common to the two bird's-eye images as a reference point, and coordinates of the reference point moved by reflecting the movement distance. May be set as the synthesis reference position.

조감도 이미지 배치 단계(S420)에서, 합성 조감도 이미지 생성부(140)는 설정된 합성 기준 위치를 근거로 프레임 버퍼(150)에 현재 시점의 조감도 이미지를 배치한다. 조감도 이미지 생성부(120)는 현재 시점의 조감도 이미지를 합성 기준 위치에 배치하여 이전 시점의 합성 조감도 이미지에 현재 시점의 조감도 이미지를 합성한다. 합성 조감도 이미지 생성부(140)는 프레임 버퍼(150) 상에서 합성 조감도 이미지와 조감도 이미지를 합성하여 현재 시점의 합성 조감도 이미지를 생성한다.In the bird's eye view image arrangement step (S420), the synthetic bird's-eye view image generation unit 140 places the bird's-eye view image of the current view in the frame buffer 150 based on the set synthesis reference position. The bird's-eye view image generating unit 120 combines the bird's-eye view image of the current view with the synthesized bird's-eye view of the previous view by placing the bird's-eye view of the current view at the synthesis reference position. The synthesized aerial view image generator 140 generates a synthesized aerial view image of the current view by synthesizing the synthesized aerial view image and the aerial view image on the frame buffer 150.

이처럼, 합성 조감도 이미지 생성부(140)는 프레임 버퍼(150)의 합성 기준 위치에 현재 시점의 조감도 이미지를 배치시켜 이전 시점의 합성 조감도 이미지와 합성함으로써, 현재 시점의 합성 조감도 이미지를 생성한다. 이때, 합성 조감도 이미지 생성부(140)는 프레임 버퍼(150)에 합성 기준 위치를 설정하고, 합성 기준 위치에 현재 시점의 조감도 이미지를 배치함으로써, 합성 조감도 이미지 생성시 이전 시점들의 합성 조감도 이미지를 편집(회전, 이동, 크롭 등)하지 않고, 현재 시점의 조감도 이미지만을 편집하기 때문에, 종래의 조감도 이미지 생성 장치(100)에 비해 픽셀 연산량을 최소화할 수 있다.As such, the synthesized bird's eye view image generator 140 generates a bird's-eye view image of the current view by placing the bird's-eye view image at the synthesis reference position of the frame buffer 150 and synthesizing it with the synthesized bird's-eye view image of the previous view. In this case, the composite bird's eye view image generator 140 sets the composite reference position in the frame buffer 150 and arranges the bird's-eye image of the current view at the composite reference position, thereby editing the composite bird's-eye image of the previous viewpoints when the composite bird's-eye image is generated. Since only the bird's-eye view image is edited without rotation (movement, cropping, etc.), the pixel calculation amount can be minimized as compared with the conventional bird's-eye view image generating apparatus 100.

합성 조감도 이미지 생성부(140)는 후술할 출력 조감도 이미지 검출부(160)의 출력 조감도 이미지의 검출이 완료된 이후 프레임 버퍼(150)에 저장된 현재 시점의 합성 조감도 이미지를 이전 시점의 합성 조감도 이미지로 설정한다. 합성 조감도 이미지 생성부(140)는 상술한 합성 조감도 이미지 생성 전에 프레임 버퍼(150)에 저장된 현재 시점의 합성 조감도 이미지를 과거 시점의 합성 조감도 이미지로 설정할 수도 있다.The composite bird's eye image generator 140 sets the composite bird's eye image of the current view stored in the frame buffer 150 as the composite bird's eye image of the previous view after the detection of the output bird's-eye view image of the output bird's-eye image detector 160, which will be described later, is completed. . The composite bird's eye view image generator 140 may set the composite bird's eye view image of the current view stored in the frame buffer 150 as the composite bird's eye view image of the past view before generating the above-described composite bird's-eye view image.

한편, 합성 조감도 이미지 생성시 현재 조감도 이미지의 합성 기준 위치가 프레임 버퍼(150)의 외부에 설정될 수 있다. 합성 기준 위치가 프레임 버퍼(150)의 외부에 설정되면 현재 조감도 이미지의 일부 또는 전체가 현재 합성 조감도 이미지에 포함되지 않는다. 그에 따라, 운전자에게 제공되는 출력 조감도 이미지가 현재 상황을 반영하지 못하고 과거 상황만을 표시하게 되어 오히려 운전에 방해가 될 수 있다.Meanwhile, when generating the synthesized aerial view image, the synthesis reference position of the current aerial view image may be set outside the frame buffer 150. When the composition reference position is set outside the frame buffer 150, some or all of the current aerial view image is not included in the current composite aerial view image. Accordingly, the output bird's eye view image provided to the driver does not reflect the current situation and only displays the past situation, which may interfere with driving.

이에, 합성 조감도 이미지 생성부(140)는 합성 조감도 이미지가 항상 프레임 버퍼(150)의 중앙에 배치되도록 한다. 합성 조감도 이미지 생성부(140)는 현재 조감도 이미지의 적어도 일부가 프레임 버퍼(150)의 중앙 영역에 배치되도록 프레임 버퍼(150)의 텍스쳐(155)를 이동시킨다. 합성 조감도 이미지 생성부(140)는 텍스쳐(155)를 수직 이동 또는 수평 이동시켜 현재 조감도 이미지의 적어도 일부가 프레임 버퍼(150)의 중앙 영역에 배치되도록 한다.Thus, the composite bird's eye view image generator 140 always arranges the composite bird's eye image in the center of the frame buffer 150. The composite bird's eye view image generator 140 moves the texture 155 of the frame buffer 150 so that at least a portion of the current bird's eye view image is disposed in the center area of the frame buffer 150. The composite aerial view image generator 140 vertically or horizontally moves the texture 155 so that at least a part of the current aerial view image is disposed in the center area of the frame buffer 150.

합성 조감도 이미지 생성부(140)는 합성 조감도 이미지의 진행 방향(즉, 차량(10)의 진행 방향)을 고려하여 텍스쳐(155)를 이동시킨다. 합성 조감도 이미지 생성부(140)는 합성 조감도 이미지의 최근 합성 위치(즉, 이전 합성 기준 위치)를 고려하여 텍스쳐(155)를 이동시킬 수도 있다. 합성 조감도 이미지 생성부(140)는 합성 조감도 이미지의 생성 전 또는 생성 후에 과거 합성 조감도 이미지의 기준점을 프레임 버퍼(150)의 중앙에 위치시킨다.The composite bird's eye view image generator 140 moves the texture 155 in consideration of the traveling direction of the synthesized bird's-eye view image (ie, the moving direction of the vehicle 10). The composite bird's eye view image generator 140 may move the texture 155 in consideration of a recent synthesis position (that is, a previous synthesis reference position) of the composite bird's eye view image. The composite bird's eye view image generator 140 positions the reference point of the past composite bird's-eye view image in the center of the frame buffer 150 before or after generation of the composite bird's-eye view image.

도 14를 참조하면, 합성 조감도 이미지 생성부(140)는 합성 조감도 이미지의 텍스쳐(155) 상하 경계 이동 여부를 판단한다. 합성 조감도 이미지 생성부(140)는 현재 시점의 조감도 이미지가 합성된 위치가 텍스쳐(155)들의 상하 경계를 넘어서 이동한 것인지 여부를 판단한다. 합성 조감도 이미지 생성부(140)는 합성 조감도 이미지의 이동 경로(즉, 조감도 이미지들의 배치 위치 변화)를 근거로 상하 경계 이동 여부를 판단할 수도 있다.Referring to FIG. 14, the composite bird's eye view image generation unit 140 determines whether the upper and lower boundaries of the texture 155 are moved. The composite bird's eye view image generator 140 determines whether the position where the bird's-eye view image is synthesized has moved beyond the upper and lower boundaries of the textures 155. The composite bird's eye view image generation unit 140 may determine whether to move the upper and lower boundaries based on a movement path of the synthesized bird's-eye view image (that is, a change in the arrangement position of the bird's-eye view images).

합성 조감도 이미지가 텍스쳐(155)들의 상하 경계를 넘어 이동한 것으로 판단하면(S430; 예), 합성 조감도 이미지 생성부(140)는 프레임 버퍼(150)의 텍스쳐(155)들 중 일부를 수직 이동시킨다(S440). 합성 조감도 이미지 생성부(140)는 합성 조감도 이미지 중 현재 시점의 조감도 이미지가 합성된 방향과 반대 방향에 배치된 한 행의 텍스쳐(155)들을 조감도 이미지가 합성된 방향으로 수직 이동시킨다.If it is determined that the composite bird's eye image has moved beyond the upper and lower boundaries of the textures 155 (S430; YES), the composite bird's eye image generator 140 vertically moves some of the textures 155 of the frame buffer 150. (S440). The composite bird's eye view image generator 140 vertically moves the textures 155 of a row arranged in a direction opposite to the direction in which the bird's-eye view image is synthesized from the bird's-eye view image.

합성 조감도 이미지 생성부(140)는 합성 조감도 이미지의 텍스쳐(155) 좌우 경계 이동 여부를 판단한다. 합성 조감도 이미지 생성부(140)는 현재 시점의 조감도 이미지가 합성된 위치가 텍스쳐(155)들의 좌우 경계를 넘어서 이동한 것인지 여부를 판단한다. 합성 조감도 이미지 생성부(140)는 합성 조감도 이미지의 이동 경로(즉, 조감도 이미지들의 배치 위치 변화)를 근거로 좌우 경계 이동 여부를 판단할 수도 있다.The composite bird's eye view image generator 140 determines whether the left / right boundary movement of the texture 155 of the composite bird's-eye view image is moved. The composite bird's eye view image generation unit 140 determines whether the position where the bird's eye view image is synthesized is moved beyond the left and right boundaries of the textures 155. The synthesized bird's eye view image generator 140 may determine whether the left and right boundaries move based on a movement path of the synthesized bird's-eye view image (ie, a change in the arrangement position of the bird's-eye view images).

합성 조감도 이미지가 텍스쳐(155)들의 좌우 경계를 넘어 이동한 것으로 판단하면(S450; 예), 합성 조감도 이미지 생성부(140)는 프레임 버퍼(150)의 텍스쳐(155)들 중 일부를 수평 이동시킨다(S460). 합성 조감도 이미지 생성부(140)는 합성 조감도 이미지 중 현재 시점의 조감도 이미지가 합성된 방향과 반대 방향에 배치된 한 행의 텍스쳐(155)들을 조감도 이미지가 합성된 방향으로 수평 이동시킨다.If it is determined that the composite bird's eye image has moved beyond the left and right boundaries of the textures 155 (S450; YES), the composite bird's eye image generator 140 horizontally shifts some of the textures 155 of the frame buffer 150. (S460). The composite bird's eye view image generator 140 horizontally moves the textures 155 of one row arranged in the direction opposite to the direction in which the bird's-eye view image is synthesized from the bird's-eye view image in the direction in which the bird's-eye view image is synthesized.

여기서, 도 14에서는 합성 조감도 이미지를 생성한 후 텍스쳐(155)들을 이동시키는 것으로 기재하고 있으나, 이에 한정되지 않고 합성 조감도 이미지 생성 전에 수행될 수도 있다.Here, in FIG. 14, the textures 155 are moved after generating the composite aerial view image. However, the present invention is not limited thereto and may be performed before generating the composite aerial view image.

또한, 조감도 이미지 생성 장치(100)는 합성 조감도 이미지의 이동 방향을 고려하여 텍스쳐(155)를 이동시켜 합성 조감도 이미지가 항상 프레임 버퍼(150)의 중앙에 배치되도록 함으로써, 현재 상황이 반영되지 않은 합성 조감도 이미지를 운전자에게 제공하는 것을 방지할 수 있는 효과가 있다.In addition, the bird's-eye view image generating apparatus 100 moves the texture 155 in consideration of the moving direction of the composite bird's-eye view image so that the composite bird's-eye view image is always placed in the center of the frame buffer 150, thereby not including the current situation. There is an effect that can prevent providing the bird's eye view image to the driver.

출력 조감도 이미지 검출부(160)는 합성 조감도 이미지를 이용하여 출력 조감도 이미지를 검출하여 차량(10)의 디스플레이(16)를 통해 출력한다(S500). 출력 조감도 이미지 검출부(160)는 차량(10)의 디스플레이(16)에 출력할 조감도 이미지인 출력 조감도 이미지를 검출한다. 출력 조감도 이미지 검출부(160)는 프레임 버퍼(150)에 저장된 현재 시점의 합성 조감도 이미지 중에서 일부를 크롭(Crop)하여 출력 조감도 이미지를 검출한다. 출력 조감도 이미지 검출부(160)는 크롭을 통해 현재 시점의 합성 조감도 이미지 중 특정 영역을 출력 조감도 이미지로 검출한다. 출력 조감도 이미지 검출부(160)는 합성 기준 위치를 기준으로 설정된 크기(면적)의 영역을 크롭하여 출력 조감도 이미지를 검출한다. 출력 조감도 이미지 검출부(160)는 출력 조감도 이미지에 대한 스케일 조정, 회전, 수평 이동 등의 이미지 변환을 수행한다. 출력 조감도 이미지 검출부(160)는 이미지 변환된 출력 조감도 이미지를 차량(10)의 디스플레이(16)에 출력한다.The output bird's eye view image detector 160 detects the output bird's-eye view image using the synthesized bird's-eye view image and outputs it through the display 16 of the vehicle 10 (S500). The output bird's eye image detection unit 160 detects an output bird's-eye image, which is a bird's-eye image to be output to the display 16 of the vehicle 10. The output bird's-eye view image detector 160 crops a part of the composite bird's-eye view image stored in the frame buffer 150 to detect the output bird's-eye view image. The output bird's eye view image detection unit 160 detects a specific region of the composite bird's-eye view image of the current view through the crop as an output bird's-eye view image. The output bird's-eye image detector 160 detects an output bird's-eye image by cropping an area having a size (area) set based on the composition reference position. The output bird's eye view image detection unit 160 performs image conversion such as scale adjustment, rotation, and horizontal movement on the output bird's-eye view image. The output bird's eye view image detector 160 outputs the converted image of the bird's-eye view to the display 16 of the vehicle 10.

이상에서 본 발명에 따른 바람직한 실시 예에 대해 설명하였으나, 다양한 형태로 변형이 가능하며, 본 기술분야에서 통상의 지식을 가진자라면 본 발명의 특허청구범위를 벗어남이 없이 다양한 변형 예 및 수정 예를 실시할 수 있을 것으로 이해된다.Although a preferred embodiment according to the present invention has been described above, modifications can be made in various forms, and those skilled in the art may make various modifications and modifications without departing from the scope of the claims of the present invention. It is understood that it may be practiced.

100: 조감도 이미지 생성 장치 110: 카메라 이미지 저장부
120: 조감도 이미지 생성부 130: 이동 정보 검출부
140: 합성 조감도 이미지 생성부 150: 프레임 버퍼
155: 텍스쳐 160: 출력 조감도 이미지 검출부100: bird's eye view image generating device 110: camera image storage unit
120: bird's eye view image generator 130: movement information detector
140: composite bird's eye view image generator 150: frame buffer
155: texture 160: output bird's eye image detection unit

Claims

In the bird's eye view image generating apparatus,
A bird's eye view image generator for generating a bird's eye view image of the camera image acquired through the camera of the vehicle;
A movement information detector for detecting movement information of the vehicle;
The composite bird's eye view image of the previous view is stored in a frame buffer composed of a plurality of textures, and the bird's-eye view image generated by the bird's-eye view image generator is synthesized into the composite bird's-eye view image of the previous view to generate a composite bird's-eye view image of the current view. A composite aerial view image generation unit; And
And a bird's eye view image detection unit extracting a specific region from the bird's-eye view image generated by the synthesis bird's-eye view image generator to detect an output bird's-eye view image output to the display of the vehicle.

The method of claim 1,
And the movement information detector detects movement information including a movement distance and a movement direction of the vehicle.

The method of claim 1,
And the frame buffer is a frame buffer object in which the plurality of textures are arranged in a matrix.

The method of claim 1,
And wherein the composite bird's eye view image generator is configured to move at least one texture among the plurality of textures based on whether texture boundary of the composite bird's eye image is moved.

The method of claim 4, wherein
And wherein the composite bird's eye view image generating unit vertically moves at least one texture among the plurality of textures when the composite bird's-eye view image moves beyond a texture upper and lower boundary.

The method of claim 4, wherein
When the synthesized bird's eye view image moves beyond a texture upper and lower boundary, the bird's-eye view image is synthesized in a row in which textures of a row arranged in the direction opposite to the direction in which the bird's-eye view image is synthesized from the current bird's-eye view image are synthesized. Bird's eye view image generating device for vertically shifting.

The method of claim 4, wherein
And the composite bird's eye view image generating unit horizontally moves at least one texture among the plurality of textures when the synthesized bird's eye image moves beyond a texture left and right boundary.

The method of claim 4, wherein
When the synthesized bird's eye view image moves beyond a texture left and right boundary, the synthesized bird's-eye view image generator generates a row of textures arranged in a direction opposite to the direction in which the bird's-eye view image is synthesized. Horizontally moving bird's eye view image generating device.

The method of claim 1,
And the composite bird's eye view image generating unit moves a portion of the plurality of textures to place the bird's-eye view image synthesized into the composite bird's-eye view image of the previous view in a texture located in the center of the frame buffer.

The method of claim 1,
And the composite bird's eye view image generating unit sets a synthesis reference position based on the synthesis bird's eye view image and the movement information of the previous view, and places the bird's-eye view image of the current view at the synthesis reference position.

In the bird's eye view image generating method using a bird's eye view image generating device,
Generating a bird's eye view image of the camera image acquired through the camera of the vehicle;
Detecting movement information of the vehicle;
Generating a bird's-eye view image of the current view by synthesizing the bird's-eye view image generated in the step of generating the bird's-eye view image to the synthesized bird's-eye view image stored in a frame buffer composed of a plurality of textures; And
And extracting a specific region from the synthesized aerial view image of the current view and detecting an output aerial view image output to the display of the vehicle.

The method of claim 11,
The method of generating a bird's eye view image for detecting movement information including a movement distance and a movement direction of the vehicle in the detecting of the movement information.

The method of claim 11,
And the frame buffer is a frame buffer object in which the plurality of textures are arranged in a matrix.

The method of claim 11,
And moving at least one texture of the plurality of textures based on whether a texture boundary of the composite bird's-eye image is moved.

The method of claim 14,
The moving of the texture may include vertically moving at least one of the plurality of textures when the synthesized aerial view image moves beyond a texture upper and lower boundary.

The method of claim 15,
In the vertically moving the texture, a bird's eye view image generating method of vertically moving a row of textures arranged in a direction opposite to the direction in which the bird's-eye view image is synthesized in the bird's-eye view image is synthesized.

The method of claim 14,
The moving of the texture may include horizontally moving at least one of the plurality of textures when the synthesized aerial view image moves beyond a texture left and right boundary.

The method of claim 17,
In the horizontally moving the texture, a bird's-eye view image generating method of horizontally moving a row of textures arranged in a direction opposite to the direction in which the bird's-eye view image is synthesized from the bird's-eye view image.

The method of claim 14,
In the moving of the texture, a bird's-eye view image is generated by moving at least one texture of the plurality of textures to place the bird's-eye view image synthesized into the composite bird's-eye view image of the previous view in a texture located in the center of the frame buffer. Way.

The method of claim 11,
Generating the composite bird's eye view image,
Setting a composite reference position based on the composite bird's eye view image and the movement information of the previous viewpoint; And
And disposing a bird's-eye view image of the current view at the composition reference position.