KR102227853B1 - Apparatus and method for generating vehicle around-view video - Google Patents

Apparatus and method for generating vehicle around-view video Download PDF

Info

Publication number
KR102227853B1
KR102227853B1 KR1020140150586A KR20140150586A KR102227853B1 KR 102227853 B1 KR102227853 B1 KR 102227853B1 KR 1020140150586 A KR1020140150586 A KR 1020140150586A KR 20140150586 A KR20140150586 A KR 20140150586A KR 102227853 B1 KR102227853 B1 KR 102227853B1
Authority
KR
South Korea
Prior art keywords
image
lookup table
coordinate
lookup tables
interpolation
Prior art date
Application number
KR1020140150586A
Other languages
Korean (ko)
Other versions
KR20160051129A (en
Inventor
장원준
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020140150586A priority Critical patent/KR102227853B1/en
Publication of KR20160051129A publication Critical patent/KR20160051129A/en
Application granted granted Critical
Publication of KR102227853B1 publication Critical patent/KR102227853B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 다수의 카메라로부터 영상을 입력 받는 영상입력부, 상기 영상 출력 화소 단위로 색 표현 정보 또는 상기 영상의 좌표 정보가 기록된 레코드들로 구성되는 복수의 룩업 테이블을 저장하는 좌표저장부 및 상기 저장된 룩업 테이블 중 적어도 어느 하나를 고려하여 영상을 합성하는 영상처리부를 포함하는 차량 어라운드뷰 영상 생성 장치에 관한 것이다.The present invention provides an image input unit receiving an image from a plurality of cameras, a coordinate storage unit storing a plurality of lookup tables including records in which color expression information or coordinate information of the image is recorded in units of the image output pixel, and the stored image input unit. The present invention relates to an apparatus for generating a vehicle around view image including an image processing unit for synthesizing an image in consideration of at least one of a lookup table.

Figure R1020140150586
Figure R1020140150586

Description

차량 어라운드뷰 영상 생성 장치 및 차량 어라운드뷰 영상 생성 방법 {Apparatus and method for generating vehicle around-view video}Apparatus and method for generating vehicle around-view video}

본 발명은 차량 어라운드뷰 영상 생성 장치 및 차량 어라운드뷰 영상 생성 방법에 관한 것으로, 보다 상세하게는 복수의 카메라가 출력한 영상이 입력되면 입력된 영상의 좌표 정보를 담은 룩업 테이블을 좌표저장부에 저장하고, 화면이 전환될 때 저장된 룩업 테이블에 가중치를 주어 현재 화면에서 전환될 화면이 연속적으로 부드럽게 전환되도록 하여 운전자에게 차량 영상을 제공하는 차량 어라운드뷰 영상 생성 장치 및 차량 어라운드뷰 영상 생성 방법에 관한 것이다.The present invention relates to an apparatus for generating a vehicle around view image and a method for generating a vehicle around view image, and more particularly, when an image output from a plurality of cameras is input, a lookup table containing coordinate information of the input image is stored in a coordinate storage unit. And, the present invention relates to an apparatus for generating a vehicle around view image and a method for generating a vehicle around view image to provide a vehicle image to a driver by giving a weight to the stored lookup table when the screen is switched so that the screen to be switched from the current screen is continuously smoothly switched. .

AVM(Around-View Monitoring) 시스템은 차량 주변 영상을 운전자에게 제공하여 사고를 방지한다. 또한 AVM 영상에서 차선을 인식하여 주차 지원 시스템이 동작하기도 한다.The AVM (Around-View Monitoring) system prevents accidents by providing images around the vehicle to the driver. In addition, the parking assistance system operates by recognizing lanes in the AVM image.

AVM 시스템은 차량 주변 영상을 개략적으로 보여주거나 자세히 보여줄 수 있는데, 운전자가 원하는 차량 영상을 출력할 때 화면을 급격하게 전화시키면 운전자에게 혼란을 주어 차량 운전 시 방해가 될 수 있다.The AVM system can schematically show or show the surrounding image of the vehicle in detail. If the driver makes a sudden call to the screen when outputting the desired vehicle image, it may confuse the driver and interfere with driving the vehicle.

최근에 운전자가 원하는 화면 전환 시 이질감이 없는 화면을 운전자에게 제공하는 기술이 연구 중에 있다.Recently, research is being conducted on a technology that provides a driver with a screen that does not have a sense of foreignness when switching the screen desired by the driver.

본 발명이 해결하고자 하는 과제는 복수의 카메라가 출력한 영상이 입력되면 입력된 영상의 좌표 정보를 담은 룩업 테이블을 좌표저장부에 저장하고, 화면이 전환될 때 저장된 룩업 테이블에 가중치를 주어 현재 화면에서 전환될 화면이 연속적으로 부드럽게 전환되도록 하여 운전자에게 차량 영상을 제공하는 차량 어라운드뷰 영상 생성 장치 및 차량 어라운드뷰 영상 생성 방법을 제공함에 있다.The problem to be solved by the present invention is to store a look-up table containing coordinate information of the input image in a coordinate storage unit when images output from a plurality of cameras are input, and weight the stored look-up table when the screen is switched to provide a current screen. A vehicle around view image generation apparatus and a vehicle around view image generation method are provided to provide a vehicle image to a driver by continuously smoothly switching a screen to be switched in.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the problems mentioned above, and other problems that are not mentioned will be clearly understood by those skilled in the art from the following description.

상기 과제를 달성하기 위하여, 본 발명의 실시례에 따른 차량 어라운드뷰 생성 장치는, 다수의 카메라로부터 영상을 입력 받는 영상입력부, 상기 영상 출력 화소 단위로 색 표현 정보 또는 상기 영상의 좌표 정보가 기록된 레코드들로 구성되는 복수의 룩업 테이블을 저장하는 좌표저장부 및 상기 저장된 룩업 테이블 중 적어도 어느 하나를 고려하여 영상을 합성하는 영상처리부를 포함한다.In order to achieve the above object, an apparatus for generating a vehicle around view according to an embodiment of the present invention includes an image input unit receiving an image from a plurality of cameras, and color expression information or coordinate information of the image is recorded in units of the image output pixel. And a coordinate storage unit for storing a plurality of lookup tables composed of records and an image processing unit for synthesizing an image in consideration of at least one of the stored lookup tables.

상기 복수의 룩업 테이블 중 적어도 둘 이상의 룩업 테이블의 데이터를 가중치를 주어 보간 계산하여 새로운 룩업 테이블을 산출하는 좌표추정부를 더 포함하고 상기 영상처리부는 상기 고려된 룩업 테이블 및 상기 새로운 룩업 테이블 중 적어도 어느 하나를 고려하여 상기 영상을 합성한다.A coordinate estimating unit for calculating a new lookup table by interpolating and calculating data of at least two lookup tables among the plurality of lookup tables by weighting, and the image processing unit at least one of the considered lookup table and the new lookup table. The image is synthesized taking into account.

상기 영상처리부는 상기 합성 영상의 뷰 모드 변환 시 상기 보간 계산에 이용된 룩업 테이블 중간에 새로운 룩업 테이블을 고려하여 상기 영상을 합성한다.When converting the view mode of the synthesized image, the image processing unit synthesizes the image by considering a new lookup table in the middle of the lookup table used for the interpolation calculation.

상기 좌표추정부는 프레임 마다 상기 보간의 값에 변화를 주어 상기 보간 계산한다.The coordinate estimation unit calculates the interpolation by changing the interpolation value for each frame.

상기 좌표추정부는 상기 보간의 값을, 설정된 단위시간마다 일정한 값을 감소 시킴으로써 변화시킨다.The coordinate estimation unit changes the interpolation value by decreasing a constant value every set unit time.

상기 과제를 달성하기 위하여, 본 발명의 실시례에 따른 차량 어라운드뷰 생성 방법은, 다수의 카메라로부터 영상을 입력 받는 단계, 상기 영상 출력 화소 단위로 색 표현 정보 또는 상기 영상의 좌표 정보가 기록된 레코드들로 구성되는 복수의 룩업 테이블이 저장되는 단계 및 상기 저장된 룩업 테이블 중 적어도 어느 하나를 고려하여 영상을 합성하는 단계를 포함한다.In order to achieve the above object, a method for generating a vehicle around view according to an embodiment of the present invention includes the steps of receiving an image from a plurality of cameras, a record in which color expression information or coordinate information of the image is recorded in units of the image output pixel. And storing a plurality of lookup tables including the plurality of lookup tables and synthesizing an image in consideration of at least one of the stored lookup tables.

상기 복수의 룩업 테이블 중 적어도 둘 이상의 룩업 테이블의 데이터를 가중치를 주어 보간 계산하여 새로운 룩업 테이블을 산출하는 단계를 더 포함하고 상기 영상 합성 단계에서 상기 고려된 룩업 테이블 및 상기 새로운 룩업 테이블 중 적어도 어느 하나를 고려하여 상기 영상을 합성한다.And calculating a new lookup table by interpolating and calculating data of at least two lookup tables among the plurality of lookup tables by weighting, and at least one of the considered lookup table and the new lookup table in the image synthesizing step. The image is synthesized taking into account.

상기 영상 합성 단계에서 상기 합성 영상의 뷰 모드 변환 시 상기 보간 계산에 이용된 룩업 테이블 중간에 새로운 룩업 테이블이 고려되어 상기 영상을 합성한다.In the image synthesizing step, when the view mode of the synthesized image is converted, a new lookup table is considered in the middle of the lookup table used for the interpolation calculation to synthesize the image.

상기 룩업 테이블 저장 단계에서 프레임 마다 상기 보간의 값에 변화를 주어 상기 보간 계산한다.In the step of storing the lookup table, the interpolation is calculated by changing the interpolation value for each frame.

상기 룩업 테이블 저장 단계에서 상기 보간의 값이, 설정된 단위시간마다 일정한 값을 감소 시킴으로써 변화된다.In the step of storing the lookup table, the interpolation value is changed by decreasing a constant value every set unit time.

기타 실시례들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Details of other embodiments are included in the detailed description and drawings.

본 발명의 차량 어라운드뷰 영상 생성 장치 및 차량 어라운드뷰 영상 생성 방법에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.According to the apparatus for generating a vehicle around view image and a method for generating a vehicle around view image according to the present invention, one or more of the following effects are provided.

첫째,　화면 전환 시 운전자에게 이질감없는 화면을 제공하여 운전 편의에 기여하는 장점이 있다.First, there is an advantage of contributing to driving convenience by providing a screen without a sense of heterogeneity to the driver when switching the 　 screen.

둘째,　좌표추정부는 저장된 복수의 룩업 테이블을 가중치를 주어 보간 계산하여 출력된 새로운 룩업 테이블을 영상 합성에 이용하는 장점도 있다.Second, the 　 coordinate estimator has the advantage of using a new lookup table that is output by interpolating and calculating a plurality of stored lookup tables with weights for image synthesis.

셋째,　좌표추정부는 보간의 값을 설정된 단위시간마다 일정한 값을 감소 시킴으로써 화면의 전환이 연속적으로 자연스럽게 이뤄지는 장점도 있다.Third, the 　 coordinate estimator has the advantage of continuously and naturally converting the screen by decreasing the interpolation value by a constant value every set unit time.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the above-mentioned effects, and other effects that are not mentioned will be clearly understood by those skilled in the art from the description of the claims.

도 1은 본 발명의 일실시례에 따른 차량 어라운드뷰 영상 생성 장치의 구성을 도시한 구성도이다.
도 2는 도 1의 구성에 의한 차량 어라운드뷰 영상 생성 방법의 제어 흐름을 도시한 제어흐름도이다.1 is a block diagram showing a configuration of an apparatus for generating a vehicle around view image according to an embodiment of the present invention.
FIG. 2 is a control flow diagram illustrating a control flow of a method for generating a vehicle around view image according to the configuration of FIG. 1.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시례들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시례들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시례들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in a variety of different forms, and only these embodiments make the disclosure of the present invention complete, and are common knowledge in the technical field to which the present invention pertains. It is provided to completely inform the scope of the invention to those who have, and the invention is only defined by the scope of the claims. The same reference numerals refer to the same elements throughout the specification.

이하, 본 발명의 실시례들에 의하여 차량 어라운드뷰 영상 생성 장치를 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.Hereinafter, the present invention will be described with reference to the drawings for explaining an apparatus for generating a vehicle around view image according to embodiments of the present invention.

도 1은 본 발명의 일실시례에 따른 차량 어라운드뷰 영상 생성 장치의 구성을 도시한 구성도이다. 본 발명의 일실시례에 따른 차량 어라운드뷰 영상 생성 장치는 카메라(100), 영상입력부(200), 좌표저장부(300), 좌표추정부(400), 영상처리부(500) 및 모니터(600)를 포함한다.1 is a block diagram showing a configuration of an apparatus for generating a vehicle around view image according to an embodiment of the present invention. A vehicle around view image generating apparatus according to an embodiment of the present invention includes a camera 100, an image input unit 200, a coordinate storage unit 300, a coordinate estimation unit 400, an image processing unit 500, and a monitor 600. Includes.

카메라(100)는 차량 전방 영상, 차량 후방 영상 및 차량 측방 영상 중 적어도 어느 하나를 출력한다.The camera 100 outputs at least one of a vehicle front image, a vehicle rear image, and a vehicle side image.

영상입력부(200)는 다수의 카메라(100)로부터 영상을 입력 받는다. 영상입력부(200) 입력 받은 영상의 영상 출력 화소 단위로 색 표현 정보 또는 영상의 좌표 정보를 획득한다. 영상입력부(200)는 좌표 정보를 좌표저장부(300)에 출력한다.The image input unit 200 receives images from a plurality of cameras 100. The image input unit 200 acquires color expression information or coordinate information of an image in units of an image output pixel of an input image. The image input unit 200 outputs coordinate information to the coordinate storage unit 300.

좌표저장부(300)는 영상 출력 화소 단위로 색 표현 정보 또는 영상의 좌표 정보가 기록된 레코드들로 구성되는 복수의 룩업 테이블을 저장한다. 좌표저장부(300)는 운전자가 현재 설정한 화면의 좌표 정보가 기록된 레코드들로 구성되는 룩업 테이블(luta) 및 운전자가 선택할 화면의 좌표 정보가 기록된 레코드들로 구성되는 룩업 테이블(lutb)을 저장한다. The coordinate storage unit 300 stores a plurality of lookup tables composed of records in which color expression information or coordinate information of an image is recorded in units of image output pixels. The coordinate storage unit 300 is a lookup table (luta) consisting of records in which coordinate information of a screen currently set by the driver is recorded, and a lookup table (lutb) consisting of records in which coordinate information of a screen to be selected by the driver is recorded. Save it.

좌표추정부(400)는 복수의 룩업 테이블 중 적어도 둘 이상의 룩업 테이블(luta, lutb)의 데이터를 가중치를 주어 보간 계산하여 새로운 룩업 테이블(lutc)을 산출한다. 즉 좌표추정부(400)는 운전자의 화면 전환 선택 시 현재 화면에서 선택 화면으로 불연속적으로 바뀌는 것을 방지하기 위해 현재 화면과 선택 화면의 가중치를 점차 변경시킨다.The coordinate estimation unit 400 calculates a new lookup table lutc by interpolating and calculating data of at least two or more lookup tables luta and lutb among the plurality of lookup tables. That is, the coordinate estimating unit 400 gradually changes the weights of the current screen and the selected screen to prevent discontinuous change from the current screen to the selected screen when the driver selects a screen change.

좌표추정부(400)는 프레임 마다 보간의 값에 변화를 주어 보간 계산한다.The coordinate estimating unit 400 performs interpolation calculation by changing the interpolation value for each frame.

Figure 112014105298318-pat00001
Figure 112014105298318-pat00001

좌표추정부(400)는 (수학식 1)에서 현재 화면의 룩업 테이블(luta)의 좌표 정보에 가중치(α)를 주고 전환 선택된 화면의 룩업 테이블(lutb)의 좌표 정보에 가중치(1- α)를 주어 중간 변환 화면의 룩업 테이블(lutc)의 좌표 정보를 산출한다.The coordinate estimation unit 400 gives a weight (α) to the coordinate information of the lookup table (luta) of the current screen in (Equation 1) and a weight (1-α) to the coordinate information of the lookup table (lutb) of the selected screen. Is given to calculate the coordinate information of the lookup table (lutc) of the intermediate conversion screen.

좌표추정부(400)는 보간의 값을, 설정된 단위시간마다 일정한 값을 감소 시킴으로써 변화시킨다. 일실시례에 따른 좌표추정부(400)는 가중치(α)를 1에서 설정된 단위시간마다 0.1씩 감소시킨다. 좌표추정부(400)가 가중치를 0.1씩 변경하는 과정을 (표 1)에 나타낸다.The coordinate estimation unit 400 changes the interpolation value by decreasing a constant value every set unit time. The coordinate estimating unit 400 according to an embodiment decreases the weight α by 0.1 for every unit time set in 1. Table 1 shows a process in which the coordinate estimator 400 changes the weight by 0.1.

Figure 112014105298318-pat00002
Figure 112014105298318-pat00002

좌표추정부(400)는 (표 1)에서 스텝(step)에 따라 산출된 좌표정보를 저장한 룩업 테이블(lutc)를 영상처리부(500)에 출력한다. 좌표추정부(400)에 설정된 가중치는 설정에 따라 변경될 수 있으며, 어느 특정한 값에 한정되지 않는다.The coordinate estimating unit 400 outputs a lookup table lutc storing coordinate information calculated according to a step in (Table 1) to the image processing unit 500. The weight set in the coordinate estimator 400 may be changed according to the setting, and is not limited to any specific value.

영상처리부(500)는 저장된 룩업 테이블 중 적어도 어느 하나를 고려하여 영상을 합성한다. 영상처리부(500)는 고려된 룩업 테이블(luta, lutb) 및 새로운 룩업 테이블(lutc) 중 적어도 어느 하나를 고려하여 영상을 합성한다. 영상처리부(500)는 합성 영상의 전환 시 상기 보간 계산에 이용된 룩업 테이블(luta, lutb) 중간에 새로운 룩업 테이블(lutc)을 고려하여 영상을 합성한다. 영상처리부(500)는 새로운 룩업 테이블(lutc)에 의해 합성된 영상을 모니터(600)에 출력한다.The image processing unit 500 synthesizes an image in consideration of at least one of the stored lookup tables. The image processing unit 500 synthesizes an image by considering at least one of the considered lookup tables luta and lutb and the new lookup table lutc. The image processing unit 500 synthesizes the image in consideration of a new lookup table lutc in the middle of the lookup tables luta and lutb used for the interpolation calculation when the synthesized image is converted. The image processing unit 500 outputs an image synthesized by a new lookup table lutc to the monitor 600.

모니터(600)는 수신한 영상을 화면으로 출력한다. 모니터(600)는 AVM(Around-View Monitoring) 시스템 화면일 수 있다. 모니터(600)는 HUD(Head-Up Display)일 수도 있다.The monitor 600 outputs the received image on a screen. The monitor 600 may be an AVM (Around-View Monitoring) system screen. The monitor 600 may be a head-up display (HUD).

상기와 같이 구성되는 본 발명에 따른 차량 어라운드뷰 영상 생성 방법의 작용을 설명하면 다음과 같다. 도 2는 도 1의 구성에 의한 차량 어라운드뷰 영상 생성 방법의 제어 흐름을 도시한 제어흐름도이다.The operation of the method for generating a vehicle around view image according to the present invention configured as described above will be described as follows. FIG. 2 is a control flow diagram illustrating a control flow of a method for generating a vehicle around view image according to the configuration of FIG. 1.

카메라(100)는 차량 전방 영상, 차량 후방 영상 및 차량 측방 영상 중 적어도 어느 하나를 출력한다. 영상입력부(200)가 다수의 카메라로부터 영상을 입력 받는다(S100).The camera 100 outputs at least one of a vehicle front image, a vehicle rear image, and a vehicle side image. The image input unit 200 receives images from a plurality of cameras (S100).

좌표저장부(300)는 영상 출력 화소 단위로 색 표현 정보 또는 영상의 좌표 정보가 기록된 레코드들로 구성되는 복수의 룩업 테이블을 저장한다(S110). 좌표저장부(300)는 운전자가 현재 설정한 화면의 좌표 정보가 기록된 레코드들로 구성되는 룩업 테이블(luta) 및 운전자가 선택할 화면의 좌표 정보가 기록된 레코드들로 구성되는 룩업 테이블(lutb)을 저장한다.The coordinate storage unit 300 stores a plurality of lookup tables composed of records in which color expression information or coordinate information of an image is recorded in units of an image output pixel (S110). The coordinate storage unit 300 is a lookup table (luta) consisting of records in which coordinate information of a screen currently set by the driver is recorded, and a lookup table (lutb) consisting of records in which coordinate information of a screen selected by the driver is recorded Save it.

좌표추정부(400)는 복수의 룩업 테이블 중 적어도 둘 이상의 룩업 테이블의 데이터를 가중치를 주어 보간 계산하여 새로운 룩업 테이블(lutc)을 산출한다(S120). 좌표추정부(400)는 프레임 마다 보간의 값에 변화를 주어 보간 계산한다. 좌표추정부(400)는 보간의 값을, 설정된 단위시간마다 일정한 값을 감소 시킴으로써 변화시킨다. 좌표추정부(400)는 운전자의 화면 전환 선택 시 현재 화면에서 선택 화면으로 불연속적으로 바뀌는 것을 방지하기 위해 현재 화면과 선택 화면의 가중치를 점차 변경시킨다. 좌표추정부(400)는 프레임 마다 보간의 값에 변화를 주어 보간 계산한다.The coordinate estimating unit 400 calculates a new lookup table lutc by interpolating and calculating data of at least two lookup tables among the plurality of lookup tables (S120). The coordinate estimating unit 400 performs interpolation calculation by changing the interpolation value for each frame. The coordinate estimation unit 400 changes the interpolation value by decreasing a constant value every set unit time. The coordinate estimating unit 400 gradually changes the weights of the current screen and the selected screen in order to prevent discontinuous change from the current screen to the selected screen when the driver selects a screen change. The coordinate estimating unit 400 performs interpolation calculation by changing the interpolation value for each frame.

좌표추정부(400)는 (수학식 1)에서 현재 화면의 룩업 테이블(luta)의 좌표 정보에 가중치(α)를 주고 전환 선택된 화면의 룩업 테이블(lutb)의 좌표 정보에 가중치(1- α)를 주어 중간 변환 화면의 룩업 테이블(lutc)의 좌표 정보를 산출한다.The coordinate estimation unit 400 gives a weight (α) to the coordinate information of the lookup table (luta) of the current screen in (Equation 1) and a weight (1-α) to the coordinate information of the lookup table (lutb) of the selected screen. Given is given, coordinate information of the lookup table (lutc) of the intermediate conversion screen is calculated.

좌표추정부(400)는 가중치를 설정된 단위시간마다 일정한 값을 감소 시킴으로써 변화시킨다. 일실시례에 따른 좌표추정부(400)는 가중치(α)를 1에서 설정된 단위시간마다 0.1씩 감소시킨다. 좌표추정부(400)가 보간의 값을 0.1씩 변경하는 과정을 (표 1)에 나타내며, (표 1)은 위에서 기 표시하였다.The coordinate estimation unit 400 changes the weight by decreasing a constant value every set unit time. The coordinate estimating unit 400 according to an embodiment decreases the weight α by 0.1 for every unit time set in 1. The process in which the coordinate estimation unit 400 changes the interpolation value by 0.1 is shown in (Table 1), and (Table 1) is previously indicated above.

좌표추정부(400)는 (표 1)에서 스텝(step)에 따라 산출된 좌표정보를 저장한 룩업 테이블(lutc)를 영상처리부(500)에 출력한다. 좌표추정부(400)에 설정된 가중치(α)는 설정에 따라 변경될 수 있으며, 어느 특정한 값에 한정되지 않는다.The coordinate estimating unit 400 outputs a lookup table lutc storing coordinate information calculated according to a step in (Table 1) to the image processing unit 500. The weight α set in the coordinate estimating unit 400 may be changed according to the setting, and is not limited to any specific value.

영상처리부(500)는 고려된 룩업 테이블(luta, lutb) 및 새로운 룩업 테이블(lutc) 중 적어도 어느 하나를 고려하여 영상을 합성한다(S130). 영상처리부(500)는 저장된 룩업 테이블 중 적어도 어느 하나를 고려하여 영상을 합성한다. 영상처리부(500)는 새로운 룩업 테이블(lutc)에 의해 합성된 영상을 모니터(600)에 출력한다.The image processing unit 500 synthesizes an image by considering at least one of the considered lookup tables luta and lutb and the new lookup table lutc (S130). The image processing unit 500 synthesizes an image by considering at least one of the stored lookup tables. The image processing unit 500 outputs an image synthesized by a new lookup table lutc to the monitor 600.

모니터(600)는 수신한 영상을 화면으로 출력한다(S140). 모니터(600)는 AVM(Around-View Monitoring) 시스템 화면일 수 있다. 모니터(600)는 HUD(Head-Up Display)일 수도 있다.The monitor 600 outputs the received image to the screen (S140). The monitor 600 may be an AVM (Around-View Monitoring) system screen. The monitor 600 may be a head-up display (HUD).

이상에서는 본 발명의 바람직한 실시례에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시례에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.In the above, preferred embodiments of the present invention have been shown and described, but the present invention is not limited to the specific embodiments described above, and without departing from the gist of the present invention claimed in the claims, the present invention belongs to the technical field to which the present invention pertains. Various modifications may be possible by those of ordinary skill in the art, and these modifications should not be individually understood from the technical spirit or prospect of the present invention.

100 : 카메라
200 : 영상입력부
300 : 좌표저장부
400 : 좌표추정부
500 : 영상처리부
600 : 모니터100: camera
200: image input unit
300: coordinate storage unit
400: coordinate estimation
500: image processing unit
600: monitor

Claims (10)

다수의 카메라로부터 영상을 입력 받는 영상입력부;
영상 출력 화소 단위로 색 표현 정보 또는 상기 영상의 좌표 정보가 기록된 레코드들로 구성되는 복수의 룩업 테이블을 저장하는 좌표저장부;
상기 저장된 룩업 테이블 중 적어도 어느 하나를 고려하여 영상을 합성하는 영상처리부; 및
상기 복수의 룩업 테이블 중 적어도 둘 이상의 룩업 테이블의 데이터를 가중치에 따라 보간 계산하여 새로운 룩업 테이블을 산출하되, 프레임마다 상기 보간의 값에 변화를 주어 상기 보간 계산하는 좌표추정부를 포함하는 차량 어라운드뷰 영상 생성 장치.An image input unit receiving images from a plurality of cameras;
A coordinate storage unit configured to store a plurality of lookup tables including records in which color expression information or coordinate information of the image is recorded in units of image output pixels;
An image processing unit for synthesizing an image in consideration of at least one of the stored lookup tables; And
A vehicle around view image including a coordinate estimator for calculating a new lookup table by interpolating and calculating data of at least two lookup tables among the plurality of lookup tables according to weights, and changing the interpolation value for each frame. Generating device. 제 1 항에 있어서
상기 영상처리부는 상기 고려된 룩업 테이블 및 상기 새로운 룩업 테이블 중 적어도 어느 하나를 고려하여 상기 영상을 합성하는 차량 어라운드뷰 영상 생성 장치.The method of claim 1
The apparatus for generating a vehicle around view image, wherein the image processing unit synthesizes the image by considering at least one of the considered lookup table and the new lookup table. 제 2 항에 있어서
상기 영상처리부는 상기 합성 영상의 전환 시 상기 보간 계산에 이용된 룩업 테이블 중간에 새로운 룩업 테이블을 고려하여 상기 영상을 합성하는 차량 어라운드뷰 영상 생성 장치.The method of claim 2
The image processing unit, when converting the synthesized image, synthesizes the image by considering a new lookup table in the middle of the lookup table used for the interpolation calculation. 삭제delete 제 1 항에 있어서
상기 좌표추정부는 상기 보간의 값을, 설정된 단위시간마다 일정한 값을 감소 시킴으로써 변화시키는 차량 어라운드뷰 영상 생성 장치.The method of claim 1
The coordinate estimating unit changes the interpolation value by decreasing a constant value every set unit time. 다수의 카메라로부터 영상을 입력 받는 단계;
영상 출력 화소 단위로 색 표현 정보 또는 상기 영상의 좌표 정보가 기록된 레코드들로 구성되는 복수의 룩업 테이블이 저장되는 단계;
상기 저장된 룩업 테이블 중 적어도 어느 하나를 고려하여 영상을 합성하는 단계; 및
상기 복수의 룩업 테이블 중 적어도 둘 이상의 룩업 테이블의 데이터를 가중치에 따라 보간 계산하여 새로운 룩업 테이블을 산출하되, 프레임 마다 상기 보간의 값에 변화를 주어 상기 보간 계산하는 단계를 포함하는 차량 어라운드뷰 영상 생성 방법.Receiving images from a plurality of cameras;
Storing a plurality of lookup tables including records in which color expression information or coordinate information of the image is recorded in units of image output pixels;
Synthesizing an image in consideration of at least one of the stored lookup tables; And
Generating a vehicle around view image comprising calculating a new lookup table by interpolating data of at least two lookup tables among the plurality of lookup tables according to weights, and calculating the interpolation by varying the interpolation value for each frame. Way. 제 6 항에 있어서
상기 영상 합성 단계에서 상기 고려된 룩업 테이블 및 상기 새로운 룩업 테이블 중 적어도 어느 하나를 고려하여 상기 영상을 합성하는 차량 어라운드뷰 영상 생성 방법.The method of claim 6
A vehicle around view image generation method for synthesizing the image by considering at least one of the considered lookup table and the new lookup table in the image synthesizing step. 제 7 항에 있어서
상기 영상 합성 단계에서 상기 합성 영상의 뷰 모드 변환 시 상기 보간 계산에 이용된 룩업 테이블 중간에 새로운 룩업 테이블이 고려되어 상기 영상을 합성하는 차량 어라운드뷰 영상 생성 방법.The method of claim 7
In the image synthesizing step, when converting the view mode of the synthesized image, a new lookup table is considered in the middle of the lookup table used for the interpolation calculation to synthesize the image. 삭제delete 제 6 항에 있어서
상기 보간 계산하는 단계에서 상기 보간의 값이, 설정된 단위시간마다 일정한 값을 감소 시킴으로써 변화되는 차량 어라운드뷰 영상 생성 방법.The method of claim 6
In the step of calculating the interpolation, the interpolation value is changed by decreasing a constant value every set unit time.
KR1020140150586A 2014-10-31 2014-10-31 Apparatus and method for generating vehicle around-view video KR102227853B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140150586A KR102227853B1 (en) 2014-10-31 2014-10-31 Apparatus and method for generating vehicle around-view video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140150586A KR102227853B1 (en) 2014-10-31 2014-10-31 Apparatus and method for generating vehicle around-view video

Publications (2)

Publication Number Publication Date
KR20160051129A KR20160051129A (en) 2016-05-11
KR102227853B1 true KR102227853B1 (en) 2021-03-15

Family

ID=56025957

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140150586A KR102227853B1 (en) 2014-10-31 2014-10-31 Apparatus and method for generating vehicle around-view video

Country Status (1)

Country Link
KR (1) KR102227853B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180008244A (en) 2016-07-14 2018-01-24 엘지이노텍 주식회사 Method and apparatus for producing image
WO2018012925A1 (en) * 2016-07-14 2018-01-18 엘지이노텍(주) Image producing method and device
KR102508984B1 (en) 2017-09-22 2023-03-13 엘지이노텍 주식회사 Apparatus of providing an around view image and method of calibrating the around view image thereof

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3907810B2 (en) * 1998-01-07 2007-04-18 富士フイルム株式会社 Three-dimensional lookup table correction method, image processing apparatus for performing the same, and digital color printer having the same
KR101113679B1 (en) * 2010-05-24 2012-02-14 기아자동차주식회사 Image correction method for a camera system
KR101376211B1 (en) * 2012-06-01 2014-03-21 현대모비스 주식회사 Image composing apparatus of around view monitor system for changing view mode easily and method thereof

Also Published As

Publication number Publication date
KR20160051129A (en) 2016-05-11

Similar Documents

Publication Publication Date Title
JP6381215B2 (en) Image processing apparatus, image processing method, display apparatus, display apparatus control method, and program
US20190028651A1 (en) Imaging device, imaging system, and imaging method
US9204086B2 (en) Method and apparatus for transmitting and using picture descriptive information in a frame rate conversion processor
JP2011019191A5 (en)
WO2011060579A8 (en) Method for generating depth maps from monocular images and systems using the same
JP2011055022A (en) Three-dimensional image display system, parallax conversion device, parallax conversion method, and program
CN103227889B (en) Image signal processing apparatus, image-signal processing method, image display device, television receiver, electronic equipment
WO2013175735A1 (en) Display control device and display control method
JP2011234342A (en) Image processor and control method thereof
KR102227853B1 (en) Apparatus and method for generating vehicle around-view video
WO2004049257A3 (en) Method and system for generating panoramic images from video sequences
JP6087612B2 (en) Image processing apparatus and image processing method
TWI592903B (en) Image processing device, image processing method and program
JP6527641B2 (en) Image processing apparatus and superimposed image generation method
JP2016109828A (en) Image processing device, image processing method and program
JP2014021178A5 (en)
US10832425B2 (en) Image registration method and apparatus for terminal, and terminal
EP2190195A2 (en) Moving-image processing apparatus and method therefor
JP2019193025A (en) Video brightness conversion apparatus and program thereof
JP6582994B2 (en) Image processing apparatus, image processing method, and program
CN116508053A (en) Apparatus and method for video interpolation
JP5484548B2 (en) Image processing apparatus and control method thereof
JP6762843B2 (en) Image processing equipment, image processing methods, and programs
US8976234B2 (en) Method for controlling display of stereoscopic image, apparatus for controlling display of stereoscopic image, and imaging apparatus
US11513361B2 (en) Apparatus and method for frame cropping and shifting

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant