KR20150129542A - Operating method of around view system - Google Patents

Operating method of around view system Download PDF

Info

Publication number
KR20150129542A
KR20150129542A KR1020140056702A KR20140056702A KR20150129542A KR 20150129542 A KR20150129542 A KR 20150129542A KR 1020140056702 A KR1020140056702 A KR 1020140056702A KR 20140056702 A KR20140056702 A KR 20140056702A KR 20150129542 A KR20150129542 A KR 20150129542A
Authority
KR
South Korea
Prior art keywords
image
vehicle
top view
speed
camera
Prior art date
Application number
KR1020140056702A
Other languages
Korean (ko)
Other versions
KR102159354B1 (en
Inventor
권영찬
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020140056702A priority Critical patent/KR102159354B1/en
Publication of KR20150129542A publication Critical patent/KR20150129542A/en
Application granted granted Critical
Publication of KR102159354B1 publication Critical patent/KR102159354B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

The present invention provides an operating method for an around view system, which comprises the following steps of: storing an image photographed by operating a camera module in case a vehicle speed is a parking expected speed; determining the vehicle speed is a parking entering speed; generating a top view image based on a current image which is photographed in the camera module and a past image which is stored in case of the parking entering speed; and displaying the top view image on a display module.

Description

어라운드 뷰 시스템의 동작방법{Operating method of around view system}[0001] The present invention relates to an operating method of an ambient view system,

본 발명은 어라운드 뷰 시스템의 동작방법에 관한 것으로서, 더욱 상세하게는 전방 카메라 및 후방 카메라에서 촬영된 현재영상과 이전 저장된 과거영상을 기반으로 탑뷰영상을 생성하기 용이한 어라운드 뷰 시스템의 동작방법에 관한 것이다.The present invention relates to an operation method of an around view system, and more particularly, to an operation method of an around view system which is easy to generate a top view image based on a current image photographed by a front camera and a rear camera and a past past image will be.

차량의 전,후, 및 좌, 우에 장착된 카메라를 이용하여 운전자에게 탑뷰(top view) 또는 어라운드 뷰(around view)를 디스플레이해주는 어라운 드 뷰 시스템이 잘 알려져 있다. 도 1에 예시된 바와 같이, 어라운드 뷰 시스템은 차량을 위에서 바라보는 영상을 제공한다. An all-view system is known that displays a top view or an around view to a driver using cameras mounted on the front, rear, left, and right sides of the vehicle. As illustrated in FIG. 1, the surround view system provides an image viewing the vehicle from above.

또한 어라운드 뷰 시스템은 차량이 전진 중일 경우는 전방 영상을, 후진 중일 경우는 후진 영상을 어라운드 뷰 영상과 함께 디스플레이한다. 그런데 이 전방 영상 또는 후방 영상은 촬영 영상의 좌측 일부 영역과 우측 일부 영역이 삭제된 후의 영상이다. Also, the surround view system displays the forward image when the vehicle is advancing, and the backward image when the vehicle is in reverse, together with the surround view image. However, the forward image or the backward image is an image after the left part and the right part of the captured image are deleted.

카메라를 통해 입력된 원 영상의 좌우 영역은 굳이 디스플레이될 필요가 없기 때문에 영상의 좌우 영역 일부를 삭제한 후 디스플레이하는 것이다. 그러나 이 같은 어라운드 뷰 시스템은 항상 고정된 전방 영상 또는 후방 영상을 디스플레이할 뿐이므로, 차량이 좌측 또는 우측 방향으로 이동하고자 하는 경우, 해당 방향에 대해 더욱 많은 정보의 영상을 제공해 주지는 못한다.Since the left and right areas of the original image input through the camera do not need to be displayed, a part of the left and right areas of the image is deleted and then displayed. However, since such an averaged view system always displays a fixed forward image or a rear image, when the vehicle tries to move to the left or right direction, it does not provide more images of information in the corresponding direction.

최근들어, 전방카메라 및 후방카메라만을 이용하여 탑뷰영상을 생성하기 위한 연구가 진행 중에 있다.In recent years, research is underway to generate a top view image using only a front camera and a rear camera.

본 발명의 목적은, 전방 카메라 및 후방 카메라에서 촬영된 현재영상과 이전 저장된 과거영상을 기반으로 탑뷰영상을 생성하기 용이한 어라운드 뷰 시스템의 동작방법을 제공함에 있다.It is an object of the present invention to provide an operation method of an around view system which is easy to generate a top view image based on a current image photographed by a front camera and a rear camera and a past past image.

본 발명에 따른 어라운드 뷰 시스템의 동작방법은, 차량속도가 주차예정속도이면 카메라모듈을 동작시켜 촬영한 영상을 저장하는 단계, 상기 차량속도가 주차진입속도인지 판단하는 단계, 상기 주차진입속도이면, 상기 카메라모듈에서 촬영한 현재영상과 저장된 과거영상을 기반으로 탑뷰영상을 생성하는 단계 및 상기 탑뷰영상을 디스플레이모듈에 디스플레이시키는 단계를 포함할 수 있다.A method of operating an ambient view system according to the present invention includes the steps of storing an image photographed by operating a camera module if the vehicle speed is a predetermined parking speed, determining whether the vehicle speed is a parking entry speed, Generating a top view image based on a current image captured by the camera module and a past captured image, and displaying the top view image on a display module.

상기 카메라모듈은, 차량의 전방을 촬영하는 전방카메라 및 상기 차량의 후방을 촬영하는 후방카메라를 포함한다.The camera module includes a front camera for photographing the front of the vehicle and a rear camera for photographing the rear of the vehicle.

상기 주차예정속도는, 30Km/h인이고, 상기 주차진입속도는, 상기 주차예정속도보다 느린 10Km/h일 수 있다.The scheduled parking speed is 30 km / h, and the parking entry speed may be 10 Km / h which is slower than the scheduled parking speed.

상기 주차진입속도 판단단계는, 상기 주차진입속도가 아닌 것으로 판단하면, 소정 시간 경과 후 재 판단할 수 있다.If it is determined that the parking entry speed is not the parking entry speed, the parking entry speed determination step may be re-determined after a predetermined time elapses.

상기 탑뷰영상 생성단계는, 상기 현재영상으로 기반으로 전후방 영상을 생성하고, 상기 과거영상을 기반으로 좌우측 영상을 생성하는 단계 및 상기 전후방 영상 및 상기 좌우측 영상을 설정된 차량 마스크와 합성한 상기 탑뷰영상을 생성하는 단계를 포함할 수 있다.Wherein the generating of the top view image comprises generating a front and rear image based on the current image and generating left and right images based on the past image and generating a top view image in which the front and rear images and the left and right images are combined with a set vehicle mask, And a step of generating the data.

본 발명에 따른 어라운드 뷰 시스템의 동작방법은, 차량기어를 확인하는 단계를 더 포함할 수 있다.The method of operation of the surround view system according to the present invention may further comprise identifying a vehicle gear.

상기 과거영상은, 상기 차량의 과거전방영상 및 과거후방영상을 포함하고, 상기 영상 생성단계는, 상기 차량기어가 전진기어이면, 상기 과거전방영상으로 상기 좌우측 영상을 생성할 수 있다.The past image includes a past forward image and a past rear image of the vehicle, and the image generation step may generate the left and right images with the past forward image if the vehicle gear is a forward gear.

또한, 상기 영상 생성단계는, 상기 차량기어가 후진기어이면, 상기 과거후방영상으로 상기 좌우측 영상을 생성할 수 있다.In addition, the image generation step may generate the left and right images with the past backward image if the vehicle gear is a reverse gear.

상기 탑뷰 생성단계는, 상기 전후방 영상 및 상기 좌우측 영상에서 서로 매칭되는 특징점들을 추출하여, 서로 대응되게 합성하여 상기 탑뷰영상을 생성할 수 있다.The top view generation step may extract the feature points matching each other in the front and rear images and the left and right images, and synthesize the feature points so as to correspond to each other to generate the top view image.

상기 디스플레이 단계는, 상기 탑뷰영상 및 차량주행정보를 디스플레이시킬 수 있다.The displaying step may display the top view image and the vehicle driving information.

본 발명에 따른 어라운드 뷰 시스템의 동작방법은, 전방카메라 및 후방카메라에서 촬영된 현재영상 및 과거영상을 기반으로, 전후방 영상 및 좌우측 영상을 포함하는 탑뷰영상을 생성할 수 있음으로써, 카메라 대수를 줄일 수 있으므로 제조비를 절감할 수 있으며, 제품의 상품성이 증대되는 이점이 있다.The operation method of the surround view system according to the present invention can generate a top view image including front and rear images and left and right images based on a current image and a past image captured by a front camera and a rear camera, The manufacturing cost can be reduced, and the merchantability of the product is increased.

도 1은 본 발명에 따른 어라운드 뷰 시스템의 제어구성을 나타낸 제어블록도이다.
도 2는 본 발명에 따른 어라운드 뷰 시스템의 동작방법을 나타낸 순서도이다.
도 3은 본 발명에 따른 어라운드 뷰 시스템의 탑뷰영상을 나타낸 예시도이다.
도 4 및 도 5는 본 발명에 따른 어라운드 뷰 시스템의 탑뷰영상을 나타낸 예시도이다.FIG. 1 is a control block diagram showing a control configuration of an ambient view system according to the present invention.
2 is a flowchart illustrating an operation method of the surround view system according to the present invention.
FIG. 3 is a view showing an example of a top view image of an around view system according to the present invention.
FIG. 4 and FIG. 5 are views showing an example of a top view image of the surrounding view system according to the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. To fully disclose the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.Unless defined otherwise, all terms (including technical and scientific terms) used herein may be used in a sense commonly understood by one of ordinary skill in the art to which this invention belongs. Also, commonly used predefined terms are not ideally or excessively interpreted unless explicitly defined otherwise.

또한, 본 발명의 구조를 설명하는 과정에서 언급하는 각도와 방향은 도면에 기재된 것을 기준으로 한다. 명세서에서 발광소자를 이루는 구조에 대한 설명에서, 각도에 대한 기준점과 위치관계를 명확히 언급하지 않은 경우, 관련 도면을 참조하도록 한다.Further, the angles and directions mentioned in the course of describing the structure of the present invention are based on those described in the drawings. In the description of the structure of the light emitting device in the specification, reference points and positional relationship with respect to angles are not explicitly referred to, refer to the related drawings.

도 1은 본 발명에 따른 어라운드 뷰 시스템의 제어구성을 나타낸 제어블록도이다.FIG. 1 is a control block diagram showing a control configuration of an ambient view system according to the present invention.

도 1을 참조하면, 어라운드 뷰 시스템은, 카메라모듈(110), 디스플레이모듈(120) 및 제어모듈(130)을 포함할 수 있다.Referring to FIG. 1, the surround view system may include a camera module 110, a display module 120, and a control module 130.

카메라모듈(110)는 차량의 전방 영상을 촬영하는 제1 카메라(112) 및 차량의 후방 영상을 촬영하는 제2 카메라(114)를 포함할 수 있다.The camera module 110 may include a first camera 112 for photographing a forward image of the vehicle and a second camera 114 for photographing a rear image of the vehicle.

실시 예에서, 카메라모듈(110)은 2대의 제1, 2 카메라(112, 114)를 포함하는 것으로 나타내었으나, 차량의 후방 영상을 촬영하는 제2 카메라(114) 만을 포함할 수 있으며, 이에 한정을 두지 않는다.In an embodiment, the camera module 110 is shown as including two first and second cameras 112 and 114, but may include only a second camera 114 that captures a backward image of the vehicle, .

예를 들어, 카메라모듈(110)은 제2 카메라(114) 만을 포함하는 경우, 제2 카메라(114)에서 촬영한 현재영상 및 과거영상으로 탑뷰영상을 생성할 수 있으며, 이에 대한 간략한 설명은 후술하기로 한다.For example, when the camera module 110 includes only the second camera 114, a top view image can be generated from the current image and the past image captured by the second camera 114, .

또한, 실시 예에서,제1, 2 카메라(112, 114)는 각각 촬영한 영상을 제어모듈(130)로 전달하는 것으로 설명하고, 도면에 나타내지만, 제1, 2 카메라(112, 114)에서 촬영된 영상들을 통합하여 주변영상을 생성하고 제어모듈(130)로 전달하는 카메라제어부(미도시)를 포함할 수 있으며, 이에 한정을 두지 않는다.In the embodiment, the first and second cameras 112 and 114 transmit the photographed images to the control module 130, respectively. In the first and second cameras 112 and 114, And a camera control unit (not shown) that synthesizes the captured images to generate a peripheral image and transmits the generated peripheral image to the control module 130. However, the present invention is not limited thereto.

디스플레이모듈(120)은 제어모듈(130)로부터 전달된 탑뷰(top view)영상 및 차량의 주행방향영상 중 적어도 하나를 디스플레이할 수 있다.The display module 120 may display at least one of a top view image transmitted from the control module 130 and a traveling direction image of the vehicle.

이때, 디스플레이모듈(120)은 사용자 명령이 입력되는 입력메뉴를 디스플레이할 수 있으며, 이에 한정을 두지 않는다.At this time, the display module 120 may display an input menu to which a user command is input, but is not limited thereto.

여기서, 디스플레이모듈(120)은 터치 입력이 가능한 터치 디스플레이 패널을 포함할 수 있다.Here, the display module 120 may include a touch display panel capable of touch input.

제어모듈(130)은 차량의 속도 및 기어위치 중 적어도 하나를 포함하는 차량의 주행정보를 차량에 설치된 복수의 센서(미도시)로부터 수집할 수 있다.The control module 130 may collect the running information of the vehicle including at least one of the speed and the gear position of the vehicle from a plurality of sensors (not shown) provided in the vehicle.

여기서, 제어모듈(130)은 차량의 속도가 주차예정속도에 도달하는 시점부터 차량의 정지시점 또는 종료명령 입력시까지 카메라모듈(110)에 포함된 제1, 2 카메라(112, 114)를 동작시켜 상기 주변영상을 전달받을 수 있다.Here, the control module 130 operates the first and second cameras 112 and 114 included in the camera module 110 from the time when the speed of the vehicle reaches the scheduled parking speed to when the vehicle is stopped or when the end command is inputted The peripheral image can be received.

또한, 제어모듈(130)은 상기 주변영상을 시점별로 구분하여 저장부(미도시)에 저장할 수 있다.In addition, the control module 130 may store the surrounding images in a storage unit (not shown) by dividing the images into viewpoints.

제어모듈(130)은 차량의 속도가 상기 주차예정속도보다 낮은 주차진입속도에 도달하는 시점에 카메라모듈(110)에서 촬영된 현재영상을 기반으로 탑뷰 영상을 생성하여, 디스플레이모듈(120)에 디스플레이되도록 제어할 수 있다.The control module 130 generates a top view image based on the current image photographed by the camera module 110 at a point of time when the speed of the vehicle reaches a parking entry speed lower than the scheduled parking speed, .

실시 예에서, 상기 주차예정속도는 30Km/h인이고, 상기 주차진입속도는, 상기 주차예정속도보다 느린 10Km/h일 수 있으며, 이에 한정을 두지 않는다.In an embodiment, the scheduled parking speed is 30 km / h, and the parking entry speed may be 10 Km / h, which is slower than the scheduled parking speed, but is not limited thereto.

이때, 제어모듈(130)은 상기 차량기어가 전진기어 또는 후진기어인지 여부에 따라 상기 저장부에 저장된 제1, 2 카메라(112, 114) 중 어느 하나에서 촬영 저장된 과거영상을 기반으로 좌우측 영상을 생성할 수 있다.At this time, the control module 130 determines whether or not the vehicle gear is a forward gear or a reverse gear, based on the past image captured and stored in any one of the first and second cameras 112 and 114 stored in the storage unit Can be generated.

즉, 제어모듈(130)는 상기 차량기어가 전진기어이면, 제1 카메라(112)에서 현재 촬영된 상기 현재영상을 기반으로 상기 탑뷰영상에 포함된 전방영상을 생성하고, 제2 카메라(114)에서 현재 촬영된 상기 현재영상을 기반으로 상기 탑뷰영상에 포함된 후방영상을 생성하고, 상기 저장부에 저장된 제1 카메라(112)에서 촬영된 상기 과거영상으로 상기 탑뷰영상에 포함된 좌우측 영상을 생성하여, 상기 탑뷰영상을 생성할 수 있다.That is, if the vehicle gear is a forward gear, the control module 130 generates a forward image included in the top view image based on the current image currently captured by the first camera 112, And generates a backward image included in the top view image based on the current image currently captured in the storage unit and generates a left and right image included in the top view image with the past image captured by the first camera 112 stored in the storage unit So that the top view image can be generated.

이와 반대로 제어모듈(130)은 상기 차량기어가 후진기어이면, 상기 저장부에 저장된 제2 카메라(114)에서 촬영된 상기 과거영상으로 상기 탑뷰영상에 포함된 좌우측 영상을 생성할 수 있다.On the contrary, if the vehicle gear is a reverse gear, the control module 130 can generate left and right images included in the top view image with the past image captured by the second camera 114 stored in the storage unit.

제어모듈(130)은 상기 전방영상, 상기 후방영상 및 상기 좌우측 영상 각각에서 서로 매칭되는 특징점들을 추출하고, 상기 특징점들이 서로 대응되게 합성하여 상기 탑뷰영상을 생성할 수 있다.The control module 130 may extract feature points matching each other in the forward image, the backward image, and the left and right images, and may generate the top view image by synthesizing the feature points corresponding to each other.

도 2는 본 발명에 따른 어라운드 뷰 시스템의 동작방법을 나타낸 순서도이다.2 is a flowchart illustrating an operation method of the surround view system according to the present invention.

도 2를 참조하면, 어라운드 뷰 시스템의 제어모듈(130)는 차량속도가 주차예정속도인지 판단하고(S210), 주차예정속도이면 제1, 2 카메라(112, 114) 각각에서 차량의 전방영상 및 후방영상을 촬영하도록 제어한다(S220).Referring to FIG. 2, the control module 130 of the surround view system determines whether the vehicle speed is a predetermined parking speed (S210). If it is the expected parking speed, So that the backward image is captured (S220).

즉, 제어모듈(130)는 상기 차량에 설치되며, 상기 차량의 주행속도를 측정하는 센서 또는 기타 전자 장비로부터 측정된 상기 주행속도와 주차예정속도를 비교한다.That is, the control module 130 is installed in the vehicle, and compares the traveling speed measured from the sensor or other electronic equipment for measuring the traveling speed of the vehicle with the expected parking speed.

제어모듈(130)은 차량속도가 주차예정속도에 도달하는 시점부터 차량의 정지시점 또는 종료명령 입력시까지 제1, 2 카메라(112, 114)를 동작시켜, 상기 제1, 2 카메라(112, 114) 각각이 차량의 전방영상 및 후방영상을 촬영하게 제어할 수 있다.The control module 130 operates the first and second cameras 112 and 114 from the time when the vehicle speed reaches the scheduled parking speed to when the vehicle is stopped or when the end command is inputted, 114 can control the front and rear images of the vehicle to be photographed.

(S220) 단계 이후, 제어모듈(130)는 차량의 속도 및 기어위치를 포함하는 주행정보를 수집하고(S230), 상기 주변영상과 상기 주행정보를 시점별로 구분하여 저장한다(S240).After step S220, the control module 130 collects driving information including a speed and a gear position of the vehicle (S230), and stores the surrounding image and the driving information separately for each viewpoint (S240).

이후, 제어모듈(130)은 차량속도가 주차진입속도인지 판단하고(S250), 주차진입속도로 판단되면 차량기어가 전진기어인지 확인한다(S260).Then, the control module 130 determines whether the vehicle speed is the parking entry speed (S250). If it is determined that the vehicle entering speed is the parking entry speed, the control module 130 determines whether the vehicle gear is the forward gear (S260).

즉, 제어모듈(130)은 상기 주변영상, 즉 상기 전방영상 및 상기 후방영상을 시점별로 구분하여 저장부(미도시)에 저장할 수 있다.That is, the control module 130 may store the peripheral image, that is, the forward image and the backward image, into a storage unit (not shown).

(S260) 단계 이후, 제어모듈(130)은 차량기어가 전진기어이면, 상기 저장부에 저장된 제1 카메라(112)에서 촬영된 상기 과거영상으로 상기 탑뷰영상에 포함된 좌우측 영상을 생성하거나(S270), 또는 제어모듈(130)은 차량기어가 전진기어가 아닌 후진기어이면, 상기 저장부에 저장된 제2 카메라(114)에서 촬영된 상기 과거영상으로 상기 탑뷰영상에 포함된 좌우측 영상을 생성할 수 있다(S300).After step S260, if the vehicle gear is a forward gear, the control module 130 generates left and right images included in the top view image with the past image captured by the first camera 112 stored in the storage unit (S270) ) Or the control module 130 can generate the left and right images included in the top view image with the past image photographed by the second camera 114 stored in the storage unit if the vehicle gear is a reverse gear other than the forward gear (S300).

제어모듈(130)은 (S270) 단계 또는 (S330) 단계에서 생성된 상기 좌우측 영상과 제1 카메라(112)에서 현재 촬영된 상기 현재영상을 기반으로 상기 탑뷰영상에 포함된 전방영상을 생성하고, 제2 카메라(114)에서 현재 촬영된 상기 현재영상을 기반으로 상기 탑뷰영상에 포함된 후방영상을 생성하여, 상기 탑뷰영상을 생성할 수 있다(S280).The control module 130 generates a forward image included in the top view image based on the left and right images generated at step S270 or S330 and the current image currently captured at the first camera 112, The second camera 114 may generate a rearview image included in the topview image based on the current image photographed at present and generate the topview image at step S280.

이후, 제어모듈(130)는 상기 탑뷰영상을 디스플레이모듈(120)에 디스플레이되도록 제어한다(S290).Then, the control module 130 controls the display module 120 to display the top view image (S290).

만약, 상술한 바와 같이 카메라모듈(110)은 차량의 후방을 촬영하는 제2 카메라(114)만 포함하는 경우, (S260) 단계에서 제어모듈(130)은 차량기어가 전진기어이면 탑뷰영상에 제2 카메라(114)에서 현재 촬영한 현재 영상을 후방 영상으로 변환하여 포함되도록 할 수 있다.If the camera module 110 includes only the second camera 114 that captures the rear of the vehicle as described above, the control module 130 determines whether the vehicle gear is the forward gear in step S260, 2 camera 114 can convert the current image photographed by the camera 114 into a backward image to be included.

도 3은 본 발명에 따른 어라운드 뷰 시스템의 탑뷰영상을 나타낸 예시도이다.FIG. 3 is a view showing an example of a top view image of an around view system according to the present invention.

도 3은 카메라모듈(110)이 제1, 2 카메라(112, 114)를 모두 포함하는 경우, 탑뷰영상에는 전방영상, 후방영상 및 좌우측 영상을 포함할 수 있다.3, if the camera module 110 includes both the first and second cameras 112 and 114, the top view image may include a forward image, a backward image, and left and right images.

도 2에서 상술한 바와 같이, 상기 좌우측 영상은 차량기어가 전진기어인 경우 제1 카메라(112)에서 촬영 저장된 과거영상을 기반으로 생성될 수 있으며, 상기 차량기어가 후진기어인 경우 제2 카메라(114)에서 촬영 저장된 과거영상을 기반으로 생성될 수 있으며, 이에 한정을 두지 않는다.2, the left and right images may be generated based on past images captured by the first camera 112 when the vehicle gear is a forward gear, and may be generated based on past images captured by the first camera 112, 114 based on the stored past images.

도 4 및 도 5는 본 발명에 따른 어라운드 뷰 시스템의 탑뷰영상을 나타낸 예시도이다.FIG. 4 and FIG. 5 are views showing an example of a top view image of the surrounding view system according to the present invention.

도 4는 도 3와 다르게 카메라모듈(110)이 제2 카메라(114)만을 포함하는 경우를 나타낸다.FIG. 4 shows a case where the camera module 110 includes only the second camera 114, unlike FIG.

즉, 도 4는 차량기어가 전진기어인 경우 제2 카메라(114)에서 촬영된 현재영상만으로 합성된 탑뷰영상을 나타낸다.That is, FIG. 4 shows a top view image synthesized from only the current image photographed by the second camera 114 when the vehicle gear is a forward gear.

여기서, 도 5는 도 4와 동일하게 카메라모듈(110)이 제2 카메라(114)만을 포함하며, 차량기어가 후진기어인 경우를 나타낸다.5 shows a case where the camera module 110 includes only the second camera 114 and the vehicle gear is a reverse gear, as in FIG.

즉, 도 5(a)에 나타낸 바와 같이, 차량기어가 후진기어로 변속되는 시점에 제2 카메라(114)는 제어모듈(130)의 제어에 따라 동작하여 차량의 후방 영상, 즉 현재 영상을 촬영한다.5 (a), when the vehicle gear is shifted to the reverse gear, the second camera 114 operates under the control of the control module 130 to capture a rear image of the vehicle, that is, do.

이후, 제어모듈(130)는 상기 현재 영상, 즉 후방 영상을 탑뷰영상으로 변환하여 디스플레이되도록 제어할 수 있다. 도 5(a)에 나타낸 바와 같이, 탑뷰영상에 포함된 후방영상 외에 다른 좌우측영상 및 전방영상은 제2 카메라(114)에서 저장한 과거 영상이 존재하지 않음으로써, 블랙 또는 기 설정된 색상으로 표시할 수 있다.Then, the control module 130 can convert the current image, i.e., the backward image, into a top-view image, and display the converted top-view image. As shown in FIG. 5 (a), the left and right images other than the backward image included in the top view image and the forward image do not exist in the past image stored in the second camera 114, .

도 5(b) 및 도 5(c)는 차량의 후진 주차를 시작한 후 시간 경과에 따라 탑뷰영상에 좌우측영상 및 전방영상이 생성됨을 알 수 있다.5 (b) and 5 (c) show that the left and right images and the front images are generated in the top view image according to the passage of time after starting the backward parking of the vehicle.

즉, 제어모듈(130)는 제2 카메라(114)에서 촬영 저장한 후방 영상, 즉 과거영상이 시간에 비례하여 증가하는 경우 탑뷰 영상으로 합성하여, 디스프레이모듈(120)에 그 영상 영역이 확대되도록 할 수 있다.That is, when the backward image captured by the second camera 114, that is, the past image increases in proportion to time, the control module 130 synthesizes the rearview image into the topview image so that the image area is enlarged in the display module 120 can do.

이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다.It is to be understood that the terms "comprises", "comprising", or "having" as used in the foregoing description mean that the constituent element can be implanted unless specifically stated to the contrary, But should be construed as further including other elements.

이상에서는 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It should be understood that various modifications may be made by those skilled in the art without departing from the spirit and scope of the present invention.

Claims (10)

차량속도가 주차예정속도이면 카메라모듈을 동작시켜 촬영한 영상을 저장하는 단계;
상기 차량속도가 주차진입속도인지 판단하는 단계;
상기 주차진입속도이면, 상기 카메라모듈에서 촬영한 현재영상과 저장된 과거영상을 기반으로 탑뷰영상을 생성하는 단계; 및
상기 탑뷰영상을 디스플레이모듈에 디스플레이시키는 단계;를 포함하는 어라운드 뷰 시스템의 동작방법. Storing the photographed image by operating the camera module if the vehicle speed is the expected parking speed;
Determining whether the vehicle speed is a parking entry speed;
Generating a top view image based on the current image captured by the camera module and the stored past image if the parking entry speed is reached; And
And displaying the top view image on a display module. 제 1 항에 있어서,
상기 카메라모듈은,
차량의 전방을 촬영하는 전방카메라; 및
상기 차량의 후방을 촬영하는 후방카메라를 포함하는 어라운드 뷰 시스템의 동작방법. The method according to claim 1,
The camera module includes:
A front camera for photographing the front of the vehicle; And
And a rear camera for photographing the rear of the vehicle. 제 1 항에 있어서,
상기 주차예정속도는,
30Km/h인이고,
상기 주차진입속도는,
상기 주차예정속도보다 느린 10Km/h인 어라운드 뷰 시스템의 동작방법. The method according to claim 1,
The scheduled parking speed is set to a predetermined value,
30 Km / h,
Wherein the parking entry speed,
H, which is slower than the scheduled parking speed. 제 1 항에 있어서,
상기 주차진입속도 판단단계는,
상기 주차진입속도가 아닌 것으로 판단하면, 소정 시간 경과 후 재 판단하는 어라운드 뷰 시스템의 동작방법.The method according to claim 1,
The method of claim 1,
And if it is determined that the vehicle is not in the parking entry speed, re-determining the vehicle after a predetermined time elapses. 제 1 항에 있어서,
상기 탑뷰영상 생성단계는,
상기 현재영상으로 기반으로 전후방 영상을 생성하고, 상기 과거영상을 기반으로 좌우측 영상을 생성하는 단계; 및
상기 전후방 영상 및 상기 좌우측 영상을 설정된 차량 마스크와 합성한 상기 탑뷰영상을 생성하는 단계;를 포함하는 어라운드 뷰 시스템의 동작방법.The method according to claim 1,
Wherein the generating of the top view image comprises:
Generating front and back images based on the current image and generating left and right images based on the past image; And
And generating the top view image in which the front and rear images and the left and right images are combined with the set vehicle mask. 제 5 항에 있어서,
차량기어를 확인하는 단계;를 더 포함하는 어라운드 뷰 시스템의 동작방법.6. The method of claim 5,
Further comprising: identifying a vehicle gear. 제 6 항에 있어서,
상기 과거영상은,
상기 차량의 과거전방영상 및 과거후방영상을 포함하고,
상기 영상 생성단계는,
상기 차량기어가 전진기어이면, 상기 과거전방영상으로 상기 좌우측 영상을 생성하는 어라운드 뷰 시스템의 동작방법.The method according to claim 6,
In the past image,
A previous forward image and a past backward image of the vehicle,
The image generation step may include:
And if the vehicle gear is a forward gear, generating the left and right images with the past forward image. 제 7 항에 있어서,
상기 영상 생성단계는,
상기 차량기어가 후진기어이면, 상기 과거후방영상으로 상기 좌우측 영상을 생성하는 어라운드 뷰 시스템의 동작방법.8. The method of claim 7,
The image generation step may include:
And if the vehicle gear is a reverse gear, generating the left and right images with the past backward image. 제 5 항에 있어서,
상기 탑뷰 생성단계는,
상기 전후방 영상 및 상기 좌우측 영상에서 서로 매칭되는 특징점들을 추출하여, 서로 대응되게 합성하여 상기 탑뷰영상을 생성하는 어라운드 뷰 시스템의 동작방법.6. The method of claim 5,
In the top view generation step,
Extracting feature points matching each other in the forward and backward images and the left and right images, and synthesizing the extracted feature points so as to correspond to each other to generate the top view image. 제 1 항에 있어서,
상기 디스플레이 단계는,
상기 탑뷰영상 및 차량주행정보를 디스플레이시키는 어라운드 뷰 시스템의 동작방법.The method according to claim 1,
The display step may include:
And displaying the top view image and the vehicle running information.
KR1020140056702A 2014-05-12 2014-05-12 Operating method of around view system KR102159354B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140056702A KR102159354B1 (en) 2014-05-12 2014-05-12 Operating method of around view system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140056702A KR102159354B1 (en) 2014-05-12 2014-05-12 Operating method of around view system

Publications (2)

Publication Number Publication Date
KR20150129542A true KR20150129542A (en) 2015-11-20
KR102159354B1 KR102159354B1 (en) 2020-09-23

Family

ID=54844214

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140056702A KR102159354B1 (en) 2014-05-12 2014-05-12 Operating method of around view system

Country Status (1)

Country Link
KR (1) KR102159354B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180126899A (en) * 2017-05-19 2018-11-28 주식회사 에스더블유엠 Method and apparatus for providing around view image using front camera and rear camera
KR102365430B1 (en) * 2021-05-12 2022-02-24 제이씨현오토 주식회사 System for managing delivery vehicle by using integrated display system based on svm top view

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007288282A (en) * 2006-04-12 2007-11-01 Toyota Motor Corp Vehicle periphery monitoring device
JP2008056080A (en) * 2006-08-31 2008-03-13 Alpine Electronics Inc Device and method for displaying image around vehicle
KR101097063B1 (en) * 2010-12-30 2011-12-22 주식회사 와이즈오토모티브 Apparatus and method for displaying blind spot
KR101144908B1 (en) * 2011-04-27 2012-05-14 동의대학교 산학협력단 System and method for 4 sided monitoring integrated vehicle black box based on most network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007288282A (en) * 2006-04-12 2007-11-01 Toyota Motor Corp Vehicle periphery monitoring device
JP2008056080A (en) * 2006-08-31 2008-03-13 Alpine Electronics Inc Device and method for displaying image around vehicle
KR101097063B1 (en) * 2010-12-30 2011-12-22 주식회사 와이즈오토모티브 Apparatus and method for displaying blind spot
KR101144908B1 (en) * 2011-04-27 2012-05-14 동의대학교 산학협력단 System and method for 4 sided monitoring integrated vehicle black box based on most network

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180126899A (en) * 2017-05-19 2018-11-28 주식회사 에스더블유엠 Method and apparatus for providing around view image using front camera and rear camera
KR102365430B1 (en) * 2021-05-12 2022-02-24 제이씨현오토 주식회사 System for managing delivery vehicle by using integrated display system based on svm top view

Also Published As

Publication number Publication date
KR102159354B1 (en) 2020-09-23

Similar Documents

Publication Publication Date Title
JP6937443B2 (en) Imaging device and control method of imaging device
US20200344421A1 (en) Image pickup apparatus, image pickup control method, and program
US9685011B2 (en) Vehicle safety control apparatus and method using cameras
JP5904093B2 (en) In-vehicle image generator
KR101723401B1 (en) Apparatus for storaging image of camera at night and method for storaging image thereof
US11889177B2 (en) Electronic device and solid-state imaging device
JP2016096449A (en) Image display device, brightness change method, and program
JP6375633B2 (en) Vehicle periphery image display device and vehicle periphery image display method
KR102159353B1 (en) Operating method of around view system
JP6788447B2 (en) Video output system
JP2015171106A (en) Vehicle peripheral image display device and vehicle peripheral image display method
KR20150129542A (en) Operating method of around view system
JP2014234139A (en) On-vehicle display device and program
KR102005551B1 (en) A parking assisting system
KR102125738B1 (en) A parking assisting system
JP4650935B2 (en) Vehicle driving support device
JP2007043600A (en) Peripheral condition display device and peripheral condition display method
WO2019092771A1 (en) Display control apparatus and display control method
JP2008079174A (en) Control device for camera view field
KR20160035345A (en) Display device for vehicle and method for controlling the same
JP2019009599A (en) Image processor, image processing method, and image processing program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant