KR20160034681A - Environment monitoring apparatus and method for vehicle - Google Patents

Environment monitoring apparatus and method for vehicle Download PDF

Info

Publication number
KR20160034681A
KR20160034681A KR1020140125952A KR20140125952A KR20160034681A KR 20160034681 A KR20160034681 A KR 20160034681A KR 1020140125952 A KR1020140125952 A KR 1020140125952A KR 20140125952 A KR20140125952 A KR 20140125952A KR 20160034681 A KR20160034681 A KR 20160034681A
Authority
KR
South Korea
Prior art keywords
image
vehicle
unit
angle camera
wide
Prior art date
Application number
KR1020140125952A
Other languages
Korean (ko)
Other versions
KR102190892B1 (en
Inventor
권석근
안재혁
Original Assignee
에스엘 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스엘 주식회사 filed Critical 에스엘 주식회사
Priority to KR1020140125952A priority Critical patent/KR102190892B1/en
Publication of KR20160034681A publication Critical patent/KR20160034681A/en
Application granted granted Critical
Publication of KR102190892B1 publication Critical patent/KR102190892B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/92—Driver displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

The present invention relates to an apparatus and a method for ambient monitoring of a vehicle and, more specifically, to an apparatus and a method for ambient monitoring of a vehicle, which enable to easily monitor a long distance area as well as a short distance area. According to an embodiment of the present invention, the apparatus for ambient monitoring, comprises: a first image obtaining unit which obtains images of a short distance area facing in different directions from the vehicle using a plurality of wide-angle cameras; a second image obtaining unit obtaining images of a long distance area facing in at least one same directions from the plurality of wide-angle cameras using at least one narrow camera; an image treating unit which creates an integrated image by integrating the images of the short distance area and the long distance area; and a display unit which displays the integrated image created from the image treating unit.

Description

차량의 주변 감시 장치 및 방법{Environment monitoring apparatus and method for vehicle}TECHNICAL FIELD [0001] The present invention relates to an environment monitoring apparatus and method for a vehicle,

본 발명은 차량의 주변 감시 장치 및 방법에 관한 것으로서, 보다 상세하게는 차량으로부터 근거리 영역뿐만 아니라 원거리 영역을 용이하게 감시할 수 있는 차량의 주변 감시 장치 및 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0002] The present invention relates to an apparatus and a method for monitoring a periphery of a vehicle, and more particularly, to a device and a method for monitoring a periphery of a vehicle.

일반적으로 차량의 주변 영상을 촬영하여 디스플레이시켜주는 시스템이 차량에 보편적으로 설치되어 있지 않아, 운전자는 단지 자신의 육안을 통해 차량 주변을 확인하거나, 인사이드 미러 또는 아웃 사이드 미러를 통해 후방을 확인하고 차량이 전진, 후진 또는 선회하도록 하여 왔다.Generally, a system for photographing and displaying a peripheral image of a vehicle is not universally installed in a vehicle, so that a driver can check the surroundings of the vehicle through his or her eyes only, check the rear through an inside mirror or an outside mirror, Backward, or turning.

그러나 차종에 따라서는 운전석에 앉아 전후방의 주변 환경을 쉽게 확인할 수 있는 것이 있는가 하면, 육안 또는 미러를 통해 확인할 수 없는 사각 지대가 존재하기 마련이다.However, depending on the type of vehicle, it may be possible to easily identify the front and rear surroundings while sitting in the driver's seat, and there is a blind spot that can not be seen through the eyes or the mirror.

특히, 대형 차량의 경우 인사이드 미러나 아웃 사이드 미러만으로는 확인할 수 없는 부위가 상대적으로 많기 때문에 차량을 주행하기에 앞서 차량의 주변을 돌아보면서 육안으로 장애물이 존재하는지 여부를 확인해야만 접촉 사고와 같은 안전 사고 및 인명 사고의 발생을 방지할 수 있다.Particularly, in the case of a large-sized vehicle, since there are a relatively large number of areas that can not be confirmed only by the inside mirror or the outside mirror, it is necessary to check whether the obstacle exists visually while looking around the vehicle before driving. And the occurrence of human accidents can be prevented.

따라서, 최근에는 차량의 전후좌우 방향에 각각 설치된 카메라를 통하여 차량 주변의 근거리 영역을 촬영하고, 촬영된 영상을 조합하여 차량에 구비된 디스플레이 장치를 통해 디스플레이하는 장치가 개발되고 있다.Therefore, in recent years, devices have been developed for photographing a close-range area around a vehicle through cameras installed in the front, rear, left, and right directions of the vehicle, and combining the photographed images through a display device provided in the vehicle.

이때, 차량에 설치되는 카메라는 근거리 영역의 촬영에 적합하도록 초점 거리가 짧은 반면 넓은 화각을 가지는 광각 렌즈나 어안 렌즈가 사용되는데, 이 경우 차량으로부터 원거리 영역에 대한 확인이 어렵기 때문에 원거리에 위치한 차량이나 장애물 등을 구분하는데 한계가 있는 문제점이 있다.In this case, a camera mounted on a vehicle uses a wide-angle lens or a fisheye lens having a short focal length so as to be suitable for shooting in a close-range area. In this case, There is a problem that there are limitations in distinguishing between obstacles and obstacles.

따라서, 차량으로부터 근거리 영역뿐만 아니라 원거리 영역에 대해서도 용이하게 확인할 수 있는 방안이 요구되고 있다.Therefore, there is a demand for a method for easily confirming not only the near area but also the far area from the vehicle.

공개특허공보 제10-2011-0059286호(2011.06.02)Published Patent Application No. 10-2011-0059286 (June 2, 2011)

본 발명은 상기한 문제점을 해결하기 위해 고안된 것으로서, 본 발명의 이루고자 하는 기술적 과제는 광각 카메라를 이용하여 차량으로부터 근거리 영역의 영상을 획득하고, 협각 카메라를 이용하여 차량으로부터 원거리 영역의 영상을 획득하여 근거리 영역 및 원거리 영역을 동시에 감시할 수 있는 차량의 주변 감시 장치 및 방법을 제공하는 것이다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and it is an object of the present invention to provide an image processing apparatus and method, which can acquire an image of a short range from a vehicle using a wide angle camera and acquire an image of a long range from the vehicle using a narrow- And to provide a peripheral device and method for monitoring the vicinity of a vehicle that can simultaneously monitor a near region and a remote region.

본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the above-mentioned problems, and other problems not mentioned can be clearly understood by those skilled in the art from the following description.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 차량의 주변 감시 장치는, 복수의 광각 카메라를 이용하여 차량으로부터 서로 다른 방향에 대한 근거리 영역의 영상을 획득하는 제 1영상 획득부, 하나 이상의 협각 카메라를 이용하여 복수의 광각 카메라 중 하나 이상과 동일한 방향에 대한 원거리 영역의 영상을 획득하는 제 2영상 획득부, 상기 근거리 영역 및 상기 원거리 영역의 영상을 통합하여 통합 영상을 생성하는 영상 처리부, 및 상기 생성된 통합 영상을 디스플레이하는 디스플레이부를 포함한다.In order to achieve the above object, a vehicle surroundings surveillance apparatus according to an embodiment of the present invention includes a first image acquiring unit that acquires an image of a short-range region in different directions from a vehicle using a plurality of wide-angle cameras, A second image acquiring unit for acquiring an image of a remote area in the same direction as at least one of the plurality of wide angle cameras using a narrow angle camera, an image processor for generating an integrated image by integrating the images of the near area and the long area, And a display unit for displaying the generated integrated image.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 차량의 주변 감시 방법은, 차량으로부터 근거리 영역의 영상을 획득하는 단계, 상기 근거리 영역의 영상과 동일한 방향의 원거리 영역 영상을 획득하는 단계, 상기 근거리 영역 및 상기 원거리 영역의 영상을 통합하여 통합 영상을 생성하는 단계, 및 상기 통합 영상을 디스플레이하는 단계를 포함한다.According to another aspect of the present invention, there is provided a vehicle surroundings monitoring method comprising the steps of: obtaining an image of a short range from a vehicle; acquiring a long range image in the same direction as the image of the short range; Generating an integrated image by integrating the images of the short-range region and the long-distance region, and displaying the integrated image.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.The details of other embodiments are included in the detailed description and drawings.

상기와 같은 본 발명의 차량의 주변 감시 장치 및 방법에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.According to the vehicle surroundings monitoring apparatus and method of the present invention, one or more of the following effects can be obtained.

광각 카메라를 이용하여 차량으로부터 근거리 영역의 감시가 가능한 동시에 협각 카메라를 이용하여 차량으로부터 원거리 영역의 감시가 가능하기 때문에 운전자의 시야 확보가 향상될 수 있는 효과가 있다.It is possible to monitor the near area from the vehicle by using the wide angle camera and to monitor the remote area from the vehicle by using the narrow angle camera.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the description of the claims.

도 1은 본 발명의 실시예에 따른 차량의 주변 감시 장치가 도시된 블록도.
도 2는 본 발명의 실시예에 따른 광각 카메라가 도시된 개략도.
도 3 및 도 4는 본 발명의 실시에에 따른 광각 카메라 및 협각 카메라가 도시된 개략도.
도 5는 본 발명의 실시예에 따른 통합 영상이 도시된 개략도.
도 6은 본 발명의 실시예에 따른 광각 카메라에 의해 획득된 영상의 왜곡 보정 과정이 도시된 개략도.
도 7은 본 발명의 실시예에 광각 카메라에 의해 획득된 영상 중 영상 정합을 위해 선택된 영역이 도시된 개략도.
도 8은 본 발명의 실시예에 따른 통합 영상의 왜곡 보정 과정이 도시된 개략도.
도 9는 본 발명의 실시예에 따른 주변 영상이 도시된 개략도.
도 10은 본 발명의 실시예에 따른 디스플레이부가 도시된 개략도.
도 11은 본 발명의 실시예에 따른 차량의 주변 감시 방법이 도시된 순서도.1 is a block diagram showing a vehicle surroundings monitoring apparatus according to an embodiment of the present invention;
2 is a schematic diagram showing a wide angle camera according to an embodiment of the present invention;
Figures 3 and 4 are schematic diagrams illustrating a wide angle camera and a narrow angle camera in accordance with an embodiment of the present invention;
5 is a schematic view showing an integrated image according to an embodiment of the present invention;
6 is a schematic view illustrating a distortion correction process of an image obtained by the wide-angle camera according to the embodiment of the present invention.
7 is a schematic view showing an area selected for image matching among images obtained by a wide-angle camera in an embodiment of the present invention;
FIG. 8 is a schematic view illustrating a distortion correction process of an integrated image according to an embodiment of the present invention; FIG.
9 is a schematic diagram illustrating a peripheral image according to an embodiment of the present invention.
10 is a schematic view illustrating a display unit according to an embodiment of the present invention;
11 is a flowchart showing a method of monitoring a vehicle periphery according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. To fully disclose the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.

따라서, 몇몇 실시예에서, 잘 알려진 공정 단계들, 잘 알려진 구조 및 잘 알려진 기술들은 본 발명이 모호하게 해석되는 것을 피하기 위하여 구체적으로 설명되지 않는다.Thus, in some embodiments, well known process steps, well-known structures, and well-known techniques are not specifically described to avoid an undue interpretation of the present invention.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 포함한다(comprises) 및/또는 포함하는(comprising)은 언급된 구성요소, 단계 및/또는 동작 이외의 하나 이상의 다른 구성요소, 단계 및/또는 동작의 존재 또는 추가를 배제하지 않는 의미로 사용한다. 그리고, "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다. The terminology used herein is for the purpose of illustrating embodiments and is not intended to be limiting of the present invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. It should be understood that the terms comprising and / or comprising the terms used in the specification do not exclude the presence or addition of one or more other components, steps and / or operations other than the stated components, steps and / . And "and / or" include each and any combination of one or more of the mentioned items.

또한, 본 명세서에서 기술하는 실시예들은 본 발명의 이상적인 예시도인 사시도, 단면도, 측면도 및/또는 개략도들을 참고하여 설명될 것이다. 따라서, 제조 기술 및/또는 허용 오차 등에 의해 예시도의 형태가 변형될 수 있다. 따라서, 본 발명의 실시예들은 도시된 특정 형태로 제한되는 것이 아니라 제조 공정에 따라 생성되는 형태의 변화도 포함하는 것이다. 또한, 본 발명에 도시된 각 도면에 있어서 각 구성 요소들은 설명의 편의를 고려하여 다소 확대 또는 축소되어 도시된 것일 수 있다.Further, the embodiments described herein will be described with reference to the perspective view, cross-sectional view, side view, and / or schematic views, which are ideal illustrations of the present invention. Thus, the shape of the illustrations may be modified by manufacturing techniques and / or tolerances. Accordingly, the embodiments of the present invention are not limited to the specific forms shown, but also include changes in the shapes that are generated according to the manufacturing process. In addition, in the drawings of the present invention, each constituent element may be somewhat enlarged or reduced in view of convenience of explanation.

이하, 본 발명의 실시예들에 의하여 차량의 주변 감시 장치 및 방법을 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 차량의 주변 감시 장치가 도시된 블록도이다.FIG. 1 is a block diagram showing a vehicle surroundings monitoring apparatus according to an embodiment of the present invention.

도시된 바와 같이, 본 발명의 실시예에 따른 차량의 주변 감시 장치(1)는 제 1영상 획득부(100), 제 2영상 획득부(200), 영상 처리부(300) 및 디스플레이부(400)를 포함할 수 있다.The vehicle surroundings monitoring apparatus 1 according to the embodiment of the present invention includes a first image acquiring unit 100, a second image acquiring unit 200, an image processing unit 300, and a display unit 400, . ≪ / RTI >

제 1영상 획득부(100)는 차량에 설치되는 하나 이상의 광각 카메라를 포함할 수 있으며, 본 발명의 실시예에서는 도 2와 같이, 제 1영상 획득부(100)가 차량의 전후좌우 방향에 각각 설치되는 복수의 광각 카메라(110~140)를 이용하여 서로 다른 방향에 대한 근거리 영역의 영상을 획득하는 경우를 예를 들어 설명하기로 한다.As shown in FIG. 2, the first image acquiring unit 100 may include at least one wide angle camera installed in the vehicle. In the embodiment of the present invention, A case where a plurality of wide-angle cameras 110 to 140 to be installed are used to acquire an image of a short-range region in different directions will be described.

복수의 광각 카메라(110~140)는 차량(10)의 주변 전방위, 즉 360도 방향에 대한 영상을 획득할 수 있으며, 복수의 광각 카메라(110~140)가 차량(10)의 전후좌우 방향에 설치된 경우 각 광각 카메라는 대략 180도의 화각을 가지는 광각 렌즈나 어안 렌즈가 사용된 카메라일 수 있으나, 광각 카메라의 설치 개수나 방향 등에 따라 화각은 달라질 수 있다.The plurality of wide angle cameras 110 to 140 can acquire images of the surrounding all directions of the vehicle 10, that is, the directions of 360 degrees, and the plurality of wide angle cameras 110 to 140 are arranged in the front, When installed, each wide-angle camera may be a camera using a wide-angle lens or a fisheye lens having an angle of view of approximately 180 degrees, but the angle of view may vary depending on the installation number and direction of the wide-angle camera.

이때, 복수의 광각 카메라(110~140) 중 차량(10) 전방 및 후방에 설치된 광각 카메라(110, 120)는 차량(10)의 전방 범퍼 및 후방 범퍼 부근에 설치될 수 있고, 차량(10)의 좌우측에 설치된 광각 카메라(130, 140)는 차량(10)의 좌우측 아웃 사이드 미러 부근에 설치될 수 있으나, 이에 한정되지 않고 차량(10)의 주변 전방위에 대한 영상을 획득하기 위하여 복수의 카메라(110~140)는 반드시 차량(10)의 전후좌우 방향에 설치될 필요는 없으며, 차량(10) 주변 전방위에 대한 영상을 획득할 수 있는 조건 하에서 설치 위치나 설치 개수는 다양하게 변경될 수 있다.The wide angle cameras 110 and 120 installed in the front and rear of the vehicle 10 among the plurality of wide angle cameras 110 to 140 can be installed near the front bumper and the rear bumper of the vehicle 10, The wide angle cameras 130 and 140 installed on the left and right sides of the vehicle 10 may be installed near the left and right outside mirrors of the vehicle 10 but are not limited thereto and may be a plurality of cameras 110 to 140 are not necessarily installed in the front, back, left and right directions of the vehicle 10, and the installation position and the number of installation can be variously changed under the condition that images of all directions around the vehicle 10 can be acquired.

또한, 복수의 광각 카메라(110~140)는 차량(10)의 주행 상태에 따라 하나 이상이 동작할 수 있는데, 일 예로 차량(10)이 주차나 후진 중일 때에는 복수의 광각 카메라(110~140)가 모두 동작할 수 있고 차량(10)이 일반 주행 중일 때에는 차량(10)의 후방에 설치된 광각 카메라(120)만 동작할 수 있으나, 이에 한정되지 않는다.One or more of the plurality of wide angle cameras 110 to 140 may operate according to the running state of the vehicle 10. For example, when the vehicle 10 is parked or reversed, a plurality of wide angle cameras 110 to 140 may be operated. Only the wide angle camera 120 installed behind the vehicle 10 can be operated when the vehicle 10 is running, but the present invention is not limited thereto.

제 2영상 획득부(200)는 차량에 설치되는 하나 이상의 협각 카메라를 포함할 수 있으며, 본 발명의 실시예에서는 제 2영상 획득부(200)가 운전자의 시야 확보가 상대적으로 어려운 차량의 후방 영상을 획득할 수 있도록 도 3과 같이 차량(10)의 후방 윈도우, 트렁크, 루프 등에 설치되는 대략 30도의 화각을 가지는 단일의 협각 카메라(210)를 포함하는 경우를 예를 들어 설명하기로 하나, 이에 한정되지 않고 제 2영상 획득부(200)는 운전자의 시야 확보가 어려운 하나 이상의 방향에 대한 영상 획득이 가능하도록 협각 카메라(210)가 복수로 구성될 수도 있다.The second image acquiring unit 200 may include at least one narrow-angle camera installed in the vehicle. In the embodiment of the present invention, the second image acquiring unit 200 may acquire a rear image of the vehicle, As shown in FIG. 3, a single narrow-angle camera 210 having an angle of view of about 30 degrees installed in a rear window, a trunk, a loop, etc. of the vehicle 10 will be described. The second image acquiring unit 200 may include a plurality of narrow cameras 210 so that image acquisition for one or more directions in which it is difficult for a driver to secure a view can be performed.

협각 카메라(210)는 전술한 복수의 광각 카메라(110~140) 중 어느 하나와 평행한 광축을 가지도록 설치되어 복수의 광각 카메라(110~140) 중 어느 하나와 동일한 방향의 영상을 획득하는 경우를 예를 들어 설명하기로 하며, 본 발명의 실시예에서는 협각 카메라(210)는 차량(10)의 후방 영상을 획득하는 경우를 예를 들어 설명하기로 한다.The coarse camera 210 is provided with an optical axis parallel to any one of the plurality of wide angle cameras 110 to 140 to acquire images in the same direction as any of the plurality of wide angle cameras 110 to 140 In the embodiment of the present invention, for example, the case where the narrow camera 210 acquires a rear image of the vehicle 10 will be described.

이때, 협각 카메라(210)가 복수로 구성된 경우, 각 협각 카메라는 복수의 광각 카메라(110~140) 중 둘 이상과 각각 동일한 방향의 원거리 영상을 획득할 수 있도록 서로 평행한 광축을 가지도록 설치될 수 있다.At this time, when a plurality of narrow-angle cameras 210 are provided, each narrow-angle camera is installed to have parallel optical axes so as to acquire a long-distance image in the same direction with two or more of the plurality of wide-angle cameras 110 to 140 .

또한, 본 발명의 실시예에서는 협각 카메라(210)가 대략 30도의 화각을 가지는 경우를 예를 들어 설명하고 있으나, 이에 한정되지 않고 협각 카메라(210)의 화각은 다양하게 변경될 수 있으며, 일 예로 100도를 기준으로 100도 이상의 화각을 가지는 카메라는 광각 카메라이고, 100도 미만의 화각을 가지는 카메라는 협각 카메라일 수 있다.In the embodiment of the present invention, the narrow angle camera 210 has an angle of view of approximately 30 degrees. However, the angle of view of the narrow angle camera 210 may be variously changed. For example, A camera having an angle of view of 100 degrees or more based on 100 degrees may be a wide angle camera, and a camera having an angle of view of less than 100 degrees may be a narrow angle camera.

본 발명의 실시예에서 협각 카메라(210)가 차량 후방 영상을 획득하는 경우, 도 4와 같이 복수의 광각 카메라(110~140) 중 차량(10) 후방에 설치되는 광각 카메라(120)보다 상측에 설치되는 경우를 예를 들어 설명하기로 하나, 이에 한정되지 않고 협각 카메라(210)는 차량(10) 후방에 설치되는 광각 카메라(120)와 동일한 높이에 설치될 수도 있다.In the embodiment of the present invention, when the coarse angle camera 210 acquires the vehicle rear image, as shown in FIG. 4, a plurality of wide angle cameras 110 to 140 are disposed on the upper side of the wide angle camera 120 installed behind the vehicle 10 However, the present invention is not limited thereto. The narrow angle camera 210 may be installed at the same height as the wide angle camera 120 installed in the rear of the vehicle 10.

즉, 본 발명의 실시예에서 협각 카메라(210)는 협각 카메라(210)와 평행한 광축을 가지는 광각 카메라, 즉 동일한 방향의 영상을 획득하는 광각 카메라와 동일한 높이 또는 상측에 설치될 수 있는 것이다.That is, in the embodiment of the present invention, the narrow-angle camera 210 may be installed at the same height or upper side as the wide-angle camera having an optical axis parallel to the narrow-angle camera 210, that is,

또한, 협각 카메라(210)도 전술한 복수의 광각 카메라(110~140)와 유사하게 차량(10)의 주행 상태에 따라 동작될 수 있는데, 일 예로 협각 카메라(210)는 차량(10)의 주행 상태와 무관하게 항상 동작할 수도 있고, 차량(10)이 주차나 후진 중일때에는 동작하지 않을 수도 있으나, 이에 한정되지 않는다.The narrow angle camera 210 may also be operated in accordance with the running state of the vehicle 10 similar to the plurality of wide angle cameras 110 to 140. For example, And may not always operate when the vehicle 10 is parked or reversed, but the present invention is not limited thereto.

전술한 바와 같이, 제 1영상 획득부(100)에는 광각 카메라가 사용되고, 제 2영상 획득부(200)에는 협각 카메라가 사용되고 있는데, 광각 카메라는 광각 렌즈나 어안 렌즈와 같이 초점 거리가 짧은 반면 상대적으로 큰 화각을 가지기 때문에 차량(10)으로부터 근거리 영역의 영상을 획득하는데 유리하고, 협각 카메라는 광각 렌즈나 어안 렌즈보다 상대적으로 초점 거리가 긴 반면 상대적으로 좁은 화각을 가지기 때문에 차량(10)의 원거리 영역의 영상을 획득하는데 유리한 면을 가지고 있다.As described above, a wide angle camera is used for the first image acquiring unit 100 and a narrow angle camera is used for the second image acquiring unit 200. The wide angle camera has a short focal distance like a wide angle lens or a fisheye lens, And the narrow-angle lens has a focal length relatively longer than that of the wide-angle lens or the fisheye lens, but has a relatively narrow angle of view, so that the distance of the vehicle 10 It is advantageous to acquire the image of the region.

따라서, 본 발명의 실시예에서는 제 1영상 획득부(100) 및 제 2영상 획득부(200)를 통해 차량(10) 주변의 근거리 영역뿐만 아니라 원거리 영역의 영상을 함께 획득함으로써 차량(10)의 주정차시 또는 주행시에 운전자에게 충분한 시야가 확보될 수 있도록 하여 안전 운전을 도모할 수 있도록 한다.Therefore, in the embodiment of the present invention, the images of the remote area as well as the near area around the vehicle 10 are acquired together through the first image acquiring unit 100 and the second image acquiring unit 200, Provide sufficient visibility to the driver at the time of parking or driving, so that safe driving can be planned.

한편, 전술한 제 1영상 획득부(100) 및 제 2영상 획득부(200)는 획득된 영상을 저장하는 저장 매체를 포함할 수 있으며, 이러한 저장 매체는 제 1영상 획득부(100) 및 제 2영상 획득부(200)에 내장되거나 유선 또는 무선 통신이 가능한 외부 저장 매체일 수 있다.The first image acquiring unit 100 and the second image acquiring unit 200 may include a storage medium for storing the acquired image. The storage medium may include a first image acquiring unit 100, 2 image acquisition unit 200, or an external storage medium capable of wired or wireless communication.

영상 처리부(300)는 제 1영상 획득부(100) 및 제 2영상 획득부(200)에서 획득된 영상을 통합하여 도 5와 같은 통합 영상(500)을 생성할 수 있다.The image processing unit 300 may integrate the images acquired by the first image acquiring unit 100 and the second image acquiring unit 200 to generate an integrated image 500 as shown in FIG.

이하, 본 발명의 실시예에서 영상 처리부(300)는 제 1영상 획득부(100)에 포함된 복수의 광각 카메라(110~140) 중 차량(10) 후방에 설치된 광각 카메라(120)에 의해 획득된 영상과 차량(10) 후방 영상을 획득하는 협각 카메라(210)에 의해 획득된 영상을 통합한 통합 영상(500)을 생성하는 경우를 예를 들어 설명하기로 하나, 이는 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로서, 이에 한정되지 않고 광각 카메라와 협각 카메라의 설치 위치에 따라 다양한 방향의 통합 영상(500)을 생성할 수 있다.Hereinafter, in an embodiment of the present invention, the image processing unit 300 may acquire a plurality of wide-angle cameras 110 to 140 included in the first image acquiring unit 100 by a wide-angle camera 120 installed behind the vehicle 10 And an image obtained by the narrow-angle camera 210 for acquiring the backward image of the vehicle 10 will be described as an example. However, The present invention is not limited to this, and an integrated image 500 having various directions can be generated according to the installation position of the wide angle camera and the narrow angle camera.

즉, 영상 처리부(300)는 협각 카메라(210)가 복수로 구성된 경우, 각 방향에 대한 통합 영상(500)을 각각 생성할 수도 있으며, 차량(10)의 주행 상태나 운전자의 조작 등에 따라 해당 방향의 통합 영상(500)이 디스플레이되도록 할 수 있다.That is, when the plurality of narrow-angle cameras 210 are provided, the image processing unit 300 may generate the integrated image 500 for each direction, The integrated image 500 can be displayed.

영상 처리부(300)는 제 1영상 획득부(100)와 제 2영상 획득부(200)에 의해 획득된 영상 중 하나 이상에 발생한 왜곡을 보정하는 왜곡 보정부(310) 및 제 1영상 획득부(100)와 제 2영상 획득부(200)에서 획득된 영상을 정합하는 영상 정합부(320)를 포함할 수 있다.The image processing unit 300 includes a distortion correction unit 310 and a first image obtaining unit 310. The distortion correction unit 310 corrects distortions occurring in at least one of the images obtained by the first image obtaining unit 100 and the second image obtaining unit 200, 100 and an image matching unit 320 for matching the images acquired by the second image acquiring unit 200.

왜곡 보정부(310)는 제 1영상 획득부(100) 및 제 2영상 획득부(200)의 정합을 위해 제 1영상 획득부(100) 및 제 2영상 획득부(200)에 의해 획득된 영상 중 하나 이상에 발생한 왜곡을 보정하는 역할을 할 수 있으며, 본 발명의 실시예에서는 왜곡 보정부(310)가 제 1영상 획득부(100)에 의해 획득된 영상의 왜곡을 보정하는 경우를 예를 들어 설명하기로 한다.The distortion correcting unit 310 corrects the distortion of the image obtained by the first image acquiring unit 100 and the second image acquiring unit 200 to match the first image acquiring unit 100 and the second image acquiring unit 200. [ The distortion correcting unit 310 may correct the distortion of the image obtained by the first image obtaining unit 100 in the embodiment of the present invention. I will explain it.

예를 들어, 제 1영상 획득부(100)에 포함된 복수의 광각 카메라(110~140) 중 차량(10) 후방에 설치된 광각 카메라(120)에 의해 획득된 영상은 도 6과 같이 광각 렌즈나 어안 렌즈의 사용으로 인하여 넓은 화각을 구현할 수 있는 반면 렌즈의 외각 부분으로 갈수록 영상이 휘어지는 왜곡, 즉 방사상 왜곡이 두드러지기 때문에 제 2영상 획득부(200)에 의해 획득된 영상과의 정합을 위해 왜곡을 보정하여 직선화시킬 수 있는 것이다.For example, an image acquired by the wide angle camera 120 installed in the rear of the vehicle 10 among the plurality of wide angle cameras 110 to 140 included in the first image acquisition unit 100 may be a wide angle lens A wide angle of view can be realized due to the use of a fisheye lens. On the other hand, in order to match the image obtained by the second image acquiring unit 200, distortion So that it can be linearized.

이때, 왜곡 보정부(310)에 의한 왜곡 보정은 다양한 방법으로 수행될 수 있는데, 일 예로 왜곡 보정부(310)는 사전 지정된 왜곡 보정 알고리즘을 사용하거나 제 1영상 획득부(100) 및 제 2영상 획득부(200)에 의해 획득된 영상에 포함된 중심 차선이나 도로 경계선 등이 서로 매칭되도록 보정할 수도 있다.In this case, the distortion correction by the distortion correction unit 310 may be performed by various methods. For example, the distortion correction unit 310 may use a predetermined distortion correction algorithm or the first image acquisition unit 100 and the second image The center lane or the road boundary included in the image acquired by the acquiring unit 200 may be corrected to match each other.

따라서, 왜곡 보정부(310)는 전술한 바와 같이 제 1영상 획득부(100)의 광각 카메라(120)에 의해 획득된 영상에 발생한 왜곡을 보정하여 제 2영상 획득부(200)에 의해 획득된 영상과 정합이 이루어질 수 있도록 하는 것이다.Therefore, the distortion correction unit 310 corrects distortion generated in the image obtained by the wide-angle camera 120 of the first image obtaining unit 100 and corrects the distortion of the image obtained by the second image obtaining unit 200, So that the matching with the image can be performed.

영상 정합부(320)는 제 1영상 획득부(100) 및 제 2영상 획득부(200)에 의해 획득된 영상을 정합하여 전술한 도 5의 통합 영상(500)을 생성할 수 있다.The image matching unit 320 may generate the integrated image 500 of FIG. 5 by matching the images acquired by the first image acquiring unit 100 and the second image acquiring unit 200. [

이때, 제 1영상 획득부(100) 및 제 2영상 획득부(200)에 의해 획득된 영상을 통합하여 통합 영상(500)을 생성할 때 통합 영상(500) 중 제 1영역(510)은 1영상 획득부(100)에 의해 획득되어 왜곡이 보정된 근거리 영상이 사용되고, 제 2영역(520)은 제 2영상 획득부(200)의해 획득된 원거리 영상이 사용될 수 있다.The first region 510 of the integrated image 500 is divided into the first region 510 and the second region 500 by integrating the images acquired by the first image acquisition unit 100 and the second image acquisition unit 200, A distant image obtained by the image acquiring unit 100 and corrected for distortion may be used and a second image obtained by the second image acquiring unit 200 may be used for the second region 520. [

이때, 제 1영역(510) 및 제 2영역(520)의 크기는 제 1영상 획득부(100) 및 제 2영상 획득부(200)에 의해 획득된 영상의 크기와 동일하거나 서로 다를 수 있으며, 제 1영상 획득부(100) 및 제 2영상 획득부(200)에 의해 획득된 영상의 크기가 제 1영역(510) 및 제 2영역(520)의 크기보다 큰 경우 제 1영상 획득부(100) 및 제 2영상 획득부(200)에 의해 획득된 영상에서 사전 설정된 크기의 영역이 선택된 제 1영역(510) 및 제 2영역(520)으로 사용될 수 있다.The sizes of the first area 510 and the second area 520 may be equal to or different from those of the first image obtaining unit 100 and the second image obtaining unit 200, When the size of the image obtained by the first image acquiring unit 100 and the second image acquiring unit 200 is larger than the size of the first area 510 and the second area 520, And a region of a predetermined size in the image obtained by the second image acquiring unit 200 may be used as the first region 510 and the second region 520 selected.

예를 들어, 전술한 도 7과 같이 제 1영상 획득부(100)의 광각 카메라(120)에 의해 획득된 영상이 제 1영역(510)의 크기보다 큰 경우 광각 카메라(120)에 의해 획득된 영상 중 제 1영역(510)의 크기에 대응되는 일부 영역이 사용될 수 있는 것이다.For example, when the image obtained by the wide-angle camera 120 of the first image obtaining unit 100 is larger than the size of the first area 510 as shown in FIG. 7, A part of the image corresponding to the size of the first area 510 may be used.

이때, 전술한 도 7에서는 제 1영상 획득부(100)의 광각 카메라(120)에 의해 획득된 영상 중 일부의 영역을 사용하는 경우를 예를 들어 설명하고 있으나, 이에 한정되지 않고 제 1영역(510) 및 제 2영역(520)의 크기에 따라 제 1영상 획득부(510) 및 제 2영상 획득부(520)에 의해 획득된 영상 중 하나 이상의 일부 영역이 선택되어 사용될 수 있다.7, the use of a part of the image obtained by the wide-angle camera 120 of the first image acquiring unit 100 is described as an example. However, the present invention is not limited to this, 510 and the second region 520 may be selected and used in at least one of the images obtained by the first image acquiring unit 510 and the second image acquiring unit 520. [

한편, 본 발명의 실시예에서는 왜곡 보정부(310)에 의한 왜곡이 보정된 다음 영상 정합부(320)에 의해 통합 영상(500)이 생성되는 경우를 예를 들어 설명하고 있으나, 이에 한정되지 않고 도 8과 같이 제 1영상 획득부(100) 및 제 2영상 획득부(200)에 의해 획득된 영상을 우선 정합하여 통합 영상(500)을 생성한 다음, 제 1영상 획득부(100) 및 제 2영상 획득부(200) 중 어느 하나의 영상을 기준으로 다른 하나의 영상을 보정할 수도 있다.Meanwhile, in the embodiment of the present invention, a case where distortion is corrected by the distortion correction unit 310 and then the combined image 500 is generated by the image matching unit 320 is described as an example, but the present invention is not limited thereto 8, the images obtained by the first image acquiring unit 100 and the second image acquiring unit 200 are first matched to generate an integrated image 500, and then the first image acquiring unit 100 and the second image acquiring unit 200 2 image acquiring unit 200 based on one of the two images.

이때, 도 8은 전술한 왜곡 보정 방법들 중 제 2영상 획득부(200)에 의해 획득된 영상의 중심 차선이나 도로 경계선을 기준으로 제 1영상 획득부(100)에 의해 획득된 영상을 보정하는 경우의 일 예이다.8 is a flowchart illustrating a method of correcting an image obtained by the first image obtaining unit 100 based on a center lane or a road boundary of the image obtained by the second image obtaining unit 200, Is an example of the case.

이와 같이, 본 발명의 실시예에서는 제 1영상 획득부(100) 및 제 2영상 획득부(200)에 의해 획득된 영상을 통합하여 차량(10)으로부터 근거리 영역뿐만 아니라 원거리 영역에 대한 시야 확보가 가능해지기 때문에 원거리의 차량 또는 장애물도 용이하게 확인할 수 있으므로 안전 사고의 발생을 예방할 수 있게 된다.As described above, in the embodiment of the present invention, the images acquired by the first image acquiring unit 100 and the second image acquiring unit 200 are integrated to acquire the view of the remote area as well as the near area from the vehicle 10 So that it is possible to easily confirm the vehicle or obstacle at a long distance, thereby preventing the occurrence of safety accidents.

한편, 전술한 실시예에서는 영상 처리부(300)가 제 1영상 획득부(100) 및 제 2영상 획득부(200)에 의해 획득된 영상을 통합한 통합 영상(500)을 생성하는 경우를 예를 들어 설명하고 있으나, 이에 한정되지 않고 영상 처리부(300)는 차량(10)의 주행 상태에 따라 제 1영상 획득부(100) 및 제 2영상 획득부(200) 중 어느 하나가 디스플레이되도록 할 수도 있다. Meanwhile, in the above-described embodiment, the case where the image processing unit 300 generates the integrated image 500 in which the images acquired by the first image acquiring unit 100 and the second image acquiring unit 200 are combined is shown as an example The image processing unit 300 may display either the first image obtaining unit 100 or the second image obtaining unit 200 according to the traveling state of the vehicle 10 .

예를 들어, 영상 처리부(300)는 차량(10)이 주차나 후진 중일 때에는 도 9와 같이 복수의 광각 카메라(110~140)에 의해 각각 획득된 영상(111~141)을 이용하여 주변 영상(600)을 생성할 수 있다.For example, when the vehicle 10 is parked or reverses, the image processing unit 300 may use the images 111 to 141 obtained by the plurality of wide angle cameras 110 to 140 as shown in FIG. 600).

다시 말해서, 영상 처리부(300)는 복수의 광각 카메라(110~140)에 의해 획득된 영상(111~141)의 왜곡을 보정하여 차량(10)을 중심으로 차량(10)의 상측에서 바라본 것과 같은 탑뷰 형태의 주변 영상(600)을 생성할 수 있는 것이다.In other words, the image processing unit 300 corrects the distortion of the images 111 to 141 obtained by the plurality of wide-angle cameras 110 to 140, and corrects the distortion of the images 111 to 141 as shown in the upper side of the vehicle 10 It is possible to generate the top-view type peripheral image 600. [

디스플레이부(400)는 영상 처리부(300)의 제어에 따라 영상 처리부(300)에 의해 제 1영상 획득부(100) 및 제 2영상 획득부(200)에 의해 획득된 영상 중 하나 이상을 디스플레이할 수 있으며, 디스플레이부(400)는 차량(10)에 구비된 네비게이션, HUD, AV 시스템 등의 디스플레이 장치가 사용될 수도 있고, 인사이드 미러에 구비된 디스플레이 장치가 사용될 수도 있으며, 전술한 다양한 디스플레이 장치들이 복수로 사용될 수도 있다.The display unit 400 displays one or more images obtained by the first image acquiring unit 100 and the second image acquiring unit 200 by the image processing unit 300 under the control of the image processing unit 300 The display unit 400 may be a display device such as a navigation device, a HUD, or an AV system provided in the vehicle 10, a display device provided in the inside mirror, or the like. .

본 발명의 실시예에서 디스플레이부(400)는 도 10과 같이 인사이드 미러에 구비된 제 1디스플레이부(410)와 센터페시아 부근에 구비된 제 2디스플레이부(420)로 구성되며, 제 1디스플레이부(410)를 통해 영상 처리부(300)에 의해 생성된 통합 영상(500)을 디스플레이하고, 제 2디스플레이부(420)를 통해 제 1영상 획득부(100)에 의해 획득된 영상을 이용하여 생성된 주변 영상(600)을 디스플레이하는 경우를 예를 들어 설명하기로 한다.The display unit 400 includes a first display unit 410 provided in the inside mirror and a second display unit 420 provided near the center fascia, (500) generated by the image processing unit (300) through the first display unit (410) and displays the integrated image (500) generated using the image acquired by the first image acquisition unit (100) through the second display unit The case where the peripheral image 600 is displayed will be described as an example.

이때, 본 발명의 실시예에서 제 1디스플레이부(410)는 차량(10)의 후방에 대한 통합 영상(500)을 디스플레이하는 경우를 예를 들어 설명하고 있으나, 이에 한정되지 않고 협각 카메라(210)가 복수로 구성된 경우 차량(10)의 주행 상태(예를 들어, 주행 방향, 주행 속도, 변속단 등)나 운전자의 조작에 따라 해당 방향의 통합 영상을 디스플레이할 수도 있으며, 통합 영상(500) 이외에도 제 2영상 획득부(200)에 의해 획득된 영상만 디스플레이할 수도 있다.Although the first display unit 410 displays an integrated image 500 on the rear side of the vehicle 10 in the embodiment of the present invention, It is possible to display the integrated image in the corresponding direction according to the running state of the vehicle 10 (for example, the running direction, the running speed, the speed change step, etc.) or the operation of the driver, Only the image acquired by the second image acquisition unit 200 may be displayed.

또한, 제 2디스플레이부(420)는 주변 영상(600) 이외에도 복수의 광각 카메라(110~140) 중 하나 이상에 의해 획득된 영상을 디스플레이하거나 화면을 복수의 영역으로 분할하여 주변 영상(600)과 더불어 복수의 광각 카메라(110~140) 중 하나 이상에 의해 획득된 영상을 동시에 디스플레이할 수도 있다.The second display unit 420 may display an image obtained by at least one of the plurality of wide angle cameras 110 to 140 or may divide the screen into a plurality of regions to display the surrounding image 600, In addition, images obtained by one or more of the plurality of wide angle cameras 110 to 140 may be simultaneously displayed.

제 1디스플레이부(410) 및 제 2디스플레이부(420)는 디스플레이하는 영상의 크기에 따라 해상도나 화면 크기가 동일하거나 서로 다를 수 있다.The first display unit 410 and the second display unit 420 may have the same resolution or different screen sizes depending on the size of the displayed image.

도 11은 본 발명의 실시예에 따른 차량의 주변 감시 방법이 도시된 순서도로서, 도 11은 협각 카메라(210)가 차량(10)의 후방 영상을 획득하고 차량(10)의 후방 영상을 획득하는 광각 카메라(120)에 의해 획득된 영상과 통합한 통합 영상(500)을 디스플레이하는 경우의 일 예이다.11 is a flowchart showing a method of monitoring the periphery of a vehicle according to an embodiment of the present invention. Fig. 11 is a flowchart illustrating a method of acquiring a rear image of the vehicle 10 and acquiring a rear image of the vehicle 10 And an integrated image 500 integrated with the image acquired by the wide-angle camera 120 is displayed.

도시된 바와 같이, 본 발명의 실시예에 따른 차량의 주변 감시 방법은, 먼저 차량(10)의 후방에 설치된 광각 카메라(120) 및 협각 카메라(210)를 통해 후방 영상을 획득한다(S110). 이때, 광각 카메라(120) 및 협각 카메라(210)는 각각 근거리 영역 및 원거리 영역의 영상을 획득하게 되며, 이를 위해 협각 카메라(210)는 광각 카메라(120)보다 상측에 설치될 수 있다.As shown in the figure, a vehicle surroundings monitoring method according to an embodiment of the present invention acquires a backward image through a wide angle camera 120 and a narrow angle camera 210 installed at the rear of the vehicle 10 (S110). At this time, the wide-angle camera 120 and the narrow-angle camera 210 acquire an image of a near-field region and a far-field region, respectively. For this purpose, the narrow-angle camera 210 may be installed above the wide-angle camera 120.

광각 카메라(120) 및 협각 카메라(210)에 의해 각각 획득된 영상 중 하나 이상에 발생한 왜곡을 보정한다(S120).The distortion generated in at least one of the images obtained by the wide angle camera 120 and the narrow angle camera 210 is corrected (S120).

광각 카메라(120) 및 협각 카메라(210)에 의해 각각 획득된 영상을 정합하여 통합 영상(500)을 생성한다(S130).The images obtained by the wide-angle camera 120 and the narrow-angle camera 210 are matched to generate an integrated image 500 (S130).

생성된 통합 영상(500)을 디스플레이부(400)를 통해 디스플레이한다(S140).The generated integrated image 500 is displayed on the display unit 400 (S140).

이때, 도 11에서는 왜곡 보정 후 영상 정합이 이루어지는 경우를 예를 들어 설명하고 있으나, 이에 한정되지 않고 영상 정합 후 왜곡이 보정될 수도 있다.In this case, the case where the image registration is performed after the distortion correction is illustrated in FIG. 11, but the present invention is not limited to this, and distortion after image registration may be corrected.

또한, 도 11에서는 통합 영상(500)을 디스플레이하는 경우를 예를 들어 설명하고 있으나, 이에 한정되지 않고 복수의 광각 카메라(110~140) 중 하나 이상에 의해 획득된 영상, 복수의 광각 카메라(110~140)에 의해 획득된 영상을 이용하여 생성된 주변 영상(600), 제 1영상 획득부(100) 및 제 2영상 획득부(200)에 의해 획득된 영상이 통합된 통합 영상(500) 등이 하나 이상의 디스플레이부를 동시에 디스플레이되거나 별도로 각각 디스플레이될 수 있다.11 illustrates an example in which the integrated image 500 is displayed. However, the present invention is not limited thereto. For example, an image obtained by one or more of the plurality of wide angle cameras 110 to 140, a plurality of wide angle cameras 110 The integrated image 500 in which the images acquired by the first image acquiring unit 100 and the second image acquiring unit 200 are integrated, The one or more display portions may be displayed simultaneously or separately.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.It will be understood by those skilled in the art that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. The scope of the present invention is defined by the appended claims rather than the foregoing detailed description, and all changes or modifications derived from the meaning and range of the claims and the equivalents thereof are included in the scope of the present invention Should be interpreted.

100: 제 1영상 획득부
110~140: 광각 카메라
200: 제 2영상 획득부
210: 협각 카메라
300: 영상 처리부
310: 왜곡 보정부
320: 영상 정합부
400: 디스플레이부
410: 제 1디스플레이부
420: 제 2디스플레이부100: a first image acquiring unit
110 ~ 140: Wide angle camera
200: a second image acquiring unit
210: coarse camera
300:
310: Distortion correction unit
320:
400:
410: first display section
420: second display section

Claims (9)

복수의 광각 카메라를 이용하여 차량으로부터 서로 다른 방향에 대한 근거리 영역의 영상을 획득하는 제 1영상 획득부;
하나 이상의 협각 카메라를 이용하여 복수의 광각 카메라 중 하나 이상과 동일한 방향에 대한 원거리 영역의 영상을 획득하는 제 2영상 획득부;
상기 근거리 영역 및 상기 원거리 영역의 영상을 통합하여 통합 영상을 생성하는 영상 처리부; 및
상기 생성된 통합 영상을 디스플레이하는 디스플레이부를 포함하는 차량의 주변 감시 장치.A first image acquiring unit for acquiring an image of a short range region in different directions from a vehicle using a plurality of wide angle cameras;
A second image acquiring unit for acquiring an image of a remote area in the same direction as at least one of the plurality of wide angle cameras using at least one narrow angle camera;
An image processing unit for synthesizing images of the near region and the far region to generate an integrated image; And
And a display unit for displaying the generated integrated image. 제 1 항에 있어서,
상기 협각 카메라는,
동일한 방향의 근거리 영상을 획득하는 광각 카메라보다 상측에 설치되는 차량의 주변 감시 장치.The method according to claim 1,
The narrow-
A peripheral monitoring device for a vehicle installed on an upper side of a wide angle camera for acquiring a near-field image in the same direction. 제 1 항에 있어서,
상기 협각 카메라는,
상기 차량의 후방 영상을 획득하는 차량의 주변 감시 장치.The method according to claim 1,
The narrow-
And acquires a rear image of the vehicle. 제 1 항에 있어서,
상기 영상 처리부는,
상기 제 1영상 획득부 및 상기 제 2영상 획득부에 의해 획득된 영상 중 하나 이상에 발생한 왜곡을 보정하는 왜곡 보정부; 및
상기 제 1영상 획득부 및 상기 제 2영상 획득부에 의해 획득된 영상을 정합하는 영상 정합부를 포함하는 차량의 주변 감시 장치.The method according to claim 1,
Wherein the image processing unit comprises:
A distortion correcting unit for correcting distortion occurring in at least one of the images acquired by the first image acquiring unit and the second image acquiring unit; And
And an image matching unit for matching the images acquired by the first image acquiring unit and the second image acquiring unit. 제 4 항에 있어서,
상기 영상 정합부는,
동일한 방향의 영상을 획득하도록 서로 평행한 광축을 가지는 광각 카메라 및 협각 카메라에 의해 획득된 영상을 정합하는 차량의 주변 감시 장치.5. The method of claim 4,
Wherein the image matching unit comprises:
Angle camera having an optical axis parallel to each other so as to obtain an image in the same direction, and an image obtained by the narrow-angle camera. 제 1 항에 있어서,
상기 디스플레이부는,
인사이드 미러에 구비되는 차량의 주변 감시 장치.The method according to claim 1,
The display unit includes:
A peripheral monitor of a vehicle provided in an inside mirror. 차량으로부터 근거리 영역의 영상을 획득하는 단계;
상기 근거리 영역의 영상과 동일한 방향의 원거리 영역 영상을 획득하는 단계;
상기 근거리 영역 및 상기 원거리 영역의 영상을 통합하여 통합 영상을 생성하는 단계; 및
상기 통합 영상을 디스플레이하는 단계를 포함하는 차량의 주변 감시 방법.Obtaining an image of a near region from the vehicle;
Obtaining a far range image in the same direction as the image of the near region;
Generating an integrated image by integrating the images of the near region and the far region; And
And displaying the integrated image. 제 7 항에 있어서,
상기 근거리 영역의 영상을 획득하는 단계는,
광각 카메라를 이용하여 상기 근거리 영역의 영상을 획득하는 단계를 포함하고,
상기 원거리 영역의 영상을 획득하는 단계는,
상기 광각 카메라와 평행한 광축을 가지며 상기 광축 카메라보다 상측에 설치되는 협각 카메라를 이용하여 상기 원거리 영역의 영상을 획득하는 단계를 포함하는 차량의 주변 감시 방법.8. The method of claim 7,
The step of acquiring the image of the short-
And acquiring an image of the near region using a wide-angle camera,
Wherein the step of acquiring the image of the long-
And acquiring an image of the long-range area using a narrow-angle camera having an optical axis parallel to the wide-angle camera and installed above the optical axis camera. 제 6 항에 있어서,
상기 통합 영상을 생성하는 단계는,
상기 근거리 영역 및 상기 원거리 영역의 영상 중 하나 이상에 발생한 왜곡을 보정하는 단계; 및
상기 근거리 영역 및 상기 원거리 영역의 영상을 정합하는 단계를 포함하는 차량의 주변 감시 방법.The method according to claim 6,
Wherein the step of generating the integrated image comprises:
Correcting distortion occurring in at least one of the near region and the far region; And
And matching the images of the short-range region and the long-range region with each other.
KR1020140125952A 2014-09-22 2014-09-22 Environment monitoring apparatus and method for vehicle KR102190892B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140125952A KR102190892B1 (en) 2014-09-22 2014-09-22 Environment monitoring apparatus and method for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140125952A KR102190892B1 (en) 2014-09-22 2014-09-22 Environment monitoring apparatus and method for vehicle

Publications (2)

Publication Number Publication Date
KR20160034681A true KR20160034681A (en) 2016-03-30
KR102190892B1 KR102190892B1 (en) 2020-12-14

Family

ID=55660296

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140125952A KR102190892B1 (en) 2014-09-22 2014-09-22 Environment monitoring apparatus and method for vehicle

Country Status (1)

Country Link
KR (1) KR102190892B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180065666A (en) * 2016-12-08 2018-06-18 현대자동차주식회사 Apparatus and method for processing image of vehicle
CN108353147A (en) * 2015-10-15 2018-07-31 株式会社电装 Display control unit and the non-transitory computer-readable storage media for storing display control program
KR20190069640A (en) * 2017-11-30 2019-06-20 현대자동차주식회사 Apparatus and method for controlling display of vehicle
WO2021033812A1 (en) * 2019-08-22 2021-02-25 (주)캠시스 Heterogeneous stereo camera system and camera calibration method
KR102697242B1 (en) * 2023-11-21 2024-08-23 대한민국(방위사업청장) Method and device for image alignment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002225629A (en) * 2001-02-05 2002-08-14 Sony Corp Monitoring device for vehicle
JP2003212041A (en) * 2002-01-25 2003-07-30 Toyota Central Res & Dev Lab Inc Vehicle rear display device
JP2005311868A (en) * 2004-04-23 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk Vehicle periphery visually recognizing apparatus
KR20110059286A (en) 2009-11-27 2011-06-02 (주)이프러스 Black box for vehicle with multi view angle camera

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002225629A (en) * 2001-02-05 2002-08-14 Sony Corp Monitoring device for vehicle
JP2003212041A (en) * 2002-01-25 2003-07-30 Toyota Central Res & Dev Lab Inc Vehicle rear display device
JP2005311868A (en) * 2004-04-23 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk Vehicle periphery visually recognizing apparatus
KR20110059286A (en) 2009-11-27 2011-06-02 (주)이프러스 Black box for vehicle with multi view angle camera

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108353147A (en) * 2015-10-15 2018-07-31 株式会社电装 Display control unit and the non-transitory computer-readable storage media for storing display control program
CN108353147B (en) * 2015-10-15 2020-10-30 株式会社电装 Display control device and non-transitory computer-readable storage medium storing display control program
KR20180065666A (en) * 2016-12-08 2018-06-18 현대자동차주식회사 Apparatus and method for processing image of vehicle
KR20190069640A (en) * 2017-11-30 2019-06-20 현대자동차주식회사 Apparatus and method for controlling display of vehicle
WO2021033812A1 (en) * 2019-08-22 2021-02-25 (주)캠시스 Heterogeneous stereo camera system and camera calibration method
KR102697242B1 (en) * 2023-11-21 2024-08-23 대한민국(방위사업청장) Method and device for image alignment

Also Published As

Publication number Publication date
KR102190892B1 (en) 2020-12-14

Similar Documents

Publication Publication Date Title
US8130270B2 (en) Vehicle-mounted image capturing apparatus
US8199975B2 (en) System and method for side vision detection of obstacles for vehicles
JP6819680B2 (en) Imaging control devices and methods, and vehicles
CN109941277A (en) The method, apparatus and vehicle of display automobile pillar A blind image
WO2009116327A1 (en) Image processing device and method, driving support system, and vehicle
US11195026B2 (en) Object detection and display apparatus, moveable body, and object detection and display method
JP5321711B2 (en) Vehicle periphery monitoring device and video display method
WO2010029707A2 (en) Image projection system and image projection method
EP1547866A1 (en) Surrounding surveillance apparatus and mobile body
JP5093611B2 (en) Vehicle periphery confirmation device
CN101585347B (en) Rear view system for automobile and automobile therewith
KR20020038819A (en) Monitor camera, method of adjusting camera, and vehicle monitor system
US20190100145A1 (en) Three-dimensional image driving assistance device
KR20160034681A (en) Environment monitoring apparatus and method for vehicle
US11521395B2 (en) Image processing device, image processing method, and program
US20210152812A1 (en) Display control device, display system, and display control method
JP2006044596A (en) Display device for vehicle
US20160037154A1 (en) Image processing system and method
US11827148B2 (en) Display control device, display control method, moving body, and storage medium
KR102457633B1 (en) Apparatus for real-time road condition check of vehicle front on the right outdoor side
CN107399274B (en) Image superposition method
US20240217439A1 (en) Image capturing device, movable apparatus, and storage medium
KR20150073676A (en) Apparatus and method for correcting distortion of vehicle
WO2018123547A1 (en) Viewing device for vehicles
JP2019038372A (en) Image display device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant