KR20190047302A - Method and apparatus for panning side rear images of a vehicle - Google Patents

Method and apparatus for panning side rear images of a vehicle Download PDF

Info

Publication number
KR20190047302A
KR20190047302A KR1020170141020A KR20170141020A KR20190047302A KR 20190047302 A KR20190047302 A KR 20190047302A KR 1020170141020 A KR1020170141020 A KR 1020170141020A KR 20170141020 A KR20170141020 A KR 20170141020A KR 20190047302 A KR20190047302 A KR 20190047302A
Authority
KR
South Korea
Prior art keywords
vehicle
image
intersection
panning
determining whether
Prior art date
Application number
KR1020170141020A
Other languages
Korean (ko)
Inventor
윤재웅
박두원
김선진
레디나레쉬
김민규
권기상
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020170141020A priority Critical patent/KR20190047302A/en
Publication of KR20190047302A publication Critical patent/KR20190047302A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H04N5/2259—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18154—Approaching an intersection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/18—Propelling the vehicle
    • B60Y2300/18008—Propelling the vehicle related to particular drive situations
    • B60Y2300/18158—Approaching intersection

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

A method for panning side and rear images of a vehicle is provided. According to an embodiment of the present invention, the method for panning side and rear images comprises the steps of: determining whether an intersection is present in the front of a vehicle by analyzing a front image obtained by an image sensor installed in the vehicle by using an image panning apparatus; determining whether the vehicle is expected to be rotated when the intersection is present according to an intersection presence determining result; and generating rear and side images panned to a left side or a right side when the vehicle is expected to be rotated according to a rotation expectation determining result, and providing the side and rear images to a display device of the vehicle.

Description

차량의 측후방 영상의 패닝 방법 및 그 장치{METHOD AND APPARATUS FOR PANNING SIDE REAR IMAGES OF A VEHICLE}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method of panning a side rear image of a vehicle,

본 발명은 차량 측후방 영상의 패닝 방법 및 장치에 관한 것이다. 보다 자세하게는, 영상 처리 기법을 이용하여 교차로를 판단하고, 상기 측후방 영상을 패닝하고, 상기 차량이 회전하는 경우 측방에서 접근하는 타 차량을 감지할 수 있는 영상을 제공하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for panning a vehicle side rear image. More particularly, the present invention relates to a method and apparatus for determining an intersection by using an image processing technique, panning the side rear image, and providing an image capable of detecting another vehicle approaching from the side when the vehicle rotates .

현재 여러 측면에서 개발이 진행되고 있는 차세대 차량에는 사이드 미러를 구비하는 대신에 미러리스(mirrorless) 기술이 적용된 사이드 카메라가 구비된다. 상기 미러리스 기술은, 차량의 좌우측에 구비된 사이드 카메라를 이용하여 좌측 영상 및 우측 영상을 촬영하여 차량 내부에 구비된 디스플레이 장치를 통하여 상기 차량의 운전자에게 차량의 주변 상황의 영상을 제공할 수 있다.A next-generation vehicle, which is being developed in various aspects, is equipped with a side camera to which a mirrorless technique is applied instead of a side mirror. The mirrorless technology can photograph a left side image and a right side image by using a side camera provided on the left and right sides of the vehicle and provide a driver's picture of the surroundings of the vehicle through a display device provided inside the vehicle .

만약 상기 사이드 카메라가 단순히 측후방 영상만 촬영하여 상기 측후방 영상만을 운전자에게 제공하게 된다면, 차량이 우회전 할 때 운전자는 타 차량이 접근할 가능성이 있는 측방을 별도로 확인해야 하는 불편함 및 위험성이 있다.If the side camera captures only the rear side image and provides only the rear side image to the driver, the driver has the inconvenience and disadvantage of separately checking the side where the other vehicle is likely to approach when the vehicle makes a right turn .

또한, 차량 측후방의 넓은 영상 영역을 확보하기 위하여, 사이드 카메라에 광각 렌즈를 장착하는 수단이 있으나, 필요 이상으로 넓은 영상 영역을 확보한다면 차량 운전자에게 혼란을 야기하는 문제점이 있다.Further, in order to secure a wide image area behind the vehicle side, there is a means for mounting a wide-angle lens on the side camera. However, there is a problem that confusion arises if the image area is wider than necessary.

따라서, 상기 문제점을 해결하기 위한 차량의 구비된 사이드 카메라의 측후방 영상의 패닝 방법이 필요하다.Accordingly, there is a need for a method of panning side-by-side images of a side camera equipped with a vehicle to solve the above problems.

한국공개특허 제10-2017-0025334호Korean Patent Publication No. 10-2017-0025334

본 발명이 해결하고자 하는 기술적 과제는, 영상 처리 기법을 이용하여 차량의 우회전이 예상되는 장소인 교차로를 판단하는 방법 및 장치를 제공하는 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a method and apparatus for determining an intersection, which is a place where a right turn of a vehicle is expected using an image processing technique.

본 발명이 해결하고자 하는 다른 기술적 과제는, 영상 처리 기법을 이용하여 차량의 실제 우회전 여부를 판단하는 방법 및 장치를 제공하는 것이다.Another object of the present invention is to provide a method and an apparatus for determining whether a vehicle is actually turning right by using an image processing technique.

본 발명이 해결하고자 하는 또 다른 기술적 과제는, 차량이 우회전을 시도하기 전에 상기 차량에 구비된 사이드 카메라의 측후방 영상을 선제적으로 패닝하는 방법 및 장치를 제공하는 것이다.It is another object of the present invention to provide a method and apparatus for pre-panning side-rear images of a side camera provided in a vehicle before a vehicle attempts to turn right.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The technical objects of the present invention are not limited to the above-mentioned technical problems, and other technical subjects not mentioned can be clearly understood by those skilled in the art from the following description.

상기 기술적 과제를 해결하기 위한, 본 발명의 일 실시예에 따른 차량의 측후방 영상의 패닝 방법은, 영상 패닝 장치가, 상기 차량에 장착된 이미지 센서에서 획득된 전방 영상을 분석하여 상기 차량 전방에 교차로가 존재하는지 여부를 판단하는 단계, 상기 교차로가 존재하는지 여부를 판단한 결과, 상기 교차로가 존재하는 경우, 상기 차량의 회전 예정 여부를 판단하는 단계, 상기 영상 패닝 장치가, 상기 회전 예정 여부를 판단한 결과, 상기 차량이 회전 예정인 경우, 좌측 또는 우측으로 패닝된 측후방 영상을 생성하고, 상기 차량의 디스플레이 장치에 제공하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method of panning a side rear image of a vehicle according to an embodiment of the present invention includes analyzing a front image obtained by an image sensor mounted on the vehicle, Determining whether or not an intersection exists, determining whether the intersection exists, determining whether the vehicle is to be rotated, determining whether the intersection exists, As a result, when the vehicle is expected to rotate, a side rear image panned to the left or right is generated and provided to the display device of the vehicle.

일 실시예에서, 차량 측후방 영상의 패닝 방법은, 좌측 또는 우측으로 패닝된 측후방 영상을 생성하고, 상기 차량의 디스플레이 장치에 제공하는 단계는, 상기 차량의 회전 시작 여부를 판단하는 단계 및 상기 차량의 회전 시작이 판단된 시점부터, 좌측 또는 우측으로 패닝된 측후방 영상을 생성하고, 상기 차량의 디스플레이 장치에 제공하는 단계를 포함할 수 있다.In one embodiment, a method of panning a vehicle-side rear image includes generating a rear-side image panned to the left or right side and providing the side rear image to a display device of the vehicle includes the steps of: Generating a rear side image panned from the time when the rotation start of the vehicle is determined to the left or the right side, and providing the side rear image to the display device of the vehicle.

일 실시예에서, 차량 측후방 영상의 패닝 방법은, 상기 차량 전방에 교차로가 존재하는지 여부를 판단하는 단계는, 상기 전방 영상을 분석한 결과, 도로 위에 정지선 및 횡단 보도가 검출되면 상기 차량 전방에 교차로의 존재를 판단하는 단계를 포함할 수 있다.In one embodiment, the method of panning the vehicle-side rear image further comprises the step of determining whether an intersection is present in front of the vehicle, wherein when a stop line and a crosswalk are detected on the road as a result of analyzing the forward image, And determining the presence of an intersection.

일 실시예에서, 차량의 측후방 영상의 패닝 방법은, 상기 차량 전방에 교차로가 존재하는지 여부를 판단하는 단계는, 상기 전방 영상을 분석한 결과, 도로 위에 정지선이 검출되고, 상기 차량 양 측방의 차선이 점선에서 실선으로 변화하는 것을 감지하는 경우, 상기 차량 전방에 교차로의 존재를 판단하는 단계를 포함할 수 있다.In one embodiment, the method of panning a side rear image of a vehicle includes the steps of determining whether an intersection is present in front of the vehicle, wherein a stop line is detected on the road as a result of analyzing the forward image, And detecting the presence of an intersection in front of the vehicle when detecting that the lane changes from a dotted line to a solid line.

일 실시예에서, 차량의 측후방 영상의 패닝 방법은, 상기 차량 전방에 교차로가 존재하는지 여부를 판단하는 단계는, 상기 전방 영상을 분석한 결과, 도로 위에 표시된 다수의 화살표가 검출되면 상기 차량 전방에 교차로의 존재를 판단하는 단계를 포함할 수 있다.In one embodiment, the method of panning a side rear image of a vehicle further comprises the step of determining whether an intersection is present in front of the vehicle, wherein when a plurality of arrows displayed on the road are detected as a result of analyzing the forward image, And determining the presence of an intersection in the intersection.

일 실시예에서, 차량의 측후방 영상의 패닝 방법은, 상기 차량의 회전 예정 여부를 판단하는 단계는, 상기 전방 영상에서 검출된 다수의 화살표에서 우측 방향 화살표를 감지하여 상기 차량이 우회전 예정임을 판단하는 단계를 포함할 수 있다.In one embodiment, the method of panning a side rear image of a vehicle includes the steps of determining whether the vehicle is to be rotated, detecting a right arrow from a plurality of arrows detected in the forward image, .

일 실시예에서, 차량의 측후방 영상의 패닝 방법은, 상기 차량의 회전 예정 여부의 판단은, 상기 전방 영상에 촬영된 도로 위에 화살표가 우측 방향의 화살표인 경우에 회전 예정 여부를 판단하는 것일 수 있다.In one embodiment, the panning method of the side rear image of the vehicle may include determining whether the vehicle is scheduled to turn when the arrow on the road taken on the forward image is an arrow in the right direction have.

일 실시예에서, 차량의 측후방 영상의 패닝 방법은, 상기 회전 예정 여부의 판단은, 상기 차량의 감속을 감지하여 회전 예정 여부를 판단하는 것일 수 있다.In one embodiment, the panning method of the side rear image of the vehicle may be such that the determination of whether to turn the vehicle may be made by detecting deceleration of the vehicle and determining whether or not the vehicle is scheduled to turn.

일 실시예에서, 차량의 측후방 영상의 패닝 방법은, 상기 회전 예정 여부의 판단은, 상기 차량의 방향 지시등 조작을 감지하여 회전 예정 여부를 판단하는 것일 수 있다.In one embodiment, the panning method of the side rear image of the vehicle may be such that the determination of whether or not the rotation is to be scheduled may be performed by detecting the operation of the turn signal lamp of the vehicle and determining whether or not the rotation is scheduled.

일 실시예에서, 차량의 측후방 영상의 패닝 방법은, 상기 영상 패닝 장치가, 상기 차량의 교차로 통과 여부를 판단하고, 상기 패닝된 영상 이전인 기존의 측후방 영상으로 복귀하는 단계를 더 포함할 수 있다.In one embodiment, the panning method of the side rear image of the vehicle further includes a step of determining whether the image panning device has passed the intersection of the vehicle, and returning to the existing side rear image before the panned image .

일 실시예에서, 차량의 측후방 영상의 패닝 방법은, 상기 교차로 통과 여부의 판단은, 상기 차량의 가속을 감지하여 교차로 통과 여부를 판단하는 것일 수 있다.In one embodiment, the panning method of the side rear image of the vehicle may be for determining whether the intersection passes or not, by sensing the acceleration of the vehicle and determining whether the intersection passes.

일 실시예에서, 차량의 측후방 영상의 패닝 방법은, 상기 교차로 통과 여부의 판단은, 상기 차량의 조향각이 0도에 근접한 경우를 감지하여 교차로 통과 여부를 판단하는 것일 수 있다.In one embodiment, the panning method of the side rear image of the vehicle may be performed to determine whether the intersection passes or not, by detecting when the steering angle of the vehicle is close to 0 degrees and passing through the intersection.

일 실시예에서, 차량의 측후방 영상의 패닝 방법은, 상기 기존의 측후방 영상으로 복귀하는 단계는, 상기 차량의 실조향각의 역비례하여 연속적으로 복귀하는 단계를 포함할 수 있다.In one embodiment, the panning method of the side rear image of the vehicle may include the step of returning to the existing side rear image successively, inversely proportional to the steering angle of the vehicle.

일 실시예에서, 차량의 측후방 영상의 패닝 방법은, 상기 좌측 또는 우측으로 패닝된 측후방 영상을 생성하고, 상기 차량의 디스플레이 장치에 제공하는 단계는, 상기 차량의 조향각이 변경되는 것에 연동하여 상기 측후방 영상의 패닝 정도를 연속적으로 완화해주는 단계를 포함할 수 있다.In one embodiment, a method for panning a side rear image of a vehicle includes generating a side rear image panned to the left or right side and providing the side rear image to a display device of the vehicle, And a step of continuously relaxing the degree of panning of the side rear image.

도 1은 본 발명의 일 실시예에 따른 차량의 측후방 영상의 패닝 장치가 구비된 차량의 전방 및 측후방의 시야를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에서 참조되는 교차로 판단 인자들을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 차량의 측후방 영상의 패닝 장치의 구성도이다.
도 4는 본 발명의 일 실시예에 따른 차량의 측후방 영상의 패닝 방법의 순서도이다.
도 5는 본 발명의 일 실시예에서 참조되는 교차로 판단 방법의 순서도이다.
도 6은 도 5의 교차로 판단 방법에 대한 설명을 돕기 위한 도면이다.
도 7은 본 발명의 다른 실시예에서 참조되는 교차로 판단 방법의 순서도이다.
도 8은 도 7의 교차로 판단 방법에 대한 설명을 돕기 위한 도면이다.
도 9는 본 발명의 또 다른 실시예에서 참조되는 교차로 판단 방법의 순서도이다.
도 10은 도 9의 교차로 판단 방법에 대한 설명을 돕기 위한 도면이다.
도 11은 본 발명의 일 실시예에서 참조되는 회전 예정 여부 판단 방법의 순서도이다.
도 12는 본 발명의 다른 실시예에서 참조되는 회전 예정 여부 판단 방법의 순서도이다.
도 13은 본 발명의 또 다른 실시예에서 참조되는 회전 예정 여부 판단 방법의 순서도이다.
도 14는 교차로 진입 전후에 따른 차량의 측후방 영상 패닝을 조절하는 과정을 설명하기 위한 도면이다.
도 15은 본 발명의 일 실시예에서 참조되는 패닝된 측후방 영상을 원상 복원하는 방법의 순서도이다.
도 16은 본 발명의 다른 실시예에서 참조되는 패닝된 측후방 영상을 원상 복원하는 방법의 순서도이다.1 is a view showing a front view and a rear view of a vehicle provided with a panning device of a side rear image of a vehicle according to an embodiment of the present invention.
2 is a diagram for explaining intersection determination factors referred to in an embodiment of the present invention.
3 is a configuration diagram of a panning device of a side rear image of a vehicle according to an embodiment of the present invention.
4 is a flowchart of a method of panning a side-rear image of a vehicle according to an embodiment of the present invention.
5 is a flowchart of an intersection determination method referenced in an embodiment of the present invention.
FIG. 6 is a diagram for explaining the intersection determination method of FIG. 5; FIG.
7 is a flowchart of an intersection determination method referred to in another embodiment of the present invention.
FIG. 8 is a diagram for explaining the intersection determination method of FIG. 7; FIG.
9 is a flowchart of an intersection determination method referred to in another embodiment of the present invention.
FIG. 10 is a diagram for helping explain the intersection determination method of FIG.
11 is a flowchart of a method for determining whether or not a rotation is scheduled to be referred to in an embodiment of the present invention.
FIG. 12 is a flowchart of a method for determining whether or not to be rotated, which is referred to in another embodiment of the present invention.
13 is a flowchart of a method of determining whether or not to be rotated to be referred to in another embodiment of the present invention.
FIG. 14 is a diagram for explaining a process of adjusting lateral rearward image panning of the vehicle before and after entering an intersection.
FIG. 15 is a flowchart of a method for reconstructing a panned side posterior image referred to in an embodiment of the present invention.
FIG. 16 is a flowchart of a method for reconstructing a panned side posterior image referred to in another embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of achieving them will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. To fully disclose the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.Unless defined otherwise, all terms (including technical and scientific terms) used herein may be used in a sense commonly understood by one of ordinary skill in the art to which this invention belongs. Also, commonly used predefined terms are not ideally or excessively interpreted unless explicitly defined otherwise. The terminology used herein is for the purpose of illustrating embodiments and is not intended to be limiting of the present invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification.

명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.It is noted that the terms "comprises" and / or "comprising" used in the specification are intended to be inclusive in a manner similar to the components, steps, operations, and / Or additions.

본 명세서에 대한 설명에 앞서, 본 명세서에서 사용되는 몇몇 용어들에 대하여 명확하게 하기로 한다.Prior to the description of the present specification, some terms used in this specification will be clarified.

본 명세서에서, 차량의 측후방 영상의 패닝이란, 차량의 좌측 및 우측에 구비된 사이드 카메라에 의하여 획득한 영상의 영역을 조절하는 것을 의미한다. 상기 조절은 사이드 카메라에 비광각 렌즈가 장착된 경우, 상기 사이드 카메라의 좌우 각도를 회전하는 것을 포함한다. 또한, 상기 조절은 사이드 카메라에 광각 렌즈가 장착한 경우, 촬영 영역의 좌우 범위를 변경하는 것을 포함한다.In this specification, panning of the side rear image of the vehicle means adjusting the area of the image obtained by the side cameras provided on the left and right sides of the vehicle. The adjustment includes rotating the side camera angle of the side camera when the side camera is equipped with a non-wide angle lens. In addition, the adjustment includes changing the left and right ranges of the photographing area when the side camera is equipped with the wide-angle lens.

상기 조절에 의하여 차량의 운전자는 타 차량과의 충돌을 방지하기 위한 관심 영역이 제공받을 수 있도록 한다.By this adjustment, the driver of the vehicle can be provided with a region of interest for preventing collision with the other vehicle.

이하, 본 발명의 몇몇 실시예들에 대하여 첨부된 도면에 따라 상세하게 설명한다.Hereinafter, some embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 차량의 측후방 영상의 패닝 장치가 장착된 차량의 전방 및 측후방의 시야를 나타낸 도면이다. 이하, 도 1을 참조하여 상기 차량의 전방 및 측후방의 시야를 설명한다.1 is a view showing a front view and a rear view of a vehicle equipped with a panning device of a side rear image of a vehicle according to an embodiment of the present invention. Hereinafter, the view of the front and rear side of the vehicle will be described with reference to Fig.

본 발명의 몇몇 실시예가 적용되는 차량에는 상기 차량의 측후방 영상을 획득하기 위하여 좌측 사이드 카메라(2) 및 우측 사이드 카메라(3)가 장착된다.A vehicle to which some embodiments of the present invention is applied is equipped with a left side camera 2 and a right side camera 3 in order to acquire a side rear image of the vehicle.

상기 차량에는 전방 영상을 획득하기 위한 별도의 전방 카메라가 장착될 수 있다(미도시). 상기 차량에 별도의 전방 카메라를 장착하여 전방 영상을 획득하는 수단 외에도, 블랙박스와 같은 미리 구비된 카메라를 이용하여 전방 영상을 획득할 수 도 있을 것이다. 상기 획득된 영상은 하기에 설명할 교차로 판단 방법 등에서 영상 처리의 대상이 된다.A separate front camera for acquiring a forward image may be mounted on the vehicle (not shown). In addition to a means for acquiring a forward image by mounting a separate forward camera on the vehicle, a forward image may be acquired using a camera equipped in advance such as a black box. The obtained image is subjected to image processing in an intersection determination method or the like to be described later.

도 1을 참조하면, 차량 전방에 전방 영상 시야(10)가 도시되어 있다. 일 실시예에 따르면, 전방 영상 시야(10)의 좌우 영역은 교차로 판단 과정의 연산 속도 및 정확도의 향상을 위하여 조정될 수 있을 것이다.Referring to Fig. 1, a front vision 10 is shown in front of the vehicle. According to an embodiment, the left and right regions of the front image field 10 may be adjusted to improve the computation speed and accuracy of the intersection determination process.

도 1에는 좌측 사이드 카메라(2)의 좌측후방 영상 시야(20) 및 패닝된 좌측후방 영상 시야(21)가 도시 되어있다. 좌측후방 영상 시야(20)는 좌측 사이드 카메라(2)에 광각 렌즈가 장착되면 도 1에 도시된 점선 영역보다 더욱 넓어 질 수 있다.Figure 1 shows a left rear image view 20 and a panned left rear image view 21 of the left side camera 2. [ The left rear image field of view 20 can be wider than the dotted area shown in FIG. 1 when the left side camera 2 is equipped with a wide angle lens.

패닝된 좌측후방 영상 시야(21)는 영상 패닝 장치에 의하여 영상이 패닝된 결과 차량의 운전자에게 디스플레이 장치를 통하여 제공되는 영상 영역에 해당한다.The panned left rear view field 21 corresponds to an image area provided to the driver of the vehicle through the display device as a result of panning the image by the image panning device.

측후방 영상을 패닝하는 방법에 있어서, 좌측 사이드 카메라(2) 또는 우측 사이드 카메라(3) 자체를 패닝하는 방법과 좌측후방 영상 시야(20) 또는 우측후방 영상 시야(30)의 일부를 패닝된 좌측후방 영상 시야(21) 또는 패닝된 우측후방 영상 시야(31)의 영역의 영상을 운전자에게 제공하는 방법이 포함된다.A method of panning the left side camera 2 or the right side camera 3 itself and a method of panning a part of the left rearward image field 20 or the right rearward image field 30, A method of providing the driver with an image of the area of the backward image field 21 or the panned right rear field of view 31 is included.

영상 패닝 장치가, 교차로 판단 및 회전 예정 여부를 판단을 하면, 상기 영상 패닝 장치는, 측후방 영상의 패닝을 수행하도록 하는 신호를 송신한다.When the image panning device determines whether intersection determination and rotation are to be scheduled, the image panning device transmits a signal for performing panning of the side backward image.

도 2는 본 발명의 일 실시예에서 참조되는 교차로 판단 인자들을 설명하기 위한 도면이다. 이하, 도 2를 참조하여 본 발명의 몇몇 실시예에서 적용되는 교차로 판단 인자들을 설명한다.2 is a diagram for explaining intersection determination factors referred to in an embodiment of the present invention. Hereinafter, the intersection determination factors applied in some embodiments of the present invention will be described with reference to FIG.

본 발명의 몇몇 실시예에서는, 교차로에 진입하기 전에 자 차량의 좌회전, 우회전 또는 직진이 예상되는 경우, 자 차량과 수직한 차로에서 주행 중인 타 차량이 존재하는 영역의 영상을 운전자에게 제공하기 위하여, 상기 영상 패닝 장치가 영상 처리 기법을 이용하여 전방에 교차로가 존재하는지 여부를 판단한다.In some embodiments of the present invention, in order to provide the driver with an image of a region in which the other vehicle is traveling in a lane perpendicular to the vehicle, when the vehicle is expected to turn left, right, or straight ahead before entering the intersection, The image panning device uses the image processing technique to determine whether there is an intersection ahead.

교차로를 판단하는 기존의 수단은, GPS 기반으로 서버에서 교차로인지 여부를 판단할 수 있으나, 상기 GPS 기반의 수단은 교차로 판단 시점과 영상 패닝 시점과의 시간 차이가 발생할 수 있다.Conventional means for determining an intersection may determine whether the intersection is a GPS-based intersection, but the GPS-based means may cause a time difference between an intersection determination point and a video panning point.

따라서, 본 발명의 몇몇 실시예에서는, 교차로에 필수적으로 존재할 수 있는 도로 상의 인자들을 감지하여 차량의 전방에 교차로가 존재하는지 여부를 판단한다.Thus, in some embodiments of the invention, the factors on the road, which may be necessarily present at an intersection, are sensed to determine whether an intersection is present in front of the vehicle.

상기 교차로 존재 판단 인자는 도로 위에 횡단 보도(40), 정지선(42), 실선 차선(44), 점선 차선(46) 및 화살표를 포함한다. 상기 화살표는 직진 방향 화살표(48), 좌측 방향 화살표(50) 및 우측 방향 화살표(52)를 포함한다.The intersection presence determination factor includes a pedestrian crossing 40, a stop line 42, a solid line lane 44, a dotted lane 46, and an arrow on the road. The arrows include a forward direction arrow 48, a left direction arrow 50, and a right direction arrow 52.

일 실시예에서, 차량의 측후방 영상의 패닝 방법의 차량 전방에 교차로가 존재하는지 여부를 판단하는 단계는, 영상 패닝 장치가, 도로 위에 횡단 보도(40) 및 정지선(42)를 검출하여 상기 차량 전방에 교차로 존재함을 판단할 수 있다.In one embodiment, the step of determining whether an intersection is present in front of the vehicle in the lateral rearward image panning method of the vehicle includes the step of detecting the crosswalk (40) and the stopping line (42) It can be determined that there is an intersection ahead.

일 실시예에서, 차량의 측후방 영상의 패닝 방법의 차량 전방에 교차로가 존재하는지 여부를 판단하는 단계는, 영상 패닝 장치가, 도로 위에 정지선(42)을 검출하고, 차량을 기준으로 양 측의 차선이 점선 차선(46)에서 실선 차선(44)으로 변화하는 것을 감지하여 상기 차량 전방에 교차로가 존재함을 판단할 수 있다.In one embodiment, the step of determining whether an intersection exists in front of the vehicle in the method of panning the side rear image of the vehicle includes the step of detecting the stop line 42 on the road, It can be detected that the lane changes from the dotted lane 46 to the solid lane 44 and it can be determined that an intersection exists in front of the vehicle.

일 실시예에서, 차량의 측후방 영상의 패닝 방법의 차량 전방에 교차로가 존재하는지 여부를 판단하는 단계는, 영상 패닝 장치가, 도로 위에 표시된 다수의 화살표를 감지하여 상기 차량 전방에 교차로가 존재함을 판단할 수 있다. 예를 들어, 교차로에는 직진 방향 화살표(48), 좌측 방향 화살표(50) 및 우측 방향 화살표(52) 등의 주행 방향을 나타내는 다수의 화살표가 존재하므로, 상기 다수의 화살표 중에서 적어도 2개 또는 3개 이상의 화살표를 감지하여 상기 차량 전방에 교차로가 존재함을 판단할 수 있을 것이다.In one embodiment, the step of determining whether an intersection is present in front of the vehicle in a side-rear image panning method of the vehicle comprises the steps of: the image panning device sensing a plurality of arrows displayed on the road, Can be determined. For example, at the intersection, there are a plurality of arrows indicating the running direction such as the forward direction arrow 48, the left direction arrow 50 and the right direction arrow 52, so that at least two or three It is possible to judge that an intersection exists in front of the vehicle by sensing the above arrows.

도 3은 본 발명의 일 실시예에 따른 차량의 측후방 영상의 패닝 장치의 구성도이다. 이하, 도 3을 참조하여 본 실시예에 영상 패닝 장치의 구성 및 동작을 설명한다.3 is a configuration diagram of a panning device of a side rear image of a vehicle according to an embodiment of the present invention. Hereinafter, the configuration and operation of the image panning device in the present embodiment will be described with reference to FIG.

본 발명의 일 실시예에 따른 영상 패닝 장치(100)는 이미지 센싱부(110), 교차로 판단부(120), 회전 방향 판단부(130), 패닝 신호 송신부(140) 및 영상 생성부(150)를 포함한다. 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예 일 뿐이며, 필요에 따라 일부 구성이 추가되거나 삭제될 수 있음은 물론이다.The image panning apparatus 100 according to an exemplary embodiment of the present invention includes an image sensing unit 110, an intersection determination unit 120, a rotation direction determination unit 130, a panning signal transmission unit 140, . It should be understood that the present invention may be embodied in many other specific forms without departing from the spirit or essential characteristics thereof.

이미지 센싱부(110)는 차량에 구비되어 상기 차량의 주변 영상을 촬영할 수 있다. 예를 들어, 차량 전방의 영상을 촬영하는 전방 카메라와 차량의 측후방을 촬영하는 사이드 카메라가 이미지 센싱부(110)에 포함될 수 있다.The image sensing unit 110 may be provided in the vehicle to capture a surrounding image of the vehicle. For example, a front camera that captures an image of the front of the vehicle and a side camera that captures the rear side of the vehicle may be included in the image sensing unit 110.

이미지 센싱부(110)가 획득한 차량 주변 영상을 교차로 판단부(120) 또는 회전 방향 판단부(130)에 제공하여 교차로 존재 여부 또는 회전 예정 여부를 판단할 수 있도록 한다.The image sensing unit 110 provides the vehicle periphery image to the intersection determination unit 120 or the rotation direction determination unit 130 to determine whether or not there is an intersection or whether or not the intersection exists.

교차로 판단부(120)는 이미지 센싱부(110)가 제공한 영상을 이용하여 영상 처리를 수행한다. 교차로 판단부(120)가 상기 차량 전방에 교차로가 존재함을 판단하면, 교차로 판단부(120)는 회전 방향 판단부(130)가 상기 차량이 어느 방향으로 회전하는지 여부를 판단할 수 있도록 선결적인 과정을 수행한다.The intersection determining unit 120 performs image processing using the image provided by the image sensing unit 110. [ When the intersection determination unit 120 determines that an intersection exists in front of the vehicle, the intersection determination unit 120 determines whether the vehicle is turning in the predetermined direction .

회전 방향 판단부(130)는 상기 차량이 어느 방향으로 회전 예정인지 여부를 판단한다. 회전 방향 판단부(130)가, 상기 차량의 회전 방향을 판단하면, 상기 판단에 따른 패닝 신호를 생성하는지 여부에 관한 정보를 제공한다. 예를 들어, 상기 차량이 직진 방향으로 계속 주행을 할 경우, 상기 차량의 운전자는 후방의 영상이 관심 영역에 해당하므로, 패닝 신호를 생성할 필요가 없다. 이와 다른 예를 들면, 상기 차량이 우회전 방향으로 주행할 예정이면, 교차로 좌측에서 접근하는 타 차량과의 충돌 위험이 있으므로, 상기 차량의 운전자에게 우회전 직전 상태 기준으로 좌측의 영상을 제공할 필요가 있다. 따라서, 상기 회전 방향 판단부(130)는, 상기 차량이 우회전 예정임을 판단하여, 좌측의 영상을 획득할 수 있는 패닝 신호의 생성을 위한 정보를 제공한다.The rotation direction determination unit 130 determines whether the vehicle is to be rotated in any direction. When the rotation direction determination unit 130 determines the rotation direction of the vehicle, the rotation direction determination unit 130 provides information about whether to generate the panning signal according to the determination. For example, when the vehicle continues to travel in the straight ahead direction, the driver of the vehicle does not need to generate a panning signal because the rear image corresponds to the region of interest. For example, if the vehicle is going to travel in the direction of the right turn, there is a risk of collision with another vehicle approaching from the left side of the intersection, it is necessary to provide the driver of the vehicle with the left side image on the basis of the state immediately before the right turn . Accordingly, the rotation direction determination unit 130 determines that the vehicle is to be rotated right, and provides information for generating a panning signal capable of acquiring a left image.

패닝 신호 송신부(140)는 상기 교차로 존재 여부 판단 및 회전 예정 여부 판단을 수행한 후 영상의 패닝을 위한 신호를 생성하고, 상기 신호를 사이드 카메라(미도시) 또는 영상 생성부(150)에 송신한다.The panning signal transmitting unit 140 generates a signal for panning the image after determining whether the intersection exists or not, and transmits the signal to the side camera (not shown) or the image generating unit 150 .

예를 들어, 상기 신호가 사이드 카메라에 송신되면, 운전자의 관심 영역을 촬영하기 위하여 상기 사이드 카메라의 촬영 방향이 회전된다.For example, when the signal is transmitted to the side camera, the photographing direction of the side camera is rotated to photograph a region of interest of the driver.

예를 들어, 상기 신호가 영상 생성부(150)에 송신되면, 광각 렌즈가 장착된 사이드 카메라의 넓은 영상 범위의 일부가 상기 차량의 운전자에게 제공되도록 한다. 상기 넓은 영상 범위의 일부는 상기 차량의 운전자의 관심 영역에 해당한다.For example, when the signal is transmitted to the image generating unit 150, a part of a wide image range of the side camera equipped with the wide-angle lens is provided to the driver of the vehicle. A part of the wide image range corresponds to a region of interest of the driver of the vehicle.

영상 생성부(150)는 패닝된 측후방 영상 또는 기존의 측후방 영상을 상기 차량에 장착된 디스플레이 장치에 제공한다. 상기 디스플레이 장치에 영상이 출력되면 상기 운전자는 충돌 위험이 있는 영역만을 제공받을 수 있다.The image generating unit 150 provides the panned side rear image or the existing side rear image to the display device mounted on the vehicle. When an image is output to the display device, the driver can receive only the area where there is a risk of collision.

도 4는 본 발명의 일 실시예에 따른 차량의 측후방 영상의 패닝 방법의 순서도이다. 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예 일 뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다. 이하, 도 4를 참조하여 본 실시예에 따른 차량의 측후방 영상의 패닝 방법을 설명한다.4 is a flowchart of a method of panning a side-rear image of a vehicle according to an embodiment of the present invention. It is a preferred embodiment to achieve the object of the present invention, and it goes without saying that some steps may be added or deleted as necessary. Hereinafter, a panning method of the side rear image of the vehicle according to the present embodiment will be described with reference to FIG.

차량에 장착된 이미지 센서를 이용하여 차량의 전방 영상을 획득한다(S100). 상기 획득된 전방 영상은 교차로 존재 여부 판단 및 상기 차량의 회전 예정 방향 판단하는 단계의 영상 처리 과정에 이용된다.A front image of the vehicle is acquired using an image sensor mounted on the vehicle (S100). The obtained forward image is used for determining whether an intersection exists or not and for determining an expected rotational direction of the vehicle.

상기 획득된 전방 영상을 분석하여 차량 전방에 교차로가 존재하는지 여부를 판단한다(S200). 상기 교차로가 존재하는지 여부의 판단은 본 발명의 몇몇 실시예에서 적용되는 차량의 측후방 영상의 패닝 신호를 적시에 생성시키기 위한 것이다. 상기 교차로가 존재하는지 여부의 판단을 GPS 기반으로 판단하게 된다면 필연적인 시간 오차가 발생할 가능성이 있다. 따라서, 영상 처리 기법을 통하여 상기 발생될 수 있는 시간 오차를 감소시킬 수 있는 효과가 있다.The acquired front image is analyzed to determine whether an intersection exists in the front of the vehicle (S200). The determination of whether or not the intersection is present is for timely generating a panning signal of the side rear image of the vehicle applied in some embodiments of the present invention. If the determination of whether or not the intersection exists is based on the GPS, there is a possibility that an inevitable time error may occur. Therefore, there is an effect that the time error that can be generated can be reduced through the image processing technique.

상기 교차로가 존재하는지 여부의 판단의 세부적인 단계는 이하 도 5 내지 도 10을 참조하여 자세히 설명한다.The detailed steps of determining whether the intersection exists or not will be described in detail with reference to FIGS. 5 to 10 below.

상기 교차로가 존재하는지 여부의 판단 결과, 상기 차량의 전방이 교차로에 해당하는지 판정한다(S300).As a result of the determination whether the intersection is present, it is determined whether the front of the vehicle corresponds to an intersection (S300).

상기 판정 결과, 상기 차량의 전방이 교차로가 아닌 경우 상기 차량의 좌회전 또는 우회전이 예상되지 않으므로, 상기 차량의 측후방 영상의 패닝이 불필요한 바 본 실시예에 따른 과정을 종료한다.As a result of the determination, if the vehicle ahead is not an intersection, the left or right turn of the vehicle is not expected. Therefore, panning of the side rear image of the vehicle is unnecessary, and the process according to the present embodiment is terminated.

상기 판정 결과, 상기 차량의 전방이 교차로인 경우, 상기 차량의 좌회전 또는 우회전이 예상될 것이다. 따라서, 상기 판정 이후, 상기 차량이 교차로에서 어느 방향으로 회전하는지 또는 직진으로 주행하는지 여부를 판단할 필요가 있다.As a result of the determination, if the front of the vehicle is an intersection, a left or right turn of the vehicle may be expected. Therefore, after the above determination, it is necessary to determine whether the vehicle rotates in the intersection or in which direction the vehicle runs straight.

상기 차량이 교차로에 진입하기 전에 상기 차량의 회전 예정 여부를 판단한다(S400). 상기 차량의 회전 여부에 따라 본 발명의 몇몇 실시예에서 적용되는 차량의 측후방 영상의 패닝 신호 생성 여부가 결정된다.Before the vehicle enters the intersection, it is determined whether the vehicle is to be rotated (S400). Whether or not the panning signal is generated in the side rear image of the vehicle, which is applied in some embodiments of the present invention, is determined depending on whether the vehicle is rotated or not.

상기 차량의 회전 예상 여부 판단에 대한 자세한 설명은 도 11 내지 도 14에서 자세히 설명하도록 한다.Detailed description of the determination as to whether or not the vehicle is expected to be rotated will be described in detail with reference to FIGS. 11 to 14. FIG.

상기 차량이 교차로에 진입하기 전에 상기 차량의 회전이 예상되는 것으로 판단하면(S500), 상기 영상 패닝 장치가 상기 차량의 회전 방향을 고려하여 좌측 또는 우측으로 패닝된 측후방 영상을 생성한다(S700).If it is determined that the vehicle is expected to turn before the vehicle enters the intersection (S500), the image panning device generates a rear side image panned to the left or right in consideration of the rotational direction of the vehicle (S700) .

일 실시예에 따르면, 좌측 또는 우측으로 패닝된 측후방 영상을 생성하고, 상기 차량의 디스플레이 장치에 제공하는 단계는, 상기 차량의 회전 시작 여부를 판단하고, 상기 회전 시작이 판단된 시점부터, 좌측 또는 우측으로 패닝된 영상을 생성하고, 상기 차량의 디스플레이 장치에 제공하는 단계를 포함할 수 있다. 본 실시예에서는, 운전자에게 타 차량과 충돌 가능성을 판단할 필요가 있는 정확한 시점에서 패닝된 영상을 제공하기 위하여 회전 시작이 판단된 시점부터 패닝된 측후방 영상을 제공한다.According to an embodiment, the step of generating a side rear image panned to the left or right and providing the rear side image to the display device of the vehicle may include determining whether the vehicle starts to rotate, Or generating a panned image to the right, and providing the image to the display device of the vehicle. In the present embodiment, a panned side rear image is provided from the point of time when the start of rotation is determined to provide the panned image at an accurate point in time when it is necessary for the driver to determine the possibility of collision with the other vehicle.

상기 영상 패닝 장치가, 상기 생성된 패닝된 측후방 영상을 차량의 디스플레이 장치에 제공하고, 상기 운전자에게 필요한 관심 영상을 제공하면 본 실시예에 따른 차량의 측후방 영상의 패닝 방법은 종료된다.The image panning device provides the generated panned side rear image to the display device of the vehicle and provides the driver with the required interest image, the panning method of the side rear image of the vehicle according to the present embodiment is completed.

상기 차량이 교차로에 진입하기 전에 상기 차량의 회전이 예상되지 않는 것으로 판단하면(S500), 상기 영상 패닝 장치가 패닝되지 않은 측후방 영상을 유지한다(S900). 예를 들어, 상기 차량이 교차로 진입 전에 직진이 예상되는 경우를 의미한다. 마찬가지로, 상기 패닝되지 않은 측후방 영상을 상기 차량의 디스플레이 장치에 제공하고, 상기 운전자에게 필요한 관심 영상을 제공하면 본 실시예에 따른 차량의 측후방 영상의 패닝 방법은 종료된다.If it is determined that the rotation of the vehicle is not expected before the vehicle enters the intersection (S500), the image panning device maintains the non-panned side rear image (S900). For example, this means that the vehicle is expected to go straight ahead before entering the intersection. Similarly, the panning method of the side rear image of the vehicle according to the present embodiment is ended by providing the non-panned side rear image to the display device of the vehicle and providing the driver with the required interest image.

도 5는 본 발명의 일 실시예에서 참조되는 교차로 판단 방법의 순서도이다. 도 6은 도 5의 교차로 판단 방법에 대한 설명을 돕기 위한 도면이다. 이하, 도 5 및 도 6을 참조하여 본 실시예에 따른 교차로 판단 방법을 설명한다.5 is a flowchart of an intersection determination method referenced in an embodiment of the present invention. FIG. 6 is a diagram for explaining the intersection determination method of FIG. 5; FIG. Hereinafter, an intersection determination method according to the present embodiment will be described with reference to FIG. 5 and FIG.

차량에 장착된 이미지 센서가 전방 영상을 획득하면, 영상 패닝 장치가 상기 획득된 전방 영상을 수신한다(S210).When the image sensor mounted on the vehicle acquires the forward image, the image panning device receives the obtained forward image (S210).

상기 수신된 영상이 상기 교차로 판단부에 제공되면, 상기 전방 영상을 영상 처리 기법을 이용하여 분석하는 과정이 수행된다(S220).When the received image is provided to the intersection determination unit, a process of analyzing the forward image using an image processing technique is performed (S220).

상기 분석하는 과정에서, 영상 패닝 장치는 전방 영상에서 정지선 및 횡단 보도를 검출한다(S230). 도 6을 참조하면, 상기 전방 영상에서 검출된 정지선 및 횡단 보도를 확인할 수 있다. 일반적으로 상기 정지선과 상기 횡단 보도는 나란히 도로에 표시되어 있으므로, 상기 정지선과 상기 횡단 보도를 동시에 검출함으로써 상기 영상 처리 과정의 연산량을 감소시킬 수 있다.In the analysis, the video panning device detects a stop line and a pedestrian crossing in a forward image (S230). Referring to FIG. 6, the stop line and the crosswalk detected in the forward image can be confirmed. Generally, since the stop line and the crosswalk are displayed side by side on the road, it is possible to reduce the calculation amount of the image processing process by simultaneously detecting the stopwatch and the crosswalk.

상기 검출 결과, 상기 전방 영상에 상기 정지선 및 상기 횡단 보도가 검출되면, 상기 차량 전방에 교차로가 존재하는 것으로 판정된다(S240).As a result of the detection, when the stop line and the crosswalk are detected in the forward image, it is determined that an intersection exists in front of the vehicle (S240).

상기 검출 결과, 상기 전방 영상에 상기 정지선 또는 상기 횡단 보도가 검출되지 아니하면, 상기 차량 전방에 교차로가 존재하지 않는 것으로 판정된다(S250).As a result of the detection, if the stop line or the crosswalk is not detected in the forward image, it is determined that there is no intersection in front of the vehicle (S250).

도 7은 본 발명의 다른 실시예에서 참조되는 교차로 판단 방법의 순서도이다. 도 8은 도 7의 교차로 판단 방법에 대한 설명을 돕기 위한 도면이다. 이하, 도 7 및 도 8을 참조하여 본 실시예에 따른 교차로 판단 방법을 설명한다.7 is a flowchart of an intersection determination method referred to in another embodiment of the present invention. FIG. 8 is a diagram for explaining the intersection determination method of FIG. 7; FIG. Hereinafter, an intersection determination method according to the present embodiment will be described with reference to FIGS. 7 and 8. FIG.

차량에 장착된 이미지 센서가 전방 영상을 획득하면, 영상 패닝 장치가 상기 획득된 전방 영상을 수신한다(S210).When the image sensor mounted on the vehicle acquires the forward image, the image panning device receives the obtained forward image (S210).

상기 수신된 영상이 상기 교차로 판단부에 제공되면, 상기 전방 영상을 영상 처리 기법을 이용하여 분석하는 과정이 수행된다(S220).When the received image is provided to the intersection determination unit, a process of analyzing the forward image using an image processing technique is performed (S220).

상기 분석하는 과정에서, 영상 패닝 장치는 전방 영상에서 정지선을 검출하고, 차선이 점선에서 실선으로 변화하는 것을 감지한다. 도 8을 참조하면, 차량이 교차로에 접근하는 경우 정지선 근처에서는 차선 변경이 금지되므로, 정지선에 가까워짐에 따라 주행 차선은 점선에서 실선으로 변경되어 상기 전방 영상에 나타날 것이다. 본 실시예에서는, 이러한 변화를 감지하여 상기 차량이 교차로에 접근 중임을 판단하는 것이다.In the analysis, the video panning device detects a stop line in the forward image and detects that the lane changes from a dotted line to a solid line. Referring to FIG. 8, when the vehicle approaches the intersection, the lane change is prohibited near the stop line. Therefore, as the vehicle approaches the stop line, the driving lane will change from the dotted line to the solid line and appear in the forward image. In this embodiment, this change is sensed and it is judged that the vehicle is approaching the intersection.

교차로에 접근 중임을 정확하게 판단하기 위하여, 상기 과정에서는 정지선을 검출하고, 차선이 점선에서 실선으로 변화하는 것을 동시에 감지할 수 있다.In order to accurately determine that an intersection is being accessed, the above procedure detects a stop line and simultaneously detects that the lane changes from a dotted line to a solid line.

상기 판단보다 더 정확한 판단을 하기 위하여, 상기 과정에서 정지선 및 횡단 보도를 검출하고, 차선이 점선에서 실선으로 변화하는 것을 동시에 감지하여 교차로임을 판단할 수 있을 것이다.In order to make a more accurate judgment than the judgment, it is possible to detect the stop line and the crosswalk in the above process, and simultaneously detect that the lane changes from the dotted line to the solid line, thereby determining the intersection.

상기 과정을 수행함에 따라, GPS 기반으로 교차로를 판단하는 방식보다 교차로 주변에서의 상기 차량의 위치를 더욱 정확하게 판단할 수 있다.By performing the above process, the position of the vehicle around the intersection can be determined more accurately than the method of determining the intersection by GPS.

상기 검출 결과, 상기 전방 영상에 상기 정지선을 검출하고, 차선이 점선에서 실선으로 변화하는 것을 감지하면, 상기 차량 전방에 교차로가 존재하는 것으로 판정된다(S240).As a result of the detection, if the stop line is detected in the forward image and it is detected that the lane changes from a dotted line to a solid line, it is determined that an intersection exists in front of the vehicle (S240).

상기 검출 결과, 상기 전방 영상에 상기 정지선을 검출하고, 차선이 점선에서 실선으로 변화하는 것이 감지되지 않으면, 상기 차량 전방에 교차로가 존재하지 않는 것으로 판정된다(S250).If it is not detected that the lane changes from a dotted line to a solid line as a result of the detection, it is determined that there is no intersection in front of the vehicle (S250).

도 9는 본 발명의 또 다른 실시예에서 참조되는 교차로 판단 방법의 순서도이다. 도 10은 도 9의 교차로 판단 방법에 대한 설명을 돕기 위한 도면이다. 이하, 도 7 및 도 8을 참조하여 본 실시예에 따른 교차로 판단 방법을 설명한다.9 is a flowchart of an intersection determination method referred to in another embodiment of the present invention. FIG. 10 is a diagram for helping explain the intersection determination method of FIG. Hereinafter, an intersection determination method according to the present embodiment will be described with reference to FIGS. 7 and 8. FIG.

차량에 장착된 이미지 센서가 전방 영상을 획득하면, 영상 패닝 장치가 상기 획득된 전방 영상을 수신한다(S210).When the image sensor mounted on the vehicle acquires the forward image, the image panning device receives the obtained forward image (S210).

상기 수신된 영상이 상기 교차로 판단부에 제공되면, 상기 전방 영상을 영상 처리 기법을 이용하여 분석하는 과정이 수행된다(S220).When the received image is provided to the intersection determination unit, a process of analyzing the forward image using an image processing technique is performed (S220).

상기 분석하는 과정에서, 영상 패닝 장치는 전방 영상에서, 도로 위에 표시된 형상이 상이한 복수의 화살표를 검출한다. 도 10을 참조하면, 일반적으로 교차로에 표시된 복수의 화살표를 확인할 수 있다. 상기 복수의 화살표는 좌회전 방향의 화살표(50), 직진 방향의 화살표(52) 및 우회전 방향의 화살표(54) 등이 있다. 본 실시예에서는 일반적으로 교차로 진입 전에 도로위에 다양한 경로의 화살표가 표시되어 있는 특징을 영상 처리 기법에 적용한 것이다.In the analysis process, the image panning device detects a plurality of arrows having different shapes on the road in the forward image. Referring to FIG. 10, a plurality of arrows displayed in an intersection can be generally identified. The plurality of arrows include an arrow 50 in the left-turn direction, an arrow 52 in the forward direction, and an arrow 54 in the right-turn direction. In this embodiment, the feature that the arrows of various paths are displayed on the road before entering the intersection is generally applied to the image processing technique.

상기 전방 영상에서, 도로 위에 표시된 형상이 상이한 복수의 화살표가 검출되면(S232), 상기 영상 패닝 장치는, 상기 차량의 전방에 교차로가 존재하는 것으로 판단한다(S240).If a plurality of arrows having different shapes displayed on the road are detected in the forward image (S232), the image panning device determines that an intersection exists in front of the vehicle (S240).

상기 전방 영상에서, 도로 위에 표시된 형상이 상이한 복수의 화살표가 검출되지 않으면(S232), 상기 영상 패닝 장치는, 상기 차량의 전방에 교차로가 존재하지 않는 것으로 판단한다(S250).If a plurality of arrows having different shapes on the road are not detected in the forward image (S232), the image panning device determines that an intersection does not exist in front of the vehicle (S250).

도 11 내지 도 13은 본 발명의 몇몇 실시예에서 참조되는 회전 예정 여부 판단 방법의 순서도이다. 회전 예정 여부 판단 과정은 교차로 판단 과정과 동시에 또는 이시에 수행될 수 있음을 미리 밝혀둔다.11-13 are flowcharts of a method for determining whether or not a rotation is scheduled to be referred to in some embodiments of the present invention. Whether or not the turning schedule is determined can be performed at the same time or at the same time as the intersection determination process.

패닝된 차량의 측후방 영상은 운전자에게 제공되는 시점이 매우 중요하다. 따라서, 패닝의 정확한 타이밍이 요구된다. 예를 들어, 차량이 교차로에서 우회전을 하여 진입하기 전에 좌측에서 접근하는 타 차량에 대한 영상을 운전자에게 미리 제공하여 충돌을 예방할 필요가 있다.It is very important that the side rear image of the panned vehicle is provided to the driver. Therefore, accurate timing of panning is required. For example, it is necessary to prevent the collision by providing the driver with an image of the other vehicle approaching from the left before the vehicle turns right at the intersection and enters the intersection.

하기에 서술할 회전 예정 여부의 판단은 차량의 측후방 영상을 패닝하는 시점을 결정하기 위한 수단에 해당한다.The determination of whether or not the vehicle is scheduled to turn, which will be described later, corresponds to a means for determining a time when a vehicle side-rear image is panned.

도 11은 본 발명의 일 실시예에서 참조되는 회전 예정 여부 판단 방법의 순서도이다. 이하, 도 11을 참조하여 본 실시예에 따른 회전 예정 여부를 판단 하는 방법을 설명한다.11 is a flowchart of a method for determining whether or not a rotation is scheduled to be referred to in an embodiment of the present invention. Hereinafter, a method for determining whether or not to be rotated according to the present embodiment will be described with reference to FIG.

차량에 장착된 이미지 센서가 전방 영상을 획득하면, 영상 패닝 장치가 상기 획득된 전방 영상을 수신하고, 상기 수신된 영상이 상기 회전 방향 판단부에 제공되면, 상기 전방 영상을 영상 처리 기법을 이용하여 회전 예정 여부를 판단하는 과정이 수행된다(S410).When the image sensor mounted on the vehicle acquires the forward image, the image panning device receives the obtained forward image, and when the received image is provided to the rotation direction determination unit, the forward image is processed using the image processing technique A process of determining whether or not to be rotated is performed (S410).

상기 회전 예정 여부를 판단하기 위하여, 상기 회전 방향 판단부가 도로 위에 화살표가 어떤 방향을 지시하는지를 영상 처리 기법을 이용하여 판단한다.In order to determine whether or not the rotation is to be scheduled, the rotation direction determining unit determines a direction of an arrow on the road using an image processing technique.

예를 들어, 상기 도로 위에 화살표가 우측 방향의 화살표에 해당한다면(S420), 차량의 이동은 우회전을 의미하므로, 충돌 가능성이 있는 영역인 상기 차량을 기준으로 좌측방 영상이 운전자에게 제공될 수 있도록 패닝된 측후방 영상을 생성한다(S430).For example, if an arrow on the road corresponds to an arrow in the right direction (S420), the movement of the vehicle means that the vehicle is turning right, so that the left side image can be provided to the driver based on the vehicle, The panned side backward image is generated (S430).

또한, 상기 회전 예정 여부를 판단하는 과정에서, 상기 전방 영상에서 상기 화살표를 확인하면, 상기 차량이 몇 차선에 위치하는지 네비게이션의 정보 없이도 차량 자체적으로 판단할 수 있는 효과가 있다.Further, in the process of determining whether or not to turn the vehicle, if the arrow is confirmed in the forward image, there is an effect that the vehicle itself can be determined on a few lanes without the navigation information.

만약, 상기 도로 위에 화살표가 직진 방향의 화살표에 해당한다면(S440), 영상 패닝 장치는 상기 차량의 측후방 영상을 패닝하지 않는다(S450).If the arrow on the road corresponds to the arrow in the straight forward direction (S440), the image panning device does not pan the side rear image of the vehicle (S450).

도 12는 본 발명의 다른 실시예에서 참조되는 회전 예정 여부 판단 방법의 순서도이다. 이하, 도 12를 참조하여 본 실시예에 따른 회전 예정 여부를 판단하는 방법을 설명한다.FIG. 12 is a flowchart of a method for determining whether or not to be rotated, which is referred to in another embodiment of the present invention. Hereinafter, a method for determining whether or not the rotation is scheduled according to the present embodiment will be described with reference to FIG.

S410 단계는 도 11에서 이미 설명한바, 이는 생략하도록 한다.The step S410 has already been described with reference to FIG. 11, which is omitted.

상기 회전 예정 여부를 판단하기 위하여, 상기 회전 방향 판단부가 상기 차량의 감속 여부를 감지한다. 예를 들어, 일반적으로 교차로에서 우회전을 시도하려는 차량은 우회전 직전에 감속을 시도한다. 본 판단 과정에서는 이와 같은 차량의 주행 특성을 반영하여 교차로에서 우회전 여부를 판단한다.In order to determine whether or not the vehicle is to be rotated, the rotation direction determining unit detects whether the vehicle is decelerating. For example, in general, a vehicle attempting to make a right turn at an intersection tries to decelerate right before turning right. In this determination process, whether or not the vehicle is turning right at the intersection is determined by reflecting the driving characteristics of the vehicle.

상기 감속을 감지하여 우회전을 판단하게 된다면, 도 11에서 설명된 화살표를 기준으로 우회전 여부를 판단하는 과정과 달리, 영상 처리 수행 과정이 생략되어, 회전 예정 여부 판단에 있어서, 더욱 신속하고 정확한 판단을 할 수 있도록 한다.Unlike the process of determining the right turn based on the arrows shown in FIG. 11, if the deceleration is detected and the right turn is determined, the process of performing the image process is omitted, .

상기 차량의 감속이 감지되면(S421), 차량의 이동은 좌회전 또는 우회전을 의미하므로, 충돌 가능성이 있는 영역인 상기 차량을 기준으로 좌측방 또는 우측방 영상이 운전자에게 제공될 수 있도록 패닝된 측후방 영상을 생성한다(S430).When the deceleration of the vehicle is sensed (S421), the movement of the vehicle means that the vehicle moves left or right, so that the left or right side image based on the vehicle, which is a possible collision area, And generates an image (S430).

상기 차량의 감속이 감지되지 않는다면(S421), 차량의 이동은 좌회전 또는 우회전의 가능성이 없는 것으로 판단하고, 영상 패닝 장치는 상기 차량의 측후방 영상을 패닝하지 않는다(S450).If the deceleration of the vehicle is not detected (S421), it is determined that there is no possibility of the vehicle turning left or right, and the image panning device does not pan the side rear image of the vehicle (S450).

도 13은 본 발명의 또 다른 실시예에서 참조되는 회전 예정 여부 판단 방법의 순서도이다. 이하, 도 13을 참조하여 본 실시예에 따른 회전 예정 여부를 판단하는 방법을 설명한다.13 is a flowchart of a method of determining whether or not to be rotated to be referred to in another embodiment of the present invention. Hereinafter, a method for determining whether or not to be rotated according to the present embodiment will be described with reference to FIG.

S410 단계는 도 11에서 이미 설명한바, 이는 생략하도록 한다.The step S410 has already been described with reference to FIG. 11, which is omitted.

상기 회전 예정 여부를 판단하기 위하여, 상기 회전 방향 판단부가 상기 차량의 방향 지시등의 조작 여부를 감지한다. 예를 들어, 차량의 운전자가 우회전을 지시하는 방향 지시등의 조작이 있는 경우, 상기 차량이 우회전할 가능성은 매우 높다. 본 판단 과정에 의하여 상기 회전 예정 여부를 매우 정확하게 판단할 수 있는 효과가 있다.In order to determine whether or not to turn the vehicle, the turning direction determining unit detects whether the turn signal of the vehicle is operated. For example, when there is an operation of a turn signal lamp for instructing the driver of the vehicle to turn to the right, the possibility that the vehicle turns to the right is very high. It is possible to highly accurately determine whether or not the rotation is scheduled by the determination process.

상기 차량의 방향 지시등 조작이 감지되면(S430), 차량의 이동은 좌회전 또는 우회전을 의미하므로, 충돌 가능성이 있는 영역인 상기 차량을 기준으로 좌측방 또는 우측방 영상이 운전자에게 제공될 수 있도록 패닝된 측후방 영상을 생성한다(S430).If the operation of the turn signal lamp of the vehicle is sensed (S430), the movement of the vehicle means left turn or right turn, so that the left or right room image can be provided to the driver on the basis of the vehicle, Side backward image (S430).

상기 차량의 방향 지시등 조작이 감지되지 않는다면(S422), 차량의 이동은 좌회전 또는 우회전의 가능성이 없는 것으로 판단하고, 영상 패닝 장치는 상기 차량의 측후방 영상을 패닝하지 않는다(S450).If the operation of the turn signal lamp of the vehicle is not detected (S422), it is determined that there is no possibility of the vehicle turning left or right, and the image panning device does not pan the side rear image of the vehicle (S450).

도 14는 교차로 진입 전후에 따른 차량의 측후방 영상 패닝을 조절하는 과정을 설명하기 위한 도면이다. 이하, 도 14를 참조하여 본 실시예에 따른 차량의 측후방 영상 패닝을 조절하는 과정을 설명한다.FIG. 14 is a diagram for explaining a process of adjusting lateral rearward image panning of the vehicle before and after entering an intersection. Hereinafter, a process of adjusting the lateral rearward image panning of the vehicle according to the present embodiment will be described with reference to FIG.

본 실시예는 차량(1)이 우회전을 하여 교차로를 통과하는 과정에서 차량의 측후방 영상의 패닝 영역(7)을 조절하는 것을 설명한다. 차량(1)이 우회전 하는 경우 차량(1)의 실조향각은 변화하게 된다. 따라서, 상기 변화에 따라, 차량의 측후방 영상의 패닝 영역(7)의 각도를 조절할 필요성이 있다.The present embodiment describes that the panning area 7 of the side rear image of the vehicle is adjusted in the course of the vehicle 1 turning right and passing through the intersection. The actual steering angle of the vehicle 1 changes when the vehicle 1 makes a right turn. Accordingly, there is a need to adjust the angle of the panning region 7 of the side rear image of the vehicle in accordance with the change.

패닝 영역(7)의 각도는 차량(1)을 기준으로 차량의 측후방 영상의 패닝 영역(7)간의 사이 각에 해당한다.The angle of the panning area 7 corresponds to the angle between the panning areas 7 of the side rear image of the vehicle with respect to the vehicle 1. [

도 14의 아래의 3가지 상황(교차로 진입 전, 교차로 진입, 교차로 통과)을 참조하면, 차량(1)은 우회전을 시도하고 있고, 좌측의 교차로 진입로에 있는 타 차량(5)과 차량(1)간의 충돌 가능성이 존재한다.14, the vehicle 1 is attempting to make a right turn, and the vehicle 1 and the vehicle 1 in the left intersection access road are connected to each other in the following three situations (before entering the intersection, entering the intersection, There is a possibility of collision between them.

따라서, 차량(1)의 운전자에게 타 차량(5)이 포함된 패닝된 측후방 영상을 제공하기 위하여 패닝 영역(7)의 각도를 조절하여야 한다.Therefore, the driver of the vehicle 1 must adjust the angle of the panning area 7 in order to provide the panned side rear image including the other vehicle 5.

차량(1)이 교차로를 진입하기 전에는, 차량(1)을 기준으로 수직한 위치에 타 차량(5)이 존재하므로, 패닝 영역(7)의 각도는 90도가 될 수 있다.Before the vehicle 1 enters the intersection, the angle of the panning area 7 can be 90 degrees since the other vehicle 5 exists at a position perpendicular to the vehicle 1. [

이후에, 차량(1)이 교차로를 진입한 경우, 차량(1)을 기준으로 45도 벌어진 위치에 타 차량(5)이 존재하므로, 패닝 영역(7)의 각도는 45도가 될 수 있다.Thereafter, when the vehicle 1 enters the intersection, the angle of the panning area 7 can be 45 degrees since the other vehicle 5 is located at a position widened by 45 degrees with respect to the vehicle 1. [

마지막으로, 차량(1)이 교차로를 통과한 경우, 차량(1)을 기준으로 타 차량(5)은 후방에 존재하므로, 패닝 영역(7)의 각도는 0도가 될 수 있다.Finally, when the vehicle 1 passes the intersection, since the other vehicle 5 is located behind the vehicle 1, the angle of the panning region 7 can be 0 degrees.

본 실시예에서는, 패닝 영역(7)의 각도를 차량(1)의 교차로 상의 위치에 대응시켰으나, 반드시 위치에만 대응되는 것이 아니다. 예를 들어, 패닝 영역(7)의 각도는 차량(1)의 조향각 또는 실조향각에 대응되도록 독립 변수로 설정할 수 있다.In this embodiment, the angle of the panning area 7 is associated with the position on the intersection of the vehicle 1, but it is not necessarily corresponded to the position. For example, the angle of the panning area 7 may be set as an independent variable so as to correspond to the steering angle or the actual steering angle of the vehicle 1. [

일 실시예에 따르면, 차량의 측후방 영상의 패닝 방법에 있어서, 영상 패닝 장치가, 좌측 또는 우측으로 패닝된 측후방 영상을 생성하고, 상기 차량의 디스플레이 장치에 제공하는 단계는 상기 차량의 조향각이 변경되는 것에 연동하여 상기 측후방 영상의 패닝 정도를 연속적으로 완화해주는 단계를 포함할 수 있다. 상기 연속성은 도 14에 도시된 그래프가 기준이 될 수 있으나, 반드시 도시된 그래프의 기울기나 형상에 한정되는 것은 아니다.According to one embodiment, in a method of panning a side rear image of a vehicle, the step of generating a side rear image panned to the left or right of the image panning device and providing the rear side image to the display device of the vehicle includes: And a step of continuously alleviating the degree of panning of the side rear image in association with the change. The continuity can be a reference to the graph shown in FIG. 14, but it is not limited to the slope or the shape of the graph shown in FIG.

도 15 및 도 16은 차량이 교차로를 통과한 후에 패닝된 영상을 기존의 패닝되기 전으로 복원하는 단계 및 그 시점을 설명하기 위한 도면이다.FIGS. 15 and 16 are views for explaining the step of restoring the panned image after the vehicle passes the intersection before the existing panning and the view point thereof.

차량이 우회전을 완료한 후에는 다시 차량의 후방 영상이 운전자에게 제공되어야 할 것이다. 이 때, 패닝되기 전의 후방 영상을 운전자에게 제공하는 시점이 매우 중요하다. 이에 따른 패닝된 영상의 복원 시점을 어떠한 기준으로 할 것인지 하기에서 설명한다.After the vehicle has completed the right turn, the rear image of the vehicle must be provided to the driver again. At this time, it is very important to provide the rear image before the panning to the driver. It is described below how the restoration time of the panned image is used as a reference.

도 15은 본 발명의 일 실시예에서 참조되는 패닝된 측후방 영상을 원상 복원하는 방법의 순서도이다. 이하, 도 15를 참조하여 본 실시예에 따른 패닝된 측후방 영상을 원상 복원하는 방법을 설명한다.FIG. 15 is a flowchart of a method for reconstructing a panned side posterior image referred to in an embodiment of the present invention. Hereinafter, a method for restoring the panned side back image according to the present embodiment will be described with reference to FIG.

상기 서술한 교차로 판단 단계 및 회전 예정 여부 판단 단계가 수행된 후에, 차량의 회전 방향을 고려하여 좌측 또는 우측으로 패닝된 측후방 영상 생성이 완료되면(S1010), 패닝된 측후방 영상을 복원하는 과정을 개시한다.After completion of the above-described intersection determination step and the determination of whether or not the robot is scheduled to be rotated, the generation of the rear side image panned to the left or right is completed in consideration of the direction of rotation of the vehicle (S1010) .

상기 영상 패닝 장치가, 차량의 가속을 감지한다(S1020). 본 단계에서 가속을 감지하는 이유는, 상기 차량이 우회전을 하여 교차로를 통과하고, 다시 직진을 하는 경우, 일반적으로 운전자는 다시 가속 페달을 밟는 경험적인 사실을 적용하기 위함이다. 본 실시예에 따르면, 영상 처리 과정을 거치지 않고도 패닝된 측후방을 영상을 복원하는 시점을 매우 정확하게 결정할 수 있다.The image panning device senses acceleration of the vehicle (S1020). The reason for sensing the acceleration in this step is to apply the empirical fact that the driver again presses the accelerator pedal when the vehicle makes a right turn and passes through the intersection and straightens again. According to the present embodiment, it is possible to highly accurately determine the time point at which the image is restored to the rear side of the panned side without going through the image processing process.

상기 차량의 가속이 감지되면(S1030), 패닝된 측후방 영상을 패닝 전 측후방 영상으로 복원한다(S1040). 따라서, 상기 차량의 운전자는 직진하는 시점에서 후방 영상을 감시할 수 있다.If the acceleration of the vehicle is sensed (S1030), the panned side rear image is restored to the rear side panning front side image (S1040). Therefore, the driver of the vehicle can monitor the rear image at the time of going straight ahead.

도 16은 본 발명의 다른 실시예에서 참조되는 패닝된 측후방 영상을 원상 복원하는 방법의 순서도이다. 이하, 도 16을 참조하여, 본 실시예에 따른 패닝된 측후방 영상을 원상 복원하는 방법을 설명한다.FIG. 16 is a flowchart of a method for reconstructing a panned side posterior image referred to in another embodiment of the present invention. Hereinafter, with reference to FIG. 16, a method for reconstructing a panned side back image according to the present embodiment will be described.

도 16의 S1010 단계는, 도 15의 단계와 동일한바 본 설명에서는 설명하도록 한다.The step S1010 of FIG. 16 is the same as the step of FIG. 15 and will be described later.

상기 영상 패닝 장치가, 차량의 조향각을 감지한다(S1021). 본 단계에서 조향각을 감지하는 이유는, 상기 조향각이 차량의 직진 여부를 판단할 수 있도록 하는 정확한 정보이기 때문이다. 따라서, 본 실시예에 따르면, 영상 처리 과정을 거치지 않고도 패닝된 측후방 영상을 복원하는 시점을 매우 정확하게 결정할 수 있다.The image panning device senses the steering angle of the vehicle (S1021). The reason why the steering angle is detected in this step is that the steering angle is accurate information for determining whether the vehicle is going straight ahead. Therefore, according to the present embodiment, it is possible to highly accurately determine the time to restore the panned side rear image without going through the image processing process.

상기 차량의 조향각이 0도에 가까운 것으로 감지되면(S1031), 패닝된 측후방 영상을 패닝 전 측후방 영상으로 복원한다(S1040). 따라서, 상기 차량의 운전자는 직진하는 시점에서 후방 영상을 감지할 수 있다.If it is detected that the steering angle of the vehicle is close to zero degree (S1031), the panned side rear image is restored to the front side rear panning image (S1040). Accordingly, the driver of the vehicle can sense the rearward image at the time of going straight ahead.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, I can understand that. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.

Claims (12)

차량의 측후방 영상의 패닝(Panning) 방법에 있어서,
영상 패닝 장치가, 상기 차량에 장착된 이미지 센서에서 획득된 전방 영상을 분석하여 상기 차량 전방에 교차로가 존재하는지 여부를 판단하는 단계;
상기 영상 패닝 장치가, 상기 교차로가 존재하는지 여부를 판단한 결과, 상기 교차로가 존재하는 경우, 상기 차량의 회전 예정 여부를 판단하는 단계; 및
상기 영상 패닝 장치가, 상기 회전 예정 여부를 판단한 결과, 상기 차량이 회전 예정인 경우, 좌측 또는 우측으로 패닝된 측후방 영상을 생성하고, 상기 차량의 디스플레이 장치에 제공하는 단계를 포함하는,
측후방 영상의 패닝 방법.A method of panning a side rear image of a vehicle,
Analyzing a forward image obtained from the image sensor mounted on the vehicle and determining whether an intersection exists in front of the vehicle;
Determining whether the vehicle is to be rotated if the intersection is present as a result of determining whether the intersection exists or not; And
Wherein the image panning device generates a side rear image panned to the left or right side when the vehicle is scheduled to be rotated as a result of determining whether or not the vehicle is to be rotated and providing the side rear image to the display device of the vehicle,
Panning method of lateral posterior image. 제1 항에 있어서,
상기 차량 전방에 교차로가 존재하는지 여부를 판단하는 단계는,
상기 전방 영상을 분석한 결과, 도로 위에 정지선 및 횡단 보도가 검출되면 상기 차량 전방에 교차로의 존재를 판단하는 단계를 포함하는,
측후방 영상의 패닝 방법.The method according to claim 1,
Wherein determining whether an intersection is present in front of the vehicle comprises:
And determining the existence of an intersection in front of the vehicle when a stop line and a crosswalk are detected on the road as a result of analyzing the forward image.
Panning method of lateral posterior image. 제1 항에 있어서,
상기 차량 전방에 교차로가 존재하는지 여부를 판단하는 단계는,
상기 전방 영상을 분석한 결과, 도로 위에 정지선이 검출되고, 상기 차량 양 측방의 차선이 점선에서 실선으로 변화하는 것을 감지하는 경우, 상기 차량 전방에 교차로의 존재를 판단하는 단계를 포함하는,
측후방 영상의 패닝 방법.The method according to claim 1,
Wherein determining whether an intersection is present in front of the vehicle comprises:
Determining the presence of an intersection in front of the vehicle when a stop line is detected on the road as a result of the analysis of the forward image and the lane on both sides of the vehicle changes from a dotted line to a solid line,
Panning method of lateral posterior image. 제1 항에 있어서,
상기 차량 전방에 교차로가 존재하는지 여부를 판단하는 단계는,
상기 전방 영상을 분석한 결과, 도로 위에 표시된 다수의 화살표가 검출되면 상기 차량 전방에 교차로의 존재를 판단하는 단계를 포함하는,
측후방 영상의 패닝 방법.The method according to claim 1,
Wherein determining whether an intersection is present in front of the vehicle comprises:
And determining the existence of an intersection in front of the vehicle when a plurality of arrows displayed on the road are detected as a result of analyzing the forward image.
Panning method of lateral posterior image. 제4 항에 있어서,
상기 차량의 회전 예정 여부를 판단하는 단계는,
상기 전방 영상에서 검출된 다수의 화살표에서 우측 방향 화살표를 감지하여 상기 차량이 우회전 예정임을 판단하는 단계를 포함하는,
측후방 영상의 패닝 방법.5. The method of claim 4,
The step of determining whether the vehicle is to be rotated may include:
Detecting a right arrow from a plurality of arrows detected in the forward image to determine that the vehicle is scheduled to turn right;
Panning method of lateral posterior image. 제1 항에 있어서,
상기 회전 예정 여부의 판단은,
상기 전방 영상에 촬영된 도로 위에 화살표가 우측 방향의 화살표인 경우에 회전 예정 여부를 판단하는 것인,
측후방 영상의 패닝 방법.The method according to claim 1,
The determination as to whether or not the rotation is scheduled,
And determines whether or not the vehicle is scheduled to turn when the arrow on the road taken on the forward image is an arrow on the right direction.
Panning method of lateral posterior image. 제1 항에 있어서,
상기 회전 예정 여부의 판단은,
상기 차량의 감속을 감지하여 회전 예정 여부를 판단하는 것인,
측후방 영상의 패닝 방법.The method according to claim 1,
The determination as to whether or not the rotation is scheduled,
And determines whether the vehicle is to be rotated by detecting a deceleration of the vehicle.
Panning method of lateral posterior image. 제1 항에 있어서,
상기 회전 예정 여부의 판단은,
상기 차량의 방향 지시등 조작을 감지하여 회전 예정 여부를 판단하는 것인,
측후방 영상의 패닝 방법.The method according to claim 1,
The determination as to whether or not the rotation is scheduled,
Wherein the controller determines whether the vehicle is scheduled to turn by sensing operation of a turn signal lamp of the vehicle.
Panning method of lateral posterior image. 제1 항에 있어서,
상기 영상 패닝 장치가, 상기 차량의 교차로 통과 여부를 판단하고, 상기 패닝된 영상 이전인 기존의 측후방 영상으로 복귀하는 단계를 더 포함하는,
측후방 영상의 패닝 방법.The method according to claim 1,
Further comprising the step of determining whether the image panning device has passed the intersection of the vehicle and returning to the existing side rear image prior to the panned image,
Panning method of lateral posterior image. 제9 항에 있어서,
상기 교차로 통과 여부의 판단은,
상기 차량의 가속을 감지하여 교차로 통과 여부를 판단하는 것인,
측후방 영상의 패닝 방법.10. The method of claim 9,
The determination as to whether or not the intersection has passed,
Wherein the controller senses acceleration of the vehicle and determines whether the vehicle passes through an intersection.
Panning method of lateral posterior image. 제9 항에 있어서,
상기 교차로 통과 여부의 판단은,
상기 차량의 조향각이 0도에 근접한 경우를 감지하여 교차로 통과 여부를 판단하는 것인,
측후방 영상의 패닝 방법.10. The method of claim 9,
The determination as to whether or not the intersection has passed,
Wherein the control unit senses a case where the steering angle of the vehicle is close to 0 degrees,
Panning method of lateral posterior image. 제9 항에 있어서,
상기 기존의 측후방 영상으로 복귀하는 단계는,
상기 차량의 실조향각의 역비례하여 연속적으로 복귀하는 단계를 포함하는,
측후방 영상의 패닝 방법.10. The method of claim 9,
The step of returning to the existing side-
And returning continuously in inverse proportion to the actual steering angle of the vehicle,
Panning method of lateral posterior image.
KR1020170141020A 2017-10-27 2017-10-27 Method and apparatus for panning side rear images of a vehicle KR20190047302A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170141020A KR20190047302A (en) 2017-10-27 2017-10-27 Method and apparatus for panning side rear images of a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170141020A KR20190047302A (en) 2017-10-27 2017-10-27 Method and apparatus for panning side rear images of a vehicle

Publications (1)

Publication Number Publication Date
KR20190047302A true KR20190047302A (en) 2019-05-08

Family

ID=66580359

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170141020A KR20190047302A (en) 2017-10-27 2017-10-27 Method and apparatus for panning side rear images of a vehicle

Country Status (1)

Country Link
KR (1) KR20190047302A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170025334A (en) 2015-08-28 2017-03-08 현대자동차주식회사 Object recognition apparatus, vehicle having the same and method for controlling the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170025334A (en) 2015-08-28 2017-03-08 현대자동차주식회사 Object recognition apparatus, vehicle having the same and method for controlling the same

Similar Documents

Publication Publication Date Title
CN109215433B (en) Vision-based driving scenario generator for automated driving simulation
US10940869B2 (en) Driving assistance apparatus
JP5421072B2 (en) Approaching object detection system
JP2018027772A (en) Stereo camera-based autonomous driving method, autonomous driving apparatus, and computer program
WO2017212927A1 (en) Imaging control device and method, and vehicle
CN112543876B (en) System for sensor synchronicity data analysis in an autonomous vehicle
CN114764782A (en) Image synthesis in multi-view automotive and robotic systems
JP2021064118A (en) Remote autonomous vehicle and vehicle remote command system
US20220024452A1 (en) Image processing apparatus, imaging apparatus, moveable body, and image processing method
CN110281925B (en) Travel control device, vehicle, and travel control method
RU2737641C1 (en) Parking assistance method and parking assistance device
CN108028022B (en) Image processing apparatus, image processing method, and vehicle control system
JP7245653B2 (en) Traffic light recognition method and traffic light recognition device
JP6174884B2 (en) Outside environment recognition device and outside environment recognition method
KR20190047302A (en) Method and apparatus for panning side rear images of a vehicle
US11893715B2 (en) Control device and control method for mobile object, storage medium, and vehicle
WO2022153896A1 (en) Imaging device, image processing method, and image processing program
US11769337B2 (en) Traffic signal recognition method and traffic signal recognition device
JP2009234494A (en) Side mirror device
US20220318960A1 (en) Image processing apparatus, image processing method, vehicle control apparatus, and storage medium
JP7181956B2 (en) Mobile body control device, control method, and vehicle
JPH11213295A (en) Vehicle interruption detection circuit and rear-end collision alarming device using the same
US20230242108A1 (en) Vehicle control apparatus
WO2023170993A1 (en) On-board camera system, and exposure condition determination method for on-board camera
US11410288B2 (en) Image processing apparatus