WO2020218712A1 - 차량의 측후방 영상표시장치 및 그 방법 - Google Patents

차량의 측후방 영상표시장치 및 그 방법 Download PDF

Info

Publication number
WO2020218712A1
WO2020218712A1 PCT/KR2020/000645 KR2020000645W WO2020218712A1 WO 2020218712 A1 WO2020218712 A1 WO 2020218712A1 KR 2020000645 W KR2020000645 W KR 2020000645W WO 2020218712 A1 WO2020218712 A1 WO 2020218712A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
gesture
room mirror
camera
camera sensor
Prior art date
Application number
PCT/KR2020/000645
Other languages
English (en)
French (fr)
Inventor
최재현
김중원
문유성
Original Assignee
유니텔전자(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유니텔전자(주) filed Critical 유니텔전자(주)
Priority to US17/435,030 priority Critical patent/US11661008B2/en
Publication of WO2020218712A1 publication Critical patent/WO2020218712A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/04—Rear-view mirror arrangements mounted inside vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/06—Rear-view mirror arrangements mounted on vehicle exterior
    • B60R1/062—Rear-view mirror arrangements mounted on vehicle exterior with remote control for adjusting position
    • B60R1/07—Rear-view mirror arrangements mounted on vehicle exterior with remote control for adjusting position by electrically powered actuators
    • B60R1/074—Rear-view mirror arrangements mounted on vehicle exterior with remote control for adjusting position by electrically powered actuators for retracting the mirror arrangements to a non-use position alongside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1215—Mirror assemblies combined with other articles, e.g. clocks with information displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1223—Mirror assemblies combined with other articles, e.g. clocks with sensors or transducers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0033—Rear-view mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle

Definitions

  • the present invention relates to a vehicle side and rear image display apparatus and method using a 3D gesture and camera recognition base, and more particularly, to a driver's 3D gesture and a camera sensor using camera images attached to the left and right side mirrors of the vehicle.
  • a driver's 3D gesture and a camera sensor using camera images attached to the left and right side mirrors of the vehicle.
  • the driver can conveniently observe the image information of the object on the left and right sides of the vehicle or the movement status of the vehicle without turning his gaze to the left and right while driving the vehicle. It relates to a vehicle side and rear image display apparatus and method thereof.
  • a side mirror is installed on the side door and installed to secure the view from the rear side, and a room mirror installed on the roof lining of the car interior to secure the rear view of the vehicle ( room mirror).
  • the smart mirror has a display combined mirror unit having a display function to display image information, and a high pass information. It consists of a pass transmission/reception unit, a camera unit for photographing the front and rear of the vehicle, and a central control unit to control them. It is provided as an image and implemented so that operation information is input by the user's touch operation, so that the image captured in real time from the front or rear camera can be checked through the display of the rearview mirror by controlling a button switch or a touch key switch. We are trying to prevent safety accidents caused by negligence of looking forward.
  • the present invention displays an image of the side and rear of the vehicle by a camera mounted on the side mirror through the display unit of the rear view mirror by the driver's gesture and recognition of the camera sensor without turning the driver's gaze to the left and right directions of the vehicle while driving. What can be done is the object of the invention.
  • Another object of the present invention is to automatically capture an image of the lateral direction of the vehicle and monitor it when the vehicle is parked.
  • a central processing unit 60 that stores and compares and performs control processing, and connects the black box 50 and the communication module 51 to receive the image stored in the black box 50 for control processing;
  • the corresponding image information obtained in is displayed through the display unit 13 of the smart room mirror 10, and the driver's 3D gesture of the image information of the camera sensor 11 and the motion sensor 12 of the smart room mirror 10 If it does not match, the image information is configured to be displayed through the display unit 13 of the smart room mirror 10 based on the recognition information by the camera sensor 11 of the smart room mirror 10.
  • an image captured by the vehicle side monitoring camera modules 310 and 410 may be stored and processed in a black box.
  • the left and right side mirrors 30 and 40 are left and right side mirror tilt detection sensors 30A that detect that the left and right side mirrors 30 and 40 are automatically folded when the vehicle is parked. 40A) and; When detecting that the left and right side mirrors 30 and 40 are automatically folded by the left and right side mirror tilting sensors 30A and 40A, the inside of each of the left and right side mirrors 30 and 40 One end (30-1) (40-1) of each of the left and right side mirrors (30) (40) to the lens units (310') (410') of the installed left and right camera modules (310, 410) Step motors (30B) (40B) to rotate in the lateral direction; It is preferable to include a solenoid (30C) (40C) for moving the step motor (30B) (40B) in one direction.
  • a solenoid (30C) (40C) for moving the step motor (30B) (40B) in one direction.
  • the step motors 30B, 40B and solenoids of the left and right side mirrors 30 and 40 (30C) a twelfth step (S12) and a thirteenth step (S13) of operating (40C); 14th and 15th steps (S14) (S15) of photographing through the left and right camera modules 310 and 410 in the twelfth step (S12) and the thirteenth step (S13);
  • the step of storing the image obtained in the 14th and 15th steps S14 and S15 in the black box 50 may be further included.
  • the present invention recognizes a driver's gesture motion through a motion sensor and a camera sensor attached to a smart room mirror, and compares and analyzes it in a central processing unit, so that the driver can view an image taken from a side mirror in a desired direction through the room mirror.
  • a driver's gesture motion through a motion sensor and a camera sensor attached to a smart room mirror, and compares and analyzes it in a central processing unit, so that the driver can view an image taken from a side mirror in a desired direction through the room mirror.
  • the present invention can check the image of the side and rear of the vehicle without missing the gaze toward the front side without turning the gaze of the driver to other directions in the vehicle interior or to the left and right directions.
  • the present invention realizes the image information on the side mirror side by manipulating the driver's 3D gesture, or obtains the image information on the side mirror side in a desired direction by recognizing the 3D gesture and the camera sensor. It has the effect of performing safe vehicle driving by promoting accuracy through performance, speed, and malfunction prevention.
  • the present invention makes it possible to store and process a situation image in the side direction of the vehicle in a black box when parking a vehicle, so that it is possible to monitor situations such as vehicle damage and theft that may occur not only in the front but also in the side direction during parking, It has an effect that can be of great help in parking.
  • FIG. 1 is a circuit block diagram of a vehicle side and rear image display apparatus using a vehicle room mirror according to the present invention.
  • FIG. 2 is an exemplary view showing a configuration of a smart room mirror of a vehicle side and rear image display device using a vehicle room mirror according to the present invention and a gesture motion of a driver toward the smart room mirror.
  • FIG 3 is an exemplary view showing a state in which a side-rear image of a side mirror side is displayed in a smart room mirror of a vehicle side-rear image display device using a vehicle room mirror according to the present invention.
  • FIG. 4 is an exemplary view showing the configuration of left and right side mirrors of a vehicle side and rear image display apparatus using a vehicle room mirror according to the present invention.
  • FIG. 5 is an exemplary view of left and right side mirrors of a vehicle side and rear image display apparatus using a vehicle room mirror according to the present invention, and is a view showing an operating state in a state in which the side mirrors are automatically folded.
  • FIG. 6 is a plan view showing an operating state of a camera module attached to a side mirror in a state in which the left and right side mirrors of the vehicle side and rear image display device using the vehicle room mirror according to the present invention are automatically folded.
  • FIG. 7 is a flowchart illustrating a method of displaying a side and rear image of a vehicle using a vehicle room mirror according to the present invention.
  • the video display device of the present invention includes a smart room mirror 10 equipped with a camera sensor 11 for photographing a driver's finger, a motion sensor 12 for recognizing a 3D gesture by the driver's finger movement, and a vehicle 20.
  • the central processing unit 60 allows the image information provided through the left and right camera modules 310 and 410 to be displayed through the display unit 13 of the smart room mirror 10, and the image processing unit 70 Image information provided through the left and right photographing camera modules 310 and 410 is stored in real time.
  • the memory 80 is a database in which, for example, finger gestures of the driver required for the present invention are classified and stored.
  • the central processing unit 60 compares and analyzes the image information of the camera sensor 11 and the motion sensor 12 and data stored in the memory.
  • the display unit 13 of the smart room mirror 10 may display the image information by dividing it into 1 or 2 parts or more.
  • the smart room mirror 10 is a device that reflects light like a mirror in normal times based on a mirror-type display, but is used as a display device depending on the situation to support various information provision.
  • the same display manufacturing technology can provide a mirror function and a display function at the same time.
  • the left and right side mirrors 30 and 40 of the present invention have camera modules 310 and 410 for photographing left and right inside the transparent windows 31 and 41 as shown in FIG.
  • the left and right lateral and posterior images are provided.
  • the left and right side mirrors 30 and 40 have the shape of a conventional side mirror, but the present invention is not limited to this shape, and the camera module 310 does not have a mirror or transparent windows 31 and 41. It can be implemented in various shapes equipped with only 410.
  • the central processing unit 60 is operated by power supply from the power supply unit 61, and can be used in situations where gestures are not required by installing an operation button switch 62, and is installed at an arbitrary location indoors or outdoors of the vehicle.
  • the front image information of the vehicle by the gaze camera module 63 may be stored and processed in the black box 50 through the communication module 51.
  • the central processing unit 60 is the left or right side mirror 30
  • the corresponding image information obtained from the camera modules 310 and 410 of 40 is displayed through the display 13 of the smart room mirror 10, and the camera sensor 11 and motion of the smart room mirror 10
  • the driver's 3D gesture of the image information of the sensor 12 does not match, the corresponding image information is displayed on the display unit 13 of the smart room mirror 10 based on the recognition information by the camera sensor 11 of the smart room mirror 10.
  • the motion sensor 12 for recognizing the 3D gesture may recognize the gesture by recognizing the moving path of the motion point value detected by the hand image detector inside the motion sensor, and the motion point as shown in FIG. By tracking the change in the value of the motion point that occurs when shaking left or right while having the form of a finger that combines the index and middle fingers, or the form of bending the finger in one direction, or the form of one index finger, or the form of bending this finger in one direction. Gestures can be recognized.
  • the driver's gesture motion captured by the camera sensor 11 is recognized and compared and analyzed with each other, but these 3D gestures and the camera sensor ( When the images by 11) match, the corresponding images on both side mirrors 30 and 40 are displayed on the display unit 13, so that the image on the side mirrors 30 and 40 in the correct direction desired by the driver is displayed. Can be obtained. If only the driver's 3D gesture is used, the 3D gesture is misrecognized or an incorrect gesture is provided, resulting in an error or malfunction in the image processing device, a safety accident may occur due to a misunderstanding of the left or right side of the vehicle 20 while driving.
  • the present invention can prevent the occurrence of malfunction through an algorithm based on a mutual comparison analysis of the motion sensor 12 and the camera sensor 11.
  • the shape or gesture of the finger can be implemented in various forms. An example will be described with reference to FIG. 2 below.
  • the camera sensor 11 when the driver's 3D gesture is recognized by the motion sensor 12 by shaking the driver's index finger and middle finger in the right direction, the camera sensor 11 operates at the same time, and in this state, the camera sensor 11 By comparing and analyzing the finger recognition image by the motion sensor 12 and the image by the motion sensor 12, the image of the right side and rear side by the camera module 410 of the right side mirror 40 is displayed as shown in FIG. ) Is displayed on the display unit 13. Conversely, when the driver's index finger and middle finger are shaken in the left direction, an image of the left side and rear is displayed on the display unit 13 of the smart room mirror 10. Accordingly, the driver can accurately see the situation behind the left or right side of the vehicle 20 without turning his gaze to another direction in the interior of the vehicle 20 and miss the front gaze, thereby enabling safer vehicle driving.
  • the camera By acquiring an image in a direction recognized by the image by the sensor 11, it is possible to prevent a risk due to a malfunction of the 3D gesture.
  • the left and right side mirrors 30 and 40 of the present invention are left and right side mirror tilt detection sensors 30A that detect that the left and right side mirrors 30 and 40 are folded when the vehicle is parked as shown in FIG. 5.
  • (40A) and the left and right side mirror tilt detection sensors 30A and 40A detect that the left and right side mirrors 30 and 40 are automatically folded, as indicated in FIGS. 4 and 5
  • the lens units 310' and 410' of the left and right camera modules 310 and 410 installed inside each of the left and right side mirrors 30 and 40 are replaced with the left and right side mirrors 30 and 40.
  • Step motors (30B) (40B) that rotate in the direction of one end (30-1) (40-1) of each, and a solenoid (30C) that moves the step motors (30B) (40B) in one direction ( 40C) and the piston (30C') (40C') connected to the solenoid.
  • the rotating discs 310A and 410A fixedly installed under the left and right camera modules 310 and 410 are connected to the axes of the step motors 30B and 40B, It is installed to be rotatable at a certain angle by operation, and one end of the piston (30C') (40C') of the solenoid (30C) (40C) can be fixedly installed on one side of the step motor (30B) (40B), and the step
  • guide rails R for moving the step motors 30B and 40B are installed at the bottom of the housing H of the left and right side mirrors 30 and 40, respectively. Therefore, it is possible to take pictures by adjusting the camera module of the side mirror to a desired angle while parking.
  • reference numerals 30-1' and 40-1' denote transparent windows.
  • the left and right side mirrors 30 and 40 of this configuration detect the tilting of the left and right side mirrors as shown in FIG. 5 when the left and right side mirrors 30 and 40 are automatically folded during vehicle parking.
  • the sensors 30A and 40A sense this and the left and right camera modules 310 and 410 rotate and move, and one end of each of the left and right side mirrors 30 and 40 as shown in FIG. 30-1) Vehicles that can be generated when parking are photographed through the transparent windows 30-1' and 40-1' on the (40-1) side, and the captured images are stored in the black box 50 It will be possible to monitor side situations such as damage and theft of the house.
  • the image processing method of the present invention controlled in this way will be described in detail through the flowchart of FIG. 7.
  • the present invention determines whether the vehicle is running or parked by determining whether the left and right side mirrors 30 and 40 of the vehicle 20 are folded, whether the vehicle is started, or the position of the shift lever. It may include a first step (S1) of determining. By determining whether the vehicle 20 is running or parking through the first step (S1), it is determined whether the camera modules 310 and 410 mounted on the left and right side mirrors 30 and 40 rotate and move. do.
  • the motion sensor 12 and the camera sensor 11 determine that the vehicle is running based on information such as that the left and right side mirrors 30 and 40 of the vehicle 20 are not folded. It may include a second step (S2) of determining whether a 3D gesture image signal is input.
  • this step (S2) when the driver's 3D gesture is input by the motion sensor 12, the camera sensor 11 is operated, or both the motion sensor 12 and the camera sensor 11 are processed when the driver's 3D gesture is input. It can be recognized as an input signal on which image display of the invention is made.
  • the third and fourth steps S3 and S3 are steps for accurately recognizing and processing the driver's 3D gesture recognition.
  • the present invention also provides the seventh and eighth steps (S7) of determining whether a 3D gesture for stopping the display of the smart room mirror 10 is input in the fifth step (S5) and the sixth step (S6). S8) and; When the stop gesture is input in the seventh and eighth steps S7 and S8, the display is terminated and step S2 is performed. If there is no other gesture, the image is continuously displayed and step S2 is continued.
  • the ninth step (S9) including the tenth step (S10) of determining whether the camera sensor 11 recognizes in the left direction and the eleventh step (S11) of determining whether the camera sensor 11 recognizes in the right direction, an error or malfunction of the driver's gesture
  • the vehicle in the left and right directions through the fifth step (S5) and the sixth step (S6), respectively.
  • the step motor 30B of the left and right side mirrors 30 and 40 ( 40B) and a twelfth step (S12) and a thirteenth step (S13) of operating the solenoid (30C) (40C);
  • the lens units 310' and 410' of the left and right camera modules 310 and 410 are left and right side mirrors 30 and 40.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 운전자의 제스처를 인식하는 카메라 센서와 운전자의 제스처를 인식하는 모션 센서를 부설한 스마트 룸미러; 좌측 및 우측 사이드미러에 부설한 차량 측후방 촬영용 카메라 모듈; 상기 좌측 및 우측 사이드미러의 바같측 함체 단부에 설치하여 사이드미러가 자동으로 접힐 경우 동작하는 차량 주차 시 차량 측방 감시용 카메라 모듈; 및 상기 차량의 사이드미러에 부설된 좌측 및 우측 각각의 카메라 모듈의 영상 정보와 스마트 룸미러의 카메라 센서 및 모션 센서의 영상정보를 저장 및 비교 분석하여 제어처리하고, 블랙박스와 통신모듈을 접속하여 상기 블랙박스에 저장된 영상을 수신하여 제어처리하는 중앙처리장치를 포함하여 구성하되, 상기 스마트 룸미러의 카메라 센서 및 모션 센서의 영상정보의 운전자 제스처가 일치할 경우 좌측 또는 우측 사이드미러의 카메라 모듈에서 얻어진 해당 영상정보를 스마트 룸미러의 디스플레이부를 통하여 표출되도록 하고, 스마트 룸미러의 카메라 센서 및 모션 센서의 영상정보의 운전자 제스처가 일치하지 않을 경우 스마트 룸미러의 카메라 센서에 의한 인식정보를 기준으로 해당 영상정보를 스마트 룸미러의 디스플레이부를 통하여 표출되도록 하며, 차량 주차 시 좌측 및 우측 사이드미러가 자동을 접힐 경우 차량 측방 감시용 카메라 모듈에 의한 영상이 블랙박스에 저장처리되도록 하는 영상표시장치 및 그 방법을 제공하는 것을 특징으로 한다.

Description

차량의 측후방 영상표시장치 및 그 방법
본 발명은 3D 제스처와 카메라 인식 기반을 활용한 차량의 측후방 영상표시장치 및 그 방법에 관한 것으로, 더욱 상세하게는 차량의 좌측 및 우측 사이드미러에 부설된 카메라 영상을 운전자의 3D 제스처 및 카메라 센서에 의하여 스마트 룸미러의 디스플레이부를 통하여 표시하여 운전자가 차량 주행 중 좌측 및 우측 방향으로 시선을 돌리지 않고서도 차량의 좌측 및 우측 측후방의 물체나 차량의 이동 상황 영상정보를 편리하게 관측할 수 있도록 한 차량의 측후방 영상표시장치 및 그 방법에 관한 것이다.
일반적으로 차량에는 안전 운전을 위한 수단으로서, 측면 도어에 설치되어 측면 후방의 시야 확보를 위해 설치된 사이드미러(side mirror)와 자동차 실내의 루프 라이닝에 설치되어 자동차의 후방 시야 확보를 위해 설치된 룸미러(room mirror)가 있다.
알려진 바와 같이, 차량 운전 시 교통 정보의 95%는 운전자의 시각을 통해 수집되는데 운전자가 내비게이션을 조작하는 등의 행위로 인해 전방 주시를 소홀히 할 경우 전방뿐 아니라 계기판이나 사이드미러를 볼 수도 없어 큰 위험에 빠지게 된다. 또한, 운전자의 시야를 몇 초간 전방에서 차량 내부나 좌측 및 우측 방향으로 옮기었을 때, 순간적인 전방의 돌발 상황에 대처하기 힘들뿐만 아니라 고속 주행시 전방 주시 태만으로 인한 차량의 안전사고의 위험은 더욱 확대될 수 있다. 따라서, 차량 운전 중 차량의 부가 장비를 조작함에 있어서 운전자의 시야를 빼앗기지 않고 전방에 시야를 고정하면서 직관적으로 조작할 수 있는 시스템이 필요하다.
이러한 점을 감안하여 대한민국 공개특허공보 제10-2005-0098210호 및 제10-2019-0012052호에서 제시한 바와 같이 자동차용 스마트 백미러를 통해 사이드미러에 설치된 카메라에서 촬영된 영상을 디스플레이하여 차량의 좌우 상황을 확인할 수 있도록하고 있다.
특히, 대한민국 등록특허 제10-1400419호에서 제시하고 있는 차량의 룸미러를 이용한 영상표시장치에서, 스마트 미러는 영상정보를 표시하는 디스플레이 기능을 가진 디스플레이 겸용 미러부와, 하이패스 정보를 송수신하는 하이패스 송수신부와, 차량의 전방 및 후방을 촬영하는 카메라부와, 이들을 제어하는 중앙제어부 등으로 구성하여 차량 내부에 설치되는 룸미러에 하이패스 단말기 기능과 블랙박스 기능을 내장하면서 사용자에게 조작 메뉴를 영상으로 제공하고 사용자의 터치 동작에 의하여 조작 정보가 입력되도록 구현시켜 전방 또는 후방 카메라에서 실시간으로 촬영하는 영상을 버튼스위치 또는 터치키 스위치 제어에 의하여 룸미러의 디스플레이부를 통하여 확인할 수 있도록 함으로써 차량 주행 시 전방 주시 태만으로 인한 안전사고를 미연에 방지하도록 노력하고 있다.
그러나, 차량 주행중 전방을 주시하면서 좌측 또는 우측 방향의 측후방 상황을 룸미러를 통하여 확인하기 위해서는 운전자가 룸미러 또는 차량의 실내에 설치된 버튼스위치 또는 터치키 스위치를 누르는 등 조작을 위하여 룸미러 측으로 몸을 움직여야 하기 때문에 전방에 대한 시선을 놓치게 되어 앞서 개진한 바와 같이 차량 운전 중 차량의 부가 장비를 조작함에 있어서 운전자의 시야를 빼앗기게 되는 행위와 다를 바 없어 스위치 조작 시 전방 주시를 태만하게 되고, 이로 인하여 전방에서 발생하는 돌발 충돌 사고 등을 신속하게 대처하지 못해 안전사고 유발을 미연에 방지할 수 없는 문제점이 있다.
본 발명은 차량 주행시 운전자의 시선을 차량의 좌측 및 우측 방향으로 돌리지 않고 사이드미러에 장착된 카메라에 의한 차량 측후방의 영상을 운전자의 제스처 및 카메라 센서의 인식에 의하여 룸미러의 디스플레이부를 통하여 표시할 수 있는 것을 발명의 목적으로 한다.
또한, 본 발명은 차량 주차시 차량의 측면 방향을 자동으로 영상 촬영하여 감시할 수 있도록 하는 것을 또 다른 목적으로 한다.
본 발명에 따른 차량용 룸미러를 이용한 차량의 측후방 영상표시장치는
운전자의 제스처를 인식하는 카메라 센서(11)와 운전자의 3D 제스처를 인식하는 모션 센서(12)를 부설한 스마트 룸미러(10);
차량(20)의 좌측 및 우측 사이드미러(30)(40)에 부설한 차량 측후방 촬영용 카메라 모듈(310)(410);
상기 사이드미러(30)(40)에 부설된 좌측 및 우측 각각의 카메라 모듈(310)(410)의 영상 정보와 스마트 룸미러(10)의 카메라 센서(11) 및 모션 센서(12)의 영상정보를 저장 및 비교 분석하여 제어처리하고, 블랙박스(50)와 통신모듈(51)을 접속하여 상기 블랙박스(50)에 저장된 영상을 수신하여 제어처리하는 중앙처리장치(60);
를 포함하여 이루어지고,
상기 스마트 룸미러(10)의 카메라 센서(11) 및 모션 센서(12)의 영상정보의 운전자 3D 제스처가 일치할 경우 좌측 또는 우측 사이드미러(30)(40)의 카메라 모듈(310)(410)에서 얻어진 해당 영상정보를 스마트 룸미러(10)의 디스플레이부(13)를 통하여 표출되도록 하고, 스마트 룸미러(10)의 카메라 센서(11) 및 모션 센서(12)의 영상정보의 운전자 3D 제스처가 일치하지 않을 경우 스마트 룸미러(10)의 카메라 센서(11)에 의한 인식정보를 기준으로 해당 영상정보를 스마트 룸미러(10)의 디스플레이부(13)를 통하여 표출되도록 구성하는 것을 특징으로 한다.
본 발명에서, 차량(20) 주차 시 차량 측방 감시용 카메라 모듈(310)(410)에 의해 촬영된 영상이 블랙박스에 저장처리되도록 구성하는 것도 가능하다.
본 발명에서, 상기 좌측 및 우측 사이드미러(30)(40)는 차량 주차시 좌측 및 우측 사이드미러(30)(40)가 자동으로 접히는 것을 감지하는 좌측 및 우측 사이드미러 틸팅 감지센서(30A)(40A)와; 상기 좌측 및 우측 사이드미러 틸팅 감지센서(30A)(40A)에 의하여 좌측 및 우측 사이드미러(30)(40)가 자동으로 접히는 것을 감지하면 좌측 및 우측 사이드미러(30)(40) 각각의 내부에 설치된 좌측 및 우측 촬영용 카메라 모듈(310)(410)의 렌즈부(310')(410')를 좌측 및 우측 사이드미러(30)(40) 각각의 일측 단부(30-1)(40-1)측 방향으로 회전시키는 스텝모터(30B)(40B)와; 상기 스텝모터(30B)(40B)를 일측 방향으로 이동시키는 솔레노이드(30C)(40C)를 포함하는 것이 바람직하다.
차량용 룸미러를 이용한 차량의 측후방 영상표시방법은
차량(20)이 주행중인지 또는 주차중인지를 판단하는 제1 단계(S1)와;
상기 제1 단계(S1)에서 차량(20)의 좌측 및 우측 사이드미러(30)(40)가 접혀져 있지 않으면 차량이 주행중임을 판단하여 모션센서(12) 및 카메라 센서(11)에 의한 3D 제스처 영상신호가 입력되었는지 여부를 판단하는 제2 단계(S2)와;
상기 모션센서(12) 및 카메라 센서(11)에 의한 좌측 방향 제스처와 카메라 센서 인식신호가 상호 일치하는지 여부를 판단하는 제3 단계(S3)와;
상기 모션센서(12) 및 카메라 센서(11)에 의한 우측 방향 제스처와 카메라 센서 인식신호가 상호 일치하는지 여부를 판단하는 제4 단계(S3)와;
상기 제3 단계(S3) 및 제4 단계(S4) 각각에서 인식된 신호가 일치하면 스마트 룸미러(10)의 디스플레이부(13)를 통해 좌측 또는 우측 사이드미러(30)(40)측의 측후방 영상을 디스플레이하는 제5 단계(S5) 및 제6 단계(S6)와;
상기 제5 단계(S5) 및 제6 단계(S6)에서 스마트 룸미러(10)의 디스플레이를 정지하기 위한 제스처가 입력되었는지 여부를 판단하는 제7 및 제8 단계(S7)(S8)와;
상기 제7 및 제8 단계(S7)(S8)에서 정지 제스처가 입력되면 디스플레이는 정지하거나 정지 제스처가 없으면 계속 해당 영상을 디스플레이하고, 상기 제3 단계(S3) 및 제4 단계(S4) 각각에서 인식된 신호가 일치하지 않을 경우 카메라 센서(11)가 좌측 방향 제스처인지 우측 방향 제스처인지를 판단하는 제9 단계(S9)와;
상기 제9 단계(S9)에서 카메라 센서(11)가 좌측 방향으로 인식하는지를 판단하는 제10 단계(S10) 및 우측 방향으로 인식하는지를 판단하는 제11 단계(S11)와;
상기 제10 단계(S10) 및 제11 단계(S11)에서 좌측 및 우측 방향으로 인식하면 제5 단계(S5) 및 제6 단계(S6)를 통하여 좌측 및 우측 방향의 차량(20) 측후방의 영상을 디스플레이하도록 하는 단계를 포함하고, 차량 주행중 3D 제스처와 카메라 센서에 의하여 차량의 좌측 및 우측 영상을 표시하도록 하는 것을 특징으로 한다.
본 발명에서, 상기 차량이 주행중인지 또는 주차중인지를 판단하는 제1 단계(S1)에서 차량이 주차중인 경우, 좌측 및 우측 사이드미러(30)(40)의 스텝모터(30B)(40B) 및 솔레노이드(30C)(40C)를 동작시키는 제12 단계(S12) 및 제13 단계(S13)와; 상기 제12 단계(S12) 및 제13 단계(S13)에서 좌측 및 우측 촬영용 카메라 모듈(310)(410)을 통하여 촬영하는 제14 및 제15 단계(S14)(S15)와; 상기 제14 및 제15 단계(S14)(S15)에서 얻어진 영상을 블랙박스(50)에 영상 저장시키는 단계를 더 포함하여도 좋다.
본 발명은 운전자의 제스처 동작을 스마트 룸미러에 부설된 모션 센서 및 카메라센서를 통하여 인식하여 중앙처리장치에서 비교분석함으로써 운전자가 원하는 방향의 사이드미러에서 촬영된 영상을 룸미러를 통하여 볼 수 있도록 함으로써 주행중 차량의 전방에서 발생할 수 있는 충돌사고 등을 미연에 방지함은 물론 차량 측후방의 주행 상황을 신속하게 확인할 수 있어 안전한 차량 주행을 도모하는 효과를 가진다.
또한, 본 발명은 운전자의 시선을 차량 실내 다른 방향 또는 좌측 및 우측방향으로 돌리지 않고서도 전방측으로의 시선을 놓치지 않고 차량의 측후방의 영상을 확인할 수 있다.
특히, 본 발명은 사이드미러 측의 영상 정보를 운전자의 3D 제스처에 의한 조작에 의하여 실현하거나, 상기 3D 제스처 및 카메라 센서 인식에 의하여 원하는 방향의 사이드미러 측의 영상 정보를 획득하게 함으로써 제어 조작의 편리성 및 신속성, 오동작방지를 통한 정확성을 도모하여 안전한 차량 운전을 수행할 수 있는 효과를 가진다.
또한, 본 발명은 차량 주차 시 차량의 측면 방향의 상황 영상을 블랙박스에 저장처리할 수 있도록 함으로써 주차 시 전방뿐 아니라 측면 방향에서 발생할 수 있는 차량 파손, 도난 등의 상황을 감시할 수 있어 차량 안전 주차에 큰 도움을 줄 수 있는 효과를 가진다.
도 1은 본 발명에 따른 차량용 룸미러를 이용한 차량의 측후방 영상표시장치의 회로 블럭도이다.
도 2는 본 발명에 따른 차량용 룸미러를 이용한 차량의 측후방 영상표시장치의 스마트 룸미러 구성 및 스마트 룸미러를 향하여 운전자의 제스처 동작을 연출한 일예시도이다.
도 3은 본 발명에 따른 차량용 룸미러를 이용한 차량의 측후방 영상표시장치의 스마트 룸미러에 사이드미러측의 측후방 영상을 디스플레이한 상태의 예시도이다.
도 4는 본 발명에 따른 차량용 룸미러를 이용한 차량의 측후방 영상표시장치의 좌측 및 우측 사이드미러의 구성을 나타낸 예시도이다.
도 5는 본 발명에 따른 차량용 룸미러를 이용한 차량의 측후방 영상표시장치의 좌측 및 우측 사이드미러의 예시도로서, 사이드미러가 자동으로 접혀진 상태의 작동상태를 나타낸 도면이다.
도 6은 본 발명에 따른 차량용 룸미러를 이용한 차량의 측후방 영상표시장치의 좌측 및 우측 사이드미러가 자동으로 접혀진 상태의 사이드미러에 부설된 카메라 모듈의 작동상태를 보여주는 평면도이다.
도 7은 본 발명에 따른 차량용 룸미러를 이용한 차량의 측후방 영상표시방법을 설명하기 위한 흐름도이다.
이하에서 첨부된 도면을 참조로 하여 본 발명에 대하여 상세히 설명하기로 한다.
도 1은 본 발명에 따른 차량용 룸미러를 이용한 차량의 측후방 영상표시장치의 회로 블럭도이다. 본 발명의 영상표시장치는 운전자의 손가락을 촬영하는 카메라 센서(11)와 운전자의 손가락 움직임에 의한 3D 제스처를 인식하는 모션 센서(12)를 부설한 스마트 룸미러(10)와, 차량(20)의 거울이 없는 좌측 및 우측 사이드미러(30)(40) 내부에 부설한 차량 측후방 좌측 및 우측 촬영용 카메라 모듈(310)(410)과, 상기 차량(20)의 좌측 및 우측 사이드미러(30)(40)에 부설된 좌측 및 우측 각각의 카메라 모듈(310)(410)의 영상 정보와 스마트 룸미러(10)의 카메라 센서(11) 및 모션 센서(12)의 영상정보를 저장 및 비교 분석하여 제어처리하고, 블랙박스(50)와 통신모듈(51)을 접속하여 상기 블랙박스(50)에 저장된 영상을 수신하여 제어처리하는 중앙처리장치(60)를 포함하여 이루어진다.
중앙처리장치(60)는 좌측 및 우측 촬영용 카메라 모듈(310)(410)을 통해 제공되는 영상 정보를 스마트 룸미러(10)의 디스플레이부(13)를 통하여 표출되게 하고, 영상 처리부(70)는 좌측 및 우측 촬영용 카메라 모듈(310)(410)을 통해 제공되는 영상 정보를 실시간으로 저장한다. 메모리(80)는 본 발명에 필요한 운전자의 예컨대 손가락 제스처를 분류 저장한 데이터 베이스이다. 중앙처리장치(60)에서는 카메라 센서(11) 및 모션 센서(12)의 영상정보와 메모리에 저장된 데이터를 비교분석한다. 상기 스마트 룸미러(10)의 디스플레이부(13)는 영상정보를 1등분 또는 2등분 또는 그 이상으로 등분하여 디스플레이할 수 있다. 스마트 룸미러(10)는 거울형 디스플레이를 기반으로 평상시에는 거울처럼 빛을 반사하지만, 상황에 따라 디스플레이 장치로 활용되어 다양한 정보제공을 지원하는 장치로서, 디스플레이 표면에 거울 성질을 갖는 유리나 필름에 LCD와 같은 디스플레이 제조 기술로 거울 기능과 디스플레이 기능을 동시에 제공할 수 있다.
본 발명의 좌측 및 우측 사이드미러(30)(40)는 도 4에서와 같이 투명창(31)(41) 내부에 좌측 및 우측 촬영용 카메라 모듈(310)(410)이 내장되어 차량 주행 중 차량의 좌측 및 우측 측후방 영상을 제공하도록 한다. 도 4에서 좌측 및 우측 사이드미러(30)(40)는 종래의 사이드미러의 형상을 가지고 있지만 본 발명은 이러한 형상에 한정되지 아니하며 거울이나 투명창(31)(41)이 없이 카메라 모듈(310)(410) 만을 장착한 다양한 형상으로도 구현될 수 있다.
중앙처리장치(60)는 전원부(61)의 전원공급에 의하여 동작되며, 조작버튼스위치(62)를 부설하여 제스처 동작이 불필요한 상황 등에서 사용할 수 있고, 차량의 실내 또는 실외의 임의의 위치에 설치된 전방 주시용 카메라 모듈(63)에 의한 차량의 전방 영상정보를 통신모듈(51)을 통하여 블랙박스(50)에 저장처리할 수 있다.
이러한 중앙처리장치(60)는 상기 스마트 룸미러(10)의 카메라 센서(11)에 의한 영상정보와 모션 센서(12)의 영상정보의 운전자 3D 제스처가 일치할 경우 좌측 또는 우측 사이드미러(30)(40)의 카메라 모듈(310)(410)에서 얻어진 해당 영상정보를 스마트 룸미러(10)의 디스플레이부(13)를 통하여 표출되도록 하고, 스마트 룸미러(10)의 카메라 센서(11) 및 모션 센서(12)의 영상정보의 운전자 3D 제스처가 일치하지 않을 경우 스마트 룸미러(10)의 카메라 센서(11)에 의한 인식정보를 기준으로 해당 영상정보를 스마트 룸미러(10)의 디스플레이부(13)를 통하여 표출되도록 한다. 상기 3D 제스처를 인식하는 모션 센서(12)는 모션 센서 내부의 손 영상 검출부에서 검출한 동작 포인트 값의 이동 경로를 인식하여 제스처를 인식할 수 있고, 이러한 동작 포인트로는 도 2에 제시한 바와 같은 검지와 중지를 모은 손가락 형태 또는 이 손가락을 어느 일 방향으로 구부린 형태 또는 검지 손가락 하나의 형태 또는 이 손가락을 어느 일방향으로 구부린 형태를 가지면서 좌, 우로 흔들 경우 발생하는 동작 포인트 값의 변화를 추적함으로써 제스처를 인식할 수 있다.
본 발명에서는 상기 모션 센서(12)에 의해 인식한 운전자의 3D 제스처만을 이용하지 않고 카메라 센서(11)에 의해 촬영된 운전자의 제스처 동작을 함께 인식하여 상호 비교분석하되, 이들 3D 제스처와 카메라 센서(11)에 의한 영상이 일치할 경우에 양측 사이드미러(30)(40)측의 해당 영상이 디스플레이부(13)에 표시되도록 함으로써 운전자가 원하는 정확한 방향의 사이드미러(30)(40)측 영상을 획득할 수 있다. 만일 운전자의 3D 제스처만을 이용할 경우 3D 제스처가 잘못 인식되거나 틀린 제스처를 제공하여 영상처리장치에 오류가 발생 되거나 오동작이 발생 되면 주행중 차량(20)의 좌측 또는 우측상황의 오인에 의한 안전사고가 발생 될 수 있는 위험성을 가지므로 본 발명은 모션 센서(12) 및 카메라 센서(11)의 상호 비교분석에 따른 알고리즘을 통하여 오동작 유발을 방지할 수 있다. 여기서 손가락의 모양이나 제스처는 다양한 형태로 구현이 가능한데 아래 도 2를 참조하여 그 일예에 대해 설명한다.
도 2의 예시와 같이 운전자의 검지와 중지를 모은 손가락을 우측 방향으로 흔들어 모션센서(12)에 의하여 운전자 3D 제스처가 인식되면 카메라 센서(11)가 동시에 작동하고, 이 상태에서 카메라 센서(11)에 의한 손가락 인식 영상과 모션센서(12)에 의한 영상을 상호 비교분석하여 우측 방향의 사이드미러(40)의 카메라 모듈(410)에 의한 우측 측후방의 영상이 도 3과 같이 스마트 룸미러(10)의 디스플레이부(13)에 표시된다. 반대로 운전자의 검지와 중지를 모은 손가락을 좌측 방향으로 흔들 경우에는 좌측 측후방의 영상이 스마트 룸미러(10)의 디스플레이부(13)에 표시된다. 따라서, 운전자가 차량(20)의 실내 다른 방향으로 시선을 돌리지 않고서도 차량(20)의 좌측 또는 우측의 후방 상황을 정확하게 볼 수 있으면서도 전방 시선을 놓치지 않으므로 보다 안전한 차량 주행이 가능하게 된다.
만일, 차량 주행중 운전자의 3D 제스처를 차량의 우측 방향을 관측하기 위하여 제스처를 취하였지만 모션센서(12)가 이를 인식하지 못하거나 3D 제스처와 카메라 센서(11)에 의한 영상이 일치하지 않을 경우에는 카메라 센서(11)에 의한 영상이 인식하는 방향의 영상을 획득하게 함으로써 3D 제스처의 오동작에 의한 위험성을 방지할 수 있다.
본 발명의 좌측 및 우측 사이드미러(30)(40)는 도 5에서와 같이 차량 주차시 좌측 및 우측 사이드미러(30)(40)가 접히는 것을 감지하는 좌측 및 우측 사이드미러 틸팅 감지센서(30A)(40A)와, 상기 좌측 및 우측 사이드미러 틸팅 감지센서(30A)(40A)에 의하여 좌측 및 우측 사이드미러(30)(40)가 자동으로 접히는 것을 감지하면 도 4 및 도 5에 지시한 바와 같이 좌측 및 우측 사이드미러(30)(40) 각각의 내부에 설치된 좌측 및 우측 촬영용 카메라 모듈(310)(410)의 렌즈부(310')(410')를 좌측 및 우측 사이드미러(30)(40) 각각의 일측 단부(30-1)(40-1)측 방향으로 회전시키는 스텝모터(30B)(40B)와, 상기 스텝모터(30B)(40B)를 일측 방향으로 이동시키는 솔레노이드(30C)(40C) 및 솔레노이드에 연결된 피스톤(30C')(40C')을 포함하여 구성할 수 있다. 상기 좌측 및 우측 촬영용 카메라 모듈(310)(410)의 하부에 고정 설치된 회전원판(310A)(410A)은 상기 스텝모터(30B)(40B)의 축과 연결되어 스텝모터(30B)(40B)의 동작에 의하여 일정각도로 회전 가능하게 설치되며, 솔레노이드(30C)(40C)의 피스톤(30C')(40C')의 일단은 스텝모터(30B)(40B) 일측에 고정설치될 수 있고, 상기 스텝모터(30B)(40B)의 자유로운 이동을 위하여 스텝모터(30B)(40B) 이동용 안내레일(R)이 좌측 및 우측 사이드미러(30)(40) 각각의 하우징(H) 내 하단에 설치된다. 따라서, 주차 중에 사이드미러의 카메라 모듈을 원하는 각도로 조정하여 촬영할 수 있다. 도면 중 미설명부호 30-1', 40-1'는 투명창이다.
이러한 구성의 좌측 및 우측 사이드미러(30)(40)는 차량 주차 시 좌측 및 우측 사이드미러(30)(40)가 자동으로 접히면 도 5에 도시한 일점쇄선과 같이 좌측 및 우측 사이드미러 틸팅 감지센서(30A)(40A)가 이를 감지하여 좌측 및 우측 촬영용 카메라 모듈(310)(410)이 회전 및 이동하여, 도 6에서와 같이 좌측 및 우측 사이드미러(30)(40) 각각의 일측 단부(30-1)(40-1)측 투명창(30-1')(40-1')을 통하여 촬영하고, 촬영된 영상은 블랙박스(50)에 저장처리되게 함으로써 주차시 발생 될 수 있는 차량의 파손, 도난 행위 등 측면 상황을 감시할 수 있게 되는 것이다. 이와 같이 동작 제어되는 본 발명의 영상처리방법을 도 7의 흐름도를 통하여 구체적으로 설명한다.
도 7을 참조하면, 본 발명은 차량(20)의 좌측 및 우측 사이드미러(30)(40)가 접혀져 있는지 여부, 시동 여부, 또는 변속 레버의 위치 등을 판단하여 차량이 주행중인지 또는 주차중인지를 판단하는 제1 단계(S1)를 포함할 수 있다. 상기 제1 단계(S1)를 통하여 차량(20)이 주행중인지 주차중인지를 판단하여 좌측 및 우측 사이드미러(30)(40)에 장착된 카메라 모듈(310)(410)의 회전 및 이동 여부를 판단한다.
상기 제1 단계(S1)에서 차량(20)의 좌측 및 우측 사이드미러(30)(40)가 접혀져 있지 않는 등의 정보에 의해 차량이 주행중으로 판단하여 모션센서(12) 및 카메라 센서(11)에 의한 3D 제스처 영상신호가 입력되었는지 여부를 판단하는 제2 단계(S2)를 포함할 수 있다. 이러한 단계(S2)는 모션 센서(12)에 의하여 운전자의 3D 제스처가 입력되면 카메라 센서(11)가 동작하도록 하거나 모션 센서(12) 및 카메라 센서(11) 모두 운전자의 3D 제스처가 입력처리되면 본 발명의 영상표시가 이루어지는 입력신호로 인식하도록 할 수 있다.
제3 단계(S3)에서 상기 모션 센서(12) 및 카메라 센서(11)에 의한 좌측 방향 제스처와 카메라 센서 인식신호가 상호 일치하는지 여부를 판단하고, 제4 단계(S3)에서 모션 센서(12) 및 카메라 센서(11)에 의한 우측 방향 제스처와 카메라 센서 인식신호가 상호 일치하는지 여부를 판단한다. 이러한 제3 단계(S3) 및 제4 단계(S3)는 운전자의 3D 제스처 인식을 정확하게 인식하여 처리하기 위한 단계이다.
상기 제3 단계(S3) 및 제4 단계(S4) 각각에서 인식된 신호가 일치하면 스마트 룸미러(10)의 디스플레이부(13)를 통해 좌측 또는 우측 사이드미러(30)(40)측의 측후방 영상을 디스플레이하는 제5 단계(S5) 및 제6 단계(S6)를 통해 운전자가 관측하고자 하는 좌측 또는 우측 방향으로 시선을 돌리지 않고 전방을 주시하면서 차량의 좌측 및 우측 방향의 측후방을 신속하고도 편리하게 관측할 수 있게 된다.
본 발명은 또한 상기 제5 단계(S5) 및 제6 단계(S6)에서 스마트 룸미러(10)의 디스플레이를 정지하기 위한 3D 제스처가 입력되었는지 여부를 판단하는 제7 및 제8 단계(S7)(S8)와; 상기 제7 및 제8 단계(S7)(S8)에서 정지 제스처가 입력되면 디스플레이는 종료되어 단계 S2를 수행하고, 다른 제스처가 없으면 계속 해당 영상을 디스플레이하면서 단계 S2를 계속 수행한다.
상기 제3 단계(S3) 및 제4 단계(S4) 각각에서 인식된 신호가 일치하지 않을 경우 카메라 센서(11)가 좌측 방향 제스처인지 우측 방향 제스처인지를 판단하는 제9 단계(S9)와; 상기 제9 단계(S9)에서 카메라 센서(11)가 좌측 방향으로 인식하는지를 판단하는 제10 단계(S10) 및 우측 방향으로 인식하는지를 판단하는 제11 단계(S11)를 포함하여 운전자의 제스처의 오류나 오동작에 따른 위험성을 배제하게 할 수 있다.
상기 제10 단계(S10) 및 제11 단계(S11)에서 카메라 센서(11)가 좌측 및 우측 방향으로 인식하면 각각 제5 단계(S5) 및 제6 단계(S6)를 통하여 좌측 및 우측 방향의 차량(20) 측후방의 영상을 디스플레이하도록 하는 단계를 포함하여 차량 주행중 3D 제스처와 카메라 센서에 의하여 차량의 좌측 및 우측 영상을 표시할 수 있다. 카메라 센서(11)가 어느 방향인지 인식하지 못한 경우 디스플레이에 인식 불능임을 표시하고 단계 S2로 이동하여 다시 신호 입력을 대기한다.
그리고, 상기 차량(20)이 주행중인지 또는 주차중인지를 판단하는 제1 단계(S1)에서 차량(20)이 주차중으로 인식되면 좌측 및 우측 사이드미러(30)(40)의 스텝모터(30B)(40B) 및 솔레노이드(30C)(40C)를 동작시키는 제12 단계(S12) 및 제13 단계(S13)와; 상기 제12 단계(S12) 및 제13 단계(S13)에서 좌측 및 우측 촬영용 카메라 모듈(310)(410)의 렌즈부(310')(410')가 좌측 및 우측 사이드미러(30)(40) 각각의 일측 단부(30-1)(40-1)측 투명창(30-1')(40-1')을 통하여 촬영되도록 하는 제14 및 제15 단계(S14)(S15)와; 상기 제14 및 제15 단계(S14)(S15)에서 얻어진 영상을 블랙박스(50)에 저장시키는 단계를 포함하여 차량 주차중 차량(20)의 측후방 상황을 녹화처리함으로써 차량 주차중 발생할 수 있는 차량 전방뿐만 아니라 차량 측면의 파손, 도난 등 상황을 감시할 수 있어 차량의 보다 안전한 주차가 가능하다.
이상에서 실시예를 중심으로 설명하였으나, 이는 단지 예시일 뿐 본 명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 그리고, 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (5)

  1. 운전자의 제스처를 인식하는 카메라 센서(11)와 운전자의 3D 제스처를 인식하는 모션 센서(12)를 부설한 스마트 룸미러(10);
    차량(20)의 좌측 및 우측 사이드미러(30)(40)에 부설한 차량 측후방 촬영용 카메라 모듈(310)(410);
    상기 사이드미러(30)(40)에 부설된 좌측 및 우측 각각의 카메라 모듈(310)(410)의 영상 정보와 스마트 룸미러(10)의 카메라 센서(11) 및 모션 센서(12)의 영상정보를 저장 및 비교 분석하여 제어처리하고, 블랙박스(50)와 통신모듈(51)을 접속하여 상기 블랙박스(50)에 저장된 영상을 수신하여 제어처리하는 중앙처리장치(60);
    를 포함하여 이루어지고,
    상기 스마트 룸미러(10)의 카메라 센서(11) 및 모션 센서(12)의 영상정보의 운전자 3D 제스처가 일치할 경우 좌측 또는 우측 사이드미러(30)(40)의 카메라 모듈(310)(410)에서 얻어진 해당 영상정보를 스마트 룸미러(10)의 디스플레이부(13)를 통하여 표출되도록 하고, 스마트 룸미러(10)의 카메라 센서(11) 및 모션 센서(12)의 영상정보의 운전자 3D 제스처가 일치하지 않을 경우 스마트 룸미러(10)의 카메라 센서(11)에 의한 인식정보를 기준으로 해당 영상정보를 스마트 룸미러(10)의 디스플레이부(13)를 통하여 표출되도록 구성하는 것을 특징으로 하는 차량용 룸미러를 이용한 차량의 측후방 영상표시장치.
  2. 제1항에 있어서, 차량(20) 주차 시 차량 측방 감시용 카메라 모듈(310)(410)에 의해 촬영된 영상이 블랙박스에 저장처리되도록 하는 것을 특징으로 하는 차량용 룸미러를 이용한 차량의 측후방 영상표시장치.
  3. 제1항 또는 제2항에 있어서, 상기 좌측 및 우측 사이드미러(30)(40)는 차량 주차시 좌측 및 우측 사이드미러(30)(40)가 자동으로 접히는 것을 감지하는 좌측 및 우측 사이드미러 틸팅 감지센서(30A)(40A)와; 상기 좌측 및 우측 사이드미러 틸팅 감지센서(30A)(40A)에 의하여 좌측 및 우측 사이드미러(30)(40)가 자동으로 접히는 것을 감지하면 좌측 및 우측 사이드미러(30)(40) 각각의 내부에 설치된 좌측 및 우측 촬영용 카메라 모듈(310)(410)의 렌즈부(310')(410')를 좌측 및 우측 사이드미러(30)(40) 각각의 일측 단부(30-1)(40-1)측 방향으로 회전시키는 스텝모터(30B)(40B)와; 상기 스텝모터(30B)(40B)를 일측 방향으로 이동시키는 솔레노이드(30C)(40C)를 포함하는 것을 특징으로 하는 차량용 룸미러를 이용한 차량의 측후방 영상표시장치.
  4. 차량(20)이 주행중인지 또는 주차중인지를 판단하는 제1 단계(S1)와;
    상기 제1 단계(S1)에서 차량(20)의 좌측 및 우측 사이드미러(30)(40)가 접혀져 있지 않으면 차량이 주행중임을 판단하여 모션센서(12) 및 카메라 센서(11)에 의한 3D 제스처 영상신호가 입력되었는지 여부를 판단하는 제2 단계(S2)와;
    상기 모션센서(12) 및 카메라 센서(11)에 의한 좌측 방향 제스처와 카메라 센서 인식신호가 상호 일치하는지 여부를 판단하는 제3 단계(S3)와;
    상기 모션센서(12) 및 카메라 센서(11)에 의한 우측 방향 제스처와 카메라 센서 인식신호가 상호 일치하는지 여부를 판단하는 제4 단계(S3)와;
    상기 제3 단계(S3) 및 제4 단계(S4) 각각에서 인식된 신호가 일치하면 스마트 룸미러(10)의 디스플레이부(13)를 통해 좌측 또는 우측 사이드미러(30)(40)측의 측후방 영상을 디스플레이하는 제5 단계(S5) 및 제6 단계(S6)와;
    상기 제5 단계(S5) 및 제6 단계(S6)에서 스마트 룸미러(10)의 디스플레이를 정지하기 위한 제스처가 입력되었는지 여부를 판단하는 제7 및 제8 단계(S7)(S8)와;
    상기 제7 및 제8 단계(S7)(S8)에서 정지 제스처가 입력되면 디스플레이는 정지하거나 정지 제스처가 없으면 계속 해당 영상을 디스플레이하고, 상기 제3 단계(S3) 및 제4 단계(S4) 각각에서 인식된 신호가 일치하지 않을 경우 카메라 센서(11)가 좌측 방향 제스처인지 우측 방향 제스처인지를 판단하는 제9 단계(S9)와;
    상기 제9 단계(S9)에서 카메라 센서(11)가 좌측 방향으로 인식하는지를 판단하는 제10 단계(S10) 및 우측 방향으로 인식하는지를 판단하는 제11 단계(S11)와;
    상기 제10 단계(S10) 및 제11 단계(S11)에서 좌측 및 우측 방향으로 인식하면 제5 단계(S5) 및 제6 단계(S6)를 통하여 좌측 및 우측 방향의 차량(20) 측후방의 영상을 디스플레이하도록 하는 단계를 포함하고, 차량 주행중 3D 제스처와 카메라 센서에 의하여 차량의 좌측 및 우측 영상을 표시하도록 하는 것을 특징으로 하는 차량용 룸미러를 이용한 차량의 측후방 영상표시방법.
  5. 제4항에 있어서, 상기 차량이 주행중인지 또는 주차중인지를 판단하는 제1 단계(S1)에서 차량이 주차중인 경우, 좌측 및 우측 사이드미러(30)(40)의 스텝모터(30B)(40B) 및 솔레노이드(30C)(40C)를 동작시키는 제12 단계(S12) 및 제13 단계(S13)와; 상기 제12 단계(S12) 및 제13 단계(S13)에서 좌측 및 우측 촬영용 카메라 모듈(310)(410)을 통하여 촬영하는 제14 및 제15 단계(S14)(S15)와; 상기 제14 및 제15 단계(S14)(S15)에서 얻어진 영상을 블랙박스(50)에 영상 저장시키는 단계를 더 포함하여 차량 주차중 차량(20)의 측후방 상황을 녹화처리하는 것을 특징으로 하는 차량용 룸미러를 이용한 차량의 측후방 영상표시방법.
PCT/KR2020/000645 2019-04-25 2020-01-14 차량의 측후방 영상표시장치 및 그 방법 WO2020218712A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/435,030 US11661008B2 (en) 2019-04-25 2020-01-14 Device for displaying lateral rear images of vehicle and method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190048651A KR102095676B1 (ko) 2019-04-25 2019-04-25 차량의 측후방 영상표시장치 및 그 방법
KR10-2019-0048651 2019-04-25

Publications (1)

Publication Number Publication Date
WO2020218712A1 true WO2020218712A1 (ko) 2020-10-29

Family

ID=70002469

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/000645 WO2020218712A1 (ko) 2019-04-25 2020-01-14 차량의 측후방 영상표시장치 및 그 방법

Country Status (3)

Country Link
US (1) US11661008B2 (ko)
KR (1) KR102095676B1 (ko)
WO (1) WO2020218712A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11846947B2 (en) * 2021-05-11 2023-12-19 Cnh Industrial Canada, Ltd. Systems and methods for an implement imaging system
US20240125939A1 (en) * 2022-10-14 2024-04-18 Here Global B.V. Vehicle mirror assembly with a movable sensor

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110117966A (ko) * 2010-04-22 2011-10-28 한국전자통신연구원 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법
KR20130058991A (ko) * 2011-11-28 2013-06-05 현대자동차주식회사 제스처 인식 운전보조시스템
CN204537057U (zh) * 2015-03-19 2015-08-05 广东好帮手电子科技股份有限公司 一种车载后视镜导航仪的手势识别系统
JP2016199266A (ja) * 2016-07-20 2016-12-01 株式会社Ｊｖｃケンウッド 表示機能付きミラー装置および表示切替方法
KR20170024904A (ko) * 2015-08-26 2017-03-08 엘지전자 주식회사 운전 보조 장치 및 그 제어 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050098210A (ko) 2004-04-06 2005-10-11 이준영 자동차용 사이드미러 일체형 카메라 장치
US7937667B2 (en) * 2006-09-27 2011-05-03 Donnelly Corporation Multimedia mirror assembly for vehicle
DE102011010594A1 (de) * 2011-02-08 2012-08-09 Daimler Ag Verfahren, Vorrichtung und Computerprogrammprodukt zum Ansteuern einer Funktionseinheit eines Fahrzeugs
US20150022664A1 (en) * 2012-01-20 2015-01-22 Magna Electronics Inc. Vehicle vision system with positionable virtual viewpoint
KR101400419B1 (ko) 2012-07-04 2014-05-30 주식회사 금산코리아 차량의 룸미러를 이용한 영상표시장치
US8886399B2 (en) * 2013-03-15 2014-11-11 Honda Motor Co., Ltd. System and method for controlling a vehicle user interface based on gesture angle
US20150019083A1 (en) * 2013-07-10 2015-01-15 Magna Closures Inc. Method and system for hands-free operation of a power window of a vehicle
US20150116200A1 (en) * 2013-10-25 2015-04-30 Honda Motor Co., Ltd. System and method for gestural control of vehicle systems
US9983407B2 (en) * 2015-09-11 2018-05-29 Honda Motor Co., Ltd. Managing points of interest
US10192171B2 (en) * 2016-12-16 2019-01-29 Autonomous Fusion, Inc. Method and system using machine learning to determine an automotive driver's emotional state
KR102046468B1 (ko) * 2017-07-26 2019-11-18 엘지전자 주식회사 차량용 사이드 미러

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110117966A (ko) * 2010-04-22 2011-10-28 한국전자통신연구원 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법
KR20130058991A (ko) * 2011-11-28 2013-06-05 현대자동차주식회사 제스처 인식 운전보조시스템
CN204537057U (zh) * 2015-03-19 2015-08-05 广东好帮手电子科技股份有限公司 一种车载后视镜导航仪的手势识别系统
KR20170024904A (ko) * 2015-08-26 2017-03-08 엘지전자 주식회사 운전 보조 장치 및 그 제어 방법
JP2016199266A (ja) * 2016-07-20 2016-12-01 株式会社Ｊｖｃケンウッド 表示機能付きミラー装置および表示切替方法

Also Published As

Publication number Publication date
US11661008B2 (en) 2023-05-30
US20220161726A1 (en) 2022-05-26
KR102095676B1 (ko) 2020-03-31

Similar Documents

Publication Publication Date Title
KR101544524B1 (ko) 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법
JP3431678B2 (ja) 車両用周囲状況表示装置
WO2020218712A1 (ko) 차량의 측후방 영상표시장치 및 그 방법
EP1033694A2 (en) Rear-view monitoring system for vehicles
US11741630B2 (en) Vehicle system with no-control operation
WO2011064831A1 (ja) 診断装置及び診断方法
US10723266B2 (en) On-vehicle display controller, on-vehicle display system, on-vehicle display control method, and non-transitory storage medium
US11926267B2 (en) Camera arrangement, method, device and computer-readable storage medium with instructions for controlling an assistance system
CN108473090B (zh) 用于示出车辆的后向的外部区域的方法
JP2009227245A (ja) 車載機器の操作装置
CN108791062A (zh) 动态信息系统及操作方法
JP4107264B2 (ja) 車両用表示装置
KR20170138939A (ko) 자동차의 주변을 표시하기 위한 장치 및 방법
JP5549571B2 (ja) 車内状況表示装置
CN111488055A (zh) 一种车用扩增实境眼镜辅助装置
KR102030288B1 (ko) 헤드업 디스플레이 시스템
CN100406336C (zh) 二轮摩托车的后视装置
KR100875191B1 (ko) 주행 영상 저장기능을 갖는 차량의 주행시야 확보장치
JP7037896B2 (ja) 視認補助装置
CN208715335U (zh) 一种具有vr设备的无人车
JP2007085745A (ja) 物体監視装置
JP6971087B2 (ja) 視認補助装置
CN112277807A (zh) 观察设备
JPH0930326A (ja) 車両用視認装置
KR102562769B1 (ko) 블랙박스 화면 경고 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20795489

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20795489

Country of ref document: EP

Kind code of ref document: A1