KR101198206B1 - 휴대 단말을 이용한 차량 주변 영상 제공 시스템 및 그 방법 - Google Patents

휴대 단말을 이용한 차량 주변 영상 제공 시스템 및 그 방법 Download PDF

Info

Publication number
KR101198206B1
KR101198206B1 KR1020100127417A KR20100127417A KR101198206B1 KR 101198206 B1 KR101198206 B1 KR 101198206B1 KR 1020100127417 A KR1020100127417 A KR 1020100127417A KR 20100127417 A KR20100127417 A KR 20100127417A KR 101198206 B1 KR101198206 B1 KR 101198206B1
Authority
KR
South Korea
Prior art keywords
image
vehicle
portable terminal
surrounding
display panel
Prior art date
Application number
KR1020100127417A
Other languages
English (en)
Other versions
KR20120066194A (ko
Inventor
한영인
서용덕
송영기
백원인
Original Assignee
주식회사 이미지넥스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이미지넥스트 filed Critical 주식회사 이미지넥스트
Priority to KR1020100127417A priority Critical patent/KR101198206B1/ko
Publication of KR20120066194A publication Critical patent/KR20120066194A/ko
Application granted granted Critical
Publication of KR101198206B1 publication Critical patent/KR101198206B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/002—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/04—Rear-view mirror arrangements mounted inside vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0275—Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/06—Receivers
    • H04B1/08—Constructional details, e.g. cabinet
    • H04B1/086—Portable receivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은, 휴대 단말을 이용한 차량 주변 영상 제공 시스템 및 그 방법에 관한 것이다. 본 발명에 따른 방법은 카메라를 이용하여 차량 주변의 영상을 촬영하는 단계, 상기 카메라에서 촬영된 영상들을 휴대 단말의 자세와 미리 선택된 시점에 대응되도록 처리하여 주변 영상을 생성하는 단계 및 상기 카메라에서 촬영되어 처리된 영상을 상기 휴대 단말에 표시하는 단계를 포함한다. 이에 의해, 사용자는 별도의 네비게이터나 장비를 구비하지 않아도 되므로, 사용자의 경제적 부담을 덜고 사용자의 만족을 도모할 수 있으며, 사용자의 주차를 용이하게 할 수 있다. 특히, 휴대 단말에서 영상 정보를 처리하는 경우, 휴대 단말의 고사양 연산기능을 활용하고, 디스플레이 패널을 활용함으로써, 차량용 장치의 구조를 간소화하여 원가를 절감할 수 있다. 뿐만 아니라, 차량으로부터 제공된 차량정보 등을 실시간으로 휴대 단말에 표시할 수 있도록 함으로써, 사용자의 안전운전을 도울 수 있다. 그리고 외부의 블랙박스 서버에 사용자의 운행기록, 주변 영상, 차량정보 등을 실시간으로 업로드함으로써, 나중에 사용자의 운전상태를 확인하여 접촉사고 등의 증거로 사용할 수 있다.

Description

휴대 단말을 이용한 차량 주변 영상 제공 시스템 및 그 방법{SYSTEM FOR PROVIDING IMAGE AROUND VEHICLE WITH PORTABLE TERMINAL AND METHOD THEREOF}
본 발명은, 휴대 단말을 이용한 차량 주변 영상 제공 시스템 및 그 방법에 관한 것으로서, 보다 상세하게는, 휴대 단말의 디스플레이 패널의 가로세로 배치에 따라 차량의 주변 영상을 보정하여 제공하고, 차량의 후진시 주차를 안내하는 차량 보조선을 포함하는 주변 영상을 제공하며, 고가의 장비 사용에 따른 원가 상승을 방지할 수 있을 뿐만 아니라, 사용자의 안전운전을 도모하고, 사용자의 운전상태를 기록할 수 있도록 하는 휴대 단말을 이용한 차량 주변 영상 제공 시스템 및 그 방법에 관한 것이다.
일반적으로 자동차의 주변 환경을 촬상하여 모니터링 시켜주는 시스템이 자동차에 보편적으로 설치되어 있지 않아, 운전자는 자신의 육안을 통해 전방을 확인하거나, 사이드 미러 또는 룸 미러를 통해 후방을 확인하고 자동차를 전진 또는 후진하도록 하여 왔다.
그러나 자동차의 구조에 따라 운전석에 앉아 전후방의 주변 환경을 쉽게 확인할 수 있는 것이 있는가 하면, 육안 또는 각 미러를 통해 확인할 수 없는 사각 지대가 존재할 수도 있다. 특히 대형 자동차의 경우 사이드 미러나 룸 미러 만으로는 확인할 수 없는 부위가 많아 자동차를 출발시키기에 앞서 필히 자동차의 주변을 돌아보면서 육안으로 장애물이 존재하는지 여부를 확인해야만 접촉 사고와 같은 교통 안전 사고 및 인사 사고의 발생을 방지할 수 있다.
또한, 자동차를 주차하고자 하는 운전자의 경우, 좌우측과 후방을 한 눈에 확인을 할 수 없으므로, 운전이 미숙한 초보 운전자는 주변에 주차되어 있는 자동차 또는 주차 기둥과 접촉 사고의 위험성이 있다. 그리고, 자동차의 전방에 위치한 장애물이라도 자동차의 앞 유리와 문 사이에 위치하는 프레임에 의해 장애물이 가려질 수 있으며, 자동차의 전방 또는 후방에서 앉아서 놀고 있는 유아들을 발견하지 못하는 경우에는 인명 사고로 이어질 수도 있다.
따라서 최근에는 자동차의 전후방부, 좌우측면부에 각각 부착된 카메라를 통하여 주변 환경을 촬상하고, 촬상된 영상을 조합하여 운전석에 구비된 네비게이터 화면에 표시하는 장치가 개발되고 있다. 그러나, 별도의 네비게이터를 구비하고 있지 않은 경우에는 차량의 주변 영상을 제공받는 서비스를 받기 위해 네비게이터나 다른 장치를 구매하여야 한다는 불편함이 있다. 또한, 최근에는 유선기반의 AVM 등 자동차용 멀티카메라 기술이 개발되어 사용되고 있으나, 장비의 구성이 복잡하고 고가이어서 널리 사용되기 어려운 점이 있다.
한편, 최근 널리 사용되고 있는 스마트폰, 휴대폰, PDA, 테블릿 PC 등의 휴대 단말이 네비게이터 기능을 포함하는 다양한 기능을 구비하고 있고 근거리 통신망의 발달에 따라 휴대 단말과의 접속이 용이하므로, 영상을 사용자의 휴대 단말로 제공하는 방법을 모색할 필요가 있다. 이렇게 휴대 단말의 사용시에는 사용자가 휴대 단말의 자세를 가로 또는 세로로 변화시키면서 사용할 수 있으므로, 이러한 휴대 단말의 자세 변화에 따른 영상의 보정도 필요할 것으로 판단된다.
한편, 초보 운전자의 경우에는 후방 주차시 후방 영상이 제공되더라도, 후방 영상만으로는 주변에 주차되어 있는 자동차 또는 주차 기둥과 접촉 사고를 방지하기 위해 어떤 방향으로 차를 후진시켜야 하는지 파악하지 못하는 경우가 있으므로, 주차를 안내할 추가적인 방법이 필요할 것이다.
본 발명은, 휴대 단말의 자세에 따라 차량의 주변 영상을 보정하여 휴대 단말로 제공하고, 후방주차시 차량 보조선을 주변 영상에 합성하여 휴대 단말에 표시하도록 하는 휴대 단말을 이용한 차량 주변 영상 제공 시스템 및 그 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은, 휴대 단말의 고사양 연산기능과 디스플레이 패널의 활용에 따라, 고가의 장비 사용에 따른 원가 상승을 방지할 수 있도록 하는 휴대 단말을 이용한 차량 주변 영상 제공 시스템 및 그 방법을 제공하는 것을 목적으로 한다.
더불어, 본 발명은, 차량으로부터 제공된 차량정보 등을 실시간으로 휴대 단말에 표시하거나 외부의 블랙박스 서버로 전달하여 사용자의 안전운전을 도모하고, 언제든지 사용자의 운전상태를 확인할 수 있도록 하여 추후 증거로 사용할 수 있도록 하는 휴대 단말을 이용한 차량 주변 영상 제공 시스템 및 그 방법을 제공하는 것을 목적으로 한다.
이러한 기술적 과제를 이루기 위한 본 발명의 일 실시예에 따른 휴대 단말을 이용한 차량 주변 영상 제공 시스템은, 차량에 장착되며 차량 주변의 영상을 촬영하는 카메라; 그리고 상기 카메라에서 촬영되어 처리된 영상들을 휴대 단말의 자세와 미리 선택된 시점에 대응되도록 처리하여 영상을 생성하는 영상 처리 장치;를 포함한다.
본 발명의 다른 실시예에 따른 휴대 단말을 이용한 차량 주변 영상 제공 시스템은, 차량에 장착된 카메라에 의해 촬영된 차량 주변 영상을 휴대 단말의 자세와 미리 선택된 시점에 대응되도록 처리하여 영상을 생성하는 영상 처리 장치;를 포함하는 휴대 단말;을 포함한다.
상기 차량 주변 영상 제공 시스템은, 차량의 주차시 상기 차량의 움직임에 따라 주차를 안내하는 가상의 주차 보조선을 생성하는 보조선 생성부를 더 포함할 수 있다.
상기 영상 처리 장치는, 상기 보조선 생성부에서 생성된 주차 보조선을 상기 카메라에서 촬영된 영상에 중첩시켜 주차 보조선을 갖는 주변 영상을 생성할 수 있다.
상기 휴대 단말은, 상기 휴대 단말의 가로세로 배치를 감지하는 위치 센서를 더 포함하며, 상기 영상 처리 장치는, 상기 위치 센서에 의해 감지된 상기 휴대 단말의 디스플레이 패널의 가로세로 배치에 따라, 상기 디스플레이 패널의 가로폭 또는 세로폭에 대응되도록 상기 주변 영상 또는 상기 주차 보조선을 사이즈 변환시킬 수 있다.
상기 영상 처리 장치는, 상기 주변 영상과 상기 주차 보조선의 사이즈 변환에 따라 상기 디스플레이 패널에 표시되는 영상이 실제와 차이가 있음을 알리는 메시지를 상기 영상에 중첩시켜 표시할 수 있다.
상기 카메라는 복수 개가 마련되며, 상기 영상 처리 장치는 상기 카메라에서 촬영된 영상을 원본 영상 그대로 상기 휴대 단말의 디스플레이 패널로 제공하거나, 탑뷰 영상, 3D 영상 중 하나의 시점을 갖도록 처리하여 상기 휴대 단말의 디스플레이 패널로 제공할 수 있다.
상기 휴대 단말은 상기 영상 처리 장치와 유선 또는 무선으로 통신 가능하다.
차량의 전자기기 및 센서로부터 차량의 작동상태에 대한 정보를 수집하는 차량정보 수집부를 더 포함하며; 상기 차량정보 수집부에서 수집된 정보는 상기 휴대 단말로 제공되어 표시될 수 있다.
상기 휴대 단말은, 차선 이탈 경고 시스템인 LDWS(Lane Departure Warning System), 전방 추돌 경고 장치인 FCWS(Forward Collision Warning System), 운전자 운행기록 장치 등의 프로그램이 탑재될 수 있다.
통신망을 통해 상기 휴대 단말과 접속가능하며, 상기 영상 처리 장치에서 처리된 차량의 주변 영상과, 상기 차량정보 수집부에서 수집된 정보와, 상기 LDWS, FCWS, 운전자 운행기록 장치 등으로부터의 정보를 제공받아 저장하는 블랙박스 서버를 더 포함할 수 있다.
상기 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따른 휴대 단말을 이용한 차량 주변 영상 제공 방법은, 카메라를 이용하여 차량 주변의 영상을 촬영하는 단계; 상기 카메라에서 촬영된 영상들을 휴대 단말의 자세와 미리 선택된 시점에 대응되도록 처리하여 주변 영상을 생성하는 단계; 및 상기 카메라에서 촬영되어 처리된 영상을 상기 휴대 단말에 표시하는 단계;를 포함할 수 있다.
상기 방법은, 차량의 주차시 상기 차량의 움직임에 따라 주차를 안내하는 가상의 주차 보조선을 생성하는 단계; 및 상기 주차 보조선을 상기 카메라에서 촬영된 영상에 중첩시켜 주차 보조선을 갖는 주변 영상을 생성하는 단계;를 더 포함할 수 있다.
상기 방법은, 상기 휴대 단말의 가로세로 배치 변화를 감지하는 단계; 상기 휴대 단말의 가로세로 배치 변화에 따라, 상기 주변 영상 또는 상기 주차 보조선을 보정하는 단계; 및 보정된 상기 주변 영상 또는 주차 보조선을 상기 휴대 단말의 디스플레이 패널에 표시하는 단계;를 더 포함할 수 있다.
상기 방법은, 상기 주변 영상 또는 상기 주차 보조선의 사이즈 변환에 따라 상기 디스플레이 패널에 표시되는 영상이 실제와 차이가 있음을 알리는 메시지를 상기 영상에 중첩시키는 단계; 를 더 포함할 수 있다.
상기 방법은, 상기 카메라를 복수 개로 마련하는 단계와; 및 상기 복수 개의 카메라에서 촬영된 영상을 원본 영상 그대로 상기 휴대 단말의 디스플레이 패널에 표시하는 단계, 또는 상기 영상 처리 장치에 의해 탑뷰 영상, 3D 영상 중 하나의 시점을 갖도록 처리되어 상기 휴대 단말의 디스플레이 패널에 표시하는 단계를 더 포함할 수 있다.
상기 방법은, 차량의 전자기기 및 센서로부터 차량의 작동상태에 대한 정보를 수집하는 단계; 및 상기 정보를 상기 휴대 단말의 디스플레이 패널에 표시하는 단계;를 더 포함할 수 있다.
상기 방법은, 상기 휴대 단말에 탑재된 LDWS(Lane Departure Warning System), FCWS(Forward Collision Warning System), 운전자 운행기록 장치 등으로부터 정보를 수집하는 단계; 상기 정보를 상기 주변 영상에 합성하는 단계; 및, 상기 정보가 합성된 주변 영상을 상기 휴대 단말의 디스플레이 패널에 표시하는 단계를 더 포함할 수 있다.
상기 방법은, 통신망을 통해 외부의 블랙박스 서버로 상기 영상 처리 장치에서 처리된 주변 영상과 상기 차량의 전자기기 및 센서로부터 수집된 정보와, 상기 LDWS, FCWS, 운전자 운행기록 장치 등으로부터 수집된 정보를 전송하는 단계;를 더 포함할 수 있다.
본 휴대 단말을 이용한 차량 주변 영상 제공 시스템 및 그 방법은, 휴대 단말로 차량의 영상 정보를 제공할 수 있으며, 특히 휴대 단말의 디스플레이 패널의 가로세로 폭에 맞게 주변 영상을 보정하여 제공한다. 이에 따라, 사용자는 별도의 네비게이터나 장비를 구비하지 않아도 되므로, 사용자의 경제적 부담을 덜고 사용자의 만족을 도모할 수 있다. 또한, 주차시 주차를 안내하는 보조 주차선을 주변 영상에 중첩시켜 휴대 단말로 제공함으로써, 사용자가 주차를 용이하게 할 수 있도록 한다. 특히, 휴대 단말에서 영상 정보를 처리하는 경우, 휴대 단말의 고사양 연산기능을 활용하고, 디스플레이 패널을 활용함으로써, 차량용 장치의 구조를 간소화하여 원가를 절감할 수 있다.
뿐만 아니라, 차량으로부터 제공된 차량정보 등을 실시간으로 휴대 단말에 표시할 수 있도록 함으로써, 사용자의 안전운전을 도울 수 있다. 그리고 외부의 블랙박스 서버에 사용자의 운행기록, 주변 영상, 차량정보 등을 실시간으로 업로드함으로써, 나중에 사용자의 운전상태를 확인하여 접촉사고 등의 증거로 사용할 수 있다.
도 1은 본 발명의 일 실시예에 따른 휴대 단말을 이용한 차량 주변 영상 제공 시스템의 개략적 구성블럭도,
도 2a 및 도 2b은 도 1의 영상 제공 시스템에서 영상이 처리되기 전과 후의 휴대단말의 정면도,
도 3은 도 1의 영상 처리 장치의 구성블럭도,
도 4는 도 1의 영상 제공 시스템에서 휴대 단말에 영상을 제공하는 과정을 보인 흐름도,
도 5는 본 발명의 다른 실시예에 따른 휴대 단말을 이용한 차량 주변 영상 제공 시스템의 개략적 구성블럭도,
도 6은 도 5의 영상 제공 시스템에서 제공된 영상을 휴대 단말에서 처리하는 과정을 보인 흐름도,
도 7은 블랙박스 기능을 갖는 본 발명의 영상 제공 시스템의 구성도이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 휴대 단말을 이용한 차량 주변 영상 제공 시스템의 개략적 구성블럭도이고, 도 2a 및 도 2b은 도 1의 영상 제공 시스템에서 영상이 처리되기 전과 후의 휴대단말의 정면도이다.
본 영상 제공 시스템은, 차량 주변의 영상을 촬영하여 다양한 시점으로 처리하여 휴대 단말(100)로 제공하며, 이때, 휴대 단말(100)의 가로세로 방향에 따라 영상이 디스플레이 패널에 부합되도록 보정하여 휴대 단말(100)로 제공한다. 또한, 본 영상 제공 시스템은, 차량의 주차시 주차 보조선을 차량 주변의 영상에 중첩시켜 휴대 단말(100)로 제공한다.
이를 위해, 본 영상 제공 시스템은, 차량에 설치되어 차량 주변 영상을 촬영하여 처리하는 차량용 장치(1)와, 차량용 장치(1)로부터 제공된 영상을 제공받는 휴대 단말(100)을 포함할 수 있다.
휴대 단말(100)은, 노트북 컴퓨터, 팜톱(palmtop) 컴퓨터, UMPC(ultra mobile personal computer), 태블릿 PC, 개인 휴대 정보 단말기(personal digital assistant,PDA), 웹 패드, 휴대전화, 스마트폰 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖는 단말기로 이루어질 수 있다.
이러한 휴대 단말(100)은, 디스플레이 패널(110), 위치 센서(115), 단말측 통신부(120), 단말측 제어부(130)를 포함할 수 있다.
디스플레이 패널(110)은, 휴대 단말(100)의 일측면에 장착되어 차량용 장치로부터 제공된 차량 주변의 영상을 표시하며, 일반적으로 가로 세로 폭이 상이하다. 디스플레이 패널(110)은, 휴대 단말(100)의 종류에 따라 다양한 크기와 재료로 제작될 수 있다. 예를 들어, LCD, LED, TFT LCD(박막 트랜지스터 액정 디스플레이), AMOLED(능동형 유기발광 다이오드) 등의 재질이 사용될 수 있다.
위치 센서(115)는, 휴대 단말(100)의 가로 및 세로 위치 변경을 감지하는 센서로서, 중력 센서, 가속도 센서, 자이로 센서 등을 이용할 수 있다.
단말측 통신부(120)는 차량용 장치와의 통신이 가능하도록 지원하며, 무선 또는 유선 통신방식의 지원이 가능하다. 이에 따라, 휴대 단말(100)은, 블루투스 무선통신방식 또는 USB 포트를 이용한 유선통신방식을 이용하여 차량용 장치(1)와 통신할 수 있다.
단말측 제어부(130)는 위치 센서(115)에서 감지된 휴대 단말(100)의 위치 변경에 따라 디스플레이 패널(110)이 세로로 배치되는지 가로로 배치되는지 여부를 판단할 수 있다. 단말측 제어부(130)는 판단된 디스플레이 패널(110)의 가로세로 배치정보를 단말측 통신부(120)를 통해 차량용 장치(1)로 제공한다. 또한, 단말측 제어부(130)는 차량용 장치(1)로부터 제공된 주변 영상 또는 보조선을 갖는 주변 영상을 디스플레이 패널(110)에 표시한다.
차량용 장치(1)는, 차량에 장착되어 촬영된 영상을 처리하여 휴대 단말(100)로 제공하며, 복수의 카메라(10), 영상 처리 장치(20), 보조선 생성부(50), 차량측 통신부(70), 차량측 제어부(30)를 포함할 수 있다.
복수의 카메라(10)는 각각 차량의 전방, 후방, 양 측방에 설치되며 광각 렌즈 또는 어안 렌즈와 같이 화각이 큰 렌즈를 사용할 수 있고, 핀홀 카메라(10)도 사용할 수 있다. 각 카메라(10)는 170°이상의 넓은 화각을 가지는 렌즈를 통해 3차원의 피사체를 2차원의 영상으로 촬상하며, 촬상된 영상은 각각 4개의 채널(ch1, ch2, ch3, ch4)을 통해 영상 처리 장치(20)로 전달된다.
한편, 각 카메라(10)가 설치되는 위치 및 촬영각도는 카메라(10)의 촬영가능범위, 차량의 크기, 원하는 촬영범위 등의 조건에 따라 다양하게 결정될 수 있다. 예를 들어, 카메라(10)의 촬영가능범위가 넓은 경우에는 카메라(10)의 설치간격을 넓게 할 수 있고, 차량의 크기가 큰 경우에는 카메라(10)의 설치개수가 증가할 수 있다. 만약, 차량 주변을 따라 촬영되는 범위를 넓히고자 하는 경우에는 카메라(10)의 설치위치를 차량 상부에 배치하거나, 차량의 상하방향을 따라 복수 개의 카메라(10)를 설치할 수도 있다. 이에 따라, 복수의 카메라(10)는 차량의 전방, 후방, 측방, 사이드미러 영역 등에 장착할 수 있다. 뿐만 아니라, 복수의 카메라(10)는 차량 지붕에도 장착될 수 있으며, 차량 지붕에 장착되는 경우, 차량 지붕의 전방, 후방, 양 측방에 장착되는 것이 바람직하다.
이렇게 각 카메라(10)에서 촬영된 영상은 실시간으로 영상 처리 장치(20)로 전달된다.
영상 처리 장치(20)는, 각 카메라(10)로부터 촬영된 영상을 입력받아 영상을 보정하고, 각 카메라(10)로부터 촬영된 영상을 사용자에 의해 설정된 시점, 예를 들면, 탑뷰 영상, 원본 영상, 3D 영상으로 변환한다. 또한, 영상 처리 장치(20)는, 보조선 생성부(50)에서 생성된 주차 보조선을 주변 영상에 합성하고, 휴대 단말(100)의 디스플레이 패널(110)의 가로세로 배치에 따라 주변 영상을 보정한다.
여기서, 탑뷰 영상은 차량의 상부에서 내려다본 상태의 영상으로서, 영상 처리 장치(20)에서는 각 카메라(10)에서 촬영된 영상을 이용하여 탑뷰 영상을 구성한다. 원본 영상은 각 카메라(10)에서 촬영된 영상 그대로를 말하며, 원본 영상의 경우 영상 처리 장치(20)에서는 노이즈를 제거하거나 신호를 증폭시키는 등의 간단한 처리를 한다. 3D 영상은 각 카메라(10)에서 촬영된 영상을 3D로 재구성한 영상을 말하며, 영상 처리 장치(20)는 각 카메라(10)에서 촬영된 영상을 조합하여 3D 영상을 구성한다.
이러한 영상 처리 장치(20)는, 도 3에 도시된 바와 같이, 영상 입력부(21), 영상 처리부(23), 제1영상 합성부(25), 제2영상 합성부(26), 영상 보정부(29)를 포함한다.
영상 입력부(21)는 복수의 카메라(10)를 통해 촬영된 영상을 각각의 채널(ch1, ch2, ch3, ch4)을 통해 수신하고, 수신된 영상의 노이즈를 제거하거나 증폭시키는 전처리 과정을 수행한다. 영상 입력부(21)에서 전처리된 영상은, 출력 영상의 종류에 따라 차량측 제어부(30) 또는 영상 처리부(23)로 제공된다. 예를 들어, 원본 영상인 경우, 복수의 카메라(10)에서 촬영된 영상은 영상 입력부(21)에서 노이즈가 제거되어 제2영상 합성부(26) 또는 영상 보정부(29)로 전달되어 처리된다. 반면, 탑뷰 영상 또는 3D 영상의 경우에는 영상 처리부(23)로 제공된다.
영상 처리부(23)는 영상 입력부(21)로부터 수신된 촬상 영상을 룩업 테이블(Look up Table)(27)을 통해 영상 처리하여, 각각의 촬상 영상으로부터 탑뷰 영상 또는 3D 영상의 보정 영상을 생성 출력하도록 한다. 여기서, 룩업 테이블(27)은 왜곡 보정 알고리즘, 아핀(Affine) 변환 알고리즘, 시점 변환 알고리즘을 적용하여 생성될 수 있다.
이러한 영상 처리부(23)에서 영상 처리에 사용되는 룩업 테이블(27)은 최종 출력되는 영상의 시점에 따라 탑뷰 영상용 룩업 테이블(27a), 3D 영상용 룩업테이블(27b)로 나누어진다. 이에 따라, 영상 처리부(23)에서는 미리 운전자 또는 설계자에 의해 탑뷰, 3D 중 하나가 선택되면, 선택된 시점에 부합되는 룩업 테이블(27)을 선택하여 보정 영상을 생성하여 출력한다.
제1영상 합성부(25)는 영상 처리부(23)를 통해 보정된 보정 영상을 수신하고, 수신된 보정 영상을 겹치도록 하는 오버레이(overlay) 방식으로 합성 처리한다. 제1영상 합성부(25)는 마스크 영상을 이용하여 오버레이 합성 처리를 하는데, 마스크 영상은 각 채널(ch1, ch2, ch3, ch4)별 영역 정보와 보정 영상을 구성하는 픽셀들에 대한 가중치(weight) 정보를 가진다.
제1영상 합성부(25)는 보정 영상들 사이에 중복되는 영역에 포함되는 픽셀들의 가중치를 조절하여 중복 영역이 자연스럽게 표시되도록 한다. 즉, 제1영상 합성부(25)는 4개의 보정 영상을 오버레이 방식으로 합성 처리하여 차량의 주변 360°를 한눈에 볼 수 있는 주변 영상을 생성한다. 이때, 주변 영상은 탑뷰 영상, 3D 영상 중 하나로 생성된다.
제2영상 합성부(26)는 보조선 생성부(50)에서 생성된 보조선을 제1영상 합성부(25)에서 생성된 탑뷰 영상 또는 3D 영상, 영상 입력부(21)에서 처리된 원본 영상으로 형성된 주변 영상에 중첩시켜 '보조선을 갖는 주변 영상'을 생성한다. 또한, 제2영상 합성부(26)는 차량측 제어부(30)에서 생성된 메시지를 제공받아 주변 영상에 중첩시킨다.
보조선 생성부(50)는, 미리 마련된 보조선 생성 프로그램을 이용하여 차량의 주차시 차량이 후방으로 진행해야 하는 길인 주차 보조선을 생성한다. 먼저 보조선 생성부(50)는 병렬주차인지 종렬주차인지 여부에 따라 그에 부합되는 보조선 생성 프로그램을 선택하고, 차량의 최소선회반경과 각속도를 이용하여 차량의 선회각도를 산출하고, 선회각도에 부합되는 주차 보조선을 생성한다. 주차 보조선은 차량의 바퀴 또는 차량 자체의 궤적을 표시하는 한 쌍의 라인으로 생성된다. 이렇게 주차 보조선을 생성하는 방법은 기존의 공지기술이며, 본 발명에서는 보조선을 생성하는 것 자체를 권리범위로 청구하는 것은 아니므로, 이에 대한 상세한 설명은 생략하기로 한다.
이렇게 주차 보조선 생성에 필요한 차량의 최소선회반경은 차량 설계자에 의해 계산되어 미리 저장되어 있으며, 각속도는 휠의 각도에 의해 산출되는 선회반경과 속도계를 이용한 차량의 속도를 이용하여 산출할 수 있다.
보조선 생성부(50)는 사용자에 의해 미리 약속된 입력행위가 이루어져 수동으로 작동될 수도 있고, 차량측 제어부(30)에 의해 차량이 주차하는 것으로 판단되는 경우 자동으로 작동될 수도 있음은 물론이다.
보조선 생성부(50)에서 생성된 주차 보조선은 영상 처리 장치(20)의 제2영상 합성부(26)로 제공되어 주변 영상과 중첩되어 '보조선을 갖는 주변 영상'을 합성하게 된다.
영상 보정부(29)는, 휴대 단말(100)로부터 제공된 휴대 단말(100)의 가로세로 방향에 따라 제1영상 합성부(25)에서 생성된 주변 영상 또는 제2영상 합성부(26)에서 합성된 보조선을 갖는 주변 영상을 보정한다. 도 2에 도시된 바와 같이, 휴대 단말(100)이 가로로 배치되어 있는 경우 디스플레이 패널(110)의 세로 폭이 가로 폭보다 좁다. 반면, 휴대 단말(100)이 세로로 배치되어 있는 경우, 디스플레이 패널(110)의 세로 폭이 가로 폭보다 좁다.
이에 따라, 영상 보정부(29)는 두 가지 방법으로 주변 영상을 보정할 수 있다. 하나는 휴대 단말(100)을 회동시켜 가로 배치에서 세로 배치로 전환하는 경우, 세로 배치에 의해 절단되는 영역만큼 주변 영상의 양측부를 절단하여 표시하는 방법이다. 반대로 세로 배치에서 가로 배치로 전환하는 경우, 가로 배치에 의해 절단되는 영역만큼 주변 영상의 상하부를 절단하여 표시할 수 있다. 다른 하나는, 휴대 단말(100)을 회동시켜 가로 배치에서 세로 배치로 전환하는 경우, 주변 영상을 가로비율을 감소시키고 세로비율을 감소하도록 리사이즈하는 방법이다. 반대로 세로 배치에서 가로 배치로 전환하는 경우, 주변 영상의 가로비율을 증가시키고 세로비율이 감소하도록 리사이즈할 수 있다. 이때, 리사이즈되는 가로비율과 세로비율은 각각 디스플레이 패널(110)의 가로 세로 비율에 따라 결정될 수 있다.
한편, 휴대 단말(100)의 세로 배치 또는 가로 배치 중 하나를 기본 배치로 설정하고, 기본 배치에서 다른 배치로 변경되는 경우에만 영상 보정부(29)가 동작하도록 할 수도 있다. 즉, 휴대 단말(100)의 기본 배치를 가로 배치로 설정한 경우, 휴대 단말(100)이 가로로 배치되어 있는 경우에는 주변 영상을 보정하지 아니하고 그대로 디스플레이 패널(110)에 표시되도록 한다. 반면, 휴대 단말(100)이 세로로 배치되어 있는 경우에는 영상 보정부(29)를 동작시켜 상술한 두 가지 방법 중 하나를 이용하여 주변 영상을 리사이즈하여 디스플레이 패널(110)에 표시되도록 할 수 있다.
차량측 통신부(70)는, 휴대 단말(100)과의 통신이 가능하도록 지원하며, 무선 또는 유선 통신방식의 지원이 가능하다. 무선통신을 지원할 경우, 차량측 통신부(70)는 휴대 단말(100)과의 블루투스 통신을 지원할 수 있으며, 유선통신을 지원할 경우, 휴대 단말(100)이 USB 포트를 통해 통신가능하게 연결되도록 USB 통신방식을 지원할 수 있다.
차량측 제어부(30)는, 차량이 일반 주행중인 경우, 휴대 단말(100)의 위치 센서(115)로부터 감지된 휴대 단말(100)의 세로 또는 가로 배치에 따라, 영상 입력부(21)에서 처리된 원본 영상, 제1영상 합성부(25)에서 생성된 탑뷰 영상 또는 3D 영상을 영상 보정부(29)로 제공하여 보정되도록 한다. 한편, 차량측 제어부(30)는 차량이 주차 중인 경우, 보조선 생성부(50)를 동작시켜 주차 보조선이 생성되도록 하고, 생성된 주차 보조선을 제2영상 합성부(25)로 전달하여 '보조선을 갖는 주변 영상'이 생성되도록 한다. 또한, 차량측 제어부(30)는 휴대 단말(100)의 위치 센서(115)로부터 감지된 휴대 단말(100)의 세로 또는 가로 배치에 따라, 제2영상 합성부(26)에서 생성된 보조선을 갖는 주변 영상을 영상 보정부(29)로 제공하여 보정한다. 보정이 완료되면, 차량측 제어부(30)는 보정된 주변 영상 또는 보조선을 갖는 주변 영상을 차량측 통신부(70)를 통해 휴대 단말(100)로 전송한다.
한편, 차량측 제어부(30)는 영상 보정부(29)에 의해 보정이 이루어져야 하는 경우, 보정에 의해 주변 영상의 가로 또는 세로 폭이 실제와 상이해지면, '가로 폭이 실제보다 좁습니다' 내지는 '세로 폭이 실제보다 넓습니다' 등의 메시지를 미리 제2영상 합성부(26)로 제공하여 주변 영상에 합성되도록 한다.
이러한 영상 제공 시스템을 이용하여 주변 영상을 획득하여 휴대 단말(100)에 제공하는 과정을 도 4를 참조하여 설명하면 다음과 같다.
차량에 장착된 각 카메라(10)는 실시간으로 차량 주변을 촬영하고(S400), 촬영된 영상은 각 채널을 통해 영상 처리 장치(20)로 전달된다. 영상의 출력형태가 원본 영상인 경우, 각 카메라(10)로부터의 영상은 영상 입력부(21)에서 노이즈 제거 및 증폭되어 원본 형식의 주변 영상을 생성한다. 영상의 출력형태가 탑뷰 영상 또는 3D 영상인 경우, 촬영된 영상은 영상 입력부(21)에서 노이즈 제거 및 증폭되어 영상 처리부(23)와 제1영상 합성부(25)를 거쳐 처리 및 합성되어 탑뷰 또는 3D 형식의 주변 영상을 생성한다(S405).
이렇게 주변 영상이 처리되는 동안, 차량측 제어부(30)는 휴대 단말(100)로부터 제공된 휴대 단말(100)의 가로세로 배치정보에 기초하여 영상 보정부(29)를 동작시킬지 여부를 결정한다(S410). 차량측 제어부(30)는 휴대 단말(100)의 가로세로 배치가 변경되거나 기본 배치가 아닌 경우, 먼저, 제2영상 합성부(26)로 제1영상 합성부(25) 및 영상 입력부(21)로부터의 주변 영상과, 영상이 실제의 가로폭 또는 세로폭과 상이하다는 메시지를 전달하여 메시지를 갖는 주변 영상을 형성한다(S420).
그런 다음, 차량측 제어부(30)는, 영상 보정부(29)를 동작시켜 휴대 단말(100)의 디스플레이 배치에 부합되도록 메시지를 갖는 주변 영상을 보정한다(S425). 제어부는 보정된 주변 영상을 통신부(70)를 통해 휴대 단말(100)로 전달하고(S430), 휴대 단말(100)의 단말측 제어부(130)는 보정된 주변 영상을 휴대 단말(100)의 디스플레이 패널(110)에 표시한다.
한편, 영상 보정이 필요치 아니한 경우, 차량측 제어부(30)는 제1영상 합성부(25) 및 영상 입력부(21)로부터의 주변 영상을 휴대 단말(100)로 전송한다(S415).
이렇게 주변 영상을 표시하던 중, 차량이 주차를 시도하는 경우(S435), 차량측 제어부(30)는 보조선 생성부(50)를 동작시켜 주차 보조선을 생성하도록 하고(S440), 생성된 주차 보조선을 제2영상 합성부(26)로 전달한다. 제2영상 합성부(26)에서는 영상 입력부(21) 또는 제1영상 합성부(25)로부터 출력된 원본, 탑뷰, 3D 형식의 주변 영상에 주차 보조선을 중첩시켜 보조선을 갖는 주변 영상을 형성한다(S445).
이렇게 보조선을 갖는 주변 영상을 형성하는 중에도 차량측 제어부(30)는 휴대 단말(100)로부터 제공된 디스플레이 패널(110)의 가로세로 배치 여부를 체크한다(S450). 만약, 디스플레이 패널(110)의 가로세로 배치 변경에 의해 보정이 필요한 경우, 차량측 제어부(30)는 먼저 영상이 실제의 가로폭 또는 세로폭과 상이하다는 메시지를 제2영상 합성부(26)로 전달하여 보조선 및 메시지를 갖는 주변 영상을 형성한다(S455). 그런 다음, 차량측 제어부(30)는 영상 보정부(29)를 동작시키고 보조선을 갖는 주변 영상을 영상 보정부(29)로 전달한다. 영상 보정부(29)는 보조선을 갖는 주변 영상을 디스플레이 패널(110)의 배치에 부합되도록 보정한다(S460).
보정이 완료되면, 차량측 제어부(30)는 보정된 보조선을 갖는 주변 영상을 통신부를 이용하여 휴대 단말(100)로 전달하고(S465), 휴대 단말(100)의 디스플레이 패널(110)에 표시한다.
한편, 보조선을 갖는 주변 영상의 보정이 필요치 아니한 경우, 차량측 제어부(30)는 제2영상 합성부(26)에서 생성된 보조선을 갖는 주변 영상을 휴대 단말(100)로 전달한다(S470).
차량측 제어부(30)는 휴대 단말(100)의 디스플레이 패널(110)의 가로세로 배치를 지속적으로 감시하며, 가로세로 배치에 변화가 발생하면 영상 보정부(29)를 동작시켜 주변 영상을 디스플레이 패널(110)의 배치에 부합되도록 보정한다.
도 5는 본 발명의 다른 실시예에 따른 휴대 단말을 이용한 차량 주변 영상 제공 시스템의 개략적 구성블럭도이다.
본 실시예의 휴대 단말(1100)을 이용한 차량 주변 영상 제공 시스템은, 차량용 장치(1001)와 휴대 단말(1100)을 구비한다는 점에서 도 1에 의한 실시예의 차량 주변 영상 제공 시스템과 유사하다.
그러나, 본 실시예의 차량 주변 영상 제공 시스템은, 차량용 장치(1001)에서는 차량 주변 영상을 촬영하여 휴대 단말(1100)로 전송하고, 휴대 단말(1100)에서 차량 주변 영상을 처리하여 디스플레이 패널(1110)에 표시한다는 점이 도 1에 의한 실시예의 차량 주변 영상 제공 시스템과 상이하다.
도 5에 도시된 바와 같이, 휴대 단말(1100)은, 디스플레이 패널(1110), 위치 센서(1115), 단말측 통신부(1120), 단말측 제어부(1130), 영상 처리 장치(1020), 보조선 생성부(1050), LDWS(1140), FCWS(1145), 운전자 운행 기록 장치(1150)를 포함할 수 있다.
차량용 장치(1001)는, 차량에 장착되어 촬영된 영상을 처리하여 휴대 단말(1100)로 제공하며, 복수의 카메라(1010), 차량측 통신부(1070), 차량측 제어부(1030), 차량정보 수집부(1080)를 포함할 수 있다.
이러한 휴대 단말(1100)과 차량용 장치(1001)는, 도 1의 실시예와 비교해 보면, 그 구성요소 중 영상 처리 장치(1020)와 보조선 생성부(1050)가 차량용 장치(1001)에서 휴대 단말(1100)로 이전되었다는 것이 상이하다. 또한, 차량용 장치(1001)에는 차량정보 수집부(1080)가 부가되고, 휴대 단말(1100)에는 LDWS(1140), FCWS(1145), 운전자 운행 기록 장치(1150)가 부가되었다.
이에, 새로이 부가된 구성요소에 대해 설명하며, 이외의 구성요소의 역할은 동일하므로, 각 구성요소에 대한 반복되는 설명은 생략하기로 한다.
다만, 휴대 단말(1100)의 단말측 제어부(1130)와, 차량용 장치(1001)의 차량측 제어부(1030)는 영상 처리 장치(1020)와 보조선 생성부(1050)의 이전에 따라 그 역할이 변경되므로, 단말측 제어부(1130), 차량측 제어부(1030)에 대해서도 다시 설명하기로 한다.
차량용 장치(1001)의 차량측 제어부(1030)는, 각 카메라(1010)로부터 촬영된 영상이 입력되면, 해당 영상을 차량측 통신부(1070)를 통해 휴대 단말(1100)로 전송한다. 이때, 차량측 제어부(1030)는 각 카메라(1010)로부터의 영상을 각각 순차적으로 휴대 단말(1100)로 전송할 수도 있고, 각 카메라(1010)로부터의 영상을 하나의 영상으로 조합하여 휴대 단말(1100)로 전송할 수도 있다. 즉, 차량 측 제어부는 각 카메라(1010)와 연결된 4개의 채널로부터 입력받은 영상을 조합하여 1개의 채널로 영상을 전송할 수도 있다. 이 경우, 4개의 채널로 받은 영상을 각각 휴대 단말(1100)로 전송할 때보다 영상의 전송속도를 향상시킬 수 있다. 차량측 제어부(1030)는 휴대 단말(1100)을 통해 사용자가 선택한 1개 또는 3개 이하의 관심채널로부터 입력받은 영상만을 휴대 단말(1100)로 전송할 수도 있다.
차량정보 수집부(1080)은, CAN(Control Area Network)을 통해 차량에 설치된 각종 전자기기 및 센서로부터 차량정보를 입력받을 수 있다. CAN은 차량 통신에서 사용되는 가장 일반적인 프로토콜로서, CAN을 통해 수집되는 차량정보로는 속도, 조향각, 기어, 초음파 센서 정보, 브레이크 작동, 엑셀 작동 등을 포함할 수 있다. 차량측 제어부(1030)는, CAN을 통해 수집된 차량정보를 휴대 단말(1100)로 전송하여 휴대 단말(1100)의 디스플레이 패널(1110)에 표시되도록 한다.
단말측 제어부(1130)는, 차량용 장치(1001)로부터 제공된 영상을 영상 처리 장치(1020)에서 처리하고, 필요에 따라 보조선 생성부(1050)를 동작시켜 차량 보조선을 생성하여 영상 처리 장치(1020)에서 처리된 주변 영상에 중첩시킨다. 또한, 단말측 제어부(1130)는 위치 센서(1115)에 의해 감지된 휴대 단말(1100)의 가로세로 배치에 따라 영상 보정부(1029)를 동작시켜 디스플레이 패널(1110)의 가로세로 배치에 부합되어 영상이 보정되도록 한다.
단말측 제어부(1130)가 영상 처리 장치(1020)를 어떻게 제어하는지를 보다 상세히 살펴보면 다음과 같다.
단말측 제어부(1130)는, 차량이 일반 주행중인 경우, 위치 센서(1115)로부터 감지된 휴대 단말(1100)의 세로 또는 가로 배치에 따라, 영상 입력부(1021)에서 처리된 원본 영상, 제1영상 합성부(1025)에서 생성된 탑뷰 영상 또는 3D 영상을 영상 보정부(1029)로 제공하여 보정되도록 한다.
한편, 단말측 제어부(1130)는 차량이 주차 중인 경우, 보조선 생성부(1050)를 동작시켜 주차 보조선이 생성되도록 하고, 생성된 주차 보조선을 제2영상 합성부(1026)로 전달하여 '보조선을 갖는 주변 영상'이 생성되도록 한다. 또한, 단말측 제어부(1130)는 위치 센서(1115)로부터 감지된 휴대 단말(1100)의 세로 또는 가로 배치에 따라, 제2영상 합성부(1026)에서 생성된 보조선을 갖는 주변 영상을 영상 보정부(1029)로 제공하여 보정한다. 보정이 완료되면, 단말측 제어부(1130)는 보정된 주변 영상 또는 보조선을 갖는 주변 영상을 디스플레이 패널(1110)에 표시한다.
한편, 단말측 제어부(1130)는 영상 보정부(1029)에 의해 보정이 이루어져야 하는 경우, 보정에 의해 주변 영상의 가로 또는 세로 폭이 실제와 상이해지면, '가로 폭이 실제보다 좁습니다' 내지는 '세로 폭이 실제보다 넓습니다' 등의 메시지를 미리 제2영상 합성부(1026)로 제공하여 주변 영상에 합성되도록 한다.
또한, 단말측 제어부(1130)는 차량용 장치(1001)로부터 제공된 속도, 조향각, 기어, 초음파 센서 정보, 브레이크 동작, 엑셀 동작 등에 대한 차량정보를 제공받아 속도나 초음파 정보 등을 그대로 디스플레이 패널(1110)에 표시할 수 있다. 그리고 단말측 제어부(1130)는 차량정보를 분석하여 얻어진 차량 상태에 대한 정보를 표시할 수도 있다. 예를 들어, 브레이크나 엑셀 동작에 따라 판단할 수 있는 급가속이나 급감속시 경고 신호를 표시할 수 있다.
한편, 최근 차선 이탈 경고 시스템인 LDWS(Lane Departure Warning System)(1140)이나 전방 추돌 경고 장치인 FCWS(Forward Collision Warning System)(1145), 운전자 운행기록 장치(1150) 등의 프로그램이 개발되어 있으며, 본 발명에서는 이러한 프로그램이 휴대 단말(1100)에 설치된다. 단말측 제어부(1130)는 LDWS(1140), FCWS(1145), 운전자 운행기록 장치(1150) 등으로부터 정보를 제공받아 디스플레이 패널(1110)에 표시할 수 있다.
더불어, 단말측 제어부(1130)는 차량용 장치(1001)로부터 차선 이탈 경고, 전방 추돌 경고 등을 실시간으로 제공받아 디스플레이 패널(1110)과 스피커를 통해 출력할 수 있다.
한편, 차량용 장치(1001)로부터의 차량정보와, LDWS(1140), FCWS(1145), 운전자 운행기록 장치(1150) 등으로부터의 정보를 디스플레이 패널(1110)에 표시하기 위해, 단말측 제어부(1130)는 실시간으로 제공되는 차량정보 등을 제2영상 합성부(1026)로 전달하여 주변 영상에 중첩되도록 한다. 그런 다음, 차량정보 등이 중첩된 주변 영상을 디스플레이 패널(1110)에 표시한다.
이러한 구성에 의한 영상 제공 시스템을 이용하여 카메라(1010)에서 촬영된 영상을 휴대 단말(1100)에서 처리하여 디스플레이하는 과정을 도 6을 참조하여 설명하면 다음과 같다.
차량에 장착된 각 카메라(1010)는 실시간으로 차량 주변을 촬영하고, 촬영된 영상은 각 채널을 통해 차량측 제어부(1030)로 전달된다. 차량측 제어부(1030)는, 각 카메라(1010)로부터 입력받은 4 채널의 영상을 1 채널로 조합하거나 휴대 단말(1100)을 통해 선택된 채널의 영상만을 휴대 단말(1100)로 전송한다(S600). 차량측 제어부(1030)는 수집된 차량정보, 차선 이탈 경고, 전방 추돌 경고, 운전자 운행기록 등도 함께 휴대 단말(1100)로 전송할 수 있다(S605).
휴대 단말(1100)에서 영상이 수신되면, 단말측 제어부(1130)는, 영상을 영상 처리 장치(1020)의 영상 입력부(1021)로 전달한다. 영상 입력부(1021)는 휴대 단말(1100)을 통해 선택된 영상의 출력형태가 원본 영상인 경우, 차량용 장치(1001)로부터 제공받은 영상을 노이즈 제거 및 증폭하여 원본 형식의 주변 영상을 생성한다. 만약, 휴대 단말(1100)을 통해 선택된 영상의 출력형태가 탑뷰 영상 또는 3D 영상인 경우, 영상 입력부(1021)에서 노이즈 제거 및 증폭된 영상은 영상 처리부(1023)와 제1영상 합성부(1025)로 제공되어 영상 처리 및 합성되어 탑뷰 또는 3D 형식의 주변 영상을 생성한다(S610). 그리고 생성된 주변 영상을 제2영상 합성부(1026)으로 전달하여 주변 영상에 차량용 장치(1001)로부터 제공받은 차량정보를 중첩시킨다(S615).
이렇게 주변 영상이 처리되는 동안, 단말측 제어부(1130)는 위치 센서(1115)에서 감지된 휴대 단말(1100)의 가로세로 배치정보에 기초하여 영상 보정부(1029)를 동작시킬지 여부를 결정한다(S620). 또한, 단말측 제어부(1130)는 휴대 단말(1100)의 가로세로 배치가 변경되거나 기본 배치가 아닌 경우, 먼저, 제2영상 합성부(1026)로 제1영상 합성부(1025) 및 영상 입력부(1021)로부터의 주변 영상을 제공하고, 이와 함께, 영상이 실제의 가로폭 또는 세로폭과 상이하다는 메시지를 전달함으로써, '메시지를 갖는 주변 영상'을 형성한다(S625).
그런 다음, 단말측 제어부(1130)는, 영상 보정부(1029)를 동작시켜 휴대 단말(1100)의 디스플레이 배치에 부합되도록 메시지를 갖는 주변 영상을 보정한다(S630). 단말측 제어부(1130)는 보정된 주변 영상을 디스플레이 패널(1110)에 표시한다(S635).
한편, 영상 보정이 필요치 아니한 경우, 단말측 제어부(1130)는 제1영상 합성부(1025) 및 영상 입력부(1021)로부터의 주변 영상을 디스플레이 패널(1110)에 표시한다.
이렇게 주변 영상을 표시하던 중, 차량이 주차를 시도하는 경우, 단말측 제어부(1130)는 차량으로부터 제공된 차량정보에 기초하여 차량이 주차를 시도한다고 판단할 수 있다(S640). 그러면 단말측 제어부(1130)는, 보조선 생성부(1050)를 동작시켜 주차 보조선을 생성하도록 하고(S645), 생성된 주차 보조선을 제2영상 합성부(1026)로 전달한다. 제2영상 합성부(1026)에서는 영상 입력부(1021) 또는 제1영상 합성부(1025)로부터 출력된 원본, 탑뷰, 3D 형식의 주변 영상에 주차 보조선을 중첩시켜 보조선을 갖는 주변 영상을 형성한다(S650).
이렇게 보조선을 갖는 주변 영상을 형성하는 중에도 단말측 제어부(1130)는 위치 센서(1115)로부터 제공된 디스플레이 패널(1110)의 가로세로 배치 여부를 체크한다(S655). 만약, 디스플레이 패널(1110)의 가로세로 배치 변경에 의해 보정이 필요한 경우, 단말측 제어부(1130)는 먼저 영상이 실제의 가로폭 또는 세로폭과 상이하다는 메시지를 제2영상 합성부(1026)로 전달하여 보조선 및 메시지를 갖는 주변 영상을 형성한다(S660). 그런 다음, 단말측 제어부(1130)는 영상 보정부(1029)를 동작시키고 보조선을 갖는 주변 영상을 영상 보정부(1029)로 전달한다. 영상 보정부(1029)는 보조선을 갖는 주변 영상을 디스플레이 패널(1110)의 배치에 부합되도록 보정한다(S665). 보정이 완료되면, 단말측 제어부(1130)는 보정된 보조선을 갖는 주변 영상을 디스플레이 패널(1110)에 표시한다(S670).
한편, 보조선을 갖는 주변 영상의 보정이 필요치 아니한 경우, 단말측 제어부(1130)는 제2영상 합성부(1026)에서 생성된 보조선을 갖는 주변 영상을 휴대 단말(1100)로 전달한다.
이렇게 주변 영상이 휴대 단말(1100)의 디스플레이 패널(1110)에 표시되는 동안, 단말측 제어부(1130)는 차량용 장치(1001)로부터 제공된 각종 차량정보를 제2영상 중첩부로 제공하여 주변 영상에 중첩시킴으로써, 차량정보를 디스플레이 패널(1110)에 함께 표시할 수 있다.
도 7은 본 발명에 따른 블랙박스 기능을 채용한 영상 제공 시스템의 구성도이다.
도 1 내지 도 4에 개시된 일 실시예에 따른 영상 제공 시스템과, 도 5 및 도 6에 개시된 다른 실시예에 따른 영상 제공 시스템은, 외부의 블랙박스 서버(500)로 정보를 업로드할 수 있는 블랙박스 기능을 갖는다.
블랙박스 기능은, 차량용 장치(1,1001)에서 수행될 수도 있고, 휴대 단말(100,1100)에서 수행될 수도 있다. 도 1 내지 도 4에 개시된 영상 제공 시스템의 경우, 차량용 장치(1)에 영상 처리 장치(1020)가 구비되어 처리된 주변 영상을 휴대 단말(100)로 제공한다. 즉, 차량용 장치(1)와 휴대 단말(100) 양측에서 주변 영상과 차량정보를 모두 가지고 있으므로, 차량용 장치(1)와 휴대 단말(100) 중 일측에서 외부의 블랙박스 서버(500)와 통신하여 주변 영상과 차량에서 수집된 다양한 차량정보를 전송할 수 있다. 반면, 도 5 및 도 6에 개시된 영상 제공 시스템에서는 휴대 단말(1100)에서 영상을 처리하여 표시하므로, 휴대 단말(1100)에서 주변 영상과 차량정보를 블랙박스 서버(500)로 전송하는 것이 바람직하다.
따라서, 도 1 내지 도 4에 개시된 영상 제공 시스템의 경우, 차량측 통신부(70) 및/또는 단말측 통신부(120)가 외부의 블랙박스 서버(500)와 통신할 수 있는 통신방식을 지원해야 한다. 반면, 도 5 및 도 6에 개시된 영상 제공 시스템의 경우, 단말측 통신부(1120)만 외부의 블랙박스 서버(500)와 통신할 수 있는 통신방식을 지원하면 된다.
이에 따라, 본 발명의 영상 제공 시스템은, 외부의 블랙박스 서버(500)와 통신 가능하며, 블랙박스 서버(500)로 실시간 또는 서버와 통신가능할 때 카메라(1010)에서 촬영되어 처리된 주변 영상 및 차량정보를 업로드할 수 있다.
이러한 본 발명에 따른 영상 제공 시스템은, 휴대 단말(100,1100)로 차량의 영상 정보를 제공할 수 있으며, 특히 휴대 단말(100,1100)의 디스플레이 패널(110,1110)의 가로세로 폭에 맞게 주변 영상을 보정하여 표시할 수 있다. 이에 따라, 사용자는 별도의 네비게이션이나 장비를 구비하지 않아도 되므로, 사용자의 경제적 부담을 덜고 사용자의 만족을 도모할 수 있다. 또한, 주차시 주차를 안내하는 보조 주차선을 주변 영상에 중첩시켜 휴대 단말(100,1100)로 제공함으로써, 사용자가 주차를 용이하게 할 수 있다. 특히, 휴대 단말(1100)에서 영상 정보를 처리하는 경우, 휴대 단말(1100)의 고사양 연산기능을 활용하고, 디스플레이 패널(1110)을 활용함으로써, 차량용 장치(1001)의 구조를 간소화하여 원가를 절감할 수 있다.
뿐만 아니라, 차량으로부터 제공된 차량정보 등을 실시간으로 휴대 단말(1100)에 표시할 수 있도록 함으로써, 사용자의 안전운전을 도울 수 있다. 그리고 외부의 블랙박스 서버(500)에 사용자의 운행기록, 주변 영상, 차량정보 등을 실시간으로 업로드함으로써, 나중에 사용자의 운전상태를 확인하여 접촉사고 등의 증거로 사용할 수 있다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
1, 1001 : 차량용 장치 10, 1010 : 카메라
20, 1020 : 영상 처리 장치 21, 1021 : 영상 입력부
23, 1023 : 영상 처리부 25, 1025 : 제1영상 합성부
26, 1026 : 제2영상 합성부 29, 1029 : 영상 보정부
30, 1030 : 제어부 50, 1050 : 보조선 생성부
100, 1100 : 휴대 단말 110, 1110 : 디스플레이 패널

Claims (18)

  1. 차량에 장착되며 차량 주변의 영상을 촬영하는 카메라;
    상기 카메라에서 촬영되어 처리된 영상들을 휴대 단말의 자세와 미리 선택된 시점에 대응되도록 처리하여 영상을 생성하는 영상 처리 장치; 및
    차량의 주차시 상기 차량의 움직임에 따라 주차를 안내하는 가상의 주차 보조선을 생성하는 보조선 생성부; 를 포함하며;
    상기 영상 처리 장치는, 상기 보조선 생성부에서 생성된 주차 보조선을 상기 카메라에서 촬영된 영상에 중첩시켜 주차 보조선을 갖는 주변 영상을 생성하고,
    상기 휴대 단말은, 상기 휴대 단말의 가로세로 배치를 감지하는 위치 센서를 포함하며,
    상기 영상 처리 장치는, 상기 위치 센서에 의해 감지된 상기 휴대 단말의 디스플레이 패널의 가로세로 배치에 따라, 상기 디스플레이 패널의 가로폭 또는 세로폭에 대응되도록 상기 주변 영상 또는 상기 주차 보조선을 사이즈 변환시키는 것을 특징으로 하는 차량 주변 영상 제공 시스템.
  2. 차량에 장착된 카메라에 의해 촬영된 차량 주변 영상을 휴대 단말의 자세와 미리 선택된 시점에 대응되도록 처리하여 영상을 생성하는 영상 처리 장치를 포함하는 휴대 단말; 및
    차량의 주차시 상기 차량의 움직임에 따라 주차를 안내하는 가상의 주차 보조선을 생성하는 보조선 생성부를 포함하며;
    상기 영상 처리 장치는, 상기 보조선 생성부에서 생성된 주차 보조선을 상기 카메라에서 촬영된 영상에 중첩시켜 주차 보조선을 갖는 주변 영상을 생성하고,
    상기 휴대 단말은, 상기 휴대 단말의 가로세로 배치를 감지하는 위치 센서를 더 포함하며,
    상기 영상 처리 장치는, 상기 위치 센서에 의해 감지된 상기 휴대 단말의 디스플레이 패널의 가로세로 배치에 따라, 상기 디스플레이 패널의 가로폭 또는 세로폭에 대응되도록 상기 주변 영상 또는 상기 주차 보조선을 사이즈 변환시키는 것을 특징으로 하는 차량 주변 영상 제공 시스템.
  3. 삭제
  4. 삭제
  5. 제 1 항 또는 제 2 항에 있어서,
    상기 영상 처리 장치는,
    상기 주변 영상과 상기 주차 보조선의 사이즈 변환에 따라 상기 디스플레이 패널에 표시되는 영상이 실제와 차이가 있음을 알리는 메시지를 상기 영상에 중첩시켜 표시하는 것을 특징으로 하는 차량 주변 영상 제공 시스템.
  6. 제 1 항 또는 제 2 항에 있어서,
    상기 카메라는 복수 개가 마련되며,
    상기 영상 처리 장치는 상기 카메라에서 촬영된 영상을 원본 영상 그대로 상기 휴대 단말의 디스플레이 패널로 제공하거나, 탑뷰 영상, 3D 영상 중 하나의 시점을 갖도록 처리하여 상기 휴대 단말의 디스플레이 패널로 제공하는 것을 특징으로 하는 휴대 단말을 이용한 차량 주변 영상 제공 시스템.
  7. 제 1 항에 있어서,
    상기 휴대 단말은 상기 영상 처리 장치와 유선 또는 무선으로 통신 가능한 것을 특징으로 하는 휴대 단말을 이용한 차량 주변 영상 제공 시스템.
  8. 제 1 항 또는 제 2 항에 있어서,
    차량의 전자기기 및 센서로부터 차량의 작동상태에 대한 정보를 수집하는 차량정보 수집부를 더 포함하며;
    상기 차량정보 수집부에서 수집된 정보는 상기 휴대 단말로 제공되어 표시되는 것을 특징으로 하는 휴대 단말을 이용한 차량 주변 영상 제공 시스템.
  9. 제 8 항에 있어서,
    상기 휴대 단말은, 차선 이탈 경고 시스템인 LDWS(Lane Departure Warning System), 전방 추돌 경고 장치인 FCWS(Forward Collision Warning System), 운전자 운행기록 장치 등의 프로그램이 탑재된 것을 특징으로 하는 휴대 단말을 이용한 차량 주변 영상 제공 시스템.
  10. 제 9 항에 있어서,
    통신망을 통해 상기 휴대 단말과 접속가능하며, 상기 영상 처리 장치에서 처리된 차량의 주변 영상과, 상기 차량정보 수집부에서 수집된 정보와, 상기 LDWS, 상기 FCWS, 상기 운전자 운행기록 장치 등으로부터의 정보를 제공받아 저장하는 블랙박스 서버를 더 포함하는 것을 특징으로 하는 휴대 단말을 이용한 차량 주변 영상 제공 시스템.
  11. 카메라를 이용하여 차량 주변의 영상을 촬영하는 단계;
    상기 카메라에서 촬영된 영상들을 휴대 단말의 자세와 미리 선택된 시점에 대응되도록 처리하여 주변 영상을 생성하는 단계;
    상기 카메라에서 촬영되어 처리된 영상을 상기 휴대 단말에 표시하는 단계;
    차량의 주차시 상기 차량의 움직임에 따라 주차를 안내하는 가상의 주차 보조선을 생성하는 단계; 및
    상기 주차 보조선을 상기 카메라에서 촬영된 영상에 중첩시켜 주차 보조선을 갖는 주변 영상을 생성하는 단계;를 포함하고,
    상기 휴대 단말의 가로세로 배치 변화를 감지하는 단계;
    상기 휴대 단말의 가로세로 배치 변화에 따라, 상기 주변 영상 또는 상기 주차 보조선을 보정하는 단계; 및
    보정된 상기 주변 영상 또는 주차 보조선을 상기 휴대 단말의 디스플레이 패널에 표시하는 단계;를 더 포함하는 것을 특징으로 하는 휴대 단말을 이용한 차량 주변 영상 제공 방법.
  12. 삭제
  13. 삭제
  14. 제 11 항에 있어서,
    상기 주변 영상 또는 상기 주차 보조선의 사이즈 변환에 따라 상기 디스플레이 패널에 표시되는 영상이 실제와 차이가 있음을 알리는 메시지를 상기 영상에 중첩시키는 단계; 를 더 포함하는 것을 특징으로 하는 휴대 단말을 이용한 차량 주변 영상 제공 방법.
  15. 제 11 항에 있어서,
    상기 카메라를 복수 개로 마련하는 단계와; 및
    상기 복수 개의 카메라에서 촬영된 영상을 원본 영상 그대로 상기 휴대 단말의 디스플레이 패널에 표시하는 단계, 또는 상기 영상 처리 장치에 의해 탑뷰 영상, 3D 영상 중 하나의 시점을 갖도록 처리되어 상기 휴대 단말의 디스플레이 패널에 표시하는 단계를 더 포함하는 것을 특징으로 하는 휴대 단말을 이용한 차량 주변 영상 제공 방법.
  16. 제 11 항에 있어서,
    차량의 전자기기 및 센서로부터 차량의 작동상태에 대한 정보를 수집하는 단계; 및
    상기 정보를 상기 휴대 단말의 디스플레이 패널에 표시하는 단계;를 더 포함하는 것을 특징으로 하는 휴대 단말을 이용한 차량 주변 영상 제공 방법.
  17. 제 11 항에 있어서,
    상기 휴대 단말에 탑재된 LDWS(Lane Departure Warning System), FCWS(Forward Collision Warning System), 운전자 운행기록 장치 등으로부터 정보를 수집하는 단계;
    상기 정보를 상기 주변 영상에 합성하는 단계;
    상기 정보가 합성된 주변 영상을 상기 휴대 단말의 디스플레이 패널에 표시하는 단계를 더 포함하는 것을 특징으로 하는 휴대 단말을 이용한 차량 주변 영상 제공 방법.
  18. 제 17 항에 있어서,
    통신망을 통해 외부의 블랙박스 서버로 상기 영상 처리 장치에서 처리된 주변 영상과 상기 차량의 전자기기 및 센서로부터 수집된 정보와, 상기 LDWS, 상기 FCWS, 상기 운전자 운행기록 장치 등으로부터 수집된 정보를 전송하는 단계;를 더 포함하는 것을 특징으로 하는 휴대 단말을 이용한 차량 주변 영상 제공 방법.
KR1020100127417A 2010-12-14 2010-12-14 휴대 단말을 이용한 차량 주변 영상 제공 시스템 및 그 방법 KR101198206B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100127417A KR101198206B1 (ko) 2010-12-14 2010-12-14 휴대 단말을 이용한 차량 주변 영상 제공 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100127417A KR101198206B1 (ko) 2010-12-14 2010-12-14 휴대 단말을 이용한 차량 주변 영상 제공 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20120066194A KR20120066194A (ko) 2012-06-22
KR101198206B1 true KR101198206B1 (ko) 2012-11-07

Family

ID=46685619

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100127417A KR101198206B1 (ko) 2010-12-14 2010-12-14 휴대 단말을 이용한 차량 주변 영상 제공 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101198206B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101455847B1 (ko) * 2013-02-04 2014-10-27 타타대우상용차 주식회사 블랙박스와 차선이탈경고기능 겸용 차량운행기록장치
KR101473866B1 (ko) * 2014-01-23 2014-12-17 주식회사 지티 차량용 영상처리 시스템 및 이를 이용한 영상처리방법
KR101784096B1 (ko) * 2016-03-18 2017-10-11 박진 자동차용 통합 단말기

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101237088B1 (ko) * 2012-06-25 2013-03-04 김준규 양측면 렌즈 구성체를 갖는 블랙박스
KR101306861B1 (ko) * 2012-11-30 2013-09-13 김준규 양측면 렌즈 구성체를 갖는 블랙박스
KR101406222B1 (ko) * 2012-12-20 2014-06-27 현대오트론 주식회사 차량 상태 정보를 반영한 avm 영상 송신 시스템 및 방법
KR102258628B1 (ko) * 2014-11-03 2021-06-02 현대모비스 주식회사 주차 가이드 조절 방법
KR101850795B1 (ko) 2015-11-09 2018-04-20 엘지전자 주식회사 주차 수행 장치 및 차량
KR102573705B1 (ko) 2015-11-24 2023-09-04 삼성디스플레이 주식회사 디스플레이 제어 시스템
KR20180067145A (ko) * 2016-12-12 2018-06-20 양예슬 차량 충돌 예방 시스템
KR102294049B1 (ko) * 2018-10-29 2021-08-26 (주)서울소프트 스마트 단말기를 이용한 사고 감응 및 대응 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101455847B1 (ko) * 2013-02-04 2014-10-27 타타대우상용차 주식회사 블랙박스와 차선이탈경고기능 겸용 차량운행기록장치
KR101473866B1 (ko) * 2014-01-23 2014-12-17 주식회사 지티 차량용 영상처리 시스템 및 이를 이용한 영상처리방법
KR101784096B1 (ko) * 2016-03-18 2017-10-11 박진 자동차용 통합 단말기

Also Published As

Publication number Publication date
KR20120066194A (ko) 2012-06-22

Similar Documents

Publication Publication Date Title
KR101198206B1 (ko) 휴대 단말을 이용한 차량 주변 영상 제공 시스템 및 그 방법
JP5099451B2 (ja) 車両周辺確認装置
JP4573242B2 (ja) 運転支援装置
JP4643860B2 (ja) 車両用視覚支援装置及び支援方法
WO2001058164A1 (fr) Ecran de proximite pour vehicule automobile
JP5045172B2 (ja) 車両用運転支援装置
JP2008299676A (ja) 死角情報要求／提供装置及びこれらを利用した車車間通信システム
JP2009101718A (ja) 映像表示装置及び映像表示方法
JP7200645B2 (ja) 車載装置、プログラム、及び車両
CN109089086B (zh) 一种全景摄像系统
JP2007300559A (ja) 車両周辺画像提供装置及び車両周辺画像における影補正方法
KR20130037274A (ko) 멀티뷰 카메라를 이용한 주차 보조 장치 및 방법
JP4579132B2 (ja) 車両／周囲画像提供装置
CN105774657B (zh) 一种单摄像头全景倒车影像系统
JP5811623B2 (ja) 車両用監視装置
US8570166B2 (en) System and method for assisting driver when reversing motor vehicle
WO2021131201A1 (ja) 運転支援装置、運転支援方法及びプログラム
KR20120056977A (ko) 차량 탑재형 블랙박스 시스템 및 그 시스템에서 생성된 주변 영상을 이용한 정보제공방법
EP3382604A2 (en) Assistance apparatus
JP2010012838A (ja) 駐車支援装置、及び駐車支援方法
JP4857159B2 (ja) 車両運転支援装置
KR101391909B1 (ko) 차량용 블랙박스의 영상데이터와 gis 연동 서비스 방법
JP2007329611A (ja) 車両周辺監視装置、車両周辺監視システム、および車両周辺監視方法
KR101861523B1 (ko) 차량 운전 보조 장치 및 방법
JP2009020647A (ja) 立体物検出方法および立体物検出装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151028

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161006

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171019

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191016

Year of fee payment: 8