KR101697211B1 - 영상 인식 장치, 인터랙션과 영상 인식 기반의 주차 공간 정보 제공 방법과 시스템 - Google Patents

영상 인식 장치, 인터랙션과 영상 인식 기반의 주차 공간 정보 제공 방법과 시스템 Download PDF

Info

Publication number
KR101697211B1
KR101697211B1 KR1020160012335A KR20160012335A KR101697211B1 KR 101697211 B1 KR101697211 B1 KR 101697211B1 KR 1020160012335 A KR1020160012335 A KR 1020160012335A KR 20160012335 A KR20160012335 A KR 20160012335A KR 101697211 B1 KR101697211 B1 KR 101697211B1
Authority
KR
South Korea
Prior art keywords
image
parking space
vehicle detection
information
reservation
Prior art date
Application number
KR1020160012335A
Other languages
English (en)
Inventor
이태진
전재욱
김윤민
이민규
엄홍덕
오병훈
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020160012335A priority Critical patent/KR101697211B1/ko
Application granted granted Critical
Publication of KR101697211B1 publication Critical patent/KR101697211B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0275—Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 저비용, 저전력으로 주차 공간을 관리하기 위해 인터랙션과 영상 인식 기반으로 주차 공간 정보를 고속으로 수집하여 효율적으로 운전자에게 알리기 위한 영상 인식 장치, 주차 공간 정보 제공 방법 및 시스템을 포함한다. 상기 영상 인식 장치는 주차 공간을 촬영하는 어안렌즈와 상기 어안렌즈를 이용하여 촬영한 영상의 왜곡을 역 매핑 방법을 이용하여 보정하는 왜곡 보정 프로세서를 포함한다. 상기 주차 공간 정보 제공 방법은 주차장에서 어안렌즈를 이용하여 촬영한 영상의 왜곡을 역 매핑 방법으로 보정하는 왜곡 보정 단계와 상기 왜곡 보정된 영상에 그래디언트(Gradient) 및 캠시프트(Camshift) 기반 에이다부스트(Adaboost) 알고리즘을 적용하여 차량 검출을 수행하는 단계를 포함한다.

Description

영상 인식 장치, 인터랙션과 영상 인식 기반의 주차 공간 정보 제공 방법과 시스템{IMAGE RECOGNITION APPARATUS, METHOD AND SYSTEM FOR PROVIDING PARKING SPACE INFORMATION BASED ON INTERACTION AND　IMAGE RECOGNITION}
본 발명은 운전자에게 주차 공간 정보를 제공하는 방법에 관한 것으로, 보다 상세하게는 무선통신 및 영상 인식 기술을 기반으로 주차 공간 정보를 제공하기 위한 방법에 관한 것이다.
기존의 주차 공간 자동관리 시스템은 매 주차 공간마다 센서 등의 감지기를 부착하여 해당 공간이 차량에 의해 점유 중인지 여부를 파악한다. 이에 따라 주차 공간 수가 증가할수록 요구되는 감지기의 수가 비례하여 증가하기 때문에 비용이 증가하게 된다. 이러한 비용 문제로 인해 주차 공간을 관리하는 사업자는 인력을 통한 수동관리체계를 유지하게 된다. 그러나 기존 수동관리체계를 기반으로 운전자에게 목적지 주변의 주차 공간 정보를 제공하는 시스템은 신뢰성이 낮은 정보를 제공하게 되는 문제가 있다. 주차 공간을 관리하는 사업자는 수동으로 차량 출입 시마다 주차 공간 현황을 파악해야 하기 때문에 차량 출입이 잦은 경우 정확한 주차 공간 정보를 제공하기 어렵다. 또한 주차 공간을 이용하는 차량의 수가 증가할수록 사업자의 이익이 증대되기 때문에 사업자가 산정하는 주차 가능 공간의 수와 운전자가 산정하는 주차 가능 공간의 수 사이에 차이가 발생할 수 있다. 향후 대부분의 차량에는 무선통신이 가능한 인포테인먼트 시스템이 탑재가 될 것이며, 사물인터넷 기술의 출현으로 효율적인 주차 공간 관리 및 주차 공간 정보 제공 방법에 대한 사업자 및 소비자의 요구가 증가할 것이다. 따라서 저비용으로 주차 공간을 관리하고 정확한 주차 공간 수에 관한 정보를 운전자에게 효율적으로 알릴 수 있는 기술이 요구된다.
한편, 영상 인식을 기반으로 주차 공간 수에 관한 정보를 제공하기 위해 필수인 CCTV의 경우, 일반 렌즈를 사용하는 CCTV는 시야각이 45° 전후로써 한 대의 카메라로 주차장의 모든 면적을 촬영하기에는 어려움이 있다. 최근 이를 해결하기 위해서 더 넓은 시야각을 가진 광각렌즈를 사용한 CCTV가 도입되었다. 광각렌즈를 통해 더 넓은 면적을 단일 카메라로 촬영하는 것이 가능하지만 시야각이 넓어질수록 영상 왜곡이 발생하는 문제가 발생한다. 특히 광각렌즈 중 시야각이 180o 도 이상인 어안렌즈를 활용하는 카메라의 경우 왜곡보정 작업이 필수적이다. 기존 소프트웨어 기반의 영상 왜곡 보정 시스템은 순차적인 처리로 인해 왜곡 보정을 위한 시간이 더 길게 요구되기 때문에 실시간 처리를 요구하는 CCTV에는 적용하기 어렵다.
또한 카메라를 이용한 차량 검출 시스템은 시시각각 변화하는 조명에 따라 성능이 민감하게 변화하기 때문에 조명에 강인한 차량 검출 알고리즘이 필요하다. 카메라 영상을 이용한 차량 검출에는 다양한 알고리즘이 연구되고 있는데 Principal Component Analysis (PCA), Gabor-Filter, Motion 정보 등을 이용하는 것이 대표적이다. 하지만 이러한 방법들은 알고리즘의 계산량이 많기 때문에 실시간 처리를 요구하는 환경에 적합하지 않다.
한편 무선 단말은 기존 셀룰러 망에서는 데이터 통신을 수행하기 위해 접속을 시도할 때, 전송전력 값을 매 접속실패시마다 단계적으로 증가시키는 방법을 활용한다. 이는 셀룰러 망에서 이동하는 단말들이 통신수행이 가능한 범위에서 가장 낮은 전송전력 값을 사용하기 위함이다. 그러나 CCTV 등의 영상 인식장치는 휴대전화, 자동차와 달리 이동성이 없는 고정된 상태로 동작하기 때문에 적절한 전송전력이 선택되기까지 불필요한 지연 및 전력소모가 발생하게 된다. 따라서 이동성이 없는 단말을 대상으로 하는 저지연 전송전력 선택 방법이 요구된다. 또한, 영상 인식 장치가 주차 공간 수를 영상 인식을 통해 파악하고, 셀룰러 망에 접속 및 데이터 통신을 통해 전송하는 과정에서 전력이 소모되기 때문에 차량 출입이 잦은 경우 전력소모가 증가하는 문제가 있다.
또한 기존 주차 공간 정보를 제공하는 어플리케이션의 경우 운전자가 주차 공간을 찾기 위해 어플리케이션 실행, 목적지 검색, 주변 주차 공간 탐색 명령, 주차 공간 정보 확인/선택, 결제 등의 단계를 거쳐야하기 때문에 동승자가 없는 경우 운전자의 정차가 요구될 정도의 조작이 필요한 문제가 있다.
본 발명의 목적은 저비용, 저전력으로 주차 공간을 관리하기 위해 인터랙션과 영상 인식 기반으로 주차 공간 정보를 고속으로 수집하여 효율적으로 운전자에게 알리기 위한 영상 인식 장치, 주차 공간 정보 제공 방법 및 시스템을 제공하는 것에 목적이 있다.
본 발명의 일 측면에 따르면, 본 발명은 주차 공간 정보를 제공하기 위한 영상 인식 장치를 제공한다. 상기 영상 인식 장치는 주차 공간을 촬영하는 어안렌즈와 상기 어안렌즈를 이용하여 촬영한 영상의 왜곡을 역 매핑 방법을 이용하여 보정하는 왜곡 보정 프로세서를 포함한다. 상기 왜곡 보정 프로세서는 상기 어안렌즈로 촬영되어 왜곡된 입력 영상의 R(Red) 채널, B(Blue) 채널 및 G(Green) 채널 각각에 대해 병렬적으로 역 매핑 과정과 보간법을 통해 보정된 R 채널 픽셀값, G 채널 픽셀 값, 및 B 채널 픽셀값을 구하여 동시에 병렬적으로 복원하는 것을 특징으로 할 수 있다.
본 발명의 또다른 측면에 따르면, 주차 공간 정보를 제공하기 위한 영상 인식 장치는 카메라를 통해 획득한 영상에 그래디언트(Gradient) 차량 검출 알고리즘과 캠시프트(Camshift) 차량 검출 알고리즘을 병렬적으로 적용하고, 상기 그래디언트(Gradient) 차량 검출 알고리즘 적용 결과 및 상기 캠시프트(Camshift) 차량 검출 알고리즘 적용 결과의 AND 연산 결과에 에이다부스트(Adaboost) 알고리즘을 적용하는 고속 차량 검출 모듈을 포함한다. 상기 영상 인식 장치는 카메라를 통해 획득한 영상에 RGB 영상 정규화 과정을 먼저 수행하는 것을 특징으로 할 수 있다. 상기 그래디언트(Gradient) 차량 검출 알고리즘은 R(Red), G(Green), B(Blue) 채널 각각에서 모폴로지 그래디언트(Morphological Gradient) 최대값 픽셀만을 결합하여 영상을 생성하는 것을 특징으로 할 수 있다. 상기 캠시프트(Camshift) 차량 검출 알고리즘은 상기 RGB 영상 정규화를 거친 영상을 색상(Hue), 채도(Saturation), 명도(Value)의 HSV 모델로 변환하는 단계, 상기 HSV 모델로 변환된 이미지를 다시 각각의 색상(Hue), 채도(Saturation), 명도(Value) 채널로 분리하는 단계, 상기 분리된 색상(Hue) 채널에 대한 히스토그램 분석을 수행하는 단계, 상기 분석된 히스토그램의 최대 빈도수 특성을 이용하여 영상을 재 생성하는 단계, 상기 채도(Saturation) 및 상기 명도(Value) 채널의 임계값을 실험을 통해 결정하는 단계, 상기 임계값을 적용한 상기 채도(Saturation) 및 상기 명도(Value) 채널의 결과 영상을 입력으로 AND 연산을 수행함으로써 마스크(Mask) 영상을 생성하는 단계, 상기 재 생성된 영상과 상기 마스크(Mask) 영상을 다시 AND 연산을 하는 단계와 침식(Erosion) 및 팽창(Dilation) 연산을 이용한 닫힘 연산(Closing Operation)을 통해 상기 AND 연산의 결과 영상에서 노이즈를 제거하는 단계를 포함하는 것을 특징으로 할 수 있다.
본 발명의 또다른 측면에 따르면, 주차 공간 정보를 제공하기 위한 영상 인식 장치는 잔여 주차 공간 수에 따라 차량 검출 동작 주기를 조절하는 차량 검출 주기 조절 모듈을 포함한다. 상기 차량 검출 동작 주기는 최대 길이 주기와 전체 주차 공간 수에 대한 잔여 주차 공간 수의 비율을 곱하여 결정하는 것을 특징으로 할 수 있다.
본 발명의 또다른 측면에 따르면, 주차 공간 정보를 제공하기 위한 영상 인식 장치는 서비스 서버로의 영상 전송 전력 값을 설정하는 전송 전력 결정 모듈을 포함한다. 상기 영상 전송 전력 값을 설정하는 것은 랜덤 접속에 활용된 전송 전력 값을 초기값으로 저장하여 사용하는 것을 특징으로 할 수 있다.
본 발명의 또다른 측면에 따르면, 본 발명은 주차 공간 정보 제공 방법을 제공한다. 상기 주차 공간 정보 제공 방법은 주차장에서 어안렌즈를 이용하여 촬영한 영상의 왜곡을 역 매핑 방법으로 보정하는 왜곡 보정 단계, 상기 왜곡 보정된 영상에 그래디언트(Gradient) 차량 검출 알고리즘과 캠시프트(Camshift) 차량 검출 알고리즘을 병렬적으로 적용하고, 상기 그래디언트(Gradient) 차량 검출 알고리즘 적용 결과 및 상기 캠시프트(Camshift) 차량 검출 알고리즘 적용 결과의 AND 연산 결과에 에이다부스트(Adaboost) 알고리즘을 적용하여 차량 검출을 수행하는 단계를 포함한다. 상기 주차 공간 정보 제공 방법은 상기 왜곡 보정된 영상에 RGB 영상 정규화 과정을 먼저 수행하는 것을 특징으로 할 수 있다. 상기 그래디언트(Gradient) 차량 검출 알고리즘은 R(Red), G(Green), B(Blue) 채널 각각에서 모폴로지 그래디언트(Morphological Gradient) 최대값 픽셀만을 결합하여 영상을 생성하는 것을 특징으로 할 수 있다. 상기 캠시프트(Camshift) 차량 검출 알고리즘은 상기 RGB 영상 정규화를 거친 영상을 색상(Hue), 채도(Saturation), 명도(Value)의 HSV 모델로 변환하는 단계, 상기 HSV 모델로 변환된 이미지를 다시 각각의 색상(Hue), 채도(Saturation), 명도(Value) 채널로 분리하는 단계, 상기 분리된 색상(Hue) 채널에 대한 히스토그램 분석을 수행하는 단계, 상기 분석된 히스토그램의 최대 빈도수 특성을 이용하여 영상을 재 생성하는 단계, 상기 채도(Saturation) 및 상기 명도(Value) 채널의 임계값을 실험을 통해 결정하는 단계, 상기 임계값을 적용한 상기 채도(Saturation) 및 상기 명도(Value) 채널의 결과 영상을 입력으로 AND 연산을 수행함으로써 마스크(Mask) 영상을 생성하는 단계, 상기 재 생성된 영상과 상기 마스크(Mask) 영상을 다시 AND 연산을 하는 단계와 침식(Erosion) 및 팽창(Dilation) 연산을 이용한 닫힘 연산(Closing Operation)을 통해 상기 AND 연산의 결과 영상에서 노이즈를 제거하는 단계를 포함하는 것을 특징으로 할 수 있다. 상기 주차 공간 정보 제공 방법은 사용자가 주차 공간 정보 제공 어플리케이션이 탑재된 사용자 디바이스로 목적지 정보, 검색 조건, 예약 설정 및 예약 방식 중 적어도 하나를 입력하는 단계, 상기 입력된 정보를 포함한 주차 공간 요청 정보를 통신 인프라로 전송하는 단계, 상기 통신 인프라가 목적지 인근의 영상 인식 장치들에 주차 공간 정보를 요청하는 단계, 상기 영상 인식장치들로부터 상기 주차 공간 정보를 상기 통신 인프라로 전송하는 단계와 상기 통신 인프라에서 상기 사용자 디바이스로 상기 주차 공간 정보를 전송하는 단계를 더 포함할 수 있다. 상기 주차 공간 정보 제공 어플리케이션은 최단 거리, 최저 비용 및 주차 공간 면적 중 적어도 하나를 포함하는 예약 설정 정보를 입력하는 예약 설정 메뉴, 차량이 목적지 주변에 도착한 경우 상기 예약 설정 정보에 따라 자동으로 주차 공간을 예약하고 결제하는 자동 예약 메뉴, 및 차량이 목적지 주변에 도착한 경우 상기 예약 설정 정보에 따른 주차 공간 정보를 상기 사용자 디바이스에 표시하여 사용자가 주차 공간을 선택하고 결제할 수 있게 하는 선택 예약 메뉴를 포함하는 것을 특징으로 할 수 있다.
본 발명의 또다른 측면에 따르면, 본 발명은 주차 공간 정보 제공 시스템을 제공한다. 상기 주차 공간 정보 제공 시스템은 사용자가 목적지 인근 주차 공간에 대한 정보를 요청할 수 있는 주차 공간 정보 제공 어플리케이션을 탑재한 사용자 디바이스, 상기 사용자 디바이스를 통해 입력된 목적지 정보, 검색 조건, 예약 설정 및 예약 방식 중 적어도 하나를 수신하는 통신 인프라, 그리고 상기 통신 인프라로부터 주차 공간에 관한 정보 요청을 수신하는 영상 인식 장치를 포함한다. 상기 사용자 디바이스는 목적지 정보, 검색 조건, 예약 설정 및 예약 방식 중 적어도 하나를 입력하는 주차 공간 정보 요청 모듈, 상기 통신 인프라로부터 전송받은 주차 공간 정보를 표시하는 주차 공간 정보 제공 모듈과 상기 예약 설정 및 예약 방식에 따라 주차 공간을 선택하고 결제하는 예약 및 결제모듈을 포함하는 것을 특징으로 할 수 있다. 상기 통신 인프라는 상기 사용자 디바이스들과 상기 영상 인식 장치들과의 통신을 가능하게 하는 인터랙션 인프라와 주차 공간 정보, 예약 및 결제 정보, 영상 인식 장치 정보 중 적어도 하나를 저장하는 서비스 서버를 포함하는 것을 특징으로 할 수 있다. 상기 영상 인식 장치는 어안 렌즈를 이용하여 주차 공간을 촬영하는 촬영 모듈과 상기 어안렌즈를 이용하여 촬영한 영상의 왜곡을 역 매핑 방법을 이용하여 보정하는 왜곡 보정 모듈을 포함하는 것을 특징으로 할 수 있다. 상기 영상 인식 장치는 카메라를 통해 획득한 영상에 그래디언트(Gradient) 차량 검출 알고리즘과 캠시프트(Camshift) 차량 검출 알고리즘을 병렬적으로 적용하고, 상기 그래디언트(Gradient) 차량 검출 알고리즘 적용 결과 및 상기 캠시프트(Camshift) 차량 검출 알고리즘 적용 결과의 AND 연산 결과에 에이다부스트(Adaboost) 알고리즘을 적용하는 고속 차량 검출 모듈을 더 포함할 수 있다. 상기 영상 인식 장치는 잔여 주차 공간 수에 따라 차량 검출 동작 주기를 조절하는 차량 검출 주기 조절 모듈을 더 포함할 수 있다. 상기 영상 인식 장치는 상기 서비스 서버로의 영상 전송 전력 값을 설정하는 전송 전력 결정 모듈을 더 포함할 수 있다.
본 발명의 영상 인식 장치, 주차 공간 정보 제공 방법 및 시스템에 따르면 영상 인식 장치를 활용한 저비용의 실시간 주차 공간 검출이 가능하며, 영상 인식 장치가 주차 공간 수에 따라 적응적으로 전송주기를 결정하고, 효율적 전송 전력 값 결정을 통해 지연 및 전력소비를 감소시킬 수 있다. 또한, 운전자는 운전 중 조작이 요구되지 않는 운전자 친화적 어플리케이션을 활용하여 주차 공간을 효율적으로 예약할 수 있다.
도 1은 본 발명의 일 실시예에 따른 인터랙션과 영상 인식 기반의 주차 공간 정보 제공 방법을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 차량 검출을 위한 동작 프로세스 흐름도를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 운전자 친화적 어플리케이션을 통한 주차 공간 예약 설정 및 목적지 근처에서의 주차 공간 예약 수행 과정을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 왜곡 영상 보정 흐름도를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 차량을 실시간으로 검출하는 흐름도를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 차량 검출 동작 주기를 결정하는 과정을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상 인식 장치의 전송전력 값 선택 방법의 동작순서도를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 주차 공간 정보 제공 시스템의 개략적인 블록 다이어그램을 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등을 포함하는 용어가 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여 본 발명에 바람직한 실시 예를 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어 도면 부호에 상관없이 동일하거나 대응하는 구성요소는 동일한 참조번호를 부여하고 이에 대해 중복되는 설명은 생략하기로 한다.
인터랙션과 영상 인식 기반의 주차 공간 정보 제공 방법
도 1은 본 발명의 일 실시예에 따른 인터랙션과 영상 인식 기반의 주차 공간 정보 제공 방법을 도시한 도면이다. 도 1을 참조하면, 차량은 무선 통신이 가능한 인포테인먼트 시스템 또는 모바일 디바이스를 탑재하고 있으며, 이를 통해 통신 인프라와 정보교환을 할 수 있다. 상기 통신 인프라는 상기 인포테인먼트 시스템 또는 모바일 디바이스와 영상 인식 장치들과의 무선 통신을 가능하게 하는 인터랙션 인프라와 주차 공간 정보 제공 서비스를 위한 서비스 서버를 포함한다. 또한, 주차장에는 본 발명의 영상 인식 기술이 탑재된 영상 인식 장치가 존재하며, 각 주차장 단위로 이를 취합하여 통신 인프라로 정보를 제공할 수 있다. 도 1에서 운전자는 본 발명의 일 실시예에 따른 운전자 친화적 주차 공간 예약 어플리케이션을 사용하여 목적지 입력, 주차 공간 정보 검색 및 예약 설정을 수행하며(S1), 차량이 목적지 주변에 도착하면 차량 인포테인먼트 시스템 또는 모바일 디바이스는 운전자의 주차 공간 검색 설정에 따라 통신 인프라로 목적지 위치정보와 함께 주차 공간 정보 요청을 전송한다(S2). 통신 인프라는 주차 공간 정보 요청을 수신하면, 목적지 위치정보를 활용하여 해당 장소 주변의 영상 인식 장치들을 특정하고 각각의 영상 인식 장치로 주차 공간 수 정보에 대한 요청을 전송한다(S3). 이후 각 영상 인식 장치는 잔여 주차 공간 수에 기반한 차량 검출 주기에 따라 차량 검출을 수행하여 주차 공간 수를 획득한다(S4). 도 2는 차량 검출을 위한 동작 프로세스 흐름도를 도시한 도면이다. 도 2를 참조하면 차량 검출을 위한 동작은 먼저, 영상 인식 장치의 어안렌즈를 활용하여 영상을 수집하는 것으로 시작된다(S21). 그런 다음 왜곡 보정 프로세서를 이용한 영상 왜곡 보정을 수행한다(S22). 수집된 영상에서 본 발명의 그래디언트(Gradient)(S23) 및 캠시프트(Camshift)(S24) 기반 에이다부스트(Adaboost) 알고리즘(S25)을 통한 고속 차량검출 방법을 통해 주차가 가능한 공간 수를 확보하게 된다(S26). 다시 도 1을 참조하면, 영상 인식 장치들은 주차 공간 수에 관한 정보를 통신 인프라로 전송하기 위해 접속을 위한 전송전력 값을 선택하고, 접속에 성공하면 데이터 통신을 통해 주차 공간 수 정보를 전송한다(S5). 서비스 서버에서는 수신된 주차 공간 수 정보를 취합하여 주차 공간 정보를 작성한다. 통신 인프라는 상기 주차 공간 정보를 요청한 차량의 차량 인포테인먼트 시스템 또는 모바일 디바이스로 전송하며(S6), 상기 차량 인포테인먼트 시스템 또는 모바일 디바이스는 어플리케이션에 설정된 예약 설정에 따라 자동예약 또는 선택예약, 그리고 결제를 수행하여 주차 공간을 확보한다(S7).
도 3은 본 발명의 일 실시예에 따른 운전자 친화적 어플리케이션을 통해 운전자가 목적지로 출발할 때의 주차 공간 예약 설정 및 목적지 근처에서의 주차 공간 예약 수행 과정을 나타낸 도면이다. 먼저 운전자는 주차 공간 예약 어플리케이션을 실행한다(S31). 운전자는 주차 공간 예약 어플리케이션의 예약 설정 기능을 통해 목적지 주변에서의 주차 공간 검색 조건 및 예약 조건을 사전에 설정할 수 있다(S32). 예를 들어, 검색 조건은 목적지 반경 1km 내로 설정하고, 예약 조건으로 예를 들어, 최저 가격, 최단 거리 또는 주차 공간 면적 등을 설정할 수 있다. 그런 다음 예약 방식을 선택하여 자동 예약 또는 선택 예약 중 하나를 선택할 수 있다(S33). 마지막으로 차량 목적지를 입력한다(S34). 자동 예약을 선택한 경우 목적지 주변에서 어플리케이션이 설정된 예약 조건에 따라 자동으로 주차 공간 예약 및 자동 결제를 진행한다. 선택 예약을 선택한 경우 목적지 주변에서 어플리케이션이 주변 주차 공간 정보 목록을 표시하여 운전자가 선택하도록 유도한다. 상기 어플리케이션은 주기적으로 차량의 위치정보를 확인하며(S35), 설정된 목적지 주변으로 차량이 도착한 경우 통신 인프라로 주차 공간 정보를 요청을 한다(S36). 이후 통신 인프라가 주차 공간 정보를 보내오면, 상기 예약 설정 및 예약 방식(자동 예약 또는 선택 예약)에 따라 주차 공간 예약을 수행한다(S37).
도 4는 상기 어안렌즈를 통해 영상 인식 장치가 주변 주차 공간 영상을 확보하는 단계(S4)에서, 확보된 영상의 왜곡을 보정하는 과정을 나타낸다. 본 발명의 일 실시예에 따른 영상 왜곡 보정 기술은 기존 소프트웨어 방식의 순차적 처리 방식과 다르게 영상 왜곡 프로세서를 이용한 하드웨어 방식으로 영상의 왜곡 보정 과정을 R(Red), G(Green), B(Blue) 채널에 대해 동시에 병렬적으로 수행한다.
왜곡을 보정하기 위해 활용되는 파라미터(parameter)는 크게 내부 파라미터(intrinsic parameter)와 외부 파라미터(extrinsic parameter)로 나뉘며, 사전에 값이 입력되어야 한다. 내부 파라미터는 카메라의 초점거리(focal length:
Figure 112016010611741-pat00001
,
Figure 112016010611741-pat00002
), 주점(principal point:
Figure 112016010611741-pat00003
,
Figure 112016010611741-pat00004
), 비대칭계수(skew coefficient:
Figure 112016010611741-pat00005
), 방사왜곡 계수(radial distortion coefficient:
Figure 112016010611741-pat00006
,
Figure 112016010611741-pat00007
,
Figure 112016010611741-pat00008
)와 같은 카메라 자체의 내부적 파라미터들이 있으며, 외부 파라미터로는 카메라의 설치 높이, 방향(팬, 틸트) 등 기하학적 관계에 관련된 파라미터들이 있다. 이러한 파라미터 값들은 공개 프로그램을 통해 손쉽게 획득할 수 있으며, 사전에 미리 추출하여 내부 메모리에 저장하여 사용 가능하다.
카메라로부터 들어오는 총 24비트의 RGB 데이터들은 싱크(Sync) 신호에 맞추어 각 채널별로 메모리에 순차적으로 저장되며, 이는 윈도우 필터 연산을 위한 데이터로 이용된다.
본 발명의 일 실시예에 따른 왜곡 보정 방법은 역맵핑에 기초한다. 역맵핑은 왜곡된 영상을 DIS(Distortion Image Space), 보정된 영상을 CIS(Corrected Image Space)라 하면, CIS의 각 픽셀값을 DIS에 대응되는 픽셀값으로 매핑시키는 것이다. 역맵핑을 통해 대응되는 DIS의 픽셀 위치를 구한 후, 해당 위치의 DIS의 픽셀 값을 바탕으로 CIS의 픽셀 값을 얻게 됨으로써, 주어진 DIS통해 CIS를 재구성하여 왜곡 보정을 수행한다. 상세한 왜곡 보정 방법은 다음과 같다.
먼저, CIS의 한 점 P(
Figure 112016010611741-pat00009
,
Figure 112016010611741-pat00010
)을 미리 저장해 놓은 상기 파라미터 값들을 역으로 적용하여 정규화된(normalized) 좌표(
Figure 112016010611741-pat00011
,
Figure 112016010611741-pat00012
)로 변환한다. 이는 수학식 1 내지 수학식 2와 같이 나타낼 수 있다.
Figure 112016010611741-pat00013
Figure 112016010611741-pat00014
다음, 좌표(
Figure 112016010611741-pat00015
,
Figure 112016010611741-pat00016
)에서부터 영상의 중심까지의 거리
Figure 112016010611741-pat00017
을 수학식 3을 통해 구하고 수학식 4 내지 수학식 5를 통해 왜곡된 좌표(
Figure 112016010611741-pat00018
,
Figure 112016010611741-pat00019
)를 구한다.
Figure 112016010611741-pat00020
Figure 112016010611741-pat00021
Figure 112016010611741-pat00022
(
Figure 112016010611741-pat00023
,
Figure 112016010611741-pat00024
)를 다시 픽셀 좌표계로 변환하면 (
Figure 112016010611741-pat00025
,
Figure 112016010611741-pat00026
)의 왜곡된 영상에서의 좌표 P’(
Figure 112016010611741-pat00027
,
Figure 112016010611741-pat00028
)를 수학식 6 내지 수학식 7을 통해 구할 수 있다.
Figure 112016010611741-pat00029
Figure 112016010611741-pat00030
역맵핑 과정에 의해 계산된 DIS상의 P’의 위치는 정수가 아닌 유리수일 수 있기 때문에 해당 위치의 픽셀값을 구하기 위한 보간법이 필요하다.
마지막으로 보정된 R, G, B 채널의 색상 정보를 동시에 병렬적으로 복원하여 최종 보정된 영상을 얻는다.
이러한 모든 방법은 기존 소프트웨어 기반 방법과 달리 전용하드웨어를 이용하여 파이프라인 구조로 수행이 되어 입력된 왜곡영상을 실시간으로 보정할 수 있다.
도 5는 그래디언트(Gradient) 및 캠시프트(Camshift) 기반 Adaboost 알고리즘을 통해 입력된 영상에서 차량을 실시간으로 검출하는 흐름도를 나타낸다.
먼저, 차량 검출을 위하여 카메라로부터 실시간으로 얻은 영상에서 조명에 강인한 영상을 얻기 위하여 RGB 영상 정규화 과정을 거친다. RGB 영상 정규화는 RGB 컬러 모델의 각 픽셀에 대해서 수학식 8로 정규화한 것이다.
Figure 112016010611741-pat00031
수학식 8에서
Figure 112016010611741-pat00032
는 각각의 컬러 채널을 나타내고,
Figure 112016010611741-pat00033
는 정규화된 각각의 컬러 채널을 나타내며,
Figure 112016010611741-pat00034
를 나타낸다. 이후 정규화된 영상으로부터 그래디언트(Gradient) 기반의 차량 검출과 캠시프트(Camshift) 알고리즘 기반의 차량 검출을 병렬적으로 수행한다.
먼저, 그래디언트(Gradient) 정보를 이용한 차량 검출은 차량의 에지(Edge)와 같은 검출 성분을 강조하기 위해 일반 그레이(Gray) 영상에서의 모폴로지 그래디언트(Morphological Gradient) 연산이 아닌 R(Red), G(Green), B(Blue) 색상 각각의 채널에서 모폴로지 그래디언트(Morphological Gradient) 최대값 픽셀만을 결합하여 생성한다. MMGC(Maximum Morphological Gradient Combination) 영상은 다음 수학식 9를 이용하여 구할 수 있다.
Figure 112016010611741-pat00035
수학식 9에서
Figure 112016010611741-pat00036
및
Figure 112016010611741-pat00037
는 입력된 영상의 높이와 너비를 나타내며,
Figure 112016010611741-pat00038
는 분리된 각 R(Red), G(Green), B(Blue) 채널에서 픽셀 좌표
Figure 112016010611741-pat00039
의 모폴로지 그래디언트(Morphological Gradient) 값을 나타낸다.
본 발명에서는 그래디언트(Gradient) 기반의 차량 검출과 병렬적으로 캠시프트(Camshift) 기반의 색상 검출 알고리즘을 사용하는데, 이는 색상 기반 물체 검출 알고리즘이 가지는 장점들, 즉, 사전 학습과정의 불필요, 알고리즘의 단순화, 실시간 처리 등의 장점들을 가지는 동시에 단순하면서도 효율적인 방법이다.
캠시프트(Camshift) 알고리즘은 데이터 집합의 밀도 분포(특징점, 코너, 색상)를 기반으로 관심영역 객체를 고속으로 추적하는 평균이동(Meanshift) 알고리즘을 개선한 것으로 탐색 윈도우의 크기를 스스로 조정하는 기법을 사용하여 평균이동(Meanshift)의 단점을 보강한다. 객체의 관심 영역의 색상(Hue) 값의 분포를 이용하여 변화될 위치를 예측하고, 탐지한 후 중심을 찾아 객체를 추적하게 된다. 즉, 영상이 입력되면 검출할 차량 영역에 대한 색상 분석을 통하여 변화될 위치를 예측하고, 탐지한 후 중심을 찾아 객체를 추적하게 되는데 그 과정은 다음과 같다. RGB 정규화가 수행된 영상이 입력으로 들어오면 RGB 모델의 영상을 색상(Hue), 채도(Saturation), 명도(Value)의 HSV 모델로 변환하고, 상기 HSV 모델로 변환된 이미지를 다시 각각의 색상(Hue), 채도(Saturation), 명도(Value) 채널로 분리한다. 본 발명에서는 색상(Hue) 채널뿐만 아니라 채도(Saturation), 명도(Value) 채널도 같이 사용하였는데 이는 다양한 차량 및 주변 환경에 따라 빈번하게 발생되는 유사 색상의 물체 혹은 배경과의 겹침 문제를 해결하고, 배경 및 조명 변화에 강인한 추적 성능을 확보하기 위해서이다. 먼저, 분리된 색상(Hue) 채널에 대한 히스토그램 분석을 수행하고, 분석된 히스토그램의 최대 빈도수 특성을 이용하여 영상을 다시 재생성하게 된다. 또한, 채도(Saturation) 및 명도(Value) 채널의 임계값을 실험을 통해 결정하고, 임계값을 적용한 2개 채널의 결과 영상을 입력으로 AND 연산을 수행함으로써 마스크(Mask) 영상을 생성한다. 색상(Hue) 정보 이외에 채도(Saturation) 및 명도(Value) 채널의 성분을 추가적으로 사용함으로써 적은 연산량으로 낮은 색상(Hue) 값에서의 색상 분별력 개선 효과를 가지도록 하였다. 상기 히스토그램의 최대 빈도수 특성을 이용하여 재 생성된 영상과 마스크(Mask) 영상을 다시 AND 연산을 수행하여 1차적으로 차량영역을 결정한다. 1차적으로 검출된 차량영역을 이진 영상으로 변환하고, 침식(Erosion) 및 팽창(Dilation) 연산을 이용한 닫힘 연산(Closing Operation)을 통해 노이즈를 제거한다. 차량색상을 포함한 영역 중 크기가 큰 부분은 제거되지 않는 현상이 발생되는데 노이즈 제거 단계에서 이 경우 차량 영역을 제외한 다른 부분을 제거하기 위해 각 영역(블롭)을 레이블링(Labeling)한 후 차량 영역만 검출하게 된다.
최종적으로 그래디언트(Gradient) 알고리즘을 적용한 결과 영상과 캠시프트(Camshift) 알고리즘을 적용한 결과 영상의 AND 연산을 수행하여 결합함으로써 전처리 과정을 마친다.
본 발명의 일 실시예에 따른 최종 차량 검출은 에이다부스트(Adaboost) 알고리즘을 사용하여 검출한다. 에이다부스트(Adaboost) 학습 알고리즘의 기본 개념은 약한 분류기(Weak classifier)를 선형적으로 결합하여 최종적으로 높은 검출 성능을 가진 강한 분류기(Strong classifier)를 생성하는 것이다. 에이다부스트(Adaboost) 알고리즘은 클래스의 샘플을 이용하여 약한 분류기를 반복적인 계산에 의해서 학습을 수행하고, 생성된 약한 분류기의 결합에 의해서 강한 분류기를 생성한다. 초기에는 모든 샘플에 대하여 동일한 가중치를 주고 약한 분류기를 학습시킨 후, 단계가 진행될수록 기초 분류기에서 올바르게 분류된 데이터에 대해서는 낮은 에러 가중치가 부과되고 올바르지 않게 분류된 데이터에 대해서는 높은 에러 가중치를 부과함으로써 약한 분류기의 성능을 높여가는 기법이다.
위와 같은 차량 검출 알고리즘을 통하여 입력된 영상에 있는 모든 차량을 검출할 수 있으며, 주차장의 잔여 공간 수를 파악할 수 있다.
도 6은 잔여 주차 공간 수를 고려하여 영상 인식 장치가 차량 검출 알고리즘을 실행하는 동작주기를 결정하는 과정을 나타낸다. 영상 인식 장치는 차량검출을 수행할 때 복잡한 연산에 의한 전력소비가 발생할 것이며, 이에 따라 효율적인 차량검출 주기의 결정이 요구된다. 주차장에 잔여 주차 공간 수가 적은 경우(예를 들면 1개의 주차 공간이 남은 경우)에 이를 운전자에게 알린 후에 다른 차량이 진입하여 이를 점유하면, 해당 주차장은 더 이상 주차 공간으로 활용할 수 없게 되고 운전자에게 잘못된 정보를 전달한 것이 된다. 운전자는 잘못된 정보를 수신하고 주차장까지 이동한 뒤 주차 공간이 없음을 확인하고 다른 주차장을 탐색하게 되기 때문에 시간, 연료의 낭비와 함께 정보의 신뢰성 저하를 초래하게 된다. 이러한 이유로 잔여 주차 공간 수가 적은 경우에는 잔여 주차 공간 수가 많은 경우보다 빈번하게 영상 인식을 통한 잔여 주차 공간 수를 업데이트해야 할 필요성이 존재한다. 따라서 본 발명에서는 잔여 주차 공간 수에 기반하여 영상 인식 장치의 업데이트 주기를 결정하도록 한다. 도 6을 참조하면, 주차 공간 1에서는 잔여 주차 공간이 상대적으로 많으므로 긴 주기로 차량검출을 수행하며, 주차 공간 2에서는 잔여 주차 공간이 상대적으로 적으므로, 짧은 주기로 차량검출을 수행하여 잔여 주차 공간 수를 업데이트한다. 구체적으로, 차량검출 동작 주기는 수학식 10과 같이 최대길이 주기에 잔여 주차 공간 수의 비율을 곱하여 결정된다.
Figure 112016010611741-pat00040
이때
Figure 112016010611741-pat00041
,
Figure 112016010611741-pat00042
,
Figure 112016010611741-pat00043
은 각각 최대길이 주기, 잔여 주차 공간 수, 전체 주차 공간 수를 나타낸다. 영상 인식 장치는 업데이트된 정보를 통신 인프라의 요청 없이도 전송할 수 있다.
이와 같이, 영상 인식 장치가 잔여 주차 공간 수 정보의 효율적 업데이트 및 전송 주기를 결정하여 동작하므로 불필요하게 빈번히 차량검출을 수행하거나 전송하지 않아 영상 인식 장치의 저전력 동작을 구현할 수 있다.
도 7은 영상 인식 장치가 통신 인프라로 주차 공간 정보를 전달할 때 수행하는 전송전력값 선택 방법의 동작순서도를 나타낸다. 초기에 영상 인식 장치는 설정된 초기값으로 전송전력을 설정하여(S71) 통신 인프라로의 접속을 시도한다(S72). 이러한 통신 인프라로의 랜덤 접속의 성공 여부를 판단한다(S73). 통신 인프라로의 접속이 실패할 경우 영상 인식 장치는 전송전력값을 한 단계 증가시켜(S74), 다시 통신 인프라로의 접속을 시도한다(S72). 접속에 성공할 경우 영상 인식 장치는 시스템은 접속 성공시의 전송전력값을 초기값으로 저장한다(S75). 그런 다음 데이터 전송을 위한 인터랙션을 수행한다(S76). 이후 영상 인식 장치는 이전 접속 성공시의 전송전력값을 초기값으로 활용하기 때문에 고정된 위치에서 전송전력값 탐색을 최소화하여 통신 인프라와 통신시 걸리는 시간을 단축하고 지연 및 전력소모를 감소시킬 수 있다.
이하에서는, 본 발명의 또다른 실시예에 따른 인터랙션과 영상 인식 기반의 주차 공간 정보 제공 시스템에 관해 설명한다.
인터랙션과 영상 인식 기반의 주차 공간 정보 제공 시스템
도 8은 본 발명의 일 실시예에 따른 주차 공간 정보 제공 시스템의 개략적인 블록 다이어그램이다. 도 8을 참조하면, 주차 공간 정보 제공 시스템은 차량 인포테인먼트 시스템/모바일 디바이스(100), 통신 인프라(200) 및 영상 인식 장치(300)를 포함한다.
상기 차량 인포테인먼트 시스템/모바일 디바이스(100)는 주차 공간 예약 어플리케이션을 탑재하여 운전자가 주차 공간 정보를 요청하고 예약을 할 수 있는 장치이다. 상기 차량 인포테인먼트 시스템/모바일 디바이스(100)는 주차 공간 정보 요청 모듈(110), 주차 공간 정보 제공 모듈(120), 그리고 예약 및 결제모듈(130)을 포함할 수 있다.
상기 주차 공간 정보 요청 모듈(110)은 운전자가 입력한 검색 조건 및 예약 설정에 따라 차량이 목적지에 접근시 상기 통신 인프라(200)를 통해 인근 영상 인식 장치로 주차 공간 수 정보를 요청한다.
상기 주차 공간 정보 제공 모듈(120)은 상기 통신 인프라(200)로부터 수신한 주차 공간 정보를 표시한다. 표시 방법은 예를 들어, 지도상에 간략한 관련 정보와 같이 표시할 수도 있으며, 선택한 주차 공간으로의 자동 내비게이션 연결 기능 등의 구현도 가능할 수 있다.
상기 예약 및 결제 모듈(130)은 운전자가 미리 설정한 예약 설정 및 예약 방식에 따라 주차 공간의 자동 또는 선택 예약을 수행하고, 결제한다.
상기 통신 인프라(200)는 인터랙션 인프라(210)와 서비스 서버(220)를 포함한다.
상기 인터랙션 인프라(210)는 차량 인포테인먼트 시스템/모바일 디바이스(100), 서비스 서버(220), 그리고 상기 영상 인식 장치(300) 간의 통신을 수행한다. 즉, 상기 차량 인포테인먼트 시스템/모바일 디바이스(100)로부터의 주차 공간 요청 정보를 서비스 서버(220)로 전달하고, 서비스 서버(220)로부터 목적지 근처 영상 인식 장치로의 주차 공간 수 요청 정보를 상기 영상 인식 장치들(300)로 전달한다. 또한 상기 영상 인식 장치들(300)로부터의 전송된 주차 공간 수 정보를 서비스 서버(220)로 전달하고, 취합된 주차 공간 정보를 상기 서비스 서버(220)로부터 상기 차량 인포테인먼트 시스템/모바일 디바이스(100)로 전달하는 기능을 담당한다. 예약 및 결제시에도 차량 인포테인먼트 시스템/모바일 디바이스(100), 서비스 서버(220), 그리고 상기 영상 인식 장치(300)와의 통신을 담당한다.
상기 서비스 서버(220)는 주차 공간 예약 어플리케이션을 통해 요청된 주차 공간 정보, 예약 및 결제 정보, 영상 인식 장치(300) 정보를 저장한다. 이 경우 저장 공간은 서비스 서버 내부 또는 외부에 존재할 수 있다. 또한 상기 서비스 서버(220)는 상기 영상 인식 장치(300)로의 차량 정보 예를 들어, 차량 크기 또는 도착 예정 시간 등을 포함한 주차 공간 수 요청을 생성한다. 그리고 상기 서비스 서버(220)는 상기 영상 인식 장치(300)로부터 수신한 주차 공간 수 정보를 포함한 주차 공간 정보를 생성한다.
상기 영상 인식 장치(300)는 촬영 모듈(310), 왜곡보정 모듈(320)과 고속 차량 검출 모듈(330)을 포함한다. 또한 상기 영상 인식 장치(300)는 차량 검출 동작 주기 조절 모듈(340)과 전송 전력 설정 모듈(350)을 더 포함할 수 있다.
상기 촬영 모듈(310)은 적은 수의 카메라로 넓은 범위를 촬영하기 위해 어안 렌즈를 이용하여 주차장을 촬영한다.
상기 왜곡보정 모듈(320)은 상기 어안렌즈를 이용하여 촬영된 영상의 왜곡을 R(Red), G(Green), B(Blue) 채널 각각에 대해 동시에 병렬적으로 역 매핑 방법 및 보간법을 적용하여 보정한다.
상기 고속 차량 검출 모듈(330)은 상기 왜곡 보정된 영상에 대해 그래디언트(Gradient) 차량 검출 알고리즘과 캠시프트(Camshift) 차량 검출 알고리즘을 동시에 병렬적으로 적용한 후 상기 그래디언트(Gradient) 차량 검출 알고리즘 적용 결과 및 캠시프트(Camshift) 차량 검출 알고리즘 적용 결과의 AND 연산 결과를 가지고 에이다부스트(Adaboost) 알고리즘을 수행하여 최종 차량 검출을 수행한다.
상기 차량 검출 동작 주기 조절 모듈(340)은 잔여 주차 공간 수에 따라 차량 검출 동작 주기를 조절하는 기능을 수행한다. 즉, 잔여 주차 공간 수가 많으면 동작 주기를 길게 조절하고, 잔여 주차 공간 수가 적으면 동작 주기를 짧게 조절하여 상기 영상 인식 장치(300)의 전력 소모를 줄인다.
상기 전송 전력 설정 모듈(350)은 상기 영상 인식 장치(300)로부터 상기 통신 인프라(200)의 서비스 서버(220)로 정보를 전달하기 위한 랜덤 접속 과정에서 활용된 전송 전력 값을 초기값으로 저장하여 차후에 접속 시 이용함으로써 접속 지연 및 전송전력 소모를 감소시킬 수 있다.

Claims (23)

  1. 삭제
  2. 삭제
  3. 주차 공간 정보를 제공하기 위한 영상 인식 장치에 있어서, 상기 장치는
    어안렌즈를 이용하여 주차 공간을 촬영하는 촬영 모듈;
    상기 어안렌즈를 이용하여 촬영된 영상의 R(Red) 채널, G(Green) 채널, 및 B(Blue) 채널 각각에 대해 동시에 병렬적으로 역 매핑 과정과 보간법을 적용하여 왜곡 보정된 영상을 생성하는 왜곡 보정 모듈;
    상기 왜곡 보정된 영상에 그래디언트(Gradient) 차량 검출 알고리즘과 캠시프트(Camshift) 차량 검출 알고리즘을 병렬적으로 적용하고,
    상기 그래디언트(Gradient) 차량 검출 알고리즘 적용 결과 및 상기 캠시프트(Camshift) 차량 검출 알고리즘 적용 결과의 AND 연산 결과에 에이다부스트(Adaboost) 알고리즘을 적용하는 고속 차량 검출 모듈; 및
    잔여 주차 공간 수에 따라 차량 검출 동작 주기를 조절하는 차량 검출 주기 조절 모듈을 포함하는 주차 공간 정보를 제공하기 위한 영상 인식 장치.
  4. 제3항에 있어서,
    상기 왜곡 보정된 영상에 RGB 영상 정규화 과정을 먼저 수행하는 것을 특징으로 하는 주차 공간 정보를 제공하기 위한 영상 인식 장치.
  5. 제4항에 있어서,
    상기 그래디언트(Gradient) 차량 검출 알고리즘은 R(Red), G(Green), B(Blue) 채널 각각에서 모폴로지 그래디언트(Morphological Gradient) 최대값 픽셀만을 결합하여 영상을 생성하는 것을 특징으로 하는 주차 공간 정보를 제공하기 위한 영상 인식 장치.
  6. 제5항에 있어서,
    상기 캠시프트(Camshift) 차량 검출 알고리즘은
    상기 RGB 영상 정규화를 거친 영상을 색상(Hue), 채도(Saturation), 명도(Value)의 HSV 모델로 변환하는 단계;
    상기 HSV 모델로 변환된 이미지를 다시 각각의 색상(Hue), 채도(Saturation), 명도(Value) 채널로 분리하는 단계;
    상기 분리된 색상(Hue) 채널에 대한 히스토그램 분석을 수행하는 단계;
    상기 분석된 히스토그램의 최대 빈도수 특성을 이용하여 영상을 재 생성하는 단계;
    상기 채도(Saturation) 및 상기 명도(Value) 채널의 임계값을 실험을 통해 결정하는 단계;
    상기 임계값을 적용한 상기 채도(Saturation) 및 상기 명도(Value) 채널의 결과 영상을 입력으로 AND 연산을 수행함으로써 마스크(Mask) 영상을 생성하는 단계;
    상기 재 생성된 영상과 상기 마스크(Mask) 영상을 다시 AND 연산을 하는 단계; 및
    침식(Erosion) 및 팽창(Dilation) 연산을 이용한 닫힘 연산(Closing Operation)을 통해 상기 AND 연산의 결과 영상에서 노이즈를 제거하는 단계를 포함하는 것을 특징으로 하는 주차 공간 정보를 제공하기 위한 영상 인식 장치.
  7. 삭제
  8. 제3항에 있어서,
    상기 차량 검출 동작 주기는 최대 길이 주기와 전체 주차 공간 수에 대한 잔여 주차 공간 수의 비율을 곱하여 결정하는 것을 특징으로 하는 주차 공간 정보를 제공하기 위한 영상 인식 장치.
  9. 제3항에 있어서,
    서비스 서버로의 영상 전송 전력 값을 설정하는 전송 전력 결정 모듈을 더 포함하는 주차 공간 정보를 제공하기 위한 영상 인식 장치.
  10. 제9항에 있어서,
    상기 영상 전송 전력 값을 설정하는 것은 랜덤 접속에 활용된 전송 전력 값을 초기값으로 저장하여 사용하는 것을 특징으로 하는 주차 공간 정보를 제공하기 위한 영상 인식 장치.
  11. 주차 공간 정보 제공 방법에 있어서, 상기 방법은
    어안렌즈를 이용하여 주차 공간을 촬영하여 영상을 수집하는 단계;
    상기 영상의 R(Red) 채널, G(Green) 채널, 및 B(Blue) 채널 각각에 대해 동시에 병렬적으로 역 매핑 과정과 보간법을 적용하여 왜곡 보정된 영상을 생성하는 단계; 및
    상기 왜곡 보정된 영상에 그래디언트(Gradient) 차량 검출 알고리즘과 캠시프트(Camshift) 차량 검출 알고리즘을 병렬적으로 적용하고, 상기 그래디언트(Gradient) 차량 검출 알고리즘 적용 결과 및 상기 캠시프트(Camshift) 차량 검출 알고리즘 적용 결과의 AND 연산 결과에 에이다부스트(Adaboost) 알고리즘을 적용하여 차량 검출을 수행하는 단계를 포함하되,
    잔여 주차 공간 수에 따라 차량 검출 동작 주기를 조절하는 것을 특징으로 하는 주차 공간 정보 제공 방법.
  12. 제11항에 있어서,
    상기 왜곡 보정된 영상에 RGB 영상 정규화 과정을 먼저 수행하는 것을 특징으로 하는 주차 공간 정보 제공 방법.
  13. 제12항에 있어서,
    상기 그래디언트(Gradient) 차량 검출 알고리즘은 R(Red), G(Green), B(Blue) 채널 각각에서 모폴로지 그래디언트(Morphological Gradient) 최대값 픽셀만을 결합하여 영상을 생성하는 것을 특징으로 하는 주차 공간 정보 제공 방법.
  14. 제13항에 있어서,
    상기 캠시프트(Camshift) 차량 검출 알고리즘은
    상기 RGB 영상 정규화를 거친 영상을 색상(Hue), 채도(Saturation), 명도(Value)의 HSV 모델로 변환하는 단계;
    상기 HSV 모델로 변환된 이미지를 다시 각각의 색상(Hue), 채도(Saturation), 명도(Value) 채널로 분리하는 단계;
    상기 분리된 색상(Hue) 채널에 대한 히스토그램 분석을 수행하는 단계;
    상기 분석된 히스토그램의 최대 빈도수 특성을 이용하여 영상을 재 생성하는 단계;
    상기 채도(Saturation) 및 상기 명도(Value) 채널의 임계값을 실험을 통해 결정하는 단계;
    상기 임계값을 적용한 상기 채도(Saturation) 및 상기 명도(Value) 채널의 결과 영상을 입력으로 AND 연산을 수행함으로써 마스크(Mask) 영상을 생성하는 단계;
    상기 재 생성된 영상과 상기 마스크(Mask) 영상을 다시 AND 연산을 하는 단계; 및
    침식(Erosion) 및 팽창(Dilation) 연산을 이용한 닫힘 연산(Closing Operation)을 통해 상기 AND 연산의 결과 영상에서 노이즈를 제거하는 단계를 포함하는 것을 특징으로 하는 주차 공간 정보 제공 방법.
  15. 제11항에 있어서,
    사용자가 주차 공간 정보 제공 어플리케이션이 탑재된 사용자 디바이스로 목적지 정보, 검색 조건, 예약 설정 및 예약 방식 중 적어도 하나를 입력하는 단계;
    상기 입력된 정보를 포함한 주차 공간 요청 정보를 통신 인프라로 전송하는 단계;
    상기 통신 인프라가 목적지 인근의 영상 인식 장치들에 주차 공간 정보를 요청하는 단계;
    상기 영상 인식장치들로부터 상기 주차 공간 정보를 상기 통신 인프라로 전송하는 단계; 및
    상기 통신 인프라에서 상기 사용자 디바이스로 상기 주차 공간 정보를 전송하는 단계를 더 포함하는 주차 공간 정보 제공 방법.
  16. 제15항에 있어서,
    상기 주차 공간 정보 제공 어플리케이션은 최단 거리, 최저 비용 및 주차 공간 면적 중 적어도 하나를 포함하는 예약 설정 정보를 입력하는 예약 설정 메뉴,
    차량이 목적지 주변에 도착한 경우 상기 예약 설정 정보에 따라 자동으로 주차 공간을 예약하고 결제하는 자동 예약 메뉴, 및
    차량이 목적지 주변에 도착한 경우 상기 예약 설정 정보에 따른 주차 공간 정보를 상기 사용자 디바이스에 표시하여 사용자가 주차 공간을 선택하고 결제할 수 있게 하는 선택 예약 메뉴를 포함하는 것을 특징으로 하는 주차 공간 정보 제공 방법.
  17. 주차 공간 정보 제공 시스템에 있어서, 상기 시스템은
    사용자가 목적지 인근 주차 공간에 대한 정보를 요청할 수 있는 주차 공간 정보 제공 어플리케이션을 탑재한 사용자 디바이스;
    상기 사용자 디바이스를 통해 입력된 목적지 정보, 검색 조건, 예약 설정 및 예약 방식 중 적어도 하나를 수신하는 통신 인프라; 및
    상기 통신 인프라로부터 주차 공간에 관한 정보 요청을 수신하는 영상 인식 장치를 포함하되,
    상기 영상 인식 장치는 어안렌즈를 이용하여 주차 공간을 촬영하는 촬영 모듈;
    상기 어안렌즈를 이용하여 촬영된 영상의 R(Red) 채널, G(Green) 채널, 및 B(Blue) 채널 각각에 대해 동시에 병렬적으로 역 매핑 과정과 보간법을 적용하여 왜곡 보정된 영상을 생성하는 왜곡 보정 모듈; 및
    잔여 주차 공간 수에 따라 차량 검출 동작 주기를 조절하는 차량 검출 주기 조절 모듈을 포함하는 것을 특징으로 하는 주차 공간 정보 제공 시스템.
  18. 제17항에 있어서,
    상기 사용자 디바이스는 목적지 정보, 검색 조건, 예약 설정 및 예약 방식 중 적어도 하나를 입력하는 주차 공간 정보 요청 모듈;
    상기 통신 인프라로부터 전송받은 주차 공간 정보를 표시하는 주차 공간 정보 제공 모듈; 및
    상기 예약 설정 및 예약 방식에 따라 주차 공간을 선택하고 결제하는 예약 및 결제모듈을 포함하는 것을 특징으로 하는 주차 공간 정보 제공 시스템.
  19. 제17항에 있어서,
    상기 통신 인프라는
    상기 사용자 디바이스들과 상기 영상 인식 장치들과의 통신을 가능하게 하는 인터랙션 인프라; 및
    주차 공간 정보, 예약 및 결제 정보, 영상 인식 장치 정보 중 적어도 하나를 저장하는 서비스 서버를 포함하는 것을 특징으로 하는 주차 공간 정보 제공 시스템.
  20. 삭제
  21. 제19항에 있어서,
    상기 영상 인식 장치는
    상기 왜곡 보정된 영상에 그래디언트(Gradient) 차량 검출 알고리즘과 캠시프트(Camshift) 차량 검출 알고리즘을 병렬적으로 적용하고, 상기 그래디언트(Gradient) 차량 검출 알고리즘 적용 결과 및 상기 캠시프트(Camshift) 차량 검출 알고리즘 적용 결과의 AND 연산 결과에 에이다부스트(Adaboost) 알고리즘을 적용하는 고속 차량 검출 모듈을 더 포함하는 것을 특징으로 하는 주차 공간 정보 제공 시스템.
  22. 삭제
  23. 제21항에 있어서,
    상기 영상 인식 장치는
    상기 서비스 서버로의 영상 전송 전력 값을 설정하는 전송 전력 결정 모듈을 더 포함하는 주차 공간 정보 제공 시스템.
KR1020160012335A 2016-02-01 2016-02-01 영상 인식 장치, 인터랙션과 영상 인식 기반의 주차 공간 정보 제공 방법과 시스템 KR101697211B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160012335A KR101697211B1 (ko) 2016-02-01 2016-02-01 영상 인식 장치, 인터랙션과 영상 인식 기반의 주차 공간 정보 제공 방법과 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160012335A KR101697211B1 (ko) 2016-02-01 2016-02-01 영상 인식 장치, 인터랙션과 영상 인식 기반의 주차 공간 정보 제공 방법과 시스템

Publications (1)

Publication Number Publication Date
KR101697211B1 true KR101697211B1 (ko) 2017-01-17

Family

ID=57990534

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160012335A KR101697211B1 (ko) 2016-02-01 2016-02-01 영상 인식 장치, 인터랙션과 영상 인식 기반의 주차 공간 정보 제공 방법과 시스템

Country Status (1)

Country Link
KR (1) KR101697211B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11398009B2 (en) 2019-02-22 2022-07-26 Fujitsu Limited Method and apparatus for performing object detection based on images captured by a fisheye camera and electronic device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990037803A (ko) * 1999-01-22 1999-05-25 이영애 전선의분해결합이용이한용접기
KR20150062639A (ko) * 2013-11-29 2015-06-08 고려대학교 산학협력단 지능형 영상보완을 위한 얼굴 인식 방법 및 시스템
KR101542713B1 (ko) * 2015-01-23 2015-08-13 케이에스아이 주식회사 주차 관리 시스템 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990037803A (ko) * 1999-01-22 1999-05-25 이영애 전선의분해결합이용이한용접기
KR20150062639A (ko) * 2013-11-29 2015-06-08 고려대학교 산학협력단 지능형 영상보완을 위한 얼굴 인식 방법 및 시스템
KR101542713B1 (ko) * 2015-01-23 2015-08-13 케이에스아이 주식회사 주차 관리 시스템 및 그 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
류광렬 외1, "어안렌즈 카메라의 영상왜곡보정처리 시스템 구현", 한국해양정보통신학회논문지 제11권제11호, 2007년.* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11398009B2 (en) 2019-02-22 2022-07-26 Fujitsu Limited Method and apparatus for performing object detection based on images captured by a fisheye camera and electronic device

Similar Documents

Publication Publication Date Title
CN108419023B (zh) 一种生成高动态范围图像的方法以及相关设备
WO2018201809A1 (zh) 基于双摄像头的图像处理装置及方法
US10194089B2 (en) Systems and methods for implementing seamless zoom function using multiple cameras
WO2020007320A1 (zh) 多视角图像的融合方法、装置、计算机设备和存储介质
CN108769550B (zh) 一种基于dsp的图像显著分析系统及方法
KR101038650B1 (ko) 적응적 배경영상 모델링 방법, 이를 이용한 불법주정차 무인단속방법 및 불법주정차 무인단속시스템
CN113518210A (zh) 图像自动白平衡的方法及装置
US8798369B2 (en) Apparatus and method for estimating the number of objects included in an image
CN104243796A (zh) 摄影装置、摄影方法、模板创建装置和模板创建方法
CN104184935A (zh) 影像拍摄设备及方法
WO2020259416A1 (zh) 图像采集控制方法、装置、电子设备及存储介质
WO2023137956A1 (zh) 图像处理方法、装置、电子设备及存储介质
KR20230137316A (ko) 다수의 심도들에서의 객체들을 갖는 장면들을 위한이미지 융합
CN103327254A (zh) 一种自动对焦方法及对焦系统
KR101697211B1 (ko) 영상 인식 장치, 인터랙션과 영상 인식 기반의 주차 공간 정보 제공 방법과 시스템
CN110930340B (zh) 一种图像处理方法及装置
CN112597995A (zh) 车牌检测模型训练方法、装置、设备及介质
US20230125040A1 (en) Temporally Consistent Neural Network Processing System
CN115601738B (zh) 停车信息获取方法、装置、设备、存储介质及程序产品
AU2011331381A1 (en) Change detection in video data
CN115334250A (zh) 一种图像处理方法、装置及电子设备
CN116917954A (zh) 图像检测方法、装置和电子设备
CN112150355A (zh) 一种图像处理方法及相关设备
CN112017128A (zh) 一种图像自适应去雾方法
KR102647960B1 (ko) AI Vision 기반의 객체 이미지 고해상도 고화질 변환 기법을 적용한 초지능 객체 분석 방법 및 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200203

Year of fee payment: 4